CN113256621B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113256621B CN113256621B CN202110709355.8A CN202110709355A CN113256621B CN 113256621 B CN113256621 B CN 113256621B CN 202110709355 A CN202110709355 A CN 202110709355A CN 113256621 B CN113256621 B CN 113256621B
- Authority
- CN
- China
- Prior art keywords
- image
- medical image
- state
- medical
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:从样本集中获取第一医学图像;按照第一医学图像中的目标区域的尺寸,对第一医学图像进行分割,以使第一医学图像分割得到的多个图像块中,包含目标区域的图像块的数量最小;交换多个图像块之间的位置,将交换位置后的多个图像块构成扰动医学图像;基于扰动医学图像和第一医学图像的状态标签,训练图像处理模型。基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着图像处理技术的飞速发展,图像处理技术在医疗领域的应用越来越广泛。例如通过对医学图像进行状态检测,能够确定医学图像所属的状态,然后由医生根据医学图像所属的状态结合其他信息确定疾病的严重程度。
相关技术中,使用深度学习模型来对医学图像进行状态检测。而训练深度学习模型时采用的样本集中包括不同状态的医学图像,但是由于不同医学图像的图像特征较为相似,导致深度学习模型根据图像特征进行状态检测的准确率不够高。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,能够提高状态检测的准确率。所述技术方案如下。
一方面,提供了一种图像处理方法,所述方法包括:
从样本集中获取第一医学图像,所述样本集包括多个医学图像和每个医学图像的状态标签,所述状态标签表示所述医学图像中的目标区域所属的状态;
按照所述第一医学图像中的目标区域的尺寸,对所述第一医学图像进行分割,以使所述第一医学图像分割得到的多个图像块中,包含所述目标区域的图像块的数量最小;
交换所述多个图像块之间的位置,将交换位置后的所述多个图像块构成扰动医学图像;
基于所述扰动医学图像和所述第一医学图像的状态标签,训练图像处理模型,所述图像处理模型用于确定任一医学图像中的目标区域所属的状态。
可选地,所述第二处理网络的数量为多个,所述调用所述第二处理网络,对所述任一医学图像进行状态检测,得到所述第三状态标签,包括:
调用多个第二处理网络,分别对所述任一医学图像进行状态检测,得到多个第四状态标签;
将得到的多个第四状态标签进行融合,得到所述第三状态标签。
可选地,所述第四状态标签包括各个状态对应的概率,所述将得到的多个第四状态标签进行融合,得到所述第三状态标签,包括:
将所述多个第四状态标签中相同状态对应的概率相加,将得到的每个状态对应的总概率构成所述第三状态标签。
另一方面,提供了一种图像处理装置,所述装置包括:
图像获取模块,用于从样本集中获取第一医学图像,所述样本集包括多个医学图像和每个医学图像的状态标签,所述状态标签表示所述医学图像中的目标区域所属的状态;
图像扰动模块,用于按照所述第一医学图像中的目标区域的尺寸,对所述第一医学图像进行分割,以使所述第一医学图像分割得到的多个图像块中,包含所述目标区域的图像块的数量最小;
所述图像扰动模块,还用于交换所述多个图像块之间的位置,将交换位置后的所述多个图像块构成扰动医学图像;
模型训练模块,用于基于所述扰动医学图像和所述第一医学图像的状态标签,训练图像处理模型,所述图像处理模型用于确定任一医学图像中的目标区域所属的状态。
可选地,所述图像扰动模块,包括:
长宽确定单元,用于确定所述第一医学图像的第一长度和第一宽度,以及所述第一医学图像中的目标区域的第二长度和第二宽度;
取整单元,用于对所述第一长度与所述第二长度之间的比值进行取整得到M;
所述取整单元,还用于对所述第一宽度与所述第二宽度之间的比值进行取整得到N;
图像分割单元,用于将所述第一医学图像在水平方向上分割成所述M份,在竖直方向上分割成所述N份,得到M*N个图像块。
可选地,所述状态标签为状态级别标签,所述状态级别标签用于表示所述医学图像中的目标区域所属的状态级别。
可选地,所述图像获取模块,还用于从所述样本集中获取第二医学图像;
所述模型训练模块,包括:
模型训练单元,用于基于所述扰动医学图像、所述第一医学图像的状态标签、所述第二医学图像和所述第二医学图像的状态标签,训练所述图像处理模型。
可选地,所述模型训练单元,用于:
调用所述图像处理模型,分别对所述扰动医学图像和所述第二医学图像进行状态检测,得到第一状态标签和第二状态标签;
基于所述第一医学图像的状态标签与所述第一状态标签之间的第一误差参数,以及所述第二医学图像的状态标签与所述第二状态标签之间的第二误差参数,训练所述图像处理模型。
可选地,所述图像处理模型包括第一处理网络,所述第一处理网络包括目标编码层、第一编码层和第一分类层,所述模型训练单元,用于:
调用所述目标编码层,对所述扰动医学图像进行特征提取,得到第一图像特征;
调用所述第一编码层,对所述第一图像特征进行特征提取,得到第二图像特征;
调用所述第一分类层,对所述第二图像特征进行分类,得到所述第一状态标签。
可选地,所述第一处理网络还包括解码层,所述图像扰动模块,还用于对所述第一医学图像中的目标区域进行扰动处理,得到扰动目标图像;
所述模型训练单元,还用于:
调用所述目标编码层,对所述扰动目标图像进行特征提取,得到第三图像特征;
调用所述第一编码层,对所述第三图像特征进行特征提取,得到第四图像特征;
调用所述解码层,对所述第四图像特征进行解码,得到预测医学图像;
基于所述第一误差参数、所述第二误差参数以及所述扰动目标图像与所述预测医学图像之间的第三误差参数,训练所述图像处理模型。
可选地,所述图像处理模型还包括至少一个第二处理网络,所述第二处理网络包括所述目标编码层、第二编码层和第二分类层,所述模型训练单元,用于:
调用所述目标编码层,对所述第二医学图像进行特征提取,得到第五图像特征;
调用所述第二编码层,对所述第五图像特征进行特征提取,得到第六图像特征;
调用所述第二分类层,对所述第六图像特征进行分类,得到所述第二状态标签。
可选地,所述第二医学图像的数量为多个,所述图像获取模块,包括:
第一获取单元,用于随机从所述样本集中获取所述第二医学图像;
第二获取单元,用于确定所述样本集中每个状态对应的采样概率,所述状态对应的采样概率与所述状态的医学图像在所述样本集中的数量占比负相关;
所述第二获取单元,还用于按照每个状态对应的采样概率从所述样本集中获取所述第二医学图像。
可选地,所述图像处理模型包括两个所述第二处理网络,其中一个所述第二处理网络用于对随机从所述样本集中获取的第二医学图像进行状态检测,另一个所述第二处理网络用于对按照每个级别对应的采样概率从所述样本集中获取的第二医学图像进行状态检测。
可选地,所述第二状态标签的数量为两个,其中一个所述第二状态标签是对随机从所述样本集中获取的第二医学图像进行状态检测所得到的,另一个所述第二状态标签是对按照每个级别对应的采样概率从所述样本集中获取的第二医学图像进行状态检测所得到的;所述第二误差参数包括随机从所述样本集中获取的第二医学图像的状态标签与对应的所述第二状态标签之间的第一误差子参数,以及按照每个级别对应的采样概率从所述样本集中获取的第二医学图像的状态标签与对应的所述第二状态标签之间的第二误差子参数;
所述模型训练单元,用于:
基于所述第一误差子参数的权重以及所述第二误差子参数的权重,对所述第一误差子参数与所述第二误差子参数进行加权求和,得到第四误差参数,所述第一误差子参数的权重与所述图像处理模型的训练次数负相关,所述第二误差子参数的权重参数与所述训练次数正相关;
基于所述第一误差参数和所述第四误差参数,训练所述图像处理模型。
可选地,所述装置还包括:
状态检测模块,用于调用训练完成的所述图像处理模型,对任一医学图像进行状态检测,得到所述任一医学图像的第三状态标签。
可选地,所述图像处理模型包括第一处理网络和第二处理网络,所述第一处理网络用于对扰动处理后的医学图像进行状态检测,所述第二处理网络用于对未进行扰动处理的医学图像进行状态检测;
所述状态检测模块,包括:
状态检测单元,用于调用所述第二处理网络,对所述任一医学图像进行状态检测,得到所述第三状态标签。
可选地,所述第二处理网络的数量为多个,所述状态检测单元,用于:
调用多个所述第二处理网络,分别对所述任一医学图像进行状态检测,得到多个第四状态标签;
将得到的多个第四状态标签进行融合,得到所述第三状态标签。
可选地,所述第四状态标签包括各个状态对应的概率,所述状态检测单元,用于将所述多个第四状态标签中相同状态对应的概率相加,将得到的每个状态对应的总概率构成所述第三状态标签。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的图像处理方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的图像处理方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,使得所述计算机设备实现如上述方面所述的图像处理方法中所执行的操作。
本申请实施例提供的方法、装置、计算机设备及存储介质,通过交换第一医学图像的多个图像块之间的位置,得到扰动医学图像,该扰动医学图像包括交换位置之后的多个图像块,相当于将医学图像中的信息分割成不同的局部信息,并且按照目标区域的尺寸进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小,有利于保护目标区域的完整性。则基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,提高图像处理模型区分不同医学图像的图像特征的能力,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种图像处理模型的结构示意图;
图3是本申请实施例提供的另一种图像处理模型的结构示意图;
图4是本申请实施例提供的一种图像处理方法的流程图;
图5是本申请实施例提供的另一种图像处理方法的流程图;
图6是本申请实施例提供的一种扰动医学图像的示意图;
图7是本申请实施例提供的一种扰动目标图像的示意图;
图8是本申请实施例提供的另一种图像处理模型的结构示意图;
图9是本申请实施例提供的另一种图像处理方法的流程图;
图10是本申请实施例提供的一种图像处理装置的结构示意图;
图11是本申请实施例提供的另一种图像处理装置的结构示意图;
图12是本申请实施例提供的一种终端的结构示意图;
图13是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一医学图像称为第二医学图像,且类似地,可将第二医学图像称为第一医学图像。
其中,至少一个是指一个或者一个以上,例如,至少一个图像块可以是一个图像块、两个图像块、三个图像块等任一大于等于一的整数个图像块。多个是指两个或者两个以上,例如,多个图像块可以是两个图像块、三个图像块等任一大于等于二的整数个图像块。每个是指至少一个中的每一个,例如,每个图像块是指多个图像块中的每一个图像块,若多个图像块为3个图像块,则每个图像块是指3个图像块中的每一个图像块。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
以下将基于人工智能技术和计算机视觉技术,对本申请实施例提供的图像处理方法进行说明。
本申请实施例提供的图像处理方法,能够用于计算机设备中。可选地,该计算机设备为终端或服务器。可选地,该服务器是独立的物理服务器,或者,是多个物理服务器构成的服务器集群或者分布式系统,或者,是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
在一种可能实现方式中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备能够组成区块链系统。
在一种可能实现方式中,本申请实施例中用于训练图像处理模型的计算机设备是区块链系统中的节点,该节点能够将训练的图像处理模型存储在区块链中,之后该节点或者该区块链中的其他设备对应的节点可基于该图像处理模型对任一医学图像进行状态检测。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:终端101和服务器102。终端101和服务器102之间通过无线或有线网络连接。可选地,服务器102用于采用本申请实施例提供的方法,训练图像处理模型,该图像处理模型用于确定任一医学图像中的目标区域所属的状态。服务器102将训练好的图像处理模型发送给终端101,终端101即可调用该图像处理模型,对医学图像进行状态检测,得到该医学图像中的目标区域所属的状态。
在一种可能实现方式中,终端101中运行有该服务器提供的应用客户端,服务器102将训练好的图像处理模型存储于该应用客户端中,该应用客户端具有图像处理的功能。终端101基于该应用客户端,调用图像处理模型,对医学图像进行状态检测,得到该医学图像中的目标区域所属的状态。
需要说明的是,图1中仅以服务器102训练图像处理模型并发送给终端101为例进行说明,在另一实施例中,还可以由终端101直接训练图像处理模型。
本申请实施例提供的图像处理方法,可应用于任一对医学图像进行状态检测的场景下。
例如,在医疗领域中,采用X射线断层扫描技术,拍摄患者的医学图像,该医学图像包括目标区域,获取利用本申请实施例提供的方法所训练的图像处理模型,调用该图像处理模型对患者的医学图像进行状态检测,得到该医学图像的状态标签,该状态标签表示该医学图像中的目标区域所属的状态,然后由医生根据该状态结合患者的其他信息,来确定目标区域是否异常。
图2是本申请实施例提供的一种图像处理模型的结构示意图,参见图2,该图像处理模型包括第一处理网络201和第二处理网络202,第一处理网络201用于对扰动处理后的医学图像进行状态检测,第二处理网络202用于对未进行扰动处理的医学图像进行状态检测。如图2所示,第一处理网络201 包括目标编码层203、第一编码层211和第一分类层221,第二处理网络202包括目标编码层203、第二编码层212和第二分类层222,该第一处理网络201和第二处理网络202包括同一目标编码层203。其中,目标编码层203用于对医学图像进行特征提取,第一编码层211和第二编码层212用于对图像特征继续进行特征提取,第一分类层221和第二分类层222用于对图像特征进行分类,得到状态标签。
在一种可能实现方式中,图像处理模型的结构示意图如图3所示,第一处理网络201还包括解码层231,解码层231用于对图像特征进行解码来重建医学图像。第一编码层211包括特征提取层和GAP(Global Average Pooling,全局平均池化)层,第二编码层212也包括特征提取层和GAP层,特征提取层用于对图像特征进行特征提取,GAP层用于将多维的图像特征转换成一维的图像特征。
扰动处理后的医学图像包括扰动医学图像和扰动目标图像,如图3所示,将扰动医学图像输入目标编码层203,目标编码层203输出图像特征,将该图像特征输入第一编码层211,第一编码层211输出更深层次的图像特征,将该图像特征输入第一分类层221,第一分类层221输出扰动医学图像的状态标签。将扰动目标图像输入目标编码层203,目标编码层203输出图像特征,将该图像特征输入第一编码层211中的特征提取层,该特征提取层输出更深层次的图像特征,将该图像特征输入解码层231,解码层231输出预测医学图像。
如图3所示,将未进行扰动处理的医学图像输入目标编码层203,目标编码层203的输出是第二编码层212的输入,第二编码层212的输出为图像特征,该图像特征是第二分类层222的输入,第一分类层222的输出为未进行扰动处理的医学图像的状态标签。
图4是本申请实施例提供的一种图像处理方法的流程图。本申请实施例的执行主体为计算机设备,可选地,该计算机设备为上述图1的实施例中的终端或者服务器。参见图4,该方法包括以下步骤。
401、计算机设备从样本集中获取第一医学图像。
为了训练图像处理模型,计算机设备先获取样本集,该样本集包括多个医学图像和每个医学图像的状态标签。基于样本集训练图像处理模型的过程包括多次迭代过程,在每次迭代过程中,基于第一医学图像和第一医学图像对应的状态标签来进行训练。需要说明的是,本申请实施例中的步骤401-404仅以一次迭代过程为例进行说明。
在一次迭代训练过程中,计算机设备从样本集中获取第一医学图像,利用本次获取的第一医学图像对图像处理模型进行一次迭代训练。
402、计算机设备按照第一医学图像中的目标区域的尺寸,对第一医学图像进行分割,以使第一医学图像分割得到的多个图像块中,包含目标区域的图像块的数量最小。
计算机设备对第一医学图像进行分割,得到多个尺寸相同的图像块,第一医学图像中的目标区域位于该多个图像块中,由于目标区域中的信息是用于确定目标区域的状态的关键因素,为了保证状态检测的准确率,需要尽可能保证目标区域的完整性。
因此,计算机设备确定目标区域的尺寸,按照该目标区域的尺寸,对第一医学图像进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小。也即是,按照目标区域的尺寸将第一医学图像分割成多个尺寸相同的图像块时,尽可能地让目标区域集中在较少的图像块中,例如尽可能地使目标区域不被分割,让目标区域位于同一个图像块中,从而保证目标区域的完整性。
403、计算机设备交换多个图像块之间的位置,将交换位置后的多个图像块构成扰动医学图像。
计算机设备将第一医学图像分割成多个图像块之后,交换该多个图像块之间的位置,例如随机将多个图像块的位置进行两两交换,然后将交换位置后的多个图像块构成扰动医学图像。也即是,将第一医学图像中的多个图像块原始的位置打乱,从而实现对第一医学图像进行扰动处理,得到扰动处理后的第一医学图像。
404、计算机设备基于扰动医学图像和第一医学图像的状态标签,训练图像处理模型。
由于扰动医学图像是对第一医学图像进行扰动处理所得到的,该扰动医学图像中的目标区域所属的状态,与该第一医学图像中的目标区域所属的状态相同,因此可以将第一医学图像的状态标签作为该扰动医学图像的状态标签。则计算机设备基于该扰动医学图像和第一医学图像的状态标签,来训练图像处理模型,该图像处理模型用于确定任一医学图像中的目标区域所属的状态,该图像处理模型的网络结构详见上述图2或者图3的实施例。
本申请实施例提供的方法,通过交换第一医学图像的多个图像块之间的位置,得到扰动医学图像,该扰动医学图像包括交换位置之后的多个图像块,相当于将医学图像中的信息分割成不同的局部信息,并且按照目标区域的尺寸进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小,有利于保护目标区域的完整性。则基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,提高图像处理模型区分不同医学图像的图像特征的能力,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
上述图4的实施例仅以基于扰动医学图像训练图像处理模型为例进行说明,在另一种可能实现方式中,如图2和图3的实施例所示,图像处理模型包括第一处理网络和第二处理网络,计算机设备基于扰动医学图像和未进行扰动处理的第二医学图像,训练图像处理模型。图5是本申请实施例提供的一种图像处理方法的流程图,本申请实施例的执行主体为计算机设备,参见图5,该方法包括以下步骤。
501、计算机设备从样本集中获取第一医学图像。
为了训练图像处理模型,计算机设备先获取样本集,该样本集包括多个医学图像和每个医学图像的状态标签。基于样本集训练图像处理模型的过程包括多次迭代过程,在每次迭代过程中,基于第一医学图像、第二医学图像和对应的状态标签来进行训练。需要说明的是,本申请实施例中的步骤501-507仅以一次迭代过程为例进行说明。
本申请实施例中的医学图像包括目标区域。其中,目标区域可以按照不同的标准来确定,例如按照人体器官来划分,该目标区域可以为眼部区域、肺部区域或者胃部区域等。例如按照是否发生病变来划分,该目标区域可以为病灶区域,病灶是指机体上发生病变的部分,具有病原微生物的病变组织,就称为病灶。例如肺的某一部分被结核菌破坏,这一部分就是肺结核病灶。
可选地,医学图像中的目标区域通过标注框的形式标注出来,标注框所框出的区域即为目标区域。可选地,该医学图像为采用X射线断层扫描技术、CT(ComputedTomography,电子计算机断层扫描)技术或者MRI(Magnetic Resonance Imaging,磁共振成像)技术所得到的医学图像。
医学图像的状态标签表示医学图像中的目标区域所属的状态,例如目标区域属于正常状态或者异常状态等。在一种可能实现方式中,状态标签为状态级别标签,状态级别标签用于表示医学图像中的目标区域所属的状态级别。例如,目标区域为病灶区域,状态级别标签表示该医学图像中的病灶区域所属的状态级别,状态级别能够反映病变的严重程度,例如状态级别分为一级、二级、三级等,随着级别数量的增加,病变的严重程度越来越高。
在一种可能实现方式中,样本集包括采用X射线断层扫描技术所得到的多个医学图像,使用该样本集进行图像处理模型的训练、验证与测试。可选地,按照7:1:2的比例,将样本集分成训练集、验证集和测试集,训练集中的医学图像用于对图像处理模型进行训练,在训练过程中,使用验证集中的医学图像对当前训练得到的图像处理模型进行验证,例如每完成10次迭代训练,则对训练得到的图像处理模型进行一次验证,测试集中的医学图像用于对训练完成的图像处理模型进行测试,来评估图像处理模型的性能。可选地,X射线断层扫描的分辨率为1000*1500,为了便于图像处理模型进行处理,将扫描得到的医学图像的分辨率调整为352*352。
502、计算机设备按照第一医学图像中的目标区域的尺寸,对第一医学图像进行分割,以使第一医学图像分割得到的多个图像块中,包含目标区域的图像块的数量最小。
由于目标区域中的信息是用于确定目标区域的状态的关键因素,为了保证状态检测的准确率,需要尽可能保证目标区域的完整性。因此,计算机设备确定目标区域的尺寸,按照该目标区域的尺寸,对第一医学图像进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小。
在一种可能实现方式中,计算机设备确定第一医学图像的第一长度和第一宽度,以及第一医学图像中的目标区域的第二长度和第二宽度,对第一长度与第二长度之间的比值进行取整得到M,对第一宽度与第二宽度之间的比值进行取整得到N,将第一医学图像在水平方向上分割成M份,在竖直方向上分割成N份,得到M*N个图像块。
为了尽可能保证目标区域的完整性,可以使分割得到的多个图像块的尺寸尽可能接近目标区域的尺寸,以使目标区域位于一个图像块中。则计算机设备确定第一长度与第二长度之间的比值,该比值表示将第一长度分割成多个第二长度的份数,但是对医学图像进行分割,要求分割得到的份数为整数,而第一长度与第二长度之间的比值不一定为整数,则计算机设备对第一长度与第二长度之间的比值进行取整,得到整数M。同理,计算机设备确定第一宽度与第二宽度之间的比值,该比值表示将第一宽度分割成多个第二宽度的份数,计算机设备对第一宽度与第二宽度之间的比值进行取整,得到整数N。可选地,计算机设备采用向上取整、向下取整或者四舍五入取整的方式,对比值进行取整,得到整数M和整数N。
计算机设备将第一医学图像在水平方向上分割成M份,也即是将第一长度分割成M份,在竖直方向上分割成N份,也即是将第一宽度分割成N份,得到M*N个图像块。或者说,计算机设备将第一医学图像均匀地划分为M*N份,得到尺寸相同的M*N个图像块。
503、计算机设备交换多个图像块之间的位置,将交换位置后的多个图像块构成扰动医学图像。
计算机设备将第一医学图像分割成多个图像块之后,交换该多个图像块之间的位置,例如随机将多个图像块的位置进行两两交换,然后将交换位置后的多个图像块构成扰动医学图像。也即是,将第一医学图像中的多个图像块原始的位置打乱,从而实现对第一医学图像进行扰动处理,得到扰动处理后的第一医学图像。
本申请实施例中,在对第一医学图像进行扰动处理时,将目标区域的尺寸考虑在内,使进行扰动处理时能够尽可能保留完整的目标区域。例如,第一医学图像的第一长度为X,第一宽度为Y,目标区域的第二长度为h,第二宽度为w,将第一医学图像分割成int(X/h)*int(Y/w)个图像块,其中int(.)表示取整操作。接着,对多个图像块进行两两随机互换位置,得到扰动医学图像。
图6是本申请实施例提供的一种扰动医学图像的示意图,图6中包括未进行扰动处理的第一医学图像601和扰动处理后得到的扰动医学图像602,第一医学图像601包括标号分别为1-12的多个图像块,第一医学图像601中黑色加粗的标注框所框出的区域为目标区域,从图6中可以看出,相比于第一医学图像601,扰动医学图像602中的多个图像块所在的位置已经被打乱,且扰动医学图像602中保留了完整的目标区域。
504、计算机设备从样本集中获取第二医学图像。
本申请实施例中,在一次迭代训练过程中,计算机设备利用扰动处理后的医学图像和未进行扰动处理的医学图像训练图像处理模型,在上述步骤501-503中,计算机设备获取到扰动处理后的扰动医学图像,除此之外,计算机设备还从样本集中获取未进行扰动处理的第二医学图像。
505、计算机设备调用图像处理模型中的第一处理网络,对扰动医学图像进行状态检测,得到第一状态标签。
图像处理模型的网络结构详见上述图2或者图3的实施例,该图像处理模型包括第一处理网络,第一处理网络用于对扰动处理后的医学图像进行状态检测。则计算机设备调用第一处理网络,对扰动医学图像进行状态检测,得到第一状态标签,该第一状态标签表示扰动医学图像中的目标区域所属的状态。可选地,第一状态标签包括各个状态对应的概率,每个状态对应的概率表示该扰动医学图像中的目标区域属于该状态的可能性。
在一种可能实现方式中,第一处理网络包括目标编码层、第一编码层和第一分类层。目标编码层与第一编码层连接,第一编码层与第一分类层连接。计算机设备调用目标编码层,对扰动医学图像进行特征提取,得到第一图像特征,调用第一编码层,对第一图像特征进行特征提取,得到第二图像特征,调用第一分类层,对第二图像特征进行分类,得到第一状态标签。
第一编码层的输入为目标编码层的输出,第一分类层的输入为第一编码层的输出,目标编码层与第一编码层均用于进行特征提取,不同之处在于,目标编码层提取的是医学图像的特征,第一编码层提取的是图像特征的特征,相比于目标编码层提取出来的第一图像特征,第一编码层提取出来的第二图像特征是更深层次的特征。
506、计算机设备调用图像处理模型中的第二处理网络,对第二医学图像进行状态检测,得到第二状态标签。
图像处理模型还包括第二处理网络,第二处理网络用于对未进行扰动处理的医学图像进行状态检测。则计算机设备调用第二处理网络,对未进行扰动处理的第二医学图像进行状态检测,得到第二状态标签,该第二状态标签表示第二医学图像中的目标区域所属的状态。可选地,第二状态标签包括各个状态对应的概率,每个状态对应的概率表示该第二医学图像中的目标区域属于该状态的可能性。
在一种可能实现方式中,第二处理网络包括目标编码层、第二编码层和第二分类层。目标编码层与第二编码层连接,第二编码层与第二分类层连接。计算机设备调用目标编码层,对第二医学图像进行特征提取,得到第五图像特征,调用第二编码层,对第五图像特征进行特征提取,得到第六图像特征,调用第二分类层,对第六图像特征进行分类,得到第二状态标签。
其中,第二处理网络中的目标编码层与第一处理网络中的目标编码层为同一个目标编码层,也即是目标编码层同时连接着第一编码层和第二编码层。该第二处理网络对第二医学图像进行状态检测的过程与上述第一处理网络对扰动医学图像进行状态检测的过程同理。可选地,第一处理网络中的第一编码层与第二处理网络中的第二编码层的网络结构相同,但是网络参数不同,第一处理网络中的第一分类层与第二处理网络中的第二分类层的网络结构相同,但是网络参数不同。
上述步骤505-506,仅以调用图像处理模型中的第一处理网络和第二处理网络分别对扰动医学图像和第二医学图像进行状态检测为例,说明调用图像处理模型,分别对扰动医学图像和第二医学图像进行状态检测,得到第一状态标签和第二状态标签的过程。除此之外,计算机设备还可以采用其他方式进行处理,例如调用图像处理模型中的同一个处理网络,分别对扰动医学图像和第二医学图像进行状态检测,得到第一状态标签和第二状态标签。
507、计算机设备基于第一医学图像的状态标签与第一状态标签之间的第一误差参数,以及第二医学图像的状态标签与第二状态标签之间的第二误差参数,训练图像处理模型。
计算机设备在样本集中获取第一医学图像的状态标签和第二医学图像的状态标签,在样本集中获取的状态标签为医学图像的真实的状态标签,第一状态标签和第二状态标签为图像处理模型预测的状态标签,预测的状态标签与真实的状态标签越接近,该图像处理模型越准确。则计算机设备确定第一医学图像的状态标签与第一状态标签之间的第一误差参数以及第二医学图像的状态标签与第二状态标签之间的第二误差参数,基于该第一误差参数和第二误差参数,训练图像处理模型,以提高图像处理模型的处理能力,从而提高图像处理模型的准确率。
本申请实施例中,计算机设备利用扰动处理所得到的扰动医学图像和未进行扰动处理的第二医学图像训练图像处理模型,促使图像处理模型基于第二医学图像关注医学图像中的全局信息,基于扰动医学图像关注医学图像中的局部信息,同时学习到粗粒度的图像特征和细粒度的图像特征,有利于提高图像处理模型进行状态检测的准确率。
在一种可能实现方式中,除了对整个第一医学图像进行扰动处理之外,还可以对第一医学图像中的目标区域进行扰动处理。第一处理网络还包括解码层,解码层用于对图像特征进行解码,则计算机设备还执行以下步骤:对第一医学图像中的目标区域进行扰动处理,得到扰动目标图像,调用目标编码层,对扰动目标图像进行特征提取,得到第三图像特征,调用第一编码层,对第三图像特征进行特征提取,得到第四图像特征,调用解码层,对第四图像特征进行解码,得到预测医学图像。计算机设备基于扰动医学图像的状态标签与第一状态标签之间的第一误差参数,第二医学图像的状态标签与第二状态标签之间的第二误差参数,以及扰动目标图像与预测医学图像之间的第三误差参数,训练图像处理模型。
计算机设备对第一医学图像中的目标区域进行扰动处理,将扰动处理后的该第一医学图像确定为扰动目标图像,扰动目标图像包括扰动处理后的目标区域,除了目标区域之外,扰动目标图像中的其他区域与第一医学图像中的其他区域相同。可选地,计算机设备将第一医学图像中的目标区域分割成尺寸相同的多个图像块,然后交换分割得到的多个图像块之间的位置,得到扰动目标图像。图7是本申请实施例提供的一种扰动目标图像的示意图,图7中包括未进行扰动处理的第一医学图像701和对目标区域进行扰动处理后得到的扰动目标图像702,第一医学图像701和扰动目标图像702中黑色加粗的标注框所框出的区域为目标区域,目标区域包括标号分别为1-6的多个图像块,从图7中可以看出,相比于第一医学图像701,扰动目标图像702中的目标区域的多个图像块所在的位置已经被打乱。
计算机设备得到扰动目标图像后,调用第一处理网络中的目标编码层和第一编码层对扰动目标图像进行特征提取,得到第四图像特征。可选地,第一编码层包括特征提取层和GAP层,计算机设备调用第一编码层,对第三图像特征进行特征提取,得到第四图像特征,无需调用GAP层进行池化处理。
其中,预测医学图像是图像处理模型基于第四图像特征所预测得到的图像,预测医学图像与扰动目标图像越接近,则说明第四图像特征越准确,也即是图像处理模型提取图像特征的能力越高。因此,为了提高图像处理模型提取图像特征的能力,计算机设备还基于扰动目标图像与预测医学图像之间的第三误差参数,训练该图像处理模型,以使第三误差参数越来越小,图像处理模型提取的图像特征越来越准确。
本申请实施例中,除了在整张医学图像的维度上进行扰动处理之外,还可以仅对第一医学图像中的目标区域进行扰动处理,得到扰动目标图像,还使用扰动目标图像训练图像处理模型,能够促进图像处理模型更加关注目标区域的图像特征,从而提取出与目标区域所属的状态更加相关的图像特征,从而提高图像处理模型进行状态检测的准确率。
通过执行上述步骤505-507,实现了基于扰动医学图像、第一医学图像的状态标签、第二医学图像和第二医学图像的状态标签,训练图像处理模型。
需要说明的是,上述步骤501-507仅以一次迭代过程为例进行说明,在训练图像处理模型的过程中,需要进行多次迭代训练。在一种可能实现方式中,计算机设备响应于迭代轮次达到第一阈值,停止对该图像处理模型进行训练;或者,响应于当前迭代轮次得到的误差参数不大于第二阈值,停止对图像处理模型进行训练。其中,第一阈值和第二阈值均为任意的数值,例如,第一阈值为10或15等,第二阈值为0.4或0.3等。
需要说明的是,本申请实施例仅以基于第一医学图像对应的扰动医学图像以及第二医学图像,训练图像处理模型为例进行说明。在另一实施例中,计算机设备无需执行上述步骤504-506,直接基于扰动医学图像和第一医学图像的状态标签,训练图像处理模型。例如,计算机设备获取基于未进行扰动处理的医学图像训练的图像处理模型,然后基于扰动医学图像和第一医学图像的状态标签,继续对该图像处理模型进行训练。
本申请实施例提供的方法,通过交换第一医学图像的多个图像块之间的位置,得到扰动医学图像,该扰动医学图像包括交换位置之后的多个图像块,相当于将医学图像中的信息分割成不同的局部信息,并且按照目标区域的尺寸进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小,有利于保护目标区域的完整性。则基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,提高图像处理模型区分不同医学图像的图像特征的能力,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
并且,利用扰动处理所得到的扰动医学图像和未进行扰动处理的第二医学图像训练图像处理模型,促使图像处理模型基于第二医学图像关注医学图像中的全局信息,基于扰动医学图像关注医学图像中的局部信息,同时学习到粗粒度的图像特征和细粒度的图像特征,有利于提高图像处理模型进行状态检测的准确率。
并且,除了在整张医学图像的维度上进行扰动处理之外,还可以仅对第一医学图像中的目标区域进行扰动处理,得到扰动目标图像,还使用扰动目标图像训练图像处理模型,能够促进图像处理模型更加关注目标区域的图像特征,从而提取出与状态更加相关的图像特征,从而提高图像处理模型进行状态检测的准确率。
上述图4和图5的实施例中所训练的图像处理模型,可应用于进行状态检测的任务中,例如确定任一医学图像中的目标区域所属的状态。计算机设备调用训练完成的图像处理模型,对任一医学图像进行状态检测,得到任一医学图像的第三状态标签,该第三状态标签表示该医学图像中的目标区域所属的状态。
在一种可能实现方式中,图像处理模型包括第一处理网络和第二处理网络,第一处理网络用于对扰动处理后的医学图像进行状态检测,第二处理网络用于对未进行扰动处理的医学图像进行状态检测。则计算机设备调用第二处理网络,对该任一医学图像进行状态检测,得到该第三状态标签。其中,计算机设备调用第二处理网络获取第三状态标签的过程,与上述步骤506中调用图像处理模型获取第二状态标签的过程同理,在此不再一一赘述。
需要说明的是,上述图2-图4的实施例中,仅以图像处理模型包括一个第二处理网络为例进行说明。在另一实施例中,图像处理模型包括多个第二处理网络,为了便于描述,以图像处理模型包括两个第二处理网络为例进行说明,则图像处理模型的结构示意图如图8所示,图像处理模型包括第一处理网络801,第一个第二处理网络802和第二个第二处理网络803,第一处理网络801用于对扰动处理后的医学图像进行状态检测,第一个第二处理网络802和第二个第二处理网络803用于对未进行扰动处理的医学图像进行状态检测。其中,在训练过程中,第一个第二处理网络802处理的是随机在样本集中获取的医学图像,第二个第二处理网络803处理的是按照各个状态的采样概率在样本集中获取的医学图像,每个状态的采样概率与该状态的医学图像在样本集中的数量占比负相关。
如图8所示,第一处理网络801包括目标编码层804、第一编码层811、第一分类层821和解码层831,第一编码层811包括特征提取层和GAP层。第一个第二处理网络802包括目标编码层804、第一个第二编码层812和第一个第二分类层822,第二个第二处理网络803包括目标编码层804、第二个第二编码层813和第二个第二分类层823。
在一种可能实现方式中,第二处理网络的数量为多个,第二医学图像的数量为多个,每个第二处理网络用于处理一个第二医学图像,图9是本申请实施例提供的一种图像处理方法的流程图,本申请实施例以第二处理网络的数量为2个,第二医学图像的数量为2个为例进行说明,本申请实施例的执行主体为计算机设备,本申请实施例中的图像处理模型的网络结构详见上述图8的实施例,参见图9,该方法包括以下步骤。
901、计算机设备从样本集中获取第一医学图像。
902、计算机设备按照第一医学图像中的目标区域的尺寸,对第一医学图像进行分割,以使第一医学图像分割得到的多个图像块中,包含目标区域的图像块的数量最小。
903、计算机设备交换多个图像块之间的位置,将交换位置后的多个图像块构成扰动医学图像。
步骤901-903的过程与上述步骤501-503的过程同理,在此不再一一赘述。
904、计算机设备从样本集中获取两个第二医学图像。
本申请实施例中,在一次迭代训练过程中,计算机设备需要利用扰动医学图像和未进行扰动处理的两个第二医学图像训练图像处理模型,则计算机设备从样本集中获取两个第二医学图像。
图像处理模型包括两个第二处理网络,其中一个第二处理网络用于对随机从样本集中获取的第二医学图像进行状态检测,另一个第二处理网络用于对按照每个状态对应的采样概率从样本集中获取的第二医学图像进行状态检测。则计算机设备随机从样本集中获取第二医学图像,确定样本集中每个状态对应的采样概率,按照每个状态对应的采样概率从样本集中获取第二医学图像,状态对应的采样概率与该状态的医学图像在样本集中的数量占比负相关。也即是,该状态的医学图像的数量占比越小,该状态对应的采样概率越大,该状态的医学图像被选取为第二医学图像的可能性越大,该状态的医学图像的数量占比越大,该状态对应的采样概率越小,该状态的医学图像被选取为第二医学图像的可能性越小。
其中,随机从样本集中获取第二医学图像是指,样本集中每个医学图像被选取为第二医学图像的概率是相同的。但是由于每个状态的医学图像在样本集中的数量占比不同,导致每个状态的医学图像被选取为第二医学图像的概率是不同的,则使用在每个状态上分布不均衡的医学图像训练图像处理模型,该图像处理模型的泛化性不够。因此计算机设备还按照每个状态对应的采样概率从样本集中获取第二医学图像,由于状态对应的采样概率与该状态的医学图像在样本集中的数量占比负相关,相当于增加了数量占比小的状态的医学图像被选取为第二医学图像的可能性,有利于提高图像处理模型的泛化性。
可选地,对于每个状态,计算机设备确定该状态的医学图像在样本集中的数量占比,将1与该数量占比的差值,作为该状态对应的采样概率。
为了便于描述,以下将用于对随机从样本集中获取的第二医学图像进行状态检测的第二处理网络,记为第一个第二处理网络;将用于对按照每个状态对应的采样概率从样本集中获取的第二医学图像进行状态检测的第二处理网络,记为第二个第二处理网络。相应地,将随机从样本集中获取的第二医学图像,记为第一个第二医学图像;将按照每个状态对应的采样概率从样本集中获取第二医学图像,记为第二个第二医学图像。
本申请实施例中,图像处理模型包括两个第二处理网络,为了达到两个第二处理网络分离学习的目标,两个分支采用了不同的采样方式,第一个第二处理网络采用随机获取医学图像的均匀采样方式进行表征学习,表征学习是指促使第一个第二处理网络注重大类别样本的学习,第二个第二处理网络采用按照采样概率获取医学图像的逆向采样方式进行分类学习,分类学习是指促使第二个第二处理网络注重小类别样本的学习,从而提高整个图像处理模型的泛化性。
905、计算机设备调用图像处理模型中的第一处理网络,对扰动医学图像进行状态检测,得到第一状态标签。
906、计算机设备调用图像处理模型中的第一个第二处理网络,对第一个第二医学图像进行状态检测,得到第一个第二状态标签。
907、计算机设备调用图像处理模型中的第二个第二处理网络,对第二个第二医学图像进行状态检测,得到第二个第二状态标签。
上述步骤905的过程与上述步骤505的过程同理,上述步骤906和步骤907与上述步骤506的过程同理,在此不再一一赘述。
908、计算机设备基于扰动医学图像的状态标签与第一状态标签之间的第一误差参数,以及第二医学图像的状态标签与第二状态标签之间的第二误差参数,训练图像处理模型。
计算机设备基于第一误差参数和第二误差参数,训练图像处理模型,以提高图像处理模型的处理能力,从而提高图像处理模型的准确率。
本申请实施例中,第二状态标签的数量为两个,第一个第二状态标签是对随机从样本集中获取的第二医学图像进行状态检测所得到的,第二个第二状态标签是对按照每个状态对应的采样概率从样本集中获取的第二医学图像进行状态检测所得到的。则第二误差参数包括随机从样本集中获取的第二医学图像的状态标签与对应的第二状态标签之间的第一误差子参数,以及按照每个状态对应的采样概率从样本集中获取的第二医学图像的状态标签与对应的第二状态标签之间的第二误差子参数,也即是第一误差子参数是第一个第二医学图像的状态标签与第一个第二状态标签之间的误差子参数,第二误差子参数是第二个第二医学图像的状态标签与第二个第二状态标签之间的误差子参数。
在一种可能实现方式中,计算机设备基于第一误差子参数的权重以及第二误差子参数的权重,对第一误差子参数与第二误差子参数进行加权求和,得到第四误差参数,基于第一误差参数和第四误差参数,训练图像处理模型。
其中,第一误差子参数的权重与图像处理模型的训练次数负相关,第二误差子参数的权重参数与图像处理模型的训练次数正相关。也即是,图像处理模型的训练次数越少,第一误差子参数的权重越大,第二误差子参数的权重越小,图像处理模型的训练次数越大,第一误差子参数的权重越小,第二误差子参数的权重越大。由于第一误差子参数反映的是第一个第二处理网络模型的处理能力,也即是学习大类别样本的特征的能力,第二误差子参数反映的是第二个第二处理网络模型的处理能力,也即是学习小类别样本的特征的能力。因此在图像处理模型的训练初期,图像处理模型更注重对大类别样本的学习,随着训练次数的增加,使图像处理模型越来越偏重于对小类别样本的学习,通过从大类别到小类别的学习,逐步提高图像处理模型的处理能力,从而提高图像处理模型进行状态检测的准确率。
在一种可能实现方式中,计算机设备对第一医学图像中的目标区域进行扰动处理,得到扰动目标图像,调用目标编码层,对扰动目标图像进行特征提取,得到第三图像特征,调用第一编码层,对第三图像特征进行特征提取,得到第四图像特征;调用解码层,对第四图像特征进行解码,得到预测医学图像。则计算机设备基于第一误差参数、第四误差参数,以及扰动目标图像与预测医学图像之间的第三误差参数,训练图像处理模型。
在另一种可能实现方式中,计算机设备采用以下公式,获取目标误差参数,根据目标误差参数,训练图像处理模型,公式如下:
其中,表示第一误差子参数,表示第二误差子参数,表示交叉熵函数,表示第一误差子参数的权重,表示第二误差子参数的权重,表示第一个第二状态标签,表示第一个第二医学图像真实的状态标签,表示第一个第二分类层,表示第一个第二医学图像的图像特征,表示第二个第二状态标签,表示第二个第二医学图像真实的状态标签,表示第二个第二分类层,表示第二个第二医学图像的图像特征。
在状态检测的任务中,存在两个问题:一个问题是由于不同状态的医学图像在样本集中的数量占比不相同,导致样本不均衡,使用不均衡的样本训练图像处理模型会让图像处理模型预测存在明显的偏向性,降低图像处理模型的泛化性;另一个问题是不同的医学图像的图像特征较为相似,例如状态标签为状态级别标签,属于相邻状态级别的两个医学图像存在相似的图像特征,图像处理模型难以区分相似的图像特征,导致状态检测的效果不佳。而本申请实施例中,使用第一处理网络对扰动处理后的医学图像进行状态检测,促使图像处理模型学习细粒度的特征,提高图像处理模型区分不同图像特征的能力,使用两个第二处理网络,分别对大类别样本和小类别样本进行学习,从而减小样本不均衡所带来的影响,提高图像处理模型的泛化性,因此能够提高图像处理模型进行状态检测的准确率。
本申请实施例提供的方法,通过交换第一医学图像的多个图像块之间的位置,得到扰动医学图像,该扰动医学图像包括交换位置之后的多个图像块,相当于将医学图像中的信息分割成不同的局部信息,并且按照目标区域的尺寸进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小,有利于保护目标区域的完整性。基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,提高图像处理模型区分不同医学图像的图像特征的能力,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
并且,图像处理模型包括两个第二处理网络,为了达到两个第二处理网络分离学习的目标,两个分支采用了不同的采样方式,第一个第二处理网络采用随机获取医学图像的均匀采样方式,促使第一个第二处理网络注重大类别样本的学习,第二个第二处理网络采用按照采样概率获取医学图像的逆向采样方式,促使第二个第二处理网络注重小类别样本的学习,从而提取整个图像处理模型的泛化性。
并且,第一误差子参数的权重与图像处理模型的训练次数负相关,第二误差子参数的权重参数与图像处理模型的训练次数正相关。因此在图像处理模型的训练初期,图像处理模型更注重对大类别样本的学习,随着训练次数的增加,使图像处理模型越来越偏重于对小类别样本的学习,通过从大类别到小类别的学习,逐步提高图像处理模型的处理能力,从而提高图像处理模型进行状态检测的准确率。
上述图9的实施例中所训练的图像处理模型,可应用于进行状态检测的任务中。计算机设备调用训练完成的图像处理模型,对任一医学图像进行状态检测,得到任一医学图像的第三状态标签,该第三状态标签表示该医学图像中的目标区域所属的状态。
其中,图9的实施例仅以图像处理模型中包括第一处理网络和两个第二处理网络为例来说明,而该图像处理模型可以包括第一处理网络和多个第二处理网络,第一处理网络用于对扰动处理后的医学图像进行状态检测,每个第二处理网络用于对未进行扰动处理的医学图像进行状态检测。则计算机设备调用多个第二处理网络,分别对任一医学图像进行状态检测,得到多个第四状态标签,将得到的多个第四状态标签进行融合,得到第三状态标签。
可选地,第四状态标签包括各个状态对应的概率,计算机设备将多个第四状态标签中相同状态对应的概率相加,将得到的每个状态对应的总概率构成第三状态标签。例如,状态标签为状态级别标签,状态级别分为一级、二级和三级,第二处理网络的数量为两个,第一个第四状态标签为 [0.1,0.8,0.1],也即是一级、二级和三级的对应的概率分别为0.2、0.8、0.1。第二个第四状态标签为 [0.2,0.7,0.1],也即是一级、二级和三级的对应的概率分别为0.2、0.7、0.1。将两个第四状态标签中相同状态级别对应的概率相加,得到一级、二级和三级的对应的概率分别为0.3、1.5、0.2,则第三状态标签为[0.3,1.5,0.2]。
图10是本申请实施例提供的一种图像处理装置的结构示意图。参见图10,该装置包括:
图像获取模块1001,用于从样本集中获取第一医学图像,样本集包括多个医学图像和每个医学图像的状态标签,状态标签表示医学图像中的目标区域所属的状态;
图像扰动模块1002,用于按照第一医学图像中的目标区域的尺寸,对第一医学图像进行分割,以使第一医学图像分割得到的多个图像块中,包含目标区域的图像块的数量最小;
图像扰动模块1002,还用于交换多个图像块之间的位置,将交换位置后的多个图像块构成扰动医学图像;
模型训练模块1003,用于基于扰动医学图像和第一医学图像的状态标签,训练图像处理模型,图像处理模型用于确定任一医学图像中的目标区域所属的状态。
本申请实施例提供的图像处理装置,通过交换第一医学图像的多个图像块之间的位置,得到扰动医学图像,该扰动医学图像包括交换位置之后的多个图像块,相当于将医学图像中的信息分割成不同的局部信息,并且按照目标区域的尺寸进行分割,以使分割得到的多个图像块中,包含目标区域的图像块的数量最小,有利于保护目标区域的完整性。则基于该扰动医学图像与对应的状态标签来训练图像处理模型,不仅能够促使图像处理模型关注医学图像的局部信息,学习到细粒度的图像特征,提高图像处理模型区分不同医学图像的图像特征的能力,还能够降低由于目标区域不完整所导致的误差,因此能够提高图像处理模型进行状态检测的准确率。
可选地,参见图11,图像扰动模块1002,包括:
长宽确定单元1012,用于确定第一医学图像的第一长度和第一宽度,以及第一医学图像中的目标区域的第二长度和第二宽度;
取整单元1022,用于对第一长度与第二长度之间的比值进行取整得到M;
取整单元1022,还用于对第一宽度与第二宽度之间的比值进行取整得到N;
图像分割单元1032,用于将第一医学图像在水平方向上分割成M份,在竖直方向上分割成N份,得到M *N个图像块。
可选地,状态标签为状态级别标签,状态级别标签用于表示医学图像中的目标区域所属的状态级别。
可选地,参见图11,图像获取模块1001,还用于从样本集中获取第二医学图像;
模型训练模块1003,包括:
模型训练单元1013,用于基于扰动医学图像、第一医学图像的状态标签、第二医学图像和第二医学图像的状态标签,训练图像处理模型。
可选地,参见图11,模型训练单元1013,用于:
调用图像处理模型,分别对扰动医学图像和第二医学图像进行状态检测,得到第一状态标签和第二状态标签;
基于第一医学图像的状态标签与第一状态标签之间的第一误差参数,以及第二医学图像的状态标签与第二状态标签之间的第二误差参数,训练图像处理模型。
可选地,参见图11,图像处理模型包括第一处理网络,第一处理网络包括目标编码层、第一编码层和第一分类层,模型训练单元1013,用于:
调用目标编码层,对扰动医学图像进行特征提取,得到第一图像特征;
调用第一编码层,对第一图像特征进行特征提取,得到第二图像特征;
调用第一分类层,对第二图像特征进行分类,得到第一状态标签。
可选地,参见图11,第一处理网络还包括解码层,图像扰动模块1002,还用于对第一医学图像中的目标区域进行扰动处理,得到扰动目标图像;
模型训练单元1013,还用于:
调用目标编码层,对扰动目标图像进行特征提取,得到第三图像特征;
调用第一编码层,对第三图像特征进行特征提取,得到第四图像特征;
调用解码层,对第四图像特征进行解码,得到预测医学图像;
基于第一误差参数、第二误差参数以及扰动目标图像与预测医学图像之间的第三误差参数,训练图像处理模型。
可选地,参见图11,图像处理模型还包括至少一个第二处理网络,第二处理网络包括目标编码层、第二编码层和第二分类层,模型训练单元1013,用于:
调用目标编码层,对第二医学图像进行特征提取,得到第五图像特征;
调用第二编码层,对第五图像特征进行特征提取,得到第六图像特征;
调用第二分类层,对第六图像特征进行分类,得到第二状态标签。
可选地,参见图11,第二医学图像的数量为多个,图像获取模块1001,包括:
第一获取单元1011,用于随机从样本集中获取第二医学图像;
第二获取单元1021,用于确定样本集中每个状态对应的采样概率,状态对应的采样概率与该状态的医学图像在样本集中的数量占比负相关;
第二获取单元1021,还用于按照每个状态对应的采样概率从样本集中获取第二医学图像。
可选地,图像处理模型包括两个第二处理网络,其中一个第二处理网络用于对随机从样本集中获取的第二医学图像进行状态检测,另一个第二处理网络用于对按照每个级别对应的采样概率从样本集中获取的第二医学图像进行状态检测。
可选地,第二状态标签的数量为两个,其中一个第二状态标签是对随机从样本集中获取的第二医学图像进行状态检测所得到的,另一个第二状态标签是对按照每个级别对应的采样概率从样本集中获取的第二医学图像进行状态检测所得到的;第二误差参数包括随机从样本集中获取的第二医学图像的状态标签与对应的第二状态标签之间的第一误差子参数,以及按照每个级别对应的采样概率从样本集中获取的第二医学图像的状态标签与对应的第二状态标签之间的第二误差子参数;
模型训练单元1013,用于:
基于第一误差子参数的权重以及第二误差子参数的权重,对第一误差子参数与第二误差子参数进行加权求和,得到第四误差参数,第一误差子参数的权重与图像处理模型的训练次数负相关,第二误差子参数的权重参数与训练次数正相关;
基于第一误差参数和第四误差参数,训练图像处理模型。
可选地,参见图11,装置还包括:
状态检测模块1004,用于调用训练完成的图像处理模型,对任一医学图像进行状态检测,得到任一医学图像的第三状态标签。
可选地,参见图11,图像处理模型包括第一处理网络和第二处理网络,第一处理网络用于对扰动处理后的医学图像进行状态检测,第二处理网络用于对未进行扰动处理的医学图像进行状态检测;
状态检测模块1004,包括:
状态检测单元1014,用于调用第二处理网络,对任一医学图像进行状态检测,得到第三状态标签。
可选地,第二处理网络的数量为多个,状态检测单元1014,用于:
调用多个第二处理网络,分别对任一医学图像进行状态检测,得到多个第四状态标签;
将得到的多个第四状态标签进行融合,得到第三状态标签。
可选地,第四状态标签包括各个状态对应的概率,状态检测单元1014,用于将多个第四状态标签中相同状态对应的概率相加,将得到的每个状态对应的总概率构成第三状态标签。
需要说明的是:上述实施例提供的图像处理装置在处理图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的图像处理方法中所执行的操作。
可选地,该计算机设备提供为终端。图12示出了本申请一个示例性实施例提供的终端1200的结构示意图。
终端1200包括有:处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一条计算机程序,该至少一条计算机程序用于被处理器1201所具有以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中,终端1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。可选地,外围设备包括:射频电路1204、显示屏1205、摄像头组件1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input /Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置在终端1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1200的不同表面或呈折叠设计;在另一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。前置摄像头设置在终端1200的前面板,后置摄像头设置在终端1200的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图12中示出的结构并不构成对终端1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
可选地,该计算机设备提供为服务器。图13是本申请实施例提供的一种服务器的结构示意图,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1301和一个或一个以上的存储器1302,其中,所述存储器1302中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器1301加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的图像处理方法中所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机程序代码,计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取计算机程序代码,处理器执行计算机程序代码,使得计算机设备实现如上述实施例的图像处理方法中所执行的操作。在一些实施例中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
从样本集中获取第一医学图像和第二医学图像,所述样本集包括多个医学图像和每个医学图像的状态标签,所述状态标签表示所述医学图像中的目标区域所属的状态;
按照所述第一医学图像中的目标区域的尺寸,对所述第一医学图像进行分割,以使所述第一医学图像分割得到的多个图像块中,包含所述目标区域的图像块的数量最小;
交换所述多个图像块之间的位置,将交换位置后的所述多个图像块构成扰动医学图像;
调用图像处理模型,分别对所述扰动医学图像和所述第二医学图像进行状态检测,得到第一状态标签和第二状态标签;
基于所述第一医学图像的状态标签、所述第一状态标签、所述第二医学图像的状态标签和所述第二状态标签,训练所述图像处理模型,所述图像处理模型用于确定任一医学图像中的目标区域所属的状态;
其中,所述图像处理模型包括第一处理网络和至少一个第二处理网络,所述第一处理网络包括目标编码层、第一编码层和第一分类层,所述第二处理网络包括所述目标编码层、第二编码层和第二分类层;所述调用图像处理模型,分别对所述扰动医学图像和所述第二医学图像进行状态检测,得到第一状态标签和第二状态标签,包括:
调用所述目标编码层,对所述扰动医学图像进行特征提取,得到第一图像特征;调用所述第一编码层,对所述第一图像特征进行特征提取,得到第二图像特征;调用所述第一分类层,对所述第二图像特征进行分类,得到所述第一状态标签;
调用所述目标编码层,对所述第二医学图像进行特征提取,得到第五图像特征;调用所述第二编码层,对所述第五图像特征进行特征提取,得到第六图像特征;调用所述第二分类层,对所述第六图像特征进行分类,得到所述第二状态标签。
2.根据权利要求1所述的方法,其特征在于,所述按照所述第一医学图像中的目标区域的尺寸,对所述第一医学图像进行分割,以使所述第一医学图像分割得到的多个图像块中,包含所述目标区域的图像块的数量最小,包括:
确定所述第一医学图像的第一长度和第一宽度,以及所述第一医学图像中的目标区域的第二长度和第二宽度;
对所述第一长度与所述第二长度之间的比值进行取整得到M;
对所述第一宽度与所述第二宽度之间的比值进行取整得到N;
将所述第一医学图像在水平方向上分割成所述M份,在竖直方向上分割成所述N份,得到M*N个图像块。
3.根据权利要求1所述的方法,其特征在于,所述状态标签为状态级别标签,所述状态级别标签用于表示所述医学图像中的目标区域所属的状态级别。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第一医学图像的状态标签、所述第一状态标签、所述第二医学图像的状态标签和所述第二状态标签,训练所述图像处理模型,包括:
基于所述第一医学图像的状态标签与所述第一状态标签之间的第一误差参数,以及所述第二医学图像的状态标签与所述第二状态标签之间的第二误差参数,训练所述图像处理模型。
5.根据权利要求4所述的方法,其特征在于,所述第一处理网络还包括解码层,所述方法还包括:
对所述第一医学图像中的目标区域进行扰动处理,得到扰动目标图像;
调用所述目标编码层,对所述扰动目标图像进行特征提取,得到第三图像特征;
调用所述第一编码层,对所述第三图像特征进行特征提取,得到第四图像特征;
调用所述解码层,对所述第四图像特征进行解码,得到预测医学图像;
所述基于所述第一医学图像的状态标签与所述第一状态标签之间的第一误差参数,以及所述第二医学图像的状态标签与所述第二状态标签之间的第二误差参数,训练所述图像处理模型,包括:
基于所述第一误差参数、所述第二误差参数以及所述扰动目标图像与所述预测医学图像之间的第三误差参数,训练所述图像处理模型。
6.根据权利要求4所述的方法,其特征在于,所述第二医学图像的数量为多个,所述从样本集中获取第一医学图像和第二医学图像,包括:
随机从所述样本集中获取所述第二医学图像;以及,
确定所述样本集中每个状态对应的采样概率,所述状态对应的采样概率与所述状态的医学图像在所述样本集中的数量占比负相关;
按照每个状态对应的采样概率从所述样本集中获取所述第二医学图像。
7.根据权利要求6所述的方法,其特征在于,所述图像处理模型包括两个所述第二处理网络,其中一个所述第二处理网络用于对随机从所述样本集中获取的第二医学图像进行状态检测,另一个所述第二处理网络用于对按照每个状态对应的采样概率从所述样本集中获取的第二医学图像进行状态检测。
8.根据权利要求7所述的方法,其特征在于,所述第二状态标签的数量为两个,其中一个所述第二状态标签是对随机从所述样本集中获取的第二医学图像进行状态检测所得到的,另一个所述第二状态标签是对按照每个状态对应的采样概率从所述样本集中获取的第二医学图像进行状态检测所得到的;所述第二误差参数包括随机从所述样本集中获取的第二医学图像的状态标签与对应的所述第二状态标签之间的第一误差子参数,以及按照每个状态对应的采样概率从所述样本集中获取的第二医学图像的状态标签与对应的所述第二状态标签之间的第二误差子参数;
所述基于所述扰动医学图像的状态标签与所述第一状态标签之间的第一误差参数,以及所述第二医学图像的状态标签与所述第二状态标签之间的第二误差参数,训练所述图像处理模型,包括:
基于所述第一误差子参数的权重以及所述第二误差子参数的权重,对所述第一误差子参数与所述第二误差子参数进行加权求和,得到第四误差参数,所述第一误差子参数的权重与所述图像处理模型的训练次数负相关,所述第二误差子参数的权重参数与所述训练次数正相关;
基于所述第一误差参数和所述第四误差参数,训练所述图像处理模型。
9.根据权利要求1所述的方法,其特征在于,所述基于所述第一医学图像的状态标签、所述第一状态标签、所述第二医学图像的状态标签和所述第二状态标签,训练所述图像处理模型之后,所述方法还包括:
调用训练完成的所述图像处理模型,对任一医学图像进行状态检测,得到所述任一医学图像的第三状态标签。
10.根据权利要求9所述的方法,其特征在于,所述第一处理网络用于对扰动处理后的医学图像进行状态检测,所述第二处理网络用于对未进行扰动处理的医学图像进行状态检测;
所述调用训练完成的所述图像处理模型,对任一医学图像进行状态检测,得到所述任一医学图像的第三状态标签,包括:
调用所述第二处理网络,对所述任一医学图像进行状态检测,得到所述第三状态标签。
11.一种图像处理装置,其特征在于,所述装置包括:
图像获取模块,用于从样本集中获取第一医学图像和第二医学图像,所述样本集包括多个医学图像和每个医学图像的状态标签,所述状态标签表示所述医学图像中的目标区域所属的状态;
图像扰动模块,用于按照所述第一医学图像中的目标区域的尺寸,对所述第一医学图像进行分割,以使所述第一医学图像分割得到的多个图像块中,包含所述目标区域的图像块的数量最小;
所述图像扰动模块,还用于交换所述多个图像块之间的位置,将交换位置后的所述多个图像块构成扰动医学图像;
模型训练模块,用于调用图像处理模型,分别对所述扰动医学图像和所述第二医学图像进行状态检测,得到第一状态标签和第二状态标签;
所述模型训练模块,还用于基于所述第一医学图像的状态标签、所述第一状态标签、所述第二医学图像的状态标签和所述第二状态标签,训练所述图像处理模型,所述图像处理模型用于确定任一医学图像中的目标区域所属的状态;
其中,所述图像处理模型包括第一处理网络和至少一个第二处理网络,所述第一处理网络包括目标编码层、第一编码层和第一分类层,所述第二处理网络包括所述目标编码层、第二编码层和第二分类层;所述模型训练模块,用于:
调用所述目标编码层,对所述扰动医学图像进行特征提取,得到第一图像特征;调用所述第一编码层,对所述第一图像特征进行特征提取,得到第二图像特征;调用所述第一分类层,对所述第二图像特征进行分类,得到所述第一状态标签;
调用所述目标编码层,对所述第二医学图像进行特征提取,得到第五图像特征;调用所述第二编码层,对所述第五图像特征进行特征提取,得到第六图像特征;调用所述第二分类层,对所述第六图像特征进行分类,得到所述第二状态标签。
12.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至10任一项所述的图像处理方法中所执行的操作。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如权利要求1至10任一项所述的图像处理方法中所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110709355.8A CN113256621B (zh) | 2021-06-25 | 2021-06-25 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110709355.8A CN113256621B (zh) | 2021-06-25 | 2021-06-25 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256621A CN113256621A (zh) | 2021-08-13 |
CN113256621B true CN113256621B (zh) | 2021-11-02 |
Family
ID=77189588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110709355.8A Active CN113256621B (zh) | 2021-06-25 | 2021-06-25 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256621B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111461307A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于生成对抗网络的通用扰动生成方法 |
CN111553372A (zh) * | 2020-04-24 | 2020-08-18 | 北京搜狗科技发展有限公司 | 一种训练图像识别网络、图像识别搜索的方法及相关装置 |
CN111860548A (zh) * | 2019-04-02 | 2020-10-30 | 北京京东尚科信息技术有限公司 | 图像识别方法及其装置、计算机可存储介质 |
CN111860406A (zh) * | 2020-07-29 | 2020-10-30 | 福州大学 | 基于区域混淆机制神经网络的血细胞显微图像分类方法 |
CN111932479A (zh) * | 2020-08-10 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 数据增强方法、系统以及终端 |
CN112115963A (zh) * | 2020-07-30 | 2020-12-22 | 浙江工业大学 | 一种基于迁移学习生成无偏见深度学习模型的方法 |
CN112989085A (zh) * | 2021-01-29 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476757B (zh) * | 2020-03-10 | 2023-05-23 | 西北大学 | 一种冠脉斑块数据检测方法、系统、存储介质、终端 |
-
2021
- 2021-06-25 CN CN202110709355.8A patent/CN113256621B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860548A (zh) * | 2019-04-02 | 2020-10-30 | 北京京东尚科信息技术有限公司 | 图像识别方法及其装置、计算机可存储介质 |
CN111461307A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于生成对抗网络的通用扰动生成方法 |
CN111553372A (zh) * | 2020-04-24 | 2020-08-18 | 北京搜狗科技发展有限公司 | 一种训练图像识别网络、图像识别搜索的方法及相关装置 |
CN111860406A (zh) * | 2020-07-29 | 2020-10-30 | 福州大学 | 基于区域混淆机制神经网络的血细胞显微图像分类方法 |
CN112115963A (zh) * | 2020-07-30 | 2020-12-22 | 浙江工业大学 | 一种基于迁移学习生成无偏见深度学习模型的方法 |
CN111932479A (zh) * | 2020-08-10 | 2020-11-13 | 中国科学院上海微系统与信息技术研究所 | 数据增强方法、系统以及终端 |
CN112989085A (zh) * | 2021-01-29 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
Bidirectional Adversarial Training for Semi-Supervised Domain Adaptation;Pin Jiang 等;《Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence (IJCAI-20)》;20201231;第934-940页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113256621A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325726A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
CN111476783B (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
CN111914812B (zh) | 图像处理模型训练方法、装置、设备及存储介质 | |
CN113610750B (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN112989767B (zh) | 医学词语标注方法、医学词语映射方法、装置及设备 | |
CN111598160B (zh) | 图像分类模型的训练方法、装置、计算机设备及存储介质 | |
CN114332530A (zh) | 图像分类方法、装置、计算机设备及存储介质 | |
CN111598168B (zh) | 图像分类方法、装置、计算机设备及介质 | |
CN111209377B (zh) | 基于深度学习的文本处理方法、装置、设备及介质 | |
CN111091166A (zh) | 图像处理模型训练方法、图像处理方法、设备及存储介质 | |
CN112749728A (zh) | 学生模型训练方法、装置、计算机设备及存储介质 | |
CN112035671B (zh) | 状态检测方法、装置、计算机设备及存储介质 | |
CN112598686A (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN115082490B (zh) | 异常预测方法、异常预测模型的训练方法、装置及设备 | |
CN112419326A (zh) | 图像分割数据处理方法、装置、设备及存储介质 | |
CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
CN113822263A (zh) | 图像标注方法、装置、计算机设备及存储介质 | |
CN113761119A (zh) | 状态检测方法、装置、计算机设备及存储介质 | |
CN113724189A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113569042A (zh) | 文本信息分类方法、装置、计算机设备及存储介质 | |
CN113570510A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN112287070A (zh) | 词语的上下位关系确定方法、装置、计算机设备及介质 | |
CN113256621B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111652878A (zh) | 图像检测方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050620 Country of ref document: HK |