CN110490850B - 一种肿块区域检测方法、装置和医学图像处理设备 - Google Patents
一种肿块区域检测方法、装置和医学图像处理设备 Download PDFInfo
- Publication number
- CN110490850B CN110490850B CN201910735273.3A CN201910735273A CN110490850B CN 110490850 B CN110490850 B CN 110490850B CN 201910735273 A CN201910735273 A CN 201910735273A CN 110490850 B CN110490850 B CN 110490850B
- Authority
- CN
- China
- Prior art keywords
- region
- candidate
- tumor
- tissue
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 282
- 230000003902 lesion Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 73
- 238000013507 mapping Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 210000001519 tissue Anatomy 0.000 description 292
- 210000000481 breast Anatomy 0.000 description 131
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 93
- 229910052750 molybdenum Inorganic materials 0.000 description 93
- 239000011733 molybdenum Substances 0.000 description 93
- 239000010410 layer Substances 0.000 description 45
- 210000003205 muscle Anatomy 0.000 description 26
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 210000005075 mammary gland Anatomy 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000002068 genetic effect Effects 0.000 description 8
- 230000000877 morphologic effect Effects 0.000 description 8
- 210000002445 nipple Anatomy 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 7
- 210000001165 lymph node Anatomy 0.000 description 7
- 238000013508 migration Methods 0.000 description 7
- 230000005012 migration Effects 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 4
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000105 evaporative light scattering detection Methods 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本申请实施例公开了一种肿块区域检测方法、装置和医学图像处理设备；所述方法涉及人工智能领域中的计算机视觉方向，所述方法包括：获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。该方案可以提升医学图像中的肿块区域检测的效率。
Description
技术领域
本申请涉及计算机视觉领域，具体涉及一种肿块区域检测方法、装置和医学图像处理设备。
背景技术
计算机视觉(Computer Vision，CV)是指通过图像传感器和计算机来代替人类对目标进行识别、跟踪和测量等处理，使得目标成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像语义分割、图像检索、人脸识别、指纹识别等技术。
近年来，以深度学习为中心的计算机视觉技术引起了人们的关注，并逐渐应用于医学领域。其中，肿块是判断生命体组织是否正常的重要局部特征，对医学图像中的肿块进行检测和定位，可以为医生提供癌症诊断的重要依据。
目前主要是利用人工方式判定医学图像中是否包括肿块，进而判定患病情况，由于目前检测医学图像中肿块的方式依赖于医生，因此，会导致医学图像中的肿块区域检测的效率较低。
发明内容
本申请实施例提供一种肿块区域检测方法、装置和医学图像处理设备，可以提升医学图像中肿块区域检测的效率。
本申请实施例提供一种肿块区域检测方法，包括：
获取目标部位的医学图像；
从所述医学图像中分割出多个候选肿块区域；
对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
从所述医学图像中分割出至少一个组织类型的部位组织区域；
根据所述部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
相应的，本申请实施例还提供一种肿块区域检测装置，包括：
获取模块，用于获取目标部位的医学图像；
第一分割模块，用于从所述医学图像中分割出多个候选肿块区域；
分类模块，用于对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
筛选模块，用于根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
第二分割模块，用于从所述医学图像中分割出至少一个组织类型的部位组织区域；
过滤模块，用于根据所述部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
可选的，在一些实施例中，所述第二分割模块可以包括分割子模块和保留子模块，如下：
所述分割子模块，可以用于从所述医学图像中分割出多个组织类型的候选部位组织区域；
所述保留子模块，可以用于基于所述医学图像的摄影位置，从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
所述分割子模块，可以用于基于区域分割网络模型，从所述医学图像中分割出多个组织类型的候选部位组织区域，其中，所述区域分割网络模型由多个样本部位图像训练而成。
所述分割子模块，可以用于基于卷积子网络对所述医学图像进行卷积处理，得到图像的特征，基于反卷积子网络对所述特征进行上采样，得到恢复尺寸后的特征图像，对所述恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域。
所述保留子模块，可以用于获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系，根据所述映射关系获取所述摄影位置对应的组织类型，从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
所述分类模块，可以用于基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率。
所述第一分割模块，可以用于从所述医学图像中提取出子部位图像，从所述子部位图像中分割出多个候选肿块区域。
所述分类模块，可以用于基于卷积层对所述候选肿块区域进行卷积处理，得到区域的特征，基于全连接层对区域的特征进行分类，得到所述候选肿块区域对应的病变预测概率。
所述肿块区域检测装置，还可以用于获取正负样本区域，正样本区域包括预测肿块区域，对所述正负样本区域进行数据增强，得到增强后的正负样本区域，根据所述增强后的正负样本区域，对区域分类网络模型中的模型权重进行更新，得到训练后的区域分类网络模型，基于所述训练后的区域分类网络模型，更新所述区域分类网络模型。
相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的肿块区域检测方法的步骤。
相应的，本申请实施例还提供一种医学图像处理设备，所述医学图像处理设备包括医学图像获取单元、处理器和存储器，其中，所述医学图像获取单元用于获取目标部位的医学图像，所述存储器用于存储目标部位的医学图像数据以及多条指令，所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
本申请实施例获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。该方案可以提升医学图像中肿块区域检测的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的肿块区域检测系统的场景示意图；
图2是本申请实施例提供的肿块区域检测方法的第一流程示意图；
图3是本申请实施例提供的肿块区域检测方法的第二流程示意图；
图4是本申请实施例提供的应用场景示意图；
图5是本申请实施例提供的第一过滤肿块区域示意图；
图6是本申请实施例提供的第二过滤肿块区域示意图；
图7是本申请实施例提供的第三过滤肿块区域示意图；
图8是本申请实施例提供的流程示意图；
图9是本申请实施例提供的肿块区域检测装置的结构示意图；
图10是本申请实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种肿块区域检测方法、装置和医学图像处理设备。
本申请实施例提供一种肿块区域检测方法，该肿块区域检测方法的执行主体可以是本申请实施例提供的肿块区域检测装置，或者集成了该肿块区域检测装置的网络设备，其中该肿块区域检测装置可以采用硬件或者软件的方式实现。其中，网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1是本申请实施例提供的肿块区域检测方法的应用场景示意图，以肿块区域检测装置集成在网络设备中为例，网络设备可以获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
本申请实施例提供的肿块区域检测方法涉及人工智能领域中的计算机视觉方向。本申请实施例可以通过神经网络分别获取到目标部位的医学图像中的部位组织区域和预测肿块区域，并对预测肿块区域进行过滤，从而检测得到目标肿块区域。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
计算机视觉(Computer Vision，CV)是指通过图像传感器和计算机来代替人类对目标进行识别、跟踪和测量等处理，使得目标成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像语义分割、图像检索、人脸识别、指纹识别等技术。
请参阅图2，图2是本申请实施例提供的肿块区域检测方法的第一流程示意图。本申请实施例提供的肿块区域检测方法的具体流程可以如下：
201、获取目标部位的医学图像。
其中，目标部位的医学图像为对生物组织进行拍摄获取的图像，通过目标部位的医学图像可以对生命组织的病理情况进行判断，比如，该目标部位的医学图像可以为乳腺钼靶图像等等。乳腺钼靶图像是通过乳腺钼靶X线机获取到的图像，应用于乳腺钼靶X线摄影检查。乳腺钼靶X线摄影检查是目前诊断乳腺疾病的首选和最简便、最可靠的无创性检测手段。
生物组织可以为生命对象中的组织部位，比如，当生命对象为人体时，生物组织可以为肌肉组织、皮下组织等等。生物组织还可以为由生命对象中的部位构成的组织，比如乳房部位组织、眼睛部位组织等等。生物组织还可以为由生命对象中部分部位构成的组织，比如眼睛中的瞳孔组织、乳房中的乳腺组织等等。
其中，生命对象是指能对外界刺激做出相应反映，并且有生命形态的对象，比如可以为人类、猫、狗等等。
其中，获取目标部位的医学图像的方式可以有多种，比如，当该目标部位的医学图像为乳腺钼靶图像时，可以通过乳腺钼靶X线机进行乳腺钼靶图像获取，还可以通过从本地获取乳腺钼靶图像，或者通过网络进行下载获取乳腺钼靶图像，等等。
202、从医学图像中分割出多个候选肿块区域。
其中，候选肿块区域为目标部位的医学图像中有可能包括肿块的区域，将候选肿块区域从目标部位的医学图像中分割出来，可以提升检测肿块的准确性。比如，当目标部位的医学图像为乳腺钼靶图像时，候选肿块区域为有可能包括恶性肿块的区域。
在一实施例中，通过从目标部位的医学图像中分割出多个候选肿块区域，可以提高肿块检测的准确性。具体地，步骤“从所述医学图像中分割出多个候选肿块区域”可以包括：
从所述医学图像中提取出子部位图像；
从所述子部位图像中分割出多个候选肿块区域。
其中，子部位图像可以为从目标部位的医学图像中截取的子部位所在的图像区域，比如，当目标部位的医学图像为乳腺钼靶图像时，子部位图像可以为乳房所在区域的图像。
在实际应用中，比如，当目标部位的医学图像为乳腺钼靶图像时，可以从乳腺钼靶图像中提取出乳房所在区域的图像，并从乳房所在区域的图像中分割出多个候选肿块区域。通过提取乳房所在区域以及候选肿块区域，可以提升肿块检测定位的准确性。
在一实施例中，通过从目标部位的医学图像中提取出子部位图像，可以提高肿块检测的准确性。具体地，步骤“从医学图像中提取出子部位图像”可以包括：
将所述目标部位的医学图像进行灰度拉伸，得到拉伸后的目标部位的医学图像；
在所述拉伸后的目标部位的医学图像中提取出初始子部位图像；
对所述初始子部位图像的图像直方图进行直方图均衡，得到均衡后的子部位图像；
对所述均衡后的子部位图像进行滤波，得到子部位图像。
其中，灰度拉伸、直方图均衡、滤波等操作都属于预处理操作。预处理是在对输入图像进行特征抽取、分割和匹配前所进行的处理。预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。通过对图像进行预处理，可以减少图像中的噪声，提高区域同质性，以及后续处理的鲁棒性，并得到预处理后的子部位图像。
其中，灰度拉伸为一种灰度变换方法，通过分段线性变换函数，提高图像处理时灰度级的动态范围。
其中，图像直方图为通过左暗右亮的分布曲线形式进行图像数据显示的图像。图像直方图可以通过算法来对图像进行按比例缩小，且具有图像平移、旋转、缩放不变性等众多优点，应用于图像处理的许多领域，比如灰度图像的阈值分割、基于颜色的图像检索、图像分类等等。
其中，直方图均衡为图像处理领域中利用图像直方图对对比度进行调整的方法。通过直方图均衡有效地扩展常用的亮度，可以使得亮度更好地在直方图上分布，用于增强局部的对比度而不影响整体的对比度。
其中，滤波操作可以去除图像中的噪声，提高区域同质性。
在实际应用中，比如，当目标部位的医学图像为乳腺钼靶图像时，对于乳腺钼靶图像，可以通过线性拉伸的方式，将乳腺钼靶图像的灰度范围拉伸到0～255，通过对乳腺钼靶图像进行灰度拉伸，可以提高后续处理的鲁棒性。
在实际应用中，比如，当目标部位的医学图像为乳腺钼靶图像时，对于乳腺钼靶图像而言，可以通过形态学开操作，对拉伸后的乳腺钼靶图像先腐蚀后膨胀，去除图像细碎组织以及噪声，在纤细点处分离物体，并在平滑较大物体边界的同时不明显的改变其面积。之后采用大津分割方法(Otsu's method)进行分割，即将灰度图像转化为二值图像。大津分割方法假定图像根据双模直方图包含两类像素(前景像素和背景像素)，于是它要计算能将两类像素分开的最佳阈值，使得它们的类内方差最小；由于两两平方距离恒定，即使得它们的类间方差最大。经过形态学开操作和大津分割方法，可以得到乳房所在区域图像。
在实际应用中，比如，可以获取乳房所在区域图像对应的图像直方图，之后进行直方图均衡，得到均衡后的乳房所在区域图像。
在实际应用中，比如，可以采用双边滤波对均衡后的乳房所在区域图像进行滤波操作，得到乳房所在区域图像。双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的，不会破坏图像分割边缘。
在一实施例中，可以通过从子部位图像中分割出多个候选肿块区域，从而提高肿块检测的准确性。具体地，步骤“从所述子部位图像中分割出多个候选肿块区域”可以包括：
基于基因遗传算法对所述子部位图像进行分割，得到多个分割图像；
对所述分割图像使用形态学开操作，得到操作后分割图像；
从多个所述操作后分割图像中选取出多个候选肿块区域。
其中，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。为了使得图像更容易进行训练与分类，可以将子部位图像进行分割，并从分割所得的多个区域中，选取出候选肿块区域。
其中，基因遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。初代种群产生之后，按照适者生存和优胜劣汰的原理，逐代演化产生出越来越好的近似解，在每一代，根据问题域中个体的适应度大小选择个体，并借助于自然遗传学的遗传算子进行组合交叉和变异，产生出代表新的解集的种群。
在实际应用中，比如，可以首先对乳房所在区域图像进行二维小波变换以降低维度，对于低细节的图像而言，可以基于图像的图像直方图对该图像进行分割。对于图像直方图的分割可以采用基因遗传算法，通过二进制编码形式实现从表现型到基因性的映射，二进制编码序列长度可以为图像灰度级个数，可以使得位值为0时代表该灰度级为分割阈值。基因遗传算法价值函数是测量染色体优秀程度的方法，该价值函数以最大类间方差和最小类内方差为标准，在种群初始化后重复迭代选择、交叉、变异三个过程直到收敛，比如初始种群数量可以为30，迭代次数可以为40，选择率可以为10％，交叉率可以为80％，变异率可以为10％，等等，最后输出分割阈值，并根据该分割阈值对乳房所在区域图像进行分割，得到多个分割图像。
之后，可以对分割图像使用形态学开操作，得到操作后分割图像，比如，可以对分割图像先腐蚀后膨胀，去除图像细碎组织以及噪声，在纤细点处分离物体，并在平滑较大物体边界的同时不明显的改变其面积，断开腺体连接等，以方便后续区域提取。
在实际应用中，从多个操作后分割图像中选取出多个候选肿块区域，比如，当目标部位的医学图像为乳腺钼靶图像时，可以从多个操作后分割图像中提取出灰度级较高的区域，比如可以从多个操作后分割图像中，提取Top5灰度级的区域，之后基于提取出的区域，在每张乳腺钼靶图像中选择面积较大的10个区域作为候选肿块区域。
203、对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率。
其中，可以对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率。比如，可以通过全连接层对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率。
在一实施例中，还可以通过神经网络对候选肿块区域进行分类，具体地，步骤“对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率”，可以包括：
基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率。
其中，区域分类网络模型为可以对候选肿块区域进行分类，判定候选肿块区域中是否包括肿块的网络模型，比如，该区域分类网络模型可以为Inception V3网络模型。
其中，Inception V3是卷积神经网络中的一种。卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，卷积神经网络包括卷积层和池化层。Inception V3通过增加单层卷积层的宽度，即在单层卷积层上使用不同尺度的卷积核，从而优化网络。
其中，病变预测概率为预测该候选肿块区域中包括肿块的概率。
在一实施例中，可以通过网络模型对候选肿块区域进行分类，获取候选肿块区域对应的病变预测概率，提高肿块检测准确率。具体地，步骤“基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率”可以包括：
基于卷积层对所述候选肿块区域进行卷积处理，得到区域的特征；
基于全连接层对区域的特征进行分类，得到所述候选肿块区域对应的病变预测概率。
其中，区域分类网络模型为识别出候选肿块区域对应的病变预测概率的网络模型，比如，可以为深度学习卷积神经网络GoogLeNet(Inception V3)、全卷积神经网络、Resnet网络模型等等。区域分类网络模型可以包括卷积层和全连接层。
其中，Inception V3网络模型通过密集成分来近似最优的局部稀疏结，从而更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果。Inception网络模型的特点有两个：一是使用1x1的卷积来进行升降维；二是在多个尺寸上同时进行卷积再聚合。
其中，卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。图像卷积运算的目的是提取输入图像的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取出更复杂的特征。
其中，全连接层可以整合卷积层中具有类别区分性的局部信息。最后一层全连接层的输出值被传递给一个输出，可以采用softmax逻辑回归进行分类。
在实际应用中，比如，当区域分类网络模型为Inception V3网络模型时，可以将候选肿块区域输入网络模型中，通过卷积层进行卷积处理，得到区域的特征，之后通过全连接层对区域的特征进行分类，得到所述候选肿块区域对应的病变预测概率。比如，当区域分类网络模型为Inception V3网络模型时，通过多种尺寸的卷积核，经历22层深度的神经网络，使得网络模型既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。
在一实施例中，肿块区域检测方法还可以包括区域分类网络模型的训练过程。
具体地，该肿块区域检测方法还可以包括：
获取正负样本区域，正样本区域包括预测肿块区域；
对所述正负样本区域进行数据增强，得到增强后的正负样本区域；
根据所述增强后的正负样本区域，对区域分类网络模型中的模型权重进行更新，得到训练后的区域分类网络模型；
基于所述训练后的区域分类网络模型，更新所述区域分类网络模型。
其中，正样本区域包括预测肿块区域，正负样本区域为经过医师标注的样本目标部位的医学图像中的样本区域，比如，正样本可以为经过医师标注的包括疑似恶性肿块区域的乳腺钼靶图像，并且正样本包括整个肿块区域以及少量背景区域环绕，负样本可以为经过医师标注的明显良性肿块区域以及背景区域的乳腺钼靶图像。
其中，数据增强可以让有限的数据产生更多的等价数据，可以使得样本数量增多，样本增强。
其中，迁移学习是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。迁移学习放宽了传统机器学习中的两个基本假设，目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。
在实际应用中，获取正负样本区域的方式可以有多种，比如，可以使用国内医院数据，聘请专家进行标注数据，还可以从本地或者从网络上进行下载获取正负样本区域，等等。
在实际应用中，将正负样本区域进行数据增强，得到增强后的正负样本区域，比如，由于正负样本区域所在图像为乳腺钼靶图像，因此对正负样本区域主要进行翻转和裁剪的数据增强，无须进行颜色空间的数据增强，得到增强后的多个正负样本区域。
在实际应用中，比如，当区域分类网络模型为Inception V3网络模型时，可以将模型的输出类别数设置为2，模型的权重初始化可以首先使用ImageNet数据集(计算机视觉标准数据集)，之后使用公开数据集DDSM，公开数据集DDSM是美国的医学机构所建立的专门存放乳腺癌图像的数据库。最后使用增强后的正负样本区域进行迁移学习，对区域分类网络模型中的权重进行更新，比如，可以使用RMSprop(root mean square prop，基于均方根的自适应学习率方法)作为下降算法，批处理大小可以为64，初始学习率可以为0.01，最大迭代次数可以为100000，训练结束后，得到训练后的区域分类网络模型，然后，基于训练后的区域分类网络模型，对区域分类网络模型进行更新，得到区域分类网络模型。
204、根据病变预测概率从候选肿块区域中筛选出预测肿块区域。
其中，预测肿块区域为在目标部位的医学图像中已经定位的疑似包括病变肿块的区域，比如，预测肿块区域可以为在乳腺钼靶图像中定位的疑似恶性肿块，预测肿块区域中包括实际发生病变的肿块区域，也可以包括由于检测误差而识别出的非肿块区域。
其中，预测肿块区域的获取方式可以有多种，比如，可以通过预先人工进行目标部位的医学图像的识别以获取，还可以通过网络模型对目标部位的医学图像进行预测肿块区域的检测，以获取预测肿块区域。
在实际应用中，比如，可以从乳腺钼靶图像中分割出多个候选肿块区域，将多个候选肿块区域输入区域分类网络模型中进行分类，得到候选肿块区域对应的病变预测概率，之后根据病变预测概率从候选肿块区域中筛选出预测肿块区域，比如，病变预测概率大于0.5的候选肿块区域可以确定为预测肿块区域。
在一实施例中，比如，还可以利用非极大值抑制的方法对预测肿块区域进行重叠区域的去除，重叠度阈值可以设为50％，可以降低误报率，还可以提高预测肿块区域定位的准确性。
205、从医学图像中分割出至少一个组织类型的部位组织区域。
其中，组织类型指的是目标部位的医学图像中包括不同组织的类型，比如，在乳腺钼靶图像中，可以将乳房的部分看作为一个组织类型，还可以将乳腺钼靶图像中肌肉的部分看作为一个组织类型，等等。从乳腺钼靶图像中分割出的部位组织区域可以包括肌肉组织类型和乳房组织类型，等等。
由于在乳腺钼靶图像目标肿块区域的识别过程中，会将淋巴结和乳头等非目标肿块区域识别为目标肿块区域，从而产生误判的情况，为了减少目标肿块区域的误判，提高准确性，通过从目标部位的医学图像中分割出多个组织类型的部位组织区域，即从乳腺钼靶图像中分割出肌肉组织类型和乳房组织类型的部位组织区域，可以将被误判为目标肿块区域的淋巴结和乳头等去除，从而提高目标肿块区域识别的准确性。
在一实施例中，可以通过首先分割出多个候选部位组织区域，进而对候选部位组织区域进行筛选的方式，提高从目标部位的医学图像中分割出部位组织区域的准确性。具体地，步骤“从所述医学图像中分割出至少一个组织类型的部位组织区域”，可以包括：
从所述医学图像中分割出多个组织类型的候选部位组织区域；
基于所述医学图像的摄影位置，从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
其中，摄影位置为拍摄目标部位的医学图像时由于投照位置不同而产生的不同拍摄角度的目标部位的医学图像。比如，乳腺钼靶图像的摄影位置可以包括CC位(轴位，X线束自上向下投照)、MLO位(侧斜位，可分内外斜位和外内斜位，内外斜位是将胶片置于乳腺的外下方，X线束自乳腺内上方以45度投射向外下方，外内斜位则相反)、侧位、局部点片及点片放大摄影等等。
其中，部位组织区域为对于不同摄影位置的目标部位的医学图像，多个组织类型的候选部位组织区域中需要保留的不同区域，比如，当摄影位置不同时，可以根据实际情况，选取不同组织类型的候选部位组织区域进行保留，保留下来的区域为部位组织区域，以提高肿块检测的准确性。
在一实施例中，可以从目标部位的医学图像中分割出多个组织类型的候选部位组织区域，基于目标部位的医学图像的摄影位置，从多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。比如，当目标部位的医学图像为乳腺钼靶图像时，可以从乳腺钼靶图像中分割出肌肉组织类型和乳房组织类型的候选部位组织区域，并根据乳腺钼靶图像的摄影位置，从肌肉组织类型和乳房组织类型的候选部位组织区域中选择需要保留的部位组织区域。
在一实施例中，为了提高从目标部位的医学图像中分割出部位组织区域的准确性，可以采用网络模型对目标部位的医学图像进行分割。具体地，步骤“从所述目标部位的医学图像中分割出多个组织类型的候选部位组织区域”可以包括：
基于区域分割网络模型，从所述目标部位的医学图像中分割出多个组织类型的候选部位组织区域，其中，所述区域分割网络模型由多个样本部位图像训练而成。
其中，区域分割网络模型为一种深度学习分割网络模型，比如，该区域分割网络模型可以为全卷积网络模型(Fully Convolutional Networks，FCN)。全卷积网络模型可以对图像进行像素级的分类，从而解决了语义级别的图像分割问题。全卷积网络模型可以接受任意尺寸的输入图像，因此采用反卷积子网络对最后一个卷积层的特征进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,然后在上采样的特征图上进行逐像素分类。全卷积网络模型相当于把卷积神经网络最后的全连接层换成卷积层，输出的是一张已经标注好的图像。
在一实施例中，比如，该区域分割网络模型还可以通过类似网络模型(比如U-Net网络模型等)进行替代。
其中，U-Net网络模型是一种在医学领域应用的图像分割网络模型，U-Net网络模型可以在处理具有更大感受野目标的时候，根据选择的数据集自由加深网络结构，并且U-Net网络模型在进行浅层特征融合的时候，可以采用叠加的方法。
在一实施例中，为了提高肿块检测的准确性，具体地，步骤“基于区域分割网络模型，从所述医学图像中分割出多个组织类型的候选部位组织区域”可以包括：
基于卷积子网络对所述医学图像进行卷积处理，得到图像的特征；
基于反卷积子网络对所述特征进行上采样，得到恢复尺寸后的特征图像；
对所述恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域。
其中，区域分割网络模型可以包括卷积子网络和反卷积子网络。
其中，卷积子网络可以包括卷积层和池化层等，卷积层由若干卷积单元组成。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。池化层可以对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。
其中，反卷积子网络可以包括反卷积层，反卷积又被称为转置的卷积，卷积层的前向传播过程就是反卷积子网络的反向传播过程，卷积层的反向传播过程就是反卷积子网络的前向传播过程。因此可以通过反卷积子网络对特征图像尺寸进行还原。
在实际应用中，比如，当该区域分割网络模型为全卷积网络模型时，可以将乳腺钼靶图像输入到全卷积网络模型中，通过包括多个卷积层的卷积子网络进行卷积处理，得到图像的特征，然后通过反卷积子网络中的反卷积层对得到的特征进行上采样，将特征图像进行尺寸恢复，然后对恢复尺寸后的特征图像进行分类，得到肌肉组织类型和乳房组织类型的部位组织区域。
在实际应用中，可以基于目标部位的医学图像的摄影位置，从多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域，比如，由于乳腺钼靶图像的摄影位置包括CC位和MLO位，多个组织类型的候选部位组织区域包括肌肉组织类型和乳房组织类型的候选部位组织区域时，当该目标部位的医学图像为CC位时，只保留乳房组织类型的部位组织区域；当该目标部位的医学图像为MLO位时，保留肌肉组织类型和乳房组织类型的部位组织区域。
在一实施例中，还可以根据实际情况，针对不同摄影位置，对不同组织类型的部位组织区域进行保留，比如，也可以当该乳腺钼靶图像为CC位和MLO位时，都对肌肉组织类型和乳房组织类型的部位组织区域进行保留，等等。
在一实施例中，为了减少目标肿块区域的误判，提高肿块检测的准确性。具体地，步骤“基于所述医学图像的摄影位置，从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域”可以包括：
获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系；
根据所述映射关系获取所述摄影位置对应的组织类型；
从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
其中，映射关系集合包括目标部位的医学图像的摄影位置与组织类型的映射关系，比如，当该乳腺钼靶图像为CC位时，对应保留乳房组织类型的部位组织区域；当该乳腺钼靶图像为MLO位时，对应保留肌肉组织类型和乳房组织类型的部位组织区域。并根据该映射关系从多个组织类型的候选部位组织区域选择需要保留的部位组织区域。
在一实施例中，该映射关系还可以根据实际情况进行调整，比如，也可以为当该乳腺钼靶图像为CC位时，对应保留肌肉组织类型和乳房组织类型的部位组织区域；当该乳腺钼靶图像为MLO位时，对应保留肌肉组织类型和乳房组织类型的部位组织区域，等等。
在一实施例中，该肿块区域检测方法还可以包括区域分割网络模型的训练步骤。
比如，当该区域分割网络模型为全卷积网络模型时，该全卷积网络模型的初始化权重可以通过分割数据集PASCAL VOC训练得到，然后可以使用医学钼靶图像公开数据集DDSM进行迁移学习，再使用国内医院标注了肌肉组织类型和乳房组织类型的部位组织区域的3000例乳腺钼靶数据进行迁移学习，比如，网络模型训练时的批处理大小可以为4，学习率可以为0.00001，最大迭代次数可以为20000，等等，最后可以得到训练后的区域分割网络模型，可以通过该区域分割网络模型进行多个组织类型的部位组织区域的分割。
其中，分割数据集(pattern analysis,statistical modelling andcomputational learning visual object classes，PASCAL VOC)是一种提供用于对象类识别的标准化图像数据集，也可以为提供用于访问数据集和注释的公共工具集。
其中，医学钼靶图像公开数据集(Digital Database for ScreeningMammography，DDSM)数据库是医学机构建立的专门存放乳腺癌图像的数据库。DDSM数据库里存放了恶性、常规、良性等数据类型，目前很多对乳腺癌的研究都是依据DDSM数据库进行研究。
其中，迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。在本申请中，通过参数迁移的方式进行网络模型数据训练，能够将任务A训练出来的模型用来初始化任务B的模型参数，使任务B能够更快的学习训练收敛。
206、根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
其中，目标肿块区域为经过过滤后的预测肿块区域，比如，当目标部位的医学图像为乳腺钼靶图像时，目标肿块区域可以为实际发生病变的恶性肿块。
其中，位置关系可以为部位组织区域与预测肿块区域之间的区域位置关系，可以根据实际情况对位置关系进行定义，比如，部位组织区域与预测肿块区域之间的位置关系可以包括：预测肿块区域全部位于部位组织区域内，预测肿块区域部分位于部位组织区域内，预测肿块区域不位于部位组织区域内，等等。
由于目标部位的医学图像中目标肿块区域的识别过程，会将淋巴结和乳头等非目标肿块区域识别为目标肿块区域，从而产生误判的情况，为了减少目标肿块区域的误判，提高准确性，可以通过对预测肿块区域进行过滤，得到目标肿块区域，将被误判为目标肿块区域的淋巴结和乳头等去除，从而提高目标肿块区域识别的准确性。
在一实施例中，由于部位组织区域与预测肿块区域都是基于检测同一张目标部位的医学图像获得的，因此，可以通过获取部位组织区域与目标部位的医学图像中预测肿块区域之间的位置关系，从而实现在部位组织区域中，对预测肿块区域进行过滤，以得到目标肿块区域，从而提高肿块检测的准确性。
在一实施例中，比如，部位组织区域与预测肿块区域之间的位置关系还可以为，预测肿块区域在部位组织区域的左上方、右上方等。
其中，获取位置关系的方式可以有多种，比如，可以通过图像重叠的方式，将部位组织区域与包括预测肿块区域的目标部位的医学图像进行图像重叠，以获取位置关系。比如，可以通过在包括预测肿块区域的目标部位的医学图像中确定部位组织区域的定位点位置(比如可以将在部位组织区域一条对角线上的两顶点确定为部位组织区域的定位点)，将部位组织区域和包括预测肿块区域的目标部位的医学图像进行图像重叠，从而获取部位组织区域和预测肿块区域之间的位置关系。
在一实施例中，比如，还可以通过获取部位组织区域和预测肿块区域的坐标信息，以获取部位组织区域和预测肿块区域的位置关系。比如，可以通过对比预测肿块区域的坐标信息和部位组织区域的坐标信息，以获取预测肿块区域在部位组织区域中的位置信息，等等。
在实际应用中，基于位置关系对目标部位的医学图像中的预测肿块区域进行过滤，得到目标肿块区域，比如，当部位组织区域包括肌肉组织类型的部位组织区域和乳房组织类型的部位组织区域时，可以获取部位组织区域和预测肿块区域的位置关系，并根据位置关系，将落入部位组织区域中肌肉区域和乳头区域的预测肿块区域进行滤除，否则将该预测肿块区域识别为目标肿块区域。
在一实施例中，比如，还可以根据部位组织区域和预测肿块区域之间的位置关系，将部位组织区域中预设位置区域内的预测肿块区域进行过滤，比如，还可以根据实际情况，将部位组织区域左上角预设尺寸区域内包括的预测肿块区域进行过滤，等等。
请参阅图4，该肿块区域检测方法可以实现从乳腺钼靶图像识别出目标肿块区域的目的，并且通过该肿块区域检测方法可以提高肿块检测的效率和准确性。
由上可知，本申请实施例获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。该方案通过两个神经网络的并联，提取图像的多样性特征，减少了人工工作量，提高了自动化程度、精度、效率以及应用推广性；基于目标部位的医学图像的摄影位置，从多个组织类型的候选部位组织区域保留需要保留的部位组织区域，并基于部位组织区域对目标部位的医学图像中的预测肿块区域进行过滤，可以有效过滤掉干扰目标肿块区域判定的淋巴结和乳头等，减少了对于目标肿块区域的误判，从而提升医学图像中肿块检测的准确性。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图3，在本实施例中，将以该肿块区域检测装置具体集成在网络设备中为例进行说明。
301、网络设备获取乳腺钼靶图像。
在实际应用中，参考图8，网络设备获取乳腺钼靶图像的方式可以有多种，比如，可以通过乳腺钼靶X线机进行获取，还可以通过从本地获取乳腺钼靶图像，或者通过网络进行下载获取乳腺钼靶图像，等等。
302、网络设备从乳腺钼靶图像中分割出多个组织类型的候选部位组织区域。
由于乳腺钼靶图像中目标肿块区域的识别过程，会将淋巴结和乳头等非目标肿块区域识别为目标肿块区域，从而产生误判的情况，为了减少目标肿块区域的误判，提高准确性，通过从乳腺钼靶图像中分割出多个组织类型的候选部位组织区域，即从乳腺钼靶图像中分割出肌肉组织类型和乳房组织类型的候选部位组织区域，可以将被误判为目标肿块区域的淋巴结和乳头等去除，从而提高目标肿块区域识别的准确性。
在实际应用中，参考图8，网络设备可以基于区域分割网络模型从乳腺钼靶图像中分割出多个组织类型的候选部位组织区域，区域分割网络模型由多个样本部位图像训练而成。
具体地，可以基于卷积子网络对乳腺钼靶图像进行卷积处理，得到图像的特征，之后基于反卷积子网络对特征进行上采样，得到恢复尺寸后的特征图像，最后对恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域。
在实际应用中，基于卷积子网络对目标部位的医学图像进行卷积处理，得到图像的特征，基于反卷积子网络对特征进行上采样，得到恢复尺寸后的特征图像，对恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域，比如，当该区域分割网络模型为全卷积网络模型时，可以将目标部位的医学图像输入到全卷积网络模型中，通过包括多个卷积层的卷积子网络进行卷积处理，得到图像的特征，然后通过反卷积子网络中的反卷积子网络对得到的特征进行上采样，将特征图像进行尺寸恢复，然后对恢复尺寸后的特征图像进行分类，得到肌肉组织类型和乳房组织类型的候选部位组织区域。
在一实施例中，该肿块区域检测方法还可以包括区域分割网络模型的训练步骤。比如，当该区域分割网络模型为全卷积网络模型时，该全卷积网络模型的初始化权重可以通过分割数据集PASCAL VOC训练得到，然后可以使用医学钼靶图像公开数据集DDSM进行迁移学习，再使用国内医院标注了肌肉组织类型和乳房组织类型的部位组织区域的3000例乳腺钼靶数据进行迁移学习，比如，网络模型训练时的批处理大小可以为4，学习率可以为0.00001，最大迭代次数可以为20000，等等，最后可以得到训练后的区域分割网络模型，可以通过该区域分割网络模型进行多个组织类型的候选部位组织区域的分割。
303、网络设备基于乳腺钼靶图像的摄影位置，从多个组织类型的候选部位组织区域选择需要保留的部位组织区域。
在实际应用中，参考图8，比如，需要保留的部位组织区域为对于不同摄影位置的乳腺钼靶图像中，多个组织类型的候选部位组织区域需要保留的区域不同，摄影位置包括CC位和MLO位，多个组织类型的候选部位组织区域包括肌肉组织类型和乳房组织类型的候选部位组织区域时，当该乳腺钼靶图像为CC位时，只保留乳房组织类型的部位组织区域；当该乳腺钼靶图像为MLO位时，保留肌肉组织类型和乳房组织类型的部位组织区域。
具体地，网络设备可以获取映射关系集合，之后根据映射关系从多个组织类型的候选部位组织区域选择需要保留的部位组织区域。比如，当该乳腺钼靶图像为CC位时，对应保留乳房组织类型的部位组织区域；当该乳腺钼靶图像为MLO位时，对应保留肌肉组织类型和乳房组织类型的部位组织区域。并根据该映射关系从多个组织类型的候选部位组织区域中，选择需要保留的部位组织区域。
304、网络设备从乳腺钼靶图像中分割出多个候选肿块区域。
在实际应用中，参考图8，可以从乳腺钼靶图像中提取出乳房图像，并从乳房图像中分割出多个候选肿块区域。
具体地，网络设备可以将乳腺钼靶图像进行灰度拉伸，得到拉伸后的乳腺钼靶图像，在所述拉伸后的乳腺钼靶图像中提取出初始乳房图像，对初始乳房图像的图像直方图进行直方图均衡，得到均衡后的乳房图像，对均衡后的乳房图像进行滤波，得到乳房图像。然后可以通过线性拉伸的方式，将乳腺钼靶图像的灰度范围拉伸到0～255，通过对乳腺钼靶图像进行灰度拉伸，可以提高后续处理的鲁棒性。然后可以通过形态学开操作，对拉伸后的乳腺钼靶图像先腐蚀后膨胀，去除图像细碎组织以及噪声，在纤细点处分离物体，并在平滑较大物体边界的同时不明显的改变其面积。之后采用大津分割方法(Otsu's method)进行分割，即将灰度图像转化为二值图像。经过形态学开操作和大津分割方法，可以得到乳房图像。然后可以获取乳房图像对应的图像直方图，之后进行直方图均衡，得到均衡后的乳房图像。最后可以采用双边滤波对均衡后的乳房图像进行滤波操作，得到乳房图像。
在实际应用中，可以基于基因遗传算法对乳房图像进行分割，得到多个分割图像，对分割图像使用形态学开操作，得到操作后分割图像，从多个操作后分割图像中选取出多个候选肿块区域。
具体地，可以首先对乳房图像进行二维小波变换以降低维度。对于图像直方图的分割可以采用基因遗传算法，通过二进制编码形式实现从表现型到基因性的映射，二进制编码序列长度可以为图像灰度级个数，可以使得位值为0时代表该灰度级为分割阈值。基因遗传算法价值函数是测量染色体优秀程度的方法，该价值函数以最大类间方差和最小类内方差为标准，在种群初始化后重复迭代选择、交叉、变异三个过程直到收敛，比如初始种群数量可以为30，迭代次数可以为40，选择率可以为10％，交叉率可以为80％，变异率可以为10％，等等，最后输出分割阈值，并根据该分割阈值对子部位图像进行分割，得到多个分割图像。
之后，可以对分割图像使用形态学开操作，得到操作后分割图像。最后，从多个操作后分割图像中选取出多个候选肿块区域，比如，可以从多个操作后分割图像中提取出灰度级较高的区域，比如可以从多个操作后分割图像中，提取Top5灰度级的区域，之后基于提取出的区域，在每张乳腺钼靶图像中选择面积较大的10个区域作为候选肿块区域。
305、网络设备基于区域分类网络模型对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率。
在实际应用中，参考图8，网络设备可以基于卷积层对候选肿块区域进行卷积处理，得到区域的特征，然后基于全连接层对区域的特征进行分类，得到候选肿块区域对应的病变预测概率。
具体地，当区域分类网络模型为Inception V3网络模型时，将候选肿块区域输入网络模型中，通过卷积层进行卷积处理，得到区域的特征，之后通过全连接层对区域的特征进行分类，得到候选肿块区域对应的病变预测概率。比如，当区域分类网络模型为Inception V3网络模型时，通过多种尺寸的卷积核，经历22层深度的神经网络，使得网络模型既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。
在一实施例中，肿块区域检测方法还可以包括区域分类网络模型的训练过程。
在实际应用中，可以获取正负样本区域，然后将正负样本区域进行数据增强，得到增强后的正负样本区域，然后根据增强后的正负样本区域，对区域分类网络模型中的模型权重进行更新，得到训练后的区域分类网络模型，最后基于训练后的区域分类网络模型，更新区域分类网络模型。
具体地，获取正负样本区域的方式可以有多种，比如，可以使用医院数据，聘请专家进行标注数据，还可以从本地或者从网络上进行下载获取正负样本区域，等等。然后将正负样本区域进行数据增强，得到增强后的正负样本区域，比如，由于正负样本区域所在图像为乳腺钼靶图像，因此对正负样本区域主要进行翻转和裁剪的数据增强，无须进行颜色空间的数据增强，得到增强后的多个正负样本区域。
当区域分类网络模型为Inception V3网络模型时，可以将模型的输出类别数设置为2，模型的权重初始化可以首先使用ImageNet数据集(计算机视觉标准数据集)，之后使用公开数据集DDSM，公开数据集DDSM是美国的医学机构所建立的专门存放乳腺癌图像的数据库。最后使用增强后的正负样本区域进行迁移学习对区域分类网络模型中的权重进行更新，比如，可以使用RMSprop(root mean square prop，基于均方根的自适应学习率方法)作为下降算法，批处理大小可以为64，初始学习率可以为0.01，最大迭代次数可以为100000，训练结束后，得到训练后的区域分类网络模型，然后，基于训练后的区域分类网络模型，对区域分类网络模型进行更新，得到区域分类网络模型。
306、网络设备根据病变预测概率从候选肿块区域中筛选出预测肿块区域。
在实际应用中，参考图8，网络设备可以根据病变预测概率从候选肿块区域中筛选出预测肿块区域，比如，病变预测概率大于0.5的候选肿块区域可以确定为预测肿块区域。
在一实施例中，还可以利用非极大值抑制的方法对预测肿块区域进行重叠区域的去除，重叠度阈值可以设为50％，可以降低误报率，还可以提高预测肿块区域定位的准确性。
307、网络设备获取部位组织区域与乳腺钼靶图像中预测肿块区域之间的位置关系。
其中，获取位置关系的方式可以有多种，比如，可以通过图像重叠的方式，将部位组织区域与包括预测肿块区域的乳腺钼靶图像进行图像重叠，以获取位置关系。比如，可以通过在包括预测肿块区域的乳腺钼靶图像中确定部位组织区域的定位点位置(比如可以将在部位组织区域一条对角线上的两顶点确定为部位组织区域的定位点)，将部位组织区域和包括预测肿块区域的乳腺钼靶图像进行图像重叠，从而获取部位组织区域和预测肿块区域之间的位置关系。
在一实施例中，比如，还可以通过获取部位组织区域和预测肿块区域的坐标信息，以获取部位组织区域和预测肿块区域的位置关系。比如，可以通过对比预测肿块区域的坐标信息和部位组织区域的坐标信息，以获取预测肿块区域在部位组织区域中的位置信息，等等。
308、网络设备基于位置关系对乳腺钼靶图像中的预测肿块区域进行过滤，得到目标肿块区域。
在一实施例中，由于部位组织区域与预测肿块区域都是基于检测同一张乳腺钼靶图像获得的，因此，可以通过获取部位组织区域与乳腺钼靶图像中预测肿块区域之间的位置关系，从而实现在部位组织区域中，对预测肿块区域进行过滤，以得到目标肿块区域，从而提高肿块检测的准确性。
在实际应用中，基于位置关系对乳腺钼靶图像中的预测肿块区域进行过滤，得到目标肿块区域，比如，当部位组织区域包括肌肉组织类型的部位组织区域和乳房组织类型的部位组织区域时，可以获取部位组织区域和预测肿块区域的位置关系，并根据位置关系，将落入部位组织区域中肌肉区域和乳头区域的预测肿块区域进行滤除，否则将该预测肿块区域识别为目标肿块区域。
在实际应用中，请参阅图5、图6和图7，图5和图6为MLO位图像，图7为CC位图像，对部位组织区域中特定区域包括的在乳腺钼靶图像对应的肿块区域进行过滤，得到目标肿块区域，比如，对于部位组织区域中的肌肉区域和乳头区域，当预测肿块区域落入部位组织区域中的肌肉区域和乳头区域时，将该预测肿块区域滤除，否则将该预测肿块区域识别为目标肿块区域。
由上可知，本申请实施例通过网络设备获取乳腺钼靶图像，从乳腺钼靶图像中分割出多个组织类型的候选部位组织区域，基于乳腺钼靶图像的摄影位置，从多个组织类型的候选部位组织区域选择需要保留的部位组织区域，从乳腺钼靶图像中分割出多个候选肿块区域，基于区域分类网络模型对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，获取部位组织区域与乳腺钼靶图像中预测肿块区域之间的位置关系，基于位置关系对乳腺钼靶图像中的预测肿块区域进行过滤，得到目标肿块区域。该方案通过两个神经网络的并联，提取图像的多样性特征，减少了人工工作量，提高了自动化程度、精度、效率以及应用推广性；基于目标部位的医学图像的摄影位置从多个组织类型的候选部位组织区域保留需要保留的部位组织区域，并基于部位组织区域对目标部位的医学图像对应的预测肿块区域进行过滤，可以有效过滤掉干扰目标肿块区域判定的淋巴结和乳头等，减少了对于目标肿块区域的误判，从而提升肿块检测的准确性。
为了更好地实施以上方法，本申请实施例还提供一种肿块区域检测装置，该肿块区域检测装置可以适用于网络设备，如图9所示，该肿块区域检测装置可以包括：获取模块91、第一分割模块92、分类模块93、筛选模块94、第二分割模块95和过滤模块96，如下：
获取模块91，用于获取目标部位的医学图像；
第一分割模块92，用于从所述医学图像中分割出多个候选肿块区域；
分类模块93，用于对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
筛选模块94，用于根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
第二分割模块95，用于从所述医学图像中分割出至少一个组织类型的部位组织区域；
过滤模块96，用于根据所述部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
在一实施例中，第二分割模块95可以包括分割子模块951和保留子模块952，如下：
分割子模块951，用于从所述医学图像中分割出多个组织类型的候选部位组织区域；
保留子模块952，用于基于所述医学图像的摄影位置，从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
在一实施例中，所述分割子模块951可以具体用于：
基于区域分割网络模型，从所述医学图像中分割出多个组织类型的候选部位组织区域，其中，所述区域分割网络模型由多个样本部位图像训练而成。
在一实施例中，所述分割子模块951可以具体用于：
基于卷积子网络对所述医学图像进行卷积处理，得到图像的特征；
基于反卷积子网络对所述特征进行上采样，得到恢复尺寸后的特征图像；
对所述恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域。
在一实施例中，所述保留子模块952可以具体用于：
获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系；
根据所述映射关系获取所述摄影位置对应的组织类型；
从所述多个组织类型的候选部位组织区域选择需要保留的至少一个组织类型的部位组织区域。
在一实施例中，所述分类模块93可以具体用于：
基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率。
在一实施例中，所述第一分割模块92可以具体用于：
从所述医学图像中提取出子部位图像；
从所述子部位图像中分割出多个候选肿块区域。
在一实施例中，所述分类模块93可以具体用于：
基于卷积层对所述候选肿块区域进行卷积处理，得到区域的特征；
基于全连接层对区域的特征进行分类，得到所述候选肿块区域对应的病变预测概率。
在一实施例中，所述肿块区域检测装置还可以具体用于：
获取正负样本区域，正样本区域包括预测肿块区域；
对所述正负样本区域进行数据增强，得到增强后的正负样本区域；
根据所述增强后的正负样本区域，对区域分类网络模型中的模型权重进行更新，得到训练后的区域分类网络模型；
基于所述训练后的区域分类网络模型，更新所述区域分类网络模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例通过获取模块91获取目标部位的医学图像，通过第一分割模块92从医学图像中分割出多个候选肿块区域，通过分类模块93对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，通过筛选模块94根据病变预测概率从候选肿块区域中筛选出预测肿块区域，通过第二分割模块95从医学图像中分割出至少一个组织类型的部位组织区域，通过过滤模块96根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。该方案通过两个神经网络的并联，提取图像的多样性特征，减少了人工工作量，提高了自动化程度、精度、效率以及应用推广性；基于目标部位的医学图像的摄影位置从多个组织类型的部位组织区域保留需要保留的区域，并基于部位组织区域对目标部位的医学图像对应的预测肿块区域进行过滤，可以有效过滤掉干扰目标肿块区域判定的淋巴结和乳头等，减少了对于目标肿块区域的误判，从而提升肿块检测的准确性。
本申请实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备，其集成了本申请实施例所提供的任一种肿块区域检测装置。如图10所示，图10是本申请实施例提供的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上计算机可读计算机可读存储介质的存储器102、电源103和输入单元104等部件。本领域技术人员可以理解，图10中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器101是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器101可包括一个或多个处理核心；优选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。
存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
网络设备还包括给各个部件供电的电源103，优选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元104，该输入单元104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器102中，并由处理器101来运行存储在存储器102中的应用程序，从而实现各种功能，如下：
获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
处理器101还可以运行存储在存储器102中的应用程序，从而实现如下功能：
获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。该方案通过两个神经网络的并联，提取图像的多样性特征，减少了人工工作量，提高了自动化程度、精度、效率以及应用推广性；基于目标部位的医学图像的摄影位置从多个组织类型的部位组织区域保留需要保留的区域，并基于部位组织区域对目标部位的医学图像对应的预测肿块区域进行过滤，可以有效过滤掉干扰目标肿块区域判定的淋巴结和乳头等，减少了对于目标肿块区域的误判，从而提升肿块检测的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种肿块区域检测方法中的步骤。例如，该指令可以执行如下步骤：
获取目标部位的医学图像，从医学图像中分割出多个候选肿块区域，对候选肿块区域进行分类，得到候选肿块区域对应的病变预测概率，根据病变预测概率从候选肿块区域中筛选出预测肿块区域，从医学图像中分割出至少一个组织类型的部位组织区域，根据部位组织区域与预测肿块区域之间的位置关系，对预测肿块区域进行过滤，得到目标肿块区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种肿块区域检测方法中的步骤，因此，可以实现本申请实施例所提供的任一种肿块区域检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种肿块区域检测方法、装置和医学图像处理设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种肿块区域检测方法，其特征在于，包括：
获取目标部位的医学图像；
从所述医学图像中分割出多个候选肿块区域；
对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
从所述医学图像中分割出多个组织类型的候选部位组织区域；
获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系；
确定所述医学图像的目标摄影位置并根据所述映射关系获取所述目标摄影位置对应的目标组织类型；
根据所述目标组织类型确定需要保留的目标部位组织区域；
根据所述目标部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
2.根据权利要求1所述的肿块区域检测方法，其特征在于，从所述医学图像中分割出多个组织类型的候选部位组织区域，包括：
基于区域分割网络模型，从所述医学图像中分割出多个组织类型的候选部位组织区域，其中，所述区域分割网络模型由多个样本部位图像训练而成。
3.根据权利要求2所述的肿块区域检测方法，其特征在于，所述区域分割网络模型包括卷积子网络和反卷积子网络；
基于区域分割网络模型，从所述医学图像中分割出多个组织类型的候选部位组织区域，包括：
基于卷积子网络对所述医学图像进行卷积处理，得到图像的特征；
基于反卷积子网络对所述特征进行上采样，得到恢复尺寸后的特征图像；
对所述恢复尺寸后的特征图像进行分类，得到多个组织类型的候选部位组织区域。
4.根据权利要求1所述的肿块区域检测方法，其特征在于，对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率，包括：
基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率。
5.根据权利要求1所述的肿块区域检测方法，其特征在于，从所述医学图像中分割出多个候选肿块区域，包括：
从所述医学图像中提取出子部位图像；
从所述子部位图像中分割出多个候选肿块区域。
6.根据权利要求4所述的肿块区域检测方法，其特征在于，所述区域分类网络模型包括卷积层和全连接层；
基于区域分类网络模型对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率，包括：
基于卷积层对所述候选肿块区域进行卷积处理，得到区域的特征；
基于全连接层对区域的特征进行分类，得到所述候选肿块区域对应的病变预测概率。
7.根据权利要求1至6任一项所述的肿块区域检测方法，其特征在于，所述方法还包括：
获取正负样本区域，正样本区域包括预测肿块区域；
对所述正负样本区域进行数据增强，得到增强后的正负样本区域；
根据所述增强后的正负样本区域，对区域分类网络模型中的模型权重进行更新，得到训练后的区域分类网络模型；
基于所述训练后的区域分类网络模型，更新所述区域分类网络模型。
8.一种肿块区域检测装置，其特征在于，包括：
第一获取模块，用于获取目标部位的医学图像；
第一分割模块，用于从所述医学图像中分割出多个候选肿块区域；
分类模块，用于对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
筛选模块，用于根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
第二分割模块，用于从所述医学图像中分割出多个组织类型的候选部位组织区域；
第二获取模块，用于获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系；
第三获取模块，用于确定所述医学图像的目标摄影位置并根据所述映射关系获取所述目标摄影位置对应的目标组织类型；
确定模块，用于根据所述目标组织类型确定需要保留的目标部位组织区域；
过滤模块，用于根据所述目标部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
9.一种医学图像处理设备，所述医学图像处理设备包括医学图像获取单元、处理器和存储器，其中：
所述医学图像获取单元用于获取目标部位的医学图像；
所述存储器用于存储目标部位的医学图像数据以及多条指令；
所述处理器用于读取所述存储器存储的多条指令，以执行以下步骤：
获取目标部位的医学图像；
从所述医学图像中分割出多个候选肿块区域；
对所述候选肿块区域进行分类，得到所述候选肿块区域对应的病变预测概率；
根据所述病变预测概率从所述候选肿块区域中筛选出预测肿块区域；
从所述医学图像中分割出多个组织类型的候选部位组织区域；
获取映射关系集合，所述映射关系集合包括医学图像的摄影位置与组织类型的映射关系；
确定所述医学图像的目标摄影位置并根据所述映射关系获取所述目标摄影位置对应的目标组织类型；
根据所述目标组织类型确定需要保留的目标部位组织区域；
根据所述目标部位组织区域与所述预测肿块区域之间的位置关系，对所述预测肿块区域进行过滤，得到目标肿块区域。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令被处理器执行时实现如权利要求1-7任一项所述肿块区域检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910735273.3A CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910735273.3A CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
| CN201910115522.9A CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910115522.9A Division CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110490850A CN110490850A (zh) | 2019-11-22 |
| CN110490850B true CN110490850B (zh) | 2021-01-08 |
Family
ID=67165772
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910735273.3A Active CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
| CN201910115522.9A Pending CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910115522.9A Pending CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210343021A1 (zh) |
| EP (1) | EP3926581A4 (zh) |
| CN (2) | CN110490850B (zh) |
| WO (1) | WO2020164493A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490850B (zh) * | 2019-02-14 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种肿块区域检测方法、装置和医学图像处理设备 |
| CN110414539A (zh) * | 2019-08-05 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种提取特征描述信息的方法和相关装置 |
| CN110533672B (zh) * | 2019-08-22 | 2022-10-28 | 杭州德适生物科技有限公司 | 一种基于条带识别的染色体排序方法 |
| CN110689525B (zh) * | 2019-09-09 | 2023-10-13 | 上海中医药大学附属龙华医院 | 基于神经网络识别淋巴结的方法及装置 |
| CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
| JP7382240B2 (ja) * | 2020-01-30 | 2023-11-16 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置及び医用画像処理方法 |
| CN111462067B (zh) * | 2020-03-30 | 2021-06-29 | 推想医疗科技股份有限公司 | 图像分割方法及装置 |
| CN111863232B (zh) * | 2020-08-06 | 2021-02-19 | 深圳市柯尼达巨茂医疗设备有限公司 | 基于区块链和医学影像的远程疾病智能诊断系统 |
| CN111986217B (zh) * | 2020-09-03 | 2024-01-16 | 北京大学口腔医学院 | 一种图像处理方法、装置及设备 |
| CN112241954B (zh) * | 2020-10-22 | 2024-03-15 | 上海海事大学 | 基于肿块差异化分类的全视野自适应分割网络配置方法 |
| CN112712508A (zh) * | 2020-12-31 | 2021-04-27 | 杭州依图医疗技术有限公司 | 一种确定气胸的方法及装置 |
| CN113744801B (zh) * | 2021-09-09 | 2023-05-26 | 首都医科大学附属北京天坛医院 | 肿瘤类别的确定方法、装置、系统、电子设备及存储介质 |
| US20230196081A1 (en) * | 2021-12-21 | 2023-06-22 | International Business Machines Corporation | Federated learning for training machine learning models |
| CN114429459A (zh) * | 2022-01-24 | 2022-05-03 | 上海商汤智能科技有限公司 | 目标检测模型的训练方法及对应的检测方法 |
| CN114511887B (zh) * | 2022-03-31 | 2022-07-05 | 北京字节跳动网络技术有限公司 | 组织图像的识别方法、装置、可读介质和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732213A (zh) * | 2015-03-23 | 2015-06-24 | 中山大学 | 一种基于乳腺磁共振图像的计算机辅助肿块检测方法 |
| CN107977956A (zh) * | 2017-11-17 | 2018-05-01 | 深圳蓝韵医学影像有限公司 | 检测x线图像组织区域的方法、装置及计算机存储介质 |
| CN108052977A (zh) * | 2017-12-15 | 2018-05-18 | 福建师范大学 | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 |
| CN108109152A (zh) * | 2018-01-03 | 2018-06-01 | 深圳北航新兴产业技术研究院 | 医学图像分类和分割方法和装置 |
| CN108109144A (zh) * | 2017-12-29 | 2018-06-01 | 广州柏视医疗科技有限公司 | 一种钼靶图像中乳头位置自动检测方法 |
| CN108550150A (zh) * | 2018-04-17 | 2018-09-18 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
| CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
| EP3432263A1 (en) * | 2017-07-17 | 2019-01-23 | Siemens Healthcare GmbH | Semantic segmentation for cancer detection in digital breast tomosynthesis |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7736313B2 (en) * | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
| CN101401730A (zh) * | 2008-11-14 | 2009-04-08 | 南京大学 | 一种基于分层结构的乳腺肿块可疑区域快速检测方法 |
| US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
| US8064677B2 (en) * | 2009-11-25 | 2011-11-22 | Fujifilm Corporation | Systems and methods for measurement of objects of interest in medical images |
| KR20130012297A (ko) * | 2011-07-25 | 2013-02-04 | 삼성전자주식회사 | 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치 |
| US9430829B2 (en) * | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
| KR20150098119A (ko) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
| CN108292366B (zh) * | 2015-09-10 | 2022-03-18 | 美基蒂克艾尔有限公司 | 在内窥镜手术中检测可疑组织区域的系统和方法 |
| CN106339591B (zh) * | 2016-08-25 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
| JP6955303B2 (ja) * | 2017-04-12 | 2021-10-27 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
| GB201705911D0 (en) * | 2017-04-12 | 2017-05-24 | Kheiron Medical Tech Ltd | Abstracts |
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN107424152B (zh) * | 2017-08-11 | 2020-12-18 | 联想(北京)有限公司 | 器官病变的检测装置、训练神经元网络的方法和电子设备 |
| CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
| US11126914B2 (en) * | 2017-10-11 | 2021-09-21 | General Electric Company | Image generation using machine learning |
| CN107886514B (zh) * | 2017-11-22 | 2021-04-23 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
| CN108464840B (zh) * | 2017-12-26 | 2021-10-19 | 安徽科大讯飞医疗信息技术有限公司 | 一种乳腺肿块自动检测方法及系统 |
| CN108510482B (zh) * | 2018-03-22 | 2020-12-04 | 姚书忠 | 一种基于阴道镜图像的宫颈癌检测装置 |
| CN108615237B (zh) * | 2018-05-08 | 2021-09-07 | 上海商汤智能科技有限公司 | 一种肺部图像处理方法及图像处理设备 |
| CN108765409A (zh) * | 2018-06-01 | 2018-11-06 | 电子科技大学 | 一种基于ct图像的候选结节的筛选方法 |
| CN109190540B (zh) * | 2018-06-06 | 2020-03-17 | 腾讯科技（深圳）有限公司 | 活检区域预测方法、图像识别方法、装置和存储介质 |
| CN109146899A (zh) * | 2018-08-28 | 2019-01-04 | 众安信息技术服务有限公司 | Ct图像的危及器官分割方法及装置 |
| CN110490850B (zh) * | 2019-02-14 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种肿块区域检测方法、装置和医学图像处理设备 |
-
2019
- 2019-02-14 CN CN201910735273.3A patent/CN110490850B/zh active Active
- 2019-02-14 CN CN201910115522.9A patent/CN110009600A/zh active Pending
-
2020
- 2020-02-12 EP EP20755919.6A patent/EP3926581A4/en active Pending
- 2020-02-12 WO PCT/CN2020/074782 patent/WO2020164493A1/zh unknown
-
2021
- 2021-07-02 US US17/367,316 patent/US20210343021A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732213A (zh) * | 2015-03-23 | 2015-06-24 | 中山大学 | 一种基于乳腺磁共振图像的计算机辅助肿块检测方法 |
| EP3432263A1 (en) * | 2017-07-17 | 2019-01-23 | Siemens Healthcare GmbH | Semantic segmentation for cancer detection in digital breast tomosynthesis |
| CN107977956A (zh) * | 2017-11-17 | 2018-05-01 | 深圳蓝韵医学影像有限公司 | 检测x线图像组织区域的方法、装置及计算机存储介质 |
| CN108052977A (zh) * | 2017-12-15 | 2018-05-18 | 福建师范大学 | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 |
| CN108109144A (zh) * | 2017-12-29 | 2018-06-01 | 广州柏视医疗科技有限公司 | 一种钼靶图像中乳头位置自动检测方法 |
| CN108109152A (zh) * | 2018-01-03 | 2018-06-01 | 深圳北航新兴产业技术研究院 | 医学图像分类和分割方法和装置 |
| CN108550150A (zh) * | 2018-04-17 | 2018-09-18 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
| CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Detection and classification of the breast abnormalities in digital mammograms via regional Convolutional Neural Network;M. A. Al-masni et al;《 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)》;20170715;第1230-1233页 * |
| Mass detection on automated breast ultrasound volume scans using convolutional neural network;Chisako Muramatsu et al;《 2018 International Workshop on Advanced Image Technology (IWAIT)》;20180109;第1-2页 * |
| 乳腺钼钯X线图像肿块识别算法研究;鲁相玉;《中国优秀硕士学位论文全文数据库信息科技辑》;20160115;第I138-587页 * |
| 基于钼靶图像的乳腺肿瘤诊断若干关键性技术研究;陈珊;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20190115;第E072-1945页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110009600A (zh) | 2019-07-12 |
| EP3926581A4 (en) | 2022-04-27 |
| US20210343021A1 (en) | 2021-11-04 |
| CN110490850A (zh) | 2019-11-22 |
| EP3926581A1 (en) | 2021-12-22 |
| WO2020164493A1 (zh) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
| Kallenberg et al. | Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring | |
| Bansal et al. | Automatic detection of osteosarcoma based on integrated features and feature selection using binary arithmetic optimization algorithm | |
| Reshma et al. | Detection of breast cancer using histopathological image classification dataset with deep learning techniques | |
| Selvathi et al. | Deep learning techniques for breast cancer detection using medical image analysis | |
| CN111709485B (zh) | 医学影像处理方法、装置和计算机设备 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| WO2019184851A1 (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| Isfahani et al. | Presentation of novel hybrid algorithm for detection and classification of breast cancer using growth region method and probabilistic neural network | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
| Huang et al. | Breast cancer diagnosis based on hybrid SqueezeNet and improved chef-based optimizer | |
| Aguirre Nilsson et al. | Classification of ulcer images using convolutional neural networks | |
| Liu et al. | Novel superpixel‐based algorithm for segmenting lung images via convolutional neural network and random forest | |
| Jamazi et al. | Mutated Aquila Optimizer for assisting brain tumor segmentation | |
| CN114140830A (zh) | 一种基于循环肿瘤细胞图像的重复识别抑制方法 | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| Senarathna et al. | Lung cancer detection and prediction of cancer stages using image processing | |
| Oprea et al. | A self organizing map approach to breast cancer detection | |
| Ara et al. | Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm | |
| Thenmoezhi et al. | Clustering-based image segmentation for optimal image fusion using CT and MRI images | |
| Vojjila | Image Segmentation and Classification of Marine Organisms | |
| Kumar et al. | ENHANCED APPROACH FOR BRAIN TUMOR DETECTION. | |
| Anju et al. | A Study on Digital Pathology Image Segmentation Using Deep Learning Methods | |
| Rathore et al. | Detection of Brain Tumor from MRI Images Using VGG-16 CNN Model with Transfer Learning | |
| Ramprasad et al. | Hierarchical agglomerative clustering-based skin lesion detection with region based neural networks classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |