CN110009600A - 一种医学图像区域过滤方法、装置及存储介质 - Google Patents
一种医学图像区域过滤方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110009600A CN110009600A CN201910115522.9A CN201910115522A CN110009600A CN 110009600 A CN110009600 A CN 110009600A CN 201910115522 A CN201910115522 A CN 201910115522A CN 110009600 A CN110009600 A CN 110009600A
- Authority
- CN
- China
- Prior art keywords
- region
- medical image
- site
- image
- target site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 230000003902 lesion Effects 0.000 claims abstract description 193
- 230000008520 organization Effects 0.000 claims abstract description 87
- 230000000717 retained effect Effects 0.000 claims abstract description 27
- 230000011218 segmentation Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 239000003814 drug Substances 0.000 claims description 16
- 201000010099 disease Diseases 0.000 claims description 14
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 230000005055 memory storage Effects 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 134
- 210000000481 breast Anatomy 0.000 description 119
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 79
- 229910052750 molybdenum Inorganic materials 0.000 description 79
- 239000011733 molybdenum Substances 0.000 description 79
- 239000010410 layer Substances 0.000 description 34
- 210000002445 nipple Anatomy 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000013526 transfer learning Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 230000003211 malignant effect Effects 0.000 description 9
- 210000005075 mammary gland Anatomy 0.000 description 9
- 108090000623 proteins and genes Proteins 0.000 description 9
- 238000013480 data collection Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 210000001165 lymph node Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- SPSXSWRZQFPVTJ-ZQQKUFEYSA-N hepatitis b vaccine Chemical compound C([C@H](NC(=O)[C@H]([C@@H](C)O)NC(=O)[C@H]([C@@H](C)O)NC(=O)[C@H](CO)NC(=O)[C@H](CC(N)=O)NC(=O)[C@H](CC=1C2=CC=CC=C2NC=1)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](N)CCSC)C(=O)N[C@@H](CC1N=CN=C1)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N1[C@@H](CCC1)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C(C)C)C(=O)OC(=O)CNC(=O)CNC(=O)[C@H](C)NC(=O)[C@H]1N(CCC1)C(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CC(C)C)NC(=O)CNC(=O)[C@@H](N)CCCNC(N)=N)C1=CC=CC=C1 SPSXSWRZQFPVTJ-ZQQKUFEYSA-N 0.000 description 5
- 229940124736 hepatitis-B vaccine Drugs 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 210000003296 saliva Anatomy 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 239000006071 cream Substances 0.000 description 3
- 210000004907 gland Anatomy 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 210000000349 chromosome Anatomy 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003475 lamination Methods 0.000 description 2
- 238000002386 leaching Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000505 pernicious effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005089 fruit drop Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008303 genetic mechanism Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000019989 milk ejection Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
本申请实施例公开了一种医学图像区域过滤方法、装置及存储介质;该方法获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域保留需要保留的区域,并对保留区域中预测病变区域进行过滤,可以减少对目标病变区域的误判,从而提升医学图像区域过滤的准确性。
Description
技术领域
本申请涉及图像识别领域,具体涉及一种医学图像区域过滤方法、装置及存储介质。
背景技术
医学图像被应用于癌症的早期判断当中。肿块是判断生命体组织是否正常的重要局部特征,其中对疑似恶性肿块的过滤可以为医生提供较好的肿块良恶性判定依据,是癌症诊断的重要依据。
目前常见的在医学图像中过滤疑似恶性肿块的方式主要是利用人工方式对医学图像中的疑似恶性肿块进行过滤,从而判定患病情况。
由于目前在医学图像中过滤疑似恶性肿块的方式依赖于医生,需要医生对医学图像中的疑似恶性肿块进行过滤,因此,会导致医学图像区域过滤的准确性较低。
发明内容
本申请实施例提供一种医学图像区域过滤方法、装置及存储介质,可以提升医学图像区域过滤的准确性。
本申请实施例提供一种医学图像区域过滤方法,包括:
获取生物组织的目标部位医学图像;
从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
相应的,本申请实施例还提供一种医学图像区域过滤装置,包括:
获取模块,用于获取生物组织的目标部位医学图像;
分割模块,用于从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
保留模块,用于基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
位置关系获取模块,用于获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
过滤模块,用于基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
相应的,本申请实施例还提供一种存储介质,所述存储介质存储有指令,所述指令被处理器执行时实现本申请实施例任一提供的医学图像区域过滤方法的步骤。
本申请实施例获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案可以提升区域过滤的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的医学图像区域过滤系统的场景示意图;
图2是本申请实施例提供的医学图像区域过滤方法的第一流程示意图;
图3是本申请实施例提供的医学图像区域过滤方法的第二流程示意图;
图4是本申请实施例提供的医学图像区域过滤方法的第三流程示意图;
图5是本申请实施例提供的应用场景示意图;
图6是本申请实施例提供的第一过滤病变区域示意图;
图7是本申请实施例提供的第二过滤病变区域示意图;
图8是本申请实施例提供的第三过滤病变区域示意图;
图9是本申请实施例提供的流程示意图;
图10是本申请实施例提供的医学图像区域过滤装置的第一种结构示意图;
图11是本申请实施例提供的医学图像区域过滤装置的第二种结构示意图;
图12是本申请实施例提供的医学图像区域过滤装置的第三种结构示意图;
图13是本申请实施例提供的网络设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种医学图像区域过滤方法、装置及存储介质。
本申请实施例提供一种医学图像区域过滤方法,该医学图像区域过滤方法的执行主体可以是本申请实施例提供的医学图像区域过滤装置,或者集成了该医学图像区域过滤装置的网络设备,其中该医学图像区域过滤装置可以采用硬件或者软件的方式实现。其中,网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1,图1是本申请实施例提供的医学图像区域过滤方法的应用场景示意图,以医学图像区域过滤装置集成在网络设备中为例,网络设备可以获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
请参阅图2,图2是本申请实施例提供的医学图像区域过滤方法的第一流程示意图。本申请实施例提供的医学图像区域过滤方法的具体流程可以如下:
201、获取生物组织的目标部位医学图像。
其中,生物组织可以为生命对象中的组织部位,比如,当生命对象为人体时,生物组织可以为肌肉组织、皮下组织等等。生物组织还可以为由生命对象中的部位构成的组织,比如乳房部位组织、眼睛部位组织等等。生物组织还可以为由生命对象中部分部位构成的组织,比如眼睛中的瞳孔组织、乳房中的乳腺组织等等。
其中,生命对象是指能对外界刺激做出相应反映,并且有生命形态的对象,比如可以为人类、猫、狗等等。
其中,目标部位医学图像为对生命组织进行拍摄获取的图像,通过目标部位医学图像可以对生命组织的病理情况进行判断,比如,该目标部位医学图像可以为乳腺钼靶图像等等。乳腺钼靶图像是通过乳腺钼靶X线机获取到的图像,应用于乳腺钼靶X线摄影检查。乳腺钼靶X线摄影检查是目前诊断乳腺疾病的首选和最简便、最可靠的无创性检测手段。
其中,获取生物组织的目标部位医学图像的方式可以有多种,比如,当该目标部位医学图像为乳腺钼靶图像时,可以通过乳腺钼靶X线机进行乳腺钼靶图像获取,还可以通过从本地获取乳腺钼靶图像,或者通过网络进行下载获取乳腺钼靶图像,等等。
202、从目标部位医学图像中分割出多个组织类型的部位组织区域。
其中,组织类型指的是目标部位医学图像中包括不同组织的类型,比如,当目标部位医学图像为乳腺钼靶图像时,可以将乳房的部分看作为一个组织类型,还可以将乳腺钼靶图像中肌肉的部分看作为一个组织类型,等等。从乳腺钼靶图像中分割出的部位组织区域可以包括肌肉组织类型和乳房组织类型,等等。
由于在乳腺钼靶图像目标病变区域的识别过程中,会将淋巴结和乳头等非目标病变区域识别为目标病变区域,从而产生误判的情况,为了减少目标病变区域的误判,提高准确性,通过从乳腺钼靶图像中分割出多个组织类型的部位组织区域,即从乳腺钼靶图像中分割出肌肉组织类型和乳房组织类型的部位组织区域,可以将被误判为目标病变区域的淋巴结和乳头等去除,从而提高目标病变区域识别的准确性。
在一实施例中,为了提高从目标部位医学图像中分割出部位组织区域的准确性,可以采用网络模型对图像进行分割。具体地,步骤“从目标部位医学图像中分割出多个组织类型的部位组织区域”可以包括:
基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域,其中,所述区域分割网络模型由多个样本部位图像训练而成。
其中,区域分割网络模型为一种深度学习分割网络模型,比如,该区域分割网络模型可以为全卷积网络模型(Fully Convolutional Networks,FCN)。全卷积网络模型可以对图像进行像素级的分类,从而解决了语义级别的图像分割问题。全卷积网络模型可以接受任意尺寸的输入图像,因此采用反卷积子网络对最后一个卷积层的特征进行上采样,使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,然后在上采样的特征图上进行逐像素分类。全卷积网络模型相当于把卷积神经网络最后的全连接层换成卷积层,输出的是一张已经标注好的图像。
在一实施例中,比如,该区域分割网络模型还可以通过类似网络模型(比如U-Net网络模型等)进行替代。
其中,U-Net网络模型是一种在医学领域应用的图像分割网络模型,U-Net网络模型可以在处理具有更大感受野目标的时候,根据选择的数据集自由加深网络结构,并且U-Net网络模型在进行浅层特征融合的时候,可以采用叠加的方法。
在一实施例中,为了提高区域过滤的准确性,具体地,步骤“基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域”可以包括:
基于卷积子网络对所述目标部位医学图像进行卷积处理,得到图像的特征;
基于反卷积子网络对所述特征进行上采样,得到恢复尺寸后的特征图像;
对所述恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域。
其中,区域分割网络模型可以包括卷积子网络和反卷积子网络。
其中,卷积子网络可以包括卷积层和池化层等,卷积层由若干卷积单元组成。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取更复杂的特征。池化层可以对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。
其中,反卷积子网络可以包括反卷积层,反卷积又被称为转置的卷积,卷积层的前向传播过程就是反卷积子网络的反向传播过程,卷积层的反向传播过程就是反卷积子网络的前向传播过程。因此可以通过反卷积子网络对特征图像尺寸进行还原。
在实际应用中,比如,当该区域分割网络模型为全卷积网络模型时,可以将乳腺钼靶图像输入到全卷积网络模型中,通过包括多个卷积层的卷积子网络进行卷积处理,得到图像的特征,然后通过反卷积子网络中的反卷积层对得到的特征进行上采样,将特征图像进行尺寸恢复,然后对恢复尺寸后的特征图像进行分类,得到肌肉组织类型和乳房组织类型的部位组织区域。
在一实施例中,该医学图像区域过滤方法还可以包括区域分割网络模型的训练步骤。
比如,当该区域分割网络模型为全卷积网络模型时,该全卷积网络模型的初始化权重可以通过分割数据集PASCAL VOC训练得到,然后可以使用医学钼靶图像公开数据集DDSM进行迁移学习,再使用国内医院标注了肌肉组织类型和乳房组织类型的部位组织区域的3000例乳腺钼靶数据进行迁移学习,比如,网络模型训练时的批处理大小可以为4,学习率可以为0.00001,最大迭代次数可以为20000,等等,最后可以得到训练后的区域分割网络模型,可以通过该区域分割网络模型进行多个组织类型的部位组织区域的分割。
其中,分割数据集(pattern analysis,statistical modelling andcomputational learning visual object classes,PASCAL VOC)是一种提供用于对象类识别的标准化图像数据集,也可以为提供用于访问数据集和注释的公共工具集。
其中,医学钼靶图像公开数据集(Digital Database for ScreeningMammography,DDSM)数据库是医学机构建立的专门存放乳腺癌图像的数据库。DDSM数据库里存放了恶性、常规、良性等数据类型,目前很多对乳腺癌的研究都是依据DDSM数据库进行研究。
其中,迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。在本申请中,通过参数迁移的方式进行网络模型数据训练,能够将任务A训练出来的模型用来初始化任务B的模型参数,使任务B能够更快的学习训练收敛。
203、基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域。
其中,目标部位医学图像的拍摄位置类型为拍摄目标部位医学图像时由于投照位置不同而产生的不同拍摄位置类型。比如,当目标部位医学图像为乳腺钼靶图像时,拍摄位置类型可以包括CC位(轴位,X线束自上向下投照)、MLO位(侧斜位,可分内外斜位和外内斜位,内外斜位是将胶片置于乳腺的外下方,X线束自乳腺内上方以45度投射向外下方,外内斜位则相反)、侧位、局部点片及点片放大摄影等等。
其中,保留区域为对于不同拍摄位置类型的目标部位医学图像,多个组织类型的部位组织区域需要保留的不同区域,比如,当拍摄位置类型不同时,可以根据实际情况,选取不同组织类型的部位组织区域进行保留,以提高区域过滤的准确性。
在实际应用中,比如,当目标部位医学图像为乳腺钼靶图像,拍摄位置类型包括CC位和MLO位,多个组织类型的部位组织区域包括肌肉组织类型和乳房组织类型的部位组织区域时,当该乳腺钼靶图像为CC位时,只保留乳房组织类型的部位组织区域;当该乳腺钼靶图像为MLO位时,保留肌肉组织类型和乳房组织类型的部位组织区域。
在一实施例中,还可以根据实际情况,针对不同拍摄位置类型,对不同组织类型的部位组织区域进行保留,比如,也可以当该乳腺钼靶图像为CC位和MLO位时,都对肌肉组织类型和乳房组织类型的部位组织区域进行保留,等等。
在一实施例中,为了减少目标病变区域的误判,提高区域过滤的准确性。具体地,步骤“基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域”可以包括:
获取映射关系集合,所述映射关系集合包括目标部位医学图像的预设拍摄位置类型与组织类型的映射关系;
根据所述映射关系获取所述拍摄位置类型对应的组织类型;
从所述多个组织类型的部位组织区域选择需要保留的保留区域。
其中,映射关系集合包括目标部位医学图像的拍摄位置类型与组织类型的映射关系,比如,当该乳腺钼靶图像为CC位时,对应保留乳房组织类型的部位组织区域;当该乳腺钼靶图像为MLO位时,对应保留肌肉组织类型和乳房组织类型的部位组织区域。并根据该映射关系从多个组织类型的部位组织区域选择需要保留的保留区域。
在一实施例中,该映射关系还可以根据实际情况进行调整,比如,也可以为当该乳腺钼靶图像为CC位时,对应保留肌肉组织类型和乳房组织类型的部位组织区域;当该乳腺钼靶图像为MLO位时,对应保留肌肉组织类型和乳房组织类型的部位组织区域,等等。
204、获取保留区域与目标部位医学图像中预测病变区域之间的位置关系。
其中,位置关系可以为保留区域与预测病变区域之间的区域位置关系,可以根据实际情况对位置关系进行定义,比如,保留区域与预测病变区域之间的位置关系可以包括:预测病变区域全部位于保留区域内,预测病变区域部分位于保留区域内,预测病变区域不位于保留区域内,等等。
在一实施例中,比如,保留区域与预测病变区域之间的位置关系还可以为,预测病变区域在保留区域的左上方、右上方等。
其中,获取位置关系的方式可以有多种,比如,可以通过图像重叠的方式,将保留区域与包括预测病变区域的目标部位医学图像进行图像重叠,以获取位置关系。比如,可以通过在包括预测病变区域的目标部位医学图像中确定保留区域的定位点位置(比如可以将在保留区域一条对角线上的两顶点确定为保留区域的定位点),将保留区域和包括预测病变区域的目标部位医学图像进行图像重叠,从而获取保留区域和预测病变区域之间的位置关系。
在一实施例中,比如,还可以通过获取保留区域和预测病变区域的坐标信息,以获取保留区域和预测病变区域的位置关系。比如,可以通过对比预测病变区域的坐标信息和保留区域的坐标信息,以获取预测病变区域在保留区域中的位置信息,等等。
其中,预测病变区域为在目标部位医学图像中检测到的可能发生病变的区域。该预测病变区域包括已经病变的区域,也可能包括被误判为病变区域的未病变的区域,等等。
其中,预测病变区域的获取方式可以有多种,比如,可以通过预先人工进行目标部位医学图像的识别以获取,还可以通过网络模型对目标部位医学图像进行预测病变区域的检测,以获取预测病变区域,具体流程可以参考下面图3。
205、基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
其中,预测病变区域为在目标部位医学图像中已经定位的疑似病变的区域,比如,当目标部位医学图像为乳腺钼靶图像时,预测病变区域可以为在乳腺钼靶图像中定位的疑似恶性肿块。
其中,目标病变区域为经过过滤后的预测病变区域,比如,当目标部位医学图像为乳腺钼靶图像时,目标病变区域可以为恶性肿块。
由于乳腺钼靶图像中目标病变区域的识别过程,会将淋巴结和乳头等非目标病变区域识别为目标病变区域,从而产生误判的情况,为了减少目标病变区域的误判,提高准确性,可以通过对预测病变区域进行过滤,得到目标病变区域,将被误判为目标病变区域的淋巴结和乳头等去除,从而提高目标病变区域识别的准确性。
在一实施例中,由于保留区域与预测病变区域都是基于检测同一张目标部位医学图像获得的,因此,可以通过获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,从而实现在保留区域中,对预测病变区域进行过滤,以得到目标病变区域,从而提高医学图像区域过滤的准确性。
在实际应用中,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域,比如,当保留区域包括肌肉组织类型的部位组织区域和乳房组织类型的部位组织区域时,可以获取保留区域和预测病变区域的位置关系,并根据位置关系,将落入保留区域中肌肉区域和乳头区域的预测病变区域进行滤除,否则将该预测病变区域识别为目标病变区域。
在一实施例中,比如,还可以根据保留区域和预测病变区域之间的位置关系,将保留区域中预设位置区域内的预测病变区域进行过滤,比如,还可以根据实际情况,将保留区域左上角预设尺寸区域内包括的预测病变区域进行过滤,等等。
在一实施例中,请参阅图3,预测病变区域可以通过获取已经标注的图像获得,还可以通过以下方式获得,获取预测病变区域的流程可以如下:
301、从目标部位医学图像中分割出多个候选识别区域。
其中,候选识别区域为有可能包括预测病变区域的区域,比如,当目标部位医学图像为乳腺钼靶图像时,候选识别区域为有可能包括恶性肿块的区域。将候选识别区域分割出来,可以提升区域过滤的效率。
在一实施例中,通过从目标部位医学图像中分割出多个候选识别区域,可以提高区域过滤的准确性。具体地,步骤“从所述目标部位医学图像中分割出多个候选识别区域”可以包括:
从所述目标部位医学图像中提取出子部位图像;
从所述子部位图像中分割出多个候选识别区域。
其中,子部位图像可以为从目标部位医学图像中截取的某部位所在的图像,比如,当目标部位医学图像为乳腺钼靶图像时,子部位图像可以为乳房所在区域的图像。
在实际应用中,比如,可以从乳腺钼靶图像中提取出乳房所在区域的图像,并从乳房所在区域的图像中分割出多个候选识别区域。通过提取乳房所在区域以及候选识别区域,可以提升区域过滤的准确性。
在一实施例中,通过从目标部位医学图像中提取出子部位图像,可以提高区域过滤的准确性。具体地,步骤“从所述目标部位医学图像中提取出子部位图像”可以包括:
将所述目标部位医学图像进行灰度拉伸,得到拉伸后的目标部位医学图像;
在所述拉伸后的目标部位医学图像中提取出初始子部位图像;
对所述初始子部位图像的图像直方图进行直方图均衡,得到均衡后的子部位图像;
对所述均衡后的子部位图像进行滤波,得到子部位图像。
其中,灰度拉伸、直方图均衡、滤波等操作都属于预处理操作。预处理是在对输入图像进行特征抽取、分割和匹配前所进行的处理。预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。通过对图像进行预处理,可以减少图像中的噪声,提高区域同质性,以及后续处理的鲁棒性,并得到预处理后的子部位图像。
其中,灰度拉伸为一种灰度变换方法,通过分段线性变换函数,提高图像处理时灰度级的动态范围。
其中,图像直方图为通过左暗右亮的分布曲线形式进行图像数据显示的图像。图像直方图可以通过算法来对图像进行按比例缩小,且具有图像平移、旋转、缩放不变性等众多优点,应用于图像处理的许多领域,比如灰度图像的阈值分割、基于颜色的图像检索、图像分类等等。
其中,直方图均衡为图像处理领域中利用图像直方图对对比度进行调整的方法。通过直方图均衡有效地扩展常用的亮度,可以使得亮度更好地在直方图上分布,用于增强局部的对比度而不影响整体的对比度。
其中,滤波操作可以去除图像中的噪声,提高区域同质性。
在实际应用中,比如,当目标部位医学图像为乳腺钼靶图像时,可以通过线性拉伸的方式,将乳腺钼靶图像的灰度范围拉伸到0~255,通过对乳腺钼靶图像进行灰度拉伸,可以提高后续处理的鲁棒性。
在实际应用中,比如,当目标部位医学图像为乳腺钼靶图像,初始子部位图像为乳房所在区域图像时,可以通过形态学开操作,对拉伸后的乳腺钼靶图像先腐蚀后膨胀,去除图像细碎组织以及噪声,在纤细点处分离物体,并在平滑较大物体边界的同时不明显的改变其面积。之后采用大津分割方法(Otsu's method)进行分割,即将灰度图像转化为二值图像。大津分割方法假定图像根据双模直方图包含两类像素(前景像素和背景像素),于是它要计算能将两类像素分开的最佳阈值,使得它们的类内方差最小;由于两两平方距离恒定,即使得它们的类间方差最大。经过形态学开操作和大津分割方法,可以得到乳房所在区域图像。
在实际应用中,比如,当初始子部位图像为乳房所在区域图像时,可以获取乳房所在区域图像对应的图像直方图,之后进行直方图均衡,得到均衡后的乳房所在区域图像。
在实际应用中,比如,当初始子部位图像为乳房所在区域图像时,可以采用双边滤波对均衡后的乳房所在区域图像进行滤波操作,得到乳房所在区域图像。双边滤波是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的,不会破坏图像分割边缘。
在一实施例中,可以通过从子部位图像中分割出多个候选识别区域,从而提高区域过滤的准确性。具体地,步骤“从所述子部位图像中分割出多个候选识别区域”可以包括:
基于基因遗传算法对所述子部位图像进行分割,得到多个分割图像;
对所述分割图像使用形态学开操作,得到操作后分割图像;
从多个所述操作后分割图像中选取出多个候选识别区域。
其中,图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像索赋予相同的编号。为了使得图像更容易进行训练与分类,可以将子部位图像进行分割,并从分割所得的多个区域中,选取出候选识别区域。
其中,基因遗传算法是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。初代种群产生之后,按照适者生存和优胜劣汰的原理,逐代演化产生出越来越好的近似解,在每一代,根据问题域中个体的适应度大小选择个体,并借助于自然遗传学的遗传算子进行组合交叉和变异,产生出代表新的解集的种群。
在实际应用中,比如,可以首先对子部位图像进行二维小波变换以降低维度,对于低细节的图像而言,可以基于图像的图像直方图对该图像进行分割。对于图像直方图的分割可以采用基因遗传算法,通过二进制编码形式实现从表现型到基因性的映射,二进制编码序列长度可以为图像灰度级个数,可以使得位值为0时代表该灰度级为分割阈值。基因遗传算法价值函数是测量染色体优秀程度的方法,该价值函数以最大类间方差和最小类内方差为标准,在种群初始化后重复迭代选择、交叉、变异三个过程直到收敛,比如初始种群数量可以为30,迭代次数可以为40,选择率可以为10%,交叉率可以为80%,变异率可以为10%,等等,最后输出分割阈值,并根据该分割阈值对子部位图像进行分割,得到多个分割图像。
之后,可以对分割图像使用形态学开操作,得到操作后分割图像,比如,可以对分割图像先腐蚀后膨胀,去除图像细碎组织以及噪声,在纤细点处分离物体,并在平滑较大物体边界的同时不明显的改变其面积,断开腺体连接等,以方便后续区域提取。
在实际应用中,从多个操作后分割图像中选取出多个候选识别区域,比如,可以从多个操作后分割图像中提取出灰度级较高的区域,比如可以从多个操作后分割图像中,提取Top5灰度级的区域,之后基于提取出的区域,在每张乳腺钼靶图像中选择面积较大的10个区域作为候选识别区域。
302、基于区域分类网络模型对候选识别区域进行分类,得到候选识别区域对应的病变预测概率。
其中,区域分类网络模型为可以对候选识别区域进行分类,判定候选识别区域中是否包括预测病变区域的网络模型,比如,该区域分类网络模型可以为Inception V3网络模型。
其中,Inception V3是卷积神经网络中的一种。卷积神经网络是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型图像处理,卷积神经网络包括卷积层和池化层。Inception V3通过增加单层卷积层的宽度,即在单层卷积层上使用不同尺度的卷积核,从而优化网络。
其中,病变预测概率为预测该候选识别区域中包括预测病变区域的概率。
在一实施例中,可以通过网络模型对候选识别区域进行分类,获取候选识别区域对应的病变预测概率,提高区域过滤准确率。具体地,步骤“基于区域分类网络模型对所述候选识别区域进行分类,得到所述候选识别区域对应的病变预测概率”可以包括:
基于卷积层对所述候选识别区域进行卷积处理,得到区域的特征;
基于全连接层对区域的特征进行分类,得到所述候选识别区域对应的病变预测概率。
其中,区域分类网络模型为识别出候选识别区域对应的病变预测概率的网络模型,比如,可以为深度学习卷积神经网络GoogLeNet(Inception V3)、全卷积神经网络、Resnet网络模型等等。区域分类网络模型可以包括卷积层和全连接层。
其中,Inception V3网络模型通过密集成分来近似最优的局部稀疏结,从而更高效的利用计算资源,在相同的计算量下能提取到更多的特征,从而提升训练结果。Inception网络模型的特点有两个:一是使用1x1的卷积来进行升降维;二是在多个尺寸上同时进行卷积再聚合。
其中,卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。图像卷积运算的目的是提取输入图像的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取出更复杂的特征。
其中,全连接层可以整合卷积层中具有类别区分性的局部信息。最后一层全连接层的输出值被传递给一个输出,可以采用softmax逻辑回归进行分类。
在实际应用中,比如,当区域分类网络模型为Inception V3网络模型时,可以将候选识别区域输入网络模型中,通过卷积层进行卷积处理,得到区域的特征,之后通过全连接层对区域的特征进行分类,得到所述候选识别区域对应的病变预测概率。比如,当区域分类网络模型为Inception V3网络模型时,通过多种尺寸的卷积核,经历22层深度的神经网络,使得网络模型既能保持网络结构的稀疏性,又能利用密集矩阵的高计算性能。
在一实施例中,医学图像区域过滤方法还可以包括区域分类网络模型的训练过程。
具体地,该医学图像区域过滤方法还可以包括:
获取正负样本区域,正样本区域包括预测病变区域;
将所述正负样本区域进行数据增强,得到增强后的正负样本区域;
根据所述增强后的正负样本区域,对区域分类网络模型中的模型权重进行更新,得到训练后的区域分类网络模型;
基于所述训练后的区域分类网络模型,更新所述区域分类网络模型。
其中,正样本区域包括预测病变区域,正负样本区域为经过医师标注的样本目标部位医学图像中的样本区域,比如,正样本可以为经过医师标注的包括疑似恶性肿块区域的乳腺钼靶图像,并且正样本包括整个肿块区域以及少量背景区域环绕,负样本可以为经过医师标注的明显良性肿块区域以及背景区域的乳腺钼靶图像。
其中,数据增强可以让有限的数据产生更多的等价数据,可以使得样本数量增多,样本增强。
其中,迁移学习是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。迁移学习放宽了传统机器学习中的两个基本假设,目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。
在实际应用中,获取正负样本区域的方式可以有多种,比如,可以使用国内医院数据,聘请专家进行标注数据,还可以从本地或者从网络上进行下载获取正负样本区域,等等。
在实际应用中,将正负样本区域进行数据增强,得到增强后的正负样本区域,比如,由于正负样本区域所在图像为乳腺钼靶图像,因此对正负样本区域主要进行翻转和裁剪的数据增强,无须进行颜色空间的数据增强,得到增强后的多个正负样本区域。
在实际应用中,比如,当区域分类网络模型为Inception V3网络模型时,可以将模型的输出类别数设置为2,模型的权重初始化可以首先使用ImageNet数据集(计算机视觉标准数据集),之后使用公开数据集DDSM,公开数据集DDSM是美国的医学机构所建立的专门存放乳腺癌图像的数据库。最后使用增强后的正负样本区域进行迁移学习对区域分类网络模型中的权重进行更新,比如,可以使用RMSprop(root mean square prop,基于均方根的自适应学习率方法)作为下降算法,批处理大小可以为64,初始学习率可以为0.01,最大迭代次数可以为100000,训练结束后,得到训练后的区域分类网络模型,然后,基于训练后的区域分类网络模型,对区域分类网络模型进行更新,得到区域分类网络模型。
303、根据病变预测概率从候选识别区域中筛选出预测病变区域,得到目标部位医学图像对应的预测病变区域。
在实际应用中,比如,可以从乳腺钼靶图像中分割出多个候选识别区域,将多个候选识别区域输入区域分类网络模型中进行分类,得到候选识别区域对应的病变预测概率,之后根据病变预测概率从候选识别区域中筛选出预测病变区域,比如,病变预测概率大于0.5的候选识别区域可以确定为预测病变区域。
在一实施例中,比如,还可以利用非极大值抑制的方法对预测病变区域进行重叠区域的去除,重叠度阈值可以设为50%,可以降低误报率,还可以提高预测病变区域定位的准确性。
请参阅图5,该医学图像区域过滤方法可以实现从乳腺钼靶图像识别出目标病变区域。
由上可知,本申请实施例获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案通过两个神经网络的并联,提取图像的多样性特征,减少了人工工作量,提高了自动化程度、精度、效率以及应用推广性;基于目标部位医学图像的拍摄位置类型从多个组织类型的部位组织区域保留需要保留的区域,并基于保留区域对目标部位医学图像对应的预测病变区域进行过滤,可以有效过滤掉干扰目标病变区域判定的淋巴结和乳头等,减少了对于目标病变区域的误判,从而提升区域过滤的准确性。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图4,在本实施例中,将以该医学图像区域过滤装置具体集成在网络设备中为例进行说明。
401、网络设备获取乳腺钼靶图像。
在实际应用中,参考图9,网络设备获取乳腺钼靶图像的方式可以有多种,比如,可以通过乳腺钼靶X线机进行获取,还可以通过从本地获取乳腺钼靶图像,或者通过网络进行下载获取乳腺钼靶图像,等等。
402、网络设备从乳腺钼靶图像中分割出多个组织类型的部位组织区域。
由于乳腺钼靶图像中目标病变区域的识别过程,会将淋巴结和乳头等非目标病变区域识别为目标病变区域,从而产生误判的情况,为了减少目标病变区域的误判,提高准确性,通过从乳腺钼靶图像中分割出多个组织类型的部位组织区域,即从乳腺钼靶图像中分割出肌肉组织类型和乳房组织类型的部位组织区域,可以将被误判为目标病变区域的淋巴结和乳头等去除,从而提高目标病变区域识别的准确性。
在实际应用中,参考图9,网络设备可以基于区域分割网络模型从乳腺钼靶图像中分割出多个组织类型的部位组织区域,区域分割网络模型由多个样本部位图像训练而成。
具体地,可以基于卷积子网络对乳腺钼靶图像进行卷积处理,得到图像的特征,之后基于反卷积子网络对特征进行上采样,得到恢复尺寸后的特征图像,最后对恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域。
在实际应用中,基于卷积子网络对乳腺钼靶图像进行卷积处理,得到图像的特征,基于反卷积子网络对特征进行上采样,得到恢复尺寸后的特征图像,对恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域,比如,当该区域分割网络模型为全卷积网络模型时,可以将乳腺钼靶图像输入到全卷积网络模型中,通过包括多个卷积层的卷积子网络进行卷积处理,得到图像的特征,然后通过反卷积子网络中的反卷积子网络对得到的特征进行上采样,将特征图像进行尺寸恢复,然后对恢复尺寸后的特征图像进行分类,得到肌肉组织类型和乳房组织类型的部位组织区域。
在一实施例中,该医学图像区域过滤方法还可以包括区域分割网络模型的训练步骤。比如,当该区域分割网络模型为全卷积网络模型时,该全卷积网络模型的初始化权重可以通过分割数据集PASCAL VOC训练得到,然后可以使用医学钼靶图像公开数据集DDSM进行迁移学习,再使用国内医院标注了肌肉组织类型和乳房组织类型的部位组织区域的3000例乳腺钼靶数据进行迁移学习,比如,网络模型训练时的批处理大小可以为4,学习率可以为0.00001,最大迭代次数可以为20000,等等,最后可以得到训练后的区域分割网络模型,可以通过该区域分割网络模型进行多个组织类型的部位组织区域的分割。
403、网络设备基于乳腺钼靶图像的拍摄位置类型从多个组织类型的部位组织区域选择需要保留的保留区域。
在实际应用中,参考图9,比如,需要保留的保留区域为对于不同拍摄位置类型的乳腺钼靶图像中,多个组织类型的部位组织区域需要保留的区域不同,拍摄位置类型包括CC位和MLO位,多个组织类型的部位组织区域包括肌肉组织类型和乳房组织类型的部位组织区域时,当该乳腺钼靶图像为CC位时,只保留乳房组织类型的部位组织区域;当该乳腺钼靶图像为MLO位时,保留肌肉组织类型和乳房组织类型的部位组织区域。
具体地,网络设备可以获取映射关系集合,之后根据映射关系从多个组织类型的部位组织区域选择需要保留的保留区域。比如,当该乳腺钼靶图像为CC位时,对应保留乳房组织类型的部位组织区域;当该乳腺钼靶图像为MLO位时,对应保留肌肉组织类型和乳房组织类型的部位组织区域。并根据该映射关系从多个组织类型的部位组织区域选择需要保留的保留区域。
404、网络设备从乳腺钼靶图像中分割出多个候选识别区域。
在实际应用中,参考图9,可以从乳腺钼靶图像中提取出乳房图像,并从乳房图像中分割出多个候选识别区域。
具体地,网络设备可以将乳腺钼靶图像进行灰度拉伸,得到拉伸后的乳腺钼靶图像,在所述拉伸后的乳腺钼靶图像中提取出初始乳房图像,对初始乳房图像的图像直方图进行直方图均衡,得到均衡后的乳房图像,对均衡后的乳房图像进行滤波,得到乳房图像。然后可以通过线性拉伸的方式,将乳腺钼靶图像的灰度范围拉伸到0~255,通过对乳腺钼靶图像进行灰度拉伸,可以提高后续处理的鲁棒性。然后可以通过形态学开操作,对拉伸后的乳腺钼靶图像先腐蚀后膨胀,去除图像细碎组织以及噪声,在纤细点处分离物体,并在平滑较大物体边界的同时不明显的改变其面积。之后采用大津分割方法(Otsu's method)进行分割,即将灰度图像转化为二值图像。经过形态学开操作和大津分割方法,可以得到乳房图像。然后可以获取乳房图像对应的图像直方图,之后进行直方图均衡,得到均衡后的乳房图像。最后可以采用双边滤波对均衡后的乳房图像进行滤波操作,得到乳房图像。
在实际应用中,可以基于基因遗传算法对乳房图像进行分割,得到多个分割图像,对分割图像使用形态学开操作,得到操作后分割图像,从多个操作后分割图像中选取出多个候选识别区域。
具体地,可以首先对乳房图像进行二维小波变换以降低维度。对于图像直方图的分割可以采用基因遗传算法,通过二进制编码形式实现从表现型到基因性的映射,二进制编码序列长度可以为图像灰度级个数,可以使得位值为0时代表该灰度级为分割阈值。基因遗传算法价值函数是测量染色体优秀程度的方法,该价值函数以最大类间方差和最小类内方差为标准,在种群初始化后重复迭代选择、交叉、变异三个过程直到收敛,比如初始种群数量可以为30,迭代次数可以为40,选择率可以为10%,交叉率可以为80%,变异率可以为10%,等等,最后输出分割阈值,并根据该分割阈值对子部位图像进行分割,得到多个分割图像。
之后,可以对分割图像使用形态学开操作,得到操作后分割图像。最后,从多个操作后分割图像中选取出多个候选识别区域,比如,可以从多个操作后分割图像中提取出灰度级较高的区域,比如可以从多个操作后分割图像中,提取Top5灰度级的区域,之后基于提取出的区域,在每张乳腺钼靶图像中选择面积较大的10个区域作为候选识别区域。
405、网络设备基于区域分类网络模型对候选识别区域进行分类,得到候选识别区域对应的病变预测概率。
在实际应用中,参考图9,网络设备可以基于卷积层对候选识别区域进行卷积处理,得到区域的特征,然后基于全连接层对区域的特征进行分类,得到候选识别区域对应的病变预测概率。
具体地,当区域分类网络模型为Inception V3网络模型时,将候选识别区域输入网络模型中,通过卷积层进行卷积处理,得到区域的特征,之后通过全连接层对区域的特征进行分类,得到候选识别区域对应的病变预测概率。比如,当区域分类网络模型为Inception V3网络模型时,通过多种尺寸的卷积核,经历22层深度的神经网络,使得网络模型既能保持网络结构的稀疏性,又能利用密集矩阵的高计算性能。
在一实施例中,医学图像区域过滤方法还可以包括区域分类网络模型的训练过程。
在实际应用中,可以获取正负样本区域,然后将正负样本区域进行数据增强,得到增强后的正负样本区域,然后根据增强后的正负样本区域,对区域分类网络模型中的模型权重进行更新,得到训练后的区域分类网络模型,最后基于训练后的区域分类网络模型,更新区域分类网络模型。
具体地,获取正负样本区域的方式可以有多种,比如,可以使用医院数据,聘请专家进行标注数据,还可以从本地或者从网络上进行下载获取正负样本区域,等等。然后将正负样本区域进行数据增强,得到增强后的正负样本区域,比如,由于正负样本区域所在图像为乳腺钼靶图像,因此对正负样本区域主要进行翻转和裁剪的数据增强,无须进行颜色空间的数据增强,得到增强后的多个正负样本区域。
当区域分类网络模型为Inception V3网络模型时,可以将模型的输出类别数设置为2,模型的权重初始化可以首先使用ImageNet数据集(计算机视觉标准数据集),之后使用公开数据集DDSM,公开数据集DDSM是美国的医学机构所建立的专门存放乳腺癌图像的数据库。最后使用增强后的正负样本区域进行迁移学习对区域分类网络模型中的权重进行更新,比如,可以使用RMSprop(root mean square prop,基于均方根的自适应学习率方法)作为下降算法,批处理大小可以为64,初始学习率可以为0.01,最大迭代次数可以为100000,训练结束后,得到训练后的区域分类网络模型,然后,基于训练后的区域分类网络模型,对区域分类网络模型进行更新,得到区域分类网络模型。
406、网络设备根据病变预测概率从候选识别区域中筛选出预测病变区域。
在实际应用中,参考图9,网络设备可以根据病变预测概率从候选识别区域中筛选出预测病变区域,比如,病变预测概率大于0.5的候选识别区域可以确定为预测病变区域。
在一实施例中,还可以利用非极大值抑制的方法对预测病变区域进行重叠区域的去除,重叠度阈值可以设为50%,可以降低误报率,还可以提高预测病变区域定位的准确性。
407、网络设备获取保留区域与乳腺钼靶图像中预测病变区域之间的位置关系。
其中,获取位置关系的方式可以有多种,比如,可以通过图像重叠的方式,将保留区域与包括预测病变区域的目标部位医学图像进行图像重叠,以获取位置关系。比如,可以通过在包括预测病变区域的目标部位医学图像中确定保留区域的定位点位置(比如可以将在保留区域一条对角线上的两顶点确定为保留区域的定位点),将保留区域和包括预测病变区域的目标部位医学图像进行图像重叠,从而获取保留区域和预测病变区域之间的位置关系。
在一实施例中,比如,还可以通过获取保留区域和预测病变区域的坐标信息,以获取保留区域和预测病变区域的位置关系。比如,可以通过对比预测病变区域的坐标信息和保留区域的坐标信息,以获取预测病变区域在保留区域中的位置信息,等等。
408、网络设备基于位置关系对乳腺钼靶图像中的预测病变区域进行过滤,得到目标病变区域。
在一实施例中,由于保留区域与预测病变区域都是基于检测同一张目标部位医学图像获得的,因此,可以通过获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,从而实现在保留区域中,对预测病变区域进行过滤,以得到目标病变区域,从而提高医学图像区域过滤的准确性。
在实际应用中,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域,比如,当保留区域包括肌肉组织类型的部位组织区域和乳房组织类型的部位组织区域时,可以获取保留区域和预测病变区域的位置关系,并根据位置关系,将落入保留区域中肌肉区域和乳头区域的预测病变区域进行滤除,否则将该预测病变区域识别为目标病变区域。
在实际应用中,请参阅图6、图7和图8,图6和图7为MLO位图像,图8为CC位图像,对保留区域中特定区域包括的在乳腺钼靶图像对应的病变区域进行过滤,得到目标病变区域,比如,对于保留区域中的肌肉区域和乳头区域,当预测病变区域落入保留区域中的肌肉区域和乳头区域时,将该预测病变区域滤除,否则将该预测病变区域识别为目标病变区域。
由上可知,本申请实施例通过网络设备获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案通过两个神经网络的并联,提取图像的多样性特征,减少了人工工作量,提高了自动化程度、精度、效率以及应用推广性;基于目标部位医学图像的拍摄位置类型从多个组织类型的部位组织区域保留需要保留的区域,并基于保留区域对目标部位医学图像对应的预测病变区域进行过滤,可以有效过滤掉干扰目标病变区域判定的淋巴结和乳头等,减少了对于目标病变区域的误判,从而提升区域过滤的准确性。
为了更好地实施以上方法,本申请实施例还提供一种医学图像区域过滤装置,该医学图像区域过滤装置可以适用于网络设备,如图10所示,该医学图像区域过滤装置可以包括:获取模块101、分割模块102、保留模块103、位置关系获取模块104和过滤模块105,如下:
获取模块101,用于获取生物组织的目标部位医学图像;
分割模块102,用于从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
保留模块103,用于基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
位置关系获取模块104,用于获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
过滤模块105,用于基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
在一实施例中,分割模块102可以具体用于:
基于卷积子网络对所述目标部位医学图像进行卷积处理,得到图像的特征;
基于反卷积子网络对所述特征进行上采样,得到恢复尺寸后的特征图像;
对所述恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域。
在一实施例中,请参阅图11,保留模块103可以包括第一获取子模块1031、第二获取子模块1031和保留子模块1033,如下:
第一获取子模块1031,用于获取映射关系集合,所述映射关系集合包括目标部位医学图像的预设拍摄位置类型与组织类型的映射关系;
第二获取子模块1032,用于根据所述映射关系获取所述拍摄位置类型对应的组织类型;
保留子模块1033,用于从所述多个组织类型的部位组织区域选择需要保留的保留区域。
在一实施例中,请参阅图12,该医学图像区域过滤装置还可以包括第二分割模块106、分类模块107和筛选模块108,如下:
第二分割模块106,用于从所述目标部位医学图像中分割出多个候选识别区域;
分类模块107,用于基于区域分类网络模型对所述候选识别区域进行分类,得到所述候选识别区域对应的病变预测概率;
筛选模块108,用于根据所述病变预测概率从所述候选识别区域中筛选出预测病变区域,得到所述目标部位医学图像对应的预测病变区域。
在一实施例中,第二分割模块106可以具体用于:
从所述目标部位医学图像中提取出子部位图像;
从所述子部位图像中分割出多个候选识别区域。
在一实施例中,分类模块107可以具体用于:
基于卷积层对所述候选识别区域进行卷积处理,得到区域的特征;
基于全连接层对区域的特征进行分类,得到所述候选识别区域对应的病变预测概率。
由上可知,本申请实施例通过获取模块101获取生物组织的目标部位医学图像,通过分割模块102从目标部位医学图像中分割出多个组织类型的部位组织区域,通过保留模块103基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,通过位置关系获取模块104获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,通过过滤模块105基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案通过两个神经网络的并联,提取图像的多样性特征,减少了人工工作量,提高了自动化程度、精度、效率以及应用推广性;基于目标部位医学图像的拍摄位置类型从多个组织类型的部位组织区域保留需要保留的区域,并基于保留区域对目标部位医学图像对应的预测病变区域进行过滤,可以有效过滤掉干扰目标病变区域判定的淋巴结和乳头等,减少了对于目标病变区域的误判,从而提升区域过滤的准确性。
本申请实施例还提供一种网络设备,该网络设备可以为服务器或终端等设备,其集成了本申请实施例所提供的任一种医学图像区域过滤装置。如图13所示,图13是本申请实施例提供的网络设备的结构示意图,具体来讲:
该网络设备可以包括一个或者一个以上处理核心的处理器131、一个或一个以上计算机可读存储介质的存储器132、电源133和输入单元134等部件。本领域技术人员可以理解,图13中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器131是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器132内的软件程序和/或模块,以及调用存储在存储器132内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器131可包括一个或多个处理核心;优选的,处理器131可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器131中。
存储器132可用于存储软件程序以及模块,处理器131通过运行存储在存储器132的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器132可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器132可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器132还可以包括存储器控制器,以提供处理器131对存储器132的访问。
网络设备还包括给各个部件供电的电源133,优选的,电源133可以通过电源管理系统与处理器131逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源133还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元134,该输入单元134可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器131会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器132中,并由处理器131来运行存储在存储器132中的应用程序,从而实现各种功能,如下:
获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
处理器131还可以运行存储在存储器132中的应用程序,从而实现如下功能:
获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本申请实施例获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。该方案通过两个神经网络的并联,提取图像的多样性特征,减少了人工工作量,提高了自动化程度、精度、效率以及应用推广性;基于目标部位医学图像的拍摄位置类型从多个组织类型的部位组织区域保留需要保留的区域,并基于保留区域对目标部位医学图像对应的预测病变区域进行过滤,可以有效过滤掉干扰目标病变区域判定的淋巴结和乳头等,减少了对于目标病变区域的误判,从而提升区域过滤的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种医学图像区域过滤方法中的步骤。例如,该指令可以执行如下步骤:
获取生物组织的目标部位医学图像,从目标部位医学图像中分割出多个组织类型的部位组织区域,基于目标部位医学图像的拍摄位置类型,从多个组织类型的部位组织区域选择需要保留的保留区域,获取保留区域与目标部位医学图像中预测病变区域之间的位置关系,基于位置关系对目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种医学图像区域过滤方法中的步骤,因此,可以实现本申请实施例所提供的任一种医学图像区域过滤方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种医学图像区域过滤方法、装置以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种医学图像区域过滤方法,其特征在于,包括:
获取生物组织的目标部位医学图像;
从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
2.根据权利要求1所述的医学图像区域过滤方法,其特征在于,从所述目标部位医学图像中分割出多个组织类型的部位组织区域,包括:
基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域,其中,所述区域分割网络模型由多个样本部位图像训练而成。
3.根据权利要求2所述的医学图像区域过滤方法,其特征在于,所述区域分割网络模型包括卷积子网络和反卷积子网络;
基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域,包括:
基于卷积子网络对所述目标部位医学图像进行卷积处理,得到图像的特征;
基于反卷积子网络对所述特征进行上采样,得到恢复尺寸后的特征图像;
对所述恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域。
4.根据权利要求1所述的医学图像区域过滤方法,其特征在于,基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域,包括:
获取映射关系集合,所述映射关系集合包括目标部位医学图像的预设拍摄位置类型与组织类型的映射关系;
根据所述映射关系获取所述拍摄位置类型对应的组织类型;
从所述多个组织类型的部位组织区域选择需要保留的保留区域。
5.根据权利要求1所述的医学图像区域过滤方法,其特征在于,所述方法还包括:
从所述目标部位医学图像中分割出多个候选识别区域;
基于区域分类网络模型对所述候选识别区域进行分类,得到所述候选识别区域对应的病变预测概率;
根据所述病变预测概率从所述候选识别区域中筛选出预测病变区域,得到所述目标部位医学图像对应的预测病变区域。
6.根据权利要求5所述的医学图像区域过滤方法,其特征在于,从所述目标部位医学图像中分割出多个候选识别区域,包括:
从所述目标部位医学图像中提取出子部位图像;
从所述子部位图像中分割出多个候选识别区域。
7.根据权利要求5所述的医学图像区域过滤方法,其特征在于,所述区域分类网络模型包括:卷积层和全连接层;
基于区域分类网络模型对所述候选识别区域进行分类,得到所述候选识别区域对应的病变预测概率,包括:
基于卷积层对所述候选识别区域进行卷积处理,得到区域的特征;
基于全连接层对区域的特征进行分类,得到所述候选识别区域对应的病变预测概率。
8.根据权利要求1至7任一项所述的医学图像区域过滤方法,其特征在于,所述方法还包括:
获取正负样本区域,正样本区域包括预测病变区域;
将所述正负样本区域进行数据增强,得到增强后的正负样本区域;
根据所述增强后的正负样本区域,对区域分类网络模型中的模型权重进行更新,得到训练后的区域分类网络模型;
基于所述训练后的区域分类网络模型,更新所述区域分类网络模型。
9.一种医学图像区域过滤装置,其特征在于,包括:
获取模块,用于获取生物组织的目标部位医学图像;
分割模块,用于从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
保留模块,用于基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
位置关系获取模块,用于获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
过滤模块,用于基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
10.一种医学图像处理设备,所述医学图像区域过滤设备包括医学图像采集单元、处理器和存储器,其中:
所述医学图像采集单元用于采集生物组织的目标部位医学图像;
所述存储器用于存储医学图像数据以及多条指令;
所述处理器用于读取所述存储器存储的多条指令,以执行以下步骤:
获取生物组织的目标部位医学图像;
从所述目标部位医学图像中分割出多个组织类型的部位组织区域;
基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域;
获取所述保留区域与所述目标部位医学图像中预测病变区域之间的位置关系;
基于所述位置关系对所述目标部位医学图像中的预测病变区域进行过滤,得到目标病变区域。
11.如权利要求10所述的医学图像区域过滤设备,其特征在于,当执行步骤从所述目标部位医学图像中分割出多个组织类型的部位组织区域时,所述处理器具体执行以下步骤:
基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域,其中,所述区域分割网络模型由多个样本部位图像训练而成。
12.如权利要求11所述的医学图像区域过滤设备,其特征在于,所述区域分割网络模型包括卷积子网络和反卷积子网络,当执行步骤基于区域分割网络模型,从所述目标部位医学图像中分割出多个组织类型的部位组织区域时,所述处理器具体执行以下步骤:
基于卷积子网络对所述目标部位医学图像进行卷积处理,得到图像的特征;
基于反卷积子网络对所述特征进行上采样,得到恢复尺寸后的特征图像;
对所述恢复尺寸后的特征图像进行分类,得到多个组织类型的部位组织区域。
13.如权利要求10所述的医学图像区域过滤设备,其特征在于,当执行步骤基于所述目标部位医学图像的拍摄位置类型,从所述多个组织类型的部位组织区域选择需要保留的保留区域时,所述处理器具体执行以下步骤:
获取映射关系集合,所述映射关系集合包括目标部位医学图像的预设拍摄位置类型与组织类型的映射关系;
根据所述映射关系获取所述拍摄位置类型对应的组织类型;
从所述多个组织类型的部位组织区域选择需要保留的保留区域。
14.一种存储介质,其特征在于,所述存储介质存储有指令,所述指令被处理器执行时实现如权利要求1-8任一项所述医学图像区域过滤方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910115522.9A CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
CN201910735273.3A CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
EP20755919.6A EP3926581A4 (en) | 2019-02-14 | 2020-02-12 | MEDICAL IMAGE AREA FILTERING METHOD AND APPARATUS, AND STORAGE MEDIA |
PCT/CN2020/074782 WO2020164493A1 (zh) | 2019-02-14 | 2020-02-12 | 一种医学图像区域过滤方法、装置及存储介质 |
US17/367,316 US20210343021A1 (en) | 2019-02-14 | 2021-07-02 | Medical image region screening method and apparatus and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910115522.9A CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910735273.3A Division CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110009600A true CN110009600A (zh) | 2019-07-12 |
Family
ID=67165772
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910735273.3A Active CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
CN201910115522.9A Pending CN110009600A (zh) | 2019-02-14 | 2019-02-14 | 一种医学图像区域过滤方法、装置及存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910735273.3A Active CN110490850B (zh) | 2019-02-14 | 2019-02-14 | 一种肿块区域检测方法、装置和医学图像处理设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210343021A1 (zh) |
EP (1) | EP3926581A4 (zh) |
CN (2) | CN110490850B (zh) |
WO (1) | WO2020164493A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414539A (zh) * | 2019-08-05 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 一种提取特征描述信息的方法和相关装置 |
CN110533672A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种基于条带识别的染色体排序方法 |
CN110689525A (zh) * | 2019-09-09 | 2020-01-14 | 上海中医药大学附属龙华医院 | 基于神经网络识别淋巴结的方法及装置 |
CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技(深圳)有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
CN111863232A (zh) * | 2020-08-06 | 2020-10-30 | 罗春华 | 基于区块链和医学影像的远程疾病智能诊断系统 |
CN113205477A (zh) * | 2020-01-30 | 2021-08-03 | 株式会社日立制作所 | 医用图像处理装置以及医用图像处理方法 |
CN113744801B (zh) * | 2021-09-09 | 2023-05-26 | 首都医科大学附属北京天坛医院 | 肿瘤类别的确定方法、装置、系统、电子设备及存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462067B (zh) * | 2020-03-30 | 2021-06-29 | 推想医疗科技股份有限公司 | 图像分割方法及装置 |
CN111986217B (zh) * | 2020-09-03 | 2024-01-16 | 北京大学口腔医学院 | 一种图像处理方法、装置及设备 |
CN112241954B (zh) * | 2020-10-22 | 2024-03-15 | 上海海事大学 | 基于肿块差异化分类的全视野自适应分割网络配置方法 |
CN112712508A (zh) * | 2020-12-31 | 2021-04-27 | 杭州依图医疗技术有限公司 | 一种确定气胸的方法及装置 |
US20230196081A1 (en) * | 2021-12-21 | 2023-06-22 | International Business Machines Corporation | Federated learning for training machine learning models |
CN114429459A (zh) * | 2022-01-24 | 2022-05-03 | 上海商汤智能科技有限公司 | 目标检测模型的训练方法及对应的检测方法 |
CN114511887B (zh) * | 2022-03-31 | 2022-07-05 | 北京字节跳动网络技术有限公司 | 组织图像的识别方法、装置、可读介质和电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104840209A (zh) * | 2014-02-19 | 2015-08-19 | 三星电子株式会社 | 用于病变检测的设备和方法 |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7736313B2 (en) * | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
CN101401730A (zh) * | 2008-11-14 | 2009-04-08 | 南京大学 | 一种基于分层结构的乳腺肿块可疑区域快速检测方法 |
US20100158332A1 (en) * | 2008-12-22 | 2010-06-24 | Dan Rico | Method and system of automated detection of lesions in medical images |
US8064677B2 (en) * | 2009-11-25 | 2011-11-22 | Fujifilm Corporation | Systems and methods for measurement of objects of interest in medical images |
KR20130012297A (ko) * | 2011-07-25 | 2013-02-04 | 삼성전자주식회사 | 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치 |
US9430829B2 (en) * | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
CN104732213B (zh) * | 2015-03-23 | 2018-04-20 | 中山大学 | 一种基于乳腺磁共振图像的计算机辅助肿块检测方法 |
US10510144B2 (en) * | 2015-09-10 | 2019-12-17 | Magentiq Eye Ltd. | System and method for detection of suspicious tissue regions in an endoscopic procedure |
CN106339591B (zh) * | 2016-08-25 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
GB201705911D0 (en) * | 2017-04-12 | 2017-05-24 | Kheiron Medical Tech Ltd | Abstracts |
JP6955303B2 (ja) * | 2017-04-12 | 2021-10-27 | 富士フイルム株式会社 | 医用画像処理装置および方法並びにプログラム |
EP3432263B1 (en) * | 2017-07-17 | 2020-09-16 | Siemens Healthcare GmbH | Semantic segmentation for cancer detection in digital breast tomosynthesis |
CN107424152B (zh) * | 2017-08-11 | 2020-12-18 | 联想(北京)有限公司 | 器官病变的检测装置、训练神经元网络的方法和电子设备 |
CN107749061A (zh) * | 2017-09-11 | 2018-03-02 | 天津大学 | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 |
US11126914B2 (en) * | 2017-10-11 | 2021-09-21 | General Electric Company | Image generation using machine learning |
CN107977956B (zh) * | 2017-11-17 | 2021-10-29 | 深圳蓝韵医学影像有限公司 | 检测x线图像组织区域的方法、装置及计算机存储介质 |
CN107886514B (zh) * | 2017-11-22 | 2021-04-23 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
CN108052977B (zh) * | 2017-12-15 | 2021-09-14 | 福建师范大学 | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 |
CN108464840B (zh) * | 2017-12-26 | 2021-10-19 | 安徽科大讯飞医疗信息技术有限公司 | 一种乳腺肿块自动检测方法及系统 |
CN108109144A (zh) * | 2017-12-29 | 2018-06-01 | 广州柏视医疗科技有限公司 | 一种钼靶图像中乳头位置自动检测方法 |
CN108109152A (zh) * | 2018-01-03 | 2018-06-01 | 深圳北航新兴产业技术研究院 | 医学图像分类和分割方法和装置 |
CN108510482B (zh) * | 2018-03-22 | 2020-12-04 | 姚书忠 | 一种基于阴道镜图像的宫颈癌检测装置 |
CN108550150B (zh) * | 2018-04-17 | 2020-11-13 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
CN108615237B (zh) * | 2018-05-08 | 2021-09-07 | 上海商汤智能科技有限公司 | 一种肺部图像处理方法及图像处理设备 |
CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
CN108765409A (zh) * | 2018-06-01 | 2018-11-06 | 电子科技大学 | 一种基于ct图像的候选结节的筛选方法 |
CN109190540B (zh) * | 2018-06-06 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 活检区域预测方法、图像识别方法、装置和存储介质 |
CN109146899A (zh) * | 2018-08-28 | 2019-01-04 | 众安信息技术服务有限公司 | Ct图像的危及器官分割方法及装置 |
CN110490850B (zh) * | 2019-02-14 | 2021-01-08 | 腾讯科技(深圳)有限公司 | 一种肿块区域检测方法、装置和医学图像处理设备 |
-
2019
- 2019-02-14 CN CN201910735273.3A patent/CN110490850B/zh active Active
- 2019-02-14 CN CN201910115522.9A patent/CN110009600A/zh active Pending
-
2020
- 2020-02-12 EP EP20755919.6A patent/EP3926581A4/en active Pending
- 2020-02-12 WO PCT/CN2020/074782 patent/WO2020164493A1/zh unknown
-
2021
- 2021-07-02 US US17/367,316 patent/US20210343021A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104840209A (zh) * | 2014-02-19 | 2015-08-19 | 三星电子株式会社 | 用于病变检测的设备和方法 |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
Non-Patent Citations (2)
Title |
---|
朱庆棠 等: "《周围神经缺损修复材料的生物制造与临床评估》", 30 September 2018, 中山大学出版社 * |
赵育良: "《航空摄影原理》", 31 December 2017, 国防工业出版社 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020164493A1 (zh) * | 2019-02-14 | 2020-08-20 | 腾讯科技(深圳)有限公司 | 一种医学图像区域过滤方法、装置及存储介质 |
CN110414539A (zh) * | 2019-08-05 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 一种提取特征描述信息的方法和相关装置 |
CN110533672A (zh) * | 2019-08-22 | 2019-12-03 | 杭州德适生物科技有限公司 | 一种基于条带识别的染色体排序方法 |
CN110689525A (zh) * | 2019-09-09 | 2020-01-14 | 上海中医药大学附属龙华医院 | 基于神经网络识别淋巴结的方法及装置 |
CN110689525B (zh) * | 2019-09-09 | 2023-10-13 | 上海中医药大学附属龙华医院 | 基于神经网络识别淋巴结的方法及装置 |
CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
CN113205477A (zh) * | 2020-01-30 | 2021-08-03 | 株式会社日立制作所 | 医用图像处理装置以及医用图像处理方法 |
CN113205477B (zh) * | 2020-01-30 | 2023-12-08 | 富士胶片医疗健康株式会社 | 医用图像处理装置以及医用图像处理方法 |
CN111863232A (zh) * | 2020-08-06 | 2020-10-30 | 罗春华 | 基于区块链和医学影像的远程疾病智能诊断系统 |
CN111863232B (zh) * | 2020-08-06 | 2021-02-19 | 深圳市柯尼达巨茂医疗设备有限公司 | 基于区块链和医学影像的远程疾病智能诊断系统 |
CN113744801B (zh) * | 2021-09-09 | 2023-05-26 | 首都医科大学附属北京天坛医院 | 肿瘤类别的确定方法、装置、系统、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210343021A1 (en) | 2021-11-04 |
CN110490850B (zh) | 2021-01-08 |
CN110490850A (zh) | 2019-11-22 |
EP3926581A4 (en) | 2022-04-27 |
WO2020164493A1 (zh) | 2020-08-20 |
EP3926581A1 (en) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009600A (zh) | 一种医学图像区域过滤方法、装置及存储介质 | |
Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
Hamidinekoo et al. | Deep learning in mammography and breast histology, an overview and future trends | |
CN109102502B (zh) | 基于三维卷积神经网络的肺结节检测方法 | |
Kallenberg et al. | Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring | |
CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
Reshma et al. | Detection of breast cancer using histopathological image classification dataset with deep learning techniques | |
Hossain | Microc alcification segmentation using modified u-net segmentation network from mammogram images | |
Mesejo et al. | Automatic hippocampus localization in histological images using differential evolution-based deformable models | |
Thilagaraj et al. | Classification of breast cancer images by implementing improved dcnn with artificial fish school model | |
Singh et al. | A study on convolution neural network for breast cancer detection | |
Mathew et al. | Deep learning‐based automated mitosis detection in histopathology images for breast cancer grading | |
Huang et al. | Breast cancer diagnosis based on hybrid SqueezeNet and improved chef-based optimizer | |
Aguirre Nilsson et al. | Classification of ulcer images using convolutional neural networks | |
Torres et al. | Lesion detection in breast ultrasound images using a machine learning approach and genetic optimization | |
Sebastian et al. | Lung Nodule Detection via Optimized Convolutional Neural Network: Impact of Improved Moth Flame Algorithm | |
Valliappan et al. | A theoretical methodology and prototype implementation for detection segmentation classification of digital mammogram tumor by machine learning and problem solving approach | |
Merone et al. | On using active contour to segment HEp-2 cells | |
Prakash et al. | An early breast cancer detection system using recurrent neural network (rnn) with animal migration optimization (AMO) based classification method | |
Karnan et al. | Ant colony optimization for feature selection and classification of microcalcifications in digital mammograms | |
Hernandez-Cisneros et al. | Evolutionary neural networks applied to the classification of microcalcification clusters in digital mammograms | |
Ghildiyal et al. | Layer-based deep net models for automated classification of pulmonary tuberculosis from chest radiographs | |
CN114037702B (zh) | 一种切片级宫颈癌筛查与分类的方法及装置 | |
Fang et al. | Tumor cell identification using features rules | |
Kumar et al. | ENHANCED APPROACH FOR BRAIN TUMOR DETECTION. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40009259 Country of ref document: HK |