CN111179231B - 图像处理方法、装置、设备和存储介质 - Google Patents
图像处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111179231B CN111179231B CN201911324287.2A CN201911324287A CN111179231B CN 111179231 B CN111179231 B CN 111179231B CN 201911324287 A CN201911324287 A CN 201911324287A CN 111179231 B CN111179231 B CN 111179231B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- processing
- medical images
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 148
- 238000012545 processing Methods 0.000 claims abstract description 124
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims description 66
- 238000004590 computer program Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000010076 replication Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 description 22
- 238000013528 artificial neural network Methods 0.000 description 10
- 208000029812 Cerebral Small Vessel disease Diseases 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 6
- 206010008118 cerebral infarction Diseases 0.000 description 6
- 208000026106 cerebrovascular disease Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002490 cerebral effect Effects 0.000 description 3
- 210000002565 arteriole Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000019553 vascular disease Diseases 0.000 description 2
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical compound COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 1
- 208000017194 Affective disease Diseases 0.000 description 1
- 208000018152 Cerebral disease Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010067277 Cerebral microhaemorrhage Diseases 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 208000034800 Leukoencephalopathies Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 241000545067 Venus Species 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。采用本方法能够提高检测效率和检测准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、设备和存储介质。
背景技术
脑小血管疾病(cerebral small vessel disease，CSVD)主要是脑内小血管病变导致的疾病，其是临床诊断中常见且严重的一种疾病，该病的病灶一般很难被发现，因此患者一旦发病就可能会造成严重的后果，所以对脑小血管疾病的检测就显得尤为重要。
相关技术中在对脑小血管疾病进行检测时，大多是医生通过反复观察患者拍摄的各个模态的医学图像，凭借经验确定出病灶区域，然后依据得到的病灶区域对患者进行预防或治疗。
然而上述技术存在检测效率慢，且误检率高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测效率和检测准确性的图像处理方法、装置、设备和存储介质。
一种图像处理方法，该方法包括：
获取待检测对象的至少两个不同模态下的医学图像；至少两个不同模态下的医学图像均包括感兴趣区域；
将至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将多模态医学图像分别输入至至少两个神经网络模型中，并对各神经网络模型的输出结果进行处理，确定多模态医学图像对应的目标分割图像；目标分割图像包括感兴趣区域。
一种图像处理装置，该装置包括：
获取模块，用于获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
处理模块，用于将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
确定模块，用于将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
上述图像处理方法、装置、计算机设备和存储介质，通过获取均包括感兴趣区域的至少两个不同模态的医学图像，将这至少两个不同模态的医学图像拼接处理成多模态医学图像，将该多模态医学图像分别输入至至少两个神经网络模型中，并对各神经网络模型的输出结果进行处理，得到多模态医学图像对应的目标分割图像，该目标分割图像包括感兴趣区域。在该方法中，由于在对患者进行检测时，是通过不同模态图像得到多模态图像，并将多模态图像输入至神经网络模型进行检测的，而不是人工对医学图像进行检测，因此检测的效率相比人工检测更快，同时检测的准确性也更高；另外，由于得到的目标分割图像是通过将至少两个神经网络模型的输出结果进行处理得到的，因此，相比使用一个神经网络模型得到目标分割图像，该方法最终得到的目标分割图像更加准确，那么在对患者进行检测时，得到的检测结果的准确性也就更高。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中图像处理方法的流程示意图；
图3为另一个实施例中图像处理方法的流程示意图；
图4a为另一个实施例中图像处理方法的流程示意图；
图4b为另一个实施例中神经网络模型的处理过程示意图；
图5为另一个实施例中图像处理方法的流程示意图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
脑小血管疾病(cerebral small vessel disease，CSVD)主要是脑内小血管病变导致的疾病，是临床诊断中常见且严重的一种疾病，临床表现以脑卒(即脑出血，小动脉闭塞性脑梗死)、情感障碍、认知功能下降等症状为主，影像学主要表现为小动脉闭塞性脑梗死、脑白质病变及脑微出血。在实际临床检测过程中发现，很多脑类疾病都是由脑小血管疾病所致，而脑小血管疾病的小动脉闭塞性脑梗死是一种很小的梗死灶，直径一般不超过15毫米，在检测过程中很容易被漏检，而这样会对患者造成很不好的影响，因此需要对其进行精准的检测，目前在精准检测CSVD时，大多是医生通过反复观察患者拍摄的各个模态的医学图像，以此达到精准检测，然后凭借经验确定出病灶区域，最后依据得到的病灶区域对患者进行预防或治疗，但是上述技术存在检测效率慢，且误检率高的问题。本申请实施例提供一种图像处理方法、装置、计算机设备和存储介质，旨在解决上述一些问题。
本申请实施例提供的图像处理方法，可以应用在计算机设备上，该计算机设备可以是医疗影像设备里面的一部分，也可以是与医疗影像设备配套的外部计算机设备，该计算机设备可以是终端，例如笔记本电脑、台式电脑、工业电脑等，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，本申请实施例的执行主体可以是图像处理装置，也可以是计算机设备，下述实施例以计算机设备为执行主体进行说明。
在一个实施例中，提供了一种图像处理方法，本实施例涉及的是如何通过各模态图像得到多模态图像，并通过将多模态图像输入至神经网络模型得到目标分割图像的具体过程。如图2所示，该方法可以包括以下步骤：
S202，获取待检测对象的至少两个不同模态下的医学图像；至少两个不同模态下的医学图像均包括感兴趣区域。
其中，这里的模态可以是CT、PET、MR、X光等模态，也可以是平扫期pre/native图像、动脉期arterial图像、静脉期venous图像、延迟期delay图像、肝胆特异期hbp序列图像、pre T1 mapping图像、hbp T1 mapping图像、T2横向驰豫加权图像、DWI弥散加权图像等模态；获取的不同模态的医学图像可以是两个不同模态的医学图像、三个不同模态的医学图像、四个不同模态的医学图像等等，医学图像可以是一维图像、二维图像、三维图像等；感兴趣区域可以是病灶区域，每个模态的医学图像包括的感兴趣区域一般是相同的，感兴趣区域的数量可以是一个或多个。
具体的，计算机设备可以采用不同模态的扫描设备对待检测对象的同一部位进行扫描，并对扫描的数据进行重建，得到待检测对象的同一部位的不同模态的医学图像；当然也可以是预先在数据库中存储待检测对象的同一部位的不同模态的医学图像，在使用时，直接从数据库中读取该待检测对象的同一部位的不同模态的医学图像；当然还可以是通过其他方式来得到待检测对象的不同模态的医学图像，本实施例对此不作具体限定。
S204，将至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像。
其中，这里的拼接处理也可以认为是合并处理，示例地，假设有两个不同模态的医学图像，分别称为第一图像和第二图像，各模态图像均为三维图像(每个三维图像包括多个二维切片)，假设每个模态的医学图像都包括10个二维切片，从1-10，那么合并处理就是将第一图像的1-10个切片依次和第二图像的1-10个切片中对应位置的切片进行合并，得到10组切片(每组切片有两个切片)，并将这10组切片作为多模态医学图像。
具体的，计算机设备可以将各模态的医学图像按照其对应位置依次进行拼接，得到拼接后的图像，记为多模态医学图像。
S206，将多模态医学图像分别输入至至少两个神经网络模型中，并对各神经网络模型的输出结果进行处理，确定多模态医学图像对应的目标分割图像；目标分割图像包括感兴趣区域。
在本步骤中，可以包括两个神经网络模型，也可以包括三个神经网络模型，当然还可以包括更多个神经网络模型，每个神经网络模型的结构可以相同，但是每个神经网络模型的参数可以是不同的，即每个神经网络模型从本质上来说可以是不同的。这里的神经网络模型可以是机器学习网络模型，当然也可以是其他网络模型，其中，机器学习网络可以是DNN(Deep Neural Networks，深度神经网络)、CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等。另外，每个神经网络模型的输出都可以是对多模态医学图像进行分割的结果，在对各个神经网络模型输出的结果进行处理时，可以是对各输出结果进行均值处理，当然也可以是进行期望值处理等，当然还可以是进行平均值处理等。
其次，目标分割图像中包括的感兴趣区域可以与上述各模态医学图像包括的感兴趣区域相同，数量也可以是相同的，例如上述各模态医学图像均是针对人体脑部的图像，脑部病灶即为感兴趣区域，那么最终得到的目标分割图像也应该是脑部病灶的分割图像。
具体的，计算机设备在得到多模态医学图像之后，可以将该多模态医学图像分别输入到至少两个神经网络模型中，每个神经网络模型都会输出该多模态医学图像对应的分割结果，之后可以对每个神经网络模型输出的分割结果进行处理，得到多模态医学图像最终的分割结果，记为目标分割图像。
上述图像处理方法中，通过获取均包括感兴趣区域的至少两个不同模态的医学图像，将这至少两个不同模态的医学图像拼接处理成多模态医学图像，将该多模态医学图像分别输入至至少两个神经网络模型中，并对各神经网络模型的输出结果进行处理，得到多模态医学图像对应的目标分割图像，该目标分割图像包括感兴趣区域。在该方法中，由于在对患者进行检测时，是通过不同模态图像得到多模态图像，并将多模态图像输入至神经网络模型进行检测的，而不是人工对医学图像进行检测，因此检测的效率相比人工检测更快，同时检测的准确性也更高；另外，由于得到的目标分割图像是通过将至少两个神经网络模型的输出结果进行处理得到的，因此，相比使用一个神经网络模型得到目标分割图像，该方法最终得到的目标分割图像更加准确，那么在对患者进行检测时，得到的检测结果的准确性也就更高。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是上述至少两个神经网络模型包括两个神经网络模型，即第一神经网络模型和第二神经网络模型时，如何对这两个神经网络模型输出的结果进行处理，得到多模态医学图像对应的目标分割图像的具体过程。在上述实施例的基础上，如图3所示，上述S206可以包括以下步骤：
S302，将多模态医学图像分别输入至第一神经网络模型和第二神经网络模型中，得到第一分割图像和第二分割图像；第一分割图像和第二分割图像均包括感兴趣区域。
S304，将第一分割图像和第二分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。
其中，均值处理可以是加权均值处理、非加权均值处理或平均值处理等，例如两个神经网络模型的输出分别为A和B，对应的加权系数分别为2和3，那么加权均值处理可以是(2A+3B)/2，非加权均值处理或平均值处理可以是(A+B)/2。均值处理可以是对第一分割图像和第二分割图像上对应位置的像素分别取均值，也可以是对第一分割图像和第二分割图像上对应位置的体素分别取均值等。
另外，第一神经网络模型和第二神经网络模型可以是网络结构相同，网络参数不同的两个模型，均可以是机器学习网络模型，当然也可以是其他网络模型，其中，机器学习网络可以是DNN(Deep Neural Networks，深度神经网络)、CNN(Convolutional NeuralNetworks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等。
其次，这里的第一分割图像和第二分割图像中包括的感兴趣区域是相同的，也是与上述各模态医学图像包括的感兴趣区域相同，数量也可以是相同的，例如上述各模态医学图像均是针对人体脑部的图像，脑部病灶即为感兴趣区域，那么最终得到的第一分割图像和第二分割图像也应该是脑部病灶的分割图像。
具体的，若上述至少两个神经网络模型包括第一神经网络模型和第二神经网络模型两个模型，那么计算机设备可以将得到的多模态医学图像分别输入至第一神经网络模型和第二神经网络模型，得到两个模型输出的第一分割图像和第二分割图像，对第一分割图像和第二分割图像进行均值处理，并将取均值结果的图像作为得到多模态医学图像对应的目标分割图像。
本实施例提供的图像处理方法，若上述至少两个神经网络模型包括第一神经网络模型和第二神经网络模型两个模型，则可以将多模态医学图像分别输入这两个模型中，并对这两个模型得到的分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。在本实施例中，由于可以对两个神经网络模型输出的分割图像进行均值处理，因此，该方法可以使最终得到的目标分割图像更加准确，那么在后续对患者进行检测时，得到的检测结果的准确性也就更高。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是若至少两个神经网络模型均包括下采样双卷积层和上采样卷积层，那么如何将多模态医学图像输入至至少两个神经网络模型中，得到对应的目标分割图像的具体过程。在上述实施例的基础上，如图4a所示，上述S206可以包括以下步骤：
S402，将多模态医学图像分别输入至双卷积层中进行特征提取处理以及融合处理，确定多模态医学图像的融合特征；将多模态医学图像融合特征分别输入至上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各神经网络模型的输出结果。
S404，对各神经网络模型的输出结果进行处理，确定多模态医学图像对应的目标分割图像。
其中，这里的双卷积层可以是多个双卷积层，每个双卷积层指的是两个卷积层串联，可以对双卷积层的输入作两次卷积，得到通道数不变的输出结果；另外，这里的双卷积层是在下采样过程中使用的，上采样过程中可以使用单层卷积层进行上采样。以输入一个双卷积层的图像尺寸为256*256*3为例，该图像在经过双卷积层的第一层卷积层之后，得到的特征图为128*128*64，通道数从3变为64，该128*128*64的特征图在经过双卷积层的第二层卷积层之后，得到的特征图仍为128*128*64，通道数不变，仍为64，不过这里第一层卷积层得到的特征图128*128*64和第二层卷积层得到的特征图128*128*64，虽然两者通道数相等，但是特征图上的特征不一样。
具体的，计算机设备在得到拼接后的多模态医学图像之后，可以将该多模态医学图像分别输入至各神经网络模型中，每个神经网络模型的输入相同，输出结果大致相同，这里以一个神经网络模型来说，参见图4b所示，以3个不同的单模态医学图像为例，得到的多模态医学图像为n*w*h*3，n为单次批次样本量，即每个单模态图像的切片数量，大小可以根据实际情况而定，若w和h为256，则多模态医学图像为n*256*256*3，将n*256*256*3输入至神经网络模型的第一层双卷积层中，对多模态医学图像数据进行融合处理，并对融合后的多模态数据进行特征提取，得到提取特征大小为256*256*64，之后可以将该提取特征再输入到第二层、第三层、第四层、第五层双卷积层中进行特征融合和提取，经过每层双卷积层，尺寸都会降低一半，最终得到的特征大小为16*16*512，这里每个双卷积层的卷积核尺寸为k，k的大小可以根据实际情况而定，可以是1、2、3等等，融合维度可以是64，得到融合后的特征图为n*w*h*64；然后可以将融合后的特征图n*w*h*64输入上采样卷积层(图4b中未示出)，进行与上述双卷积层特征提取相反的逆操作，中间可以将双卷积层输出的特征中和上采样卷积层输出的特征中的同尺寸特征进行跳层连接，从而可以恢复卷积操作丢失的特征细节信息，最后将上采样卷积层的输出特征经过一个全卷积层1*1*2(图4b中未示出)，得到神经网络最终的输出结果，作为目标分割图像。其中，这里的上采样卷积层的层数可以和双卷积层的层数相同。
本实施例提供的图像处理方法，可以将多模态医学图像输入神经网络模型的双卷积层中进行处理，并对各模型的输出结果进行处理，得到多模态医学图像对应的目标分割图像。在本实施例中，由于可以对多模态医学图像进行双卷积处理，这样可以防止在卷积过程中的图像细节信息的丢失，从而可以使最终得到的目标分割图像更加准确。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是第一神经网络模型和第二神经网络模型的具体训练过程。在上述实施例的基础上，如图5所示，包括以下步骤：
S502，获取样本图像集；样本图像集已标注感兴趣区域。
在本步骤中，得到的样本图像集可以作为两个神经网络模型的训练样本图像集，即第一神经网络模型和第二神经网络模型的训练样本可以是相同的，训练过程也是相同的，这里在得到样本图像集时可以采用以下步骤A和步骤B：
步骤A，获取训练样本集，并将训练样本集中的各个训练样本均进行预处理，得到预处理后的训练样本集。
步骤B，对预处理后的训练样本集分别进行扩增处理和复制处理，得到样本图像集。
在本实施例中，训练样本图像集中一般包括多个训练样本图像，每个训练样本图像都是多模态训练样本图像，得到多模态训练样本图像的过程可以和上述步骤S204相同，由多个不同单模态训练样本图像拼接得到多模态训练样本图像。每个训练样本图像均标注感兴趣区域，即每个训练样本图像均包括已标注感兴趣区域，其为各训练样本图像的金标准，示例地，假设各单模态训练样本图像包括DWI模态、T2加权模态、T1等，一般可以在DWI模态图像上标注感兴趣区域，作为包括DWI的多模态训练样本图像的金标准。
在得到各训练样本图像之后，可以对各训练样本图像进行预处理，例如头部矫正、头骨分割、多模态图像配准、标准化、平滑、重采样等，这里的标准化处理可以采用如下公式(1)进行标准化，如下：
公式(1)中，Xi为每一点的标准化值，n为像素点数量，xi为各个像素点值，i为像素点的索引。
在预处理之后，可以对各多模态训练样本图像进行扩增处理，例如可以将各多模态训练样本图像分别进行图像翻转、图像旋转(-15°，15°)，错切变换(0.05)、水平移动(0，0.2)，同时也可以对各多模态训练样本图像直接进行复制，最后将扩增后的样本图像和复制后的样本图像以及原始样本图像作为训练样本集。
S504，基于样本图像集对初始第一神经网络模型进行训练，得到第一神经网络模型；以及，基于样本图像集对初始第二神经网络模型进行训练，得到第二神经网络模型。
具体的，计算机设备在得到预处理后的训练样本图像之后，可以将各样本图像输入至初始第一神经网络模型，得到各样本图像的预测的感兴趣区域，并根据上述已标注感兴趣区域和预测的感兴趣区域，计算已标注感兴趣区域和预测的感兴趣区域之间的损失，将该损失作为损失函数的值，并利用该损失函数的值对初始第一神经网络模型进行训练，最终得到训练好的第一神经网络模型。
同样的，可以将上述各样本图像输入至初始第二神经网络模型，得到各样本图像的预测的感兴趣区域，并采用与上述初始第一神经网络模型相同的训练方法对初始第二神经网络模型进行训练，最终得到训练好的第二神经网络模型。
在这里，两个神经网络模型的损失均可以是预测的感兴趣区域和已标注感兴趣区域之间的误差、方差、范数等；在训练神经网络模型时，当神经网络模型的损失函数的值小于预设的阈值时，或者当损失函数的和值基本稳定时(即不再发生变化时)，则可以确定神经网络模型已经训练好，否则还要继续训练，当训练好时可以固定神经网络模型的参数，便于下一步使用。
本实施例提供的图像处理方法，可以利用已标注感兴趣区域的样本图像集对初始第一神经网络模型和初始第二神经网络模型进行训练，最终得到训练好的第一神经网络模型和第二神经网络模型。在本实施例中，由于各个神经网络均是利用已标注感兴趣区域的样本医学图像进行训练得到的，因此得到的各个神经网络模型是比较准确的，进而在利用该准确的网络对多模态图像进行处理时，得到的处理结果也是比较准确的。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是在对多个不同模态的医学图像进行拼接处理之前，还可以对多个不同模态的医学图像进行预处理的具体过程。在上述实施例的基础上，如图6所示，上述方法在S204之前，还可以包括以下步骤：
S602，对至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像；各模态下的重采样图像的尺寸相同。
具体的，在对各不同模态的医学图像进行重采样之前，以各不同模态的医学图像为头部图像为例，还可以对各不同模态的医学图像进行头部矫正，即将每个模态的医学图像进行帧与帧之间的对齐操作，同时丢弃超出预期范围的帧数据，接着可以对头部矫正后的医学图像进行头部结构分割，即将各头部矫正后的医学图像分割为灰质、白质、脑脊液等，之后还可以把经过头部矫正和分割后的图像进行配准操作，即将同一对象同一模态的医学图像对齐，同一对象不同模态的医学图像对齐，将不同模态的医学图像变换到同一空间坐标下，然后可以对变换坐标变换后的各图像进行标准化处理，这里的标准化处理可以继续采用上述公式(1)进行，标准化处理之后还可以对各图像进行空间平滑，提高数据的信噪比和消除不同对象组织结构不同带来的误差。
标准化处理之后，可以继续对图像进行重采样，这里可以是将各不同模态的医学图像中尺寸大的图像转换成和尺寸小的图像相同的尺寸，或者将各不同模态的医学图像的尺寸转换到统一的相同尺寸上，得到各模态下的重采样图像。
在本步骤中，可选的，若至少两个不同模态包括第一模态，则可以对第一模态下的重采样图像进行形态学运算处理，得到第一模态下的形态学处理图像。这里的第一模态可以是DWI模态，形态学运算处理可以是腐蚀算法处理，腐蚀算法处理即将重采样后的DWI图像消除边界点，使边界向内部收缩，可以用来消除背景中特别小且无意义的信息，这里因为DWI模态的图像相较于其他模态的图像来说，感兴趣区域相对于背景区域区分比较明显，因此可以对DWI图像进行腐蚀算法处理，对于其他模态的图像可以不采用腐蚀算法处理。
S604，对各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。
具体的，计算机设备可以采用高斯分布相关模型对重采样后的各模态图像进行归一化处理，在处理时，可以设置高斯分布的均值为0，标准差为1，以减少背景数据的伪影，突出图像的轮廓区域。当然还可以采用其他归一化处理方法，例如：最大最小值归一化方法等，其中归一化的范围可以包括：[-1,1]，[0,1]，[均值＝0,标准差＝1]等等。
本实施例提供的图像处理方法，可以对至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像，并对各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。在本实施例中，由于可以对各模态医学图像进行预处理，这样可以使得最终得到的目标分割图像更加准确。
应该理解的是，虽然图2、3、4a、5、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、4a、5、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像处理装置，包括：获取模块10、处理模块11和确定模块12，其中：
获取模块10，用于获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
处理模块11，用于将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
确定模块12，用于将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在另一个实施例中，上述至少两个神经网络模型包括第一神经网络模型和第二神经网络模型，上述确定模块12可以包括分割单元和均值处理单元，其中：
分割单元，用于将所述多模态医学图像分别输入至所述第一神经网络模型和所述第二神经网络模型中，得到第一分割图像和第二分割图像；所述第一分割图像和所述第二分割图像均包括感兴趣区域；
均值处理单元，用于将所述第一分割图像和所述第二分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。
在另一个实施例中，上述确定模块12可以包括处理单元和确定单元，其中：
处理单元，用于将所述多模态医学图像分别输入至所述双卷积层中进行特征提取处理以及融合处理，确定所述多模态医学图像的融合特征；将所述多模态医学图像融合特征分别输入至所述上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各所述神经网络模型的输出结果；
确定单元，用于对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像。
在另一个实施例中，提供了另一种图像处理装置，该装置还可以包括训练模块，该训练模块可以包括获取单元和训练单元，其中：
获取单元，用于获取样本图像集；所述样本图像集已标注感兴趣区域；
训练单元，用于基于所述样本图像集对初始第一神经网络模型进行训练，得到所述第一神经网络模型；以及，基于所述样本图像集对初始第二神经网络模型进行训练，得到所述第二神经网络模型。
可选的，上述获取单元，还用于获取训练样本集，并将所述训练样本集中的各个训练样本均进行预处理，得到预处理后的训练样本集；对所述预处理后的训练样本集分别进行扩增处理和复制处理，得到所述样本图像集。
在另一个实施例中，提供了另一种图像处理装置，该装置还可以包括预处理模块，该预处理模块可以包括重采样单元和归一化单元，其中：
重采样单元，用于对所述至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像；所述各模态下的重采样图像的尺寸相同；
归一化单元，用于对所述各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。
可选的，上述预处理模块还可以包括运算处理单元，该运算处理单元，还用于对第一模态下的重采样图像进行形态学运算处理，得到第一模态下的形态学处理图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述多模态医学图像分别输入至所述第一神经网络模型和所述第二神经网络模型中，得到第一分割图像和第二分割图像；所述第一分割图像和所述第二分割图像均包括感兴趣区域；
将所述第一分割图像和所述第二分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述多模态医学图像分别输入至所述双卷积层中进行特征提取处理以及融合处理，确定所述多模态医学图像的融合特征；
将所述多模态医学图像融合特征分别输入至所述上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各所述神经网络模型的输出结果；
对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取样本图像集；所述样本图像集已标注感兴趣区域；
基于所述样本图像集对初始第一神经网络模型进行训练，得到所述第一神经网络模型；以及，基于所述样本图像集对初始第二神经网络模型进行训练，得到所述第二神经网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取训练样本集，并将所述训练样本集中的各个训练样本均进行预处理，得到预处理后的训练样本集；
对所述预处理后的训练样本集分别进行扩增处理和复制处理，得到所述样本图像集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像；所述各模态下的重采样图像的尺寸相同；
对所述各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对第一模态下的重采样图像进行形态学运算处理，得到第一模态下的形态学处理图像。
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述多模态医学图像分别输入至所述第一神经网络模型和所述第二神经网络模型中，得到第一分割图像和第二分割图像；所述第一分割图像和所述第二分割图像均包括感兴趣区域；
将所述第一分割图像和所述第二分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述多模态医学图像分别输入至所述双卷积层中进行特征提取处理以及融合处理，确定所述多模态医学图像的融合特征；
将所述多模态医学图像融合特征分别输入至所述上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各所述神经网络模型的输出结果；
对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取样本图像集；所述样本图像集已标注感兴趣区域；
基于所述样本图像集对初始第一神经网络模型进行训练，得到所述第一神经网络模型；以及，基于所述样本图像集对初始第二神经网络模型进行训练，得到所述第二神经网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取训练样本集，并将所述训练样本集中的各个训练样本均进行预处理，得到预处理后的训练样本集；
对所述预处理后的训练样本集分别进行扩增处理和复制处理，得到所述样本图像集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像；所述各模态下的重采样图像的尺寸相同；
对所述各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第一模态下的重采样图像进行形态学运算处理，得到第一模态下的形态学处理图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域，所述处理包括均值处理、期望值处理和平均值处理中的至少一个；
所述至少两个神经网络模型均包括下采样双卷积层和上采样卷积层，所述将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像，包括：
将所述多模态医学图像分别输入至所述双卷积层中进行特征提取处理以及融合处理，确定所述多模态医学图像的融合特征；
将所述多模态医学图像融合特征分别输入至所述上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各所述神经网络模型的输出结果；
对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像。
2.根据权利要求1所述的方法，其特征在于，所述至少两个神经网络模型包括第一神经网络模型和第二神经网络模型，所述将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像，包括：
将所述多模态医学图像分别输入至所述第一神经网络模型和所述第二神经网络模型中，得到第一分割图像和第二分割图像；所述第一分割图像和所述第二分割图像均包括感兴趣区域；
将所述第一分割图像和所述第二分割图像进行均值处理，得到多模态医学图像对应的目标分割图像。
3.根据权利要求1所述的方法，其特征在于，所述均值处理包括加权均值处理、非加权均值处理和平均值处理中的至少一种。
4.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型的训练方法包括：
获取样本图像集；所述样本图像集已标注感兴趣区域；
基于所述样本图像集对初始第一神经网络模型进行训练，得到所述第一神经网络模型；以及，基于所述样本图像集对初始第二神经网络模型进行训练，得到所述第二神经网络模型。
5.根据权利要求4所述的方法，其特征在于，所述获取样本图像集，包括：
获取训练样本集，并将所述训练样本集中的各个训练样本均进行预处理，得到预处理后的训练样本集；
对所述预处理后的训练样本集分别进行扩增处理和复制处理，得到所述样本图像集。
6.根据权利要求1-3任意一项所述的方法，其特征在于，在所述将所述至少两个不同模态下的医学图像进行拼接处理之前，所述方法还包括：
对所述至少两个不同模态下的医学图像分别进行重采样，得到各模态下的重采样图像；所述各模态下的重采样图像的尺寸相同；
对所述各模态下的重采样图像分别进行归一化处理，得到各模态下的归一化图像。
7.根据权利要求6所述的方法，其特征在于，若所述至少两个不同模态包括第一模态，则在所述对所述各模态下的重采样图像分别进行归一化处理之前，所述方法还包括：
对第一模态下的重采样图像进行形态学运算处理，得到第一模态下的形态学处理图像。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待检测对象的至少两个不同模态下的医学图像；所述至少两个不同模态下的医学图像均包括感兴趣区域；
处理模块，用于将所述至少两个不同模态下的医学图像进行拼接处理，得到拼接后的多模态医学图像；
确定模块，用于将所述多模态医学图像分别输入至至少两个神经网络模型中，并对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像；所述目标分割图像包括所述感兴趣区域，所述处理包括均值处理、期望值处理和平均值处理中的至少一个；
所述至少两个神经网络模型均包括下采样双卷积层和上采样卷积层，所述确定模块包括处理单元和确定单元，其中：
所述处理单元，用于将所述多模态医学图像分别输入至所述双卷积层中进行特征提取处理以及融合处理，确定所述多模态医学图像的融合特征；将所述多模态医学图像融合特征分别输入至所述上采样卷积层中进行逆卷积处理以及跳层连接处理，得到各所述神经网络模型的输出结果；
所述确定单元，用于对各所述神经网络模型的输出结果进行处理，确定所述多模态医学图像对应的目标分割图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324287.2A CN111179231B (zh) | 2019-12-20 | 2019-12-20 | 图像处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911324287.2A CN111179231B (zh) | 2019-12-20 | 2019-12-20 | 图像处理方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179231A CN111179231A (zh) | 2020-05-19 |
| CN111179231B true CN111179231B (zh) | 2024-05-28 |
Family
ID=70654021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324287.2A Active CN111179231B (zh) | 2019-12-20 | 2019-12-20 | 图像处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179231B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612689B (zh) * | 2020-05-28 | 2024-04-05 | 上海联影医疗科技股份有限公司 | 医学图像处理方法、装置、计算机设备和可读存储介质 |
| CN111798410A (zh) * | 2020-06-01 | 2020-10-20 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于深度学习模型的癌细胞病理分级方法、装置、设备和介质 |
| CN111739004B (zh) * | 2020-06-22 | 2024-01-23 | 联想(北京)有限公司 | 图像处理方法、设备及存储介质 |
| CN111754553A (zh) * | 2020-06-24 | 2020-10-09 | 上海联影医疗科技有限公司 | 多模态扫描图像配准方法、装置、计算机设备和存储介质 |
| CN111951321A (zh) * | 2020-08-21 | 2020-11-17 | 上海西门子医疗器械有限公司 | 处理计算机断层扫描的图像的方法及计算机断层扫描设备 |
| CN112085197B (zh) * | 2020-09-11 | 2022-07-22 | 推想医疗科技股份有限公司 | 神经网络模型的训练方法及装置、存储介质和电子设备 |
| CN112668701B (zh) * | 2020-12-31 | 2023-12-22 | 上海商汤智能科技有限公司 | 神经网络运行方法、装置、电子设备及存储介质 |
| CN113160199B (zh) * | 2021-04-29 | 2022-06-17 | 武汉联影医疗科技有限公司 | 影像识别方法、装置、计算机设备和存储介质 |
| CN113506334B (zh) * | 2021-06-07 | 2023-12-15 | 刘星宇 | 基于深度学习的多模态医学图像融合方法及系统 |
| CN113450294A (zh) * | 2021-06-07 | 2021-09-28 | 刘星宇 | 多模态医学图像配准融合方法、装置及电子设备 |
| CN113743414B (zh) * | 2021-08-02 | 2022-08-05 | 清华大学 | 基于语义编码的病灶识别方法、装置及系统 |
| CN113570625A (zh) * | 2021-08-27 | 2021-10-29 | 上海联影医疗科技股份有限公司 | 图像分割方法、图像分割模型及其训练方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741346A (zh) * | 2018-12-30 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN109978037A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
| CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
| CN110148192A (zh) * | 2019-04-18 | 2019-08-20 | 上海联影智能医疗科技有限公司 | 医学影像成像方法、装置、计算机设备和存储介质 |
| CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
| CN110321920A (zh) * | 2019-05-08 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机可读存储介质和计算机设备 |
-
2019
- 2019-12-20 CN CN201911324287.2A patent/CN111179231B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN109741346A (zh) * | 2018-12-30 | 2019-05-10 | 上海联影智能医疗科技有限公司 | 感兴趣区域提取方法、装置、设备及存储介质 |
| CN109993726A (zh) * | 2019-02-21 | 2019-07-09 | 上海联影智能医疗科技有限公司 | 医学图像的检测方法、装置、设备和存储介质 |
| CN109978037A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
| CN110148192A (zh) * | 2019-04-18 | 2019-08-20 | 上海联影智能医疗科技有限公司 | 医学影像成像方法、装置、计算机设备和存储介质 |
| CN110321920A (zh) * | 2019-05-08 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置、计算机可读存储介质和计算机设备 |
| CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| Dropout-Enabled Ensemble Learning for Multi-scale Biomedical Data;Alexandre Momeni et al.;《BrainLes 2018: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries》;20190126;第407–415页 * |
| 基于随机化融合和CNN的多模态肺部肿瘤图像识别;梁蒙蒙;周涛;夏勇;张飞飞;杨健;;南京大学学报(自然科学);20180730(04);第117-127页 * |
| 施彦 等.《神经网络设计方法与实例分析》.北京邮电大学出版社,2009,第14-16页. * |
| 汤健 等.《基于频谱数据驱动的旋转机械设备负荷软测量》.国防工业出版社,2015,第94-98页. * |
| 魏海坤.《神经网络结构设计的理论与方法》.国防工业出版社,2005,第94-95页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179231A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179231B (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN109993726B (zh) | 医学图像的检测方法、装置、设备和存储介质 | |
| CN111161270B (zh) | 医学影像的血管分割方法、计算机设备和可读存储介质 | |
| CN111179372B (zh) | 图像衰减校正方法、装置、计算机设备和存储介质 | |
| CN110570483B (zh) | 扫描方法、装置、计算机设备和存储介质 | |
| US20230036359A1 (en) | Image reconstruction method, device,equipment, system, and computer-readable storage medium | |
| CN110738643B (zh) | 脑出血的分析方法、计算机设备和存储介质 | |
| CN110717961B (zh) | 多模态图像重建方法、装置、计算机设备和存储介质 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN110210519B (zh) | 分类方法、计算机设备和存储介质 | |
| CN112435212A (zh) | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 | |
| CN110473226B (zh) | 图像处理网络的训练方法、计算机设备及可读存储介质 | |
| CN111028212B (zh) | 关键点检测方法、装置、计算机设备和存储介质 | |
| CN110910335B (zh) | 一种图像处理方法、图像处理设备及计算机可读存储介质 | |
| CN110244249B (zh) | 磁共振扫描方法、装置、医学扫描设备和存储介质 | |
| JP4964191B2 (ja) | 画像処理装置および方法ならびにプログラム | |
| CN111243052A (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN116580033B (zh) | 一种基于图像块相似性匹配的多模态医学图像配准方法 | |
| CN113192031A (zh) | 血管分析方法、装置、计算机设备和存储介质 | |
| CN111161369B (zh) | 图像重建存储方法、装置、计算机设备和存储介质 | |
| CN110766661B (zh) | 磁共振成像的水脂分离方法、磁共振成像方法和设备 | |
| CN110473285B (zh) | 图像重构方法、装置、计算机设备和存储介质 | |
| CN111091504B (zh) | 图像偏差场矫正方法、计算机设备和存储介质 | |
| Zhang et al. | A Nested attention guided UNet++ architecture for white matter hyperintensity segmentation | |
| CN116342734B (zh) | 基于ct灌注影像的运动校正和伪影筛选方法及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |