CN113674228A - 颅脑供血区的识别方法、装置、存储介质和电子设备 - Google Patents
颅脑供血区的识别方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN113674228A CN113674228A CN202110904149.2A CN202110904149A CN113674228A CN 113674228 A CN113674228 A CN 113674228A CN 202110904149 A CN202110904149 A CN 202110904149A CN 113674228 A CN113674228 A CN 113674228A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- template image
- blood supply
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000036770 blood supply Effects 0.000 title claims abstract description 207
- 210000004556 brain Anatomy 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 267
- 230000002490 cerebral effect Effects 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000013145 classification model Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000002597 diffusion-weighted imaging Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 210000001638 cerebellum Anatomy 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 210000001103 thalamus Anatomy 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000028867 ischemia Diseases 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 208000006011 Stroke Diseases 0.000 description 3
- 230000000302 ischemic effect Effects 0.000 description 3
- 210000001259 mesencephalon Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 208000032382 Ischaemic stroke Diseases 0.000 description 2
- 230000003788 cerebral perfusion Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004973 left posterior cerebral artery Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开涉及一种颅脑供血区的识别方法、装置、存储介质和电子设备,涉及图像处理技术领域,该方法包括:对颅脑供血区图像进行预处理,以得到目标颅脑图像,将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的识别结果,识别结果用于指示颅脑供血区图像中多个供血区的位置和形状,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。本公开中识别模型可以利用配准模型、颅脑模板图像、分段模板图像和未经标注的训练图像进行训练,提高了识别模型的识别准确度。
Description
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种颅脑供血区的识别方法、装置、存储介质和电子设备。
背景技术
随着图像处理技术的不断发展,磁共振成像(英文:Magnetic ResonanceImaging,缩写:MRI)作为一种多参数、多对比度的成像技术,能够有效辅助医生观察扫描部位的状况,在医疗领域得到了广泛应用。尤其是针对脑卒中症状的判断,可以借助磁共振弥散加权成像(英文:Magnetic Resonance-Diffusion Weighted Imaging,缩写:MR-DWI)技术来对颅脑内的多个供血区进行识别,从而对识别出的每个供血区进行判断,以分析颅脑内的缺血变化。
通常情况下,在对MR-DWI图像进行识别之前,需要预先采集大量标注有每个供血区的位置的样本图像,以作为识别的参考基准。然而对MR-DWI图像进行标注需要投入大量人力物力,并且需要标注人员具有丰富的经验,工作繁杂,效率低,导致供血区识别的可靠性较低。
发明内容
本公开的目的是提供一种颅脑供血区的识别方法、装置、存储介质和电子设备,用以解决现有技术中存在的供血区识别的可靠性较低的问题。
为了实现上述目的,根据本公开实施例的第一方面,提供一种颅脑供血区的识别方法,所述方法包括:
对颅脑供血区图像进行预处理,以得到目标颅脑图像;
将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果,所述识别结果用于指示所述颅脑供血区图像中多个供血区的位置和形状;
所述识别模型是根据配准模型、预设的颅脑模板图像、所述颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,所述配准模型用于将所述训练图像配准至所述颅脑模板图像,并将所述颅脑模板图像配准至所述训练图像;所述分段模板图像用于指示所述颅脑模板图像中多个供血区的位置和形状。
可选地,在所述将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果之后,所述方法还包括:
根据所述识别结果,将所述颅脑供血区图像划分为多个供血区图像,每个所述供血区图像对应一个所述供血区;
将每个所述供血区图像输入预先训练的分类模型,以得到所述分类模型输出的,该供血区图像对应的分类结果,所述分类结果用于指示该供血区图像对应的所述供血区的状态;
根据每个所述供血区图像对应的分类结果,确定所述颅脑供血区图像的总分类结果,所述总分类结果用于指示颅脑的状态。
可选地,所述根据每个所述供血区图像对应的分类结果,确定所述颅脑供血区图像的总分类结果,包括:
根据每个所述供血区对应的权重,对每个所述供血区图像对应的分类结果进行加权求和,以得到所述总分类结果。
可选地,所述识别模型和所述配准模型是通过如下方式联合训练获得的:
对多个所述训练图像进行预处理,以得到每个所述训练图像对应的目标训练图像;
将每个所述目标训练图像和所述颅脑模板图像输入所述配准模型,以得到所述配准模型输出的,第一形变场和第二形变场,所述第一形变场通过将所述颅脑模板图像配准至该目标训练图像得到,所述第二形变场通过将该目标训练图像配准至所述颅脑模板图像得到;
将该目标训练图像输入所述识别模型,以得到所述识别模型输出的该目标训练图像对应的第一训练识别结果,所述第一训练识别结果用于指示该目标训练图像对应的所述训练图像中多个所述供血区的位置和形状;
将所述颅脑模板图像输入所述识别模型,以得到所述识别模型输出的所述颅脑模板图像对应的第二训练识别结果,所述第二训练识别结果用于指示所述颅脑模板图像中多个所述供血区的位置和形状;
根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型。
可选地,所述根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型,包括:
根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失;
根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失;
根据所述配准损失和所述识别损失,确定综合损失;
以降低所述综合损失为目标,利用反向传播算法联合训练所述识别模型和所述配准模型。
可选地,所述根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失,包括:
利用所述第一形变场对所述颅脑模板图像进行形变,以得到变形的颅脑模板图像,并利用所述第二形变场对每个所述目标训练图像进行形变,以得到变形的目标训练图像;
根据所述变形的颅脑模板图像与该目标训练图像,确定第一配准损失;
根据所述变形的目标训练图像与所述颅脑模板图像,确定第二配准损失;
根据所述第一配准损失和所述第二配准损失,确定所述配准损失。
可选地,所述根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失,包括:
利用所述第一形变场对所述分段模板图像进行形变,以得到变形的分段模板图像;
根据所述第一训练识别结果与所述变形的分段模板图像,确定第一识别损失;
根据所述第二训练识别结果与所述分段模板图像,确定第二识别损失;
根据所述第一识别损失和所述第二识别损失,确定所述识别损失。
根据本公开实施例的第二方面,提供一种颅脑供血区的识别装置,所述装置包括:
预处理模块,用于对颅脑供血区图像进行预处理,以得到目标颅脑图像;
识别模块,用于将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果,所述识别结果用于指示所述颅脑供血区图像中多个供血区的位置和形状;
所述识别模型是根据配准模型、预设的颅脑模板图像、所述颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,所述配准模型用于将所述训练图像配准至所述颅脑模板图像,并将所述颅脑模板图像配准至所述训练图像;所述分段模板图像用于指示所述颅脑模板图像中多个供血区的位置和形状。
可选地,所述装置还包括:
划分模块,用于在所述将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果之后,根据所述识别结果,将所述颅脑供血区图像划分为多个供血区图像,每个所述供血区图像对应一个所述供血区;
分类模块,用于将每个所述供血区图像输入预先训练的分类模型,以得到所述分类模型输出的,该供血区图像对应的分类结果,所述分类结果用于指示该供血区图像对应的所述供血区的状态;
确定模块,用于根据每个所述供血区图像对应的分类结果,确定所述颅脑供血区图像的总分类结果,所述总分类结果用于指示颅脑的状态。
可选地,所述确定模块用于:
根据每个所述供血区对应的权重,对每个所述供血区图像对应的分类结果进行加权求和,以得到所述总分类结果。
可选地,所述识别模型和所述配准模型是通过如下方式联合训练获得的:
对多个所述训练图像进行预处理,以得到每个所述训练图像对应的目标训练图像;
将每个所述目标训练图像和所述颅脑模板图像输入所述配准模型,以得到所述配准模型输出的,第一形变场和第二形变场,所述第一形变场通过将所述颅脑模板图像配准至该目标训练图像得到,所述第二形变场通过将该目标训练图像配准至所述颅脑模板图像得到;
将该目标训练图像输入所述识别模型,以得到所述识别模型输出的该目标训练图像对应的第一训练识别结果,所述第一训练识别结果用于指示该目标训练图像对应的所述训练图像中多个所述供血区的位置和形状;
将所述颅脑模板图像输入所述识别模型,以得到所述识别模型输出的所述颅脑模板图像对应的第二训练识别结果,所述第二训练识别结果用于指示所述颅脑模板图像中多个所述供血区的位置和形状;
根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型。
可选地,所述根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型,包括:
根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失;
根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失;
根据所述配准损失和所述识别损失,确定综合损失;
以降低所述综合损失为目标,利用反向传播算法联合训练所述识别模型和所述配准模型。
可选地,所述根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失,包括:
利用所述第一形变场对所述颅脑模板图像进行形变,以得到变形的颅脑模板图像,并利用所述第二形变场对每个所述目标训练图像进行形变,以得到变形的目标训练图像;
根据所述变形的颅脑模板图像与该目标训练图像,确定第一配准损失;
根据所述变形的目标训练图像与所述颅脑模板图像,确定第二配准损失;
根据所述第一配准损失和所述第二配准损失,确定所述配准损失。
可选地,所述根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失,包括:
利用所述第一形变场对所述分段模板图像进行形变,以得到变形的分段模板图像;
根据所述第一训练识别结果与所述变形的分段模板图像,确定第一识别损失;
根据所述第二训练识别结果与所述分段模板图像,确定第二识别损失;
根据所述第一识别损失和所述第二识别损失,确定所述识别损失。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开实施例的第一方面所述方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开实施例的第一方面所述方法的步骤。
通过上述技术方案,本公开首先对颅脑供血区图像进行预处理,以得到目标颅脑图像,之后将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的,用于指示颅脑供血区图像中多个供血区的位置和形状的识别结果。其中,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。本公开中识别模型可以利用配准模型、颅脑模板图像、分段模板图像,和未经标注的训练图像进行训练,提高了识别模型的识别准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种颅脑供血区的识别方法的流程图;
图2是根据一示例性实施例示出的分段模板图像的示意图;
图3是根据一示例性实施例示出的另一种颅脑供血区的识别方法的流程图;
图4是根据一示例性实施例示出的一种联合训练识别模型和配准模型的流程图;
图5是根据一示例性实施例示出的识别模型和配准模型的示意图;
图6是根据一示例性实施例示出的另一种联合训练识别模型和配准模型的流程图;
图7是根据一示例性实施例示出的一种颅脑供血区的识别装置的框图;
图8是根据一示例性实施例示出的另一种颅脑供血区的识别装置的框图;
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的颅脑供血区的识别方法、装置、存储介质和电子设备之前,首先对本公开中各个实施例所涉及的应用场景进行介绍,该应用场景可以为利用扫描设备对人体的颅脑进行扫描,得到颅脑供血区图像,以根据颅脑供血区图像来确定其中各个供血区的位置和形状。其中,颅脑供血区图像例如可以是MR-DWI图像,也可以是其他能够反映颅脑供血区状态的图像,本公开对此不作具体限定。针对缺血性脑卒中,可以分为前循环缺血(英文:Anterior Circulation Ischemia,缩写:ACI),和后循环缺血(英文:PosteriorCirculation Ischemia,缩写:PCI)两种。由于后循环涉及到的颅脑内生理结构更复杂(例如图像中包括颅骨,可能产生伪影等问题),目前广泛应用于缺血性脑卒中的识别工具均侧重前循环缺血,而对后循环缺血识别的敏感性和特异性都较差,导致了后循环卒中的误诊率和漏诊率较高。本公开所提供的颅脑供血区的识别方法,不仅适用于颅脑内的前循环,同样适用于颅脑内的后循环。以下实施例均以后循环为例进行说明,后循环中包括8个供血区,分别为:左侧丘脑供血区、右侧丘脑供血区、左侧小脑供血区、右侧小脑供血区、左侧大脑后动脉供血区、右侧大脑后动脉供血区、中脑供血区、脑桥供血区。
图1是根据一示例性实施例示出的一种颅脑供血区的识别方法的流程图,如图1所示,该方法包括以下步骤:
步骤101,对颅脑供血区图像进行预处理,以得到目标颅脑图像。
举例来说,首先可以获取颅脑供血区图像,然后对颅脑供血区图像进行预处理,以得到预处理后的目标颅脑图像。具体的,预处理可以包括:首先按照预设的校正算法对颅脑供血区图像进行校正,校正算法例如可以是偏置场校正算法(可以利用N4ITK等工具来实现)。之后,可以对校正后的图像进行线性强度归一化处理,以得到目标颅脑图像,目标颅脑图像中的信号强度,均处于标准强度范围内。
步骤102,将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的识别结果,识别结果用于指示颅脑供血区图像中多个供血区的位置和形状。
其中,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。分段模板图像用于指示颅脑模板图像中多个供血区的位置和形状。
示例的,可以预先联合训练识别模型和配准模型,其中,识别模型用于识别图像中供血区的位置和形状,配准模型用于将训练图像和颅脑模板图像进行配准。识别模型可以包括一个图像分割网络,用于将输入的训练图像、颅脑模板图像分别划分为多个区域(即多个供血区),从而确定训练图像中各个供血区的位置和形状,和颅脑模板图像中各个供血区的位置和形状。其中,图像分割网络例如可以是FCN(英文:Fully Convolutional Network,中文:全卷积网络)、SegNet、ENet等,本公开对此不作具体限定。配准模型可以包括一个图像配准网络,用于确定将训练图像配准至颅脑模板图像的形变场,和将颅脑模板图像配准至训练图像的形变场。其中,图像配准网络例如可以是DIRNet(英文:Deformable ImageRegistration Network,中文:变形图像配准网络)、GLU-Net(英文:Gated Linear Units-Network)、CNN(英文:Convolutional Neural Networks,中文:卷积神经网络)等,本公开对此不作具体限定。在得到目标颅脑图像之后,可以将目标颅脑图像输入识别模型,识别模型的输出即为,用于指示颅脑供血区图像中多个供血区的位置和形状的识别结果。其中,识别结果可以理解为,对目标颅脑图像进行标注得到的图像,其中标注了目标颅脑图像中多个供血区的位置和形状。
其中,在对识别模型和配准模型进行联合训练时,需要利用颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像,其中,未经标注的训练图像,可以理解为训练图像上没有标注信息,也就是说,不需要投入大量人力物力对训练图像进行标注,因此可以随机选取大量之前采集过的颅脑供血区图像作为训练图像,训练图像例如可以是MR-DWI图像。颅脑模板图像可以理解为预先筛选出的少量标准图像,能够清晰地展示颅脑的状态(颅脑模板图像上没有标注信息),颅脑模板图像也可以是MR-DWI图像。颅脑模板图像对应的分段模板图像,可以理解为对颅脑模板图像进行标注后得到的图像,分段模板图像中标注了多个供血区的位置和形状。由于颅脑模板图像为三维图像,相应的分段模板图像也为三维图像,由于三维图像不便于展示,因此本公开仅用横断位作为示意,以后循环中的8个供血区为例,分段模板图像的横断位可以如图2所示,分别包括三个横断位的MR-DWI图像,其上标注的数字与8个供血区一一对应,1表示脑桥供血区、2-R表示右侧小脑供血区、2-L表示左侧小脑供血区、3表示中脑供血区、4-R表示右侧丘脑供血区、4-L表示左侧丘脑供血区、5-R表示右侧大脑后动脉供血区、5-L表示左侧大脑后动脉供血区。相比于大量的训练图像,只需要少量颅脑模板图像,并对该颅脑模板图像进行标注得到分段模板图像,即可按照弱监督(英文:Weakly Supervised Learning)的方式,对识别模型和配准模型进行联合训练,工作量少、效率高,提高了联合训练的可行性和准确度。同时,由于训练图像很容易获得,通过大量的训练图像联合训练,能够提高识别模型的泛化能力。并且,在对识别模型和配准模型进行联合训练时,识别模型和配准模型中的参数可以互相监督、共同优化,能够进一步提高识别模型的准确度。
综上所述,本公开首先对颅脑供血区图像进行预处理,以得到目标颅脑图像,之后将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的,用于指示颅脑供血区图像中多个供血区的位置和形状的识别结果。其中,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。本公开中识别模型可以利用配准模型、颅脑模板图像、分段模板图像,和未经标注的训练图像进行训练,提高了识别模型的识别准确度。
图3是根据一示例性实施例示出的另一种颅脑供血区的识别方法的流程图,如图3所示,在步骤102之后,该方法还可以包括:
步骤103,根据识别结果,将颅脑供血区图像划分为多个供血区图像,每个供血区图像对应一个供血区。
举例来说,在得到识别模型输出的识别结果之后,可以按照识别结果,对颅脑供血区图像进行划分,以得到每个供血区对应的供血区图像,即每个供血区图像中包括了颅脑供血区图像中对应的供血区内的全部像素。在划分每个供血区图像时,可以将颅脑供血区图像中对应的供血区内的全部像素切割出来,作为供血区图像。也可以将颅脑供血区图像中位于对应的供血区之外的像素置为0,这样得到的每个供血区图像的大小相同。本公开对划分供血区图像的方式不作具体限定。
步骤104,将每个供血区图像输入预先训练的分类模型,以得到分类模型输出的,该供血区图像对应的分类结果,分类结果用于指示该供血区图像对应的供血区的状态。
步骤105,根据每个供血区图像对应的分类结果,确定颅脑供血区图像的总分类结果,总分类结果用于指示颅脑的状态。
示例的,可以依次将每个供血区图像输入分类模型,分类模型依次输出每个供血区图像对应的分类结果,分类结果用于指示该供血区图像对应的供血区的状态,例如,分类结果可以为:“正常”或者“异常”,分类结果也可以为:“缺血”或者“未缺血”。其中,分类模型可以是根据大量样本图像预先训练得到,用于对输入的图像进行分类。
之后,可以根据每个供血区图像对应的分类结果,确定颅脑供血区图像的总分类结果,总分类结果用于指示颅脑的状态。例如,若多个供血区图像中,存在超过预设指定数量的供血区图像对应的分类结果为“异常”,确定总分类结果为颅脑的状态为异常。再比如,可以将每个供血区图像对应的分类结果转化为分值,然后将多个供血区图像对应的分值求和,作为总分类结果,例如,分类结果为“异常”对应1分,分类结果为“正常”对应0分,那么将多个供血区图像对应的分值求和作为总分类结果,若总分类结果大于预设阈值,表示颅脑的状态为异常。还可以将每个供血区图像对应的分类结果转化为分值,然后将多个供血区图像对应的分值进行加权求和,作为总分类结果。
具体的,分类模型的训练方式可以包括:首先采集大量颅脑的颅脑供血区图像,然后按照清晰度、有无伪影等标准进行筛选,得到多个样本图像,并根据每个样本图像对应的用户的颅脑的状态,确定该样本图像的标签。之后提取并筛选出每个样本图像中各个供血区的影像组学特征(例如可以是直方图特征、灰度共生矩阵、形状特征、强度特征、纹理特征、边缘特征等),以构建该样本图像对应的影像特征向量(高通向量)。最后,将每个样本图像对应的影像特征向量输入分类模型,并利用分类模型的输出和该样本图像的标签来训练分类模型。例如,可以根据分类模型的输出,与该样本图像的标签确定分类模型的损失函数,以降低损失函数为目标,利用反向传播算法来修正分类模型中的神经元的参数,神经元的参数例如可以是神经元的权重(英文:Weight)和偏置量(英文:Bias)。重复上述步骤,直至损失函数满足预设条件,例如损失函数小于预设的损失阈值。
在一种应用场景中,步骤105的实现方式可以为:
根据每个供血区对应的权重,对每个供血区图像对应的分类结果进行加权求和,以得到总分类结果。
示例的,可以预先为每个供血区设置对应的权重,并将每个供血区图像对应的分类结果转化为分值,然后将每个供血区图像对应的分值,按照对应的权重进行加权求和,以将求和结果作为总分类结果。例如,颅脑供血区图像为MR-DWI图像,按照后循环Alberta卒中项目早期CT评分(英文:posterior-circulation Alberta Stroke Program Early CTScore,缩写:pc-ASPECT评分)标准,左侧丘脑供血区、右侧丘脑供血区、左侧小脑供血区、右侧小脑供血区、左侧大脑后动脉供血区、右侧大脑后动脉供血区对应的权重可以为1,中脑供血区和脑桥供血区对应的权重可以为2。分类结果为“异常”对应0分,分类结果为“正常”对应1分。
图4是根据一示例性实施例示出的一种联合训练识别模型和配准模型的流程图,如图4所示,识别模型和配准模型是通过如下方式联合训练获得的:
步骤A,对多个训练图像进行预处理,以得到每个训练图像对应的目标训练图像。
举例来说,对识别模型和配准模型进行联合训练,可以预先采集多个未经标注的训练图像,然后对每个训练图像进行预处理,以得到每个训练图像对应的目标训练图像。其中,对训练图像进行预处理的方式可以和步骤101中对颅脑供血区图像进行预处理的方式相同,此处不再赘述。进一步的,为了避免联合训练过程中出现过拟合的问题,还可以按照预设规则(例如:平移、翻转、旋转、缩放等)对每个目标训练图像进行扩增。在得到多个目标训练图像之后,可以对识别模型和配准模型进行联合训练,识别模型和配准模型的示意图如图5所示。
步骤B,将每个目标训练图像和颅脑模板图像输入配准模型,以得到配准模型输出的,第一形变场和第二形变场,第一形变场通过将颅脑模板图像配准至该目标训练图像得到,第二形变场通过将该目标训练图像配准至颅脑模板图像得到。
步骤C,将该目标训练图像输入识别模型,以得到识别模型输出的该目标训练图像对应的第一训练识别结果,第一训练识别结果用于指示该目标训练图像对应的训练图像中多个供血区的位置和形状。
步骤D,将颅脑模板图像输入识别模型,以得到识别模型输出的颅脑模板图像对应的第二训练识别结果,第二训练识别结果用于指示颅脑模板图像中多个供血区的位置和形状。
示例的,针对每个目标训练图像,可以将该目标训练图像与颅脑模板图像输入配准模型,由配准模型将该目标训练图像配准至颅脑模板图像,并将颅脑模板图像配准至该目标训练图像。配准模型输出的,即为通过将颅脑模板图像配准至该目标训练图像得到的第一形变场,和通过将该目标训练图像配准至颅脑模板图像得到的第二形变场。
同时,可以将该目标训练图像输入识别模型,由识别模型对该目标训练图像进行识别,以得到识别模型输出的该目标训练图像对应的,用于指示该目标训练图像对应的训练图像中,多个供血区的位置和形状的第一训练识别结果。同时,将颅脑模板图像输入识别模型,由识别模型对颅脑模板图像进行识别,以得到识别模型输出的颅脑模板图像对应的,用于指示颅脑模板图像中多个供血区的位置和形状的第二训练识别结果。
步骤E,根据第一形变场、第二形变场、第一训练识别结果、第二训练识别结果,和分段模板图像,联合训练识别模型和配准模型。
示例的,可以根据配准模型输出的第一形变场、第二形变场,和识别模型输出的第一训练识别结果、第二训练识别结果,并结合分段模板图像,对识别模型和配准模型进行联合训练。具体的,可以根据第一形变场、第二形变场、第一训练识别结果、第二训练识别结果,和分段模板图像,确定联合训练的损失函数,以降低损失函数为目标,利用反向传播算法来修正识别模型和配准模型中的神经元的参数。重复上述步骤,直至损失函数满足预设条件,例如损失函数小于预设的损失阈值。
图6是根据一示例性实施例示出的另一种联合训练识别模型和配准模型的流程图,如图6所示,步骤E可以通过以下步骤来实现:
步骤E1,根据第一形变场、第二形变场、每个目标训练图像和颅脑模板图像,确定配准模型的配准损失。
步骤E2,根据第一形变场、第一训练识别结果、第二训练识别结果,和分段模板图像,确定识别模型的识别损失。
步骤E3,根据配准损失和识别损失,确定综合损失。
步骤E4,以降低综合损失为目标,利用反向传播算法联合训练识别模型和配准模型。
示例的,可以将联合训练的损失函数分为配准模型的配准损失,和识别模型的识别损失两部分。下面分别对如何确定配准损失和识别损失进行说明:
配准损失可以根据第一形变场、第二形变场、每个目标训练图像和颅脑模板图像来确定。具体的,步骤E1的实现方式可以包括:
步骤1)利用第一形变场对颅脑模板图像进行形变,以得到变形的颅脑模板图像,并利用第二形变场对每个目标训练图像进行形变,以得到变形的目标训练图像。
步骤2)根据变形的颅脑模板图像与该目标训练图像,确定第一配准损失。
步骤3)根据变形的目标训练图像与颅脑模板图像,确定第二配准损失。
步骤4)根据第一配准损失和第二配准损失,确定配准损失。
示例的,配准损失可以进一步分为两部分:一部分为将颅脑模板图像配准至目标训练图像的损失,另一部分是将目标训练图像配准至颅脑模板图像的损失。首先,可以利用第一形变场对颅脑模板图像进行形变得到变形的颅脑模板图像,并利用第二形变场对每个目标训练图像进行形变得到变形的目标训练图像。然后,根据变形的颅脑模板图像与该目标训练图像,确定第一配准损失,并根据变形的目标训练图像与颅脑模板图像,确定第二配准损失。最后,根据第一配准损失和第二配准损失,确定配准损失。例如可以将第一配准损失与第二配准损失的和,作为配准损失,也可以将第一配准损失与第二配准损失的平均值作为配准损失。
具体的,第一配准损失可以通过公式一来确定:
第二配准损失可以通过公式二来确定:
其中,LB1表示第一配准损失,LB2表示第二配准损失。NCC表示归一化互相关(英文:Normalized Cross Correlation)处理,Ia表示颅脑模板图像,Ip表示目标训练图像,φ1表示第一形变场对应的形变图,φ2表示第二形变场对应的形变图,表示变形的颅脑模板图像,表示变形的目标训练图像。其中,φ1=λ1+id,λ1表示第一形变场,id表示恒等变换,φ2=λ2+id,λ2表示第二形变场。
识别模型的识别损失可以根据第一形变场、第一训练识别结果、第二训练识别结果,和分段模板图像来确定。具体的,步骤E2的实现方式可以包括:
步骤5)利用第一形变场对分段模板图像进行形变,以得到变形的分段模板图像。
步骤6)根据第一训练识别结果与变形的分段模板图像,确定第一识别损失。
步骤7)根据第二训练识别结果与分段模板图像,确定第二识别损失。
步骤8)根据第一识别损失和第二识别损失,确定识别损失。
示例的,识别损失同样可以分为两部分:一部分为将目标训练图像对应的第一识别结果,与利用第一形变场对分段模板图像进行形变,得到的变形的分段模板图像进行比较得到的第一识别损失。另一部分为将颅脑模板图像对应的第二训练识别结果与分段模板图像进行比较,得到的第二识别损失。由于第一形变场能够将颅脑模板图像配准至目标训练图像,因此,利用第一形变场对分段模板图像进行形变,得到的变形的分段模板图像,适用于目标训练图像。也就是说,由于人体的颅脑结构存在较大的差异,如果直接利用分段模板图像与目标训练图像来比较,可能出现颅脑模板图像中颅脑的结构,与目标训练图像中颅脑的结构存在较大差异,导致分段模板图像与目标训练图像不匹配的问题。而变形的分段模板图像,是利用第一形变场对分段模板进行形变得到的,能够适用于目标训练图像。
首先,可以利用第一形变场对分段模板图像进行形变,得到变形的分段模板图像。之后,根据第一训练识别结果与变形的分段模板图像,确定第一识别损失。并根据第二训练识别结果与分段模板图像,确定第二识别损失。最后,根据第一识别损失和第二识别损失,确定识别损失。例如可以将第一识别损失与第二识别损失的和,作为识别损失,也可以将第一识别损失与第二识别损失的平均值作为识别损失。
具体的,第一识别损失可以通过公式三来确定:
LA1=1-NCC(Iwas,Ipsp) 公式三
第二识别损失可以通过公式四来确定:
LA2=1-NCC(Ias,Iasp) 公式四
其中,LA1表示第一识别损失,LA2表示第二识别损失。NCC表示归一化互相关处理,Iwas表示变形的分段模板图像,Ipsp表示第一训练识别结果,Ias表示分段模板图像,Iasp表示第二训练识别结果。
综上所述,本公开首先对颅脑供血区图像进行预处理,以得到目标颅脑图像,之后将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的,用于指示颅脑供血区图像中多个供血区的位置和形状的识别结果。其中,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。本公开中识别模型可以利用配准模型、颅脑模板图像、分段模板图像,和未经标注的训练图像进行训练,提高了识别模型的识别准确度。
图7是根据一示例性实施例示出的一种颅脑供血区的识别装置的框图,如图7所示,该装置200可以包括:
预处理模块201,用于对颅脑供血区图像进行预处理,以得到目标颅脑图像。
识别模块202,用于将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的识别结果,识别结果用于指示颅脑供血区图像中多个供血区的位置和形状。
识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。分段模板图像用于指示颅脑模板图像中多个供血区的位置和形状。
图8是根据一示例性实施例示出的另一种颅脑供血区的识别装置的框图,如图8所示,该装置200还可以包括:
划分模块203,用于在将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的识别结果之后,根据识别结果,将颅脑供血区图像划分为多个供血区图像,每个供血区图像对应一个供血区。
分类模块204,用于将每个供血区图像输入预先训练的分类模型,以得到分类模型输出的,该供血区图像对应的分类结果,分类结果用于指示该供血区图像对应的供血区的状态。
确定模块205,用于根据每个供血区图像对应的分类结果,确定颅脑供血区图像的总分类结果,总分类结果用于指示颅脑的状态。
在一种实现方式中,确定模块205可以用于:
根据每个供血区对应的权重,对每个供血区图像对应的分类结果进行加权求和,以得到总分类结果。
在一种实现方式中,识别模型和配准模型是通过如下方式联合训练获得的:
步骤A,对多个训练图像进行预处理,以得到每个训练图像对应的目标训练图像。
步骤B,将每个目标训练图像和颅脑模板图像输入配准模型,以得到配准模型输出的,第一形变场和第二形变场,第一形变场通过将颅脑模板图像配准至该目标训练图像得到,第二形变场通过将该目标训练图像配准至颅脑模板图像得到。
步骤C,将该目标训练图像输入识别模型,以得到识别模型输出的该目标训练图像对应的第一训练识别结果,第一训练识别结果用于指示该目标训练图像对应的训练图像中多个供血区的位置和形状。
步骤D,将颅脑模板图像输入识别模型,以得到识别模型输出的颅脑模板图像对应的第二训练识别结果,第二训练识别结果用于指示颅脑模板图像中多个供血区的位置和形状。
步骤E,根据第一形变场、第二形变场、第一训练识别结果、第二训练识别结果,和分段模板图像,联合训练识别模型和配准模型。
在另一种实现方式中,步骤E可以通过以下步骤来实现:
步骤E1,根据第一形变场、第二形变场、每个目标训练图像和颅脑模板图像,确定配准模型的配准损失。
步骤E2,根据第一形变场、第一训练识别结果、第二训练识别结果,和分段模板图像,确定识别模型的识别损失。
步骤E3,根据配准损失和识别损失,确定综合损失。
步骤E4,以降低综合损失为目标,利用反向传播算法联合训练识别模型和配准模型。
在又一种实现方式中,步骤E1可以包括:
步骤1)利用第一形变场对颅脑模板图像进行形变,以得到变形的颅脑模板图像,并利用第二形变场对每个目标训练图像进行形变,以得到变形的目标训练图像。
步骤2)根据变形的颅脑模板图像与该目标训练图像,确定第一配准损失。
步骤3)根据变形的目标训练图像与颅脑模板图像,确定第二配准损失。
步骤4)根据第一配准损失和第二配准损失,确定配准损失。
在又一种实现方式中,步骤E2可以包括:
步骤5)利用第一形变场对分段模板图像进行形变,以得到变形的分段模板图像。
步骤6)根据第一训练识别结果与变形的分段模板图像,确定第一识别损失。
步骤7)根据第二训练识别结果与分段模板图像,确定第二识别损失。
步骤8)根据第一识别损失和第二识别损失,确定识别损失。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上所述,本公开首先对颅脑供血区图像进行预处理,以得到目标颅脑图像,之后将目标颅脑图像输入预先训练的识别模型,以得到识别模型输出的,用于指示颅脑供血区图像中多个供血区的位置和形状的识别结果。其中,识别模型是根据配准模型、预设的颅脑模板图像、颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像联合训练的,配准模型用于将训练图像配准至颅脑模板图像,并将颅脑模板图像配准至训练图像。本公开中识别模型可以利用配准模型、颅脑模板图像、分段模板图像,和未经标注的训练图像进行训练,提高了识别模型的识别准确度。
图9是根据一示例性实施例示出的一种电子设备300的框图。如图9所示,该电子设备300可以包括:处理器301,存储器302。该电子设备300还可以包括多媒体组件303,输入/输出(I/O)接口304,以及通信组件305中的一者或多者。
其中,处理器301用于控制该电子设备300的整体操作,以完成上述的颅脑供血区的识别方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作,这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件305可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的颅脑供血区的识别方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的颅脑供血区的识别方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器302,上述程序指令可由电子设备300的处理器301执行以完成上述的颅脑供血区的识别方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的颅脑供血区的识别方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种颅脑供血区的识别方法,其特征在于,所述方法包括:
对颅脑供血区图像进行预处理,以得到目标颅脑图像;
将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果,所述识别结果用于指示所述颅脑供血区图像中多个供血区的位置和形状;
所述识别模型是根据配准模型、预设的颅脑模板图像、所述颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,所述配准模型用于将所述训练图像配准至所述颅脑模板图像,并将所述颅脑模板图像配准至所述训练图像;所述分段模板图像用于指示所述颅脑模板图像中多个供血区的位置和形状。
2.根据权利要求1所述的方法,其特征在于,在所述将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果之后,所述方法还包括:
根据所述识别结果,将所述颅脑供血区图像划分为多个供血区图像,每个所述供血区图像对应一个所述供血区;
将每个所述供血区图像输入预先训练的分类模型,以得到所述分类模型输出的,该供血区图像对应的分类结果,所述分类结果用于指示该供血区图像对应的所述供血区的状态;
根据每个所述供血区图像对应的分类结果,确定所述颅脑供血区图像的总分类结果,所述总分类结果用于指示颅脑的状态。
3.根据权利要求2所述的方法,其特征在于,所述根据每个所述供血区图像对应的分类结果,确定所述颅脑供血区图像的总分类结果,包括:
根据每个所述供血区对应的权重,对每个所述供血区图像对应的分类结果进行加权求和,以得到所述总分类结果。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述识别模型和所述配准模型是通过如下方式联合训练获得的:
对多个所述训练图像进行预处理,以得到每个所述训练图像对应的目标训练图像;
将每个所述目标训练图像和所述颅脑模板图像输入所述配准模型,以得到所述配准模型输出的,第一形变场和第二形变场,所述第一形变场通过将所述颅脑模板图像配准至该目标训练图像得到,所述第二形变场通过将该目标训练图像配准至所述颅脑模板图像得到;
将该目标训练图像输入所述识别模型,以得到所述识别模型输出的该目标训练图像对应的第一训练识别结果,所述第一训练识别结果用于指示该目标训练图像对应的所述训练图像中多个所述供血区的位置和形状;
将所述颅脑模板图像输入所述识别模型,以得到所述识别模型输出的所述颅脑模板图像对应的第二训练识别结果,所述第二训练识别结果用于指示所述颅脑模板图像中多个所述供血区的位置和形状;
根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一形变场、所述第二形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,联合训练所述识别模型和所述配准模型,包括:
根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失;
根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失;
根据所述配准损失和所述识别损失,确定综合损失;
以降低所述综合损失为目标,利用反向传播算法联合训练所述识别模型和所述配准模型。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一形变场、所述第二形变场、每个所述目标训练图像和所述颅脑模板图像,确定所述配准模型的配准损失,包括:
利用所述第一形变场对所述颅脑模板图像进行形变,以得到变形的颅脑模板图像,并利用所述第二形变场对每个所述目标训练图像进行形变,以得到变形的目标训练图像;
根据所述变形的颅脑模板图像与该目标训练图像,确定第一配准损失;
根据所述变形的目标训练图像与所述颅脑模板图像,确定第二配准损失;
根据所述第一配准损失和所述第二配准损失,确定所述配准损失。
7.根据权利要求5所述的方法,其特征在于,所述根据所述第一形变场、所述第一训练识别结果、所述第二训练识别结果,和所述分段模板图像,确定所述识别模型的识别损失,包括:
利用所述第一形变场对所述分段模板图像进行形变,以得到变形的分段模板图像;
根据所述第一训练识别结果与所述变形的分段模板图像,确定第一识别损失;
根据所述第二训练识别结果与所述分段模板图像,确定第二识别损失;
根据所述第一识别损失和所述第二识别损失,确定所述识别损失。
8.一种颅脑供血区的识别装置,其特征在于,所述装置包括:
预处理模块,用于对颅脑供血区图像进行预处理,以得到目标颅脑图像;
识别模块,用于将所述目标颅脑图像输入预先训练的识别模型,以得到所述识别模型输出的识别结果,所述识别结果用于指示所述颅脑供血区图像中多个供血区的位置和形状;
所述识别模型是根据配准模型、预设的颅脑模板图像、所述颅脑模板图像对应的分段模板图像,和多个未经标注的训练图像训练的,所述配准模型用于将所述训练图像配准至所述颅脑模板图像,并将所述颅脑模板图像配准至所述训练图像;所述分段模板图像用于指示所述颅脑模板图像中多个供血区的位置和形状。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904149.2A CN113674228B (zh) | 2021-08-06 | 2021-08-06 | 颅脑供血区的识别方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904149.2A CN113674228B (zh) | 2021-08-06 | 2021-08-06 | 颅脑供血区的识别方法、装置、存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113674228A true CN113674228A (zh) | 2021-11-19 |
CN113674228B CN113674228B (zh) | 2024-06-25 |
Family
ID=78542087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110904149.2A Active CN113674228B (zh) | 2021-08-06 | 2021-08-06 | 颅脑供血区的识别方法、装置、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113674228B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092446A (zh) * | 2021-11-23 | 2022-02-25 | 中国人民解放军总医院 | 基于自监督学习与M-Net的颅内出血参数获取方法及装置 |
CN116344004A (zh) * | 2023-05-31 | 2023-06-27 | 苏州恒瑞宏远医疗科技有限公司 | 一种影像样本数据扩增方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070106633A1 (en) * | 2005-10-26 | 2007-05-10 | Bruce Reiner | System and method for capturing user actions within electronic workflow templates |
CN110934608A (zh) * | 2019-10-31 | 2020-03-31 | 上海杏脉信息科技有限公司 | 脑卒中早期cta图像评估系统及评估方法、可读存储介质 |
CN111524109A (zh) * | 2020-04-16 | 2020-08-11 | 北京推想科技有限公司 | 头部医学影像的评分方法和装置、电子设备及存储介质 |
CN111803103A (zh) * | 2020-07-20 | 2020-10-23 | 上海市第六人民医院 | 一种脑卒中发病时间检测装置及脑卒中治疗系统 |
CN112070781A (zh) * | 2020-08-13 | 2020-12-11 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 |
-
2021
- 2021-08-06 CN CN202110904149.2A patent/CN113674228B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070106633A1 (en) * | 2005-10-26 | 2007-05-10 | Bruce Reiner | System and method for capturing user actions within electronic workflow templates |
CN110934608A (zh) * | 2019-10-31 | 2020-03-31 | 上海杏脉信息科技有限公司 | 脑卒中早期cta图像评估系统及评估方法、可读存储介质 |
CN111524109A (zh) * | 2020-04-16 | 2020-08-11 | 北京推想科技有限公司 | 头部医学影像的评分方法和装置、电子设备及存储介质 |
CN111803103A (zh) * | 2020-07-20 | 2020-10-23 | 上海市第六人民医院 | 一种脑卒中发病时间检测装置及脑卒中治疗系统 |
CN112070781A (zh) * | 2020-08-13 | 2020-12-11 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备 |
Non-Patent Citations (1)
Title |
---|
申林: "大脑中动脉狭窄与基底节出血及血流灌注改变的探讨", 中国博士论文全文数据库, 15 January 2021 (2021-01-15) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114092446A (zh) * | 2021-11-23 | 2022-02-25 | 中国人民解放军总医院 | 基于自监督学习与M-Net的颅内出血参数获取方法及装置 |
CN116344004A (zh) * | 2023-05-31 | 2023-06-27 | 苏州恒瑞宏远医疗科技有限公司 | 一种影像样本数据扩增方法及装置 |
CN116344004B (zh) * | 2023-05-31 | 2023-08-08 | 苏州恒瑞宏远医疗科技有限公司 | 一种影像样本数据扩增方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113674228B (zh) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | Computer-aided diagnosis in histopathological images of the endometrium using a convolutional neural network and attention mechanisms | |
US10430946B1 (en) | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques | |
Li et al. | Accurate retinal vessel segmentation in color fundus images via fully attention-based networks | |
Zhang et al. | Detecting anatomical landmarks from limited medical imaging data using two-stage task-oriented deep neural networks | |
CN106408001B (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
Zhang et al. | Deepgi: An automated approach for gastrointestinal tract segmentation in mri scans | |
CN110246109A (zh) | 融合ct影像和个性化信息的分析系统、方法、装置及介质 | |
CN113674228A (zh) | 颅脑供血区的识别方法、装置、存储介质和电子设备 | |
Yao et al. | GeminiNet: combine fully convolution network with structure of receptive fields for object detection | |
Rasool et al. | Unveiling the complexity of medical imaging through deep learning approaches | |
Üzen | Convmixer-based encoder and classification-based decoder architecture for breast lesion segmentation in ultrasound images | |
Jung et al. | Weakly supervised thoracic disease localization via disease masks | |
Hu et al. | Parallel channel and position attention-guided feature pyramid for pig face posture detection | |
Zhao et al. | NFMPAtt-Unet: Neighborhood fuzzy c-means multi-scale pyramid hybrid attention unet for medical image segmentation | |
Sowmya et al. | Vision transformer based ResNet model for pneumonia prediction | |
Khan et al. | A Framework for Segmentation and Classification of Blood Cells Using Generative Adversarial Networks | |
CN111476775B (zh) | Dr征象识别装置和方法 | |
El Khalfaoui et al. | Combining Deep CNNs and Superpixels for Polyp Segmentation in Colonoscopy Images | |
Ramadhana et al. | On Reducing ShuffleNets’ Block for Mobile-based Breast Cancer Detection Using Thermogram: Performance Evaluation | |
Le et al. | Ovarian Tumors Detection and Classification on Ultrasound Images Using One-stage Convolutional Neural Networks | |
Biswas et al. | XAI-FusionNet: Diabetic foot ulcer detection based on multi-scale feature fusion with explainable artificial intelligence | |
Vinta et al. | Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model | |
Yang et al. | Brain Tumor Type Recognition Algorithm Fused with Double Residual Structure and Attention Mechanism | |
Lalitha et al. | Segmentation and Classification of 3D Lung Tumor Diagnoses Using Convolutional Neural Networks | |
Peng et al. | Spatio‐temporal context based recurrent visual attention model for lymph node detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |