CN112950600A - 脑标识提取方法、装置、计算机设备和存储介质 - Google Patents
脑标识提取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112950600A CN112950600A CN202110259731.8A CN202110259731A CN112950600A CN 112950600 A CN112950600 A CN 112950600A CN 202110259731 A CN202110259731 A CN 202110259731A CN 112950600 A CN112950600 A CN 112950600A
- Authority
- CN
- China
- Prior art keywords
- identification
- brain
- point
- probability map
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 320
- 238000000605 extraction Methods 0.000 title claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 83
- 230000006870 function Effects 0.000 claims description 82
- 230000011218 segmentation Effects 0.000 claims description 76
- 238000000034 method Methods 0.000 claims description 66
- 210000003710 cerebral cortex Anatomy 0.000 claims description 46
- 230000001054 cortical effect Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 40
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 34
- 239000003550 marker Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 230000002490 cerebral effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000002372 labelling Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000000877 corpus callosum Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 210000004885 white matter Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000004720 cerebrum Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种脑标识提取方法、装置、计算机设备和存储介质,通过将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的点标识概率图、面标识概率图和区域标识概率图后,根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;并根据点标识和面标识构建脑部坐标系,然后根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。极大地精简了脑部特征的提取过程,高效且精准地对大脑标识结构进行提取。
Description
技术领域
本申请实施例涉及医疗技术领域,特别是涉及一种脑标识提取方法、装置、计算机设备和存储介质。
背景技术
神经科学领域中,前连合(Anterior Commissure,AC)、后连合(PosteriorCommissure,PC)、中矢面(Midsagittal Plane,MSP)以及塔莱拉什(Talairach)大脑皮层标志点均是重要的大脑标识结构。这些大脑标识结构在脑解剖成像分析领域起到重要作用,通过这些标识进行图谱配准映射,或建立大脑坐标系,对于分析个体脑部结构、定位脑部功能区域,甚至辅助脑部病理区域定位和手术规划具有着重要的意义。
现有的神经外科分析相关软件中,AC标志点、PC标志点、MSP,以及Talairach皮层标志点的定位,大多需要医生手动进行。以神经外科机器人立体定向辅助系统(RobotizedStereotactic Assistant,ROSA)的神经外科机器人为例,其基于Talairach坐标系脑图谱配准功能所依赖的AC,PC,以及6个脑皮层标志点均采取手动的方式确定,中矢面的定位通过增加一个中矢面上任一点IH,由AC、PC、IH三点确定。然而手动定位耗时费力,受主观操作者影响大,可重复性低。
因此,现有技术中仍缺乏一种高效且精准地对大脑标识结构进行提取的方法。
发明内容
基于此,有必要针对上述技术问题,提供一种能够高效且精准地对大脑标识结构进行提取的方法的脑标识提取方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种脑标识提取方法,该方法包括:
将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出;
根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;
根据点标识和面标识构建脑部坐标系;
根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
在其中一个实施例中,上述点标识概率图包括前连合概率图和后连合概率图,点标识包括前连合标志点和后连合标志点;上述根据点标识概率图,确定目标主体脑部的点标识,包括:
将前连合概率图中最大概率值对应的像素点确定为前连合标志点;将后连合概率图中最大概率值对应的像素点确定为后连合标志点。
在其中一个实施例中,上述面标识概率图包括中矢面概率图,面标识包括中矢面;上述根据面标识概率图确定目标主体脑部的面标识,包括:
通过预设的算法,对从中矢面概率图中提取的中矢面平面点集进行拟合,得到中矢面;中矢面平面点集为中矢面概率图中概率大于预设阈值的像素点集合。
在其中一个实施例中,上述区域标识概率图包括脑实质分割区域概率图,区域标识包括脑实质分割区域;
上述根据区域标识概率图确定目标主体脑部的区域标识,包括:
通过预设的阈值,将脑实质分割区域概率图生成脑实质分割二值掩膜图像;
根据脑实质分割二值掩膜图像确定脑实质分割区域。
在其中一个实施例中,上述其他标识包括大脑皮层标志点;上述根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识,包括:
根据脑实质分割区域确定大脑皮层轮廓;
通过计算大脑皮层轮廓上所有像素点中,在脑部坐标系中三个坐标轴方向上的最大值点和最小值点,确定大脑皮层标志点。
在其中一个实施例中,上述神经网络模型包括共享网络层和不同类型标识任务的分支网络层;上述神经网络模型的训练过程包括:
获取各标识任务的训练样本集和各标识任务的金标准图像;
将各标识任务的训练样本集输入至初始神经网络模型的共享网络层提取特征后,分别输入各标识任务的分支网络层,对应得到各标识任务的预测概率图;
根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值;
根据目标损失函数的值调整初始神经网络模型的参数,直至目标损失函数的值的变化幅度小于预设值,得到神经网络模型。
在其中一个实施例中,上述不同类型标识任务包括点标识任务、面标识任务和区域标识任务;上述根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值,包括:
根据点标识任务的预测概率图与点标识任务的金标准图像,确定点标识任务预设的第一损失函数的值;
根据面标识任务的预测概率图与面标识任务的金标准图像,确定面标识任务预设的第二损失函数的值;
根据区域标识任务的预测概率图与区域标识任务的金标准图像,确定区域标识任务预设的第三损失函数的值;
对第一损失函数的值、第二损失函数的值和第三损失函数的值进行加权求和,得到目标损失函数的值。
在其中一个实施例中,上述大脑皮层标志点包括大脑皮层的最前侧点、最后侧点、最左侧点、最后侧点、最下侧点和最上侧点;上述通过计算大脑皮层轮廓上所有像素点中,在脑部坐标系的三个坐标轴方向上的最大值点和最小值点,确定大脑皮层标志点,包括:
将脑部坐标系的Y轴上大脑皮层轮廓最大Y坐标值的点确定为最前侧点;将脑部坐标系的Y轴上大脑皮层轮廓最小Y坐标值的点确定为最后侧点;
将脑部坐标系的X轴上大脑皮层轮廓最大X坐标值的点确定为最右侧点;将脑部坐标系的X轴上大脑皮层轮廓最小X坐标值的点确定为最左侧点;
将脑部坐标系的Z轴上大脑皮层轮廓最小Z坐标值的点确定为最下侧点;将经过后连合标志点,且与Z轴平行的直线上大脑皮层轮廓最大Z坐标值的点确定为最后侧点。
第二方面,本申请实施例提供一种脑标识提取装置,该装置包括:
预测模块,用于将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出;
第一处理模块,用于根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;
第二处理模块,用于根据点标识和面标识构建脑部坐标系;
第三处理模块,用于根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时实现上述第一方面中任一项实施例的方法步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项实施例的方法步骤。
本申请实施例提供的一种脑标识提取方法、装置、计算机设备和存储介质,通过将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的点标识概率图、面标识概率图和区域标识概率图后,根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;并根据点标识和面标识构建脑部坐标系,然后根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。神经网络模型设置不同的任务分支,在应用时,将目标主体的脑部磁共振图像输入至神经网络模型后,可同时通过神经网络模型中的不同任务分支网络层输出不同类型的标识概率图,然后基于各类型的标识概率图可以提取出对应标识,使得点标识、面标识、区域标识以及脑部的其他标识的提取统一到一个神经网络模型中,以端到端的神经网络模型一次性提取所有类型标识的概率图,极大地精简了脑部特征的提取过程,实现自动地对主体的脑部点标识、面标识、区域标识以及脑部的其他标识进行整体提取,无需再进行手动提取,简化了手动选点的交互操作,从而高效且精准地对大脑标识结构进行提取。
附图说明
图1为一个实施例中提供的一种脑标识提取方法的应用环境图;
图2为一个实施例中提供的一种脑标识提取方法的流程示意图;
图3为一个实施例中提供的神经网络模型任务分支示意图;
图4为一个实施例中提供的神经网络模型提取脑标识示意图;
图5为一个实施例中提供的脑部坐标系示意图;
图6为一个实施例中提供的一种前连合标志点和后连合标志点示意图;
图7为一个实施例中提供的一种中矢面示意图;
图8为另一个实施例中提供的一种脑标识提取方法的流程示意图;
图9为另一个实施例中提供的一种脑标识提取方法的流程示意图;
图10为一个实施例中提供的一种神经网络模型结构示意图;
图11为一个实施例中提供的一种神经网络模型训练过程示意图;
图12为另一个实施例中提供的一种脑标识提取方法的流程示意图;
图13为一个实施例中提供的一种数据补偿装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的脑标识提取方法,可以应用于如图1所示的应用环境中。其中,计算机设备的内部结构中的处理器用于提供计算和控制能力。存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。数据库用于存储脑标识提取方法过程的相关数据。该网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种脑标识提取方法。
本申请实施例提供一种脑标识提取方法、装置、计算机设备和存储介质,能够高效且精准地对大脑标识结构进行提取。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本申请提供的一种脑标识提取方法,其执行主体为计算机设备,其中,该执行主体还可以是脑标识提取装置,其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
在一个实施例中,如图2所示,提供了一种脑标识提取方法,本实施例涉及的是计算机设备通过预设的多任务神经网络模型以目标主体的脑部磁共振图像确定目标主体脑部的不同类型标识的具体过程;该实施例包括以下步骤:
S101,将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出。
其中,磁共振图像包括T1、T2、T2 FLAIR等各种结构磁共振图像,本申请实施例对此不作限定。目标主体可以是任何一个人或者动物,本申请实施例对此也不作限制。其中,预设的神经网络模型为预先训练好的用于从主体的脑部磁共振图像中提取脑标识概率图的模型,例如,该神经网络模型可以是全卷积网络,其网络结构可采用任何类型的全卷积网络,包括但不限于UNet(U型网络),VNet(V型网络),SegNet(语义分割网络)等。可选地,神经网络模型采用编码-解码结构的多任务全卷积网络。
请参见图3所示,本申请实施例中,神经网络模型为多任务神经网络,即可以从主体的脑部磁共振图像中提取出不同类型的脑标识的概率图,在提取时,每种类型的脑标识对应一个任务分支。其中,不同类型的脑标识包括点标识、面标识、区域标识和脑部的其他标识,这里的其他标识比如可以是大脑的皮层标志点。不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图。每种类型的脑标识对应一个任务分支,所以不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出,例如,点标识概率图通过神经网络模型的点标识任务分支网络层输出、面标识概率图通过神经网络模型的面标识任务分支网络层输出、区域标识概率图通过神经网络模型的区域标识任务分支网络层输出。
其中,点标识概率图中每个像素点的值表示该像素点为脑部点标识的概率值,例如,点标识是前连合(Anterior Commissure,AC)标志点和后连合(Posterior Commissure,PC)标志点,则前连合概率图中各像素点的值表示该像素点为前连合标志点的概率值;后连合概率图中各像素点的值表示该像素点为后连合标志点的概率值。面标识概率图中每个像素点的值表示该像素点为脑部面标识的概率值,例如,面标识是中矢面(MidsagittalPlane,MSP),则中矢面概率图中各像素点的值表示该像素点为中矢面上的点的概率值。区域标识概率图中每个像素点的值表示该像素点为脑部区域标识的概率值,例如,区域标识为脑实质分割区域,则脑实质分割区域概率图中每个像素点的值表示该像素点为脑实质上的点的概率值。
S102,根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识。
请参见图4所示,基于上述神经网络模型输出的点标识概率图、面标识概率图和区域标识概率图对应确定目标主体脑部的点标识、面标识和区域标识。例如,从前连合概率图中确定前连合标志点AC的具体位置,从后连合概率图中确定后连合标志点PC的具体位置;从中矢面概率图中确定脑部中矢面的位置;从脑实质分割区域概率图中确定出脑实质分割区域。
各类型标识概率图中各像素点的值表示均是属于对应标识的概率值,所以基于此,可根据各像素点具体的概率值确定标识概率图中对应标识的具体位置。当然,还可以通过其他方式从标识概率图中确定对应标识的具体位置,例如,计算机设备从各类型标识概率图中确定对应标识的方式可以是通过另一的神经网模型确定,即将各类型标识概率图输入至另一个预先训练好的神经网络模型中,得到该概率图中对应标识的位置。也可以是通过预设条件筛选,将该概率图中符合预设条件的像素点确定为对应标识。本申请实施例对此不作限定。
S103,根据点标识和面标识构建脑部坐标系。
其中,脑部坐标系可以实现主体脑部的结构和空间位置的对应,例如,塔莱拉什(Talairach)坐标系,通过建立脑部坐标系使得可以在同一个神经解剖学空间内研究不同主体的同一个脑部区域,以进行横向对比。
脑部坐标系的建立需要基于上述步骤中提取的点标识和面标识,示例地,以点标识为前连合标志点AC和后连合标志点PC,面标识为中矢面MSP为例,建立Talairach坐标系进行示例说明。具体地,可以以AC为坐标系原点,从PC到AC的方向定义为Y轴的方向;垂直于中矢面,且经过AC点的轴定义为X轴,正方向定义为从大脑右到左;垂直于X轴和Y轴平面,经过AC点的轴线定义为Z轴,且正方向为从脚到头方向,以此可以构建出Talairach坐标系。请参见图5所示,为建立的Talairach坐标系的示意图。
S104,点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
基于已确定的点标识、面标识、区域标识和已构建的脑部坐标系,这些信息中的一种或多种可以确定出目标主体脑部的其他标识,这里的其他标识包括脑部的一些复杂标识,复杂标识可以理解为其不属于点标识、面标识和区域标识中的任何一种,例如复杂标识是大脑皮层标志点。
一种可实施例方式中,可根据区域标识和脑部坐标系确定脑部的复杂标识,例如,仍以区域标识概率图是脑实质分割区域概率图为例,那么区域标识就是脑实质分割区域,则可根据脑实质分割区域和脑部坐标系确定出大脑皮层标志点。具体地,可根据脑实质分割区域在脑部坐标系中的分布信息确定大脑皮层标志点的具体位置,这里的分布信息包括但不限于区域轮廓与坐标轴的交点,区域轮廓在脑部坐标系中的方向、分布范围等。
本实施例中,通过将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的点标识概率图、面标识概率图和区域标识概率图后,根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定区域标识;并根据点标识和面标识构建脑部坐标系,然后根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。神经网络模型设置不同的任务分支,在应用时,将目标主体的脑部磁共振图像输入至神经网络模型后,可同时通过神经网络模型中的不同任务分支网络层输出不同类型的标识概率图,然后基于各类型的标识概率图可以提取出对应标识,使得点标识、面标识、区域标识以及脑部的其他标识的提取统一到一个神经网络模型中,以端到端的神经网络模型一次性提取所有类型标识的概率图,极大地精简了脑部特征的提取过程,实现自动地对主体的脑部点标识、面标识、区域标识以及脑部的其他标识进行整体提取,无需再进行手动提取,简化了手动选点的交互操作,从而高效且精准地对大脑标识结构进行提取。另,通过结合基于标记点的概率图以及脑部坐标系的建立,使得该方法可以应用到任何一个主体的脑部图像中,无论是对解剖结构和功能分区的分割和分析,还是脑部病理区域的辅助定位、立体定向手术规划中核团空间位置的确定等问题,均可以实现简化操作流程,提高脑部结构定位和分割的精度的效果。
下面通过具体的实施例,对上述基于不同类型的标识概率图确定对应脑标识的过程进行说明。首先对点标识的确定过程进行说明,则在一个实施例中,上述S102包括:将前连合概率图中最大概率值对应的像素点确定为前连合标志点;将后连合概率图中最大概率值对应的像素点确定为后连合标志点。
大脑的前连合和后连合是大脑左右半球之间传递信息的横向白质神经纤维束,是人脑重要的解剖结构,它们与中矢面的交点即为前连合标志点AC和后连合标志点PC,所以AC和PC是神经图像上重要的解剖标志点。则本实施例以标识概率图包括前连合概率图和后连合概率图,点标识包括前连合标志点AC和后连合标志点PC为例进行说明。
具体地,确定前连合概率图中的最大概率值对应的像素点所在的坐标位置,并将该最大概率值对应的像素点所在的位置坐标,确定为前连合标志点AC的位置坐标;同样,确定后连合概率图中最大概率值对应的像素点所在的坐标位置,并将最大概率值对应的像素点所在的位置坐标,确定后连合标志点PC的位置坐标。需要说明的是,这里的坐标位置指的是在概率图中的行列层坐标(i,j,l),i表示行,j表示列,l表示层。请参见图6所示,为确定出的AC、PC示意图。
AC、PC由于解剖结构尺寸较小,同时其周围有相似灰度的解剖结构干扰,对其直接定位往往比较困难,因此一般地AC、PC的确定普遍依赖其它结构的事先定位,例如,根据解剖知识确定包含有胼胝体的感兴趣区域(Region of interest,ROI),利用胼胝体、穹窿和脑干的分割,根据AC和PC与这些解剖结构的空间位置关系确定AC和PC位置。又或者,基于在MSP图像上手工标记标志点AC、PC和桥脑上沟的角点的图像,得到三个标志点间关系的模型,并通过脑桥上钩角点,利用模型得到AC和PC的位置。无论是那种方式,均存在过于复杂,对周围结构的检测的误差,会放大AC和PC标志点的误差的缺陷。但是,通过本申请实施例提供的AC、PC确定方法,即先通过预设的神经网络模型得到前连合概率图和后连合概率图,然后根据前连合概率图和后连合概率图对应确定出AC、PC,使得无需依赖其它结构的事先定位,无需手动选点就可以高效且精准地确定出主体的脑部AC、PC。
在一个实施例中,对面标识的确定过程进行说明,则上述S102包括:通过预设的算法,对从中矢面概率图中提取的中矢面平面点集进行拟合,得到中矢面;中矢面平面点集为中矢面概率图中概率大于预设阈值的像素点集合。
大脑沟裂是脑部的一个重要的解剖标识,在其范围内存在一个近似的虚拟平面使人脑左右半球相对于其对称,这个平面称为中矢面。中矢面两侧的脑解剖组织相对于中矢面达到最大限度的对称。那么本实施例以面标识概率图包括中矢面概率图,面标识包括中矢面为例进行说明。
具体地,先从中矢面概率图中提取中矢面平面点集S,例如,对中矢面概率图进行固定阈值分割,将概率值大于预设阈值的点的集合作为中矢面平面点集S。其中,预设阈值可选择0-1之间任意常数,例如0.5。得到中矢面平面点集S之后,根据预设的算法对中矢面平面点集S进行拟合,得到的拟合平面即为目标主体脑部的中矢面。
示例地,拟合后得到的中矢面可采用线性方程表示,或者,采用该拟合的中矢面上的一点O和面的法向量表示,以后者为例,拟合得到中矢面可表示为预设的算法为随机采样一致性(Random Sample Consensus,RANSAC)框架,那么基于RANSAC方法的面拟合方法如下:
(1)基于RANSAC理论,对以下过程循环N,其中,N次的区别是M个点不相同,循环时N可取任意大于10的常数,例如N=1000,由于最少三个点可确认一个平面,所以M可取任意大于2(即大于等于3)的常数。
从点集S中随机采样出M个点,利用该M个点拟合一个平面Li,并记录。然后计算剩余点到平面Li的距离平方和,记录距离和为Disti。
(2)找到N次循环中,将记录距离Disti中距离最小的一次采样(设次数为k)所对应的平面Lk为中矢面的初始定位平面。
第二种,当M>3时,可使用主成分分析(Principal Component Analysis,PCA)的方法,通过求取M个点的最小主成分方向,确定为中矢面的法向量。例如,将M个采样点表示为一个M行3列的矩阵AM,3,通过奇异值分解法SVD分解,可实现矩阵A的特征分解:AM,3=UM,M∑M,3V3,3,A分解出的左奇异矩阵V表示A的特征分解矩阵,取出V的第三列表示M个点在3个分解成分中最小成分的方向,作为M个点拟合平面的法向量:请参见图7所示,为确定出的中矢面示意图。
一般地,中矢面作为Talairach坐标系的重要基准面,它的定位是定位AC和PC的先决条件。中矢面的定位包括但不限于基于全局对称性分析、基于脑实质分割、基于特征点检测、基于图谱配准等方法。这些算法在正常脑结构上均能取得不错的效果,但是面对病理脑结构,例如脑部结构失去对称性,或者,结构与模板存在较大差异时,这些方法的适应能力会大大下降。但是,通过本申请实施例提供的中矢面确定方法,即先通过预设的神经网络模型得到中矢面概率图,然后根据中矢面概率图对应确定出中矢面,无论正常脑结构还是病理脑结构,又或者是结构与模板存在较大差异的情况,均可以高效且精准地确定出主体的脑部中矢面。
在一个实施例中,对区域标识的提取过程进行说明。则上述S102包括以下步骤:通过预设的阈值,将脑实质分割区域概率图生成脑实质分割二值掩膜图像;根据脑实质分割二值掩膜图像确定脑实质分割区域。
本实施例以区域标识概率图包括脑实质分割区域概率图,区域标识包括脑实质分割区域为例进行说明。具体地,对脑实质分割区域概率图进行阈值分割,其中,预设的阈值阈值通常可选择0-1之间的常数,例如为0.5,进行阈值分割后得到脑实质分割二值掩膜图像,例如,将脑实质分割区域概率图中脑实质分割区域概率值大于等于0.5的像素点置为1,脑实质分割区域概率值小于0.5的像素点置为0,最终得到的图像中各像素点的值不是0就是1,形成脑实质分割二值掩膜图像。然后根据该脑实质分割二值掩膜图像确定脑实质分割区域。
基于确定的脑实质分割区域,可进一步根据脑实质分割区域(即区域标识)和脑部坐标系确定目标主体脑部的其他标识。如图8所示,提供一个实施例对目标主体脑部的其他标识的提取过程进行说明。上述S104包括以下步骤:
S201,根据脑实质分割区域确定大脑皮层轮廓。
Talairach皮层标记点是在Talairach坐标空间下,大脑(不含头皮和脑脊液)最前端、最后端、最左端、最右端、最下端、最上端的点(方向描述以病人坐标系为基准),一共六个,具体定义见表1,该六个点称为大脑皮层标志点。通过结合Talairach坐标系和皮层标记点,可完成不依赖图像灰度信息匹配的高精度图谱映射和图谱配准,相比于基于灰度信息的图谱配准方法,有更高的精度和更强的适用性,进一步可用于在磁共振图像上无结构信息进行的脑部结构或区域的分割和定位。所以本实施例以区域标识概率图包括脑实质分割区域概率图,其他标识包括大脑皮层标志点为例进行说明。即提取目标主体脑部的其他标识在本实施例中以提取目标主体的脑部大脑皮层标志点为例进行说明。
表1
皮层标记点 | 医学上的标准确定方法 |
大脑皮层最前侧点AP | Y轴和大脑皮层在脑前侧的交点 |
大脑皮层最后侧点PP | Y轴和大脑皮层在脑后侧的交点 |
大脑皮层最左侧点LP | 过PC且平行于X轴的线和大脑皮层左侧的交点 |
大脑皮层最后侧点RP | 过PC且平行于X轴的线和大脑皮层右侧的交点 |
大脑皮层最下侧点IP | Z轴和大脑皮层下侧的交点 |
大脑皮层最上侧点SP | 过PC且平行于Z轴的线和大脑皮层顶部的交点 |
基于此,要确定大脑皮层标志点需先确定大脑皮层轮廓的位置,即需要确定出大脑皮层轮廓。上述确定了脑实质分割区域之后,可根据脑实质分割区域确定大脑皮层轮廓,脑实质的外轮廓即为大脑皮层轮廓,即大脑皮层轮廓所形成的区域为脑实质分割区域。
S202,通过计算大脑皮层轮廓上所有像素点中,在脑部坐标系中三个坐标轴方向上的最大值点和最小值点,确定大脑皮层标志点。
得到了目标主体的大脑皮层轮廓,根据该大脑皮层轮廓与前面确定的脑部坐标系下的各轴线确定出大脑皮层标志点:大脑皮层的最前侧点、最后侧点、最左侧点、最后侧点、最下侧点和最上侧点。
可选地,将脑部坐标系的Y轴上大脑皮层轮廓最大Y坐标值的点确定为最前侧点;将脑部坐标系的Y轴上大脑皮层轮廓最小Y坐标值的点确定为最后侧点;将脑部坐标系的X轴上大脑皮层轮廓最大X坐标值的点确定为最右侧点;将脑部坐标系的X轴上大脑皮层轮廓最小X坐标值的点确定为最左侧点;将脑部坐标系的Z轴上大脑皮层轮廓最小Z坐标值的点确定为最下侧点;将经过后连合标志点,且与Z轴平行的直线上大脑皮层轮廓最大Z坐标值的点确定为最后侧点。
具体地,通过计算大脑皮层所有轮廓点在大脑坐标系中,沿X、Y和Z轴分别的最大和最小坐标值即可获取到上述6个大脑皮层标志点。先获取大脑皮层轮廓上的点的集合,即皮层点集合。
然后以前连合点AC为起点,沿Talairach坐标系Y轴正方向搜索皮层轮廓,将Y轴坐标值为大脑皮层轮廓最大Y坐标值的点确定为最前侧点AP;沿Talairach坐标系Y轴反方向搜索皮层轮廓,将Y轴坐标值为大脑皮层轮廓最小Y坐标值的点确定为最后侧点PP。沿Z轴反方向搜索皮层轮廓上的像素点,将Z轴坐标值为大脑皮层轮廓最小Z坐标值的点确定为最下侧点IP;将经过后连合点PC,且与Z轴平行的直线上,Z坐标值为大脑皮层轮廓最大Z坐标值的点确定为最上侧点SP。以后连合点PC为起点,沿Talairach坐标系X轴正方向搜索皮层轮廓像素,将X轴坐标值为大脑皮层轮廓最小X坐标值的点确定为最左侧点LP;沿Talairach坐标系X轴反方向搜索皮层轮廓像素,将X轴上X轴坐标值为大脑皮层轮廓最大X坐标值的点确定为最右侧点RP。
一般地,针对大脑皮层标志点的提取是对脑皮层标记点所在二维平面脑组织分割然后完成定位;或者是通过使用三维形变模型的方法进行3D皮层分割,完成皮层标记点的定位。但该方法稳定性和时间效率上非常差,整个算流程非常复杂、容错率低、效率低。但是,通过本申请实施例提供的大脑皮层标志点提取方法先通过神经网络模型提取到脑实质分割区域概率图,然后从脑实质分割区域概率图中确定脑实质分割区域,并根据脑实质分割区域确定大脑皮层轮廓,最后以大脑皮层轮廓与大脑坐标系中各轴线的最大和最小坐标值,确定出大脑皮层标志点,这样,无论是稳定性还是提取效率都得到了极大改善,从而实现高效且精准的确定出大脑皮层标志点。
上述以不同的实施例分别对脑部的点标识、面标识、区域标识以及脑部的其他标识进行确定的过程进行了说明,但仍然需要强调的是,本申请实施例中对点标识、面标识、区域标识以及脑部的其他标识的提取是同时进行的,具体地,在经过预设的神经网络模型得到不同类型标识的概率图之后,各不同类型的概率图经过上述实施例中所述的方法得到对应类型的标识,从概率图到确定出对应类型的标识可看作是后处理过程,这样,先提取各类型标识概率图,然后经过对应的后处理过程,即可整体提取出目标主体的所有脑标识。
下面对上述神经网络模型的训练过程进行说明。如图9所示,在一个实施例中,该神经网络模型的训练过程包括以下步骤:
S301,获取各标识任务的训练样本集和各标识任务的金标准图像。
本申请实施例中的神经网络模型为多任务网络模型,不同任务对应提取不同类型的脑标识。例如,不同类型标识任务包括点标识任务、面标识任务和区域标识任务。训练神经网络模型前需要获取各类型标识任务各自对应的训练样本集和金标准图像。为了使得最终得到神经网络输出的各类型标识概率图更加精确,在获取每个类型标识任务的训练样本集时,需要尽可能丰富样本的多样性,例如,获取大量的不同主体的不同模态的正常的、病理的、其他特殊情况的脑部磁共振图像,以及对各磁共振图像进行伸缩、裁剪、变形等处理。
本申请实施例中的神经网络的各任务为有监督学习任务,因此在获取训练样本数据时,对训练样本集进行金标准标注。对于上述三种不同任务,标注方式各有不同。
对于点标识任务:可选地,将各脑部磁共振图像中解剖标志点所在像素点的概率值标注为第一值,除解剖标志点以外的像素点的概率值标注为第二值,得到点标识任务对应的金标准图像;第二值为根据各像素点与解剖标志点距离构建的算法确定的值。具体地,解剖标志点表示的是AC和PC点,在脑部磁共振图像中记录AC和PC的位置坐标。解剖标志点为两个,所以需生成两个和脑部磁共振图像同样大小的概率图,AC点对应一个概率图,PC点对应一个概率图,以AC的金标准概率图为例,标注的AC所在位置的像素值为1,其余像素的概率值随着距离AC标注位置越远,概率值越低。概率为距离的高斯函数,该高斯函数为:这里根据高斯函数计算的概率值统称为第二值。其中,高斯函数中p为像素的概率值,d为像素距离AC或PC标注点的距离,σ为高斯函数的方差,可取任意常数,例如,σ=10;方差的大小会影像算法的收敛速度和最终点的定位精度,所以为实现训练前期具有较快的收敛速度,训练后期具有不错的定位精度,可以对前期的σ取较大的值以加快收敛速度,训练过程中对σ进行逐渐降低,在训练后期提高点预测精度。
对于面标识任务:可选地,将各脑部磁共振图像中中矢面上像素点的概率值标注为第一值,除中矢面上像素点以外的像素点的概率值标注为第三值,得到面标识任务对应的金标准图像;第三值为根据各像素点与中矢面距离构建的算法确定的值。具体地,标注时的方式可以是通过标注工具选择多个磁共振图像中位于大脑中矢面上的点,然后通过这些点拟合得到金标准中矢面方程。标注点数理论上大于3个即可,但效果上越多越好。例如,对每一套数据在中矢面上均匀标注20个点用于平面拟合。中矢面只有一个,所以会生成一个和原图同样大小的概率图,图上每一个像素,如果位于中矢面平面上,则概率为1,没有位于中矢面平面上的,距离中矢面越近,概率越大。确定概率值时同样可采样上述点标识任务中所定义的高斯分布在,则根据高斯函数计算的概率值统称为第三值。
对于区域标识任务:将各脑部磁共振图像中脑实质的像素点的概率值标注为第一值,非脑实质的像素点的概率值标注第三值,得到区域标识任务对应的金标准图像。具体地,在脑部磁共振图像中通过逐像素进行标注,得到与输入磁共振图像同样尺寸的,仅含0和1数值的二值图像,值为1的像素表示属于脑实质的像素,值为0的像素表示非脑实质的像素。其中,标注的方式可以是通过开源原件freesurfer实现,并在软件自动标注结果的基础上进行微调。
S302,将各标识任务的训练样本集输入至初始神经网络模型的共享网络层提取特征后,分别输入各标识任务的分支网络层,对应得到各标识任务的预测概率图。
开始训练之前,需要先构建初始神经网络模型,设置共享网络层和不同类型标识任务的分支网络层。其中,共享网络层中的参数在不同的任务中是进行参数共享的,各标识任务的分支网络层中的参数在不同任务分支上各不相同。其中,网络层中主要由卷积层组成,同时还包括归一化层(批归一化、实例归一化,或组归一化)和激活层,还可以包括池化层、转置卷积层、上采样层等,本申请实施例对此不作限定。例如,不同类型标识任务包括点标识任务、面标识任务和区域标识任务中三个任务均通过热图回归(heatmap regression)的方式进行,因此三个分支的输出均为和输入图像同等尺寸大小的概率图,对应地,区域标识任务输出的是脑实质分割区域概率图,以根据脑实质分割区域概率图确定脑实质分割区域,进而基于脑实质分割确定出大脑皮层轮廓,然后根据大脑皮层轮廓和脑部坐标系确定出大脑皮层标志点;点标识任务输出的是前连合概率图和后连合概率图,以根据前连合概率图和后连合概率图定位出前连合AC和后连合PC两个点;面标识任务输出的中矢面概率图,以根据中矢面概率图定位出中矢面(等效于定位中矢面上所有像素点)。
构建神经网络模型时,网络结构可采用任何类型的全卷积网络,如UNet,VNet,SegNet、编码-解码结构的多任务全卷积网络等。以编码-解码结构的多任务全卷积网络为例,结构示意图如图10所示。使用UNet网络作为多任务全卷积网络的基础模型,将UNet网络的编码结构(Encoder)作为权重共享层,然后引出三条不同的解码结构(Decoder)。其中,在实际使用时,可根据实际情况对原始的UNet网络的结构进行改进,例如,减少基础通道数,减少将采样次数,这样可以降低算法的资源占用。图8中,UNet引出的3条解码器分支虽然整体结构相同,但因为任务不同,三个分支的输出通道数存在差异。其中,分支1的输出为2通道概率图,其中,一个通道对应一个概率图,分别代表大脑中背景的预测概率图和大脑实质分割区域的预测概率图。分支2的输出也为2通道概率图,分别代表前连合AC点的预测概率图和后联合PC点的预测概率图。分支3的输出通道为1通道概率图,代表中矢面上点的预测概率图。
将上述获取的各任务的训练样本集输出至构建好的初始神经网络模型中之前,需对训练样本集进行归一化操作,以训练样本为T1图像(磁共振T1加权图像)为例,将上述获取的各任务的训练样本集输出至构建好的初始神经网络模型中之前,需对T1图像进行归一化操作,归一化方式包括但不限于计算输入样本的均值和方差、对样本的每个像素点的灰度,减去均值,然后除以方差,最终得到对应的图像。
归一化操作后,将归一化后的训练样本集输入至初始神经网络中,请结合图11所示,图11为神经网络训练过程的示意图,先经过共享网络层提取特征,然后三个标识任务分别进入各自的分支网络层后,输出各自的结果,得到各标识任务的预测概率图。
S303,根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值。
基于各标识任务的预测概率图和各标识任务的金标准图像,确定目标损失函数的值。这里的目标函数指的是用于指导神经网络进行训练的损失函数,其中,该目标损失函数的值可以是根据各标识任务各自的损失函数综合确定,也可以是根据各标识任务构建一个综合损失函数后,将该综合损失函数的值确定为目标损失函数的值。
可选地,根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值的一种实施例包括:根据点标识任务的预测概率图与点标识任务的金标准图像,确定点标识任务预设的第一损失函数的值;根据面标识任务的预测概率图与面标识任务的金标准图像,确定面标识任务预设的第二损失函数的值;根据区域标识任务的预测概率图与区域标识任务的金标准图像,确定区域标识任务预设的第三损失函数的值;对第一损失函数的值、第二损失函数的值和第三损失函数的值进行加权求和,得到目标损失函数的值。
其中,在构建三个标识任务时,点标识任务和面标识任务可采用任何适用于基于热图回归的点检测的损失函数,例如,点标识任务可使用均方差(MSE)损失(也叫L2范数Loss),面标识任务本质上可以看做面上所有点的定位,也可使用均方差损失作为损失函数;区域标识任务可采用任何适用于分割任务的损失函数,例如,分割任务可使用Diceloss或交叉熵Loss,或使用两者结合。将三个任务的损失函数的加权和确定为目标损失函数的值,其中计算加权和时,各标识任务损失函数的权重可以通过经验设定固定值,也可以通过评估网络输出结果的不确定性,分支的输出结果不确定性越高,分支的损失函数的权重设置越大。
示例地,区域标识任务的损失函数(Dice Loss)为其中,X表示用来作为监督训练的金标准图像;Y表示神经网络输出的预测图像。点标识任务和面标识任务的损失函数(MSE Loss)为:其中,xi表示金标准图像X中第i个像素的概率值;yi表示金标准图像Y中第i个像素的预测概率值;n表示X和Y包含的总像素数。
目标损失函数为:Lossall=w1*LossDice+w2*(LossMSE,AC+LossMSE,PC)+w3*LossMSE,MSP
其中,LossDice表示区域标识任务的损失函数,LossMSE,AC表示前连合点AC任务的损失函数,LossMSE,PC表示后连合点PC任务的损失函数,LossMSE,MSP表示中矢面任务的损失函数。w1、w2和w3分别为三个任务的损失函数的权重,此三个任务的损失函数的权重可以根据网络情况选择任意值,例如,为了各标识任务的损失函数在数量级上的差异,对三个权重分别选择0.1,0.9,0.9。
S304,根据目标损失函数的值调整初始神经网络模型的参数,直至目标损失函数的值的变化幅度小于预设值,得到神经网络模型。
在得到目标损失函数的值之后,根据该目标损失函数的值调整初始神经网络模型的参数,例如,利用误差反传梯度下降算法,调整初始神经网络模型的参数,其中,优化器可选择Adam,学习率设为1e-4。调整目标损失函数的值,直至目标损失函数的值的变化幅度小于预设值,得到神经网络模型。目标损失函数的值的变化幅度小于预设值表示目标损失函数的值趋于平稳,表示神经网络模型训练过程满足收敛条件。
本实施例中,神经网络以共享网络层和不同分支网络构成,这样,在同时提取不同标识任务的概率图时,只有在各自的分支网络层中提取各自的特征,在共享网络层中是进行参数共享,这样,节省了运行资源,提高了各标识任务的特征提取效率。而且,针对不同任务设计不同的任务的损失函数,可以针对性地监督神经网络的训练进度和方向,保证了神经网络训练效率和准确性。
如图12所示,还提供一种脑标识提取方法,该实施例包括以下步骤:
S1,获取各标识任务的训练样本集和各标识任务的金标准图像。
S2,将各标识任务的训练样本集输入至初始神经网络模型的共享网络层提取特征后,分别输入各标识任务的分支网络层,对应得到各标识任务的预测概率图。
S3,根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值。
S4,根据目标损失函数的值调整初始神经网络模型的参数,直至目标损失函数的值的变化幅度小于预设值,得到神经网络模型。
S5,获取目标主体的脑部磁共振图像。
S6,将目标主体的脑部磁共振图像书输入至预设的神经网络模型中,得到前连合概率图和后连合概率图、中矢面概率图、脑实质分割区域概率图。
S7,将前连合概率图中最大概率值对应的像素点确定为前连合标志点;将后连合概率图中最大概率值对应的像素点确定为后连合标志点。
S8,通过预设的算法,对从中矢面概率图中提取的中矢面平面点集进行拟合,得到中矢面;通过预设的阈值,将脑实质分割区域概率图生成脑实质分割二值掩膜图像;根据脑实质分割二值掩膜图像确定脑实质分割区域。
S9,根据脑实质分割区域确定大脑皮层轮廓,并通过计算大脑皮层轮廓上所有像素点中,在脑部坐标系中三个坐标轴方向上的最大值点和最小值点,确定大脑皮层标志点。
通过本申请实施例训练的神经网络可以实现前连合点AC、后连合点PC、中矢面MSP和皮层标记点的自动定位,使得在脑神经分析和手术规划领域具有广泛的临床用途,是实现全自动的高精度图谱配准、图谱映射、脑部结构的定位和分割等任务的关键步骤。
本实施例提供的脑标识提取方法中各步骤,其实现原理和技术效果与前面脑标识提取方法过程相似,在此不再赘述。本实施例中各步骤的实现方式只是一种举例,对各实现方式不作限定,各步骤的顺序在实际应用中可进行调整,只要可以实现各步骤的目的即可。
应该理解的是,虽然上述实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图13所示,提供了一种脑标识提取装置,该装置包括:预测模块10、第一处理模块11、第二处理模块12和第三处理模块13,其中:
预测模块10,用于将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出;
第一处理模块11,用于根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;
第二处理模块12,用于根据点标识和面标识构建脑部坐标系;
第三处理模块13,用于根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
在一个实施例中,上述点标识概率图包括前连合概率图和后连合概率图,点标识包括前连合标志点和后连合标志点;上述第一处理模块11,具体用于将前连合概率图中最大概率值对应的像素点确定为前连合标志点;将后连合概率图中最大概率值对应的像素点确定为后连合标志点。
在一个实施例中,上述面标识概率图包括中矢面概率图,面标识包括中矢面;上述第一处理模块11,还具体用于通过预设的算法,对从中矢面概率图中提取的中矢面平面点集进行拟合,得到中矢面;中矢面平面点集为中矢面概率图中概率大于预设阈值的像素点集合。
在一个实施例中,上述区域标识概率图包括脑实质分割区域概率图,区域标识包括脑实质分割区域;
上述第一处理模块11,还具体通过预设的阈值,将脑实质分割区域概率图生成脑实质分割二值掩膜图像;根据脑实质分割二值掩膜图像确定脑实质分割区域。
在一个实施例中,上述其他标识包括大脑皮层标志点;上述第三处理模块13,包括第一确定单元和第二确定单元,其中,
第一确定单元,用于根据脑实质分割区域确定大脑皮层轮廓;
第二确定单元,用于通过计算大脑皮层轮廓上所有像素点中,在脑部坐标系中三个坐标轴方向上的最大值点和最小值点,确定大脑皮层标志点。
在一个实施例中,上述神经网络模型包括共享网络层和不同类型标识任务的分支网络层;
该装置还包括获取模块、输入模块、对比模块、确定模块,其中:
获取模块,用于获取各标识任务的训练样本集和各标识任务的金标准图像;
输入模块,用于将各标识任务的训练样本集输入至初始神经网络模型的共享网络层提取特征后,分别输入各标识任务的分支网络层,对应得到各标识任务的预测概率图;
对比模块,用于根据各标识任务的预测概率图和各标识任务的金标准图像,确定预设的目标损失函数的值;
确定模块,用于根据目标损失函数的值调整初始神经网络模型的参数,直至目标损失函数的值的变化幅度小于预设值,得到神经网络模型。
在一个实施例中,上述不同类型标识任务包括点标识任务、面标识任务和区域标识任务;上述对比模块,具体用于根据点标识任务的预测概率图与点标识任务的金标准图像,确定点标识任务预设的第一损失函数的值;根据面标识任务的预测概率图与面标识任务的金标准图像,确定面标识任务预设的第二损失函数的值;根据区域标识任务的预测概率图与区域标识任务的金标准图像,确定区域标识任务预设的第三损失函数的值;对第一损失函数的值、第二损失函数的值和第三损失函数的值进行加权求和,得到目标损失函数的值。
关于脑标识提取装置的具体限定可以参见上文中对于脑标识提取方法的限定,在此不再赘述。上述脑标识提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种脑标识提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出;
根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;
根据点标识和面标识构建脑部坐标系;
根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到脑部磁共振图像的不同类型的标识概率图;不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;不同类型的标识概率图分别通过神经网络模型中的不同任务分支网络层输出;
根据点标识概率图,确定目标主体脑部的点标识;根据面标识概率图确定目标主体脑部的面标识;根据区域标识概率图确定目标主体脑部的区域标识;
根据点标识和面标识构建脑部坐标系;
根据点标识、面标识、区域标识和脑部坐标系中的一种或多种信息,确定目标主体脑部的其他标识。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种脑标识提取方法,其特征在于,所述方法包括:
将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到所述脑部磁共振图像的不同类型的标识概率图;所述不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;所述不同类型的标识概率图分别通过所述神经网络模型中的不同任务分支网络层输出;
根据所述点标识概率图,确定所述目标主体脑部的点标识;根据所述面标识概率图确定所述目标主体脑部的面标识;根据所述区域标识概率图确定所述目标主体脑部的区域标识;
根据所述点标识和所述面标识构建脑部坐标系;
根据所述点标识、所述面标识、所述区域标识和所述脑部坐标系中的一种或多种信息,确定所述目标主体脑部的其他标识。
2.根据权利要求1所述的方法,其特征在于,所述点标识概率图包括前连合概率图和后连合概率图,所述点标识包括前连合标志点和后连合标志点;
所述根据所述点标识概率图,确定所述目标主体脑部的点标识,包括:
将所述前连合概率图中最大概率值对应的像素点确定为所述前连合标志点;将所述后连合概率图中最大概率值对应的像素点确定为所述后连合标志点。
3.根据权利要求1所述的方法,其特征在于,所述面标识概率图包括中矢面概率图,所述面标识包括中矢面;
所述根据所述面标识概率图确定所述目标主体脑部的面标识,包括:
通过预设的算法,对从所述中矢面概率图中提取的中矢面平面点集进行拟合,得到所述中矢面;所述中矢面平面点集为所述中矢面概率图中概率大于预设阈值的像素点集合。
4.根据权利要求1所述的方法,其特征在于,所述区域标识概率图包括脑实质分割区域概率图,所述区域标识包括脑实质分割区域;
所述根据所述区域标识概率图确定所述目标主体脑部的区域标识,包括:
通过预设的阈值,将所述脑实质分割区域概率图生成脑实质分割二值掩膜图像;
根据所述脑实质分割二值掩膜图像确定所述脑实质分割区域。
5.根据权利要求4所述的方法,其特征在于,所述其他标识包括大脑皮层标志点;
所述根据所述点标识、所述面标识、所述区域标识和所述脑部坐标系中的一种或多种信息,确定所述目标主体脑部的其他标识,包括:
根据所述脑实质分割区域确定大脑皮层轮廓;
通过计算所述大脑皮层轮廓上所有像素点中,在脑部坐标系中三个坐标轴方向上的最大值点和最小值点,确定所述大脑皮层标志点。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述神经网络模型包括共享网络层和不同类型标识任务的分支网络层;
所述神经网络模型的训练过程包括:
获取各所述标识任务的训练样本集和各所述标识任务的金标准图像;
将各所述标识任务的训练样本集输入至初始神经网络模型的共享网络层提取特征后,分别输入各所述标识任务的分支网络层,对应得到各所述标识任务的预测概率图;
根据各所述标识任务的预测概率图和各所述标识任务的金标准图像,确定预设的目标损失函数的值;
根据所述目标损失函数的值调整所述初始神经网络模型的参数,直至所述目标损失函数的值的变化幅度小于预设值,得到所述神经网络模型。
7.根据权利要求6所述的方法,其特征在于,所述不同类型标识任务包括点标识任务、面标识任务和区域标识任务;
所述根据各所述标识任务的预测概率图和各所述标识任务的金标准图像,确定预设的目标损失函数的值,包括:
根据所述点标识任务的预测概率图与所述点标识任务的金标准图像,确定所述点标识任务预设的第一损失函数的值;
根据所述面标识任务的预测概率图与所述面标识任务的金标准图像,确定所述面标识任务预设的第二损失函数的值;
根据所述区域标识任务的预测概率图与所述区域标识任务的金标准图像,确定所述区域标识任务预设的第三损失函数的值;
对所述第一损失函数的值、所述第二损失函数的值和所述第三损失函数的值进行加权求和,得到所述目标损失函数的值。
8.一种脑标识提取装置,其特征在于,所述装置包括:
预测模块,用于将目标主体的脑部磁共振图像输入至预设的神经网络模型中,得到所述脑部磁共振图像的不同类型的标识概率图;所述不同类型的标识概率图包括点标识概率图、面标识概率图和区域标识概率图;所述不同类型的标识概率图分别通过所述神经网络模型中的不同任务分支网络层输出;
第一处理模块,用于根据所述点标识概率图,确定所述目标主体脑部的点标识;根据所述面标识概率图确定所述目标主体脑部的面标识;根据所述区域标识概率图确定所述目标主体脑部的区域标识;
第二处理模块,用于根据所述点标识和所述面标识构建脑部坐标系;
第三处理模块,用于根据所述点标识、所述面标识、所述区域标识和所述脑部坐标系中的一种或多种信息,确定所述目标主体脑部的其他标识。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110259731.8A CN112950600B (zh) | 2021-03-10 | 2021-03-10 | 脑标识提取方法、装置、计算机设备和存储介质 |
PCT/CN2022/079897 WO2022188799A1 (zh) | 2021-03-10 | 2022-03-09 | 脑标识定位系统和方法 |
EP22766321.8A EP4293618A1 (en) | 2021-03-10 | 2022-03-09 | Brain identifier positioning system and method |
US18/464,247 US20230419499A1 (en) | 2021-03-10 | 2023-09-10 | Systems and methods for brain identifier localization |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110259731.8A CN112950600B (zh) | 2021-03-10 | 2021-03-10 | 脑标识提取方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112950600A true CN112950600A (zh) | 2021-06-11 |
CN112950600B CN112950600B (zh) | 2024-06-28 |
Family
ID=76229318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110259731.8A Active CN112950600B (zh) | 2021-03-10 | 2021-03-10 | 脑标识提取方法、装置、计算机设备和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230419499A1 (zh) |
EP (1) | EP4293618A1 (zh) |
CN (1) | CN112950600B (zh) |
WO (1) | WO2022188799A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114241232A (zh) * | 2021-11-23 | 2022-03-25 | 电子科技大学 | 基于多任务学习的摄影体位识别和体表解剖标志检测方法 |
WO2022188799A1 (zh) * | 2021-03-10 | 2022-09-15 | 武汉联影智融医疗科技有限公司 | 脑标识定位系统和方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
CN109509177A (zh) * | 2018-10-22 | 2019-03-22 | 杭州依图医疗技术有限公司 | 一种脑部影像识别的方法及装置 |
CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
US20200118265A1 (en) * | 2018-10-10 | 2020-04-16 | Canon Medical Systems Corporation | Medical image processing apparatus, medical image processing system, and medical image processing method |
CN111583189A (zh) * | 2020-04-16 | 2020-08-25 | 武汉联影智融医疗科技有限公司 | 大脑核团定位方法、装置、存储介质及计算机设备 |
CN111696119A (zh) * | 2020-06-02 | 2020-09-22 | 广州柏视医疗科技有限公司 | 核磁共振影像海马体分割方法及装置 |
CN111881743A (zh) * | 2020-06-23 | 2020-11-03 | 安徽清新互联信息科技有限公司 | 一种基于语义分割的人脸特征点定位方法 |
CN111951272A (zh) * | 2020-07-02 | 2020-11-17 | 上海联影智能医疗科技有限公司 | 脑部影像的分割方法、装置、计算机设备和可读存储介质 |
WO2020262683A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG125132A1 (en) * | 2005-02-07 | 2006-09-29 | Agency Science Tech & Res | Medical image processing |
CN109829922B (zh) * | 2018-12-20 | 2021-06-11 | 上海联影智能医疗科技有限公司 | 一种脑图像重定向方法、装置、设备及存储介质 |
CN112950600B (zh) * | 2021-03-10 | 2024-06-28 | 武汉联影智融医疗科技有限公司 | 脑标识提取方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-10 CN CN202110259731.8A patent/CN112950600B/zh active Active
-
2022
- 2022-03-09 EP EP22766321.8A patent/EP4293618A1/en active Pending
- 2022-03-09 WO PCT/CN2022/079897 patent/WO2022188799A1/zh active Application Filing
-
2023
- 2023-09-10 US US18/464,247 patent/US20230419499A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
US20200118265A1 (en) * | 2018-10-10 | 2020-04-16 | Canon Medical Systems Corporation | Medical image processing apparatus, medical image processing system, and medical image processing method |
CN109509177A (zh) * | 2018-10-22 | 2019-03-22 | 杭州依图医疗技术有限公司 | 一种脑部影像识别的方法及装置 |
CN109961443A (zh) * | 2019-03-25 | 2019-07-02 | 北京理工大学 | 基于多期ct影像引导的肝脏肿瘤分割方法及装置 |
WO2020262683A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
CN111583189A (zh) * | 2020-04-16 | 2020-08-25 | 武汉联影智融医疗科技有限公司 | 大脑核团定位方法、装置、存储介质及计算机设备 |
CN111696119A (zh) * | 2020-06-02 | 2020-09-22 | 广州柏视医疗科技有限公司 | 核磁共振影像海马体分割方法及装置 |
CN111881743A (zh) * | 2020-06-23 | 2020-11-03 | 安徽清新互联信息科技有限公司 | 一种基于语义分割的人脸特征点定位方法 |
CN111951272A (zh) * | 2020-07-02 | 2020-11-17 | 上海联影智能医疗科技有限公司 | 脑部影像的分割方法、装置、计算机设备和可读存储介质 |
Non-Patent Citations (3)
Title |
---|
SEYED SADEGH MOHSENI SALEHI.ET AL: ""Auto-Context Convolutional Neural Network (Auto-Net) for Brain Extraction in Magnetic Resonance Imaging"", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
XULEI YANG.ET AL: ""Automatic deep neural detection of anatomical landmarks in brain MR scanning using multi-task networks"", 《NEURCOMPUTING》 * |
肖化等: ""基于Talairach坐标系统的脑图谱配准算法的实现"", 《华南师范大学学报(自然科学版)》, no. 1 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022188799A1 (zh) * | 2021-03-10 | 2022-09-15 | 武汉联影智融医疗科技有限公司 | 脑标识定位系统和方法 |
CN114241232A (zh) * | 2021-11-23 | 2022-03-25 | 电子科技大学 | 基于多任务学习的摄影体位识别和体表解剖标志检测方法 |
CN114241232B (zh) * | 2021-11-23 | 2023-04-18 | 电子科技大学 | 基于多任务学习的摄影体位识别和体表解剖标志检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112950600B (zh) | 2024-06-28 |
US20230419499A1 (en) | 2023-12-28 |
EP4293618A1 (en) | 2023-12-20 |
WO2022188799A1 (zh) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3974024B1 (en) | Electrode positioning optimized using deformable templates | |
Toga et al. | The role of image registration in brain mapping | |
KR20190028422A (ko) | 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법 | |
WO2021109727A1 (zh) | 脑功能图谱的绘制方法和系统 | |
CN113367679B (zh) | 靶点确定方法、装置、设备及存储介质 | |
CN110717905B (zh) | 脑部图像检测方法、计算机设备和存储介质 | |
WO2022188799A1 (zh) | 脑标识定位系统和方法 | |
KR102442090B1 (ko) | 수술용 내비게이션 시스템에서의 점정합 방법 | |
Amaral et al. | Overlapping but distinct: Distal connectivity dissociates hand and tool processing networks | |
CN114463288B (zh) | 脑部医学影像评分方法、装置、计算机设备和存储介质 | |
Li et al. | BrainK for structural image processing: creating electrical models of the human head | |
Saxena et al. | An intelligent system for segmenting an abdominal image in multi core architecture | |
CN113450893B (zh) | 脑功能区定位和定侧方法、装置、设备及存储介质 | |
US11508070B2 (en) | Method and apparatus to classify structures in an image | |
US11682187B2 (en) | Method and apparatus to classify structures in an image | |
CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
Aranda et al. | A flocking based method for brain tractography | |
Mishra et al. | Medical image processing: A challenging analysis | |
KR102103281B1 (ko) | 뇌혈관 질환의 진단을 위한 ai 기반의 보조 진단 시스템 | |
KR102442093B1 (ko) | 수술용 내비게이션 시스템에서의 표면 정합 개선 방법 | |
Schwenke et al. | Blood flow computation in phase-contrast MRI by minimal paths in anisotropic media | |
US20210342655A1 (en) | Method And Apparatus To Classify Structures In An Image | |
Prasad et al. | Skull-stripping with machine learning deformable organisms | |
JP6788113B2 (ja) | 医用画像処理装置、方法およびプログラム | |
Ye et al. | A Bayesian approach to fiber orientation estimation guided by volumetric tract segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |