CN113706447A - 脑中线识别方法、装置、设备及存储介质 - Google Patents
脑中线识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113706447A CN113706447A CN202110396569.4A CN202110396569A CN113706447A CN 113706447 A CN113706447 A CN 113706447A CN 202110396569 A CN202110396569 A CN 202110396569A CN 113706447 A CN113706447 A CN 113706447A
- Authority
- CN
- China
- Prior art keywords
- brain
- image
- feature map
- decoding
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种脑中线识别方法、装置、设备及存储介质,属于计算机技术领域。方法包括:获取三维脑部图像;从三维脑部图像中识别脑部区域的轮廓面;对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;从三维脑部图像中,识别第一半脑区域的第一半脑轮廓面和第二半脑区域的第二半脑轮廓面;将第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集确定为脑部区域的三维脑中线。上述方法利用三维脑部图像获取第一半脑轮廓面与第二半脑轮廓面,则第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集即为三维脑中线,这种三维脑中线能够提供更多信息,更有利于确定用户的大脑状态。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种脑中线识别方法、装置、设备及存储介质。
背景技术
脑中线是分隔左右半脑的解剖结构,确定脑中线对于判断用户的大脑状态,进而衡量脑部相关疾病具有重要意义。例如,在手术导航和穿刺手术场景中,脑中线能够帮助医生判断穿刺针相对于脑中线的位置,从而能够有效防止穿刺针从一侧脑室穿到另一侧脑室。相关技术中通常会基于二维脑部图像来识别脑中线,然而,这样识别的脑中线为一条曲线,提供的信息少,不利于确定用户的大脑状态。
发明内容
本申请实施例提供了一种脑中线识别方法、装置、设备及存储介质,能够识别三维的脑中线,从而提供更多信息,有利于确定用户的大脑状态。所述技术方案如下:
一方面,提供了一种脑中线识别方法,所述方法包括:
获取三维脑部图像,所述三维脑部图像包括脑部区域;
从所述三维脑部图像中识别所述脑部区域的轮廓面;
对所述三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;
从所述三维脑部图像中,识别所述第一半脑区域的第一半脑轮廓面和所述第二半脑区域的第二半脑轮廓面;
将所述第一半脑轮廓面与所述第二半脑轮廓面的并集与所述脑部区域的轮廓面之间的差集确定为所述脑部区域的三维脑中线。
在一种可能的实现方式中,所述基于所述三维脑部图像,确定所述脑部区域对应的状态,包括:
调用分类模型,对所述三维脑部图像进行分类,得到分类标签,所述分类标签用于描述所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室。
在一种可能的实现方式中,所述分类模型的训练过程包括:
获取第二样本数据,所述第二样本数据包括样本三维脑部图像和样本标签,所述样本三维脑部图像包括脑部区域,所述样本标签用于描述所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室;
调用所述分类模型,对所述样本三维脑部图像进行分类,得到预测标签;
基于所述样本标签和所述预测标签,训练所述分类模型。
在一种可能的实现方式中,所述对所述三维脑部图像进行图像分割,得到病灶区域,包括:
调用病灶分割模型,对所述三维脑部图像进行图像分割,得到所述病灶区域。
在一种可能的实现方式中,所述调用病灶分割模型,对所述三维脑部图像进行图像分割,得到所述病灶区域,包括:
调用所述病灶分割模型,对所述三维脑部图像进行图像分割,得到病灶概率图,所述病灶概率图用于表示所述三维脑部图像中的每个点属于病灶区域的概率;
将所述病灶概率图中,对应的概率大于第二概率阈值的点确定为病灶区域中的点,将所述病灶区域中的点构成的集合确定为所述病灶区域。
在一种可能的实现方式中,所述病灶分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述病灶分割模型,对所述三维脑部图像进行图像分割,得到病灶概率图,包括:
将所述三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将所述第k个解码特征图确定为所述病灶概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述病灶分割模型的训练过程包括:
获取第三样本数据,所述第三样本数据包括样本三维脑部图像和第二样本分割图像,所述第二样本分割图像中标注有所述样本三维脑部图像中的病灶区域;
调用所述病灶分割模型,对所述样本三维脑部图像进行图像分割,得到病灶概率图,所述病灶概率图用于表示所述样本三维脑部图像中的每个点属于病灶区域的概率;
基于所述病灶概率图和所述第二样本分割图像,训练所述病灶分割模型。
在一种可能的实现方式中,所述基于所述病灶概率图和所述第二样本分割图像,训练所述病灶分割模型,包括:
基于所述第二样本分割图像,确定属于病灶区域的至少一个点;
基于所述病灶概率图,确定所述属于病灶区域的至少一个点属于病灶区域的概率;
基于所述属于病灶区域的至少一个点属于病灶区域的概率,确定所述病灶分割模型的损失值;
基于所述损失值,训练所述病灶分割模型。
在一种可能的实现方式中,所述病灶分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述病灶分割模型,对所述样本三维脑部图像进行图像分割,得到病灶概率图,包括:
将所述样本三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将所述第k个解码特征图确定为所述病灶概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述获取三维脑部图像,包括:
获取原始脑部图像,所述原始脑部图像为三维图像;
获取模板脑部图像,所述模板脑部图像左右对称;
按照所述模板脑部图像,对所述原始脑部图像进行刚性配准,得到所述三维脑部图像。
在一种可能的实现方式中,所述获取三维脑部图像,包括:
获取大脑的计算机断层扫描CT图像,将所述CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,得到所述三维脑部图像;
其中,所述窗宽表示所述CT图像中显示的CT值的范围,所述窗位表示所述CT值的范围的中间值。
在一种可能的实现方式中,所述获取三维脑部图像,包括:
获取原始脑部图像,所述原始脑部图像包括多个扫描层;
对所述多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔;
将采样后的所述原始脑部图像作为所述三维脑部图像。
在一种可能的实现方式中,所述获取三维脑部图像,包括:
获取原始脑部图像,所述原始脑部图像为三维图像;
将所述原始脑部图像的尺寸调整为参考尺寸,得到所述三维脑部图像。
另一方面,提供了一种脑中线识别装置,所述装置包括:
图像获取模块,用于获取三维脑部图像,所述三维脑部图像包括脑部区域;
第一识别模块,用于从所述三维脑部图像中识别所述脑部区域的轮廓面;
图像分割模块,用于对所述三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;
第二识别模块,用于从所述三维脑部图像中,识别所述第一半脑区域的第一半脑轮廓面和所述第二半脑区域的第二半脑轮廓面;
脑中线确定模块,用于将所述第一半脑轮廓面与所述第二半脑轮廓面的并集与所述脑部区域的轮廓面之间的差集确定为所述脑部区域的三维脑中线。
在一种可能的实现方式中,所述图像分割模块,用于调用大脑分割模型,对所述三维脑部图像进行图像分割,得到所述第一半脑区域和所述第二半脑区域。
在一种可能的实现方式中,所述图像分割模块,包括:
第一分割单元,用于调用所述大脑分割模型,对所述三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,所述第一半脑概率图用于表示所述三维脑部图像中的每个点属于第一半脑区域的概率,所述第二半脑概率图用于表示所述三维脑部图像中的每个点属于第二半脑区域的概率;
区域确定单元,用于将所述第一半脑概率图中,对应的概率大于第一概率阈值的点确定为第一半脑区域中的点,将所述第一半脑区域中的点构成的集合确定为所述第一半脑区域;将所述第二半脑概率图中,对应的概率大于所述第一概率阈值的点确定为第二半脑区域中的点,将所述第二半脑区域中的点构成的集合确定为所述第二半脑区域。
在一种可能的实现方式中,所述大脑分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述第一分割单元,用于将所述三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述三维脑部图像进行特征提取,输出第1个编码特征图;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,所述第k个解码特征图包括所述第一半脑概率图和所述第二半脑概率图;其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;
所述第一分割单元,用于基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述大脑分割模型的训练过程包括:
获取第一样本数据,所述第一样本数据包括样本三维脑部图像和第一样本分割图像,所述第一样本分割图像中标注有所述样本三维脑部图像中的第一半脑区域和第二半脑区域;
调用所述大脑分割模型,对所述样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,所述第一半脑概率图用于表示所述样本三维脑部图像中的每个点属于第一半脑区域的概率,所述第二半脑概率图用于表示所述样本三维脑部图像中的每个点属于第二半脑区域的概率;
基于所述第一半脑概率图、所述第二半脑概率图以及所述第一样本分割图像,训练所述大脑分割模型。
在一种可能的实现方式中,所述基于所述第一半脑概率图、所述第二半脑概率图以及所述第一样本分割图像,训练所述大脑分割模型,包括:
基于所述第一样本分割图像,确定属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点;
基于所述第一半脑概率图,确定所述属于第一半脑区域的至少一个点属于第一半脑区域的概率,并基于所述第二半脑概率图,确定所述属于第二半脑区域的至少一个点属于第二半脑区域的概率;
基于所述属于第一半脑区域的至少一个点属于第一半脑区域的概率以及所述属于第二半脑区域的至少一个点属于第二半脑区域的概率,确定所述大脑分割模型的损失值;
基于所述损失值,训练所述大脑分割模型。
在一种可能的实现方式中,所述大脑分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述大脑分割模型,对所述样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括:
将所述样本三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,所述第k个解码特征图包括所述第一半脑概率图和所述第二半脑概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述第一识别模块,用于从所述三维脑部图像中识别所述脑部区域的轮廓点;将所述脑部区域的轮廓点构成的集合确定为所述脑部区域的轮廓面;
所述第二识别模块,用于从所述三维脑部图像中,识别所述第一半脑区域的轮廓点和所述第二半脑区域的轮廓点;将所述第一半脑区域的轮廓点构成的集合确定为所述第一半脑轮廓面,将所述第二半脑区域的轮廓点构成的集合确定为所述第二半脑轮廓面。
在一种可能的实现方式中,所述装置还包括:
状态确定模块,用于基于所述三维脑部图像,确定所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室;
脑中线校正模块,用于响应于所述状态为病灶未破入脑室,对所述三维脑中线进行校正。
在一种可能的实现方式中,所述脑中线校正模块,包括:
第二分割单元,用于对所述三维脑部图像进行图像分割,得到病灶区域;
脑中线校正单元,用于基于所述病灶区域和所述三维脑中线确定病灶所在的目标区域,所述目标区域为所述第一半脑区域或所述第二半脑区域;将所述病灶区域的病灶轮廓面中处于所述目标区域的第一轮廓面去除,得到剩余的第二轮廓面;确定所述病灶轮廓面与所述三维脑中线的两条交线,将所述三维脑中线中所述两条交线之间的第一脑中线去除,得到剩余的第二脑中线;将所述第二脑中线与所述第二轮廓面进行拟合,得到校正后的三维脑中线。
在一种可能的实现方式中,所述状态确定模块,用于调用分类模型,对所述三维脑部图像进行分类,得到分类标签,所述分类标签用于描述所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室。
在一种可能的实现方式中,所述分类模型的训练过程包括:
获取第二样本数据,所述第二样本数据包括样本三维脑部图像和样本标签,所述样本三维脑部图像包括脑部区域,所述样本标签用于描述所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室;
调用所述分类模型,对所述样本三维脑部图像进行分类,得到预测标签;
基于所述样本标签和所述预测标签,训练所述分类模型。
在一种可能的实现方式中,所述第二分割单元,用于调用病灶分割模型,对所述三维脑部图像进行图像分割,得到所述病灶区域。
在一种可能的实现方式中,所述第二分割单元,包括:
分割子单元,用于调用所述病灶分割模型,对所述三维脑部图像进行图像分割,得到病灶概率图,所述病灶概率图用于表示所述三维脑部图像中的每个点属于病灶区域的概率;
确定子单元,用于将所述病灶概率图中,对应的概率大于第二概率阈值的点确定为病灶区域中的点,将所述病灶区域中的点构成的集合确定为所述病灶区域。
在一种可能的实现方式中,所述病灶分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述分割子单元,用于将所述三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述三维脑部图像进行特征提取,输出第1个编码特征图;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将所述第k个解码特征图确定为所述病灶概率图;其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;
所述分割子单元,用于基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述病灶分割模型的训练过程包括:
获取第三样本数据,所述第三样本数据包括样本三维脑部图像和第二样本分割图像,所述第二样本分割图像中标注有所述样本三维脑部图像中的病灶区域;
调用所述病灶分割模型,对所述样本三维脑部图像进行图像分割,得到病灶概率图,所述病灶概率图用于表示所述样本三维脑部图像中的每个点属于病灶区域的概率;
基于所述病灶概率图和所述第二样本分割图像,训练所述病灶分割模型。
在一种可能的实现方式中,所述基于所述病灶概率图和所述第二样本分割图像,训练所述病灶分割模型,包括:
基于所述第二样本分割图像,确定属于病灶区域的至少一个点;
基于所述病灶概率图,确定所述属于病灶区域的至少一个点属于病灶区域的概率;
基于所述属于病灶区域的至少一个点属于病灶区域的概率,确定所述病灶分割模型的损失值;
基于所述损失值,训练所述病灶分割模型。
在一种可能的实现方式中,所述病灶分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述病灶分割模型,对所述样本三维脑部图像进行图像分割,得到病灶概率图,包括:
将所述样本三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将所述第k个解码特征图确定为所述病灶概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
在一种可能的实现方式中,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
在一种可能的实现方式中,所述图像获取模块,用于获取原始脑部图像,所述原始脑部图像为三维图像;获取模板脑部图像,所述模板脑部图像左右对称;按照所述模板脑部图像,对所述原始脑部图像进行刚性配准,得到所述三维脑部图像。
在一种可能的实现方式中,所述图像获取模块,用于获取大脑的计算机断层扫描CT图像,将所述CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,得到所述三维脑部图像;其中,所述窗宽表示所述CT图像中显示的CT值的范围,所述窗位表示所述CT值的范围的中间值。
在一种可能的实现方式中,所述图像获取模块,用于获取原始脑部图像,所述原始脑部图像包括多个扫描层;对所述多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔;将采样后的所述原始脑部图像作为所述三维脑部图像。
在一种可能的实现方式中,所述图像获取模块,用于获取原始脑部图像,所述原始脑部图像为三维图像;将所述原始脑部图像的尺寸调整为参考尺寸,得到所述三维脑部图像。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述计算机程序由所述处理器加载并执行以实现上述任一种可能实现方式中的脑中线识别方法中执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述任一种可能实现方式中的脑中线识别方法中执行的操作。
再一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括计算机程序,所述计算机程序存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序,所述处理器执行所述计算机程序,使得所述计算机设备执行上述各种可选实现方式中的脑中线识别方法中执行的操作。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例在识别脑中线时,将识别脑中线的问题转化成左右半脑分割的问题,利用三维脑部图像进行左右脑的分割,进而获取到第一半脑轮廓面和第二半脑轮廓面,则第一半脑轮廓面与第二半脑轮廓面的并集与全脑轮廓面之间的差集即为三维脑中线,相对于通过二维脑部图像所识别的脑中线来说,这种三维脑中线能够提供更多信息,更有利于确定用户的大脑状态。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种脑中线识别方法的流程图;
图3是本申请实施例提供的一种脑中线识别方法的流程图;
图4是本申请实施例提供的一种扫描层示意图;
图5是本申请实施例提供的一种脑中线识别方法的流程图;
图6是本申请实施例提供的一种大脑的三维分割图;
图7是本申请实施例提供的一种扫描层示意图;
图8是本申请实施例提供的一种三维脑中线的示意图;
图9是本申请实施例提供的一种扫描层示意图;
图10是本申请实施例提供的一种通过大脑分割模型识别三维脑中线的过程示意图;
图11是本申请实施例提供的一种扫描层示意图;
图12是本申请实施例提供的一种扫描层示意图;
图13是本申请实施例提供的一种分类模型的示意图;
图14是本申请实施例提供的一种识别三维脑中线的过程示意图;
图15是本申请实施例提供的一种脑中线识别方法的流程图;
图16是本申请实施例提供的一种脑中线识别装置的框图;
图17是本申请实施例提供的一种脑中线识别装置的框图;
图18是本申请实施例提供的一种终端的结构示意图;
图19是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一编码网络称为编码网络,且类似地,可将第二编码网络称为第一编码网络。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个编码网络包括3个编码网络,而每个是指这3个编码网络中的每一个编码网络,任一是指这3个编码网络中的任意一个,可以是第一个,可以是第二个、也可以是第三个。
图1是本申请实施例提供的一种实施环境的示意图。参见图1,该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。可选地,终端101为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、摄像机、照相机或者其他终端。可选地,服务器102是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选地,终端101上安装有由服务器102提供服务的目标应用,终端101能够通过该目标应用实现例如数据传输、消息交互等功能。可选地,目标应用为终端101操作系统中的目标应用,或者为第三方提供的目标应用。该目标应用具有对三维脑部图像进行处理的功能,例如,识别三维脑部图像中的三维脑中线,当然,该目标应用还能够具有其他功能,本申请对此不做限制。可选地,该目标应用为图像处理应用、建模应用等。
本申请实施例中,终端101用于获取三维脑部图像,从三维脑部图像中识别出三维脑中线。或者终端101将三维脑部图像上传至服务器102,由服务器102从三维脑部图像中识别出三维脑中线后,再将已识别出三维脑中线的三维脑部图像下传至终端101。需要说明的是,本申请实施例仅以实施环境中包括终端101和服务器102为例进行说明,在其他实施例中,实施环境中仅包括终端101或者服务器102。由终端101或服务器102来获取三维脑部图像,并识别其中的三维脑中线。
本申请中的脑中线识别方法能够应用在判断用户大脑状态的场景下。例如,医生通过三维脑部图像的扫描设备为用户扫描了三维脑部图像后,将该三维脑部图像发送到用于识别三维脑中线的设备中,该设备通过本申请提供的方法识别出该三维脑部图像中的三维脑中线,帮助医生判断用户大脑的状态。或者,用于扫描三维脑部图像的设备与用于识别三维脑中线的设备为同一个设备,则医生通过该设备获取到用户的三维脑部图像后,直接通过该设备来识别其中的三维脑中线。
本申请中的脑中线识别方法还能够应用在手术导航的场景下,例如,医生在为用户进行脑部手术前,通过任意设备采用本申请提供的方法获取到用户的三维脑中线,在为用户进行脑部手术时,将该三维脑中线作为参考,实现手术中的实时定位,以避免各种手术器械穿透左半脑和右半脑之间的分隔膜等,提高手术安全性。
本申请中的脑中线识别方法还能够应用在制定手术规划的场景下,例如,医生在为用户进行脑部手术前,通过任意设备采用本申请提供的方法获取到用户的三维脑中线,然后结合用户脑部区域的状态,制定一个避开三维脑中线的手术方案。
本申请的脑中线识别方法能够应用在疾病诊断的场景下,例如,根据本申请提供的方法获取的三维脑中线结合其他信息,能够确定用户是否患病,以及疾病的严重程度。可选地,其他信息包括标准三维脑中线,其中,标准三维脑中线是没有位置偏移的三维脑中线。将本申请提供的三维脑中线与标准三维脑中线结合,能够确定用户的脑中线的偏移距离,将该距离作为脑部疾病的一个判断指标,来确定用户是否患有脑部血肿、脑部肿瘤等疾病。还能够基于该偏移距离确定出脑部血肿或脑部肿瘤等疾病对脑组织的压迫程度,进而确定用户脑部疾病的严重程度。
实际上,本申请提供的脑中线识别方法能够应用在任意识别脑中线的场景下,本申请实施例对此不做限制。
图2是本申请实施例提供的一种脑中线识别方法的流程图。参见图2,该实施例包括:
201、终端获取三维脑部图像,三维脑部图像包括脑部区域。
三维脑部图像中的脑部区域为三维结构。可选地,脑部区域中包括多个点,每个点都具有三维坐标,表示该点在脑部区域中的位置。可选地,三维坐标系的坐标原点在脑部区域的任一位置,例如,坐标原点为脑部区域中鼻尖的位置,左眼角的位置等,本申请实施例对此不做限制。三维脑部图像中包括背景区域和脑部区域,背景区域是三维脑部图像中除了脑部区域外的其他区域。
202、终端从三维脑部图像中识别脑部区域的轮廓面。
其中,脑部区域的轮廓面是指脑部区域的多个轮廓点构成的曲面。
203、终端对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域。
正常情况下,大脑为左右对称结构,大脑区域包括左半脑区域和右半脑区域。其中左半脑区域是指从正面观看三维脑部图像时,位于右侧的半个大脑区域,相应的,右半脑区域是指从正面观看三维脑部图像时,位于左侧的半个大脑区域。或者,左半脑区域对应用户实际的左半个大脑,右半脑区域对应用户实际的右半个大脑。其中,第一半脑区域为左半脑区域或右半脑区域,第二半脑区域为左半脑区域或右半脑区域,且第一半脑区域和第二半脑区域不同。
204、终端从三维脑部图像中,识别第一半脑区域的第一半脑轮廓面和第二半脑区域的第二半脑轮廓面。
其中,第一半脑轮廓面是指第一半脑区域的多个轮廓点构成的曲面,第二半脑轮廓面是指第二半脑区域的多个轮廓点构成的曲面。
205、终端将第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集确定为脑部区域的三维脑中线。
第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集是个三维结构,并且该三维结构将第一半脑区域和第二半脑区域分隔开,因此,将该三维结构作为脑部区域的三维脑中线。
本申请实施例在识别脑中线时,将识别脑中线的问题转化成左右半脑分割的问题,利用三维脑部图像进行左右脑的分割,进而获取到第一半脑轮廓面和第二半脑轮廓面,则第一半脑轮廓面与第二半脑轮廓面的并集与全脑轮廓面之间的差集即为三维脑中线,相对于通过二维脑部图像所识别的脑中线来说,这种三维脑中线能够提供更多信息,更有利于确定用户的大脑状态。
图3是本申请实施例提供的一种脑中线识别方法的流程图。该实施例描述大脑分割模型的训练过程。参见图3,该实施例包括:
301、终端获取第一样本数据,第一样本数据包括样本三维脑部图像和第一样本分割图像,第一样本分割图像中标注有样本三维脑部图像中的第一半脑区域和第二半脑区域。
大脑分割模型的功能是确定三维脑部图像中的第一半脑区域和第二半脑区域。本申请实施例通过训练大脑分割模型,使得后续能够利用该大脑分割模型快速确定三维脑部图像中的第一半脑区域和第二半脑区域,提高脑中线识别效率。
其中,样本三维脑部图像是用于训练大脑分割模型的三维脑部图像,样本三维脑部图像的数量为任意数量,本申请实施例对此不做限制。第一样本分割图像中标注有第一半脑区域和第二半脑区域。可选地,在第一样本分割图像中标注出大脑区域,并在第一半脑区域和第二半脑区域的中间标注多个分割点,然后将多个分割点连接起来,得到分割面,则分割面第一侧的区域即为第一半脑区域,分割面第二侧的区域即为第二半脑区域。图4为三维脑部图像中的一个扫描层的示意图,一个扫描层即为一帧二维脑部图像。参考图4,该扫描层中包括11个分割点,即分割点F-1至分割点F-11,该多个分割点的连线为该扫描层对应的分割线。则三维脑部图像中的所有扫描层对应的分割线构成的三维结构则为三维脑中线。
可选地,终端获取第一样本数据的方式为:终端获取多帧连续的二维脑部图像,将该多帧连续的二维脑部图像重构为三维脑部图像,将该三维脑部图像确定为样本三维脑部图像。然后标注出该样本三维脑部图像中的第一半脑区域和第二半脑区域,得到第一样本分割图像。其中,二维脑部图像为大脑的CT(Computed Tomography,计算机断层扫描)图像、大脑的MRI(Magnetic Resonance Imaging,核磁共振成像)图像,或者其他类型的脑部扫描图像。
在一种可能的实现方式中,终端获取样本三维脑部图像的过程还包括:终端获取模板脑部图像,模板脑部图像左右对称,终端按照该模板脑部图像对重构出的三维脑部图像进行刚性配准,将刚性配准后的三维脑部图像确定为样本三维脑部图像。可选地,模板脑部图像左右对称并且对应的三维脑中线没有偏移。其中,终端按照该模板脑部图像对重构出的三维脑部图像进行刚性配准,将刚性配准后的三维脑部图像确定为样本三维脑部图像的实现方式为:终端将重构出的三维脑部图像刚性配准到模板脑部图像,将配准后的三维脑部图像确定为样本三维脑部图像。
可选地,终端按照模板脑部图像对重构出的三维脑部图像进行刚性配准的实现方式为:终端按照模板脑部图像,通过图像配准工具对原始脑部图像进行刚性配准。可选地,该图像配准工具为Elastix(一种图像配准工具)。
在本申请实施例中,通过已进行刚性配准的样本三维脑部图像对大脑分割模型进行训练,则在样本三维脑部图像的数量为多个的情况下,大脑分割模型不会因为多个样本三维脑部图像的角度不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
可选地,获取模板脑部图像的实现方式包括:获取一个状态正常的大脑对应的多帧连续的二维脑部图像,该多帧二维脑部图像对应的扫描区域覆盖完整的头部结构,例如,扫描区域从头顶覆盖到下巴,并且该多帧二维脑部图像左右对称,对该多帧连续的二维脑部图像进行三维重构,得到模板脑部图像。其中,状态正常的大脑为由医生判断的状态正常的大脑。其中,二维脑部图像为脑部CT图像、脑部MRI图像或者其他类型的脑部扫描图像,本申请实施例对此不做限制。
在本申请实施例中,由于模板脑部图像包括完整的脑部结构,且左右对称,因此,在重构出的三维脑部图像对应完整脑部结构或部分脑部结构的情况下,都能够对该三维脑部图像进行配准。
在一种可能的实现方式中,在终端获取的二维脑部图像为大脑的CT图像的情况下,终端在将二维脑部图像重构为三维的脑部图像之前,先将大脑的CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,其中,窗宽表示CT图像中显示的CT值的范围,窗位表示CT值的范围的中间值。参考窗宽和参考窗位根据需要设置,例如,该参考窗宽和参考窗位是使大脑的CT图像显示的最清晰的窗宽和窗位。在本申请实施例中,通过将大脑的CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,能够调整CT图像的清晰程度,以实现最佳显示脑组织、血肿、肿瘤等组织,则通过该CT图像重构的样本三维脑部图像来训练大脑分割模型,能够降低大脑分割模型的训练难度,提高大脑分割模型进行大脑分割的准确率。
可选地,终端调整大脑的CT图像的窗宽和窗位之后,还要对该CT图像的像素值进行归一化处理,如此能够降低大脑分割模型学习的难度。
在一种可能的实现方式中,终端获取样本三维脑部图像,包括:终端获取原始脑部图像,原始脑部图像包括多个扫描层;对多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔;将采样后的原始脑部图像作为样本三维脑部图像。其中,一个扫描层即是一帧二维脑部图像,任两个扫描层的间隔称为层厚,表示两个扫描层对应的实际大脑层的间隔。可选地,对多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔的实现方式包括:在原始脑部图像中任两个扫描层的间隔小于参考间隔的情况下,通过从多个扫描层中抽取出部分扫描层,以使任两个扫描层的间隔达到参考间隔。在原始脑部图像中任两个扫描层的间隔大于参考间隔的情况下,通过在任两个扫描层之间进行线性插值,以使任两个扫描层的间隔达到参考间隔。其中,参考间隔为任意间隔,例如,1mm、2mm等,本申请实施例对此不做限制。可选地,终端获取原始脑部图像的实现方式包括:终端获取多帧连续的二维脑部图像,将该多帧连续的二维脑部图像重构为三维脑部图像,将该三维脑部图像确定为原始脑部图像。
在本申请实施例中,通过采样使得样本三维脑部图像中任两个扫描层的间隔为参考间隔,则通过该样本三维脑部图像对大脑分割模型进行训练,即使样本三维脑部图像的数量为多个,大脑分割模型也不会因为多个样本三维脑部图像中扫描层的间隔不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
在一种可能的实现方式中,终端获取样本三维脑部图像,包括:终端获取原始脑部图像,原始脑部图像为三维图像;将原始脑部图像的尺寸调整为参考尺寸,得到样本三维脑部图像。可选地,终端将原始脑部图像的尺寸调整为参考尺寸的实现方式包括:终端通过剪裁或者在原始脑部图像中补充像素的方式将原始脑部图像调整为参考尺寸。其中,所补充像素的像素值为零。
在本申请实施例中,通过尺寸调整使得样本三维脑部图像的尺寸为参考尺寸,则通过该样本三维脑部图像对大脑分割模型进行训练,即使样本三维脑部图像的数量为多个,大脑分割模型也不会因为多个样本三维脑部图像的尺寸不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
302、终端调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图。
第一半脑概率图用于表示样本三维脑部图像中的每个点属于第一半脑区域的概率,第二半脑概率图用于表示样本三维脑部图像中的每个点属于第二半脑区域的概率。
在一种可能的实现方式中,大脑分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络,该k为大于1的正整数。相应的,终端调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括以下步骤(1)-(4):
(1)终端将样本三维脑部图像输入至第1个编码网络中,基于第1个编码网络对样本三维脑部图像进行特征提取,输出第1个编码特征图。
(2)终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中。
其中,i为大于1且不大于k的任一正整数,可选地,第i个编码网络的上一个网络为第i-1个编码网络。
(3)终端基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图。
(4)终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,第k个解码特征图包括第一半脑概率图和第二半脑概率图。
可选地,第i个解码网络的上一个网络为第i-1个解码网络。可选地,基于第i个解码网络对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合的实现方式为:基于第i个解码网络将上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行连接(concat)操作,得到融合后的特征图。或者,基于第i个解码网络将上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行相加(add)操作,得到融合后的特征图,本申请实施例对此不做限制。可选地,基于第i个解码网络将上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行连接操作前,将第(k+1-i)个编码特征图剪切至与上一个网络输出的解码特征图一样的尺寸,然后再进行连接操作。
编码网络为任意结构,例如,编码网络包括两个3*3*3的卷积层(Convolutionlayer)和一个激活层(Activation layer)。可选地,激活层采用的函数为线性整流函数(Rectified Linear Unit,ReLU)。并且,每个编码网络的结构相同或者不同。解码网络为任意结构,例如,解码网络包括两个3*3*3的卷积层(Convolution layer)和一个激活层(Activation layer),或者解码网络包括1个1*1*1的卷积层,并且每个解码网络的结构相同或者不同。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络。相应的,终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:终端基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图。其中,下采样用于减少编码特征图的维度。
终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:终端基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。其中,上采样用于增加编码特征图的维度。
其中,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合的实现方式与对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合的实现方式同理,此处不再赘述。
上采样网络为任意结构,例如,上采样网络包括1个2*2*2的卷积层。并且,每个上采样网络的结构相同或者不同。下采样网络为任意结构,例如,下采样网络包括1个2*2*2的池化层。并且,每个下采样网络的结构相同或者不同。
在本申请实施例中,在通过大脑分割模型进行图像分割得到第一半脑概率图和第二半脑概率图时,通过编码子模型中的下采样网络进行下采样,能够获取到低分辨率的中间编码特征,从而为第一半脑和第二半脑的识别提供识别依据,通过解码子模型中的上采样网络进行上采样,能够获取到高分辨率的中间解码特征,从而为第一半脑区域和第二半脑区域的精准分割提供定位依据,如此能够保证大脑分割模型所确定的第一半脑概率图和第二半脑概率图的准确性。另外,第一个解码网络之后的解码网络在进行图像重构时,通过将编码网络输出的编码特征图与解码网络输出的解码特征图进行融合的方式,在解码特征图中填补底层信息,从而能够提高大脑分割模型的分割精度。
303、终端基于第一半脑概率图、第二半脑概率图以及第一样本分割图像,训练大脑分割模型。
在一种可能的实现方式中,终端基于第一半脑概率图、第二半脑概率图以及第一样本分割图像,训练大脑分割模型,包括:终端基于第一样本分割图像,确定属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点;基于第一半脑概率图,确定属于第一半脑区域的至少一个点属于第一半脑区域的概率,并基于第二半脑概率图,确定属于第二半脑区域的至少一个点属于第二半脑区域的概率;然后终端基于属于第一半脑区域的至少一个点属于第一半脑区域的概率以及属于第二半脑区域的至少一个点属于第二半脑区域的概率,确定大脑分割模型的损失值;基于损失值,训练大脑分割模型。
可选地,终端基于属于第一半脑区域的至少一个点属于第一半脑区域的概率以及属于第二半脑区域的至少一个点属于第二半脑区域的概率,确定大脑分割模型的损失值的实现方式为:终端基于第一半脑区域的至少一个点属于第一半脑区域的概率确定第一半脑损失值,基于第二半脑区域的至少一个点属于第二半脑区域的概率确定第二半脑损失值,将第一半脑损失值与第二半脑损失值的和确定为大脑分割模型的损失值。可选地,通过下述公式(1)和(2)确定大脑分割模型的损失值。
Ltotal=LL+λ*LR (2)
其中,Ldice表示第一半脑损失值或第二半脑损失值。在Ldice表示第一半脑损失值的情况下,X表示大脑分割模型确定的属于第一半脑区域中的至少一个点属于第一半脑区域的概率,Y表示属于第一半脑区域中的至少一个点实际上属于第一半脑区域的概率,即1。在Ldice表示第二半脑损失值的情况下,X表示大脑分割模型确定的属于第二半脑区域中的至少一个点属于第二半脑区域的概率,Y表示属于第二半脑区域中的至少一个点实际上属于第二半脑区域的概率,即1。Ltotal表示大脑分割模型的损失值,LL表示第一半脑损失值,LR表示第二半脑损失值,λ表示第二半脑损失值的权重。
可选地,终端基于损失值,训练大脑分割模型的实现方式为:终端调整大脑分割模型的参数,以使基于调整后的大脑分割模型获取的损失值变小。
在本申请实施例中,通过第一分割图像来确定出实际上属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点,则利用大脑分割模型所确定的属于第一半脑区域的至少一个点属于第一半脑区域的概率以及属于第二半脑区域的至少一个点属于第二半脑区域的概率,能够体现大脑分割模型的分割准确率,因此,通过这两种概率来确定大脑分割模型的损失值,按照该损失值训练大脑分割模型能够不断提高模型的分割准确率。
在本申请实施例中,通过已进行刚性配准的样本三维脑部图像对大脑分割模型进行训练,则在样本三维脑部图像的数量为多个的情况下,大脑分割模型不会因为多个样本三维脑部图像的角度不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
在本申请实施例中,通过将大脑的CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,能够调整CT图像的清晰程度,则通过该CT图像重构的样本三维脑部图像来训练大脑分割模型,能够降低大脑分割模型的训练难度,提高大脑分割模型进行大脑分割的准确率。
在本申请实施例中,通过采样使得样本三维脑部图像中任两个扫描层的间隔为参考间隔,则通过该样本三维脑部图像对大脑分割模型进行训练,即使样本三维脑部图像的数量为多个,大脑分割模型也不会因为多个样本三维脑部图像中扫描层的间隔不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
在本申请实施例中,通过尺寸调整使得样本三维脑部图像的尺寸为参考尺寸,则通过该样本三维脑部图像对大脑分割模型进行训练,即使样本三维脑部图像的数量为多个,大脑分割模型也不会因为多个样本三维脑部图像的尺寸不同而受到干扰,能够提高大脑分割模型的训练效率,并且能够提高大脑分割模型的分割准确性。
在本申请实施例中,在通过大脑分割模型进行图像分割得到第一半脑概率图和第二半脑概率图时,通过编码子模型中的下采样网络进行下采样,能够获取到低分辨率的中间编码特征,从而为第一半脑和第二半脑的识别提供识别依据,通过解码子模型中的上采样网络进行上采样,能够获取到高分辨率的中间解码特征,从而为第一半脑区域和第二半脑区域的精准分割提供定位依据,如此能够保证大脑分割模型所确定的第一半脑概率图和第二半脑概率图的准确性。另外,第一个解码网络之后的解码网络在进行图像重构时,通过将编码网络输出的编码特征图与解码网络输出的解码特征图进行融合的方式,在解码特征图中填补底层信息,从而能够提高大脑分割模型的分割精度。
在本申请实施例中,通过第一分割图像来确定出实际上属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点,则利用大脑分割模型所确定的属于第一半脑区域的至少一个点属于第一半脑区域的概率以及属于第二半脑区域的至少一个点属于第二半脑区域的概率,能够体现大脑分割模型的分割准确率,因此,通过这两种概率来确定大脑分割模型的损失值,按照该损失值训练大脑分割模型能够不断提高模型的分割准确率。
图5是本申请实施例提供的一种脑中线识别方法的流程图。该实施例描述识别脑中线的过程。参见图5,该实施例包括:
501、终端获取三维脑部图像,三维脑部图像包括脑部区域。
在一种可能的实现方式中,终端获取三维脑部图像,包括:终端获取原始脑部图像,原始脑部图像为三维图像;获取模板脑部图像,模板脑部图像左右对称;终端按照模板脑部图像,对原始脑部图像进行刚性配准,得到三维脑部图像。该步骤的实现方式与获取样本三维脑部图像时,进行配准的方式同理,此处不再赘述。在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像是左右对称的,因此,利用模板脑部图像对原始脑部图像进行刚性配准,使得获取的三维脑部图像呈左右对称,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
在一种可能的实现方式中,终端获取三维脑部图像,包括:终端获取大脑的CT图像,将CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,得到三维脑部图像。该步骤的实现方式与获取样本三维脑部图像时,确定窗宽和窗位的方式同理,此处不再赘述。在本申请实施例中,通过调整CT图像的窗宽和窗位,能够调整CT图像的清晰程度,从而降低大脑分割模型进行图像分割的难度,保证大脑分割模型进行图像分割的准确性。
可选地,终端调整大脑的CT图像的窗宽和窗位之后,还要对该CT图像的像素值进行归一化处理,如此能够降低大脑分割模型学习的难度。
在一种可能的实现方式中,终端获取三维脑部图像,包括:终端获取原始脑部图像,原始脑部图像包括多个扫描层;对多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔;将采样后的原始脑部图像作为三维脑部图像。该步骤的实现方式与获取样本三维脑部图像时,进行采样的方式同理,此处不再赘述。在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像中任两个扫描层的间隔为参考间隔,因此,对原始脑部图像进行采样,使得获取的三维脑部图像中任两个扫描层的间隔也为参考间隔,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
在一种可能的实现方式中,终端获取三维脑部图像,包括:终端获取原始脑部图像,原始脑部图像为三维图像;将原始脑部图像的尺寸调整为参考尺寸,得到三维脑部图像。该步骤的实现方式与获取样本三维脑部图像时,进行尺寸调整的方式同理,此处不再赘述。在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像的尺寸为参考尺寸,因此,对原始脑部图像进行采样,使得获取的三维脑部图像的尺寸也为参考尺寸,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
502、终端从三维脑部图像中识别脑部区域的轮廓面。
在一种可能的实现方式中,终端从三维脑部图像中识别脑部区域的轮廓面,包括:终端从三维脑部图像中识别脑部区域的轮廓点;将脑部区域的轮廓点构成的集合确定为脑部区域的轮廓面。
可选地,终端从三维脑部图像中识别脑部区域的轮廓点的实现方式为:终端计算三维脑部图像中脑部区域的图像梯度,基于计算的脑部区域的图像梯度确定脑部区域的轮廓点。其中,图像梯度能够表示相邻点之间的像素值的变化率,而脑部区域的轮廓点一般是较相邻的像素点的像素值变化率较大的点,因此,终端通过计算图像梯度,则能够确定出脑部区域的轮廓点。
503、终端调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域。
在一种可能的实现方式中,终端调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域,包括以下步骤(A)-(C):
(A)终端调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图。
其中,第一半脑概率图用于表示三维脑部图像中的每个点属于第一半脑区域的概率,第二半脑概率图用于表示三维脑部图像中的每个点属于第二半脑区域的概率。
在一种可能的实现方式中,大脑分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络。相应的,终端调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括:终端将三维脑部图像输入至第1个编码网络中,基于第1个编码网络对三维脑部图像进行特征提取,输出第1个编码特征图;终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;终端基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,第k个解码特征图包括第一半脑概率图和第二半脑概率图;其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络。相应的,终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:终端基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:终端基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
需要说明的一点是,终端调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图与终端调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图的实现方式同理,此处不再赘述。
在本申请实施例中,在通过大脑分割模型进行图像分割得到第一半脑概率图和第二半脑概率图时,通过编码子模型中的下采样网络进行下采样,能够获取到低分辨率的中间编码特征,从而为第一半脑和第二半脑的识别提供识别依据,通过解码子模型中的上采样网络进行上采样,能够获取到高分辨率的中间解码特征,从而为第一半脑区域和第二半脑区域的精准分割提供定位依据,如此能够保证大脑分割模型所确定的第一半脑概率图和第二半脑概率图的准确性。另外,第一个解码网络之后的解码网络在进行图像重构时,通过将编码网络输出的编码特征图与解码网络输出的解码特征图进行融合的方式,在解码特征图中填补底层信息,从而能够提高大脑分割模型的分割精度。
(B)终端将第一半脑概率图中,对应的概率大于第一概率阈值的点确定为第一半脑区域中的点,将第一半脑区域中的点构成的集合确定为第一半脑区域。
(C)终端将第二半脑概率图中,对应的概率大于第一概率阈值的点确定为第二半脑区域中的点,将第二半脑区域中的点构成的集合确定为第二半脑区域。
其中,第一概率阈值根据需要设置为任意数值,本申请实施例对此不做限制。可选地,第一半脑区域中的点和第二半脑区域中的点都具有三维坐标,表示点在脑部区域中的位置。
在本申请实施例中,通过大脑分割模型对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,再通过阈值分割来确定出第一半脑区域和第二半年脑区域,确定第一半脑区域和第二半脑区域的效率高且准确性高。
需要说明的一点是,在上述502中,终端在确定脑部区域的轮廓面之前,要先对三维脑部图像进行图像分割,得到脑部区域,终端对三维脑部图像进行图像分割,得到脑部区域的实现方式与对三维脑部图像进行图像分割得到第一半脑区域和第二半脑区域的实现方式同理。或者,终端先执行步骤503再执行步骤502,并且,在执行步骤502时,将503中识别的第一半脑区域和第二半脑区域的并集确定为脑部区域。
图6为大脑的三维分割图,包括第一半脑区域和第二半脑区域。通过大脑分割模型对三维脑部图像进行图像分割,则能够获取到该三维分割图。图7为该三维分割图中的一个扫描层的示意图。参考图7,该扫描层中的脑部区域被分割为第一半脑区域和第二半脑区域。
504、终端从三维脑部图像中,识别第一半脑区域的第一半脑轮廓面和第二半脑区域的第二半脑轮廓面。
在一种可能的实现方式中,终端从三维脑部图像中,识别第一半脑区域的第一半脑轮廓面和第二半脑区域的第二半脑轮廓面,包括:终端从三维脑部图像中,识别第一半脑区域的轮廓点和第二半脑区域的轮廓点;终端将第一半脑区域的轮廓点构成的集合确定为第一半脑轮廓面,将第二半脑区域的轮廓点构成的集合确定为第二半脑轮廓面。其中,终端从三维脑部图像中识别第一半脑区域的轮廓点和第二半脑区域的轮廓点与从三维脑部图像中识别脑部区域的轮廓点的实现方式同理,此处不再赘述。
505、终端将第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集确定为脑部区域的三维脑中线。
在一种可能的实现方式中,该步骤包括:终端确定第一集合与第二集合的并集与第三集合之间的差集,将该差集确定为三维脑中线。其中,第一集合为第一半脑区域的轮廓点构成的集合,第二集合为第二半脑区域的轮廓点构成的集合,第三集合为脑部区域的轮廓点构成的集合。
图8为三维脑中线的示意图,参考图8,该三维脑中线为一个三维的曲面结构。图9为三维脑部图像中的一个扫描层的示意图,参考图9,从该扫描层中能够看到第一半脑区域和第二半脑区域中间的一条线,这条线就是构成图8中的三维脑中线的其中一条线。
图10为通过大脑分割模型识别三维脑中线的过程示意图。参考图10,该大脑分割模型为U形结构,该U形结构的第一侧部分为编码子模型,该U形结构的第二侧部分为解码子模型。该U形结构从上至下包括5个编码网络(图中未示出)以及5个解码网络(图中未示出),第一侧的是编码网络,第二侧的是解码网络。图10中的箭头和虚线框表示操作,宽窄及高低不同的立方块表示特征图。其中,U形结构第一侧部分的立方块表示编码特征图,U形结构第二侧部分的立方块表示解码特征图。将三维脑部图像输入到该大脑分割模型,基于第一个编码网络对三维脑部图像进行特征提取(包括卷积操作和非线性化操作),得到第一个编码特征图。基于第一个下采样网络(图中未示出)对该第一个编码特征图进行下采样,得到中间编码特征图,将该中间编码特征图输入到第二个编码网络,以此类推,直至第五个编码网络将其得到的编码特征图输入到第一个解码网络。第一个解码网络对该编码特征图进行图像重构(包括卷积操作和非线性化操作)后,将得到的解码特征图输入到第一个上采样网络(图中未示出),第一个上采样网络对该解码特征图进行上采样,得到中间解码特征图,将该中间解码特征图输入到第二个解码网络,第二个解码网络将第4个编码网络输出的编码特征图复制过来,并将该编码特征图剪切至与该中间解码特征图一样的尺寸,然后将剪切后的编码特征图与该中间解码特征图进行连接操作,对连接后的特征图进行图像重构,得到第二个解码特征图,将第二个解码特征图输入到第二个上采样网络(图中未示出),以此类推,直至第五个解码网络输出第五个解码特征图,该解码特征图包括第一半脑概率图和第二半脑概率图。按照参考阈值对第一半脑概率图和第二半脑概率图分别进行阈值分割,得到左右半脑分割结果,即第一半脑区域和第二半脑区域。对第一半脑区域、第二半脑区域以及脑部区域分别计算图像梯度,确定出第一半脑轮廓面、第二半脑轮廓面和脑部区域的轮廓面。然后确定第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集,将该差集确定为三维脑中线。
506、终端基于三维脑部图像,确定脑部区域对应的状态,该状态为病灶已破入脑室或病灶未破入脑室。
其中,病灶破入脑室是指病灶使脑室破裂并进入到脑室内部,此种情况下,病灶对三维脑中线的挤压程度较小,三维脑中线偏移程度也较小。病灶未破入脑室是指病灶没有进入到脑室内部,此种情况下,病灶对三维脑中线的挤压程度较大,三维脑中线偏移程度也较大。
在一种可能的实现方式中,终端基于三维脑部图像,确定脑部区域对应的状态,包括:终端调用分类模型,对三维脑部图像进行分类,得到分类标签,分类标签用于描述脑部区域对应的状态,状态为病灶已破入脑室或病灶未破入脑室。其中,分类模型的功能是对三维脑部图像中的脑部区域对应的状态进行分类。在本申请实施例中,直接调用分类模型对三维脑部图像进行分类,从而确定出脑部区域对应的状态,确定状态的效率高。
在一种可能的实现方式中,分类模型的训练过程包括:终端获取第二样本数据,第二样本数据包括样本三维脑部图像和样本标签,样本三维脑部图像包括脑部区域,样本标签用于描述脑部区域对应的状态,状态为病灶已破入脑室或病灶未破入脑室;终端调用分类模型,对样本三维脑部图像进行分类,得到预测标签;终端基于样本标签和预测标签,训练分类模型。
可选地,样本标签为0或1,其中,0表示脑部区域对应的状态为病灶未破入脑室,1表示脑部区域对应的状态为病灶已破入脑室。预测标签为0-1范围内的任意数值,表示分类模型预测的脑部区域对应的状态为病灶已破入脑室或病灶未破入脑室的概率。例如,分类模型预测的一个样本三维脑部图像的预测标签为1,则表示分类模型预测该样本三维脑部图像中的脑部区域对应的状态为病灶已破入脑室。可选地,终端基于样本标签和预测标签,训练分类模型的实现方式为:终端基于样本标签和预测标签确定分类模型的损失值,基于该损失值训练该分类模型。可选地,终端通过下述公式(3)确定分类模型的损失值:
其中,LBCE表示分类模型的损失值,M表示第二样本数据的数量,yn表示第n个样本三维脑部图像的样本标签,xn第n个样本三维脑部图像的预测标签。
可选地,分类模型为任意结构,例如,分类模型包括卷积神经网络ResNet-50(一种卷积神经网络)和全连接层,其中,ResNet-50用于提取图像特征,全连接层用于基于提取的图像特征进行分类。图13为分类模型的示意图。参考图13,分类模型包括ResNet-50和全连接层。在进行图像分类时,将三维脑部图像输入到ResNet-50中,由全连接层输出脑部区域对应的状态。
可选地,终端通过其他方式确定脑部区域对应的状态,本申请实施例对此不做限制。
507、终端响应于状态为病灶未破入脑室,对三维脑中线进行校正。
可选地,病灶为血肿、肿瘤或者其他病灶,本申请实施例对此不做限制。
在一种可能的实现方式中,终端响应于状态为病灶未破入脑室,对三维脑中线进行校正,包括:终端对三维脑部图像进行图像分割,得到病灶区域;基于病灶区域和三维脑中线确定病灶所在的目标区域,该目标区域为第一半脑区域或第二半脑区域;终端将病灶区域的病灶轮廓面中处于目标区域的第一轮廓面去除,得到剩余的第二轮廓面;然后确定病灶轮廓面与三维脑中线的两条交线,将三维脑中线中两条交线之间的第一脑中线去除,得到剩余的第二脑中线;终端将第二脑中线与第二轮廓面进行拟合,得到校正后的三维脑中线。
在本申请实施例中,考虑到在病灶未破入脑室的情况下,病灶会对脑中线进行压迫,导致实际情况下,用户的脑中线已经出现重度偏移,而上述通过大脑分割模型来获取三维脑中线的过程未考虑病灶对脑中线的影响,因此,在获取到三维脑中线后,结合脑部区域状态,对三维脑中线进行校正,则能够使最终获取的三维脑中线更加符合用户实际的情况,也即是保证获取的三维脑中线的准确性。并且,在对三维脑中线进行校正时,考虑到病灶通常会将三维脑中线向与病灶所在的半脑区域相对的另一个半脑区域压迫,并且三维脑中线偏移的形态与病灶区域的轮廓的形态相一致,因此,结合该另一个半脑区域内的部分病灶轮廓面以及病灶轮廓面与三维脑中线的两条交线两端的部分三维脑中线,重新拟合三维脑中线,能够保证该三维脑中线的偏移形态符合用户真实的脑中线形态,保证了最终获取的脑中线的准确性。
图11为三维脑部图像中的一个扫描层的示意图。参考图11,从该扫描层中能够看到线条1101和线条1102,线条1101为校正后的三维脑中线在该扫描层上的投影,线条1102为校正前的三维脑中线在该扫描层上的投影。该扫描层中线条1101第二侧亮度较高的区域则是病灶区域。图12为三维脑部图像中的一个扫描层的示意图。参考图12,从该扫描层中能够看到线条1201和线条1202,线条1201为校正前的三维脑中线在该扫描层上的投影,线条1202为校正后的三维脑中线在该扫描层上的投影。该扫描层中线条1202第一侧亮度较高的区域则是病灶区域。
在一种可能的实现方式中,终端对三维脑部图像进行图像分割,得到病灶区域,包括:终端调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶区域。
在一种可能的实现方式中,终端调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶区域,包括:终端调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶概率图。其中,病灶概率图用于表示三维脑部图像中的每个点属于病灶区域的概率。然后,终端将病灶概率图中,对应的概率大于第二概率阈值的点确定为病灶区域中的点,将病灶区域中的点构成的集合确定为病灶区域。其中,第二阈值概率根据需要设置为任意数值,本申请实施例对此不做限制。
在一种可能的实现方式中,病灶分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络。相应的,终端调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶概率图,包括:终端将三维脑部图像输入至第1个编码网络中,基于第1个编码网络对三维脑部图像进行特征提取,输出第1个编码特征图;终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;终端基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将第k个解码特征图确定为病灶概率图。其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络。相应的,终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:终端基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:终端基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
需要说明的一点是,终端调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶概率图的实现方式与终端调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图的实现方式同理,此处不再赘述。
图14为识别三维脑中线的过程示意图。参考图14,获取原始脑部图像,该原始脑部图像为三维图像,对该原始脑部图像进行刚性配准,得到配准后的三维脑部图像。将该三维脑部图像分别输入到分割模型以及分类模型中,通过分割模型获取到病灶分割图和脑中线分割图,其中,病灶分割图已分割出病灶区域,该中线分割图像已分割出脑中线。通过分类模型判断脑部区域对应的状态,在病灶已破入脑室的情况下,直接将分割模型分割得到的脑中线作为最终的三维脑中线。在病灶未破入脑室的情况下,基于病灶分割图中的病灶区域对该三维脑中线进行校正,得到最终的脑中线。
可选地,得到校正后的三维脑中线后,获取一个较为正常的大脑的标准三维脑中线,则能够基于校正后的三维脑中线和该标准三维脑中线,确定校正后的三维脑中线的脑中线偏移量,从而基于该脑中线偏移量来确定用户大脑的状态,进而衡量用户脑部的疾病。
需要说明的一点是,由于脑中线的位置和偏移往往和脑部其他软组织等解剖结构有很大的相关性,这些软组织(脑室、血肿、肿瘤等)往往有可能因为对比度比较低的原因导致其解剖结构模糊不清,因此单单从二维脑部图像去识别脑中线,很难完整把握脑部其他解剖结构的形状和形变,进而无法准确识别脑中线,而本申请实施例利用三维脑部图像能够获取脑部区域内的各种组织的完整的三维结构信息,从而能够从整体上判断三维脑中线的分布情况,从而获取到准确的三维脑中线。并且,该三维脑中线相对于从二维脑部图像中识别的脑中线来说,可视化效果更好,能够提供更多信息。
需要说明的另一点是,上述506-507为可选步骤,在其他实施例中不执行步骤506-507。
在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像是左右对称的,因此,利用模板脑部图像对原始脑部图像进行刚性配准,使得获取的三维脑部图像呈左右对称,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
在本申请实施例中,通过调整CT图像的窗宽和窗位,能够调整CT图像的清晰程度,从而降低大脑分割模型进行图像分割的难度,保证大脑分割模型进行图像分割的准确性。
在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像中任两个扫描层的间隔为参考间隔,因此,对原始脑部图像进行采样,使得获取的三维脑部图像中任两个扫描层的间隔也为参考间隔,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
在本申请实施例中,考虑到大脑分割模型在进行训练时,采用的样本三维脑部图像的尺寸为参考尺寸,因此,对原始脑部图像进行采样,使得获取的三维脑部图像的尺寸也为参考尺寸,则后续通过大脑分割模型对该三维脑部图像进行图像分割时,能够降低大脑分割模型的分割难度,保证大脑分割模型进行图像分割的准确性。
在本申请实施例中,在通过大脑分割模型进行图像分割得到第一半脑概率图和第二半脑概率图时,通过编码子模型中的下采样网络进行下采样,能够获取到低分辨率的中间编码特征,从而为第一半脑和第二半脑的识别提供识别依据,通过解码子模型中的上采样网络进行上采样,能够获取到高分辨率的中间解码特征,从而为第一半脑区域和第二半脑区域的精准分割提供定位依据,如此能够保证大脑分割模型所确定的第一半脑概率图和第二半脑概率图的准确性。另外,第一个解码网络之后的解码网络在进行图像重构时,通过将编码网络输出的编码特征图与解码网络输出的解码特征图进行融合的方式,在解码特征图中填补底层信息,从而能够提高大脑分割模型的分割精度。
在本申请实施例中,通过大脑分割模型对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,再通过阈值分割来确定出第一半脑区域和第二半年脑区域,确定第一半脑区域和第二半脑区域的效率高且准确性高。
在本申请实施例中,考虑到在病灶未破入脑室的情况下,病灶会对脑中线进行压迫,导致实际情况下,用户的脑中线已经出现重度偏移,而上述通过大脑分割模型来获取三维脑中线的过程未考虑病灶对脑中线的影响,因此,在获取到三维脑中线后,结合脑部区域状态,对三维脑中线进行校正,则能够使最终获取的三维脑中线更加符合用户实际的情况,也即是保证获取的三维脑中线的准确性。并且,在对三维脑中线进行校正时,考虑到病灶通常会将三维脑中线向与病灶所在的半脑区域相对的另一个半脑区域压迫,并且三维脑中线偏移的形态与病灶区域的轮廓的形态相一致,因此,结合该另一个半脑区域内的部分病灶轮廓面以及病灶轮廓面与三维脑中线的两条交线两端的部分三维脑中线,重新拟合三维脑中线,能够保证该三维脑中线的偏移形态符合用户真实的脑中线形态,保证了最终获取的脑中线的准确性。
图15是本申请实施例提供的一种脑中线识别方法的流程图。该实施例描述病灶分割模型的训练过程。参见图15,该实施例包括:
1501、终端获取第三样本数据,第三样本数据包括样本三维脑部图像和第二样本分割图像,第二样本分割图像中标注有样本三维脑部图像中的病灶区域。
1502、终端调用病灶分割模型,对样本三维脑部图像进行图像分割,得到病灶概率图。
其中,病灶概率图用于表示样本三维脑部图像中的每个点属于病灶区域的概率。
在一种可能的实现方式中,病灶分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络。相应的,终端调用病灶分割模型,对样本三维脑部图像进行图像分割,得到病灶概率图,包括:终端将样本三维脑部图像输入至第1个编码网络中,基于第1个编码网络对样本三维脑部图像进行特征提取,输出第1个编码特征图;终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;终端基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将第k个解码特征图确定为病灶概率图。其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络。相应的,终端基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:终端基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;终端基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:终端基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
1503、终端基于病灶概率图和第二样本分割图像,训练病灶分割模型。
在一种可能的实现方式中,基于病灶概率图和第二样本分割图像,训练病灶分割模型,包括:终端基于第二样本分割图像,确定属于病灶区域的至少一个点;基于病灶概率图,确定属于病灶区域的至少一个点属于病灶区域的概率;基于属于病灶区域的至少一个点属于病灶区域的概率,确定病灶分割模型的损失值;基于损失值,训练病灶分割模型。
需要说明的一点是,步骤1501-1503的实现方式与步骤301-303的实现方式同理,此处不再赘述。
在本申请实施例中,在通过病灶分割模型进行图像分割得到病灶概率图时,通过编码子模型中的下采样网络进行下采样,能够获取到低分辨率的中间编码特征,从而为病灶的识别提供依据,通过解码子模型中的上采样网络进行上采样,能够获取到高分辨率的中间解码特征,从而为病灶的精准分割提供定位依据,如此能够保证大脑分割模型所确定病灶概率图的准确性。另外,第一个解码网络之后的解码网络在进行图像重构时,通过将编码网络输出的编码特征图与解码网络输出的解码特征图进行融合的方式,在解码特征图中填补底层信息,从而能够提高大脑分割模型的分割精度。
需要说明的一点是,上述方法仅以病灶分割模型与大脑分割模型为不同的分割模型为例进行说明,在其他实施例中,病灶分割模型与大脑分割模型为同一个分割模型,该分割模型不仅具有分割第一半脑区域和第二半脑区域的功能,还具有分割病灶区域的功能。可选地,在病灶分割模型与大脑分割模型为同一个分割模型的情况下,通过第四样本数据训练该分割模型,其中,第四样本数据中包括样本三维脑部图像以及第三样本分割图像,第三样本分割图像中标注有样本三维脑部图像中的第一半脑区域、第二半脑区域和病灶区域。通过第四样本数据训练该分割模型后,则能够调用该分割模型对任一三维脑部图像进行图像分割,得到第一半脑区域、第二半脑区域和病灶区域。需要说明的一点是,通过该第四样本数据训练该分割模型的实现方式与通过第一样本数据训练大脑分割模型的实现方同理。通过该分割模型来获取任一三维脑部图像中的第一半脑区域、第二半脑区域以及病灶区域的实现方式与通过上述大脑分割模型来获取任一三维脑部图像中的第一半脑区域和第二半脑区域的实现方式同理,此处不再赘述。
在本申请实施例中,由于分割三维脑部图像区域中的第一半脑区域、第二半脑区域或病灶区域属于相关的图像分割任务,因此,通过多任务学习的机器学习方法来训练该分割模型,使得该分割模型能够实现这三种功能,提高了模型的训练效率。其中,多任务学习是将多个相关的子任务在同一个模型中学习的一种机器学习方法。
需要说明的一点是,可选地,本申请中的大脑分割模型和病灶分割模型采用3DUnet(一种神经网络模型)、FCN(Fully Convolutional Networks,全卷积神经网络)或者其他神经网络,本申请对此不做限制。可选地,在进行图像分割时,采用非学习型算法进行图像分割,非学习型算法是指没有监督的机器学习算法。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图16是本申请实施例提供的一种脑中线识别装置的框图。参见图16,该装置包括:
图像获取模块161,用于获取三维脑部图像,三维脑部图像包括脑部区域;
第一识别模块162,用于从三维脑部图像中识别脑部区域的轮廓面;
图像分割模块163,用于对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;
第二识别模块164,用于从三维脑部图像中,识别第一半脑区域的第一半脑轮廓面和第二半脑区域的第二半脑轮廓面;
脑中线确定模块165,用于将第一半脑轮廓面与第二半脑轮廓面的并集与脑部区域的轮廓面之间的差集确定为脑部区域的三维脑中线。
在一种可能的实现方式中,图像分割模块163,用于调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域。
在一种可能的实现方式中,参见图17,图像分割模块163,包括:
第一分割单元1631,用于调用大脑分割模型,对三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,第一半脑概率图用于表示三维脑部图像中的每个点属于第一半脑区域的概率,第二半脑概率图用于表示三维脑部图像中的每个点属于第二半脑区域的概率;
区域确定单元1632,用于将第一半脑概率图中,对应的概率大于第一概率阈值的点确定为第一半脑区域中的点,将第一半脑区域中的点构成的集合确定为第一半脑区域;将第二半脑概率图中,对应的概率大于第一概率阈值的点确定为第二半脑区域中的点,将第二半脑区域中的点构成的集合确定为第二半脑区域。
在一种可能的实现方式中,大脑分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络;
第一分割单元1631,用于将三维脑部图像输入至第1个编码网络中,基于第1个编码网络对三维脑部图像进行特征提取,输出第1个编码特征图;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,第k个解码特征图包括第一半脑概率图和第二半脑概率图;其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络;
第一分割单元1631,用于基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
在一种可能的实现方式中,大脑分割模型的训练过程包括:
获取第一样本数据,第一样本数据包括样本三维脑部图像和第一样本分割图像,第一样本分割图像中标注有样本三维脑部图像中的第一半脑区域和第二半脑区域;
调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,第一半脑概率图用于表示样本三维脑部图像中的每个点属于第一半脑区域的概率,第二半脑概率图用于表示样本三维脑部图像中的每个点属于第二半脑区域的概率;
基于第一半脑概率图、第二半脑概率图以及第一样本分割图像,训练大脑分割模型。
在一种可能的实现方式中,基于第一半脑概率图、第二半脑概率图以及第一样本分割图像,训练大脑分割模型,包括:
基于第一样本分割图像,确定属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点;
基于第一半脑概率图,确定属于第一半脑区域的至少一个点属于第一半脑区域的概率,并基于第二半脑概率图,确定属于第二半脑区域的至少一个点属于第二半脑区域的概率;
基于属于第一半脑区域的至少一个点属于第一半脑区域的概率以及属于第二半脑区域的至少一个点属于第二半脑区域的概率,确定大脑分割模型的损失值;
基于损失值,训练大脑分割模型。
在一种可能的实现方式中,大脑分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络;
调用大脑分割模型,对样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括:
将样本三维脑部图像输入至第1个编码网络中,基于第1个编码网络对样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;
基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,第k个解码特征图包括第一半脑概率图和第二半脑概率图;
其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
在一种可能的实现方式中,第一识别模块162,用于从三维脑部图像中识别脑部区域的轮廓点;将脑部区域的轮廓点构成的集合确定为脑部区域的轮廓面;
第二识别模块164,用于从三维脑部图像中,识别第一半脑区域的轮廓点和第二半脑区域的轮廓点;将第一半脑区域的轮廓点构成的集合确定为第一半脑轮廓面,将第二半脑区域的轮廓点构成的集合确定为第二半脑轮廓面。
在一种可能的实现方式中,继续参见图17,装置还包括:
状态确定模块166,用于基于三维脑部图像,确定脑部区域对应的状态,状态为病灶已破入脑室或病灶未破入脑室;
脑中线校正模块167,用于响应于状态为病灶未破入脑室,对三维脑中线进行校正。
在一种可能的实现方式中,继续参见图17,脑中线校正模块167,包括:
第二分割单元1671,用于对三维脑部图像进行图像分割,得到病灶区域;
脑中线校正单元1672,用于基于病灶区域和三维脑中线确定病灶所在的目标区域,目标区域为第一半脑区域或第二半脑区域;将病灶区域的病灶轮廓面中处于目标区域的第一轮廓面去除,得到剩余的第二轮廓面;确定病灶轮廓面与三维脑中线的两条交线,将三维脑中线中两条交线之间的第一脑中线去除,得到剩余的第二脑中线;将第二脑中线与第二轮廓面进行拟合,得到校正后的三维脑中线。
在一种可能的实现方式中,状态确定模块166,用于调用分类模型,对三维脑部图像进行分类,得到分类标签,分类标签用于描述脑部区域对应的状态,状态为病灶已破入脑室或病灶未破入脑室。
在一种可能的实现方式中,分类模型的训练过程包括:
获取第二样本数据,第二样本数据包括样本三维脑部图像和样本标签,样本三维脑部图像包括脑部区域,样本标签用于描述脑部区域对应的状态,状态为病灶已破入脑室或病灶未破入脑室;
调用分类模型,对样本三维脑部图像进行分类,得到预测标签;
基于样本标签和预测标签,训练分类模型。
在一种可能的实现方式中,第二分割单元1671,用于调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶区域。
在一种可能的实现方式中,继续参见图17,第二分割单元1671,包括:
分割子单元16711,用于调用病灶分割模型,对三维脑部图像进行图像分割,得到病灶概率图,病灶概率图用于表示三维脑部图像中的每个点属于病灶区域的概率;
确定子单元16712,用于将病灶概率图中,对应的概率大于第二概率阈值的点确定为病灶区域中的点,将病灶区域中的点构成的集合确定为病灶区域。
在一种可能的实现方式中,病灶分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络;
分割子单元16711,用于将三维脑部图像输入至第1个编码网络中,基于第1个编码网络对三维脑部图像进行特征提取,输出第1个编码特征图;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将第k个解码特征图确定为病灶概率图;其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络;
分割子单元16711,用于基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
在一种可能的实现方式中,病灶分割模型的训练过程包括:
获取第三样本数据,第三样本数据包括样本三维脑部图像和第二样本分割图像,第二样本分割图像中标注有样本三维脑部图像中的病灶区域;
调用病灶分割模型,对样本三维脑部图像进行图像分割,得到病灶概率图,病灶概率图用于表示样本三维脑部图像中的每个点属于病灶区域的概率;
基于病灶概率图和第二样本分割图像,训练病灶分割模型。
在一种可能的实现方式中,基于病灶概率图和第二样本分割图像,训练病灶分割模型,包括:
基于第二样本分割图像,确定属于病灶区域的至少一个点;
基于病灶概率图,确定属于病灶区域的至少一个点属于病灶区域的概率;
基于属于病灶区域的至少一个点属于病灶区域的概率,确定病灶分割模型的损失值;
基于损失值,训练病灶分割模型。
在一种可能的实现方式中,病灶分割模型包括编码子模型和解码子模型,编码子模型包括k个编码网络,解码子模型包括k个解码网络;
调用病灶分割模型,对样本三维脑部图像进行图像分割,得到病灶概率图,包括:
将样本三维脑部图像输入至第1个编码网络中,基于第1个编码网络对样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将第k个编码特征图输入至第1个解码网络中;
基于第1个解码网络对第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,将第k个解码特征图确定为病灶概率图;
其中,k为大于1的正整数,i为大于1且不大于k的任一正整数。
在一种可能的实现方式中,编码子模型还包括每两个编码网络之间的下采样网络,解码子模型还包括每两个解码网络之间的上采样网络;基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将第i-1个中间编码特征图输入至第i个编码网络,基于第i个编码网络,对第i-1个中间编码特征图进行特征提取,输出第i个编码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将第i-1个中间解码特征图输入至第i个解码网络,基于第i个解码网络,对第i-1个中间解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图。
在一种可能的实现方式中,图像获取模块161,用于获取原始脑部图像,原始脑部图像为三维图像;获取模板脑部图像,模板脑部图像左右对称;按照模板脑部图像,对原始脑部图像进行刚性配准,得到三维脑部图像。
在一种可能的实现方式中,图像获取模块161,用于获取大脑的计算机断层扫描CT图像,将CT图像的窗宽和窗位分别确定为参考窗宽和参考窗位,得到三维脑部图像;其中,窗宽表示CT图像中显示的CT值的范围,窗位表示CT值的范围的中间值。
在一种可能的实现方式中,图像获取模块161,用于获取原始脑部图像,原始脑部图像包括多个扫描层;对多个扫描层进行采样,以使任两个扫描层的间隔达到参考间隔;将采样后的原始脑部图像作为三维脑部图像。
在一种可能的实现方式中,图像获取模块161,用于获取原始脑部图像,原始脑部图像为三维图像;将原始脑部图像的尺寸调整为参考尺寸,得到三维脑部图像。
本申请实施例在识别脑中线时,将识别脑中线的问题转化成左右半脑分割的问题,利用三维脑部图像进行左右脑的分割,进而获取到第一半脑轮廓面和第二半脑轮廓面,则第一半脑轮廓面与第二半脑轮廓面的并集与全脑轮廓面之间的差集即为三维脑中线,相对于通过二维脑部图像所识别的脑中线来说,这种三维脑中线能够提供更多信息,更有利于确定用户的大脑状态。
需要说明的是:上述实施例提供的脑中线识别装置在识别三维脑中线时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的脑中线识别装置与脑中线识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的脑中线识别方法中执行的操作。
可选地,该计算机设备提供为终端。图18示出了本申请一个示例性实施例提供的终端1800的结构框图。该终端1800可以是:智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
终端1800包括有:处理器1801和存储器1802。
处理器1801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1801可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序,该至少一个计算机程序用于被处理器1801所执行以实现本申请中方法实施例提供的脑中线识别方法。
在一些实施例中,终端1800还可选包括有:外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地,外围设备包括:射频电路1804、显示屏1805、摄像头组件1806、音频电路1807、定位组件1808和电源1809中的至少一种。
外围设备接口1803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中,处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上;在一些其他实施例中,处理器1801、存储器1802和外围设备接口1803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时,显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时,显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1805可以为一个,设置终端1800的前面板;在另一些实施例中,显示屏1805可以为至少两个,分别设置在终端1800的不同表面或呈折叠设计;在另一些实施例中,显示屏1805可以是柔性显示屏,设置在终端1800的弯曲表面上或折叠面上。甚至,显示屏1805还可以设置成非矩形的不规则图形,也即异形屏。显示屏1805可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1806用于采集图像或视频。可选地,摄像头组件1806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1801进行处理,或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1807还可以包括耳机插孔。
定位组件1808用于定位终端1800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1809用于为终端1800中的各个组件进行供电。电源1809可以是交流电、直流电、一次性电池或可充电电池。当电源1809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1800还包括有一个或多个传感器1810。该一个或多个传感器1810包括但不限于:加速度传感器1811、陀螺仪传感器1812、压力传感器1813、指纹传感器1814、光学传感器1815以及接近传感器1816。
加速度传感器1811可以检测以终端1800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1811可以用于检测重力加速度在三个坐标轴上的分量。处理器1801可以根据加速度传感器1811采集的重力加速度信号,控制显示屏1805以横向视图或纵向视图进行用户界面的显示。加速度传感器1811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1812可以检测终端1800的机体方向及转动角度,陀螺仪传感器1812可以与加速度传感器1811协同采集用户对终端1800的3D动作。处理器1801根据陀螺仪传感器1812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1813可以设置在终端1800的侧边框和/或显示屏1805的下层。当压力传感器1813设置在终端1800的侧边框时,可以检测用户对终端1800的握持信号,由处理器1801根据压力传感器1813采集的握持信号进行左右手识别或快捷操作。当压力传感器1813设置在显示屏1805的下层时,由处理器1801根据用户对显示屏1805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1814用于采集用户的指纹,由处理器1801根据指纹传感器1814采集到的指纹识别用户的身份,或者,由指纹传感器1814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1814可以被设置终端1800的正面、背面或侧面。当终端1800上设置有物理按键或厂商Logo时,指纹传感器1814可以与物理按键或厂商Logo集成在一起。
光学传感器1815用于采集环境光强度。在一个实施例中,处理器1801可以根据光学传感器1815采集的环境光强度,控制显示屏1805的显示亮度。具体地,当环境光强度较高时,调高显示屏1805的显示亮度;当环境光强度较低时,调低显示屏1805的显示亮度。在另一个实施例中,处理器1801还可以根据光学传感器1815采集的环境光强度,动态调整摄像头组件1806的拍摄参数。
接近传感器1816,也称距离传感器,设置在终端1800的前面板。接近传感器1816用于采集用户与终端1800的正面之间的距离。在一个实施例中,当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变小时,由处理器1801控制显示屏1805从亮屏状态切换为息屏状态;当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变大时,由处理器1801控制显示屏1805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图18中示出的结构并不构成对终端1800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
可选地,该计算机设备提供为服务器。图10是本申请实施例提供的一种服务器的结构示意图,该服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1001和一个或一个以上的存储器1002,其中,所述存储器1002中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器1001加载并执行以实现上述各个方法实施例提供的脑中线识别方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的脑中线识别方法中执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或该计算机程序包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从该计算机可读存储介质读取该计算机程序,该处理器执行该计算机程序,使得该计算机设备执行上述各种可选实现方式中的脑中线识别方法中执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种脑中线识别方法,其特征在于,所述方法包括:
获取三维脑部图像,所述三维脑部图像包括脑部区域;
从所述三维脑部图像中识别所述脑部区域的轮廓面;
对所述三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;
从所述三维脑部图像中,识别所述第一半脑区域的第一半脑轮廓面和所述第二半脑区域的第二半脑轮廓面;
将所述第一半脑轮廓面与所述第二半脑轮廓面的并集与所述脑部区域的轮廓面之间的差集确定为所述脑部区域的三维脑中线。
2.根据权利要求1所述的方法,其特征在于,所述对所述三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域,包括:
调用大脑分割模型,对所述三维脑部图像进行图像分割,得到所述第一半脑区域和所述第二半脑区域。
3.根据权利要求2所述的方法,其特征在于,所述调用大脑分割模型,对所述三维脑部图像进行图像分割,得到所述第一半脑区域和所述第二半脑区域,包括:
调用所述大脑分割模型,对所述三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,所述第一半脑概率图用于表示所述三维脑部图像中的每个点属于第一半脑区域的概率,所述第二半脑概率图用于表示所述三维脑部图像中的每个点属于第二半脑区域的概率;
将所述第一半脑概率图中,对应的概率大于第一概率阈值的点确定为第一半脑区域中的点,将所述第一半脑区域中的点构成的集合确定为所述第一半脑区域;
将所述第二半脑概率图中,对应的概率大于所述第一概率阈值的点确定为第二半脑区域中的点,将所述第二半脑区域中的点构成的集合确定为所述第二半脑区域。
4.根据权利要求3所述的方法,其特征在于,所述大脑分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述大脑分割模型,对所述三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括:
将所述三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,所述第k个解码特征图包括所述第一半脑概率图和所述第二半脑概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
5.根据权利要求4所述的方法,其特征在于,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
6.根据权利要求3所述的方法,其特征在于,所述大脑分割模型的训练过程包括:
获取第一样本数据,所述第一样本数据包括样本三维脑部图像和第一样本分割图像,所述第一样本分割图像中标注有所述样本三维脑部图像中的第一半脑区域和第二半脑区域;
调用所述大脑分割模型,对所述样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,所述第一半脑概率图用于表示所述样本三维脑部图像中的每个点属于第一半脑区域的概率,所述第二半脑概率图用于表示所述样本三维脑部图像中的每个点属于第二半脑区域的概率;
基于所述第一半脑概率图、所述第二半脑概率图以及所述第一样本分割图像,训练所述大脑分割模型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一半脑概率图、所述第二半脑概率图以及所述第一样本分割图像,训练所述大脑分割模型,包括:
基于所述第一样本分割图像,确定属于第一半脑区域的至少一个点以及属于第二半脑区域的至少一个点;
基于所述第一半脑概率图,确定所述属于第一半脑区域的至少一个点属于第一半脑区域的概率,并基于所述第二半脑概率图,确定所述属于第二半脑区域的至少一个点属于第二半脑区域的概率;
基于所述属于第一半脑区域的至少一个点属于第一半脑区域的概率以及所述属于第二半脑区域的至少一个点属于第二半脑区域的概率,确定所述大脑分割模型的损失值;
基于所述损失值,训练所述大脑分割模型。
8.根据权利要求6所述的方法,其特征在于,所述大脑分割模型包括编码子模型和解码子模型,所述编码子模型包括k个编码网络,所述解码子模型包括k个解码网络;
所述调用所述大脑分割模型,对所述样本三维脑部图像进行图像分割,得到第一半脑概率图和第二半脑概率图,包括:
将所述样本三维脑部图像输入至第1个编码网络中,基于所述第1个编码网络对所述样本三维脑部图像进行特征提取,输出第1个编码特征图;
基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,直至第k个编码网络输出第k个编码特征图,将所述第k个编码特征图输入至第1个解码网络中;
基于所述第1个解码网络对所述第k个编码特征图进行图像重构,得到第1个解码特征图;
基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,直至第k个解码网络输出第k个解码特征图,所述第k个解码特征图包括所述第一半脑概率图和所述第二半脑概率图;
其中,所述k为大于1的正整数,所述i为大于1且不大于所述k的任一正整数。
9.根据权利要求8所述的方法,其特征在于,所述编码子模型还包括每两个编码网络之间的下采样网络,所述解码子模型还包括每两个解码网络之间的上采样网络;所述基于第i个编码网络,对上一个网络输出的编码特征图进行特征提取,输出第i个编码特征图,包括:
基于第i-1个下采样网络,对所述第i-1个编码网络输出的编码特征图进行下采样,输出第i-1个中间编码特征图,将所述第i-1个中间编码特征图输入至所述第i个编码网络,基于所述第i个编码网络,对所述第i-1个中间编码特征图进行特征提取,输出所述第i个编码特征图;
所述基于第i个解码网络,对上一个网络输出的解码特征图和第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出第i个解码特征图,包括:
基于第i-1个上采样网络,对所述第i-1个解码网络输出的解码特征图进行上采样,输出第i-1个中间解码特征图,将所述第i-1个中间解码特征图输入至所述第i个解码网络,基于所述第i个解码网络,对所述第i-1个中间解码特征图和所述第(k+1-i)个编码特征图进行融合后的特征图进行图像重构,输出所述第i个解码特征图。
10.根据权利要求1所述的方法,其特征在于,所述从所述三维脑部图像中识别所述脑部区域的轮廓面,包括:
从所述三维脑部图像中识别所述脑部区域的轮廓点;
将所述脑部区域的轮廓点构成的集合确定为所述脑部区域的轮廓面;
所述从所述三维脑部图像中,识别所述第一半脑区域的第一半脑轮廓面和所述第二半脑区域的第二半脑轮廓面,包括:
从所述三维脑部图像中,识别所述第一半脑区域的轮廓点和所述第二半脑区域的轮廓点;
将所述第一半脑区域的轮廓点构成的集合确定为所述第一半脑轮廓面,将所述第二半脑区域的轮廓点构成的集合确定为所述第二半脑轮廓面。
11.根据权利要求1所述的方法,其特征在于,所述将所述第一半脑轮廓面与所述第二半脑轮廓面的并集与所述脑部区域的轮廓面之间的差集确定为所述脑部区域的三维脑中线之后,所述方法还包括:
基于所述三维脑部图像,确定所述脑部区域对应的状态,所述状态为病灶已破入脑室或病灶未破入脑室;
响应于所述状态为病灶未破入脑室,对所述三维脑中线进行校正。
12.根据权利要求11所述的方法,其特征在于,所述响应于所述状态为病灶未破入脑室,对所述三维脑中线进行校正,包括:
对所述三维脑部图像进行图像分割,得到病灶区域;
基于所述病灶区域和所述三维脑中线确定病灶所在的目标区域,所述目标区域为所述第一半脑区域或所述第二半脑区域;
将所述病灶区域的病灶轮廓面中处于所述目标区域的第一轮廓面去除,得到剩余的第二轮廓面;
确定所述病灶轮廓面与所述三维脑中线的两条交线,将所述三维脑中线中所述两条交线之间的第一脑中线去除,得到剩余的第二脑中线;
将所述第二脑中线与所述第二轮廓面进行拟合,得到校正后的三维脑中线。
13.一种脑中线识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取三维脑部图像,所述三维脑部图像包括脑部区域;
第一识别模块,用于从所述三维脑部图像中识别所述脑部区域的轮廓面;
图像分割模块,用于对所述三维脑部图像进行图像分割,得到第一半脑区域和第二半脑区域;
第二识别模块,用于从所述三维脑部图像中,识别所述第一半脑区域的第一半脑轮廓面和所述第二半脑区域的第二半脑轮廓面;
脑中线确定模块,用于将所述第一半脑轮廓面与所述第二半脑轮廓面的并集与所述脑部区域的轮廓面之间的差集确定为所述脑部区域的三维脑中线。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至权利要求12任一项所述的脑中线识别方法所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的脑中线识别方法所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396569.4A CN113706447A (zh) | 2021-04-13 | 2021-04-13 | 脑中线识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110396569.4A CN113706447A (zh) | 2021-04-13 | 2021-04-13 | 脑中线识别方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113706447A true CN113706447A (zh) | 2021-11-26 |
Family
ID=78647997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110396569.4A Pending CN113706447A (zh) | 2021-04-13 | 2021-04-13 | 脑中线识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706447A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419031A (zh) * | 2022-03-14 | 2022-04-29 | 深圳科亚医疗科技有限公司 | 一种脑中线的自动定位方法及其装置 |
CN115294104A (zh) * | 2022-09-28 | 2022-11-04 | 杭州健培科技有限公司 | 基于三维脑部ct图像的脑中线预测模型、方法及装置 |
CN115690189A (zh) * | 2022-11-07 | 2023-02-03 | 北京安德医智科技有限公司 | 脑中线偏移量的检测方法、装置、设备及介质 |
-
2021
- 2021-04-13 CN CN202110396569.4A patent/CN113706447A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419031A (zh) * | 2022-03-14 | 2022-04-29 | 深圳科亚医疗科技有限公司 | 一种脑中线的自动定位方法及其装置 |
CN114419031B (zh) * | 2022-03-14 | 2022-06-14 | 深圳科亚医疗科技有限公司 | 一种脑中线的自动定位方法及其装置 |
CN115294104A (zh) * | 2022-09-28 | 2022-11-04 | 杭州健培科技有限公司 | 基于三维脑部ct图像的脑中线预测模型、方法及装置 |
CN115294104B (zh) * | 2022-09-28 | 2023-01-10 | 杭州健培科技有限公司 | 基于三维脑部ct图像的脑中线预测模型、方法及装置 |
CN115690189A (zh) * | 2022-11-07 | 2023-02-03 | 北京安德医智科技有限公司 | 脑中线偏移量的检测方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109410220B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN110136136B (zh) | 场景分割方法、装置、计算机设备及存储介质 | |
CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN110502954B (zh) | 视频分析的方法和装置 | |
US11403763B2 (en) | Image segmentation method and apparatus, computer device, and storage medium | |
CN108594997B (zh) | 手势骨架构建方法、装置、设备及存储介质 | |
WO2020224479A1 (zh) | 目标的位置获取方法、装置、计算机设备及存储介质 | |
CN113706447A (zh) | 脑中线识别方法、装置、设备及存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN112598686B (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN112257552B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN111027490A (zh) | 人脸属性识别方法及装置、存储介质 | |
CN110503159B (zh) | 文字识别方法、装置、设备及介质 | |
CN115082490A (zh) | 异常预测方法、异常预测模型的训练方法、装置及设备 | |
CN110189348B (zh) | 头像处理方法、装置、计算机设备及存储介质 | |
CN111598896A (zh) | 图像检测方法、装置、设备及存储介质 | |
CN110705438A (zh) | 步态识别方法、装置、设备及存储介质 | |
CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
CN112818979A (zh) | 文本识别方法、装置、设备及存储介质 | |
CN112528760A (zh) | 图像处理方法、装置、计算机设备及介质 | |
CN113379624A (zh) | 图像生成方法、图像生成模型的训练方法、装置及设备 | |
CN113743186A (zh) | 医学图像的处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |