CN110443808B - 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质 - Google Patents

用于脑中线检测的医疗图像处理方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN110443808B
CN110443808B CN201910602968.4A CN201910602968A CN110443808B CN 110443808 B CN110443808 B CN 110443808B CN 201910602968 A CN201910602968 A CN 201910602968A CN 110443808 B CN110443808 B CN 110443808B
Authority
CN
China
Prior art keywords
image
midline
brain
network
centerline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910602968.4A
Other languages
English (en)
Other versions
CN110443808A (zh
Inventor
梁孔明
潘成伟
李秀丽
卢光明
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201910602968.4A priority Critical patent/CN110443808B/zh
Publication of CN110443808A publication Critical patent/CN110443808A/zh
Application granted granted Critical
Publication of CN110443808B publication Critical patent/CN110443808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于脑中线检测的医疗图像处理方法及装置、设备、存储介质。该方法包括输入CT图像，经过图像标准化后得到标准化图像；通过所述标准化图像训练得到中线分割网络；根据所述中线分割网络，输出中线检测结果。本申请解决了脑中线检测的图像处理准确性较差的技术问题。通过本申请可以取得更优越的中线分割性能、具有良好的泛化能力。此外，本申请可有益于神经外科医生和神经放射学家对脑卒中和创伤性脑损伤的临床诊断和预后治疗。通过申请图像标准化，大幅提高图像处理的性能。

Description

用于脑中线检测的医疗图像处理方法及装置、设备、存储介质
技术领域
本申请涉及图像处理领域，具体而言，涉及一种用于脑中线检测的医疗图像处理方法及装置、设备、存储介质。
背景技术
脑卒中、创伤性脑损伤，是导致成人残疾、死亡的主要原因。平扫CT图像的中线结构通常与高颅内压相关，能够为医生评估脑卒中或创伤性脑损伤的严重程度提供了丰富的信息。
发明人发现，一些传统脑中线检测识别方法主要通过人脑的解剖信息来定义一些关键点，通过检测这些关键点来拟合中线在影像中的结构。但是在在一些严重的情况，预先定义好的关键点通常很难或者无法在影像上找到，同时，利用关键点拟合出的中线结构通常不平滑，因此难以用于精确的特征计算和诊断。另一些基于深度学习的脑中线检测识别方法，能够预测断层内中线移位的存在与否，并使用随机森林融合断层预测置信度来判断整个扫描序列的是否移位。但是预测中线偏移与否只能提供有限的诊断信息，此外只有识别出整个中线结构才可以提供待诊断影像的全面量化特征。
针对相关技术中脑中线检测的图像处理准确性较差的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于脑中线检测的医疗图像处理方法及装置、设备、存储介质，以解决脑中线检测的图像处理准确性较差的问题。
第一方面，本申请提供一种用于脑中线检测的医疗图像处理方法，用于量化脑中线病理特征，包括：输入CT图像，经过图像标准化后得到标准化图像；通过所述标准化图像训练得到中线分割网络，其中所述中线分割网络中采用CoordConv层对空间信息进行建模或者所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野；根据所述中线分割网络，输出中线检测结果，其中输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续。
进一步地，输入CT图像，经过图像标准化后得到标准化图像包括：输入CT图像，其中所述CT图像是指对患者脑部图像的采集结果；基于标准化网络，估计粗尺度的脑中线结构，其中所述标准化网络是指UNet；根据所述粗尺度的脑中线结构，定位出中线的第一端点和中线的第二端点，其中，所述第一端点和所述第二端点之间的连线经过脑中线结构的中心坐标和垂直线；根据所述第一端点和中线的第二端点，计算相对偏移角度，得到变换矩阵；经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
进一步地，通过所述标准化图像训练得到中线分割网络时，包括：在UNet中进行基于空间信息建模时，采用CoordConv层进行，分别添加2个额外通道以表示输入的x，y坐标。
进一步地，在UNet中进行语义分割时，采用Cascade AtrousConv模块，用于增加中线分割网络的感受野。
进一步地，通过所述标准化图像训练得到中线分割网络时，包括：基于所述中线分割网络的预测概率按照寻路算法得到最终预测结果的步骤，所述基于所述中线分割网络的预测概率进行自动寻路得到最终预测结果的步骤包括：给定分割网络的初始概率预测，建立寻路算法的目标方程为：
Figure GDA0002180880850000021
其中，pi代表第i行被选中的像素点，定义一元势函数ψi(pi)＝-log P(pi),其中，P(pi)代表pi点的概率值，为中线分割网络的输出；
定义二元势函数，用于作为不同行之间像素选择的平滑项；
计算出相邻行之间的平滑项计算结果。
进一步地，通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的训练步骤，所述训练步骤包括：
将加权交叉熵和Dice系数损失组合作为训练网络时总体的损失函数L＝L_wce+L_dice。
进一步地，通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的深度监督机制步骤，所述深度监督机制步骤包括：
使用1×1卷积层来预测每个尺度的概率图。
第二方面，本申请提供一种用于脑中线检测的医疗图像处理装置，用于量化脑中线病理特征，包括：图像标准化模块，用于输入CT图像，经过图像标准化后得到标准化图像；中线分割模块，用于通过所述标准化图像训练得到中线分割网络，其中所述中线分割网络中采用CoordConv层对空间信息进行建模，所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野；检测模块，用于根据所述中线分割网络，输出中线检测结果，其中输出中测结果时采用预设寻路算法，以使预测结果的中线是连续。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的用于脑中线检测的医疗图像处理方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的用于脑中线检测的医疗图像处理方法的步骤。
在本申请实施例中用于脑中线检测的医疗图像处理方法及装置、设备、存储介质，采用输入CT图像，经过图像标准化后得到标准化图像的方式，通过所述标准化图像训练得到中线分割网络，达到了根据所述中线分割网络，输出中线检测结果的目的，从而实现了以准确地量化对临床应用至关重要的中线病理特征的技术效果，进而解决脑中线检测的图像处理准确性较差的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于脑中线检测的医疗图像处理方法流程示意图；
图2是根据本申请实施例的用于脑中线检测的医疗图像处理方法流程示意图；
图3是根据本申请实施例的用于脑中线检测的医疗图像处理方法流程示意图；
图4是根据本申请实施例的用于脑中线检测的医疗图像处理装置结构示意图；
图5是根据本申请实施例的CoordConv层实现原理示意图；
图6是根据本申请实施例的Cascade AtrousConv模块实现原理示意图；
图7是根据本申请实施例的实现原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S106：
步骤S102，输入CT图像，经过图像标准化后得到标准化图像；
所述CT图像是指对患者脑部图像的采集结果。
通常平扫CT图像的中线结构通常与高颅内压相关。因此，它们为医生评估脑卒中或创伤性脑损伤的严重程度提供了丰富的信息。
具体地，CT扫描期间，患者头部通常不进行固定，因此不同患者的大脑在CT图像中的相对位置通常不一致。考虑到中线检测任务对位置信息敏感，在本申请的实施例中通过上述步骤，将图像映射到标准空间。采用基于UNet的标准化网络来估计粗尺度的中线结构，从而可以定位中线的两个端点，经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
步骤S104，通过所述标准化图像训练得到中线分割网络，
所述中线分割网络中采用CoordConv层对空间信息进行建模或者所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野。
具体地，在本申请的实施例中通过建模中线像素级别的结构，以准确地量化对临床应用至关重要的中线病理特征。基于U型网络在本申请的实施例中采用CoordConv层以利用大脑中线的空间信息，以及Cascade AtrousConv模块以扩大网络的感受野。
步骤S106，根据所述中线分割网络，输出中线检测结果，
输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续。
具体地，在本申请的实施例中采用了一种寻路算法，用于选择最优中线结构，通过这种方式，预测的中线可以保证是连续的。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中用于脑中线检测的医疗图像处理方法及装置、设备、存储介质，采用输入CT图像，经过图像标准化后得到标准化图像的方式，通过所述标准化图像训练得到中线分割网络，达到了根据所述中线分割网络，输出中线检测结果的目的，从而实现了以准确地量化对临床应用至关重要的中线病理特征的技术效果，进而解决脑中线检测的图像处理准确性较差的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，输入CT图像，经过图像标准化后得到标准化图像包括：
步骤S202，输入CT图像，
所述CT图像是指对患者脑部图像的采集结果。
步骤S204，基于标准化网络，估计粗尺度的脑中线结构，
所述标准化网络是指UNet。
步骤S206，根据所述粗尺度的脑中线结构，定位出中线的第一端点和中线的第二端点，
所述第一端点和所述第二端点之间的连线经过脑中线结构的中心坐标和垂直线。
步骤S208，根据所述第一端点和中线的第二端点，计算相对偏移角度，得到变换矩阵；
步骤S210，经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
具体地，在CT医学图像扫描期间不同患者的大脑在CT图像中的相对位置通常不一致，基于UNet的标准化网络来估计粗尺度的中线结构。得到所述粗尺度的中线结构后进行标准空间映射。
优选地，在上述实施例中，根据所述第一端点和中线的第二端点，计算相对偏移角度得到变换矩阵包括：
通过计算从垂直方向和脑中心坐标的偏移角度，以获得如下的变换矩阵：
Figure GDA0002180880850000071
其中，(xI，yI)表示图像中心I，(xB，yB)表示原始图像的颅脑中心，θ表示距垂直方向的偏移角，则T表示最终变换矩阵。
根据本申请实施例，作为本实施例中的优选，通过所述标准化图像训练得到中线分割网络时，包括：
在UNet中进行基于空间信息建模时，采用CoordConv层进行，分别添加2个额外通道以表示输入的x，y坐标。
具体地，本申请的实施例中在U型网络的基础上，提出CoordConv层和CascadeAtrousConv模块。考虑到中线是左脑和右脑的交汇边界，与脑的解剖位置高度相关，本申请的实施例中首先采用CoordConv层来建模空间信息。
需要注意的是，CoordConv层是对经典卷积层的简单扩展，它通过连接额外的坐标通道来集成位置信息。如图5所示，分别添加2个额外通道以表示输入的x，y坐标。在编码路径的第一个转换中添加CoordConv层，并将协调通道的值归一化到-1到1的范围。
根据本申请实施例，作为本实施例中的优选，在UNet中进行语义分割时，采用Cascade AtrousConv模块，用于增加中线分割网络的感受野。
具体地，本申请的实施例中提出了一个Cascade AtrousConv模块来探索更大的感受野(620×620，覆盖完整图像)，如图6所示。
需要注意的是，Atrous卷积被广泛用于语义分割，Atrous卷积增加了感受野，同时保持了特征图分辨率不变。原始UNet网络中编码器的感受野是140×140，仅覆盖输入CT图像的一部分，这可能忽略了全局背景信息对中线分割的重要性。
根据本申请实施例，作为本实施例中的优选，如图3所示，所述基于所述中线分割网络的预测概率进行自动寻路得到最终预测结果的步骤包括：
步骤S302，给定分割网络的初始概率预测，建立寻路算法的目标方程为：
Figure GDA0002180880850000081
其中，pi代表第i行被选中的像素点，定义一元势函数ψi(pi)＝-log P(pi),其中，P(pi)代表pi点的概率值，为中线分割网络的输出；
步骤S304，定义二元势函数，用于作为不同行之间像素选择的平滑项；
步骤S306，计算出相邻行之间的平滑项计算结果。
具体地，在标准空间中，头颅的中线结构是一条连续线，由每行中的一个点组成。给定分割网络的初始概率预测，寻路算法的目标方程。在此基础之上，在本申请的实施例中定义了二元势函数，作为不同行之间像素选择的平滑项。为了简化求解，在本申请的实施例中仅考虑相邻行之间的平滑项计算。
根据本申请实施例，作为本实施例中的优选，该方法包括：通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的训练步骤，所述训练步骤包括：
将加权交叉熵和Dice系数损失组合作为训练网络时总体的损失函数L＝L_wce+L_dice。
具体地，交叉熵是语义分割任务中的经典损失函数而Dice系数损失可以在一定程度上缓解样本不平衡的问题。因此本申请的实施例中将加权交叉熵和Dice系数损失组合作为总体的损失函数L＝Lwce+Ldice。
根据本申请实施例，作为本实施例中的优选，该方法包括：通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的深度监督机制步骤，所述深度监督机制步骤包括：
使用1×1卷积层来预测每个尺度的概率图。
具体地，为了增强编码器的训练，本申请的实施例中使用1×1卷积层来预测每个尺度的概率图。解码器中的特征和深度监督机制进一步强加于不同尺度的语义信息。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，如图4所示，还提供了一种用于实施上述方法的用于脑中线检测的医疗图像处理装置100，用于量化脑中线病理特征，如图4所示，该装置包括：图像标准化模块10，用于输入CT图像，经过图像标准化后得到标准化图像；中线分割模块20，用于通过所述标准化图像训练得到中线分割网络，其中所述中线分割网络中采用CoordConv层对空间信息进行建模，所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野；检测模块30，用于根据所述中线分割网络，输出中线检测结果，其中输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续。
本申请实施例的图像标准化模块10中所述CT图像是指对患者脑部图像的采集结果。
通常平扫CT图像的中线结构通常与高颅内压相关。因此，它们为医生评估脑卒中或创伤性脑损伤的严重程度提供了丰富的信息。
具体地，CT扫描期间，患者头部通常不进行固定，因此不同患者的大脑在CT图像中的相对位置通常不一致。考虑到中线检测任务对位置信息敏感，在本申请的实施例中通过上述步骤，将图像映射到标准空间。采用基于UNet的标准化网络来估计粗尺度的中线结构，从而可以定位中线的两个端点，经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
本申请实施例的中线分割模块20中所述中线分割网络中采用CoordConv层对空间信息进行建模或者所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野。
具体地，在本申请的实施例中通过建模中线像素级别的结构，以准确地量化对临床应用至关重要的中线病理特征。基于U型网络在本申请的实施例中采用CoordConv层以利用大脑中线的空间信息，以及Cascade AtrousConv模块以扩大网络的感受野。
本申请实施例的检测模块30中输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续。
具体地，在本申请的实施例中采用了一种寻路算法，用于选择最优中线结构，通过这种方式，预测的中线可以保证是连续的。
所述图像标准化模块10用于输入CT图像，其中所述CT图像是指对患者脑部图像的采集结果；
基于标准化网络，估计粗尺度的脑中线结构，其中所述标准化网络是指UNet；
根据所述粗尺度的脑中线结构，定位出中线的第一端点和中线的第二端点，其中，所述第一端点和所述第二端点之间的连线经过脑中线结构的中心坐标和垂直线；
根据所述第一端点和中线的第二端点，计算相对偏移角度，得到变换矩阵；
经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
具体地，在CT医学图像扫描期间不同患者的大脑在CT图像中的相对位置通常不一致，基于UNet的标准化网络来估计粗尺度的中线结构。得到所述粗尺度的中线结构后进行标准空间映射。
优选地，在上述实施例中，根据所述第一端点和中线的第二端点，计算相对偏移角度得到变换矩阵包括：
通过计算从垂直方向和脑中心坐标的偏移角度，以获得如下的变换矩阵：
Figure GDA0002180880850000111
其中，(xI，yI)表示图像中心I，(xB，yB)表示原始图像的颅脑中心，θ表示距垂直方向的偏移角，则T表示最终变换矩阵。
所述中线分割模块20，用于在UNet中进行基于空间信息建模时，采用CoordConv层进行，分别添加2个额外通道以表示输入的x，y坐标。
具体地，本申请的实施例中在U型网络的基础上，提出CoordConv层和CascadeAtrousConv模块。考虑到中线是左脑和右脑的交汇边界，与脑的解剖位置高度相关，本申请的实施例中首先采用CoordConv层来建模空间信息。
需要注意的是，CoordConv层是对经典卷积层的简单扩展，它通过连接额外的坐标通道来集成位置信息。如图5所示，分别添加2个额外通道以表示输入的x，y坐标。在编码路径的第一个转换中添加CoordConv层，并将协调通道的值归一化到-1到1的范围。
所述中线分割模块20，用于在UNet中进行语义分割时，采用Cascade AtrousConv模块，用于增加中线分割网络的感受野。
具体地，本申请的实施例中提出了一个Cascade AtrousConv模块来探索更大的感受野(620×620，覆盖完整图像)，如图6所示。
需要注意的是，Atrous卷积被广泛用于语义分割，Atrous卷积增加了感受野，同时保持了特征图分辨率不变。原始UNet网络中编码器的感受野是140×140，仅覆盖输入CT图像的一部分，这可能忽略了全局背景信息对中线分割的重要性。
所述中线分割模块20，用于通过所述标准化图像训练得到中线分割网络时，包括：基于所述中线分割网络的预测概率按照寻路算法得到最终预测结果的步骤，
所述基于所述中线分割网络的预测概率进行自动寻路得到最终预测结果的步骤包括：
给定分割网络的初始概率预测，建立寻路算法的目标方程为：
Figure GDA0002180880850000121
其中，pi代表第i行被选中的像素点，定义一元势函数ψi(pi)＝-log P(pi),其中，P(pi)代表pi点的概率值，为中线分割网络的输出；
定义二元势函数，用于作为不同行之间像素选择的平滑项；
计算出相邻行之间的平滑项计算结果。
具体地，在标准空间中，头颅的中线结构是一条连续线，由每行中的一个点组成。给定分割网络的初始概率预测，寻路算法的目标方程。在此基础之上，在本申请的实施例中定义了二元势函数，作为不同行之间像素选择的平滑项。为了简化求解，在本申请的实施例中仅考虑相邻行之间的平滑项计算。
还包括：训练阶段还包括：
在训练阶段对所述中线分割网络的训练步骤，所述训练步骤包括：
将加权交叉熵和Dice系数损失组合作为训练网络时总体的损失函数L＝L_wce+L_dice。
具体地，交叉熵是语义分割任务中的经典损失函数而Dice系数损失可以在一定程度上缓解样本不平衡的问题。因此本申请的实施例中将加权交叉熵和Dice系数损失组合作为总体的损失函数L＝Lwce+Ldice。
在训练阶段还包括：对所述中线分割网络的深度监督机制步骤，所述深度监督机制步骤包括：
使用1×1卷积层来预测每个尺度的概率图。
具体地，为了增强编码器的训练，本申请的实施例中使用1×1卷积层来预测每个尺度的概率图。解码器中的特征和深度监督机制进一步强加于不同尺度的语义信息。
如图7所示，是本申请优选实施例的实现原理示意图。
一，图像标准化的步骤，
CT扫描期间，患者头部通常不进行固定，因此不同患者的大脑在CT图像中的相对位置通常不一致。考虑到中线检测任务对位置信息敏感，本申请的实施例中尝试将图像映射到标准空间，首先提出了基于UNet[7]的标准化网络来估计粗尺度的中线结构，因此可以定位中线的两个端点(图1中的S和E)。通过计算从垂直方向和脑中心坐标的偏移角度，以获得如下的变换矩阵：
Figure GDA0002180880850000131
其中(xI，yI)表示图像中心I，(xB，yB)表示原始图像的颅脑中心，θ表示距垂直方向的偏移角，则T表示最终变换矩阵。
二，中线分割的步骤。
本申请的实施例中在U型网络的基础上，提出CoordConv层和Cascade AtrousConv模块。考虑到中线是左脑和右脑的交汇边界，与脑的解剖位置高度相关，本申请的实施例中首先采用CoordConv层来建模空间信息。CoordConv层是对经典卷积层的简单扩展，它通过连接额外的坐标通道来集成位置信息。如图5所示，分别添加2个额外通道以表示输入的x，y坐标。在编码路径的第一个转换中添加CoordConv层，并将协调通道的值归一化到-1到1的范围。Atrous卷积被广泛用于语义分割，它增加了感受野，同时保持了特征图分辨率不变。原始UNet中编码器的感受野是140×140，仅覆盖输入CT图像的一部分，这可能忽略了全局背景信息对中线分割的重要性。因此，我们提出了一个Cascade AtrousConv模块来探索更大的感受野(620×620，覆盖完整图像)，如图6所示。
在标准空间中，头颅的中线结构是一条连续线，由每行中的一个点组成。给定分割网络的初始概率预测，寻路算法的目标方程为：
Figure GDA0002180880850000141
其中pi代表第i行被选中的像素点，本申请的实施例中定义一元势函数ψi(pi)＝-log P(pi),其中P(pi)代表pi点的概率值，为中线分割网络的输出。在此基础之上，本申请的实施例中定义二元势函数，作为不同行之间像素选择的平滑项。为了简化求解，本申请的实施例中仅考虑相邻行之间的平滑项计算，其形式如下：
Figure GDA0002180880850000151
三，训练过程
交叉熵是语义分割任务中的经典损失函数而Dice系数损失可以在一定程度上缓解样本不平衡的问题。因此本申请的实施例中将加权交叉熵和Dice系数损失组合作为总体的损失函数L＝Lwce+Ldice。为了增强编码器的训练，本申请的实施例中使用1×1卷积层来预测每个尺度的概率图。解码器中的特征和深度监督机制进一步强加于不同尺度的语义信息。
四、实验结果
本申请的实施例中提出的模型在内部数据集和公开数据集CQ500上进行评估。内部数据集来源于三家医院，总共收集了877个平扫头部CT，切片厚度为5mm。数据集被随机分成训练集、验证集和测试集，数量分别为708/87/82，其中中间移位的扫描数量分别为207/44/42。对于公开数据集CQ500，本申请的实施例中排除健康的CT扫描序列，并选择235个平扫CT进行实验，其中中线移位为53个，切片厚度约为5mm。
此外，使用一名高年资放射科医师，对所有数据进行中线标记，为本实验的金标准。本申请的实施例中使用Hausdorff距离作为评估指标，用于测量预测中线和医生标注中线之间的距离。
本申请的实施例中首先使用UNet作为基线方法，并进行消融实验，研究提出的三个组成部分：图像标准化，中线分割和寻路算法。所有消融实验都在内部数据集上进行评估。为了验证图像标准化的实用性，实验中比较了基线方法是否将输入CT图像转换为标准空间，并在前两行显示结果。没有使用图像标准化，性能会大幅降低。为了验证中线分割网络的三个模块(CoordConv、Cascades AtrousConv、DeepSupervisioin)的有效性，实验中将每个模块与基线方法独立地结合起来。
如表格1所示，所提出的每个模块都可以较大程度地改善性能，特别是在中线偏移的情况下。此外，通过将所有模块组合在一起，本申请的实施例中提出的方法在所有类型的情况下根据平均距离和最大距离达到最佳性能。最后，实验使用寻路算法处理所提出方法的输出概率图，表格1底部显示的性能表明了使用寻路算法的优势。
表格1内部数据集实验结果
Figure GDA0002180880850000161
在此基础之上，本申请的实施例中使用在内部数据集上训练的模型来预测公开数据集CQ500数据的中线，实验结果参见表格2。与内部数据集的结果一致，本申请的实施例中中提出的组件可以稳定改善性能。本申请的实施例中对两个数据集上的预测结果进行可视化，以定性地评估比较方法和各个组件的作用。
表格2 CQ500数据集实验结果
Figure GDA0002180880850000171
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种用于脑中线检测的医疗图像处理方法，其特征在于，用于量化脑中线病理特征，包括：
输入CT图像，经过图像标准化后得到标准化图像；
通过所述标准化图像训练得到中线分割网络，其中所述中线分割网络中采用CoordConv层对空间信息进行建模或者所述中线分割网络中采用Cascade AtrousConv模块扩大中线分割网络的感受野；
根据所述中线分割网络，输出中线检测结果，其中输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续；
输入CT图像，经过图像标准化后得到标准化图像包括：
输入CT图像，其中所述CT图像是指对患者脑部图像的采集结果；
基于标准化网络，估计粗尺度的脑中线结构，其中所述标准化网络是指UNet；
根据所述粗尺度的脑中线结构，定位出中线的第一端点和中线的第二端点，其中，所述第一端点和所述第二端点之间的连线经过脑中线结构的中心坐标和垂直线；
根据所述第一端点和中线的第二端点，计算相对偏移角度，得到变换矩阵；
经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
2.根据权利要求1所述的用于脑中线检测的医疗图像处理方法，其特征在于，通过所述标准化图像训练得到中线分割网络时，包括：
在UNet中进行基于空间信息建模时，采用CoordConv层进行，分别添加2个额外通道以表示输入的x，y坐标。
3.根据权利要求1所述的用于脑中线检测的医疗图像处理方法，其特征在于，通过所述标准化图像训练得到中线分割网络时，包括：
在UNet中进行语义分割时，采用Cascade AtrousConv模块，用于增加中线分割网络的感受野。
4.根据权利要求1所述的用于脑中线检测的医疗图像处理方法，其特征在于，通过所述标准化图像训练得到中线分割网络时，包括：基于所述中线分割网络的预测概率按照寻路算法得到最终预测结果的步骤，
所述基于所述中线分割网络的预测概率进行自动寻路得到最终预测结果的步骤包括：
给定分割网络的初始概率预测，建立寻路算法的目标方程为：
Figure FDA0003383271660000021
其中，pi代表第i行被选中的像素点，定义一元势函数ψi(pi)＝-log P(pi),其中，P(pi)代表pi点的概率值，为中线分割网络的输出；
定义二元势函数，用于作为不同行之间像素选择的平滑项；
计算出相邻行之间的平滑项计算结果。
5.根据权利要求1所述的用于脑中线检测的医疗图像处理方法，其特征在于，通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的训练步骤，所述训练步骤包括：
将加权交叉熵和Dice系数损失组合作为训练网络时总体的损失函数L＝L_wce+L_dice。
6.根据权利要求1所述的用于脑中线检测的医疗图像处理方法，其特征在于，通过所述标准化图像训练得到中线分割网络之前，还包括：对所述中线分割网络的深度监督机制步骤，所述深度监督机制步骤包括：
使用1×1卷积层来预测每个尺度的概率图。
7.一种用于脑中线检测的医疗图像处理装置，其特征在于，用于量化脑中线病理特征，包括：
图像标准化模块，用于输入CT图像，经过图像标准化后得到标准化图像；
中线分割模块，用于通过所述标准化图像训练得到中线分割网络，其中所述中线分割网络中采用CoordConv层对空间信息进行建模，所述中线分割网络中采用CascadeAtrousConv模块扩大中线分割网络的感受野；
检测模块，用于根据所述中线分割网络，输出中线检测结果，其中输出中线检测结果时采用预设寻路算法，以使预测结果的中线是连续；
输入CT图像，经过图像标准化后得到标准化图像包括：
输入CT图像，其中所述CT图像是指对患者脑部图像的采集结果；
基于标准化网络，估计粗尺度的脑中线结构，其中所述标准化网络是指UNet；
根据所述粗尺度的脑中线结构，定位出中线的第一端点和中线的第二端点，其中，所述第一端点和所述第二端点之间的连线经过脑中线结构的中心坐标和垂直线；
根据所述第一端点和中线的第二端点，计算相对偏移角度，得到变换矩阵；
经过所述变换矩阵将图像映射到标准空间，完成图像标准化处理。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的用于脑中线检测的医疗图像处理方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的用于脑中线检测的医疗图像处理方法的步骤。
CN201910602968.4A 2019-07-04 2019-07-04 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质 Active CN110443808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910602968.4A CN110443808B (zh) 2019-07-04 2019-07-04 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910602968.4A CN110443808B (zh) 2019-07-04 2019-07-04 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN110443808A CN110443808A (zh) 2019-11-12
CN110443808B true CN110443808B (zh) 2022-04-01

Family

ID=68429086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910602968.4A Active CN110443808B (zh) 2019-07-04 2019-07-04 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN110443808B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161216A (zh) * 2019-12-09 2020-05-15 杭州脉流科技有限公司 基于深度学习的血管内超声图像处理方法、装置、设备和存储介质
CN111369525B (zh) * 2020-03-02 2023-05-30 联影智能医疗科技(北京)有限公司 图像分析方法、设备和存储介质
CN111583212B (zh) * 2020-04-29 2021-11-30 上海杏脉信息科技有限公司 脑部中线移位的确定方法及装置
CN111861989A (zh) * 2020-06-10 2020-10-30 杭州深睿博联科技有限公司 一种脑中线检测方法、系统、终端及存储介质
CN112241952B (zh) * 2020-10-22 2023-09-05 平安科技（深圳）有限公司 大脑中线识别方法、装置、计算机设备及存储介质
CN113312978A (zh) * 2021-04-30 2021-08-27 中国科学院计算技术研究所 一种显微影像下目标精确识别和分割的方法及其系统
CN113870215B (zh) * 2021-09-26 2023-04-07 推想医疗科技股份有限公司 中线提取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310435A (zh) * 2012-03-21 2013-09-18 华中科技大学 将垂直投影和最优路径相结合对车牌字符进行分割的方法
CN104933712A (zh) * 2015-06-12 2015-09-23 哈尔滨工程大学 基于脑部ct图像的图模型展示方法
CN108182674A (zh) * 2017-12-14 2018-06-19 合肥金星机电科技发展有限公司 基于U-Net深度学习网络的粒度检测分析方法
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891778B2 (en) * 2018-01-10 2021-01-12 The Board Of Trustees Of The University Of Illinois Apparatus and method for producing three-dimensional models from magnetic resonance imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310435A (zh) * 2012-03-21 2013-09-18 华中科技大学 将垂直投影和最优路径相结合对车牌字符进行分割的方法
CN104933712A (zh) * 2015-06-12 2015-09-23 哈尔滨工程大学 基于脑部ct图像的图模型展示方法
CN108182674A (zh) * 2017-12-14 2018-06-19 合肥金星机电科技发展有限公司 基于U-Net深度学习网络的粒度检测分析方法
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109784350A (zh) * 2018-12-29 2019-05-21 天津大学 结合空洞卷积与级联金字塔网络的服饰关键点定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An intriguing failing of convolutional neural networks and the CoordConv solution;Rosanne Liu et al.;《arXiv:1807.03247v2 [cs.CV]》;20181203;第1页摘要，第3-4页第3节，图3 *
Rethinking Atrous Convolution for Semantic Image Segmentation;Liang-Chieh Chen et al.;《arXiv:1706.05587v3 [cs.CV]》;20171205;第1-2页第1节，图2 *

Also Published As

Publication number Publication date
CN110443808A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443808B (zh) 用于脑中线检测的医疗图像处理方法及装置、设备、存储介质
CN110415219B (zh) 基于深度分割网络的医学图像处理方法及装置、设备、存储介质
CN113538313B (zh) 一种息肉分割方法、装置、计算机设备及存储介质
CN105184103B (zh) 基于病历数据库的虚拟名医系统
EP2357612B1 (en) Method for quantifying and imaging features of a tumor
Attar et al. Quantitative CMR population imaging on 20,000 subjects of the UK Biobank imaging study: LV/RV quantification pipeline and its evaluation
WO2013161589A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN112399816A (zh) 信息处理装置和模型生成方法
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN109152517B (zh) 图像处理装置、图像处理装置的控制方法和记录介质
CN111861989A (zh) 一种脑中线检测方法、系统、终端及存储介质
Stone et al. Supervised learning technique for the automated identification of white matter hyperintensities in traumatic brain injury
CN104732520A (zh) 一种胸部数字影像的心胸比测量算法及系统
US9483705B2 (en) Image processing device, image processing method, and image processing program
CN115954101A (zh) 一种基于ai舌诊图像处理的健康度管理系统及管理方法
CN116091466A (zh) 图像分析方法、计算机设备和存储介质
CN113768528A (zh) 一种ct影像脑出血辅助定位系统
CN106709867A (zh) 一种基于改进surf和改进互信息的医学图像配准方法
US9436889B2 (en) Image processing device, method, and program
CN112651976B (zh) 基于低分辨率核磁数据的病灶区域脑网络确定方法及系统
JP6090505B1 (ja) 眼底画像解析システムとそのプログラム
Lee et al. Fully automated segmentation on brain ischemic and white matter hyperintensities lesions using semantic segmentation networks with squeeze-and-excitation blocks in MRI
JP2013180160A (ja) 画像診断支援装置、方法およびプログラム
CN113255781B (zh) Cp-ebus的代表性图片选取方法、装置以及诊断系统
Gómez et al. APIS: A paired CT-MRI dataset for ischemic stroke segmentation challenge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant