CN109003269B - 一种能提高医生效率的医学影像病灶的标注提取方法 - Google Patents

Abstract

本发明公开了一种能提高医生效率的医学影像病灶的标注提取方法，所述方法包括如下步骤：一、导入原始影像dicom图像与标注图像；二、特征点提取与匹配；三、对标注图像进行标准化变换；四、颜色变换与感兴趣颜色提取；五、标注形状检测。本发明允许放射科医生在自己熟悉的已有影像诊断系统上甄别和定位病灶，然后标出病灶的外围形状，后续的标注提取工作全部自动化进行，综合利用图像处理技术、特征提取技术以及匹配技术复原出病灶的标注信息。

Description

一种能提高医生效率的医学影像病灶的标注提取方法

技术领域

本发明属于放射医学技术领域，涉及一种医学影像数据标注方法，具体涉及一种能提高医生效率的医学影像病灶的标注提取方法。

背景技术

在放射医学中，影像医师通常借助CAD(计算机辅助检测系统)例如CT(电子计算机断层扫描)、PET(正电子发射型计算机断层显像)得到患者的影像信息。影像信息保存于dicom格式的文件中，dicom文件除主要的像素信息外，还包含患者的姓名、性别、年龄、影像类型、影像序列号等一系列信息。放射医师总结医学影像信息得到检查所见，并根据自身经验得出患者的诊断意见，生成诊断报告。目前对于医学影像的自动识别已有大量研究，主要利用卷积神经网络做医学影像的分类与识别。在影像识别方面，需要使用大量标注过的图像作为训练数据。标注的方式为以文字或圆圈标注的形式，代表影像中的病灶或者某个器官的位置和大小。

然而，目前医学影像数据的标注工具没有很好的面向放射科医生进行设计。对于病人的一次CT扫描，会产生数百张切片图像，让医生标注出感兴趣病灶的位置和大小并不是一件轻松的事情。医生需要不断对照前后切片的图像，并参考大量的历史诊断记录，以便对患者的每一张图做仔细的观察、甄别。因此，一个真正对医生友好的标注工具除了要具备标记出形状的功能外，更需要具备dicom格式影像的显示功能与历史诊断案例的查询功能。

美国国家卫生研究院成像生物标记和计算机辅助诊断实验室(ImagingBiomarkers and Computer-Aided Diagnosis Laboratory)所做的淋巴结标注数据集(ASeff,L Lu,A Barbu,H Roth,HC Shin,RM Summers.Leveraging Mid-Level SemanticBoundary Cues for Automated Lymph Node Detection.Medical Image Computing andComputer-Assisted Intervention–MICCAI 2015,pp.53-61.)，共包含了90位病人的纵膈CT影像共388张，以及86位病人的腹部CT影像共595张。该技术通过MITK workbench工具，对每个病人的dicom影像进行重建，医生可以对任意的横断位、矢状位、冠状位进行观察，将观察到的淋巴结进行手动标注，即在图中绘制圆形框将淋巴结框住，系统会自动将医生所绘制的圆形框坐标保存在本地文件。该方案假设医生很容易甄别并找到病灶的位置，缺点主要有以下几点：

(1)MITKworkbench属于第三方工具软件，跟放射科医生诊断时使用的影像诊断系统差别较大。对于放射科医生而言，需要额外的培训和练习。

(2)实际诊断过程中，准确的甄别并找到病灶位置并不容易。医生在标注的过程中需要参考大量的历史诊断信息，MITKworkbench无法提供。这会大大影响医生的标注效率和标注准确度。

(3)第三方工具软件未必全面支持特定医院的数据格式。MITK workbench标注过程中仅适用CT影像。而有的医院不仅有CT影像，还有PET影像。二者都是非常重要的参考，可以互补。前者可以判断病灶的轮廓外形是否异常，后者可以判断病灶的代谢是否异常。

发明内容

针对现有技术存在的上述缺点，本发明提供了一种能提高医生效率的医学影像病灶的标注提取方法。本发明允许放射科医生在自己熟悉的已有影像诊断系统上甄别和定位病灶，然后标出病灶的外围形状，后续的标注提取工作全部自动化进行，综合利用图像处理技术、特征提取技术以及匹配技术复原出病灶的标注信息。

本发明的目的是通过以下技术方案实现的：

一种能提高医生效率的医学影像病灶的标注提取方法，包括如下步骤：

一、导入原始影像dicom图像与标注图像：

载入标注图像，提取标注图像中病人编号和切片编号，载入该切片编号的原始影像dicom图像，原始影像dicom图像按照公式(1)进行加窗：

TH1和TH2是窗口的上下界，通过逐像素扫描，如果像素值小于TH1，则置为0，如果像素值大于TH2则置为255，其他情况则根据公式(1)中的第三种情况进行计算，将像素值value映射到0～255的灰度范围；

二、特征点提取与匹配：

(1)提取检测子：在标注图像和加窗后的dicom图像中提取特征点，获得特征点的检测子；

(2)提取描述子：对于提取的特征点进行描述，提取特征点的描述子；

(3)图对的匹配：通过各个特征点的描述子判断它们在两张图像中的对应关系，建立图对之间特征点的映射关系；

三、对标注图像进行标准化变换：

(1)根据公式(2)计算标注图像的四周切除量：

式中，(x₁,y₁)和(x₂,y₂)、(x′₁,y′₁)和(x′₂,y′₂)分别为两对随机选取的特征匹配点，w和h为原dicom图像的宽和高；计算得到的t、b、l和r分别是上、下、左和右方切除量，如果切除量为负，用黑色对该边进行填充；

(2)对切割后的标注图像进行放缩变换，将标注图像放缩到与原始dicom图像统一的尺寸；

四、颜色变换与感兴趣颜色提取：

(1)对标准化变换后的标注图像进行色彩的过滤，提取出图中感兴趣的色彩；

(2)按照公式(3)将RGB图像转化为HSV空间表示：

式中，R、G、B分别代表红绿蓝三色分量取值，HSV分别表示色调、饱和度、亮度；

(3)根据感兴趣颜色的取值范围滤除掉其他范围的颜色；

五、标注形状检测

采用霍夫变换算法提取标注形状，根据检测到的形状计算出形状的参数，得到的坐标描述直接对应原图像的病灶标注信息。

相比于现有技术，本发明具有如下优点：

(1)本发明允许医生直接在医院已有的影像诊断系统上标注病灶。这样做的好处，首先是医生非常熟悉，不需要额外学习使用第三方工具；其次是支持所有模态与格式影像的显示与融合。

(2)医院已有的影像诊断系统能够以专业的方式显示影像并非常便捷地查找历史诊断案例，使医生有所参考，并且能够用红色圆圈非常快速地标注出病灶的位置和大小，能够最大化地减少医生在数据标注上所花的时间并提高准确率。基于所熟悉的诊断系统，医生能够方便快速翻阅和参考历史标注与诊断，不需要调取额外的软件，也不需要进行额外的查阅。

(3)医生的标注不再完全基于自己的主观意志，对历史数据的查阅能够对医生的决策有所参考，提高了标注的准确度。

(4)本发明从医生的角度去设计操作流程，利用先进的图像处理、图像匹配等技术达到高效标注病灶的目的，极大简化了医生参与的环节，适合大规模医学数据标注任务。

附图说明

图1为本发明标注提取流程图；

图2为标注图像；

图3为原图像(加窗后显示)；

图4为特征点提取与匹配；

图5为从图像载入到图像匹配的详细流程图；

图6为霍夫变换检测的标注形状；

图7为提取结果可视化效果。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种能提高医生效率的医学影像病灶的标注提取装置及方法，所述装置由标注提取系统和交互接口系统构成，其中：交互接口系统用于展示不同处理阶段的效果并与用户进行交互；标注提取系统用于实现下述5个步骤。如图1所示，具体步骤如下：

(1)导入原始影像dicom图像与标注图像。标注图像是医生在显示的影像图像上截图得到，格式可以是每像素占8位的jpg、png、bmp等图像。而影像原图为每像素占16位的dicom图像，因此需要对像素值进行加窗，将像素值value映射到0～255的灰度范围，对于肺部使用的加窗函数为：

这里的TH1和TH2是窗口的上下界。通过逐像素扫描，如果像素值小于TH1，则置为0，如果像素值大于TH2则置为255，其他情况则根据上述第三种情况的公式进行计算。

(2)特征点提取与匹配。由于标注图和原图(图对)的大小和位置一般是不一致的，所以标注形状在标注图上的坐标无法直接在原图上使用。因此需要对标注图片进行平移和放缩变化，使其和原图对应后，这样提取出来的标注位置和大小才是有效的。这里通过对两张图建立匹配关系，从而获取像素间的映射关系。首先提取检测子。在两张待匹配的图像中寻找那些最容易识别的像素点，比如纹理丰富的物体边缘点等。然后提取描述子。对于检测出的角点，用一些数学上的特征对其进行描述，如梯度直方图，局部随机二值特征等。目前，有一些常用的检测子和描述子方法可供选用，如sift，harris，surf，fast，agast，brisk，freak，brisk，brief/orb等。最后进行图对的匹配。通过各个特征点的描述子来判断它们在两张图像中的对应关系，如flann等方法。

(3)对标注图像进行标准化变换。上述步骤(2)，建立了图对之间特征点的映射关系。在标签图中得到和原图中每一个特征点最接近的点，选择相似度最高的两对点。根据以下公式计算标注图像的上、下、左和右方切除量：

公式中，(x₁,y₁)和(x₂,y₂)、(x′₁,y′₁)和(x′₂,y′₂)分别为两对随机选取的特征匹配点，w和h为原dicom图像的宽和高；计算得到的t、b、l和r分别是上、下、左和右方切除量，如果切除量为负，用黑色对该边进行填充。对切割后的标注图像进行放缩变换，使得标注图像和dicom图像的大小统一。

(4)颜色变换与感兴趣颜色提取。为了得到病灶的标注信息，要对标准化变换后的标注图像进行感兴趣颜色的提取。考虑到病灶标注过程使用彩色形状，因此需要首先进行色彩的过滤，比如提取出图中感兴趣的色彩，红色。考虑到在RGB空间中，红色并不是连续的，因此需要将RGB图像转化为另外一种类型的表示，即HSV空间表示。这种表示方式下的红色是连续的，HSV分别表示：色调(H：hue)、饱和度(S：saturation)、亮度(V：value)。更符合人描述和解释颜色的方式。H范围是0～180，红色的色调范围大概是(0,8)∪(160,180)，S为饱和度，红色的饱和度为(80,255)，V是亮度，红色的亮度范围为(50,220)。

由RGB空间表示转化为HSV空间表示的方法为：

在对RGB图进行HSV转化后，根据感兴趣色彩的取值范围去除图中的其他颜色，为下一步的形状检测提供条件。

(5)标注形状检测。在对颜色做了过滤之后，采用霍夫变换算法提取标注形状。根据形状的不同，可以分别采用直线检测、圆形检测等不同变形算法。根据检测到的形状，计算出形状的参数。比如，如果是圆形，可以用圆心坐标与半径来描述。这样得到的坐标描述直接对应原图像的病灶标注信息。

具体实施方式二：本实施方式以肺癌转移病灶的标注提取为例，医生在医院的影像诊断系统里使用绘图工具绘制红色的圆形，标注病灶形状并截图保存为jpg图。以下具体说明实施本发明时的过程与要点。总的执行流程遵照图1所示。

第一步，载入原始影像图像与标注图像。标注图像和原始图像分别见图2和3所示。加窗时，公式(1)中TH1和TH2的取值分别为160和240。

第二步，特征点提取与匹配。这里特征点采用SIFT描述子。该算法主要包括5个步骤进行匹配：

1)构建尺度空间，检测极值点，获得尺度不变性。

2)特征点过滤并进行精确定位，剔除不稳定的特征点。

3)在特征点处提取特征描述符，为特征点分配方向值。

4)生成特征描述子，利用特征描述符寻找匹配点，这里以特征点为中心取16*16的邻域作为采样窗口。

5)计算变换参数，当两幅图像的sift特征向量生成以后，下一步就可以采用特征点特征向量的欧式距离来进行两幅图像中特征点的相似性度量。

特征点的匹配根据相似性准则来度量。取原图的某个特征点，通过遍历找到标签图中的距离最近的K个特征点。在这K个特征点中，如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点。

图4给出了特征点提取与匹配的示例图，其中红色为提取的特征点，绿色连线代表特征点的匹配。

第三步，对标注图像进行标准化变换。这里根据公式(2)计算对标注图像四周的剪切量。随后进行放缩变换，使得标注图像和dicom图像的大小统一。

第一步到第三步的详细流程如图5所示。

第四步，颜色变换与感兴趣颜色提取。先依据公式(3)对颜色空间进行变换，得到HSV空间的表示形式。这种表示方式下的红色是连续的，更符合人描述和解释颜色的方式。然后根据感兴趣红色的取值范围滤除掉其他范围的颜色。

第五步，标注形状检测与提取。考虑到标签均为圆圈，因此，用霍夫找圆的方式提取图中的圆，并输出圆的圆心坐标及半径。对整张图进行遍历，找到某个像素点只要距离该点距离相等的像素点数量大于某个阈值，则视为识别到的圆。对于距离计算，采用梯度焦点的方法。计算每一个像素的边缘梯度线，并且这些梯度线的交点越密集的点，越有可能是圆心。保存圆心计算到该圆心距离相等的点到该圆心的距离是否在某个范围内，如果是，则保留圆心半径并输出，如果不是，找到下一个可能的圆心再次进行尝试。这里提取的圆形病灶标注采用红色绘制到图6中，叠加到原图中的可视化如图7所示。

Claims (1)

1.一种能提高医生效率的医学影像病灶的标注提取方法，其特征在于所述方法步骤如下：

一、导入原始影像dicom图像与标注图像：

载入标注图像，提取标注图像中病人编号和切片编号，载入该切片编号的原始影像dicom图像，原始影像dicom图像按照公式(1)进行加窗：

TH1和TH2是窗口的上下界，通过逐像素扫描，如果像素值小于TH1，则置为0，如果像素值大于TH2则置为255，其他情况则根据公式(1)中的第三种情况进行计算，将像素值value映射到0～255的灰度范围；

二、特征点提取与匹配：

(1)提取检测子：在标注图像和加窗后的dicom图像中提取特征点，获得特征点的检测子；

(2)提取描述子：对于提取的特征点进行描述，提取特征点的描述子；

(3)图对的匹配：通过各个特征点的描述子判断它们在两张图像中的对应关系，建立图对之间特征点的映射关系；

三、对标注图像进行标准化变换：

(1)根据公式(2)计算标注图像的四周切除量：

式中，(x₁,y₁)和(x₂,y₂)、(x′₁,y′₁)和(x′₂,y′₂)分别为两对随机选取的特征匹配点，w和h为原dicom图像的宽和高；计算得到的t、b、l和r分别是上、下、左和右方切除量，如果切除量为负，用黑色对该边进行填充；

(2)对切割后的标注图像进行放缩变换，将标注图像放缩到与原始dicom图像统一的尺寸；

四、颜色变换与感兴趣颜色提取：

(1)对标准化变换后的标注图像进行色彩的过滤，提取出图中感兴趣的色彩；

(2)按照公式(3)将RGB图像转化为HSV空间表示：

式中，R、G、B分别代表红绿蓝三色分量取值，HSV分别表示色调、饱和度、亮度；

(3)根据感兴趣颜色的取值范围滤除掉其他范围的颜色；

五、标注形状检测

采用霍夫变换算法提取标注形状，根据检测到的形状计算出形状的参数，得到的坐标描述直接对应原图像的病灶标注信息。

Images