CN108921854A - 一种消化道内镜图像不规则病变区域标注方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种消化道内镜图像不规则病变区域标注方法及系统。本发明方法包括：选择目标文件夹，获取文件夹下图像的文件名；自动生成输出路径；初始化图像掩膜；裁剪图像和掩膜并记录裁剪位置；标注病变区域，更新掩膜；根据掩膜生成边框；保存裁剪后的图像、裁剪位置、掩膜和病变区域的边框。所述系统主要包括裁剪和标注两个功能，医生可以剪掉内镜图像中对训练深度神经网络有负面影响的部分、用曲线在内镜图像中勾勒出不规则病变区域，系统自动保存裁剪的图像、位置、掩膜、病变区域的边框，提高标注效率。

Description

一种消化道内镜图像不规则病变区域标注方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种消化道内镜图像不规则病变区域标注方法及系统。

背景技术

内镜检查和术后CT检查是消化道早癌诊疗中的重要方法，其中内镜是一种更为重要的诊疗途径。日本、韩国、中国是消化道癌症的高发国家，日本自1960年开始用消化道造影筛查胃癌，韩国自2002年起开展全国性上消化道内镜筛查项目，并认为内镜筛查在该国最具有成本效果^[1]。我国受人口基数以及医疗水平影响，目前尚未开展全人群的消化道内镜普查项目。有效地提高某个地区尤其是内镜经验欠缺地区的消化道癌诊断、治疗、随访水平，成为了医疗工作者所追求的目标。

近年来，计算机计算能力的提升和大数据时代的到来促进了深度学习的飞速发展，深度学习在计算机视觉、自然语言处理等方面取得了长足的进步，尤其是图像识别和检测等任务中效果显著。2012年Alex等人^[2]将深度神经网络用于图像识别，获得了ImageNet图像识别竞赛^[3]的冠军，引发了深度学习的热潮。2015年He等人^[4]首次公开宣布基于深度学习的分类方法已经超过人类的识别率。近两年，谷歌利用深度学习的方法^[5-6]检测糖尿病视网膜病变和皮肤病变，获得了比大多数人类专家更加准确的诊断结果，展现了深度学习在计算机辅助诊断（computer aided diagnosis，CAD）的广阔应用前景。如果利用深度学习的方法，通过临床大数据支撑，用消化道内镜病变图像训练病变识别和检测模型，构建一个消化道癌的诊断、治疗及随访的辅助系统，“培养”一名具有上千例甚至上万例内镜诊疗经验的“计算机医生”，同时借由网络云端进行技术改良和推广，将可以提高一个地区乃至全国的消化道癌诊疗水平。

相比于传统方法，深度学习中的模型表达能力更强、模型更复杂，但是需要大量的训练样本以防止过拟合。用消化道内镜病变图像训练深度学习神经网络模型，则需要医生提供大量的样本标注。一种较简单的标注方法是用矩形框包围病变区域，然而缺少现成的工具，标注一张图片需要花费大量的时间，标注完成后一般还需要特殊的处理，如检测医生标注的矩形框，而且病变区域的形状多不规则，用矩形框标注病变区域的方式不够精确。专业的内镜图像不规则病变区域的标注工具将可以大大提高医生的标注效率，同时提高标注的精确度，使得标注的数据可以用于更多训练任务中。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种消化道内镜图像不规则病变区域标注方法及系统，以减轻医生标注不规则病变区域的负担，减少所消耗的人力和时间，同时提高标注的精确度。

本发明提供的消化道内镜图像不规则病变区域标注方法，具体步骤如下：

（1）选择目标文件夹，获取文件夹下内镜图像的文件名；

（2）自动生成输出路径；

（3）初始化内镜图像掩膜；

（4）裁剪内镜图像和掩膜并记录裁剪位置；

（5）标注病变区域，更新掩膜；

（6）根据掩膜生成边框；

（7）保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框。

进一步地，步骤（1）中，所述的目标文件夹不包括子文件夹，内镜图像的文件名的后缀为.jpg、.bmp、.png等，目标文件夹下内镜图像文件名后缀相同，只能为.jpg、.bmp、.png等中的一种。

进一步地，步骤（2）中，所述的自动生成的输出路径为目标文件夹的子文件夹，子文件夹名称为output，在子文件夹output中自动生成如下子文件夹：

crop子文件夹，用于保存裁剪后的内镜图像；

cropRec子文件夹，用于保存裁剪的位置信息；

box子文件夹，用于保存边框的位置信息；

mask子文件夹用于保存掩膜图像。

进一步地，步骤（3）中，所述初始化内镜图像掩膜，具体做法为：生成和内镜图像大小相同的掩膜矩阵，初始的值为0，即全0矩阵。

进一步地，步骤（4）中，所述裁剪内镜图像和掩膜并记录裁剪位置，具体流程为：

裁剪内镜图像：医生在内镜图像中用矩形框框出需要保留的区域，根据矩形框的位置（x,y,W,H），在内镜图像的对应位置裁剪出需要保留的区域，其中x表示矩形框左上角的横坐标，y表示左上角的纵坐标，W表示矩形框的宽，H表示矩形框的高；

裁剪掩膜：根据医生标出的矩形框的位置（x,y,W,H），在掩膜的对应位置裁剪出需要保留的区域；

裁剪位置为矩形框的位置（x,y,W,H）。

进一步地，步骤（5）中，所述标注病变区域，具体做法为：

消化道内镜图像中包含病变和正常两种情况，所以可以在掩膜中用1表示病变，用0表示正常；医生在内镜图像中用曲线勾勒出病变区域，若手动绘制的曲线不闭合，则自动将曲线首尾相连；闭合曲线内像素对应的掩膜为1，闭合曲线外像素对应的掩膜为0；医生可以使用多条曲线勾勒病变区域，当新增一条闭合曲线时，则更新对应的掩膜；若多条闭合曲线有重叠，则对病变区域取并集。

进一步地，步骤（6）中，所述根据掩膜生成边框，其做法为：掩膜相当于二值图像，获取掩膜的八连通区域，对于每一个连通区域，获取其最左、最右的横坐标，最上、最下的纵坐标，则对应的边框的位置信息为。

进一步地，步骤（7）中，所述保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框，具体做法为：

获取当前内镜图像的文件名，去掉后缀，作为裁剪和标注数据的文件名。保存裁剪后的内镜图像到crop文件夹，类型为.png格式的图像；保存裁剪位置（x,y,W,H）到cropRec文件夹，类型为文本文件；掩膜中值为1的位置赋值为255，保存掩膜到mask文件夹，类型为.png格式的图像；保存病变区域的边框信息到box文件夹，类型为文本文件。

本发明还提供一种消化道内镜图像不规则病变区域标注系统，包括以下模块：

目标文件夹选择模块，用于选择待标注图像所在文件夹，自动生成输出文件夹，获取目标文件夹下内镜图像的名称，并将第一张内镜图像显示到当前窗口，初始化第一张内镜图像的掩膜为0；（对应于执行方法中步骤（1）-步骤（3）的功能）。

裁剪模块，包含裁剪和取消裁剪两个子模块；（对应于执行方法中步骤（4）的功能）。

标注模块，包含选择病变区域和清除病变区域两个子模块；（对应于执行方法中步骤（5）的功能）。

图片切换模块，用于将当前窗口的内镜图像切换为下一张内镜图像，切换前保存当前图像的裁剪和标注信息到输出文件夹，切换后初始化新的内镜图像的掩码，依次切换内镜图像，直到目标文件夹中所有的内镜图像处理完成。（对应于执行方法中步骤（6）-步骤（7）的功能）。

进一步地，所述的裁剪子模块的功能为：允许医生交互式地在内镜图像中绘制矩形框并调整矩形框的位置，调整完成后，医生双击矩形框，系统获取矩形框的位置，保留矩形框内的图像和对应位置的掩膜，并将矩形框内的图像显示在当前窗口。

进一步地，所述的取消裁剪的功能为：恢复当前窗口被裁剪的内镜图像及其掩膜，显示恢复的内镜图像。

进一步地，所述的选择病变区域子模块的功能为：允许医生交互式地在内镜图像中连续绘制多条曲线，医生每绘制一条曲线，系统则连接曲线的开头和结尾，形成闭合曲线，置闭合曲线内的像素对应的掩码为1；为了让标注更加直观，每绘制一条闭合曲线，则更新闭合曲线内像素的透明度，显示更新后的图像。

进一步地，所述的清除病变区域子模块的功能为：重置所有像素的透明度为0，重置掩码的值为0。

医生标注时，可以选择性地使用裁剪和标注功能。考虑到，先标注再裁剪内镜图像可能会导致已经标注的部分无意中被裁剪，因此处理一张内镜图像时，裁剪模块要在标注模块前使用，即标注后不允许再裁剪图像或取消裁剪图像。

本发明的有益效果在于：本发明提出的方法和系统一方面包含裁剪功能，医生可以通过绘制矩形框，裁剪掉内镜图像中对深度神经网络没有正面影响的部分；另一方面包含不规则病变区域的标注功能，医生用曲线标出不规则病变区域，相对于用边框标注病变区域更加精确，同时还包含根据掩膜自动生成边框的功能，使得标注可以应用于病变区域边框的检测、不规则病变区域检测等多种训练任务中。此外，本发明采用交互式的标注方式，大大提高了医生的标注效率。

附图说明

图1为本发明的系统流程图。

图2实施例中目标文件夹的第一张图像。

图3实施例中在图像中绘制裁剪框。

图4实施例中裁剪结果。

图5实施例中用闭合曲线标注病变区域。

图6实施例中不规则病变区域标注结果。

图7实施例中病变区域掩膜。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

本发明的一种消化道内镜图像不规则病变区域标注系统，包括以下模块：

目标文件夹选择模块，用于选择待标注图像所在文件夹，自动生成输出文件夹，获取目标文件夹下内镜图像的名称，并将第一张内镜图像显示到当前窗口，初始化第一张内镜图像的掩膜为0；

裁剪模块，包含裁剪和取消裁剪两个子模块；

标注模块，包含选择病变区域和清除病变区域两个子模块；

图片切换模块，用于将当前窗口的内镜图像切换为下一张内镜图像，切换前保存当前图像的裁剪和标注信息到输出文件夹，切换后初始化新的内镜图像的掩码，依次切换内镜图像，直到目标文件夹中所有的内镜图像处理完成。

本发明实施例中系统的界面，设有各种按钮：选择图片所在文件夹按钮，裁剪按钮，取消裁剪按钮，选择病变区域按钮，清除病变区域按钮，切换按钮等，具体实现的功能为：

（1）选择图片所在文件夹按钮：属于“目标文件夹选择模块”，点击此按钮，用户可以选择目标文件夹路径，路径选择完成后，系统获取路径下的内镜图像名称，并在目标文件夹下自动生成输出文件夹；将目标文件夹的第一张图像显示在空白窗口中，初始化第一张图像的掩膜为全0矩阵，掩膜矩阵大小与第一张图像的大小相同；

（2）裁剪按钮：属于“裁剪模块”的“裁剪子模块”，点击此按钮，用户可以在图像中绘制矩形框并调整矩形框的大小和位置，双击矩形框，则裁剪图像和掩膜；将矩形框内的图像重新显示在窗口；该功能需在标注前使用，标注后使用无效；

（3）取消裁剪按钮：属于“裁剪模块”的“取消裁剪子模块”，点击此按钮，系统恢复内镜图像为原始大小，并显示在窗口，同时恢复掩膜矩阵为原始大小；该功能需在标注前使用，标注后使用无效；

（4）选择病变区域按钮：属于“标注模块”的“选择病变区域子模块”，点击此按钮，用户可以在内镜图像中绘制多条闭合曲线，每绘制一条闭合曲线后，系统根据闭合曲线更新掩膜，闭合曲线内的像素透明度发生变化并重新显示在窗口，表示闭合曲线内的像素为病变像素；

（5）清除病变区域按钮：属于“标注模块”的“清除病变区域子模块”，点击此按钮，清除标注，重置当前内镜图像中所有像素的透明度为0并显示在窗口，重置掩码为全0矩阵；

（6）下一张按钮：属于“图片切换模块”，保存当前窗口图像的裁剪和标注信息到输出文件夹，将下一张内镜图像显示在窗口，并初始化下一张内镜图像的掩码为全0矩阵。

本发明实施例中具体标注方法的过程为：

（1）点击“选择图片所在文件夹按钮”，用户选择目标文件夹，系统自动生成输出文件夹并获取目标文件夹下的图片名称，将第一张图片显示在窗口中，如图2所示，初始化第一张图片的掩膜；

（2）点击“裁剪按钮”，用户在图片中拖动鼠标，绘制矩形框，如图3所示，系统获取矩形框在图片中的位置，备份当前窗口的图片和掩膜以备用户取消裁剪，然后裁剪出矩形框内的图片和对应的掩膜，并显示在窗口中，如图4所示；若用户对裁剪结果不满意，点击“取消裁剪按钮”，系统根据备份恢复图片及掩膜，显示在窗口中；

（3）点击“选择病变区域按钮”，用户在图片中拖动鼠标绘制曲线，如图5所示，系统获取曲线在图片中的坐标，若起始点坐标和终点坐标不重合，则用直线连接两点，形成闭合曲线，修改闭合曲线内像素的透明度，如图6所示，并将对应的掩膜置为1；用户可以绘制多条曲线，重复上述步骤即可；若用户对标注结果不满意，点击“清除病变区域子模块”，重置像素透明度为0，重置掩膜值为0；用户标注病变区域后，点击“裁剪按钮”或“取消裁剪按钮”无效；

（4）点击“下一张按钮”，先根据掩膜，如图7所示，获取掩膜的八连通区域，为每一个连通区域生成边框，保存裁剪的图像、裁剪记录、掩膜和边框到指定文件夹；然后读取下一张图像，并显示在当前窗口，初始化掩膜为0。

参考文献

[1] W. K. Leung, M. S. Wu, Y. Kakugawa, et al, “Screening for gastriccancer in Asia: current evidence and practice,” Lancet Oncology, vol. 9, no.3, pp. 279-287, 2008.

[2] A. Krizhevsky, I. Sutskever, G. E. Hinton, “ImageNet classificationwith deep convolutional neural networks,” International Conference on NeuralInformation Processing Systems, pp. 1097-1105, 2012.

[3] O. Russakovsky, J. Deng, H. Su, et al. “ImageNet large scale visualrecognition challenge,” International Journal of Computer Vision, vol. 115,no. 3, pp. 211-252, 2015.

[4] K. He, X. Zhang, S. Ren and J. Sun, “Delving deep into rectifiers:surpassing human-level performance on ImageNet classification,” IEEEInternational Conference on Computer Vision, pp. 1026-1034, 2015.

[5] A. Esteva, B. Kuprel, R. A. Novoa, et al, “Dermatologist-levelclassification of skin cancer with deep neural networks,” Nature, vol. 542,no. 7639, pp. 115-118, 2017.

[6] V. Gulshan, L. Peng, M. Coram M, et al, “Development and validationof a deep learning algorithm for detection of diabetic retinopathy in retinalfundus photographs,” Jama, vol. 316, no. 22, pp. 2402-2410, 2016.。

Claims (10)

1.一种消化道内镜图像不规则病变区域标注方法，其特征在于，具体步骤如下：

（1）选择目标文件夹，获取文件夹下内镜图像的文件名；

（2）自动生成输出路径；

（3）初始化内镜图像掩膜；

（4）裁剪内镜图像和掩膜并记录裁剪位置；

（5）标注病变区域，更新掩膜；

（6）根据掩膜生成边框；

（7）保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框。

2.根据权利要求1所述的方法，其特征在于，步骤（1）中，所述的目标文件夹不包括子文件夹，内镜图像的文件名的后缀为.jpg、.bmp、.png。

3.根据权利要求1所述的方法，其特征在于，步骤（2）中，所述的自动生成的输出路径为目标文件夹的子文件夹，子文件夹名称为output，在子文件夹output中自动生成如下子文件夹：

crop子文件夹，用于保存裁剪后的内镜图像；

cropRec子文件夹，用于保存裁剪的位置信息；

box子文件夹，用于保存边框的位置信息；

mask子文件夹用于保存掩膜图像。

4.根据权利要求1所述的方法，其特征在于，步骤（3）中，所述初始化内镜图像掩膜的方法为：生成和内镜图像大小相同的掩膜矩阵，初始的值为0，即全0矩阵。

5.根据权利要求1所述的方法，其特征在于，步骤（4）中，所述裁剪内镜图像和掩膜并记录裁剪位置，具体流程为：

裁剪内镜图像：医生在内镜图像中用矩形框框出需要保留的区域，根据矩形框的位置（x,y,W,H），在内镜图像的对应位置裁剪出需要保留的区域，其中x表示矩形框左上角的横坐标，y表示左上角的纵坐标，W表示矩形框的宽，H表示矩形框的高；

裁剪掩膜：根据医生标出的矩形框的位置（x,y,W,H），在掩膜的对应位置裁剪出需要保留的区域；

裁剪位置为矩形框的位置（x,y,W,H）。

6.根据权利要求1所述的方法，其特征在于，步骤（5）中，所述标注病变区域，具体流程为：医生在内镜图像中用曲线勾勒出病变区域，若手动绘制的曲线不闭合，则自动将曲线首尾相连；闭合曲线内像素对应的掩膜为1，闭合曲线外像素对应的掩膜为0；医生可以使用多条曲线勾勒病变区域，当新增一条闭合曲线时，则更新对应的掩膜；若多条闭合曲线有重叠，则对病变区域取并集。

7.根据权利要求1所述的方法，其特征在于，步骤（6）中，所述根据掩膜生成边框，具体做法为：掩膜相当于二值图像，获取掩膜的八连通区域，对于每一个连通区域，获取其最左、最右的横坐标，最上、最下的纵坐标，则对应的边框的位置信息为。

8.根据权利要求1、2、3所述的方法，其特征在于，步骤（7）中，所述保存裁剪后的内镜图像、裁剪位置、掩膜和病变区域的边框，具体做法为：

获取当前内镜图像的文件名，去掉后缀，作为裁剪和标注数据的文件名；保存裁剪后的内镜图像到crop文件夹，类型为.png格式的图像；保存裁剪位置（x,y,W,H）到cropRec文件夹，类型为文本文件；掩膜中值为1的位置赋值为255，保存掩膜到mask文件夹，类型为.png格式的图像；保存病变区域的边框信息到box文件夹，类型为文本文件。

9.一种基于权利要求1-8之一所述标注方法的消化道内镜图像不规则病变区域标注系统，其特征在于，包括以下模块：

目标文件夹选择模块，用于选择待标注图像所在文件夹，自动生成输出文件夹，获取目标文件夹下内镜图像的名称，并将第一张内镜图像显示到当前窗口，初始化第一张内镜图像的掩膜为0；

裁剪模块，包含裁剪和取消裁剪两个子模块；其中，所述的裁剪子模块的功能为：允许医生交互式地在内镜图像中绘制矩形框并调整矩形框的位置，调整完成后，医生双击矩形框，系统获取矩形框的位置，保留矩形框内的图像和对应位置的掩膜，并将矩形框内的图像显示在当前窗口；所述的取消裁剪的功能为：恢复当前窗口被裁剪的内镜图像及其掩膜，显示恢复的内镜图像。

标注模块，包含选择病变区域和清除病变区域两个子模块；其中，所述的选择病变区域子模块的功能为：允许医生交互式地在内镜图像中连续绘制多条曲线，医生每绘制一条曲线，系统则连接曲线的开头和结尾，形成闭合曲线，置闭合曲线内的像素对应的掩码为1；为了让标注更加直观，每绘制一条闭合曲线，则更新闭合曲线内像素的透明度，显示更新后的图像；所述的清除病变区域子模块的功能为：重置所有像素的透明度为0，重置掩码的值为0；

图片切换模块，用于将当前窗口的内镜图像切换为下一张内镜图像，切换前保存当前图像的裁剪和标注信息到输出文件夹，切换后初始化新的内镜图像的掩码，依次切换内镜图像，直到目标文件夹中所有的内镜图像处理完成。

10.根据权利要求9所述的系统，其特征在于，医生标注时，选择性地使用裁剪和标注功能，处理一张内镜图像时，裁剪模块要在标注模块前使用，即标注后不允许再裁剪图像或取消裁剪图像。