CN111354445A - 用矩形框标注ct影像并生成深度学习训练样本的系统 - Google Patents

Abstract

本发明属于医疗图像处理技术领域，具体为一种用矩形框标注CT影像并生成深度学习训练样本的系统。本发明系统包括六个模块：文件夹选择与打开模块、画框标记模块、图片属性标记模块、训练样本生成模块、显示模块与切换控制模块；六个模块协同工作，共同完成文件夹内所有CT影像的画框以及图片属性的标记。本发明可以完成两种标记：一是框状的标记，能够用包围盒的形式标出病灶部位或者异常部位，生成基于像素的包围盒位置掩膜；二是图像整体病变类型，有两种病变共三类病变类型的标记，用于标注整张图片属于何种病变。本发明系统操作简单，步骤清晰，直接生成训练数据对，适用于各种需要对医疗CT影像进行框选标注的场合。

Description

用矩形框标注CT影像并生成深度学习训练样本的系统

技术领域

本发明属于医疗图像处理技术领域，具体为一种基于MATLAB的医学CT影像的矩形框标注并生成深度学习训练样本的软件。

背景技术

随着计算机科学的发展，智能医疗成为了一项提高现代医疗水平的重大科技革新。作为人工智能与新型医疗的结合点，它在各个方面所具有的优势正在得到越来越多的认可与关注。而对于构建一个人工智能系统而言，最重要的是需要把已有的专家知识加以获取并让模型或者系统学习到，这必然就需要标注与样本生成软件的辅助。

对于医疗影像的智能处理，同样的，需要医生使用标注软件，对样本进行相应的标注，这样产生的训练样本才能够让人工智能模型去学习。在医疗CT图像分析应用场景中，往往需要医生标注病灶或者异常区域的类型、位置，以及图片中含有何种病变等等信息，根据这些信息，再加工合成人工智能模块训练所需的标准样本，最后以此训练CT影像的智慧处理系统。本发明将医生标注与生成深度学习样本进行了有机的结合，提出一种基于MATLAB的医学CT影像的矩形框标注并生成深度学习训练样本的软件。本软件能够在得到医生标注的同时，生成对应的训练样本对。本软件应用范围非常广泛，比如耳部病变的标注，肺部结节的标注等等，在此不一一列举。

发明内容

本发明的目的在于提供一种可以精确地用矩形框注记医学CT图像中的可疑位置，并生成可以供深度学习进行训练的样本的系统。

本发明提供的用矩形框标注CT图像并生成深度学习训练样本的系统，是基于MATLAB的医学CT影像的，具体包括如下模块：

（1）文件夹选择与打开模块，用于选择特定的文件夹Dir，使用户可以对Dir下的所有（.IMA、.DCM等格式的）医学CT图像文件进行标注；

（2）画框标记模块，用于对图片中出现病变或者异常的部位进行标记与框选，即在图片上标记出矩形包围盒，标注好的包围盒的坐标记录在程序内存的数据结构中，用于后期生成训练样本；包围盒共有两类，分别属于病变类型1、病变类型2；这两种病变，在耳科的樱花从场景中，可以对应镫骨型耳硬化、耳蜗型耳硬化，在其他应用场景下可以由用户指定其他具体的病变类型；二者在软件上，以不同颜色的包围盒加以区别；前者包围盒为黄色，后者包围盒为蓝色；标记模块能够实现移动、长宽调整、撤销上一框以及删除任意框的功能；

（3）图片属性标记模块，标注者可以根据本图片属于的病变类型，选择相应的类型进行标记，默认的图片属性是正常类型；图片的属性包括正常类型、病变类型1、病变类型2、病变类型1与2（二者同时存在）；图片属性与画框标记模块中的类型相对应；

（4）训练样本生成模块，根据包围盒的坐标以及图片属性，生成针对于当前图片属性对应的包围盒掩膜；进而以此组成可用于深度学习的原始图片与同等尺寸的包围盒掩膜对（即原图-掩膜训练对），作为训练样本；然后将这些训练样本对按照图片属性分类，分别整理到文件夹Dir/output下面相应属性为名称的子文件夹下；

（5）显示模块，用于与用户进行交互，使得用户能够进行可视化的标注，同时可以了解到标注的进展；

（6）切换控制模块，用于当前图片标注完毕之后，切换到下一张，或者用于回看上一张的标注；如果遇到比较小的部位需要看清，还可以进行放大查看，方便使用者观察直径较小的部位或病变。

本发明中，所述画框标记模块，包括如下子模块：

（1）画框功能子模块，该模块提供2种病变类型的画框标记，即病变类型1框与病变类型2框，分别用来标注病变类型1与病变类型2的病灶位置；

（2）撤销功能子模块，该模块用于将本张图片最后一个框撤回取消；

（3）包围盒调节子模块，该模块提供包围盒8个自由点，用户拖拽框或自由点来调节框的位置或大小；

（4）删除功能子模块，该模块提供任意框的删除；例如，右键单击某框，在菜单中选择“删除”，可以删除该框。

本发明中，图片属性标记模块，当选择了图片的类型后，自动启动训练样本生成模块，生成训练样本。

本发明中，所述显示模块，包括如下子模块：

（1）CT图片显示与标注子模块，该模块显示CT图像，用户可在图像上进行标注；

（2）标注进程子模块，该模块显示输入路径、当前文件、图片类型（属性）等信息，帮助用户了解标注进程。

本发明系统的工作流程为：（1）双击启动本系统；（2）单击“选择图片所在文件夹”键，系统搜集用户欲进行处理的文件夹Dir，统计其中所存在的CT影像文件的信息，并按顺序载入图片供用户标注；（3）针对某张图，进行病变区域包围盒的标注，用户通过单击“画框1(W)黄红”键或者“画框2(Q)蓝黑”键，在视图上框选；（4）选择该图片的属性，用户通过点击按钮“病变类型1+2（E）””，“病变类型1（S）””，“病变类型2（D）”，“正常图片（R）”；（5）重复（4）（5）两步，直到Dir中的CT图像全部标注完毕。

本发明可以进行两种标记。一、框状的标记，能够用包围盒（矩形框）的形式标出病灶部位或者异常部位，生成基于像素的包围盒位置掩膜。二、图像整体病变类型标记，提供两种病变共三类病变类型的标记，用于标注整张图片属于何种病变。

本发明的有益效果在于：系统操作简单，步骤清晰，直接生成训练数据对。适合于各种需要对医疗CT影像进行框选标注的应用场合。对于医疗相关领域的普通技术人员而言，无需付出创造性劳动的前提下，可以较好的使用本系统。

附图说明

图1为本发明的流程图示。

图2为本发明的操作界面。

图3为本发明的标注结果示意图。其中，（a）为本软件界面的截图，（b）为标注完毕后系统产生的训练样本的输入图，（c）为标注完毕后系统产生的训练标签掩膜。

具体实施方式

本发明系统可以为MATLAB编译后的.EXE可执行程序，集成有独立的MATLABRuntime运行库。该库由MathWorks提供，它向MATLAB编译后的.EXE程序提供运行平台与环境，确保即使在未安装MATLAB的计算机上，也能够执行编译后的MATLAB应用程序或组件。此处以图3为例，介绍本系统的工作流程。

第一步，选择文件夹。单击图3（a）中“选择图片所在文件夹”键，选择将要进行标注的CT图像所在的文件夹，记作Dir。

第二步，框选。单击图3（a）中“画框1(W)黄红”键或者“画框2(Q)蓝黑”键，然后再CT图像窗口画框。可以拖动框调整位置或者拖动8个自由点调整大小，可以右键单击任意框删除，也可以点击“撤销(Backspace)”键撤销上一个框。

第三步，选择图片属性。单击图3（a）中“整图属性”中的“病变类型1+2（E）”，“病变类型1（S）”，“病变类型2（D）”，“正常图片（R）”，进行图片属性的选择。

第四步，切换到下一张。单击图3（a）中“上一张(上箭头)”或者“下一张（下箭头）”键对图片进行切换。

第五步，重复以上4步，直到完成所有CT图片的标注，点击“全部标注完毕（Enter）”键保存即可完成。此时系统会将文件夹Dir下的CT图像，全部计算生成深度学习训练所需要的“输入-标签”数据对，如图3（b）、（c）所示。这些数据对保存在Dir/output文件夹下。或者，用户可以点击“全部标注撤销（=）”键清除所有标记重新开始。

图3展示了本发明的操作界面以及具体结果。可以看出，本发明操作简单，步骤清晰，直接生成训练数据对。适合于各种需要对医疗CT影像进行框选标注的应用场合。对于医疗相关领域的普通技术人员而言，无需付出创造性劳动的前提下，可以较好的使用本系统。

Claims (3)

1.一种用矩形框标注CT图像并生成深度学习训练样本的系统，其特征在于，具体包括如下模块：

（1）文件夹选择与打开模块，用于选择特定的文件夹Dir，使用户可以对Dir下的所有医学CT图像文件进行标注；

（2）画框标记模块，用于对图片中出现病变或者异常的部位进行标记与框选，即在图片上标记出矩形包围盒，标注好的包围盒的坐标记录在程序内存的数据结构中，用于后期生成训练样本；所述包围盒共有两类，分别属于病变类型1、病变类型2，在耳科的应用场景中可以对应镫骨型耳硬化、耳蜗型耳硬化这两种病变，二者以不同颜色加以区分；标记模块能够实现移动、长宽调整、撤销上一框以及删除任意框的功能；

（3）图片属性标记模块，图片属性包括正常类型、病变类型1、病变类型2、病变类型1与2；图片属性标记模块，根据本图片属性类型，选择相应的类型进行标记，默认的图片属性是正常类型；

（4）训练样本生成模块，根据包围盒的坐标以及图片属性，生成针对于当前图片属性对应的包围盒掩膜；并以此组成可用于深度学习的原始图片与同等尺寸的包围盒掩膜对，即，作为训练样本；然后将这些训练样本对按照图片属性分类，分别整理到文件夹Dir/output下面相应属性为名称的子文件夹下；

（5）显示模块，用于与用户进行交互，使得用户能够进行可视化的标注，同时可以了解到标注的进展；

（6）切换控制模块，具有如下功能：当前图片标注完毕之后切换到下一张；回看上一张的标注；放大查看，即遇到比较小的部位需要看清，可以进行放大查看，方便使用者观察直径较小的部位或病变。

2.根据权利要求1所述的系统，其特征在于，所述画框标记模块包括如下子模块：

（1）画框功能子模块，用于提供2种病变类型的画框标记，即病变类型1框与病变类型2框，分别用来标注病变类型1与病变类型2的病灶位置；

（2）撤销功能子模块，用于将本张图片最后一个框撤回取消；

（3）包围盒调节子模块，用于提供包围盒8个自由点，用户拖拽框或自由点击来调节框的位置或大小；

（4）删除功能子模块，用于任意框的删除。

3.根据权利要求1所述的系统，其特征在于，所述显示模块包括如下子模块:

（1）CT图片显示与标注子模块，用于显示CT图像，用户可在图像上进行标注；

（2）标注进程子模块，用于显示输入路径、当前文件、图片类型信息，帮助用户了解标注进程。

Images