CN108682453A - 一种肺结节标注系统 - Google Patents

Abstract

本发明公开一种肺结节标注系统，包括：导入模块，用于导入CT图像；标注模块，用于对CT图像进行标注，获取第一CT图像；标注模块包括：图像显示单元，绘图单元，数据生成单元，标注填写单元；图像显示单元用于显示CT图像的每一张切片图像；绘图单元用于在切片图像上绘制肺结节边框；数据生成单元用于生成肺结节边框的尺寸数据，并生成边框编号；标注填写单元用于显示边框编号，并供标注者根据边框编号填写肺结节信息；数据库，用于保存第一CT图像对应的数据标签；导出模块，用于导出第一CT图像和其对应的数据标签。本发明提供的技术方案，能够对CT图像上的肺结节进行精确、有效的标注，从而为肺结节检测系统提供准确的训练样本。

Description

一种肺结节标注系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种肺结节标注系统。

背景技术

肺癌是发病率和死亡率增长最快、对人群健康和生命威胁最大的恶性肿瘤之一。肺癌早期影像学表现为肺结节，其检查方式主要依赖于胸部CT断层扫描，每次检查都会有多达数百张的断层扫描图像。据统计，我国现有的肺结节患者高达上亿人，而对于每一例CT图像，人工阅片的准确度约为50％-70％，很大程度上依赖于医生的专业程度；且人工阅片通常需要一周左右才能出报告，所需时间较长。

近年来，基于人工智能的肺结节检测系统获得了广泛的关注。然而，要想通过肺结节检测系统获得比较准确的检测结果，首先需要对肺结节检测系统进行规范化的训练，显然，大量、准确的训练样本是必不可少的。训练样本一般是通过在已有的CT图像上对肺结节进行标注来获取，获取的信息包括肺结节的基本信息。通过将标注的肺结节作为正样本来对肺结节检测系统进行训练，使肺结节检测系统能够精确、高效地自动识别CT图像中的肺结节。

现有的常用图像标注工具有两种：一种是LabelMe，是一个网页版的在线图像标注工具，其提供多边形用于从图像中标注出感兴趣的区域。然而，该工具并不适用于标注DICOM格式的CT数据。CT图像数据是序列数据，每例包含60-500张断层扫描图像，因此很难用LableMe进行标注；另一种是ITK-SNAP工具，然而该工具主要用于分隔、提取感兴趣区域为图像，不能提供和保存感兴趣区域的具体坐标值，因此，也不能用于对CT图像上的肺结节进行标注。

发明内容

本发明旨在提供一种肺结节标注系统，能够对CT图像上的肺结节进行精确、有效的标注，从而为肺结节检测系统提供准确的训练样本。

为达到上述目的，本发明采用的技术方案如下：

一种肺结节标注系统，包括：导入模块，用于导入待标注的CT图像；标注模块，用于对所述待标注的CT图像进行标注，获取第一CT图像；所述标注模块包括：图像显示单元，绘图单元，数据生成单元，标注填写单元；所述图像显示单元用于显示所述待标注的CT图像的每一张切片图像；所述绘图单元用于在所述切片图像上绘制肺结节边框，所述肺结节边框与其对应的肺结节相适配；所述数据生成单元用于生成所述肺结节边框的尺寸数据，并生成与所述肺结节边框对应的边框编号；所述标注填写单元用于显示所述边框编号，并供标注者根据所述边框编号填写肺结节信息；数据库，用于保存所述第一CT图像对应的数据标签；所述数据标签包括：所述肺结节边框，所述肺结节边框的尺寸数据，所述边框编号，所述肺结节信息；导出模块，用于导出所述第一CT图像和所述第一CT图像对应的数据标签。

进一步地，还包括：审核模块，用于对所述第一CT图像和所述第一CT图像对应的数据标签进行审核，获取第二CT图像和所述第二CT图像对应的数据标签；所述数据库还用于保存所述第二CT图像对应的数据标签；所述导出模块用于导出所述第二CT图像和所述第二CT图像对应的数据标签。上述第二CT图像和第二CT图像对应的数据标签是经过本发明实施例中两级审核模块审核后的数据。

优选地，所述肺结节信息包括：肺结节编号，肺结节位置和肺结节性质；所述标注填写单元以表格的形式显示所述边框编号和所述肺结节信息。

优选地，所述肺结节信息在所述数据库中以数组的形式存储。

优选地，所述审核模块包括：一级审核模块和二级审核模块；所述一级审核模块用于对所述第一CT图像和所述第一CT图像对应的数据标签中错误部分进行修改、删除，获取第三CT图像和第三CT图像对应的数据标签；所述二级审核模块用于对所述第三CT图像和第三CT图像对应的数据标签中错误部分进行删除，获取第四CT图像和第四CT图像对应的数据标签；所述二级审核模块还用于对所述第四CT图像对应的数据标签进行整合，使所述第四CT图像对应的数据标签以所述肺结节编号为序进行显示。

进一步地，还包括：管理模块，用于对所述导入模块、所述标注模块、所述数据库、所述导出模块和所述审核模块进行数据管理。

进一步地，所述导入模块包括图像预加载单元；所述图像预加载单元用于将一例待标注的CT图像的所有切片图像进行缓存。

进一步地，所述图像显示单元包括放大模式和沉浸模式；所述放大模式用于对所述切片图像的目标区域进行预定倍数的放大；所述沉浸模式用于全屏显示所述切片图像。

优选地，所述肺结节边框为矩形框；所述肺结节边框的尺寸数据包括：矩形框左上角点的坐标，矩形框的长，矩形框的宽。

优选地，所述数据库为非关系型数据库MongoDB；所述绘图单元包括Canvas绘图工具。

本发明实施例提供的肺结节标注系统，设计了专门的标注模块来对每一例CT图像的所有切片图像上的肺结节进行绘图标注，标注完成后，由系统自动生成肺结节边框信息，并由标注者填写对应的肺结节信息，对上述数据进行审核后，即可从数据库中导出，以作为肺结节检测系统的正样本数据。现有技术中的标注工具均不能对CT图像进行直接标注，本发明首次提出了专门针对CT图像肺结节标注的交互式标注系统，解决了肺结节标注问题，且能方便地进行数据的录入和导出。实验表明，本发明提供的技术方案能够对CT图像上的肺结节进行精确、有效的标注，从而为肺结节检测系统提供准确的训练样本。

附图说明

图1为本发明一个实施例的结构示意图；

图2为本发明另一个实施例的结构示意图；

图3为本发明实施例中标注者登录界面；

图4为本发明实施例中标注者第一级工作界面；

图5为本发明实施例中标注者第二级工作界面；

图6为本发明实施例中在CT切片图像上绘制肺结节边框的示意图；

图7为本发明实施例中沉浸模式的示意图；

图8为本发明实施例中放大模式的示意图；

图9为本发明实施例中标注填写单元的示意图；

图10为本发明实施例中病例丢弃功能的示意图；

图11为本发明实施例中一级审核模块的登录界面；

图12为本发明实施例中一级审核模块的操作界面；

图13为本发明实施例中二级审核模块的登录界面；

图14为本发明实施例中二级审核模块的操作界面；

图15为本发明实施例中单个肺结节数据标签进行整合后的示意图；

图16为本发明实施例中管理员界面。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

本发明标注系统采用B/S架构，标注者只需使用浏览器打开系统网址，根据分配的账号密码登陆进行标注。待标注的CT图像，会提前由管理员导入，并上传至标注系统。在标注过程中，每个肺结节边框的坐标、尺寸、肺结节病理性质都会被记录到数据库中，标注者在标注完成后，可以方便地将数据标签导出，作为训练样本训练肺结节检测系统，从而使肺结节检测系统能够智能地自动检测出CT图像上的肺结节。

为了保证肺结节标注的精确性，本发明采用三级操作模块，第一级由临床医学硕/博研究生完成标注；第二级由呼吸科、胸外科、放射科主治医生进行审核检查；第三级由呼吸科、胸外科、放射科主任医生进行二次审核检查。在三级操作中，第二级操作人员可以对第一级标注进行修改编辑；而第三级操作人员仅审核标注正确的肺结节，删除标注错误的肺结节，在保证标注准确性的基础上来提高标注效率。

本系统标注者登录界面见图3，登录成功后，标注者即可看到标注任务及标注记录，如图4所示，框4-1内显示所需标注的数据，命名格式为“PatienID_Date”，一条数据表示一例病人一次的CT扫描结果，数据条数由管理员按实际需求动态分配；框4-2为标注情况记录，包含四种情况：①未标注：新分配的标注数据，未进行任何操作；②标注中：已经开始标注，但未提交最后结果；③已丢弃：数据不具有实用价值或有其它问题，不予采用；④已提交：已标注完成并提交；框4-3记录最后的修改提交时间。

点击图4中框4-1内任意一条数据即可进入病例标注界面，如图5所示，框5-1显示CT扫描结果，也为标注操作区域，标注时，按住鼠标左键，拉取红色边框,尽量精确地框住疑似肺结节区域；标注边框为可调节边框，可拉伸缩小，效果如图6所示。

图5中，框5-2显示病历号；框5-3为图片缓存按钮，点击可对当前例病人的CT扫描结果全部缓存，方便快速浏览；框5-4内为病人CT扫描时间，用于处理一个病人有多次CT扫描数据的情形；框5-5内显示病人姓名的拼音简写，目的为协助标注者从病理系统中提取肺结节性质信息，并将其填写至标注填写单元中，另外简写方式可保护病人隐私信息。框5-6内为沉浸模式功能，点击可全屏显示当前CT图像，在该模式下，标注者可通过键盘左右键控制CT切片的显示，以及使用红框进行标注，点击黑色背景部分可退出沉浸模式，全屏显示效果如图7所示，目的为了方便标注者在更大的图像中找出全部结节。框5-7内为查看细节功能，当需要放大部分区域的时候，点击按钮，将鼠标所示的放大镜置于目标区域，可进行放大，放大倍数为两倍，且查看细节状态下也可以使用红框标注，效果如图8所示。框5-8内为翻页按钮及当前切片序号显示；框5-9内为进度条，标注者通过拖动进度条可快速定位到某一张CT图像切片；框5-10内为暂存按钮，在未完成标注之前，点击暂存，可保存数据，并退出系统；框5-11内为提交按钮，当完成标注之后，提交标注结果，提交之后，这一例数据将无法再进行标注，但可以联系管理员进行修改。采用这种方式的目的在于使标注人员保持严谨的工作态度，保证标注的准确度。

框5-12内为标注结果编辑与显示区域，即标注填写单元，如图9所示，其中，切片编号为标注框内结节所属的切片编号，点击切片编号，图5左侧CT显示区域快速跳转到对应的切片，当前切片页的标注记录会高亮显示；区域标号，即肺结节边框编号，用于区分标注框，当同一张切片上有多个标注红框时，鼠标移到区域标号上时，左边会以蓝色框来显示对应的标注位置；操作，主要用于删除错误标注；结节编号用于标注者对结节进行编号，同一个结节可能在相邻几张切片中都存在，标注者需要在每张切片上都用红框标注出肺结节区域，并将其归为同一个结节编号；位置，为结节在肺部哪个区域，包括左肺上中下叶、右肺上下叶；定性，为对肺结节良恶性进行判断。

此外为了避免误操作，本界面还隐藏了一个丢弃病例的功能按钮，需要点击病人ID才显示，即点击框5-2内部分，则会弹出丢弃此例按钮，效果如图10所示，点击丢弃此例，可以丢弃一些肺结节太多或术后CT病例数据。

当一例数据标注完成，可点击框5-11内的提交按钮，提交之后，该病例只能进行查看，无法再进行修改或标注，如需要重新标注，须联系管理员申请撤回。

本发明第二级操作人员，即一级审核人员，登录界面跟标注界面相同，登录后的界面如图11所示。点击框11-1，开始审核病例，后台会分配一例已由标注者标注的数据由一级审核人员审核；框11-2为筛选按钮，可以根据审核状态查看筛选数据；框11-3为需要审核的数据，及数据相关信息；点击框11-3内的任意一例数据即可进入审核界面如图12所示，一级审核界面及功能与标注界面相同。经过一级审核模块审核后的数据定义为：第三CT图像和第三CT图像对应的数据标签。

本发明第三级操作人员，即二级审核人员，登录界面跟标注界面相同，登录后的界面如图13所示。点击框13-1开始二次审核数据，后台会分配新的一例已被初审的数据由二级审核人员审核；框13-2内为筛选按钮，可以根据审核状态(审核中、已审核、已丢弃)查看筛选数据；框13-3内显示需要审核的数据，及数据相关信息；点击其中一例数据进入审核操作界面，如图14所示，二级审核界面与标注界面的不同主要在于框14-3所示的区域；框14-1内为暂存按钮，用于审核过程中，对已审核的数据进行暂存；框14-2内为提交按钮，已完成该例审核，提交最终审核结果；框14-3内显示肺结节信息，对一级审核员完成审核后的数据，进行整合，以肺结节编号为序，包含一张或多张CT图像切片，以及肺结节位置和肺结节性质；框14-4内为对一级审核员的审核结果做最终判定，如肺结节信息无误，点击空白区域，表明认可该肺结节信息，效果如图15所示，再次点击，√会消失，即否定该信息，删除错误标注。经过二级审核模块审核后的数据定义为：第四CT图像和第四CT图像对应的数据标签。通过数据整合后，得到第二CT图像和第二CT图像对应的数据标签。

至此，标注和审核全部完成。

本发明管理员界面如图16所示，框16-1内为管理查看各级操作的选项；框16-2为数据库备份按钮，为了保证数据安全；框16-3内显示各级标注进度信息；框16-4内显示了标注任务，及标注者信息；管理员也可以通过框16-5内下拉按钮分别查看各级的标注情况。

本系统为一个基于Web技术的在线肺结节标注平台。系统后端使用Node.JS进行服务器业务逻辑开发，使用Express和Nunjucks渲染引擎开发，在保证系统运行的效率和稳定性的同时，也使得整个开发过程快捷而简便。系统前端使用Semantic-UI构建用户界面，包括整个页面的网格布局、弹出框组件以及表单显示等。在肺结节边框的绘制过程中，使用了Canvas的基本绘图工具，通过一系列的响应事件完成系统中所有的肺结节区域矩形框绘制、矩形框大小以及位置调整、高亮当前选中的肺结节等功能。

在数据库的选择上，考虑到肺结节标注数据的数量不固定，信息较繁杂的特点，为了避免产生大量冗余而选择了非关系型数据库MongoDB，在后端和数据库的交互中使用了Mongoose这一ODM包。在数据库中每一例CT数据以一条JSON记录的方式存储，包含此例数据的病例ID、标注者姓名、最后修改或提交的时间、以及这一例数据上的所有的肺结节信息。所有的肺结节信息以一个数组的形式组织，其中的每一个元素都对应一个唯一的标注肺结节，包括肺结节所处的层面、肺结节边框左上角和右下角的两点相对于整个坐标系的坐标、肺结节的病理性质以及肺结节所处的肺部位置。

本系统标注界面主要分为两部分，图像显示单元和标注填写单元。位于左侧的为图像显示单元，包括一个显示CT图像的显示框，CT层面切换的两个导航按钮以及一个可以拖动切换层面的进度条。右侧为标注填写单元，以表格的形式组织，提供了边框编号、肺结节编号、肺结节位置以及肺结节性质等信息。

本系统的基本操作逻辑为标注者使用页面上的导航键、进度条或键盘的方向键进行CT图像的层面切换，在发现某个层面上存在肺结节以后，通过鼠标拖拽矩形框框住肺结节的位置，并使矩形框在保证框住肺结节所有部分的前提下尽量小，以此来提供准确的数据标注。在完成每一个矩形框的拖拽之后，数据生成单元会在右侧的标注填写单元中自动生成一条新的纪录，包含一个默认且唯一的边框编号。标注者需要根据实际情况给每一个边框编号对应地填写一个肺结节编号、肺结节位置以及肺结节性质。标注者需要保证不同层面的同一个结节共享同一个肺结节编号。

此外，本发明标注系统还在导入模块中提供了图像预加载的功能，用于解决网络延迟的问题。由于每一例CT图像由若干张不同层面的图像组成，在切换层面的时候可能会因为网络延迟的原因产生一定程度的卡顿现象。通过提供图像预加载功能，标注者可以在标注前先将某一例CT图像的所有层面图像预先缓存下来再进行标注，以避免标注过程中出现卡顿现象。

另外，在标注时由于原图尺寸较小，直接在网页上进行标注较为困难。本系统还进一步地为标注者提供了两种新的标注模式。一种是放大模式，当标注者需要对标注的矩形框进行更为细致的大小调整时，可以启用放大模式。通过点击放大按钮，在原图像显示区域点击需要放大的部分，点击区域的周围部分将会相对于原图放大两倍显示，对于标注以及细致查看提供帮助。另一种是沉浸模式，在标注过程中，标注者可能需要全屏显示CT图像来发现此例CT图像中的肺结节，而进入沉浸模式之后，整个网页将会被一个放大后的CT图像填满。标注者可以在沉浸模式下寻找肺结节并标注出来，并在退出沉浸模式之后对这些肺结节的编号、位置信息和病理信息进行填写。

标注系统最终的目的是生成作为肺结节检测系统的训练样本的数据标签。本标注系统提供一些方便快捷的脚本能够在极短的时间内将所有的保存于数据库中的CT图像及其对应的数据标签进行导出。

本标注系统是一个网页版的工具，易于访问，只要有网络连接和计算机，即可开始标注工作；同时，本标注系统为操作者设定不同的角色——标注者、一级审核人员、二级审核人员。由标注者标注CT图像上的全部肺结节，画框定位；由一级审核人员对标注结果进行审核，对未标注的肺结节进行标注，对标注错误的肺结节进行修改或删除；最后由二级审核人员对一级审核结果进行一步的审核检验，提交正确标注，删除错误标注。此阶段为了避免因二级审核人员少，而造成的审核时间较长的问题，将错误标注直接删除，不再进行标注修改；本发明实施例中，为了方便操作者使用，所有待标注CT图像由管理员直接导入，标注者点击病例即可跳转至标注界面，使用简单便捷。本发明中使用MongoDB数据库存储标注数据，方便数据的批量导出，以用于后续的肺结节检测系统的训练。实验表明，本发明提供的技术方案能够对CT图像上的肺结节进行精确、有效的标注，为肺结节检测系统提供准确的训练样本。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种肺结节标注系统，其特征在于，包括：

导入模块，用于导入待标注的CT图像；

标注模块，用于对所述待标注的CT图像进行标注，获取第一CT图像；所述标注模块包括：图像显示单元，绘图单元，数据生成单元，标注填写单元；所述图像显示单元用于显示所述待标注的CT图像的每一张切片图像；所述绘图单元用于在所述切片图像上绘制肺结节边框，所述肺结节边框与其对应的肺结节相适配；所述数据生成单元用于生成所述肺结节边框的尺寸数据，并生成与所述肺结节边框对应的边框编号；所述标注填写单元用于显示所述边框编号，并供标注者根据所述边框编号填写肺结节信息；

数据库，用于保存所述第一CT图像对应的数据标签；所述数据标签包括：所述肺结节边框，所述肺结节边框的尺寸数据，所述边框编号，所述肺结节信息；

导出模块，用于导出所述第一CT图像和所述第一CT图像对应的数据标签。

2.根据权利要求1所述的肺结节标注系统，其特征在于，还包括：

审核模块，用于对所述第一CT图像和所述第一CT图像对应的数据标签进行审核，获取第二CT图像和所述第二CT图像对应的数据标签；所述数据库还用于保存所述第二CT图像对应的数据标签；所述导出模块用于导出所述第二CT图像和所述第二CT图像对应的数据标签。

3.根据权利要求2所述的肺结节标注系统，其特征在于，所述肺结节信息包括：肺结节编号，肺结节位置和肺结节性质；所述标注填写单元以表格的形式显示所述边框编号和所述肺结节信息。

4.根据权利要求3所述的肺结节标注系统，其特征在于，所述肺结节信息在所述数据库中以数组的形式存储。

5.根据权利要求3所述的肺结节标注系统，其特征在于，所述审核模块包括：

一级审核模块和二级审核模块；所述一级审核模块用于对所述第一CT图像和所述第一CT图像对应的数据标签中错误部分进行修改、删除，获取第三CT图像和第三CT图像对应的数据标签；

所述二级审核模块用于对所述第三CT图像和第三CT图像对应的数据标签中错误部分进行删除，获取第四CT图像和第四CT图像对应的数据标签；所述二级审核模块还用于对所述第四CT图像对应的数据标签进行整合，使所述第四CT图像对应的数据标签以所述肺结节编号为序进行显示。

6.根据权利要求2所述的肺结节标注系统，其特征在于，还包括：管理模块，用于对所述导入模块、所述标注模块、所述数据库、所述导出模块和所述审核模块进行数据管理。

7.根据权利要求1所述的肺结节标注系统，其特征在于，所述导入模块包括图像预加载单元；所述图像预加载单元用于将一例待标注的CT图像的所有切片图像进行缓存。

8.根据权利要求1所述的肺结节标注系统，其特征在于，所述图像显示单元包括放大模式和沉浸模式；所述放大模式用于对所述切片图像的目标区域进行预定倍数的放大；所述沉浸模式用于全屏显示所述切片图像。

9.根据权利要求1所述的肺结节标注系统，其特征在于，所述肺结节边框为矩形框；所述肺结节边框的尺寸数据包括：矩形框左上角点的坐标，矩形框的长，矩形框的宽。

10.根据权利要求1所述的肺结节标注系统，其特征在于，所述数据库为非关系型数据库MongoDB；所述绘图单元包括Canvas绘图工具。