CN111724402A - 一种医疗影像标注方法、系统及装置 - Google Patents

一种医疗影像标注方法、系统及装置 Download PDF

Info

Publication number
CN111724402A
CN111724402A CN202010559594.5A CN202010559594A CN111724402A CN 111724402 A CN111724402 A CN 111724402A CN 202010559594 A CN202010559594 A CN 202010559594A CN 111724402 A CN111724402 A CN 111724402A
Authority
CN
China
Prior art keywords
marking
target area
area
image
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010559594.5A
Other languages
English (en)
Other versions
CN111724402B (zh
Inventor
杜强
耿斌
郭雨晨
聂方兴
张兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202010559594.5A priority Critical patent/CN111724402B/zh
Publication of CN111724402A publication Critical patent/CN111724402A/zh
Application granted granted Critical
Publication of CN111724402B publication Critical patent/CN111724402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医疗影像标注方法、系统及装置，所述系统包括：矩形标注模块，用于根据标注员输入的鼠标坐标点确定标注矩形起点，对目标检测任务进行矩形标注；多边形标注模块，用于根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连接成折线，形成封闭区域，对目标分割任务进行多边形标注；划线标注模块，用于以标注员按下鼠标的起始坐标点为起点，沿目标区域的边缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点，对目标分割任务进行划线标注；橡皮擦模块，用于根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；自动标注模块，用于根据标注员的双击或者框选操作，根据图像处理算法自动确定目标区域边缘并标注。

Description

一种医疗影像标注方法、系统及装置
技术领域
本发明涉及计算机技术领域，尤其是涉及一种医疗影像标注方法、系 统及装置。
背景技术
近年来深度学习的蓬勃发展对大量有标注的数据提出了强烈需求，人 工智能(AI)医疗影像同样如此。数据标注必须认真对待的一项工作。而 数据标注又是一项非常费力，非常耗时，成本非常高昂的工作。因此，开 发提供一系列高效灵活的标注工具，从而以最短的时间，最低的成本获取 大量的高质量标注数据是目前急需解决的问题。
发明内容
本发明的第一目的在于提供一种医疗影像标注方法、系统及装置，以 解决现有技术中数据标注耗时且成本非常高的问题；
本发明提供一种医疗影像标注系统，包括：
矩形标注模块，用于根据标注员输入的鼠标坐标点确定标注矩形起点， 对目标检测任务进行矩形标注；
多边形标注模块，用于根据标注员沿目标区域的边缘输入的鼠标坐标 点，自动连接成折线，形成封闭区域，对目标分割任务进行多边形标注；
划线标注模块，用于以标注员按下鼠标的起始坐标点为起点，沿目标 区域的边缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起 点和终点，对目标分割任务进行划线标注；
橡皮擦模块，用于根据标注员输入的鼠标坐标点轨迹对标注区域进行 修改；
自动标注模块，用于根据标注员的双击或者框选操作，根据图像处理 算法自动确定目标区域边缘并标注。
本发明还提供一种医疗影像标注方法，用于上述医疗影像标注系统， 包括：
根据标注员输入的鼠标坐标点确定标注矩形起点，对目标检测任务进 行矩形标注；
根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连接成折线， 形成封闭区域，对目标分割任务进行多边形标注；
以标注员按下鼠标的起始坐标点为起点，沿目标区域的边缘划线，以 标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点，对目标分 割任务进行划线标注；
根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
根据标注员的双击或者框选操作，根据图像处理算法自动确定目标区 域边缘并标注。
本发明实施例还提供一种医疗影像标注装置，包括：存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理 器执行时实现上述医疗影像标注方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质 上存储有信息传递的实现程序，程序被处理器执行时实现上述医疗影像标 注方法的步骤。
采用本发明实施例，将矩形标注、多边形标注、画线标注等基本标注 手段与半自动标注结合来对医疗影像数据进行标注，并通过双击识别、框 选识别对目标区域进行半自动标注，且对已经绘制完成的区域进行橡皮擦 修改，能够在最短的时间内以最低的成本获取大量的高质量标注数据，能 够大幅提高医生的标注方便性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的 技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和 其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下 面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
图1是本发明实施例的医疗影像标注系统的示意图；
图2是本发明实施例矩形标注的示意图；
图3是本发明实施例多边形标注的示意图；
图4是本发明实施例画线标注的示意图；
图5是本发明实施例橡皮擦的示意图；
图6是本发明实施例辅助线的示意图；
图7是本发明实施例橡皮擦原理的示意图；
图8是本发明实施例橡皮擦毛刺问题的示意图；
图9是本发明实施例橡皮擦打结问题的示意图；
图10是本发明实施例双击识别的示意图；
图11是本发明实施例切割图像有效区域的示意图；
图12是本发明实施例二值化的示意图；
图13是本发明实施例轮廓提取的示意图；
图14是本发明实施例寻找轮廓的示意图；
图15是本发明实施例提取出的目标区域的示意图；
图16是本发明实施例特殊情况一的示意图；
图17是本发明实施例特殊情况一解决方法的示意图；
图18是本发明实施例图特殊情况二的示意图；
图19是本发明实施例特殊情况二解决方法的示意图一；
图20是本发明实施例特殊情况二解决方法的示意图二；
图21是本发明实施例特殊情况三的示意图；
图22是本发明实施例辅助线的示意图；
图23是本发明实施例框选识别的示意图一；
图24是本发明实施例框选识别的示意图二；
图25是本发明实施例的医疗影像标注方法的流程图；
图26是本发明实施例的医疗影像标注装置的示意图。
附图标记说明：
10：矩形标注模块；11：多边形标注模块；12：划线标注模块；13： 橡皮擦模块；14：自动标注模块；140：辅助线模块；141：双击识别模块； 142：框选识别模块。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、" 长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、" 水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置 关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化 描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定 的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示 相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、 "第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明 的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此 外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接， 也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接； 可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的 连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本 发明中的具体含义。
系统实施例
根据本发明的实施例，提供了一种医疗影像标注系统，图1是本发明 实施例的医疗影像标注系统的示意图，如图1所示，根据本发明实施例的 医疗影像标注系统具体包括：
矩形标注模块10，用于根据标注员输入的鼠标坐标点确定标注矩形起 点，对目标检测任务进行矩形标注；
多边形标注模块11，用于根据标注员沿目标区域的边缘输入的鼠标坐 标点，自动连接成折线，形成封闭区域，对目标分割任务进行多边形标注；
划线标注模块12，用于以标注员按下鼠标的起始坐标点为起点，沿目 标区域的边缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接 起点和终点，对目标分割任务进行划线标注；
橡皮擦模块13，用于根据标注员输入的鼠标坐标点轨迹对标注区域进 行修改；其中，橡皮擦模块13具体用于：
围绕鼠标光标绘制一个半径为r的圆形光标，检测标注员的鼠标拖动坐 标点轨迹，圆形光标随鼠标拖动坐标点轨迹移动，在移动过程中，如果标 注的封闭曲线上的某个点与圆形橡皮擦中点的距离小于圆形半径r，则移动 封闭曲线上的这个点使得其与圆心距离为圆形半径，从而修改封闭曲线上 符合要求的点的位置，进行标注曲线形状的修改；
如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在 两个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修 改标注曲线时形成平滑连续的曲线；
如果标注的封闭曲线上的某两个点重合，则原来的一个封闭曲线就变 成两个相连的封闭曲线，以重合点为分割点将较短的封闭曲线切割删除掉。
自动标注模块14，用于根据标注员的双击或者框选操作，根据图像处 理算法自动确定目标区域边缘并标注。
其中，自动标注模块14具体包括：
辅助线模块140，用于根据标注员输入的鼠标轨迹在目标区域和非目标 区域之间标注辅助线，辅助线用于分割目标区域和非目标区域；
双击识别模块141，用于识别标注员在标注区域内的双击操作，根据图 像处理算法自动确定目标区域边缘并标注；或者，识别标注员在标注区域 内的双击操作并基于辅助线，根据图像处理算法自动确定目标区域边缘并 标注；在本发明实施例中，双击识别模块141具体包括：
切割子模块，用于进行图像中间有效区域的切割；
二值转化子模块，用于选取一个合适的阈值将灰度图像转化为二值图 像，使得白色像素形成了多个联通区域；
第一去粘连子模块，用于使用第一预定大小的结构元素对二值图像进 行打开操作，去除粘连；
第二去粘连子模块，用于使用第二预定大小的结构元素对二值图像重 新进行打开操作，增加打开操作中膨胀、腐蚀子操作的迭代次数；
轮廓提取子模块，用于在多个联通区域将白色区域和黑色区域交界的 轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；
计算子模块，用于计算候选轮廓包围的面积，选取其中面积最小的一 个轮廓作为最终结果；
去形变子模块，用于在目标区域与原图比较有形变时，确定有形变的 目标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反 色图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask 图像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
第一调用子模块，用于目标区域亮度值比较高，与非目标区域没有粘 连的情况下，依次调用切割子模块、二值转化子模块、轮廓提取子模块以 及计算子模块；
第二调用子模块，用于在部分图像二值化后目标区域与非目标区域有 轻微粘连时，依次调用切割子模块、二值转化子模块、第一去粘连子模块、 轮廓提取子模块以及计算子模块；
第三调用子模块，用于在使用第一去粘连子模块已经不能去除粘连时， 依次调用切割子模块、二值转化子模块、第一去粘连子模块、第二去粘连 子模块、轮廓提取子模块、计算子模块、以及去形变子模块；
第四调用子模块，用于在使用第二去粘连子模块已经不能去除粘连时， 调用辅助线模块分割目标区域和非目标区域，再依次调用切割子模块、二 值转化子模块、轮廓提取子模块以及计算子模块。
框选识别模块142，用于识别标注员在框选标注区域的操作，根据图像 处理算法自动确定框选的目标区域边缘并标注；或者，识别标注员在框选 标注区域的操作并基于辅助线，根据图像处理算法自动确定框选的目标区 域边缘并标注。框选识别模块142具体用于：识别标注员在框选标注区域 的操作，仅对框选的矩形框内的图像选取二值化阈值，根据得到的二值化 阈值将目标区域从背景中分离出来并标注。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
在本发明的实施例中，基本标注手段具体包括：
1、矩形标注模块10的矩形标注：适用于目标检测任务。如图2所示， 标注员使用时按下鼠标左键标注矩形的起始点，然后拖动鼠标，释放鼠标 左键的时候标注矩形的终止点。
2、多边形标注模块11的多边形标注：适用于目标分割任务。如图3 所示，标注员使用时单击鼠标左键开始标注，沿着目标区域的边缘单击鼠 标左键打点，过程中目标点自动连接成折线，接近起始点的时候双击鼠标 左键，起始点和终止点自动连接，形成一个封闭区域。
4、划线标注模块12的画线标注：适用于目标分割任务。如图4所示， 标注员使用时按下鼠标左键开始标注，沿着目标区域的边缘画线，接近起 始点的时候释放鼠标左键，起始点和终止点自动连接，形成一个封闭区域。
5、橡皮擦模块13的橡皮擦：画线标注要求使用鼠标一次性描绘完成， 由于人手控制鼠标画线的不精确性，描绘的区域几乎不可能和目标区域完 全重合，因此需要一种可以修改绘制完成的区域的手段。经过研究探索， 提出了橡皮擦这种操作简便、修改效果也符合要求的方式。如图5所示， 当标注员选中橡皮擦后，当按下鼠标左键移动时鼠标光标变为绿色实心圆， 可以修改标注区域：当橡皮擦在目标区域外时可以向内修改曲线，当橡皮 擦在目标区域内时可以向外修改曲线。
橡皮擦算法实现具体如下：
如图7所示，黑色封闭曲线为希望用橡皮擦修改的区域，橡皮擦功能 的实现原理为：当按下鼠标左键拖动的时候，围绕鼠标光标绘制一个半径 为r的圆，这个圆随着鼠标光标移动，这个过程中如果封闭曲线上的某个点 与圆形橡皮擦中点的距离小于圆形半径，就移动封闭曲线上的这个点使得 其与中点距离为圆形半径。在鼠标移动的过程中按以上规则不断修改封闭 曲线上符合要求的点的位置，就形成了用橡皮擦修改曲线形状的效果。
但是，上述处理要实现连贯顺畅的橡皮擦效果在实现过程总会出现两 个问题，本发明实施例提出了相应的解决办法：
毛刺问题：如图8所示，按以上处理实现的橡皮擦算法在使用过程总 会出现毛刺问题，原因是在修改封闭曲线上的点的过程中相邻两个点之间 距离越来越大，而绘制曲线的时候相邻两个点之间是用直线连接的，因此 造成了毛刺的问题。
本发明实施例的解决方案如下：如果封闭曲线上的某两个相邻点距离 大于一个固定阈值，则在两个点中间插入更多点使得两个相邻点之间距离 始终小于固定阈值，这样橡皮擦修改曲线的过程中就能形成平滑连续的曲 线。
“打结”问题：如图9所示，按以上处理实现的橡皮擦算法在使用过 程中会出现曲线“打结”问题，其原因是在修改封闭曲线上的点的过程中 移动了位置的点和曲线上其他的点重合，形成了结，没办法再“解开”。
本发明实施例的解决方案下：如果封闭曲线上的某两个点重合，则原 来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割点将较短 的那个封闭曲线切割删除掉。
经过以上两项优化，橡皮擦功能取得了比较平滑顺畅的用户体验。
6、自动标注模块14中双击识别模块141的双击识别：用于目标分割 任务。画线标注要求标注员对每一个目标区域用鼠标绘制进行标注，如果 绘制不准确还要用橡皮擦进行修改，是一件非常费力费时的工作，因此本 发明实施例采用了双击识别这一工具来加快标注员的工作，减轻标注员的 负担。标注员使用双击识别功能的时候，鼠标光标置于目标区域内双击鼠 标左键后，图像处理算法自动找出目标区域边缘，标注员根据自动识别结果判断是保留还是修改，还是删除后重新手动绘制标注区域。
如图10所示，箭头所指为一个肺结节，标注目标就是要把肺结节的边 缘标注出来。本发明实施例设计了一个算法，只需要用户用鼠标双击目标 区域，图像处理算法自动找出目标区域边缘。其算法流程如下：
步骤1，切割图像有效区域：图像边缘包含大量非身体区域，为了后面 二值化阈值选取更准确，本发明实施例切割图像中间的一部分有效区域进 行后续处理，将原图像上部切除掉120行，左、右、下部都切除60行/列。
切割结果如图11所示；
步骤2，二值化：如图12所示，选取一个合适的阈值将灰度图像转化 为二值图像，以便将目标区域从背景中分离出来，本发明实施例选取了大 津算法(otsu's method)对灰度图像进行二值化。
步骤3，轮廓提取：如图13所示，图像二值化后白色像素形成了多个 联通区域，我们将白色区域和黑色区域交界的轮廓提取出来。
步骤4，如图14所示，寻找包围所点击的点的轮廓：找出所有轮廓中 包含用户所点击的点的轮廓，则缩小了候选区域范围。
步骤5，选取剩下的轮廓中面积最小的一个作为结果：如图15所示， 求候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果。多 数情况下找到的轮廓即为我们的目标区域。
需要注意的是：当目标区域亮度值比较高，与非目标区域没有粘连的 情况下以上流程就能顺利找到目标，但在一些特殊情况下上述算法不再有 效：
特殊情况一：如图16所示，部分图像二值化后目标区域与非目标区域 有轻微粘连，此时，轮廓提取的时候就不能将目标区域独立提取出来。
解决办法如下：如图17所示，本发明实施例使用一个3*3的结构元素对二 值图像进行Open操作以去除小的粘连，然后再进行轮廓提取，即能提取出目标 区域。
特殊情况二：如图18所示，部分图像二值化后目标区域与非目标区域 有比较严重的粘连，此时，使用3*3的结构元素对二值图像进行Open操作 已经不能去除这样的粘连了。
解决办法如下：本发明实施例加大形态学结构元素的尺寸为7*7，增加 Open操作中膨胀、腐蚀子操作的迭代次数，对二值图像重新进行Open操 作，结果如图19所示，没有粘连了，但是目标区域与原图比较有形变。
此时本发明实施例利用上面的算法找到有形变的目标区域，然后填充 目标区域，对填充后的图像进行反色，然后将反色图像与二值图像进行按 位与操作得到一个Mask图像，最后在Mask图像中找包含点击点的最小轮 廓，即能得到没有形变的目标区域。这一系列过程如图20所示。
特殊情况三：部分图像二值化后目标区域与非目标区域有非常严重的 粘连，此时，使用传统图像处理算法已经很难去除这样的粘连了，如图21 所示。对于这种情况，本发明实施例引入了辅助线这一工具，当出现这种 情况的时候，用户利用鼠标画一条辅助线将目标区域和非目标区域隔离开， 然后使用“双击识别”或后面将介绍的“框选识别”就能将目标区域检测 出来。
7、自动标注模块14中框选识别模块142的框选识别：双击识别对于 图像中一些面积比较小，亮度比较低的区域识别效果不是太好，本发明实 施例提出了框选识别这种方式，标注员使用框选识别的时候，用鼠标沿着 目标区域的外边缘画一个矩形框让目标区域正好包含在矩形框内，然后图 像处理算法自动找出目标区域边缘，标注员根据自动识别结果判断是保留 还是修改，还是删除后重新手动绘制标注区域。由于利用了更多的标注员提供的信息，框选识别比双击识别能更准确地自动识别出目标区域，从而 进一步加快标注员的标注工作。
具体地，在实际使用中，有的目标区域面积很小或是亮度很暗，二值 化后目标区域形变比较大甚至完全消失了。问题的原因是二值化时选择了 一块比较大的区域来用otsu's method选取阈值，对于面积比较小或是亮度 比较暗的区域，得到的阈值不能很好地将这类区域从背景中分离出来。如 图23中的一个冠脉标注目标区域，经过二值化后目标区域完全消失了，无 法提取。
针对这类问题，本发明实施例提出了框选识别这种方式，标注员用鼠 标画一个矩形框让目标区域正好包含在矩形框内，然后只对矩形框内的图 像进行otsu's method选取二值化阈值，得到的阈值就能很好地将这类区域 从背景中分离出来。如图24所示，左图用矩形框选取了目标区域，右图显 示了提取出的目标区域，结果比较令人满意。
8、自动标注模块14中辅助线模块140的辅助线：由于传统图像处理 算法的局限和标注工具软件的要求，不可能对所有目标区域都做到全自动 识别，尤其是对于一些识别比较困难的区域，可以多利用标注员的专业知 识，交互式地完成任务，以尽量提高标注员的工作效率为目标。辅助线就 是这样一种工具。例如，如图6所示的肺部CT图像，肺结节已经和外膜形 成了粘连，用自动识别算法已经无法检测出目标区域了。因此本发明实施 例提出了辅助线这一措施，当出现这种情况的时候，标注员利用鼠标画一 条辅助线将目标区域和非目标区域隔离开，然后使用“双击识别”或“框 选识别”就能将目标区域检测出来。
具体地，如图22所示，利用标注员的专业知识，在用图像处理技术比 较难分辨的地方画一条线，目标区域就形成了一个封闭区域，然后再利用 前面介绍的自动识别算法就能找出目标区域。这一方法虽然稍微增加了用 户操作，但比起整个目标区域都要标注员手工绘制还是快了很多。
从上面的描述可以看出，本发明实施例提出了一种矩形标注、多边形 标注、画线标注等基本标注手段与半自动标注结合来对医疗影像数据进行 标注的方法，并提出了通过双击识别、框选识别对目标区域进行半自动标 注；本发明实施例还可以对已经绘制完成的区域进行橡皮擦修改；此外， 还提出了一种辅助线方法辅助自动分割目标区域和非目标区域。本发明实 施例通过对150张随机选取的图片进行了测试，半自动标注成功率97％。重新挑选了一批对150张图片进行测试(其中包括很多比较难提取的图片)， 成功率76％。该方法将大幅提高医生的标注方便性。
方法实施例
根据本发明的实施例，提供了一种医疗影像标注方法，用于上述医疗 影像标注系统，图25是本发明实施例的医疗影像标注方法的流程图，如图 25所示，根据本发明实施例的医疗影像标注方法具体包括：
步骤2501，根据标注员输入的鼠标坐标点确定标注矩形起点，对目标 检测任务进行矩形标注；
步骤2502，根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连 接成折线，形成封闭区域，对目标分割任务进行多边形标注；
步骤2503，以标注员按下鼠标的起始坐标点为起点，沿目标区域的边 缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点， 对目标分割任务进行划线标注；
步骤2504，根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
步骤2504具体包括：1、围绕鼠标光标绘制一个半径为r的圆形光标， 检测标注员的鼠标拖动坐标点轨迹，圆形光标随鼠标拖动坐标点轨迹移动， 在移动过程中，如果标注的封闭曲线上的某个点与圆形橡皮擦中点的距离 小于圆形半径r，则移动封闭曲线上的这个点使得其与圆心距离为圆形半 径，从而修改封闭曲线上符合要求的点的位置，进行标注曲线形状的修改； 2、如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在两 个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修改 标注曲线时形成平滑连续的曲线；3、如果标注的封闭曲线上的某两个点重 合，则原来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割 点将较短的封闭曲线切割删除掉。
步骤2505，根据标注员的双击或者框选操作，根据图像处理算法自动 确定目标区域边缘并标注。
步骤2505具体包括如下处理：
步骤1，根据标注员输入的鼠标轨迹在目标区域和非目标区域之间标注 辅助线，辅助线用于分割目标区域和非目标区域；
步骤2，识别标注员在标注区域内的双击操作，根据图像处理算法自动 确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并 基于辅助线，根据图像处理算法自动确定目标区域边缘并标注；
步骤2具体包括如下处理：
在目标区域亮度值比较高，与非目标区域没有粘连的情况下，进行图 像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使得白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区 域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为 候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为 最终结果；
在部分图像二值化后目标区域与非目标区域有轻微粘连时，进行图像 中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使用第一预定大小的结构元素对二值图像进行打开操作去除粘连，在多个 联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包 含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取 其中面积最小的一个轮廓作为最终结果；
在使用第一预定大小的结构元素对二值图像进行打开操作已经不能去 除粘连时，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图 像转化为二值图像，使用第一预定大小的结构元素对二值图像进行打开操 作去除粘连，使用第二预定大小的结构元素对二值图像重新进行打开操作， 增加打开操作中膨胀、腐蚀子操作的迭代次数，在多个联通区域将白色区 域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点 的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一 个轮廓作为最终结果；在目标区域与原图比较有形变时，确定有形变的目 标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反色 图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask图 像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
在使用第二预定大小的结构元素对二值图像重新进行打开操作已经不 能去除粘连时，使用辅助线分割目标区域和非目标区域，再进行图像中间 有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使得 白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区域交 界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选 轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终 结果。
步骤3，识别标注员在框选标注区域的操作，根据图像处理算法自动确 定框选的目标区域边缘并标注；或者，识别标注员在框选标注区域的操作 并基于辅助线，根据图像处理算法自动确定框选的目标区域边缘并标注。
步骤3具体包括如下处理：识别标注员在框选标注区域的操作，仅对 框选的矩形框内的图像选取二值化阈值，根据得到的二值化阈值将目标区 域从背景中分离出来并标注。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
在本发明的实施例中，基本标注手段具体包括：
1、矩形标注：适用于目标检测任务。如图2所示，标注员使用时按下 鼠标左键标注矩形的起始点，然后拖动鼠标，释放鼠标左键的时候标注矩 形的终止点。
2、多边形标注：适用于目标分割任务。如图3所示，标注员使用时单 击鼠标左键开始标注，沿着目标区域的边缘单击鼠标左键打点，过程中目 标点自动连接成折线，接近起始点的时候双击鼠标左键，起始点和终止点 自动连接，形成一个封闭区域。
4、画线标注：适用于目标分割任务。如图4所示，标注员使用时按下 鼠标左键开始标注，沿着目标区域的边缘画线，接近起始点的时候释放鼠 标左键，起始点和终止点自动连接，形成一个封闭区域。
5、橡皮擦：画线标注要求使用鼠标一次性描绘完成，由于人手控制鼠 标画线的不精确性，描绘的区域几乎不可能和目标区域完全重合，因此需 要一种可以修改绘制完成的区域的手段。经过研究探索，提出了橡皮擦这 种操作简便、修改效果也符合要求的方式。如图5所示，当标注员选中橡 皮擦后，当按下鼠标左键移动时鼠标光标变为绿色实心圆，可以修改标注 区域：当橡皮擦在目标区域外时可以向内修改曲线，当橡皮擦在目标区域 内时可以向外修改曲线。
橡皮擦算法实现具体如下：
如图7所示，黑色封闭曲线为希望用橡皮擦修改的区域，橡皮擦功能 的实现原理为：当按下鼠标左键拖动的时候，围绕鼠标光标绘制一个半径 为r的圆，这个圆随着鼠标光标移动，这个过程中如果封闭曲线上的某个点 与圆形橡皮擦中点的距离小于圆形半径，就移动封闭曲线上的这个点使得 其与中点距离为圆形半径。在鼠标移动的过程中按以上规则不断修改封闭 曲线上符合要求的点的位置，就形成了用橡皮擦修改曲线形状的效果。
但是，上述处理要实现连贯顺畅的橡皮擦效果在实现过程总会出现两 个问题，本发明实施例提出了相应的解决办法：
毛刺问题：如图8所示，按以上处理实现的橡皮擦算法在使用过程总 会出现毛刺问题，原因是在修改封闭曲线上的点的过程中相邻两个点之间 距离越来越大，而绘制曲线的时候相邻两个点之间是用直线连接的，因此 造成了毛刺的问题。
本发明实施例的解决方案如下：如果封闭曲线上的某两个相邻点距离 大于一个固定阈值，则在两个点中间插入更多点使得两个相邻点之间距离 始终小于固定阈值，这样橡皮擦修改曲线的过程中就能形成平滑连续的曲 线。
“打结”问题：如图9所示，按以上处理实现的橡皮擦算法在使用过 程中会出现曲线“打结”问题，其原因是在修改封闭曲线上的点的过程中 移动了位置的点和曲线上其他的点重合，形成了结，没办法再“解开”。
本发明实施例的解决方案下：如果封闭曲线上的某两个点重合，则原 来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割点将较短 的那个封闭曲线切割删除掉。
经过以上两项优化，橡皮擦功能取得了比较平滑顺畅的用户体验。
6、双击识别：用于目标分割任务。画线标注要求标注员对每一个目标 区域用鼠标绘制进行标注，如果绘制不准确还要用橡皮擦进行修改，是一 件非常费力费时的工作，因此本发明实施例采用了双击识别这一工具来加 快标注员的工作，减轻标注员的负担。标注员使用双击识别功能的时候， 鼠标光标置于目标区域内双击鼠标左键后，图像处理算法自动找出目标区 域边缘，标注员根据自动识别结果判断是保留还是修改，还是删除后重新手动绘制标注区域。
如图10所示，箭头所指为一个肺结节，标注目标就是要把肺结节的边 缘标注出来。本发明实施例设计了一个算法，只需要用户用鼠标双击目标 区域，图像处理算法自动找出目标区域边缘。其算法流程如下：
步骤1，切割图像有效区域：图像边缘包含大量非身体区域，为了后面 二值化阈值选取更准确，本发明实施例切割图像中间的一部分有效区域进 行后续处理，将原图像上部切除掉120行，左、右、下部都切除60行/列。 切割结果如图11所示；
步骤2，二值化：如图12所示，选取一个合适的阈值将灰度图像转化 为二值图像，以便将目标区域从背景中分离出来，本发明实施例选取了大 津算法(otsu's method)对灰度图像进行二值化。
步骤3，轮廓提取：如图13所示，图像二值化后白色像素形成了多个 联通区域，我们将白色区域和黑色区域交界的轮廓提取出来。
步骤4，如图14所示，寻找包围所点击的点的轮廓：找出所有轮廓中 包含用户所点击的点的轮廓，则缩小了候选区域范围。
步骤5，选取剩下的轮廓中面积最小的一个作为结果：如图15所示， 求候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果。多 数情况下找到的轮廓即为我们的目标区域。
需要注意的是：当目标区域亮度值比较高，与非目标区域没有粘连的 情况下以上流程就能顺利找到目标，但在一些特殊情况下上述算法不再有 效：
特殊情况一：如图16所示，部分图像二值化后目标区域与非目标区域 有轻微粘连，此时，轮廓提取的时候就不能将目标区域独立提取出来。
解决办法如下：如图17所示，本发明实施例使用一个3*3的结构元素 对二值图像进行Open操作以去除小的粘连，然后再进行轮廓提取，即能提 取出目标区域。如下图：
特殊情况二：如图18所示，部分图像二值化后目标区域与非目标区域 有比较严重的粘连，此时，使用3*3的结构元素对二值图像进行Open操作 已经不能去除这样的粘连了。
解决办法如下：本发明实施例加大形态学结构元素的尺寸为7*7，增加 Open操作中膨胀、腐蚀子操作的迭代次数，对二值图像重新进行Open操 作，结果如图19所示，没有粘连了，但是目标区域与原图比较有形变。
此时本发明实施例利用上面的算法找到有形变的目标区域，然后填充 目标区域，对填充后的图像进行反色，然后将反色图像与二值图像进行按 位与操作得到一个Mask图像，最后在Mask图像中找包含点击点的最小轮 廓，即能得到没有形变的目标区域。这一系列过程如图20所示。
特殊情况三：部分图像二值化后目标区域与非目标区域有非常严重的 粘连，此时，使用传统图像处理算法已经很难去除这样的粘连了，如图21 所示。对于这种情况，本发明实施例引入了辅助线这一工具，当出现这种 情况的时候，用户利用鼠标画一条辅助线将目标区域和非目标区域隔离开， 然后使用“双击识别”或后面将介绍的“框选识别”就能将目标区域检测 出来。
7、框选识别：双击识别对于图像中一些面积比较小，亮度比较低的区 域识别效果不是太好，本发明实施例提出了框选识别这种方式，标注员使 用框选识别的时候，用鼠标沿着目标区域的外边缘画一个矩形框让目标区 域正好包含在矩形框内，然后图像处理算法自动找出目标区域边缘，标注 员根据自动识别结果判断是保留还是修改，还是删除后重新手动绘制标注 区域。由于利用了更多的标注员提供的信息，框选识别比双击识别能更准确地自动识别出目标区域，从而进一步加快标注员的标注工作。
具体地，在实际使用中，有的目标区域面积很小或是亮度很暗，二值 化后目标区域形变比较大甚至完全消失了。问题的原因是二值化时选择了 一块比较大的区域来用otsu's method选取阈值，对于面积比较小或是亮度 比较暗的区域，得到的阈值不能很好地将这类区域从背景中分离出来。如 图23中的一个冠脉标注目标区域，经过二值化后目标区域完全消失了，无 法提取。
针对这类问题，本发明实施例提出了框选识别这种方式，标注员用鼠 标画一个矩形框让目标区域正好包含在矩形框内，然后只对矩形框内的图 像进行otsu's method选取二值化阈值，得到的阈值就能很好地将这类区域 从背景中分离出来。如图24所示，左图用矩形框选取了目标区域，右图显 示了提取出的目标区域，结果比较令人满意。
8、辅助线：由于传统图像处理算法的局限和标注工具软件的要求，不 可能对所有目标区域都做到全自动识别，尤其是对于一些识别比较困难的 区域，可以多利用标注员的专业知识，交互式地完成任务，以尽量提高标 注员的工作效率为目标。辅助线就是这样一种工具。例如，如图6所示的 肺部CT图像，肺结节已经和外膜形成了粘连，用自动识别算法已经无法检 测出目标区域了。因此本发明实施例提出了辅助线这一措施，当出现这种 情况的时候，标注员利用鼠标画一条辅助线将目标区域和非目标区域隔离 开，然后使用“双击识别”或“框选识别”就能将目标区域检测出来。
具体地，如图22所示，利用标注员的专业知识，在用图像处理技术比 较难分辨的地方画一条线，目标区域就形成了一个封闭区域，然后再利用 前面介绍的自动识别算法就能找出目标区域。这一方法虽然稍微增加了用 户操作，但比起整个目标区域都要标注员手工绘制还是快了很多。
从上面的描述可以看出，本发明提出了一种矩形标注、多边形标注、 画线标注等基本标注手段与半自动标注结合来对医疗影像数据进行标注的 方法，并提出了通过双击识别、框选识别对目标区域进行半自动标注；本 发明实施例还可以对已经绘制完成的区域进行橡皮擦修改；此外，还提出 了一种辅助线方法辅助自动分割目标区域和非目标区域。本发明实施例通 过对150张随机选取的图片进行了测试，半自动标注成功率97％。重新挑选了一批对150张图片进行测试(其中包括很多比较难提取的图片)，成功 率76％。该方法将大幅提高医生的标注方便性。
装置实施例一
本发明实施例提供一种医疗影像标注装置，如图26所示，包括：存储 器260、处理器262及存储在所述存储器260上并可在所述处理器262上运 行的计算机程序，所述计算机程序被所述处理器262执行时实现如下方法 步骤：
步骤2501，根据标注员输入的鼠标坐标点确定标注矩形起点，对目标 检测任务进行矩形标注；
步骤2502，根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连 接成折线，形成封闭区域，对目标分割任务进行多边形标注；
步骤2503，以标注员按下鼠标的起始坐标点为起点，沿目标区域的边 缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点， 对目标分割任务进行划线标注；
步骤2504，根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
步骤2504具体包括：1、围绕鼠标光标绘制一个半径为r的圆形光标， 检测标注员的鼠标拖动坐标点轨迹，圆形光标随鼠标拖动坐标点轨迹移动， 在移动过程中，如果标注的封闭曲线上的某个点与圆形橡皮擦中点的距离 小于圆形半径r，则移动封闭曲线上的这个点使得其与圆心距离为圆形半 径，从而修改封闭曲线上符合要求的点的位置，进行标注曲线形状的修改； 2、如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在两 个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修改 标注曲线时形成平滑连续的曲线；3、如果标注的封闭曲线上的某两个点重 合，则原来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割 点将较短的封闭曲线切割删除掉。
步骤2505，根据标注员的双击或者框选操作，根据图像处理算法自动 确定目标区域边缘并标注。
步骤2505具体包括如下处理：
步骤1，根据标注员输入的鼠标轨迹在目标区域和非目标区域之间标注 辅助线，辅助线用于分割目标区域和非目标区域；
步骤2，识别标注员在标注区域内的双击操作，根据图像处理算法自动 确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并 基于辅助线，根据图像处理算法自动确定目标区域边缘并标注；
步骤2具体包括如下处理：
在目标区域亮度值比较高，与非目标区域没有粘连的情况下，进行图 像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使得白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区 域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为 候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为 最终结果；
在部分图像二值化后目标区域与非目标区域有轻微粘连时，进行图像 中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使用第一预定大小的结构元素对二值图像进行打开操作去除粘连，在多个 联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包 含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取 其中面积最小的一个轮廓作为最终结果；
在使用第一预定大小的结构元素对二值图像进行打开操作已经不能去 除粘连时，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图 像转化为二值图像，使用第一预定大小的结构元素对二值图像进行打开操 作去除粘连，使用第二预定大小的结构元素对二值图像重新进行打开操作， 增加打开操作中膨胀、腐蚀子操作的迭代次数，在多个联通区域将白色区 域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点 的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一 个轮廓作为最终结果；在目标区域与原图比较有形变时，确定有形变的目 标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反色 图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask图 像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
在使用第二预定大小的结构元素对二值图像重新进行打开操作已经不 能去除粘连时，使用辅助线分割目标区域和非目标区域，再进行图像中间 有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使得 白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区域交 界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选 轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终 结果。
步骤3，识别标注员在框选标注区域的操作，根据图像处理算法自动确 定框选的目标区域边缘并标注；或者，识别标注员在框选标注区域的操作 并基于辅助线，根据图像处理算法自动确定框选的目标区域边缘并标注。
步骤3具体包括如下处理：识别标注员在框选标注区域的操作，仅对 框选的矩形框内的图像选取二值化阈值，根据得到的二值化阈值将目标区 域从背景中分离出来并标注。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介 质上存储有信息传输的实现程序，所述程序被处理器262执行时实现如下 方法步骤：
步骤2501，根据标注员输入的鼠标坐标点确定标注矩形起点，对目标 检测任务进行矩形标注；
步骤2502，根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连 接成折线，形成封闭区域，对目标分割任务进行多边形标注；
步骤2503，以标注员按下鼠标的起始坐标点为起点，沿目标区域的边 缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点， 对目标分割任务进行划线标注；
步骤2504，根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
步骤2504具体包括：1、围绕鼠标光标绘制一个半径为r的圆形光标， 检测标注员的鼠标拖动坐标点轨迹，圆形光标随鼠标拖动坐标点轨迹移动， 在移动过程中，如果标注的封闭曲线上的某个点与圆形橡皮擦中点的距离 小于圆形半径r，则移动封闭曲线上的这个点使得其与圆心距离为圆形半 径，从而修改封闭曲线上符合要求的点的位置，进行标注曲线形状的修改； 2、如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在两 个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修改 标注曲线时形成平滑连续的曲线；3、如果标注的封闭曲线上的某两个点重 合，则原来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割 点将较短的封闭曲线切割删除掉。
步骤2505，根据标注员的双击或者框选操作，根据图像处理算法自动 确定目标区域边缘并标注。
步骤2505具体包括如下处理：
步骤1，根据标注员输入的鼠标轨迹在目标区域和非目标区域之间标注 辅助线，辅助线用于分割目标区域和非目标区域；
步骤2，识别标注员在标注区域内的双击操作，根据图像处理算法自动 确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并 基于辅助线，根据图像处理算法自动确定目标区域边缘并标注；
步骤2具体包括如下处理：
在目标区域亮度值比较高，与非目标区域没有粘连的情况下，进行图 像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使得白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区 域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为 候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为 最终结果；
在部分图像二值化后目标区域与非目标区域有轻微粘连时，进行图像 中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像， 使用第一预定大小的结构元素对二值图像进行打开操作去除粘连，在多个 联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包 含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取 其中面积最小的一个轮廓作为最终结果；
在使用第一预定大小的结构元素对二值图像进行打开操作已经不能去 除粘连时，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图 像转化为二值图像，使用第一预定大小的结构元素对二值图像进行打开操 作去除粘连，使用第二预定大小的结构元素对二值图像重新进行打开操作， 增加打开操作中膨胀、腐蚀子操作的迭代次数，在多个联通区域将白色区 域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点 的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一 个轮廓作为最终结果；在目标区域与原图比较有形变时，确定有形变的目 标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反色 图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask图 像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
在使用第二预定大小的结构元素对二值图像重新进行打开操作已经不 能去除粘连时，使用辅助线分割目标区域和非目标区域，再进行图像中间 有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使得 白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区域交 界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选 轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终 结果。
步骤3，识别标注员在框选标注区域的操作，根据图像处理算法自动确 定框选的目标区域边缘并标注；或者，识别标注员在框选标注区域的操作 并基于辅助线，根据图像处理算法自动确定框选的目标区域边缘并标注。
步骤3具体包括如下处理：识别标注员在框选标注区域的操作，仅对 框选的矩形框内的图像选取二值化阈值，根据得到的二值化阈值将目标区 域从背景中分离出来并标注。
综上所述，从上面的描述可以看出，本发明实施例提出了一种矩形标 注、多边形标注、画线标注等基本标注手段与半自动标注结合来对医疗影 像数据进行标注的方法，并提出了通过双击识别、框选识别对目标区域进 行半自动标注；本发明实施例还可以对已经绘制完成的区域进行橡皮擦修 改；此外，还提出了一种辅助线方法辅助自动分割目标区域和非目标区域。 本发明实施例通过对150张随机选取的图片进行了测试，半自动标注成功率97％。重新挑选了一批对150张图片进行测试(其中包括很多比较难提 取的图片)，成功率76％。该方法将大幅提高医生的标注方便性。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁 盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的 步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非 对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的 普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进 行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或 者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种医疗影像标注系统，其特征在于，包括：
矩形标注模块，用于根据标注员输入的鼠标坐标点确定标注矩形起点，对目标检测任务进行矩形标注；
多边形标注模块，用于根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连接成折线，形成封闭区域，对目标分割任务进行多边形标注；
划线标注模块，用于以标注员按下鼠标的起始坐标点为起点，沿目标区域的边缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点，对目标分割任务进行划线标注；
橡皮擦模块，用于根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
自动标注模块，用于根据标注员的双击或者框选操作，根据图像处理算法自动确定目标区域边缘并标注。
2.根据权利要求1所述的医疗影像标注系统，其特征在于，所述自动标注模块具体包括：
辅助线模块，用于根据标注员输入的鼠标轨迹在目标区域和非目标区域之间标注辅助线，所述辅助线用于分割目标区域和非目标区域；
双击识别模块，用于识别标注员在标注区域内的双击操作，根据图像处理算法自动确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并基于所述辅助线，根据图像处理算法自动确定目标区域边缘并标注；
框选识别模块，用于识别标注员在框选标注区域的操作，根据图像处理算法自动确定框选的目标区域边缘并标注；或者，识别标注员在框选标注区域的操作并基于所述辅助线，根据图像处理算法自动确定框选的目标区域边缘并标注。
3.根据权利要求2所述的医疗影像标注系统，其特征在于，所述橡皮擦模块具体用于：
围绕鼠标光标绘制一个半径为r的圆形光标，检测标注员的鼠标拖动坐标点轨迹，所述圆形光标随鼠标拖动坐标点轨迹移动，在移动过程中，如果标注的封闭曲线上的某个点与圆形橡皮擦中点的距离小于圆形半径r，则移动封闭曲线上的这个点使得其与圆心距离为圆形半径，从而修改封闭曲线上符合要求的点的位置，进行标注曲线形状的修改；
如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在两个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修改标注曲线时形成平滑连续的曲线；
如果标注的封闭曲线上的某两个点重合，则原来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割点将较短的封闭曲线切割删除掉。
4.根据权利要求2所述的医疗影像标注系统，其特征在于，所述双击识别模块具体包括：
切割子模块，用于进行图像中间有效区域的切割；
二值转化子模块，用于选取一个合适的阈值将灰度图像转化为二值图像，使得白色像素形成了多个联通区域；
第一去粘连子模块，用于使用第一预定大小的结构元素对二值图像进行打开操作，去除粘连；
第二去粘连子模块，用于使用第二预定大小的结构元素对二值图像重新进行打开操作，增加打开操作中膨胀、腐蚀子操作的迭代次数；
轮廓提取子模块，用于在多个联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；
计算子模块，用于计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果；
去形变子模块，用于在目标区域与原图比较有形变时，确定有形变的目标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反色图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask图像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
第一调用子模块，用于目标区域亮度值比较高，与非目标区域没有粘连的情况下，依次调用所述切割子模块、所述二值转化子模块、所述轮廓提取子模块以及所述计算子模块；
第二调用子模块，用于在部分图像二值化后目标区域与非目标区域有轻微粘连时，依次调用所述切割子模块、所述二值转化子模块、所述第一去粘连子模块、所述轮廓提取子模块以及所述计算子模块；
第三调用子模块，用于在使用第一去粘连子模块已经不能去除粘连时，依次调用所述切割子模块、所述二值转化子模块、所述第一去粘连子模块、所述第二去粘连子模块、所述轮廓提取子模块、所述计算子模块、以及所述去形变子模块；
第四调用子模块，用于在使用第二去粘连子模块已经不能去除粘连时，调用所述辅助线模块分割目标区域和非目标区域，再依次调用所述切割子模块、所述二值转化子模块、所述轮廓提取子模块以及所述计算子模块。
5.根据权利要求2所述的医疗影像标注系统，其特征在于，所述框选识别模块具体用于：
识别标注员在框选标注区域的操作，仅对框选的矩形框内的图像选取二值化阈值，根据得到的二值化阈值将目标区域从背景中分离出来并标注。
6.一种医疗影像标注方法，其特征在于，用于权利要求1至5中任一项所述的医疗影像标注系统，所述方法具体包括：
根据标注员输入的鼠标坐标点确定标注矩形起点，对目标检测任务进行矩形标注；
根据标注员沿目标区域的边缘输入的鼠标坐标点，自动连接成折线，形成封闭区域，对目标分割任务进行多边形标注；
以标注员按下鼠标的起始坐标点为起点，沿目标区域的边缘划线，以标注员释放鼠标的释放坐标点为终点，并自动连接起点和终点，对目标分割任务进行划线标注；
根据标注员输入的鼠标坐标点轨迹对标注区域进行修改；
根据标注员的双击或者框选操作，根据图像处理算法自动确定目标区域边缘并标注。
7.根据权利要求6所述的医疗影像标注方法，其特征在于，所述根据标注员的双击或者框选操作，根据图像处理算法自动确定目标区域边缘并标注具体包括：
根据标注员输入的鼠标轨迹在目标区域和非目标区域之间标注辅助线，所述辅助线用于分割目标区域和非目标区域；
识别标注员在标注区域内的双击操作，根据图像处理算法自动确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并基于所述辅助线，根据图像处理算法自动确定目标区域边缘并标注；
识别标注员在框选标注区域的操作，根据图像处理算法自动确定框选的目标区域边缘并标注；或者，识别标注员在框选标注区域的操作并基于所述辅助线，根据图像处理算法自动确定框选的目标区域边缘并标注。
8.根据权利要求6所述的医疗影像标注方法，其特征在于，根据标注员输入的鼠标坐标点轨迹对标注区域进行修改具体包括：
围绕鼠标光标绘制一个半径为r的圆形光标，检测标注员的鼠标拖动坐标点轨迹，所述圆形光标随鼠标拖动坐标点轨迹移动，在移动过程中，如果标注的封闭曲线上的某个点与圆形橡皮擦中点的距离小于圆形半径r，则移动封闭曲线上的这个点使得其与圆心距离为圆形半径，从而修改封闭曲线上符合要求的点的位置，进行标注曲线形状的修改；
如果标注的封闭曲线上的某两个相邻点距离大于一个固定阈值，则在两个点中间插入更多点使得两个相邻点之间距离始终小于固定阈值，在修改标注曲线时形成平滑连续的曲线；
如果标注的封闭曲线上的某两个点重合，则原来的一个封闭曲线就变成两个相连的封闭曲线，以重合点为分割点将较短的封闭曲线切割删除掉。
9.根据权利要求7所述的医疗影像标注方法，其特征在于，识别标注员在标注区域内的双击操作，根据图像处理算法自动确定目标区域边缘并标注；或者，识别标注员在标注区域内的双击操作并基于所述辅助线，根据图像处理算法自动确定目标区域边缘并标注具体包括：
在目标区域亮度值比较高，与非目标区域没有粘连的情况下，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使得白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果；
在部分图像二值化后目标区域与非目标区域有轻微粘连时，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使用第一预定大小的结构元素对二值图像进行打开操作去除粘连，在多个联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果；
在使用第一预定大小的结构元素对二值图像进行打开操作已经不能去除粘连时，进行图像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使用第一预定大小的结构元素对二值图像进行打开操作去除粘连，使用第二预定大小的结构元素对二值图像重新进行打开操作，增加打开操作中膨胀、腐蚀子操作的迭代次数，在多个联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果；在目标区域与原图比较有形变时，确定有形变的目标区域，并填充该有形变的目标区域，对填充后的图像进行反色，将反色图像与二值图像进行按位与操作得到一个面具Mask图像，最后在Mask图像中找包含点击点的最小轮廓，即能得到没有形变的目标区域；
在使用第二预定大小的结构元素对二值图像重新进行打开操作已经不能去除粘连时，使用辅助线分割目标区域和非目标区域，再进行图像中间有效区域的切割，选取一个合适的阈值将灰度图像转化为二值图像，使得白色像素形成了多个联通区域，在多个联通区域将白色区域和黑色区域交界的轮廓提取出来，找出所有轮廓中包含用户所点击的点的轮廓作为候选轮廓；计算候选轮廓包围的面积，选取其中面积最小的一个轮廓作为最终结果。
10.根据权利要求7所述的医疗影像标注方法，其特征在于，识别标注员在框选标注区域的操作，根据图像处理算法自动确定框选的目标区域边缘并标注具体包括：
识别标注员在框选标注区域的操作，仅对框选的矩形框内的图像选取二值化阈值，根据得到的二值化阈值将目标区域从背景中分离出来并标注。
11.一种医疗影像标注装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求6至10中任一项所述的医疗影像标注方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求6至10中任一项所述的医疗影像标注方法的步骤。
CN202010559594.5A 2020-06-18 2020-06-18 一种医疗影像标注方法、系统及装置 Active CN111724402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010559594.5A CN111724402B (zh) 2020-06-18 2020-06-18 一种医疗影像标注方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010559594.5A CN111724402B (zh) 2020-06-18 2020-06-18 一种医疗影像标注方法、系统及装置

Publications (2)

Publication Number Publication Date
CN111724402A true CN111724402A (zh) 2020-09-29
CN111724402B CN111724402B (zh) 2021-07-20

Family

ID=72567455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010559594.5A Active CN111724402B (zh) 2020-06-18 2020-06-18 一种医疗影像标注方法、系统及装置

Country Status (1)

Country Link
CN (1) CN111724402B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112467A (zh) * 2021-04-06 2021-07-13 上海深至信息科技有限公司 一种平面图标注系统
CN113806573A (zh) * 2021-09-15 2021-12-17 上海商汤科技开发有限公司 标注方法、装置、电子设备、服务器及存储介质
CN114185476A (zh) * 2021-11-18 2022-03-15 路米科技(江苏)有限公司 一种立体框交互方法及系统
CN114485717A (zh) * 2021-12-30 2022-05-13 中智行(苏州)科技有限公司 一种道路图像地面标线的标注方法
CN116580286A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 图像标注方法、装置、设备和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020055081A1 (en) * 2000-03-30 2002-05-09 Hughes Joy Vannelia System and method for separating three-dimensional models
US20170337713A1 (en) * 2016-08-12 2017-11-23 Siemens Healthcare Gmbh Method and data processing unit for optimizing an image reconstruction algorithm
CN108550148A (zh) * 2018-04-13 2018-09-18 重庆大学 组织切片显微图像中的细胞核自动分割及分类识别方法
CN108682453A (zh) * 2018-05-16 2018-10-19 四川大学 一种肺结节标注系统
CN108830466A (zh) * 2018-05-31 2018-11-16 长春博立电子科技有限公司 一种基于云平台的图像内容语义标注系统和方法
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统
CN109509197A (zh) * 2018-09-26 2019-03-22 沈阳东软医疗系统有限公司 一种分割感兴趣区域的方法、装置、设备及存储介质
CN109523630A (zh) * 2016-06-21 2019-03-26 武汉瑞得信息工程有限责任公司 一种基于张力样条插值的等高线生成方法及装置
CN109670060A (zh) * 2018-12-10 2019-04-23 北京航天泰坦科技股份有限公司 一种基于深度学习的遥感影像半自动化标注方法
CN110570930A (zh) * 2019-09-11 2019-12-13 成都连心医疗科技有限责任公司 一种基于平板电脑的医疗影像勾画方法及系统
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN110880021A (zh) * 2019-11-06 2020-03-13 创新奇智(北京)科技有限公司 模型辅助式数据标注系统及标注方法
CN111178845A (zh) * 2019-12-31 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于网络服务平台的数据标注系统及方法
CN111291813A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 图像标注方法、装置、计算机设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020055081A1 (en) * 2000-03-30 2002-05-09 Hughes Joy Vannelia System and method for separating three-dimensional models
CN109523630A (zh) * 2016-06-21 2019-03-26 武汉瑞得信息工程有限责任公司 一种基于张力样条插值的等高线生成方法及装置
US20170337713A1 (en) * 2016-08-12 2017-11-23 Siemens Healthcare Gmbh Method and data processing unit for optimizing an image reconstruction algorithm
CN108550148A (zh) * 2018-04-13 2018-09-18 重庆大学 组织切片显微图像中的细胞核自动分割及分类识别方法
CN108682453A (zh) * 2018-05-16 2018-10-19 四川大学 一种肺结节标注系统
CN108830466A (zh) * 2018-05-31 2018-11-16 长春博立电子科技有限公司 一种基于云平台的图像内容语义标注系统和方法
CN109509197A (zh) * 2018-09-26 2019-03-22 沈阳东软医疗系统有限公司 一种分割感兴趣区域的方法、装置、设备及存储介质
CN109446369A (zh) * 2018-09-28 2019-03-08 武汉中海庭数据技术有限公司 图像半自动标注的交互方法及系统
CN109670060A (zh) * 2018-12-10 2019-04-23 北京航天泰坦科技股份有限公司 一种基于深度学习的遥感影像半自动化标注方法
CN110765844A (zh) * 2019-09-03 2020-02-07 华南理工大学 一种基于对抗学习的非感应式餐盘图像数据自动标注方法
CN110570930A (zh) * 2019-09-11 2019-12-13 成都连心医疗科技有限责任公司 一种基于平板电脑的医疗影像勾画方法及系统
CN110880021A (zh) * 2019-11-06 2020-03-13 创新奇智(北京)科技有限公司 模型辅助式数据标注系统及标注方法
CN111178845A (zh) * 2019-12-31 2020-05-19 清华大学苏州汽车研究院（吴江） 一种基于网络服务平台的数据标注系统及方法
CN111291813A (zh) * 2020-02-13 2020-06-16 腾讯科技（深圳）有限公司 图像标注方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
倍赛BASICFINDER: "OCR预识别数据标注功能解析‖BasicFinder SaaS 数据标注平台", 《微信公众号：HTTPS://MP.WEIXIN.QQ.COM/S/L7YPBSZOXLYLSIGB9-VQYA》 *
倍赛BASICFINDER: "智能语义分割标注功能解析‖BasicFinder SaaS 数据标注平台", 《微信公众号：HTTPS://MP.WEIXIN.QQ.COM/S/GCNDI19BZPBQKQ159TCKZA》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112467A (zh) * 2021-04-06 2021-07-13 上海深至信息科技有限公司 一种平面图标注系统
CN113112467B (zh) * 2021-04-06 2023-04-07 上海深至信息科技有限公司 一种平面图标注系统
CN113806573A (zh) * 2021-09-15 2021-12-17 上海商汤科技开发有限公司 标注方法、装置、电子设备、服务器及存储介质
CN114185476A (zh) * 2021-11-18 2022-03-15 路米科技(江苏)有限公司 一种立体框交互方法及系统
CN114485717A (zh) * 2021-12-30 2022-05-13 中智行(苏州)科技有限公司 一种道路图像地面标线的标注方法
CN116580286A (zh) * 2023-07-12 2023-08-11 宁德时代新能源科技股份有限公司 图像标注方法、装置、设备和存储介质
CN116580286B (zh) * 2023-07-12 2023-11-03 宁德时代新能源科技股份有限公司 图像标注方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111724402B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN111724402B (zh) 一种医疗影像标注方法、系统及装置
US10818011B2 (en) Carpal segmentation and recognition method and system, terminal and readable storage medium
US10229346B1 (en) Learning method, learning device for detecting object using edge image and testing method, testing device using the same
WO2022199403A1 (zh) 血管中心线的提取方法及装置
US20210366122A1 (en) Method and apparatus for segmenting G-banded adhered chromosome based on geometrical characteristic and regional fusion, and chromosome karyotype analysis device
CN112614128B (zh) 一种基于机器学习的内镜下辅助活检的系统及方法
Xia et al. Zoom better to see clearer: Human part segmentation with auto zoom net
CN109460735B (zh) 基于图半监督学习的文档二值化处理方法、系统、装置
CN111242958B (zh) 一种基于结构特征优化的颈动脉级联学习分割方法
CN111369530A (zh) 一种基于深度学习的ct图像肺结节快速筛查方法
CN113095267B (zh) 统计图的数据提取方法、电子设备和存储介质
CN110910414B (zh) 图像轮廓生成方法、图像标注方法、电子装置及存储介质
CN110992384A (zh) 半自动化图像数据标注方法、电子装置及存储介质
CN111353978B (zh) 一种识别心脏解剖学结构的方法及装置
Pei et al. Salient instance segmentation via subitizing and clustering
Tang et al. Leaf extraction from complicated background
CN109117837B (zh) 感兴趣区域确定方法和设备
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113610052A (zh) 一种基于深度学习的隧道渗漏水自动识别方法
Chen et al. Image segmentation based on mathematical morphological operator
CN113222051A (zh) 基于小肠病灶特征的图像标注方法
Zhu et al. Scene text relocation with guidance
CN112634240B (zh) 基于阈值分割的甲状腺超声图像干扰界面自动识别去除方法
Ventura et al. Iterative deep learning for network topology extraction
Setitra et al. Angle Minimization and Graph Analysis for text line segmentation in handwritten documents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant