CN113744847A - 用于医学图像注释工具的方法和系统 - Google Patents

Abstract

本发明提供了用于建议将注释形状应用于医学图像的各种方法和系统。在一个示例中，方法包括基于显示在显示设备上的当前图像来输出来自图标库的注释图标集以用于在该显示设备上显示，以及响应于从该注释图标集中选择注释图标而在该当前图像上显示注释。该方法还包括将该注释自动调整到该当前图像中的对应解剖特征部并且将该当前图像与该注释一起保存。

Description

用于医学图像注释工具的方法和系统

技术领域

本文所公开的主题的实施方案涉及医学图像注释。

背景技术

训练使用医学图像作为标注数据的深度学习模型需要大量已经由专家(通常是受过高度训练的专家)注释的图像。依赖于受过高度训练的专家来注释图像的时间和/或成本可能限制可用于训练模型的数据量，从而限制这些模型的准确性并且因此限制这些模型的部署。

发明内容

在一个实施方案中，方法包括：基于显示在显示设备上的当前图像来输出来自图标库的注释图标集以用于在该显示设备上显示，以及响应于从该注释图标集中选择注释图标而在该当前图像上显示注释。该方法还包括将该注释自动调整到该当前图像中的对应解剖特征部并且将该当前图像与该注释一起保存。

应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：

图1示出了根据一个实施方案的示例性x射线成像系统；

图2是根据本文所公开的实施方案的智能器官形状选项板可如何用于注释医学图像的方法的流程图；

图3是根据本文所公开的实施方案的智能器官形状选项板和可以使用该智能器官形状选项板进行注释的医学图像的示例；

图4示出了图3的医学图像上的由智能器官形状选项板初始输出的注释的位置和形状；

图5示出了图4的注释的智能调整；

图6示出了图5的处于最终精制形状的注释；

图7示出了添加了第二注释的图6的医学图像；以及

图8是根据本文所公开的实施方案的用于生成和/或更新注释图标库的方法的流程图。

具体实施方式

为了产生用于医疗场所(诸如医院)和教育设施的高度准确的人工智能(AI)模型，必须首先将医生和专家的人类智能添加到由数据科学家创建的学习系统中。数据中或数据上留下的具有高质量人类知识标记、标签、图画等的数据越多，所创建出的AI模型的结果就越准确。因此，大量临床数据(例如，标注数据)内的高度训练的医学专家发现是创建高度准确的模型的关键。然而，没有足够的专家来注释数据科学家需要的数据量。此外，因为医学专家的时间很宝贵，所以当这些医学专家做这类工作时成本很高。因此，许多机构和数据科学家利用注释服务或其他方法(例如，非专家、实习医生)来注释大型数据集。

然而，使用注释服务或专家以外的其他方法来注释大型数据集会带来质量的变化，因为图像的注释方式可能因注释人员而异。例如，在有关特定的、有时有歧义的解剖结构的判读和描绘上可能存在不同意见。此外，基于每个个体对这项工作的不同理解，可能出现不准确或不正确的注释。不准确或不正确的注释可能遍布整个工作组中和/或对患者诊断产生不利影响。

因此，需要让受过高度训练的专家对小数据集进行高质量注释，并且将该高质量注释普及到非专家的注释人员系统和工作组中。因此，根据本文所公开的实施方案，提供了一种用于允许专家的医学图像注释(例如，图画、标记、标签等)被预设成有效地呈现给注释人员的形状的方法和系统。本文的医学图像可以指所有类型的介质，包括：单帧图像渲染或多帧图像渲染；例如，系列层次和/或三维渲染；图表；图形；数据；其他可视化；等等。本文的注释可以被定义为标记医学图像或与该医学图像交互以便在医学图像上或内部留下临床发现的动作。

在一个实施方案中，专家的注释可被预设成保存在图标库内的注释图标的形状，智能器官形状选项板被配置成基于当前图像来输出来自该图标库的注释图标集。当注释人员从智能器官形状选项板中选择注释图标时，可以自动调整注释以匹配当前图像内以及基于该当前图像的解剖特征部，以及由注释人员手动调整。此外，可以跟踪对图标的选择、对形状/注释的自动调整以及对形状/注释的手动调整，并且将其作为反馈发送以进一步精制所使用的注释图标。

例如，当工作组中的注释人员正在注释用于识别器官、病变和/或其他解剖特征部的医学图像时，可以显示智能器官形状选项板。该智能器官形状选项板可包括具有基于专业注释人员的注释来选择的特征(例如，形状、线条宽度、线条颜色等)的多个形状。这些形状中的至少一些可以表示解剖特征部(例如，右肺、左肺、肝脏等)。在非专业注释人员注释期间，可以基于当前图像、注释人员(例如，注释人员的训练)和/或其他输入来显示所述多个形状的子集。当注释人员选择形状时，该形状可以用于注释当前图像，并且该形状的多个方面可基于当前图像(例如，形状的位置、形状的边界)而被自动调整以匹配当前图像中的解剖特征部。注释可以包括控制点或其他特征使注释人员能够手动调整注释。因此，使用智能器官形状选项板可通过将主题专业人士的一致性和准确性“推送”给大量非主题专业人士来增加注释人员之间的一致性。继而，这可促进生成更大量的标注数据记录并且促进对于AI模型的更准确的训练。这样，可以最小化与生成标注数据相关联的成本。此外，标准化显示参数将增加注释人员之间的一致性。在图1中提供了根据本发明技术可用于采集可被注释的医学图像的x射线成像系统的示例。图2是用于使用智能器官形状选项板来注释医学图像(诸如，利用图1的x射线图像系统采集的医学图像)的方法的流程图。图8是用于生成和更新可从其中选择智能器官形状选项板的注释图标库的方法的流程图。图4至图7示出了使用智能器官形状选项板注释医学图像的逐步示例。

现在转向图1，其示出了根据本公开的一个实施方案的x射线成像系统100的框图。x射线成像系统100包括辐射x射线的x射线源111、检查期间受检者115站立在其上的立架132、以及用于检测由x射线源111辐射并由受检者115衰减的x射线的x射线检测器134。作为非限制性示例，x射线检测器134可以包括闪烁体、一个或多个离子室、光检测器阵列、x射线曝光监视器、电基板等。x射线检测器134安装在立架138上，并且被配置成根据受检者的成像区域可竖直移动。

操作控制台180包括处理器181、存储器182、用户界面183、用于控制一个或多个马达143的马达驱动器185、x射线功率单元186、x射线控制器187、相机数据采集单元190、x射线数据采集单元191和图像处理器192。从x射线检测器134传输的x射线图像数据由x射线数据采集单元191接收。收集的x射线图像数据由图像处理器192进行图像处理。通信地耦接到操作控制台180的显示设备195在其上显示图像处理过的x射线图像。

x射线源111由支撑柱141支撑，支撑柱141可以安装到天花板(例如，如图所描绘)或安装在可移动立架上，用于定位在成像室内。x射线源111可相对于受检者或患者115竖直移动。例如，一个或多个马达143中的一个马达可以集成到支撑柱141中，并且可以被配置成例如通过增加或减少x射线源111与天花板或地板的距离来调整x射线源111的竖直位置。为此，操作控制台180的马达驱动器185可以通信地耦接到一个或多个马达143，并且被配置成控制一个或多个马达143。

x射线功率单元184和x射线控制器182将合适的电压电流的功率提供给x射线源111。准直器(未示出)可以固定到x射线源111，用于指定x射线束的照射视场。从x射线源111辐射的x射线束经由准直器施加到受检者身上。

相机120可以定位在x射线源111附近，并且可以与x射线源111共同被校准。x射线源111和相机120可以沿角方向119相对于支撑柱141枢转或旋转以对受检者115的不同部分成像。相机120可以包括检测光学范围内的电磁辐射的光学相机。附加地或另选地，相机120可以包括深度相机或距离成像相机。作为说明性和非限制性的示例，被配置为深度相机的相机120可以包括光学相机、红外相机和在相机120的视场中投射红外点的红外投影仪。红外相机对这些点成像，这些点又可用于测量相机120的光学相机内的深度。作为另一个说明性和非限制性的示例，相机120可以包括飞行时间相机。相机120通信地耦接到操作控制台180的相机数据采集单元190。因此，由相机120采集或生成的相机数据可以被传输到相机数据采集单元190，该相机数据采集单元继而将所采集的相机图像数据提供给图像处理器192用于图像处理。例如，如本文进一步描述的，图像处理器192可以处理所采集的相机图像，以识别用于成像的期望解剖区域的位置和/或测量或估计在期望解剖区域处的受检者115的厚度。在一些示例中，控制台180和/或PACS 196可以包括报告模块，该报告模块被配置成识别和注释所采集的x射线图像中的放射学发现(例如，基于使用自然语言处理(NLP)的放射学报告)。图像处理器192可以将处理过的图像发送到与图像处理器192通信地耦接的边缘设备197和/或图像存档和通信系统(PACS)196。边缘设备197可以是边缘处理设备、云处理设备或耦接到网络198的额外计算设备。网络198可以与PACS 196通信地耦接，因此图像数据可以在网络198、PACS 196和/或边缘设备197之间传输。边缘设备197和PACS 196中的每一者可以包括存储器和被配置成执行存储在相应存储器上的指令的一个或多个处理器，以及有利于与一个或多个设备进行通信的通信模块。

此外，网络198、PACS 196和/或边缘设备197可以通信地耦接到计算设备199。计算设备199可以包括存储器、一个或多个处理器、显示设备、用户输入设备(例如，鼠标、触笔、触摸屏和/或键盘)和通信模块。在一些示例中，计算设备可以是PACS查看器、工作站、平板电脑或另一个合适的设备，其中使用x射线成像系统100捕获的x射线图像可以使用智能器官形状系统来显示和注释，如下文进一步所述和图3至图7所示。

每个通信模块有利于电子数据在一个或多个系统内和/或之间的传输。经由通信模块的通信可以使用一个或多个协议来实现。在一些示例中，经由通信模块的通信根据一个或多个标准(例如，医学数字成像和通信(DICOM)、健康等级七(HL7)、ANSI X12N等)发生。通信模块可以为有线接口(例如，数据总线、通用串行总线(USB)连接等)和/或无线接口(例如，射频、红外、近场通信(NFC)等)。例如，通信模块可以经由有线局域网(LAN)、无线LAN、广域网(WAN)等使用任何过去、目前或未来通信协议(例如，

USB 2.0、USB3.0等)来通信。

每个存储器包括一个或多个数据存储结构，诸如光学存储器装置、磁存储器装置或固态存储器装置，其用于存储由处理器执行的程序和例程以实施本文所公开的各种功能。存储器可以包括任何期望类型的易失性和/或非易失性存储器，诸如例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、闪存存储器、只读存储器(ROM)等。处理器可以为例如任何合适的处理器、处理单元或微处理器。处理器可以为多处理器系统，因此可以包括彼此相同或类似并且经由互连总线通信地耦接的一个或多个附加处理器。

与使用框、圆、线和“动态”创建的形状作为默认绘图工具的其他图像编辑/注释程序不同，智能器官形状系统基于人体解剖结构来向注释人员呈现形状集。基于正被注释的图像的类型(例如，可针对胸部x射线的图像输出肺形状集)、注释人员组内正进行的其他注释工作、和/或工作组内的注释人员和管理人员组正使用的智能器官形状选项板的其他实例之间的联网通信，可以向注释人员呈现智能器官形状选项板中的适当形状。

图2是使用智能器官形状系统注释医学图像从而将来自专业注释人员的高质量注释“推送”到非专业注释人员的方法200的流程图。本文描述了相对于x射线成像系统(例如，图1的x射线成像系统100)的系统和方法，但在不脱离本公开的范围的情况下，本文所公开的方法可以在几乎任何其他成像环境中实现。例如，方法200可应用于注释经由超声系统、磁共振成像(MRI)、计算机断层摄影(CT)扫描、正电子发射断层摄影(PET)扫描、单光子发射计算机断层摄影(SPECT)扫描、可见光相机和/或任何其他类型的医学图像采集的图像。可以使用存储在中央计算设备的非暂态存储器中的计算机可读指令来执行方法200，该中央计算设备通信地耦接到位于机构(例如，医院、影像室、病房、部门)的x射线成像系统或另一个成像模态/系统，其中中央计算设备另外可操作地/可通信地耦接到具有显示设备的本地计算设备(例如，图1的显示设备195)。在一些示例中，在不脱离本公开的范围的情况下，方法200可以由另一个中央联网设备诸如PACS(例如，图1的PACS 196)或边缘设备(例如，图1的边缘设备197)执行，其中中央联网设备可操作地/可通信地耦接到具有显示设备的本地计算设备(例如，图1的计算设备199)。

在202处，可以基于当前图像和/或注释人员来显示来自图标库的注释图标集。图标库可以由专家针对每种类型的医学图像生成的形状/注释图标构成。图像的类型可以包括成像的身体部分(例如，头部、臂部、心脏)、身体部分在图像中的定位(例如，前、后、侧、左、右)以及用于生成图像的模态(例如，CT扫描、x射线、MRI、深度相机)。此外，图标库中每种形状的特征(例如，线条宽度、线条颜色等)可以由专家确定。图标库可以由当前医疗场所内的专家和/或其他设施处的专家生成。此外，专家可以包括展示注释形状已经在何处/如何被使用的示例的参照图像和/或材料的集合。例如，参照图像可以包括所使用的病症信息、观察参数、用于缩放的控件以及放大倍数、照明/对比度。当选择了注释图标时，可以查看参照材料。这样，智能器官形状系统不仅可以通过将高质量注释推送给非专家来增加图像注释的归一化，而且可以通过提供针对何时应开具注释的指南(例如，所使用的图像缩放/对比度/照明值、相关患者信息诸如体型/重量/年龄/诊断、其他相关的病症信息)来增加图像注释的归一化。

除此之外，图标库可以由管理人员和/或专家审查附加的注释图标来调整和/或更新，如下文进一步所述。方法200可以基于当前图像内的视觉信息(如下文更详细地描述)、注释人员的输入和/或附加的图像信息(例如，图像的名称/标签、图像所属患者/采集图像的原因、订购图像的人员、处方信息等)来确定当前图像的类型。一旦确定了图像的类型，就可以向注释人员输出合适的注释图标集作为智能器官形状选项板，如参考图3进一步示出和描述的。智能器官形状选项板可以包括特定地设计用于注释当前图像内的器官、解剖形状和/或感兴趣区域的形状。

显示来自图标库的注释图标集可以包括：在204处，基于用户输入、图像元数据和/或使用计算机视觉来识别当前图像中的解剖特征部；并且在206处，基于所识别的解剖特征部从该图标库中选择注释图标集。例如，可以使用计算机视觉使计算设备能够以与专业注释人员相同的方式查看、识别和处理当前图像，然后提供关于图像内存在哪些解剖特征部的输出。然后，解剖特征部输出可以用于确定用于显示的注释图标集。在一个示例中，计算机视觉可以确定图像中存在心脏、动脉、左心房和右心房，因此该注释图标集输出可以是那些用于注释心脏的注释图标。

在一些实施方案中，可以评估当前图像的视觉信息，该视觉信息指示已成像的身体部位、已成像身体部位的定位以及使用哪种成像模态来捕获当前图像。在一些示例中，所评估的视觉信息可以是图像元数据(例如，管理元数据、描述性元数据、引用元数据和/或结构元数据)。例如，方法200可以确定当前图像是否是腿部、臂部、头部、颈部、胸部等的图像。然后，方法200可以确定当前图像显示的是腿部的后部还是前部、颈部的右侧还是左侧等。然后，方法200可以确定如何采集图像(例如，经由x射线系统、深度相机、CT扫描等)。

在一些示例中，可以使用被训练为识别主要解剖位置(例如，头部、胸部、腿部)、该解剖位置的子分类(例如，大腿右上方、头部左侧)和/或该子分类内的解剖特征部(例如，心脏、股骨、脑)的卷积神经网络(CNN)来确定图像内的解剖结构。在一些示例中，可以使用分割技术确定图像内的视觉信息。例如，可以将图像分成具有类似特性(诸如颜色、对比度、亮度、像素密度等)的区域，然后可以基于已知的解剖结构和成像模态对细分对象进行分类。在一些示例中，可以采用一系列轮廓发现算法和/或边缘检测算法来评估图像内的视觉信息。在一些示例中，方法200可以使用对比度、像素强度、像素密度等的变化来限定图像内的区域。因此，基于当前图像中是什么身体部位、该身体部位的定位以及用于捕获图像的模态，方法200可以输出来自图标库中的合适的注释图标集。例如，如果确定当前图像是左脚内侧的x射线图像，则当从x射线图像中的该角度(例如，左脚内侧)观察时，智能器官形状选项板可以包括对应于胫骨、距骨、跟骨、趾骨和跖骨的形状。在另一个示例中，如果确定当前图像是胸部x射线图像，则智能器官形状选项板可以包括对应于左肺、右肺、锁骨、气管等的形状。

在一些示例中，图像名称/标签可以附加地或另选地用于确定当前图像的类型。例如，当前图像可以被标记为“肺部x射线图像”，从而指示该图像包含患者肺部x射线图像。因此，智能器官形状选项板可以包括与所识别的胸部x射线图像的输出相同或类似的形状(例如，对应于左肺、右肺等的形状)。在一些示例中，注释人员可以直接输入当前图像的内容从而允许方法200确定要输出的最合适的注释图标集。

在一些实施方案中，智能器官形状选项板内的形状集可以通过查看图像集内的提示(例如，标签、图像中的解剖结构、图像的类型)以及其他注释人员过去已注释的类似图像的工作来确定。因此，可以将智能器官形状选项板联网来使其在输出形状集时学习和/或将其预设为输出由管理人员确定的特定的形状。此外，除了基于特定的注释人员组的过去工作来推广具有最可能的注释形状的智能器官形状选项板之外，组织可以将所有智能器官形状选项板设定为仅从特定注释人员的过去工作中提取形状。因此，可以设定工作组内的所有智能器官形状选项板遵循具体专家或主要注释人员的工作和预设。

除了当前图像的内容之外，还可以基于当前注释人员来选择注释图标集。例如，如果注释人员是专家，则智能器官形状选项板可以基于注释人员的专业类型来进行调整以显示最相关的器官。在一个示例中，智能器官形状选项板可以将眼睛解剖结构(例如，晶状体、视网膜、视神经等的形状)的注释图标集输出给作为验光专家的注释人员。在另一个示例中，智能器官形状选项板可以将有关心脏解剖结构(例如，腔室、静脉、主动脉、瓣膜等的形状)的注释图标集输出给作为心脏病学专家的注释人员。另选地，对于非专业注释人员，输出到智能器官形状选项板的形状集可由主要专家提出的仅基于当前图像的预定义列表来确定，和/或基于注释人员当前的专业知识水平来调整。

在208处，方法200可以确定注释图标是否被选择。如果注释图标已被选择(例如，经由用户输入)，则在210处，响应于从该注释图标集中选择第一注释图标而可以在当前图像上显示注释，如参考图4进一步所示和所述。例如，基于当前图像和/或注释人员，智能器官形状选项板可以包括对应于图像中的不同解剖特征部的注释图标。在胸部x射线图像中，注释人员可以选择注释左肺。因此，注释人员可以从智能器官形状选项板中选择注释图标，该注释图标被表示(例如，经由静态标签、弹出式标签等)为左肺和/或看起来类似于左肺的形状。响应于选择左肺注释图标，边界框可以围绕当前图像内的左肺出现。对应于左肺的形状的轮廓可以包含在该边界框内。类似地，如果当前图像是心脏的CT扫描图，则基于图像和注释人员，智能器官形状选项板可以包括血管、动脉、每种类型的瓣膜等的注释图标。响应于注释人员从智能器官形状选项板中选择二尖瓣的注释图标，边界框可以围绕二尖瓣出现并且二尖瓣的轮廓容纳在该边界框内。边界框的尺寸和/或位置可以基于对应的解剖特征部使用图像颜色、像素强度、像素密度、轮廓、边缘检测、分割、阈值和/或另一种合适的技术来自动确定(例如，没有用户输入)。在其他示例中，可以预设边界框的尺寸和/或位置并且可以经由用户输入调整该边界框的尺寸和/或位置。

边界框的位置和形状以及该边界框内的形状可以基于当前图像的类型、所选择的注释图标和当前图像的特征部来确定。例如，方法200可以基于图像对比度、轮廓、像素密度、限定图像内的与其他解剖特征部有关的解剖特征部的坐标(例如，与脊柱有关的肺的位置)、亮α通道和暗α通道等来确定在对应于选择的注释图标的解剖特征部的位置处的最佳猜测。如果边界框不涵盖待注释的解剖特征部，则注释人员可以调整该边界框(例如，大小、形状和/或定位)使得解剖特征部在该边界框内/由边界框包围。边界框和缩放可以基于检测实际图像和模板图像内的特定界标(例如，一种类型的图像内的公共解剖特征部，诸如胸部图像内的公共胸部器官)。将模板图像缩放/平移至实际图像可以基于此类界标的位置和相对间距。任选地，在一些示例中，可以应用调整注释以提供与给定解剖特征部的最佳拟合的步骤。

显示注释还可以包括显示基于指南的文本和/或图片，该指南关于注释形状如何生成、如何使用注释形状的示例、注释形状适用的病症和/或专家在将注释形状保存到图标库时确定相关的其他信息。例如，窗口可以与注释形状一起自动生成，该窗口显示用于使用注释形状进行注释的适用指南。在一些示例中，在选择注释图标之后，在图像上显示出注释形状之前可以将相关的参考信息显示给注释人员以供查看。

在212处，可以基于下面图像中的对应解剖特征部的位置和/或形状来自动调整注释的位置和/或形状(如参考图4进一步所示和所述)。一旦边界框被定位在围绕待注释的解剖特征部或位于图像内的解剖特征部的区域，方法200就可以将注释形状自动调整到该边界框内使得该注释形状勾勒出该解剖特征部。边界框可以限定解剖特征部的位置(例如，形心)、大小和总体的基本尺寸(例如，基于下面图像的最大可能高度和宽度)。注释形状可以基于该边界框自动定位和缩放，而且该注释形状基于图像颜色、像素强度、像素密度、轮廓、边缘检测、分割、阈值级别和/或另一种合适的技术进一步自动精制。

在一些示例中，用于估算实际图像对象(例如，当前图像中的右肺、心脏)与模板对象(例如，右肺注释、心脏注释)之间的距离的一种或多种技术可以在自动定位和缩放注释形状期间应用/用于自动定位和缩放注释形状。例如，一些所应用的技术可以估算在实际图像中分割出的对象和变换后的模板对象之间的距离或将这两者重叠。附加地或另选地，可以使用界标。然后可以应用迭代步骤来变换参数以最小化实际图像数据与变换模板数据之间的距离。最后，控制点可以被定位在最大不确定性的区域中或被定位为围绕高曲率点和角度。

在一些示例中，边界框可以被省略，并且注释形状可以基于图像颜色、像素强度、像素密度、轮廓、边缘检测、分割、阈值和/或另一种合适的技术来自动定位和调整。在一些示例中，注释人员可以将所选择的图标拖放到图像上，下放的位置成为注释形状的形心。在一些示例中，注释人员可以选择注释图标然后选择图像内的解剖特征部的中心，注释形状将围绕所选择的解剖特征部的中心放置。然后可以基于图像颜色、像素密度、光强度和暗强度、轮廓映射和/或器官发现算法将注释形状自动调整到解剖特征部，该算法帮助方法200在当前图像上自动限定与注释人员所选择的形状(例如，左肺、二尖瓣)最佳匹配的区域。

在一些示例中，一个或多个显示参数可以被自动调整以响应于选择注释图标。一个或多个显示参数可以包括总体的当前图像的和/或注释形状的显示参数诸如对比度、亮度等。在一些示例中，该一个或多个显示参数可以包括注释形状(并且不一定包括当前图像)的参数诸如线条宽度、线条颜色、透明度等。例如，注释图标可以指定注释形状以初始线条宽度和颜色显示。当将注释形状放置到当前图像上时，系统可以确定(例如，基于边缘检测技术、像素对比度等)注释形状在当前图像上的可见度并不充分，并且可以调整注释形状的显示参数以增加注释的可见度。

在214处，可以跟踪用户对当前图像上的注释所做的调整。响应于选择注释图标，注释形状可以出现在当前图像上并且可以被自动调整到对应于所选择的注释图标的解剖特征部。例如，选择左肺注释图标可以使得当前图像内的左肺被自动勾勒出左肺形状的轮廓。类似地，选择右肺注释图标可以使得当前图像内的右肺被自动勾勒出右肺形状的轮廓。然而，将注释形状自动调整到当前图像可能不总是理想的。因此，注释人员可以通过调整当前图像内的形状的边缘、大小和/或位置来微调注释形状。例如，注释形状可以包括控制点(如参考图5进一步所示和所述)和/或其他特征以使得注释人员能够手动调整注释。可以跟踪对注释形状的选择、对注释的自动调整和对注释的手动调整并且将以上三者作为反馈发送以响应于当前图像而进一步精制图标库以及智能器官形状选项板输出，如下文进一步所述。这样，方法200可以包括接收请求对当前显示的注释形状进行一个或多个调整的用户输入(例如，从注释人员处经由用户输入设备诸如鼠标或触摸屏)。用户输入可以包括对上述控制点的调整或对所显示的注释形状的其他调整。响应于接收到用户输入，方法200可以包括基于该用户输入来调整注释形状。

在216处，响应于每次从注释图标集中选择注释图标而可以在当前图像上显示附加注释。例如，注释人员可能想注释胸部x射线图像中的两个肺。因此，在选择用于左肺的第一注释图标之后，注释人员可以选择用于右肺的第二注释图标。类似地，注释人员可以决定注释气管并选择对应于该气管的第三注释图标使得当前图像现在包括三个注释。在218处，可以跟踪用户对当前图像上的每个附加注释图标所做的调整。例如，可以跟踪对气管注释和右肺注释所做的任何手动调整。

在220处，可以保存具有注释的当前图像。所保存的带注释的图像可以存储在网络上、图片存档和通信系统(PACS)内和/或另一个合适的服务器/设备内。在222处，可以发送所保存的带注释的图像以用于图像审查。图像审查可以由其专业知识与所保存的图像相关联的专家(例如，心血管专家可以查看带注释的心脏图像，验光专家可以查看带注释的眼睛图像等)、主要注释人员和/或图标库管理人员执行。

如果方法200确定尚未在208处选择注释图标(例如，通过接收来自用户的指示提出的注释图标中没有一个是可接受的匹配的输入)或当用户请求时，可以在224处显示新注释图标集。例如，用户可以确定最初显示的初始注释图标集不包含对应于需要注释的解剖特征部的一个或多个注释。因此，在一些示例中，可以使用用户输入或缺少用户输入来确定是否应该显示新注释图标集。例如，用户可以选择生成新注释图标集的按钮或选项(例如，可以选择标记为“生成新注释图标集”或“未找到注释图标”的按钮)。在一些示例中，可以基于评估图像的附加视觉信息(例如，所显示的图像的质量，包括自动分割、所识别的形状等)和/或包括可能尚未被用于确定首先已输出哪个注释图标集的视觉信息来输出新注释图标集。例如，初始注释图标集可以基于计算机视觉数据而被输出，新注释图标集可以基于计算机视觉数据以及图像元数据而被输出。附加元数据可以指示执行图像测试的原因。因此，可以基于针对图像类型的元数据信息来对疾病的解剖特征部的注释更多地定制新注释图标集，并且该图像类型先前已基于计算机视觉数据而被确定。虽然新注释图标集可以因此利用更多的图像处理能力，但是由于此类操作仅在初始注释图标集被认为不足之后发生，因此该初始集的生成对计算机处理资源的需求可以更少并且可以更快地提供用于提高用户生产率的初始集。

在一些示例中，智能器官形状系统可以基于对视觉信息的初始评估来输出第二注释图标集。例如，特定的图像类型(例如，心脏MRI)可以具有20个相关联的注释图标。基于对解剖特征部的初始图像评估，系统可以输出具有与肌肉注释相关的五个注释图标的智能形状器官选项板。当被提示时，系统可以输出未被指定用于肌肉注释的新注释图标集(例如，新注释图标集可以对应于疾病诊断、成像区域的血管系统等)或输出最初未显示的剩余15个相关联的注释图标。在一些示例中，所显示的新/第二注释图标集可以由用户选择(诸如，经由菜单选择)，如将在下文参考图3更详细地解释。

在226处，方法200可以确定是否已经选择了注释图标。如果已经从新注释图标集中选择了注释图标，则在210处可以继续方法200。如果尚未选择注释图标，并且响应于用户请求，在228处可以使用用户输入创建新注释。在一些示例中，在系统确定用户没有从初始或新智能形状器官选项板中选择注释图标之后，用户可以从通用绘图选项板中选择和修改“自由形式”和/或动态形状(例如，正方形、三角形、一般解剖特征部的形状)。在一些示例中，方法200可以包括在图标库中搜索可以包括库的被标签的对应注释图标(例如，可以用“心脏”来标签用于心脏图像注释的所有注释图标)的特定术语的选项。例如，如果尚未从一个或多个输出注释图标集中选择注释图标，则可以呈现在图标库中搜索所标签的术语的选项。

在230处，可以跟踪用于生成新注释的用户输入，之后可以在220处继续方法200。例如，跟踪可以在图像的视觉评估处开始，并且可以包括使用哪些数据来确定初始注释图标集输出、使用哪些数据来确定新注释图标集输出、用户选择了什么形状、所选择的形状如何/是否被修改、哪些新创建的注释被用来进行注释、以及可以用作反馈来精制系统的其他相关信息。

在一个示例中，当用户不从新注释图标集中选择任何一个注释图标时，例如当系统接收到的选择指示用户认为新注释图标集中没有任何一个是可接受的匹配时，系统可以生成特定的标签用于稍后分析。例如，可以标签图像，并且可以保存和传送用户对与医学图像对应的最终解剖形状的注释以供稍后专家审查。

图3示出了可以使用智能器官形状选项板302注释的医学图像316的第一视图300。图像316被显示在显示设备上，诸如图1的显示设备195、工作站、PACS查看器或另一个合适的注释人员设备。取决于当前图像和注释人员，智能器官形状选项板302可以包括具有基于专家或专业注释人员的注释而选择的特征部的多个形状。例如，可操作地/可通信地耦接到显示设备的中央计算设备(例如，网络、边缘设备、云)可以确定图像316是胸部x射线图像，并且因此将相关的注释图标输出到显示设备上的智能器官形状选项板302。在一些示例中，显示设备(例如，图1的计算设备199)可以基于下面的图像316来确定将哪些注释图标输出到智能器官形状选项板302。因此，智能器官形状选项板302可以包括右肺注释图标304、左肺注释图标306、心脏注释图标308和胃注释图标310。当注释人员移动到下一个图像上时，可以基于下面的图像来向注释人员显示智能器官形状选项板302内的新注释图标集。例如，下一个图像可以是左膝的x射线图像。因此，智能器官形状选项板302可以由相关的注释图标(诸如股骨注释图标、腓骨注释图标、胫骨注释图标、膝盖骨注释图标、内髁注释图标、外髁注释图标等)构成。

此外，智能器官形状选项板302可以包括下拉菜单选择按钮312。当注释人员选择了按钮312时，下拉菜单314可以出现，其允许注释人员在图标库内的不同指定形状组中进行选择，并且智能器官形状选项板302的所述多个形状从所选择的组中生成。在一些示例中，下拉菜单314可以包括可选列表，注释人员可以从该列表中选择是让智能器官形状选项板302的控制系统从整个图标库中自动选择形状，还是仅从管理人员批准的形状集、另一个注释人员生成和/或使用的形状集或者注释人员组生成和/或使用的形状集中生成智能器官形状选项板302。

例如，下拉菜单314可以包括自动选择形状选项316、我的管理人员的形状选项318、注释人员1形状选项320、注释人员组4选项322和注释人员组6选项324。在一些示例中，下拉菜单314可以具有由机构确定的多于或少于五个的可选选项。例如，可以存在多个管理人员的形状集、每个专业注释人员的形状集和/或每个注释人员组的形状集，并且每个注释人员组注释特定的图像类型(例如，第一注释人员组可以注释头部x射线图像，第二注释人员组可以注释胸部x射线图像，第三注释人员组可以注释腿部x射线图像等)。

通过选择自动选择形状选项316，可以从完整的图标库中选择包括智能器官形状选项板302的所述多个形状。另选地，通过选择注释人员1形状选项320，仅可以从由被指定为“注释人员1”的个体批准、生成和/或使用的注释图标中选择包括智能器官形状选项板302的所述多个形状。例如，“注释人员1”可以是肺脏学家并且可能已采集图像316来帮助诊断潜在的呼吸道疾病。因此，注释人员可以通过选择注释人员1形状选项320来选择仅使用“注释人员1”在类似医学图像中采用的注释。类似地，包括“注释人员组6”的注释人员也可以是肺科专家。因此，注释人员可以通过选择注释人员组6选项324来选择仅使用“注释人员组6”采用的注释形状。在一些示例中，注释人员可以是专家并且可以选择将自己的注释作为选项。下拉菜单314可以包括表示列出的每个选项是否由单个注释人员或多个注释人员生成和/或批准的人形图标。在一些示例中，如果下拉菜单314中的选项是由单个注释人员生成的，则可选选项中可以包括单个人形图标326。例如，我的管理人员的形状选项318和注释人员1形状选项320中每个包含如单个人形图标326所指示的由一个人生成/批准的注释形状。另选地，下拉菜单314中由注释人员组生成/批准的选项可以表示为多个人形图标328诸如注释人员组4选项322和注释人员组6选项324。

这样，包括智能器官形状选项板302的注释图标的数量可以取决于下面的图像以及用户选择多少图标库可用于生成智能器官形状选项板302而变化。例如，当使用完整的图标库进行自动选择时，可以生成具有六个注释图标的智能器官形状选项板302，而使用特定的注释人员组或注释人员采用的图标时智能器官形状选项板302可以仅由四个注释图标构成。因此，智能器官形状选项板302的大小和形状可以取决于由控制系统输出的所述多个形状而变化。例如，智能器官形状选项板302的注释图标中的每一个可以为矩形并且可以与一个或两个附加注释图标相邻，使得智能器官形状选项板302的总体形状为矩形。在一些实施方案中，智能器官形状选项板302的形状可以是其他合适的形状。例如，智能器官形状选项板302可以是圆形的并且包括对应于每个注释图标的扇形。在一些实施方案中，智能器官形状选项板302可以是可重新设定大小的、可移动的和/或可重新成形的。

响应于从智能器官形状选项板302中选择注释图标而可以在当前图像上显示注释。例如，如图4中的图像316的第二视图400所示，响应于选择右肺注释图标304，可以在图像316上输出边界框402。边界框402还可以包括右肺注释形状404。右肺注释形状404可以在图像316内在系统对右肺位置的最佳猜测处输出。此外，右肺注释形状404可以智能地调整以拟合在图像316中捕获的右肺的轮廓。此外，右肺注释形状404的特征可以基于其他注释人员在x射线图像上注释右肺时使用的预设来呈现。例如，右肺注释形状404的最佳线条颜色和线条宽度可以基于图标库内所保存的注释图标和/或在类似图像上对右肺注释所做的所跟踪的改变来确定。除此之外，可以将注释人员的其他所跟踪的预设(诸如轮廓密度和视觉不透明度)输出到右肺注释形状404。

右肺注释形状404的位置和大小可以由注释人员经由边界框402进行调整。例如，右肺注释形状404可以不围绕图像316内的整个右肺。因此，注释人员可以增大边界框402大小、放置位置和/或将该边界框旋转使得整个右肺被包含在边界框402内。一旦调节了边界框402，就可以自动更新/智能调节右肺注释形状404使其围绕系统根据右肺相对于图像316和边界框402的位置所做的最佳猜测。如图5中的图像316的第三视图500所示，一旦自动更新，右肺注释形状404就可以由注释人员进一步微调。例如，右肺注释形状404可以自动包括多个控制点502。注释人员可以从多个控制点502中选择各个控制点来手动调整右肺注释形状404使得其更准确地围绕右肺。右肺注释形状404内的所选择的控制点可以任何角度在任何方向上移动从而允许注释人员将右肺注释形状404调整到右肺。在一些示例中，响应于注释人员在注释形状上选择控制点而可以由注释人员将该控制点加入到注释形状上(例如，控制点尚未被预定义)。此外，注释人员可以对右肺注释形状404的特征进行手动调整或改变，诸如改变线条颜色、线条宽度、线条样式(例如，虚线、点线)。

在一些示例中，在一些示例中，也可以在选择右肺注释图标304时显示说明如何将右肺注释形状404应用于图像316的参照材料的集合。例如，弹出式窗口可以包括一般化指令，该指令用于将右肺注释形状404调整到由生成右肺注释形状404的专家编写的x射线图像。一般化指令还可以包括关于何时不使用右肺注释形状404来注释图像的详细信息(例如，右肺注释形状404可能不适用于注释特定年龄的已诊断为患有囊性纤维化的患者的右肺)。在一些示例中，智能器官形状选项板302可以包括可选选项，在选择该可选选项时将会显示与所选择的注释图标相关联的参照材料。

在已经对右肺注释形状404做出自动和手动调整之后，可以保存最终精制的注释602，如图6中的图像316的第四视图600所示。系统可以跟踪包括以下的数据：基于图像316来将哪些注释图标输出到智能器官形状选项板302、针对图像316选择右肺注释图标304、右肺注释形状404和边界框404的自动定位、对右肺注释形状404和边界框404所做的手动调整。所跟踪的数据可以作为反馈发送和/或在图像审查期间查看，以增加右肺注释形状404自动定位、右肺注释形状404的总体的形状和特征、响应于胸部x射线图像而输出到智能器官形状选项板302的注释图标集以及图标库的准确性。例如，通过选择右肺注释图标304并且调整系统在右肺识别处的最佳猜测，系统可以确定并追踪注释人员正在试图注释哪些器官以及系统的最佳猜测的准确度(例如，基于注释人员对右肺注释形状404执行的手动调整的数量)。然后，系统可以使用该数据来进一步精制智能器官形状选项板302。如果进行了任何手动调整/改变以生成最终精制的注释602，则可以向图标库管理人员发送通知，从而提醒该管理人员审查对右肺注释形状404所做的手动调整/改变。如果在审查时，管理人员确定对最终精制的注释602所做的手动更新提高了右肺注释形状404的准确性，则管理人员可以更新右肺注释图标304的预设和特征来包含该手动改变。

如图7中的图像316的第五视图700所示，注释人员可以使用智能器官形状选项板302来识别图像316内的多个解剖部分。例如，注释人员可以选择左肺注释图标306使得边界框702被输出到图像316。边界框702还可以包括左肺注释形状704，并且左肺注释形状704围绕系统关于基于下面的图像316来定位左肺的位置的最佳猜测而自动定位和调整。可以基于像素强度/密度或图像对比度、轮廓和边缘检测、阈值和/或其他合适的机制的变化来确定左肺的位置、大小和形状，以找到用于注释的围绕左肺的最佳可能形状。当自动调整右肺注释形状404时，右肺的位置、大小和形状已被类似地确定。因此，由于图像316内的左肺大于右肺，因此左肺注释形状被自动调整为大于右肺注释形状404。另选地，如果图像316内的左肺小于右肺，则左肺注释形状704将被自动调整为小于右肺注释形状404。然后，如上所述，注释人员可以手动调整/微调边界框702和/或左肺注释形状704使得左肺由左肺注释形状704准确地注释。

图8是用于使用智能器官形状系统生成和更新注释图标库的方法800的流程图。可以使用存储在中央计算设备的非暂态存储器中的计算机可读指令来执行方法800，该中央计算设备通信地耦接到位于机构(例如，医院、影像室、病房、部门)的x射线成像系统或另一个成像模态/系统，其中中央计算设备另外可操作地/可通信地耦接到具有显示设备的本地计算设备(例如，图1的显示设备195)。在一些示例中，在不脱离本公开的范围的情况下，方法800可以由另一个中央联网设备诸如PACS(例如，图1的PACS 196)或边缘设备(例如，图1的边缘设备197)执行，其中中央联网设备可操作地/可通信地耦接到具有显示设备的本地计算设备(例如，图1的计算设备199)。

在802处，方法800可以基于来自第一注释人员或注释人员组的用户输入来生成或更新第一图标库。第一注释人员或注释人员组可以是针对每种类型的医学图像的单个专家或多个专家。在一些示例中，用户输入可以包括手动或自动地从第一用户或用户组注释的图像数据、手动输入的注释或其他合适的技术/机制生成的注释中所选择的注释，其中该注释的形状和特征表示第一注释人员或注释人员组将选择哪一个和/或由第一注释人员或注释人员组生成的先前的注释数据(例如，标注数据)。例如，一个或多个图标库可以由针对每种类型的医学图像的专家生成的形状/注释图标构成。图像类型可以包括所使用的采集模式、所成像的身体部分和/或所采用的扫描方案。每个图标库可以由当前医疗场所内的专家和/或其他设施处的专家生成。

生成或更新第一图标库可以包括：在804处，基于为每个图标指定注释形状、注释形状特征(例如，线条宽度、线条颜色)和/或相关联的解剖特征部的用户输入来生成或更新第一图标库。例如，注释人员可以输入指示当前注释(例如，右肺的当前注释)将被保存为对应于右肺的注释图标的注释形状的用户输入。在其他示例中，系统可以连续为注释人员收集数据并且生成/显示由注释人员修改和/或批准的注释形状以生成和/或更新第一图标库。在一些示例中，可以基于来自一个注释人员或注释人员组可选择地输入的数据来生成和/或更新第一图标库。在一些示例中，系统可以跟踪用户输入并且一旦已经对注释形状做出阈值数量的类似变化，则注释形状就可以被手动和/或自动更新。在一些示例中，注释形状可以仅在两个或更多个类似的变化已经满足阈值数量之后而被自动和/或手动更新(例如，注释可以在对注释的位置和线条宽度所做的类似变化的阈值数量都满足之后更新)。在一些示例中，在802处生成和/或更新的一个或多个注释图标可以包括在选择注释图标以将相应的注释应用于图像时要应用的一个或多个显示参数的指示，诸如亮度，对比度等。在一些示例中，在802处生成和/或更新的一个或多个注释图标可以包括在选择注释图标时要显示的基于文本和/或图像的指南，如上文参考图2所解释。

生成或更新第一图标库还可以包括在806处用注释人员的身份来标签每个注释图标。在一些示例中，可以将对应于生成和/或更新第一图标库的注释人员的特定的标识符保存在注释形状的数据和/或元数据内。例如，特定的标识符可以是法定名称、指定名称(例如，数字和/或字母代码、曾用名)或所选择的名称/标识符/图像/图标。在一些示例中，注释人员的身份可以包括与注释人员注释类似图像的频率有关的统计信息，基于注释人员的训练/教育的当前图像的排名注释专业知识水平。因此，当审查对注释所做的改变/更新时，审查人员在决定是否更新图标库时可以考虑做出改变/更新的注释人员的专业水平。在一些示例中，注释可以协作地生成或基于注释数据组而生成。因此，注释可以通过来自两个或更多个注释人员的输入来更新或生成从而用两个或更多个注释人员的身份来标签该注释。在一些示例中，可通过与经由注释人员协作和/或多个用户注释数据分析而输入方面、更新或改变的注释人员相对应的标签来单独跟踪和识别注释生成中使用的每个更新、改变和输入方面。例如，注释标签可以用于生成可选选项，诸如图3的下拉菜单314中所示的选项。可选选项可以包括由注释人员或注释人员组生成的注释图标的列表(例如，具有经由标签生成的列表)。系统可基于来自注释图标列表/集的下面的图像来输出注释形状选项板，该注释图标列表/集由指定的注释人员/注释人员组基于用户输入/选择而生成(例如，用户可选择使图3的智能器官形状选项板302仅从由注释人员组四通过选择注释人员组4选项322创建/保存的注释图标而生成)。

在808处，可以基于来自相应的第二注释人员或注释人员组的用户输入来生成或更新一个或多个附加图标库。例如，可以由对应于每个专业的专家团队生成和更新对应于设施的每个专业的库(例如，可以由对应区域中的专家生成心血管、骨生理学、呼吸系统和其他专业图标库)。在810处，当被请求时，可输出图标库或来自图标库的注释图标的子集使其包括在注释形状选项板中。例如，可以将保存在图标库中的图标发送到客户端设备，在该客户端设备中这些图标用于注释图像，如参考图2所述。在一些示例中，图标可以被初始发送和/或偶尔在更新时发送(并且在本地存储在客户端设备处)，或图标可在每次执行图像注释时从中央计算机处发送。

在一些示例中，当在链接到系统的指定图像查看器内打开图像时，或者响应于系统的界面内的用户输入(例如，响应于对应用程序或控制按钮的选择，可以输出图标库或注释形状选项板)，可以自动生成初始请求。在一些示例中，可以基于图像类型、图像内的解剖特征和/或自动和/或手动的数据输入来选择包括注释形状选项板的注释图标(例如，注释人员可以选择使注释图标集从由所选择的注释人员生成的或由指定指使人员组批准的注释图标输出，系统可以基于所识别的注释人员来选择库)。

在812处，可以接收对一个或多个部署的注释图标的所跟踪的变化。所跟踪的变化可以包括注释的大小、形状、维度和/或特征的变化。在814处，方法800可以包括当已经跟踪到阈值数量的类似变化时输出针对注释人员或注释人员组的建议更新注释图标的通知。例如，系统可以跟踪对应于注释图标的注释(例如，响应于选择注释图标而在图像上显示的注释)的任何变化以及何时已经做出阈值数量的类似变化(例如，手动地和/或自动地)，向注释人员(例如，专业注释人员/专家、指定图标库管理人员)或注释人员组发送询问是否应当改变注释图标/形状的通知。该系统还可以包括基于对注释的所跟踪的调整而进行改变的建议。然后注释人员或注释人员组可以确定是否根据所跟踪的变化中的一些或全部变化来更新注释。可以基于统计信息和/或用户输入来手动或自动确定阈值数量。

在816处，可以基于所接收的对部署图标的所跟踪的变化来更新图标库。审查人员可以查看对注释做出的所有跟踪的变化(例如，手动和自动)，并且确定在没有任何手动变化和/或自动变化的情况下保存的图像内使用的注释是否足够，一个或多个手动变化是否改进注释的准确性，以及/或者对注释的任何自动变化是否在多个图像之间是反复的。此外，审查人员可以查看针对单个注释人员和/或由一个或多个工作组内的所有注释人员每次使用注释图标的跟踪的变化的整个历史。例如，可以向审查人员呈现与在机构的较大数据集上的当前图像中的每个注释的使用和所做的改变相关的统计信息。可以向审查人员呈现与以下内容相关的统计信息：针对每种类型的图像的注释形状的使用频率，当使用该注释形状时发生什么样的自动调整，每个自动调整发生的频率以及该自动调整在什么类型的图像上发生、注释形状的哪些手动改变在一组注释人员中是一致的、哪些手动改变在不同类型的图像中是一致的等。在一些示例中，所跟踪的变化可以来自保存的图像或使用注释图标的较大数据集。所跟踪的变化可以包括自动应用的那些变化和/或经由注释人员手动输入发生的那些变化。

更新图标库可以包括，在818处基于所跟踪的变化来更新图标库中的现有注释图标，和/或在820处基于所跟踪的变化来生成新注释图标。例如，在图像审查时，审查人员可以确定对保存的图像中的注释几乎没有改变。在类似的带注释图像中，对相同的注释几乎没有改变。因此，审查人员可以确定注释形状足以用于工作组。另选地，当针对特定类型的图像选择注释图标时，审查人员可以确定针对注释一致地发生若干自动调整。

例如，用于注释胸部CT扫描的左肺注释形状可以用相同的变化一致地自动更新，而当左肺注释形状用于注释经由MRI生成的胸部图像时，不会发生相同的自动更新。因此，审查人员可以确定图标库应具有针对胸部MRI和CT扫描图像的分开的左肺图标。当前左肺注释形状可以应用于来自MRI扫描的胸部图像，而新的左肺注释可被保存到图标库并用于注释来自CT扫描的胸部图像。在当前左肺图标用于注释来自CT扫描的胸部图像时，可以通过保存对当前左肺图标所做的所有统计相关的自动调整来生成新的左肺注释图标。类似地，审查人员可以确定统计相关的手动改变不断发生在注释形状上。例如，大多数注释可能正在改变肝脏的注释形状的线条宽度。因此，基于审查人员的专业知识和对线条宽度的手动改变的审查，审查人员可以确定应当用新的线条宽度来更新肝脏注释形状。

在另一个示例中，审查人员可以确定对所保存的图像中的注释所做的改变在针对相同类型的图像的一组注释人员上一致地发生。因此，可以保存对该图像类型的注释图标所做的所跟踪的改变中的一些或所有以生成新注释图标，该新注释图标被输出到该图像类型的智能器官形状选项板。此外，可以通过取最常用的感兴趣区域(ROI)形状的平均值，以及对最常用的ROI形状所做的自动和手动调整，在网络中的一组注释人员上生成新注释形状，并将每个新注释形状制成注释图标。

在一些示例中，可以基于用户输入来生成附加图标库，包括创建新注释、在选择现有注释图标之前生成多少个注释图标集和/或其他合适的数据。例如，如果图像类型的一个或多个类似的所创建注释(例如，由辅助注释人员生成/制作并保存到注释图像)的阈值数量被满足，则系统可以输出包括创建针对该图像类型的新库的建议的通知。在一个示例中，用户输入可以指示非专业注释人员已经满足保存到经由CT扫描生成的带注释全身图像的所创建注释的阈值数量。基于阈值数量数据，系统可以建议保存由已经满足阈值水平的所有所创建的注释构成的附加库。

在另一个示例中，系统可在选择现有注释图标(例如，从第二输出注释图标集或第n输出注释图标集中选择注释图标)之前生成并输出两个或更多个注释图标组以显示给注释人员。该数据可以作为用户输入而被跟踪并且用于更新显示给类似图像的未来辅助注释人员的内容(例如，系统可以调整以初始输出包括附加注释图标的类似图像的注释图标集)。

图1和图3至图7示出了具有各种部件的相对定位的示例性构型。至少在一个示例中，如果被示为彼此直接接触或直接耦接，则此类元件可分别被称为直接接触或直接耦接。相似地，至少在一个示例中，彼此邻接或相邻的元件可分别彼此邻接或相邻。例如，设置成彼此共面接触的部件可被称为共面接触。又如，在至少一个示例中，被定位成彼此间隔开并且其间仅具有空间而不具有其他部件的元件可被如此描述引用。又如，被示为位于彼此的上面/下面、位于彼此相对侧、或位于彼此的左侧/右侧之间的元件可相对于彼此被如此描述引用。此外，如图所示，在至少一个示例中，元件的最顶部元件或点可被称为部件的“顶部”，并且元件的最底部元件或点可被称为部件的“底部”。如本文所用，顶部/底部、上部/下部、上面/下面可为相对图的竖直轴而言的，并且可用于描述图中元件相对于彼此的定位。由此，在一个示例中，被示为位于其他元件上面的元件被竖直地定位在其他元件上面。又如，图中所示的元件的形状可被称为具有这些形状(例如，诸如为圆形的、平直的、平面的、弯曲的、倒圆的、倒角的、成角度的等等)。此外，在至少一个示例中，被示为彼此相交的元件可被称为相交元件或彼此相交。另外，在一个示例中，被示为位于另一个元件内或被示为位于另一个元件外的元件可被如此描述引用。

这样，本文所述的智能器官形状系统被配置为将专业知识“推送”到受过较少训练的注释人员。当工作组中的注释人员注释医学图像内的解剖特征部时，可以显示智能器官形状选项板。智能器官形状选项板可以包括具有基于专业注释人员的注释而选择的特征的多个形状。该多个形状将基于被注释的图像的内容而改变为相关器官形状和ROI形状，并且所选择的注释将自动调整到图像内的对应解剖特征部。注释人员还可以通过手动调整来微调注释。此外，可以跟踪对形状的所有自动和手动调整并将其作为反馈发送，以进一步改善智能器官形状选项板的准确性。使用智能器官形状选项板的技术效果是注释的质量和一致性可跨大量医学图像数据集而增加，从而使用大量医学图像数据集增加AI模型的准确性。

如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在…中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其他示例旨在落入权利要求书的范围内。

Claims (20)

1.一种方法，包括：

基于在显示设备上显示的当前图像来输出来自图标库的注释图标集以用于在所述显示设备上显示；

响应于从所述注释图标集中选择注释图标而在所述当前图像上显示注释；

将所述注释自动调整到所述当前图像中的对应解剖特征部；以及

将所述当前图像与所述注释一起保存。

2.根据权利要求1所述的方法，其中所述图标库由专业注释人员生成和/或选择的注释图标构成，每个注释图标表示对应的注释。

3.根据权利要求2所述的方法，其中每个注释图标表示所述对应注释的初始形状、线条宽度和线条颜色。

4.根据权利要求1所述的方法，所述方法还包括接收请求调整所述注释以匹配所述对应解剖特征部的用户输入，并且还基于所述用户输入来调整所述注释。

5.根据权利要求1所述的方法，还包括跟踪对所述注释所做的所述调整，并且当针对所述注释达到阈值数量的所跟踪的调整时输出通知，所述通知包括向专业注释人员建议调整所选择的注释图标。

6.根据权利要求1所述的方法，其中基于图像分割、边缘检测、轮廓映射和/或所述当前图像的颜色、对比度和像素密度的变化，将所述注释自动调整到所述对应解剖特征部。

7.根据权利要求1所述的方法，还包括响应于对所述注释图标的所述选择而调整一个或多个显示参数。

8.根据权利要求1所述的方法，还包括响应于对所述注释图标的所述选择而输出与所述注释图标相关的基于文本和/或图像的指南以用于在所述显示设备上显示。

9.一种系统，包括：

显示设备；和

非暂态存储器，所述非暂态存储器存储指令，所述指令能够由处理器执行以：

基于在所述显示设备上显示的当前图像来输出多个注释图标；

在从所述多个注释图标中选择注释图标时，在所述显示设备上显示所述当前图像上的注释形状；

调整所述注释形状以匹配所述当前图像内的对应解剖特征部；以及

跟踪对所述注释形状所做的调整。

10.根据权利要求9所述的系统，其中将所述注释形状调整到所述对应解剖特征部包括自动识别所述解剖特征部的位置、形状和大小，并且基于所识别的所述解剖特征部的位置、形状和大小来调整所述注释形状。

11.根据权利要求10所述的系统，其中所述解剖特征部的所述位置、形状和大小通过卷积神经网络、图像分割、边缘检测、轮廓映射、用户输入和/或图像颜色、对比度和像素密度的变化来识别。

12.根据权利要求9所述的系统，其中所述指令能够执行以在所述注释形状上显示一个或多个控制点，并且响应于所述一个或多个控制点中的一个或多个控制点处的用户输入而调整所述注释形状。

13.根据权利要求9所述的系统，其中基于所述当前图像的图像颜色、对比度、像素密度、像素强度、阈值水平、轮廓映射、边缘检测和/或分割来自动调整所述注释形状以匹配所述对应解剖特征部。

14.根据权利要求9所述的系统，其中对所述注释形状所做的所跟踪的调整包括对所述注释形状的位置、尺寸、旋转、几何形状和/或特征所做的调整。

15.根据权利要求9所述的系统，其中对所述注释图标的所述选择基于来自第一用户的用户输入，所述注释基于来自第二用户的输入而生成。

16.根据权利要求9所述的系统，其中输出所述多个注释图标还基于来自用户的用户输入，所述用户选择所述多个注释图标是否从由特定注释人员或工作组生成、批准和/或使用的注释输出。

17.一种用于注释医学图像的方法，所述方法包括：

基于显示在显示设备上的当前图像来将注释形状选项板从图标库输出到所述显示设备，所述图标库由表示由一个或多个专家生成的注释形状的多个注释图标构成，所述注释形状选项板包括所述多个注释图标的子集；

响应于从所述注释形状选项板中选择注释图标而将注释形状自动调整到所述当前图像内的对应解剖特征部，所选择的注释图标表示所述注释形状；以及

显示所述当前图像上的所调整的注释形状。

18.根据权利要求17所述的方法，还包括跟踪所有注释图标选择和对对应注释形状所做的改变，并且发送所跟踪的选择和变化作为反馈以精制所述注释形状选项板。

19.根据权利要求17所述的方法，其中基于与包括用于获取所述当前图像的成像模态和扫描协议的所述当前图像相关联的信息来选择被显示为所述注释形状选项板的所述多个注释图标的所述子集。

20.根据权利要求17所述的方法，其中自动调整所述注释形状包括基于检测到的所述当前图像中的解剖结构的特征来自动调整所述注释形状，所检测到的所述当前图像中的解剖结构的特征使用边缘检测、轮廓映射和/或图像分割来识别。

Images