CN115862820A - 一种图像标注方法和系统 - Google Patents

Abstract

本申请实施例公开了一种图像标注方法和系统。所述图像标注方法包括：经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表；响应于用户与用户终端的交互，从待标注图像列表中确定至少一张目标待标注图像；以及基于对参考图像中的感兴趣区域的第一标注，生成对每张目标待标注图像中的感兴趣区域的第二标注。

Description

一种图像标注方法和系统

技术领域

本说明书涉及图像处理领域，特别涉及一种图像标注方法和系统。

背景技术

医学图像标注常常需要对同一个患者不同模态数据，如MR、CT、PET等，标注相同的感兴趣区域(ROI)，从而进行多模态的数据分析。而由于ROI在某些模态的图像中边界并不清晰、不同模态的图像的分辨率也可能不同，实际操作中难以将在一种模态的图像中标注的感兴趣区域直接复制到另一种模态的图像的对应位置。传统的标注方法是利用标注工具在不同模态的图像中分别标注，需要重复劳动，费时费力。

基于此，亟需一种有效的图像标注方法和系统。

发明内容

本说明书实施例之一提供一种图像标注方法，图像标注方法包括：经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表；响应于用户与所述用户终端的交互，从所述待标注图像列表中确定至少一张目标待标注图像；以及基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注。

本说明书实施例之一提供一种图像标注系统，图像标注系统包括：显示模块，用于经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表；确定模块，用于响应于用户与所述用户终端的交互，从所述待标注图像列表中确定至少一张目标待标注图像；以及标注模块，用于基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注。

本说明书实施例之一提供一种图像标注装置，包括处理器，所述处理器用于执行所述图像标注方法。

本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述图像标注方法。

现有的主流标注软件，如ITK-SNAP，3D slicer等，并不支持将某一模态的图像中的标注复制到另一模态的图像中。使用者需要花费大量时间对不同模态的图像进行逐一标注，而且很难保证标注感兴趣区域在不同模态图像上的一致性。另一方面，使用者需要对每一例数据进行逐一标注，缺少能够对大批量数据进行自动处理的工具。

本申请一些实施例提出一种新型的多模态数据标注方法，使得在一种模态的图像上对感兴趣区域的标注可以一键式复制到另一种模态图像的对应位置感兴趣区域。此外，本申请一些实施例还提供了批量复制的功能，可以对多张待标注图像进行批量处理，在较短时间内获得另一种模态的大量图像对应位置的标注，大大降低了多模态数据标注的难度及工作量。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的示例性图像标注系统的应用场景示意图；

图2是根据本说明书一些实施例所示的示例性图像标注系统的模块图；

图3是根据本说明书一些实施例所示的图像标注方法的示例性流程图；

图4是根据本说明书一些实施例所示的ROI列表的示例性示意图；

图5是根据本说明书一些实施例所示的批量标注界面的示例性示意图；

图6是根据本说明书一些实施例所示的标注方式选择界面的示例性示意图；

图7A是根据本说明书一些实施例所示的自动标注结果的示例性示意图；

图7B是根据本说明书另一些实施例所示的自动标注结果的另一示例性示意图；

图8是根据本说明书一些实施例所示的复制感兴趣区域标注的方法的示意图；以及

图9是根据本说明书一些实施例所示的标注复制结果的示例性示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的示例性图像标注系统的应用场景的示意图。

如图1所示，图像标注系统的应用场景100可以包括成像设备110、处理设备120、终端设备130、存储设备140和网络150。

成像设备110可以对检测区域或扫描区域内的目标对象进行扫描，得到该目标对象的扫描数据。在一些实施例中，目标对象可以包括生物对象和/或非生物对象。例如，目标对象可以是有生命或无生命的有机和/或无机物质。

在一些实施例中，成像设备110可以包括单模态扫描仪和/或多模态扫描仪。单模态扫描仪可以包括例如超声波扫描仪、X射线扫描仪、计算机断层扫描(CT)扫描仪、核磁共振成像(MRI)扫描仪、超声检查仪、正电子发射计算机断层扫描(PET)扫描仪、光学相干断层扫描(OCT)扫描仪、超声(US)扫描仪、血管内超声(IVUS)扫描仪、近红外光谱(NIRS)扫描仪、远红外(FIR)扫描仪等或其任意组合。多模态扫描仪可以包括例如X射线成像-核磁共振成像(X射线-MRI)扫描仪、正电子发射断层扫描-X射线成像(PET-X射线)扫描仪、单光子发射计算机断层扫描-核磁共振成像(SPECT-MRI)扫描仪、正电子发射断层扫描-计算机断层摄影(PET-CT)扫描仪、数字减影血管造影-核磁共振成像(DSA-MRI)扫描仪等或其任意组合。上述医疗设备的相关描述仅用于说明目的，而无意限制本说明书的范围。

处理设备120可以处理从成像设备110、终端设备130、存储设备140和/或图像标注系统的应用场景100的其他组件获取的数据和/或信息。例如，处理设备120可以从基于参考图像中对感兴趣区域的第一标注，生成对目标待标注图像中的感兴趣区域的第二标注。

在一些实施例中，处理设备120可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中，处理设备120可以是本地或远程的。例如，处理设备120可以通过网络150从成像设备110、终端设备130和/或存储设备140访问信息和/或数据。又例如，处理设备120可以直接连接到成像设备110、终端设备130和/或存储设备140以访问信息和/或数据。在一些实施例中，处理设备120可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。

在一些实施例中，处理设备120和成像设备110可以集成为一体。在一些实施例中，处理设备120和成像设备110可以直接或间接相连接，联合作用实现本说明书所述的方法和/或功能。

终端设备130可以与成像设备110、处理设备120和/或存储设备140通信和/或连接。在一些实施例中，可以通过终端设备130实现与用户的交互。在一些实施例中，终端设备130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中，终端设备130(或其全部或部分功能)可以集成在处理设备120中。

存储设备140可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备140可以存储从成像设备110、处理设备120、终端设备130和/或获取的数据(例如，待标注图像、感兴趣区域等)。在一些实施例中，存储设备140可以存储处理设备120用来执行或使用以完成本说明书中描述的示例性方法的数据和/或指令。

在一些实施例中，存储设备140可以包括一个或多个存储组件，每个存储组件可以是一个独立的设备，也可以是其他设备的一部分。在一些实施例中，存储设备140可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。在一些实施例中，存储设备140可在云平台上实现。在一些实施例中，存储设备140可以是成像设备110、处理设备120和/或终端设备130的一部分。

网络150可以包括能够促进信息和/或数据交换的任何合适的网络。在一些实施例中，图像标注系统的应用场景100的至少一个组件(例如，成像设备110、处理设备120、终端设备130、存储设备140)可以通过网络150与图像标注系统的应用场景100中至少一个其他组件交换信息和/或数据。例如，处理设备120可以通过网络150从成像设备110获取图像数据等。

应当注意，上述关于图像标注系统的应用场景100的描述仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，图像标注系统的应用场景100可以在其它设备上实现类似或不同的功能。然而，这些变化和修改不会背离本说明书的范围。

图2是根据本说明书一些实施例所示的示例性图像标注系统的模块图。

如图2所示，在一些实施例中，扫描系统200可以包括显示模块210、确定模块220、标注模块230。

显示模块210可以用于经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表。关于待标注图像列表的呈现的更多内容可以参考步骤310及其相关描述。

确定模块220可以用于响应于用户与用户终端的交互，从待标注图像列表中确定至少一张目标待标注图像。关于目标待标注图像确定的更多内容可以参考步骤320及其相关描述。

标注模块230可以用于基于对参考图像中的感兴趣区域的第一标注，生成对每张目标待标注图像中的感兴趣区域的第二标注。关于第二标注生成的更多内容可以参考步骤330及其相关描述。

应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，通过硬件、软件或者软件和硬件的结合来实现。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于系统及其模块的描述，仅为描述方便，作为示意，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。

图3是根据本说明书一些实施例所示的图像标注方法300的示例性流程图。如图3所示，方法300包括如下步骤。

步骤310，经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表。在一些实施例中，步骤310可以由处理设备120或显示模块210执行。

目标对象是指检测和/或治疗的对象，例如，目标对象可以包括就诊患者、体检客人、放疗病人等。在一些实施例中，目标对象可以包括身体的特定部分，例如头部、胸部、腹部等或其任意组合。在一些实施例中，目标对象可以包括特定器官，例如心脏、食道、气管、支气管、胃、胆囊、小肠、结肠、膀胱、输尿管、子宫、输卵管等或其任意组合。

感兴趣区域可以包括任何需要观察、检查、诊断或治疗的区域。例如，感兴趣区域可以包括肿瘤、节点、结节、淋巴结、靶区、危及器官等。

待标注图像列表是由目标对象的多张待标注图像组成的列表。待标注图像是指尚未标注感兴趣区域的目标对象的图像。例如，待标注图像可以是成像设备110采集重建后，尚未进一步处理的图像。待标注图像可以是二维图像、三维图像或四维图像(如显示目标对象心脏运动的图像序列)。在本说明书中，标注指的是在图像中将感兴趣区域所在的部分通过特殊的方式突出显示出来。例如，可以通过线条把感兴趣区域的轮廓标注出来。或者，可以通过调整感兴趣区域的颜色将感兴趣区域标注出来。

在一些实施例中，待标注图像列表可以包括目标对象的至少一个截面和/或至少一个角度的图像。例如，待标注图像列表可以包括胸部的多个横截面的图像。又例如，待标注图像列表可以包括多个角度拍摄的腹部图像。在一些实施例中，待标注图像列表中的待标注图像可以包括感兴趣区域或者不包含感兴趣区域。也就是说，当选定特定的感兴趣区域后，有部分待标注图像可能并不包含感兴趣区域，因而不适合进行后续的感兴趣区域标注工作。

在一些实施例中，待标注图像列表可以包括至少一种模态的图像。例如，待标注图像列表可以包括目标对象的CT图像、PET图像、MR图像、超声图像、SPECT图像等中的任意组合。

在一些实施例中，显示模块210可以以分类的方式呈现待标注图像列表中的待标注图像。例如，显示模块210可以按照图像模态、采集部位、诊断目标等将多张待标注图像进行分类，并将待标注图像按分类结果分组呈现给用户，用户可以在多个分组中进行选择。在一些实施例中，显示模块210可以通过其他方式呈现待标注图像列表中的待标注图像。例如，显示模块210可以将待标注图像按采集的时间顺序进行排序，并将这些图像按序呈现在待标注图像列表中。又例如，显示模块210可以只显示系统和/或用户筛选过的待标注图像，筛选的标准可以是图像质量、图像与感兴趣的关联程度、图像优先级等。

在一些实施例中，待标注图像列表中可以呈现与待标注图像有关的信息。示例性的信息可以包括待标注图像的采集时间、拍摄部位的类型、感兴趣区域的体积、图像模态等。在一些实施例中，待标注图像列表可以包括每张待标注图像对应的勾选框。用户可以通过点击勾选框选中待标注图像，以进行后续操作。

步骤320，响应于用户与用户终端的交互，从待标注图像列表中确定至少一张目标待标注图像。在一些实施例中，步骤320可以由处理设备120或确定模块220执行。

目标待标注图像指的是需要从参考图像复制标注的待标注图像。参考图像可以包括对感兴趣区域的第一标注。“复制”指的是基于参考图像中的第一标注，生成对目标待标注图像中的感兴趣区域的第二标注。

参考图像可以包括已标注了目标对象的感兴趣区域的任何图像。在一些实施例中，参考图像可以是待标注图像列表外的其他图像。例如，参考图像可以是已标注的历史CT图像。在一些实施例中，参考图像可以是待标注图像列表中的一张图像。例如，在用户终端呈现了待标注图像列表后，用户可以从中选择其中的一张进行感兴趣区域标注，该标注后的图像即为参考图像。

在一些实施例中，参考图像的标注方式包括自由标注、半自动标注和自动标注中的至少一种。自由标注方式也可以称为人工标注方式，指的是由用户对图像中的感兴趣区域进行手动勾画。自动标注方式指的是利用图像分割算法或模型对图像中的感兴趣区域进行自动分割，从而生成相应标注。半自动标注指的是在有限的用户介入下利用图像分割算法或模型处理图像，从而生成相应标注。例如，用户可以提供图像分割有关的参数，图像分割算法或模型可以基于该参数进行感兴趣区域分割。又例如，可以先利用图像分割算法或模型进行感兴趣区域的自动分割，再由用户对分割结果进行确认和/或调整。通过提供多种标注方法可以方便用户根据实际情况选择适合的方式，提高标注效率和准确性。

在一些实施例中，在确定目标待标注图像之前，确定模块220可以经由用户终端，接受用户对参考图像和标注方式的选择指令。例如，用户可以点击待标注图像列表中某个待标注图像的勾选框，从而将该待标注图像选定为参考图像。或者，确定模块220可以直接选择用户的一张图像作为参考图像，并由用户输入确认指令。进一步地，用户选定参考图像后，用户终端会呈现标注方式选择窗口。用户可以在标注方式选择窗口中选择自由标注、半自动标注或自动标注中的一种。确定模块220可以基于用户选择的标注方式对参考图像中的感兴趣区域进行标注。

例如，如图6所示，用户可以通过点击“系统”选择自动标注，通过点击“CT”选择CT图像作为参考图像。点击“CT”后，用户终端会呈现感兴趣区域列表，其中包括腹部、胸部等感兴趣区域。通过点击“胸部”可以呈现胸部区域的下一级感兴趣区域。通过点击“肺”，选择对CT图像中的肺作为最终要标注的感兴趣区域。自动标注出的肺部感兴趣区域可以如图7A和图7B所示。如图7A所示,可以自动通过线条把左肺和右肺的轮廓标注出来。如图7B所示,可以通过调整左肺和右肺的颜色将肺部感兴趣区域标注出来。

在一些实施例中，确定模块220可以基于对待标注图像列表中的每张待标注图像的分析，从待标注图像列表中选择至少一张推荐参考图像。例如，确定模块220可以对多张待标注图像进行模态和/或质量分析，得到每张待标注图像的推荐程度。进一步地，确定模块220可以根据每张待标注图像的推荐程度得到至少一张推荐参考图像。在一些实施例中，推荐参考图像可以是诸如CT图像、MRI图像等包含结构信息较多的解剖图像，便于进行后续的感兴趣区域标注。

进一步地，显示模块210可以经由用户终端，向用户显示与至少一张推荐参考图像有关的推荐信息。例如，显示模块210可以根据推荐程度对至少一张推荐参考图像进行排序，向用户显示推荐程度最高的一张或多张推荐参考图像。可选的，推荐程度最高的一张或多张推荐参考图像可以显示在待标注图像的前几位。又例如，显示模块210可以对待标注图像列表中的至少一张推荐参考图像做特殊标记，并将特殊标记一并显示。通过向用户显示推荐参考图像的推荐信息，可以方便用户快速选择参考图像，同时避免用户将不适合进行感兴趣区域标注的图像选择为参考图像，提高后续标注复制的准确性。

在一些实施例中，用户可以通过与用户终端的交互，从待标注图像列表中选择需要从参考图像中复制感兴趣区域的第一标注的待标注图像，作为目标待标注图像。用户与用户终端的交互可以包括点击和/或拖动鼠标、按键盘上的按键(包括组合键)、敲击键盘等。在一些实施例中，用户与用户终端的交互还可以包括用户通过用户终端发出触屏指令、语音指令、文字指令、手势指令等。

在一些实施例中，响应于用户与用户终端的交互，确定模块220可以从待标注图像列表中确定至少一张目标待标注图像。例如，确定模块220可以响应用户的全选操作，将待标注图像列表中的全部图像作为至少一张目标待标注图像。

在一些实施例中，用户可以通过用户终端输入的针对至少一张待标注图像的第一预设操作，以准备将至少一张待标注图像设定为目标待标注图像。响应于用户通过用户终端输入的针对至少一张待标注图像的第一预设操作，确定模块220可以经由用户终端呈现复制菜单。第一预设操作可以包括点击所述至少一张待标注图像、光标定位在所述至少一张待标注图像并按回车键等。仅作为示例，待标注图像列表包括每张待标注图像对应的勾选框，第一预设操作包括勾选所述至少一张待标注图像的勾选框。

复制菜单可以用于确认进行标注复制操作。进一步地，用户可以对复制菜单执行第二预设操作，以确认将所述至少一张待标注图像中的至少一部分作为至少一张目标待标注图像。响应于用户对复制菜单的第二预设操作，确定模块220可以将至少一张待标注图像中的至少一部分确定为至少一张目标待标注图像。

在一些实施例中，用户在待标注图像列表中选中参考图像后，确定模块220可以先根据参考图像中包含的ROI创建出ROI列表，每个ROI对应一个唯一的标识。然后，确定模块220可以ROI和对应的标识存储起来。用户或者确定模块220可以在ROI列表选中目标ROI。目标ROI的标注将被复制到其他待标注图像中。目标ROI被选中后，可以弹出复制菜单，用于选择目标待复制图像。例如，图4示出了示例性的ROI列表，其中包括左肺和右肺两个ROI。用户选择左肺区域后可以弹出复制菜单。通过复制菜单，用户选择将左肺标注复制到当前序列，或者复制到图像序列2中。

在一些实施例中，用户终端进一步用于呈现批量标注任务栏。批量标注指的是对多个图像或者多个图像序列进行同时标注。例如，如图5所示，用户终端的用户界面的上侧显示了“批量标注”任务栏。响应于用户对批量标注任务栏的选中指令，显示模块210可以经由用户终端呈现批量标注界面。例如，如图5所示，用户选中“批量标注”任务后，用户终端的用户界面上呈现批量标注界面(弹出窗口)。批量标注界面可以用于选中多张需要进行同时标注的目标待标注图像。确定模块220可以将用户经由批量标注界面选中的多张待标注图像确定为至少一张目标待标注图像。在一些实施例中，批量标注界面中可以包括方便用户快速选择目标待标注图像的筛选选项。例如，如图5所示，用户在批量标注界面选中了PET模态为目标待标注图像的模态，确定模块220可以将模态为PET的全部或部分多张待标注图像确定为至少一张目标待标注图像。在一些实施例中，进行批量复制时，用户界面上可以显示批量复制进度条，以方便用户快速了解批量复制的进度。通过批量标注功能，可以实现对多张待标注图像进行同时标注，提高标注效率，减少用户工作量。

步骤330，基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注。在一些实施例中，步骤330可以由处理设备120或标注模块230执行。

在一些实施例中，标注模块230可以采用任何可行的方法基于第一标注生成第二标注，即将参考图像的第一标注复制目标待标注图像中。示例性的标注复制方法可以包括基于配准算法的复制方式、基于重采样算法的复制方式、基于机器学习模型的复制方式等。在一些实施例中，标注复制方式可以是系统的默认设定，或者由用户设定，或者由标注模块230根据实际情况选择。例如，标注模块230可以经由用户终端接受用户选择的标注复制方式，例如基于配准算法的复制方式或基于重采样算法的复制方式。基于标注复制方式和第一标注，标注模块230可以生成对每张目标待标注图像中的感兴趣区域的第二标注。关于第二标注生成的更多内容可以参考图8及其相关描述。

在一些实施例中，标注模块230可以基于所述第一标注，生成所述感兴趣区域对应的分割掩膜。对所述每张目标待标注图像，标注模块230可以利用训练好的标注模型处理所述分割掩膜和所述目标待标注图像，以生成对所述目标待标注图像中的所述感兴趣区域的第二标注。感性兴趣区域的分割掩膜可以只包括目标对象的感兴趣区域的信息，而不包括其他部位的信息。例如，标注模块230可以基于对CT图像中的肺部的第一标注，生成肺部的分割掩膜；并将该分割掩膜和PET图像输入标注模型。标注模型可以基于肺部分割掩膜和PET图像生成对PET图像中的肺部的第二标注。

标注模型可以是预先训练好的机器学习模型，其训练样本可以包括感兴趣区域的样本分割掩膜、样本待标注图像，以及对样本待标注图像中的感兴趣区域的金标准标注结果。标注模型可以在训练过程中学习将某一图像(如CT)中感兴趣区域分割结果映射到另一图像(如PET图像)中的最佳机制。利用标注模型生成第二标注可以提高标注的准确性和效率。

在一些实施例中，对待标注图像列表中参考图像之外的每张其他待标注图像，确定模块220可以确定第一标注是否能被复制到其他待标注图像中。例如，如果某张待标注图像和参考图像的分辨率相差过大，则该待标注图像不适合/不能够进行感兴趣区域标注复制。又例如，参考图像和某张待标注图像是不同切片对应的二维图像，则无法进行感兴趣区域标注复制。或者，如果某张待标注图像中不包含感兴趣区域，则无法进行感兴趣区域标注复制。

响应第一标注无法被复制到其他待标注图像中的确定结果，显示模块210可以更新其他待标注图像在待标注图像列表中的呈现方式。例如，对于无法进行复制的待标注图像，显示模块210可以对其进行特殊标记，以提示用户无法进行复制。特殊标记可以包括勾选框被锁定无法勾选，或者图片对应的一行内容变成灰色等。通过确定无法进行标注复制的待标注图像并显示其对应的特殊标记，可以避免用户将该图像选择为目标待复制图像而浪费计算和时间成本。

在一些实施例中，如果有多张目标待标注图像需要标注，标注模块230可以启动多个进程对多张目标待标注图像进行并行处理，以生成对每张目标待标注图像中的感兴趣区域的第二标注。启动的进程的数量可以根据经验或/或需求确定。例如，根据目标待标注图像的数量，启动5个进程。在一些实施例中，标注模块230可以通过随机分配、平均分配、顺序分配等方式将多张目标待标注图像分配给启动的多个进程。在一些实施例中，标注模块230可以根据不同目标待标注图像对应的复制方式，将其分配给不同的进程。例如，采用配准算法的复制方式的待配准图像可以分配给第一进程处理，采用重采样算法的复制方式的待配准图像可以分配给第二进程处理。利用多个进程进行目标待标注图像的并行处理可以提高标注效率，缩短标注时间。

仅作为示例，图9左侧显示了CT图像中肺部区域的第一标注，右侧显示了将第一标注复制到PET图像后生成的第二标注。从图9可以看出，第二标注基本可以覆盖肺部区域。统计发现，CT图像中被标注的左肺区域的体积为862159.371mm³，PET图像中被标注的左肺区域的体积为862175.098mm³，可见第二标注结果具有较高的准确性。

图8是根据本说明书一些实施例所示的复制感兴趣区域的标注的方法800的示意图。在一些实施例中，方法800可以用于实现方法300中的步骤330，以将参考图像中对感兴趣区域的第一标注复制到目标待标注图像中。

如图8所示，用户可以选择标注复制方式。标注复制方式可以是基于配准算法的复制方式或基于重采样算法的复制方式。

基于配准算法的复制方式是指把感兴趣区域的第一标注通过配准矩阵转化为第二标注。在一些实施例中，配准矩阵可以用于对不同的图像(如不同模态的图像)进行转化。示例性的，配准矩阵可以包括将某一模态的图像转化为另一模态的图像时所用的平移和旋转参数。配准矩阵可以是系统中提前生成好的矩阵，也可以是标注模块230基于对参考图像和目标待标注图像的分析现场生成的矩阵。

在一些实施例中，如果用户选择基于配准算法的标注复制方式，标注模块230可以判断是否有相应的配准矩阵。若有，则标注模块230可以基于配准矩阵，直接将参考图像中的感兴趣区域的第一标注复制到目标待标注图像，以生成第二标注。例如，可以基于配准矩阵确定第一标注涉及的点在目标待标注图像中的坐标，并基于这些坐标确定目标待标注图像中感兴趣区域的第二标注。

若无，则标注模块230可以首先对参考图像和目标待标注图像进行配准，再基于配准结果将参考图像中的感兴趣区域复制到目标待标注图像。

在一些实施例中，标注模块230可以采用基于灰度匹配的模板算法进行配准。基于灰度匹配的模板算法可以包括平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检查算法(SSDA)等及其任意组合。以绝对误差和算法(SAD)为例，其相似度公式如下：

其中，设S(x,y)是大小为m×n的搜索图像(如目标待标注图像)，T(x,y)是M×N的模板图像(如参考图像)。在搜索图S，以(i,j)(其中，i、j为整数，0<＝i<m,0<＝j<n,)为左上角，取M×N大小的子图，计算其与模板的相似度；遍历整个搜索图，在所有能够取到的子图中，找到与模板图最相似的子图作为匹配结果。

基于重采样算法的复制方式适用于两张图像的病人坐标系相同或相似的情况。病人坐标系是指人体横断面/矢状面/冠状面对应的解剖学坐标系。换言之，只有当两张图像对应的人体解剖面相同或者类似的时候才能进行重采样复制。在一些实施例中，如果用户选择重采样算法的标注复制方式，标注模块230可以首先对参考图像和目标待标注图像对应的病人坐标系进行分析，判断重采样结果是否为空。当两个图像对应的病人坐标系相同或相似时，重采样结果为不为空，可以进行标注复制。此时，标注模块230可以基于重采样算法将参考图像中的感兴趣区域复制到目标待标注图像。如果重采样的结果为空，说明参考图像与目标待标注图像的病人坐标系差别较大，无法利用重采样算法进行复制。标注模块230可以对参考图像和目标待标注图像进行配准，基于配准结果将参考图像中的感兴趣区域复制到目标待标注图像。

在一些实施例中，标注模块230可以采用最近邻插值算法进行重采样，以进行标注复制。例如，重采样可以基于如下公式进行：

其中，dstX和dstY目标待标注图像的某个像素的横纵坐标，dstWidth和dstHeight为目标待标注图像的长与宽；srcWidth与srcHeight为参考图像的宽度与高度。srcX，srcY为目标待标注图像在该点(dstX，dstY)对应的参考图像的坐标。

本申请一些实施例可以(1)使得在一种模态数据上标注的感兴趣区域可以一键式复制到另一种模态数据的对应位置处；(2)对不同模态数据可能存在的分辨率不一致问题，可以通过算法将参考图像感兴趣区域的标注重采样到目标图像上，使得感兴趣区域的标注可以在不同模态数据间进行任意地复制；(3)对于图像之间的病人坐标系不同的情况，可以通过算法先将图像配准，使得感兴趣区域可以在不同模态数据间进行任意地复制；(4)提供批量复制功能，可以同时复制一种模态的大量数据，从而在较短时间内获得另一种模态数据对应位置的标注，大大降低了多模态数据标注的难度及工作量；(5)通过向用户显示推荐参考图像的推荐信息，可以方便用户快速选择参考图像，同时避免用户将不适合进行感兴趣区域标注的图像选择为参考图像，提高后续标注复制的准确性；(6)标注模型可以在训练过程中学习将某一图像(如CT)中感兴趣区域分割结果映射到另一图像(如PET图像)中的最佳机制。利用标注模型生成第二标注可以提高标注的准确性和效率。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种图像标注方法，其特征在于，所述方法包括：

经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表；

响应于用户与所述用户终端的交互，从所述待标注图像列表中确定至少一张目标待标注图像；以及

基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注。

2.根据权利要求1所述的方法，其特征在于，所述响应于用户与所述用户终端的交互，从所述待标注图像列表中确定至少一张目标待标注图像包括：

响应于所述用户通过所述用户终端输入的针对至少一张待标注图像的第一预设操作，经由所述用户终端呈现复制菜单；以及

响应于所述用户对所述复制菜单的第二预设操作，将所述至少一张待标注图像中的至少一部分确定为所述至少一张目标待标注图像。

3.根据权利要求2所述的方法，其特征在于，所述待标注图像列表包括每张待标注图像对应的勾选框，所述第一预设操作包括勾选所述至少一张待标注图像的勾选框。

4.根据权利要求1所述的方法，其特征在于，所述至少一张目标待标注图像包括多张目标待标注图像，所述生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注包括：

启动多个进程；以及

通过所述多个进程对所述多张目标待标注图像进行并行处理，以生成对所述每张目标待标注图像中的所述感兴趣区域的第二标注。

5.根据权利要求1所述的方法，其特征在于，在确定所述至少一张目标待标注图像之前，所述方法进一步包括：

经由所述用户终端，接受所述用户对所述参考图像和标注方式的选择指令，所述标注方式包括自由标注、半自动标注和自动标注中的至少一种；

基于所述用户选择的所述标注方式对所述参考图像中的所述感兴趣区域进行标注。

6.根据权利要求5所述的方法，其特征在于，在确定所述至少一张目标待标注图像之前，所述方法进一步包括：

对所述待标注图像列表中所述参考图像之外的每张其他待标注图像，

确定所述第一标注是否能被复制到所述其他待标注图像中；以及

响应所述第一标注无法被复制到所述其他待标注图像中的确定结果，更新所述其他待标注图像在所述待标注图像列表中的呈现方式。

7.根据权利要求1所述的方法，其特征在于，基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注包括：

经由所述用户终端，接受所述用户选择的标注复制方式，所述标注复制方式为基于配准算法的复制方式或基于重采样算法的复制方式；

基于所述标注复制方式和所述第一标注，生成对所述每张目标待标注图像中的所述感兴趣区域的第二标注。

8.根据权利要求1所述的方法，其特征在于，基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注包括：

基于所述第一标注，生成所述感兴趣区域对应的分割掩膜；

对所述每张目标待标注图像，利用训练好的标注模型处理所述分割掩膜和所述目标待标注图像，以生成对所述目标待标注图像中的所述感兴趣区域的第二标注。

9.一种图像标注系统，其特征在于，所述系统包括：

显示模块，用于经由用户终端，呈现与目标对象的感兴趣区域有关的待标注图像列表；

确定模块，用于响应于用户与所述用户终端的交互，从所述待标注图像列表中确定至少一张目标待标注图像；以及

标注模块，用于基于对参考图像中的所述感兴趣区域的第一标注，生成对每张所述目标待标注图像中的所述感兴趣区域的第二标注。

10.一种图像标注装置，其特征在于，所述装置包括：

至少一个存储介质，存储计算机指令；以及

至少一个处理器，执行所述计算机指令，以实现权利要求1～8中任一项所述的方法。

Images