CN113705687B - 基于人工智能的图像实例标注方法及相关设备 - Google Patents

基于人工智能的图像实例标注方法及相关设备 Download PDF

Info

Publication number
CN113705687B
CN113705687B CN202111005698.2A CN202111005698A CN113705687B CN 113705687 B CN113705687 B CN 113705687B CN 202111005698 A CN202111005698 A CN 202111005698A CN 113705687 B CN113705687 B CN 113705687B
Authority
CN
China
Prior art keywords
instance
image
score
label
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111005698.2A
Other languages
English (en)
Other versions
CN113705687A (zh
Inventor
王俊
高鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Chuangke Technology Beijing Co ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111005698.2A priority Critical patent/CN113705687B/zh
Publication of CN113705687A publication Critical patent/CN113705687A/zh
Priority to PCT/CN2022/071328 priority patent/WO2023029348A1/zh
Application granted granted Critical
Publication of CN113705687B publication Critical patent/CN113705687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于人工智能的图像实例标注方法及相关设备，通过调用预设实例分割模型识别目标图像中每个实例的信息量，从而从目标图像中获取高于预设信息量阈值的第一信息量、第一信息量对应的第一实例及除第一实例外的第二实例，进而通过人工标注第一实例的第一标签，人工标注的实例标签的准确度高，由于第二实例的信息量低，容易被模型识别和标注，则基于半监督学习方式伪标注第二实例的第二标签，标注效率高，基于所述第一标签和所述第二标签得到目标图像的实例标签。本发明可以应用于数字医疗领域，对医学图像中的实例进行标注。

Description

基于人工智能的图像实例标注方法及相关设备
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的图像实例标注方法、装置、电子设备及存储介质。
背景技术
随着深度学习的不断发展，计算机视觉取得了越来越大的成功，而这要归功于大型训练数据集的支持。训练数据集是带有丰富标注信息的数据集，收集并标注这样的训练数据集通常需要庞大的人力成本。
与图像分类技术相比，图像实例分割难度系数更高，必须要大量具有标注的训练数据才能真正实现实例分割功能。但是，可获取的有标注样本数量相对于训练规模来说往往不足，或者获取样本的代价过高。在很多情况下，具备相关专业知识的标注人员(如医生)稀缺或难以抽出时间，或者标注人员的标注成本过高，再或者图像的标注或判断周期过长，这些问题都可能导致实例分割模型无法有效训练。
因此，如何能够得到大量的用于图像实例分割模型训练的样本成为了本领域技术人员的一个研究热点。
发明内容
鉴于以上内容，有必要提出一种基于人工智能的图像实例标注方法、装置、电子设备及存储介质，能够减少人工标注图像中实例的数量，并提高模型标注图像中实例的准确度。
本发明的第一方面提供一种基于人工智能的图像实例标注方法，所述方法包括：
调用预设实例分割模型识别目标图像中每个实例的信息量；
从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
通过人工标注所述目标图像中的所述第一实例的第一标签；
基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
根据本发明的一个可选的实施方式，所述调用预设实例分割模型识别目标图像中每个实例的信息量包括：
对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
根据本发明的一个可选的实施方式，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
根据本发明的一个可选的实施方式，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
根据本发明的一个可选的实施方式，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
根据本发明的一个可选的实施方式，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
根据本发明的一个可选的实施方式，所述方法还包括：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练所述实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
本发明的第二方面提供一种基于人工智能的图像实例标注装置，所述装置包括：
实例识别模块，用于调用预设实例分割模型识别目标图像中每个实例的信息量；
实例获取模块，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
第一标注模块，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
第二标注模块，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
标签确定模块，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于人工智能的图像实例标注方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于人工智能的图像实例标注方法。
综上所述，本发明所述的基于人工智能的图像实例标注方法、装置、电子设备及存储介质，通过调用预设实例分割模型识别目标图像中每个实例的信息量，从而从目标图像中获取高于预设信息量阈值的第一信息量、第一信息量对应的第一实例及除第一实例外的第二实例，进而通过人工标注第一实例的第一标签，人工标注的实例标签的准确度高，由于第二实例的信息量低，容易被模型识别和标注，则基于半监督学习方式伪标注第二实例的第二标签，标注效率高，基于所述第一标签和所述第二标签得到目标图像的实例标签。本发明可以应用于数字医疗领域，对医学图像中的实例进行标注。本发明只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
附图说明
图1是本发明实施例一提供的基于人工智能的图像实例标注方法的流程图。
图2是本发明实施例提供的目标图像及对应的两个扰动图像的示意图。
图3是本发明实施例提供的目标图像中的第一实例的示意图。
图4是本发明实施例提供的目标图像中的第二实例的示意图。
图5是本发明实施例二提供的基于人工智能的图像实例标注装置的结构图。
图6是本发明实施例三提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的，不是旨在于限制本发明。
本发明实施例提供的基于人工智能的图像实例标注方法由电子设备执行，相应地，基于人工智能的图像实例标注装置运行于电子设备中。
本申请实施例可以基于人工智能技术对图像中的实例进行标注。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
实施例一
图1是本发明实施例一提供的基于人工智能的图像实例标注方法的流程图。所述基于人工智能的图像实例标注方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，调用预设实例分割模型识别目标图像中每个实例的信息量。
预设实例分割模型可以为预先训练得到的机器学习模型，用于对图像中的实例进行识别，从而获得实例的信息量。实例是指目标图像中的目标对象，例如，行人，汽车，自行车，建筑物等。
目标图像是指需要进行实例标注的图像，一张目标图像中可以包含多个实例，例如，可以包含几十个实例，不同类别的实例的识别难度各异，因此，需要考虑是否需要对这张目标图像中的所有实例均进行人工标注。虽然可以通过人工的方式对目标图像中的所有实例均进行人工标注，人工标注准确度更高，但是人工标注成本较大，且效率较低，事实上通过人工标注完成的图像的数量是受到限制的。本实施例通过识别目标图像中的实例的信息量，根据信息量确定目标图像中哪些实例进行人工标注，哪些实体通过实例标注模型进行标注。
在一些实施例中，基于人工智能的图像实例标注方法可以应用于医学场景中，当应用于医学场景时，所述目标图像则为医学图像，所述目标图像中的实例则为多个器官。医学图像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描（Computed Tomography，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、超声（ultrasonic，US）、X光图像、脑电图以及光学摄影等由医学仪器生成的图像。
在一个可选的实施方式中，所述调用预设实例分割模型识别目标图像中每个实例的信息量包括：
对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
一般而言，通过图像变换可以实现图像增强，图像增强的目的是为了增加图像的数据量、丰富图像的多样性，从而提高模型的泛化能力。该可选的实施方式中，可以采用变换的方式引入图像扰动，例如，对图像添加噪声（Noise）来引入图像扰动。图像噪声是图像在获取或传输过程中受到随机信号干扰，妨碍人们对图像理解及分析的信号。噪声的引入给模型识别提高了难度。
如图2所示，图2中最上面的一张图像为目标图像，中间的一张图像为在目标图像的基础上添加了高斯噪声（gaussian noise），最下面的一张图像为在目标图像的基础上添加了椒盐噪声（pepper noise）。将在目标图像上添加高斯噪声得到的图像作为第一扰动图像，将在目标图像上添加椒盐噪声得到的图像作为第二扰动图像。
将图像（例如，目标图像，第一扰动图像，第二扰动图像）输入实例分割模型中，即可通过实例分割模型输出图像中实例属于某个类别的类别标签，并用检测框框出实例在图像中的位置，及实例的实例轮廓掩码。本实施例的实例分割模型可在Faster R-CNN模型的基础上训练得到，具体训练过程不做详细阐述。考察模型对样本中的目标预测的一致性，如果变换前后预测结果变化较小，说明该目标较容易预测和信息量较少，如果变换前后，该目标的预测结果出现了较大的差异，则该局部目标是模型较容易混淆的目标，应该主动选择它来优先进行标注。
在调用所述预设实例分割模型识别目标图像、第一扰动图像及第二扰动图像中每个实例的类别标签、实例检测框及实例轮廓掩码之后，即可根据类别标签、实例检测框及实例轮廓掩码计算得到实例的类别标签得分、检测框得分及轮廓掩码得分，从而根据类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算得到对应的实例的信息量，进而根据实例的信息量确定目标图像中的第一实例和第二实例。
在一个可选的实施方式中，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
类别标签得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
对于某个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.9，在第二扰动图像中，实例分割模型预测的类别概率为0.89，则表明实例分割模型对于该实例的预测一致性较高。
对于另一个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.4，在第二扰动图像中，实例分割模型预测的类别概率为0.7，则表明实例分割模型对于该实例的预测一致性较低。
从类别标签得分的维度而言，实例的预测概率越小，概率均值越小，实例的类别标签得分越低，则实例的信息量越高，对模型来说，更混淆的局部实例，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低预测概率的实例，进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。在一个可选的实施方式中，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
检测框得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
交并比IOU表示了两个实例检测框的重叠度，交并比IOU越大，两个实例检测框之间的重叠区域越多、重叠度越大。交并比IOU越小，两个实例检测框之间的重叠区域越少、重叠度越小。该可选的实施例中，交并比IOU越大，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越相似，即预测一致性越高。交并比IOU越小，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越不相似，即预测一致性越低。
交并比IOU的计算过程为现有技术，本发明不做详细阐述。
预设第二计算模型可以为：T2=（1-IOU1）*（1-IOU2），其中，T2表示实例的轮廓掩码得分，IOU1表示第一交并比，IOU2表示第二交并比。
例如，假设实例L1，目标图像与第一扰动图像的第一交并比为0.9，目标图像与第二扰动图像的第二交并比为0.9，则实例L1的检测框得分=（1-0.9）*（1-0.9）=0.01。可见，实例L1为低信息量的实例。
又如，假设实例L2，目标图像与第一扰动图像的第一交并比为0.4，目标图像与第二扰动图像的第二交并比为0.3，则实例L1的检测框得分=（1-0.4）*（1-0.3）=0.42。可见，实例L2为高信息量的实例。
从交并比IOU的维度而言，实例的交并比IOU越大，实例的检测框得分越低，则实例的信息量越高，对模型来说，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低IOU的重叠检测框，即目标图像稍微做小幅变化之后，模型的预测的方差变大，比低信息量或者容易识别的实例的预测一致性更低，因此相较于容易识别的实例来说，高信息量的实例的标注价值更高。对高信息量的实例进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。
在一个可选的实施方式中，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
实例轮廓掩码类似于实例检测框，也是用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
Jaccard距离用于描述两个轮廓掩码之间的不相似度。Jaccard距离越大，两个轮廓掩码之间的重叠区域越少、相似度越低。Jaccard距离越小，两个轮廓掩码之间的重叠区域越多、相似度越高。该可选的实施例中，Jaccard距离越大，则表明实例分割模型对目标图像与对应该Jaccard距离的扰动图像的预测越不相似，即预测一致性越低。Jaccard距离越小，则表明实例分割模型对目标图像与该对应Jaccard距离的扰动图像的预测越相似，即预测一致性越高。
Jaccard距离的计算过程为现有技术，不再详细介绍。
预设第二计算模型可以为：T3=D1*D2，其中，T3表示实例的轮廓掩码得分，D1表示第一Jaccard距离，D2表示第二Jaccard距离。
在一个可选的实施方式中，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
在得到目标图像中的每个实例的类别标签得分、检测框得分、轮廓掩码得分之后，将类别标签得分、检测框得分、轮廓掩码得分三者相乘，得到对应的实例的最终得分，作为实例的信息量。
在其他实施例中，还可以计算每个实例的类别标签得分、检测框得分、轮廓掩码的均值，作为实例的最终得分。或者，计算每个实例的类别标签得分、检测框得分、轮廓掩码的和值，作为实例的最终得分。本发明不做任何限制。
最终得分用以表示实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测是否是一致的。最终得分越低，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测不一致，说明对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现越不稳定。最终得分越高，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测一致，说明即使对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现仍然是非常稳定的。
S12，从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例。
其中，预设信息量阈值为预先设置的用以表示信息量高低的临界值。
最终得分越低，一致性就越低，则对应的实例的信息量越高；最终得分越高，一致性就越高，则对应的实例的信息量越低。当某个实例的信息量高于预设信息量阈值时，则将该实例作为第一实例，当某个实例的信息量低于预设信息量阈值时，则该将实例作为第二实例。
应当理解的是，第一实例是指信息量高于预设信息量阈值的多个实例的集合，如图3所示目标图像中椭圆形框住的区域。第二实例是指信息量低于预设信息量阈值的多个实例的集合，如图4所示目标图像中不规则图形框住的区域。第一实例和第二实例完整的构成了图像中实例的集合。即，目标图像中的某个实例要么为第一实例，要么为第二实例。
S13，通过人工标注所述目标图像中的所述第一实例的第一标签。
由于第一实例是目标图像中高于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较低，因而更应该通过人工的方式进行实例的标注，比如遮挡明显的多个行人。
可以将目标图像中的第一实例标识出来，由标注经验丰富的专家对第一实例进行人工标注，从而提高对第一实例的标注准确率。
尤其是对于目标图像为医学图像而言，医学图像的实例分割需要识别图像中的多个实例个体，并准确地勾画出多个病变区域，用于智能辅助诊断，因此医学图像的实例标注难度指数更高，通过将这些信息量高（标注难度大）的实例进行人工标注，准确度将会大大提升。
S14，基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签。
由于第二实例是目标图像中低于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较高，因而标注难度小，通过半监督学习方式进行实例的伪标注，能够提高对目标图像的标注效率。
半监督学习方法是指通过已标注的样本集和未标注的样本集共同训练得到实例标注模型，通过实例标注模型对新的未标注的图像进行实例标注，实例标注模型输出的实例标签相较于人工标签的实例标签而言，称之为伪标签。
S15，基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
目标图像中的实例分为第一实例和第二实例，第一实例的实例标签为第一标签，第二实例的实例标签为第二标签，因而在得到第一标签和第二标签之后，目标图像中所有实例的标签已经得到。
在一个可选的实施方式中，所述方法还包括：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练所述实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
其中，已标注有实例标签的标注图像可以是指用来训练实例标签模型的图像。
在使用本发明实施例所述的基于人工智能的图像实例标注方法对多个目标图像进行实例标注，得到实例标签后，即可将标注有实例标签的目标图像加入到已标注有真实实例标签的标注图像中，作为训练集，从而基于训练集对实例标注模型进行更新。
测试集中包括测试图像及每个测试图像的真实实例标签，将测试集中的测试图像输入更新后的实例标注模型中，通过更新后的实例标注模型预测测试图像的测试实例标签。当测试实例标签与对应的真实实例标签相同，则表明更新后的实例标注模型对测试图像测试成功。当测试实例标签与对应的真实实例标签不相同，则表明更新后的实例标注模型对测试图像测试失败。计算测试成功的数量与测试集中测试图像的数量的比值，比值作为实例标注模型的测试精度，并在所述测试精度满足预设精度阈值时，结束所述实例标注模型的训练。
该可选的实施例中，利用已获得实例标签的目标图像，使具有实例标注的图像的数量得到极大地增加，能够对实例标注模型进行更新训练，从而提升实例标注模型的性能。
本发明通过标注图像中的少量实例而非全部实例，例如，目标图像中部分区域有遮挡的实例为高信息量的实例，通过人工主动标注，人工标注的实例标签的准确度高，目标图像中的其他实例信息量较低，不用人工标注，节省人工标注的成本，由于低信息量的实例为较容易识别的实例，因而通过半监督学习标注，在保证了实例标注准确度的基础上，提升了实例的标注效率。本发明只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
本发明适用于具有复杂布局，不同区域存在相互遮挡的图像中。将本发明应用于医疗影像智能辅助识别领域，可同时进行不同目标位置、关键器官实例的区域勾画及量化评估，尤其对于可能相互遮挡的图像区域，本发明能够更有效进行实例分割。
实施例二
图5是本发明实施例二提供的基于人工智能的图像实例标注装置的结构图。
在一些实施例中，所述基于人工智能的图像实例标注装置50可以包括多个由计算机程序段所组成的功能模块。所述基于人工智能的图像实例标注装置50中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）基于人工智能的图像实例标注的功能。
本实施例中，所述基于人工智能的图像实例标注装置50根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：实例识别模块501、实例获取模块502、第一标注模块503、第二标注模块504、标签确定模块505及模型训练模块506。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述实例识别模块501，用于调用预设实例分割模型识别目标图像中每个实例的信息量。
预设实例分割模型可以为预先训练得到的机器学习模型，用于对图像中的实例进行识别，从而获得实例的信息量。实例是指目标图像中的目标对象，例如，行人，汽车，自行车，建筑物等。
目标图像是指需要进行实例标注的图像，一张目标图像中可以包含多个实例，例如，可以包含几十个实例，不同类别的实例的识别难度各异，因此，需要考虑是否需要对这张目标图像中的所有实例均进行人工标注。虽然可以通过人工的方式对目标图像中的所有实例均进行人工标注，人工标注准确度更高，但是人工标注成本较大，且效率较低，事实上通过人工标注完成的图像的数量是受到限制的。本实施例通过识别目标图像中的实例的信息量，根据信息量确定目标图像中哪些实例进行人工标注，哪些实体通过实例标注模型进行标注。
在一些实施例中，基于人工智能的图像实例标注方法可以应用于医学场景中，当应用于医学场景时，所述目标图像则为医学图像，所述目标图像中的实例则为多个器官。医学图像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，电子计算机断层扫描（Computed Tomography，CT）、磁共振成像（Magnetic Resonance Imaging，MRI）、超声（ultrasonic，US）、X光图像、脑电图以及光学摄影等由医学仪器生成的图像。
在一个可选的实施方式中，所述实例识别模块501调用预设实例分割模型识别目标图像中每个实例的信息量包括：
对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；
调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；
调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；
调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；
基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；
基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；
基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；
根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量。
一般而言，通过图像变换可以实现图像增强，图像增强的目的是为了增加图像的数据量、丰富图像的多样性，从而提高模型的泛化能力。该可选的实施方式中，可以采用变换的方式引入图像扰动，例如，对图像添加噪声（Noise）来引入图像扰动。图像噪声是图像在获取或传输过程中受到随机信号干扰，妨碍人们对图像理解及分析的信号。噪声的引入给模型识别提高了难度。
如图2所示，图2中最上面的一张图像为目标图像，中间的一张图像为在目标图像的基础上添加了高斯噪声（gaussian noise），最下面的一张图像为在目标图像的基础上添加了椒盐噪声（pepper noise）。将在目标图像上添加高斯噪声得到的图像作为第一扰动图像，将在目标图像上添加椒盐噪声得到的图像作为第二扰动图像。
将图像（例如，目标图像，第一扰动图像，第二扰动图像）输入实例分割模型中，即可通过实例分割模型输出图像中实例属于某个类别的类别标签，并用检测框框出实例在图像中的位置，及实例的实例轮廓掩码。本实施例的实例分割模型可在Faster R-CNN模型的基础上训练得到，具体训练过程不做详细阐述。考察模型对样本中的目标预测的一致性，如果变换前后预测结果变化较小，说明该目标较容易预测和信息量较少，如果变换前后，该目标的预测结果出现了较大的差异，则该局部目标是模型较容易混淆的目标，应该主动选择它来优先进行标注。
在调用所述预设实例分割模型识别目标图像、第一扰动图像及第二扰动图像中每个实例的类别标签、实例检测框及实例轮廓掩码之后，即可根据类别标签、实例检测框及实例轮廓掩码计算得到实例的类别标签得分、检测框得分及轮廓掩码得分，从而根据类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算得到对应的实例的信息量，进而根据实例的信息量确定目标图像中的第一实例和第二实例。
在一个可选的实施方式中，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
类别标签得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
对于某个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.9，在第二扰动图像中，实例分割模型预测的类别概率为0.89，则表明实例分割模型对于该实例的预测一致性较高。
对于另一个实例，在目标图像中，实例分割模型预测的类别概率为0.9，在第一扰动图像中，实例分割模型预测的类别概率为0.4，在第二扰动图像中，实例分割模型预测的类别概率为0.7，则表明实例分割模型对于该实例的预测一致性较低。
从类别标签得分的维度而言，实例的预测概率越小，概率均值越小，实例的类别标签得分越低，则实例的信息量越高，对模型来说，更混淆的局部实例，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低预测概率的实例，进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。在一个可选的实施方式中，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
检测框得分用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
交并比IOU表示了两个实例检测框的重叠度，交并比IOU越大，两个实例检测框之间的重叠区域越多、重叠度越大。交并比IOU越小，两个实例检测框之间的重叠区域越少、重叠度越小。该可选的实施例中，交并比IOU越大，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越相似，即预测一致性越高。交并比IOU越小，则表明实例分割模型对目标图像与对应该交并比IOU的扰动图像的预测越不相似，即预测一致性越低。
交并比IOU的计算过程为现有技术，本发明不做详细阐述。
预设第二计算模型可以为：T2=（1-IOU1）*（1-IOU2），其中，T2表示实例的轮廓掩码得分，IOU1表示第一交并比，IOU2表示第二交并比。
例如，假设实例L1，目标图像与第一扰动图像的第一交并比为0.9，目标图像与第二扰动图像的第二交并比为0.9，则实例L1的检测框得分=（1-0.9）*（1-0.9）=0.01。可见，实例L1为低信息量的实例。
又如，假设实例L2，目标图像与第一扰动图像的第一交并比为0.4，目标图像与第二扰动图像的第二交并比为0.3，则实例L1的检测框得分=（1-0.4）*（1-0.3）=0.42。可见，实例L2为高信息量的实例。
从交并比IOU的维度而言，实例的交并比IOU越大，实例的检测框得分越低，则实例的信息量越高，对模型来说，是更加困难和更应该学习的实例。对于高信息量的较难识别的实例，对扰动图像的预测中存在模型易混淆的低IOU的重叠检测框，即目标图像稍微做小幅变化之后，模型的预测的方差变大，比低信息量或者容易识别的实例的预测一致性更低，因此相较于容易识别的实例来说，高信息量的实例的标注价值更高。对高信息量的实例进行人工标注后加入模型训练，则模型以后对此类实例便有比较好的判断能力，进而提升模型的精度和泛化性。
在一个可选的实施方式中，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
实例轮廓掩码类似于实例检测框，也是用于评价实例分割模型对扰动后的第一扰动图像和第二扰动图像的预测是否与对目标图像的预测一致。
Jaccard距离用于描述两个轮廓掩码之间的不相似度。Jaccard距离越大，两个轮廓掩码之间的重叠区域越少、相似度越低。Jaccard距离越小，两个轮廓掩码之间的重叠区域越多、相似度越高。该可选的实施例中，Jaccard距离越大，则表明实例分割模型对目标图像与对应该Jaccard距离的扰动图像的预测越不相似，即预测一致性越低。Jaccard距离越小，则表明实例分割模型对目标图像与该对应Jaccard距离的扰动图像的预测越相似，即预测一致性越高。
Jaccard距离的计算过程为现有技术，不再详细介绍。
预设第二计算模型可以为：T3=D1*D2，其中，T3表示实例的轮廓掩码得分，D1表示第一Jaccard距离，D2表示第二Jaccard距离。
在一个可选的实施方式中，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
在得到目标图像中的每个实例的类别标签得分、检测框得分、轮廓掩码得分之后，将类别标签得分、检测框得分、轮廓掩码得分三者相乘，得到对应的实例的最终得分，作为实例的信息量。
在其他实施例中，还可以计算每个实例的类别标签得分、检测框得分、轮廓掩码的均值，作为实例的最终得分。或者，计算每个实例的类别标签得分、检测框得分、轮廓掩码的和值，作为实例的最终得分。本发明不做任何限制。
最终得分用以表示实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测是否是一致的。最终得分越低，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测不一致，说明对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现越不稳定。最终得分越高，表明实例分割模型对第一扰动图像及对第二扰动图像的预测与对目标图像的预测一致，说明即使对目标图像进行扰动后，通过实例分割模型对目标图像及扰动后得到的第一扰动图像及第二扰动图像的表现仍然是非常稳定的。
所述实例获取模块502，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例。
其中，预设信息量阈值为预先设置的用以表示信息量高低的临界值。
最终得分越低，一致性就越低，则对应的实例的信息量越高；最终得分越高，一致性就越高，则对应的实例的信息量越低。当某个实例的信息量高于预设信息量阈值时，则将该实例作为第一实例，当某个实例的信息量低于预设信息量阈值时，则该将实例作为第二实例。
应当理解的是，第一实例是指信息量高于预设信息量阈值的多个实例的集合，如图3所示目标图像中椭圆形框住的区域。第二实例是指信息量低于预设信息量阈值的多个实例的集合，如图4所示目标图像中不规则图形框住的区域。第一实例和第二实例完整的构成了图像中实例的集合。即，目标图像中的某个实例要么为第一实例，要么为第二实例。
所述第一标注模块503，用于通过人工标注所述目标图像中的所述第一实例的第一标签。
由于第一实例是目标图像中高于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较低，因而更应该通过人工的方式进行实例的标注，比如遮挡明显的多个行人。
可以将目标图像中的第一实例标识出来，由标注经验丰富的专家对第一实例进行人工标注，从而提高对第一实例的标注准确率。
尤其是对于目标图像为医学图像而言，医学图像的实例分割需要识别图像中的多个实例个体，并准确地勾画出多个病变区域，用于智能辅助诊断，因此医学图像的实例标注难度指数更高，通过将这些信息量高（标注难度大）的实例进行人工标注，准确度将会大大提升。
所述第二标注模块504，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签。
由于第二实例是目标图像中低于预设信息量阈值的实例，实例分割模型对目标图像和对第一扰动图像及第二扰动图像的预测的一致性较高，因而标注难度小，通过半监督学习方式进行实例的伪标注，能够提高对目标图像的标注效率。
半监督学习方法是指通过已标注的样本集和未标注的样本集共同训练得到实例标注模型，通过实例标注模型对新的未标注的图像进行实例标注，实例标注模型输出的实例标签相较于人工标签的实例标签而言，称之为伪标签。
所述标签确定模块505，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
目标图像中的实例分为第一实例和第二实例，第一实例的实例标签为第一标签，第二实例的实例标签为第二标签，因而在得到第一标签和第二标签之后，目标图像中所有实例的标签已经得到。
在一个可选的实施方式中，所述模型训练模块506，用于：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练所述实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
其中，已标注有实例标签的标注图像可以是指用来训练实例标签模型的图像。
在使用本发明实施例所述的基于人工智能的图像实例标注方法对多个目标图像进行实例标注，得到实例标签后，即可将标注有实例标签的目标图像加入到已标注有真实实例标签的标注图像中，作为训练集，从而基于训练集对实例标注模型进行更新。
测试集中包括测试图像及每个测试图像的真实实例标签，将测试集中的测试图像输入更新后的实例标注模型中，通过更新后的实例标注模型预测测试图像的测试实例标签。当测试实例标签与对应的真实实例标签相同，则表明更新后的实例标注模型对测试图像测试成功。当测试实例标签与对应的真实实例标签不相同，则表明更新后的实例标注模型对测试图像测试失败。计算测试成功的数量与测试集中测试图像的数量的比值，比值作为实例标注模型的测试精度，并在所述测试精度满足预设精度阈值时，结束所述实例标注模型的训练。
该可选的实施例中，利用已获得实例标签的目标图像，使具有实例标注的图像的数量得到极大地增加，能够对实例标注模型进行更新训练，从而提升实例标注模型的性能。
本发明通过标注图像中的少量实例而非全部实例，例如，目标图像中部分区域有遮挡的实例为高信息量的实例，通过人工主动标注，人工标注的实例标签的准确度高，目标图像中的其他实例信息量较低，不用人工标注，节省人工标注的成本，由于低信息量的实例为较容易识别的实例，因而通过半监督学习标注，在保证了实例标注准确度的基础上，提升了实例的标注效率。本发明只需要人工标注一张目标图像中的少量实例，而不是对全整个目标图像中的实例都进行标注，在减小实例标注工作量的同时得到准确度较高的实例标签。
本发明适用于具有复杂布局，不同区域存在相互遮挡的图像中。将本发明应用于医疗影像智能辅助识别领域，可同时进行不同目标位置、关键器官实例的区域勾画及量化评估，尤其对于可能相互遮挡的图像区域，本发明能够更有效进行实例分割。
实施例三
本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于人工智能的图像实例标注方法实施例中的步骤，例如图1所示的S11-S15：
S11，调用预设实例分割模型识别目标图像中每个实例的信息量；
S12，从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
S13，通过人工标注所述目标图像中的所述第一实例的第一标签；
S14，基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
S15，基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图5中的模块501-505：
所述实例识别模块501，用于调用预设实例分割模型识别目标图像中每个实例的信息量；
所述实例获取模块502，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
所述第一标注模块503，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
所述第二标注模块504，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
所述标签确定模块505，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
实施例四
参阅图6所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备6包括存储器61、至少一个处理器62、至少一条通信总线63及收发器64。
本领域技术人员应该了解，图6示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备6还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备6是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备6还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备6仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器61中存储有计算机程序，所述计算机程序被所述至少一个处理器62执行时实现如所述的基于人工智能的图像实例标注方法中的全部或者部分步骤。所述存储器61包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器62是所述电子设备6的控制核心（ControlUnit），利用各种接口和线路连接整个电子设备6的各个部件，通过运行或执行存储在所述存储器61内的程序或者模块，以及调用存储在所述存储器61内的数据，以执行电子设备6的各种功能和处理数据。例如，所述至少一个处理器62执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于人工智能的图像实例标注方法的全部或者部分步骤；或者实现基于人工智能的图像实例标注装置的全部或者部分功能。所述至少一个处理器62可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processingunit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线63被设置为实现所述存储器61以及所述至少一个处理器62等之间的连接通信。
尽管未示出，所述电子设备6还可以包括给各个部件供电的电源（比如电池），优选的，电源可以通过电源管理装置与所述至少一个处理器62逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备6还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种基于人工智能的图像实例标注方法，其特征在于，所述方法包括：
调用预设实例分割模型识别目标图像中每个实例的信息量，包括：对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量；
从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
通过人工标注所述目标图像中的所述第一实例的第一标签；
基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
2.如权利要求1所述的基于人工智能的图像实例标注方法，其特征在于，所述基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分包括：
获取所述第一类别标签对应的第一预测概率、所述第二类别标签的第二预测概率及所述第三类别标签的第三预测概率；
计算所述第一预测概率及对应的所述第二预测概率、所述第三预测概率的概率均值；
将所述均值作为对应的实例的类别标签得分。
3.如权利要求1所述的基于人工智能的图像实例标注方法，其特征在于，所述基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分包括：
计算所述第一实例检测框与对应的所述第二实例检测框的第一交并比；
计算所述第一实例检测框与对应的所述第三实例检测框的第二交并比；
根据预设第一计算模型基于所述第一交并比及所述第二交并比计算得到对应的所述实例的检测框得分。
4.如权利要求1所述的基于人工智能的图像实例标注方法，其特征在于，所述基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分包括：
计算所述第一实例轮廓掩码与对应的所述第二实例轮廓掩码的第一Jaccard距离；
计算所述第一实例轮廓掩码与对应的所述第三实例轮廓掩码的第二Jaccard距离；
根据预设第二计算模型基于所述第一Jaccard距离及所述第二Jaccard距离计算得到对应的所述实例的轮廓掩码得分。
5.如权利要求1至4中任意一项所述的基于人工智能的图像实例标注方法，其特征在于，所述根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量包括：
计算所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分的乘积，得到对应的实例的最终得分；
将所述最终得分确定为所述实例的信息量。
6.如权利要求5所述的基于人工智能的图像实例标注方法，其特征在于，所述方法还包括：
将已标注有实例标签的标注图像与多个所述目标图像作为训练集；
基于所述训练集训练实例标注模型；
基于测试集评估所述实例标注模型的精度，并在所述精度满足预设精度阈值时，结束所述实例标注模型的训练。
7.一种基于人工智能的图像实例标注装置，其特征在于，所述装置包括：
实例识别模块，用于调用预设实例分割模型识别目标图像中每个实例的信息量，包括：对所述目标图像进行第一扰动得到第一扰动图像，并对所述目标图像进行第二扰动得到第二扰动图像；调用所述预设实例分割模型识别所述目标图像中每个实例的第一类别标签、第一实例检测框及第一实例轮廓掩码；调用所述预设实例分割模型识别所述第一扰动图像中每个实例的第二类别标签、第二实例检测框及第二实例轮廓掩码；调用所述预设实例分割模型识别所述第二扰动图像中每个实例的第三类别标签、第三实例检测框及第三实例轮廓掩码；基于所述第一类别标签、所述第二类别标签及所述第三类别标签计算每个实例的类别标签得分；基于所述第一实例检测框、所述第二实例检测框及所述第三实例检测框计算每个实例的检测框得分；基于所述第一实例轮廓掩码、所述第二实例轮廓掩码及所述第三实例轮廓掩码计算每个实例的轮廓掩码得分；根据所述类别标签得分及对应的所述检测框得分、所述轮廓掩码得分计算对应的实例的信息量；
实例获取模块，用于从所述目标图像中获取高于预设信息量阈值的第一信息量及所述第一信息量对应的第一实例，所述目标图像中除所述第一实例外的实例为第二实例；
第一标注模块，用于通过人工标注所述目标图像中的所述第一实例的第一标签；
第二标注模块，用于基于半监督学习方式伪标注所述目标图像中的所述第二实例的第二标签；
标签确定模块，用于基于所述第一标签和所述第二标签得到所述目标图像的实例标签。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至6中任意一项所述基于人工智能的图像实例标注方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述基于人工智能的图像实例标注方法。
CN202111005698.2A 2021-08-30 2021-08-30 基于人工智能的图像实例标注方法及相关设备 Active CN113705687B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111005698.2A CN113705687B (zh) 2021-08-30 2021-08-30 基于人工智能的图像实例标注方法及相关设备
PCT/CN2022/071328 WO2023029348A1 (zh) 2021-08-30 2022-01-11 基于人工智能的图像实例标注方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005698.2A CN113705687B (zh) 2021-08-30 2021-08-30 基于人工智能的图像实例标注方法及相关设备

Publications (2)

Publication Number Publication Date
CN113705687A CN113705687A (zh) 2021-11-26
CN113705687B true CN113705687B (zh) 2023-03-24

Family

ID=78656924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005698.2A Active CN113705687B (zh) 2021-08-30 2021-08-30 基于人工智能的图像实例标注方法及相关设备

Country Status (2)

Country Link
CN (1) CN113705687B (zh)
WO (1) WO2023029348A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113705687B (zh) * 2021-08-30 2023-03-24 平安科技（深圳）有限公司 基于人工智能的图像实例标注方法及相关设备
CN117853428B (zh) * 2023-12-22 2024-07-30 北京市农林科学院信息技术研究中心 养殖种群数量标注方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151417B2 (en) * 2020-01-31 2021-10-19 Element Ai Inc. Method of and system for generating training images for instance segmentation machine learning algorithm
CN112163634B (zh) * 2020-10-14 2023-09-05 平安科技（深圳）有限公司 实例分割模型样本筛选方法、装置、计算机设备及介质
CN113239950A (zh) * 2021-01-13 2021-08-10 深延科技(北京)有限公司 标注方法、装置、电子设备及存储介质
CN113705687B (zh) * 2021-08-30 2023-03-24 平安科技（深圳）有限公司 基于人工智能的图像实例标注方法及相关设备

Also Published As

Publication number Publication date
CN113705687A (zh) 2021-11-26
WO2023029348A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
CN108197664B (zh) 模型获取方法、装置、电子设备及计算机可读存储介质
Pan et al. Characterization multimodal connectivity of brain network by hypergraph GAN for Alzheimer’s disease analysis
CN107292086A (zh) 图像分析问答
CN113705687B (zh) 基于人工智能的图像实例标注方法及相关设备
CN113723513B (zh) 多标签图像分类方法、装置及相关设备
Duarte et al. Data quality evaluation of electronic health records in the hospital admission process
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN112614578A (zh) 医生智能推荐方法、装置、电子设备及存储介质
CN112884060A (zh) 图像标注方法、装置、电子设备及存储介质
CN112634889A (zh) 基于人工智能的电子病例录入方法、装置、终端及介质
CN113744845A (zh) 基于人工智能的医学影像处理方法、装置、设备及介质
Papandrianos et al. AI-based classification algorithms in SPECT myocardial perfusion imaging for cardiovascular diagnosis: a review
CN115658858A (zh) 基于人工智能的对话推荐方法及相关设备
CN114373541A (zh) 基于分布式的智能中医诊断方法、系统及存储介质
CN114741459A (zh) 基于人工智能的数据查询方法、装置、电子设备及介质
CN113628226A (zh) 基于多标签分割模型的图像数据处理方法及装置
Pivithuru et al. E-patient Card: An Integrated Electronic Health Recording System for Patient
CN113792681B (zh) 基于点云匹配的信息采集方法、装置、电子设备及介质
CN117012326A (zh) 一种生成医学报告的方法以及相关装置
US20240037920A1 (en) Continual-learning and transfer-learning based on-site adaptation of image classification and object localization modules
EP4390960A1 (en) Systems and methods for providing an updated machine learning algorithm
Tanwar Nakhasys: An ML-Based Disease Diagnosing Application
Liu et al. Detection of fetal facial anatomy in standard ultrasonographic sections based on real‐time target detection network
CN115330733A (zh) 基于细粒度领域知识的疾病智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231024

Address after: Unit 1201, 12th Floor, Block B, 101, 3rd to 24th floors, Xinyuan South Road, Chaoyang District, Beijing

Patentee after: Ping An Chuangke Technology (Beijing) Co.,Ltd.

Address before: 518000 Guangdong, Shenzhen, Futian District Futian street Fu'an community Yitian road 5033, Ping An financial center, 23 floor.

Patentee before: PING AN TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right