CN115239945A - 图像标注可靠性预测方法、装置、电子设备及存储介质 - Google Patents

图像标注可靠性预测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115239945A
CN115239945A CN202210681792.8A CN202210681792A CN115239945A CN 115239945 A CN115239945 A CN 115239945A CN 202210681792 A CN202210681792 A CN 202210681792A CN 115239945 A CN115239945 A CN 115239945A
Authority
CN
China
Prior art keywords
result
similarity
annotation
current
labeling result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210681792.8A
Other languages
English (en)
Inventor
陈有信
于伟泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202210681792.8A priority Critical patent/CN115239945A/zh
Publication of CN115239945A publication Critical patent/CN115239945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种图像标注可靠性预测方法、装置、电子设备及存储介质。其中，该方法包括：获取与标注结果相关的局部图像区域，基于所述与标注结果相关的局部图像区域，获取与标注结果相关的视觉特征；分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。本申请实施例利用局部图像区域和视觉特征的多项量化指标对标注结果进行分析，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性，实现了对主观结果的客观统一的评估。

Description

图像标注可靠性预测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像识别技术领域，具体涉及一种图像标注可靠性预测方法、装置、电子设备及存储介质。
背景技术
在基于AI(Artificial Intelligence，人工智能)模型的图像识别领域，通常需要先对样本图像数据进行标注，再利用标注后的样本图像数据对进行机器学习、训练。其中，为了获取有效的标注数据，现有技术大多是通过人工方式对所采集的样本图像数据进行标注。
人工标注完全依靠个人自身的经验和对图像内容的理解，逐一勾画出图像中的目标对象，并进行对应的标注来帮助识别图像内容或类型(比如相关病变类型)。现有的图像数据的标注方法在实现过程中由于需要依赖技术人员个人的经验和对图像内容的理解，导致不同的阅片(即审阅图片)人员标注后的样本图像数据也往往存在主观差异，不够客观。此外，现有方法通过人工标注，标注速度相对较慢，也容易产生误差。
现有技术中，为了解决人工标注因主观性导致结果不统一，缺乏客观标准的问题，一般会采集大量的标注结果来综合评判。比如在医学图像识别中，标准图像库的金标准诊断是由多位医生共同阅片后形成的，形成了金标准的图像库才具有机器阅片(即利用经机器学习的AI模型进行自动阅片)的可能性。在形成金标准的诊断过程中，需要考虑每位医生阅片结果的可靠性；由于医生们的执业经验和擅长领域并不相同，实际上对于不同医学图像的标注可靠性也不完全相同，并不存在统一的、可量化的客观标准，现有技术通常只能根据医生在该领域的权威性来判断阅片结果的可靠性。因此现有技术中并不存在对标注结果可靠性的客观评判方法。
发明内容
针对现有技术中的上述技术问题，本申请实施例提出了一种图像标注可靠性预测装置、电子设备及计算机可读存储介质，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性，解决了如何对主观结果进行客观评判的问题。
本申请第一方面提供一种图像标注可靠性预测方法，包括：
获取与标注结果相关的局部图像区域，基于所述与标注结果相关的局部图像区域，获取与标注结果相关的视觉特征；
分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
在一些实施例中，所述获取与标注结果相关的局部图像区域之前，还包括：计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述计算标注者的当前标注结果与历史标注结果的相似度包括：
将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；
计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注结果与正确图像集g1的第二相似度s1；
基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述与标注结果相关的视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶。
在一些实施例中，所述方法还包括通过标准数据库来管理各个所述标注结果。
在一些实施例中，其中，所述标准数据库包括待标注图像集和历史标注结果。
在一些实施例中，各个所述相似度的计算通过计算向量相似度实现。
本申请实施例的第二方面提供了一种图像标注可靠性预测装置，包括：
视觉特征处理模块，用于获取与标注结果相关的局部图像区域，基于所述与标注结果相关的局部图像区域，获取与标注结果相关的视觉特征；
标注结果可靠性预测模块，分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
在一些实施例中，所述装置还包括相似度计算模块，用于计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述计算标注者的当前标注结果与历史标注结果的相似度包括：
将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；
计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注结果与正确图像集g1的第二相似度s1；
基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述与标注结果相关的视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶。
在一些实施例中，所述装置还包括标准数据库模块，用于通过标准数据库来管理各个所述标注结果。
在一些实施例中，所述标准数据库包括待标注图像集和历史标注结果。
在一些实施例中，各个所述相似度的计算通过计算向量相似度实现。
本申请实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本申请实施例，利用局部图像区域和视觉特征的多项量化指标对标注结果进行分析，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性，实现了对主观结果的客观统一的评估。
附图说明
通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1是根据本申请的一些实施例所示的眼底生理结构图；
图2A是根据本申请的一些实施例所示的图像标注可靠性预测方法的流程示意图；
图2B是根据本申请的一些实施例所示的计算标注者的当前标注结果与历史标注结果的相似度示意图；
图3是根据本申请的一些实施例所示的一种图像标注可靠性预测装置结构示意图；
图4是根据本申请的一些实施例所示的一种电子设备的逻辑结构示意图；
图5是根据本申请的一些实施例所示的一种通用型计算机节点的架构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。
本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。
现有技术中对样本图像的标注主要依靠人工完成，这使得标注结果受主观因素影响较多，可靠性难以估量。典型地，在医学图像识别中，标注数据由不同的阅片人员提供，标注结果与医生的经验和个人能力有很大的关系，在不知道当前标注人员的身份背景的情况下基本无法确定阅片结果的可靠性，更谈不上对阅片质量的控制。
有鉴于此，本申请的实施例提供了一种图像标注可靠性预测方法，为了保证高质量的阅片结果，结合每位阅片人员的历史标注，进行标注可靠性预测。其中，考虑不同图像区域对识别结果的重要性有一定差异，比如图1所示的眼底生理结构图中，病变多体现在几个关键区域，而不同关键区域的病变又代表不同的类型，最终结果的可靠性需要综合整个图像中多个区域的阅片情况一起评估。本申请的技术方案通过综合考虑阅片医生的历史及标注过程的正确图像集和出错图像集，预测当前阅片结果的可靠性。此外，本申请实施例还考虑不同病变的关键区域和视觉特征，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性。
具体地，如图2A所示，在本申请的一个实施例中，图像标注可靠性预测方法包括：
S201，获取与标注结果相关的局部图像区域，基于与标注结果相关的局部图像区域，获取与标注结果相关的视觉特征。
在本申请的一个优选实施例中，针对如图1所示的眼底图像，视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶等。本申请的实施例中采用多个维度的相似度来评估标注结果，通过量化指标来客观预测标注结果的可靠性。相似度评价的维度不仅包含与标注结果相关的局部图像区域，还包括与标注结果相关的视觉特征以及历史标注结果。本申请的相似度评价维度更加丰富和立体，增加了评价结果的可靠性。
S202，分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
在本申请的一个优选实施例中，上述相似度的计算通过计算向量相似度实现。比如，对于局部图像区域与历史标注结果的相似度计算，可以提取出局部图像区域的颜色、纹理、形状、空间、亮度、对比度等特征中一项或多项，将提取的特征组成一个向量；同时对历史标注结果进行对应的特征提取并组成另一个向量，计算两个向量之间的相似度(比如说计算欧氏距离等)，即实现所述局部图像区域(与历史标注结果)的相似度计算。其中，局部图像区域对疾病的重要性存在差异，在本申请实施例的评价过程中突出了与标注结果相关的视觉特征的重要性。仍以眼底图像为例，在可靠性的计算中，考虑到不同眼底图像区域对不同病变类型判断的重要性有所差异，在相似度的计算中，针对不同的分析目的，对图像区域有所侧重，直接利用视觉特征的相似度计算来辅助预测，进一步提高了评价结果的可靠性。优选地，在眼底图像中视觉特征有如前所述多种，不同的疾病会在不同的视觉特征中有明显的病变呈现，因而本申请的实施例中根据不同的分析目的来选取对应视觉特征，按照上述相似度计算方式计算视觉特征与历史标注结果的相似度。其中，不同的分析目的由标注结果决定，举例来说，在当前标注结果标明了病变类型或病变位置时，根据病变类型或病变位置选取相关的视觉特征，仅计算相关的视觉特征的相似度或在相似度计算时提高相关的视觉特征的权重，由此来提升不同视觉特征在不同分析目的中的重要性。在当前标注结果标明无病变时，可以选取全部视觉特征进行相似度计算，整体预测可靠性；也可以根据历史标注结果中不同的病变类型或病变位置逐项选取当前图像中相关的视觉特征分别进行相似度计算，从而逐项预测可靠性(也可以选择最有代表性的一项或多项相似度值来表示整体预测可靠性)。
在本申请的实施例中，通过多个评价维度的相似度计算来量化分析标注结果，客观预测其可靠性。可选地，可靠性按照相似度计算结果进行筛选，比如可对相似度进行排序，将当前标注结果与相似度最高或较高的历史标注结果(可以有多项)的标注一致性情况作为可靠性预测结果输出；或者可对相似度进行阈值筛选，统计相似度超过一定阈值的结果的标注一致性情况，将其作为可靠性预测结果输出；也可以对标注结果一致的一项或多项相似度进行统计，由此确定结果的可靠性。具体的局部图像区域和视觉特征的选取、相似度计算以及可靠性预测算法不应视作对本申请实现方式的限制。
在一些实施方式中，还包括计算标注者的当前标注结果与历史标注结果的相似度，具体地，参见图2B，将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注结果与正确图像集g1的第二相似度s1；基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相似度，进而预测标注结果的可靠性。典型地，不同的相似度计算对应不同的病变识别，可根据具体的识别需要来有选择地进行相似度计算，例如：黄斑疾病，主要考虑眼底图像之间，黄斑区域的相似性；视神经类疾病，主要考虑眼底图像的视盘区域的相似性；如诊断青光眼主要观察视盘视杯区域及上下血管弓区域的相似性；眼底血管病变，主要考虑血管区域之间的相似性；诊断糖尿病视网膜病变需要观察整个视网膜区域，还要观察有没有出现于糖尿病视网膜病变相关的病灶区域。
通常情况下，对于每一位阅片医生，其经验和能力是逐步提升的，对病变类型的识别准确性也是逐步提升的。考虑到历史标注结果是一个长期过程的记录，根据最终医学诊断结果可以帮助确定在先的标注结果是否正确(即是否出现错误)，因此在申请的优选实施例中，将历史标注过程中所用的图像进一步分为出错图像集g0和正确图像集g1两个子集。对于正式阅片中这位医生对图像的诊断结果可靠性，进一步可以按出错和正确的相似度方式来预测：计算图像与g0集中图像的第一相似度s0；计算图像与g1集中图像的第二相似度s1；基于第一相似度s0与第二相似度s1，估算对图像诊断结果的可靠性。通过该方式可以进一步提升预测的效率和准确性，此外还可以帮助发现各医师所擅长和不擅长的领域，进而帮助医师提升能力或纠正认知缺陷。
在一些实施例中，本申请的技术方案还通过标准数据库来管理标注结果。可选地，标准数据库中包括历史标注结果，历史标准结果可以根据标注者和实际诊断结果(即对标注结果的验证，比如对出错结果或正确结果的反馈/再标注)进行区分记录，从而帮助实现上述相似度计算。在一些可选的实施例中，标准数据库中还可包括多个标注者对同一图像的多个标注结果，通过这多个标注结果进行交叉验证，进一步确认这多个标注结果的可靠性。优选地，在得到一定规模的标准数据库后，可利用标准数据库中的样本图像和对应的标注结果对人工智能模型进行机器学习的训练，以得到一个解决特定问题(比如眼底图像筛查)的可靠的图像识别模型。
在一些实施例中，还可以利用标准数据库或训练后的图像识别模型对标注者进行培训，帮助其在无人指导的情况下持续提升业务能力。进一步地，在标准数据库建立之后，在本申请的实施例中，还包括基于相似度计算抽取标准数据库中的特定图像让指定标注者进行再次标注。再次标注可以同时解决多方面的问题：一方面，短期内可以考核同一标注者的标注一致性，从而通过联合筛选排除那些因意外或疏忽导致的少量错误结果；另一方面，可以通过统计发现该标注者出错率或正确率较高的图像类型，从而有针对性地调整这些图像标注结果的可靠性权重；再一方面，对于出错率较高的图像类型，可以督促该标注者反复进行练习/培训，以提升针对该图像类型的正确率，提升个人能力。具体地，在再次标注过程中，还要考虑历史阅片过程、阅片时间、是否经过仲裁等来确定一张图像对该标注者(待培训对象)的适用性，从而有针对性地、持续性地进行阅片人员考核。其中，阅片时间包括阅片医生从开始标注到完成标注的持续时间，阅片时间长短与该图像的阅片困难度成正比；形成金标准时是否经过仲裁与该图像的阅片困难度相关。在再次标注过程中，针对相似度差异较大的图像，同时基于阅片时间和形成金标准是否经过仲裁等因素，对阅片人员进行考核。
以上是本申请实施例提供的图像标注可靠性预测方法的具体实施方式。在本申请的实施例中，通过多项量化指标对标注结果进行分析，从而预测当前标注结果的可靠性，实现了对主观结果的客观统一的评估。此外，在本申请的实施例中，图像标注可靠性预测方法有如下特点：首先，通过综合考虑阅片医生的历史培训及标注过程的正确图像集和出错图像集，预测当前阅片结果的可靠性。其次，通过考虑不同眼底疾病的好发区域和视觉特征，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性。最后，通过在标注过程中可以持续性的、针对性的抽取图像进行阅片医生的培训，以预测一张图像对当前培训对象的适用性。本申请中的相似度、可靠性、出错率、正确率、一致性、相关权重、阅片时间、阅片难度等均可以通过统一量化的数值指标进行计算和分析，从而有效解决了如何对主观的人工标注结果进行客观分析评判的问题。
图3是根据本申请的一些实施例所示的一种图像标注可靠性预测装置示意图。如图3所示，图像标注可靠性预测装置300，包括视觉特征处理模块310、标注结果可靠性预测模块320；其中，
视觉特征处理模块310，用于获取与标注结果相关的局部图像区域，基于所述与标注结果相关的局部图像区域，获取与标注结果相关的视觉特征；
标注结果预测模块320，分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
在一些实施例中，所述装置还包括相似度计算模块，用于计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述计算标注者的当前标注结果与历史标注结果的相似度包括：
将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；
计算标注者的当前标注结果与出错图像集g0的相似度s0以及标注者的当前标注结果与正确图像集g1的相似度s1；
基于s0和s1计算标注者的当前标注结果与历史标注结果的相似度。
在一些实施例中，所述与标注结果相关的视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶。
在一些实施例中，所述装置还包括标准数据库模块，用于通过标准数据库来管理各个所述标注结果。
在一些实施例中，所述标准数据库包括待标注图像集和历史标注结果。
在一些实施例中，各个所述相似度的计算通过计算向量相似度实现。
在一些实施例中，所述装置还包括图像训练模块，用于基于所述的相似度计算抽取标准数据库中的特定图像进行再次标注。
参考附图4，为本申请一个实施例提供的电子设备示意图。如图4所示，该电子设备400包括：
存储器430以及一个或多个处理器410；
其中，所述存储器430与所述一个或多个处理器410通信连接，所述存储器430中存储有可被所述一个或多个处理器执行的指令432，所述指令432被所述一个或多个处理器410执行，以使所述一个或多个处理器410执行本申请前述实施例中的方法。
具体地，处理器410和存储器430可以通过总线或者其他方式连接，图4中以通过总线440连接为例。处理器410可以为中央处理器(Central Processing Unit，CPU)。处理器410还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器430作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器410通过运行存储在存储器430中的非暂态软件程序、指令以及功能模块432，从而执行处理器的各种功能应用以及数据处理。
存储器430可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器410所创建的数据等。此外，存储器430可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器430可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口420)连接至处理器410。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行上述方法实施例中的各个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法和/或装置实施例中的对应描述，在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。比如，典型地，本申请的技术方案可通过至少一个如图5所示的通用型计算机节点510来实现和/或传播。在图5中，通用型计算机节点510包括：计算机系统/服务器512、外设514和显示设备516；其中，所述计算机系统/服务器512包括处理单元520、输入/输出接口522、网络适配器524和存储器530，内部通常通过总线实现数据传输；进一步地，存储器530通常由多种存储设备组成，比如，RAM(RandomAccessMemory，随机存储器)532、缓存534和存储系统(一般由一个或多个大容量非易失性存储介质组成)536等；实现本申请技术方案的部分或全部功能的程序540保存在存储器530中，通常以多个程序模块542的形式存在。
而前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可因东介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
综上所述，本申请提出了一种图像标注可靠性预测方法、装置、电子设备及其计算机可读存储介质。本申请实施例，利用局部图像区域和视觉特征的多项量化指标对标注结果进行分析，通过计算当前阅片结果与历史标注内容的相似度，预测当前阅片结果的可靠性，实现了对主观结果的客观统一的评估。
应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (14)

1.一种图像标注可靠性预测方法，其特征在于，包括：
获取与当前标注结果相关的局部图像区域，基于所述与当前标注结果相关的局部图像区域，获取与当前标注结果相关的视觉特征；
分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
2.根据权利要求1所述的方法，其特征在于，所述获取与标注结果相关的局部图像区域之前，还包括：计算标注者的当前标注结果与历史标注结果的相似度。
3.根据权利要求2所述的方法，其特征在于，所述计算标注者的当前标注结果与历史标注结果的相似度包括：
将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；
计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注结果与正确图像集g1的第二相似度s1；
基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相似度。
4.根据权利要求1所述的方法，其特征在于，所述与标注结果相关的视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶中的至少一种。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过标准数据库来管理各个所述标注结果。
6.根据权利要求1-5中任一项所述的方法，其特征在于，各个所述相似度的计算通过计算向量相似度实现。
7.一种图像标注可靠性预测装置，其特征在于，包括：
视觉特征处理模块，用于获取与标注结果相关的局部图像区域，基于所述与标注结果相关的局部图像区域，获取与当前标注结果相关的视觉特征；
标注结果可靠性预测模块，分别计算所述局部图像区域、所述视觉特征与标注者的历史标注结果的相似度，预测标注者的当前标注结果的可靠性。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：相似度计算模块，用于计算标注者的当前标注结果与历史标注结果的相似度。
9.根据权利要求8所述的装置，其特征在于，所述计算标注者的当前标注结果与历史标注结果的相似度包括：
将标注者的历史标注结果分为出错图像集g0和正确图像集g1两个子集；
计算标注者的当前标注结果与出错图像集g0的第一相似度s0以及标注者的当前标注结果与正确图像集g1的第二相似度s1；
基于第一相似度s0和第二相似度s1计算标注者的当前标注结果与历史标注结果的相似度。
10.根据权利要求7所述的装置，其特征在于，所述与标注结果相关的视觉特征包括：视盘形态、视盘颜色、视杯形态、视盘视杯小血管走向、上下血管弓附近的神经纤维层的缺损程度、视网膜区域的相关病灶。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括标准数据库模块，用于通过标准数据库来管理各个所述标注结果。
12.根据权利要求7-11中任一项所述的装置，其特征在于，各个所述相似度的计算通过计算向量相似度实现。
13.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-6任一项所述的方法。
CN202210681792.8A 2022-06-15 2022-06-15 图像标注可靠性预测方法、装置、电子设备及存储介质 Pending CN115239945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210681792.8A CN115239945A (zh) 2022-06-15 2022-06-15 图像标注可靠性预测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210681792.8A CN115239945A (zh) 2022-06-15 2022-06-15 图像标注可靠性预测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115239945A true CN115239945A (zh) 2022-10-25

Family

ID=83670209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210681792.8A Pending CN115239945A (zh) 2022-06-15 2022-06-15 图像标注可靠性预测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115239945A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578394A (zh) * 2022-12-09 2023-01-06 湖南省中医药研究院 一种基于非对称网络的肺炎图像处理方法
CN116246273A (zh) * 2023-03-07 2023-06-09 广州市易鸿智能装备有限公司 图像标注一致性评价方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578394A (zh) * 2022-12-09 2023-01-06 湖南省中医药研究院 一种基于非对称网络的肺炎图像处理方法
CN116246273A (zh) * 2023-03-07 2023-06-09 广州市易鸿智能装备有限公司 图像标注一致性评价方法、装置、电子设备及存储介质
CN116246273B (zh) * 2023-03-07 2024-03-22 广州市易鸿智能装备有限公司 图像标注一致性评价方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10912508B2 (en) Method and system for assessing mental state
RU2687760C2 (ru) Способ и система компьютерной стратификации пациентов на основе сложности случаев заболеваний
Green et al. Methodologic standards for interpreting clinical decision rules in emergency medicine: 2014 update
US8184854B2 (en) Method and system for evaluation of the behavior of users of a digital image information system
CN115239945A (zh) 图像标注可靠性预测方法、装置、电子设备及存储介质
JP6706627B2 (ja) 集中治療室における臨床値の自動化された分析及びリスク通知のためのシステム
KR102140402B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
US20140095204A1 (en) Automated medical cohort determination
US20120150555A1 (en) Clinical decision support
Burch et al. Dilemmas in the interpretation of diagnostic accuracy studies on presurgical workup for epilepsy surgery
Bao et al. Current application of digital diagnosing systems for retinopathy of prematurity
CN111210899A (zh) 临床试验研究中的医学影像阅片方法和系统
Murugan et al. An abnormality detection of retinal fundus images by deep convolutional neural networks
CN113657550A (zh) 基于分层计算的患者标记方法、装置、设备及存储介质
Praveena et al. Classification of autism spectrum disorder and typically developed children for eye gaze image dataset using convolutional neural network
Olaniyi et al. User engagement in mobile health applications
Ivantsits et al. Cerebral aneurysm detection and analysis challenge 2020 (CADA)
CN117672495B (zh) 基于人工智能的房颤合并冠心病患者远期死亡率预测方法
Meel et al. Melatect: A Machine Learning Model Approach For Identifying Malignant Melanoma in Skin Growths
Liang Hey Siri, should I keep this title? How algorithms support (my) decision making under uncertainty
Marin et al. Automated detection of diabetic macular edema risk in fundus images
Narayanan et al. Systematic View and Impact of Machine Learning in Healthcare Systems
US20220000428A1 (en) Method for determining a prediction model, method for predicting the evolution of a k-uplet of mk markers and associated device
Surabhi et al. Diabetic Retinopathy Classification using Deep Learning Techniques
Kiran et al. Diabetics Recognition Using Retina Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination