CN114004802A - 基于模糊综合评价法的数据标注方法、装置及存储介质 - Google Patents

基于模糊综合评价法的数据标注方法、装置及存储介质 Download PDF

Info

Publication number
CN114004802A
CN114004802A CN202111269532.1A CN202111269532A CN114004802A CN 114004802 A CN114004802 A CN 114004802A CN 202111269532 A CN202111269532 A CN 202111269532A CN 114004802 A CN114004802 A CN 114004802A
Authority
CN
China
Prior art keywords
evaluation
image
annotated
factor
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111269532.1A
Other languages
English (en)
Inventor
张俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ping An Medical Health Technology Service Co Ltd
Original Assignee
Ping An Medical and Healthcare Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Medical and Healthcare Management Co Ltd filed Critical Ping An Medical and Healthcare Management Co Ltd
Priority to CN202111269532.1A priority Critical patent/CN114004802A/zh
Publication of CN114004802A publication Critical patent/CN114004802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于模糊综合评价法的数据标注方法、装置及存储介质。其中，该方法包括：获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；分别统计各个因素的评价结果的分布情况；根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×N的矩阵；获取所述M个因素各自对应的权重；结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×N的矩阵；根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。采用该方法可以提高结节标记结果的准确性。

Description

基于模糊综合评价法的数据标注方法、装置及存储介质
技术领域
本申请涉及医学领域，尤其涉及一种基于模糊综合评价法的数据标注方法、装置及存储介质。
背景技术
随着深度学习技术的兴起，该技术在医学影像分析领域得到了越来越广泛的应用。例如，在肺癌早期筛查和预防方面，利用深度学习算法可以从胸部CT图像中检测、分割出肺结节，并对肺结节的良恶性进行识别分类。采用深度学习技术识别肺结节分类的准确率甚至可以媲美专业医师。但是深度学习算法需要大量的、精确标注数据进行训练，通常采用众包的方式由多个机构或个人对大量的数据进行标注。
但是医学影像不同于普通的自然图像，需要由专业的影像科医师进行标注，导致标注效率较低。另外由于病灶的复杂性，很多病灶并没有十分清晰的、可量化的定义，通常需要影像科医师结合自己的经验进行判断，导致标注的一致率较低。同一个病灶由一个医师多次标注，或由多名医师同时标注时，标注结果往往会出现歧义。
发明内容
本申请实施例提供了一种基于模糊综合评价法的数据标注方法、装置及存储介质，可以提高医学影像标记结果的准确性。
第一方面，本申请实施例提供了一种基于模糊综合评价法的数据标注方法，包括：
获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
分别统计各个因素的评价结果的分布情况；
根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；
获取所述M个因素各自对应的权重；
结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；
根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
在一种可能的实现方式中，所述获取N个用户针对待标注图像的M个因素的评价结果之前，所述方法还包括：
确定待标注数据集；所述待标注数据集包括X个待标注图像；
将待标注数据集分别发送至N个终端；所述N个终端对应N个用户；
接收每个终端针对所述待标注数据集中的X个待标注图像每个因素的评价结果vj＝δ(k,x,ui)，得到评价结果集；其中k表示终端的编号，k取值范围为1到N的正整数，x表示待标注图像的编号，x取值范围为1到X的正整数，ui表示因素的编号，i的取值范围为1到M的正整数，vj表示评价结果，j的取值范围为1到Y的正整数；
所述获取N个用户针对待标注图像的M个因素的评价结果，包括：
根据所述待标注图像的编号从所述评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。
在一种可能的实现方式中，所述分别统计各个因素的评价结果的分布情况，包括：
统计所述N个用户对待标注图像x的因素ui的评价结果的分布情况；所述分布情况为有nij个用户对所述待标注图像x的因素ui的评价结果为vj，且
Figure BDA0003327643640000021
所述根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵包括：
确定所述待标注图像x的因素ui对所述Y个评价类型的隶属度rij＝nij/N；
根据所述待标注图像x的各个因素对所述Y个评价类型的隶属度确定所述待标注图像的模糊综合评价矩阵R＝[rij]M×Y。
在一种可能的实现方式中，所述M个因素各自对应的权重用1×M的矩阵表示，所述1×M的矩阵为所述待处理图像的因素集的权向量A＝(a1,a2,…,aM)；
所述结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量，包括：
通过模糊变换，将所述待处理图像的因素集的权向量转换为评价集的权向量B；所述
Figure BDA0003327643640000031
Figure BDA0003327643640000032
为主因素突出型合成算子。
在一种可能的实现方式中，所述评价集的权向量包括所述待标注图像的Y个评价类型各自对应的隶属度；
所述根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果，包括：确定所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型为所述待标注图像的评价结果。
在一种可能的实现方式中，所述M个因素包括以下至少2种：结节直径、是否有毛刺、结节类型、结节位置。
在一种可能的实现方式中，所述每个因素对应Y个评价类型包括以下至少2种：高危、中危、低危。
第二方面，本申请实施例提供了一种基于模糊综合评价法的数据标注装置，包括：
第一获取模块，用于获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
统计模块，用于分别统计各个因素的评价结果的分布情况；
第一确定模块，用于根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×N的矩阵；
第二获取模块，用于获取所述M个因素各自对应的权重；
第二确定模块，用于结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×N的矩阵；
第三确定模块，用于根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行本申请实施例第一方面或第一方面的任意一种可能的实现方式提供的方法步骤。
第四方面，本申请实施例提供了一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本申请实施例第一方面或第一方面的任意一种可能的实现方式提供的方法步骤。
本申请实施例通过获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；分别统计各个因素的评价结果的分布情况；根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；获取所述M个因素各自对应的权重；结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；根据所述评价集中包含的Y个值的权向量确定所述待标注图像的评价结果，可以使用模糊综合评价法对多位医师的标注过程进行量化和融合，消除了不同医师之间主观差异的影响，获得了较为客观的标注结果，解决了由于问题定义的模糊性所导致的多人标注不一致问题，提高结节标记结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于模糊综合评价法的数据标注系统的架构示意图；
图2为本申请实施例提供的一种基于模糊综合评价法的数据标注方法的流程示意图；
图3为本申请实施例提供的另外一种基于模糊综合评价法的数据标注方法的流程示意图；
图4为本申请实施例提供的一种评价结果集的示意图；
图5为本申请实施例提供的一种基于模糊综合评价法的数据标注装置的结构示意图；
图6为本申请实施例提供的另外一种基于模糊综合评价法的数据标注装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
请参见图1，图1是本申请实施例提供的一种基于模糊综合评价法的数据标注系统的架构示意图。
如图1所示，该基于模糊综合评价法的数据标注系统可以包括第一终端110、N个第二终端120，以及分别对应于每个第二终端120的用户130。本申请实施例中，用户130可以是医师，用于对第二终端120显示的待标注图像(单个结节的三维医学影像)中包含的结节进行评价，也即对待标注图像中包含的结节的良恶性，即危险类型(例如高危、中危、低危)进行识别分类。本申请实施例中以识别肺结节的良恶性为例进行说明。
第一终端110可以包含深度学习算法，用于对未知危险类型的包含结节的医学影像进行识别。该深度学习算法需要大量的、精确标注数据进行训练。本申请实施例中，第一终端110还可以用于与N个第二终端120进行通信。具体地，第一终端110可以向每个第二终端120发送待标注图像，第一终端110还可以接收第二终端120返回的对于待标注图像的评价结果，并根据各个第二终端120返回的对各个待标注图像的评价结果确定该待标注图像中包含的结节的危险类型。
第二终端120可以用于接收第一终端发送的待标注图像，并接收用户130对于该待标注图像的各个因素的评价结果，将待标注图像的各个因素的评价结果发送给第一终端110。本申请实施例中，每个待标注图像包括M个因素，例如但不限于：结节直径、是否有毛刺、结节类型、结节位置等。这M个因素可以构成因素集U＝(u1＝结节直径、u2＝是否有毛刺、u3＝结节类型、u4＝结节位置)。每个因素又分别对应一个评价集V＝(v1＝高危,v2＝中危,v3＝低危)。
第一终端110与任意一个第二终端120之间通过网络进行数据通信。网络可以是在第一终端110中任意一个第二终端120之间提供通信链路的介质，也可以是包含网络设备和传输介质的互联网，不限于此。传输介质可以是有线链路(例如但不限于，同轴电缆、光纤和数字用户线路(digital subscriber line，DSL)等)或无线链路(例如但不限于，无线上网(wireless fidelity，WIFI)、蓝牙和移动设备网络等)。
本申请实施例中涉及的第一终端110、第二终端120可以是以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴电子设备、虚拟现实设备等。
接下来结合图1示出的基于模糊综合评价法的数据标注系统，介绍本申请实施例提供的基于模糊综合评价法的数据标注方法。如图2所示，基于模糊综合评价法的数据标注方法至少可以包括以下几个步骤：
S201：获取N个用户针对待标注图像的M个因素的评价结果。
其中，每个因素对应Y个评价类型。
可选地，每个因素对应Y个评价类型包括以下至少2种：高危、中危、低危。本申请实施例中，以每个因素对应的评价类型包括高危、中危、低危这三种为例进行说明。
具体地，N个用户即为图1中提到的第二终端120对应的用户，该用户通常为专业的影像科医师，可以基于自己专业知识对待标注图像的M个因素的评价类型进行标注。
可选地，M个因素包括以下至少2种：结节直径、是否有毛刺、结节类型、结节位置。本申请实施例中，以M个因素包括结节直径、是否有毛刺、结节类型、结节位置这四种为例进行说明。
具体地，结节直径用于表征注图像中包含的结节的大小。通常而言，结节直接越大，表明该结节对应的危险程度越高。
具体地，毛是否有刺也是用于判断结节危险程度的指标。通常而言，有毛刺的结节的危险程度高于没有毛刺的结节的危险程度。
具体地，结节类型可以包括实性结节、半实性结节、磨玻璃结节等。不同类型的结节对应的危险程度不同。通常而言，磨玻璃结节的危险程度高于实性结节以及半实性结节的危险程度。实性结节的危险程度又高于半实性结节的危险程度。
具体地，结节位置用于表征结节在肺部的具体位置，例如左肺下页、右肺中页等。
S202：分别统计各个因素的评价结果的分布情况。
具体地，每个用户都会针对待标注图像的各个因素给出相应的评价结果。
示例性地，本申请实施例中，M＝4，Y＝3。每个待标注图像的M个因素构成因素集U＝(u1＝结节直径、u2＝是否有毛刺、u3＝结节类型、u4＝结节位置)。每个因素又分别对应一个评价集V＝(v1＝高危,v2＝中危,v3＝低危)。
对于待标注图像x的因素ui，统计有多少为医师将其分别评价为v1、v2、v3，记为ni1、ni2、ni3。其中：
Figure BDA0003327643640000071
则待标注图像x的因素ui对v1、v2、v3的隶属度分别为：
ri1＝ni1/N,ri2＝ni2/N,ri3＝ni3/N。
S203：根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵。
其中，所述模糊综合评价矩阵为M×Y的矩阵。
具体地，根据所述待标注图像x的各个因素对所述Y个评价类型的隶属度确定所述待标注图像的模糊综合评价矩阵R＝[rij]M×Y。其中，i取值为1到M的正整数，j取值为1到Y的正整数。
示例性地，若M＝4，Y＝3，待标注图像的模糊综合评价矩阵R如下：
Figure BDA0003327643640000072
S204：获取所述M个因素各自对应的权重。
具体地，对于因素集中每一个元素，给定一个权重参数，得到因素集的权向量，记为A＝(a1，a2，a3，a4)。也就是说，结节直径这一因素占的权重为a1，是否有毛刺这一因素占的权重为a2，结节类型这一因素占的权重为a3，结节位置径这一因素占的权重为a4。可以知道的是，各个权重之和为1。
S205：结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量。
其中，所述评价集的权向量为1×Y的矩阵。权向量中的每个值分别用于表征待标注图像对于各个评价结果的隶属度。
具体地，对肺结节图像x，通过模糊变换，将因素集U的权向量转换为评价集V的权向量B＝(b1，b2，b3)＝A°R，其中°称为模糊评价合成算子。这里选取主因素突出型合成算子，即
Figure BDA0003327643640000081
∨为合取运算，即为取ai×rij中的最大值。
例如，假设A＝(0.3，0.4，0.2，0.1)，即a1＝0.3，a2＝0.4，a3＝0.2，a4＝0.1，假设N为100，且对于肺结节图像x被标为高危(j＝1)的因素u1(结节直径)的人数(n11)为80，u2(是否有毛刺)的人数(n21)为50，u3(结节类型)的人数(n31)为60，u4(结节位置)的人数(n41)为30，那么：
a1×r11＝0.3×80/100＝0.24
a2×r21＝0.4×50/100＝0.2
a3×r31＝0.2×60/100＝0.12
a4×r41＝0.1×30/100＝0.03
那么，
Figure BDA0003327643640000082
也就是说，待标注图像x对于高危的隶属度为0.24。
可以知道，以上求解b1的过程同样适用于求解b2和b3，此处不再一一列举。
S206：根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
具体地，所述评价集的权向量包括所述待标注图像的Y个评价类型各自对应的隶属度。待标注图像的评价结果为所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型。
例如，若待标注图像对于高危的隶属度为0.24，对于中危的隶属度为0.5，对于低危的隶属度为0.27，可以看出，所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型为中危，那么待标注图像的评价结果即为中危。
本申请实施例通过获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；分别统计各个因素的评价结果的分布情况；根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；获取所述M个因素各自对应的权重；结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；根据所述评价集的权向量确定所述待标注图像的评价结果，可以使用模糊综合评价法对多位医师的标注过程进行量化和融合，消除了不同医师之间主观差异的影响，获得了较为客观的标注结果，解决了由于问题定义的模糊性所导致的多人标注不一致问题，提高结节标记结果的准确性。
图3示例性示出了本申请实施例提供的另外一种模糊综合评价法的数据标注方法，具体可以包括以下几个步骤：
S301：确定待标注数据集。
其中，所述待标注数据集包括X个待标注图像。
具体地，可以构建一个单射，使得待标注数据集X＝{x}中的每个x唯一映射到标注集Y＝{高危,中危,低危}中的元素，其中x为单个肺结节的三维图像。此外，还可以定义因素集U＝(u1＝结节直径、u2＝是否有毛刺、u3＝结节类型、u4＝结节位置)，评价集V＝(v1＝高危,v2＝中危,v3＝低危)。
S302：将待标注数据集分别发送至N个终端。
其中，所述N个终端对应N个用户。可以知道，此处接收数据集的N个终端即为图1中提到的第二终端。即为邀请N位医师参与标注任务，将待标注数据集X分别发送给这N位医师。对于每个x，要求每位医师分别对因素集U中的每一个因素选择一个评价集V中的评价，得到vj＝δ(k,x,ui)。vj表示第k位医师对肺结节图像x的因素ui的评价结果。其中，k表示终端的编号，k取值范围为1到N的正整数，x表示待标注图像的编号，x取值范围为1到X的正整数，ui表示因素的编号，i的取值范围为1到M的正整数，vj表示评价结果，j的取值范围为1到Y的正整数。以上医师对于单个待标注图像的单个因素的标注记为一次标注动作。
S303：接收每个终端针对所述待标注数据集中的X个待标注图像每个因素的评价结果vj＝δ(k,x,ui)，得到评价结果集。
具体地，此处的终端即为图1中提到的第二终端。当N位医师均完成对待标注数据集X的标注动作后，搜集所有的k，x，ui，vj，得到评价结果集。
图4示例性示出了本申请实施例提供的一种评价结果集的示意图。如图4所示，以待标注图像x为基准，可以通过每个医师k对于待标注图像x的因素ui的评价结果。例如，第二位医师(k＝2)对于待标注图像1(x＝1)的结节直径(u1)的评价结果为中危(v2)，第100位医师(k＝100)对于待标注图像2(x＝2)的结节类型(u3)的评价结果为高危(v1)，第3位医师(k＝3)对于待标注图像1000(x＝1000)的是否有毛刺(u2)的评价结果为高危(v1)。
S304：根据所述待标注图像的编号从所述评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。
具体地，确定待标注图像的编号后，即可从评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。具体地获取过程与S201一致，此处不再赘述。
S305：分别统计各个因素的评价结果的分布情况。
具体地，S305与S202一致，此处不再赘述。
S306：根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵。
具体地，S306与S203一致，此处不再赘述。
S307：获取所述M个因素各自对应的权重。
具体地，S307与S204一致，此处不再赘述。
S308：结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量。
具体地，S308与S205一致，此处不再赘述。
S309：根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
具体地，S309与S206一致，此处不再赘述。
本申请实施例通过获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；分别统计各个因素的评价结果的分布情况；根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；获取所述M个因素各自对应的权重；结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；根据所述评价集的权向量确定所述待标注图像的评价结果，可以使用模糊综合评价法对多位医师的标注过程进行量化和融合，消除了不同医师之间主观差异的影响，获得了较为客观的标注结果，解决了由于问题定义的模糊性所导致的多人标注不一致问题，提高结节标记结果的准确性。
图5示例性示出了本申请实施例提供的基于模糊综合评价法的数据标注装置的结构示意图。如图5所示，基于模糊综合评价法的数据标注装置50至少包括：
第一获取模块501，用于获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
统计模块502，用于分别统计各个因素的评价结果的分布情况；
第一确定模块503，用于根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×N的矩阵；
第二获取模块504，用于获取所述M个因素各自对应的权重；
第二确定模块505，用于结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×N的矩阵；
第三确定模块506，用于根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
在一些可能的实施例中，如图6所示，基于模糊综合评价法的数据标注装置50还可以包括：
第四确定模块507，用于确定待标注数据集；所述待标注数据集包括X个待标注图像；
发送模块508，用于将待标注数据集分别发送至N个终端；所述N个终端对应N个用户；
接收模块509，接收每个终端针对所述待标注数据集中的X个待标注图像每个因素的评价结果vj＝δ(k,x,ui)，得到评价结果集；其中k表示终端的编号，k取值范围为1到N的正整数，x表示待标注图像的编号，x取值范围为1到X的正整数，ui表示因素的编号，i的取值范围为1到M的正整数，vj表示评价结果，j的取值范围为1到Y的正整数；
第一获取模块501，具体用于根据所述待标注图像的编号从所述评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。
在一些可能的实施例中，统计模块502具体用于：统计所述N个用户对待标注图像x的因素ui的评价结果的分布情况；所述分布情况为有nij个用户对所述待标注图像x的因素ui的评价结果为vj，且
Figure BDA0003327643640000121
第一确定模块503包括：
第一确定子单元，用于确定所述待标注图像x的因素ui对所述Y个评价类型的隶属度rij＝nij/N；
第二确定子单元，用于根据所述待标注图像x的各个因素对所述Y个评价类型的隶属度确定所述待标注图像的模糊综合评价矩阵R＝[rij]M×Y。
在一些可能的实施例中，所述M个因素各自对应的权重用1×M的矩阵表示，所述1×M的矩阵为所述待处理图像的因素集的权向量A＝(a1,a2,…,aM)；
第二确定模块505具体用于：通过模糊变换，将所述待处理图像的因素集的权向量转换为评价集的权向量B；所述
Figure BDA0003327643640000122
为主因素突出型合成算子。
在一些可能的实施例中，所述评价集的权向量包括所述待标注图像的Y个评价类型各自对应的隶属度；
第三确定模块506具体用于：确定所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型为所述待标注图像的评价结果。
在一些可能的实施例中，所述M个因素包括以下至少2种：结节直径、是否有毛刺、结节类型、结节位置。
在一些可能的实施例中，所述每个因素对应Y个评价类型包括以下至少2种：高危、中危、低危。
本申请实施例通过使用模糊综合评价法对多位医师的标注过程进行量化和融合，消除了不同医师之间主观差异的影响，获得了较为客观的标注结果，解决了由于问题定义的模糊性所导致的多人标注不一致问题，提高结节标记结果的准确性。
上述基于模糊综合评价法的数据标注装置中各模块的划分仅用于举例说明，在其他实施例中,可将数据擦除装置按照需要划分为不同的模块，以完成上述数据擦除装置的全部或部分功能。本申请实施例中提供的数据擦除装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的数据擦除方法的全部或部分步骤。
请参阅图7，图7示出了本申请实施例提供的一种电子设备的结构示意图。
如图7所示，该电子设备700可以包括：至少一个处理器701、至少一个网络接口704、用户接口703、存储器705、触控屏706以及至少一个通信总线702。
其中，通信总线702可用于实现上述各个组件的连接通信。
其中，用户接口703可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。
其中，网络接口704可选的可以包括蓝牙模块、NFC模块、Wi-Fi模块等。
其中，处理器701可以包括一个或者多个处理核心。处理器701利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行路由设备700的各种功能和处理数据。可选的，处理器701可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器701可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块芯片进行实现。
其中，存储器705可以包括RAM，也可以包括ROM。可选的，该存储器705包括非瞬时性计算机可读介质。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。
具体地，处理器701可以用于调用存储器705中存储的应用程序，并具体执行以下操作：
获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
分别统计各个因素的评价结果的分布情况；
根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；
获取所述M个因素各自对应的权重；
结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；
根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
在一些可能的实施例中，处理器701获取N个用户针对待标注图像的M个因素的评价结果之前，还用于执行：
确定待标注数据集；所述待标注数据集包括X个待标注图像；
将待标注数据集分别发送至N个终端；所述N个终端对应N个用户；
接收每个终端针对所述待标注数据集中的X个待标注图像每个因素的评价结果vj＝δ(k,x,ui)，得到评价结果集；其中k表示终端的编号，k取值范围为1到N的正整数，x表示待标注图像的编号，x取值范围为1到X的正整数，ui表示因素的编号，i的取值范围为1到M的正整数，vj表示评价结果，j的取值范围为1到Y的正整数；
处理器701获取N个用户针对待标注图像的M个因素的评价结果时，具体用于执行：
根据所述待标注图像的编号从所述评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。
在一些可能的实施例中，处理器701分别统计各个因素的评价结果的分布情况时，具体用于执行：
统计所述N个用户对待标注图像x的因素ui的评价结果的分布情况；所述分布情况为有nij个用户对所述待标注图像x的因素ui的评价结果为vj，且
Figure BDA0003327643640000141
处理器701根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵时，具体用于执行：
确定所述待标注图像x的因素ui对所述Y个评价类型的隶属度rij＝nij/N；
根据所述待标注图像x的各个因素对所述Y个评价类型的隶属度确定所述待标注图像的模糊综合评价矩阵R＝[rij]M×Y。
在一些可能的实施例中，所述M个因素各自对应的权重用1×M的矩阵表示，所述1×M的矩阵为所述待处理图像的因素集的权向量A＝(a1,a2,…,aM)；
处理器701结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量时，具体用于执行：
通过模糊变换，将所述待处理图像的因素集的权向量转换为评价集的权向量B；所述
Figure BDA0003327643640000151
Figure BDA0003327643640000152
为主因素突出型合成算子。
在一些可能的实施例中，所述评价集的权向量包括所述待标注图像的Y个评价类型各自对应的隶属度；
处理器701根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果时，具体用于执行：确定所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型为所述待标注图像的评价结果。
在一些可能的实施例中，所述M个因素包括以下至少2种：结节直径、是否有毛刺、结节类型、结节位置。
在一些可能的实施例中，所述每个因素对应Y个评价类型包括以下至少2种：高危、中危、低危。
本申请实施例通过使用模糊综合评价法对多位医师的标注过程进行量化和融合，消除了不同医师之间主观差异的影响，获得了较为客观的标注结果，解决了由于问题定义的模糊性所导致的多人标注不一致问题，提高结节标记结果的准确性。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述图2或图3所示实施例中的一个或多个步骤。上述电子设备的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(Digital VersatileDisc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。
以上所述的实施例仅仅是本申请的优选实施例方式进行描述，并非对本申请的范围进行限定，在不脱离本申请的设计精神的前提下，本领域普通技术人员对本申请的技术方案作出的各种变形及改进，均应落入本申请的权利要求书确定的保护范围内。

Claims (10)

1.一种基于模糊综合评价法的数据标注方法，其特征在于，包括：
获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
分别统计各个因素的评价结果的分布情况；
根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×Y的矩阵；
获取所述M个因素各自对应的权重；
结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×Y的矩阵；
根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
2.如权利要求1所述的方法，其特征在于，所述获取N个用户针对待标注图像的M个因素的评价结果之前，所述方法还包括：
确定待标注数据集；所述待标注数据集包括X个待标注图像；
将待标注数据集分别发送至N个终端；所述N个终端对应N个用户；
接收每个终端针对所述待标注数据集中的X个待标注图像每个因素的评价结果vj＝δ(k,x,ui)，得到评价结果集；其中k表示终端的编号，k取值范围为1到N的正整数，x表示待标注图像的编号，x取值范围为1到X的正整数，ui表示因素的编号，i的取值范围为1到M的正整数，vj表示评价结果，j的取值范围为1到Y的正整数；
所述获取N个用户针对待标注图像的M个因素的评价结果，包括：
根据所述待标注图像的编号从所述评价结果集中获取N个用户针对所述待标注图像的M个因素的评价结果。
3.如权利要2所述的方法，其特征在于，所述分别统计各个因素的评价结果的分布情况，包括：
统计所述N个用户对待标注图像x的因素ui的评价结果的分布情况；所述分布情况为有nij个用户对所述待标注图像x的因素ui的评价结果为vj，且
Figure FDA0003327643630000021
所述根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵包括：
确定所述待标注图像x的因素ui对所述Y个评价类型的隶属度rij＝nij/N；
根据所述待标注图像x的各个因素对所述Y个评价类型的隶属度确定所述待标注图像的模糊综合评价矩阵R＝[rij]M×Y。
4.如权利要求3所述的方法，其特征在于，所述M个因素各自对应的权重用1×M的矩阵表示，所述1×M的矩阵为所述待处理图像的因素集的权向量A＝(a1,a2,…,aM)；
所述结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量，包括：
通过模糊变换，将所述待处理图像的因素集的权向量转换为评价集的权向量B；所述
Figure FDA0003327643630000022
Figure FDA0003327643630000023
为主因素突出型合成算子。
5.如权利要求4所述的方法，其特征在于，所述评价集的权向量包括所述待标注图像的Y个评价类型各自对应的隶属度；
所述根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果，包括：确定所述待标注图像的Y个评价类型各自对应的隶属度中隶属度最高的评价类型为所述待标注图像的评价结果。
6.如权利要求1所述的方法，其特征在于，所述M个因素包括以下至少2种：结节直径、是否有毛刺、结节类型、结节位置。
7.如权利要求1所述的方法，其特征在于，所述每个因素对应Y个评价类型包括以下至少2种：高危、中危、低危。
8.一种基于模糊综合评价法的数据标注装置，其特征在于，包括：
第一获取模块，用于获取N个用户针对待标注图像的M个因素的评价结果，每个因素对应Y个评价类型；
统计模块，用于分别统计各个因素的评价结果的分布情况；
第一确定模块，用于根据各个因素的评价结果的分布情况确定所述待标注图像的模糊综合评价矩阵；所述模糊综合评价矩阵为M×N的矩阵；
第二获取模块，用于获取所述M个因素各自对应的权重；
第二确定模块，用于结合所述M个因素各自对应的权重以及所述模糊综合评价矩阵确定所述待标注图像评价集的权向量；所述评价集的权向量为1×N的矩阵；
第三确定模块，用于根据所述评价集的权向量中包含的Y个值确定所述待标注图像的评价结果。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
CN202111269532.1A 2021-10-29 2021-10-29 基于模糊综合评价法的数据标注方法、装置及存储介质 Pending CN114004802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111269532.1A CN114004802A (zh) 2021-10-29 2021-10-29 基于模糊综合评价法的数据标注方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111269532.1A CN114004802A (zh) 2021-10-29 2021-10-29 基于模糊综合评价法的数据标注方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114004802A true CN114004802A (zh) 2022-02-01

Family

ID=79925007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111269532.1A Pending CN114004802A (zh) 2021-10-29 2021-10-29 基于模糊综合评价法的数据标注方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114004802A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450634A (zh) * 2023-06-15 2023-07-18 中新宽维传媒科技有限公司 一种数据源权重评估方法及其相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450634A (zh) * 2023-06-15 2023-07-18 中新宽维传媒科技有限公司 一种数据源权重评估方法及其相关装置
CN116450634B (zh) * 2023-06-15 2023-09-29 中新宽维传媒科技有限公司 一种数据源权重评估方法及其相关装置

Similar Documents

Publication Publication Date Title
Dembrower et al. Effect of artificial intelligence-based triaging of breast cancer screening mammograms on cancer detection and radiologist workload: a retrospective simulation study
Vipond et al. Multiparameter persistent homology landscapes identify immune cell spatial patterns in tumors
CN110807495A (zh) 多标签分类方法、装置、电子设备及存储介质
US10971255B2 (en) Multimodal learning framework for analysis of clinical trials
CN112288843B (zh) 一种病灶的三维构建方法、装置、终端设备及存储介质
CN107908641A (zh) 一种获取图片标注数据的方法和系统
US11984227B2 (en) Automatically determining a medical recommendation for a patient based on multiple medical images from multiple different medical imaging modalities
Engle et al. Performance of Qure. ai automatic classifiers against a large annotated database of patients with diverse forms of tuberculosis
WO2015118617A1 (ja) データ分析システム、データ分析方法、および、データ分析プログラム
WO2020243090A1 (en) Systems and methods for automated image analysis
Faruqui et al. Healthcare As a Service (HAAS): CNN-based cloud computing model for ubiquitous access to lung cancer diagnosis
CN113130052A (zh) 医生推荐方法、医生推荐装置、终端设备及存储介质
CN114004802A (zh) 基于模糊综合评价法的数据标注方法、装置及存储介质
CN112508907A (zh) 一种基于联邦学习的ct图像检测方法及相关装置
Bandos et al. Evaluation of diagnostic accuracy in free-response detection-localization tasks using ROC tools
US11075004B2 (en) Discrimination result providing apparatus, operating method of discrimination result providing apparatus, discrimination result providing program, and discrimination result providing system
CN109065177A (zh) 一种医疗数据的处理方法、装置、服务器及存储介质
CN115881304B (zh) 基于智能检测的风险评估方法、装置、设备及介质
CN116521915A (zh) 一种相似医学图像的检索方法、系统、设备及介质
US11963788B2 (en) Graph-based prostate diagnosis network and method for using the same
Trivedi et al. Effective deep learning approaches for predicting covid-19 outcomes from chest computed tomography volumes
CN112750530A (zh) 一种模型的训练方法、终端设备和存储介质
MZ et al. COVID-19 Deep Learning Prediction Model Using Publicly Available Radiologist-Adjudicated Chest X-Ray Images as Training Data: Preliminary Findings.
KR102569976B1 (ko) 의료 영상 처리 방법
EP4250217A1 (en) Information processing apparatus, program, and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220523

Address after: 518000 China Aviation Center 2901, No. 1018, Huafu Road, Huahang community, Huaqiang North Street, Futian District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Ping An medical and Health Technology Service Co.,Ltd.

Address before: Room 12G, Area H, 666 Beijing East Road, Huangpu District, Shanghai 200001

Applicant before: PING AN MEDICAL AND HEALTHCARE MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right