CN113128539A - 基于适应标注的物件侦测模型的训练方法及系统 - Google Patents

基于适应标注的物件侦测模型的训练方法及系统 Download PDF

Info

Publication number
CN113128539A
CN113128539A CN201911425125.8A CN201911425125A CN113128539A CN 113128539 A CN113128539 A CN 113128539A CN 201911425125 A CN201911425125 A CN 201911425125A CN 113128539 A CN113128539 A CN 113128539A
Authority
CN
China
Prior art keywords
loss
parameter
image
output image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911425125.8A
Other languages
English (en)
Inventor
吴柏佾
邓名杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Priority to CN201911425125.8A priority Critical patent/CN113128539A/zh
Publication of CN113128539A publication Critical patent/CN113128539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物件侦测模型的训练系统及训练方法。训练系统包括一物件侦测模型及一损失计算模块。物件侦测模型用以根据一输入影像产生一输出影像。损失计算模块耦接至物件侦测模型，用以根据输出影像及一解答影像计算一分类损失总和，根据分类损失总和计算一损失值，并将损失值传送至物件侦测模型。分类损失总和根据对应于多个物件类别的多个分类损失计算得到。对应于各物件类别的各分类损失根据一第一参数、一第二参数及一第三参数计算得到。

Description

基于适应标注的物件侦测模型的训练方法及系统
技术领域
本发明涉及一种基于适应标注的物件侦测模型的训练方法及系统。
背景技术
人工智能被广泛地应用在各种领域来进行影像的物件辨识。一般而言，在建立一个合用的基于人工智能的辨识模型时，往往需要使用大量已标注影像对辨识模型进行训练。在一些专业门槛较高的领域中，现行产生已标注影像的方法通常是以人工标注的方式产生。人工智能开发者往往难以修改由专业人员提供的人工标注的已标注影像。举例来说，在医疗影像的标注上，仰赖专业的医师来进行手动标注。医师手动标注的时间成本普遍较一般工读生来得高，导致难以要求医师在标注时以准确尺寸的标记框进行标注。另一方面，基于尊重医疗领域的高度专业，在取得医师手动标注的医疗影像后，不会对标记框进行调整或改动。基于上述种种原因，现有的技术难以有效地使用这类不经修改的手动标注的影像来训练出具有高效能的辨识模型。
发明内容
本发明的第一方面公开一种物件侦测模型的训练系统。训练系统包括一物件侦测模型及一损失计算模块。物件侦测模型用以根据一输入影像产生一输出影像。损失计算模块耦接至物件侦测模型，用以根据输出影像及一解答影像计算一分类损失总和，根据分类损失总和计算一损失值，并将损失值传送至物件侦测模型。分类损失总和根据对应于多个物件类别的多个分类损失计算得到。对应于各物件类别的各分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
本发明的第二方面公开一种物件侦测模型的训练方法。训练方法包括：提供该物件侦测模型一输入影像，以令该物件侦测模型根据输入影像产生一输出影像；通过一损失计算模块根据输出影像及一解答影像计算一分类损失总和；通过损失计算模块根据分类损失总和计算一损失值；以及通过损失计算模块将损失值传送至物件侦测模型。分类损失总和根据对应于多个物件类别的多个分类损失计算得到。对应于各物件类别的各分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
本发明的第三方面公开一种物件侦测模型的训练系统。训练系统包括一物件侦测模型、一第一损失计算模块及一第二损失计算模块。物件侦测模型包括一第一子模型及一第二子模型。第一子模型用以根据一输入影像产生一第一输出影像。第二子模型用以根据第一输出影像产生一第二输出影像。第一损失计算模块耦接至第一子模型，用以根据第一输出影像及一解答影像计算一第一分类损失总和，根据第一分类损失总和计算一第一损失值，并将第一损失值传送至第一子模型。第二损失计算模块耦接至第二子模型，用以根据第二输出影像及该解答影像计算一第二分类损失总和，根据第二分类损失总和计算一第二损失值，并将第二损失值传送至第二子模型。第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到。对应于各物件类别的各第一分类损失根据一第一参数及一第二参数计算得到。第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到。对应于各物件类别的各第二分类损失根据一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
本发明的第四方面公开一种物件侦测模型的训练方法。训练方法包括：提供物件侦测模型的一第一子模型一输入影像，以令第一子模型根据输入影像产生一输出影像；通过一第一损失计算模块根据第一输出影像及一解答影像计算一第一分类损失总和；通过第一损失计算模块根据第一分类损失总和计算一第一损失值；通过第一损失计算模块将第一损失值传送至第一子模型；通过物件侦测模型的一第二子模型根据第一输出影像产生一第二输出影像；通过一第二损失计算模块根据第二输出影像及解答影像计算一第二分类损失总和；通过第二损失计算模块根据第二分类损失总和计算一第二损失值；以及通过第二损失计算模块将第二损失值传送至第二子模型。第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到。对应于各物件类别的各第一分类损失根据一第一参数及一第二参数计算得到。第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到。对应于各物件类别的各第二分类损失根据一第三参数计算得到。第一参数对应于输出影像中物件类别的一或多个标记框是否有框选到应判断为物件类别的一或多个物件时的惩罚分数。第二参数对应于用以判断输出影像中物件类别的该一或多个标记框是否有框选到物件类别的该一或多个物件的一阈值。第三参数对应于输出影像中物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1A是理想的已标注影像的示意图；
图1B是实际的已标注影像的示意图；
图2是根据本发明一实施例的物件侦测模型的训练系统的方块图；
图3是根据本发明一实施例的物件侦测模型的训练系统的训练方法的流程图；
图4是根据本发明另一实施例的物件侦测模型的训练系统的方块图；
图5第是根据本发明另一实施例的物件侦测模型的训练系统的训练方法的流程图。
符号说明：
10、50：物件侦测模型
501：第一子模型
502：第二子模型
20、40：训练系统
70：第一损失计算模块
80：第二损失计算模块
90：损失计算模块
IMG-in：输入影像
IMG-out：输出影像
IMG-out1：第一输出影像
IMG-out2：第二输出影像
IMG-sol：解答影像
Loss：损失值
Loss1：第一损失值
Loss2：第二损失值
具体实施方式
为了更容易理解本发明的内容，本文的实施例皆以医疗影像为例来进行说明。需要注意的是，本发明可适用于训练用的解答影像(ground truth)为不可修改或不适合修改的情况，而并不限于医疗影像。
请参照图1A及图1B，图1A及图1B分别绘示理想的已标注影像的示意图及实际的已标注影像的示意图。说明本发明的实施例之前，先通过理想的已标注影像的示意图及实际的已标注影像的示意图的比较来说明现有技术面临的问题。
在图1A及图1B中，AA为第一物件，BB为第二物件，CC为第三物件，DD为第四物件。aa、aa1、aa2为用来标注第一病征的标记框，bb为用来标注第二病征的标记框，cc为用来标注第三病征的标记框，dd为用来标注第四病征的标记框。比较图1A及图1B可以发现实际的标注影像存在以下问题：
(1)标注不确实：病征可能会群聚出现，医师在标注时可能会将多个相同病征以单一标记框进行标注(例如图1B右侧三个第一物件AA仅以单一标记框aa1标注)。
(2)标记框偏移：病征尺寸较小时，医师标注的标记框可能未紧贴病征，甚至未完整将病征框入标记框中(例如图1B中左上角用以标注第一病征的标记框aa2未将第一物件AA完整框入)。
(3)标注遗漏：医师在标注时可能因类似病征数量过多而仅标注部分相似病征(例如图1B左侧的第一物件AA未以标记框进行标注)。
除了上述可通过图1A及图1B显示的问题以外，实际的已标注影像还存在(4)相似病征判定因人而异：不同的医师对于同一个病征可能有不同的判定。在实际的情况中，训练所需的已标注影像的数量通常为上千张，并由多位专业医师提供，而使得病征判定的标准不一致。举例来说，假设图1A中的第三物件CC在表现上相似于第一物件AA。大部分医师是以标记框cc来标注第三物件CC，少部分医师则是以标记框aa来标注第三物件CC。也就是大部分的医师会将第三物件CC判定为第三病征，而少部分的医师会将第三物件CC判定为第一病征。
本发明提出的训练方法及系统可以降低上述问题在训练物件侦测模型时产生的不良影响。
请参照图2，图2绘示的是根据本发明一实施例的物件侦测模型的训练系统的方块图。训练系统20包括一物件侦测模型10及一损失计算模块90。
物件侦测模型10可为单一阶段(one stage)的一类神经网路架构，并可通过计算机可读指令的组合来实现用以侦测物件及分类物件的演算法。在一实施例中，物件侦测模型10可以采用现有技术中适用的各种物件侦测模型。在另一实施例中，物件侦测模型10也可以采用各种经过改良的现有技术的物件侦测模型。换言之，本发明对于物件侦测模型10未加以限定。物件侦测模型10是用以根据一输入影像IMG-in产生一输出影像IMG-out。输入影像IMG-in可包括多个物件，例如是无标记框的图1A，即原始的医疗影像。物件侦测模型10会根据所使用的演算法来侦测输入影像IMG-in中物件，并将侦测出的物件以标记框标注，且每个标记框包括用以指示所框选的物件的一物件类别，以产生输出影像IMG-out。
损失计算模块90耦接至物件侦测模型10。损失计算模块90可通过计算机可读指令的组合来实现。损失计算模块90用以接收输出影像IMG-out及一解答影像IMG-sol，并根据输出影像IMG-out、解答影像IMG-sol及一损失函数(loss function)计算一损失值Loss。解答影像IMG-sol对应于输入影像IMG-in。解答影像IMG-sol为已标注的输入影像IMG-in，可视为输入影像IMG-in在经过标注后的正确答案(ground truth)。在一实施例中，解答影像IMG-sol可以是由医师手动标注的医疗影像。这样的影像可能会因存在前述的(1)-(4)的问题而在训练物件侦测模型10时(即训练阶段)产生不良的影响。损失计算模块90会将损失值传送至物件侦测模型10。物件侦测模型10可根据损失值调整物件侦测模型10的一或多个参数，以提升病征侦测的准确度。损失函数及损失值的细节将于下文说明。
在一实施例中，物件侦测模型10及损失计算模块90可储存于一存储器中，并由一处理器执行。处理器执行物件侦测模型10输出的输出影像IMG-out可储存至存储器中，且在处理器执行损失计算模块90时再从存储器中读取输出影像IMG-out，并将计算得到的损失值储存至存储器。
在一实施例中，损失值是根据一分类损失(classification loss)总和及一标记框损失(regulaion loss)总和计算得到，损失函数可以数学式表示为：
Figure BDA0002350831180000061
其中Loss为损失值，Losscls-i为对应于物件类别i的分类损失，Lossreg-i为对应于物件类别i的标记框损失，L为物件类别的数量。也就是说，分类损失总和是将所有物件类别的分类损失加总而得，标记框损失总和是将所有物件类别的标记框损失加总而得。分类损失总和是用以代表输出影像IMG-out中所标注出的物件的物件类别与解答影像IMG-sol的差异度。标记框损失总和则是用以代表输出影像IMG-out中所包含的标记框的位置、尺寸等(本发明不限定于此)与解答影像IMG-sol的差异度。而本发明主要是针对计算分类损失的方式进行改进。标记框损失可采用任何可用的函数，例如现有技术中可用的函数，进行计算，本发明不加以限定。
在本实施例中，用以计算对应于物件类别i的分类损失的分类损失函数可表示为：
Figure BDA0002350831180000071
需要注意的是，本发明不限定于使用此算式。上述数学式中p为信心度，代表物件侦测模型10对于以物件类别i的标记框标注的物件确实为的物件类别i的确定程度(每一个标记框会有一个对应的信心度)，为物件侦测模型10输出的不小于0且不大于1的一实数；β为第一参数，对应于输出影像中物件类别i的标记框有框选到应判断为物件类别i的物件时的惩罚分数，为一正实数；(1-β)对应于物件类别i的标记框未框选到应判断为物件类别i的物件时的惩罚分数；ε为第二参数，为用以判断输出影像中物件类别i的标记框是否有框选到物件类别i的物件的一阈值，为一正实数；Δε为容忍值，为一正实数；δi为第三参数，对应于输出影像中物件类别i的标记框框选到非物件类别i的物件时的一分数加权值；IoU(a，b)为计算a与b的联集分的交集；gti＝1代表的是解答影像IMG-sol中物件类别o的标记框，anchor-i代表的是输出影像IMG-out中物件类别i的标记框。上述式子代表的意义为：当解答影像IMG-sol中物件类别i的标记框与输出影像IMG-out中物件类别i的标记框的联集分的交集大于或等于ε时判断为正样本，并使用正样本的分类损失函数-β×δi×(1-p)2×log(p)；当解答影像IMG-sol中物件类别i的标记框与输出影像IMG-out中物件类别i的标记框的联集分的交集小于(ε-Δε)时判断为负样本，并使用负样本的分类损失函数-(1-β)×δi×(p)2×log(1-p)；当解答影像IMG-sol中物件类别i的标记框与输出影像IMG-out中物件类别i的标记框的联集分的交集大于(ε-Δε)且小于ε时，判断为不列入计算的样本，而不进行计算。
上述所谓的正样本指的是物件侦测模型10所要侦测的物件类别i的物件，负样本指的是物件侦测模型10所要侦测的物件类别i以外的物件或背景等(即所要侦测的病征以外的组织如正常的血管及肌肉等)。
第三参数δi的计算方式如下：
Figure BDA0002350831180000081
其中wmn为权重矩阵，用以记载物件类别之间的标注错误时的多个权重；gtn＝1代表的是解答影像中物件类别为n的标记框。当输出影像IMG-out中的物件类别i的标记框与解答影像IMG-sol中物件类别n的标记框的联集分的交集大于或等于ε时，以
Figure BDA0002350831180000082
wmn计算分数加权值。为了更容易理解，以下举一个实际的例子，以供参考。
在一实施例中，物件类别的数量L为4，包括第一病征Le1、第二病征Le2、第三病征Le3及第四病征Le4。权重矩阵为：
Figure BDA0002350831180000083
为了方便说明，以下以表格的方式说明权重矩阵。
表一
Figure BDA0002350831180000084
Figure BDA0002350831180000091
当在计算输出影像中物件类别Le1的分数加权时，会根据输出影像中物件类别Le1所框选的内容进行计算。举例来说，当输出影像中物件类别Le1的标记框框选到解答影像中所认定的第一病征、第二病征及第四病征时，δLe1等于1*1*1.3。也就是说，当物件侦测模型10以标注物件类别为第一病征Le1的标记框框选到解答影像认定为第四病征的物件时，惩罚分数会被加重。借此可以强化物件侦测模型10针对某些特定病征之间误判的学习。也就是说，可以通过在计算分类损失时进一步根据权重矩阵，可以有效降低(4)相似病征判定因人而异在训练阶段产生的不良影响。通过适当的设计权重矩阵中的元素值，可以使得训练出的物件侦测模型10在面对相似的病征的分类时更加准确。
需要注意的是，第三参数的计算除了通过权重矩阵，也可以通过查表来进行。例如可权重矩阵可以以类似表一的权重表来替代，在计算第三参数时通过读取表格中对应的栏位来取得需要的权重。
第二参数ε可以根据整体的解答影像集合(包括解答影像及其他的解答影像)的标记框与对象(或理想的标记框)之间的差异来决定。举例来说，可以藉由计算整体的解答影集合的标记框与对象(或理想的标记框)的联集分之交集，并据以调整第二参数来适应。现有技术中，通常会将ε设为0.5，且不会设定容忍值Δε，即Δε为0。而本实施例中，通过降低ε的值来适应较低的负样本与正样本的比例，例如将ε降低至0.4，来放宽物件侦测模型10标注的标记框是正确标注的门槛。并且通过加入容忍值Δε，例如将Δε设定为0.1，来排除不良样本。通过设定第二参数及容忍值可以有效降低(1)标注不确实及(2)标记框偏移的问题在训练阶段产生的不良影响。
此外，由于解答影像可能存在未被标注的正样本，故本实施例通过提高第一参数β，例如将β设定为0.75，使得物件侦测模型10标注正样本的惩罚分数高于不标注正样本的惩罚分数，来强化正样本的学习。从而鼓励物件侦测模型10标注正样本，如此一来可以有效降低(3)标注遗漏在训练阶段产生的不良影响。第一参数可以根据解答影像与其他解答影像中已被标注的正样本与未被标注的正样本的比例来决定。
请参照图3，图3绘示根据本发明一实施例的物件侦测模型的训练方法的流程图。图3的训练方法可应用于图2的训练系统20。
S301中，提供一输入影像至物件侦测模型。
S303中，物件侦测模型根据输入影像产生一输出影像。
S305中，损失计算模块根据输出影像及解答影像计算一分类损失总和及一标记框损失总和，并根据一分类损失总和及一标记框损失总和计算一损失值。分类损失总和为对应于多个物件类别的多个分类损失的总和。对应于各个物件类别的分类损失根据一第一参数、一第二参数及一第三参数计算得到。第一参数、第二参数及第三参数的细节可参考前文所述。
S307中，物件侦测模型根据损失值决定是否调整物件侦测模型的一或多个参数。
S309中，判断物件侦测模型是否已训练完成。若是，结束此流程；若否，回到S301。
请参照图4，图4绘示的是根据本发明另一实施例的物件侦测模型的训练系统的方块图。训练系统40包括一物件侦测模型50、一第一损失计算模块70及一第二损失计算模块80。
物件侦测模型50包括一第一子模型501及一第二子模型503。物件侦测模型50可为两阶段(two stage)的一类神经网路架构，并可通过计算机可读指令的组合来实现用以侦测物件的演算法。第一子模型501用以分离前景及背景，可以采用现有技术中适用的各种前背景分离模型或各种经过改良的现有技术的前背景分离模型。第二子模型502用以分类物件，可以采用现有技术中适用的各种物件分类模型或各种经过改良的现有技术的前背景分离模型。
第一子模型501用以根据一输入影像IMG-in产生一第一输出影像IMG-out1。输入影像IMG-in可包括多个物件，例如是无标记框的图1A，即原始的医疗影像。第二子模型502用以根据第一输出影像IMG-out1输出一第二输出影像IMG-out2。
第一损失计算模块70耦接至第一子模型501，用以根据第一输出影像IMG-out1、解答影像IMG-sol及一第一损失函数计算一第一损失值Loss1，并将第一损失值Loss1传送至第一子模型501。
第二损失计算模块80耦接至第二子模型502，用以根据第二输出影像IMG-out2、解答影像IMG-sol及一第二损失函数计算一第二损失值Loss2，并将第二损失值Loss2传送至第二子模型502。
第一损失值Loss1可根据一第一分类损失总和及一第一标记框损失总和计算得到。第一损失函数可以数学式表示为：
Figure BDA0002350831180000111
Figure BDA0002350831180000112
其中Loss1为第一损失值，Loss1cls-i为对应于物件类别i的第一分类损失，Loss1reg-i为对应于物件类别i的第一标记框损失，L为物件类别的数量。也就是说，第一分类损失总和是将所有物件类别的第一分类损失加总，第一标记框损失总和是将所有物件类别的第一标记框损失加总。第一分类损失总和是用以代表第一输出影像IMG-out1中所标注出的物件的物件类别与解答影像IMG-sol的差异度。第一标记框损失总和则是用以代表第一输出影像IMG-out1中所包含的标记框的位置、尺寸等与解答影像IMG-sol的差异度。而本发明主要是针对计算第一分类损失的方式进行改进。第一标记框损失可采用现有技术中可用的函数进行计算，本发明不加以限定。
在本实施例中，用以计算对应于物件类别i的第一分类损失的第一分类损失函数可表示为：
Figure BDA0002350831180000113
需要注意的是，本发明不限定于使用此算式。上述数学式中anchor1-i代表的是第一输出影像IMG-out1中用以标注物件类别i的标记框，其余参数可参考前文说明。
第二损失值Loss2可根据一第二分类损失总和及一第二标记框损失总和计算得到，第二损失函数可以数学表示为：
Figure BDA0002350831180000121
Figure BDA0002350831180000122
其中Loss2为第二损失值，Loss2cls-i为对应于物件类别i的第二分类损失，Loss2reg-i为对应于物件类别i的第二标记框损失，L为物件类别的数量。也就是说，第二分类损失总和是将所有物件类别的第二分类损失加总，第二标记框损失总和是将所有物件类别的第二标记框损失加总。第二分类损失总和是用以代表第二输出影像IMG-out2中所标注出的物件的物件类别与解答影像IMG-sol的差异度。第二标记框损失总和则是用以代表第一输出影像IMG-out2中所包含的标记框的位置、尺寸等与解答影像IMG-sol的差异度。而本发明主要是针对计算第二分类损失的方式进行改进。第二标记框损失可采用现有技术中可用的函数进行计算，本发明不加以限定。
在本实施例中，用以计算对应于物件类别i的第二分类损失的第二分类损失函数可表示为：
Figure BDA0002350831180000123
本发明不限定于使用此算式。上述数学式中anchor2-i代表的是第一输出影像IMG-out1中用以标注物件类别i的标记框；在本实施例中，ε1等于ε，ε2等于ε-Δε，其余参数可参考前文说明。
在本实施例中，第一损失计算模块70是根据第一参数及第二参数来计算第二损失值，而第二损失计算模块80是根据第二参数及第三参数来计算第二损失值。换言之，第一损失计算模块70可降低前述(1)、(2)、(3)的问题在训练阶段产生的不良影响，而第二损失计算模块80可降低前述(4)的问题在训练阶段产生的不良影响。
需要注意的是，在替代的实施例中，ε1等于ε，ε2等于ε。在另一个替代的实施例中，ε1可以不等于ε，而ε2等于ε1。也就是说，基于第二损失模块80主要是强化训练第二子模型502对于相似病征的辨识，故第二损失计算模块80判断正样本的标准可不同于第一损失计算模块70。
请参照图5，图5绘示根据本发明一实施例的物件侦测模型的训练方法的流程图。图5的训练方法可应用于图4的训练系统40。
S501中，提供一输入影像至物件侦测模型。
S503中，物件侦测模型的一第一子模型根据输入影像产生一第一输出影像。
S505中，第一损失计算模块根据第一输出影像及解答影像计算一第一分类损失总和及一第一标记框损失总和，并根据第一分类损失总和及第一标记框损失总和计算一第一损失值。第一分类损失总和为对应于多个物件类别的多个第一分类损失的总和。对应于各个物件类别的第一分类损失是根据一第一参数及一第二参数计算得到。第一参数及第二参数的细节可参考前文所述。
S507中，物件侦测模型根据第一损失值决定是否调整第一子模型的一或多个参数。
S509中，物件侦测模型的一第二子模型根据第一输出影像产生一第二输出影像。
S511中，第二损失计算模块根据第二输出影像及解答影像计算一第二分类损失总和及一第二标记框损失总和，并根据第二分类损失总和及第二标记框损失总和计算一第二损失值。第二分类损失总和为对应于多个物件类别的多个第二分类损失的总和。对应于各个物件类别的第二分类损失是根据一第三参数计算得到。第三参数的细节可参考前文所述。
S513中，物件侦测模型根据第二损失值决定是否调整第二子模型的一或多个参数。
S515中，判断物件侦测模型是否已训练完成。若是，结束此流程；若否，回到S501。
本发明提出的训练系统及训练方法可以适应各类专业领域的解答影像不可修改或不适合修改的特性。例如在医疗领域中，在不更动专业医师提供的解答影像中的标注的前提下，本发明通过放宽病征的正样本学习条件、病征正样本训练强化以及区隔学习相似病征区域可以有效降低(1)标注不确实、(2)标记框偏移、(3)标注遗漏及、(4)相似病征判定因人而异等问题在训练阶段造成的不良影响。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本领域技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰。因此，本发明的保护范围当视所附的权利要求所界定的为准。

Claims (20)

1.一种物件侦测模型的训练系统，包括：
一物件侦测模型，用以根据一输入影像产生一输出影像；以及
一损失计算模块，耦接至该物件侦测模型，用以根据该输出影像及一解答影像计算一分类损失总和，根据该分类损失总和计算一损失值，并将该损失值传送至该物件侦测模型，
其中该分类损失总和根据对应于多个物件类别的多个分类损失计算得到，对应于各该物件类别的各该分类损失根据一第一参数、一第二参数及一第三参数计算得到，该第一参数对应于该输出影像中该物件类别的一或多个标记框是否有框选到应判断为该物件类别的一或多个物件时的惩罚分数，该第二参数对应于用以判断该输出影像中该物件类别的该一或多个标记框是否有框选到该物件类别的该一或多个物件的一阈值，该第三参数对应于该输出影像中该物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
2.根据权利要求1所述的训练系统，其中该第三参数根据一权重矩阵计算或通过查询一权重表得到，该权重矩阵及该权重表用以记载该些物件类别之间标注错误时的多个权重。
3.根据权利要求1所述的训练系统，其中该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与该解答影像与该些第一解答影像的复数个对象之间的差异决定，或者该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与复数个理想标记框之间的差异决定。
4.根据权利要求3所述的训练系统，其中对应于各该物件类别的各该分类损失还根据一容忍值计算得到，该容忍值对应于该输出影像中不列入计算的该物件类别的一或多个标记框。
5.根据权利要求1所述的训练系统，其中该第一参数根据该解答影像与多个第一解答影像中已被标注的多个正样本与未被标注的多个正样本的比例来决定。
6.一种物件侦测模型的训练方法，包括：
提供该物件侦测模型一输入影像，以令该物件侦测模型根据该输入影像产生一输出影像；
通过一损失计算模块根据该输出影像及一解答影像计算一分类损失总和；
通过该损失计算模块根据该分类损失总和计算一损失值；以及
通过该损失计算模块将该损失值传送至该物件侦测模型，
其中该分类损失总和根据对应于多个物件类别的多个分类损失计算得到，对应于各该物件类别的各该分类损失根据一第一参数、一第二参数及一第三参数计算得到，该第一参数对应于该输出影像中该物件类别的一或多个标记框是否有框选到应判断为该物件类别的一或多个物件时的惩罚分数，该第二参数对应于用以判断该输出影像中该物件类别的该一或多个标记框是否有框选到该物件类别的该一或多个物件的一阈值，该第三参数对应于该输出影像中该物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
7.根据权利要求6所述的训练方法，其中该第三参数根据一权重矩阵计算或通过查询一权重表得到，该权重矩阵及该权重表用以记载该些物件类别之间标注错误时的多个权重。
8.根据权利要求6所述的训练方法，其中该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与该解答影像与该些第一解答影像的复数个对象之间的差异决定，或者该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与复数个理想标记框之间的差异决定。
9.根据权利要求8所述的训练方法，其中对应于各该物件类别的各该分类损失还根据一容忍值计算得到，该容忍值对应于该输出影像中不列入计算的该物件类别的一或多个标记框。
10.根据权利要求6所述的训练方法，其中该第一参数根据该解答影像与多个第一解答影像中已被标注的多个正样本与未被标注的多个正样本的比例来决定。
11.一种物件侦测模型的训练系统，包括：
一物件侦测模型，包括一第一子模型及一第二子模型，该第一子模型用以根据一输入影像产生一第一输出影像，该第二子模型用以根据该第一输出影像产生一第二输出影像；
一第一损失计算模块，耦接至该第一子模型，用以根据该第一输出影像及一解答影像计算一第一分类损失总和，根据该第一分类损失总和计算一第一损失值，并将该第一损失值传送至该第一子模型；以及
一第二损失计算模块，耦接至该第二子模型，用以根据该第二输出影像及该解答影像计算一第二分类损失总和，根据该第二分类损失总和计算一第二损失值，并将该第二损失值传送至该第二子模型，
其中该第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到，对应于各该物件类别的各该第一分类损失根据一第一参数及一第二参数计算得到，该第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到，对应于各该物件类别的各该第二分类损失根据一第三参数计算得到，该第一参数对应于该输出影像中该物件类别的一或多个标记框是否有框选到应判断为该物件类别的一或多个物件时的惩罚分数，该第二参数对应于用以判断该输出影像中该物件类别的该一或多个标记框是否有框选到该物件类别的该一或多个物件的一阈值，该第三参数对应于该输出影像中该物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
12.根据权利要求11所述的训练系统，其中该第三参数根据一权重矩阵计算或通过查询一权重表得到，该权重矩阵及该权重表用以记载该些物件类别之间标注错误时的多个权重。
13.根据权利要求11所述的训练系统，其中该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与该解答影像与该些第一解答影像的复数个对象之间的差异决定，或者该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与复数个理想标记框之间的差异决定。
14.根据权利要求13所述的训练系统，其中对应于各该物件类别的各该分类损失还根据一容忍值计算得到，该容忍值对应于该输出影像中不列入计算的该物件类别的一或多个标记框。
15.根据权利要求11所述的训练系统，其中该第一参数根据该解答影像与多个第一解答影像中已被标注的多个正样本与未被标注的多个正样本的比例来决定。
16.一种物件侦测模型的训练方法，包括：
提供该物件侦测模型的一第一子模型一输入影像，以令该第一子模型根据该输入影像产生一输出影像；
通过一第一损失计算模块根据该第一输出影像及一解答影像计算一第一分类损失总和；
通过该第一损失计算模块根据该第一分类损失总和计算一第一损失值；
通过该第一损失计算模块将该第一损失值传送至该第一子模型；
通过该物件侦测模型的一第二子模型根据该第一输出影像产生一第二输出影像；
通过一第二损失计算模块根据该第二输出影像及该解答影像计算一第二分类损失总和；
通过该第二损失计算模块根据该第二分类损失总和计算一第二损失值；以及
通过该第二损失计算模块将该第二损失值传送至该第二子模型，
其中该第一分类损失总和根据对应于多个物件类别的多个第一分类损失计算得到，对应于各该物件类别的各该第一分类损失根据一第一参数及一第二参数计算得到，该第二分类损失总和根据对应于该些物件类别的多个第二分类损失计算得到，对应于各该物件类别的各该第二分类损失根据一第三参数计算得到，该第一参数对应于该输出影像中该物件类别的一或多个标记框是否有框选到应判断为该物件类别的一或多个物件时的惩罚分数，该第二参数对应于用以判断该输出影像中该物件类别的该一或多个标记框是否有框选到该物件类别的该一或多个物件的一阈值，该第三参数对应于该输出影像中该物件类别的该一或多个标记框框选到非该物件类别的一或多个物件时的一分数加权值。
17.根据权利要求16所述的训练方法，其中该第三参数根据一权重矩阵计算或通过查询一权重表得到，该权重矩阵及该权重表用以记载该些物件类别之间标注错误时的多个权重。
18.根据权利要求16所述的训练方法，其中该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与该解答影像与该些第一解答影像的复数个对象之间的差异决定，或者该第二参数系根据该解答影像与复数个第一解答影像的复数个标记框与复数个理想标记框之间的差异决定。
19.根据权利要求18所述的训练方法，其中对应于各该物件类别的各该分类损失还根据一容忍值计算得到，该容忍值对应于该输出影像中不列入计算的该物件类别的一或多个标记框。
20.根据权利要求16所述的训练方法，其中该第一参数根据该解答影像与多个第一解答影像中已被标注的多个正样本与未被标注的多个正样本的比例来决定。
CN201911425125.8A 2019-12-31 2019-12-31 基于适应标注的物件侦测模型的训练方法及系统 Pending CN113128539A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425125.8A CN113128539A (zh) 2019-12-31 2019-12-31 基于适应标注的物件侦测模型的训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425125.8A CN113128539A (zh) 2019-12-31 2019-12-31 基于适应标注的物件侦测模型的训练方法及系统

Publications (1)

Publication Number Publication Date
CN113128539A true CN113128539A (zh) 2021-07-16

Family

ID=76770823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425125.8A Pending CN113128539A (zh) 2019-12-31 2019-12-31 基于适应标注的物件侦测模型的训练方法及系统

Country Status (1)

Country Link
CN (1) CN113128539A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028725A1 (en) * 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
CN109902722A (zh) * 2019-01-28 2019-06-18 北京奇艺世纪科技有限公司 分类器、神经网络模型训练方法、数据处理设备及介质
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028725A1 (en) * 2017-08-10 2019-02-14 Intel Corporation CONVOLUTIVE NEURAL NETWORK STRUCTURE USING INVERTED CONNECTIONS AND OBJECTIVITY ANTERIORITIES TO DETECT AN OBJECT
KR20190042384A (ko) * 2017-10-16 2019-04-24 한국생산기술연구원 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
CN109902722A (zh) * 2019-01-28 2019-06-18 北京奇艺世纪科技有限公司 分类器、神经网络模型训练方法、数据处理设备及介质
CN110414432A (zh) * 2019-07-29 2019-11-05 腾讯科技（深圳）有限公司 对象识别模型的训练方法、对象识别方法及相应的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林报嘉;刘晓东;杨川;: "基于深度学习的高分影像道路提取方法研究", 公路, no. 08 *

Similar Documents

Publication Publication Date Title
JP6941123B2 (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
US10013636B2 (en) Image object category recognition method and device
Chong et al. Simultaneous image classification and annotation
CN103136504B (zh) 人脸识别方法及装置
US20080091627A1 (en) Data Learning System for Identifying, Learning Apparatus, Identifying Apparatus and Learning Method
CN110569703B (zh) 计算机执行的从图片中识别损伤的方法及装置
US20090019171A1 (en) Method, device and system for determining mail class
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN110827265A (zh) 基于深度学习的图片异常检测方法
US20180285670A1 (en) Systems and Methods for Identifying Objects in Media Contents
JP4795864B2 (ja) 特徴点検出装置および方法並びにプログラム
CN111460991A (zh) 异常检测方法、相关设备及可读存储介质
TWI702536B (zh) 基於適應標註的物件偵測模型的訓練方法及系統
CN112396588A (zh) 一种基于对抗网络的眼底图像识别方法、系统及可读介质
CN113254592A (zh) 基于门机制的多级注意力模型的评论方面检测方法及系统
CN113128539A (zh) 基于适应标注的物件侦测模型的训练方法及系统
JP6969678B2 (ja) 画像判定システム、画像判定方法および画像判定プログラム
CN117218408A (zh) 基于因果纠偏学习的开放世界目标检测方法及装置
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
Boom et al. Uncertainty-aware estimation of population abundance using machine learning
CN113033525B (zh) 图像识别网络的训练方法、电子设备及存储介质
CN113177603B (zh) 分类模型的训练方法、视频分类方法及相关设备
JP7239002B2 (ja) 物体数推定装置、制御方法、及びプログラム
CN113705720A (zh) 机器学习中应用权重修正来减低加权训练偏差的方法
WO2023041181A1 (en) Electronic device and method for determining human height using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination