CN111507469B - 对自动标注装置的超参数进行优化的方法和装置 - Google Patents

对自动标注装置的超参数进行优化的方法和装置 Download PDF

Info

Publication number
CN111507469B
CN111507469B CN202010045709.9A CN202010045709A CN111507469B CN 111507469 B CN111507469 B CN 111507469B CN 202010045709 A CN202010045709 A CN 202010045709A CN 111507469 B CN111507469 B CN 111507469B
Authority
CN
China
Prior art keywords
automatic
label
inherent
image
true
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010045709.9A
Other languages
English (en)
Other versions
CN111507469A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勳
柳宇宙
张泰雄
郑景中
渚泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507469A publication Critical patent/CN111507469A/zh
Application granted granted Critical
Publication of CN111507469B publication Critical patent/CN111507469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供为了减少运算时间而对自动标注并自动评价待利用于学习神经网络的训练图像的自动标注装置的超参数(hyperparameter)进行优化的方法。上述方法的特征在于，包括：步骤(a)，优化装置使上述自动标注装置生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，从而将上述具有固有自动标签的原始图像分类为简单原始图像和复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为简单验证图像和复杂验证图像；步骤(b)，计算上述自动标注装置的当前可信度，生成样品超参数组，计算上述自动标注装置的样品可信度，对预设超参数组进行优化。通过强化学习的策略梯度算法(policy gradient algorithm)来执行上述方法。

Description

对自动标注装置的超参数进行优化的方法和装置
技术领域
本发明涉及对自动标注待利用于学习神经网络的一个以上训练图像的自动标注装置的超参数进行优化的方法及装置。
背景技术
近来，对利用机器学习（machine learning）来识别对象的方法等进行研究。通过这种机器学习环节，使利用在输入层与输出层之间具有多个隐含层（hidden layer）的神经网络的深度学习具有高识别性能。
而且，利用上述深度学习的上述神经网络通常通过利用损失的反向传播进行学习。
为了进行这种深度学习网络的学习，需要由标注者（labeler）对个别数据点添加标签（tag），即，标签（label）的训练数据。准备这种训练数据（即，准确分类数据），尤其，在利用大量的训练数据的情况和数据预处理的质量持续不高的情况下，劳动密集、成本高且繁琐。以往的可相互标注的方法成本高而无法导出理想结果。
因此，最近，执行利用基于深度学习的自动标注装置来对训练图像添加标签（tag），即，标签（label）的自动标注，通过检查由检查人员自动标注的训练图像来校正上述标签（tag）或标签（label）。
这种以往的自动标注装置可通过再学习来提高准确度。
然而，可通过上述自动标注装置的再学习提高准确度的程度具有限制性，因此为了更高的准确度需要反复进行再学习。
并且，用于提高上述自动标注装置的准确度的上述再学习需要消耗很多时间，因此需要消耗很多时间来获得上述自动标注装置的适当准确度。
发明内容
技术问题
本发明的目的在于，解决以上提及的所有问题。
本发明的再一目的在于，在不进行再学习的情况下，可以提高自动标注装置的准确度。
本发明的另一目的在于，在再学习过程中也可以提高上述自动标注装置的准确度。
解决问题的手段
为了达成如上所述的本发明的目的，并带来后述的本发明的特征性效果，本发明的特征性结构如下：
根据本发明的一方面，提供对自动标注（auto-labeling）待利用于学习神经网络的一个以上训练图像的自动标注装置的一个以上超参数（hyperparameter）进行优化的方法，其特征在于，包括：步骤（a），若获得待标注的一个以上原始图像及拍摄环境与上述原始图像相似的具有固有真标签的一个以上验证图像，则优化装置使具有至少一个预设超参数组的上述自动标注装置分别对上述原始图像和上述具有固有真标签的验证图像进行自动标注来生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单（easy）原始图像和具有固有自动标签的复杂（difficult）原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像；以及步骤（b），若获得上述具有固有真标签及自动标签的简单验证图像，则上述优化装置通过参照上述具有固有真标签及自动标签的简单验证图像来计算与上述预设超参数组相对应的上述自动标注装置的当前可信度，根据与上述预设超参数组相对应的至少一个规定规则来生成所调整的一个以上样品超参数组，分别对分别与上述样品超参数组相对应的上述自动标注装置的样品可信度进行计算，并以使与上述预设超参数组相对应的上述当前可信度向与特定样品超参数组相对应的上述样品可信度变高的方向调整的方式对上述预设超参数组进行优化，作为上述特定样品超参数组，从上述样品超参数组中选定具有高于与上述预设超参数组相对应的上述当前可信度的样品可信度的部分样品超参数组。
一实施例中，本发明的方法的特征在于，还包括步骤（c），上述优化装置对上述预设超参数组进行优化，使得与上述预设超参数组相对应的上述当前可信度维持预设值以上的状态并使上述具有固有自动标签的原始图像与上述具有固有自动标签的简单原始图像的比例最大化。
一实施例中，本发明的方法的特征在于，上述自动标注装置包括复杂图像识别网络，上述复杂图像识别网络将上述具有固有自动标签的原始图像分类为上述具有固有自动标签的简单原始图像和上述具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为上述具有固有真标签及自动标签的简单验证图像和上述具有固有真标签及自动标签的复杂验证图像，在上述步骤（c）中，上述优化装置对上述预设超参数组进行优化，上述预设超参数组包括：（i）上述复杂图像识别网络对上述具有固有自动标签的原始图像的自动标签分别成为异常等级（abnormal class）的各个概率和上述具有固有真标签及自动标签的验证图像的自动标签分别成为上述异常等级的各个概率进行计算的第一设定值；（ii）上述复杂图像识别网络对上述具有固有自动标签的原始图像是否为上述具有固有自动标签的复杂原始图像以及上述具有固有真标签及自动标签的验证图像是否为上述具有固有真标签及自动标签的复杂验证图像进行辨别的第二设定值。
一实施例中，本发明的方法的特征在于，在上述步骤（b）中，上述优化装置使可信度评价网络通过参照上述具有固有真标签及自动标签的简单验证图像的真标签及自动标签来计算上述自动标注装置的上述当前可信度。
一实施例中，本发明的方法的特征在于，当上述具有固有真标签及自动标签的简单验证图像的真标签为XAL、自动标签为LAL、精密度（Precision）（XAL，LAL）＝1-[LAL内误检测标签数量]/[LAL内总标签数量]、查全率（Recall）（XAL，LAL）＝1-[XAL内未检测标签数量]/[XAL内总标签数量]时，通过下述式来评价上述自动标注装置的上述当前可信度（Reliability）：
。
一实施例中，本发明的方法的特征在于，上述自动标注装置包括对象检测网络，上述对象检测网络通过自动标注上述原始图像和上述具有固有真标签的验证图像来生成上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像，在上述步骤（b）中，上述优化装置对包括上述对象检测网络的每个等级的各个分数阈值、每个等级的各个非极大值抑制（NMS，non-maximum suppression）阈值、每个等级的各个边界框选定阈值及每个等级的各个最小对象大小的上述预设超参数组的一个以上预设超参数中的至少一部分进行优化。
本发明的另一方面，提供对自动标注（auto-labeling）待利用于学习神经网络的一个以上训练图像的自动标注装置的一个以上超参数（hyperparameter）进行优化的优化装置，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤（I）及步骤（II），步骤（I）中，若获得待标注的一个以上原始图像及拍摄环境与上述原始图像相似的具有固有真标签的一个以上验证图像，则使具有至少一个预设超参数组的上述自动标注装置分别对上述原始图像和上述具有固有真标签的验证图像进行自动标注来生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像，步骤（II）中，若获得上述具有固有真标签及自动标签的简单验证图像，则通过参照上述具有固有真标签及自动标签的简单验证图像来计算与上述预设超参数组相对应的上述自动标注装置的当前可信度，根据与上述预设超参数组相对应的至少一个规定规则来生成所调整的一个以上样品超参数组，分别对分别与上述样品超参数组相对应的上述自动标注装置的样品可信度进行计算，并以使与上述预设超参数组相对应的上述当前可信度向与特定样品超参数组相对应的上述样品可信度变高的方向调整的方式对上述预设超参数组进行优化，作为上述特定样品超参数组，从上述样品超参数组中选定具有高于与上述预设超参数组相对应的上述当前可信度的样品可信度的部分样品超参数组。
一实施例中，本发明的优化装置的特征在于，上述处理器还执行步骤（III），对上述预设超参数组进行优化，使得与上述预设超参数组相对应的上述当前可信度维持预设值以上的状态并使上述具有固有自动标签的原始图像与上述具有固有自动标签的简单原始图像的比例最大化。
一实施例中，本发明的优化装置的特征在于，上述自动标注装置包括复杂图像识别网络，上述复杂图像识别网络将上述具有固有自动标签的原始图像分类为上述具有固有自动标签的简单原始图像和上述具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为上述具有固有真标签及自动标签的简单验证图像和上述具有固有真标签及自动标签的复杂验证图像，在上述步骤（III）中，上述处理器对上述预设超参数组进行优化，上述预设超参数组包括：（i）上述复杂图像识别网络对上述具有固有自动标签的原始图像的自动标签分别成为异常等级（abnormal class）的各个概率和上述具有固有真标签及自动标签的验证图像的自动标签分别成为上述异常等级的各个概率进行计算的第一设定值；以及（ii）上述复杂图像识别网络对上述具有固有自动标签的原始图像是否为上述具有固有自动标签的复杂原始图像以及上述具有固有真标签及自动标签的验证图像是否为上述具有固有真标签及自动标签的复杂验证图像进行辨别的第二设定值。
一实施例中，本发明的优化装置的特征在于，在上述步骤（II）中，上述处理器使可信度评价网络通过参照上述具有固有真标签及自动标签的简单验证图像的真标签及自动标签来计算上述自动标注装置的上述当前可信度。
一实施例中，本发明的优化装置的特征在于，当上述具有固有真标签及自动标签的简单验证图像的真标签为XAL、自动标签为LAL、精密度（Precision）（XAL，LAL）＝1-[LAL内误检测标签数量]/[LAL内总标签数量]、查全率（Recall）（XAL，LAL）＝1-[XAL内未检测标签数量]/[XAL内总标签数量]时，通过下述式来评价上述自动标注装置的上述当前可信度（Reliability）：
。
一实施例中，本发明的优化装置的特征在于，上述自动标注装置包括对象检测网络，上述对象检测网络通过自动标注上述原始图像和上述具有固有真标签的验证图像来生成上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像，在上述步骤（II）中，上述处理器对包括上述对象检测网络的每个等级的各个分数阈值、每个等级的各个非极大值抑制（NMS，non-maximum suppression）阈值、每个等级的各个边界框选定阈值及每个等级的各个最小对象大小的上述预设超参数组的一个以上预设超参数中的至少一部分进行优化。
此外，还提供用于存储执行本发明的方法的计算机程序的计算机可读存储介质。
发明的效果
本发明具有在不进行再学习的情况下可通过反映自动标注（auto-labeling）装置的检查结果来对上述自动标注装置的超参数进行优化从而提高上述自动标注装置的准确度的效果。
并且，本发明具有在再学习过程中可通过反映上述自动标注装置的上述检查结果来对上述自动标注装置的上述超参数进行优化从而提高上述自动标注装置的准确度的效果。
并且，本发明具有可通过利用更高的准确度获得可信度更高的训练数据来在下一次再学习会话中更加提高上述自动标注装置的准确度的效果。
并且，本发明具有可提供以减少的运算时间及高精密度执行上述训练图像的自动评价（auto-evaluating）和自动标注的上述自动标注装置的效果。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属领域的普通技术人员（以下，“普通技术人员”）可以在不付出创造性劳动的情况下通过该附图得出其他附图。
图1简要示出根据本发明一实施例的对自动标注（auto-labeling）待利用于学习神经网络的一个以上训练图像的自动标注装置的一个以上超参数进行优化的优化装置。
图2简要示出根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法。
图3简要示出在根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法中选定拍摄环境与一个以上原始图像相似的一个以上验证图像的方法。
图4简要示出在根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法中用于进行自动标注的对象检测步骤。
图5简要示出在根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法中分类一个以上复杂图像的步骤。
图6简要示出在根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法中学习分类上述复杂图像的神经网络的方法。
图7简要示出根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法。
图8简要示在根据本发明一实施例的对自动标注待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法中提高上述自动标注装置的准确度的步骤。
具体实施方式
以下，本发明能够实施的特定实施例为例，参照附图对本发明进行详细说明，本发明的目的、技术手段及优点将更加明确。普通技术人员可以参照对这些实施例的详细说明充分实施这些实施例。
并且，本发明的详细说明及权利要求书中，术语“包括”及其变形不排除其他技术特征、附加物、结构要素或步骤等。对普通技术人员而言，本发明的其他目的、优点及特性的一部分可以从本说明书得知，一部分可以在实施本发明的过程中得知。以下例示及附图只是实例，本发明并不局限于此。
进而，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然不同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可体现为另一实施例。并且，所公开的各个实施例内的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不是限定的意思，只要能适当说明，本发明的范围应根据与权利要求书的范围等同的所有范围和所附的权利要求书而定。附图中类似的附图标记在多个方面指类似的功能。
本发明中提及的各种图像可以包括柏油马路或非柏油马路的相关图像，这种情况下可以假设包括马路环境中可以出现的物体（假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物），但并不局限于此。本发明中提及的各种图像还可以为与马路无关的图像（假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像），这种情况下可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体（假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物），但并不局限于此。
以下，为了使本发明所属领域的普通技术人员容易实施本发明，参照附图对本发明的优选实施例进行详细说明。
图1简要示出根据本发明一实施例的分析图像的、自动标注（auto-labeling）待利用于学习如深度学习网络等神经网络的一个以上训练图像的自动标注装置的一个以上超参数进行优化的优化装置。参照图1，上述优化装置100可以包括：存储器110，存储用于对上述自动标注装置的上述超参数进行优化的指令；以及处理器120，为了对上述自动标注装置的超参数进行优化而执行与存储在上述存储器110的上述指令相对应的步骤。
具体地，上述优化装置100典型地利用至少一个计算装置（例如，可包括计算机处理器、存储器、内存、输入装置及输出装置、其他现有的计算装置的结构要素的装置；路由器、开关等电子通信装置；网络附属存储（NAS）及存储区域网络（SAN）等电子信息存储系统）和至少一个计算机软件（即，使得上述计算装置以特定方式运行的指令）的组合来实现所需的系统性能。
并且，上述计算装置的处理器可以包括MPU（Micro Processing Unit）或CPU（Central Processing Unit）、缓存存储器（Cache Memory）、数据总线（Data Bus）等硬件结构。并且，上述计算装置还可包括操作系统及执行特定目的的应用的软件结构。
然而，不排除上述计算装置包括用于实施本发明的处理器、存储器、介质或其他计算用结构要素整合的形态的整合处理器的情况。
以下，参照图2说明根据本发明一实施例的利用上述优化装置100对自动标注（auto-labeling）待利用于学习上述神经网络的上述训练图像的上述自动标注装置的上述超参数进行优化的方法。
首先，若获得待标注的一个以上原始图像10及拍摄环境与上述原始图像相似的具有固有真标签（true label）的一个以上验证图像候选组20（S1），则上述优化装置100使具有至少一个预设超参数组的上述自动标注装置200分别对上述原始图像10和上述具有固有真标签的一个以上验证图像候选组20进行自动标注来生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像。
即，若获得上述待标注的原始图像10，上述优化装置100使相似图像选择网络300分别选择分别与上述原始图像10相对应的拍摄环境与上述原始图像10相似的具有固有真标签的验证图像21。而且，上述优化装置100通过向上述自动标注装置200输入上述原始图像10和上述具有固有真标签的验证图像21输入来使上述自动标注装置200对上述原始图像10和上述具有固有真标签的验证图像21进行自动标注。
因此，上述原始图像10和上述具有固有真标签的验证图像21通过上述自动标注装置200被自动标注而可成为具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像。
另一方面，以下，参照图3说明上述相似图像选择网络300选定拍摄环境与上述原始图像10相似的上述具有固有真标签的验证图像21的方法。
若上述优化装置100向述相似图像选择网络300输入上述所获得的原始图像，则上述相似图像选择网络300在上述原始图像中任意图像11上对各个滑动窗口的各区域进行裁剪并调整大小来获得图像12。此时，作为其他例，非上述相似图像选择网络300的上述优化装置100还可以获得在上述任意图像11上对各个上述滑动窗口的各区域进行裁剪并调整大小的上述加工图像12，并向上述相似图像选择网络300输入与各个上述原始图像相对应的各个上述加工图像。
因此，上述相似图像选择网络300使图像分类器310对上述加工图像12进行分类（Classification）来输出各个上位k个等级信息。作为一例，上述图像分类器310生成各个上述加工图像12的各个特征地图，利用各个上述特征地图将对象分类为白天、鸟、春季、云、山、树、家、自行车、人、道路、狗等等级组，并可以输出上述上位k个等级信息。此时，在附图中示出输出上位4个等级信息，但本发明的范围并不限定于此。并且，在附图中示出与各个上述加工图像12相对应的上述图像分类器310为多个，但与此不同地，利用一个图像分类器来输出与各个上述加工图像相对应的上述上位k个等级信息，或者还可以利用与上述加工图像相对应但与上述加工图像数量不同数量的上述图像分类器来输出上述上位k个等级信息。
而且，上述相似图像选择网络300通过参照从上述图像分类器310输出的与各个上述加工图像相对应的上述上位k个等级信息来将生成至少一个词袋模型（BoW，Bag ofWords）的至少一个运算适用于所有上述原始图像，从而生成与上述原始图像有关的至少一个词袋模型直方图。
然后，上述相似图像选择网络300按靠近上述词袋模型直方图的顺序从上述具有固有真标签的验证图像候选组20中选择预设数量的上述具有固有真标签的验证图像21，从而可为了将上述原始图像和上述预设数量的上述具有固有真标签的验证图像21自动标注而传输至上述自动标注装置200。此时，上述相似图像选择网络300可通过管理上述预设数量的上述验证图像候选组中具有固有真标签的复杂验证图像和复杂原始图像来使上述预设数量的上述具有固有真标签的验证图像候选组中上述具有固有真标签的复杂验证图像的数量相对于上述原始图像中上述复杂原始图像的数量具有特定比例。作为一例，上述预设数量的上述具有固有真标签的验证图像候选组中上述具有固有真标签的复杂验证图像的数量可以为上述原始图像中上述复杂原始图像的数量的10％。
并且，若获得上述原始图像10和上述具有固有真标签的验证图像21，上述自动标注装置200使对象检测网络210生成与位于上述原始图像10上和上述原始图像10上的对象有关的边界框，从而可对上述原始图像10和上述具有固有真标签的验证图像21进行自动标注。
以下，参照图4来对上述对象检测网络210在上述原始图像10和上述具有固有真标签的验证图像21上生成上述边界框的方法进行说明。
若上述原始图像10和上述具有固有真标签的验证图像21中的一个被输入为输入图像，上述对象检测网络210使一个以上卷积层211对上述输入图像适用卷积运算来输出至少一个对象检测用特征地图。此时，上述卷积层211可通过对上述输入图像依次适用上述卷积运算来生成上述对象检测用特征地图。
而且，上述对象检测网络210使至少一个区域候选网络（RPN，Region ProposalNetwork）212输出与预测在上述对象检测用特征地图上包含上述对象的候选区域相对应的候选框。
然后，上述对象检测网络210使至少一个池化层213在上述对象检测用特征地图上对与上述候选框相对应的区域适用一个以上池化运算来输出一个以上特征矢量。
而且，上述对象检测网络210使对全连接（Fully connected）层214对上述特征矢量适用至少一个对全连接运算然后，使至少一个分类层215输出与各个上述候选框相对应的各个对象等级信息，使至少一个回归（regression）层216从包围各个上述对象的各个上述候选框输出上述边界框信息。
此时，上述对象检测网络210使上述分类层215根据作为上述预设超参数组的预设超参数之一的每个等级的各个分数阈值输出与上述候选框相对应的上述对象等级信息。即，上述分类层215将与特定边界框相对应的每个等级的各个分数中具有最高分数的特定等级确定为上述特定边界框的特定等级信息，在上述特定等级的特定分数为预设特定等级分数阈值以上的情况下，可将上述特定等级作为上述特定边界框的上述对象等级信息来输出。
并且，上述对象检测网络210利用非极大值抑制（NMS，non-maximum suppression）并根据作为上述预设超参数组的上述预设超参数之一的非极大值抑制阈值，可选择并输出与一个对象相对应的重复的边界框中的一个边界框。
并且，上述对象检测网络210可利用作为上述预设超参数的一部分的边界框选定阈值及最小对象大小来选择并输出多个边界框中与各个上述对象相对应的各个准确的边界框。
另一方面，上述对象检测网络210可以为预先学习的状态。即，可以为通过利用一个以上损失的反向传播上述对全连接层214和上述卷积层211的一个以上参数中至少一部分被调整的状态。并且，上述区域候选网络212也可以为预先学习的状态。
再次参照图2，上述优化装置100可使上述自动标注装置200分别将上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像分类为简单（easy）图像和复杂（difficult）图像。即，上述优化装置100可使上述自动标注装置200将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像。
而且，上述自动标注装置200可使复杂图像识别网络220将上述输入图像分类为上述简单图像和上述复杂图像，上述复杂图像为非准确自动标注的概率为预设值Y以上的图像，上述简单图像为非准确自动标注的概率小于预设值的图像。
此时，以下，参照图5来对分别将由上述自动标注装置200的上述复杂图像识别网络220自动标注的上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像以及具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像的方法进行说明。
若输入作为自动标注的上述具有固有自动标签的原始图像和自动标注的上述具有固有真标签及自动标签的验证图像中的一个图像的具有固有自动标签bi的至少一个输入图像Ⅰ，则上述复杂图像识别网络220可生成第一图像IA和第二图像IB，若上述第一图像和上述第二图像中的仅一个为从上述输入图像变形的，其余一个按原状态使用。此时，上述第一图像IA及上述第二图像IB中的至少一个可以为从上述输入图像Ⅰ变形的图像。
另一方面，在生成上述第一图像IA和上述第二图像IB时，利用包括用于变形上述第一图像的一个以上第一函数和与此相对应的用于变形上述第二图像的第二函数的一个以上变形对来生成与上述输入图像Ⅰ相对应的上述第一图像和上述第二图像的至少一个图像对。
作为一例，上述变形对如下列表所示。
表1
即，可根据上述输入图像生成与设定的上述变形对相对应的上述第一图像和上述第二图像的一个以上图像。
然后，上述复杂图像识别网络220使一个以上卷积层211分别对上述第一图像IA和上述第二图像IB适用一个以上卷积运算来输出至少一个第一特征地图和至少一个第二特征地图。此时，如图4所以，上述卷积层211可以为进行自动标注的上述对象检测网络所包含的卷积层。作为一例，在上述对象检测网络适用多个变形的组合的情况下，上述变形对可仅由上述对象检测网络所使用的上述变形来定义，由此，从上述对象检测网络的上述卷积层输出的特征地图可在没有额外过程的情况下按原状态使用，因此，可减少上述特征地图的运算所需的时间。
然后，上述复杂图像识别网络220使一个以上池化层222在上述第一特征地图上对与各个自动标签bi相对应的各区域适用一个以上池化运算来输出各个第一池化的特征地图，在上述第二特征地图上对与上述各个自动标签bi相对应的各区域适用上述池化运算来输出各个第二池化的特征地图，将分别与上述各个自动标签bi相对应的各个上述第一池化的特征地图与个第二池化的特征地图连接来生成各个连接的特征地图。此时，在图5中示出两个上述卷积层221和两个池化层222，但与此不同地，一个卷积层和一个池化层还可以分别为了对上述第一图像和第二图像适用上述卷积运算且对上述第一特征地图和上述第二特征地图适用上述池化运算而被使用。
而且，上述复杂图像识别网络220可使至少一个深度学习分类器223输入与上述各个自动标签bi相对应的上述各个连接的特征地图来输出用于将上述各个自动标签bi分类为异常等级组或正常等级组的上述等级信息。此时，上述异常等级组可包括误检测等级组和未检测等级组，上述正常等级组可包括与以对象分类的自动标签有关的等级组和与以背景分类的自动标签有关的等级组。对于与上述自动标签bi有关的分类，参照图6在上述深度学习分类器223的学习过程中进行说明。
然后，上述复杂图像识别网络220（i）通过参照上述各个自动标签bi的每个等级信息分别对与上述异常等级组的各个异常等级要素有关的概率值进行计算，（ii）分别利用与各个上述异常等级要素有关的上述概率值来判断上述输入图像Ⅰ是否为上述复杂图像。
此时，在对上述深度学习分类器223的输出适用Sigmoid函数之后，可计算各个上述异常等级要素的各概率值。各个上述异常等级要素的各概率值可包括与上述误检测等级组的误检测等级要素的各个概率值和与上述未检测等级组的未检测等级要素有关的各个概率值。
作为一例，可将与上述误检测等级（FP）要素有关的概率值用p(bi：FP|IA，IB)表示，可将与未检测等级（FN）要素有关的概率值用p(bi：FN|IA，IB)表示。
此时，bi为上述自动标签中的一个自动标签，IA和IB分别表示上述第一图像和上述第二图像。
并且，上述复杂图像识别网络220按各自动标签bi对与分别与上述变形对相对应的各个上述异常等级要素有关的各个概率值进行计算，可计算上述所计算的概率值的至少一个加权平均。
即，与上述误检测等级要素有关的概率值（p(bi：FP)）和与上述未检测等级要素有关的概率值（p(bi：FN)）可以如下所示：
此时，与上述误检测等级要素有关的概率值（p(bi：FP)）和与上述未检测等级要素有关的概率值（p(bi：FN)）为与作为上述预设超参数组的上述预设超参数之一的作为第一设定值的加权值（wj）有关的线性函数，因此，可通过∑jwj＝1的有约束条件的约束优化（Constrained optimization）来对上述加权值进行优化。
而且，在与各个上述异常等级要素的概率值有关的至少一个广义平均（generalized mean）为第二设定值以上的情况下，上述复杂图像识别网络220可将上述输入图像判断为上述复杂图像。
作为一例，上述复杂图像识别网络220可通过参照各自动标签bi的与上述误检测等级要素有关的各概率值（p(bi：FP)）和与上述未检测等级要素有关的各概率值（p(bi：FN)）并通过如下的广义平均来计算具有固有自动标签的上述输入图像为上述复杂图像的概率值（p(I：Difficult)）：
而且，在通过参照各自动标签bi的与上述误检测等级要素有关的各概率值（p(bi：FP)）和与上述未检测等级要素有关的各概率值（p(bi：FN)）来计算的各个上述概率值（p(I：Difficult)）为作为上述预设超参数组的上述预设超参数之一的上述第二设定值的判断基准值（γ）以上的情况下，上述复杂图像识别网络220可将上述输入图像判断为上述复杂图像。其中，上述复杂图像可表示为非准确自动标注的概率为上述第二设定值以上的图像。
此时，上述第二设定值（γ）可以为与在上述自动标注装置的自动标注步骤之后手动检查的上述验证图像有关的正确答案命中率中最高的命中率。
另一方面，上述深度学习分类器223可包括多重对全连接层或全卷积网络（fullyconvolutional network），以下，参照图6来说明学习上述深度学习分类器223的过程。
若获得由上述自动标注装置自动标注的具有固有真标签及自动标签的至少一个训练图像，则学习装置230使一个以上学习用卷积层231将上述学习用卷积层的卷积运算适用于上述训练图像来输出至少一个学习用特征地图。
此时，上述训练图像的上述自动标签可以是为了学习而任意生成的，而不是通过上述自动标注装置标注的上述自动标签。
并且，上述学习装置230可包括：存储器（未图示），存储用于学习上述深度学习分类器223的指令；以及处理器（未图示），执行与存储在上述存储器的上述指令相对应的上述深度学习分类器223有关的学习。
具体地，上述学习装置230典型地利用至少一个计算装置（例如，可包括计算机处理器、存储器、内存、输入装置及输出装置、其他现有的计算装置的结构要素的装置；路由器、开关等电子通信装置；网络附属存储（NAS）及存储区域网络（SAN）等电子信息存储系统）和至少一个计算机软件（即，使得上述计算装置以特定方式运行的指令）的组合来实现所需的系统性能。并且，上述计算装置的处理器可以包括MPU（Micro Processing Unit）或CPU（Central Processing Unit）、缓存存储器（Cache Memory）、数据总线（Data Bus）等硬件结构。并且，上述计算装置还可包括操作系统及执行特定目的的应用的软件结构。然而，不排除上述计算装置包括用于实施本发明的处理器、存储器、介质或其他计算用结构要素整合的形态的整合处理器的情况。
然后，上述学习装置230使至少一个学习用池化层232将上述学习用池化层的一个以上池化运算在上述学习用特征地图上分别适用于分别与上述自动标签相对应的各个区域来输出一个以上学习用池化的特征地图。
之后，上述学习装置230使上述深度学习分类器223通过输入来获得分别与上述自动标签相对应的各个上述学习用池化的特征地图，从而输出将上述自动标签分类为上述异常等级组或上述正常等级组的上述等级信息。
此时，上述等级信息可包括具有上述误检测等级组和上述未检测等级组的上述异常等级组。而且，上述等级信息可包括二维输出。
作为一例，上述误检测等级（FP，yi＝[1，0]））组可表示具有与第一特定自动标签相同的等级信息的第一特定真标签不与其他真标签以上述第一设定值以上重叠的情况。
此时，上述误检测等级（FP，yi＝[1，0]）组可如
而且，上述未检测等级（FN，yi＝[0，1]）组可表示，在具有与第二特定真标签相同的等级信息的第二特定自动标签不与其他自动标签以上述第二设定值以上重叠的状态下，第三特定自动标签与上述第二特定真标签以第三设定值以上重叠的情况。
此时，上述未检测等级（FN，yi＝[0，1]）组可如
作为一例，如上所述，可设定为α＝0.9，β＝0.5，但并不限定于此。
而且，上述正常等级组（yi＝[0，0]）可包括除上述误检测等级组及上述未检测等级组之外的其他等级组，可与上述对象和上述背景相对应。
另一方面，为了预防上述等级的不均衡，上述学习装置230通过管理上述误检测等级组、上述未检测等级组及上述正常等级组使上述异常等级组中要素数量多的等级组的数量成为要素数量少的剩余等级组的数量的预设第一倍数以下，使上述正常等级组的要素数量与上述异常等级组的要素数量的预设第二倍数相同。
此时，上述学习装置230可通过对上述误检测等级（FP）组的要素的数量、上述未检测等级(FN)组的要素的数量以及上述正常等级组的要素的数量进行随机抽样来调整。
然后，上述学习装置230使至少一个损失层233通过参照与各个上述自动标签有关的上述各等级信息和与此相对应的GT(ground truth)来计算一个以上损失，从而可通过利用上述损失的反向传播来学习上述深度学习分类器223的参数中的至少一部分。
此时，上述学习装置230可利用交叉熵损失(cross-entropy loss)来执行上述反向传播。
另一方面，上述学习可以为将构成上述深度学习分类器223的神经网络内连接的两层的作为突触可塑性的加权值以减少损失的方式调整的学习。
作为一例，在利用随机梯度下降法(Stochastic Gradient Descent，SGD)来执行上述反向传播的情况下，可通过下述式来调整各个加权值：
在上述式中，lr表示学习率，C表示成本函数(Cost function)。
此时，上述成本函数可由如指导学习、非指导学习、自主学习及强化学习等学习的形式和如激活函数等因素决定。
例如，当执行用于解决多重等级(multi-class)分类问题的学习时，通常，上述激活函数和上述成本函数由Softmax函数和交叉熵函数决定。
上述Softmax函数可如所示，上述成本函数可如C＝-∑jdjlog(pj)所示。
此时，pj可表示等级概率(class probability)，xj和xk可分别表示向单元j的所有输入和向单元k的所有输入。而且，dj可表示与输出单元j有关的目标概率(targetprobability)，pj可表示适用相应激活函数后的与上述输出单元j有关的概率输出(probability output)。
以上，作为利用上述损失的反向传播的一例，说明了上述随机梯度下降法，但本发明的范围并不限定于此，还可以使用动量梯度下降（Momentum）方式、涅斯捷罗夫梯度加速（Nesterov Accelerated Gradient，NAG）方式、自适应梯度（Adaptive Gradient，AdaGrad）方式、前向均方根梯度下降（Root Mean Square Propagation，RMSProp）方式、自适应增量（Adaptive Delta，AdaDelta）方式、自适应矩估计（Adaptive Moment Estimation，Adam）方式等来执行用于学习上述神经网络的上述反向传播。
再次参照图2，上述优化装置100可使上述自动标注装置200向可信度评价网络500传输上述具有固有自动标签的简单原始图像和上述具有固有真标签及自动标签的简单验证图像（S2-1）。
并且，上述优化装置100可使上述自动标注装置200向手动标注装置400传输上述具有固有自动标签的复杂原始图像和上述具有固有真标签及自动标签的复杂验证图像（S2-2）。那么，上述手动标注装置400执行对所接收到的上述具有固有自动标签的复杂原始图像和上述具有固有真标签及自动标签的复杂验证图像的非准确标签进行更正的手动标注，并可向上述可信度评价网络500传输被手动标注而具有固有自动标签及手动标签的复杂原始图像和被上述手动标注而具有固有真标签、自动标签及手动标签的复杂验证图像（S2-3）。
然后，上述优化装置100可使上述可信度评价网络500通过参照所接收到的上述具有固有自动标签的简单原始图像、上述具有固有真标签及自动标签的简单验证图像、上述具有固有自动标签及手动标签的复杂原始图像以及上述具有固有真标签、自动标签及手动标签的复杂验证图像来评价上述自动标注装置200的可信度和上述手动标注装置400的可信度。
此时，上述可信度评价网络500可通过参照从上述自动标注装置200获得的上述具有固有真标签及自动标签的简单验证图像的真标签和自动标签来评价上述自动标注装置200的可信度。
此时，当上述具有固有真标签及自动标签的简单验证图像的真标签为XAL、自动标签为LAL、精密度（Precision）（XAL，LAL）＝1-[LAL内误检测标签数量]/[LAL内总标签数量]、查全率（Recall）（XAL，LAL）＝1-[XAL内未检测标签数量]/[XAL内总标签数量]时，可通过下述式来评价上述自动标注装置200的当前可信度（Reliability（AL））：
。
并且，上述可信度评价网络500可通过参照从上述手动标注装置400获得的上述具有固有真标签、自动标签及手动标签的复杂验证图像的真标签和手动标签来评价上述手动标注装置400的可信度。
此时，当上述具有固有真标签、自动标签及手动标签的复杂验证图像的真标签为XHL、手动标签为LHL、精密度（Precision）（XHL，LHL）＝1-[LHL内误检测标签数量]/[LHL内总标签数量]、查全率（Recall）（XHL，LHL）＝1-[XHL内未检测标签数量]/[XHL内总标签数量]时，可通过下述式来评价上述手动标注装置400的当前可信度（Reliability（HL））：
。
以上，上述优化装置100使上述可信度评价网络500计算上述自动标注装置200的可信度和上述手动标注装置400的可信度，但上述优化装置100还可以通过如上所述的方法来计算上述自动标注装置200的可信度和上述手动标注装置400的可信度。
然后，在上述自动标注装置200的可信度为上述预设值以上的情况下，上述优化装置100可将上述具有固有自动标签的简单原始图像和上述具有自动标签及手动标签的复杂原始图像中的一部分选定为再学习用具有固有真标签的训练图像30，可将上述具有固有自动标签及手动标签的复杂原始图像中的剩余部分选定为上述具有固有真标签的验证图像候选组20。
而且，若获得上述自动标注装置的计算出的可信度，即，上述自动标注装置的当前可信度（S3），则上述优化装置100生成通过基于上述自动标注装置的当前可信度的与上述预设超参数组（HP）相对应的至少一个规定规则调整的一个以上样品超参数组（HP'）。此时，上述样品超参数组（HP'）选择性地调整上述预设超参数组（HP）的上述超参数中的一部分，可通过任意地组合上述所调整的超参数来生成。这是因为上述超参数各个变化对可信度产生的影像不相互独立。
然后，上述优化装置100可对分别与上述样品超参数组（HP'）相对应的作为上述自动标注装置200的可信度的样品可信度进行计算。此时，在以各个上述样品超参数组（HP'）代替上述自动标注装置200的上述预设超参数组（HP）的状态下，还可以通过反复执行如上所述的动作来计算上述样品可信度，但本发明的范围并不限定于此，还可以通过对使用上述预设超参数组（HP）的由如上所述的动作获得的各个输出值适用各个上述样品超参数（HP'）的模拟来计算。
而且，参照图7，以与上述当前可信度相对应的当前超参数组（HP）（即预设超参数组（HP））的位置为基准，与各个上述样品可信度相对应的上述样品超参数组（HP'）可具有高斯（Gaussian）分布。
此时，上述优化装置100将上述样品超参数组（HP'）中具有上述当前可信度更高的样品可信度的一部分选定为特定样品超参数组，通过参照上述所选定的特定样品超参数组的特定样品可信度来获得上述样品可信度变高的方向。
然后，上述优化装置100为了使上述当前可信度以与上述特定样品可信度变高的方向相对应的方式进行调整，通过调整作为上述当前超参数组（HP）（即预设超参数组（HP））的上述预设超参数组的上述预设超参数组的个别超参数来生成所调整的超参数组，利用上述所调整的超参数组来对上述自动标注装置200的上述预设超参数组进行优化（S4）。
此时，所调整的上述自动标注装置200的上述个别超参数可包括上述自动标注装置200中所包括的上述对象检测网络210的每个等级的各个分数阈值、每个等级的各个非极大值抑制阈值、每个等级的各个边界框选定阈值及每个等级的各个最小对象大小。
并且，对于上述优化装置100使上述自动标注装置200将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像，为了使与上述预设超参数组相对应的上述当前可信度维持上述预设值以上的状态并使从具有上述固有自动标签的上述原始图像中分类出具有上述固有自动标签的上述原始图像的比率最大化，可对上述预设超参数组进行优化。
即，上述优化装置100可对上述预设超参数组进行优化，上述预设超参数组包括：（i）上述自动标注装置200的上述复杂图像识别网络220对上述具有固有自动标签的原始图像的自动标签分别成为异常等级（abnormal class）的各个概率和上述具有固有真标签及自动标签的验证图像的自动标签分别成为上述异常等级的各个概率进行计算的上述第一设定值（加权值wj）；以及（ii）上述自动标注装置200的上述复杂图像识别网络220对上述具有固有自动标签的原始图像是否为上述具有固有自动标签的复杂原始图像以及上述具有固有真标签及自动标签的验证图像是否为上述具有固有真标签及自动标签的复杂验证图像进行辨别的上述第二设定值γ（上述判断基准值）。
由此，在不通过上述所优化的超参数组进行再学习的状态下也可以提高上述自动标注装置200的上述可信度。
另一方面，上述优化装置100可利用具有上述固有真标签的训练图像来再学习上述自动标注装置200（S5），从而可提高上述自动标注装置200的上述可信度，在上述自动标注装置200的上述再学习的过程中也可以通过如上所述的方法来对上述预设超参数进行优化，从而可进一步地提高上述自动标注装置200的上述可信度。
即，参照图8，若假设每周进行上述再学习，则上述可信度可能阶段性地提高，但是，在根据本发明对上述超参数进行优化的情况下，可确保更高的可信度，因此，可获得具有用于再学习的可信度更高的上述真标签的训练图像。而且，利用具有可信度更高的上述真标签的训练图像来执行上述再学习，从而通过上述再学习的上述自动标注装置的上述可信度相比于以往可更佳提高。
尤其，上述方法可通过利用策略梯度算法（policy gradient algorithm）的强化学习来执行。
以上说明的本发明的实施例能够以通过各种计算机要素执行的程序命令的形态体现并存储在计算机可读存储介质。上述计算机可读存储介质可以包括程序命令、数据文件、数据结构等或它们的组合。上述计算机可读存储介质中存储的程序命令可以是为本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读存储介质的例包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光存储介质、光磁软盘（floptical disk）等磁光介质（magneto-optical media）、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。程序命令的例包括由编译器制成的机器语言代码以及利用解析器等可由计算机执行的高级语言代码。上述硬件装置能够以一个以上软件模块运行，以便执行本发明的处理，相反情况也一样。
以上，通过限定的实施例及附图对本发明的具体结构要素等特定事项进行了说明，但这仅仅用于提供对本发明的更全面的理解，本发明并不局限于上述实施例，本发明所属领域的普通技术人员可以在这些记载的基础上进行各种修改及变形。
因此，本发明的思想并不局限于所说明的上述实施例，权利要求书及其等同或等价变换的所有内容均属于本发明的思想范畴。

Claims (10)

1.一种对自动标注待利用于学习神经网络的一个以上训练图像的自动标注装置的一个以上超参数进行优化的方法，其特征在于，包括：
步骤(a)，若获得待标注的一个以上原始图像及具有固有真标签的一个以上验证图像，所述一个以上验证图像的拍摄环境与上述原始图像的拍摄环境相似，则优化装置使具有至少一个预设超参数组的上述自动标注装置分别对上述原始图像和上述具有固有真标签的验证图像进行自动标注，来生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像；
步骤(b)，若获得上述具有固有真标签及自动标签的简单验证图像，则上述优化装置通过参照上述具有固有真标签及自动标签的简单验证图像来计算与上述自动标注装置的上述预设超参数组相对应的当前可信度，根据与上述预设超参数组相对应的至少一个规定规则来生成所调整的一个以上样品超参数组，分别对每个样品可信度进行计算，所述每个样品可信度进行计算与上述自动标注装置的上述样品超参数组相对应，并对上述预设超参数组进行优，以使与上述预设超参数组相对应的上述当前可信度向与特定样品超参数组相对应的上述样品可信度变高的方向调整化，作为上述特定样品超参数组，从上述样品超参数组中选定具有高于与上述预设超参数组相对应的上述当前可信度的样品可信度的部分样品超参数组；以及
步骤(c)，上述优化装置对上述预设超参数组进行优化，使得与上述预设超参数组相对应的上述当前可信度维持预设值以上的状态，并使上述具有固有自动标签的原始图像与上述具有固有自动标签的简单原始图像的比例最大化。
2.根据权利要求1所述的方法，其特征在于，
上述自动标注装置包括复杂图像识别网络，上述复杂图像识别网络将上述具有固有自动标签的原始图像分类为上述具有固有自动标签的简单原始图像和上述具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为上述具有固有真标签及自动标签的简单验证图像和上述具有固有真标签及自动标签的复杂验证图像，
在上述步骤(c)中，上述优化装置对上述预设超参数组进行优化，上述预设超参数组包括：
(i)上述复杂图像识别网络对上述具有固有自动标签的原始图像的自动标签分别成为异常等级的各个概率和上述具有固有真标签及自动标签的验证图像的自动标签分别成为上述异常等级的各个概率进行计算的第一设定值；
(ii)上述复杂图像识别网络对上述具有固有自动标签的原始图像是否为上述具有固有自动标签的复杂原始图像以及上述具有固有真标签及自动标签的验证图像是否为上述具有固有真标签及自动标签的复杂验证图像进行辨别的第二设定值。
3.根据权利要求1所述的方法，其特征在于，在上述步骤(b)中，上述优化装置使可信度评价网络通过参照上述具有固有真标签及自动标签的简单验证图像的真标签及自动标签来计算上述自动标注装置的上述当前可信度。
4.根据权利要求3所述的方法，其特征在于，当上述具有固有真标签及自动标签的简单验证图像的真标签为XAL、自动标签为LAL、精密度(Precision)(XAL，LAL)＝1-[LAL内误检测标签数量]/[LAL内总标签数量]、查全率(Recall)(XAL，LAL)＝1-[XAL内未检测标签数量]/[XAL内总标签数量]时，通过下述式来评价上述自动标注装置的上述当前可信度(Reliability)：
5.根据权利要求1所述的方法，其特征在于，
上述自动标注装置包括对象检测网络，上述对象检测网络通过自动标注上述原始图像和上述具有固有真标签的验证图像来生成上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像，
在上述步骤(b)中，上述优化装置对包括上述对象检测网络的每个等级的各个分数阈值、每个等级的各个非极大值抑制阈值、每个等级的各个边界框选定阈值及每个等级的各个最小对象大小的上述预设超参数组的一个以上预设超参数中的至少一部分进行优化。
6.一种对自动标注待利用于学习神经网络的一个以上训练图像的自动标注装置的一个以上超参数进行优化的优化装置，其特征在于，
包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，执行上述指令来执行步骤(I)，步骤(II)及步骤(III)，
步骤(I)中，若获得待标注的一个以上原始图像及具有固有真标签的一个以上验证图像，所述一个以上验证图像的拍摄环境与上述原始图像的拍摄环境相似，则使具有至少一个预设超参数组的上述自动标注装置分别对上述原始图像和上述具有固有真标签的验证图像进行自动标注来生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，将上述具有固有自动标签的原始图像分类为具有固有自动标签的简单原始图像和具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为具有固有真标签及自动标签的简单验证图像和具有固有真标签及自动标签的复杂验证图像，
步骤(II)中，若获得上述具有固有真标签及自动标签的简单验证图像，则通过参照上述具有固有真标签及自动标签的简单验证图像来计算与上述自动标注装置的上述预设超参数组相对应的当前可信度，根据与上述预设超参数组相对应的至少一个规定规则来生成所调整的一个以上样品超参数组，分别对每个样品可信度进行计算，所述每个样品可信度进行计算与上述自动标注装置的上述样品超参数组相对应，并对上述预设超参数组进行优，以使与上述预设超参数组相对应的上述当前可信度向与特定样品超参数组相对应的上述样品可信度变高的方向调整，作为上述特定样品超参数组，从上述样品超参数组中选定具有高于与上述预设超参数组相对应的上述当前可信度的样品可信度的部分样品超参数组，
步骤(III)中，对上述预设超参数组进行优化，使得与上述预设超参数组相对应的上述当前可信度维持预设值以上的状态并使上述具有固有自动标签的原始图像与上述具有固有自动标签的简单原始图像的比例最大化。
7.根据权利要求6所述的优化装置，其特征在于，
上述自动标注装置包括复杂图像识别网络，上述复杂图像识别网络将上述具有固有自动标签的原始图像分类为上述具有固有自动标签的简单原始图像和上述具有固有自动标签的复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为上述具有固有真标签及自动标签的简单验证图像和上述具有固有真标签及自动标签的复杂验证图像，
在上述步骤(III)中，上述处理器对上述预设超参数组进行优化，上述预设超参数组包括：
(i)上述复杂图像识别网络对上述具有固有自动标签的原始图像的自动标签分别成为异常等级的各个概率和上述具有固有真标签及自动标签的验证图像的自动标签分别成为上述异常等级的各个概率进行计算的第一设定值；以及
(ii)上述复杂图像识别网络对上述具有固有自动标签的原始图像是否为上述具有固有自动标签的复杂原始图像以及上述具有固有真标签及自动标签的验证图像是否为上述具有固有真标签及自动标签的复杂验证图像进行辨别的第二设定值。
8.根据权利要求6所述的优化装置，其特征在于，在上述步骤(II)中，上述处理器使可信度评价网络通过参照上述具有固有真标签及自动标签的简单验证图像的真标签及自动标签来计算上述自动标注装置的上述当前可信度。
9.根据权利要求8所述的优化装置，其特征在于，当上述具有固有真标签及自动标签的简单验证图像的真标签为XAL、自动标签为LAL、精密度(Precision)(XAL，LAL)＝1-[LAL内误检测标签数量]/[LAL内总标签数量]、查全率(Recall)(XAL，LAL)＝1-[XAL内未检测标签数量]/[XAL内总标签数量]时，通过下述式来评价上述自动标注装置的上述当前可信度(Reliability)：
10.根据权利要求6所述的优化装置，其特征在于，
上述自动标注装置包括对象检测网络，上述对象检测网络通过自动标注上述原始图像和上述具有固有真标签的验证图像来生成上述具有固有自动标签的原始图像和上述具有固有真标签及自动标签的验证图像，
在上述步骤(II)中，上述处理器对包括上述对象检测网络的每个等级的各个分数阈值、每个等级的各个非极大值抑制阈值、每个等级的各个边界框选定阈值及每个等级的各个最小对象大小的上述预设超参数组的一个以上预设超参数中的至少一部分进行优化。
CN202010045709.9A 2019-01-31 2020-01-16 对自动标注装置的超参数进行优化的方法和装置 Active CN111507469B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/262,985 US10699192B1 (en) 2019-01-31 2019-01-31 Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same
US16/262,985 2019-01-31

Publications (2)

Publication Number Publication Date
CN111507469A CN111507469A (zh) 2020-08-07
CN111507469B true CN111507469B (zh) 2023-10-13

Family

ID=69147538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010045709.9A Active CN111507469B (zh) 2019-01-31 2020-01-16 对自动标注装置的超参数进行优化的方法和装置

Country Status (5)

Country Link
US (1) US10699192B1 (zh)
EP (1) EP3690740B1 (zh)
JP (1) JP6849932B2 (zh)
KR (1) KR102280414B1 (zh)
CN (1) CN111507469B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
JP2021114085A (ja) * 2020-01-17 2021-08-05 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
DE102020208008A1 (de) * 2020-06-29 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikation und zugehöriges Training für sicherheitsrelevante Klassifikationsaufgaben
WO2022205138A1 (en) * 2021-03-31 2022-10-06 Nvidia Corporation Generation of bounding boxes
CN113132482B (zh) * 2021-04-13 2022-10-14 河海大学 一种基于强化学习的分布式消息系统参数自适应优化方法
KR102337693B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 누락되거나 잘못된 바운딩 박스 작업 결과를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102337692B1 (ko) * 2021-04-16 2021-12-09 주식회사 에이모 오류가 의심되는 바운딩 박스를 검출하는 방법 및 이를 수행하는 컴퓨터 장치
KR102379636B1 (ko) 2021-08-11 2022-03-29 주식회사 에스아이에이 딥러닝 기반의 어노테이션 방법
US11423643B1 (en) * 2021-11-29 2022-08-23 Deeping Source Inc. Method for generating obfuscated image to be used in training learning net work and labeling device using the same
US12081521B2 (en) * 2021-12-21 2024-09-03 Mcafee, Llc Website classification via containment queries
KR102602841B1 (ko) * 2022-12-23 2023-11-17 한국건설기술연구원 드론영상 학습 오류제거를 위한 하이퍼 파라미터 최적화 시스템, 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
WO2018028230A1 (zh) * 2016-08-10 2018-02-15 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法、装置及存储介质
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053391B2 (en) * 2011-04-12 2015-06-09 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
US20180121814A1 (en) * 2016-10-31 2018-05-03 Microsoft Technology Licensing, Llc Hyperparameter tuning
US10318827B2 (en) * 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US20180336467A1 (en) * 2017-07-31 2018-11-22 Seematics Systems Ltd System and method for enriching datasets while learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028230A1 (zh) * 2016-08-10 2018-02-15 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法、装置及存储介质
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN107273502A (zh) * 2017-06-19 2017-10-20 重庆邮电大学 一种基于空间认知学习的图像地理标注方法
CN108229298A (zh) * 2017-09-30 2018-06-29 北京市商汤科技开发有限公司 神经网络的训练和人脸识别方法及装置、设备、存储介质
CN108416384A (zh) * 2018-03-05 2018-08-17 苏州大学 一种图像标签标注方法、系统、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Active Learning for Civil Infrastructure Defect Detection and Classification;Chen Feng 等;《土木工程计算国际研讨会（IWCCE）》;20170613;第1-10页，附图1-4，摘要 *

Also Published As

Publication number Publication date
EP3690740A1 (en) 2020-08-05
US10699192B1 (en) 2020-06-30
EP3690740B1 (en) 2024-02-21
KR20200095336A (ko) 2020-08-10
JP2020126615A (ja) 2020-08-20
EP3690740C0 (en) 2024-02-21
CN111507469A (zh) 2020-08-07
JP6849932B2 (ja) 2021-03-31
KR102280414B1 (ko) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111507469B (zh) 对自动标注装置的超参数进行优化的方法和装置
CN111507370B (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN111507335B (zh) 自动标注利用于深度学习网络的训练图像的方法和装置
KR102328734B1 (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
US10546242B2 (en) Image analysis neural network systems
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN111753881B (zh) 一种基于概念敏感性量化识别对抗攻击的防御方法
CN108009525A (zh) 一种基于卷积神经网络的无人机对地特定目标识别方法
CN112395987A (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
CN116485796B (zh) 害虫检测方法、装置、电子设备及存储介质
CN112270368A (zh) 基于误分类感知正则化训练的图像分类方法
CN112233071A (zh) 基于复杂环境下输电网图片的多粒度隐患检测方法及系统
Procopio et al. Learning in dynamic environments with ensemble selection for autonomous outdoor robot navigation
CN114764886B (zh) 基于cfar指导的双流ssd sar图像目标检测方法
CN118657784B (zh) 一种基于无人机采集光伏组件图像的脱焊检测方法
CN115457260A (zh) 模型优化方法、装置、电子设备及存储介质
CN117768208A (zh) 一种基于改进加权极限学习机的入侵检测方法
CN118298319A (zh) 遥感图像小目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant