CN111507371B - 自动评估对训练图像的标签可靠性的方法和装置 - Google Patents

自动评估对训练图像的标签可靠性的方法和装置 Download PDF

Info

Publication number
CN111507371B
CN111507371B CN202010071205.4A CN202010071205A CN111507371B CN 111507371 B CN111507371 B CN 111507371B CN 202010071205 A CN202010071205 A CN 202010071205A CN 111507371 B CN111507371 B CN 111507371B
Authority
CN
China
Prior art keywords
image
label
automatic
inherent
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010071205.4A
Other languages
English (en)
Other versions
CN111507371A (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕熏
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507371A publication Critical patent/CN111507371A/zh
Application granted granted Critical
Publication of CN111507371B publication Critical patent/CN111507371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18143—Extracting features based on salient regional features, e.g. scale invariant feature transform [SIFT] keypoints
    • G06V30/18152—Extracting features based on a plurality of salient regional features, e.g. "bag of words"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种评估对用于学习深度学习网络的一个以上的训练图像的标签的可靠性的方法，包括可靠性评估设备使类似图像选择网络，选择与未标签的原始图像拍摄环境类似的、具有固有的真实标签的验证图像候选群后，使自动标签网络对所述具有固有的真实标签的验证图像候选群与所述原始图像进行自动标签的步骤；(i)参考简单验证图像的真实标签与自动标签，评估所述自动标签网络的可靠性；(ii)参考差异验证图像的真实标签与手动标签，评估手动标签设备的可靠性的步骤。所述方法可以，适用词袋模型模型识别周围状况，最佳化在类似图像中选定有效的图像的采样程序，降低注释费用。

Description

自动评估对训练图像的标签可靠性的方法和装置
技术领域
本发明涉及一种用于深度学习网络的学习训练图像的自动评估深度学习网络训练图像的标签可靠性的方法及利用其的可靠性评估设备。
背景技术
最近，对利用机器学习来识别个体的方法等的研究活跃化。作为这种机器学习的一部分，利用输入层与输出层间设有多个隐藏层(hidden layer)的神经网络的深度学习具有高的识别性能。
且，利用所述深度学习的所述神经网络一般通过利用损失的反向传播来学习。
为了学习所述的深度学习网络，需要通过标签器对单个数据点追加标记，即，标签的训练数据。这种准备训练数据的过程(即，准确分类数据)，尤其是在利用大量的训练数据以及数据预处理的质量持续不高时，会劳动密集，费用高且作业繁杂。现有的相互标记的技术价格昂贵且结果不理想。
因此，最近利用基于深度学习的自动标签网络来执行对训练图像添加标记的自动标签后，由检查人员检查自动标签的训练图像，校正所述标记或标签。
并，添加具有固有的真实标签的验证图像，来评估由所述自动标签网络及标签机标签的标签可靠性。
但是，所述将验证图像添加到未标记图像的现有技术中，地域，气候，昼/夜等所述未标记图像的拍摄环境与验证图像的拍摄环境不同时，所述检查人员可以轻易的区分所述未标记图像与验证图像，因此容易基于所述验证图像为主进行检查，而不能准确的对标签作业进行评估。
另外，与现有技术一样，只对所述真实标签进行检查时，存在懒惰的检查人员的考核高于认真的检查人员的问题点。
此外，为了进行检查，在所述真实标签添加错误检出及未检出的标签时，会与所述自动标签网络生成的自动标签发生误差，在这情况下，检查人员可以容易的识别出所述标签是否为用于验证的标签，因此无法进行准确的评估。
发明的内容
本发明的目的在于解决上面所述的所有问题点。
本发明的另一目的在于在原始图像，即在未标签的图像添加的验证用图像的拍摄环境与所述原始图像的拍摄环境保持类似。
本发明的再一目的在于检查出自动标签的图像中准确地检查出难以标签的图像，从而可以提高标签的可靠性。
为了达到上述目的，并实现在下面记载的本发明的特征效果，本发明的结构特征如下。
本发明的一实施方式，在评估用于学习深度学习网络的一个以上训练图像的标签可靠性的方法中，其包括步骤(a)如果获得一个以上的原始图像，则可靠性评估设备使类似图像选择网络选择与所述原始图像拍摄环境类似的、具有固有的真实标签的验证图像候选群后，将所述具有固有的真实标签的验证图像候选群与原始图像输入到自动标签网络中，使所述自动标签网络对所述具有固有的真实标签的验证图像候选群与原始图像进行自动标签，但所述原始图像为未标签的图像；以及步骤(b)所述可靠性评估设备，(i)如果从所述自动标签网络获得固有的真实标签及自动标签的简单(easy)验证图像，则参考所述简单验证图像的所述真实标签及自动标签，评估所述自动标签网络的可靠性，(ii)如果从手动标签设备获得差异验证图像，所述差异验证图像具有固有的真实标签、自动标签及手动标签，所述固有的真实标签、自动标签及手动标签在具有固有的真实标签及自动标签的差异验证图像上适用手动标签运算法而生成，则参考所述差异验证图像的所述真实标签及所述手动标签，评估所述手动标签设备的可靠性，且，具有所述固有的真实标签及自动标签的验证图像为所述具有自动标签的固有的真实标签的验证图像候选群中，被非准确地自动标签的概率小于第1阈值的验证图像，所述具有固有的真实标签及自动标签的差异检验图像为具有自动标签的固有的真实标签的验证图像候选群中，被错误地自动标签的概率大于或等于第2阈值的验证图像步骤。
一实施例中，评估用于学习深度学习网络的一个以上训练图像的标签可靠性的方法，还包括(c)所述可靠性评估设备，(i)如果所述自动标签网络的所述可靠性大于或等于第1阈值时，从所述自动标签网络获得的、具有固有的自动标签的原始图像中选定至少一部分设为具有固有的真实标签的训练图像，(ii)所述手动标签设备的所述可靠性大于或等于第2阈值时，从所述手动标签设备获得的、具有固有的自动标签及手动标签的差异原始图像中选定至少一部分设为具有所述固有标签的训练图像，但所述具有固有的自动标签的原始图像为自动标签所述原始图像获得的、具有固有的自动标签的原始图像中，被错误地标签的概率小于第3阈值的图像，所述具有固有的自动标签的差异原始图像为自动标签所述原始图像获得的、所述具有固有的自动标签的原始图像中，被错误地标签的概率大于或等于第4阈值的步骤。
在一实施例中，所述可靠性评估设备，在所述具有固有的自动标签及手动标签的差异原始图像中，将没有被选定为所述具有固有的真实标签的训练图像的、具有固有的自动标签及手动标签的特定的差异原始图像选定为所述具有固有的真实标签的验证图像的候选群。
在一实施例中，在步骤(a)中，所述评估可靠性的设备，使所述类似图像选择网络，(i)(i-1)获得加工图像，所述加工图像裁剪并改变所述原始图像中的滑动窗口(slidingwindow)的各区域而生成，(i-2)通过图像分类卷积神经网络分类所述加工图像，输出各自上位的k个类信息，(i-3)参考所述上位的K个类信息，生成至少一个词袋模型(Bag ofWords)的至少一个运算适用于所有所述原始图像，而生成所述原始图像的至少一个词袋模型的直方图，(ii)在所述具有固有的真实标签的验证图像候选群中，按照与所述词袋模型的直方图接近的顺序，选定已设定个数的具有所述固有的真实标签的验证图像候选群。
在一实施例中，所述可靠性评估设备，使所述类似图像选择网络，管理在已设定个数的所述验证图像候选群中具有所述固有的真实标签的差异验证图像及具有固有的自动标签的差异原始图像，使所述已设定个数的验证图像候选群中具有所述固有的真实标签的差异验证图像的个数与所述原始图像中具有所述固有自动标签的差异原始图像的个数保持特定的比率。
在一实施例中，所述步骤(a)中，所述可靠性评估设备，使所述自动标签网络对所述原始图像与所述具有固有的真实标签的验证图像候选群进行自动标签，输出所述具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群，之后(i)(i-1)生成第1图像与第2图像，且其中至少一个从所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群中的一个变形而生成，若所述第1图像与第2图像中仅有一个从所述具有固有的自动标签的原始图像及所述验证图像候选群中的一个变形而生成，则所述第1图像与第2图像中的另一个直接使用所述原始图像与验证图像候选群中的一个，(i-2)使一个以上的卷积层在所述第1图像与第2图像上分别适用一个以上的卷积运算、来生成至少一个第1特征映射与一个第2特征映射，(i-3)使至少一个池化层在每个所述的第1特征映射与各第2特征映射上，对应与所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群的自动标签的框的各区域适用一个以上的池化运算，生成一个以上的第1池化特征映射与一个以上的第2池化特征映射后，级联每个所述第1池化特征映射和与其相对应的每个所述第2池化特征映射，生成对应所述各自动标签的框的一个以上的级联的特征映射，(ii)使深度学习分类机(classifier)输入并获得对应于每个所述自动标签的框的各所述级联的特征映射，生成将每个所述自动标签的框分为异常类群或正常类群的类信息，(iii)(iii-1)参考关于每个所述自动标签的框的每个所述类信息来计算所述异常类群中每个异常类要素的概率，(iii-2)利用每个所述异常类要素的每个概率，将所述具有固有的自动标签的原始图像区分为具有固有的自动标签的原始图像与具有固有的自动标签的差异原始图像，(iii-3)将所述具有固有的真实标签及自动标签的验证图像候选群区分为所述具有固有的真实标签及自动标签的验证图像，以及所述具有固有的真实标签及自动标签的差异验证图像，但所述具有固有的自动标签的原始图像为，所述具有固有的自动标签的原始图像中，被错误标签的概率小于所述第3阈值的图像，所述具有固有的自动标签的差异原始图像为，所述具有固有的自动标签的原始图像中，被误标签的概率大于或等于所述第4阈值的图像。
在一实施例中，所述步骤(b)中，所述可靠性评估设备，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述简单验证图像的所述真实标签为XAL，所述自动标签为LAL时，所述自动标签网络的可靠性(Reliability(AL))通过下述式来评估。
在一实施例中，所述步骤(b)中，所述可靠性评估设备，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述差异验证图像的所述真实标签为XHL，所述手动标签为LHL时，所述手动标签设备的可靠性(Reliability(AL))用下述式来评估。
根据本发明的一个实施方式，对一个以上的训练图像的标签可靠性进行评价的可靠性评价设备中，其包括，至少一个存放指令的存储器；及执行所述指令的至少一个处理器，所述处理器执行如下程序：(I)如果获得一个以上的原始图像，则使类似图像选择网络选择与所述原始图像类似的拍摄环境的、具有固有的真实标签的验证图像候选群后，将所述具有固有的真实标签的验证图像候选群与所述原始图像输入到自动标签网络中，使所述自动标签网络对所述具有固有的真实标签的验证图像候选群与所述原始图像进行自动标签，所述原始图像为未标签的图像；及(II)(i)如果从所述自动标签网络获得具有固有的真实标签及自动标签的简单验证图像，则参考所述简单验证图像的所述真实标签与所述自动标签对所述自动标签网络的可靠性进行评估，(ii)在具有固有的真实标签及自动标签的差异验证图像适用手动标签运算生成的固有的真实标签、自动标签及手动标签的差异(difficult)验证图像从手动标签设备获得，则参考所述差异验证图像的所述真实标签与所述手动标签，评估所述手动标签设备的可靠性，其中，所述具有固有的真实标签及自动标签的验证图像为具有固有的真实标签的验证图像候选群中，被错误自动标签的概率小于第1阈值的验证图像，所述具有固有的真实标签及自动标签的差异验证图像为，所述自动标签的具有固有的真实标签的候选群中，被错误自动标签的概率大于或等于第2阈值的步骤的验证图像。
在一实施例中，所述处理器还执行如下程序：(III)(i)所述自动标签网络的可靠性大于或等于第1阈值时，选定从所述自动标签网络获得的、具有固有的自动标签的原始图像中至少一部分设为具有固有的真实标签的训练图像，(ii)所述手动标签设备的可靠性大于或等于第2阈值时，选定从所述手动标签设备获得的、具有固有的自动标签及手动标签的差异原始图像中至少一部分设为具有固有的真实标签的训练图像，所述具有固有的自动标签的简单原始图像为自动标签所述原始图像获得的、具有固有的自动标签的原始图像中，被错误自动标签的概率小于第3阈值的图像，所述具有固有的自动标签的差异原始图像为，自动标签所述原始图像获得的，所述具有固有的自动标签的原始图像中，被错误自动标签的概率小于第4阈值的图像。
在一实施例中，所述处理器将在所述具有固有的自动标签及手动标签的差异原始图像中，没有被选定为所述具有固有的真实标签的训练图像的、具有固有的自动标签及手动标签的特定差异原始图像选定为所述具有固有的真实标签的验证图像候选群。
在一实施例中，在所述步骤(I)中，所述处理器使所述类似图像选择网络，(i)(i-1)获得加工图像，所述加工图像裁剪原始图像中的滑动窗口的区域并重新制定尺寸而生成，(i-2)通过图像分类卷积神经网络来分类所述加工图像，输出每个上位的K个类信息，(i-3)参考所述上位的K个类信息，在所有所述原始图像适用生成至少一个词袋模型的至少一个运算，生成所述原始图像的至少一个词袋模型的直方图，(ii)在所述具有固有的真实标签的验证图像候选群中，按照与所述词袋模型的直方图接近的顺序，选定已设定个数的具有固有的真实标签的验证图像候选群。
在一实施例中，所述处理器，使所述类似图像的网络，管理所述已设定的个数的上述验证图像候选群中具有固有的真实标签的差异验证图像及具有固有的自动标签的差异原始图像，从而使所述已设定个数的验证图像候选群中具有固有的真实标签的差异验证图像的个数与所述原始图像中具有固有的自动标签的差异原始图像的个数保持特定的比率。
在一实施例中，所述步骤(I)中，所述处理器使所述自动标签网络对原始图像与具有固有的真实标签的验证图像候选群进行自动标签，输出具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群，(i)(i-1)生成第1图像与第2图像，且其中至少一个从所述具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群中的一个变形而生成，若所述第1图像与第2图像中仅有一个从具有固有的自动标签的原始图像及验证图像候选群中的一个变形而生成，则剩下的另一个图像直接使用原始图像与验证图像候选群中的一个，(i-2)使一个以上的卷积层在所述第1图像与第2图像的每一个适用一个以上的卷积运算，生成至少一个第1特征映射与一个第2特征映射，(i-3)使至少一个池化层在每个所述第1特征映射与每个第2特征映射上，对应与每个所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群自动标签的框的每个领域适用一个以上的池化运算，来生成一个以上的第1池化特征映射与一个以上的第2池化特征映射后，级联每个所述第1池化特征映射和与其对应的每个所述第2池化特征映射，生成对应所述每个自动标签的框的一个以上的级联的特征映射，(ii)使深度学习分类机输入并获得对应于每个所述自动标签的框的每个所述级联的特征映射，生成将每个所述自动标签的框分为异常类群或正常类群的信息，(iii)(iii-1)参考关于每个所述自动标签的框的每个所述类别信息，来计算所述异常类群中每个异常类要素的概率，(iii-2)利用每个所述异常类要素的每个概率，将所述具有固有的自动标签的原始图像区分为具有固有的自动标签的原始图像与具有固有自动标签的差异原始图像，(iii-3)将所述具有固有的真实标签及自动标签的验证图像候选群区分为所述具有固有的真实标签及自动标签的验证图像与所述具有固有的真实标签及自动标签的差异验证图像，所述具有固有的自动标签的原始图像为，所述具有固有的自动标签的原始图像中，被错误标签的概率小于所述第3阈值的图像，所述具有固有的自动标签的差异原始图像所述具有固有的自动标签的原始图像中，被误标签的概率大于或等于所述第4阈值的图像。
在一实施例中，在所述步骤(II)中，所述处理器为，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述验证图像的所述真实标签为XAL，所述自动标签为LAL时，所述自动标签网络的可靠性(Reliability(AL))用下述式来评估。
在一实施例中，在所述步骤(II)中，所述处理器为，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述差异验证图像的所述真实标签为XHL，所述手动标签为LHL时，所述手动标签设备的可靠性(Reliability(HL))用下述式来评估。
除此之外，本发明还包括一种记录用于执行本发明的方法的计算机程序的计算机可读记录媒介。
本发明从自动标签网络自动标签的图像中，选择难以标签的图像进行检验，从而具有准确评价标签可靠性的效果。
本发明为了进行自动标签，选择并添加与原始图像拍摄环境类似的验证图像，使检验人员不能轻易的区分所述原始图像与所述验证图像，因此具有准确评价所述标签可靠性的效果。
本发明具有在类似图像中选择有效的图像时，提供最佳的采样流程的效果。
本发明检验不易标签的图像，从而减少检验人员的数量，具有降低注释(annotation)费用的效果。
本发明适用了词袋模型，具有识别周围环境的效果。
附图说明
为了说明本发明的实施例而添加的附图仅是本发明实施例中的一部分，本领域技术人员可以根据本发明的附图，无需额外的发明性作业就可以获得其他的图。
图1是根据本发明的一实施例的评估用于学习深度学习网络的训练图像的标签的可靠性评估设备的示意图。
图2是本发明的一实施例的评估用于学习深度学习网络的一个以上的训练图像的标签可靠性的评估方法的示意图。
图3是本发明的一实施例的评估用于学习深度学习网络的训练图像的标签可靠性的方法中，验证图像候选群中选择与原始图像拍摄环境类似的验证图像候选群的方法的示意图。
图4是本发明的一实施例的评估用于学习深度学习网络的训练图像的标签可靠性的方法中，自动标签网络中为了检查标签作业而选择样品图像的方法的示意图。
图5是本发明的一实施例的评估用于学习深度学习网络的训练图像的标签可靠性的方法中，所述自动标签网络中为了检查标签作业而选择样品图像的、深度学习分类机的学习方法的示意图。
具体实施方式
下面通过实施例的方式结合附图来更清楚完整地说明本发明。本发明的说明书及权利要求中的用语“包含”及其变形不排斥其他技术特征、附加物、构成要素及步骤。本发明的其他目的、优点及特性，部分在说明书中，部分在实施例中展现给本领域技术人。以下通过实施例的方式结合附图来更清楚完整地说明本发明，但并不因此将本发明限制在的实施例范围之中。
本发明涵盖说明书中记载的实施例的所有可能的组合。应当理解，本发明的各种实施例虽是不同的，但是并不相互排斥。例如，在不脱离本发明的思想及范围的情况下，本发明一实施例记载的特定形象、结构及特性可以以其他实施例的方式体现。且，应当理解，每个记载的实施例内的个别构成要素的位置及布置可以在不脱离本发明的精神及范围的情况下进行变更。因此，以下详细描述不应被理解为是限制本发明的范围的，如果可以适当地描述本发明的范围，仅受所附权利要求书以及这些权利要求书所赋予的等效内容的全部范围的限制。附图中相似的参考符号在每个层面中指代相同或相似的技能。
本发明涉及的各种图像可以包含有关泊油路或非泊油路的道路图像，这时可以联想到道路环境中可能出现的物体(如，车、人、动物、植物、物件、如飞机或遥控飞机的飞行物体、其他障碍物)，但不限于此，本发明涉及的各种图像也可能是与道路无关的图像(如，与土路、小巷、空地、海、湖、江、山、森林、沙漠、天、室内相关的图像)，此时可以假设为，土路、小巷、空地、海、湖、江、山、森林、沙漠、天、室内中可能出现的物体(如，车、人、动物、植物、物件、如飞机或遥控飞机的飞行物体、其他障碍物)，但不限于此。
为了本领域技术人员容易的实施本发明，本发明的实施例参考附图来详细说明。
图1是根据本发明一实施例的，评估用于学习深度学习网络的训练图像的标签的可靠性的评估设备的示意图，从图1可以看出，所述可靠性评估设备100包含：存储评估训练图像标签可靠性的指令的储存器110与存储在所述储存器110的、执行对应于所述指令来评估所述可靠性的程序的处理器120。
具体的，所述可靠性评估设备100为典型的利用至少一个计算设备(如，计算机处理器、内存、存储器、输入和输出设备以及常规计算设备的其他组件；如路由器、交换器等的电子通信组件；如网络附加存储与存储区域网络的电子信息储存系统)及至少一个电脑软件(即，使计算设备以特定方式运行的指令)的组合来达成所需系统机能的设备。
且，所述计算设备的处理器可以包括微处理器或中央处理器、高速缓存、数据总线(Data Bus)等硬件的构成。计算设备的还可以包括操作系统、执行特定目的的运行软件的构成。
但是，这种对于所述的计算设备的说明，不排除为了实施本发明的处理器、存储器、介质或其他计算组件统合的集成处理器。
下面参考图2，说明根据本发明一实施例的评估用于学习深度学习网络的训练图像的标签的可靠性的评估方法。此时，所述深度学习网络可以利用可靠性评估设备100来分析图像。
首先，如果获得一个以上的原始图像，则所述可靠性评估设备100使类似图像选择网络200选择与所述原始图像拍摄环境类似的、具有固有的真实标签的验证图像候选群后，将所述具有固有的真实标签的验证图像候选群与原始图像输入到自动标签网络300络中，使所述自动标签网络300对所述具有固有的真实标签的验证图像候选群与原始图像进行自动标签。其中，所述原始图像是未标签的图像。
所述原始图像与所述具有固有的真实标签的验证图像候选群，每个被所述自动标签网络300标签，从而生成具有固有的自动标签的原始图像与具有固有的真实标签的验证图像候选群。
下面，利用图3，说明所述类似图像选择网络200选择与所述原始图像的拍摄环境类似的，具有固有的真实标签的验证图像候选群的方法。
所述可靠性评价设备100如果将获得的原始图形输入到所述类似图像选择网络200，则类似图像选择网络200在所述原始图片上的每个滑动窗口的每个领域裁剪并从新制定尺寸后输出加工图像。此时，作为另外实施例，非所述类似图像选择网络200的可靠性评估设备100也可以获得在所述原始图片上的每个滑动窗口的每个领域裁剪并从新制定尺寸的加工图像，将对应于所述原始图像的每个所述加工图像输入到所述类似图像选择网络200。
而后，所述类似图像选择网络200使分类图像的图像分类卷积神经网络210分类所述加工图像，输出每个上位k个的信息。一例中，所述图像分类卷积神经网络210生成每个加工图像的每个特征映射，利用每个特征映射将对象或背景分类为昼、鸟、春、云、山、树、自行车、人、道路、狗等分类群，输出所述上位k个类信息。这时，图中只公开输出上位k个类信息的情况，但是本发明的范围不限于此。且，图中公开每个对应于加工图像的所述图像分类卷积神经网络是多个，但是210也可以利用一个图像分类卷积神经网络输出对应于每个所述加工图像的所述上位k个信息，或利用对应于所述加工图像，但数量与所述加工图像不同的图像分类卷积神经网络输出所述上位k个类信息。
且，所述类似图像选择网络200，参考所述图像分类卷积神经网络210输出的、对应于每个加工图像的上位的K个类信息，将生成至少一个词袋模型的至少一个运算适用于所有所述原始图像，从而生成至少一个对所述原始图像的词袋模型的直方图。
之后，类似图像选择网络200在具有上述固有的真实标签的验证图像候选群中，按照与所述词袋模型的直方图接近的顺序，选择已设定的个数的具有所述固有的真实标签的验证图像，并为了自动标签所述原始图像及已设定个数的验证图像候选群，将其传送到自动标签网络300。这时，所述类似图像选择网络200管理从所述已设定个数的验证图像候选群中具有固有的真实标签的差异验证图像与差异原始图像，使已设定个数的验证图像候选群中具有固有的真实标签的差异验证图像的个数与上述原始图像中的上述差异原始图像的个数保持特定的比率。一例中，所述已设定个数的验证图像候选群中具有固有的真实标签的差异验证图像的数量可以为所述原始图像中的上述差异原始图像的数量的10％。对于前面加“简单(easy)”及“差异”的图像的定义在下文说明。
下面，参照图4，所述自动标签网络300自动标签所述原始图像与所述具有固有的真实标签的验证图像候选群，输出所述具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群，从而选择简单图像与差异图像的方法如下所说明。所述简单图像与差异图像，在后续的记载中定义。
所述自动标签网络300使图像变形层310直接利用所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群或对其进行变形，从而生成第1图像与第2图像。此时，在所述第1图像与第2图像中至少一个是从所述具有固有的自动标签的原始图像及具有固有的真实标签及自动标签的验证图像候选群中的一个变形而生成的图像。
利用所述图像变形层310生成第1图像与第2图像时，可利用多个变形的一对来生成如下图像对，即与所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群相对应的、所述第1图像与第2图像的至少一个图像对。
一例中，所述变形对可以如下所示。
表1
No. 第1图像 第2图像
1 大小改为480P 大小改为540P
2 大小改为640P 大小改为720P
3 大小改为900P 大小改为1080P
4 原图 左右翻转
5 原图 伽玛0.5
6 原图 伽玛1.5
即，可以生成按照任意顺序连续输入的、对应于根据所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像中的一个而设定的所述变形对的、所述第1图像与所述第2图像的一个以上的图像对。
接着，所述自动标签网络300使一个以上的卷积层320在所述第1图像与第2图像上分别适用一个以上的卷积运算，从而输出至少一个第1特征映射与至少一个第2特征映射。其中，每个所述卷积层320可以是对所述图像自动标签的、构成所述自动标签网络的至少一个自动标签卷积层。即，所述自动标签网络使用多个变形组合时，所述变形对只能定义为所述自动标签网络所使用的变形，与此同时，所述自动标签网络的所述自动标签卷积层输出的特征映射可以在没有其他步骤的情况下直接被利用，减少了运算所述特征映射的所需的时间。
之后，所述自动标签网络300使至少一个池化层300，在所述第1特征映射上，对应每个所述具有固有自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群的经自动标签的框的每个区域适用一个以上的池化运算，从而生成一个以上的第1池化特征映射，在所述第2特征映射上，对应每个所述具有固有自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群经自动标签的框的每个区域适用一个以上的池化运算，从而输出每一个第2池化特征映射，级联对应于每个所述自动标签框的每个所述第1池化特征映射和与其对应的每个所述第2池化特征映射，生成对应所述每个自动标签的框的各自的级联的特征映射。这时，图4中图示了两个卷积层320与两个池化层330，但是也可以不同于此，利用一个卷积层与一个池化层在所述第1图像与第2图形上进行卷积计算，也可以为了在第1特征映射与第2特征映射适用所述池化运算而使用各自。
所述自动标签网络300使至少一个深度学习分类机340输入对应于每个所述级联的特征映射来获取，输出将每个所述自动标签的框分为异常类群或正常类群的类别信息。这时，所述异常类群可以包含错误检出类群与未检出类群，所述正常类群可以包括从分类为对象的框的类别群与从分类为背景的框的类别群，所述框为不包含在异常类群的所述自动标签的框的至少一部分。对于所述自动标签的框的分类，参考图5来说明所述深度学习分类机340的学习方法。
之后，所述自动标签网络设备300使差异图像辨别层350，(i)参考每个所述自动标签的框的每个所述类别信息，来计算所述异常类群中每个异常类要素的概率，(ii)利用每个所述异常类要素的每个概率，判断所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群是否为后述的差异图像。
此时，对所述深度学习分类机340的输出适用S型函数后可以计算出每个所述异常类要素的概率值。每个所述异常类要素的每个概率值可以包含所述错误检出类群的错误检出类要素的每个概率值与所述未检出类群的未检处类要素的每个概率值。
一例中，对所述错误检出类要素(FP)的概率值可以用p(bi:FP|IA，IB)表示，对所述未检出类要素(FN)的概率值用p(bi:FN|IA，IB)表示。
其中，bi为所述自动标签的框中的一个自动标签的框，IA与IB表示所述第1图像与所述第2图像。
且，所述自动标签网络300按照所述自动标签的框的类别、对应于每个所述变形对的每个所述异常类要素的概率值，可计算至少一个所述计算出的概率值的加权平均。
即，所述错误检出类要素的概率值(p(bi:FP))与所述未检出类要素的概率值(p(bi:FN))用下式表示。
其中，所述错误检出类要素的概率值(p(bi:FP))与所述未检出类要素的概率值(p(bi:FN))为对加权值的线性函数，可以通过具有∑jwj＝1的限制条件的限制最优化(Constrained optimization)来使所述加权值的最优化变得可能。
对于所述每个异常类要素的概率值的至少一个广义平均为阈值以上时，所述自动标签网络300可以判断所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群为所述差异图像。
一例中，所述自动标签网络300参考每个自动标签的框的所述错误检出类要素的概率值(p(bi:FP))与未检出类要素的每个概率值(p(bi:FN))，并用下面的广义平均算出所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群为所述差异图像的概率(p(I:Difficult))。
并，参考每个自动标签的框的所述错误检出类要素的概率值(p(bi:FP))与未检出类要素的每个概率值(p(bi:FN))，在算出的每个所述概率值(p(I:Difficult))大于或等于所述阈值时，所述自动标签网络300判断所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群为所述差异图像。其中，所述差异图像可为错误地自动标签的概率大于或等于所述阈值的图像，所述阈值包含第1阈值、第2阈值、第3阈值及第4阈值，对于其在后续说明。
其中，所述阈值可以是对所述自动标签网络的自动标签步骤后手动检查的所述验证图像候选群的正确答案准确率中至少一个最高的准确率。
其次，所述自动标签网络300，在所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群为差异图像时，将所述具有固有的自动标签的原始图像或所述具有固有的真实标签及自动标签的验证图像候选群选定为标签检查用的样品图像。即，所述具有固有的自动标签的原始图像可区分为具有固有的自动标签的简单原始图像与具有固有的自动标签的差异原始图像，所述具有固有的真实标签及自动标签的验证图像候选群可区分为具有固有的真实标签及自动标签的简单验证图像与具有固有的真实标签及自动标签的差异验证图像。其中，(i)所述具有固有的真实标签及自动标签的简单验证图像为具有固有的真实标签及自动标签的验证图像候选群中，被错误地自动标签的概率小于第1阈值的检查图像，(ii)所述具有固有的真实标签及自动标签的差异验证图片为所述具有固有的真实图像的检验图像候选群中，被错误地自动标签的概率大于或等于第2已设值的验证图像，(iii)所述具有固有的自动标签的原始图像为，被错误地自动标签的概率小于第3阈值的图像，(iv)所述具有固有的自动标签的差异原始图像为，具有固有的自动标签的原始图像中，被错误地标签的概率大于或等于第4阈值的图像。所述第1阈值、第2阈值、第3阈值及第4阈值中至少部分是可以相同或不同。这时，所述自动标签网络300识别被选定为所述差异图像的、具有固有的自动标签的差异原始图像与具有固有的真实实标签及自动标签的差异验证图像上的、对应于被分类为异常类群的自动标签的框的区域，使检查人员能够容易的检查。
另一方面，所述深度学习分类机可包含多种全连接层或全卷积网络(fullyconvolutional network)，参考图5，学习所述深度学习分类机的过程如下。
如果获得根据所述自动标签网络自动标签的、具有自动框的至少一个训练图像，则学习设备500使一个以上的学习用卷积层510将学习用卷积层的卷积运算适用到所述训练图像，从而输出至少一个学习用特征映射。
其中，所述训练图像的所述自动框可以与通过所述自动标签网络标签的所述自动框不同，可以是为了学习而任意生成的。
且，所述学习设备500可以包含储存为了学习所述深度学习分类机所需的指令的储存器(未图示)、以及对应于储存在所述储存器的指令来学习深度学习类分类机的处理器(未图示)。
具体得，所述学习设备500为典型的利用至少一个计算设备(如，计算机处理器、内存、存储器、输入和输出设备以及常规计算设备的其他组件；如路由器、交换器等的电子通信组件；如网络附加存储与存储区域网络的电子信息储存系统)及至少一个电脑软件(即，使计算设备以特定方式运行的指令)的组合来达成所需系统机能的设备。
另外，所述计算设备的处理器可以包含微处理器或中央处理器、高速缓存、数据总线等硬件的构成。且，计算设备的还可以包含操作系统、执行特定目的的运行软件的构成。但是，这种对于所述的计算设备的说明，不排除为了实施本发明的处理器，存储器，介质或其他计算组件统合的集成处理器。
所述学习设备500使池化层520将一个以上的所述学习用池化层的池化运算适用到学习用特征映射上的、对应于每个自动框的每个领域，输出至少一个学习用池化图。
之后所述学习设备500使深度学习分类机530输入对应于每个所述自动框的每个学习用池化特征映射来获得，输出将所述自动框分为异常类群或正常类群的类别信息。
其中，所述类别信息可以包含所述错误检出类群与所述未检出类群的异常类群。且，所述类别信息可以包括2维输出。
一例中，所述错误检出类群(FP，yi＝[1，0]))可以为，拥有与第1特征自动框相同的类信息的第1特征真实框与其他真实框重叠的部分小于所述第1阈值以上的情况。
其中，所述错误检出类群(FP，yi＝[1，0])可以用 表示。
且，所述未检出类群(FN，yi＝[0，1])可以为，拥有与第2特征真实框相同的信息的第2特征自动框与其他自动框重叠的部分小于第2阈值的情况下，第3特征自动框与所述第2特征真实框重叠的部分大于或等于第3阈值的情况。
其中，所述未检出类群(FN，yi＝[0，1])可以用 yi＝[0，1]):IoU(bi，tj)≥β表示。
一例中，α、β可以设定为α＝0.9，β＝0.5，但不限于此。
所述正常类群(yi＝[0，0])可以包含所述错误检出类群及未检出类群以外的其他类群，也可以对应于所述对象与背景。
为了防止所述类别的不均衡，所述学习设备500管理所述错误检出类群、所述未检出类群及所述正常类群，使在所述异常类群中要素个数多的类别群的个数达到要素个数少的剩下的类别群的个数的已设定的第1倍数以下，所述正常类群要素的个数与所述非正常类群的要输个数的已设定的第2倍数相同。
其中，所述学习设备500可以利用任意采样，调整所述错误检出类群(FP)的要素的个数、未检出类群(FN)的要素个数及正常类群的要数个数。
所述学习设备500使至少一个损失层540参考每个对所述自动标签的框的每个类别信息和与其对应的一个以上的地面真值，计算一个以上的损失，通过利用所述损失的反向传播，学习所述深度学习分类机530参数中的至少一部分。
其中，所述学习设备500利用交叉熵损失函数(cross-entropy loss)来执行所述反向传播。
所述学习，可以为将构成所述深度学习分类机530的神经网络内联系的两个层的突触强度的加权值调小的过程。
一例中，利用随机梯度下降法(Stochastic Gradient Descent,SGD)执行所述反向传播时，如下可以调整每个加权值。
其中，lr为学习率，C为代价函数(Cost function)。
其中，所述代价函数可以以指导学习、非指导学习、自率学习及强化学习等的学习形态与活性化函数之类的要素来确定。
例如，在学习解决多类别(multi-class)分类问题时，一般将所述激活函数与代价函数分别确定为softmax函数和交叉熵函数。
所述softmax函数可以用表示，所述代价函数可以用C＝-∑jdjlog(pj)表示。
其中，pj表示类别概率(class probability)，xj与xk分别表示全部输入到单元j与全部输入到单元k。且，dj表示对于输出单元j的目标概率，pj表示使用该当激活函数后的对于所述输出单元j的概率输出。
在上述中，作为利用损失的反向传播的一例，说明了所述随机梯度下降法，但本发明的范围不限于此，还可以利用动量法(Momentum)、内斯特罗夫加速梯度方法(NesterovAccelerated Gradient,NAG)、AdaGrad(自适应梯度)方法、RMSProp(均方根传播)方法、AdaDelta(自适应增量)方法、Adam(自适应矩阵估计)方法等来执行学习所谓神经网络的反向传播。
再次参考图2，所述可靠性评估设备100可以从所述自动标签网络300获得所述具有固有的自动标签的简单原始图像与具有固有的真实标签及自动标签的验证图像，并参考所述具有固有的真实标签及自动标签的简单验证图像的真实标签与自动标签，评估自动标签网络的可靠性。
此时，精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述验证图像的所述真实标签设为XAL，所述自动标签设为LAL时，所述自动标签网络300的可靠性(Reliability(AL))用式 评估。
且，如果所述自动标签网络从300输出的、从手动标签设备400获得对所述具有固有的自动标签的差异原始图像与所述具有固有的真实标签及自动标签的差异验证图像手动标签生成的、具有固有的自动标签及手动标签的差异原始图像与具有固有的真实标签、自动标签及手动标签的差异验证图像，则所述可靠性评估设备100可以参考所述具有固有的真实标签、自动标签及手动标签的差异验证图像的真实标签与自动标签，评估所述手动标签设备400的可靠性。
此时，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述差异验证图像的所述真实标签为XHL，所述手动标签为LHL时，所述手动标签设备400的可靠性(Reliability(HL))用式评估。
所述自动标签网络300的可靠性大于或等于所述第1阈值时，所述可靠性评估设备100从所述自动标签网络300获得的具有固有的自动标签的简单原始图像中的至少一部分选定为具有固有的真实标签的训练图像。
所述手动标签设备400的可靠性大于或等于所述第2阈值时，所述可靠性评估设备100从所述手动标签设备400获得的具有固有的自动标签及手动标签的差异原始图像中选定至少一部分为具有固有的真实标签的训练图像。
且，所述可靠性评估设备100从所述手动标签设备400获得的具有固有的自动标签及手动标签的差异原始图像中，未被选定为所述具有固有的真实标签的训练图像的、具有固有的自动标签及手动标签的特定差异原始图像选定为所述具有固有的真实标签的验证图像候选群，可以在下次评估自动标签可靠性时利用所述具有固有的真实标签的验证图像候选群。
随着自动标签准确性的提高，自动标签与真实标签一致的情况会变多，从而减少了在检查真实标签时进行校对的必要性。但是，根据本发明的一实施例，只有差异图像时，即使所述准确性提高也可能会发生所述校对作业，且，不仅是验证图像，在原始图像中也会选择差异图像，因此检查人员需要区分检查与否的可能性降低，因此可以对所述检查人员进行准确的评价。
以上记载的本发明的实施例以可以通过多种计算机组件执行的程序指令的形式体现，可以记录在计算机可读取的记录媒介上。所述计算机可读取的记录媒介可以包括单独的或组合的程序命令、数据文件、数据结构等。所述记录在计算机可读取的记录媒介的程序命令可以是为本发明特别设计、构成的或计算机软件领域的技术人员已周知并可以使用的。计算机可读记录介质的例为；硬盘、软盘、磁带等磁性介质，CD-ROM，DVD等光学记录媒介，光磁碟等磁光媒介，及ROM、RAM、闪存等，专门用于储存程序命令及其执行的硬件设备。程序命令的例为；除了由编译器产生的机器代码之外，还包括解释程序等用计算机执行的高级语言代码。为了执行本发明，所述硬件设备可以由一个或多个软件模块来执行，反之亦然。
尽管以上通过具体构成要素等特定事项与实施例及附图描述了本发明，但这只是为了更全面的理解本发明，本发明的范围不限于以上实施例，对于本领域技术人员而言，可以根据这些描述进行每个种修改和变化。
因此，本发明的保护范围不限于上述实施例，下面将要描述的权利要求，等同于或等价变形其的所有修改均落入本发明的保护范围。

Claims (10)

1.一种评估自动标签网络的可靠性和手动标签设备的可靠性的方法，其特征在于，包括如下步骤：
(a0)可靠性评估设备，获取一个以上的原始图像；其中，所述原始图像为未标签的图像；
(a)所述可靠性评估设备使类似图像选择网络选择与所述原始图像拍摄环境类似的、具有固有的真实标签的验证图像候选群后，将所述具有固有的真实标签的验证图像候选群与所述原始图像输入到所述自动标签网络中，从而使所述自动标签网络对所述具有固有的真实标签的验证图像候选群与所述原始图像进行自动标签；以及
(b)所述可靠性评估设备，(i)如果从所述自动标签网络获得具有固有的真实标签及自动标签的简单验证图像，则参考所述简单验证图像的所述真实标签及所述自动标签，评估所述自动标签网络的可靠性，(ii)如果从手动标签设备获得具有固有的真实标签、自动标签及手动标签的差异验证图像，则参考所述差异验证图像的所述真实标签及所述手动标签，评估所述手动标签设备的可靠性，所述具有固有的真实标签、自动标签及手动标签的差异验证图像在具有固有的真实标签及自动标签的差异验证图像上适用手动标签运算而生成，
且，所述具有固有的真实标签及自动标签的简单验证图像为所述自动标签的具有固有的真实标签的验证图像候选群中、被错误地自动标签的概率小于第1阈值的验证图像，所述具有固有的真实标签及自动标签的差异检验图像为所述自动标签的具有固有的真实标签的验证图像候选群中、被错误地自动标签的概率大于或等于第2阈值的检查图像步骤；
在所述步骤(a)中，
所述可靠性评估设备，使所述类似图像选择网络，(i)(i-1)获得加工图像，所述加工图像通过裁剪并改变所述原始图像中的滑动窗口的大小而生成，(i-2)通过图像分类卷积神经网络分类所述加工图像，输出各上位的K个类信息，(i-3)参考所述上位的K个类信息来生成至少一个词袋模型的至少一个运算适用于所有所述原始图像，从而生成至少一个所述原始图像的词袋模型的直方图，(ii)在所述具有固有的真实标签的验证图像候选群中，按照与所述词袋模型的直方图接近的顺序，选定已设定个数的所述具有固有的真实标签的验证图像候选群；
在所述(b)步骤中，
所述可靠性评估设备，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述简单验证图像的所述真实标签设为XAL，所述自动标签设为LAL时，
所述自动标签网络的可靠性(Reliability(AL))用下式进行评估，
以及
在所述步骤(b)中，
所述可靠性评估设备，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述差异验证图像的所述真实标签设为XHL，所述手动标签设为LHL时，
所述手动标签设备的可靠性(Reliability(HL))用下式进行评估，
2.根据权利要求1所述方法，其特征在于，还包括如下步骤；
(c)所述可靠性评估设备在，(i)所述自动标签网络的所述可靠性大于或等于第1阈值时，确定一部分从所述自动标签网络获得的具有固有的自动标签的简单原始图像作为具有固有的真实标签的训练图像，(ii)所述手动标签设备的所述可靠性大于或等于第2阈值时，确定一部分从所述手动标签设备获得的具有固有的自动标签及手动标签的差异原始图像作为具有固有的真实标签的训练图像，
所述具有固有的自动标签的简单原始图像为，自动标签所述原始图像来获得的、具有固有的自动标签的原始图像中，被错误地标签的概率小于第3阈值的图像，所述具有固有的自动标签的差异原始图像为，自动标签所述原始图像来获得的、所述具有固有的自动标签的原始图像中，被错误地标签的概率大于或等于第4阈值的步骤。
3.根据权利要求2所述的方法，其特征在于，
所述可靠性评估设备，在所述具有固有的自动标签及手动标签的差异原始图像中，将未被选定为所述具有固有的真实标签的训练图像的、具有固有的自动标签及手动标签的特定的差异原始图像选定为所述具有固有的真实标签的验证图像的候选群。
4.根据权利要求1所述的方法，其特征在于，
所述可靠性评估设备，使所述类似图像选择网络，管理在已设定的个数的所述验证图像候选群中具有所述固有的真实标签的差异验证图像及具有固有的自动标签的差异原始图像，使所述已设定个数的验证图像候选群中具有所述固有的真实标签的差异验证图像的个数与所述原始图像中具有所述固有自动标签的差异原始图像的个数保持特定的比率。
5.根据权利要求1所述的方法，其特征在于，
在所述步骤(a)中，
所述可靠性评估设备，使所述自动标签网络对所述原始图像与所述具有固有的真实标签的验证图像候选群进行自动标签，输出所述具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群，(i)(i-1)生成第1图像与第2图像，其中至少一个从所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群中的一个变形而生成，若所述第1图像与第2图像中仅有一个从所述具有固有的自动标签的原始图像及所述验证图像候选群中的一个变形而生成，则所述第1图像与第2图像中的另一个直接使用所述原始图像与验证图像候选群中的一个，(i-2)使一个以上的卷积层在所述第1图像与第2图像上分别适用一个以上的卷积运算，生成至少一个第1特征映射与一个第2特征映射，(i-3)使至少一个池化层在每个所述的第1特征映射与各第2特征映射上，对应与每个所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群的经自动标签的框的各区域适用一个以上的池化运算，从而生成一个以上的第1池化特征映射与一个以上的第2池化特征映射后，级联各每个所述第1池化特征映射和与其对应的每个所述第2池化特征映射，生成对应所述各自动标签的框的一个以上的级联的特征映射，(ii)使深度学习分类机输入并获得对应于各所述自动标签的框的各所述级联的特征映射，从而生成将各所述自动标签的框分为异常类群或正常类群的信息，(iii)(iii-1)参考关于每个所述自动标签的框的每个类别信息来计算所述异常类群中各异常类要素的概率，(iii-2)利用各所述异常类要素的各概率，将所述具有固有的自动标签的原始图像区分为具有固有的自动标签的原始图像与具有固有自动标签的差异原始图像，(iii-3)将所述具有固有的真实标签及自动标签的验证图像候选群区分为所述具有固有的真实标签及自动标签的验证图像与所述具有固有的真实标签及自动标签的差异验证图像，
所述具有固有的自动标签的原始图像为，所述具有固有的自动标签的原始图像中，被错误地标签的概率小于所述第3阈值的图像，所述具有固有的自动标签的差异原始图像为，所述具有固有的自动标签的原始图像中，被错误地标签的概率大于或等于所述第4阈值的图像。
6.一种评估自动标签网络的可靠性和手动标签设备的可靠性的可靠性评估设备，其特征在于，包括：
至少一个存储器，所述存储器存放指令；以及
至少一个处理器，所述处理器为了执行所述指令而执行如下程序：
(I0)获取一个以上的原始图像；其中，所述原始图像为未标签的图像；(I)则使类似图像选择网络选择与所述原始图像拍摄环境类似的、具有固有的真实标签的验证图像候选群后，将所述具有固有的真实标签的验证图像候选群与所述原始图像输入到所述自动标签网络中，从而使所述自动标签网络对所述具有固有的真实标签的验证图像候选群与所述原始图像进行自动标签；及
(II)(i)如果从所述自动标签网络获得具有固有的真实标签及自动标签的简单验证图像，则参考所述简单验证图像的所述真实标签与所述自动标签来对所述自动标签网络的可靠性进行评估，(ii)如果从手动标签设备获得在具有固有的真实标签及自动标签的差异验证图像适用手动标签运算来生成的具有固有的真实标签、自动标签及手动标签的差异验证图像，则参考所述具有固有的真实标签、自动标签及手动标签的差异验证图像的所述真实标签与所述手动标签，评估所述手动标签设备的可靠性，所述具有固有的真实标签及自动标签的简单验证图像为，所述自动标签的具有固有的真实标签的验证图像候选群中，被错误地自动标签的概率小于第1阈值的验证图像，所述具有固有的真实标签及自动标签的差异验证图像为，所述自动标签的具有固有的真实标签的验证图像候选群中，被错误地自动标签的概率大于或等于第2阈值的验证图像；
在所述程序(I)中，
所述处理器，使所述类似图像选择网络，(i)(i-1)获得加工图像，所述加工图像裁剪原始图像中的滑动窗口的领域并重新制定尺寸而生成，(i-2)通过图像分类卷积神经网络分类所述加工图像，输出各上位的K个类信息，(i-3)参考所述上位的K个类信息，在所有所述原始图像适用生成至少一个词袋模型的至少一个运算，从而生成至少一个所述原始图像的词袋模型的直方图，(ii)在所述具有固有的真实标签的验证图像候选群中，按照与所述词袋模型的直方图接近的顺序，选定已设定个数的上述具有固有的真实标签的验证图像候选群；
在所述程序(II)中，
在所述处理器中，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述简单验证图像的所述真实标签设为XAL，所述自动标签设为LAL时，
所述自动标签网络的可靠性(Reliability(AL))用下式进行评估，
以及
在所述程序(II)中，
在所述处理器中，在精密度(Precision)(X，L)＝1-[L中被误检验的框的个数]/[L中的全部框数量]，召回率(Recall)(X，L)＝1-[X中未检验出来的框的个数]/[X中的全部框数量]，所述差异验证图像的所述真实标签设为XHL，所述手动标签设为LHL时，
所述手动标签设备的可靠性(Reliability(HL))用下式进行评估，
7.根据权利要求6所述的可靠性评估设备，其特征在于，
所述处理器进一步执行如下程序：
(III)(i)所述自动标签网络的可靠性大于或等于第1阈值时，确定一部分从所述自动标签网络获得的具有固有的自动标签的简单原始图像作为具有固有的真实标签的训练图像，(ii)所述手动标签设备的可靠性大于或等于第2阈值时，确定一部分从所述手动标签设备获得的具有固有的自动标签及手动标签的差异原始图像作为具有固有的真实标签的训练图像，
所述具有固有的自动标签的简单原始图像为，通过自动标签所述原始图像来获得的、具有固有的自动标签的原始图像中，被错误地自动标签的概率小于第3阈值的图像，所述具有固有的自动标签的差异原始图像为，通过自动标签所述原始图像获得的、所述具有固有的自动标签的原始图像中，被错误地自动标签的概率小于第4阈值的图像。
8.根据权利要求7所述的可靠性评估设备，其特征在于，
所述处理器，将在所述具有固有的自动标签及手动标签的差异原始图像中，未被选定为所述具有固有的真实标签的训练图像的、具有固有的自动标签及手动标签的特定差异原始图像选定为所述具有固有的真实标签的验证图像候选群。
9.根据权利要求6所述的可靠性评估设备，其特征在于，
所述处理器，使所述类似图像的网络，管理所述已设定的个数的上述验证图像候选群中具有固有的真实标签的差异验证图像及具有固有的自动标签的差异原始图像，从而使所述已设定个数的验证图像候选群中具有固有的真实标签的差异验证图像的个数与所述原始图像中具有固有的自动标签的差异原始图像的个数保持特定的比率。
10.根据权利要求6所述的可靠性评估设备，其特征在于，
在所述程序(I)中，
所述处理器，使所述自动标签网络对所述原始图像与具有固有的真实标签的验证图像候选群进行自动标签，输出具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群，(i)(i-1)生成第1图像与第2图像，其中至少一个从所述具有固有的自动标签的原始图像与具有固有的真实标签及自动标签的验证图像候选群中的一个变形而生成，若所述第1图像与第2图像中仅有一个从所述具有固有的自动标签的原始图像及验证图像候选群中的一个变形而生成，则所述第1图像与第2图像中剩下的另一个图像直接使用原始图像与验证图像候选群中的一个，(i-2)使一个以上的卷积层在所述第1图像与第2图像上各适用一个以上的卷积运算，从而生成至少一个第1特征映射与一个第2特征映射，(i-3)使至少一个池化层在每个所述第1特征映射与每个第2特征映射上，对应与每个所述具有固有的自动标签的原始图像与所述具有固有的真实标签及自动标签的验证图像候选群的经自动标签的框的各区域适用一个以上的池化运算，从而生成一个以上的第1池化特征映射与一个以上的第2池化特征映射，级联各所述第1池化特征映射和与其对应的各所述第2池化特征映射，从而生成对应所述各自动标签的框的一个以上的级联的特征映射，(ii)使深度学习分类机输入对应于各所述自动标签的框的各所述级联的特征映射来获得，从而生成将各所述自动标签的框分为异常类群或正常类群的信息，(iii)(iii-1)参考各所述自动标签的框的各类别信息来计算所述异常类群中各异常类要素的概率，(iii-2)利用各所述异常类要素的各个概率，将所述具有固有的自动标签的原始图像区分为具有固有的自动标签的原始图像与具有固有自动标签的差异原始图像，(iii-3)将所述具有固有的真实标签及自动标签的验证图像候选群区分为所述具有固有的真实标签及自动标签的简单验证图像与所述具有固有的真实标签及自动标签的差异验证图像，
所述具有固有的自动标签的原始图像为，在所述具有固有的自动标签的原始图像中，被错误地标签的概率小于所述第3阈值的图像，所述具有固有的自动标签的差异原始图像为，在所述具有固有的自动标签的原始图像中，被错误地标签的概率大于或等于所述第4阈值的图像。
CN202010071205.4A 2019-01-31 2020-01-21 自动评估对训练图像的标签可靠性的方法和装置 Active CN111507371B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/264,027 2019-01-31
US16/264,027 US10579907B1 (en) 2019-01-31 2019-01-31 Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same

Publications (2)

Publication Number Publication Date
CN111507371A CN111507371A (zh) 2020-08-07
CN111507371B true CN111507371B (zh) 2023-12-19

Family

ID=69172713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071205.4A Active CN111507371B (zh) 2019-01-31 2020-01-21 自动评估对训练图像的标签可靠性的方法和装置

Country Status (5)

Country Link
US (1) US10579907B1 (zh)
EP (1) EP3690741B1 (zh)
JP (1) JP6932395B2 (zh)
KR (1) KR102328734B1 (zh)
CN (1) CN111507371B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824151B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle
US20210133596A1 (en) * 2019-10-30 2021-05-06 International Business Machines Corporation Ranking image sources for transfer learning
KR20210106814A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
CN111368116B (zh) * 2020-05-26 2020-09-18 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质
EP3985560A1 (en) * 2020-10-15 2022-04-20 Aptiv Technologies Limited Methods and systems for determining candidate data sets for labelling
KR102340998B1 (ko) * 2021-07-06 2021-12-20 (주) 웨다 오토 레이블링 방법 및 시스템
WO2023128026A1 (ko) * 2021-12-30 2023-07-06 한국전자기술연구원 영상 데이터의 라벨링 가이드 방법 및 자동 라벨링 장치
KR20240029126A (ko) * 2022-08-26 2024-03-05 한국전자기술연구원 설치환경에 최적화된 딥러닝 모델 생성 시스템 및 방법, 이의 학습 데이터 구성 방법
KR102636461B1 (ko) 2023-09-14 2024-02-15 주식회사 에이아이노미스 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098976B1 (en) * 2011-09-26 2012-01-17 Limelight Networks, Inc. Methods and systems for performing top concepts extraction
CN104992184A (zh) * 2015-07-02 2015-10-21 东南大学 一种基于半监督极限学习机的多类图像分类方法
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
CN106777335A (zh) * 2017-01-13 2017-05-31 深圳爱拼信息科技有限公司 一种基于长短期记忆（lstm）模型的多标签行业分类方法及装置
CN108280516A (zh) * 2018-03-05 2018-07-13 山东领能电子科技有限公司 一种多组卷积神经网络之间互博智能进化的优化方法
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767386B2 (en) * 2015-06-23 2017-09-19 Adobe Systems Incorporated Training a classifier algorithm used for automatically generating tags to be applied to images
KR20170083419A (ko) * 2016-01-08 2017-07-18 마우키스튜디오 주식회사 레이블링되지 않은 다수의 학습 데이터를 이용하여 딥 러닝의 모델을 트레이닝하는 방법 및 이를 수행하는 딥 러닝 시스템
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
JP6573233B2 (ja) * 2016-07-19 2019-09-11 日本電信電話株式会社 認識容易性指標算出装置、方法、及びプログラム
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
KR102177568B1 (ko) * 2018-04-09 2020-11-11 주식회사 뷰노 레이블 있는 데이터 및 레이블 없는 데이터를 병용하는 준지도 강화 학습 방법 및 이를 이용한 장치
KR102189362B1 (ko) * 2018-06-29 2020-12-11 주식회사 디플리 자동 레이블링이 가능한 머신 러닝 방법 및 장치
KR102230559B1 (ko) * 2019-04-25 2021-03-22 에스케이텔레콤 주식회사 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR102168558B1 (ko) * 2019-10-24 2020-10-21 서울대학교산학협력단 액티브 러닝을 위한 학습용 데이터 선정 방법, 액티브 러닝을 위한 학습용 데이터 선정 장치 및 액티브 러닝을 이용한 영상 분석 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098976B1 (en) * 2011-09-26 2012-01-17 Limelight Networks, Inc. Methods and systems for performing top concepts extraction
CN104992184A (zh) * 2015-07-02 2015-10-21 东南大学 一种基于半监督极限学习机的多类图像分类方法
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
CN106777335A (zh) * 2017-01-13 2017-05-31 深圳爱拼信息科技有限公司 一种基于长短期记忆（lstm）模型的多标签行业分类方法及装置
CN108280516A (zh) * 2018-03-05 2018-07-13 山东领能电子科技有限公司 一种多组卷积神经网络之间互博智能进化的优化方法
CN109255044A (zh) * 2018-08-31 2019-01-22 江苏大学 一种基于YOLOv3深度学习网络的图像智能标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Lei Zhang, Yan Tong ,Qiang Ji."Active Image Labeling and Its Application to Facial Action Labeling".《ECCV 2008: Computer Vision,Part II, LNCS 5303》.2008,第706–719页. *

Also Published As

Publication number Publication date
EP3690741C0 (en) 2024-08-07
KR20200095334A (ko) 2020-08-10
EP3690741B1 (en) 2024-08-07
JP6932395B2 (ja) 2021-09-08
EP3690741A3 (en) 2020-08-19
CN111507371A (zh) 2020-08-07
JP2020126613A (ja) 2020-08-20
US10579907B1 (en) 2020-03-03
EP3690741A2 (en) 2020-08-05
KR102328734B1 (ko) 2021-11-22

Similar Documents

Publication Publication Date Title
CN111507371B (zh) 自动评估对训练图像的标签可靠性的方法和装置
KR102263397B1 (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
US10546242B2 (en) Image analysis neural network systems
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
KR102280414B1 (ko) 고 정밀도로 이미지를 분석하기 위한 딥 러닝 네트워크를 사용하기 위해 트레이닝 이미지를 오토 라벨링하는 오토 라벨링 장치의 하이퍼파라미터를 최적화하는 방법 및 이를 이용한 최적화 장치
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN109740676B (zh) 基于相似目标的物体检测迁移方法
CN111488879B (zh) 利用双嵌入构成的用于提高分割性能的方法及装置
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN116563762A (zh) 一种油气站火灾检测方法、系统、介质、设备及终端
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN110008899A (zh) 一种可见光遥感图像候选目标提取与分类方法
CN116964588A (zh) 一种目标检测方法、目标检测模型训练方法及装置
CN113609895A (zh) 基于改进Yolov3的获取道路交通信息方法
CN113221853A (zh) 一种基于Yolov4的养鸡场饲养鸡识别算法
WO2024152477A1 (zh) 一种基于多尺度特征解耦的机场飞行区目标实时检测方法
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN114998689B (zh) 一种轨道数据集的生成方法、轨道识别方法和系统
CN113378753A (zh) 一种基于改进YOLOv4的苗期水稻田边界目标识别方法
CN113989624B (zh) 红外低慢小目标检测方法、装置、计算设备及存储介质
CN117876942B (zh) 基于卷积神经网络的无人机与飞鸟的监测方法
CN118247653A (zh) 基于恒虚检测与cam的弱监督sar图像目标检测方法
CN118262143A (zh) 一种基于YOLOv5s的水面目标检测分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant