CN110569699A - 对图片进行目标采样的方法及装置 - Google Patents

对图片进行目标采样的方法及装置 Download PDF

Info

Publication number
CN110569699A
CN110569699A CN201811046061.6A CN201811046061A CN110569699A CN 110569699 A CN110569699 A CN 110569699A CN 201811046061 A CN201811046061 A CN 201811046061A CN 110569699 A CN110569699 A CN 110569699A
Authority
CN
China
Prior art keywords
sampling
area
frame
maximum
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811046061.6A
Other languages
English (en)
Other versions
CN110569699B (zh
Inventor
徐娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811046061.6A priority Critical patent/CN110569699B/zh
Priority to TW108122070A priority patent/TWI713366B/zh
Priority to SG11202012526SA priority patent/SG11202012526SA/en
Priority to US16/563,634 priority patent/US11069048B2/en
Priority to EP19773612.7A priority patent/EP3847579A1/en
Priority to PCT/US2019/050082 priority patent/WO2020051545A1/en
Publication of CN110569699A publication Critical patent/CN110569699A/zh
Application granted granted Critical
Publication of CN110569699B publication Critical patent/CN110569699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0283—Price estimation or determination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种计算机执行的对图片进行目标采样的方法和装置，根据该方法的一个实施方式，首先获取预先通过人工对目标进行标注的图片，其中，图片中通过最大标注边框包围目标的最大连续区域，通过多个子标注边框分别包围目标的部分连续区域，然后，在最大标注边框内，按照预定采样边框确定候选采样区域，接着，将候选采样区域与各个子标注边框所包围的各个区域依次进行重叠状况的对比，从而确定对应的重叠参数，并在重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。该实施方式可以提高对目标进行正样本采样的有效性。

Description

对图片进行目标采样的方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机对图片进行目标采样的方法和装置。
背景技术
图像识别技术是人工智能的一个重要领域，它是指对图像进行对象识别，以识别各种不同模式的目标和对象的技术。在一个事物包括多个部件的情况下，还可以包括对该事物中各个部件的识别。例如，对人脸图片中的五官的识别、车辆图片中各个车辆部件的识别等等。
在对图像中的目标对象进行识别的过程中，往往需要预先通过一定数量的正样本和负样本训练目标检测模型。不过，目前对许多场景下的目标检测训练的采样效果不够理想。例如，对于智能车辆定损场景下的车辆损伤对象的目标检测，需要大量的包含损伤对象的样本作为正样本，以及不含损伤对象的样本作为负样本。然而，常规技术中，往往出现正样本采样不足，以及负样本中包含部分损伤对象因而存在大量噪声干扰的问题。因此，需要提供一种方法，提高正样本采样的有效性。
发明内容
本说明书一个或多个实施例描述了一种计算机执行的对图片进行目标采样的方法和装置，可以通过在包围目标的最大连续区域内采集正样本，大大提高对目标正样本采样的有效性。
根据第一方面，提供了一种计算机执行的对图片进行目标采样的方法，包括：获取用于对目标进行采样的图片，其中，所述图片至少包括预先人工标注的最大标注边框和位于所述最大标注边框内的多个子标注边框，所述最大标注边框用于包围所述目标的最大连续区域，所述多个子标注边框分别包围所述目标的部分连续区域；在所述最大标注边框内，按照预定采样边框确定候选采样区域，其中，所述预定采样边框包括具有预定大小和预定形状的边框；根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数；在所述重叠参数满足预定条件的情况下，将所述候选采样区域采样为用于训练目标检测模型的正样本。
根据一方面的实施方式，所述在所述最大标注边框内，按照预定采样边框确定候选采样区域包括：从所述最大标注边框中确定所述预定采样边框的起始位置；将所述预定采样边框按照预设的移动规则从起始位置移动，以将所述预定采样边框当前包围的区域确定为所述候选采样区域。
根据另一方面的实施方式，所述在所述最大标注边框内，按照预定采样边框确定候选采样区域包括：随机确定所述预定采样边框在所述最大标注边框中的位置；将所述预定采样边框包围的区域确定为所述候选采样区域。
在一个实施例中，根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数包括：针对所述多个子标注边框中任意一个子标注边框所包围的第一区域，获取所述候选采样区域与所述第一区域的重叠区域，以及所述候选采样区域与所述第一区域的总包围区域；将所述重叠区域与所述总包围区域的第一面积比作为所述重叠参数。
进一步地，根据一个实施例，所述预定条件包括，所述候选采样区域与任意一个上述子标注边框之间的所述重叠参数落入预定范围。
根据另一种可能的设计，所述方法还包括：在所述最大标注边框外，按照所述预定采样边框确定采样区域，以作为用于训练目标检测模型的负样本。
在一个实施例中，所述图片为包含车辆损伤的图片，所述目标为连续损伤。
在一个实施例中，所述多个子标注区域相互之间没有重叠。
在一个实施例中，所述预定边框的预定大小和预定形状可调。
根据第二方面，提供一种计算机执行的对图片进行目标采样的装置，包括：获取单元，配置为获取用于对目标进行采样的图片，其中，所述图片至少包括预先人工标注的最大标注边框和位于所述最大标注边框内的多个子标注边框，所述最大标注边框用于包围所述目标的最大连续区域，所述多个子标注边框分别包围所述目标的部分连续区域；确定单元，配置为在所述最大标注边框内，按照预定采样边框确定候选采样区域，其中，所述预定采样边框包括具有预定大小和预定形状的边框；对比单元，配置为根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数；采样单元，配置为在所述重叠参数满足预定条件的情况下，将所述候选采样区域采样为用于训练目标检测模型的正样本。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的对图片进行目标采样的方法和装置，首先获取预先通过人工对目标进行标注的图片，其中，图片中通过最大标注边框包围目标的最大连续区域，通过多个子标注边框分别包围目标的部分连续区域，然后，在最大标注边框内，按照预定采样边框确定候选采样区域，接着，根据候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数，并在重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。由于在最大标注边框内，基于候选采样区域与子标注边框所包围区域的重叠状况采样正样本，可以提高对目标进行正样本采样的有效性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的计算机执行的对图片进行目标采样的方法流程图；
图3示出目标为河流的一个用于进行目标采样的图片的具体例子；
图4示出通过预定采样边框确定候选采样区域的一个具体例子；
图5示出将候选采样区域与任意一个子标注边框所包围的区域进行对比的一个具体例子；
图6示出根据一个实施例的计算机执行的对图片进行目标采样的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。如图1所示，在该实施场景中，计算平台通过标注图片进行采样，得到用于训练目标检测模型的样本集。图1所示的计算平台可以采集正样本和负样本加入样本集。标注图片是标注了目标的图片。其中，正样本通常是具有包含待识别目标标签的图片，负样本往往是具有不包含待识别目标标签的图片。例如，该应用场景中的目标可以是车辆上的损伤，正样本就是包含某类损伤的图片，负样本就可以是不包含某类损伤的图片。
根据图1，计算平台采集的样本集可以用于训练目标检测模型。在将待检测图片输入训练好的目标检测模型的情况下，根据目标检测模型的输出结果可以确定对待检测图片的目标检测结果。该目标检测结果例如可以是，是否包含目标等。在目标是车辆损伤的情况下，训练得到的目标检测模型也可以是损伤识别模型。对于用户拍摄的事故现场图片，就可以将现场图片输入该损伤识别模型，自动识别图片中的车损状况。
值得说明的是，目标检测模型的训练过程以及通过目标检测模型进行目标识别的过程，可以由图1示出的计算平台执行，也可以由其他计算平台执行。图1的计算平台可以设置在一台或多台计算机上。
本说明书实施例的改进主要体现在对标注图片进行采样的过程。可以理解，标注图片可以是标注出目标的图片。在本方案的实施例中，标注图片至少可以包括预先通过人工标注出的最大标注边框和位于最大标注边框内的多个子标注边框。其中，最大标注边框用于包围目标的最大连续区域，多个子标注边框分别包围目标的部分连续区域。
具体地，计算平台可以首先获取这些标注图片，并在最大标注边框内，按照预定采样边框确定候选采样区域。例如，将预定采样边框内所包围的区域确定为候选采样区域。其中，预定采样边框可以是具有预定大小和预定形状的边框。接着，计算平台可以将候选采样区域与各个子标注边框所包围的各个区域依次进行对比，以根据候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数。然后，在重叠参数满足预定条件的情况下，计算平台可以将候选采样区域采样为用于训练目标检测模型的正样本。
在一些实施例中，预定采样边框的大小和形状可以调节，或者在多种选择中选定。确定一种采样边框后，计算平台可以按照这种采样边框进行一轮采样。可选地，计算平台使用一种采样边框进行采样后，还可以通过调节或选择得到另一种采样边框进行新一轮的采样。
如此，通过在最大标注边框内采集正样本，且采集为正样本的候选采样区域与子标注边框满足重叠的预定条件，大大丰富所采样的正样本的数量，使得正负样本数量趋于均衡。通过有效的正样本采样，进一步可以提高目标检测模型的准确性。
另一方面，由于常规技术中，负样本有时会包含部分目标区域而导致训练模型时出现的噪声干扰，也会影响目标检测模型的准确性。因此，在一些实施例中，可以在最大标注边框之外的区域采集负样本。这样，最大程度上降低了噪声干扰，可以进一步提高目标检测模型的准确性。
下面描述上述场景的具体执行过程。
图2示出根据一个实施例的计算机执行的对图片进行目标采样的方法流程图。作为该方法的执行主体的计算机，可以是任何具有计算、处理能力的系统、设备、装置、平台或服务器。通过图2的流程采样得到的正样本，可以用于训练目标检测模型。
如图2示，该方法包括以下步骤：步骤21，获取用于对目标进行采样的图片，其中，上述图片至少包括预先人工标注的最大标注边框和位于最大标注边框内的多个子标注边框，最大标注边框用于包围目标的最大连续区域，多个子标注边框分别包围目标的部分连续区域；步骤22，在最大标注边框内，按照预定边框确定候选采样区域，其中，预定边框包括具有预定大小和预定形状的边框；步骤23，根据候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数；步骤24，在重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。
首先，在步骤21，获取用于对目标进行采样的图片，上述图片至少包括预先人工标注的最大标注边框和位于最大标注边框内的多个子标注边框。可以理解，这里说的图片首先是包含目标的图片，并且图片中的目标已经过人工通过相应标注边框进行标注。
这里的目标可以是待训练的目标检测模型的检测对象。更具体地，本说明书实施例特别适用于具有连续性和自包含性的目标，例如河流，云朵，车辆上的刮擦损伤，等等。这样的目标往往边界形状并不规则，并且，其自包含性意味着，从目标区域中截取的一部分区域也可以作为一个单独的目标。例如，从河流的样本图片中截取其中任意一段河流，也可以作为单独的河流样本。在一个实施例中，图片是包含车辆损伤的图片，标注的目标是连续损伤。
对于包含这样的目标的图片，可以使得标注人员首先标注出目标的最大连续区域，然后，在其中框选出若干个目标的部分连续区域。包围目标的最大连续区域的边框此处称为最大标注边框。但是应理解，该最大标注边框，是用于包围目标的最大连续区域，其中的“最大”是与“最大连续区域”中的“最大”相对应的，而不是说边框最大。相应地，用于包围目标的部分连续区域的边框称为子标注边框
请参考图3，图3标注的目标是河流。在图3中，包括不连续的两段河流。其中，最大标注边框301包围了下面一段河流的最大连续区域。实际应用中，还可以人工标注出包围最上端的河流连续区域的最大标注边框，由于图3仅为标注示例，不再一一标注。通常，该最大标注边框可以是正方形或矩形，在一些实现中，也可以是三角形、圆形等等，本说明书实施例对此不作限定。并且，图3中还包括多个子标注边框302，每个子标注边框302包围了河流的一部分连续区域。值得说明的是：各个子标注边框302的形状和大小可以一致，也可以不一致；相邻两个子标注边框302之间可以相接，也可以不相接；多个子标注边框302之间可以有重叠，也可以没有重叠；多个子标注边框302所包围的河流的一部分连续区域连接起来可以构成最大标注边框301所包围的全部河流连续区域，也可以不完全包围最大标注边框301所包围的全部河流连续区域。子标注边框的形状和最大标注边框可以一致，也可以不一致。
如此，通过人工标注出目标各个区域的图片，可以确定用于训练目标检测模型的正样本采样范围。
接着，通过步骤22，在上述最大标注边框内，按照预定边框确定候选采样区域。可以理解，采样边框是用于划定候选样本区域的边框。预定采样边框可以是预先确定大小和形状的边框。实践中，可以由人工设定采样边框的大小和形状，也可以给定若干个形状及对应的大小供用户选择。在一些实现中，预定采样边框的大小或形状可以调节。例如，对于给定形状及对应的大小的若干个采样边框，可以轮流作为预定采样边框进行采样。
候选采样区域，是可能被采样为样本的区域。由于通过最大标注边框限定了采样范围，进一步地，可以根据预定采样边框在最大标注框内确定候选采样区域。通常，预定采样边框所包围的区域可以作为候选采样区域。如图3所述，通过预定采样边框303可以确定一个候选采样区域。
根据一种可能的设计，针对一张用于对目标进行采样的图片中的一个最大标注区域，在一个预定采样边框下，可以预先设定移动规则，以在本步骤22中按照该预先设定的移动规则移动预定采样边框。其中，每移动一次预定采样边框，可以确定一个候选采样区域。该移动规则可以包括预定采样边框的初始位置、每次移动相对于前一个位置的偏移距离、移动方向等等。
作为一个示例，请参考图4。在图4示出的最大标注边框400中，预定采样边框以最大标注边框400的左上角为起始位置，按照预定采样边框的左右宽度为步长向右进行移动。起始位置时，预定采样边框确定的候选采样区域为区域401，经过一次移动，预定采样边框确定的区域为区域402。在该步骤中，可以一次获取一个候选采样区域，也可以一次获取多个候选采样区域。
根据另一种可能的设计，还可以随机确定预定采样边框在最大标注边框中的位置，将预定采样边框包围的区域确定为候选采样区域。此时，可以先确定采样边框的一个基准点(例如中心点或顶点)，根据基准点的移动范围(例如矩形中心点的移动范围与最大标注边框的顶点存在一定距离等)随机指定一个位置作为基准点的位置，从而确定预定采样边框的位置。
步骤23，根据候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数。可以理解，子标注边框包围有目标的部分连续区域，因此，子标注边框所包围的区域可以作为用于训练目标检测模型的正样本。通过与子标注边框所包围的区域进行重叠状况的对比，可以达到扩充样本集中的正样本的目的。
在针对一张图片中的一个最大标注边框进行采样时，对一个预定采样边框所确定的一个候选采样区域，可以与子标注边框所包围的区域逐个进行对比。对比时，可以按照子标注边框的排列顺序进行，也可以按照与候选采样区域的距离由近及远进行。在一些实现中，还可以只对比各个子标注边框所包围的各个区域中的一部分区域，例如只对比与候选采样区域的距离在预定阈值范围内(如50个像素)的区域，或者，只对比与候选采样区域有交集的区域。这样，可以大大减少区域对比时，作为执行主体的计算机的数据处理量。
在本步骤中，候选采样区域与各个子标注边框所包围的各个区域之间的对比，主要是对候选采样区域与各个子标注边框所包围的区域的重叠状况的判断，并通过对比确定对应的重叠参数。对于某个子标注边框所包围的第一区域，候选采样区域与该第一区域的重叠状况例如可以包括是否重叠、重叠度、重叠率等。其中，候选采样区域与该第一区域的重叠度或重叠率等可以通过重叠参数来表示。可选地，当候选采样区域与该第一区域没有重叠时，重叠参数为0。
在一个实施例中，可以针对多个子标注边框中任意一个子标注边框所包围的第一区域，获取该候选采样区域与第一区域的重叠区域，以及候选采样区域与第一区域的总包围区域，并确定重叠区域与总包围区域的第一面积比作为重叠参数。该第一面积比也可以称之为该第一区域与候选采样区域的交并比(Intersection over Union，IoU)。如图5所示，第一区域501与候选采样区域502相交，黑线框所包围的区域503是第一区域501与候选采样区域502的重叠区域，灰色格子标识的区域504是第一区域501与候选采样区域502的总包围区域。此时，第一面积比＝区域503的面积/区域504的面积。实践中，由于单个像素所占区域是确定的，第一面积比还可以用像素数的比值来确定。例如图5的示例中，假设一个格子表示一个像素，第一面积比＝区域503的像素数/区域504的像素数＝16/122。
在一些其他实施例中，候选采样区域与任意一个子标注边框所包围的第一区域的重叠参数还可以是其他形式。例如，重叠参数还可以是，候选采样区域与第一区域的重叠区域和候选采样区域、第一区域两者中较大的区域的面积比。以图5所示为例，第一区域501与候选采样区域502进行对比的对比结果可以是：区域503与区域501的面积比。面积比的计算方法与前述第一面积比类似，在此不再赘述。
通过对比确定候选采样区域与至少一个子标注边框所包围区域的重叠参数，可以为正样本的扩充提供依据。
然后，步骤24，在步骤23得到的重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。这里的重叠参数满足预定条件，可以是候选采样区域与单个子标注边框所包围的区域对应的重叠参数满足预定条件，也可以是候选采样区域与各个子标注边框所包围的各个区域进行对比的多个重叠参数整体满足预定条件，本说明书实施例对此不作限定。
预定条件是预先设置的，用于判断候选采样区域是否适合作为用于训练目标检测模型的正样本的条件。可以理解，适合作为训练目标检测模型的正样本，即区域中包括目标检测模型的检测目标。也就是说候选采样区域与任一个子标注边框所包围的区域具有一定的重叠度/重叠率。换句话说，就是重叠参数落入预定范围。根据重叠参数的形式和确定方式的不同，预定条件也不相同。
在一个实施例中，上述候选采样区域与第一区域的重叠参数是重叠区域与总包围区域的第一面积比。此时，预定条件可以是第一面积比大于预定比值(如0.7)。可选地，如果上述第一区域已经被默认为采样为用于训练目标监测模型的正样本，预定条件中还可以限定该第一面积比小于预定阈值(例如1)。该预定阈值和前述预定比值构成预定范围。如此，是为了避免采样到上述第一区域，造成正样本的重复采样。
在其他实施例中，根据对比结果的形式，还可以设置其他合理的预定条件，例如，候选采样区域与第一区域的重叠参数是，候选采样区域与第一区域的重叠区域和候选采样区域、第一区域两者中较大的区域的面积比，预定条件可以是，该面积比大于预定比值(如0.7等)。可选地，预定条件中也可以限定该面积比小于预定阈值(例如1)。在此不再赘述。在一些可选实现方式中，针对一个候选采样区域，有任一个子标注边框所包围的区域与该候选采样区域对应的重叠参数满足预定条件时，可以不再进行候选采样区域与其他子标注边框所包围的区域进行对比，如此，可以节约计算机的数据处理量。
在一个实施例中，当预定条件是候选采样区域与各个子标注边框所包围的各个区域进行对比的多个重叠参数整体满足预定条件时，预定条件还可以是诸如该多个重叠参数中的最大值大于预定比值(如0.7)或落入预定范围之类的条件。
如此，针对一张图片中的一个最大标注边框所包围的区域进行采样时，每一个预定采样边框，可以确定多个候选采样区域。对每个候选采样区域，通过步骤23的对比、步骤24的判断，可以确定是否采样为用于训练目标检测模型的正样本。从而，针对每一个预定采样边框，可以通过循环执行步骤22、步骤23、步骤24，完成对图片中的一个最大标注边框所包围的区域的一轮采样。在一些实现中，调节预定采样边框的大小、形状，得到另一个采样边框，可以进行对图片中的一个最大标注边框所包围的区域的另一轮采样。针对各种满足需要的采样边框完成对图片中的一个最大标注边框所包围的区域的采样，即完成了对图片中的一个最大标注边框所包围的区域的采样。可选地，如果图片中还有其他最大标注边框，可以重复同样的方法完成对其所包围的区域的采样。直至图片中的最大标注边框采样完毕，则对该图片进行采样完毕。
根据一个可能的实施例，在重叠参数不满足上述预定条件的情况下，可以将候选采样区域采样为用于训练目标检测模型的负样本。例如，候选采样区域与全部子标注边框所包围的区域的第一面积比都小于上述预定比值(如0.7)，等等。可选地，在重叠参数不满足上述预定条件的情况下，还可以对候选采样区域进一步筛选，使候选采样区域与全部子标注边框所包围的区域的对比结果满足负样本采样条件。例如，该负样本采样条件可以是：候选采样区域与全部子标注边框所包围的区域中的每一个区域，候选采样区域与该区域的重叠区域/候选采样区域与该区域的总包围区域，都小于负样本采样比值(如0.1)。在候选采样区域与全部子标注边框所包围的区域的对比结果满足负样本采样条件的情况下，才将候选采样区域采样为用于训练目标检测模型的负样本。如此，可以增加在最大标注边框内采集负样本的难度，从而减小从最大标注边框内采集负样本造成的噪声干扰。
根据另一种实施方式，还可以在最大标注边框外，按照预定采样边框确定采样区域，以作为用于训练目标检测模型的负样本。可以理解，由于图片中的目标被包围在最大标注边框内，因此，在最大标注边框外确定的采样区域作为负样本，造成的噪声干扰降到最低。可选地，如果一个图片中包括相同目标的多个最大标注边框，所确定的采样区域还可以是在图片中全部最大标注边框之外。
值得说明的是，将候选采样区域采样为正样本或负样本，可以是只提取上述采样区域部分的图片。采样到的图片，可以具有包含目标(如河流)或不包含目标的标签。通常，正样本具有包含目标的标签，负样本具有不包含目标的标签。
在图片为包含车辆损伤的图片，目标是连续损伤的情况下，通过图2所示的流程，除了子标注边框所包围的区域，还可以采集到更多用于训练损伤识别模型(目标检测模型)的正样本。如此，大大减少了人工标注的正样本数量。
回顾以上过程，在对用户进行计算机执行的对图片进行目标采样过程中，通过在包围目标的最大连续区域内采集正样本，首先在最大标注边框内的人工标注多个子标注边框，然后在最大标注边框内，按照预定采样边框确定候选采样区域，基于候选采样区域与子标注边框所包围区域的重叠状况的检测，确定候选采样区域是否可以采样为正样本，从而可以大大提高对目标正样本采样的有效性。进一步地，还可以在大大减少人工标注正样本的情况下扩充样本集，提高目标检测模型的准确度。
根据另一方面的实施例，还提供一种计算机执行的对图片进行目标采样的装置。图6示出根据一个实施例的用于计算机执行的对图片进行目标采样的装置的示意性框图。如图6所示，用于计算机执行的对图片进行目标采样的装置600包括：获取单元61，配置为获取用于对目标进行采样的图片，其中，上述图片至少包括预先人工标注的最大标注边框和位于最大标注边框内的多个子标注边框，最大标注边框用于包围目标的最大连续区域，多个子标注边框分别包围目标的部分连续区域；确定单元62，配置为在最大标注边框内，按照预定采样边框确定候选采样区域，其中，预定采样边框包括具有预定大小和预定形状的边框；对比单元63，配置为根据候选采样区域与各个子标注边框所包围的各个区域的重叠状况，确定对应的重叠参数；采样单元64，配置为在重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。
获取单元61所获取的图片至少预先通过人工标注了目标的最大标注边框和位于最大标注边框内的多个子标注边框。目标可以是待训练的目标检测模型的检测对象。例如，在一些应用场景中，图片可以是包含车辆损伤的图片，目标为连续损伤。值得说明的是，“最大标注边框”中的“最大”是与“最大连续区域”中的“最大”相对应的，而不是说边框最大。子标注边框的形状和最大标注边框可以一致，也可以不一致。在一些实现中，多个子标注边框之间没有重叠。
确定单元62可以按照预定边框，在最大标注边框内确定候选采样区域。采样边框是用于划定候选样本区域的边框。预定采样边框可以是预先确定大小和形状的边框。在一些实现中，预定采样边框的大小或形状可以调节。根据一个实施例，确定单元62还可以进一步配置为：从最大标注边框中确定预定采样边框的起始位置，并将预定采样边框按照预设的移动规则从起始位置移动，以将预定采样边框移动后的当前包围的区域确定为候选采样区域。在另一个实施例中，确定单元62也可以进一步配置为：随机确定预定采样边框在最大标注边框中的位置，并将预定采样边框包围的区域确定为候选采样区域。
对比单元63可以将候选采样区域与各个子标注边框所包围的各个区域依次进行对比，根据候选采样区域与上述各个区域之间的重叠状况，确定对应的重叠参数。在针对一张图片中的一个最大标注边框进行采样时，对一个预定采样边框所确定的一个候选采样区域，可以与子标注边框所包围的区域逐个进行对比。对比时，可以按照子标注边框的排列顺序进行，也可以按照距离候选采样区域的远近进行。在一些实现中，还可以只对比各个子标注边框所包围的各个区域中的一部分区域。在一些实现中，对比单元63针对多个子标注边框中任意一个子标注边框所包围的第一区域，可以获取候选采样区域与第一区域的重叠区域，以及候选采样区域与所述第一区域的总包围区域，并确定重叠区域与总包围区域的第一面积比。该第一面积比可以作为候选采样区域与第一区域的重叠参数。此时，采样单元64中预先设定的预定条件可以包括，候选采样区域与任意一个子标注边框之间的第一面积比大于预定比值(如0.7)，或落入预定范围(如0.7-0.99)。
采样单元64可以在对比单元63得到的重叠参数满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的正样本。根据一个可能的设计，采样单元64还可以在重叠参数不满足预定条件的情况下，将候选采样区域采样为用于训练目标检测模型的负样本。可选地，在重叠参数不满足上述预定条件的情况下，还可以对候选采样区域进一步筛选，使候选采样区域与全部子标注边框所包围的区域的重叠参数满足负样本采样条件。例如，负样本采样条件可以是候选采样区域与该区域的重叠区域/候选采样区域与该区域的总包围区域，都小于负样本采样比值(如0.1)。根据另一个可能的设计，采样单元64可以在最大标注边框外，按照预定采样边框确定采样区域，以作为用于训练目标检测模型的负样本。用最大标注边框外确定的采样区域作为负样本，造成的噪声干扰降到最低。
值得说明的是，图6所示的装置600是与图2示出的方法实施例相对应的装置实施例，图2示出的方法实施例中的相应描述同样适用于装置600，在此不再赘述。
通过以上装置，通过在包围目标的最大连续区域内确定候选采样区域，基于候选采样区域与子标注边框所包围区域的重叠度的对比，确定候选采样区域是否可以采样为正样本，从而大大提高对目标正样本采样的有效性。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (20)

1.一种计算机执行的对图片进行目标采样的方法，所述方法包括：
获取用于对目标进行采样的图片，其中，所述图片至少包括预先人工标注的最大标注边框和位于所述最大标注边框内的多个子标注边框，所述最大标注边框用于包围所述目标的最大连续区域，所述多个子标注边框分别包围所述目标的部分连续区域；
在所述最大标注边框内，按照预定采样边框确定候选采样区域，其中，所述预定采样边框包括具有预定大小和预定形状的边框；
根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数；
在所述重叠参数满足预定条件的情况下，将所述候选采样区域采样为用于训练目标检测模型的正样本。
2.根据权利要求1所述的方法，其中，所述在所述最大标注边框内，按照预定采样边框确定候选采样区域包括：
从所述最大标注边框中确定所述预定采样边框的起始位置；
将所述预定采样边框按照预设的移动规则从起始位置移动，以将所述预定采样边框当前包围的区域确定为所述候选采样区域。
3.根据权利要求1所述的方法，其中，所述在所述最大标注边框内，按照预定采样边框确定候选采样区域包括：
随机确定所述预定采样边框在所述最大标注边框中的位置；
将所述预定采样边框包围的区域确定为所述候选采样区域。
4.根据权利要求1所述的方法，其中，根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数包括：
针对所述多个子标注边框中任意一个子标注边框所包围的第一区域，获取所述候选采样区域与所述第一区域的重叠区域，
确定所述候选采样区域与所述第一区域的总包围区域；
将所述重叠区域与所述总包围区域的第一面积比作为所述重叠参数。
5.根据权利要求1所述的方法，其中，所述预定条件包括，所述候选采样区域与任意一个子标注边框之间的所述重叠参数落入预定范围。
6.根据权利要求1所述的方法，其中，所述方法还包括：
在所述最大标注边框外，按照所述预定采样边框确定采样区域，以作为用于训练目标检测模型的负样本。
7.根据权利要求1所述的方法，其中，所述图片为包含车辆损伤的图片，所述目标为连续损伤。
8.根据权利要求1所述的方法，其中，所述多个子标注区域相互之间没有重叠。
9.根据权利要求1所述的方法，其中，所述预定边框的预定大小和预定形状可调。
10.一种计算机执行的对图片进行目标采样的装置，所述装置包括：
获取单元，配置为获取用于对目标进行采样的图片，其中，所述图片至少包括预先人工标注的最大标注边框和位于所述最大标注边框内的多个子标注边框，所述最大标注边框用于包围所述目标的最大连续区域，所述多个子标注边框分别包围所述目标的部分连续区域；
确定单元，配置为在所述最大标注边框内，按照预定采样边框确定候选采样区域，其中，所述预定采样边框包括具有预定大小和预定形状的边框；
对比单元，配置为根据所述候选采样区域与各个子标注边框所包围的各个区域之间的重叠状况，确定对应的重叠参数；
采样单元，配置为在所述重叠参数满足预定条件的情况下，将所述候选采样区域采样为用于训练目标检测模型的正样本。
11.根据权利要求10所述的装置，其中，所述确定单元进一步配置为：
从所述最大标注边框中确定所述预定采样边框的起始位置；
将所述预定采样边框按照预设的移动规则从起始位置移动，以将所述预定采样边框当前包围的区域确定为所述候选采样区域。
12.根据权利要求10所述的装置，其中，所述确定单元进一步配置为：
随机确定所述预定采样边框在所述最大标注边框中的位置；
将所述预定采样边框包围的区域确定为所述候选采样区域。
13.根据权利要求10所述的装置，其中，所述对比单元进一步配置为：
针对所述多个子标注边框中任意一个子标注边框所包围的第一区域，获取所述候选采样区域与所述第一区域的重叠区域，以及所述候选采样区域与所述第一区域的总包围区域；
将所述重叠区域与所述总包围区域的第一面积比作为所述重叠参数。
14.根据权利要求13所述的装置，其中，所述预定条件包括，所述候选采样区域与任意一个子标注边框之间的所述重叠参数落入预定范围。
15.根据权利要求10所述的装置，其中，所述采样单元还配置为：
在所述最大标注边框外，按照所述预定采样边框确定采样区域，以作为用于训练目标检测模型的负样本。
16.根据权利要求10所述的装置，其中，所述图片为包含车辆损伤的图片，所述目标为连续损伤。
17.根据权利要求10所述的装置，其中，所述多个子标注区域相互之间没有重叠。
18.根据权利要求10所述的装置，其中，所述预定边框的预定大小和预定形状可调。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
CN201811046061.6A 2018-09-07 2018-09-07 对图片进行目标采样的方法及装置 Active CN110569699B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811046061.6A CN110569699B (zh) 2018-09-07 2018-09-07 对图片进行目标采样的方法及装置
TW108122070A TWI713366B (zh) 2018-09-07 2019-06-25 對影像進行目標取樣的方法及裝置
SG11202012526SA SG11202012526SA (en) 2018-09-07 2019-09-06 Method and computer-readable storage medium for generating training samples for training a target detector
US16/563,634 US11069048B2 (en) 2018-09-07 2019-09-06 System and method for facilitating efficient damage assessments
EP19773612.7A EP3847579A1 (en) 2018-09-07 2019-09-06 Method and computer-readable storage medium for generating training samples for training a target detector
PCT/US2019/050082 WO2020051545A1 (en) 2018-09-07 2019-09-06 Method and computer-readable storage medium for generating training samples for training a target detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811046061.6A CN110569699B (zh) 2018-09-07 2018-09-07 对图片进行目标采样的方法及装置

Publications (2)

Publication Number Publication Date
CN110569699A true CN110569699A (zh) 2019-12-13
CN110569699B CN110569699B (zh) 2020-12-29

Family

ID=68772317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811046061.6A Active CN110569699B (zh) 2018-09-07 2018-09-07 对图片进行目标采样的方法及装置

Country Status (5)

Country Link
US (1) US11069048B2 (zh)
EP (1) EP3847579A1 (zh)
CN (1) CN110569699B (zh)
SG (1) SG11202012526SA (zh)
TW (1) TWI713366B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695540A (zh) * 2020-06-17 2020-09-22 北京字节跳动网络技术有限公司 视频边框识别方法及裁剪方法、装置、电子设备及介质
CN112102338A (zh) * 2020-09-17 2020-12-18 西安泽塔云科技股份有限公司 基于深度学习的影像样本数据的获取方法及装置
CN112633165A (zh) * 2020-12-23 2021-04-09 远光软件股份有限公司 基于车辆车厢的采样监督方法、系统、存储介质及电子设备
CN112800517A (zh) * 2021-01-25 2021-05-14 深圳市华阳国际工程设计股份有限公司 梁配筋图的标注方法、处理装置及计算机可读存储介质
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
WO2023070470A1 (zh) * 2021-10-28 2023-05-04 京东方科技集团股份有限公司 目标检测模型的训练方法及装置、目标检测方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521865B1 (en) * 2015-12-11 2019-12-31 State Farm Mutual Automobile Insurance Company Structural characteristic extraction and insurance quote generation using 3D images
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US11410287B2 (en) * 2019-09-09 2022-08-09 Genpact Luxembourg S.à r.l. II System and method for artificial intelligence based determination of damage to physical structures
US11188853B2 (en) * 2019-09-30 2021-11-30 The Travelers Indemnity Company Systems and methods for artificial intelligence (AI) damage triage and dynamic resource allocation, routing, and scheduling
CA3163620A1 (en) 2020-01-03 2021-07-08 Razvan RANCA Method of determining painting requirements for a damage vehicle
US11720969B2 (en) * 2020-02-07 2023-08-08 International Business Machines Corporation Detecting vehicle identity and damage status using single video analysis
CN112326552B (zh) * 2020-10-21 2021-09-07 山东大学 基于视觉和力觉感知的隧道掉块病害检测方法和系统
US11475553B1 (en) * 2021-04-08 2022-10-18 Ford Global Technologies, Llc Production-speed component inspection system and method
CN113284107B (zh) * 2021-05-25 2022-10-11 重庆邮电大学 一种引入注意力机制改进型U-net的混凝土裂缝实时检测方法
CN117642770A (zh) * 2021-06-30 2024-03-01 微软技术许可有限责任公司 自适应对象检测
TWI779760B (zh) * 2021-08-04 2022-10-01 瑞昱半導體股份有限公司 資料擴增方法與非暫態電腦可讀取媒體
US20230164421A1 (en) * 2021-11-19 2023-05-25 Motorola Solutions, Inc. Method, system and computer program product for divided processing in providing object detection focus
CN114612717B (zh) * 2022-03-09 2023-05-26 四川大学华西医院 Ai模型训练标签生成方法、训练方法、使用方法及设备
CN114972229A (zh) * 2022-05-17 2022-08-30 平安科技（深圳）有限公司 基于材质类型的定损检测方法、装置、电子设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
US20170032276A1 (en) * 2015-07-29 2017-02-02 Agt International Gmbh Data fusion and classification with imbalanced datasets
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN107657269A (zh) * 2017-08-24 2018-02-02 百度在线网络技术（北京）有限公司 一种用于训练图片提纯模型的方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6644973B2 (en) 2000-05-16 2003-11-11 William Oster System for improving reading and speaking
US7536304B2 (en) 2005-05-27 2009-05-19 Porticus, Inc. Method and system for bio-metric voice print authentication
US9298979B2 (en) 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses
US8180629B2 (en) 2008-07-10 2012-05-15 Trigent Softward Ltd. Automatic pattern generation in natural language processing
US8488881B2 (en) * 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US9066125B2 (en) 2012-02-10 2015-06-23 Advanced Biometric Controls, Llc Secure display
US8705836B2 (en) 2012-08-06 2014-04-22 A2iA S.A. Systems and methods for recognizing information in objects using a mobile device
US9147127B2 (en) 2013-03-15 2015-09-29 Facebook, Inc. Verification of user photo IDs
US9275308B2 (en) * 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9202119B2 (en) 2013-10-18 2015-12-01 Daon Holdings Limited Methods and systems for determining user liveness
JP6287047B2 (ja) 2013-10-22 2018-03-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9607138B1 (en) 2013-12-18 2017-03-28 Amazon Technologies, Inc. User authentication and verification through video analysis
CA2883010A1 (en) 2014-02-25 2015-08-25 Sal Khan Systems and methods relating to the authenticity and verification of photographic identity documents
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US9619696B2 (en) 2015-04-15 2017-04-11 Cisco Technology, Inc. Duplicate reduction for face detection
US9794260B2 (en) 2015-08-10 2017-10-17 Yoti Ltd Liveness detection
US20170060867A1 (en) 2015-08-31 2017-03-02 Adfamilies Publicidade, SA Video and image match searching
US10065441B2 (en) 2015-09-01 2018-09-04 Digimarc Corporation Counterfeiting detection using machine readable indicia
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
WO2017059576A1 (en) 2015-10-09 2017-04-13 Beijing Sensetime Technology Development Co., Ltd Apparatus and method for pedestrian detection
GB2554361B8 (en) 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
US11087292B2 (en) * 2017-09-01 2021-08-10 Allstate Insurance Company Analyzing images and videos of damaged vehicles to determine damaged vehicle parts and vehicle asymmetries
US11030735B2 (en) * 2018-08-09 2021-06-08 Exxonmobil Upstream Research Company Subterranean drill bit management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
US20170032276A1 (en) * 2015-07-29 2017-02-02 Agt International Gmbh Data fusion and classification with imbalanced datasets
CN106683091A (zh) * 2017-01-06 2017-05-17 北京理工大学 一种基于深度卷积神经网络的目标分类及姿态检测方法
CN107657269A (zh) * 2017-08-24 2018-02-02 百度在线网络技术（北京）有限公司 一种用于训练图片提纯模型的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONGQIANG ZHANG ETAL.: "Weakly-supervised object detection via mining pseudo ground truth bounding-boxes", 《PATTERN RECOGNITION》 *
陈才扣等: "基于泛滑动窗与2DLDA的单样本人脸识别", 《计算机应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695540A (zh) * 2020-06-17 2020-09-22 北京字节跳动网络技术有限公司 视频边框识别方法及裁剪方法、装置、电子设备及介质
CN111695540B (zh) * 2020-06-17 2023-05-30 北京字节跳动网络技术有限公司 视频边框识别方法及裁剪方法、装置、电子设备及介质
CN112102338A (zh) * 2020-09-17 2020-12-18 西安泽塔云科技股份有限公司 基于深度学习的影像样本数据的获取方法及装置
CN112633165A (zh) * 2020-12-23 2021-04-09 远光软件股份有限公司 基于车辆车厢的采样监督方法、系统、存储介质及电子设备
CN112800517A (zh) * 2021-01-25 2021-05-14 深圳市华阳国际工程设计股份有限公司 梁配筋图的标注方法、处理装置及计算机可读存储介质
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
WO2023070470A1 (zh) * 2021-10-28 2023-05-04 京东方科技集团股份有限公司 目标检测模型的训练方法及装置、目标检测方法及装置

Also Published As

Publication number Publication date
US20200090321A1 (en) 2020-03-19
EP3847579A1 (en) 2021-07-14
SG11202012526SA (en) 2021-03-30
TW202011733A (zh) 2020-03-16
TWI713366B (zh) 2020-12-11
US11069048B2 (en) 2021-07-20
CN110569699B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN110569699B (zh) 对图片进行目标采样的方法及装置
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
KR20200027428A (ko) 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20170032514A1 (en) Abandoned object detection apparatus and method and system
JP5007953B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3114687B1 (en) Method and device for processing a picture
CN110276293B (zh) 车道线检测方法、装置、电子设备及存储介质
CN111104913B (zh) 一种基于结构及相似度的视频提取ppt方法
CN108573251B (zh) 文字区域定位方法和装置
CN109726678B (zh) 一种车牌识别的方法及相关装置
US20170103536A1 (en) Counting apparatus and method for moving objects
EP2821935A2 (en) Vehicle detection method and device
CN112990087A (zh) 一种车道线检测方法、装置、设备及可读存储介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018180646A (ja) 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
US20220180529A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
CN113920147B (zh) 基于深度学习的遥感影像建筑物提取方法及设备
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
US11481881B2 (en) Adaptive video subsampling for energy efficient object detection
CN104754248A (zh) 一种获取目标快照的方法及装置
CN110782439B (zh) 一种辅助检测图像标注质量的方法及装置
CN110738179A (zh) 一种电力设备的识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018799

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant