CN112149707A - 图像采集控制方法、装置、介质及设备 - Google Patents

图像采集控制方法、装置、介质及设备 Download PDF

Info

Publication number
CN112149707A
CN112149707A CN201910579147.3A CN201910579147A CN112149707A CN 112149707 A CN112149707 A CN 112149707A CN 201910579147 A CN201910579147 A CN 201910579147A CN 112149707 A CN112149707 A CN 112149707A
Authority
CN
China
Prior art keywords
image
sample
neural network
difficult
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910579147.3A
Other languages
English (en)
Other versions
CN112149707B (zh
Inventor
马佳彬
何哲琪
王坤
曾星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN201910579147.3A priority Critical patent/CN112149707B/zh
Priority to KR1020217028688A priority patent/KR20210119532A/ko
Priority to PCT/CN2020/097232 priority patent/WO2020259416A1/zh
Priority to JP2021552212A priority patent/JP2022522375A/ja
Publication of CN112149707A publication Critical patent/CN112149707A/zh
Priority to US17/560,442 priority patent/US20220114396A1/en
Application granted granted Critical
Publication of CN112149707B publication Critical patent/CN112149707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施方式公开了一种图像采集控制方法和装置、电子设备、计算机可读存储介质以及计算机程序，其中的图像采集控制方法包括：将第一图像样本集提供给第一神经网络；根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；基于所述第一困难样本，确定所述困难样本的采集环境信息；根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。

Description

图像采集控制方法、装置、介质及设备
技术领域
本公开涉及计算机视觉技术，尤其是涉及一种图像采集控制方法、图像采集控制装置、电子设备、计算机可读存储介质以及计算机程序。
背景技术
困难样本通常是指：在神经网络训练过程中，容易使神经网络出错的图像样本。采集困难样本，并利用困难样本对神经网络进行训练，有利于提升神经网络的性能。
发明内容
本公开实施方式提供一种图像采集控制的技术方案。
根据本公开实施方式其中一个方面，提供了一种图像采集控制方法，包括：将第一图像样本集提供给第一神经网络；根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；基于所述第一困难样本，确定所述第一困难样本的采集环境信息；根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
在本公开一实施方式中，所述第一图像样本集包括不具有标注信息的第一图像样本。
在本公开又一实施方式中，所述根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本，包括：检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；根据检测出的不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
在本公开再一实施方式中，所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：在所述第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下，对所述第一神经网络针对所述多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测；将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。
在本公开再一实施方式中，所述方法还包括：将所述第一图像样本提供给第二神经网络；所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：确定所述第二神经网络针对所述第一图像样本的处理结果与所述第一神经网络针对所述第一图像样本的处理结果之间的差异；将不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。
在本公开再一实施方式中，所述根据检测出的不正确的处理结果对应的第一图像样本，确定所述第一困难样本，包括：获取所述不正确的处理结果对应的错误类型；将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
在本公开再一实施方式中，在所述第一神经网络用于检测所述第一图像样本中的目标对象的情况下，所述方法还包括：在所述不正确的处理结果对应的错误类型为所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
在本公开再一实施方式中，所述方法还包括：在所述不正确的处理结果对应的错误类型为摄像装置因素的情况下，发送更改所述摄像装置的提示信息。
在本公开再一实施方式中，所述采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。
在本公开再一实施方式中，所述根据所述采集环境信息，生成图像采集控制信息，包括：在所述采集环境信息包括路段信息的情况下，基于所述采集环境信息中包括的路段信息，确定与所述第一困难样本匹配的采集路段；利用确定的所述采集路段，生成数据采集路径，所述图像采集控制信息中包括所述数据采集路径，所述数据采集路径用于指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
在本公开再一实施方式中，所述方法还包括：将所述第一困难样本加入至训练样本集；利用包含有所述第一困难样本的训练样本集，对所述第一神经网络进行训练，得到调整后的第一神经网络。
在本公开再一实施方式中，将所述第一困难样本加入至训练样本集，包括：对所述第一困难样本进行标注处理，将带有标注信息的第一困难样本加入至所述训练样本集；所述利用包含有所述第一困难样本的训练样本集对所述第一神经网络进行训练，得到调整后的第一神经网络，包括：将所述训练样本集中的多个带有标注信息的第一困难样本提供给所述第一神经网络；根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的网络参数，得到调整后的第一神经网络。
在本公开再一实施方式中，所述方法还包括：获取所述第二图像样本集；将所述第二图像样本集提供给所述调整后的第一神经网络；根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
根据本公开实施方式其中再一个方面，提供一种图像采集控制装置，包括：提供模块，用于将第一图像样本集提供给第一神经网络；筛选模块，用于根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；确定环境模块，用于基于所述第一困难样本，确定所述第一困难样本的采集环境信息；采集控制模块，用于根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
在本公开一实施方式中，所述第一图像样本集包括不具有标注信息的第一图像样本。
在本公开又一实施方式中，所述筛选模块，包括：第一子模块，用于检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；第二子模块，用于根据检测出的不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
在本公开再一实施方式中，所述第一子模块进一步用于：在所述第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下，对所述第一神经网络针对所述多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测；将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。
在本公开再一实施方式中，所述提供模块还用于：将所述第一图像样本提供给第二神经网络；所述第一子模块进一步用于：确定所述第二神经网络针对所述第一图像样本的处理结果与所述第一神经网络针对所述第一图像样本的处理结果之间的差异；将不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。
在本公开再一实施方式中，所述第二子模块进一步用于：获取所述不正确的处理结果对应的错误类型；将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
在本公开再一实施方式中，在所述第一神经网络用于检测所述第一图像样本中的目标对象的情况下，所述装置还包括：优化模块，用于在所述不正确的处理结果对应的错误类型为所述第一神经网络对所述第一图像样本进行检测得到的目标对象检测框不正确的情况下，对所述第一神经网络中包括的用于检测所述目标对象检测框的模块进行调整。
在本公开再一实施方式中，所述第二子模块进一步用于：在所述不正确的处理结果对应的错误类型为摄像装置因素的情况下，发送更改所述摄像装置的提示信息。
在本公开再一实施方式中，所述采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。
在本公开再一实施方式中，所述采集控制模块进一步用于：在所述采集环境信息包括路段信息的情况下，基于所述采集环境信息中包括的路段信息，确定与所述第一困难样本匹配的采集路段；利用确定的所述采集路段，生成数据采集路径，所述图像采集控制信息中包括所述数据采集路径，所述数据采集路径用于指示摄像装置按照所述数据采集路径采集所述第二图像样本集。
在本公开再一实施方式中，所述装置还包括：训练模块，用于将所述第一困难样本加入至训练样本集；利用包含有所述第一困难样本的训练样本集，对所述第一神经网络进行训练，得到调整后的第一神经网络。
在本公开再一实施方式中，所述训练模块进一步用于：对所述第一困难样本进行标注处理，将带有标注信息的第一困难样本加入至所述训练样本集；将所述训练样本集中的多个带有标注信息的第一困难样本提供给所述第一神经网络；根据所述第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整所述第一神经网络的网络参数，得到调整后的第一神经网络。
在本公开再一实施方式中，所述提供模块还用于：获取所述第二图像样本集；将所述第二图像样本集提供给所述调整后的第一神经网络；所述筛选模块还用于根据所述调整后的第一神经网络针对所述第二图像样本集中每个第二图像样本的处理结果，从所述第二图像样本集中筛选出所述第二困难样本。
根据本公开实施方式再一方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开任一方法实施方式。
根据本公开实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开任一方法实施方式。
根据本公开实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本公开任一方法实施方式。
基于本公开提供的图像采集控制方法和装置、电子设备、计算机可读存储介质以及计算机程序，本公开通过将第一图像样本集提供给第一神经网络，然后利用第一神经网络对每个第一图像样本的处理结果，筛选出第一图像样本集中的第一困难样本，进而确定第一困难样本的采集环境信息，利用该采集环境信息可以生成图像采集控制信息，在本公开生成的图像采集控制信息的指示下，便可以获得包括第二困难样本的第二图像样本集，通过这种方式，可以基于得到的第一困难样本，进而快速便捷的确定出获得第二困难样本的方式，且获得的第二困难样本与第一困难样本之间存在一定的关联，从而可以提升相关联的困难样本的采集效率，获得更多的困难样本。
另外，通过本公开获得的更多的困难样本可以用于对神经网络进行优化调整，以提升神经网络的处理性能。
另外，本公开中无需对第一图像样本进行标注，也能够基于神经网络针对第一图像样本的处理结果来筛选出第一困难样本，从而也有利于降低人工标注成本，提升确定困难样本的处理效率。
下面通过附图和实施方式，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施方式，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开的图像采集控制方法一个实施方式的流程图；
图2为本公开的错误检测的一视频帧样本的示意图；
图3为本公开的神经网络训练方法一个实施方式的流程图；
图4为本公开的图像采集控制装置一个实施方式的示意图；
图5为实现本公开实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本公开图像采集控制方法一个实施例的流程图。如图1所示，该实施例方法包括步骤：S100、S110、S120以及S130。下面对各步骤进行详细描述。
S100、将第一图像样本集提供给第一神经网络。
其中，本公开中第一图像样本集包括但不限于：利用摄像装置拍摄的多张照片、或者利用摄像装置拍摄的视频中的时序连续的多个视频帧等。例如，设置在可移动的物体上的摄像装置所拍摄的多张照片或者所拍摄的视频中的多个视频帧等。上述可移动的物体包括但不限于：车辆、机器人、机械臂或者滑轨等。可选的，本公开中的摄像装置可以包括但不限于：红外线(Infrared Ray，IR)摄像头、或者红绿蓝(Red Green Blue，RGB)摄像头等。可选的，在多个第一图像样本为视频中的多个视频帧的情况下，本公开可以将多个第一图像样本，按照各视频帧之间的时序关系输入到第一神经网络中。
在一个可选示例中，本公开中的第一神经网络包括但不限于：用于检测目标对象的第一神经网络。该第一神经网络可以为能够针对输入的第一图像样本集中的第一图像样本，输出目标对象在第一图像样本中的位置信息以及分类信息的神经网络。可选的，该第一神经网络可以为采用残差神经网络+更快速的带有区域的卷积神经网络(Resnet+FasterRCNN)结构的神经网络，例如，采用Resnet50+FasterRCNN结构的神经网络。上述位置信息用于表示目标对象在第一图像样本中的图像区域。该位置信息包括但不限于：位于目标对象的外接框的对角线上的两个顶点的坐标。上述分类信息用于表示目标对象所属的类别。该类别包括但不限于：行人、车辆、树木、建筑物以及交通标志等等。
在一个可选示例中，本公开中的第一图像样本集可以包括：不具有标注信息的第一图像样本。在第一图像样本不具有标注信息时，本公开的技术方案可以从不具有标注信息的多个第一图像样本中挑选出第一困难样本，因此，相较于通过第一神经网络对第一图像样本集中的带有标注信息的第一图像样本进行测试，并根据测试结果确定出第一困难样本，这一获得第一困难样本的实现方式而言，本公开可以避免对第一图像样本集中的多个第一图像样本分别进行标注的现象，从而有利于降低标注工作量，进而有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
S110、根据上述第一神经网络针对第一图像样本集中每个第一图像样本的处理结果，从第一图像样本集中筛选出第一困难样本。
在一个可选示例中，本公开可以检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确，从而可以获得不正确的处理结果对应的第一图像样本，本公开可以根据检测出的不正确的输出结果对应的第一图像样本，来确定第一困难样本。
例如，本公开可以直接将检测出的不正确的处理结果对应的第一图像样本，作为第一困难样本。本公开通过直接将检测出的不正确的处理结果对应的第一图像样本作为第一困难样本，可以在不需要对各第一图像样本进行标注的情况下，从第一图像样本中挑选出第一困难样本，从而有利于降低获得困难样本的成本。
需要理解的是，本公开中可以将第一困难样本和下文中所述的第二困难样本统称为困难样本。示例性的，困难样本可以理解为是在图像样本采集阶段很难通过随机采集到的图像样本。在第一神经网络的训练过程中，这类困难样本很容易使得第一神经网络的处理结果出现错误，影响第一神经网络的处理性能，故，在第一神经网络的训练过程中，利用包含一定量的困难样本的训练样本集来训练第一神经网络，有助于提升训练好的第一神经网络的处理性能。
再例如，本公开可以根据检测出的不正确的处理结果对应的各第一图像样本的错误类型，从不正确的处理结果分别对应的各第一图像样本中选取出第一困难样本。本公开通过利用错误类型，从不正确的处理结果分别对应的各第一图像样本中选取出第一困难样本，可以在不需要对各第一图像样本进行标注的情况下，从第一图像样本集中更为精准的挑选出第一困难样本，从而有利于降低获得困难样本的成本，并有利于提高获得困难样本的准确性。
在一个可选方式中，本公开检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确的实现方式，可以有多种。下面举两个具体的例子：
一个可选例子，在第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下，本公开可以对第一神经网络针对多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测，并将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。之后，可以根据不正确的处理结果对应的第一图像样本，确定第一困难样本。
本公开中的目标对象连续性检测也可以称为目标对象闪现检测。也就是说，由于多个视频帧样本在时序上是连续的，因此，多个视频帧样本中的目标对象的存在通常也是连续的，例如，一目标对象在时序连续的10个视频帧样本内均存在，其位置可能会发生变化。如果一目标对象仅出现在一视频帧样本中，而未出现在与其相邻的其他视频帧样本中，则可以认为该目标对象在该视频帧样本中闪现，很有可能该视频帧样本中并不存在该目标对象，而由于第一神经网络的错误识别，认为该视频帧样本中存在该目标对象。本公开通过进行目标对象闪现检测，可以快速的从多个视频帧样本中挑选出目标对象闪现的视频帧样本，从而有利于在不需要对多个视频帧样本进行标注的情况下，快速的从多个视频帧样本中拣选出第一困难样本。
另一个可选例子，上述第一神经网络可以部署在计算机、车载设备或者移动电话等设备中，部署的第一神经网络一般网络结构较为简单，例如卷积层、池化层的层数较少。本公开可以另外设置第二神经网络，其中，第二神经网络的网络复杂度高于第一神经网络，例如包括较多深层次的卷积层、池化层等。这种情况下，该第二神经网络针对第一图像样本进行处理的精准度，可以高于第一神经网络针对第一图像样本进行处理的精准度。因此，本公开可以将第一图像样本集中的第一图像样本分别提供给第一神经网络和第二神经网络，由于第二神经网络的精准度高于第一神经网络的精准度，因此，本公开可以以第二神经网络针对第一图像样本的处理结果为标准，来检验第一神经网络针对第一图像样本的处理结果，从而可以获得第二神经网络针对多个第一图像样本的处理结果与第一神经网络针对多个第一图像样本的处理结果之间的差异，进而本公开可以将不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。之后，可以根据不正确的处理结果对应的第一图像样本，确定第一困难样本。
可选的，本公开中的差异可以包括但不限于：目标对象的数量差异、目标对象的位置差异以及目标对象所属的类别中的至少一个。
第一个例子，针对任一第一图像样本而言，本公开获取第二神经网络针对该第一图像样本所检测到的目标对象的数量，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量，如果这两个数量不相同，则认为该数量差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。
第二个例子，针对任一第一图像样本而言，本公开获取第二神经网络针对该第一图像样本所检测到的各目标对象的位置信息(下述称为第一位置信息)，并获取第一神经网络针对该第一图像样本所检测到的各目标对象的位置信息(下述称为第二位置信息)，针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。
第三个例子，针对任一第一图像样本而言，本公开获取第二神经网络针对该第一图像样本所检测到的各目标对象所属的类别(下述称为第一类别)，并获取第一神经网络针对该第一图像样本所检测到的各目标对象所属的类别(下述称为第二类别)。针对任一第二类别而言，判断第一类别中是否存在与该第二类别相同的类别，如果不存在相同的类别，则认为该类别差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。示例性的，针对第一图像样本中的集装箱，第二神经网络可以准确的识别出集装箱对应的检测框的类别为集装箱，而第一神经网络可能会将集装箱对应的检测框的类型识别为卡车，本公开利用上述判别方式可以确定出该第一图像样本作为不正确的处理结果对应的第一图像样本。
例如，针对一视频帧样本，第一神经网络将该视频帧样本中的柱状隔离物体检测为行人，这与第二神经网络所检测出的隔离物体不相符，因此，本公开可以将该视频帧样本作为第一困难样本。
再例如，如图2所示的一视频帧样本，第一神经网络将该视频帧样本中的隧道口检测为卡车，这与第二神经网络所检测出的隧道口不相符，因此，本公开可以将该视频帧样本作为困难样本。
可选的，上述三个例子可以任意结合使用。
例如，针对任一第一图像样本而言，本公开获取第二神经网络针对该第一图像样本所检测到的目标对象的数量以及各目标对象的第一位置信息，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量以及各目标对象的第二位置信息。如果这两个数量不相同，则认为该数量差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。如果这两个数量相同，本公开可以针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。
再例如，针对任一第一图像样本而言，本公开获取第二神经网络针对该第一图像样本所检测到的目标对象的数量、各目标对象的第一位置信息以及第一类别，并获取第一神经网络针对该第一图像样本所检测到的目标对象的数量、各目标对象的第二位置信息以及第二类别。如果这两个数量不相同，则认为该数量差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。如果这两个数量相同，本公开可以针对任一第一位置信息而言，分别计算该第一位置信息与各第二位置信息之间的距离，并从中选择最小距离，如果该最小距离不小于预定最小距离，则认为距离差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。如果该最小距离小于预定最小距离，则本公开可以判断该目标对象的第一类别与第二类别是否相同，如果不相同，则认为类别差异不满足预设差异要求，本公开可以将该第一图像样本作为不正确的处理结果对应的第一图像样本。
在此不再对相互结合的例子进行逐一说明。本公开通过以第二神经网络针对第一图像样本的处理结果为标准，来判断第一神经网络针对第一图像样本的处理结果是否正确，有利于快捷准确的从第一图像样本集中挑选出不正确的处理结果对应的第一图像样本，从而有利于快捷准确的从第一图像样本集中拣选出第一困难样本。另外，在采用第二神经网络的实现方式中，本公开中的第一图像样本可以为多张不具有时序关系的图像，也可以为视频中的具有时序关系的多个视频帧样本，从而有利于提高困难样本采集的适用范围。
在一个可选示例中，本公开根据检测出的不正确的处理结果对应的各第一图像样本的错误类型，从不正确的处理结果对应的各第一图像样本中选取出困难样本的一个例子可以为：
首先，获取不正确的处理结果对应的错误类型，然后，将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本作为第一困难样本。本公开中的错误类型除了包括神经网络处理错误这一错误类型之外，还可以包括多种错误类型，例如，第一神经网络对第一图像样本进行检测得到的目标对象检测框不正确、摄像装置因素等。本公开对此不作限制。
可选的，本公开可以在判断出目标对象在一视频帧样本中出现位置停滞现象时，认为相应的视频帧样本的错误类型为第一神经网络对视频帧样本进行检测得到的目标对象检测框不正确。位置停滞现象可以是指，目标对象已经离开了摄像装置的视角范围，然而，相应的视频帧样本仍被检测出存在该目标对象。本公开通过在确定出视频帧样本存在检测框跟踪算法错误类型时，可以对第一神经网络中包括的用于检测目标对象检测框的模块进行调整，有利于提高第一神经网络的检测框跟踪性能，并有利于避免一些视频帧样本被错误的作为第一困难样本的现象，从而有利于提高获得第一困难样本的准确性。
可选的，本公开在判断出第一图像样本存在摄像装置因素的错误类型时，可以发送更改摄像装置的提示信息。一个例子，如果是由于摄像装置的原因，而导致第一图像样本中的目标对象的颜色失真，可以提示更换摄像装置。例如，摄像装置所拍摄的视频帧样本中的红绿灯颜色失真(如红灯像黄灯的颜色等)，可以建议更换摄像装置。本公开可以通过检测视频帧样本中的相应位置处的像素灰度值等方式确定是否存在颜色失真现象。再一个例子，如果是由于外界光线太强烈等原因，而导致第一图像样本中的目标对象的颜色失真(如视频帧样本中的红绿灯颜色失真等，本公开可以通过检测视频帧样本的所有像素的灰度值均值等方式确定是否存在外界光线太强烈等原因)，则可以进一步完善针对目标对象进行判别的条件，例如，可以根据亮灯的位置判断红绿灯当前亮灯的颜色等。
本公开通过在确定出第一图像样本存在摄像装置因素错误类型时，执行相应的补救措施，有利于提高神经网络的目标对象检测性能，并有利于避免一些第一图像样本被错误的作为第一困难样本的现象，从而有利于提高获得第一困难样本的准确性。
另外，本公开可以根据第一图像样本中检测出的多个地面标志的一致性来判断该第一图像样本是否存在情况复杂难以判断的错误类型，例如，第一神经网络将一视频帧样本的地面上的多个不同方向的箭头(如向左方向的箭头、向右方向的箭头以及向前方向的箭头)均检测为向前方向的箭头，这与多个不同方向的箭头之间的相互位置存在矛盾，因此，可以判断出该视频帧样本存在情况复杂难以判断的错误类型。本公开可以增加进一步在第一神经网络中增加对第一图像样本的箭头方向的识别处理过程，以应对情况复杂的现象。当然，也可以通过利用类似的困难样本对第一神经网络进行反复训练，使第一神经网络可以准确的判断出箭头的方向。
在一个可选示例中，本公开可以将第一困难样本加入至训练样本集，然后利用包含有第一困难样本的训练样本集，对第一神经网络进行训练，得到调整后的第一神经网络。
示例性的，可以对当前获得的第一困难样本进行标注处理，并将标注处理后的第一困难样本添加到训练样本集中，用于优化第一神经网络。
一种实施方式中，可以将训练样本集中的多个带有标注信息的第一困难样本提供给第一神经网络，然后根据第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的网络参数，得到调整后的第一神经网络。
另一种实施方式中，还可以在利用样本数据集中的图像样本对神经网络进行预训练后，再利用训练样本集中的多个带有标注信息的第一困难样本对第一神经网络进行进一步的训练，以进一步优化第一神经网络的网络参数。再例如，在对第一神经网络进行预训练的过程中，就采用一定比例的困难样本，对第一神经网络进行预训练，在预训练结束后，再利用训练样本集中的多个带有标注信息的第一困难样本对第一神经网络进行进一步的训练，以进一步优化第一神经网络的网络参数，得到调整后的第一神经网络。
由于本公开中的第一图像样本可以不具有标注信息，因此，本公开可以仅为从第一图像样本集中挑选出的困难样本进行标注，从而可以避免对第一图像样本集中每个第一图像样本均进行标注，然后，再将标注后的第一图像样本提供给第一神经网络，并根据第一神经网络输出的处理结果与标注信息，来确定第一图像样本集中的困难样本的现象，从而本公开可以在很大程度上降低为发现困难样本而执行的标注工作量，因此，本公开有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
S120、基于第一困难样本，确定第一困难样本的采集环境信息。
在一个可选示例中，本公开中的采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。其中的路段信息可以是指拍摄困难样本时，摄像装置所在的道路信息。其中的天气信息可以是指摄像装置在拍摄困难样本时的天气状况，例如，晴天、多云、下雨、下雪、季节或者温度等。其中的光线强度信息可以是指拍摄装置在拍摄困难样本时，由于拍摄时间以及拍摄位置等因素而导致的逆光或者强光照射等现象。
在一个可选示例中，本公开可以根据视频的备注信息或者照片的备注信息等，确定出困难样本的采集环境信息。本公开也可以采用人工识别方式确定出困难样本的采集环境信息。本公开不限制确定困难样本的采集环境信息的具体实现方式。
S130、根据采集环境信息，生成图像采集控制信息；图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
其中，图像采集控制信息中可以包括但不限于基于路段信息生成的数据采集路径、基于天气信息生成的数据采集天气环境、基于光照强度信息生成的数据采集光照环境中的至少一种。
在一个可选示例中，在采集环境信息包括路段信息的情况下，本公开可以先根据困难样本所属的路段信息，进行数据采集路径的规划操作，从而形成数据采集路径，如果困难样本的数量为多个，则本公开所形成的数据采集路径通常会包括多个困难样本所属的路段。例如，本公开可以将困难样本所属的路段均作为输入提供给地图导航应用，从而可以根据地图导航应用的输出一路径，该路径包括多个困难样本所属的路段。该路径即为数据采集路径。
可选的，本公开可以利用带有摄像装置的数据采集车沿该数据采集路径行驶，并在行驶过程中进行拍摄，如拍摄照片或者拍摄视频等，以执行数据采集操作。另外，在执行数据采集操作时，可以考虑困难样本的采集环境信息中的天气以及光线强度等，从而决定执行数据采集操作的天气环境、光线环境等。例如，在晴天的早上，使数据采集车沿数据采集路径行驶，并进行拍摄，从而可以获得迎着照射角度较低的阳光进行拍摄的该街景的多张照片或者视频。再例如，在阴天的傍晚，使数据采集车沿数据采集路径行驶，并进行拍摄，从而可以获得光线昏暗的该街景的多张照片或者视频。
在一个可选示例中，本公开中可以获取通过图像采集控制信息而采集到的第二图像样本集(如多张照片或者视频等)。一种实施方式中，在获取第二图像样本集之后，可以将第二图像样本集提供给调整后的第一神经网络，进而根据调整后的第一神经网络针对第二图像样本集中每个第二图像样本的处理结果，从第二图像样本集中筛选出第二困难样本。
本公开可以利用本次获得的第二困难样本集，再次执行上述S100-S130，其中，执行S100-S130的过程中所使用的第一神经网络可以是利用包含当前获得的第一困难样本的训练样本集进行训练后得到的调整后的第一神经网络。本公开提供的方法可以迭代执行，从而可以从第二图像样本集中获得第二困难样本，进而又一次获得第三图像样本集中获得第三困难样本，以此类推。在多次重复上述S100-S130之后(即多次迭代本公开的方法之后)，本公开可以实现困难样本的快速积累。
由于本公开是根据当前获得的第一困难样本的采集环境信息而确定的图像采集控制信息，来执行数据采集操作的(如根据困难样本所属的路段规划数据采集路径等)，因此，本公开获得与困难样本类似的照片或者视频帧的机会更多，也就是说，所获得的第二图像样本集包含困难样本的几率更高，即本公开可以再现类似的困难样本；从而本公开有利于快速的积累的困难样本，进而本公开有利于降低获得困难样本的成本，并有利于提高获得困难样本的效率。
图3为本公开的神经网络训练方法一个实施例的流程图。神经网络以第一神经网络为例。如图3所示，该实施例方法包括：S300以及S310。下面对各步骤进行详细描述。
S300、从训练样本集中的多个带有标注信息的第一困难样本提供给第一神经网络。
可选的，本公开中的训练样本集中的第一困难样本包括：利用上述方法实施方式所记载的步骤，所获得的第一困难样本。训练样本集中的第一困难样本均具有标注信息。
可选的，本公开中的第一神经网络可以为进行预训练后的神经网络。另外，该第一神经网络可以为用于检测目标对象的神经网络，例如，用于检测目标对象的位置以及类别的神经网络。
S310、根据第一神经网络针对每个带有标注信息的困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的网络参数，得到调整后的第一神经网络。
可选的，本公开可以根据第一神经网络针对多个困难样本的输出以及多个困难样本的标注信息，确定出损失，并根据该损失来调整第一神经网络的网络参数。本公开中的网络参数可以包括：本公开中的网络参数可以包括但不限于：卷积核参数和/或矩阵权重等。本公开不限制网络参数所包含的具体内容。
在一个可选示例中，在针对第一神经网络的训练达到预定迭代条件时，本次训练过程结束。本公开中的预定迭代条件可以包括：第一神经网络针对困难样本的输出与困难样本的标注信息之间的差异，满足预定差异要求。在差异满足预定差异要求的情况下，本次对第一神经网络成功训练完成。本公开中的预定迭代条件也可以包括：对第一神经网络进行训练，所使用的困难样本的数量达到预定数量要求等。成功训练完成的第一神经网络可以用于检测目标对象。
图4为本公开图像采集控制装置一个实施例的结构示意图。图4所示的装置包括：提供模块400、筛选模块410、确定环境模块420以及采集控制模块430。可选的，该装置还可以包括：优化模块440以及训练模块450。下面对各模块分别进行详细描述。
提供模块400用于将第一图像样本集提供给第一神经网络。其中的第一图像样本集可以包括不具有标注信息的第一图像样本。提供模块400具体执行的操作可以参见上述方法实施方式中针对S100的描述。
筛选模块410用于根据第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从第一图像样本集中筛选出第一困难样本。可选的，筛选模块410可以包括：第一子模块和第二子模块。其中的第一子模块用于检测第一神经网络针对第一图像样本集中每个第一图像样本的处理结果是否正确。例如，第一子模块可以用于：在第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下，对第一神经网络针对所述多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测；第一子模块将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。再例如，在提供模块400将第一图像样本提供给第二神经网络的情况下，第一子模块可以确定第二神经网络针对第一图像样本的处理结果与第一神经网络针对第一图像样本的处理结果之间的差异；第一子模块将不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。其中的第二子模块用于根据检测出的不正确的处理结果对应的第一图像样本，确定第一困难样本。例如，第二子模块可以获取不正确的处理结果对应的错误类型；第二子模块将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为第一困难样本。筛选模块410以及其包括的子模块具体执行的操作可以参见上述方法实施方式中针对S110的描述。
确定环境模块420用于基于第一困难样本，确定第一困难样本的采集环境信息。其中的采集环境信息包括：路段信息、天气信息、以及光线强度信息中的至少一个。确定环境模块420具体执行的操作可以参见上述方法实施方式中针对S120的描述。
采集控制模块430用于根据采集环境信息，生成图像采集控制信息；图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。可选的，采集控制模块430可以在采集环境信息包括路段信息的情况下，基于采集环境信息中包括的路段信息，确定与第一困难样本匹配的采集路段；采集控制模块430利用确定的采集路段，生成数据采集路径，图像采集控制信息中包括数据采集路径，数据采集路径用于指示摄像装置按照数据采集路径采集第二图像样本集。本公开中的提供模块400还可以获取第二图像样本集，并将第二图像样本集提供给调整后的第一神经网络。筛选模块410还可以根据调整后的第一神经网络针对第二图像样本集中每个第二图像样本的处理结果，从第二图像样本集中筛选出第二困难样本。采集控制模块430具体执行的操作可以参见上述方法实施方式中针对S130的描述。
在第一神经网络用于检测第一图像样本中的目标对象的情况下，优化模块440用于在不正确的处理结果对应的错误类型为第一神经网络对第一图像样本进行检测得到的目标对象检测框不正确的情况下，对第一神经网络中包括的用于检测目标对象检测框的模块进行调整。此时，第二子模块可以在不正确的处理结果对应的错误类型为摄像装置因素的情况下，发送更改摄像装置的提示信息。优化模块440具体执行的操作可以参见上述方法实施方式中的相关描述。
训练模块450用于将第一困难样本加入至训练样本集；并利用包含有第一困难样本的训练样本集，对第一神经网络进行训练，得到调整后的第一神经网络。另外，训练模块450还可以对第一困难样本进行标注处理，将带有标注信息的第一困难样本加入至训练样本集；训练模块450将训练样本集中的多个带有标注信息的第一困难样本提供给第一神经网络；训练模块450根据第一神经网络针对每个带有标注信息的第一困难样本的处理结果与对应的标注信息的差异，调整第一神经网络的网络参数，得到调整后的第一神经网络。训练模块450具体执行的操作可以参见上述方法实施方式中针对图3的相关描述。
示例性设备
图5示出了适于实现本公开的示例性设备500，设备500可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图5中，设备500包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)501，和/或，一个或者多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本公开中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM 503中，还可以存储有装置操作所需的各种程序以及数据。CPU501、ROM502以及RAM503通过总线504彼此相连。
在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使中央处理单元501执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装在存储部分508中。
需要特别说明的是，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU513和CPU501可分离设置，再如理，可将GPU513集成在CPU501上，通信部可分离设置，也可集成设置在CPU501或GPU513上等。这些可替换的实施方式均落入本公开的保护范围。
特别地，根据本公开的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本公开实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本公开提供的方法中的步骤对应的指令。
在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载及安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本公开中记载的实现上述相应步骤的指令。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的图像采集控制方法或者神经网络训练方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了另一种图像采集控制方法和神经网络训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送图像采集控制的指示或者神经网络训练的指示，该指示使得第二装置执行上述任一可能的实施例中的图像采集控制方法或者神经网络训练方法；第一装置接收第二装置发送的图像采集控制的处理结果或者神经网络训练的结果。
在一些实施例中，该图像采集控制的指示或者神经网络训练的指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像采集控制操作或者神经网络训练的操作，相应地，响应于接收到调用指令，第二装置可以执行上述图像采集控制方法或者神经网络训练方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本公开的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本公开的原理以及实际应用，并且使本领域的普通技术人员能够理解本公开实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种图像采集控制方法，其特征在于，包括：
将第一图像样本集提供给第一神经网络；
根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；
基于所述第一困难样本，确定所述第一困难样本的采集环境信息；
根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
2.根据权利要求1所述的方法，其特征在于，所述第一图像样本集包括不具有标注信息的第一图像样本。
3.根据权利要求2中所述的方法，其特征在于，所述根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本，包括：
检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确；
根据检测出的不正确的处理结果对应的第一图像样本，确定所述第一困难样本。
4.根据权利要求3所述的方法，其特征在于，所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：
在所述第一图像样本集包括视频中的时序连续的多个视频帧样本的情况下，对所述第一神经网络针对所述多个视频帧样本输出的目标对象检测结果，进行目标对象连续性检测；
将不满足预设连续性要求的目标对象检测结果，作为不正确的处理结果。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
将所述第一图像样本提供给第二神经网络；
所述检测所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果是否正确，包括：
确定所述第二神经网络针对所述第一图像样本的处理结果与所述第一神经网络针对所述第一图像样本的处理结果之间的差异；
将不满足预设差异要求的差异对应的处理结果，作为不正确的处理结果。
6.根据权利要求3至5中任一项所述的方法，其特征在于，所述根据检测出的不正确的处理结果对应的第一图像样本，确定所述第一困难样本，包括：
获取所述不正确的处理结果对应的错误类型；
将属于神经网络处理错误的错误类型的处理结果对应的第一图像样本，作为所述第一困难样本。
7.一种图像采集控制装置，其特征在于，包括：
提供模块，用于将第一图像样本集提供给第一神经网络；
筛选模块，用于根据所述第一神经网络针对所述第一图像样本集中每个第一图像样本的处理结果，从所述第一图像样本集中筛选出第一困难样本；
确定环境模块，用于基于所述第一困难样本，确定所述第一困难样本的采集环境信息；
采集控制模块，用于根据所述采集环境信息，生成图像采集控制信息；所述图像采集控制信息用于指示采集包含第二困难样本的第二图像样本集。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一项所述的方法。
10.一种计算机程序，其特征在于，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-6中任一项所述的方法。
CN201910579147.3A 2019-06-28 2019-06-28 图像采集控制方法、装置、介质及设备 Active CN112149707B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910579147.3A CN112149707B (zh) 2019-06-28 2019-06-28 图像采集控制方法、装置、介质及设备
KR1020217028688A KR20210119532A (ko) 2019-06-28 2020-06-19 화상 수집 제어 방법, 장치, 전자 디바이스 및 기억 매체
PCT/CN2020/097232 WO2020259416A1 (zh) 2019-06-28 2020-06-19 图像采集控制方法、装置、电子设备及存储介质
JP2021552212A JP2022522375A (ja) 2019-06-28 2020-06-19 画像収集制御方法、装置、電子デバイス、記憶媒体及びコンピュータプログラム
US17/560,442 US20220114396A1 (en) 2019-06-28 2021-12-23 Methods, apparatuses, electronic devices and storage media for controlling image acquisition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579147.3A CN112149707B (zh) 2019-06-28 2019-06-28 图像采集控制方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN112149707A true CN112149707A (zh) 2020-12-29
CN112149707B CN112149707B (zh) 2024-06-14

Family

ID=73891383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579147.3A Active CN112149707B (zh) 2019-06-28 2019-06-28 图像采集控制方法、装置、介质及设备

Country Status (5)

Country Link
US (1) US20220114396A1 (zh)
JP (1) JP2022522375A (zh)
KR (1) KR20210119532A (zh)
CN (1) CN112149707B (zh)
WO (1) WO2020259416A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688975A (zh) * 2021-08-24 2021-11-23 北京市商汤科技开发有限公司 神经网络的训练方法、装置、电子设备及存储介质
CN114418021B (zh) * 2022-01-25 2024-03-26 腾讯科技（深圳）有限公司 模型优化方法、装置及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355871A1 (en) * 2012-06-15 2014-12-04 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
CN104361366A (zh) * 2014-12-08 2015-02-18 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN107220618A (zh) * 2017-05-25 2017-09-29 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
JP6721846B2 (ja) * 2016-12-09 2020-07-15 富士通株式会社 教師データ候補抽出プログラム、教師データ候補抽出装置、及び教師データ候補抽出方法
JP6922447B2 (ja) * 2017-06-06 2021-08-18 株式会社デンソー 情報処理システム、サーバおよび通信方法
JP6936957B2 (ja) * 2017-11-07 2021-09-22 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355871A1 (en) * 2012-06-15 2014-12-04 Vufind, Inc. System and method for structuring a large scale object recognition engine to maximize recognition accuracy and emulate human visual cortex
CN104361366A (zh) * 2014-12-08 2015-02-18 深圳市捷顺科技实业股份有限公司 一种车牌识别方法及车牌识别设备
CN105184226A (zh) * 2015-08-11 2015-12-23 北京新晨阳光科技有限公司 数字识别方法和装置及神经网络训练方法和装置
CN107220618A (zh) * 2017-05-25 2017-09-29 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备
CN107403141A (zh) * 2017-07-05 2017-11-28 中国科学院自动化研究所 人脸检测方法及装置、计算机可读存储介质、设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质

Also Published As

Publication number Publication date
CN112149707B (zh) 2024-06-14
US20220114396A1 (en) 2022-04-14
WO2020259416A1 (zh) 2020-12-30
KR20210119532A (ko) 2021-10-05
JP2022522375A (ja) 2022-04-18

Similar Documents

Publication Publication Date Title
US20220245792A1 (en) Systems and methods for image quality detection
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
US9846927B2 (en) Systems and methods for haziness detection
EP2959454B1 (en) Method, system and software module for foreground extraction
CN110956597A (zh) 用于车辆中的自动图像改善的设备和方法
CN112149707B (zh) 图像采集控制方法、装置、介质及设备
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
US11790632B2 (en) Method and apparatus for sample labeling, and method and apparatus for identifying damage classification
MX2014004073A (es) Aparato y metodo para reconocer de manera automatica un codigo de respuesta rapira (qr).
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN110610485A (zh) 一种基于ssim算法的特高压输电线路通道隐患预警方法
CN111881984A (zh) 一种基于深度学习的目标检测方法和装置
CN115880260A (zh) 基站施工的检测方法、装置、设备及计算机可读存储介质
US11605220B2 (en) Systems and methods for video surveillance
CN113902740A (zh) 图像模糊程度评价模型的构建方法
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN111325061A (zh) 一种基于深度学习的车辆检测算法、设备及存储介质
Bala et al. Image simulation for automatic license plate recognition
CN109903308B (zh) 用于获取信息的方法及装置
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN114373081A (zh) 图像处理方法及装置、电子设备及存储介质
CN109934045B (zh) 行人检测方法和装置
CN110717378A (zh) 基于神经网络算法的导电粒子的检测方法及装置
CN114239630B (zh) 翻拍二维码检测方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant