CN109934907A - 一种样本生成方法、装置、介质和设备 - Google Patents

Abstract

本发明涉及物体检测和图像识别技术领域，特别涉及一种样本生成方法、装置、介质和设备。根据本发明实施例提供的方案，可以通过虚拟采样环境的搭建来模拟实际采样环境，并可以对采样环境对应的采样参数进行调整，进而可以自动生成细节内容丰富变化的大量合格样本，通过样本自动生成，可以有效提高样本采集的效率。同时，还可以保证采样环境的多变性，涵盖各种可能的场景情况，并可以保证生成样本的数量。

Description

一种样本生成方法、装置、介质和设备

技术领域

本发明涉及物体检测和图像识别技术领域，特别涉及一种样本生成方法、装置、介质和设备。

背景技术

人工智能神经网络自动目标识别领域，样本是神经网络模型进一步发挥作用的瓶颈，许多应用因为缺乏样本，导致智能技术应用效果受限。在样本采集领域，主要的采集方法是通过人力手工解决。

人工采集样本耗时费力，采集到的样本数量有限。同时，采集样本时，采样环境受限，不能涵盖千变万化的实际场景。

发明内容

本发明实施例提供一种样本生成方法、装置、介质和设备，用于解决神经网络模型样本采集效率低，数量有限且采样环境受限的问题。

本发明提供一种样本生成方法，所述方法包括：

在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载；

对所述采样环境对应的采样参数进行调整，并根据调整的所述采样参数，采集所述目标物体对应的样本图片。

本发明还提供了一种样本生成装置，所述装置包括：

加载模块，用于在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载；

生成模块，用于对所述采样环境对应的采样参数进行调整，并根据调整的所述采样参数，采集所述目标物体对应的样本图片。

本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现如上所述方法的步骤。

本发明还提供了一种样本生成设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现如上所述方法的步骤。

根据本发明实施例提供的方案，可以通过虚拟采样环境的搭建来模拟实际采样环境，并可以对采样环境对应的采样参数进行调整，进而可以自动生成细节内容丰富变化的大量合格样本，通过样本自动生成，可以有效提高样本采集的效率。同时，还可以保证采样环境的多变性，涵盖各种可能的场景情况，并可以保证生成样本的数量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的样本生成方法的流程示意图；

图2为本发明实施例一提供的样本生成示意图；

图3为本发明实施例二提供的样本生成装置的结构示意图；

图4为本发明实施例二提供的样本生成装置的逻辑框架示意图；

图5为本发明实施例三提供的样本生成设备的结构示意图。

具体实施方式

本发明实施例的目的在于通过虚拟仿真相关技术手段，来快速生成满足神经网络模型训练要求的，涵盖各种可能场景的海量样本，满足神经网络模型快速训练，快速部署，高精度识别的应用场景需求，进而提高普适场景下通过神经网络模型进行物体检测的精度。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

本发明实施例一提供一种样本生成方法，该方法的步骤流程可以如图1所示，包括：

步骤101、物体加载。

在本步骤中，可以在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载。

优选的，所述物体管理容器可以但不限于通过第四代虚幻引擎(UE4)技术构造。

步骤102、生成样本。

在本步骤中，可以对所述采样环境对应的采样参数进行调整，如，随机变化，并根据调整的所述采样参数，采集所述目标物体对应的样本图片，实现样本生成。

在本实施例中，对所述采样环境对应的采样参数进行调整，可以但不限于包括：

对所述采样环境对应的自然光照强弱参数、空气雾浓度参数、人工光源光照强弱参数、人工光源光照颜色参数、人工光源光照位置参数、摄像头观测位置和摄像头观测角度中的至少一个进行调整。

即在本实施例中，可以通过采样环境对应的采样参数的调整，来生成每帧都有差别的样本图片。

图2为本发明实施例一提供的样本生成示意图，在该示意图中，采样环境中的采样背景物体可以包括动态物体(如图2中的人和推车)和静态物体(如图2中的纸箱、大兰货柜)。在样本生成过程中，可以将人工光源(聚光灯)沿着虚线示意的双方向移动扫描大兰货柜，且可以每隔5秒随机切换预先设定的七种颜色之一以及随机改变光照强弱，且人工光源(大兰货柜中的柜内观察灯)可以在生成每帧样本图片时随机改变光照强弱，空气雾浓度参数可以每隔5秒随机改变一次，所述采样环境对应的摄像头观测角度可以每隔5秒随机扰动1～2度，并可以保持自然光照强弱参数不变，进而可以通过多参数共同作用，实现采样环境的多变，涵盖各种可能的场景情况，快速生成海量的细节丰富的样本图片。

需要进一步说明的是，采集所述目标物体对应的样本图片之前，还可以对对应的采样区域、所述采样背景物体和/或目标物体的轴心，以及，所述采样背景物体和/或目标物体的质量中的至少一个，进行调整，形成物体和摄像头之间丰富的空间位置关系，使得物体在摄像头不同观测角度和/或观测位置下具有不同形态，进一步保证样本图片的多样性。

采样区域的划定是为了控制目标物体始终在摄像头的视野范围内运动，因此，在本实施例中，可以根据所述目标物体在所述摄像头的视野范围内运动，确定所述目标物体对应的采样区域，实现目标物体对应的采样区域的动态确定。

在真实采样环境中，物体可以随时按照不同的轴为中心进行运动，形成不同的运动效果。为了让神经网络模型学习到这种知识，在样本生成过程中，仿真采样环境中的物体也可以按照不同的轴进行运动。因此，在样本生成过程中，可以动态变化物体的轴心，使得物体可以按照不同的轴进行运动。

在现有的三维(3D)软件产品中，模型的轴心是无法调整的。而在本实施例中，可以但不限于采用UE4技术中的支点技术，动态确定所述采样背景物体和/或目标物体的三维尺寸，并根据所述三维尺寸进行所述采样背景物体和/或目标物体的轴心的估计和偏移。

可以理解为，在本实施例中，可以对采样背景物体的轴心进行动态调整，也可以对目标物体的轴心进行动态调整，还可以对采样背景物体和目标物体的轴心进行动态调整。

需要说明的是，在样本生成过程中，可能涉及物体之间的相对运动。在控制所述采样环境中物体的相对运动时，可以通过物理引擎的碰撞事件检测来避免物体发生空间重叠，导致不合理的样本形态。

但是通过物理引擎的碰撞事件检测来避免物体发生空间重叠时，可能引发不确定的结果，例如，物体漂移出采样区域，或者物体的旋转不符合设定的角度等。在本实施例中，可以在控制所述采样环境中物体的相对运动时，根据物理引擎碰撞事件检测结果，修改所述采样背景物体和/或目标物体的质量，实现采样背景物体和/或目标物体质量的动态修改，从而在避免物体发生空间重叠的基础上，避免产生不确定的结果。

此外，需要进一步说明的是，所述采样背景物体或所述目标物体包括人时，生成样本图片的过程中，还可能涉及人手对物体的抓取动作。在本实施例中，可以但不限于采集所述目标物体对应的样本图片之前，通过静态手部建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作；或者，通过完整的骨骼动画建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作，从而实现对应的样本图片采集。

例如，在采样背景物体中包括人时，可以通过静态手部建模或完整的骨骼动画建模，在所述采样环境中呈现人手对其他采样背景物体的抓取动作，或者，呈现人手对目标物体的抓取动作，从而可以实现对应的样本图片采集。

又如，在目标物体中包括人时，可以通过静态手部建模或完整的骨骼动画建模，在所述采样环境中呈现人手对其他目标物体的抓取动作，或者，呈现人手对采样背景物体的抓取动作，从而可以实现对应的样本图片采集。

通过静态手部建模，模拟人手对所述采样背景物体和/或所述目标物体的抓取动作时，可以在做出各种手部模型后，在手部模型上设置附加点，让物体附加到附加点，以物体模型轴为中心带动手部模型进行各种随机相对运动。

通过完整的骨骼动画建模，模拟人手对所述采样背景物体和/或所述目标物体的抓取动作时，可以控制人体手部骨骼的相对运动形成各种手型姿态，相对手腕附加物体，物体的运动轨迹作为影响点，通过反向动力学模型(IK)来驱动手腕运动，再由手腕驱动全身骨架的运动，产生逼真的人与物体交互的形态。运动的物体对采样环境中的光照唤醒也可能产生动态影响，从而更加逼近真实环境下的场景。手部骨骼的相对旋转角度全部参数化之后，可以通过动态修改旋转角度，实现手型变换来丰富样本形态，并可以减少对人物造型的过多依赖。

与实施例一提供的方法对应的，提供以下的装置。

实施例二

本发明实施例二提供一种样本生成装置，该装置的结构可以如图3所示，包括：

加载模块11用于在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载；生成模块12用于对所述采样环境对应的采样参数进行调整，并根据调整的所述采样参数，采集所述目标物体对应的样本图片。

所述生成模块12对所述采样环境对应的采样参数进行调整，包括：

对所述采样环境对应的自然光照强弱参数、空气雾浓度参数、人工光源光照强弱参数、人工光源光照颜色参数、人工光源光照位置参数、摄像头观测位置和摄像头观测角度中的至少一个进行调整。

所述生成模块12还用于采集所述目标物体对应的样本图片之前，对对应的采样区域、所述采样背景物体和/或目标物体的轴心，以及，所述采样背景物体和/或目标物体的质量中的至少一个，进行调整。

所述生成模块12对所述采样背景物体和/或目标物体的轴心进行调整，包括：采用第四代虚幻引擎UE4技术中的支点技术，动态确定所述采样背景物体和/或目标物体的三维尺寸，并根据所述三维尺寸进行所述采样背景物体和/或目标物体的轴心的估计和偏移。

所述生成模块12对所述采样背景物体和/或目标物体的质量进行调整，包括：在控制所述采样环境中物体的相对运动时，根据物理引擎碰撞事件检测结果，修改所述采样背景物体和/或目标物体的质量。

所述生成模块12对对应的采样区域进行调整，包括：根据所述目标物体在所述摄像头的视野范围内运动，确定所述目标物体对应的采样区域。

所述生成模块12还用于所述采样背景物体或所述目标物体包括人时，采集所述目标物体对应的样本图片之前，通过静态手部建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作；或者，通过完整的骨骼动画建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作。

图4为本发明实施例二提供的样本生成装置的逻辑框架示意图。其中，可以根据神经网络模型的需要，即可以理解为根据任务计划，在仿真构造的采样环境中，进行场景的热加载，通过构造的物体管理容器，热加载采样背景物体和目标物体。并可以通过作业控制，产生随机因子，对仿真采样环境对应的采样参数进行随机变化，实现对采样环境的明暗、环境颜色、光照周期控制(对采样环境进行明暗、环境颜色和光照周期控制，可以理解为根据光照计划产生)、雨雾叠加以及实现摄像头抖动。还可以通过作业控制，产生随机因子，对对应的采样区域，物体的轴心和质量进行调整。当然，还可以根据预设的建模方式，即预设的模型管理方式，进行对应的建模。需要说明的是，自动生成的海量样本图片可以用于神经网络模型的训练。

神经网络模型在实际生产环境运用过程中，通用模型存在可靠性较低的问题，因此，往往采用的是专业模型，针对特定的物体和场景进行训练，应用在特定场所中。物体和场景虽然短期相对固定，但是从中长期来看，仍然会随着商业活动，规则体制和社会环境的变化而发生频繁的变化。所以，神经网络模型样本的获取仍然是神经网络模型的基础。

本发明实施例提供的方案通过虚拟仿真技术，实现虚拟采样，可以生成大规模样本来辅助神经网络模型的训练和学习，解决样本采集困难的问题。本发明实施例提供的虚拟采样过程和真实采样过程逼近，且采样环境有一定的动态性和可变性，可以保证生成的样本不会造成神经网络模型的过拟合。采样环境可以理解为包括两大要素：采样背景物体和目标物体。采样过程中，可以围绕两大要素，对虚拟采样环境的模型、纹理、光照颜色、光照强度和物体空间关系等进行管理，让这些细节转化为参数随采样过程随机变化，来输出细节内容丰富变化的合格样本。

本发明提供的实施例可以利用可视化技术实现计算机视觉相关神经网络模型所需样本的快速采集，可以应用于人工智能相关的各行各业，以解决神经网络模型样本获取周期长，人力成本巨大的问题，为人工智能达到生产环境的需求，以及人工智能的精准快速实现，提供可靠的技术途径，进而有效推动人工智能在各行各业的工程化应用。

基于同一发明构思，本发明实施例提供以下的设备和介质。

实施例三

本发明实施例三提供一种样本生成设备，该设备的结构可以如图5所示，包括存储器21、处理器22及存储在存储器上的计算机程序，所述处理器22执行所述程序时实现本发明实施例一所述方法的步骤。

可选的，所述处理器22具体可以包括中央处理器(CPU)、特定应用集成电路(ASIC，application specific integrated circuit)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(FPGA，field programmable gate array)开发的硬件电路，可以是基带处理器。

可选的，所述处理器22可以包括至少一个处理核心。

可选的，所述存储器21可以包括只读存储器(ROM，read only memory)、随机存取存储器(RAM，random access memory)和磁盘存储器。存储器21用于存储至少一个处理器22运行时所需的数据。存储器21的数量可以为一个或多个。

本发明实施例四提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，当可执行程序被处理器执行时，实现本发明实施例一提供的方法。

在具体的实施过程中，计算机存储介质可以包括：通用串行总线闪存盘(USB，Universal Serial Bus flash drive)、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的存储介质。

在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。

在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种样本生成方法，其特征在于，所述方法包括：

在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载；

对所述采样环境对应的采样参数进行调整，并根据调整的所述采样参数，采集所述目标物体对应的样本图片。

2.如权利要求1所述的方法，其特征在于，所述物体管理容器通过第四代虚幻引擎UE4技术构造。

3.如权利要求1所述的方法，其特征在于，对所述采样环境对应的采样参数进行调整，包括：

对所述采样环境对应的自然光照强弱参数、空气雾浓度参数、人工光源光照强弱参数、人工光源光照颜色参数、人工光源光照位置参数、摄像头观测位置和摄像头观测角度中的至少一个进行调整。

4.如权利要求1～3任一所述的方法，其特征在于，采集所述目标物体对应的样本图片之前，所述方法还包括：

对对应的采样区域、所述采样背景物体和/或目标物体的轴心，以及，所述采样背景物体和/或目标物体的质量中的至少一个，进行调整。

5.如权利要求4所述的方法，其特征在于，对所述采样背景物体和/或目标物体的轴心进行调整，包括：

采用第四代虚幻引擎UE4技术中的支点技术，动态确定所述采样背景物体和/或目标物体的三维尺寸，并根据所述三维尺寸进行所述采样背景物体和/或目标物体的轴心的估计和偏移。

6.如权利要求4所述的方法，其特征在于，对所述采样背景物体和/或目标物体的质量进行调整，包括：

在控制所述采样环境中物体的相对运动时，根据物理引擎碰撞事件检测结果，修改所述采样背景物体和/或目标物体的质量。

7.如权利要求4所述的方法，其特征在于，对对应的采样区域进行调整，包括：

根据所述目标物体在所述摄像头的视野范围内运动，确定所述目标物体对应的采样区域。

8.如权利要求1～3任一所述的方法，其特征在于，所述采样背景物体或所述目标物体包括人时，采集所述目标物体对应的样本图片之前，所述方法还包括：

通过静态手部建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作；或者，通过完整的骨骼动画建模，在所述采样环境中呈现人手对所述采样背景物体和/或所述目标物体的抓取动作。

9.一种样本生成装置，其特征在于，所述装置包括：

加载模块，用于在仿真构造的采样环境中，通过构造的物体管理容器，对所述采样环境中的采样背景物体和目标物体进行热加载；

生成模块，用于对所述采样环境对应的采样参数进行调整，并根据调整的所述采样参数，采集所述目标物体对应的样本图片。

10.一种非易失性计算机存储介质，其特征在于，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现权利要求1～8任一所述方法的步骤。

11.一种样本生成设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现权利要求1～8任一所述方法的步骤。