CN113191388A - 用于目标检测模型训练的图像采集系统及样本生成方法 - Google Patents

Abstract

本发明公开了一种用于目标检测模型训练的图像采集系统及样本生成方法，属于计算机视觉技术领域。系统包括目标展示平台、图像采集平台、定位系统和图像特征标签解算系统；目标展示平台用于实现待检测目标的多视角展示；图像采集平台用于实现多角度全方位采集目标的图像，结合目标展示平台自动完成待检测目标的图像样本采集；定位系统用于获取图像采集平台与目标展示平台的位置和姿态信息；图像特征标签解算系统基于定位系统中的位置和姿态信息实现图像特征标签解算。本发明可自动完成待检测目标的图像样本采集和图像特征标签解算，实现图像检测模型训练所需的样本数据集的快速、大规模、精确地生成。

Description

用于目标检测模型训练的图像采集系统及样本生成方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种用于目标识别与检测模型训练的图像样本采集系统和数据样本生成方法，可产生用于基于机器学习的目标识别与检测模型训练的大量高质量数据样本。

背景技术

当前是信息时代，信息的获得、加工、处理以及应用都有了飞跃发展。人们认识世界的重要知识来源就是图像信息，在很多场合，图像所传送的信息比其他形式的信息更丰富、真切和具体。视觉作为人类获取外界信息的主要载体，计算机要实现智能化，就必须能够处理图像信息。目标检测和识别与检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。因此，目标识别与检测也就成为了近年来理论和应用的研究热点，是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。

图像目标识别与检测是通过存储的信息与当前的信息进行比较实现对图像的识别与检测。前提是图像描述，描述是用数字或者符合表示图像或景物中各个目标的相关特征，甚至目标之间的关系，最终得到的是目标特征以及它们之间的关系的抽象表达。目前，图像识别与检测技术已广泛应用于多个领域，如生物医学、卫星遥感、机器人视觉、货物检测、目标跟踪、自主车导航、公安、银行、交通、军属、电子商务和多媒体网络通信等。随着技术的发展，出现了基于深度学习的目标识别与检测技术，大大提高了图像识别与检测的准确度和识别与检测效率。

深度学习是高维空间的学习，基于深度学习的目标识别与检测技术需要大量图像样本作为训练数据，从而达到足够低的错误率，完成对目标识别与检测模型的训练。然而，图像样本的制作不仅仅是需要采集图像数据，还需要制作与之对应的图像特征标签，例如类型、状态、方位、大小等目标的特征信息。当前目标图像特征标签都是人工录入的，这导致对于大规模的图像样本而言，图像特征标签的制作过程将极大地浪费人力与时间成本。而且，由于人的个体差异、情绪状态变化，可能导致图像特征标签的准确性差甚至出现错误，这种人为因素可能导致训练完成的目标识别与检测模型不能满足实际应用要求。为了快速、准确地获取图像特征标签，有必要应用一种用于目标检测模型训练的图像样本采集系统及标记方法。

发明内容

有鉴于此，本发明提供了一种用于目标检测模型训练的图像采集系统及样本生成方法，系统在采集目标图像数据的同时，快速、准确地获取图像特征标签，自动地完成目标检测模型训练的图像样本生成。该系统能够在采集目标图像数据的过程中，完成目标、成像设备的状态数据记录，实现目标特征信息的同步采集。样本生成方法提供了一种同步采集目标图像数据和制作图像特征标签的手段，可实现用于目标检测模型训练的样本数据生成。

一种用于目标检测模型训练的图像采集系统，目标展示平台、图像采集平台、定位系统和图像特征标签解算系统；

所述目标展示平台用于实现待检测目标的多视角展示；

所述图像采集平台用于实现多角度全方位采集目标的图像，结合目标展示平台自动完成待检测目标的图像样本采集；

所述定位系统用于获取图像采集平台与目标展示平台的位置和姿态信息；

所述图像特征标签解算系统基于定位系统中的位置和姿态信息实现图像特征标签解算。

进一步地，所述目标展示平台包括目标承载云台、平面移动装置、垂直移动装置和目标平台控制模块；

所述目标承载云台为三轴转向机构，用于放置待识别与检测的目标并改变目标展示的俯仰角、滚转角、偏转角；

所述平面移动装置用于目标承载云台的水平面移动，变化平面内的位置；

所述垂直移动装置用于目标承载云台的垂直移动，变化垂直方向的位置；

所述目标平台控制模块用于控制目标承载云台和移动装置，并采集目标展示平台的位置与姿态信息。

进一步地，所述目标承载云台具有三轴向角度传感器，能够测试目标的俯仰角、滚转角、偏转角。

进一步地，所述图像采集平台包括成像设备、成像设备承载云台、平面移动装置、垂直移动装置和采集平台控制模块；

所述成像设备用于图像采集；

所述成像设备承载云台为三轴向旋转机构，用于放置成像设备并改变成像设备的姿态；

所述平面移动装置用于成像设备承载云台的水平面移动，变化平面内的位置；

所述垂直移动装置用于成像设备承载云台的垂直移动，变化垂直方向的位置；

所述采集平台控制模块用于控制云台和移动装置，并采集图像采集平台的位置与姿态信息。

进一步地，所述成像设备承载云台具有三轴向角度传感器，能够测试成像设备的俯仰角、滚转角、偏转角。

进一步地，所述定位系统包括定位信号发射装置、定位信号接收装置和目标位置计算模块，定位信号发射装置和定位信号接收装置分别安装在目标展示平台和图像采集平台上，目标位置计算模块通过计算获取图像采集平台与目标展示平台的位置信息。

进一步地，所述定位信号发射装置为激光器，定位信号接收装置为光电传感器，目标位置计算模块采用相位式激光测距原理进行计算。

进一步地，所述图像特征标签解算系统包括三维场景重构模块、成像设备视角模拟模块和特征标签计算模块；

所述三维场景重构模块用于目标外轮廓、图像采集平台三维建模，其中，目标外轮廓通过直接测量获得，结合图像采集平台设计文件进行装配；

所述成像设备视角模拟模块基于三维建模得到外部参数，结合成像设备内部参数实现成像设备模拟视角图像生成。

所述特征标签计算模块基于三维建模和模拟视角，实现图像特征标签的同步解算，由成像设备的内参矩阵结合外部参数把目标外轮廓投影至相机的成像平面，得到目标在成像平面的矩形外轮廓，经过径向畸变、切向畸变的处理得到成像的标记数据，结合成像设备视角模拟实现与真实目标成像一致的图像及标记。

一种用于目标检测模型训练的样本生成方法，该方法实现的步骤如下：

步骤一：通过图像样本采集平台大量变换成像设备的位置和姿态，利用成像设备采集大量目标图像数据；同时采集成像设备的位置和姿态，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

步骤二：通过目标展示平台大量变换目标的位置和姿态，利用成像设备采集大量目标图像数据；采集目标传感器的位置、姿态数据，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

步骤三：通过目标和成像设备在三维空间中的模型，由成像设备的内参矩阵结合外部参数，即目标与成像设备的相对位置和姿态，把目标外轮廓投影至成像设备的成像平面，得到目标在成像平面的矩形外轮廓，经过径向畸变、切向畸变的处理得到成像的标记数据，结合成像设备视角模拟实现与真实目标成像一致的图像及标记。

步骤四：通过多次采集，建立目标与成像设备在变换位置、姿态时的相对位姿参数特征标签数据集合，相对位姿参数特征标签数据集合与对应的目标图像数据集合共同组成用于图像检测模型训练的数据样本。

有益效果：

1、本发明利用目标展示平台实现待检测目标的多视角展示，利用图像采集平台实现多角度全方位采集目标的图像，结合目标展示平台自动完成待检测目标的图像样本采集，图像特征标签解算系统基于定位系统中的位置和姿态信息实现目标图像特征标签解算。能够同步采集目标和成像设备的位置、姿态等信息，节约人力、时间成本，提高目标特征的标记精度。

2、本发明不仅可以自动生成图像本身的特征标签，还能生成真实目标信息标签，并且无需人工对图像数据进行标记，生成的训练样本的准确性高、可靠性好。

附图说明

图1是本发明的图像采集系统组成原理图；

图2是本发明实施例1的目标展示平台；

图3是本发明实施例1的图像采集平台。

其中：1-目标，2-三轴转向机构，3-三轴向角度传感器，4-激光发射器，5-水平运动机构，6-垂直运动机构，7-支撑台架8-目标平台控制模块，9-成像设备，10-光电传感器，11-目标位置计算模块。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如附图1所示，本发明提供了一种用于目标检测模型训练的图像样本采集系统，系统主要包括图像采集平台01、目标展示平台02、定位系统和图像特征标签解算系统03。

图像采集平台01上的成像设备011通过水平运动机构011、垂直运动机构012和旋转机构013改变位置和姿态，利用成像设备采集大量目标图像数据；采集成像设备的位置、姿态，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景

目标展示平台02上固定一物体021，通过水平运动机构021、垂直运动机构022和旋转机构023改变目标物体的空间位置和姿态，利用成像设备011采集大量目标图像数据；采集目标传感器的位置、姿态数据，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

由图像特征标签解算系统03解算目标物体成像的位置、大小，并自动生成目标识别与检测的训练样本。具体过程如下：通过目标和成像设备在三维空间中的模型，由成像设备的内参矩阵结合外部参数(目标与相机的相对位置和姿态)，把目标外轮廓(外接长方体)投影至相机的成像平面，得到目标在成像平面的矩形外轮廓(长方形)，经过径向畸变、切向畸变的处理，可以得到成像的标记数据，结合成像设备视角模拟可以实现与真实目标成像一致的图像及标记；通过多次采集，建立目标与成像设备在变换位置、姿态时的相对位姿参数特征标签数据集合，相对位姿参数特征标签数据集合与对应的目标图像数据集合共同组成用于图像检测模型训练的数据样本，可用于目标识别与检测与检测模型训练。

如附图2所示，目标展示平台02主要由目标承载云台、平面移动装置、垂直移动装置和目标平台控制模块8组成，可实现待检测目标多视角展示。目标承载云台是一种三轴转向机构2，用于放置待识别与检测的目标1，可以通过夹具或者吸盘等方式将目标固定，可以改变目标的姿态。平面移动装置是一种水平运动机构5，用于目标承载云台的水平面移动，变化平面内的位置。垂直移动装置是一种垂直运动机构6，用于目标承载云台的垂直移动，变化垂直方向的位置。目标平台控制模块8用于控制云台和移动装置，并采集目标展示平台的位置与姿态信息。

如附图3所示，图像采集平台主要由成像设备9、成像设备承载云台、平面移动装置、垂直移动装置、采集平台控制模块组成，可实现多角度全方位采集目标图像，结合目标展示平台，可自动完成待检测目标的图像样本采集。成像设备9用于图像采集。成像设备承载云台，是一种三轴转向机构2，用于放置成像设备9，可以通过夹具或者吸盘等方式将成像设备固定，可以改变成像设备的姿态。平面移动装置，是一种水平运动机构5，用于成像设备承载云台的水平面移动，变化平面内的位置；垂直移动装置，是一种垂直运动机构6，用于成像设备承载云台的垂直移动，变化垂直方向的位置。成像设备承载云台、平面移动装置和垂直移动装置内部具设有测量位置与姿态的传感器。采集平台控制模块用于控制云台和移动装置，并采集图像采集平台的位置与姿态信息。

定位系统主要由定位信号发射装置、定位信号接收装置和目标位置计算模块组成，可获取图像采集平台与目标展示平台的位置信息。

图像特征标签解算系统主要由三维场景重构模块、成像设备视角模拟模块、特征标签计算模块组成，可基于定位信息和平台位姿信息实现图像特征标签解算。三维场景重构模块用于目标外轮廓(外接长方体)、图像采集平台三维建模。其中，目标外轮廓可以通过直接测量获得，结合图像采集平台设计文件(三维图纸)进行装配，既可以方便的重建测量场景。如图3所示，三维场景中的三轴转向机构2、水平运动机构5、垂直运动机构6等作动部件，可以通过测量位置与姿态的传感器数据进行驱动，从而保证虚拟的三维场景与实际场景一致。成像设备视角模拟模块基于三维建模得到外部参数，结合成像设备9内部参数(内参矩阵、径向畸变、切向畸变等)实现成像设备模拟视角图像生成。特征标签计算模块可基于三维建模和模拟视角，实现图像特征标签的同步解算。由成像设备9的内参矩阵结合外部参数(目标与相机的相对位置和姿态)，可把目标外轮廓(外接长方体)投影至相机的成像平面，得到目标在成像平面的矩形外轮廓(长方形)，经过径向畸变、切向畸变的处理，可以得到成像的标记数据，结合成像设备视角模拟可以实现与真实目标成像一致的图像及标记。

外部参数描述了目标1与成像设备9的相对位置和姿态关系，包括旋转R和平移t参数。成像设备9内部参数K描述了相机内部的特性，包括焦距(f_x,f_y)、主点坐标(c_x,c_y)和坐标轴倾斜参数s。径向畸变：[x(1+k₁*r²+k₂*r⁴+k₃*r⁶),y(1+k₁*r²+k₂*r⁴+k₃*r⁶)]。切向畸变{x+[2*p₁*x*y+p₂*(r²+2*x²)]，y+[p1*(r²+2*y²)+2*p²*x*y]}，外部参数结合成像设备内部参数实现成像设备模拟视角图像生成这一过程以及径向畸变和切向畸变公式均为现有技术。

本发明还提供了一种用于目标识别与检测模型训练的数据样本生成方法，其实现的步骤包括：

通过六自由度图像样本采集平台，大量变换成像设备的位置、姿态，利用成像设备采集大量目标图像数据；采集成像设备的位置、姿态，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

通过六自由度目标展示平台，大量变换目标的位置、姿态，利用成像设备采集大量目标图像数据；采集目标传感器的位置、姿态数据，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

通过目标和成像设备在三维空间中的模型，由成像设备的内参矩阵结合外部参数(目标与相机的相对位置和姿态)，把目标外轮廓(外接长方体)投影至相机的成像平面，得到目标在成像平面的矩形外轮廓(长方形)，经过径向畸变、切向畸变的处理，可以得到成像的标记数据，结合成像设备视角模拟可以实现与真实目标成像一致的图像及标记。通过多次采集，建立目标与成像设备在变换位置、姿态时的相对位姿参数特征标签数据集合，相对位姿参数特征标签数据集合与对应的目标图像数据集合共同组成用于图像检测模型训练的数据样本，可用于目标识别与检测与检测模型训练。

优选地，目标承载云台具有三轴向旋转机构，可改变目标展示的俯仰角、滚转角、偏转角。

优选地，目标承载云台具有三轴向角度传感器，可测试目标的俯仰角、滚转角、偏转角。

优选地，成像设备承载云台具有三轴向旋转机构，可改变目标展示的俯仰角、滚转角、偏转角。

优选地，成像设备承载云台具有三轴向角度传感器，可测试成像设备的俯仰角、滚转角、偏转角。

优选地，定位信号发射装置为激光器，定位信号接收装置为光电传感器，目标位置计算模块采用相位式激光测距原理。

本发明的同步采集目标图像数据和制作图像特征标签的方法的原理如下：

(1)目标及成像设备的姿态可以通过云台的角度测量工具或者传感器获得俯仰、滚转、偏转角，实现目标及成像设备的姿态信息采集；

(2)目标及成像设备的平台的位置可以通过室内测距和定位技术获得相对场景的位置信息；

(3)基于目标及成像设备的位置和姿态，可以通过几何运算得到目标相对成像设备的距离、方位等信息，结合成像设备的成像模型可以判断图像中是否有目标。

(4)如果目标识别与检测应用需要的特征标签为真实目标信息标签(距离、方位等)，可以利用采集的图像及对应的目标特征信息，自动化生成目标识别与检测的训练样本。

(5)如果目标识别与检测应用需要的特征标签为图像本身特征标签(成像的位置、大小等)，可以基于实测的相对位置、姿态数据，利用成像设备成像模型解算目标成像的位置、大小，再自动化生成目标识别与检测的训练样本。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于目标检测模型训练的图像采集系统，其特征在于，系统包括目标展示平台、图像采集平台、定位系统和图像特征标签解算系统；

所述目标展示平台用于实现待检测目标的多视角展示；

所述图像采集平台用于实现多角度全方位采集目标的图像，结合目标展示平台自动完成待检测目标的图像样本采集；

所述定位系统用于获取图像采集平台与目标展示平台的位置和姿态信息；

所述图像特征标签解算系统基于定位系统中的位置和姿态信息实现图像特征标签解算。

2.如权利要求1所述的用于目标检测模型训练的图像采集系统，其特征在于，所述目标展示平台包括目标承载云台、平面移动装置、垂直移动装置和目标平台控制模块；

所述目标承载云台为三轴向转向机构，用于放置待识别与检测的目标并改变目标展示的俯仰角、滚转角、偏转角；

所述平面移动装置用于目标承载云台的水平面移动，变化平面内的位置；

所述垂直移动装置用于目标承载云台的垂直移动，变化垂直方向的位置；

所述目标平台控制模块用于控制目标承载云台和移动装置，并采集目标展示平台的位置与姿态信息。

3.如权利要求1所述的用于目标检测模型训练的图像采集系统，其特征在于，所述目标承载云台具有三轴向角度传感器，能够测试目标的俯仰角、滚转角、偏转角。

4.如权利要求3所述的用于目标检测模型训练的图像采集系统，其特征在于，所述图像采集平台包括成像设备、成像设备承载云台、平面移动装置、垂直移动装置和采集平台控制模块；

所述成像设备用于图像采集；

所述成像设备承载云台为三轴向旋转机构，用于放置成像设备并改变成像设备的姿态；

所述平面移动装置用于成像设备承载云台的水平面移动，变化平面内的位置；

所述垂直移动装置用于成像设备承载云台的垂直移动，变化垂直方向的位置；

所述采集平台控制模块用于控制云台和移动装置，并采集图像采集平台的位置与姿态信息。

5.如权利要求4所述的用于目标检测模型训练的图像采集系统，其特征在于，所述成像设备承载云台具有三轴向角度传感器，能够测试成像设备的俯仰角、滚转角、偏转角。

6.如权利要求5所述的用于目标检测模型训练的图像采集系统，其特征在于，所述定位系统包括定位信号发射装置、定位信号接收装置和目标位置计算模块，定位信号发射装置和定位信号接收装置分别安装在目标展示平台和图像采集平台上，目标位置计算模块通过计算获取图像采集平台与目标展示平台的位置信息。

7.如权利要求6所述的用于目标检测模型训练的图像采集系统，其特征在于，所述定位信号发射装置为激光器，定位信号接收装置为光电传感器，目标位置计算模块采用相位式激光测距原理进行计算。

8.如权利要求7所述的用于目标检测模型训练的图像采集系统，其特征在于，所述图像特征标签解算系统包括三维场景重构模块、成像设备视角模拟模块和特征标签计算模块；

所述三维场景重构模块用于目标外轮廓、图像采集平台三维建模，其中，目标外轮廓通过直接测量获得，结合图像采集平台设计文件进行装配；

所述成像设备视角模拟模块基于三维建模得到外部参数，结合成像设备内部参数实现成像设备模拟视角图像生成。

所述特征标签计算模块基于三维建模和模拟视角，实现图像特征标签的同步解算，由成像设备的内参矩阵结合外部参数把目标外轮廓投影至相机的成像平面，得到目标在成像平面的矩形外轮廓，经过径向畸变、切向畸变的处理得到成像的标记数据，结合成像设备视角模拟实现与真实目标成像一致的图像及标记。

9.一种用于目标检测模型训练的样本生成方法，该方法使用了权利要求1的图像采集系统，其特征在于，该方法实现的步骤如下：

步骤一：通过图像样本采集平台大量变换成像设备的位置和姿态，利用成像设备采集大量目标图像数据；同时采集成像设备的位置和姿态，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

步骤二：通过目标展示平台大量变换目标的位置和姿态，利用成像设备采集大量目标图像数据；采集目标传感器的位置、姿态数据，基于相对位置和姿态，建立与实际场景一致的虚拟的三维场景；

步骤三：通过目标和成像设备在三维空间中的模型，由成像设备的内参矩阵结合外部参数，即目标与成像设备的相对位置和姿态，把目标外轮廓投影至成像设备的成像平面，得到目标在成像平面的矩形外轮廓，经过径向畸变、切向畸变的处理得到成像的标记数据，结合成像设备视角模拟实现与真实目标成像一致的图像及标记；

步骤四：通过多次采集，建立目标与成像设备在变换位置、姿态时的相对位姿参数特征标签数据集合，相对位姿参数特征标签数据集合与对应的目标图像数据集合共同组成用于图像检测模型训练的数据样本。

Images