CN106228570B - 一种真值数据确定方法和装置 - Google Patents

Abstract

本发明公开了一种真值数据确定方法和装置，该方法包括：获取指定场景的视频图像和点云信息；识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。本方案使得真值数据的配准更加容易，准确性大幅提高，极大的提高了机器学习的效率。

Description

一种真值数据确定方法和装置

技术领域

本发明实施例涉及信息识别技术，尤其涉及一种真值数据确定方法和装置。

背景技术

人工智能是研究用于模拟、延伸和扩展人的智能的一门新的技术科学。人工智能是计算机科学的一个分支，其企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。

人工智能领域中，对车辆和行人进行识别的算法都是监督或半监督学习算法。其中监督学习是利用一组已知类别的真值数据调整分类器的参数，使其达到所要求的性能的过程；半监督学习是监督学习与无监督学习相结合的一种学习算法，其主要考虑如何利用真值数据和未标注的数据进行训练和分类的问题。

上述监督或半监督的学习算法均需要大量的含有真值数据进行训练，而真值数据的获取，往往都是采用人工标注的方式，该方式效率低下、易出错且含有主观偏差。

发明内容

本发明提供了一种真值数据确定方法和装置，使得真值数据的配准更加容易，准确性大幅提高，极大的提高了机器学习的效率。

第一方面，本发明实施例提供了一种真值数据确定方法，包括：

获取指定场景的视频图像和点云信息；

识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；

对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

第二方面，本发明实施例还提供了一种真值数据确定装置，包括：

获取模块，用于获取指定场景的视频图像和点云信息；

识别模块，用于识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；

处理模块，用于对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

本发明通过获取指定场景的视频图像和点云信息，识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息，对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据，解决了现有技术中在确定真值数据时效率低下、易出错且含有主观偏差的问题，使得真值数据的配准更加容易，准确性大幅提高，极大的提高了机器学习的效率。

附图说明

图1为本发明实施例一提供的真值数据确定方法的流程图；

图2为本发明实施例二提供的真值数据确定方法的流程图；

图3为本发明实施例三提供的真值数据确定方法的流程图；

图4为本发明实施例四提供的确定真值数据装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供真值数据确定方法的流程图，本实施例可适用于在机器学习、训练过程中，需要确定移动物体真值数据的情况，该方法可以终端设备来执行，具体可以包括如下：

S101、获取指定场景的视频图像和点云信息。

人工智能领域中，在对目标物体进行自动识别时(如识别目标是人还是车辆)，机器需要通过大量的真值数据进行训练，以最终确定该目标物体的类别。本步骤中，根据训练数据的场景需求，如在指定的交通路段、指定的时间段和指定的天气状况下获取视频图像和点云信息。示例性的，可在指定场景的固定位置获取视频图像和点云信息，以避免在移动过程中采集数据造成的真值数据配准困难。

具体的，视频图像可由摄像机获取，该视频图像为2D数据。点云信息可由激光雷达获取，其中激光雷达在指定场景下向固定位置发射探测信号，再将接收到的反射信号与发射的探测信号进行比较，进行处理后得到点云信息，该点云信息是目标表面特性的海量点的集合，能够反映目标物体的三维坐标和激光的反射强度。本步骤中，同时获取了指定场景下的视频图像和点云信息，避免了单个传感设备获取信息的局限性，得到的信息更加多样化。

S102、识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息。

在对视频图像中的移动物体进行识别时可采用不同的识别算法。示例性的，可利用基于灰度图像的检测算法，首先，将视频图像中相邻的两帧之间做差，得到做差后的图像A，若在图像A中存在非零像素的部分，则该非零像素部分为移动物体的边缘，由此可对移动物体进行定位。具体的，求出图像A的水平投影H和垂直投影V，为了降噪和避免扰动对视频图像的干扰，对垂直投影V进行中值滤波处理，若移动物体存在，则在垂直投影V中必定存在足够多的灰度值大于分割阈值的像素点组成的段，假设共有n个段，此时将图像A相应的分成n个域，每个域位于相应段的中心且具备一定的宽度，由此即确定出n个移动物体。同理，在对点云信息中的移动物体进行识别时，将前后采集的点云信息影像做差，即可得到点云信息中的移动物体。

当识别到视频图像和点云信息中的移动物体后，确定该移动物体的图像特征信息和点云特征信息，由于视频图像为2D图像而点云信息为3D影像，且二者的具体获取原理存不同，故可得到不同维度的特征信息。具体的，在确定图像特征信息时，对前述识别到的移动物体进行特征提取、边缘检测、分割、跟踪和数据融合处理，以得到该移动物体的边缘轮廓、移动速度和物体大小等参量信息。示例性的，在处理点云信息时，可采用基于移动最小二乘法的点云模型尖锐特征提取算法来确定点云特征信息，具体的，首先使用投影残差来识别潜在的特征点，然后采用优化的主元分析法光顺潜在的特征点，再利用改进的折现生长方法生成特征线，最后建立角点完善的特征线以进行特征提取，得到该移动物体的点云特征信息，示例性的，该点云特征信息可以是该物体的移动速度、物体大小、边缘轮廓、坐标信息和距离信息等。其中，该坐标信息可以是在建立的虚拟空间中的坐标信息，可以以激光雷达扫描场景的中心为原点，建立xyz坐标系，得到移动物体在此坐标系中的坐标信息。其中，该距离信息可以设定为移动物体到激光雷达的距离。

S103、对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

其中，图像特征信息和点云特征信息各自均表征了移动物体的相关信息，在相同的类别信息中，二者可进行相互校准。示例性的，在视频图像中，通过前后帧的变化时间及前后帧之间移动物体在图像中的位移即可得到该移动物体的移动速度。在点云信息中，通过激光雷达的扫描间隔时间和移动物体的位移可以得到该移动物体的移动速度，则通过视频图像和点云信息分别得到的移动物体的移动速度可用户相互校准以核实该移动速度是否识别精确。

其中，图像特征信息和点云特征信息由于获取的原理不同，二者可以表征的信息的范围也不同。示例性的，图像特征信息中可以包含移动物体的颜色，而无法获取移动物体的三维空间坐标和距离信息，在点云特征信息中可以包含移动物体的坐标信息和距离信息，但是通常不能得到移动物体的颜色，故本步骤中还包含了对图像特征信息和点云特征信息进行融合处理的步骤，以使得对移动物体的表征更加全面。

本步骤中，对图像特征信息和点云特征信息进行相互校准和融合处理，得到移动物体的真值数据，可以使真值数据的准确性大幅提高。示例性的，在识别该移动物体是人还是车辆时，若仅适用视频图像很难表征该移动物体的大小，进而不能通过该移动物体的大小来判断该移动物体是人还是车辆，此时可通过点云特征信息得到该移动物体的大小再通过对视频图像中的移动物体进行特征提取以确定该移动物体是人还是车辆，以确定真值数据。

本实施例的技术方案，在固定位置下获取指定场景的视频图像和点云信息，避免了移动采集造成的真值数据配准困难的问题，通过对图像特征信息和点云特征信息进行相互校准和融合处理来得到移动物体的真值数据，避免了通过单一传感器得到的真值数据的不足(如摄像机无法获取景深，激光雷达无法获取颜色特征等)，使得真值数据的配准更加容易，准确性大幅提高，极大的提高了机器学习的效率。

实施例二

图2为本发明实施例二提供的真值数据确定方法的流程图，本实施例在上述实施例的基础上，进一步增加了信息配准的步骤，具体可以包括：

S201、获取指定场景的视频图像和点云信息。

S202、对所述视频图像与所述点云信息进行配准，以使所述视频图像和所述点云信息中采集的移动物体一致。

本领域技术人员可知，本方案中在真值数据确定过程中使用了视频图像和点云信息进行相互校准和融合处理，并不排除结合其它传感设备获取传感信息来共同确定真值数据。示例性的，可通过红外传感器得到指定场景下移动物体的红外成像，以结合视频图像和点云信息共同确定真值数据。当多种不同的传感器在指定场景下获取传感信息时，可能造成识别的移动物体存在偏差的情况，如通过摄像机获取的视频图像中存在两个移动物体，分别位于图像的中间位置和靠近右侧边缘的位置，此时通过激光雷达获取的点云信息中的两个移动物体由于拍摄角度的问题可能一个移动物体处于点云信息的靠近左侧边缘的位置，另一移动物体位于点云信息的中心位置，此时不利于对图像特征信息和点云特征信息进行相互校准和融合处理。当传感器数量增加时，该问题比较突出，故增加了对视频图像与点云信息进行配准的步骤，以使视频图像和点云信息中采集的移动物体一致，即对同一移动物体的图像特征信息和点云特征信息进行相互校准和融合。

示例性的，该配准的过程可以是将三维空间的点云信息映射为到二维空间，得到移动物体在二维点云信息中的坐标，即(x，y)坐标。该移动物体在视频图像中的坐标假定为(a，b)，此时根据(x，y)坐标和(a，b)坐标得到该移动物体在视频图像和点云信息中的位移差，根据该位移差对视频图像或点云信息中采集到的移动物体进行相应位移以进行移动物体的配准，使得视频图像和点云信息中的采集的移动物体一致。

S203、识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息。

S204、对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

本实施例的技术方案，通过对视频图像与点云信息进行配准，以使视频图像和点云信息中采集的移动物体一致，避免后续识别和确定真值数据时针对的移动物体可能存在偏差的问题出现，提高了在多传感器环境下确定真值数据的精确性。

在上述技术方案的基础上，在环境允许的情况下可通过手动调节的方式，对视频图像和点云信息采集的目标进行初步配准。

实施例三

图3所示为本发明实施例三提供的确定真值数据的流程图，本实施例在上述各实施例的基础上，给出了一种具体的识别视频图像和点云信息中采集的移动物体的方法，具体可以包括：

S301、获取指定场景的视频图像和点云信息。

S302、将所述视频图像与视频图像模板进行比对以得到所述视频图像中采集的移动物体，将所述点云信息和点云信息模板进行比对以得到所述点云信息中采集的移动物体，确定所述移动物体的图像特征信息和点云特征信息。

具体的，对于视频图像模板的确定为选取该指定场景下的一帧图像，再对该帧图像中的移动物体进行滤除，以得到视频模板图像。优选的，可以选择对移动物体较少的时间段中采集的一帧图像进行移动物体的滤除。同理，点云信息模板的确定方法为：对一个扫描周期下得到的点云信息中的移动物体进行滤除以得到点云信息模板。

当对视频图像和点云信息中的移动物体进行识别时，实时收集指定场景下采集的视频图像数据和点云信息数据，由于视频图像模板和点云信息模板中以将移动物体滤除，只存在静止物体，故采用背景减除法，将视频图像与视频图像模板进行差分即可得到视频图像中采集的移动物体，将点云信息和点云信息模板进行差分即可得点云信息中采集的移动物体。

S303、对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

本实施例提供的技术方案，将视频图像与视频图像模板进行比对以得到视频图像中采集的移动物体，将点云信息和点云信息模板进行比对以得到点云信息中采集的移动物体，可快速发现移动物体的区域，提高了真值数据确定的整体效率，同时对移动物体的识别更加精确。

在上述各实施例的基础上，识别视频图像和点云信息中采集的移动物体的方法还可以是时间差分法、光流法和运动向量检测法等。其中，时间差分法为在连续的序列中两个或三个相邻帧间采用基于像素或扫描点的时间差分来提取出图像中的运动区域，该方法具有较强的自适应性；光流法为通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地采集视频图像和点云信息中的移动物体；运动向量检测法则更加适合于多维变化的环境，能消除振动像素，对移动物体在某一方向上运动的采集更加高效。

在上述各实施例的基础上，确定所述移动物体的图像特征信息和点云特征信息可以包括：对采集到的移动物体进行特征提取、边缘检测、分割、跟踪和数据融合中的至少一种处理方式，得到所述移动物体的图像特征信息和点云特征信息。其中，数据融合包括了数据层融合、特征层融合和决策层融合。

在上述各实施例的基础上，所述真值数据可以包括所述移动物体的颜色、大小、类别、边缘轮廓、移动速度、坐标信息和距离信息中的至少一种。当该真值数据被确定后，即可用于机器学习算法的训练和测试。

在上述各实施例的基础上，在得到所述移动物体的真值数据之后，还可以包括：存储所述真值数据以及所述真值数据对应的视频图像和点云信息。

实施例四

图4所示为本发明实施例四提供的确定真值数据装置的结构图，如图4所示，该装置的结构具体可以包括：

获取模块1，用于获取指定场景的视频图像和点云信息；

识别模块2，用于识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；

处理模块3，用于对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据。

本实施例提供的技术方案，通过获取指定场景的视频图像和点云信息，识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息，对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据，解决现有技术中在确定真值数据时效率低下、易出错且含有主观偏差的问题，使得真值数据的配准更加容易，准确性大幅提高，极大的提高了机器学习的效率。

在上述技术方案的基础上，还包括：

校准模块，用于对所述视频图像与所述点云信息进行配准，以使所述视频图像和所述点云信息中采集的移动物体一致。

在上述技术方案的基础上，所述识别模块2具体用于：

将所述视频图像与视频图像模板进行比对以得到所述视频图像中采集的移动物体；

将所述点云信息和点云信息模板进行比对以得到所述点云信息中采集的移动物体。

在上述技术方案的基础上，所述识别模块2具体用于：

对所述指定场景下获取的视频图像和点云信息中的移动物体进行滤除，以分别得到所述视频图像模板和所述点云信息模板。

在上述技术方案的基础上，所述识别模块具2体用于：

对采集到的移动物体进行特征提取、边缘检测、分割、跟踪和数据融合中的至少一种处理方式，得到所述移动物体的图像特征信息和点云特征信息。

在上述技术方案的基础上，所述真值数据包括所述移动物体的颜色、大小、类别、边缘轮廓、移动速度、坐标信息和距离信息中的至少一种。

在上述技术方案的基础上，还包括：

存储模块，用于存储所述真值数据以及所述真值数据对应的视频图像和点云信息。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种真值数据确定方法，其特征在于，包括：

获取指定场景的视频图像和点云信息；

识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；

对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据，

所述真值数据包括所述移动物体的颜色、大小、类别、边缘轮廓、移动速度、坐标信息和距离信息中的至少一种；

对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，包括：

在相同的类别信息中，对所述图像特征信息和所述点云特征信息进行相互校准；

在不同的类别信息中，对所述图像特征信息和所述点云特征信息进行融合，使所述移动物体的真值数据的类别更全面。

2.根据权利要求1所述的方法，其特征在于，在对所述视频图像和所述点云信息中的移动物体进行识别之前，还包括：

对所述视频图像与所述点云信息进行配准，以使所述视频图像和所述点云信息中采集的移动物体一致。

3.根据权利要求1所述的方法，其特征在于，识别所述视频图像和所述点云信息中采集的移动物体包括：

将所述视频图像与视频图像模板进行比对以得到所述视频图像中采集的移动物体；

将所述点云信息和点云信息模板进行比对以得到所述点云信息中采集的移动物体。

4.根据权利要求3所述的方法，其特征在于，所述视频图像模板和所述点云信息模板的选取包括：

对所述指定场景下获取的视频图像和点云信息中的移动物体进行滤除，以分别得到所述视频图像模板和所述点云信息模板。

5.根据权利要求1-4中任意一项所述的方法，其特征在于，确定所述移动物体的图像特征信息和点云特征信息包括：

对采集到的移动物体进行特征提取、边缘检测、分割、跟踪和数据融合中的至少一种处理方式，得到所述移动物体的图像特征信息和点云特征信息。

6.根据权利要求1所述的方法，其特征在于，在得到所述移动物体的真值数据之后，还包括：

存储所述真值数据以及所述真值数据对应的视频图像和点云信息。

7.一种真值数据确定装置，其特征在于，包括：

获取模块，用于获取指定场景的视频图像和点云信息；

识别模块，用于识别所述视频图像和所述点云信息中采集的移动物体，并确定所述移动物体的图像特征信息和点云特征信息；

处理模块，用于对所述图像特征信息和所述点云特征信息进行相互校准和融合处理，得到所述移动物体的真值数据，

所述真值数据包括所述移动物体的颜色、大小、类别、边缘轮廓、移动速度、坐标信息和距离信息中的至少一种；

所述处理模块具体用于：

在相同的类别信息中，对所述图像特征信息和所述点云特征信息进行相互校准；

在不同的类别信息中，对所述图像特征信息和所述点云特征信息进行融合，使所述移动物体的真值数据的类别更全面。

8.根据权利要求7所述的装置，其特征在于，还包括：

校准模块，用于对所述视频图像与所述点云信息进行配准，以使所述视频图像和所述点云信息中采集的移动物体一致。

9.根据权利要求7所述的装置，其特征在于，所述识别模块具体用于：

将所述视频图像与视频图像模板进行比对以得到所述视频图像中采集的移动物体；

将所述点云信息和点云信息模板进行比对以得到所述点云信息中采集的移动物体。

10.根据权利要求9所述的装置，其特征在于，所述识别模块具体用于：

对所述指定场景下获取的视频图像和点云信息中的移动物体进行滤除，以分别得到所述视频图像模板和所述点云信息模板。

11.根据权利要求7-10中任意一项所述的装置，其特征在于，所述识别模块具体用于：

对采集到的移动物体进行特征提取、边缘检测、分割、跟踪和数据融合中的至少一种处理方式，得到所述移动物体的图像特征信息和点云特征信息。

12.根据权利要求7所述的装置，其特征在于，还包括：

存储模块，用于存储所述真值数据以及所述真值数据对应的视频图像和点云信息。