CN106570899A

CN106570899A - 一种目标物体检测方法及装置

Info

Publication number: CN106570899A
Application number: CN201510646160.8A
Authority: CN
Inventors: 桂天宜; 刘龙
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2015-10-08
Filing date: 2015-10-08
Publication date: 2017-04-19
Anticipated expiration: 2035-10-08
Also published as: CN106570899B

Abstract

一种目标物体检测方法，包括：通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像，根据预先标定的摄像设备的参数，通过预置检测算法检测该可见光图像以及红外图像中的目标物体的图像，并根据检测到的目标物体的位置与目标物体的图像的空间几何信息，得到目标物体的深度信息。同时还提供了一种目标物体检测装置，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息，以提高目标物体检测的召回率和准确率。

Description

一种目标物体检测方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种目标物体检测方法及装置。

背景技术

由于在汽车半自动，自动驾驶领域中的关键作用，多年来目标物体的自动检测一直是计算机视觉(CV，ComputerVision)领域的热门研究课题。计算机视觉是一门研究如何使机器“看”的科学，指用摄影机和电脑代替人眼对目标物体进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

现有技术中，人们采用了各式各样的方式，如红外，雷达，可见光等方式来获取检测目标物体的位置以及目标物体的深度。但是以上各种检测方式涉及的数据源都有各自的劣势。具体地，通过红外方式获取的数据适合夜间工作，但是作用距离受到限制，只能在较近距离中起作用，应用范围窄。通过雷达获取的数据当目标物体距离较远时可靠性较差，而且容易受到天气影响，例如受到雨点的干扰，效果差。通过红外和可见光方式获取的图像数据普遍存在当使用简单算法对图像进行处理后效果不理想，而达到理想效果的算法复杂度较高，在实际中应用有困难。

发明内容

有鉴于此，本发明提供一种目标物体检测方法及装置，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息，以提高目标物体检测的召回率和准确率。

本发明实施例提供一种目标物体检测方法，包括：

通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

本发明实施例提供一种目标物体检测装置，包括：

获取模块，用于通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；检测模块，用于根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；计算模块，用于根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；输出模块，用于输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

根据上述实施例的目标物体检测方法及装置，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息，以提高目标物体检测的召回率和准确率。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为物点在双目立体视觉系统中两个摄像设备分别成像示意图；

图2为本发明第一实施例提供的目标物体检测方法流程示意图；

图3为根据物点以及在两个摄像设备中的像点计算深度的示意图；

图4为本发明第三实施例提供的目标物体检测装置结构示意图；

图5为本发明第四实施例提供的目标物体检测装置结构示意图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

本发明实施例提供的目标物体检测方法，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息。

首先构建双目立体视觉系统，双目立体视觉，是基于视差原理，通过幅图像获取物体三维几何信息。请参阅图1，双目立体视觉系统的双目为左右两部摄像设备，其中一部为可感应可见光的摄像设备，用于获取可见光下的图像，另外一部为可感应红外光的摄像设备，用于获取红外光下的图像。此两部摄像设备内部参数相同，内部参数如焦距，光心等。

图1中，分别以下标l和r标注左、右摄像设备的各参数。世界坐标系中的点A(X，Y，Z)在左、右摄像设备的成像面C_l和C_r上的像点分别为a_l(u_l，v_l)和a_r(u_r，v_r)。其中，n_l和n_r分别为左、右摄像设备的焦点，f_l和f_r分别为左、右摄像设备的焦距。a_l和a_r是同一个对象点A的像，它们称为共轭点。分别作投影线a_lO_l和a_rO_r为它们与各自摄像设备的光心O_l和O_r的连线，那么，它们的交点即为世界坐标系中的对象点A。由此，双目立体视觉系统可产生立体视觉。

请参阅图2，本发明第一实施例中的目标物体检测方法包括：

201、通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；

双目立体视觉系统包括两部摄像设备，其中一部为可感应可见光的摄像设备，可获取可见光图像，另一部为可感应红外光的摄像设备，可获取红外光图像。

202、根据预先标定的该摄像设备的参数，通过预置检测算法检测该可见光图像以及红外图像中的目标物体的图像；

需要说明的是，在此步骤之前先进行标定步骤，即，通过张正友标定算法标定该双目立体视觉系统，以获取该双目立体视觉系统中摄像设备的内部参数、外部参数以及畸变系数。

具体地，标定就是根据已知参考坐标系坐标和图像坐标系坐标的对应点来确定摄像设备内部参数和外部参数的过程。目的是为了确定双目立体视觉系统中的摄像设备的图像坐标系与世界坐标系的三维参考坐标系之间的对应关系。只有当摄像设备被恰当地标定后，才能根据图像平面中目标物体的二维坐标推导还原出该目标物体在世界坐标系中的实际三维位置。

具体到本实施例中，标定是确立左、右摄像设备图像平面上的成像点a_l(u_l，v_l)和a_r(u_r，v_r)的坐标位置与其对应的世界坐标系中点A(X，Y，Z)的坐标位置之间的映射关系。

构成双目摄像头的左、右摄像设备的内部参数相同，内部参数包括焦点、光心等参数，而外部参数是有差异的，为此两个摄像设备彼此的滚转、俯仰及偏航三个角度信息，以及它们成像主点之间的坐标位置的偏差。

本实施例中，通过张正友标定算法标定该双目立体视觉系统，以获取该双目立体视觉系统中摄像设备的内部参数、外部参数以及畸变系数。标定得到的内参、外参和畸变系数，是双目立体视觉系统中进行图片矫正，摄像设备校正和目标物体的三维参数恢复的基础。

张正友标定算法需要摄像设备对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应性矩阵来进行摄像设备的标定。大致步骤为：打印一张模板并贴在一个平面上，从不同角度拍摄若干张模板图像，检测出图像中的特征点，并求出摄像设备的内部参数和外部参数，进一步求出畸变系数，最后进行优化求精。

在本发明实施例中，根据标定后的摄像设备的参数，包括其内部参数、外部参数及畸变系数，处理该可见光图像以及红外图像中的目标物体的图像。即，根据标定后得到的该摄像设备的内部参数、外部参数以及畸变系数，以及获得的聚合通道特征，通过Adaboost算法检测该可见光图像以及红外图像中的目标物体的图像，可获取该目标物体的图像的置信度信息以及位置信息。

具体地，计算每一幅图像的每个像素点的LUV三颜色像素梯度，L表示物体亮度，U和V是色度，取其中的最大值作为当前像素点的像素梯度，并按6个梯度方向获得每个像素点的梯度方向直方图，其中6个梯度方向是指在梯度角度变化范围内等分为六个区间，每个梯度方向为其中一个区间，该梯度角度变化范围为180度或360度。进一步地，将每个像素点的LUV三颜色值、像素梯度大小以及6个梯度方向的梯度大小作为每个像素点的聚合通道特征，将图像每个像素点的深度信息算成一维特征。

单幅图像所有像素点的上述四个特征聚合在一起，构成了聚合通道特征矩阵，图像金字塔中每幅图像的聚合通道特征矩阵构成聚合通道特征金字塔。

在图像检测的过程中，以滑窗法滑动图像，利用事先训练好的分类器(adaboost)对滑窗内的目标抽取到的特征进行判断。adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

目标物体的图像的检测一般采用滑动窗口。即，确定固定大小的矩形，依次从左到右从上到下选择矩形区域，然后提取矩形区域中的特征，并将得到的特征输入分类器或者检测器进行判断，当滑窗内的目标符合要求则判断滑窗内的物体为待检测目标。具体地，当输入分类器特征值后，输出的结果为1则确定划窗内的物体为待检测目标。

进一步地，根据该置信度信息以及位置信息，通过朴素贝叶斯算法过滤掉检测到的部分目标物体的图像；

即，过滤掉一些不重要的物体图像，以突出更重要的目标物体。

具体地，adaboost分类器输出置信度，该置信度的范围区间为0.0～1.0，将其以0.1为单位量化成十份，通过下式计算这十份的属于正样本的概率。

P_a(N＝1/C＝0.0～1.0)

将检测框的中心位置量化成m×n份，通过下式计算m×n份属于正样本的概率。

P_b(N＝1/C＝0～m×n)。

进一步地，将P_a和P_b的值相乘，乘积结果大于预置阈值则保留，小于预置阈值剔除。该预置阈值的取值，取决于保证高召回率还是高精度。

203、根据检测到的该目标物体的位置与该目标物体的图像的空间几何信息，得到该目标物体的深度信息；

请参阅图3，I₁、I₂为左、右摄像设备获取的两个图像，两个图像X轴重合，光轴平行，焦距为f。物体A在左、右图像中的像点分别为A₁、A₂，A分别与A₁、A₂的连线与X轴的交点为O₁、O₂。则根据下式可计算得到该目标物体的深度。

其中，Z为深度，B为O1和O2之间的距离。

204、输出检测该可见光图像以及红外图像中的目标物体的图像的结果以及该目标物体的深度信息。

本实施例中，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息，以提高目标物体检测的召回率和准确率。

本发明实施例中，通过融合不同数据源得到的图像，对目标物体进行检测，并且得到目标物体的深度信息，以提高目标物体检测的召回率和准确率。

请参阅图4，本发明第二实施例提供了一种目标物体检测装置，该装置包括：

获取模块401，用于通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；

检测模块402，用于根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；

计算模块403，用于根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；

输出模块404，用于输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

关于本实施例的装置中各模块实现技术方案的其他细节，可参考第一实施例的描述，此处不再赘述。

请参阅图5，本发明第三实施例提供了一种目标物体检测装置，该装置包括：

获取模块501，用于通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；

检测模块502，用于根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；

计算模块503，用于根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；

输出模块504，用于输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

进一步地，该装置还包括：

标定模块505，用于通过张正友标定算法标定所述双目立体视觉系统，以获取所述双目立体视觉系统中摄像设备的内部参数、外部参数以及畸变系数。

进一步地，检测模块502还可以进一步包括：

处理模块5021，用于处理所述可见光图像以及红外图像，以获得所述目标物体的图像的聚合通道特征；

检测图像模块5022，用于根据标定后得到的所述摄像设备的内部参数、外部参数以及畸变系数，以及所述聚合通道特征，通过Adaboost算法检测所述可见光图像以及红外图像中的目标物体的图像；

获取信息模块5023，用于获取该目标物体的置信度信息以及位置信息。

进一步地，该装置还包括：

过滤模块506，用于根据所述置信度信息以及位置信息，通过朴素贝叶斯算法过滤掉检测到的部分目标物体的图像。

关于本实施例的装置中各模块实现技术方案的其他细节，可参考第一及第二实施例的描述，此处不再赘述。

此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的目标物体检测方法中的各种操作。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种目标物体检测方法，其特征在于，包括：

通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；

根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；

根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；

输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像之前包括：

通过张正友标定算法标定所述双目立体视觉系统，以获取所述双目立体视觉系统中摄像设备的内部参数、外部参数以及畸变系数。

3.根据权利要求2所述的方法，其特征在于，所述根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像包括：

处理所述可见光图像以及红外图像，以获得所述目标物体的图像的聚合通道特征；

根据标定后得到的所述摄像设备的内部参数、外部参数以及畸变系数，以及所述聚合通道特征，通过Adaboost算法检测所述可见光图像以及红外图像中的目标物体的图像，并获取所述目标物体的置信度信息以及位置信息。

4.根据权利要求3所述的方法，其特征在于，所述根据标定后得到的所述摄像设备的内部参数、外部参数以及畸变系数，以及所述聚合通道特征，通过Adaboost算法检测所述可见光图像以及红外图像中的目标物体的图像之后包括：

根据所述置信度信息以及位置信息，通过朴素贝叶斯算法过滤掉检测到的部分目标物体的图像。

5.一种目标物体检测装置，其特征在于，包括：

获取模块，用于通过双目立体视觉系统的摄像设备分别获取可见光图像以及红外图像；

检测模块，用于根据预先标定的所述摄像设备的参数，通过预置检测算法检测所述可见光图像以及红外图像中的目标物体的图像；

计算模块，用于根据检测到的所述目标物体的位置与所述目标物体的图像的空间几何信息，得到所述目标物体的深度信息；

输出模块，用于输出检测所述可见光图像以及红外图像中的目标物体的图像的结果以及所述目标物体的深度信息。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

标定模块，用于通过张正友标定算法标定所述双目立体视觉系统，以获取所述双目立体视觉系统中摄像设备的内部参数、外部参数以及畸变系数。

7.根据权利要求5或6所述的装置，其特征在于，所述检测模块包括：

处理模块，用于处理所述可见光图像以及红外图像，以获得所述目标物体的图像的聚合通道特征；

检测图像模块，用于根据标定后得到的所述摄像设备的内部参数、外部参数以及畸变系数，以及所述聚合通道特征，通过Adaboost算法检测所述可见光图像以及红外图像中的目标物体的图像；

获取信息模块，用于获取所述目标物体的置信度信息以及位置信息。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

过滤模块，用于根据所述置信度信息以及位置信息，通过朴素贝叶斯算法过滤掉检测到的部分目标物体的图像。