CN108108706A - 目标检测中滑动窗口的优化方法及系统 - Google Patents

Abstract

本发明涉及一种目标检测中滑动窗口的优化方法及系统。其中，优化方法包括如下步骤：摄取车行前方的图像；获取待检测目标的实际高度和在所摄图像中的位置；根据所述待检测目标在图像中的位置、待检测目标的实际高度、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度。由于视觉上图像中近处的物体会大于远处的物体，所以本发明对近处采用尺寸相对较大的滑动窗口，远处采用尺寸相对较小的滑动窗口，这样，不仅降低了误检率，而且避免了现有技术中由于多尺度检测模型的影响使某些预测框不稳定的情况，本发明可以得到与目标位置更吻合的预测框，提高了检测精度。

Description

目标检测中滑动窗口的优化方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种目标检测中滑动窗口的优化方法及系统。

背景技术

目前，我国汽车的使用量大大增加，并且随着网购浪潮的兴起，诸如快递送货车、送外卖的摩托车等的使用量也在非常迅速地增长，与此同时交通事故的发生率也大大增加了，于是先进辅助驾驶系统(ADAS)成为近年来的研究热点，目的就是减少交通事故的发生以及保护驾驶员的安全。而目标检测与识别又是ADAS中的核心模块，因此目标检测与识别算法正在非常迅速地发展。针对中国的复杂交通环境，各种目标如：行人、非机动车辆、以及快递车辆等，都是建立ADAS需要的且必不可少的信息，并且对于这些目标的检测是减少事故发生率的有效方案。

近年来在车载视觉目标检测方面，检测算法层出不穷，也都具有一定的检测精度，例如SubCat,caffe-ssd,Faster-RCNN等，但是由于车载环境的复杂性，包括：车载环境的光照变化比较明显、图像中的检测目标在自身车辆行驶过程中容易产生畸变、目标的尺度大小多种多样、以及检测图像的分辨率较低等，这些问题都会对目标检测算法产生一些影响，即误检、漏检增多。

另外，对于ADAS，单单只有检测目标还是不够的，还需要知道目标距离自身车辆的距离，以及该目标相对于自身车辆的相对速度，这些信息对于保护行人、非机动车主等的安全是必不可少的，而要获取这些信息就必须使得检测框能够标定准确。最近比较优秀的传统目标检测算法都是采用多尺度的特征信息，目的就是检测图像中不同尺度的目标，但这也造成了一定的问题，在多尺度的金字塔特征信息当中，许多滑动窗口中的目标信息并不满足成像的几何关系，因此导致最后形成的检测框的位置不准确，漏检和误检也增多，从而影响ADAS中的测速测距结果的精度。

发明内容

鉴于上述的分析，本发明旨在提供一种目标检测中滑动窗口的优化方法及系统，用以解决由于现有滑动框误检率高而导致的预测框位置不准确的问题。

本发明的目的主要是通过以下技术方案实现的：

一个方面，本发明提供了一种目标检测中滑动窗口的优化方法，该方法包括如下步骤：摄取车行前方的图像；获取待检测目标的实际高度和在所摄图像中的位置；根据所述待检测目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度根据所述预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定所述滑动窗口的实际像素高度h_滑动窗。

进一步地，上述目标检测中滑动窗口的优化方法中，所述确定滑动窗口的实际像素高度h_滑动窗步骤进一步为：其中，预先训练的各标定目标的预测像素高度与实际高度之间的相对误差满足正态分布，μ为相对误差的均值。

进一步地，上述目标检测中滑动窗口的优化方法中，所述确定用于检测待检测目标的滑动窗口在该位置的预测像素高度步骤进一步为：

上式中，h′_待检目标为待检测目标的实际高度，H为摄像机的安装高度，α为摄像机的俯仰角，v_待检目标为待检目标顶端在图像中的像素纵坐标，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

进一步地，上述目标检测中滑动窗口的优化方法中，所述预先训练的各标定目标预测像素高度与实际高度之间的相对误差步骤进一步包括：摄取预设数量的训练目标，并获取所述训练目标的实际高度和在所摄图像中的位置；根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定各训练目标的预测像素高度计算各训练目标的预测像素高度和实际高度之间的相对误差；对计算得到的所有训练目标的相对误差进行统计拟合，确定满足正态分布的相对误差的均值μ。

进一步地，上述目标检测中滑动窗口的优化方法中，所述确定各训练目标的预测像素高度步骤进一步为：

上式中，h′_训练目标为训练目标的实际高度，为训练目标的预测像素高度，H为摄像机的安装高度，α为摄像机的俯仰角，v_训练目标为训练目标顶端的像素纵坐标，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

进一步地，上述目标检测中滑动窗口的优化方法中，所述计算各训练目标的预测像素高度和实际高度之间的相对误差e进一步为：

进一步地，上述目标检测中滑动窗口的优化方法中，所述预先标定的摄像机的外参进一步为：

上式中，D为标定目标到摄像机在地面上投影的距离，H为摄像机的安装高度，h为标定目标的实际高度，v₁为标定目标顶端在图像中的像素纵坐标，v₂为标定目标底端在图像中的像素纵坐标，α为摄像机的俯仰角。

本发明利用摄像机成像原理的几何关系，通过滑动窗口所在的位置概率来修正滑动窗口的大小式，由于视觉上图像中近处的物体会大于远处的物体，所以本实施例中，对近处采用尺寸相对较大的滑动窗口，远处采用尺寸相对较小的滑动窗口，这样，不仅降低了误检率，而且避免了现有技术中由于多尺度检测模型的影响使某些预测框不稳定的情况，本发明可以得到与目标位置更吻合的预测框，不仅保证了检测结果的稳定性，而且也提高了检测精度。

另一方面，本发明还提出了一种目标检测中滑动窗口的优化系统，该系统包括：摄取模块，用于摄取车行前方的图像；获取模块，用于获取待检测目标的实际高度和在所摄图像中的位置；计算模块，用于根据所述待检测目标在图像中的位置、待检测目标的实际高度、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度确定模块，用于根据所述预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定所述滑动窗口的实际像素高度h_滑动窗。

进一步地，上述目标检测中滑动窗口的优化系统中，，所述确定模块用于：确定滑动窗口的实际像素高度其中，预先训练的各标定目标的预测像素高度与实际像素高度之间的相对误差满足正态分布，μ为标定目标相对误差的均值。

进一步地，上述目标检测中滑动窗口的优化系统中，所述计算模块还用于：摄取预设数量的训练目标，并获取所述训练目标的实际高度和在所摄图像中的位置；根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定各训练目标的预测像素高度计算各训练目标的预测像素高度和实际高度之间的相对误差；对计算得到的所有训练目标的相对误差进行统计拟合，确定满足正态分布的相对误差的均值μ。

由于本优化系统与上述优化方法原理相同，所以也具有上述优化方法相同的技术效果。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中对摄像机内外参进行标定的车载摄像机模型几何关系原理图；

图2为本发明实施例中目标为行人时的相对误差拟合结果示意图；

图3为本发明实施例中目标为非机动车辆时的相对误差拟合结果示意图；

图4为本发明实施例提供的目标检测中滑动窗口的优化方法的流程图；

图5(a)为采用本发明实施例中提供的滑动窗口进行检测的效果图；

图5(b)为采用本发明实施例中提供的滑动窗口进行检测的又一效果图；

图6为本发明实施例提供的目标检测中滑动窗口的优化系统的结构框图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

方法实施例：

本发明的一个具体实施例，公开了一种目标检测中滑动窗口的优化方法。在实施本方法之前，先对摄像机的内参和外参进行标定。

内参的具体标定方法为：先用摄像机按不同角度拍摄棋盘格图像，再利用张正友标定法获取摄像机的内参，内参包括：光心映射在图像上的坐标(u₀,v₀)以及横轴和纵轴的焦距(f_x,f_y)。

外参的具体标定方法为：参见图1，先安装好摄像机，再用皮尺量取摄像机距地面的安装高度H、标定目标(例如行人)到摄像机光心在地面上投影的距离D、标定目标的实际高度h，然后拍摄一张静态图像，获取标定目标顶端在图像中的像素纵坐标v₁，标定目标底端在图像中的像素纵坐标v₂，根据下式计算摄像机安装的俯仰角α：

需要说明的是，本实施例中标定目标的实际高度h是指该标定目标在现实世界中的真实高度，与摄像机的安装高度H、标定目标(例如行人)到摄像机光心在地面上投影的距离D应具有相同的单位。

标定摄像机的内参和外参之后，选取大量的训练目标，并计算各训练目标的实际高度和预测像素高度之间的相对误差，以及对所得相对误差进行统计，得到误差均值，具体过程如下：

首先，选取大量的训练目标，具体实施时，训练目标可以为行人、非机动车辆等，测得所选训练目标的实际高度h′_训练目标。摄取所选训练目标的图像，并从所摄图像中获取各训练目标在图像中的位置，具体可以通过车载摄像头对训练目标进行拍摄，从所摄图像中获取各训练目标的位置具体可以为：训练目标顶端在图像中的像素纵坐标v_训练目标。

然后，根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，按下式确定各训练目标的预测像素高度

上式中，H为摄像机的安装高度，α为摄像机的俯仰角，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

需要说明的是，本实施例中训练目标的实际高度h′_训练目标是指该训练目标在现实世界中的真实高度，与摄像机的安装高度H应具有相同的单位。

再按下式计算各训练目标的预测像素高度和实际高度之间的相对误差：

最后，对计算得到的所有训练目标的相对误差先进行分类，例如，类别可以包括：行人、非机动车辆等，再对各类训练目标的相对误差分别进行统计分析，计算各类训练目标的相对误差均值和方差，得到各类训练目标相对误差的概率密度函数满足正态分布，e～N(μ,σ²))。具体地：分类整合训练目标的相对误差值，输入matlab的曲线拟合工具中，得到拟合出的各类训练目标的均值与方差，如图2所示为行人训练目标的相对误差拟合曲线，图3所示为非机动车训练目标的相对误差拟合曲线。

需要说明的是，具体实施时，本实施例对训练目标的数量不做任何限定，但训练目标的数量越多，拟合的结果越准确。

参见图4，图4为本发明实施例提出的目标检测中滑动窗口的优化方法的流程图。如图所示，该方法包括如下步骤：

步骤S401，摄取车行前方的图像。具体可通过安装在车辆上的摄像头进行摄取。

步骤S402，获取待检测目标的实际高度和在所摄图像中的位置。具体地，该待检测目标在图像中的位置可以为该待检测目标的顶端在图像中的像素纵坐标v_待测目标。

需要说明的是，待检测目标的实际高度可以为该类目标的平均高度加一个修正值，例如，对于行人，实际高度可以为170cm±20cm。

步骤S403，根据待检测目标在图像中的位置、待检测目标的实际高度、以及预先标定的摄像机内参和外参，确定用于检测待检测目标的滑动窗口在该位置的预测像素高度

具体可按下式确定滑动窗口在该位置的预测像素高度

上式中，h′_待检目标为待检测目标的实际高度，H为摄像机的安装高度，α为摄像机的俯仰角，v_待检目标为待检目标顶端在图像中的像素纵坐标，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

需要说明的是，本实施例中待检测目标的实际高度h′_待检目标是指该待检测目标在现实世界中的真实高度，与摄像机的安装高度H应具有相同的单位。

步骤S404，根据预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定滑动窗口的实际像素高度h_滑动窗。

预先训练的各训练目标的预测像素高度与实际高度之间的相对误差满足正态分布，μ为相对误差的均值。具体实施时，可按相对误差的概率最大，即误差e＝μ时，来计算滑动窗口的实际像素高度h_滑动窗，具体可按下式计算：

在这个公式中，很显然h_滑动窗与成正比，因为是由步骤402的公式所确定的，从该公式中可以看出，的大小与滑动窗口的纵坐标位置成正比，也即视野近处采用尺寸较大的窗口而较远的位置采用较小的窗口。

需要说明的是，对于不同种类物体的滑动窗口实际像素高度的计算，要采用该种类拟合的相对误差均值，例如，当待检测目标为行人时，要用根据行人训练目标拟合的相对误差均值，当待检测目标时非机动车辆时，要采用根据非机动车辆拟合的相对误差均值。

确定了滑动窗口的高度后，再依据滑动窗口的宽高比，确定滑动窗口的宽度。需要说明的是，具体实施时，滑动窗口的宽高比可以根据实际情况来确定，本实施例对其不做任何限定。

确定了滑动窗口的高宽后，可以通过该滑动窗口对图像进行特征提取，并经过目标检测算法检测后设定检测阈值，输出最终的检测结果。如图5(a)、图5(b)所示即实验图像误检去除和修正目标检测框的效果。从图中可以看出，通过本实施例中的方法，可以去除一些与待检测物体位置明显不吻合的检测框。

本发明实施例利用摄像机成像原理的几何关系，通过滑动窗口所在的位置概率来修正滑动窗口的大小式，由于视觉上图像中近处的物体会大于远处的物体，所以本实施例中，对近处采用尺寸相对较大的滑动窗口，远处采用尺寸相对较小的滑动窗口，这样，不仅降低了误检率，而且避免了现有技术中由于多尺度检测模型的影响使某些预测框不稳定的情况，本实施例可以得到与目标位置更吻合的预测框，不仅保证了检测结果的稳定性，而且也提高了检测精度。

系统实施例：

参见图6，本发明实施例提出了一种目标检测中滑动窗口的优化系统。如图所示，该系统包括：摄取模块601，用于摄取车行前方的图像；获取模块602，用于获取待检测目标的实际高度和在所摄图像中的位置；计算模块603，用于根据所述待检测目标在图像中的位置、待检测目标的实际高度、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度确定模块604，用于根据所述预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定所述滑动窗口的实际像素高度h。

上述实施例中，确定模块603用于：确定滑动窗口的实际像素高度其中，预先训练的各标定目标的预测像素高度与实际像素高度之间的相对误差满足正态分布，μ为标定目标相对误差的均值。

上述实施例中，计算模块602还用于：摄取预设数量的训练目标，并获取所述训练目标的实际高度和在所摄图像中的位置；根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定各训练目标的预测像素高度计算各训练目标的预测像素高度和实际高度之间的相对误差；对计算得到的所有训练目标的相对误差进行统计拟合，确定满足正态分布的相对误差的均值μ。

由于本实施例为与上述优化方法相对应的优化系统，所以本实施例的具体实施过程参见上述方法实施例即可，本实施例在此不再赘述。

本发明实施例利用摄像机成像原理的几何关系，通过滑动窗口所在的位置概率来修正滑动窗口的大小式，由于视觉上图像中近处的物体会大于远处的物体，所以本实施例中，对近处采用尺寸相对较大的滑动窗口，远处采用尺寸相对较小的滑动窗口，这样，不仅降低了误检率，而且避免了现有技术中由于多尺度检测模型的影响使某些预测框不稳定的情况，本实施例可以得到与目标位置更吻合的预测框，不仅保证了检测结果的稳定性，而且也提高了检测精度。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种目标检测中滑动窗口的优化方法，其特征在于，该方法包括如下步骤：

摄取车行前方的图像；

获取待检测目标的实际高度和在所摄图像中的位置；

根据所述待检测目标的实际高度、在所摄图像中的位置、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度

根据所述预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定所述滑动窗口的实际像素高度h_滑动窗。

2.根据权利要求1所述的目标检测中滑动窗口的优化方法，其特征在于，所述确定滑动窗口的实际像素高度h_滑动窗步骤进一步为：

上式中，预先训练的各标定目标的预测像素高度与实际高度之间的相对误差满足正态分布，μ为相对误差的均值。

3.根据权利要求1所述的目标检测中滑动窗口的优化方法，其特征在于，所述确定用于检测待检测目标的滑动窗口在该位置的预测像素高度步骤进一步为：

上式中，h′_待检目标为待检测目标的实际高度，H为摄像机的安装高度，α为摄像机的俯仰角，v_待检目标为待检目标顶端在图像中的像素纵坐标，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

4.根据权利要求2所述的目标检测中滑动窗口的优化方法，其特征在于，所述预先训练的各标定目标预测像素高度与实际高度之间的相对误差步骤进一步包括：

摄取预设数量的训练目标，并获取所述训练目标的实际高度和在所摄图像中的位置；

根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定各训练目标的预测像素高度

计算各训练目标的预测像素高度和实际高度之间的相对误差；

对计算得到的所有训练目标的相对误差进行统计拟合，确定满足正态分布的相对误差的均值μ。

5.根据权利要求4所述的目标检测中滑动窗口的优化方法，其特征在于，所述确定各训练目标的预测像素高度步骤进一步为：

上式中，h′_训练目标为训练目标的实际高度，为训练目标的预测像素高度，H为摄像机的安装高度，α为摄像机的俯仰角，v_训练目标为训练目标顶端的像素纵坐标，v₀为摄像机光心的纵坐标，f_y为摄像机纵轴的焦距。

6.根据权利要求4所述的目标检测中滑动窗口的优化方法，其特征在于，所述计算各训练目标的预测像素高度和实际高度之间的相对误差e进一步为：

7.根据权利要求1至6中任一项所述的目标检测中滑动窗口的优化方法，其特征在于，所述预先标定的摄像机的外参进一步为：

<mrow> <mi>D</mi> <mo>=</mo> <mfrac> <mrow> <mi>h</mi> <mo>-</mo> <mi>H</mi> </mrow> <mrow> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mfrac> <mrow> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mrow> <msub> <mi>f</mi> <mi>y</mi> </msub> </mfrac> <mo>+</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>(</mo> <mrow> <mfrac> <mrow> <msub> <mi>v</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>v</mi> <mn>0</mn> </msub> </mrow> <msub> <mi>f</mi> <mi>y</mi> </msub> </mfrac> <mo>-</mo> <mi>&amp;alpha;</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

上式中，D为标定目标到摄像机在地面上投影的距离，H为摄像机的安装高度，h为标定目标的实际高度，v₁为标定目标顶端在图像中的像素纵坐标，v₂为标定目标底端在图像中的像素纵坐标，α为摄像机的俯仰角。

8.一种目标检测中滑动窗口的优化系统，其特征在于，包括：

摄取模块，用于摄取车行前方的图像；

获取模块，用于获取待检测目标的实际高度和在所摄图像中的位置；

计算模块，用于根据所述待检测目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定用于检测所述待检测目标的滑动窗口在该位置的预测像素高度

确定模块，用于根据所述预测像素高度并利用预先训练的各训练目标的预测像素高度与实际高度之间的相对误差，确定所述滑动窗口的实际像素高度h。

9.根据权利要求8所述的目标检测中滑动窗口的优化系统，其特征在于，所述确定模块用于：

确定滑动窗口的实际像素高度

上式中，预先训练的各标定目标的预测像素高度与实际像素高度之间的相对误差满足正态分布，μ为标定目标相对误差的均值。

10.根据权利要求9所述的目标检测中滑动窗口的优化系统，其特征在于，所述计算模块还用于：

摄取预设数量的训练目标，并获取所述训练目标的实际高度和在所摄图像中的位置；

根据各训练目标的实际高度、在图像中的位置、以及预先标定的摄像机内参和外参，确定各训练目标的预测像素高度

计算各训练目标的预测像素高度和实际高度之间的相对误差；

对计算得到的所有训练目标的相对误差进行统计拟合，确定满足正态分布的相对误差的均值μ。