CN109727273B - 一种基于车载鱼眼相机的移动目标检测方法 - Google Patents

Abstract

本发明提供了一种基于车载鱼眼相机的移动目标检测方法，其能够准确、高效地检测出车辆周围的移动物体，检测结果的可靠性好，包括以下步骤：步骤一、采集图像；步骤二、相机标定；步骤三、计算感兴趣区域；步骤四、角点检测,得到对应特征点；步骤五、计算出特征点对应的光流；步骤六、光流聚类；步骤七、车辆的运动信息计算；步骤八、检测移动目标：通过每个候选目标对应的光流及特征点计算候选目标的运动信息，根据候选目标的运动信息判断候选目标是否为需要报警的移动目标；步骤九、跟踪需要报警的移动目标，得到其运动轨迹；步骤十、输出移动目标位置并报警。

Description

一种基于车载鱼眼相机的移动目标检测方法

技术领域

本发明涉及一种辅助驾驶和图像处理领域，特别涉及一种基于车载鱼眼相机的移动目标检测方法。

背景技术

随着我国生活水平的提高，汽车越来越多。随之而来的是交通事故的增多，给广大人民群众带来众多的精神和财产损失。因此辅助驾驶技术应运而生，越来越多的公司、研究机构对此技术进行研发。其中基于车载鱼眼相机的移动目标检测是辅助驾驶的关键技术之一，在汽车低速行驶，如果车前后方向有移动物体时予以提醒，从而减少交通事故的发生。

现有的移动目标检测算法更多的应用在监控领域，应用到车载环境的很少，而且车载环境非常复杂，常规的检测方法很不稳定。

发明内容

本发明提供了一种基于车载鱼眼相机的移动目标检测方法，其能够准确、高效地检测出车辆周围的移动物体，检测结果的可靠性好。

其技术方案是这样的：一种基于车载鱼眼相机的移动目标检测方法，其特征在于，包括以下步骤：步骤一、采集图像：通过摄像头实时采集图像；

步骤二、相机标定：对采集到的图像进行标定，得到图像坐标系和世界坐标系及其之间坐标转化关系；

步骤三、计算感兴趣区域：利用标定结果在图像中划分出感兴趣区域；

步骤四、角点检测：将所采集的图片转换成灰度图，利用Shi-Tomasi特征点检测算法，计算出灰度图中的角点,得到对应特征点；

步骤五、计算光流：利用L-K光流法计算出每个特征点对应的光流；

步骤六、光流聚类：将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，得到候选目标；

步骤七、车辆的运动信息计算：通过特征点对应的光流计算车辆的移动方向和移动距离，结合车辆的CAN总线传出的车辆的运动信息来估计车辆的运动信息；

步骤八、检测移动目标：通过每个候选目标对应的光流及特征点计算候选目标的运动信息，根据候选目标的运动信息判断候选目标是否为需要报警的移动目标；

步骤九、目标跟踪：跟踪需要报警的移动目标，根据采集的每帧图像中需要报警的移动目标的位置变化得到需要报警的移动目标的运动轨迹；

步骤十、输出移动目标位置并报警：输出移动目标在图像上的位置，如果移动目标连续N帧图像都能检测到，则在图像上用矩形框标记出该移动目标，以提示报警。

进一步的，在步骤二中，对采集到的图像进行标定时，得到图像坐标系和世界坐标系的单应性矩阵，通过所述单应性矩阵关联图像坐标系和世界坐标系，实现关联图像坐标系和世界坐标系的坐标之间的相互转换。

进一步的，在步骤三中，将感兴趣区域划分为四个区域：左侧区域、右侧区域、中间区域、近车区域。

进一步的，在步骤三中，近车区域的长度取车前N1米，N1的取值范围为0.5米-1米，宽度与车身等宽，覆盖区域面积为车身宽度*N1平方米；中间区域的长度取近车区域前侧N2米，N2的取值范围为5米到10米，宽度与车身等宽，覆盖区域面积为车身宽度*N2平方米；左侧区域的宽度取中间区域左侧的N3米，N3的取值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N3平方米；右侧区域的宽度取中间区域右侧N4米，N4的值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N4平方米。

进一步的，在步骤四中，计算灰度图中的角点过程中，先计算出特征提取矩阵，公式如下：

其中，w(x,y)表示滑动窗口，I_x表示x方向的梯度，I_y表示y方向的梯度；矩阵M对应的特征方程为：

f(λ)＝λ²-(a+c)λ+ac-b²

采用如下方法提取特征点：取特征根的经验阈值λ_T带入特征方程，如果某个点对应的特征方程，满足以下两个不等式中的任意一个，则认为该点是特征点，两个不等式如下：

同时记录下该特征点的位置(x,y)，得到满足不等式的图像中所有特征点的位置集合。

进一步的，在步骤五中，L-K光流法计算中光流属于局部光流，根据光流的约束条件,假设图像上(x,y)点在t时刻对应的亮度值为I(x,y,t),t+dt时刻对应的亮度值为I(x+dx,y+dy,t+dt)，则

I(x,y,t)＝I(x+dx,y+dy,t+dt)

将上述公式按照一阶泰勒公式展开，得到：

即：I_xdx+I_ydy+I_tdt＝0,令

则：

I_xu+I_yv＝-I_t，即：

设定光流(u,v)在一个局部小的范围内，亮度是恒定的，则：

表示成：

由

得到

最后推出每个特征点对应的光流的计算公式如下：

其中，

进一步的，在步骤六中，采用meanshift聚类算法将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，表示为((x,y),(u,v),(r,g,b)),其中(x,y)表示该点在图像中的位置，(u,v)表示该点对应的光流大小，(r,g,b)表示该点对应的三个通道的灰度值，将位置相近、对应的光流值近似和像素值近似的特征点聚集成一类，采用meanshift聚类算法每次迭代后，新的圆心坐标公式为：

其中，x表示新的聚类中心，是以((x,y),(u,v),(r,g,b))为坐标的高维空间的点坐标，x_i表示第i个特征向量，g为影子核，即核函数求导的负方向，h为高维球的半径；

通过聚类，得到候选目标，将每个候选目标在图像上对应的位置及属于该候选目标的光流保存下来,用矩形框(x,y,w,h)来表示目标的位置，其中(x,y)表示矩形框左上角点，w表示矩形框的宽度，h表示矩形框的高度。

进一步的，在步骤七中，车辆的运动信息计算具体步骤如下：

取近车区域的光流来计算车辆的运动信息，设定近车区域的光流对应的特征点都是地面上的点，先去除计算错误的光流，如果特征点光流的方向与车的移动方向相反，则认为该特征点的光流计算错误去除该特征点；

然后，根据步骤二中的相机标定结果，通过单应性矩阵将剩余的特征点从图像坐标系转换到世界坐标系；

最后，根据剩余的特征点计算出车的移动方向和移动距离，如果路面光滑，没有特征点存在，则以CAN总线传出的车辆的运动信息为准。

进一步的，在步骤八中，通过每个候选目标对应的光流及特征点计算候选目标的运动信息，当候选目标对应多个光流时，取均值作为每个候选目标的最终的运动信息；

根据候选目标的运动信息判断候选目标是否为需要报警的移动目标，如果该候选目标的运动信息与车辆的运动信息近似，则丢弃该候选目标，如果该候选目标的运动信息与车辆的运动信息相差很大，则认为该候选目标是真正的移动目标，再判断是否报警；

在感兴趣区域的每个区域中，采用不同的判定规则决定每个候选目标是否报警，具体判定规则如下：

在左侧区域中，只检测从左向右移动的候选目标，即离车越来越近的目标；在右侧区域中，只检测从右向左移动的候选目标，即离车越来越近的目标；在中间区域中，检测朝任意方向移动的候选目标；不检测在近车区域中的候选目标。

进一步的，在步骤九中，跟踪需要报警的移动目标，记录需要报警的移动目标在每帧图像中的位置，如前后两帧之间的目标在图像的位置有重叠且重叠面积大于设定的阈值，则认为这两个目标是同一个目标，将该目标在当前帧的位置保存下来，根据采集的每帧图像中需要报警的移动目标的位置变化得到需要报警的移动目标的运动轨迹。

进一步的，所述摄像头为鱼眼相机。

本发明由于采取以上技术方案，其具有以下优点：本发明在车前及车后定义为感兴趣区域，并将每个感兴趣区域分为4个区域，即左侧区域，右侧区域，车前区域和近车区域，通过角点检测得到特征点，然后根据特征点计算这4个区域的光流，并对光流进行聚类，根据聚类结果及估算的车信号信息，对这4个区域制定不同的判断规则,分别判断每个区域是否存在移动目标；能够准确、高效地检测出车周围的移动物体，当车低速行驶时，如果有移动物体靠近，能够迅速的做出响应，给驾驶员以提示，本发明在车辆的运动信息计算时将筛选去除错误的车辆的运动信息特征点，在检测移动目标时会将候选目标的运动信息与车辆的运动信息进行比对，然后根据感兴趣区域的不同制定不同的判断规则，能够准确排出干扰和错误信息，能够有效实现移动目标检测，并且在计算特征点时，采用的计算方法运算简便，效率较高，同时本发明中摄像头采用鱼眼相机，视野比较宽，能看到两侧更大的区域，适用于车辆的全景系统。

附图说明

图1是本发明的整体流程示意图；

图2是本发明的感兴趣区域分布示意图。

具体实施方式

见图1，本发明的一种基于车载鱼眼相机的移动目标检测方法，包括以下步骤：步骤一、采集图像：通过摄像头实时采集图像；

步骤二、相机标定：对采集到的图像进行标定，得到图像坐标系和世界坐标系及其之间坐标转化关系，具体的，在对采集到的图像进行标定时，得到图像坐标系和世界坐标系的单应性矩阵，通过单应性矩阵关联图像坐标系和世界坐标系，实现关联图像坐标系和世界坐标系的坐标之间的相互转换；

步骤三、计算感兴趣区域：利用标定结果在图像中划分出感兴趣区域，见图2，将感兴趣区域划分为四个区域：左侧区域1、右侧区域2、中间区域3、近车区域4，在本实施例中，近车区域的长度取车前1米，宽度与车身等宽，覆盖区域面积为车身宽度*1平方米；中间区域的长度取近车区域前侧8米，宽度与车身等宽，覆盖区域面积为车身宽度*8平方米；左侧区域的宽度取中间区域左侧的4米，长度与中间区域等长，覆盖区域面积为32平方米；右侧区域的宽度取中间区域右侧4米，长度与中间区域等长，覆盖区域面积为32平方米；

步骤四、角点检测：将所采集的图片转换成灰度图，利用Shi-Tomasi特征点检测算法，计算出灰度图中的角点,得到对应特征点，具体的，在计算灰度图中的角点过程中，先计算出特征提取矩阵，公式如下：

其中，w(x,y)表示滑动窗口，I_x表示x方向的梯度，I_y表示y方向的梯度；矩阵M对应的特征方程为：

f(λ)＝λ²-(a+c)λ+ac-b²

采用如下方法提取特征点：取特征根的经验阈值λ_T带入特征方程，如果某个点对应的特征方程，满足以下两个不等式中的任意一个，则认为该点是特征点，两个不等式如下：

同时记录下该特征点的位置(x,y)，得到满足不等式的图像中所有特征点的位置集合；

常规计算特征值的方法中涉及到开根号等较复杂的运算，会降低的计算效率，因此为了提高运算速度，在保证计算精度的前提下采用本发明的方法，只有加减乘三种简单的运算，不存在开根号等复杂运算，计算速度快，能够明显的提高计算效率；

步骤五、计算光流：利用L-K光流法计算出每个特征点对应的光流，具体的，L-K光流法计算中光流属于局部光流，根据光流的约束条件,假设图像上(x,y)点在t时刻对应的亮度值为I(x,y,t),t+dt时刻对应的亮度值为I(x+dx,y+dy,t+dt)，则

I(x,y,t)＝I(x+dx,y+dy,t+dt)

将上述公式按照一阶泰勒公式展开，得到：

即：I_xdx+I_ydy+I_tdt＝0,令

则：

I_xu+I_yv＝-I_t，即：

设定光流(u,v)在一个局部小的范围内，亮度是恒定的，则：

表示成：

由

得到

最后推出每个特征点对应的光流的计算公式如下：

其中，

步骤六、光流聚类：同一目标上对应的特征点计算出的光流值近似，像素灰度值近似，且位置相近，因此可以利用聚类，将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，得到候选目标，具体的，采用meanshift聚类算法将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，表示为((x,y),(u,v),(r,g,b)),其中(x,y)表示该点在图像中的位置，(u,v)表示该点对应的光流大小，(r,g,b)表示该点对应的三个通道的灰度值，将位置相近、对应的光流值近似和像素值近似的特征点聚集成一类，采用meanshift聚类算法每次迭代后，新的圆心坐标公式为：

其中，x表示新的聚类中心，是以((x,y),(u,v),(r,g,b))为坐标的高维空间的点坐标，x_i表示第i个特征向量，g为影子核，即核函数求导的负方向，h为高维球的半径；

通过聚类，得到候选目标，将每个候选目标在图像上对应的位置及属于该候选目标的光流保存下来,用矩形框(x,y,w,h)来表示目标的位置，其中(x,y)表示矩形框左上角点，w表示矩形框的宽度，h表示矩形框的高度；

步骤七、车辆的运动信息计算：通过特征点对应的光流计算车辆的移动方向和移动距离，结合车辆的CAN总线传出的车辆的运动信息来估计车辆的运动信息，具体的，车辆的运动信息计算具体步骤如下：

取近车区域的光流来计算车辆的运动信息，设定近车区域的光流对应的特征点都是地面上的点，先去除计算错误的光流，如果特征点光流的方向与车的移动方向相反，则认为该特征点的光流计算错误去除该特征点；

然后，根据步骤二中的相机标定结果，通过单应性矩阵将剩余的特征点从图像坐标系转换到世界坐标系；

最后，根据剩余的特征点计算出车的移动方向和移动距离，如果路面光滑，没有特征点存在，则以CAN总线传出的车辆的运动信息为准；

步骤八、检测移动目标：通过每个候选目标对应的光流及特征点计算候选目标的运动信息，根据候选目标的运动信息判断候选目标是否为需要报警的移动目标，具体的，当候选目标对应多个光流时，取均值作为每个候选目标的最终的运动信息；

根据候选目标的运动信息判断候选目标是否为需要报警的移动目标，如果该候选目标的运动信息与车辆的运动信息近似，则丢弃该候选目标，如果该候选目标的运动信息与车辆的运动信息相差很大，则认为该候选目标是真正的移动目标，再判断是否报警；

在感兴趣区域的每个区域中，采用不同的判定规则决定每个候选目标是否报警，具体判定规则如下：

在左侧区域中，只检测从左向右移动的候选目标，即离车越来越近的目标；在右侧区域中，只检测从右向左移动的候选目标，即离车越来越近的目标；在中间区域中，检测朝任意方向移动的候选目标；不检测在近车区域中的候选目标；

步骤九、目标跟踪：跟踪需要报警的移动目标，记录需要报警的移动目标在每帧图像中的位置，如前后两帧之间的目标在图像的位置有重叠且重叠面积大于设定的阈值，则认为这两个目标是同一个目标，将该目标在当前帧的位置保存下来，根据采集的每帧图像中需要报警的移动目标的位置变化得到需要报警的移动目标的运动轨迹，目标跟踪的目的是提高检测的准确性，尽量减小噪声的干扰；

步骤十、输出移动目标位置并报警：输出移动目标在图像上的位置，如果移动目标连续N帧图像都能检测到，则在图像上用矩形框标记出该移动目标，以提示报警。

Claims (8)

1.一种基于车载鱼眼相机的移动目标检测方法，其特征在于，包括以下步骤：

步骤一、采集图像：通过摄像头实时采集图像；

步骤二、相机标定：对采集到的图像进行标定，得到图像坐标系和世界坐标系及其之间坐标转化关系；

步骤三、计算感兴趣区域：利用标定结果在图像中划分出感兴趣区域；

步骤四、角点检测：将所采集的图片转换成灰度图，利用Shi-Tomasi特征点检测算法，计算出灰度图中的角点,得到对应特征点；

步骤五、计算光流：利用L-K光流法计算出每个特征点对应的光流；

步骤六、光流聚类：将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，得到候选目标；

步骤七、车辆的运动信息计算：通过特征点对应的光流计算车辆的移动方向和移动距离，结合车辆的CAN总线传出的车辆的运动信息来估计车辆的运动信息；

步骤八、检测移动目标：通过每个候选目标对应的光流及特征点计算候选目标的运动信息，根据候选目标的运动信息判断候选目标是否为需要报警的移动目标；

步骤九、目标跟踪：跟踪需要报警的移动目标，根据采集的每帧图像中需要报警的移动目标的位置变化得到需要报警的移动目标的运动轨迹；

步骤十、输出移动目标位置并报警：输出移动目标在图像上的位置，如果移动目标连续N帧图像都能检测到，则在图像上用矩形框标记出该移动目标，以提示报警；

在步骤八中，通过每个候选目标对应的光流及特征点计算候选目标的运动信息，当候选目标对应多个光流时，取均值作为每个候选目标的最终的运动信息；

根据候选目标的运动信息判断候选目标是否为需要报警的移动目标，如果该候选目标的运动信息与车辆的运动信息近似，则丢弃该候选目标，如果该候选目标的运动信息与车辆的运动信息相差很大，则认为该候选目标是真正的移动目标，再判断是否报警，其中，判断候选目标是否为需要报警的移动目标时，判断条件为车辆的移动方向和移动距离；

在感兴趣区域的每个区域中，采用不同的判定规则决定每个候选目标是否报警，具体判定规则如下：

将感兴趣区域划分为四个区域：左侧区域、右侧区域、中间区域、近车区域；近车区域的长度取车前N1米，N1的取值范围为0.5米-1米，宽度与车身等宽，覆盖区域面积为车身宽度*N1平方米；中间区域的长度取近车区域前侧N2米，N2的取值范围为5米到10米，宽度与车身等宽，覆盖区域面积为车身宽度*N2平方米；左侧区域的宽度取中间区域左侧的N3米，N3的取值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N3平方米；右侧区域的宽度取中间区域右侧N4米，N4的值范围为2米-6米，长度与中间区域等长，覆盖区域面积为N2*N4平方米；

在左侧区域中，只检测从左向右移动的候选目标，即离车越来越近的目标；在右侧区域中，只检测从右向左移动的候选目标，即离车越来越近的目标；在中间区域中，检测朝任意方向移动的候选目标；不在近车区域中检测候选目标。

2.根据权利要求1所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤二中，对采集到的图像进行标定时，得到图像坐标系和世界坐标系的单应性矩阵，通过所述单应性矩阵关联图像坐标系和世界坐标系，实现关联图像坐标系和世界坐标系的坐标之间的相互转换。

3.根据权利要求2所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤四中，计算灰度图中的角点过程中，先计算出特征提取矩阵，公式如下：

其中，w(x,y)表示滑动窗口，I_x表示x方向的梯度，I_y表示y方向的梯度；矩阵M对应的特征方程为：

f(λ)＝λ²-(a+c)λ+ac-b²

采用如下方法提取特征点：取特征根的经验阈值λ_T带入特征方程，如果某个点对应的特征方程，满足以下两个不等式中的任意一个，则认为该点是特征点，两个不等式如下：

同时记录下该特征点的位置(x,y)，得到满足不等式的图像中所有特征点的位置集合。

4.根据权利要求3所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤五中，L-K光流法计算中光流属于局部光流，根据光流的约束条件,假设图像上(x,y)点在t时刻对应的亮度值为I(x,y,t),t+dt时刻对应的亮度值为I(x+dx,y+dy,t+dt)，则

I(x,y,t)＝I(x+dx,y+dy,t+dt)

将上述公式按照一阶泰勒公式展开，得到：

即：I_xdx+I_ydy+I_tdt＝0,令

则：

I_xu+I_yv＝-I_t，即：

设定光流(u,v)在一个局部小的范围内，亮度是恒定的，则：

表示成：

由

得到

最后推出每个特征点对应的光流的计算公式如下：

其中，

5.根据权利要求4所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤六中，采用meanshift聚类算法将特征点的位置、光流值和像素灰度值的大小作为聚类特征将光流进行聚类，表示为((x,y),(u,v),(r,g,b)),其中(x,y)表示该点在图像中的位置，(u,v)表示该点对应的光流大小，(r,g,b)表示该点对应的三个通道的灰度值，将位置相近、对应的光流值近似和像素值近似的特征点聚集成一类，采用meanshift聚类算法每次迭代后，新的圆心坐标公式为：

其中，x表示新的聚类中心，是以((x,y),(u,v),(r,g,b))为坐标的高维空间的点坐标，x_i表示第i个特征向量，g为影子核，即核函数求导的负方向，h为高维球的半径；

通过聚类，得到候选目标，将每个候选目标在图像上对应的位置及属于该候选目标的光流保存下来,用矩形框(x,y,w,h)来表示目标的位置，其中(x,y)表示矩形框左上角点，w表示矩形框的宽度，h表示矩形框的高度。

6.根据权利要求5所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤七中，车辆的运动信息计算具体步骤如下：

取近车区域的光流来计算车辆的运动信息，设定近车区域的光流对应的特征点都是地面上的点，先去除计算错误的光流，如果特征点光流的方向与车的移动方向相反，则认为该特征点的光流计算错误去除该特征点；

然后，根据步骤二中的相机标定结果，通过单应性矩阵将剩余的特征点从图像坐标系转换到世界坐标系；

最后，根据剩余的特征点计算出车的移动方向和移动距离，如果路面光滑，没有特征点存在，则以CAN总线传出的车辆的运动信息为准。

7.根据权利要求1所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：在步骤九中，跟踪需要报警的移动目标，记录需要报警的移动目标在每帧图像中的位置，如前后两帧之间的目标在图像的位置有重叠且重叠面积大于设定的阈值，则认为这两个目标是同一个目标，将该目标在当前帧的位置保存下来，根据采集的每帧图像中需要报警的移动目标的位置变化得到需要报警的移动目标的运动轨迹。

8.根据权利要求1所述的一种基于车载鱼眼相机的移动目标检测方法，其特征在于：所述摄像头为鱼眼相机。

Images