CN109145805B - 车载环境下的移动目标检测方法及系统 - Google Patents

Abstract

本发明实施例涉及一种车载环境下的移动目标检测方法及系统，所述方法包括：获取车辆行驶速度和行驶方向，从视频影像中逐帧提取的图像帧；对逐帧提取的图像帧划分区块；依次提取前一图像帧和当前图像帧进行区块匹配运算，标定为背景区域和运动目标区域；对背景区域的区块进行运动补偿，再将运动补偿后的图像与当前图像帧进行帧间差分处理，标定为补偿运动目标区域；融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后标定候选目标；跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。本发明实施例可准确检测出移动目标，辅助驾驶员及时避让，提高车辆行驶安全性。

Description

车载环境下的移动目标检测方法及系统

技术领域

本发明实施例涉及辅助驾驶技术领域，尤其涉及一种车载环境下的移动目标检测方法及系统。

背景技术

移动目标检测是辅助驾驶技术领域的一个非常重要的部分。车辆在行驶过程中及时的检测移动物体（如行人、小孩、动物，自行车等），有利于驾驶员及时进行避让，提高行驶的安全性。

现有技术中有一种视频监控系统中运动目标的检测与识别方法，其基于分块的帧间差分与背景减除相结合的运动目标检测：采用基于分块的帧间差分，分两步进行，首先对视频图像进行分块，然后用帧间差分方法对每个子块进行差分运算；根据差分结果实现对运动图像进行粗分割，分离出背景区域和前景区域；背景区域用来构造和更新背景模型；背景图像构造完成后，利用背景图像对每帧图像中粗分割出的运动区域进行差分，差分图像中灰度值满足一定阈值，满足阈值的像素点被认为是运动目标的像素点，然后对所有运动目标像素点进行聚类，并利用在HSV空间中阴影的特征进行阴影处理，最终获取视频图像中精确的运动目标。

上述现有技术中，在运动目标检测过程中，视频监控系统是固定不动的，而在车载环境下，视频监控系统会跟随车辆运动，所拍摄到的视频图像也随时在发生变化，而且还因为运动的相对性，上述现有技术无法有效地分析处理同时处于运动状态的视频监控系统和运动目标之间的运动关联性，自然也就不能快捷、精确地检测到移动目标。

发明内容

本发明实施例所要解决的技术问题在于，提供一种车载环境下的移动目标检测方法，能准确的检测移动目标。

本发明实施例进一步所要解决的技术问题在于，提供一种车载环境下的移动目标检测系统，以准确地检测移动目标。

为解决上述技术问题，本发明实施例首先提供如下技术方案：一种车载环境下的移动目标检测方法，包括以下步骤：

获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

结合行驶速度和行驶方向对逐帧提取的图像帧划分区块；

依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

进一步地，所述结合行驶速度和行驶方向对逐帧提取的图像帧划分区块具体包括：

结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k=v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n=图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块。

进一步地，所述方法还包括：

结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

在所述实时距离值小于或等于预设距离值时进行报警。

进一步地，所述在所述实时距离值小于或等于预设距离值时进行报警具体包括：

判断实时距离值是否小于或等于预设距离值；

在实时距离值小于或等于预设距离值时发出报警信号。

进一步地，所述方法还包括：

将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

显示所述最终检测结果。

另一方面，本发明实施例还提供一种车载环境下的移动目标检测系统，包括：

采集模块，用于获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

分块模块，用于结合行驶速度和行驶方向对逐帧提取的图像帧划分区块；

匹配运算模块，用于依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

补偿差分模块，用于对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

融合模块，用于融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

跟踪模块，用于跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

进一步地，所述分块模块包括：

计算单元，用于结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k=v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n=图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

分块单元，用于将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块。

进一步地，所述系统还包括：

测距模块，用于结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

报警模块，在所述实时距离值小于或等于预设距离值时进行报警。

进一步地，所述报警模块具体包括：

判断单元，用于判断实时距离值是否小于或等于预设距离值；

报警输出单元，用于在实时距离值小于或等于预设距离值时发出报警信号。

进一步地，所述系统还包括：

合并模块，用于将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

显示模块，用于显示所述最终检测结果。

采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例结合行驶速度和行驶方向对视频影像进行逐帧处理并对图像帧划分区块，通过进行分块匹配、运动补偿和帧间差分处理、融合、跟踪等处理，最终确定移动目标，有效排除了运动的相对性以及动态环境中各种负面影响因素，可准确地检测出移动目标，辅助驾驶员及时进行避让，提高车辆行驶的安全性。

附图说明

图1是本发明车载环境下的移动目标检测方法一个可选实施例的流程示意图。

图2是本发明车载环境下的移动目标检测方法一个可选实施例的车辆倒车行驶时相邻两帧图像帧的区块匹配关系图。

图3是本发明车载环境下的移动目标检测方法一个可选实施例的车辆前向行驶时相邻两帧图像帧的区块匹配关系图。

图4是本发明车载环境下的移动目标检测方法一个可选实施例的车辆静止时相邻两帧图像帧的区块匹配关系图。

图5是本发明车载环境下的移动目标检测方法一个可选实施例的步骤S2的具体流程示意图。

图6是本发明车载环境下的移动目标检测方法另一个可选实施例的流程示意图。

图7是本发明车载环境下的移动目标检测方法一个可选实施例的步骤S7的具体流程示意图。

图8是本发明车载环境下的移动目标检测方法又一个可选实施例的流程示意图。

图9是本发明车载环境下的移动目标检测辅助驾驶系统一个可选实施例的原理方框示意图。

图10是本发明车载环境下的移动目标检测辅助驾驶系统一个可选实施例的分块匹配模块的原理方框示意图。

图11是本发明车载环境下的移动目标检测辅助驾驶系统另一个可选实施例的原理方框示意图。

图12是本发明车载环境下的移动目标检测辅助驾驶系统一个可选实施例的测距模块的原理方框示意图。

图13是本发明车载环境下的移动目标检测辅助驾驶系统又一个可选实施例的原理方框示意图。

具体实施方式

下面结合附图和具体实施例对本申请作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本申请，并不作为对本申请的限定，而且，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

如图1所示，本发明实施例首先提供一种车载环境下的移动目标检测方法，包括以下步骤：

步骤S1、获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

步骤S2、结合行驶速度和行驶方向对逐帧提取的图像帧划分区块；

步骤S3、依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

步骤S4、对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

步骤S5、融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

步骤S6、跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

本发明实施例结合行驶速度和行驶方向对视频影像进行逐帧处理并对图像帧划分区块，通过进行分块匹配、运动补偿和帧间差分处理、融合、跟踪等处理，最终确定移动目标，有效排除了运动的相对性以及动态环境中各种负面影响因素，可准确地检测出移动目标，辅助驾驶员及时进行避让，提高车辆行驶的安全性。

其中，在具体实施时，步骤S3的区块匹配与车辆的行驶方向有关，首先将当前图像帧定义为t（t大于1）时刻的图像，将相邻的前一图像帧定义为t-1时刻的图像，将每个图像分成n区块，当车辆向后倒车时，匹配方式如图2所示；当车辆向前行驶时，匹配关系如图3所示；当车辆静止时，匹配关系如图4所示。以车辆向前行驶的情形为例来说明对应区块的匹配，具体地，在对t时刻和t-1时刻相对应的每个区块进行匹配时，t-1时刻的第i区块，在t时刻时正好变成第i-1区块，如果是背景区域，则t-1时刻的第i区块和t时刻的第i-1区块正好匹配，如果是运动目标区域，则t-1时刻的第i区块和t时刻的第i-1区块不能完全匹配。

其中，步骤S4是先对前一图像帧排除步骤S3确定的运动目标区域，消除奇异点对运动补偿的影响，然后再对标记背景区域的区块进行运动补偿，具体地，对前一图像帧的各区块的中心执行KLT算法，对KLT算法的结果执行RANSAC算法获得单应性矩阵H，该矩阵H即代表了背景区域的运动，从而可以再据此对背景区域进行运动补偿。

如图5所示，本发明的一个可选实施例中，所述步骤S2具体包括：

步骤S21、结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k=v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n=图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

步骤S22、将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块。

其中，步骤S21的区块的大小由车辆的速度和测距的参数共同决定，计算方式为k=v*T/a，其中，v是车辆的速度，T代表相邻两帧图像之间的时间间隔，a代表世界坐标系中的距离与图像坐标系像素行数之间的比例系数，参数k实际中表示车辆走了多少米，对应到图像坐标系上即为图像更新了多少行像素。

本实施例结合行驶速度和行驶方向计算区块大小，再将逐帧提取的图像帧分别划分为n*m个网格状的区块，采用化整为零的方式对逐帧提取的图像帧进行处理，便于在后续对逐帧提取的图像帧相应的每个区块进行匹配时，提高匹配的准确性。

如图6所示，本发明的一个可选实施例中，所述方法还包括：

步骤S7、结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

步骤S8、在所述实时距离值小于或等于预设距离值时进行报警。

本实施例通过进一步计算出机动车相对于移动目标的距离，并在所述实时距离值小于或等于预设距离值时进行报警，可有效提醒辅助驾驶员及时进行避让，提高车辆行驶的安全性。

如图7所示，本发明的一个可选实施例中，所述步骤S8具体包括：

步骤S81、判断实时距离值是否小于或等于预设距离值；

步骤S82、在实时距离值小于或等于预设距离值时发出报警信号。

本实施例根据实时距离值是和预设距离值的大小关系进行判断，从而可以及时发出报警信号，系统反应敏捷，能有效提高车辆行驶的安全性。

如图8所示，本发明的一个可选实施例中，所述方法还包括：

步骤S9、将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

步骤S10、显示所述最终检测结果。

本实施例通过将图像帧数据和移动目标合并处理从而获得最终检测结果，并进一步在显示清晰的最终检测结果供驾驶员实时查看，有利于辅助驾驶员主动判断移动目标，并在必要时及时进行避让。

如图9所示，另一方面，本发明实施例还提供一种车载环境下的移动目标检测系统，包括：

采集模块1，用于获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

分块模块2，用于结合行驶速度和行驶方向对逐帧提取的图像帧划分区块；

匹配运算模块3，用于依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

补偿差分模块4，用于对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

融合模块5，用于融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

跟踪模块6，用于跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

本发明实施例通过采集模块1获得结合行驶速度和行驶方向以及图像帧数据，进而可再通过分块模块2和匹配运算模块3进行分块和匹配、再通过补偿差分模块4进行运动补偿及帧间差分处理，进一步通过融合模块5处理确定候选目标，最终通过跟踪模块的跟踪处理而确定移动目标，从而有效排除了车载环境下运动的相对性以及动态环境中各种负面影响因素，准确检测移动目标，辅助驾驶员及时进行避让，提高车辆行驶的安全性。

如图10所示，本发明的一个可选实施例中，所述分块模块2包括：

计算单元21，用于结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k=v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n=图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

分块单元22，用于将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块。

本实施例通过计算单元21结合行驶速度和行驶方向计算区块大小，再由分块单元22将逐帧提取的图像帧分别划分为n*m个网格状的区块，采用化整为零的方式对逐帧提取的图像帧进行处理，便于在后续对逐帧提取的图像帧相应的每个区块进行匹配时，提高匹配的准确性。

如图11所示，本发明的一个可选实施例中，所述系统还包括：

测距模块7，用于结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

报警模块8，在所述实时距离值小于或等于预设距离值时进行报警。

本实施例通过测距模块7计算出机动车相对于移动目标的距离，再由报警模块8在所述实时距离值小于或等于预设距离值时进行报警，可有效提醒驾驶员及时进行避让，提高车辆行驶的安全性。

如图12所示，本发明的一个可选实施例中，所述报警模块8具体包括：

判断单元81，用于判断实时距离值是否小于或等于预设距离值；

报警输出单元82，用于在实时距离值小于或等于预设距离值时发出报警信号。

本实施例通过判断单元81判断是否满足报警条件，在满足报警条件时通过报警输出单元82发出报警信号，数据处理效率高，可有效提高车辆行驶的安全性。

如图13所示，本发明的一个可选实施例中，所述系统还包括：

合并模块9，用于将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

显示模块10，用于显示所述最终检测结果。

本实施例通过合并模块9将图像帧数据和移动目标合并处理从而获得最终检测结果，并进一步在显示模块10显示清晰的最终检测结果供驾驶员实时查看，有利于辅助驾驶员主动判断移动目标，并在必要时及时进行避让。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (8)

1.一种车载环境下的移动目标检测方法，其特征在于，包括以下步骤：

获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k＝v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n＝图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块；

依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

2.如权利要求1所述的车载环境下的移动目标检测方法，其特征在于，所述方法还包括：

结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

判断在所述实时距离值小于或等于预设距离值时进行报警。

3.如权利要求2所述的车载环境下的移动目标检测方法，其特征在于，所述在所述实时距离值小于或等于预设距离值时进行报警具体包括：

判断实时距离值是否小于或等于预设距离值；

在实时距离值小于或等于预设距离值时发出报警信号。

4.如权利要求1所述的车载环境下的移动目标检测方法，其特征在于，所述方法还包括：

将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

显示所述最终检测结果。

5.一种车载环境下的移动目标检测系统，其特征在于，包括：

采集模块，用于获取车辆行驶数据和车辆行车环境监测视频影像的图像帧数据，所述车辆行驶数据包括行驶速度和行驶方向，所述图像帧数据包括从视频影像中逐帧提取的图像帧；

分块模块，所述分块模块包括：

计算单元，用于结合行驶速度和行驶方向计算获得单一区块所占像素行数k，计算公式为k＝v*T/a，其中，v是车辆行驶速度，T为相邻两个图像帧之间的时间间隔，a为世界坐标系中的距离与图像坐标系像素行数之间的比例系数，再用求得的k值将图像帧划分成n*m网格状的区块，其中，n＝图像帧总像素行数/k，m为图像帧宽度方向的m均分的数值，m为大于或等于1的整数；

分块单元，用于将逐帧提取的图像帧分别以计算获得的区块大小为标准划分为若干个区块；

匹配运算模块，用于依次提取作为前一图像帧的第N-1帧图像帧和作为当前图像帧的第N帧图像帧进行区块匹配运算，其中，N为大于或等于2的整数，将当前图像帧中相似度大于预设阈值的区块标定为背景区域，反之标定为运动目标区域；

补偿差分模块，用于对前一图像帧中标定为背景区域的区块进行运动补偿，再将运动补偿后的前一图像帧与当前图像帧进行帧间差分处理，将当前图像帧中相似度小于预设阈值的区块标定为补偿运动目标区域；

融合模块，用于融合各运动目标区域和补偿运动目标区域，经滤波和形态学处理后将得到的最终检测区域并标定为候选目标；

跟踪模块，用于跟踪标定有候选目标的区块，若连续预设帧数的图像帧的相应的区块均被标定为候选目标，则将该候选目标确定为移动目标。

6.如权利要求5所述的车载环境下的移动目标检测系统，其特征在于，所述系统还包括：

测距模块，用于结合行驶速度和行驶方向对机动车相对于移动目标的距离进行计算，获得实时距离值；

报警模块，在所述实时距离值小于或等于预设距离值时进行报警。

7.如权利要求6所述的车载环境下的移动目标检测系统，其特征在于，所述报警模块具体包括：

判断单元，用于判断实时距离值是否小于或等于预设距离值；

报警输出单元，用于在实时距离值小于或等于预设距离值时发出报警信号。

8.如权利要求5所述的车载环境下的移动目标检测系统，其特征在于，所述系统还包括：

合并模块，用于将获取的车辆行车环境监测视频影像的图像帧数据和确定的移动目标进行合并处理得到最终检测结果；

显示模块，用于显示所述最终检测结果。

Images