CN108520526A - 一种车前方动态障碍物检测方法 - Google Patents
一种车前方动态障碍物检测方法 Download PDFInfo
- Publication number
- CN108520526A CN108520526A CN201710099968.8A CN201710099968A CN108520526A CN 108520526 A CN108520526 A CN 108520526A CN 201710099968 A CN201710099968 A CN 201710099968A CN 108520526 A CN108520526 A CN 108520526A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- moving target
- optical flow
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明公开了一种车前方动态障碍物检测方法，包括以下步骤：S1：采集车前方视频图像，并对视频图像进行预处理；S2：采用三帧差法提取运动前景区域；S3：采用光流法去除运动背景，提取前景目标；S4：采用图像边缘方向直方图与Kalman滤波相结合的方法对检测到的运动目标进行跟踪；S5：在运动目标的跟踪过程中，首先选取跟踪窗口的中心点为研究对象，且将中心点一一记录下来，从而得到运动目标的运动轨迹；接着对得到的运动轨迹进行分析，确定出运动目标的运动方向，最后判断该运动目标是否对列车的安全运行造成威胁以及是否需要报警。
Description
技术领域
本发明涉及一种车前方动态障碍物检测方法。
背景技术
在列车的运行过程中，影响列车运行安全的因素非常多，主要包括机车司机的技术水平、列车所安装装备的可靠性以及自然环境等。相应的，铁路障碍物的种类也是非常复杂，不仅包括横穿或滞留在铁轨上的行人、牲畜和车辆，而且包括由于自然灾害产生的石块、树木等。因此，对于列车前方障碍物检测技术的深入探讨是十分必要的，对确保铁路安全运输具有非常大的实际意义。
铁路运输具有运输量大、能源消耗低、安全性高、方便以及全天候运输等特点，世界上许多国家都将铁路作为非常重要的基础交通设施。因此，非常有必要对铁路运输系统的安全问题，特别是列车的行车安全问题进行深入的研究。列车在运行的过程中速度快、惯性大，并且铁路运输中路面状况相对比较复杂，要想实现目标的快速与准确检测是非常困难的。
发明内容
本发明要解决的技术问题是提供一种车前方动态障碍物检测方法。
一种车前方动态障碍物检测方法，包括以下步骤：
S1：采集车前方视频图像，并对视频图像进行预处理；
S2：采用三帧差法提取运动前景区域；
S3：采用光流法去除运动背景，提取前景目标；
S4：采用图像边缘方向直方图与Kalman滤波相结合的方法对检测到的运动目标进行跟踪；
S5：在运动目标的跟踪过程中，首先选取跟踪窗口的中心点为研究对象，且将中心点一一记录下来，从而得到运动目标的运动轨迹；接着对得到的运动轨迹进行分析，确定出运动目标的运动方向，最后判断该运动目标是否对列车的安全运行造成威胁以及是否需要报警。
进一步的，采用三帧差法提取运动前景区域的步骤如下：
1）设视频图像序列为，其中连续的三帧图像用、和表示；
2）、和为所拍摄视频中相邻的图像，对其进行灰度化处理，可得到灰度图像、和；
3）对与以及与分别做差分运算，差值分别用和表示；
4）对和中对应像素做与运算，获得包含运动目标的图像。
进一步的，光流法去除运动背景的步骤如下：
1）建立图像的基本光流约束方程：
设图像中点的像素为，表示图像中的点在t时刻的光照强度，且点在x方向和y方向上的光流分量用和表示，当视频图像中连续两帧之间存在物体的运动时，点在t时刻的光照强度就会“运动”到时刻的点，可得到下式：
，
将上式右边式子按照泰勒级数展开，并令，可得下式：
，
令，
即可得到光流约束方程，如下式：
；
2）引入光流误差，其数学表达式为：
；
3）建立光流背景模型：
①对、和赋予较大的初值，对、和赋予较小的初值；
②通过t时刻和t-1时刻的图像得到t时刻的光流速度矢量、和，然后与、和作差分运算，从而获得、和，其计算表达式为：
③通过下面的步骤来去除由于背景运动造成的伪前景，实现运动目标的准确检测；
设图像中的前景点为，那么运动前景的检测过程可表示为：
其中，运动前景检测过程中的判断条件如下式：
当图像中像素点在某一时刻的光流速度矢量满足上式中的任意两个时，该点就为背景像素点；否则就为运动前景像素点；
4）对背景模型进行更新：
。
进一步的，所述运动目标跟踪的具体方法如下：
1）初始化操作；
首先定义目标物体的观测位置为，目标物体的初始状态为；然后采用下式对目标物体可能出现的区域进行预测；
；
其中，
；
2）观测目标物体且对特征进行更新；
在目标物体可能出现的区域采用下式进行搜索以得到最佳观测位置；
；
其中，表示归一化参数；h为二维搜索窗的大小；N表示图像中所建立搜索窗口中的像素数；m表示的是边缘方向直方图的方向维数；k表示的是一个各向同性的核心函数，对距离物体中心较远的点赋予较小的权重值，对距离物体中心距离较近的点赋予较大的权重值；
3）根据上一步得到的采用下式对目标状态进行更新；
；
其中，
，K(t)为Kalman增益；
4）预测所跟踪目标的新位置；
根据步骤2）的公式在下一帧图像中对目标物体可能出现区域进行预测，得到x(t+1)。
本发明的有益效果是：
(1)将三帧差法和光流法结合起来进行运动目标的检测，该方法表现出了非常好的抗光性，也克服了光流法由于计算复杂度大而不能用于实时检测的缺点，提高了动态障碍物检测的实时性。
(2)利用图像的边缘方向直方图特征和Kalman滤波相结合的方法较好的实现了动态障碍物的跟踪，该方法能够完成有遮挡和无遮挡两种情况下运动目标的准确跟踪，且跟踪过程简单，对光照等外界环境的改变具有很好的鲁棒性。
具体实施方式
以下具体实施例对本发明作进一步阐述，但不作为对本发明的限定。
一种车前方动态障碍物检测方法，包括以下步骤：
S1：采集车前方视频图像，并对视频图像进行预处理；
S2：采用三帧差法提取运动前景区域；
采用三帧差法提取运动前景区域的步骤如下：
1）设视频图像序列为，其中连续的三帧图像用、和表示；
2）、和为所拍摄视频中相邻的图像，对其进行灰度化处理，可得到灰度图像、和；
3）对与以及与分别做差分运算，差值分别用和表示；
4）对和中对应像素做与运算，获得包含运动目标的图像。
S3：采用光流法去除运动背景，提取前景目标；
光流法去除运动背景的步骤如下：
1）建立图像的基本光流约束方程：
设图像中点的像素为，表示图像中的点在t时刻的光照强度，且点在x方向和y方向上的光流分量用和表示，当视频图像中连续两帧之间存在物体的运动时，点在t时刻的光照强度就会“运动”到时刻的点，可得到下式：
，
将上式右边式子按照泰勒级数展开，并令，可得下式：
，
令，
即可得到光流约束方程，如下式：
；
2）引入光流误差，其数学表达式为：
；
3）建立光流背景模型：
①对、和赋予较大的初值，对、和赋予较小的初值；
②通过t时刻和t-1时刻的图像得到t时刻的光流速度矢量、和，然后与、和作差分运算，从而获得、和，其计算表达式为：
③通过下面的步骤来去除由于背景运动造成的伪前景，实现运动目标的准确检测；
设图像中的前景点为，那么运动前景的检测过程可表示为：
其中，运动前景检测过程中的判断条件如下式：
当图像中像素点在某一时刻的光流速度矢量满足上式中的任意两个时，该点就为背景像素点；否则就为运动前景像素点；
4）对背景模型进行更新：
。
S4：采用图像边缘方向直方图与Kalman滤波相结合的方法对检测到的运动目标进行跟踪；
所述运动目标跟踪的具体方法如下：
1）初始化操作；
首先定义目标物体的观测位置为，目标物体的初始状态为；然后采用下式对目标物体可能出现的区域进行预测；
；
其中，
；
2）观测目标物体且对特征进行更新；
在目标物体可能出现的区域采用下式进行搜索以得到最佳观测位置；
；
其中，表示归一化参数；h为二维搜索窗的大小；N表示图像中所建立搜索窗口中的像素数；m表示的是边缘方向直方图的方向维数；k表示的是一个各向同性的核心函数，对距离物体中心较远的点赋予较小的权重值，对距离物体中心距离较近的点赋予较大的权重值；
3）根据上一步得到的采用下式对目标状态进行更新；
；
其中，
，K(t)为Kalman增益；
4）预测所跟踪目标的新位置；
根据步骤2）的公式在下一帧图像中对目标物体可能出现区域进行预测，得到x(t+1)。
S5：在运动目标的跟踪过程中，首先选取跟踪窗口的中心点为研究对象，且将中心点一一记录下来，从而得到运动目标的运动轨迹；接着对得到的运动轨迹进行分析，确定出运动目标的运动方向，最后判断该运动目标是否对列车的安全运行造成威胁以及是否需要报警。
Claims (4)
1.一种车前方动态障碍物检测方法，其特征在于，包括以下步骤：
S1：采集车前方视频图像，并对视频图像进行预处理；
S2：采用三帧差法提取运动前景区域；
S3：采用光流法去除运动背景，提取前景目标；
S4：采用图像边缘方向直方图与Kalman滤波相结合的方法对检测到的运动目标进行跟踪；
S5：在运动目标的跟踪过程中，首先选取跟踪窗口的中心点为研究对象，且将中心点一一记录下来，从而得到运动目标的运动轨迹；接着对得到的运动轨迹进行分析，确定出运动目标的运动方向，最后判断该运动目标是否对列车的安全运行造成威胁以及是否需要报警。
2.根据权利要求1所述的车前方动态障碍物检测方法，其特征在于，采用三帧差法提取运动前景区域的步骤如下：
1）设视频图像序列为，其中连续的三帧图像用、和表示；
2）、和为所拍摄视频中相邻的图像，对其进行灰度化处理，可得到灰度图像、和；
3）对与以及与分别做差分运算，差值分别用和表示；
4）对和中对应像素做与运算，获得包含运动目标的图像。
3.根据权利要求1所述的车前方动态障碍物检测方法，其特征在于，光流法去除运动背景的步骤如下：
1）建立图像的基本光流约束方程：
设图像中点的像素为，表示图像中的点在t时刻的光照强度，且点在x方向和y方向上的光流分量用和表示，当视频图像中连续两帧之间存在物体的运动时，点在t时刻的光照强度就会“运动”到时刻的点，可得到下式：
，
将上式右边式子按照泰勒级数展开，并令，可得下式：
，
令，
即可得到光流约束方程，如下式：
；
2）引入光流误差，其数学表达式为：
；
3）建立光流背景模型：
①对、和赋予较大的初值，对、和赋予较小的初值；
②通过t时刻和t-1时刻的图像得到t时刻的光流速度矢量、和，然后与、和作差分运算，从而获得、和，其计算表达式为：
③通过下面的步骤来去除由于背景运动造成的伪前景，实现运动目标的准确检测；
设图像中的前景点为，那么运动前景的检测过程可表示为：
其中，运动前景检测过程中的判断条件如下式：
当图像中像素点在某一时刻的光流速度矢量满足上式中的任意两个时，该点就为背景像素点；否则就为运动前景像素点；
4）对背景模型进行更新：
。
4.根据权利要求1所述的车前方动态障碍物检测方法，其特征在于，所述运动目标跟踪的具体方法如下：
1）初始化操作；
首先定义目标物体的观测位置为，目标物体的初始状态为；然后采用下式对目标物体可能出现的区域进行预测；
；
其中，
；
2）观测目标物体且对特征进行更新；
在目标物体可能出现的区域采用下式进行搜索以得到最佳观测位置；
；
其中，表示归一化参数；h为二维搜索窗的大小；N表示图像中所建立搜索窗口中的像素数；m表示的是边缘方向直方图的方向维数；k表示的是一个各向同性的核心函数，对距离物体中心较远的点赋予较小的权重值，对距离物体中心距离较近的点赋予较大的权重值；
3）根据上一步得到的采用下式对目标状态进行更新；
；
其中，
，K(t)为Kalman增益；
4）预测所跟踪目标的新位置；
根据步骤2）的公式在下一帧图像中对目标物体可能出现区域进行预测，得到x(t+1)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710099968.8A CN108520526A (zh) | 2017-02-23 | 2017-02-23 | 一种车前方动态障碍物检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710099968.8A CN108520526A (zh) | 2017-02-23 | 2017-02-23 | 一种车前方动态障碍物检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108520526A true CN108520526A (zh) | 2018-09-11 |
Family
ID=63432614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710099968.8A Withdrawn CN108520526A (zh) | 2017-02-23 | 2017-02-23 | 一种车前方动态障碍物检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520526A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109842738A (zh) * | 2019-01-29 | 2019-06-04 | 北京字节跳动网络技术有限公司 | 用于拍摄图像的方法和装置 |
| CN110567324A (zh) * | 2019-09-04 | 2019-12-13 | 深圳市唯特视科技有限公司 | 一种基于ds证据理论的多目标群威胁度预测装置及方法 |
| TWI691940B (zh) * | 2019-04-02 | 2020-04-21 | 奇美車電股份有限公司 | 車用攝影系統與物件偵測方法 |
| CN111654685A (zh) * | 2020-08-06 | 2020-09-11 | 成都极米科技股份有限公司 | 移动方向检测方法、装置、投影设备及可读存储介质 |
| CN111754550A (zh) * | 2020-06-12 | 2020-10-09 | 中国农业大学 | 一种农机运动状态下动态障碍物检测方法及装置 |
-
2017
- 2017-02-23 CN CN201710099968.8A patent/CN108520526A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109842738A (zh) * | 2019-01-29 | 2019-06-04 | 北京字节跳动网络技术有限公司 | 用于拍摄图像的方法和装置 |
| TWI691940B (zh) * | 2019-04-02 | 2020-04-21 | 奇美車電股份有限公司 | 車用攝影系統與物件偵測方法 |
| CN110567324A (zh) * | 2019-09-04 | 2019-12-13 | 深圳市唯特视科技有限公司 | 一种基于ds证据理论的多目标群威胁度预测装置及方法 |
| CN111754550A (zh) * | 2020-06-12 | 2020-10-09 | 中国农业大学 | 一种农机运动状态下动态障碍物检测方法及装置 |
| CN111754550B (zh) * | 2020-06-12 | 2023-08-11 | 中国农业大学 | 一种农机运动状态下动态障碍物检测方法及装置 |
| CN111654685A (zh) * | 2020-08-06 | 2020-09-11 | 成都极米科技股份有限公司 | 移动方向检测方法、装置、投影设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520526A (zh) | 一种车前方动态障碍物检测方法 | |
| Hu et al. | Moving object detection and tracking from video captured by moving camera | |
| CA3094424C (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
| CN103400157B (zh) | 一种基于视频分析的道路行人及非机动车检测方法 | |
| CN106127807A (zh) | 一种实时的视频多类多目标跟踪方法 | |
| CN104834887B (zh) | 运动行人表示方法、识别方法及其装置 | |
| CN107301375B (zh) | 一种基于稠密光流的视频图像烟雾检测方法 | |
| TW201225004A (en) | Image based detecting system and method for traffic parameters and computer program product thereof | |
| CN105760846A (zh) | 基于深度数据的目标检测与定位方法及系统 | |
| CN111062971A (zh) | 一种基于深度学习多模态的跨摄像头泥头车追踪方法 | |
| Dhulavvagol et al. | Vehical tracking and speed estimation of moving vehicles for traffic surveillance applications | |
| Stec et al. | Using time-of-flight sensors for people counting applications | |
| Pan et al. | Fighting detection based on pedestrian pose estimation | |
| Gajbhiye et al. | VIRTUe: Video surveillance for rail-road traffic safety at unmanned level crossings;(Incorporating Indian scenario) | |
| Khan | Estimating Speeds and Directions of Pedestrians in Real-Time Videos: A solution to Road-Safety Problem. | |
| CN108876807A (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
| KR20150088613A (ko) | 폭력 상황을 검출하는 장치 및 방법 | |
| CN103426178B (zh) | 一种基于均值偏移的复杂场景下目标跟踪方法及装置 | |
| Sonoda et al. | Moving objects detection at an intersection by sequential background extraction | |
| Xiong et al. | Crowd density estimation based on image potential energy model | |
| CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
| Buch et al. | Urban vehicle tracking using a combined 3D model detector and classifier | |
| Joshi | Vehicle speed determination using image processing | |
| Mishra et al. | Occlusion handling strategies for multiple moving object classification | |
| Klammsteiner et al. | Vision Based Stationary Railway Track Monitoring System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180911 |
|
| WW01 | Invention patent application withdrawn after publication |