CN102096803B - 基于机器视觉的行人安全状态识别系统 - Google Patents
基于机器视觉的行人安全状态识别系统 Download PDFInfo
- Publication number
- CN102096803B CN102096803B CN2010105615521A CN201010561552A CN102096803B CN 102096803 B CN102096803 B CN 102096803B CN 2010105615521 A CN2010105615521 A CN 2010105615521A CN 201010561552 A CN201010561552 A CN 201010561552A CN 102096803 B CN102096803 B CN 102096803B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- target
- area
- vehicle
- motor vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于机器视觉的行人安全状态识别方法,旨在克服现有技术存在无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策的问题。该方法包括如下步骤:车载动态视频图像的采集;车辆前方感兴趣区域行人检测与识别;运动行人跟踪;车辆前方行人距离检测计算;车辆实时速度获取;行人安全状态识别。其中:行人安全状态识别包括如下步骤:临界冲突区域构建;相对运动过程中行人位于冲突区域外安全状态判别;相对运动过程中行人位于冲突区域内安全状态判别。根据上述的步骤利用视觉传感器获取的机动车与行人的相对速度以及相对位置,预测出行人是否会进入危险区域,并采取相应的策略避免发生事故。辅助驾驶员采取措施避免与行人发生碰撞。
Description
技术领域
本发明涉及一种利用车载图像处理装置检测车辆前方行人并进行安全状态识别的方法,更具体地说,本发明涉及一种基于机器视觉的行人安全状态识别方法。
背景技术
混合交通是我国交通的重要特征,道路上机动车、自行车、行人冲突严重,处于弱势地位的行人安全隐患相对较大。据公安部交通管理部门统计,2000年后我国交通死亡人数平均每年逾10万,受伤人数约50万,其中60%以上为行人和骑自行车者。因此,开发行人安全保护系统对于减少交通事故,保障交通安全具有重要的意义。目前的行人安全保护机制包括汽车的被动安全和主动安全机制。被动安全机制主要包括行人安全气囊系统等,它是在行人与车辆碰撞不可避免时,启动车辆前方的行人安全气囊,降低行人与车辆碰撞的伤害程度。汽车被动安全技术虽然在一定程度上降低了行人的受伤害程度,但不能从根本上避免行人和车辆碰撞事故。而车辆智能主动安全保障系统等主动安全技术,是利用安装在车辆上的传感器检测并识别车辆前方的行人,当出现潜在冲突时,进行自动报警,避免车辆与行人相撞,从根本上保证行人安全。国内外学者对基于视觉的行人检测与识别技术进行了大量研究,尽管取得了一些成果,但离应用于实际的行人安全预警要求尚有较大差距,主要体现在:绝大多数仍停留在行人检测与识别方法方面,缺少进一步对行人安全状态判别的研究,无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策;在车辆、行人发生冲突时,行人主观行为是判定行人安全状态不容忽视的一项信息。现有方法没有对潜在冲突下行人交通行为的表达与分析进行研究,缺乏行人行为模式的判别与预测。因此行人安全状态识别技术有待进一步深入研究。
发明内容
本发明所要解决的技术问题是现有技术无法根据行人的安全状态制定相应的车辆驾驶行为智能控制决策的问题,提供了一种基于机器视觉的行人安全状态识别方法。
为解决上述技术问题,本发明是采用如下技术方案实现的:所述的种基于机器视觉的行人安全状态识别方法包括如下步骤:
1.车载动态视频图像的采集
安装在车辆前端的摄像机实时采集车辆前方的行人图像,并将行人图像实时传输给安装有图像处理系统的计算机;
2.车辆前方感兴趣区域行人检测与识别;
3.运动行人跟踪;
4.车辆前方行人距离检测计算;
5.车辆实时速度获取
利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度;
6.行人安全状态识别。
技术方案中所述的车辆前方感兴趣区域行人检测与识别包括如下步骤:
1.图像像素梯度方向计算
对于图像中的任意点(x,y)的采用水平梯度算子[-1,0,1]计算水平方向梯度值Gh(x,y)和垂直梯度算子[-1,0,1]T计算垂直方向梯度值Gv(x,y):
Gh(x,y)=f(x+1,y)-f(x-1,y);Gv(x,y)=f(x,y+1)-f(x,y-1)
由此可得点(x,y)的梯度强度M(x,y)和梯度方向θ(x,y)分别为:
2.统计图像梯度方向直方图(Histogram of Oriented Gradients,HOG)
首先计算图像中每个单元和每个块内各个方向的梯度值分布,然后将梯度方向定在0°到180°上分为9段,统计其梯度方向直方图,采用的单元大小为8*8的像素区域,每个块包含2*2个单元,并且一个块的扫描区域移动步长为一个单元的大小,具体的HOG特征提取如下:
1)统计一个单元上的梯度直方图,即按照梯度值在梯度方向上的投影值累积画出;
2)统计一个块上的梯度直方图,将单元上的梯度直方图串联起来;
3)使用二范数归一化每个块的梯度直方图,以此来消除光照的过大影响;
4)统计一个行人检测样本的HOG特征,即将一个检测样本上的所有块直方图串联起来。
3.行人样本与非行人样本的训练
计算每个行人和非行人检测样本的HOG特征,采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里,并构建一区分两类样本的最优分类器。
4.感兴趣区域设定及行人的检测与识别
由于只检测识别道路前方的行人,对所拍摄图像只针对行人可能出现的区域做处理,采用多尺度变换方法对图像不同尺寸大小的区域进行扫描,对每一个单元按比例缩放后统计此区域内的梯度方向直方图,利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征。
技术方案中所述的运动行人跟踪包括如下步骤:
1.特征表达
令M*N为分割的二值图像,任意一个前景目标R中像素点的f(i,j)均为1,则R的重心C坐标(xc,yc)可定义为:
式中:n为R内像素点个数,采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪,利用目标的面积、周长构成紧密度特征,对其形状特性加以约束,R的紧密度S定义为:
式中:A为R的面积,即R内像素点个数n,L为R的周长,即R区域的边界点;利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述,目标k时刻的状态特征向量可表达为:
Xk=(Ck,Vk,▽Vk,Sk,▽Sk);
在目标稳定出现于检测区域之后,利用前两个观测时刻的重心位置确定目标的速度,即:Vx,k=xc,k-xc,k-1,Vy,k=yc,k-yc,k-1。
其中,Vx,k,Vy,k分别为x,y方向的初始速度。
2.状态估计
找到使匹配距离最小的目标即为被跟踪的目标,受跟踪目标状态估计方程为:
式中:Δt为相邻观测时间间隔,为第L个已跟踪目标第t时刻重心坐标估计值,为第L个已跟踪目标第t-1时刻重心坐标,为t-1时刻匹配建立后对下一时刻的x、y方向预测速度,为已跟踪目标第t时刻的紧密度估计值,为已跟踪目标第t-1时刻的紧密度,为第t-1观测时刻对下一时刻预测的紧密度变化值,ω,ξ为估计误差。
3.特征匹配与更新
式中:为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值,为当前观测的物体速度,为上一时刻对当前时刻的预测速度,为当前观测时刻与已跟踪目标匹配成功的物体的紧密度,α、β分别为0到1的常数;同时对下一时刻的速度进行更新如下:
由此便可以在连续的时间序列上通过迭代算法实现连续跟踪。
4.遮挡处理
采用GM(1,1)灰色模型实现遮挡条件下的目标状态特征预测,GM(1,1)模型定义如下:
设有n个原始观测值:U0=[u0(1),u0(2),u0(3)…,u0(n)],通过累加可生成新序列U1=[u1(1),u1(2),u1(3)…,u1(n)],其中,GM(1,1)模型相应的微分方程:
技术方案中所述的车辆前方行人距离检测计算包括如下步骤:
1.假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方;用三脚架将摄像机固定于车辆前挡风玻璃处,量测摄像机光心离地高度为α米,有如下关系:其中,Oc-XcYcZc称为摄像机坐标系。Ow-XwYwZw称为世界坐标系。
2.求得摄像机内部参数
对车辆前方进行标定点的布设,由摄像机光心点为起点,取摄像机正前方的一条直线和与其成任意角度的另一条直线,并对这两条相交直线上的特征点进行标定所得结果即为标定结果。
由于选取标定点的实际距离为已知,利用图像处理获取标定点的图像帧坐标(u,v)。由此求得摄像机内部参数:
根据上述公式利用最小二乘法确定摄像机内部参数ay,v0值:
ay(YW+α)+v0ZW=ZCv
可转化为求最小值问题:
技术方案中所述的行人安全状态识别包括如下步骤:
1.临界冲突区域构建。
2.相对运动过程中行人位于冲突区域外安全状态判别
1)行人的运动轨迹不能进入冲突区域则行人处于安全状态。
2)如果行人的运动轨迹进入冲突区域时,与机动车的距离小于安全距离,则行人处于危险状态。
3)如果行人的运动轨迹进入冲突区域时,与机动车的距离大于安全距离,则行人处于安全状态。
3.相对运动过程中行人位于冲突区域内安全状态判别处理
在实际交通中,考虑到车身有一定的宽度且制动以及反应需要一定时间,同时考虑到行人与机动车相对位置的不同,需要分别进行判断处理:
1)对行人已经处在冲突区域,若行人离开冲突区域而未进入危险区域,则不需要采取制动措施。
2)若行人进入危险区域,则需要采取紧急制动或采取其他措施避免发生事故发生。
3)若行人仍将留在冲突区域中,则需要根据行人与机动车的相对位置进行分类处理:
行人p1虽然在冲突区域中,但由于有足够的距离,机动车不需要采取措施;行人p2在缓冲区域中,机动车应该采取相应措施避免其进入危险区域,由此可得式
式中:y为坐标系内纵坐标值;d为安全距离;d′为缓冲距离。
技术方案中所述的临界冲突区域构建包括如下步骤:
2.当行人的相对速度方向变化时,机动车所需的安全距离也随之变化,从安全角度出发,行人与机动车相对位置关系确定的情况下,机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要,那么为了确定临界冲突区域半径,就需要寻找最大安全距离,并将其定义为临界冲突区域半径,在抽象为质点的情况下,只有当行人与机动车的相对速度与y轴负方向的夹角与相同时,两者才会产生冲突,此时:其中vx和vy是相对速度在x和y方向上的分量,为行人和机动车连线与y轴正方向的夹角。
与现有技术相比本发明的有益效果是:
1.本发明所述的基于机器视觉的行人安全状态识别方法可为智能车辆自动驾驶、自主导航提供技术手段,同时是保障道路行人安全的必要措施;
2.本发明所述的基于机器视觉的行人安全状态识别方法对于汽车生产厂商来说,能够增添产品的科技含量,提升品牌的市场竞争力,蕴涵着十分可观的市场价值。
附图说明
下面结合附图对本发明作进一步的说明:
图1是本发明所述的基于机器视觉的行人安全状态识别方法的流程框图;
图2是本发明所述的基于机器视觉的行人安全状态识别方法采用空间梯度直方图(HOG)作为特征的行人检测方法并设定图像的感兴趣区域(ROI)的行人检测的流程框图;
图3是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器的行人识别流程框图;
图4-a是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器所得到的车辆前方行人实时检测的效果图;
图4-b是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时基于SVM分类器所得到的车辆前方行人实时检测的效果图;
图5是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人相对位置对冲突区域的影响示意图;
图6是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人运动方向对临界冲突区域影响的分析图;
图7是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人的相对运动中临界冲突区域分析图;
图8是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人位于冲突区域外安全状态判别的分析图;
图9是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人位于冲突区域内安全状态判别的分析图;
图10是表示采用本发明所述的基于机器视觉的行人安全状态识别方法时行人不离开冲突区域内的行人安全状态判别的分析图。
具体实施方式
下面结合附图对本发明作详细的描述:
参阅图1,本发明所述的基于机器视觉的行人安全状态识别方法是利用车载动态图像处理技术,研究行人的自动检测与识别技术;根据获取的行人运动信息,利用知识表达与推理、语义分析、模式识别等方法,建立行人的运动行为表达与行为辨识模型;结合混合交通冲突理论方法体系,构建车辆、行人冲突预测模型,开发适于车载的混合交通行人安全识别技术,避免汽车与行人发生碰撞事故。所述的基于机器视觉的行人安全状态识别方法的具体步骤如下:
一.车载动态视频图像的采集
安装在车辆前端的摄像机实时采集车辆前方的行人图像,并将行人图像实时传输给安装有图像处理系统的计算机。
二.车辆前方感兴趣区域内行人检测与识别
参阅图2,为了快速准确地对行人进行检测,采用空间梯度直方图(HOG)作为特征的行人检测方法,并且设定感兴趣区域(ROI),只针对设定好的感兴趣区域进行检测,能更有效的、准确、快速的识别车辆前方的行人。HOG特征是针对特征区域的形状进行梯度统计的,由每个区域的特征梯度集合来反映图像自身的方向特征属性。通过行人与非行人的样本训练来提取行人与非行人的HOG特征,并用SVM分类器从目标图像中筛选所需要的行人HOG特征,从而检测图像中的行人。本发明采用空间梯度直方图(HOG)作为特征的并在图像的感兴趣区域(ROI)内行人检测的步骤如下:
1.图像像素梯度方向计算
对于图像中的任意点(x,y)的采用水平梯度算子[-1,0,1]计算水平方向梯度值Gh(x,y)和垂直梯度算子[-1,0,1]T计算垂直方向梯度值Gv(x,y):
Gh(x,y)=f(x+1,y)-f(x-1,y);Gv(x,y)=f(x,y+1)-f(x,y-1) (1)
由此可得点(x,y)的梯度强度M(x,y)和梯度方向θ(x,y)分别为:
2.统计图像梯度方向直方图
首先计算图像中每个单元和每个块内各个方向的梯度值分布,然后将梯度方向定在0°到180°上分为9段,统计其梯度方向直方图。本发明在算法中采用的单元大小为8*8的像素区域,每个块包含2*2个单元,并且一个块的扫描区域移动步长为一个单元的大小。具体的HOG特征提取为如下过程:
1)统计一个单元上的梯度直方图,即按照梯度值在梯度方向上的投影值累积画出;
2)统计一个块上的梯度直方图,将单元上的梯度直方图串联起来;
3)使用二范数归一化每个块的梯度直方图,以此来消除光照的过大影响;
4)统计一个行人检测样本的HOG特征,即将一个检测样本上的所有块直方图串联起来。
3.行人样本与非行人样本的训练
参阅图3,计算每个行人和非行人检测样本的HOG特征,采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里,并构建一区分两类样本的最优分类器。在初始训练过程中,对于那些与行人样本十分相似的非行人样本,一次SVM分类很难完全区分开来,容易误判,因此本发明对结果进行再次训练,得到非行人的困难样本集,这样可以提高检测率。行人检测识别流程如图中所示。
4.感兴趣区域设定及行人的检测与识别
参阅图4,由于本发明所述的基于机器视觉的行人安全状态识别方法只检测识别道路前方的行人,而现实图像中的行人可能出现的区域并非整幅图像,因此本发明所述的基于机器视觉的行人安全状态识别方法将对所拍摄图像只针对行人可能出现的区域做处理。同时本发明所述的基于机器视觉的行人安全状态识别方法采用多尺度变换方法对图像不同尺寸大小的区域进行扫描,对每一个单元(CELL)按比例缩放后统计此区域内的梯度方向直方图,其HOG特征数与所需要的对应样本尺寸大小为64*128的HOG特征数相同,利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征,以此来检测图像中的行人,部分检测效果如图4所示。
二.运动行人跟踪。
本发明基于Kalman滤波思想对运动行人的前帧状态信息进行预测,获取重心位置与形态紧密度估计值;然后将估计值与当前帧观测值进行匹配,根据匹配误差修正运动行人的速度与紧密度变化值,通过递归算法实现常态下运动目标准确、快速的跟踪。针对复杂场景下由于运动遮挡造成无法准确估计目标行人轨迹的不足,采用适用于复杂系统非线性状态预测的灰色模型GM(1,1),保证了跟踪过程的连续、稳定。具体步骤如下:
1.特征表达
令M*N为分割的二值图像,任意一个前景目标R中像素点的f(i,j)均为1,则R的重心C坐标(xc,yc)可定义为:
式中:n为R内像素点个数,采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪,利用目标的面积、周长构成紧密度特征,对其形状特性加以约束。R的紧密度S定义为:
式中:A为R的面积,即R内像素点个数n,L为R的周长,即R区域的边界点;利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述,目标k时刻的状态特征向量可表达为:
Xk=(Ck,Vk,▽Vk,Sk,▽Sk) (5)
在目标稳定出现于检测区域之后,利用前两个观测时刻的重心位置确定目标的速度,即:Vx,k=xc,k-xc,k-1,Vy,k=yc,k-yc,k-1。
其中,Vx,k,Vy,k分别为x,y方向的初始速度。
2.状态估计
找到使匹配距离最小的目标即为被跟踪的目标,受跟踪目标状态估计方程为:
式中:Δt为相邻观测时间间隔,为第L个已跟踪目标第t时刻重心坐标估计值,为第L个已跟踪目标第t-1时刻重心坐标,为t-1时刻匹配建立后对下一时刻的x、y方向预测速度,为已跟踪目标第t时刻的紧密度估计值,为已跟踪目标第t-1时刻的紧密度,为第t-1观测时刻对下一时刻预测的紧密度变化值,ω,ξ为估计误差。
3.特征匹配与更新
式中:为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值,为当前观测的物体速度,为上一时刻对当前时刻的预测速度,为当前观测时刻与已跟踪目标匹配成功的物体的紧密度,α、β分别为0到1的常数;同时对下一时刻的速度进行更新如下:
由此便可以在连续的时间序列上通过迭代算法实现连续跟踪。
4.遮挡处理
在复杂的交通环境下,物体在运动过程中可能会发生遮挡现象,这会降低特征匹配的精确性甚至导致匹配失败。因此,有必要对遮挡情况下的跟踪进行特殊处理以提高算法的鲁棒性。本发明的遮挡处理包括暂时性遮挡处理和运动目标进出检测区域处理两部分。
通常情况下,运动物体在检测区内部不可能突然消失和出现,若物体在此时刻没有搜索到与之匹配的对象,则很有可能发生遮挡。在非遮挡情况下我们采用基于最优线性估计思想的kalman滤波对运动目标的状态特征进行各个时刻预测,由于预测间隔较短,近似的认为物体作线性运动,对每个时刻的状态特征做近似的线性估计,以实现目标的快速匹配。但由于运动目标运动行为的复杂性与随机性,运动规律是很难准确描述的,一个时间段内的运动不能简单近似的用直线运动来表示。如果仍旧采用基于kalman滤波的思想在遮挡情况下逐时刻预测运动目标特征,得到的线性运动往往与实际运动情况不符,极有可能在经历遮挡时段后导致目标的重新匹配失败。因此,针对运动跟踪过程中的暂时性遮挡时段,本发明采用GM(1,1)灰色模型实现遮挡条件下的目标状态特征预测。
GM(1,1)模型定义如下:
设有n个原始观测值:U0=[u0(1),u0(2),u0(3)…,u0(n)],通过累加可生成新序列U1=[u1(1),u1(2),u1(3)…,u1(n)],其中,GM(1,1)模型相应的微分方程:
式中, 如果当前第K个观测时刻物体未发生匹配,则认为其可能发生遮挡。这时将未匹配物体暂时保留,并对该物体进行标号处理,建立遮挡临时链表,将该物体的历史状态信息加入遮挡临时链表,同时根据GM(1,1)灰色模型更新目标状态,对遮挡过程的运动状态进行预测。依照上述推导模型,本发明应用运动目标的遮挡发生前的m个历史状态数据建立GM(1,1)模型,对遮挡条件下的目标进行下一观测时刻预测,当获取新的状态后,舍弃最前面的数据,利用最近的m个数据更新模型,从而进行新一时刻的预测。如果在T个观测时刻内,物体重新匹配成功,便认为该物体发生暂时性遮挡,将其再次加入跟踪目标链表;若连续T个观测时刻内仍未匹配,则确定该物体消失,将该物体遮挡临时链表删除。
由于本发明在目标检测过程中设置了感兴趣区域,因此跟踪算法针对该区域进行。当运动目标进入或离开检测区域时,由于位于检测区域的边界,会造成目标真实状态信息的缺失,导致相邻观测时刻内的特征不稳定。因此在这种情况下需要进行特殊处理,保证运动目标的状态稳定性以实现连续跟踪。
本发明感兴趣检测区域为矩形区域,跟踪算法仅针对该区域内运动目标进行。判别新进入物体重心C与有效检测区域四条边界的距离di,i=0,1,2,3,当di<D,i=0,1,2,3(D为边界阈值),且连续n个观测时刻均成功匹配,则确定该物体进入检测区域,将该物体加入跟踪目标链表并进行初始化操作。
同理,当受跟踪物体处于跟踪目标链表时,而di<D,i=0,1,2,3,并且在接下来连续n个观测时刻内均匹配失败,则确定该目标离开有效检测区域,将其在跟踪目标链表中删除。
本发明跟踪算法具有较好的适应性、鲁棒性,可实现复杂遮挡情况下连续、稳定、实时的目标运动跟踪。通过运动跟踪能够获取行人的运动轨迹,并可对其未来运动方向及速度进行有效预测。
三.车辆前方行人距离计算
利用摄像机成像的几何原理结合世界坐标系、摄像机坐标系、像平面物理坐标系、计算机帧存坐标系之间的转换关系,实现由已知摄像机内部参数及特征点像素坐标的情况下测算特征点距摄像机的车辆前方行人距离。
假定世界坐标系原点位于地平面上且位于摄像机坐标系原点的正下方;用三脚架将摄像机固定于车辆前挡风玻璃处,量测摄像机光心离地高度为α米。
对车辆前方进行标定点的布设。布设规则:由摄像机光心点为起点,取摄像机正前方的一条直线和与其成任意角度的另一条直线,并对这两条相交直线上的特征点(提前人工选取并记录与摄像机的距离,可选直线上一系列位置)进行标定所得结果即为标定结果。
由于选取标定点的实际距离为已知,利用图像处理获取标定点的图像帧坐标(u,v)。由此可求得摄像机内部参数:
根据上述公式利用最小二乘法确定摄像机内部参数ay,v0值:
ay(YW+α)+v0ZW=ZCv (19)
可转化为求最小值问题:
四.车辆实时速度获取
获取行人的安全状态除了行人的运动信息以外,还需要车辆本身的运动信息。由于车辆速度传感器价格相对昂贵,我们这里采用车辆防抱死制动系统(ABS,Anti-lock Braking System)的轮速传感器实现车辆实时速度的估计。该方法能够较好的应用于实际工程中,利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度。该方法实现简单,实时性强,所使用的信号可以从车辆自身ABS的轮速传感器中直接获得,因而无需附加其他传感设备,成本较低。
五.行人安全状态识别
1.构建机动车-行人冲突区域
在实现行人运动跟踪和状态预测的基础上,需要对行人安全区域进行判别与计算,从而实现安全状态识别。本部分内容首先利用冲突理论对行人与机动车的冲突区域进行了判别,在考虑相对速度和制动距离的基础上计算出行人安全区域。
参阅图5,考虑行人属于慢行交通,与机动车的交通冲突特性相似,将机动车和行人抽象为质点,以机动车的运动方向为y轴正向建立直角坐标系。机动车沿y轴正方向做直线运动,当行人在图中所示任意位置向车辆运动时,设机动车和行人的速度分别为v1、v2。
参阅图6,由于行人在某固定位置沿不同方向运动时,机动车所需的安全距离也不同。根据车辆实际运行特点,行人运动方向沿图中箭头所示,以机动车为圆心径向运动时,机动车所需安全距离最大,阴影外的部分都可能产生冲突。
参阅图7,由于在绝对坐标系中分别考虑两者的速度与角度,使得计算过程复杂,因此在研究中采用相对坐标系来进行分析。以机动车为参考基准,建立相对坐标系y′-x′,则机动车相对静止,行人以相对速度运动。这样就将两者的关系统一起来,当行人的相对速度方向变化时,机动车所需的安全距离也随之变化。从安全角度出发,行人与机动车相对位置关系确定的情况下,机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要,那么为了确定临界冲突区域半径,就需要寻找最大安全距离,并将其定义为临界冲突区域半径。在抽象为质点的情况下,只有当行人与机动车的相对速度与y轴负方向的夹角与相同时,为行人和机动车连线与y轴正方向的夹角;两者才会产生冲突。此时:其中vx和vy是相对速度在x和y方向上的分量。
2.相对运动冲突区域外安全状态判别
参阅图8,但是在实际交通中,由于车身有一定的宽度且制动以及反应需要一定时间,因此在计算危险区域时,应该对这些问题加以考虑,同时考虑到行人与机动车相对位置的不同,需要分别进行讨论。当行人在冲突区域外时,图中虚线框是冲突区域,而阴影部分是驾驶员反应和机动车制动所需要的时间内经过的区域,该区域与机动车车头的距离即为安全距离d,通过计算可得:v1是当前机动车的速度,a是机动车的制动系数,t是驾驶员制动的反应时间。而区域外行人沿着相对速度的方向运动,其相对运动轨迹如图中箭头所示。如果行人的运动轨迹不能进入冲突区域则行人处于安全状态;如果行人的运动轨迹进入冲突区域时,与机动车的距离小于安全距离,则该行人处于危险状态;如果行人的运动轨迹进入冲突区域时,与机动车的距离大于安全距离,则该行人处于安全状态。因此,根据上述原理,考虑机动车影响宽度为l,安全距离为d,可以得到:
3.相对运动冲突区域内安全状态判别
参阅图9,同理对行人已经处在冲突区域的情况也做了相应的研究设计。此时,若行人离开冲突区域而未进入危险区域,则不需要采取制动措施,否则需要采取紧急制动或采取其他措施避免发生事故发生,具体计算如下:
根据公式(23)可知,若判断行人仍将留在冲突区域中,即时,则需要根据行人与机动车的相对位置进行分类处理。同时考虑到提前预警等机制,因此需要增加一段缓冲距离d′,提醒驾驶员采取措施,参阅图10。图中,行人p1虽然在冲突区域中,但由于有足够的距离,机动车不需要采取措施;行人p2在缓冲区域中,机动车应该采取相应措施避免其进入危险区域,由此可得式(24)。
根据式(22)、式(23)、式(24),就可以利用当前视觉传感器获取的机动车与行人的相对速度以及相对位置,预测出行人是否会进入危险区域,并采取相应的策略避免发生事故。
Claims (3)
1.一种基于机器视觉的行人安全状态识别方法,其特征在于,所述的基于机器视觉的行人安全状态识别方法包括如下步骤:
1)车载动态视频图像的采集
安装在车辆前端的摄像机实时采集车辆前方的行人图像,并将行人图像实时传输给安装有图像处理系统的计算机;
2)车辆前方感兴趣区域行人检测与识别;
3)运动行人跟踪;
4)车辆前方行人距离检测计算;
5)车辆实时速度获取
利用轮速传感器获取的非驱动轮速乘以车轮滚动半径计算得到车辆运动速度;
6)行人安全状态识别
(1)临界冲突区域构建;
(a)以机动车为参考基准,建立相对坐标系,则机动车相对静止,行人以相对速度运动;
(b)当行人的相对速度方向变化时,机动车所需的安全距离也随之变化,从安全角度出发,行人与机动车相对位置关系确定的情况下,机动车的临界冲突区域半径应该满足行人速度方向任意变化的安全需要,那么为了确定临界冲突区域半径,就需要寻找最大安全距离,并将其定义为临界冲突区域半径,在抽象为质点的情况下,只有当行人与机动车的相对速度与y轴负方向的夹角与相同时,两者才会产生冲突,其中:为行人和机动车连线与y轴正方向的夹角;
(2)相对运动过程中行人位于冲突区域外安全状态判别;
(a)行人的运动轨迹不能进入冲突区域则行人处于安全状态;
(b)如果行人的运动轨迹进入冲突区域时,与机动车的距离小于安全距离,则行人处于危险状态;
(c)如果行人的运动轨迹进入冲突区域时,与机动车的距离大于安全距离,则行人处于安全状态;
(3)相对运动过程中行人位于冲突区域内安全状态判别处理;
在实际交通中,考虑到车身有一定的宽度且制动以及反应需要一定时间,同时考虑到行人与机动车相对位置的不同,需要分别进行判断处理:
(a)对行人已经处在冲突区域,若行人离开冲突区域而未进入危险区域,则不需要采取制动措施;
(b)若行人进入危险区域,则需要采取紧急制动或采取其他措施避免发生事故发生;
(c)若行人仍将留在冲突区域中,则需要根据行人与机动车的相对位置进行分类处理:
行人p1虽然在冲突区域中,但由于有足够的距离,机动车不需要采取措施;行人p2在缓冲区域中,机动车应该采取相应措施避免其进入危险区域,由此可得式
式中:y为坐标系内纵坐标值;d为安全距离;d′为缓冲距离。
2.按照权利要求1所述的基于机器视觉的行人安全状态识别方法,其特征在于,所述的车辆前方感兴趣区域行人检测与识别包括如下步骤:
1)图像像素梯度方向计算
对于图像中的任意点(x,y)的采用水平梯度算子[-1,0,1]计算水平方向梯度值Gh(x,y)和垂直梯度算子[-1,0,1]T计算垂直方向梯度值Gv(x,y):
Gh(x,y)=f(x+1,y)-f(x-1,y);Gv(x,y)=f(x,y+1)-f(x,y-1)
由此可得点(x,y)的梯度强度M(x,y)和梯度方向θ(x,y)分别为:
2)统计图像梯度方向直方图
首先计算图像中每个单元和每个块内各个方向的梯度值分布,然后将梯度方向定在0°到180°上分为9段,统计其梯度方向直方图,采用的单元大小为8*8的像素区域,每个块包含2*2个单元,并且一个块的扫描区域移动步长为一个单元的大小,具体的HOG特征提取如下:
(1)统计一个单元上的梯度直方图,即按照梯度值在梯度方向上的投影值累积画出;
(2)统计一个块上的梯度直方图,将单元上的梯度直方图串联起来;
(3)使用二范数归一化每个块的梯度直方图,以此来消除光照的过大影响;
(4)统计一个行人检测样本的HOG特征,即将一个检测样本上的所有块直方图串联起来;
3)行人样本与非行人样本的训练
计算每个行人和非行人检测样本的HOG特征,采用SVM分类器将行人和非行人两类样本特征向量映射到一个高维的空间里,并构建一区分两类样本的最优分类器;
4)感兴趣区域设定及行人的检测与识别
由于只检测识别道路前方的行人,对所拍摄图像只针对行人可能出现的区域做处理,采用多尺度变换方法对图像不同尺寸大小的区域进行扫描,对每一个单元按比例缩放后统计此区域内的梯度方向直方图,利用SVM分类器判断每一个区域HOG特征是否为可以匹配为行人样本HOG特征。
3.按照权利要求1所述的基于机器视觉的行人安全状态识别方法,其特征在于,所述的运动行人跟踪包括如下步骤:
1)特征表达
令M*N为分割的二值图像,任意一个前景目标R中像素点的f(i,j)均为1,则R的重心C坐标(xc,yc)可定义为:
式中:n为R内像素点个数,采用目标的重心点表征目标本身实现图像坐标系下的运动跟踪,利用目标的面积、周长构成紧密度特征,对其形状特性加以约束,R的紧密度S定义为:
式中:A为R的面积,即R内像素点个数n,L为R的周长,即R区域的边界点;利用运动目标的重心、速度、速度变化度、紧密度及紧密度变化对目标的状态进行描述,目标k时刻的状态特征向量可表达为:
在目标稳定出现于检测区域之后,利用前两个观测时刻的重心位置确定目标的速度,即:Vx,k=xc,k-xc,k-1,Vy,k=yc,k-yc,k-1,
其中,Vx,k,Vy,k分别为x,y方向的初始速度;
2)状态估计
找到使匹配距离最小的目标即为被跟踪的目标,受跟踪目标状态估计方程为:
式中:Δt为相邻观测时间间隔,为第L个已跟踪目标第t时刻重心坐标估计值,为第L个已跟踪目标第t-1时刻重心坐标,为t-1时刻匹配建立后对下一时刻的x、y方向预测速度,为已跟踪目标第t时刻的紧密度估计值,为已跟踪目标第t-1时刻的紧密度,为第t-1观测时刻对下一时刻预测的紧密度变化值,ω,ξ为估计误差;
3)特征匹配与更新
式中:为当前观测时刻与已跟踪目标匹配成功的物体的x、y方向速度变化值,为当前观测的物体速度,为上一时刻对当前时刻的预测速度,为当前观测时刻与已跟踪目标匹配成功的物体的紧密度,α、β分别为0到1的常数;同时对下一时刻的速度进行更新如下:
由此便可以在连续的时间序列上通过迭代算法实现连续跟踪;
4)遮挡处理
采用GM(1,1)灰色模型实现遮挡条件下的目标状态特征预测,GM(1,1)模型定义如下:
设有n个原始观测值:U0=[u0(1),u0(2),u0(3)L,u0(n)],通过累加可生成新序列U1=[u1(1),u1(2),u1(3)L,u1(n)],其中,(k=1,2,3,L,n),GM(1,1)模型相应的微分方程:
其中: 在得到估计参数之后,求微分方程,即可得到下列预测模型:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105615521A CN102096803B (zh) | 2010-11-29 | 2010-11-29 | 基于机器视觉的行人安全状态识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010105615521A CN102096803B (zh) | 2010-11-29 | 2010-11-29 | 基于机器视觉的行人安全状态识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102096803A CN102096803A (zh) | 2011-06-15 |
CN102096803B true CN102096803B (zh) | 2013-11-13 |
Family
ID=44129892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010105615521A Expired - Fee Related CN102096803B (zh) | 2010-11-29 | 2010-11-29 | 基于机器视觉的行人安全状态识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102096803B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220581A (zh) * | 2016-03-21 | 2017-09-29 | 福特全球技术公司 | 通过后置摄像机的行人检测和运动预测 |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6031735B2 (ja) * | 2011-06-13 | 2016-11-24 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
WO2013038531A1 (ja) * | 2011-09-14 | 2013-03-21 | トヨタ自動車株式会社 | 運転支援装置及び運転支援方法 |
WO2013042205A1 (ja) * | 2011-09-20 | 2013-03-28 | トヨタ自動車株式会社 | 歩行者行動予測装置および歩行者行動予測方法 |
EP2863359A4 (en) * | 2012-06-14 | 2015-11-11 | Toyota Motor Co Ltd | DISCRIMINATION CONTAINER GENERATION DEVICE AND PATTERN DETECTION DEVICE |
CN103077383B (zh) * | 2013-01-09 | 2015-12-09 | 西安电子科技大学 | 基于时空梯度特征的分部位的人体运动识别方法 |
DE102013000851B4 (de) * | 2013-01-21 | 2015-07-23 | Sew-Eurodrive Gmbh & Co Kg | Verfahren zum Betreiben einer Anlage und Anlage, insbesondere Fertigungsanlage |
JP5905846B2 (ja) * | 2013-03-29 | 2016-04-20 | 株式会社日本自動車部品総合研究所 | 横断判定装置およびプログラム |
DE102013207223A1 (de) * | 2013-04-22 | 2014-10-23 | Ford Global Technologies, Llc | Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern |
CN103248703B (zh) * | 2013-05-16 | 2016-01-13 | 中国农业大学 | 生猪行为自动监测系统及方法 |
CN104915628B (zh) * | 2014-03-14 | 2018-09-25 | 株式会社理光 | 基于车载相机的场景建模进行运动行人预测的方法和装置 |
WO2015177648A1 (en) | 2014-05-14 | 2015-11-26 | Ofer Springer | Systems and methods for curb detection and pedestrian hazard assessment |
JP6337646B2 (ja) * | 2014-06-26 | 2018-06-06 | 株式会社Jvcケンウッド | 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム |
CN104090658A (zh) * | 2014-07-04 | 2014-10-08 | 四川长虹电器股份有限公司 | 基于hog特征的人体图像检测方法 |
CN107004361B (zh) * | 2014-12-09 | 2020-03-27 | 三菱电机株式会社 | 碰撞风险计算装置、碰撞风险显示装置以及车体控制装置 |
CN105809707B (zh) * | 2014-12-30 | 2018-11-27 | 江苏慧眼数据科技股份有限公司 | 一种基于随机森林算法的行人跟踪方法 |
CN105809206A (zh) * | 2014-12-30 | 2016-07-27 | 江苏慧眼数据科技股份有限公司 | 一种行人跟踪方法 |
CN105844660A (zh) * | 2015-01-16 | 2016-08-10 | 江苏慧眼数据科技股份有限公司 | 一种基于空间brs的粒子滤波行人跟踪方法 |
CN106291630B (zh) * | 2015-05-29 | 2019-03-01 | 骑记(厦门)科技有限公司 | 漂移数据修正方法和装置 |
CN104951758B (zh) * | 2015-06-11 | 2018-07-13 | 大连理工大学 | 市区环境下基于视觉的车载行人检测与跟踪方法及系统 |
EP3144919B1 (de) * | 2015-09-18 | 2020-06-24 | Continental Automotive GmbH | Vorrichtung und verfahren zur anfahrassistenz für ein kraftfahrzeug |
US11459215B2 (en) * | 2015-12-01 | 2022-10-04 | Hong Kong R&D Centre for Logistics and Supply Chain Management Enabling Technologies Limited | Safety system for a machine |
CN105629785A (zh) * | 2015-12-30 | 2016-06-01 | 小米科技有限责任公司 | 智能汽车行驶控制方法及装置 |
CN105678806B (zh) * | 2016-01-07 | 2019-01-08 | 中国农业大学 | 一种基于Fisher判别的生猪行为轨迹自动跟踪方法 |
CN107025420A (zh) * | 2016-01-29 | 2017-08-08 | 中兴通讯股份有限公司 | 视频中人体行为识别的方法和装置 |
CN107180220B (zh) * | 2016-03-11 | 2023-10-31 | 松下电器(美国)知识产权公司 | 危险预测方法 |
CN106227204B (zh) * | 2016-07-08 | 2020-03-10 | 百度在线网络技术(北京)有限公司 | 车载装置及用于控制无人驾驶车辆的系统、方法和装置 |
CN106184108A (zh) * | 2016-07-27 | 2016-12-07 | 浙江吉利控股集团有限公司 | 一种车用行人保护安全系统及控制方法 |
CN106428000B (zh) * | 2016-09-07 | 2018-12-21 | 清华大学 | 一种车辆速度控制装置和方法 |
KR101967305B1 (ko) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템 |
CN106601027B (zh) * | 2016-12-27 | 2020-02-07 | 东软集团股份有限公司 | 封闭或半封闭道路的危险判断方法和装置 |
CN106846908B (zh) * | 2016-12-27 | 2020-08-07 | 东软集团股份有限公司 | 道路的危险判断方法和装置 |
DE102017103097A1 (de) | 2017-02-15 | 2018-08-16 | Konecranes Global Corporation | Automatisch geführtes Transportfahrzeug für Container und Verfahren zum Betreiben desselben sowie System mit einem automatisch geführten Transportfahrzeug |
CN107240167A (zh) * | 2017-04-10 | 2017-10-10 | 江苏车视杰电子有限公司 | 一种行车记录仪行人监控系统 |
CN107256382A (zh) * | 2017-05-19 | 2017-10-17 | 深圳佑驾创新科技有限公司 | 基于图像识别的虚拟保险杠控制方法和系统 |
JP6747389B2 (ja) * | 2017-06-29 | 2020-08-26 | 株式会社デンソー | 衝突推定装置および衝突推定方法 |
CN107247946B (zh) * | 2017-07-06 | 2021-01-26 | 北京安宁威尔科技发展有限公司 | 行为识别方法及装置 |
CN107886043B (zh) * | 2017-07-20 | 2022-04-01 | 吉林大学 | 视觉感知的汽车前视车辆和行人防碰撞预警系统及方法 |
JP6711329B2 (ja) * | 2017-08-09 | 2020-06-17 | トヨタ自動車株式会社 | 走行支援装置 |
CN109927626B (zh) * | 2017-12-15 | 2021-07-20 | 宝沃汽车(中国)有限公司 | 目标行人的检测方法、系统及车辆 |
CN110111515A (zh) * | 2018-02-01 | 2019-08-09 | 广州弘度信息科技有限公司 | 一种边界入侵检测方法、装置、服务器及系统 |
CN110197097B (zh) * | 2018-02-24 | 2024-04-19 | 北京图森智途科技有限公司 | 一种港区监控方法及系统、中控系统 |
JP6971187B2 (ja) * | 2018-03-28 | 2021-11-24 | 京セラ株式会社 | 画像処理装置、撮像装置、および移動体 |
CN108549880B (zh) * | 2018-04-28 | 2021-06-25 | 深圳市商汤科技有限公司 | 碰撞控制方法及装置、电子设备和存储介质 |
CN108860130B (zh) * | 2018-06-28 | 2020-03-24 | 中科安达(北京)科技有限公司 | 车辆制动系统复合控制的方法及系统 |
LU101647B1 (en) * | 2018-06-29 | 2020-08-04 | Univ Dalian Minzu | Road pedestrian classification method and top-view pedestrian risk quantitative method in two-dimensional world coordinate system |
CN108932587B (zh) * | 2018-06-29 | 2021-09-21 | 大连民族大学 | 二维世界坐标系的俯视行人风险量化系统 |
DE102018211042A1 (de) * | 2018-07-04 | 2020-01-09 | Robert Bosch Gmbh | Schnelle Erkennung gefährlicher oder gefährdeter Objekte im Umfeld eines Fahrzeugs |
CN108859935B (zh) * | 2018-07-10 | 2020-06-05 | 威马智慧出行科技(上海)有限公司 | 无人驾驶汽车及其提示装置和方法 |
CN109101914B (zh) * | 2018-08-01 | 2021-08-20 | 苏州飞搜科技有限公司 | 一种基于多尺度的行人检测方法和装置 |
CN109147389B (zh) * | 2018-08-16 | 2020-10-09 | 大连民族大学 | 自主汽车或者辅助驾驶系统规划路线的方法 |
CN108803626B (zh) * | 2018-08-16 | 2021-01-26 | 大连民族大学 | 自主汽车或者辅助驾驶系统规划路线的系统 |
CN109145807B (zh) * | 2018-08-16 | 2020-10-27 | 大连民族大学 | 判断道路行人为无磁力关系的方法及系统 |
CN108961838B (zh) * | 2018-08-16 | 2020-09-22 | 大连民族大学 | 道路行人分类系统 |
CN108985271B (zh) * | 2018-08-16 | 2021-10-08 | 大连民族大学 | 磁力模型的感兴趣行人判定方法 |
CN109147388B (zh) * | 2018-08-16 | 2020-07-31 | 大连民族大学 | 判断道路行人为吸力关系的方法及系统 |
CN109218667B (zh) * | 2018-09-08 | 2021-01-05 | 合刃科技(武汉)有限公司 | 一种公共场所安全预警系统和方法 |
JP6900942B2 (ja) * | 2018-09-26 | 2021-07-14 | 株式会社デンソー | ドライブレコーダ及び画像記憶システム |
CN109727273B (zh) * | 2018-12-29 | 2020-12-04 | 北京茵沃汽车科技有限公司 | 一种基于车载鱼眼相机的移动目标检测方法 |
CN109949568A (zh) * | 2019-01-29 | 2019-06-28 | 青岛科技大学 | 面向人自混行环境的行人安全预警方法及系统 |
CN109886215B (zh) * | 2019-02-26 | 2021-10-19 | 常熟理工学院 | 基于机器视觉的低速园区无人车巡航及紧急制动系统 |
CN109902624A (zh) * | 2019-02-27 | 2019-06-18 | 百度在线网络技术(北京)有限公司 | 用于呈现信息的方法和装置 |
CN109949355A (zh) * | 2019-03-14 | 2019-06-28 | 大连民族大学 | 单目视觉行人距离估计中建立半扇形等距线模型的方法 |
CN111753579A (zh) * | 2019-03-27 | 2020-10-09 | 杭州海康威视数字技术股份有限公司 | 指定代步工具的检测方法及装置 |
CN110245554B (zh) * | 2019-04-29 | 2021-06-29 | 中科智城(广州)信息科技有限公司 | 一种行人运动趋势的预警的方法、系统平台及存储介质 |
CN110275168B (zh) * | 2019-07-09 | 2021-05-04 | 厦门金龙联合汽车工业有限公司 | 一种多目标识别和防撞预警方法和系统 |
CN115398477A (zh) * | 2020-06-22 | 2022-11-25 | 辉达公司 | 立体成像的混合解决方案 |
CN111907520B (zh) * | 2020-07-31 | 2022-03-15 | 东软睿驰汽车技术(沈阳)有限公司 | 行人姿态识别方法、装置及无人驾驶汽车 |
CN112183221B (zh) * | 2020-09-04 | 2024-05-03 | 北京科技大学 | 一种基于语义的动态物体自适应轨迹预测方法 |
CN112084941A (zh) * | 2020-09-09 | 2020-12-15 | 国科天成(北京)科技有限公司 | 一种基于遥感图像的目标检测与识别方法 |
CN112435503B (zh) * | 2020-10-30 | 2022-02-15 | 江苏大学 | 一种辨识高危行人意图的智能汽车主动避撞方法 |
US20220156576A1 (en) * | 2020-11-13 | 2022-05-19 | Amir RASOULI | Methods and systems for predicting dynamic object behavior |
CN112258745B (zh) * | 2020-12-21 | 2021-04-02 | 上海富欣智能交通控制有限公司 | 移动授权终点确定方法、装置、车辆和可读存储介质 |
CN114911219A (zh) * | 2021-02-07 | 2022-08-16 | 华为技术有限公司 | 一种用于视觉传感器的控制指令生成方法及装置、控制方法及装置 |
CN114187764B (zh) * | 2022-02-16 | 2022-05-13 | 深圳佑驾创新科技有限公司 | 一种针对vru穿行场景的碰撞危险度快速检测方法 |
CN114639245B (zh) * | 2022-05-17 | 2022-08-09 | 华砺智行(武汉)科技有限公司 | 车辆与行人碰撞预警方法及装置 |
CN114999156A (zh) * | 2022-05-27 | 2022-09-02 | 北京汽车研究总院有限公司 | 车前行人横穿场景的自动识别方法、装置、介质和车辆 |
CN115273539B (zh) * | 2022-06-16 | 2024-01-30 | 中国第一汽车股份有限公司 | 一种基于v2x通信的车辆危险预警方法、装置和计算机可读存储介质 |
CN118124602A (zh) * | 2024-05-06 | 2024-06-04 | 广汽埃安新能源汽车股份有限公司 | 车辆的行人防撞预警方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1196546A (zh) * | 1997-04-17 | 1998-10-21 | 北京市东昌科技发展公司 | 车辆安全防护系统 |
CN101266132A (zh) * | 2008-04-30 | 2008-09-17 | 西安工业大学 | 基于mpfg运动矢量的行车障碍检测方法 |
CN101652802A (zh) * | 2007-04-02 | 2010-02-17 | 松下电器产业株式会社 | 安全驾驶支持装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
-
2010
- 2010-11-29 CN CN2010105615521A patent/CN102096803B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1196546A (zh) * | 1997-04-17 | 1998-10-21 | 北京市东昌科技发展公司 | 车辆安全防护系统 |
CN101652802A (zh) * | 2007-04-02 | 2010-02-17 | 松下电器产业株式会社 | 安全驾驶支持装置 |
CN101266132A (zh) * | 2008-04-30 | 2008-09-17 | 西安工业大学 | 基于mpfg运动矢量的行车障碍检测方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220581A (zh) * | 2016-03-21 | 2017-09-29 | 福特全球技术公司 | 通过后置摄像机的行人检测和运动预测 |
Also Published As
Publication number | Publication date |
---|---|
CN102096803A (zh) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102096803B (zh) | 基于机器视觉的行人安全状态识别系统 | |
Chen et al. | Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review | |
CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
EP3176541B1 (de) | Neigungserkennung bei zweirädern | |
EP3224819B1 (en) | Method of controlling a traffic surveillance system | |
CN103879404B (zh) | 可追踪移动物体的防撞警示方法及其装置 | |
KR102041734B1 (ko) | 딥 러닝 기반 교통 위반 단속 시스템 및 방법 | |
Cualain et al. | Automotive standards-grade lane departure warning system | |
Guo et al. | A multimodal ADAS system for unmarked urban scenarios based on road context understanding | |
CN103914688A (zh) | 一种城市道路障碍物识别系统 | |
CN105922990A (zh) | 一种基于云端机器学习的车辆环境感知和控制方法 | |
CN101881615A (zh) | 用于驾驶安全的视觉障碍物检测方法 | |
KR101663574B1 (ko) | 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템 | |
Ali et al. | Distance estimation and vehicle position detection based on monocular camera | |
CN106570487A (zh) | 物体间的碰撞预测方法和装置 | |
JP4116643B2 (ja) | 車両周囲の少なくとも1つの物体を分類する装置 | |
Cualain et al. | Multiple-camera lane departure warning system for the automotive environment | |
Jang | Pavement slipperiness detection using wheel speed and acceleration sensor data | |
Hovorushchenko et al. | Road Accident Prevention System | |
Carter et al. | Lateral and Tangential Accelerations of Left Turning Vehicles from Naturalistic Observations | |
Son et al. | Context Aware Vehicle Detection using Correlation Filter | |
CN107256382A (zh) | 基于图像识别的虚拟保险杠控制方法和系统 | |
Riera et al. | Detecting and tracking unsafe lane departure events for predicting driver safety in challenging naturalistic driving data | |
Tsuchiya et al. | Real-time vehicle detection using a single rear camera for a blind spot warning system | |
Jyothi et al. | Driver assistance for safe navigation under unstructured traffic environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131113 Termination date: 20161129 |
|
CF01 | Termination of patent right due to non-payment of annual fee |