CN107591026B - 一种行人检测及预警的方法 - Google Patents
一种行人检测及预警的方法 Download PDFInfo
- Publication number
- CN107591026B CN107591026B CN201710813732.6A CN201710813732A CN107591026B CN 107591026 B CN107591026 B CN 107591026B CN 201710813732 A CN201710813732 A CN 201710813732A CN 107591026 B CN107591026 B CN 107591026B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- pedestrian
- distance
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提供一种行人检测及预警的方法,其步骤为:获取图像数据;对待检测图像计算其特征图并提出感兴趣域,然后根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理;可编程门阵列器件进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储;可编程门阵列器件计算检测出来的行人目标与机动车的距离,同时检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离的影响,并判断预警。本发明一种行人检测及预警的方法根据检测到的信息判断前方出现行人的危险程度并给出预警。
Description
技术领域
本发明属于交通技术领域,具体涉及本发明涉及一种行人检测及预警的方法。
背景技术
世界上交通死亡者中一半是没有安全保护设施的行人,因此,做好行人的保护措施对减少事故死亡率起着举足轻重的作用。研究报告表明,如果在发生危险前多给驾驶人员1.5秒的反应时间,就可以减少90%以上的交通事故发生。因此如果在发生交通事故之前驾驶员能够得到及时的警示,则交通事故发生概率将大幅度减小。机动车行人检测预警系统作为车辆辅助驾驶技术中重要组成部分,在安全驾驶中扮演着重要角色。
行人检测是一个困难的任务,主要是因为行人的外观是高度可变的,如行人穿不同的衣服,携带不同的物体,不同的体型等;另外,现实生活中的背景太复杂,太阳光的强弱不同,行人的姿态不同,行人之间可能相互掩盖等,这些问题都会影响行人检测的精度和速度。人类的视觉系统可以在更为复杂的情况下完成目标检测任务。因此,模拟人类视觉完成行人检测的机理和机制,构建具有人类视觉智能的行人检测算法,是提高行人检测算法精度的重要途径。
目前行人检测系统一般分为外观特征提取和分类学习两部分。常用的外观特征如方向梯度直方图(HOG),Harr小波等。常用的分类学习方法有Adaboost集成学习、支持向量机(SVM),卷积神经网络(CNN)等。在辅助驾驶系统中对行人检测的实时性要求较高,现有方法的计算复杂度普遍较高,难以满足实时应用的需求。
发明内容
本发明为解决现有技术中的问题,提供一种行人检测及预警的方法。它能够根据行人运动状况和机动车行驶速度,利用检测时获取的信息估测人车距离,判断前方出现行人的危险程度并给出预警,提醒驾驶人,使驾驶人更加安全地行车。
本发明一种行人检测及预警的方法模拟人类视觉记忆机制,构建行人检测算法。根据行人运动状况和机动车行驶速度,利用检测时获取的信息估测人车距离,判断前方出现行人的危险程度并给出预警。
本发明采用的技术方案为:
一种行人检测及预警的方法,包括以下步骤:
a.获取图像数据;
b.首先对待检测图像计算其特征图并提出感兴趣域;
c,根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理;
d.进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储;
e.计算检测出来的行人目标与机动车的距离;
f.检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响;
g.判断行人与机动车的距离d与预警距离d1和制动距离d2之间的关系,并进行预警。
所述的一种行人检测及预警的方法,所述步骤c,根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理,具体步骤如下:
c1.根据各个感兴趣域的坐标值,提取出待检测图像块,定义为P,并将所有待检测图像块缩放到固定大小,其固定的大小优选的图像像素大小为112*48;
c2.把图像切分为M×N个无重叠子图像,M为7,N为3,T=(7*3);将这些子图像按照蛇形顺序排列以确保子图像信息之间的相关性,序列长度为T;定义子图像序列{p(1),……,p(T)};
c3.采用卷积神经网络对子图像做特征提取,输出256个特征图,特征图大小为输入图像的1/16,每个特征图中只有一个有效向量,
记为x(t)∈R256×1,t=1,…,T。
所述的一种行人检测及预警的方法,所述步骤c2中,所述子图像大小为16*16,M为7,N为3,T=(7*3)。
所述的一种行人检测及预警的方法,所述步骤d中,进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储,具体步骤如下:
d1.在PASCAL VOC数据集中对图像特征向量进行训练和学习,所述训练和学习采用基于支持向量机的训练方法,能够得到与人类视觉记忆特性相一致的序列排列;得到合理将特征序列{x(1),…,x(t)}的重新排序的特征序列
{x^(1),…,x^(T)},
其中x^(t)∈R256×1代表特征向量;
d2.根据重新排列的顺序,将行人图像划分为1区(躯干和手臂)、2区(头部)和3区(腿);行人躯干周围的特征——手臂被放置在特征序列的前面,这意味着1区域比其他两个区域更为重要,用于行人检测;因此,该模型将首先识别到1区;
d3.根据人眼视觉记忆模型重新定义特征向量顺序,可以提高行人检测效率,只要检测出排序在前面1/2特征向量,即能判断是否为行人;
d4.设定长短时记忆存储模块(LSTM)来存储重新排列后的特征向量序列,输入为{x^(1)……x^(T)}输出为{z(1)……z(T)},每个存储模块有16个存储单元,共有8个存储模块;
当有新的向量存储要到LSTM中时,开始以下计算:
所述的一种行人检测及预警的方法,所述步骤e,计算检测出来的行人目标与机动车的距离,该距离满足以下公式:
其中,d为机动车与行人的距离,f为摄像机的焦距;α是摄像机的俯仰角,h为摄像机镜头到路面的高度,(x0,y0)是该镜头的光轴与像平面的交点,为像平面坐标系原点;(x,y)为行人在像平面上的投影坐标。
所述的一种行人检测及预警的方法,所述步骤f,检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响,具体计算步骤如下:
f1.将驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间与制动距离分别记为t1、t2、t3、t4、d2,汽车速度和最大制动加速度分别用v和a表示;
f2.通过以下公式计算出驾驶员和汽车反应时间内行驶距离,其公式为:
s1=v(t1+t2);
f3.通过以下公式计算出加速度增长过程中行驶距离,其公式为为:
f4.通过以下公式计算出以最大加速度减速行驶的时间和距离,其公式为:
f5.通过以下公式计算出安全距离为上述距离之和,其公式为:
s=s1+s2+s3。
所述的一种行人检测及预警的方法,所述步骤g,判断行人与机动车的距离d与预警距离d1和制动距离d2之间的关系,并进行预警,具体内容如下:
本发明与现有技术相比具有的效果为:
本发明一种行人检测及预警的方法模拟人类视觉完成行人检测的机理和机制,构建具有人类视觉智能的行人检测算法,提高了行人检测算法精度。同时根据行人运动状况和机动车行驶速度,利用检测时获取的信息估测人车距离,判断前方出现行人的危险程度并给出预警,使驾驶人能够更加安全地驾驶。
具体实施方式
下面结合具体实施例对本发明作进一步的说明。
一种行人检测及预警的方法,包括以下步骤:
a,获取图像数据;
b,首先对待检测图像计算其特征图并提出感兴趣域;
c,根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理;
d,进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储;
e,计算检测出来的行人目标与机动车的距离;
f,检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响;
g,判断行人与机动车的距离d与预警距离d1和制动距离d2之间的关系,并进行预警。
所述c根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理,具体步骤如下:
(c1)根据各个感兴趣域的坐标值,提取出待检测图像块,定义为P,并将所有待检测图像块缩放到固定大小,其固定的大小优选的图像像素大小为112*48;
(c2)把图像切分为M×N个无重叠子图像,优选的子图像大小为16*16,M为7,N为3,T=(7*3);将这些子图像按照蛇形顺序排列以确保子图像信息之间的相关性,序列长度为T;定义子图像序列{p(1),……,p(T)};
(c3)采用卷积神经网络对子图像做特征提取,输出256个特征图,特征图大小为输入图像的1/16,每个特征图中只有一个有效向量,记为x(t)∈R256×1,t=1,…,T。
所述d,进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储,具体步骤如下:
(d1)在PASCAL VOC数据集中对图像特征向量进行训练和学习,所述训练和学习采用基于支持向量机的训练方法,能够得到与人类视觉记忆特性相一致的序列排列;得到合理将特征序列{x(1),…,x(t)}的重新排序的特征序列{x^(1),…,x^(T)},
其中x^(t)∈R256×1代表特征向量:
(d2)根据重新排列的顺序,将行人图像划分为1区(躯干和手臂)、2区(头部)和3区(腿);行人躯干周围的特征——手臂被放置在特征序列的前面,这意味着1区域比其他两个区域更为重要,用于行人检测;因此,该模型将首先识别到1区;
(d3)根据人眼视觉记忆模型重新定义特征向量顺序,可以提高行人检测效率,只要检测出排序在前面1/2特征向量,即能判断是否为行人;
(d4)设定长短时记忆存储模块(LSTM)来存储重新排列后的特征向量序列,输入为{^x(1)……^x(T)}输出为{z(1)……z(T)},每个存储模块有16个存储单元,共有8个存储模块;
当有新的向量存储要到LSTM中时,开始以下计算:
所述e,计算检测出来的行人目标与机动车的距离,该距离满足以下公式:
其中,d为机动车与行人的距离,f为摄像机的焦距;α是摄像机的俯仰角,h为摄像机镜头到路面的高度,(x0,y0)是该镜头的光轴与像平面的交点,为像平面坐标系原点;(x,y)为行人在像平面上的投影坐标。
所述f,检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响,具体计算步骤如下:
(f1)将驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间与制动距离分别记为t1、t2、t3、t4、d2,汽车速度和最大制动加速度分别用v和a表示;
(f2)通过以下公式计算出驾驶员和汽车反应时间内行驶距离,
其公式为:s1=v(t1+t2);
(f3)通过以下公式计算出加速度增长过程中行驶距离,其公式为:
(f4)通过以下公式计算出以最大加速度减速行驶的时间和距离,
(f5)通过以下公式计算出安全距离为上述距离之和,其公式为:
s=s1+s2+s3。
市区车速一般在60km/h,根据经验数据t1=1s,t2=t3=0.2s,a=7.0m/s2。经过计算可得到不同速度下的制动距离(记为d1)如表1所示:
表1不同速度下的制动距离
速度(km/h) | 20 | 30 | 40 | 50 | 60 | 70 |
制动距(m) | 9.52 | 15.71 | 23.23 | 31.87 | 41.63 | 52.10 |
表1给出的是一定车速刹车距离,是警戒距离,需要立即采取制动操作,为保证安全,系统需提前预警提醒,1s的提取预警可以保证安全,得到预警距离(记为d2)如表2所示:
表2不同速度下的预警距离
速度(km/h) | 20 | 30 | 40 | 50 | 60 | 70 |
制动距(m) | 15.08 | 24.04 | 34.34 | 45.76 | 58.29 | 71.54 |
所述g,判断行人与机动车的距离d与预警距离d1和制动距离d2之间的关系,并进行预警,具体内容如下:
本发明的工作过程为:
获取图像数据;对待检测图像计算其特征图并提出感兴趣域,然后根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理;可编程门阵列器件进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储;可编程门阵列器件计算检测出来的行人目标与机动车的距离,同时检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离的影响,并判断预警。
Claims (6)
1.一种行人检测及预警的方法,其特征在于,包括以下步骤:
a.获取图像数据;
b.首先对待检测图像计算其特征图并提出感兴趣域;
c,根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理;
d.进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储;
e.计算检测出来的行人目标与机动车的距离;
f.检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响;
g.判断行人与机动车的距离d与预警距离d1和制动距离d2之间的关系,并进行预警;
所述步骤d中,进行行人检测时,采用存储中的图像特征序列顺序对待检测图像进行特征提取和分类判断,并更新图像特征序列顺序重新存储,具体步骤如下:
d1.在PASCAL VOC数据集中对图像特征向量进行训练和学习,所述训练和学习采用基于支持向量机的训练方法,能够得到与人类视觉记忆特性相一致的序列排列;得到合理将特征序列{x(1),…,x(t)}的重新排序的特征序列
其中x^(t)∈R256×1代表特征向量;
d2.根据重新排列的顺序,将行人图像划分为1区:躯干和手臂、2区:头部和3区:腿;行人躯干周围的特征——手臂被放置在特征序列的前面,这意味着1区域比其他两个区域更为重要,用于行人检测;因此,行人躯干特征检测模型将首先识别到1区;
d3.根据人眼视觉记忆模型重新定义特征向量顺序,可以提高行人检测效率,只要检测出排序在前面1/2特征向量,即能判断是否为行人;
d4.设定长短时记忆存储模块LSTM来存储重新排列后的特征向量序列,并将重新排列后的特征向量序列{x^(1)……x^(T)}作为输入,输出为{z(1)……z(T)},每个存储模块有16个存储单元,共有8个存储模块;
当有新的向量存储要到LSTM中时,开始以下计算:
2.如权利要求1所述的一种行人检测及预警的方法,其特征在于,所述步骤c,根据感兴趣域提取出待检测图像块,并对所述待检测图像块进行处理,具体步骤如下:
c1.根据各个感兴趣域的坐标值,提取出待检测图像块,定义为P,并将所有待检测图像块缩放到固定大小,其固定的大小优选的图像像素大小为112*48;
c2.把图像切分为M×N个无重叠子图像,M为7,N为3,T=(7*3);将这些子图像按照蛇形顺序排列以确保子图像信息之间的相关性,序列长度为T;定义子图像序列{p(1),……,p(T)};
c3.采用卷积神经网络对子图像做特征提取,输出256个特征图,特征图大小为输入图像的1/16,每个特征图中只有一个有效向量,记为x(t)∈R256×1,t=1,…,T。
3.如权利要求2所述的一种行人检测及预警的方法,其特征在于,所述步骤c2中,所述子图像大小为16*16,M为7,N为3,T=(7*3)。
5.如权利要求1所述的一种行人检测及预警的方法,其特征在于,所述步骤f,检测出驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间对制动距离d2的影响,具体计算步骤如下:
f1.将驾驶员反应时间、制动器反应时间、制动加速度增长时间和最大制动加速度时间与制动距离分别记为t1、t2、t3、t4、d2,汽车速度和最大制动加速度分别用v和a表示;
f2.通过以下公式计算出驾驶员和汽车反应时间内行驶距离,其公式为:
s1=v(t1+t2);
f4.通过以下公式计算出以最大加速度减速行驶的时间和距离,其公式为:
f5.通过以下公式计算出安全距离为上述距离之和,其公式为:s=s1+s2+s3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710813732.6A CN107591026B (zh) | 2017-09-11 | 2017-09-11 | 一种行人检测及预警的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710813732.6A CN107591026B (zh) | 2017-09-11 | 2017-09-11 | 一种行人检测及预警的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107591026A CN107591026A (zh) | 2018-01-16 |
CN107591026B true CN107591026B (zh) | 2021-04-02 |
Family
ID=61051684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710813732.6A Active CN107591026B (zh) | 2017-09-11 | 2017-09-11 | 一种行人检测及预警的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107591026B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112596388B (zh) * | 2020-12-18 | 2023-03-21 | 武汉理工大学 | 一种基于驾驶员数据的lstm神经网络aeb系统控制方法 |
CN114821968B (zh) * | 2022-05-09 | 2022-09-13 | 西南交通大学 | 动车司机疲劳驾驶干预方法、装置、设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102765365A (zh) * | 2011-05-06 | 2012-11-07 | 香港生产力促进局 | 基于机器视觉的行人检测方法及行人防撞预警系统 |
DE102011078615A1 (de) * | 2011-07-04 | 2013-01-10 | Toyota Jidosha K.K. | Objekterfassungsvorrichtung und objekterfassungsprogramm |
CN103204123A (zh) * | 2013-03-25 | 2013-07-17 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警装置及其预警方法 |
CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及系统 |
CN104210489B (zh) * | 2014-09-16 | 2017-06-13 | 武汉理工大学 | 车路协同环境下车辆与行人碰撞规避方法与系统 |
-
2017
- 2017-09-11 CN CN201710813732.6A patent/CN107591026B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102765365A (zh) * | 2011-05-06 | 2012-11-07 | 香港生产力促进局 | 基于机器视觉的行人检测方法及行人防撞预警系统 |
DE102011078615A1 (de) * | 2011-07-04 | 2013-01-10 | Toyota Jidosha K.K. | Objekterfassungsvorrichtung und objekterfassungsprogramm |
CN103204123A (zh) * | 2013-03-25 | 2013-07-17 | 中国电子科技集团公司第三十八研究所 | 一种车辆行人检测跟踪预警装置及其预警方法 |
CN104210489B (zh) * | 2014-09-16 | 2017-06-13 | 武汉理工大学 | 车路协同环境下车辆与行人碰撞规避方法与系统 |
CN105138998A (zh) * | 2015-09-07 | 2015-12-09 | 上海交通大学 | 基于视角自适应子空间学习算法的行人重识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107591026A (zh) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109117701B (zh) | 基于图卷积的行人意图识别方法 | |
WO2019223582A1 (en) | Target detection method and system | |
US10489691B2 (en) | Fixation generation for machine learning | |
CN111460919B (zh) | 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法 | |
CN110765922A (zh) | 一种agv用双目视觉物体检测障碍物系统 | |
CN110969064B (zh) | 一种基于单目视觉的图像检测方法、装置及存储设备 | |
CN107315998B (zh) | 基于车道线的车辆种类划分方法和系统 | |
CN105206109A (zh) | 一种基于红外ccd的车辆雾天识别预警系统及方法 | |
CN109334563A (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
CN104157160B (zh) | 车辆行驶控制方法、装置及车辆 | |
CN106897677B (zh) | 一种车辆特征分类检索系统和方法 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
CN109919074A (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
JP2016009487A (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
CN107591026B (zh) | 一种行人检测及预警的方法 | |
CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
CN105718904A (zh) | 基于组合特征与车载摄像头的盲人检测与识别方法与系统 | |
Xiao et al. | Detection of drivers visual attention using smartphone | |
CN108133231B (zh) | 一种尺度自适应的实时车辆检测方法 | |
Reza et al. | An ai-based real-time roadway-environment perception for autonomous driving | |
CN104966064A (zh) | 基于视觉的前方行人测距方法 | |
CN117351298A (zh) | 一种基于深度学习的矿山作业车辆检测方法及系统 | |
Muthalagu et al. | Object and Lane Detection Technique for Autonomous Car Using Machine Learning Approach | |
CN115205813A (zh) | 一种基于卷积神经网络的多视角道路车辆匹配系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |