CN117079247A - 一种具有风险规避功能的公交车盲区行人检测方法 - Google Patents
一种具有风险规避功能的公交车盲区行人检测方法 Download PDFInfo
- Publication number
- CN117079247A CN117079247A CN202310952718.XA CN202310952718A CN117079247A CN 117079247 A CN117079247 A CN 117079247A CN 202310952718 A CN202310952718 A CN 202310952718A CN 117079247 A CN117079247 A CN 117079247A
- Authority
- CN
- China
- Prior art keywords
- bus
- pedestrian
- blind area
- risk
- chip microcomputer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 230000000007 visual effect Effects 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 48
- 206010039203 Road traffic accident Diseases 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/043—Allowing translations
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
- F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
- B60R2011/008—Adjustable or movable supports
- B60R2011/0092—Adjustable or movable supports with motorization
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
Abstract
一种具有风险规避功能的公交车盲区行人检测方法,具体包括以下步骤:(一)在公交车的头部车顶上方加装一种具有风险规避功能的公交车盲区行人检测装置;(二)公交车正常行进时,采集公交车的视野盲区图像;(三)对视野盲区图像进行检测,得到目标行人的实时位置信息;(四)目标行人位置在公交车视野盲区内时,输出报警信息;(五)目标行人位置未处于公交车视野盲区内时,对目标行人轨迹进行预测;(六)根据预测信息,当目标行人的轨迹进入公交车视野盲区时,输出报警信息。本发明能够有效进行公交车盲区行人识别,通过声光报警器提醒司机注意行车安全,避免发生交通事故,还具备风险规避功能和紧急避险功能。
Description
技术领域
本发明涉及辅助驾驶技术领域,具体的说,涉及一种具有风险规避功能的公交车盲区行人检测方法。
背景技术
随着中国经济的腾飞和城市化的不断加深,城镇人口数量也随之不断地增加,这就为城市的交通安全增添了许多压力。公交车作为在城市街道中行驶的大型车辆,由于其存在比较大的视野盲区以及其他车辆的遮挡,在机动车道起步时无法清楚的看到两侧车道行人的运动情况从而无法及时制动引发安全事故。正是由于城市复杂的道路交通情况,需要一种外接在公交车头部的辅助装置,既可以辅助司机对盲区行人状况进行判断同时又能够规避城市复杂的道路交通环境,避免辅助装置因此发生碰撞损坏。
申请号“202210489436.6”公开了一种基于YOLOv5的行人识别方法,该方法通过安装在乘用车上的摄像头采集道路图像,通过驾驶舱内的车载终端对车辆视野盲区的图像进行识别并跟踪行人位置信息,当行人处于盲区的风险区域时发出报警信息提醒司机注意规避行人以避免发生交通事故。
申请号“201822174302.7”公开了一种车辆盲区检测报警系统,该系统通过安装在大型车辆车头前端的行人识别传感器来识别盲区行人位置,当车辆停止移动时,行人检测装置开始工作检测盲区内是否有行人存在,当检测到行人存在时车辆两侧的行车灯发出灯光闪烁,提醒司机注意盲区存在行人,从而避免安全事故的发生。
从现有的专利来看,大多数通过盲区行人检测来辅助驾驶的专利都只适用于乘用车,没有考虑到大型车辆在盲区行人检测方面需要外加装置来扩展摄像头拍摄范围来覆盖司机视野盲区的需求;申请号“201822174302.7”虽然应用于大型车辆,但其对大型车辆盲区行人检测依靠行人识别传感器,该方法容易出现漏检测等情况且不能实现大型车辆行进过程中的检测。
发明内容
本发明的目的是提供一种具有风险规避功能的公交车盲区行人检测方法,本发明能够有效进行公交车盲区行人识别,通过声光报警器提醒司机注意行车安全,避免发生交通事故,还具备风险规避功能和紧急避险功能。
为实现上述目的,本发明采用如下技术方案:
一种具有风险规避功能的公交车盲区行人检测方法,具体包括以下步骤:
(一)在公交车的头部车顶上方加装一种具有风险规避功能的公交车盲区行人检测装置,所述具有风险规避功能的公交车盲区行人检测装置包括动力伸缩架、行人识别模块、声光报警器和嵌入式单片机;
(二)公交车正常行进时,动力伸缩架处于工作状态,嵌入式单片机获取行人识别模块所采集的公交车的视野盲区图像,同时所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险及紧急避险;
(三)嵌入式单片机对视野盲区图像进行检测,得到目标行人的实时位置信息;
(四)根据目标行人当前位置信息确定目标行人位置在公交车视野盲区内时,嵌入式单片机控制声光报警器输出报警信息;
(五)根据目标行人当前位置信息确定目标行人位置未处于公交车视野盲区内时,嵌入式单片机采用卡尔曼滤波器对目标行人轨迹进行预测;
(六)根据预测信息,当目标行人的轨迹进入公交车视野盲区时,嵌入式单片机控制声光报警器输出报警信息。
所述具有风险规避功能的公交车盲区行人检测装置还包括环境识别模块、地理位置识别模块和紧急避险模块,动力伸缩架安装在公交车的头部外车顶上,行人识别模块、环境识别模块和紧急避险模块均设置在动力伸缩架上,声光报警器和嵌入式单片机均安装在公交车内天花板上且位于动力伸缩架的正下方,地理位置识别模块安装在嵌入式单片机上,嵌入式单片机分别与动力伸缩架、行人识别模块、声光报警器、环境识别模块、地理位置识别模块和紧急避险模块信号连接。
所述动力伸缩架包括前后伸缩机构和抬升机构,前后伸缩机构沿前后方向设置在公交车的头部车顶上方,前后伸缩机构的后端转动安装在公交车车顶上,抬升机构安装在公交车的头部车顶上且位于前后伸缩机构的下方,抬升机构的上端与前后伸缩机构的下部连接并驱动前后伸缩机构抬升;
前后伸缩机构包括伸缩基座、动子座、动子和伸缩杆,伸缩基座沿前后方向设置在公交车的头部车顶上方,公交车的头部车顶上固定安装有两个轴承座,两个轴承座左右间隔设置在伸缩基座的后端部左右两侧,伸缩基座的左侧面和右侧面后下部均固定设置有沿左右方向水平设置的转轴,两根转轴分别对应转动安装在两个轴承座上,伸缩基座的上面中部沿前后方向开设有导向滑槽,伸缩基座的上表面上沿前后方向还设置有两条直线导轨,两条直线导轨左右间隔且对称设置在导向滑槽的左右两侧,动子座前后滑动安装在两条直线导轨上,动子固定设置在动子座的下侧面中部且匹配滑动嵌设在导向滑槽中,导向滑槽的槽底固定设置有若干块前后等距设置的定子,定子为长方体状的永磁体,定子上方覆盖有盖板,动子内置有线圈,动子座上设置有与动子电线连接的电线接口,电线接口外接电线提供电源给动子,伸缩基座的前侧面中上部固定设置有挡在导向滑槽前端的前挡板,伸缩基座的后侧面中上部设置有挡在导向滑槽后端的后挡板,前挡板和后挡板的上侧边均高于直线导轨的上侧边,前挡板的中部设有前后通透的导向孔,伸缩杆沿前后方向贯穿导向孔设置,伸缩杆的后端固定安装在动子座的前侧面中部,伸缩杆的前端部固定设置有位于前挡板前方的摄像支架,前挡板的后侧面左侧部、右侧部和后挡板的前侧面中部均固定设置有位于导向滑槽内的防撞器,防撞器为采用橡胶或海绵制成的圆柱垫,伸缩基座的上面左侧边缘还固定设置有两个前后间隔的限位器,前侧的限位器位于动子座前侧并靠近前挡板,后侧的限位器位于动子座后侧并靠近后挡板,限位器的高度低于动子座的底部,限位器的触片设置在限位器的上面,动子座在直线导轨上滑动经过限位器上方时,动子座的底部压限位器的触片并使限位器的触片闭合,嵌入式单片机分别与动子和限位器信号连接;
抬升机构包括底座、顶座、两根第一连杆、两根第二连杆、旋转减速电机、丝杠和螺母,底座和顶座均为矩形框架结构,顶座和底座上下间隔设置在伸缩基座的下方,顶座固定安装在伸缩基座的下表面,底座固定安装在公交车的头部车顶上,两根第一连杆左右间隔且前高后低倾斜设置在底座和顶座之间,两根第二连杆左右间隔且前低后高倾斜设置在底座和顶座之间,第一连杆与第二连杆左右错开设置,底座上固定设置有两条左右间隔且沿前后方向设置的底导轨,两条底导轨分别与两根第一连杆一一上下对应,顶座上固定设置有两条左右间隔且沿前后方向设置的顶导轨,两条顶导轨分别与两根第二连杆一一上下对应,两根第一连杆的前端铰接在顶座的下侧前侧部,两根第一连杆的后端均转动连接有第一转动轮,两个第一转动轮分别对应滚动连接在两条底导轨上,两根第二连杆的前端铰接在底座的上侧前侧部,两根第二连杆的后端均转动连接有第二转动轮,两个第二转动轮分别对应滚动连接在两条顶导轨上,底座内前侧部固定连接有水平支板,水平支板的后侧部和底座的后侧边框上均固定设置有位于两条底导轨中间的耳板支座,两个耳板支座前后对应,旋转减速电机固定安装在水平支板上且位于前侧的耳板支座的前方,丝杠沿前后方向设置且其两端分别转动安装在两个耳板支座上,旋转减速电机的电机轴同轴传动连接丝杠的前端,螺母螺纹套装在丝杠上,螺母位于两个第一转动轮的中间,螺母与两个第一转动轮的中心轴之间均固定连接有一根联动轴,嵌入式单片机与旋转减速电机信号连接。
行人识别模块包括两个行人识别摄像头,行人识别摄像头为红外摄像头,两个行人识别摄像头分别对应设置在摄像支架的左右两侧面;
环境识别模块包括环境识别照相机,环境识别照相机设置在摄像支架的中部;
地理位置识别模块包括GPS定位器,GPS定位器安装在嵌入式单片机上;
紧急避险模块包括碰撞传感器,碰撞传感器安装在伸缩杆的前端,碰撞传感器的外部安装有海绵垫;
嵌入式单片机分别与行人识别摄像头、环境识别照相机、GPS定位器和碰撞传感器信号连接。
步骤(二)具体为:公交车行驶中,动力伸缩架处于工作状态:两根第一连杆、两根第二连杆将顶座顶起,使伸缩基座处于正常工作抬起角度,同时动子通过电线接口与外接电线连通,嵌入式单片机控制动子内线圈的电流方向,使动子产生磁场与定子的磁场相互作用产生推力,动子带动动子座沿着直线导轨向前滑动至直线导轨前端,动子座被前挡板挡住限位,伸缩杆在动子座的带动下完全向前伸出,两个行人识别摄像头向前上伸至公交车的头部车顶前上方;两个行人识别摄像头实时拍摄公交车车头处两侧的视野盲区图像并将所拍摄的视野盲区图像传给嵌入式单片机,当行车环境较暗时,例如雨天、夜晚、隧道这些环境下,行人识别摄像头自动开启红外模式,确保拍摄到的视野盲区图像足够清晰可以用于目标行人检测;
公交车在行进过程中,所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险按以下两种工作模式进行:
第一种工作模式,利用环境识别照相机实现自动规避碰撞风险;
第二种工作模式,利用GPS定位器实现自动规避碰撞风险;
所述具有风险规避功能的公交车盲区行人检测装置通过处理碰撞传感器收集的碰撞信息实现紧急避险。
步骤(三)具体为:嵌入式单片机采用YOLOv5算法的YOLOv5s模型对获取的公交车的视野盲区图像进行检测,获取目标行人对应的当前目标框,得到当前目标行人的位置,实际中,公交车车辆周围可能存在多个行人,因此,嵌入式单片机对视野盲区图像进行检测时,可以得到多个行人分别对应的多个当前位置信息,其中,目标行人指的是上述多个行人中的任一行人。
步骤(四)具体为:由于其他行驶中的车辆对公交车视野盲区图像的遮挡,行人可能突然出现在公交车视野盲区范围内,经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头的拍摄范围内并位于公交车的视野盲区时,其中,行人识别摄像头的拍摄范围完全覆盖了公交车的视野盲区范围,公交车的视野盲区根据不同车型、不同工作条件进行自定义,即用户可以事先通过行人识别摄像头拍摄画面确定公交车的视野盲区范围,再将确定好的视野盲区范围储存在嵌入式单片机的配置文件中,视野盲区按与公交车的距离大小进一步划分为高危区域和低危区域,当检测到目标行人位于低危区域时,嵌入式单片机控制声光报警器低频工作并发出预警信息提醒司机有行人进入视野盲区范围;当检测到目标行人位于高危区域时,嵌入式单片机控制声光报警器高频工作,声光报警器加快灯光的闪烁频率并增大警铃分贝提醒司机注意视野盲区目标行人位置,以规避可能发生的交通事故。
步骤(五)具体为:经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头的拍摄范围内并未位于公交车的视野盲区时,表明该行人并没有处于危险状态,此时嵌入式单片机将YOLOv5检测到的目标行人位置信息和目标框信息同步到DeepSORT目标跟踪算法,DeepSORT目标跟踪算法通过卡尔曼滤波器预测目标行人轨迹,DeepSORT目标跟踪算法预测目标行人轨迹过程包括以下步骤:
(1)运动状态预测:卡尔曼滤波器基于当前帧的目标行人位置来预测下一帧的目标行人位置,此时被预测的目标行人轨迹为未确认态,在任一视频帧中采用八维状态向量X=[u,v,r,h,u',v',r',h']作为目标行人轨迹预测的模型,其中[u,v]分别表示目标边框在画面中的水平位置和垂直位置,[r,h]分别表示目标边框的长宽比和高度,其余四个参数为对应的速度信息;
(2)运动状态更新:对未确认态的目标行人轨迹进行IOU匹配,并得到最优结果,其中最优结果一共有三种情况:
当匹配结果为轨迹失配,即该目标行人有轨迹而没有对应的检测框,若其帧数N小于最大跟丢帧数30,则保留在跟踪链中,否则删除该目标;
当匹配结果为检测失配,即该目标行人有检测框而没有对应的轨迹,则判定为新目标行人,此时创建该目标行人的轨迹;
当匹配结果为成功匹配,使用卡尔曼滤波器更新该目标行人的轨迹,此时被预测的目标行人轨迹为确认态;
(3)级联匹配:将确认态的目标行人轨迹和所对应的时间参数进行级联匹配,每个时间参数都有其对应的跟踪目标行人轨迹,每个目标行人轨迹都会设定优先级参数,如果目标行人轨迹匹配失败,则该目标行人轨迹的时间参数加1,否则置0,目标行人轨迹的时间参数越小其优先权越高,对前一帧最先匹配的目标行人轨迹赋予高的优先权,反之目标行人轨迹的时间参数较大的代表目标行人轨迹匹配几率较低,对于连续几帧未匹配的目标行人轨迹,其优先权将会被逐渐降低并最终删除该目标行人轨迹,此时完成对该目标行人的轨迹预测。
所述具有风险规避功能的公交车盲区行人检测装置利用环境识别照相机实现自动规避碰撞风险的具体流程为:
第一步、训练图像获取:嵌入式单片机通过环境识别照相机获取公交车行进固定路线上的目标区域图像或者直接向嵌入式单片机中传输已经拍摄好的目标区域图像作为训练图像,其中,目标区域包括伸缩杆收回区域和伸缩杆伸出区域,伸缩杆收回区域为公交车行进过程中伸缩杆可能存在碰撞风险的区域,伸缩杆伸出区域为公交车驶出伸缩杆可能存在碰撞风险的区域,训练图像包括伸缩杆收回区域图像和伸缩杆伸出区域图像,训练图像在公交车的固定行驶路线上拍摄,每个拍摄地点均拍摄20至50幅图像;
第二步、提取SURF特征:嵌入式单片机利用改进的SURF对经过灰度化处理的训练图像进行特征识别,识别过程具体如下:
(A)生成Hessian矩阵:Hessian矩阵是改进的SURF算法的核心,其作用为生成图像稳定的边缘点,是特征提取的基础,图像中的每一个像素点都可以求出一个Hessian矩阵;在SURF算法中,由于特征提取过程中特征点需要具备尺度无关性,所以在进行Hessian矩阵构造前,需要对图像中的每一个像素点进行滤波,消除像素点的相关性,再进行Hessian矩阵的计算,其中滤波器选用盒子滤波器;
(B)构建尺度空间:通过改变盒子滤波器的大小,用不同大小的滤波同原始图像在不同方向上做卷积,形成多尺度的空间,提取像素点周围的图像特征;
(C)定位特征点:将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的特征点;
(D)选取特征点主方向:以特征点为中心,以6δ为半径得到特征点的圆形邻域,以45°扇形为单位,统计扇形区域内所有像素对Haar小波的累加值并得到一个特征子矢量,Haar小波大小为2δ×2δ,然后45°扇形以45°的间隔进行旋转,旋转一周后,八个45°扇形区域共得到八个Haar小波累加值和八个特征子矢量,比较得到的八个Haar小波累加值,选取最大的Haar小波累加值所对应的特征子矢量方向为主方向;
(E)生成特征描述子:从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取8个扇形区域的特征值矢量,得到4×8=32维的特征描述子;
第三步、生成离线视觉词袋:
利用K-means聚类算法对所有训练图像进行特征聚类,然后将若干聚类中心作为视觉单词生成目标区域的离线视觉词袋,并得到离线视觉词袋直方图,并进行归一化处理,为适应不同城市道路环境下的匹配需求和用户的实际应用情况,聚类中心k的范围设置在150至250,在综合查准率和检索效率后,这里设定聚类中心k=200,聚类中心k为离线视觉词袋的大小;
第四步、输入实时路况图像:
环境识别照相机将公交车行驶过程中的实时环境图像输入嵌入式单片机内,环境识别照相机的拍照频率为1Hz至10Hz,嵌入式单片机用上述第三步中同样的视觉词袋构建算法对输入的实时环境图像进行处理,生成实时环境图像的视觉词袋模型并得到实时视觉词袋直方图;
第五步、计算相似度:
将离线视觉词袋直方图与实时视觉词袋直方图进行比对,计算离线视觉词袋直方图与实时视觉词袋直方图的相似度,若计算所得的相似度小于预设阈值,则返回上一步继续进行实时路况图像的收集,若相似度大于预设阈值,则利用SVM对此时刻环境图像进行分类,输出离线图库中相似度最高的图片;
相似度计算公式为:
其中,H1为离线视觉词袋直方图;H2为实时视觉词袋直方图;H1(i)代表离线视觉词袋直方图第i个聚类中心的大小;H2(i)代表实时视觉词袋直方图第i个聚类中心的大小;k为聚类中心的个数,即词汇袋的大小;为离线视觉词袋直方图均值;/>为实时视觉词袋直方图均值;
离线视觉词袋直方图均值和直方图均值的计算公式为:
第六步、SVM分类:
利用SVM对实时环境图片进行分类,输出分类结果;当嵌入式单片机识别通过SVM分类所得的图片属于伸缩杆收回区域图像时,嵌入式单片机控制动子带动动子座沿着直线导轨向后滑动至直线导轨后端,动子座被后挡板挡住限位,伸缩杆在动子座的带动下完全向后收回以规避碰撞风险,当伸缩杆已经收回时则动力伸缩架保持自我保护状态,并返回上述第五步继续处理实时的路况图像信息;当嵌入式单片机识别通过SVM分类所得的图片属于伸缩杆伸出区域图像时,嵌入式单片机控制动子带动动子座沿着直线导轨向前滑动至直线导轨前端,动子座被前挡板挡住限位,伸缩杆在动子座的带动下完全向前伸出,继续进行盲区行人检测工作,当伸缩杆已经伸出时则动力伸缩架保持工作状态,并返回上述第五步继续处理实时的路况图像信息;
所述具有风险规避功能的公交车盲区行人检测装置利用GPS定位器实现自动规避碰撞风险的具体流程为:
第一步、采集公交车行驶路线风险区域位置信息:
采集公交车行驶路线上存在碰撞风险的地点的GPS数据信息,GPS数据信息包括经度、纬度,将这些GPS数据信息储存在嵌入式单片机中,存在碰撞风险的地点即为伸缩杆存在碰撞风险的地点;
第二步、接收GPS定位器实时位置信息:
公交车在既定的行驶路线上行驶时,GPS定位器在接收到卫星定位信息后,将公交车的位置信息输送给嵌入式单片机,嵌入式单片机以2Hz的频率接收来自GPS定位器位置信息;
第三步、判断实时位置与任意风险区域距离:
嵌入式单片机每接收到一次实时公交车位置信息,就将该实时位置信息的数据与储存在嵌入式单片机内部的任意风险地点位置信息进行比对,判断公交车实时位置与任意风险地点的距离是否小于设置的距离阈值;
第四步、识别风险区域控制伸缩杆收回:
当嵌入式单片机所计算出的公交车的实时位置与任意风险地点的距离小于或等于预设距离阈值时,嵌入式单片机控制动力伸缩架保持或切换为自我保护状态,将伸缩杆收回暂停公交车司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车实时位置与任意风险地点的距离;
第五步、公交车驶出风险区域,恢复动力伸缩架工作状态:
当嵌入式单片机所计算出的公交车的实时位置与任意风险地点的距离都大于预设距离阈值时,嵌入式单片机控制动力伸缩架保持或切换为工作状态,将伸缩杆向前伸出继续进行公交车司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车实时位置与任意风险地点的距离;
公交车实时位置与任意风险地点的距离采用以下方法计算:假设地球是一个标准球体,其半径为R,并且假设东经为正,西经为负,北纬为正,南纬为负,则公交车的实时坐标A(x,y)表示为:
任意风险地点的坐标B(a,b)表示为:
公交车实时位置与任意风险地点的距离公式为:
距离阈值S是出厂时厂家设定好的或者是公交车司机根据具体的行车路况设置的,这里综合城市中公交车行驶的路况、速度信息设定距离阈值S的范围为15至50米。
所述具有风险规避功能的公交车盲区行人检测装置利用碰撞传感器实现紧急避险的具体流程为:
第一步、检测到伸缩杆发生碰撞事故:
由于城市道路施工、树木生长导致树枝高度过低的影响,在公交车的行驶路线上出现了未被储存的新增风险点,使公交车经过这些地方时,动子座未将伸缩杆收回从而发生碰撞事故,碰撞传感器检测到压力变化时输出碰撞信息并传递给嵌入式单片机;
第二步、嵌入式单片机控制动力伸缩架紧急避险:
嵌入式单片机接收到碰撞信息时,控制前后伸缩机构将伸缩杆收回,并控制旋转减速电机传动丝杠转动,丝杠驱动螺母向后移动,螺母通过联动轴带动两根第一连杆的后端向后移动,则两根第一连杆、两根第二连杆将顶座向下拉,使顶座带动伸缩基座下降至与公交车车顶平行的角度,保持此状态并停止盲区行人识别工作。
本发明相对现有技术具有突出的实质性特点和显著的进步,具体地说,本发明的有益效果如下:
(1)本发明在公交车头部加装动力伸缩架,在动力伸缩架上安装行人识别摄像头以采集公交车行进过程中公交车视野盲区图像,可以有效避免来自左右两侧车辆的遮挡,通过对公交车视野盲区图像进行检测,可以有效识别图像中目标行人位置,当确定目标行人位置位于公交车的视野盲区时,嵌入式单片机控制声光报警器发出报警信息,提醒司机注意行车安全,避免发生交通事故;
(2)本发明中的具有风险规避功能的公交车盲区行人检测装置具备自我保护功能,通过环境识别照相机和GPS定位器可实现动力伸缩架工作状态与保护状态的自动切换,当公交车驶入风险区域时,将伸缩杆收回以避免发生碰撞事故,当公交车驶出风险区域时,将伸缩杆伸出继续进行盲区行人检测工作;
(3)本发明中的具有风险规避功能的公交车盲区行人检测装置还具备紧急避险功能,伸缩杆的前端安装碰撞传感器,当碰撞传感器发生碰撞时将碰撞信息传递给嵌入式单片机,嵌入式单片机控制动力伸缩架动作,将伸缩杆紧急收回,以避免更严重的损伤。
综上所述,本发明能够有效进行公交车盲区行人识别,通过声光报警器提醒司机注意行车安全,避免发生交通事故,还具备风险规避功能和紧急避险功能。
附图说明
图1是本发明的一种具有风险规避功能的公交车盲区行人检测装置在公交车上的安装示意图一。
图2是本发明的一种具有风险规避功能的公交车盲区行人检测装置在公交车上的安装示意图二。
图3是本发明的一种具有风险规避功能的公交车盲区行人检测装置的轴测图,其中,盖板为局部剖结构。
图4是本发明的一种具有风险规避功能的公交车盲区行人检测装置的俯视图。
图5是本发明的抬升机构的结构示意图。
图6是本发明的控制结构框图。
图7是本发明进行盲区行人检测的工作流程图。
图8是本发明的行人识别摄像头拍摄范围示意图。
图9是本发明的一种具有风险规避功能的公交车盲区行人检测装置利用环境识别照相机实现自动规避碰撞风险的工作流程图。
图10是改进的SURF算法的特征点邻域划分示意图。
图11是本发明的一种具有风险规避功能的公交车盲区行人检测装置利用GPS定位器实现自动规避碰撞风险的工作流程图。
图12是本发明的一种具有风险规避功能的公交车盲区行人检测装置发生碰撞时紧急避险的工作流程图。
具体实施方式
以下结合附图进一步说明本发明的实施例。
如图1-12所示,一种具有风险规避功能的公交车盲区行人检测方法,具体包括以下步骤:
(一)在公交车1的头部车顶上方加装一种具有风险规避功能的公交车盲区行人检测装置,所述具有风险规避功能的公交车盲区行人检测装置包括动力伸缩架、行人识别模块、声光报警器3和嵌入式单片机4;
(二)公交车1正常行进时,动力伸缩架处于工作状态,嵌入式单片机4获取行人识别模块所采集的公交车1的视野盲区图像,同时所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险及紧急避险;
(三)嵌入式单片机4对视野盲区图像进行检测,得到目标行人的实时位置信息;
(四)根据目标行人当前位置信息确定目标行人位置在公交车1视野盲区内时,嵌入式单片机4控制声光报警器3输出报警信息;
(五)根据目标行人当前位置信息确定目标行人位置未处于公交车1视野盲区内时,嵌入式单片机4采用卡尔曼滤波器对目标行人轨迹进行预测;
(六)根据预测信息,当目标行人的轨迹进入公交车1视野盲区时,嵌入式单片机4控制声光报警器3输出报警信息。
所述具有风险规避功能的公交车盲区行人检测装置还包括环境识别模块、地理位置识别模块和紧急避险模块,动力伸缩架安装在公交车1的头部外车顶上,行人识别模块、环境识别模块和紧急避险模块均设置在动力伸缩架上,声光报警器3和嵌入式单片机4均安装在公交车1内天花板上且位于动力伸缩架的正下方,地理位置识别模块安装在嵌入式单片机4上,嵌入式单片机4分别与动力伸缩架、行人识别模块、声光报警器3、环境识别模块、地理位置识别模块和紧急避险模块信号连接。
所述动力伸缩架包括前后伸缩机构和抬升机构,前后伸缩机构沿前后方向设置在公交车1的头部车顶上方,前后伸缩机构的后端转动安装在公交车1车顶上,抬升机构安装在公交车1的头部车顶上且位于前后伸缩机构的下方,抬升机构的上端与前后伸缩机构的下部连接并驱动前后伸缩机构抬升;
前后伸缩机构包括伸缩基座5、动子座6、动子7和伸缩杆8,伸缩基座5沿前后方向设置在公交车1的头部车顶上方,公交车1的头部车顶上固定安装有两个轴承座9,两个轴承座9左右间隔设置在伸缩基座5的后端部左右两侧,伸缩基座5的左侧面和右侧面后下部均固定设置有沿左右方向水平设置的转轴,两根转轴分别对应转动安装在两个轴承座9上,伸缩基座5的上面中部沿前后方向开设有导向滑槽10,伸缩基座5的上表面上沿前后方向还设置有两条直线导轨11,两条直线导轨11左右间隔且对称设置在导向滑槽10的左右两侧,动子座6前后滑动安装在两条直线导轨11上,动子7固定设置在动子座6的下侧面中部且匹配滑动嵌设在导向滑槽10中,导向滑槽10的槽底固定设置有若干块前后等距设置的定子12,定子12为长方体状的永磁体,定子12上方覆盖有盖板13(保护定子12),动子7内置有线圈,动子座6上设置有与动子7电线连接的电线接口2,电线接口2外接电线提供电源给动子7,伸缩基座5的前侧面中上部固定设置有挡在导向滑槽10前端的前挡板14,伸缩基座5的后侧面中上部设置有挡在导向滑槽10后端的后挡板15,前挡板14和后挡板15的上侧边均高于直线导轨11的上侧边,前挡板14的中部设有前后通透的导向孔,伸缩杆8沿前后方向贯穿导向孔设置,伸缩杆8的后端固定安装在动子座6的前侧面中部,伸缩杆8的前端部固定设置有位于前挡板14前方的摄像支架16,前挡板14的后侧面左侧部、右侧部和后挡板15的前侧面中部均固定设置有位于导向滑槽10内的防撞器17,防撞器17为采用橡胶或海绵制成的圆柱垫(防撞器17通过形变吸收动子座6的动能,以使动子座6减速停止,同时防止动子座6在移动时发生刚性碰撞),伸缩基座5的上面左侧边缘还固定设置有两个前后间隔的限位器36,前侧的限位器36位于动子座6前侧并靠近前挡板14,后侧的限位器36位于动子座6后侧并靠近后挡板15,限位器36的高度低于动子座6的底部,限位器36的触片设置在限位器36的上面,动子座6在直线导轨11上滑动经过限位器36上方时,动子座6的底部压限位器36的触片并使限位器36的触片闭合,嵌入式单片机4分别与动子7和限位器36信号连接;当动子座6向前或向后移动时,动子座6经过相应一个限位器36上方时,动子座6把相应限位器36的触片压下去使这个限位器36的触片闭合,进而嵌入式单片机4收到这个限位器36的闭合信号,便控制动子7断电,使动子7失去动力,则动子7带动动子座6滑动,动子座6的剩余行程用来消耗其本身剩余的动能,如果动子座6本身速度过大,动子座6会在其惯性下继续做减速运动,如果动子座6向前或向后滑动到极限位置时速度不为零,则动子座6便会被前侧或后侧的防撞器17挡住限位。
抬升机构包括底座18、顶座19、两根第一连杆20、两根第二连杆21、旋转减速电机22、丝杠23和螺母24,底座18和顶座19均为矩形框架结构,顶座19和底座18上下间隔设置在伸缩基座5的下方,顶座19固定安装在伸缩基座5的下表面,底座18固定安装在公交车1的头部车顶上,两根第一连杆20左右间隔且前高后低倾斜设置在底座18和顶座19之间,两根第二连杆21左右间隔且前低后高倾斜设置在底座18和顶座19之间,第一连杆20与第二连杆21左右错开设置,底座18上固定设置有两条左右间隔且沿前后方向设置的底导轨25,两条底导轨25分别与两根第一连杆20一一上下对应,顶座19上固定设置有两条左右间隔且沿前后方向设置的顶导轨26,两条顶导轨26分别与两根第二连杆21一一上下对应,两根第一连杆20的前端铰接在顶座19的下侧前侧部,两根第一连杆20的后端均转动连接有第一转动轮27,两个第一转动轮27分别对应滚动连接在两条底导轨25上,两根第二连杆21的前端铰接在底座18的上侧前侧部,两根第二连杆21的后端均转动连接有第二转动轮28,两个第二转动轮28分别对应滚动连接在两条顶导轨26上,底座18内前侧部固定连接有水平支板29,水平支板29的后侧部和底座18的后侧边框上均固定设置有位于两条底导轨25中间的耳板支座30,两个耳板支座30前后对应,旋转减速电机22固定安装在水平支板29上且位于前侧的耳板支座30的前方,丝杠23沿前后方向设置且其两端分别转动安装在两个耳板支座30上,旋转减速电机22的电机轴同轴传动连接丝杠23的前端,螺母24螺纹套装在丝杠23上,螺母24位于两个第一转动轮27的中间,螺母24与两个第一转动轮27的中心轴之间均固定连接有一根联动轴31,嵌入式单片机4与旋转减速电机22信号连接。
行人识别模块包括两个行人识别摄像头32,行人识别摄像头32为红外摄像头,两个行人识别摄像头32分别对应设置在摄像支架16的左右两侧面;
环境识别模块包括环境识别照相机33,环境识别照相机33设置在摄像支架16的中部;
地理位置识别模块包括GPS定位器34,GPS定位器34安装在嵌入式单片机4上;
紧急避险模块包括碰撞传感器35,碰撞传感器35安装在伸缩杆8的前端,碰撞传感器35的外部安装有海绵垫;
嵌入式单片机4分别与行人识别摄像头32、环境识别照相机33、GPS定位器34和碰撞传感器35信号连接。
步骤(二)具体为:公交车1行驶中,动力伸缩架处于工作状态:两根第一连杆20、两根第二连杆21将顶座19顶起,使伸缩基座5处于正常工作抬起角度,同时动子7通过电线接口2与外接电线连通,嵌入式单片机4控制动子7内线圈的电流方向,使动子7产生磁场与定子12的磁场相互作用产生推力,动子7带动动子座6沿着直线导轨11向前滑动至直线导轨11前端,动子座6被前挡板14挡住限位,伸缩杆8在动子座6的带动下完全向前伸出,两个行人识别摄像头32向前上伸至公交车1的头部车顶前上方;两个行人识别摄像头32实时拍摄公交车1车头处两侧的视野盲区图像并将所拍摄的视野盲区图像传给嵌入式单片机4,当行车环境较暗时,例如雨天、夜晚、隧道这些环境下,行人识别摄像头32自动开启红外模式,确保拍摄到的视野盲区图像足够清晰可以用于目标行人检测;
公交车1在行进过程中,所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险按以下两种工作模式进行:
第一种工作模式,利用环境识别照相机33实现自动规避碰撞风险;
第二种工作模式,利用GPS定位器34实现自动规避碰撞风险;
所述具有风险规避功能的公交车盲区行人检测装置通过处理碰撞传感器35收集的碰撞信息实现紧急避险。
步骤(三)具体为:嵌入式单片机4采用YOLOv5算法的YOLOv5s模型对获取的公交车1的视野盲区图像进行检测,获取目标行人对应的当前目标框,得到当前目标行人的位置,实际中,公交车1车辆周围可能存在多个行人,因此,嵌入式单片机4对视野盲区图像进行检测时,可以得到多个行人分别对应的多个当前位置信息,其中,目标行人指的是上述多个行人中的任一行人。
步骤(四)具体为:由于其他行驶中的车辆对公交车1视野盲区图像的遮挡,行人可能突然出现在公交车1视野盲区范围内,经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头32的拍摄范围内并位于公交车1的视野盲区时,其中,行人识别摄像头32的拍摄范围完全覆盖了公交车1的视野盲区范围,公交车1的视野盲区根据不同车型、不同工作条件进行自定义,即用户可以事先通过行人识别摄像头32拍摄画面确定公交车1的视野盲区范围,再将确定好的视野盲区范围储存在嵌入式单片机4的配置文件中,视野盲区按与公交车1的距离大小进一步划分为高危区域和低危区域,当检测到目标行人位于低危区域时,嵌入式单片机4控制声光报警器3低频工作并发出预警信息提醒司机有行人进入视野盲区范围;当检测到目标行人位于高危区域时,嵌入式单片机4控制声光报警器3高频工作,声光报警器3加快灯光的闪烁频率并增大警铃分贝提醒司机注意视野盲区目标行人位置,以规避可能发生的交通事故。
步骤(五)具体为:经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头32的拍摄范围内并未位于公交车1的视野盲区时,表明该行人并没有处于危险状态,此时嵌入式单片机4将YOLOv5检测到的目标行人位置信息和目标框信息同步到DeepSORT目标跟踪算法,DeepSORT目标跟踪算法通过卡尔曼滤波器预测目标行人轨迹,DeepSORT目标跟踪算法预测目标行人轨迹过程包括以下步骤:
(1)运动状态预测:卡尔曼滤波器基于当前帧的目标行人位置来预测下一帧的目标行人位置,此时被预测的目标行人轨迹为未确认态,在任一视频帧中采用八维状态向量X=[u,v,r,h,u',v',r',h']作为目标行人轨迹预测的模型,其中[u,v]分别表示目标边框在画面中的水平位置和垂直位置,[r,h]分别表示目标边框的长宽比和高度,其余四个参数为对应的速度信息;
(2)运动状态更新:对未确认态的目标行人轨迹进行IOU匹配,并得到最优结果,其中最优结果一共有三种情况:
当匹配结果为轨迹失配,即该目标行人有轨迹而没有对应的检测框,若其帧数N小于最大跟丢帧数30,则保留在跟踪链中,否则删除该目标;
当匹配结果为检测失配,即该目标行人有检测框而没有对应的轨迹,则判定为新目标行人,此时创建该目标行人的轨迹;
当匹配结果为成功匹配,使用卡尔曼滤波器更新该目标行人的轨迹,此时被预测的目标行人轨迹为确认态;
(3)级联匹配:将确认态的目标行人轨迹和所对应的时间参数进行级联匹配,每个时间参数都有其对应的跟踪目标行人轨迹,每个目标行人轨迹都会设定优先级参数,如果目标行人轨迹匹配失败,则该目标行人轨迹的时间参数加1,否则置0,目标行人轨迹的时间参数越小其优先权越高,对前一帧最先匹配的目标行人轨迹赋予高的优先权,反之目标行人轨迹的时间参数较大的代表目标行人轨迹匹配几率较低,对于连续几帧未匹配的目标行人轨迹,其优先权将会被逐渐降低并最终删除该目标行人轨迹,此时完成对该目标行人的轨迹预测。
本发明进行盲区行人识别工作的另一种模式是:当行人识别摄像头32工作时,嵌入式单片机4先读取公交车1的视野盲区,当有行人出现在行人识别摄像头32拍摄的画面中时,嵌入式单片机4对每个人赋予唯一的跟踪框并不断预测行人的运动轨迹,根据预测的结果判断目标行人是否处于公交车1的视野盲区内,若是,则嵌入式单片机4控制声光报警器3输出报警信息,若否,则持续跟踪目标行人,直至目标行人进入预设的视野盲区内,嵌入式单片机4控制声光报警器3工作,或者目标行人离开行人识别摄像头32拍摄的画面中,跟踪框取消跟踪。
所述具有风险规避功能的公交车盲区行人检测装置利用环境识别照相机33实现自动规避碰撞风险的具体流程为:
第一步、训练图像获取:嵌入式单片机4通过环境识别照相机33获取公交车1行进固定路线上的目标区域图像或者直接向嵌入式单片机4中传输已经拍摄好的目标区域图像作为训练图像,其中,目标区域包括伸缩杆8收回区域和伸缩杆8伸出区域,伸缩杆8收回区域为公交车1行进过程中伸缩杆8可能存在碰撞风险的区域,伸缩杆8伸出区域为公交车1驶出伸缩杆8可能存在碰撞风险的区域,训练图像包括伸缩杆8收回区域图像和伸缩杆8伸出区域图像,训练图像在公交车1的固定行驶路线上拍摄,每个拍摄地点均拍摄20至50幅图像;
第二步、提取SURF特征:嵌入式单片机4利用改进的SURF对经过灰度化处理的训练图像进行特征识别,识别过程具体如下:
(A)生成Hessian矩阵:Hessian矩阵是改进的SURF算法的核心,其作用为生成图像稳定的边缘点,是特征提取的基础,图像中的每一个像素点都可以求出一个Hessian矩阵;在SURF算法中,由于特征提取过程中特征点需要具备尺度无关性,所以在进行Hessian矩阵构造前,需要对图像中的每一个像素点进行滤波,消除像素点的相关性,再进行Hessian矩阵的计算,其中滤波器选用盒子滤波器;
(B)构建尺度空间:通过改变盒子滤波器的大小,用不同大小的滤波同原始图像在不同方向上做卷积,形成多尺度的空间,提取像素点周围的图像特征;
(C)定位特征点:将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的关键点作为特征点;
(D)选取特征点主方向:以特征点为中心,以6δ为半径得到特征点的圆形邻域,以45°扇形为单位,统计扇形区域内所有像素对Haar小波的累加值并得到一个特征子矢量,Haar小波大小为2δ×2δ,然后45°扇形以45°的间隔进行旋转,旋转一周后,八个45°扇形区域共得到八个Haar小波累加值和八个特征子矢量,比较得到的八个Haar小波累加值,选取最大的Haar小波累加值所对应的特征子矢量方向为主方向;
(E)生成特征描述子:从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取8个扇形区域的特征值矢量,得到4×8=32维的特征描述子;
第三步、生成离线视觉词袋:
利用K-means聚类算法对所有训练图像进行特征聚类,然后将若干聚类中心作为视觉单词生成目标区域的离线视觉词袋,并得到离线视觉词袋直方图,并进行归一化处理,为适应不同城市道路环境下的匹配需求和用户的实际应用情况,聚类中心k的范围设置在150至250,在综合查准率和检索效率后,这里设定聚类中心k=200,聚类中心k为离线视觉词袋的大小;
第四步、输入实时路况图像:
环境识别照相机33将公交车1行驶过程中的实时环境图像输入嵌入式单片机4内,环境识别照相机33的拍照频率为1Hz至10Hz,嵌入式单片机4用上述第三步中同样的视觉词袋构建算法对输入的实时环境图像进行处理,生成实时环境图像的视觉词袋模型并得到实时视觉词袋直方图;
第五步、计算相似度:
将离线视觉词袋直方图与实时视觉词袋直方图进行比对,计算离线视觉词袋直方图与实时视觉词袋直方图的相似度,若计算所得的相似度小于预设阈值,则返回上一步继续进行实时路况图像的收集,若相似度大于预设阈值,则利用SVM对此时刻环境图像进行分类,输出离线图库中相似度最高的图片;
相似度计算公式为:
其中,H1为离线视觉词袋直方图;H2为实时视觉词袋直方图;H1(i)代表离线视觉词袋直方图第i个聚类中心的大小;H2(i)代表实时视觉词袋直方图第i个聚类中心的大小;k为聚类中心的个数,即词汇袋的大小;为离线视觉词袋直方图均值;/>为实时视觉词袋直方图均值;
离线视觉词袋直方图均值和直方图均值的计算公式为:
第六步、SVM分类:
利用SVM对实时环境图片进行分类,输出分类结果;当嵌入式单片机4识别通过SVM分类所得的图片属于伸缩杆8收回区域图像时,嵌入式单片机4控制动子7带动动子座6沿着直线导轨11向后滑动至直线导轨11后端,动子座6被后挡板15挡住限位,伸缩杆8在动子座6的带动下完全向后收回以规避碰撞风险,当伸缩杆8已经收回时则动力伸缩架保持自我保护状态,并返回上述第五步继续处理实时的路况图像信息;当嵌入式单片机4识别通过SVM分类所得的图片属于伸缩杆8伸出区域图像时,嵌入式单片机4控制动子7带动动子座6沿着直线导轨11向前滑动至直线导轨11前端,动子座6被前挡板14挡住限位,伸缩杆8在动子座6的带动下完全向前伸出,继续进行盲区行人检测工作,当伸缩杆8已经伸出时则动力伸缩架保持工作状态,并返回上述第五步继续处理实时的路况图像信息;
所述具有风险规避功能的公交车盲区行人检测装置利用GPS定位器34实现自动规避碰撞风险的具体流程为:
第一步、采集公交车1行驶路线风险区域位置信息:
采集公交车1行驶路线上存在碰撞风险的地点的GPS数据信息,GPS数据信息包括经度、纬度,将这些GPS数据信息储存在嵌入式单片机4中,存在碰撞风险的地点即为伸缩杆8存在碰撞风险的地点;
第二步、接收GPS定位器34实时位置信息:
公交车1在既定的行驶路线上行驶时,GPS定位器34在接收到卫星定位信息后,将公交车1的位置信息输送给嵌入式单片机4,嵌入式单片机4以2Hz的频率接收来自GPS定位器34位置信息;
第三步、判断实时位置与任意风险区域距离:
嵌入式单片机4每接收到一次实时公交车1位置信息,就将该实时位置信息的数据与储存在嵌入式单片机4内部的任意风险地点位置信息进行比对,判断公交车1实时位置与任意风险地点的距离是否小于设置的距离阈值;
第四步、识别风险区域控制伸缩杆8收回:
当嵌入式单片机4所计算出的公交车1的实时位置与任意风险地点的距离小于或等于预设距离阈值时,嵌入式单片机4控制动力伸缩架保持或切换为自我保护状态,将伸缩杆8收回暂停公交车1司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车1实时位置与任意风险地点的距离;
第五步、公交车1驶出风险区域,恢复动力伸缩架工作状态:
当嵌入式单片机4所计算出的公交车1的实时位置与任意风险地点的距离都大于预设距离阈值时,嵌入式单片机4控制动力伸缩架保持或切换为工作状态,将伸缩杆8向前伸出继续进行公交车1司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车1实时位置与任意风险地点的距离;
公交车1实时位置与任意风险地点的距离采用以下方法计算:假设地球是一个标准球体,其半径为R,并且假设东经为正,西经为负,北纬为正,南纬为负,则公交车1的实时坐标A(x,y)表示为:
任意风险地点的坐标B(a,b)表示为:
公交车1实时位置与任意风险地点的距离公式为:
/>
距离阈值S是出厂时厂家设定好的或者是公交车1司机根据具体的行车路况设置的,这里综合城市中公交车1行驶的路况、速度信息设定距离阈值S的范围为15至50米。
所述具有风险规避功能的公交车盲区行人检测装置利用碰撞传感器35实现紧急避险的具体流程为:
第一步、检测到伸缩杆8发生碰撞事故:
由于城市道路施工、树木生长导致树枝高度过低的影响,在公交车1的行驶路线上出现了未被储存的新增风险点,使公交车1经过这些地方时,动子座6未将伸缩杆8收回从而发生碰撞事故,碰撞传感器35检测到压力变化时输出碰撞信息并传递给嵌入式单片机4;
第二步、嵌入式单片机4控制动力伸缩架紧急避险:
嵌入式单片机4接收到碰撞信息时,控制前后伸缩机构将伸缩杆8收回,并控制旋转减速电机22传动丝杠23转动,丝杠23驱动螺母24向后移动,螺母24通过联动轴31带动两根第一连杆20的后端向后移动,则两根第一连杆20、两根第二连杆21将顶座19向下拉,使顶座19带动伸缩基座5下降至与公交车1车顶平行的角度,保持此状态并停止盲区行人识别工作。
声光报警器3、嵌入式单片机4、动子7、定子12、电线接口2、旋转减速电机22、丝杠23、螺母24、行人识别摄像头32、环境识别照相机33、GPS定位器34和碰撞传感器35均为常规器件,具体构造和工作原理不再赘述,本发明的控制部分为常规控制技术,不涉及新的计算机程序。
以上实施例仅用以说明而非限制本发明的技术方案,尽管参照上述实施例对本发明进行了详细说明,本领域的普通技术人员应当理解;依然可以对本发明进行修改或者等同替换,而不脱离本发明的精神和范围的任何修改或局部替换,其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:具体包括以下步骤:
(一)在公交车的头部车顶上方加装一种具有风险规避功能的公交车盲区行人检测装置,所述具有风险规避功能的公交车盲区行人检测装置包括动力伸缩架、行人识别模块、声光报警器和嵌入式单片机;
(二)公交车正常行进时,动力伸缩架处于工作状态,嵌入式单片机获取行人识别模块所采集的公交车的视野盲区图像,同时所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险及紧急避险;
(三)嵌入式单片机对视野盲区图像进行检测,得到目标行人的实时位置信息;
(四)根据目标行人当前位置信息确定目标行人位置在公交车视野盲区内时,嵌入式单片机控制声光报警器输出报警信息;
(五)根据目标行人当前位置信息确定目标行人位置未处于公交车视野盲区内时,嵌入式单片机采用卡尔曼滤波器对目标行人轨迹进行预测;
(六)根据预测信息,当目标行人的轨迹进入公交车视野盲区时,嵌入式单片机控制声光报警器输出报警信息。
2.根据权利要求1所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:所述具有风险规避功能的公交车盲区行人检测装置还包括环境识别模块、地理位置识别模块和紧急避险模块,动力伸缩架安装在公交车的头部外车顶上,行人识别模块、环境识别模块和紧急避险模块均设置在动力伸缩架上,声光报警器和嵌入式单片机均安装在公交车内天花板上且位于动力伸缩架的正下方,地理位置识别模块安装在嵌入式单片机上,嵌入式单片机分别与动力伸缩架、行人识别模块、声光报警器、环境识别模块、地理位置识别模块和紧急避险模块信号连接。
3.根据权利要求2所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:所述动力伸缩架包括前后伸缩机构和抬升机构,前后伸缩机构沿前后方向设置在公交车的头部车顶上方,前后伸缩机构的后端转动安装在公交车车顶上,抬升机构安装在公交车的头部车顶上且位于前后伸缩机构的下方,抬升机构的上端与前后伸缩机构的下部连接并驱动前后伸缩机构抬升;
前后伸缩机构包括伸缩基座、动子座、动子和伸缩杆,伸缩基座沿前后方向设置在公交车的头部车顶上方,公交车的头部车顶上固定安装有两个轴承座,两个轴承座左右间隔设置在伸缩基座的后端部左右两侧,伸缩基座的左侧面和右侧面后下部均固定设置有沿左右方向水平设置的转轴,两根转轴分别对应转动安装在两个轴承座上,伸缩基座的上面中部沿前后方向开设有导向滑槽,伸缩基座的上表面上沿前后方向还设置有两条直线导轨,两条直线导轨左右间隔且对称设置在导向滑槽的左右两侧,动子座前后滑动安装在两条直线导轨上,动子固定设置在动子座的下侧面中部且匹配滑动嵌设在导向滑槽中,导向滑槽的槽底固定设置有若干块前后等距设置的定子,定子为长方体状的永磁体,定子上方覆盖有盖板,动子内置有线圈,动子座上设置有与动子电线连接的电线接口,电线接口外接电线提供电源给动子,伸缩基座的前侧面中上部固定设置有挡在导向滑槽前端的前挡板,伸缩基座的后侧面中上部设置有挡在导向滑槽后端的后挡板,前挡板和后挡板的上侧边均高于直线导轨的上侧边,前挡板的中部设有前后通透的导向孔,伸缩杆沿前后方向贯穿导向孔设置,伸缩杆的后端固定安装在动子座的前侧面中部,伸缩杆的前端部固定设置有位于前挡板前方的摄像支架,前挡板的后侧面左侧部、右侧部和后挡板的前侧面中部均固定设置有位于导向滑槽内的防撞器,防撞器为采用橡胶或海绵制成的圆柱垫,伸缩基座的上面左侧边缘还固定设置有两个前后间隔的限位器,前侧的限位器位于动子座前侧并靠近前挡板,后侧的限位器位于动子座后侧并靠近后挡板,限位器的高度低于动子座的底部,限位器的触片设置在限位器的上面,动子座在直线导轨上滑动经过限位器上方时,动子座的底部压限位器的触片并使限位器的触片闭合,嵌入式单片机分别与动子和限位器信号连接;
抬升机构包括底座、顶座、两根第一连杆、两根第二连杆、旋转减速电机、丝杠和螺母,底座和顶座均为矩形框架结构,顶座和底座上下间隔设置在伸缩基座的下方,顶座固定安装在伸缩基座的下表面,底座固定安装在公交车的头部车顶上,两根第一连杆左右间隔且前高后低倾斜设置在底座和顶座之间,两根第二连杆左右间隔且前低后高倾斜设置在底座和顶座之间,第一连杆与第二连杆左右错开设置,底座上固定设置有两条左右间隔且沿前后方向设置的底导轨,两条底导轨分别与两根第一连杆一一上下对应,两根第一连杆的前端铰接在顶座的下侧前侧部,两根第一连杆的后端均转动连接有第一转动轮,两个第一转动轮分别对应滚动连接在两条底导轨上,两根第二连杆的前端铰接在底座的上侧前侧部,两根第二连杆的后端均转动连接有第二转动轮,两个第二转动轮分别对应滚动连接在两条顶导轨上,底座内前侧部固定连接有水平支板,水平支板的后侧部和底座的后侧边框上均固定设置有位于两条底导轨中间的耳板支座,两个耳板支座前后对应,旋转减速电机固定安装在水平支板上且位于前侧的耳板支座的前方,丝杠沿前后方向设置且其两端分别转动安装在两个耳板支座上,旋转减速电机的电机轴同轴传动连接丝杠的前端,螺母螺纹套装在丝杠上,螺母位于两个第一转动轮的中间,螺母与两个第一转动轮的中心轴之间均固定连接有一根联动轴,嵌入式单片机与旋转减速电机信号连接。
4.根据权利要求3所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:行人识别模块包括两个行人识别摄像头,行人识别摄像头为红外摄像头,两个行人识别摄像头分别对应设置在摄像支架的左右两侧面;
环境识别模块包括环境识别照相机,环境识别照相机设置在摄像支架的中部;
地理位置识别模块包括GPS定位器,GPS定位器安装在嵌入式单片机上;
紧急避险模块包括碰撞传感器,碰撞传感器安装在伸缩杆的前端,碰撞传感器的外部安装有海绵垫;
嵌入式单片机分别与行人识别摄像头、环境识别照相机、GPS定位器和碰撞传感器信号连接。
5.根据权利要求4所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:步骤(二)具体为:公交车行驶中,动力伸缩架处于工作状态:两根第一连杆、两根第二连杆将顶座顶起,使伸缩基座处于正常工作抬起角度,同时动子通过电线接口与外接电线连通,嵌入式单片机控制动子内线圈的电流方向,使动子产生磁场与定子的磁场相互作用产生推力,动子带动动子座沿着直线导轨向前滑动至直线导轨前端,动子座被前挡板挡住限位,伸缩杆在动子座的带动下完全向前伸出,两个行人识别摄像头向前上伸至公交车的头部车顶前上方;两个行人识别摄像头实时拍摄公交车车头处两侧的视野盲区图像并将所拍摄的视野盲区图像传给嵌入式单片机,当行车环境较暗时,例如雨天、夜晚、隧道这些环境下,行人识别摄像头自动开启红外模式,确保拍摄到的视野盲区图像足够清晰可以用于目标行人检测;
公交车在行进过程中,所述具有风险规避功能的公交车盲区行人检测装置自动规避碰撞风险按以下两种工作模式进行:
第一种工作模式,利用环境识别照相机实现自动规避碰撞风险;
第二种工作模式,利用GPS定位器实现自动规避碰撞风险;
所述具有风险规避功能的公交车盲区行人检测装置通过处理碰撞传感器收集的碰撞信息实现紧急避险。
6.根据权利要求5所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:步骤(三)具体为:嵌入式单片机采用YOLOv5算法的YOLOv5s模型对获取的公交车的视野盲区图像进行检测,获取目标行人对应的当前目标框,得到当前目标行人的位置,实际中,公交车车辆周围可能存在多个行人,因此,嵌入式单片机对视野盲区图像进行检测时,可以得到多个行人分别对应的多个当前位置信息,其中,目标行人指的是上述多个行人中的任一行人。
7.根据权利要求6所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:步骤(四)具体为:由于其他行驶中的车辆对公交车视野盲区图像的遮挡,行人可能突然出现在公交车视野盲区范围内,经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头的拍摄范围内并位于公交车的视野盲区时,其中,行人识别摄像头的拍摄范围完全覆盖了公交车的视野盲区范围,公交车的视野盲区根据不同车型、不同工作条件进行自定义,即用户可以事先通过行人识别摄像头拍摄画面确定公交车的视野盲区范围,再将确定好的视野盲区范围储存在嵌入式单片机的配置文件中,视野盲区按与公交车的距离大小进一步划分为高危区域和低危区域,当检测到目标行人位于低危区域时,嵌入式单片机控制声光报警器低频工作并发出预警信息提醒司机有行人进入视野盲区范围;当检测到目标行人位于高危区域时,嵌入式单片机控制声光报警器高频工作,声光报警器加快灯光的闪烁频率并增大警铃分贝提醒司机注意视野盲区目标行人位置,以规避可能发生的交通事故。
8.根据权利要求7所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:步骤(五)具体为:经过YOLOv5算法处理得到的目标行人的位置信息出现在行人识别摄像头的拍摄范围内并未位于公交车的视野盲区时,表明该行人并没有处于危险状态,此时嵌入式单片机将YOLOv5检测到的目标行人位置信息和目标框信息同步到DeepSORT目标跟踪算法,DeepSORT目标跟踪算法通过卡尔曼滤波器预测目标行人轨迹,DeepSORT目标跟踪算法预测目标行人轨迹过程包括以下步骤:
(1)运动状态预测:卡尔曼滤波器基于当前帧的目标行人位置来预测下一帧的目标行人位置,此时被预测的目标行人轨迹为未确认态,在任一视频帧中采用八维状态向量X=[u,v,r,h,u',v',r',h']作为目标行人轨迹预测的模型,其中[u,v]分别表示目标边框在画面中的水平位置和垂直位置,[r,h]分别表示目标边框的长宽比和高度,其余四个参数为对应的速度信息;
(2)运动状态更新:对未确认态的目标行人轨迹进行IOU匹配,并得到最优结果,其中最优结果一共有三种情况:
当匹配结果为轨迹失配,即该目标行人有轨迹而没有对应的检测框,若其帧数N小于最大跟丢帧数30,则保留在跟踪链中,否则删除该目标;
当匹配结果为检测失配,即该目标行人有检测框而没有对应的轨迹,则判定为新目标行人,此时创建该目标行人的轨迹;
当匹配结果为成功匹配,使用卡尔曼滤波器更新该目标行人的轨迹,此时被预测的目标行人轨迹为确认态;
(3)级联匹配:将确认态的目标行人轨迹和所对应的时间参数进行级联匹配,每个时间参数都有其对应的跟踪目标行人轨迹,每个目标行人轨迹都会设定优先级参数,如果目标行人轨迹匹配失败,则该目标行人轨迹的时间参数加1,否则置0,目标行人轨迹的时间参数越小其优先权越高,对前一帧最先匹配的目标行人轨迹赋予高的优先权,反之目标行人轨迹的时间参数较大的代表目标行人轨迹匹配几率较低,对于连续几帧未匹配的目标行人轨迹,其优先权将会被逐渐降低并最终删除该目标行人轨迹,此时完成对该目标行人的轨迹预测。
9.根据权利要求5所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:所述具有风险规避功能的公交车盲区行人检测装置利用环境识别照相机实现自动规避碰撞风险的具体流程为:
第一步、训练图像获取:嵌入式单片机通过环境识别照相机获取公交车行进固定路线上的目标区域图像或者直接向嵌入式单片机中传输已经拍摄好的目标区域图像作为训练图像,其中,目标区域包括伸缩杆收回区域和伸缩杆伸出区域,伸缩杆收回区域为公交车行进过程中伸缩杆可能存在碰撞风险的区域,伸缩杆伸出区域为公交车驶出伸缩杆可能存在碰撞风险的区域,训练图像包括伸缩杆收回区域图像和伸缩杆伸出区域图像,训练图像在公交车的固定行驶路线上拍摄,每个拍摄地点均拍摄20至50幅图像;
第二步、提取SURF特征:嵌入式单片机利用改进的SURF对经过灰度化处理的训练图像进行特征识别,识别过程具体如下:
(A)生成Hessian矩阵:Hessian矩阵是改进的SURF算法的核心,其作用为生成图像稳定的边缘点,是特征提取的基础,图像中的每一个像素点都可以求出一个Hessian矩阵;在SURF算法中,由于特征提取过程中特征点需要具备尺度无关性,所以在进行Hessian矩阵构造前,需要对图像中的每一个像素点进行滤波,消除像素点的相关性,再进行Hessian矩阵的计算,其中滤波器选用盒子滤波器;
(B)构建尺度空间:通过改变盒子滤波器的大小,用不同大小的滤波同原始图像在不同方向上做卷积,形成多尺度的空间,提取像素点周围的图像特征;
(C)定位特征点:将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的关键点作为特征点;
(D)选取特征点主方向:以特征点为中心,以6δ为半径得到特征点的圆形邻域,以45°扇形为单位,统计扇形区域内所有像素对Haar小波的累加值并得到一个特征子矢量,Haar小波大小为2δ×2δ,然后45°扇形以45°的间隔进行旋转,旋转一周后,八个45°扇形区域共得到八个Haar小波累加值和八个特征子矢量,比较得到的八个Haar小波累加值,选取最大的Haar小波累加值所对应的特征子矢量方向为主方向;
(E)生成特征描述子:从主方向对应的特征子矢量开始,按Haar响应累加值递减的顺序依次取8个扇形区域的特征值矢量,得到4×8=32维的特征描述子;
第三步、生成离线视觉词袋:
利用K-means聚类算法对所有训练图像进行特征聚类,然后将若干聚类中心作为视觉单词生成目标区域的离线视觉词袋,并得到离线视觉词袋直方图,并进行归一化处理,为适应不同城市道路环境下的匹配需求和用户的实际应用情况,聚类中心k的范围设置在150至250,在综合查准率和检索效率后,这里设定聚类中心k=200,聚类中心k为离线视觉词袋的大小;
第四步、输入实时路况图像:
环境识别照相机将公交车行驶过程中的实时环境图像输入嵌入式单片机内,环境识别照相机的拍照频率为1Hz至10Hz,嵌入式单片机用上述第三步中同样的视觉词袋构建算法对输入的实时环境图像进行处理,生成实时环境图像的视觉词袋模型并得到实时视觉词袋直方图;
第五步、计算相似度:
将离线视觉词袋直方图与实时视觉词袋直方图进行比对,计算离线视觉词袋直方图与实时视觉词袋直方图的相似度,若计算所得的相似度小于预设阈值,则返回上一步继续进行实时路况图像的收集,若相似度大于预设阈值,则利用SVM对此时刻环境图像进行分类,输出离线图库中相似度最高的图片;
相似度计算公式为:
其中,H1为离线视觉词袋直方图;H2为实时视觉词袋直方图;H1(i)代表离线视觉词袋直方图第i个聚类中心的大小;H2(i)代表实时视觉词袋直方图第i个聚类中心的大小;k为聚类中心的个数,即词汇袋的大小;为离线视觉词袋直方图均值;/>为实时视觉词袋直方图均值;
离线视觉词袋直方图均值和直方图均值的计算公式为:
第六步、SVM分类:
利用SVM对实时环境图片进行分类,输出分类结果;当嵌入式单片机识别通过SVM分类所得的图片属于伸缩杆收回区域图像时,嵌入式单片机控制动子带动动子座沿着直线导轨向后滑动至直线导轨后端,动子座被后挡板挡住限位,伸缩杆在动子座的带动下完全向后收回以规避碰撞风险,当伸缩杆已经收回时则动力伸缩架保持自我保护状态,并返回上述第五步继续处理实时的路况图像信息;当嵌入式单片机识别通过SVM分类所得的图片属于伸缩杆伸出区域图像时,嵌入式单片机控制动子带动动子座沿着直线导轨向前滑动至直线导轨前端,动子座被前挡板挡住限位,伸缩杆在动子座的带动下完全向前伸出,继续进行盲区行人检测工作,当伸缩杆已经伸出时则动力伸缩架保持工作状态,并返回上述第五步继续处理实时的路况图像信息;
所述具有风险规避功能的公交车盲区行人检测装置利用GPS定位器实现自动规避碰撞风险的具体流程为:
第一步、采集公交车行驶路线风险区域位置信息:
采集公交车行驶路线上存在碰撞风险的地点的GPS数据信息,GPS数据信息包括经度、纬度,将这些GPS数据信息储存在嵌入式单片机中,存在碰撞风险的地点即为伸缩杆存在碰撞风险的地点;
第二步、接收GPS定位器实时位置信息:
公交车在既定的行驶路线上行驶时,GPS定位器在接收到卫星定位信息后,将公交车的位置信息输送给嵌入式单片机,嵌入式单片机以2Hz的频率接收来自GPS定位器位置信息;
第三步、判断实时位置与任意风险区域距离:
嵌入式单片机每接收到一次实时公交车位置信息,就将该实时位置信息的数据与储存在嵌入式单片机内部的任意风险地点位置信息进行比对,判断公交车实时位置与任意风险地点的距离是否小于设置的距离阈值;
第四步、识别风险区域控制伸缩杆收回:
当嵌入式单片机所计算出的公交车的实时位置与任意风险地点的距离小于或等于预设距离阈值时,嵌入式单片机控制动力伸缩架保持或切换为自我保护状态,将伸缩杆收回暂停公交车司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车实时位置与任意风险地点的距离;
第五步、公交车驶出风险区域,恢复动力伸缩架工作状态:
当嵌入式单片机所计算出的公交车的实时位置与任意风险地点的距离都大于预设距离阈值时,嵌入式单片机控制动力伸缩架保持或切换为工作状态,将伸缩杆向前伸出继续进行公交车司机视野盲区的行人检测任务,并返回上述第三步继续计算公交车实时位置与任意风险地点的距离;
公交车实时位置与任意风险地点的距离采用以下方法计算:假设地球是一个标准球体,其半径为R,并且假设东经为正,西经为负,北纬为正,南纬为负,则公交车的实时坐标A(x,y)表示为:
任意风险地点的坐标B(a,b)表示为:
公交车实时位置与任意风险地点的距离公式为:
距离阈值S是出厂时厂家设定好的或者是公交车司机根据具体的行车路况设置的,这里综合城市中公交车行驶的路况、速度信息设定距离阈值S的范围为15至50米。
10.根据权利要求5所述的一种具有风险规避功能的公交车盲区行人检测方法,其特征在于:所述具有风险规避功能的公交车盲区行人检测装置利用碰撞传感器实现紧急避险的具体流程为:
第一步、检测到伸缩杆发生碰撞事故:
由于城市道路施工、树木生长导致树枝高度过低的影响,在公交车的行驶路线上出现了未被储存的新增风险点,使公交车经过这些地方时,动子座未将伸缩杆收回从而发生碰撞事故,碰撞传感器检测到压力变化时输出碰撞信息并传递给嵌入式单片机;
第二步、嵌入式单片机控制动力伸缩架紧急避险:
嵌入式单片机接收到碰撞信息时,控制前后伸缩机构将伸缩杆收回,并控制旋转减速电机传动丝杠转动,丝杠驱动螺母向后移动,螺母通过联动轴带动两根第一连杆的后端向后移动,则两根第一连杆、两根第二连杆将顶座向下拉,使顶座带动伸缩基座下降至与公交车车顶平行的角度,保持此状态并停止盲区行人识别工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310952718.XA CN117079247A (zh) | 2023-07-28 | 2023-07-28 | 一种具有风险规避功能的公交车盲区行人检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310952718.XA CN117079247A (zh) | 2023-07-28 | 2023-07-28 | 一种具有风险规避功能的公交车盲区行人检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117079247A true CN117079247A (zh) | 2023-11-17 |
Family
ID=88708892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310952718.XA Pending CN117079247A (zh) | 2023-07-28 | 2023-07-28 | 一种具有风险规避功能的公交车盲区行人检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117079247A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636270A (zh) * | 2024-01-23 | 2024-03-01 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
-
2023
- 2023-07-28 CN CN202310952718.XA patent/CN117079247A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636270A (zh) * | 2024-01-23 | 2024-03-01 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
CN117636270B (zh) * | 2024-01-23 | 2024-04-09 | 南京理工大学 | 基于单目摄像头的车辆抢道事件识别方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112885144B (zh) | 一种施工作业区车辆撞入事件预警方法及系统 | |
CN103879404B (zh) | 可追踪移动物体的防撞警示方法及其装置 | |
CN101881615B (zh) | 用于驾驶安全的视觉障碍物检测方法 | |
WO2017175025A2 (en) | Detecting visual information corresponding to an animal | |
CN117079247A (zh) | 一种具有风险规避功能的公交车盲区行人检测方法 | |
CN111221342A (zh) | 一种自动驾驶汽车环境感知系统 | |
CN111071248B (zh) | 一种基于电子助力制动器的智能泊车方法 | |
CN108153315B (zh) | 一种无人驾驶汽车的控制方法及控制装置 | |
EP2741234B1 (en) | Object localization using vertical symmetry | |
CN108705977B (zh) | 一种互联网无人驾驶汽车 | |
KR101861525B1 (ko) | 무인자동차의 보행자 보호 시스템 | |
WO2021231355A1 (en) | Determining puddle severity for autonomous vehicles | |
CN109816946B (zh) | 一种隧道巡检装置 | |
JPWO2019003792A1 (ja) | 制御装置、制御方法、及びプログラム | |
CN210454624U (zh) | 停车警示装置和车辆 | |
CN212847166U (zh) | 基于大数据分析与手势识别的可移动式交通指挥灯 | |
Graefe et al. | A novel approach for the detection of vehicles on freeways by real-time vision | |
KR20150145685A (ko) | 위치정보를 이용한 제동대상 인식 장치 및 그 방법 | |
CN116978255A (zh) | 一种具有风险规避功能的公交车盲区行人检测装置 | |
CN112026519A (zh) | 一种基于地图引擎的分点分段限速提醒的车载终端 | |
CN109774702B (zh) | 车辆驾驶辅助系统和方法 | |
CN113589402A (zh) | 基于光电磁探测的无人驾驶车辆异常泊车行为识别方法 | |
CN114495059A (zh) | 一种环卫清扫车路面识别方法及装置 | |
CN113954822A (zh) | 一种车辆侧方位自动泊车的方法 | |
CN112519801A (zh) | 一种行驶车辆的安全防护系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |