CN105678221A - 一种雨雪天气的行人检测方法及系统 - Google Patents

一种雨雪天气的行人检测方法及系统 Download PDF

Info

Publication number
CN105678221A
CN105678221A CN201511009043.7A CN201511009043A CN105678221A CN 105678221 A CN105678221 A CN 105678221A CN 201511009043 A CN201511009043 A CN 201511009043A CN 105678221 A CN105678221 A CN 105678221A
Authority
CN
China
Prior art keywords
pedestrian
module
detection
target
sleety weather
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511009043.7A
Other languages
English (en)
Other versions
CN105678221B (zh
Inventor
田雨农
吴子章
周秀田
陆振波
于维双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201511009043.7A priority Critical patent/CN105678221B/zh
Publication of CN105678221A publication Critical patent/CN105678221A/zh
Application granted granted Critical
Publication of CN105678221B publication Critical patent/CN105678221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Abstract

一种雨雪天气的行人检测方法及系统,在雨雪天气下,利用雨伞、雨衣辅助检测行人;通过GPS定位与图像定位结合,查找地图获取马路信息;通过投影变换将二维图像目标转换为三维世界坐标系下目标,通过对比Z轴坐标值对容易误识别的线杆类物体进行剔除的方法。本发明将二维图像目标映射到三维世界坐标系下,对目标与地面接触点的Z轴坐标与马路平面的Z轴坐标进行对比,进而剔除误识别的目标的方法。

Description

一种雨雪天气的行人检测方法及系统
技术领域
本发明属于行人检测领域,具体说是一种雨雪天气的行人检测方法及系统。
背景技术
近年来行人检测已经成为计算机视觉领域中备受青睐的研究热点之一。随着辅助驾驶的市场化与主动驾驶如火如荼的被各种各样的尝试与炒作,作为其中关键技术之一的行人检测技术也在不断地更新与改进。但是总体来说,目前对于雨雪天气下,利用视觉传感器对行人检测的难度还是非常大的。
因为雨雪天气下,视觉传感器获取图像受到雨雪等噪声干扰,同时行人的边缘轮廓变得模糊,而且这种天气下行人往往也有打伞、穿雨衣等行为使其外观与平时有很大差异,这些因素都增加了雨雪天气下的行人检测的难度。目前在雨雪天气下,很多厂商只能选择使用红外雷达等传感器进行检测。由于红外雷达等传感器造价昂贵,因此很难进行普及。
发明内容
针对现有技术存在的上述缺点,本发明提供了一种雨雪天气的行人检测方法及系统,基于GPS定位与图像自定位相结合,利用马路边界范围减少了目标区域的范围,降低了搜索检测的代价。
为实现上述目的,本发明的技术方案是,一种雨雪天气的行人检测方法,在汽车行进过程中,首先利用视觉传感器对环境信息进行天气模式的判断,当确定是雨雪天气时,开启雨雪天气检测模式,具体是通过以下步骤实现的:
S1:利用GPS定位与图像自身定位相结合,通过在地图模块中查找确定车身的精确位置;
S2:检测模块对行人与雨伞进行并行检测:
如果发现行人则查看其上方区域是否有雨伞:有则增加是行人的置信度;反之,则直接进入下一步;
如果发现雨伞,那么查看雨伞下面是否有行人,如果有则增加是行人的置信度;反之,则直接进入下一步;
S3:在检测到“行人”目标时,通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下,查找其与地面接触点的Z轴坐标;
S4:对比该Z轴坐标与马路路面的Z轴坐标是否一致,如一致则检测到的“行人”目标为真实的行人,否则为马路两侧的栅栏杆、其他各种线杆等。
进一步的,步骤S1中利用GPS定位与图像自身定位相结合的方法是通过图像检测车道线确认车身所在车道来辅助GPS定位。
进一步的,视觉传感器检测范围内的目标区域缩小为马路边界范围。
进一步的,视觉传感器在检测到的斑马线范围内进行重点检测。
一种实施上述方法的检测系统,包括:地图模块、定位模块、决策模块、控制模块和检测模块;所述的地图模块分别与定位模块、决策模块相连,决策模块还与控制模块和检测模块相连。
进一步的,所述检测模块包括对斑马线、车道线、“行人”目标的检测、用斑马线来重点提醒行人容易出现的区域;
进一步的,所述的地图模块利用车道线及GPS定位来确定自身所在的车道。
进一步的,所述定位模块,利用GPS定位来初步确定自身位置,通过图像检测车道线确定所述车道线,利用地图模块查询当前的车道位置信息,进而对GPS得到的位置进行校正。
作为进一步的,所述决策模块对定位模块与检测模块反馈回来的位置信息与行人信息,进行驾驶策略的控制,并将驾驶策略传送给控制模块;所述控制模块,用来执行决策模块传送的驾驶策略。
本发明由于采用以上技术方案,能够取得如下的技术效果:在雨雪天气模式下,基于GPS定位与图像自定位相结合的方法,利用马路边界范围减少了目标区域的范围,降低了搜索检测的代价。利用雨雪天气下行人很可能打伞这样的事实,将雨伞检测与行人检测相结合,增加了一定情况下的行人检测置信度。本发明使用投影映射将二维图像目标映射到三维世界坐标系下,然后对目标与地面接触点的Z轴坐标与马路平面的Z轴坐标进行对比,如果不相同则可以认为是误识别,从而剔除误识别的目标,降低了行人检测的误识别率。
附图说明
本发明共有附图2幅:
图1为本发明方法的流程框图;
图2为本发明系统的流程框图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步的具体说明。
实施例1
一种雨雪天气的行人检测方法,在汽车行进过程中,首先利用视觉传感器对环境信息进行天气模式的判断,当确定是雨雪天气时,开启雨雪天气检测模式,具体是通过以下步骤实现的:
S1:利用GPS定位与图像自身定位相结合(可以通过图像检测车道线确认车身所在车道来辅助GPS定位),通过在地图模块中查找确定车身的精确位置;对视觉传感器检测范围内的目标区域缩小为马路边界范围内,这样减少了检测的搜索范围,同时也降低了误识别的可能性。另外,对视觉传感器检测到的斑马线范围内进行重点检测,因为这是行人比较容易出现的范围。
S2:检测模块对行人与雨伞进行并行检测:
如果发现行人则查看其上方区域是否有雨伞:有则增加是行人的置信度;反之,则直接进入下一步;
如果发现雨伞,那么查看雨伞下面是否有行人,如果有则增加是行人的置信度;反之,则直接进入下一步;
S3:在检测到“行人”目标时,通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下,查找其与地面接触点的Z轴坐标;
S4:对比该Z轴坐标与马路路面的Z轴坐标是否一致,如一致则检测到的“行人”目标为真实的行人,否则为马路两侧的栅栏杆、其他各种线杆等。将一部分容易被误识别为行人的物体(比如马路两侧的栅栏杆、其他各种线杆等)剔除。
一种实施上述方法的检测系统,包括:地图模块、定位模块、决策模块、控制模块和检测模块;所述的地图模块分别与定位模块、决策模块相连,决策模块还与控制模块和检测模块相连。
所述检测模块包括对斑马线、车道线、“行人”目标的检测、用斑马线来重点提醒行人容易出现的区域;所述的地图模块利用车道线及GPS定位来确定自身所在的车道。所述定位模块,利用GPS定位来初步确定自身位置(误差目前在几米范围),通过图像检测车道线确定所述车道线,利用地图模块查询当前的车道位置信息,进而对GPS得到的位置进行校正。所述决策模块对定位模块与检测模块反馈回来的位置信息与行人信息,进行驾驶策略的控制,并将驾驶策略传送给控制模块;所述控制模块,用来执行决策模块传送的驾驶策略。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种雨雪天气的行人检测方法,其特征在于,在汽车行进过程中,首先利用视觉传感器对环境信息进行天气模式的判断,当确定是雨雪天气时,开启雨雪天气检测模式,具体是通过以下步骤实现的:
S1:利用GPS定位与图像自身定位相结合,通过在地图模块中查找确定车身的精确位置;
S2:检测模块对行人与雨伞进行并行检测:
如果发现行人则查看其上方区域是否有雨伞:有则增加是行人的置信度;反之,则直接进入下一步;
如果发现雨伞,那么查看雨伞下面是否有行人,如果有则增加是行人的置信度;反之,则直接进入下一步;
S3:在检测到“行人”目标时,通过投影变换将二维图像坐标系下的目标映射到三维世界坐标系下,查找其与地面接触点的Z轴坐标;
S4:对比该Z轴坐标与马路路面的Z轴坐标是否一致,如一致则检测到的“行人”目标为真实的行人,否则为马路两侧的栅栏杆、其他各种线杆。
2.根据权利要求1所述的一种雨雪天气的行人检测方法,其特征在于,步骤S1中利用GPS定位与图像自身定位相结合的方法是通过图像检测车道线确认车身所在车道来辅助GPS定位。
3.根据权利要求2所述的一种雨雪天气的行人检测方法,其特征在于,视觉传感器检测范围内的目标区域缩小为马路边界范围。
4.根据权利要求3所述的一种雨雪天气的行人检测方法,其特征在于,视觉传感器在检测到的斑马线范围内进行重点检测。
5.根据权利要求1所述的一种雨雪天气的行人检测方法,其特征在于,将被识别为马路两侧的栅栏杆、其他各种线杆进行剔除。
6.一种实施上述方法的检测系统,其特征在于,包括:地图模块、定位模块、决策模块、控制模块和检测模块;所述的地图模块分别与定位模块、决策模块相连,决策模块还与控制模块和检测模块相连。
7.根据权利要求6所述的检测系统,其特征在于,所述检测模块包括对斑马线、车道线、“行人”目标的检测,用斑马线来重点提醒行人容易出现的区域。
8.根据权利要求6所述的检测系统,其特征在于,所述的地图模块利用车道线及GPS定位来确定自身所在的车道。
9.根据权利要求7或8所述的检测系统,其特征在于,所述定位模块,利用GPS定位来初步确定自身位置,通过图像检测车道线确定所述车道线,利用地图模块查询当前的车道位置信息,进而对GPS得到的位置进行校正。
10.根据权利要求9所述的检测系统,其特征在于,所述决策模块对定位模块与检测模块反馈回来的位置信息和行人信息,进行驾驶策略的控制,并将驾驶策略传送给控制模块;所述控制模块,用来执行决策模块传送的驾驶策略。
CN201511009043.7A 2015-12-29 2015-12-29 一种雨雪天气的行人检测方法及系统 Active CN105678221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511009043.7A CN105678221B (zh) 2015-12-29 2015-12-29 一种雨雪天气的行人检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511009043.7A CN105678221B (zh) 2015-12-29 2015-12-29 一种雨雪天气的行人检测方法及系统

Publications (2)

Publication Number Publication Date
CN105678221A true CN105678221A (zh) 2016-06-15
CN105678221B CN105678221B (zh) 2020-03-24

Family

ID=56189694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511009043.7A Active CN105678221B (zh) 2015-12-29 2015-12-29 一种雨雪天气的行人检测方法及系统

Country Status (1)

Country Link
CN (1) CN105678221B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术(沈阳)有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111583650A (zh) * 2020-05-15 2020-08-25 新石器慧通(北京)科技有限公司 一种无人除冰车路面清除方法及无人驾驶除冰车
CN113551686A (zh) * 2021-08-03 2021-10-26 上海淞泓智能汽车科技有限公司 基于高精度地图信息融合的网联汽车轨迹监控方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325113A (ja) * 2003-04-22 2004-11-18 Suzuki Motor Corp 車両用歩行者検知方法及びその装置
EP1515293A1 (fr) * 2003-09-11 2005-03-16 Valeo Vision Dispositif de détection d'obstacle comportant un système d'imagerie stéréoscopique incluant deux capteurs optiques
CN101342892A (zh) * 2007-07-10 2009-01-14 欧姆龙株式会社 检测装置及方法、以及程序
CN103632170A (zh) * 2012-08-20 2014-03-12 深圳市汉华安道科技有限责任公司 基于特征组合的行人检测方法及装置
CN104350526A (zh) * 2012-06-11 2015-02-11 株式会社电装 人检测装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325113A (ja) * 2003-04-22 2004-11-18 Suzuki Motor Corp 車両用歩行者検知方法及びその装置
EP1515293A1 (fr) * 2003-09-11 2005-03-16 Valeo Vision Dispositif de détection d'obstacle comportant un système d'imagerie stéréoscopique incluant deux capteurs optiques
CN101342892A (zh) * 2007-07-10 2009-01-14 欧姆龙株式会社 检测装置及方法、以及程序
CN104350526A (zh) * 2012-06-11 2015-02-11 株式会社电装 人检测装置
CN103632170A (zh) * 2012-08-20 2014-03-12 深圳市汉华安道科技有限责任公司 基于特征组合的行人检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402335A (zh) * 2020-03-18 2020-07-10 东软睿驰汽车技术(沈阳)有限公司 深度学习模型的评价方法、装置、电子设备及存储介质
CN111583650A (zh) * 2020-05-15 2020-08-25 新石器慧通(北京)科技有限公司 一种无人除冰车路面清除方法及无人驾驶除冰车
CN113551686A (zh) * 2021-08-03 2021-10-26 上海淞泓智能汽车科技有限公司 基于高精度地图信息融合的网联汽车轨迹监控方法

Also Published As

Publication number Publication date
CN105678221B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN108572663B (zh) 目标跟踪
US10458810B2 (en) Traffic light state assessment
US11940290B2 (en) Virtual stop line mapping and navigation
CN105678316B (zh) 基于多信息融合的主动驾驶方法
US20220009518A1 (en) Road vector fields
US11313976B2 (en) Host vehicle position estimation device
US10677597B2 (en) Method and system for creating a digital map
US9140792B2 (en) System and method for sensor based environmental model construction
JP5288423B2 (ja) データ配信システム、及びデータ配信方法
CN109556615A (zh) 基于自动驾驶的多传感器融合认知的驾驶地图生成方法
US10339400B1 (en) Traffic light detection using multiple cameras
GB2613692A (en) Systems and methods for vehicle navigation
US20230296382A1 (en) Determination of free space around a vehicle
CN110091875A (zh) 基于物联网的深度学习型智能驾驶环境感知系统
WO2021262976A1 (en) Systems and methods for detecting an open door
US20190188499A1 (en) Proving hypotheses for a vehicle using optimal experiment design
JP3857698B2 (ja) 走行環境認識装置
US20230211726A1 (en) Crowdsourced turn indicators
EP4182838A1 (en) Systems and methods for dynamic road geometry modeling and navigation
CN107200016A (zh) 道路自适应预测方法及采用该方法的车辆系统
CN105678221A (zh) 一种雨雪天气的行人检测方法及系统
WO2023129656A1 (en) Calculating vehicle speed for a road curve
WO2022149046A1 (en) Systems and methods for monitoring lane mark quality
WO2021198775A1 (en) Control loop for navigating a vehicle
US20230206608A1 (en) Systems and methods for analyzing and resolving image blockages

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant