CN108263324B - 基于姿势信息的行人检测和行人碰撞预防装置及方法 - Google Patents

基于姿势信息的行人检测和行人碰撞预防装置及方法 Download PDF

Info

Publication number
CN108263324B
CN108263324B CN201711279858.6A CN201711279858A CN108263324B CN 108263324 B CN108263324 B CN 108263324B CN 201711279858 A CN201711279858 A CN 201711279858A CN 108263324 B CN108263324 B CN 108263324B
Authority
CN
China
Prior art keywords
pedestrian
vehicle
speed
mitigation system
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711279858.6A
Other languages
English (en)
Other versions
CN108263324A (zh
Inventor
金润洙
朴胜煜
李民秉
郑镐铁
郑仁溶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN108263324A publication Critical patent/CN108263324A/zh
Application granted granted Critical
Publication of CN108263324B publication Critical patent/CN108263324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/085—Taking automatic action to adjust vehicle attitude in preparation for collision, e.g. braking for nose dropping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/024—Collision mitigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2250/00—Monitoring, detecting, estimating vehicle conditions
    • B60T2250/04—Vehicle reference speed; Vehicle body speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2270/00—Further aspects of brake control systems not otherwise provided for
    • B60T2270/30—ESP control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B60W2710/182—Brake pressure, e.g. of fluid or between pad and disc
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种用于操作车辆的行人检测和碰撞缓解系统的装置和方法。该装置包括前方检测传感器，该前方检测传感器检测车辆的行驶车道中的行人以及行人与车辆之间的距离和相对速度。车辆传感器检测车辆速度，并且控制器基于由前方检测传感器和车辆传感器所检测的信息执行行人检测和碰撞缓解系统的功能。警报单元然后向驾驶员输出关于行人与车辆的碰撞的通知。

Description

基于姿势信息的行人检测和行人碰撞预防装置及方法
技术领域
本公开的示例性实施例涉及一种行人检测和行人碰撞预防装置和方法，并且更具体地涉及一种用于操作车辆的行人检测和碰撞缓解系统(PDCMS)的装置和方法，其能够通过分析车辆前方的图像来识别行人，并且在检测到事故风险时通过操作PDCMS功能来保护行人。
背景技术
近来，先进的驾驶员辅助系统(ADAS)正被开发以辅助驾驶员操作车辆。ADAS有多个子技术类别。例如，ADAS包括行人检测和碰撞缓解系统(PDCMS)。PDCMS是这样一种技术，其当预计到行人与车辆发生碰撞时，警报驾驶员潜在的行人碰撞，并自动启动紧急制动。
由于与行人有关的交通事故的伤害率正在增加，PDCMS系统能够帮助降低车辆对不可避免的行人碰撞的速度，从而减轻行人撞击并降低致命率和伤害率。因此，需要针对PDCMS的具体应用的技术开发。
发明内容
本公开的目的是提供一种用于通过更精确地操作PDCMS功能来更安全地保护行人的系统。具体地，本公开的目的在于提供一种用于操作PDCMS的装置，该装置可以包括前方检测传感器，该前方检测传感器配置为检测行人的存在，并且基于具有较高精度的车辆前方图像中的行人的姿势信息来测量车辆与行人之间的距离和相对速度。
本公开的其他目的和优点可以通过以下描述来理解，并且参考本公开的示例性实施例变得显而易见。而且，对于本公开所属领域的技术人员显而易见的是，本公开的目的和优点可以通过所要求保护的手段及其组合来实现。
根据本公开的一个方面，用于操作车辆的行人检测和碰撞缓解系统(PDCMS)的装置可以包括：前方检测传感器，其配置为检测车辆的行驶车道中的行人并检测或测量行人与车辆之间的距离和相对速度；车辆传感器，其配置为检测车辆的速度；控制器(例如，电子控制单元)，其配置为基于由前方检测传感器和车辆传感器所检测的信息来操作PDCMS功能；以及警报单元，其被操作以通知驾驶员行人与车辆控制器的潜在碰撞。
另外，前方检测传感器可以包括：图像输入单元，其配置为获取车辆前方的图像；感兴趣区域(ROI)设置单元，其配置为设置对应于图像中的对象的尺寸的ROI；候选提取单元，其配置为基于设置的ROI中的对象的操作来提取行人候选；以及行人确定单元，其包括数据库，并且配置为将所提取的行人候选与存储在数据库中的样本行人的姿势进行比较，以识别行人候选是否对应于行人。PDCMS功能可以包括警报单元的操作的启动以及制动器的操作的启动(无论驾驶员是否操作制动器)。
行人确定单元可以包括数据库，该数据库配置为存储作为样本行人的姿势的信息，该信息与数据库中的样本行人的前方部分、后方部分、左方部分和右方部分、身体的左上半部以及身体的右上半部中的至少一个相关联。行人确定单元还可以配置为以级联的方式将所提取的行人候选与数据库中的样本行人的前方部分、后方部分、左方部分和右方部分、身体的左上半部以及身体的右上半部进行比较。前方检测传感器可以进一步包括行人追踪单元，该追踪单元配置为追踪由行人确定单元识别的行人。行人追踪单元可以配置为基于设置的ROI中的行人的特征点的数量来追踪行人。
控制器可以配置为启动制动器的操作，以从制动器的操作被启动的时间点到行人与车辆发生碰撞的时间点将车辆的速度降低到至少预定速度或更低。控制器可以配置为即使在开始制动器的操作的启动之后也允许驾驶员操作制动器以实现最大可能的减速。控制器还可以配置为操作警报单元以通知驾驶员PDCMS功能处于可用状态。
警报单元可以包括显示器单元，该显示器单元配置为在视觉上向驾驶员通知行人与车辆的碰撞，或者包括扬声器单元，该扬声器单元配置为在听觉上向驾驶员通知行人与车辆的碰撞。PDCMS功能可以进一步包括后制动灯的操作。PDCMS功能可以进一步包括电子稳定性控制系统(ESC)的操作。
根据本公开的另一方面，用于操作车辆的行人检测和碰撞缓解系统(PDCMS)的方法可以包括：获取车辆前方的区域的图像；设置对应于图像中的对象的尺寸的感兴趣区域(ROI)；基于设置的ROI中的对象的操作来提取行人候选；将所提取的行人候选与数据库中的样本行人的姿势进行比较，以识别行人候选是否对应于车辆的行驶车道中的行人；检测包括行人与车辆之间的距离和相对速度的行人信息；检测包括车辆速度的车辆信息；以及基于行人信息和车辆信息操作PDCMS功能，其中PDCMS功能可以包括警报单元的操作的启动以及制动器的操作的启动(无论所述驾驶员是否操作所述制动器)，其中，该警报单元被操作以向驾驶员提供关于所述行人与所述车辆的碰撞的通知。
附图说明
结合附图，通过下面的详细描述，将更清楚地理解本公开的上述和其他目的、特征和其他优点，其中：
图1是示出根据本公开的示例性实施例的PDCMS的示意性概念的图；
图2是示出根据本公开的示例性实施例的根据车辆的PDCMS状态的改变的框图；
图3是示意性地示出根据本公开的示例性实施例的用于操作车辆的PDCMS的装置的框图；
图4是根据本公开示例性实施例的前方检测传感器的配置图；
图5是示出根据本公开的示例性实施例的ROI设置的示例图。
图6是示出根据本公开的示例性实施例的行人移动速度的概念的图；
图7是示出根据本公开的示例性实施例的用于操作PDCMS功能的映射表的示例的图；以及
图8是示出根据本公开的示例性实施例的用于操作PDCMS功能的方法的流程的流程图。
具体实施方式
应该理解，本文所使用的术语“车辆”或“车辆的”或其他类似的术语一般包括机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的乘用车，包括各种船只和船舶的水运工具，飞行器等，并且包括混合动力车辆、电动车辆、燃烧式、插电式混合动力电动车辆、氢动力车辆和其他替代燃料(例如，从非石油资源获得的燃料)车辆。
虽然示例性实施例被描述为使用多个单元以执行示例性过程，但是应当理解，示例性过程也可以由一个或多个模块执行。此外，可以理解，术语“控制器/控制单元”是指包括存储器和处理器的硬件设备。存储器配置为存储模块，并且处理器具体配置为执行所述模块以执行下面进一步描述的一个或多个处理。
此外，本公开的控制逻辑可以体现为包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质还可以分布在连接有网络的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(CAN)以分布式方式存储和执行。
本文所使用的术语仅用于描述特定实施例的目的，而不旨在限制本公开。如本文所所用的，单数形式“一个”、“一”和“该”是也旨在包括复数形式，除非上下文另外明确指出。应该进一步理解，术语“包括”和/或“包含”在用于本说明书时，明确所述特征、区域、整数、步骤、操作、元件、和/或组件的存在，但不排除一个或更多其他特征、区域、整数、步骤、操作、元件、组件和/或其组合的存在或附加。如本文所使用的，术语“和/或”包括相关所列项目中的一个或多个的任何和所有组合。
除非特别说明或从上下文中明显看出，否则如本文所使用的术语“约”应理解为在本领域的正常公差范围内，例如在平均值的2个标准偏差内。“约”可以理解为在所述数值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％范围内。除非上下文另外明确，否则本文所提供的所有数值均由术语“约”修饰。
在下文中，将参考附图详细描述本公开的示例性实施例，使得本领域技术人员可以容易地实践本公开。如本领域技术人员将认识到的，所描述的示例性实施例可以以各种不同的方式进行修改，所有这些均不脱离本公开的精神或范围。
与说明无关的部件将被省略以清楚地描述本公开，并且在整个说明书中相同的元件将由相同的附图标记表示。在整个本说明书中，当任何一个部件被称为“连接到”另一个部件时，这意味着任何一个部件和另一个部件彼此“直接连接”，或彼此“间接连接”且其他部件介于其间。
当提及任何部分存在于另一部分“上方”时，其是指任何部分可以直接形成在另一部分上，或者第三部分可以介于该任何部分和另一部分之间。相反，当提及任何部分存在于另一部分“紧上方(just over)”时，其意味着可能没有介于该任何部分和另一部分之间的第三部分。
整个说明书中所使用的术语“第一”、“第二”、“第三”等可以用于描述各种部分、组件、区域、层和/或区段，但不限于此。这些术语仅用于区分任何部分、组件、区域、层或区段与其他部分、组件、区域、层或区段。因此，在不脱离本公开的范围的情况下，可以将下面将要描述的第一部分、组件、第一区域、第一层或第一区段作为第二部分、第二组件、第二区域、第二层或第二区段而提及。
这些术语旨在包括与附图中的预期含义一起使用的装置的其他含义或操作。例如，在翻转图中的装置时，被描述为位于其他部分“下方”的任何部分将被描述为位于其他部分“上方”。因此，例示的术语“下方”包括上下两个方向。装置可以旋转90°或者可以以不同的角度旋转，并且相应地解释表达相对空间的术语。
除非另外定义，否则本文所使用的包括技术术语和科学术语的所有术语具有与本公开所属领域的技术人员通常理解的含义相同的含义。在通常使用的词典中所定义的术语被另外解释为具有与相关技术文献和当前公开的内容匹配的含义，并且除非被定义，否则不被解释为理想的或形式的含义。
图1是示出PDCMS的示意性概念的图。PDCMS是这样一种技术，其当预计到行人与车辆发生碰撞时，警报驾驶员行人碰撞，并自动启动紧急制动。
参考图1，可以基于行人的操作确定和车辆的操作确定来确定是否操作PDCMS。当确定操作PDCMS时，可以通过向驾驶员输出警报并启动车辆控制来执行PDCMS功能。系统设计者可以设计PDCMS功能以仅在行人与车辆碰撞的风险下操作，或者可以设计PDCMS功能以与其他驾驶辅助系统组合操作。
图2是示出根据车辆的PDCMS状态的变化的框图。在PDCMS关闭状态下，不对车辆的操作执行动作。当车辆发动机熄火(stall)时，PDCMS关闭状态发生。在PDCMS停用(deactivation)状态下，用于操作PDCMS的装置可以配置为监控车辆的速度并且确定PDCMS是否处于适当的状态以启动。在PDCMS关闭状态下，可以通过开启发动机来实现PDCMS停用状态。进一步地，即使当车辆处于除了车辆从PDCMS启动状态被启动的条件之外的状态时，也可以执行PDCMS停用状态。例如，当车辆的速度降低到预定值Vmin以下时，建立PDCMS停用状态。
当车辆的速度等于或大于预定值Vmin并且等于或小于预定值Vmax时，可以建立PDCMS启动状态。为了确定是否在PDCMS启动状态下操作PDCMS功能，可以监控行人的操作和车辆的操作。当用于操作PDCMS的装置确定需要操作PDCMS功能时，可以启动PDCMS功能。PDCMS功能可以包括对驾驶员的碰撞警报和紧急制动器的操作，或者可选地可以包括驾驶员的制动动作。
图3是示意性地示出根据本公开的示例性实施例的用于操作车辆的PDCMS的装置的框图。参考图3，根据本公开的示例性实施例的用于操作车辆的PDCMS的装置100可以包括前方检测传感器200、车辆传感器300、控制器400和警报单元500。控制器400可以被配置为操作装置100的其他各种组件。具体地，前方检测传感器200可以配置为通过在使用成像设备(例如，相机、摄像机等)所获取的车辆前方区域的图像中设置感兴趣区域(ROI)来检测行人。
将参考图4详细描述根据本公开的示例性实施例的用于基于前方检测传感器200的ROI设置来确定行人的方法。前方检测传感器200可以配置为提取在车辆前方所检测的障碍物的特性以识别对象并且检测诸如路边上的车辆以及行人的各种对象。前方检测传感器200可以配置为即使当通过检测形成行人的部位以及行人的整体外观仅检测到被诸如路旁的车辆等各种对象所覆盖的行人的一部分时也检测行人。此外，前方检测传感器200也可以配置为，在车辆前方的对象被确定为行人时，检测行人与车辆(例如本车辆或行驶中的车辆)之间的距离和相对速度。然后，前方检测传感器200可以配置为将关于所检测的行人的信息发送到控制器400。
车辆传感器300可以配置为基于车辆发动机测量车轮的每分钟转数(RPM)，并且基于车轮的已知周长以及所测量的RPM和时间来计算车辆的行驶速度。进一步地，车辆传感器300还可以配置为通过包括雨水传感器、温度传感器、照明传感器等来检测关于车辆的驾驶环境的信息。然后，车辆传感器300可以配置为将关于所检测的车辆的驾驶状况和驾驶环境的信息发送给控制器400。
控制器400可以配置为基于从前方检测传感器200和车辆传感器300所接收的信息来确定是否操作车辆的PDCMS功能。具体地，控制器400可以配置为通过组合行人状态和车辆状态来确定是否满足操作PDCMS功能的条件。换句话说，控制器400可以配置为响应于确定障碍物是行人而使用行人的当前位置、车辆的当前位置以及车辆的速度信息来确定车辆与行人之间的碰撞风险。
例如，当行人与车辆之间的距离小于预定距离并且行人的运动方向与车辆的运动方向相同时，确定可能存在碰撞风险，并且因此满足可以操作PDCMS功能的条件。当行人和车辆之间的距离小于预定距离但是行人的运动方向和车辆的运动方向不同时，不太可能发生碰撞，并且因此不满足可以操作PDCMS功能的条件。
具体地，控制器400可以配置为基于映射表来确定是否满足可以操作PDCMS功能的条件。以下将参考图6来描述映射表。控制器400可以配置为响应于确定行人状态和车辆状态满足可以开始PDCMS功能的条件来执行车辆的PDCMS功能。PDCMS功能可以包括操作警报单元500以警报驾驶员关于行人与车辆的碰撞或在驾驶员没有操作的情况下操作制动器(例如，没有用户干涉或意图下的制动器的操作)。
对驾驶员的关于行人与车辆的碰撞的警报可以通过操作警报单元500来执行。警报单元500可以由控制器400操作，并且警报单元500可以包括显示器单元或扬声器单元。显示器单元可以通过平视显示器、导航显示器等向驾驶员提供视觉警报。扬声器单元可以通过音频输出(例如，扬声器)向驾驶员提供听觉警报。由于障碍物存在于车辆的行驶车道的前方(例如，在车辆的行驶车道中检测到对象)，因此警报单元500执行的警报的内容可包括行人与车辆碰撞的潜在风险。
无论驾驶员是否操作制动器，制动器的操作的启动都可以仅由控制器400在没有驾驶员的操作的情况下执行。制动器的操作的启动是响应于确定行人碰撞迫在眉睫而自动降低车辆与行人之间的相对速度。
另外，执行制动器操作的启动以从制动器的操作被启动的时间点到行人与车辆的碰撞发生的时间点将车辆的速度降低到至少预定速度或更小。例如，预定速度可以是约20km/h。进一步地，即使在制动器的操作的启动开始后，驾驶员手动操作制动器，由此执行最大可能的减速。换句话说，驾驶员可以手动操作制动器以进一步降低车辆的速度。例如，驾驶员可以手动操作制动器以将车辆速度降低到约20km/h或更小。
进一步地，控制器400可以配置为通知驾驶员PDCMS功能处于可用状态。具体地，控制器400可以配置为操作警报单元500以通过警报单元500的显示器单元或扬声器单元通知驾驶员PDCMS功能处于可用状态。另外，PDCMS功能可以配置为操作刹车灯，以防止与跟随的车辆碰撞的潜在风险。
另外，PDCMS功能可以进一步包括电子稳定性控制系统(ESC)的操作。ESC是这样一种装置，其允许车辆自身在紧急情况下介入制动操作，紧急情况诸如转向过度(当车辆向内进入超过道路转弯半径时)或转向不足(当车辆向外偏离超出道路的转弯半径时)，以帮助驾驶员安全地避开紧急情况。
图4是根据本公开的示例性实施例的前方检测传感器的配置图。参考图4，根据本公开的示例性实施例的前方检测传感器200可以包括图像输入单元210、感兴趣区域(ROI)设置单元220、候选提取单元230、行人确定单元240以及行人追踪单元250。前方检测传感器200的每个单元可以由控制器400操作。
特别地，图像输入单元210可以配置为接收由拍摄车辆的前方区域的相机所获取的图像。ROI设置单元220可以配置为设置与通过图像输入单元210所接收的车辆前方的区域中的图像中的对象的尺寸相对应的ROI。换句话说，ROI设置单元220可以配置为使用图像的尺寸、相机上的安装环境信息、相机的规格以及行人的实际尺寸来确定图像中的行人区域的场地(floor，地面)位置。因此，由于可以基于像素的数量来识别行人，所以ROI设置单元220可以配置为将来自行人区域的场地位置的行人的最小尺寸和最大尺寸设置为合适的ROI。
图5是示出根据本公开的示例性实施例的ROI设置的示例图。参考图5，前方检测传感器200的安装环境信息可以通过以下等式1来表示。
等式1
Figure BDA0001497320430000111
ψP(i)＝φPT(i)-φPB(i)
Figure BDA0001497320430000112
DP(i)＝tan(φPB(i))×HC
Figure BDA0001497320430000113
Figure BDA0001497320430000114
在等式(1)中，各个符号具有以下含义。i：图像中的行人区域的场地位置；HP_I：图像中的行人区域的尺寸(高度)；ψP：由行人占据的在竖直方向的角度；HI：输入图像的尺寸(高度)；φPT：到行人头顶的角度；φPB：到行人脚尖的角度；HP_R：行人的尺寸(高度)DP：到行人的距离；HC：相机安装高度；θV：相机竖直方向上的角度；θIB：到对应于图像的起点的实际位置的角度；以及DIB：到对应于图像的起点的实际位置的距离。
候选提取单元230可以配置为基于由具有ROI设置单元220设置的ROI的对象的操作来提取行人候选。行人确定单元240可以配置为通过将行人候选提取单元230提取的行人候选与行人特征数据库中的样本行人的姿势进行比较来提取候选。
尽管未示出，但是行人确定单元240可以包括数据库，该数据库用于存储作为样本行人的姿势的信息，该信息与样本行人的前方部分、后方部分、左方部分和右方部分、身体的左上半部或身体的右上半部相关联。因此，行人确定单元240可以配置为将由候选提取单元230所提取的行人候选的特征与数据库中所存储的样本行人的姿势例如以级联方式(例如，降序)顺序地进行比较，从而确定行人候选是否对应于行人。
例如，数据库中与行人候选的特征进行比较的样本行人的姿势可以按照样本行人的前方部分、后方部分、左方部分和右方部分、身体的左上半部和身体的右上半部的顺序。然而，这些姿势不一定限于此类级联顺序。
进一步地，行人追踪单元250可以配置为追踪由行人确定单元240识别的行人。例如，行人追踪单元250可以配置为基于在ROI中的行人的特征点的数量追踪行人。前方检测传感器200可以配置为通过行人追踪单元250的追踪来检测行人的注视信息以及行人与车辆之间的距离和相对速度。
图6是示出行人移动速度的概念的图。参考图6，前方检测传感器200可以被配置为检测在行驶车道内行驶的行人600和车辆700之间的距离以及行人600的移动速度。
例如，当行人600相对于车辆700的前视视野从左向右移动时，行人600具有负(-)移动速度，并且当行人600相对于车辆700的前视视野从右向左移动时，行人600具有正(+)移动速度。另外，前方检测传感器200可以配置为检测车辆700与正在车辆的行驶车道中移动的行人600之间的距离。
图7是示出根据本公开的示例性实施例的用于操作PDCMS功能的映射表的示例的图。控制器400可以配置为访问并使用映射表来确定行人与车辆的碰撞风险，并且此外确定PDCMS功能是否被操作。
参考图7，控制器400可以配置为基于行人正在移动的行驶车道的边界处的初始速度和车辆的初始速度来确定PDCMS功能的操作。特别地，在确定PDCMS功能是否操作时，在行人正在移动的行驶车道的边界处的初始速度的绝对值和车辆的初始速度处于PDCMS功能主要地(essentially)操作的区域中时，控制器400可以配置为确定PDCMS功能被操作。操作可能区域是指可以根据制造商的选择调整Vmin或Vmax的区域。
例如，当车辆的速度减小到作为Vmin的小于约8.4m/s(30km/h)的速度时或者增加到作为Vmax的大于约16.6m/s(60km/h)的速度时，则控制器400可以配置为确定PDCMS处于停用状态，并且因此不操作PDCMS功能。进一步地，当车辆的初始速度在Vmin和Vmax之间并且行人正在移动的行驶车道的边界处的初始速度的绝对值在约0.83m/s和1.5m/s之间时，控制器400可以配置为确定操作PDCMS功能。
图8是示出由控制器执行的根据本公开示例性实施例的用于操作PDCMS功能的方法的流程的流程图。参考图8，根据本公开的示例性实施例的用于操作行人检测和碰撞缓解系统(PDCMS)功能的方法可以包括：获取车辆前方的图像(步骤S100)；设置对应于图像中的对象的尺寸的感兴趣区域(ROI)(步骤S200)；基于所设置的ROI中的对象的操作提取行人候选(步骤S300)；将所提取的行人候选与数据库中的样本行人的姿势进行比较，以识别行人候选是否对应于车辆的行驶车道中的行人(步骤S400)；由前方检测传感器检测行人与车辆之间的距离和相对速度(步骤S500)；通过车辆传感器检测车辆的速度(S600)；以及基于由前方检测传感器和车辆传感器所检测的信息操作PDCMS功能(步骤S700)。
在获取车辆前方的图像(步骤S100)时，可以通过配置为拍摄车辆前方的区域的相机来获取图像。在设置对应于图像中的对象的尺寸的感兴趣区域(ROI)(步骤S200)时，可以设置对应于在步骤S100中所获取的车辆前方区域中的图像中的对象的尺寸的ROI。换句话说，基于图像的尺寸、相机上的安装环境信息、相机的规格以及行人的实际尺寸来确定图像中的行人区域的场地位置。因此，由于可以基于像素的数量来识别行人，所以可以将自行人区域的场地位置的行人的最小尺寸和最大尺寸设置为合适的ROI。
在基于设置的ROI中的对象的操作来提取行人候选(步骤S300)时，可以基于图像中具有设置的ROI的对象的操作来提取行人候选。另外，在将所提取的行人候选与数据库中的样本行人的姿势进行比较以识别行人候选是否对应于车辆的行驶车道中的行人(步骤S400)时，可以例如以级联的方式将所提取的行人候选的特征与存储在数据库中的样本行人的姿势顺序地进行比较，以确定行人候选是否对应于行人。
在检测包括行人与车辆之间的距离和相对速度的行人信息(步骤S500)时，可以通过基于ROI中行人的特征点的数量追踪行人来检测行人与车辆之间的距离和相对速度。另外，在检测包括车辆速度的车辆信息(步骤S600)时，车辆传感器可以配置为基于车辆发动机测量车轮的RPM，并基于车轮的已知周长和所测量的RPM和时间来计算车辆的RPM，以检测关于车辆的驾驶状况的信息。
在基于行人信息和车辆信息操作PDCMS功能(步骤S700)时，可以通过组合行人状态和车辆状态来确定是否满足可以操作PDCMS功能的条件。例如，可以通过组合行人状态和车辆状态来确定是否满足映射表上的可以操作PDCMS功能的条件。换句话说，响应于确定障碍物是行人，使用行人的当前位置、车辆的当前位置以及车辆上的速度信息，基于映射表确定行人与车辆的碰撞风险。
进一步地，响应于确定行人状态和车辆状态满足可以开始PDCMS功能的条件，可以操作车辆的PDCMS功能。PDCMS功能可以包括警报单元的操作的启动以及制动器的操作的启动(无论驾驶员是否操作制动器)，该警报单元被操作以向驾驶员提供关于行人与车辆的碰撞的通知。
同时，应该理解的是，为了便于在本说明书中进行描述，将PDCMS描述为示例。如上所述，应该理解的是，PDCMS仅是多个ADAS功能中的一个，并且本公开所提供的PDCMS实施也可以用于实施所涉及的其他ADAS功能。例如，本公开所提出的系统可以被应用以实现ADAS功能中的一个或其组合，ADAS功能诸如为PDCMS、车道变换确定辅助系统(LCDAS)、车道偏离警报系统(LDWS)、自适应巡航控制(ACC)、车道保持辅助系统(LKAS)、道路边界偏离预防系统(RBDPS)、弯道速度警报系统(CSWS)、前车碰撞警报系统(FVCWS)以及低速跟随(LSF)。
根据本公开的示例性实施方式的用于操作PDCMS的装置可以基于车辆前方区域的图像中的行人的姿势信息来更加准确地确定行人。因此，根据本公开的示例性实施例的用于操作PDCMS的装置可以更加准确地检测行人，以有效地保护行人。
以上包括一个或多个示例性实施例的示例。当然，尽管为了描述上述实施例的目的，并未描述组件或方法的所有可能的组合，但是本领域技术人员可以认识到，各种实施例的许多组合和替换是可能的。因此，所描述的实施例旨在涵盖属于所附权利要求的精神和范围内的所有替换、修改和变化。

Claims (14)

1.一种用于操作车辆的行人检测和碰撞缓解系统的装置，包括：
前方检测传感器，配置为检测所述车辆的行驶车道中的行人以及所述行人与所述车辆之间的距离和相对速度；
车辆传感器，配置为检测所述车辆的速度；
控制器，配置为基于由所述前方检测传感器和所述车辆传感器所检测的信息执行所述行人检测和碰撞缓解系统的功能；以及
警报单元，由所述控制器操作以向驾驶员提供关于所述行人与所述车辆的碰撞的通知，
其中，所述前方检测传感器包括：
图像输入单元，配置为获取所述车辆的前方的区域的图像；
感兴趣区域设置单元，配置为设置对应于所述图像中的对象的尺寸的感兴趣区域；
候选提取单元，配置为基于设置的所述感兴趣区域中的所述对象的移动来提取行人候选；以及
行人确定单元，配置为将提取的所述行人候选与数据库中的样本行人的姿势进行比较，以识别提取的所述行人候选是否对应于所述行人，
其中，当车辆的速度小于第一阈值速度（Vmin）时或者大于第二阈值速度（Vmax）时使所述行人检测和碰撞缓解系统停用，
其中，当车辆的速度大于或等于所述第一阈值速度（Vmin）并且小于或等于所述第二阈值速度（Vmax）时，启动所述行人检测和碰撞缓解系统，并且
其中，所述控制器进一步配置成：在确定是否操作所述行人检测和碰撞缓解系统的功能时，如果在所述行驶车道的边界处移动的所述行人的初始速度的绝对值在第一速度范围内，并且所述车辆的初始速度在第二速度范围内，则确定操作所述行人检测和碰撞缓解系统的功能，
其中，所述第一速度范围具有第一最小速度值和第一最大速度值，并且所述第二速度范围具有第二最小速度值和第二最大速度值，并且
其中，所述第一阈值速度等于所述第二最小速度值，并且所述第二阈值速度等于所述第二最大速度值。
2.根据权利要求1所述的装置，其中，所述行人检测和碰撞缓解系统的功能包括启动所述警报单元的操作和启动制动器的操作。
3.根据权利要求1所述的装置，其中，所述行人确定单元包括所述数据库，所述数据库用于存储作为所述样本行人的姿势的信息，所述信息与所述样本行人的前方部分、后方部分、左方部分、右方部分、身体的左上半部或者身体的右上半部中的至少一个相关联。
4.根据权利要求3所述的装置，其中，所述行人确定单元配置为以级联的方式将提取的所述行人候选与所述数据库中的所述样本行人的前方部分、后方部分、左方部分、右方部分、身体的左上半部或者身体的右上半部进行比较。
5.根据权利要求1所述的装置，其中，所述前方检测传感器进一步包括行人追踪单元，所述行人追踪单元配置为追踪由所述行人确定单元识别的所述行人。
6.根据权利要求5所述的装置，其中，所述行人追踪单元配置为基于设置的所述感兴趣区域中的所述行人的特征点的数量来追踪所述行人。
7.根据权利要求1所述的装置，其中，所述控制器配置为启动制动器的操作，以从所述制动器的操作被启动的时间点至所述行人与所述车辆发生碰撞的时间点，将所述车辆的速度降低到至少一预定速度或更低。
8.根据权利要求1所述的装置，其中，所述控制器配置为即使在开始启动制动器的操作之后也允许驾驶员操作所述制动器以实现最大可能的减速。
9.根据权利要求1所述的装置，其中，所述控制器配置为操作所述警报单元以通知驾驶员所述行人检测和碰撞缓解系统的功能处于可用状态。
10.根据权利要求1所述的装置，其中，所述警报单元包括显示器单元或者扬声器单元，所述显示器单元配置为在视觉上向驾驶员通知关于所述行人与所述车辆的碰撞，所述扬声器单元配置为在听觉上向驾驶员通知关于所述行人与所述车辆的碰撞。
11.根据权利要求2所述的装置，其中，所述行人检测和碰撞缓解系统的功能进一步包括操作后制动灯。
12.根据权利要求2所述的装置，其中，所述行人检测和碰撞缓解系统的功能进一步包括操作电子稳定性控制系统。
13.一种用于操作车辆的行人检测和碰撞缓解系统的方法，包括：
通过控制器获取所述车辆的前方的区域的图像；
通过所述控制器设置对应于所述图像中的对象的尺寸的感兴趣区域；
通过所述控制器基于设置的所述感兴趣区域中的所述对象的移动来提取行人候选；
通过所述控制器将提取的所述行人候选与数据库中的样本行人的姿势进行比较，以识别提取的所述行人候选是否对应于所述车辆的行驶车道中的行人；
通过所述控制器检测包括所述行人与所述车辆之间的距离和相对速度的行人信息；
通过所述控制器检测包括所述车辆的速度的车辆信息；以及
通过所述控制器基于所述行人信息和所述车辆信息执行所述行人检测和碰撞缓解系统的功能，
其中，当车辆的速度小于第一阈值速度（Vmin）时或者大于第二阈值速度（Vmax）时使所述行人检测和碰撞缓解系统停用，
其中，当车辆的速度大于或等于所述第一阈值速度（Vmin）并且小于或等于所述第二阈值速度（Vmax）时，启动所述行人检测和碰撞缓解系统，以及
其中，执行所述行人检测和碰撞缓解系统的功能包括：
在确定是否操作所述行人检测和碰撞缓解系统的功能时，如果按照预定条件在所述行驶车道的边界处移动的所述行人的初始速度的绝对值在第一速度范围内，并且所述车辆的初始速度在第二速度范围内，则确定操作所述行人检测和碰撞缓解系统的功能，
其中，所述第一速度范围具有第一最小速度值和第一最大速度值，并且所述第二速度范围具有第二最小速度值和第二最大速度值，并且
其中，所述第一阈值速度等于所述第二最小速度值，并且所述第二阈值速度等于所述第二最大速度值。
14.根据权利要求13所述的方法，其中，所述行人检测和碰撞缓解系统的功能包括启动警报单元的操作，所述警报单元被操作以向驾驶员提供关于所述行人与所述车辆的碰撞的通知，所述行人检测和碰撞缓解系统的功能还包括启动制动器的操作，而无论驾驶员是否操作所述制动器。
CN201711279858.6A 2016-12-30 2017-12-06 基于姿势信息的行人检测和行人碰撞预防装置及方法 Active CN108263324B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160184296A KR101996417B1 (ko) 2016-12-30 2016-12-30 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR10-2016-0184296 2016-12-30

Publications (2)

Publication Number Publication Date
CN108263324A CN108263324A (zh) 2018-07-10
CN108263324B true CN108263324B (zh) 2022-08-09

Family

ID=60654686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711279858.6A Active CN108263324B (zh) 2016-12-30 2017-12-06 基于姿势信息的行人检测和行人碰撞预防装置及方法

Country Status (4)

Country Link
US (1) US11167736B2 (zh)
EP (1) EP3342664B1 (zh)
KR (1) KR101996417B1 (zh)
CN (1) CN108263324B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101996417B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR102572784B1 (ko) * 2018-10-25 2023-09-01 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어방법
CN109435886B (zh) * 2018-12-05 2021-02-23 广西农业职业技术学院 一种汽车安全驾驶辅助检测方法
JP7370840B2 (ja) * 2019-12-09 2023-10-30 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
CN111746527B (zh) * 2020-06-08 2022-04-15 武汉理工大学 一种汽车与行人碰撞的预测方法及系统
CN111674348A (zh) * 2020-06-17 2020-09-18 中国第一汽车股份有限公司 一种缓冲车辆碰撞的方法、装置及车辆
CN111907520B (zh) * 2020-07-31 2022-03-15 东软睿驰汽车技术（沈阳）有限公司 行人姿态识别方法、装置及无人驾驶汽车
KR20220033653A (ko) * 2020-09-09 2022-03-17 현대모비스 주식회사 차량의 보행자 충돌 방지 시스템 및 방법
WO2023012671A1 (en) * 2021-08-02 2023-02-09 Mobileye Vision Technologies Ltd. Vulnerable road user (vru) collision avoidance system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105984448A (zh) * 2015-03-16 2016-10-05 株式会社万都 自主紧急制动系统及其控制方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06107141A (ja) * 1992-09-30 1994-04-19 Mazda Motor Corp 車両の自動制動装置
JP3714116B2 (ja) * 1999-08-09 2005-11-09 トヨタ自動車株式会社 操縦安定性制御装置
US20050046272A1 (en) * 2001-09-07 2005-03-03 Peter Rieth Method for carrying out an automatic braking action
JP3922245B2 (ja) 2003-11-20 2007-05-30 日産自動車株式会社 車両周辺監視装置および方法
DE102004018394B4 (de) 2004-04-16 2014-07-24 Daimler Ag Insassenschutzsystem
US7264571B2 (en) * 2004-06-25 2007-09-04 Luk Lamellen Und Kupplungsbau Betiligungs Kg Method and apparatus for controlling a vehicle power train containing a continuously variable transmission
EP1779295A4 (en) * 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
EP1944188A3 (en) * 2005-08-04 2009-09-09 Ford Global Technologies, LLC Automatic collision management system
JP5077639B2 (ja) * 2006-12-11 2012-11-21 株式会社デンソー 歩行者衝突検出装置及び歩行者保護システム
JP4967666B2 (ja) * 2007-01-10 2012-07-04 オムロン株式会社 画像処理装置および方法、並びに、プログラム
JP2008203992A (ja) * 2007-02-16 2008-09-04 Omron Corp 検出装置および方法、並びに、プログラム
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
EP2238009A1 (de) * 2008-01-31 2010-10-13 Continental Teves AG & Co. oHG Fahrerassistenzsystem
JP2011063187A (ja) * 2009-09-18 2011-03-31 Autonetworks Technologies Ltd 車輌灯制御装置
JP5401344B2 (ja) 2010-01-28 2014-01-29 日立オートモティブシステムズ株式会社 車両用外界認識装置
JP5402813B2 (ja) * 2010-04-22 2014-01-29 株式会社豊田中央研究所 車両運動制御装置及びプログラム
DE102010053350A1 (de) * 2010-12-03 2012-06-06 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges zur Erhöhung einer Insassensicherheit
CN102542843A (zh) 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
US20120185130A1 (en) * 2011-01-18 2012-07-19 Ekchian Gregory J Vehicle lighting
KR20140031369A (ko) * 2011-06-17 2014-03-12 로베르트 보쉬 게엠베하 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치
US9395702B2 (en) * 2011-07-20 2016-07-19 Freescale Semiconductor, Inc. Safety critical apparatus and method for controlling distraction of an operator of a safety critical apparatus
KR20130021990A (ko) 2011-08-24 2013-03-06 현대모비스 주식회사 차량의 보행자 충돌 경보 시스템 및 그 방법
DE102011112985A1 (de) * 2011-09-10 2013-03-14 Daimler Ag Verfahren zum Betrieb einer Sicherheitsvorrichtung eines Fahrzeuges und eine solche Sicherheitsvorrichtung
JP5423764B2 (ja) * 2011-10-20 2014-02-19 住友電気工業株式会社 移動体検出装置、コンピュータプログラム及び移動体検出方法
US20140169624A1 (en) * 2012-12-14 2014-06-19 Hyundai Motor Company Image based pedestrian sensing apparatus and method
US20140183933A1 (en) * 2012-12-27 2014-07-03 Robert Bosch Gmbh Method of decelerating a vehicle with regenerative and friction braking
JP5729416B2 (ja) * 2013-04-26 2015-06-03 株式会社デンソー 衝突判定装置、および衝突緩和装置
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
JP6330908B2 (ja) 2014-07-01 2018-05-30 日産自動車株式会社 車両用表示装置及び車両用表示方法
US9637120B2 (en) * 2015-06-24 2017-05-02 Delphi Technologies, Inc. Cognitive driver assist with variable assistance for automated vehicles
US20170015260A1 (en) * 2015-07-13 2017-01-19 LAFORGE Optical, Inc. Apparatus And Method For Exchanging And Displaying Data Between Electronic Eyewear, Vehicles And Other Devices
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
KR101996414B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 보행자 시선을 고려한 충돌 방지 및 충격 완화 장치 및 방법
KR101996415B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996417B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105984448A (zh) * 2015-03-16 2016-10-05 株式会社万都 自主紧急制动系统及其控制方法

Also Published As

Publication number Publication date
CN108263324A (zh) 2018-07-10
US20180186349A1 (en) 2018-07-05
EP3342664A1 (en) 2018-07-04
EP3342664B1 (en) 2024-05-08
KR101996417B1 (ko) 2019-07-04
KR20180078980A (ko) 2018-07-10
US11167736B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
CN108263324B (zh) 基于姿势信息的行人检测和行人碰撞预防装置及方法
CN108263379B (zh) 基于姿势信息的行人检测和行人碰撞预防装置和方法
US20200298846A1 (en) Apparatus for preventing pedestrian collision accident, system having the same, and method thereof
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP7096150B2 (ja) 能動的な安全メカニズムの作動を適応させるための前方を走行中の車両の制動灯検出
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
CN107415825B (zh) 扩展车道盲区检测
US10922975B2 (en) Pedestrian collision prevention apparatus and method considering pedestrian gaze
US9346401B2 (en) Motor vehicle and method for operating a motor vehicle
KR101996420B1 (ko) 보행자 충돌 시 충격 완화 장치 및 방법
CN108275148B (zh) 用于缓解行人碰撞的装置和方法
TWI538831B (zh) Vehicle autonomous assist driving system and method
KR101511859B1 (ko) 차선 인식이 향상된 운전보조시스템 및 그 제어방법
US20230094320A1 (en) Driving assistance system, driving assistance method, and storage medium
CN117657207A (zh) 自动驾驶过程中执行最小风险操纵的车辆及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant