JP2021523507A - 受動型赤外線歩行者検出および回避システム - Google Patents

受動型赤外線歩行者検出および回避システム Download PDF

Info

Publication number
JP2021523507A
JP2021523507A JP2021513756A JP2021513756A JP2021523507A JP 2021523507 A JP2021523507 A JP 2021523507A JP 2021513756 A JP2021513756 A JP 2021513756A JP 2021513756 A JP2021513756 A JP 2021513756A JP 2021523507 A JP2021523507 A JP 2021523507A
Authority
JP
Japan
Prior art keywords
vehicle
thermal
human
road
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021513756A
Other languages
English (en)
Inventor
チェイス,アーノルド
Original Assignee
チェイス,アーノルド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by チェイス,アーノルド filed Critical チェイス,アーノルド
Publication of JP2021523507A publication Critical patent/JP2021523507A/ja
Priority to JP2023144589A priority Critical patent/JP2023175741A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • B60K2360/48Sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Electromagnetism (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Mathematical Physics (AREA)
  • Radiation Pyrometers (AREA)
  • Navigation (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

道路上での車両の運転を向上させるための受動型赤外線歩行者検出および回避システムおよび方法、具体的には、走行中の車両の潜在的な歩行者/車両衝突の危険性を認識し、それに応じて車両の位置および運転を調整するためのシステムおよび方法は、車両の運転システムに接続された画像プロセッサと動作通信を行う、車両に取り付けられた少なくとも1つの受動型赤外線センサーアレイを含んでいる。システムは、熱画像および熱画像処理を用いて、車両の走行車線内にいるか車線を横断している人間の存在を検出する。画像プロセッサは、人間の熱的特徴の検出を分析し、検出された人間の熱的特徴がどの方向にどのぐらいの速度で動いているかを特定して、歩行者またはバイカーに対する潜在的な脅威を評価し、さらに衝突を回避するために車両の運転への応答動作が必要かどうかを判断する。
【選択図】図1

Description

本発明は、一般に、自律走行車両ならびに手動運転車両の運転を向上させることに関するものであり、より具体的には、特に車両と歩行者との往来において、走行中の車両が歩行者に対して危険となりそうな状況を特定し、それに応じて車両の位置および運転を調整することで車両と歩行者との間の危険な相互動作を防止し、さらには歩行者およびバイカーに差し迫った衝突を警告するためのシステムおよび方法に関する。
多くの企業が、様々な用途、たとえば、限定するわけではないが、個人のタクシーサービス、配達サービスなどを含む用途のために、既存の道路上での商用および個人用の自律走行車両の開発を進めている。本発明によれば、自律走行車両とは、人間の運転手がいなくても走行できる車両である。このような車両は、人間の運転手がいるかのように車両を運転、操縦、制動、さらには操作するように設計された車載コンピュータやセンサーシステムを利用して走行できるように設計されている。タクシー、バス、配達用バンのネットワークと同様に、多くの自律走行車両がまもなく利用可能になると想定されており、これにより、ユーザーは自律走行車両に乗客の送迎、荷物の集荷、輸送、配達などを要望に応じて依頼することができるようになる。あるいは、ユーザーは個人用の自律走行車両を所有し、職場への通勤や用事のために用いたり、学校へ子供を送ったり、旅行の際に用いるなど、日常のタスクに使用することが可能となる。
開発およびテスト段階にある現在の自律走行車両は、人間の運転手がいなくても車両を完全に操作できるように、一般に複数のシステムを利用している。まず、標準的なGPSシステムを使用して、車両のルートを設定する。GPSシステムは、移動の出発地と目的地、および交通状況、通行止め、気象条件、優先ルート、有料道路などの他の要因を考慮して、車両が通る最適なルートを決定する。ただし、安全で効率的な走行のために、自律走行車両には、車両の走行中にルートに沿った動的な状態を認識するシステムも必要である。このようなシステムは、拡張GPSシステムと呼ばれ、カメラ、センサー、レーダー、ライダー(LIDAR)、レーザーなどの一連のテクノロジーを利用して、走行中の車両の周囲の3次元的な視界を提供する。このようなシステムは、車両周辺の他の車を把握し、車両の周囲または前方の道路上あるいは前後左右から車両に接近する障害物や危険を検出し、道路または走行車線の端の位置、先にある曲がり角、上り坂または下り坂を特定し、車両の前方、後方、および周囲の一般的な道路状況を判断することができる。
自律走行車両はまた、GPSシステムおよび拡張GPSシステムから提供された情報を処理し、処理された情報を車両の走行に利用するために、車内に集中処理システムを必要とする。このような一般的に利用されるシステムには、一般に、GPSシステム、拡張GPSシステム、およびその他の自律走行車両用の運転システムと通信して連携動作を行う車両内のコンピュータエリアネットワーク(CAN)バスが含まれる。
非自律走行車両も人間の運転手をバックアップするために同様のテクノロジーを利用している。たとえば、車両においては、ここ数十年様々な形態のクルーズコントロールが用いられている。最近では、車両の縦列駐車を自律的に行うシステムが搭載されている。現在、多くの最新式の車には、高速道路で車が車線から外れ始めたときに運転手を支援したり、前方の車に近づきすぎた場合にブレーキをかけたり、前方の道路に物体がある場合には運転手に警告したりするシステムが装備されている。
自律走行車両に搭載された誘導システムが人間の運転手の知覚および分析/意思決定能力に匹敵するかそれを超えるまで、完全自律走行車両がその周囲の状況に適切かつ動的に応答または反応するための能力を挫折させるような状況が日常的に数多く存在する。さらに、自律走行車両が安全かつ効率的な走行のために既存の運転システムおよびセンサーを問題なく信頼し、本質的にすべてのリスクを排除できるようになるまで、一般の人々はそのような車両の真の自律運転に対して完全な信頼を置こうとはしないであろう。実際、「現実の」自律走行車両のテストでは、車線を横断する車両、歩行者、またはバイカーが引き起こす状況に対して、既存の誘導システムやセンサーが適切かつ適時的に検出、認識および/または応答ができなかったことで、誘導の失敗や事故などが多数発生したことや、「誤った」指示が高い確率で表示されたことが示されている。自律走行車両や手動運転車両の両方において多数の誘導システムやセンサーが設けられている場合でも、さまざまな理由で歩行者および/またはバイカーとの往来における相互動作を特定して回避することに失敗している。
様々な光学ベースの自動車用および/または自律走行用誘導システムおよびセンサー(たとえばビデオ、LIDARなど)は、理想的な視覚条件下では十分にその機能を発揮するが、その性能は、雨、降雪、霧などの最中や直後あるいは車外が暗い場合や道路の照明の少ない場所などの悪環境条件下、あるいは歩行者が衣服、肌の色、天候、まぶしい太陽光などによって周囲に溶け込んでいるような場合でも、使用できないレベルまで低下する可能性がある。加えて、既存のレベルの「車載」センサー、カメラ、デバイス、およびインターフェースによって、自律走行車両の運転における特性をある程度変えることができるが(たとえば、予期しない障害物および/または他の車両に対してブレーキをかけること、車線から外れた場合に車両を操縦することなど)、現在、自律走行車両が歩行者の往来を認識するのを支援し、さらにその歩行者がいつ車両に対して問題となる動作を起こすのかを特定し、またそのような車両がそうした問題となる動作を防ぐための行動を自動的にとるのを支援するには、特有の重大な問題がある。したがって、自律走行車両の走行があらゆる条件下で安全かつ効率的となるように、既存の光学ベースの誘導システムおよびセンサーを改善する必要がある。
さらに、通常とは異なる、予期および予測の難しい状況を考慮して、リアルタイムの意思決定を車両に行わせることは本質的に難しいため、あらゆる条件下で車両を自律的に運転することは極めて困難であることは実証済みである。理想的な周囲条件下であっても、車両のCANバスはかなりの数のセンサーと連繋する必要があり、非常に短い時間の中で予測されたおよび/または通常とは異なるもしくは予測の難しい物体が存在することを車両が運転中に認識し、実際に検出し、確認し、適切に応答しようとするだけでも大きな分析処理能力が必要となる。本発明の主な目的は第1に「人間」を検出することであるので、無数に存在する「人間」を示す表現のすべてを車載のデータベースには保持できないことから、従来の光学的な手段では失敗する場合が多い。この例としては、非常に多くのバリエーション、すなわち、車椅子で自分自身を押している人間、別の人間に押されている車椅子の人間、自転車の脇に立っている横から見た人間、バックパックを背負った横から見た人間、などの中から「人間」を認識しようとするビデオプロセッサが挙げられる。さらに、車両が物体または状況を認識できたとしても、何が適切な応答処理なのかを車両に理解させようとすることは依然として困難である。自律走行車両による適切な応答を必要とする潜在的な状況はほぼ無限にあるため、車載処理能力および車内のデータベースサイズの制約や応答に利用できる実際の時間が非常に短いことを考えると、改めてこれが不可能ではないにしても非常に困難であることがわかる。未知または予測が難しい状況が非常に多いことを考えると、自律走行車両を誘導するより良い手法が依然として必要であり、まずするべきことは、未知の、予期および予測するのが難しい状況および誘導の調整が必要かを車両が検出および認識できる速度、効率、および有効性を改善することである。
したがって、道路上の未知の、予期および予測が難しい状況または状態を認識し、既存の動的な誘導システムの欠点や制限を克服できる、自律走行車両の運転のための改善されたシステムが必要である。さらに、人間が歩行者、ランナー、バイカーのいずれであっても、人間が関与する未知の、予期および予測が難しい状況あるいは人間が走行中の車両の予測走行経路上に侵入して車両と衝突するような状況に対応して、車両の安全で効率的な運転を支援できる、特定の「人間」の検出と分析のために設計された赤外線画像センサーを利用するシステムが必要である。
本発明は、一般に、道路上での自律走行車両または手動運転車両の運転を向上させるための受動型赤外線ベースの歩行者検出および回避システムに関する。本発明の実施形態によれば、車両または運転手が、道路上の予測経路を走行中の車両などの移動中の車両と歩行者またはバイカーとの潜在的な相互動作を検出および認識することを支援するための優れた手法が本システムによって提供される。
本発明によるシステムの動作の中心は、前方視IRセンサーなどの様々な車両センサーと常時通信を行う中央CANバスユニットを介するなどして車両の運転システムに接続された画像プロセッサと動作通信を行う、車両に取り付けられた少なくとも1つの前方視受動型赤外線(IR)画像センサーを、分析および出力処理のために、好ましくは即時にリアルタイムで使用することにある。動作時には、本発明によるシステムは、人間が歩いているか、走っているか、または自転車に乗っているか、すでに車線内にいるか、横断しているか、または車線に進入しようとしているかなどの、人間の特徴を示す特別に選択およびフィルタ処理された熱波長を即座に検出し、さらにその侵入に即座に応答する手段を、自律走行車両または手動運転車両に提供する。画像プロセッサは、人間を示す熱的特徴の検出を検索および分析し、検出された人間の熱的特徴が、どの方向およびどれぐらいの速度で動いているかを特定して、車両または歩行者に対する現在または今後の脅威を評価し、さらに、双方の相互動作を回避するための応答動作を車両の運転に対して開始する必要があるかどうかを判断する。このシステムは、すでに走行車線にいる静止した人間に車両が向かっているかどうかを特定することもできる。この情報は、例えば、手動運転車両のフロントガラスに「ヘッドアップ」表示またはその他の位置のグラフィック表示もしくは警告表示を提供するために、または自律走行車両の運転システムおよび/またはナビゲーションシステムへのデータ入力として使用できる。自律走行車両で使用することが好ましいが、本発明のシステムは、運転手を支援するための警報および/または自動補助システムとして、人間が運転する車両で使用することもできる。
本発明の一実施形態では、移動している車両の運転に役立つように、横方向に移動しそうな人間ならびに走行車線にすでに存在している人間を認識し、それに応じて車両の運転を調整するための方法は、車両に取り付けられた赤外線センサーアレイなどを介して熱画像を用いて道路の側方もしくは道路上の人間の熱的特徴を検出することと、検出された人間の熱的特徴が特定の位置にあるか、または衝突事故が発生しかねない方向に移動しているかを車両と歩行者との両方の方向および速度に基づいて特定することとを備えている。この方法はさらに、車両の運転に対して応答動作が必要か判断し、そのような動作が必要であると認識された場合には車両の運転に対して応答動作を行うことを備えている。
本発明の別の実施形態では、移動している車両に対する横方向に移動している人間の危険を認識し、それに応じて車両の運転を調整するためのシステムは、熱画像を用いて道路の側方の人間の熱的特徴を検出するための熱画像センサーアセンブリを備えている。このシステムはさらに、人間の熱的特徴が道路に向かう方向に移動しているかどうかを特定し、車両の運転に対して応答動作が必要かを判断するための熱画像センサーアセンブリと動作通信する画像プロセッサを備えている。このシステムはさらに、そのような応答動作が必要であると認識された場合に車両の運転に対して応答動作を行う画像プロセッサと動作通信する中央車両制御システムを備えている。
本発明によれば、前述の車両への応答は、車両の「運転支援」ステアリングシステムへの直接入力の提供および/または車両のブレーキシステムの自動起動という形をとることができる。このシステムは、特に周囲条件が厳しいときに車両上の他のセンサーや誘導システムの補助となるように設計されており、自律走行車両の自律誘導システムを向上させることができる。
本発明によるシステムは、手動運転車両および自律走行車両の両方において機能することができる。
上述のように、画像プロセッサを用いて、道路の側方にいる人間の存在を検出することもでき、さらに重要なこととしては、そのような人間が道路の側方から近づいていることを検出できる。より好ましくは、本発明によるシステムを使用する画像プロセッサは、道路の側方で検出された物体が、どの方向に、どれぐらいの速度で移動しているかを特定し、それに応じて車両の運転を調整することができる。
本発明の目的、特徴、および利点については、添付の図面によって明示される実施形態およびその特徴の説明から明らかになる。
本発明の実施形態によるシステムを用いて車両に対する直接または横方向の人間の脅威を検出している、道路上の車両を示す図である。 本発明による受動型赤外線歩行者回避システムの第1の実施形態を示す概略図である。 本発明による横方向脅威検出方法の実施形態を示すフローチャートである。 本発明による横方向脅威検出方法の別の実施形態を示すフローチャートである。 本発明の代替の実施形態によるシステムを用いて車両に対する横方向の脅威を検出している、道路上の車両を示す図である。 本発明による受動型赤外線歩行者回避システムの第2の実施形態を示す概略図である。
図1および図2を参照して、本発明による受動型赤外線歩行者回避システムの第1の動作モードを説明する。図1に示されるように、車両100は、一般に、道路104上の走行車線102内を走行する。参照番号10で示されるシステムは、参照番号106として示され、車両100の前部に外側に向けて取り付けられている少なくとも1つの前方視受動型IR画像センサーまたはセンサーアレイを備えており、車両100が移動する際に、IRセンサー106によって、車両の走行車線102内のあるいは車両の予測経路に向かって進んでいる、人間の熱プロファイルを含む任意の静止しているまたは移動している物体108を検出できる。
本発明の好ましい実施形態では、図1に示されているように、単一の前方視IRセンサー106が、車両100に、好ましくは車両100の前部に、より好ましくは車両100の前部の中央に取り付けられ、それにより、車両100の両側に対して、車両100の前方の道路104の左端および右端にある移動している物体108、ならびにすでに車両の経路上にある移動しているまたは静止している任意の物体108を検出することができる。そのような前方視IRセンサー106は、車両の前進速度に応じて分析されるセンサーのピクセルの数および面積を動的に変化させることができる。高速の場合には、IRセンサー106に関連する画像プロセッサ110は、センサー106の中央領域を優先させ、車両の速度が低下するにつれて、分析されるピクセルの数および面積を増加してセンサーの関心領域を実質的に広げることができる。低速の場合には、分析領域は一般に、車両100の前方の比較的近い範囲、すなわち、車両100の中心線から約±45度以内でIRセンサー106から車両100の前方約10から20フィートの範囲をカバーし、移動している車両100の前方の道路104または走行車線102の左側および右側の画像を取得できる。最適には、各IRセンサー106は、本発明に従って横方向に移動する物体を識別できる動的基準場、例えば、少なくとも640×480を実現するために、比較的大きなピクセルアレイを有している。熱受容ウィンドウのセンサーピクセルの数と面積とは、周囲温度や気象条件、道路の状態、または車両に対する物体の動きに応じて動的に変化させることもできる。
車両100に設けられた熱画像センサーアセンブリの代替の構成では、複数の前方視IRセンサー106を、車両100に、好ましくは車両100の前方端に取り付けることができる。そのようなIRセンサー106は、互いに独立して、重複および/または冗長するように、機能的に動作することができる。本発明の実施形態では、図5および6に示されるように、車両100は、前方視するように車両100の前方の道路/走行車線の右端に向けられた専用の右側IRセンサー106Rおよび前方視するように車両100の前方の道路/走行車線の左端に向けられた専用の左側IRセンサー106Lを備えてもよい。そのような実施形態では、センサー106Rおよび106Lは、移動している車両100から前方にある物体を検出できるように、車両100の前方端に配置するか、または車両100から前方を向くように車両100の側面にそれぞれ配置することができる。より好ましくは、センサー106Rおよび106Lは、車両100の移動や速度に配慮し、さらには、横方向に移動する脅威が検出された際に車両100がとることのできる適当な応答動作を考慮しながら、近づいてくる物体108(例えば、図に示すように歩行者および自転車に乗っている人)を予測的に検出できる向きに車両100の側方に設けることができる。
さらに別の実施形態では、車両100は、システムの検出領域を最適化するために、それぞれが好ましくは前方視型の、前方および側方のIRセンサー106を組み合わせて備えていてもよい。この場合も、そのようなIRセンサー106は、互いに独立して、重複および/または冗長するように、機能的に動作することができる。複数のIRセンサー106を使用することで、変動する車両速度を補整するのを助けたり、車両100の速度、物体108の速度、周囲の照明条件、道路の状態、気候条件などに関係なく、実際のおよび潜在的な脅威を迅速に認識したりすることが可能となる。
本発明に関するIRセンサーの説明およびIRセンサーアレイの説明は、互いに置き換え可能あることが意図されており、本発明による各実施形態は、車両100の前方を歩いている歩行者などの車両100に対する潜在的な脅威に関して、移動している車両100の前方の道路/走行車線の側方を監視するように動作する単一のセンサーならびにセンサーアレイまたは一式のセンサーを用いる状況をカバーしている。
図2に示される概略図を参照すると、IRセンサー106は、中央CANバスユニット112などを介して車両100の運転システムに接続されたビデオプロセッサなどの画像プロセッサ110と動作通信している。CANバス112は、分析および出力処理のために、好ましくは即時にリアルタイムで、検出されたデータに基づいて、IRセンサー106などの様々な車両センサーと常時通信していることが好ましい。画像プロセッサ110は、熱的に検出された物体が道路104内にあるか、または道路104に入ってきそうかどうかを分析する前に、通常の人間の熱プロファイル(例えば、華氏約98.6°)を示す狭いまたは事前に定義された熱受容ウィンドウから外れている物体を除去する。周囲温度または気象条件、道路状況、照明条件、車両速度などに応じて、受容ウィンドウを動的に拡大または縮小、および/または熱中心点を変更することができる。
動作時には、移動している車両100への横方向に移動する危険を認識し、それに応じて車両100の運転を調整する方法は、最初に、道路104の側方、道路104に向かっている途中、または車両100の予測進路における道路104上の人間の熱的特徴に関連する物体108を、熱画像(たとえば、IRセンサー106や画像プロセッサ110)を用いて検出することを含んでいる。条件を満たす物体108すなわち潜在的な「脅威」を検出および選択すると、システム10は、まず、車両の前進速度によって動的に修正されるように、目標基準を満たす適格ピクセルの数を特定する。車両の前進速度に対する目標ピクセルの変化率によって、車両100が潜在的な物体108にどれだけ近いかが特定される。次に、システム10は、物体108がすでに道路の走行車線102内にあるか、または道路の走行車線102に向かう方向に動いているのか、さらにはどれぐらいの速度なのかを特定し、車両の運転に対する応答動作が必要かどうかを判断する。
システム10が、人間の熱的特徴を満たした物体108の車両100に対する動きを追跡している間、画像プロセッサ110は代替のモード、すなわち、条件を満たした物体108が車両100に対して動いておらず車両100が静止している条件を満たした物体108に向かって進んでいる場合に、画像プロセッサ110が人間の熱プロファイル基準を満たしたグループの中の隣接するピクセル(「適格ピクセル」)の数をカウントし、その適格ピクセルの数の増加を、条件を満たした物体108へ向かう移動ととらえるモード、で動作することもできる。応答動作を開始するのに必要な前述の適格ピクセルの数的閾値は、車両の速度および/またはセンサーアレイ上の適格ピクセルの位置に応じて、画像プロセッサ110によって動的に変更され得る。
応答動作が必要であると判断された場合、システム10は、車両のステアリングシステム114に調整入力を提供すること、車両のブレーキシステム116を起動させること、車両のクラクションの作動といった車両100に関連する可聴警報118を鳴らすこと、および/または車両のヘッドライトの点灯といった車両100に関連する視覚的警報120を起動させることなどの応答動作を車両の運転に対して開始する。手動運転車両100の場合、車内可聴警報、触覚的フィードバック、および/または運転手の前方のフロントガラス上の警報表示などを追加で提供してもよい。
人間の熱的特徴が車両100に、例えば、車両100の方向および速度に基づいて予測される車両の走行経路に潜在的に近づく方向に動いているかどうかを特定する工程は、まず、人間の熱的特徴がその最初の検出時に移動または静止しているかどうかを特定すること、次に、移動している場合には、人間の熱的特徴の方向が道路104に概して直交しているかどうかを特定すること、さらには、移動が道路の走行車線102に向かっているかどうかを特定することを含んでいる。応答動作が必要かどうかを判断する工程は、ターゲット108の移動の速度および方向を特定することおよび/またはターゲット108が車両の予測経路の近くにいるか、もしくはすでにその中にいるかを特定することを含んでいる。たとえば、システム10は、隣接する適格熱ピクセルが増加して、近接応答閾値を表す数的閾値に達したことを示すことができる。これに関して、以下でより詳細に説明するように、周囲温度、気象条件、道路状況、車両速度などの他の要因を分析して、応答アルゴリズムの閾値を変更することができる。
本明細書では自律型車両または自動運転車両に関連して使用するために説明されているが、本発明のシステム10は、準自律モードを有する手動運転車両において、あるいは、人間の運転手への冗長的なバックアップとしても使用できる。例えば、検出された人間の熱的特徴情報および提案された修正動作は、例えば、手動運転車両100上の「ヘッドアップ」表示または重畳ディスプレイ表示122として、または車両100のナビゲーションシステムや自動ブレーキシステム114および116へのデータ入力として、提供することができる。運転手が、車両の位置および速度を手動で調整してもよく、あるいは、車両100が、車両の運転に対する横方向に移動する脅威の継続的な監視に基づいて、車両の位置、速度、およびブレーキを自動的に調整することもできる。システム10が運転手による応答入力を検出した場合、運転手が全体的な車両の制御に集中している間、システム10は、可聴および視覚信号システム118および120を介して、検出されたターゲットに警告することに集中することができる。
前述のように、画像プロセッサ110を用いて、道路104の側方における人間の熱プロファイルの存在を、より重要なことには、そのような人間が道路104を横断することを検出することができる。より好ましくは、本発明によるシステム10を使用する画像プロセッサ110は、熱画像を用いて道路/走行車線の側方にある標的物体108の存在を検出できるだけでなく、物体108がどの方向に、どのぐらいの速度で移動しているのかを特定し、それに応じて車両100の運転を調整することもできる。車両100の安全な運転のために応答動作が必要かどうかおよびどのような応答動作が利用可能であるかを特定する際に、システム10は、検出された人間の熱的特徴に対する車両100の速度および位置、道路104上の車両100の位置(たとえば、複数車線道路上の外側車線または内側車線)、特定の走行車線102内の車両100の位置、システムの応答時間および状況に適切に応答するのに必要な距離に関するブレーキ力に影響を及ぼす可能性のある周囲の気象条件などを考慮して、検出された人間の熱的特徴が車両100に衝突する可能性があるかどうかを予測することができる。
本発明によれば、図3に示されるような同時分析モードが自律走行車両100に利用可能である。動作時には、システム10は、独自のアルゴリズムを使用して、人間の熱的特徴を有する物体108(たとえば、歩行者、路傍の人、バイカー、人が乗っている車椅子)、すなわち、おおよそ華氏98.6°の「名目上の」人間の体温である熱的特徴を示す物体の位置を最初に検出する。続いて、アルゴリズムによって、前述の熱範囲内の検出された人間の熱的特徴(歩行者またはバイカーなどを示す)が、車両の走行領域にすでに位置しているか、その中を移動しているか、またはそこに向かって移動しているか、あるいは指定された自転車レーン内または道路の脇などを安全な方法で移動しているかどうかを特定する。温度と相反する移動基準との両方が同時に満たされている場合、論理回路出力によって、車両のブレーキシステム116を起動することおよび/またはステアリング制御システム114にバイアスをかけて車両100を衝突するまたは衝突する可能性のある物体108から離れる方向に向けなおすことなどの応答動作が、自律走行車両100において自動的に開始される。さらに、モードが起動すると、システム10は、車両のクラクション118およびライト120を特徴的な方法で起動して、注意散漫な歩行者(モバイル機器を見ている人など)、視覚障害のある歩行者、および道路上で物体の後ろを走っている子供などに視覚的および聴覚的に警報を発したり警告したりすることもできる。システム10のさらなる実装においては、Bluetooth、V2P、またはその他の信号伝達手段を介して、そのような安全信号を受信するように装備されたエリアモバイル機器に警告信号を送信してもよい。
動作時には、画像プロセッサ110は、具体的には、移動している車両100の進路上の道路に侵入しそうなおよび/または侵入してきている人間の熱的特徴の直交または斜め方向の移動があるか、あるいは道路104または走行車線102内に静止している人間の熱的特徴があるかを検出して特定しており、同時に、典型的には歩道または道路の端あるいは路肩に沿って歩いたり走ったりしているバイカーや歩行者などの、完全に平行な「体温」の移動については反応しない。これらの平行に移動する物体に関しては、すでに走行車線または歩行者/車両の衝突領域にあるかまたはそこに入ってくる可能性がある場合を除いて、車両のステアリングおよびブレーキシステムへの画像プロセッサからの出力を供給せず、ブレーキシステム116の不時または早計な起動あるいはステアリングシステム114による不時または早計なステアリング調整を回避している。人間の熱的特徴を除いた熱的物体の検出については、人間の熱プロファイル以外の基準に基づいて適切な応答を行うLIDARや近接センサーなどの他の検出システムによって検出されるため、通常は反応しない。
図3を参照すると、本発明によるシステム10を用いるIR横方向検出プロセスが示されている。好ましい実施形態では、システム10は、車両100が稼働したとき、さらにより好ましくは、車両100が動いているときにのみ起動し動作する。ブロック200において、車両100が稼働し、システム10が、好ましくは車両の稼働に伴って起動される。ブロック202において、システム10は、車両の運転システムに問い合わせて、車両100が稼働しているかどうかを特定する。そうでない場合、システム10は、ブロック204に示されるように、実際に車両が稼働するまで、繰り返し稼働についての問い合わせを継続する。車両100が稼働していることがシステム10に通知されると、すでに起動されて適格ターゲット108を検索および/または検出しているIRセンサー106および動作アルゴリズムの出力が分析され、ブロック206において情報を車両の運転システムに送ることが許可される。上記のように、車両100は、車両100の前部中央に配置された単一のIRセンサー106を備えており、車両100の前方正面および車両100の両側から車両の経路に接近してきている前方の物体108を検出することができ、あるいは、車両100のそれぞれの側部に配置された2つのIRセンサー106Rおよび106Lと連携して、移動している車両100の前方の道路104の両側をそれぞれ監視して、物体108を検出することができる。
熱的特徴が検出された場合、システム10は、ブロック208において、名目上華氏98.6°を中心とする動的適格熱ゲートを通過させることによって、検出された熱的物体が、人間の熱プロファイルの特徴を示しているかどうかを特定する。そうでない場合、システム10は、物体に対して反応せず、再びブロック204で、他の検出された熱的特徴の検索および適格性の判断を継続する。しかしながら、物体108が所定の人間の熱範囲内にある場合、それは有効な検出された人間の熱的特徴として分類され、システム10は、ブロック210に示されるように、前述の人間の熱的特徴が動いているかどうかを特定する。動きが検出されず、物体108が走行車線102または車両の経路の外側にある場合(ブロック212)、システム10は、車両100に応答動作を行わせるための通知をせず、これらおよび他の人間の熱的特徴ターゲットの移動状態の変化を継続して監視する(ブロック204)。動きが検出されず、物体108が走行車線102内にある場合、システム10は、必要に応じて、現在の位置を保持する、または車両の運転を調整するなどの応答動作をとるように車両100に通知する(ブロック226)。動きが検出されず、物体108が走行車線102の脇または路肩に安全に隣接しているか、またはその中にある場合、システムは応答動作を行わない。さらに、動きが検出された場合、システム10は、ブロック214において、動きの方向、例えば、車両の現在および予測される走行経路に平行な人間の熱的特徴の動きなのか、車両の走行経路から離れる動きなのか、または車両の予測走行経路に向かう動きなのかを、特定する。これに関して、システム10は、最初に、動きが車両100と平行であるかどうかをブロック216で特定する(例えば、道路の脇の専用レーン内を歩いているか自転車に乗っている人を示す)。そのような動きが平行である場合、システム10は、人間の熱的特徴が車両100の走行経路から切迫した危険ではないと判断し、このおよび他の熱的特徴の変化に関する監視に戻る(ブロック204)。システム10は、検出された人間の熱的特徴の動きに対する追跡を継続し(ブロック218)、その動きの方向が脅威と見なされる可能性のある方向にシフトするかどうか、例えば、自転車に乗っている人が道路104を横切って走行車線102に入ってくるかどうかを、物体108がIRセンサー106の視野から外れるまで認識する。そのような動きが検出された場合、システム10は、実際の脅威レベルを再び評価し(ブロック220)、以下で説明するように、応答動作が必要かどうかを特定する。
人間の熱的特徴が検出され、システム10が検出された人間の熱的特徴の動きがあるかどうかを特定しているこの段階において、システム10は、動的な横方向角度受容ウィンドウを用いることで、横方向角度受容ウィンドウの外側にある低速で横方向に移動している温度的に適格とされた物体によって、システム10が誤って稼働されることを防ぐことができる。すなわち、横方向角度受容ウィンドウは、車両100の現在の速度および検出された人間108の速度に応じて、道路104から非常に遠くにあるか、計算上車両100が検出された物体108のそばを通過するときの危険とならない潜在的な脅威を排除することができる。角度ウィンドウは、移動している車両100の中心線から定義され、例えば、車両の中心線から±45度である。横方向受容ウィンドウの幅は、低速ではより狭く、高速ではより広くなるといったように、車両100の速度に比例して調整できることがより好ましい。
動きが道路104に対して概して直交していると検出された場合、ブロックで220において、システム10は、動きが道路104に向かって移動しているか、または道路104から離れるように移動しているかを特定して、検出された人間の熱的特徴に対する脅威レベルを評価する。動きが道路104から離れるように移動している、または車両の予測経路の外側に移動していると特定された場合(ブロック222)、脅威レベルは低いためシステム10は反応せず、他の適格な熱的特徴および動きの監視を継続する(ブロック204)。動きが道路104に向かって移動しており、計算上歩行者108との車両の衝突を引き起こすと特定された場合(ブロック224)、システム10は、ブロック226において、1つまたは複数の回避応答動作、たとえば、限定するわけではないが、車両のブレーキシステム116の起動、車両の「運転支援」ステアリングシステム114への直接入力の提供やその起動、および/または車両のライト120の起動および点灯や車両のクラクション118をリズミカルに鳴らすことといった視覚的および聴覚的警報の提供などを開始する。また、動きが道路104から離れるように移動していると特定された場合(ブロック222)、システム10は、検出された人間の熱的特徴を脅威ではないと見なして放棄することができるが、動きの速度および/または方向が変わる場合に備えて人間の熱的特徴の動きの追跡を継続し、もし変化が起こった場合には脅威レベルを再び評価することができる。
横方向受容ウィンドウ内で横方向に移動する検出された人間の熱的特徴をより正確に評価するために、アルゴリズムによって、車両の現在の位置、進行方向、前方および横方向速度に対する、検出された人間の熱的特徴の現在の位置、進行方向、前方および横方向速度を分析し、互いの移動ベクトルが衝突を引き起こすかどうかを特定する。
ブロック226に示されるように回避応答動作を開始した後、システム10は、車両100と通信して通常の運転モードに戻り、ブロック228によって示される熱的特徴の監視を再度開始し、基本的にはプロセスを最初からやり直して、次の未知の、予期および予測するのが難しい状況に対する警戒を行う。
運転時に車両速度が増加するにつれて、最適な方法で脅威の発生に適切に対応できるようにブレーキ速度/ブレーキ力が比例して増加する。その結果、図4のフローチャートに示されるように、システム10は、車両のリアルタイムの速度と検出された人間の熱的特徴の前方および横方向速度との両方を考慮して、車両の応答システムのタイミングおよびその起動を動的に適合させる。例えば、車両100が高速で走行している場合、システム10は、低速走行時よりも迅速に、より速い応答性およびブレーキ力で応答動作(ブレーキおよびステアリング調整など)を開始する。システムの応答動作のタイミングやその作用応答レベルに対する積極的な調整は、降雪や凍結が車両の温度センサーおよび雨センサーによって検出された場合などの悪天候の場合や、その他のブレーキ/ステアリングが正常に機能しない可能性がある状況においても同様に行うことができる。最善には、これらのセンサー入力によってシステムの応答が調整され、応答動作の早期の(およびより穏やかな)開始が可能になり、可能であれば、濡れた道路または凍結した道路での厳しい応答動作(「慌ただしい」即時停止など)を回避できるようになる。すなわち、システム10が、厳しいブレーキ応答動作をすることが危険である道路状況を認識している場合、潜在的な脅威の検出および分析に自動的に修正および/または介入を行って、早期の起動および車両の速度およびステアリングのより穏やかな調整を行うことが可能である。
図4を参照すると、車速バイアス(ブロック250)ならびに温度バイアス(ブロック264)および物体移動速度バイアス(ブロック262)が、すでに起動していて適格ターゲット108を検索および/または検出しているIRセンサー106および動作アルゴリズムの出力を分析する工程に組み込まれる(ブロック206)。図3において説明された脅威検出プロセスは、図4においてはブロック240によって表されている。脅威が検出され、車両100の運転に応答動作をとる必要がある場合、車両の運転のそのような調整(ブロック226)には、車速バイアス(ブロック250)ならびに温度/降水バイアス(ブロック252)が組み入れられ、車両の即時の調整に影響を与えることになる。さらに図4に示されるように、車両の運転に対する調整は、ブレーキの起動(ブロック254)、視覚的警報(ブロック256)、聴覚的警報(ブロック258)、および車両のステアリングの介入および調整(ブロック260)の1つまたは複数の形式で行うことができる。
本発明のシステム10は、困難な周囲条件の場合に他のセンサーおよび誘導システムの補助となるように設計されており、そのため、自律走行車両の誘導システムを向上させることができる。
上述のように、前方視するよう方向付けされた状態で車両100の両側にそれぞれ配置された任意のIRセンサー106Rおよび106Lは、図5および6に示すように、車両100の前方の道路104の側方の潜在的な脅威の検出を向上する助けとなる。すなわち、システム10は、先の道路104の側方にある物体を認識し、それが道路104に向かって移動しているかどうか、およびどのぐらいの速度で移動しているかを特定し、車両100が検出された人間の熱的特徴の予想される位置に近づくまでに応答動作が必要かどうかを判断することができる。
夜間、特に道路104の照明が不十分な区間で有効性が低下してしまう多くの光学ベースの誘導システムとは異なり、本発明のシステム10は、周囲の背景と検出可能なターゲット、特に人間との間の熱コントラストが大きくなることが予測されるため、夜間においてさらに効率的に機能する可能性がある。赤外線画像装置用の冷却要素を使用することで、センサーの温度識別能力をさらに向上させることもできる。
本発明の実施形態の前述の説明は、例示および説明の目的で提示されたものである。前述の説明が発明のすべてを示していること、または本発明を開示された形態に限定することを意図するものではない。上記の開示に照らして、明らかな修正および変形が可能である。記載された実施形態は、本発明の原理およびその実際の適用を最もよく説明するために選択されたものであり、当業者が、意図される特定の用途に適した様々な変形例を含め様々な実施形態において本発明を利用可能である。

Claims (26)

  1. 静止しているまたは横方向に動いている歩行者と動いている車両との間に生じる危険を認識し、それに応じて前記車両の運転を調整して危険を防止するための方法であって、
    熱画像を用いて道路の側方または走行部分内の人間を示す熱的特徴を検出することと、
    前記人間の熱的特徴が前記車両の予測経路内にあるかまたは予測経路に向かって移動しているかを特定することと、
    前記車両の運転に対する応答動作が必要か判断することと、
    そのような動作が必要な場合に前記車両の運転に対して前記応答動作を開始することと、を備える、
    方法。
  2. 前記道路の側方または走行部分内の人間の熱的特徴の検出は、前記車両に設けられた熱画像センサーアセンブリを用いることを含んでいることを特徴とする、
    請求項1に記載の方法。
  3. 前記熱画像センサーアセンブリは、前記車両に取り付けられた少なくとも1つの赤外線センサーアレイを含んでいることを特徴とする、
    請求項2に記載の方法。
  4. 前記少なくとも1つの赤外線センサーアレイは、前記車両の前部に取り付けられた前方視熱センサーを含んでいることを特徴とする、
    請求項3に記載の方法。
  5. 前記少なくとも1つの赤外線センサーアレイは、
    前記車両の左側の前記道路および/またはその周辺領域の熱画像を取得するための、前記車両の左側に取り付けられた左側赤外線センサーと、
    前記車両の右側の前記道路および/またはその周辺領域の熱画像を取得するための、前記車両の右側に取り付けられた右側赤外線センサーと、を含んでいることを特徴とする、
    請求項3に記載の方法。
  6. 前記人間の熱的特徴の検出は、人間の熱放射範囲に相関する事前に定義された熱受容ウィンドウを通過した、検出された熱放射データを用いることを含むことを特徴とする、
    請求項1に記載の方法。
  7. 前記事前に定義された熱受容ウィンドウは、前記人間の熱放射範囲に対する周囲温度条件の影響を補償するように動的に変更可能であることを特徴とする、
    請求項6に記載の方法。
  8. 前記移動を特定する工程は、
    前記人間の熱的特徴が検出されると、最初に前記人間の熱的特徴が移動しているかどうかを特定することと、
    前記移動が前記道路に概して直交しているかどうかを特定することと、
    前記移動が前記道路に向かっているのか離れているのかを特定することと、を備えていることを特徴とする、
    請求項1に記載の方法。
  9. 前記応答動作が必要か判断することは、前記人間の熱的特徴の移動速度を特定することを含んでいることを特徴とする、
    請求項1に記載の方法。
  10. 前記応答動作が必要か判断することは、前記車両の移動速度を特定することを含んでいることを特徴とする、
    請求項1に記載の方法。
  11. 前記応答動作が必要か判断することは、前記人間の熱的特徴が前記車両の予想経路内にいるかどうかを特定することを含んでいることを特徴とする、
    請求項1に記載の方法。
  12. 前記車両の運転に対する応答動作は、
    (1)前記車両のステアリングシステムに調整入力を提供することと、
    (2)前記車両のブレーキシステムを起動することと、
    (3)前記車両に関連した聴覚的警報を発することと、
    (4)前記車両に関連した視覚的警報を起動することと、の少なくとも1つを含んでいることを特徴とする、
    請求項1に記載の方法。
  13. 前記車両の予測経路内にある静止している人間の熱的特徴に対して前記応答動作が必要か判断することは、人間の熱的特徴を示す複数の隣接する適格ピクセルを熱画像アレイから検索する画像プロセッサを用いることを含んでいることを特徴とする、
    請求項1に記載の方法。
  14. 前記車両の予測経路内にある静止している人間の熱的特徴に対して前記応答動作が必要か判断することは、人間の熱的特徴を示す隣接する適格ピクセルの数における変化を熱画像アレイから検索する画像プロセッサを用いることを含んでいることを特徴とする、
    請求項13に記載の方法。
  15. 人間の熱的特徴を示す隣接する適格ピクセルの数の変化率が、静止している人間の熱的特徴に向かう車両の接近速度と相関していることを特徴とする、
    請求項14に記載の方法。
  16. 横方向に動いている歩行者と動いている車両との間に生じる危険を認識し、それに応じて前記車両の運転を調整するためのシステムであって、
    熱画像を用いて道路の側方または前記道路上の車両の予測経路内の人間の熱的特徴を検出する熱画像センサーアレイアセンブリと、
    前記人間の熱的特徴が前記車両の予測経路内にあるかまたは予測経路に向かって移動しているかを特定し、前記車両の運転に対する応答動作が必要か判断する、前記熱画像センサーアレイアセンブリと動作通信を行う画像プロセッサと、
    そのような動作が必要な場合に前記車両の運転に対して前記応答動作を開始する、前記画像プロセッサと動作通信を行う中央車両制御システムと、を備える、
    システム。
  17. 前記熱画像センサーアセンブリは、前記車両に取り付けられた少なくとも1つの赤外線センサーアレイを含んでいることを特徴とする、
    請求項16に記載のシステム。
  18. 前記少なくとも1つの赤外線センサーアレイは、前記車両の前部に取り付けられた前方視熱センサーを含んでいることを特徴とする、
    請求項17に記載のシステム。
  19. 前記少なくとも1つの赤外線センサーアレイは、
    前記車両の左側の前記道路および/またはその周辺領域の熱画像を取得するための、前記車両の左側に取り付けられた左側赤外線センサーと、
    前記車両の右側の前記道路および/またはその周辺領域の熱画像を取得するための、前記車両の右側に取り付けられた右側赤外線センサーと、を含んでいることを特徴とする、
    請求項17に記載のシステム。
  20. 前記熱画像センサーアレイアセンブリによる前記人間の熱的特徴の検出は、人間の熱放射範囲に相関する事前に定義された熱受容ウィンドウを通過した、検出された熱放射データを用いることを含むことを特徴とする、
    請求項16に記載のシステム。
  21. 前記事前に定義された熱受容ウィンドウは、前記人間の熱放射範囲に対する周囲温度条件の影響を補償するように動的に変更可能であることを特徴とする、
    請求項20に記載のシステム。
  22. 前記画像プロセッサは、前記人間の熱的特徴を認識する熱画像センサーアレイアセンブリから信号を受信すると、最初に前記人間の熱的特徴が移動しているかどうかを特定し、前記人間の熱的特徴の移動が前記道路に概して直交しているかどうかを特定し、前記人間の熱的特徴の移動が前記道路に向かっているのか離れているのかを特定することを特徴とする、
    請求項14に記載のシステム。
  23. 前記画像プロセッサは、前記車両による応答動作が必要か判断する際に、前記熱画像センサーアレイアセンブリと関連して前記人間の熱的特徴の移動速度を特定することを特徴とする、
    請求項16に記載のシステム。
  24. 前記システムは、前記車両による応答動作が必要か判断する際に、前記車両の移動速度を特定することを特徴とする、
    請求項16に記載のシステム。
  25. 前記画像プロセッサは、前記車両による応答動作が必要か判断する際に、前記熱画像センサーアレイアセンブリと関連して前記人間の熱的特徴が前記車両の予想経路内にいるかどうかを特定することを特徴とする、
    請求項16に記載のシステム。
  26. 前記車両の運転に対する応答動作は、
    (1)前記車両のステアリングシステムに調整入力を提供することと、
    (2)前記車両のブレーキシステムを起動することと、
    (3)前記車両に関連した聴覚的警報を発することと、
    (4)前記車両に関連した視覚的警報を起動することと、の少なくとも1つを含んでいることを特徴とする、
    請求項16に記載のシステム。
JP2021513756A 2018-05-11 2019-04-16 受動型赤外線歩行者検出および回避システム Pending JP2021523507A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023144589A JP2023175741A (ja) 2018-05-11 2023-09-06 受動型赤外線歩行者検出および回避システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862670209P 2018-05-11 2018-05-11
US62/670,209 2018-05-11
PCT/US2019/027594 WO2019217038A1 (en) 2018-05-11 2019-04-16 Passive infra-red pedestrian detection and avoidance system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023144589A Division JP2023175741A (ja) 2018-05-11 2023-09-06 受動型赤外線歩行者検出および回避システム

Publications (1)

Publication Number Publication Date
JP2021523507A true JP2021523507A (ja) 2021-09-02

Family

ID=68392180

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021513755A Active JP7258125B2 (ja) 2018-05-11 2019-04-16 受動型赤外線誘導システム
JP2021513756A Pending JP2021523507A (ja) 2018-05-11 2019-04-16 受動型赤外線歩行者検出および回避システム
JP2023144589A Pending JP2023175741A (ja) 2018-05-11 2023-09-06 受動型赤外線歩行者検出および回避システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021513755A Active JP7258125B2 (ja) 2018-05-11 2019-04-16 受動型赤外線誘導システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023144589A Pending JP2023175741A (ja) 2018-05-11 2023-09-06 受動型赤外線歩行者検出および回避システム

Country Status (7)

Country Link
US (3) US10467903B1 (ja)
EP (3) EP4296104A3 (ja)
JP (3) JP7258125B2 (ja)
KR (2) KR102496018B1 (ja)
CN (2) CN112106348B (ja)
CA (2) CA3099092A1 (ja)
WO (2) WO2019217038A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988672B2 (ja) 2018-04-25 2022-01-05 トヨタ自動車株式会社 車外報知装置
JP7059786B2 (ja) * 2018-05-08 2022-04-26 トヨタ自動車株式会社 車外報知装置
JP7202208B2 (ja) * 2019-02-13 2023-01-11 株式会社Subaru 自動運転システム
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
US11188094B2 (en) * 2019-04-30 2021-11-30 At&T Intellectual Property I, L.P. Autonomous vehicle signaling system
SE544257C2 (en) * 2019-08-23 2022-03-15 Scania Cv Ab Method and control device for controlling driving of a vehicle along a road
JP6971430B2 (ja) * 2019-12-09 2021-11-24 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
CN111391828B (zh) * 2020-03-13 2021-06-15 南京航空航天大学 一种行人过街工况下车辆避撞轨迹的规划方法
CN111413009B (zh) * 2020-04-14 2024-06-11 清华大学 行人体温快速筛查系统及筛查方法、人体温度测量方法
CN114425987A (zh) * 2020-10-29 2022-05-03 常州星宇车灯股份有限公司 一种夜间超车提醒系统、控制方法及车辆
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
DE102021108807A1 (de) * 2021-04-08 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur erkennung ungeschützter verkehrsteilnehmer durch ein fahrzeug
DE102021002662A1 (de) 2021-05-21 2021-07-15 FEV Group GmbH Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs
US11780471B1 (en) * 2021-08-30 2023-10-10 Zoox, Inc. System for determining a state of an object using thermal data
CN113822234B (zh) * 2021-11-22 2022-04-22 成都星宇融科电力电子股份有限公司 基于车载热成像的目标检测预警分析方法、系统及终端
FR3133813A1 (fr) * 2022-03-23 2023-09-29 Psa Automobiles Sa Méthodes et systèmes de conduite d’un véhicule automobile
US20240025400A1 (en) 2022-07-20 2024-01-25 Ford Global Technologies, Llc Far infrared detection of compacted snow for lane keeping

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266634A (ja) * 2004-03-22 2005-09-29 Sharp Corp 撮像装置
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2008162477A (ja) * 2006-12-28 2008-07-17 Toyota Motor Corp 車両用接近告知装置
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2013114536A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
JP2016189119A (ja) * 2015-03-30 2016-11-04 セコム工業株式会社 検知装置

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9317983D0 (en) 1993-08-28 1993-10-13 Lucas Ind Plc A driver assistance system for a vehicle
DE19741631B4 (de) * 1997-09-20 2013-08-14 Volkswagen Ag Verfahren und Vorrichtung zur Vermeidung und/oder Minimierung von Konfliktsituationen im Straßenverkehr
EP0913751B1 (de) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
US9558663B2 (en) 2000-10-04 2017-01-31 Intelligent Technologies International, Inc. Animal detecting and notification method and system
US6759949B2 (en) 2002-05-23 2004-07-06 Visteon Global Technologies, Inc. Image enhancement in far infrared camera
US20050084659A1 (en) 2003-10-20 2005-04-21 General Atomics Vehicle windshield head-up display
DE10349631A1 (de) 2003-10-24 2005-05-19 Robert Bosch Gmbh Fahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
DE102004016981A1 (de) * 2004-04-07 2005-10-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4434234B2 (ja) * 2007-05-30 2010-03-17 トヨタ自動車株式会社 車両用撮像システム、及び車両用制御装置
US20080306666A1 (en) * 2007-06-05 2008-12-11 Gm Global Technology Operations, Inc. Method and apparatus for rear cross traffic collision avoidance
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
US8103604B2 (en) 2008-03-18 2012-01-24 Manchester Metropolitan University Remote detection and measurement of objects
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
CN102511046B (zh) * 2009-12-02 2015-03-25 塔塔咨询服务有限公司 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法
US8140260B2 (en) 2010-02-12 2012-03-20 Honeywell International Inc. System for enhancing a vehicle operator's orientation and ability to navigate
US20120038778A1 (en) * 2010-08-11 2012-02-16 United States Of America, As Represented By The Secretary Of The Army Self-Scanning Passive Infrared Personnel Detection Sensor
US9963145B2 (en) * 2012-04-22 2018-05-08 Emerging Automotive, Llc Connected vehicle communication with processing alerts related to traffic lights and cloud systems
US9230178B2 (en) * 2011-06-02 2016-01-05 Toyota Jidosha Kabushiki Kaisha Vision support apparatus for vehicle
PT2723615T (pt) 2011-06-24 2023-05-24 Surveillance Guard Co Ltd Um sistema de prevenção de acidente e um veículo que inclui o sistema de prevenção de acidente
KR101349025B1 (ko) 2011-11-25 2014-01-10 현대자동차주식회사 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
GB2497091B (en) 2011-11-29 2013-11-20 Qhi Group Ltd Monitoring an electrical joint
EP2810267A1 (de) * 2012-02-03 2014-12-10 Continental Teves AG&Co. Ohg SIGNALGEBER, SYSTEM UND VERFAHREN ZUR HERVORHEBUNG VON OBJEKTEN IM STRAßENVERKEHR SOWIE VERWENDUNG DES SYSTEMS UND VERWENDUNG DES SIGNALGEBERS
DE102012201896A1 (de) 2012-02-09 2013-08-14 Robert Bosch Gmbh Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
WO2013136827A1 (ja) * 2012-03-12 2013-09-19 本田技研工業株式会社 車両周辺監視装置
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
JP5904925B2 (ja) * 2012-10-25 2016-04-20 本田技研工業株式会社 車両周辺監視装置
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
DE102013210826A1 (de) 2013-06-11 2014-12-11 Robert Bosch Gmbh Verfahren zum Betreiben einer Anzeigevorrichtung, Computer-Programmprodukt, Anzeigevorrichtung
JP6035207B2 (ja) 2013-06-14 2016-11-30 日立オートモティブシステムズ株式会社 車両制御システム
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
US9589195B2 (en) * 2014-01-22 2017-03-07 Polaris Sensor Technologies, Inc. Polarization-based mapping and perception method and system
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102014201382A1 (de) * 2014-01-27 2015-07-30 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
IL236114A (en) 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US20160180175A1 (en) 2014-12-18 2016-06-23 Pointgrab Ltd. Method and system for determining occupancy
US10457113B2 (en) 2015-02-27 2019-10-29 Braeburn Inc. Vehicle extreme temperature safety systems and methods
JP6637686B2 (ja) 2015-06-30 2020-01-29 株式会社デンソーテン 情報提示装置、車載装置、情報提示システムおよび情報提示方法
WO2017073348A1 (ja) * 2015-10-27 2017-05-04 富士フイルム株式会社 赤外線撮像装置及びその制御方法、並びに車両
US10019902B2 (en) * 2015-11-06 2018-07-10 Continental Automotive Systems, Inc. Enhanced sound generation for quiet vehicles with vehicle-to-vehicle communication capabilities
US20170219240A1 (en) 2016-02-03 2017-08-03 Avaya Inc. Method and apparatus for a fan auto adaptive noise
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
JP6310503B2 (ja) 2016-06-06 2018-04-11 本田技研工業株式会社 車両及びレーン変更タイミング判定方法
US9898005B2 (en) 2016-06-24 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Driving path determination for autonomous vehicles
US10656640B2 (en) 2016-07-07 2020-05-19 Applied Minds, Llc Systems and methods for centralized control of autonomous vehicles
US10737702B2 (en) 2016-07-27 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Visually simulating driving plans in autonomous vehicles
MX2019002985A (es) 2016-09-27 2019-07-04 Nissan Motor Metodo de estimacion de la posicion propia y dispositivo de estimacion de la posicion propia.
US10053089B2 (en) * 2016-11-16 2018-08-21 Nio Usa, Inc. System for controlling a vehicle based on thermal profile tracking
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6741603B2 (ja) 2017-01-16 2020-08-19 株式会社Soken 推定装置
JP7013727B2 (ja) 2017-08-25 2022-02-01 株式会社デンソー 車両制御装置
US10175112B1 (en) 2017-12-14 2019-01-08 Adasky, Ltd Compact infrared camera for automotive safety and driving systems
JP6965739B2 (ja) 2017-12-27 2021-11-10 株式会社デンソー 車両制御装置
WO2020184054A1 (ja) 2019-03-11 2020-09-17 株式会社日本触媒 (メタ)アクリル酸金属塩含有組成物および(メタ)アクリル酸金属塩含有液

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266634A (ja) * 2004-03-22 2005-09-29 Sharp Corp 撮像装置
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2008143510A (ja) * 2006-11-17 2008-06-26 Toyota Central R&D Labs Inc 注意喚起照射装置
JP2008162477A (ja) * 2006-12-28 2008-07-17 Toyota Motor Corp 車両用接近告知装置
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
JP2013114536A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
JP2016189119A (ja) * 2015-03-30 2016-11-04 セコム工業株式会社 検知装置

Also Published As

Publication number Publication date
US20190346855A1 (en) 2019-11-14
EP4296104A3 (en) 2024-01-10
US10613545B2 (en) 2020-04-07
KR20210008034A (ko) 2021-01-20
WO2019217038A1 (en) 2019-11-14
EP3788320A1 (en) 2021-03-10
US10755576B2 (en) 2020-08-25
CN112105891A (zh) 2020-12-18
EP4296104A2 (en) 2023-12-27
JP2023175741A (ja) 2023-12-12
KR20210006961A (ko) 2021-01-19
JP2021522637A (ja) 2021-08-30
US20190346857A1 (en) 2019-11-14
CA3099092A1 (en) 2019-11-14
CN112106348A (zh) 2020-12-18
US20190347938A1 (en) 2019-11-14
CA3099099C (en) 2023-08-29
WO2019217037A1 (en) 2019-11-14
JP7258125B2 (ja) 2023-04-14
CA3099099A1 (en) 2019-11-14
KR102496018B1 (ko) 2023-02-07
EP3788320A4 (en) 2022-01-26
EP3788778A1 (en) 2021-03-10
EP3788778A4 (en) 2022-01-26
US10467903B1 (en) 2019-11-05
CN112106348B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP2021523507A (ja) 受動型赤外線歩行者検出および回避システム
US20200324764A1 (en) Vehicular control system with pedestrian avoidance
US10176720B2 (en) Auto driving control system
US10077007B2 (en) Sidepod stereo camera system for an autonomous vehicle
US11062608B2 (en) Passive infra-red pedestrian and animal detection and avoidance system
CN111746511B (zh) 车辆控制系统
US11012666B2 (en) Surround camera system for autonomous driving
US10259453B2 (en) Collision avoidance based on front wheel off tracking during reverse operation
US10025309B2 (en) Travel control device
CN111824126B (zh) 车辆控制系统
CN111746515B (zh) 车辆控制系统
CN104252796A (zh) 用于在至少两辆汽车之间交换信息的方法
JP2018086874A (ja) 車両の追従発進制御装置
US11279352B2 (en) Vehicle control device
WO2019142312A1 (ja) 車両制御装置、それを有する車両、および制御方法
JP6838124B2 (ja) 自動運転制御システム
US11226626B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
US10766412B1 (en) Systems and methods for notifying other road users of a change in vehicle speed
JP2022068115A (ja) 適応可能な後突警報のためのシステムと方法
US20230068703A1 (en) Planning system for autonomously navigating around lane-sharing road agents
KR20230106207A (ko) 적어도 하나 이상의 모드에 따라, 제어되는 차량 및 방법
KR20230072418A (ko) 보행자 보호 기능을 구비한 운전자 보조 시스템
KR20230110395A (ko) 특정 타입의 버스를 추월하는 차량 및 그 제어 방법
KR20230155147A (ko) 사각지대 위험 물체에 대응하는 운전자 알림 방법 및 시스템
JP2024050275A (ja) 報知制御装置、報知制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230915

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231201