JP2018005437A - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP2018005437A
JP2018005437A JP2016129636A JP2016129636A JP2018005437A JP 2018005437 A JP2018005437 A JP 2018005437A JP 2016129636 A JP2016129636 A JP 2016129636A JP 2016129636 A JP2016129636 A JP 2016129636A JP 2018005437 A JP2018005437 A JP 2018005437A
Authority
JP
Japan
Prior art keywords
gradient
vehicle
road surface
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016129636A
Other languages
English (en)
Other versions
JP6816389B2 (ja
Inventor
渡邊 一矢
Kazuya Watanabe
一矢 渡邊
陽司 乾
Yoji Inui
陽司 乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2016129636A priority Critical patent/JP6816389B2/ja
Priority to PCT/JP2017/010281 priority patent/WO2018003194A1/ja
Priority to US16/313,320 priority patent/US10878253B2/en
Priority to CN201780038079.9A priority patent/CN109313860B/zh
Priority to DE112017003305.5T priority patent/DE112017003305B4/de
Publication of JP2018005437A publication Critical patent/JP2018005437A/ja
Application granted granted Critical
Publication of JP6816389B2 publication Critical patent/JP6816389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/20Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】路面状況を示す新たな情報を運転者に提供して、走行の可否判断を容易に行わせることができる周辺監視装置を提供する。【解決手段】周辺監視装置は、例えば、車両の進行方向における路面の状態を示す状態情報に基づいて、路面上の勾配位置および勾配値を取得する勾配取得部を備える。また、取得した勾配値と車両が通過可能な基準勾配値とを比較し、その比較結果を勾配位置と関連付けて報知する報知制御部を備える。【選択図】図11

Description

本発明の実施形態は、周辺監視装置に関する。
従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示することにより、車両が進もうとしている路面の状況を通知する技術が知られている。
特許第5337878号公報
しかしながら、車載カメラで撮影した周辺画像だけでは、路面の実際の凹凸状態が分かりにくい場合がある。また、凹凸状態が十分に把握できない場合、実際にその凹凸を乗り越えて走行を継続できるか否かの判断が難しい場合がある。例えば、車体底面を擦って破損してしまう可能性があるか否か、車体底面が凸部に乗り上げ車輪に駆動力が伝わらなくなり走行不能になる可能性があるか否か等の判断がし難い場合がある。
そこで、本発明の課題の一つは、路面状況を示す新たな情報を運転者に提供して、走行の可否判断を容易に行わせることができる周辺監視装置を提供することである。
本発明の実施形態にかかる周辺監視装置は、例えば、車両の進行方向における路面の状態を示す状態情報に基づいて、上記路面上の勾配位置および勾配値を取得する勾配取得部と、上記勾配値と上記車両が通過可能な基準勾配値とを比較し、その比較結果を上記勾配位置と関連付けて報知する報知制御部と、を備える。この構成によれば、例えば、斜面や凹凸により路面に勾配が存在する場合、その勾配の大きさ(勾配値)と勾配の存在する位置を検出して、路面の勾配値と車両が通過可能な基準勾配値とを比較して、その比較結果を運転者に報知する。その結果、運転者に走行可能な路面か否かを認識させやすくすることができる。
また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配値として、上記車両が存在する路面を基準として当該車両の前方の路面の相対的な傾きを取得してもよい。この構成によれば、例えば、車両が現在存在する路面に続く路面が、現在の路面の状況に拘わらず例えば車両の底部と接触する(擦る)路面か否かが検出できるので、走行可否の判定をより正確に行うことができる。
また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配値として、水平に対する傾きを取得してもよい。この構成によれば、例えば、車両前方で当該車両が進入しようとする路面の水平に対する傾きを取得する。その結果、車両が登坂能力(降坂能力)を超える路面に進入しようとしているか否かの判定が可能になり、路面状況に応じた走行可否の判定をより正確に行うことができる。
また、上記周辺監視装置において、例えば、上記報知制御部は、上記車両を基準に上記勾配位置を報知してもよい。この構成によれば、例えば、車両(自車)の前方何メートルの位置に注意すべき勾配が存在するかを報知できる。その結果、運転者により具体的な情報が提供可能となり、走行可能な路面か否かをより判断させやすくすることができる。
また、上記周辺監視装置において、例えば、上記勾配取得部は、上記勾配位置における勾配が、上り勾配か下り勾配か識別し、上記報知制御部は、上記勾配が上記上り勾配の場合は基準上り勾配値と比較し、上記勾配が上記下り勾配の場合は基準下り勾配値と比較してもよい。この構成によれば、例えば、路面状況に応じた走行可否の判定をより正確に行うことができる。
また、上記周辺監視装置において、例えば、上記報知制御部は、上記車両の周辺状況を撮像する撮像部から出力された撮像画像データに基づく画像を表示する表示装置に上記勾配位置と上記車両との相対位置関係を表示してもよい。この構成によれば、例えば、勾配位置と車両との相対位置関係が表示装置に表示されるので、走行可能な路面か否かを視覚的に認識させやすく、運転者に直感的な判断をさせやすくすることができる。
また、上記周辺監視装置において、例えば、上記報知制御部は、上記撮像画像データに基づく画像に画像処理を加えて上記表示装置に上記比較結果を表示させてもよい。この構成によれば、例えば、勾配が大きく(勾配値の大きく)注意喚起が必要な部分を視覚的に強調表示することができる。例えば、色相を変えたり、見え方を変えたりすることで、走行可能な路面か否かをより明確に報知することが可能になり、運転者に直感的な走行可否の判断をさせやすくすることができる。
また、上記周辺監視装置において、例えば、上記撮像画像データに基づく画像に、上記車両の舵角に基づく車輪の進行推定方向を示す進路指標を重畳する画像処理部をさらに含み、上記報知制御部は、上記進路指標上に上記勾配位置が存在する場合に上記比較結果を上記進路指標とともに上記表示装置に表示させてもよい。この構成によれば、例えば、進路指標上に勾配位置が存在する場合、その旨が報知される。したがって、これから進もうとする方向が走行不能な路面か否かを運転者に容易に判断させることができる。また、舵角を変化させて進路指標を勾配位置から移動させることができるので、走行可能な進路の選択を容易に行わせることができる。
また、上記周辺監視装置において、例えば、上記報知制御部は、上記進路指標の少なくとも一部の表示態様を変更してもよい。この構成によれば、例えば、表示されている進路指標の途中から注意喚起を示す表示色にしたり、強調表示したりすることができる。この場合、注意を払うべき場所をより正確に報知することできる。その結果、より適切な進路の選択を行わせやすくなる。
図1は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図2は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図3は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図4は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面が水平である場合のレーザ光の検出点を示す説明図である。 図5は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面に立体物が存在する場合のレーザ光の検出点を示す説明図である。 図6は、実施形態にかかる周辺監視装置に搭載されるレーザスキャナによる勾配検出の例であり、車両前方の路面の勾配が変化している場合のレーザ光の検出点を示す説明図である。 図7は、実施形態にかかる周辺監視装置を搭載する車両における、アプローチアングル、ランプブレークオーバーアングル、デパーチャーアングルを説明する図である。 図8は、実施形態にかかる周辺監視装置を搭載する車両が上り勾配を上る場合を説明する説明図である。 図9は、実施形態にかかる周辺監視装置を搭載する車両が上り勾配から水平な路面に進む場合を説明する説明図である。 図10は、実施形態にかかる周辺監視装置を搭載する車両が水平な路面から下り勾配を降りる場合を説明する説明図である。 図11は、実施形態にかかる周辺監視装置のECU内に実現される勾配情報の報知を実現するための制御部(CPU)の構成の一例を示すブロック図である。 図12は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の一例を説明する図である。 図13は、実施形態にかかる周辺監視装置において、勾配情報を表示する場合の処理手順の前半部分を説明するフローチャートである。 図14は、実施形態にかかる周辺監視装置において、勾配情報を表示する場合の処理手順の後半部分を説明するフローチャートである。 図15は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の他の例を説明する図である。 図16は、実施形態にかかる周辺監視装置による勾配情報を表示する表示画面の他の例を説明する図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
本実施形態において、周辺監視装置(周辺監視システム)を搭載する車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。車両1は、例えば、いわゆる「オンロード」(主として舗装された道路やそれと同等の道路)の走行に加え、「オフロード」(主として舗装されていない不整地路等)の走行も好適に行える車両である。駆動方式としては、4つある車輪3すべてに駆動力を伝え、4輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールであり、加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4、加速操作部5、制動操作部6、変速操作部7等は、これらには限定されない。
また、車室2a内には、表示装置8や、音声出力装置9が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置8や、音声出力装置9、操作入力部10等は、例えば、ダッシュボード24の車幅方向すなわち左右方向の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。なお、モニタ装置11は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
また、図1、図2に例示されるように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。これら四つの車輪3は、いずれも転舵可能に構成されうる。図3に例示されるように、車両1は、少なくとも二つの車輪3を操舵する操舵システム13を有している。操舵システム13は、アクチュエータ13aと、トルクセンサ13bとを有する。操舵システム13は、ECU14(electronic control unit)等によって電気的に制御されて、アクチュエータ13aを動作させる。操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。操舵システム13は、アクチュエータ13aによって操舵部4にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ13aによって車輪3を転舵したりする。この場合、アクチュエータ13aは、一つの車輪3を転舵してもよいし、複数の車輪3を転舵してもよい。また、トルクセンサ13bは、例えば、運転者が操舵部4に与えるトルクを検出する。
また、図2に例示されるように、車体2には、複数の撮像部15として、例えば四つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで動画データ(撮像画像データ)を出力することができる。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば140°〜220°の範囲を撮影することができる。また、撮像部15の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部15は、車両1が移動可能な路面やその周辺の物体(障害物、岩、窪み等)を含む車両1の周辺の外部環境を逐次撮影し、撮像画像データとして出力する。
撮像部15aは、例えば、車体2の後側の端部2eに位置され、リアハッチのドア2hのリアウインドウの下方の壁部に設けられている。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部2cに位置され、フロントバンパやフロントグリル等に設けられている。撮像部15dは、例えば、車体2の左側、すなわち車幅方向の左側の端部2dに位置され、左側のドアミラー2gに設けられている。周辺監視システム100を構成するECU14は、複数の撮像部15で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ECU14は、撮像部15で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したり、特定の領域のみ強調されるような画像データを生成したりする。また、ECU14は、撮像画像データを撮像部15が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換(視点変換)することができる。ECU14は、取得した画像データを表示装置8に表示することで、例えば、車両1の右側方や左側方の安全確認、車両1を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
また、図3に例示されるように、周辺監視システム100(周辺監視装置)では、ECU14や、モニタ装置11、操舵システム13等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26(26a,26b)、レーザスキャナ28等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、加速度センサ26、レーザスキャナ28等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の進行推定方向を示す進路指標(予測進路線)の演算、路面の勾配状態の算出、その勾配に対して注意喚起を行うための報知処理等の各種の演算や処理を実行する。CPU14aは、ROM14b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムに従って演算処理を実行する。
RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた撮像画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては画像合成)等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合であってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、周辺監視用のECU14とは別に設けられてもよい。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。
加速度センサ26(26a、26b)は、例えば車両1に2個設けられている。ECU14は、加速度センサ26(26a、26b)からの信号に基づき、車両1の前後方向の傾き(ピッチ角)や左右方向の傾き(ロール角)を算出する。ピッチ角は、車両1の左右軸周りの傾きを示した角度であり、水平な面(地面、路面)上に車両1が存在する場合に、ピッチ角が0度となる。また、ロール角は、車両1の前後軸周りの傾きを示した角度であり、水平な面(地面、路面)上に車両1が存在する場合に、ロール角が0度となる。つまり、車両1が、水平な路面に存在するか否か、傾斜面(上り勾配の路面または下り勾配の路面)に存在するか否か等が検出できる。なお、車両1がESCを搭載する場合、ESCに従来から搭載されている加速度センサ26(26a、26b)を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両1の前後左右方向の加速度を検出可能なセンサであればよい。
レーザスキャナ28は、例えば、車体2の前側の車体(車両前後方向の前方側の端部2c)に設けられ、車両1の進行方向における路面の状態を示す状態情報を取得する。レーザスキャナ28は、センサ内部の光源(レーザダイオード等)から照射されたレーザ光が、測定対象物(例えば、路面や立体物)にあたると反射され、受光素子で受光される。このとき受光した反射光を評価、演算することで、レーザ光が反射した位置までの距離を算出する。その結果、ECU14は、路面の状態、例えば勾配の有無や勾配が存在する位置(勾配位置)、勾配の大きさ(勾配値)、勾配の状態(上り勾配、下り勾配)等の車両1が存在する路面を基準として当該車両1の前方の路面の相対的な状態情報(勾配情報、相対的な傾き)を取得する。
図4〜図6を用いて、レーザスキャナ28による路面の状態情報の取得例を説明する。レーザスキャナ28は、車両1の前方の所定距離(例えば2m)の路面に向けて複数本(例えば3本)のレーザ光を照射する。レーザ光L1,L2,L3の光路は、車両1の前後方向に僅かにずれるように調整される。この状態でレーザスキャナ28は、レーザ光L1,L2,L3を車幅方向に走査する。このとき、例えば、図4に示すように、車両1が水平な路面G0に存在する場合、レーザスキャナ28は車両1に固定されているので、各レーザ光L1,L2,L3は、予め設定された位置で反射されて受光部に戻る。つまり、各レーザ光L1,L2,L3が出射されてから受光されるまでの時間差が予め設定された値となる。この時間差を解析することにより、検出点P1,P2,P3までの距離が算出できる。そして、算出された距離が予め設定された距離に一致すると見なせる場合、検出点P1,P2,P3が水平な路面G0上に存在する、つまり、検出点P1,P2,P3が反射する路面が水平な路面G0であることが検出できる。
一方、図5に示すように、車両1の前方に立体物T(例えば岩等)が存在する場合、そこに上り勾配が存在することになる。この場合もレーザ光L1,L2,L3は、立体物Tの表面T1で反射されレーザスキャナ28の受光部に戻る。つまり、レーザ光L1,L2,L3を出射してから受光するまでの時間差が図4の水平な路面G0で反射した場合と異なる。この時間差を解析することにより、立体物Tまでの距離、つまり、勾配の位置が検出できる。また、勾配の程度(勾配値、勾配角度)によって、各レーザ光L1,L2,L3が反射して戻るまでの時間が異なるため、この時間差の解析により、検出点P1,P2,P3が存在する表面T1の勾配が検出できる。
図6は、車両1が下り勾配の路面G1に存在し、前方に水平な路面G0が存在する場合である。この場合、現在車両1が存在する路面G1を基準にすると、前方に水平な路面G0に接続された部分で勾配が変化することになる。この場合もレーザ光L1,L2,L3を出射してから受光するまでの時間差が図4の水平な路面G0で反射した場合と異なる。このとき、ECU14は、加速度センサ26の出力信号に基づき、車両1の姿勢、つまり、現在上り勾配に存在するか下り勾配に存在するかが検出できる。各レーザ光L1,L2,L3の受光までの時間差に基づき、車両1を基準とした勾配の程度(勾配値)や勾配の位置、勾配の変化状態等が検出できる。このように、レーザスキャナ28によって、車両1の前方の路面の勾配値や勾配位置が検出できる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。例えば、レーザスキャナ28に代えてステレオカメラを設けて、勾配検出を実行してもよい。
ところで、車両1は、設計の段階でどの程度の勾配の路面を走行できるかが決まる。例えば、凹凸路等急勾配の路面を走行する可能性のある四輪駆動車両を含め車両1には、図7に示されるように、アプローチアングルM1、ランプブレークオーバーアングルM2、デパーチャーアングルM3が設定される。アプローチアングルM1は、前輪3Fの接地点からフロントバンパ2xの前端までの角度のことで、斜面や障害物を乗り越えるときに、フロントバンパ2xが接触するか否かの目安となる。また、ランプブレークオーバーアングルM2は、前輪3Fと後輪3Rの接地点から伸びる直線をホイールベース中心の車体底部2yで交差させたとき、交差する直線の上下方向の角度のことで、斜面の頂上や障害物を乗り越えるときに、車体底部2yが接触するか否かの目安となる。デパーチャーアングルM3は、後輪3Rの接地点からリアバンパ2zの後端までの角度のことで、斜面や障害物を乗り越えるときに、リアバンパ2zが接触するか否かの目安となる。
これらの角度(勾配)を越える路面に車両1が進入した場合、車輪3が路面から浮き上がり車輪3の駆動力が路面に伝達されず、走行不能となる場合がある。例えば、図8に示すように、水平な路面G0を走行している車両1が上り勾配の路面G2に進入しようとする場合、その路面G2と路面G0との勾配差、すなわち、車両1を基準とする勾配(勾配角K)がアプローチアングルM1以上の場合、フロントバンパ2xが路面G2に接触して走行不能となる可能性がある。そこで、ECU14は、レーザスキャナ28による検出点P1,P2,P3に基づき勾配値を取得する。例えば、車両1が水平な路面G0を走行する場合、図4に示すように車両1の前方例えば2mの位置で検出点P1,P2,P3を検出できていたレーザスキャナ28は、それより近い位置で検出点P1,P2,P3を検出する。したがって、ECU14は、レーザスキャナ28が検出した検出点P1,P2,P3までの距離に基づき、図8に示すような状況の場合の勾配角K(車両1が存在する路面G0を基準にした場合に前方の上り勾配の勾配角K)を算出できる。つまり、車両1が存在する路面G0を基準として当該車両1の前方の路面G2の相対的な傾き(勾配角K)を取得することができる。なお、この場合、ECU14は、最初に検出点P3の距離が短くなった時点で、車両1の前方に当該車両1が存在する路面とは異なる特徴の路面(例えば上り勾配や岩や上り段差等の突出した障害物)が存在することを検出できる。
図9は、図8とは異なる路面構成の場合を示す例である。図9は、例えば上り勾配の路面G2を走行している車両1が接続部GRで接続された水平な路面G0に進入しようとする場合である。この場合も、路面G0と路面G2との勾配差、すなわち、車両1を基準とする勾配(勾配角K)がランプブレークオーバーアングルM2以上の場合、車体底部2yが路面G2と路面G0との接続部GRに接触して走行不能となる可能性がある。この場合、車両1が路面G2を走行している場合は、レーザスキャナ28の検出点P1,P2,P3は、図4に示すように、例えば2m先で検出される。そして、車両1が走行を継続すると、レーザスキャナ28は、図9に示すように、例えば検出点P3を接続部GRより先の位置で検出するようになる。したがって、ECU14は、レーザスキャナ28による検出点P1,P2,P3までの距離(検出状態)に基づき、車両1の前方に当該車両1が存在する路面G2とは異なる特徴の路面G0が存在することを検出できる。また、この場合、ECU14は、検出点P1,P2,P3までの距離に基づき勾配角K(車両1が存在する路面G2を基準にした場合に前方の下り勾配の勾配角K)を算出できる。つまり、車両1が存在する路面G2を基準として当該車両1の前方の路面G0の相対的な傾き(勾配角K)を取得することができる。なお、ECU14は、加速度センサ26の検出値に基づき、車両1の姿勢が分かるため、図9に示すように、上り勾配の路面G2の先に当該路面G2に対する勾配角Kの路面G0が存在することも検出可能である。
図10は、図9とは逆の路面構成の場合を示す例である。図10は、水平な路面G0を走行している車両1が接続部GRで接続された下り勾配の路面G1に進入しようとする場合を示している。この場合も路面G0と路面G1との勾配差、すなわち、車両1を基準とする勾配(勾配角K)がランプブレークオーバーアングルM2以上の場合、車体底部2yが路面G0と路面G1との接続部GRに接触して走行不能となる可能性がある。車両1が走行を継続すると、レーザスキャナ28の受光部は、検出点P1,P2,P3を例えば、図10に示すように、接続部GRを越えた路面G1で検出するようになる。つまり、路面G0を走行していた場合に2m先で検出できていた検出点P1,P2,P3より遠い位置で検出されることになる。したがって、ECU14は、レーザスキャナ28による検出点P1,P2,P3までの距離(検出状態)に基づき、車両1の前方に当該車両1が存在する路面G0とは異なる特徴の路面G1が存在することを検出できる。また、ECU14は、検出点P1,P2,P3までの距離に基づき勾配角K(車両1が存在する路面G0を基準にした場合に前方の下り勾配の勾配角K)を算出できる。つまり、車両1が存在する路面G0を基準として当該車両1の前方の路面G1の相対的な傾き(勾配角K)を取得することができる。この場合もECU14は、加速度センサ26の検出値に基づき、車両1の姿勢が分かるため、図10に示すように、水平な路面G0の先に当該路面02に対する勾配角Kの路面G1が存在することも検出可能である。なお、この場合もECU14は、図9の場合と同様に最初の検出点P3の距離が長くなった時点で、車両1の前方に当該車両1が存在する路面とは異なる特徴の路面が存在することを検出できる。
従来、走行中の路面の勾配が変化する場合、勾配変化後の路面に進入して走行できるか否かは、勾配の状態(凹凸の状態や上り下りの状態等)を運転者が目視で確認したり表示装置8に表示される画像を確認したりして判断していた。そのため、判断に時間を要したり、誤判断をしたりすることがあった。そこで、本実施形態の周辺監視システム100を実現するECU14は、一例として、斜面や凹凸により路面に勾配が存在する場合、その勾配の大きさ(勾配値)と勾配の存在する位置を検出して、路面の勾配値と車両1が通過可能な基準勾配値とを比較して、その比較結果を運転者に報知する。報知態様の一例として、表示装置8を用いて報知する。例えば、ECU14は、舵角センサ19の検出結果から車両1の舵角を検出し、その舵角に基づき車輪3(前輪3F)の進行推定方向を示す進路指標を表示装置8に表示する機能を備える場合がある。具体的にECU14は、撮像部15の撮像した撮像画像データに基づく画像、例えば車両1の進行方向の画像を表示装置8に表示している。ECU14は、進路指標をその画像に重畳する場合に、路面の勾配情報を付加して表示することにより、車両1がこれから向かう路面が走行可能か否かを運転者に報知し、運転者が進路の是非や走行可否の判断を行いやすくなるようにする。
ECU14に含まれるCPU14aは、上述したような勾配情報を伴う報知を実現するために、図11に示されるように、状態情報取得部30、舵角取得部32、勾配取得部34、画像処理部36、報知制御部38、出力部40等を含む。そして、勾配取得部34は、勾配位置取得部42、勾配値取得部44、勾配識別部46等を含む。また、画像処理部36は、進路指標算出部48、重畳部50等を含む。報知制御部38は、比較部52、表示態様決定部54、報知部56等を含む。これらのモジュールは、ROM14b等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
状態情報取得部30は、車両1の進行方向における路面の状態を示す状態情報を取得する。例えば、レーザスキャナ28から出力される検出点P1,P2,P3に関する情報を車内ネットワーク23を介して取得する。また、車両1に設けられて当該車両1の周辺画像を撮像する撮像部15から出力された撮像画像データを表示制御部14dを介して取得する。また、車両1の姿勢を示すピッチ角やロール角を取得するために、加速度センサ26から出力される加速度を取得する。なお、表示装置8に車両1の周囲の画像を表示するのみの場合、表示制御部14dは、撮像部15で撮像した撮像画像データをそのままの状態で表示装置8に出力してもよい。また、CPU14aは、操作入力部10や操作部14g等の入力装置を用いて運転者に希望する表示内容を選択させるようにしてもよい。つまり、表示制御部14dは、操作入力部10や操作部14gの操作により選択された画像を選択的に表示することができる。例えば撮像部15aで撮像した車両1の後方画像を表示装置8に表示させたり、撮像部15dで撮像した左側方画像を表示させたりすることができる。
舵角取得部32は、舵角センサ19から出力される操舵部4(ステアリングホイール)の操作状態に関する情報を取得する。つまり、運転者がこらから車両1を走行させようとしている方向の進路情報を取得する。
勾配取得部34は、状態情報取得部30が取得したレーザスキャナ28の検出結果に基づき、車両1の進行方向前方の路面の勾配の状態を図4〜図6および図8〜図10で説明したように取得する。勾配位置取得部42は、例えば、図4、図5で説明したように、レーザスキャナ28から出力される検出点P1,P2,P3の距離に基づき路面に存在する勾配の位置を検出する。また、勾配値取得部44は、図4で説明したようにレーザスキャナ28から出力される検出点P1,P2,P3の距離に基づき勾配の大きさ(勾配値、勾配の角度)を算出する。勾配識別部46は、図8〜図10で説明したように、レーザスキャナ28の検出点P1,P2,P3の検出結果に基づき、車両1の前方の路面が相対的に上り勾配の路面か、下り勾配の路面かを識別する。勾配識別部46は、検出点P1,P2,P3までの距離が勾配のない場合に比べて短くなる場合、上り勾配と識別する。逆に、検出点P1,P2,P3までの距離が勾配のない場合に比べて長くなる場合、下り勾配と識別する。なお、勾配取得部34は、レーザスキャナ28の検出結果に基づき、車両1が存在する路面を基準として当該車両1の前方の路面の相対的な傾き(相対的な勾配値)を取得することができる。また、レーザスキャナ28の検出結果と、加速度センサ26の検出結果に基づく車両1(自車)の現在の路面に対する傾き(姿勢)とを足し合わせることにより、これから向かおうとする路面の水平に対する傾き(絶対的な勾配値)を取得することができる。
画像処理部36は、撮像部15cから出力された撮像画像データに基づく車両1の前方画像に種々の情報を付加する処理を行う。進路指標算出部48は、舵角取得部32が車内ネットワーク23を介して取得した舵角センサ19の検出結果(車両1の舵角(操舵角))に基づき、車両1の前輪3Fの進行推定方向を示す進路指標を算出する。進路指標は、例えば前輪3Fの舵角に基づき車両1が旋回する方向(前輪3Fが通過する方向)を取得し、その方向に沿って前輪3Fから例えば2m先まで延びる誘導線である。進路指標は、操舵部4の操舵方向および操舵角度(舵角センサ19の検出結果)に連動して移動するので、操舵部4によって指定された車両1の進行方向を指すことができる。また、進路指標は、車輪3の幅と略同じ幅としてもよい。この場合、進路指標にしたがって車両1が前進する場合、進路指標が重畳された画像上の位置(路面)を実際の車輪3が通過することになる。したがって、進路指標を表示することにより車輪3のこれからの通過状態を運転者にイメージさせやすくすることができる。重畳部50は、進路指標算出部48が算出した進路指標を舵角センサ19の検出結果に合わせて撮像部15が撮像した撮像画像データに基づき画像(実画像)に重畳する。なお、進路指標は、勾配値に基づく報知内容に応じて、例えば表示色が決定されて重畳される。
図12には、表示装置8の表示例として、進路指標Rを含む画面8aが示されている。図12に示すように、表示装置8は、表示領域を複数に分割して種々の方向の画像や車両1の姿勢を示す傾斜計60等を表示する。例えば、表示装置8の表示領域の中央上部に前方表示領域FVが配置され、その左斜め下に左側表示領域SVL、前方表示領域FVの右斜め下に右側表示領域SVRが配置されている。また、前方表示領域FVの下方に、傾斜計60を表示する姿勢表示領域PVが配置されている。前方表示領域FVには、車両1の進行推定方向を示す進路指標Rや車体2の前方側の端部2cからの距離の目安を示す前方参考線Qa、車体2の側方の端部2d,2fからの距離の目安を示す側方参考線Pa等が重畳表示されている。また、左側表示領域SVL、右側表示領域SVRにも前方参考線Qa、側方参考線Paが重畳され、前方表示領域FVと左側表示領域SVLおよび右側表示領域SVRとの対応が理解しやすいように表示されている。なお、左側表示領域SVLおよび右側表示領域SVRの側方参考線Paには、前輪3Fの接地位置を示す接地線Pabが付され、前輪3Fの位置が容易に理解できるようになっている。傾斜計60は、加速度センサ26(26a、26b)からの信号に基づき、車両1の左右方向の傾き(ロール角)や前後方向の傾き(ピッチ角)をシンボル62の姿勢で表示する。
報知制御部38は、勾配値取得部44が取得した勾配値と車両1の水平に対する姿勢(傾き)にしたがい、現在車両1が存在する路面とこれから向かおうとする路面の勾配差、すなわち、車両1を基準とする勾配(勾配角K)が例えばアプローチアングルM1以上の場合に、車両1が走行不能に陥る可能性のある勾配が路面に存在することを運転者に報知する。
比較部52は、勾配値取得部44が算出した相対的な勾配値Kと、ROM14bやSSD14f等の記憶装置に予め記憶されている車両1の設計時に決定されているアプローチアングルM1やランプブレークオーバーアングルM2等に基づく基準勾配値をと比較して車両1が向かおうとしている路面に報知すべき勾配が存在するか否かを検出する。また、前述したように、勾配取得部34は、勾配値取得部44が算出した勾配値Kと加速度センサ26の検出結果から算出した車両1(自車)の傾きとを足し合わせることにより、水平に対する勾配値(絶対的な勾配値)を得ることができる。比較部52は、この勾配の絶対値と車両1の登坂能力(降坂能力)とを比較して、登坂限界(降坂限界)に近い場合、または登坂限界(降坂限界)を越えているか否かを検出することができる。この場合、比較部52は、車両1がこのまま走行した場合、その路面に報知すべき登坂限界(降坂限界)を越える可能性(走行不能になる可能性)のある勾配が存在するか否かを検出することになる。
表示態様決定部54は、比較部52が報知すべき勾配を検出した場合、比較結果に基づき表示装置8に表示する報知態様を決定する。例えば、進路指標Rの表示色を変化させて報知を行う場合、車両1が走行不能になる可能性が大きい場合には、進路指標Rの表示色を「赤色」に決定する。また、走行不能には至らないが十分な注意を必要とする場合には、進路指標Rの表示色を「オレンジ色」に決定する。また、注意しておくことが望ましい勾配が存在する場合には、進路指標Rの表示色を「黄色」に決定する。なお、進路指標Rは、凹凸があるものの勾配とは認められない場合や特に報知を必要としない場合には、通常色、例えば「青色」や「白色」等で表示される。通常色で進路指標Rが表示される場合も撮像部15で撮像された実画像上に当該進路指標Rが重畳表示されているので、車両1が進もうとしている路面の状態を認識させやすく、安全な走行のための案内を行うことができる。このように、表示態様を変えて段階的に報知を実施することにより、注意喚起をさせやすくするとともに、状況に応じては報知しないようにしているため、過剰報知による煩わしさを感じさせ難い表示ができる。なお、この他、表示態様決定部54は、ユーザが操作入力部10や操作部14g等を用いて設定した表示態様に従う表示を行うことができる。例えば、表示装置8に表示されている画像内に報知すべき勾配が存在する場合、報知対象となる勾配が存在する領域の色相を変化させたり、輝度を変化させたりしてもよい。また、報知対象となる勾配が存在する領域に対してエッジ強調処理を施し、物体等の強調表示を行い、注意喚起するようにしてもよい。この場合も注意喚起するレベルに応じて、表示態様(色相や輝度、エッジ強調具合等)を変化させるようにしてもよい。
報知部56は、比較部52の検出結果および表示態様決定部54が決定した表示態様に従う報知内容を決定する。
出力部40は、報知制御部38が決定した報知内容を表示制御部14dに向けて出力する。
図12には、進路指標Rを用いて勾配情報に関する報知を行う場合の一例が示されている。例えば勾配角KがアプローチアングルM1以上の場合には、上述した進路指標Rの表示色を通常時とは異なる色に変化させる。図12の場合、右側の前輪3Fのために示されている進路指標R上にアプローチアングルM1以上の角度の勾配が存在し、進路指標Rの表示色が例えば「赤色」として表示される。このような表示を行うことにより、現状の操舵角のまま車両1を前進させた場合には、車両1が走行不能になる可能性があることを運転者に通知する。なお、進路指標Rを用いた報知を行う場合、運転者が操舵部4(ステアリングホイール)を操作して前輪3Fの向きを変えた場合、それに対応して進路指標Rの示す方向が変わる。その結果、前輪3Fの進路と注意すべき勾配との位置関係が変化する。つまり、報知状態が注意を必要としない状態に移行したり、より注意を必要とする状態に移行したりする。したがって、本実施形態の周辺監視システム100の場合、進路指標Rによって勾配に関する報知が行われた場合、報知が行われない方向を探るように前輪3Fを転舵させることにより、より容易に走行が可能な進路を運転者に探させることができる。
図13、図14は、周辺監視システム100で勾配情報を表示する場合の処理手順の一例を説明するフローチャートである。図13は処理の前半部分で、図14は処理の後半部分である。なお、図13、図14で示すフローチャートでは、表示装置8に表示される実画像に重畳表示されている進路指標Rを用いて勾配情報に関する報知を行う例を示す。
まず、ECU14は、勾配情報を提供するための条件が成立しているか否かを確認する(S100)。例えば、表示装置8の表示モードが進路指標Rの表示モードになっていない場合や車両1の速度が所定速度以下(例えば10km/h以下)の場合、勾配情報を提供する条件が成立していないと見なす(S100のNo)。つまり、車両1が勾配変化の少ない路面を通常に走行して勾配情報の提供が不要であると見なし、このフローを一旦終了する。
一方、情報提供条件が成立している場合(S100のYes)、ECU14(CPU14a)は、状態情報取得部30はレーザスキャナ28からの出力を取得し車両1の進行方向(前方)における路面の状態を示す状態情報を取得する(S102)。続いて、勾配取得部34(勾配位置取得部42、勾配値取得部44)が状態情報取得部30の取得した情報に基づき、勾配位置と勾配値Kを算出する(S104)。続いて、比較部52は、ROM14bやSSD14f等の記憶装置に記憶された警戒勾配Mと算出した勾配値Kとの比較を行う(S106)。ここで、警戒勾配Mとは、車両1が走行不能になる可能性がある勾配を含み、走行するのにあたり注意が必要な勾配を意味する。つまり、通常の運転により乗り越えられる勾配等は含まないものとする。警戒勾配M≦勾配値Kの場合(S106のYes)、勾配識別部46は、注意すべき勾配が上り勾配か否か確認し(S108)、上り勾配の場合(S108のYes)、比較部52は、ROM14bやSSD14f等の記憶装置に記憶された比較勾配Aと勾配値Kを比較する(S110)。なお、この場合、比較勾配Aは、基準上り勾配値であり例えばアプローチアングルM1である。つまり、車両1が向かう路面が上り勾配であり、その上り勾配への進入により車両1が走行不能になる可能性があるか否かを検出する。そして、比較結果が、比較勾配A≦勾配値Kの場合(S110のYes)、つまり、車両1が走行不能になる可能性がある場合、表示態様決定部54は、報知態様として進路指標Rの表示色を「赤色」として報知を行うことを決定する(S112)。
また、S110で、比較勾配A≦勾配値Kではない場合(S110のNo)、比較部52は、比較勾配B≦勾配値K<比較勾配Aか否か判定する(S114)。比較勾配Bは、例えばランプブレークオーバーアングルM2である。つまり、車両1が向かう路面が上り勾配であり、その上り勾配で車両1が走行不能には至らないが十分な注意を必要とするか否か検出する。そして、比較結果が、比較勾配B≦勾配値K<比較勾配Aの場合(S114のYes)、つまり、その上り勾配への進入により車両1は走行不能に至らないが、走行には十分な注意が必要な場合、表示態様決定部54は、報知態様として進路指標Rの表示色を「オレンジ色」として報知を行うことを決定する(S116)。
また、S114で比較勾配B≦勾配値K<比較勾配Aではない場合(S114のNo)、車両1が向かう路面には勾配が存在するので注意することが望ましい場合と見なせる。そのため、表示態様決定部54は、報知態様として進路指標Rの表示色を「黄色」として報知を行うことを決定する(S118)。
なお、S108において、上り勾配ではない場合(S108のNo)、つまり、車両1の向かう路面が下り勾配の路面である場合、図10に示すように、車両1は、車体底部2yが下り勾配との接続部分である接続部GRと接触して走行不能になる可能性がある。そこで、比較部52は、勾配値KをランプブレークオーバーアングルM2である比較勾配Bと比較する(S120)。なお、この場合、比較勾配Bは、基準下り勾配値である。そして、比較勾配B≦勾配値Kの場合(S120のYes)、つまり、車体底部2yが路面の接続部GRと接触して走行不能になる可能性がある場合、表示態様決定部54は、報知態様として進路指標Rの表示色として、上り勾配時に走行不能の可能性を示す「赤色」とは異なる「赤色2」として報知を行うことを決定する(S122)。「赤色2」は、例えば、より鮮明な赤色や、赤色の点滅表示等であり、下り勾配で走行不能になる可能性があることを識別できるようにする。なお、下り勾配で走行不能になる可能性を示す場合、他の表示色や表示形態でもよい。
また、S120で比較勾配B≦勾配値Kでない場合(S120のNo)、つまり、車両1がこれから向かう路面が下り勾配であるが、勾配値Kが比較勾配B(ランプブレークオーバーアングルM2)未満の場合は、S118に移行し、表示態様決定部54は、報知態様として進路指標Rの表示色を「黄色」として報知を行うことを決定する(S118)。
続いて、図14のフローチャートに移行し、CPU14aは、舵角取得部32により舵角センサ19の示す現在の車両1の舵角(運転者が進もうとしている方向)を取得する(S124)。そして、現在の舵角に基づき進路指標算出部48は、進路指標Rを算出し(S126)、表示態様決定部54は、重畳する進路指標R上に警戒勾配M以上の勾配が存在するか否か確認する(S128)。進路指標R上に警戒勾配M以上の勾配が存在する場合(S128のYes)、表示態様決定部54は、比較部52の比較結果に基づき決定した表示色に進路指標Rの表示色を変更する(S130)。一方、進路指標R上に警戒勾配K以上の勾配が存在しない場合(S128のNo)、表示態様決定部54は進路指標Rの表示色の変更は行わず、表示色を例えば標準色の「青色」とする(S132)。
続いて、重畳部50は、撮像部15が撮像した撮像画像データに基づく画像上に算出した表示色が決定された進路指標Rを重畳し(S134)、出力部40は、撮像部15が撮像した実画像に進路指標Rを重畳されたデータ(情報)を表示制御部14dに向けて出力し、表示装置8に表示させる。
ECU14は、終了条件が成立していることを検出した場合(S136のYes)、このフローを一旦終了する。終了条件は、例えば、表示装置8の表示モードが進路指標Rを非表示とするモードに切り替わった場合、例えば、ナビ画面やオーディ画面に切り替えられた場合や、車両1の速度が所定速度(例えば10km/h)を越えた場合等に成立したと見なせる条件である。つまり、勾配情報の提示が不要であると判定できる条件である。一方、終了条件が成立していない場合(S136のNo)、つまり、継続して勾配情報の提示が必要であると判定される場合は、S102の処理に戻り、進路指標Rの表示色の決定等勾配情報の表示処理を継続する。
なお、S106において、警戒勾配M≦勾配値Kではない場合(S106のNo)、つまり、勾配情報の提示が必要ない場合、S124に移行して、標準の表示色で進路指標Rの表示を行う処理を実行する。
このように、本実施形態の周辺監視システム100は、操舵部4(ステアリングホイール)の操作状態に基づいて、表示される進路指標Rに勾配情報を含めて表示することにより、運転者にこれから進もうとする路面の状態およびその路面の危険度を容易に報知できる。また、運転者に勾配に関する情報を直感的に理解させやすく、適切に注意喚起することができる。
図15は、表示装置8による勾配情報の他の表示例を示す図である。図15の場合、表示装置8の主画面領域MVには、撮像部15cが撮像した撮像画像データに歪み補正等を施して運転者の視認する風景に近い状態に変換した画像に進路指標Rを重畳した画像が表示されている。図15で示す進路指標Rは、図12で示すような二次元表示ではなく、勾配の変化に対応して三次元表示としている。図15に示すように、報知制御部38は、進路指標Rの少なくとも一部の表示態様を変更することができる。図15の場合、右側の前輪3Fの進路指標Rのうち、走行不能になる可能性のある部分(進路指標Ra)の表示色を変えるとともに、三次元的に勾配があることを表示して、運転者がより注意を払うべき勾配の位置がより理解しやすい報知としている。また、図15の場合、進路指標Raに文字情報(例えば、Attention)を付加して、より注意喚起しやすいようにしている。
また、表示装置8のサブ画面領域SVには、車両1を俯瞰したシンボル64と複数に分割された分割領域66(例えば、5×5)が示されている。各分割領域66は、その領域内に含まれる勾配値の平均値が算出され、比較勾配Aや比較勾配Bとの比較が行われて表示色が決定されている。平均勾配値が、例えば走行不能となる可能性がある値の場合、分割領域66aは、「赤色」で示される。また、「赤色」表示された分割領域66aの周囲も注意が必要であるとして同様な「赤色」の注意喚起表示66abとされている。また、例えば、平均勾配値が走行不能には至らないが十分な注意が必要な分割領域66bは、「黄色」で示される。また、「黄色」表示された分割領域66bの周囲も注意が必要であるとして同様な「黄色」の注意喚起表示66bbとされている。なお、図15の場合、注意喚起表示66abや注意喚起表示66bbは、分割領域66の一部を着色しているが、対応する分割領域66の全体を着色してもよい。このように、自車を示すシンボル64と分割領域66を用いて、勾配情報に基づく注意喚起を行うことで、勾配位置と車両1との相対位置関係を運転者が直感的に理解し易いかたちで報知することが可能になり、車両1の周囲の状況や勾配の危険度をより理解させやすくすることができる。なお、図15において、サブ画面領域SVとして表示しているシンボル64および分割領域66を主画面領域MVに表示して、進路指標Rを含む実画像をサブ画面領域SVに表示してもよい。また、表示装置8に進路指標Rを含む実画像のみを表示してもよいし、シンボル64および分割領域66のみを表示してもよい。なお、勾配情報をレーザスキャナ28で取得し、図15のサブ画面領域SVを表示する場合、レーザスキャナ28で取得したデータを一定期間保存して、その過去データを含めたデータにより全領域の表示をするようにしている。
また、図12に示す前方表示領域FVにおいて、報知すべき勾配が存在する場合、進路指標R全体の表示態様を変化させる例を示したが、図15に示すように、報知すべき勾配に対応する部分のみ、つまり、進路指標Rの一部のみの表示態様を変化させるようにしてもよい。また、図12に示すように、前方表示領域FVには、車体2の前方側の端部2cからの距離の目安を示す前方参考線Qaが表示される。したがって、図12のような表示態様の場合も勾配位置と車両1との相対位置関係が表示され、運転者が直感的に勾配位置を理解し易いかたちで報知することが可能になり、車両1の周囲の状況や勾配の危険度を理解させやすくすることができる。図15の主画面領域MVの場合も、車体2の前方側の端部を表示させることができるので、勾配位置と車両1との相対位置関係の表示が同様に可能である。
また、図15に示した表示例の場合、実画像(三次元表示)に進路指標Rを重畳表示して、その進路指標Rに勾配情報を含める例を示したが、図16に示す表示例のように、進路指標Rを非表示として、勾配を含む物体が存在する領域の色相や輝度を変えたり、勾配を含む領域にエッジ強調処理を実行したりする等の画像処理を加えて、表示装置8に報知制御部38(比較部52)の比較結果を表示している例である。図16に示す表示例の場合、報知制御部38(表示態様決定部54)は、表示装置8の主画面領域MVに、報知すべき勾配が存在しないと見なした領域MNに対して、報知すべき勾配が存在すると見なした領域MPが、さらに強調されるように、分離線Hを境に、領域MNに対して領域MPが立ち上がるように見える画像処理を施している。その結果、色相変化処理や輝度変化処理、エッジ強調処理等が施された部分がさらに強調されるようになっている。また、色相変化処理や輝度変化処理、エッジ強調処理を省略して、領域MPが立ち上がるように見える画像処理のみを施しても運転者に注意喚起を行うことができる。すなわち、図16は、撮像画像データの画像処理の一つとして、所定の三次元投影図に撮像画像を投影するものである。
なお、例えば色相を変える場合、勾配位置取得部42が検出した勾配位置を中心に所定範囲を報知レベルにしたがう色相、例えば「赤色」を強めた画像としてもよい。同様に、勾配位置取得部42が検出した勾配位置を中心に所定範囲の輝度を高めてもよい。また、エッジ強調処理を行う場合、撮像部15が撮像した撮像画像データに基づく画像に対して勾配位置取得部42が検出した勾配位置を中心として所定範囲に周知のエッジ強調のフィルタ処理を施す。その結果、注意を必要とする勾配位置を際立たせることが可能となる。このように、進路指標Rを非表示として、色相や輝度を変えたり、エッジ強調処理を施したりすることで、実画像の表示(実画像上物体)を隠すことなく勾配情報を提供できる。その結果、運転者に周囲状況、特に物体の存在等を容易に理解させやすくするとともに、勾配情報を提供することができる。
他の実施形態では、撮像画像データに基づく画像において、報知すべき勾配部分に色相変化処理や輝度変化処理、エッジ強調処理等の画像処理を施すのみでもよい。また、図16の場合、報知すべき勾配部分のみに色相変化処理や輝度変化処理、エッジ強調処理を施したが、例えば、分離線Hを境として報知すべき勾配が存在する領域MP全体に対して、色相変化処理や輝度変化処理、エッジ強調処理等を施してもよい。この場合、これより先の領域は注意すべき領域であることを強調するような表示ができる。
上述した実施形態において、進路指標Rを用いる場合、進路指標Rの表示は、例えば車両1が走行不能になる可能性がある位置を含め規定の長さ(例えば2m先)まで延ばした状態で表示する例を示した。別の実施形態では、例えば、車両1が走行不能になる可能性のある位置で、進路指標Rの表示を中止してもよい。この場合、進路指標Rが途中で非表示とされることで、それ以降の走行が不可であることを報知することができる。また、進路指標Rが寸断された部分を赤色等で強調してもよく、勾配変化が大きいため走行が不可であること報知してもよい。
また、上述した実施形態の場合、車両1の進行方向における路面の状態を示す状態情報を取得するためにレーザスキャナ28を用いた例を示したが、これに限らず、勾配位置と勾配値を関連付けて取得できる装置であれば利用可能である。例えば、レーザスキャナ28に代えてステレオカメラを用いてもよい。ステレオカメラの場合も車両1の前方側の端部2cの位置、例えばフロントバンパやフロントグリル等に設けられている。ステレオカメラから得られる撮像画像データは、車両1の前方方向の広範囲の勾配情報が取得可能なので、より正確な勾配情報の提供ができる。
また、上述した実施形態では、勾配状態を表示装置8により表示して報知する例を示したが、別の実施形態では、音声で報知してもよい。この場合、「2m先に乗り越えられない勾配が存在します」や「2m先に十分に注意して走行する必要がある勾配が存在します」等のメッセージを音声出力装置9から出力してもよい。また、表示装置8による表示と音声出力装置9による音声を併せて勾配情報を提供してもよい。また、図15のサブ画面領域SVに示すように、車両1前方の広範囲に亘る勾配状態や勾配の有無が検出できる場合、操舵部4をどの方向に操作したらより安全な走行ができる進路となるかを音声等で報知してもよい。
また、図13、図14のフローチャートでは、車両1が走行を継続した場合、路面と車体底部2yとが接触して(擦り)、走行が不能になる可能性がある場合を報知する例を示した。すなわち、勾配取得部34は、勾配値として、車両1が存在する路面を基準として当該車両1の前方の路面の相対的な傾きを取得して、基準勾配値(比較勾配値A、比較勾配値B)との比較を行う例を示した。別の実施形態では、ECU14は、車両1が勾配を含む路面(第一の路面に連なる第二の路面)の走行を継続した場合に、登坂能力または降坂能力を超えて走行不能になる可能性があるか否かを報知するようにしてもよい。この場合、勾配取得部34は、勾配値として、これから向かう路面の相対的な傾きに車両1の現在の傾きを加算した傾き、すなわち水平に対する車両1の予想される傾き(絶対的な傾き)を取得する。例えば、勾配取得部34は、車両1が存在する第一の路面(例えば、上り勾配の路面)を基準として当該車両1の前方の第二の路面(例えば、上り勾配の路面)の相対的な傾きを取得する。この場合、勾配位置取得部42は、この相対的な傾きをレーザスキャナ28の検出結果に基づき取得する。また、勾配取得部34は、第一の路面(上り勾配の路面)に存在する車両1の傾きを加速度センサ26の検出結果に基づいて取得する。そして、勾配取得部34は、前方の路面の相対的な傾きに車両1の現在の傾きを加算することにより、車両1が第二の路面に進入した場合に予測される水平に対する傾きを取得することができる。比較部52は、算出した水平に対する傾きと登坂限界値と比較することで、車両1が走行を継続した場合に、走行不能になる可能性があるか否かを判定することができる。第一の路面および第二の路面が下り勾配の場合も同様である。また、第一の路面と第二の路面の勾配の向きが逆の場合、両者を加算することにより第二の路面に進入した場合の車両1の傾きが算出される。
表示態様決定部54は、この判定結果に基づき、報知の表示態様を決定する。例えば、水平に対する傾きが登坂能力(降坂能力)を越える場合には、表示する進路指標Rを赤色で表示するように決定する。また、登坂能力(降坂能力)は超えないが、十分に注意を要する場合には、進路指標Rをオレンジ色で表示するように決定する。同様に、登坂能力(降坂能力)との比較結果に基づいて、進路指標Rの表示形態を黄色表示や通常表示色にするように決定する。
このように本実施形態の周辺監視システム100によれば、車両1が現在存在する路面から他の特徴(例えば、勾配)の路面に進入しようとする場合にフロントバンパ2xや車体底部2y等が路面に接触することで走行不能になる場合や、走行能力(登坂能力や降坂能力)を超えるために走行不能になる場合を事前に検出し、運転者に報知することが可能になり、走行可否の判定をより正確に行わせることができる。
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…車両、3…車輪、3F…前輪、4…操舵部、8…表示装置、8a…画面、10…操作入力部、11…モニタ装置、14…ECU、14a…CPU、14b…ROM、14c…RAM、15…撮像部、19…舵角センサ、26…加速度センサ、28…レーザスキャナ、30…状態情報取得部、32…舵角取得部、34…勾配取得部、36…画像処理部、38…報知制御部、40…出力部、42…勾配位置取得部、44…勾配値取得部、46…勾配識別部、48…進路指標算出部、50…重畳部、52…比較部、54…表示態様決定部、56…報知部、100…周辺監視システム、R…進路指標。

Claims (9)

  1. 車両の進行方向における路面の状態を示す状態情報に基づいて、前記路面上の勾配位置および勾配値を取得する勾配取得部と、
    前記勾配値と前記車両が通過可能な基準勾配値とを比較し、その比較結果を前記勾配位置と関連付けて報知する報知制御部と、
    を備える周辺監視装置。
  2. 前記勾配取得部は、前記勾配値として、前記車両が存在する路面を基準として当該車両の前方の路面の相対的な傾きを取得する請求項1に記載の周辺監視装置。
  3. 前記勾配取得部は、前記勾配値として、水平に対する傾きを取得する請求項1に記載の周辺監視装置。
  4. 前記報知制御部は、前記車両を基準に前記勾配位置を報知する請求項1から請求項3のいずれか1項に記載の周辺監視装置。
  5. 前記勾配取得部は、前記勾配位置における勾配が、上り勾配か下り勾配か識別し、
    前記報知制御部は、前記勾配が前記上り勾配の場合は基準上り勾配値と比較し、前記勾配が前記下り勾配の場合は基準下り勾配値と比較する請求項1から請求項4のいずれか1項に記載の周辺監視装置。
  6. 前記報知制御部は、前記車両の周辺状況を撮像する撮像部から出力された撮像画像データに基づく画像を表示する表示装置に前記勾配位置と前記車両との相対位置関係を表示する請求項1から請求項5のいずれか1項に記載の周辺監視装置。
  7. 前記報知制御部は、前記撮像画像データに基づく画像に画像処理を加えて前記表示装置に前記比較結果を表示させる請求項6に記載の周辺監視装置。
  8. 前記撮像画像データに基づく画像に、前記車両の舵角に基づく車輪の進行推定方向を示す進路指標を重畳する画像処理部をさらに含み、
    前記報知制御部は、前記進路指標上に前記勾配位置が存在する場合に前記比較結果を前記進路指標とともに前記表示装置に表示させる請求項6または請求項7に記載の周辺監視装置。
  9. 前記報知制御部は、前記進路指標の少なくとも一部の表示態様を変更する請求項8に記載の周辺監視装置。
JP2016129636A 2016-06-30 2016-06-30 周辺監視装置 Active JP6816389B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016129636A JP6816389B2 (ja) 2016-06-30 2016-06-30 周辺監視装置
PCT/JP2017/010281 WO2018003194A1 (ja) 2016-06-30 2017-03-14 周辺監視装置
US16/313,320 US10878253B2 (en) 2016-06-30 2017-03-14 Periphery monitoring device
CN201780038079.9A CN109313860B (zh) 2016-06-30 2017-03-14 周边监控装置
DE112017003305.5T DE112017003305B4 (de) 2016-06-30 2017-03-14 Peripherieüberwachungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016129636A JP6816389B2 (ja) 2016-06-30 2016-06-30 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2018005437A true JP2018005437A (ja) 2018-01-11
JP6816389B2 JP6816389B2 (ja) 2021-01-20

Family

ID=60787108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016129636A Active JP6816389B2 (ja) 2016-06-30 2016-06-30 周辺監視装置

Country Status (5)

Country Link
US (1) US10878253B2 (ja)
JP (1) JP6816389B2 (ja)
CN (1) CN109313860B (ja)
DE (1) DE112017003305B4 (ja)
WO (1) WO2018003194A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016043A (ja) * 2017-07-04 2019-01-31 トヨタ自動車株式会社 周辺画像表示制御装置
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控系统
JP2023516110A (ja) * 2021-03-11 2023-04-18 上海▲けい▼朗智能科技有限公司 移動ロボットの制御方法、装置、移動ロボット及び記憶媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
WO2018080384A1 (en) * 2016-10-28 2018-05-03 Husqvarna Ab A demolition robot control device and system
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
US10338223B1 (en) 2017-12-13 2019-07-02 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using two-dimensional interpolation and distance thresholding
JP7163729B2 (ja) * 2018-11-08 2022-11-01 トヨタ自動車株式会社 車両制御装置
JP7147546B2 (ja) * 2018-12-25 2022-10-05 トヨタ自動車株式会社 車両のスリップ角推定装置
CN110322711B (zh) * 2019-08-01 2021-01-26 浙江高速信息工程技术有限公司 一种高速公路事故预警系统
JP2022042420A (ja) * 2020-09-02 2022-03-14 株式会社Subaru 車両制御装置
CN114407782B (zh) * 2020-10-28 2023-09-26 上海汽车集团股份有限公司 一种外后视镜调节方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06255393A (ja) * 1993-03-08 1994-09-13 Fujitsu Ten Ltd 定速走行装置
JPH07113866A (ja) * 1993-10-14 1995-05-02 Hino Motors Ltd 車両の坂道への接触を検出する装置
JP2005023916A (ja) * 2003-07-04 2005-01-27 Denso Corp 車両のアクセル操作警告システム
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
WO2011010346A1 (ja) * 2009-07-22 2011-01-27 トヨタ自動車株式会社 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5337878A (en) 1976-09-20 1978-04-07 Yazaki Corp Method of manufacturing wire harness
US9555811B2 (en) * 2011-10-28 2017-01-31 Thinkware Corporation Method and apparatus for providing analysis index of roadway section based on road and traffic conditions
JP5958542B2 (ja) 2012-08-02 2016-08-02 トヨタ自動車株式会社 路面状態取得装置およびサスペンションシステム
WO2015001815A1 (ja) * 2013-07-05 2015-01-08 クラリオン株式会社 運転支援装置
WO2015083228A1 (ja) * 2013-12-03 2015-06-11 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
JP6252316B2 (ja) * 2014-03-31 2017-12-27 株式会社デンソー 車両用表示制御装置
JP6361382B2 (ja) 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
CN104590272B (zh) * 2014-12-23 2017-04-12 安徽江淮汽车集团股份有限公司 一种车辆坡道状态检测方法及系统
CN105206112B (zh) * 2015-09-21 2018-03-13 芜湖市汽车产业技术研究院有限公司 一种用于汽车车队侦测前方道路坡度的检测系统
JP6384521B2 (ja) * 2016-06-10 2018-09-05 トヨタ自動車株式会社 車両の運転支援装置
JP6528213B2 (ja) * 2016-11-08 2019-06-12 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06255393A (ja) * 1993-03-08 1994-09-13 Fujitsu Ten Ltd 定速走行装置
JPH07113866A (ja) * 1993-10-14 1995-05-02 Hino Motors Ltd 車両の坂道への接触を検出する装置
JP2005023916A (ja) * 2003-07-04 2005-01-27 Denso Corp 車両のアクセル操作警告システム
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
WO2011010346A1 (ja) * 2009-07-22 2011-01-27 トヨタ自動車株式会社 運転支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016043A (ja) * 2017-07-04 2019-01-31 トヨタ自動車株式会社 周辺画像表示制御装置
CN114516338A (zh) * 2020-11-17 2022-05-20 佳骏科技股份有限公司 行车监控系统
JP2023516110A (ja) * 2021-03-11 2023-04-18 上海▲けい▼朗智能科技有限公司 移動ロボットの制御方法、装置、移動ロボット及び記憶媒体
JP7326630B2 (ja) 2021-03-11 2023-08-15 上海▲けい▼朗智能科技有限公司 移動ロボットの制御方法、装置、移動ロボット及び記憶媒体

Also Published As

Publication number Publication date
DE112017003305T5 (de) 2019-03-14
US10878253B2 (en) 2020-12-29
WO2018003194A1 (ja) 2018-01-04
JP6816389B2 (ja) 2021-01-20
CN109313860B (zh) 2021-08-03
US20190163988A1 (en) 2019-05-30
CN109313860A (zh) 2019-02-05
DE112017003305B4 (de) 2023-03-30

Similar Documents

Publication Publication Date Title
WO2018003194A1 (ja) 周辺監視装置
WO2018061294A1 (ja) 周辺監視装置
JP6897340B2 (ja) 周辺監視装置
WO2018061256A1 (ja) 周辺監視装置
US10464551B2 (en) Traveling support device
EP2910423B1 (en) Surroundings monitoring apparatus and program thereof
CN109204136B (zh) 周边图像显示控制装置
JP2017033298A (ja) 駐車支援装置
CN110001523B (zh) 周边监视装置
WO2018186045A1 (ja) 牽引支援装置
JP2019087875A (ja) 周辺監視装置
JP2017094922A (ja) 周辺監視装置
US11301701B2 (en) Specific area detection device
JP6642307B2 (ja) 周辺監視装置
JP6776702B2 (ja) 周辺監視装置
JP6977318B2 (ja) 周辺表示装置
JP6953915B2 (ja) 周辺監視装置
JP2014000921A (ja) 車両周辺監視装置、車両周辺監視方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151