JP2023028536A - 自動車 - Google Patents

自動車 Download PDF

Info

Publication number
JP2023028536A
JP2023028536A JP2021134296A JP2021134296A JP2023028536A JP 2023028536 A JP2023028536 A JP 2023028536A JP 2021134296 A JP2021134296 A JP 2021134296A JP 2021134296 A JP2021134296 A JP 2021134296A JP 2023028536 A JP2023028536 A JP 2023028536A
Authority
JP
Japan
Prior art keywords
vehicle
display
image
display device
approaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021134296A
Other languages
English (en)
Inventor
貴之 濱田
Takayuki Hamada
友希 小川
Yuki Ogawa
優和 青木
Masakazu Aoki
洋介 橋本
Yosuke Hashimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021134296A priority Critical patent/JP2023028536A/ja
Priority to US17/810,048 priority patent/US20230055862A1/en
Priority to CN202210792952.6A priority patent/CN115707613A/zh
Publication of JP2023028536A publication Critical patent/JP2023028536A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/21Collision detection, intersection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】接近する対象物と接近しない対象物とをより適正に認識することができるようにする。【解決手段】自動車は、車両走行方向を撮影する撮影装置と、表示装置と、撮影装置により撮影された画像を解析すると共に解析に基づく指標を表示装置に表示する制御装置と、を備える。制御装置は、撮影装置により撮影された画像のうち自車に接近する対象物に対しては自車に接近しない対象物とを異なる態様となるように表示装置に表示する。これにより、接近する対象物と接近しない対象物とをより適正に認識することができる。【選択図】図2

Description

本発明は、自動車に関し、詳しくは、車両進行方向の撮影された画像から障害物を解析する自動車に関する。
従来、この種の自動車としては、接近する対象物を含む撮影画像を取得し、接近する対象物の接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが撮像画像内の接近する対象物に付与された動的パターン付与画像を生成し、生成した動的パターン付与画像を表示画面に表示するものが提案されている(例えば、特許文献1参照)。この自動車では、動的パターンは対象物の危険度に応じて異なる色を有するように生成したり、対象物の危険度に応じて表示が変動する速度が異なるように生成したりしている。これにより、運転者に接近対象物をより素早く、より正確に認識させるようにしている。
特開2020-074504号公報
しかしながら、上述の自動車では、接近する対象物の画像に動的パターンが付与された動的パターン付与画像が生成されて表示画面に表示されると、その後に対象物が接近しない場合でも動的パターン付与画面が表示され続ける場合が生じる。この場合、運転者は対象物が接近するのか接近しないのかのいずれなのか理解できず、周辺の状況を正確に認識することができなくなってしまう。
本発明の自動車は、接近する対象物と接近しない対象物とをより適正に認識することができるようにすることを主目的とする。
本発明の自動車は、上述の主目的を達成するために以下の手段を採った。
本発明の自動車は、
車両走行方向を撮影する撮影装置と、
表示装置と、
前記撮影装置により撮影された画像を解析すると共に前記解析に基づく指標を前記表示装置に表示する制御装置と、
を備える自動車であって、
前記制御装置は、前記撮影装置により撮影された画像のうち自車に接近する対象物に対しては自車に接近しない対象物とを異なる態様となるように前記表示装置に表示する、
ことを特徴とする。
この本発明の自動車では、撮影装置により撮影された画像のうち自車に接近する対象物に対しては自車に接近しない対象物とを異なる態様となるように表示装置に表示する。これにより、接近する対象物と接近しない対象物とをより適正に認識することができるようになる。ここで、「自車に接近する対象物」としては、自車や対象物の動作が継続すると自車と対象物とが衝突する可能性のある対象物が主として含まれる。
本発明の自動車において、前記制御装置は、自車に接近する対象物については前記指標として加飾画像をもって前記表示装置に表示するものとしてもよい。加飾画像としては、例えば、矩形形状や楕円形状の枠の画像や、対象物の移動方向を示す矢印の画像などを挙げることができる。この場合、自車に接近しない対象物については加飾画像を用いない態様として表示装置に表示するものとしてもよい。こうすれば、運転者は、加飾画像をもって表示された対象物が接近する対象物であり、加飾画像をもって表示されない対象物が近接しない対象物であるのを容易に認識することができる。
本発明の自動車において、前記制御装置は、自車に接近する対象物については自車に接近する速度に応じて異なる形態となるように前記表示装置に表示するものとしてもよい。例えば、対象物の自車への接近する速度に応じて加飾画像の色を変更したり、加飾画像の点滅の速度を変更したりするのを挙げることができる。加飾画像の色を変更する場合、例えば、対象物の自車への接近する速度が遅いときには黄緑とし、対象物の自車への接近する速度が比較的速いときには黄色とし、対象物の自車への接近する速度が速いときには赤色とするものとすることができる。加飾画像の点滅の速度を変更する場合、例えば、対象物の自車への接近する速度が遅いときにはゆっくり点滅し、対象物の自車への接近する速度が比較的速いときには比較的速く点滅し、対象物の自車への接近する速度が速いときには速く点滅するものとすることができる。
本発明の自動車において、前記対象物が人である場合又は前記対象物との衝突の可能性がある場合には、これらの場合ではない場合と異なる形態をもって前記表示装置に表示するものとしてもよい。例えば、対象物が人である場合や対象物との衝突の可能性がある場合には赤色の加飾画像を速く点滅するように表示装置に表示する形態とし、これら以外の場合には黄緑色や黄色の加飾画像を点滅せずに表示装置に表示する形態など、種々の形態を挙げることができる。
本発明の自動車において、前記制御装置は、前記撮影装置により撮影された画像により他車が車線変更するのを解析したときに他車の車線変更方向の加飾画像をもって前記表示装置に表示するものとしてもよい。こうすれば、他車の車線変更を迅速に運転者に認識させることができる。
本発明の自動車において、前記表示装置はセンターディスプレイであり、前記制御装置は前記撮影装置により撮影された画像と共に前記加飾画像を前記表示装置に表示するものとしてもよい。即ち、撮影装置により撮影された画像に加飾画像を組み込んでセンターディスプレイに表示するのである。これにより、センターディスプレイに自車に接近する対象物を含む撮影画像に加飾画像を組み込んだものを表示することができ、運転者に接近する対象物と接近しない対象物とをより適正に認識させることができる。
本発明の自動車において、前記表示装置はヘッドアップディスプレイであり、前記制御装置は前記撮影装置により撮影された画像に基づいて前記加飾画像を対応する対象物に対して所定の位置となるように前記表示装置に表示するものとしてもよい。即ち、撮影装置により撮影された画像に基づいてヘッドアップディスプレイ中の対象物の位置を求め、ヘッドアップディスプレイ中の対象物の位置に対して所定の位置となるように加飾画像を表示するのである。これにより、ヘッドアップディスプレイに運転者が視認している接近している対象物に対して所定の位置に加飾画像を表示することができ、運転者に接近する対象物と接近しない対象物とをより適正に認識させることができる。
本発明の一実施例としての自動車20の構成の一例をメイン電子制御ユニット30を中心にブロックとして示すブロック図である。 メイン電子制御ユニット30により実行される危険対象物加飾表示処理の一例を示すフローチャートである。 危険レベルとその内容および加飾の一例を示す表である。 センターディスプレイ72に表示される加飾が施された画像の一例を示す説明図である。 センターディスプレイ72に表示される加飾が施された画像の一例を示す説明図である。
次に、本発明を実施するための形態を実施例を用いて説明する。
図1は、本発明の一実施例としての自動車20の構成の一例をメイン電子制御ユニット(以下、メインECUという。)30を中心にブロックとして示すブロック図である。実施例の自動車20は、図示するように、図示しない駆動輪に駆動力を出力する駆動装置62と、駆動装置62を駆動制御するための駆動用電子制御ユニット(以下、駆動ECUという)60とを備える。
駆動装置62としては、エンジンと自動変速装置とを有するものや、エンジンとモータとバッテリとを有するハイブリッドシステム、燃料電池とバッテリとモータとを有する燃料電池駆動システム、バッテリとモータとを有する電動システムなどを用いることができる。
駆動ECU60は、図示しないがCPUを中心とするマイクロコンピュータとして構成されており、CPUの他にROMやRAM、フラッシュメモリ、入力ポート、出力ポート、通信ポートなどを備える。駆動ECU60は、メインECU30からの駆動制御信号に基づいて駆動装置62を駆動制御する。
実施例の自動車20は、駆動装置62や駆動ECU60の他に、イグニッションスイッチ32、シフトポジションセンサ34、アクセルポジションセンサ36、ブレーキポジションセンサ38、車速センサ40、加速度センサ42、勾配センサ44、ヨーレートセンサ46、運転支援スイッチ48、オートクルーズコントロールスイッチ(以下、ACCスイッチという。)50、周辺認識用電子制御ユニット(以下、周辺認識ECUという。)52、前方カメラ53、後方カメラ54、他の周辺認識装置55、空調装置用電子制御ユニット(以下、エアコンECUという。)56、空調装置58、ブレーキ用電子制御ユニット(以下、ブレーキECUという。)64、ブレーキ装置66、操舵用電子制御ユニット(以下、操舵ECUという。)68、操舵装置70、センターディスプレイ72、ヘッドアップディスプレイ74、メーター76、GPS(Global Positioning System, Global Positioning Satellite)78、ナビゲーションシステム80、DCM(Data Communication Module)86などを備える。
シフトポジションセンサ34は、シフトレバーのポジションを検出する。アクセルポジションセンサ36は、運転者のアクセルペダルの踏み込み量に応じたアクセル開度などを検出する。ブレーキポジションセンサ38は、運転者のブレーキペダルの踏み込み量としてのブレーキポジションなどを検出する。
車速センサ30は、車輪速などに基づいて車両の車速を検出する。加速度センサ28は、例えば、車両の前後方向の加速度を検出する。勾配センサ44は、路面勾配を検出する。ヨーレートセンサ46は、旋回運動による左右方向の横加速度(ヨーレート)を検出する。
運転支援スイッチ48は、運転支援制御の1つとしての危険対象物加飾表示を行なうか否かを設定するスイッチである。危険対象物加飾表示については後述する。ACCスイッチ50は、運転支援制御の1つとしてのオートクルーズコントロールを行なうか否かの選択用のスイッチである。運転支援スイッチ48やACCスイッチ50は、ステアリングや運転席の前方のインストールパネル或いはその近傍に取り付けられている。
周辺認識ECU52は、図示しないが、CPUを中心とするマイクロプロセッサとして構成されており、CPUの他に、処理プログラムを記憶するROMやデータを一時的に記憶するRAM、入出力ポート、通信ポートを備える。周辺認識ECU52には、車両前方を撮影する前方カメラ53や車両後方を撮影する後方カメラ54からの撮像画像、他の周辺認識装置55からの自車やその周囲の情報(例えば、自車の前方や後方の他車との車間距離D1,D2や他社の車速、路面の車線における自車の走行位置など)が入力ポートを介して入力されている。他の周辺認識装置55としては、ミリ波レーダーや準ミリ波レーダー、赤外線レーザーレーダー、ソナーなどを挙げることができる。
エアコンECU56は、図示しないがCPUを中心とするマイクロコンピュータとして構成されており、CPUの他にROMやRAM、フラッシュメモリ、入力ポート、出力ポート、通信ポートなどを備える。エアコンECU56は、乗員室を空気調和する空調装置58に組み込まれており、乗員室の温度が設定された温度となるように空調装置におけるエアコン用コンプレッサなどを駆動制御する。
ブレーキECU64は、図示しないがCPUを中心とするマイクロコンピュータとして構成されており、CPUの他にROMやRAM、フラッシュメモリ、入力ポート、出力ポート、通信ポートなどを備える。ブレーキECU64は油圧駆動の周知のブレーキ装置66を駆動制御する。ブレーキ装置66は、ブレーキペダルを踏み込むことによるブレーキ踏力に起因する制動力と油圧調整に起因する制動力とが行なえるように構成されている。
操舵ECU68は、図示しないがCPUを中心とするマイクロコンピュータとして構成されており、CPUの他にROMやRAM、フラッシュメモリ、入力ポート、出力ポート、通信ポートなどを備える。操舵ECU68は、図示しないステリングと駆動輪とがステアリングシャフトを介して機械的に接続された操舵装置28のアクチュエータを駆動制御する。操舵装置28は、運転者のステアリング操作に基づいて駆動輪を操舵すると共に、メイン電子制御ユニット30からの操舵制御信号に基づいて操舵ECU68によるアクチュエータの駆動により駆動輪を操舵する。
センターディスプレイ72は、運転席および助手席の前方の中央に配置され、タッチパネルとしても機能し、車両の各種設定やオーディオや各種メディアのアプリケーションを実行したり、ナビゲーションシステムの表示部84として機能して地図ナビゲーションを行なったりする。
ヘッドアップディスプレイ74は、フロントガラスに運転者向けの情報の(無限遠の点に結像するような)画像を提供するものであり、例えば、速度表示やナビゲーションガイド表示を行なう。メーター76は、例えば運転席前方のインストールパネルに組み込まれている。
GPS78は、複数のGPS衛星から送信される信号に基づいて車両の位置を検出する装置である。
ナビゲーションシステム80は、自車両を設定した目的地に誘導するシステムであり、地図情報82と表示部84とを備える。ナビゲーションシステム80は、交通情報管理センター100とDCM(Data Communication Module)86を介して通信しており、道路交通情報を取得したり、必要に応じて地図情報を取得して地図情報82を更新したりする。。ナビゲーションシステム80は、目的地が設定されると、目的地の情報とGPS78により取得した現在地(現在の自車両の位置)の情報と地図情報82とに基づいて経路を設定する。
DCM(Data Communication Module)86は、自車両の情報を交通情報管理センター100に送信したり、交通情報管理センター100からの道路交通情報を受信したりする。自車両の情報としては、例えば、自車両の位置や、車速、走行パワー、走行モードなどを挙げることができる。道路交通情報としては、例えば、現在や将来の渋滞に関する情報や、走行経路上の区間における現在の平均車速や将来の平均車速の予測値に関する情報、交通規制に関する情報、天候に関する情報、路面状態に関する情報、地図に関する情報などを挙げることができる。DCM86は、交通情報管理センター100と所定間隔毎(例えば、30秒毎や1分毎、2分毎など)に通信している。
メイン電子制御ユニット30は、図示しないがCPUを中心とするマイクロコンピュータとして構成されており、CPUの他にROMやRAM、フラッシュメモリ、入力ポート、出力ポート、通信ポートなどを備える。メイン電子制御ユニット30には入力ポートを介して各種信号が入力されている。入力ポートを介して入力される情報としては、例えば、イグニッションスイッチ32からのイグニッションスイッチ信号や、シフトポジションセンサ34からシフトポジション、アクセルポジションセンサ36からのアクセル開度、ブレーキポジションセンサ38からのブレーキポジションなどを挙げることができる。また、車速センサ40からの車速Vや加速度センサ42からの加速度、勾配センサ44からの勾配、ヨーレートセンサ46からのヨーレートなども挙げることができる。更に、自動運転スイッチ48からの自動運転指示信号、ACCスイッチ50からのACC指示信号なども挙げることができる。メイン電子制御ユニット30からは出力ポートを介して各種信号が出力されている。出力ポートを介して出力される情報としては、例えば、センターディスプレイ72への表示制御信号や、ヘッドアップディスプレイ74への表示制御信号、メーター76への表示信号などを挙げることができる。
メイン電子制御ユニット30は、周辺認識ECU52やエアコンECU56、駆動ECU60、ブレーキECU64、操舵ECU68、ナビゲーションシステム80と通信しており、各種情報のやりとりを行なっている。
メイン電子制御ユニット30は、アクセルポジションセンサ36からのアクセル開度や車速センサ40からの車速に基づいて要求駆動力や要求パワーを設定し、車両に要求駆動力や要求パワーが駆動装置62から出力されるように駆動ECU60に駆動制御信号を送信する。
次に、こうして構成された自動車20の動作、特に運転支援スイッチ48をオンとして危険対象物加飾表示の際の動作について説明する。図2は、メイン電子制御ユニット30により実行される危険対象物加飾表示処理の一例を示すフローチャートである。この危険対象物加飾表示処理は、運転支援スイッチ48がオンとされている最中は繰り返し実行される。
危険対象物加飾表示処理が実行されると、メイン電子制御ユニット30は、まず、運転支援スイッチ48がオンとされているか否かを判定する(ステップS100)。運転支援スイッチ48がオフとされていると判定したときには、危険対象物に対する加飾表示を行なう必要がないため本処理を終了する。
ステップS100で運転支援スイッチ48がオンとされていると判定したときには、進行方向のカメラで撮影した撮影画像に危険対象物の有無を解析する(ステップS110)。撮像画像は、シフトポジションがDポジションのときには前方カメラ53により撮影されたものを用い、シフトポジションがRポジションのときには後方カメラ54により撮影されたものを用いる。危険対象物は、撮影画像の対象物のうち撮像画像の解析によりその移動方向と移動速度と基づいて自車に接近すると判断される対象物であり、具体的には自車に接近すると判断された人、自転車、オートバイ、自動車などが該当する。
こうして危険対象物の有無を解析すると、その結果として撮影画像に危険対象物が存在するか否かを判定する(ステップS120)。撮影画像に危険対象物が存在しないと判定したときには、加飾すべき対象物は存在しないため、本処理を終了する。一方、撮影画像に危険対象物が存在すると判定したときには、撮影画像中の危険対象物に対して危険リスクに応じた加飾を施してセンターディスプレイ72に表示して(ステップS130)、本処理を終了する。即ち、自車に接近すると判断される対象物については加飾を施し、自車に接近しないと判断される対象物については加飾を施すことなく、撮影画像をセンターディスプレイ72に表示するのである。
危険リスクと加飾の内容としては、例えば図3の表に示すように、危険レベルが「注意」のものとしては、運転者が確認して判断した方が良い対象が該当し、歩道を歩いている歩行者や、自車と逆方向に自車とは逆側の車道を走行している自転車、比較的距離の離れた対象物などを挙げることができる。この場合、加飾画像としては、歩行者や自転車などの対象物を囲む緑色の矩形枠の画像(加飾画像)を点滅させずに用いるものを考えることができる。危険レベルが「警告」のものとしては、現状の状態で運行するとリスクが増す対象が該当し、ある程度の距離をもって路肩を歩いている歩行者や、交差点における歩行者、ある程度の距離をもって自車と同一方向に車道を走行している自転車、比較的距離が近い対象物などを挙げることができる。この場合、加飾画像としては、歩行者や自転車などの対象物を囲む黄色の矩形枠の画像(加飾画像)を点滅させずに用いるものや、対象物の移動方向の黄色の矢印の画像(加飾画像)を点滅させずに用いるものなどを考えることができる。危険レベルが「危険」のものとしては、運転者の回避行動やシステムによる回避行動の作動が必要な対象が該当し、近距離で車道方向に歩く歩行者や、近距離で車道を走行する自転車、衝突しそうな対象物などを挙げることができる。この場合、加飾画像としては、歩行者や自転車などの対象物を囲む赤色の矩形枠の画像(加飾画像)を点滅させて用いるものや、対象物の移動方向の赤色の矢印の画像(加飾画像)を点滅させて用いるものなどを考えることができる。
図4は、センターディスプレイ72に表示される加飾が施された画像の一例を示す説明図である。図中では、左側から車道に向かって歩く歩行者に対して、赤色の矩形枠の指示画像110と歩行方向を示す矢印の指示画像120とが加飾画像として撮影画像と共にセンターディスプレイ72に表示されている。一方、右上の歩行者についてはある程度の距離が離れていることにより加飾画像は表示されていない。このように危険対象物を加飾画像110,120と共にセンターディスプレイ72に表示することにより、運転者に危険回避を促すことができる。また、危険対象物以外の対象物については加飾画像を表示しないから、運転者は接近する対象物と接近しない対象物とをより適正に認識することができる。図5は、自車が走行している車線に他車が車線変更しようとしているときにセンターディスプレイ72に表示される加飾が施された画像の一例を示す説明図である。図中では、車線変更しようとしている他車を囲む黄色の矩形枠の加飾画像130と他車の車線変更の方向を示す黄色の矢印の指示画像140とが表示されている。自車が走行している車線に他車が車線変更する場合には、他車と自車との車間距離と相対速度とにより危険リスク(注意、警告、危険)を判定して加飾画像130,140を表示すればよい。なお、自車が走行している車線に他車が車線変更しようとしているか否かの判定は、他車の動きや方向指示器の状態などにより解析することができる、また、他車が自車を追い越して自車の車線に車線変更する場合には、車間距離が一定以上のときには危険対象物と判断されないため、加飾画像130,140を表示する必要はない。
また、危険リスクとしては、自車と危険対象物との相対速度に応じて変更するものとしてもよい。例えば、自車と危険対象物との車間距離が同じであっても相対速度が大きい方が危険リスクが高いとするのである。危険リスクとしては、昼間時、明け方時、夕方時、夜間などのように1日の時間に応じて変更するものとしてもよい。例えば、同一の危険リスクに対して自車と対象物との距離を昼間時、明け方時および夕方時、夜間の順に長くすることが考えられる。危険リスクとしては、晴天時、曇天時、雨天時、降雪時のように天候に応じて変更するものとしてもよい。例えば、同一の危険リスクに対して自車と対象物との距離を晴天時、曇天時、雨天時、降雪時の順に長くすることが考えられる。
危険リスクは、対象物により変更するものとしてもよい。例えば、危険対象物が人である場合又は危険対象物との衝突の可能性がある場合には、これらの場合ではない場合に比して危険リスクを高くしたり、成人の歩行者と子供や高齢者の歩行者では子供や高齢者の歩行者の危険リスクを高くしたり、歩行者と自転車では自転車の危険リスクを高くしたりすることが考えられる。
以上説明した実施例の自動車20では、運転支援スイッチ48がオンとされているときには、進行方向のカメラで撮影した撮影画像に危険対象物の有無を解析する。そして、自車に接近すると判断される対象物については加飾画像を施し、自車に接近しないと判断される対象物については加飾画像を施すことなく、撮影画像をセンターディスプレイ72に表示する。これにより、接近する対象物と接近しない対象物とをより適正に認識することができる。しかも、危険リスクが「注意」「警告」「危険」のレベルに応じて加飾画像の色を変えたり、加飾画像を点滅させたりしてセンターディスプレイ72に表示するから、危険の程度を運転者に知らせることができる。
実施例の自動車20では、自車に接近すると判断される危険対象物については、危険対象物を囲む矩形枠の加飾画像と危険対象物の移動方向を示す矢印の加飾画像とを表示するものとした。しかし、危険対象物を囲む矩形枠の加飾画像と危険対象物の移動方向を示す矢印の加飾画像とのうち一方のみを表示するものとしてもよい。また、危険対象物を囲む枠の加飾画像としては、矩形枠の画像に限定されるものではなく、楕円形枠の画像や多角形枠の画像などの種々の形状の枠の画像を用いるものとしてもよい。
実施例の自動車20では、自車に接近すると判断される対象物については加飾画像を施し、自車に接近しないと判断される対象物については加飾画像を施すことなく、撮影画像をセンターディスプレイ72に表示するものとした。しかし、自車に接近すると判断される対象物のフロントウインドウにおける位置を判定し、対象物に対して加飾画像が施されるようにヘッドアップディスプレイ74に表示するものとしてもよい。
実施例の自動車20では、メイン電子制御ユニット30や周辺認識ECU52、駆動ECU60、ブレーキECU64、操舵ECU68などの複数の電子制御ユニットにより各装置を制御するものとしたが、単一の電子制御ユニットで各装置を制御するものとしたり、これらの一部を兼ねる複数の電子制御ユニットを用いて各装置を制御するものとしてもよい。
実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係について説明する。前方カメラ53や後方カメラ54が「撮影装置」に相当し、センターディスプレイ72やヘッドアップディスプレイ74が「表示装置」に相当し、メイン電子制御ユニット30や周辺認識ECU52などが「制御装置」に相当する。
なお、実施例の主要な要素と課題を解決するための手段の欄に記載した発明の主要な要素との対応関係は、実施例が課題を解決するための手段の欄に記載した発明を実施するための形態を具体的に説明するための一例であることから、課題を解決するための手段の欄に記載した発明の要素を限定するものではない。即ち、課題を解決するための手段の欄に記載した発明についての解釈はその欄の記載に基づいて行なわれるべきものであり、実施例は課題を解決するための手段の欄に記載した発明の具体的な一例に過ぎないものである。
以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
本発明は、自動車の製造産業などに利用可能である。
20 自動車、30 メイン電子制御ユニット、32 イグニッションスイッチ、34 シフトポジションセンサ、36 アクセルポジションセンサ、38 ブレーキポジションセンサ、40 車速センサ、42 加速度センサ、44 勾配センサ、46 ヨーレートセンサ、48 自動運転スイッチ、50、オートクルーズコントロールスイッチ(ACCスイッチ)、52 周辺認識用電子制御ユニット(種辺認識ECU)、53 前方カメラ、54、後方カメラ、55 他の周辺認識装置、56 空調装置用電子制御ユニット(エアコンECU)、58 空調装置、60 駆動装置用電子制御ユニット(駆動ECU)、62 駆動装置、64 ブレーキ用電子制御ユニット(ブレーキECU)、66 ブレーキ装置、68 操舵用電子制御ユニット(操舵ECU)、70 操舵装置、72 センターディスプレイ、74 ヘッドアップディスプレイ、76 メーター、78 GPS、80 ナビゲーションシステム、82 地図情報、84 表示部、86 DCM、100 交通情報管理センター、110~140 加飾画像。

Claims (7)

  1. 車両走行方向を撮影する撮影装置と、
    表示装置と、
    前記撮影装置により撮影された画像を解析すると共に前記解析に基づく指標を前記表示装置に表示する制御装置と、
    を備える自動車であって、
    前記制御装置は、前記撮影装置により撮影された画像のうち自車に接近する対象物に対しては自車に接近しない対象物とを異なる態様となるように前記表示装置に表示する、
    ことを特徴とする自動車。
  2. 請求項1記載の自動車であって、
    前記制御装置は、自車に接近する対象物については前記指標として加飾画像をもって前記表示装置に表示する、
    自動車。
  3. 請求項2記載の自動車であって、
    前記制御装置は、自車に接近する対象物については自車に接近する速度に応じて異なる形態となるように前記表示装置に表示する、
    自動車。
  4. 請求項2または3記載の自動車であって、
    前記対象物が人である場合又は前記対象物との衝突の可能性がある場合には、これらの場合ではない場合と異なる形態をもって前記表示装置に表示する、
    自動車。
  5. 請求項1ないし4のいずれか1つの請求項に記載の自動車であって、
    前記制御装置は、前記撮影装置により撮影された画像により他車が車線変更するのを解析したときに他車の車線変更方向の加飾画像をもって前記表示装置に表示する、
    自動車。
  6. 請求項2ないし5のいずれか1つの請求項に記載の自動車であって、
    前記表示装置は、センターディスプレイであり、
    前記制御装置は、前記撮影装置により撮影された画像と共に前記加飾画像を前記表示装置に表示する、
    自動車。
  7. 請求項2ないし5のいずれか1つの請求項に記載の自動車であって、
    前記表示装置は、ヘッドアップディスプレイであり、
    前記制御装置は、前記撮影装置により撮影された画像に基づいて前記加飾画像を対応する対象物に対して所定の位置となるように前記表示装置に表示する、
    自動車。
JP2021134296A 2021-08-19 2021-08-19 自動車 Pending JP2023028536A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021134296A JP2023028536A (ja) 2021-08-19 2021-08-19 自動車
US17/810,048 US20230055862A1 (en) 2021-08-19 2022-06-30 Vehicle
CN202210792952.6A CN115707613A (zh) 2021-08-19 2022-07-07 车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021134296A JP2023028536A (ja) 2021-08-19 2021-08-19 自動車

Publications (1)

Publication Number Publication Date
JP2023028536A true JP2023028536A (ja) 2023-03-03

Family

ID=85212918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021134296A Pending JP2023028536A (ja) 2021-08-19 2021-08-19 自動車

Country Status (3)

Country Link
US (1) US20230055862A1 (ja)
JP (1) JP2023028536A (ja)
CN (1) CN115707613A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948227B1 (en) * 2023-04-18 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
EP3270352B1 (en) * 2015-03-10 2023-02-22 JVC Kenwood Corporation Alert device, alert method, and alert program
US20200051435A1 (en) * 2016-11-09 2020-02-13 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, program, and movable object
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
US20220063662A1 (en) * 2020-08-26 2022-03-03 Waymo Llc Autonomous driving with surfel maps

Also Published As

Publication number Publication date
CN115707613A (zh) 2023-02-21
US20230055862A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN108058712B (zh) 车辆及其控制方法
CN110895417B (zh) 车辆控制装置、车辆控制方法及存储介质
US10479274B2 (en) Vehicle and control method for the same
US11634150B2 (en) Display device
JP7210357B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
US11338821B2 (en) Display system, display method, and storage medium
EP3367366B1 (en) Display control method and display control device
US20170332010A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6688655B2 (ja) 車両状態監視装置
US20170334455A1 (en) Vehicle control system, vehicle control method and vehicle control program
CN107264399B (zh) 车辆周围监视装置
US10137828B1 (en) Vehicular notification device
US20220144296A1 (en) Method for Operating a Driver Information System in an Ego-Vehicle and Driver Information System
US11137264B2 (en) Display system, display method, and storage medium
JP2017194396A (ja) 表示装置
JP7044000B2 (ja) 車両制御装置および車両制御方法
US20230055862A1 (en) Vehicle
JP6633957B2 (ja) 周辺リスク表示装置
JP2017182569A (ja) 周辺リスク表示装置
US20220340131A1 (en) Driving assistance device
WO2018193536A1 (ja) 走行制御方法及び運転制御装置
CN115123066A (zh) 通知装置、车辆、通知方法以及存储介质
JP2023032731A (ja) 自動車
JP2017182566A (ja) 周辺リスク表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240903