JP2022094050A - 車両用表示制御装置及び車両用表示制御方法 - Google Patents

車両用表示制御装置及び車両用表示制御方法 Download PDF

Info

Publication number
JP2022094050A
JP2022094050A JP2020206851A JP2020206851A JP2022094050A JP 2022094050 A JP2022094050 A JP 2022094050A JP 2020206851 A JP2020206851 A JP 2020206851A JP 2020206851 A JP2020206851 A JP 2020206851A JP 2022094050 A JP2022094050 A JP 2022094050A
Authority
JP
Japan
Prior art keywords
vehicle
vehicle body
guide line
layer
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020206851A
Other languages
English (en)
Inventor
美紀 村角
Miki Murakado
昌吾 木田
Shogo Kida
知輝 宮田
Tomoki Miyata
純 上島
Jun Ueshima
大和 依藤
Yamato Yorifuji
康平 前島
Kohei MAEJIMA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2020206851A priority Critical patent/JP2022094050A/ja
Priority to CN202111500758.8A priority patent/CN114619965A/zh
Priority to US17/643,578 priority patent/US11636630B2/en
Priority to DE102021132649.4A priority patent/DE102021132649A1/de
Publication of JP2022094050A publication Critical patent/JP2022094050A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Figure 2022094050000001
【課題】車両の車輪の軌跡を、ユーザに与える煩わしさを抑えながらわかり易く表示させることを可能にする。
【解決手段】自車の舵角に応じた自車の車輪の予想軌跡を決定する軌跡決定部102と、自車の車体を含む自車の周辺画像を表示装置12に表示させる表示処理部104とを備え、表示処理部104は、軌跡決定部102で決定した予想軌跡を示すガイド線を、自車の舵角にかかわらず、周辺画像に重畳して表示させるとともに、ガイド線のうちの車体と重なる部分については、ガイド線を半透過して車体が表示されるように表示させる。
【選択図】図3

Description

本開示は、車両用表示制御装置及び車両用表示制御方法に関するものである。
自車周辺の画像とともに自車の舵角に応じた車輪の予想軌跡を表示させる技術が知られている。特許文献1には、車両の操舵角が所定値以上になった場合に、車両の側方撮像画像データに後輪幅軌跡を重畳表示する技術が開示されている。特許文献1に開示の技術では、後輪幅軌跡が車両の側部輪郭線と区別がし難くなるのを防ぐ目的で、車両の操舵角が所定値未満の場合には、後輪幅軌跡を表示しないようにしている。また、特許文献1に開示の技術では、側部輪郭線のうちの車体と重なる部分については表示しない。
特開2016-101872号公報
しかしながら、特許文献1に開示の技術では、車両の操舵角が所定値以上か所定値未満かで後輪幅軌跡の表示の有無が頻繁に切り替わることで、ユーザに煩わしさを与えてしまう問題が生じる。また、特許文献1に開示の技術では、側部輪郭線のうちの車体と重なる部分については表示しないので、自車の進路がわかりにくくなる問題が生じる。特に、車両の操舵角が所定値未満の場合には後輪幅軌跡自体を表示させないので、自車の進路がよりわかりにくくなる。
この開示のひとつの目的は、車両の車輪の軌跡を、ユーザに与える煩わしさを抑えながらわかり易く表示させることを可能にする車両用表示制御装置及び車両用表示制御方法を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の車両用表示制御装置は、車両の舵角に応じた車両の車輪の予想軌跡を決定する軌跡決定部(102)と、車両の車体を含む車両の周辺画像を表示装置(12)に表示させる表示処理部(104,104a)とを備え、表示処理部は、軌跡決定部で決定した予想軌跡を示すガイド線を、舵角にかかわらず、周辺画像に重畳して表示させるとともに、ガイド線のうちの車体と重なる部分については、ガイド線を半透過して車体が表示されるように表示させる。
また、上記目的を達成するために、本開示の車両用表示制御方法は、少なくとも1つのプロセッサにより実行される、車両の舵角に応じた車両の車輪の予想軌跡を決定する軌跡決定工程と、車両の車体を含む車両の周辺画像を表示装置(12)に表示させる表示処理工程とを含み、表示処理工程では、軌跡決定工程で決定した予想軌跡を示すガイド線を、舵角にかかわらず、周辺画像に重畳して表示させるとともに、ガイド線のうちの車体と重なる部分については、ガイド線を半透過して車体が表示されるように表示させる。
以上の構成によれば、予想軌跡を示すガイド線を、舵角にかかわらず、周辺画像に重畳して表示させるので、舵角に応じてガイド線の表示の有無が頻繁に切り替わることがなくなる。また、ガイド線のうちの車体と重なる部分については、ガイド線を半透過して車体が表示されるように表示させるので、舵角が小さくて車体とガイド線とが重なる部分が多くなる場合であっても、車両の車輪の軌跡がわかり易くなる。その結果、車両の車輪の軌跡を、ユーザに与える煩わしさを抑えながらわかり易く表示させることが可能になる。
車両用システム1の概略的な構成の一例を示す図である。 前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114の配置の一例を示す図である。 支援ECU10の概略的な構成の一例を示す図である。 画像を描画するレイヤの重ね方の一例を説明するための図である。 ガイド線の表示例を説明するための図である。 画像を描画するレイヤの重ね方の一例を説明するための図である。 支援ECU10での支援表示関連処理の流れの一例を示すフローチャートである。 支援ECU10aの概略的な構成の一例を示す図である。 画像を描画するレイヤの重ね方の一例を説明するための図である。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<車両用システム1の概略構成>
以下、本実施形態について図面を用いて説明する。図1に示す車両用システム1は、車両で用いることが可能なものであり、支援ECU10、周辺監視カメラ11、表示装置12、ユーザ入力装置13、及び車両状態センサ14を含んでいる。例えば、支援ECU10及び車両状態センサ14は、車内LANに接続されているものとすればよい。以下では、車両用システム1を用いる車両を自車と呼ぶ。
周辺監視カメラ11は、自車の周辺監視に用いられるカメラである。周辺監視カメラ11は、自車周辺を撮像する撮像装置である。周辺監視カメラ11は、前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114を含む。ここで、図2を用いて、本実施形態における前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114の配置の一例について説明を行う。
前方カメラ111は、自車の前部に設けられる。前方カメラ111は、自車の前方の所定範囲を撮像範囲とする。右側方カメラ112は、自車の右側部に設けられる。右側方カメラ112は、自車の右側方の所定範囲を撮像範囲とする。左側方カメラ113は、自車の左側部に設けられる。左側方カメラ113は、自車の左側方の所定範囲を撮像範囲とする。後方カメラ114は、自車の後部に設けられる。後方カメラ114は、自車の後方の所定範囲を撮像範囲とする。前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114の少なくともいずれかは、自車の車体を撮像範囲に含むものとする。本実施形態の例では、右側方カメラ112及び左側方カメラ113が、自車の車体を撮像範囲に含むものとして以降の説明を行う。
表示装置12は、自車の車室内に設けられる。表示装置12としては、センターインフォメーションディスプレイ(以下、CID)、メータマルチインフォメーションディスプレイ(以下、メータMID)、ナビゲーション装置のディスプレイ等が挙げられる。一例として、表示装置12は、CIDとすればよい。CIDは、表示領域がセンタクラスタに配置される表示装置である。
ユーザ入力装置13は、ユーザからの入力を受け付ける。ユーザ入力装置13は、ユーザからの操作入力を受け付ける操作デバイスとすればよい。なお、ユーザ入力装置13は、ユーザからの入力を受け付ける装置であれば、操作入力を受け付ける操作デバイスに限らない。例えば、ユーザからの音声によるコマンドの入力を受け付ける音声入力装置であってもよい。例えば、ユーザ入力装置13は、ステアリングのスポーク部に設けられたステアリングスイッチとすればよい。ユーザ入力装置13は、表示装置12と一体となったタッチスイッチとしてもよい。
車両状態センサ14は、自車の走行状態を検出するためのセンサ群である。車両状態センサ14としては、車速センサ,舵角センサ,シフトポジションセンサ等がある。車速センサは、自車の車速を検出する。舵角センサは、自車の操舵角を検出する。シフトポジションセンサは、自車のシフトポジションを検出する。車両状態センサ14は、検出結果を車内LANへ出力する。なお、車両状態センサ14での検出結果は、自車に搭載される支援ECU10以外のECUを介して車内LANへ出力される構成であってもよい。
支援ECU10は、周辺監視カメラ11、表示装置12、及びユーザ入力装置13と接続される。支援ECU10は、例えばプロセッサ、メモリ、I/O、これらを接続するバスを備える。支援ECU10は、メモリに記憶された制御プログラムを実行することで、自車の走行の支援に関する処理を実行する。ここで言うところのメモリは、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスクなどによって実現される。支援ECU10は、自車の走行の支援のために、自車の周辺の画像(以下、周辺画像)を表示装置12に表示させる処理を行う。この支援ECU10が車両用表示制御装置に相当する。なお、支援ECU10の詳細については、以下で述べる。
<支援ECU10の概略構成>
ここで、図3を用いて支援ECU10の概略構成についての説明を行う。支援ECU10は、図3に示すように、撮像画像取得部101、軌跡決定部102、記憶部103、及び表示処理部104を機能ブロックとして備える。なお、支援ECU10が実行する機能の一部又は全部を、一つ或いは複数のIC等によりハードウェア的に構成してもよい。また、支援ECU10が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。コンピュータによって支援ECU10の各機能ブロックの処理が実行されることが、車両用表示制御方法が実行されることに相当する。
撮像画像取得部101は、周辺監視カメラ11で逐次撮像される撮像画像を取得する。撮像画像取得部101は、前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114で逐次撮像される撮像画像を取得する。前方カメラ111で撮像した自車の前方の撮像画像を、以降は前方画像と呼ぶ。右側方カメラ112で撮像した自車の右側方の撮像画像を、以降は右側方画像と呼ぶ。左側方カメラ113で撮像した自車の左側方の撮像画像を、以降は左側方画像と呼ぶ。後方カメラ114で撮像した自車の後方の撮像画像を、以降は後方画像と呼ぶ。前述したように、本実施形態の例では、右側方画像及び左側方画像に自車の車体の撮像画像が含まれる。側方には、自車の前側方を含んでもよいし、自車の後側方を含んでもよい。
軌跡決定部102は、自車の舵角に応じた自車の車輪の予想軌跡を決定する。この軌跡決定部102での処理が軌跡決定工程に相当する。軌跡決定部102は、自車の舵角として、車両状態センサ14のうちの舵角センサの検出結果を用いればよい。軌跡決定部102は、自車の車輪の予想軌跡として、前輪及び後輪の少なくともいずれかの予想軌跡を決定すればよい。以下では、軌跡決定部102が、自車の後輪の予想軌跡を決定する場合を例に挙げて説明を行う。軌跡決定部102は、例えばR=L/tanθという関係式により導かれる旋回半径Rをもとに、舵角θに応じた予想軌跡を決定すればよい。この場合の旋回中心Oは、自車の車軸の延長線上に存在するものとすればよい。θは舵角,Lは自車のホイールベースとする。他にも、軌跡決定部102は、舵角及び車速に基づいて算出した自車最外周の軌跡円弧を、自車の左後輪と右後輪との各々を通るように配置することによって予想軌跡を決定してもよい。
記憶部103は、自車の車体仕様を記憶している。自車の車体仕様とは、自車のホイールベース,車輪幅等とすればよい。軌跡決定部102は、この記憶部103に記憶されているホイールベース等を用いて予想軌跡を決定すればよい。他にも、記憶部103は、表示装置12で表示させる画像に用いるアイコン,テキスト等の情報を記憶している。
表示処理部104は、自車の周辺画像を表示装置12に表示させる。表示処理部104は、撮像画像取得部101で取得した撮像画像を、自車の周辺画像として表示させる。表示処理部104は、表示装置12での周辺画像の表示の有無を、ユーザ入力装置13でのユーザの入力に応じて行われる表示機能のオンオフに従って切り替えればよい。
表示処理部104は、撮像画像取得部101で取得する前方画像、右側方画像、左側方画像、及び後方画像のうちの一部の撮像画像を表示させればよい。表示処理部104は、前方画像、右側方画像、左側方画像、及び後方画像のうち、同時に表示させる撮像画像の組み合わせを切り替えて表示させてもよい。例えば、デフォルトでは前方画像、右側方画像、及び左側方画像を同時に表示させればよい。また、車両状態センサ14のうちのシフトポジションセンサでシフトポジションが後退位置であることを検出している場合には、前方画像の代わりに後方画像を表示させればよい。表示処理部104は、ユーザ入力装置13でのユーザの入力に応じて、表示装置12に表示させる撮像画像の組み合せを切り替える構成としてもよい。また、表示処理部104は、前方画像、右側方画像、左側方画像、及び後方画像の全てを同時に表示させる構成としてもよい。
本実施形態では、表示処理部104が、少なくとも右側方画像及び左側方画像のいずれかを表示させる場合を例に挙げて説明を行う。表示処理部104が右側方画像及び左側方画像のいずれかを表示させる場合には、自車の車体を含む自車の周辺画像を表示装置12に表示させることになる。本実施形態では、表示処理部104が前方画像、右側方画像、及び左側方画像を同時に表示させる場合を例に挙げて以降の説明を続ける。以降では、右側方画像及び左側方画像の左右を区別しない場合は側方画像と呼ぶ。以降では、側方画像を、自車の車体を含む自車の周辺画像として説明を続ける。
表示処理部104は、軌跡決定部102で決定した予想軌跡を示すガイド線を、自車の舵角にかかわらず、側方画像に重畳して表示させる。また、表示処理部104は、ガイド線のうちの自車の車体と重なる部分(以下、車体部分)については、ガイド線を半透過して車体が表示されるように表示させる。詳しくは、以下のようにすればよい。この表示処理部104での処理が表示処理工程に相当する。
表示処理部104は、側方画像とガイド線とを異なるレイヤに描画すればよい。側方画像を描画するレイヤを周辺画像レイヤと呼ぶ。ガイド線を描画するレイヤをガイド線レイヤと呼ぶ。表示処理部104は、図4に示すように、ガイド線レイヤを周辺画像レイヤの上層に重ねて表示させる。図4は、画像を描画するレイヤの重ね方の一例を説明するための図である。図4のUが上層側を示す。図4のLが下層側を示す。表示処理部104は、周辺画像レイヤを非透過表示にさせる。一方、表示処理部104は、ガイド線レイヤは透過表示にさせる。つまり、ガイド線を透過表示にさせる。表示処理部104は、ガイド線レイヤの透過率を上げることでガイド線レイヤを透過表示にさせる。ガイド線レイヤのうちのガイド線以外の、画像が表示されない領域は透明であるので、透過率にかかわらず透過表示されることになる。以上のようにすることで、ガイド線のうちの自車の車体と重なる部分について、ガイド線を半透過して車体が表示されるように表示させることが可能になる。
表示処理部104は、図5に示すように、ガイド線のうちの側方画像に含まれる車体と重ならない部分(以下、非車体部分)については透過表示させないことが好ましい。図5は、ガイド線の表示例を説明するための図である。図5の例では、側方画像として左側方画像を例に挙げて説明する。図5のVBが側方画像中の車体を示す。図5のGLがガイド線を示す。図5のWHが車輪位置を表すアイコン画像を示す。ガイド線のうちの図5のBPで示す破線の枠で囲った部分が車体部分にあたる。ガイド線のうちの図5のUBPで示す破線の枠で囲った部分が非車体部分にあたる。表示処理部104は、図5に示すように、ガイド線のうちの車体部分については透過表示させる一方、非車体部分については透過表示させないことが好ましい。詳しくは、以下のようにすればよい。
表示処理部104は、非車体部分については、ガイド線のうちの非車体部分のみを描画するレイヤであるマスクレイヤを、周辺画像レイヤ及びガイド線レイヤとは別に表示させればよい。表示処理部104は、図6に示すように、ガイド線レイヤを周辺画像レイヤの上層に重ねて表示させるのに加え、マスクレイヤをガイド線レイヤの上層に重ねて表示させる。表示処理部104は、周辺画像レイヤ及びマスクレイヤを、非透過表示にさせる。一方、表示処理部104は、ガイド線レイヤは透過表示にさせる。マスクレイヤは、非車体部分以外の画像が表示されない領域は透明であるので、非透過表示であっても、下層の側方画像が透過して見えることになる。一方、非車体部分については非透過表示であるので、下層に重なる部分を非透過表示が覆い隠すことになる。つまり、透過表示されるガイド線のうちの非車体部分のみを覆い隠す。これによって、ガイド線のうちの車体部分は透過表示される一方、非車体部分は非透過表示されることになる。以上の構成によれば、ガイド線のうちの自車の車体と重ならない非車体部分まで半透過して表示させることで非車体部分を視認し難くなること防ぐことが可能になる。
なお、マスクレイヤには、車輪位置を表すアイコン画像も描画する構成とすればよい。これによれば、側方画像の車体に重畳して、車輪位置を表すアイコン画像を非透過表示させることが可能になる。車輪位置を表すアイコン画像は、側方画像の車体に重畳して非透過表示させることにできる構成であれば、マスクレイヤ以外のレイヤに描画する構成としてもよい。また、表示処理部104は、車輪位置を表すアイコン画像を表示させない構成としてもよい。
本実施形態では、マスクレイヤを非透過表示にさせる構成を示したが、必ずしもこれに限らない。例えば、マスクレイヤの透過率を少なくともガイド線レイヤの透過率よりも低い透過表示させる構成であってもよい。つまり、マスクレイヤの非車体部分の画像の透過率を少なくともガイド線レイヤのガイド線の画像の透過率よりも低くして表示させる構成であってもよい。この構成を採用した場合であっても、非車体部分が視認し難くなることを抑えることが可能になる。
なお、表示処理部104で表示させる周辺画像は、撮像画像取得部101で撮像した撮像画像に所定の処理を行った画像であってもよい。所定の処理の例としては、画像の切り出し,歪み補正,視点変換等が挙げられる。また、表示処理部104は、表示装置12の表示領域のうち、周辺画像を表示する領域外にテキスト,アイコン等を表示させてもよい。テキスト,アイコン等は、周辺画像を表示する領域に重畳して表示させても構わない。
<支援ECU10での支援表示関連処理>
ここで、図7のフローチャートを用いて、支援ECU10での周辺画像及びガイド線の表示に関連する処理(以下、支援表示関連処理)の流れの一例について説明を行う。図7のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)がオンになっている場合であって、且つ、周辺画像の表示条件を満たしている場合に開始する構成とすればよい。表示条件としては、周辺画像の表示機能がオンになっていること、車速が所定値以下であること等が挙げられる。図7では、表示条件を満たしている場合に側方画像が常に表示される場合を例に挙げて説明を行う。
ステップS1では、撮像画像取得部101が、周辺監視カメラ11で撮像された撮像画像を取得する。ステップS2では、軌跡決定部102が自車の舵角を取得し、自車の予想軌跡を決定する。
ステップS3では、表示処理部104が、側方画像を含む周辺画像を表示装置12に表示させる。表示させる撮像画像の組み合わせは固定であってもよいし、切り替え可能であってもよい。
ステップS4では、表示処理部104が、ガイド線を側方画像に重畳して表示させる。表示処理部104は、非透過表示の周辺画像レイヤの上層に透過表示のガイド線レイヤを重ねて表示させればよい。マスクレイヤも表示させる場合には、非透過表示のマスクレイヤを透過表示のガイド線レイヤの上層に重ねて表示させればよい。
ステップS5では、支援表示関連処理の終了タイミングであった場合(S5でYES)には、支援表示関連処理を終了する。つまり、周辺画像及びガイド線の表示を終了する。支援表示関連処理の終了タイミングの一例としては、パワースイッチのオフ時,周辺画像の表示条件を満たさなくなったこと等が挙げられる。一方、支援表示関連処理の終了タイミングでなかった場合(S5でNO)には、S1に戻って処理を繰り返す。
<実施形態1のまとめ>
実施形態1の構成によれば、自車の車輪の予想軌跡を示すガイド線を、自車の舵角にかかわらず、車体を含む自車の周辺画像に重畳して表示させることになる。よって、舵角に応じてガイド線の表示の有無が頻繁に切り替わることがなくなる。また、ガイド線のうちの車体と重なる車体部分については、ガイド線を半透過して車体が表示されるように表示させるので、舵角が小さくて車体とガイド線とが重なる部分が多くなる場合であっても、自車の車輪の軌跡がわかり易くなる。その結果、車両の車輪の軌跡を、ユーザに与える煩わしさを抑えながらわかり易く表示させることが可能になる。
(実施形態2)
実施形態1では、周辺画像レイヤよりも上層に表示させるガイド線レイヤを透過表示させることでガイド線を半透過して車体が表示されるように表示させる構成を示したが、必ずしもこれに限らない。例えば、以下の実施形態2の構成としてもよい。以下では、実施形態2の一例について図を用いて説明する。
実施形態2の車両用システム1は、支援ECU10の代わりに支援ECU10aを含む点を除けば、実施形態1の車両用システム1と同様である。
<支援ECU10aの概略構成>
まず、図8を用いて支援ECU10aの概略的な構成について説明する。図8に示すように、支援ECU10aは、撮像画像取得部101、軌跡決定部102、記憶部103a、及び表示処理部104aを機能ブロックとして備える。支援ECU10aは、記憶部103及び表示処理部104の代わりに記憶部103a及び表示処理部104aを備える点を除けば、実施形態1の支援ECU10と同様である。コンピュータによって支援ECU10aの各機能ブロックの処理が実行されることも、車両用表示制御方法が実行されることに相当する。
記憶部103aは、自車の車体を模したイラスト画像(以下、車体イラスト)を記憶している点を除けば、実施形態1の記憶部103と同様である。車体イラストは、自車の車体を模したポリゴン画像とすればよい。車体イラストとしては、ポリゴン画像以外のCG(Computer Graphics)を用いてもよい。
表示処理部104aは、ガイド線を半透過して車体が表示されるように表示させる態様が異なる点を除けば、実施形態1の表示処理部104と同様である。表示処理部104aでも表示処理部104と同様に、周辺画像レイヤとガイド線レイヤとを表示装置12に表示させる。表示処理部104aでは、周辺画像レイヤ及びガイド線レイヤの他に、車体イラストを描画するレイヤ(以下、車体イラストレイヤ)も表示装置12に表示させる。
表示処理部104aは、図9に示すように、ガイド線レイヤを周辺画像レイヤの上層に重ねて表示させるとともに、車体イラストレイヤをガイド線レイヤの上層に重ねて表示させる。車体イラストレイヤの車体イラストは、周辺画像レイヤの車体に重なるように表示させる。また、表示処理部104aは、周辺画像レイヤ及びガイド線レイヤを非透過表示にさせる。一方、表示処理部104aは、車体イラストレイヤは透過表示にさせる。つまり、ガイド線を非透過表示にさせる一方、車体イラストは透過表示にさせる。表示処理部104aは、車体イラストレイヤの透過率を上げることで車体イラストレイヤを透過表示にさせる。
ガイド線のうちの車体部分については、上層に重ねられる車体イラストが透過表示されるので、ガイド線を半透過して車体が表示されるように表示させることが可能になる。また、ガイド線は非透過表示させるので、ガイド線のうちの非車体部分については透過表示させないことになる。これによって、ガイド線のうちの車体部分は透過表示される一方、非車体部分は非透過表示されることになる。以上の構成によれば、ガイド線のうちの自車の車体と重ならない非車体部分まで半透過して表示させることで非車体部分を視認し難くなること防ぐことが可能になる。
なお、実施形態2の構成では、非透過表示させるガイド線レイヤに、車輪位置を表すアイコン画像を描画する構成とすればよい。これによれば、側方画像の車体に重畳して、車輪位置を表すアイコン画像を非透過表示させることが可能になる。車輪位置を表すアイコン画像は、側方画像の車体に重畳して非透過表示させることにできる構成であれば、ガイド線レイヤ以外のレイヤに描画する構成としてもよい。また、表示処理部104aは、車輪位置を表すアイコン画像を表示させない構成としてもよい。
実施形態2の構成であっても、自車の車輪の予想軌跡を示すガイド線を、自車の舵角にかかわらず、車体を含む自車の周辺画像に重畳して表示させることになる。また、ガイド線のうちの車体と重なる車体部分については、ガイド線を半透過して車体が表示されるように表示させることになる。よって、車両の車輪の軌跡を、ユーザに与える煩わしさを抑えながらわかり易く表示させることが可能になる。
(実施形態3)
前述の実施形態では、自車の後輪の予想軌跡を示すガイド線を側方画像に重畳して表示させる場合を例に挙げて説明したが、必ずしもこれに限らない。例えば、自車の前輪の予想軌跡を示すガイド線を側方画像に重畳して表示させる場合に適用してもよい。また、自車の前輪及び後輪の予想軌跡をそれぞれ示すガイド線を側方画像に重畳して表示させる場合に適用してもよい。
(実施形態4)
前述の実施形態では、自車の車体を含む自車の周辺画像が側方画像である場合を例に挙げて説明したが、必ずしもこれに限らない。例えば、自車の車体を含む自車の周辺画像が、前方画像であってもよいし、後方画像であってもよい。また、車体を半透過して見えるガイド線の表示は、自車の車体を含む前方画像に対して行ってもよいし、自車の車体を含む後方画像に対して行ってもよい。
(実施形態5)
前述の実施形態では、車両用システム1に周辺監視カメラ11として、前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114を含む構成を示したが、必ずしもこれに限らない。車両用システム1に周辺監視カメラ11として、前方カメラ111、右側方カメラ112、左側方カメラ113、及び後方カメラ114のうちの一部のカメラのみを含む構成としてもよい。また、表示処理部104,104aが表示装置12に表示させることが可能な周辺画像が、前方画像、右側方画像、左側方画像、及び後方画像のうちの一部のみである構成としてもよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウェア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
1 車両用システム、10,10a 支援ECU(車両用表示制御装置)、12 表示装置、102 軌跡決定部、104,104a 表示制御部

Claims (7)

  1. 車両の舵角に応じた前記車両の車輪の予想軌跡を決定する軌跡決定部(102)と、
    前記車両の車体を含む前記車両の周辺画像を表示装置(12)に表示させる表示処理部(104,104a)とを備え、
    前記表示処理部は、前記軌跡決定部で決定した前記予想軌跡を示すガイド線を、前記舵角にかかわらず、前記周辺画像に重畳して表示させるとともに、前記ガイド線のうちの前記車体と重なる部分については、前記ガイド線を半透過して前記車体が表示されるように表示させる車両用表示制御装置。
  2. 請求項1において、
    前記表示処理部(104)は、前記周辺画像を描画するレイヤである周辺画像レイヤよりも、前記ガイド線を描画するレイヤであるガイド線レイヤを上層に重ねて表示させるものであって、前記ガイド線レイヤの前記ガイド線の透過率を上げることで、前記ガイド線のうちの前記車体と重なる部分について、前記ガイド線を半透過して前記車体が表示されるように表示させる車両用表示制御装置。
  3. 請求項2において、
    前記表示処理部は、前記ガイド線のうちの前記車体と重ならない部分である非車体部分については、前記ガイド線のうちの前記非車体部分のみを描画するレイヤであるマスクレイヤを前記ガイド線レイヤよりも上層に重ねるとともに、前記マスクレイヤの前記非車体部分の画像の透過率を少なくとも前記ガイド線レイヤの前記ガイド線の画像の透過率よりも低くして表示させる車両用表示制御装置。
  4. 請求項3において、
    前記表示処理部は、前記マスクレイヤの前記非車体部分の画像の透過率を上げずに表示させることで、前記ガイド線のうちの前記非車体部分については透過表示させない車両用表示制御装置。
  5. 請求項1において、
    前記表示処理部(104a)は、前記周辺画像を描画するレイヤである周辺画像レイヤよりも、前記ガイド線を描画するレイヤであるガイド線レイヤを上層に重ねて表示させるとともに、前記ガイド線レイヤよりも上層に、前記車両の車体を模したイラスト画像を描画するレイヤである車体イラストレイヤを重ねて表示させるものであって、前記車体イラストレイヤの前記イラスト画像の透過率を上げることで、前記ガイド線のうちの前記車体と重なる部分について、前記ガイド線を半透過して前記車体が表示されるように表示させる一方、前記ガイド線のうちの前記車体と重ならない部分である非車体部分については透過表示させない車両用表示制御装置。
  6. 請求項1~5のいずれか1項において、
    前記表示処理部は、前記表示装置に前記車両の側方を含む前記周辺画像を表示させる場合には、前記舵角にかかわらず、前記ガイド線をその周辺画像に重畳して常時表示させる車両用表示制御装置。
  7. 少なくとも1つのプロセッサにより実行される、
    車両の舵角に応じた前記車両の車輪の予想軌跡を決定する軌跡決定工程と、
    前記車両の車体を含む前記車両の周辺画像を表示装置(12)に表示させる表示処理工程とを含み、
    前記表示処理工程では、前記軌跡決定工程で決定した前記予想軌跡を示すガイド線を、前記舵角にかかわらず、前記周辺画像に重畳して表示させるとともに、前記ガイド線のうちの前記車体と重なる部分については、前記ガイド線を半透過して前記車体が表示されるように表示させる車両用表示制御方法。
JP2020206851A 2020-12-14 2020-12-14 車両用表示制御装置及び車両用表示制御方法 Pending JP2022094050A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020206851A JP2022094050A (ja) 2020-12-14 2020-12-14 車両用表示制御装置及び車両用表示制御方法
CN202111500758.8A CN114619965A (zh) 2020-12-14 2021-12-09 车辆显示控制装置以及车辆显示控制方法
US17/643,578 US11636630B2 (en) 2020-12-14 2021-12-09 Vehicle display control device and vehicle display control method for displaying predicted wheel locus
DE102021132649.4A DE102021132649A1 (de) 2020-12-14 2021-12-10 Fahrzeuganzeigesteuervorrichtung und Fahrzeuganzeigesteuerverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020206851A JP2022094050A (ja) 2020-12-14 2020-12-14 車両用表示制御装置及び車両用表示制御方法

Publications (1)

Publication Number Publication Date
JP2022094050A true JP2022094050A (ja) 2022-06-24

Family

ID=81750101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020206851A Pending JP2022094050A (ja) 2020-12-14 2020-12-14 車両用表示制御装置及び車両用表示制御方法

Country Status (4)

Country Link
US (1) US11636630B2 (ja)
JP (1) JP2022094050A (ja)
CN (1) CN114619965A (ja)
DE (1) DE102021132649A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11807169B2 (en) * 2020-02-24 2023-11-07 Magna Mirrors Of America, Inc. Vehicular vision system with enhanced forward and sideward views

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350724B2 (en) * 2009-04-02 2013-01-08 GM Global Technology Operations LLC Rear parking assist on full rear-window head-up display
US8874317B2 (en) * 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
JP5507223B2 (ja) 2009-11-30 2014-05-28 富士通テン株式会社 運転支援装置
JP5813439B2 (ja) 2011-09-27 2015-11-17 クラリオン株式会社 俯瞰画像表示装置
KR101329510B1 (ko) * 2011-10-07 2013-11-13 엘지이노텍 주식회사 주차 보조 장치 및 방법
JP2014004930A (ja) * 2012-06-25 2014-01-16 Aisin Seiki Co Ltd 駐車支援装置、駐車支援方法、及び駐車支援プログラム
JP5911775B2 (ja) 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5862532B2 (ja) * 2012-09-26 2016-02-16 アイシン精機株式会社 車両運転支援装置
EP2821307B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation A vehicle system, a vehicle and a method for autonomous road irregularity avoidance
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6447060B2 (ja) 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
DE102015211079A1 (de) * 2015-06-17 2016-12-22 Bayerische Motoren Werke Aktiengesellschaft Anzeige der Radspur eines Fahrzeugs
JP6729077B2 (ja) * 2016-06-30 2020-07-22 アイシン精機株式会社 車両周辺監視装置
US10857944B2 (en) * 2016-09-30 2020-12-08 Aisin Seiki Kabushiki Kaisha Periphery monitoring apparatus
US10896335B2 (en) * 2019-01-07 2021-01-19 Ford Global Technologies, Llc Adaptive transparency of virtual vehicle in simulated imaging system

Also Published As

Publication number Publication date
US11636630B2 (en) 2023-04-25
CN114619965A (zh) 2022-06-14
US20220189077A1 (en) 2022-06-16
DE102021132649A1 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
JP6340969B2 (ja) 周辺監視装置、及びプログラム
JP6060910B2 (ja) 周辺監視装置、及びプログラム
JP4661917B2 (ja) 駐車支援装置および駐車支援方法
JP6100222B2 (ja) 駐車支援装置
JP6115104B2 (ja) 車両の制御装置、及び制御方法
JP5300443B2 (ja) 画像処理装置
JP5104171B2 (ja) 駐車支援装置および駐車支援方法
WO2006022191A1 (ja) 表示システム
CN102783145A (zh) 图像控制装置
JP2007183877A (ja) 車両用運転支援装置及び俯瞰映像の表示方法
JP6760122B2 (ja) 周辺監視装置
JP4882777B2 (ja) 車線変更支援装置及びプログラム
JP5400316B2 (ja) 駐車支援装置
JP2021044751A (ja) 周辺監視装置
JP2016189576A (ja) 画像表示制御装置
CN110884426B (zh) 显示控制装置
JP2022094050A (ja) 車両用表示制御装置及び車両用表示制御方法
US11072283B2 (en) Vehicle periphery monitoring device and vehicle periphery monitoring method
JP2007088577A (ja) 車両周辺画像処理システム
JP7217090B2 (ja) 情報提供装置及び情報提供方法
JP7503995B2 (ja) 表示制御装置、表示装置及び表示制御プログラム
JP2019153932A (ja) 汚れ報知装置
JP2019129499A (ja) 画像処理装置
JP5342588B2 (ja) 自動車における車載機器の操作装置
JP6930202B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604