JP2021014245A - 車両周辺表示装置 - Google Patents

Abstract

【課題】車体画像と周辺画像とを含む表示用画像を表示部に表示させる場合に、当該表示用画像を見た乗員が、車輪の向きがどのような状態であるかを容易に把握することを可能とする。【解決手段】実施形態の車両周辺表示装置は、一例として、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、前記撮像画像に基づいて、前記車両の車体画像および前記車両の周辺の周辺画像を含む表示用画像を表示部に表示させ、前記車両の操舵角が所定操舵角以上となった場合、前記車両の車輪画像を前記表示用画像に表示し、前記車両の操舵角が前記所定操舵角未満である場合、前記車輪画像を前記表示用画像に表示しない表示処理部と、を備える。【選択図】図４

Description

本発明の実施形態は、車両周辺表示装置に関する。

車両の車体画像と、当該車両の周辺の周辺画像と、を含む表示用画像を表示部に表示させる技術が開発されている。

特許第５１３４５０４号公報 特許第４７６９６３１号公報

しかしながら、上記の技術では、車両の操舵角に関わらず、表示用画像に含まれる車両の車輪画像の表示態様が変化しないため、車両の操舵部が操舵によって、車輪の向きがどのような状態となっているかを把握することが困難である。

そこで、実施形態の課題の一つは、車体画像と周辺画像とを含む表示用画像を表示部に表示させる場合に、当該表示用画像を見た乗員が、車輪の向きがどのような状態であるかを容易に把握することを可能とする車両周辺表示装置を提供する。

実施形態の車両周辺表示装置は、一例として、撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、前記撮像画像に基づいて、前記車両の車体画像および前記車両の周辺の周辺画像を含む表示用画像を表示部に表示させ、前記車両の操舵角が所定操舵角以上となった場合、前記車両の車輪画像を前記表示用画像に表示し、前記車両の操舵角が前記所定操舵角未満である場合、前記車輪画像を前記表示用画像に表示しない表示処理部と、を備える。よって、一例として、車体画像と周辺画像とを含む表示用画像を表示部に表示させる場合に、当該表示用画像を見た乗員が、車輪の向きがどのような状態であるかを容易に把握することを可能とする。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記車両の旋回方向側の側面部が、前記車両の走行に伴って描く軌跡である予想進路ガイド線を前記表示用画像に表示する。よって、一例として、車両の旋回によって、車両の旋回方向側に存在する物体を巻き込むか否かを容易に把握することが可能となる。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両の車体の斜め上方の所定視点から、前記車体およびその周辺を見た立体的な画像を、前記表示用画像として前記表示部に表示させる。よって、一例として、車体画像と周辺画像とを含む表示用画像を表示部に表示させる場合に、当該表示用画像を見た乗員が、車輪の向きがどのような状態であるかを容易に把握することを可能とする。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記車体の車幅方向の中央でありかつ前記車体の後方の基準視点から、水平方向に向かって前記所定視点を移動させる。よって、一例として、車両が旋回する場合に、車両が物体と接触することなくより安全に走行することができる。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記基準視点から、前記車両の旋回方向とは反対側に向かって前記所定視点を移動させる。よって、一例として、車両が旋回する場合に、車両が物体と接触することなくより安全に走行することができる。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両の操舵角に応じて、前記所定視点の移動量を変更する。よって、一例として、車両の操舵角が大きくなっていった場合に、所定視点が急に移動し始めて、車両の乗員が違和感を覚えることを防止できる。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、前記車両画像を基準として、前記車両の旋回方向側の前記周辺画像の画角を、前記車両の旋回方向とは反対側の前記周辺画像の画角よりも大きくする。よって、一例として、車両が旋回する場合に、車両が外部の物体を巻き込む可能性を低減することができる。

また、実施形態の車両周辺表示装置は、一例として、前記表示処理部は、障害物センサによって前記車両の周囲に存在する障害物が検出された否かに応じて、前記車輪画像の表示態様を変更する。よって、一例として、車両の進路に障害物が存在するか否かを直感的に認識することが可能となる。

図１は、第１の実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。 図２は、第１の実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。 図３は、第１の実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。 図４は、第１の実施形態にかかる車両が有する車両周辺表示装置の機能構成の例示的かつ模式的なブロック図である。 図５は、第１の実施形態にかかる車両が有する車両周辺表示装置による三次元空間に対する撮像画像の投影処理の一例を説明するための図である。 図６は、第１の実施形態にかかる車両が有する車両周辺表示装置による車輪画像の表示処理の一例を説明するための図である。 図７は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。 図８は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の他の例を説明するための図である。 図９は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。

（第１の実施形態）
図１は、第１の実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。図２は、第１の実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。

まず、図１および図２を用いて、本実施形態にかかる車両周辺表示装置を適用した車両のハードウェア構成の一例について説明する。

図１に示すように、本実施形態にかかる車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部（制動操作部）３０１ａや、加速部（加速操作部）３０２ａ、操舵部３０３ａ、変速部（変速操作部）３０４ａなどが設けられている。

制動部３０１ａは、例えば、運転者の足下に設けられたブレーキペダルである。加速部３０２ａは、例えば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、例えば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールである。操舵部３０３ａは、ハンドルであっても良い。変速部３０４ａは、例えば、センターコンソールから突出したシフトレバーである。

車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、例えば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。表示部８は、例えば、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electroluminescence Display）等である。

表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、例えば、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルである。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作などを行うことで、各種の操作入力を実行することができる。

本実施形態では、操作入力部１０は、スイッチや、ダイヤル、ジョイスティック、押しボタン等といった、各種の物理的なインターフェースであっても良い。また、本実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていても良い。この場合、音声出力部９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、本実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていても良い。

また、図１および図２に示すように、本実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪３と記載することがある。本実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部３０３ａの操作（操舵）等に応じて変化（転舵）する。

また、車両１には、周辺監視用の撮像部としての複数（図１および図２に示される例では４つ）の車載カメラ１５ａ〜１５ｄが搭載されている。車載カメラ１５ａは、車体２の後側の端部２ｅ（例えば、リヤトランクのドア２ｈの下方）に設けられ、車両１の後方の領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（例えば、フロントバンパ）に設けられ、車両１の前方の領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ〜１５ｄを、総称して車載カメラ１５と記載することがある。

車載カメラ１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等といった撮像素子を有する、所謂、デジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲（周辺）の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５の撮像により得られる画像データは、フレーム画像として動画像を構成することが可能である。

図３は、第１の実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。

次に、図３を用いて、本実施形態にかかる車両１において各種の制御を実現するために設けられるシステム構成について説明する。図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。

図３に示すように、本実施形態にかかる車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、車載カメラ１５と、モニタ装置１１と、制御装置３１０と、車載ネットワーク３５０と、を有している。

制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。

制動部３０１ａは、例えば、上述したブレーキペダル等といった、車両１を減速させるための装置である。

制動制御部３０１ｂは、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサを有したマイクロコンピュータである。制動制御部３０１ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速の度合を制御する。

制動部センサ３０１ｃは、制動部３０１ａの状態を検出するためのセンシングデバイスである。例えば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。

加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。

加速部３０２ａは、例えば、上述したアクセルペダル等といった、車両１を加速させるための装置である。

加速制御部３０２ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速の度合を制御する。

加速部センサ３０２ｃは、加速部３０２ａの状態を検出するためのセンシングデバイスである。例えば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。

操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。

操舵部３０３ａは、例えば、上述したステアリングホイールやハンドル等といった、車両１の転舵輪を転舵させる装置である。

操舵制御部３０３ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。

操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するためのセンシングデバイス、すなわち操舵部３０３ａの操舵角を検出するための舵角センサである。例えば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。

変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。

変速部３０４ａは、例えば、上述したシフトレバー等といった、車両１の変速比を変更するための装置である。

変速制御部３０４ｂは、例えば、ＣＰＵ等といったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、例えば、車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。

変速部センサ３０４ｃは、変速部３０４ａの状態を検出するためのセンシングデバイスである。例えば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。

障害物センサ３０５は、車両１の周囲に存在しうる物体（障害物）に関する情報を検出するためのセンシングデバイスである。障害物センサ３０５は、例えば、車両１の周囲に存在する物体までの距離を取得する測距センサを含んでいる。測距センサとしては、例えば、音波を送信し、車両１の周囲に存在する物体により反射された音波を受信することで距離を取得するソナーや、光等の電波を送信し、車両１の周囲に存在する物体により反射された電波を受信することで距離を取得するレーザーレーダ等が用いられる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。

走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、例えば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサ等を含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。

制御装置３１０は、車両１に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、本実施形態にかかる制御装置３１０は、車載カメラ１５による撮像結果としての画像データ（撮像画像）に基づいて、車体２の画像（以下、車体画像と言う）およびその周辺の画像（以下、周辺画像と言う）を含む表示用画像を生成し、生成した表示用画像を表示部８に表示する機能を有している。

制御装置３１０は、ＣＰＵ３１０ａと、ＲＯＭ（Read Only Memory）３１０ｂと、ＲＡＭ（Random Access Memory）３１０ｃと、ＳＳＤ（Solid State Drive）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵ（Electronic Control Unit）として構成されている。

ＣＰＵ３１０ａは、制御装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。ここで、各種の制御プログラムには、上記の表示用画像等を表示する表示制御処理を実現するための表示制御プログラムが含まれる。

ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。

ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。

ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。本実施形態にかかる制御装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Hard Disk Drive）が設けられても良い。

表示制御部３１０ｅは、制御装置３１０で実行されうる各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成等を司る。

音声制御部３１０ｆは、制御装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成等を司る。

車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、制御装置３１０と、を通信可能に接続する。

ところで、上記の表示用画像によって車両１とその周辺の状況を乗員に通知する技術は、様々に検討されている。しかしながら、これらの技術では、操舵部３０３ａの操舵角に関わらず、表示用画像内における車輪３の画像の表示態様が変化しない。

例えば、操舵部３０３ａの操舵角が予め設定された操舵角以上の場合（言い換えると、車両１が旋回する場合）、および操舵部３０３ａの操舵角が予め設定された操舵角未満である場合（言い換えると、車両１が直進する場合）のいずれにおいても、表示用画像内に車輪３の画像の表示態様が変化しない。

そのため、車両１の乗員は、表示用画像を見ても、操舵部３０３ａの操舵によって、車輪３の向きがどのような状態になっているかを把握することが困難である。特に、操舵部３０３ａが１回転している場合、転舵輪が転舵された状態なのか、若しくは転舵輪が転舵されていない状態なのかを判別することが困難なため、表示用画像に含まれる車輪３の画像から、転舵輪の転舵状態を判別可能とすることが求められている。

そこで、本実施形態では、次の図４に示す機能を有した車両周辺表示装置４００を制御装置３１０内において実現することにより、車体画像と周辺画像とを含む表示用画像を表示部８に表示させる場合に、表示用画像を見た乗員が、車輪３の向きがどのような状態であるかを容易に把握可能とすることを実現する。

図４は、第１の実施形態にかかる車両が有する車両周辺表示装置の機能構成の例示的かつ模式的なブロック図である。

次に、図４を用いて、本実施形態にかかる車両周辺表示装置４００の機能構成の一例について説明する。

図４に示される機能は、ソフトウェアとハードウェアとの協働によって制御装置３１０内において実現される。すなわち、図４に示す機能は、制御装置３１０のＣＰＵ３１０ａがＲＯＭ３１０ｂ等に記憶される所定の制御プログラムを読み出して実行した結果として実現される。

本実施形態では、図４に示される機能は、ソフトウェアとハードウェアとの協働によって実現されるものとするが、これに限定するものではなく、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されても良い。

本実施形態にかかる車両周辺表示装置４００は、図４に示すように、取得部４０１と、表示処理部４０２と、を有する。

取得部４０１は、車載カメラ１５から、撮像画像（画像データ）を取得する。また、取得部４０１は、操舵部センサ３０３ｃにより検出される操舵角を取得する。さらに、取得部４０１は、障害物センサ３０５による物体の検出結果を取得する。

表示処理部４０２は、取得部４０１により取得した撮像画像に基づいて、車体２の画像である車体画像および車体２の周辺の画像である周辺画像を含む表示用画像を生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。

本実施形態では、表示用画像は、所定視点から車体２およびその周辺を見た立体的な画像である。ここで、所定視点は、予め設定された視点である。本実施形態では、所定視点は、車体２の斜め上方の視点である。具体的には、表示処理部４０２は、車体２の立体的な画像である車体画像（例えば、ポリゴンにより構成される車体２の画像）と、当該車体画像の周囲に位置しかつ撮像画像が射影変換により投影される投影領域と、を有する三次元空間を、所定視点から見た画像（立体的な画像）を、表示用画像として表示部８に表示させる。

本実施形態では、表示処理部４０２は、所定視点から車体２およびその周辺を見た立体的な画像を表示用画像として表示部８に表示させているが、車体画像および周辺画像を含む表示用画像を表示部８に表示させるものであれば、これに限定するものではない。例えば、表示処理部４０２は、車体２およびその周辺の俯瞰画像を表示用画像として表示部８に表示させても良い。

また、表示処理部４０２は、取得部４０１により取得される操舵角（以下、車両１の操舵角と言う）が所定操舵角以上となった場合、車輪３の画像（以下、車輪画像と言う）を表示用画像に表示する。一方、表示処理部４０２は、車両１の操舵角が所定操舵角未満である場合、車両１の車輪画像を表示用画像に表示しない。ここで、所定操舵角は、予め設定された操舵角である。具体的には、所定操舵角は、車両１が旋回すると判断する操舵角の閾値である。

これにより、表示用画像に車輪画像が含まれているか否かにより、車輪３の向きがどのような状態を認識できる。その結果、車体画像と周辺画像とを含む表示用画像を表示部８に表示させる場合に、表示用画像を見た乗員が、車輪３の向きがどのような状態であるかを容易に把握可能となる。

図５は、第１の実施形態にかかる車両が有する車両周辺表示装置による三次元空間に対する撮像画像の投影処理の一例を説明するための図である。

次に、図５を用いて、車両周辺表示装置４００による、三次元空間に対する撮像画像の投影処理の一例について説明する。

取得部４０１は、図５に示すように、車載カメラ１５ａにより車両１の後方を撮像して得られる撮像画像Ｇ１、車載カメラ１５ｂにより車両１の右側方を撮像して得られる撮像画像Ｇ２、車載カメラ１５ｃにより車両１の前方を撮像して得られる撮像画像Ｇ３、および車載カメラ１５ｄにより車両１の左側方を撮像して得られる撮像画像Ｇ４を取得する。

次いで、表示処理部４０２は、撮像画像Ｇ１〜Ｇ４を、射影変換によって、三次元空間ＶＳに対して投影する。ここで、三次元空間ＶＳは、車体２の立体的な画像である車体画像ＢＩと、当該車体画像ＢＩの周囲の投影領域ＴＲと、を含む立体的な空間である。本実施形態では、投影領域ＴＲは、車体画像ＢＩに対して水平な投影面ＴＲ１（以下、平面投影領域と言う）と、当該平面投影領域ＴＲ１の上方に立ち上がる投影領域ＴＲ２（以下、立体投影領域と言う）と、を有する。

具体的には、表示処理部４０２は、各撮像画像Ｇ１〜Ｇ４内の各座標を、射影変換によって、投影領域ＴＲ内の座標に変換する。次いで、表示処理部４０２は、各撮像画像Ｇ１〜Ｇ４内の各座標の画像を、投影領域ＴＲにおいて、当該各座標から射影変換された座標が表す位置を投影する。これにより、表示処理部４０２は、撮像画像Ｇ１〜Ｇ４を、投影領域ＴＲに投影する。

さらに、表示処理部４０２は、図５に示すように、三次元空間ＶＳに対して、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を描画する。そして、表示処理部４０２は、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２が描画された三次元空間ＶＳを、所定視点から見た画像を表示用画像として生成する。これにより、表示処理部４０２は、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２を表示用画像に含めている。本実施形態では、表示処理部４０２は、外形ガイド線Ｌ１および予想進路ガイド線Ｌ２の両方を表示用画像に含めているが、少なくとも、予想進路ガイド線Ｌ２を表示用画像に含めるものであれば、これに限定するものではない。

ここで、外形ガイド線Ｌ１は、車体画像ＢＩの外形を表す線、言い換えると、車体画像ＢＩの輪郭線である。具体的には、外形ガイド線Ｌ１は、車体画像ＢＩの車幅方向および車体画像ＢＩの進行方向に平行な方向における、車体画像ＢＩの外形に沿った線である。本実施形態では、表示処理部４０２は、図５に示すように、車体画像ＢＩの外形の一部（例えば、角）を表す線を外形ガイド線Ｌ１として表示用画像に含めているが、これに限定するものではなく、車体画像ＢＩの外形全体を表す線を外形ガイド線Ｌ１として表示用画像に含めても良い。

また、本実施形態では、外形ガイド線Ｌ１は、図５に示すように、車体画像ＢＩの外形に対して、車体画像ＢＩの車幅方向Ｄ１におけるマージン（以下、車幅方向マージンと言う）、および車体画像ＢＩの進行方向Ｄ２におけるマージン（以下、進行方向マージンと言う）を有するものとする。本実施形態では、外形ガイド線Ｌ１は、車幅方向マージンおよび進行方向マージンを有しているが、車幅方向マージンおよび進行方向マージンを有していなくても良い。

また、ここで、予想進路ガイド線Ｌ２は、車両１の走行（移動）に伴って、外形ガイド線Ｌ１および車輪画像ＷＩの少なくとも一方が描く軌跡である。本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角未満である場合（例えば、車両１が直進する場合）、車両１の走行に伴って、外形ガイド線Ｌ１が描く軌跡を予想進路ガイド線Ｌ２として表示用画像に含める。

一方、表示処理部４０２は、車両１の操舵角が所定操舵角以上である場合、外形ガイド線Ｌ１および車輪画像ＷＩの両方が描く軌跡を予想進路ガイド線Ｌ２として表示用画像に含める。本実施形態では、表示処理部４０２は、外形ガイド線Ｌ１のうち車両１の旋回方向とは反対側の角を表す外形ガイド線Ｌ１と、車輪画像ＷＩのうち車両１の旋回方向側の後輪３Ｒの車輪画像ＷＩと、が描く軌跡を予想進路ガイド線Ｌ２として表示用画像に含める。

本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上である場合、車両１の走行に伴って、車輪画像ＷＩのうち車両１の旋回方向側でありかつ車両１の進行方向と反対側の車輪３の車輪画像ＷＩが描く軌跡を予想進路ガイド線Ｌ２として表示用画像に含めているが、車両１の走行に伴って、車両１の旋回方向側の側面部が描く軌跡を予想進路ガイド線Ｌ２として表示用画像に含めるものであれば、これに限定するものではない。これにより、車両１の旋回によって、車両１の旋回方向側に存在する物体を巻き込むか否かを容易に把握することが可能となる。例えば、表示処理部４０２は、車両１の旋回方向側の側面部のうち、最も旋回半径が小さくなる部位が、車両１の走行に伴って描く軌跡を、予想進路ガイド線Ｌ２として表示用画像に含めても良い。また、表示処理部４０２は、車両１の旋回方向側の側面部が車両１の走行に伴って描く軌跡に対して、車両１の車幅方向Ｄ１に向かってマージンを持たせた軌跡を、予想進路ガイド線Ｌ２として表示用画像に含めても良い。また、本実施形態では、表示処理部４０２は、外形ガイド線Ｌ１および車輪画像ＷＩの両方が、車両１の走行に伴って描く軌跡を、予想進路ガイド線Ｌ２として表示用画像に含めているが、少なくとも、車輪画像ＷＩが、車両１の走行に伴って描く軌跡を、予想進路ガイド線Ｌ２として表示用画像に含めるものであれば良い。

図６は、第１の実施形態にかかる車両が有する車両周辺表示装置による車輪画像の表示処理の一例を説明するための図である。

次に、図６を用いて、車両周辺表示装置４００による車輪画像ＷＩの表示処理の一例について説明する。

車両１の操舵角が所定操舵角未満である場合、表示処理部４０２は、三次元空間ＶＳに対して、車体画像ＢＩ（例えば、半透明の車体画像ＢＩ）、車輪画像ＷＩの順に、描画する。これにより、表示処理部４０２は、図６（ａ）に示すように、三次元空間ＶＳに描画した車輪画像ＷＩのうち、車体画像ＢＩにより隠れる車輪画像ＷＩについては、表示用画像Ｇに表示されないようにする。

また、車両１の操舵角が所定操舵角未満である場合、表示処理部４０２は、上述したように、車両１の走行に伴って、外形ガイド線Ｌ１が描く軌跡を予想進路ガイド線Ｌ２として、三次元空間ＶＳに描画する。そして、表示処理部４０２は、図６（ａ）に示すように、車体画像ＢＩ、車輪画像ＷＩ、外形ガイド線Ｌ１、および予想進路ガイド線Ｌ２が描画された三次元空間ＶＳを、所定視点から見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

一方、取得部４０１により取得される操舵角が所定操舵角以上である場合、表示処理部４０２は、三次元空間ＶＳに対して、車輪画像ＷＩ、車体画像ＢＩの順に描画する。これにより、表示処理部４０２は、図６（ｂ）に示すように、三次元空間ＶＳに描画した車輪画像ＷＩが、車体画像ＢＩによって隠れずに、表示用画像Ｇに表示されるようにする。

本実施形態では、取得部４０１により取得される操舵角が所定操舵角以上である場合、表示処理部４０２は、図６（ｂ）に示すように、全ての車輪画像ＷＩを表示用画像Ｇに表示させているが、車輪画像ＷＩのうち、少なくとも、車輪画像ＷＩのうち転舵輪（例えば、前輪３Ｆ）の車輪画像ＷＩを表示させるものであれば良い。

また、取得部４０１により取得される操舵角が所定操舵角以上である場合、表示処理部４０２は、上述したように、車両１の走行に伴って、車両１の旋回方向とは反対側に位置する外形ガイド線Ｌ１が描く軌跡、および車両１の旋回方向側の車輪画像ＷＩ（車輪３のうち内輪の車輪画像ＷＩ）が描く軌跡を、予想進路ガイド線Ｌ２として三次元空間ＶＳに描画する。そして、表示処理部４０２は、図６（ｂ）に示すように、車体画像ＢＩ、車輪画像ＷＩ、外形ガイド線Ｌ１、および予想進路ガイド線Ｌ２が描画された三次元空間ＶＳを、所定視点から見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

このように、第１の実施形態にかかる車両１によれば、表示用画像に車輪画像が含まれているか否かにより、車輪３の向きがどのような状態を認識できる。その結果、車体画像と周辺画像とを含む表示用画像を表示部８に表示させる場合に、表示用画像を見た乗員が、車輪３の向きがどのような状態であるかを容易に把握可能となる。

（第２の実施形態）
本実施形態は、車両の車体およびその周辺の立体的な画像を表示用画像として表示させる場合に、車両の旋回方向に応じて、表示用画像の視点を変更する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。

本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角未満である場合、所定視点を、車体２の後方でありかつ車体２の車幅方向の中央に位置する視点（以下、基準視点と言う）に移動させる。次いで、表示処理部４０２は、基準視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像として生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。

これにより、車両１の操舵角が所定操舵角未満である場合には、車両１の車幅を認識し易い表示用画像を表示させることができる。その結果、車両１が直進する場合に、車両１の側方に存在する物体との位置関係を把握し易くすることができる。

また、本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上となった場合（すなわち、車両１が旋回する場合）、基準視点から、水平方向に向かって所定視点を移動させる。

具体的には、表示処理部４０２は、車両１の操舵角が所定操舵角以上である場合、基準視点から、車両１の旋回方向とは反対側にずらした視点に、所定視点を移動させる。次いで、表示処理部４０２は、移動後の所定視点から三次元空間を見た立体的な画像を、表示用画像として生成する。そして、表示処理部４０２は、生成した表示用画像を、表示部８に表示させる。

これにより、車両１が旋回する場合には、車両１の旋回時において物体との接触を注意すべき箇所が見える表示用画像を表示させることができる。その結果、車両１が旋回する場合に、車両１が物体と接触することなくより安全に走行することができる。

図７は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。

次に、図７を用いて、車両周辺表示装置４００による表示用画像の表示処理の一例について説明する。

車両１が直進する場合（車両１の操舵角が０度である場合）、表示処理部４０２は、図７に示すように、基準視点に移動した所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

また、車両１が右方向に旋回する場合、表示処理部４０２は、図７に示すように、基準視点から左側に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

また、車両１が左方向に旋回する場合、表示処理部４０２は、図７に示すように、基準視点から右側に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上となった場合に、基準視点から、車両１の旋回方向とは反対側にずらした視点（以下、目標視点と言う）に向かって、所定視点を移動させる。その際、表示処理部４０２は、所定視点を目標視点に向かって徐々に移動させても良い。

また、所定視点を目標視点に向かって徐々に移動させる際、表示処理部４０２は、所定視点が目標視点に近づくに従い、当該所定視点を移動させる速度を小さくしても良い。

また、本実施形態では、表示処理部４０２は、車両１の操舵角が所定操舵角以上となったか否かに関わらず、車両１の操舵角に応じた目標視点を求め、当該目標視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させても良い。言い換えると、表示処理部４０２は、車両１の操舵角に応じて、所定視点の移動量を変更しても良い。これにより、車両１の操舵角が大きくなっていった場合に、所定視点が急に移動し始めて、車両１の乗員が違和感を覚えることを防止できる。

具体的には、表示処理部４０２は、下記の式（１）に従って、水平角度を求める。
水平角度＝車両１の操舵角×変換係数・・・（１）
ここで、水平角度は、車両１の進行方向を基準として、所定視点を水平方向にずらす角度である。また、変換係数は、予め設定された係数である。

次いで、表示処理部４０２は、車両１の進行方向を基準として、水平方向に向かって、求めた水平角度の分ずらした視点を目標視点として求める。そして、表示処理部４０２は、目標視点に向かって移動する所定視点から三次元空間を見た立体的な画像を表示用画像Ｇとして表示部８に表示させる。

例えば、車両１の操舵角が−３００度となり、車両１が右方向に旋回する場合、表示処理部４０２は、上記の式（１）を用いて、水平角度＝−４０度を求める。そして、表示処理部４０２は、図７に示すように、車両１の進行方向を基準として、水平方向に−４０度ずらした目標視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

また、例えば、車両１の操舵角が＋３００度であり、車両１が左方向に旋回する場合、表示処理部４０２は、上記の式（１）を用いて、水平角度＝＋４０度を求める。そして、表示処理部４０２は、図７に示すように、車両１の進行方向を基準として、水平方向に向＋４０度ずらした目標視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

図８は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の他の例を説明するための図である。

次に、図８を用いて、車両１の前進時および後退時における車両周辺表示装置４００による表示用画像Ｇの表示処理の一例について説明する。

車両１の操舵角が所定操舵角未満である場合、表示処理部４０２は、図８に示すように、車両１の前進時および後退時ともに、基準視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。

また、車両１の操舵角が所定操舵角以上である場合、表示処理部４０２は、図８に示すように、車両１の前進時および後退時ともに、基準視点から、車両１の旋回方向とは反対側にずらした目標視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示させる。

ただし、車両１が後退する場合、表示処理部４０２は、図８に示すように、車両１が前進する場合と比較して、車両１のより後方の目標視点に移動する所定視点から三次元空間を見た立体的な画像を、表示用画像Ｇとして表示部８に表示させても良い。これにより、表示用画像Ｇにおける車両１の後方の視野を広げることができる。その結果、車両１の後退時における走行の安全性を向上させることができる。

本実施形態では、表示処理部４０２は、障害物センサ３０５によって物体（障害物）が検出されたか否かに関わらず、車両１の操舵角が所定操舵角以上となった場合、車輪画像ＷＩを表示用画像Ｇに含めているが、障害物センサ３０５によって物体が検出された場合にのみ、車輪画像ＷＩを表示用画像Ｇに含めることも可能である。言い換えると、表示処理部４０２は、障害物センサ３０５によって物体が検出されなかった場合には、車両１の操舵角が所定操舵角以上であるか否かに関わらず、車輪画像ＷＩを表示用画像Ｇに含めない。

本実施形態では、表示処理部４０２は、障害物センサ３０５によって物体が検出されたか否かに応じて、車輪画像ＷＩを表示用画像Ｇに含めるか否かを切り替えているが、障害物センサ３０５によって物体が検出されたか否かに応じて、車輪画像ＷＩの表示態様を変更するものであれば、これに限定するものではない。これにより、車両１の進路に障害物が存在するか否かを直感的に認識することが可能となる。例えば、表示処理部４０２は、障害物センサ３０５によって物体が検出されたか否かに応じて、車輪画像ＷＩの色を変更して表示用画像Ｇに含めても良い。

図９は、第２の実施形態にかかる車両が有する車両周辺表示装置による表示用画像の表示処理の一例を説明するための図である。

次に、図９を用いて、表示用画像Ｇの表示処理の一例について説明する。

本実施形態では、表示処理部４０２は、三次元空間ＶＳ内において、車体画像ＢＩを基準として、車両１の旋回方向側の周辺画像ＳＧ１の画角を、車両１の旋回方向とは反対側の周辺画像ＳＧ２の画角より大きくする。これにより、車両１が旋回する場合に、車両１が巻き込む可能性が高い領域の周辺画像ＳＧ１を表示用画像Ｇに表示させることができる。その結果、車両１が旋回する場合に、車両１が外部の物体を巻き込む可能性を低減することができる。

例えば、車両１が前進しながら右方向に旋回する場合、表示処理部４０２は、図９に示すように、基準視点から車体画像ＢＩの左側の目標視点に移動する所定視点から、三次元空間ＶＳを見た立体的な画像を、表示用画像Ｇとして表示部８に表示させる。その際、表示処理部４０２は、図９に示すように、車両１が直進する場合と比較して、車体画像ＢＩからより引いた所定視点から、三次元空間ＶＳを見た立体的な画像を表示用画像Ｇとして表示部８に表示させる。これにより、車両１の旋回方向である右側の周辺画像ＳＧ１の画角を大きくする。

このように、第２の実施形態にかかる車両１によれば、車両１が旋回する場合には、車両１の旋回時において物体との接触を注意すべき箇所が見える表示用画像を表示させることができる。その結果、車両１が旋回する場合に、車両１が物体と接触することなくより安全に走行することができる。

１ 車両
８ 表示部
１５ 車載カメラ
３０３ 操舵システム
３０３ａ 操舵部
３０３ｂ 操舵制御部
３０３ｃ 操舵部センサ
３０５ 障害物センサ
３１０ 制御装置
３１０ａ ＣＰＵ
３１０ｂ ＲＯＭ
３１０ｃ ＲＡＭ
３１０ｄ ＳＳＤ
３１０ｅ 表示制御部
４００ 車両周辺表示装置
４０１ 取得部
４０２ 表示処理部
Ｇ 表示用画像
Ｌ１ 外形ガイド線
Ｌ２ 予想進路ガイド線
ＶＳ 三次元空間
ＢＩ 車体画像
ＴＲ 投影領域
ＷＩ 車輪画像

Claims (8)

1. 撮像部によって車両の周辺を撮像して得られる撮像画像を取得する取得部と、
   前記撮像画像に基づいて、前記車両の車体画像および前記車両の周辺の周辺画像を含む表示用画像を表示部に表示させ、前記車両の操舵角が所定操舵角以上となった場合、前記車両の車輪画像を前記表示用画像に表示し、前記車両の操舵角が前記所定操舵角未満である場合、前記車輪画像を前記表示用画像に表示しない表示処理部と、
   を備える車両周辺表示装置。
2. 前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記車両の旋回方向側の側面部が、前記車両の走行に伴って描く軌跡である予想進路ガイド線を前記表示用画像に表示する請求項１に記載の車両周辺表示装置。
3. 前記表示処理部は、前記車両の車体の斜め上方の所定視点から、前記車体およびその周辺を見た立体的な画像を、前記表示用画像として前記表示部に表示させる請求項１または２に記載の車両周辺表示装置。
4. 前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記車体の車幅方向の中央でありかつ前記車体の後方の基準視点から、水平方向に向かって前記所定視点を移動させる請求項３に記載の車両周辺表示装置。
5. 前記表示処理部は、前記車両の操舵角が前記所定操舵角以上となった場合、前記基準視点から、前記車両の旋回方向とは反対側に向かって前記所定視点を移動させる請求項４に記載の車両周辺表示装置。
6. 前記表示処理部は、前記車両の操舵角に応じて、前記所定視点の移動量を変更する請求項４または５に記載の車両周辺表示装置。
7. 前記表示処理部は、前記車体画像を基準として、前記車両の旋回方向側の前記周辺画像の画角を、前記車両の旋回方向とは反対側の前記周辺画像の画角よりも大きくする請求項１から６のいずれか一に記載の車両周辺表示装置。
8. 前記表示処理部は、障害物センサによって前記車両の周囲に存在する障害物が検出された否かに応じて、前記車輪画像の表示態様を変更する請求項１から７のいずれか一に記載の車両周辺表示装置。

Images