JP2018098567A - 撮像装置、画像処理装置、表示システム、および車両 - Google Patents

Abstract

【課題】移動体の外部領域の映像を表示する技術の利便性を向上させる。【解決手段】撮像装置２０は、撮像素子２２と、制御部３３とを備える。撮像素子２２は、車両５０の後方を撮像して第１映像を生成する。制御部３３は、第１映像上の表示領域に車両の予測進路を示すガイド壁画像８０を合成する。【選択図】図１

Description

本開示は、撮像装置、画像処理装置、表示システム、および車両に関する。

従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献１には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。

特開２００９−４０１１３号公報

従来、移動体の外部領域の映像を表示する技術について改善の余地があった。

本開示は、移動体の外部領域の映像を表示する技術の利便性を向上させる画像処理装置、撮像装置、および表示システムに関する。

本開示の一実施形態に係る撮像装置は、撮像素子と、制御部とを備える。撮像素子は、車両の後方を撮像して第１映像を生成する。制御部は、第１映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。

本開示の一実施形態に係る画像処理装置は、通信部と、制御部とを備える。通信部は、車両の後方を撮像した第１映像を取得する。制御部は、第１映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。

本開示の一実施形態に係る表示システムは、撮像素子と、制御部と、表示装置とを備える。撮像素子は、車両の後方を撮像して第１映像を生成する。制御部は、第１映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。表示装置は、ガイド壁画像が合成された表示領域の映像を表示する。

本開示の一実施形態に係る車両は、表示システムを備える。表示システムは、撮像素子と、制御部と、表示装置とを含む。撮像素子は、車両の後方を撮像して第１映像を生成する。制御部は、第１映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。表示装置は、ガイド壁画像が合成された表示領域の映像を表示する。

本開示の一実施形態に係る画像処理装置、撮像装置、および表示システムよれば、移動体の外部領域の映像を表示する技術の利便性が向上する。

本発明の一実施形態に係る表示システムの概略構成を示すブロック図である。 表示システムを備える車両を左側方から見た図である。 図１の表示装置の外観を概略的に示す図である。 第１映像の第１例を示す図である。 図４の第１映像の表示領域に対応する第２映像の第１例を示す図である。 検出対象に重畳される第３マーカの例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第１例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第２例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第３例を示す図である。 第１映像の第２例を示す図である。 図１０の第１映像の表示領域に対応する第２映像の第２例を示す図である。 第１映像の第３例を示す図である。 図１２の第１映像の表示領域に対応する第２映像の第３例を示す図である。 第１映像の第４例を示す図である。 図１４の第１映像の表示領域に対応する第２映像の第４例を示す図である。 第１映像の第５例を示す図である。 図１６の第１映像の表示領域に対応する第２映像の第５例を示す図である。 図１６の第１映像の表示領域に対応する第２映像の他の例を示す図である。 第１映像の第６例を示す図である。 図１９の第１映像の表示領域に対応する第２映像の第６例を示す図である。 第２映像の他の例を示す図である。 第２映像の第６例の第１変形例を示す図である。 第２映像の第６例の第２変形例を示す図である 第２映像の第６例の第３変形例を示す図である。 第１映像の第７例を示す図である。 図２５の第１映像の表示領域に対応する第２映像の第７例を示す図である。 第１映像の第８例を示す図である。 車両および被検出物の位置関係を示す図である。 図２４の第１映像の表示領域に対応する第２映像の第８例を示す図である。 第２映像の第８例の変形例を示す図である。 第３０図の表示範囲をワイドビュー表示に変更した例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

（表示システム）
図１を参照して、本発明の一実施形態に係る表示システム１０について説明する。

図１に示すように、表示システム１０は、撮像装置２０と、画像処理装置３０と、表示装置４０と、を備える。撮像装置２０および表示システム１０の各構成要素は、例えばネットワーク５１を介して情報を送受信可能である。ネットワーク５１は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等を含んでよい。

他の実施形態において、表示システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、撮像装置２０または表示装置４０に、画像処理装置３０を内蔵させる構成等が考えられる。

図２に示すように、撮像装置２０、画像処理装置３０、および表示装置４０は、移動体５０に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

撮像装置２０は、移動体５０の外部領域を撮像可能である。撮像装置２０の位置は、移動体５０の内部および外部において任意である。例えば図２に示すように、撮像装置２０は、移動体５０の後方の外部領域を撮像可能な移動体５０の後方に位置する。画像処理装置３０の位置は、移動体５０内において任意である。表示装置４０は、対象者６０によって視認可能である。表示装置４０の位置は、移動体５０において任意である。例えば図２に示すように、表示装置４０は、移動体５０のダッシュボードの中に位置する。

（撮像装置）
撮像装置２０について詳細に説明する。例えば図１に示すように、撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４とを備える。

撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。

撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。

通信部２３は、外部装置と通信可能な通信インタフェースを含んでよい。通信部２３は、ネットワーク５１を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置３０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

制御部２４は、撮像装置２０全体の動作を制御する。制御部２４は、任意のフレームレートで、撮像素子２２に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置４０が表示可能なフレームレートに略一致してよい。制御部２４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部２４は、通信部２３を介して画像処理装置３０へ、撮像画像を出力する。例えば、制御部２４は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置２０から出力される当該複数の撮像画像を、第１映像ともいう。例えばフレームレートが６０ｆｐｓ（Flame per Seconds）である場合、１秒あたり６０枚の撮像画像が第１映像として出力される。

（画像処理装置）
画像処理装置３０について詳細に説明する。画像処理装置３０は、通信部３１と、記憶部３２と、制御部３３とを備える。

通信部３１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置２０、表示装置４０、移動体５０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。

通信部３１は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部３１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）およびＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部３１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。

通信部３１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部３１は、移動体情報および環境情報を取得可能であってよい。

移動体情報は、移動体５０に関する任意の情報を含んでよい。移動体情報は、例えば移動体５０の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体５０の位置情報、ならびに移動体５０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。

環境情報は、移動体５０の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体５０の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。

記憶部３２は、一時記憶装置および二次記憶装置を含んでよい。記憶部３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部３２は、画像処理装置３０の動作に必要な種々の情報およびプログラムを記憶する。

制御部３３は、１つ以上のプロセッサを含む。制御部３３は、画像処理装置３０全体の動作を制御する。

制御部３３は、通信部３１を介して外部装置から、移動体情報および環境情報を取得してよい。制御部３３は、例えば移動体情報に基づいて、移動体５０の予測進路を決定してよい。以下、移動体５０の予測進路を、第１予測進路ともいう。

制御部３３は、通信部３１を介して撮像装置２０から、第１映像を取得してよい。第１映像は、検出領域と表示領域とを含む。

制御部３３は、取得された第１映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第１映像上の検出領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第１映像の各フレームは、撮像画像と呼びうる。第１映像上の検出領域は、表示領域より大きくてよい。第１映像上の検出領域は、表示領域を包含してよい。制御部３３は、表示領域の内側において検出対象を検出し得る。制御部３３は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第１領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第２領域と呼び得る。

検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部３３が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第１映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部３３は、第１映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第２予測進路ともいう。第２予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第２予測進路を決定してよい。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体５０と検出対象との間の距離、および、移動体５０の第１予測進路と検出対象の第２予測進路との重なりの有無等を含んでよい。移動体５０と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体５０と検出対象との間の距離を推定してよい。他の実施形態において、制御部３３は、通信部３１を介して外部装置から、移動体５０および当該検出対象の相対的位置関係を示す情報を取得してよい。

制御部３３は、移動体５０と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体５０と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体５０および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部３３は、移動体情報に基づいて、移動体５０の移動速度を検出してよい。制御部３３は、例えば第１映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部３３は、当該距離の減少に対して、移動体５０および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部３３は、移動体５０の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部３３は、移動体５０の移動速度が基準値以上である場合、当該距離の減少に対して移動体５０の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体５０および検出対象の寄与に応じた画像処理装置３０の動作の詳細については後述する。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体５０と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体５０と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置３０の動作の詳細については後述する。

制御部３３は、撮像装置２０から取得された第１映像上の表示領域に対応する第２映像を、表示装置４０に表示させてよい。具体的には、制御部３３は、通信部３１を介して、第２映像を表示装置４０へ出力してよい。例えば、制御部３３は、移動体情報に基づいて移動体５０の後進を検出すると、第２映像を表示装置４０に表示させてよい。例えば、制御部３３は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部３３は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第２映像は、例えば第１映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第１映像上の表示領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部３３は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。

制御部３３は、種々のマーカを、第２映像に合成して表示装置４０に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば１つ以上の画像を含んでよい。制御部３３は、第２映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第２映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部３３は、第１映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置４０に表示させる画像処理装置３０の動作の詳細については後述する。

（表示装置）
表示装置４０について詳細に説明する。表示装置４０は、例えば液晶ディスプレイおよび有機ＥＬ（Electroluminescence）ディスプレイ等を含んでよい。表示装置４０は、例えばネットワーク５１を介して画像処理装置３０から入力される第２映像を表示してよい。表示装置４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置４０は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置３０へ送信してよい。

表示装置４０は、移動体５０の種々の場所に配置することが可能である。図３Ａから図３Ｅは、移動体５０が車両である場合の、表示装置４０の配置の例を示す図である。図３Ａは、車両のダッシュボード内に格納されたインダッシュボード型の表示装置４０ａを示す。図３Ｂは、ダッシュボードの上に配置されたオンダッシュボード型の表示装置４０ｂを示す。図３Ｂでは、表示装置４０ｂは車両５０に組み込まれている。表示装置４０ｂはダッシュボード上に着脱可能に取り付けられていてよい。図３Ｃは、ルームミラーに内蔵され、必要に応じて映像を表示することが可能な表示装置４０ｃを示す。図４Ｄは、インスツルメンツパネル内に内蔵された表示装置４０ｄを示す。図４Ｄにおいて、表示装置４０ｄはスピードメータおよびタコメータ等の計器類に隣接して配置される。一実施形態において、インスツルメンツパネル全体をＬＣＤ等の表示装置４０ｄとして、その中にスピードメータおよびタコメータ等の画像と共に第２映像を表示するようにしてよい。図４Ｅは、携帯型情報端末、例えばタブレット端末を用いた表示装置４０ｅを示す。表示装置４０ｅには、携帯電話のディスプレイを使用しうる。

図４乃至図１８を参照して、画像処理装置３０が表示装置４０に表示させる第２映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における２次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の３次元方向に対応する。

（第１例（参考例））
図４は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第１例を示す。図４に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３および車両６４それぞれを、検出対象として検出してよい。

制御部３３は、第１映像上の表示領域６２の内側で検出された検出対象と、移動体５０と、の相対的位置関係に基づいて、１つ以上の条件が満たされているか否かを判定する。１つ以上の条件は、例えば検出対象が移動体５０の第１予測進路６５内に位置するとの第１条件を含んでよい。１つ以上の条件は、例えば移動体５０の第１予測進路６５の少なくとも一部と、検出対象の第２予測進路の少なくとも一部と、が重なるとの第２条件を含んでよい。当該１つ以上の条件が満たされると判定された場合、制御部３３は、検出対象に対応する所定のマーカを、第２映像に重畳して表示装置４０に表示させてよい。所定のマーカは、第１マーカ、第２マーカ、および第３マーカを含んでよい。

第１例において、制御部３３は、歩行者６３について当該１つ以上の条件が満たされていると判定し得る。かかる場合、制御部３３は、歩行者６３に対応するマーカを表示させてよい。制御部３３は、車両６４について当該１つ以上の条件が満たされていないと判定し得る。かかる場合、制御部３３は、車両６４に対応するマーカを表示しない。

図５は、図４に示す第１映像の表示領域６２に対応する第２映像の例を示す。制御部３３は、第１映像の表示領域６２のアスペクト比と、表示装置４０の画面のアスペクト比とが異なる場合、第１映像の表示領域６２を切り出した後、表示装置４０の画面のアスペクト比に合わせて変形した第２映像を、表示装置４０へ出力してよい。図５に示すように、第２映像上に、歩行者６３および車両６４が映っている。

制御部３３は、例えば図４に示す移動体５０の第１予測進路６５の少なくとも一部を示すガイド線６６を、第２映像に重畳させて表示装置４０に表示させてよい。制御部３３は、例えばステアリングホイールの舵角の変化に応じて、ガイド線６６を動的に変化させてよい。

第１映像は、表示領域６２に比べて範囲が広い。制御部３３は、表示領域６２の範囲を変更し得る。制御部３３は、第２映像にアイコン画像６７を重畳させて表示装置４０に表示させてよい。例えば図５に示すアイコン画像６７の輪郭６７ａは、表示領域６２の範囲を変更した際の最大範囲を示す。アイコン画像６７の白い長方形６７ｂは、表示領域６２を示す。図５に示すアイコン画像６７は、表示領域６２の最大範囲に対する表示領域６２の相対的な位置および大きさを示す。

図６は、例えば第２映像上の歩行者６３に重畳されるマーカの例を示す。以下、当該マーカを、第３マーカ６８ともいう。第３マーカ６８の輪郭線６９は、第２映像上で検出された歩行者６３の輪郭線に略一致してよい。第３マーカ６８の輪郭線６９の内側の領域７０は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第１映像上で歩行者６３が検出されると、第２映像上の歩行者６３に第３マーカ６８を重畳して表示装置４０に表示させてよい。かかる構成によれば、対象者６０は、第２映像上の歩行者６３を容易に視認可能となる。制御部３３は、第３マーカ６８を表示させてから所定時間が経過すると、当該第３マーカ６８を非表示にしてよい。

図７は、例えば第２映像上の歩行者６３の周辺に重畳される２種類のマーカの例を示す。以下、当該２種類のマーカそれぞれを、第１マーカ７１および第２マーカ７２ともいう。制御部３３は、例えば第３マーカ６８を非表示にした後に、第１マーカ７１および第２マーカ７２を、第２映像に重畳して表示装置４０に表示させてよい。

制御部３３は、第２映像上の歩行者６３に追従して、第１マーカ７１の位置を移動させてよい。対象者６０は、第１マーカ７１が歩行者６３に追従するので、歩行者６３を捕らえやすい。第１マーカ７１は、歩行者６３の周囲に歩行者６３から離れて表示される。対象者６０は、第１マーカ７１が表示装置４０に表示されているときに、歩行者６３の振る舞いを把握しやすい。制御部３３は、第２映像上の第１マーカ７１の重畳位置に対して、第２マーカ７２の重畳位置を相対的に変化させてよい。制御部３３は、第１マーカ７１の位置を基準にして、第２マーカを相対的に移動させてよい。

例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１に向かって移動させてよい。まず、制御部３３は、第１マーカ７１から離れた位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１に向かって移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１から離れた位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物に向かって移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって近づいていると理解し得る。

例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して歩行者６３の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１から離れるように移動させてよい。まず、制御部３３は、第１マーカ７１に近い位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１から離れるように移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１に近い位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物から移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって離れていると理解し得る。

制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第１マーカ７１に対する第２マーカ７２の移動方向を変更する。対象者６０は、第２マーカ７２の移動方向に応じて、例えば移動体５０が歩行者６３に近付いているのか、または歩行者６３が移動体５０に近付いているのかを識別可能となる。

制御部３３は、例えば図８に示すように、第２映像上の第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、例えば図９に示すように、歩行者６３の輪郭線６９と同様の形状を有する第１マーカ７１および第２マーカ７２を第２映像に重畳してよい。制御部３３は、当該第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第２マーカ７２の拡大または縮小を切り替える。

制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、新たなマーカを第２映像に重畳してよい。以下、当該新たなマーカを第４マーカともいう。第４マーカは、任意の画像を含んでよい。例えば、第４マーカは、感嘆符「！」を示す画像を含んでよい。かかる構成によれば、例えば第１マーカ７１および第２マーカ７２を表示している歩行者６３と移動体５０とが一定程度以上近付くと、第４マーカが第２映像に重畳して表示される。対象者６０は、第４マーカによって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。他の実施形態において、制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、当該第１マーカ７１および第２マーカ７２の表示態様を変化させてよい。制御部３３は、例えば、第１マーカ７１および第２マーカ７２の色を変化させてよい。かかる構成によっても、対象者６０は、マーカの色の変化によって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。

制御部３３は、奥行き方向の前後に並んだ２つの検出対象を検知し得る。制御部３３は、前後に位置する２つの検出対象のそれぞれに、第１マーカ７１および第２マーカ７２を表示させてよい。制御部３３は、２つの検出対象に対して、異なる第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、奥側に位置する第１の検出対象に対して、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より目立たない第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より、奥側に位置する第１の検出対象に付す第１マーカ７１および第２マーカ７２の、色を暗く、透過率を高く、線を細くする等の変更をし得る。

（第２−第４例（参考例））
図１０は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第２例を示す。図１０に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３ａと、表示領域６２の外側であって検出領域６１の内側に映っている歩行者６３ｂおよび６３ｃとを、それぞれ検出対象として検出してよい。歩行者６３ａに関する制御部３３の処理は、例えば図４に示す歩行者６３に関する処理と同様である。

制御部３３は、検出対象が検出された第１映像上の検出位置が、表示領域６２の外側且つ検出領域６１の内側である場合、検出対象に対応するマーカを第２映像に重畳して表示装置４０に表示させてよい。以下、当該マーカを第５マーカともいう。制御部３３は、移動体５０と当該検出対象とが接触する可能性があると判定された場合に、第５マーカを表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも右側にある場合、第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも左側にある場合、第５マーカを、第２映像上の左端に重畳して表示装置４０に表示させてよい。

第２例において、歩行者６３ｂが検出された検出位置は、表示領域６２よりも右側にある。制御部３３は、移動体５０と歩行者６３ｂとが接触する可能性があると判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。歩行者６３ｂに対応する第５マーカの詳細については後述する。歩行者６３ｃが検出された検出位置は、表示領域６２よりも左側にある。制御部３３は、移動体５０と歩行者６３ｃとが接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを表示させなくてよい。

図１１は、図１０に示す第１映像の表示領域６２に対応する第２映像の例を示す。図１１に示すように、第２映像上に歩行者６３ａが映っている。第２映像上に歩行者６３ｂおよび６３ｃは映っていない。

図１１に示すように、制御部３３は、例えば障害物画像７４を第２映像に重畳して表示装置４０に表示させてよい。障害物画像５７は、移動体５０に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像７４は、画像７４ａと、画像７４ｂと、画像７４ｃとを含み得る。画像７４ａは、移動体５０を上方から俯瞰した画像である。画像７４ｂは、移動体５０の左後方に障害物が検出されたことを示す画像である。画像７４ｃは、移動体５０の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部３３による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図１１に示す例では、障害物画像７４は、移動体５０の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部３３は、移動体５０の左後方に存在する歩行者６３ｃについては、移動体５０と接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｃに対応する第５マーカを表示させなくてよい。

歩行者６３ｂに対応する第５マーカ７３の例を図１１に示す。第５マーカ７３は、アイコン画像７３ａと、帯画像７３ｂと、を含んでよい。アイコン画像７３ａは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像７３ａを視認した対象者６０は、第２映像よりも右方に人が存在することを認識可能である。帯画像７３ｂは、例えば第２映像上の上下方向に延びる帯状の画像である。帯画像７３ｂは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを移動させてよい。制御部３３は、帯画像７３ｂの移動速度および幅を変化させてよい。

第５マーカ７３について詳細に説明する。制御部３３は、移動体５０と歩行者６３ｂとの間の距離に応じて、帯画像７３ｂの幅を決定してよい。例えば、制御部３３は、当該距離が近付くほど、帯画像７３ｂの幅を太くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの幅に基づいて、移動体５０と歩行者６３ｂとの間の距離を認識可能である。

制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第１方向に繰り返し移動させる。第１方向は、例えば第２映像上の左右方向において外側から内側に向かう方向であってよい。制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば歩行者６３ｂの寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第２方向に繰り返し移動させる。第２方向は、例えば第２映像上の左右方向において内側から外側に向かう方向であってよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動方向に基づいて、移動体５０が歩行者６３ｂに近付いているのか、または歩行者６３ｂが移動体５０に近付いているのかを認識可能である。

制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少速度に応じて、帯画像７３ｂの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像７３ｂの移動速度を速くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動速度に基づいて、移動体５０と歩行者６３ｂとの間の距離の減少速度を認識可能である。

制御部３３は、第５マーカ７３を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように表示領域６２を変化させてよい。例えば図１２に示すように、制御部３３は、第１映像上の表示領域６２を左右方向に長くし、表示領域６２を検出領域６１内の右側に寄せてよい。かかる構成によって、例えば図１３に示すように、第２映像上に歩行者６３ｂが映る。

上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体５０のステアリングの舵角を変化させる第１ユーザ操作を含んでよい。第５マーカ７３は、第２ユーザ操作を受け付けるＧＵＩ（Graphic User Interface）として機能してよい。以下、ＧＵＩをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第２ユーザ操作を含んでよい。

制御部３３は、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように、表示領域６２を自動的に変化させてよい。この場合、制御部３３は、第１映像の検出領域６１において歩行者６３ｂが検出されなくなるまで、表示領域６２の自動変更を維持し得る。

制御部３３は、例えば図１３に示すように、表示領域６２の変化に応じてアイコン画像６７を変化させてよい。

制御部３３は、例えば表示装置４０に対するピンチイン操作およびピンチアウト操作等に応じて、第１映像上の表示領域６２を変化させてよい。例えば図１４に示すように、制御部３３は、表示領域６２を検出領域６１に略一致させてよい。かかる場合、例えば図１５に示すように、検出領域６１内の全ての検出対象が表示装置４０に表示される。

（第５例（参考例））
図１６は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第５例を示す。図１６に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、移動体５０の第１予測進路６５内に映っている車両６４ａと、第１予測進路６５外に映っている車両６４ｂおよび歩行者６３ｄとを、それぞれ検出対象として検出してよい。

第５例では、例えば夜間またはトンネル内等、移動体５０の外部領域が暗い場合について説明する。移動体５０の外部領域が暗い場合、第１映像および第２映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第２映像の特性値が低下すると、第２映像の視認性が低下し得る。

制御部３３は、第２映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第１処理を含んでよい。以下、当該マーカを第６マーカともいう。第６マーカは、例えば第２映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第２映像上の検出対象に第６マーカが重畳して表示される。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。特定画像処理は、第２映像上の検出対象に対応する当該領域の特性値を変化させる第２処理を含んでよい。例えば、制御部３３は、第２映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第２映像上の検出対象の視認性が向上する。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。

制御部３３は、１つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。１つ以上の条件は、検出対象が移動体５０の第１予測進路６５内に位置するとの条件を含んでよい。１つ以上の条件は、移動体５０の第１予測進路６５と、検出対象の第２予測進路とが重なるとの条件を含んでよい。１つ以上の条件は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。１つ以上の条件は、第２映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。

第５例において、制御部３３は、車両６４ａ、６４ｂ、および歩行者６３ｄそれぞれについて、上述した１つ以上の条件が満たされると判定し得る。かかる場合、制御部３３は、例えば図１７に示すように、車両６４ａ、６４ｂ、および歩行者６３ｄにそれぞれ対応する３つの第６マーカ７５ａ、７５ｂ、および７５ｃを、第２映像に重畳して表示装置４０に表示させてよい。制御部３３は、明るい場所において、検出対象に第６マーカを重ねて表示させてよい。

制御部３３は、ガイド線６６の形状を変更してよい。制御部３３は、ガイド線６６と検出対象とが重なる領域におけるガイド線６６の形状を変更してよい。図１８は、ガイド線６６の形状例の１つである。図１８のガイド線６６は、ガイド線６６と第６マーカ７５ａが重なっている領域に、ガイド線が表示されていない。ガイド線６６の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部３３は、第６マーカが表示されていないときに、ガイド線６６の形状を変更してよい。制御部３３は、検出対象に第１マーカ７１および第２マーカ７２を表示しているときに、ガイド線６６の形状を変更してよい。

以上述べたように、一実施形態に係る表示システム１０によれば、第１映像上で検出された検出対象に応じた多様なマーカが、第２映像に重畳して表示装置４０に表示される。マーカを視認する対象者６０は、移動体５０と検出対象との相対的位置関係を一見して認識可能である。このため、移動体５０の外部領域の映像を表示する技術の利便性が向上する。

以下に図１９乃至３１を参照して、画像処理装置３０が、第１映像上の表示領域にガイド壁画像８０およびその他の画像を合成して表示装置４０に表示させる種々の映像の例を、具体的に説明する。

（第６例）
図１９は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第６例を示す。撮像装置２０は、車両である移動体５０の後方を撮像するように配置されてよい。図１９に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。検出領域６１は、上下方向に比べて左右方向に長い形状に限られず、正方形、縦長の矩形、円形等種々の形状が可能である。表示領域６２は、種々の位置、大きさ、形状が可能である。例えば、表示領域６２は検出領域６１の中央に位置するとは限られず、左または右に寄っていてもよい。表示領域６２は検出領域６１の一部に限られず、検出領域６１の全部を表示領域６２としてよい。制御部３３は、表示装置４０に対するピンチイン操作およびピンチアウト操作等に応じて、第１映像上の表示領域６２を変化させてよい。

制御部３３は、撮像装置２０から取得した第１映像上の表示領域に、移動体５０の第１予測進路６５を示すガイド壁画像８０を合成して第２映像を生成する。制御部３３は、第２映像にガイド壁画像８０を重畳した画像を出力して表示装置４０に表示させてよい。ガイド壁画像８０は、移動体５０が後進するときの予測進路を示すことができる。ガイド壁画像８０は、対象者６０に対して立体的な印象を与えるマーカである。ガイド壁画像８０は、第１映像が映す実空間に配置した、予測進路をガイドする仮想的なガイド壁を、撮像装置２０で撮像した場合の第１映像に投影した画像と考えうる。ガイド壁画像８０は、対象者６０の視野内において、路面から高さ方向に所定の高さまで延びる複数の仮想的な半透明の壁面からなるように視認されうる。ガイド壁画像８０は、車両が後進する際に表示装置４０に表示されるガイド線を、壁状の表示により立体的に表示したものともいえる。壁状の表示には、面、膜、板等の他の態様による表示を含む。ガイド壁画像８０の立体的な表示によって、対象者６０は路面上の駐車スペースの位置、障害物等までの距離等を把握することが容易になる。

制御部３３は、第１映像の表示領域６２内の検出対象を認識しうる。制御部３３は、第１映像上の表示領域６２の内側であって、第１予測進路６５内に映っている検出対象を検出してよい。検出対象を検出した場合、制御部３３は認識した検出対象の移動体５０側に、仮想的な平面を第１認識壁画像８３として合成しうる。第１認識壁画像８３は、検出対象が移動したときは、検出対象と共に移動する。

図２０は、図１９に示す第１映像の表示領域６２に対応する第２映像の例を示す。ガイド壁画像８０は、第２映像の下端から上側に離れて配置される。ガイド壁画像８０は、高さ方向および奥行き方向に延びる２つの側壁画像８１ａ、８１ｂを含んでよい。側壁画像８１ａは、水平方向の左側に位置し、側壁画像８１ｂは水平方向の右側に位置する。２つの側壁画像８１ａおよび８１ｂの間の領域は、車両である移動体５０が通過する第１予測進路６５を示す。側壁画像８１ａおよび８１ｂの間の間隔は、移動体５０の車幅を示すように設定されてよい。図２０において側壁画像８１ａおよび８１ｂは、直線的に表示されている。制御部３３は、通信部３１から移動体情報を取得して、予測される進路に応じて側壁画像８１ａ、８１ｂを湾曲させてよい。この場合、移動体情報は、ステアリングホイールの舵角を含む。

ガイド壁画像８０は、高さ方向および水平方向に延び、移動体５０からの奥行き方向の距離を示す複数の距離壁画像８２ａ、８２ｂ、８２ｃを含んでよい。距離壁画像８２ａ、８２ｂ、８２ｃは、側壁画像８１ａおよび８１ｂの間を連結しうる。図２０には３つの距離壁画像８２ａ、８２ｂおよび８２ｃが示されうる。距離壁画像の数は３つに限られず、２つまたは４つ以上とすることができる。距離壁画像８２ａと８２ｂとの奥行き方向の間隔は、距離壁画像８２ｂと８２ｃとの間の奥行き方向の間隔よりも狭くてよい。距離壁画像８２ａ、８２ｂ、８２ｃの高さ方向の長さは、側壁画像８１ａおよび８１ｂの高さ方向の長さより長く、または、短くしうる。

ガイド壁画像８０の各側壁画像８１ａ、８１ｂおよび距離壁画像８２ａ、８２ｂ、８２ｃの外周には枠が表示されてよい。ガイド壁画像８０は、奥行き方向に延びる補助線８４ａ、水平方向に延びる補助線８４ｂ、および、高さ方向に延びる補助線８４ｃの少なくとも一種類を含んでよい。ガイド壁画像８０は、奥行き方向に延びる補助線８４ａ、水平方向に延びる補助線８４ｂ、および、高さ方向に延びる補助線８４ｃの全てを含んでよい。
奥行き方向に延びる補助線８４ａは、側壁画像８１ａ、８１ｂの壁面に表示されうる。水平方向に延びる補助線８４ｂは、距離壁画像８２ａ、８２ｂ、８２ｃの壁面に表示されうる。高さ方向に延びる補助線８４ｃは、側壁画像８１ａ、８１ｂおよび距離壁画像８２ａ、８２ｂ、８２ｃの壁面に表示されうる。それぞれの補助線８４ａ、８４ｂ、８４ｃは、１以上の任意の数表示することができる。補助線８４ａ、８４ｂ、８４ｃの補助線が複数の場合、各補助線８４ａ、８４ｂ、８４ｃの間の間隔は、等間隔とすることができる。各補助線８４ａ、８４ｂ、８４ｃの間の間隔は、路面からの高さ、移動体５０からの距離等の条件に応じて異ならせてよい。各側壁画像８１ａ、８１ｂおよび距離壁画像８２ａ、８２ｂ、８２ｃの外周に表示される枠は、複数の補助線８４ａ、８４ｂ、８４ｃの一部とみなしうる。図２０および以下の図において、各補助線８４ａ、８４ｂ、８４ｃは、複数存在する場合でも、適宜それぞれ１つのみに符号を付している。

距離壁画像８２ａは、第１映像が映す実空間に写像したとき、他の距離壁画像８２ｂ、８２ｃより移動体５０に近い第１距離壁画像である。距離壁画像８２ａは、他の距離壁画像８２ｂ、８２ｃと色を異ならせることができる。例えば、距離壁画像８２ｂ、８２ｃは、半透明な白色で表示し、距離壁画像８２ａは半透明な赤色で表示することができる。側壁画像８１ａ、８１ｂは、半透明な白色で表示することができる。上記色の設定は例示であって、側壁画像８１ａ、８１ｂの色は、距離壁画像８２ｂ、８２ｃと異なってよい。

側壁画像８１ａ、８１ｂの透過率は、奥行き方向の位置に応じて変化させてよい。側壁画像８１ａ、８１ｂの透過率は、奥行き方向に手前側ほど低く、奥側ほど高くなるように設定しうる。側壁画像８１ａ、８１ｂは、奥行き方向の位置に応じて彩度または明度を異ならせてよい。例えば、奥行き方向の手前側ほど彩度を高くすることができる。画像の彩度は、画像の色の濃さとも言い換えることができる。透過率、彩度、明度、色度等が連続的に変化することは、グラデーションを有するということができる。

距離壁画像８２ａ、８２ｂ、８２ｃの透過率は、路面からの高さに応じて変化させてよい。距離壁画像８２ａ、８２ｂ、８２ｃの透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。距離壁画像８２ａ、８２ｂ、８２ｃは、路面からの高さに応じて、彩度または明度を異ならせてよい。例えば、路面からの高さ方向に離れるほど彩度を低くすることができる。

第１距離壁画像である距離壁画像８２ａ上の補助線８４ｂ、８４ｃは、他の距離壁画像８２ｂ、８２ｃの補助線８４ｂ、８４ｃと同じ色としてよい。補助線８４ａ、８４ｂ、８４ｃは任意の色とすることができる。例えば、距離壁画像８２ａ以外のガイド壁画像８０の壁面の色が白色の場合、補助線８４ａ、８４ｂ、８４ｃの色は、これら壁面よりも輝度が高い、または、透過率の低い白色としうる。

制御部３３は、第１映像の表示領域６２内に映っている車両６４を検出対象として検出してよい。図２０の例において、車両６４は第１予測進路６５内に位置する。制御部３３が検出する検出対象は、車両に限られず、建物、フェンス、道路上の障害物、人、動物等であってよい。検出対象を検出した場合、制御部３３は認識した検出対象の移動体５０側に第１認識壁画像８３を合成しうる。検出対象を検出した場合、制御部３３はガイド壁画像８０の高さ方向の長さを変更してよい。検出対象を検出した場合、制御部３３はガイド壁画像８０の高さ方向の長さを短くすることができる。これによって、制御部３３は、第１認識壁画像８３が表示される場合でも表示を見易くし、且つ、対象者６０の注意を検出対象に向けることができる。

第１予測進路６５内に位置する検出対象の第１認識壁画像８３は、高さ方向および水平方向に延びる。第１認識壁画像８３は、任意の色の不透明または半透明な面として表示されうる。図２０において、第１認識壁画像８３は、車両６４の移動体５０側に矩形の形状を有する半透明な面として表示される。第１認識壁画像８３の水平方向の幅は、車両６４の横幅に対応してよい。第１認識壁画像８３の水平方向の幅は、車両６４の横幅と略一致させることができる。第１認識壁画像８３の高さは、所定の値に設定することができる。第１認識壁画像８３の透過率は、路面からの高さ方向に応じて変化させてよい。第１認識壁画像８３の透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。また、第１認識壁画像８３は、路面からの高さ方向の距離に応じて彩度または明度を異ならせてよい。例えば、路面から高さ方向に離れるほど、彩度を低くすることができる。第１認識壁画像８３は、水平方向および高さ方向に延びる補助線を含んでよい。

制御部３３は、第１認識壁画像８３の水平方向に延びる補助線を、第１認識壁画像８３の枠内で高さ方向に移動させうる。補助線は、第１認識画像８３の枠の下端から現れ、上端で消えるように表示しうる。制御部３３は、第１認識壁画像８３の水平方向に延びる補助線を高さ方向に移動させることによって、移動体５０および車両６４との間の相対的な位置および相対的な距離変化の双方、または、何れか一方を表示することができる。例えば、制御部３３は、移動体５０と車両６４との間の距離が狭まりつつあるとき、水平方向に延びる補助線を高さ方向に速く移動させうる。制御部３３は、移動体５０と車両６４との間の距離が近いほど、補助線を高さ方向に速く移動させてよい。制御部３３は、検出対象の位置および検出対象からの距離に関わらず、第１認識壁画像８３の水平方向に延びる補助線を高さ方向に移動させてよい。

第１認識壁画像８３の色は、移動体５０から車両６４迄の奥行き方向の距離に応じて異なる色とすることができる。例えば、図２０に示すように、移動体５０と車両６４との距離が予め定めた距離よりも離れている場合、制御部３３は、第１認識壁画像８３の色を青色で表示させることができる。移動体５０の後進によって、車両６４との距離が短くなっていく場合、制御部３３は、第１認識壁画像８３の色を、青色から黄色、黄色から赤色というように、変化させてよい。

移動体５０と車両６４との間の距離が予め定めた距離以上離れている場合、制御部３３は第１認識壁画像８３を表示しないことができる。移動体５０と車両６４とが相対的に近づき予め定めた距離以内となったとき、制御部３３は、例えば、第２映像内の車両６４を強調表示した後、第１認識壁画像８３を表示する。強調表示には、車両６４の輪郭線の太線表示、車両６４の輪郭線の点滅、車両６４の画像の塗りつぶし、等を含む。制御部３３は、車両６４との間の相対位置の変化に応じて表示態様を変えてよい。例えば、車両６４が移動体５０から相対的に離れていく場合には、第１認識壁画像８３を表示しないことができる。

図２１は、移動体５０の後進によって、移動体５０と車両６４との間の距離が狭まった状態での第２映像の例を示す図である。第１認識壁画像８３は赤色で表示される。これにより、対象者６０に対して、これ以上後進すれば車両６４に衝突する危険性があることを警告することができる。

制御部３３は、検出対象物とガイド壁画像８０とが重なる場合、ガイド壁画像８０の表示を変更することができる。例えば、図２１に示すように、制御部３３は、第２映像の車両６４と重なるガイド壁画像８０を少なくとも部分的に表示させないことができる。より具体的には、制御部３３は、車両６４と重なり、且つ車両６４または第１認識壁画像８３よりも奥行き方向に移動体５０から離れて位置するガイド壁画像８０を、表示装置４０に表示させない。このようにすることで、表示装置４０は、対象者６０に対して画像を見易く且つ直感的に理解しやすく表示することが可能になる。ガイド壁画像８０の表示の変更方法は、重なり部分の非表示に限られない。例えば、制御部３３は、検出対象物と重なる部分のガイド壁画像８０の透過率をより高くすることができる。

（変形例）
ガイド壁画像８０は、図２０、２１に示す一例に限られない。図２２から図２４は、ガイド壁画像８０の変形例を示す。

（第１変形例）
図２２に図示する例では、距離壁画像８２ａ、８２ｂ、８２ｃの水平方向に延びる補助線８４ｂは、高さ方向において最も低い位置の１つのみを表示しうる。最も低い位置の補助線８４ｂのみを表示した距離壁画像８２ａは、地表高さの認識を容易にしうる。最も低い位置の補助線８４ｂのみを表示した距離壁画像８２ａは、認識壁画像との距離の把握を容易にしうる。距離壁画像８２ａ、８２ｂ、８２ｃの水平方向の両端には、高さ方向に延びる補助線８４ｃが表示されうる。距離壁画像８２ａ、８２ｂ、８２ｃの外周には、下端部に位置する補助線８４ｂと水平方向の両端に位置する高さ方向に延びる補助線８４ｃとが表示されうる。距離壁画像８２ａ、８２ｂ、８２ｃは、外周の下端の水平方向に延びる補助線８４ｂおよび左右の両端の高さ方向に延びる補助線８４ｃによって表示してよい。

距離壁画像８２ａ、８２ｂ、８２ｃは、半透明な色を有する面を含んで表示しうる。距離壁画像８２ａ、８２ｂ、８２ｃは、路面から高さ方向に離れるに従い透過率を高くすること、または、色の濃さを薄くすることができる。移動体５０に最も近い距離壁画像８２ａの外周に位置する補助線８４ｂ、８４ｃは、他の補助線と異なる色で表示してよい。異なる色は、例えば赤色とすることができる。また、他の補助線は白色とすることができるがこれに限られない。車両６４の手前に表示される第１認識壁画像８３は、半透明な任意の色の面として表示され、路面から高さ方向に離れるに従って透過率が高くなるように、または、色の濃さが薄くなるように表示してよい。第１認識壁画像８３は上端の境界を視認可能に表示せず、高さ方向に徐々に消えるように表示してよい。

図２２に示す例では、ガイド壁画像８０の側壁画像８１ａ、８１ｂの奥行き方向に延びる補助線８４ａは、側壁画像８１ａ、８１ｂの上下の端部にそれぞれ２本のみが表示される。下側の補助線８４ａ_１は、上側の補助線８４ａ_２よりも強調表示されうる。強調表示には、より太い線、より透過率の低い線、より輝度の高い線等を用いて表示することを含む。上側の補助線８４ａ_２と下側の補助線８４ａ_１とは、同じ表示態様の線としてもよい。同じ態様の線とは、例えば、太さ、透過率、および輝度等において、同様の線である。

奥行き方向に延びる補助線８４ａは、奥行き方向の最も遠い位置で、だんだんと薄くなり消えるような表示方法を用いて表示されてよい。側壁画像８１ａ、８１ｂは、奥行き方向の最も遠い位置の端部が視認できるように表示してよい。

側壁画像８１ａ、８１ｂには、高さ方向に延びる補助線８４ｃが、少なくとも、最も手前側の端部、および、距離壁画像８２ａ、８２ｂ、８２ｃと交差する位置に表示されうる。これらの高さ方向に延びる補助線８４ｃは、他の高さ方向に延びる補助線８４ｃよりも強調表示されてよい。高さ方向に延びる補助線８４ｃは、各々の太さが異なってよい。補助線８４ｃは、距離壁画像８２ａと交差する位置に表示される補助線８４ｃが距離壁画像８２ｂ、８２ｃと交差する位置に表示される補助線８４ｃより太く表示しうる。

（第２変形例）
図２３に示すガイド壁画像８０は、図２２のガイド壁画像８０と側壁画像８１ａ、８１ｂが異なる。図２３において、ガイド壁画像８０の側壁画像８１ａ、８１ｂの奥行き方向に延びる補助線８４ａは、最も上と最も下のものを含め２本以上が表示されうる。奥行き方向に延びる補助線８４ａは、高さ方向に最も下に位置する補助線を、他の補助線よりも強調表示してよい。複数の補助線８４ａは、全て同じ態様の線として表示してよい。図２３のガイド壁画像８０は、図２２のガイド壁画像８０で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。

（第３変形例）
図２４に示すガイド壁画像８０は、図２２のガイド壁画像８０と側壁画像８１ａ、８１ｂが異なる。図２４において、ガイド壁画像８０の側壁画像８１ａ、８１ｂの奥行き方向に延びる補助線８４ａは、下端部に位置する補助線８４ａのみを表示する。ガイド壁画像８０の下端に位置する奥行き方向に延びる補助線８４ａは、水平方向に延びる補助線８４ｂとともに、第１映像が映す実空間に写像した場合の路面上の線に対応してよい。図２４のガイド壁画像８０は、図２２のガイド壁画像８０で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。高さ方向に延びる補助線８４ｃは、各々の太さが異なってよい。補助線８４ｃは、奥行き方向の手前側から奥側に並ぶ補助線８４ｃは、奥側に位置する線ほど細くなってよい。

図２０から２４の各図に示したガイド壁画像８０において、表示装置４０は、補助線８４ａ，８４ｂ、８４ｃの一部または全てを表示しなくてもよい。

（第７例）
図２５は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第７例を示す。図２５に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。表示領域６２は検出領域６１の一部に限られず、検出領域６１の全部を表示領域６２としてよい。

第７例において移動体５０は車両であり、駐車場の駐車スペースに向かって後進しているものとすることができる。撮像装置２０は移動体５０の後方に位置し、後方を撮像しているものとすることができる。制御部３３は、検出領域６１から、第１予測進路６５外であって表示領域６２内に少なくとも部分的に映っている車両６４ｂおよび歩行者６３を、それぞれ検出対象として検出してよい。図２５に示す例では、制御部３３は、移動体５０の第１予測進路６５内に映っている車両６４ａについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。

図２６は、図２５に示す第１映像の表示領域６２に対応する第２映像の例を示す。制御部３３は、第１映像の表示領域６２内の検出対象の車両６４ｂおよび歩行者６３を認識し、車両６４ｂおよび歩行者６３の移動体５０側に、それぞれ仮想的な平面である第１認識壁画像８３ａおよび８３ｂを表示する。第１認識壁画像８３ａおよび８３ｂは、高さ方向および奥行き方向に延びる側壁画像８１ａ、８１ｂと平行な半透明の面として表示しうる。制御部３３は、車両６４ｂおよび歩行者６３と移動体５０との間の相対位置の距離変化を取得し、距離が短くなる方向に変化している場合だけ側壁画像８１ａ、８１ｂを表示してよい。移動体５０と検出対象との間の距離の推定には、前述の如く任意のアルゴリズムが採用しうる。

制御部３３は、検出対象の車両６４ａおよび歩行者６３のガイド壁画像８０からの水平方向における距離を推定し、推定された距離に応じて第１認識壁画像８３ａ、８３ｂの表示色を決定してよい。ここで、検出対象とガイド壁画像８０との距離とは、ガイド壁画像８０の表示する仮想ガイド壁が、第１映像が映す実空間上に存在するとした場合の、検出対象と当該仮想ガイド壁との距離である。制御部３３は、ガイド壁画像８０を第１映像が映す実空間に写像した位置と検出対象の位置とからそれらの間の第１距離を推定しうる。制御部３３は、第１距離に対して閾値を設け、第１認識壁画像８３ａ、８３ｂのそれぞれについて、水平方向の距離が長い方から短い方に順に青色、黄色、赤色等の異なる表示色を用いて表示装置４０に表示させてよい。第１認識壁画像８３ａ、８３ｂは、奥行き方向に延びる補助線を有しうる。制御部３３は、第１認識壁画像８３ａ、８３ｂの奥行き方向に延びる補助線を、図２０の第１認識壁画像８３の水平方向に延びる補助線と同様に、第１認識壁画像８３の枠内で高さ方向に移動させうる。

制御部３３は、検出対象の車両６４ｂおよび歩行者６３の奥行き方向における位置として、第１の位置を推定する。制御部３３は、車両６４ｂおよび歩行者６３にそれぞれ対向する側壁画像８１ａおよび８１ｂの表示を、第１の位置に対応して少なくとも部分的に変更してよい。表示の変更の態様としては、壁表面の色、明度、彩度等の変更、枠線および／または補助線の色、太さ等の変更、またはそれらの組合せ等を含む。例えば、図２６において、車両６４ｂに対向する側壁画像８１ａの一部８１ａ_１と、歩行者６３に対向する側壁画像８１ｂの一部８１ｂ_１の表示色が変更される。側壁画像８１ａ、８１ｂの一部は、側壁画像８１ａ、８１ｂ上の高さ方向に延びる補助線８４ｃにより区分された領域としてよい。側壁画像８１ａの一部８１ａ_１および側壁画像８１ｂの一部８１ｂ_１の表示色は、第１距離に応じて異なる色としてよい。制御部３３は、検出対象が側壁画像８１ａ、８１ｂの表す長さに比べて大きい障害物であるとき、側壁画像８１ａまたは８１ｂの全体の表示色を変更してよい。大きい障害物としては、トレーラー等の大型車両、建造物等を挙げることができる。

検出対象が移動するとき、制御部３３は、当該検出対象の第２予測進路を推定し、当該第２予測進路と側壁画像８１ａ、８１ｂとが交わる位置として第１の位置を推定してよい。制御部３３は、第１の位置を、第１映像が映す実空間における第２予測進路と側壁画像８１ａ、８１ｂの実空間への写像との交差する位置として推定することができる。制御部３３は、側壁画像８１ａ，８１ｂの表示を第１の位置に対応して少なくとも部分的に変更してよい。この場合も、表示を変更する側壁画像８１ａ、８１ｂの一部８１ａ_１、８１ｂ_１の表示色は、第１距離に応じて異なる色としてよい。制御部３３は、検出対象が非常に大きい障害物であるとき、側壁画像８１ａまたは８１ｂの全体の表示色を変更してよい。

別の表示態様として、制御部３３は、第１認識壁画像８３ａ、８３ｂよりも奥行き方向に奥側に位置する側壁画像８１ａ、８１ｂの部分の表示を変更してよい。さらに別の表示態様として、制御部３３は、第２予測進路と側壁画像８１ａ、８１ｂとが交わる位置よりも奥行き方向に奥側に位置する側壁画像８１ａ、８１ｂの部分の表示を変更してよい。

第１認識壁画像８３ａ、８３ｂの表示は路面からの高さに応じて変化させてよい。第１認識壁画像８３ａ、８３ｂの表示は、第６例の第１認識壁画像８３と同様に、路面からの高さに応じて透過率、彩度、または、明度等を異なる値に設定しうる。

以上のように、表示システム１０は、後進の障害となりうる検出対象の距離および／または位置を、ガイド壁画像８０および第１認識壁画像８３ａ、８３ｂを用いて空間的且つ立体的に表現できる。また、移動中の検出対象の予測進路から、衝突の危険性がある位置を立体的に表示することができる。このように、表示システム１０は、ガイド壁画像８０および第１認識壁画像８３ａ、８３ｂを、高さ方向を有する壁（あるいは平面）として表すことにより、検出対象および警告内容の空間的な立体表現が可能とする。これによって、対象者６０にとっての表示、警告内容の把握が容易になる。

（第８例）
図２７は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第８例を示す。撮像装置２０は、車両である移動体５０の後方を撮像するように配置されてよい。図２７に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の外側であって、検出領域６１の内側の領域である第２領域に映っている歩行者６３および車両６４ｂを、それぞれ検出対象として検出してよい。第８例では、制御部３３は、表示領域６２に映っている車両６４ａについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。

図２８は、第１映像が映す実空間において、高さ方向に沿って上側から見た移動体５０ならびに検出対象の歩行者６３および車両６４ｂの配置を模式的に示した図である。撮像装置２０は、実空間における領域Ｆ_１およびＦ_２に含まれる範囲の被写体を撮像しうる。領域Ｆ_１および領域Ｆ_２は、第１映像の検出領域６１に対応する。領域Ｆ_１は、第１映像の表示領域６２に対応する第１領域である。領域Ｆ_２は、第１映像の検出領域６１の内側であって表示領域６２の外側の第２領域に対応する。

図２８には、説明のために、第２映像に表示されるガイド壁画像８０を、実空間に写像した仮想ガイド壁９０が破線により表示されている。仮想側壁９１ａ、９１ｂは、第２映像に表示される側壁画像８１ａ，８１ｂに対応する。仮想距離壁９２ａ、９２ｂ、９２ｃは、第２映像に表示される距離壁画像８２ａ，８２ｂ，８２ｃに対応する。

また、図２８には、説明のために、移動体５０の仮想側壁９１ａ，９１ｂに対する検出対象の水平方向の距離を示す仮想線９５ｌ_１〜９５ｌ_５および９５ｒ_１〜９５ｒ_５が、破線により示されている。この水平方向の距離は第２距離ともよぶ。仮想線９５ｌ_１〜９５ｌ_５は、移動体５０の左側に位置する。仮想線９５ｒ_１〜９５ｒ_５は、移動体５０の右側に位置する。仮想線９５ｌ_１〜９５ｌ_５および仮想線９５ｒ_１〜９５ｒ_５の間隔は、それぞれ任意に設定できる。仮想線９５ｌ_１〜９５ｌ_５および仮想線９５ｒ_１〜９５ｒ_５の間隔は、それぞれ等間隔としてよい。制御部３３は、第１映像から検出対象がどの仮想線９５ｌ_１〜９５ｌ_５および９５ｒ_１〜９５ｒ_５に最も近いか、あるいは、仮想線９５ｌ_１〜９５ｌ_５および９５ｒ_１〜９５ｒ_５のうちどの２つで挟まれた領域内に位置するかを判定することができる。

図２７の第１映像に対応する第２映像を図２９に例示する。第８例において、ガイド壁画像８０は、第６例および第７例で説明したものと同様の表示方法を採用しうる。制御部３３は、第１映像の第２領域に検出対象が位置する場合、第２映像における検出対象が存在する側の端部に第２認識壁画像８９ａ、８９ｂを合成する。第２認識壁画像８９ａ、８９ｂは、それぞれ高さ方向および奥行き方向に延びる壁部９６ａ、９６ｂと、奥行き方向および水平方向に延びる床部９７ａ、９７ｂを含んでよい。図２９において、壁部９６ａ、９６ｂは第２映像の左右の端部の下端から上端まで延びている。壁部９６ａ、９６ｂは、第２映像の左右の端部の全体ではなく一部のみに沿って上下に延在してよい。同様に、床部９７ａ、９７ｂは、第２映像の下端部の全体または一部に沿って左右方向に延在しうる。床部９７ａ，９７ｂは、ガイド壁画像８０と第２映像の下端との間に表示されてよい。

制御部３３は、第２認識壁画像８９ａ、８９ｂを、検出対象の第２距離に応じて表示を変化させてよい。表示の変化は、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化を含む。例えば、複数の実施形態の１つにおいて、表示の変化は色の変化により表してよい。表示の色は、危険度が高い場合を赤色、危険度が中程度の場合を黄色、危険度が低い場合を青色等としうる。図２８に示す歩行者６３は、移動体５０の仮想側壁９１ｂから水平方向右側の３番目の仮想線９５ｒ_３上に位置する。この場合、制御部３３は、危険度を中程度として、右側の第２認識壁画像８９ｂの色を黄色としうる。また、図２８に示す車両６４ｂは、移動体５０の仮想側壁９１ａから水平方向左側の５番目の仮想線９５ｌ_５よりも離れて位置する。この場合、制御部３３は、危険度が低いものと判断して、左側の第２認識壁画像８９ａの色を青色としうる。複数の実施形態の１つにおいて、表示の変化は、壁部９６ａ、９６ｂに表示される縦方向の補助線９６ａ_１、９６ｂ_１の横方向への動きを含んでよい。制御部３３は、第２距離の長さに応じて、壁部９６ａ、９６ｂの動きの速さを変化させてよい。

第２認識壁画像８９ａ、８９ｂは、半透明とすることができる。第２認識壁画像８９ａ、８９ｂの壁部９６ａ、９６ｂは、上下方向に表示特性を変化させてよい。例えば、第２認識壁画像８９ａ、８９ｂの壁部９６ａ、９６ｂは、下部ほど透過率を低くしてよい。また、第２認識壁画像８９ａ、８９ｂは、下部ほど彩度を高くしてよい。第２認識壁画像８９ａの床部９７ａ、９７ｂは、左右方向に表示特性を変化させてよい。例えば、第２認識壁画像８９ａの床部９７ａ、９７ｂは、左右の端部ほど透過率が低く、第２映像の中心に向かうほど透過率を高くしてよい。また、第２認識壁画像８９ａの床部９７ａ、９７ｂは、左右の端部から第２映像の中心に向かうほど彩度を低くしてよい。画像の彩度は、画像の色の濃さとも言い換えることができる。

制御部３３は、検出対象の種別を判断して、当該種別に対応するアイコン画像９９ａ、９９ｂを第２認識壁画像８９ａ、８９ｂの床部９７ａ，９７ｂの上に表示してよい。検出対象の種別は、第１映像から検出される検出対象の画像に基づいて公知の方法で判定することができる。例えば、制御部３３は、検出対象の輪郭形状をモデルとなるパターンとマッチングすることによって、物体種別を判定しうる。例えば、歩行者６３および車両６４ｂに対しては、それぞれ人および車両を示すアイコンが選択されうる。制御部３３は、側壁画像８１ａ、８１ｂを実空間に写像した仮想側壁９１ａ、９１ｂと、実空間における検出対象との、水平方向における距離である第２距離を推定しうる。第２距離は、実空間の仮想線９５ｌ_１〜９５ｌ_５、９５ｒ_１〜９５ｒ_５を第１映像の検出領域６１に写像したそれぞれの線と、各検出対象の画像の位置との関係から判定しうる。制御部３３は第２距離に応じて、アイコン画像９９ａ、９９ｂを表示する位置を変更しうる。

図２９に示す第２映像の表示例では、実空間における仮想線９５ｌ_１〜９５ｌ_５、９５ｒ_１〜９５ｒ_５にそれぞれ対応して、第１距離識別線９８ｌ_１〜９８ｌ_５、９８ｒ_１〜９８ｒ_５が設けられる。第１距離識別線９８ｌ_１〜９８ｌ_５、は、側壁画像８１ａの左側に位置し、中央から左側に向けて９８ｌ_１、９８ｌ_２、９８ｌ_３、９８ｌ_４、９８ｌ_５の順に付番される。９８ｒ_１〜９８ｒ_５は、側壁画像８１ｂの右側に位置し、中央から右側に向けて９８ｒ_１、９８ｒ_２、９８ｒ_３、９８ｒ_４、９８ｒ_５の順に付番される。第１距離識別線９８ｌ_１〜９８ｌ_５、９８ｒ_１〜９８ｒ_５は、アイコン画像９９ａ、９９ｂが表示される位置を示すものであって、第２映像中に表示されなくてもよい。

図２８において、歩行者６３は、移動体５０の仮想側壁９１ｂから水平方向右側の３番目の仮想線９５ｒ_３上に位置するので、制御部３３は、図２９の第２映像において歩行者６３のアイコン画像９９ｂを、右側の３番目の第１距離識別線９８ｒ_３上に配置してよい。図２９に示すように、アイコン画像９９ｂは、第２映像上で奥行き方向に延びる第１距離識別線９８ｒ_３上に、奥行き方向および高さ方向の長さを有する面として、立体的に表示されてよい。立体視したとき、アイコン画像９９ｂは、側壁画像８１ａ、８１ｂおよび第２認識壁画像８９ａ、８９ｂと平行な面として表示されてよい。アイコン画像９９ｂは、第２認識壁画像８９ｂと同様に、第２距離に応じて色、彩度、明度等の表示態様を異ならせてよい。例えば、アイコン画像９９ｂは、黄色で表示しうる。

図２８において、車両６４ｂは、移動体５０の仮想側壁９１ａから水平方向左側の５番目の仮想線９５ｌ_５よりも、仮想側壁９１ａから離れて位置する。この場合、制御部３３は、図２９の第２映像において車両６４ｂのアイコン画像９９ａを、左側の第１距離識別線９８ｌ_５上に配置してよい。または、制御部３３は、第２映像を立体的にみたとき第２認識壁画像８９ａの壁部９６ａと同一面上に見えるように配置してよい。アイコン画像９９ａは、アイコン画像９９ｂと同様に、第２距離に応じて表示態様を異ならせることができる。例えば、アイコン画像９９ａは青色で表示しうる。

移動体５０と検出対象との双方または何れか一方が移動することにより、移動体５０からみた検出対象の相対的位置が変化したとき、第２認識壁画像８９ａ、８９ｂおよびアイコン画像９９ａ、９９ｂの位置および表示態様は変化する。さらに移動体５０が表示領域６２に入ると、検出対象は第７例で説明した態様により表示されてよい。図２８に示す実空間において、車両６４ｂが、領域Ｆ_２から領域Ｆ_１に移動する場合の表示の変化の一例について説明する。

はじめに、図２８の実空間において、車両６４ｂは仮想線９５ｌ_５の左側に位置するものとする。このとき、図２９の第２映像には、前述のように、第２認識壁画像８９ａが表示されるとともに、第２認識壁画像８９ａの床部９８ａの最も左側にアイコン画像９９ａが表示される。このとき、第２認識壁画像８９ａおよびアイコン画像９９ａは、青色で表示することができる。

図２８の実空間において、車両６４ｂが、仮想ガイド壁９０に向けて近づくに従い、図２９の第２映像に表示される第２認識壁画像８９ａは、表示の態様を変化させる。たとえば、第２認識壁画像８９ａの色は、青色から黄色、赤色へと順次変化する。同時に、アイコン画像９９ａは、表示位置を第１距離識別線９８ｌ_５上から第１距離識別線９８ｌ_１上に向けて移動する。アイコン画像９９ａの色は、青色から黄色、赤色へと順次変化してよい。これによって、対象者６０は、第２映像に表示されない外部において車両６４ｂが近付きつつあることを認識しうる。また、立体的な表示方法を使用することによって、対象者６０は車両６４ｂの接近を空間的に把握することができ、且つ、情報の見落としの虞を低減することが可能になる。

車両６４ｂが移動体５０に向けて近づいているときに、アイコン画像９９ａは、画面の中央に向かって移動しうる。対象者６０は、アイコン画像９９ａの移動を介して車両６４ｂの移動方向を認識しうる。

さらに、車両６４ｂが、図２８の実空間において、領域Ｆ_２からＦ_１に入ると、車両６４ｂは第１映像の表示対象領域に入るので、第２映像に含まれ表示装置４０に表示される。同時に、第２認識壁画像８９ａの表示は無くなり、図２６に示したように、車両６４ｂのガイド壁画像８０側に第１認識壁画像８３ａが表示される。第２認識壁画像８９ａが消える際に、制御部３３は、対象者６０の注意を促すため、第２認識壁画像８９ａを複数回点滅させてよい。制御部３３は、車両６４ｂの移動体５０側に第１認識壁画像８３ａを表示する。さらに、制御部３３は、車両６４ｂの第２予測進路を推定し、第２予測進路と側壁画像８１ａ、８１ｂとが交わる位置として第１の位置を推定する。制御部３３は、第１の位置を含む側壁画像８１ａの一部８１ａ_１の表示を変化させてよい。制御部３３は、例えば側壁画像８１ａの一部８１ａ_１の色を、車両６４ｂが接近するにつれて、青色、黄色および赤色に順次変化させることができる。これによって、対象者６０は、車両６４ｂが近付いていること、および、車両６４ｂの第２予測進路が移動体５０の第１予測進路６５と重なっていることを、容易に把握することが可能になる。

以上述べたように、本開示の複数の実施形態の１つによれば、ガイド壁画像、第１認識壁画像および第２認識壁画像、アイコン画像等の立体的な表示によって、検出対象の位置の空間的把握が容易になる。さらに、本開示の複数の実施形態の１つによれば、それぞれの壁面の表示態様を変化させることによって注意および警告等の情報を理解しやすく提供することができる。また、立体的な表示を用いることによって、情報の見落としの虞を低減することが可能になる。

（変形例）
図３０は、図２７の第１映像に対応する第２映像の他の例を示す。図３０には、左下部に「ノーマルビュー（Normal View）表示」と「ワイドビュー（Wide View）表示」との間の選択状況を示すビュー表示領域１０１、１０２が付加されている。「ノーマルビュー表示」と「ワイドビュー表示」については後述する。図３０は、ガイド壁画像８０、第２認識壁画像８９ａ、８９ｂおよびアイコン画像９９ａ、９９ｂの表示態様が、図２９とは部分的に異なってよい。例えば、図３０では、図２２と同様の表示態様のガイド壁画像８０が表示される。

第２認識壁画像８９ａ、８９ｂの壁部９６ａ、９６ｂは、高さ方向に延びる１本以上の補助線９６ａ_１、９６ｂ_１を有することができる。図３０において壁部９６ａ、９６ｂは複数の補助線９６ａ_１、９６ｂ_１を有しているが、そのうち１つについてのみ符号を付している。第２認識壁画像８９ａ、８９ｂの壁部９６ａ、９６ｂは、検出対象までの距離を色で表し、奥行き方向の手前から奥側に向けて透過率が異なってよい。壁部９６ａ、９６ｂは、高さ方向に透過率が徐々に高くなり、または、濃さが徐々に薄くなり、高さ方向の所定の位置で消えてよい。

制御部３３は、壁部９６ａ、９６ｂの透過率または色の濃さ、および、補助線９６ａ_１、９６ａ_２の変化により、所定の距離範囲内に対象物が存在すること、検出対象物までの距離、または検出対象物までの距離の変化を表示することができる。壁部９６ａ、９６ｂの透過率または色の濃さの変化は、グラデーションの変化ということもできる。例えば、制御部３３は、壁部９６ａ、９６ｂの補助線９６ａ_１、９６ａ_２の移動によって検出対象が所定の距離内に存在していることを表示しうる。制御部３３は、壁部９６ａ、９６ｂの手前側の色を最も濃くし、奥行き方向のグラデーションの変化によって検出対象が所定の距離内に存在していることを表示しうる。壁部９６ａ、９６ｂの補助線９６ａ_１、９６ｂ_１および透過率の変化は必須のものではない。制御部３３は、壁部９６ａ、９６ｂに補助線９６ａ_１、９６ｂ_１を表示させないことができる。制御部３３は、壁部９６ａ、９６ｂに透過率の変化（グラデーション）を持たさないことができる。

第２認識壁画像８９ａ、８９ｂの床部９７ａ、９７ｂには、第１距離識別線９８ｌ、９８ｒに加え、それぞれ１本以上の第２距離識別線１００ｌ、１００ｒが設けられる。図３０において、複数の第２距離識別線１００ｌ、１００ｒが存在するが、それぞれ１つのみに符号を付して示している。第１距離識別線９８ｌ、９８ｒおよび第２距離識別線１００ｌ、１００ｒは、ディスプレイ上に表示されなくてもよい。第１距離識別線９８ｌ、９８ｒは、移動体５０から検出対象までの水平方向の距離に対応するのに対して、第２距離識別線１００ｌ、１００ｒは、奥行き方向の距離に対応することができる。複数の第２距離識別線１００ｌ、１００ｒのそれぞれは、側壁画像８１ａ、８１ｂ上の高さ方向に延びるそれぞれの補助線８４ｃを実空間に写像した場合の奥行き方向の距離に対応してよい。

対象者６０は、床部９７ａ、９７ｂ上のアイコン画像９９ａ、９９ｂの水平および奥行き方向の位置に応じて、検出対象までの水平方向および奥行き方向の位置を把握することが可能になる。アイコン画像９９ａ、９９ｂとしては、検出対象の種別に応じた立体的な画像が用いられる。床部９７ａ、９７ｂは、側壁画像８１ａ、８１ｂの最も手前側の端部よりも手前側であって、側壁画像８１ａ、８１ｂを延長した線の内側に配置されてよい。第２認識壁画像８９ａ、８９ｂとガイド壁画像８０との位置関係は、これに限られず適宜変更することができる。

図３０において、表示装置４０には「ノーマルビュー（Normal View）表示」と「ワイドビュー（Wide View）表示」との選択状況を示すビュー表示領域１０１、１０２が、右下部分に示されている。「ノーマルビュー表示」と「ワイドビュー表示」とは、表示する映像の画角が異なっている。複数の実施形態の１つにおいて、「ノーマルビュー表示」は図４に示した第２映像の表示領域６２の画角に対応する。複数の実施形態の１つにおいて、「ワイドビュー表示」は、図４に示した第１映像の検出領域６１の画角に対応する。「ワイドビュー表示」は第１映像の検出領域６１全体の映像である必要は無く、検出領域６１から、「第２映像」を包含する画角の映像を切り出したものとしてもよい。図３０およびこれより前に示した第２映像は、何れもノーマルビュー表示である。表示中の映像が、「ノーマルビュー表示」と「ワイドビュー表示」との何れであるかは、選択状況を示すビュー表示領域１０１、１０２の表示を変えることによって示される。例えば、選択状況を示す領域の表示を変えることには、ビュー表示領域１０１、１０２の色を変えること、濃さを変えること、文字の色を変えること等を含む。

制御部３３は、第１映像の画像を処理した結果に応じて、または、表示装置４０等を介して対象者６０からの入力を受けて、「ノーマルビュー表示」と「ワイドビュー表示」とを切り替えることができる。例えば、制御部３３は、「ノーマルビュー表示」の状態で、検出対象が接近していることを検出したとき、表示する映像を「ワイドビュー表示」に切り替えるようにしてよい。制御部３３は、「ワイドビュー表示」の状態で、所定の範囲内に検出対象がないことを検知したとき、表示する映像を「ノーマルビュー表示」に切り替えるようにしてよい。制御部３３は、表示装置４０がタッチパネル式のスクリーンを備える場合、表示装置４０から対象者６０が画面上のビュー表示領域１０１または１０２の部分をタッチして選択したことを示す信号を受けて、表示を切り替えてよい。

図３１は、図３０に示される「ノーマルビュー表示」から、「ワイドビュー表示」に切り替えた映像の一例を示す図である。図３１の「ワイドビュー表示」の映像の画角は、図３０の「ノーマルビュー表示」の映像の画角よりも水平方向に広い。図３１において、図３０で表示された「ノーマルビュー表示」の表示範囲外に位置する歩行者６３と車両６４ｂとが表示される。また、図３１に表示される映像では、図３０の「ノーマルビュー表示」に比べ水平方向の画角が広がったので、ガイド壁画像８０の左右の側壁画像８１ａおよび８１ｂの間の間隔が相対的に狭まって表示されている。

図３１では、歩行者６３と車両６４ｂとが、表示範囲に入ったことにより、第２認識壁画像８９ａ、８９ｂは消えている。制御部３３は、第１映像の検出領域６１内の検出対象の車両６４ｂおよび歩行者６３を認識し、車両６４ｂおよび歩行者６３の移動体５０側に、それぞれ仮想的な平面である第１認識壁画像８３ａおよび８３ｂを表示することができる。制御部３３は、検出対象の車両６４ｂおよび歩行者６３の奥行き方向における位置を推定する。制御部３３は、推定した位置に基づいて、車両６４ｂおよび歩行者６３のそれぞれに対向する側壁画像８１ａおよび８１ｂの表示を変更してよい。図３１では、歩行者６３および車両６４ｂのそれぞれに対応して、側壁画像８１ｂの一部８１ｂ_１と、側壁画像８１ａの一部８１ａ_１との表示が変更される。表示の変更には、種々の態様を含む。例えば、表示の変更には色の変更、周囲を囲む補助線の太さの変更、線種の変更、点滅の開始および停止、ならびに点滅周期の変更等を含む。第１認識壁画像８３ａ、８３ｂ、および、側壁画像８１ａ、８１ｂの一部８１ａ_１、８１ｂ_１は、図２６の例と同様の表示方法および表示態様を採用しうる。

以上図３０および図３１で示したように、複数の実施形態の一つによれば、撮像装置２０により撮像した映像を、表示装置４０に画角の異なる「ノーマルビュー表示」と「ワイドビュー表示」との間で切り替えて表示することが可能である。「ノーマルビュー表示」においては、対象者６０は、表示される映像の範囲外に位置する検出対象の存在およびその位置を、第２認識壁画像８９ａ、８９ｂおよびアイコン画像９９ａ、９９ｂにより、容易に把握することができる。表示装置４０が、「ノーマルビュー表示」から「ワイドビュー表示」へ、自動的にまたは手動で切替ることにより、対象者６０は、「ノーマルビュー表示」の映像の範囲外で検出された検出対象を、映像で確認することができる。「ワイドビュー表示」においては、ガイド壁画像８０および第１認識壁画像８３ｂの表示により、検出対象との位置関係を立体的に把握することが可能になる。このように、複数の実施形態の１つにおける表示システム１０は、対象者に対して、周囲の状況把握と危険性の察知を容易にさせることができる。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る表示システム１０の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置３０の構成および機能の一部または全部を、撮像装置２０および表示装置４０の少なくとも一方に包含させてもよい。

上述の実施形態に係る表示システム１０の構成要素の一部は、移動体５０の外部に位置してよい。例えば、画像処理装置３０等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 表示システム
２０ 撮像装置
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 画像処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ 表示装置
５０ 移動体
５１ ネットワーク
６０ 対象者
６１ 検出領域
６２ 表示領域
６３、６３ａ、６３ｂ、６３ｃ、６３ｄ 歩行者
６４、６４ａ、６４ｂ 車両
６５ 第１予測進路
６６ ガイド線
６７ アイコン画像
６８ 第３マーカ
６９ 輪郭線
７０ 領域
７１ 第１マーカ
７２ 第２マーカ
７３ 第５マーカ
７３ａ アイコン画像
７３ｂ 帯画像
７３ｃ 右端領域
７４ 障害物画像
７５ａ、７５ｂ、７５ｃ 第６マーカ
８０ ガイド壁画像
８１ａ、８１ｂ 側壁画像
８２ａ、８２ｂ、８２ｃ 距離壁画像
８３、８３ａ、８３ｂ 第１認識壁画像
８４ａ、８４ｂ、８４ｃ 補助線
８９ａ、８９ｂ 第２認識壁画像
９０ 仮想ガイド壁
９１ａ、９１ｂ 仮想側壁
９２ａ、９２ｂ、９２ｃ 仮想距離壁
９５ｌ_１〜９５ｌ_５、９５ｒ_１〜９５ｒ_５ 仮想線
９６ａ、９６ｂ 壁部
９７ａ、９７ｂ 床部
９８ｌ_１〜９８ｌ_５、９８ｒ_１〜９８ｒ_５ 第１距離識別線
９９ａ、９９ｂ アイコン画像
１００ｌ、１００ｒ 第２距離識別線
１０１、１０２ ビュー表示領域

Claims (19)

1. 車両の後方を撮像して第１映像を生成する撮像素子と、
   前記第１映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、を備える、撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記ガイド壁画像は、
   高さ方向および奥行き方向に延び、水平方向に前記車両の車幅に対応する距離離れた２つの側壁画像と、
   前記高さ方向および前記水平方向に延び、前記車両の奥行き方向の距離を示す複数の距離壁画像と、を含み、
   前記高さ方向、前記奥行き方向、および、前記水平方向は、前記第１映像が映す空間における、３次元方向に対応する撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記ガイド壁画像は、前記奥行き方向に延びる補助線、前記水平方向に延びる補助線、および前記高さ方向に延びる補助線の少なくとも一つを含む、撮像装置。
4. 請求項２または３に記載の撮像装置であって、
   前記複数の距離壁画像は、他の前記距離壁画像よりも前記車両に近い位置に位置する第１距離壁画像を含み、
   前記第１距離壁画像は、他の前記距離壁画像と色が異なる、撮像装置。
5. 請求項３に記載の撮像装置であって、
   前記複数の距離壁画像は、他の前記距離壁画像よりも前記車両に近い位置に位置する第１距離壁画像を含み、前記第１距離壁画像は、前記他の距離壁画像と色が異なり、前記第１距離壁画像の前記補助線は、前記他の距離壁画像の前記補助線と、色が同じである、撮像装置。
6. 請求項２乃至５のいずれかに記載の撮像装置であって、
   前記制御部は、
   前記第１映像の前記表示領域内の検出対象を認識し、
   認識した前記検出対象の前記車両側に第１認識壁画像を合成する、撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記制御部は、
   前記検出対象と前記ガイド壁画像に対応する位置との水平方向における第１距離を推定し、
   前記第１距離に応じて前記第１認識壁画像の色を変更する、撮像装置。
8. 請求項６または７に記載の撮像装置であって、
   前記制御部は、
   前記検出対象の前記奥行き方向における第１の位置を推定し、
   前記第１の位置に対応する前記側壁画像の一部または全ての表示を変更する、撮像装置。
9. 請求項６または７に記載の撮像装置であって、
   前記制御部は、
   前記検出対象の予測進路を推定し、
   前記検出対象の予測進路と、前記側壁画像とが交わる第１の位置を推定し、
   前記第１の位置に対応する前記側壁画像の一部または全ての表示を変更する、撮像装置。
10. 請求項８または９に記載の撮像装置であって、
    前記制御部は、前記第１の位置に対応する前記側壁画像の一部または全ての色を変更する、撮像装置。
11. 請求項６乃至１０の何れか一項に記載の撮像装置であって、
    前記制御部は、
    前記第１認識壁画像より前記奥行き方向に離れた位置に対応するガイド壁画像の表示を変更する、撮像装置。
12. 請求項６乃至１０の何れか一項に記載の撮像装置であって、
    前記制御部は、
    前記第１映像上の前記表示領域に対応する映像を第２映像とし、
    認識した前記検出対象が前記表示領域の外側に位置する場合、前記第２映像における前記検出対象が存在する側の端部に第２認識壁画像を合成する、撮像装置。
13. 請求項１２に記載の撮像装置であって、
    前記第２認識壁画像は、
    前記高さ方向および奥行き方向に延びる壁部と、
    前記奥行き方向および前記水平方向に延びる床部と、を含む、撮像装置。
14. 請求項１３に記載の撮像装置であって、
    前記第２認識壁画像は、前記検出対象の種別を表すアイコン画像を前記床部の上に表示する、撮像装置。
15. 請求項１４に記載の撮像装置であって、
    前記制御部は、
    前記検出対象と前記側壁画像に対応する位置との水平方向における第２距離を推定し、
    前記第２距離に応じて、前記アイコン画像を表示する位置を変更する、撮像装置。
16. 請求項１４または１５に記載の撮像装置であって、
    前記床部は、前記奥行き方向に前記ガイド壁画像より手前側に位置する、撮像装置。
17. 車両の後方を撮像した第１映像を取得する通信部と、
    前記第１映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、を有する、画像処理装置。
18. 車両の後方を撮像して第１映像を生成する撮像素子と、
    前記第１映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、
    前記ガイド壁画像が合成された前記表示領域の映像を表示する表示装置と
    を有する、表示システム。
19. 表示システムを備える車両であって、
    前記表示システムは、
    前記車両の後方を撮像して第１映像を生成する撮像素子と、
    前記第１映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、
    前記ガイド壁画像が合成された前記表示領域の映像を表示する表示装置と
    を有する、車両。