JP2018085580A - 画像処理装置、撮像装置、および表示システム - Google Patents

Abstract

【課題】移動体の外部領域の映像を表示する技術の利便性を向上させる。【解決手段】画像処理装置３０は、通信部３１と、制御部３３と、を備える。通信部３１は、移動体５０の外部領域を撮像した第１映像を取得する。制御部３３は、第１映像上の表示領域６２に対応する第２映像を表示装置４０に表示させる。制御部３３は、第１映像上の表示領域６２において検出対象の少なくとも一部を検出し、移動体５０および検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、１つ以上の条件が満たされると判定された場合、検出対象に対応する第１マーカ７１を、第２映像に重畳して表示装置４０に表示させる。【選択図】図１

Description

本開示は、画像処理装置、撮像装置、および表示システムに関する。

従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献１には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。

特開２００９−４０１１３号公報

従来、移動体の外部領域の映像を表示する技術について改善の余地があった。

本開示は、移動体の外部領域の映像を表示する技術の利便性を向上させる画像処理装置、撮像装置、および表示システムに関する。

本開示の一実施形態に係る画像処理装置は、通信部と、制御部と、を備える。通信部は、移動体の外部領域を撮像した第１映像を取得する。制御部は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる。制御部は、第１映像上の表示領域において検出対象の少なくとも一部を検出し、移動体および検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、１つ以上の条件が満たされると判定された場合、検出対象に対応する第１マーカ７１を、第２映像に重畳して表示装置に表示させる。

本開示の一実施形態に係る撮像装置は、撮像素子と、制御部と、を備える。撮像素子は、移動体の外部領域を撮像した第１映像を生成する。制御部は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる。制御部は、第１映像上の表示領域において検出対象の少なくとも一部を検出し、移動体および検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、１つ以上の条件が満たされると判定された場合、検出対象に対応する第１マーカを、第２映像に重畳して表示装置に表示させる。

本開示の一実施形態に係る表示システムは、表示装置と、撮像装置と、画像処理装置と、を備える。撮像装置は、移動体の外部領域を撮像した第１映像を生成する。画像処理装置は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる。画像処理装置は、第１映像上の表示領域において検出対象の少なくとも一部を検出し、移動体および検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、１つ以上の条件が満たされると判定された場合、検出対象に対応する第１マーカを、第２映像に重畳して前記表示装置に表示させる。

本開示の一実施形態に係る画像処理装置、撮像装置、および表示システムよれば、移動体の外部領域の映像を表示する技術の利便性が向上する。

本発明の一実施形態に係る表示システムの概略構成を示すブロック図である。 表示システムを備える車両を左側方から見た図である。 第１映像の第１例を示す図である。 図３の第１映像の表示領域に対応する第２映像の第１例を示す図である。 検出対象に重畳される第３マーカの例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第１例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第２例を示す図である。 検出対象の周囲に表示される第１マーカおよび第２マーカの第３例を示す図である。 第１映像の第２例を示す図である。 図９の第１映像の表示領域に対応する第２映像の第２例を示す図である。 第１映像の第３例を示す図である。 図１１の第１映像の表示領域に対応する第２映像の第３例を示す図である。 第１映像の第４例を示す図である。 図１３の第１映像の表示領域に対応する第２映像の第４例を示す図である。 第１映像の第５例を示す図である。 図１５の第１映像の表示領域に対応する第２映像の第５例を示す図である。 図１５の第１映像の表示領域に対応する第２映像の他の例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

（表示システム）
図１を参照して、本発明の一実施形態に係る表示システム１０について説明する。

図１に示すように、表示システム１０は、撮像装置２０と、画像処理装置３０と、表示装置４０と、を備える。撮像装置２０表示システム１０の各構成要素は、例えばネットワーク５１を介して情報を送受信可能である。ネットワーク５１は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等を含んでよい。

他の実施形態において、表示システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、撮像装置２０または表示装置４０に、画像処理装置３０撮像装置２０を内蔵させる構成等が考えられる。

図２に示すように、撮像装置２０、画像処理装置３０、および表示装置４０は、移動体５０に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

撮像装置２０は、移動体５０の外部領域を撮像可能である。撮像装置２０の位置は、移動体５０の内部および外部において任意である。例えば図２に示すように、撮像装置２０は、移動体５０の後方の外部領域を撮像可能な移動体５０の後方に位置する。画像処理装置３０の位置は、移動体５０内において任意である。表示装置４０は、対象者６０によって視認可能である。表示装置４０の位置は、移動体５０において任意である。例えば図２に示すように、表示装置４０は、移動体５０のダッシュボードの中に位置する。

（撮像装置）
撮像装置２０について詳細に説明する。例えば図１に示すように、撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４とを備える。

撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。

撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。

通信部２３は、外部装置と通信可能な通信インタフェースを含んでよい。通信部２３は、ネットワーク５１を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置３０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

制御部２４は、撮像装置２０全体の動作を制御する。制御部２４は、任意のフレームレートで、撮像素子２２に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置４０が表示可能なフレームレートに略一致してよい。制御部２４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部２４は、通信部２３を介して画像処理装置３０へ、撮像画像を出力する。例えば、制御部２４は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置２０から出力される当該複数の撮像画像を、第１映像ともいう。例えばフレームレートが６０ｆｐｓ（Flame per Seconds）である場合、１秒あたり６０枚の撮像画像が第１映像として出力される。

（画像処理装置）
画像処理装置３０について詳細に説明する。画像処理装置３０は、通信部３１と、記憶部３２と、制御部３３とを備える。

通信部３１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置２０、表示装置４０、移動体５０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。

通信部３１は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部３１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）およびＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部３１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。

通信部３１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部３１は、移動体情報および環境情報を取得可能であってよい。

移動体情報は、移動体５０に関する任意の情報を含んでよい。移動体情報は、例えば移動体５０の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体５０の位置情報、ならびに移動体５０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。

環境情報は、移動体５０の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体５０の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。

記憶部３２は、一時記憶装置および二次記憶装置を含んでよい。記憶部３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部３２は、画像処理装置３０の動作に必要な種々の情報およびプログラムを記憶する。

制御部３３は、１つ以上のプロセッサを含む。制御部３３は、画像処理装置３０全体の動作を制御する。

制御部３３は、通信部３１を介して外部装置から、移動体情報および環境情報を取得してよい。制御部３３は、例えば移動体情報に基づいて、移動体５０の予測進路を決定してよい。以下、移動体５０の予測進路を、第１予測進路ともいう。

制御部３３は、通信部３１を介して撮像装置２０から、第１映像を取得してよい。第１映像は、検出領域と表示領域とを含む。

制御部３３は、取得された第１映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第１映像上の検出領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第１映像の各フレームは、撮像画像と呼びうる。第１映像上の検出領域は、表示領域より大きくてよい。第１映像上の検出領域は、表示領域を包含してよい。制御部３３は、表示領域の内側において検出対象を検出し得る。制御部３３は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第１領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第２領域と呼び得る。

検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部３３が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第１映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部３３は、第１映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第２予測進路ともいう。第２予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第２予測進路を決定してよい。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体５０と検出対象との間の距離、および、移動体５０の第１予測進路と検出対象の第２予測進路との重なりの有無等を含んでよい。移動体５０と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体５０と検出対象との間の距離を推定してよい。他の実施形態において、制御部３３は、通信部３１を介して外部装置から、移動体５０および当該検出対象の相対的位置関係を示す情報を取得してよい。

制御部３３は、移動体５０と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体５０と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体５０および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部３３は、移動体情報に基づいて、移動体５０の移動速度を検出してよい。制御部３３は、例えば第１映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部３３は、当該距離の減少に対して、移動体５０および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部３３は、移動体５０の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部３３は、移動体５０の移動速度が基準値以上である場合、当該距離の減少に対して移動体５０の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体５０および検出対象の寄与に応じた画像処理装置３０の動作の詳細については後述する。

制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体５０と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体５０と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置３０の動作の詳細については後述する。

制御部３３は、撮像装置２０から取得された第１映像上の表示領域に対応する第２映像を、表示装置４０に表示させてよい。具体的には、制御部３３は、通信部３１を介して、第２映像を表示装置４０へ出力してよい。例えば、制御部３３は、移動体情報に基づいて移動体５０の後進を検出すると、第２映像を表示装置４０に表示させてよい。例えば、制御部３３は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部３３は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第２映像は、例えば第１映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第１映像上の表示領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部３３は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。

制御部３３は、種々のマーカを、第２映像に合成して表示装置４０に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば１つ以上の画像を含んでよい。制御部３３は、第２映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第２映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部３３は、第１映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置４０に表示させる画像処理装置３０の動作の詳細については後述する。

（表示装置）
表示装置４０について詳細に説明する。表示装置４０は、例えば液晶ディスプレイおよび有機ＥＬ（Electroluminescence）ディスプレイ等を含んでよい。表示装置４０は、例えばネットワーク５１を介して画像処理装置３０から入力される第２映像を表示してよい。表示装置４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置４０は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置３０へ送信してよい。

図３乃至図１６を参照して、画像処理装置３０が表示装置４０に表示させる第２映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における２次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の３次元方向に対応する。

（第１例）
図３は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第１例を示す。図３に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３および車両６４それぞれを、検出対象として検出してよい。

制御部３３は、第１映像上の表示領域６２の内側で検出された検出対象と、移動体５０と、の相対的位置関係に基づいて、１つ以上の条件が満たされているか否かを判定する。１つ以上の条件は、例えば検出対象が移動体５０の第１予測進路６５内に位置するとの第１条件を含んでよい。１つ以上の条件は、例えば移動体５０の第１予測進路６５の少なくとも一部と、検出対象の第２予測進路の少なくとも一部と、が重なるとの第２条件を含んでよい。当該１つ以上の条件が満たされると判定された場合、制御部３３は、検出対象に対応する所定のマーカを、第２映像に重畳して表示装置４０に表示させてよい。所定のマーカは、第１マーカ、第２マーカ、および第３マーカを含んでよい。

第１例において、制御部３３は、歩行者６３について当該１つ以上の条件が満たされていると判定し得る。かかる場合、制御部３３は、歩行者６３に対応するマーカを表示させてよい。制御部３３は、車両６４について当該１つ以上の条件が満たされていないと判定し得る。かかる場合、制御部３３は、車両６４に対応するマーカを表示しない。

図４は、図３に示す第１映像の表示領域６２に対応する第２映像の例を示す。制御部３３は、第１映像の表示領域６２のアスペクト比と、表示装置４０の画面のアスペクト比とが異なる場合、第１映像の表示領域６２を切り出した後、表示装置４０の画面のアスペクト比に合わせて変形した第２映像を、表示装置４０へ出力してよい。図４に示すように、第２映像上に、歩行者６３および車両６４が映っている。

制御部３３は、例えば図３に示す移動体５０の第１予測進路６５の少なくとも一部を示すガイド線６６を、第２映像に重畳させて表示装置４０に表示させてよい。制御部３３は、例えばステアリングホイールの舵角の変化に応じて、ガイド線６６を動的に変化させてよい。

第１映像は、表示領域６２に比べて範囲が広い。制御部３３は、表示領域６２の範囲を変更し得る。制御部３３は、第２映像にアイコン画像６７を重畳させて表示装置４０に表示させてよい。例えば図４に示すアイコン画像６７の輪郭６７ａは、表示領域６２の範囲を変更した際の最大範囲を示す。アイコン画像６７の白い長方形６７ｂは、表示領域６２を示す。図４に示すアイコン画像６７は、表示領域６２の最大範囲に対する表示領域６２の相対的な位置および大きさを示す。

図５は、例えば第２映像上の歩行者６３に重畳されるマーカの例を示す。以下、当該マーカを、第３マーカ６８ともいう。第３マーカ６８の輪郭線６９は、第２映像上で検出された歩行者６３の輪郭線に略一致してよい。第３マーカ６８の輪郭線６９の内側の領域７０は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第１映像上で歩行者６３が検出されると、第２映像上の歩行者６３に第３マーカ６８を重畳して表示装置４０に表示させてよい。かかる構成によれば、対象者６０は、第２映像上の歩行者６３を容易に視認可能となる。制御部３３は、第３マーカ６８を表示させてから所定時間が経過すると、当該第３マーカ６８を非表示にしてよい。

図６は、例えば第２映像上の歩行者６３の周辺に重畳される２種類のマーカの例を示す。以下、当該２種類のマーカそれぞれを、第１マーカ７１および第２マーカ７２ともいう。制御部３３は、例えば第３マーカ６８を非表示にした後に、第１マーカ７１および第２マーカ７２を、第２映像に重畳して表示装置４０に表示させてよい。

制御部３３は、第２映像上の歩行者６３に追従して、第１マーカ７１の位置を移動させてよい。対象者６０は、第１マーカ７１が歩行者６３に追従するので、歩行者６３を捕らえやすい。第１マーカ７１は、歩行者６３の周囲に歩行者６３から離れて表示される。対象者６０は、第１マーカ７１が表示装置４０に表示されているときに、歩行者６３の振る舞いを把握しやすい。制御部３３は、第２映像上の第１マーカ７１の重畳位置に対して、第２マーカ７２の重畳位置を相対的に変化させてよい。制御部３３は、第１マーカ７１の位置を基準にして、第２マーカを相対的に移動させてよい。

例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１に向かって移動させてよい。まず、制御部３３は、第１マーカ７１から離れた位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１に向かって移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１から離れた位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物に向かって移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって近づいていると理解し得る。

例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して歩行者６３の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１から離れるように移動させてよい。まず、制御部３３は、第１マーカ７１に近い位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１から離れるように移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１に近い位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物から移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって離れていると理解し得る。

制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第１マーカ７１に対する第２マーカ７２の移動方向を変更する。対象者６０は、第２マーカ７２の移動方向に応じて、例えば移動体５０が歩行者６３に近付いているのか、または歩行者６３が移動体５０に近付いているのかを識別可能となる。

制御部３３は、例えば図７に示すように、第２映像上の第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、例えば図８に示すように、歩行者６３の輪郭線６９と同様の形状を有する第１マーカ７１および第２マーカ７２を第２映像に重畳してよい。制御部３３は、当該第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第２マーカ７２の拡大または縮小を切り替える。

制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、新たなマーカを第２映像に重畳してよい。以下、当該新たなマーカを第４マーカともいう。第４マーカは、任意の画像を含んでよい。例えば、第４マーカは、感嘆符「！」を示す画像を含んでよい。かかる構成によれば、例えば第１マーカ７１および第２マーカ７２を表示している歩行者６３と移動体５０とが一定程度以上近付くと、第４マーカが第２映像に重畳して表示される。対象者６０は、第４マーカによって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。他の実施形態において、制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、当該第１マーカ７１および第２マーカ７２の表示態様を変化させてよい。制御部３３は、例えば、第１マーカ７１および第２マーカ７２の色を変化させてよい。かかる構成によっても、対象者６０は、マーカの色の変化によって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。

制御部３３は、奥行き方向の前後に並んだ２つの検出対象を検知し得る。制御部３３は、前後に位置する２つの検出対象のそれぞれに、第１マーカ７１および第２マーカ７２を表示させてよい。制御部３３は、２つの検出対象に対して、異なる第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、奥側に位置する第１の検出対象に対して、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より目立たない第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より、奥側に位置する第１の検出対象に付す第１マーカ７１および第２マーカ７２の、色を暗く、透過率を高く、線を細くする等の変更をし得る。

（第２例）
図９は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第２例を示す。図９に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３ａと、表示領域６２の外側であって検出領域６１の内側に映っている歩行者６３ｂおよび６３ｃとを、それぞれ検出対象として検出してよい。歩行者６３ａに関する制御部３３の処理は、例えば図３に示す歩行者６３に関する処理と同様である。

制御部３３は、検出対象が検出された第１映像上の検出位置が、表示領域６２の外側且つ検出領域６１の内側である場合、検出対象に対応するマーカを第２映像に重畳して表示装置４０に表示させてよい。以下、当該マーカを第５マーカともいう。制御部３３は、移動体５０と当該検出対象とが接触する可能性があると判定された場合に、第５マーカを表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも右側にある場合、第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも左側にある場合、第５マーカを、第２映像上の左端に重畳して表示装置４０に表示させてよい。

第２例において、歩行者６３ｂが検出された検出位置は、表示領域６２よりも右側にある。制御部３３は、移動体５０と歩行者６３ｂとが接触する可能性があると判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。歩行者６３ｂに対応する第５マーカの詳細については後述する。歩行者６３ｃが検出された検出位置は、表示領域６２よりも左側にある。制御部３３は、移動体５０と歩行者６３ｃとが接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを表示させなくてよい。

図１０は、図９に示す第１映像の表示領域６２に対応する第２映像の例を示す。図１０に示すように、第２映像上に歩行者６３ａが映っている。第２映像上に歩行者６３ｂおよび６３ｃは映っていない。

図１０に示すように、制御部３３は、例えば障害物画像７４を第２映像に重畳して表示装置４０に表示させてよい。障害物画像５７は、移動体５０に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像７４は、画像７４ａと、画像７４ｂと、画像７４ｃとを含み得る。画像７４ａは、移動体５０を上方から俯瞰した画像である。画像７４ｂは、移動体５０の左後方に障害物が検出されたことを示す画像である。画像７４ｃは、移動体５０の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部３３による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図１０に示す例では、障害物画像７４は、移動体５０の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部３３は、移動体５０の左後方に存在する歩行者６３ｃについては、移動体５０と接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｃに対応する第５マーカを表示させなくてよい。

歩行者６３ｂに対応する第５マーカ７３の例を図１０に示す。第５マーカ７３は、アイコン画像７３ａと、帯画像７３ｂと、を含んでよい。アイコン画像７３ａは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像７３ａを視認した対象者６０は、第２映像よりも右方に人が存在することを認識可能である。帯画像７３ｂは、例えば第２映像上の上下方向に延びる帯状の画像である。帯画像７３ｂは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを移動させてよい。制御部３３は、帯画像７３ｂの移動速度および幅を変化させてよい。

第５マーカ７３について詳細に説明する。制御部３３は、移動体５０と歩行者６３ｂとの間の距離に応じて、帯画像７３ｂの幅を決定してよい。例えば、制御部３３は、当該距離が近付くほど、帯画像７３ｂの幅を太くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの幅に基づいて、移動体５０と歩行者６３ｂとの間の距離を認識可能である。

制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第１方向に繰り返し移動させる。第１方向は、例えば第２映像上の左右方向において外側から内側に向かう方向であってよい。制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば歩行者６３ｂの寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第２方向に繰り返し移動させる。第２方向は、例えば第２映像上の左右方向において内側から外側に向かう方向であってよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動方向に基づいて、移動体５０が歩行者６３ｂに近付いているのか、または歩行者６３ｂが移動体５０に近付いているのかを認識可能である。

制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少速度に応じて、帯画像７３ｂの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像７３ｂの移動速度を速くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動速度に基づいて、移動体５０と歩行者６３ｂとの間の距離の減少速度を認識可能である。

制御部３３は、第５マーカ７３を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように表示領域６２を変化させてよい。例えば図１１に示すように、制御部３３は、第１映像上の表示領域６２を左右方向に長くし、表示領域６２を検出領域６１内の右側に寄せてよい。かかる構成によって、例えば図１２に示すように、第２映像上に歩行者６３ｂが映る。

上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体５０のステアリングの舵角を変化させる第１ユーザ操作を含んでよい。第５マーカ７３は、第２ユーザ操作を受け付けるＧＵＩ（Graphic User Interface）として機能してよい。以下、ＧＵＩをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第２ユーザ操作を含んでよい。

制御部３３は、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように、表示領域６２を自動的に変化させてよい。この場合、制御部３３は、第１映像の検出領域６１において歩行者６３ｂが検出されなくなるまで、表示領域６２の自動変更を維持し得る。

制御部３３は、例えば図１２に示すように、表示領域６２の変化に応じてアイコン画像６７を変化させてよい。

制御部３３は、例えば表示装置４０に対するピンチイン操作およびピンチアウト操作等に応じて、第１映像上の表示領域６２を変化させてよい。例えば図１３に示すように、制御部３３は、表示領域６２を検出領域６１に略一致させてよい。かかる場合、例えば図１４に示すように、検出領域６１内の全ての検出対象が表示装置４０に表示される。

（第３例）
図１５は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第３例を示す。図１５に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、移動体５０の第１予測進路６５内に映っている車両６４ａと、第１予測進路６５外に映っている車両６４ｂおよび歩行者６３ｄとを、それぞれ検出対象として検出してよい。

第３例では、例えば夜間またはトンネル内等、移動体５０の外部領域が暗い場合について説明する。移動体５０の外部領域が暗い場合、第１映像および第２映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第２映像の特性値が低下すると、第２映像の視認性が低下し得る。

制御部３３は、第２映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第１処理を含んでよい。以下、当該マーカを第６マーカともいう。第６マーカは、例えば第２映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第２映像上の検出対象に第６マーカが重畳して表示される。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。特定画像処理は、第２映像上の検出対象に対応する当該領域の特性値を変化させる第２処理を含んでよい。例えば、制御部３３は、第２映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第２映像上の検出対象の視認性が向上する。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。

制御部３３は、１つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。１つ以上の条件は、検出対象が移動体５０の第１予測進路６５内に位置するとの条件を含んでよい。１つ以上の条件は、移動体５０の第１予測進路６５と、検出対象の第２予測進路とが重なるとの条件を含んでよい。１つ以上の条件は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。１つ以上の条件は、第２映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。

第３例において、制御部３３は、車両６４ａ、６４ｂ、および歩行者６３ｄそれぞれについて、上述した１つ以上の条件が満たされると判定し得る。かかる場合、制御部３３は、例えば図１６に示すように、車両６４ａ、６４ｂ、および歩行者６３ｄにそれぞれ対応する３つの第６マーカ７５ａ、７５ｂ、および７５ｃを、第２映像に重畳して表示装置４０に表示させてよい。制御部３３は、明るい場所において、検出対象に第６マーカを重ねて表示させてよい。

制御部３３は、ガイド線６６の形状を変更してよい。制御部３３は、ガイド線６６と検出対象とが重なる領域におけるガイド線６６の形状を変更してよい。図１７は、ガイド線６６の形状例の１つである。図１７のガイド線６６は、ガイド線６６と第６マーカ７５ａが重なっている領域に、ガイド線が表示されていない。ガイド線６６の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部３３は、第６マーカが表示されていないときに、ガイド線６６の形状を変更してよい。制御部３３は、検出対象に第１マーカ７１および第２マーカ７２を表示しているときに、ガイド線６６の形状を変更してよい。

以上述べたように、一実施形態に係る表示システム１０によれば、第１映像上で検出された検出対象に応じた多様なマーカが、第２映像に重畳して表示装置４０に表示される。マーカを視認する対象者６０は、移動体５０と検出対象との相対的位置関係を一見して認識可能である。このため、移動体５０の外部領域の映像を表示する技術の利便性が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る表示システム１０の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置３０の構成および機能の一部または全部を、撮像装置２０および表示装置４０の少なくとも一方に包含させてもよい。

上述の実施形態に係る表示システム１０の構成要素の一部は、移動体５０の外部に位置してよい。例えば、画像処理装置３０等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 表示システム
２０ 撮像装置
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 画像処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ 表示装置
５０ 移動体
５１ ネットワーク
６０ 対象者
６１ 検出領域
６２ 表示領域
６３、６３ａ、６３ｂ、６３ｃ、６３ｄ 歩行者
６４、６４ａ、６４ｂ 車両
６５ 第１予測進路
６６ ガイド線
６７ アイコン画像
６８ 第３マーカ
６９ 輪郭線
７０ 領域
７１ 第１マーカ
７２ 第２マーカ
７３ 第５マーカ
７３ａ アイコン画像
７３ｂ 帯画像
７３ｃ 右端領域
７４ 障害物画像
７５ａ、７５ｂ、７５ｃ 第６マーカ

Claims (11)

1. 移動体の外部領域を撮像した第１映像を取得する通信部と、
   前記第１映像上の表示領域に対応する第２映像を表示装置に表示させる制御部と、
   を備え、
   前記制御部は、
   前記第１映像上の前記表示領域において検出対象の少なくとも一部を検出し、
   前記移動体および前記検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、
   前記１つ以上の条件が満たされると判定された場合、前記検出対象に対応する第１マーカを、前記第２映像に重畳して前記表示装置に表示させる、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、
   前記通信部を介して前記移動体から移動体情報を取得し、
   前記移動体情報に基づいて、前記移動体の第１予測進路を決定し、
   前記検出対象の少なくとも一部が検出されると、前記第１映像上の前記検出対象に基づいて、前記検出対象の第２予測進路を決定し、
   前記１つ以上の条件は、前記検出対象が前記移動体の第１予測進路内に位置するとの第１条件、または、前記移動体の前記第１予測進路の少なくとも一部と前記検出対象の第２予測進路の少なくとも一部とが重なるとの第２条件を含む、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記１つ以上の条件は、前記移動体と前記検出対象との間の距離が閾値未満であるとの第３条件を含む、画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記制御部は、
   複数種類の物体を前記検出対象として検出可能であり、
   前記第１映像上で検出された物体の種類に応じて、前記第１マーカの表示態様を決定する、画像処理装置。
5. 請求項１乃至４の何れか一項に記載の画像処理装置であって、
   前記制御部は、
   前記移動体と前記検出対象との間の距離が減少する場合、前記距離の減少に対して前記移動体と前記検出対象との何れの寄与が大きいか判定し、
   前記移動体の寄与が大きいと判定した場合、前記第１マーカの前記第２映像上の重畳位置とは異なる位置から前記重畳位置に向かって第２マーカが移動するように、前記第２マーカを前記第２映像に重畳して前記表示装置に表示させ、
   前記検出対象の寄与が大きいと判定した場合、前記第１マーカの前記第２映像上の前記重畳位置から前記重畳位置とは異なる位置に向かって前記第２マーカが移動するように、前記第２マーカを前記第２映像に重畳して前記表示装置に表示させる、画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記制御部は、前記移動体と前記検出対象との間の距離の減少速度に応じて、前記第２マーカの移動速度を決定する、画像処理装置。
7. 請求項１乃至６の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記１つ以上の条件が満たされると判定された場合、前記検出対象に対応する第３マーカを、前記第２映像上の前記検出対象に重畳して前記表示装置に表示させた後に、前記第１マーカを前記第２映像に重畳して前記表示装置に表示させる、画像処理装置。
8. 請求項１乃至７の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記移動体と前記検出対象との間の距離が所定の閾値未満となった場合、前記検出対象に対応する第４マーカを、前記第２映像に重畳して前記表示装置に表示させる、画像処理装置。
9. 請求項１乃至８の何れか一項に記載の画像処理装置であって、
   前記制御部は、前記移動体と前記検出対象との間の距離が所定の閾値未満となった場合、前記第１マーカの表示態様を変化させる、画像処理装置。
10. 移動体の外部領域を撮像した第１映像を生成する撮像素子と、
    前記第１映像上の表示領域に対応する第２映像を表示装置に表示させる制御部と、
    を備え、
    前記制御部は、
    前記第１映像上の前記表示領域において検出対象の少なくとも一部を検出し、
    前記移動体および前記検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、
    前記１つ以上の条件が満たされると判定された場合、前記検出対象に対応する第１マーカを、前記第２映像に重畳して前記表示装置に表示させる、撮像装置。
11. 表示装置と、
    移動体の外部領域を撮像した第１映像を生成する撮像装置と、
    前記第１映像上の表示領域に対応する第２映像を前記表示装置に表示させる画像処理装置と、
    を備え、
    前記画像処理装置は、
    前記第１映像上の前記表示領域において検出対象の少なくとも一部を検出し、
    前記移動体および前記検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、
    前記１つ以上の条件が満たされると判定された場合、前記検出対象に対応する第１マーカを、前記第２映像に重畳して前記表示装置に表示させる、表示システム。

Images