JP2016220021A - 画像表示装置 - Google Patents

Abstract

【課題】車両に搭載されたカメラの光軸の向きがずれた場合にも、後方視野領域を撮像した画像を表示装置に表示させるための技術を提供する。【解決手段】画像表示装置は、車両に搭載され、撮像画像の少なくとも一部を表示部に表示させる。画像取得手段（Ｓ３１０）は、車両に搭載され可動部を動かすことによって光軸の向きを調整可能なカメラ、で撮像された撮像画像を取得する。ずれ量検出手段（Ｓ３６０）は、予め定められたカメラの光軸の向きを初期設定方向として、カメラの光軸の向きの初期設定方向に対するずれ量を検出する。第１の補正手段（Ｓ３８０）は、ずれ量を減少させるようにカメラにおける光軸の向きを変化させる光軸指示を可動部へ出力する。【選択図】図７

Description

本発明は、車両に搭載されたカメラによる撮像画像の少なくとも一部を表示装置に表示させるための技術に関する。

カメラを車両に搭載し、カメラで撮像した画像を表示装置に表示させることにより、運転者の運転操作を支援する技術が知られている。特許文献１には、運転者が車両をバックさせる際に、車両の後方を撮像する後方撮像カメラの画像であって運転者の後方視野領域に対応する画像を、運転者が視認可能な表示装置に表示させる技術が開示されている。

特開２０１３−２３８４９７号公報

しかしながら、特許文献１に記載の技術では、例えば強い振動などの予期せぬ要因によって、走行中に後方撮像カメラの光軸の向きがずれると、後方視野領域を撮像した画像を表示装置に表示させることができないという問題があった。

本発明は、車両に搭載されたカメラの光軸の向きがずれた場合にも、後方視野領域を撮像した画像を表示装置に表示させるための技術を提供することを目的とする。

本発明の一側面は、車両に搭載され、撮像画像の少なくとも一部を表示部に表示させる画像表示装置であって、画像取得手段と、ずれ量検出手段と、第１の補正手段と、を備える。画像取得手段は、車両に搭載され可動部を動かすことによって光軸の向きを調整可能なカメラ、で撮像された撮像画像を取得する。ずれ量検出手段は、予め定められたカメラの光軸の向きを初期設定方向として、カメラの光軸の向きの初期設定方向に対するずれ量を検出する。第１の補正手段は、ずれ量を減少させるようにカメラにおける光軸の向きを変化させる光軸指示を可動部へ出力する。

このような構成では、カメラの光軸の向きの初期設定方向に対するずれ量を減少させるように、可動部が自動でカメラの光軸の向きを変化させる。これによれば、走行中であっても、車両に搭載されたカメラの光軸の向きがずれた場合に自動で光軸の向きが調整されるため、光軸の向きがずれる前と同様に後方視野領域を撮像した画像を表示部に表示させることができる。

なお、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、一部構成を除外してもよい。

第１実施形態の画像表示システムの概略構成を示す図。 撮像部及び表示部の設置位置を説明する図。 撮像画像の一部が表示部に表示されることを説明する図。 初期設定処理を表すフローチャート。 撮像画像に対する表示枠及び特徴点の位置の一例を示す図。 表示処理を表すフローチャート。 補正処理を表すフローチャート。 補正処理の前後における特徴点の変化を説明する図。 第２実施形態の補正処理を表すフローチャート。

以下に本発明の実施形態を図面と共に説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す画像表示システム１は、車両に搭載されたシステムであって、画像表示制御装置１０と、表示部２０とを備える。画像表示制御装置１０は、車両後方を撮像した撮像画像の少なくとも一部を、無線通信により表示部２０へ送信し、表示部２０に表示させるための装置である。表示部２０は、画像表示制御装置１０から無線通信によって送信された画像を車両の乗員に対して表示する装置である。本実施形態では、所謂スマートフォン等の多機能携帯電話が、表示部２０の一例として用いられる。

画像表示制御装置１０は、撮像部３０と、シフトポジション検出部４０と、制御部５０と、通信部６０とを備える。
撮像部３０は、可動部３１と画像撮像部３２とを備え、図２に示すように、一例として車両後方のリアウィンドの上部に設置され、車両の後方、すなわち運転者の後方視野領域の画像を撮像する。なお、撮像部３０の設置位置は、これに限るものではなく、車両において運転者の後方視野領域の画像を撮像可能な位置に設置されればよい。

図１に戻り説明を続ける。可動部３１は、図示しないが、一例として車両後方のリアウィンドの上部に一方の端部が固定され、他方の端部が画像撮像部３２を取り付けるための取付部を有する。この取付部は、一例として、制御部５０からの駆動信号に従って、水平方向に駆動する水平可動部と、垂直方向に駆動する垂直可動部とを有する。具体的には、水平可動部及び垂直可動部は、ギアの組合せによって、それぞれ水平方向及び垂直方向へ駆動するように構成される。

水平可動部のギアの位置、垂直可動部のギアの位置については、それぞれ基準となる基準位置が予め定められている。水平可動部におけるギアの基準位置を水平基準位置といい、垂直可動部におけるギアの基準位置を垂直基準位置というものとする。水平可動部におけるギアの位置の水平基準位置に対する変位量、及び、垂直可動部におけるギアの位置の垂直基準位置に対する変位量は、各可動部に取り付けられたエンコーダ３１１によって検出される。以下では、水平可動部におけるギアの位置の水平基準位置に対する変位量、及び、垂直可動部におけるギアの位置の垂直基準位置に対する変位量を、可動部３１の基準位置に対する変位量というものとする。なお、可動部３１の構成は、ここで説明した構成に限るものではなく、駆動信号に従って水平方向及び垂直方向に駆動する構成であればよい。

画像撮像部３２は、イメージャであり、可動部３１の取付部に取り付けられて、取付部と共に水平方向及び垂直方向に動くことができる。画像撮像部３２は、制御部５０に撮像した画像を表す撮像画像信号を出力する。

シフトポジション検出部４０は、車両のシフトポジションがリアであることを検出したときに、リアポジション検出信号を出力する。
制御部５０は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３等を備える周知のマイクロコンピュータであり、撮像部３０から取得した撮像画像信号が表す撮像画像に基づいて、運転者による運転を支援するための各種制御処理を実行する。

例えば、制御部５０は、撮像部３０による撮像画像のうち表示部２０に表示させる領域を車両の乗員に設定させる初期設定処理を実行する。また、制御部５０は、車両のシフトポジションがリアであることが検出された場合に、撮像部３０による撮像画像のうち初期設定処理により設定された領域の画像を表示部２０に表示させる表示処理を実行する。また、制御部５０は、撮像部３０の光軸の向きがずれた場合に、撮像画像のうち初期設定処理により設定された領域と同様の領域の画像を表示部２０に表示させるように補正を行う補正処理を実行する。

また、制御部５０は、これらの処理の他に、カウント開始指示を取得してからタイマリセット指示を取得するまでの間、所定期間毎に、カウント開始指示を取得してからの経過時間を表す信号を出力するタイマ処理、等を実行する。

通信部６０は、制御部５０による制御に従って、表示部２０に表示させる画像を表す表示画像信号を無線通信によって送信する。
図２示すように、表示部２０は、車両の運転席付近に設置される。一例として、表示部２０は、図３に示すように、車両前方のダッシュボードの上に設けられた支持台８０に設置される。この支持台８０は、車両の乗員が表示部２０を左右方向及び上下方向に動かすことができるように該表示部２０を支持する。支持台８０は、表示部２０が設置されると制御部５０に設置検出信号を出力するように構成される。

図１に戻り説明を続ける。表示部２０は、表示通信部２１と、ディスプレイ部２２と、傾き検出部２３と、表示制御部２４とを備える。表示通信部２１は、通信部６０との無線通信によって表示画像信号を受信し、ディスプレイ部２２は表示画像信号が表す画像を表示する。傾き検出部２３は、支持台８０に設置された表示部２０が、車両の乗員によって左右方向及び上下方向に動かされた場合に、ディスプレイ部２２を含む表示部２０全体の傾きの有無及び傾きの大きさを検出するためのセンサ（例えば加速度センサ）を備える。

表示制御部２４は、通信部６０を介して制御部５０から送信された表示画像信号が表す画像をディスプレイ部２２に表示させる制御を実行する。また、表示制御部２４は、表示部２０が支持台８０に設置されている間、傾き検出部２３の出力（以下、加速度信号として説明する。）を表示通信部２１を介して画像表示制御装置１０へ無線通信により送信するための制御を実行する。

［１−２．処理］
［１−２−１．初期設定処理］
次に、制御部５０のＣＰＵ５１が実行する初期設定処理について、図４に示すフローチャートを用いて説明する。初期設定処理は、車両の乗員に、支持台８０に設置された表示部２０の表示面の向き（傾き）を変化させることによって、表示部２０に車両の乗員が指定する後方視野領域の画像が表示されるように調整させるための処理である。初期設定処理は、支持台８０に表示部２０が設置されたことをきっかけとして、すなわち、支持台８０からの設置検出信号が検出されたことをきっかけとして、起動される。なお、以下の説明において主語が省略されている場合は、ＣＰＵ５１を主語とする。

はじめに、Ｓ（ステップ）１００では、撮像部３０から撮像画像信号を取得する。なお、以下の説明では、撮像画像信号を取得することを撮像画像を取得する、と記載する。
Ｓ１１０では、撮像画像のうち表示部２０に表示させる領域の画像を表す表示画像信号を生成し、通信部６０によって、表示部２０へ該表示画像信号を送信させる。ここで、撮像画像のうち表示部２０に表示させる領域について説明しておく。図３に示すように、本実施形態では、撮像画像９０に含まれる表示枠９１内の画像を表示部２０に表示させる。本実施形態では、撮像画像９０に対する表示枠９１の位置は予め定められた位置、例えば撮像画像９０の中央付近の位置などに固定されているものとして、以下の説明を行う。

Ｓ１１５では、カウント開始指示を出力する。ここで、カウント開始指示とは、ＣＰＵ５１が実行する別処理であるタイマ処理を起動させるための指示を表し、カウント開始指示が出力されると、ＣＰＵ５１が、所定時間毎にカウント開始指示が出力されてからの経過時間の出力を行う。

Ｓ１２０では、表示部２０から送信された、表示部２０の傾きの有無及び傾きの変化の大きさを表す加速度信号を取得する。
Ｓ１２５では、Ｓ１２０にて取得した加速度信号に基づいて、表示部２０の傾きの変化量を算出する。なお、本実施形態では加速度信号に基づいて表示部２０の傾きの変化量を算出するが、加速度信号に基づいて傾きの大きさを算出してから傾きの変化量を算出するようにしてもよい。

Ｓ１３０では、Ｓ１２５で算出された傾きの変化量に基づいて、車両の乗員の操作による表示部２０の傾き変化の有無を判断する。車両の乗員の操作によって表示部２０が傾けられた場合は処理をＳ１３５へ移行させ、傾けられなかった場合は処理をＳ１４５へ移行させる。

車両の乗員によって表示部２０が傾けられた場合に移行するＳ１３５では、Ｓ１２５にて算出された傾きの変化の方向と変化量とに応じて、傾きの変化の方向と同様の方向に同様の変化量となるように撮像部３０の光軸の向きを変化させる駆動信号を可動部３１へ出力する。例えば、Ｓ１２５にて水平方向へ所定量及び垂直方向へ所定量の傾きの変化量が算出されたとする。この場合、該傾きの変化量に応じて傾きの変化と同様の方向に撮像部３０の光軸の向きを変化させるように、水平可動部及び垂直可動部を駆動させる駆動信号を可動部３１へ出力する。

このように、Ｓ１２０〜Ｓ１３５では、車両の乗員の操作によって表示部２０が傾けられた場合に、その傾きの方向と変化量に応じて撮像部３０の光軸の向きを変化させることによって、表示部２０に表示させる画像を変化させる。つまり、表示枠９１に表示させる画像を変化させる。これにより、車両の乗員に、表示部２０に表示された画像を確認させながら、撮像部３０の光軸の向きを変化させるようにしている。

Ｓ１４０では、タイマリセット指示を出力した後、カウント開始指示を出力し、処理をＳ１２０へ移行させ、Ｓ１２０〜Ｓ１３０の一連の処理を繰り返す。ここで、タイマリセット指示とは、ＣＰＵ５１が実行する別処理であるタイマ処理を停止させるための指示を表し、タイマリセット開始指示が出力されると、ＣＰＵ５１が、カウント開始指示が出力されてからの経過時間のリセットを行う（経過時間の値を０に設定する）。

車両の乗員の操作による表示部２０の傾きが無かった場合に移行するＳ１４５では、車両の乗員による表示部２０（表示部２０の表示面）の傾きの初期設定が完了したか否かを判断する。具体的には、ＣＰＵ５１による別処理として実行されるタイマ処理により出力される経過時間を取得し、カウント開始指示を出力してからの経過時間が予め定められた初期設定期間以上であった場合に、表示部２０の傾きの初期設定が完了したと判断する。車両の乗員は、表示部２０の表示面の向きを適切に設定し終えると、その後は表示部２０の向きを変化させないと考えられる。

つまり、表示部２０の傾きの変化が検出されない状態が継続すると考えられる。初期設定期間は、車両の乗員が表示部２０の向きを設定し終えたと判断される程度の期間（例えば、十〜数十（秒））に設定される。初期設定が完了した場合は処理をＳ１５０へ移行させ、初期設定が完了していない場合は処理をＳ１２０へ移行させる。なお以下では、本ステップにおいて初期設定が完了したと判断されたときを初期設定時といい、初期設定時の撮像部３０の光軸の向きを初期期設定方向というものとする。

初期設定が完了したと判断された場合に移行するＳ１５０では、撮像画像９０における特徴点を検出する。具体的には、撮像画像９０における無限遠点を特徴点として検出する。撮像画像９０における無限遠点は、例えば、オプティカルフロー等の手法に基づいて検出される。

Ｓ１５５では、撮像特徴点設定位置を特定する。撮像特徴点設定位置は、車両の乗員が表示部２０の向き（換言すれば、本実施形態では撮像部３０の光軸の向き）の初期設定を完了したときの、撮像画像９０に対する特徴点の位置である。ここでは一例として図５に示すように、撮像画像９０（９０ａ）の水平方向をｘ軸、垂直方向をｙ軸とし、撮像画像９０の左下隅を撮像原点Ｐとして、撮像原点Ｐの座標を（０、０）とする。そして、撮像原点Ｐに対する特徴点Ｇの座標（ｘ１、ｙ１）を、撮像特徴点設定位置として特定する。

Ｓ１６０では、撮像画像９０に対する表示枠９１の位置を特定する。ここでは一例として図５に示すように、表示枠９１（９１ａ）の左下隅を表示枠原点Ｑとし、撮像画像９０（９０ａ）の撮像原点Ｐに対する表示枠原点Ｑの座標（ｘ２、ｙ２）を、撮像画像９０に対する表示枠９１の位置として特定する。

Ｓ１６５では、表示特徴点設定位置を特定する。表示特徴点設定位置は、車両の乗員が表示部２０の向きの初期設定を完了したときの、特徴点の表示枠９１に対する位置である。ここでは一例として図５に示すように、表示枠原点Ｑの座標を（０、０）としたときの表示枠原点Ｑに対する特徴点Ｇの座標（ｘ１−ｘ２、ｙ１−ｙ２）を、表示特徴点設定位置として特定する。

Ｓ１７０では、基準変位量を特定する。基準変位量は、車両の乗員が表示部２０の向きの初期設定を完了したときの可動部３１の（ギアの）基準位置に対する変位量、すなわち水平可動部のギアの水平基準位置からの変位量及び垂直可動部のギアの垂直基準位置からの変位量を示す値である。ここでは、水平方向及び垂直方向のギアの基準位置からの変位量を示すエンコーダ３１１による検出結果を基準変位量として特定する。

Ｓ１７５では、撮像特徴点設定位置、撮像画像９０に対する表示枠９１の位置、表示特徴点設定位置、基準変位量を、設定情報としてＲＡＭ５３に記録する。そして、本初期設定処理を終了する。

つまり、初期設定処理では、車両の乗員に、表示部２０に表示された画像を確認させながら、表示部２０に車両の乗員が指定する後方視野領域の画像が表示されるように撮像部３０の光軸の向きを調整させている。

［１−２−２．表示処理］
次に、制御部５０のＣＰＵ５１が実行する表示処理について、図６に示すフローチャートを用いて説明する。表示処理は、初期設定処理によって、撮像部３０の光軸の向きの初期設定方向が設定された後に実行される処理である。なお、表示処理は、前述のように撮像画像９０に対する表示枠９１の位置が設定された後に、実行されてもよい。表示処理は、リアポジション信号が検出されたことをきっかけとして起動される。以下の説明において主語が省略されている場合は、ＣＰＵ５１を主語とする。

はじめに、Ｓ２１０では、撮像部３０が撮像した撮像画像を取得する。
Ｓ２２０では、撮像画像９０における表示枠９１内の画像を表す表示画像信号を生成し、通信部６０に該表示画像信号を表示部２０へ送信させる。

Ｓ２３０では、シフトポジションがリアであるか否かを判断する。具体的には、リアポジション信号が検出されている場合に、シフトポジションがリアであると判断する。シフトポジションがリアである場合は処理をＳ２１０へ移行させ、リアでない場合は、本表示処理を終了する。

つまり、表示処理では、シフトポジションがリアである間、撮像部３０から取得された撮像画像９０における表示枠９１の画像を、表示部２０へ送信し続ける。
［１−２−３．補正処理］
次に、制御部５０のＣＰＵ５１が実行する補正処理について、図７に示すフローチャートを用いて説明する。補正処理は、支持台８０に表示部２０が設置された後であって、リアポジション信号が出力されている間に、繰り返し実行される。

Ｓ３１０では、撮像画像を取得する。
Ｓ３２０では、Ｓ３１０にて取得された撮像画像の中の特徴点Ｇを検出する。本実施形態では、前述の初期設定処理と同様に、撮像画像中の無限遠点を特徴点Ｇとして検出する。

Ｓ３３０では、Ｓ３２０で検出された特徴点の撮像画像に対する位置である撮像特徴点位置を特定する。例えば、図５に示すように、取得された撮像画像が撮像画像９０ｂである場合は、撮像画像９０ｂの撮像原点Ｒを座標（０、０）としたときの特徴点Ｇの座標が撮像特徴点位置として検出される。また、取得された撮像画像が撮像画像９０ｃである場合は、撮像画像９０ｃの撮像原点Ｔを座標（０、０）としたときの特徴点Ｇの座標が撮像特徴点位置として検出される。当然のことながら、撮像画像９０ｂ及び撮像画像９０ｃが取得されたときの撮像部３０の光軸の向きが初期設定方向に対してずれている場合、撮像画像９０ｂ及び撮像画像９０ｃの撮像特徴点位置は、撮像特徴点設定位置とは異なる値となる。

Ｓ３４０では、Ｓ３２０で検出された特徴点Ｇの表示枠９０に対する位置である表示特徴点位置を特定する。例えば、図５に示すように、取得された撮像画像が撮像画像９０ｂである場合は、撮像画像９０ｂにおける表示枠９１ｂの表示枠原点Ｓを座標（０、０）としたときの特徴点Ｇの座標が表示特徴点位置として検出される。また、取得された撮像画像が撮像画像９０ｃである場合は、撮像画像９０ｃにおける表示枠９１ｃの表示枠原点Ｕを座標（０、０）としたときの特徴点Ｇの座標が表示特徴点位置として検出される。当然のことながら、撮像画像９０ｂ及び撮像画像９０ｃが取得されたときの撮像部３０の光軸の向きが、初期設定方向に対してずれている場合、撮像画像９０ｂ及び撮像画像９０ｃの表示特徴点位置は、表示特徴点設定位置とは異なる値となる。

Ｓ３５０では、ＲＡＭ５３に記録されている設定情報のうち、撮像特徴点設定位置及び表示特徴点設定位置を取得する。
Ｓ３６０では、撮像部３０の光軸の向きの初期設定方向に対するずれ量を検出し、検出したずれ量に基づいて、該光軸の向きにずれが生じた否かを判断する。本実施形態では一例として、撮像特徴点設定位置とＳ３３０にて特定された撮像特徴点位置との距離をずれ量として検出し、検出したずれ量が予め定められた第１の距離閾値以上である場合に、撮像部３０の光軸の向きにずれが生じたと判断する。第１の距離閾値は、例えば、光軸の向きを少しずつずらした前後の撮像画像を車両の乗員に見せて、これらの撮像画像を見た車両の乗員が違和感を覚えたときのずれ量に基づいて設定されてよい。撮像部３０の光軸の向きにずれが生じた場合は処理をＳ３７０へ移行させ、ずれが生じていない場合は本補正処理を終了する。

撮像部３０の光軸の向きにずれが生じた場合に移行するＳ３７０では、生じたずれ量を可動部３１を駆動させることによって補正可能であるか否かを判断する。本実施形態では一例として、撮像画像９０における撮像特徴点設定位置と撮像特徴点位置との距離が第１の距離閾値よりも大きい第２の距離閾値未満である場合に、生じたずれ量を可動部３１を駆動させることによって補正可能であると判断する。第２の距離閾値は、例えば、可動部３１の可動範囲に基づいて設定されてよい。

第２の距離閾値は、水平方向については、一例として、水平可動部において変位可能なギア数の上限に基づいて設定されてよい。また、第２の距離閾値は、垂直方向については、一例として、垂直可動部において変位可能なギア数の上限に基づいて設定されてよい。つまり、本処理では、可動部３１を駆動させることによって生じたずれ量を補正可能と判断された場合は処理をＳ３８０へ移行させ、補正不可能と判断された場合は処理をＳ３９０へ移行させる。

ずれ量を可動部３１を駆動させることによって補正可能と判断された場合に移行するＳ３８０では、撮像画像９０における撮像特徴点設定位置に対する撮像特徴点位置のずれ量を減少させるように、すなわち初期設定方向に対する撮像部３０の光軸の向きのずれを減少させるように、撮像部３０の光軸の向きを変化させる指示である駆動信号を可動部３１へ出力する。つまり、一例として、図５のように撮像画像９０ｂが取得された場合は、撮撮像画像９０ｂの撮像原点Ｒを座標（０、０）としたときの特徴点Ｇの座標である撮像特徴点位置と、撮像原点Ｐを座標（０、０）としたときの特徴点Ｇの座標である撮像特徴点設定位置との、ｘ方向及びｙ方向における差分を算出する。そして、これらの差分を打ち消すように、可動部３１の水平可動部及び垂直可動部を駆動させる駆動信号を出力する。

ずれ量を可動部３１を駆動させることによって補正不可能と判断された場合に移行するＳ３９０では、初期設定方向に対する撮像部３０の光軸の向きのずれ量を打ち消す方向に、撮像画像における表示枠の位置を変化させる。具体的には、撮像画像９０における表示特徴点設定位置に対する表示特徴点位置のずれ量を小さくするように、撮像画像９０における表示枠９１の位置を変化させる。

つまり、一例として、図５のように撮像画像９０ｃが取得された場合は、撮撮像画像９０ｃの表示枠原点Ｕを座標（０、０）としたときの特徴点Ｇの座標である表示特徴点位置と、表示枠原点Ｑを座標（０、０）としたときの特徴点Ｇの座標である表示特徴点設定位置との、ｘ方向及びｙ方向における差分を算出する。そして、これらのｘ方向及びｙ方向の差分を打ち消すように、撮像画像９０ｃにおける表示枠９１ｃの位置を変化させる。

つまり、補正処理では、ずれ量が第２の距離閾値未満である場合に可動部３１によって撮像部３０の光軸の向きを変化させ（Ｓ３８０）、ずれ量が第２の距離閾値以上である場合に撮像画像９０に対する表示枠９１の位置を変化させる（Ｓ３９０）。

このように構成された補正処理では、図８に示すように、表示枠９１に対する特徴点Ｇの関係が設定情報が記録された初期設定時と同様となるように、撮像部３０の光軸の向き、または撮像画像９０に対する表示枠９１の位置が補正される。

［１−４．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
［１Ａ］走行中であっても、車両に搭載された撮像部３０の光軸の向きがずれた場合に自動で光軸の向きが補正される（Ｓ３８０）ため、光軸の向きがずれる前と同様の後方視野領域を撮像した画像を表示部２０に表示させることができる。

［１Ｂ］撮像部３０の光軸の向きを可動部３１を駆動させることによって調整できる範囲は、可動部３１の構成に基づいて制限される。ただし、この可動部３１を駆動させることによって調整できる範囲を大きく超えて撮像部３０の光軸の向きがずれる状況も生じ得る。そこで、可動部３１を駆動させることによって調整可能な範囲を超えて撮像部３０の光軸の向きがずれた場合には、撮像部３０の光軸のずれ量を打ち消す方向に、撮像画像９０に対する表示枠９１の位置を変化させてもよい（Ｓ３９０）。これによれば、仮に、可動部３１を駆動させることによって調整可能な範囲を超えて撮像部３０の光軸の向きがずれた場合であっても、撮像画像９０に対する表示枠９１の位置を変化させることによって、光軸の向きがずれる前と同様の後方視野領域を撮像した画像を表示部２０に表示させることができる。

［１Ｃ］撮像部３０の光軸の向きのずれ量に応じて、撮像画像９０に対する特徴点Ｇの位置は変化する。そこで、初期設定時の撮像画像９０（９０ａ）に対する特徴点Ｇの位置（撮像特徴点設定位置）と、撮像部３０の光軸の向きのずれの有無を判断する際に取得された撮像画像９０（９０ｂ、９０ｃ）に対する特徴点Ｇの位置（撮像特徴点位置）とを比較して、ずれ量を検出してもよい。これによれば、撮像画像に基づいて撮像部３０の光軸の向きのずれ量を検出することができる。

［１Ｄ］撮像部３０の光軸の向きのずれ量に応じて、ずれ量が予め設定された基準値（本実施形態では第２の距離閾値）未満である場合（Ｓ３７０；ＹＥＳ）は、可動部３１を駆動させることによって撮像部３０の光軸の向きを補正して、表示部２０に表示させる画像を補正してもよい（Ｓ３８０）。また、ずれ量が基準値（第２の距離閾値）以上である場合（Ｓ３７０；ＮＯ）は、画像処理によって表示部２０に表示させる画像を補正してもよい（Ｓ３９０）。これによれば、ずれ量の大きさに関係なく、光軸の向きがずれる前と同様の後方視野領域を撮像した画像を表示部２０に表示させることができる。

［１Ｅ］撮像部３０は、表示部２０の傾きの変化に応じて撮像部３０の光軸の向きを変えるように構成されたものであってもよい。これによれば、表示部２０の傾きの変化に応じて撮像部３０の光軸の向きが変化するので、車両の乗員が表示部２０の画像を確認しながら撮像部３０の光軸の向きを調整することができる。

［１Ｆ］撮像部３０の光軸の向きを調整するために表示部２０の傾きを変化させた後、初期設定期間が経過しても表示部２０の傾きの変化が検出されなかった場合（Ｓ１４５；ＹＥＳ）、このときの撮像部３０の光軸の向きを初期設定方向として設定してもよい。これによれば、ボタン操作等の車両の乗員による特別な操作無しに初期設定方向を設定することができる。ここで、車両の乗員は、支持台８０に設置された表示部２０を、支持台８０から離して再び支持台８０に設置し直すことによって、表示部２０に表示させる後方視野領域の画像を再調整してもよい。

なお、第１実施形態では、撮像部３０がカメラとしての一例に相当し、制御部５０が画像表示装置としての一例に相当する。また、Ｓ３００が変位量取得手段としての処理の一例に相当し、Ｓ３１０が画像取得手段としての処理の一例に相当し、Ｓ３２０が特徴点位置検出手段としての処理の一例に相当し、Ｓ３３０が設定位置取得手段としての処理の一例に相当する。また、Ｓ３６０がずれ量検出手段としての処理の一例に相当し、Ｓ３７０が補正作動手段としての処理の一例に相当し、Ｓ３８０が第１の補正手段としての処理の一例に相当し、Ｓ３９０が第２の補正手段としての処理の一例に相当する。

また、Ｓ１２０が傾き変化取得手段としての処理の一例に相当し、Ｓ１３５が同期指示出力手段としての処理の一例に相当し、Ｓ１４５が初期方向設定手段としての処理の一例に相当し、Ｓ１６０が設定手段としての処理の一例に相当する。また、表示枠が画像枠としての一例に相当し、車両の乗員がユーザとしての一例に相当し、駆動信号が光軸指示、同期指示としての一例に相当し、加速度信号が傾き変化信号の一例に相当し、第２の距離閾値が可動部閾値の一例に相当する。

［２．第２実施形態］
［２−１．構成］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。

前述した第１実施形態では、撮像部３０の光軸の向きのずれ量を撮像画像９０に基づいて検出していた（Ｓ３６０、Ｓ３７０）。これに対し、第２実施形態では、撮像部３０の光軸の向きのずれ量を可動部３１の基準位置に対する変位量に基づいて判断する点で、第１実施形態と相違する。具体的には、図７に示す第１実施形態の補正処理に対して、図９に示す第２実施形態の補正処理では、Ｓ３００が追加され、Ｓ３５０、Ｓ３６０、Ｓ３７０がそれぞれＳ３５１、Ｓ３６１、Ｓ３７１に置換される点が異なる。

［２−２．処理］
第２実施形態の補正処理を図９に示すフローチャートを用いて説明する。
Ｓ３００では、初期設定手段によって撮像部３０の光軸の初期設定方向が特定された後に、エンコーダ３１１から出力される、可動部３１の基準位置に対する変位量を取得する。

Ｓ３１０〜Ｓ３４０は、第１実施形態のＳ３１０〜Ｓ３４０と同様の処理を実行する。
Ｓ３５１では、第１実施形態のＳ３５０とは異なり、設定情報のうち、表示特徴点設定位置と、基準変位量とを取得する。

Ｓ３６１では、撮像部３０の光軸の向きの初期設定方向に対するずれ量を検出し、検出したずれ量に基づいて、該光軸の向きにずれが生じた否かを判断する。本ステップでは、第１実施形態のＳ１６０のように撮像画像９０に基づいてずれ量を検出するのでは無く、可動部３１の（ギアの）基準位置に対する変位量に基づいてずれ量を検出する。具体的には、Ｓ３００にて取得された可動部３１の変位量、すなわち、水平可動部及び垂直可動部のギアの基準位置に対する変位量が、基準変位量が特定されたときと比べてどれだけずれているかをずれ量として検出する。そして、検出されたずれ量が所定の第１の可動閾値以上である場合に、撮像部３０の光軸の向きにずれが生じたと判断する。

第１の可動閾値は、例えば、光軸の向きを少しずつずらした前後の撮像画像を車両の乗員に見せて、これらの撮像画像を見た車両の乗員が違和感を覚えたときの、変位量のずれ（差分）に基づいて設定されてよい。第１の可動閾値は、水平可動部及び垂直可動部のそれぞれについて設定される。撮像部３０の光軸の向きにずれが生じたと判断された場合は処理をＳ３７１へ移行させ、ずれが生じていないと判断された場合は本補正処理を終了する。

Ｓ３７１では、生じたずれ量を可動部３１を駆動させることによって補正可能であるか否かを判断する。本ステップでは、第１実施形態のＳ１６０のように撮像画像９０に基づいて判断するのでは無く、可動部３１の（ギアの）基準位置に対する変位量に基づいて判断する。具体的には、Ｓ３００にて取得された可動部３１の変位量、すなわち、水平可動部及び垂直可動部のギアの基準位置に対する変位量が、基準変位量が特定されたときと比べてどれだけずれているかをずれ量として検出し（Ｓ３６１）、このずれ量が、第１の可動閾値よりも大きい第２の可動閾値未満である場合に、生じたずれ量を可動部３１を駆動させることによって補正可能であると判断する。

第２の可動閾値は、第１実施形態と同様に、可動部３１の可動範囲に基づいて設定されてよい。生じたずれ量を可動部３１を駆動させることによって補正可能と判断された場合は処理をＳ３８０へ移行させ、補正不可能と判断された場合は処理をＳ３９０へ移行させる。

Ｓ３８０〜Ｓ３９０は、第１実施形態のＳ３８０〜Ｓ３９０と同様の処理を実行する。
［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果［１Ａ］〜［１Ｆ］と同様の効果に加え、次の効果［２Ａ］が得られる。

［２Ａ］初期設定時の可動部３１の基準位置に対する変位量である基準変位量と、撮像部３０の光軸の向きのずれの有無を判断する際に取得された可動部３１の基準位置に対する変位量とを比較して、差分をずれ量として検出してもよい。これによれば、撮像部３０の光軸の向きのずれの有無の判断、及びずれ量の検出が、画像処理に基づいて行われないため、第１実施形態よりもＣＰＵ５１の処理負荷を低減することができる。

なお、第２実施形態では、Ｓ３５１が基準変位量取得手段としての処理の一例に相当し、Ｓ３６１がずれ量検出手段としての処理の一例に相当する。
［３．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

［３Ａ］上記実施形態では、撮像画像９０に対する特徴点Ｇの位置に基づいて撮像部３０の光軸のずれ量を検出した（Ｓ３６０）が、ずれ量の検出はこれに限るものではない。例えば、Ｓ３６０に代えて、表示枠９１に対する特徴点Ｇの位置（表示特徴点位置）に基づいてずれ量を検出し、このずれ量を打ち消すように可動部３１を駆動させる指示を出力（Ｓ３８０）してもよい。

［３Ｂ］上記実施形態では、多機能携帯電話（所謂スマートフォン）が表示部２０として用いられたが、表示部２０の構成はこれに限るものではない。例えば、撮像部３０からの撮像画像を表示することが可能で、運転者によって上下左右に動かされる可動部を有するようなルームミラーである電子ミラーが、表示部２０として用いられてもよい。又、撮像部３０からの撮像画像を表示することが可能で、運転者によって上下左右に動かされる可動部を有するようなディスプレイである可動式ディスプレイが、表示部２０として用いられてもよい。

［３Ｃ］上記実施形態では、撮像部３０の撮像画像９０が無線通信によって表示部２０に送信されていたが、撮像画像９０の送信方式はこれに限るものではない。撮像画像９０が有線通信によって表示部２０に送信されてもよい。

［３Ｄ］上記実施形態では撮像画像９０における無限遠点を特徴点として用いたが、特徴点はこれに限るものではない。例えば、撮像画像９０において、無限遠点以外の特定の点を特徴点としてもよい。また、撮像画像９０において、人、車両、白線、道路標識などの予め定められた対象物を特徴点としてもよい。

［３Ｅ］車両（具体的には車両における所定の基準点）を基準とした撮像部３０の３次元空間での座標位置、ピッチ角、ヨー角及びロール角等の情報をカメラパラメータとしてＲＡＭ５３に記録し、このカメラパラメータに基づいて可動部３１の変位量を検出してもよい。

［３Ｆ］上記実施形態は、制御部５０は、車両のシフトポジションがリアであることを検出した場合に、表示部２０に撮像画像９０の一部を表示させるものであった。これに限らず、制御部５０は、例えば、方向指示器の出力を検出した場合に、表示部２０に撮像画像９０の一部（例えば方向指示器が示す方向の自車両後方の画像）を表示させるものであってもよい。

［３Ｇ］上記実施形態では、初期設定処理では、撮像画像９０に対する表示枠９１の位置は予め定められた位置（例えば撮像画像９０の中央付近の位置）に固定され、表示部２０の傾きの変化に応じて撮像部３０による撮像領域を変化させることによって、表示枠９１に表示させる画像を変化させていた。ただし、初期設定処理は、これに限らず、撮像部３０の光軸の向きが予め定められた向きに固定され、車両の乗員による表示部２０の傾きの変化に応じて撮像画像９０に対する表示枠９１の位置を変化させることによって、表示枠９１に表示させる画像を変化させる処理であってもよい。

［３Ｈ］上記実施形態では、初期設定処理は、支持台８０に表示部２０が設置されることをきっかけとして起動したがこれに限るものではなく、表示部２０の傾きの変化量が所定値以上検出されたことをきっかけとして起動するものであってもよい。

［３Ｉ］上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

［３Ｊ］本発明は、前述した画像表示システム１、画像表示制御装置１０、制御部５０の他、制御部５０を機能させるためのプログラム、このプログラムを記録した媒体、画像表示方法など、種々の形態で実現することができる。

１…画像表示システム １０…画像表示制御装置 ２０…表示部 ３０…撮像部 ５０…制御部 ５１…ＣＰＵ。

Claims (7)

1. 車両に搭載され、撮像画像の少なくとも一部を表示部（２０）に表示させる画像表示装置（５０）であって、
   前記車両に搭載され可動部を動かすことによって光軸の向きを調整可能なカメラ（３０）、で撮像された撮像画像を取得する画像取得手段（Ｓ３１０）と、
   予め定められたカメラの光軸の向きを初期設定方向として、カメラの光軸の向きの初期設定方向に対するずれ量を検出するずれ量検出手段（Ｓ３６０、Ｓ３６１）と、
   前記ずれ量を減少させるようにカメラにおける光軸の向きを変化させる光軸指示を前記可動部へ出力する第１の補正手段（Ｓ３８０）と、
   を備えることを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置であって、
   前記撮像画像における領域であって表示部に画像を表示させる際にユーザが予め指定した領域を、前記撮像画像に対する画像枠として設定する設定手段（Ｓ１６０）と、
   前記ずれ量検出手段によって検出されたずれ量に応じて、前記撮像画像に対する画像枠の位置を、前記カメラの光軸のずれ量を打ち消す方向に補正する第２の補正手段（Ｓ３９０）と、
   を備えることを特徴とする画像表示装置。
3. 請求項２に記載の画像表示装置であって、
   前記画像取得手段は、前記設定手段による画像枠の設定後にも撮像画像を取得し、
   前記設定手段によって画像枠が設定されたときの撮像画像に対する特徴点の位置である特徴点設定位置を取得する設定位置取得手段（Ｓ３３０）と、
   前記設定手段による画像枠の設定後に画像取得手段によって撮像画像が取得されたときの該撮像画像に対する特徴点の位置である特徴点位置を検出する特徴点位置検出手段（Ｓ３２０）と、
   を備え、
   前記ずれ量検出手段（Ｓ３６０）は、前記特徴点設定位置に対する特徴点位置のずれに基づいて、前記ずれ量を検出する
   ことを特徴とする画像表示装置。
4. 請求項２または請求項３に記載の画像表示装置であって、
   前記ずれ量が予め設定された可動部閾値以上である場合に前記第２の補正手段を作動させ、前記ずれ量が予め設定された可動部閾値未満である場合に前記第１の補正手段を作動させる補正作動手段（Ｓ３７０）
   を備えることを特徴とする画像表示装置。
5. 請求項２から請求項４のいずれか一項に記載の画像表示装置であって、
   前記設定手段によって画像枠が設定されたときの予め定められた基準位置に対する可動部の位置の変位量を、基準変位量として取得する基準変位量取得手段（Ｓ３５１）と、
   前記設定手段によって前記画像枠が設定された後、前記基準位置に対する可動部の位置の変位量を取得する変位量取得手段（Ｓ３００）と、
   を備え、
   前記ずれ量検出手段（Ｓ３６１）は、前記変位量取得手段によって取得された変位量の前記基準変位量に対する差分を前記ずれ量として検出する
   ことを特徴とする画像表示装置。
6. 請求項１から請求項５のいずれか一項に記載の画像表示装置であって、
   ユーザの操作によって傾きが調整されるように構成された表示部において該表示部の傾きの変化方向に応じた傾き変化信号を取得する傾き変化取得手段（Ｓ１２０）と、
   前記可動部へ、前記傾きの変化方向に基づいて、前記撮像画像に対する画像枠の位置を前記傾きの変化方向と同様の方向に変化させるような同期指示を出力する同期指示出力手段（Ｓ１３５）と、
   を備えることを特徴とする画像表示装置。
7. 請求項６に記載の画像表示装置であって、
   前記同期指示が出力された後、予め定められた初期設定期間の間、前記傾き変化取得手段によって表示部の傾きの変化が検出されなかった場合に、前記同期指示に基づくカメラの光軸の向きを前記初期設定方向として設定する初期方向設定手段（Ｓ１４５）
   を備えることを特徴とする画像表示装置。