JP2013175064A - 映像処理装置、映像処理方法、および映像表示システム - Google Patents

Abstract

【課題】車載カメラにより広角撮影された映像の歪み具合を運転者が把握することができる映像処理装置、映像処理方法、および映像表示システムを提供する。
【解決手段】移動体１００に取り付けられ、移動体１００の進行方向を広角撮影可能なカメラ１２により撮影された映像に参照線を重畳する映像処理装置４０は、移動体１００の進行方向および現在位置を基準として想定される所定の仮想線を、カメラ１２により撮影された映像の歪みに応じて歪ませて参照線として付与するように制御する制御部１４を備えている。
【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、および映像表示システムに関するものである。より詳細には、本発明は、移動体に取り付けられたカメラにより撮影された映像を処理する映像処理装置、映像処理方法、および当該映像処理装置を含む映像表示システムに関するものである。

近年、自動車に車載カメラを設置して撮影した映像を、車内に設置したディスプレイ等の表示部に表示することにより、運転者の安全確認などを補助する技術が知られている。

例えば、自動車の前方の先端付近にカメラを設置して、自動車の前方すなわち進行方向を撮影した映像を車内の運転者に示すことにより、見通しの悪い道路から交差点に進入する際などの安全性を高めようとする技術がある。また、例えば、自動車の後方を撮影できる位置にカメラを設置して、自動車の後方を中心とする映像を車内の運転者に示すことにより、運転者が自動車を後進させる際の安全性を高めようとする技術もある。

このような技術には、一般的に広角撮影が可能なカメラ、すなわち広角レンズなどの画角の広いレンズを搭載したカメラが採用されることが多い（例えば、特許文献１参照）。これは、広角撮影可能なカメラで撮影された映像の方が、当該映像を表示部に表示した際に、運転者が一画面で視認できる範囲が広くなる等の理由によるものである。

特開２００６−３１１２２２号公報

しかしながら、上記特許文献１からも明らかなように、車載カメラとして採用される広角撮影可能なカメラで撮影した映像は、通常、映像の中心から外側に向かって徐々に歪むようになる。

例えば、図７に示すように、自動車１００の前方先端部に設置した広角撮影可能なカメラ１２０によって、自動車１００の前方の映像を撮影する場合について説明する。図７は、駐車場に停車している自動車および駐車場の周辺を上方から見た状態を表す図である。図７に示す例において、カメラ１２０は、両端に矢印を付した円弧で示すように、水平方向に１８０°を少し超える程度の画角の映像を撮影可能である。図７に示す駐車場においては、自動車の駐車位置を表す白線３００により、各車両が駐車すべき位置が示されている。また、この駐車場の周辺には、建物４００が建っているとする。

図７に示すような状況で、カメラ１２０によって自動車１００の前方を撮影したものを、車内に設置したディスプレイ等の表示部１６０に表示すると、図８に示すような映像になる。図８に示すように、白線３００のうち実際には水平方向にまっすぐな部分は大きく湾曲し、画面の左右方向における端に向かうに連れてその曲率も高くなっている。また、白線３００のうち自動車１００の進行方向と平行である線分は、画面の左右方向における端に向かうに連れて自動車１００の進行方向との角度が大きくなっている。さらに、当該平行な部分同士は、実際には等間隔であるにもかかわらず、表示部１６０の表示上は等間隔になっていない。

一般的に、このようなカメラで撮影した映像は、画面左右方向における中央部分はあまり歪みを含まないが、中央部分から遠ざかるにつれて歪みが大きくなり、左右方向における端部においてはかなりの歪みを含むものとなる。このため、運転者は、このような歪みを含む映像による補助があっても、自車と他の物体との間の距離を把握するのが困難であるのみならず、自車が進行する方向を基準とした他の物体の方向を把握するのも困難である。

したがって、かかる事情に鑑みてなされた本発明の目的は、車載カメラにより広角撮影された映像の歪み具合を運転者が把握することができる映像処理装置、映像処理方法、および映像表示システムを提供することにある。

上記目的を達成する第１の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に参照線を重畳する映像処理装置であって、
前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御する制御部を備えることを特徴とするものである。

また、前記所定の仮想線は、前記移動体の進行方向に平行な直線に直交し当該移動体の現在位置から所定の距離にある直線状であるのが好ましい。

また、前記制御部は、前記参照線を複数付与する場合、前記カメラにより撮影された映像の歪みに応じて、当該複数の参照線がそれぞれ重畳される位置における映像の歪みに対応する曲率になるように制御するのが好ましい。

また、前記所定の仮想線は、前記移動体の進行方向に平行な直線状であるのが好ましい。

また、前記所定の仮想線は、前記移動体の進行方向に平行な複数の等間隔に離間した直線状であるのが好ましい。

また、前記制御部は、前記参照線を複数付与する場合、前記カメラにより撮影された映像の歪みに応じて、当該複数の参照線同士の間隔が異なるように制御するのが好ましい。

また、前記制御部は、前記参照線を複数付与する場合、少なくとも１つの参照線が他のいずれかの参照線と表示態様が異なるように制御するのが好ましい。

また、前記制御部は、前記移動体において前記カメラの設置される垂直方向の高さに応じて、前記参照線の表示位置が異なるように制御するのが好ましい。

また、前記制御部は、前記移動体において前記カメラの設置される垂直方向の高さに応じて、前記参照線の曲率が異なるように制御するのが好ましい。

また、前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化しても、前記参照線の表示位置を維持するのが好ましい。

また、前記カメラにより撮影された映像は、魚眼レンズを備えるカメラにより撮影された映像とするのが好ましい。

また、前記カメラにより撮影された映像は、複数のカメラにより撮影された映像を合成したものとするのが好ましい。

また、前記制御部は、前記移動体のライトが点灯されたら、前記参照線の表示態様が変化するように制御するのが好ましい。

また、前記制御部は、前記カメラにより撮影された映像の明暗に応じて、前記参照線の表示態様が異なるように制御するのが好ましい。

また、前記制御部は、前記カメラにより撮影された映像に対して前記参照線を重畳させる際、当該映像の奥行き方向よりも幅方向に長い領域内に重畳させるよう制御するのが好ましい。

また、上記目的を達成する第２の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に参照線を重畳する映像処理方法であって、
前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御する制御ステップを含むことを特徴とするものである。

さらに、上記目的を達成する第３の観点に係る発明は、
移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラと、
前記カメラにより撮影された映像に参照線を重畳する制御部と、
前記カメラにより撮影された映像および前記参照線を表示する表示部と、
を含む映像表示システムであって、
前記制御部は、前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御することを特徴とするものである。

本発明の映像処理装置、映像処理方法、および映像表示システムによれば、運転者は、車載カメラにより広角撮影された映像の歪み具合を把握することができる。

本発明の一実施形態に係る映像表示システムの概略構成を示す図である。 本発明の一実施形態に係る仮想線と移動体との関係を説明する図である。 本発明の一実施形態に係る参照線の例を示す図である。 本発明の一実施形態に係る参照線の他の例を示す図である。 移動体に設置するカメラの高さを説明する図である。 設置されたカメラの高さに応じた参照線の例を示す図である。 カメラを設置した自動車および駐車場を上方から見た図である。 広角撮影可能なカメラにより撮影した映像を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る映像処理装置を含む映像表示システムの概略構成の例を示す図である。図１に示すように、本実施形態に係る映像表示システムは、カメラ１２と、カメラ制御部１４と、表示部１６と、を含んで構成される。また、図１に示すように、本実施形態に係る映像処理装置４０は、カメラ制御部１４を備えている。本実施形態に係る映像処理装置４０は、例えば自動車などの移動体１００に設置することを想定している。しかしながら、自動車以外の移動体に設置して使用することも当然可能である。

図１に示すように、本実施形態に係る映像表示システムにおいては、バス１０に各種の機能を構成する要素が接続されている。バス１０に接続された映像処理装置４０は、カメラ制御部１４を備え、カメラ制御部１４にはカメラ１２が接続されている。その他、バス１０には、自動車に備えられた電子機器関連の要素のうち主なものとして、表示部１６、イグニッションスイッチ１８、舵角センサ２０、ブレーキセンサ２２、ＧＰＳ２４、ライト２６、スピーカ２８、制御部３０などが接続される。以下の説明においては、特に、自動車を構成する各機能部のうち映像などの各種の情報が取得される要素、および映像などの各種の情報が出力される要素を中心に説明し、他の機能部を構成する要素は図示および説明を省略する。

カメラ１２は、例えば魚眼レンズなどの画角の広いレンズを備え、広角撮影が可能である。カメラ１２が撮影した映像は、映像処理装置４０のカメラ制御部１４に送られる。カメラ制御部１４は、カメラ１２が撮影した映像に、本実施形態に係る後述の参照線を重畳する処理が行われるように制御する他、カメラ１２に関連する各種の制御を行う。例えば、図１においてカメラ１２は１つの要素として示してあるが、カメラ１２を複数設置することもできる。この場合、カメラ制御部１４は、複数のカメラ１２が連携するように制御を行う。そして、カメラ制御部１４は、複数のカメラ１２から送られる複数の映像を加工して合成してから、前記参照線を重畳する処理が行われるように制御する。

映像処理装置４０は、カメラ１２により撮影された映像にカメラ制御部１４が前記参照線を重畳した映像を出力する。本実施形態において、映像処理装置４０は、図１に示すように、カメラ制御部１４を備えたユニットとして説明し、外部のカメラ１２から映像を入力するものとして説明する。しかしながら、映像処理装置４０は、カメラ制御部１４およびカメラ１２を含んで、全体としてカメラユニットを構成するものとしてもよい。

表示部１６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイ等で構成し、各種の情報および映像などを表示する。例えば、自動車１００の各種の車両情報を表示したり、ＧＰＳ２４を利用したナビゲーションシステムの画面を表示したりすることができる。本実施形態においては、表示部１６は、映像処理装置４０から出力された映像を表示する。

イグニッションスイッチ１８は、移動体１００のエンジンを始動したり停止したりするスイッチであるが、アクセサリをオンにすることで移動体１００の多くの電子機器が通電するため、実質的には映像表示システムのメインスイッチのような働きをする。

舵角センサ２０は、ステアリングの切れ角を検出するものである。ブレーキセンサ２２は、移動体１００のブレーキが作動しているか否か、およびブレーキの度合いなどを検出するものである。ＧＰＳ２４は、アンテナを介してＧＰＳ衛星からのＧＰＳ信号を受信することにより、現在地の情報を取得することができる。ライト２６は、移動体１００のヘッドライトおよびポジションランプなどを総称するものである。これらのヘッドライトおよびポジションランプなどの点灯／消灯の状況は、バス１０側から知ることができる。スピーカ２８は、カーステレオの音声を出力するのみならず、カーナビゲーションの音声ガイドおよび各種警告システムからの警報音なども出力する。

制御部３０は、移動体１００の電子制御に係る処理を制御するとともに、移動体１００の各機能部を制御する。具体的には、制御部３０は、例えばカーナビゲーションシステムなどが接続されるコンピュータとすることもできるが、その他の機能部が制御部３０の機能を担うようにすることもできる。

次に、本実施形態に係る参照線の元となる仮想線について説明する。

本実施形態に係る映像処理装置４０は、移動体１００に取り付けられて移動体１００の進行方向を広角撮影可能なカメラ１２により撮影された映像に参照線を重畳する。この参照線とは、移動体１００の進行方向および現在位置を基準として想定される所定の仮想線を、カメラ１２により撮影された映像の歪みに応じて歪ませたものである。このような参照線は、移動体１００の運転者がカメラ１２により撮影された歪んだ画像を見ていても、移動体１００と他の物体との間の距離、および移動体１００の進行方向を基準とした他の物体の方向を把握し易いものとするのが望ましい。このため、所定の仮想線も、移動体１００の進行方向および現在位置を基準として、移動体１００と他の物体との間の距離、および移動体１００の進行方向を基準とした他の物体の方向を把握し易いものとするのが望ましい。

例えば、本実施形態に係る仮想線は、図２に示すようなものとすることができる。図２は、図７と同様に、自動車である移動体１００およびその周辺を上方から見た状態を表す図である。ここで、移動体１００は、移動体１００の前方先端部に設置した広角撮影可能なカメラ１２によって、移動体１００の前方の映像を撮影することができる。この移動体１００は、本実施形態に係る映像処理装置４０および映像表示システムを搭載しているものとする。したがって、移動体１００は、カメラ１２によって撮影した映像を、移動体１００内に設置した表示部１６に表示することができる。

図２において、移動体１００は、実際に移動体１００が存在する状況を示しているが、その上方に記したα、β、およびγなどの符号を付した仮想線は、移動体１００前方の路面に仮想的に想定した仮想面上のものであり、実際に路面に塗装等を施したものではない。

まず、移動体１００の位置を基準として所定の距離だけ離間した位置、および当該箇所を基準とした水平方向を示すために、図２に示す仮想線αのように、移動体１００から所定の距離離間した直線状の仮想線を想定する。ここでは、仮想線αは、移動体１００の先端部分から（つまりカメラ１２の位置から）仮想面上で１ｍの距離を離間したものとするが、この距離は所望に応じて適宜設定することができる。

次に、移動体１００の進行方向を基準とした方向を示すために、図２に示す仮想線βのように、仮想面上で移動体１００の進行方向と平行な直線状の仮想線を想定する。ここでは、仮想線βは、仮想面上における、移動体１００の進行方向の延長線上にあるものをβ１とし、β１から例えば５ｍなどの等間隔離間したものをβ２Ｒおよびβ２Ｌとし、さらに等間隔離間したものをβ３Ｒおよびβ３Ｌとしている。この際に離間する等間隔も５ｍに限らず、所望に応じて適宜設定することができる。

また、移動体１００の位置を基準として所定の距離だけ離間した位置、および当該箇所を基準とした水平方向をさらに示すために、図２に示す仮想線γのように、仮想面上における仮想線αから所定の距離離間した仮想線αに平行な直線状の仮想線を想定する。ここでは、仮想線γは、仮想線αから３ｍの距離離間したものとするが、この距離も所望に応じて適宜設定することができる。

このように、本実施形態において、所定の仮想線とは、仮想面上における移動体１００の進行方向および現在位置を基準として想定されるようにするのが好適である。例えば、所定の仮想線は、仮想面上において、仮想線αおよびγのように、移動体１００の進行方向に平行な直線に直交し、かつ移動体１００の現在位置から所定の距離にある直線状とすることができる。また、例えば、所定の仮想線は、仮想面上において、仮想線βのように、移動体１００の進行方向に平行な直線状とすることができ、さらに、移動体１００の進行方向に平行な複数の等間隔に離間した直線状とすることができる。

本実施形態においては、カメラ制御部１４が、上述したような所定の仮想線を、カメラ１２により撮影された映像の歪みに応じて歪ませて、参照線として付与するように制御する。

図３は、カメラ１２により撮影された映像に、所定の仮想線を参照線として重畳したものを、表示部１６に表示した様子を示す図である。図３に示すように、広角撮影可能なカメラ１２により撮影された映像は、図８と同様に歪みを含んだものになる。そこで、本実施形態に係る映像処理装置４０は、当該歪みに応じて仮想線を歪ませたものを、参照線としてカメラ１２により撮影された映像に重畳して出力する。

図２において説明したように、仮想面上における仮想線α、β、およびγは全て直線状の仮想線であったが、図３に示すように、参照線α、β、およびγは歪んで表示される。図２に示した仮想線と、図３に示す参照線とでは、それぞれ対応する線に同じ符号を付してある。図３に示す例においては、参照線β１は、撮影された映像の水平方向の中心線上に重畳して表示されるため、左右方向には歪まずに表示される。

このような参照線を付与するために、カメラ制御部１４は、カメラ１２のレンズに固有の歪みデータに基づいて、仮想線を歪ませてから参照線として付与するように制御する。また、重畳して付与する参照線の画像は、カメラ１２のレンズに固有の歪みデータに基づいて、カメラ制御部１４が演算により描画したデータを重畳させて出力したものを表示することができる。また、映像処理装置４０またはカメラ制御部１４に内蔵された記憶部に、予め種々のパターンの所定の参照線を画像データとして記憶しておき、カメラ制御部１４が当該画像データを読み出して重畳させたものを出力することもできる。また、移動体１００においてカメラ１２を取り付ける位置によって、表示すべき参照線は異なったものになる。そのため、このような参照線の画像は、カメラ１２のレンズに固有の歪みデータと、移動体１００においてカメラ１２が取り付けられる垂直方向の高さとに基づくものにするのが望ましい。この点については、さらに後述する。

このように、本実施形態において、カメラ制御部１４は、参照線αおよびγのように参照線を複数付与する場合、カメラ１２により撮影された映像の歪みに応じて、当該複数の参照線がそれぞれ重畳される位置（表示部１６の画面上での座標）における映像の歪みに対応する曲率になるように制御するのが好適である。また、カメラ制御部１４は、参照線β１、β２Ｒ、β２Ｌ、β３Ｒ、およびβ３Ｌのように、等間隔の仮想線に対応する参照線を複数付与する場合、カメラ１２により撮影された映像の歪みに応じて、当該複数の参照線同士の間隔が異なるように制御するのが好適である。また、本実施形態において、カメラ制御部１４は、カメラ１２により撮影された映像に参照線を重畳するように制御し、表示部１６は、カメラ１２により撮影された映像および参照線を表示する。

本実施形態に係る参照線によれば、運転者は、カメラ１２により撮影された映像の歪み具合を一見して容易かつ確実に把握することができる。特に、本実施形態に係る参照線によれば、運転者は、運転する移動体１００と、例えば他の自動車などの物体との間の距離を一見して容易に把握することができる。また、本実施形態に係る参照線によれば、運転者は、運転する移動体１００が進行する方向を基準として、例えば他の自動車などの物体の方向も一見して容易に把握することができる。

図３に示す例は、図８に示した例と同じ映像に参照線を付しているため、自動車の駐車位置を表す白線が表示されている。しかしながら、本実施形態に係る参照線によれば、このような白線の表示がない状況でも、運転者は、運転する移動体１００の進行方向に平行な方向および進行方向に直交する方向を、一見して容易に把握することができる。また、運転者は、各参照線同士の間隔を予め把握しておくことにより、運転する移動体１００と、表示部１６に映りこんだ他の物体との距離も正確に把握することができる。このように、各参照線同士の間隔を運転者が把握し易いように、例えば各参照線同士の間隔をメートルで表した数値などを各参照線の近傍に重畳して、表示部１６に表示されるようにしてもよい。

図３に示す例においては、参照線α、β、およびγを区別するために、それぞれ異なるハッチングを付して示してある。図３に示す例においては、参照線αと参照線γとは、もとは互いに平行な直線状の仮想線であったが、それぞれ移動体１００からの距離が異なるため、異なる表示態様の参照線として示してある。また、参照線β２Ｒおよびβ２Ｌと、参照線β３Ｒおよびβ３Ｌは、もとはそれぞれ参照線β１から等間隔の平行な仮想線であったため、それぞれ参照線β１と区別可能な異なる表示態様の参照線として示してある。ここで、参照線の表示態様を異ならせるためには、図３に示すように、各参照線に異なる装飾を加えたり、または鎖線にする等の異なる線種にしたりするなど、他の参照線と区別可能であれば、任意の表示態様とすることができる。特に、表示部１６がカラー表示に対応している場合には、参照線の表示態様を異ならせるために、参照線の色を異ならせるのが望ましい。このように、本実施形態において、カメラ制御部１４は、参照線α、β、およびγのように、参照線を複数付与する場合、少なくとも１つの参照線が他のいずれかの参照線と表示態様が異なるように制御するのが好適である。

また、図２において説明したように、参照線のもととなる仮想線は、移動体１００の進行方向および現在位置を基準として想定されるものである。このため、移動体１００が進行方向に移動した場合、仮想線も、移動体１００の移動に従って移動させることにより、運転者が映像の歪み具合を常に一見して容易に把握できるようにするのが望ましい。そこで、本実施形態において、カメラ制御部１４は、移動体１００の移動にともない仮想線が移動するのに従って対応する参照線も移動するように、すなわち表示部１６に表示される参照線は動かないように制御する。このように、本実施形態において、カメラ制御部１４は、移動体１００が移動してカメラ１２により撮影される映像が変化しても、参照線α、β、およびγのような参照線の位置が変化しないように制御するのが好適である。

図４は、参照線の各種の態様を、いくつか例として示す図である。本実施形態に係る参照線は、図３において説明したようなものに限定されず、他にも必要に応じて各種の態様を想定することができる。例えば、特に移動体１００付近を中心とした映像の歪み具合を把握することが望まれる場合には、図４（Ａ）に示すように、参照線γは表示せずに、参照線αおよびβのみを表示部１６に表示してもよい。また、例えば図４（Ｂ）に示すように、参照線α、β、およびγをそれぞれ破線の類の参照線とすれば、カメラ１２により撮影された映像に対して参照線が与える影響を少なくすることができる。すなわち、このような参照線を付すことによって、背景の映像が見にくくなるおそれを低減することができる。さらに、例えば図４（Ｃ）に示すように、水平方向の参照線αおよびγのみを線分ではなく直線として延長すれば、表示される映像の水平方向の歪みの度合いを一層広範囲に把握することができる。いずれにせよ、カメラ制御部１４は、撮影された映像に対して各参照線を重畳させて表示する際には、映像の奥行き方向よりも幅方向に長い領域内に重畳させる。これにより移動体１００の進行方向に直交する方向、つまり移動体１００の左右方向のずれを把握しやすくなるため、左右方向の歪みの大きい広角撮影カメラであろうとも、左右方向からの物体接近をより把握しやすくすることができる。

前述したように、移動体１００においてカメラ１２を取り付ける位置によって、表示すべき参照線は異なったものになる。例えば、図５に示すように、移動体１００の車種によって、カメラ１２が取り付けられる位置の地上からの高さは異なることが想定される。図５に示すように、移動体１００の車高または全高が低い場合、カメラ１２が取り付ける水平方向の高さは、カメラ１２Ｌのように比較的低くなる。一方、移動体１００の車高または全高が高い場合、カメラ１２が取り付ける水平方向の高さは、カメラ１２Ｈのように比較的高くなる。すると、カメラ１２の取り付け位置から仮想面上までの距離が異なるため、同じカメラ１２を用いて双方の移動体から等しい１ｍの距離にある仮想線を参照線として表示する場合であっても、カメラ１２により撮影された映像において表示すべき参照線は、図６に示すように車種ごとに異なったものとなる。これは、双方の移動体から等しい１ｍの距離にある仮想線であっても、図５から明らかなように、各カメラ１２Ｈと１２Ｌとにおいて、当該仮想線までの距離がそれぞれ異なることに起因する。

図６は、図５に示したカメラ１２Ｈおよび１２Ｌによって撮影された映像に、同じ位置にある仮想線を参照線として重畳したものを、同時に表示部１６に表示した例である。一般的に、カメラ１２Ｌのように比較的低い位置で撮影された映像においては、α１のような参照線が付与されるようにし、カメラ１２Ｈのように比較的高い位置で撮影された映像においては、α２のような参照線が付与されるようにするのが好適である。図６に示すように、異なる高さに取り付けられたカメラによって撮影される場合、映像の歪みに応じて参照線の位置（表示される映像における高さ）および参照線の曲率が異なるようにするのが好適である。このように、本実施形態において、カメラ制御部１４は、移動体１００においてカメラ１２の設置される垂直方向の高さに応じて、前記参照線の位置が異なるように制御するのが望ましい。また、本実施形態において、カメラ制御部１４は、前記移動体において前記カメラの設置される垂直方向の高さに応じて、前記参照線の曲率が異なるように制御するのが望ましい。参照線αについては、車種ごとにカメラを取り付ける位置の高さが異なることに応じて表示位置と曲率を変更する旨を示したが、参照線αだけでなく、他の参照線β、γについても同様に、カメラの取り付け位置の高さの差に応じて表示位置と曲率および表示間隔を変更するよう制御することが望ましい。

表示部１６に表示される参照線は、移動体１００のライト２６の点灯または消灯の状況、あるいは周囲環境の明るさ等の要因に応じて、表示態様が異なるものにした方が運転者にとって見やすく一見して把握し易いと考えられる。そこで、例えば、移動体１００のライト２６が消灯されている時には、周囲環境が明るいものと想定して、昼間モードの参照線すなわち比較的明るい背景に映える表示態様の参照線が表示部１６に表示されるようにするのが望ましい。一方、移動体１００のライト２６が点灯されている時には、周囲環境が暗いものと想定して、夜間モードの参照線すなわち比較的暗い背景に映える表示態様の参照線が表示部１６に表示されるようにするのが望ましい。

また、移動体１００のライト２６と連携する以外にも、例えば本実施形態に係る映像表示システムが周囲環境の明暗の情報を取得することができれば、当該情報に基づいて、表示部１６に表示される参照線の表示態様を変更することもできる。さらに、このような周囲環境の明暗を、カメラ制御部１４が、カメラ１２により撮影された映像から判定するようにしてもよい。

このように、本実施形態において、カメラ制御部１４は、移動体１００のライト２６が点灯されたら、参照線の表示態様が変化するように制御することもできる。また、カメラ制御部１４は、カメラ１２により撮影された映像の明暗に応じて、参照線の表示態様が異なるように制御することもできる。

上述した実施形態においては、カメラ１２により撮影された映像は、魚眼レンズ等の画角の広いレンズを備える１つのカメラにより撮影された映像であることを想定して説明した。しかしながら、本発明は上述した実施形態に限定されるものではなく、カメラ１２により撮影された映像が、複数のカメラ１２により撮影された映像を合成したものとすることもできる。

このように、複数のカメラ１２により撮影された映像を組み合わせて合成すると、当該組み合わせた部分は、撮影した映像がなめらかに合成されないことも想定される。本実施形態によれば、このような合成の態様に対応する参照線を演算したり予め記憶したりすることにより、運転者は、なめらかに合成されていない映像を表示部１６に表示する場合においても、映像の歪み具合を容易に把握することができる。

以上説明したように、本発明は、カメラ１２により撮影された映像に、単純な画像により構成される参照線を付与する制御を行うことにより、運転者は、車載カメラにより広角撮影された映像の歪み具合を把握することができる。したがって、本発明においては、高度な画像処理などの技術は不要であるため、カメラ制御部１４および／または制御部３０を中心とする各機能部の処理負荷をさほど増大させることなく、運転者の安全確認などを補助することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

また、上述した実施形態においては、カメラ制御部１４が、取得したカメラ１２の映像に参照線が重畳されて出力される処理が行われるように制御を行った。この場合には、カメラ制御部１４から出力される映像のデータは、すでに参照線の画像データが重畳された状態で出力させる。しかしながら、本発明は、上述した実施形態に限定されるものではなく、例えば、カメラ制御部１４は、カメラ１２が撮影した映像をそのまま出力してもよい。この場合、例えば制御部３０が、取得したカメラ１２の映像に参照線が重畳されて出力される処理が行われるように制御を行うようにすることができる。

また、上述した実施形態においては、移動体の前方の画像に対して参照線を重畳表示させる例を示したが、カメラにより移動体の後方を撮影し、この後方画像に対して参照線を重畳表示させるようにしてもよい。

１０ バス
１２ カメラ
１４ カメラ制御部
１６ 表示部
１８ イグニッションスイッチ
２０ 舵角センサ
２２ ブレーキセンサ
２４ ＧＰＳ
２６ ライト
２８ スピーカ
３０ 制御部
４０ 映像処理装置
１００ 移動体（自動車）

Claims (17)

1. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に参照線を重畳する映像処理装置であって、
   前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御する制御部を備えることを特徴とする、映像処理装置。
2. 前記所定の仮想線は、前記移動体の進行方向に平行な直線に直交し当該移動体の現在位置から所定の距離にある直線状である、請求項１に記載の映像処理装置。
3. 前記制御部は、前記参照線を複数付与する場合、前記カメラにより撮影された映像の歪みに応じて、当該複数の参照線がそれぞれ重畳される位置における映像の歪みに対応する曲率になるように制御する、請求項２に記載の映像処理装置。
4. 前記所定の仮想線は、前記移動体の進行方向に平行な直線状である、請求項１乃至３のいずれか１項に記載の映像処理装置。
5. 前記所定の仮想線は、前記移動体の進行方向に平行な複数の等間隔に離間した直線状である、請求項４項に記載の映像処理装置。
6. 前記制御部は、前記参照線を複数付与する場合、前記カメラにより撮影された映像の歪みに応じて、当該複数の参照線同士の間隔が異なるように制御する、請求項５に記載の映像処理装置。
7. 前記制御部は、前記参照線を複数付与する場合、少なくとも１つの参照線が他のいずれかの参照線と表示態様が異なるように制御する、請求項２乃至６のいずれか１項に記載の映像処理装置。
8. 前記制御部は、前記移動体において前記カメラの設置される垂直方向の高さに応じて、前記参照線の表示位置が異なるように制御する、請求項１乃至７のいずれか１項に記載の映像処理装置。
9. 前記制御部は、前記移動体において前記カメラの設置される垂直方向の高さに応じて、前記参照線の曲率が異なるように制御する、請求項１乃至８のいずれか１項に記載の映像処理装置。
10. 前記制御部は、前記移動体が移動して前記カメラにより撮影される映像が変化しても、前記参照線の表示位置を維持する、請求項１乃至９のいずれか１項に記載の映像処理装置。
11. 前記カメラにより撮影された映像は、魚眼レンズを備えるカメラにより撮影された映像である、請求項１乃至１０のいずれか１項に記載の映像処理装置。
12. 前記カメラにより撮影された映像は、複数のカメラにより撮影された映像を合成したものである、請求項１乃至１１のいずれか１項に記載の映像処理装置。
13. 前記制御部は、前記移動体のライトが点灯されたら、前記参照線の表示態様が変化するように制御する、請求項１乃至１２のいずれか１項に記載の映像処理装置。
14. 前記制御部は、前記カメラにより撮影された映像の明暗に応じて、前記参照線の表示態様が異なるように制御する、請求項１乃至１３のいずれか１項に記載の映像処理装置。
15. 前記制御部は、前記カメラにより撮影された映像に対して前記参照線を重畳させる際、当該映像の奥行き方向よりも幅方向に長い領域内に重畳させるよう制御する、請求項１乃至１４のいずれか１項に記載の映像処理装置。
16. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラにより撮影された映像に参照線を重畳する映像処理方法であって、
    前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御する制御ステップを含むことを特徴とする、映像処理方法。
17. 移動体に取り付けられ、当該移動体の進行方向を広角撮影可能なカメラと、
    前記カメラにより撮影された映像に参照線を重畳する制御部と、
    前記カメラにより撮影された映像および前記参照線を表示する表示部と、
    を含む映像表示システムであって、
    前記制御部は、前記移動体の進行方向および現在位置を基準として想定される所定の仮想線を、前記カメラにより撮影された映像の歪みに応じて歪ませて前記参照線として付与するように制御することを特徴とする、映像表示システム。
    
    

Images