JP2007043607A - 画像つなぎ目処理装置および画像つなぎ目処理方法 - Google Patents

Abstract

【課題】 映像のつなぎ目部分を容易に認識可能な画像つなぎ目処理装置を提供する。
【解決手段】 ヘッドライトスイッチがオンである場合には車両映像５０の周囲の映像が暗い色であるものと判断してマスク線Ｍ１〜Ｍ４の色として白色を選択し、ヘッドライトスイッチがオフである場合には、車両映像５０の周囲の映像が明るい色であるものと判断してマスク線Ｍ１〜Ｍ４の色として黒色を選択することにより、表示部に表示される映像において、車両周囲の状況に応じてマスク線Ｍ１〜Ｍ４を車両周囲の領域映像Ｒ１〜Ｒ４と異なる明るさの線で表示することができ、夜間であるか昼間であるかを問わずユーザは映像のつなぎ目を容易に認識することができる。
【選択図】 図５

Description

本発明は、複数のカメラによって撮影された映像をつなげたときのつなぎ目部分を強調させる画像つなぎ目処理装置に関する。

従来、車両に搭載された複数のカメラによって撮影された映像をつなぎ合わせて、合成映像を作成し、表示することが行われている。
また、つなぎ合わせる映像間で明るさなどが異なる場合には、つなぎ合わせた映像のつなぎ目部分で違和感が生じることがある。
そこで、たとえば特許文献１に記載されている装置は、つなぎ目を覆う画像パターンを映像に重ね合わせることによって、映像のつなぎ目を隠し、映像のつなぎ合わせ部分においてユーザが違和感を生じにくくする構成が記載されている。
特許２００３−６７７３５号公報

しかしながら、このような従来の装置においては、映像のつなぎ目部分に表示した画像パターンが、映像のつなぎ目部分周囲の色と同色であった場合には、映像のつなぎ目の存在がわかりにくくなる。
特に、複数のカメラの映像を車両上空の１つの視点から見下ろした映像となるように視点変換を行って映像を表示する装置において、つなぎ目部分に表示する画像パターンを黒色によって表示する場合に、夜間など車両周囲の照度が低いときには、黒い路面映像の上に黒い画像パターンを重ね合わせることとなるため、映像のつなぎ目を示す画像パターンが特に見えづらくなるといった問題があった。

そこで本発明はこのような問題点に鑑み、車両周囲の状態によらず、映像のつなぎ目部分を容易に認識可能な画像つなぎ目処理装置および画像つなぎ目処理方法を提供することを目的とする。

本発明は、映像接続手段が、車両に搭載されて異なる領域を撮影する少なくとも２台以上のカメラによって撮影された映像を接続し、マスク線描画手段が、接続された映像のつなぎ目部分に映像のつなぎ目部分周囲の色と異なる色のマスク線を、接続されたカメラ映像のつなぎ目部分に重畳させるものとした。

本発明によれば、接続された映像のつなぎ目部分に、映像のつなぎ目部分周囲の色と異なる色のマスク線を重畳させるものとしたので、マスク線が映像のつなぎ目部分周囲の色と同一となることが無く、車両周辺の状態によらずユーザはマスク線、すなわちカメラ映像のつなぎ目部分を容易に認識することができる。

次に本発明の実施の形態を実施例により説明する。
まず第１の実施例について説明する。
図１に、本実施例の全体構成を示し、図２に、車両へのカメラの取り付け位置を示す。
車両５の周囲を撮影する４台のカメラＣ１〜Ｃ４と、個々のカメラによって撮影された映像を広範囲が映し出された映像となるように接続する映像接続部１０と、接続された映像上において映像のつなぎ目部分にマスク線を描画するマスク線描画部１１と、図示しないヘッドライトのオンオフを切り替えるヘッドライトスイッチ（ヘッドライトＳＷ）１３と、映像接続部１０によって接続され、さらにマスク線描画部１１によってマスク線が描画された映像を表示する表示部１２とより、撮影映像表示装置１が構成される。

カメラＣ１〜Ｃ４は、図２に示すように、車両５の前端に車両前方の領域ｒ１を撮影するカメラＣ１が取り付けられ、車両５の左側面に車両の左側の領域ｒ２を撮影するカメラＣ２が、車両５の右側面に車両の右側の領域ｒ３を撮影するカメラＣ３が、さらに車両５の後端に車両の後方の領域ｒ４を撮影するカメラＣ４が取り付けられている。

図３に、表示部１２に表示された映像例を示す。
ここで撮影映像表示装置１は、カメラＣ１〜Ｃ４によって撮影された領域ｒ１〜ｒ４の映像を、車両５の上空の１つの視点から見下ろした映像となるように視点変換を行った領域映像Ｒ１〜Ｒ４と、車両５を示す車両映像５０とを表示部１２に表示するものである。
マスク線描画部１１は、領域映像Ｒ１、Ｒ３のつなぎ目部分にマスク線Ｍ１を描画し、領域映像Ｒ１、Ｒ２のつなぎ目部分にマスク線Ｍ２を描画する。また領域映像Ｒ２、Ｒ４のつなぎ目部分にマスク線Ｍ３を描画し、領域映像Ｒ３、Ｒ４のつなぎ目部分にマスク線Ｍ４を描画する。
なおマスク線Ｍ１、Ｍ２は、車両映像５０の右斜め前方向、左斜め前方向に延び、マスク線Ｍ３、Ｍ４は、車両映像５０の後端から左右方向に延びている。

次に、マスク線描画部１１が行うマスク線色の選択手順について説明する。
図４に、映像接続部１０およびマスク線描画部１１が行う処理の流れを示す。
図５に、夜間の場合に表示部１２に表示される表示例を示し、図６に、昼間の場合に表示部１２に表示される表示例を示す。
ステップ１００において映像接続部１０は、カメラＣ１〜Ｃ４によって撮影された映像を取得し、ステップ１０１において各映像の視点変換を行う。
ステップ１０２において映像接続部１０は、各映像を接続し、車両周囲が映し出された４つの映像を１つの映像にする。

ステップ１０３においてマスク線描画部１１は、夜間であるかどうかを判断する。
この判断は、ヘッドライトスイッチ１３から取得したヘッドライトのオンオフ信号より、ヘッドライトがオンである場合には夜間であるものと判断し、オフである場合には夜間でない、すなわち昼間であるものと判断する。
なおステップ１０３において判断される夜間には、たとえばトンネル内に入った場合など、車両５の周囲が暗い場合も含むものとする。
マスク線描画部１１によって夜間であると判定されるとステップ１０４へ進み、夜間で無いと判定された場合にはステップ１０７へ進む。

ステップ１０４においてマスク線描画部１１は、マスク線Ｍ１〜Ｍ４の色として白色を選択し、ステップ１０５においてステップ１０２で接続されたカメラ映像に白色のマスク線Ｍ１〜Ｍ４を重畳させる。
ステップ１０６においてマスク線描画部１１は、カメラ映像に白色のマスク線Ｍ１〜Ｍ４が重ねられた映像を表示部１２に出力する。
これによって表示部１２には、図５に示すように、夜間であるため領域映像Ｒ１〜Ｒ４は暗い色で、マスク線Ｍ１〜Ｍ４は白色で示された映像が表示される。したがって、車両５の乗員はマスク線Ｍ１〜Ｍ４、すなわち映像のつなぎ目部分を容易に認識することができる。

一方、ステップ１０３において夜間で無いと判断された場合には、ステップ１０７においてマスク線描画部１１は、マスク線Ｍ１〜Ｍ４の色として黒色を選択し、ステップ１０５においてステップ１０２で接続したカメラ映像に黒色のマスク線Ｍ１〜Ｍ４を重畳させる。
ステップ１０６においてカメラ映像に黒色のマスク線Ｍ１〜Ｍ４が重ねられた映像を表示部１２に出力することにより、表示部１２には、図６に示すように、昼間であるため領域映像Ｒ１〜Ｒ４は明るい色で、マスク線Ｍ１〜Ｍ４は黒色で示された映像が表示される。したがって、車両５の乗員はマスク線Ｍ１〜Ｍ４、すなわち映像のつなぎ目部分を容易に認識することができる。
なお本実施例において、ステップ１０２が、本発明における映像接続手段を構成し、ステップ１０４、１０５、１０７が本発明におけるマスク線描画手段を構成する。ステップ１０３が本発明における明るさ判定手段を構成する。

本実施例は以上のように構成され、ヘッドライトスイッチ１３がオンである場合には車両５の周囲の映像が暗い色であるものと判断してマスク線Ｍ１〜Ｍ４の色として白色を選択し、ヘッドライトスイッチ１３がオフである場合には、車両５の周囲の映像が明るい色であるものと判断してマスク線Ｍ１〜Ｍ４の色として黒色を選択することにより、表示部１２に表示される映像において、車両周囲の状況に応じてマスク線Ｍ１〜Ｍ４を車両周囲の領域映像Ｒ１〜Ｒ４と異なる明るさの線で表示することができ、夜間であるか昼間であるかを問わずユーザは映像のつなぎ目を容易に認識することができる。

なお、ステップ１０４またはステップ１０７においてマスク線Ｍ１〜Ｍ４の色として白色または黒色を選択するものとしたが、これ以外にも薄い灰色や濃い灰色など、カメラ映像と重ね合わせたときに車両周囲の領域映像Ｒ１〜Ｒ４と識別可能な色であれば、他の色を用いることもできる。
またステップ１０３において、夜間であるか昼間であるかをヘッドライトスイッチ１３のオンオフ信号より判定するものとしたが、これ以外にも、たとえば時計より判断するなど、異なる方法によって判定することもできる。

さらに、マスク線Ｍ１〜Ｍ４の色を、白色または黒色の一色であるものとしたが、これ以外にもたとえば図７に示すマスク線Ｍ１’〜Ｍ４’に示すように、車両映像５０に近い側を濃い色、遠い側を白い色となるように輝度値を徐々に変化させたグラデーションによって表示することもできる。
あるいは図８に示すように、マスク線Ｍ１”〜Ｍ４”の色を、マスク線Ｍ１”〜Ｍ４”のエッジ部分を白色で表示し、線の中央部分を黒色で表示するなど、マスク線Ｍ１”〜Ｍ４”のエッジ部分を強調させて表示することもできる。

次に第２の実施例について説明する。
図９に、本実施例の全体構成を示す。
なお本実施例における撮影映像表示装置１Ａは、第１の実施例において図１を用いて説明した撮影映像表示装置１からヘッドライトスイッチ１３を省略し、マスク線描画部１１と異なる機能を有するマスク線描画部１１Ａを用いたものである。他の構成は第１の実施例と同様であるため、同一番号を付して説明を省略する。

次に、マスク線描画部１１Ａが行うマスク線の色の選択手順について説明する。
図１０に、映像接続部１０およびマスク線描画部１１Ａが行う処理の流れを示し、図１１に、表示部１２に表示する表示例を示す。
ステップ２００〜２０２は、第１の実施例において図２を用いて説明したステップ１００〜１０２と同様であり説明を省略する。
ステップ２０３においてマスク線描画部１１Ａは、接続された映像より、マスク線Ｍ１Ａを重畳する部分、すなわち映像のつなぎ目部分周囲の色を計測し、色の平均値をマスク線描画部分色とする。

ステップ２０４においてマスク線描画部１１Ａは、マスク線描画部分色と異なる色をマスク線Ｍ１Ａ〜Ｍ４Ａの色として選択する。
ここで図１１に示されるように、車両映像５０の右前方の領域は非常に暗く、左前方は少し暗く、左後方は少し明るく、右後方は非常に明るいものとする。
この場合、車両映像５０の右前方に存在する映像のつなぎ目（後にマスク線Ｍ１Ａが重畳される部分）のマスク線描画部分色は黒となる。したがってマスク線Ｍ１Ａの色は、マスク線Ｍ１Ａに対応するマスク線描画部分色と異なる色（本実施例では白色）が選択される。

また、マスク線Ｍ２Ａが描画される部分の周囲は少し暗い色であるため、マスク線描画部分色は濃い灰色となり、マスク線Ｍ２Ａの色はマスク線描画部分色と異なる色（本実施例では薄い灰色）が選択される。
同様にして、マスク線Ｍ３Ａは濃い灰色、マスク線Ｍ４Ａは黒色が選択される。

ステップ２０５においてステップ２０２で接続したカメラ映像にマスク線Ｍ１Ａ〜Ｍ４Ａを重畳させる。
ステップ２０６においてマスク線描画部１１Ａは、カメラ映像にマスク線Ｍ１Ａ〜Ｍ４Ａが重ねられた映像を表示部１２に出力する。
これによって図１１に示すように、マスク線Ｍ１Ａ〜Ｍ４Ａは、それぞれが描画された部分の周囲の色と異なる色によって表示され、車両５の乗員はマスク線Ｍ１Ａ〜Ｍ４Ａ、すなわち映像のつなぎ目部分を容易に認識することができる。
なお本実施例において、ステップ２０２が本発明における映像接続手段を構成し、ステップ２０３、２０４が本発明におけるマスク線描画手段を構成する。

本実施例は以上のように構成され、マスク線が表示される周囲の色の平均をマスク線描画部分色として算出し、マスク線Ｍ１Ａ〜Ｍ４Ａをそれぞれマスク線Ｍ１Ａ〜Ｍ４Ａに対応するマスク線描画部分色と異なる色を用いて表示することにより、表示部１２に表示されたときに車両映像５０の周囲の色が均一でない場合であっても、ユーザはそれぞれのマスク線Ｍ１Ａ〜Ｍ４Ａによって示される映像のつなぎ目を容易に認識することができる。

なお、ステップ２０３においてマスク線描画部分色を決定する手段として、色の平均値を用いるものとしたが、これに限らずたとえば輝度値の平均値を用いてもよく、また平均値を用いるのではなく測定した部分の最多値を用いることもできる。

また、マスク線描画部分色を各マスク線Ｍ１Ａ〜Ｍ４Ａごとに計測し、それぞれ異なる色を用いてマスク線Ｍ１Ａ〜Ｍ４Ａを表示するものとしたが、これに限定されず、たとえば図１２に示すように車両周囲の色の平均色と異なる色（たとえば、白色）を算出し、該算出した色を用いて各マスク線Ｍ１Ａ’〜Ｍ４Ａ’を表示することもできる。この場合には、各マスク線Ｍ１Ａ’〜Ｍ４Ａ’についてそれぞれ異なる色を算出する必要が無いので、マスク線の色を算出するための処理を少なくすることができる。

第１の実施例の全体構成を示す図である。 車両へのカメラの取り付け位置を示す図である。 カメラの撮影範囲およびマスク線の位置を示す図である。 映像接続部およびマスク線描画部が行う処理の流れを示す図である。 夜間の場合に表示部に表示される表示例を示す図である。 昼間の場合に表示部に表示される表示例を示す図である。 マスク線の変形例を示す図である。 マスク線の変形例を示す図である。 第２の実施例の全体構成を示す図である。 映像接続部およびマスク線描画部が行う処理の流れを示す図である。 表示部に表示される表示例を示す図である。 マスク線の変形例を示す図である。

符号の説明

１ 撮影映像表示装置
５ 車両
１０ 映像接続部
１１、１１Ａ マスク線描画部
１２ 表示部
１３ ヘッドライトスイッチ
５０ 車両映像
Ｃ１〜Ｃ４ カメラ
ｒ１〜ｒ４ 領域
Ｒ１〜Ｒ４ 領域映像
Ｍ１〜Ｍ４、Ｍ１’〜Ｍ４’、Ｍ１”〜Ｍ４”、Ｍ１Ａ〜Ｍ４Ａ、Ｍ１Ａ’〜Ｍ４Ａ’ マスク線

Claims (6)

1. 車両に搭載されて異なる領域を撮影する少なくとも２台以上のカメラと、該カメラによって撮影された映像を接続する映像接続手段と、前記接続された映像のつなぎ目部分にマスク線を重畳するマスク線描画手段と、を備えた画像つなぎ目処理装置において、
   前記マスク線描画手段は、前記マスク線を重畳させる映像のつなぎ目部分周囲の色と異なる色を、前記マスク線として選択することを特徴とする画像つなぎ目処理装置。
2. 車両周囲の明るさを判断する明るさ判定手段を備え、
   前記マスク線描画手段は、前記明るさ判定手段によって判定された車両周囲の明るさにもとづいて前記マスク線の色を選択することを特徴とする請求項１に記載の画像つなぎ目処理装置。
3. 前記明るさ判定手段は、車両のヘッドライトスイッチのオンオフにもとづいて、車両周囲の明るさを判定することを特徴とする請求項２に記載の画像つなぎ目処理装置。
4. 前記マスク線描画手段は、前記マスク線を複数描画する場合に、前記映像のつなぎ目部分周囲の色と異なる１つの色を前記複数のマスク線の色とすることを特徴とする請求項１に記載の画像つなぎ目処理装置。
5. 前記マスク線は、グラデーションによって表示される、または前記マスク線のエッジを当該マスク線の中央部の色とは異なる色によって表示されることを特徴とする請求項１から４のいずれか１に記載の画像つなぎ目処理装置。
6. 少なくとも２台以上のカメラによって撮影された映像を接続し、
   該接続された映像のつなぎ目部分に、映像のつなぎ目部分周囲の色と異なる色のマスク線を重畳させることを特徴とする画像つなぎ目処理方法。

Images