JP2009111469A - 映像出力装置および方法、映像表示装置および方法 - Google Patents

Abstract

【課題】映像が撮影されてからディスプレイに表示されるまでの処理時間を短縮する。
【解決手段】受信機２０は、車載カメラ１２で撮影され符号化された画像フレーム信号を無線通信を介して受け取る。復号部２４は、符号化された画像フレーム信号を復号して出力する。マーカ描画部２６は、復号部２４から出力された画素信号をフレームメモリ２８上に描画する際に、画像フレーム内での予め定められた座標に対応する画素信号の代わりに、フレーム内での位置情報をドライバーに知らせるためのマーカの表示色データに相当する画素信号を出力する。マーカ描画部２６は、復号部２４から出力された画素と、マーカの表示色データに相当する画素とをアルファブレンディングにより合成して出力してもよい。
【選択図】図１

Description

本発明は画像表示技術に関し、特にカメラで撮影され無線通信を介して送信される画像フレームをディスプレイに表示する際の遅延時間を低減する技術に関する。

自動車等の車両に車載カメラを設置し、カメラで撮影した映像を車室内のディスプレイに表示する表示システムが実用化されている。このような表示システムにおいて、車両の後方にカメラを設置すると、車両をバックさせるときに、ドライバーはディスプレイにて後方の映像を確認することができ、安全性と利便性が向上する。

また、カメラによる監視対象の画像内に、ユーザに何らかの情報を提供するためのマーカを設置する技術も多数存在する（例えば、特許文献１参照）。これらふたつの技術を組み合わせることで、車載カメラの画像内に、自車の車幅や全長などを示すマーカを付加して表示するシステムも実用化されている。これによって、車両のドライバーは、例えば駐車場に車両を止める際の車両操作の目安としてマーカを利用することができる。
特開２０００−１９４９７０号公報

上述のような表示システムの車両への設置を簡便にするために、車載カメラからディスプレイへの映像の伝送には、無線通信システムが使用されることが好ましい。無線通信を用いれば、車載カメラからディスプレイへの配線を車体内で取りまわす必要がないからである。しかし、無線通信システムを使用すると、車載カメラによる撮像とディスプレイ上での映像表示の間に生じる遅延時間が問題となる。特に、上述のようなマーカを車載カメラ側で付加するように表示システムを構成すると、処理に時間がかかり遅延時間が長くなる。ドライバーが車両操作を円滑に行うために、カメラで映像が撮像されてからディスプレイに表示されるまでの時間をできるだけ短縮することが好ましい。

本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラから無線伝送される映像に所定のマーカを付加した上でディスプレイに表示するシステムにおいて、映像が撮影されてからディスプレイに表示されるまでの処理時間を短縮する映像表示技術を提供することにある。

本発明のある態様は、映像出力装置である。この装置は、カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号が供給され、その符号化された画像フレーム信号を復号する復号部と、復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成した上で、復号された画像フレーム信号を出力するマーカ描画部と、を備える。

この態様によると、復号処理された画像フレームを出力する際に、外部のディスプレイで表示される映像に付加すべきマーカの表示色データに相当する画素信号で、画像フレーム内の画素信号を置換したり、アルファブレンディングのように画像フレーム内の画素信号とマーカの表示色データに相当する画素信号とを合成したりするようにした。このように、符号化フレームの復号とマーカの描画とを連続的に実施することで、画像フレームがカメラで撮像されてからディスプレイに表示されるまでの遅延時間の増加を抑制することができる。また、カメラおよびディスプレイに依存しない構成をとるので、映像出力装置を既存のシステムに後付けで設置することが容易となる。

ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備えてもよい。この場合、マーカ描画部は、復号部からフレームメモリへと画像フレーム信号が書き込まれるときに、画像フレーム信号を構成する画素信号を表示色データで置換または表示色データと合成させてもよい。または、マーカ描画部は、フレームメモリに蓄積された画像フレーム信号がディスプレイに出力されるときに、画像フレーム信号を構成する画素信号を表示色データで置換または表示色データと合成させてもよい。このように、復号された画像フレームをフレームメモリに対して読み書きするときにマーカを描画するようにしたので、マーカ描画部をフレームメモリの前段および後段のいずれにも配置することができる。

マーカ描画部は、復号部により復号された画像フレームのカウントに応じて、表示色データでの置換または合成を指示または解除する表示色指示部をさらに備えてもよい。これにより、マーカの全体または一部を点滅させたり、または点滅より長いタイミングで周期的に表示と非表示とを切り換えたりすることができる。

本発明の別の態様も、映像出力装置である。この装置は、カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号を無線通信を介して受け取る受信部と、符号化された画像フレーム信号を復号する復号部と、復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成した上で、復号された画像フレーム信号を出力するマーカ描画部と、を備える。

本発明のさらに別の態様は、映像表示装置である。この装置は、車載カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号を無線通信を介して受け取る受信部と、符号化された画像フレーム信号を復号する復号部と、復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報をドライバーに知らせるためのマーカの表示色データで置換またはマーカの表示色データと合成した上で車載ディスプレイに表示せしめるマーカ描画部と、を備える。

この態様によると、車両の前方や後方等を撮影した映像上にマーカを表示させる場合に、車載カメラで撮影されてから車載ディスプレイに表示されるまでの遅延時間を抑えることができる。したがって、映像の遅延によりドライバーによる車両の運転が妨げられることがない。

本発明の別の態様は、無線通信を介して供給された複数画素から構成される符号化画像フレームを復号した上で出力する方法において、復号された画像フレーム信号をフレームメモリに対して読み書きするときに、予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成する方法である。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、カメラで映像が撮影されてからディスプレイに表示されるまでの処理時間の増加を抑制することができる。

本発明を具体的に説明する前に、まず概要を述べる。本発明の一実施形態は、車載カメラにて撮影された映像を車載の表示装置に表示するためのシステムに関する。カメラと表示装置の間での映像の伝送は、無線通信により行われる。

ドライバーが車両のギアをバックに入れると、車載カメラが起動し、撮像された映像が車載ディスプレイ２９に表示される。この映像には、所定のマーカが付加される。ドライバーは、車載カメラによる撮像とほとんど同時に映像を確認する必要があるので、無線通信や画像処理に要する処理時間はできるだけ短縮されるべきである。これを実現するため、本実施形態に係る映像表示システムは、以下の処理を実行する。

図１は、本発明の一実施形態に係る映像表示システム１００の構成を示す。映像表示システム１００は、車載カメラ１２、送信機１３、受信機２０および車載ディスプレイ２９を含む。図１の右側が車両１０の前方であり、左側が車両１０の後方である。車載カメラ１２は、車両１０の後方を撮影するように設置されるアナログビデオカメラまたはデジタルビデオカメラである。車載カメラ１２の設置場所は、後部窓の周縁部、トランク付近、バンパーなどいずれでもよいが、車両後方の比較的近傍の路面を撮像するように調整される。車載カメラ１２は、ドライバーがギアをバックに入れたときに、図示しない車両用ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）を介して撮影開始の指示を受けつける。車載カメラ１２は、当該指示を受けつけると起動し、その後、撮影を開始する。車載カメラ１２は、ギアがバックに入っている期間にわたり、車両後方の路面を撮影し出力する。

車載カメラ１２で撮影された映像は、アナログ画像またはデジタル画像のかたちで送信機１３に送られる。送信機１３の符号化部１４は、必要に応じてＡ／Ｄ変換を施した後、撮影された画像フレームに対して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の周知の符号化を実施する。その後、符号化された各画像フレーム信号を無線装置１６ａに出力する。

送信機１３と受信機２０の間の接続は、無線ネットワークを介してなされる。この接続は、送信機１３の第１無線装置１６ａと、受信機２０の第２無線装置１６ｂとの間で行われる。第１無線装置１６ａは、車載カメラ１２と同様に、ドライバーがギアをバックに入れたときに、図示しないＥＣＵを介して接続開始の指示を受けつける。接続開始の指示を受けつけると、第１無線装置１６ａは、起動した後に、第２無線装置１６ｂとの間で接続処理を実行する。接続に成功すると、第１無線装置１６ａは、符号化された画像フレーム信号を順次第２無線装置１６ｂに送信する。第１無線装置１６ａと第２無線装置１６ｂとの間では、複数の周波数チャネルが規定されており、第１無線装置１６ａと第２無線装置１６ｂとは、接続処理においていずれかの周波数チャネルを選択する。無線装置の詳細については、図２を参照して後述する。

受信機２０の復号部２４は、第２無線装置１６ｂで受け取られた符号化画像フレーム信号を復号する。マーカ描画部２６は、復号された画像フレーム信号がフレームメモリ２８上に一時的に蓄積されるときに、所定のマーカを画像フレームに追加する。このマーカは、フレーム内での位置情報をドライバーに知らせるためのものである。マーカ描画部の詳細は、図４を参照して後述する。フレームメモリ２８に書き込まれた画像フレームは、所定のタイミングで車載ディスプレイ２９に出力される。

なお、車載ディスプレイ２９は、ナビゲーションシステムの表示部を兼ねていてもよいが、ナビゲーションシステムとして公知の技術が使用されればよいので、ここでは説明を省略する。

図２は、第１無線装置１６ａおよび第２無線装置１６ｂ（以下、総称するときは「無線装置１６」と呼ぶ）の構成を示す。無線装置１６は、ＲＦ部３０、変復調部３２、ＩＦ部３４、制御部３６を含む。ここでは、第１無線装置１６ａと第２無線装置１６ｂでの共通の機能をまず説明し、その後、第１無線装置１６ａと第２無線装置１６ｂのそれぞれにおいてなされる処理を説明する。

ＲＦ部３０は、受信処理として、アンテナを介して、無線周波数の信号を受信する。ＲＦ部３０は、受信した無線周波数の信号を中間周波数の信号に周波数変換する。また、ＲＦ部３０は、中間周波数の信号を直交検波することによって、ベースバンド信号を生成する。さらに、ＲＦ部３０は、ベースバンド信号に対して、アナログ／デジタル変換を実行することによって、デジタル化されたベースバンド信号（以下、単に「ベースバンド信号」という）を出力する。ベースバンド信号は、一般的に同相成分と直交成分とを有しているので、ふたつの信号線が示されるべきである。しかしながら、図を明瞭にするために、ここではひとつの信号線のみを示す。

ＲＦ部３０は、送信処理として、変復調部３２からベースバンド信号を受けつける。ＲＦ部３０は、ベースバンド信号に対して、デジタル／アナログ変換を実行することによって、アナログ化されたベースバンド信号（以下、単に「ベースバンド信号」という）を出力する。また、ＲＦ部３０は、ベースバンド信号を直交変調することによって、中間周波数の信号を生成する。さらに、ＲＦ部３０は、中間周波数の信号を無線周波数の信号に周波数変換し、増幅した後にアンテナから送信する。

変復調部３２は、受信処理として、ＲＦ部３０からのベースバンド信号を受けつけ、ベースバンド信号を復調する。変復調部３２は、復調結果をＩＦ部３４に出力する。変復調部３２は、送信処理として、ＩＦ部３４から情報を受けつけ、情報を変調する。変復調部３２は、変調結果をベースバンド信号としてＲＦ部３０に出力する。ここで、変復調部３２における変調方式には、例えば、ＱＰＳＫ（Ｑｕａｄｒａｔｕｒｅ Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）等の公知の技術が使用されればよい。また、変復調部３２は、ＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）、ＡＲＱ（Ａｕｔｏｍａｔｉｃ Ｒｅｐｅａｔ Ｒｅｑｕｅｓｔ）を実行してもよいが、ここでは説明を省略する。

ＩＦ部３４は、受信処理として、変復調部３２から復調結果を受けつける。ＩＦ部３４は、復調結果を外部へ出力する。例えば、第２無線装置１６ｂのＩＦ部３４は、受けつけた復調結果を復号部２４に出力する。ＩＦ部３４は、送信処理として、外部から情報を受けつける。例えば、第１無線装置１６ａのＩＦ部３４は、符号化部１４から符号化された画像フレーム信号を受けつける。ＩＦ部３４は、受けつけた情報を変復調部３２へ出力する。

制御部３６は、無線装置１６の動作を制御する。制御部３６は、図示しないＥＣＵから接続開始の指示を受けつけると、ＲＦ部３０、変復調部３２を起動させた後に、接続処理を実行させる。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた通信機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

続いて、車載ディスプレイ２９に表示される映像について説明する。図３（ａ）は、車載カメラ１２により撮影された画像フレーム５０の一例を示す。図示するように、画像フレーム５０は駐車場の一区画を示す画像である。図３（ｂ）は、マーカ描画部２６によりマーカ６０が描画された画像フレーム５２の一例を示す。この例において、マーカ６０は、車両１０の底面積に相当する形状およびサイズをしている。マーカ６０は、手前線６０ａと、斜線６０ｂ、６０ｄと、奥行線６０ｃからなる。手前線６０ａは、車両１０の前端に対応する線であり、マーカ６０の中でも最も目立つ色（例えば、赤色）で描画されることが好ましい。斜線６０ｂ、６０ｄは、図示するように直線でなく、点線として描画されることが好ましい。この理由は、ディスプレイ内で斜線をそのまま表示するとギザギザが目立ち、特にディスプレイの解像度が低い場合には見にくいものとなるためである。斜線６０ｂ、６０ｄは、マーカ６０の中でも手前線６０ａの次に目立つ色（例えば、橙色）で描画されることが好ましい。奥行線６０ｃは、車両１０の後端に対応する線であり、例えば白色で描画される。

図３（ｂ）に示すように、車載カメラ１２で撮影された映像内にマーカ６０を描画することによって、ドライバーは十分な駐車スペースがあるか否かを把握したり、またはバックで車両を駐車スペースに入れようとするときの目安としたりすることができる。

なお、図示しないスイッチ操作などを介して、ドライバーがマーカ６０の表示と非表示とを選択できるように構成されることが好ましい。

上記の処理を実現するために、マーカ描画部２６は以下のような構成をしている。図４は、マーカ描画部２６の詳細な構成を示す。

復号部２４により復号された画像フレーム信号を構成する画素信号は、フレームメモリ２８に書き込まれる前に、マーカ描画部２６内の出力セレクタ１１８に入力される。

画像フレームの水平同期信号および垂直同期信号が、ラインカウンタ１０２およびピクセルカウンタ１０４に入力される。ラインカウンタ１０２は、垂直同期信号を参照して、フレームメモリ２８に書き込まれようとしている画素信号が位置する画像フレーム内のラインを特定する。ピクセルカウンタ１０４は、水平同期信号を参照して、フレームメモリ２８に書き込まれようとしている画素信号が、ラインカウンタ１０２で特定されるライン内で何番目の画素に当たるかを特定する。ラインカウンタ１０２およびピクセルカウンタ１０４による情報を元に、表示座標算出部１１４は、各画素信号に対応する画像フレーム内での表示座標を特定する。

図５は、この様子を説明する図である。フレーム９０が復号された画像フレームの全体を表し、フレーム内の各格子がひとつの画素を示すとする。ラインカウンタ１０２は、水平方向のライン数「ｍ」をカウントする。ピクセルカウンタ１０４は、ライン内での画素数「ｎ」をカウントする。このようにして、これからフレームメモリ２８に書き込まれようとしている画素９２の座標（ｍ，ｎ）を特定することができる。

図４に戻り、マーカ指示部１０６は、図３（ｂ）に示したようなマーカ６０を表示すべき座標および表示色を指定する。表示座標テーブル１０８からは、マーカを表示すべき座標が表示座標算出部１１４に供給される。マーカ指示部１０６は、マーカの表示座標に応じて異なる表示色の指定を表示色セレクタ１１６に供給する。一例として、マーカの表示座標が手前線６０ａに相当する場合、マーカ指示部１０６は表示色テーブル１１０内の赤色を指定し、表示座標が斜線６０ｂ、６０ｄに相当する場合、表示色テーブル１１０内の橙色を指定し、表示座標が奥行線６０ｃに相当する場合は、表示色テーブル１１０内の白色を指定する。
また、マーカ指示部１０６は、図示しないスイッチによりドライバーがマーカの表示を選択している場合、マーカ表示フラグをオンに設定する。

表示座標算出部１１４は、フレームメモリ２８に書き込まれようとしている画像フレームの画素信号に対応する座標と、マーカを表示すべき座標とを比較する。そして、両者が一致する場合、マーカ表示位置フラグをオンに設定する。

フレームカウンタ１１２は、垂直同期信号を参照して、フレームメモリ２８への書き込みが完了した画像フレームの数をカウントする。このカウントは、後述するように、フレーム間でマーカの表示と非表示とを切り換えたり、またはフレーム間でマーカの色を変化させたりする際に利用される。表示色セレクタ１１６には、フレームカウンタからフレーム数が供給される。表示色セレクタ１１６は、フレーム数が所定の条件に合致するか否かを判定し、それに応じた色を指定して出力セレクタ１１８に出力する。

出力セレクタ１１８は、マーカ表示フラグがオフである場合、復号部２４から供給された画素信号をそのままフレームメモリ２８に出力する。マーカ表示フラグがオンであり、かつマーカ表示位置フラグがオンである場合、復号部２４から供給された画素信号の代わりに、表示色セレクタ１１６で指定された表示色に相当する画素信号をフレームメモリ２８に出力する。出力セレクタ１１８は、マーカ表示フラグがオンであっても、マーカ表示位置フラグがオフである場合には、復号部２４から供給された画素信号をそのままフレームメモリ２８に出力する。なお、出力セレクタ１１８の後に、デジタルビデオ信号のブランキング区間と有効画像区間とを区別する境界データであるＴＲＳ（Timing Reference Signal）を画素信号に付加するＴＲＳ付加／出力部（図示せず）を配置してもよい。

フレームメモリ２８に蓄積された画素データは、フレーム単位で車載ディスプレイ２９に出力される。出力されるデータはデジタル画像データでもよいし、図示しないＤ／Ａコンバータによってアナログ画像データに変換されてもよい。このようにして、車載ディスプレイ２９にマーカが付加された映像が映し出される。

図６は、マーカ表示の変形例を説明する図である。フレーム７０ａ〜７０ｄは、それぞれ車載ディスプレイ２９に表示される画像フレームの不連続な一コマを表しており、図中の左側から右側に向けて時間順に配置されている。最初は、画像フレーム７０ａのように、マーカの手前線６０ａと奥行線６０ｃのみが表示される。続いて、画像フレーム７０ｂに示すように、斜線６０ｂ、６０ｄを構成する点のうち手前線６０ａに最も近いものが表示される。さらに、画像フレーム７０ｃおよび７０ｄに示すように、斜線６０ｂ、６０ｄを構成する点が手前線から奥行線に向けて順番に表示される。このような画像フレームを連続的に出力すると、斜線６０ｂ、６０ｄが手前線６０ａから奥行線６０ｃに向けて移動しながら点滅しているように見える。これにより、ドライバーが車両をバックさせるときに、車載ディスプレイに車両の進行方向を提示することができる。また、マーカに奥行感を持たせることができる。

図７は、マーカ表示の別の変形例を説明する図である。図６と同様に、フレーム８０ａ〜８０ｄは、それぞれ車載ディスプレイ２９に表示される画像フレームの不連続な一コマを表しており、図中の左側から右側に向けて時間順に配置されている。最初は、画像フレーム８０ａのように、マーカの手前線６０ａと奥行線６０ｃのみが表示される。続いて、画像フレーム８０ｂに示すように、斜線６０ｂ、６０ｄを構成する点が一斉に表示される。そして、画像フレーム８０ｃおよび８０ｄに示すように、所定の時間をおいて、斜線６０ｂ、６０ｄの非表示と表示が繰り返される。このような画像フレームを連続的に出力すると、斜線全体を点滅表示させることができる。本実施形態では斜線が点線で構成されているため、手前線および奥行線と比べて視認性が低いことが懸念されるが、このように点滅表示させることで、斜線を強調することができる。

図８は、図６および図７のようなマーカ表示を実現するための方法を説明するタイミングチャートである。図中、左側から右側に向かう軸は、図４のフレームカウンタ１１２によりカウントされるフレーム数を示している。上述のように、フレームカウンタ１１２は、垂直同期信号を参照してフレームメモリ２８に書き込まれたフレームの数をカウントする。そして、フレーム数が予め定められている表示期間Ｃ（例えば、６０フレーム）の間にある場合のみ、表示色セレクタ１１６は色指定フラグをオンにする。フレーム数が予め定められている非表示期間Ｄ（例えば、６０フレーム）の間にある場合、表示色セレクタ１１６は、マーカ表示フラグおよびマーカ表示位置フラグの状態にかかわらず、色指定フラグをオフにする。出力セレクタ１１８は、色指定フラグがオンであるときのみ、表示色セレクタ１１６で指定された表示色に相当する画素信号をフレームメモリ２８に出力する。こうすることで、マーカを点滅表示させることができる。

別の実施例として、表示色セレクタ１１６は、フレームのカウント数に応じてマーカの色を変化させてもよい。例えば、斜線を構成する点を白、橙、赤の順に変化させてもよい。

図９は、本実施形態に係るマーカ描画部２６における処理の手順を示すフローチャートである。
まず、表示座標算出部１１４は、マーカ指示部１０６からマーカを表示すべき座標を受け取る（Ｓ１０）。表示座標算出部１１４は、ラインカウンタ１０２およびピクセルカウンタ１０４からの情報に応じて、復号部２４からフレームメモリ２８に書き込まれようとしている画像フレームを構成する画素信号に対応する座標（以下、単に「画素座標」と呼ぶ）を特定する（Ｓ１２）。表示座標算出部１１４は、画像フレーム内での画素座標とマーカの表示座標とを比較する（Ｓ１４）。両者が一致すれば（Ｓ１６のＹ）、出力セレクタ１１８は、表示色セレクタ１１６により指定されたマーカ表示色に相当する画素信号をフレームメモリ２８に出力する（Ｓ１８）。画像フレーム内での画素座標とマーカの表示座標とが一致しなければ（Ｓ１６のＮ）、本来の画像フレームの画素信号をそのままフレームメモリに出力する（Ｓ２０）。

以上説明したように、本実施形態によれば、車載カメラで撮影された車両後方の映像に、車両の大きさを表すマーカを付加表示することができる。一般的に言って、本実施形態のように無線通信を介して映像データを伝送すると、有線の場合よりも遅延時間が問題になり、さらに映像データの符号化、復号にも時間を要する。本実施形態に係る映像表示システムでは、映像データに付加するマーカを車載カメラにおける画像処理で行うのではなく、受信機において画像フレーム信号の復号処理をする際に必須となるフレームメモリへの描画時に実施するようにした。これによって、マーカの付加に伴う処理時間の増加を抑制でき、映像データの伝送で生じる遅延時間の短縮に寄与することができる。

また、本実施形態のマーカ描画部は、復号部から出力される画像フレーム信号を構成する各画素信号について、マーカの表示色に相当する画素で置き換えるか否かを出力セレクタで判定するという構成をしている。したがって、カメラおよびディスプレイが既に車両に設置されている場合でも、それらに対して何の変更も加えることなく、上述の送受信機を追加するだけで映像にマーカを付け加えることができる。したがって、装置の後付けを容易に行える。

さらに、車載ディスプレイに表示されるマーカの色を表示座標によって変えたり、マーカを点滅表示させたりすることで、マーカと背景のカメラ画像とを明確に区別することができる。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態では、マーカ描画部２６をフレームメモリ２８の前段に配置し、復号部２４から出力される画像フレームの画素信号がフレームメモリ２８に書き込まれる前に、マーカの表示色に相当する画素で置換することを説明した。しかしながら、マーカ描画部２６をフレームメモリ２８の後段に配置してもよい。この場合、マーカ描画部２６は、フレームメモリ２８に蓄積された画像フレームの画素信号を一ラインずつ読み出す。読み出している画素信号に対応する画像フレーム内での表示座標を、ラインカウンタ１０２およびピクセルカウンタ１０４により特定する。そして、画像フレームの画素座標が所与のマーカ表示座標と一致すると、図４に関して述べたのと同様にして、画像フレームの画素信号の代わりにマーカ表示色に相当する画素信号を出力する。このように、マーカ描画部２６は、フレームメモリ２８の前後いずれに配置することも可能である。

また、上述の実施の形態では、画像フレームを構成する画素信号を、マーカの表示色に相当する画素信号で置換して出力することを述べた。しかしながら、図４の出力セレクタ１１８の代わりに、画像フレームの画素値Ｅと、マーカの表示色に相当する画素値Ｆとを、周知のアルファブレンディングにより合成して出力する加算器を設けてもよい。すなわち、この加算器は、マーカ表示フラグがオンかつマーカ表示位置フラグがオンの場合、所定の不透明度を表すα値に対し、（１−α）Ｅ＋αＦのように加算した画素値を出力する。こうすることで、車載カメラで撮影された元の映像の上に重ねて、半透明でマーカを描画することができる。したがって、路面上の文字や凹凸といった画像情報がマーカの描画により欠落することを回避できる。この加算器は、マーカ描画部２６がフレームメモリ２８の前後いずれに配置されている場合でも、適用可能である。

実施の形態では、車両後部にカメラを取り付け車両が後進するときの映像にマーカを描画する場合について説明した。しかし、車両前方にカメラを取り付け車両が前進するときの映像にマーカを描画してもよい。また、マーカは車両の幅または車両の底面積以外のものを表してもよい。例えば、矢印や各種符号、運転に必要な情報など、描画すべき座標が指定されている任意のものを表すことができる。

また、本発明に係る映像表示装置は、カメラ、ディスプレイ等とともに車両に組み込まれた形で市販されていてもよいし、カメラまたはディスプレイのみを備えた車両に後付けで組み込むことも可能である。

さらに、本発明の適用対象は車両に限られず、カメラで撮影された映像を無線通信によって別の場所に配置されたディスプレイに映し出すあらゆる用途に適用することができる。

また、本発明を以下に述べるような態様で実現することも可能である。
１．マーカが斜線を含む図形であるとき、マーカ描画部は、斜線が点線で構成されるように画像フレーム内での画素信号の座標を設定することを特徴とする映像装置または映像表示装置。これによると、斜線のギザギザを目立たせないで表示することができる。
２．車載カメラが車両の前方または後方の路面を撮影するとき、マーカ描画部は、マーカを車両の底面積に相当する形状およびサイズに設定することを特徴とする映像装置または映像表示装置。これによると、車両のドライバーは、車載ディスプレイに映し出される撮影画像とマーカとを参照して、自車と障害物との距離等を把握することが可能となる。

本発明の一実施形態に係る映像表示システムの構成を示す図である。 第１無線装置および第２無線装置の構成を示す図である。 （ａ）は車載カメラにより撮影される画像フレームの一例を示し、（ｂ）は、マーカ描画部によりマーカが描画された画像フレームの一例を示す。 マーカ描画部の詳細な構成を示す図である。 ラインカウンタおよびピクセルカウンタの動作を説明する図である。 マーカ表示の変形例を説明する図である。 マーカ表示の別の変形例を説明する図である。 図６および図７のマーカ表示を実現するための方法を説明するタイミングチャートである。 一実施形態に係るマーカ描画部における処理の手順を示すフローチャートである。

符号の説明

１０ 車両、 １２ 車載カメラ、 １３ 送信機、 １４ 符号化部、 １６ 無線装置、 ２０ 受信機、 ２４ 復号部、 ２６ マーカ描画部、 ２８ フレームメモリ、 ２９ 車載ディスプレイ、 １００ 映像表示システム。

Claims (14)

1. カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号が供給され、その符号化された画像フレーム信号を復号する復号部と、
   復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成した上で、復号された画像フレーム信号を出力するマーカ描画部と、
   を備えることを特徴とする映像出力装置。
2. ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
   前記マーカ描画部は、前記復号部から前記フレームメモリへと画像フレーム信号が書き込まれるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項１に記載の映像出力装置。
3. ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
   前記マーカ描画部は、前記フレームメモリに蓄積された画像フレーム信号が前記ディスプレイに出力されるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項１に記載の映像出力装置。
4. 前記マーカ描画部は、前記復号部により復号された画像フレームのカウントに応じて、前記表示色データでの置換または合成を指示または解除する表示色指示部をさらに備えることを特徴とする請求項１ないし３のいずれかに記載の映像出力装置。
5. カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号を無線通信を介して受け取る受信部と、
   符号化された画像フレーム信号を復号する復号部と、
   復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成した上で、復号された画像フレーム信号を出力するマーカ描画部と、
   を備えることを特徴とする映像出力装置。
6. ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
   前記マーカ描画部は、前記復号部から前記フレームメモリへと画像フレーム信号が書き込まれるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項５に記載の映像出力装置。
7. ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
   前記マーカ描画部は、前記フレームメモリに蓄積された画像フレーム信号が前記ディスプレイに出力されるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項５に記載の映像出力装置。
8. 前記マーカ描画部は、前記復号部により復号された画像フレームのカウントに応じて、前記表示色データでの置換または合成を指示または解除する表示色指示部をさらに備えることを特徴とする請求項５ないし７のいずれかに記載の映像出力装置。
9. 車載カメラで撮影された複数画素から構成される画像フレームを符号化した画像フレーム信号を無線通信を介して受け取る受信部と、
   符号化された画像フレーム信号を復号する復号部と、
   復号された画像フレーム信号を構成する画素信号のうち、画像フレームにおいて予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報をドライバーに知らせるためのマーカの表示色データで置換またはマーカの表示色データと合成した上で車載ディスプレイに表示せしめるマーカ描画部と、
   を備えることを特徴とする映像表示装置。
10. 車載ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
    前記マーカ描画部は、前記復号部から前記フレームメモリへと画像フレーム信号が書き込まれるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項９に記載の映像表示装置。
11. 車載ディスプレイに表示させる画像フレームを一時的に蓄積するフレームメモリをさらに備え、
    前記マーカ描画部は、前記フレームメモリに蓄積された画像フレーム信号が前記ディスプレイに出力されるときに、画像フレーム信号を構成する画素信号を前記表示色データで置換または前記表示色データと合成させることを特徴とする請求項９に記載の映像表示装置。
12. 前記マーカ描画部は、前記復号部により復号された画像フレームのカウントに応じて、前記表示色データでの置換または合成を指示または解除する表示色指示部をさらに備えることを特徴とする請求項９ないし１１のいずれかに記載の映像表示装置。
13. 無線通信を介して供給された複数画素から構成される符号化画像フレームを復号した上で出力する方法において、復号された画像フレーム信号をフレームメモリに対して読み書きするときに、予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成することを特徴とする映像出力方法。
14. 無線通信を介して供給された複数画素から構成される符号化画像フレームを復号した上で所定の車載ディスプレイに表示せしめる方法において、復号された画像フレーム信号をフレームメモリに対して読み書きするときに、予め定められた座標に対応する画素の画素信号を、画像フレーム内での位置情報を示すマーカの表示色データで置換またはマーカの表示色データと合成することを特徴とする映像表示方法。

Images