JP2010166568A

JP2010166568A - 画像補償装置、画像補償方法、ビデオ表示装置及びプログラム

Info

Publication number: JP2010166568A
Application number: JP2010009438A
Authority: JP
Inventors: Kei Matsubayashi; 慶松林
Original assignee: Sony Espana SA
Current assignee: Sony Espana SA
Priority date: 2009-01-19
Filing date: 2010-01-19
Publication date: 2010-07-29
Also published as: GB0900867D0; GB2467118A; CN101783871A; US8675088B2; US20100182446A1; CN101783871B

Abstract

【課題】ビデオディスプレイの表示画像がビデオカメラに撮像される際に、表示画像が撮像画像に及ぼす照明の影響を効率的に補償すること。
【解決手段】ビデオディスプレイ及び当該ビデオディスプレイの前方領域の画像を撮像するように構成されたビデオカメラと共に用いるための画像補償装置が提供される。当該画像補償装置は、前記ビデオディスプレイに供給される、一連の表示画像をそれぞれ表示する一連のフレームデータを解析するように構成された解析部と、前記ビデオディスプレイ上に表示される前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出するように構成された処理部と、前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす前記照明の影響を補償するように、前記ビデオカメラによって撮像された一連の撮像画像に画像補償を施すように構成された補償部とを具備する。
【選択図】図３

Description

本発明は、画像補償装置、ビデオディスプレイとビデオカメラとを有するシステムのビデオカメラによって撮像した画像の補償方法、ビデオ表示装置及びプログラムに関する。

ビデオディスプレイの近傍にビデオカメラを設けて、ビデオディスプレイの前方領域の画像を撮像できるようにしたビデオ会議システムがよく知られている。このようなシステムにより、ユーザがビデオディスプレイ上に表示されたビデオ画像を閲覧する一方で、そのユーザの画像をビデオカメラによって撮像し、遠隔に位置する別のユーザにその画像を送信することが可能である。ビデオディスプレイは、その別のユーザの画像を再生する場合もある。

下記特許文献１は、ビデオカメラがビデオディスプレイの後方に配置された構成を提案している。ビデオカメラは、ビデオディスプレイを透過する光を利用して、ビデオディスプレイの前方領域の画像を撮像する。ビデオディスプレイは、一連の画像の各画像を照明するバックライトを有する。表示される表示画像と、ビデオカメラによって撮像される撮像画像との干渉を防ぐために、ビデオカメラは、バックライトがオフとなる（又は少なくとも暗くなる）一連の表示画像間のインターバル中にのみ、画像を撮像するように構成される。しかしながら、ビデオカメラはビデオディスプレイの画素を通して画像を撮像しなければならないため、特許文献１は、ビデオカメラの入力センサ／レンズの前方に存在する（照明されていない）画素に応じて、ビデオカメラによって撮像された撮像画像に画像補正を適用することを提案している。

米国特許公開第２００７／０１２０８７９号明細書米国特許公開第２００９／０６６８５７号明細書特開２０００−１０１９８３号公報特開平０７−２９８２３３号公報特開平０６−３３４９９６号公報

本願は、上記とは幾分異なる問題、すなわち、ビデオディスプレイが再生する表示画像によって、ビデオディスプレイの前方領域がどうしても照明されてしまい、これがビデオカメラによって撮像される撮像画像に影響するという問題を初めて認識するものである。ビデオカメラがビデオディスプレイの表示面付近に配置される従来型の構成であっても、この問題は起こる。この照明は、撮像画像のカラーバランス及び／又は輝度に著しい悪影響を及ぼす。

周辺輝度を調整するために、ビデオカメラにホワイトバランス調整機構を設けることは周知である。しかしながら、このようなシステムでは、適切なカラーバランスを事前に設定しておくこと、及び／又は、撮像シーンの解析に基づいて輝度／カラーバランスを調整すること（すなわち、一種のフィードバック制御）が必要となる。このようなシステムは、ビデオディスプレイからの照明によって高速に変化する輝度及び色を補償する際には効率が悪い。

本発明の一実施形態によれば、ビデオディスプレイと、当該ビデオディスプレイの前方領域の画像を撮像するビデオカメラとを有するシステムの前記ビデオカメラによって撮像される撮像画像の画像補償方法が提供される。当該方法は、前記ビデオディスプレイに供給される、一連の表示画像をそれぞれ表示する一連のフレームデータを解析し、前記ビデオディスプレイ上に表示される前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出し、前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす前記照明の影響を補償するように、前記ビデオカメラによって撮像される一連の撮像画像に画像補償を施す。

本発明の別の実施形態によれば、ビデオディスプレイ及び当該ビデオディスプレイの前方領域の画像を撮像するように構成されたビデオカメラと共に用いるための画像補償装置が提供される。当該画像補償装置は、前記ビデオディスプレイに供給される、一連の表示画像をそれぞれ表示する一連のフレームデータを解析するように構成された解析部と、前記ビデオディスプレイ上に表示される前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出するように構成された処理部と、前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす前記照明の影響を補償するように、前記ビデオカメラによって撮像される一連の撮像画像に画像補償を施すように構成された補償部とを具備する。

このように、ビデオディスプレイに表示されるデータについての認識を得ることにより、ビデオカメラによって撮像されるビデオ画像を動的に補償することが可能である。撮像された画像を解析する必要はなく、輝度の変化と、色補償とを適切に推定することができる。ビデオディスプレイに供給されるデータを用いて、前方領域に及ぼす照明の影響を事前に算出することが可能である。したがって、画像を撮像する前に、その画像を補償する工程を行うことができる。

前記補償部は、前記ビデオカメラから入力データとして前記撮像画像を受信するように構成されてよい。前記補償部は、当該入力データの値を調整することによって事前に前記画像補償を施し、その後、当該調整されたデータを前記画像データに代えて出力する。

このように、補償部は、画像撮像時の前方領域の照明条件を考慮に入れて、撮像されたＲＡＷ画像データを処理する。

これに加えて、又はこれに代えて、前記補償部は、撮像パラメータを調整するように前記ビデオカメラを制御して、画像補償を実現してもよい。

ビデオカメラは、シャッタースピード、シャッタータイミング、バイアス電圧等の各種の撮像パラメータを有する。ビデオディスプレイ上の表示画像が及ぼす照明の影響を事前に算出することができるため、それに応じて、ビデオカメラの撮像パラメータを、画像が適正に撮像されるように事前に制御することができる。

前記照明の影響は、例えば、前記ビデオディスプレイ上に表示される前記表示画像から発生して前記ビデオディスプレイの前方領域に反射される光の影響である。

前記補償部は、前記ビデオカメラによって撮像される前記一連の撮像画像におけるホワイトバランスの変化を補償する画像補償を施すように構成されてもよい。

このように、ビデオディスプレイがビデオディスプレイの前方領域を特定の色で照明している場合、この色の照明が前方領域に及ぼす影響を補償することができる。これにより、適正なホワイトバランスを有する撮像画像が得られる。

これに加えて、又はこれに代えて、前記補償部は、前記ビデオカメラによって撮像される前記一連の撮像画像における輝度の変化を補償する画像補償を施すように構成されてもよい。

したがって、ビデオディスプレイが、特に明るい画像又は特に暗い画像を表示するように変化した場合、それによる影響を補償することができる。これにより、比較的一定の輝度を有する一連の撮像画像が得られる。

前記解析部は、前記一連の表示画像の各表示画像の各全体について、平均表示データを算出するように構成されてもよい。前記処理部は、前記算出された平均表示データに基づいて、各表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出するように構成されてもよい。

このように、解析部は、特定の表示画像の平均輝度及び／又は平均色を算出することができる。処理部は、この平均値を用いて、ビデオディスプレイの前方領域に及ぶ照明の影響を算出することができる。

表示画像の各部分について平均値を算出して、これらの平均値を撮像画像の複数の異なる部分に選択的に適用することも可能である。

前記補償部は、前記ビデオカメラが前記一連の撮像画像の各画像を撮像している間に前記ビデオディスプレイによって表示される、各撮像画像に対応する１つ又は複数の表示画像に応じて、前記ビデオカメラによって撮像される前記一連の撮像画像の各画像について画像補償を適用するように構成されてもよい。

一回の画像撮像中に、２つ以上の表示画像が表示されている場合、画像撮像時間のうち、表示画像がビデオディスプレイの前方領域に照明の影響を与えている時間の割合に応じて、各表示画像の平均値（又はその表示画像の複数の異なる部分の各平均値）を、一連の表示画像間で平均することができる。

好適には、ビデオディスプレイは、前記表示画像を表示する表示面を有し、前記ビデオカメラは、前記ビデオディスプレイと一体的に、前記表示面近傍に設けられる。

ここで、ビデオカメラとビデオディスプレイは、ビデオ表示装置の一部として一体的に設けられてもよい。

ビデオディスプレイと、ビデオカメラと、上述のような画像補償装置を具備するビデオ表示装置を提供してもよい。

画像補償の機能は、ソフトウェアとして提供されてもよく、例えば、ビデオディスプレイ及びビデオカメラを有する適当なビデオ表示装置にインストールされてもよい。

本発明の実施形態に係る画像補償装置を用いるビデオシステムを概略的に示す図である。本発明の実施形態と共に用いる表示画像の例を示す図である。本発明の実施形態に係る画像補償装置の機能構成要素を概略的に示す図である。本発明の別の実施形態に係る画像補償装置を示す図である。

本発明は、添付の図面を参照して、例示としてのみ提示される以下の説明により、より明確に理解される。

ビデオ表示装置の機能を改善及び向上させるために、ビデオディスプレイ近傍にビデオカメラを配置することが望ましい。

図１は、表示面４を有するビデオディスプレイ２を有するシステムを概略的に示す。ビデオディスプレイ２は、表示面４上に、ビデオディスプレイ画像を表示することができる。表示面４の近傍には、ビデオカメラ６が設けられる。ビデオカメラ６は、ビデオディスプレイ２の前方領域を撮像できるように、表示面４と同じ方向を向いている。図１に示すように、ビデオディスプレイ２の前方領域は、閲覧者、すなわちこのシステムのユーザ８を含む。

本実施形態の文脈では、ビデオディスプレイ２は、一連の複数の画像、例えば複数のフィールド又はフレームの形式の画像からなるストリームを表示できるものとする。しかし、これらの画像は、狭義のビデオを再生するだけでなく、任意の他のグラフィック動画又はアニメーション動画を再生してもよい。ビデオディスプレイ２は、静止写真画像に加えて、例えばプレゼンテーション用のスライドに含まれるグラフィック静止画及び／又はテキスト静止画等を表示するために用いられてもよい。

上記から分かるように、ビデオディスプレイ２の表示面４は、種々の異なる画像を表示するために用いることができる。ユーザ８がこれらの画像を閲覧する一方で、ビデオカメラ６は、ビデオディスプレイ２の前方領域の画像を撮像し、この撮像画像を記録するか、又は、図１に示すビデオディスプレイ２及びユーザ８から遠隔にある別のビデオ表示装置に送信することができる。ビデオディスプレイ２を用いて、遠隔のビデオ表示装置から、その遠隔のビデオ表示装置の前方領域の撮像画像を受信することも想定される。単純なビデオ通信構成では、ビデオディスプレイ２は、単に、遠隔のビデオ表示装置から受信した撮像画像をその表示面４に表示する。

ビデオディスプレイ２のユーザと、遠隔のユーザの両方が、互いにビデオ通信を行いながら同じ画像を見たいと思う場合もある。例えば、このような画像は、プレゼンテーションの一部、写真のコレクション、テレビ番組、又は任意の他の適切な画像である。

図２（Ａ）は、表示面４が主画像領域１２と追加画像領域１４とに分割された構成を示す。追加画像領域１４には、遠隔のビデオ表示装置の前方領域の撮像画像が表示され、ユーザ８と遠隔のユーザとが共に閲覧する画像が主画像領域１２に表示される。もちろん、主画像領域１２と追加画像領域１４とが逆になってもよい。

図２（Ｂ）に示すように、第２の追加画像領域１６のようなさらなる追加画像領域を設けることも可能である。複数の遠隔のユーザと通信する場合、このようにして、複数のユーザからの撮像画像を、各追加画像領域１４、１６に表示することができる。その他の各種画像をさらなる追加画像領域に表示することも可能である。例えば、ユーザ８は、主画像領域１２においてプレゼンテーションを視聴し、追加画像領域１４において遠隔のユーザからの撮像画像を視聴しながら、追加画像領域１６において、スポーツ放送番組を選択・視聴することができる。

図２（Ｃ）は、第３の追加画像領域１８が設けられたさらなる変形例を示す。表示面４全体のサイズに応じて、任意の数の追加画像領域を設けることができる。図２（Ｃ）に示す例では、主画像領域１２は、追加画像領域１４、１６、１８とは別個の領域として設けられている。すなわち、図２（Ａ）及び（Ｂ）のようにピクチャー・イン・ピクチャー構成を用いて主画像領域１２内に追加画像領域を設けるだけでなく、同図（Ｃ）のように表示面４の別個の領域として主画像領域１２を設けることもできる。

ビデオディスプレイ２の表示面４上に表示される表示画像によって、ビデオディスプレイ２の前方領域、例えばユーザ８を照明する光がどうしても発生してしまう。ビデオカメラ６の制御回路が（例えばフィードバック制御ループを用いて）、周辺の色温度及び輝度の変動を補正することは可能であるが、ビデオディスプレイ２上の表示画像による照明の影響を補正することは非常に困難である。特に、ビデオディスプレイ２上の表示画像は、色内容及び輝度の両方が非常に高速で変化する。

図１に示す実施形態では、画像補償装置１０は、ビデオディスプレイ２及びビデオカメラ６に接続されて示されている。しかし、画像補償装置１０は、ビデオディスプレイ２及びビデオカメラ６を有する一体型のシステム、例えば携帯電話、ノート型パソコン、又はテレビに組み込まれてもよい。

図３は、ビデオディスプレイ２及びビデオカメラ６と共に用いられる画像補償装置１０の機能構成要素を概略的に示す。

画像補償装置１０は、解析部２０を有する。解析部２０は、一連の表示画像をそれぞれ表すフレームのデータを受信するように接続される。本実施形態では、用語「フレーム」は、フィールド及びフレームの両方を含む広義の意味で用いられる。このデータは、ビデオディスプレイ２による最後の表示の前の任意の段階で取得することができる。したがって、データは、トランスポートストリーム（例えば、ＭＰＥＧ２規格等）から、液晶ディスプレイ等のディスプレイを直接駆動するＲＡＷデータまでの範囲に及ぶ。いずれにせよ、このデータは、ビデオディスプレイ２によって表示される一連の表示画像の色及び輝度、ひいてはビデオディスプレイ２から発生してビデオディスプレイ２の前方領域を照明する光に関する情報を有する。

解析部２０は、受信したデータの種類に応じて適切にデータを解析し、一連の画像の輝度及び色品質を求める。

処理部２２は、解析部２０による解析と協働して、一連の表示画像がビデオディスプレイ２の前方領域に及ぼす照明の影響を算出する。

好適な実施形態では、解析部２０及び処理部２２は、各フレーム又は一連の表示画像の各画像について、画像の平均輝度及び平均色温度を求め、照明が前方領域に及ぼす影響（を示す値）を算出する。もちろん、実施形態によっては、輝度変化又は色変化を算出して補償すればよい場合もある。

補償部２４は、ビデオカメラ６によって撮像された一連の撮像画像に画像補償を施すために設けられる。適用される補償の量及び質は、処理部２２によって算出された照明の影響（を示す値）に応じて決定される。

周知のように、ビデオカメラ６によって撮像された撮像画像の性質は、ビデオカメラ６の各種のパラメータ、例えば絞り開口、物理的又は電子的なシャッタースピード、及び各種バイアス電圧等を変更することによって変更することができる。いくつかの構成では、これらの性質のうちの１つ又は複数を、異なる色（例えば赤、緑及び青）ごとに独立して変更可能である。

これを念頭に置いて、一実施形態では、補償部２４は、ビデオカメラ６に制御信号２６を供給して、種々のパラメータのうちの１つ又は複数を制御することができる。これにより、補償部２４は、ビデオディスプレイ２の前方領域の照明条件の変化を算出又は検出しなくても、ビデオカメラ６自体のパラメータを直接制御して（フィードバックを必要とすることなく）、ビデオディスプレイ２上に表示される表示画像によって生じる、ビデオディスプレイ２の前方領域における照明条件の変化を補償することができる。

或いは、補償部２４は、ビデオカメラ６によって出力される画像データの値を調整することによって画像補償を適用してもよい。したがって、図３に示すように、撮像によって得られ、ビデオカメラ６から送信された画像データは、画像補償のための入力データ２８として、補償部２４に受信される。

入力データ２８の値は、ビデオディスプレイ２上の表示画像がビデオディスプレイ２の前方領域に及ぼす照明の影響を色又は輝度において補償するために、処理部２２によって算出された照明の影響に応じて、調整される。この調整されたデータは、ビデオカメラ６によって供給された入力データ２８の代わりに、出力データ３０として供給される。このようにしても、ビデオディスプレイ２上の表示画像によって変化するビデオディスプレイ２の前方領域における実際の照明条件を検出する必要なく、ビデオカメラ６によって撮像される一連の撮像画像を補正、調整又は補償することが可能である。この場合、フィードバック制御は必要ない。画像補償装置１０は、ビデオディスプレイ２に供給される画像データを解析することにより、適切な補償を直接提供する。例えば、補償部２４は、照明の影響に応じた補償値を記憶しておき、処理部２２によって算出された影響を示す値に応じた補償値を入力データ２８に適用する。

上述の構成では、ビデオカメラ６が一連の撮像画像の各画像を撮像している間に、ユーザ８を含むビデオディスプレイ２の前方領域が、ビデオディスプレイ２上に表示される表示画像によって照明される。ビデオカメラ６の一連の撮像画像のフレームレートは、ビデオディスプレイ２上に表示される一連の表示画像のフレームレートよりも高速である場合もあり、低速である場合もある。いずれにせよ、画像補償装置１０は、ビデオカメラ６が各画像を撮像している間にビデオディスプレイ２上に表示されている内容に応じて、適切な補償を提供することができる。一回の撮像中に、ビデオディスプレイ２上に２つ以上の画像が表示される場合、解析部２０及び処理部２２は、それらの異なる画像の組み合わせによる照明の影響に対する適切な補償を算出することができる。

好適な実施形態では、処理部２２は、表示画像全体の値を平均することにより、表示画像が及ぼす照明の影響を計算する。例えば、表示画像全体の平均輝度及び／又は平均色温度を算出する。しかしながら、ビデオカメラ６によって撮像される撮像画像の各部分について異なる補償を提供することも可能である。これに関して、撮像画像の左側は、表示画像の右側よりも左側から、より多くの影響を受けることが想定される。同様に、表示画像の上側と下側にも違いがある。

例として、図４は、本発明を具現する別のビデオ表示装置をより詳細に示す。ビデオ表示装置は、ＬＣＤ（Liquid Crystal Display）パネルとしてのビデオディスプレイ２及びカメラセンサとしてのビデオカメラ６に加えて、マイク３２及びスピーカ３４を有する。カメラセンサ６によって撮像された画像データを処理するために、内部ビデオ処理の一部として、複数の他の標準的な機能構成要素が設けられる。具体的には、Ａ／Ｄ変換部６１、ブラック調整部６２、ホワイトバランス調整部６３、ベイヤー補完部６４、ガンマ補正部６５、及び色空間変換部６６が設けられる。これらの機能構成要素からの出力は、マイク３２からの出力と共に、エンコーダ３６に供給される。

コール制御部３８は、ネットワークインタフェース４０と共に動作し、これによりユーザは、上述のような遠隔の装置を用いる別のユーザと通信することができる。エンコードされた音声及びビデオ情報は、遠隔のユーザによる再生のために、ネットワークインタフェース４０を介して送信される。同様に、遠隔のユーザから受信された音声情報及びビデオ情報は、ＬＣＤパネル２及びスピーカ３４による再生のためにデコーダ４２に送られる。

当該ビデオ表示装置には、ユーザインタフェース制御部４４も設けられる。

図３を参照して説明したように、ＬＣＤパネル２に供給される画像データは、画像補償装置１０にも供給される。画像補償装置１０に供給された画像データを用いて、ホワイトバランス調整部６３による画像補償（供給された画像データにおけるホワイトバランスの変化の補償）を提供することができる。

Claims

ビデオディスプレイ及び当該ビデオディスプレイの前方領域の画像を撮像するように構成されたビデオカメラと共に用いるための画像補償装置であって、
前記ビデオディスプレイに供給される、一連の表示画像をそれぞれ表示する一連のフレームデータを解析するように構成された解析部と、
前記ビデオディスプレイ上に表示される前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出するように構成された処理部と、
前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす前記照明の影響を補償するように、前記ビデオカメラによって撮像される一連の撮像画像に画像補償を施すように構成された補償部と
を具備する画像補償装置。
請求項１に記載の画像補償装置であって、
前記補償部は、前記ビデオカメラから入力データとして前記撮像画像を受信し、当該入力データの値を調整することによって前記画像補償を施し、当該調整されたデータを前記撮像画像に代えて出力するように構成される
画像補償装置。
請求項１又は２に記載の画像補償装置であって、
前記補償部は、撮像パラメータを調整するように前記ビデオカメラを制御して、前記画像補償を実現するように構成される
画像補償装置。
請求項１乃至３のいずれか１項に記載の画像補償装置であって、
前記照明の影響は、前記ビデオディスプレイ上に表示される前記表示画像から発生して前記ビデオディスプレイの前方領域に反射される光の影響である
画像補償装置。
請求項１乃至４のいずれか１項に記載の画像補償装置であって、
前記補償部は、前記ビデオカメラによって撮像される前記一連の撮像画像におけるホワイトバランスの変化を補償する前記画像補償を施すように構成される
画像補償装置。
請求項１乃至５のいずれか１項に記載の画像補償装置であって、
前記補償部は、前記ビデオカメラによって撮像される前記一連の撮像画像における輝度の変化を補償する前記画像補償を施すように構成される
画像補償装置。
請求項１乃至６のいずれか１項に記載の画像補償装置であって、
前記解析部は、前記一連の表示画像の各画像の各全体について、平均表示データを算出するように構成され、
前記処理部は、前記算出された平均表示データに基づいて、前記各表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出するように構成される
画像補償装置。
請求項１乃至７のいずれか１項に記載の画像補償装置であって、
前記補償部は、前記ビデオカメラが前記一連の撮像画像の各画像を撮像している間に前記ビデオディスプレイによって表示される、各撮像画像に対応する１つ又は複数の表示画像に応じて、前記ビデオカメラによって撮像される前記一連の撮像画像の各画像について前記画像補償を施すように構成される
画像補償装置。
請求項１乃至８のいずれか１項に記載の画像補償装置であって、
前記ビデオディスプレイは、前記表示画像を表示する表示面を有し、
前記ビデオカメラは、前記ビデオディスプレイと一体的に、前記表示面近傍に設けられる
画像補償装置。
ビデオディスプレイと、
ビデオカメラと、
請求項１乃至９のいずれか１項に記載の画像補償装置と
を具備するビデオ表示装置。
ビデオディスプレイと、当該ビデオディスプレイの前方領域の画像を撮像するビデオカメラとを有するシステムの前記ビデオカメラによって撮像される撮像画像の画像補償方法であって、
前記ビデオディスプレイに供給される、一連の表示画像をそれぞれ表示する一連のフレームデータを解析し、
前記ビデオディスプレイ上に表示される前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす照明の影響を算出し、
前記一連の表示画像が前記ビデオディスプレイの前方領域に及ぼす前記照明の影響を補償するように、前記ビデオカメラによって撮像される一連の撮像画像に画像補償を施す
画像補償方法。
コンピュータに、請求項１１に記載の画像補償方法の各ステップを実行させるプログラム。
請求項１２に記載のプログラムが記憶された、コンピュータ読取可能な記憶媒体。