JP2013015324A - 映像表示装置、映像表示方法およびプログラム - Google Patents

Abstract

【課題】テレビジョン装置に固定されたカメラのキャリブレーションを行い易い映像表示装置、映像表示方法およびプログラムを提供することである。
【解決手段】実施形態の映像表示装置は、映像を撮影するカメラと、映像を表示するディスプレイと、第１表示手段と、検出手段と、算出手段と、第２表示手段と、を備える。前記第１表示手段は、前記ディスプレイの所定の表示座標を基準として所定の図形を表示させる。前記検出手段は、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得する。前記算出手段は、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するための補正係数を算出する。前記第２表示手段は、前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる。
【選択図】図９

Description

本発明の実施形態は、映像表示装置、映像表示方法およびプログラムに関する。

近年、デジタルテレビジョン装置においては、カメラを内蔵して、その内蔵カメラによって視聴者を撮影し、撮影した映像を自装置のディスプレイに表示させるタイプのものが知られている。このようなテレビジョン装置においては、カメラが固定されているため、外付けのカメラとは異なって内蔵カメラの位置や光軸等を微調整することができない。

従来、カメラで撮影されたカメラ映像をディスプレイに表示する場合には、カメラ映像の表示位置や回転角度、その他の画像の歪み等を画像処理によって補正し、補正後の映像をディスプレイに表示させる技術が知られている。

特開２００９−４２１６２号公報

しかしながら、従来技術においては、テレビジョン装置に固定して設けられたカメラで撮影されたカメラ映像を補正するキャリブレーション方法については開発途上であり、簡便に行うことができるキャリブレーション方法が望まれていた。

本発明が解決しようとする課題は、テレビジョン装置に固定されたカメラのキャリブレーションを行い易い映像表示装置、映像表示方法およびプログラムを提供することである。

実施形態の映像表示装置は、映像を撮影するカメラと、映像を表示するディスプレイと、第１表示手段と、検出手段と、算出手段と、第２表示手段と、を備える。前記第１表示手段は、前記ディスプレイの所定の表示座標を基準として所定の図形を表示させる。前記検出手段は、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得する。前記算出手段は、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するための補正係数を算出する。前記第２表示手段は、前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる。

図１は、実施形態のテレビジョン装置の一例を示す外観斜視図である。 図２は、テレビジョン装置の信号処理系を示すブロック図である。 図３は、カメラが撮影するカメラ映像と、ディスプレイが表示する表示映像の位置ずれの一例を説明する図である。 図４は、テレビジョン装置が有するソフトウェア構成を示すブロック図である。 図５は、テレビジョン装置が行う補正係数算出処理の手順を示すフローチャートである。 図６は、カメラと鏡との相対的位置関係の算出方法を説明する図である。 図７は、アフィン変換による変換行列を説明する図である。 図８は、鏡と鏡像との相対的位置関係の算出方法を説明する図である。 図９は、カメラ映像における座標と、ディスプレイの表示座標との相対的位置関係を説明する図である。 図１０は、カメラ映像を補正してディスプレイに表示させる場合の動作を示すブロック図である。 図１１は、テレビジョン装置が行う映像表示処理の手順を示すフローチャートである。

図１は、実施形態にかかる映像表示装置であるテレビジョン装置１の一例を示す外観斜視図である。図１に示すように、テレビジョン装置１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１は、筐体２と、ディスプレイ３を備えている。ディスプレイ３は、例えばＬＣＤ（Liquid Crystal Display）等で構成され、後述する映像処理部１７（図２参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２にはカメラ４が設けられている。このカメラのは、例えばテレビジョン装置１の視聴者等を撮影する目的で用いることができる。また、筐体２は、支持部５に支持されている。

図２は、テレビジョン装置１の信号処理系を示すブロック図である。図２に示すように、テレビジョン装置１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。チューナＡ１４１およびチューナＢ１４２は地上デジタル放送受信用のチューナであり、チューナＣ１４３はＢＳ／ＣＳデジタル放送受信用のチューナである。なお、図２においては、チューナを３台有している場合について示すが、チューナの数はこれに限定されるものではない。

チューナ部１４は受信した放送信号を復調復号部１５に出力する。復調復号部１５は、入力された放送信号をデジタルの映像信号及び音声信号等に復元し、入力信号処理部１６に出力する。

テレビジョン装置１には、テレビジョン装置１の外部からデジタルの映像信号又は音声信号を直接入力するための入力端子２１が設けられている。入力端子２１を介して入力されたデジタルの映像信号及び音声信号は、記録再生処理部２９に入力される。

操作部２４は、筐体２に設けられ、電源のオン・オフを行うスイッチ、チャンネルを切り替えるスイッチ等を備えている。受信部２６は、リモートコントローラ（以下、リモコンと略称する）２５から信号を受信して受信した信号を制御部４０に出力する。制御部４０は、操作部２４またはリモコン２５におけるユーザの操作に基づいて再生、チャンネル切替、録画予約等の指示を受付ける。

ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８に対してデジタルデータの記録再生を行う。ディスクドライブ部２７は、制御部４０の指示に基づいて光ディスク２８からデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ディスクドライブ部２７は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号を光ディスク２８に記録する。

ＨＤＤ２０は、内部に備えるハードディスクに対する記録および再生を行う。ＨＤＤ２０は、制御部４０の指示に基づいてハードディスクからデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ＨＤＤ２０は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号をハードディスクに記録する。

記録再生処理部２９は、復調復号部１５、入力端子２１、ディスクドライブ部２７、ＨＤＤ２０、図示しないネットワークインタフェースから入力されるデジタルの映像信号、音声信号を暗号化し所定の記録フォーマットに変換する。そして変換後の信号をディスクドライブ部２７またはＨＤＤ２０に出力する。また、記録再生処理部２９は、ディスクドライブ部２７またはＨＤＤ２０から読み出されたデジタルの映像信号、音声信号を複合化して、入力信号処理部１６に出力する。

入力信号処理部１６は、復調復号部１５または記録再生処理部２９から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。入力信号処理部１６は、デジタルの映像信号を映像処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力する。

映像処理部１７は、入力信号処理部１６または制御部４０から入力されたデジタルの映像信号を、ディスプレイ３で表示可能なフォーマットのアナログ映像信号に変換して、ディスプレイ３に入力する。ディスプレイ３は、映像処理部１７から出力されたアナログ映像信号によって、番組の視聴画面や、その他の映像等を表示する。

音声処理部１８は、入力信号処理部１６から入力されたデジタルの音声信号を、後段のスピーカ１９で再生可能なフォーマットのアナログ音声信号に変換して、スピーカ１９に入力する。スピーカ１９は、音声処理部１８から入力されたアナログ音声信号に基づいて音声を再生する。

制御部４０は、チューナ部１４、記録再生処理部２９、入力信号処理部１６、操作部２４、受信部２６、ディスクドライブ部２７、ＨＤＤ（Hard Disk Drive）２０、図示しないネットワークインタフェース等とバスやインタフェースによって接続されており、これら各部の動作を制御する。また、制御部４０は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、制御部４０に接続された上記各部を制御し、番組視聴、チャンネル切替、番組の録画予約、映像コンテンツ等の処理を行う。

また、制御部４０は、図２に示すように、ＣＰＵ（Central Processing Unit）４０ａと、ＣＰＵ４０ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）４０ｂと、該ＣＰＵ４０ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）４０ｃとを備えている。

ここで、カメラ４が撮影するカメラ映像と、ディスプレイ３が表示する標示映像の位置ずれについて説明する。図３は、カメラ４が撮影するカメラ映像と、ディスプレイ３が表示する表示映像の位置ずれの一例を説明する図である。まず、カメラ４によって撮影されるカメラ映像の中心位置は、カメラ４のレンズの中心位置となり、ディスプレイ３が表示する表示映像の中心位置は、ディスプレイ３の中心位置となるため、これらの中心位置はディスプレイ３の幅に応じて離間することとなる。また、図３に示すように、カメラ４の光軸はディスプレイ３の前の視聴者を撮影できるようディスプレイ３の中心寄りに傾けて設置される。従って、カメラ４のレンズ表面の法線ベクトル５１と、ディスプレイ表面の法線ベクトル５２とは異なる方向を向くこととなる。従って、カメラ映像をディスプレイ３に表示する場合には、これらカメラ映像とディスプレイ３の表示映像との相対的位置関係に応じて、位置や方向のずれを補正する必要がある。また、カメラ４をテレビジョン装置１に設置する際にはその位置に個体差が生じる場合もあるため、カメラ４の設置位置や設置方向を各々のテレビジョン装置１で補正する必要がある。

図４は、テレビジョン装置１が有するソフトウェア構成を示すブロック図である。制御部４０（図２参照）は、制御部４０が備えるＣＰＵ４０ａがＲＯＭ４０ｂに格納されたプログラムをＲＡＭ４０ｃに展開して実行することにより、図４に示すように、パターン生成部４１、パターン検出部４２、座標解析部４３、キャリブレーション部４４としての機能を実現する。また、制御部４０の不揮発性の記憶エリアには、補正係数格納部４５が設けられている。次に、各部の機能について概略的に説明する。

パターン生成部４１は、キャリブレーション用のパターン画像を生成する。パターン検出部４２は、鏡に描画されたキャリブレーション用のパターン画像、または、ディスプレイ３に表示されたパターン画像を鏡に映し出させたパターン画像の鏡像を検出する。

座標解析部４３は、カメラ映像における座標（ｘ、ｙ、ｚ）とディスプレイ３の表示映像における座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的関係をアフィン変換によって求め、アフィン変換の変換行列を補正係数として補正係数格納部４５に格納する。アフィン変換とは、元の図形を変形させずに平行移動や回転をさせる変換であり、元の図形上の座標と変換後の図形上の座標との相対的位置関係は、変換係数によって線形関係に表される。また、アフィン変換には、縦方向と横方向とで拡大または縮小の倍率が異なる変換や、図形を左右反転、上下反転させる変換も含まれる。

即ち、カメラ映像における任意の点の座標（ｘ、ｙ、ｚ）と、ディスプレイ３の表示映像において上記任意点に対応させる座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的位置関係を、アフィン変換の変換行列Ｒを用いて示すと、次式１のように表される。
（ｘ、ｙ、ｚ）＝Ｒ（Ｘｐ、Ｙｐ、Ｚｐ） （式１）
変換行列Ｒは、本実施形態においてカメラ映像とディスプレイ３の表示映像とを補正する際に用いられる補正係数であり、本実施形態の補正係数算出処理は、座標解析部４３が変換行列Ｒを算出する処理のことをいう。

キャリブレーション部４４は、補正係数格納部４５に格納された補正係数によってカメラ映像を補正し、補正後の映像をディスプレイ３に表示させる。尚、各部のより詳細な機能については後述する。

次に、テレビジョン装置１が行う補正係数算出処理について、図４および図５を参照して説明する。図４のブロック図は、テレビジョン装置１がカメラ映像のキャリブレーションに用いる補正係数を算出する場合の動作を示している。また、図５はテレビジョン装置１が行う補正係数算出処理の手順を示すフローチャートである。

まず、ディスプレイ３と鏡６とを正対させるようテレビジョン装置１を鏡６の前に設置する（ステップＳ１）。尚、テレビジョン装置１と鏡６とはどちら側を移動させてもよく、テレビジョン装置１の前に鏡６を設置するとしてもよい。また、テレビジョン装置１と鏡６との相対的位置関係は、ステップＳ２において補正されるため、ステップＳ１ではテレビジョン装置１と鏡６とをおよそ平行となるように設置すればよい。尚、テレビジョン装置１と鏡６とが厳密に平行である場合には、ステップＳ２の手順を省略することができる。

次に、テレビジョン装置１は、ディスプレイ３に設けられたカメラ４と鏡６との相対的位置関係を算出する（ステップＳ２）。

図６は、カメラ４と鏡６との相対的位置関係の算出方法を説明する図である。図６に示すように、補正係数算出処理において用いられる鏡６には、キャリブレーション用のパターン画像としてプリントパターン６１が描かれている。パターン検出部４２は、カメラ４で撮影されたこのプリントパターン６１のカメラ映像３２において、パターンの格子点Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４、…の座標を検出する。

図６において、点線で示される基準パターン３１は、カメラ４と鏡６が正対している場合に撮影されるべきパターン画像である。基準パターン３１の各格子点の座標は、プリントパターン６１における各格子点の座標に対応しており、予め記憶部（補正係数格納部４５）に格納されている。基準パターン３１の座標は、座標の参照値として、カメラ４が検出したパターン画像との比較に用いられる。以下では、プリントパターン６１における座標と基準パターン３１における座標が１対１に対応している例について説明する。

座標解析部４３は、プリントパターン６１のカメラ映像３２における格子点Ｐ１１、Ｐ１２、Ｐ１３、Ｐ１４、…の検出座標（第２検出座標）と、基準パターン３１において上記各格子点に対応する格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４、…の座標とを比較し、これらの間の相対的位置関係をアフィン変換を用いてそれぞれ算出する。尚、座標解析部４３は、最も近い格子点Ｐ１１〜Ｐ１４と格子点Ｐ１〜Ｐ４同士を対応付けて比較する。

図７は、アフィン変換による座標変換を説明する図である。図７に示すように、カメラ映像３２における各格子点の座標（ｘ、ｙ、ｚ）と、鏡６のプリントパターン６１（すなわち基準パターン３１）における各格子点の座標（Ｘｍ、Ｙｍ、Ｚｍ）との相対的関係を変換行列Ｒ１（第２補正係数）を用いて示すと、次式２のように表せる。
（ｘ、ｙ、ｚ）＝Ｒ１（Ｘｍ、Ｙｍ、Ｚｍ） （式２）

より具体的には、格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）、（ｘ、ｙ、ｚ）の間において、ｘ軸方向の回転角をα、ｙ軸方向の回転角をβ、ｚ軸方向の回転角をγ、ｘ軸方向の平行移動量をＴｘ、ｙ軸方向の平行移動量をＴｙ、ｚ軸方向の平行移動量をＴｚとすると、変換行列Ｒ１は以下のように４行４列の行列を４組並べた行列式で表される。

（式３）
式３において、１番目の行列はＺ軸回転を示し、２番目の行列はＹ軸回転を示し、３番目の行列はＸ軸回転を示し、４番目の行列はＸＹＺ各軸方向の平行移動を示す。

座標解析部４３（算出手段）は、格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）、（ｘ、ｙ、ｚ）の組み合わせを複数組用いて式３の連立方程式を立て、この解を得ることによって式３の変換行列Ｒ１に含まれる複数の未知数を算出する。これにより、座標解析部４３は、上記式２における変換行列Ｒ１を算出することができる。即ち、式３で算出された各回転角α、β、γ、および各平行移動量Ｔｘ、Ｔｙ、Ｔｚを用いてアフィン変換すれば、テレビジョン装置１は、カメラ４と鏡６の相対的位置関係を補正して、カメラ４と鏡６とが平行となった状態を仮想的に実現することができる。

次に、テレビジョン装置１は、鏡６と鏡像７（図７参照）との相対的位置関係を算出する（ステップＳ３）。

図８は、鏡６と鏡像７との相対的位置関係の算出方法を説明する図である。パターン生成部４１は、カメラ映像のキャリブレーションに用いるパターン画像として基準パターン３１を生成し、映像処理部１７に基準パターン３１の座標情報を出力する。パターン生成部４１は一例として、基準パターン３１の格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４、…の座標をそれぞれ、基準パターン３１を表示する際に基準とする座標として映像処理部１７に出力する。映像処理部１７は、この座標情報に基づいてディスプレイ３に基準パターン３１を表示させる。このように、パターン生成部４１と映像処理部１７とは第１表示手段として機能する。また、パターン生成部４１は、基準パターン３１の格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４、…の表示座標を座標解析部４３に出力する。尚、以下では、ディスプレイ３に表示された基準パターン３１を、表示パターン３１という場合がある。

尚、パターン生成部４１が生成する表示パターン３１は、図８では一点鎖線で示したが、これに限定されるものではない。プリントパターン６１と異なる色の線で表示パターン３１を表示させるとしてもよい。

パターン検出部４２（検出手段、第２検出手段）は、鏡６に映し出された表示パターン３１の鏡像をカメラ４で撮影して得られたカメラ映像において表示パターン３１の鏡像である鏡像パターン３３を検出する。また、パターン検出部４２は、鏡像パターン３３における格子点Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、…の座標（第２検出座標）を検出し取得する。

座標解析部４３は、鏡像パターン３３の格子点Ｐ２１、Ｐ２２、Ｐ２３、Ｐ２４、…の検出座標と、パターン生成部４１から入力された基準パターン３１の格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４、…の表示座標とを比較し、これらの間の相対的位置関係をアフィン変換を用いて算出する。

図７に示すように、鏡６のプリントパターン６１における格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）と、表示パターン３１の鏡像７（鏡像パターン３３）における座標（Ｘｐ’、Ｙｐ’、Ｚｐ’）との相対的関係を、アフィン変換の変換行列Ｒ２を用いて示すと、次式４のように表せる。
（Ｘｍ、Ｙｍ、Ｚｍ）＝Ｒ２（Ｘｐ’、Ｙｐ’、Ｚｐ’） （式４）

より具体的には、格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）、（Ｘp’、Ｙp’、Ｚp’）の間において、ｘ軸方向の回転角をδ、ｙ軸方向の回転角をε、ｚ軸方向の回転角をζ、ｘ軸方向の平行移動量をＴｘ’、ｙ軸方向の平行移動量をＴｙ’、ｚ軸方向の平行移動量をＴｚ’とすると、変換行列Ｒ２は次式５のように４行４列の行列を４組並べた行列式で表される。

（式５）
式５において、１番目の行列はＺ軸回転を示し、２番目の行列はＹ軸回転を示し、３番目の行列はＸ軸回転を示し、４番目の行列はＸＹＺ各軸方向の平行移動を示す。

座標解析部４３は、格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）、（Ｘp’、Ｙp’、Ｚp’）の組み合わせを複数組用いて式５の連立方程式を立て、この解を得ることによって式５の変換行列Ｒ２に含まれる複数の未知数を算出する。これにより、座標解析部４３は、上記式５における変換行列Ｒ２を算出することができる。

次に、座標解析部４３は、鏡像７（図７参照）の座標系をディスプレイ３の表示座標系に変換する（ステップＳ４）。ここで、ディスプレイ３の表示座標系で表される座標としては、例えば、表示パターン３１（即ち基準パターン３１）の格子点Ｐ１、Ｐ２、Ｐ３、Ｐ４、…の座標（Ｘｐ、Ｙｐ、Ｚｐ）がある。

図７に示すように、鏡６のプリントパターン６１における格子点座標（Ｘｍ、Ｙｍ、Ｚｍ）と、表示パターン３１における格子点座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的関係は、変換行列Ｒ３を用いて次式６のように表せる。
（Ｘｍ、Ｙｍ、Ｚｍ）＝Ｒ３（Ｘｐ、Ｙｐ、Ｚｐ） （式６）

ここで、鏡像パターン３３の格子点座標（Ｘｐ’、Ｙｐ’、Ｚｐ’）とディスプレイ３の表示座標（Ｘｐ、Ｙｐ、Ｚｐ）との関係は、鏡像反転の関係である。つまり、図７において、ディスプレイ３と鏡像７とは鏡６に対して鏡像対称である。式５とともに上述したように、鏡６における座標系（Ｘｍ、Ｙｍ、Ｚｍ）は、鏡像７における座標系（Ｘｐ’、Ｙｐ’、Ｚｐ’）に対して、ｘ、ｙ、ｚ軸それぞれに対してδ、ε、ζだけ回転されている。従って、鏡像７における座標系（Ｘｐ’、Ｙｐ’、Ｚｐ’）は、鏡６における座標系（Ｘｍ、Ｙｍ、Ｚｍ）に対して、ｘ、ｙ、ｚ軸それぞれに対して−δ、−ε、ζだけ回転されていることとなる。

従って、座標解析部４３は、式５の変換行列Ｒ２において、Ｘ軸回転およびＹ軸回転の回転角の符号をそれぞれ反転してマイナス（−）とすることにより変換行列Ｒ３を次式７によって求めることができる。

（式７）

図９は、カメラ映像における座標（ｘ、ｙ、ｚ）と、ディスプレイ３の表示座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的位置関係を説明する図である。座標解析部４３は、式３で算出された変換行列Ｒ１と、式７によって算出された変換行列Ｒ３とを用いて、カメラ映像における座標（ｘ、ｙ、ｚ）と、ディスプレイ３の表示座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的位置関係を算出する（ステップＳ５）。

即ち、式２に式４を代入すると、カメラ映像における座標（ｘ、ｙ、ｚ）と表示パターンにおける座標（Ｘｐ、Ｙｐ、Ｚｐ）との相対的関係は、次式８のように表される。
（ｘ、ｙ、ｚ）＝Ｒ１・Ｒ３（Ｘｐ、Ｙｐ、Ｚｐ） （式８）
従って、式１と式８とを比較すると、求めるべき変換行列Ｒは、Ｒ＝Ｒ１・Ｒ３となる。式８は、より具体的には、式３と式７とにより次式９のように表される。

（式９）

そして、座標解析部４３は、ステップＳ１で算出した変換行列Ｒ１に含まれるα、β、γ、Ｔｘ、Ｔｙ、Ｔｚ、と、ステップＳ４で算出した変換行列Ｒ３に含まれるδ、ε、ζ、Ｔｘ’、Ｔｙ’、Ｔｚ’とを式９に代入することにより、変換行列Ｒを算出する（ステップＳ５）。そして、座標解析部４３は、算出した変換行列Ｒを補正係数として補正係数格納部４５に格納して（ステップＳ６）、補正係数算出処理を終了する。

次に、テレビジョン装置１が行う映像表示処理について図１０および図１１を参照して説明する。図１０は、テレビジョン装置１が補正係数格納部４５に格納された補正係数を用いてカメラ映像を補正し、ディスプレイ３に補正後のカメラ映像を表示させる場合の動作を示すブロック図である。また、図１１は、テレビジョン装置１が行う映像表示処理の手順を示すフローチャートである。

まず、テレビジョン装置１において、制御部４０が撮影を開始させる撮影オン信号をカメラ４に出力すると、カメラ４は撮影を開始する（ステップＳ１１）。キャリブレーション部４４は、補正係数格納部４５に格納されている補正係数（変換行列Ｒ）を用いて、カメラ４が撮影した映像（カメラ映像）を補正する（ステップＳ１２）。キャリブレーション部４４は、補正後のカメラ映像を映像処理部１７に出力する。映像処理部１７は、補正後のカメラ映像をディスプレイ３に表示させる（ステップＳ１３）。このように、キャリブレーション部４４と映像処理部１７とは、第２表示手段として機能する。

以上説明したとおり、本実施形態によれば、ディスプレイに表示させた図形を鏡に映し出し、鏡に映し出された図形をカメラで撮影して得られた鏡像の検出座標と、図形を表示させた表示座標とに基づいて、カメラ映像のディスプレイ上での表示座標を補正する。これにより、自装置と鏡があればキャリブレーションを行うことができるため、テレビジョン装置１に固定されているカメラのキャリブレーションを行い易い映像表示装置、映像表示方法およびプログラムを提供することができる。

尚、上述の式１ないし式３で示したアフィン変換において、カメラの光学系に関する各種パラメータを含めて上記各変換行列Ｒ１〜Ｒ３、Ｒを算出するとしてもよい。

また、上述では、表面に補正用のパターンがプリントされた鏡６を用いて補正係数を求めたが、鏡６とディスプレイ３が完全に平行に設置されている場合には、パターンをプリントしていない鏡を用いて補正係数算出処理を行うとしてもよい。この場合、上述の補正係数Ｒ１は不要（つまりＲ１＝１）となるので、補正係数ＲはＲ＝Ｒ３として算出すればよい。

また、鏡６にプリントされる図形とディスプレイ３に表示する図形は同一のものでなくてもよい。例えば、プリントパターンにおけるパターン間隔と、表示パターンにおけるパターン間隔とを異ならせるとしてもよい。また、プリントパターンでは格子点のみをプリントしたパターンとしてもよい。さらに、プリントパターンおよび表示パターンはその他の図形を用いてもよい。その他の図形として、例えばチェッカーボード（市松模様）のパターンを用いるとしてもよい。

なお、本実施形態のテレビジョン装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のテレビジョン装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（ＤｉｇｉＴａｌ ＶｅｒｓａＴｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のテレビジョン装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のテレビジョン装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の鏡６と上記プログラムとをカメラ映像のキャリブレーションキットとして提供するとしてもよい。また、本実施形態は、カメラを備えていないテレビジョン装置１に後付けでカメラを増設する場合に適用するとしてもよい。即ち、カメラを増設した場合に、上記の補正係数算出処理を行い、算出された補正係数を用いてカメラ映像のキャリブレーションを行うとしてもよい。

また、上述では、カメラ４がディスプレイ３に固定される場合について説明したが、カメラ４の取り付け箇所はこれに限定されるものではない。カメラ４はテレビジョン装置１の支持部５等、その他の箇所に取り付けられるとしてもよい。

また、上述では、ディスプレイ３と鏡６とを対向配置して補正係数算出処理を行うとしたが、ディスプレイ３と鏡６の配置関係はこれに限定されるものではない。その他の例として、ディスプレイ３と鏡６との間にパターンが描画されていない鏡等の光学系を新たに配置して、鏡６上のパターン画像をこの光学系によって回折させた後にカメラ４によって撮影するとしてもよい。

尚、上述では、本実施形態の映像表示装置をテレビジョン装置１に適用した例について説明したが、本実施形態はこれに限定されるものではなく、ＰＣ等の情報処理装置や各種ディスプレイ装置に適用してもよい。また、上述では、テレビジョン装置１が平面視表示タイプである場合について説明したが、本実施形態を立体視表示タイプのテレビジョン装置に適用するとしてもよい。

また、本実施形態の適用例として、カメラ映像において検出された人の位置や顔の位置を、本実施形態の補正係数を用いて補正してディスプレイ３に表示するとしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…テレビジョン装置、２…筐体、３…ディスプレイ、４…カメラ、５…支持部、６…鏡、７…鏡像、２４…操作部、３１…基準パターン（表示パターン）、３２…カメラ映像、３３…鏡像パターン、４０…制御部、４１…パターン生成部、４２…パターン検出部、４３…座標解析部、４４…キャリブレーション部、４５…補正係数格納部、５１…法線ベクトル、５２…法線ベクトル、６１…プリントパターン

実施形態の映像表示装置は、カメラと、ディスプレイと、第１表示手段と、検出手段と、算出手段と、位置検出手段と、補正手段と、を備える。前記第１表示手段は、前記ディスプレイに所定の表示座標を基準として所定の図形を表示させる。前記検出手段は、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得する。前記算出手段は、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラで撮影されたカメラ映像における座標を前記ディスプレイの表示座標に対応させるための補正係数を算出する。前記位置検出手段は、カメラ映像に含まれている人の顔の位置を検出する。前記補正手段は、前記ディスプレイの表示座標に対する前記顔の位置を前記補正係数によって補正する。

図１は、実施形態にかかる映像表示装置であるテレビジョン装置１の一例を示す外観斜視図である。図１に示すように、テレビジョン装置１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１は、筐体２と、ディスプレイ３を備えている。ディスプレイ３は、例えばＬＣＤ（Liquid Crystal Display）等で構成され、後述する映像処理部１７（図２参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２にはカメラ４が設けられている。このカメラは、例えばテレビジョン装置１の視聴者等を撮影する目的で用いることができる。また、筐体２は、支持部５に支持されている。

ここで、カメラ４が撮影するカメラ映像と、ディスプレイ３が表示する表示映像の位置ずれについて説明する。図３は、カメラ４が撮影するカメラ映像と、ディスプレイ３が表示する表示映像の位置ずれの一例を説明する図である。まず、カメラ４によって撮影されるカメラ映像の中心位置は、カメラ４のレンズの中心位置となり、ディスプレイ３が表示する表示映像の中心位置は、ディスプレイ３の中心位置となるため、これらの中心位置はディスプレイ３の幅に応じて離間することとなる。また、図３に示すように、カメラ４の光軸はディスプレイ３の前の視聴者を撮影できるようディスプレイ３の中心寄りに傾けて設置される。従って、カメラ４のレンズ表面の法線ベクトル５１と、ディスプレイ表面の法線ベクトル５２とは異なる方向を向くこととなる。従って、カメラ映像をディスプレイ３に表示する場合には、これらカメラ映像とディスプレイ３の表示映像との相対的位置関係に応じて、位置や方向のずれを補正する必要がある。また、カメラ４をテレビジョン装置１に設置する際にはその位置に個体差が生じる場合もあるため、カメラ４の設置位置や設置方向を各々のテレビジョン装置１で補正する必要がある。

Claims (9)

1. 映像を撮影するカメラと、
   映像を表示するディスプレイと、
   前記ディスプレイの所定の表示座標を基準として所定の図形を表示させる第１表示手段と、
   鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得する検出手段と、
   前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するための補正係数を算出する算出手段と、
   前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる第２表示手段と、
   を備える映像表示装置。
2. 前記算出手段は、前記カメラ映像上での前記図形の鏡像の検出座標を鏡像反転させて、前記所定の図形を表示する基準となる前記表示座標を算出することにより、前記カメラ映像における座標と、前記ディスプレイの表示座標との相対的位置関係を求めて前記補正係数を算出する、請求項１に記載の映像表示装置。
3. 前記検出手段は、前記鏡に描かれた前記所定の図形を撮影したカメラ映像上において前記図形を検出した検出座標を第２検出座標としてさらに検出し、
   前記算出手段は、前記所定の図形の表示座標と前記第２検出座標との相対的位置関係に基づいて、前記カメラと前記鏡との相対的位置関係を補正する第２補正係数を算出し、当該第２補正係数を用いて前記補正係数を算出する、請求項１に記載の映像表示装置。
4. 前記第１表示手段は、前記ディスプレイ上の複数の点座標に格子点がある格子状のパターンを表示し、
   前記検出手段は、前記格子状のパターンを撮影した前記カメラ映像において、各格子点の検出座標を検出し、
   前記算出手段は、前記複数の点座標と、当該点座標に対応する前記各格子点の検出座標との相対的位置関係に基づいて前記補正係数を算出する、請求項２に記載の映像表示装置。
5. 前記算出手段は、アフィン変換を用いて前記補正係数を算出する、請求項１ないし４のいずれか１つに記載の映像表示装置。
6. 前記算出手段は、前記カメラの光学系に関する各種パラメータを含めて前記補正係数を算出する、請求項１ないし５のいずれか１つに記載の映像表示装置。
7. 映像を撮影するカメラと、
   映像を表示するディスプレイと、
   前記ディスプレイの所定の表示座標を基準として所定の図形を表示させて、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記図形の鏡像の検出座標を検出し、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するために算出された補正係数を記憶する記憶手段と、
   前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる表示手段と、
   を備える映像表示装置。
8. 映像を撮影するカメラと、
   映像を表示するディスプレイと、
   前記ディスプレイの所定の表示座標を基準として所定の図形を表示させて、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得し、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するために算出された補正係数を記憶する記憶部と、
   を備える映像表示装置において、
   前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる映像表示方法。
9. 映像を撮影するカメラと、
   映像を表示するディスプレイと、
   前記ディスプレイの所定の表示座標を基準として所定の図形を表示させて、鏡に映し出された前記図形の鏡像を前記カメラで撮影して得られたカメラ映像上において、前記鏡像を検出した検出座標を取得し、前記所定の図形の表示座標と前記鏡像の検出座標との相対的位置関係に基づいて、前記カメラ映像の前記ディスプレイ上での表示座標を補正するために算出された補正係数を記憶する記憶部と、
   を備える映像表示装置を制御するコンピュータを、
   前記補正係数によって前記カメラ映像の表示座標を補正して前記ディスプレイに表示させる表示手段として機能させるためのプログラム。

Images