JP2013076667A - キャリブレーション方法および映像表示装置 - Google Patents

Abstract

【課題】テレビジョン装置に固定されたカメラのキャリブレーションを行い易いキャリブレーション方法および映像表示装置を提供することである。
【解決手段】実施形態のキャリブレーション方法は、カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、設置工程と、第１表示工程と、反射工程と、撮像工程と、算出工程と、補正工程とを含む。設置工程では、前記第１ディスプレイと、第２ディスプレイとを対向させて設置する。第１表示工程では、前記第１ディスプレイに所定の表示画像を表示させる。反射工程では、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる。撮像工程では、前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する。算出工程では、カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する。補正工程では、前記相対的位置関係に基づいて前記カメラ映像を補正する。
【選択図】図８

Description

本発明の実施形態は、キャリブレーション方法および映像表示装置に関する。

近年、デジタルテレビジョン装置においては、カメラを内蔵して、その内蔵カメラによって視聴者を撮影し、撮影した映像を自装置のディスプレイに表示させるタイプのものが知られている。このようなテレビジョン装置においては、カメラが固定されているため、外付けのカメラとは異なって内蔵カメラの位置や光軸等を微調整することができない。

従来、カメラで撮影されたカメラ映像をディスプレイに表示する場合には、カメラ映像の表示位置や回転角度、その他の画像の歪み等を画像処理によって補正し、補正後の映像をディスプレイに表示させる技術が知られている。

特開２００９−４２１６２号公報

しかしながら、従来技術においては、テレビジョン装置に固定して設けられたカメラで撮影されたカメラ映像を補正するキャリブレーション方法については開発途上であり、簡便に行うことができるキャリブレーション方法が望まれていた。

本発明が解決しようとする課題は、テレビジョン装置に固定されたカメラのキャリブレーションを行い易いキャリブレーション方法および映像表示装置を提供することである。

実施形態のキャリブレーション方法は、カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、設置工程と、第１表示工程と、反射工程と、撮像工程と、算出工程と、補正工程とを含む。設置工程では、前記第１ディスプレイと、第２ディスプレイとを対向させて設置する。第１表示工程では、前記第１ディスプレイに所定の表示画像を表示させる。反射工程では、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる。撮像工程では、前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する。算出工程では、カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する。補正工程では、前記相対的位置関係に基づいて前記カメラ映像を補正する。

図１は、本実施形態のキャリブレーション方法を概略的に説明する図である。 図２は、テレビジョン装置の一例を示す外観斜視図である。 図３は、テレビジョン装置の信号処理系を示すブロック図である。 図４は、カメラが撮影するカメラ映像と、ディスプレイが表示する表示映像の位置ずれの一例を説明する図である。 図５は、テレビジョン装置が有するソフトウェア構成を示すブロック図である。 図６は、テレビジョン装置が行う補正値算出処理の手順を示すフローチャートである。 図７は、第１ディスプレイの表示画像を第２ディスプレイの表面で反射させてカメラで撮影する場合の動作説明図である。 図８は、第２ディスプレイの表示画像をカメラで撮像する場合の動作説明図である。 図９は、座標系を説明する図である。 図１０は、第１ディスプレイの表示画像と、その表示画像の虚像と、第２ディスプレイの表示画像と、カメラとの位置関係を示す模式図である。 図１１は、テレビジョン装置が行うカメラ映像の補正処理の手順を示すフローチャートである。

図１は、本実施形態のキャリブレーション方法を概略的に説明する図である。本実施形態のキャリブレーション方法は、カメラ４と第１ディスプレイ３とを備える映像表示装置（テレビジョン装置１）において、カメラ４が撮像するカメラ映像の補正を行う方法である。概略的には、第１ディスプレイ３と第２ディスプレイ５とを対向設置し、第２ディスプレイ５を用いてキャリブレーションを行う方法である。次に、本実施形態の映像表示装置であるテレビジョン装置１の構成について説明する。

図２は、テレビジョン装置１の一例を示す外観斜視図である。図２に示すように、テレビジョン装置１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１は、筐体２と、第１ディスプレイ３を備えている。第１ディスプレイ３は、例えばＬＣＤ（Liquid Crystal Display）等で構成され、後述する映像処理部１７（図３参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２にはカメラ４が設けられている。このカメラは、例えばテレビジョン装置１の視聴者等を撮影する目的で用いることができる。また、筐体２は、支持部６に支持されている。

図３は、テレビジョン装置１の信号処理系を示すブロック図である。図３に示すように、テレビジョン装置１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。チューナＡ１４１およびチューナＢ１４２は地上デジタル放送受信用のチューナであり、チューナＣ１４３はＢＳ／ＣＳデジタル放送受信用のチューナである。なお、図３においては、チューナを３台有している場合について示すが、チューナの数はこれに限定されるものではない。

チューナ部１４は受信した放送信号を復調復号部１５に出力する。復調復号部１５は、入力された放送信号をデジタルの映像信号及び音声信号等に復元し、入力信号処理部１６に出力する。

テレビジョン装置１には、テレビジョン装置１の外部からデジタルの映像信号又は音声信号を直接入力するための入力端子２１が設けられている。入力端子２１を介して入力されたデジタルの映像信号及び音声信号は、記録再生処理部２９に入力される。

操作部２４は、筐体２に設けられ、電源のオン・オフを行うスイッチ、チャンネルを切り替えるスイッチ等を備えている。受信部２６は、リモートコントローラ（以下、リモコンと略称する）２５から信号を受信して受信した信号を制御部４０に出力する。制御部４０は、操作部２４またはリモコン２５におけるユーザの操作に基づいて再生、チャンネル切替、録画予約等の指示を受付ける。

ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８に対してデジタルデータの記録再生を行う。ディスクドライブ部２７は、制御部４０の指示に基づいて光ディスク２８からデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ディスクドライブ部２７は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号を光ディスク２８に記録する。

ＨＤＤ（Hard Disk Drive）２０は、内部に備えるハードディスクに対する記録および再生を行う。ＨＤＤ２０は、制御部４０の指示に基づいてハードディスクからデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ＨＤＤ２０は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号をハードディスクに記録する。

記録再生処理部２９は、復調復号部１５、入力端子２１、ディスクドライブ部２７、ＨＤＤ２０、図示しないネットワークインタフェースから入力されるデジタルの映像信号、音声信号を暗号化し所定の記録フォーマットに変換する。そして変換後の信号をディスクドライブ部２７またはＨＤＤ２０に出力する。また、記録再生処理部２９は、ディスクドライブ部２７またはＨＤＤ２０から読み出されたデジタルの映像信号、音声信号を複合化して、入力信号処理部１６に出力する。

入力信号処理部１６は、復調復号部１５または記録再生処理部２９から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。入力信号処理部１６は、デジタルの映像信号を映像処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力する。

映像処理部１７は、入力信号処理部１６または制御部４０から入力されたデジタルの映像信号を、第１ディスプレイ３で表示可能なフォーマットのアナログ映像信号に変換して、第１ディスプレイ３に入力する。第１ディスプレイ３は、映像処理部１７から出力されたアナログ映像信号によって、番組の視聴画面や、その他の映像等を表示する。また、テレビジョン装置１には出力端子１７１が設けられており、この出力端子１７１には第２ディスプレイ５を接続することができる。映像処理部１７は、出力端子１７１を介して接続された第２ディスプレイ５にアナログ映像信号を入力し、第２ディスプレイ５は、入力されたアナログ映像信号に応じて映像を表示する。

音声処理部１８は、入力信号処理部１６から入力されたデジタルの音声信号を、後段のスピーカ１９で再生可能なフォーマットのアナログ音声信号に変換して、スピーカ１９に入力する。スピーカ１９は、音声処理部１８から入力されたアナログ音声信号に基づいて音声を再生する。

制御部４０は、チューナ部１４、記録再生処理部２９、入力信号処理部１６、操作部２４、受信部２６、ディスクドライブ部２７、ＨＤＤ２０、図示しないネットワークインタフェース等とバスやインタフェースによって接続されており、これら各部の動作を制御する。また、制御部４０は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、制御部４０に接続された上記各部を制御し、番組視聴、チャンネル切替、番組の録画予約、映像コンテンツ等の処理を行う。

また、制御部４０は、図３に示すように、ＣＰＵ（Central Processing Unit）４０ａと、ＣＰＵ４０ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）４０ｂと、該ＣＰＵ４０ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）４０ｃとを備えている。

ここで、カメラ４が撮影するカメラ映像と、第１ディスプレイ３が表示する表示映像の位置ずれについて説明する。図４は、カメラ４が撮影するカメラ映像と、第１ディスプレイ３が表示する表示映像の位置ずれの一例を説明する図である。まず、カメラ４によって撮影されるカメラ映像の中心位置は、カメラ４のレンズの中心位置となり、第１ディスプレイ３が表示する表示映像の中心位置は、第１ディスプレイ３の中心位置となるため、これらの中心位置は第１ディスプレイ３の幅に応じて離間することとなる。また、図４に示すように、カメラ４の光軸は第１ディスプレイ３の前の視聴者を撮影できるよう第１ディスプレイ３の中心寄りに傾けて設置される。従って、カメラ４のレンズ表面の法線ベクトル５１と、ディスプレイ表面の法線ベクトル５２とは異なる方向を向くこととなる。従って、カメラ映像を第１ディスプレイ３に表示する場合には、これらカメラ映像と第１ディスプレイ３の表示映像との相対的位置関係に応じて、位置や方向のずれを補正する必要がある。また、カメラ４をテレビジョン装置１に設置する際にはその位置に個体差が生じる場合もあるため、カメラ４の設置位置や設置方向を各々のテレビジョン装置１で補正する必要がある。

図５は、テレビジョン装置１が有するソフトウェア構成を示すブロック図である。制御部４０（図３参照）は、制御部４０が備えるＣＰＵ４０ａがＲＯＭ４０ｂに格納されたプログラムをＲＡＭ４０ｃに展開して実行することにより、図５に示すように、第１表示部４１、第２表示部４２、画像取込部４３、算出部４４、補正部４５としての機能を実現する。また、制御部４０の不揮発性の記憶エリアには、補正値格納部４６が設けられている。次に、各部の機能について概略的に説明する。

第１表示部４１は、映像処理部１７を介して第１ディスプレイ３を制御し、第１ディスプレイ３にキャリブレーション用の画像を表示させる。また、第１表示部４１は、第１ディスプレイ３の輝度を制御する。第２表示部４２は、映像処理部１７を介して第２ディスプレイ５を制御し、第２ディスプレイ５にキャリブレーション用の画像を表示させる。また、第２表示部４２は、第２ディスプレイ５の輝度を制御する。

第１表示部４１または第２表示部４２が表示させるキャリブレーション用の画像としては、例えばチェッカーボード等のパターン画像を用いることができるが、画像の種類や色、大きさは特に限定されるものではない。

画像取込部４３（撮像手段）は、第２ディスプレイ５の表面で反射された第１ディスプレイ３上の表示画像をカメラ４によって撮像し、そのカメラ映像をＲＡＭ等のメモリ上に取り込む。また、画像取込部４３（第２撮像手段）は、第２ディスプレイ５に表示された表示画像をカメラ４によって撮像し、そのカメラ映像をＲＡＭ等のメモリ上に取り込む。

算出部４４（算出手段）は、カメラ映像における第１ディスプレイ３の表示画像の位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出する。また、算出部４４（第２算出手段）は、カメラ映像における第２ディスプレイ５の表示画像の位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出する。さらに、算出部４４は、カメラ４と第１ディスプレイ３との相対的位置関係、およびカメラ４と第２ディスプレイとの相対的位置関係から、カメラ４と第１ディスプレイ３との相対的位置関係を算出し、これを補正値として補正値格納部４６に格納する。尚、相対的位置関係とは、相対的な配置のずれ、相対的な向きのずれ等のことである。

補正部４５は、補正値格納部４６に格納された補正値によってカメラ映像を補正する。尚、各部のより詳細な機能については後述する。

次に、テレビジョン装置１が行うカメラ映像のキャリブレーション処理の工程について、図５および図６を参照して説明する。図６はテレビジョン装置１が行う補正値算出処理の手順を示すフローチャートである。

まず、第１ディスプレイ３と第２ディスプレイ５とを対向させて設置する（ステップＳ１）。また、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係は、ステップＳ６〜Ｓ８において測定されるため、ステップＳ１では第１ディスプレイ３と第２ディスプレイ５とを完全に正対させずともよい。即ち、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係は、第１ディスプレイ３上の表示画像が第２ディスプレイ５の表面で反射された場合にこの表示画像の鏡像がカメラ４で撮像可能であり、かつ、第２ディスプレイ５の表示画像をカメラ４で撮像可能である位置関係であればよい。尚、第１ディスプレイ３と第２ディスプレイ５とが平行である場合、或いは、第１ディスプレイ３と第２ディスプレイ５との相対的な向きが既知である場合には、ステップＳ６〜Ｓ８の手順を省略することができる。

次に、第１表示部４１は、第１ディスプレイ３にキャリブレーション用のパターン画像（以降では単に補正用パターンという）を表示させる（ステップＳ２）。

ここで、図７は、第１ディスプレイ３の表示画像を第２ディスプレイ５の表面で反射させてカメラ４で撮影する場合の動作説明図である。第２表示部４２は第２ディスプレイ５の輝度を低減させて、第１ディスプレイ３に表示されている補正用パターンを第２ディスプレイ５によって反射しやすい状態とする（ステップＳ３）。

尚、第２ディスプレイ５で反射される映像をより鮮明にするために、第２ディスプレイ５の表面は反射率の高い部材であることが好ましい。好適な実施形態としては、第２ディスプレイ５は、表面にグレアパネルを有することが好ましい。また、その他の好適な実施形態として、表面にハーフミラーを設けた第２ディスプレイ５を用いるとしてもよい。

次に、画像取込部４３は、第２ディスプレイ５の表面で反射された補正用パターンの鏡像（虚像）をカメラ４によって撮像し、そのカメラ映像をメモリ上に取り込む（ステップＳ４）。

そして、算出部４４は、カメラ映像内の所定の位置（例えば、カメラ映像の中心位置など）に対する補正用パターンの位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ５）。

次に、第２表示部４２は、第２ディスプレイ５に、補正用パターンを表示させる（ステップＳ６）。

ここで、図８は、第２ディスプレイ５の表示画像をカメラ４で撮像する場合の動作説明図である。第１表示部４１は第１ディスプレイ３の輝度を低減させる。これにより、第２ディスプレイ５に第１ディスプレイ３の表示画像が映りこむことを防いで、第２ディスプレイ５上に表示された補正用パターンの画像解析を行い易くすることができる。

そして、画像取込部４３は、第２ディスプレイ５に表示された補正用パターンをカメラ４によって撮像し、そのカメラ映像をメモリ上に取り込む（ステップＳ７）。

算出部４４は、カメラ映像内の所定の位置に対する補正用パターンの位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出する（ステップＳ８）。

そして、算出部４４は、ステップＳ５、Ｓ８で算出された相対的位置関係に基づいて、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ９）。ここで、ステップＳ５、Ｓ８、Ｓ９で行われる算出処理の一例について、図９、図１０を用いてより詳細に説明する。

まず、図９を用いて座標系について説明する。図９は、座標系を説明する図である。図９に示すように、第１ディスプレイ３の中心Ｃを通り、ディスプレイの幅方向に伸びる軸がＸ軸であり、第１ディスプレイ３の高さ方向に伸びる軸がＹ軸であり、第１ディスプレイ３の表面に垂直に、奥行き方向に伸びる軸がＺ軸である。また、Ｘ、Ｙ、Ｚ各軸周りの回転角度はそれぞれθｘ、θｙ、θｚである。

次に、図１０を用いて、ｘ軸方向のずれを一例に挙げて説明する。図１０は、第１ディスプレイ３の表示画像３０１（補正用パターン）と、その表示画像３０１の虚像３０２と、第２ディスプレイ５の表示画像５０１（補正用パターン）と、カメラ４との位置関係を示す模式図である。ステップＳ４において画像取込部４３は、第２ディスプレイ５の表面に映し出された表示画像３０１の虚像３０２をカメラ４で撮像する。

ステップＳ５において算出部４４は、虚像３０２の中心点３０２ｃとカメラ映像の中心点とのずれを検出することにより、当該中心点３０２ｃとカメラ４のレンズ中心位置とのＸ軸方向のずれｄｘ１を算出する。同様に、中心点３０２ｃとカメラ４のレンズ中心位置とのＹ軸、Ｚ軸方向のずれｄｙ１、ｄｚ１を算出する。また、算出部４４は、虚像３０２とカメラ４の光軸との回転角度（ずれ角度）を算出し、各軸周りの回転角度θｘ１、θｙ１、θｚ１をそれぞれ算出する。

また、ステップＳ７において画像取込部４３は、第２ディスプレイ５に表示された表示画像５０１をカメラ４で撮像する。ステップＳ８において算出部４４は、表示画像５０１の中心点５０１ｃとカメラ映像の中心点とのずれを検出することにより、当該中心点５０１ｃとカメラ４のレンズ中心位置とのＸ軸方向のずれｄｘ２を算出する。同様に、中心点５０１ｃとカメラ４のレンズ中心位置とのＹ軸、Ｚ軸方向のずれｄｙ２、ｄｚ２を算出する。また、算出部４４は、表示画像５０１とカメラ４の光軸との回転角度（ずれ角度）を算出し、各軸周りの回転角度θｘ２、θｙ２、θｚ２をそれぞれ算出する。

そして、算出部４４は、ステップＳ５で算出した相対的位置関係ｄｘ１、ｄｙ１、ｄｚ１、θｘ１、θｙ１、θｚ１と、ステップＳ８で算出した相対的位置関係ｄｘ２、ｄｙ２、ｄｚ２、θｘ２、θｙ２、θｚ２とに基づいて、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ９）。

ここで、カメラ４のレンズ中心位置と第１ディスプレイ３の中心位置とのＸ、Ｙ、Ｚ各軸方向の平行移動量をそれぞれΔｄｘ、Δｄｙ、Δｄｚとし、Ｘ、Ｙ、Ｚ各軸周りの回転角度をそれぞれΔθｘ、Δθｙ、Δθｚとする。鏡の入射角と反射角の関係から、各相対的位置関係は、次式のように示される。ただし、Δｄｚは算出できないためここでは０とする。

算出部４４は、上述の式（１）〜式（６）で示されるカメラ４と第１ディスプレイ３との相対的位置関係を、カメラ映像のキャリブレーションに用いる補正値として補正値格納部４６に格納する（ステップＳ１０）。

尚、図９、図１０を用いて上述した例では、補正用パターンの中心点（中心点３０２ｃ、中心点５０１ｃ）とカメラ映像の中心点とのずれを検出するとしたが、本実施形態はこれに限定されることなく、補正用パターンのその他の点のずれを検出するとしてもよい。また、複数の点についてカメラ映像との位置ずれをそれぞれ検出し、ずれ量の算出に用いるとしてもよい。

次に、テレビジョン装置１が行うカメラ映像の補正処理の手順について説明する。図１１は、テレビジョン装置１が行うカメラ映像の補正処理の手順を示すフローチャートである。図１１に示すように、補正部４５は、補正値格納部４６に格納されている上記補正値を用いて、カメラ４で撮像されるカメラ映像のキャリブレーションを行う（ステップＳ１１）。

以上説明したとおり、本実施形態によれば、第２ディスプレイ５で反射された第１ディスプレイ３上の表示画像をカメラ４によって撮像し、カメラ映像内における表示画像の位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出し、この相対的位置関係に基づいてカメラ映像を補正する。従って、自装置と第２ディスプレイ５があればカメラ４のキャリブレーションを行うことができるので、テレビジョン装置１に固定されているカメラ４のキャリブレーションを行い易い映像表示装置、映像表示方法およびプログラムを提供することができる。

また、本実施形態によれば、第２ディスプレイ５に表示させた表示画像をカメラ４によって撮像し、カメラ位置に対する当該表示画像の位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出し、この相対的位置関係をさらに用いて補正値を算出する。従って、第１ディスプレイ３と第２ディスプレイ５とを厳密に平行にする必要性、或いは、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係（相対的な配置、相対的な向き）を把握する必要性がなくなるので、カメラ４のキャリブレーションをより簡便に行うことができる。

尚、第１ディスプレイ３に表示されるキャリブレーション用の画像と、第２ディスプレイ５に表示されるキャリブレーション用の画像とは、大きさが異なってもよいし、同じであってもよい。また、上述では、キャリブレーション用の画像としてチェッカーボード（市松模様）のパターンを用いたが、これに限定されずその他の画像を用いるとしてもよい。さらに、第２ディスプレイ５に表示されるキャリブレーション用の画像は、第１ディスプレイ３に表示されるキャリブレーション用の画像を左右反転させた虚像であってもよいが、虚像でなくてもよく、各画像内の所定の位置とカメラ４との相対的位置関係が夫々算出できればよい。

尚、上述では、テレビジョン装置１が第２表示部４２を備えるとしたが、これに限定されず、第２ディスプレイ５を制御する他の映像表示装置が第２表示部４２を備えるとし、テレビジョン装置１と上記他の映像表示装置とを連携させてキャリブレーションを行うとしてもよい。

尚、第１ディスプレイ３、第２ディスプレイ５の輝度を低減する方法は特に限定されないが、例えば、各ディスプレイに黒色画像や濃色画像等を表示させることや、各ディスプレイの映像出力をオフとすることにより、各ディスプレイの輝度を低減することができる。

なお、本実施形態のテレビジョン装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のテレビジョン装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のテレビジョン装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のテレビジョン装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態は、カメラを備えていないテレビジョン装置１に後付けでカメラを増設する場合に適用するとしてもよい。即ち、カメラを増設した場合に、上記の補正値算出処理を行い、算出された補正値を用いてカメラ映像のキャリブレーションを行うとしてもよい。

また、上述では、カメラ４が第１ディスプレイ３に固定される場合について説明したが、カメラ４の取り付け箇所はこれに限定されるものではない。カメラ４はテレビジョン装置１の支持部６等、その他の箇所に取り付けられるとしてもよい。

また、上述では、第１ディスプレイ３と第２ディスプレイ５とを対向配置して補正値算出処理を行うとしたが、第１ディスプレイ３と第２ディスプレイ５の配置関係はこれに限定されるものではない。その他の例として、第１ディスプレイ３と第２ディスプレイ５との間に鏡等の光学系を新たに配置して、パターン画像をこの光学系によって回折させた後にカメラ４によって撮影し、補正値算出処理に用いるとしてもよい。

尚、上述では、本実施形態の映像表示装置をテレビジョン装置１に適用した例について説明したが、本実施形態はこれに限定されるものではなく、ＰＣ等の情報処理装置や各種ディスプレイ装置に適用してもよい。また、上述では、テレビジョン装置１が平面視表示タイプである場合について説明したが、本実施形態を立体視表示タイプのテレビジョン装置に適用するとしてもよい。

また、本実施形態の適用例として、カメラ映像において検出された人の位置や顔の位置を、本実施形態の補正値を用いて補正するとしてもよい。

また、上述ではカメラ４を１つ備える映像表示装置を例に挙げて説明したが、カメラの数は１つに限定されない。映像表示装置は、ステレオカメラ等のように２つのカメラを備えるとしてもよいし、それ以上の複数のカメラを備えて各カメラに対して上述したキャリブレーションを行うとしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…テレビジョン装置、２…筐体、３…第１ディスプレイ、４…カメラ、５…第２ディスプレイ、６…支持部、２６…受信部、２７…ディスクドライブ部、２８…光ディスク、２９…記録再生処理部、４０…制御部、４１…第１表示部、４２…第２表示部、４３…画像取込部、４４…算出部、４５…補正部、４６…補正値格納部、５１、５２…法線ベクトル、３０１…表示画像、３０２…虚像、３０２ｃ…中心点、５０１ｃ…中心点、５０１…表示画像、Ｃ…中心

Claims (8)

1. カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、
   前記第１ディスプレイと、第２ディスプレイとを対向させて設置する設置工程と、
   前記第１ディスプレイに所定の表示画像を表示させる第１表示工程と、
   前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる反射工程と、
   前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する撮像工程と、
   カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する算出工程と、
   前記相対的位置関係に基づいて前記カメラ映像を補正する補正工程と、
   を含むキャリブレーション方法。
2. 前記第２ディスプレイに所定の表示画像を表示させる第２表示工程と、
   前記第２ディスプレイに表示された前記表示画像を前記カメラによって撮像する第２撮像工程と、
   カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第２ディスプレイとの相対的位置関係を算出する第２算出工程と、をさらに含み、
   前記補正工程では、前記算出工程で算出された前記カメラと前記第１ディスプレイとの相対的位置関係、および、前記第２算出工程で算出された前記カメラと前記第２ディスプレイとの相対的位置関係に基づいて、前記カメラ映像を補正する、
   請求項１に記載のキャリブレーション方法。
3. 前記反射工程では、前記第２ディスプレイの輝度を低減し、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる、請求項１または２に記載のキャリブレーション方法。
4. 前記設置工程で設置される前記第２ディスプレイは、表面にグレアパネルを有する請求項１ないし３のいずれか１つに記載のキャリブレーション方法。
5. 前記設置工程で設置される前記第２ディスプレイは、表面にハーフミラーを有する請求項１ないし３のいずれか１つに記載のキャリブレーション方法。
6. 映像を撮影するカメラと、
   映像を表示する第１ディスプレイと、
   前記第１ディスプレイに所定の表示画像を表示させる第１表示手段と、
   前記第１ディスプレイに対向設置された第２ディスプレイの表面により反射された前記表示画像を前記カメラによって撮像する撮像手段と、
   カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する算出手段と、
   前記相対的位置関係に基づいて前記カメラ映像を補正する補正手段と、
   を備える映像表示装置。
7. 前記第２ディスプレイに所定の表示画像を表示させる第２表示手段と、
   前記第２ディスプレイに表示された前記表示画像を前記カメラによって撮像する第２撮像手段と、
   カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第２ディスプレイとの相対的位置関係を算出する第２算出手段と、をさらに備え、
   前記補正手段は、前記算出手段が算出した前記カメラと前記第１ディスプレイとの相対的位置関係、および、前記第２算出手段が算出した前記カメラと前記第２ディスプレイとの相対的位置関係に基づいて前記カメラ映像を補正する、請求項６に記載の映像表示装置。
8. 映像を撮影するカメラと、
   映像を表示する第１ディスプレイと、
   前記第１ディスプレイに所定の表示画像を表示させて、前記第１ディスプレイに対向設置された第２ディスプレイの表面により反射された前記表示画像を前記カメラによって撮像し、カメラ映像における前記表示画像の位置のずれから算出された前記カメラと前記第１ディスプレイとの相対的位置関係を記憶する記憶手段と、
   前記相対的位置関係に基づいて前記カメラ映像を補正する補正手段と、
   を備える映像表示装置。

Images