JP2016099918A - ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム - Google Patents

Abstract

【課題】画像データに対応するスクリーン画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影してポインティング位置を認識する。【解決手段】画像データを出力するノートＰＣ１０は、ステレオ・カメラ２３ａ、２３ｂを実装する。ステレオ・カメラは、ポインティング・ジェスチャをするプレゼンター６１と同時にスクリーン画像２０１の全体を撮影することはできない。スクリーン画像の一部の撮影データから表示画像の４個のコーナーのグローバル座標を取得する。ポインティング位置２５１ｐに対するポインティング・ジェスチャの撮影データからポインティング位置のグローバル座標を取得する。コーナーのグローバル座標に対するポインティング位置のグローバル座標の相対位置からポインティング位置に対応する画像データのピクセル座標を取得する。【選択図】図２

Description

本発明は、表示画像に対して任意の位置に配置したステレオ・カメラの撮影データでポインティング・ジェスチャが指示した位置を認識する技術に関する。

プロジェクターは、コンピュータが作成した画像データをプロジェクター・スクリーンに投影してスクリーン画像として表示する。また、画像データは大型のモニター・テレビに表示する場合もある。会議の参加者はプロジェクター・スクリーンに投影されたスクリーン画像やモニター・テレビに表示された画像（以後、スクリーン画像）を同時に共有する。プレゼンターや各参加者がスクリーン画像上の特定の位置を指で指すときは、指差し棒やレーザー・ポインターなどを使用する。

特許文献１は、大型ディスプレイやプロジェクターなどの大型画面に表示したカーソルをユーザが指差しする方向に移動させる発明を開示する。同文献には、顔と指先までの距離を計算して複数の操作者のなかからカーソルを操作する操作者を決定することが記載されている。特許文献２は、ビデオ会議システムにおいて特定の参加者が指す方向を決定する発明を開示する。同文献には、各参加者が異なるように指す場合に校正することで正しいポインティング方向を決定する方法が記載されている。

特許文献３は、プレゼン画像を投影するプロジェクターの投影範囲の所定の位置Ｐをレーザ−・ポインタで照射した状態を撮影したカメラの撮影画像から、位置Ｐに対応する投影画像の座標を取得する発明を開示する。同文献には、モニターに表示されたプレゼン画像の４点のコーナーから位置Ｐの座標を検出することが記載されている。

国際公開第２０１２／１４４１４５号公報 特表２００４−５０４６７５号公報 特開２００６−２３６１９５号公報

特許文献１および特許文献２が記載する表示システムのように、表示画面に対するステレオ・カメラの位置および姿勢があらかじめ決まっている装置では、ステレオ・カメラが計測する３次元座標と、表示画面に２次元配置された画像に対応する画像データの座標（以後、ピクセル座標）を関連付けておくことができる。したがって、指差しをしたときのポインティング・ジェスチャをステレオ・カメラで観測して、指差しの方向にあるスクリーン画像上の任意の位置（ポインティング位置）の３次元座標を計算すれば、ポインティング位置に対応するピクセル座標を計算することができる。

近年、ディスプレイ筐体の縁枠にステレオ・カメラを実装したノートブック型パーソナル・コンピュータ（ノートＰＣ）が開発されている。ノートＰＣは、プロジェクターで表示する画像データを生成することができるため、ノートＰＣが実装するステレオ・カメラがスクリーン画像のポインティング位置を認識できれば、ポインティング・ジェスチャでノートＰＣに入力ができて都合がよい。この場合、ステレオ・カメラの位置とプロジェクター・スクリーンの相対的な位置関係はその都度変化するため、スクリーン画像の位置とステレオ・カメラの位置および姿勢の相互関係を事前に確定できないことになる。また、ノートＰＣが実装するステレオ・カメラは、撮影が前方の所定の視野角の範囲に限られるため、会議の参加者とスクリーン画像の全体を同時に撮影できないことが多い。

そこで本発明の目的は、ステレオ・カメラの撮影データで表示画像に対するポインティング・ジェスチャで示したポインティング位置を認識する方法を提供することにある。さらに本発明の目的は、あらかじめスクリーン画像に対する相対的な位置が定まってないステレオ・カメラの撮影データでポインティング位置を認識する方法を提供することにある。さらに本発明の目的は、スクリーン画像の一部のコーナーを表示できないステレオ・カメラの撮影データでポインティング位置を認識する方法を提供することにある。さらに本発明の目的は、さまざまな位置で行われるポインティング・ジェスチャのポインティング位置を認識する方法を提供することにある。さらに、本発明の目的は、そのような方法を実現するコンピュータおよびコンピュータ・プログラムを提供することにある。

本発明は、画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影してポインティング位置を認識する方法を提供する。一の態様では、表示画像の一部の撮影データから表示画像の基準位置のグローバル座標を取得し、ポインティング位置に対するポインティング・ジェスチャの撮影データからポインティング位置のグローバル座標を取得し、基準位置のグローバル座標に対するポインティング位置のグローバル座標の相対位置からポインティング位置に対応する画像データのピクセル座標を取得する。

したがって、ステレオ・カメラと表示画像の位置にあらかじめグローバル座標で関連づけがなくても、表示画像の基準位置のグローバル座標とポインティング位置のグローバル座標からポインティング位置に対応する画像データのピクセル座標を取得することができる。ポインティング位置をピクセル座標として認識することで、画像データを生成するシステムは、ピクセル座標に対する入力を処理してさまざまなアクションを実行できる。

表示画像は、プロジェクターが投影するスクリーン画像でもよいし大型のモニター・テレビが映し出す画像でもよい。これらはいずれも撮影を開始したときのステレオ・カメラとの位置関係が不定状態になっている。基準位置は、輪郭を４辺で構成した表示画像の４つのコーナーとすることができる。このとき、ピクセル座標は、４つのコーナーのグローバル座標に対するポインティング位置のグローバル座標の内分比を計算することで取得することができる。

表示画像が矩形のときは、表示画像の一部の撮影データが、表示画像の縦辺が形成する２個のコーナーを含むものでもよい。このとき、ステレオ・カメラの撮像面における表示画像の縦辺と横辺が形成する角度と表示画像のアスペクト比からステレオ・カメラの表示画像の面に対する位置姿勢を特定して、撮影していないコーナーのグローバル座標を取得することができる。あるいは、表示画像の撮影していないコーナーに対するポインティング・ジェスチャの撮影データから撮影していないコーナーのグローバル座標を取得することができる。

本発明の他の態様では、ピクセル・サイズに対する所定の割合のスケール画像データを含む画像データに対応する表示画像の撮影データから表示画像の基準位置のグローバル座標を取得する。このとき、輪郭を４辺で構成した表示画像の１個のコーナーとスケール画像の撮影データから、撮影した１個のコーナーと撮影しない２個のコーナーのグローバル座標を計算することができる。さらに、表示画像が矩形または対称な台形であれば、取得した３個のグローバル座標から残りの１個のグローバル座標を計算することができる。

さらに、輪郭を４辺で構成した表示画像の撮影した２個のコーナーとスケール画像の撮影データから撮影しない２個のコーナーのグローバル座標を計算することができる。この場合は、表示画像が歪んでいても４個のグローバル座標を取得することができる。さらに本発明の他の態様では、第１の位置姿勢のステレオ・カメラが基準物体と表示画像の基準位置を撮影した撮影データから基準物体と基準位置のグローバル座標を取得し、第２の位置姿勢のステレオ・カメラが基準物体とポインティング・ジェスチャを撮影した撮影データから基準物体とポインティング・ジェスチャの特徴点のグローバル座標を取得して、ポインティング位置のグローバル座標を取得する。

ポインティング位置のグローバル座標は、第１の位置姿勢または第２の位置姿勢のいずれかの座標系で計算することができる。表示画像の輪郭が４辺で構成されているときに、第１の位置姿勢で４個のコーナーを撮影すれば、表示画像は歪んでいてもよい。表示画像をプロジェクターのスクリーン画像とし、基準物体をプロジェクターとすることができる。ステレオ・カメラは、画像データを生成する携帯式コンピュータに実装することができる。

本発明により、ステレオ・カメラの撮影データで表示画像に対するポインティング・ジェスチャで示したポインティング位置を認識する方法を提供することができた。さらに本発明により、あらかじめスクリーン画像に対する相対的な位置が定まってないステレオ・カメラの撮影データでポインティング位置を認識する方法を提供することができた。さらに本発明により、スクリーン画像の一部のコーナーを表示できないステレオ・カメラの撮影データでポインティング位置を認識する方法を提供することができた。さらに本発明により、さまざまな位置で行われるポインティング・ジェスチャのポインティング位置を認識する方法を提供することができた。さらに、本発明により、そのような方法を実現するコンピュータおよびコンピュータ・プログラムを提供することができた。

ノートＰＣ１０のハードウェアを説明するための概略の機能ブロック図である。 会議支援システム１００を使用するときの様子を説明するための平面図である。 会議支援システム１００の構成を説明するための機能ブロック図である。 スクリーン画像２０１の構成を説明するための図である。 ステレオ・カメラ２３の位置姿勢による座標系の変化を説明するための図である。 ステレオ・カメラ２３が基準位置姿勢２３１に対して平行移動したときの撮像面２８１ａ、２８１ｂの画像を説明するための図である。 ステレオ・カメラ２３が基準位置姿勢２３１に対してＺ軸廻りに回転したときの撮像面２８３ａ、２８３ｂの画像を説明するための図である。 ステレオ・カメラ２３が基準位置姿勢２３１に対してＹ軸廻りに回転したときの撮像面２８５ａ、２８５ｂの画像を説明するための図である。 ステレオ・カメラ２３が基準位置姿勢２３１に対してＸ軸廻りに回転したときの撮像面２８７ａ、２８７ｂの画像を説明するための図である。 会議支援システム１００の動作を説明するためのフローチャートである。 撮影時のステレオ・カメラ２３の座標系をＹ軸廻りに回転しない座標系に変換する様子を説明するための図である。 撮影時のステレオ・カメラ２３の座標系をＸ軸廻りに回転しない座標系に変換する様子を説明するための図である。 Ｚ軸廻りに回転したステレオ・カメラ２３の座標系の回転角度θを計算する方法を説明するための図である。 スクリーン画像２０１に対するポインティング位置２５１ｐのグローバル座標からピクセル座標４５１ｐを計算する方法を説明するための図である。 会議支援システム１００の動作を説明するためのフローチャートである。 スケール画像で撮影した１個のコーナーのグローバル座標から撮影していない２個のコーナーのグローバル座標を計算する方法を説明するための図である。 コーナーを撮影できないときに、コーナーの座標を取得する方法を説明するための図である。 歪んだスクリーン画像２０１ｂに対するポインティング位置２５１ｐのグローバル座標からピクセル座標４５１ｐを計算する方法を説明するための図である。

［ノートＰＣのハードウェア構成］
図１（Ａ）は、会議支援システム１００（図３）を構成するノートＰＣ１０のハードウェアの構成を説明するための概略の機能ブロック図で、図１（Ｂ）は外形を示す斜視図である。本発明との関連において、ノートＰＣ１０のハードウェアの構成は周知であるため説明は簡略化する。ＣＰＵ１１はグラフィック・コアを内蔵しておりＬＣＤ１５とシステム・メモリ１３が接続されている。チップセット１７は、さまざまなインターフェースのコントローラを内蔵している。チップセット１７のＳＡＴＡコントローラにはＨＤＤ１９が接続され、ＵＳＢコントローラにはキーボード、ポインティング・デバイスまたはマイクロフォンなどの入力デバイス２１が接続され、他のＵＳＢコントローラには有線または無線で２個のカメラ２３ａ、２３ｂで構成したステレオ・カメラ２３が接続され、ＤＶＩコントローラにはＤＶＩポート２５が接続されている。

ＤＶＩポート２５には有線または無線でプロジェクター５１（図２）を接続して、ＬＣＤ１５が表示する画面に対応する画像データを出力することができる。ＨＤＤ１９は、会議支援システム１００を構成するソフトウェアを格納する。ステレオ・カメラ２３を構成する２個のカメラ２３ａ、２３ｂはそれぞれイメージセンサーを内蔵しており、所定のフレーム・レートで撮影した撮影データをシステムに出力する。ステレオ・カメラ２３は、ディスプレイ筐体１２の縁枠３１に装着している。ディスプレイ筐体１２は、システム筐体１４にヒンジ機構で結合されている。ユーザはノートＰＣ１０を使用する際に、ディスプレイ筐体１２を適度な位置まで回動させる。机上に置かれたステレオ・カメラ２３の光軸は、ディスプレイ筐体１２の角度で上下方向に変化し、ＬＣＤ１５の向きで左右方向に変化する。

［会議支援システム］
図２は、会議支援システム１００の利用環境の一例を説明するための平面図である。机５０の上には、ノートＰＣ１０に有線または無線で接続されたプロジェクター５１を配置している。プレゼンター６１がスクリーン５３の前面に立ち、机５０の廻りの椅子に複数の参加者６３が座っている。プレゼンター６１が所有するノートＰＣ１０は、プロジェクター５１で投影するための画像データをプロジェクター５１に出力する。プロジェクター５１はノートＰＣ１０が出力する画像データを受け取ってスクリーン５３のスクリーン面５３ａにスクリーン画像２０１を投影する。

プロジェクター５１とスクリーン面５３ａの相対的な位置関係およびノートＰＣ１０とスクリーン面５３ａの相対的な位置関係は固定しておらずその都度変化する。プレゼンター６１は、目の間の特徴点２５５ａと人指し指の指先の特徴点２５５ｂとポインティング位置２５１ｐがポインティング直線２５３上に並ぶようにポインティング・ジェスチャをする。会議支援システム１００を利用する、プレゼンター６１および参加者６３はすべて同じようなポインティング・ジェスチャをする。

会議支援システム１００はステレオ・カメラ２３の撮影データからポインティング・ジェスチャとスクリーン画像２０１の４個のコーナーのグローバル座標を計算して、ポインティング位置２５１ｐのグローバル座標を計算し、ポインティング位置２５１ｐに対応する画像データにおけるピクセル座標への入力を認識してさまざまなアクションを実行する。

ステレオ・カメラ２３は、スクリーン画像２０１に対してポインティング・ジェスチャをするプレゼンター６１および参加者６３を撮影する必要がある。本発明の好適な例においては、ノートＰＣ１０をプレゼンテーションおよびポインティング・ジェスチャの撮影に適した位置に配置するため、ステレオ・カメラ２３がスクリーン画像２０１の４個のコーナーを撮影できない位置に配置されている。ただし、本発明はステレオ・カメラ２３がスクリーン画像２０１の４個のコーナーを撮影できる場合も含んでいる。

図３は、ノートＰＣ１０が実装するハードウェアおよびソフトウェアで実現した会議支援システム１００の構成を説明するための機能ブロック図である。図４は、スクリーン画像２０１と、その表示空間に定義するグローバル座標系を説明するための図である。図５は、スクリーン画像２０１に対するステレオ・カメラ２３の相対的な位置姿勢を説明するための図である。

図３において会議システム１００は、ステレオ・カメラ２３と、ＨＤＤ１９が格納するデバイス・ドライバ、オペレーティング・システム、ジェスチャ認識エンジン、アプリケーション・プログラムなどのソフトウェアと、それを実行する図１のハードウェアとで構成した、ユーザ入力部１０１、特徴点認識部１０３、グローバル座標計算部１０５、ポインティング座標計算部１０７、ピクセル座標計算部１０９、アプリケーション実行部１１１および画像データ出力部１１３で構成している。

図５に示すようにステレオ・カメラ２３はキャリブレーションを終了したときに、いずれか一方のカメラ２３ａ、２３ｂの撮像面２４から焦点距離ｆだけ離れた焦点を原点とし、撮像面２４の中心を通る法線をＹ軸とし、撮像面の横辺に沿ってＸ軸、縦辺に沿ってＺ軸を定義した３次元のカメラ座標系を形成する。本実施の形態では、一例としてカメラ座標系とグローバル座標系を一致させている。

制御部１０１は、入力デバイス２１を含み、ユーザに対する入力インターフェースを提供するとともに、特徴点認識部１０３、グローバル座標計算部１０５、およびポインティング座標計算部１０７に会議支援システム１００を初期化モードおよび利用モードのいずれかで動作させるための指示をする。ステレオ・カメラ２３は動作を開始すると撮影データのフレーム・シーケンスを特徴点認識部１０３に送る。特徴点認識部１０３は、ポインティング・ジェスチャをする人体の特徴点２５５ａ、２５５ｂ、スクリーン画像２０１のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の特徴点、プロジェクター５１の特徴点５１ａ（図１７）、およびスケール画像６０３（図１６）の特徴点などのテンプレートを保有している。

特徴点認識部１０３は、ステレオ・カメラ２３から受け取ったフレームとあらかじめ登録してあるテンプレートを比較して特徴点を認識する。ポインティング・ジェスチャをする特徴点２５５ａ、２５５ｂのテンプレートは、特徴点２５５ａ、２５５ｂの相互間の距離、および鉛直方向の高低差などのポインティング・ジェスチャに特有の特徴を含み、特徴点認識部１０３はポインティング・ジェスチャをしない同じ特徴点２５５ａ、２５５ｂに対してはポインティング・ジェスチャを認識しない。特徴点認識部１０３は、それぞれ特徴点を認識したカメラ２３ａ、２３ｂのフレーム・シーケンスから同時刻または最も近い時刻のタイムスタンプを有する２つのフレームを取得する。

特徴点認識部１０３は、初期化モードのときに、それぞれのフレームから認識したスクリーン画像２０１の４個のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の特徴点、または、スケール画像６０３の特徴点などに対応するカメラ２３ａ、２３ｂの撮像面２４の座標をグローバル座標計算部１０５に出力する。特徴点認識部１０３は、利用モードのときに、それぞれのフレームから認識した特徴点２５５ａ、２５５ｂに対応するカメラ２３ａ、２３ｂの撮像面２４の座標をグローバル座標計算部１０５に出力する。

グローバル座標計算部１０５は、２つのカメラ２３ａ、２３ｂの撮像面２４の座標から、各特徴点のグローバル座標（Ｘ，Ｙ，Ｚ）を計算する。グローバル座標計算部１０５は、初期化モードのときに、特徴点認識部１０３から４個のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の特徴点に対応する撮像面２４の座標を受け取っていないときに、受け取っていないコーナーのグローバル座標（Ｘ，Ｙ，Ｚ）を計算する。

グローバル座標計算部１０５は、利用モードのときに、プレゼンター６１または参加者６３の特徴点２５５ａ、２５５ｂに対応する撮像面２４の座標からポインティング直線２５３の式を取得し、スクリーン画像２０１の平面の方程式とポインティング直線２５３の式からポインティング位置２５１ｐのグローバル座標を計算する。グローバル座標計算部１０５は、４個のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２のグローバル座標およびポインティング位置２５１ｐのグローバル座標をポインティング座標計算部１０７に送る。

ポインティング座標計算部１０７は、スクリーン画像２０１におけるポインティング位置２５１ｐの、コーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２に対する縦辺２０３ａ、２０３ｃと横辺２０３ｄ、２０３ｂの内分比をグローバル座標系で計算して、ピクセル座標計算部１０９に出力する。ピクセル座標計算部１０９は、内分比からポインティング位置２５１ｐに対応する画像データ４０１（図１４）の位置のピクセル座標４５１ｐを計算する。

ここに画像データ４０１は、アプリケーション実行部１１１が作成するｐ×ｑの所定のピクセル・サイズのデータ構造に相当する。画像データは、ＬＣＤ１５の画素マトリクスの輝度情報を含む。ピクセル・サイズの縦辺と横辺の比Ａｓｐ（ｐ：ｑ）をアスペクト比という。ピクセル座標計算部１０９は、ピクセル座標４５１ｐをアプリケーション実行部１１１に送る。アプリケーション実行部１１１は、プレゼンテーション・プログラムやＷｅｂブラウザのようなアプリケーション・プログラムを実行して画像データを生成する。

アプリケーション実行部１１１は、受け取ったピクセル座標４５１ｐを認識して対応するアクションを実行する。アクションの一例では、ポインティング位置２５１ｐに、スポット画像を表示したりすでに表示しているマウス・カーソルを移動させたりする。アクションの他の例では、Ｗｅｂブラウザの画面のハイパーテキストに対する入力の処理をする。アクションのさらに他の例では、アプリケーション画像の上にポインティング位置２５１ｐに沿って線を描く。

アクションのさらに他の例では、アプリケーション画像を構成するボタン画像に対する入力を処理して画面のインクリメントをする。アプリケーション実行部１１１は、画像データを画像データ出力部１１３に送る。画像データ出力部１１３はＤＶＩポート２５を通じて、アプリケーション実行部１１１から受け取った画像データをプロジェクター５１に出力する。この画像データは、アクションの結果を反映したデータを含む。

会議支援システム１００は、ユーザ入力部１０１、特徴点認識部１０３、グローバル座標計算部１０５、ポインティング座標計算部１０７およびピクセル座標計算部１０９を独立したポインティング装置として構成し、アプリケーション実行部１１１と画像データ出力部１１３をノートＰＣ１０で構成してもよい。このときステレオ・カメラ２３は、ポインティング装置に組み込んでもよいし有線または無線でポインティング装置に接続してもよい。

図４において、プロジェクター５１は、スクリーン面５３ａに４つのコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２を含むスクリーン画像２０１を投影している。スクリーン面５３ａに対して、垂直面５３ｂと水平面５３ｃを定義する。スクリーン面５３ａ、垂直面５３ｂ、水平面５３ｃは相互に直交する。プロジェクター５１の光軸５２は、垂直面５３ｂ上に存在し、スクリーン面５３ａ上で、スクリーン画像２０１の中心に対応する垂直面５３ｂと水平面５３ｃが交差する位置を向いている。

一例において、プロジェクター５１は台形補正機能を備えており、スクリーン画像２０１の輪郭は、アスペクト比Ａｓｐが画像データ４０１と一致する矩形になっている。ここでは矩形のスクリーン画像２０１の縦辺２０３ａ、２０３ｃは長さがａで、横辺２０３ｄ、２０３ｂは長さがｂである。台形補正機能のないプロジェクター５１の光軸５２が垂直面５３ｂ上を通過するように投影したときのスクリーン画像２０１ａは、ライン２０２を中心に左右対称になる。

また、光軸５２が垂直面５３ｂおよび水平面５３ｃのいずれの上にも存在しない状態のスクリーン画像２０１ｂは、輪郭が歪む。矩形のスクリーン画像２０１および対称な台形のスクリーン画像２０１ａ以外の四角形のスクリーン画像を歪んだスクリーン画像２０１ｂという。本発明は、コーナーの撮影個数に応じてこれらのいずれのスクリーン画像にも適用することもできる。

撮影個数が２個のときは、画像データ４０１のアスペクト比Ａｓｐを維持した矩形状のスクリーン画像２０１であることを条件に、図１０のブロック３０７からブロック３２１の手順を適用することができる。撮影個数が１個のときは、スケール画像６０３（図１６）を利用することを条件に、ブロック５５３、５５５の手順を適用することができる。この場合、矩形のスクリーン画像２０１だけでなく台形補正のない対称なスクリーン画像２０１ａに適用することもできる。

撮影個数が３個のときは、図１５のブロック５５１の手順を適用することができる。このとき、スケール・データ４６３（図１６）のスケール画像を利用することで、歪んだスクリーン画像２０１ｂに適用することもできる。撮影個数が４個のときは、スケール画像６０３を利用しないで、歪んだスクリーン画像２０１ｂに適用することができる。いずれのコーナーも撮影できないときは、プロジェクター５１のような基準物体を利用する図１５のブロック５０７からブロック５１３までの手順を適用することができる。この場合、歪んだスクリーン画像２０１ｂに適用することができる。

図５において、グローバル座標系のＹ軸をスクリーン画像２０１の中心を通るスクリーン面５３ａの法線とし、Ｘ軸が横辺２０３ｄ、２０３ｂに平行に向いたステレオ・カメラ２３の位置姿勢を基準位置姿勢２３１といい、基準位置姿勢２３１に対する、ステレオ・カメラ２３の位置および光軸の方向が変化した状態を単に位置姿勢ということにする。

基準位置姿勢２３１のステレオ・カメラ２３は、画角に応じた距離だけスクリーン面５３ａからＹ軸方向に離れると、撮像面２８０の中央にスクリーン画像２０１の全体を結像する。ノートＰＣ１０およびディスプレイ筐体１２の角度は、図２の環境下においてステレオ・カメラ２３に対して基準位置姿勢２３１とは異なるさまざまな位置姿勢を形成する。位置姿勢２３３は、基準位置姿勢２３１に対して、いずれの座標軸も回転しない状態で、原点がＸ軸、Ｙ軸、およびＺ軸方向のすべてまたはいずれかに移動した状態に対応する。このような位置姿勢を平行移動という。

位置姿勢２３５は、基準位置姿勢２３１に対して、Ｚ軸を中心に右回りまたは左回りに回転した状態に対応する。位置姿勢２３７は、基準位置姿勢２３１に対して、Ｙ軸を中心に右回りまたは左回りに回転した状態に対応する。位置姿勢２３９は、基準位置姿勢２３１に対して、Ｘ軸を中心に右回りまたは左回りに回転した状態に対応する。位置姿勢２４１は、基準位置姿勢２３１に対してＸ軸、Ｙ軸、およびＺ軸廻りに同時に回転した状態に対応する。位置姿勢２４１は、図２の環境下におけるノートＰＣ１０の通常の位置姿勢に相当する。なお、位置姿勢２３５〜２４１は、回転と同時に平行移動を含んでいるものとする。

基準位置姿勢２３１のステレオ・カメラ２３は、スクリーン画像２０１のサイズ、画角、スクリーン面５３ａまでの距離の組み合わせによって、撮像面２８０の中心にスクリーン画像２０１の全体を撮影できるが、位置姿勢２３３〜２４１のステレオ・カメラ２３は、スクリーン面５３ａからのＹ軸方向の距離が、基準位置姿勢２３１でスクリーン画像２０１の全体を表示できる距離と同じであっても、スクリーン画像２０１の一部またはすべてが撮影できなくなる場合がある。

図６は、ステレオ・カメラ２３が基準位置姿勢２３１から平行移動したときの位置姿勢２３３ａ、２３ｂと撮像面２８１ａ、２８１ｂの画像の様子を説明するための図である。位置姿勢２３３ａ、２３３ｂはそれぞれ、撮像面２８１ａ、２８１ｂに対応する。平行移動によりいずれの撮像面２８１ａ、２８１ｂが結像するスクリーン画像２０１も、コーナーＣｒ１，Ｃｒ２を含んでいない。ただし、コーナーＣｌ１、Ｃｌ２の角度は、撮像面２８０（図５）のスクリーン画像２０１と同じように９０度である。

図７は、ステレオ・カメラ２３が基準位置姿勢２３１から平行移動とＺ軸廻りの回転をしたときの位置姿勢２３５ａ、２３５ｂと撮像面２８３ａ、２８３ｂの様子を説明するための図である。位置姿勢２３５ａ、２３５ｂはそれぞれ撮像面２８３ａ、２８３ｂに対応する。Ｚ軸廻りの回転によりいずれの撮像面２８３ａ、２８３ｂが結像するスクリーン画像２０１もコーナーＣｒ１、Ｃｒ２を含んでいない。さらに平行移動とは異なりＺ軸廻りの回転のときは、撮像面２８３ａ、２８３ｂのスクリーン画像２０１が、縦辺２０３ａと横辺２０３ｄまたは横片２０３ｂの間の角度α１、α２が９０度とは異なってくる。

Ｚ軸廻りの右回転をした位置姿勢２３５ａでは、縦辺２０３ａと横片２０３ｄの角度α１および縦辺２０３ａと横辺２０３ｂの角度α２が９０度より小さくなり、しかも、回転の角度が大きくなるほど角度α１、α２が小さくなる。Ｚ軸廻りの左回転をした位置姿勢２３５ｂでは、縦辺２０３ａと横片２０３ｂの角度α１および縦辺２０３ａと横辺２０３ｂの角度α２が９０度より大きくなり、しかも、回転の角度が大きくなるほど角度α１、α２が大きくなる。Ｚ軸廻りの回転が、基準位置姿勢２３１の座標系におけるＸ−Ｙ平面上で発生したときは、角度α１、α２の値が等しくなるが、原点がＺ軸方向に移動すると角度α１、α２は異なる値になる。

図８は、ステレオ・カメラ２３が基準位置姿勢２３１から平行移動とＹ軸廻りの回転をしたときの位置姿勢と撮像面の様子を説明するための図である。位置姿勢２３７ａ、２３７ｂはそれぞれ、撮像面２８５ａ、２８５ｂに対応する。Ｙ軸廻りの回転をした位置姿勢２３７ａ、２３７ｂでは、Ｙ軸がスクリーン面５３ａの法線方向を向くため、コーナーＣｌ１、Ｃｌ２の角度は９０度を維持する。

図９は、ステレオ・カメラ２３が基準位置姿勢２３１から平行移動とＸ軸廻りの回転したときの位置姿勢２３９ａ、２３９ｂと撮像面２８７ａ、２８７ｂの様子を説明するための図である。位置姿勢２３９ａ、２３９ｂはそれぞれ、撮像面２８７ａ、２８７ｂに対応する。Ｘ軸廻りの回転をした位置姿勢２３９ａ、２３９ｂでは、コーナーＣｌ１、Ｃｌ２の角度は９０度とは異なってくる。

Ｘ軸廻りにＹ軸が下を向くように回転をした位置姿勢２３９ａでは、縦辺２０３ａと横片２０３ｄの角度α１が９０度より小さくなり、縦辺２０３ａと横辺２０３ｂの角度α２が９０度より大きくなる。しかも、回転の角度が大きくなるほど角度α１、α２が９０度から離れる。Ｘ軸廻りにＹ軸が上を向くように回転をした位置姿勢２３９ｂでは、縦辺２０３ａと横片２０３ｄの角度α１が９０度より大きくなり、縦辺２０３ａと横辺２０３ｂの角度α２が９０度より小さくなる。しかも、回転の角度が大きくなるほど角度α１、α２が９０度から離れる。

図６〜図９に示したように、ステレオ・カメラ２３が完全にスクリーン画像２０１が撮影できる基準位置姿勢２３１から回転および平行移動をすると、スクリーン画像２０１の一部またはすべてが撮像面２４に結像しなくなる。また、撮像面２４のスクリーン画像はＺ軸方向の回転およびＸ軸方向の回転によって形状が台形になる。

［会議支援システムの動作］
つぎに、会議支援システム１００の動作を説明する。図１０は、会議支援システム１００の動作を説明するためのフローチャートである。ブロック３０１で、プロジェクター５１が、画像データ出力部１１３が出力する画像データをスクリーン面５３ａにスクリーン画像２０１として投影している。台形補正機能を有効にしたプロジェクター５１が投影するスクリーン画像２０１は、画像データ４０１のアスペクト比Ａｓｐを維持した矩形状になっている。

ただし、スクリーン画像２０１の大きさは、スクリーン面５３ａとプロジェクター５１の距離で決まるため不定である。ブロック３０３でプレゼンター６１が、ノートＰＣ１０を、自らと参加者６３のポインティング・ジェスチャを撮影できる位置に配置し、ディスプレイ筐体１２の角度を設定すると、ステレオ・カメラ２３の位置姿勢が決まる。このときの位置姿勢を、図５の位置姿勢２４１と想定する。以後、会議支援システム１００を使用する間は、特に言及しない限りノートＰＣ１０の位置姿勢２４１を変更しないものとする。

プレゼンター６１がノートＰＣ１０の位置姿勢２４１を決めるときに、会議室の大きさ、スクリーン画像２０１のサイズ、および参加者６３の人数などによって、ステレオ・カメラ２３が、自らおよび参加者６３のポインティング・ジェスチャと同時にスクリーン画像２０１の全体を撮影できない場合がある。このとき、ステレオ・カメラ２３の位置姿勢２４１には、基準位置姿勢２３１に対して平行移動および回転が生じている。

プレゼンター６１は、入力デバイス２１から、制御部１０１に会議支援システム１００を初期化モードで動作させる指示をする。ステレオ・カメラ２３が動作を開始して、スクリーン画像２０１を撮影した撮影データを出力する。ステレオ・カメラ２３が撮影するコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の数は、ゼロから４個の間である。

特徴点認識部１０３が、スクリーン画像２０１のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の特徴点に対応する撮像面２４の座標をグローバル座標計算部１０５に送る。ブロック３０５でグローバル座標計算部１０５は、撮影したコーナーのグローバル座標を計算し、コーナーの撮影個数が２個かそれ以外かを判断する。コーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の撮影個数が２個のときは、ブロック３０７に移行し、それ以外のときは、撮影できない場合も含めて図１５のブロック５０１に移行する。

ブロック３０７に移行するときは、撮像面２４のスクリーン画像２０１が図６〜図９のいずれかに示す態様で、４個のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２の中でコーナーＣｌ１、Ｃｌ２は撮影しているが、コーナーＣｒ１、Ｃｒ２は画角から外れていると想定する。したがって、グローバル座標計算部１０５は、撮像面２４のスクリーン画像２０１から認識した特徴点で、撮影しないコーナーＣｒ１、Ｃｒ２の座標を計算することはできない。

後に説明するように、スクリーン画像２０１上のポインティング位置２５１ｐのグローバル座標に対応するピクセル座標４５１ｐ（図１４）を計算するためには、４個のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２のグローバル座標が必要になる。ここで、撮影したコーナーＣｌ１、Ｃｌ２のグローバル座標を（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とする。

本実施の形態では、コーナーの撮影個数が２個のときに、ブロック３０７からブロック３１３までの手順によって、撮影しないコーナーＣｒ１、Ｃｒ２のグローバル座標を、コーナーＣｌ１、Ｃｌ２のグローバル座標から計算で求める。最初に計算方法の概要を説明する。計算の前提として、ブロック３０１のプロジェクター５１の設定で、スクリーン画像２０１が画像データ４０１のアスペクト比Ａｓｐを維持した矩形状であることを利用する。

つぎに、３つの軸廻りの回転、および平行移動が発生する位置姿勢２４１の座標系で撮影したスクリーン画像２０１から計算したコーナーＣｌ１、Ｃｌ２のグローバル座標を、アスペクト比Ａｓｐが既知で矩形であるというスクリーン画像２０１の形状的な特徴を利用してＹ軸廻りに回転する位置姿勢２３７の座標系とＸ軸廻りに回転する位置姿勢２３９の座標系を基準位置姿勢２３１の座標系に変換する。つぎに変換したグローバル座標から、残った位置姿勢が平行移動の位置姿勢２３３または平行移動とＺ軸廻りの回転の位置姿勢２３５のいずれかを判断して、コーナーＣｒ１、Ｃｒ２のグローバル座標を計算する。

以下、具体的な計算方法を説明する。図１１は、ステレオ・カメラ２３がＹ軸廻りだけを回転したときの２つの座標系におけるコーナーＣｌ１、Ｃｌ２を示している。ブロック３０７でグローバル座標計算部１０５は、コーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）が、ｘ１≠ｘ２の条件を満たすか否かを判断する。ここでは、Ｙ軸廻りの回転だけに着目して座標変換するので、その他の要素は評価しない。

ｘ１≠ｘ２の条件が成立してＹ軸廻りに回転していると判断したときはブロック３５１に移行し、Ｙ軸廻りの回転がないと判断したときはブロック３０９に移行する。ブロック３５１でグローバル座標計算部１０５は、基準位置姿勢２３１からのＹ軸廻りの回転角度をθとして、位置姿勢２４１の座標系（Ｘ，Ｙ，Ｚ）で計算したグローバル座標（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）を、Ｙ軸廻りの回転角度θだけ戻して基準位置姿勢２３１の座標系（Ｘ’，Ｙ’，Ｚ’）でのグローバル座標に変換する。変換後のコーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ’１，ｙ’１，ｚ’１）、（ｘ’２，ｙ’２，ｚ’２）は、式（１）で計算することができる。ここにＳＱＲＴ（）は、平方根の計算式を示す。スクリーン画像２０１は縦辺２０３ａがＺ’軸に平行な矩形であるため、ｘ’１とｘ’２は同じ値になる。

図１２は、ステレオ・カメラ２３がＸ軸廻りだけを回転したときの２つの座標系におけるコーナーＣｌ１、Ｃｌ２を示している。ブロック３０９でグローバル座標計算部１０５は、コーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）が、ｙ１≠ｙ２の条件を満たすか否かを判断する。ここでは、Ｘ軸廻りの回転だけに着目するため、その他の要素は評価しない。

ｙ１≠ｙ２の条件が成立してＸ軸廻りに回転していると判断したときはブロック３５３に移行し、Ｘ軸廻りの回転がないと判断したときはブロック３１１に移行する。ブロック３５３でグローバル座標計算部１０５は、基準位置姿勢２３１からのＸ軸廻りの回転角度をθとして、位置姿勢２４１の座標系（Ｘ，Ｙ，Ｚ）のグローバル座標（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）を、Ｘ軸廻りの回転角度θだけ戻して基準位置姿勢２３１の座標系（Ｘ’，Ｙ’，Ｚ’）でのグローバル座標に変換する。変換後のコーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ’１，ｙ’１，ｚ’１）、（ｘ’２，ｙ’２，ｚ’２）は、式（２）で計算することができる。ここにＳＱＲＴ（）は、平方根の計算式を示す。座標変換により、スクリーン面５３ａは平面であるため、ｙ’１とｙ’２は同じ値になる。

式（１）、式（２）で計算した、変換後のグローバル座標ｚ’１、ｚ’２は等しい値になる。ここまでの手順で、Ｘ軸、Ｙ軸、およびＺ軸のすべての方向に回転し、かつ平行移動もしていると想定した位置姿勢２４１の座標系で測定したグローバル座標は、Ｘ軸方向およびＹ軸方向への回転がない座標系のグローバル座標に変換された。ブロック３１１で、グローバル座標計算部１０５は、撮像面２４の座標系におけるコーナーＣｌ１、Ｃｌ２の角度を計算する。ここまでの手順で計算した変換後のグローバル座標は、Ｘ軸廻りおよびＹ軸廻りの回転がない座標系の値になっているため、平行移動だけの位置姿勢２３３または平行移動とＺ軸廻りの回転を含む位置姿勢２３５のいずれかとみなすことができる。

グローバル座標計算部１０５は、コーナーＣｌ１、Ｃｌ２の角度α１、α２が所定の閾値の範囲で９０度と判断したときは、位置姿勢２３３とみなしてブロック３５５に移行する。９０度でないと判断したときは位置姿勢２３５とみなしてブロック３１３に移行する。ブロック３５５でグローバル座標計算部１０５はこれまでの手順で、式（１）または式（２）のいずれかで計算したグローバル座標ｚ’１、ｚ’２、式（１）で計算したグローバル座標ｘ’１、ｘ’２、式（２）で計算したグローバル座標ｙ’１、ｙ’２を取得している。

ここで、平行移動だけの位置姿勢２３３の座標系でのコーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ’１，ｙ’１，ｚ’１）、（ｘ’２，ｙ’２，ｚ’２）を新たに、座標変換によりＸ軸方向およびＹ軸方向の回転がないときの座標系のグローバル座標（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とする。スクリーン画像２０１は矩形であることを前提にしているため、ｘ’１＝ｘ’２＝ｘ、ｙ’１＝ｙ’２＝ｙとなり、撮影できないコーナーＣｒ１、Ｃｒ２のグローバル座標は式（３）で計算することができる。ここに、Ａｓｐは、スクリーン画像２０１および画像データ４０１（図１４）のアスペクト比を示している。グローバル座標計算部１０５はコーナーＣｒ１、Ｃｒ２のグローバル座標を計算するとブロック３１５に移行する。

図１３は、Ｚ軸廻りに回転した位置姿勢２３５の座標系の回転角度θを計算する方法を説明するための図である。ブロック３１３においてこれまでの手順で、グローバル座標計算部１０５は、Ｚ軸廻りに回転した位置姿勢２３５の座標系のグローバル座標を取得している。ここで、位置姿勢２３５の座標系でのコーナーＣｌ１、Ｃｌ２のグローバル座標（ｘ’１，ｙ’１，ｚ’１）、（ｘ’２，ｙ’２，ｚ’２）を新たに（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とする。（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）は、座標変換により平行移動とＺ軸廻りだけを回転したときの座標系のグローバル座標で、スクリーン画像２０１はアスペクト比Ａｓｐを維持した矩形であることを前提にしているため、撮像面２６１ａの座標系におけるスクリーン画像２０１は上底と下底に相当する縦辺２０３ａ、２０３ｃが平行な台形である。

つぎに、撮像面２６１ａ上で計算した縦辺２０３ａと横辺２０３ｄの角度α１をαとしｘ１＝ｘ２＝ｘ、ｙ１＝ｙ２＝ｙとすれば、撮像面２６１ａ上のスクリーン画像２０１について、ｔａｎ（π−α）＝ｓ１／ｓ２の関係から式（４）を求め、さらに式（４）を展開して角度αから回転角度θを求める式（５）を得ることができる。ここに、Ａｓｐは、スクリーン画像２０１および画像データ４０１のアスペクト比を示し、θは基準位置姿勢に対するＺ軸廻りの角度を示す。なお、縦辺２０３ａと横辺２０３ｂの角度α２に着目しても同様にｚ２、α、ｘ、ｙを従属変数とする回転角度θの式を得ることができる。

ｆをステレオ・カメラ２３の焦点距離としたときに、撮影したコーナーＣｌ１、Ｃｌ２および撮影しないコーナーＣｒ１、Ｃｒ２の撮像面２６１ａの座標Ｃ’ｌ１、Ｃ’ｌ２、Ｃ’ｒ１、Ｃ’ｒ２を式（６）で計算することができる。グローバル座標計算部１０５は式（５）で計算したＺ軸廻りの回転角度θを式（６）に代入して、撮影しないコーナーＣｒ１、Ｃｒ２の撮像面２６１ａの座標Ｃ’ｒ１、Ｃ’ｒ２を計算し、さらにそれに対応するグローバル座標Ｃｒ１、Ｃｒ２を計算する。

グローバル座標（Ｘｎ，Ｙｎ，Ｚｎ）を通過する平面の方程式は、式（７）のとおりである。ここに、ａ，ｂ，ｃは、法線ベクトルである。グローバル座標計算部１０５は、これまでの手順で計算したスクリーン画像２０１の４個のコーナーから選択した３個のコーナーのグローバル座標を使って式（７）の法線ベクトル（ａ，ｂ，ｃ）を計算して、スクリーン画像２０１の平面の式を取得しブロック３１５に移行する。

a（X-Xn）＋b（Y-Yn）＋c（Z-Zn）＋d=0 （７）
これまでの手順では、スクリーン画像２０１のアスペクト比ＡＳＰが既知であることを前提にして計算したが、アスペクト比が未知のときは、グローバル座標計算部１０５は撮影しないコーナーに対するポインティング・ジェスチャをしたときのポインティング直線２５３の式と、グローバル座標が既知の２個のコーナーが存在するスクリーン画像２０１の平面の式（７）と、スクリーン画像２０１が矩形であることを利用してポインティング位置２５１ｐに相当する撮影しないコーナーのグローバル座標を計算することができる。ポインティング直線２５３の２つの特徴点２５５ａ、２５５ｂのグローバル座標（Ｘａ，Ｙａ，Ｚａ）、（Ｘｂ，Ｙｂ，Ｚｂ）を通るポインティング直線２５３の式は（８）のとおりである。

ブロック３０７からブロック３１３までの手順では、図１５を参照して説明するスケール画像６０３（図１６）を利用したり、初期化のためにノートＰＣ１０の位置姿勢の変更をしたりしないでも、２個のコーナーを撮影することで撮影しないコーナーのグローバル座標を取得することができる。ブロック３１５でグローバル座標計算部１０５は、アプリケーション実行部１１１を通じて、スクリーン面５３ａに初期化が完了して利用モードに移行することを示すメッセージを含むスクリーン画像２０１を表示する。さらにグローバル座標計算部１０５は、制御部１０１を通じて特徴点認識部１０３およびポインティング座標計算部１０７に利用モードに入ることを通知する。

利用モードに入ったことを知ったプレゼンター６１または参加者６３がスクリーン画像２０１の任意のポインティング位置２５１ｐに向かってポインティング・ジェスチャをする。ブロック３１７でグローバル座標計算部１０５は、特徴点認識部１０３から受け取った特徴点２５５ａ、２５５ｂに対応する撮像面２４の座標からグローバル座標（Ｘａ，Ｙａ，Ｚａ）、（Ｘｂ，Ｙｂ，Ｚｂ）を計算してポインティング直線２５３の式を求める。

つづいて、グローバル座標計算部１０５は、式（７）および式（８）を使って、ポインティング位置２５１ｐのグローバル座標（Ｘｐ，Ｙｐ，Ｚｐ）を計算してポインティング座標計算部１０７に送る。ポインティング座標計算部１０７は、図１４（Ａ）に示すように、ポインティング位置２５１ｐのグローバル座標（Ｘｐ，Ｙｐ，Ｚｐ）を通過しスクリーン画像２０１の縦辺と横辺に平行な２つの仮想線が４つのコーナーＣｌ１〜Ｃｒ２のグローバル座標を内分する各辺の内分比（ａ１：ａ２）、（ｂ１：ｂ２）を計算してピクセル座標計算部１０９に通知する。

ブロック３１９でピクセル座標計算部１０９は、図１４（Ｂ）に示すように、スクリーン画像２０１を投影した所定のピクセル・サイズｐ×ｑの画像データ４０１に、縦横の辺の内分比がそれぞれ（ａ１：ａ２）、（ｂ１：ｂ２）に等しい（ｐ１：ｐ２）、（ｑ１：ｑ２）のピクセル座標４５１ｐを計算してアプリケーション実行部１１１に送る。後に説明する図１５の手順では、歪んだスクリーン画像２０１ｂが投影される場合がある。

このとき、図１８に示すように、スクリーン画像２０１ｂの４つの辺２０３ａ〜２０３ｄは、それぞれ異なる倍率に拡大されて投影される。したがって、ポインティング位置２５１ｐでＸ軸とＺ軸方向に直交する２つの仮想線が各辺と交差する位置のグローバル座標を計算して、各辺において仮想線と交わる位置の内分比（ａ１：ａ２）、（ｂ１：ｂ２）、（ｃ１：ａ２）、（ｄ１：ｄ２）を計算し、同じ内分比（ｐ１：ｐ２）、（ｑ３：ｑ４）、（ｐ３：ｐ４）、（ｑ１：ｑ２）で画像データ４０１の各対応する辺を内分した位置に仮想線を引き、仮想線が交差した位置からピクセル座標４５１ｐを求める。

ブロック３２１でアプリケーション実行部１１１は、ピクセル座標４５１ｐに何らかの入力があったと認識して所定のアクションをする。アプリケーション実行部１１１は、アクションがスポット画像の表示の場合は、スポット画像データ４５２をピクセル座標４５１ｐの位置に表示するようにアプリケーション画像データにオーバーレイする。その結果、スクリーン画像２０１のポインティング位置２５１ｐには、アプリケーション画像の中にスポット画像データ４５２に対応するスポット画像２５２が表示される。

グローバル座標計算部１０５がポインティング位置２５１ｐの変化に応じたグローバル座標を生成するとスポット画像２５２の位置はそれに応じて変化する。プレゼンター６１がポインティング・ジェスチャを終了するか、スクリーン画像２０１から外れたポインティング位置に対してポインティング・ジェスチャをすることで内分比を計算できなくなると、ポインティング座標計算部１０７はスクリーン画像２０１からスポット画像２５２を消す。

図１５のブロック５０１でグローバル座標計算部１０５は、コーナーの撮影個数が１と判断したときは、ブロック５５３に移行し、それ以外と判断したときはブロック５０３に移行する。グローバル座標計算部１０５は、ブロック５５３でアプリケーション実行部１１１を通じてプロジェクター５１に図１６（Ａ）に示す画像データ４０３を出力する。

画像データ４０３は、たとえば、撮影したコーナーＣｌ１に、横辺６５１ｄの方向にピクセル・サイズｑ１、縦辺６５１ａの方向にピクセル・サイズｐ１の長さをもつ矩形状のスケール・データ４６１を含む。スケール・データ４６１は、撮影したコーナーの個数にかかわらず、常に４つのコーナーに設けるようにしてもよい。

このとき、一例においてスケール・データ４６１のピクセル・サイズの割合ｐ１／ｐおよびｑ１／ｑは一定の値Ｒとする。プロジェクター５１がスクリーン面５３ａに画像データ４０３を投影すると、撮像面２８９は、スケール・データ４６１に対応するスケール画像６０３を含むスクリーン画像６０１を結像する。ブロック５５５で特徴点認識部１０３がスケール画像６０３を認識し、グローバル座標計算部１０５がスケール・データ４６１を投影した長さに対応する位置６０５、６０７のグローバル座標を計算して、スクリーン画像６０１における縦辺６５１ａ方向および横辺６５１ｄ方向の、スケール画像６０３の長さａ１、ｂ１を計算する。グローバル座標計算部１０５は、撮影していないコーナーＣｌ２、Ｃｒ２までのスクリーン画像６０１の長さａ、ｂを式（９）で計算する。

ａ=R*a1、b=R*b1 （９）
さらに、式（８）に示した、コーナーＣｌ１と位置６０５を通る直線の式と長さａからコーナーＣｌ２のグローバル座標を計算し、コーナーＣｌ１と位置６０７を通る直線の式と長さｂからコーナーＣｒ１のグローバル座標を計算する。スクリーン画像６０１が、矩形のスクリーン画像２０１または台形補正のない対称なスクリーン画像２０１ａ（図４）であれば３個のコーナーのグローバル座標から残りのグローバル座標Ｃｒ２を計算してブロック３１５（図１０）に移行する。このとき、スクリーン画像２０１ａの横辺６５１ｄと横辺６５１ｂが平行である条件と縦辺６５１ａと横辺６５１ｄまたは横辺６５１ｂの角度に基づいて、撮像面２８９の画像から残りのコーナーＣｒ２のグローバル座標を計算する。

ブロック５０３でコーナーの撮影個数が３のときは、ブロック５５１に移行してブロック５５５と同じ手順で残りのコーナーのグローバル座標を計算しブロック３１５（図１０）に移行する。このとき、歪んだスクリーン画像２０１ｂ（図４）であっても撮影した３個のコーナーがスケール画像６０３を表示しているときは、ブロック５５５と同じ手順で残りのコーナーのグローバル座標を計算することができる。歪んだスクリーン画像２０１ｂでは、投影時の拡大率が各辺の場所によって異なるため、スケール画像６０３とピクセル・サイズの倍率でスクリーン画像の辺の長さを計算すると誤差が生じる。

この場合、図１６に示すような等間隔の繰り返しパターンで構成したスケール・データ４６３をすべての辺の全体に沿って配置し、できるだけ長いスケール画像が撮影できるようにすることが望ましい。また繰り返しパターンを撮影したスケール画像から、拡大率の変化を計算して誤差を縮めることもできる。スケール画像６０３は、２個のコーナーを撮影したときにも利用できる。このとき、歪んだスクリーン画像２０１ｂ（図４）であっても残りのコーナーのグローバル座標を計算することができる。

ブロック５０５で４つのコーナーの座標を撮影したときは、それらのグローバル座標を計算してブロック３１５に移行し、コーナーの撮影個数がゼロのときはブロック５０７に移行する。４個のコーナーを撮影したときは、歪んだスクリーン画像２０１ｂであってもスケール画像６０３を利用しないで、誤差のないグローバル座標を計算することができる。

ブロック５０７でグローバル座標計算部１０５は、いずれのコーナーも撮影できないとき、またはスケール画像６０３がないスクリーン画像の１個のコーナーしか撮影できないときは、アプリケーション実行部１１１を通じて、スクリーン面５３ａに会議支援システム１００を初期化するためのプロンプトを表示する。初期化のプロンプトは、現在のノートＰＣ１０の位置姿勢では、スクリーン画像２０１のコーナーを必要な数だけ撮影できないために、少なくとも２個のコーナーを撮影できるようにプレゼンター６１に位置姿勢の変更を求めるために行う。このときの様子を、図１７を参照して説明する。

図１７において、プレゼンター６１が、利用モードで自らおよび参加者６３のポインティング・ジェスチャを撮影できるよう、ノートＰＣ１０の位置姿勢を設定したが、４つのコーナーＣｌ１〜Ｃｒ２のいずれも撮影できないとする。この場合、グローバル座標計算部１０５は、たとえば４個のコーナーとプロジェクター５１を同時に撮影できる位置姿勢７０１に変更するためのプロンプトを表示する。プロジェクター５１は、座標変換のための基準物体の一例であり特徴点５１ａを有している。また、初期化が終了したあとはプロジェクター５１とスクリーン画像２０１の位置関係は変更しないものとする。

ブロック５０９でプレゼンター６１が位置姿勢７０１に変更するとグローバル座標計算部１０５は、撮影した４個のコーナーと特徴点５１ａのグローバル座標を計算し初期化を終了する。ブロック５１１で、初期化が終了したグローバル座標計算部１０５は、ポインティング・ジェスチャが撮影できる位置にノートＰＣ１０の位置姿勢を変更するためのプロンプトを表示する。プレゼンター６１は、自らおよび参加者６３のポインティング・ジェスチャを撮影でき、かつ、特徴点５１ａが撮影できる位置姿勢７０３に変更する。ブロック５１３でグローバル座標計算部１０５は、ブロック５０９で計算したコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２のグローバル座標を特徴点５１ａのグローバル座標を基準にして位置姿勢７０３の座標系でのグローバル座標に変換する。

その後は、座標系を変換したコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２のグローバル座標と、位置姿勢７０３の座標系で計算したポインティング位置のグローバル座標から、ポインティング位置２５１ｐのピクセル座標４５１ｐを計算する。あるいは、位置姿勢７０３の座標系で計算したポインティング位置のグローバル座標を初期化のときの位置姿勢７０１の座標系に変換することでもよい。この手順は、歪んだスクリーン画像２０１ｂにも適用することができる。

上記の手順は、本発明の実施形態を説明したものであり、すべてが必須の要素ではなく順番もこれに限定するものではなく、本発明の必須の要素は特許請求の範囲に記載のとおりである。たとえば、ブロック３０７とブロック３０９の順番は入れ替えることができる。あるいは、ブロック５０７〜５１３の手順およびブロック５５３、５５５の手順は、コーナーの撮影個数を検出しないで常に実行するようにしてもよい。また、ポインティング・ジェスチャを人体の２カ所の部位に設定した特徴点で特定したが、ペンのような長い物体を利用してその特徴点を特定してもよい。

スクリーン画像２０１を例示して説明したが、本発明は、ノートＰＣ１０が生成した画像データを表示する大型のモニターに適用することもできる。また、ステレオ・カメラ２３がプロジェクター５１に画像データを出力するノートＰＣ１０に実装されている例を説明したが、ステレオ・カメラ２３をノートＰＣ１０から物理的に分離させて有線または無線で撮影データを受け取るようにしてもよい。また、スクリーン画像２０１のコーナーＣｌ１、Ｃｌ２、Ｃｒ１、Ｃｒ２を基準位置にしてピクセル座標を計算する例を示したが、コーナーに対して既知のピクセル位置に表示した４個のマーカーを基準位置にすることもできる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ ノートブック型パーソナル・コンピュータ
２３ ステレオ・カメラ
２４ 撮像面
５１ プロジェクター
５１ａ プロジェクターの特徴点
５３ スクリーン
５３ａ スクリーン面
６１ プレゼンター
６３ 参加者
１００ 会議支援システム
２０１、２０１ａ、２０１ｂ、６０１ スクリーン画像
２０３ａ、２０３ｃ スクリーン画像の縦辺
２０３ｄ、２０３ｂ スクリーン画像の横辺
２３１ ステレオ・カメラの基準位置姿勢
２３３〜２４１、７０１、７０３ ステレオ・カメラの位置姿勢
２５１ｐ ポインティング位置
２５２ スポット画像
２５３ ポインティング直線
２５５ａ 人体の特徴点（目の間）
２５５ｂ 人体の特徴点（人指し指の指先）
２８０、２８１ａ、２８１ｂ、２８３ａ、２８３ｂ、２８５ａ、２８５ｂ、２８７ａ、２８７ｂ、２８９ ステレオ・カメラの撮像面
４０１、４０３ 画像データ
４５１ｐ ポインティング位置２５１ｐに対応するピクセル座標
４５２ スポット画像データ
４６１、４６３ スケール・データ
６０３ スケール画像

Claims (26)

1. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
   前記表示画像の一部の撮影データから前記表示画像の基準位置のグローバル座標を取得するステップと、
   前記ポインティング位置に対するポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を取得するステップと、
   前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
   を有する方法。
2. 前記表示画像が、プロジェクターが投影するスクリーン画像である請求項１に記載の方法。
3. 前記基準位置が、輪郭を４辺で構成した前記表示画像の４つのコーナーである請求項１または請求項２に記載の方法。
4. 前記ピクセル座標を取得するステップが、前記４つのコーナーのグローバル座標に対する前記ポインティング位置のグローバル座標の内分比を計算するステップを含む請求項３に記載の方法。
5. 前記表示画像が矩形のときに、前記表示画像の一部の撮影データが、前記表示画像の縦辺が形成する２個のコーナーを含む請求項４に記載の方法。
6. 前記ステレオ・カメラの撮像面における前記表示画像の縦辺と横辺が形成する角度と前記表示画像のアスペクト比から前記ステレオ・カメラの前記表示画像の面に対する位置姿勢を特定して、撮影していないコーナーのグローバル座標を取得するステップを有する請求項５に記載の方法。
7. 前記表示画像の撮影しないコーナーに対するポインティング・ジェスチャの撮影データから撮影しないコーナーのグローバル座標を取得するステップを有する請求項５に記載の方法。
8. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
   ピクセル・サイズに対する所定の割合のスケール画像データを含む画像データに対応する表示画像の撮影データから前記表示画像の基準位置のグローバル座標を取得するステップと、
   前記ポインティング位置に対するポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を取得するステップと、
   前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
   を有する方法。
9. 前記基準位置のグローバル座標を取得するステップが、輪郭を４辺で構成した前記表示画像の撮影した１個のコーナーと前記スケール画像の撮影データから前記撮影したコーナーのグローバル座標と撮影しない２個のコーナーのグローバル座標を計算するステップを含む請求項８に記載の方法。
10. 前記基準位置のグローバル座標を取得するステップが、輪郭を４辺で構成した前記表示画像の撮影した２個のコーナーと前記スケール画像の撮影データから撮影しない２個のコーナーのグローバル座標を計算するステップを含む請求項８に記載の方法。
11. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャをステレオ・カメラで撮影して前記ポインティング位置を認識する方法であって、
    第１の位置姿勢の前記ステレオ・カメラが基準物体と前記表示画像の基準位置を撮影した撮影データから前記基準物体と前記基準位置のグローバル座標を取得するステップと、
    第２の位置姿勢の前記ステレオ・カメラが前記基準物体と前記ポインティング・ジェスチャを撮影した撮影データから前記基準物体と前記ポインティング・ジェスチャの特徴点のグローバル座標を取得するステップと、
    前記ポインティング位置のグローバル座標を取得するステップと、
    前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を取得するステップと
    を有する方法。
12. 前記表示画像がプロジェクターのスクリーン画像で、前記基準物体が前記プロジェクターである請求項１１に記載の方法。
13. 画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
    前記表示画像の撮影データから前記表示画像の基準位置のグローバル座標を計算するステップと、
    前記ポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を計算するステップと、
    前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
    を有する処理を実行させるためのコンピュータ・プログラム。
14. 所定のピクセル・サイズの矩形状の画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
    前記表示画像の１個の基準位置を含む撮影データから前記１個の基準位置のグローバル座標を計算するステップと、
    前記１個の基準位置のグローバル座標から撮影しない他の基準位置のグローバル座標を計算するステップと、
    前記ポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を計算するステップと、
    前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
    を有する処理を実行させるためのコンピュータ・プログラム。
15. 前記他の基準位置のグローバル座標を計算するステップが、
    撮影した前記１個の基準位置に隣接する撮影しない２個の基準位置までのピクセル・サイズに対して所定の割合のピクセル・サイズのスケール画像データを含む前記画像データを生成するステップと、
    前記スケール画像データの撮影データに基づいて、前記撮影しない２個の基準位置のグローバル座標を計算するステップと
    を含む請求項１４に記載のコンピュータ・プログラム。
16. 前記撮影した１個の基準位置のグローバル座標と前記計算した２個の基準位置のグローバル座標から残りの基準位置のグローバル座標を計算するステップ
    を有する請求項１５に記載のコンピュータ・プログラム。
17. 画像データを投影した矩形状の表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
    前記表示画像の２個の基準位置を含む撮影データから前記２個の基準位置のグローバル座標を計算するステップと、
    前記２個の基準位置のグローバル座標から撮影しない他の基準位置のグローバル座標を計算するステップと、
    前記ポインティング・ジェスチャの撮影データから前記ポインティング位置のグローバル座標を計算するステップと、
    前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
    を有する処理を実行させるためのコンピュータ・プログラム。
18. Ｙ軸が前記表示画像の法線に一致しＸ軸が前記表示画像の横辺に平行に設定された状態を前記ステレオ・カメラの基準位置姿勢としたときに、前記他の基準位置のグローバル座標を計算するステップが、
    前記３撮影データを生成したときの前記ステレオ・カメラの座標系の前記Ｘ軸廻りおよび前記Ｙ軸廻りの回転を前記基準位置姿勢まで戻した座標系に変換するステップを含む請求項１７に記載のコンピュータ・プログラム。
19. 前記基準位置姿勢の座標系に変換した前記ステレオ・カメラの撮像面の座標系において前記表示画像の縦辺と横辺の角度αを計算するステップと、
    前記角度αから前記基準位置姿勢に対するＺ軸廻りの回転角度を計算するステップと
    を有する請求項１８に記載のコンピュータ・プログラム。
20. 画像データを投影した表示画像のポインティング位置を指示するポインティング・ジェスチャを撮影したステレオ・カメラが出力する撮影データを受け取って、前記画像データを生成するコンピュータに、
    第１の位置姿勢に対応する第１の座標系の前記ステレオ・カメラが撮影した前記表示画像と特徴点を備える基準物体との撮影データから前記表示画像の基準位置と前記特徴点のグローバル座標を計算するステップと、
    第２の位置姿勢に対応する第２の座標系の前記ステレオ・カメラが撮影した前記特徴点の撮影データから前記特徴点のグローバル座標を計算するステップと、
    前記第２の座標系の前記ステレオ・カメラが撮影した前記ポインティング・ジェスチャの撮影データから前記ポインティング・ジェスチャの特徴点のグローバル座標を計算するステップと、
    前記ポインティング位置のグローバル座標を計算するステップと、
    前記基準位置のグローバル座標に対する前記ポインティング位置のグローバル座標の相対位置から前記ポインティング位置に対応する前記画像データのピクセル座標を計算するステップと
    を有する処理を実行させるためのコンピュータ・プログラム。
21. 前記第１の位置姿勢で前記ステレオ・カメラが前記表示画像の４つの基準位置を撮影する請求項２０に記載のコンピュータ・プログラム。
22. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
    ステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
    前記表示画像の基準位置の特徴点と前記ポインティング・ジェスチャの特徴点のグローバル座標を計算するグローバル座標計算部と、
    前記基準位置に対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
    前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
    前記ピクセル座標に対する所定のアクションを含む前記画像データ生成するアプリケーション実行部と
    を有するコンピュータ。
23. 前記コンピュータが前記ステレオ・カメラを実装し、かつ前記画像データを生成する携帯式コンピュータである請求項２２に記載のコンピュータ。
24. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
    ステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
    前記表示画像の２個の基準位置を含む撮影データから残りの基準位置のグローバル座標を計算し、前記ポインティング・ジェスチャの特徴点のグローバル座標から前記ポインティング位置のグローバル座標を計算するグローバル座標計算部と、
    前記基準位置に対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
    前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
    前記ピクセル座標に対する所定のアクションを含む前記画像データ生成するアプリケーション実行部と
    を有するコンピュータ。
25. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
    ステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
    前記画像データのピクセル・サイズに対する所定の割合のスケール画像データを含む前記画像データを生成し、前記表示画像の少なくとも１個の基準位置と前記スケール画像データに対応するスケール画像の撮影データから残りの基準位置のグローバル座標を計算し、前記ポインティング・ジェスチャの特徴点のグローバル座標から前記ポインティング位置のグローバル座標を計算するグローバル座標計算部と、
    前記基準位置に対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
    前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
    前記ピクセル座標に対する所定のアクションを含む前記画像データ生成するアプリケーション実行部と
    を有するコンピュータ。
26. 画像データに対応する表示画像のポインティング位置を指示するポインティング・ジェスチャの認識が可能なコンピュータであって、
    ステレオ・カメラから撮影データを受け取って特徴点を認識する特徴点認識部と、
    前記ステレオ・カメラの第１の位置姿勢で前記表示画像と基準物体を撮影してそれぞれのグローバル座標を計算し、前記ステレオ・カメラの第２の位置姿勢で前記基準物体と前記ポインティング・ジェスチャのグローバル座標を計算し、前記ポインティング位置のグローバル座標を計算するグローバル座標計算部と、
    前記基準位置に対する前記ポインティング位置の相対位置を計算するポインティング座標計算部と、
    前記相対位置に対応する前記画像データのピクセル座標を計算するピクセル座標計算部と、
    前記ピクセル座標に対する所定のアクションを含む前記画像データ生成するアプリケーション実行部と
    を有するコンピュータ。

Images