JP2019099142A

JP2019099142A - 仮想スクリーンのパラメータ推定方法及び装置

Info

Publication number: JP2019099142A
Application number: JP2018219279A
Authority: JP
Inventors: 東▲ぎょん▼ 南; Dong Kyung Nam; 孝錫黄; Hyoseok Hwang
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2017-12-06
Filing date: 2018-11-22
Publication date: 2019-06-24
Anticipated expiration: 2038-11-22
Also published as: KR20190066882A; CN109884793A; JP6980639B2; US20190172250A1; US10789762B2; KR102436730B1; EP3496041A1; CN109884793B

Abstract

【課題】仮想スクリーンのパラメータ推定方法及び装置を提供する。【解決手段】一実施形態に係る推定方法は物理パターンに対する仮想カメラの変換パラメータに基づいて仮想カメラのうち基準カメラに対する仮想カメラの第１変換パラメータを決定し、仮想パターンに対する仮想カメラの変換パラメータに基づいて基準カメラに対する仮想カメラの第２変換パラメータを決定し、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータを推定するステップを含む。【選択図】図４

Description

本発明の実施形態は、仮想スクリーンのパラメータ推定方法及び装置に関する。

ヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄｕｐｄｉｓｐｌａｙ）システムは、運転者の前方に虚像を生成し、虚像内に情報を表示して運転者に様々な情報を提供する。運転者に提供される情報は、車両の速度、ガソリンの残量、エンジンＲＰＭ（ｒｅｖｏｌｕｔｉｏｎｐｅｒｍｉｎｕｔｅ）などの計器盤情報及びナビゲーション情報を含み得る。運転者は、運転中に視線を移動しないで前方に表示された情報を容易に把握することができるため、運転の安定性が高くなる。ＨＵＤシステムは、計器盤情報及びナビゲーション情報の他にも、前方視野が良くない場合を補助するめの車線表示、工事表示、交通事故表示、道行者を示す警告表示などを運転者にＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）方式に提供する。

本発明の目的は、仮想スクリーンのパラメータ推定方法及び装置を提供することにある。

一実施形態に係る仮想スクリーンのパラメータ推定方法は、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された複数の撮影映像を物理カメラから取得するステップと、前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定するステップと、前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定するステップと、前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定するステップと、前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定するステップとを含む。

前記サイズパラメータを推定するステップは、前記第１変換パラメータと前記第２変換パラメータとの間の差を最小化する値を前記サイズパラメータで推定するステップを含み得る。

前記仮想スクリーンのパラメータ推定方法は、前記推定されたサイズパラメータに基づいて前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップをさらに含み得る。

前記仮想スクリーンのパラメータ推定方法は、前記仮想カメラに対する前記物理カメラの変換パラメータ及び前記仮想スクリーンに対する前記仮想カメラの変換パラメータに基づいて、前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップをさらに含み得る。

前記仮想スクリーンのパラメータ推定方法は、前記複数の撮影映像に基づいて前記仮想カメラに対する前記物理カメラの変換パラメータを推定するステップをさらに含み得る。

前記仮想スクリーンのパラメータ推定方法は、前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンに対する前記仮想カメラの変換パラメータを推定するステップをさらに含み得る。

他の実施形態によれば、仮想スクリーンのパラメータ推定方法は、仮想スクリーンに表示された仮想パターンを照らし、物理パターンを含む反射体が撮影された、複数の撮影映像を物理カメラから取得するステップと、前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定するステップと、前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定するステップと、前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定するステップと、前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定するステップとを含む。

一実施形態によれば、仮想スクリーンのパラメータ推定装置は、プロセッサと、前記プロセッサで読み出し可能な命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された、複数の撮影映像を物理カメラから取得し、前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定し、前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定し、前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定し、前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定する。

本発明によると、仮想スクリーンのパラメータ推定方法及び装置を提供することができる。

一実施形態に係るＡＲシステムを示す図である。一実施形態に係るキャリブレーション結果を示す図である。一実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。一実施形態に係る仮想スクリーンのパラメータを推定するシステムを示す図である。一実施形態に係る複数の撮影映像を示す図である。一実施形態に係る仮想カメラの位置を推定する過程を示す図である。一実施形態に係る変換パラメータを用いて仮想スクリーンのサイズパラメータを推定する方法を示した動作フローチャートである。一実施形態に係る物理パターンに関する相対座標及び仮想パターンに関する相対座標を示す図である。一実施形態に係るサイズパラメータごとの相対座標を示す図である。一実施形態に係るサイズパラメータに関する相対座標の間の差を示したグラフである。一実施形態に係る反射体によって示される虚像を示す図である。一実施形態に係るパターン、反射体、及び虚像間の幾何学的な関係を説明する図である。一実施形態に係るパターンを用いて物理カメラに対する仮想スクリーンの変換パラメータを推定する過程を説明する図である。一実施形態に係る物理カメラ、仮想スクリーン及び仮想カメラの間の変換関係を示す図である。一実施形態に係る物理パターンを含む反射体を示す図である。一実施形態に係るヘッドマウントディスプレイを用いた推定システムを示す図である。一実施形態に係る複数の物理カメラを用いた推定システムを示す図である。一実施形態に係る仮想スクリーンのパラメータを推定する装置を示すブロック図である。一実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。他の実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。更なる実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るＡＲシステムを示す図である。拡張現実（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ、ＡＲ）は、ユーザが見る現実世界に仮想オブジェクトをオーバラップして共に示す技術である。例えば、ＡＲは、ヘッドアップディスプレイ（ｈｅａｄｕｐｄｉｓｐｌａｙ、ＨＵＤ）、透過型ヘッドマウントディスプレイ（ｈｅａｄｍｏｕｎｔｅｄｄｉｓｐｌａｙ、ＨＭＤ）などに適用される。ＡＲシステム１００は、そのうちＨＵＤに関する実施形態を示す。

図１を参照すれば、ＡＲシステム１００は、ＡＲ光学系１１０、半透明光学素子１２０、仮想スクリーン１３０、視点追跡カメラ１４０を含む。ＡＲ光学系１１０は、光源、ディスプレイパネル、及び少なくとも１つの光学素子を含む。ディスプレイパネル及び光源によってＡＲ映像に対応する光が提供され、少なくとも１つの光学素子は、ＡＲ映像に対応する光を半透明光学素子１２０の方向に反射させる。光源としてＬＥＤ（ｌｉｇｈｔｅｍｉｔｔｉｎｇｄｉｏｄｅ）又はレーザ（ｌａｓｅｒ）が使用されてもよい。

ＡＲ光学系１１０によって提供されたＡＲ映像に対応する光により仮想スクリーン１３０が形成され、ＡＲ光学系１１０によって提供された光のうちの一部は、ユーザ前方に位置する半透明光学素子１２０に反射してユーザに提供される。半透明光学素子１２０は、車両や飛行機のウィンドウシールドであるか、又はＡＲ映像の反射目的としてウィンドウシールドとは別に提供される結合器であり得る。ユーザは、半透明光学素子１２０の前方から入る光及び半透明光学素子１２０によって反射したＡＲ光学系１１０により照射された光のうちの一部を同時に観測するため、現実オブジェクト及び仮想オブジェクトが重なってユーザにより観測される。

実施形態によれば、ＡＲシステム１００は、現実オブジェクトに対応する位置に仮想オブジェクトを表示する。例えば、ＨＵＤで車両の進行方向に関する情報、車線情報、危険物情報などが仮想オブジェクトとして現実オブジェクトに対応する位置に表示される。以下で、仮想オブジェクトを表示しようとする位置は、ターゲット位置と称される。仮想オブジェクトがターゲット位置へ正確に表示されるため、背景の３Ｄ情報、仮想スクリーン１３０のパラメータ、及びユーザの視点情報が要求される。例えば、ＡＲシステム１００はユーザの視点を推定し、ユーザの視点とターゲット位置を連結した線及び仮想スクリーン１３０との間の交差点に仮想オブジェクトを表示する。

背景に関する３Ｄ情報は、車両の前方に向かっているカメラ（図示せず）又は３Ｄセンサ（図示せず）を用いて取得される。また、ユーザの視点は、ユーザに向っている視点追跡カメラ１４０を用いて取得される。視点追跡カメラ１４０は、複数のピクセルを含むイメージセンサとして、カラー映像を撮影し、グレイスケール（ｇｒａｙｓｃａｌｅ）の映像を撮影する。仮想スクリーン１３０のパラメータとして設計値を用いてもよい。現在速度、到着時間のような基本的な運行情報を表示する場合、現実オブジェクト及び仮想オブジェクト間の整合が必須でないため、仮想スクリーン１３０のパラメータで設計値が用いられるが、設計値を用いる場合、ターゲット位置に仮想オブジェクトを正確に表示するためにはその限界がある。設計値そのものが不正確になり、設計値が正確な場合であってもＡＲシステム１００の設置過程や使用過程で仮想スクリーン１３０のパラメータが変更され得るためである。

実施形態によれば、設計値の代わりに仮想スクリーン１３０のパラメータの推定値を用いてもよい。例えば、仮想スクリーン１３０のパラメータは、サイズパラメータ及び変換パラメータを含む。サイズパラメータは、仮想スクリーン内の仮想パターンの間隔、仮想スクリーンのピクセル間隔、又は仮想スクリーンの全体の大きさに対応する。変換パラメータは、姿勢（ｐｏｓｅ）、オリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）、又は、相対座標（ｒｅｌａｔｉｖｅｃｏｏｒｄｉｎａｔｅ）に対応する。仮想スクリーン１３０の変換パラメータは、視点追跡カメラ１４０に対する仮想スクリーン１３０の変換パラメータを意味し、仮想スクリーン１３０の変換パラメータを用いて仮想スクリーン１３０の座標が視点追跡カメラ１４０の座標に変換される。

ＡＲシステム１００は、推定された仮想スクリーン１３０のパラメータを用いて仮想オブジェクトがターゲット位置に正確に表示されるようＡＲ映像をレンダリングする。仮想スクリーン１３０のパラメータは、ＡＲシステム１００の生産過程で推定されたり、又はＡＲシステム１００の設置過程で推定されたり、又はＡＲシステム１００の使用過程で推定される。一例として、ＡＲシステム１００の使用過程で仮想スクリーン１３０のパラメータが変更され得ることから、仮想スクリーン１３０のパラメータの実施形態に係る推定過程を用いて持続的に更新されることができる。

図２は、一実施形態に係るキャリブレーション結果を示す図である。図２を参照すれば、仮想スクリーン２１０及び背景２２０が重なってユーザに提供される。仮想スクリーン２１０のパラメータが正確ではない場合、イメージ２３０に示すよう、仮想オブジェクトが現実オブジェクトに整合されない状態でユーザに提供されることがある。推定装置２００は、仮想スクリーン２１０のパラメータを推定し、推定された仮想スクリーン２１０のパラメータをＡＲシステムに提供する。ＡＲシステムは、推定された仮想スクリーン２１０のパラメータを用いてＡＲ映像をレンダリングし、そのため、イメージ２４０に示すように、仮想オブジェクトが現実オブジェクトに整合された状態でユーザに提供されることができる。

実施形態によれば、推定装置２００は、反射体を用いて反射した仮想スクリーン２１０の虚像を視点追跡カメラで撮影し、仮想スクリーン２１０のパラメータを推定する。視点追跡カメラで仮想スクリーン２１０を直接撮影する場合、仮想スクリーン２１０のパラメータだけではなく、視点追跡カメラの位置も曖昧になって測定された値を直接に分析できない。推定装置２００は、反射体を用いて仮想スクリーン２１０を撮影するとき、予め知っているキャリブレーションパターンも共に撮影し、キャリブレーションパターンから視点追跡カメラの位置を推定し、推定された視点追跡カメラの位置を用いて仮想スクリーン２１０のパラメータを推定できる。

図３は、一実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。図３を参照すれば、推定装置は、ステップＳ３１０において複数の撮影映像を取得し、ステップＳ３２０において複数の撮影映像から仮想パターン及び物理パターンを検出し、ステップＳ３３０において仮想カメラの位置を推定する。複数の撮影映像は、視点追跡カメラ及び反射体を用いて取得される。仮想カメラは、視点追跡カメラが反射体によって反射した概念を示し、仮想カメラとの区分のために視点追跡カメラは、物理カメラとして称される。複数の撮影映像は、反射体の反射角度を調整しながら撮影される。したがって、反射体の反射角度ごとに複数の仮想カメラが推定され得る。

実施形態に係るパラメータ推定過程で、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを用いてもよい。推定装置は、物理パターンのサイズパラメータを予め知っているものと仮定する。例えば、推定装置は、予めサイズパラメータを知っている物理パターンに基づいて仮想カメラの位置を決定し、仮想パターンに基づいて推定された仮想カメラの位置及び決定された物理パターンに基づいた仮想カメラの位置間の差が最小化されるよう仮想スクリーンのサイズパラメータを決定できる。

ステップＳ３１０〜ステップＳ３３０については、図４〜図６を参照してより詳細に説明する。

図４は、一実施形態に係る仮想スクリーンのパラメータを推定するシステムを示す図である。図４を参照すれば、推定システム４００は、物理カメラ４１０、反射体４２０、仮想カメラ４３０、物理パターン４４０、仮想パターン４５０、及び推定装置４６０を含む。物理パターン４４０は物理平面上に存在し、仮想パターン４５０は仮想スクリーン上に存在する。推定装置４６０は、物理パターン４４０のサイズパラメータを予め知っているものと仮定する。一実施形態によれば、物理パターン４４０及び仮想パターン４５０は互いに異なる形態のパターンであり得る。図４に示す物理パターン４４０はチェスボードパターンであり、仮想パターン４５０は円形グリッドパターンのように図示されているが、チェスボードパターン及び円形グリッドパターンの他に様々なキャリブレーションパターンが物理パターン４４０及び仮想パターン４５０として用いられてもよい。

反射体４２０は、物理パターン４４０及び仮想パターン４５０を照らし、物理カメラ４１０は、物理パターン４４０及び仮想パターン４５０を照らす反射体４２０を撮影する。実際に、物理カメラ４１０により撮影されるものは物理パターン４４０の虚像及び仮想パターン４５０の虚像であるが、説明の便宜のために、物理パターン４４０の虚像が物理パターン４４０と称され、仮想パターン４５０の虚像が仮想パターン４５０と称される。物理カメラ４１０は、反射体４２０の反射角度が調整される状況で反射体４２０を撮影する。例えば、物理カメラ４１０は、第１角度の反射体４２１、第２角度の反射体４２２、及び第３角度の反射体４２３をそれぞれ撮影して撮影映像を生成する。

図５は、一実施形態に係る複数の撮影映像を示す図である。図５を参照すれば、反射体の反射角度が調整されることにより、物理パターン及び反射パターンが互いに異なる角度で撮影されている。例えば、図４に示す反射体４２１を用いて撮影映像５１０が生成され、図４に示す反射体４２２を用いて撮影映像５２０が生成され、図４に示す反射体４２３を用いて撮影映像５３０が生成される。

再び図４を参照すれば、推定装置４６０は、物理カメラ４１０から複数の撮影映像を取得する。推定装置４６０は、各撮影映像で物理パターン４４０及び仮想パターン４５０を抽出する。例えば、推定装置４６０は、各撮影映像でキャリブレーションパターンの位置及び交差点の位置を求めることができる。

推定装置４６０は、物理カメラ４１０に対応する仮想カメラ４３０を反射体４２０の反射角度ごとに推定する。仮想カメラ４３０は、反射体４２０による物理カメラ４１０の虚像に対応する。例えば、反射体４２１に基づいて仮想カメラ４３１が推定され、反射体４２２に基づいて仮想カメラ４３２が推定され、反射体４２３に基づいて仮想カメラ４３３が推定される。

前述したように、推定装置４６０は、予めサイズパラメータを知っている物理パターン４４０に基づいて仮想カメラ４３０の位置を決定し、仮想パターン４５０に基づいて推定された仮想カメラ４３０の位置、及び決定された物理パターン４４０に基づいた仮想カメラ４３０の位置間の差が最小化されるよう、仮想スクリーンのサイズパラメータを決定できる。そのうち、仮想カメラ４３０の位置を推定する過程について、図６を参照して説明する。

図６は、一実施形態に係る仮想カメラの位置を推定する過程を示す図である。推定装置は、撮影映像内物理パターンで交差点を抽出する。現実世界の物理パターン上の交差点Ｘは、撮影映像内物理パターン上の座標（ｘ、ｙ、０）に対応すると見ることができる。交差点Ｘが撮影映像に対応するイメージ平面に投影された点ｘ、及び交差点Ｘ間の関係は数式（１）に示すことができる。

数式（１）において、Ｒはパターンの回転パラメータであり、ｔはパターンの並進パラメータであり、ｉは撮影映像のインデックスであり、ｊは撮影映像内の交差点のインデックスである。また、数式（１）において、Ｋはカメラの内部パラメータであり、数式（２）に示すことができ、Ｕは補正関数として数式（３）に示すことができる。

数式（２）において、ｆ_ｘはカメラのｘ軸に対する焦点距離であり、ｆ_ｙはカメラのｙ軸に対する焦点である。ｃ_ｘとｃ_ｙは中心点の座標値であり、カメラの光軸又はカメラ座標のｚ軸とイメージ平面が接する座標のｘ値及びｙ値に該当する。

レンズを用いたカメラには歪みが発生する可能性があり、これを補正する必要がある。実施形態で数式（３）を用いて放射状歪み（ｒａｄｉａｌｄｉｓｔｏｒｔｉｏｎ）及び接線歪み（ｔａｎｇｅｎｔｉａｌｄｉｓｔｏｒｔｉｏｎ）が考慮される。数式（３）において、ｋ_１、ｋ_２は放射状歪みに関するパラメータを示し、ｋ_３、ｋ_４は接線歪みに関するパラメータを示す。また、数式（３）でｒは、√（ｘ^２＋ｙ^２）である。

数式（１）〜数式（３）に基づいて数式（４）が定義される。

数式（４）を^⌒ｍとするとき、^⌒ｍを最小化する最適化方式を用いてカメラパラメータが求められる。言い換えれば、撮影映像上の点ｘ及び実際の座標Ｘが関数Ｐによって投影された撮影映像上の点間の差を最小化してカメラパラメータが求められる。数式（４）において、ｎは撮影映像の個数であり、ｍは撮影映像内の交差点の個数である。

数式（４）を用いて各撮影映像内の交差点に関する回転パラメータＲ及び並進パラメータｔが求められる。回転パラメータＲ及び並進パラメータｔは、物理カメラに対する物理パターンの相対的な姿勢を示す。回転パラメータＲ及び並進パラメータｔに基づいて、同次座標（ｈｏｍｏｇｅｎｅｏｕｓｃｏｏｒｄｉｎａｔｅ）上で変換パラメータＴを数式（５）に示すことができる。

実際に、物理パターンは固定され、仮想カメラが移動されるものであるため、物理パターンに対する仮想カメラの変換パラメータ^＾Ｔ_ｌを数式（６）に示すことができる。

数式（６）において、ｌは仮想カメラのインデックスを示し、１ないしｎの値を有する。図６で^＾Ｔ_１ ^０は物理パターンに対する第１仮想カメラの変換パラメータを示し、^＾Ｔ_２ ^０は物理パターンに対する第２仮想カメラの変換パラメータを示す。また、図６において、Ｏは物理パターンの基準座標を示し、Ｃ_１ ^ｐないしＣ_ｎ ^ｐは基準座標Ｏに対する第１仮想カメラ〜第ｎ仮想カメラの相対座標を示す。ここで、仮想カメラのうち基準カメラが決定され、基準カメラに対する仮想カメラの変換パラメータを数式（７）に示すことができる。

例えば、座標Ｃ_１ ^ｐに対応する第１仮想カメラが基準カメラに設定され、図６に示す^＾Ｔ_２ ^１は第１仮想カメラに対する第２仮想カメラの変換パラメータを示す。

上記の図６を参照して説明したものと類似の過程を用いて、仮想パターンに対する仮想カメラの変換パラメータが決定され、これによって基準カメラに対する仮想カメラの変換パラメータが決定される。下記で物理パターンを用いて決定された基準カメラに対する仮想カメラの変換パラメータは第１変換パラメータに称し、仮想パターンを用いて決定された基準カメラに対する仮想カメラの変換パラメータは第２変換パラメータに称する。

推定装置は、撮影映像内の仮想パターンで交差点を抽出し得る。仮想スクリーンのサイズパラメータを把握する前に、仮想スクリーンの仮想パターン上の交差点Ｙの正確な値を把握することができない。仮想パターンの間隔をｄ、仮想パターンの横長さをｗ、仮想パターンの縦長さをｈ、仮想パターンの開始位置を（ｂ_ｘ、ｂ_ｙ）、仮想パターンのピクセルの大きさをｅとすれば、二面の交差点Ｙは数式（８）に定義される。

数式（８）において、ｉは撮影映像のインデックスを示し、ｊは交差点のインデックスを示し、ＷはＹｉｊのｘ番目の順序を示し、ＨはＹ_ｉｊのｙ番目の順序を示す。Ｗ及びＨは、数式（９）及び（１０）に定義される。数式（８）ｅを除いた残りは予め定義されている。

ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ）方法によって仮想カメラに対する仮想パターンの姿勢が推定される。まず、仮想カメラに対する仮想パターンの姿勢をＲ’ｉ、ｔ’ｉにより定義できる。ここで、ｉは撮影映像、又は該当の撮影映像に示す仮想パターンのインデックスを示す。この姿勢は、仮想パターンの座標に対応するため、この姿勢を数式（１１）に示すよう、仮想パターンに対する仮想カメラの姿勢に変換する。

数式（１１）において、ｌは仮想カメラのインデックスを示す。数式（５）について説明したように、同次座標上の変換パラメータを数式（１２）に示すことができる。

また、数式（７）について説明したように、仮想カメラのうち基準カメラが決定され、基準カメラに対する仮想カメラの変換パラメータを数式（１３）に示すことができる。

したがって、数式（６）及び数式（７）に基づいて物理パターンに対する仮想カメラの変換パラメータ^＾Ｔ及び基準カメラに対する仮想カメラの第１変換パラメータＴ_ｎ ^１が決定され、数式（１２）及び数式（１３）に基づいて仮想パターンに対する仮想カメラの変換パラメータ^＾Ｔ^’及び基準カメラに対する仮想カメラの第２変換パラメータＴ^’ _ｎ ^１が決定される。推定装置は、変換パラメータ^＾Ｔに基づいて第１変換パラメータＴ_ｎ ^１を決定し、変換パラメータ^＾Ｔ^’に基づいて第２変換パラメータＴ^’ _ｎ ^１を決定する。

再び図３を参照すれば、推定装置は、ステップＳ３４０において、仮想スクリーンのサイズパラメータを推定する。推定装置は、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータを推定する。例えば、推定装置は、第１変換パラメータに関する相対座標及び第２変換パラメータに関する相対座標を決定する。第２変換パラメータに関する相対座標は、仮想スクリーンのサイズパラメータによって変わる。物理パターンを用いた仮想カメラの位置及び仮想パターンを用いた仮想カメラ位置は同じ位置であるため、この点を用いて仮想スクリーンのサイズパラメータを推定することができる。

一実施形態によれば、推定装置は、第１変換パラメータと第２変換パラメータとの間の差を最小化する値をサイズパラメータとして決定できる。これについて、数式（１４）に示すことができる。

数式（１４）においてＴ_ｉ ^１は第１変換パラメータを示し、Ｔ^’ _ｉ ^１は第２変換パラメータを示し、ｎは撮影映像の数を示し、ｅはサイズパラメータを示す。推定装置は、数式（１４）に基づいてサイズパラメータを推定する。仮想スクリーンのサイズパラメータが推定されることにより、仮想カメラに対する仮想スクリーンの姿勢が共に推定され得る。

ステップＳ３４０については、図７〜図１０を参照してより詳細に説明する。

図７は、一実施形態に係る変換パラメータを用いて仮想スクリーンのサイズパラメータを推定する方法を示した動作フローチャートである。図７を参照すれば、推定装置は、ステップＳ７１０において、候補サイズパラメータを設定する。候補サイズパラメータは予め決定した値に設定されてもよく、任意の値に設定される。推定装置は、ステップＳ７２０において、候補サイズパラメータに基づいて第２変換パラメータを決定する。推定装置は、ステップＳ７３０において、第１変換パラメータ及び候補サイズパラメータに基づいて決定された第２変換パラメータの間の差を決定する。推定装置は、ステップＳ７４０において、決定された差と閾値とを比較する。閾値は、予め決定されてもよい。推定装置は、ステップＳ７４０の比較結果に基づいて、候補サイズパラメータをサイズパラメータで推定できる。推定装置は、ステップＳ７４０の比較結果、決定された差が閾値よりも大きければ、ステップＳ７５０において、候補サイズパラメータを変更してステップＳ７２０を再び実行し、ステップＳ７４０の比較結果、決定された差が閾値よりも小さければ、ステップＳ７６０において、候補サイズパラメータをサイズパラメータで推定する。

図８は、一実施形態に係る物理パターンに関する相対座標及び仮想パターンに関する相対座標を示す図である。第１変換パラメータは、物理パターンに関する相対座標８１１に示し、第２変換パラメータは、仮想パターンに関する相対座標８１２に示す。物理パターンに関する相対座標８１１及び仮想パターンに関する相対座標８１２の分布は、サイズパラメータのキャリブレーションの有無に応じて互いに異なるよう示されてもよい。物理パターンを用いた仮想カメラの位置及び仮想パターンを用いた仮想カメラ位置は同じ位置であるため、サイズパラメータのキャリブレーションが完了した場合、物理パターンに関する相対座標８１１及び仮想パターンに関する相対座標８１２は、互いに対応する位置を示す。分布８１０は、サイズパラメータがキャリブレーションされない状態を示し、分布８２０は、サイズパラメータがキャリブレーションされた状態を示す。

図９は、一実施形態に係るサイズパラメータごとの相対座標を示す図であり、図１０は、一実施形態に係るサイズパラメータに関する相対座標の間の差を示したグラフである。

図９を参照すれば、仮想スクリーンのサイズパラメータがＫ１ないしＫ６である場合に関し、物理パターンに関する相対座標及び仮想パターンに関する相対座標が図示されている。図９において、物理パターンに関する相対座標は実線に表示し、仮想パターンに関する相対座標は点線で表示している。物理パターンのサイズパラメータは予め知っているため、物理パターンに関する相対座標は固定され、仮想スクリーンのサイズパラメータの変化に応じて仮想パターンに関する相対座標の位置は変化する。例えば、仮想スクリーンのサイズパラメータの変化に応じて仮想パターンに関する相対座標の位置は、物理パターンに関する相対座標にアクセスするが再び遠くなり得る。

図１０において、ｘ軸は仮想スクリーンのサイズパラメータを示し、ｙ軸は物理パターンに関する相対座標及び仮想パターンに関する相対座標の間の差を示す。推定装置は、物理パターンに関する相対座標を代表する第１値を算出し、仮想パターンに関する相対パターンを代表する第２値を算出し、第１値及び第２値間の差を物理パターンに関する相対座標及び仮想パターンに関する相対座標の間の差として決定する。例えば、相対座標の代表値は、相対座標それぞれの基準座標の平均値として算出される。一例として、相対座標それぞれの原点の座標の平均値に基づいて相対座標に関する代表値が決定される。

図１０を参照すれば、物理パターンに関する相対座標及び仮想パターンに関する相対座標の間の差値は、仮想スクリーンのサイズパラメータがＫ４であるとき最小である。図９において、仮想スクリーンのサイズパラメータがＫ４であるとき、物理パターンに関する相対座標及び仮想パターンに関する相対座標が互いに対応する位置に示されるため、物理パターンに関する相対座標及び仮想パターンに関する相対座標の間の差が最小になる。推定装置は、候補サイズパラメータを調整しながら差値が最小となる候補サイズパラメータをサイズパラメータで推定したり、又は差値が閾値未満になる候補サイズパラメータをサイズパラメータで推定する。

再び図３を参照すれば、推定装置は、ステップＳ３５０において、仮想スクリーンの変換パラメータを推定する。以下、仮想スクリーンの変換パラメータは、物理カメラに対する仮想スクリーンの変換パラメータを意味する。仮想スクリーンの変換パラメータは、姿勢、オリエンテーション又は相対座標に対応する。

一実施形態によれば、推定装置は、ステップＳ３４０を用いて推定されたサイズパラメータに基づいて仮想スクリーンの変換パラメータを推定する。サイズパラメータのキャリブレーションが完了した場合、仮想パターンは物理パターンと同じ役割を果たすため、仮想パターンを用いて仮想スクリーンの変換パラメータが推定される。例えば、推定装置は、撮影映像に基づいてパターン及び反射体の間の幾何学的な関係を推定し、推定された幾何学的な関係に基づいてパターン及び撮影映像内のパターンの虚像の間の投影誤差を算出する。推定装置は、投影誤差が最小化されるよう、物理カメラに対する仮想スクリーンの変換パラメータを推定する。ここで、パターンは、実施形態により物理パターン又は仮想パターンであってもよい。本実施形態は、後で図１１〜図１３を参照してより詳細に説明する。

他の実施形態によれば、推定装置は、物理カメラ、仮想カメラ、及び仮想スクリーン間の変換関係に基づいて仮想スクリーンの変換パラメータを推定する。例えば、推定装置が仮想カメラに対する物理カメラの変換パラメータ及び仮想スクリーンに対するカメラの変換パラメータを知っている場合、この変換パラメータに基づいて物理カメラに対する仮想スクリーンの変換パラメータを推定し得る。

まず、図３に示すステップＳ３４０において、仮想スクリーンのサイズパラメータが推定されることで、仮想カメラに対する仮想スクリーンの姿勢が共に推定され得る。したがって、推定装置は、図３に示すステップＳ３４０で第１変換パラメータ及び第２変換パラメータに基づいて仮想カメラに対する仮想スクリーンの変換パラメータを推定できる。また、推定装置は、物理パターン及び反射体間の幾何学的な関係に基づいて仮想カメラに対する物理カメラの変換パラメータを推定したり、又は物理パターンを含む反射体を用いて仮想カメラに対する物理カメラの変換パラメータを推定する。本実施形態は、後で図１４を参照してより詳細に説明する。

図１１は、一実施形態に係る反射体によって示される虚像を示す図である。推定装置は、撮影映像に基づいて虚像の位置を推定する。ここで、虚像は、物理パターンが反射体によって反射したものであるか、又は仮想パターンが反射体によって反射したものである。虚像の数は撮影映像の数に対応する。

図１２は、一実施形態に係るパターン、反射体及び虚像間の幾何学的な関係を説明する図である。図１２を参照すれば、推定されたパターン１２２０、反射体１２３０及び虚像１２４０間の幾何学的な関係が図示されている。パターン１２２０は、実施形態により物理パターン又は仮想パターンであってもよい。推定装置は、仮想スクリーンの候補変換パラメータに基づいてパターン１２２０の特徴点を虚像１２４０に投影する。仮想スクリーンの候補変換パラメータが真に近いほど、仮想スクリーンの変換パラメータにより投影された特徴点と虚像１２４０の対応点間の距離は近づく。推定装置は、候補変換パラメータを調整しながら特徴点及び対応点間の距離が近くなることが確認される。

推定装置は、物理カメラ１２１０の外部パラメータを用いて虚像１２４０及び物理カメラ１２１０間の姿勢を知っているため、物理カメラ１２１０と虚像１２４０の位置を特定できる。パターン１２２０の位置は、候補変換パラメータの初期値により決定され、反射体１２３０の位置は、パターン１２２０と虚像１２４０の中央に決定される。反射体１２３０とパターン１２２０がなしている角度と反射体１２３０と虚像１２４０がなしている角度は同一である。したがって、パターン１２２０、反射体１２３０、及び虚像１２４０間の幾何学的な関係が推定され得る。

推定装置は、パターン１２２０、反射体１２３０及び虚像１２４０間の幾何学的な関係に基づいてパターン１２２０及び虚像１２４０間の投影誤差を算出する。パターン１２３０の正規化されたノーマルベクトルｎ_ｍｉは数式（１５）に示すことができる。

数式（１５）において、⁻ｎ（バーｎ）はパターン１２２０のノーマルベクトルであり、ｎ_ｉは虚像１２４０のノーマルベクトルである。パターン１２２０の特徴点⁻Ｘ_ｊ（バーＸ_ｊ）を反射体１２３０のノーマル方向であるｎ_ｍｉにｄ_ｉｊだけ移動する場合、⁻Ｘ_ｊはＸ_ｉｊの位置に投影される。ｄ_ｉｊは数式（１６）のように示すことができる。

また、先に説明された特徴点の投影は数式（１７）に示すことができる。

投影誤差は、パターン１２２０の特徴点⁻Ｘ_ｊを投影したｔ_ｉｊ（⁻Ｘ_ｊ）に対応するｉ番目の虚像１２４０の特徴点⁻Ｘ_ｉｊとのユークリッド距離を示す。特徴点⁻Ｘ_ｊを全ての虚像に投影した誤差の平均Ｅ_ｍは数式（１８）に示すことができる。

推定装置は、Ｅ_ｍが最小化される候補変換パラメータを変換パラメータとして決定し得る。例えば、候補変換パラメータの初期値で任意に値を変更して取得したＥ_ｍが初期値によるＥ_ｍに比べて小さければ、候補変換パラメータは、他の値に更新される。推定装置は、候補変換パラメータの変動が発生しないまで、このような過程を繰り返して最終的な変換パラメータを求めることができる。

図１３は、一実施形態に係るパターンを用いて物理カメラに対する仮想スクリーンの変換パラメータを推定する過程を説明する図である。図１３において、パターン１３２０、反射体１３３１、１３３２、１３３３及び虚像１３４１、１３４２、１３４３に基づいて求めた⁻Ｘ_１Ｊ（バーＸ_１Ｊ）、⁻Ｘ_２Ｊ（バーＸ_２Ｊ）及び⁻Ｘ_３Ｊ（バーＸ_３Ｊ）と^〜Ｘ_Ｊの誤差が最も少ない候補変換パラメータが最終的な変換パラメータに決定される。

パターン１３２０が仮想パターンである場合、決定された変換パラメータは、物理カメラ１３１０に対する仮想スクリーンの変換パラメータであってもよい。又は、パターン１３２０が物理パターンである場合、決定された変換パラメータは物理カメラ１３１０に対する物理平面の変換パラメータであってもよい。推定装置は、物理カメラ１３１０に対する物理平面の変換パラメータを用いて仮想カメラに対する物理カメラ１３１０の変換パラメータを推定する。推定装置は、仮想カメラに対する物理カメラ１３１０の変換パラメータ及び仮想スクリーンに対する仮想カメラの変換パラメータに基づいて、物理カメラ１３１０に対する仮想スクリーンの変換パラメータを推定し得る。

図１４は、一実施形態に係る物理カメラ、仮想スクリーン、及び仮想カメラの間の変換関係を示す図である。図１４を参照すれば、推定装置は、仮想カメラに対する物理カメラの変換パラメータＴ_ｐｖ及び仮想スクリーンに対する仮想カメラの変換パラメータＴ_ｖｓに基づいて、物理カメラに対する仮想スクリーンの変換パラメータＴ_ｐｓを推定できる。

一実施形態によれば、推定装置は、図１１〜図１３を参照して説明したように、物理パターン及び反射体間の幾何学的な関係に基づいて仮想カメラに対する物理カメラの変換パラメータを推定し、図３に示すステップＳ３４０で、第１変換パラメータ及び第２変換パラメータに基づいて仮想カメラに対する仮想スクリーンの変換パラメータを推定し得る。

他の実施形態によれば、推定装置は、物理パターンを含む反射体を用いて仮想カメラに対する物理カメラの変換パラメータを推定し、図３に示すステップＳ３４０で、第１変換パラメータ及び第２変換パラメータに基づいて仮想カメラに対する仮想スクリーンの変換パラメータを推定し得る。

図１５は、一実施形態に係る物理パターンを含む反射体を示す図である。図１５を参照すれば、反射体１５００は、反射領域１５１０及び物理パターン１５２０を含む。反射体１５００は反射領域１５１０を用いて仮想パターンを照らし得る。推定装置は、物理パターン１５２０のサイズパラメータを予め知っていることができる。推定装置は、物理パターン１５２０を用いて物理カメラに対する反射体１５００の変換パラメータを推定し、物理カメラに対する反射体１５００の変換パラメータに基づいて物理カメラ及び反射体１５００間の幾何学的な関係、及び仮想カメラ及び反射体１５００間の幾何学的な関係を推定する。推定装置は、物理カメラ及び反射体１５００間の幾何学的な関係、及び仮想カメラ及び反射体１５００間の幾何学的な関係に基づいて仮想カメラに対する物理カメラの変換パラメータを推定できる。

図１６は、一実施形態に係るヘッドマウントディスプレイを用いた推定システムを示す図である。ヘッドマウントディスプレイ１６２０は、スマートメガネのように、ユーザの頭に固定されてＡＲ環境を提供する機器であって、仮想オブジェクトを現実オブジェクトにオーバラップしてユーザの前方に示すことができる。推定装置は、物理パターン１６３０及び仮想パターン１６４０を用いて物理カメラ１６１０に対する仮想スクリーンの変換パラメータを推定する。その他に、推定装置の動作には、図１〜図１５、及び図１７〜図２１の内容が適用され得る。図１７は、一実施形態に係る複数の物理カメラを用いた推定システムを示す図である。先の実施形態では、複数の撮影映像を取得するために反射体が使用されたが、図１７に示す実施形態では、反射体を用いることなく、複数の物理カメラ１７１０を用いて複数の撮影映像が取得される。推定装置は、物理パターン１７２０及び仮想パターン１７３０を用いて複数の物理カメラ１７１０のうち少なくとも１つに対する仮想スクリーンの変換パラメータを推定できる。その他に、推定装置の動作には、図１〜図１６、及び図１８〜図２１の内容が適用され得る。

図１８は、一実施形態に係る仮想スクリーンのパラメータを推定する装置を示すブロック図である。図１８を参照すれば、推定装置１８００は、カメラ１８１０、ＡＲ光学系１８２０、プロセッサ１８３０、及びメモリ１８４０を含む。カメラ１８１０は、複数のピクセルを含むイメージセンサであって、カラー映像を撮影したりグレイスケールの映像を撮影する。カメラ１８１０の撮影映像は、プロセッサ１８３０及びメモリ１８４０のうち少なくとも１つに提供される。ＡＲ光学系１８２０は、光源、ディスプレイパネル及び少なくとも１つの光学素子を含む。ディスプレイパネル及び光源によってＡＲ映像に対応する光が提供され、少なくとも１つの光学素子は、ＡＲ映像に対応する光を半透明光学素子の方向に反射させ得る。光源としてＬＥＤ又はレーザが使用されてもよい。ＡＲ光学系１８２０によって提供されたＡＲ映像に対応する光によって仮想スクリーンが形成され、ＡＲ光学系１８２０によって提供された光のうちの一部は、ユーザ前方に位置する半透明光学素子に反射してユーザに提供される。

メモリ１８４０は、プロセッサ１８３０で読み出し可能な命令語を含む。命令語がプロセッサ１８３０で実行されれば、プロセッサ１８３０は、仮想スクリーンのパラメータを推定するための動作を行ってもよい。例えば、プロセッサ１８３０は、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された、複数の撮影映像を物理カメラから取得し、物理カメラに対応する仮想カメラを反射体の反射角度ごとに推定し、物理パターンに対する仮想カメラの変換パラメータに基づいて、仮想カメラのうち基準カメラに対する仮想カメラの第１変換パラメータを決定し、仮想パターンに対する仮想カメラの変換パラメータに基づいて、基準カメラに対する仮想カメラの第２変換パラメータを決定し、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータを推定する。その他に、推定装置１８００には、図１〜図１７、及び図１９〜図２１の内容が適用され得る。

図１９は、一実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。図１９を参照すれば、ステップＳ１９１０において、推定装置は、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された、複数の撮影映像を物理カメラから取得する。ステップＳ１９２０において、推定装置は、物理カメラに対応する仮想カメラを反射体の反射角度ごとに推定する。ステップＳ１９３０において、推定装置は、物理パターンに対する仮想カメラの変換パラメータに基づいて、仮想カメラのうち基準カメラに対する仮想カメラの第１変換パラメータを決定する。ステップＳ１９４０において、推定装置は、仮想パターンに対する仮想カメラの変換パラメータに基づいて、基準カメラに対する仮想カメラの第２変換パラメータを決定する。ステップＳ１９５０において、推定装置は、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータを推定する。ステップＳ１９６０において、推定装置は、サイズパラメータに基づいて物理カメラに対する仮想スクリーンの変換パラメータを推定する。その他に、仮想スクリーンのパラメータを推定する方法には図１〜図１８の内容が適用され得る。

図２０は、他の実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。図２０を参照すれば、ステップＳ２０１０において、推定装置は、物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された、複数の撮影映像を物理カメラから取得する。ステップＳ２０２０において、推定装置は、物理カメラに対応する仮想カメラを反射体の反射角度ごとに推定する。ステップＳ２０３０において、推定装置は、複数の撮影映像に基づいて仮想カメラに対する物理カメラの変換パラメータを推定する。ステップＳ２０４０において、推定装置は、物理パターンに対する仮想カメラの変換パラメータに基づいて、仮想カメラのうち基準カメラに対する仮想カメラの第１変換パラメータを決定する。ステップＳ２０５０において、推定装置は、仮想パターンに対する仮想カメラの変換パラメータに基づいて、基準カメラに対する仮想カメラの第２変換パラメータを決定する。ステップＳ２０６０において、推定装置は、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータ及び仮想スクリーンに対する仮想カメラの変換パラメータを推定する。ステップＳ２０７０において、推定装置は、仮想カメラに対する物理カメラの変換パラメータ及び仮想スクリーンに対する仮想カメラの変換パラメータに基づいて、物理カメラに対する仮想スクリーンの変換パラメータを推定する。その他に、仮想スクリーンのパラメータを推定する方法については、図１〜図１８に示す内容が適用され得る。

図２１は、更なる実施形態に係る仮想スクリーンのパラメータを推定する方法を示した動作フローチャートである。図２１を参照すれば、ステップＳ２１１０において、推定装置は、仮想スクリーンに表示された仮想パターンを照らし、物理パターンを含む反射体が撮影された、複数の撮影映像を物理カメラから取得する。ステップＳ２１２０において、推定装置は、物理カメラに対応する仮想カメラを反射体の反射角度ごとに推定する。ステップＳ２１３０において、推定装置は、物理パターン及び反射体間の幾何学的な関係に基づいて仮想カメラに対する物理カメラの変換パラメータを推定する。ステップＳ２１４０において、推定装置は、物理パターンに対する仮想カメラの変換パラメータに基づいて、仮想カメラのうち基準カメラに対する仮想カメラの第１変換パラメータを決定する。ステップＳ２１５０において、推定装置は、仮想パターンに対する仮想カメラの変換パラメータに基づいて、基準カメラに対する仮想カメラの第２変換パラメータを決定する。ステップＳ２１６０において、推定装置は、第１変換パラメータ及び第２変換パラメータに基づいて仮想スクリーンのサイズパラメータ及び仮想スクリーンに対する仮想カメラの変換パラメータを推定する。ステップＳ２１７０において、推定装置は、仮想カメラに対する物理カメラの変換パラメータ及び仮想スクリーンに対する仮想カメラの変換パラメータに基づいて、物理カメラに対する仮想スクリーンの変換パラメータを推定する。その他に、仮想スクリーンのパラメータを推定する方法については、図１〜図１８に示す内容が適用され得る。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

Claims

物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された複数の撮影映像を物理カメラから取得するステップと、
前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定するステップと、
前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定するステップと、
前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定するステップと、
前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定するステップと、
を含む、仮想スクリーンのパラメータ推定方法。
前記サイズパラメータを推定するステップは、前記第１変換パラメータと前記第２変換パラメータとの間の差を最小化する値を前記サイズパラメータで推定するステップを含む、請求項１に記載の仮想スクリーンのパラメータ推定方法。
前記サイズパラメータを推定するステップは、
候補サイズパラメータに基づいて前記第２変換パラメータを決定するステップと、
前記第１変換パラメータ及び前記候補サイズパラメータに基づいて決定された前記第２変換パラメータの間の差を決定するステップと、
前記決定された差と閾値とを比較するステップと、
前記比較結果に基づいて前記候補サイズパラメータを前記サイズパラメータで推定するステップと、
を含む、請求項１に記載の仮想スクリーンのパラメータ推定方法。
前記推定されたサイズパラメータに基づいて前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップをさらに含む、請求項１ないし３のうち何れか一項に記載の仮想スクリーンのパラメータ推定方法。
前記仮想スクリーンの変換パラメータを推定するステップは、
前記複数の撮影映像に基づいて前記仮想パターン及び前記反射体間の幾何学的な関係を推定するステップと、
前記幾何学的な関係に基づいて、前記仮想パターン及び前記複数の撮影映像内の前記仮想パターンの虚像の間の投影誤差を算出するステップと、
前記投影誤差が最小化されるよう、前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップと、
を含む、請求項４に記載の仮想スクリーンのパラメータ推定方法。
前記仮想カメラに対する前記物理カメラの変換パラメータ及び前記仮想スクリーンに対する前記仮想カメラの変換パラメータに基づいて、前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップをさらに含む、請求項１ないし５のうち何れか一項に記載の仮想スクリーンのパラメータ推定方法。
前記複数の撮影映像に基づいて前記仮想カメラに対する前記物理カメラの変換パラメータを推定するステップをさらに含む、請求項６に記載の仮想スクリーンのパラメータ推定方法。
前記仮想カメラに対する前記物理カメラの変換パラメータを推定するステップは、
前記複数の撮影映像に基づいて前記物理パターン及び前記反射体間の幾何学的な関係を推定するステップと、
前記幾何学的な関係に基づいて、前記物理パターン及び前記複数の撮影映像内の前記物理パターンの虚像の間の投影誤差を算出するステップと、
前記投影誤差が最小化されるよう、前記仮想カメラに対する前記物理カメラの変換パラメータを推定するステップと、
をさらに含む、請求項７に記載の仮想スクリーンのパラメータ推定方法。
前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンに対する前記仮想カメラの変換パラメータを推定するステップをさらに含む、請求項６に記載の仮想スクリーンのパラメータ推定方法。
前記複数の撮影映像は、前記反射体の反射角度を調整しながら撮影される、請求項１ないし９のうち何れか一項に記載の仮想スクリーンのパラメータ推定方法。
仮想スクリーンに表示された仮想パターンを照らし、物理パターンを含む反射体が撮影された複数の撮影映像を物理カメラから取得するステップと、
前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定するステップと、
前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定するステップと、
前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定するステップと、
前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定するステップと、
を含む、仮想スクリーンのパラメータ推定方法。
前記仮想カメラに対する前記物理カメラの変換パラメータ及び前記仮想スクリーンに対する前記仮想カメラの変換パラメータに基づいて、前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定するステップをさらに含む、請求項１１に記載の仮想スクリーンのパラメータ推定方法。
前記物理カメラ及び前記反射体間の幾何学的な関係に基づいて、前記仮想カメラに対する前記物理カメラの変換パラメータを推定するステップをさらに含む、請求項１２に記載の仮想スクリーンのパラメータ推定方法。
前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンに対する前記仮想カメラの変換パラメータを推定するステップをさらに含む、請求項１２に記載の仮想スクリーンのパラメータ推定方法。
請求項１ないし１４のいずれか一項に記載の方法を実行するための命令語を含む１つ以上のプログラムを格納したコンピュータで読み出し可能な格納媒体。
プロセッサと、
前記プロセッサで読み出し可能な命令語を含むメモリと、
を含み、
前記命令語が前記プロセッサで実行されれば、前記プロセッサは、
物理平面に表示された物理パターン及び仮想スクリーンに表示された仮想パターンを照らす反射体が撮影された、複数の撮影映像を物理カメラから取得し、
前記物理カメラに対応する仮想カメラを前記反射体の反射角度ごとに推定し、
前記物理パターンに対する前記仮想カメラの変換パラメータに基づいて、前記仮想カメラのうち基準カメラに対する前記仮想カメラの第１変換パラメータを決定し、
前記仮想パターンに対する前記仮想カメラの変換パラメータに基づいて、前記基準カメラに対する前記仮想カメラの第２変換パラメータを決定し、
前記第１変換パラメータ及び前記第２変換パラメータに基づいて前記仮想スクリーンのサイズパラメータを推定する、仮想スクリーンのパラメータ推定装置。
前記プロセッサは、前記第１変換パラメータと前記第２変換パラメータとの間の差を最小化する値を前記サイズパラメータで推定する、請求項１６に記載の仮想スクリーンのパラメータ推定装置。
前記プロセッサは、前記推定されたサイズパラメータに基づいて前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定する、請求項１６又は１７に記載の仮想スクリーンのパラメータ推定装置。
前記プロセッサは、前記仮想カメラに対する前記物理カメラの変換パラメータ及び前記仮想スクリーンに対する前記仮想カメラの変換パラメータに基づいて、前記物理カメラに対する前記仮想スクリーンの変換パラメータを推定する、請求項１６に記載の仮想スクリーンのパラメータ推定装置。
前記複数の撮影映像は、前記反射体の反射角度を調整しながら撮影される、請求項１６ないし１９のうち何れか一項に記載の仮想スクリーンのパラメータ推定装置。