JP2001142604A

JP2001142604A - オブジェクト検証方法及び拡張現実感ディスプレイシステム

Info

Publication number: JP2001142604A
Application number: JP2000253690A
Authority: JP
Inventors: Steven J Harrington; ジェイ．ハリントンスティーブン
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1999-09-22
Filing date: 2000-08-24
Publication date: 2001-05-25
Anticipated expiration: 2020-08-24
Also published as: JP4663077B2; US6898307B1

Abstract

(57)【要約】【課題】合成画像と現実の画像とを重ねて、テキスト
及び/又は画像を有する文書表示とするための拡張現実
感ディスプレイシステムの提供。【解決手段】システム画像内の所定の基準フレーム
（８）の存在を検証するための拡張現実感ディスプレイ
システムは、システムのビュー平面内に配置された現実
のアイテム（８）と、ビュー平面から、所定の基準フレ
ームと関連づけられた現実のアイテムの特徴を識別する
ための感知装置と、ビュー平面内の現実のアイテムの寸
法を決定し、ビュー平面に対する現実のアイテムの対応
する寸法的同一性及び位置を計算し、前記寸法的同一性
及び位置が所定の基準フレームと対応するか否かを検証
するコントローラ（１８）と、を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的には、表示
される文書を実際にプリントせずに、電子文書のプリン
トされたバージョンを保持するような錯覚を与えるため
に、画像及び/又はテキストの仮想表示を用いて、ペー
ジなどの現実世界のアイテムを見て対話的に操作するた
めの方法及び装置に関する。拡張現実感(augmented-rea
lity)では、めがね、ゴーグル、又はヘルメットに装着
したディスプレイといったある形態の物理的ディスプレ
イを用いて、コンピュータ生成画像をユーザの現実世界
のビュー（view）に投影したり重ね合わせる。このシス
テムは、ビューアの画像をリアルタイムで解析し、実際
のビューと対応するようにコンピュータ生成画像を調整
する。そのような対話的操作は、紙などの実在するアイ
テムの感触及び機能（紙を持つ、紙に書く）を、電子文
書の機能（動的、対話式の）と組み合わせる。しかしな
がら、本発明は、例えば、文書を表示する以外の他の目
的で、類似の画像形成方法が他の現実のアイテムと好適
に関連づけられているような、他の環境での使用に、容
易に適応可能であることは、当業者には理解されるであ
ろう。

【０００２】

【従来の技術】ＰＣワークステーションの遍在的な使用
とワールドワイドウェブの能力により、電子文書の使用
並びにハイパーリンク及びビデオなどの動的な要素が含
まれるようになってきた。これらの電子文書は、用紙プ
リントの静的要件に適合しないことが多い。しかし、人
々は依然として、長い文書を読むには紙の方を好むとと
もに、紙は容易に注釈づけでき、持ち運べる。静的な紙
とＣＲＴやＬＣＤディスプレイの動的な能力との望まし
い特性を組みあわせた表示機構が必要である。その目標
に向けた研究としては、持ち運びのできる文書読取り装
置(Portable Document Reader)及び電子用紙(Electric
Paper)に関する研究が挙げられる。本発明は、それとは
別の、拡張現実感の概念に基づく手法に関する。

【０００３】拡張現実感では、ビデオカメラを用いて、
コンピュータにユーザが見ているのと同じビューを提供
でき、そのビューにコンピュータ生成画像が重ねられ
る。これは、完全合成のコンピュータ生成環境にユーザ
が没入する仮想現実感ではない。むしろ、拡張現実感と
は、現実世界の日常的なオブジェクトに、合成されたコ
ンピュータ生成画像を重ねる、といった組み合わせであ
る。

【０００４】拡張現実感表示システムは公知であるが、
その用途及び有用性は限られていた。特に、ビデオカメ
ラによって識別される現実の部分は、主に単一設定の固
定されたビューに限られていた。この設定は予め決めら
れており、表示可能なものやカメラの画像から識別可能
なものに極めて限られている。更に、この制御された設
定に表示できるものも、通常は単一画像だけというに限
定されており、望ましくない。ディスプレイとの対話は
本質的に知られていない。

【０００５】人々が、従来の紙の出版の代わりとして電
子マルチメディア出版にますます慣れてくるにつれて、
電子ディスプレイを見ることに関して快適かつ便利で容
易に制御可能な、ユーザ環境において表示画像の自由
度、多様性及び品質を高めるために、より一層便利で改
良された対話式制御が実質的に必要となる。電子出版用
の公知のアプリケーションプログラムは、拡張現実感表
示システムとの互換性がない。そのようなプログラムで
は、ユーザによる命令用の、マウス、キーボード又は押
ボタン表示を含む命令処理が、通常使われる。上記のよ
うに考えた場合、改良された対話式表示スキーム用に、
拡張現実感の設定における便利なユーザのコマンド、即
ち、用紙の操作、手及び指のジェスチャ、又は選択され
た音声コマンドを、リアルタイム処理設定で、認識して
変換できるアプリケーションプログラムが特に必要であ
る。

【０００６】拡張現実感ディスプレイシステムに関して
解決を要するもうひとつの特別な問題は、画像のビュー
平面(view plane)内の特定の予め選択されたオブジェク
トを認識するための信頼できるシステムである。例え
ば、ユーザが、拡張（現実感）ディスプレイの基準面と
して１枚の用紙を用いることを意図する場合、画像内の
その用紙と共通する特徴を有する他のオブジェクトか
ら、その用紙を区別することは、或一つの問題となる。
ビュー平面を制御して、１枚の用紙の背後に識別可能な
背景を与えることができれば、識別問題は簡単にでき
る。しかし、机上や作業面でよくあるように、背景が異
なるアイテム、即ちデスクパッド、封筒、ファイルフォ
ルダー、コーヒーカップ、或いはユーザのシャツの袖口
までもが集まったものである場合、その全てが直線的な
エッジ及びコーナーを有するものとしてビュー平面に出
現し得るものであり、特定の用紙を識別する現実世界の
事柄は容易に理解できる。より具体的に言えば、この問
題は、ビュー平面内で見られる用紙のページと共通する
二次元の特徴を有する画像を、対応する三次元オブジェ
クトに変換し、そのオブジェクトが１枚の用紙と適度に
一致するか否かを検証することにある。

【０００７】

【発明が解決しようとする課題】本発明は、現実の画像
がユーザがアクセスできる１枚の用紙か複数枚の用紙で
あるように、特定のアプリケーションで、合成画像と現
実の画像とを、テキスト及び画像を有する文書ディスプ
レイへと統合することを意図するものである。ユーザ
は、複数の用紙を用いて拡張された電子文書を、それら
の用紙の選択的な配置及び移動という自然なメカニズム
によって編成するように、操作できる。ユーザの目に対
する用紙の位置によって画像の拡大縮小が制御されるの
で、ユーザはＣＲＴ又はＬＣＤディスプレイの限られた
画面空間に制限されず、１枚の用紙から別の用紙へと頭
を動かすだけで、多くの文書を使用できる（マルチウィ
ンドウ電子ディスプレイに類似）。異なる文書又は画像
間の移動は、表示されたハイパーリンクのアクセスによ
って容易に実現される。そのようなシステムは、様々な
寸法及び特徴の現実の基準をもつ複数の使用に対して容
易に適応可能であり、このシステムは、ユーザとユーザ
にとって快適で便利な選択的に多様な対話式操作ツール
をもつコンピュータディスプレイシステムとの間により
すぐれた通信及び対話式機能を提供する。

【０００８】さらに、本発明は、標準用紙などの、ユー
ザによる基準ツールとしての使用を意図した予め選択さ
れたオブジェクトの存在を検証することを意図してい
る。その結果、基準ツールは、仕事設定においてはどこ
にでもある複数の現実世界のアイテムから容易に見分け
られる。

【０００９】

【課題を解決するための手段】本発明に従い、拡張現実
感タイプの表示用に、現実世界の基準アイテムに関連づ
けられる電子的に生成された画像及び/又はテキストを
表示するための、方法及び装置を提供する。シンプルな
空白の用紙などの現実のアイテム、即ち基準画面は、ユ
ーザの視野及び制御の内に配置され、現実のアイテムの
操作がユーザの命令と通信できるように意図される。こ
のアイテムは、ディスプレイを制御するアプリケーショ
ンプログラムにある命令を通信する目的で、ユーザによ
って選択的に配置可能である。他の命令は、手やツール
のジェスチャ、又は音声コマンドを介してアプリケーシ
ョンプログラムによって取得(captured)できる。ビデオ
カメラのような感知装置は、現実のアイテムの存在及び
配置を識別する。ヘッドセット、ゴーグル、又はめがね
などのディスプレイ装置は、画像を現実のアイテム上に
重なる仮想（現実感）ディスプレイとして表示する。画
像は、ユーザによるアイテムの選択的な配置に従って表
示される。アイテムが１枚の用紙からなる場合は、用紙
がユーザに向かって移動すると、効果的に表示が拡大さ
れる。

【００１０】本発明の別の態様に従い、表示システムの
ビュー平面内の投影画像が、システムのインタフェース
ツールとして用いることができる、用紙などの予め選択
されたオブジェクトと対応するか否かを検証するための
方法が提供される。この方法は、ディスプレイシステム
の既知の特徴を用いて候補オブジェクトを三次元座標に
非投影(unprojecting)することを含む。次に、この三次
元バージョンは、直角のコーナー、適切な位置関係、及
び平面的な構造などといった予測されるオブジェクト特
性を検証するためにテストされる。この方法は、まず、
ビュー平面内の候補オブジェクトの代表的な特徴（例え
ば直角をなすコーナー等）を特定することを含む。次
に、コーナーと対角線上の中心点との間の長さ及び対角
線等のオブジェクトの寸法的なアスペクトが、投影され
た画像から決定される。次に、そのオブジェクトについ
て、ビュー平面に対する、対応する三次元的同一性及び
位置が計算される。次に、寸法的同一性及び位置が現実
の用紙と適切に一致するか否かを検証するために、得ら
れた座標が、標準用紙寸法のような所定の基準と比較さ
れる。

【００１１】本発明の第１の態様は、拡張現実感ディス
プレイシステムのビュー平面内に投影された画像を、シ
ステムのインタフェースツールとして用いることができ
る予め選択されたオブジェクトとして検証する方法であ
って、ビュー平面内のオブジェクトの代表的な特徴を識
別するステップ（２２）と、投影された画像からオブジ
ェクトの寸法的なアスペクトを決定するステップ（２
８）と、ビュー平面に対するオブジェクト点で、対応す
るオブジェクトの寸法的同一性及び位置を計算するステ
ップ（２８）と、寸法的同一性及び位置がオブジェクト
に対する所定の基準と適切に一致するか否かを検証する
ステップ（２４）と、を有する、オブジェクト検証方法
である。本発明の第２の態様は、第１の態様において、
前記予め選択されたオブジェクトが、スクリーン、タブ
レット、又は用紙（８）等の基準パネルからなり、前記
識別ステップがパネルのコーナーの認識（４２）を含
む。本発明の第３の態様は、システム画像内の所定の基
準フレーム（８）の存在を検証するための拡張現実感デ
ィスプレイシステムであって、システムのビュー平面内
に配置された現実のアイテム（８）と、ビュー平面か
ら、所定の基準フレームと関連づけられた現実のアイテ
ムの特徴を識別するための感知装置（２２）と、ビュー
平面内の現実のアイテムの寸法を決定し、ビュー平面に
対する現実のアイテムの対応する寸法的同一性及び位置
を計算し、前記寸法的同一性及び位置が所定の基準フレ
ームと対応するか否かを検証するコントローラ（１８）
と、を有する、拡張現実感ディスプレイシステムであ
る。

【００１２】

【発明の実施の形態】次に、図面を参照する。図面は、
本発明の好ましい実施の形態及び代替の実施の形態を説
明することのみを目的とし、本発明を限定することは目
的としない。図面は、ユーザが画像自体を対話的に操作
することで画像を調整可能にした、拡張現実感ディスプ
レイシステムを示す。

【００１３】図１を参照すると、拡張画像は、めがね又
はゴーグル１０のセットを通して、又は、めがね又はゴ
ーグル１０のセットの中でユーザに知覚される。このめ
がね又はゴーグル１０は任意のタイプのヘッドセットか
らなることを意図し、それを通して又はその中に、装着
者に対する電子画像を表示することができる。ビデオカ
メラ１２のような感知装置は、ヘッドセット１０のユー
ザの通常の視野を取得(capture)する。従って、ユーザ
に、自分が知覚している画像がヘッドセット１０を装着
していないときに見る画像と実質的に同様なものである
という快適な印象を与える方法でヘッドセットに好まし
く取り付けられるように、十分に小さくなくてはならな
い。ヘッド・マウント（頭に装着する）型のディスプレ
イは市販のものが多数ある。その幾つかは、現実世界を
完全に遮断する、完全没頭タイプである。 “ヘッド・
アップ(heads-up)”ディスプレイとして知られる他のタ
イプは、現実世界のビューに電子ディスプレイを重ねる
ものである。どちらのタイプのディスプレイシステムも
本発明の範囲内にるが、重要なのは、ユーザが保持し操
作している視野内で、現実の基準アイテム即ち１枚の用
紙との快適で使い易い対話式操作が行えるように、合成
画像が表示されるように、カメラ１２がコンピュータ１
８にユーザが見ているのと同じビューを与えることであ
る。

【００１４】ビデオ取得ハードウェア(video capture h
ardware)１４は、カメラ１２からのアナログ信号を、詳
細を後述する解析のためのコンピュータ１８に格納可能
なデジタル化フレームに変換できる回路を有する。本質
的には、ハードウェア１４は、ユーザがカメラの視野か
ら見ているもののデジタル化されて処理可能な表現とし
ての信号を、コンピュータに出力する。ビデオ生成ハー
ドウェア１６は、コンピュータ１８から画素値のビット
マップをとり出し、それをヘッドセット１０に表示でき
るテレビジョン形式に変換する。拡張現実感表示として
の合成画像を形成するためにコンピュータ生成電子画像
を追加することにより、カメラ１２が生成する信号はヘ
ッドセット１０に表示される信号とは異なっている。

【００１５】図２を参照すると、このハードウェアのあ
る種のソフトウェア機能が示されている。コンピュータ
１８は、取得されたビデオフレームを解釈して、カメラ
ビュー内の用紙の位置を割り出さなくてはならない。本
願は、カメラが感知する現実アイテムとして紙を好まし
い例として開示するが、例えば、合成画像が、デザイン
又は動作テストプログラムによって生成することができ
るような動くイラストレーション又は三次元オブジェク
トからなる場合、スクリーンや基準テンプレートなどの
別の便利な基準アイテム等を用いることも本発明の範囲
内である。

【００１６】図２は、コンピュータ１８の解析及び画像
作成処理に関係する機能を詳細に示す。この取得情報処
理の全体的な目的は、カメラのビュー内の用紙の位置を
割り出すためにビデオフレームを解釈することである。
更に、コンピュータ生成画像がヘッド・マウント・ディ
スプレイ１０内に表示される際、ユーザが見ている用紙
に重なるように、画像が変換され変形される。ページ位
置解析モジュール２２がデジタル化された取得ビデオフ
レーム２０を解析して、カメラ１２のビュー内の１枚又
は複数の用紙の位置を割り出す。１枚の用紙は、暗い背
景に対する用紙の白い色によって識別される。取得され
たビデオ画像内のページの存在を確認するために、解析
器２２は画像内のサンプル画素を調べて、少しでも白が
あるかどうかを確認することができる。白い画素（ペー
ジの存在を示す）を検出したら、周知のエッジ検出技術
を用いてページの位置を決定できる。例えば、既知の白
い画素から開始して（上下左右の）画素に進み、ページ
のエッジを示す白ではない値を検出するまで、各画素を
連続して調べることができる。ページのコーナーの位置
を検出する別の手法は、２つのエッジ点を検出するま
で、両辺に対して斜めの方向にページ内の白い点を追っ
て行くことである。

【００１７】図５では、エッジ点間を結ぶ線の中点が、
原対角線(original diagonal)に垂直なサーチの始点と
して用いられていることに注意されたい。この最新のサ
ーチによって検出されるエッジ点を、コーナー５０に到
達して２つのエッジ点が重なるまでの処理を繰り返すた
めの開始点として用いる。この手法は、用紙の真直ぐな
エッジが（ページを持つ手によって等）部分的に隠され
ている場合に用いることができる。前者の手法はコーナ
ーが隠されている場合に用いることができる。前述した
エッジ検出技術は共に、当該技術において周知である。
アプリケーションプログラムモジュールは、ユーザがＣ
ＲＴ又はＬＣＤ上で電子画像として選択できるあらゆる
画像を生成する。従って、アプリケーション画像２６
は、画面上にウィンドウを開くことに相当する。例え
ば、ユーザは、アプリケーション画像２６として、位置
を割り出された用紙の向きに基き、特定のインターネッ
トブラウザエンジンを選択でき、このインターネットブ
ラウザエンジンは、ユーザが保持している空白の用紙上
にウェブページが実際に出現しているという錯覚を表示
画像３０が与えるように、検出された用紙の向きと正確
にマッチするように変換される（２８）。言い換えれ
ば、用紙ページの位置（例えばそのコーナーの位置）が
決定されると、この情報を用いて、アプリケーションの
画像を、ユーザの目に映る用紙と重なるように正確に変
形できる。これは、コンピュータグラフィックスで周知
の、投影画像へのテキスチュア（アプリケーション画
像）マッピングの問題である。平行移動、回転、スケー
リング操作、及び遠近操作を標準的な画像処理を用いる
画像に適用できる。又は、処理速度を向上するために、
特殊なテキスチュアルマッピングハードウェアを用いて
もよい。ユーザに画像表示をできるだけ本物に見えるよ
うに、情報解析及び画像の作成は本質的にリアルタイム
で遂行される必要がある。

【００１８】特に図３を参照すると、典型的なユーザア
プリケーションの対話的操作を高めるもうひとつのシス
テムアーキテクチャが示されている。特に、図２のペー
ジ位置解析モジュールは、情報解析モジュール３２及び
事象処理モジュール３４を含むように拡張されている。

【００１９】図４の動作フロー図を参照すると、ユーザ
がアプリケーション画像を画像及び音声の両方で通信及
び操作できるように、情報取得モジュール２０は、ビデ
オ画像取得４２に対して強張されているだけでなく、音
声コマンド４４に対しても強張されている。

【００２０】それに対応して、情報解析モジュールは、
音声認識４６及び画像解析に対して強張されている。ペ
ージ位置割出し処理４８は、例えば、ページの最近の既
知の位置及び向きを与えることができ、また、現在フレ
ームに対するページ位置を予測することができるページ
のモデル５２を参照することができる。ジェスチャ検出
モジュール５４は、コンピュータ１８へのユーザコマン
ドとして選択され、識別可能な手、指、又はツールによ
るジェスチャを識別する。例えば、ここでも画像がイン
ターネットブラウザであると仮定し、操作をマウスポイ
ンタ及びボタン押圧で対話が生じるスクリーンと類比さ
せると、ユーザの指は、マウスポインタと丁度同じ機能
を実現することができ、「選択」などのコマンドの音声
認識は、ボタン押圧の機能を実現する。従って、あるジ
ェスチャと音声の組み合わせにより、ユーザは別のウェ
ブサイトへのハイパーリンクを実行できる。更に、現在
のページのモデル５２も、ジェスチャ検出モジュールに
有用な情報を供給してもよく、例えば、ポインティング
のジェスチャを、ページ上の位置にとして表すことがで
きる。ページ識別５６には、適合する可能性のあるペー
ジのデータベースが必要なこともある。適合する可能性
のあるページのデータベース５８からの参照ページを比
較することが必要なこともある。データベース５８から
の参照ページを現在のページ識別５６と比較すること
で、ページに注釈が付加されたかどうかを検出する（６
０）方法も提供できる。もちろん、入力取得(input cap
ture)、解析及びサポート情報を追加することが可能で
ある。例示されるモジュールは、１つの特定のシステム
アーキテクチャを説明するものである。情報解析モジュ
ール３２の出力は、ページ位置の変更などの事象や新し
いページ位置などの事象に関連する情報である。ジェス
チャの変化、ページの識別、又はコマンドの入力などの
他の事象も、事象の例である。これらの事象及び関連デ
ータは、事象処理モジュール３４に送られる。事象処理
モジュール３４のジョブは、情報解析モジュール３２か
らの事象及びデータを、アプリケーションに適した事象
に変換することと、表示画像の構築に必要な解析データ
を供給することである。ほとんどのアプリケーションプ
ログラム２４は、一般に、インタフェース機構としてキ
ーボード及びマウスを想定して設計されている。本発明
の拡張現実感システムでは、これらの装置の代わりに、
ジェスチャ、用紙の動き及び音声コマンドが使われる。
事象処理モジュールは、ジェスチャ、動き及びコマンド
を、対応するキーボード及びマウス事象又アプリケーシ
ョンプログラムが理解する事象のシーケンスに変換しな
くてはならない。ウィンドウズ・システム(windows sys
tem)で実行されるアプリケーションについては、変換さ
れたコマンドをウィンドウシステムによって生成するこ
とができるので、入力のためにアプリケーションを変更
する必要がない。

【００２１】ウィンドウイング・システムは、仮想フレ
ームバッファにおけるアプリケーション画像２６の生成
に備えることができる。この画像は実際には表示されな
いが、画像処理モジュール２８による更なる処理に利用
可能である。この手法は、アプリケーションプログラム
モジュール２４を変更せずにアプリケーションを実行で
きるようにする。例えば、単に水平方向にページをめく
ることは、テキスチュアル文書の次のページに進むジェ
スチャコマンドとして解釈できる。従って、このジェス
チャは、アプリケーションプログラムがテキスチュアル
文書表示の次ページアイコン上のボタン押圧から受け取
るのと同じ信号に、変換されなければならない。同様
に、ページを垂直方向にめくることは、文書をスクロー
ルするコマンドとして解釈できる。従って、事象処理モ
ジュール３４は、本発明のシステムが多くの既存のアプ
リケーションプログラムを包含するための簡単な方法を
提供する。

【００２２】画像作成モジュール２８は２つの主要機能
を有する。第１の機能は、アプリケーション画像をユー
ザが見ているページに適合する位置及び形状にワープ(w
arp)することである。第２の機能は、カメラ画像とワー
プされたアプリケーション画像とを組み合わせて（図４
の７２参照）、ユーザに対して表示される拡張画像を生
成することである。適正なディスプレイ画像を供給する
ために、画像の作成はリアルタイムで起こる。このた
め、最小時間でワープ及びブレンド処理を遂行するため
に、画像の作成に専用ハードウェアを用いてもよい。

【００２３】このアーキテクチャを、複数のアプリケー
ションを支持するように一般化することができる。各ア
プリケーションは、その画像を独自の仮想フレームバッ
ファに書き込み、各々が、ビュー領域（viewing area）
内で識別される複数枚の用紙の個別のページに適合する
ようにワープされる。カメラ画像とブレンドして表示画
像を形成するために、ワープされた画像を単一の重ね合
わせ(overlay)として組み合わせることができる。

【００２４】特に図６を参照すると、ビュー平面内の候
補オブジェクトから予め選択された基準アイテムが存在
するかどうを検証するための方法及び装置が開示されて
いる。予め選択されたオブジェクトは、拡張現実感表示
システムにおいてユーザがインタフェースツールとして
使用し得るアイテムを有するのが好ましく、基準パネ
ル、スクリーン、又はタブレットのようなアイテムを有
してもよいが、本明細書の以下の部分のために、普通サ
イズの用紙として説明される。本発明は、カメラのビュ
ー平面上に受け取った取得画像内の標準用紙の存在を検
証するための方法及び装置を提供する。この方法は、カ
メラ特性の知識を用いて、候補オブジェクトを三次元座
標に非投影する(unproject)ことを含む。この三次元座
標バージョンは、直角のコーナー、適切な位置、平面構
造及び標準的な用紙寸法等といった標準用紙に合致する
特徴的な性質について、テストできる。

【００２５】コーナー位置８０は、図５を参照して開示
される方法で実行され、全ての標準用紙にはコーナーが
あるはずなので、ビュー平面内のコーナーは、最終的に
標準用紙として検証可能な候補オブジェクトの代表的な
特徴として効果的に識別される。

【００２６】取得画像(image captured)内のページの位
置は、まず、その４つのコーナーの座標によって表され
る。しかし、システムをより強固にするためには、検出
されたコーナーが、シーン内の例えばユーザのシャツの
袖口などの他のオブジェクトに属しているのではなく、
実際に用紙に属していることを検証する必要がある。検
証テストの１つは、オブジェクトが、適切な目視距離か
ら見える標準（例えばレターサイズ）用紙の予測される
サイズ及び形状を有するか否かの決定をすることであ
る。しかし、オブジェクトの真のサイズ及び形状は未知
であるため、本発明は、カメラのビュー平面へのオブジ
ェクトの透視投影(perspective projection)を解析でき
るのみである。

【００２７】非投影モジュール８２は、先に述べた(ant
ecedent)投影を行うために次のモデルの形をとる(assum
e)：すなわち取得された画像は、視点からのある目視距
離ｄに位置する二次元のビュー平面上に描かれたのと同
じに見える。この視点は、画像を受け取るユーザの目又
はカメラの目の位置であり、ビュー平面は、カメラのフ
レームバッファ内の平面画像の位置である。これら２点
間の距離ｄは、システムの既知の定数である。（この解
析方法における構成要素の寸法を図で定義する図７参
照。）オブジェクト上の点に対応するビュー平面内の点
の位置は、ビュー平面とオブジェクト点から視点を結ぶ
線（線８６を参照）との交点である。言い換えれば、
「非投影」というのは、三次元オブジェクトが二次元ビ
ュー平面に投影される場合に、三次元オブジェクトによ
って二次元画像が生じることを意味する。明らかに、こ
の投影ステップで、幾つかのデータが必然的に失われ
る。更に、遠近法(perspective)では、画像は通常、多
少なりともワープされている。非投影ステップは、二次
元画像を取得するステップと、三次元オブジェクトが何
であるべきかを決定するステップ（即ち、オブジェクト
の実体及びその位置に関連づけられた２次元の画像）か
ら成る数学的計算を含むものである。本発明は、カメラ
システム及びビュー平面(viewing plane)に関する既知
の寸法を、仮定した用紙の特徴と組み合わせて用いて、
非投影処理を完了（完成）する。

【００２８】図７のモデルを用いると、オブジェクト点
の高さｙと投影点の高さｙ_pとの関係は、 y=y_p(z+d)/d、又は、y=B(z+d)（但し、B=y_p/d）で表わされる。

【００２９】同様に、オブジェクトの水平位置ｘとその
投影位置ｘ_pとの関係は、 x=A(z+d)（但し、A=x_p/d）で表わされる。

【００３０】用紙については、対角線の中心点及び２つ
のコーナーは等間隔であると仮定できる。既知のシステ
ム定数及び検出されたオブジェクトのビュー平面内にお
ける寸法を考慮すれば、この仮定は空間内のオブジェク
トの座標の計算に十分な情報を与える。

【００３１】オブジェクト上の直線に沿った等間隔の点
１、２及び３（図８（Ａ）参照）の３点において、点１
と点３との間の距離をＤとすると、ユークリッド距離を
表わす式によって、 D²=(x1-x3)²+(y1-y3)²+(z1-z3)² を得る。

【００３２】点２は点１と点３との中間点なので、 x2=(x1+x3)/2、y2=(y1+y3)/2、z2=(z1+z3)/2 となり、これらの点は直線上にあるので、 x1-x2=z2-x3及びy1-y2=y2-y3 が成り立ち、その結果、 A1(z1+d)-A2((z1+z3)/2+d)=A2((z1+z3)/2+d)-A3(z3+d)
及び B1(z1+d)-B2((z1+z3)/2+d)=B2((z1+z3)/2+d)-B3(z3+d) を得る。

【００３３】(z1+d)についてこれらの式を解くと、 (z1+d)=g(z3+d) となり、ここで、g=(A3-A2)/(A2-A1)=(B3-B2)/(B2-B1)
である。

【００３４】上記の距離式からz1+dを消去して、z3+dに
ついて解くと、z3+d=D/(A3-gA1)²+(B3-gB1)²+(1-g)2)
^1/2となる。

【００３５】上記により、オブジェクト点のｚ位置につ
いて解く式が与えられ、それらからｘ及びｙ座標が得ら
れる。

【００３６】この方法を適用するために、等間隔に配置
された３点は、オブジェクト（この場合は１枚の用紙）
上の直線上にあり、更に、ページの２つの対角及びペー
ジの中心上、即ちページの対角線上にあると仮定する。
これらの点を選んだ理由は、対角線の長さは既知であ
り、この長さはページの向きに依存しないからである。
（この時、長いエッジか短いエッジかを知る必要はな
い。）中心点は、対角線の交点として見つけることがで
きる。透視投影は直線を保つので（図８（Ｂ）参照）、
ページが遠近的に見られてもこの規則は成り立つ。

【００３７】ページの中心は次式で与えられる。

【数１】

【００３８】非投影法は、各対角線について１回ずつ２
回適用される。つまり、１回目は点１、２及び３を用い
て、２回目は点４、２及び５を用いる。このようにし
て、４つのコーナーの点の全ての三次元座標を見つける
ことができる。

【００３９】一旦、非投影オブジェクト座標が決定され
れば、それが用紙であることを検証するための多くのテ
ストが可能になる。複数の辺の長さを調べて、それらが
ある誤差の範囲内で予測される用紙の寸法に一致したか
を確認できる。また、その結果、それらが予測される比
率を有することを検証できる。

【数２】

【００４０】全てのコーナーが直角であることがチェッ
クできる。これは、辺に沿ったベクトルの点乗積(dot p
roduct)が０であることをチェックすることで行える。
実際の点乗積はある誤差の範囲内にあるべきである。

【数３】

【００４１】２つの個別の非投影から計算された中心点
が（ある誤差の範囲内で）一致していることが確認でき
る。 z1+z3=z4+z5

【００４２】４つの非投影されたコーナーが、ある誤差
の範囲内で同一平面上にあるかどうかが確認できる。

【数４】

【００４３】また、ページが以下に示すような予測され
るビューイング(vewing)範囲内にあることが確認でき
る。 zi>zmin zi<zmax ここで、i=1, 3, 4, 5であり、zmin及びzmaxはそれぞれ
最小及び最大の許容可能なページビューイング距離(vie
wing distance)を示す。

【００４４】誤差の値は、画像取得装置の精度及び解像
度、並びに特定のアプリケーションに依存する。例え
ば、ビュー内にページ以外の物が何もなさそうな場合、
誤差は比較的大きくてもよい。誤差は経験に基いて設定
されてよい。

【００４５】本発明は、三次元世界の座標が、取得され
た二次元画像の座標と同じ単位で計算される方法につい
て記述するものである。通常では、画素のような画像座
標が付与され、インチなどのワールド座標(world coord
inates)が好ましいことがある。このため、特定のシス
テムについては、目視距離ｄのような特性とともに、経
験的に決定できる簡単なスケール変換ファクター(scali
ng factor)の適用が必要となる。

【図面の簡単な説明】

【図１】本発明の基本的な構成要素の単純化したブロッ
ク図である。

【図２】本発明を実施するための操作モジュールのブロ
ック図である。

【図３】本発明の他の実施の形態による操作モジュール
のブロック図である。

【図４】図３のあるモジュールを拡張付加した操作フロ
ー図である。

【図５】カメラのビュー領域(viewing area)内の用紙を
識別するための１つのスキームを示す模式図である。

【図６】ビューフレーム(view frame)内の標準用紙など
の予め選択されたオブジェクトの存在を検証するための
システムの操作モジュールを示すブロック図である。

【図７】図６のシステムの計算ステップを示す幾何学的
な図である。

【図８】（Ａ）及び（Ｂ）は、図６のシステムのための
方法ステップを説明するのを更に補うための幾何学的な
図である。

【符号の説明】

８用紙１０ヘッドセット（めがね・ゴーグル）１２ヘッドマウント型カメラ１４ビデオ取得ハードウェア(video capture hardw
are) １６ビデオ生成ハードウェア１８コンピュータ（コントローラ）

Claims

【特許請求の範囲】

【請求項１】拡張現実感ディスプレイシステムのビュ
ー平面内に投影された画像を、システムのインタフェー
スツールとして用いることができる予め選択されたオブ
ジェクトとして検証する方法であって、ビュー平面内のオブジェクトの代表的な特徴を識別する
ステップ（２２）と、投影された画像からオブジェクトの寸法的なアスペクト
を決定するステップ（２８）と、ビュー平面に対するオブジェクト点で、対応するオブジ
ェクトの寸法的同一性及び位置を計算するステップ（２
８）と、寸法的同一性及び位置がオブジェクトに対する所定の基
準と適切に一致するか否かを検証するステップ（２４）
と、を有する、オブジェクト検証方法。
【請求項２】前記予め選択されたオブジェクトが、ス
クリーン、タブレット、又は用紙（８）等の基準パネル
からなり、前記識別ステップがパネルのコーナーの認識
（４２）を含む、請求項１に記載の方法。
【請求項３】システム画像内の所定の基準フレーム
（８）の存在を検証するための拡張現実感ディスプレイ
システムであって、システムのビュー平面内に配置された現実のアイテム
（８）と、ビュー平面から、所定の基準フレームと関連づけられた
現実のアイテムの特徴を識別するための感知装置（２
２）と、ビュー平面内の現実のアイテムの寸法を決定し、ビュー
平面に対する現実のアイテムの対応する寸法的同一性及
び位置を計算し、前記寸法的同一性及び位置が所定の基
準フレームと対応するか否かを検証するコントローラ
（１８）と、を有する、拡張現実感ディスプレイシステム。