JP2001092995A - 拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法 - Google Patents

拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法

Info

Publication number
JP2001092995A
JP2001092995A JP2000251260A JP2000251260A JP2001092995A JP 2001092995 A JP2001092995 A JP 2001092995A JP 2000251260 A JP2000251260 A JP 2000251260A JP 2000251260 A JP2000251260 A JP 2000251260A JP 2001092995 A JP2001092995 A JP 2001092995A
Authority
JP
Japan
Prior art keywords
image
user
display
item
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000251260A
Other languages
English (en)
Inventor
Steven J Harrington
ジェイ．ハリントン スティーブン
R Varino James
アール．ヴァリノ ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2001092995A publication Critical patent/JP2001092995A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 拡張現実感表示システムを提供する。 【解決手段】 本発明の拡張現実感表示システムは、拡
張画像を生成するための画像源と、拡張画像の表示参照
フレームとして配置され、ユーザによって複数の異なる
位置に選択的に配置可能な実在アイテムと、アイテムを
識別するための感知装置と、拡張画像をアイテムとの併
合ディスプレイとして表示する表示装置と、を含み、画
像はユーザによるアイテムの選択的な配置に従って表示
される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は概して、表示される
文書を実際にプリントせずに電子文書のプリントバージ
ョンを保持するような錯覚を与えるように、イメージ(i
magery)及び/又はテキストの仮想ディスプレイと共にペ
ージなどの現実世界のアイテムを見て、これらと対話す
る方法及び装置に関する。拡張現実感(augmented-reali
ty)では、眼鏡、ゴーグル又はヘルメットマウントディ
スプレイのようないくつかの形態の物理的ディスプレイ
は、コンピュータによって生成された画像をユーザが見
る現実世界のビュー(view)に投影させたり重ねたりする
のに使用される。このシステムは、ビューア（見る人）
の画像をリアルタイムで分析し、コンピュータ生成画像
を実際のビューに対応するように調節する。このような
対話は、紙などの実在するアイテムの感触及び機能（例
えば、アイテムを保持する感触や、アイテムの上に物を
書く機能）をある程度、電子文書の（動的、対話式の）
機能と組み合わせる。しかしながら、例えば、文書の表
示以外の目的で、類似した画像形成方法を他の実在アイ
テムに有益に関連付けるような他の環境で使用するのに
本発明を容易に適応させることができることは、当業者
には理解されるであろう。
【０００２】
【従来の技術】PCワークステーションの遍在的な使用
と、ワールドワイドウェブの能力により、電子文書が使
用されたり、ハイパーリンク及びビデオなどの動的コン
ポーネントが含まれるようになってきた。これらの電子
文書は、用紙プリントの静的要件に適合しない場合がよ
くある。それにも関わらず、人々は長い文書を読むため
に未だに紙を好み、紙は注釈を付けるのが容易で持運び
できる。静的な紙と、CRT又はLCDディスプレイの動的機
能との望ましい特性を組み合わせた表示機構が必要であ
る。この目標に向けた研究としては、持運びのできる文
書の読取り装置及び電子用紙に関する研究がある。本発
明は、それとは別の、拡張現実感の概念に基づく手法に
関連する。
【０００３】拡張現実感では、ビデオカメラを使用して
ユーザが見るのと同じビューをコンピュータに提供する
ことができ、その後でコンピュータ生成画像がそのビュ
ーの上に重ねられる。これは、ユーザが完全に合成であ
るコンピュータ生成環境に没入する仮想現実感(virtual
-reality)ではない。拡張現実感はむしろ、合成のコン
ピュータ生成画像が現実世界の日常のオブジェクトの上
に重ねられる、といった組み合わせである。
【０００４】拡張現実感表示システムは既知であるが、
その用途及び有用性は限られている。特に、ビデオカメ
ラによって識別される現実の部分は主に単一セッティン
グの固定されたビューに限られている。このセッティン
グは予め決められており、表示可能なものやカメラの画
像から識別可能なものが非常に限られている。更に、こ
の制御されたセッティングにおいて次に表示可能なもの
も、示すことのできるものがあいにく限られており、通
常は単一の画像のみである。このディスプレイとの対話
は本質的に知られていない。
【０００５】人々が、従来の紙上の出版の代わりとして
電子マルチメディア出版にますます慣れてくるにつれ
て、電子ディスプレイを見ることに関して快適かつ便利
で容易に制御できるユーザ環境において表示画像の自由
度、多様性及び品質を高めるために、より一層便利で改
良された対話式制御が実質的に必要である。従来におい
て既知の電子出版用アプリケーションプログラムは、拡
張現実感表示システムとの互換性がない。このようなプ
ログラムはむしろ、ユーザによる命令用のマウス、キー
ボード又はボタン押圧表現を含む命令処理に通常使われ
る。上述のように考えた場合の改良された対話式表示ス
キームのために、拡張現実感の設定における便利なユー
ザのコマンド、即ち、用紙の操作、手及び指のジェスチ
ャー、又は選択された音声コマンドを、リアルタイム処
理設定で認識し変換することのできるアプリケーション
プログラムが特に必要である。
【０００６】
【発明が解決しようとする課題】本発明は、テキスト及
び画像を含む文書の表示を特定の用途とし、実在の画像
を、ユーザがアクセスすることのできる１枚又は複数枚
の用紙とすることができるように、実在の画像に合成画
像を統合することを意図するものである。ユーザは、用
紙によって強化された電子文書を、選択的な位置決めの
自然なメカニズム及び用紙の移動によって編成するよう
に操作することができる。画像のスケーリングは、ユー
ザの目に対して用紙の位置決めをすることによって制御
され、これにより、ユーザはCRT又はLCDディスプレイの
限られたスクリーン空間に閉じ込められず、頭を１枚の
用紙から別の用紙に向けるだけで多くの文書を眺めるこ
とができる（マルチウィンドウ電子ディスプレイに類似
する）。異なる文書又は画像間の移動は、表示されるハ
イパーリンクにアクセスすることによって容易に実現さ
れる。このようなシステムを、様々な寸法及び特徴の実
在する参照物を用いた複数の使用に容易に適応させるこ
とができる。このシステムは、ユーザにとって快適かつ
便利である選択的な種々の対話ツールを用いて、改良さ
れた伝達機能及び対話機能をユーザとコンピュータディ
スプレイとの間に提供する。
【０００７】
【課題を解決するための手段】本発明に従って、拡張現
実感のタイプの表示用に、電子的に生成された画像及び
/又はテキストを現実世界の参照アイテムに関連付けて
表示する方法及び装置を提供する。実在アイテムの操作
がユーザの命令を伝達するものと意図されるように、単
なるブランクの用紙や参照スクリーンなどの実在アイテ
ムがユーザの視界及び制御内に配置される。ディスプレ
イを制御するアプリケーションプログラムに一定の命令
を伝達する目的で、このアイテムをユーザが選択的に位
置付けることが可能である。他の命令は、手又はツール
のジェスチャーもしくは音声コマンドを介して、アプリ
ケーションプログラムによって取得可能である。ビデオ
カメラなどの感知装置が、実在アイテムの存在及び配置
を認識する。ヘッドセット、ゴーグル又は眼鏡などの表
示装置が、画像を実在アイテムの上に重ねられた仮想デ
ィスプレイとして表示する。画像は、ユーザによるアイ
テムの選択的な位置決めに従って表示される。アイテム
が１枚の用紙を含む場合、用紙をユーザに向けて移動さ
せることによってディスプレイが効果的に拡大される。
【０００８】本発明の別の態様によると、感知装置はヘ
ッドセットに取り付けられたビデオカメラを含み、ユー
ザによって認識される画像はカメラのレンズを通したも
のである。コンピュータは認識された画像のリアルタイ
ム分析を行い、画像内のアイテムが１枚の用紙などの実
在する参照アイテムであるか否かを識別し、その後に、
ユーザから見て画像がプリントされた文書を含むよう
に、仮想の画像を用紙の上に電子的に生成する。ユーザ
が、用紙を操作したり、一定の予め選択された認識可能
なジェスチャー又は音声コマンドを行ったりすることに
より、認識された画像と対話することができることは、
本発明の独自の特徴である。
【０００９】本発明の方法によると、第１のステップ
は、ビデオカメラによって認識された画像内の関連情報
の取得を含む。好適な実施の形態では、これは、１枚の
用紙の識別及び配置を含む。用紙の向きは、重ね合わせ
が所望の画像の外観に適切に適合することができるよう
に認識される。次に、ユーザはその用紙の画像の上に電
子的に重ね合わせられる画像を選択する。このシステム
は、用紙の向きに従って画像を変換し、適切な重ね合わ
せの外観を得る。そして、拡張現実感の画像がユーザに
表示される。
【００１０】即ち、本発明の請求項１の態様は、拡張現
実感表示システムであって、拡張画像を生成するための
画像源と、前記拡張画像の表示参照フレームとして配置
され、ユーザによって複数の異なる位置に選択的に配置
可能な実在アイテムと、前記アイテムを識別するための
感知装置と、前記拡張画像を前記アイテムとの併合ディ
スプレイとして表示する表示装置と、を含み、前記画像
は前記ユーザによる前記アイテムの選択的な配置に従っ
て表示される。
【００１１】本発明の請求項２の態様は、請求項１の態
様において、前記感知装置が更に、予め選択された事象
を、前記表示装置による表示を調整するためのユーザ命
令として識別する。
【００１２】本発明の請求項３の態様は、ユーザ命令の
表現としてユーザによって制御されるツールを見るため
に配置されたプロセッサビューイング装置からプロセッ
サによって検出されるユーザ命令に従ってプロセッサ生
成画像を選択的に表示する方法であって、前記ツール
を、前記プロセッサによって前記プロセッサビューイン
グ装置のビューイング領域内に配置するステップと、前
記ツールの配置を、前記プロセッサによって前記ユーザ
命令の表現として識別するステップと、前記画像を前記
命令に従って調節するステップと、前記画像を前記調節
に従って表示するステップと、を含む。
【００１３】本発明は、一定の部分及びステップ、並び
に部分及びステップの構成において物理的な形態をとっ
てもよい。好適な実施の形態及び代替の実施の形態は本
明細書において詳しく説明され、本明細書の一部を形成
する添付の図面において示される。
【００１４】
【発明の実施の形態】ここで、本発明の好適な実施の形
態及び代替の実施の形態を単に例示する目的であり、本
発明を制限する目的で示されているのではない図面を参
照すると、図面は拡張現実感表示システムを示してお
り、このシステムにおいて、画像はユーザと画像自体と
の対話によって調整可能になっている。
【００１５】より具体的には、図１を参照すると、拡張
画像は１セットの眼鏡又はゴーグル１０を介してユーザ
によって認識される。この眼鏡又はゴーグル１０は、電
子画像を装着者に表示することができるあらゆるタイプ
のヘッドセットを含むように意図される。ビデオカメラ
１２などの感知装置は、ヘッドセット１０のユーザの通
常の視野を取得する(capture)ものであり、従って、ユ
ーザが認識する画像がヘッドセット１０を装着しない際
に見るものとほぼ同様である、という快適な印象をユー
ザに与えるような態様でヘッドセットに好適に装着され
るように、感知装置は十分小さいものであるべきであ
る。市販のヘッドマウントディスプレイは沢山ある。そ
のうちのいくつかは、現実世界を完全に遮断するという
点で完全に没入型である。他には、現実世界のビューの
上に電子ディスプレイを重ねる「ヘッドアップ」ディス
プレイとして既知のものがある。しかし、いずれのタイ
プの表示システムも本発明の範囲内である。ユーザが保
持し、操作することのできる視野内の実在の参照アイテ
ム、即ち用紙との対話を快適で便利なものにする態様で
合成画像が表示されるように、カメラ１２が、ユーザが
見るのと同一のビューをコンピュータ１８に提供する、
ということのみが重要である。
【００１６】より詳細に後述するが、ビデオ取得ハード
ウェア１４は、カメラ１２からのアナログ信号を、分析
のためにコンピュータ１８に記憶することができるデジ
タル化フレームに変換することができる回路を含む。本
質上、ハードウェア１４は、カメラの視野からユーザが
眺めるもののデジタル化及び処理可能表現として、信号
をコンピュータに出力する。ビデオ生成ハードウェア１
６はコンピュータ１８からピクセル値のビットマップを
取り出し、これらのピクセル値を、ヘッドセット１０に
おいて表示することのできるテレビジョンフォーマット
に変換する。カメラ１２によって生成された信号は、合
成画像を拡張現実感ディスプレイとして形成するために
コンピュータの生成した電子画像を加えることによって
できるヘッドセット１０に表示される信号とは異なる。
【００１７】図２を参照すると、ハードウェアの或るソ
フトウェア機能が示されている。コンピュータ１８は、
用紙をカメラの視野内に配置するために、取得されたビ
デオフレームを解釈しなくてはならない。このアプリケ
ーションは、用紙８をカメラによって感知される実在の
アイテムとして表すのが好ましいが、例えば合成画像
が、デザインプログラム又は動作テストプログラムによ
って生成されうるような動くイラストレーション又は３
次元オブジェクトである場合に、スクリーン又は参照テ
ンプレートなどの他の便利な参照アイテムを用いること
も、本発明の範囲内に入る。簡潔化のために、以下の本
明細書の部分では、結果として生じる合成画像の参照フ
レームとして用紙に限定する。
【００１８】図２は、コンピュータ１８の分析処理及び
画像形成処理に関する機能を詳しく示している。取得さ
れた情報の処理の全体的な目的は、用紙をカメラの視野
内に配置するためにビデオフレームを解釈することであ
る。更に、ヘッドマウントディスプレイ１０において表
示される時ユーザが見る通りに用紙の上に重なるよう
に、コンピュータ生成画像は変換され、変形される。デ
ジタル化された、取得されたビデオフレーム２０はペー
ジ位置分析モジュール２２によって分析され、１枚又は
それより多くの用紙の位置がカメラ１２の視野内に配置
される。用紙は、より暗い色の背景に対する白色によっ
て識別することができる。取得されたビデオ画像内のペ
ージの存在を識別するために、分析装置２２は画像内の
サンプルピクセルを調べ、その中に白ピクセルがあるか
どうかを調べることができる。（ページの存在を示す）
白ピクセルが見つけられた場合、周知のエッジ検出技術
を用いてページの位置を決定することができる。例え
ば、既知の白ピクセルから始めてピクセルを（上下左右
に）調べ、ページのエッジを示す非白の値が見つけられ
るまで各ピクセルを連続して調べることができる。ペー
ジのコーナー位置を見つけるための別のアプローチは、
２つのエッジポイントが見つけられるまで、ページの白
ポイントをページの両辺に対して斜め方向に調べること
である。
【００１９】図５では、エッジポイント間のラインの中
点が、オリジナルの斜線に対して垂直に行われる探索の
開始点として使用されていることに注目する。この最新
の探索によって見出されたエッジポイントは、コーナー
５０に達して２つのエッジポイントが合うまでこの処理
を繰り返すための開始点として使用される。用紙のまっ
すぐなエッジが（ページを保持する手などによって）部
分的に隠れている場合に、このアプローチを使用するこ
とができる。前者のアプローチは、コーナーが隠れてい
る場合に使用可能である。前述のエッジ検出技術は共
に、当該技術において周知である。アプリケーションプ
ログラムモジュール２４は、ユーザによってCRT又はLCD
上の電子画像として選択されうるあらゆる画像を生成す
る。従って、アプリケーション画像２６は、スクリーン
上でウィンドウを開くことに相当する。例えば、ユーザ
は特定のインターネットブラウザエンジンをアプリケー
ション画像２６として選択することができ、これは、ウ
ェブページがユーザによって保持されている用紙のブラ
ンク部分に実際に現れたかのような錯覚をディスプレイ
画像３０が提供するように、用紙の配置された向きに基
づいて、用紙の検出された向きに完全に適合するように
画像変換器２８によって変換される。即ち、用紙ページ
の位置（例えば、そのコーナーの位置）が決定される
と、この情報を使用してアプリケーションの画像を正確
に変形させ、この画像がユーザの目から見て用紙上に重
なるようにすることができる。これは、テクスチュアル
（アプリケーション画像）を投影された画像上にマッピ
ングするコンピュータグラフィックスでは周知の問題で
ある。平行移動操作、回転操作、スケーリング操作及び
遠近操作を、標準の画像処理方法を用いる画像に施すこ
ともでき、処理速度を向上させるために特殊なテクスチ
ュアルマッピングハードウェアを用いてもよい。画像デ
ィスプレイがユーザに対して可能な限り本物に見えるよ
うに、情報分析及び画像形成は本質的にリアルタイムで
達成されることが必要である。
【００２０】図３を特に参照すると、典型的なユーザア
プリケーションの対話を高めるもうひとつのシステム構
造が示されている。特に、図２のページ位置分析モジュ
ールは、情報分析モジュール３２及び事象処理モジュー
ル３４を含むように拡張されている。
【００２１】図４の動作フロー図を参照すると、情報取
得モジュール２０が、ビデオ画像取得４２のみでなく音
声コマンド４４に対しても拡張されており、これによっ
てユーザは画像及び音声の双方によってアプリケーショ
ン画像に伝達し、これを操作することができる。
【００２２】情報分析モジュールは、音声認識４６及び
画像分析に対して拡張されている。ページ配置処理４８
は、例えば、ページの最近の既知の位置及び向きを与え
ることができ、また、現在のフレームに対するページの
位置を予測することができるページのモデル５２を参照
することができる。ジェスチャー検出モジュール５４
は、ユーザによるコンピュータ１８へのコマンドとして
選択され、認識が可能な手、指又はツールによるジェス
チャーを識別する。例えば、画像がインターネットブラ
ウザであると再び仮定し、マウスポインタ及びボタン押
圧によって対話が生じるスクリーンに対する操作をアナ
ログ化すると、ユーザの指はマウスポインタと完全に同
一の機能を達成することができ、「選択」などのコマン
ドの音声認識はボタン押圧の機能を達成する。従って、
或るジェスチャー及び音声の組み合わせにより、ユーザ
は別のウェブサイトへのハイパーリンクを実行すること
ができる。更に、現在のページのモデル５２は有用な情
報をジェスチャー検出モジュールに提供してもよく、例
えば、ポインティングジェスチャーを、ページ上の位置
として表すことができる。ページ識別５６では、適合す
る可能性のあるページのデータベースが必要なこともあ
る。適合する可能性のあるページのデータベース５８か
らの参照ページを比較することが必要なこともある。デ
ータベース５８からの参照ページを現在のページ識別５
６と比較することにより、注釈がページに付加されたか
否かを検出する方法を検出部６０に提供することもでき
る。もちろん、追加の入力取得、追加の分析、及び追加
の支持情報が可能である。例示されるモジュールは、１
つの特定のシステムアーキテクチュアを例示するように
意図されたものである。情報分析モジュール３２の出力
は、ページ位置の変化などの事象や、新しいページ位置
などの事象に関連する情報である。ジェスチャーの変
化、ページの識別、又はコマンドの入力などの他の事象
も事象の例である。これらの事象及び関連データは事象
処理モジュール３４に送られる。事象処理モジュール３
４のジョブは、情報分析処理モジュール３２からの事象
及びデータをアプリケーションに適した事象に変換する
ことと、ディスプレイ画像を構築するのに必要な分析デ
ータを提供することである。殆どのアプリケーションプ
ログラム２４は一般に、キーボード及びマウスがインタ
ーフェースメカニズムであることを予想して設計されて
いる。本発明の拡張現実感システムでは、これらの装置
の代わりにジェスチャー、用紙の移動及び音声コマンド
が使われる。事象処理モジュールは、ジェスチャー、移
動及びコマンドを、対応するキーボード及びマウスの事
象又はアプリケーションプログラムが理解する事象のシ
ーケンスに変換しなくてはならない。ウィンドウズシス
テムで実行するアプリケーションに関しては、入力のた
めにアプリケーションを変更する必要がなくなるよう
に、変換されたコマンドをウィンドウシステムによって
生成することができる。
【００２３】ウィンドウシステムは、仮想フレームバッ
ファにおいて生成されるアプリケーション画像２６を提
供することができる。この画像は実際に表示されない
が、画像処理モジュール２８による更なる処理のために
利用することができる。このアプローチにより、アプリ
ケーションプログラムモジュール２４を変更せずにアプ
リケーションを実行することができる。例えば、ページ
を単に水平方向にめくることは、テクスチュアル文書の
次ページに行く、というジェスチャーコマンドとして解
釈できる。従って、このジェスチャーは、アプリケーシ
ョンプログラムがテクスチュアル文書の表示の次ページ
アイコンのついたボタン押圧から受け取るのと同一の信
号に変換されなければならない。同様に、ページを垂直
方向にめくることは、文書をスクロールするコマンドと
して解釈できる。従って、事象処理モジュール３４は、
本発明のシステムが多くの既存のアプリケーションプロ
グラムを含むための簡潔な方法を提供する。
【００２４】画像形成モジュール２８は、２つの主な機
能を有する。第１の機能は、アプリケーション画像を、
ユーザが見ているページに適合する位置及び形状にワー
プ(warp)することである。第２の機能は、カメラ画像と
ワープされたアプリケーション画像とを組み合わせ（図
４の７２参照）、ユーザに表示される拡張画像を生成す
ることである。画像の形成は、適正なディスプレイ画像
を提供するようにリアルタイムで生じる。このため、ワ
ープ処理及び混合処理を最小時間で達成するために、画
像形成部は特殊なハードウェアを利用する。
【００２５】このアーキテクチュアを、複数のアプリケ
ーションを支持するように一般化することができる。各
アプリケーションはその画像を独自の仮想フレームバッ
ファに書き込み、各々が、ビューイング領域で識別され
る複数枚の用紙の独特なページに適合するようにワープ
される。ワープされた画像を組み合わせて単一の重ね合
わせとし、カメラ画像と混合してディスプレイ画像を形
成することができる。
【図面の簡単な説明】
【図１】本発明の基本的な構造要素の簡易ブロック図で
ある。
【図２】本発明を実施する動作モジュールのブロック図
である。
【図３】本発明の他の実施の形態の動作モジュールのブ
ロック図である。
【図４】図３のモジュールのうちのいくつかの詳細な動
作フロー図である。
【図５】カメラのビュー領域内で１枚の用紙を識別する
ための１つのスキームを示す概略図である。
【符号の説明】
８ 用紙 １０ ヘッドセット １２ ヘッドマウントカメラ １４ ビデオ取得ハードウェア １６ ビデオ生成ハードウェア １８ コンピュータ ２０ 取得されたビデオ画像（情報取得） ２２ ページ位置分析 ２４ アプリケーションプログラム ２６ アプリケーション画像 ２８ 画像変換器（画像形成） ３０ ディスプレイ画像 ３２ 情報分析 ３４ 事象処理
フロントページの続き (72)発明者 ジェームズ アール．ヴァリノ アメリカ合衆国 14450 ニューヨーク州 フェアポート サウス リッジ トレイ ル 61

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 拡張現実感表示システムであって、 拡張画像を生成するための画像源と、 前記拡張画像の表示参照フレームとして配置され、ユー
    ザによって複数の異なる位置に選択的に配置可能な実在
    アイテムと、 前記アイテムを識別するための感知装置と、 前記拡張画像を前記アイテムとの併合ディスプレイとし
    て表示する表示装置と、 を含み、 前記画像は前記ユーザによる前記アイテムの選択的な配
    置に従って表示される、 拡張現実感表示システム。
  2. 【請求項２】 前記感知装置が更に、予め選択された事
    象を、前記表示装置による表示を調整するためのユーザ
    命令として識別する、請求項１に記載の拡張現実感表示
    システム。
  3. 【請求項３】 ユーザ命令の表現としてユーザによって
    制御されるツールを見るために配置されたプロセッサビ
    ューイング装置からプロセッサによって検出されるユー
    ザ命令に従ってプロセッサ生成画像を選択的に表示する
    方法であって、 前記ツールを、前記プロセッサによって前記プロセッサ
    ビューイング装置のビューイング領域内に配置するステ
    ップと、 前記ツールの配置を、前記プロセッサによって前記ユー
    ザ命令の表現として識別するステップと、 前記画像を前記命令に従って調節するステップと、 前記画像を前記調節に従って表示するステップと、を含
    む、プロセッサ生成画像の選択的表示方法。
JP2000251260A 1999-08-31 2000-08-22 拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法 Pending JP2001092995A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US386819 1999-08-31
US09/386,819 US6408257B1 (en) 1999-08-31 1999-08-31 Augmented-reality display method and system

Publications (1)

Publication Number Publication Date
JP2001092995A true JP2001092995A (ja) 2001-04-06

Family

ID=23527184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000251260A Pending JP2001092995A (ja) 1999-08-31 2000-08-22 拡張現実感表示システム及びプロセッサ生成画像の選択的表示方法

Country Status (2)

Country Link
US (1) US6408257B1 (ja)
JP (1) JP2001092995A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907200B2 (en) 2004-09-15 2011-03-15 Pioneer Corporation Seamless image viewing system and method
EP2423883A2 (en) 2010-08-26 2012-02-29 Canon Kabushiki Kaisha Information processing device and method for mixed reality
JP2014503085A (ja) * 2010-09-20 2014-02-06 コピン コーポレーション ヘッドマウントディスプレイ用のパワーマネージメント機能を備えたブルートゥース（登録商標）などのワイヤレスインターフェース
JP2014215950A (ja) * 2013-04-30 2014-11-17 京セラドキュメントソリューションズ株式会社 印刷プレビュープログラムおよび電子機器
WO2015025442A1 (ja) * 2013-08-20 2015-02-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
US9185252B1 (en) 2013-04-30 2015-11-10 Kyocera Document Solutions Inc. Electronic device for displaying a print preview
JP2017068012A (ja) * 2015-09-30 2017-04-06 京セラドキュメントソリューションズ株式会社 電子書籍表示装置、電子書籍表示方法、及び、電子書籍表示システム
JP2017199085A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020173564A (ja) * 2019-04-09 2020-10-22 株式会社エクサ 書類処理支援システム

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
WO2000052539A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Augmented-reality-system zur situationsgerechten unterstützung der interaktion zwischen einem anwender und einer technischen vorrichtung
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
US6998656B2 (en) * 2003-02-07 2006-02-14 Hewlett-Packard Development Company, L.P. Transparent double-injection field-effect transistor
US6735328B1 (en) * 2000-03-07 2004-05-11 Agilent Technologies, Inc. Personal viewing device with system for providing identification information to a connected system
US7101988B2 (en) * 2000-10-12 2006-09-05 Marical, Inc. Polyvalent cation-sensing receptor in Atlantic salmon
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US20030030658A1 (en) * 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US7339609B2 (en) * 2001-08-10 2008-03-04 Sony Corporation System and method for enhancing real-time data feeds
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US7091989B2 (en) * 2001-08-10 2006-08-15 Sony Corporation System and method for data assisted chroma-keying
US20030046177A1 (en) * 2001-09-05 2003-03-06 Graham Winchester 3-dimensional imaging service
US6874645B2 (en) * 2002-02-15 2005-04-05 David Lee Broderick Media disc storage and display device
US20030187820A1 (en) 2002-03-29 2003-10-02 Michael Kohut Media management system and process
US20040113887A1 (en) * 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
US7250930B2 (en) 2003-02-07 2007-07-31 Hewlett-Packard Development Company, L.P. Transparent active-matrix display
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
JP2005339377A (ja) * 2004-05-28 2005-12-08 Canon Inc 画像処理方法、画像処理装置
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8521737B2 (en) * 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US9373029B2 (en) * 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US7991778B2 (en) * 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US8332401B2 (en) * 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US7587412B2 (en) * 2005-08-23 2009-09-08 Ricoh Company, Ltd. Mixed media reality brokerage network and methods of use
US7672543B2 (en) * 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
US8156427B2 (en) * 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US8600989B2 (en) * 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8369655B2 (en) * 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8005831B2 (en) * 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8184155B2 (en) * 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US7639387B2 (en) * 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US8838591B2 (en) * 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8086038B2 (en) * 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US7920759B2 (en) * 2005-08-23 2011-04-05 Ricoh Co. Ltd. Triggering applications for distributed action execution and use of mixed media recognition as a control input
US7551780B2 (en) * 2005-08-23 2009-06-23 Ricoh Co., Ltd. System and method for using individualized mixed document
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US7970171B2 (en) * 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8335789B2 (en) * 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US7702673B2 (en) * 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US9171202B2 (en) * 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8949287B2 (en) * 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8276088B2 (en) * 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9384619B2 (en) * 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US8989431B1 (en) 2007-07-11 2015-03-24 Ricoh Co., Ltd. Ad hoc paper-based networking with mixed media reality
US7669148B2 (en) * 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
US9405751B2 (en) * 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7812986B2 (en) * 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US7917554B2 (en) * 2005-08-23 2011-03-29 Ricoh Co. Ltd. Visibly-perceptible hot spots in documents
US8856108B2 (en) * 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8195659B2 (en) * 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8510283B2 (en) * 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8144921B2 (en) * 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US7885955B2 (en) * 2005-08-23 2011-02-08 Ricoh Co. Ltd. Shared document annotation
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
EP1917638A4 (en) * 2005-08-23 2008-12-03 Ricoh Kk SYSTEM AND METHODS FOR CREATING AND USING A MIXED SUPPORT ENVIRONMENT
EP1917635A4 (en) * 2005-08-23 2008-12-03 Ricoh Kk INSERTING HOT POINTS IN ELECTRONIC DOCUMENTS
JP2009506393A (ja) * 2005-08-23 2009-02-12 株式会社リコー 混合メディア環境における画像照合方法及びシステム
JP4897795B2 (ja) * 2005-08-23 2012-03-14 株式会社リコー 処理装置、インデックステーブル作成方法及びコンピュータプログラム
US7769772B2 (en) * 2005-08-23 2010-08-03 Ricoh Co., Ltd. Mixed media reality brokerage network with layout-independent recognition
FR2892940B1 (fr) * 2005-11-10 2021-04-09 Olivier Lordereau Dispositif biomedical de traitement par immersion virtuelle
JP2008009572A (ja) * 2006-06-27 2008-01-17 Fuji Xerox Co Ltd ドキュメント処理システム、ドキュメント処理方法及びプログラム
US8201076B2 (en) * 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US9063952B2 (en) * 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9176984B2 (en) * 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US8676810B2 (en) * 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9020966B2 (en) * 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8117137B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation Field-programmable gate array based accelerator system
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US20090244097A1 (en) * 2008-03-25 2009-10-01 Leonardo William Estevez System and Method for Providing Augmented Reality
US9886231B2 (en) 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US8301638B2 (en) 2008-09-25 2012-10-30 Microsoft Corporation Automated feature selection based on rankboost for ranking
US8131659B2 (en) 2008-09-25 2012-03-06 Microsoft Corporation Field-programmable gate array based accelerator system
EP2399385B1 (en) 2009-02-18 2019-11-06 Google LLC Automatically capturing information, such as capturing information using a document-aware device
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
CN102460349A (zh) * 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8385660B2 (en) * 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
JP2011053468A (ja) * 2009-09-02 2011-03-17 Sony Corp 映像／文字同時表示装置及び頭部装着型ディスプレイ
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US20120156652A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
US9189072B2 (en) 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
TW201331787A (zh) * 2011-12-07 2013-08-01 Microsoft Corp 將虛擬資料顯示為列印的內容
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US8970960B2 (en) 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
WO2013163293A1 (en) 2012-04-25 2013-10-31 Kopin Corporation Instant translation system
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US20160078449A1 (en) * 2014-09-11 2016-03-17 Bank Of America Corporation Two-Way Interactive Support
US9739012B1 (en) 2016-02-22 2017-08-22 Honeywell Limited Augmented reality of paper sheet with quality measurement information
US10579162B2 (en) * 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US10373377B1 (en) * 2016-10-26 2019-08-06 Amazon Technologies, Inc. Augmented reality assisted deliveries
US10158634B2 (en) 2016-11-16 2018-12-18 Bank Of America Corporation Remote document execution and network transfer using augmented reality display devices
US10212157B2 (en) 2016-11-16 2019-02-19 Bank Of America Corporation Facilitating digital data transfers using augmented reality display devices
US10943229B2 (en) 2016-11-29 2021-03-09 Bank Of America Corporation Augmented reality headset and digital wallet
US10685386B2 (en) 2016-11-30 2020-06-16 Bank Of America Corporation Virtual assessments using augmented reality user devices
US10600111B2 (en) 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices
US10339583B2 (en) 2016-11-30 2019-07-02 Bank Of America Corporation Object recognition and analysis using augmented reality user devices
US10586220B2 (en) 2016-12-02 2020-03-10 Bank Of America Corporation Augmented reality dynamic authentication
US10607230B2 (en) 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions
US10311223B2 (en) 2016-12-02 2019-06-04 Bank Of America Corporation Virtual reality dynamic authentication
US10481862B2 (en) 2016-12-02 2019-11-19 Bank Of America Corporation Facilitating network security analysis using virtual reality display devices
US10109095B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10109096B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10210767B2 (en) 2016-12-13 2019-02-19 Bank Of America Corporation Real world gamification using augmented reality user devices
US10217375B2 (en) 2016-12-13 2019-02-26 Bank Of America Corporation Virtual behavior training using augmented reality user devices
US11042858B1 (en) 2016-12-23 2021-06-22 Wells Fargo Bank, N.A. Assessing validity of mail item
US10627909B2 (en) * 2017-01-10 2020-04-21 Disney Enterprises, Inc. Simulation experience with physical objects
US11067806B2 (en) 2019-03-19 2021-07-20 Nvidia Corp. Foveated display for augmented reality
US11128538B2 (en) 2019-07-16 2021-09-21 Mastercard International Incorporated Method and system for an interactive, tangible system for visualizing, designing and debugging distributed software applications
US11138803B1 (en) 2020-04-30 2021-10-05 At&T Intellectual Property I, L.P. System for multi-presence interaction with extended reality objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5490239A (en) * 1992-10-01 1996-02-06 University Corporation For Atmospheric Research Virtual reality imaging system
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6064749A (en) * 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US6278479B1 (en) * 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907200B2 (en) 2004-09-15 2011-03-15 Pioneer Corporation Seamless image viewing system and method
EP2423883A2 (en) 2010-08-26 2012-02-29 Canon Kabushiki Kaisha Information processing device and method for mixed reality
US8797355B2 (en) 2010-08-26 2014-08-05 Canon Kabushiki Kaisha Information processing device and method of processing information
JP2014503085A (ja) * 2010-09-20 2014-02-06 コピン コーポレーション ヘッドマウントディスプレイ用のパワーマネージメント機能を備えたブルートゥース（登録商標）などのワイヤレスインターフェース
JP2014215950A (ja) * 2013-04-30 2014-11-17 京セラドキュメントソリューションズ株式会社 印刷プレビュープログラムおよび電子機器
US9185252B1 (en) 2013-04-30 2015-11-10 Kyocera Document Solutions Inc. Electronic device for displaying a print preview
WO2015025442A1 (ja) * 2013-08-20 2015-02-26 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP2015099448A (ja) * 2013-11-18 2015-05-28 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP2017068012A (ja) * 2015-09-30 2017-04-06 京セラドキュメントソリューションズ株式会社 電子書籍表示装置、電子書籍表示方法、及び、電子書籍表示システム
JP2017199085A (ja) * 2016-04-25 2017-11-02 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020173564A (ja) * 2019-04-09 2020-10-22 株式会社エクサ 書類処理支援システム
JP7351633B2 (ja) 2019-04-09 2023-09-27 株式会社エクサ 書類処理支援システム

Also Published As

Publication number Publication date
US6408257B1 (en) 2002-06-18

Similar Documents

Publication Publication Date Title
US6408257B1 (en) Augmented-reality display method and system
JP4663077B2 (ja) オブジェクト検証方法及び拡張現実感ディスプレイシステム
US20210042010A1 (en) 3D Document Editing System
US6115482A (en) Voice-output reading system with gesture-based navigation
US20040032398A1 (en) Method for interacting with computer using a video camera image on screen and system thereof
TW544637B (en) Computer system providing hands free user input via optical means for navigation or zooming
US20150035752A1 (en) Image processing apparatus and method, and program therefor
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
Toyama et al. A mixed reality head-mounted text translation system using eye gaze input
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
US7982751B2 (en) Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2021514089A (ja) 物理的操作を用いたオブジェクト作成
US20200357183A1 (en) Methods, Systems and Apparatuses for Viewing Content in Augmented Reality or Virtual Reality
WO1999021122A1 (en) Voice-output reading system with gesture-based navigation
WO2012040827A2 (en) Interactive input system having a 3d input space
JPH1078845A (ja) 視標追跡主導型テキスト拡大の方法および装置
JPH08106469A (ja) ページめくり表示制御方法および装置
Kjeldsen et al. Design issues for vision-based computer interaction systems
Kjeldsen Head gestures for computer control
CN108027656A (zh) 输入设备、输入方法和程序
Toyama et al. Wearable reading assist system: Augmented reality document combining document retrieval and eye tracking
EP3807745A1 (en) Pinning virtual reality passthrough regions to real-world locations
Blenkhorn et al. Screen magnifiers: Evolution and evaluation
US20190235710A1 (en) Page Turning Method and System for Digital Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100608

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100817