JP2008502206A - デュアル・カメラ入力を用いたセンサ - Google Patents

デュアル・カメラ入力を用いたセンサ Download PDF

Info

Publication number
JP2008502206A
JP2008502206A JP2007515077A JP2007515077A JP2008502206A JP 2008502206 A JP2008502206 A JP 2008502206A JP 2007515077 A JP2007515077 A JP 2007515077A JP 2007515077 A JP2007515077 A JP 2007515077A JP 2008502206 A JP2008502206 A JP 2008502206A
Authority
JP
Japan
Prior art keywords
image
camera
motion
display
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007515077A
Other languages
English (en)
Inventor
和幸 橋本
Original Assignee
エレクトロニック アーツ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エレクトロニック アーツ インコーポレイテッド filed Critical エレクトロニック アーツ インコーポレイテッド
Publication of JP2008502206A publication Critical patent/JP2008502206A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Abstract

２つのカメラを使用したポータブル・デバイスの動きを検出する。第１のカメラは、第１の視軸に沿った方向に向けられ、第２のカメラは、第１の視軸とは異なる第２の視軸の方向に向けられる。第２の視軸は、第１の視軸に対して反対方向にすることができる。動き処理部は、第１のカメラからの画像の変化、および第２のカメラからの画像の変化を決定する。動き処理部は、第１のカメラ画像から決定された変化の方向を、第２のカメラ画像から決定された変化の方向と比較する。動き処理部は、この比較に基づいて、ポータブル・デバイスの動きを決定する。

Description

本発明は、デュアル・カメラ入力を用いたセンサに関する。
装置（デバイス（device))の動きの検出は、集中的な数値処理が必要となる時間のかかる作業となりうる。また、動き検出は、デバイスの動きの全体的な測定だけしか提供しないことがある。持ち運びできる物体の動きの検出は、コストの高いハードウェア、および複雑な数値処理技術が必要になることがある。
グローバル・ポジショニング・システム（ＧＰＳ）またはハイブリッド位置決定システムによって行われるような、位置の三角測量（trilateration)を用いた動き検出は、ポータブル・デバイスの動きを検出するためには不十分なことがある。ＧＰＳシステムまたはハイブリッド位置決定システムは、通常、ポータブル・デバイスの動きを検出するためには不十分な精度を備える。ＧＰＳは、初期の位置決定を得るために多大な時間を要することがある。更に、ＧＰＳシステムまたはハイブリッド位置決定システムは、通常、ポータブル・デバイスの回転運動を決定することができない。
ジャイロスコープを組み込んだ動き検出システムは、ポータブル・デバイスの動きを検出するために使用されうる。しかし、このようなシステムは、通常はコストが高く、低コスト設計には適切ではない。動き検出に使用されるジャイロスコープに関連するコストは、ポータブル・デバイス全体の認められる価値を上回ることがある。
複数のカメラを用いたデバイスの動き検出が、開示される。第１のカメラは、第１の視軸に沿った方向に向けることができ、第２のカメラは、第１の視軸とは異なる第２の視軸の方向に向けることができる。第２の視軸は、第１の視軸の実質的に反対方向にすることができる。プロセッサは、第１のカメラからの画像の変化、および第２のカメラからの画像の変化を決定することができ、この決定では、それぞれの変化の方向を決定する。プロセッサは、第１のカメラ画像から決定された変化の方向を、第２のカメラ画像から決定された変化の方向と比較することができる。次いで、プロセッサは、この比較に部分的に基づいてデバイスの動きを決定することができる。
本発明の一態様は、動き検出デバイスを含む。前記動き検出デバイスは、第１の視軸に沿って画像を取り込むように構成された第１のカメラと、第１の視軸とは異なる第２の視軸に沿って画像を取り込むように構成された第２のカメラと、第１のカメラおよび第２のカメラからの画像に部分的に基づいて、デバイスの動きを決定するように構成された動き処理部とを含むことができる。
別の態様では、本発明は、動き検出デバイスを含む。前記動き検出デバイスは、デバイスの前面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第１のカメラと、デバイスの後面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第２のカメラと、第１のカメラおよび第２のカメラからの画像に部分的に基づいて、デバイスの動きを決定するように構成され、デバイスの動きに部分的に基づいて、表示画像を生成するように更に構成された動き処理部と、動き処理部により生成された表示画像を表示するように構成されたディスプレイとを含むことができる。
更に別の態様では、本発明は、動き検出システムを含む。前記システムは、第１の視軸に沿って配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、第１の視軸とは異なる第２の視軸に沿って配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に部分的に基づいて、動きパラメータを決定するように構成された動き処理部と、動きパラメータを処理し、動きパラメータに部分的に基づいて表示信号を生成するように構成された基地装置と、基地装置によって生成された表示信号を表示するように構成されたディスプレイとを含むことができる。
更に別の態様では、本発明は、動き検出方法を含むことができる。前記方法は、第１のカメラから複数の画像を受け取ること、第２のカメラから複数の画像を受け取ること、第１のカメラ画像に部分的に基づいて第１の画像並進移動を決定すること、第２のカメラ画像に部分的に基づいて第２の画像並進移動を決定すること、第１の画像並進移動を第２の画像並進移動と比較すること、および、その比較に部分的に基づいてデバイスの動きを決定することを含むことができる。
更に別の態様では、本発明は、動き検出方法を含むことができる。前記方法は、第１の視軸に沿って取り込まれた画像、および第１の視軸の実質的に反対方向の第２の視軸に沿って取り込まれた画像から決定された、動きパラメータを受け取ること、複数の記憶された画像から表示画像を取り出すこと、動きパラメータに少なくとも部分的に基づいて表示画像を修正すること、ならびに、修正された表示画像をポータブル・デバイスに通信することを含むことができる。
更に別の態様では、本発明は、１つまたは複数のプロセッサによって実行される１つまたは複数のプロセッサ読取り可能命令を記憶するように構成された、１つまたは複数のプロセッサ読取り可能ストレージ・デバイスを含むことができ、これらの命令は、プロセッサに方法を実行するように指示する。前記方法は、第１のカメラから複数の画像を受け取ること、第２のカメラから複数の画像を受け取ること、第１のカメラ画像に部分的に基づいて第１の画像並進移動を決定すること、第２のカメラ画像に部分的に基づいて第２の画像並進移動を決定すること、第１の画像並進移動を第２の画像並進移動と比較すること、および、その比較に部分的に基づいてデバイスの動きを決定することを含むことができる。
更に別の態様では、本発明は、１つまたは複数のプロセッサによって実行される１つまたは複数のプロセッサ読取り可能命令を記憶するように構成された、１つまたは複数のプロセッサ読取り可能ストレージ・デバイスを含むことができ、前記命令は、プロセッサに方法を実行するように指示する。前記方法は、第１の視軸に沿って取り込まれた画像、および実質的に第１の視軸の反対方向の第２の視軸に沿って取り込まれた画像から決定された、動きパラメータを受け取ること、複数の記憶された画像から表示画像を取り出すこと、動きパラメータに少なくとも部分的に基づいて表示画像を修正すること、ならびに、修正された表示画像をポータブル・デバイスに通信することを含むことができる。
本発明の実施形態の特徴、目的、および利点は、以下に示される詳細な説明から、より明らかとなる。
動き検出機能を有するポータブル・デバイス、および、ポータブル・デバイスの動きを検出する方法が開示される。このデバイスおよび方法は、別々の視軸に沿って配置された複数のカメラから取り込まれた画像を使用する。複数のカメラから取り込まれた画像は、変化の方向を決定するために処理されうる。第２のカメラから取り込まれた画像の変化の方向に対する第１のカメラから取り込まれた画像の変化の方向は、デバイスの動きを検出するために使用されうる。
図１は、動き検出デバイス１００の機能ブロック図である。デバイス１００は、動き処理モジュール（処理部）１５０に結合された第１のカメラおよび第２のカメラ１２０を含む。動き処理モジュール１５０は、例えば、入出力（Ｉ／Ｏ）、コントローラ１５２、およびプロセッサ１５４を含むことができる。動き処理モジュール１５０は、メモリ１６０に結合することができ、かつ通信インターフェース１７０に結合することができる。動き処理モジュール１５０はまた、ディスプレイ１３０および入出力装置１４０に結合することができる。
動き検出デバイス１００は、第１のカメラ１１０および第２のカメラ１２０によって取り込まれた画像に部分的に基づいて、デバイスの動きを検出するように構成されうる。第１のカメラ１１０は、第１の視軸に沿って配置することができ、視軸は、カメラ内の撮像素子から、カメラによって取り込まれた画像の中心へ延びるラインを含むことができる。第２のカメラ１２０は、第２の視軸に沿って配置することができる。第１の視軸は、第２の視軸とは異なることが好ましい。一実施形態では、第２のカメラ１２０は、第１の視軸の実質的に反対方向の第２の視軸に沿って配置することができる。つまり、第１のカメラ１１０がデバイス１００の前面から画像を取り込む場合、第２のカメラ１２０は、デバイス１００の背部から画像を取り込むように配置することができる。カメラ１１０とカメラ１２０が実質的に反対方向に配置されない場合、実質的に直交軸にある視軸でカメラ１１０とカメラ１２０を配置することは有利になりうる。しかし、カメラ１１０および１２０によって取り込まれた画像が完全には相関しないとすれば、任意の２本の視軸が許容されうる。
カメラ１１０および１２０は、アナログ・カメラであってもデジタル・カメラであってもよく、各カメラは、同じであっても互いに異なっていてもよい。カメラ、例えば１１０は、例えば、アナログ・カメラ、電荷結合素子（ＣＣＤ）カメラ、およびＣＭＯＳカメラなど、または、画像を取り込むための他の何らかのデバイスとすることができる。また、カメラ１１０および１２０は、可視画像を取り込むことができ、あるいは、可視スペクトルの外側の画像を取り込むように構成されてもよい。カメラ、例えば１１０は、例えば、可視光カメラおよび赤外線カメラなど、または、画像を取り込むための他の何らかのデバイスとすることができる。
第１のカメラ１１０は、連続画像を取り込むように構成されてもよく、第２のカメラ１２０もまた、連続画像を取り込むように構成されてもよい。カメラが連続的に画像を取り込む場合において、２つの異なる時点で取り込まれた画像が、連続画像とみなされうる。第１のカメラ１１０によって取り込まれる第１の画像が、第２のカメラ１２０によって取り込まれる第１の画像とほぼ同時に取り込まれることは、有利でありうる。同様に、第１のカメラ１１０によって取り込まれる第２または後続の画像が、第２のカメラ１２０によって取り込まれる画像とほぼ同時に取り込まれることは、有利でありうる。第１のカメラ１１０からの画像から、第２のカメラ１２０からのそれに相当する画像までの間の時間は、１秒未満であるべきであり、好ましくは、５００ミリ秒、２５０ミリ秒、２００ミリ秒、１５０ミリ秒、１００ミリ秒、５０ミリ秒、２５ミリ秒、または１０ミリ秒未満である。したがって、例えば、第１の画像が第１のカメラ１１０によって取り込まれる時間と、第１の画像が第２のカメラ１２０によって取り込まれる時間との差は、２５０ミリ秒未満でありうる。
カメラ１１０および１２０によって取り込まれた画像は、動き処理モジュール１５０に通信される。動き処理モジュールは、取り込み画像に基づいて、その発信元のカメラの相対的な動きの方向を決定することができる。例えば、第２の画像の第１の画像に対する左並進移動は、カメラが、画像に対して右に移動したことを表すことができる。あるいは、左並進移動は、画像におけるオブジェクトの移動を表すことができる。動き処理モジュール１５０は、それらの画像を処理し、第１のカメラ１１０によって取り込まれた連続画像に部分的に基づいて、第１のカメラ１１０の動きの相対的方向を決定することができる。同様に、動き処理モジュール１５０は、第２のカメラ１２０からの連続画像を処理し、それらの画像に部分的に基づいて、第２のカメラ１２０の動きの相対的方向を決定することができる。次いで、動き処理モジュール１５０は、第１のカメラ１１０の動きの方向を、第２のカメラ１２０の動きの方向と比較し、この比較に少なくとも部分的に基づいて、デバイス１００の動きを決定する。動き検出の更なる説明を、図４〜８に関連して以下で示す。
動き処理モジュール１５０はまた、通信インターフェース１７０を介して基地装置（図示せず）から信号を受け取ることができる。受け取られた信号は、ディスプレイ１３０に出力するための信号の全部または一部分でありうる。動き処理モジュール１５０は、信号をディスプレイ１３０に出力することができる。ディスプレイは、例えば、ビデオ・ディスプレイ、ＣＲＴディスプレイ、液晶ディスプレイ、プラズマ・ディスプレイ、および発光アレイなど、または、ディスプレイを提供するための他の何らかのデバイスとすることができる。
動き処理モジュール１５０はまた、通信インターフェース１７０を介して他のデバイス（図示せず）に信号を出力する。例えば、動き処理モジュール１５０は、他のデバイスに、検出された動きを表す信号を提供することができる。更に、動き処理モジュール１５０は、１つまたは複数の入出力装置１４０を介してユーザ入力を受け取ることができ、ユーザ入力信号に部分的に基づいて他のデバイスに信号を提供することができる。Ｉ／Ｏ入出力装置１４０には、キー、キーパッド、ボタン、ジョイ・スティック、キーボード、スイッチ、ダイアル、ノブ、マイクロフォン、およびタッチ・スクリーンなど、または、入力を受け取るための他の何らかのデバイスが含まれうる。
デバイス１００は、デバイス１００からの信号出力に少なくとも部分的に基づいて作成された信号を、通信インターフェースを介して受け取ることができる。一実施形態では、デバイス１００は、検出された動きに対応する信号を出力し、検出された動き信号に基づいて修正された表示信号を受け取る。
別の実施形態では、デバイス１００は、１つまたは複数のカメラ１１０および１２０から取り込まれた画像を出力し、また、検出されたデバイスの動きも出力する。次いで、デバイス１００は、出力信号に少なくとも部分的に基づいて修正された信号を受け取ることができる。受け取られた信号は、ディスプレイ１３０に出力される表示信号、および他の出力信号を含むことができる。
更に別の実施形態では、デバイス１００は、１つまたは複数のカメラ１１０および１２０からの取り込み画像を出力し、また、検出されたデバイスの動きも出力する。次いで、デバイス１００は、デバイス１００からの信号出力に基づく拡張現実感画像信号（augmented reality image signal)を受け取ることができる。代替として、デバイス１００それ自体が、拡張現実感画像(augmented reality image)を生成することができる。
次いで、動き処理モジュール１５０は、ディスプレイ１３０に拡張現実感画像を出力することができる。拡張現実感画像は、合成または仮想画像を含むように修正された取り込み画像とすることができる。この拡張された画像は、取り込み画像上に重ね合わされた合成画像を含むことができる。したがって、カメラ、例えば１２０によって取り込まれた画像は、取り込み画像内に存在しない仮想画像を含むように修正されうる。修正された画像は、ディスプレイ１３０を介してユーザに表示されうる。
別の実施形態では、デバイス１００は、ハンドヘルド・デバイスとすることができ、第１のカメラ１１０は、ユーザが一般的な方向で持ったとき、ユーザの顔の画像を取り込むように構成されうる。次いで、動き処理モジュール１５０は、取り込み画像に少なくとも部分的に基づいて、ユーザの顔までの距離を決定することができる。例えば、第１のカメラ１１０は、ユーザの顔の画像を含む画像を取り込むことができる。動き処理モジュール１５０は、画像を処理して、ユーザの目に対応する画像内の点を突き止めることができる。動き処理モジュール１５０は、例えば、目の間の距離を決定し、ユーザからデバイス１００までの距離を推定することができる。
更に別の実施形態では、第１のカメラ１１０は、ユーザの顔の少なくとも２つの画像を取り込むように構成されうる。次いで、動き処理モジュール１５０は、２つの取り込み画像の差異に少なくと部分的に基づいて、ユーザの顔までの距離の変化を決定することができる。例えば、第１のカメラ１１０は、ユーザの顔の画像を含む画像を取り込むことができる。動き処理モジュール１５０は、画像を処理して、ユーザの目に対応する画像内の点を突き止めることができる。動き処理モジュール１５０は、目の間の相対距離を決定する。例えば、相対距離は、ピクセル数としても、全画像幅についての比率としてもよい。動き処理モジュール１５０は、第２の取り込み画像について、目の相対距離の測定を繰り返すことができる。次いで、動き処理モジュール１５０は、２つの相対距離を比較して、デバイス１００に対するユーザの距離の変化を推定することができる。
図１および後続の図に示される様々なモジュールは、ハードウェア、１つまたは複数のプロセッサによって実行されるソフトウェア、あるいは、ハードウェアとプロセッサによって実行されるソフトウェアとの組み合わせとして実装することができる。ソフトウェアは、プロセッサ読取り可能ストレージ・デバイス内に記憶された１つまたは複数のプロセッサ読取り可能命令を含むことができる。１つまたは複数の命令は、モジュールに関連する機能の一部または全部を実行するために、１つまたは複数のプロセッサによって実行することができる。
プロセッサ読取り可能ストレージ・デバイスは、メモリ１６０を含むことができる。メモリ１６０には、ＲＯＭ、ＲＡＭ、不揮発性ＲＡＭ、フラッシュ、磁気メモリ、光メモリ、フロッピー（登録商標）・ディスク、記憶テープ、ＣＤ−ＲＯＭ、およびＤＶＤなど、あるいは、命令、データ、または命令およびデータを記憶するための他の何らかのデバイスが含まれうる。
図２は、動き検出システム２００の機能ブロック図であり、動き検出システム２００は、基地装置２５０と通信する複数のリモート・デバイス１００ａおよび１００ｂを有する。図２に示される実施形態では、第１のリモート・デバイス１００ａは、基地装置２５０と直接結合され直接通信する。第２のリモート・デバイス１００ｂは、ネットワーク２２０を使用して、基地装置と結合され通信する。リモート・デバイス１００ａおよび１００ｂのそれぞれは、例えば、図１の動き検出デバイスでありうる。
基地装置２５０は、１つまたは複数のリモート・デバイス１００ａ〜１００ｂに１つまたは複数のインターフェースを提供するように構成された通信インターフェース２５２を含むことができる。通信インターフェース２５２は、プロセッサ２５４に結合することができる。プロセッサ２５４はまた、メモリ２５６およびストレージ・デバイス２５６に結合することができる。ストレージ・デバイス２５８は、前述のように任意のタイプのプロセッサ読取り可能メモリを含むことができる。
リモート・デバイス１００ａおよび１００ｂは、同じタイプのデバイスであっても異なるタイプのデバイスであってもよい。リモート・デバイス、例えば１００ａは、ポータブル・デバイスであることが有利となりうる。一実施形態では、リモート・デバイス１００ａは、ゲーム・コントローラのような携帯ゲーム装置とすることができる。別の実施形態では、リモート・デバイス１００ａは、ポータブル・コンピュータとすることができる。更に他の実施形態では、リモート・デバイス１００ａは、携帯情報端末、計算機、電話、または他の何らかのタイプのポータブル・デバイスとすることができる。
同様に、基地装置２５０は、ゲーム・コンソール、コンピュータ、サーバ、基地局、ホスト、および複数のコンピュータなど、または、他の何らかのデバイスとすることができる。いくつかの実施形態では、基地装置２５０は、別のリモート・デバイスとすることができる。
第１のリモート・デバイス１００ａと基地装置２５０との間の接続は、有線接続、無線接続、または有線接続と無線接続の何らかの組み合わせとすることができる。有線接続には、電気的接続、機械的接続、および光学的接続など、または、第１のリモート・デバイス１００ａを基地装置２５０に通信できるように結合する他の何らかの様式が含まれうるが、これらに限定されない。無線接続には、ＲＦ接続、マイクロ波接続、光リンク、赤外線リンク、およびオーディオ・リンクなど、または、第１のリモート・デバイス１００ａを基地装置２５０に通信できるように結合する他の何らかの様式が含まれうるが、これらに限定されない。
第２のリモート・デバイス１００ｂを基地装置２５０に接続するネットワーク２２０は、私設網であっても、公衆網であってもよい。更に、ネットワークは、有線ネットワーク、無線ネットワーク、または、有線ネットワークと無線ネットワークの何らかの組み合わせであってよい。ネットワークはまた、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、または広域ネットワーク（ＷＡＮ）であってよい。一実施形態では、ネットワーク２２０は、住居内の無線ＬＡＮとすることができる。別の実施形態では、ネットワーク２２０は、インターネットとすることができる。
通信インターフェース２５２は、２つのリモート・デバイス１００ａおよび１００ｂのみに接続されて示されているが、通信インターフェース２５２は、それぞれ１つまたは複数のリモート・デバイスに接続することができる単一のポートまたは複数のポートを有してもよい。
図２の動き検出システムでは、リモート・デバイス、例えば１００ａの動きは、完全にリモート・デバイス１００ａ内において、完全に基地装置２５０内において、または、リモート・デバイス１００ａおよび基地装置２５０にわたり分散して、検出されうる。
例えば、一実施形態では、基地装置２５０は、第１のリモート・デバイス１００ａにおけるカメラによって取り込まれた画像を受け取ることができる。次いで、基地装置２５０は、取り込み画像に部分的に基づいて、第１のリモート・デバイス１００ａの動きを決定することができる。次いで、基地装置２５０は、取り込み画像および検出された動きに基づいて、表示画像を、第１のリモート・デバイス１００ａに提供することができる。次いで、基地装置２５０は、例えば、第１のリモート・デバイス１００ａ上に表示される拡張現実感画像を提供することができる。
別の実施形態では、第１のリモート・デバイス１００ａは、画像を取り込み、その動きを、取り込み画像に部分的に基づいて検出することができる。第１のリモート・デバイス１００ａは、検出された動き、および取り込み画像のサブセットを、基地装置２５０に通信することができる。例えば、第１のリモート・デバイス１００ａは、複数のカメラの１つから取り込まれた画像のサブセットのみを、通信することができる。次いで、基地装置２５０は、検出された動きを受け取り、取り込み画像のサブセットを受け取り、受け取った動きおよび画像に部分的に基づいて、信号をリモート・デバイス１００ａに提供することができる。例えば、基地装置２５０は、受け取った検出された動きの信号、および受け取った画像のサブセットに部分的に基づいて、拡張現実感表示画像を、リモート・デバイス１００ａに提供することができる。
更に、基地装置２５０は、受け取った取り込み画像に部分的に基づいて、第１のリモート・デバイス１００ａのそのユーザからの距離を推定し、推定距離に部分的に基づいて修正された表示画像を提供することができる。代替として、リモート・デバイス１００ａが、そのユーザからの距離を推定し、推定値を基地装置２５０に通信することができる。基地装置２５０は、距離推定値を受け取り、距離推定値に部分的に基づいて表示画像を生成し、表示画像をリモート・デバイス１００ａに提供することができる。
更に別の実施形態では、基地装置２５０は、取り込み画像、検出された動き、およびユーザ距離推定値の組み合わせを、第１のリモート・デバイス１００ａから受け取り、受け取った信号に部分的に基づいて、表示画像を生成することができる。基地装置２５０は、１つまたは複数のリモート・デバイス、例えば１００ｂに、表示画像を通信することができ、このような１つまたは複数のリモート・デバイスには、第１のリモート・デバイス１００ａが含まれても含まれなくてもよい。
一実施形態では、図２の動き検出システムは、ビデオ・ゲーム・システムとすることができる。リモート・デバイス１００ａおよび１００ｂは、ビデオ・ゲーム・システム用の携帯コントローラであってよく、基地装置２５０は、ビデオ・ゲーム・コンソールまたはゲーム・プロセッサとすることができる。基地装置２５０内のストレージ・デバイス２５８は、例えば、ビデオ・ゲームまたは対話型プレーヤ・ゲームを記憶しているコンパクト・ディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）ような１つまたは複数の光ディスクとインターフェースをとるように構成された、光ディスク・リーダとすることができる。
リモート・デバイス１００ａおよび１００ｂのそれぞれは、ユーザの方向に向けられた面に配置されたビデオ・ディスプレイ１３０を有する携帯コントローラとすることができる。リモート・デバイス１００のための入出力装置１４０は、ボタン、スイッチ、または、例えばユーザの親指または他の指からユーザ入力を受け入れるように配置され構成された装置とすることができる。第１のカメラ１１０は、携帯コントローラの上部中央に配置することができ、ディスプレイ１３０の方向と合致する視軸を有することができる。第２のカメラ１２０は、第１のカメラ１１０の反対方向に配置することができ、第１のカメラ１１０の視軸の実質的に反対方向の視軸を有することができる。
ストレージ・デバイス２５８から再生されるゲームは、例えば、対話型レース・ゲームや対話型路上運転ゲームのようなドライブ・ゲームとすることができる。基地装置２５０またはゲーム・コンソールは、ビデオ表示情報やオーディオ情報などの情報を、携帯コントローラに送ることができる。システムは、携帯コントローラの動きを検知するために、複数のカメラを使用することができる。例えば、携帯コントローラは、ハンドルとして動作することができ、システムは、いつ携帯コントローラが回転させられたかを決定することができる。回転は、ゲーム・システムによってハンドルの回転として解釈することができる。次いで、ゲーム・コンソールは、検知された動きに基づいて、ビデオおよびオーディオ情報を修正することができる。例えば、システムは、携帯コントローラの動きを検知し、ユーザが、携帯コントローラを選択的に回転させることによって、コースをドライブすることを可能にすることができる。
ストレージ・デバイス２５８から表示されうる別のゲームは、例えば、拡張現実感ゲームとすることができる。ユーザは、携帯コントローラの第２のカメラ１２０を、地図、画像、またはライブ・ビューなどのシーンに向けることができる。携帯コントローラ上のディスプレイ１３０は、基地装置２５０ゲーム・コンソールからの１つまたは複数の画像によって拡張された、第２のカメラ１２０によって取り込まれた画像を、表示することができる。
システムは、携帯コントローラの動き、および、第２のカメラ１２０によって取り込まれた画像を監視し、取り込まれた画像および検知された動きに応答して、拡張現実感信号を携帯コントローラに提供することができる。したがって、例えば、ディスプレイ１３０は、ゲーム・コンソールによって提供された情報に基づいて拡張現実感画像が挿入された、第２のカメラ１２０によって取り込まれた画像を、表示することができる。屋外のゲーム設定においては、このようなゲームは、ユーザが、屋内または屋外の設定などの現実的環境を歩き回り、拡張現実感を用いて対話的ゲーム体験を有することを可能にする。このようなゲームには、例えば、ハンティング・ゲームまたは戦闘ゲームが含まれうる。拡張現実感の動物または戦闘員には、例えば、第２のカメラ１２０によって取り込まれた画像を追加することができる。
図３Ａ〜３Ｄは、図１の動き検出デバイスでありうる動き検出デバイス１００の一実施形態の図である。図３Ａは、動き検出デバイス１００の正面図であり、デバイス１００の中央上部にある第１のカメラ１１０の位置、およびデバイス１００の前面に配置されたディスプレイ１３０を示す。デバイス１００の前面はまた、フロント・パネルの左側に配置された第１のユーザ入力装置１４０ａ、および、フロント・パネルの右側に配置された第２のユーザ入力装置１４０ｂを含むことができる。第１のユーザ入力装置１４０ａは、ナビゲーション・パッドとして示され、第２のユーザ入力装置１４０ｂは、ボタンの集まりとして示されている。
図３Ｂは、動き検出デバイス１００の背面図であり、バック・パネルのほぼ中心線上に配置された第２のカメラ１２０の位置を示す。第１のカメラ１１０の視軸は、第２のカメラ１２０の視軸の実質的に反対方向である。２本の視軸は、同じラインに沿っていないが、実質的に平行である。
図３Ｃは、説明のために、直交座標系における動き検出デバイス１００の方向を示す。後続の図において参照される方向は、図３Ｃに示される方向を参照している。図３Ｃに示されるように、動き検出デバイス１００の前面は、正のｘ方向に向き、動き検出デバイス１００の背面は、負のｘ方向に向く。したがって、第１の視軸は、＋ｘ方向であると記述することができ、第２の視軸は、−ｘ方向であると記述することができる。
図３Ｄは、ユーザと関連して動き検出デバイス１００の一実施形態を示す。典型的な構成では、デバイス１００のフロント・パネルは、ユーザの正面に向いている。ユーザは、ディスプレイ１３０を見ることができ、デバイス１００のフロント・パネル上のカメラ１１０は、通常、ユーザの顔の画像を取り込むことができる。
拡張現実感の実施形態では、デバイス１００の図３Ｄに図示されていないバック・パネル上のカメラ１２０が、ユーザの視野内にある画像を取り込むことができる。次いで、システムは、このデバイス、基地装置、またはこれらの組み合わせを使用して、拡張現実感画像をディスプレイ１３０に表示することができる。デバイス１００からユーザまでの距離を推定することによって、ディスプレイ１３０上に示される画像のサイズを決めることができる。システムは、ユーザがディスプレイを見るときに透明な窓を通して見ているかのように、画像サイズが見えるよう調整することができる。しかし、システムは、拡張現実感環境を提供するために、表示される画像に仮想または合成画像を追加することができる。
図４〜８は、１対のカメラによって取り込まれうる画像の例を示す。これらのカメラは、第１のカメラがデバイスの前面に、第２のカメラがデバイスの背面にあるように構成される。これらの画像は、動き検出をデバイスがどのように行うかを例示するのを助けるために用いられる。これらの図は、２つの別個のカメラによって取り込まれた第１および第２の画像を示す。前述のように、後向きカメラによって取り込まれる第１および第２の画像がそれぞれ、前向きカメラによってその第１および第２の画像が取り込まれるのと実質的に同時に取り込まれることは、有利でありうる。また、カメラによって取り込まれる第２の画像は、カメラによって取り込まれる次の画像である必要はない。代わりに、第２の画像とは、カメラによって取り込まれる任意の後続の画像を示すことができる。
図４Ａ〜４Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の例を示す。これらの画像は、デバイスの水平並進移動を例示する。水平並進移動とは、図３Ｃの座標系を用いると、＋ｙまたは−ｙ方向に沿った移動を指すことができる。
図４Ａは、前向きカメラによって取り込まれうる第１の画像４００を示す。用語の第１とは、後続画像と相対的な参照を提供するために使用される相対的な用語である。前向きカメラからの第１の画像４００は、画像内にオブジェクト４０２を示す。図４Ｂは、前向きカメラによって取り込まれた第２の画像４１０を示す。同じオブジェクト４０２は、第２の画像４１０内に現れることができ、第１の画像４００におけるオブジェクト４０２に対し、並進移動させることができる。オブジェクト４０２は、左に移動したものとして例示されている。動き検出デバイスは、２つの画像４００と４１０を比較することによって、動きの方向を決定することができる。動き検出デバイスは、画像について詳細な決定をする必要はない。動き検出デバイスは、画像並進移動があったこと、および画像並進移動の方向だけを決定すればよい。もちろん、動き検出デバイスは、追加の画像解析を行ってもよく、並進移動の方向に加え、並進移動のおおよその大きさを決定してもよい。前向きカメラの取り込み画像におけるオブジェクト４０２は、左に並進移動されるため、動き検出デバイスは、デバイスの動きの方向が、左向きであると決定することができる。ただし、動き検出デバイスは、後向きカメラによって取り込まれた画像を解析することなしに、動きの決定をすることができないことがある。
図４Ｃは、後向きカメラによって取り込まれた第１の画像４２０を示す。第１の画像４２０はまた、画像４２０内にオブジェクト４１２を示す。図４Ｄは、後向きカメラによって取り込まれた第２の画像４３０を示す。第２の画像４３０は、第１の画像４２０内と同様にオブジェクト４１２を示すが、オブジェクト４１２は一方の側に並進移動されている。後向きカメラによって取り込まれたオブジェクト４１２は、右に並進移動されたものとして示されている。したがって、動き検出デバイスは、デバイスの動きの方向が左向きであることを決定することができる。
これらの取り込み画像におけるオブジェクトは、反対方向に並進移動されたように見えるが、２つのカメラは、反対方向に向いているため、動き検出デバイスは、動きの方向が同じであると決定することができる。動き検出デバイスが、２つのカメラによって検知された動きの方向が同じであると決定したので、動き検出デバイスは、デバイスが左に並進移動されたと決定することができる。代替として、動き検出デバイスは、第１のカメラからの画像から画像並進移動の方向を決定してもよい。動き検出デバイスはまた、第２のカメラからの画像から画像並進移動の方向を決定することもできる。動き検出デバイスは、画像並進移動の２つの方向を比較し、デバイスの動きの方向を決定することができる。
図５Ａ〜５Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスの垂直並進移動を例示する。
図５Ａは、前向きカメラによって取り込まれた第１の画像５００を示す。第１の画像５００は、画像５００内にオブジェクト５０２を示す。図５Ｂは、前向きカメラによって取り込まれた第２の画像５１０を示す。第２の画像５１０は、第１の画像５００に示されるのと同じオブジェクト５０２を示すが、オブジェクト５０２は、下方に並進移動されている。したがって、動き検出デバイスは、動きの上方向を決定することができる。
図５Ｃは、後向きカメラによって取り込まれた第１の画像５２０を示す。第１の画像５２０は、画像５２０内にオブジェクト５１２を示す。図５Ｄは、後向きカメラによって取り込まれた第２の画像５４０を示す。第２の画像５４０は、後向きカメラの第１の画像５２０に示されるのと同じオブジェクト５１２を示す。ただし、この画像は、下方に並進移動され、デバイスの動きの上方向を表している。
動き検出デバイスは、２組の画像から画像並進移動の方向を比較して、デバイスの動きを決定することができる。取り込み画像が、両方のカメラについて下方への画像並進移動を示したので、デバイスの動きは、上方並進移動であると決定することができる。代替として、動き検出デバイスは、動きの方向を比較し、デバイスの動きを決定することができる。動き検出デバイスが、両組の画像から、動きの上方向を決定したので、動き検出デバイスは、動きが上方並進移動であると決定することができる。
図６Ａ〜６Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスのねじれ並進移動を例示する。また、ねじれ並進移動は、動き検出デバイスの回転とみなすことができる。回転は、ｘ方向に延びる回転軸に沿って発生する。
図６Ａは、前向きカメラによって取り込まれた第１の画像６００を示す。第１の画像６００は、画像６００内にオブジェクト６０２を示す。図６Ｂは、前向きカメラによって取り込まれた第２の画像６１０を示す。第２の画像６１０は、第１の画像６００に示されるのと同じオブジェクト６０２を示すが、オブジェクト６０２は、カメラの視軸について反時計回りに回転させられている。これは、動き検出デバイスの反時計回りの回転に対応し、ここでは、方向は、デバイスの前方から見られた場合の反時計回りを示す。したがって、動き検出デバイスは、動きの方向として反時計回りの回転を決定することができる。
図６Ｃは、後向きカメラによって取り込まれた第１の画像６２０を示す。後向きカメラからの第１の画像６２０は、画像６２０内にオブジェクト６１２を示す。図６Ｄは、後向きカメラによって取り込まれた第２の画像６４０を示す。第２の画像６４０は、後向きカメラの第１の画像６２０に示されるのと同じオブジェクト６１２を示す。ただし、この画像は、視軸について時計回りに回転され、動きの方向としてデバイスの反時計回りの回転を表している。
上述のように、動き検出デバイスは、２組の画像から画像並進移動の方向を比較して、デバイスの動きを決定することができる。取り込み画像は、２つのカメラについて反対方向の画像回転を示したため、デバイスの動きは、回転であると決定することができる。この回転の方向は、前面カメラにより示された回転の方向と同じであり、この例では、反時計回りである。
代替として、動き検出デバイスは、動きの方向を比較し、デバイスの動きを決定することができる。動き検出デバイスが、両組の画像から動きの反時計回りの方向を決定したので、動き検出デバイスは、動きがカメラの視軸に沿って反時計回りの回転であったと決定することができる。
図７Ａ〜Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、動き検出デバイスの回転を例示する。回転は、ｚ方向に延びる回転軸に沿って発生する。
図７Ａは、前向きカメラによって取り込まれた第１の画像７００を示す。第１の画像７００は、画像７００内にオブジェクト７０２を示す。図７Ｂは、前向きカメラによって取り込まれた第２の画像７１０を示す。第２の画像７１０は、第１の画像７００に示されるのと同じオブジェクト７０２を示すが、オブジェクト７０２は、画像の右側に並進移動されている。この並進移動は、動き検出デバイスの右側への水平並進移動に対応しうる。したがって、動き検出デバイスは、動きの方向は、右向きであると決定することができる。
図７Ｃは、後向きカメラによって取り込まれた第１の画像７２０を示す。後向きカメラからの第１の画像７２０は、画像７２０内にオブジェクト７１２を示す。図７Ｄは、後向きカメラによって取り込まれた第２の画像７４０を示す。第２の画像７４０は、後向きカメラの第１の画像７２０に示されるのと同じオブジェクト７１２を示す。ただし、この画像は、右に水平に並進移動されている。この水平並進移動は、動きの方向が、水平に左向きであることを表すことができる。
したがって、取り込み画像におけるオブジェクトは、同じ方向に並進移動されたように見えるが、２つのカメラは、反対方向に向いているため、動き検出デバイスは、動きの反対方向を決定する。動き検出デバイスは、前向きカメラの動きの方向が右であるが、後向きカメラの動きの方向が左であることを決定する。動き検出デバイスが、２つのカメラの動きの方向が反対方向であると決定したので、動き検出デバイスは、デバイスがｚ軸について回転したと決定することができる。動き検出デバイスは、更に、デバイスが上方から見られた場合に回転は反時計回りであると、動きの方向から決定することができる。
代替として、動き検出デバイスは、画像並進移動の方向に基づいて、デバイスの移動を決定することができる。動き検出デバイスは、画像並進移動の２つの方向を比較し、デバイスの動きの方向を決定することができる。したがって、前面および背面カメラ画像の両方において画像は右に並進移動したので、デバイスは、上方から見られた場合のデバイスの反時計回りの回転に対応する移動を、決定することができる。
図８Ａ〜８Ｄは、前向きカメラおよび後向きカメラによって取り込まれた画像の更なる例を示す。これらの画像は、ｙ軸に沿った回転軸についての動き検出デバイスの回転を例示する。
図８Ａは、前向きカメラによって取り込まれた第１の画像８００を示す。第１の画像８００は、画像８００内にオブジェクト８０２を示す。図８Ｂは、前向きカメラによって取り込まれた第２の画像８１０を示す。第２の画像８１０は、第１の画像８００に示されているのと同じオブジェクト８０２を示すが、オブジェクト８０２は、上方に並進移動されている。したがって、動き検出デバイスは、動きのデバイスの方向が下方であると決定することができる。
図８Ｃは、後向きカメラによって取り込まれた第１の画像８２０を示す。第１の画像８２０は、画像８２０内にオブジェクト８１２を示す。図８Ｄは、後向きカメラによって取り込まれた第２の画像８４０を示す。第２の画像８４０は、後向きカメラの第１の画像８２０に示されるのと同じオブジェクト８１２を示す。この画像は、下方に並進移動され、デバイスの動きの上方向を表している。
画像並進移動の反対方向、したがって、動きの反対のデバイスの方向は、ｙ方向に沿って位置する回転軸を中心にデバイスが回転したことを表すことができる。動き検出デバイスは、画像並進移動、または動きの方向を使用して、デバイスの右から見られた場合に回転の方向が反時計回りであると決定することができる。
このように、動き検出デバイスは、複数のカメラによって取り込まれた画像に基づいて動きの方向を決定することができる。例では、２つのカメラのみが示されているが、３つ以上のカメラもデバイスで使用されうる。また、２つのカメラは、実質的に反対方向である視軸を有するものとして示されている。しかし、複数のカメラは、同一ではない、または完全に相関した画像をもたらさない複数の任意の視軸に沿って、配置されうる。
画像から決定された画像並進移動、または動きのデバイスの方向を比較することによって、動き検出デバイスは、デバイスが並進移動したかまたは回転したかを決定することができる。動き検出デバイスは、例えば、２つ以上の画像におけるオブジェクトのサイズを比較することによって、視軸に平行な軸に沿った水平並進移動を決定することができる。画像並進移動および動きの決定の要約が、第１の前向きカメラおよび第２の後向きカメラを有する２つのカメラの実施形態に関する表１に示されている。
Figure 2008502206
デバイス並進移動および回転の例は、軸上の並進移動および回転について与えられたが、任意のデバイス並進移動または回転が、軸上の並進移動および／または回転の組み合わせに基づいて決定されうる。例えば、任意のデバイス並進移動が、各軸方向におけるデバイス並進移動の組み合わせとして決定されうる。各軸上の並進移動のベクトル和は、任意の３次元位置への並進移動と等しくなりうる。同様に、任意の恣意的な軸に沿った回転は、各軸に沿ったデバイス回転の組み合わせとして決定されうる。
例えば、任意の方向に沿ったデバイスの並進移動は、ｘ、ｙ、およびｚ軸に沿った動きのベクトル和として決定されうる。表１から分かるように、３つの各軸に沿った並進移動は、それぞれ別の軸に沿った並進移動を含まずに決定されうる。したがって、動き検出システムは、例えば、ｘ軸に沿った並進移動を決定し、続いて、ｙ軸およびｚ軸について決定する。合計の並進移動は、各並進移動のベクトル和として決定することができる。
更に、任意の軸に沿った回転は、各軸に沿った回転の和として決定することができる。表１から分かるように、回転の軸を決定するために使用されるカメラ画像の移動は、独立しており、したがって、独立した軸回転は、任意の軸から決定することができる。
いくつかの回転および並進移動については、同じ画像並進移動から決定されるが、異なる画像並進移動の大きさを比較することによって、回転を並進移動と区別することができる。例えば、ｙ軸並進移動およびｚ軸回転はどちらも、左または右への画像並進移動に基づいて決定することができる。しかし、カメラが互いに実質的に反対方向に配置される場合、画像並進移動の大きさは、２つのカメラからの画像についてほぼ同じになるはずである。２つのカメラからの画像並進移動の大きさが異なる場合、システムは、合成並進移動および回転を決定することができる。並進移動の大きさの差異、および差異の方向は、デバイスの並進移動または回転のいずれかに帰せられる画像並進移動の成分を決定するために使用されうる。
図９は、例えば図１の動き検出デバイスまたは図２の動き検出デバイスに、実装することができる、動き検出プロセス９００のフローチャートである。動き検出プロセス９００は、動き検出デバイスが第１のカメラからの第１の画像を取り込むとき、ステップ９０２で開始する。前述のように、第１のカメラは、例えば、前向きカメラとすることができる。
次に、動き検出デバイスは、ステップ９０４に進み、デバイスが第２のカメラからの第１の画像を取り込む。第２のカメラは、例えば、後向きカメラとすることができる。次に、動き検出デバイスは、ステップ９１２に進み、第１のカメラからの第２の画像を取り込む。ステップ９１４で、動き検出デバイスは、第２のカメラからの第２の画像を取り込む。第１および第２の各カメラからの第１および第２の画像は、例えば、メモリまたはある種のストレージ・デバイスに記憶することができる。
次に、動き検出デバイスは、ステップ９２０に進み、第１のカメラからの第１の画像と第２の画像を比較する。ステップ９２２で、動き検出デバイスは、取り込み画像の比較に基づいて、画像並進移動を決定する。代替として、動き検出デバイスは、第１のカメラ画像から動きのデバイスの方向を決定することができる。
次に、動き検出デバイスは、ステップ９２４に進み、動き検出デバイスからユーザまでの距離を決定する。先述のように、動き検出デバイスは、ユーザの顔の画像の解析を評価して、目の間の距離を決定しそれによりデバイスまでの距離を導き出すことによって、ユーザまでの距離を決定または推定することができる。
次いで、動き検出デバイスは、ステップ９３０に進み、第２のカメラによって取り込まれた画像を比較する。ステップ９３２で、動き検出デバイスは、取り込まれた第２のカメラ画像の比較に基づいて、画像並進移動を決定する。代替として、動き検出デバイスは、第２のカメラ画像から動きのデバイスの方向を決定することができる。
次に、動き検出デバイスは、ステップ９４０に進み、第１のカメラ画像から決定された画像並進移動を、第２のカメラ画像から決定された画像並進移動と比較する。動き検出デバイスは、例えば、水平または垂直並進移動の方向および回転の方向を比較することができる。ステップ９５０で、動き検出デバイスは、画像並進移動の比較に部分的に基づいて、デバイスの動きの方向を決定する。
ステップ９５０に進むと、動き検出デバイスはまた、第１および第２のカメラ画像の各対における画像並進移動または画像回転の大きさに部分的に基づいて、デバイスの動きの大きさを決定することができる。ステップ９６０で、動き検出デバイスは、動きパラメータおよび１つまたは複数の画像を、図２に示されるように基地装置または別の動き検出デバイスなど他のデバイスに、通信することができる。動きパラメータは、例えば、並進移動および回転を含む動きの方向、動きの大きさ、ならびにユーザからの距離を含むことができる。これらの画像には、カメラによって取り込まれた画像のうち一部または全部が含まれうる。一実施形態では、動き検出デバイスは、後向きカメラによって取り込まれた画像を通信し、前向きカメラからの画像を通信しない。
次いで、動き検出デバイスは、ステップ９８０に進み、基地装置または別の動き検出デバイスのような他のデバイスから表示信号を受け取ることができる。表示信号は、動き検出デバイスによって通信された画像および動きパラメータに部分的に基づいて生成された信号とすることができる。一実施形態では、動き検出デバイスは、基地装置から拡張現実感表示信号を受け取り、この拡張現実感信号をディスプレイに表示する。
プロセス９００の様々な工程またはステップは、別の順序で行われてもよく、図９に示された順序で行われる必要はない。また、ステップ、または機能を、プロセス９００に追加しても、プロセス９００から削除してもよい。追加のステップ、または機能は、プロセスの始め、プロセスの終わり、あるいは、プロセスの１つまたは複数の既存のステップの間に追加することが可能である。
このように、複数のカメラから取り込まれた画像に部分的に基づいて動きを決定することができる動き検出デバイスが開示された。動き検出デバイスは、第１のカメラから第１の組の画像を比較し、第１の組の画像内の画像並進移動を決定することができる。動き検出デバイスはまた、第２のカメラから第２の組の画像を比較し、第２の組の画像内の画像並進移動を決定することができる。次いで、動き検出デバイスは、第１の組の画像から決定された画像並進移動を、第２の組の画像から決定された画像並進移動と比較することができる。次いで、動き検出デバイスは、この比較に部分的に基づいて動きを決定することができる。
本明細書に開示の実施形態と関連して説明された様々な例示的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特殊用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、または他のプログラマブル論理デバイス、ディスクリート・ゲートまたはトランジスタ論理、ディスクリート・ハードウェア・コンポーネント、あるいは、本明細書に記載の機能を実施するように設計されたこれらの任意の組み合わせで実装または実施されうる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替形態では、任意のプロセッサ、コントローラ、マイクロコントローラ、または状態機械としてもよい。プロセッサは、コンピューティング・デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと関連した１つまたは複数のマイクロプロセッサ、または他のそのような任意の構成として実装されうる。
本明細書に開示の実施形態に関して説明された方法、プロセス、またはアルゴリズムの工程は、ハードウェアで直接実施しても、プロセッサによって実行されるソフトウェア・モジュールで実施しても、または、この２つの組み合わせで実施してもよい。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、不揮発性メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、または、当技術分野で知られる他の任意の形態の記憶媒体において存在することができる。例示的記憶媒体は、プロセッサが情報を記憶媒体から読み取りまた記憶媒体に書き込むことができるように、プロセッサに結合される。代替形態では、記憶媒体は、プロセッサと一体化することができる。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在してもよい。
開示された実施形態の上記の説明は、任意の当業者が本開示を製作するまたは使用することを可能にするために提供された。これらの実施形態に対する様々な修正は、当業者には容易に理解されるであろうし、また、本明細書に定義された一般的原理は、本開示の範囲から逸脱することなしに他の実施形態に適用されうる。したがって、本開示は、本明細書に示される実施形態に限定されるものではなく、本明細書に開示の原理および新規な特徴と一致する最も広い範囲が与えられる。
動き検出デバイスを示す機能ブロック図である。 動き検出システムを示す機能ブロック図である。 動き検出デバイスの一実施形態を示す図である。 動き検出デバイスの一実施形態を示す図である。 動き検出デバイスの一実施形態を示す図である。 動き検出デバイスの一実施形態を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 カメラによって取り込まれる画像の例示的例を示す図である。 動き検出プロセスの一実施形態を示すフローチャートである。

Claims (35)

  1. 動きを検出する装置であって、
    第１の視軸に沿って画像を取り込むように構成された第１のカメラと、
    前記第１の視軸とは異なる第２の視軸に沿って画像を取り込むように構成された第２のカメラと、
    前記第１のカメラおよび前記第２のカメラからの前記画像に基づいて、前記装置の動きを決定するように構成された動き処理部と
    を備えることを特徴とする装置。
  2. 前記装置の動きに基づいて画像を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１に記載の装置。
  3. 前記第２のカメラからの画像の少なくとも一部分を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１に記載の装置。
  4. 前記動き処理部は、更に、
    前記装置の動きに基づくデータを基地ユニットに通信し、
    通信された前記装置の動きに基づいて前記基地ユニットから情報を受信するように構成されることを特徴とする請求項１に記載の装置。
  5. 前記動き処理部が受信した情報は、表示画像を含むことを特徴とする請求項４に記載の装置。
  6. 前記第１の視軸および前記第２の視軸は、反対方向であることを特徴とする請求項１に記載の装置。
  7. 前記第１のカメラは、前記装置の前面に配置されることを特徴とする請求項１に記載の装置。
  8. 前記第２のカメラは、前記装置の後面に配置されることを特徴とする請求項１に記載の装置。
  9. 前記動き処理部は、前記第１のカメラの画像の並進移動、および前記第２のカメラの画像の並進移動を決定し、前記第１のカメラの画像の並進移動、および前記第２のカメラの画像の並進移動に基づいて、前記装置の動きを決定するように構成されていることを特徴とする請求項１に記載の装置。
  10. 前記第１のカメラまたは第２のカメラが取り込んだ画像の少なくとも１つは、ユーザの顔の画像を含むことを特徴とする請求項１に記載の装置。
  11. 前記動き処理部は、前記ユーザの顔の画像から決定されたユーザの目の距離に基づいて、前記ユーザから前記装置までの距離を決定するように構成されていることを特徴とする請求項１０に記載の装置。
  12. 前記ユーザから前記装置までの前記距離に基づいて、画像を表示するように構成されたディスプレイを更に備えることを特徴とする請求項１１に記載の装置。
  13. 前記第１のカメラ、前記第２のカメラ、および前記動き処理部は、ポータブル装置内に含まれることを特徴とする請求項１に記載の装置。
  14. 前記第１のカメラおよび第２のカメラは、前記動き処理部から遠隔のポータブル装置内に含まれることを特徴とする請求項１に記載の装置。
  15. 動きを検出する装置であって、
    前記装置の前面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第１のカメラと、
    前記装置の後面から離れる方向に向かう視軸を有し、画像を取り込むように構成された第２のカメラと、
    前記第１のカメラおよび前記第２のカメラからの前記画像に基づいて、前記装置の動きを決定するように構成され、前記装置の動きに基づいて、表示画像を生成するように構成された動き処理部と、
    前記動き処理部により生成された前記表示画像を表示するように構成されたディスプレイと、
    を備えることを特徴とする装置。
  16. 動きを検出するシステムであって、
    第１の視軸に沿って配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、
    前記第１の視軸とは異なる第２の視軸に沿って配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、
    少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に基づいて、動きパラメータを決定するように構成された動き処理部と、
    前記動きパラメータを処理し、前記動きパラメータに基づいて表示信号を生成するように構成された基地装置と、
    前記基地装置によって生成された前記表示信号を表示するように構成されたディスプレイと、
    を備えることを特徴とするシステム。
  17. 前記基地装置は、
    １つまたは複数の記憶画像を記憶するように構成されたストレージ装置と、
    前記動き処理部から前記動きパラメータを受信し、前記動きパラメータに基づいて、少なくとも１つの記憶された画像を修正することによって、前記表示信号を生成するように構成された基地装置プロセッサと、
    を更に備えることを特徴とする請求項１６に記載のシステム。
  18. 前記動き処理部は、前記第２のカメラ画像の少なくとも１つを前記基地装置に通信するように更に構成され、
    前記基地装置は、前記第２のカメラ画像の前記少なくとも１つに基づいて、前記表示信号として拡張現実感信号を生成することを特徴とする請求項１６に記載のシステム。
  19. 前記動きパラメータは、装置の並進移動および装置の回転から選択された少なくとも１つのパラメータを含むことを特徴とする請求項１６に記載のシステム。
  20. 前記第１のカメラ画像の少なくとも１つは、ユーザの顔の画像を含み、
    前記動き処理部は、前記ユーザの顔の画像に基づいて、前記ユーザまでの距離を推定するように更に構成され、
    前記基地装置は、前記ユーザまでの距離に基づいて、前記表示信号を生成するように更に構成されることを特徴とする請求項１６に記載のシステム。
  21. 動きを検出する方法であって、
    第１のカメラから複数の画像を受信する工程と、
    第２のカメラから複数の画像を受信する工程と、
    前記第１のカメラの画像に基づいて第１の画像の並進移動を決定する工程と、
    前記第２のカメラの画像に基づいて第２の画像の並進移動を決定する工程と、
    前記第１の画像の並進移動と、前記第２の画像の並進移動と、を比較する工程と、
    前記比較に基づいて装置の動きを決定する工程と、
    を含むことを特徴とする方法。
  22. 前記装置の前記動きに基づいて表示画像を生成する工程と、
    前記表示画像を表示する工程と、
    を更に含むことを特徴とする請求項２１に記載の方法。
  23. 前記第１のカメラからの前記複数の画像はユーザの顔の画像を含み、前記方法は、更に、
    前記ユーザの顔の画像から、ユーザの目からの距離を決定する工程と、
    前記ユーザの目からの距離に基づいて、前記ユーザから前記装置までの距離を推定する工程と、
    を含むことを特徴とする請求項２１に記載の方法。
  24. 前記装置の動きと、前記ユーザから前記装置までの距離とに基づいて、表示画像を生成する工程と、
    前記表示画像を表示する工程と、
    を更に含むことを特徴とする請求項２３に記載の方法。
  25. 前記第２のカメラから複数の画像を受信する工程は、前記第１のカメラに対して反対方向に配置された前記第２のカメラから、画像を受信する工程を含むことを特徴とする請求項２１に記載の方法。
  26. 動きを検出する方法であって、
    第１の視軸に沿って取り込まれた画像と、前記第１の視軸に対して反対方向の第２の視軸に沿って取り込まれた画像と、から決定された、動きパラメータを受信する工程と、
    複数の記憶された画像から表示画像を取り出す工程と、
    前記動きパラメータに基づいて前記表示画像を修正する工程と、
    前記修正された表示画像をポータブル装置に通信する工程と、
    を含むことを特徴とする方法。
  27. 前記第１の視軸に沿って取り込まれた少なくとも１つの画像を受信する工程と、
    前記受信した画像に基づいて前記表示画像を修正する工程と、
    を更に含むことを特徴とする請求項２６に記載の方法。
  28. 前記受信した画像に基づいて前記表示画像を修正する工程は、前記受信した画像に基づいて拡張現実感画像を生成する工程を含むことを特徴とする請求項２７に記載の方法。
  29. 装置の動きの決定するプログラムを記憶したコンピュータ可読の記憶媒体であって、当該プログラムが、
    第１のカメラから複数の画像を受信するためのコードと、
    第２のカメラから複数の画像を受信するためのコードと、
    前記第１のカメラの画像に基づいて第１の画像の並進移動を決定するためのコードと、
    前記第２のカメラの画像に基づいて第２の画像の並進移動を決定するためのコードと、
    前記第１の画像の並進移動と、前記第２の画像の並進移動と、を比較するためのコードと、
    前記比較に基づいて前記装置の動きを決定するためのコードと、
    を含むことを特徴とする記憶媒体。
  30. 修正された表示画像の通信を実行するプログラムを記憶したコンピュータ可読の記憶媒体であって、当該プログラムが、
    第１の視軸に沿って取り込まれた画像と、前記第１の視軸に対して反対方向の第２の視軸に沿って取り込まれた画像と、から決定された、動きパラメータを受信するためのコードと、
    複数の記憶された画像から表示画像を取り出すためのコードと、
    前記動きパラメータに基づいて前記表示画像を修正するためのコードと、
    前記修正された表示画像をポータブル装置に通信するためのコードと、
    を含むことを特徴とする記憶媒体。
  31. 動き検出システムであって、
    第１の視軸に沿ってゲーム・コントローラの第１の側面に配置され、第１のカメラ画像を取り込むように構成された第１のカメラと、
    前記第１の視軸に対して反対方向の第２の視軸に沿って前記ゲーム・コントローラに配置され、第２のカメラ画像を取り込むように構成された第２のカメラと、
    前記第１および第２のカメラと通信し、少なくとも２つの第１のカメラ画像、および少なくとも２つの第２のカメラ画像に基づいて、動きパラメータを決定するように構成された動き処理部と、
    前記動きパラメータに基づいて、ストレージ装置から表示信号を取り出すように構成されたプロセッサと、
    前記ゲーム・コントローラ上に配置され、基地装置によって生成された前記表示信号を表示するように構成されたディスプレイと、
    を備えることを特徴とするシステム。
  32. 前記プロセッサおよびストレージ装置は、前記ゲーム・コントローラに対して外部のゲーム・コンソール内に含まれることを特徴とする請求項３１に記載のシステム。
  33. 前記プロセッサおよびストレージ装置は、前記ゲーム・コントローラ内に含まれることを特徴とする請求項３１に記載のシステム。
  34. 前記ストレージ装置は、ゲーム画像を記憶させた記憶媒体を備えることを特徴とする請求項３１に記載のシステム。
  35. 前記ゲーム・コントローラは、ユーザ入力を受信するように構成された少なくとも１つの入力装置を備えることを特徴とする請求項３１に記載のシステム。
JP2007515077A 2004-06-04 2005-04-15 デュアル・カメラ入力を用いたセンサ Pending JP2008502206A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/861,582 US7671916B2 (en) 2004-06-04 2004-06-04 Motion sensor using dual camera inputs
PCT/US2005/012650 WO2005122582A2 (en) 2004-06-04 2005-04-15 Motion sensor using dual camera inputs

Publications (1)

Publication Number Publication Date
JP2008502206A true JP2008502206A (ja) 2008-01-24

Family

ID=35448422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007515077A Pending JP2008502206A (ja) 2004-06-04 2005-04-15 デュアル・カメラ入力を用いたセンサ

Country Status (5)

Country Link
US (1) US7671916B2 (ja)
JP (1) JP2008502206A (ja)
GB (1) GB2430042B (ja)
TW (1) TWI282435B (ja)
WO (1) WO2005122582A2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001756A1 (ja) * 2008-06-30 2010-01-07 株式会社ソニー・コンピュータエンタテインメント 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
JP2012019496A (ja) * 2010-06-11 2012-01-26 Nintendo Co Ltd 携帯型ゲーム装置のハウジングパーツおよび携帯型ゲーム装置
JP2012249866A (ja) * 2011-06-03 2012-12-20 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US8780183B2 (en) 2010-06-11 2014-07-15 Nintendo Co., Ltd. Computer-readable storage medium, image display apparatus, image display system, and image display method
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
US8894486B2 (en) 2010-01-14 2014-11-25 Nintendo Co., Ltd. Handheld information processing apparatus and handheld game apparatus
JP2015513235A (ja) * 2012-01-27 2015-04-30 クアルコム，インコーポレイテッド 反対向きのカメラを用いてデバイスの場所を特定するためのシステムおよび方法
US9128293B2 (en) 2010-01-14 2015-09-08 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9278281B2 (en) 2010-09-27 2016-03-08 Nintendo Co., Ltd. Computer-readable storage medium, information processing apparatus, information processing system, and information processing method
JP2016122446A (ja) * 2014-12-24 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応ホルダのためのシステム及び方法
US10506218B2 (en) 2010-03-12 2019-12-10 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US11134179B2 (en) 2019-07-12 2021-09-28 Samsung Electronics Co., Ltd. Image sensor and electronic device including the image sensor

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7682245B2 (en) 2000-02-29 2010-03-23 Igt Name your prize game playing methodology
JP4864295B2 (ja) * 2003-06-02 2012-02-01 富士フイルム株式会社 画像表示システム、画像表示装置およびプログラム
FI20045300A (fi) * 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5321060B2 (ja) * 2006-07-13 2013-10-23 株式会社ニコン 表示制御装置、表示システム、およびテレビジョンセット
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8396321B1 (en) * 2007-04-25 2013-03-12 Marvell International Ltd. Method and apparatus for processing image data from a primary sensor and a secondary sensor
JP4260215B1 (ja) * 2007-08-29 2009-04-30 任天堂株式会社 撮像装置
EP2039398B1 (en) * 2007-08-29 2016-05-04 Nintendo Co., Ltd. Imaging apparatus
US8130275B2 (en) 2008-06-13 2012-03-06 Nintendo Co., Ltd. Information-processing apparatus, and storage medium storing a photographing application launch program executed by information-processing apparatus
JP4181211B1 (ja) 2008-06-13 2008-11-12 任天堂株式会社 情報処理装置およびそれにおいて実行される起動用プログラム
CN101616209A (zh) * 2008-06-26 2009-12-30 深圳富泰宏精密工业有限公司 手机及在手机中实现文本画面移动的方法
US8848100B2 (en) 2008-10-01 2014-09-30 Nintendo Co., Ltd. Information processing device, information processing system, and launch program and storage medium storing the same providing photographing functionality
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
CN101579571B (zh) * 2009-04-30 2012-09-26 武汉市高德电气有限公司 实景游戏装置及实现实景游戏的方法
JP5418061B2 (ja) * 2009-08-20 2014-02-19 沖電気工業株式会社 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
KR20110116525A (ko) * 2010-04-19 2011-10-26 엘지전자 주식회사 3ｄ 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
TWI419031B (zh) * 2010-10-20 2013-12-11 Sonix Technology Co Ltd 光學觸控模組與其載入資料方法
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
JP5774314B2 (ja) * 2011-01-05 2015-09-09 任天堂株式会社 遅延測定システムおよび遅延測定方法
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9606992B2 (en) 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR101880998B1 (ko) * 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
US9799136B2 (en) * 2011-12-21 2017-10-24 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
US11232626B2 (en) 2011-12-21 2022-01-25 Twenieth Century Fox Film Corporation System, method and apparatus for media pre-visualization
WO2013101087A1 (en) 2011-12-29 2013-07-04 Intel Corporation Electronic device having a motion detector
JP5966624B2 (ja) * 2012-05-29 2016-08-10 株式会社リコー 情報処理装置及び情報表示システム
US8957973B2 (en) * 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9720508B2 (en) 2012-08-30 2017-08-01 Google Technology Holdings LLC System for controlling a plurality of cameras in a device
KR102051418B1 (ko) * 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
JP6133567B2 (ja) 2012-10-18 2017-05-24 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
FR3000349B1 (fr) * 2012-12-21 2015-02-27 Thales Sa Procede de compensation de mouvement sur plusieurs sequences d'images
CN103900477A (zh) * 2012-12-28 2014-07-02 北京三星通信技术研究有限公司 一种判断手持设备的相对位移的方法及手持设备
JP6219037B2 (ja) * 2013-02-06 2017-10-25 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR20230142635A (ko) * 2013-04-08 2023-10-11 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9336460B2 (en) * 2013-05-31 2016-05-10 Intel Corporation Adaptive motion instability detection in video
CN103425402A (zh) * 2013-08-28 2013-12-04 紫光股份有限公司 一种移动终端姿态的检测方法及其装置
US20150138314A1 (en) * 2013-11-20 2015-05-21 Google Inc. Generating Panoramic Images
US9294666B2 (en) * 2013-12-27 2016-03-22 Panasonic Intellectual Property Corporation Of America Communication method
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US10565726B2 (en) 2017-07-03 2020-02-18 Qualcomm Incorporated Pose estimation using multiple cameras
US11763209B1 (en) * 2019-03-06 2023-09-19 American Airlines, Inc. Virtual measurement system for baggage management

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969036A (en) * 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
JP3753201B2 (ja) * 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
JP3103045B2 (ja) * 1997-07-10 2000-10-23 三菱電機株式会社 画像撮影再生方式及び方法並びに画像再生プログラムを記録した記録媒体
GB2329300B (en) 1997-09-16 2002-07-17 Nokia Mobile Phones Ltd Mobile telephone with handwritten data input
US6249285B1 (en) * 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
ATE420528T1 (de) * 1998-09-17 2009-01-15 Yissum Res Dev Co System und verfahren zur erzeugung und darstellung von panoramabildern und filmen
JP2002011250A (ja) * 2000-04-25 2002-01-15 Nintendo Co Ltd ゲームシステムおよび携帯ゲーム機
US6523956B2 (en) * 2000-05-09 2003-02-25 Jon Oshima Multiplexed motion picture camera
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US20020167537A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
IL160758A0 (en) * 2001-09-07 2004-08-31 Intergraph Hardware Tech Co Method, device and computer program product for demultiplexing of video images
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
EP1477015A1 (de) 2002-02-20 2004-11-17 Siemens Aktiengesellschaft Mobiltelefon mit rundumdisplay
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
EP1588552A1 (en) * 2003-01-22 2005-10-26 Nokia Corporation Image control
US7102626B2 (en) 2003-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Multi-function pointing device
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7365735B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104353241A (zh) * 2008-06-30 2015-02-18 索尼电脑娱乐公司 便携式游戏装置以及便携式游戏装置的控制方法
CN102076388B (zh) * 2008-06-30 2015-04-08 索尼电脑娱乐公司 便携式游戏装置以及便携式游戏装置的控制方法
JP5174908B2 (ja) * 2008-06-30 2013-04-03 株式会社ソニー・コンピュータエンタテインメント 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
US9662583B2 (en) 2008-06-30 2017-05-30 Sony Corporation Portable type game device and method for controlling portable type game device
WO2010001756A1 (ja) * 2008-06-30 2010-01-07 株式会社ソニー・コンピュータエンタテインメント 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法
US8894486B2 (en) 2010-01-14 2014-11-25 Nintendo Co., Ltd. Handheld information processing apparatus and handheld game apparatus
US9128293B2 (en) 2010-01-14 2015-09-08 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US10764565B2 (en) 2010-03-12 2020-09-01 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US10506218B2 (en) 2010-03-12 2019-12-10 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US9282319B2 (en) 2010-06-02 2016-03-08 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP2012019496A (ja) * 2010-06-11 2012-01-26 Nintendo Co Ltd 携帯型ゲーム装置のハウジングパーツおよび携帯型ゲーム装置
US8512152B2 (en) 2010-06-11 2013-08-20 Nintendo Co., Ltd. Hand-held game apparatus and housing part of the same
US10015473B2 (en) 2010-06-11 2018-07-03 Nintendo Co., Ltd. Computer-readable storage medium, image display apparatus, image display system, and image display method
US8780183B2 (en) 2010-06-11 2014-07-15 Nintendo Co., Ltd. Computer-readable storage medium, image display apparatus, image display system, and image display method
US9278281B2 (en) 2010-09-27 2016-03-08 Nintendo Co., Ltd. Computer-readable storage medium, information processing apparatus, information processing system, and information processing method
US8854356B2 (en) 2010-09-28 2014-10-07 Nintendo Co., Ltd. Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
CN103384865A (zh) * 2011-02-22 2013-11-06 高通股份有限公司 基于用户相对于移动平台的位置来提供经纠正的视图
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
JP2014506709A (ja) * 2011-02-22 2014-03-17 クアルコム，インコーポレイテッド ユーザのモバイルプラットフォームに対する位置に基づく補正像の提供
JP2012249866A (ja) * 2011-06-03 2012-12-20 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
JP2015513235A (ja) * 2012-01-27 2015-04-30 クアルコム，インコーポレイテッド 反対向きのカメラを用いてデバイスの場所を特定するためのシステムおよび方法
JP2016122446A (ja) * 2014-12-24 2016-07-07 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応ホルダのためのシステム及び方法
US11134179B2 (en) 2019-07-12 2021-09-28 Samsung Electronics Co., Ltd. Image sensor and electronic device including the image sensor

Also Published As

Publication number Publication date
GB2430042A (en) 2007-03-14
TWI282435B (en) 2007-06-11
WO2005122582A2 (en) 2005-12-22
US20050270368A1 (en) 2005-12-08
GB0624588D0 (en) 2007-01-24
WO2005122582A3 (en) 2007-01-18
US7671916B2 (en) 2010-03-02
GB2430042B (en) 2009-01-14
TW200540458A (en) 2005-12-16

Similar Documents

Publication Publication Date Title
JP2008502206A (ja) デュアル・カメラ入力を用いたセンサ
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US10773169B2 (en) Providing multiplayer augmented reality experiences
TWI544447B (zh) 擴增實境的方法及系統
JP6598617B2 (ja) 情報処理装置、情報処理方法およびプログラム
TWI470534B (zh) 藉由使用運動的性質在一顯示器上之三維使用者介面效應
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US9524021B2 (en) Imaging surround system for touch-free display control
US8970624B2 (en) Entertainment device, system, and method
JP5791433B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US20120075285A1 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
TWI408587B (zh) 觸控系統及其定位方法
JP6021296B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
CN111566596A (zh) 用于虚拟现实显示器的真实世界门户
KR101441882B1 (ko) 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
JP2013050883A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
EP2557482A2 (en) Input device, system and method
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
US10345595B2 (en) Head mounted device with eye tracking and control method thereof
US20200184675A1 (en) Positioning Method and Reality Presenting Device
TWI825982B (zh) 用於提供視覺內容的方法、主機以及電腦可讀儲存媒體

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100201