JP2008529135A - 動作に基づくトラッキング - Google Patents

動作に基づくトラッキング Download PDF

Info

Publication number
JP2008529135A
JP2008529135A JP2007552319A JP2007552319A JP2008529135A JP 2008529135 A JP2008529135 A JP 2008529135A JP 2007552319 A JP2007552319 A JP 2007552319A JP 2007552319 A JP2007552319 A JP 2007552319A JP 2008529135 A JP2008529135 A JP 2008529135A
Authority
JP
Japan
Prior art keywords
image
display
user
captured image
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007552319A
Other languages
English (en)
Other versions
JP4689684B2 (ja
JP2008529135A5 (ja
Inventor
ヒルドゥレス，エヴァン
Original Assignee
ジェスチャー テック，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェスチャー テック，インコーポレイテッド filed Critical ジェスチャー テック，インコーポレイテッド
Publication of JP2008529135A publication Critical patent/JP2008529135A/ja
Publication of JP2008529135A5 publication Critical patent/JP2008529135A5/ja
Application granted granted Critical
Publication of JP4689684B2 publication Critical patent/JP4689684B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Abstract

一実施形態では、まず、第１の撮影画像にアクセスする。第１の撮影画像は、（１）第１の時点で生成される第１の表示と、（２）第１の表示の一部ではなく、第１の表示とインタラクションするユーザとを含む。第２の撮影画像にアクセスする。第２の撮影画像は、（１）第２の時点で生成される第２の表示と、（２）前記第２の表示の一部ではなく、前記第２の表示とインタラクションするユーザとを含む。第１の撮影画像と第２の撮影画像とを比較する。第１の撮影画像と第２の撮影画像との比較結果に基づいてユーザの動作を決定する。決定されたユーザの動作を１つ以上の第１および第２の撮影画像の一部分と関連付ける。

Description

本開示は、一部では画像処理に関し、特に、画像の動作の検知に関する。
＜関連出願への相互参照＞
本願は、２００５年１月２１日付けで出願した「投影された背景の前にいるユーザの動作に基づくトラッキング（Motion-Based Tracking of a User in Front of a Projected Background）」と題する米国仮特許出願第６０／６４５，０７４号に対して優先権を主張し、その全ての開示内容をここに参照により援用する。
様々なシステムが、少なくとも間接的に、ユーザがインタラクションしようとする情報を投影または表示する。例えば、多くの場合、コンピュータがモニタに文書を表示すると、ユーザはマウスを用いて、表示された文書内にカーソルを置くことにより、表示された文書に対して間接的にインタラクションすると思われる。このようなコンピュータは、モニタに文書を表示するのではなく、プロジェクタを用いて投影スクリーンに文書を投影することもできる。別の例として、タッチスクリーンコンピュータがあり、ユーザは、例えば、モニタの画像が示す位置に触れることにより、すなわち、表示された画像の特定の要素を選択するためにその要素に触れることにより、より直接的に表示された画像とインタラクションすることができる。
開示された実施形態の１つによると、ユーザの動作を検知し、ユーザの動作に基づいて入力を生成することにより、ユーザは表示または投影された画像と直接的にインタラクションすることが可能となる。例えば、ビデオゲームにより画像が生成され表示されると、ユーザは、画像にあるアイコンをポイントしてそのアイコンを選択することができる。開示されたシステムは、ユーザの動作を検知し、検知した動作をアイコンの選択と関連付け、ユーザが選択したアイコンを示す入力をアプリケーションに与える。このシステムはカメラを用いてユーザの動作を検知する。
包括的態様の１つにあっては、まず、第１の撮影画像にアクセスする。第１の撮影画像は、（１）第１の時点で生成される第１の表示と、（２）前記第１の表示の一部ではなく、前記第１の表示とインタラクションするユーザとを含む。第２の撮影画像にアクセスする。第２の撮影画像は、（１）第２の時点で生成される第２の表示と、（２）第２の表示の一部ではなく、第２の表示とインタラクションするユーザとを含む。第１の撮影画像と第２の撮影画像とを比較する。第１の撮影画像と第２の撮影画像との比較結果に基づいてユーザの動作を決定する。決定されたユーザの動作を１つ以上の第１および第２の撮影画像の一部分と関連付ける。
上記包括的態様の実施形態には、以下の特徴を１つ以上含んでいてもよい。例えば、決定されたユーザの動作に関する指標および前記一部分を演算装置に与えてもよい。これに加えてまたはこれに代えて、決定されたユーザの動作および前記一部分に基づいて、一連の指示に対する入力を決定してもよい。
第１および第２の撮影画像の比較には、第１の撮影画像および第２の撮影画像に対して絶対差分処理またはオプティカルフロー処理を行うことを含み得る。第１および第２の撮影画像の比較は、結果を得ることを含んでいてもよく、その結果は、ユーザの動作と第１および第２の表示に含まれる１つ以上の対象物に関する動作とを示す画像であり得る。その結果に対して幾何学的変換処理を行ってもよい。
第１の撮影画像と第２の撮影画像の比較結果に基づいたユーザの動作の決定には、その結果において、第１および第２の表示に含まれる１つ以上の対象物に関する動作からユーザの動作を分離することを含んでいてもよい。
第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像にアクセスしてもよい。結果における第１および第２の表示に含まれる１つ以上の対象物に関する動作からユーザの動作の分離は、結果と、第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像との比較を含んでいてもよい。
第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像へのアクセスは、第１の表示に対応する第１の表示画像へのアクセスと、第２の表示に対応する第２の表示画像へのアクセスと、第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像の生成とを含んでいてもよい。第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像は、第１の表示画像および第２の表示画像に対して絶対差分処理を行うことにより生成してもよい。または、第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像は、第１の表示画像および第２の表示画像に対してオプティカルフロー処理を行うことにより生成してもよい。
第１および第２の表示に含まれる１つ以上の対象物に関する動作を示す画像に対して、待ち時間補償処理を行ってもうよい。
別の包括的態様によると、システムは、撮影画像動作検知モジュールと、比較モジュールとを含む。撮影画像動作検知モジュールは、（１）演算装置により実行される一連の指示により、第１の時点で生成される第１の表示と（２）第１の表示の一部ではなく、第１の表示とインタラクションするユーザとを含む第１の撮影画像にアクセスするよう構成される。撮影画像動作検知モジュールは、また、（１）演算装置により実行される一連の指示により、第２の時点で生成される第２の表示と（２）第２の表示の一部ではなく、第２の表示とインタラクションするユーザとを含む第２の撮影画像にアクセスするよう構成される。撮影画像動作検知モジュールはさらに、第１の撮影画像と第２の撮影画像とを比較することにより、第１および第２の撮影画像間の動作を表わす画像を生成するよう構成される。比較モジュールは、第１および第２の表示の１つ以上の対象物に関する動作を表わす画像と、第１および第２の撮影画像間の動作を表わす画像との比較結果に基づいて、ユーザの動作を表わす画像を生成するよう構成される。
上記包括的態様の実施形態には、以下の特徴を１つ以上含んでいてもよい。例えば、システムは、第１の表示画像にアクセスし、第２の表示画像にアクセスし、第１の表示画像を第２の表示画像と比較することにより第１および第２の表示に含まれる１つ以上の対象物に関する動作を表わす画像を生成するよう構成された表示画像動作検知モジュールを含んでもよい。
また、システムは、（１）第１の撮影画像を撮影し、第１の撮影画像を撮影画像動作検知モジュールに与え、（２）第２の撮影画像を撮影し、第２の撮影画像を撮影画像動作検知モジュールに与えるよう構成されたカメラを含んでいてもよい。これに加えてまたはこれに代えて、システムは、画像を表示するディスプレイと、一連の指示を実行して第１および第２の表示画像を生成するよう構成された演算装置とを含んでいてもよい。
システムは、第１および第２の表示に含まれる１つ以上の対象物に関する動作を表わす画像に対して、待ち時間補償処理を行うよう構成された待ち時間補償モジュールをさらに含んでいてもよい。また、システムは、第１および第２の撮影画像間の動作を表わす画像に対して、幾何学的変換処理を行うよう構成された幾何学的変換モジュールも含んでいてもよい。
上記において、たとえ１つの方法しか用いられていない場合でも、様々な態様、実施形態および特徴を１つ以上の様々な方法で実施することができる。例えば、方法、装置、方法を行うための装置、道具または処理装置、プログラムやその他一連の指示、プログラムや一連の指示を含む装置およびコンピュータ読取可能な媒体の１つまたはそれ以上を用いて、例えば、様々な態様、実施形態および特徴を実施することができる。コンピュータ読取可能な媒体は、例えば、指示、ソフトウェア、画像およびその他のデータを含み得る。
１つ以上の実施形態の詳細について、添付の図面を参照して以下に説明する。他の特徴も説明、図面および特許請求から明らかとなる。
特定の実施形態の一つにおいて、ビデオゲームアプリケーションは画像を生成し、コンピュータシステムはユーザのためにその画像を投影する。ユーザは、投影された画像の前で動くことによりビデオゲームをプレーし、その投影画像が現実に存在するかのようにユーザは投影画像とインタラクションする。例えば、ユーザが、投影画像に対象物として含まれているターゲットに対してスイングする（ターゲットに対して手を振り付ける）場合がある。この例においては、実施するにあたって、ユーザのスイング（手の振り）を検知し、ユーザがターゲットに対してスイングしていると判断し、ユーザがターゲットに対してスイングしたということを示す入力をビデオゲームアプリケーションに与える。そして、ビデオゲームアプリケーションは、ユーザがターゲットに対してスイングしたという入力を受けると、適切な投影画像を生成する。
本実施形態では、ユーザがスイングすると、カメラが投影画像とユーザとを含む連続する画像を撮影することにより、ユーザの動作を検知することができる。また、本実施形態では、ユーザのいない一連の投影画像にアクセスし、各連続画像の動作を決定し、決定された連続画像の動作を比較して、ユーザの動作を分離（以下、「セグメント化」ともいう）する。本実施形態では、ターゲットの位置情報を用いて、ユーザの動作が実際にターゲットに対するスイングであると判断し、その決定情報をビデオゲームアプリケーションに入力する。
照明条件が変化すると投影画像の表示の質が悪くなる場合がある。というのは、人間またはカメラに認識されるためには、投影画像は、周囲の光のレベルに対して十分に明るくなくてはならないからである。そうでなければ、投影画像の見掛け上のコントラストが低くなりすぎて認識できなくなる場合がある。カメラのダイナミックレンジは、人間の目よりも低いことがある。このため、カメラが投影画像を含む画像を撮影するためには、人間に認識されるための明るさよりも投影画像を明るくする必要がある。例えば、投影画像を含む画像をカメラが撮影するためには、投影画像を、（例えば、１日の間に太陽が傾くにつれ）変化する周囲の光のレベル（例えば、太陽光または天井照明）よりも明るくする必要がある。周囲の光のレベルと同じまたはそれよりも明るく画像を投影することは、非実用的および／または高コストである。
しかし、本実施形態では、局所的に照明条件が変化しても、ユーザの動作を検出する能力に大きな影響を与えたり、その能力を大幅に低下させることはない。これは少なくとも、投影画像の動作からユーザの動作を分離することによりユーザの動作を決定するからである。局所的な照明の条件により、投影画像の表示の質が低下したり、投影画像を撮影するカメラの能力を損なう場合がある。しかし、一般的に、局所的に照明条件が変化しても、ユーザが十分な光量を反射するため、ユーザの動作を撮影するカメラの能力に大きな影響を与えることはない。このため、連続する撮影画像が投影画像の動作を含んでいない場合でも、その連続する撮影画像はユーザの動作を含む。
また、本実施形態では、カメラは、連続するフレーム間の照明条件の変化を無視できるようなサンプリングレートで画像を撮影する。一般的に、照明条件は分または時間単位で変化するが、カメラのサンプリングレートは、例えば、毎秒３０画像であり得る。このため、本実施形態では、通常、連続するフレームにおいてほぼ同じ照明条件を撮影するため、これらフレーム間の動作決定が、照明の変化と動作とを混同することがない。本実施形態では、局所的に照明条件が変化しても、ユーザの動作を検出する能力に大きな影響を与えることはないため、局所的に照明条件が変化する間でも、ユーザの動作を検知し続けることができる。
図１Ａ〜１Ｅは、様々なインタラクティブシステム１００、１２０、１３０、１４０、１５０の例を示す。図１Ａは、表示スクリーン１０４上に画像（以下、「表示画像」という）を表示する表示装置（例えば、プロジェクタ１０２および表示スクリーン１０４）を含むシステム１００を示す。カメラ１１０は、例えば、毎秒３０画像のサンプリングレートで画像を撮影し得る。表示画像は、演算装置１０６に搭載されているアプリケーション、または外部アプリケーションにより生成され得る。本明細書における説明では、表示画像は「表示される」と記載するが、画像が投影される場合もあることは明白である。また、別の実施形態では、画像を投影する必要がない場合もあることも明白である。例えば、液晶表示スクリーンを用いることができる。
ユーザ１０８は、表示スクリーン１０４上の表示画像とインタラクションする。カメラ１１０は、ユーザ１０８と、表示スクリーン１０４上に表示される表示画像の両方を含む画像を撮影する。演算装置１０６は、カメラ１１０が撮影した画像を処理し、表示の動作からユーザ１０８の動作を分離（すなわち、セグメント化）し、ユーザ１０８の動作を決定する。決定されたユーザ１０８の動作は、表示画像を生成するアプリケーションへの入力として用いられる。
インタラクティブシステム１００の構成要素は、例えば、図１Ａ〜１Ｅに示す様々なシステムのように、数多くの様々な構成で配置することができる。図１Ａを見ると、表示スクリーン１０４はユーザ１０８の前に配置され、プロジェクタ１０２とカメラ１１０は、ユーザ１０８の後ろに配置されている。このため、ユーザ１０８は、プロジェクタ１０２と表示スクリーン１０４との間に位置する。このため、ユーザ１０８が、表示スクリーン１０４上のプロジェクタ１０２により投影された表示画像を完全にまたは部分的に妨げてしまうおそれがある。
図１Ｂを見ると、システム１２０にあっては、ユーザ１０８の上にプロジェクタ１０２が配置され、表示スクリーン１０４はユーザ１０８の前に配置され、カメラ１１０はユーザ１０８の後ろに配置されている。この構成によると、ユーザ１０４が表示画像を部分的に妨げることを低減またはなくすことができる。
図１Ｃを見ると、システム１３０にあっては、プロジェクタ１０２とカメラ１１０がユーザ１０８の上に配置され、表示スクリーン１０４がユーザ１０８の下に配置されている。図１Ｃに示すように、表示スクリーンは、例えば、床であってもよい。
図１Ｄを見ると、システム１４０にあっては、プロジェクタ１０２とカメラ１１０がユーザ１０８の上に配置され、表示スクリーン１０４がテーブル上面１１２に配置されている。この構成でも、ユーザ１０８は、限られた、大抵の場合最小限ではあるが、表示画像を部分的に妨げるおそれがある。
図１Ｅを見ると、システム１５０にあっては、プロジェクタ１０２がテーブル１１４の内側に配置されている。プロジェクタ１０２は、表示画像が反射装置１１６（例えば、鏡）で反射して表示スクリーン１０４に表示されるように表示画像を投影する。表示スクリーン１０４はテーブル１１４の上に配置され、カメラ１１０はユーザ１０８の上に配置される。ユーザ１０８が表示画像を妨げることはない。任意に、演算装置１０６をテーブル１１４の内側に配置してもよい。
上記以外の構成も考えられ、様々なバリエーションが可能である。例えば、カメラが、表示スクリーン１０４の一部と、表示スクリーン１０４上に表示された表示画像とインタラクションするユーザ１０８の一部を少なくとも含む画像を撮影できるようにカメラを配置してもよい。
図１Ａ〜図１Ｅに示すように、表示装置は、プロジェクタ１０２と表示スクリーン１０４とを含む。しかし、表示装置はさらに、例えば、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）ディスプレイ、またはメガネなし立体ディスプレイを含むこともできる。
図２を見ると、プロセス２００を用いて、ユーザ１０８の動作を決定し、決定されたユーザ１０８の動作をアプリケーションへの入力として利用することができる。プロセス２００は、システム１００を含む様々なシステムで実行され得る。説明を明確にするため、システム１００を用いた場合についてプロセス２００を説明するが、他のシステムを用いることも可能である。また、プロセス２００の実施形態を説明するためにシステム１００を用いているが、システム１００の使用は、プロセス２００を限定するものではない。
プロセス２００は、第１の撮影画像（２０２）と第２の撮影画像（２０４）にアクセスする工程を含む。表示スクリーン１０４の少なくとも一部と、表示スクリーン１０４とインタラクションするユーザ１０８の少なくとも一部の画像を撮影するのに、カメラ１１０が用いられる。撮影画像は画像バッファに保存され、画像バッファからアクセスされうる。
次に、第１の撮影画像と第２の撮影画像とが比較される（２０６）。第１の撮影画像と第２の撮影画像との比較結果に基づいて、ユーザ１０８の動作が決定される（２０８）。そして、決定されたユーザの動作は、１つ以上の第１および第２の撮影画像の一部分と関連付けられる（２１０）。以下に、プロセス２００の実施形態の実施方法について、図３を参照してさらに詳しく説明する。
図３には、システムのアーキテクチャ３００が示されている。説明を明確にするため、システム１００を用いた場合についてアーキテクチャ３００を説明するが、他のシステムを用いることも可能である。また、アーキテクチャ３００の実施形態を説明するためにシステム１００を用いているが、システム１００の使用は、アーキテクチャ３００を限定するものではない。
アーキテクチャ３００は、表示画像３０４を生成し、表示画像３０４を、演算装置１０６の表示画像動作検知モジュール３０６と表示装置３１０とに与えるアプリケーション３０２を含む。表示画像３０４は、動画として表される一以上の対象物（animated objects）を含んでいてもよい。つまり、表示画像３０４中の対象物の位置が経時的に変化することにより、動画効果（例えば、動作）が生じてもよい。例えば、連続する表示画像３０４中の対象物の位置のずれにより、表示画像３０４における動作を決めることができる。表示画像動作検知モジュール３０６は各表示画像３０４を比較し、表示画像３０４における動作を特定する表示画像動作マップ３０８を作成する。これについては、図４Ａ〜４Ｅを参照してより詳しく説明する。
一方、表示装置３１０は、表示画像３０４を表示（例えば、投影）する。投影された表示画像３１１は、表示スクリーン１０４（図示せず）上に表示され、ユーザ１０８（図示せず）は表示画像３０４とインタラクションする。本実施形態では、ユーザ１０８は、動くことにより表示画像３０４とインタラクションする。例えば、ユーザ１０８は、表示画像３０４にある対象物に手を伸ばしたり触ったりできる。
カメラ１１０は、投影された表示画像３１１とユーザ１０８の両者を含む一以上の画像３１３を撮影する。カメラ１１０は、これら撮影画像３１４を、演算装置１０６の撮影画像動作検知モジュール３１６に与える。カメラ１１０は、撮影画像３１４を、撮影画像動作検知モジュール３１６に直接与えてもよいし、あるいは、撮影画像３１４を画像バッファに保存し、撮影画像動作検知モジュール３１６が画像バッファの撮影画像３１４にアクセスしてもよい。撮影画像３１４におけるユーザ１０８の位置は経時的に変化する。連続する撮影画像３１４におけるユーザ１０８の位置のずれにより、例えば、ユーザ１０８の動作を決めることができる。撮影画像動作検知モジュール３１６は撮影画像３１４を比較し、撮影画像３１４の動作を特定する撮影画像動作マップ３１８を作成する。これについては、図５Ａ〜５Ｅを参照してより詳しく説明する。撮影画像３１４はユーザ１０８と表示画像３０４の両方を含むため、撮影画像動作マップ３１８で特定された動作には、ユーザ１０８の動作と表示画像３０４の動作の両方が含まれる。
実施形態によっては、同期モジュール３１２を用いて、表示画像３０４の表示をカメラ１１０の画像撮影と同期させてもよい。表示装置３１０（例えば、デジタル光処理（ＤＬＰ）プロジェクタを含む表示装置）の中には、表示画像３０４の赤色成分、緑色成分および青色成分を連続的に表示するものがある。人間の目は、表示画像３０４の赤色成分、緑色成分および青色成分の連続表示を検知できないかもしれないが、カメラ１１０は、赤色成分、緑色成分および青色成分の可変部分を撮影し得る。その結果、連続する撮影画像３１４内の撮影された表示画像３０４の赤色成分、緑色成分および青色成分が異なり、撮影画像動作検知モジュール３１６が、表示装置３１０が作成する撮影画像３１４の動作ではなく、表示画像３０４の動作によらない撮影画像３１４の動作を検知してしまう可能性がある。このため、各撮影画像３１４において、赤色成分、緑色成分および青色成分のむらのない部分をカメラ１１０が確実に撮影するように同期モジュール３１２を用いてもよい。
実施形態によっては、表示画像動作検知モジュール３０６と撮影画像動作検知モジュール３１６は、２つの画像に対して、比較処理、例えば、絶対差分処理を行って動作マップを生成する。グレースケール画像の場合、２つの画像の各画素の値の差の大きさ（例えば、絶対値）を計算することにより動作マップを得る。または、カラー画像の場合、２つの画像の各画素の各カラーチャンネル（例えば、赤、緑、青）の値の差の大きさを合計することにより、動作マップを得る。２つの画像に対して絶対差分処理を行うことにより生成された動作マップは、画像の領域内での動作の存在を特定する。例えば、連続するグレースケール画像のある領域の動作は、動作マップで明るい点として現れる大きな絶対差分を生む。
別の実施形態では、表示画像動作検知モジュール３０６と撮影画像動作検知モジュール３１６は、２つの画像に対して、オプティカルフロー処理を行って動作マップを生成する。一般的に、オプティカルフロー・アルゴリズムは、画像内の動作（例えば、画像内で位置が変わった対象物）を認識し、画像で認識された動作の速度（例えば、方向／向きおよび大きさ）を表わすベクトルを作成する。これにより、オプティカルフロー・アルゴリズムは、画像内の動作の存在だけでなく、画像内の動作の方向および大きさも決定する。従って、２つの画像に対してオプティカルフロー処理を行うことにより生成された動作マップは、画像の動作の存在、向きおよび大きさを特定する。
動作検知モジュール３０６および３１６はフィルタリング処理を行うこともできる。例えば、２つの画像に対して絶対差分処理を行って生成した動作マップにフィルタリングを用いることができる。実施形態によっては、動作検知モジュール３０６および３１６は、平均カーネルフィルタを用いて動作マップをフィルタリングする。平均カーネルフィルタは、動作マップの個々の画素を囲む画素の値を基に、個々の画素の値を決定する。例えば、３×３の平均カーネルフィルタを用いた場合、個々の画素の値に対して、個々の画素および個々の画素に隣接する８つの画素の合計または平均値が付与される。平均カーネルフィルタを用いて動作マップをフィルタリングすることにより、動作の領域の端縁を平滑化することができ、また、動作マップのノイズ（例えば、動作の不要な領域）を低減させることもできる。
これに加えてまたはこれに代えて、動作検知モジュール３０６および３１６は、動作マップに対して、拡張フィルタ処理および浸食フィルタ処理を行うことができる。拡張および浸食フィルタ処理はどちらも、個々の画素を囲む画素の値に基づいて、個々の画素の値を決定する。拡張処理では、フィルタ窓を、個々の画素および個々の画素を囲む一組の画素の上を通過させ、個々の画素の値に、フィルタ窓内で最大値を有する画素と同じ値を付与する。浸食処理では、フィルタ窓を、個々の画素および個々の画素を囲む一組の画素の上を通過させ、個々の画素の値に、フィルタ窓内で最小値を有する画素と同じ値を付与する。
動作検知モジュール３０６および３１６はまた、動作マップに対して分類処理を行うこともできる。例えば、動作検知モジュール３０６および３１６は、動作マップに対して閾値処理を行うことができる。閾値処理では、画素の値が既定値よりも大きい場合、個々の画素に「真」を表わす値を付与し、画素の値が既定値と同じまたはそれよりも小さい場合、「偽」を表わす値を付与する。真の値が付与された画素を、動作を表わす画素として分類し、偽の値が付与された画素を、動作を表わさない画素として分類することができる。反対に、真の値が付与された画素を、動作を表わさない画素として分類し、偽の値が付与された画素を、動作を表わす画素として分類することもできる。
比較モジュール３２０は、特定の表示画像動作マップ３０８を、対応する撮影画像動作マップ３１８と比較することによりユーザ１０８の動作を決定する。表示画像動作マップ３０８と撮影画像動作マップ３１８の両方に現れる動作は表示の動作により、撮影画像動作マップ３１８のみに現れる動作はユーザ１０８の動作による。従って、比較モジュール３２０は、表示画像動作マップ３０８を撮影画像動作マップ３１８と比較し、表示の動作からユーザ１０８の動作を分離（すなわち、セグメント化）することにより、ユーザ１０８単独による（または、優勢的）動作を特定するユーザ動作マップ３２２を作成する。
動作検知モジュール３０６および３１６が絶対差分処理を行う実施形態では、表示画像動作マップ３０８と撮影画像動作マップ３１８の両方において動作を表わす画素は、表示の動作による。従って、このような画素は、ユーザ動作マップ３２２において動作を表わす画素として分類されない。反対に、撮影画像動作マップ３１８だけに動作を表わす画素は、ユーザ１０８の動作によるため、ユーザ動作マップ３２２において動作を表わす値が付与される。
動作検知モジュール３０６および３１６がオプティカルフロー処理を行う実施形態では、表示画像動作マップ３０８の動作と大きく異なる撮影画像動作マップ３１８の動作が、ユーザ１０８の動作により、ユーザ動作マップ３２２に残される。撮影画像動作マップ３１８の動作は、表示画像動作マップ３０８の動作と大きく異なると考えられるのは、例えば、（１）大きさにおける差が、大きさの閾値を超えた場合、または、（２）向き（例えば、方向）における差が、向きの閾値を超えた場合である。このため、このような実施形態においては、表示の動作をも示す領域内であってもユーザ１０８の動作を検出することができる。
表示の動作からユーザ１０８の動作を分離するメカニズムは他にもある。例えば、表示画像３０４を対応する撮影画像３１４から減じてユーザ画像を生成し、連続するユーザ画像に基づいて、ユーザ動作マップを生成することができる。
決定されたユーザ１０８の動作（例えば、ユーザ動作マップ３２２に示されているような動作）は、アプリケーション３０２への入力として用いられる。例えば、アプリケーション３０２は、ユーザ動作マップ３２２を受け取り、ユーザ動作マップ３２２から、ユーザ１０８が表示画像３０４にあるターゲットに対してスイングしていると判断する。ユーザ１０８がターゲットに対してスイングしたと判断されると、アプリケーション３０２は、適切な表示画像３０４を生成し、表示画像動作検知モジュール３０６と表示装置３１０に表示画像を与える。
図４Ａ〜図４Ｅ、図５Ａ〜図５Ｅおよび図６Ａ〜図６Ｂに示す画像を用いて、ユーザ１０８の動作を決定するのに用いられる画像処理技術を説明することができる。このような画像処理技術は、例えば、図３に示すアーキテクチャ３００によって行われ得る。そこで、説明を明確にするため、図３に示すアーキテクチャ３００を用いた場合について、図４Ａ〜図４Ｅ、図５Ａ〜図５Ｅおよび図６Ａ〜６Ｂの画像を説明するが、他のアーキテクチャおよびシステムを用いて同じ画像処理技術を行ってもよい。図４Ａ〜図４Ｅ、図５Ａ〜図５Ｅおよび図６Ａ〜図６Ｂの画像について説明する際、図３に示すアーキテクチャ３００を参照するが、図４Ａ〜図４Ｅ、図５Ａ〜図５Ｅおよび図６Ａ〜図６Ｂの画像について説明する画像処理技術を行うために用いるアーキテクチャおよびシステムを限定するものではない。
図４Ａ〜図４Ｅを簡単に説明すると、図４Ａ〜図４Ｂは、連続する表示画像を示す。図４Ｃは、図４Ａ〜図４Ｂの連続する表示画像の合成画像を示す。図４Ｄ〜図４Ｅは、図４Ａ〜図４Ｂの連続する表示画像の動作を特定する表示動作マップを示す。
図５Ａ〜図５Ｅを簡単に説明すると、図５Ａ〜図５Ｂは、連続する撮影画像を示す。図５Ｃは、図５Ａ〜図５Ｂの連続する撮影画像の合成画像を示し、図５Ｄ〜図５Ｅは、図５Ａ〜図５Ｂの連続する撮影画像の動作を特定する撮影画像動作マップを示す。
図６Ａ〜図６Ｂを簡単に説明すると、図６Ａ〜図６Ｂは、図４Ｄ〜図４Ｅの表示画像動作マップおよび図５Ｄ〜図５Ｅの撮影画像動作マップに対応するユーザ動作マップを示す。
図４Ａは、第１の表示画像３０４（ａ）を示し、図５Ａは、第１の表示画像３０４（ａ）と、表示とインタラクションするユーザ１０８とを含む、対応する第１の撮影画像３１４（ａ）を示す。アプリケーション３０２は、時点ｔ−１で第１の表示画像３０４（ａ）を生成し、第１の表示画像３０４（ａ）を表示画像動作検知モジュール３０６および表示装置３１０に与える。図４Ａに示すように、第１の表示画像３０４（ａ）は、ボール４０２を含む。表示装置３１０が、第１の表示画像３０４（ａ）を表示スクリーン１０４に表示すると、ユーザ１０８は表示とインタラクションする。カメラ１１０は、第１の表示画像３０４（ａ）と、表示とインタラクションするユーザ１０８とを含む第１の撮影画像３１４（ａ）を撮影する。このため、第１の撮影画像３１４（ａ）は、ユーザ１０８と、第１の表示画像３０４（ａ）のボール４０２の両方を含む。
図４Ｂは、第２の表示画像３０４（ｂ）を示し、図５ｂは、第２の表示画像３０４（ｂ）と、表示とインタラクションするユーザ１０８とを含む、対応する第２の撮影画像３１４（ｂ）を示す。アプリケーション３０２は、時点ｔで第２の表示画像３０４（ｂ）を生成し、第２の表示画像３０４（ｂ）を表示画像動作検知モジュール３０６および表示装置３１０に与える。図４Ｂに示すように、第２の表示画像３０４（ｂ）は、第１の表示画像３０４（ａ）と同じボール４０２を含む。しかし、第２の表示画像３０４（ｂ）のボール４０２の位置は、第１の表示画像３０４（ａ）のボール４０２の位置よりも左側にある。図４Ｃは、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）とのボール４０２の位置が異なっていることを示すための、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）の合成画像４０３である。図４Ｃの合成画像４０３は、アーキテクチャ３００やアーキテクチャ３００の構成要素により生成されるのではなく、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）とのボール４０２の位置が異なることを示すためのものである。破線の円４０２（ａ）は、第１の表示画像３０４（ａ）におけるボール４０２の位置を表わし、破線の円４０２（ｂ）は、第２の表示画像３０４（ｂ）におけるボール４０２の位置を表わす。
表示装置３１０が、第２の表示画像３０４（ｂ）を表示スクリーン１０４に表示すると、ユーザ１０８は表示とインタラクションする。カメラ１１０は、第２の表示画像３０４（ｂ）と、表示とインタラクションするユーザ１０８とを含む第２の撮影画像３１４（ｂ）を撮影する。このため、第２の撮影画像３１４（ｂ）は、ユーザ１０８と第２の表示画像３０４（ｂ）のボール４０２の両方を含む。図５Ｂに示すように、第２の撮影画像３１４（ｂ）において、ユーザ１０８は、第１の撮影画像３１４（ａ）のユーザ１０８の位置よりも右側に位置し、第２の撮影画像３１４（ｂ）のボール４０２の位置は、第１の撮影画像３１４（ａ）のボール４０２の位置よりも左側にある。図５Ｃは、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）とのボール４０２の位置が異なっていることを示すための、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）の合成画像５０１である。図５Ｃの合成画像５０１は、アーキテクチャ３００やアーキテクチャ３００の構成要素により生成されるのではなく、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）とのボール４０２の位置が異なることを示すためのものである。破線で示したユーザ１０８（ａ）は、第１の撮影画像３１４（ａ）のユーザ１０８の位置を表わし、破線で示したユーザ１０８（ｂ）は、第２の撮影画像３１４（ｂ）のユーザ１０８の位置を表わす。破線の円４０２（ｃ）は、第１の撮影画像３１４（ａ）のボール４０２の位置を表わし、破線の円４０２（ｄ）は、第２の撮影画像３１４（ｂ）のボール４０２の位置を表わす。
第２の表示画像３０４（ｂ）と第１の表示画像３０４（ａ）とのずれにより、表示に動き（動作）が現れる。第１の表示画像３０４（ａ）のボール４０２の位置と、第２の表示画像３０４（ｂ）のボール４０２の位置とのずれは、時点ｔ−１から時点ｔまでのボールの動作を表わす。より一般的には、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）とのずれは、時点ｔ−１から時点ｔまでの表示の動作を表わす。
第１の表示画像３０４（ａ）および第２の表示画像３０４（ｂ）は、表示画像動作検知モジュール３０６に与えられ、表示画像３０４（ａ）と３０４（ｂ）の動作が決定される。表示画像動作検知モジュール３０６は、第１の表示画像３０４（ａ）を第２の表示画像３０４（ｂ）と比較し、２つの画像３０４（ａ）と３０４（ｂ）内の動作を特定する表示画像動作マップ３０８を作成する。図４Ｄは、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）に対して絶対差分処理を行うことにより生成した表示画像動作マップ３０８（ａ）の一例を示す。図４Ｄに示すように、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）に対して絶対差分処理を行うことにより生成した表示画像動作マップ３０８（ａ）は、表示画像３０４（ａ）と３０４（ｂ）の領域内の動作４０４の存在を特定する。
図４Ｅは、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）に対してオプティカルフロー処理を行うことにより生成した表示画像動作マップ３０８（ｂ）の一例を示す。図４Ｅに示すように、第１の表示画像３０４（ａ）と第２の表示画像３０４（ｂ）に対してオプティカルフロー処理を行うことにより生成した表示画像動作マップ３０８（ｂ）は、表示画像３０４（ａ）と３０４（ｂ）内の動作の存在、方向および大きさを特定するためにベクトル４０６を用いる。
上で説明したように、第２の撮影画像３１４（ｂ）のユーザ１０８の位置は、第１の撮影画像３１４（ａ）のユーザ１０８の位置よりも右側に位置する。ユーザ１０８の位置のずれは、表示とインタラクションするユーザの動作により得る。例えば、バレーボールのシミュレーション（例えば、バーチャル）ゲームをしている場合のように、ユーザ１０８が、ボール４０２を打とうとボール４０２に近づく場合、第１の撮影画像３１４（ａ）のユーザ１０８の位置と第２の撮影画像３１４（ｂ）のユーザの位置とのずれは、時点ｔ−１から時点ｔまでのユーザ１０８の動作を表わす。
第１の撮影画像３１４（ａ）および第２の撮影画像３１４（ｂ）は、撮影画像検知モジュール３１６に与えられる。撮影画像動作検知モジュール３１６は、第１の撮影画像３１４（ａ）を第２の撮影画像３１４（ｂ）と比較し、２つの画像３１４（ａ）および３１４（ｂ）内の動作を特定する撮影画像動作マップ３１８を作成する。図５Ｄは、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）に対して絶対差分処理を行うことにより生成した撮影画像動作マップ３１８（ａ）の一例を示す。図５Ｄに示すように、撮影画像動作マップ３１８（ａ）は、ユーザ５００による動作に加えて、表示５０２の動作も特定する。図５Ｅは、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）に対してオプティカルフロー処理を行うことにより生成した表示画像動作マップ３１８（ｂ）の一例を示す。図５Ｅに示すように、撮影画像動作マップ３１８（ｂ）は、ユーザ５０４による動作およびディスプレイ５０６の動作を特定するためにベクトルを用いる。撮影画像動作マップ３１８（ｂ）を生成するのに用いるオプティカルフロー・アルゴリズムは、第１の撮影画像３１４（ａ）および第２の撮影画像３１４（ｂ）に共通の対象物（例えば、ユーザ１０８とボール４０２）を認識し、第１の撮影画像３１４（ａ）と第２の撮影画像３１４（ｂ）に共通の対象物の位置を比較して、画像３１４（ａ）および３１４（ｂ）の動作を特定するベクトルを生成し得る。
比較モジュール３２０は、表示画像動作マップ３０８を撮影画像動作マップ３１８と比較することにより、ユーザ動作マップ３２２を生成する。図６Ａは、表示画像動作マップ３０８（ａ）と撮影画像動作マップ３１８（ａ）に対応するユーザ動作マップ３２２（ａ）の一例を示す。図６Ａに示すように、ユーザ動作マップ３２２（ａ）は、ユーザ５００単独による（または、優勢的）動作を特定する。図６Ｂは、表示動作マップ３０８（ｂ）と撮影画像動作マップ３１８（ｂ）に対応するユーザ動作マップ３２２（ｂ）の一例を示す。図６Ｂに示すように、ユーザ動作マップ３２２（ｂ）は、ユーザ５０４単独による（または、優勢的）動作を特定する。
図７において、システムのアーキテクチャ７００が示されている。以下に記載する違いを除いて、アーキテクチャ７００は、図３を参照して説明したアーキテクチャ３００と実質的に同じである。
実施形態によっては、例えば、カメラ１１０が表示スクリーン１０４に対向して回転し、プロジェクタ１０２とカメラ１１０が互いにオフアクシス（例えば、図１Ａに示すように、カメラ１１０がプロジェクタ１０２の上に位置するため、プロジェクタ１０２とカメラ１１０は同一軸を有しない）となる場合、または、撮影画像動作マップ３１８を生成するのに用いる撮影画像３１４の解像度が、表示画像動作マップ３０８を生成するのに用いる表示画像３０４の解像度と異なる場合、撮影画像動作マップ３１８の物体の位置と、表示画像動作マップ３０８の対応する物体の位置との間に、ずれが発生することがある。従って、実施形態によっては、演算装置１０６は、変換撮影画像動作マップ７０４の物体が、表示画像動作マップ３０８の対応する物体と合致するよう撮影画像動作マップ３１８のデータを変換撮影画像動作マップ７０４に変換（例えば、歪曲、回転、倍率変更、移動）するための幾何学的変換モジュール７０２を含む。このため、幾何学的変換処理により、逆さに設置されたカメラ１１０や、プロジェクタ１０２からオフアクシスで設置されたカメラ１１０や、表示スクリーン１０４に表示画像を反射する鏡１１６に投影される表示画像を補償することができる。幾何学的変換処理には、例えば、画素の移動や再配置、撮影画像動作マップ３１８のサイズ変更、動作値の補間、および／または動作値の補外が含まれ得る。
表示画像と表示画像を含む撮影画像の座標間の幾何学的マッピングを決定するのに較正法を用いることができる。また、幾何学的マッピングを用いて、撮影画像動作マップ３１８の物体を表示画像動作マップ３０８の対応する物体と合致させるのに必要な幾何学的変換処理を決定することができる。
較正法は、表示スクリーン１０４上に、既知のパターン、例えば、ドット格子または碁盤目を表示することを含み得る。カメラ１１０はパターンを含む画像を撮影し、撮影画像内のパターンの位置を計算する。そして、表示画像内の対応する要素の位置に対する撮影画像内のパターンの要素の位置を用いて、撮影画像の画素ごとに撮影画像と表示画像の座標間の幾何学的マッピングを定義することができる。
これに加えてまたはこれに代えて、較正法には、パターンを表示する前にブランク画像を短時間表示することや、パターンの位置を表示することが含まれていてもよい。撮影画像動作検知モジュール３１６は、撮影画像の変化（例えば、動作）を検知することによりパターンを検知することができる。
上述したように、幾何学的変換モジュール７０２は、撮影画像動作マップ３１８に対して幾何学的変換処理を行う。しかし、別の実施形態では、幾何学的変換モジュール７０２は、撮影画像３１４が撮影画像動作検知モジュール３１６に与えられる前に、撮影画像３１４に対して幾何学的変換処理を行う。
表示画像３０４をアプリケーション３０２から表示装置３１０に伝送し、表示画像を表示し、カメラ１１０で画像を撮影し、撮影画像３１４を処理するプロセスは、通常、待ち時間（すなわち、遅延）をもたらす。その結果、カメラが時点ｔで撮影する画像には、その少し前に生成された表示画像が含まれる。このため、実施形態によっては、演算装置１０６は、確実に、比較モジュール３２０が、同じ時間の対応する待ち時間補償された表示画像動作マップ７０８と変換撮影画像動作マップ７０４とを比較するよう、待ち時間補償処理を行う待ち時間補償モジュール７０６を含む。
実施形態によっては、待ち時間補償モジュール７０６は、待ち時間補償された表示画像動作マップ７０８を比較モジュール３２０に与える前に、表示画像動作マップ３０８を待ち時間と同じ時間バッファに保存する。その結果、待ち時間補償された表示画像動作マップ７０８は、対応する変換撮影画像動作マップ７０４とほぼ同じ時間に比較モジュール３２０に到達する。別の実施形態では、待ち時間補償モジュール７０６は、表示画像３０４を表示画像動作検知モジュール３０６に与える前に、表示画像３０４を待ち時間と同じ時間バッファに保存する。
これに加えてまたはこれに代えて、表示装置３１０のフレームレートとカメラ１１０のサンプリングレートとのずれを補償するのに待ち時間補償モジュール７０６を用いることができる。例えば、表示装置３１０のフレームレートが、カメラ１１０のサンプリングレート（例えば、露出時間）よりも大きいことがある。従って、１枚の撮影画像３１４が複数の表示画像３０４の露光を含むことがある。このような表示装置３１０のフレームレートとカメラ１１０のサンプリングレートとのずれを補償するため、待ち時間補償モジュール７０６は、複数の連続する表示画像動作マップ３０８を１つの待ち時間補償された表示画像動作マップ７０８に合成することができる。１つの待ち時間補償された表示画像動作マップ７０８に合成される表示動作マップ３０８の数は、カメラ１１０の１つのサンプリング時間（例えば、露出）の間に表示される表示画像の数と一致するように選択される。
絶対差分処理を用いて生成される表示画像動作マップ３０８は、論理関数「ＯＲ」処理を用いて合成してもよい。すなわち、待ち時間補償された表示画像動作マップ７０８を生成するのに合成された複数の表示画像動作マップ３０８のうちいずれかの対応する画素が動作を表わすと定義された場合、待ち時間補償された表示画像動作マップ７０８の画素は、動作を表わす画素として定義される。
あるいは、オプティカルフロー処理を用いて生成される表示画像動作マップ３０８は、待ち時間補償された表示画像動作マップ７０８の各画素に対して、各画素の動作の範囲が、待ち時間補償された表示画像動作マップ７０８を生成するために合成した複数の表示画像動作マップ３０８の対応する画素の動作を含むように動作の範囲を付与することにより合成してもよい。
較正法を用いて、表示画像が表示装置３１０に伝送される時間からカメラ１１０が対応する画像を撮影する時間までの待ち時間を決定することができる。較正法は、一定時間ブランク表示画像を表示し、その後、パターンを含む表示画像を表示することを含み得る。パターンを含む表示画像が表示装置３１０に伝送される時間を記録し、対応する撮影画像においてパターンが検出される時間と比較して、待ち時間を決定する。
実施形態によっては、アプリケーション３０２は、演算装置１０６に直接、表示画像動作マップ３０８を与える。このような実施形態では、表示画像動作検知モジュール３０６は必要ない。さらに、図３および図７において、アプリケーション３０２は演算装置１０６の外に格納されているが、実施形態によっては、アプリケーション３０２は演算装置１０６に搭載されて動作する。これらの実施形態が明らかにするように、本明細書に記載の機能は様々なモジュールおよび装置で実行することができる。従って、機能が１つの装置から別の装置に移る場合、装置間のインターフェイスは変化し得る。
実施形態によっては、ユーザ動作マップ３２２が生成されると、入力として、表示画像３０４を生成するアプリケーション３０２に与える。アプリケーション３０２は、ユーザ動作マップ３２２を用いてユーザ１０８のインタラクションを検出する。
例えば、アプリケーション３２２は、１つ以上の連続するフレームにわたって、表示画像３０４の対象物の既知の位置に対応する領域において、ユーザ１０８の動作を検出すると、ユーザ１０８が対象物に「触っている」と判断する。例えば、ユーザ１０８はボタンを「触る」ことにより、（例えば、ボタンを「オン」または「オフ」にする）ボタンを選択することが出来得る。但し、ユーザ１０８が表示画像３０４の対象物を「触っている」とアプリケーション３０２が決定するために、ユーザ１０８がディスプレイ表面１０４に物理的に触る必要はない。ユーザ１０８が表示スクリーン１０４に物理的に触る場合もあるが、表示スクリーン１０４に表示されている対象物の上や近くで、ユーザ１０８の体の一部を上下または左右に動かすと、ユーザ１０８が表示画像３０４の対象物を「触っている」とアプリケーション３０２が決定することもある。
さらに、アプリケーション３０２は、ユーザ１０８の動作を含むと分類される領域部分を決定することにより、表示画像３０４の対象物に対応する領域のユーザ１０８の動作の量を決定することができる。これにより、アプリケーション３０２は、ユーザ１０８の異なる動作（例えば、微妙な動作と意図的動作）を見分け、ユーザ１０８の異なる動作を用いて対象物の位置および／または挙動を制御することができる。また、当然のことながら、表示画像の対象領域近くで起こらないユーザの動作は無視される。
あるいは、アプリケーション３０２がオプティカルフローユーザ動作マップ３２２を受け取ると、アプリケーション３０２は、ある領域の動作ベクトルの大きさの平均値または最大値に基づいて、その領域での動作の量を決定することができる。従って、アプリケーション３２２は、ユーザ１０８の動作の速さを用いて、対象物の位置および／または挙動を制御することができる。例えば、ユーザ１０８が触る前に対象物が速度を有する場合、ユーザ１０８が対象物に触ると、アプリケーション３０２は、得られる対象物の速度が、対象物の最初の速度とユーザ１０８が対象物に与えた速度の組み合わせを反映するよう、対象物の速度を変えることができる。
また、アプリケーション３０２は、ユーザ１０８が動くことにより、表示画像３０４の対象物の外観を変えることもできる。例えば、ユーザが表示スクリーン１０４を「拭く」ことにより、アプリケーションは、元の対象物の代わりに新しい対象物を表示することができる。
実施形態においては、他の様々な方法でユーザの動作を決定することができる。例えば、動作を決定する前に表示画像３０４を撮影画像３１４から「減じる」ことができる。同様に、別の実施形態では、上述した機能が行われる順番を変更してもよい。
演算装置１０６は、コンピュータまたは別のタイプの演算装置であってもよい。例えば、演算装置１０６は、マイクロソフトウィンドウズオペレーティングシステムを実行するパーソナルコンピュータ（ＰＣ）であり得る。これに加えてまたはこれに代えて、演算装置１０６は、デジタル信号処理（ＤＳＰ）チップおよび／またはプログラム可能なピクセルシェーダを有するビデオグラフィックカードを含んでいてもよい。さらに、演算装置１０６は単体であってもよく、表示装置３１０に内蔵されてもよい。演算装置１０６を表示装置３１０に内蔵することにより、表示画像の伝送、表示、キャプチャリングおよび処理をする際に通常生じる遅延を低減することができる。
アプリケーション３０２が演算装置１０６に搭載されている場合、アプリケーションは、アクティブＸ方式のマクロメディア・フラッシュを用いてもよい。演算装置１０６は、ウィンドウズ・デバイス・コンテキストを表示画像バッファと関連付けることができる。演算装置１０６が、デバイス・コンテキストをマクロメディア・フラッシュ・アクティブＸオブジェクトに与えることにより、マクロメディア・フラッシュは画像を表示画像バッファに格納することができる。
または、アプリケーション３０２は、演算装置１０６の外に格納されていてもよい。アプリケーション３０２が演算装置１０６の外部にある場合、ビデオ信号（例えば、ビデオ・グラフィックス・アレイ（ＶＧＡ）信号）を、表示装置３１０とビデオ・キャプチャ・デバイス（例えば、ＶＧＡフレームグラバ）の両方に伝送することができる。ビデオ・キャプチャ・デバイスは、表示画像の表示を生成し、表示画像バッファに表示画像の表示を保存してもよい。
実施形態では、１つ以上のプロセスを行うように構成された装置が１つ以上含まれていてもよい。装置は、例えば、個別のまたは集積されたハードウェア、ファームウェアおよびソフトウェアを含んでいてもよい。装置は、例えば、マイクロプロセッサ、集積回路またはプログラム可能な論理素子を含む、例えば、一般的に処理装置と呼ばれるプロセッサを含んでいてもよい。
また、装置は、１つ以上のプロセスを実行する指示を有するコンピュータ読取可能な媒体を１つ以上含んでいてもよい。コンピュータ読取可能な媒体には、例えば、ハードディスク、コンパクトディスク、ランダム・アクセス・メモリ（ＲＡＭ）および読み出し専用メモリ（ＲＯＭ）などの、例えば、記憶装置が含まれ得る。また、コンピュータ読取可能な媒体は、例えば、指示を符号化または伝送するフォーマットされた電磁波を含んでいてもよい。指示は、例えば、ハードウェア、ファームウェアおよび電磁波に含まれていてもよい。指示は、例えば、オペレーティングシステム、別のアプリケーション、またはこれら２つの組み合わせに含まれていてもよい。このため、プロセッサは、例えば、プロセスを実行するよう構成された装置と、プロセスを実行する指示を有するコンピュータ読取可能な媒体を含む装置の両方を含む点に特徴を有し得る。
多数の実施形態について説明したが、様々な変更が可能であることは言うまでもない。例えば、異なる実施形態の要素を組み合わせたり、補充、変更または外すことにより別の実施形態を作製してもよい。従って、別の実施形態も添付の特許請求の範囲に含まれる。
第１のインタラクティブシステムを示す。 第２のインタラクティブシステムを示す。 第３のインタラクティブシステムを示す。 第４のインタラクティブシステムを示す。 第５のインタラクティブシステムを示す。 ユーザの動作を決定し、決定された動作をアプリケーションに入力するプロセスの一例を示すフローチャートである。 インタラクティブシステムのアーキテクチャのブロック図である。 第１の表示画像を示す。 第２の表示画像を示す。 図４Ａ〜図４Ｂの第１および第２の表示画像の合成画像を示す。 図４Ａ〜図４Ｂの第１および第２の表示画像に対応する第１の表示画像動作マップを示す。 図４Ａ〜図４Ｂの第１および第２の表示画像に対応する第２の表示画像動作マップを示す。 第１の撮影画像を示す。 第２の撮影画像を示す。 図５Ａ〜図５Ｂの第１および第２の撮影画像の合成画像を示す。 図５Ａ〜図５Ｂの第１および第２の撮影画像に対応する第１の撮影画像動作マップを示す。 図５Ａ〜図５Ｂの撮影画像に対応する第２の撮影画像動作マップを示す。 第１のユーザ動作マップを示す。 第２のユーザ動作マップを示す。 インタラクティブシステムの別のアーキテクチャのブロック図である。

Claims (18)

  1. （１）演算装置により実行される一連の指示により第１の時点で生成される第１の表示と（２）前記第１の表示の一部ではなく、前記第１の表示とインタラクションするユーザとを含む第１の撮影画像にアクセスする工程と、
    （１）前記演算装置により実行される一連の指示により第２の時点で生成される第２の表示と（２）前記第２の表示の一部ではなく、前記第２の表示とインタラクションする前記ユーザとを含む第２の撮影画像にアクセスする工程と、
    前記第１の撮影画像と前記第２の撮影画像とを比較する工程と、
    前記第１の撮影画像と前記第２の撮影画像との比較結果に基づいて前記ユーザの動作を決定する工程と、
    前記決定されたユーザの動作を１つ以上の前記第１および第２の撮影画像の一部分と関連付ける工程とを含む方法。
  2. 前記決定されたユーザの動作に関する指標（indication）および前記一部分を前記演算装置に与える工程をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記決定された動作および前記一部分に基づいて、一連の指示に対する入力を決定する工程をさらに含むことを特徴とする請求項１に記載の方法。
  4. 第１の撮影画像と第２の撮影画像との比較工程は、前記第１の撮影画像および前記第２の撮影画像に対して絶対差分処理を行うことを含むことを特徴とする請求項１に記載の方法。
  5. 第１の撮影画像と第２の撮影画像との比較工程は、前記第１の撮影画像および前記第２の撮影画像に対してオプティカルフロー処理を行うことを含むことを特徴とする請求項１に記載の方法。
  6. 第１の撮影画像と第２の撮影画像との比較工程は、結果を得ることを含み、前記結果は、前記ユーザの動作と、前記第１および第２の表示に含まれる１つ以上の対象物に関する動作とを示す画像であることを特徴とする請求項１に記載の方法。
  7. 前記結果に対して幾何学的変換処理を行う工程をさらに含むこと特徴とする請求項６に記載の方法。
  8. 前記第１の撮影画像および前記第２の撮影画像の比較結果に基づいてユーザの動作を決定する工程が、前記結果において、前記第１および第２の表示に含まれる１つ以上の対象物に関する動作から前記ユーザの動作を分離することを含むことを特徴とする請求項６に記載の方法。
  9. 前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す画像にアクセスする工程をさらに含み、
    前記結果において、前記第１および第２の表示に含まれる１つ以上の対象物に関する動作から前記ユーザの動作を分離する工程が、前記結果と、前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す画像とを比較することを含むことを特徴とする請求項８に記載の方法。
  10. 前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す画像にアクセスする工程が、
    前記第１の表示に対応する第１の表示画像にアクセスする工程と、
    前記第２の表示に対応する第２の表示画像にアクセスする工程と、
    前記第１の表示画像および前記第２の表示画像に対して絶対差分処理を行うことにより、前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す前記画像を生成する工程とを含むことを特徴とする請求項９に記載の方法。
  11. 前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す画像にアクセスする工程が、
    前記第１の表示に対応する第１の表示画像にアクセスする工程と、
    前記第２の表示に対応する第２の表示画像にアクセスする工程と、
    前記第１の表示画像および前記第２の表示画像に対してオプティカルフロー処理を行うことにより、前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す前記画像を生成する工程とを含むことを特徴とする請求項９に記載の方法。
  12. 前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を示す画像に対して、待ち時間補償処理を行う工程をさらに含むことを特徴とする請求項９に記載の方法。
  13. （１）演算装置により実行される一連の指示により第１の時点で生成される第１の表示と（２）前記第１の表示の一部ではなく、前記第１の表示とインタラクションするユーザとを含む第１の撮影画像にアクセスし、
    （１）前記演算装置により実行される一連の指示により第２の時点で生成される第２の表示と（２）前記第２の表示の一部ではなく、前記第２の表示とインタラクションする前記ユーザとを含む第２の撮影画像にアクセスし、
    前記第１の撮影画像と前記第２の撮影画像とを比較することにより前記第１および第２の撮影画像間の動作を表わす画像を生成する
    よう構成された撮影画像動作検知モジュールと、
    前記第１および第２の表示に含まれる１つ以上の対象物に関する動作を表わす画像と、前記第１および第２の撮影画像間の動作を表わす前記画像との比較結果に基づいて、前記ユーザの動作を表わす画像を生成するよう構成された比較モジュールとを含むことを特徴とするシステム。
  14. 前記第１の表示画像にアクセスし、
    前記第２の表示画像にアクセスし、
    前記第１の表示画像を前記第２の表示画像と比較することにより、前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を表わす前記画像を生成する
    よう構成された表示画像動作検知モジュールをさらに含むことを特徴とする請求項１３に記載のシステム。
  15. （１）前記第１の撮影画像を撮影し、前記第１の撮影画像を前記撮影画像動作検知モジュールに与え、（２）前記第２の撮影画像を撮影し、前記第２の撮影画像を前記撮影画像動作検知モジュールに与えるよう構成されたカメラと、
    画像を表示するためのディスプレイと、
    一連の指示を実行して前記第１および前記第２の表示画像を生成するよう構成された演算装置と
    をさらに含むことを特徴とする請求項１４に記載のシステム。
  16. 前記第１および前記第２の表示に含まれる１つ以上の対象物に関する動作を表わす画像に対して、待ち時間補償処理を行うよう構成された待ち時間補償モジュールをさらに含むことを特徴とする請求項１４に記載のシステム。
  17. 前記第１および前記第２の撮影画像間の動作を表わす前記画像に対して、幾何学的変換処理を行うよう構成された幾何学的変換モジュールをさらに含むことを特徴とする請求項１３に記載のシステム。
  18. 処理装置により実行された場合、少なくとも
    （１）演算装置により実行される一連の指示により第１の時点で生成される第１の表示と（２）前記第１の表示の一部ではなく、前記第１の表示とインタラクションするユーザとを含む第１の撮影画像にアクセスする指示と、
    （１）前記演算装置により実行される一連の指示により第２の時点で生成される第２の表示と（２）前記第２の表示の一部ではなく、前記第２の表示とインタラクションする前記ユーザとを含む第２の撮影画像にアクセスする指示と、
    前記第１の撮影画像と前記第２の撮影画像とを比較する指示と、
    前記第１の撮影画像と前記第２の撮影画像との比較結果に基づいてユーザの動作を決定する指示と、
    前記決定されたユーザの動作を、１つ以上の前記第１および第２の撮影画像の一部分と関連付ける指示と
    を含むコンピュータ読取可能な媒体を具備することを特徴とする装置。
JP2007552319A 2005-01-21 2006-01-23 動作に基づくトラッキング Expired - Fee Related JP4689684B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US64507405P 2005-01-21 2005-01-21
US60/645,074 2005-01-21
PCT/US2006/002200 WO2006078996A2 (en) 2005-01-21 2006-01-23 Motion-based tracking

Publications (3)

Publication Number Publication Date
JP2008529135A true JP2008529135A (ja) 2008-07-31
JP2008529135A5 JP2008529135A5 (ja) 2009-03-05
JP4689684B2 JP4689684B2 (ja) 2011-05-25

Family

ID=36692969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007552319A Expired - Fee Related JP4689684B2 (ja) 2005-01-21 2006-01-23 動作に基づくトラッキング

Country Status (6)

Country Link
US (2) US8144118B2 (ja)
EP (2) EP1851749B1 (ja)
JP (1) JP4689684B2 (ja)
CN (1) CN101147188B (ja)
AT (1) ATE551675T1 (ja)
WO (1) WO2006078996A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165106A (ja) * 2007-12-17 2009-07-23 Nvidia Corp 画像の歪み補正
JP2012215963A (ja) * 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
WO2013137412A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体
JP2014059803A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 入力装置
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8144118B2 (en) 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
GB2438449C (en) 2006-05-24 2018-05-30 Sony Computer Entertainment Europe Ltd Control of data processing
JP2010515170A (ja) 2006-12-29 2010-05-06 ジェスチャー テック，インコーポレイテッド 機能強化したインタラクティブシステムを用いた仮想オブジェクトの操作
WO2008137708A1 (en) * 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
US20120044141A1 (en) * 2008-05-23 2012-02-23 Hiromu Ueshima Input system, input method, computer program, and recording medium
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
GB2466497B (en) 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US20100182334A1 (en) * 2009-01-22 2010-07-22 Global Graphics Software Limited Method and system for improved display of sampled data differences
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5347673B2 (ja) * 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5318646B2 (ja) * 2009-04-17 2013-10-16 ルネサスエレクトロニクス株式会社 差分画像生成装置、差分画像生成方法、及びプログラム
US8727875B2 (en) * 2009-07-27 2014-05-20 Obscura Digital, Inc. Automated enhancements for billiards and the like
US8992315B2 (en) * 2009-07-27 2015-03-31 Obscura Digital, Inc. Automated enhancements for billiards and the like
GB0920754D0 (en) * 2009-11-27 2010-01-13 Compurants Ltd Inamo big book 1
CN102129151A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 前投影控制系统及方法
US20110199302A1 (en) * 2010-02-16 2011-08-18 Microsoft Corporation Capturing screen objects using a collision volume
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9262015B2 (en) 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
JP2012064201A (ja) * 2010-08-19 2012-03-29 Semiconductor Energy Lab Co Ltd 入出力装置及び入出力装置の駆動方法
KR101714050B1 (ko) * 2010-11-01 2017-03-08 삼성전자주식회사 휴대단말기의 데이터 표시장치 및 방법
FR2967804B1 (fr) * 2010-11-19 2013-01-04 Total Immersion Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique
US20120169586A1 (en) * 2011-01-03 2012-07-05 Carrier Corporation Virtual interface
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
WO2012094349A2 (en) 2011-01-05 2012-07-12 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
JP5799627B2 (ja) * 2011-07-15 2015-10-28 セイコーエプソン株式会社 位置検出装置、位置検出システムおよび入力機能付き表示システム
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
GB2496429B (en) * 2011-11-11 2018-02-21 Sony Corp A method and apparatus and program
WO2013090554A1 (en) * 2011-12-15 2013-06-20 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
CN104428791A (zh) 2012-05-14 2015-03-18 澳宝提克斯公司 通过检测图像中的圆形物体操作计算装置
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US20140003674A1 (en) * 2012-06-27 2014-01-02 Christopher D. Coley Skin-Based User Recognition
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US9197870B1 (en) * 2012-09-12 2015-11-24 Amazon Technologies, Inc. Automatic projection focusing
CN104871127B (zh) * 2012-12-21 2018-04-10 巴科股份有限公司 显示器间的差分等待时间的自动化测量
US20150331491A1 (en) * 2012-12-27 2015-11-19 Thomas Licensing System and method for gesture based touchscreen control of displays
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
DE102013211904A1 (de) * 2013-06-24 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Gesten im Strahlbereich eines Projektors
US9011246B1 (en) * 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9616350B2 (en) * 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US9547370B2 (en) * 2014-05-27 2017-01-17 Fuji Xerox Co., Ltd. Systems and methods for enabling fine-grained user interactions for projector-camera or display-camera systems
US9330306B2 (en) * 2014-06-11 2016-05-03 Panasonic Intellectual Property Management Co., Ltd. 3D gesture stabilization for robust input control in mobile environments
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN106034029A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 基于图片验证码的验证方法和装置
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
EP3391638A4 (en) * 2015-12-16 2019-08-14 Martineau, Pierre R. METHOD AND DEVICE FOR REMANENT IMAGE CONTROL
US10181195B2 (en) * 2015-12-28 2019-01-15 Facebook, Inc. Systems and methods for determining optical flow
JP2017169086A (ja) * 2016-03-17 2017-09-21 セイコーエプソン株式会社 表示装置、表示装置の制御方法及びプログラム
US10401145B2 (en) 2016-06-13 2019-09-03 Carl Zeiss Industrielle Messtechnik Gmbh Method for calibrating an optical arrangement
CN111249691B (zh) * 2018-11-30 2021-11-23 百度在线网络技术（北京）有限公司 一种基于形体识别的运动员训练方法和系统
DE102019119138B4 (de) * 2019-07-15 2022-01-20 Deutsche Post Ag Bestimmen einer Verteil- und/oder Sortierinformation zum automatisierten Verteilen und/oder Sortieren einer Sendung
US10976818B2 (en) 2019-08-21 2021-04-13 Universal City Studios Llc Interactive attraction system and method for object and user association
GB2610018B (en) * 2021-06-04 2023-09-13 Canon Kk Information processing apparatus that notifies subject blur, image capturing apparatus, information processing method, and control method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124839A (ja) * 1997-07-07 1999-01-29 Sony Corp 情報入力装置
US6072469A (en) * 1996-06-20 2000-06-06 Chen; Mei-Yun Cursor positioning device for computer system
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2003116126A (ja) * 2001-10-03 2003-04-18 Sony Corp 信号処理方法と信号処理装置及び信号処理プログラム
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
US20040102247A1 (en) * 2002-11-05 2004-05-27 Smoot Lanny Starkes Video actuated interactive environment
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
JP2006040271A (ja) * 2004-06-28 2006-02-09 Microsoft Corp ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用
US20060044289A1 (en) * 2004-06-21 2006-03-02 Microsoft Corporation System and method for reducing latency in display of computer-generated graphics

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4746770A (en) 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
USRE38420E1 (en) 1992-08-12 2004-02-10 British Broadcasting Corporation Derivation of studio camera position and motion from the camera image
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
US5436639A (en) * 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
JP3727954B2 (ja) 1993-11-10 2005-12-21 キヤノン株式会社 撮像装置
DE4415167A1 (de) 1994-04-29 1995-11-02 Siemens Ag Telekommunikationsanordnung zum Übertragen von Bildern
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JPH08179888A (ja) 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5710833A (en) 1995-04-20 1998-01-20 Massachusetts Institute Of Technology Detection, recognition and coding of complex objects using probabilistic eigenspace analysis
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US5986675A (en) 1996-05-24 1999-11-16 Microsoft Corporation System and method for animating an object in three-dimensional space using a two-dimensional input device
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3876942B2 (ja) 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力／検出装置および電子黒板システム
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US6628819B1 (en) 1998-10-09 2003-09-30 Ricoh Company, Ltd. Estimation of 3-dimensional shape from image sequence
US6201554B1 (en) 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
EP1239312A4 (en) * 1999-09-27 2005-09-21 Sumitomo Electric Industries OPTICAL FIBER WITH DISTRIBUTION MANAGEMENT, METHOD FOR MANUFACTURING THE SAME, OPTICAL COMMUNICATION SYSTEM USE AND OPTICAL FIBER BASE MATERIAL
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6535114B1 (en) 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
US6624833B1 (en) 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP4059620B2 (ja) 2000-09-20 2008-03-12 株式会社リコー 座標検出方法、座標入力／検出装置及び記憶媒体
US20020153188A1 (en) 2000-12-08 2002-10-24 Brandt Kenneth A. Selectable control parameters on a power machine with four-wheel steering
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
EP1428108B1 (en) * 2001-05-14 2013-02-13 Koninklijke Philips Electronics N.V. Device for interacting with real-time streams of content
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7061628B2 (en) 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile
WO2003036557A1 (en) * 2001-10-22 2003-05-01 Intel Zao Method and apparatus for background segmentation based on motion localization
US20030098841A1 (en) 2001-11-26 2003-05-29 Jessica Broussard Powered, remotely controllable computer display device
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7576727B2 (en) * 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US7162075B2 (en) 2003-03-10 2007-01-09 Cranial Technologies, Inc. Three-dimensional image capture system
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7333133B2 (en) 2003-03-31 2008-02-19 Spatial Integrated Systems, Inc. Recursive least squares approach to calculate motion parameters for a moving camera
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
IL157877A0 (en) 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
US20050075975A1 (en) 2003-10-02 2005-04-07 Rosner Warren M. Allocating funds for payment of transactional account statements
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN1902930B (zh) 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US7312819B2 (en) 2003-11-24 2007-12-25 Microsoft Corporation Robust camera motion analysis for home video
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
KR100594971B1 (ko) 2004-01-09 2006-06-30 삼성전자주식회사 지자기 센서를 이용한 입력장치 및 이를 이용한 입력신호생성방법
WO2005067389A2 (en) 2004-01-15 2005-07-28 Technion Research & Development Foundation Ltd. Three-dimensional video scanner
US7466308B2 (en) * 2004-06-28 2008-12-16 Microsoft Corporation Disposing identifying codes on a user's hand to provide input to an interactive display application
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US8144118B2 (en) 2005-01-21 2012-03-27 Qualcomm Incorporated Motion-based tracking
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072469A (en) * 1996-06-20 2000-06-06 Chen; Mei-Yun Cursor positioning device for computer system
JPH1124839A (ja) * 1997-07-07 1999-01-29 Sony Corp 情報入力装置
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2003116126A (ja) * 2001-10-03 2003-04-18 Sony Corp 信号処理方法と信号処理装置及び信号処理プログラム
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
US20040102247A1 (en) * 2002-11-05 2004-05-27 Smoot Lanny Starkes Video actuated interactive environment
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
US20060044289A1 (en) * 2004-06-21 2006-03-02 Microsoft Corporation System and method for reducing latency in display of computer-generated graphics
JP2006040271A (ja) * 2004-06-28 2006-02-09 Microsoft Corp ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165106A (ja) * 2007-12-17 2009-07-23 Nvidia Corp 画像の歪み補正
US8818027B2 (en) 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
KR101457777B1 (ko) * 2010-04-01 2014-11-03 퀄컴 인코포레이티드 컴퓨팅 디바이스 인터페이스
JP2012215963A (ja) * 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
WO2013137412A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体
JPWO2013137412A1 (ja) * 2012-03-15 2015-08-03 オムロン株式会社 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体
JP2014059803A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 入力装置
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
EP2458554A1 (en) 2012-05-30
US8717288B2 (en) 2014-05-06
WO2006078996A3 (en) 2007-04-19
CN101147188A (zh) 2008-03-19
JP4689684B2 (ja) 2011-05-25
US20060192782A1 (en) 2006-08-31
EP2458554B1 (en) 2015-04-29
CN101147188B (zh) 2010-09-29
EP1851749B1 (en) 2012-03-28
WO2006078996A2 (en) 2006-07-27
EP1851749A2 (en) 2007-11-07
EP1851749A4 (en) 2011-03-02
US20120154272A1 (en) 2012-06-21
ATE551675T1 (de) 2012-04-15
US8144118B2 (en) 2012-03-27

Similar Documents

Publication Publication Date Title
JP4689684B2 (ja) 動作に基づくトラッキング
US9921663B2 (en) Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
AU2018245993B2 (en) Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10146298B2 (en) Enhanced handheld screen-sensing pointer
US8559676B2 (en) Manipulation of virtual objects using enhanced interactive system
EP2521097B1 (en) System and Method of Input Processing for Augmented Reality
US20140176591A1 (en) Low-latency fusing of color image data
US20110234481A1 (en) Enhancing presentations using depth sensing cameras
US20130342572A1 (en) Control of displayed content in virtual environments
US9335888B2 (en) Full 3D interaction on mobile devices
TW200941313A (en) Apparatus and methods for a touch user interface using an image sensor
US20230334617A1 (en) Camera-based Transparent Display
WO2016158001A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
WO2022091577A1 (ja) 情報処理装置および情報処理方法
JPWO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US20230370578A1 (en) Generating and Displaying Content based on Respective Positions of Individuals
US20230396748A1 (en) Image processing apparatus, image processing method, and storage medium
CN116954352A (zh) 一种投影手势的识别方法、智能交互系统及可读存储介质
JP2009237611A (ja) 対象画像からの顔領域の検出

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees