JP2009537923A - データ処理の制御 - Google Patents
データ処理の制御 Download PDFInfo
- Publication number
- JP2009537923A JP2009537923A JP2009511563A JP2009511563A JP2009537923A JP 2009537923 A JP2009537923 A JP 2009537923A JP 2009511563 A JP2009511563 A JP 2009511563A JP 2009511563 A JP2009511563 A JP 2009511563A JP 2009537923 A JP2009537923 A JP 2009537923A
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- point
- points
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 102
- 238000000034 method Methods 0.000 claims description 33
- 238000013519 translation Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 3
- 238000013500 data storage Methods 0.000 claims 2
- 230000003542 behavioural effect Effects 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 42
- 230000008451 emotion Effects 0.000 description 19
- 230000014616 translation Effects 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 7
- 230000002441 reversible effect Effects 0.000 description 7
- 238000007667 floating Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- MHABMANUFPZXEB-UHFFFAOYSA-N O-demethyl-aloesaponarin I Natural products O=C1C2=CC=CC(O)=C2C(=O)C2=C1C=C(O)C(C(O)=O)=C2C MHABMANUFPZXEB-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101100029138 Mycobacterium tuberculosis (strain ATCC 25618 / H37Rv) PE16 gene Proteins 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
- A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/308—Details of the user interface
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Position Input By Displaying (AREA)
Abstract
【選択図】 図6
Description
データ処理装置の制御機能と対応づけられている画像領域内の選択されたポイントについて画像間動作を検出するための手段と、
該画像間動作について画像領域において検出が行われた場合、制御を実行するための手段と、を備え、
該検出手段は、先行して受信した画像内のポイントとの対応関係に基づいて、現在受信している画像内のテストポイントを選択することによって妥当性が確認された、現在の画像の画像領域内にあるポイントを選択するよう構成されており、先行して受信した画像内のポイントそれ自体は、現在受信している画像内でもともと選択されたポイントに対応するものであり、対応するテストポイントが実質的に一致しない現在の画像内のポイントは選択から外すことを特徴とする。
ビデオカメラから、連続した取り込まれた画像を受信するステップと、
データ処理装置の制御機能と対応づけられている画像領域内にある、選択されたポイントについて画像間動作を検出するステップと、
画像間動作が画像領域において検出された場合に制御機能を実行するステップと、を備え、
該検出ステップは、先行して受信した画像内のポイントとの対応関係に基づいて、現在受信している画像内のテストポイントを選択することによって妥当性が確認された、現在の画像の画像領域内にあるポイントを選択するステップを備え、先行して受信した画像内のこれらのポイントは、それ自身が現在受信している画像内でもともと選択されたポイントに対応するものであり、対応するテストポイントが実質的に一致しない現在の画像内のポイントは選択から外すことを特徴とする。
ii.グレースケール画像(256輝度値を伴った1カラーチャンネル)
iii.バイナリ画像(2輝度値を伴った1カラーチャンネル−白黒)
ビデオカメラ730は、ある程度固定したフレームレート(例えば毎秒30、60、または120フレーム)で、カラー画像を作成する。これらは、ImageHistory 20に渡される前に、グレースケール画像に変換される。
例えば、壁、天井、または床のタイルの線に沿ったタイル間の接合は、全て非常に類似して見える。一つのフレームから次のフレームへのカメラ画像における、わずかなノイズまたはブレにより、次の画像において、一つの接合点が、そのライン上のどこか別の接合点に似て見えてしまうことがある。結果的に、画像ノイズによって、Lucas-Kanadeトラッカのステップ2におけるポイントマッチが、フレーム間で異なるタイル接合点を対応づけてしまうことになり、見かけ上の動きを生じさせてしまう可能性がある。似たような問題は、壁紙や縞模様のTシャツなどの繰り返し模様の場合に起こりうる。
問題点1と同様に、タイルやプリントの繰り返し模様などのように完全に類似するものではないとしても、草木などのような自己相似性オブジェクトは十分に類似性があるので、以下の例示シナリオにおいて問題を生じ得る。ユーザーが手を上げて室内用鉢植えの前に立っており、植物の最上部は覆い隠され、下部の枝が見えるようになっている。例えば指先と葉の集まりに該当する画像内のポイントを識別する。その後、ユーザーが手の位置を低くして、植物の下方の枝を覆い隠し、最上部の枝が見えるようにする。Lucas-Kanadeトラッカは、下方に動く手の中のポイントを追跡するが、植物の下半分において識別されたオリジナルポイントがないので、見えるようになった植物の上半分において、類似ポイントを見つけ出そうとする。そのため、これを上向きの動きと解釈して、感知されたユーザーの動きを効率よく打ち消してしまう。
ここで、図10(a)と図10(b)を参照する。これらの図は、あるポイントが6枚の連続したフレーム上をどのように移動するように見えるかを示す例である。図10(a)は、このシーンでは静止しているポイントであるが、カメラ画像内のノイズのために移動しているように見える。このポイントは遠くへの動きはなく、恐らく1または2ピクセル分の動きである。図10(b)は、直線上を移動しているポイントを示す。この場合、ノイズによって、ポイントが少しだけ進路から逸脱しているように見える。これらの図から、単に、ポイントが二つのフレーム間で移動した距離についての閾値だけでは、ポイントが本当に静止しているかどうかを判断するには不十分であるということが明らかである。二つの連続するフレーム間において、静止ポイントが、移動ポイントの見え方に相当する距離を移動するように見える。ポイントの本当の動きの速度が遅くなるにつれ、あるいはカメラのフレームレートが増すにつれ、この問題は悪化する。
yCurrentkは、第k番目のポイントの現在のy座標
xPrevkは、第k番目のポイントの前回のx座標
yPrevkは、第k番目のポイントの前回のy座標
これらのポイントの集合体から、以下の未知数を予測する必要がある。
Θ:ボディの回転角
transX:トランスレーションにおけるXコンポーネント
transY:トランスレーションにおけるYコンポーネント
このモデルにおいて、現在のポイントがどのようにして前のポイントから導き出されたかを表す数式は、次のようになる。
それぞれのポイントペアはすべてこのような二つの数式をもたらす。この目的は、式の集合体におけるエラーを最小限にするスケール、Θ、transXおよびtransYを見出すことである。
n個のポイントに対し、マトリックスは2n列を有する。ハウスホルダー直交化アルゴリズムは、このマトリックス式に対して最小誤差解(M、N、PおよびQ)を見出すために使用され、ここで、M = scale.sinΘ、N = scale.cosΘ、P = transX、およびQ = transYである。
これは、次を意味する。
ここで、Θのすべての値に対して
である。従って、
である。それによって、
これを、第二のポイントペア式に代入すると、
をもたらし、一方、transX = PおよびtransY = Qである。
また、この等式は、マトリックス/ベクトル式として再公式化され、
前回と同様に解かれて、スケールとΘを得る。
MotionConstraintsクラス80は、多くの制約をモデル化する関数を備える。すでに開示された動作モデルを使って、概念上のボディのために、とりわけ次のようなプロパティを決定できる。
S10 画像を取り込むステップと、
S20 ImageHistoryクラス20に画像を格納するステップと、
S30 現在とそれより前の画像の間の差分に従って画像を作成するステップと、
S40 DifferenceHistoryクラス40に差分画像の閾値型を格納するステップと、
S50 ImageHistoryクラス20に格納されている画像を分析し、ある画像から次の画像へと追跡するための有効なポイントを見出すステップと、
S60 これらのポイントをPointsHistoryクラス60内に格納するステップと、
S70 現在およびそれより前のフレームにおいて選択されたポイントの動きをモデル化するステップと、
S80 UI制御に適する動作制約を適用するステップと、
S90 制約された動作をユーザー入力として解釈するステップと、を備える。
Claims (33)
- ビデオカメラから連続する画像を受信するよう構成されるデータ処理装置であって、
該データ処理装置の制御機能と対応づけられている画像領域内の選択されたポイントについて画像間動作を検出するための手段と、
該画像間動作について画像領域において検出が行われた場合に制御機能を実行するための手段と、を備え、
該検出手段は、先行して受信した画像内のポイントとの対応関係に基づいて、現在受信している画像内のテストポイントを選択することによって妥当性が確認された、現在の画像の画像領域内にあるポイントを選択するよう構成されており、先行して受信した画像内のポイントそれ自体は、現在受信している画像内でもともと選択されたポイントに対応するものであり、
対応するテストポイントが実質的に一致しない現在の画像内のポイントは選択から外すことを特徴とするデータ処理装置。 - 請求項1に記載の装置であって、
前記連続する画像を供給するためのビデオカメラを備えることを特徴とするデータ処理装置。 - 前記各項のいずれか一つに記載の装置であって、
ビデオディスプレイと、
該ビデオディスプレイ上に移動可能なユーザー制御を表示するための手段と、を備える装置であって、
前記制御機能は、少なくとも該移動可能なユーザー制御の移動を含むことを特徴とする装置。 - 請求項3に記載の装置であって、
前記移動可能なユーザー制御は、前記検出手段によって検出された画像間動作の程度に依存する量だけ動かされることを特徴とする装置。 - 前記各項のいずれか一つに記載の装置は、差分測定手段を備え、
該差分測定手段は、
二つの連続する画像間のピクセル値における差分に比例する、一連の値を備える差分データを作成し、
その後、該差分データを平滑化するよう動作可能であることを特徴とする装置。 - 請求項5に記載の装置であって、
前記差分測定装置はさらに、異なる閾値レベルで差分データに対して閾値を適用し、結果として生じるバイナリ差分データを出力するよう動作可能であることを特徴とする装置。 - 請求項6に記載の装置は、差分データ記憶手段を備え、
該差分データ記憶手段は、連続する画像間で差分閾値を超える差分を示した、一連の画像に亘るすべてのポイントを示す累積的バイナリ差分画像を作成するために、一連の画像に対するバイナリ差分データを組み合わせるよう動作可能であることを特徴とする装置。 - 請求項6または請求項7に記載の装置であって、
i.空間的平均化、および
ii.時間的平均化
のうちの一つまたは両方の処理を適用することによって、前記ビデオカメラから受信した画像データを処理する手段を備えることを特徴とする装置。 - 請求項6に記載の装置であって、
前記画像間動作を検出する手段は、先行する画像内のポイントの選択の前に、差分画像にある均等位置が差分閾値レベルを下回る差分を示している、現在の画像におけるポイントを廃棄するよう動作可能であることを特徴とする装置。 - 請求項6に記載の装置であって、
前記画像間動作を検出する手段は、先行する画像内のポイントとの対応関係に基づく現在の画像内のテストポイントの選択の前に、差分画像にある均等位置が差分閾値レベルを下回る差分を示している、先行する画像におけるポイントを廃棄するよう動作可能であることを特徴とする装置。 - 請求項5乃至請求項10のいずれか一つに記載の装置であって、
前記差分測定手段は、静止しているということが見出された選択ポイントの差分値における変動量に基づいて、連続する画像間の差分閾値を算出するよう動作可能であることを特徴とする装置。 - 請求項5乃至請求項10のいずれか一つに記載の装置であって、
前記差分測定手段は、連続する画像間の差分閾値を算出するよう動作可能であって、該算出は、二つ以上の連続する画像内のピクセルについての差分値のヒストグラムに基づくものであり、ヒストグラムの末端にある低い差分値から見て最初に遭遇するヒストグラムピークを、それより上に差分閾値を設定すべき平均カメラノイズであると識別することを特徴とする装置。 - 請求項9乃至請求項12のいずれか一つに記載の装置であって、
前記差分測定手段は、画像履歴記憶装置に格納されたn個の先行する画像について動作を検出するためのポイントのペアを再帰的に取得し、これらのポイントのペアの累積した最終的な動作を距離閾値と比較し、意図的な動きを画像ノイズから区別するよう動作可能であることを特徴とする装置。 - 請求項13に記載の装置であって、
nは、3以上であることを特徴とする装置。 - 請求項13乃至請求項14のいずれか一つに記載の装置であって、
前記画像間動作を検出するための手段は、画像履歴にある先行する画像から再帰的にポイントのペアを取得する前に、連続する画像間に差分閾値レベルを超えるのに十分な差分がないということが生じたポイントを廃棄するために、累積的差分画像を使用するよう動作可能であることを特徴とする装置。 - 請求項13乃至請求項15のいずれか一つに記載の装置であって、
意図的な動きを示したと検出されたポイントを格納するためのポイント履歴記憶手段を備えることを特徴とする装置。 - 請求項16に記載の装置であって、
ユーザーに対して検出された動作についての情報を供給するために、ポイント履歴から引き出されたデータを、グラフィカルに表示するための手段を備えることを特徴とする装置。 - 請求項13乃至請求項17のいずれか一つに記載の装置であって、
意図的な動きを示したと判断された、現在の画像および先行する画像に対するポイントのペアにおける、
i. トランスレーション
ii. ローテーション
iii. スケール
のいずれか、またはすべてに対する変更について決定するよう動作可能である動作モデル化手段を備えることを特徴とする装置。 - 請求項18に記載の装置であって、
現在の画像および先行する画像よりも古い、いくつかのまたはすべての格納された画像に対するポイントペアは、前記動作モデル化手段によって使用されることを特徴とする装置。 - 請求項18および請求項19のいずれか一つに記載の装置であって、
所望の動きに一致するように、モデル化された動作を制約するよう動作可能な動作制約手段を備えることを特徴とする装置。 - 請求項18乃至請求項20のいずれか一つに記載の装置であって、
前記モデル化された動作に従って、少なくとも最初の表示アイテムを更新するための表示手段を備えることを特徴とする装置。 - 請求項21に記載の装置であって、
前記表示アイテムまたは各表示アイテムは、ユーザーインターフェース制御を表わすことを特徴とする装置。 - 請求項22記載の装置であって、
前記ユーザーインターフェース制御は、
i. ホイール制御
ii. ダイヤル制御
iii. スクロール制御
iv. スケール制御
のいずれか一つであることを特徴とする装置。 - 請求項23記載の装置であって、
前記ホイール制御とダイヤル制御は、スケール変更が可能であることを特徴とする装置。 - 請求項20乃至請求項24のいずれか一つに記載の装置であって、
制約のあるモデル化された動作から、ユーザーが逸脱したと判断されると、この逸脱が閾値を超えている場合は、ユーザーインターフェース制御がロックされることを特徴とする装置。 - 請求項18乃至請求項25のいずれか一つに記載の装置であって、
前記モデル化された動作は、装置に対するユーザー入力として解釈されることを特徴とする装置。 - 前記各項のいずれか一つに記載の装置であって、前記データ処理装置はゲーム機であることを特徴とする装置。
- データ処理方法であって、
ビデオカメラから連続して取り込んだ画像を受信するステップと、
データ処理装置の制御機能と対応づけられている画像領域内の選択されたポイントについての画像間動作を検出するステップと、
画像領域において該画像間動作が検出された場合に制御機能を実行するステップと、を備え、
該検出ステップは、先行して受信した画像内のポイントとの対応関係に基づいて、現在受信している画像内のテストポイントを選択することによって妥当性が確認された、現在の画像の画像領域内にあるポイントを選択するよう構成されており、先行して受信した画像内のポイントそれ自体は、現在受信している画像内でもともと選択されたポイントに対応するものであり、
対応するテストポイントが実質的に一致しない現在の画像内のポイントは選択から外すことを特徴とするデータ処理方法。 - コンピュータ・ソフトウェアであって、
コンピュータにロードされると、コンピュータが請求項1乃至請求項27のいずれか一つに記載のデータ処理装置として動作できるようになるプログラムコードを有することを特徴とするソフトウェア。 - コンピュータ・ソフトウェアであって、
請求項28に記載の方法を実行するためのプログラムコードを有することを特徴とするコンピュータ・ソフトウェア。 - 請求項29または請求項30に記載のソフトウェアを提供するための提供媒体。
- 請求項31に記載の媒体であって、前記媒体は、伝送媒体であることを特徴とする媒体。
- 請求項31に記載の媒体であって、前記媒体は、記憶媒体であることを特徴とする媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB0610324.6A GB2438449C (en) | 2006-05-24 | 2006-05-24 | Control of data processing |
PCT/GB2007/001810 WO2007135376A2 (en) | 2006-05-24 | 2007-05-17 | Control of data processing using cumulative inter-frame motion |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009537923A true JP2009537923A (ja) | 2009-10-29 |
Family
ID=36687665
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009511563A Pending JP2009537923A (ja) | 2006-05-24 | 2007-05-17 | データ処理の制御 |
JP2009511564A Active JP5275978B2 (ja) | 2006-05-24 | 2007-05-17 | データ処理の制御 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009511564A Active JP5275978B2 (ja) | 2006-05-24 | 2007-05-17 | データ処理の制御 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20090251553A1 (ja) |
EP (2) | EP2029247B1 (ja) |
JP (2) | JP2009537923A (ja) |
GB (1) | GB2438449C (ja) |
WO (2) | WO2007135376A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101355589B1 (ko) | 2013-01-30 | 2014-01-24 | 한국기술교육대학교 산학협력단 | 각 분할 스핀영상을 이용한 얼굴인식 방법 |
JP2020201674A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 映像解析装置及びその制御方法及びプログラム |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8249334B2 (en) | 2006-05-11 | 2012-08-21 | Primesense Ltd. | Modeling of humanoid forms from depth maps |
GB2438449C (en) * | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
WO2008029889A1 (fr) * | 2006-09-08 | 2008-03-13 | Panasonic Corporation | Terminal de traitement des informations, procédé de génération d'informations musicales et programme |
US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
JP5183398B2 (ja) * | 2008-09-29 | 2013-04-17 | 株式会社日立製作所 | 入力装置 |
JP2010277197A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
JP2011081469A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | 入力装置 |
JP2011152297A (ja) * | 2010-01-27 | 2011-08-11 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲームシステム |
US8787663B2 (en) | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2011233039A (ja) * | 2010-04-28 | 2011-11-17 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、およびプログラム |
US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
KR101364571B1 (ko) * | 2010-10-06 | 2014-02-26 | 한국전자통신연구원 | 영상 기반의 손 검출 장치 및 그 방법 |
US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
US9848106B2 (en) * | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
CN103347437B (zh) | 2011-02-09 | 2016-06-08 | 苹果公司 | 3d映射环境中的凝视检测 |
US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
DE102012205051B4 (de) * | 2012-03-29 | 2016-09-15 | Siemens Healthcare Gmbh | Verfahren zur Reduzierung von Direct-Hit-Artefakten und Röntgeneinrichtung |
US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
GB2501925B (en) * | 2012-05-11 | 2015-04-29 | Sony Comp Entertainment Europe | Method and system for augmented reality |
US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
JP5386645B2 (ja) * | 2013-01-10 | 2014-01-15 | 日立コンシューマエレクトロニクス株式会社 | 入力方法 |
JP2014232516A (ja) * | 2013-05-30 | 2014-12-11 | トヨタ自動車株式会社 | 対象物変化検出装置、警報装置、対象物変化検出方法及び警報方法 |
US10031925B2 (en) * | 2014-10-15 | 2018-07-24 | Thinkcx Technologies, Inc. | Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph |
US20200218413A1 (en) | 2014-10-30 | 2020-07-09 | Google Llc | Systems and methods for presenting scrolling online content on mobile devices |
GB2533553B (en) * | 2014-12-15 | 2020-09-09 | Sony Interactive Entertainment Inc | Image processing method and apparatus |
EP3040835B1 (en) * | 2014-12-31 | 2021-12-01 | Nokia Technologies Oy | Image navigation |
US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
CN109328460A (zh) * | 2016-07-01 | 2019-02-12 | 脸谱公司 | 立体图像捕获 |
US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
US10860845B2 (en) * | 2018-10-22 | 2020-12-08 | Robert Bosch Gmbh | Method and system for automatic repetitive step and cycle detection for manual assembly line operations |
CN111714888A (zh) * | 2020-06-10 | 2020-09-29 | 咪咕互动娱乐有限公司 | 游戏地图生成方法、装置、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02117276A (ja) * | 1988-10-27 | 1990-05-01 | Canon Inc | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
JPH04196993A (ja) * | 1990-11-28 | 1992-07-16 | Toshiba Corp | 画像監視装置 |
US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
JP2000163193A (ja) * | 1998-11-25 | 2000-06-16 | Seiko Epson Corp | 携帯情報機器及び情報記憶媒体 |
JP2001307124A (ja) * | 2000-02-15 | 2001-11-02 | Sega Corp | 画像処理システム、画像処理装置及び撮像装置 |
JP2002196855A (ja) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
JP2005087754A (ja) * | 2004-12-01 | 2005-04-07 | Konami Computer Entertainment Yokyo Inc | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム |
JP2005122492A (ja) * | 2003-10-16 | 2005-05-12 | Japan Science & Technology Agency | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 |
JP2005526318A (ja) * | 2002-05-17 | 2005-09-02 | サーノフ・コーポレーション | オプティカルフローを決定する方法及び装置 |
JP2006127541A (ja) * | 2005-12-06 | 2006-05-18 | Nec Corp | ジェスチャー認識方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4240109A (en) * | 1976-10-14 | 1980-12-16 | Micro Consultants, Limited | Video movement detection |
US5012270A (en) | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
US4937878A (en) | 1988-08-08 | 1990-06-26 | Hughes Aircraft Company | Signal processing for autonomous acquisition of objects in cluttered background |
US4953032A (en) * | 1988-11-30 | 1990-08-28 | Hitachi, Ltd. | Motion signal generating circuit for use in a television receiver |
JP3062394B2 (ja) | 1994-05-30 | 2000-07-10 | 沖電気工業株式会社 | 動体像抽出方法 |
US6985172B1 (en) * | 1995-12-01 | 2006-01-10 | Southwest Research Institute | Model-based incident detection system with motion classification |
US6504569B1 (en) | 1998-04-22 | 2003-01-07 | Grass Valley (U.S.), Inc. | 2-D extended image generation from 3-D data extracted from a video sequence |
US6301386B1 (en) * | 1998-12-09 | 2001-10-09 | Ncr Corporation | Methods and apparatus for gray image based text identification |
RU2187904C1 (ru) * | 2000-12-19 | 2002-08-20 | Многопрофильное предприятие ООО "Элсис" | Способ и устройство преобразования изображения |
JP4290124B2 (ja) * | 2002-11-26 | 2009-07-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動き系列パターン検出 |
GB2398691B (en) | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
WO2005006545A1 (ja) | 2003-07-10 | 2005-01-20 | Murata Manufacturing Co., Ltd. | 電子部品の周波数調整装置及びそれを用いた電子部品の周波数調整方法 |
US7535515B2 (en) * | 2003-12-23 | 2009-05-19 | Ravi Ananthapur Bacche | Motion detection in video signals |
US7643066B2 (en) * | 2004-02-19 | 2010-01-05 | Robert Bosch Gmbh | Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control |
EP1645944B1 (en) * | 2004-10-05 | 2012-08-15 | Sony France S.A. | A content-management interface |
US7489341B2 (en) * | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
JP4689684B2 (ja) * | 2005-01-21 | 2011-05-25 | ジェスチャー テック,インコーポレイテッド | 動作に基づくトラッキング |
GB2438449C (en) | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
-
2006
- 2006-05-24 GB GB0610324.6A patent/GB2438449C/en active Active
-
2007
- 2007-05-17 US US12/302,136 patent/US20090251553A1/en not_active Abandoned
- 2007-05-17 EP EP07732833.4A patent/EP2029247B1/en active Active
- 2007-05-17 WO PCT/GB2007/001810 patent/WO2007135376A2/en active Application Filing
- 2007-05-17 EP EP07732836.7A patent/EP2029248B1/en active Active
- 2007-05-17 US US12/301,745 patent/US8654099B2/en active Active
- 2007-05-17 WO PCT/GB2007/001813 patent/WO2007135378A2/en active Application Filing
- 2007-05-17 JP JP2009511563A patent/JP2009537923A/ja active Pending
- 2007-05-17 JP JP2009511564A patent/JP5275978B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02117276A (ja) * | 1988-10-27 | 1990-05-01 | Canon Inc | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
JPH04196993A (ja) * | 1990-11-28 | 1992-07-16 | Toshiba Corp | 画像監視装置 |
US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
JP2000163193A (ja) * | 1998-11-25 | 2000-06-16 | Seiko Epson Corp | 携帯情報機器及び情報記憶媒体 |
US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
JP2001307124A (ja) * | 2000-02-15 | 2001-11-02 | Sega Corp | 画像処理システム、画像処理装置及び撮像装置 |
JP2002196855A (ja) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP2005526318A (ja) * | 2002-05-17 | 2005-09-02 | サーノフ・コーポレーション | オプティカルフローを決定する方法及び装置 |
JP2005122492A (ja) * | 2003-10-16 | 2005-05-12 | Japan Science & Technology Agency | 画像に含まれる身体形状を判定する方法及び非接触型ポインティング・デバイスの実現方法 |
JP2005087754A (ja) * | 2004-12-01 | 2005-04-07 | Konami Computer Entertainment Yokyo Inc | ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム |
JP2006127541A (ja) * | 2005-12-06 | 2006-05-18 | Nec Corp | ジェスチャー認識方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101355589B1 (ko) | 2013-01-30 | 2014-01-24 | 한국기술교육대학교 산학협력단 | 각 분할 스핀영상을 이용한 얼굴인식 방법 |
JP2020201674A (ja) * | 2019-06-07 | 2020-12-17 | キヤノン株式会社 | 映像解析装置及びその制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
GB2438449B (en) | 2010-01-27 |
WO2007135378A3 (en) | 2008-12-31 |
JP5275978B2 (ja) | 2013-08-28 |
WO2007135376A3 (en) | 2008-12-31 |
GB2438449C (en) | 2018-05-30 |
US20090251553A1 (en) | 2009-10-08 |
EP2029247B1 (en) | 2016-02-03 |
WO2007135378A2 (en) | 2007-11-29 |
EP2029247A2 (en) | 2009-03-04 |
JP2009537924A (ja) | 2009-10-29 |
US8654099B2 (en) | 2014-02-18 |
WO2007135376A2 (en) | 2007-11-29 |
EP2029248B1 (en) | 2018-10-03 |
GB0610324D0 (en) | 2006-07-05 |
EP2029248A2 (en) | 2009-03-04 |
US20090268040A1 (en) | 2009-10-29 |
GB2438449A (en) | 2007-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5275978B2 (ja) | データ処理の制御 | |
EP2422319B1 (en) | Entertainment device, system, and method | |
US7639233B2 (en) | Man-machine interface using a deformable device | |
EP2427869B1 (en) | Entertainment device, system, and method | |
EP2521097B1 (en) | System and Method of Input Processing for Augmented Reality | |
US8542250B2 (en) | Entertainment device, system, and method | |
US8705845B2 (en) | Entertainment device and method of interaction | |
JP5368454B2 (ja) | 画像解析装置および方法 | |
EP2512141A1 (en) | System and method of user interaction in augmented reality | |
JP2006520213A (ja) | データ処理の制御 | |
JP2006528395A (ja) | リアルタイムの3次元インタラクティブ環境を提供するシステム及び方法 | |
JP2006518237A (ja) | データ処理の制御 | |
CN109189302B (zh) | Ar虚拟模型的控制方法及装置 | |
Henrysson et al. | Using a mobile phone for 6 DOF mesh editing | |
EP2169622A1 (en) | Apparatus and method of image analysis | |
KR20050019872A (ko) | 변형될 수 있는 장치를 사용하는 인간-컴퓨터간 인터페이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120314 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120322 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120412 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121023 |