JP2003533817A - 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 - Google Patents
3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法Info
- Publication number
- JP2003533817A JP2003533817A JP2001585011A JP2001585011A JP2003533817A JP 2003533817 A JP2003533817 A JP 2003533817A JP 2001585011 A JP2001585011 A JP 2001585011A JP 2001585011 A JP2001585011 A JP 2001585011A JP 2003533817 A JP2003533817 A JP 2003533817A
- Authority
- JP
- Japan
- Prior art keywords
- projection
- plane
- image
- target
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
て組み込む以下の出願に関連する。
hod」について2000年1月20日に出願された米国出願番号09/488,
028。
1日に出願された米国出願番号09/532,820。
0年12月22日に出願された米国出願番号08/995,823。
ることなく、平面上のターゲット点を指し示すために使用されるポインティング
ジェスチャの認識に関する。
の例として、例えば、カメラの照準を制御する自然な機構がある。別の適用は、
スクリーン上のカーソルを動かすためにハンドジェスチャを使用することである
。例えば、指でスクリーン上の対象物を単にポインティングすることによって、
将来のスマートテレビジョン上で選択を行うことを想像し得るであろう。マウス
は必要でなくなる。
るためにシーン画像を使用するビデオに基づいたシステムは、急成長しつつある
分野である。コンピュータの速度及び画像処理の速度は、照準合わせ、及び、再
照準合わせを可能にするのに非常に好都合な機構をカメラに与えることが可能な
程である。ビデオ会議システムにおいて、例えば、ユーザは、ズーム可能なカメ
ラをPTベース上に設置するよう関心の対象物を指し示すことが可能である。こ
のような自動化されたシステムは、例えば、音声命令(「命令‐制御」、各言葉
の命令が、例えば、「パン‐左」、「上」、「下」等といった指令に対応する基
本的には発話に基づいた記号プロセッサ)、ジョイスティック制御、及び連続的
なターゲット追跡といった明確な命令を必要とする従来のシステムより直観的で
あり、且つ、より制御するのが容易である。このようなシステムでは一般的に、
多数の角度視野が組み合わされて、シーンの3次元モデルが作成される。3次元
モデルは、その後ユーザが指し示すターゲットを決定するために使用される。
stem and Method for Permitting Three-Dimensional Navigation Through a Vi
rtual Reality Environment Using Camera-Based Gesture Inputs」なる名称の
1997年12月23日に出願された米国特許出願番号08/996,677に
説明される。この特許出願では、内部のカメラが、画像処理技術を用いて背景か
ら人間である被写体の輪郭を区別する装置が説明される。画像処理技術は、背景
から被写体を区別することを目的とする。その後、被写体は、パン/チルト/ズ
ーム(PTZ)カメラによって追跡されることが可能である。このようなシステ
ムは、ターゲットの位置を繰り返し決定し、ズームし、且つ、焦点を合わせるこ
とが可能であるので、ターゲットは比較的画面の中心にあり続ける。
又は電子ズームと称される。1つ以上の固定カメラからのビデオ情報は、対象物
がどの特定のカメラの視野において中心になくても、関心のターゲットが出力ビ
デオ信号内において常に見えるよう電子的に処理される。抽出及び補間演算によ
って、追跡処理は固定カメラによって達成されることが可能であり、固定カメラ
は、PTZカメラよりも一般的に安価である。
る論文「Finger-Pointer’; Pointing interface by Image Processing」に詳細
に説明される。この論文中において、著者らは、システムの視野内に配置される
オペレータがターゲットを指し示すようにすることによって、ターゲットに焦点
を合わせるようカメラを方向付けるシステムを説明する。システムは、オペレー
タの指の画像を走査且つ処理し、カメラをその方向に照準を合わせるよう方向付
ける。この論文は更に、ポインティングジェスチャ及び音声命令の組合わせを使
用するシステムも説明する。単純な音声又はジェスチャ命令を使用することによ
り、オペレータは、ズームイン又はズームアウト、又は、画面を消去するといっ
た単純な機能をカメラが行うよう導くことが可能である。この論文はその全体が
述べられたのと同様に本出願に参考文献として組込まれる。
成物をコンピュータ内で作成することと、ユーザが何を指しているのかを決める
ためのターゲット領域を必要とする。これは、多数のカメラと、一般的に非常に
複雑であり演算量が多い3次元推論とを必要とするのでセットアップが厄介であ
る。
従来技術が記載される。この特許では、ビデオカメラによって手の動きが捕捉さ
れ、向きと動きのパターンは、画像処理によって命令に変化される。この技術は
、ユーザが異なる場所に立つと、従来技術における3次元モデリングによる解決
策では可能であるようにターゲットを指し示すために使用することはできないが
、ユーザに、例えば、ビデオスクリーン上のカーソルを、制限された方法で制御
することを可能にする利点を有する。
向指示を解釈することが可能であるが、機器及びシーンの構成要素の位置合わせ
、及び、シーンの3次元モデリングに関連する集中的な演算を要しないシステム
が必要である。
り、その形状は予め既知ではない。例えば、投影スクリーンの平らな表面は、話
者が指し示す場合のあるターゲットを含んでもよい。他の例は、例えば、棒、指
、手の動き等によってポインティングするといった幾つか他の方向指示によって
見る人がポイントする又は指し示すビデオスクリーン上のサブ画像である。本発
明では、上述されたようなターゲットは、カメラの位置又はターゲットが存在す
る表面の位置に関する情報を位置合わせに用いることなくシーン画像中に識別す
ることが可能である。表面の形状に関する少なくとも幾つかの情報のみが先験的
に必要である。
ンタとターゲット領域の両方を含む少なくとも2つのシーン画像を使用する。こ
の例では、ターゲットは、両方のカメラのシーン画像中に見える位置合わせマー
ク又は基点を含む平らな面上に配置されると仮定する。ポインティングジェスチ
ャも、両方のシーン中に捕捉される。ポインティングジェスチャは処理され、シ
ーン自体のX−Y座標において線を決定するために必要である程度にまで分析さ
れる。これは両方のカメラシーンに行われる。例えば、ユーザの右目と指先と一
致する点(ピクセルの単位でのX−Y座標)が使用されてよい。或いは、線は、
ジェスチャによって指し示される方向を表すよう画成され得、この線は、その線
上の2つの任意の点によって画成され得る。両方のシーンからのこれらの点の照
準対はマッピングされる。
画像は、ターゲットが配置される面の外観を正確に模倣する。これにより、3次
元推論を全く必要とすることなく、2次元推論のみを使用しターゲットを決定す
ることが可能となる。各画像は、基準面と称されてもよいターゲット面上の全て
の点が、基準面上に現れるのと全く同じ位置でその画像中に現れるようモーフィ
ングされる。以下に説明するように、4つの対応点が、画像及び基準面中に識別
されると線形位置合わせ変換が計算可能である。基準面上の点が、基準面が真っ
直ぐに見られた際に現れるのと等しい相対位置でカメラ画像中に現れるよう変換
される。つまり、4つの基点が基準面に矩形パターンで配置されると、これらの
4つの基点を斜めに見るカメラ画像は、モーフィングされた画像中に再び矩形を
形成するようモーフィングされる。モーフィングは、平面投影変換によって行わ
れ、それにより、シーン中の全ての点は最終的には歪み、原画像中で任意の直線
上にある全ての点は、依然として直線上にある。第2の画像も同様にモーフィン
グされ、2つの画像は合わせられ、各画像の基準面上の基点は、単一の画像に合
わされるようにされる。2つの画像は、ユーザが1つのカメラビューにおいても
う1つのカメラビューとは異なる位置に現れるようかなり異なる角度から撮られ
ることが好適である。直線が、各画像におけるユーザの右目と指先の間に引かれ
、直線が交わるところがターゲットの位置である。言うまでも無く、上述は単に
比喩的に過ぎない。実際の処理は数値により計算され、関心の点のみが変換され
る。関心の点とは、ユーザの目と指先の画像を結びつける2つの画像中の点であ
る。
が好適であると考えられる。カメラがユーザの前に配置され、ユーザがカメラに
向かって指し示す第1の変形は、ビュースクリーン又はモニタ上の選択を指し示
すといったヒューマン/マシーン対話に特に好適である。各カメラから見える平
面に向けて指し示す第2の変形は、ビデオ会議といったマルチメディアアプリケ
ーションにおいて有用である。
を選択する、又は、コンピュータゲームで遊ぶために、TV又はコンピュータモ
ニタを介し通信するのに有用であろうことが想像される。この設計では、1つ又
は2つの多角形のアパーチャ(隣り合わせにされる)を有する垂直の不透明の平
面が、コンピュータ又はTVモニタの上に、スクリーンと略同一平面上に配置さ
れる。他の可能性として、各アパーチャが少なくとも4つの特徴点によって取っ
て代わられる透明の延長面を使用することである。スクリーンとアパーチャ延長
部を含む伸ばされた面は、「基準面」と称される。1つ又は2つのカメラが延長
面の後ろに置かれ、2つのアパーチャの後ろからユーザを見る。各アパーチャ(
又は4つのマーカ点)は、それぞれの画像面において常に完全に見ることが可能
である(或いは、2つのカメラは、2つの鏡と、2つの画像を隣り合わせで記録
する1つのカメラによって取って代わられてもよい。)最初に(且つ、1回限り
)、基準面の歪みのない2次元の外観を表すよう基準面(スクリーン+取り付け
られたアパーチャ又はマーカ)の前面画像が、非常に狭い視野(略正投影)で撮
られる。この画像は、ターゲットの位置を計算するための基準フレームとなる。
準フレームにアパーチャ境界が検出される。位置合わせは、画像に2次元線形変
換を行うことを含み、その後に、アパーチャ境界は、基準フレームに現れる関係
と等しい関係で画像中に現れる。この変換を計算するために4つの点が十分であ
り、このことは本明細書の他の部分に詳細に説明される。
されるターゲットの位置を求めるためには、ユーザの目及び指先を検出すること
が必要である。指先の検出を容易にするよう、ユーザは明るい色がつけられたシ
ンブルを着用してもよい。シンブルは、遠隔制御器といった他の対話手段に取っ
て代わってよい。指先の検出を容易にすることに追加して、ウェラブルマウスは
、多数のユーザのポインティングジェスチャを区別する能力を与えるといったユ
ーザインタフェース目的のための別の利点を有する。従って、異なる色の付いた
シンブルを着用する多数のユーザが、同一の又は異なるターゲットを同時に指し
示すことが可能である。
するプレゼンテーション又はビデオ会議、或いは、カメラセットアップが一時的
又は携帯式である状況において最も有用である。このセットアップでは、ターゲ
ット面又は基準面と、ユーザは、両方のカメラから見ることが可能である。ピー
クスルー構成と同様に、位置合わせは画像データのみに基づいている。基準面上
の4点は各画像中に識別され、位置合わせは、その画像に2次元線形変換を行う
ことにより行われる。基準面は一般的に、投影スクリーン又はホワイトボードで
あるので、点は容易に検出可能である。点は、高いコントラストを有する投影か
ら形成され、セットアップを記録するために少しの間使用され、その後、スクリ
ーンから取り除かれることが可能である。或いは、基点マークの代わりに2組の
平行線を使用することが可能である。スクリーン又はホワイトボードの境界を使
用することが可能である。
置合わせ変換によって、4つの識別された点が、第1の画像において表れる位置
と等しい位置に現れるよう第2の画像にマッピングされる。位置合わせは、基準
面ではなく、基準フレームに対し行われ、これはポインティングターゲットの識
別には十分である。
特定の好適な実施例に関連して説明する。図面を参照するに、図示される詳細は
例示的に過ぎず、本発明の好適な実施例を説明するだけのものであり、本発明の
原理及び概念的な面の最も有用且つ容易な説明を与えるものとして示されること
を強調する。この点について、本発明の基本的な理解に必要である以上に、本発
明の構造的な詳細に関しては詳しくは説明しておらず、当業者は、図面と供に考
慮されることによって上述の説明から、本発明の幾つかの形式が実際に具現化さ
れることが明らかになろう。
といった平らな表面上にあるターゲット25は、ユーザ30によって指し示され
ている。ターゲット位置は、2つのカメラ35及び40のどちらかの画像中に、
以下に説明されるような方法で2つのカメラ35及び40からの画像を組合わせ
ることによって識別することが可能である。図面では、ユーザ30は、ターゲッ
ト25をポインティングジェスチャによって指し示していることが示される。尚
、実験によって人々がターゲットを指し示すために用いるジェスチャは、例えば
、ユーザの指先によるもの、ユーザの右(又は左)目によるものであることが分
かっており、ターゲットは直線によって結び付けられる。これは、いずれかのカ
メラから見たときのターゲットの平面投影は、ユーザの目及び指によって画成さ
れる直線の平面投影上にあることを意味する。本発明では、これら2つの平面投
影は、カメラ35及び40のいずれかで有り得る共通の平面投影、又は、任意の
第3の平面に変換される。
ーザの目90と組み合わされる指先80を捕捉するよう向けられる。更に、各カ
メラの視野45及び50は、ターゲットが配置される平面上に4つの位置合わせ
マーク20が見えるようにされる。カメラ35及び40の正確な位置又は照準は
本発明の実行に対し重要でない。ただし、本発明の更なる説明の後に明らかとな
るように、ターゲット位置の正確さに影響するという限りでは重要である。正確
を期すために、カメラ画像は、その分解能及び正確さを(真の平面投影の表すも
のとして)最大限に使用することが有利である。
ベクトル(インジケータ)85によって表され、この3次元ベクトル85のカメ
ラ35の画像における平面投影は、2次元ベクトル76として示される。シーン
の平面投影の残りの部分では、スクリーン11の画像は、通常の方法で奥行きが
縮められることによって歪んでいる。ベクトル76の延長(軌跡)61が示され
、これは、そのコンテキストでは既知ではないターゲット25の位置を通過する
のに十分に長い。位置合わせマーク20(図1)の座標の投影は、図3の画像に
おいて、x1,y1、…、x4,y4として識別される。ベクトル85の投影7
6の端点は、x5,y5及びx6,y6として識別される。
は、3次元ベクトル86によって示される。カメラ40の画像におけるベクトル
86の平面投影は、2次元ベクトル87として示される。ここでも、スクリーン
12の画像は、通常の方法で奥行きが縮められることにより歪んでいるが、カメ
ラ40の位置及び向きが異なるので歪みは上記と異なる。ベクトル86の延長6
2が示され、これは、ターゲット25の位置を通過するのに十分に長い。延長6
2の平面投影は軌跡63として示される。ここでも、ターゲット位置の投影は、
予め既知ではない。位置合わせマーク20(図1)の座標の投影は、図5の画像
において、p1,q1、…、p4,q4として識別される。ベクトル85の投影
87の端点は、p5,q5及びp6,q6として識別される。
バージョン87´が重ねられる。変換された投影87´は2次元線形変換演算を
行うことによって得られ、この演算は、点p1,q1、…、p4,q4が座標x1 ,y1、…、x4,y4にそれぞれ正確にマッピングされるよう図5の投影を
マッピングする。ターゲット位置は、2つの延長線の交点に一致する。
約をMに与え、Mは、スケールを考慮せずに決められる3×3行列なので、Mは
8つの未知数を含み、従って、4つの独立した点を使用することによって決めら
れることが可能である。このことから、4つの位置合わせマーク20が使用され
る。Mは、
知数は、以下の線形方程式を解くことにより得られる。
されてよい。例えば、スクリーン上に投影される対象物は、ポインティングする
ことによって制御されることが可能である。この例では、2つのカメラ画像がス
クリーン10の面に変換されてもよい。ターゲットのスクリーン10上の座標が
与えられると、どのコンピュータ処理もこの情報を使用することが可能である。
例えば、それぞれポインティングジェスチャによって制御される多数のプレーヤ
のいるゲームがある。スクリーン上に再現される異なる対象物を制御するよう、
異なるプレーヤによって違う色の付いたシンブル又はワンドを着用/使用してよ
い。マウス、光ペン、タッチスクリーン等によって現在行われているどのタスク
も、ポインティングジェスチャによって行われることが可能となる。
ィングジェスチャによって指し示されるが、他の方法で指し示されてもよい。例
えば、照準器又はワンドが使用されてもよい。更に、ターゲットはスクリーン上
にあるのではなく、共通の平面に実質的に存在する任意の対象物又は画像であっ
てよい。更に、対象物又はターゲットは単一の平面上に存在しなくてもよく、多
数の平面上に存在することも可能であり、各平面は、それぞれ位置合わせマーク
の組を有する。本発明は更に他の変換を用いて適用される範囲を広げてもよく、
それにより、ターゲットは平らな表面以外の表面上に存在することが可能となる
。更なる他の変形としては、方向を指し示すためのジェスチャの方法がある。方
向を指し示すためのジェスチャをする際の短時間に亘る手又は指の一振りの方向
といった方向を得るために時系列の画像を使用することが可能である。更に、別
の好適な適用は、ホワイトボードへの適用であり得る。更には、位置合わせマー
ク20はスクリーン上のマークである必要はなく、スクリーン10の角(かど)
であってよい。更に、位置合わせマークは、セットアップの際のある時点におい
てスクリーン上に投影され、その後、取り除かれてよい。この場合、セットアッ
プが変更されるまで、位置合わせ点の座標は変換を計算するために使用され、位
置合わせマークへの更なる参照が必要でなくなる。この技術は、ターゲットにカ
メラの照準を合わせる際の使用に更に適用することが出来る。基準画像における
座標が既知となると、2つのカメラのうちの1つのカメラ、又は、第3のカメラ
は、ターゲットを得るよう再び照準が合わされ且つズームされる。これは、自動
化されたビデオ会議システムのコンテキストにおいて有用である。
ル200はターゲット226を指し示す。延長線205は、ベクトル200の軸
に沿ってターゲットに向けられる。前の実施例で説明したように、ベクトル20
0は、例えば、ポインティングジェスチャといった多数の異なる指示手段のうち
のいずれかを表す。他の実施例と同様に、ターゲット226は、平面に、この例
では、例えば、大型テレビジョンのスクリーン270に存在する。カメラ235
及び240は、それぞれの基準フレーム260及び265を通り照準が合わせら
れる。基準フレーム260及び265は単に、カメラ235の視野に位置合わせ
点1乃至4を、カメラ240の視野に位置合わせ点5乃至8を与える。各カメラ
235及び240は、それぞれの位置合わせ点の組とベクトル200が見るよう
向けられる。従って、例えば、このセットアップでは、ユーザがテレビジョンの
前のいすに座り、テレビジョン上のカメラがユーザに向けられることが可能であ
る。
至8である。これらの角の座標は、特にビデオカメラといったカメラの有限の分
解能を考えると、最高の精度で正確さが得られるようフレームの縁に基づきあて
はまる輪郭を推定することにより決定されることが好適である。このような技術
は、この技術において既知である。
に、それぞれ、ポインティングベクトル200のそれぞれの投影210及び22
0を含む。更に、ベクトル投影210及び220によって指し示される方向によ
って決められる線215及び225も示される。図7は、3次元シーンを説明す
るよう使用されたが、この配置は更に、スクリーン270の方に見た際の投影も
表す。この画像は、この実施例では、基準画像として使用され、両方のカメラ画
像のベクトルはこの基準画像に変換され、基準画像内のターゲットの座標が決定
される。
換を用いて基準フレームに変換された後に、線215及び225は、それぞれ線
285及び280に変換される。変換によって、図9の画像中の点1乃至4は、
図10の画像の対応する点にマッピングされる。しかし、変換される必要のある
点は、ベクトル投影210及び220を画成する点だけである。基準画像(フレ
ーム260、265、及び、図7又は図10の基準画像)は、基準点の座標を決
定するために、各セットアップに対し1回だけ考慮されればよい。
をブロック図で示す。画像プロセッサ305は、カメラ301及び302から画
像データを受け取る。画像及び座標データは、メモリ310又は不揮発性記憶媒
体320に格納されてよい。例えば、変換データは、一旦計算されると、不揮発
性メモリ320及びメモリ310に格納され、これは、ターゲットの座標x,y
を得るようカメラ301及び302からの画像の計算に使用され、その後、アプ
リケーション処理330に与えられる。アプリケーション処理330は、その後
、ホワイトボード上のトレース、又は、ゲームのアバターの制御データといった
出力を発生する。
、超音波医用機器、又は、平面投影を形成することが可能である任意の他の装置
といった他の情報源からも得られる。
発明の目的又は本質的な特性から逸脱することなく他の特定の形式で具現化され
得ることが明らかであろう。従って、上述される実施例は、どの点においても説
明的且つ非制限的であると考えられるべきであり、本発明の範囲は上述された説
明ではなく特許請求の範囲によって示され、従って、特許請求の等価物の意味及
び範囲内である全ての変更は本発明に含まれるものとする。
上のターゲット位置を、第2のカメラの投影を使用することにより識別するため
のセットアップを示す図である。
めのシーンを示す図である。
シーンを示す図である。
が、平面投影変換されることにより、図3のシーンにマッピングされる図である
。
のターゲット位置の投影を識別するよう使用され、ターゲットを指し示す方向ベ
クトルを含むシーンを有するセットアップを示す図である。
ベクトルの基準画像上への投影の平面投影変換を組合わせた図である。
Claims (10)
- 【請求項1】 平面上のターゲットの位置を求める装置であって、 ターゲットの指し示すインジケータを含むシーンの第1の投影を表す第1の信
号を集める第1の画像収集装置と、 上記シーンの第2の投影を表す第2の信号を集める第2の画像収集装置と、 上記第1の信号及び上記第2の信号を受信するよう接続されるコンピュータ装
置とを含み、 上記コンピュータ装置は、上記第1の信号及び上記第2の信号のうちの少なく
とも1つの信号の少なくとも一部に線形変換を行い、上記線形変換の結果を、上
記第1の信号及び上記第2の信号のうちのもう一方の信号に組合わせ、それによ
り、上記シーンの基準投影上の上記ターゲットの位置を得るようプログラムされ
、上記基準投影は、上記シーンの第3の投影、上記第1の投影、及び上記第2の
投影のうちの1つである装置。 - 【請求項2】 シーンの第1の平面投影及び第2の平面投影を受け取るよう
プログラムされるプロセッサを含み、 上記プロセッサは、上記第1の平面投影及び上記第2の平面投影のそれぞれか
ら、個々の軌跡を識別するようプログラムされ、 上記プロセッサは、上記第1の平面投影の軌跡及び上記第2の平面投影の軌跡
のうちの少なくとも1つの変換を計算し、少なくとも1つの変換された軌跡を形
成するよう更にプログラムされ、 上記プロセッサは、上記少なくとも1つの変換された軌跡から、上記第1の平
面投影の軌跡及び上記第2の平面投影の軌跡のうちの少なくとも1つと合わされ
る3次元表面上のターゲットの、上記シーンの上記第1の平面投影及び上記第2
の平面投影のいずれか、又は、第3の共通の平面投影上における座標位置を計算
するよう更にプログラムされる画像プロセッサ。 - 【請求項3】 ターゲットの位置を求める方法であって、 平面上にあるターゲットを指し示すインジケータの第1の画像及び第2の画像
を収集する段階と、 上記第1の画像及び上記第2の画像のうちの少なくとも1つに平面投影変換を
行い、上記ターゲットの座標を決定する段階とを含む方法。 - 【請求項4】 上記収集する段階は、シーンの平面投影を表す第1の画像及
び第2の画像をそれぞれ形成する段階を含む請求項3記載の方法。 - 【請求項5】 上記変換を行う段階は、人間のポインティングジェスチャの
特徴を識別する段階を含む請求項3記載の方法。 - 【請求項6】 上記変換を行う段階は、上記平面にある4つの点の画像にお
ける座標から上記平面投影を決定する段階を含む請求項3記載の方法。 - 【請求項7】 平面上にあるターゲットを識別する方法であって、 第1の平面投影の少なくとも4つの点、及び、第2の平面投影の少なくとも4
つの点から線形変換を計算する段階と、 上記第1の平面投影に対応する平面における第1の軌跡を、上記第2の平面投
影に変換させる段階と、 上記第1の軌跡の変換と、上記第2の平面投影に対応する平面における軌跡と
の交点を決定する段階とを含む方法。 - 【請求項8】 上記第1の平面投影及び上記第2の平面投影のそれぞれの上
記少なくとも4つの点は、全て基準面にある少なくとも4つの点からなる単一の
組の投影である請求項7記載の方法。 - 【請求項9】 平面上にあるターゲットを識別する方法であって、 それぞれの視野から基準面にある点を撮像し、上記それぞれの視野からの上記
点を上記基準面の対応する点にマッピングするのに有効な変換を得ることにより
線形変換を計算する段階と、 上記線形変換のうちの1つを用いて、3次元軌跡の第1の画像を変換する段階
と、 上記線形変換のうちのもう1つを用いて、上記軌跡の第2の画像を変換する段
階と、 上記変換段階から結果として得られる上記軌跡の各変換の交点を決定し、上記
軌跡によって指し示され、上記基準面における上記ターゲットの座標を決め、上
記ターゲットは上記基準面内にある段階とを含む方法。 - 【請求項10】 基準表面にあるターゲット点を識別する方法であって、 上記基準表面の点の少なくとも1つの第1の表面投影及び第2の表面投影を形
成し、上記点の数は、上記基準表面の形状によって部分的に決められる段階と、 上記基準表面の上記点の上記投影に反応して変換を得、上記変換は、上記点の
それぞれを、上記第1の投影面及び上記第2の投影面のうちのいずれか、又は、
第3の面で有り得る結果としての投影面上のそれぞれの点に変換するよう行われ
、上記基準面上の所与の点の各投影は、上記結果としての投影面上で同一の座標
にある段階と、 上記変換を使用し、軌跡の少なくとも1つの投影を変換し、上記ターゲットを
識別する段階とを含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US57299100A | 2000-05-17 | 2000-05-17 | |
US09/572,991 | 2000-05-17 | ||
PCT/EP2001/005186 WO2001088681A1 (en) | 2000-05-17 | 2001-05-08 | Apparatus and method for indicating a target by image processing without three-dimensional modeling |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003533817A true JP2003533817A (ja) | 2003-11-11 |
JP4768196B2 JP4768196B2 (ja) | 2011-09-07 |
Family
ID=24290197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001585011A Expired - Fee Related JP4768196B2 (ja) | 2000-05-17 | 2001-05-08 | 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP1292877B1 (ja) |
JP (1) | JP4768196B2 (ja) |
KR (1) | KR100869447B1 (ja) |
CN (1) | CN1222859C (ja) |
AT (1) | ATE390664T1 (ja) |
DE (1) | DE60133386T2 (ja) |
WO (1) | WO2001088681A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009240370A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | 動作検出装置 |
JP2012198608A (ja) * | 2011-03-18 | 2012-10-18 | Nec Personal Computers Ltd | 入力装置および入力方法 |
TWI383311B (zh) * | 2008-06-02 | 2013-01-21 | Wistron Corp | Multi - touch Inductive Input Device and Its Induction Method |
JP2013208450A (ja) * | 2007-09-07 | 2013-10-10 | Konami Digital Entertainment Co Ltd | 画像処理装置、ゲーム装置およびコンピュータプログラム |
JP2016099918A (ja) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
JP2017531227A (ja) * | 2014-08-01 | 2017-10-19 | スターシップ ベンディング−マシーン コーポレーション | ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置 |
JP2022525326A (ja) * | 2019-03-11 | 2022-05-12 | ブイタッチ・カンパニー・リミテッド | 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6600475B2 (en) | 2001-01-22 | 2003-07-29 | Koninklijke Philips Electronics N.V. | Single camera system for gesture-based input and target indication |
EP1507389A1 (en) * | 2003-08-13 | 2005-02-16 | Sony Ericsson Mobile Communications AB | Mobile phone with means for switching off the alarm remotely |
US7893920B2 (en) | 2004-05-06 | 2011-02-22 | Alpine Electronics, Inc. | Operation input device and method of operation input |
EP1596271A1 (en) | 2004-05-11 | 2005-11-16 | Hitachi Europe S.r.l. | Method for displaying information and information display system |
JP3926837B2 (ja) * | 2004-06-04 | 2007-06-06 | 松下電器産業株式会社 | 表示制御方法および装置、プログラム、並びに携帯機器 |
US20080292149A1 (en) * | 2004-06-28 | 2008-11-27 | Koninklijke Philips Electronics, N.V. | Image Processing System, Particularly for Images of Implants |
KR101652110B1 (ko) * | 2009-12-03 | 2016-08-29 | 엘지전자 주식회사 | 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법 |
CN102033644B (zh) * | 2010-01-04 | 2015-07-15 | 张强 | 一种三维空间的触控或书写屏 |
CN101866235B (zh) * | 2010-02-10 | 2014-06-18 | 张强 | 一种三维空间的多点触控或多笔书写屏 |
TWI406156B (zh) * | 2010-03-12 | 2013-08-21 | Primax Electronics Ltd | 氣流感應式電腦游標訊號產生裝置以及氣流感應式滑鼠裝置 |
CN101916437B (zh) * | 2010-06-18 | 2014-03-26 | 中国科学院计算技术研究所 | 一种基于多视觉信息的目标定位方法和系统 |
CN102004623B (zh) * | 2010-11-29 | 2013-02-27 | 深圳市九洲电器有限公司 | 一种三维图像显示装置及方法 |
KR101151962B1 (ko) * | 2011-02-16 | 2012-06-01 | 김석중 | 포인터를 사용하지 않는 가상 터치 장치 및 방법 |
KR101381928B1 (ko) * | 2011-02-18 | 2014-04-07 | 주식회사 브이터치 | 포인터를 사용하지 않는 가상 터치 장치 및 방법 |
KR20120126508A (ko) * | 2011-05-12 | 2012-11-21 | 김석중 | 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법 |
KR101235432B1 (ko) * | 2011-07-11 | 2013-02-22 | 김석중 | 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법 |
KR101330531B1 (ko) * | 2011-11-08 | 2013-11-18 | 재단법인대구경북과학기술원 | 3차원 카메라를 이용한 가상 터치 방법 및 장치 |
CN102520799B (zh) * | 2011-12-22 | 2015-03-25 | 胡世曦 | 一种光学键盘 |
TWI486820B (zh) * | 2012-12-28 | 2015-06-01 | Wistron Corp | 用於互動系統之座標轉換方法及電腦系統 |
CN104714728B (zh) * | 2013-02-28 | 2018-10-12 | 联想(北京)有限公司 | 一种显示方法和设备 |
TW201510771A (zh) | 2013-09-05 | 2015-03-16 | Utechzone Co Ltd | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 |
CN104978012B (zh) | 2014-04-03 | 2018-03-16 | 华为技术有限公司 | 一种指向交互方法、装置及系统 |
WO2017203102A1 (en) * | 2016-05-25 | 2017-11-30 | Valo Motion Oy | An arrangement for controlling a computer program |
KR102239469B1 (ko) * | 2018-01-19 | 2021-04-13 | 한국과학기술원 | 객체 제어 방법 및 객체 제어 장치 |
WO2019143204A1 (ko) * | 2018-01-19 | 2019-07-25 | 한국과학기술원 | 객체 제어 방법 및 객체 제어 장치 |
CN108363485B (zh) * | 2018-01-25 | 2021-06-18 | 广州杰赛科技股份有限公司 | 非触摸屏显示终端的控制方法、装置、系统和计算机设备 |
WO2022000149A1 (zh) * | 2020-06-28 | 2022-01-06 | 华为技术有限公司 | 交互方法及电子设备 |
CN112419381B (zh) * | 2020-12-15 | 2023-03-03 | 山东威高医疗科技有限公司 | 一种x光图像中标记点序列的自动识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04271423A (ja) * | 1991-02-27 | 1992-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
JPH0519958A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
JPH0744313A (ja) * | 1993-08-03 | 1995-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 指示情報入力方法 |
JPH07146752A (ja) * | 1993-11-22 | 1995-06-06 | Toshiba Corp | 環境モデル作成装置 |
JPH10326148A (ja) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
JPH1163927A (ja) * | 1997-08-27 | 1999-03-05 | Mitsubishi Heavy Ind Ltd | 頭部位置・姿勢の計測装置および作業監視装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768443A (en) * | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
JPH11161415A (ja) * | 1997-11-28 | 1999-06-18 | Seiko Epson Corp | 入力方法および入力装置 |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
-
2001
- 2001-05-08 AT AT01949321T patent/ATE390664T1/de not_active IP Right Cessation
- 2001-05-08 WO PCT/EP2001/005186 patent/WO2001088681A1/en active IP Right Grant
- 2001-05-08 JP JP2001585011A patent/JP4768196B2/ja not_active Expired - Fee Related
- 2001-05-08 EP EP01949321A patent/EP1292877B1/en not_active Expired - Lifetime
- 2001-05-08 DE DE60133386T patent/DE60133386T2/de not_active Expired - Lifetime
- 2001-05-08 KR KR1020027000699A patent/KR100869447B1/ko active IP Right Grant
- 2001-05-08 CN CNB01801285XA patent/CN1222859C/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04271423A (ja) * | 1991-02-27 | 1992-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
JPH0519958A (ja) * | 1991-07-15 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 情報の入力方法 |
JPH0744313A (ja) * | 1993-08-03 | 1995-02-14 | Nippon Telegr & Teleph Corp <Ntt> | 指示情報入力方法 |
JPH07146752A (ja) * | 1993-11-22 | 1995-06-06 | Toshiba Corp | 環境モデル作成装置 |
JPH10326148A (ja) * | 1997-03-21 | 1998-12-08 | Takenaka Komuten Co Ltd | ハンドポインティング装置 |
JPH1163927A (ja) * | 1997-08-27 | 1999-03-05 | Mitsubishi Heavy Ind Ltd | 頭部位置・姿勢の計測装置および作業監視装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013208450A (ja) * | 2007-09-07 | 2013-10-10 | Konami Digital Entertainment Co Ltd | 画像処理装置、ゲーム装置およびコンピュータプログラム |
JP2009240370A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | 動作検出装置 |
TWI383311B (zh) * | 2008-06-02 | 2013-01-21 | Wistron Corp | Multi - touch Inductive Input Device and Its Induction Method |
JP2012198608A (ja) * | 2011-03-18 | 2012-10-18 | Nec Personal Computers Ltd | 入力装置および入力方法 |
JP2017531227A (ja) * | 2014-08-01 | 2017-10-19 | スターシップ ベンディング−マシーン コーポレーション | ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置 |
JP2016099918A (ja) * | 2014-11-26 | 2016-05-30 | レノボ・シンガポール・プライベート・リミテッド | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム |
JP2022525326A (ja) * | 2019-03-11 | 2022-05-12 | ブイタッチ・カンパニー・リミテッド | 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
JP7279975B2 (ja) | 2019-03-11 | 2023-05-23 | ブイタッチ・カンパニー・リミテッド | 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
KR20020025198A (ko) | 2002-04-03 |
DE60133386D1 (de) | 2008-05-08 |
CN1380996A (zh) | 2002-11-20 |
KR100869447B1 (ko) | 2008-11-21 |
DE60133386T2 (de) | 2009-04-02 |
EP1292877A1 (en) | 2003-03-19 |
ATE390664T1 (de) | 2008-04-15 |
EP1292877B1 (en) | 2008-03-26 |
CN1222859C (zh) | 2005-10-12 |
WO2001088681A1 (en) | 2001-11-22 |
JP4768196B2 (ja) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4768196B2 (ja) | 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 | |
JP4278979B2 (ja) | ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム | |
US6204852B1 (en) | Video hand image three-dimensional computer interface | |
US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
US9483690B2 (en) | Calibrating vision systems | |
Lee et al. | 3D natural hand interaction for AR applications | |
US20140139429A1 (en) | System and method for computer vision based hand gesture identification | |
JP2011095797A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10950056B2 (en) | Apparatus and method for generating point cloud data | |
CN109271023B (zh) | 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 | |
JP7162079B2 (ja) | 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体 | |
CN106814963A (zh) | 一种基于3d传感器定位技术的人机互动系统及方法 | |
WO2015003544A1 (zh) | 多深度区间的重聚焦方法、装置及电子设备 | |
Laielli et al. | Labelar: a spatial guidance interface for fast computer vision image collection | |
CN107077739A (zh) | 使用单目相机的三维标记模型构建和实时跟踪 | |
JP5468773B2 (ja) | 画像処理装置および画像処理方法 | |
JP2004272515A (ja) | インタフェース方法、装置、およびプログラム | |
JP4340135B2 (ja) | 画像表示方法及び画像表示装置 | |
KR20180045668A (ko) | 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 | |
KR101743888B1 (ko) | 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법 | |
JPH07160412A (ja) | 指示位置検出方法 | |
Lee et al. | A stereo-vision approach for a natural 3D hand interaction with an AR object | |
Zhang | Vision-based interaction with fingers and papers | |
CN112181135A (zh) | 一种基于增强现实的6-dof视触觉交互方法 | |
McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4768196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |