JP2003533817A - 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 - Google Patents

3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法

Info

Publication number
JP2003533817A
JP2003533817A JP2001585011A JP2001585011A JP2003533817A JP 2003533817 A JP2003533817 A JP 2003533817A JP 2001585011 A JP2001585011 A JP 2001585011A JP 2001585011 A JP2001585011 A JP 2001585011A JP 2003533817 A JP2003533817 A JP 2003533817A
Authority
JP
Japan
Prior art keywords
projection
plane
image
target
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001585011A
Other languages
English (en)
Other versions
JP4768196B2 (ja
Inventor
ウェインシャル,ダフナ
リー,ミ−スーエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003533817A publication Critical patent/JP2003533817A/ja
Application granted granted Critical
Publication of JP4768196B2 publication Critical patent/JP4768196B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

(57)【要約】 一対のカメラを用いることにより、ユーザが指し示す平面上のターゲットの座標は、3次元モデリングを必要とせず、且つ、それぞれの画像から得られるデータのみを使用し、また、3次元シーンデータを必要とせずに得られることが可能である。各カメラビューは、平面上の少なくとも4つの位置合わせ点と、方向のインジケータを見る。ターゲットは、方向のインジケータ上にある。第1の画像の線形変換を行うことにより、方向インジケータの平面投影が第2の画像にマッピングされる。第2の画像におけるターゲットの座標は、第2の画像における方向の投影と第1の画像からの変換された投影の交点によって決められる。別の実施例では、それぞれの線形変換によって方向は、第3の基準フレーム又は画像にマッピングされる。このシステムを適用することによって、ユーザは、静的なポインティングジェスチャを使用することにより、投影又はテレビジョンスクリーン上の位置を指し示すことが可能となる。カメラの位置に関する情報は必要ではなく、従って、このシステムは迅速にセットアップすることが可能である。

Description

【発明の詳細な説明】
【0001】 [関連出願への相互参照] 本出願は、本出願にその全体が述べられるのと同様にその全体を参考文献とし
て組み込む以下の出願に関連する。
【0002】 「Multi-modal video target acquisition and re-direction system and met
hod」について2000年1月20日に出願された米国出願番号09/488,
028。
【0003】 「Hands-Free Home Video Production Camcorder」について2000年3月2
1日に出願された米国出願番号09/532,820。
【0004】 「Method and system for gesture based option selection」について200
0年12月22日に出願された米国出願番号08/995,823。
【0005】 [発明の背景] [発明の属する技術分野] 本発明は、画像認識に係り、より詳細には、シーンの3次元モデリングを用い
ることなく、平面上のターゲット点を指し示すために使用されるポインティング
ジェスチャの認識に関する。
【0006】 [背景] ジェスチャ認識によって恩恵を受けることが可能である適用が多くある。適用
の例として、例えば、カメラの照準を制御する自然な機構がある。別の適用は、
スクリーン上のカーソルを動かすためにハンドジェスチャを使用することである
。例えば、指でスクリーン上の対象物を単にポインティングすることによって、
将来のスマートテレビジョン上で選択を行うことを想像し得るであろう。マウス
は必要でなくなる。
【0007】 ターゲットを指し示すポインティングジェスチャといったジェスチャを解釈す
るためにシーン画像を使用するビデオに基づいたシステムは、急成長しつつある
分野である。コンピュータの速度及び画像処理の速度は、照準合わせ、及び、再
照準合わせを可能にするのに非常に好都合な機構をカメラに与えることが可能な
程である。ビデオ会議システムにおいて、例えば、ユーザは、ズーム可能なカメ
ラをPTベース上に設置するよう関心の対象物を指し示すことが可能である。こ
のような自動化されたシステムは、例えば、音声命令(「命令‐制御」、各言葉
の命令が、例えば、「パン‐左」、「上」、「下」等といった指令に対応する基
本的には発話に基づいた記号プロセッサ)、ジョイスティック制御、及び連続的
なターゲット追跡といった明確な命令を必要とする従来のシステムより直観的で
あり、且つ、より制御するのが容易である。このようなシステムでは一般的に、
多数の角度視野が組み合わされて、シーンの3次元モデルが作成される。3次元
モデルは、その後ユーザが指し示すターゲットを決定するために使用される。
【0008】 カメラの制御を可能にする「スマート」技術を用いる1つのシステムは、「Sy
stem and Method for Permitting Three-Dimensional Navigation Through a Vi
rtual Reality Environment Using Camera-Based Gesture Inputs」なる名称の
1997年12月23日に出願された米国特許出願番号08/996,677に
説明される。この特許出願では、内部のカメラが、画像処理技術を用いて背景か
ら人間である被写体の輪郭を区別する装置が説明される。画像処理技術は、背景
から被写体を区別することを目的とする。その後、被写体は、パン/チルト/ズ
ーム(PTZ)カメラによって追跡されることが可能である。このようなシステ
ムは、ターゲットの位置を繰り返し決定し、ズームし、且つ、焦点を合わせるこ
とが可能であるので、ターゲットは比較的画面の中心にあり続ける。
【0009】 米国特許第5,187,574号に説明されるような別の技術は、バーチャル
又は電子ズームと称される。1つ以上の固定カメラからのビデオ情報は、対象物
がどの特定のカメラの視野において中心になくても、関心のターゲットが出力ビ
デオ信号内において常に見えるよう電子的に処理される。抽出及び補間演算によ
って、追跡処理は固定カメラによって達成されることが可能であり、固定カメラ
は、PTZカメラよりも一般的に安価である。
【0010】 別のシステムが、Masaaki Fukumoto、Yasuhito Suenaga、及びKenji Maseによ
る論文「Finger-Pointer’; Pointing interface by Image Processing」に詳細
に説明される。この論文中において、著者らは、システムの視野内に配置される
オペレータがターゲットを指し示すようにすることによって、ターゲットに焦点
を合わせるようカメラを方向付けるシステムを説明する。システムは、オペレー
タの指の画像を走査且つ処理し、カメラをその方向に照準を合わせるよう方向付
ける。この論文は更に、ポインティングジェスチャ及び音声命令の組合わせを使
用するシステムも説明する。単純な音声又はジェスチャ命令を使用することによ
り、オペレータは、ズームイン又はズームアウト、又は、画面を消去するといっ
た単純な機能をカメラが行うよう導くことが可能である。この論文はその全体が
述べられたのと同様に本出願に参考文献として組込まれる。
【0011】 ターゲットを指し示すための従来の技術は一般的に、ビデオシーンの3次元構
成物をコンピュータ内で作成することと、ユーザが何を指しているのかを決める
ためのターゲット領域を必要とする。これは、多数のカメラと、一般的に非常に
複雑であり演算量が多い3次元推論とを必要とするのでセットアップが厄介であ
る。
【0012】 米国特許第5,454,043号に、上述されたような制限を有さない1つの
従来技術が記載される。この特許では、ビデオカメラによって手の動きが捕捉さ
れ、向きと動きのパターンは、画像処理によって命令に変化される。この技術は
、ユーザが異なる場所に立つと、従来技術における3次元モデリングによる解決
策では可能であるようにターゲットを指し示すために使用することはできないが
、ユーザに、例えば、ビデオスクリーン上のカーソルを、制限された方法で制御
することを可能にする利点を有する。
【0013】 現在の技術における状況を考慮すると、ポインティングジェスチャといった方
向指示を解釈することが可能であるが、機器及びシーンの構成要素の位置合わせ
、及び、シーンの3次元モデリングに関連する集中的な演算を要しないシステム
が必要である。
【0014】 [発明の概要] 特定の3次元ターゲットのサブセットは、表面上に配置されるサブセットであ
り、その形状は予め既知ではない。例えば、投影スクリーンの平らな表面は、話
者が指し示す場合のあるターゲットを含んでもよい。他の例は、例えば、棒、指
、手の動き等によってポインティングするといった幾つか他の方向指示によって
見る人がポイントする又は指し示すビデオスクリーン上のサブ画像である。本発
明では、上述されたようなターゲットは、カメラの位置又はターゲットが存在す
る表面の位置に関する情報を位置合わせに用いることなくシーン画像中に識別す
ることが可能である。表面の形状に関する少なくとも幾つかの情報のみが先験的
に必要である。
【0015】 ユーザが指し示すターゲットを決定する方法は、1つの実施例によると、ポイ
ンタとターゲット領域の両方を含む少なくとも2つのシーン画像を使用する。こ
の例では、ターゲットは、両方のカメラのシーン画像中に見える位置合わせマー
ク又は基点を含む平らな面上に配置されると仮定する。ポインティングジェスチ
ャも、両方のシーン中に捕捉される。ポインティングジェスチャは処理され、シ
ーン自体のX−Y座標において線を決定するために必要である程度にまで分析さ
れる。これは両方のカメラシーンに行われる。例えば、ユーザの右目と指先と一
致する点(ピクセルの単位でのX−Y座標)が使用されてよい。或いは、線は、
ジェスチャによって指し示される方向を表すよう画成され得、この線は、その線
上の2つの任意の点によって画成され得る。両方のシーンからのこれらの点の照
準対はマッピングされる。
【0016】 それぞれの画像は位置合わせマークを用いてモーフィングされ、それにより、
画像は、ターゲットが配置される面の外観を正確に模倣する。これにより、3次
元推論を全く必要とすることなく、2次元推論のみを使用しターゲットを決定す
ることが可能となる。各画像は、基準面と称されてもよいターゲット面上の全て
の点が、基準面上に現れるのと全く同じ位置でその画像中に現れるようモーフィ
ングされる。以下に説明するように、4つの対応点が、画像及び基準面中に識別
されると線形位置合わせ変換が計算可能である。基準面上の点が、基準面が真っ
直ぐに見られた際に現れるのと等しい相対位置でカメラ画像中に現れるよう変換
される。つまり、4つの基点が基準面に矩形パターンで配置されると、これらの
4つの基点を斜めに見るカメラ画像は、モーフィングされた画像中に再び矩形を
形成するようモーフィングされる。モーフィングは、平面投影変換によって行わ
れ、それにより、シーン中の全ての点は最終的には歪み、原画像中で任意の直線
上にある全ての点は、依然として直線上にある。第2の画像も同様にモーフィン
グされ、2つの画像は合わせられ、各画像の基準面上の基点は、単一の画像に合
わされるようにされる。2つの画像は、ユーザが1つのカメラビューにおいても
う1つのカメラビューとは異なる位置に現れるようかなり異なる角度から撮られ
ることが好適である。直線が、各画像におけるユーザの右目と指先の間に引かれ
、直線が交わるところがターゲットの位置である。言うまでも無く、上述は単に
比喩的に過ぎない。実際の処理は数値により計算され、関心の点のみが変換され
る。関心の点とは、ユーザの目と指先の画像を結びつける2つの画像中の点であ
る。
【0017】 この取り組み方法は、多数の変形に使用されることが可能である。2つの変形
が好適であると考えられる。カメラがユーザの前に配置され、ユーザがカメラに
向かって指し示す第1の変形は、ビュースクリーン又はモニタ上の選択を指し示
すといったヒューマン/マシーン対話に特に好適である。各カメラから見える平
面に向けて指し示す第2の変形は、ビデオ会議といったマルチメディアアプリケ
ーションにおいて有用である。
【0018】 「ピークスルー構成」と称される第1の変形は、例えば、メニュからアイテム
を選択する、又は、コンピュータゲームで遊ぶために、TV又はコンピュータモ
ニタを介し通信するのに有用であろうことが想像される。この設計では、1つ又
は2つの多角形のアパーチャ(隣り合わせにされる)を有する垂直の不透明の平
面が、コンピュータ又はTVモニタの上に、スクリーンと略同一平面上に配置さ
れる。他の可能性として、各アパーチャが少なくとも4つの特徴点によって取っ
て代わられる透明の延長面を使用することである。スクリーンとアパーチャ延長
部を含む伸ばされた面は、「基準面」と称される。1つ又は2つのカメラが延長
面の後ろに置かれ、2つのアパーチャの後ろからユーザを見る。各アパーチャ(
又は4つのマーカ点)は、それぞれの画像面において常に完全に見ることが可能
である(或いは、2つのカメラは、2つの鏡と、2つの画像を隣り合わせで記録
する1つのカメラによって取って代わられてもよい。)最初に(且つ、1回限り
)、基準面の歪みのない2次元の外観を表すよう基準面(スクリーン+取り付け
られたアパーチャ又はマーカ)の前面画像が、非常に狭い視野(略正投影)で撮
られる。この画像は、ターゲットの位置を計算するための基準フレームとなる。
【0019】 必要な画像位置合わせ(モーフィング)変換を計算するために、各画像及び基
準フレームにアパーチャ境界が検出される。位置合わせは、画像に2次元線形変
換を行うことを含み、その後に、アパーチャ境界は、基準フレームに現れる関係
と等しい関係で画像中に現れる。この変換を計算するために4つの点が十分であ
り、このことは本明細書の他の部分に詳細に説明される。
【0020】 この設計では、ユーザは、カメラを指し示しているところを撮られる。指し示
されるターゲットの位置を求めるためには、ユーザの目及び指先を検出すること
が必要である。指先の検出を容易にするよう、ユーザは明るい色がつけられたシ
ンブルを着用してもよい。シンブルは、遠隔制御器といった他の対話手段に取っ
て代わってよい。指先の検出を容易にすることに追加して、ウェラブルマウスは
、多数のユーザのポインティングジェスチャを区別する能力を与えるといったユ
ーザインタフェース目的のための別の利点を有する。従って、異なる色の付いた
シンブルを着用する多数のユーザが、同一の又は異なるターゲットを同時に指し
示すことが可能である。
【0021】 「ダイレクトビュー構成」と称される第2の変形は、大きなスクリーンを使用
するプレゼンテーション又はビデオ会議、或いは、カメラセットアップが一時的
又は携帯式である状況において最も有用である。このセットアップでは、ターゲ
ット面又は基準面と、ユーザは、両方のカメラから見ることが可能である。ピー
クスルー構成と同様に、位置合わせは画像データのみに基づいている。基準面上
の4点は各画像中に識別され、位置合わせは、その画像に2次元線形変換を行う
ことにより行われる。基準面は一般的に、投影スクリーン又はホワイトボードで
あるので、点は容易に検出可能である。点は、高いコントラストを有する投影か
ら形成され、セットアップを記録するために少しの間使用され、その後、スクリ
ーンから取り除かれることが可能である。或いは、基点マークの代わりに2組の
平行線を使用することが可能である。スクリーン又はホワイトボードの境界を使
用することが可能である。
【0022】 最終的な段階において、1つの画像が基準フレームとして選択されてよい。位
置合わせ変換によって、4つの識別された点が、第1の画像において表れる位置
と等しい位置に現れるよう第2の画像にマッピングされる。位置合わせは、基準
面ではなく、基準フレームに対し行われ、これはポインティングターゲットの識
別には十分である。
【0023】 本発明をより深く理解することが出来るよう、以下の説明的な図面を参照し、
特定の好適な実施例に関連して説明する。図面を参照するに、図示される詳細は
例示的に過ぎず、本発明の好適な実施例を説明するだけのものであり、本発明の
原理及び概念的な面の最も有用且つ容易な説明を与えるものとして示されること
を強調する。この点について、本発明の基本的な理解に必要である以上に、本発
明の構造的な詳細に関しては詳しくは説明しておらず、当業者は、図面と供に考
慮されることによって上述の説明から、本発明の幾つかの形式が実際に具現化さ
れることが明らかになろう。
【0024】 [好適な実施例の詳細な説明] 図1を参照するに、テレビジョン又は投影スクリーン10又は壁(図示せず)
といった平らな表面上にあるターゲット25は、ユーザ30によって指し示され
ている。ターゲット位置は、2つのカメラ35及び40のどちらかの画像中に、
以下に説明されるような方法で2つのカメラ35及び40からの画像を組合わせ
ることによって識別することが可能である。図面では、ユーザ30は、ターゲッ
ト25をポインティングジェスチャによって指し示していることが示される。尚
、実験によって人々がターゲットを指し示すために用いるジェスチャは、例えば
、ユーザの指先によるもの、ユーザの右(又は左)目によるものであることが分
かっており、ターゲットは直線によって結び付けられる。これは、いずれかのカ
メラから見たときのターゲットの平面投影は、ユーザの目及び指によって画成さ
れる直線の平面投影上にあることを意味する。本発明では、これら2つの平面投
影は、カメラ35及び40のいずれかで有り得る共通の平面投影、又は、任意の
第3の平面に変換される。
【0025】 図2を参照するに、カメラは、それぞれがポインティング装置、ここでは、ユ
ーザの目90と組み合わされる指先80を捕捉するよう向けられる。更に、各カ
メラの視野45及び50は、ターゲットが配置される平面上に4つの位置合わせ
マーク20が見えるようにされる。カメラ35及び40の正確な位置又は照準は
本発明の実行に対し重要でない。ただし、本発明の更なる説明の後に明らかとな
るように、ターゲット位置の正確さに影響するという限りでは重要である。正確
を期すために、カメラ画像は、その分解能及び正確さを(真の平面投影の表すも
のとして)最大限に使用することが有利である。
【0026】 図2及び3を参照するに、ユーザ30の目90及び指先80の位置は、3次元
ベクトル(インジケータ)85によって表され、この3次元ベクトル85のカメ
ラ35の画像における平面投影は、2次元ベクトル76として示される。シーン
の平面投影の残りの部分では、スクリーン11の画像は、通常の方法で奥行きが
縮められることによって歪んでいる。ベクトル76の延長(軌跡)61が示され
、これは、そのコンテキストでは既知ではないターゲット25の位置を通過する
のに十分に長い。位置合わせマーク20(図1)の座標の投影は、図3の画像に
おいて、x,y、…、x,yとして識別される。ベクトル85の投影7
6の端点は、x,y及びx,yとして識別される。
【0027】 図4及び5を参照するに、ここでも、ユーザ30の目90及び指先80の位置
は、3次元ベクトル86によって示される。カメラ40の画像におけるベクトル
86の平面投影は、2次元ベクトル87として示される。ここでも、スクリーン
12の画像は、通常の方法で奥行きが縮められることにより歪んでいるが、カメ
ラ40の位置及び向きが異なるので歪みは上記と異なる。ベクトル86の延長6
2が示され、これは、ターゲット25の位置を通過するのに十分に長い。延長6
2の平面投影は軌跡63として示される。ここでも、ターゲット位置の投影は、
予め既知ではない。位置合わせマーク20(図1)の座標の投影は、図5の画像
において、p,q、…、p,qとして識別される。ベクトル85の投影
87の端点は、p,q及びp,qとして識別される。
【0028】 図6を参照するに、図3の投影の上に、ベクトル86の投影87の変換された
バージョン87´が重ねられる。変換された投影87´は2次元線形変換演算を
行うことによって得られ、この演算は、点p,q、…、p,qが座標x ,y、…、x,yにそれぞれ正確にマッピングされるよう図5の投影を
マッピングする。ターゲット位置は、2つの延長線の交点に一致する。
【0029】 この変換は、
【0030】
【数1】 によって示され、これは、スケールを考慮しない変換を表す。各点は、2つの制
約をMに与え、Mは、スケールを考慮せずに決められる3×3行列なので、Mは
8つの未知数を含み、従って、4つの独立した点を使用することによって決めら
れることが可能である。このことから、4つの位置合わせマーク20が使用され
る。Mは、
【0031】
【数2】 として決められ、従って、
【0032】
【数3】 となり、4点p,q、…、p,qが与えられると、Mにおける全ての未
知数は、以下の線形方程式を解くことにより得られる。
【0033】
【数4】 一旦、ターゲットが識別されると、この情報は、様々な特徴を与えるよう使用
されてよい。例えば、スクリーン上に投影される対象物は、ポインティングする
ことによって制御されることが可能である。この例では、2つのカメラ画像がス
クリーン10の面に変換されてもよい。ターゲットのスクリーン10上の座標が
与えられると、どのコンピュータ処理もこの情報を使用することが可能である。
例えば、それぞれポインティングジェスチャによって制御される多数のプレーヤ
のいるゲームがある。スクリーン上に再現される異なる対象物を制御するよう、
異なるプレーヤによって違う色の付いたシンブル又はワンドを着用/使用してよ
い。マウス、光ペン、タッチスクリーン等によって現在行われているどのタスク
も、ポインティングジェスチャによって行われることが可能となる。
【0034】 上述された実施例では、ターゲットは特定の方法(目対指先)によるポインテ
ィングジェスチャによって指し示されるが、他の方法で指し示されてもよい。例
えば、照準器又はワンドが使用されてもよい。更に、ターゲットはスクリーン上
にあるのではなく、共通の平面に実質的に存在する任意の対象物又は画像であっ
てよい。更に、対象物又はターゲットは単一の平面上に存在しなくてもよく、多
数の平面上に存在することも可能であり、各平面は、それぞれ位置合わせマーク
の組を有する。本発明は更に他の変換を用いて適用される範囲を広げてもよく、
それにより、ターゲットは平らな表面以外の表面上に存在することが可能となる
。更なる他の変形としては、方向を指し示すためのジェスチャの方法がある。方
向を指し示すためのジェスチャをする際の短時間に亘る手又は指の一振りの方向
といった方向を得るために時系列の画像を使用することが可能である。更に、別
の好適な適用は、ホワイトボードへの適用であり得る。更には、位置合わせマー
ク20はスクリーン上のマークである必要はなく、スクリーン10の角(かど)
であってよい。更に、位置合わせマークは、セットアップの際のある時点におい
てスクリーン上に投影され、その後、取り除かれてよい。この場合、セットアッ
プが変更されるまで、位置合わせ点の座標は変換を計算するために使用され、位
置合わせマークへの更なる参照が必要でなくなる。この技術は、ターゲットにカ
メラの照準を合わせる際の使用に更に適用することが出来る。基準画像における
座標が既知となると、2つのカメラのうちの1つのカメラ、又は、第3のカメラ
は、ターゲットを得るよう再び照準が合わされ且つズームされる。これは、自動
化されたビデオ会議システムのコンテキストにおいて有用である。
【0035】 図7を参照するに、本発明の他の実施例であるセットアップにおいて、ベクト
ル200はターゲット226を指し示す。延長線205は、ベクトル200の軸
に沿ってターゲットに向けられる。前の実施例で説明したように、ベクトル20
0は、例えば、ポインティングジェスチャといった多数の異なる指示手段のうち
のいずれかを表す。他の実施例と同様に、ターゲット226は、平面に、この例
では、例えば、大型テレビジョンのスクリーン270に存在する。カメラ235
及び240は、それぞれの基準フレーム260及び265を通り照準が合わせら
れる。基準フレーム260及び265は単に、カメラ235の視野に位置合わせ
点1乃至4を、カメラ240の視野に位置合わせ点5乃至8を与える。各カメラ
235及び240は、それぞれの位置合わせ点の組とベクトル200が見るよう
向けられる。従って、例えば、このセットアップでは、ユーザがテレビジョンの
前のいすに座り、テレビジョン上のカメラがユーザに向けられることが可能であ
る。
【0036】 この実施例では、位置合わせマークは単にフレーム260及び265の角1乃
至8である。これらの角の座標は、特にビデオカメラといったカメラの有限の分
解能を考えると、最高の精度で正確さが得られるようフレームの縁に基づきあて
はまる輪郭を推定することにより決定されることが好適である。このような技術
は、この技術において既知である。
【0037】 カメラ240の画像を示す図8及びカメラ235の画像を示す図9を参照する
に、それぞれ、ポインティングベクトル200のそれぞれの投影210及び22
0を含む。更に、ベクトル投影210及び220によって指し示される方向によ
って決められる線215及び225も示される。図7は、3次元シーンを説明す
るよう使用されたが、この配置は更に、スクリーン270の方に見た際の投影も
表す。この画像は、この実施例では、基準画像として使用され、両方のカメラ画
像のベクトルはこの基準画像に変換され、基準画像内のターゲットの座標が決定
される。
【0038】 図10を参照するに、図7のシーン投影を示し、ベクトル画像が2次元線形変
換を用いて基準フレームに変換された後に、線215及び225は、それぞれ線
285及び280に変換される。変換によって、図9の画像中の点1乃至4は、
図10の画像の対応する点にマッピングされる。しかし、変換される必要のある
点は、ベクトル投影210及び220を画成する点だけである。基準画像(フレ
ーム260、265、及び、図7又は図10の基準画像)は、基準点の座標を決
定するために、各セットアップに対し1回だけ考慮されればよい。
【0039】 図11を参照するに、本発明の適用を実施するために使用される装置及び処理
をブロック図で示す。画像プロセッサ305は、カメラ301及び302から画
像データを受け取る。画像及び座標データは、メモリ310又は不揮発性記憶媒
体320に格納されてよい。例えば、変換データは、一旦計算されると、不揮発
性メモリ320及びメモリ310に格納され、これは、ターゲットの座標x,y
を得るようカメラ301及び302からの画像の計算に使用され、その後、アプ
リケーション処理330に与えられる。アプリケーション処理330は、その後
、ホワイトボード上のトレース、又は、ゲームのアバターの制御データといった
出力を発生する。
【0040】 尚、カメラ301及び302によって集められる投影データは、ソナー、無線
、超音波医用機器、又は、平面投影を形成することが可能である任意の他の装置
といった他の情報源からも得られる。
【0041】 当業者には、本発明は上述した実施例の詳細に制限されず、また、本発明は本
発明の目的又は本質的な特性から逸脱することなく他の特定の形式で具現化され
得ることが明らかであろう。従って、上述される実施例は、どの点においても説
明的且つ非制限的であると考えられるべきであり、本発明の範囲は上述された説
明ではなく特許請求の範囲によって示され、従って、特許請求の等価物の意味及
び範囲内である全ての変更は本発明に含まれるものとする。
【図面の簡単な説明】
【図1】 本発明の1つの実施例に従って、1つのカメラのシーン投影(又は基準投影)
上のターゲット位置を、第2のカメラの投影を使用することにより識別するため
のセットアップを示す図である。
【図2】 図1の実施例に従って、1つのカメラによって得られる投影に関し説明するた
めのシーンを示す図である。
【図3】 図2のカメラによって撮られるシーン投影を示す図である。
【図4】 図1の実施例のもう1つのカメラによって得られる投影に関し説明するための
シーンを示す図である。
【図5】 図4のカメラによって撮られるシーン投影を示す図である。
【図6】 ターゲット座標を得るために、図5のシーンから選択される方向を指し示す点
が、平面投影変換されることにより、図3のシーンにマッピングされる図である
【図7】 本発明の別の実施例に従って、2つのカメラからの画像を用いて基準投影上へ
のターゲット位置の投影を識別するよう使用され、ターゲットを指し示す方向ベ
クトルを含むシーンを有するセットアップを示す図である。
【図8】 図7の実施例におけるカメラ画像の画像投影を示す図である。
【図9】 図7の実施例におけるカメラ画像の画像投影を示す図である。
【図10】 方向ベクトルによって指し示されるターゲットを識別するために、単一の方向
ベクトルの基準画像上への投影の平面投影変換を組合わせた図である。
【図11】 本発明を適用するために用いられてよい装置及び処理を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 リー,ミ−スーエン オランダ国,5656 アーアー アインドー フェン,プロフ・ホルストラーン 6 Fターム(参考) 5B057 BA02 CC01 CH07 CH08 CH11 CH18 DA07 DA08 DA16 DB03 DC08 DC09 DC32 DC36 5B087 CC26 CC33 DD11 5L096 BA18 CA02 FA67 FA69

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 平面上のターゲットの位置を求める装置であって、 ターゲットの指し示すインジケータを含むシーンの第1の投影を表す第1の信
    号を集める第1の画像収集装置と、 上記シーンの第2の投影を表す第2の信号を集める第2の画像収集装置と、 上記第1の信号及び上記第2の信号を受信するよう接続されるコンピュータ装
    置とを含み、 上記コンピュータ装置は、上記第1の信号及び上記第2の信号のうちの少なく
    とも1つの信号の少なくとも一部に線形変換を行い、上記線形変換の結果を、上
    記第1の信号及び上記第2の信号のうちのもう一方の信号に組合わせ、それによ
    り、上記シーンの基準投影上の上記ターゲットの位置を得るようプログラムされ
    、上記基準投影は、上記シーンの第3の投影、上記第1の投影、及び上記第2の
    投影のうちの1つである装置。
  2. 【請求項2】 シーンの第1の平面投影及び第2の平面投影を受け取るよう
    プログラムされるプロセッサを含み、 上記プロセッサは、上記第1の平面投影及び上記第2の平面投影のそれぞれか
    ら、個々の軌跡を識別するようプログラムされ、 上記プロセッサは、上記第1の平面投影の軌跡及び上記第2の平面投影の軌跡
    のうちの少なくとも1つの変換を計算し、少なくとも1つの変換された軌跡を形
    成するよう更にプログラムされ、 上記プロセッサは、上記少なくとも1つの変換された軌跡から、上記第1の平
    面投影の軌跡及び上記第2の平面投影の軌跡のうちの少なくとも1つと合わされ
    る3次元表面上のターゲットの、上記シーンの上記第1の平面投影及び上記第2
    の平面投影のいずれか、又は、第3の共通の平面投影上における座標位置を計算
    するよう更にプログラムされる画像プロセッサ。
  3. 【請求項3】 ターゲットの位置を求める方法であって、 平面上にあるターゲットを指し示すインジケータの第1の画像及び第2の画像
    を収集する段階と、 上記第1の画像及び上記第2の画像のうちの少なくとも1つに平面投影変換を
    行い、上記ターゲットの座標を決定する段階とを含む方法。
  4. 【請求項4】 上記収集する段階は、シーンの平面投影を表す第1の画像及
    び第2の画像をそれぞれ形成する段階を含む請求項3記載の方法。
  5. 【請求項5】 上記変換を行う段階は、人間のポインティングジェスチャの
    特徴を識別する段階を含む請求項3記載の方法。
  6. 【請求項6】 上記変換を行う段階は、上記平面にある4つの点の画像にお
    ける座標から上記平面投影を決定する段階を含む請求項3記載の方法。
  7. 【請求項7】 平面上にあるターゲットを識別する方法であって、 第1の平面投影の少なくとも4つの点、及び、第2の平面投影の少なくとも4
    つの点から線形変換を計算する段階と、 上記第1の平面投影に対応する平面における第1の軌跡を、上記第2の平面投
    影に変換させる段階と、 上記第1の軌跡の変換と、上記第2の平面投影に対応する平面における軌跡と
    の交点を決定する段階とを含む方法。
  8. 【請求項8】 上記第1の平面投影及び上記第2の平面投影のそれぞれの上
    記少なくとも4つの点は、全て基準面にある少なくとも4つの点からなる単一の
    組の投影である請求項7記載の方法。
  9. 【請求項9】 平面上にあるターゲットを識別する方法であって、 それぞれの視野から基準面にある点を撮像し、上記それぞれの視野からの上記
    点を上記基準面の対応する点にマッピングするのに有効な変換を得ることにより
    線形変換を計算する段階と、 上記線形変換のうちの1つを用いて、3次元軌跡の第1の画像を変換する段階
    と、 上記線形変換のうちのもう1つを用いて、上記軌跡の第2の画像を変換する段
    階と、 上記変換段階から結果として得られる上記軌跡の各変換の交点を決定し、上記
    軌跡によって指し示され、上記基準面における上記ターゲットの座標を決め、上
    記ターゲットは上記基準面内にある段階とを含む方法。
  10. 【請求項10】 基準表面にあるターゲット点を識別する方法であって、 上記基準表面の点の少なくとも1つの第1の表面投影及び第2の表面投影を形
    成し、上記点の数は、上記基準表面の形状によって部分的に決められる段階と、 上記基準表面の上記点の上記投影に反応して変換を得、上記変換は、上記点の
    それぞれを、上記第1の投影面及び上記第2の投影面のうちのいずれか、又は、
    第3の面で有り得る結果としての投影面上のそれぞれの点に変換するよう行われ
    、上記基準面上の所与の点の各投影は、上記結果としての投影面上で同一の座標
    にある段階と、 上記変換を使用し、軌跡の少なくとも1つの投影を変換し、上記ターゲットを
    識別する段階とを含む方法。
JP2001585011A 2000-05-17 2001-05-08 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法 Expired - Fee Related JP4768196B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US57299100A 2000-05-17 2000-05-17
US09/572,991 2000-05-17
PCT/EP2001/005186 WO2001088681A1 (en) 2000-05-17 2001-05-08 Apparatus and method for indicating a target by image processing without three-dimensional modeling

Publications (2)

Publication Number Publication Date
JP2003533817A true JP2003533817A (ja) 2003-11-11
JP4768196B2 JP4768196B2 (ja) 2011-09-07

Family

ID=24290197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001585011A Expired - Fee Related JP4768196B2 (ja) 2000-05-17 2001-05-08 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法

Country Status (7)

Country Link
EP (1) EP1292877B1 (ja)
JP (1) JP4768196B2 (ja)
KR (1) KR100869447B1 (ja)
CN (1) CN1222859C (ja)
AT (1) ATE390664T1 (ja)
DE (1) DE60133386T2 (ja)
WO (1) WO2001088681A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009240370A (ja) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International 動作検出装置
JP2012198608A (ja) * 2011-03-18 2012-10-18 Nec Personal Computers Ltd 入力装置および入力方法
TWI383311B (zh) * 2008-06-02 2013-01-21 Wistron Corp Multi - touch Inductive Input Device and Its Induction Method
JP2013208450A (ja) * 2007-09-07 2013-10-10 Konami Digital Entertainment Co Ltd 画像処理装置、ゲーム装置およびコンピュータプログラム
JP2016099918A (ja) * 2014-11-26 2016-05-30 レノボ・シンガポール・プライベート・リミテッド ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム
JP2017531227A (ja) * 2014-08-01 2017-10-19 スターシップ ベンディング−マシーン コーポレーション ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置
JP2022525326A (ja) * 2019-03-11 2022-05-12 ブイタッチ・カンパニー・リミテッド 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
EP1507389A1 (en) * 2003-08-13 2005-02-16 Sony Ericsson Mobile Communications AB Mobile phone with means for switching off the alarm remotely
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1596271A1 (en) 2004-05-11 2005-11-16 Hitachi Europe S.r.l. Method for displaying information and information display system
JP3926837B2 (ja) * 2004-06-04 2007-06-06 松下電器産業株式会社 表示制御方法および装置、プログラム、並びに携帯機器
US20080292149A1 (en) * 2004-06-28 2008-11-27 Koninklijke Philips Electronics, N.V. Image Processing System, Particularly for Images of Implants
KR101652110B1 (ko) * 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
CN102033644B (zh) * 2010-01-04 2015-07-15 张强 一种三维空间的触控或书写屏
CN101866235B (zh) * 2010-02-10 2014-06-18 张强 一种三维空间的多点触控或多笔书写屏
TWI406156B (zh) * 2010-03-12 2013-08-21 Primax Electronics Ltd 氣流感應式電腦游標訊號產生裝置以及氣流感應式滑鼠裝置
CN101916437B (zh) * 2010-06-18 2014-03-26 中国科学院计算技术研究所 一种基于多视觉信息的目标定位方法和系统
CN102004623B (zh) * 2010-11-29 2013-02-27 深圳市九洲电器有限公司 一种三维图像显示装置及方法
KR101151962B1 (ko) * 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20120126508A (ko) * 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101330531B1 (ko) * 2011-11-08 2013-11-18 재단법인대구경북과학기술원 3차원 카메라를 이용한 가상 터치 방법 및 장치
CN102520799B (zh) * 2011-12-22 2015-03-25 胡世曦 一种光学键盘
TWI486820B (zh) * 2012-12-28 2015-06-01 Wistron Corp 用於互動系統之座標轉換方法及電腦系統
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
TW201510771A (zh) 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
CN104978012B (zh) 2014-04-03 2018-03-16 华为技术有限公司 一种指向交互方法、装置及系统
WO2017203102A1 (en) * 2016-05-25 2017-11-30 Valo Motion Oy An arrangement for controlling a computer program
KR102239469B1 (ko) * 2018-01-19 2021-04-13 한국과학기술원 객체 제어 방법 및 객체 제어 장치
WO2019143204A1 (ko) * 2018-01-19 2019-07-25 한국과학기술원 객체 제어 방법 및 객체 제어 장치
CN108363485B (zh) * 2018-01-25 2021-06-18 广州杰赛科技股份有限公司 非触摸屏显示终端的控制方法、装置、系统和计算机设备
WO2022000149A1 (zh) * 2020-06-28 2022-01-06 华为技术有限公司 交互方法及电子设备
CN112419381B (zh) * 2020-12-15 2023-03-03 山东威高医疗科技有限公司 一种x光图像中标记点序列的自动识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04271423A (ja) * 1991-02-27 1992-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法
JPH0519958A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH0744313A (ja) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 指示情報入力方法
JPH07146752A (ja) * 1993-11-22 1995-06-06 Toshiba Corp 環境モデル作成装置
JPH10326148A (ja) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH1163927A (ja) * 1997-08-27 1999-03-05 Mitsubishi Heavy Ind Ltd 頭部位置・姿勢の計測装置および作業監視装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768443A (en) * 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
JPH11161415A (ja) * 1997-11-28 1999-06-18 Seiko Epson Corp 入力方法および入力装置
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04271423A (ja) * 1991-02-27 1992-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法
JPH0519958A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JPH0744313A (ja) * 1993-08-03 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 指示情報入力方法
JPH07146752A (ja) * 1993-11-22 1995-06-06 Toshiba Corp 環境モデル作成装置
JPH10326148A (ja) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
JPH1163927A (ja) * 1997-08-27 1999-03-05 Mitsubishi Heavy Ind Ltd 頭部位置・姿勢の計測装置および作業監視装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013208450A (ja) * 2007-09-07 2013-10-10 Konami Digital Entertainment Co Ltd 画像処理装置、ゲーム装置およびコンピュータプログラム
JP2009240370A (ja) * 2008-03-28 2009-10-22 Advanced Telecommunication Research Institute International 動作検出装置
TWI383311B (zh) * 2008-06-02 2013-01-21 Wistron Corp Multi - touch Inductive Input Device and Its Induction Method
JP2012198608A (ja) * 2011-03-18 2012-10-18 Nec Personal Computers Ltd 入力装置および入力方法
JP2017531227A (ja) * 2014-08-01 2017-10-19 スターシップ ベンディング−マシーン コーポレーション ユーザーの視点を考慮して動作認識するインタフェース提供方法及び提供装置
JP2016099918A (ja) * 2014-11-26 2016-05-30 レノボ・シンガポール・プライベート・リミテッド ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム
JP2022525326A (ja) * 2019-03-11 2022-05-12 ブイタッチ・カンパニー・リミテッド 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
JP7279975B2 (ja) 2019-03-11 2023-05-23 ブイタッチ・カンパニー・リミテッド 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR20020025198A (ko) 2002-04-03
DE60133386D1 (de) 2008-05-08
CN1380996A (zh) 2002-11-20
KR100869447B1 (ko) 2008-11-21
DE60133386T2 (de) 2009-04-02
EP1292877A1 (en) 2003-03-19
ATE390664T1 (de) 2008-04-15
EP1292877B1 (en) 2008-03-26
CN1222859C (zh) 2005-10-12
WO2001088681A1 (en) 2001-11-22
JP4768196B2 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
JP4768196B2 (ja) 3次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
JP4278979B2 (ja) ジェスチャーに基づいた入力及びターゲット指示のための単一カメラシステム
US6204852B1 (en) Video hand image three-dimensional computer interface
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US9483690B2 (en) Calibrating vision systems
Lee et al. 3D natural hand interaction for AR applications
US20140139429A1 (en) System and method for computer vision based hand gesture identification
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
US10950056B2 (en) Apparatus and method for generating point cloud data
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
CN106814963A (zh) 一种基于3d传感器定位技术的人机互动系统及方法
WO2015003544A1 (zh) 多深度区间的重聚焦方法、装置及电子设备
Laielli et al. Labelar: a spatial guidance interface for fast computer vision image collection
CN107077739A (zh) 使用单目相机的三维标记模型构建和实时跟踪
JP5468773B2 (ja) 画像処理装置および画像処理方法
JP2004272515A (ja) インタフェース方法、装置、およびプログラム
JP4340135B2 (ja) 画像表示方法及び画像表示装置
KR20180045668A (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
KR101743888B1 (ko) 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
JPH07160412A (ja) 指示位置検出方法
Lee et al. A stereo-vision approach for a natural 3D hand interaction with an AR object
Zhang Vision-based interaction with fingers and papers
CN112181135A (zh) 一种基于增强现实的6-dof视触觉交互方法
McClean An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110616

R150 Certificate of patent or registration of utility model

Ref document number: 4768196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees