JP2004070688A - 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 - Google Patents
情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004070688A JP2004070688A JP2002229592A JP2002229592A JP2004070688A JP 2004070688 A JP2004070688 A JP 2004070688A JP 2002229592 A JP2002229592 A JP 2002229592A JP 2002229592 A JP2002229592 A JP 2002229592A JP 2004070688 A JP2004070688 A JP 2004070688A
- Authority
- JP
- Japan
- Prior art keywords
- input
- information
- calculated
- dimensional trajectory
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】利用者の動作の3次元的な軌跡に対応した、高い入力効率を備えた、情報入力方法、及び装置を提供する。
【解決手段】情報入力装置2にて、3次元軌跡算出手段21は、画像入力装置1から人力された利用者の対象点(指先)の空間での動きを撮像した画像から、対象点の3次元軌跡を算出する。入力区間検出手段22は、算出された3次元軌跡から、入力開始と入力終了を判断し、入力区間として検出する。投影面算出手段23は、検出された入力区間における3次元軌跡群から、3次元軌跡群の構成点を投影する平面(投影面)を算出する。入力制御手段24は、算出された投影面と3次元軌跡群の構成点との距離が閾値より大きい場合、処理対象から削除し、投影する構成点を選択する。認識処理手段25は、選択された構成点を投影面に投影した形状を辞書3と照合して該入力された情報の意味を認識する。
【選択図】 図1
【解決手段】情報入力装置2にて、3次元軌跡算出手段21は、画像入力装置1から人力された利用者の対象点(指先)の空間での動きを撮像した画像から、対象点の3次元軌跡を算出する。入力区間検出手段22は、算出された3次元軌跡から、入力開始と入力終了を判断し、入力区間として検出する。投影面算出手段23は、検出された入力区間における3次元軌跡群から、3次元軌跡群の構成点を投影する平面(投影面)を算出する。入力制御手段24は、算出された投影面と3次元軌跡群の構成点との距離が閾値より大きい場合、処理対象から削除し、投影する構成点を選択する。認識処理手段25は、選択された構成点を投影面に投影した形状を辞書3と照合して該入力された情報の意味を認識する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、利用者の手振りなどの動作で空間に筆記した文字などの情報の入力を制御する情報入力方法、及び装置に関し、特に、入力された3次元軌跡から情報入力に効果的な情報を抽出し、認識する方法、及び装置に関する。
【0002】
【従来の技術】
従来から、利用者の空間での手振りなどの動作を検知して、情報入力を行う装置の開発が行われている。これらの装置の動作を検知する方法は、CCD(Charge Coupled Device)カメラのような撮像装置を利用して得られた画像を認識する方法と、米国VPL社のデータグローブ(登録商標)に代表されるような特殊な器具を使用する方法に大別できる。前者は、エッジ抽出処理などによって手の輪郭や重心を検出したり、領域検出処理などによって抽出された手と同じ輝度の領域を細線化したりして、指の位置、方向、本数などを検出する。一方、後者は、グローブデバイスの指に沿ってはわせた光ファイバーの光透過率の変化によって指の曲げを検出したり、内蔵された磁気センサによって手の3次元位置を検出したりする。
【0003】
これらの器具の応用として、ジェスチャコマンドなどの手の動作や指先で空間に書いた文字の認識により、情報の入力を制御したりすることが考えられる。これらの装置で、手で表現した情報を次々に入力するためには、何らかの方法で前の情報と次の情報を切り分ける必要がある。即ち、空間に書いた文字と文字、あるいは、文字を構成するストローク間で切り分けを行う必要がある。
【0004】
こうしたストローク検出は、文字ストロークでない部分の手の動きが人によって異なることから生じる認識率の低下を防ぐためにも非常に重要であり、これまでもいくつかの発明が報告されている。特開平08−211979号「手振り入力装置及び方法」に記載された発明では、「手形状または位置が設定値と一致した時に、検出結果を入力するモードと入力を禁止する入力禁止モードとを切り替えて実行させることにより、手の軌跡をストロークとして入力する」という方法が提案されている。しかしながら、この方法では、入力対象とは異なる手を決められた形状にしたり、決められた位置に移動させたりしなければならず、快適に利用できるとは言いがたい。
【0005】
これに対して、特開平10−154036号「文字入力方法及び文字入力装置」に記載された発明では、「入力対象となる点の画像上の2次元的な位置が所定の範囲内である場合に、入力が停止したとして、そのストロークを選択するかどうかを利用者に判断させ、選択された場合に、ストロークとして入力する」という方法が提案されている。この方法では、ストロークの停止を判断することが実現されているが、ここで利用される位置は画像上の2次元的な位置であり、3次元的な位置の変化ではない。そのため、実際には3次元的には動いていても、画像上での動きがない場合などに、誤検出する可能性がある。また、これらのストロークの切り分けができたとしても、どのストロークが有効であるかを判断することは実現できていない。
【0006】
また、ストロークの切り分けが有効に行われたとしても、そのストロークの認識には大きな課題がある。空間に描かれた文字は3次元的な広がりを有しており、文字などの情報は2次元的な分布であるため、これらを認識処理するためには、適切な投影をすることが必要となる。特開平10−187341号「画像認識装置」に記載された発明では、「文字・記号などの画像をあらかじめ2次元画像データとして記憶しておき、入力された3次元軌跡を2次元の画像データに変換して照合する」という方法が提案されている。しかしながら、この方法では、3次元から2次元に投影される可能性のある数多くの面に対して投影した画像データを、あらかじめ用意しておく必要があり、十分な認識精度を実現することは難しい。
【0007】
【発明が解決しようとしている課題】
このように、上記従来例においては、3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことが難しいという問題点があった。また、その3次元軌跡に対応したストロークがどのような情報であるかを認識することは、従来の2次元の枠組みでは非常に難しいという問題点があった。
【0008】
本発明は、上記従来例の問題点を解決するためになされたものであり、利用者の動きの3次元的な軌跡に対応した、高い入力効率を備えた、情報入力方法及び装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するために、対象点の動作により空間に筆記した情報の入力を制御する情報入力装置であって、画像入力装置から入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手段と、該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手段と、該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手段と、該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手段と、該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を認識する認識処理手段と、を備えることを特徴とする情報入力装置を目的達成の手段とする。
【0010】
あるいは、上記情報入力装置において、前記入力区間検出手段が、前記3次元軌跡算出手段にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出するものであることを特徴とする情報入力装置を目的達成の手段とする。
【0011】
あるいは、上記情報入力装置において、前記投影面算出手段が、前記入力区間検出手段にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出するものであることを特徴とする情報入力装置を目的達成の手段とする。
【0012】
あるいは、上記情報入力装置において、前記入力制御手段が、前記投影面算出手段にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除するものであることを特徴とすることを特徴とする情報入力装置を目的達成の手段とする。
【0013】
あるいは、対象点の動作により空間に筆記した情報の入力を制御するための情報入力方法であって、画像入力装置から入力の対象となる対象点の空間での動きを撮像した画像を入力する画像入力手順と、該入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手順と、該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手順と、該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手順と、該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手順と、該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を辞書と照合して認識する認識処理手順と、を備えることを特徴とする情報入力方法を目的達成の手段とする。
【0014】
あるいは、上記情報入力方法において、前記入力区間検出手順では、前記3次元軌跡算出手順にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出することを特徴とする情報入力方法を目的達成の手段とする。
【0015】
あるいは、上記情報入力方法において、前記投影面算出手順では、前記入力区間検出手順にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出することを特徴とする情報入力方法を目的達成の手段とする。
【0016】
あるいは、上記情報入力方法において、前記入力制御手順では、前記投影面算出手順にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除することを特徴とすることを特徴とする情報入力方法を目的達成の手段とする。
【0017】
あるいは、上記情報入力方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする情報入力プログラムを目的達成の手段とする。
【0018】
あるいは、上記情報入力方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする情報入力プログラムを記録した記録媒体を目的達成の手段とする。
【0019】
本発明では、利用者の動きによる対象点の3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことにより、高い入力効率を備えた情報入力方法及び装置を提供する。また、その3次元軌跡に対応したストロークを効率良く認識できるようにすることで、入力情報の認識効率を大幅に向上させる。
【0020】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【0021】
図1は、本発明の一実施形態例による情報入力装置の機能ブロック図である。図1に示すように、この情報入力装置2は、画像入力装置1から人力された対象点の空間での動きを撮像した画像から、対象点の3次元軌跡を算出する3次元軌跡算出手段21、算出された3次元軌跡から、入力開始、あるいは、入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手段22、検出された入力区間における3次元軌跡群から、3次元軌跡群の構成点を投影する平面(投影面)を算出する投影面算出手段23、算出された投影面と3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手段24、及び、選択された構成点を投影面に投影した形状から、辞書3を用いて該入力された情報の意味を認識する認識処理手段25から構成されている。
【0022】
この画像入力装置1は、CCDカメラなどを利用するとしてよい。これはCCDを撮像素子として用いたカメラであり、利用者の動作が撮影される構図として含まれる領域を撮像する。こうして撮像された画像に対して詳細を後述する処理を行った後に入力された情報が認識され、その入力がなされることになる。
【0023】
図2、及び図3は、本発明の一実施形態例による情報入力方法を示すフローチャートである。以下、この流れにしたがって詳細に説明する。
【0024】
まず、CCDカメラなどの画像入力装置1において利用者の動作が撮影される。こうして撮影された画像に対して情報入力処理を行う。この処理では、撮像された入力の対象となる利用者の動作が写った画像を3次元軌跡算出手段21に入力する。
【0025】
次に、3次元軌跡算出手段21は、この画像に対して画像処理を行い、入力の対象となる対象点を抽出する。続いて、この対象点の3次元位置Pi(Xi,Yi,Zi)を算出する。これらの対象点の3次元軌跡を算出する方法については、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略するが、例えば、特願2002−023309「3次元情報入力システム、及びその3次元情報算出方法と装置」に記載の発明などが利用できる。この発明は、対象物から発せられた光とそのミラーからの反射光とを入力し、それらの強度分布から、対象物の3次元位置情報を算出するものである。
【0026】
次に、入力区間検出手段22において、このPi及びひとつ前の3次元位置Pi−1に対して、ストロークを構成する3次元ベクトルVi=(Xi−Xi−1,Yi−Yi−1,Zi−Zi−1)を算出する。このViの大きさ、あるいは向きの変化があらかじめ指定された条件を満たすかどうかを判断する。この条件は、3次元的な動きが急に変化した、あるいは、動きがおさまったなどを調べるものであり、Viの大きさ、及びViとVi−1の間の角度で決められる。この条件を満たす場合に、すでに入力開始状態かどうかが判断され、入力開始状態でない場合には、入力開始Tsが決定され、対象となったPiを格納し、次の画像の入力に移る。また、すでに入力開始状態である場合には、入力終了Teが決定され、入力開始Tsから入力終了Teまでを入力区間として検出する。また、条件を満たさなかった場合、同様に、すでに入力開始状態かどうかが判断され、すでに入力開始状態である場合には、対象となったPiを格納し、次の画像の入力に移る。入力開始状態でない場合には、そのまま、次の画像の入力に移る。
【0027】
続いて、図3に示すように、入力区間検出手段22において入力区間が検出されると、Ts〜Teに含まれるPi(i=Ts,…,Te)を投影面算出手段23に入力する。投影面算出手段23においては、このPiをXY,YZ,ZX平面に投影して、それぞれの近似直線を算出する。この近似直線は、一般に利用されている最小2乗近似などで算出するとしてもよい。この近似直線に対して最も分散している平面を決定し、基準面とする。こうして、この基準面以外の2平面に対する近似直線で構成される投影面を算出する。
【0028】
こうして、投影面算出手段23において算出された投影面に対して、入力制御手段24では、Piとの距離を算出する。この距離があらかじめ指定された閾値より大きいかどうかを判断する。この閾値は、あらかじめ決めておくとしてもよいし、Piの分散度合いから動的に決定するとしてもよい。このとき、その距離が閾値より大きい場合に、構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、このPiを処理対象から削除する。これらの処理をすべてのPiに対して行う。
【0029】
最後に、入力制御手段24により処理対象として残ったPiで構成されるストロークを表す3次元ベクトルに対して、認識処理手段25は、その3次元位置を投影面に投影し、2次元的な形状にする。この形状をあらかじめ格納しておいた辞書3と照合することにより、入力された情報の意味を認識し、入力情報とする。この認識処理手段25での認識処理は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。その多くは、すでに商品として販売されており、例えば、NTTアイティ株式会社で扱っているCyber FAX(登録商標)などがある。
【0030】
続いて、以下では、これまで説明してきた情報入力装置1において、情報を入力する際の具体的な手順を説明する。利用者がある文字を入力したいとして、その文字に倣って、その指を空間で動かした場合を例に採り、説明を行う。
【0031】
図4は、情報を入力している利用者の指の動きの様子を示す、ある瞬間の画像である。こうした画像が時系列で入力され、情報入力処理が行われる。このとき、図5に示すような、一連の3次元位置に、ある対象点が動いていたとする。
【0032】
ここで、図6の601で示されるストロークを構成する3次元ベクトルの向きが急激に変化したとして、この時点で入力開始Tsが決定される。続いて、図6の602で示されるストロークを構成する3次元ベクトルの大きさがある基準より小さいとして、この時点で入力終了Teが決定される。このTs〜Te間が情報の入力区間として検出され、このときのTs〜Te間のPiが格納される。
【0033】
続いて、このPiを入力し、XY,ZX,YZ平面に投影して、それぞれの近似直線を算出する。図7の701,702,703に、それぞれの面に投影した状態を示す。このとき、XY平面が最も分散しているとして、基準面として決定する。このとき、ZX,YZ平面に対する近似直線は、図8の803、及び804で示される直線となる。この直線で構成される投影面を算出する。
【0034】
次に、この算出された投影面に対して、各Piまでの距離を算出する。ここでは、図9の○で示すPiまでの距離が閾値より大きいとして、これらで構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、処理対象から削除する。
【0035】
最後に、これらを投影面に投影すると、図10に示すような形状ができる。この形状をあらかじめ格納しておいた辞書3と照合することにより、ここでは、「い」の文字と認識され、この「い」が入力される。図6に示すような状態では、通常、これを「い」という文字として認識することは非常に難しく、本発明により入力情報の認識効率を大幅に向上させることが確認できる。これらの入力を繰り返すことにより、所望する情報を入力することができることになる。
【0036】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施形態例に限定されるものではなく、幅広く応用することができる。各種の情報入力を実現するための入力情報の入力形態及び入力動作は、これまでの説明の内容に限定されるものではなく、本発明としての要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、実施形態例では、文字認識に使用したが、これを座標列のまま格納するようにしてもよいし、直線や曲線に当てはめ、図形の入力に用いてもよい。さらに、手の動きの入力手段として、実施形態例ではCCDカメラを使用したが、前述したデータグローブ(登録商標)などの接触型のセンサを用いることもできる。
【0037】
なお、図1で示した処理の各部の一部もしくは全部の処理機能を、コンピュータ等の演算処理手段や制御手段を用いて実現できること、あるいは、図2、及び図3で示した処理手順をコンピュータ等に実行させることができることは言うまでもなく、コンピュータ等でその各部の処理機能を実現するためのプログラム、あるいは、コンピュータ等にその処理手順を実行させるためのプログラムを、そのコンピュータ等が読み取り可能な記録媒体、例えば、FD(フロッピーディスク:登録商標)や、MO,ROM、メモリカード、CD,DVD、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、該プログラムを提供したりすることが可能である。このようにして記録媒体や通信ネットワークにより提供されたプログラムを、コンピュータ等の演算処理手段や制御手段にインストールすることで、本発明が実施可能となる。
【0038】
【発明の効果】
以上説明したように、本発明によれば、3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことができ、高い入力効率を備えた装置や方法を提供することができる。また、その3次元軌跡に対応したストロークを効率良く認識することができるので、入力情報の認識効率を大幅に向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態例による情報入力装置の機能ブロック図である。
【図2】本発明の一実施形態例による情報入力方法を示すフローチャートである。
【図3】本発明の一実施形態例による情報入力方法を示すフローチャートである。
【図4】情報を入力している利用者の指の動きの様子を示す、ある瞬間の画像を示す図である。
【図5】一連の3次元位置に、ある対象点が動いている様子を示す図である。
【図6】情報の入力開始Tsと入力終了Teの決定を説明する図である。
【図7】(a),(b),(c)は、対象点をXY,ZX,YZ平面に投影した状態を示す図である。
【図8】(a),(b)は、基準面として決定したZX,YZ平面に対する近似直線の算出例を示す図である。
【図9】投影面から書く対象点までの距離により、ストロークが有効なものか否か判断し、有効でないストロークを処理対象から削除する例を説明する図である。
【図10】処理対象として残った構成点を投影面に投影した例を示す図である。
【符号の説明】
1…画像入力装置
2…情報入力装置
21…3次元軌跡算出手段
22…入力区間検出手段
23…投影面算出手段
24…入力制御手段
25…認識処理手段
3…辞書
【発明の属する技術分野】
本発明は、利用者の手振りなどの動作で空間に筆記した文字などの情報の入力を制御する情報入力方法、及び装置に関し、特に、入力された3次元軌跡から情報入力に効果的な情報を抽出し、認識する方法、及び装置に関する。
【0002】
【従来の技術】
従来から、利用者の空間での手振りなどの動作を検知して、情報入力を行う装置の開発が行われている。これらの装置の動作を検知する方法は、CCD(Charge Coupled Device)カメラのような撮像装置を利用して得られた画像を認識する方法と、米国VPL社のデータグローブ(登録商標)に代表されるような特殊な器具を使用する方法に大別できる。前者は、エッジ抽出処理などによって手の輪郭や重心を検出したり、領域検出処理などによって抽出された手と同じ輝度の領域を細線化したりして、指の位置、方向、本数などを検出する。一方、後者は、グローブデバイスの指に沿ってはわせた光ファイバーの光透過率の変化によって指の曲げを検出したり、内蔵された磁気センサによって手の3次元位置を検出したりする。
【0003】
これらの器具の応用として、ジェスチャコマンドなどの手の動作や指先で空間に書いた文字の認識により、情報の入力を制御したりすることが考えられる。これらの装置で、手で表現した情報を次々に入力するためには、何らかの方法で前の情報と次の情報を切り分ける必要がある。即ち、空間に書いた文字と文字、あるいは、文字を構成するストローク間で切り分けを行う必要がある。
【0004】
こうしたストローク検出は、文字ストロークでない部分の手の動きが人によって異なることから生じる認識率の低下を防ぐためにも非常に重要であり、これまでもいくつかの発明が報告されている。特開平08−211979号「手振り入力装置及び方法」に記載された発明では、「手形状または位置が設定値と一致した時に、検出結果を入力するモードと入力を禁止する入力禁止モードとを切り替えて実行させることにより、手の軌跡をストロークとして入力する」という方法が提案されている。しかしながら、この方法では、入力対象とは異なる手を決められた形状にしたり、決められた位置に移動させたりしなければならず、快適に利用できるとは言いがたい。
【0005】
これに対して、特開平10−154036号「文字入力方法及び文字入力装置」に記載された発明では、「入力対象となる点の画像上の2次元的な位置が所定の範囲内である場合に、入力が停止したとして、そのストロークを選択するかどうかを利用者に判断させ、選択された場合に、ストロークとして入力する」という方法が提案されている。この方法では、ストロークの停止を判断することが実現されているが、ここで利用される位置は画像上の2次元的な位置であり、3次元的な位置の変化ではない。そのため、実際には3次元的には動いていても、画像上での動きがない場合などに、誤検出する可能性がある。また、これらのストロークの切り分けができたとしても、どのストロークが有効であるかを判断することは実現できていない。
【0006】
また、ストロークの切り分けが有効に行われたとしても、そのストロークの認識には大きな課題がある。空間に描かれた文字は3次元的な広がりを有しており、文字などの情報は2次元的な分布であるため、これらを認識処理するためには、適切な投影をすることが必要となる。特開平10−187341号「画像認識装置」に記載された発明では、「文字・記号などの画像をあらかじめ2次元画像データとして記憶しておき、入力された3次元軌跡を2次元の画像データに変換して照合する」という方法が提案されている。しかしながら、この方法では、3次元から2次元に投影される可能性のある数多くの面に対して投影した画像データを、あらかじめ用意しておく必要があり、十分な認識精度を実現することは難しい。
【0007】
【発明が解決しようとしている課題】
このように、上記従来例においては、3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことが難しいという問題点があった。また、その3次元軌跡に対応したストロークがどのような情報であるかを認識することは、従来の2次元の枠組みでは非常に難しいという問題点があった。
【0008】
本発明は、上記従来例の問題点を解決するためになされたものであり、利用者の動きの3次元的な軌跡に対応した、高い入力効率を備えた、情報入力方法及び装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するために、対象点の動作により空間に筆記した情報の入力を制御する情報入力装置であって、画像入力装置から入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手段と、該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手段と、該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手段と、該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手段と、該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を認識する認識処理手段と、を備えることを特徴とする情報入力装置を目的達成の手段とする。
【0010】
あるいは、上記情報入力装置において、前記入力区間検出手段が、前記3次元軌跡算出手段にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出するものであることを特徴とする情報入力装置を目的達成の手段とする。
【0011】
あるいは、上記情報入力装置において、前記投影面算出手段が、前記入力区間検出手段にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出するものであることを特徴とする情報入力装置を目的達成の手段とする。
【0012】
あるいは、上記情報入力装置において、前記入力制御手段が、前記投影面算出手段にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除するものであることを特徴とすることを特徴とする情報入力装置を目的達成の手段とする。
【0013】
あるいは、対象点の動作により空間に筆記した情報の入力を制御するための情報入力方法であって、画像入力装置から入力の対象となる対象点の空間での動きを撮像した画像を入力する画像入力手順と、該入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手順と、該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手順と、該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手順と、該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手順と、該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を辞書と照合して認識する認識処理手順と、を備えることを特徴とする情報入力方法を目的達成の手段とする。
【0014】
あるいは、上記情報入力方法において、前記入力区間検出手順では、前記3次元軌跡算出手順にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出することを特徴とする情報入力方法を目的達成の手段とする。
【0015】
あるいは、上記情報入力方法において、前記投影面算出手順では、前記入力区間検出手順にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出することを特徴とする情報入力方法を目的達成の手段とする。
【0016】
あるいは、上記情報入力方法において、前記入力制御手順では、前記投影面算出手順にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除することを特徴とすることを特徴とする情報入力方法を目的達成の手段とする。
【0017】
あるいは、上記情報入力方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする情報入力プログラムを目的達成の手段とする。
【0018】
あるいは、上記情報入力方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする情報入力プログラムを記録した記録媒体を目的達成の手段とする。
【0019】
本発明では、利用者の動きによる対象点の3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことにより、高い入力効率を備えた情報入力方法及び装置を提供する。また、その3次元軌跡に対応したストロークを効率良く認識できるようにすることで、入力情報の認識効率を大幅に向上させる。
【0020】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【0021】
図1は、本発明の一実施形態例による情報入力装置の機能ブロック図である。図1に示すように、この情報入力装置2は、画像入力装置1から人力された対象点の空間での動きを撮像した画像から、対象点の3次元軌跡を算出する3次元軌跡算出手段21、算出された3次元軌跡から、入力開始、あるいは、入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手段22、検出された入力区間における3次元軌跡群から、3次元軌跡群の構成点を投影する平面(投影面)を算出する投影面算出手段23、算出された投影面と3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手段24、及び、選択された構成点を投影面に投影した形状から、辞書3を用いて該入力された情報の意味を認識する認識処理手段25から構成されている。
【0022】
この画像入力装置1は、CCDカメラなどを利用するとしてよい。これはCCDを撮像素子として用いたカメラであり、利用者の動作が撮影される構図として含まれる領域を撮像する。こうして撮像された画像に対して詳細を後述する処理を行った後に入力された情報が認識され、その入力がなされることになる。
【0023】
図2、及び図3は、本発明の一実施形態例による情報入力方法を示すフローチャートである。以下、この流れにしたがって詳細に説明する。
【0024】
まず、CCDカメラなどの画像入力装置1において利用者の動作が撮影される。こうして撮影された画像に対して情報入力処理を行う。この処理では、撮像された入力の対象となる利用者の動作が写った画像を3次元軌跡算出手段21に入力する。
【0025】
次に、3次元軌跡算出手段21は、この画像に対して画像処理を行い、入力の対象となる対象点を抽出する。続いて、この対象点の3次元位置Pi(Xi,Yi,Zi)を算出する。これらの対象点の3次元軌跡を算出する方法については、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略するが、例えば、特願2002−023309「3次元情報入力システム、及びその3次元情報算出方法と装置」に記載の発明などが利用できる。この発明は、対象物から発せられた光とそのミラーからの反射光とを入力し、それらの強度分布から、対象物の3次元位置情報を算出するものである。
【0026】
次に、入力区間検出手段22において、このPi及びひとつ前の3次元位置Pi−1に対して、ストロークを構成する3次元ベクトルVi=(Xi−Xi−1,Yi−Yi−1,Zi−Zi−1)を算出する。このViの大きさ、あるいは向きの変化があらかじめ指定された条件を満たすかどうかを判断する。この条件は、3次元的な動きが急に変化した、あるいは、動きがおさまったなどを調べるものであり、Viの大きさ、及びViとVi−1の間の角度で決められる。この条件を満たす場合に、すでに入力開始状態かどうかが判断され、入力開始状態でない場合には、入力開始Tsが決定され、対象となったPiを格納し、次の画像の入力に移る。また、すでに入力開始状態である場合には、入力終了Teが決定され、入力開始Tsから入力終了Teまでを入力区間として検出する。また、条件を満たさなかった場合、同様に、すでに入力開始状態かどうかが判断され、すでに入力開始状態である場合には、対象となったPiを格納し、次の画像の入力に移る。入力開始状態でない場合には、そのまま、次の画像の入力に移る。
【0027】
続いて、図3に示すように、入力区間検出手段22において入力区間が検出されると、Ts〜Teに含まれるPi(i=Ts,…,Te)を投影面算出手段23に入力する。投影面算出手段23においては、このPiをXY,YZ,ZX平面に投影して、それぞれの近似直線を算出する。この近似直線は、一般に利用されている最小2乗近似などで算出するとしてもよい。この近似直線に対して最も分散している平面を決定し、基準面とする。こうして、この基準面以外の2平面に対する近似直線で構成される投影面を算出する。
【0028】
こうして、投影面算出手段23において算出された投影面に対して、入力制御手段24では、Piとの距離を算出する。この距離があらかじめ指定された閾値より大きいかどうかを判断する。この閾値は、あらかじめ決めておくとしてもよいし、Piの分散度合いから動的に決定するとしてもよい。このとき、その距離が閾値より大きい場合に、構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、このPiを処理対象から削除する。これらの処理をすべてのPiに対して行う。
【0029】
最後に、入力制御手段24により処理対象として残ったPiで構成されるストロークを表す3次元ベクトルに対して、認識処理手段25は、その3次元位置を投影面に投影し、2次元的な形状にする。この形状をあらかじめ格納しておいた辞書3と照合することにより、入力された情報の意味を認識し、入力情報とする。この認識処理手段25での認識処理は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。その多くは、すでに商品として販売されており、例えば、NTTアイティ株式会社で扱っているCyber FAX(登録商標)などがある。
【0030】
続いて、以下では、これまで説明してきた情報入力装置1において、情報を入力する際の具体的な手順を説明する。利用者がある文字を入力したいとして、その文字に倣って、その指を空間で動かした場合を例に採り、説明を行う。
【0031】
図4は、情報を入力している利用者の指の動きの様子を示す、ある瞬間の画像である。こうした画像が時系列で入力され、情報入力処理が行われる。このとき、図5に示すような、一連の3次元位置に、ある対象点が動いていたとする。
【0032】
ここで、図6の601で示されるストロークを構成する3次元ベクトルの向きが急激に変化したとして、この時点で入力開始Tsが決定される。続いて、図6の602で示されるストロークを構成する3次元ベクトルの大きさがある基準より小さいとして、この時点で入力終了Teが決定される。このTs〜Te間が情報の入力区間として検出され、このときのTs〜Te間のPiが格納される。
【0033】
続いて、このPiを入力し、XY,ZX,YZ平面に投影して、それぞれの近似直線を算出する。図7の701,702,703に、それぞれの面に投影した状態を示す。このとき、XY平面が最も分散しているとして、基準面として決定する。このとき、ZX,YZ平面に対する近似直線は、図8の803、及び804で示される直線となる。この直線で構成される投影面を算出する。
【0034】
次に、この算出された投影面に対して、各Piまでの距離を算出する。ここでは、図9の○で示すPiまでの距離が閾値より大きいとして、これらで構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、処理対象から削除する。
【0035】
最後に、これらを投影面に投影すると、図10に示すような形状ができる。この形状をあらかじめ格納しておいた辞書3と照合することにより、ここでは、「い」の文字と認識され、この「い」が入力される。図6に示すような状態では、通常、これを「い」という文字として認識することは非常に難しく、本発明により入力情報の認識効率を大幅に向上させることが確認できる。これらの入力を繰り返すことにより、所望する情報を入力することができることになる。
【0036】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施形態例に限定されるものではなく、幅広く応用することができる。各種の情報入力を実現するための入力情報の入力形態及び入力動作は、これまでの説明の内容に限定されるものではなく、本発明としての要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、実施形態例では、文字認識に使用したが、これを座標列のまま格納するようにしてもよいし、直線や曲線に当てはめ、図形の入力に用いてもよい。さらに、手の動きの入力手段として、実施形態例ではCCDカメラを使用したが、前述したデータグローブ(登録商標)などの接触型のセンサを用いることもできる。
【0037】
なお、図1で示した処理の各部の一部もしくは全部の処理機能を、コンピュータ等の演算処理手段や制御手段を用いて実現できること、あるいは、図2、及び図3で示した処理手順をコンピュータ等に実行させることができることは言うまでもなく、コンピュータ等でその各部の処理機能を実現するためのプログラム、あるいは、コンピュータ等にその処理手順を実行させるためのプログラムを、そのコンピュータ等が読み取り可能な記録媒体、例えば、FD(フロッピーディスク:登録商標)や、MO,ROM、メモリカード、CD,DVD、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、該プログラムを提供したりすることが可能である。このようにして記録媒体や通信ネットワークにより提供されたプログラムを、コンピュータ等の演算処理手段や制御手段にインストールすることで、本発明が実施可能となる。
【0038】
【発明の効果】
以上説明したように、本発明によれば、3次元軌跡に対応したストロークの切り分け、及びそのストロークが有効であるかどうかの判断を適切に行うことができ、高い入力効率を備えた装置や方法を提供することができる。また、その3次元軌跡に対応したストロークを効率良く認識することができるので、入力情報の認識効率を大幅に向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態例による情報入力装置の機能ブロック図である。
【図2】本発明の一実施形態例による情報入力方法を示すフローチャートである。
【図3】本発明の一実施形態例による情報入力方法を示すフローチャートである。
【図4】情報を入力している利用者の指の動きの様子を示す、ある瞬間の画像を示す図である。
【図5】一連の3次元位置に、ある対象点が動いている様子を示す図である。
【図6】情報の入力開始Tsと入力終了Teの決定を説明する図である。
【図7】(a),(b),(c)は、対象点をXY,ZX,YZ平面に投影した状態を示す図である。
【図8】(a),(b)は、基準面として決定したZX,YZ平面に対する近似直線の算出例を示す図である。
【図9】投影面から書く対象点までの距離により、ストロークが有効なものか否か判断し、有効でないストロークを処理対象から削除する例を説明する図である。
【図10】処理対象として残った構成点を投影面に投影した例を示す図である。
【符号の説明】
1…画像入力装置
2…情報入力装置
21…3次元軌跡算出手段
22…入力区間検出手段
23…投影面算出手段
24…入力制御手段
25…認識処理手段
3…辞書
Claims (10)
- 対象点の動作により空間に筆記した情報の入力を制御する情報入力装置であって、
画像入力装置から入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手段と、
該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手段と、
該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手段と、
該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手段と、
該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を認識する認識処理手段と、を備える
ことを特徴とする情報入力装置。 - 前記入力区間検出手段が、
前記3次元軌跡算出手段にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出するものである
ことを特徴とする請求項1に記載の情報入力装置。 - 前記投影面算出手段が、
前記入力区間検出手段にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出するものである
ことを特徴とする請求項1または2に記載の情報入力装置。 - 前記入力制御手段が、
前記投影面算出手段にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除するものである
ことを特徴とすることを特徴とする請求項1ないし3のいずれかに記載の情報入力装置。 - 対象点の動作により空間に筆記した情報の入力を制御するための情報入力方法であって、
画像入力装置から入力の対象となる対象点の空間での動きを撮像した画像を入力する画像入力手順と、
該入力された対象点の空間での動きを撮像した画像から、該対象点の3次元軌跡を算出する3次元軌跡算出手順と、
該算出された3次元軌跡から、人力開始あるいは入力終了を判断して、該入力開始から入力終了までを情報の入力区間として検出する入力区間検出手順と、
該検出された入力区間における3次元軌跡群から、該3次元軌跡群の構成点を投影する投影面を算出する投影面算出手順と、
該算出された投影面と該3次元軌跡群の構成点との距離から、投影する構成点を選択する入力制御手順と、
該選択された構成点を前記投影面に投影した形状から、該入力された情報の意味を辞書と照合して認識する認識処理手順と、を備える
ことを特徴とする情報入力方法。 - 前記入力区間検出手順では、
前記3次元軌跡算出手順にて算出された対象点の3次元軌跡から、各ストロークを構成する3次元ベクトルを算出し、
該ベクトルの大きさ、あるいは向きの変化があらかじめ指定された条件を満たす場合に、情報の入力開始、あるいは、入力終了の状態であると判断して、該入力開始から入力終了までを情報の入力区間として検出する
ことを特徴とする請求項5に記載の情報入力方法。 - 前記投影面算出手順では、
前記入力区間検出手順にて検出された入力区間に含まれる3次元軌跡群を入力し、3次元の各平面であるXY,YZ,ZX平面に対して各構成点の近似直線を算出し、
該近似直線に対して最も分散している平面を基準面として、基準面以外の2平面に対する近似直線の傾きから投影面を算出する
ことを特徴とする請求項5または6に記載の情報入力方法。 - 前記入力制御手順では、
前記投影面算出手順にて算出された投影面と該3次元軌跡群の構成点との距離を算出し、
該距離があらかじめ指定された条件を満たす場合に、該構成点で構成されるストロークが有効なものではなく、次のストロークを開始させる位置へ移動するためのものであると判断し、該ストロークを処理対象から削除する
ことを特徴とすることを特徴とする請求項5ないし7のいずれかに記載の情報入力方法。 - 請求項5ないし8のいずれかに記載の情報入力方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする情報入力プログラム。 - 請求項5ないし8のいずれかに記載の情報入力方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする情報入力プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002229592A JP2004070688A (ja) | 2002-08-07 | 2002-08-07 | 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002229592A JP2004070688A (ja) | 2002-08-07 | 2002-08-07 | 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004070688A true JP2004070688A (ja) | 2004-03-04 |
Family
ID=32015917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002229592A Pending JP2004070688A (ja) | 2002-08-07 | 2002-08-07 | 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004070688A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053909A (ja) * | 2004-08-10 | 2006-02-23 | Mitsubishi Electric Research Laboratories Inc | 入力テキストを生成する方法および装置 |
JP2007058815A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 |
JP2007524150A (ja) * | 2003-09-26 | 2007-08-23 | オステックス・インコーポレーテッド | 空間的筆記読み取り装置 |
US8254731B2 (en) | 2003-09-26 | 2012-08-28 | Khomo Malome T | Spatial character recognition technique and chirographic text character reader |
JP2013037499A (ja) * | 2011-08-05 | 2013-02-21 | Toshiba Corp | ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム |
JP2015038747A (ja) * | 2009-08-28 | 2015-02-26 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
JP2020024640A (ja) * | 2018-08-08 | 2020-02-13 | シャープ株式会社 | 書物電子化装置および書物電子化方法 |
-
2002
- 2002-08-07 JP JP2002229592A patent/JP2004070688A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007524150A (ja) * | 2003-09-26 | 2007-08-23 | オステックス・インコーポレーテッド | 空間的筆記読み取り装置 |
US8254731B2 (en) | 2003-09-26 | 2012-08-28 | Khomo Malome T | Spatial character recognition technique and chirographic text character reader |
JP2006053909A (ja) * | 2004-08-10 | 2006-02-23 | Mitsubishi Electric Research Laboratories Inc | 入力テキストを生成する方法および装置 |
JP2007058815A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 |
JP4675718B2 (ja) * | 2005-08-26 | 2011-04-27 | シャープ株式会社 | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 |
JP2015038747A (ja) * | 2009-08-28 | 2015-02-26 | ロベルト ボッシュ ゲーエムベーハー | 自動車用のジェスチャーに基づいた情報およびコマンドの入力 |
JP2013037499A (ja) * | 2011-08-05 | 2013-02-21 | Toshiba Corp | ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム |
JP2020024640A (ja) * | 2018-08-08 | 2020-02-13 | シャープ株式会社 | 書物電子化装置および書物電子化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Real-time hand-tracking with a color glove | |
Oka et al. | Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems | |
Segen et al. | Shadow gestures: 3D hand pose estimation using a single camera | |
US6624833B1 (en) | Gesture-based input interface system with shadow detection | |
KR101761050B1 (ko) | 인간-컴퓨터 자연스러운 3차원 손 제스처 기반 내비게이션 방법 | |
KR101956325B1 (ko) | 손가락 인식 및 트래킹 시스템 | |
Chu et al. | Hand gesture for taking self portrait | |
US20110279663A1 (en) | Real-time embedded vision-based human hand detection | |
MacLean et al. | Fast hand gesture recognition for real-time teleconferencing applications | |
Abe et al. | Virtual 3-D interface system via hand motion recognition from two cameras | |
Agrawal et al. | Real time hand gesture recognition for human computer interaction | |
JP6711817B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
KR20100047990A (ko) | 3차원 가상물체와 인터랙션이 가능한 모바일 증강현실 시스템 및 방법 | |
CN109271023B (zh) | 一种基于三维对象外形轮廓徒手手势动作表达的选择方法 | |
JP2014238727A (ja) | 情報処理装置およびその方法 | |
JP2015184054A (ja) | 同定装置、方法及びプログラム | |
JP2004070688A (ja) | 情報入力装置、方法、プログラム、及びそのプログラムを記録した記録媒体 | |
JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2010152557A (ja) | 画像処理装置および画像処理方法 | |
JP2007241833A (ja) | 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体 | |
Lee et al. | Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality | |
JP5904730B2 (ja) | 動作認識装置および動作認識方法 | |
JP5558899B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
Liu et al. | A robust hand tracking for gesture-based interaction of wearable computers | |
CN113778233B (zh) | 一种操控显示设备的方法、装置及可读介质 |