JP2004094653A - 情報入力システム - Google Patents
情報入力システム Download PDFInfo
- Publication number
- JP2004094653A JP2004094653A JP2002255676A JP2002255676A JP2004094653A JP 2004094653 A JP2004094653 A JP 2004094653A JP 2002255676 A JP2002255676 A JP 2002255676A JP 2002255676 A JP2002255676 A JP 2002255676A JP 2004094653 A JP2004094653 A JP 2004094653A
- Authority
- JP
- Japan
- Prior art keywords
- contact
- target
- unit
- operation target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【課題】直感的で分かりやすい入力方法を実現することができる情報入力システムを提供する。
【解決手段】操作者の指先ＯＦ及び入力平面１７を含む所定領域の画像を撮影画像として取得するカメラ１１と、撮影画像に含まれる指先ＯＦ及び入力平面１７を特定することにより、指先ＯＦと入力平面とが接触しているか否かを判定する接触判定部１５４と、接触判定部１５４が指先ＯＦと入力平面１７とが接触状態にあると判断した場合、入力平面１７に対する指先ＯＦの相対的な位置を検出する指先位置検出部１５２とを備える。
【選択図】 図２
【解決手段】操作者の指先ＯＦ及び入力平面１７を含む所定領域の画像を撮影画像として取得するカメラ１１と、撮影画像に含まれる指先ＯＦ及び入力平面１７を特定することにより、指先ＯＦと入力平面とが接触しているか否かを判定する接触判定部１５４と、接触判定部１５４が指先ＯＦと入力平面１７とが接触状態にあると判断した場合、入力平面１７に対する指先ＯＦの相対的な位置を検出する指先位置検出部１５２とを備える。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ等の装置に対して情報を入力する情報入力システムに関する。
【０００２】
【従来の技術】
近年、小型で軽量なノートＰＣや、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の出現によりコンピュータを携帯することが可能となった。さらに、アクセサリーのように人体に身につけることを目的としたウェアラブルコンピュータも開発されており、近い将来、人々がコンピュータを身につけて生活することが予想される。そのとき必要となるのが、ウェアラブルコンピュータに対する入力インタフェースである。
【０００３】
ウェアラブルコンピュータに対して、手書きメモや日記などを入力することができるアプリケーションを実現するためには、文字だけでなく絵や手書き文字などの任意のコンテンツが入力可能なシステムの実現が望まれている。このような任意のコンテンツが入力可能なシステムとして、空気ペンシステムや空中での手書き入力システムなどが研究されている。
【０００４】
空気ペンシステムは、ヘッドマウントディスプレイ（ＨＭＤ）を着用し、ペンデバイスを把持したユーザが、ペンデバイスを空中で動かすことにより、その場所に仮想の手書きメモを描画するシステムである。
【０００５】
また、空中での手書き文字入力システムは、装着型ビデオカメラ及びＨＭＤを着用したユーザが、空中で指先を動かして任意の文字を書く動作を行うと、その指先の軌跡を検出しＨＭＤ上に表示するシステムである。ユーザはビデオカメラの画像フレームに収まるように、空中で人差し指を動かして１つの文字を描く動作を行い、文字を書き終わった時点で手を画像フレームの外に出すことにより文字などの情報を入力していく。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記ペンデバイスは、ジャイロセンサ、加速度センサなどを用いたジャイロマウスの機構を利用しているため、手首のひねりを使った独特の書き方をする必要があり、初心者には扱いづらく、入力が困難であるという問題がある。また、空中で描画するため、仮想平面の空間的位置がわかりづらいとともに、入力の開始及び終了の操作をペンデバイスに配設されたボタンをクリックすることにより行わなければならず、直感的に操作することが困難であるという問題がある。
【０００７】
また、上記空中での手書き文字入力システムは、ビデオカメラの画像フレーム内に指が存在している間は、書き始めや書き終わりが検出できず、文字入力が特殊で一筆書きになってしまう。また、文字を書く毎にビデオカメラの画像フレーム外に指を出さなければならないため、非常に不自然な入力方式になっており、上記ペンデバイス同様直感的に操作することが困難であるという問題を有している。
【０００８】
本発明は上記課題を解決するためになされたものであり、直感的で分かりやすい入力方法を実現することができる情報入力システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の情報入力システムは、操作者によって入力された情報を入力情報として受け付ける情報入力システムであって、操作対象物及びその操作対象物に接触される被接触対象物を含む所定領域の画像を撮影画像として取得する撮影手段と、前記撮影画像から前記操作対象物及び前記被接触対象物を特定することにより、前記操作対象物と被接触対象物とが接触しているか否かを判定する接触判定手段と、前記接触判定手段が、前記操作対象物と前記被接触対象物とが接触状態にあると判定した場合、前記被接触対象物に対する前記操作対象物の相対的な位置を検出する検出手段と、前記被接触対象物に対する前記操作対象物の相対的な位置検出を繰り返すことにより、前記被接触対象物上での前記操作対象物の軌跡を前記入力情報として受け付ける受付手段とを備えることを特徴とする。
【００１０】
この構成によれば、接触判定手段により、ノートや厚紙などの被接触対象物に対して、指先や操作者が把持するペンなどの被接触対象物が接触状態にあるか否かの判定が行われ、接触状態にある場合、検出手段により、被接触対象物に対する操作対象物の相対的な位置が検出される。そして、受付手段により、被接触対象物に対する操作対象物の相対的な位置が繰り返し検出されることにより、操作対象物が被接触対象物上を接触状態で移動したときの軌跡が入力情報として受け付けられる。
【００１１】
すなわち、操作者は、被接触対象物上を操作対象物でなぞるという動作を行うだけで、その操作対象物の軌跡が入力情報として受け付けられるため、直感的な入力動作を行うことができ、手書きによる文字及び画像などを入力する際の操作性を大幅に向上することができる。また、被接触対象物に対して操作対象物が接触状態にある場合のみ、操作対象物の軌跡が入力された情報として受け付けられるため、従来の空中での手書き文字入力システムのように、文字を書き終える毎に指をビデオカメラの画像フレーム外に出す必要も無く、また、受け付けられた情報が一筆書きにもならず、より自然な入力方式を実現することができる。
【００１２】
また、前記撮影手段は、前記撮影画像として赤外線を用い、赤外線画像を取得する赤外線画像取得手段を含み、前記接触判定手段は、前記赤外線画像に対して微分処理を施して画素毎の微分値を算出して微分値ヒストグラムを作成し、作成した微分値ヒストグラムの分散値を基に、前記操作対象物が前記被接触対象物に接触しているか否かを判定することが好ましい。
【００１３】
この場合、撮影手段は、赤外線を用いて撮影画像を取得するため、撮影画像に含まれる指先付近の輝度は、操作対象物と被接触対象物との距離に応じて、変化することとなる。そのため、撮影した画像から指先を含む画像を抽出し、各画素における微分値を算出して微分値ヒストグラムを作成すると、指先が対象物に近づくにつれて、作成した微分値ヒストグラムの分散値が大きくなるという結果が得られる。そのため、微分値ヒストグラムの分散値から、被接触対象物が操作対象物に接触しているか否かを判定することができる。その結果、操作対象物及び被接触対象物の３次元的な位置関係を実際に測定することなく、画像処理により操作対象物と被接触対象物との接触及び被接触を判定することができ、装置を簡素化することができる。
【００１４】
また、前記接触判定手段は、予め記憶された閾値と前記微分値ヒストグラムの分散値とを比較することにより前記操作対象物と前記被接触対象物とが接触しているか否かを判定することが好ましい。
【００１５】
この場合、実験などにより算出された値を閾値として予め記憶させておき、算出した分散値をこの閾値と比較することにより、接触及び被接触を判定するため、処理時間が短縮化される。
【００１６】
また、前記接触判定手段は、前記操作対象物に前記被接触対象物を接触させた状態で、前記撮影手段及び前記被対象物間の距離を変化させたときのその距離に対応する前記微分値ヒストグラムの分散値と前記検出領域の平均輝度値との関係から所定の関数を求め、この所定の関数に基づいて、動的に閾値を設定することが好ましい。
【００１７】
この場合、撮影した画像に関して、距離に応じて作成した微分値ヒストグラムの分散値とその分散値に対応する平均輝度値とをプロットし、平均輝度値が最小となるような点を抽出して、微分値ヒストグラムの分散値と、その分散値に対応する平均輝度値との関係を示す関数を求める。そして、この関数に撮影画像の平均輝度値を入力して、その平均輝度値に対応する分散値を閾値として設定する。これにより、撮影手段と被接触対象物との距離に応じて適正な閾値が動的に設定されるため、撮影手段と被接触対象物との間の距離が変動しても、操作対象物と被接触対象物との接触及び非接触をより正確に判定することができる。
【００１８】
また、前記検出手段は、前記被接触対象物の形状を固定された領域に変換するための所定の関数を用いて、前記被接触対象物に対する前記操作対象物の相対的な座標を変換し、その値を記憶部に記憶することが好ましい。
【００１９】
この場合、被接触対象物の形状を、固定された所定領域に変換するための所定の関数に基づいて、操作対象物の被接触対象物に対する相対的位置を変換するため、撮影画像に含まれる被接触対象物の形状が変化しても、操作対象物の相対的位置を正確に記憶することができる。
【００２０】
また、前記受付手段が受け付けた情報を表示する表示手段をさらに備え、前記撮影手段は、前記表示手段と一体的に構成することが好ましい。
【００２１】
この場合、撮影手段及び表示手段を一体的に構成するため、機器の構成がコンパクトになり、撮像手段及び表示手段を操作者の頭部などに装着することが容易とり、ウェアラブル環境下での操作性を大幅に向上させることができる。
【００２２】
また、前記操作対象物は操作者の指であり、前記被接触対象物は平板状の部材であることが好ましい。
【００２３】
この場合、部材の上を移動する指の軌跡が入力情報として取得されるため、直感的な入力が可能となる。また、ペンデバイスなどの特殊な装置も不要となり、操作者は、より気軽に入力することができる。
【００２４】
また、前記撮影手段は、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第１の撮影画像として取得する第１の撮影手段と、前記第１の撮影手段と異なる位置に配設され、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第２の撮影画像として取得する第２の撮影手段とを備え、前記接触判定手段は、前記第１及び第２の撮影画像を用いて、三角測距の原理により前記操作対象物と前記被接触対象物とが接触しているか否かを判定してもよい。
【００２５】
この場合、三角測距の原理により操作対象物と被接触対象物との空間的位置が測定され、その位置に基づいて操作対象物に対して被接触対象物が接触しているか否かの判定が行われるため、接触及び非接触の判定を正確に行うことができる。
【００２６】
【発明の実施の形態】
以下、本発明に係る情報入力システムの一実施形態を図面を参照しつつ説明する。図１は、本実施形態に係る情報入力システムの構成を示した模式図である。本情報入力システムは、操作者の例えば頭部に装着される装着部１０と、操作者の例えば腰の部分にベルトなどで装着されるコンピュータ本体部２０とを備えている。
【００２７】
装着部１０は、ＣＣＤ撮影素子を具備し、赤外発光ダイオード１３が発光した光のうち撮影対象物から反射された光を受光することにより撮影画像を取得するカメラ１１と、液晶表示素子により構成され、カメラ１１の下側に配設され、操作者の眼の上側に装着されるヘッドマウントディスプレイ（ＨＭＤ）１２と、所定波長の赤外線を発光する赤外発光ダイオード１３と備えている。
【００２８】
カメラ１１は、操作者の頭部に装着可能な小型サイズのビデオカメラ、例えばｓｏｎｙ製の白黒ＣＣＤカメラ（ＸＣ−Ｅ５１０）であり、ＩＲ７６などの赤外線透過フィルタが取り付けられている。また、カメラ１１は、撮影画像として、解像度が例えば３２０×２４０ビットの白黒画像を取得する。赤外発光ダイオード１３は、所定数、例えば２４個の赤外発光ダイオードを含み、カメラ１１のレンズの外周に沿うように配列されている。
【００２９】
カメラ１１とコンピュータ本体部２０とは、ビデオケーブルなどで接続され、カメラ１１によって取得された撮影画像は、ビデオケーブルを介してコンピュータ本体部２０に送信される。なお、カメラ１１とコンピュータ本体部２０との間をビデオケーブルに代えて、無線信号により通信可能に接続し、カメラ１１が取得した撮影画像を無線信号に変換してコンピュータ本体部２０に送信してもよい。
【００３０】
また、ＨＭＤ１２は、コンピュータ本体部２０とディスプレイケーブルにより接続されているが、カメラ１１と同様に、無線信号により通信可能に接続してもよい。
【００３１】
赤外発光ダイオード１３を発光させてカメラ１１により撮影された画像は、コンピュータ本体部２０に入力されると、後述する所定の画像処理が施された後、ＨＭＤ１２に表示される。
【００３２】
入力平面（対象物）１７は、材質は問わないが、本実施形態では、発砲スチロールからなる平板の四角形状の部材の表面に、無地の画用紙を貼り付けたものを使用している。
【００３３】
図２は、本情報入力システムのブロック構成図を示している。
【００３４】
コンピュータ本体部２０は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）及びＲＡＭ（ランダムアクセスメモリ）などを具備する通常のコンピュータであり、機能的には、プログラム実行部１５と記憶部１６とを備えている。
【００３５】
記憶部１６は、主にＲＡＭから構成され、関数記憶部１６１と、指先位置記憶部１６２とを備えている。関数記憶部１６１は閾値設定部１５５が閾値を設定するために用いる関数を記憶する。指先位置記憶部１６２は、撮影画像から指先位置検出部１５２が検出した指先ＯＦの座標に対して、変換部１５６が後述する式（１）に基づいて、変換したときの座標を記憶する。
【００３６】
プログラム実行部１５は、輪郭検出部１５１、指先位置検出部１５２、ヒストグラム作成部１５３、接触判定部１５４、閾値設定部１５５及び変換部１５６を備える。
【００３７】
輪郭検出部１５１は、カメラ１１が撮影した画像に対してエッジ検出、２値化処理及びハフ（ｈｏｕｇｈ）変換によって入力平面１７の輪郭を表す直線を検出する。図３の（ａ）〜（ｄ）は、入力平面１７の輪郭を検出する過程を示す図であり、（ａ）はカメラ１１によって取得された撮影画像を示し、（ｂ）は（ａ）の撮影画像に対して細線化処理を施したものを示し、（ｃ）は（ｂ）の撮影画像に対してハフ変換を施したものを示し、（ｄ）は（ｃ）の撮影画像から入力平面１７の輪郭線を特定したものを示している。（ｃ）に示すように、細線化処理を施した撮影画像に対してハフ変換を施すと、入力平面１７の輪郭を表す各辺に対して複数の直線Ｌが検出される可能性がある。そこで、輪郭検出部１５１は、複数の直線Ｌのうち傾きと切片が近接している直線は同一の直線とみなして一本の直線に束ねることにより、入力平面１７を表す画像の４辺を決定する。そして、この４辺の直線の交点を入力平面１７の頂点として求め、その頂点の内側の領域を入力平面１７として特定する。この場合、３つの頂点が分かれば、入力平面１７を特定することができるため、輪郭検出部１５１は、必ずしも４つの頂点を求める必要はない。
【００３８】
なお、操作者が入力平面１７を片方の手で把持した状態で、もう片方の手を使って入力動作を行った場合、撮像画像には、入力平面１７を把持した手が表示されることとなるが、この場合、輪郭検出部１５１は、入力平面１７の輪郭に重なって表示された手の画像を除去する処理を行う。
【００３９】
指先位置検出部１５２は、輪郭検出部１５１が、入力画像に対してエッジ検出、２値化処理、細線化処理した画像（図３（ｂ））に表された入力平面１７の左上の頂点を始点として１ラインずつ横方向に順番に走査し、始めに検出したエッジ位置ＥＰを指先ＯＦの位置として検出する（図４参照）。なお、指先位置検出部１５２は、入力平面１７の右上、左下または右下のいずれかの頂点を始点として、横方向に１ラインずつ順番に走査することにより、指先ＯＦの位置を検出してもよい。または、入力平面１７の４つの頂点のうちいずれか１つの頂点を始点として、縦方向に１ラインずつ順番に走査することにより、指先ＯＦの位置を検出してもよい。
【００４０】
ヒストグラム作成部１５３は、図５に示すように、指先位置検出部１５２が検出した指先ＯＦの位置を中心としたｍ×ｍ（但し、ｍは入力平面１７の最も短い辺の長さよりも小さな値）ピクセルの領域を検出領域Ｒ１として設定し、設定した検出領域Ｒ１における微分値ヒストグラムを作成する。
【００４１】
接触判定部１５４は、ヒストグラム作成部１５３が作成したヒストグラムの分散値を算出し、算出した分散値を閾値設定部１５５が設定した閾値と比較することにより、入力平面１７と指先ＯＦとが接触しているか否かを判定する。赤外線反射光は、カメラから対象物までの距離に応じて輝度が変化するため、入力平面１７と指先ＯＦとの間の距離に応じて指先ＯＦ付近の画像の輝度が変化することとなる。図６（ａ）〜（ｃ）は、指先ＯＦを中心とするｍ×ｍピクセルの検出領域Ｒ１の微分値ヒストグラムの一例を示したグラフであり、縦軸は頻度を横軸は微分値を示している。（ａ）は入力平面１７と指先ＯＦとの距離が０ｃｍである場合、（ｂ）は入力平面１７と指先ＯＦとの距離が３ｃｍである場合、（ｃ）は入力平面１７と指先ＯＦとの距離が５ｃｍである場合を示している。図６の（ａ）〜（ｃ）から分かるように、入力平面１７と指先ＯＦとの間の距離が増大するにつれて、微分値ヒストグラムの形状は細長くなり、分散値は小さくなる特性を有している。一方、入力平面１７と指先ＯＦとの距離が短くなるにつれて、微分値ヒストグラムの形状は幅広くなり、分散値は大きくなる特性を有している。そのため、分散値に基づいて入力平面１７と指先ＯＦとの接触及び非接触の判定を行うことができる。
【００４２】
具体的には、接触判定部１５４は、作成した微分値ヒストグラムの分散値を閾値設定部１５５が設定した閾値と比較し、設定された閾値に対して分散値が大きい場合、入力平面１７と指先ＯＦとは接触状態にあると判定する。一方、設定された閾値に対して算出した分散値が小さい場合、入力平面１７と指先ＯＦとは非接触状態にあると判定する。
【００４３】
閾値設定部１５５は、カメラ１１と入力平面１７との距離に応じて適切な閾値を動的に設定する。具体的には、閾値設定部１５５は、以下のようにして閾値を設定する。図７は、閾値の設定を説明するためのグラフであり、入力平面１７に対して指先ＯＦを接触させた状態で、カメラ１１と入力平面１７との間の距離を変化させた場合の検出領域Ｒ１の平均輝度と微分値ヒストグラムの分散値との関係を示している。縦軸は微分値ヒストグラムの分散値を示し、横軸は検出領域Ｒ１の平均輝度を示している。図中の各点は、カメラ１１と入力平面１７との相対的な位置及び姿勢を変化させながら観測した分散値と輝度値との関係を表している。図７に示すように、輝度値の小さな領域（第１の領域）Ｘ１では、分散値はなだらかに増加しているが、輝度値の大きな領域（第２の領域）Ｘ２では、分散値は急激に増加していることが分かる。そこで、このグラフを第１及び第２の領域Ｘ１及びＸ２に分け、それぞれの領域において、各点を線形近似することにより直線の傾きを求め、各点の輝度値が最小になるように直線の切片の値を調節して直線を求める。そして、求めた直線のうち、第１の領域の直線を関数Ｌ１、第２の領域の直線を関数Ｌ２とする。関数Ｌ１及び関数Ｌ２の交点の平均輝度値を境界値Ｂとし、検出領域Ｒ１の平均輝度値が境界値Ｂよりも小さければ関数Ｌ１を用いて閾値を決定し、検出領域Ｒ１の平均輝度値が境界値Ｂよりも大きければ関数Ｌ２を用いて閾値を決定する。
【００４４】
すなわち、検出領域Ｒ１において、平均輝度値が境界値Ｂよりも小さければ、その輝度値を関数Ｌ１に代入し、その結果得られる分散値よりも算出した分散値が大きければ接触、小さければ非接触と判定する。なお、関数Ｌ１及びＬ２は後述する登録モードにおいて予め求められたものが、関数記憶部１６１に記憶されている。
【００４５】
変換部１５６は、入力平面１７における指先ＯＦの座標を、入力平面１７の４つの頂点の座標Ｐ００、Ｐ０１、Ｐ１０及びＰ１１が、入力平面１７の各辺の長さが１の正方形の頂点の位置になるように変換する式（１）に基づいて、指先ＯＦの座標Ｐ（ｕ、ｖ）から座標Ｕ（ｕ、ｖ）を算出し、指先位置記憶部１６３に記憶させる。
【００４６】
また、変換部１５６は、ＨＭＤ１２に指先ＯＦに軌跡を表示するときは、指先位置記憶部１６３に記憶された座標Ｕ（ｕ、ｖ）を読み出し、式（１）を用いて、座標Ｐ（ｕ、ｖ）を算出し、撮影画像に重畳し、その画像を表示する。
【００４７】
【数１】
【００４８】
カメラ１１が撮影した入力平面１７の形状は、カメラ１１と入力平面１７との３次元的な位置関係によって変動する。例えば、入力平面１７を正面から撮影した画像と斜めから撮影した画像とでは画像中での入力平面の４つの頂点の座標は異なることとなる。したがって、正確に指先ＯＦの座標を記憶するためには、入力平面１７及び指先ＯＦの空間的位置を推定し、透視投影変換を行う必要がある。しかし、本情報入力システムは、絵や文字などの手書きメモを入力するものであり、入力した軌跡の概形とその位置関係がわかればよいため、正確な投影画像よりも多少ずれていたとしても問題はない。そこで、変換部１５６は、撮像画像における指先ＯＦの座標Ｐ（ｕ、ｖ）を、式（１）を用いて逆変換を施すことにより、指先ＯＦの座標Ｕ（ｕ、ｖ）を算出し、指先位置記憶部１６２に記憶させる。
【００４９】
次に、本情報入力システムの動作について説明する。本情報入力システムは、閾値を決定するための関数を算出するための登録モードと、操作者からの入力動作を受け付ける入力モードとの２つのモードを備えている。図８は、本情報入力システムの動作を示すフローチャートであり、（ａ）は入力モードのフローチャートを示し、（ｂ）は登録モードのフローチャートを示している。
【００５０】
（登録モード）
まず、ステップＳ１において、輪郭検出部１５１により、撮影画像に対して、エッジ検出、２値化処理、細線化処理及びハフ変換が施され、入力平面１７の輪郭が検出される。この場合、輪郭を表す直線として複数の直線が検出された場合、輪郭検出部１５１は、傾き及び切片が近似する複数の輪郭線を束ね１本の輪郭線とする。ステップＳ１において、入力平面１７の輪郭を検出することができなかった場合（ステップＳ１でＮＯ）、再度、輪郭の検出を行う。一方、入力平面１７の輪郭を検出することができた場合（ステップＳ１でＹＥＳ）、ステップＳ２へ進む。
【００５１】
ステップＳ２において、指先位置検出部１５２は、輪郭検出部１５１がエッジ検出、２値化処理及び細線化処理を施した画像に対して、入力平面１７の左上の頂点から横方向に１ラインずつ順次走査していき、最初に検出したエッジの位置を指先ＯＦの位置とする。ステップＳ２において、指先ＯＦの位置を検出することができた場合（ステップＳ１でＹＥＳ）、ステップＳ３へ進み、指先ＯＦの位置を検出することができなかった場合（ステップＳ１でＮＯ）、ステップＳ１に戻る。
【００５２】
ステップＳ３において、閾値設定部１５５は、指先位置検出部１５２が検出した指先の位置を含むｍ×ｍピクセルの正方形領域を検出領域Ｒ１とし、操作者が指先ＯＦを入力平面１７に接触させた状態で、カメラ１１の位置を変化させたときの、検出領域Ｒ１の平均輝度値と微分値ヒストグラムの分散値との関係から閾値を決定するための関数Ｌ１及びＬ２を求め、関数記憶部１６１に記憶させる。ここで、検出領域Ｒ１の平均輝度値は、カメラ１１と入力平面１７との距離に対応しているため、この関数を用いて閾値を設定すれば、カメラ１１と入力平面１７との間の距離に応じた適切な閾値を設定することができる。
【００５３】
（入力モード）
まず、ステップＳ１１において、輪郭検出部１５１は、ステップＳ１と同様にして、入力平面１７の輪郭を検出する。ステップＳ１２において、ＨＭＤ１２は、カメラ１１が撮影した画像を表示する。ステップＳ１１において、入力平面１７の輪郭を検出することができなかった場合（ステップＳ１１でＮＯ）、再度、入力平面１７の輪郭の検出を行い、入力平面１７の輪郭を検出することができた場合、ステップＳ１２へ進む。
【００５４】
ステップＳ１２において、ＨＭＤ１２は、カメラ１１が取得した撮影画像を表示する。
【００５５】
ステップＳ１３において、指先位置検出部１５２は、ステップＳ２と同様にして、カメラ１１が取得した撮影画像から指先ＯＦの位置を検出する。ステップＳ１３において、指先位置検出部１５２が指先ＯＦの位置を検出することができなかった場合（ステップＳ１３でＮＯ）、ステップＳ１１に戻り、指先位置検出部１５２が指先ＯＦの位置を検出することができた場合（ステップＳ１３でＹＥＳ）、ステップＳ１４に進む。
【００５６】
ステップＳ１４において、ヒストグラム作成部１５３は、検出領域Ｒ１における微分値ヒストグラムを作成し、作成した微分値ヒストグラムの分散値を算出する。
【００５７】
ステップＳ１５において、接触判定部１５４は、検出領域Ｒ１の平均輝度値に対応する閾値を関数記憶部１６１に記憶されている関数を用いて特定し、特定した閾値をステップＳ１４で算出した分散値と比較することにより、入力平面１７に対して指先が接触状態にあるか否かを判定する。この場合、接触判定部１５４は、ステップＳ１４で算出した分散値が、設定した閾値よりも大きい場合、入力平面１７に対して、指先ＯＦは接触状態であると判定する。一方、接触判定部１５４は、ステップＳ１３で算出した分散値が、設定した閾値よりも小さい場合、入力平面１７に対して、指先ＯＦは非接触状態であると判定する。この場合、ステップＳ１３で検出された指先ＯＦの座標は、変換部１５６により変換され、指先位置記憶部１６２に記憶される。
【００５８】
ステップＳ１５において、指先ＯＦと入力平面１７とが接触状態にあると判定された場合（ステップＳ１５でＹＥＳ）、ステップＳ１６に進む。一方、指先ＯＦと入力平面１７とが非接触状態にあると判定された場合、（ステップＳ１５でＮＯ）、ステップＳ１１に戻る。
【００５９】
ステップＳ１６において、変換部１５６は、指先位置記憶部１６３に記憶されている指先ＯＦの座標Ｕ（ｕ、ｖ）を式（１）を用いて撮影画像の座標系に変換してＰ（ｕ、ｖ）を算出し、撮影画像に重畳させ、ＨＭＤ１２に表示させる。そして、ステップＳ１３に戻り、再度指先ＯＦの位置を検出する。
【００６０】
なお、本発明は、以下の態様を採ることができる。
【００６１】
（１）上記実施形態に係る情報入力システムでは、カメラ１１が取得した画像に対して画像処理を施すことにより、入力平面１７に対して指先ＯＦが接触しているか否かの判定を行ったが、これに限定されず、所定間隔を設けて配設された２台のカメラ（このカメラは赤外線カメラに限定されない）を備え、それぞれのカメラに入力平面１７を撮影させ、三角測距の原理により、指先ＯＦのそれぞれの３次元的な位置を測定し、その測定結果に基づいて、指先ＯＦの接触の有無の判定を行ってもよい。
【００６２】
（２）上記実施形態では、操作者は指先ＯＦを入力平面１７に接触状態で移動させたときの軌跡をＨＭＤ１２に表示していたが、操作者により把持された例えば鉛筆やボールペンなどの部材を入力平面１７に接触させて移動状態で移動させたときの軌跡をＨＭＤ１２に表示させてもよい。
【００６３】
（３）上記実施形態では、入力平面として四角形のものを用いたがこれに限定されず、円形などの他の形状を有するものを用いても良い。
【００６４】
（４）上記実施形態では、変換部１５６は、入力平面１７の４つの頂点Ｐ００〜Ｐ１１が、一辺の長さが１の正方形の頂点の座標となるような領域に、指先ＯＦの座標を変換したが、これに限定されず、正方形以外の形状、例えば長方形、円形などの領域に変換してもよい。
【００６５】
（５）上記実施形態では、閾値設定部１５５は、図７に示すように各点を線形近似することにより算出された２本の直線を関数Ｌ１及びＬ２とし、この関数Ｌ１及びＬ２に基づいて閾値の設定を行ったが、これに限定されず、図９に示すように曲線ＬＧによって表される関数を、閾値を設定するための関数としてもよい。
【００６６】
【発明の効果】
以上説明したように、本発明に係る情報入力システムによれば、操作者は、被接触対象物上を操作対象物でなぞるという動作を行うだけで、その操作対象物の軌跡が入力情報として受け付けられるため、手書きによる文字及び画像を入力する際の操作性を大幅に向上することができる。また、被接触対象物に対して操作対象物が接触状態にある場合のみ、操作対象物の軌跡が入力された情報として受け付けられるため、従来の空中での手書き文字入力システムのように、文字を書き終える毎に指をフレーム外に出す必要も無く、また、受け付けられた情報が一筆書きにもならず、より自然な入力方式を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る情報入力システムの外観構成を示した図である。
【図２】本情報入力システムのブロック構成図を示した図である。
【図３】入力平面の輪郭を検出する過程を示す図であり、（ａ）はカメラによって撮影された赤外線反射画像を示し、（ｂ）は（ａ）の画像に対して細線化処理を施した画像を示し、（ｃ）は（ｂ）の画像に対してハフ変換を施した画像を示し、（ｄ）は（ｃ）の入力平面の輪郭線を特定した画像である。
【図４】指先の位置を検出する様子を説明するための図である。
【図５】検出領域を示した図である。
【図６】指先を中心とするｍ×ｍピクセルの検出領域における微分値ヒストグラムの一例を示し、縦軸は輝度を横軸は微分値を示しており、（ａ）は入力平面と指先との距離が０ｃｍである場合、（ｂ）は入力平面と指先との距離が３ｃｍである場合、（ｃ）は入力平面と指先との距離が５ｃｍである場合を示している。
【図７】入力平面に対して指先を接触させた状態で、カメラと入力平面との間の距離を変化させた場合の検出領域の平均輝度と微分値ヒストグラムとの関係を示したグラフである。
【図８】本情報入力システムの動作を説明するためのフローチャートである。
【図９】閾値設定部が閾値を設定するための関数の他の形態を示したグラフである。
【符号の説明】
１０ 装着部
１１ カメラ
１２ ヘッドマウントディスプレイ
１３ 赤外発光ダイオード
１５ プログラム実行部
１６ 記憶部
１７ 入力平面
２０ コンピュータ本体部
１５１ 輪郭検出部
１５２ 指先位置検出部
１５３ ヒストグラム作成部
１５４ 接触判定部
１５５ 閾値設定部
１５６ 変換部
１６１ 関数記憶部
１６２ 指先位置記憶部
１６３ 指先位置記憶部
【発明の属する技術分野】
本発明は、コンピュータ等の装置に対して情報を入力する情報入力システムに関する。
【０００２】
【従来の技術】
近年、小型で軽量なノートＰＣや、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の出現によりコンピュータを携帯することが可能となった。さらに、アクセサリーのように人体に身につけることを目的としたウェアラブルコンピュータも開発されており、近い将来、人々がコンピュータを身につけて生活することが予想される。そのとき必要となるのが、ウェアラブルコンピュータに対する入力インタフェースである。
【０００３】
ウェアラブルコンピュータに対して、手書きメモや日記などを入力することができるアプリケーションを実現するためには、文字だけでなく絵や手書き文字などの任意のコンテンツが入力可能なシステムの実現が望まれている。このような任意のコンテンツが入力可能なシステムとして、空気ペンシステムや空中での手書き入力システムなどが研究されている。
【０００４】
空気ペンシステムは、ヘッドマウントディスプレイ（ＨＭＤ）を着用し、ペンデバイスを把持したユーザが、ペンデバイスを空中で動かすことにより、その場所に仮想の手書きメモを描画するシステムである。
【０００５】
また、空中での手書き文字入力システムは、装着型ビデオカメラ及びＨＭＤを着用したユーザが、空中で指先を動かして任意の文字を書く動作を行うと、その指先の軌跡を検出しＨＭＤ上に表示するシステムである。ユーザはビデオカメラの画像フレームに収まるように、空中で人差し指を動かして１つの文字を描く動作を行い、文字を書き終わった時点で手を画像フレームの外に出すことにより文字などの情報を入力していく。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記ペンデバイスは、ジャイロセンサ、加速度センサなどを用いたジャイロマウスの機構を利用しているため、手首のひねりを使った独特の書き方をする必要があり、初心者には扱いづらく、入力が困難であるという問題がある。また、空中で描画するため、仮想平面の空間的位置がわかりづらいとともに、入力の開始及び終了の操作をペンデバイスに配設されたボタンをクリックすることにより行わなければならず、直感的に操作することが困難であるという問題がある。
【０００７】
また、上記空中での手書き文字入力システムは、ビデオカメラの画像フレーム内に指が存在している間は、書き始めや書き終わりが検出できず、文字入力が特殊で一筆書きになってしまう。また、文字を書く毎にビデオカメラの画像フレーム外に指を出さなければならないため、非常に不自然な入力方式になっており、上記ペンデバイス同様直感的に操作することが困難であるという問題を有している。
【０００８】
本発明は上記課題を解決するためになされたものであり、直感的で分かりやすい入力方法を実現することができる情報入力システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために請求項１記載の情報入力システムは、操作者によって入力された情報を入力情報として受け付ける情報入力システムであって、操作対象物及びその操作対象物に接触される被接触対象物を含む所定領域の画像を撮影画像として取得する撮影手段と、前記撮影画像から前記操作対象物及び前記被接触対象物を特定することにより、前記操作対象物と被接触対象物とが接触しているか否かを判定する接触判定手段と、前記接触判定手段が、前記操作対象物と前記被接触対象物とが接触状態にあると判定した場合、前記被接触対象物に対する前記操作対象物の相対的な位置を検出する検出手段と、前記被接触対象物に対する前記操作対象物の相対的な位置検出を繰り返すことにより、前記被接触対象物上での前記操作対象物の軌跡を前記入力情報として受け付ける受付手段とを備えることを特徴とする。
【００１０】
この構成によれば、接触判定手段により、ノートや厚紙などの被接触対象物に対して、指先や操作者が把持するペンなどの被接触対象物が接触状態にあるか否かの判定が行われ、接触状態にある場合、検出手段により、被接触対象物に対する操作対象物の相対的な位置が検出される。そして、受付手段により、被接触対象物に対する操作対象物の相対的な位置が繰り返し検出されることにより、操作対象物が被接触対象物上を接触状態で移動したときの軌跡が入力情報として受け付けられる。
【００１１】
すなわち、操作者は、被接触対象物上を操作対象物でなぞるという動作を行うだけで、その操作対象物の軌跡が入力情報として受け付けられるため、直感的な入力動作を行うことができ、手書きによる文字及び画像などを入力する際の操作性を大幅に向上することができる。また、被接触対象物に対して操作対象物が接触状態にある場合のみ、操作対象物の軌跡が入力された情報として受け付けられるため、従来の空中での手書き文字入力システムのように、文字を書き終える毎に指をビデオカメラの画像フレーム外に出す必要も無く、また、受け付けられた情報が一筆書きにもならず、より自然な入力方式を実現することができる。
【００１２】
また、前記撮影手段は、前記撮影画像として赤外線を用い、赤外線画像を取得する赤外線画像取得手段を含み、前記接触判定手段は、前記赤外線画像に対して微分処理を施して画素毎の微分値を算出して微分値ヒストグラムを作成し、作成した微分値ヒストグラムの分散値を基に、前記操作対象物が前記被接触対象物に接触しているか否かを判定することが好ましい。
【００１３】
この場合、撮影手段は、赤外線を用いて撮影画像を取得するため、撮影画像に含まれる指先付近の輝度は、操作対象物と被接触対象物との距離に応じて、変化することとなる。そのため、撮影した画像から指先を含む画像を抽出し、各画素における微分値を算出して微分値ヒストグラムを作成すると、指先が対象物に近づくにつれて、作成した微分値ヒストグラムの分散値が大きくなるという結果が得られる。そのため、微分値ヒストグラムの分散値から、被接触対象物が操作対象物に接触しているか否かを判定することができる。その結果、操作対象物及び被接触対象物の３次元的な位置関係を実際に測定することなく、画像処理により操作対象物と被接触対象物との接触及び被接触を判定することができ、装置を簡素化することができる。
【００１４】
また、前記接触判定手段は、予め記憶された閾値と前記微分値ヒストグラムの分散値とを比較することにより前記操作対象物と前記被接触対象物とが接触しているか否かを判定することが好ましい。
【００１５】
この場合、実験などにより算出された値を閾値として予め記憶させておき、算出した分散値をこの閾値と比較することにより、接触及び被接触を判定するため、処理時間が短縮化される。
【００１６】
また、前記接触判定手段は、前記操作対象物に前記被接触対象物を接触させた状態で、前記撮影手段及び前記被対象物間の距離を変化させたときのその距離に対応する前記微分値ヒストグラムの分散値と前記検出領域の平均輝度値との関係から所定の関数を求め、この所定の関数に基づいて、動的に閾値を設定することが好ましい。
【００１７】
この場合、撮影した画像に関して、距離に応じて作成した微分値ヒストグラムの分散値とその分散値に対応する平均輝度値とをプロットし、平均輝度値が最小となるような点を抽出して、微分値ヒストグラムの分散値と、その分散値に対応する平均輝度値との関係を示す関数を求める。そして、この関数に撮影画像の平均輝度値を入力して、その平均輝度値に対応する分散値を閾値として設定する。これにより、撮影手段と被接触対象物との距離に応じて適正な閾値が動的に設定されるため、撮影手段と被接触対象物との間の距離が変動しても、操作対象物と被接触対象物との接触及び非接触をより正確に判定することができる。
【００１８】
また、前記検出手段は、前記被接触対象物の形状を固定された領域に変換するための所定の関数を用いて、前記被接触対象物に対する前記操作対象物の相対的な座標を変換し、その値を記憶部に記憶することが好ましい。
【００１９】
この場合、被接触対象物の形状を、固定された所定領域に変換するための所定の関数に基づいて、操作対象物の被接触対象物に対する相対的位置を変換するため、撮影画像に含まれる被接触対象物の形状が変化しても、操作対象物の相対的位置を正確に記憶することができる。
【００２０】
また、前記受付手段が受け付けた情報を表示する表示手段をさらに備え、前記撮影手段は、前記表示手段と一体的に構成することが好ましい。
【００２１】
この場合、撮影手段及び表示手段を一体的に構成するため、機器の構成がコンパクトになり、撮像手段及び表示手段を操作者の頭部などに装着することが容易とり、ウェアラブル環境下での操作性を大幅に向上させることができる。
【００２２】
また、前記操作対象物は操作者の指であり、前記被接触対象物は平板状の部材であることが好ましい。
【００２３】
この場合、部材の上を移動する指の軌跡が入力情報として取得されるため、直感的な入力が可能となる。また、ペンデバイスなどの特殊な装置も不要となり、操作者は、より気軽に入力することができる。
【００２４】
また、前記撮影手段は、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第１の撮影画像として取得する第１の撮影手段と、前記第１の撮影手段と異なる位置に配設され、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第２の撮影画像として取得する第２の撮影手段とを備え、前記接触判定手段は、前記第１及び第２の撮影画像を用いて、三角測距の原理により前記操作対象物と前記被接触対象物とが接触しているか否かを判定してもよい。
【００２５】
この場合、三角測距の原理により操作対象物と被接触対象物との空間的位置が測定され、その位置に基づいて操作対象物に対して被接触対象物が接触しているか否かの判定が行われるため、接触及び非接触の判定を正確に行うことができる。
【００２６】
【発明の実施の形態】
以下、本発明に係る情報入力システムの一実施形態を図面を参照しつつ説明する。図１は、本実施形態に係る情報入力システムの構成を示した模式図である。本情報入力システムは、操作者の例えば頭部に装着される装着部１０と、操作者の例えば腰の部分にベルトなどで装着されるコンピュータ本体部２０とを備えている。
【００２７】
装着部１０は、ＣＣＤ撮影素子を具備し、赤外発光ダイオード１３が発光した光のうち撮影対象物から反射された光を受光することにより撮影画像を取得するカメラ１１と、液晶表示素子により構成され、カメラ１１の下側に配設され、操作者の眼の上側に装着されるヘッドマウントディスプレイ（ＨＭＤ）１２と、所定波長の赤外線を発光する赤外発光ダイオード１３と備えている。
【００２８】
カメラ１１は、操作者の頭部に装着可能な小型サイズのビデオカメラ、例えばｓｏｎｙ製の白黒ＣＣＤカメラ（ＸＣ−Ｅ５１０）であり、ＩＲ７６などの赤外線透過フィルタが取り付けられている。また、カメラ１１は、撮影画像として、解像度が例えば３２０×２４０ビットの白黒画像を取得する。赤外発光ダイオード１３は、所定数、例えば２４個の赤外発光ダイオードを含み、カメラ１１のレンズの外周に沿うように配列されている。
【００２９】
カメラ１１とコンピュータ本体部２０とは、ビデオケーブルなどで接続され、カメラ１１によって取得された撮影画像は、ビデオケーブルを介してコンピュータ本体部２０に送信される。なお、カメラ１１とコンピュータ本体部２０との間をビデオケーブルに代えて、無線信号により通信可能に接続し、カメラ１１が取得した撮影画像を無線信号に変換してコンピュータ本体部２０に送信してもよい。
【００３０】
また、ＨＭＤ１２は、コンピュータ本体部２０とディスプレイケーブルにより接続されているが、カメラ１１と同様に、無線信号により通信可能に接続してもよい。
【００３１】
赤外発光ダイオード１３を発光させてカメラ１１により撮影された画像は、コンピュータ本体部２０に入力されると、後述する所定の画像処理が施された後、ＨＭＤ１２に表示される。
【００３２】
入力平面（対象物）１７は、材質は問わないが、本実施形態では、発砲スチロールからなる平板の四角形状の部材の表面に、無地の画用紙を貼り付けたものを使用している。
【００３３】
図２は、本情報入力システムのブロック構成図を示している。
【００３４】
コンピュータ本体部２０は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）及びＲＡＭ（ランダムアクセスメモリ）などを具備する通常のコンピュータであり、機能的には、プログラム実行部１５と記憶部１６とを備えている。
【００３５】
記憶部１６は、主にＲＡＭから構成され、関数記憶部１６１と、指先位置記憶部１６２とを備えている。関数記憶部１６１は閾値設定部１５５が閾値を設定するために用いる関数を記憶する。指先位置記憶部１６２は、撮影画像から指先位置検出部１５２が検出した指先ＯＦの座標に対して、変換部１５６が後述する式（１）に基づいて、変換したときの座標を記憶する。
【００３６】
プログラム実行部１５は、輪郭検出部１５１、指先位置検出部１５２、ヒストグラム作成部１５３、接触判定部１５４、閾値設定部１５５及び変換部１５６を備える。
【００３７】
輪郭検出部１５１は、カメラ１１が撮影した画像に対してエッジ検出、２値化処理及びハフ（ｈｏｕｇｈ）変換によって入力平面１７の輪郭を表す直線を検出する。図３の（ａ）〜（ｄ）は、入力平面１７の輪郭を検出する過程を示す図であり、（ａ）はカメラ１１によって取得された撮影画像を示し、（ｂ）は（ａ）の撮影画像に対して細線化処理を施したものを示し、（ｃ）は（ｂ）の撮影画像に対してハフ変換を施したものを示し、（ｄ）は（ｃ）の撮影画像から入力平面１７の輪郭線を特定したものを示している。（ｃ）に示すように、細線化処理を施した撮影画像に対してハフ変換を施すと、入力平面１７の輪郭を表す各辺に対して複数の直線Ｌが検出される可能性がある。そこで、輪郭検出部１５１は、複数の直線Ｌのうち傾きと切片が近接している直線は同一の直線とみなして一本の直線に束ねることにより、入力平面１７を表す画像の４辺を決定する。そして、この４辺の直線の交点を入力平面１７の頂点として求め、その頂点の内側の領域を入力平面１７として特定する。この場合、３つの頂点が分かれば、入力平面１７を特定することができるため、輪郭検出部１５１は、必ずしも４つの頂点を求める必要はない。
【００３８】
なお、操作者が入力平面１７を片方の手で把持した状態で、もう片方の手を使って入力動作を行った場合、撮像画像には、入力平面１７を把持した手が表示されることとなるが、この場合、輪郭検出部１５１は、入力平面１７の輪郭に重なって表示された手の画像を除去する処理を行う。
【００３９】
指先位置検出部１５２は、輪郭検出部１５１が、入力画像に対してエッジ検出、２値化処理、細線化処理した画像（図３（ｂ））に表された入力平面１７の左上の頂点を始点として１ラインずつ横方向に順番に走査し、始めに検出したエッジ位置ＥＰを指先ＯＦの位置として検出する（図４参照）。なお、指先位置検出部１５２は、入力平面１７の右上、左下または右下のいずれかの頂点を始点として、横方向に１ラインずつ順番に走査することにより、指先ＯＦの位置を検出してもよい。または、入力平面１７の４つの頂点のうちいずれか１つの頂点を始点として、縦方向に１ラインずつ順番に走査することにより、指先ＯＦの位置を検出してもよい。
【００４０】
ヒストグラム作成部１５３は、図５に示すように、指先位置検出部１５２が検出した指先ＯＦの位置を中心としたｍ×ｍ（但し、ｍは入力平面１７の最も短い辺の長さよりも小さな値）ピクセルの領域を検出領域Ｒ１として設定し、設定した検出領域Ｒ１における微分値ヒストグラムを作成する。
【００４１】
接触判定部１５４は、ヒストグラム作成部１５３が作成したヒストグラムの分散値を算出し、算出した分散値を閾値設定部１５５が設定した閾値と比較することにより、入力平面１７と指先ＯＦとが接触しているか否かを判定する。赤外線反射光は、カメラから対象物までの距離に応じて輝度が変化するため、入力平面１７と指先ＯＦとの間の距離に応じて指先ＯＦ付近の画像の輝度が変化することとなる。図６（ａ）〜（ｃ）は、指先ＯＦを中心とするｍ×ｍピクセルの検出領域Ｒ１の微分値ヒストグラムの一例を示したグラフであり、縦軸は頻度を横軸は微分値を示している。（ａ）は入力平面１７と指先ＯＦとの距離が０ｃｍである場合、（ｂ）は入力平面１７と指先ＯＦとの距離が３ｃｍである場合、（ｃ）は入力平面１７と指先ＯＦとの距離が５ｃｍである場合を示している。図６の（ａ）〜（ｃ）から分かるように、入力平面１７と指先ＯＦとの間の距離が増大するにつれて、微分値ヒストグラムの形状は細長くなり、分散値は小さくなる特性を有している。一方、入力平面１７と指先ＯＦとの距離が短くなるにつれて、微分値ヒストグラムの形状は幅広くなり、分散値は大きくなる特性を有している。そのため、分散値に基づいて入力平面１７と指先ＯＦとの接触及び非接触の判定を行うことができる。
【００４２】
具体的には、接触判定部１５４は、作成した微分値ヒストグラムの分散値を閾値設定部１５５が設定した閾値と比較し、設定された閾値に対して分散値が大きい場合、入力平面１７と指先ＯＦとは接触状態にあると判定する。一方、設定された閾値に対して算出した分散値が小さい場合、入力平面１７と指先ＯＦとは非接触状態にあると判定する。
【００４３】
閾値設定部１５５は、カメラ１１と入力平面１７との距離に応じて適切な閾値を動的に設定する。具体的には、閾値設定部１５５は、以下のようにして閾値を設定する。図７は、閾値の設定を説明するためのグラフであり、入力平面１７に対して指先ＯＦを接触させた状態で、カメラ１１と入力平面１７との間の距離を変化させた場合の検出領域Ｒ１の平均輝度と微分値ヒストグラムの分散値との関係を示している。縦軸は微分値ヒストグラムの分散値を示し、横軸は検出領域Ｒ１の平均輝度を示している。図中の各点は、カメラ１１と入力平面１７との相対的な位置及び姿勢を変化させながら観測した分散値と輝度値との関係を表している。図７に示すように、輝度値の小さな領域（第１の領域）Ｘ１では、分散値はなだらかに増加しているが、輝度値の大きな領域（第２の領域）Ｘ２では、分散値は急激に増加していることが分かる。そこで、このグラフを第１及び第２の領域Ｘ１及びＸ２に分け、それぞれの領域において、各点を線形近似することにより直線の傾きを求め、各点の輝度値が最小になるように直線の切片の値を調節して直線を求める。そして、求めた直線のうち、第１の領域の直線を関数Ｌ１、第２の領域の直線を関数Ｌ２とする。関数Ｌ１及び関数Ｌ２の交点の平均輝度値を境界値Ｂとし、検出領域Ｒ１の平均輝度値が境界値Ｂよりも小さければ関数Ｌ１を用いて閾値を決定し、検出領域Ｒ１の平均輝度値が境界値Ｂよりも大きければ関数Ｌ２を用いて閾値を決定する。
【００４４】
すなわち、検出領域Ｒ１において、平均輝度値が境界値Ｂよりも小さければ、その輝度値を関数Ｌ１に代入し、その結果得られる分散値よりも算出した分散値が大きければ接触、小さければ非接触と判定する。なお、関数Ｌ１及びＬ２は後述する登録モードにおいて予め求められたものが、関数記憶部１６１に記憶されている。
【００４５】
変換部１５６は、入力平面１７における指先ＯＦの座標を、入力平面１７の４つの頂点の座標Ｐ００、Ｐ０１、Ｐ１０及びＰ１１が、入力平面１７の各辺の長さが１の正方形の頂点の位置になるように変換する式（１）に基づいて、指先ＯＦの座標Ｐ（ｕ、ｖ）から座標Ｕ（ｕ、ｖ）を算出し、指先位置記憶部１６３に記憶させる。
【００４６】
また、変換部１５６は、ＨＭＤ１２に指先ＯＦに軌跡を表示するときは、指先位置記憶部１６３に記憶された座標Ｕ（ｕ、ｖ）を読み出し、式（１）を用いて、座標Ｐ（ｕ、ｖ）を算出し、撮影画像に重畳し、その画像を表示する。
【００４７】
【数１】
カメラ１１が撮影した入力平面１７の形状は、カメラ１１と入力平面１７との３次元的な位置関係によって変動する。例えば、入力平面１７を正面から撮影した画像と斜めから撮影した画像とでは画像中での入力平面の４つの頂点の座標は異なることとなる。したがって、正確に指先ＯＦの座標を記憶するためには、入力平面１７及び指先ＯＦの空間的位置を推定し、透視投影変換を行う必要がある。しかし、本情報入力システムは、絵や文字などの手書きメモを入力するものであり、入力した軌跡の概形とその位置関係がわかればよいため、正確な投影画像よりも多少ずれていたとしても問題はない。そこで、変換部１５６は、撮像画像における指先ＯＦの座標Ｐ（ｕ、ｖ）を、式（１）を用いて逆変換を施すことにより、指先ＯＦの座標Ｕ（ｕ、ｖ）を算出し、指先位置記憶部１６２に記憶させる。
【００４９】
次に、本情報入力システムの動作について説明する。本情報入力システムは、閾値を決定するための関数を算出するための登録モードと、操作者からの入力動作を受け付ける入力モードとの２つのモードを備えている。図８は、本情報入力システムの動作を示すフローチャートであり、（ａ）は入力モードのフローチャートを示し、（ｂ）は登録モードのフローチャートを示している。
【００５０】
（登録モード）
まず、ステップＳ１において、輪郭検出部１５１により、撮影画像に対して、エッジ検出、２値化処理、細線化処理及びハフ変換が施され、入力平面１７の輪郭が検出される。この場合、輪郭を表す直線として複数の直線が検出された場合、輪郭検出部１５１は、傾き及び切片が近似する複数の輪郭線を束ね１本の輪郭線とする。ステップＳ１において、入力平面１７の輪郭を検出することができなかった場合（ステップＳ１でＮＯ）、再度、輪郭の検出を行う。一方、入力平面１７の輪郭を検出することができた場合（ステップＳ１でＹＥＳ）、ステップＳ２へ進む。
【００５１】
ステップＳ２において、指先位置検出部１５２は、輪郭検出部１５１がエッジ検出、２値化処理及び細線化処理を施した画像に対して、入力平面１７の左上の頂点から横方向に１ラインずつ順次走査していき、最初に検出したエッジの位置を指先ＯＦの位置とする。ステップＳ２において、指先ＯＦの位置を検出することができた場合（ステップＳ１でＹＥＳ）、ステップＳ３へ進み、指先ＯＦの位置を検出することができなかった場合（ステップＳ１でＮＯ）、ステップＳ１に戻る。
【００５２】
ステップＳ３において、閾値設定部１５５は、指先位置検出部１５２が検出した指先の位置を含むｍ×ｍピクセルの正方形領域を検出領域Ｒ１とし、操作者が指先ＯＦを入力平面１７に接触させた状態で、カメラ１１の位置を変化させたときの、検出領域Ｒ１の平均輝度値と微分値ヒストグラムの分散値との関係から閾値を決定するための関数Ｌ１及びＬ２を求め、関数記憶部１６１に記憶させる。ここで、検出領域Ｒ１の平均輝度値は、カメラ１１と入力平面１７との距離に対応しているため、この関数を用いて閾値を設定すれば、カメラ１１と入力平面１７との間の距離に応じた適切な閾値を設定することができる。
【００５３】
（入力モード）
まず、ステップＳ１１において、輪郭検出部１５１は、ステップＳ１と同様にして、入力平面１７の輪郭を検出する。ステップＳ１２において、ＨＭＤ１２は、カメラ１１が撮影した画像を表示する。ステップＳ１１において、入力平面１７の輪郭を検出することができなかった場合（ステップＳ１１でＮＯ）、再度、入力平面１７の輪郭の検出を行い、入力平面１７の輪郭を検出することができた場合、ステップＳ１２へ進む。
【００５４】
ステップＳ１２において、ＨＭＤ１２は、カメラ１１が取得した撮影画像を表示する。
【００５５】
ステップＳ１３において、指先位置検出部１５２は、ステップＳ２と同様にして、カメラ１１が取得した撮影画像から指先ＯＦの位置を検出する。ステップＳ１３において、指先位置検出部１５２が指先ＯＦの位置を検出することができなかった場合（ステップＳ１３でＮＯ）、ステップＳ１１に戻り、指先位置検出部１５２が指先ＯＦの位置を検出することができた場合（ステップＳ１３でＹＥＳ）、ステップＳ１４に進む。
【００５６】
ステップＳ１４において、ヒストグラム作成部１５３は、検出領域Ｒ１における微分値ヒストグラムを作成し、作成した微分値ヒストグラムの分散値を算出する。
【００５７】
ステップＳ１５において、接触判定部１５４は、検出領域Ｒ１の平均輝度値に対応する閾値を関数記憶部１６１に記憶されている関数を用いて特定し、特定した閾値をステップＳ１４で算出した分散値と比較することにより、入力平面１７に対して指先が接触状態にあるか否かを判定する。この場合、接触判定部１５４は、ステップＳ１４で算出した分散値が、設定した閾値よりも大きい場合、入力平面１７に対して、指先ＯＦは接触状態であると判定する。一方、接触判定部１５４は、ステップＳ１３で算出した分散値が、設定した閾値よりも小さい場合、入力平面１７に対して、指先ＯＦは非接触状態であると判定する。この場合、ステップＳ１３で検出された指先ＯＦの座標は、変換部１５６により変換され、指先位置記憶部１６２に記憶される。
【００５８】
ステップＳ１５において、指先ＯＦと入力平面１７とが接触状態にあると判定された場合（ステップＳ１５でＹＥＳ）、ステップＳ１６に進む。一方、指先ＯＦと入力平面１７とが非接触状態にあると判定された場合、（ステップＳ１５でＮＯ）、ステップＳ１１に戻る。
【００５９】
ステップＳ１６において、変換部１５６は、指先位置記憶部１６３に記憶されている指先ＯＦの座標Ｕ（ｕ、ｖ）を式（１）を用いて撮影画像の座標系に変換してＰ（ｕ、ｖ）を算出し、撮影画像に重畳させ、ＨＭＤ１２に表示させる。そして、ステップＳ１３に戻り、再度指先ＯＦの位置を検出する。
【００６０】
なお、本発明は、以下の態様を採ることができる。
【００６１】
（１）上記実施形態に係る情報入力システムでは、カメラ１１が取得した画像に対して画像処理を施すことにより、入力平面１７に対して指先ＯＦが接触しているか否かの判定を行ったが、これに限定されず、所定間隔を設けて配設された２台のカメラ（このカメラは赤外線カメラに限定されない）を備え、それぞれのカメラに入力平面１７を撮影させ、三角測距の原理により、指先ＯＦのそれぞれの３次元的な位置を測定し、その測定結果に基づいて、指先ＯＦの接触の有無の判定を行ってもよい。
【００６２】
（２）上記実施形態では、操作者は指先ＯＦを入力平面１７に接触状態で移動させたときの軌跡をＨＭＤ１２に表示していたが、操作者により把持された例えば鉛筆やボールペンなどの部材を入力平面１７に接触させて移動状態で移動させたときの軌跡をＨＭＤ１２に表示させてもよい。
【００６３】
（３）上記実施形態では、入力平面として四角形のものを用いたがこれに限定されず、円形などの他の形状を有するものを用いても良い。
【００６４】
（４）上記実施形態では、変換部１５６は、入力平面１７の４つの頂点Ｐ００〜Ｐ１１が、一辺の長さが１の正方形の頂点の座標となるような領域に、指先ＯＦの座標を変換したが、これに限定されず、正方形以外の形状、例えば長方形、円形などの領域に変換してもよい。
【００６５】
（５）上記実施形態では、閾値設定部１５５は、図７に示すように各点を線形近似することにより算出された２本の直線を関数Ｌ１及びＬ２とし、この関数Ｌ１及びＬ２に基づいて閾値の設定を行ったが、これに限定されず、図９に示すように曲線ＬＧによって表される関数を、閾値を設定するための関数としてもよい。
【００６６】
【発明の効果】
以上説明したように、本発明に係る情報入力システムによれば、操作者は、被接触対象物上を操作対象物でなぞるという動作を行うだけで、その操作対象物の軌跡が入力情報として受け付けられるため、手書きによる文字及び画像を入力する際の操作性を大幅に向上することができる。また、被接触対象物に対して操作対象物が接触状態にある場合のみ、操作対象物の軌跡が入力された情報として受け付けられるため、従来の空中での手書き文字入力システムのように、文字を書き終える毎に指をフレーム外に出す必要も無く、また、受け付けられた情報が一筆書きにもならず、より自然な入力方式を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る情報入力システムの外観構成を示した図である。
【図２】本情報入力システムのブロック構成図を示した図である。
【図３】入力平面の輪郭を検出する過程を示す図であり、（ａ）はカメラによって撮影された赤外線反射画像を示し、（ｂ）は（ａ）の画像に対して細線化処理を施した画像を示し、（ｃ）は（ｂ）の画像に対してハフ変換を施した画像を示し、（ｄ）は（ｃ）の入力平面の輪郭線を特定した画像である。
【図４】指先の位置を検出する様子を説明するための図である。
【図５】検出領域を示した図である。
【図６】指先を中心とするｍ×ｍピクセルの検出領域における微分値ヒストグラムの一例を示し、縦軸は輝度を横軸は微分値を示しており、（ａ）は入力平面と指先との距離が０ｃｍである場合、（ｂ）は入力平面と指先との距離が３ｃｍである場合、（ｃ）は入力平面と指先との距離が５ｃｍである場合を示している。
【図７】入力平面に対して指先を接触させた状態で、カメラと入力平面との間の距離を変化させた場合の検出領域の平均輝度と微分値ヒストグラムとの関係を示したグラフである。
【図８】本情報入力システムの動作を説明するためのフローチャートである。
【図９】閾値設定部が閾値を設定するための関数の他の形態を示したグラフである。
【符号の説明】
１０ 装着部
１１ カメラ
１２ ヘッドマウントディスプレイ
１３ 赤外発光ダイオード
１５ プログラム実行部
１６ 記憶部
１７ 入力平面
２０ コンピュータ本体部
１５１ 輪郭検出部
１５２ 指先位置検出部
１５３ ヒストグラム作成部
１５４ 接触判定部
１５５ 閾値設定部
１５６ 変換部
１６１ 関数記憶部
１６２ 指先位置記憶部
１６３ 指先位置記憶部
Claims (8)
- 操作者によって入力された情報を入力情報として受け付ける情報入力システムであって、
操作対象物及びその操作対象物に接触される被接触対象物を含む所定領域の画像を撮影画像として取得する撮影手段と、
前記撮影画像から前記操作対象物及び前記被接触対象物を特定することにより、前記操作対象物と被接触対象物とが接触しているか否かを判定する接触判定手段と、
前記接触判定手段が、前記操作対象物と前記被接触対象物とが接触状態にあると判定した場合、前記被接触対象物に対する前記操作対象物の相対的な位置を検出する検出手段と、
前記被接触対象物に対する前記操作対象物の相対的な位置検出を繰り返すことにより、前記被接触対象物上での前記操作対象物の軌跡を前記入力情報として受け付ける受付手段とを備えることを特徴とする情報入力システム。 - 前記撮影手段は、前記撮影画像として赤外線を用い、赤外線画像を取得する赤外線画像取得手段を含み、
前記接触判定手段は、前記赤外線画像に対して微分処理を施して画素毎の微分値を算出して微分値ヒストグラムを作成し、作成した微分値ヒストグラムの分散値を基に、前記操作対象物が前記被接触対象物に接触しているか否かを判定することを特徴とする請求項１記載の情報入力システム。 - 前記接触判定手段は、予め記憶された閾値と前記微分値ヒストグラムの分散値とを比較することにより前記操作対象物と前記被接触対象物とが接触しているか否かを判定することを特徴とする請求項２記載の情報入力システム。
- 前記接触判定手段は、前記操作対象物に前記被接触対象物を接触させた状態で、前記撮影手段及び前記被対象物間の距離を変化させたときのその距離に対応する前記微分値ヒストグラムの分散値と前記検出領域の平均輝度値との関係から所定の関数を求め、この所定の関数に基づいて、動的に閾値を設定することを特徴とする請求項３記載の情報入力システム。
- 前記検出手段は、前記被接触対象物の形状を固定された領域に変換するための所定の関数を用いて、前記被接触対象物に対する前記操作対象物の相対的な座標を変換し、その値を記憶部に記憶することを特徴とする請求項１〜４のいずれかに記載の情報入力システム。
- 前記受付手段が受け付けた情報を表示する表示手段をさらに備え、
前記撮影手段は、前記表示手段と一体的に構成することを特徴とする請求項１〜５のいずれかに記載の情報入力システム。 - 前記操作対象物は操作者の指であり、前記被接触対象物は平板状の部材であることを特徴とする請求項１〜６のいずれかに記載の情報入力システム。
- 前記撮影手段は、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第１の撮影画像として取得する第１の撮影手段と、前記第１の撮影手段と異なる位置に配設され、前記操作対象物及び前記被接触対象物を含む所定領域の画像を第２の撮影画像として取得する第２の撮影手段とを備え、
前記接触判定手段は、前記第１及び第２の撮影画像を用いて、三角測距の原理により前記操作対象物と前記被接触対象物とが接触しているか否かを判定することを特徴とする請求項１記載の情報入力システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255676A JP2004094653A (ja) | 2002-08-30 | 2002-08-30 | 情報入力システム |
| US10/358,840 US7006079B2 (en) | 2002-08-30 | 2003-02-05 | Information input system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255676A JP2004094653A (ja) | 2002-08-30 | 2002-08-30 | 情報入力システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004094653A true JP2004094653A (ja) | 2004-03-25 |
Family
ID=31972908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002255676A Pending JP2004094653A (ja) | 2002-08-30 | 2002-08-30 | 情報入力システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7006079B2 (ja) |
| JP (1) | JP2004094653A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1927384A1 (en) | 2006-12-01 | 2008-06-04 | NAMCO BANDAI Games Inc. | Method of determining operation input using game controller including acceleration detector, and method of calculating moving path of the game controller |
| JP2008234277A (ja) * | 2007-03-20 | 2008-10-02 | Nec Access Technica Ltd | 文字入力システム、文字入力装置、文字入力方法、及びプログラム |
| JP2010055399A (ja) * | 2008-08-28 | 2010-03-11 | Musashi Eng Co Ltd | 束数検出装置及び束数検出方法 |
| JP2011134054A (ja) * | 2009-12-24 | 2011-07-07 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| WO2014080829A1 (ja) * | 2012-11-22 | 2014-05-30 | シャープ株式会社 | データ入力装置 |
| JP2017021861A (ja) * | 2016-11-01 | 2017-01-26 | 日立マクセル株式会社 | プロジェクタ及びヘッドマウント型表示装置 |
| JP2019101945A (ja) * | 2017-12-06 | 2019-06-24 | 国立大学法人秋田大学 | 入力システム |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7248745B1 (en) * | 2003-04-03 | 2007-07-24 | Adobe Systems Incorporated | Differential image adjustments |
| JP4242796B2 (ja) * | 2004-03-12 | 2009-03-25 | パナソニック株式会社 | 画像認識方法及び画像認識装置 |
| US10248917B1 (en) | 2004-10-14 | 2019-04-02 | Capital One Services, Llc | System and method for developing and utilizing a contactability profile |
| JP2007094158A (ja) * | 2005-09-29 | 2007-04-12 | Toshiba Matsushita Display Technology Co Ltd | 液晶表示装置 |
| US20090174674A1 (en) * | 2008-01-09 | 2009-07-09 | Qualcomm Incorporated | Apparatus and methods for a touch user interface using an image sensor |
| CN101650520A (zh) * | 2008-08-15 | 2010-02-17 | 索尼爱立信移动通讯有限公司 | 移动电话的可视激光触摸板和方法 |
| WO2011045786A2 (en) | 2009-10-13 | 2011-04-21 | Rami Parham | Wearable device for generating input for computerized systems |
| CA2828222A1 (en) | 2010-02-23 | 2011-09-01 | Muv Interactive Ltd. | A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith |
| US9880619B2 (en) | 2010-02-23 | 2018-01-30 | Muy Interactive Ltd. | Virtual reality system with a finger-wearable control |
| SG10201400949SA (en) | 2010-03-30 | 2014-05-29 | Ns Solutions Corp | Information Processing System, Information Processing Method And Program, Information Processing Apparatus, Vacant Space Guidance System, Vacant Space Guidance Method And Program, Image Display System, And Image Display Method And Program |
| US20130088429A1 (en) * | 2011-10-05 | 2013-04-11 | Pantech Co., Ltd. | Apparatus and method for recognizing user input |
| KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
| JP6066676B2 (ja) * | 2012-11-06 | 2017-01-25 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイおよび映像提示システム |
| US9398272B2 (en) * | 2012-11-07 | 2016-07-19 | Google Inc. | Low-profile lens array camera |
| JP2016525235A (ja) * | 2013-06-25 | 2016-08-22 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 文字入力のための方法及びデバイス |
| KR20160005899A (ko) * | 2014-07-08 | 2016-01-18 | 엘지전자 주식회사 | 디지털 이미지 처리 장치, 시스템 및 제어 방법 |
| JP6501806B2 (ja) * | 2017-01-05 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、操作検出方法、及びコンピュータプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1021363A (ja) * | 1996-06-28 | 1998-01-23 | Sanyo Electric Co Ltd | 評価支援方法及び装置 |
| US6211856B1 (en) * | 1998-04-17 | 2001-04-03 | Sung M. Choi | Graphical user interface touch screen with an auto zoom feature |
| JP2000148375A (ja) | 1998-11-11 | 2000-05-26 | Seiko Epson Corp | 入力システム及び投射型表示システム |
| US6639584B1 (en) * | 1999-07-06 | 2003-10-28 | Chuang Li | Methods and apparatus for controlling a portable electronic device using a touchpad |
| US6803906B1 (en) * | 2000-07-05 | 2004-10-12 | Smart Technologies, Inc. | Passive touch system and method of detecting user input |
| US6531999B1 (en) * | 2000-07-13 | 2003-03-11 | Koninklijke Philips Electronics N.V. | Pointing direction calibration in video conferencing and other camera-based system applications |
| US7256772B2 (en) * | 2003-04-08 | 2007-08-14 | Smart Technologies, Inc. | Auto-aligning touch system and method |
-
2002
- 2002-08-30 JP JP2002255676A patent/JP2004094653A/ja active Pending
-
2003
- 2003-02-05 US US10/358,840 patent/US7006079B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1927384A1 (en) | 2006-12-01 | 2008-06-04 | NAMCO BANDAI Games Inc. | Method of determining operation input using game controller including acceleration detector, and method of calculating moving path of the game controller |
| JP2008234277A (ja) * | 2007-03-20 | 2008-10-02 | Nec Access Technica Ltd | 文字入力システム、文字入力装置、文字入力方法、及びプログラム |
| JP2010055399A (ja) * | 2008-08-28 | 2010-03-11 | Musashi Eng Co Ltd | 束数検出装置及び束数検出方法 |
| JP2011134054A (ja) * | 2009-12-24 | 2011-07-07 | Brother Industries Ltd | ヘッドマウントディスプレイ |
| WO2014080829A1 (ja) * | 2012-11-22 | 2014-05-30 | シャープ株式会社 | データ入力装置 |
| JP2017021861A (ja) * | 2016-11-01 | 2017-01-26 | 日立マクセル株式会社 | プロジェクタ及びヘッドマウント型表示装置 |
| JP2019101945A (ja) * | 2017-12-06 | 2019-06-24 | 国立大学法人秋田大学 | 入力システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040041794A1 (en) | 2004-03-04 |
| US7006079B2 (en) | 2006-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004094653A (ja) | 情報入力システム | |
| US9207773B1 (en) | Two-dimensional method and system enabling three-dimensional user interaction with a device | |
| US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| US8971565B2 (en) | Human interface electronic device | |
| US9778748B2 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
| WO2013035554A1 (ja) | 入力体の動き検出方法およびそれを用いた入力デバイス | |
| US8933886B2 (en) | Instruction input device, instruction input method, program, recording medium, and integrated circuit | |
| JP4608326B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
| JP6723814B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
| US10168769B2 (en) | Input apparatus, input method, and program | |
| JP5384449B2 (ja) | タッチシステムのためのポインタ高さ検出方法およびポインタ座標検出方法ならびにタッチシステム | |
| JP2002318652A (ja) | 仮想入力装置およびプログラム | |
| JP6746419B2 (ja) | 情報処理装置、及びその制御方法ならびにコンピュータプログラム | |
| JP2017219942A (ja) | 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。 | |
| US20060197742A1 (en) | Computer pointing input device | |
| JP2006190212A (ja) | ３次元位置入力装置 | |
| WO2019156990A1 (en) | Remote perception of depth and shape of objects and surfaces | |
| KR100749033B1 (ko) | 두 눈에서 반사되는 빛을 추적하여 단말기를 조작하는방법, 및 그 장치 | |
| US20150185321A1 (en) | Image Display Device | |
| JP4563723B2 (ja) | 指示動作認識装置及び指示動作認識プログラム | |
| JP2006323454A (ja) | 三次元指示入力システム、三次元指示入力装置、三次元指示入力方法およびプログラム | |
| JP6643825B2 (ja) | 装置及び方法 | |
| JP2018063555A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR20050060606A (ko) | 휴먼 컴퓨터 인터렉션 장치 및 방법 | |
| US11934585B2 (en) | Method for performing interactive operation upon a stereoscopic image and stereoscopic image display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040927 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050922 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060606 |