JP2010067062A - 入力システム及び入力方法 - Google Patents

入力システム及び入力方法 Download PDF

Info

Publication number
JP2010067062A
JP2010067062A JP2008233603A JP2008233603A JP2010067062A JP 2010067062 A JP2010067062 A JP 2010067062A JP 2008233603 A JP2008233603 A JP 2008233603A JP 2008233603 A JP2008233603 A JP 2008233603A JP 2010067062 A JP2010067062 A JP 2010067062A
Authority
JP
Japan
Prior art keywords
region
input
unit
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008233603A
Other languages
English (en)
Other versions
JP5205187B2 (ja
Inventor
Mikiko Nakanishi
美木子 中西
Tsutomu Horikoshi
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2008233603A priority Critical patent/JP5205187B2/ja
Publication of JP2010067062A publication Critical patent/JP2010067062A/ja
Application granted granted Critical
Publication of JP5205187B2 publication Critical patent/JP5205187B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】 周囲の風景が固定されていなかったり、入力操作を行うものが任意のものであったりした場合であっても、確実に仮想的な入力装置を実現する。
【解決手段】 入力装置10は、仮想的な入力デバイスとする物体20を撮像するカメラ11と、撮像された画像から、当該画像における物体20が位置する物体領域を認識する物体領域認識部12と、物体20の特徴を示す情報を取得する特徴情報取得部14と、撮像された画像における物体領域内の、取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出部15と、検出された操作領域に基づいて、ユーザの入力操作を検出する入力検出部16と、検出されたユーザの入力操作を示す情報を出力する出力部17と、を備える。
【選択図】 図2

Description

本発明は、情報を入力するための入力システム及び入力方法に関する。
コンピュータ等に情報を入力するための入力機能を有していない物体に対して仮想的に入力機能を持たせるためには、例えば、物体を撮像して、撮像された画像から物体に対するユーザの入力操作を認識するという方法がある。入力操作の認識には、仮想的な入力装置として用いたい物体を特定した上で、ユーザの手等の入力に使われる道具を認識する必要がある。動いている物体を検出する方法には、特許文献1に記載されたようにカメラで取得した画像の過去フレームと現フレームとの差分から検出する方法がある。また、特許文献2に記載されているように、ユーザのジェスチャーを解析して入力操作を認識する技術が提案されている。
特開2006−163452号公報 特開2007−87089号公報
しかしながら、上述した従来の技術では、限定されない場所でユーザの入力操作を認識することは困難である。例えば特許文献1に記載された技術では、過去フレームと現フレームとで撮像されている背景が一致している必要がある。従って、カメラが固定されている場所でなければ利用できず、利用できる場所が限定される。また、特許文献2では、手の肌色を認識しているため、照明環境や人種によって安定して入力操作を認識できない場合がある。また、手以外の入力操作を検出することができない。
本発明は、以上の問題点を解決するためになされたものであり、周囲の風景が固定されていなかったり、入力操作を行うものが任意のものであったりした場合であっても、確実に仮想的な入力装置を実現することができる入力システム及び入力方法を提供することを目的とする。
上記目的を達成するために、本発明に係る入力システムは、物体を撮像する撮像手段と、撮像手段によって撮像された画像から、当該画像における物体が位置する物体領域を認識する物体領域認識手段と、物体の特徴を示す情報を取得する特徴情報取得手段と、撮像手段によって撮像された画像における、物体領域認識手段によって認識された物体領域内の、物体特徴取得手段によって取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出手段と、操作領域検出手段によって検出された操作領域に基づいて、ユーザの入力操作を検出する入力検出手段と、入力検出手段によって検出されたユーザの入力操作を示す情報を出力する出力手段と、を備えることを特徴とする。
本発明に係る入力システムでは、物体を撮像して、撮像された画像から、仮想的な入力装置とされる物体の物体領域を認識する。続いて、認識された物体領域において、物体の特徴と異なる特徴を有する操作領域を検出する。続いて、検出された操作領域に基づいて、ユーザの入力操作を検出する。上記のように本発明に係る入力システムでは、仮想的な入力装置とされる物体の物体領域の認識が行われた上で、当該物体領域に対するユーザの入力操作に応じた操作領域が検出されるので、周囲の風景が固定されていないような任意の状況であっても、確実に仮想的な入力装置を実現することができる。また、仮想的な入力装置とされる物体の特徴とユーザの操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができるので、入力操作を行うものが任意のものであっても、確実に仮想的な入力装置を実現することができる。
物体情報取得手段は、撮像手段によって撮像された画像における、物体領域認識手段によって認識された物体領域から物体の特徴を抽出することによって、当該物体の特徴を示す情報を取得することが望ましい。この構成によれば、仮想的な入力装置とされる物体の特徴を示す情報が確実に取得されるので、適切に本発明を実施することができる。
撮像手段は、複数の時刻にわたって物体を撮像し、入力システムは、撮像手段によって撮像された時間変化した画像における、物体領域認識手段によって認識された領域に対応する領域を認識する領域追従手段を更に備えることが望ましい。この構成によれば、物体自体や撮像方向が動いたとしても、適切に物体領域を認識することができ、これによって適切に入力操作を検出することができる。
入力システムは、物体領域認識手段によって認識された物体領域に応じて、映像を投影する投影手段を更に備えることが望ましい。この構成によれば、例えば、キーボード等の仮想的な入力装置のような表示を行ったり、検出されたユーザの操作に応じた表示を行ったりできる。これにより、使い勝手のよい仮想的な入力装置を実現することができる。
物体領域認識手段は、物体に予め設けられたマーカを検出することによって物体領域を認識することが望ましい。物体領域認識手段は、所定の音を検出して、当該音が検出されたタイミングで撮像手段によって撮像された画像における物体領域に応じた位置を検出して、当該位置から当該物体領域を認識することが望ましい。物体領域認識手段は、物体領域に係る特徴を示す情報を予め記憶しておき、当該情報に基づいて当該物体領域を認識することが望ましい。これらの構成によれば、確実に物体領域を認識することができ、適切に本発明を実施することができる。
操作領域検出手段は、所定の音を検出して、当該音が検出されたタイミングで撮像手段によって撮像された画像における操作領域を検出することが望ましい。この構成によれば、例えば、ユーザが操作領域を検出するタイミングを任意に決めることができ、ユーザが任意のタイミングで入力操作を行うことができる。従って、ユーザに操作性の高い入力操作を行わせることができる。
ところで、本発明は、上記のように入力システムの発明として記述できる他に、以下のように入力方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
即ち、本発明に係る入力方法は、物体を撮像する撮像ステップと、撮像ステップにおいて撮像された画像から、当該画像における物体が位置する物体領域を認識する物体領域認識ステップと、物体の特徴を示す情報を取得する特徴情報取得ステップと、撮像ステップにおいて撮像された画像における、物体領域認識ステップにおいて認識された物体領域内の、物体特徴取得ステップにおいて取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出ステップと、操作領域検出ステップにおいて検出された操作領域に基づいて、ユーザの入力操作を検出する入力検出ステップと、入力検出ステップにおいて検出されたユーザの入力操作を示す情報を出力する出力ステップと、を備えることを特徴とする。
本発明によれば、仮想的な入力装置とされる物体の物体領域の認識が行われた上で、当該物体領域に対するユーザの操作に応じた操作領域が検出されるので、周囲の風景が固定されていないような任意の状況であっても、確実に仮想的な入力装置を実現することができる。また、仮想的な入力装置とされる物体の特徴とユーザの操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができるので、入力操作を行うものが任意のものであっても、確実に仮想的な入力装置を実現することができる。
以下、図面と共に本発明による入力システム及び入力方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
図1に、本発明に係る入力システムの実施形態である入力装置10の外観構成を模式的に示す。入力装置10は、眼鏡型ディスプレイ(例えば、ヘッドマウンドディスプレイ(HDM))であり、ユーザが装着できるような形状となっている。入力装置10のコンピュータ(図示せず)の入力デバイスの機能を有している。具体的には、入力装置10は、所定の物体20に重畳されるように、例えば(仮想的な)キーボードやタッチパネル等の入力デバイスの映像30を投影して、ユーザ40に当該入力デバイスの映像を認識させる。入力装置10は、ユーザ40による当該映像(に対応する物体20の箇所)への指やペンでの入力操作(入力動作)を検出して、コンピュータへの入力とする。上記の入力操作は、例えば、指やペンで物体20の所定箇所を指し示す(ポインティング又はクリック)動作である。入力装置10から、ユーザ40からの入力操作が入力されるコンピュータは、入力装置10と一体に構成されていてもよいし、入力装置10とは別構成とされていてもよい(その場合、無線又は有線によって入力装置10と接続されている)。上記のように入力装置10は、キーボードやタッチパネル等の入力のための物理的な構成を持たない仮想的な入力装置を実現するものである。
入力デバイスの映像30を重畳させる上記の所定の物体20は、平面を有するものが望ましく、例えば、ユーザ40が所持しているノートや手帳あるいは固定されている壁等である。また、入力デバイスの映像30は、物体20に対して投影が行われて重畳されてもよい。また、眼鏡型ディスプレイが光学式シースルー型のものである場合、周囲の景色は眼鏡を通して見えることができるため、ユーザが当該レンズを通して物体20を見たときに重畳して見えるように、眼鏡型ディスプレイのレンズに対して入力デバイスの映像30のみ投影されてもよい。また、眼鏡型ディスプレイがビデオシースルー型のものである場合、カメラで撮像した物体20も同時にレンズに投影されてもよい。このとき、両目に同じ映像を投影してもよいし、右目と左目の距離からそれぞれの目から見える映像を推定して、それぞれの目に投影する映像を別々に用意してもよい。それぞれの目に合わせて別々の映像を投影すると立体感(奥行き)のある映像をユーザ40に見せることができる。
引き続いて、入力装置10の機能について説明する。図2に示すように、入力装置10は、カメラ11と、物体領域認識部12と、領域追従部13と、特徴情報取得部14と、操作領域検出部15と、入力検出部16と、出力部17と、映像投影部18と、映像蓄積部19とを備えて構成される。
カメラ11は、仮想的な入力デバイスとされる物体20を撮像する撮像手段である。カメラ11は、複数の時刻にわたって物体20の撮像を行う。即ち、カメラ11は、動画として物体20を撮像する。カメラ11は、その撮像方向が、ユーザの視線方向、即ち、眼鏡型ディスプレイのレンズの光軸方向(あるいは、ディスプレイ面の法線ベクトルの方向)と同様の方向となるように設けられている。従って、カメラ11は、ユーザが物体20の方向に視線を向けることによって物体20を撮像する(ユーザが物体20の方向に視線を向けることによって、撮像方向が物体20に向かう方向になる)。なお、カメラ11は、眼鏡型ディスプレイと一体に設けられていても、別体として周囲に備え付けられ又はユーザに携帯されて設けられていてもよい。カメラ11は、撮像した画像(データ)を物体領域認識部12に出力する。また、後述する物体領域の追従を行うため、カメラ11は、当該画像を領域追従部13に出力する。
物体領域認識部12は、カメラ11によって撮像された画像から、当該画像における物体20が位置する物体領域を検出することにより認識する物体領域認識手段である。即ち、物体領域認識部12は、仮想的な入力デバイスとされる物体20の形状(二次元の形状)を推定する。
物体領域認識部12は、例えば、物体領域の認識を以下のように行う。まず、認識対象となる物体20に、マーカ50を予め貼り付ける等して設けておく。マーカ50は、特徴的な色や形状(例えば、図1に示すような非対称な形状)のしるしが用いられる。マーカ50の物体20への貼付は、ユーザ40等によって行われる。また、物体領域認識部12は、マーカ50を認識できるようにマーカ50の特徴を示す情報(例えば、色及び形状の情報)を予め記憶している。物体領域認識部12は、記憶したマーカ50の特徴を示す情報に基づいて、カメラ11から入力された画像からマーカ50の位置及び動きを認識する。続いて、当該画像において、マーカ50と同期する動きをする特徴(色、エッジ、オプティカルフロー)を有する箇所の集合を物体領域として推定(認識)する。
また、物体20はマーカ50の周辺に存在しているため、画像におけるマーカ50の周辺部分の特徴(色、エッジ、マーカ50の動きと連動する点の集合)を抽出して、画像においてその特徴を有する部分(特徴の集合)から物体領域を推定(認識)してもよい。物体領域は、上記の特徴を有する部分を含む矩形で近似してもよいし、上記の特徴を有する部分の一番外側を結んだ形状の平面でもよい。このときに決定した物体領域を初期値とし、マーカ50との位置関係を記憶しておく。
あるいは、物体領域を特定するのに十分な数だけ、マーカ50を物体20に設けておき、全てのマーカ50を検出することによって、物体領域を検出してもよい。その場合、物体領域認識部12は、物体20に設けられたマーカ50と物体領域との位置関係を示す情報を記憶しておき、それに基づいて物体領域を検出する。
また、マーカ50を用いない場合であっても、物体領域認識部12は、以下のように物体領域の認識を行うことができる。まず、物体領域認識部12は、予め、物体領域の特徴を示す情報(例えば、色、形状及びテクスチャの情報)を予め記憶しておく。物体領域認識部12は、記憶した物体領域の特徴を示す情報に基づいて、カメラ11から入力された画像から物体領域を認識する。
物体領域認識部12は、認識した物体領域を示す情報(例えば、物体領域の画像における位置、形状及び大きさ等)を領域追従部13、特徴情報取得部14、操作領域検出部15及び映像投影部18に出力する。なお、物体領域認識部12によって認識される物体領域は、物体20の形状と必ずしも一致している必要はなく、例えば、仮想的な入力デバイスとして用いられる物体20の一部であってもよい。
領域追従部13は、カメラ11によって撮像された画像における、物体領域認識部12によって認識された物体領域に対応する領域を検出することによって認識(追従)する領域追従手段である。カメラ11による撮像は、後述する操作領域検出部15による操作領域の検出、及び映像投影部18による映像の投影が行われている間行われており、撮像された画像は時間変化する。上述したように撮像された画像内における認識された物体領域は、物体20やカメラ11の方向の移動により変化しうる。操作領域検出部15による操作領域の検出、及び映像投影部18による映像の投影は、認識された物体領域に応じて行われるものであり、複数の時刻にわたって映像の投影を行う場合に適切に操作領域の検出、及び映像の投影を行えるようにするためのものである。
具体的には、領域追従部13は、物体領域認識部12による物体領域の認識が行われた時点の画像から、当該物体領域の特徴を示す情報を取得する。例えば、物体領域認識部12によって推定された物体領域の範囲の画像を抽出する。物体領域認識部12は、当該所定の範囲の画像を認識された物体領域の特徴を示す画像(のテンプレート)として記憶する。続いて、領域追従部13は、追従対象となる画像から上記記憶した所定の範囲の画像(のテンプレート)に対応する
部分を検出して、当該部分を追従対象となる画像における物体20の物体領域とする。この検出は、具体的には例えば、パターンマッチング(テンプレートマッチング)の手法等が用いられて行われる。領域追従部13は、追従した形状を示す情報を操作領域検出部15及び映像投影部18に出力する。
追従対象の画像と比較する、上記の形状の特徴を示す情報は画像自体でなくともよい。例えば、抽出した範囲の画像の色情報(ヒストグラムや色の平均)を上記の形状の特徴を示す情報として、追従対象の画像の同様の色情報を持つ領域を追従することとしてもよい。また、物体領域のエッジ(端部)の特徴を示す情報をテンプレートとして用いてもよい。また、物体領域認識部12によって検出されたマーカ50を、オプティカルフローを用いた方法等によって追従して、追従されたマーカ50の位置から物体領域認識部12と同様に物体領域の推定を行い、物体領域の追従を行うこととしてもよい。
あるいは、上述したように物体領域認識部12によって初期値として、マーカ50と物体領域との位置関係が記憶されている場合、マーカ50を検出して検出されたマーカ50と当該位置関係にある領域を追従される物体領域としてもよい。
特徴情報取得部14は、物体20の特徴を示す情報を取得する物体情報取得手段である。物体20の特徴を示す情報とは、例えば、物体20(の物体領域に相当する部分)の色を示す情報(例えば、ヒストグラムや色の平均)や物体20(の物体領域に相当する部分)の画像等が相当する。この物体20の特徴を示す情報は、後述する操作領域の検出に用いられる。特徴情報取得部14は、具体的には、カメラ11によって撮像された画像における、物体領域認識部12によって特定された物体領域から、上記の特徴を示す情報を抽出する。特徴を示す情報の抽出は、ユーザ40による物体20に対する入力操作が行われていないときに行われる(情報の抽出を行う際にはユーザ40は入力操作を行わない)。
なお、上述した物体領域認識部12又は領域追従部13による処理において取得された情報に、物体20の特徴を示す情報が含まれている場合、特徴情報取得部14は、当該情報を物体20の特徴を示す情報として用いてもよい。また、予め物体領域認識部12に物体領域の特徴を示す情報が記憶されている場合は、その情報を物体20の特徴を示す情報として用いてもよい。但し、物体領域認識部12又は領域追従部13による処理において取得された情報に含まれる、物体20の特徴を示す情報が、操作領域の検出に用いるのに適切なものでなかった場合等には、その情報は用いない。あるいは、ユーザ40等からの入力によって、物体20の特徴を示す情報を取得することとしてもよい。特徴情報取得部14は、取得した物体20の特徴を示す情報を操作領域検出部15に出力する。
操作領域検出部15は、カメラ11によって撮像された画像における物体領域内の、物体領域の特徴と異なる特徴を有する操作領域を検出する操作領域検出手段である。上記の物体領域は、物体領域認識部12によって認識され、領域追従部13によって追従されるものである。また、上記の物体領域の特徴の情報は、特徴情報取得部14から入力されて、操作領域検出部15が記憶しているものである。上記の操作領域とは、ユーザ40が物体20に対して入力操作を行うことによって、物体領域上に発生する領域である。例えば、ユーザ40が自身の指で入力操作を行う場合は、物体20上の指に相当する領域である。
例えば、操作領域検出部15は、物体領域内から、特徴情報取得部14によって抽出された物体領域の色以外の部分を抽出して操作領域を検出する。あるいは、ユーザ40が入力操作を行っていないときの物体領域部分の画像(初期画像)を物体領域の特徴の情報としたときは、初期画像と現在の(操作領域の検出対象となる)画像(現フレーム)との差分を検出して、当該差分の箇所を操作領域として検出する。操作領域が複数検出された場合は、検出された領域のうち(面積が)一番大きい領域を選んでもよいし、予め記憶した閾値以上の領域を選んでもよい。また、複数の画像から操作領域を検出して、その動きが最も大きい領域を選んでもよい。なお、操作領域の検出は、画像における物体領域の部分のみに対する検索のみによって行われる。即ち、画像における物体領域以外の部分に対しての検索を行う必要はない。
操作領域検出部15は、カメラ11によって画像が撮像される度に上記の操作領域の検出を行う。操作領域検出部15は、検出した操作領域を示す情報(例えば、物体領域における操作領域の位置、形状及び大きさ等)を入力検出部16に出力する。
入力検出部16は、操作領域検出部15によって検出された操作領域に基づいて、ユーザ40の入力操作を検出する入力検出手段である。入力検出部16は、例えば、ユーザ40の入力操作を、ユーザ40が物体20(の物体領域)におけるどの部分に対して操作を行ったか(物体20のどの部分にユーザ40が触れたか)という情報として検出する。入力検出部16は、物体領域における操作領域の所定点(例えば、一番上の点)をユーザ40が操作した点として検出する。
また、入力検出部16は、ユーザの入力操作の有無を検出することとしてもよい。その場合、例えば、操作領域の面積が予め記憶した閾値以上となっているか否かを判断することによって検出する。これは、操作領域が一定の大きさ以上になっていることによって、例えば、ユーザ40が手を物体20にかざしていることを検出するものである(この場合、ユーザ40の手を物体20にかざすことを入力操作として予め定義しておく)。また、操作領域の形状から、入力操作を検出してもよい。
更に、操作領域の時間変化(例えば、操作領域の動き方)から、入力操作を検出してもよい。この場合、検出される操作領域に検出された時刻等を対応付けておき、時間変化を検出できるようにしておく。また、どのような時間変化がどのような入力操作に対応するかを示す情報(入力操作のパターン)を、予め入力検出部16が記憶しておき、その情報に基づいて入力操作の検出を行う。このようなパターンによって入力操作を検出することとすれば、パターン以外の情報が検出されたとしても入力操作として検出せず、登録されたパターンが検出されたときのみ処理を行うので誤動作を防ぐことができる。
また、入力検出部16は、上記のように物体20(の物体領域)におけるどの部分に入力操作があったかを検出するだけでなく、例えば、「あ」という文字が入力された、あるいは再生ボタンが押されたという、より機能的な入力操作の検出を行うこととしてもよい。この場合、入力操作が行われた部分の情報と機能の情報(どのような文字が入力されたか、あるいはどのようなボタンが押されたかを示す情報)との対応関係を入力検出部16が記憶しておき、その対応関係に基づいて入力操作を特定する。入力検出部16は、上記のように検出したユーザ40の入力操作を示す情報を出力部17に出力する。
出力部17は、入力検出部16によって検出されたユーザ40の入力操作を示す情報を出力する出力手段である。当該出力は、例えば、上述したように入力装置10に接続されるコンピュータに対して行われる。また、本実施形態では、出力部17は、入力操作を示す情報を映像投影部18にも出力する。
映像投影部18は、物体領域認識部12によって認識された物体領域、及び領域追従部13によって追従された物体領域に応じて、映像30を投影する投影手段である。映像投影部18は、具体的には入力装置10が備えるディスプレイを含んで構成されている。映像投影部18は、映像蓄積部19から投影する映像を取得して投影を行う。映像投影部18のディスプレイは上述したように例えば、眼鏡型ディスプレイのレンズに設けられており、映像の投影は、上述したように物体20に重畳するように行われる。映像投影部18は、物体領域認識部12又は領域追従部13から入力された情報に基づいて、映像蓄積部19から取得した映像を物体領域に合うように変換して、変換後の映像30を投影する。これは、画像を違和感なく物体20に重畳するためである。例えば、映像蓄積部19に蓄積された投影すべき画像が図3(a)に示すように長方形の範囲に並べられた同じ大きさの文字が投影されるものであり、物体領域が台形形状であった場合には図3(b)に示すように短辺(左側の辺)側の文字が長辺(右側の辺)側の文字よりも小さくなるように変換が行われる。また、映像投影部18は、物体領域認識部12又は領域追従部13から入力された情報に基づいて、カメラ11により撮像される画像において物体20が位置する箇所に(ユーザによって視認されるように)映像30を投影する。
この変換及び位置合わせは、映像投影部18が、映像蓄積部19から取得した映像に対して、拡大、縮小、回転移動及び平行移動等を行う既存の画像変換処理を行うことにより実現される。例えば、画像変換処理は、以下の変換行例Mで映像蓄積部19から取得した映像(データ)を変換することによって行われる。
Figure 2010067062

上記の式において、R1x,R2x,R3x,R1y,R2y,R3y,R1z,R2z,R3zは回転パラメータであり、ΔX,ΔY,ΔZは平行移動パラメータである。変換行例Mは、物体20の物体領域の座標(x,y,z)に合わせて、投影すべき画像の座標(X,Y,Z)をそれぞれの軸に対して回転移動及び平行移動させるための行列である。ここで、物体領域及び投影すべき画像は二次元であるのでz=Z=0である。映像投影部18が、これらのパラメータを、物体領域及び映像蓄積部19から取得した映像の形状とそれぞれの位置を示す情報とから算出して変換を行う。物体領域が回転している場合は、回転軸毎に回転パラメータR部分が、物体領域の回転角度θaから求めることができる。物体領域が平行移動している場合は、平行移動分ΔX,ΔY,ΔZのうちその移動軸に沿ったパラメータが設定される。
映像投影部18は、上記のように映像に対して変換処理を行い投影する。こうすることによって、図3(b)に示すように物体20の傾きに合わせて、重畳する画像30が傾く。
映像投影部18によって投影される画像は、例えば、入力デバイスの画像である。例えば、図3に示すように、ユーザ40の入力操作によって入力される文字を投影する。あるいは、キーボードの画像を投影することとしてもよい。ユーザ40は、上記の投影された画像に応じて、物体20(の物体領域)に対して入力操作を行うことができる。また、入力デバイスの画像以外の画像、例えば、ユーザ40によって観賞されるコンテンツ等であってもよい。
上記の映像の投影は、プロジェクタによって行われてもよい。眼鏡型ディスプレイがビデオシースルー型のものである場合は、映像投影部18は、映像蓄積部19に蓄積される映像だけでなく、カメラ11によって撮像された周囲の映像も合わせて投影する。
また、映像投影部18は、出力部17から入力されたユーザ40の入力操作を示す情報に基づいて、投影する映像を変化させてもよい。具体的には、例えば、入力操作が投影する映像を指定するものであった場合、当該指摘に応じた映像を投影する。
映像蓄積部19は、映像投影部18によって投影される映像(データ)30を蓄積しており、映像投影部18からの要求に従って映像を映像投影部18に出力する。
図4に示すように、入力装置10は、CPU(Central Processing Unit)101、主記憶装置であるRAM(Random Access Memory)102及びROM(Read Only Memory)103、並びにハードディスク等の補助記憶装置104等のハードウェアを備えるコンピュータを備えて構成される。また、それ以外のハードウェアとして、入力装置10は、上述したカメラ11及びディスプレイ105とを備えて構成される。これらの構成要素が、動作することにより、入力装置10の上述した機能が発揮される。
引き続いて、図5のフローチャートを用いて本実施形態に係る入力装置10により実行される処理(入力方法)について説明する。本処理は、ユーザが入力装置10を装着して、当該入力装置10を用いた入力操作を行う場合に実行される。
まず、入力装置10では、カメラ11による、仮想的な入力デバイスとされる物体20の撮像が開始される(S01、撮像ステップ)。この際、入力装置10を装着したユーザが物体20の方を向くことによって、カメラ11の撮像方向は物体20の方向となる。この撮像は、本処理中継続して行われる。撮像された画像は、物体領域の認識時には、物体領域認識部12に出力され、それ以降は、物体領域の追従を行ため、領域追従部13に出力される。撮像開始時には、物体領域の認識、及び物体20の特徴を示す情報の取得のため、撮像される物体20には、ユーザ40の指やペン等入力操作が行われるものが被らないようにされる。
続いて、物体領域認識部12によって、撮像された画像から物体領域が認識される(S02、物体領域認識ステップ)。認識された物体領域を示す情報は、領域追従部13、特徴情報取得部14、操作領域検出部15及び映像投影部18に出力される。ここで、領域追従部13では、物体領域を追従するために必要な情報(例えば、マーカ50と物体領域との位置関係を示す情報、又は物体領域の特徴を示す情報)が取得されて保存される。
続いて、特徴情報取得部14によって、物体20の特徴を示す情報が取得される(S03、特徴情報取得ステップ)。ここで取得される物体20の特徴を示す情報は、操作領域の検出に用いられるためのものである。取得は、例えば、カメラ11によって撮像された画像の物体領域の部分から情報を抽出することにより行われる。取得された物体20の特徴を示す情報は、操作領域検出部15に出力される。
続いて、領域追従部13によって、カメラ11によって(物体領域認識部12によって物体領域の認識対象となった画像以降に)撮像された画像における、物体領域の追従が行われる(S04、領域追従ステップ)。追従された物体領域を示す情報は、映像投影部18に出力される。
続いて、映像投影部18によって、投影される映像が、映像蓄積部19から取得される。続いて、映像投影部18によって、物体領域認識部12及び領域追従部13から入力された、物体領域を示す情報に基づいて、上記の映像を変換処理するためのパラメータが算出される。続いて、映像投影部18によって、算出されたパラメータを用いて投影する画像の変換処理が行われる。続いて、映像投影部18によって、変換処理された映像30が、上述したように物体20に重畳されるように投影される(S05、投影ステップ)。
入力装置10では、上記の処理が行われる一方で、操作領域検出部15によって、カメラ11によって撮像された画像における物体領域内の操作領域が検出される(S06、操作領域検出ステップ)。検出された操作領域を示す情報は、入力検出部16に出力される。続いて、検出された操作領域に基づいて、入力検出部16によってユーザ40の入力操作が検出される(S07、入力検出ステップ)。検出された入力操作を示す情報は出力部17に出力され、出力部17から当該入力操作を入力するコンピュータ等に出力が行われる(S08、出力ステップ)。
また、入力操作を示す情報は、出力部17から映像投影部18にも入力される。映像投影部18では、入力された入力操作を示す情報に応じて投影する映像を書き替える(S09)。具体的には、例えば、入力された入力操作を示す情報がコンテンツを再生するものだった場合、当該コンテンツが投影される。
また、入力装置10では、カメラ11による撮像、あるいは映像投影部18による映像の投影が行われている間、上記のS04〜S09の処理が繰り返し行われる。なお、S07において、その時点でユーザ40が物体20に対して入力操作を行っていない場合は、何も入力操作が行われていないことが検出される。また、S09の画像の書き替えの処理は、ユーザ40の入力操作に応じて行われるものであり、必ず行われるものではない。以上が本実施形態に係る入力装置10によって実行さえる処理である。
上述したように、本実施形態に係る入力装置10では、仮想的な入力デバイスとされる物体20の物体領域の認識が行われた上で、当該物体領域に対するユーザ40の操作に応じた操作領域が検出される。従って、カメラ11の撮像方向が動いたり背景自体が動いたりして、周囲の風景が固定されていないような任意の状況であっても、処理を行う(着目する)範囲は追従している物体領域のみとなる。これにより、カメラ11の撮像方向のずれや周囲風景等に係わらず、確実に仮想的な入力装置を実現することができる。
また、本実施形態に係る入力装置10では、仮想的な入力デバイスとされる物体20の特徴とユーザの入力操作に応じた操作領域の特徴とが異なっていればユーザの操作を検出することができる。具体的には例えば、物体20の色と、操作を行うためのユーザ40の指やペンの色とが異なっていれば、入力操作を検出することができる。例えば、人の手による入力を肌色で判定しないため、照明環境や人種によらない安定した認識を行うことができる。従って、入力操作をおこなうためのものが任意のものであっても、確実に仮想的な入力装置を実現することができる。上記から、本実施形態に係る入力装置10では、いつでもどこでも携帯している物体20で映像を楽しんだり、入力操作を行ったりすることができる。
また、本実施形態のように、操作領域を検出するための物体の特徴を示す情報を物体領域から検出するようにすれば、仮想的な入力装置とされる物体20の特徴を示す情報が確実に取得されるので、適切に本発明を実施することができる。但し、上述したように、この方法によらずに物体の特徴を取得することとしてもよい。
また、本実施形態のように物体領域を追従することとすれば、物体20自体やカメラ11の撮像方向が動いたとしても、適切に物体領域を認識することができ、これによって適切に入力操作を検出することができる。ただし、物体20やカメラ11が固定されている場合や1つの画像からや短時間に入力操作を検出する場合等は、必ずしも上記の構成をとる必要はない。
また、本実施形態のように映像の投影を行うこととすれば、キーボード等の仮想的な入力装置のような表示を行ったり、検出されたユーザの操作に応じた表示を行ったりできる。これにより、使い勝手のよい仮想的な入力装置を実現することができる。但し、ユーザ40の入力操作に何らかの表示をしておく必要がない場合(例えば、物体20に対して手をかざすことを入力操作とする場合等)には、必ずしも映像の投影は必要ない。
また、物体領域をマーカ50によって認識することとすれば、予め物体20に関する情報を入力装置10が記憶しておく必要もなく、確実に物体領域を認識することができ、適切に本発明を実施することができる。また、物体20が予め決まっている場合等には、物体領域に係る特徴を予め記憶しておき、その情報に基づいて物体領域を認識することとしても、確実に物体領域を認識することができ、適切に本発明を実施することができる。
なお、上述した入力装置10は、音を検出する手段(例えば、マイク)を備え、検出した音に応じた機能を有していてもよい。具体的には、例えば、操作領域検出部15は、マイクによって所定の音を検出して音が検出されたタイミングで操作領域の検出を行うこととしてもよい。これにより、クリック動作等の入力操作のためにユーザ40が物体20と接触して音が出たときのみ、ユーザ40の入力操作を検出することができる。
具体的には、所定の音の検出は、入力操作に応じて物体20が叩かれた音に係る情報、例えば、音のパターン(リズム、音声、音量)を予め記憶しておき、その音のパターンとマイクから入力された音とが一致する(部分がある)かを判断することによって行う。即ち、検出する音を予め記憶(登録)しておき、記憶した音を物体20から発生した音として検出する。この登録は入力装置10の開発者が行ってもよいし、ユーザ40が自分自身で好みのパターンを登録することとしてもよい。但し、必ずしも音の情報の記憶は必ずしも必要ではなく、例えば、一定量の大きさの音(予め設定した閾値を超える音量を有する音)が発生した場合に音を検出する等の構成としてもよい。また、周囲が騒がしい際、マイクでリアルタイムに雑音を解析し、雑音モデルを作成することによって雑音除去を行うこともできる。
このような構成とすれば、例えば、ユーザ40が操作領域を検出するタイミングを任意に決めることができ、ユーザ40が任意のタイミングで入力操作を行うことができる。従って、ユーザ40に操作性の高い入力操作を行わせることができる。また、ユーザ40が本当に入力操作を行いたいときのみ入力操作を検出することができ、高い精度で入力操作を認識することができる。
また、物体20の物体領域は、以下のようにユーザ40が指定することとしてもよい。この指定は、図6に示すように、例えば、物体20の形状のすみ(特徴点)21を指で叩いて音を出すことによって行われる。指定された物体20の物体領域は、入力装置10の物体領域認識部12によって認識される。
まず、物体領域認識部12は、上述した方法と同様にマイクによって集音された音に、物体20から発生した特定の音が含まれていることを検出する。続いて、物体領域認識部12は、上記の特定の音が検出されたタイミングでカメラ11によって撮像された画像における、上記の特定の音が発生した位置(特徴点)を検出する。具体的には、特定の音が検出されたタイミングでカメラ11から入力された画像から上記の位置の検出を行う。物体領域認識部12は、物体20を叩くものに係る情報を予め記憶しておき、上記のタイミングの画像から当該情報に基づいて物体20を叩くものの位置(物体20が叩かれた位置)を検出して、検出された位置を上記の特定の音が発生した位置とする。物体20を叩くものとは、例えば、ユーザ40の指やユーザ40に用いられるペン等の道具などであり、予め指定されたものである。
ユーザの指などの物体20を叩くものの画像中の位置の検出は、画像処理によって行われる。具体的には、例えば、物体20を叩くものに係る情報として指の色である肌色を予め物体領域認識部12が記憶しておき、画像中の肌色の領域のうち最も大きい領域(画素数の多い領域)を検出して、その最も上の座標を検出する位置とする。また、肌色の領域の凹凸を検出して、予め物体領域認識部12が記憶した特定の形状(例えば、楕円)を認識して、その形状のうちの所定の点を検出する位置としてもよい。また、手のモデルを作成しておき、予め物体領域認識部12に記憶させておき、その情報に基づいて指先を検出して、指先の点を検出する位置としてもよい。上記の位置の検出は、(一つの)物体20の物体領域に対して複数回(例えば3回)行われる。この回数が多いほど、物体20の物体領域の、より詳細な認識が可能になる。
なお、位置を検出する画像は、例えば、カメラ11によって撮像された画像に撮像された時刻の情報を対応付けておき、特定の音が検出された時刻に基づいて特定されてもよい。
物体領域認識部12は、検出した点を物体領域の特定が行われるまで追従する。カメラ11による撮像は、複数の位置検出が行われている間行われており、撮像された画像は時間変化する。一点目の位置検出が行われた後、次の点の検出が行われるまでに物体20を手で持っていたりすると画像における検出した点の位置が動いてしまうことがある。また、カメラ11の撮像方向が動いてしまい、画像における検出した点の位置が動いてしまうことがある。位置の検出(追従)は、上記のように位置の特定を複数の時刻にわたる画像を用いて行う場合に適切に形状の推定を行えるようにするためのものである。
具体的には、物体領域認識部12は、位置検出に用いられた画像から、検出された座標近傍の所定の範囲の画像を抽出する。物体領域認識部12は、当該所定の範囲の画像を、検出された位置の特徴を示す画像として記憶する。続いて、物体領域認識部12は、追従対象となる画像から、上記記憶した所定の範囲の画像に対応する部分を検出して、当該部分から追従した位置(画像上の二次元座標)を特定する。この検出は、具体的には例えば、オプティカルフロー等を用いた特徴点追従方法等が用いられて行われる。
続いて、物体領域認識部12は、検出された位置、及び追従された位置から物体20の物体領域を推定(認識)する。ここで推定される物体領域は、二次元の形状(カメラ11によって撮像された画像内での形状)である。また、ここでの物体領域の推定には、(カメラ11によって撮像された画像内での)物体領域の位置を推定することも含む。物体領域認識部12は、検出された(追従された)位置が所定の数(例えば3点)になったら物体領域の推定を行う。位置をいくつ用いて物体領域の推定を行うかについては、予め物体領域認識部12に記憶されている。
物体領域認識部12は、具体的には例えば、検出された位置を結ぶことによって物体20の物体領域を推定する。また、物体領域認識部12は、検出された位置を結んだ形状の図形に内接する図形(例えば四角形)、検出された位置を全て含む図形を推定する物体領域としてもよい。また、上記の投影を行う範囲の画像上の大きさを予め設定しておき、検出された位置が当該範囲に収まるように近似して、物体領域を推定してもよい。物体領域認識部12は、物体領域を推定するための情報(例えば、四角形等の形状が決まっている場合はその情報)又はルールを予め記憶しておき、その情報又はルールを用いて物体領域の推定を行う。
上述したような物体領域の認識を用いることとすれば、物体20の撮像、音の検出、及び音が発生した位置の検出によって物体20の物体領域の推定が行われる。従って、簡易かつ確実に物体領域を認識することができ、物体領域を認識することができ、適切に本発明を実施することができる。
なお、上述した方法では、ユーザ40が物体20を叩く等して、物体20から音を発生させることとしたが、必ずしも物体20から音を発生させることを前提としなくてもよい。例えば、ユーザ40の入力音の認識において、周囲が騒がしく物体20を叩く音が取得できない場合、ユーザの声を検出する音としてもよい。その場合、ユーザの声が検出されたタイミングでカメラ11によって撮像された画像において、ユーザの指が指している点を検出する。検出される点は、物体20の物体領域に応じた位置である。
また、上述した方法とマーカ50の検出とを併用して用いることとしてもよい。即ち、図7に示すように、マーカ50周辺の特徴のみから物体領域を判断するのではなく、マーカ50である程度の物体領域を推定した後、推定された物体領域内を指で叩いて物体領域Aを指定すれば、カメラ11によって撮像された画像全体からではなく、ある程度狭まった領域内から指を検出することができるため、効率的にユーザの指を検出することができる。また、過去フレームとの差分又は物体20の特徴以外の領域を、物体領域として利用することができる。また、マーカ50のみで物体領域を推定するよりも、正確にユーザ40が仮想的な入力装置として利用したい物体領域を指定することができる。また、図7に示すように物体20の中の一部分を物体領域とすることもできる。
また、本実施形態では、カメラ11によって撮像されて得られる画像は、通常の(可視光により撮像される)画像であることとしたが、必ずしも上記の画像でなくてもよく、物体20の特徴が認識できるものであればよい。具体的には例えば、赤外線による画像、距離画像、サーモグラフィ(温度分布)による画像等でもよい。
本発明の実施形態における入力装置の外観構成を模式的に示す図である。 本発明の実施形態における入力装置の機能構成を示す図である。 入力装置によって投影される映像を示す図である。 本発明の実施形態における入力装置のハードウェア構成を示す図である。 本発明の実施形態における入力装置で実行される処理(入力方法)を示すフローチャートである。 物体領域を認識する際にユーザによって物体が叩かれて音が発生する様子を示す図である。 物体領域を認識する際にユーザによって物体が叩かれて音が発生する様子の別の例を示す図である。
符号の説明
10…入力装置、11…カメラ、12…物体領域認識部、13…領域追従部、14…特徴情報取得部、15…操作領域検出部、16…入力検出部、17…出力部、18…映像投影部、19…映像蓄積部、101…CPU、102…RAM、103…ROM、104…補助記憶装置、105…ディスプレイ、20…物体、30…映像、40…ユーザ、50…マーカ。

Claims (9)

  1. 物体を撮像する撮像手段と、
    前記撮像手段によって撮像された画像から、当該画像における前記物体が位置する物体領域を認識する物体領域認識手段と、
    前記物体の特徴を示す情報を取得する特徴情報取得手段と、
    前記撮像手段によって撮像された画像における、前記物体領域認識手段によって認識された前記物体領域内の、前記物体特徴取得手段によって取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出手段と、
    前記操作領域検出手段によって検出された前記操作領域に基づいて、ユーザの入力操作を検出する入力検出手段と、
    前記入力検出手段によって検出された前記ユーザの入力操作を示す情報を出力する出力手段と、
    を備える入力システム。
  2. 前記物体情報取得手段は、前記撮像手段によって撮像された画像における、前記物体領域認識手段によって認識された前記物体領域から前記物体の特徴を抽出することによって、当該物体の特徴を示す情報を取得することを特徴とする請求項1に記載の入力システム。
  3. 前記撮像手段は、複数の時刻にわたって前記物体を撮像し、
    前記撮像手段によって撮像された時間変化した画像における、前記物体領域認識手段によって認識された前記領域に対応する領域を認識する領域追従手段を更に備えることを特徴とする請求項1又は2に記載の入力システム。
  4. 前記物体領域認識手段によって認識された前記物体領域に応じて、映像を投影する投影手段を更に備える請求項1〜3のいずれか一項に記載の入力システム。
  5. 前記物体領域認識手段は、前記物体に予め設けられたマーカを検出することによって前記物体領域を認識することを特徴とする請求項1〜4のいずれか一項に記載の入力システム。
  6. 前記物体領域認識手段は、所定の音を検出して、当該音が検出されたタイミングで前記撮像手段によって撮像された画像における前記物体領域に応じた位置を検出して、当該位置から当該物体領域を認識することを特徴とする請求項1〜5のいずれか一項に記載の入力システム。
  7. 前記物体領域認識手段は、前記物体領域に係る特徴を示す情報を予め記憶しておき、当該情報に基づいて当該物体領域を認識することを特徴とする請求項1〜6のいずれか一項に記載の入力システム。
  8. 前記操作領域検出手段は、所定の音を検出して、当該音が検出されたタイミングで前記撮像手段によって撮像された画像における前記操作領域を検出することを特徴とする請求項1〜7のいずれか一項に記載の入力システム。
  9. 物体を撮像する撮像ステップと、
    前記撮像ステップにおいて撮像された画像から、当該画像における前記物体が位置する物体領域を認識する物体領域認識ステップと、
    前記物体の特徴を示す情報を取得する特徴情報取得ステップと、
    前記撮像ステップにおいて撮像された画像における、前記物体領域認識ステップにおいて認識された前記物体領域内の、前記物体特徴取得ステップにおいて取得された情報に係る特徴と異なる特徴を有する操作領域を検出する操作領域検出ステップと、
    前記操作領域検出ステップにおいて検出された前記操作領域に基づいて、ユーザの入力操作を検出する入力検出ステップと、
    前記入力検出ステップにおいて検出された前記ユーザの入力操作を示す情報を出力する出力ステップと、
    を備える入力方法。
JP2008233603A 2008-09-11 2008-09-11 入力システム及び入力方法 Expired - Fee Related JP5205187B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008233603A JP5205187B2 (ja) 2008-09-11 2008-09-11 入力システム及び入力方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008233603A JP5205187B2 (ja) 2008-09-11 2008-09-11 入力システム及び入力方法

Publications (2)

Publication Number Publication Date
JP2010067062A true JP2010067062A (ja) 2010-03-25
JP5205187B2 JP5205187B2 (ja) 2013-06-05

Family

ID=42192589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008233603A Expired - Fee Related JP5205187B2 (ja) 2008-09-11 2008-09-11 入力システム及び入力方法

Country Status (1)

Country Link
JP (1) JP5205187B2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010038879A (ja) * 2008-08-08 2010-02-18 Ntt Docomo Inc 物体形状認識システム及び物体形状認識方法
JP2012053532A (ja) * 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報処理装置及び方法、並びにプログラム
JP2013114375A (ja) * 2011-11-28 2013-06-10 Seiko Epson Corp 表示システム、及び操作入力方法
JP2013120502A (ja) * 2011-12-07 2013-06-17 Fujitsu Ltd 画像処理装置、画像処理方法
WO2014155885A1 (ja) * 2013-03-27 2014-10-02 シャープ株式会社 入力装置
CN104272224A (zh) * 2012-04-13 2015-01-07 浦项工科大学校产学协力团 用于识别来自虚拟键盘的键输入的方法及装置
JP2015069512A (ja) * 2013-09-30 2015-04-13 株式会社Nttドコモ 情報処理装置及び情報処理方法
CN104951145A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 信息处理方法和装置
US9158375B2 (en) 2010-07-20 2015-10-13 Apple Inc. Interactive reality augmentation for natural interaction
JP2015191480A (ja) * 2014-03-28 2015-11-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP6086461B1 (ja) * 2016-09-09 2017-03-01 株式会社ネットアプリ タッチパネル及びタッチパネルシステム
JPWO2015030264A1 (ja) * 2013-08-30 2017-03-02 国立大学法人山梨大学 クリック動作検出装置,方法およびプログラム
US10080963B2 (en) 2014-03-28 2018-09-25 Sony Interactive Entertainment Inc. Object manipulation method, object manipulation program, and information processing apparatus
JP2021501496A (ja) * 2017-09-29 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント ロボットユーティリティ及びインターフェースデバイス
JPWO2019176009A1 (ja) * 2018-03-14 2021-02-18 マクセル株式会社 携帯情報端末
JP2022028692A (ja) * 2017-04-28 2022-02-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
JPWO2022180894A1 (ja) * 2021-02-24 2022-09-01

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125260A (ja) * 1997-07-08 1999-01-29 Matsushita Electric Ind Co Ltd 手の状態検出装置
JP2007219966A (ja) * 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1125260A (ja) * 1997-07-08 1999-01-29 Matsushita Electric Ind Co Ltd 手の状態検出装置
JP2007219966A (ja) * 2006-02-20 2007-08-30 Sharp Corp 投影入力装置、投影入力装置を備えた情報端末及び充電器

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010038879A (ja) * 2008-08-08 2010-02-18 Ntt Docomo Inc 物体形状認識システム及び物体形状認識方法
US9158375B2 (en) 2010-07-20 2015-10-13 Apple Inc. Interactive reality augmentation for natural interaction
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP2012053532A (ja) * 2010-08-31 2012-03-15 Casio Comput Co Ltd 情報処理装置及び方法、並びにプログラム
CN102385459A (zh) * 2010-08-31 2012-03-21 卡西欧计算机株式会社 信息处理装置及方法
JP2013114375A (ja) * 2011-11-28 2013-06-10 Seiko Epson Corp 表示システム、及び操作入力方法
US9678663B2 (en) 2011-11-28 2017-06-13 Seiko Epson Corporation Display system and operation input method
JP2013120502A (ja) * 2011-12-07 2013-06-17 Fujitsu Ltd 画像処理装置、画像処理方法
US9213897B2 (en) 2011-12-07 2015-12-15 Fujitsu Limited Image processing device and method
JP2015513163A (ja) * 2012-04-13 2015-04-30 ポハン工科大学校産学協力団Postech Academy−Industry Foundation 仮想キーボード上のキー入力を認識する方法及びその装置
CN104272224A (zh) * 2012-04-13 2015-01-07 浦项工科大学校产学协力团 用于识别来自虚拟键盘的键输入的方法及装置
US9766714B2 (en) 2012-04-13 2017-09-19 Postech Academy-Industry Foundation Method and apparatus for recognizing key input from virtual keyboard
WO2014155885A1 (ja) * 2013-03-27 2014-10-02 シャープ株式会社 入力装置
JPWO2015030264A1 (ja) * 2013-08-30 2017-03-02 国立大学法人山梨大学 クリック動作検出装置,方法およびプログラム
JP2015069512A (ja) * 2013-09-30 2015-04-13 株式会社Nttドコモ 情報処理装置及び情報処理方法
CN104951145A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 信息处理方法和装置
JP2015191480A (ja) * 2014-03-28 2015-11-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、オブジェクトの操作方法、及びオブジェクトの操作プログラム
US10080963B2 (en) 2014-03-28 2018-09-25 Sony Interactive Entertainment Inc. Object manipulation method, object manipulation program, and information processing apparatus
JP6086461B1 (ja) * 2016-09-09 2017-03-01 株式会社ネットアプリ タッチパネル及びタッチパネルシステム
WO2018047803A1 (ja) * 2016-09-09 2018-03-15 株式会社ネットアプリ タッチパネル及びタッチパネルシステム
JP2018041390A (ja) * 2016-09-09 2018-03-15 株式会社ネットアプリ タッチパネル及びタッチパネルシステム
US10635207B2 (en) 2016-09-09 2020-04-28 Netappli Co., Ltd. Touch panel and touch panel system
JP2022028692A (ja) * 2017-04-28 2022-02-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11617942B2 (en) 2017-04-28 2023-04-04 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US11896893B2 (en) 2017-04-28 2024-02-13 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2021501496A (ja) * 2017-09-29 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント ロボットユーティリティ及びインターフェースデバイス
JPWO2019176009A1 (ja) * 2018-03-14 2021-02-18 マクセル株式会社 携帯情報端末
JP7155242B2 (ja) 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
JPWO2022180894A1 (ja) * 2021-02-24 2022-09-01
WO2022180894A1 (ja) * 2021-02-24 2022-09-01 合同会社Vessk 触覚拡張情報処理システム、ソフトウエア、方法並びに記録媒体

Also Published As

Publication number Publication date
JP5205187B2 (ja) 2013-06-05

Similar Documents

Publication Publication Date Title
JP5205187B2 (ja) 入力システム及び入力方法
US11262840B2 (en) Gaze detection in a 3D mapping environment
JP2022095879A (ja) 眼の特徴を用いる眼ポーズ識別
TWI486629B (zh) 穿透型頭部穿戴式顯示系統與互動操作方法
TW202119199A (zh) 虛擬鍵盤
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
US9778748B2 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
JP2019087279A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
JP4323180B2 (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP2002213947A (ja) ターゲット位置を測定するシステム及びその方法
JP2009265809A (ja) 情報端末装置
KR100692526B1 (ko) 시스템 자동제어용 제스처 인식 장치 및 그 방법
JPWO2013114806A1 (ja) 生体認証装置及び生体認証方法
JP2009003813A (ja) 手指形状推定装置及び手指形状推定方法、並びにプログラム
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
US20220019288A1 (en) Information processing apparatus, information processing method, and program
WO2019037257A1 (zh) 密码输入的控制设备、方法及计算机可读存储介质
JP2013161406A (ja) データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
JP6230666B2 (ja) データ入力装置、データ入力方法、及びデータ入力プログラム
JP5464661B2 (ja) 情報端末装置
JP5068711B2 (ja) 物体形状認識システム及び物体形状認識方法
JP4972013B2 (ja) 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体
US11054941B2 (en) Information processing system, information processing method, and program for correcting operation direction and operation amount
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5205187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees