JP2014174747A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2014174747A
JP2014174747A JP2013046902A JP2013046902A JP2014174747A JP 2014174747 A JP2014174747 A JP 2014174747A JP 2013046902 A JP2013046902 A JP 2013046902A JP 2013046902 A JP2013046902 A JP 2013046902A JP 2014174747 A JP2014174747 A JP 2014174747A
Authority
JP
Japan
Prior art keywords
information processing
viewpoint
processing apparatus
user
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013046902A
Other languages
English (en)
Other versions
JP5962547B2 (ja
JP2014174747A5 (ja
Inventor
Kentaro Kimura
健太郎 木村
Takuro Ikeda
卓郎 池田
Tetsuo Ikeda
哲男 池田
Tsubasa Tsukahara
翼 塚原
Yasuyuki Koga
康之 古賀
Atsushi Izumihara
厚史 泉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013046902A priority Critical patent/JP5962547B2/ja
Priority to US14/772,046 priority patent/US10719121B2/en
Priority to EP14704681.7A priority patent/EP2965169A1/en
Priority to CN201480011942.8A priority patent/CN105009034B/zh
Priority to PCT/JP2014/000245 priority patent/WO2014136373A1/en
Publication of JP2014174747A publication Critical patent/JP2014174747A/ja
Publication of JP2014174747A5 publication Critical patent/JP2014174747A5/ja
Application granted granted Critical
Publication of JP5962547B2 publication Critical patent/JP5962547B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術を提供する。
【解決手段】撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置が提供される。
【選択図】図１

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、スマートフォンなどのようにタッチパネルを有する装置が普及している。例えば、ユーザは、タッチパネルを有する装置を使用する場合、表示された撮像画像において指定したい位置があれば、その位置をタッチパネルによって指定することが可能である。また、例えば、マウスを有する装置を使用する場合、表示された撮像画像において指定したい位置があれば、その位置をマウスによって指定することが可能である。
一方、ユーザの頭部に装着するディスプレイとしてＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の開発が進んでいる。ＨＭＤは、ユーザの視線方向を撮像することによって撮像画像を取得し、撮像画像に映る操作体の位置を撮像画像におけるユーザの指定位置とする場合がある。しかし、かかる場合には、撮像画像に操作体が映った段階でその操作体の位置が指定位置であると判断されてしまう可能性がある。
そこで、例えば、撮像画像から対象機器を認識し、撮像画像におけるオブジェクトの上にスイッチをグラフィックとして重畳する技術が開示されている（例えば、特許文献１を参照）。かかる技術においては、スイッチに対する指の押し込み動作がなされた場合に、オブジェクトに割り当てられた動作がなされる。すなわち、スイッチに対する指の押し込み動作がなされたときにユーザによる位置の指定がなされたと判断することが可能である。
また、例えば、ユーザによる所定のジェスチャ（例えば、２回連続で行うまばたきや、数秒間見つめ続けるジェスチャ）が検出された場合に、ユーザの視点の位置に存在するオブジェクトを選択する技術が開示されている（例えば、特許文献２を参照）。かかる技術によれば、所定のジェスチャがなされたときのユーザの視点の位置をユーザにより指定された位置と判断することが可能である。
特開２０１１−２０９９６５号公報 特開２０１２−８７４６号公報
しかしながら、処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術が実現されることが望ましい。
本開示によれば、撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮像画像を取得することと、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、を含む、情報処理方法が提供される。
コンピュータを、撮像画像を取得する画像取得部と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、を備える、情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、処理負荷を低減させ、ユーザの利便性の低下を抑制しつつ、撮像画像に基づく操作を制御することが可能な技術を提供することが可能である。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係る情報処理装置の機能構成例を示す図である。 撮像画像に映るオブジェクトの認識結果の例を示す図である。 所定のジェスチャがなされる前におけるオブジェクトの表示例と撮像結果の例とを示す図である。 所定のジェスチャが開始された場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。 所定のジェスチャが解除されるまでに視点移動がなかった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。 所定のジェスチャが解除されるまでに視点移動があった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。 本開示の実施形態に係る情報処理システムの動作例を説明するための図である。 操作実行部によるタップ操作の実行例を説明するための図である。 操作実行部によるドラッグ操作の実行例１を説明するための図である。 操作実行部によるドラッグ操作の実行例２を説明するための図である。 操作実行部によるドラッグ操作の実行例３を説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．情報処理システムの構成例
１−２．情報処理システムの機能構成例
１−３．情報処理システムの機能詳細
１−４．情報処理システムの動作
１−５．タップ操作の例
１−６．ドラッグ操作の例
１−７．ハードウェア構成例
２．むすび
＜＜１．実施形態＞＞
まず、本開示の実施形態について説明する。
［１−１．情報処理システムの構成例］
最初に、本開示の実施形態に係る情報処理システム１の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、情報処理システム１は、情報処理装置１０と、撮像部１３０と、センサ部１４０と、出力部１５０とを備える。
撮像部１３０は、撮像範囲を撮像する機能を有する。例えば、撮像部１３０は、ユーザの視線方向を撮像することができるようにユーザの頭部に装着されている。撮像部１３０によって撮像されて得られた撮像画像３０は、例えば、無線信号または有線信号により情報処理装置１０に提供される。なお、図１に示した例では、撮像部１３０は情報処理装置１０と別体に構成されているが、撮像部１３０は、情報処理装置１０と一体化されていてもよい。
図１に示した例では、撮像範囲内にオブジェクト４０ａ〜４０ｅが存在するため、撮像画像３０にはオブジェクト４０ａ〜４０ｅが映る。なお、以下の説明においては、オブジェクト４０ａ〜４０ｅが書籍である場合を例として説明するが、オブジェクト４０ａ〜４０ｅは、音楽や映画等の書籍以外の物体であってもよい。また、撮像範囲内に存在するオブジェクト４０の数は特に限定されない。
センサ部１４０は、ユーザの身体の所定部位を撮像する機能を有する。例えば、センサ部１４０は、ユーザの目領域を撮像して撮像結果を取得する。以下の説明においては、センサ部１４０によってユーザの両方の目領域が撮像される場合を主に想定するが、センサ部１４０はユーザの片方の目領域を撮像してもよい。また、センサ部１４０によって撮像される所定部位は、ユーザの目領域に限定されない。例えば、センサ部１４０によって撮像される所定部位は、ユーザの身体の他の部位（例えば、ユーザの脚や、鼻、口など）であってもよい。
センサ部１４０によって撮像されて得られた撮像結果５０は、例えば、無線信号または有線信号により情報処理装置１０に提供される。なお、図１に示した例では、センサ部１４０は情報処理装置１０と別体に構成されているが、センサ部１４０は、情報処理装置１０と一体化されていてもよい。また、後に説明するように、情報処理システム１は、センサ部１４０の他にセンサを有していてもよい。
出力部１５０は、情報処理装置１０から無線信号または有線信号により提供された制御信号に従って各種の情報を出力する機能を有する。出力部１５０によって出力される情報の種類は特に限定されない。したがって、出力部１５０によって出力される情報は、画像（例えば、静止画、動画など）であってもよいし、音声であってもよい。以下の説明においては、出力部１５０が透過型ＨＭＤである場合を主に想定するが、出力部１５０は非透過型ＨＭＤであってもよいし、他の出力装置（例えば、音声出力装置）であってもよい。なお、図１に示した例では、出力部１５０は情報処理装置１０と別体に構成されているが、出力部１５０は、情報処理装置１０と一体化されていてもよい。
以上、本開示の実施形態に係る情報処理システム１の構成例について説明した。
［１−２．情報処理システムの機能構成例］
続いて、本開示の実施形態に係る情報処理システム１の機能構成例について説明する。図２は、本開示の実施形態に係る情報処理システム１の機能構成例を示す図である。図２に示すように、本開示の実施形態に係る情報処理装置１０は、制御部１１０と、記憶部１２０とを備える。上記したように、撮像部１３０、センサ部１４０および出力部１５０それぞれは、情報処理装置１０と無線または有線により接続されている。
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサに相当する。制御部１１０は、記憶部１２０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、画像取得部１１１と、認識部１１２と、出力制御部１１３と、ジェスチャ検出部１１４と、視点検出部１１５と、操作制御部１１６と、操作実行部１１７とを有する。これらの各機能ブロックそれぞれが有する機能については後に説明する。
記憶部１２０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１２０は、プログラムによって使用される各種のデータ（例えば、表示対象のオブジェクトなど）を記憶することもできる。なお、図２に示した例では、記憶部１２０は情報処理装置１０と一体化されているが、記憶部１２０は情報処理装置１０と別体に構成されていてもよい。
以上、本開示の実施形態に係る情報処理システム１の機能構成例について説明した。
［１−３．情報処理システムの機能詳細］
続いて、本開示の実施形態に係る情報処理システム１の機能詳細について説明する。図３は、撮像画像に映るオブジェクトの認識結果の例を示す図である。図１に示したように、例えば、ユーザが書店に訪れ、書店内に並べられている書籍に視線を向けると、撮像部１３０により撮像範囲が撮像される。画像取得部１１１は、撮像部１３０により撮像された撮像画像３０を取得する。
撮像画像３０が画像取得部１１１によって取得されると、認識部１１２によって撮像画像３０からオブジェクト４０ａ〜４０ｅが認識される。例えば、認識部１１２は、撮像画像３０から、オブジェクト４０ａ〜４０ｅ、実空間におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識する。例えば、認識部１１２は、撮像画像３０から決定される特徴量をあらかじめ登録されたオブジェクトの特徴量と照合することにより、オブジェクト４０ａ〜４０ｅを認識することができる。
より具体的には、認識部１１２は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って撮像画像３０に映るオブジェクト４０ａ〜４０ｅの特徴量を決定し、決定した特徴量をあらかじめ登録されたオブジェクトの特徴量と照合する。そして、認識部１１２は、撮像画像３０に映るオブジェクト４０ａ〜４０ｅの特徴量と最も適合する特徴量と関連付けられているオブジェクト識別情報、実空間におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識する。
ここで、認識部１１２により、オブジェクトの特徴量とオブジェクト識別情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部１２０により記憶されていてもよいし、サーバから受信されてもよい。オブジェクトの特徴量は、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従ってオブジェクトの学習用画像から決定された特徴量の集合であってもよい。
なお、オブジェクト４０ａ〜４０ｅの認識手法はかかる例に限定されない。例えば、認識部１１２は、オブジェクト４０ａ〜４０ｅそれぞれに関連付けられている既知の図形、記号またはマーカ（例えば、人工マーカ、自然マーカなど）を認識することにより、オブジェクト４０ａ〜４０ｅそれぞれを間接的に認識してもよい。また、認識部１１２は、オブジェクト４０ａ〜４０ｅを認識し、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０におけるサイズおよび形状からオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を認識してもよい。
また、上記では、認識部１１２が撮像画像３０に含まれるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を画像処理により認識する例を説明したが、オブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢の認識手法は画像処理による認識手法に限定されない。例えば、認識部１１２は、オブジェクト４０ａ〜４０ｅそれぞれの向きおよびオブジェクト４０ａ〜４０ｅそれぞれの現在位置を検出し、検出結果に基づいて、撮像画像３０におけるオブジェクト４０ａ〜４０ｅそれぞれの位置および姿勢を推定することも可能である。
なお、図２に示した例では、認識部１１２は、情報処理装置１０に備えられているが、認識部１１２は、情報処理装置１０と通信可能なサーバに備えられていてもよい。かかる場合には、画像取得部１１１により取得された撮像画像３０がサーバに提供され、サーバによって撮像画像３０に基づいた認識が行われると、認識結果がサーバから情報処理装置１０に提供される。
出力制御部１１３は、認識部１１２により認識されたオブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置に対応する位置に対して、オブジェクト６０ａを表示させてもよい。図３には、出力制御部１１３が、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置に対応する位置（例えば、オブジェクト４０ａ〜４０ｅそれぞれの撮像画像３０における位置）に対して、オブジェクト６０ａの例として所定の図形（例えば、円形）を表示させた場合におけるユーザの視野８０ｘの例が示されている。
なお、オブジェクト６０ａの形状は特に限定されない。また、オブジェクト６０ａが表示される位置も特に限定されない。出力制御部１１３は、認識部１１２により認識されたオブジェクト４０ａ〜４０ｅそれぞれの姿勢に応じて姿勢が変更されたオブジェクト６０ａを表示させてもよい。オブジェクト６０ａは、あらかじめ記憶部１２０に登録されていてもよい。また、オブジェクト６０ａは、表示されなくてもよい。
ジェスチャ検出部１１４は、ユーザの所定のジェスチャを検出する。例えば、所定のジェスチャは、撮像画像３０に所定の操作体（例えば、ユーザの指、ユーザの手のひら、ペンなど）を存在させるジェスチャであってもよい。例えば、ジェスチャ検出部１１４は、撮像画像３０から所定の操作体を認識することにより、撮像画像３０に所定の操作体を存させるジェスチャを検出してもよい。
この場合、撮像画像３０に所定の操作体が存在するか否かが把握できればよく、所定の操作体の方向や位置などを特定する必要がないため、処理負荷の低減が期待される。あるいは、所定のジェスチャは、ユーザの身体の所定の部位を動かすジェスチャ（例えば、片目を閉じるジェスチャ）であってもよい。例えば、ジェスチャ検出部１１４は、撮像結果５０を解析すれば、ユーザの身体の所定の部位を動かすジェスチャを検出することができる。
視点検出部１１５は、ユーザの視点を検出する。例えば、視点検出部１１５は、センサ部１４０により撮像された撮像結果５０に基づいてユーザの視点を検出する。視点検出部１１５による視点の検出手法としては、例えば、特開２０１２−８７４６号公報に開示された技術を用いることができるが、視点検出部１１５による視点の検出手法は特に限定されない。例えば、表示されたオブジェクト６０ａを参照しながら、ユーザが視野８０ｘに存在するオブジェクト４０ａに視点を当てたとする。かかる場合、視点検出部１１５は、ユーザが視野８０ｘに存在するオブジェクト４０ａにユーザの視点が存在することを検出する。
なお、視点検出部１１５は、複数のオブジェクト４０にユーザの視点が存在することを検出することも可能である。例えば、視点検出部１１５は、複数のオブジェクト４０（例えば、オブジェクト４０ａおよびオブジェクト４０ｂ）を囲むようにユーザの視点が動いたことを検出した場合には、ユーザの視点が当該複数のオブジェクト４０に存在することを検出するようにしてもよい。
操作制御部１１６は、視点検出部１１５により検出されるユーザの視点とジェスチャ検出部１１４により検出されるユーザの所定のジェスチャとに基づいて、操作実行部１１７により実行される操作を制御する。操作実行部１１７は、操作制御部１１６による制御に従って操作を実行する。以下、操作制御部１１６による操作の制御手法の例について説明する。
図４は、所定のジェスチャがなされる前におけるオブジェクト７０ａの表示例と撮像結果の例とを示す図である。図４に示すように、ユーザにより所定のジェスチャがなされる前において、視点検出部１１５は、センサ部１４０により撮像された撮像結果５０ａを解析し、視野８０ｘに存在するオブジェクト４０ａに視点が当てられていることを検出したとする。
かかる場合、出力制御部１１３は、オブジェクト４０ａの位置に対応する位置に、オブジェクト４０ａに対応するオブジェクト７０ａを表示させることができる。オブジェクト７０ａが表示された結果、ユーザには視野８０ａが見えることとなる。ただし、オブジェクト７０ａは表示されなくてもよい。オブジェクト４０ａに対応するオブジェクト７０ａは、例えば、記憶部１２０にあらかじめ登録されていてもよいし、サーバから取得されてもよい。
図５は、所定のジェスチャが開始された場合におけるオブジェクト７０ａの表示例と撮像結果の例とを示す図である。ユーザにより所定のジェスチャがなされると、ジェスチャ検出部１１４により所定のジェスチャが検出される。図５に示した例では、ジェスチャ検出部１１４は、撮像画像３０にユーザの指を存在させるジェスチャを所定のジェスチャとして検出している。ユーザには視野８０ｂが見えることとなる。視点検出部１１５は、このときにセンサ部１４０により撮像された撮像結果５０ｂを解析し、視野８０ｂに存在するオブジェクト７０ａに視点が当てられていることを検出したとする。
図６は、所定のジェスチャが解除されるまでに視点移動がなかった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。また、図７は、所定のジェスチャが解除されるまでに視点移動があった場合におけるオブジェクトの表示例と撮像結果の例とを示す図である。ユーザにより所定のジェスチャが解除されると、ジェスチャ検出部１１４により所定のジェスチャの解除が検出される。図６および図７に示した例では、ジェスチャ検出部１１４は、撮像画像３０にユーザの指を存在させるジェスチャが解除されたことを検出している。
ここで、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、撮像画像３０に基づく操作を制御する。このようにすれば、ユーザの指が届かない範囲のオブジェクトを動作させることが可能であり、ユーザの利便性が向上する。また、スイッチの一部を非表示にするような画像処理を行う必要もないため、処理負荷を低減することもできる。さらに、指の押し込み動作を検出する必要がないため、高速な撮像と高い画像処理能力が不要となる。また、オブジェクトを選択する操作以外の操作も実行させることができるため、ユーザの利便性が向上する。
ユーザが視点を移動させたか否かは、どのような手法により判断されてもよい。例えば、センサ部１４０により繰り返し撮像され、撮像結果５０が繰り返し取得される場合には、視点検出部１１５により所定フレーム毎に検出されるユーザの視点の位置の変化に基づいて、視点を移動させたか否かが判断されてもよい。例えば、操作制御部１１６は、ユーザの視点の位置が変化した場合に、視点が移動したと判断してもよい。
あるいは、ユーザの頭部にセンサが装着されている場合には、センサにより検出された検出結果に基づいて、視点を移動させたか否かが判断されてもよい。例えば、ユーザの頭部に加速度センサが装着されている場合、操作制御部１１６は、加速度センサにより検出された加速度が所定値を超えたら視点が移動したと判断してもよい。また、例えば、操作制御部１１６は、ユーザの頭部にジャイロセンサが装着されている場合には、ジャイロセンサにより検出された角速度が所定値を超えたら視点が移動したと判断してもよい。
まず、図６を参照しながら、ユーザが所定のジェスチャの間に視点を移動させなかった場合を説明する。すなわち、視点検出部１１５は、所定のジェスチャの終了時に撮像された撮像結果５０ｃを解析し、視野８０ｃに存在するオブジェクト７０ａに視点が当てられていることを検出したとする。かかる場合、操作制御部１１６は、撮像画像３０においてタップ操作が実行されるように制御する。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させなかった場合には、視点が存在する位置に対するタップ操作が実行されるように制御すればよい。
視点が存在する位置に対するタップ操作は特に限定されない。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させなかった場合には、視点の位置に存在するオブジェクト７０ａを選択する操作が実行されるように制御すればよい。図６に示した例では、ユーザが所定のジェスチャの間に視点を移動させなかったため、視点の位置に存在するオブジェクト７０ａを選択する操作が操作実行部１１７により実行されている。
なお、図６に示されているオブジェクト７０ａは、出力部１５０によって仮想的に表示されているオブジェクトである。しかし、操作実行部１１７によって選択されるオブジェクトは、仮想的に表示されているオブジェクトでなくてもよい。すなわち、操作実行部１１７によって選択されるオブジェクトは、視野８０ｘに存在する実オブジェクト（例えば、オブジェクト４０ａ〜４０ｅなど）であってもよい。
オブジェクト７０ａを選択する操作の結果、具体的にどのような処理が実行されるかに関しては特に限定されない。例えば、操作実行部１１７は、オブジェクト７０ａを選択する操作の結果、オブジェクト７０ａに関する情報を表示させてもよい。図６に示した例では、オブジェクト７０ａが書籍であるため、操作実行部１１７は、オブジェクト７０ａを選択する操作の結果、書籍に関する情報（例えば、書籍の題名、書籍の著者、書籍のあらすじ、書籍の目次、静止画や動画等による書籍の広告画像などの情報）を表示させてもよい。
次に、図７を参照しながら、ユーザが所定のジェスチャの間に視点を移動させた場合を説明する。視点検出部１１５は、所定のジェスチャの間に撮像された撮像結果５０ｄを解析し、視点が移動されたことを検出したとする。かかる場合、操作制御部１１６は、撮像画像３０においてドラッグ操作が実行されるように制御する。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させた場合には、視点の移動開始時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御すればよい。
視点の移動開始時における位置を基準とした視点の移動量に応じたドラッグ操作は特に限定されない。例えば、操作制御部１１６は、ユーザが所定のジェスチャの間に視点を移動させた場合には、視点の移動開始時における位置を基準とした視点の移動に応じたオブジェクト７０ａの移動が実行されるように制御すればよい。図７に示した例では、ユーザが所定のジェスチャの間に視点を移動させたため、視点の移動開始時における視点の位置を基準とした視点の移動量だけ移動方向にオブジェクト７０ａを移動させる操作が操作実行部１１７により実行されている。その結果、ユーザには視野８０ｄが見えることとなる。
なお、図７に示されているオブジェクト７０ａは、出力部１５０によって仮想的に表示されているオブジェクトである。しかし、操作実行部１１７によってドラッグされるオブジェクトは、仮想的に表示されているオブジェクトでなくてもよい。すなわち、操作実行部１１７によってドラッグされるオブジェクトは、視野８０ｘに存在する実オブジェクト（例えば、オブジェクト４０ａ〜４０ｅなど）であってもよい。
以上、本開示の実施形態に係る情報処理システム１の機能詳細について説明した。
［１−４．情報処理システムの動作］
続いて、本開示の実施形態に係る情報処理システム１の動作例について説明する。図８は、本開示の実施形態に係る情報処理システム１の動作例を説明するための図である。図８に示すように、初期状態（状態Ａ）からユーザが所定のジェスチャを行い、ジェスチャ検出部１１４により所定のジェスチャが検出されると、状態Ｂに状態遷移される。
ここで、所定のジェスチャが検出されている間は、状態Ｂが継続するが、視点検出部１１５によりユーザの視点移動が検出される前に、所定のジェスチャが検出されなくなった場合には、操作実行部１１７によりタップ操作がなされるように操作制御部１１６により制御される（状態Ｄ）。一方、所定のジェスチャが検出されている間に、視点移動が検出された場合には、状態Ｃに状態遷移される。状態Ｃにおいては、ドラッグ操作が開始される。
ここで、所定のジェスチャが検出されている間は、状態Ｃが継続するが、所定のジェスチャが検出されなくなった場合には、操作実行部１１７によるドラッグ操作が終了されるように、操作制御部１１６により制御される（状態Ｅ）。
以上、本開示の実施形態に係る情報処理システム１の動作例について説明した。
［１−５．タップ操作の例］
続いて、操作実行部１１７により実行されるタップ操作の実行例について説明する。図９は、操作実行部１１７によるタップ操作の実行例を説明するための図である。図９に示すように、認識部１１２によって撮像画像から認識されて得られた認識結果に基づいて、出力制御部１１３がユーザの視野８０ｙにオブジェクト７０ｂを表示させているとする。ここで、上記のように、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、オブジェクト７０ｂが動くような動画（例えば、図９に示すように、オブジェクト７０ｂが宝箱である場合には、宝箱が開くような動画）を表示させてもよい。
また、上記のように、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、サーバから割引クーポンを取得可能であってもよい。図９に示した例では、オブジェクト７０は宝箱型のオブジェクトであるが、オブジェクトの種類は特に限定されない。例えば、オブジェクト７０はボタンなどであってもよい。いずれにしても、オブジェクト７０ｂに対するタップ操作がなされた場合には、操作実行部１１７は、オブジェクト７０ｂに割り当てられた操作を実行すればよい。
以上、操作実行部１１７により実行されるタップ操作の実行例について説明した。
［１−６．ドラッグ操作の例］
続いて、操作実行部１１７により実行されるドラッグ操作の実行例について説明する。図１０は、操作実行部１１７によるドラッグ操作の実行例１を説明するための図である。図１０に示すように、撮像画像が画像取得部１１１によって取得されたとする。ここで、上記のように、ユーザの視野８０ｐにおいてドラッグ操作がなされた場合には、操作実行部１１７は、視点の移動に応じた領域選択が実行されるように制御してもよい。
例えば、図１０に示すように、操作制御部１１６は、ユーザの視野８０ｐのうち、ドラッグ開始時の視点からドラッグ終了時の視点までの線分を対角線とし、ユーザの視野８０ｐの水平方向を横方向、ユーザの視野８０ｐの垂直方向を縦方向とする矩形領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
続いて、操作実行部１１７により実行されるドラッグ操作の実行例２について説明する。図１１は、操作実行部１１７によるドラッグ操作の実行例２を説明するための図である。例えば、図１１に示すように、操作制御部１１６は、ユーザの視野８０ｑのうち、ドラッグ開始時の視点からドラッグ終了時の視点までの線分を対角線とし、あらかじめ指定されているアスペクト比に応じた長辺および短辺により形成される矩形領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
続いて、操作実行部１１７により実行されるドラッグ操作の実行例３について説明する。図１２は、操作実行部１１７によるドラッグ操作の実行例３を説明するための図である。例えば、図１２に示すように、操作制御部１１６は、ユーザの視野８０ｒのうち、ドラッグ開始から終了までの視点群をつないだ閉領域を選択する操作が操作実行部１１７により実行されるように制御してもよい。
操作実行部１１７により実行されるドラッグ操作の実行例は、かかる例に限定されない。例えば、操作実行部１１７は、視点の移動に応じた領域選択によってユーザの視野に存在する複数のオブジェクトを指定することにより、複数のオブジェクトの組み合わせが発揮する機能を起動することもできる。
例えば、操作実行部１１７は、領域選択によって壁に配置された音楽記録媒体のケースを指定し、当該複数の音楽記録媒体のプレイリストを作成してもよい。また、例えば、操作実行部１１７は、領域選択によって書店で複数の本を選択し、当該複数の本を評価の高い順にソートし、ソートした結果を表示させてもよい。また、例えば、操作実行部１１７は、領域選択によって地図（または、乗り換え案内図）からユーザの通りたい範囲を選択し、その範囲内において経路探索を行ってもよい。
また、例えば、操作実行部１１７は、認識部１１２によって認識されたオブジェクトからを認識部１１２によって認識された他のオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。
例えば、認識部１１２によって認識されたオブジェクトがテレビジョン装置および音楽再生装置である場合に、ユーザが、テレビジョン装置から出力される音楽コンテンツを気に入り、テレビジョン装置から音楽再生装置へのドラッグ＆ドロップを行ったとする。
かかる場合には、操作実行部１１７は、その音楽コンテンツを識別するためのコンテンツ識別情報を音楽再生装置に送信するようにテレビジョン装置に指示を出してもよい。そうすれば、テレビジョン装置からコンテンツ識別情報を受信した音楽再生装置は、そのコンテンツ識別情報により識別される音楽コンテンツを再生することができる。
また、例えば、認識部１１２によって認識されたオブジェクトがリビングに存在するテレビジョン装置である場合に、ユーザがテレビジョン装置から出力される映像コンテンツを気に入り、寝室で映像コンテンツの続きを見たいと考えたとする。
かかる場合には、ユーザは、テレビジョン装置の位置を基準としたドラッグ操作を開始して寝室まで移動し、認識部１１２によって他のテレビジョン装置が認識された場合には、当該他のテレビジョン装置にドロップを行えばよい。かかる場合には、操作実行部１１７は、その映像コンテンツの識別情報および再生位置を当該他のテレビジョン装置に送信するようにテレビジョン装置に指示を出してもよい。そうすれば、テレビジョン装置から識別情報および再生位置を受信した当該他のテレビジョン装置は、その識別情報により識別される映像コンテンツの続きを再生することができる。
また、例えば、操作実行部１１７は、認識部１１２によって認識されたオブジェクトを出力部１５０によって表示されたオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。また、出力部１５０によって表示されたオブジェクトが複数存在する場合であっても、ユーザは視線によってどのオブジェクトにドロップするかを簡易に指定することができる。
例えば、認識部１１２によって認識されたオブジェクトがショッピングモールなどで売られている商品（または、商品のバーコード）であり、出力部１５０によって表示されたオブジェクトが、「お父さんのかご」「お母さんのかご」「わたしのかご」「欲しいものかご」であったとする。そして、家族が広いショッピングモールに買い物に出かけて、それぞれ自由行動しているとする。
そのとき、家族の一員であるユーザが、お母さんが気に入りそうな商品を見つけ、その商品から「お母さんのかご」へのドラッグ＆ドロップを行ったとする。かかる場合には、操作実行部１１７は、その商品に関連する情報（例えば、商品名など）を「お母さんのかご」に対応付けて記憶させてもよい。そうすれば、「お母さんのかご」の中を閲覧する操作を行ったときに、「お母さんのかご」に対応付けて記憶された商品を確認することができる。
また、ユーザが、買うかどうか悩ましい商品を見つけ、その商品から「欲しいものを入れるためのかご」へのドラッグ＆ドロップを行ったとする。かかる場合には、操作実行部１１７は、その商品に関連する情報（例えば、商品名など）を「欲しいものを入れるためのかご」に対応付けて記憶させてもよい。そうすれば、「欲しいものを入れるためのかご」の中を閲覧する操作を行ったときに、「欲しいものを入れるためのかご」に対応付けて記憶された商品を確認することができる。
また、例えば、操作実行部１１７は、出力部１５０によって表示されたオブジェクトから出力部１５０によって表示された他のオブジェクトにドラッグ＆ドロップするといった操作を実行することも可能である。また、出力部１５０によって表示されたオブジェクトが複数存在する場合であっても、ユーザは視線によってどのオブジェクトにドロップするかを簡易に指定することができる。
例えば、出力部１５０によって表示されたオブジェクトがＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術によって重畳された情報（以下、単に「ＡＲ情報」とも言う。）およびユーザの保存フォルダであったとする。そのとき、ユーザが、ＡＲ技術によってユーザの視野に重畳表示されたＡＲ情報を後でじっくり見たいと考え、ＡＲ情報から保存フォルダへのドラッグを行ったとする。
かかる場合には、操作実行部１１７は、ＡＲ情報を保存フォルダに保存することができる。操作実行部１１７は、ユーザの視野に複数のＡＲ情報が存在した場合であっても、ユーザの視線の移動を用いて、ユーザが保存したいＡＲ情報のみを保存フォルダに保存することができる。
以上、操作実行部１１７により実行されるドラッグ操作の実行例について説明した。
［１−７．ハードウェア構成例］
続いて、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１３は、本開示の実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。ただし、図１３に示したハードウェア構成例は、情報処理装置１０のハードウェア構成の一例を示したに過ぎない。したがって、情報処理装置１０のハードウェア構成は、図１３に示した例に限定されない。
図１３に示したように、情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、入力装置９０８と、出力装置９１０と、ストレージ装置９１１と、ドライブ９１２とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
入力装置９０８は、センサ部１４０により撮像された撮像結果および撮像部１３０により撮像された撮像画像の入力を受け付ける。入力装置９０８により入力が受け付けられたセンサデータおよび撮像画像は、ＣＰＵ９０１に出力される。また、入力装置９０８は、他のセンサにより検出された検出結果を、ＣＰＵ９０１に出力してもよい。
出力装置９１０は、出力部１５０に対して出力データを提供する。上記したように、出力部１５０が表示装置により構成されている場合には、出力装置９１０は、ＣＰＵ９０１による制御に従って表示データを出力部１５０に提供する。また、出力部１５０が音声出力装置により構成されている場合には、出力装置９１０は、ＣＰＵ９０１による制御に従って音声データを出力部１５０に提供する。
ストレージ装置９１１は、情報処理装置１０の記憶部１２０の一例として構成されたデータ格納用の装置である。ストレージ装置９１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９１１は、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
ドライブ９１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
以上、本開示の実施形態に係る情報処理装置１０のハードウェア構成例について説明した。
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像画像を取得する画像取得部１１１と、ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、撮像画像に基づく操作を制御する操作制御部１１６と、を備える、情報処理装置１０が提供される。
かかる構成によれば、ユーザの指が届かない範囲のオブジェクトを動作させることが可能であり、ユーザの利便性が向上する。また、スイッチの一部を非表示にするような画像処理を行う必要もないため、処理負荷を低減することもできる。さらに、指の押し込み動作を検出する必要がないため、高速な撮像と高い画像処理能力が不要となる。また、オブジェクトを選択する操作以外の操作も実行させることができるため、ユーザの利便性が向上する。
また、所定のジェスチャの検出と視点の移動がなされたか否かの検出を行えばよいため、ユーザは操作のために装置に触れる必要がない。したがって、撮像部１３０による撮像画像に生じるブレも低減させることができ、出力部１５０により出力される画像の揺れも低減することができる。
また、透過型ＨＭＤを使っているユーザを見かけたとしても、そのユーザに何が起こっているか、何が見えているか、何を操作しているかといった点に関しては、周囲にいる人には分からないことが起こりうる。特に、特開２０１２−８７４６号公報によって開示されている技術などのように、ユーザの視線のみを判定するようにすると、そのユーザが何を見ているのか周囲の人には分からないことがある。ジェスチャに指差しなどが含まれることにより、周囲の人にとってもユーザが何をしているのか分かり易くなる。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置。
（２）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記撮像画像においてタップ操作が実行されるように制御する、
前記（１）に記載の情報処理装置。
（３）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点が存在する位置に対するタップ操作が実行されるように制御する、
前記（２）に記載の情報処理装置。
（４）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点の位置に存在するオブジェクトを選択する操作が実行されるように制御する、
前記（３）に記載の情報処理装置。
（５）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記撮像画像においてドラッグ操作が実行されるように制御する、
前記（１）に記載の情報処理装置。
（６）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御する、
前記（５）に記載の情報処理装置。
（７）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じた領域選択が実行されるように制御する、
前記（６）に記載の情報処理装置。
（８）
前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じたオブジェクトの移動が実行されるように制御する、
前記（６）に記載の情報処理装置。
（９）
前記情報処理装置は、
前記視点を検出する視点検出部をさらに備える、
前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、
前記所定のジェスチャを検出するジェスチャ検出部をさらに備える、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、
前記操作制御部による制御に従って前記撮像画像に基づく操作を実行する操作実行部をさらに備える、
前記（１）〜（１０）のいずれか一項に記載の情報処理装置。

（１２）
前記所定のジェスチャは、前記撮像画像に所定の操作体を存在させるジェスチャである、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記所定のジェスチャは、前記ユーザの身体の所定部位を動かすジェスチャである、
前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１４）
前記操作制御部は、前記視点の位置の変化に基づいて、前記視点を移動させたか否かを判断する、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記操作制御部は、前記ユーザの頭部に装着されたセンサによる検出結果に基づいて前記視点を移動させたか否かを判断する、
前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１６）
撮像画像を取得することと、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、
を含む、情報処理方法。
（１７）
コンピュータを、
撮像画像を取得する画像取得部と、
ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
を備える、情報処理装置として機能させるためのプログラム。
１ 情報処理システム
１０ 情報処理装置
３０ 撮像画像
４０（４０ａ、４０ｂ） オブジェクト
５０（５０ａ、５０ｂ、５０ｃ、５０ｄ） 撮像結果
６０ａ オブジェクト
７０（７０ａ、７０ｂ） オブジェクト
８０（８０ａ、８０ｂ、８０ｃ、８０ｄ、８０ｘ） 視野
１１０ 制御部
１１１ 画像取得部
１１２ 認識部
１１３ 出力制御部
１１４ ジェスチャ検出部
１１５ 視点検出部
１１６ 操作制御部
１１７ 操作実行部
１２０ 記憶部
１３０ 撮像部
１４０ センサ部
１５０ 出力部

Claims (17)

  1. 撮像画像を取得する画像取得部と、
    ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
    を備える、情報処理装置。
  2. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記撮像画像においてタップ操作が実行されるように制御する、
    請求項１に記載の情報処理装置。
  3. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点が存在する位置に対するタップ操作が実行されるように制御する、
    請求項２に記載の情報処理装置。
  4. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させなかった場合には、前記視点の位置に存在するオブジェクトを選択する操作が実行されるように制御する、
    請求項３に記載の情報処理装置。
  5. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記撮像画像においてドラッグ操作が実行されるように制御する、
    請求項１に記載の情報処理装置。
  6. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動時における位置を基準とした視点の移動に応じたドラッグ操作が実行されるように制御する、
    請求項５に記載の情報処理装置。
  7. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じた領域選択が実行されるように制御する、
    請求項６に記載の情報処理装置。
  8. 前記操作制御部は、前記ユーザが前記所定のジェスチャの間に視点を移動させた場合には、前記視点の移動に応じたオブジェクトの移動が実行されるように制御する、
    請求項６に記載の情報処理装置。
  9. 前記情報処理装置は、
    前記視点を検出する視点検出部をさらに備える、
    請求項１に記載の情報処理装置。
  10. 前記情報処理装置は、
    前記所定のジェスチャを検出するジェスチャ検出部をさらに備える、
    請求項１に記載の情報処理装置。
  11. 前記情報処理装置は、
    前記操作制御部による制御に従って前記撮像画像に基づく操作を実行する操作実行部をさらに備える、
    請求項１に記載の情報処理装置。
  12. 前記所定のジェスチャは、前記撮像画像に所定の操作体を存在させるジェスチャである、
    請求項１に記載の情報処理装置。
  13. 前記所定のジェスチャは、前記ユーザの身体の所定部位を動かすジェスチャである、
    請求項１に記載の情報処理装置。
  14. 前記操作制御部は、前記視点の位置の変化に基づいて、前記視点を移動させたか否かを判断する、
    請求項１に記載の情報処理装置。
  15. 前記操作制御部は、前記ユーザの頭部に装着されたセンサによる検出結果に基づいて前記視点を移動させたか否かを判断する、
    請求項１に記載の情報処理装置。
  16. 撮像画像を取得することと、
    ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御することと、
    を含む、情報処理方法。
  17. コンピュータを、
    撮像画像を取得する画像取得部と、
    ユーザが所定のジェスチャの間に視点を移動させたか否かに応じて、前記撮像画像に基づく操作を制御する操作制御部と、
    を備える、情報処理装置として機能させるためのプログラム。
JP2013046902A 2013-03-08 2013-03-08 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5962547B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013046902A JP5962547B2 (ja) 2013-03-08 2013-03-08 情報処理装置、情報処理方法およびプログラム
US14/772,046 US10719121B2 (en) 2013-03-08 2014-01-20 Information processing apparatus and information processing method
EP14704681.7A EP2965169A1 (en) 2013-03-08 2014-01-20 Information processing apparatus, information processing method, and program
CN201480011942.8A CN105009034B (zh) 2013-03-08 2014-01-20 信息处理设备、信息处理方法和程序
PCT/JP2014/000245 WO2014136373A1 (en) 2013-03-08 2014-01-20 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013046902A JP5962547B2 (ja) 2013-03-08 2013-03-08 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2014174747A true JP2014174747A (ja) 2014-09-22
JP2014174747A5 JP2014174747A5 (ja) 2015-04-16
JP5962547B2 JP5962547B2 (ja) 2016-08-03

Family

ID=50112981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013046902A Expired - Fee Related JP5962547B2 (ja) 2013-03-08 2013-03-08 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10719121B2 (ja)
EP (1) EP2965169A1 (ja)
JP (1) JP5962547B2 (ja)
CN (1) CN105009034B (ja)
WO (1) WO2014136373A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP2019016378A (ja) * 2018-09-12 2019-01-31 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10877567B2 (en) 2015-09-01 2020-12-29 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
JP2021170384A (ja) * 2016-05-20 2021-10-28 マジック リープ, インコーポレイテッドMagic Leap, Inc. ユーザインターフェースメニューのコンテキスト認識
US12051167B2 (en) 2016-03-31 2024-07-30 Magic Leap, Inc. Interactions with 3D virtual objects using poses and multiple-DOF controllers

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107625A1 (ja) * 2014-01-15 2015-07-23 日立マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
WO2017057107A1 (ja) * 2015-09-28 2017-04-06 日本電気株式会社 入力装置、入力方法、及びプログラム
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
CN105425399B (zh) * 2016-01-15 2017-11-28 中意工业设计（湖南）有限责任公司 一种根据人眼视觉特点的头戴设备用户界面呈现方法
US10496893B2 (en) 2016-08-11 2019-12-03 DiamondFox Enterprises, LLC Handheld arthropod detection device
US11715556B2 (en) 2016-08-11 2023-08-01 DiamondFox Enterprises, LLC Handheld arthropod detection device
US10620817B2 (en) * 2017-01-13 2020-04-14 International Business Machines Corporation Providing augmented reality links to stored files
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
CN110807728B (zh) * 2019-10-14 2022-12-13 北京字节跳动网络技术有限公司 对象的显示方法、装置、电子设备及计算机可读存储介质
CN117643687B (zh) * 2023-12-18 2024-10-18 长沙物源生物科技有限公司 可调节发光件与眼部间距的镜筒总成及调节方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
WO2005059736A1 (ja) * 2003-12-17 2005-06-30 National University Corporation Shizuoka University 瞳孔検出によるポインタ制御装置及び方法
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2010164784A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6924822B2 (en) * 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
JP2002279274A (ja) * 2001-03-21 2002-09-27 Fujitsu Ltd 広告配信方法および広告配信装置
US8321799B1 (en) * 2003-10-31 2012-11-27 Adobe Systems Incorporated Tabular data sorting and display
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US20120200499A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
JP5743416B2 (ja) 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5548042B2 (ja) 2010-06-23 2014-07-16 ソフトバンクモバイル株式会社 ユーザ端末装置及びショッピングシステム
US9110509B2 (en) * 2010-07-28 2015-08-18 VIZIO Inc. System, method and apparatus for controlling presentation of content
US20120069055A1 (en) * 2010-09-22 2012-03-22 Nikon Corporation Image display apparatus
WO2012054063A1 (en) * 2010-10-22 2012-04-26 Hewlett-Packard Development Company L.P. An augmented reality display system and method of display
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2000101898A (ja) * 1998-09-21 2000-04-07 Fuji Photo Film Co Ltd 電子カメラ
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
WO2005059736A1 (ja) * 2003-12-17 2005-06-30 National University Corporation Shizuoka University 瞳孔検出によるポインタ制御装置及び方法
JP2006155244A (ja) * 2004-11-29 2006-06-15 Olympus Corp 情報表示装置
JP2010164784A (ja) * 2009-01-15 2010-07-29 Brother Ind Ltd ヘッドマウントディスプレイ
WO2010107072A1 (ja) * 2009-03-18 2010-09-23 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2012008745A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp ユーザインターフェース装置及び電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016010448; 蔵田 武志，興梠 正克，加藤 丈和，大隈 隆史，坂上 勝彦: '"ハンドマウスとその応用：色情報と輪郭情報に基づく手の検出と追跡"' 映像情報メディア学会技術報告 第２５巻，第８５号, 20011214, ｐｐ．４７-５２, 社団法人映像情報メディア学会 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981591B1 (ja) * 2015-03-17 2016-08-31 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
WO2016148072A1 (ja) * 2015-03-17 2016-09-22 株式会社 コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP2016173698A (ja) * 2015-03-17 2016-09-29 株式会社コロプラ 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US9721396B2 (en) 2015-03-17 2017-08-01 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
US10877567B2 (en) 2015-09-01 2020-12-29 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
US11169617B2 (en) 2015-09-01 2021-11-09 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
US11880508B2 (en) 2015-09-01 2024-01-23 Kabushiki Kaisha Toshiba Eyeglasses-type wearable device and method using the same
US12051167B2 (en) 2016-03-31 2024-07-30 Magic Leap, Inc. Interactions with 3D virtual objects using poses and multiple-DOF controllers
JP2021170384A (ja) * 2016-05-20 2021-10-28 マジック リープ, インコーポレイテッドMagic Leap, Inc. ユーザインターフェースメニューのコンテキスト認識
US12014464B2 (en) 2016-05-20 2024-06-18 Magic Leap, Inc. Contextual awareness of user interface menus
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US12105869B2 (en) 2018-08-24 2024-10-01 Sony Corporation Information processing apparatus and information processing method
JP2019016378A (ja) * 2018-09-12 2019-01-31 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法

Also Published As

Publication number Publication date
JP5962547B2 (ja) 2016-08-03
US10719121B2 (en) 2020-07-21
CN105009034B (zh) 2018-05-08
WO2014136373A1 (en) 2014-09-12
CN105009034A (zh) 2015-10-28
US20160018885A1 (en) 2016-01-21
EP2965169A1 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
JP5962547B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6044079B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
US20180181273A1 (en) Display control device, display control method, and recording medium
JP5448370B2 (ja) 情報処理装置及びその制御方法、プログラム、記憶媒体
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
CN104238737A (zh) 能够辨识用户操作的信息处理装置及其控制方法
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US20170124762A1 (en) Virtual reality method and system for text manipulation
CN109478413A (zh) 用于缩放功能的系统和方法
JP5446700B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5565886B2 (ja) 入力装置、入力方法、及びプログラム
US20220377041A1 (en) Immersive message management
US9817566B1 (en) Approaches to managing device functionality
US10976912B2 (en) Information processing device, information processing method, and recording medium
US20170329476A1 (en) Device and method for displaying cartoon data
KR20240003467A (ko) 모션 인식에 기초한 영상 콘텐츠 제공 시스템
WO2023028569A1 (en) Product comparison and upgrade in a virtual environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R151 Written notification of patent or utility model registration

Ref document number: 5962547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees