JP2012043195A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2012043195A
JP2012043195A JP2010184007A JP2010184007A JP2012043195A JP 2012043195 A JP2012043195 A JP 2012043195A JP 2010184007 A JP2010184007 A JP 2010184007A JP 2010184007 A JP2010184007 A JP 2010184007A JP 2012043195 A JP2012043195 A JP 2012043195A
Authority
JP
Japan
Prior art keywords
user
virtual
movement
dimensional space
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010184007A
Other languages
English (en)
Other versions
JP5609416B2 (ja
Inventor
Takuro Noda
卓郎 野田
Akihiro Komori
顕博 小森
Nariaki Sato
斉昭 佐藤
Shu Shigeta
脩 繁田
Kazuyuki Yamamoto
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010184007A priority Critical patent/JP5609416B2/ja
Priority to US13/167,793 priority patent/US9411410B2/en
Priority to CN201110236550XA priority patent/CN102375539A/zh
Publication of JP2012043195A publication Critical patent/JP2012043195A/ja
Application granted granted Critical
Publication of JP5609416B2 publication Critical patent/JP5609416B2/ja
Priority to US15/200,809 priority patent/US10241582B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/013Head-up displays characterised by optical features comprising a combiner of particular shape, e.g. curvature
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/06Curved planar reformation of 3D line structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】表示されるオブジェクトに対して、ユーザが自然な身体の動きによって所望の操作指示を与えられるようにする。
【解決手段】情報処理装置100は、ユーザUの身体の曲線状の動きMを操作として取得する取得部110と、仮想的な3次元空間210にオブジェクト220を表示させる表示制御部120と、取得された操作に基づいてオブジェクト220に対する処理を実行する処理部130とを備え、オブジェクト220は、仮想的な3次元空間210に設定される上記ユーザの仮想的な位置230を基準にして、曲線状の動きMに対応する第1の曲面240上に配置される。
【選択図】図3

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、ユーザの身体の動きに基づく操作指示を取得する情報処理装置、情報処理方法およびプログラムに関する。
近年、ユーザの身体の動きに基づいて、PC(Personal Computer)などの情報処理装置に対する操作指示を取得する技術が開発されている。ユーザの身体の動きは、例えば、装着されたマーカ、把持されたコントローラ、またはスペックルパターンを用いた画像解析などによってユーザの手などの身体の部分を認識し、さらに、三角測量、またはTOF(Time Of Flight)などの三次元計測手法によって、認識された身体の部分の位置を特定することによって取得される。
このような技術の例として、特許文献1には、スペックルパターンを用いた画像解析によって識別されたユーザのジェスチャーを、コンピュータアプリケーションに対する入力として用いる技術が記載されている。また、特許文献2には、ユーザが存在する物理空間をシステム上の仮想空間にマッピングし、物理空間において取得したユーザの動きを、仮想空間におけるカーソルの制御に反映させる技術が記載されている。
特開2009−528514号公報 特開2008−530661号公報
しかし、例えば、腕を水平に伸ばした状態で、手を左右方向に移動させようとすると、その手の軌跡が肩の関節を中心とした略円弧状になるように、ユーザの身体の自然な動きは、必ずしも直線的ではない。これに対して、PCなどのアプリケーションでは、例えば左右方向、上下方向、奥行き方向などへの直線的な動きが想定されていることが多い。
そのため、例えば特許文献1および2に記載のように、ユーザの身体の動きを情報処理装置に対する操作指示として用いる場合、ユーザは、所望の操作指示を与えるために、身体の動きが直線的になるように意識的に調整せねばならず、不自然な身体の動きを強いられる場合があるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示されるオブジェクトに対して、ユーザが自然な身体の動きによって所望の操作指示を与えられるようにすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、ユーザの身体の曲線状の動きを操作として取得する取得部と、仮想的な3次元空間にオブジェクトを表示させる表示制御部と、上記取得された操作に基づいて上記オブジェクトに対する処理を実行する処理部とを備え、上記オブジェクトは、上記仮想的な3次元空間に設定される上記ユーザの仮想的な位置を基準にして、上記曲線状の動きに対応する第1の曲面上に配置される情報処理装置が提供される。
このような構成によれば、ユーザは、仮想的な3次元空間において、ユーザ自身の仮想的な位置を基準にして、ユーザの自然な動きである曲線状の動きに対応した曲面上に配置されているオブジェクトを認識することができる。そのため、ユーザは、仮想的な3次元空間におけるオブジェクトの配置と、ユーザの身体の動きとをリンクさせて把握しやすくなる。これによって、ユーザは曲線状の自然な動きによってオブジェクトを操作するように誘導されうる。また、オブジェクトは、仮想的な3次元空間において、ユーザの曲線状の動きに対応する曲面上に配置されているため、ユーザの曲線状の動きによって、ユーザが意図した方向に操作されうる。
上記取得部は、上記ユーザの身体の中心部分の位置を取得し、上記ユーザの仮想的な位置は、上記中心部分の位置に基づいて設定されてもよい。
上記取得部は、上記ユーザの身体までの実際の距離を取得し、上記ユーザの仮想的な位置から上記オブジェクトまでの仮想的な距離は、上記実際の距離に基づいて設定されてもよい。
上記取得部は、上記ユーザの身体のサイズを取得し、上記ユーザの仮想的な位置から上記オブジェクトまでの仮想的な距離は、上記サイズに基づいて設定されてもよい。
上記オブジェクトは、上記ユーザの仮想的な位置を基準にして、上記曲線状の動きに対応する第2の曲面上にも配置され、上記ユーザの仮想的な位置から上記第2の曲面上に配置される上記オブジェクトまでの仮想的な距離は、上記第1の曲面上に配置される上記オブジェクトまでの仮想的な距離よりも大きくてもよい。
上記オブジェクトは、正面と側面とを有し、上記正面を上記ユーザの仮想的な位置に向けて配置されてもよい。
上記ユーザの仮想的な位置は、上記仮想的な3次元空間における点であってもよい。
上記曲線状の動きは略円弧状の動きであり、上記第1の曲面は、上記点を中心とする略球面であってもよい。
上記ユーザの仮想的な位置は、上記仮想的な3次元空間における直線であってもよい。
上記曲線状の動きは略円弧状の動きであり、上記第1の曲面は、上記直線を中心とする略円筒面であってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの身体の曲線状の動きを操作として取得するステップと、仮想的な3次元空間にオブジェクトを表示させるステップと、上記取得された操作に基づいて上記オブジェクトに対する処理を実行するステップとを含み、上記オブジェクトは、上記仮想的な3次元空間に設定される上記ユーザの仮想的な位置を基準にして、上記曲線状の動きに対応する第1の曲面上に配置される情報処理方法が提供される。
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザの身体の曲線状の動きを操作として取得する取得部と、仮想的な3次元空間にオブジェクトを表示させる表示制御部と、上記取得された操作に基づいて上記オブジェクトに対する処理を実行する処理部と、としてコンピュータを機能させ、上記オブジェクトは、上記仮想的な3次元空間に設定される上記ユーザの仮想的な位置を基準にして、上記曲線状の動きに対応する第1の曲面上に配置されるプログラムが提供される。
以上説明したように本発明によれば、表示されるオブジェクトに対して、ユーザが自然な身体の動きによって所望の操作指示を与えられるようにすることができる。
本発明の第1の実施形態に係る情報処理装置の概略的な構成を示す図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態において表示されるオブジェクトの配置について説明するための図である。 同実施形態におけるユーザの位置に応じた基準点の設定の例について説明するための図である。 同実施形態におけるユーザの位置に応じた仮想的な距離の設定の例について説明するための図である。 同実施形態におけるユーザの位置に応じた仮想的な距離の設定の例について説明するための図である。 同実施形態におけるユーザのサイズに応じた仮想的な距離の設定の例について説明するための図である。 同実施形態におけるユーザのサイズに応じた仮想的な距離の設定の例について説明するための図である。 本発明の第2の実施形態において表示されるオブジェクトの配置について説明するための図である。 本発明の第3の実施形態において表示されるオブジェクトの配置について説明するための図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.装置構成
1−2.オブジェクトの表示
2.第2の実施形態
3.第3の実施形態
4.まとめ
<1.第1の実施形態>
[1−1.装置構成]
まず、図1および図2を参照して、本発明の第1の実施形態に係る装置構成について説明する。
図1は、本発明の第1の実施形態に係る情報処理装置100の概略的な構成を示す図である。図1を参照すると、情報処理装置100は、表示画面200に、仮想的な3次元空間210と、仮想的な3次元空間210に配置されるオブジェクト220とを表示させる。ユーザUは、身体の特定部分P1を動かし、その動きMは、情報処理装置100の取得部110によって操作として取得される。情報処理装置100は、取得された操作に基づいて、オブジェクト220に対する処理を実行する。
情報処理装置100は、例えばPCなどの装置でありうる。情報処理装置100は、取得部110を有する。情報処理装置100は、図示されているように、取得部110、および表示画面200と一体であってもよいし、また別体であってもよい。また、情報処理装置100は、取得部110および表示画面200に接続されたネットワーク上のサーバが提供する機能として実現されてもよい。なお、情報処理装置100の機能構成については後述する。
表示画面200は、例えばLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、または有機EL(Electro-Luminescence)パネルなどに映像を表示する装置でありうる。表示画面200は、図示されているように、情報処理装置100と一体であってもよいし、また別体であってもよい。表示画面200には、仮想的な3次元空間210と、仮想的な3次元空間210に配置されるオブジェクト220とが表示される。表示画面200は、例えばヘッドマウントディスプレイ等の他の表示装置によって代替されてもよい。なお、オブジェクト220の表示については後述する。
ここで、情報処理装置100と表示画面200とが一体である場合とは、例えば情報処理装置100がタブレット型のPCであって、表示画面200がその表示部であるような場合である。あるいは、情報処理装置100がテレビであって、表示画面200がその画面であってもよい。一方、情報処理装置100と表示画面200とが別体である場合とは、例えば情報処理装置100がデスクトップ型のPCであって、表示画面200がPCに接続されたディスプレイであるような場合である。あるいは、情報処理装置100がサーバによって提供される機能であって、表示画面200がネットワークを介してサーバに接続されたテレビであってもよい。
ユーザUは、身体の特定部分P1の動きMによって、表示画面200に表示されたオブジェクト220を操作する。身体の特定部分P1は、ここでは手として図示されているが、左手、肘、肩、顔、膝、または足など、ユーザUの身体の他の部分であってもよい。ユーザUの身体の動きMは、情報処理装置100の取得部110によって取得される。このとき取得部110は、例えば、ユーザUからみた左右方向をx軸、上下方向をy軸、奥行き方向をz軸として、ユーザUの身体の動きMを取得しうる。
ここで、一般的に、人間の身体の動きは、関節を中心とした略円弧状の動きが基本になっている。そのため、多くの場合において、ユーザUの身体の動きMは、曲線状の動きとして捉えられる。例えば、ユーザUの手の動きについて、ユーザUの肩を中心とした略円弧状の動きとみなすことができる。この場合、肩の位置が移動しなければ、手の動きの軌跡は、ユーザUの肩を中心とした略球面とみなすことができる。また、この場合、肩の位置が屈伸運動などによって上下方向に移動すれば、手の動きの軌跡は、ユーザUの体幹を軸とした略円筒面とみなすことができる。このように、ユーザUの動きは、ユーザUの関節の位置、ユーザUの体幹、またはユーザUの体の中心を基準にした、略円弧状の動きでありえ、ユーザUの動きの軌跡は、略球面、または略円筒面などの、略円弧の集合として表される面でありうる。
図2は、本発明の第1の実施形態に係る情報処理装置100の機能構成を示すブロック図である。図2を参照すると、情報処理装置100は、取得部110、表示制御部120、処理部130、および記憶部140を含む。なお、記憶部140は、必ずしも情報処理装置100に含まれなくてもよい。
取得部110は、ユーザUの身体の曲線状の動きMを操作として取得する。取得部110は、例えば、身体の特定部分P1に装着されたマーカ、身体の特定部分P1に把持されたコントローラ、または身体の特定部分P1のスペックルパターンを用いた画像解析などによって、身体の特定部分P1を認識し、さらに、三角測量、またはTOFなどの三次元計測手法によって、身体の特定部分P1の位置を特定する。取得部110は、後述するように、同様にしてユーザUの身体の中心部分P2の位置を特定してもよい。また、取得部110は、表示画面200からユーザUの身体までの距離を取得してもよい。また、取得部110は、ユーザUの身体のサイズを取得してもよい。さらに、取得部110は、ユーザUによるオブジェクト220の選択などの操作を取得するために、身体の特定部分P1の状態、例えば手が握られているか開かれているかなどを取得してもよい。取得部110は、上記の機能を実現するために、例えば、カメラ、または赤外線の発光部および受光部などを含みうる。また、取得部110は、解析および計測のためのプロセッサを含んでもよい。プロセッサの機能は、後述するCPU(Central Processing Unit)を用いて実現されてもよい。
表示制御部120は、仮想的な3次元空間210にオブジェクト220を表示させる。表示制御部120は、表示画面200に、仮想的な3次元空間210と、仮想的な3次元空間210に配置されるオブジェクト220とを表示させる。表示制御部120は、処理部130が実行する処理に応じて、オブジェクト220を移動させたり、オブジェクト220の表示を変化させたりしてもよい。表示制御部120は、例えば、表示のための演算処理を実行するGPU(Graphical Processing Unit)でありうる。また、表示制御部120の機能は、後述するCPUを用いて実現されてもよい。なお、オブジェクト220の表示については後述する。
処理部130は、取得部110によって取得された操作に基づいて、表示制御部120が表示させるオブジェクト220に対する処理を実行する。オブジェクト220に対する処理は、例えば、配置された複数のオブジェクト220から1または複数のオブジェクト220をユーザUの操作に基づいて選択する処理でもよく、また、選択された1または複数のオブジェクト220を、ユーザUの操作に基づいて移動させる処理でもよい。処理部130が実行する処理が、オブジェクト220の移動などの表示の変化を伴う場合、処理部130は、表示制御部120を介して、オブジェクト220に対する処理を実行する。処理部130の機能は、記憶部140に格納されたプログラムを実行するCPUによって実現されうる。
記憶部140には、情報処理装置100における処理に必要なデータが格納される。記憶部140は、例えばRAM(Random Access Memory)、またはROM(Read Only Memory)などの記憶装置でありうる。また、記憶部140は、光ディスク、磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体であってもよく、記憶装置とリムーバブル記憶媒体を組み合わせたものであってもよい。記憶部140には、上記のCPUに実行させることによって、情報処理装置100の各部の機能を実現するためのプログラムが格納されうる。このプログラムは、例えばリムーバブル記憶媒体に格納されて提供されるものであってもよく、また図示されてない通信部を介してネットワーク上からダウンロードされるものであってもよい。
なお、上記の情報処理装置100のそれぞれの構成要素は、必ずしも1つの筐体に含まれなくてもよく、例えばネットワーク上の異なる場所に配置されていて、ネットワークを介して協働して情報処理装置100の機能を提供するものであってもよい。
[1−2.オブジェクトの表示]
次に、図3〜図6を参照して、本発明の第1の実施形態におけるオブジェクト220の表示について説明する。
図3は、本発明の第1の実施形態において表示されるオブジェクト220の配置について説明するための図である。図3を参照すると、オブジェクト220は、仮想的な3次元空間210に設定される基準点230を中心とする略球面である第1の曲面240上に配置される。
仮想的な3次元空間210は、情報処理装置100の表示制御部120によって表示画面200に表示される仮想的な3次元空間である。仮想的な3次元空間210には、図示されているようにx軸、y軸、およびz軸が設定される。x軸、y軸、およびz軸は、それぞれ、表示画面200の左右方向、上下方向、および奥行き方向でありうる。ここで、上述のように、ユーザUの身体の動きMは、ユーザUからみた左右方向をx軸、上下方向をy軸、奥行き方向をz軸として、取得部110によって取得されうる。つまり、仮想的な3次元空間210には、ユーザUの身体の動きMに対応する座標系が設定されうる。
オブジェクト220は、仮想的な3次元空間210に表示される、例えば音楽もしくは映像などのコンテンツ、コンテンツを選択するためのポインタ、またはコンテンツに対する操作を示すボタンなどを表すアイコンである。ここで、オブジェクト220は、コンテンツを表す略板状のアイコンとして図示されているが、これには限られず、例えばポインタを表す手の形のアイコンなど、あらゆる形状でありうる。また、オブジェクト220は、情報処理装置100の取得部110によって取得された操作に基づいて処理部130が実行する処理の対象になる。このような処理として、例えば、オブジェクト220がユーザUの操作に基づいて選択されてもよく、選択されたオブジェクト220がユーザUの操作によって移動されてもよい。
ここで、オブジェクト220は、基準点230を中心とする略球面である第1の曲面240上に配置される。基準点230は、仮想的な3次元空間210において、ユーザUの仮想的な位置として設定される点である。基準点230は、例えば、仮想的なユーザUの身体の中心として設定されうる。なお、基準点230は、必ずしもユーザUの実際の視点とは関連しない。上述のように、ユーザUの身体の動きMは、ユーザUの体の中心を中心とする略円弧状の動きとみなされうる。従って、仮想的な3次元空間210において、ユーザUの仮想的な位置として設定された基準点230を中心とする略球面である第1の曲面240は、基準点230を基準にした、ユーザUの曲線状の動きMに対応する曲面である。
このような第1の曲面240上に配置された複数のオブジェクト220においては、基準点230から、それぞれのオブジェクト220までの距離が略同一になる。例えば、奥行き方向について基準点230の正面にあるオブジェクト220aまでの距離Daと、オブジェクト220aからみて右方向にあるオブジェクト220bまでの距離Dbとは、略同一である。これはつまり、仮想的な3次元空間210における左右方向のオブジェクト220の配置が、左右方向の直線ではなく、基準点230を中心とした略円弧状になっているということである。同様に、仮想的な3次元空間210における上下方向のオブジェクト220の配置も、上下方向の直線ではなく、基準点230を中心とした略円弧状である。
なお、基準点230からオブジェクト220までの仮想的な距離Dは、予め設定された値であってもよいし、例えばユーザUの腕の長さに合わせて調整する機能が設けられてもよい。また、後述するように、仮想的な距離DはユーザUの位置またはサイズなどによって調整されてもよい。
上記のようなオブジェクト220の配置によって、例えば、ユーザUは、オブジェクト220が、身体の特定部分P1である手の自然な動きである略円弧状の動きに対応して配置されていることを、表示画面200の表示から認識する。これによって、ユーザUは、手の自然な動きである略円弧状の動きによって、左右方向、または上下方向の操作をするように誘導される。オブジェクト220は、仮想的な3次元空間210において、ユーザUの手の略円弧状の動きに対応して配置されているため、上記の誘導に従ったユーザUによる略円弧状の動きMによって、実際にユーザUが意図した左右方向、または上下方向に操作されうる。
また、オブジェクト220は、正面と側面とを有し、正面を基準点230に向けて配置されてもよい。図示された例では、ハッチングによって表された部分がそれぞれのオブジェクト220の正面である。このようにオブジェクト220の向きを調整することによって、例えばオブジェクト220がユーザUの手に対応するポインタを示すアイコンであるような場合に、アイコンが傾いて見えることによって、ユーザUに実際の手の傾きをフィードバックすることができ、ユーザUが仮想的な3次元空間210の奥行き感を容易に把握できるようにすることができる。
(ユーザの位置に応じた基準点の設定)
図4は、本発明の第1の実施形態におけるユーザUの位置に応じた基準点230の設定の例について説明するための図である。図4を参照すると、情報処理装置100の取得部110は、ユーザUの身体の中心部分P2の位置を取得し、基準点230は、身体の中心部分P2の位置に基づいて設定される。
ここで、取得部110は、ユーザUの身体の中心部分P2の位置を取得する。身体の中心部分P2は、ここでは顔として図示されているが、肩、膝、腰など、ユーザUの身体の他の部分であってもよい。表示制御部120は、取得部110が取得した身体の中心部分P2の位置に基づいて、基準点230の位置を設定する。例えば、表示制御部120は、図示されているように、仮想的な3次元空間210において、左右方向の位置が身体の中心部分P2の位置と対応する位置に基準点230を設定しうる。表示制御部120は、上下方向についても、仮想的な3次元空間210における基準点230の位置を、身体の中心部分P2の位置に対応させてもよい。
上述のように、基準点230を基準にして、第1の曲面240が設定され、第1の曲面240上にオブジェクト220が配置される。仮想的な3次元空間210において、このようにオブジェクト220を配置することによって、ユーザUは、例えば表示画面200の中心からずれて位置している場合であっても、オブジェクト220が、ユーザUの位置に対応した位置に略円弧状に配置されていることを認識できる。そうすると、ユーザUは、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクさせて把握しやすくなる。これによって、ユーザUは、身体の特定部分P1の自然な略円弧状の動きによってオブジェクト220の操作をするよう誘導されうる。
(ユーザの位置に応じた仮想的な距離の設定)
図5aおよび図5bは、本発明の第1の実施形態におけるユーザUの位置に応じた仮想的な距離Dの設定の例について説明するための図である。図5aおよび図5bを参照すると、情報処理装置100の取得部110は、ユーザUの身体までの実際の距離dを取得し、基準点230からオブジェクト220までの仮想的な距離Dは、実際の距離dに基づいて設定される。
ここで、取得部110は、ユーザUの身体までの実際の距離dを取得する。実際の距離dは、表示画面200からユーザUの身体までの距離として図示されているが、これには限られず、例えば取得部110からユーザUの身体までの距離であってもよい。表示制御部120は、取得部110が取得した実際の距離dに基づいて、基準点230から、第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを設定する。
例えば、図5aは、表示画面200からユーザUの身体までの実際の距離dが、比較的大きい場合を示す。この場合、表示制御部120は、基準点230から第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを比較的大きく設定する。つまり、オブジェクト220は、仮想的な3次元空間210において、遠く離れているように表示される。
一方、図5bは、表示画面200からユーザUの身体までの実際の距離dが、図5aにおいて示された場合よりも小さい場合を示す。この場合、表示制御部120は、基準点230から第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを、図5aにおいて示された場合よりも小さく設定する。つまり、オブジェクト220は、仮想的な3次元空間210において、図5aにおいて示された場合よりも近くにあるように表示される。
なお、図では、簡単のためにx−z平面を示しているが、仮想的な距離Dは、図3において示されたように、仮想的な3次元空間210におけるy軸方向の成分を含みうる。
このように仮想的な距離Dを設定してオブジェクト220を配置することによって、ユーザUは、例えば、表示画面200に近づくにつれて、次第にオブジェクト220がユーザUを取り囲むように近くに表示されるのを認識する。そうすると、ユーザUは、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクさせて把握しやすくなる。これによって、ユーザUは、身体の特定部分P1の自然な略円弧状の動きによってオブジェクト220の操作をするよう誘導されうる。
(ユーザのサイズに応じた仮想的な距離の設定)
図6aおよび図6bは、本発明の第1の実施形態におけるユーザUのサイズに応じた仮想的な距離Dの設定の例について説明するための図である。図6aおよび図6bを参照すると、情報処理装置100の取得部110は、ユーザUの身体のサイズSを取得し、基準点230からオブジェクト220までの仮想的な距離Dは、サイズSに基づいて設定される。
ここで、取得部110は、ユーザUの身体のサイズSを取得する。サイズSは、例えば、図示されているようにユーザUの身体の左右方向の長さでありうる。サイズSは、ユーザUの身体の上下方向の長さ、手の大きさ、または腕の長さなど、ユーザUの身体に関するあらゆるサイズでありうる。表示制御部120は、取得部110が取得したサイズSに基づいて、基準点230から、第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを設定する。
例えば、図6aは、ユーザUの身体のサイズSが、比較的大きい場合を示す。この場合、表示制御部120は、基準点230から第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを比較的大きく設定する。つまり、オブジェクト220は、仮想的な3次元空間210において、大きな半径の略円弧状に配置されているように表示される。
一方、図6bは、ユーザUの身体のサイズSが、図6aにおいて示された場合よりも小さい場合を示す。この場合、表示制御部120は、基準点230から第1の曲面240上に配置されるオブジェクト220までの仮想的な距離Dを、図6aにおいて示された場合よりも小さく設定する。つまり、オブジェクト220は、仮想的な3次元空間210において、図6aにおいて示された場合よりも小さな半径の略円弧状に配置されているように表示される。
なお、図では、簡単のためにx−z平面を示しているが、仮想的な距離Dは、図3において示されたように、仮想的な3次元空間210におけるy軸方向の成分を含みうる。
このように仮想的な距離Dを設定してオブジェクト220を配置することによって、ユーザUは、ユーザUの身体のサイズSに合わせた半径で、オブジェクト220がユーザUを取り囲むように近くに表示されるのを認識する。そうすると、ユーザUは、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクさせて把握しやすくなる。これによって、ユーザUは、身体の特定部分P1の自然な略円弧状の動きによってオブジェクト220の操作をするよう誘導されうる。
<2.第2の実施形態>
続いて、図7を参照して、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態は、第1の実施形態と比べて、表示されるオブジェクトの配置において相違するが、その他の機能構成は第1の実施形態と略同一であるため、詳細説明を省略する。
図7は、本発明の第2の実施形態において表示されるオブジェクト220の配置について説明するための図である。図7を参照すると、オブジェクト220は、基準点230を基準にして、ユーザUの曲線状の動きに対応する第2の曲面250上にも配置される。基準点230から第2の曲面250上に配置されるオブジェクト220までの仮想的な距離D2は、第1の曲面240上に配置されるオブジェクト220までの仮想的な距離D1よりも大きい。
第2の曲面250は、第1の曲面240と同様に、基準点230を中心とする略球面でありうる。情報処理装置100の表示制御部120は、仮想的な3次元空間210において、第1の曲面240上のオブジェクト220と、第2の曲面250上のオブジェクト220とを重ね合わせて表示してもよい。例えば、オブジェクト220がコンテンツを表すアイコンである場合、第1の曲面240上には、視聴頻度が高いコンテンツを表すアイコンが表示され、第2の曲面250上には、視聴頻度が低いコンテンツを表すアイコンが表示されるといったように、第1の曲面240と第2の曲面250とが使い分けられてもよい。
上記のように、第1の曲面240と第2の曲面250とを用いて、オブジェクト220を重ね合わせて配置することによって、仮想的な3次元空間210において、より多くのオブジェクト220を表示することができる。また、ユーザUは、自らの身体から離れる向きへの動きによってオブジェクト220を遠ざけることができ、自らの身体に近づく向きへの動きによってオブジェクト220を近づけることができる。これによって、ユーザUは、例えば第1の曲面240上のオブジェクト220と、第2の曲面250上のオブジェクト220を入れ替える操作を、より直感的に行うことができる。
なお、第1の実施形態において説明された、ユーザUの位置に応じた基準点230の設定、ユーザUの身体までの実際の距離dに応じた仮想的な距離Dの設定、およびユーザUのサイズSに応じた仮想的な距離Dの設定は、本実施形態においても同様に適用されうる。この場合、表示制御部120は、基準点230から第1の曲面240上に配置されるオブジェクト220までの仮想的な距離D1と、第2の曲面250上に配置されるオブジェクト220までの仮想的な距離D2とを伸縮する。仮想的な距離D1,D2は、例えば予め定められた比率を保って伸縮されてもよく、また、互いに独立して伸縮されてもよい。
<3.第3の実施形態>
続いて、図8を参照して、本発明の第3の実施形態について説明する。なお、本発明の第3の実施形態は、第1の実施形態と比べて、表示されるオブジェクトの配置において相違するが、その他の機能構成は第1の実施形態と略同一であるため、詳細説明を省略する。
図8は、本発明の第3の実施形態において表示されるオブジェクト220の配置について説明するための図である。図8を参照すると、オブジェクト220は、仮想的な3次元空間210に設定される基準線330を中心とする略円柱面である第1の曲面340上に配置される。
基準線330は、仮想的な3次元空間210において、ユーザUの仮想的な位置として設定される直線である。基準線330は、例えば、仮想的なユーザUの体軸に相当する直線として設定されうる。なお、基準線330は、必ずしもユーザUの実際の視点とは関連しない。上述のように、ユーザUの身体の動きMは、例えばユーザUの体軸を中心とする略円弧状の動きになりうる。従って、仮想的な3次元空間210において、ユーザUの仮想的な位置として設定された基準線330を中心とする略円筒面である第1の曲面340は、基準線330を基準にした、ユーザUの曲線状の動きMに対応する曲面である。
このような第1の曲面340上に配置された複数のオブジェクト220においては、基準線330上の点から、上下方向について同じ位置にあるオブジェクト220までの距離が略同一になる。例えば、基準線330上の点335から、それぞれが上下方向について同じ位置にある、オブジェクト220cまでの距離Dcと、オブジェクト220dまでの距離Ddとは、略同一である。これはつまり、ユーザUからみた左右方向のオブジェクト220の配置が、左右方向の直線ではなく、基準線330上の点を中心にした略円弧状になっているということである。
なお、基準線330は、仮想的な3次元空間210における上下方向の直線として図示されているが、これには限られず、ユーザUの仮想的な位置として設定される直線であればよい。例えば、基準線330は、仮想的な3次元空間210における左右方向の直線であってもよい。この場合、基準線330は、仮想的なユーザUの左右の肩を結ぶ線として設定されてもよい。
上記のようなオブジェクト220の配置によって、例えば、ユーザUは、オブジェクト220が、身体の特定部分P1である手の自然な動きである略円弧状の動きに対応して配置されていることを、表示画面200の表示から認識する。これによって、ユーザUは、手の自然な動きである略円弧状の動きによって、左右方向の操作をするように誘導される。オブジェクト220は、仮想的な3次元空間210において、ユーザUの手の略円弧状の動きに対応して配置されているため、上記の誘導に従ったユーザUによる略円弧状の動きMによって、実際にユーザUが意図した左右方向に操作される。一方、上下方向については、オブジェクト220は直線的に配置されている。例えば、情報処理装置100によって提供される機能において、仮想的な3次元空間210の左右方向にオブジェクト220を操作することが多いような場合には、オブジェクト220の操作が少ない上下方向についてはオブジェクト220が直線的に配置されることによって、ユーザUに安定感を与える仮想的な3次元空間210の表示が提供されうる。
なお、第1の実施形態において説明された、ユーザUの位置に応じた基準点230の設定、ユーザUの身体までの実際の距離dに応じた仮想的な距離Dの設定、およびユーザUのサイズSに応じた仮想的な距離Dの設定は、本実施形態においても同様に適用されうる。この場合、例えば基準線330がy軸方向の直線である場合のx−z平面のように、基準線330に垂直な平面を考えれば、基準線330を第1の実施形態における基準点230と同様に扱って、オブジェクト220の配置を設定することが可能である。
また、第2の実施形態と同様に、本実施形態においても、第1の曲面340に加えて第2の曲面を設定し、この第2の曲面上にもオブジェクト220を配置することが可能である。この場合、第2の曲面は、第1の曲面340と同様に、基準線330を中心とする略円筒面でありうる。
<4.まとめ>
上述された本発明の実施形態において、取得部110は、ユーザUの身体の中心部分P2の位置を取得し、基準点230または基準線330は、中心部分P2の位置に基づいて設定されてもよい。このような構成によれば、表示されるオブジェクト220の配置を、表示画面200に対面しているユーザUの位置に対応させることができる。そのため、より効果的に、ユーザUに対して、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクして把握させ、曲線状の自然な動きによってオブジェクト220を操作するように誘導することができる。
上述された本発明の実施形態において、取得部110は、ユーザUの身体までの実際の距離dを取得し、基準点230または基準線330からオブジェクト220までの仮想的な距離Dは、実際の距離dに基づいて設定されてもよい。このような構成によれば、ユーザUが表示画面200に近い位置にいるか、遠い位置にいるかによって、仮想的な3次元空間210におけるオブジェクト220までの距離を変化させることができる。そのため、より効果的に、ユーザUに対して、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクして把握させ、曲線状の自然な動きによってオブジェクト220を操作するように誘導することができる。
上述された本発明の実施形態において、取得部110は、ユーザUの身体のサイズSを取得し、基準点230または基準線330からオブジェクト220までの仮想的な距離Dは、サイズSに基づいて設定されてもよい。このような構成によれば、ユーザの身体のサイズSに応じて、仮想的な3次元空間210におけるオブジェクト220までの距離を変化させることができる。つまり、比較的身体の大きいユーザUに対しては、仮想的な3次元空間210において比較的遠い位置にオブジェクト220を表示し、小児など、比較的身体の小さいユーザUに対しては、仮想的な3次元空間210において比較的近い位置にオブジェクト220を表示することができる。例えば、ユーザUが手の動きによってオブジェクト220を操作する場合であれば、仮想的な3次元空間210において、ユーザUの腕の長さに応じた位置にオブジェクト220を配置することができる。そのため、より効果的に、ユーザUに対して、仮想的な3次元空間210におけるオブジェクト220の配置と、ユーザUの身体の動きMとをリンクして把握させ、曲線状の自然な動きによってオブジェクト220を操作するように誘導することができる。
上述された本発明の実施形態において、オブジェクト220は、基準点230または基準線330を基準にして、曲線状の動きMに対応する第2の曲面250上にも配置され、基準点230または基準線330から第2の曲面250上に配置されるオブジェクト220までの仮想的な距離D2は、第1の曲面240上に配置されるオブジェクト220までの仮想的な距離D1よりも大きくてもよい。このような構成によれば、仮想的な3次元空間210においてより多くのオブジェクト220を配置することができる。また、ユーザUは、仮想的な3次元空間210において、ユーザU自身の身体から離れる方向に重ね合わせて配置されたオブジェクト220を認識し、身体から離れる方向の自然な動きによってオブジェクト220の重ね合わせ方向への操作をするよう誘導されうる。
上述された本発明の実施形態において、オブジェクト220は、正面と側面とを有し、正面を基準点230または基準線330に向けて配置されてもよい。このような構成によれば、ユーザUが仮想的な3次元空間210の奥行き感を容易に把握できるようにすることができる。
上述された本発明の実施形態において、ユーザUの仮想的な位置が、仮想的な3次元空間210において基準点230として設定されてもよい。このような構成によれば、ユーザUに対して、左右方向および上下方向のいずれにおいても、オブジェクト220の配置と、ユーザUの身体の動きMとをリンクさせ、曲線状の自然な動きによってオブジェクトを操作するように誘導することができる。
上述された本発明の実施形態において、曲線状の動きMは略円弧状の動きであり、第1の曲面240は、基準点230を中心とする略球面であってもよい。また、第2の曲面250も、第1の曲面240と同様の略球面であってもよい。このような構成によれば、例えばユーザUの手の、肩を中心とする略円弧状の動きのような、ユーザUの身体の自然な動きである略円弧状の動きに対して、上下方向および左右方向において対応する第1の曲面240または第2の曲面250上にオブジェクト220を配置することができる。
上述された本発明の実施形態において、ユーザUの仮想的な位置が、仮想的な3次元空間210において基準線330として設定されてもよい。このような構成によれば、ユーザUに対して、例えば左右方向または上下方向のように、特定の方向について、オブジェクト220の配置と、ユーザUの身体の動きMとをリンクさせ、曲線状の自然な動きによってオブジェクトを操作するように誘導することができる。その一方で、それ以外の方向についてはオブジェクト220を直線的に配置することによって、例えばユーザUに安定感を与える仮想的な3次元空間210の表示を提供することができる。
上述された本発明の実施形態において、曲線状の動きMは略円弧状の動きであり、第1の曲面340は、基準線330を中心とする略円筒面であってもよい。また、第2の曲面も、第1の曲面340と同様の略球面であってもよい。このような構成によれば、例えばユーザUの手の、体幹を中心とする略円弧状の動きのような、ユーザUの身体の自然な動きである略円弧状の動きに対して、例えば上下方向または左右方向などの特定の方向において対応する第1の曲面240または第2の曲面上にオブジェクト220を配置することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、第1の曲面および第2の曲面を略球面または略円筒面としたが、本発明はかかる例に限定されない。例えば、第1の曲面および第2の曲面は、楕円面、楕円放物面、楕円柱面、双曲線柱面、または放物線柱面などの、基準点または基準線を基準にする他の二次曲面であってもよい。
また、上記実施形態では、奥行き方向に垂直な方向を、左右方向および上下方向として説明したが、本発明はかかる例に限定されない。例えば、左右方向および上下方向の代わりに、左下から右上への斜め方向と、左上から右下への斜め方向が用いられてもよい。これらの方向は、必ずしも互いに直交しなくてもよく、例えば情報処理装置によって提供される機能に応じて任意に設定されうる。
また、上記実施形態では、第1の曲面及び第2の曲面について説明されたが、本発明はかかる例に限定されない。例えば、第1の曲面に対する第2の曲面と同様に、第2の曲面に対する第3の曲面が設定されてもよい。すなわち、仮想的な3次元空間においてオブジェクトが配置される曲面は2つには限られず、任意の複数でありうる。
100 情報処理装置
110 取得部
120 表示制御部
130 処理部
200 表示画面
210 仮想的な3次元空間
220 オブジェクト
230 基準点
330 基準線
240,340 第1の曲面
250 第2の曲面
U ユーザ
M 動き
d 実際の距離
S サイズ
P2 中心部分
D 仮想的な距離

Claims (12)

  1. ユーザの身体の曲線状の動きを操作として取得する取得部と、
    仮想的な3次元空間にオブジェクトを表示させる表示制御部と、
    前記取得された操作に基づいて前記オブジェクトに対する処理を実行する処理部と、
    を備え、
    前記オブジェクトは、前記仮想的な3次元空間に設定される前記ユーザの仮想的な位置を基準にして、前記曲線状の動きに対応する第1の曲面上に配置される情報処理装置。
  2. 前記取得部は、前記ユーザの身体の中心部分の位置を取得し、
    前記ユーザの仮想的な位置は、前記中心部分の位置に基づいて設定される、
    請求項1に記載の情報処理装置。
  3. 前記取得部は、前記ユーザの身体までの実際の距離を取得し、
    前記ユーザの仮想的な位置から前記オブジェクトまでの仮想的な距離は、前記実際の距離に基づいて設定される、
    請求項1または2に記載の情報処理装置。
  4. 前記取得部は、前記ユーザの身体のサイズを取得し、
    前記ユーザの仮想的な位置から前記オブジェクトまでの仮想的な距離は、前記サイズに基づいて設定される、
    請求項1に記載の情報処理装置。
  5. 前記オブジェクトは、前記ユーザの仮想的な位置を基準にして、前記曲線状の動きに対応する第2の曲面上にも配置され、
    前記ユーザの仮想的な位置から前記第2の曲面上に配置される前記オブジェクトまでの仮想的な距離は、前記第1の曲面上に配置される前記オブジェクトまでの仮想的な距離よりも大きい、
    請求項1に記載の情報処理装置。
  6. 前記オブジェクトは、正面と側面とを有し、前記正面を前記ユーザの仮想的な位置に向けて配置される、
    請求項1に記載の情報処理装置。
  7. 前記ユーザの仮想的な位置は、前記仮想的な3次元空間における点である、
    請求項1に記載の情報処理装置。
  8. 前記曲線状の動きは略円弧状の動きであり、
    前記第1の曲面は、前記点を中心とする略球面である、
    請求項7に記載の情報処理装置。
  9. 前記ユーザの仮想的な位置は、前記仮想的な3次元空間における直線である、
    請求項1に記載の情報処理装置。
  10. 前記曲線状の動きは略円弧状の動きであり、
    前記第1の曲面は、前記直線を中心とする略円筒面である、
    請求項9に記載の情報処理装置。
  11. ユーザの身体の曲線状の動きを操作として取得するステップと、
    仮想的な3次元空間にオブジェクトを表示させるステップと、
    前記取得された操作に基づいて前記オブジェクトに対する処理を実行するステップと、
    を含み、
    前記オブジェクトは、前記仮想的な3次元空間に設定される前記ユーザの仮想的な位置を基準にして、前記曲線状の動きに対応する第1の曲面上に配置される情報処理方法。
  12. ユーザの身体の曲線状の動きを操作として取得する取得部と、
    仮想的な3次元空間にオブジェクトを表示させる表示制御部と、
    前記取得された操作に基づいて前記オブジェクトに対する処理を実行する処理部と、
    としてコンピュータを機能させ、
    前記オブジェクトは、前記仮想的な3次元空間に設定される前記ユーザの仮想的な位置を基準にして、前記曲線状の動きに対応する第1の曲面上に配置されるプログラム。
JP2010184007A 2010-08-19 2010-08-19 情報処理装置、情報処理方法およびプログラム Active JP5609416B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010184007A JP5609416B2 (ja) 2010-08-19 2010-08-19 情報処理装置、情報処理方法およびプログラム
US13/167,793 US9411410B2 (en) 2010-08-19 2011-06-24 Information processing device, method, and program for arranging virtual objects on a curved plane for operation in a 3D space
CN201110236550XA CN102375539A (zh) 2010-08-19 2011-08-12 信息处理设备、信息处理方法和程序
US15/200,809 US10241582B2 (en) 2010-08-19 2016-07-01 Information processing device, information processing method, and program for graphical user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010184007A JP5609416B2 (ja) 2010-08-19 2010-08-19 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012043195A true JP2012043195A (ja) 2012-03-01
JP5609416B2 JP5609416B2 (ja) 2014-10-22

Family

ID=45595055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010184007A Active JP5609416B2 (ja) 2010-08-19 2010-08-19 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (2) US9411410B2 (ja)
JP (1) JP5609416B2 (ja)
CN (1) CN102375539A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2016091192A (ja) * 2014-10-31 2016-05-23 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2016165153A (ja) * 2016-06-08 2016-09-08 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP6189496B1 (ja) * 2016-07-20 2017-08-30 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2017182500A (ja) * 2016-03-30 2017-10-05 富士通株式会社 入力装置、入力プログラム、及び入力方法
JP2017199379A (ja) * 2013-02-19 2017-11-02 ミラマ サービス インク 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP2019086911A (ja) * 2017-11-02 2019-06-06 三菱自動車工業株式会社 車載ユーザーインターフェース装置
JP2019123503A (ja) * 2019-02-25 2019-07-25 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2019197554A (ja) * 2019-06-13 2019-11-14 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP2020030501A (ja) * 2018-08-21 2020-02-27 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP2021014262A (ja) * 2020-10-26 2021-02-12 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
WO2022074936A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064910B2 (en) 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
US10102345B2 (en) 2012-06-19 2018-10-16 Activbody, Inc. Personal wellness management platform
US9230064B2 (en) 2012-06-19 2016-01-05 EZ as a Drink Productions, Inc. Personal wellness device
US10133849B2 (en) 2012-06-19 2018-11-20 Activbody, Inc. Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform
US9229476B2 (en) 2013-05-08 2016-01-05 EZ as a Drink Productions, Inc. Personal handheld electronic device with a touchscreen on a peripheral surface
US9262064B2 (en) * 2013-07-09 2016-02-16 EZ as a Drink Productions, Inc. Handheld computing platform with integrated pressure sensor and associated methods of use
US10124246B2 (en) 2014-04-21 2018-11-13 Activbody, Inc. Pressure sensitive peripheral devices, and associated methods of use
CN104331168B (zh) * 2014-11-28 2018-01-16 广东欧珀移动通信有限公司 显示调整方法和电子设备
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
WO2018003862A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 制御装置、表示装置、プログラムおよび検出方法
CN106200921B (zh) * 2016-06-28 2019-08-20 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10831332B2 (en) * 2017-02-23 2020-11-10 The Florida International University Board Of Trustees User interface element for building interior previewing and navigation
US10503457B2 (en) * 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
CN107329566B (zh) * 2017-06-23 2020-03-24 联想(北京)有限公司 虚拟对象处理方法及其系统、虚拟现实设备
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US10671237B2 (en) * 2017-10-16 2020-06-02 Microsoft Technology Licensing, Llc Human-machine interface for presenting a user interface on a virtual curved visual surface
US10585294B2 (en) * 2018-02-19 2020-03-10 Microsoft Technology Licensing, Llc Curved display on content in mixed reality
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN109254660B (zh) * 2018-08-31 2020-11-17 歌尔光学科技有限公司 内容显示方法、装置及设备
US11036048B2 (en) * 2018-10-03 2021-06-15 Project Whitecard Digital Inc. Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
CN114461057A (zh) * 2020-11-09 2022-05-10 华为技术有限公司 Vr显示控制方法、电子设备及计算机可读存储介质
US11531448B1 (en) * 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997154A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH10232757A (ja) * 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2008089985A (ja) * 2006-10-02 2008-04-17 Pioneer Electronic Corp 画像表示装置
WO2009018161A1 (en) * 2007-07-27 2009-02-05 Gesturetek, Inc. Enhanced camera-based input
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US20020040377A1 (en) * 1998-09-25 2002-04-04 Newman Edward G. Computer with audio interrupt system
US6749432B2 (en) * 1999-10-20 2004-06-15 Impulse Technology Ltd Education system challenging a subject's physiologic and kinesthetic systems to synergistically enhance cognitive function
US6636246B1 (en) * 2000-03-17 2003-10-21 Vizible.Com Inc. Three dimensional spatial user interface
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
WO2007096893A2 (en) 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
US20090300551A1 (en) * 2008-06-03 2009-12-03 French Barry J Interactive physical activity and information-imparting system and method
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US20100309197A1 (en) * 2009-06-08 2010-12-09 Nvidia Corporation Interaction of stereoscopic objects with physical objects in viewing area
US8271905B2 (en) * 2009-09-15 2012-09-18 International Business Machines Corporation Information presentation in virtual 3D

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997154A (ja) * 1995-10-02 1997-04-08 Sony Corp 画像制御装置および方法
JPH10232757A (ja) * 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2008089985A (ja) * 2006-10-02 2008-04-17 Pioneer Electronic Corp 画像表示装置
WO2009018161A1 (en) * 2007-07-27 2009-02-05 Gesturetek, Inc. Enhanced camera-based input
JP2010534895A (ja) * 2007-07-27 2010-11-11 ジェスチャー テック,インコーポレイテッド 高度なカメラをベースとした入力
JP2010146481A (ja) * 2008-12-22 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2017199379A (ja) * 2013-02-19 2017-11-02 ミラマ サービス インク 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
JP2016091192A (ja) * 2014-10-31 2016-05-23 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2017182500A (ja) * 2016-03-30 2017-10-05 富士通株式会社 入力装置、入力プログラム、及び入力方法
JP2016165153A (ja) * 2016-06-08 2016-09-08 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
JP6189496B1 (ja) * 2016-07-20 2017-08-30 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2018013937A (ja) * 2016-07-20 2018-01-25 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2019086911A (ja) * 2017-11-02 2019-06-06 三菱自動車工業株式会社 車載ユーザーインターフェース装置
JP2022058418A (ja) * 2018-08-21 2022-04-12 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP2020030501A (ja) * 2018-08-21 2020-02-27 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP7058198B2 (ja) 2018-08-21 2022-04-21 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
US11360548B2 (en) 2018-08-21 2022-06-14 Gree, Inc. System, method, and computer-readable medium for displaying virtual image based on position detected by sensor
US11543881B2 (en) 2018-08-21 2023-01-03 Gree, Inc. System, method, and computer-readable medium for displaying virtual image based on position detected by sensor
JP7409615B2 (ja) 2018-08-21 2024-01-09 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP2019123503A (ja) * 2019-02-25 2019-07-25 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2019197554A (ja) * 2019-06-13 2019-11-14 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
WO2022074936A1 (ja) * 2020-10-09 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及び情報処理方法
JP2021014262A (ja) * 2020-10-26 2021-02-12 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP7100100B2 (ja) 2020-10-26 2022-07-12 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
JP5609416B2 (ja) 2014-10-22
CN102375539A (zh) 2012-03-14
US20160313800A1 (en) 2016-10-27
US10241582B2 (en) 2019-03-26
US20120047465A1 (en) 2012-02-23
US9411410B2 (en) 2016-08-09

Similar Documents

Publication Publication Date Title
JP5609416B2 (ja) 情報処理装置、情報処理方法およびプログラム
Mendes et al. A survey on 3d virtual object manipulation: From the desktop to immersive virtual environments
EP3908904B1 (en) Holographic palm raycasting for targeting virtual objects
US11625103B2 (en) Integration of artificial reality interaction modes
US20220084279A1 (en) Methods for manipulating objects in an environment
JP7213899B2 (ja) 視線に基づく拡張現実環境のためのインターフェース
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US11294475B1 (en) Artificial reality multi-modal input switching model
JP4077321B2 (ja) 表示制御装置
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
Fang et al. Head-mounted display augmented reality in manufacturing: A systematic review
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
CN108604121A (zh) 虚拟现实中的双手对象操纵
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US11232643B1 (en) Collapsing of 3D objects to 2D images in an artificial reality environment
US20200388247A1 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
JP2017004356A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
US9547371B2 (en) User interface apparatus and method for controlling the same
WO2022127479A1 (en) Methods and systems for selection of objects
WO2024064937A1 (en) Methods for interacting with user interfaces based on attention
WO2024064229A1 (en) Devices, methods, and graphical user interfaces for tabbed browsing in three-dimensional environments
EP4414813A1 (en) Facilitating system user interface interactions in an artificial reality environment
JP2017004539A (ja) 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置
Pietroszek 3D Pointing with Everyday Devices: Speed, Occlusion, Fatigue

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140818

R151 Written notification of patent or utility model registration

Ref document number: 5609416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250