JP2019219904A - プログラム、認識装置、及び、認識方法 - Google Patents

プログラム、認識装置、及び、認識方法 Download PDF

Info

Publication number
JP2019219904A
JP2019219904A JP2018116712A JP2018116712A JP2019219904A JP 2019219904 A JP2019219904 A JP 2019219904A JP 2018116712 A JP2018116712 A JP 2018116712A JP 2018116712 A JP2018116712 A JP 2018116712A JP 2019219904 A JP2019219904 A JP 2019219904A
Authority
JP
Japan
Prior art keywords
hand
unit
smartphone
recognition process
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018116712A
Other languages
English (en)
Inventor
武史 大橋
Takeshi Ohashi
武史 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018116712A priority Critical patent/JP2019219904A/ja
Priority to PCT/JP2019/022454 priority patent/WO2019244645A1/ja
Priority to US15/734,364 priority patent/US11493997B2/en
Priority to CN201980039292.0A priority patent/CN112262362B/zh
Publication of JP2019219904A publication Critical patent/JP2019219904A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Abstract

【課題】手認識処理の認識精度を向上させる。【解決手段】光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。本技術は、手を認識する場合に適用することができる。【選択図】図６

Description

本技術は、プログラム、認識装置、及び、認識方法に関し、特に、例えば、手認識処理の認識精度を向上させることができるようにするプログラム、認識装置、及び、認識方法に関する。
例えば、スマートフォンでは、内蔵する加速度センサを用いて得られるスマートフォンの姿勢に応じて、表示部の表示が回転される（特許文献１を参照）。
特開2014-137646号公報
例えば、スマートフォン等の携帯端末のアプリケーションのうちの、ユーザの手に各種の機能を割り当てるアプリケーションでは、手の状態に応じた機能を発動させるために、ユーザの手を認識する必要がある。したがって、ユーザの手を認識する手認識処理の認識精度を向上させることが要請される。
本技術は、このような状況に鑑みてなされたものであり、手認識処理の認識精度を向上させることができるようにするものである。
本技術の認識装置又はプログラムは、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部を備える認識装置、又は、そのような認識装置としてコンピュータを機能させるためのプログラムである。
本技術の認識方法は、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行うステップを含む認識方法である。
本技術のプログラム、認識装置、及び、認識方法においては、光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。
なお、認識装置は、独立した装置であっても良いし、１つの装置を構成する内部ブロック（半導体チップやモジュール等）であっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、手認識処理の認識精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例を説明する図である。 手認識処理で認識する手の形状の例を示す図である。 左右手判定の判定方法の例を説明する図である。 左右手判定の第１及び第２の判定方法で、左右手判定が誤りやすい場合の例を説明する図である。 本技術を適用したスマートフォンの方向の定義を説明する図である。 本技術を適用したスマートフォンの左右手判定を説明する図である。 本技術を適用したスマートフォンで行われる左手用の手認識処理及び右手用の手認識処理の例を説明する図である。 線対称構成の光センサを説明する図である。 非線対称構成の光センサを説明する図である。 本技術を適用したスマートフォンの一実施の形態のハードウェア構成例を示すブロック図である。 スマートフォン１０の姿勢の検出の検出方法の例を説明する図である。 スマートフォン１０の第１の機能的構成例を示すブロック図である。 スマートフォン１０の第１の機能的構成例の処理の例を説明するフローチャートである。 スマートフォン１０の第２の機能的構成例を示すブロック図である。 スマートフォン１０の第２の機能的構成例の処理の例を説明するフローチャートである。 スマートフォン１０の第３の機能的構成例を示すブロック図である。 スマートフォン１０の第３の機能的構成例の処理の例を説明するフローチャートである。
＜ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例＞
図１は、ユーザの手に各種の機能を割り当てるスマートフォンのアプリケーションの一例を説明する図である。
図１において、スマートフォンのアプリケーション（プログラム）は、手にピストル等の機能を割り当てたAR(Augmented Reality)シューティングゲームである。
ユーザは、シューティングゲームとしてのアプリケーションをプレイする場合、スマートフォンの表示部を手前側に向け、長手方向を横向きにするように、左右の手のうちの一方である、例えば、左手で持つ。そして、ユーザは、左右の手のうちの他方である右手を、スマートフォンの表示部の裏面側に伸ばし、その右手を、ピストル等に見立てて、シューティングゲームをプレイする。
アプリケーションは、スマートフォンの表示部の裏面側に設けられた、光を受光する光センサとしてのカメラ（イメージセンサ）で、ユーザの手を含む現実世界を撮影し、表示部に表示する。さらに、アプリケーションは、敵となるキャラクタ（図１では、UFO(Unidentified Flying Object)を模したキャラクタ）を表示する。
アプリケーションは、カメラで撮影されたユーザの手が、ピストル形状である場合、そのピストル形状の手の親指の動きに同期して、ピストル形状の手の人差し指の先から、ビームを発射する（ようなCG(Computer Graphics)を表示する）。また、アプリケーションは、カメラで撮影されたユーザの手が、パー形状である場合、敵からの攻撃を防御する。
以上のようなシューティングゲームとしてのアプリケーションでは、スマートフォンのカメラで撮影されたユーザの手（の形状）を認識する手認識処理を行う必要がある。
＜手認識処理の概要＞
図２は、手認識処理で認識する手の形状の例を示す図である。
ユーザが、図１で説明したシューティングゲームとしてのアプリケーションをプレイする場合、ユーザが、左利きであるか、又は、右利きであるか等によって、スマートフォンを持つ手が、右手になる場合と左手になる場合とがある。ユーザが左手でスマートフォンを持つ場合、カメラで撮影される手は、右手になり、ユーザが右手でスマートフォンを持つ場合、カメラで撮影される手は、左手になる。したがって、アプリケーションでは、左利きのユーザ及び右利きのユーザに対応するため、左手と右手とのいずれをも認識する必要がある。
手認識処理で用いる（認識用の）辞書として、１つの辞書を用いる場合、その１つの辞書によって、左手及び右手それぞれの様々な形状を認識しようとすると、図２に示すように、手の形状のバリエーションが多いために、認識精度を、必要な精度にすることが難しい。
さらに、グー形状等は、左右のいずれの手であるかを判定しにくく、左右のいずれの手であるかの判定を誤ると、親指と小指とを逆に扱うことになり、手の形状を正しく認識することができない。
そこで、まず、カメラで撮影された手が、左手及び右手のうちのいずれであるかを判定する左右手判定を行い、左手であると判定された場合には、左手用の辞書を用いて手認識処理を行い、右手であると判定された場合には、右手用の辞書を用いて手認識処理を行う方法がある。
以上のように、左右手判定を行う場合には、左手用の辞書では、左手の形状だけをカバーし、右手用の辞書では、右手の形状だけをカバーすれば良いので、手認識処理の認識性能を向上させるとともに、手認識処理に要する時間を短くすることができる。
図３は、左右手判定の判定方法の例を説明する図である。
図３のＡは、左右手判定の第１の判定方法を示している。
ユーザが、スマートフォンの表示部を手前側にして、左手及び右手のうちの一方の手でスマートフォンを持ち、他方の手を、表示部の裏面側のカメラで撮影する場合、左手は、表示部の表示画面の左側から入り、右手は、表示部の表示画面の右側から入るような画像が撮影される。
そこで、手が、表示部の表示画面の左側又は右側から入ってくる場合には、それぞれ、その手が左手又は右手であると判定することができる。
図３のＢは、左右手判定の第２の判定方法を示している。
スマートフォンの表示部の裏面側に、光センサとしてのカメラ（イメージセンサ）が設けられており、その光センサとしてのカメラのセンシングにより得られる画像が、例えば、RGB(Red, Green, Blue)の各値を画素値とするRGB画像である場合、そのRGB画像に映る手から、手相や爪のテクスチャによって、手の裏表（手のひら又は手の甲）を判定することができる。そして、RGB画像に映る手の親指の位置を特定することで、手の裏表の判定結果と、親指の位置とから、RGB画像に映る手が、左手及び右手のうちのいずれであるかを判定することができる。
また、スマートフォンの表示部の裏面側に、光センサとしての測距センサが設けられており、したがって、光センサとしての測距センサのセンシングにより得られる画像が、距離を画素値とする距離画像である場合、その距離画像に映る手において、中央部分が凹んでいるか、又は、出っ張っているかによって、手の裏表を判定することができる。あるいは、距離画像に映る手の指が、手前側に曲がっているか、又は、奥側に曲がっているかによって、手の裏表を判定することができる。そして、距離画像に映る手の親指の位置を特定することで、手の裏表の判定結果と、親指の位置とから、距離画像に映る手が、左手及び右手のうちのいずれであるかを判定することができる。
図４は、左右手判定の第１及び第２の判定方法で、左右手判定が誤りやすい場合の例を説明する図である。
左右手判定の第１及び第２の判定方法では、図４に示すように、スマートフォンの表示部の表示画面の中央付近から、グー形状の手が入ってきた場合、左右手判定が誤りやすい。
さらに、左右手判定の第１及び第２の判定方法は、光センサのセンシングにより得られる画像の画像処理を行うので、画像に含まれるノイズ等により画像処理が適切に行われないことに起因して、左右手判定を誤ることがある。
＜本技術を適用したスマートフォンの左右手判定＞
以下、本技術を適用したスマートフォンの左右手判定について説明するが、その前に、スマートフォンの方向を定義する。
図５は、本技術を適用したスマートフォンの方向の定義を説明する図である。
本技術では、スマートフォンの表示部のいわゆる自動回転機能がオフである場合に表示部に表示される画像と同様に、スマートフォンの方向を定義する。したがって、スマートフォンのホームボタン（、又は、ナビゲーションボタン若しくはナビゲーションバー）が設けられた部分が、スマートフォンの下部である。そして、スマートフォンの下部を下側に向け、表示部を手前側に向けた姿勢（以下、デフォルト姿勢ともいう）のスマートフォンの上側、左側、及び、右側を、それぞれ、スマートフォンの上部、左部、及び、右部とする。
また、デフォルト姿勢のスマートフォンの右方向をX軸とし、上方向をY軸とし、手前方向（表示部（の表示画面）に垂直な方向）をZ軸とする、スマートフォンについてローカルな3次元座標系を、スマートフォン座標系ということとする。
図６は、本技術を適用したスマートフォンの左右手判定を説明する図である。
図１で説明したように、スマートフォンの表示部を手前側に向け、長手方向を横向きにして、ユーザが、スマートフォンを片手で持つ場合、ユーザは、図６に示すように、スマートフォンの下部を持つ。
図６のＡは、ユーザが左手でスマートフォンを持った状態を示している。図６のＢは、ユーザが右手でスマートフォンを持った状態を示している。
なお、ユーザが、スマートフォンを片手で持つ場合に、スマートフォンの下部ではなく、上部を持つことも、可能性としてはある。
しかしながら、スマートフォンの表示部の裏面側の上部には、光センサとしてのカメラ（以下、裏面カメラともいう）等が設けられている。したがって、図１で説明したシューティングゲームをプレイする場合に、ユーザが、左右の手のうちの一方の手でスマートフォンの上部を持つと、その持った手が、裏面カメラの撮影を妨げる。
以上から、スマートフォンの表示部を手前側に向け、長手方向を横向きにして、ユーザが、スマートフォンを片手で持つ場合、ユーザは、必然的に、スマートフォンの下部を持つ。
ここで、スマートフォンの表示部を手前側に向け、長手方向を横向きにしたスマートフォンの状態を、ポートレイト状態ともいう。
ユーザが、ポートレート状態のスマートフォンを片手で持つ場合、スマートフォンは、左部又は右部が下側に向いた姿勢になる。
すなわち、ユーザが、ポートレート状態のスマートフォンを左手で持つ場合、スマートフォンは、図６のＡに示すように、右部が下側に向いた姿勢になる。また、ユーザが、ポートレート状態のスマートフォンを右手で持つ場合、スマートフォンは、図６のＢに示すように、左部が下側に向いた姿勢になる。
そして、ユーザが、ポートレート状態のスマートフォンを左手で持つ場合、裏面カメラで撮影される手は、右手であり、ユーザが、ポートレート状態のスマートフォンを右手で持つ場合、裏面カメラで撮影される手は、左手である。
したがって、スマートフォンの姿勢に応じて、裏面カメラで撮影される手が、左右の手のいずれであるかの左右手判定を行うことができる。
すなわち、スマートフォンが、右部が下側に向いた姿勢である場合、裏面カメラで撮影される手は右手であると判定することができる。また、スマートフォンが、左部が下側に向いた姿勢である場合、裏面カメラで撮影される手は左手であると判定することができる。
以上のような、スマートフォンの姿勢に応じた左右手判定では、画像処理を行わないので、左右手判定を、短時間で行うことができる。さらに、ユーザが、ポートレート状態のスマートフォンの下部を片手で持つという条件が満たされる限り、左右手判定を誤ることはない。
スマートフォンの姿勢は、例えば、重力加速度を利用して検出することができる。
ここで、スマートフォンは、一般に、加速度センサを内蔵し、その加速度センサによって、重力加速度を検出（センシング）することができる。
スマートフォンの姿勢としては、重力加速度の方向に対するスマートフォンの向きを検出することができる。すなわち、例えば、スマートフォンの姿勢としては、スマートフォンの向きが右部を重力加速度の方向に向けている向きになっているか、又は、左部を重力加速度の方向に向けている向きになっているかを検出することができる。
スマートフォンの向きが右部を重力加速度の方向に向けている向きになっている場合には、図６のＡに示したように、スマートフォンが、右部が下側に向いた姿勢になっており、裏面カメラで撮影される手が右手であると判定することができる。
スマートフォンの向きが左部を重力加速度の方向に向けている向きになっている場合には、図６のＢに示したように、スマートフォンが、左部が下側に向いた姿勢になっており、裏面カメラで撮影される手が左手であると判定することができる。
本技術のスマートフォンでは、スマートフォンの姿勢に応じて、スマートフォンの表示部の裏面側に設けられた裏面カメラ等の光センサのセンシングにより得られる画像（以下、センシング画像ともいう）に映る手が左右の手のいずれであるかの左右手判定が行われる。そして、左右手判定の判定結果に応じて、センシング画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理が行われる。すなわち、左右手判定において、センシング画像に映る手が左手であると判定された場合には、左手用の手認識処理が行われる。また、左右手判定において、センシング画像に映る手が右手であると判定された場合には、右手用の手認識処理が行われる。
上述したように、スマートフォンの姿勢に応じた左右手判定は、短時間で行うことができ、さらに、ユーザが、ポートレート状態のスマートフォンの下部を片手で持つという条件が満たされる限り、左右手判定を誤ることはない。
したがって、そのような左右手判定の判定結果に応じて行われる手認識処理によれば、左右手判定を含む手認識処理を、短時間で行うとともに、認識精度を向上させることができる。その結果、快適なUI(User Interface)を実現することができる。
なお、ここでは、説明を分かりやすくするために、スマートフォンの姿勢に応じて、左右手判定を行い、その左右手判定の判定結果に応じて、左手用の手認識処理、又は、右手用の手認識処理を行うこととしたが、実装上は、左右手判定を明示的に行う必要はない。すなわち、実装上は、スマートフォンが、右部が下側に向いた姿勢になっている場合には、センシング画像に映る手は右手であるので、右手用の手認識処理を行い、スマートフォンが、左部が下側に向いた姿勢になっている場合には、センシング画像に映る手は左手であるので、左手用の手認識処理を行えばよい。
以上のように、本技術のスマートフォンでは、スマートフォンの姿勢に応じて、スマートフォンの表示部の裏面側に設けられた裏面カメラ等の光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行うことができる。
＜左手用の手認識処理及び右手用の手認識処理＞
図７は、本技術を適用したスマートフォンで行われる左手用の手認識処理及び右手用の手認識処理の例を説明する図である。
本技術を適用したスマートフォンでは、そのスマートフォンの表示部の裏面側に設けられた光センサの構成に応じて、反転方式の手認識処理、又は、辞書選択方式の手認識処理を行うことができる。
反転方式の手認識処理において、左手用の手認識処理は、センシング画像、及び、センシング画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、右手用の手認識処理は、センシング画像、及び、反転画像のうちの他方を対象とする手認識処理である。
すなわち、反転方式の手認識処理では、右手用の手認識処理として、片手用の辞書である、例えば、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、右手用の手認識処理で用いられる片手用の辞書（ここでは、右手用の辞書）を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われる。
なお、反転方式の手認識処理では、片手用の辞書として、右手用の辞書に代えて、左手用の辞書を用いることができる。片手用の辞書として、左手用の辞書を用いる場合、右手用の手認識処理として、左手用の辞書を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われ、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。
辞書選択方式の手認識処理では、左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、右手用の手認識処理は、右手用の辞書を用いる手認識処理である。
スマートフォンの表示部の裏面側に設けられた光センサの構成としては、線対称構成と、非線対称構成とがある。
線対称構成とは、所定の姿勢のスマートフォンで所定の被写体をセンシングして得られるセンシング画像としての被写体画像と、所定の姿勢と（垂直方向（重力加速度の方向）に対して）線対称の姿勢のスマートフォンで所定の被写体と（垂直方向に対して）線対称の被写体をセンシングして得られるセンシング画像としての被写体画像とが線対称になるような光センサの構成である。
非線対称構成とは、所定の姿勢のスマートフォンで所定の被写体をセンシングして得られるセンシング画像としての被写体画像と、所定の姿勢と線対称の姿勢のスマートフォンで所定の被写体と線対称の被写体をセンシングして得られるセンシング画像としての被写体画像とが線対称にならないような光センサの構成である。
ここで、スマートフォンの所定の姿勢とは、例えば、図６に示したような、スマートフォンの右部又は左部を下側に向けた姿勢を採用することができる。スマートフォンの所定の姿勢として、例えば、スマートフォンの右部を下側に向けた姿勢を採用することとすると、所定の姿勢と線対称の姿勢とは、スマートフォンの左部を下側に向けた姿勢である。
また、所定の被写体としては、例えば、左手又は右手を採用することができる。所定の被写体としては、例えば、右手を採用する場合、所定の被写体と線対称の被写体とは、左手である。
本技術を適用したスマートフォンでは、そのスマートフォンの表示部の裏面側に設けられた光センサの構成が、線対称構成である場合、反転方式の手認識処理を行うことができる。また、光センサの構成が、非線対称構成である場合、辞書選択方式の手認識処理を行うことができる。
ここで、反転方式及び辞書選択方式の手認識処理については、スマートフォンの光センサの構成に応じて、反転方式及び辞書選択方式のうちの一方の手認識処理だけを実装することができる。また、スマートフォンには、反転方式及び辞書選択方式の両方の手認識処理を実装し、光センサの構成に応じて、反転方式及び辞書選択方式のうちの一方の手認識処理を選択的に行うことができる。なお、スマートフォンでは、光センサの構成によらず、反転方式や辞書選択方式等の所定の方式の手認識処理を採用することができる。
図８は、線対称構成の光センサを説明する図である。
図８では、スマートフォンの表示部の裏面側に設けられた光センサとして、測距センサが採用されている。測距センサは、発光部及び受光部を有する。発光部は、光を発することにより、被写体に光を照射し、受光部は、被写体で反射された光を受光する。
図８では、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられている。
ユーザが、以上のように構成される光センサとしての測距センサを有するスマートフォンの下部を左手で持って、右部を下側に向けた姿勢（以下、左手持ち姿勢ともいう）のスマートフォンの光センサとしての測距センサで、所定の被写体としての右手がセンシングされる場合、発光部は、受光部の左側に位置するので、センシングにより得られるセンシング画像（ここでは、距離画像）では、所定の被写体としての右手の右側に、影（オクルージョン）が生じ得る。
一方、上述の姿勢と線対称の姿勢のスマートフォン、すなわち、ユーザが、スマートフォンの下部を右手で持って、左部を下側に向けた姿勢（以下、右手持ち姿勢ともいう）のスマートフォンの光センサとしての測距センサで、所定の被写体としての右手と（垂直方向（線）に対して）線対称の被写体（以下、線対称被写体ともいう）としての左手がセンシングされる場合、発光部は、受光部の右側に位置するので、センシングにより得られるセンシング画像では、線対称被写体としての左手の左側に、影が生じ得る。
したがって、左手持ち姿勢のスマートフォンで、所定の被写体としての右手をセンシングした場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手をセンシングした場合に得られるセンシング画像とが、影を含めて線対称になる。
以上のように、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて線対称になる光センサの構成が、線対称構成である。
線対称構成の光センサによれば、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて線対称になるので、反転方式の手認識処理を採用することができる。
すなわち、例えば、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理を行い、左手用の手認識処理として、右手用の手認識処理で用いられる右手用の辞書を用い、センシング画像を左右反転した反転画像を対象とする手認識処理を行うことにより、片手用の辞書（ここでは、右手用の辞書）だけを用いて、手認識を、高精度に行うことができる。
なお、線対称構成の光センサとしては、上述のように、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられた測距センサの他、例えば、RGBの各値を画素値とするRGB画像を撮影するモノラル（単眼）のモノラルRGBカメラ等がある。
図９は、非線対称構成の光センサを説明する図である。
図９では、スマートフォンの表示部の裏面側に設けられた光センサとして、図８と同様に、発光部及び受光部を有する測距センサが採用されている。
但し、図９では、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部が設けられ、受光部の右側に、発光部が設けられている。
ユーザが、以上のように構成される光センサとしての測距センサを有するスマートフォンを左手持ち姿勢にして、そのスマートフォンの光センサとしての測距センサで、所定の被写体としての右手がセンシングされる場合、発光部は、受光部の下側に位置するので、センシングにより得られるセンシング画像（距離画像）では、所定の被写体としての右手の上側に、影が生じ得る。
一方、上述の姿勢と線対称の姿勢のスマートフォン、すなわち、ユーザが、スマートフォンを、右手持ち姿勢にして、そのスマートフォンの光センサとしての測距センサで、線対称被写体としての左手がセンシングされる場合、発光部は、受光部の上側に位置するので、センシングにより得られるセンシング画像では、線対称被写体としての左手の下側に、影が生じ得る。
すなわち、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とでは、影が線対称にならない。したがって、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とは、線対称にならず、非線対称になる。
以上のように、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて非線対称になる光センサの構成が、非線対称構成である。
非線対称構成の光センサによれば、左手持ち姿勢のスマートフォンで、所定の被写体としての右手がセンシングされる場合に得られるセンシング画像と、右手持ち姿勢のスマートフォンで、線対称被写体としての左手がセンシングされる場合に得られるセンシング画像とが、影を含めて非線対称になるので、辞書選択方式の手認識処理を採用することができる。
すなわち、例えば、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理を行い、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理を行うことにより、手認識を、高精度に行うことができる。
なお、非線対称構成の光センサとしては、デフォルト姿勢のスマートフォンにおいて、表示部の裏面側の上部の中央に、受光部と発光部とが、垂直方向に並ぶように設けられていない測距センサとしてのTOF(Time Of Flight)センサや、ストラクチャドライトカメラ、（パターンド）ステレオ方式のステレオカメラ等がある。
＜本技術を適用したスマートフォンの一実施の形態のハードウェア構成例＞
図１０は、本技術を適用したスマートフォンの一実施の形態のハードウェア構成例を示すブロック図である。
図１において、スマートフォン１０は、CPU(Central Processing Unit)１１，ROM(Read Only Memory)１２，RAM(Random Access Memory)１３、センサ部１４、入出力インタフェース１５、表示部１６、タッチ入力部１７、通信部１８、及び、ホームボタン１９等を有する。
CPU１１ないし入出力インタフェース１５は、バスを介して相互に接続されている。表示部１６ないしホームボタン１９は、入出力インタフェース１５に接続されている。
CPU１１は、ROM１２やRAM１３に記憶されたプログラムを実行することにより、各種の処理を行う。ROM１２及びRAM１３は、CPU１１が実行するプログラムや、CPU１１の動作上必要なデータを記憶する。
センサ部１４は、加速度センサや、各種の光センサ、その他の必要なセンサを含み、所定の物理量をセンシングする。光センサとしては、例えば、RGB画像を撮影するモノラルRGBカメラや、白黒（グレスケール）の画像を撮影するモノラルグレイカメラ、距離を画素値とする距離画像を得る測距センサ等がある。測距センサとしては、TOFセンサや、ストラクチャドライトカメラ、（パターンド）ステレオカメラ等がある。光センサは、表示部１６側や、表示部１６の裏面側に設けることができる。なお、ここでは、光センサは、少なくとも、表示部１６の裏面側に設けられており、表示部１６の裏面側に設けられた光センサのセンシングにより得られるセンシング画像を用いて手認識処理が行われることとする。
入出力インタフェース１５は、表示部１６ないしホームボタン１９その他のデバイスのインタフェースとして機能する。
表示部１６は、画像を表示する。タッチ入力部１７は、ユーザのタッチ操作（タップやフリップ等）を受け付ける。表示部１６及びタッチ入力部１７は、タッチパネル等によって一体的に構成することができる。
通信部１８は、無線LAN(Local Area Network)等の所定の通信方式の通信を行う。
ホームボタン１９は、スマートフォン１０の下部に設けられた物理的な又は仮想的なボタンである。
以上のように構成されるスマートフォン１０では、CPU１１（コンピュータ）が、ROM１２やRAM１３にあらかじめインストールされたプログラムや、通信部１８によってダウンロードされ、ROM１２やRAM１３にインストールされたプログラムを実行することにより、各種の処理を行う。これにより、スマートフォンは、例えば、手認識を行う認識装置や、図１で説明したシューティングゲームのゲーム機等として機能する。
すなわち、スマートフォン１０に、手認識を行うプログラム、及び、シューティングゲームを行うプログラムがインストールされている場合、スマートフォン１０は、実質的に、後述する機能的な構成となって、手認識を行う認識装置、及び、シューティングゲームのゲーム機として機能する。
なお、コンピュータとしてのCPU１１がプログラムに従って行う処理は、必ずしも、後述するフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
＜スマートフォン１０の姿勢の検出＞
図１１は、スマートフォン１０の姿勢の検出の検出方法の例を説明する図である。
スマートフォン１０では、重力加速度の方向に対するスマートフォンの向きを、スマートフォン１０の姿勢として検出することができる。例えば、スマートフォン１０では、スマートフォン１０の向きが右部を重力加速度の方向に向けている向きになっているスマートフォンの姿勢が、左手持ち姿勢として検出される。また、スマートフォン１０の向きが左部を重力加速度の方向に向けている向きになっているかスマートフォンの姿勢が、右手持ち姿勢として検出される。
スマートフォン１０では、加速度センサのセンシングの結果から、重力加速度の方向の単位ベクトル（以下、重力加速度方向ベクトルともいう）Gが求められる。そして、その重力加速度方向ベクトルGの、スマートフォン座標系のX成分(X軸方向の成分）Gxに応じて、左手持ち姿勢及び右手持ち姿勢を検出することができる。
図１１のＡは、左手持ち姿勢の検出を説明する図である。
例えば、スマートフォン座標系のX軸の＋方向が、重力加速度の方向を基準として、Y軸回りに±45度の範囲にあり、かつ、Z軸回りに±45度の範囲にある場合、スマートフォンの姿勢は、左手持ち姿勢であるとみなすことができる。
この場合、重力加速度方向ベクトルGのX成分Gxが、式1／（√2）＜Gxを満たす場合、スマートフォンの姿勢が、左手持ち姿勢であると検出することができる。
図１１のＢは、右手持ち姿勢の検出を説明する図である。
例えば、スマートフォン座標系のX軸の−方向が、重力加速度の方向を基準として、Y軸回りに±45度の範囲にあり、かつ、Z軸回りに±45度の範囲にある場合に、スマートフォンの姿勢が、右手持ち姿勢であるとみなすことができる。
この場合、重力加速度方向ベクトルGのX成分Gxが、式Gx＜−1／（√2）を満たす場合に、スマートフォンの姿勢が、右手持ち姿勢であると検出することができる。
＜スマートフォン１０の第１の機能的構成例＞
図１２は、スマートフォン１０の第１の機能的構成例を示すブロック図である。
図１２のスマートフォン１０では、センサ部１４が有する光センサの構成が、線対称構成になっており、そのため、図７で説明した反転方式の手認識処理が実装されている。
すなわち、図１２において、スマートフォン１０は、センサ部１４、左右手判定部３１、画像反転部３２、手認識処理部３３、及び、ゲーム処理部３４を有する。
左右手判定部３１には、センサ部１４の加速度センサから、その加速度センサのセンシングの結果として、重力加速度の方向を表す重力加速度情報が供給される。
左右手判定部３１は、センサ部１４の加速度センサからの重力加速度情報を用いて、スマートフォン１０の姿勢の検出を行う。左右手判定部３１では、スマートフォン１０の姿勢が検出されることにより、実質的に、センサ部１４の光センサのセンシングにより得られるセンシング画像に映る手が左右の手のうちのいずれであるかを判定する左右手判定が行われる。
すなわち、左右手判定部３１は、重力加速度情報を用いて、図１１で説明したように、スマートフォン１０の姿勢が、左手持ち姿勢であること、又は、右手持ち姿勢であること（さらには、その他の姿勢であること）を検出する。
スマートフォン１０の姿勢が左手持ち姿勢であることが検出された場合、左右手判定では、センシング画像に映る手が右手であると判定することができる。スマートフォン１０の姿勢が右手持ち姿勢であることが検出された場合、左右手判定では、センシング画像に映る手が左手であると判定することができる。
左右手判定部３１は、左右手判定の結果である左右手判定結果（スマートフォン１０の姿勢の検出の結果ともいうことができる）を、画像反転部３２に供給する。
画像反転部３２には、左右手判定部３１から左右手判定結果が供給される他、センサ部１４の光センサから、その光センサのセンシングにより得られるセンシング画像が供給される。
画像反転部３２は、左右手判定部３１からの左右手判定結果に応じて、センサ部１４からのセンシング画像をそのままとするか、又は、左右反転し、手認識処理の対象とする対象画像に設定して、手認識処理部３３に供給する。
手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行う。
手認識処理部３３は、手位置検出部４１、手形状認識部４２、及び、記憶部４３を有する。
手位置検出部４１は、記憶部４３に記憶された辞書を用い、画像反転部３２からの対象画像を対象として、その対象画像から、手が映る手領域を検出する。さらに、手位置検出部４１は、手領域の位置を、手の位置である手位置として検出し、手領域の画像とともに、手形状認識部４２に供給する。
手形状認識部４２は、記憶部４３に記憶された辞書を用い、手位置検出部４１からの手領域の画像から、手の形状である手形状を認識し、手位置とともに、手認識処理の認識結果として、ゲーム処理部３４に供給する。
記憶部４３は、手位置検出部４１及び手形状認識部４２で用いられる辞書として、手（の標準パターン等）の辞書を記憶している。
なお、記憶部４３は、左手用の辞書、及び、右手用の辞書のうちの一方の辞書だけを記憶している。
記憶部４３が、左手用の辞書だけを記憶している場合、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
一方、記憶部４３が、右手用の辞書だけを記憶している場合、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
なお、ここでは、記憶部４３は、左手用の辞書、及び、右手用の辞書のうちの、例えば、右手用の辞書だけを記憶していることとする。したがって、センシング画像に映る手が右手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像をそのまま対象画像に設定する。また、センシング画像に映る手が左手であることを、左右手判定結果が表しているときには、画像反転部３２は、センシング画像を左右反転し、その左右反転により得られる反転画像を対象画像に設定する。
ゲーム処理部３４は、スマートフォン１０を、例えば、図１で説明したシューティングゲームとして機能させるブロックであり、例えば、手認識処理部３３（の手形状認識部４２）からの認識結果に応じて、表示部１６に表示されたユーザの手の人差し指の先から、ビームを発射する（ようなCGを表示する）等の処理を行う。
図１３は、図１２のスマートフォン１０の処理の例を説明するフローチャートである。
ステップＳ１１において、左右手判定部３１は、センサ部１４の加速度センサからの重力加速度情報を用いて、スマートフォン１０の姿勢の検出を行い、処理は、ステップＳ１２に進む。
ステップＳ１２では、左右手判定部３１は、スマートフォン１０の姿勢の検出結果から、センサ部１４の光センサのセンシングにより得られるセンシング画像に映る手が左右の手のうちのいずれであるかを判定する左右手判定を行う。
ステップＳ１２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、画像反転部３２に供給し、処理は、ステップＳ１３に進む。
ステップＳ１３では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された画像反転部３２は、センサ部１４の光センサから供給されるセンシング画像を左右反転し、その左右反転により得られる反転画像を、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部３３に供給し、処理は、ステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行い、処理は終了する。
すなわち、手認識処理部３３において、手位置検出部４１は、記憶部４３に記憶された右手用の辞書を用い、画像反転部３２からの対象画像である反転画像を対象として、その対象画像から、手が映る手領域の画像及び手位置を検出し、手形状認識部４２に供給する。
手形状認識部４２は、記憶部４３に記憶された辞書を用い、手位置検出部４１からの手領域の画像から、手形状を認識し、手位置とともに、手認識処理の認識結果として、ゲーム処理部３４に供給する。
一方、ステップＳ１２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、画像反転部３２に供給する。
左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された画像反転部３２は、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部３３に供給し、処理は、ステップＳ１２からステップＳ１４に進む。
ステップＳ１４では、上述したように、手認識処理部３３は、画像反転部３２から供給される対象画像を対象として、手認識処理を行い、処理は終了する。
なお、いまの場合、対象画像は、センシング画像そのものであるので、手認識処理部３３では、記憶部４３に記憶された右手用の辞書を用い、画像反転部３２からの対象画像であるセンシング画像そのものを対象として、手認識処理が行われる。
＜スマートフォン１０の第２の機能的構成例＞
図１４は、スマートフォン１０の第２の機能的構成例を示すブロック図である。
なお、図中、図１２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１４のスマートフォン１０では、センサ部１４が有する光センサの構成が、非線対称構成になっており、そのため、図７で説明した辞書選択方式の手認識処理が実装されている。
すなわち、図１４において、スマートフォン１０は、センサ部１４、左右手判定部３１、ゲーム処理部３４、辞書選択部５１、及び、手認識処理部５２を有する。
したがって、図１４のスマートフォン１０は、センサ部１４、左右手判定部３１、及び、ゲーム処理部３４を有する点で、図１２の場合と共通する。但し、図１４のスマートフォン１０は、画像反転部３２が設けられていない点、辞書選択部５１が新たに設けられている点、手認識処理部３３に代えて手認識処理部５２が設けられている点で、図１２の場合と相違する。
辞書選択部５１には、左右手判定部３１から左右手判定結果が供給される。辞書選択部５１は、左右手判定部３１からの左右手判定結果に応じて、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの一方の辞書を、手認識処理に用いる認識用辞書として選択する。
手認識処理部５２は、センサ部１４の光センサから供給されるセンシング画像そのものを対象画像として、手認識処理を行う。
手認識処理部５２は、手位置検出部４１、手形状認識部４２、及び、記憶部６１を有する。
したがって、手認識処理部５２は、手位置検出部４１及び手形状認識部４２を有する点で、図１２の手認識処理部３３と共通する。但し、手認識処理部５２は、記憶部４３に代えて記憶部６１が設けられている点で、手認識処理部３３と相違する。
記憶部６１は、手位置検出部４１及び手形状認識部４２で用いられる手の辞書として、左手用の辞書、及び、右手用の辞書の両方を記憶している。記憶部６１は、左手用の辞書、及び、右手用の辞書のうちの、辞書選択部５１が認識用辞書として選択した辞書を、手位置検出部４１及び手形状認識部４２に供給する。したがって、手位置検出部４１及び手形状認識部４２では、左手用の辞書、及び、右手用の辞書のうちの、辞書選択部５１が認識用辞書として選択した辞書を用いて、処理が行われる。
図１５は、図１４のスマートフォン１０の処理の例を説明するフローチャートである。
ステップＳ２１及びＳ２２では、図１３のステップＳ１１及びＳ１２の場合とそれぞれ同様の処理が行われる。
そして、ステップＳ２２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、辞書選択部５１に供給し、処理は、ステップＳ２３に進む。
ステップＳ２３では、左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された辞書選択部５１は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ２５に進む。
ステップＳ２５では、手認識処理部５２（の手位置検出部４１及び手形状認識部４２）は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、センサ部１４の光センサから供給されるセンシング画像を対象として、手認識処理部３３と同様の手認識処理を行い、処理は終了する。
一方、ステップＳ２２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、辞書選択部５１に供給し、処理は、ステップＳ２４に進む。
ステップＳ２４では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された辞書選択部５１は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの左手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ２５に進む。
この場合、ステップＳ２５では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された左手用の辞書を用い、センサ部１４の光センサから供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
＜スマートフォン１０の第３の機能的構成例＞
図１６は、スマートフォン１０の第３の機能的構成例を示すブロック図である。
なお、図中、図１２又は図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１６のスマートフォン１０では、センサ部１４の光センサの構成に応じて、反転方式又は辞書選択方式の手認識処理を選択的に行うことができるように、反転方式及び辞書選択方式の両方の手認識処理が実装されている。
すなわち、図１６において、スマートフォン１０は、センサ部１４、左右手判定部３１、画像反転部３２、ゲーム処理部３４、辞書選択部５１、手認識処理部５２、及び、構成判定部７１を有する。
したがって、図１６のスマートフォン１０は、センサ部１４、左右手判定部３１、ゲーム処理部３４、辞書選択部５１、及び、手認識処理部５２を有する点で、図１４の場合と共通する。但し、図１６のスマートフォン１０は、図１２の画像反転部３２が新たに設けられているとともに、構成判定部７１が新たに設けられている点で、図１４の場合と相違する。
構成判定部７１は、センサ部１４の光センサの構成が、線対称構成であるか、又は、非線対称構成であるかを判定する構成判定を行い、その構成判定の判定結果（以下、構成判定結果ともいう）と、左右手判定部３１から供給される左右手判定結果とに応じて、画像反転部３２及び辞書選択部５１を制御する。
すなわち、センシング画像に映る手が右手である旨を、左右手判定結果が表す場合、構成判定結果にかかわらず、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。さらに、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。
また、センシング画像に映る手が左手である旨を、左右手判定結果が表す場合において、光センサの構成が線対称構成である旨を、構成判定結果が表すときには、構成判定部７１は、センシング画像を左右反転した反転画像を対象画像に設定するように、画像反転部３２を制御する。さらに、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。
センシング画像に映る手が左手である旨を、左右手判定結果が表す場合において、光センサの構成が非線対称構成である旨を、構成判定結果が表すときには、構成判定部７１は、左手用の辞書を選択するように、辞書選択部５１を制御する。さらに、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。
図１７は、図１６のスマートフォン１０の処理の例を説明するフローチャートである。
ステップＳ３１及びＳ３２では、図１３のステップＳ１１及びＳ１２の場合とそれぞれ同様の処理が行われる。
そして、ステップＳ３２の左右手判定において、センシング画像に映る手が右手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、構成判定部７１に供給する。左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３２からステップＳ３３に進む。
ステップＳ３３では、左右手判定部３１から、センシング画像に映る手が右手である旨の左右手判定結果が供給された構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３３からステップＳ３４に進む。
ステップＳ３４では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、画像反転部３２から対象画像として供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
一方、ステップＳ３２の左右手判定において、センシング画像に映る手が左手であると判定された場合、左右手判定部３１は、その旨の左右手判定結果を、構成判定部７１に供給し、処理は、ステップＳ３５に進む。
ステップＳ３５では、左右手判定部３１から、センシング画像に映る手が左手である旨の左右手判定結果が供給された構成判定部７１は、センサ部１４の光センサの構成が、線対称構成であるか、又は、非線対称構成であるかを判定する構成判定を行う。
ステップＳ３５の構成判定において、光センサの構成が線対称構成であると判定された場合、処理は、ステップＳ３６に進み、構成判定部７１は、センシング画像を左右反転するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像を左右反転し、その左右反転により得られる反転画像を、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３６からステップＳ３３に進む。
ステップＳ３３では、上述したように、構成判定部７１は、右手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの右手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３３からステップＳ３４に進む。
ステップＳ３４では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された右手用の辞書を用い、画像反転部３２から対象画像として供給される反転画像を対象として、手認識処理を行い、処理は終了する。
また、ステップＳ３５の構成判定において、光センサの構成が非線対称構成であると判定された場合、構成判定部７１は、センシング画像そのものを対象画像に設定するように、画像反転部３２を制御する。画像反転部３２は、構成判定部７１の制御に従い、センサ部１４の光センサから供給されるセンシング画像そのものを、対象画像に設定する。そして、画像反転部３２は、対象画像を、手認識処理部５２に供給し、処理は、ステップＳ３５からステップＳ３７に進む。
ステップＳ３７では、構成判定部７１は、左手用の辞書を選択するように、辞書選択部５１を制御する。辞書選択部５１は、構成判定部７１の制御に従い、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの左手用の辞書を、手認識処理に用いる認識用辞書として選択し、処理は、ステップＳ３７からステップＳ３４に進む。
ステップＳ３７では、手認識処理部５２は、記憶部６１に記憶されている左手用の辞書及び右手用の辞書のうちの、認識用辞書として選択された左手用の辞書を用い、画像反転部３２から対象画像として供給されるセンシング画像を対象として、手認識処理を行い、処理は終了する。
以上のように、図１６のスマートフォン１０では、センサ部１４の光センサの構成に応じて、反転方式又は辞書選択方式の手認識処理が選択的に行われる。
すなわち、光センサの構成が線対称構成である場合には、右手用の手認識処理として、片手用の辞書である、例えば、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、右手用の手認識処理で用いられる片手用の辞書（ここでは、右手用の辞書）を用い、センシング画像を左右反転した反転画像を対象とする手認識処理が行われる。
一方、光センサの構成が非線対称構成である場合には、右手用の手認識処理として、右手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。また、左手用の手認識処理として、左手用の辞書を用い、センシング画像を対象とする手認識処理が行われる。
したがって、光センサの構成に応じて、適正な方式の手認識処理を行うことができる。
なお、本技術は、スマートフォンの他、タブレットや、ゲーム専用機、その他の携帯端末に適用することができる。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
としてコンピュータを機能させるためのプログラム。
＜２＞
前記手認識処理部は、重力加速度の方向に対する前記携帯端末の向きに応じて、左手用の手認識処理、又は、右手用の手認識処理を行う
＜１＞に記載のプログラム。
＜３＞
前記手認識処理部は、
前記携帯端末の向きが右部を重力加速度の方向に向けている向きになっている場合、右手用の手認識処理を行い、
前記携帯端末の向きが左部を重力加速度の方向に向けている向きになっている場合、左手用の手認識処理を行う
＜２＞に記載のプログラム。
＜４＞
前記左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、
前記右手用の手認識処理は、右手用の辞書を用いる手認識処理である
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜５＞
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称にならない非線対称構成に構成される
＜４＞に記載のプログラム。
＜６＞
前記左手用の手認識処理は、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、
前記右手用の手認識処理は、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理である
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜７＞
前記光センサは、
所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
が線対称になる線対称構成に構成される
＜６＞に記載のプログラム。
＜８＞
前記光センサの構成に応じて、
左手用の手認識処理として、左手用の辞書を用いる手認識処理を行い、右手用の手認識処理として、右手用の辞書を用いる手認識処理を行う辞書選択方式の手認識処理を行うか、又は、
左手用の手認識処理として、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理を行い、右手用の手認識処理として、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理を行う反転方式の手認識処理を行う
＜１＞ないし＜３＞のいずれかに記載のプログラム。
＜９＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
を備える認識装置。
＜１０＞
光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う
ステップを含む認識方法。
１０ スマートフォン， １１ CPU， １２ ROM， １３ RAM， １４ センサ部， １５ 入出力インタフェース， １６ 表示部， １７ タッチ入力部， １８ 通信部， １９ ホームボタン， ３１ 左右手判定部， ３２ 画像反転部， ３３ 手認識処理部， ３４ ゲーム処理部， ４１ 手位置検出部， ４２ 手形状認識部， ４３ 記憶部， ５１ 辞書選択部， ５２ 手認識処理部， ６１ 記憶部， ７１ 構成判定部

Claims (10)

  1. 光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
    としてコンピュータを機能させるためのプログラム。
  2. 前記手認識処理部は、重力加速度の方向に対する前記携帯端末の向きに応じて、左手用の手認識処理、又は、右手用の手認識処理を行う
    請求項１に記載のプログラム。
  3. 前記手認識処理部は、
    前記携帯端末の向きが右部を重力加速度の方向に向けている向きになっている場合、右手用の手認識処理を行い、
    前記携帯端末の向きが左部を重力加速度の方向に向けている向きになっている場合、左手用の手認識処理を行う
    請求項２に記載のプログラム。
  4. 前記左手用の手認識処理は、左手用の辞書を用いる手認識処理であり、
    前記右手用の手認識処理は、右手用の辞書を用いる手認識処理である
    請求項１に記載のプログラム。
  5. 前記光センサは、
    所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
    前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
    が線対称にならない非線対称構成に構成される
    請求項４に記載のプログラム。
  6. 前記左手用の手認識処理は、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理であり、
    前記右手用の手認識処理は、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理である
    請求項１に記載のプログラム。
  7. 前記光センサは、
    所定の姿勢の前記携帯端末で所定の被写体をセンシングして得られる被写体画像と、
    前記所定の姿勢と線対称の姿勢の前記携帯端末で前記所定の被写体と線対称の被写体をセンシングして得られる被写体画像と
    が線対称になる線対称構成に構成される
    請求項６に記載のプログラム。
  8. 前記光センサの構成に応じて、
    左手用の手認識処理として、左手用の辞書を用いる手認識処理を行い、右手用の手認識処理として、右手用の辞書を用いる手認識処理を行う辞書選択方式の手認識処理を行うか、又は、
    左手用の手認識処理として、前記画像、及び、前記画像を左右反転した反転画像のうちの一方を対象とする手認識処理を行い、右手用の手認識処理として、前記画像、及び、前記反転画像のうちの他方を対象とする手認識処理を行う反転方式の手認識処理を行う
    請求項１に記載のプログラム。
  9. 光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う手認識処理部
    を備える認識装置。
  10. 光を受光する光センサを有する携帯端末の姿勢に応じて、前記光センサのセンシングにより得られる画像に映る手を認識する手認識処理として、左手用の手認識処理、又は、右手用の手認識処理を行う
    ステップを含む認識方法。
JP2018116712A 2018-06-20 2018-06-20 プログラム、認識装置、及び、認識方法 Pending JP2019219904A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018116712A JP2019219904A (ja) 2018-06-20 2018-06-20 プログラム、認識装置、及び、認識方法
PCT/JP2019/022454 WO2019244645A1 (ja) 2018-06-20 2019-06-06 プログラム、認識装置、及び、認識方法
US15/734,364 US11493997B2 (en) 2018-06-20 2019-06-06 Program, recognition apparatus, and recognition method
CN201980039292.0A CN112262362B (zh) 2018-06-20 2019-06-06 程序、识别设备和识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116712A JP2019219904A (ja) 2018-06-20 2018-06-20 プログラム、認識装置、及び、認識方法

Publications (1)

Publication Number Publication Date
JP2019219904A true JP2019219904A (ja) 2019-12-26

Family

ID=68983686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116712A Pending JP2019219904A (ja) 2018-06-20 2018-06-20 プログラム、認識装置、及び、認識方法

Country Status (4)

Country Link
US (1) US11493997B2 (ja)
JP (1) JP2019219904A (ja)
CN (1) CN112262362B (ja)
WO (1) WO2019244645A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509988A (ja) * 2018-01-03 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識
JPWO2021171686A1 (ja) * 2020-02-28 2021-09-02

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
CN114449069A (zh) * 2020-11-04 2022-05-06 索尼半导体解决方案公司 电子设备、方法和存储介质
US11676329B1 (en) * 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3209378B2 (ja) * 1993-05-07 2001-09-17 キヤノン株式会社 情報処理装置及びその制御方法
US8079766B2 (en) * 2006-06-09 2011-12-20 Marty Forrest Kinney Key input system and device incorporating same
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
US9201467B2 (en) * 2011-01-26 2015-12-01 Sony Corporation Portable terminal having user interface function, display method, and computer program
JP5766019B2 (ja) * 2011-05-11 2015-08-19 シャープ株式会社 ２眼撮像装置、その制御方法、および、制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP2012248067A (ja) * 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
JP2013218428A (ja) * 2012-04-05 2013-10-24 Sharp Corp 携帯型電子機器
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
JP2014137646A (ja) 2013-01-15 2014-07-28 Sharp Corp 表示装置、表示装置の制御方法、および、記録媒体
US20150205400A1 (en) * 2014-01-21 2015-07-23 Microsoft Corporation Grip Detection
KR20150130188A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 지문 인식을 이용한 휴대 단말장치의 제어 방법 및 그 휴대 단말 장치
JP6573457B2 (ja) * 2015-02-10 2019-09-11 任天堂株式会社 情報処理システム
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
CN107329679A (zh) * 2016-04-28 2017-11-07 范浪波 自动切换智能手持设备单手操控模式的方法及装置和软件
JP6790769B2 (ja) * 2016-11-30 2020-11-25 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021509988A (ja) * 2018-01-03 2021-04-08 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識
JP7027552B2 (ja) 2018-01-03 2022-03-01 ソニーセミコンダクタソリューションズ株式会社 モバイル機器を用いたジェスチャー認識
US11662827B2 (en) 2018-01-03 2023-05-30 Sony Semiconductor Solutions Corporation Gesture recognition using a mobile device
JPWO2021171686A1 (ja) * 2020-02-28 2021-09-02
WO2021171686A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 ジェスチャー認識装置、ジェスチャー認識装置の作動方法、ジェスチャー認識装置の作動プログラム

Also Published As

Publication number Publication date
CN112262362B (zh) 2024-02-13
WO2019244645A1 (ja) 2019-12-26
US11493997B2 (en) 2022-11-08
CN112262362A (zh) 2021-01-22
US20210165492A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
WO2019244645A1 (ja) プログラム、認識装置、及び、認識方法
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
JP5981591B1 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US9659413B2 (en) Method, system and device for navigating in a virtual reality environment
US20170068326A1 (en) Imaging surround system for touch-free display control
US8705868B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US20240114231A1 (en) Viewing angle adjustment method and device, storage medium, and electronic device
JP2019537763A (ja) ジェスチャベースインタラクションのための方法およびシステム
EP2371434B1 (en) Image generation system, image generation method, and information storage medium
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP5967995B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および判別方法
US8625898B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US8823647B2 (en) Movement control device, control method for a movement control device, and non-transitory information storage medium
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US20120219179A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US20190384419A1 (en) Handheld controller, tracking method and system using the same
JP2013196568A (ja) ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
JP6632322B2 (ja) 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム
WO2014111947A1 (en) Gesture control in augmented reality
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
US20150352438A1 (en) Information processing system, non-transitory computer-readable storage medium having stored therein information processing program, information processing apparatus, and information processing method
JP2016181302A (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
US11285394B1 (en) Computer-readable non-transitory storage medium having instructions stored therein, game apparatus, game system, and game processing method
CN108401452A (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法