CN112262362B - 程序、识别设备和识别方法 - Google Patents

程序、识别设备和识别方法 Download PDF

Info

Publication number
CN112262362B
CN112262362B CN201980039292.0A CN201980039292A CN112262362B CN 112262362 B CN112262362 B CN 112262362B CN 201980039292 A CN201980039292 A CN 201980039292A CN 112262362 B CN112262362 B CN 112262362B
Authority
CN
China
Prior art keywords
hand
image
recognition process
hand recognition
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980039292.0A
Other languages
English (en)
Other versions
CN112262362A (zh
Inventor
大桥武史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112262362A publication Critical patent/CN112262362A/zh
Application granted granted Critical
Publication of CN112262362B publication Critical patent/CN112262362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Abstract

本技术涉及一种能够提高手识别处理的识别精度的程序、识别设备和识别方法。根据包括接收光的光学传感器的移动终端的定向，作为用于识别可以通过利用光学传感器进行感测而获得的图像上示出的手的手识别处理，执行左手的手识别处理和右手的手识别处理。当识别手时，可以应用本技术。

Description

程序、识别设备和识别方法
技术领域
本技术涉及一种程序、一种识别设备和一种识别方法，具体地，涉及一种程序、一种识别设备和一种识别方法，其使得能够提高例如手识别处理的识别精度。
背景技术
例如，在智能手机中，显示单元的显示图像根据使用内置加速度传感器获得的智能手机的姿势而旋转(参见PTL 1)。
[引用列表]
[专利文献]
[PTL 1]
JP 2014-137646A
发明内容
[技术问题]
例如，在用于便携式终端(例如，智能手机)的应用程序中为用户的手分配各种功能的应用程序中，为了根据手的状态激活功能，需要识别用户的手。因此，需要提高用于识别用户的手的手识别处理的识别精度。
考虑到如上所述的这种情况而提出本技术，并且使得可以提高手识别处理的识别精度。
[问题的解决方案]
本技术的识别设备或程序是包括手识别处理单元的识别设备，手识别处理单元被配置为执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过光学传感器的感测所获得的图像中的手，或用于使计算机用作上述的识别设备的程序。
本技术的识别方法是一种识别方法，该识别方法包括以下步骤：执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过光学传感器的感测所获得的图像中的手。
在本技术的程序、识别设备和识别方法中，执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过光学传感器的感测获得的图像中的手。
应当注意，识别设备可以是独立设备或配置一个设备的内部块(半导体芯片、模块等)。
此外，可以通过传输介质传输或者通过将其记录在记录介质上来提供程序。
[发明的有益效果]
根据本技术，可以提高手识别处理的识别精度。
应当注意，此处描述的效果不一定是限制性的，并且本公开中描述的一些其他效果也是适用的。
附图说明
图1是示出用于向用户的手分配各种功能的智能手机的应用程序的示例的视图。
图2是描绘通过手识别处理识别的手的形状的示例的视图。
图3描绘了图示用于左手和右手判定的判定方法的示例的视图。
图4是示出用于左手和右手判定的第一和第二判定方法在左手和右手判定中容易出错的情况的示例的视图。
图5是示出应用本技术的智能手机的方向的定义的视图。
图6描绘了示出应用本技术的智能手机的左手和右手判定的视图。
图7是示出由应用本技术的智能手机执行的左手的手识别处理和右手的手识别处理的示例的视图。
图8是示出线对称配置的光学传感器的视图。
图9是示出非线对称配置的视图。
图10是描绘应用本技术的智能手机的实施例的硬件配置的示例的框图。
图11描绘了示出用于检测智能手机10的姿势的检测方法的示例的视图。
图12是描绘智能手机10的功能配置的第一示例的框图。
图13是示出智能手机10的功能配置的第一示例的处理示例的流程图。
图14是描绘智能手机10的功能配置的第二示例的框图。
图15是示出智能手机10的功能配置的第二示例的处理示例的流程图。
图16是描绘智能手机10的功能配置的第三示例的框图。
图17是示出智能手机10的功能配置的第三示例的处理示例的流程图。
具体实施方式
<向用户的手分配各种功能的智能手机应用程序示例>
图1是示出向用户的手分配各种功能的智能手机应用程序的视图。
在图1中，用于智能手机的应用程序(程序)是AR(增强现实)射击游戏，其中，手具有手枪等的功能。
在用户将应用程序作为射击游戏来玩的情况下，用户将例如用左手(即左手和右手中的一个)握住智能手机，使得智能手机的显示单元面向用户，并且智能手机的纵向方向水平定向。然后，用户将左手和右手中的另一只伸向智能手机的显示单元的背面侧，并玩将右手比作手枪等的射击游戏。
该应用程序使用接收光并作为设置在智能手机的显示单元的背面侧的光学传感器的相机(图像传感器)拍摄包括用户的手的真实世界，在显示单元上显示真实世界。此外，该应用程序显示成为敌人的角色(在图1中，模仿UFO(不明飞行物)的角色)。
在由相机拍摄的用户的手具有手枪形状的情况下，应用程序(显示这样的CG(计算机图形))与手枪形的手的拇指的运动同步地从手枪形的手的食指尖端发射光束。另一方面，在由相机拍摄的用户的手具有纸形状的情况下，该应用程序防御来自敌人的攻击。
在如上所述的诸如射击游戏等应用程序中，需要执行用于识别由智能手机的相机拍摄的用户的手(手的形状)的手识别处理。
<手识别处理概述>
图2是描绘通过手识别处理识别的手的形状的示例的视图。
在用户将应用程序作为上文参考图1描述的射击游戏来玩的情况下，根据用户是左手用户还是右手用户，握持智能手机的手是右手的情况和握持智能手机的手是左手的另一种情况是可用的。在用户用左手握持智能手机的情况下，相机拍摄的手是右手，但是在用户用右手握持智能手机的情况下，相机拍摄的手是左手。因此，为了对惯用左手的用户和惯用右手的用户做好准备，应用程序必须识别左手和右手。
在字典用作用于手识别处理的字典(用于识别)的情况下，如果试图使用单个字典来识别左手和右手中的每一个的各种形状，则由于如图2所示，手的形状的变化的数量很大，所以难以实现作为识别精度的必要精度。
此外，关于石头形状或类似形状，很难判定是左手和右手中的哪一只手，并且如果左手和右手之间的判定是错误的，则相反地处理拇指和小指，并且不能正确地识别手的形状。
因此，有一种方法是可用的，该方法执行判定由相机拍摄的手是左手还是右手的左手和右手判定，并且在判定拍摄的手是左手的情况下，通过使用用于左手字典来执行手识别处理，但是在判定拍摄的手是右手的情况下，通过使用用于右手字典来执行手识别处理。
如上所述，在要执行左手和右手判定的情况下，如果左手字典只覆盖左手的形状，就足够了，如果右手字典只覆盖右手的形状，就足够了。因此，可以提高手识别处理的识别性能，并减少手识别处理所需的时间段。
图3描绘了示出用于左手和右手判定的判定方法的示例的视图。
图3的A描绘了用于左手和右手判定的第一判定方法。
在用户用左手和右手中的一只手握住智能手机，同时智能手机的显示单元指向用户侧，并且用显示单元的背面侧的相机拍摄另一只手的情况下，这样的图像使得左手从显示单元的显示画面的左侧进入，而右手从显示单元的显示画面的右侧进入。
因此，在手从显示单元的显示画面的左侧或右侧进入的情况下，可以判定手分别是左手还是右手。
图3的B描绘了用于左手和右手判定的第二判定方法。
在作为光学传感器的相机(图像传感器)设置在智能手机的显示单元的背面侧并且通过作为光学传感器的相机的感测获得的图像是例如RGB图像(其中，RGB(红、绿和蓝)的值是像素值)的情况下，可以根据手相或指甲的纹理从RGB图像中反映的手来判定手的背面或正面(手掌或手背)。然后，通过指定在RGB图像中反映的手的拇指的位置，可以根据手的前后和拇指的位置之间的判定结果，来判定在RGB图像中反映的手是左手和右手中的哪一只手。
另一方面，在作为光学传感器的距离测量传感器设置在智能手机的显示单元的背面侧上，因此通过作为光学传感器的距离测量传感器的感测获得的图像是距离是像素值的距离图像的情况下，可以根据在距离图像中反映的手的中央部分是凹陷的还是凸出的来判定手的背面和正面。或者，可以根据距离图像中反映的手指是向前侧弯曲还是向后侧弯曲来判定手的背部和前部。然后，通过指定在距离图像中反映的手的拇指的位置，在RGB图像中反映的手是左手和右手中的哪一只手是手的正反和拇指的位置之间的判定的结果。
图4是示出用于左手和右手判定的第一和第二判定方法在左手和右手判定中容易出错的情况的示例的视图。
如图4所示，在石头形的手从智能手机的显示单元的显示画面的中间部分附近进入的情况下，用于左手和右手判定的第一和第二判定方法在左手和右手判定中是容易出错的。
此外，由于用于左手判定和右手判定的第一判定方法和第二判定方法对通过光学传感器的感测获得的图像执行图像处理，所以它们有时会做出错误的判定，这是由于图像中包含的噪声等没有适当地执行图像处理。
<应用本技术的智能手机的左手和右手判定>
下面，描述应用本技术的智能手机的左手和右手判定。然而，在此之前，定义智能手机的方向。
图5是示出应用本技术的智能手机的方向的定义的视图。
在本技术中，智能手机的方向被定义为类似于在通常称为智能手机的显示单元的自动旋转功能关闭的情况下在显示单元上显示的图像的方向。因此，智能手机的主页按钮(或导航按钮或导航条)所设置的部分是智能手机的下部。此外，在智能手机的下部指向下侧并且显示单元指向用户侧的姿势(以下称为默认姿势)下，智能手机的上侧、左侧和右侧分别被定义为智能手机的上部、左侧和右侧。
此外，智能手机在默认姿势下的向右方向被定义为X轴，向上方向被定义为Y轴，而向前方向(垂直于显示单元(的显示屏)的方向)被定义为Z轴。关于智能手机的本地三维坐标系称为智能手机坐标系。
图6描绘了示出应用本技术的智能手机的左手和右手判定的视图。
如上文参考图1所述，在用户用一只手握住智能手机，智能手机的显示单元指向用户侧，并且智能手机的纵向方向水平定向的情况下，用户将握住智能手机的下部，如图6所示。
图6的A描绘了用户用左手握住智能手机的状态。图6的B描绘了用户用右手握住智能手机的状态。
应当注意，在用户用一只手握住智能手机的情况下，用户有可能握住上部。
然而，在智能手机的显示单元的背面侧的上部，设置了作为光学传感器的相机(以下称为背面相机)等。因此，在要玩上文参照图1描述的射击游戏的情况下，如果用户用左手和右手中的一个握住智能手机的上部，则握住智能手机上部的手会干扰背面相机的拍摄。
综上所述，在用户用一只手握住智能手机，智能手机的显示单元指向用户侧并且智能手机的纵向方向水平定向的情况下，用户不可避免地握住智能手机的下部。
在此处，智能手机处于智能手机的显示单元指向用户侧并且智能手机的纵向方向水平定向的状态也被称为肖像状态。
在用户用一只手握持处于肖像状态的智能手机的情况下，智能手机被放置成使得其左侧部分或右侧部分指向下侧。
具体地，在用户用左手握持处于肖像状态的智能手机的情况下，智能手机被放置成使得其右侧部分指向下侧，如图6的A所示。另一方面，在用户用右手握持处于肖像状态的智能手机的情况下，智能手机被放置成使得其左侧部分指向下侧，如图6的B所示。
此外，在用户用左手握持处于肖像状态的智能手机的情况下，由背面相机拍摄的手是右手，而在用户用右手握持处于肖像状态的智能手机的情况下，由背面相机拍摄的手是左手。
因此，可以根据智能手机的姿势来执行用于判定由背面相机拍摄的手是左手还是右手的左手和右手判定。
具体地，在智能手机被放置成使得其右侧部分指向下侧的情况下，可以判定由背面相机拍摄的手是右手。另一方面，在智能手机被放置成使得其左侧部分指向下侧的情况下，可以判定由背面相机拍摄的手是左手。
如上所述，在根据智能手机的姿势的这种左手和右手判定中，由于不执行图像处理，所以可以在短时间内执行左手和右手判定。此外，只要满足用户用一只手握住处于肖像状态的智能手机的下部的条件，在左手和右手判定中就不会出错。
可以通过例如重力加速度来检测智能手机的姿态。
在此处，智能手机通常内置有加速度传感器，并且可以通过加速度传感器检测(感测)重力加速度。
作为智能手机的姿态，可以检测智能手机相对于重力加速度方向的方向。具体地，作为智能手机的姿势，可以检测智能手机的方向是智能手机的右侧部分指向重力加速度的方向还是智能手机的左侧部分指向重力加速度的方向。
在智能手机的方向是智能手机的右侧部分指向重力加速度方向的方向的情况下，智能手机被放置成使得其右侧部分指向下侧，如图6的A所示，并且可以确定由背面相机拍摄的手是右手。
在智能手机的方向是智能手机的左侧部分指向重力加速度方向的方向的情况下，智能手机被放置成使得其左侧部分指向下侧，如图6的B所示，并且可以确定由背面相机拍摄的手是左手。
在本技术的智能手机中，根据智能手机的姿势来执行左手和右手判定，用于判定在通过设置在智能手机的显示单元的背面侧上的背面相机的光学传感器等感测而获得的图像(这种图像在下文中也称为感测图像)中反映的手是左手和右手中的哪一只手。然后，根据左手和右手判定的判定结果，执行左手的手识别处理或右手的手识别处理，作为用于识别在感测图像中反映的手的手识别处理。具体地，在判定在感测图像中反映的手是左手的情况下，执行左手的手识别处理。另一方面，在左手和右手判定中判定在感测图像中反映的手是右手的情况下，执行右手的识别处理。
如上所述，可以在短时间内根据智能手机的姿势进行左手和右手判定。此外，只要满足用户用一只手握住处于肖像状态的智能手机的下部的条件，在左手和右手判定中就不会出错。
因此，根据按照如上所述的这种左手和右手判定的判定结果执行的手识别处理，可以在短时间内执行包括左手和右手判定的手识别处理，并且可以提高识别精度。因此，可以实现令人满意的UI(用户界面)。
应当注意，尽管此处描述了根据智能手机的姿势来执行左手和右手判定，并且根据左手和右手判定的判定结果来执行左手的手识别处理或右手的手识别处理，以便于理解描述，但是就实现而言，没有必要明确地执行左手和右手判定。具体地，就实现而言，如果在智能手机被放置成使得其右部指向下侧的情况下，由于要在感测图像中反映的手是右手，所以执行右手的手识别处理就足够了，但是在智能手机被放置成使得其左部指向下侧的情况下，由于要在感测图像中反映的手是左手，所以执行左手的手识别处理就足够了。
如上所述，在本技术的智能手机中，作为识别通过光学传感器(例如，设置在智能手机的显示单元的背面侧的背面相机)的感测而获得的图像中反映的手的手识别处理，可以根据智能手机的姿势来执行左手的手识别处理或右手的手识别处理。
<左手的手识别处理和右手的手识别处理>
图7是示出由应用本技术的智能手机执行的左手的手识别处理和右手的手识别处理的示例的视图。
在应用本技术的智能手机中，可以根据设置在智能手机的显示单元的背面侧的光学传感器的配置来执行反转方法的手识别处理或字典选择方法的手识别处理。
在反转方法的手识别处理中，左手的手识别处理是对感测图像和反转图像(其作为感测图像的左-右反转图像)之一的手识别处理，右手的手识别处理是对感测图像和反转图像中的另一者的手识别处理。
具体地，在反转方法的手识别处理中，例如，作为一只手的字典的右手字典用于对感测图像执行手识别处理，作为右手的手识别处理。此外，在右手的手识别处理中使用的一只手的字典(此处，用于右手字典)用于对反转图像执行手识别处理，该反转图像是作为左手的手识别处理的感测图像的左-右反转图像。
应当注意，在反转方法的手识别处理中，作为一只手的字典，可以使用左手字典来代替右手字典。在左手字典用作一只手的字典的情况下，作为右手的手识别处理，使用左手字典来执行作为感测图像的左-右反转图像的反转图像的手识别处理，并且作为左手的手识别处理，使用左手字典来执行感测图像的手识别处理。
在字典选择方法的手识别处理中，左手的手识别处理是使用左手字典的手识别处理，右手的手识别处理是使用右手字典的手识别处理。
作为设置在智能手机的显示单元的背面侧的光学传感器的配置，线对称配置和非线对称配置是可用的。
线对称配置是这样一种光学传感器的配置，即作为通过以预定姿势的智能手机感测预定成像目标而获得的感测图像的成像目标图像和作为通过以与预定姿势(相对于垂直方向(重力加速度的方向))线对称的姿势的智能手机线感测与预定成像目标线对称(相对于垂直方向)的成像目标而获得的感测图像的成像目标图像彼此线对称。
非线对称配置是这样一种光学传感器的配置，即作为通过以预定姿势的智能手机感测预定成像目标而获得的感测图像的成像目标图像和作为通过以与预定姿势线对称的姿势的智能手机感测与预定成像目标线对称的成像目标而获得的感测图像的成像目标图像彼此非线对称。
在此处，作为智能手机的预定姿势，例如，可以采用如图6所示的智能手机的右部或左部指向下侧的姿势。如果作为智能手机的预定姿势，例如，采用智能手机的右侧部分指向下侧的姿势，则与预定姿势线对称的姿势是智能手机的左侧部分指向下侧的姿势。
此外，作为预定成像目标，例如，可以采用左手或右手。在例如右手用作预定成像目标的情况下，与预定成像目标线对称的成像目标是左手。
在应用本技术的智能手机中，在设置在智能手机的显示单元的背面侧的光学传感器的配置是线对称配置的情况下，可以执行反转方法的手识别处理。另一方面，在光学传感器的配置是非线对称配置的情况下，可以执行字典选择方法的手识别处理。
在此处，关于反转方法和字典选择方法的手识别处理，根据智能手机的光学传感器的配置，只能实现反转方法和字典选择方法的手识别处理中的一个。此外，反转方法和字典选择方法的手识别处理都可以在智能手机中实现，使得选择性地执行反转方法和字典选择方法的手识别处理中的一个。应当注意，智能手机可以采用预定方法的手识别处理，例如，反转方法或字典选择方法，而与光学传感器的配置无关。
图8是示出线对称配置的光学传感器的视图。
在图8中，距离测量传感器用作设置在智能手机的显示单元的背面侧的光学传感器。光测量传感器包括光发射元件和光接收元件。光发射元件发射光，以将光施加到成像目标上，并且光接收元件接收由成像目标反射的光。
在图8中，在默认姿势的智能手机中，光接收元件和光发射元件设置在显示单元的背面侧的上部的中间，以便在垂直方向上排列。
在用户握持包括以上述方式配置的作为光学传感器的距离测量传感器的智能手机的下部，并且作为预定成像目标的右手被以智能手机的右侧指向下侧的姿势(以下也称为左手握持姿势)的作为智能手机的光学传感器的距离测量传感器感测的情况下，由于光发射元件位于光接收元件的左侧，所以在通过感测获得的感测图像(此处是距离图像)中，可能在作为预定成像目标的右手的右侧出现阴影(遮挡)。
另一方面，在用户以与上述姿势线对称的姿势握持智能手机的下部，并且与作为预定成像目标(线对称成像目标在下文中称为线对称成像目标)的右手线对称(相对于垂直方向(线))的作为成像目标的左手被以智能手机的左部指向下侧的姿势(以下也称为右手握持姿势)的作为智能手机的光学传感器的距离测量传感器感测的情况下，由于光发射元件位于光接收元件的右侧，所以在通过感测获得的感测图像中，可能在作为线对称成像目标的左手的左侧出现阴影。
因此，在作为预定成像目标的右手被以左手握持姿势的智能手机感测的情况下获得的感测图像和在作为线对称成像目标的左手被以右手握持姿势的智能手机感测的情况下获得的感测图像彼此线对称，包括阴影。
光学传感器的配置是以所述方式描述的线对称配置，通过该配置，在作为预定成像目标的右手被以左手握持姿势的智能手机感测的情况下获得的感测图像和在作为线对称成像目标的左手被以右手握持姿势的智能手机感测的情况下获得的感测图像彼此线对称，包括阴影。
根据线对称配置的光学传感器，由于在作为预定成像目标的右手被以左手握持姿势的智能手机感测的情况下获得的感测图像和在作为线对称成像目标的左手被以右手握持姿势的智能手机感测的情况下获得的感测图像彼此线对称，包括阴影，所以可以采用反转方法的手识别处理。
具体地，例如，通过使用右手字典作为右手的手识别处理来执行感测图像的手识别处理，并且通过使用在右手的手识别处理中使用的右手字典作为左手的手识别处理来执行作为感测图像的左-右反转图像的反转图像的手识别处理，可以仅使用一只手的字典(在此处，右手字典)高精度执行手识别。
应当注意，作为线对称配置的光学传感器，不仅如上所述设置其中在默认姿势下的智能手机的显示单元的背面侧的上部中间的垂直方向上排列的光接收元件和光发射元件的距离测量传感器，而且例如用于拍摄RGB值是像素值的RGB图像的单耳型(单眼型)单耳RGB相机都是可用的。
图9是示出非线对称配置的光学传感器的视图。
在图9中，作为设置在智能手机的显示单元的背面侧的光学传感器，采用了与图8中类似的具有光发射元件和光接收元件的距离测量传感器。
然而，在图9中，在默认姿势的智能手机中，光接收元件设置在显示单元的背面侧的上部的中间，并且光发射元件设置在光接收元件的右侧。
在用户以左手持握姿势握持包括作为以上述方式配置的作为光学传感器的距离测量传感器的智能手机，并且作为预定成像目标的右手被作为智能手机的光学传感器的距离测量传感器感测的情况下，因为光发射元件位于光接收元件的下侧，所以在通过感测获得的感测图像(距离图像)中，可能在作为预定成像目标的右手的上侧出现阴影。
另一方面，在用户以与上述姿势线对称的姿势(即，以右手握持姿势)握持智能手机，并且作为线对称成像目标的左手被作为智能手机的光学传感器的距离测量传感器感测的情况下，因为光发射元件位于光接收元件的上侧，所以在通过感测获得的感测图像中，可能在作为线对称成像目标的左手的下侧出现阴影。
具体地，在作为预定成像目标的右手被以左手握持姿势的智能手机感测的情况下获得的感测图像和在作为线对称成像目标的左手被以右手握持姿势的智能手机感测的情况下获得的感测图像中，阴影彼此不是线对称的。因此，在作为预定成像目标的右手被以左手握持姿势的智能手机感测的情况下获得的感测图像和在作为线对称成像目标的左手被以右手握持姿势的智能手机感测的情况下获得的感测图像不是线对称的，而是彼此非线对称的。
光学传感器的配置是非线对称配置，在该配置中，以上述方式在作为预定成像目标的右手被智能手机以左手握持姿势感测的情况下获得的感测图像和在作为线对称成像目标的左手被智能手机以右手握持姿势感测的情况下获得的感测图像彼此非线对称，包括阴影。
根据非线对称配置的光学传感器，由于在作为预定成像目标的右手被智能手机以左手握持姿势感测的情况下获得的感测图像和在作为线对称成像目标的左手被智能手机以右手握持姿势感测的情况下获得的感测图像彼此非线对称，包括阴影，所以可以采用字典选择方法的手识别处理。
具体地，例如，通过使用右手字典作为右手的手识别处理来执行感测图像的手识别处理，并且通过使用左手字典作为左手的手识别处理来执行感测图像的手识别处理，可以高精度地执行手识别。
应当注意，作为非线对称配置的光学传感器，可以使用作为距离测量传感器的TOF(飞行时间)传感器、结构光相机、(图案化)立体类型的立体相机等，在距离测量传感器中，不将光接收元件和光发射元件设置为在默认姿势下在智能手机的显示单元的背面侧的上部的中间沿垂直方向排列。
<应用本技术的智能手机的实施例的硬件配置示例>
图10是描绘应用本技术的智能手机的实施例的硬件配置的示例的框图。
在图1中，智能手机10包括CPU(中央处理单元)11、ROM(只读存储器)12、RAM(随机存取存储器)13、传感器单元14、输入/输出接口15、显示单元16、触摸输入单元17、通信单元18、主页按钮19等。
从CPU 11到输入/输出接口15的块通过总线相互连接。从显示单元16到主页按钮19的块连接到输入/输出接口15。
CPU 11执行存储在ROM 12或RAM 13中的程序，以执行各种处理。ROM 12和RAM 13存储要由CPU 11执行的程序、CPU 11操作所需的数据等。
传感器单元14包括加速度传感器、各种光学传感器和其他必要的传感器，并且感测预定的物理量。作为这样的光学传感器，例如，拍摄RGB图像的单耳RGB相机、拍摄黑白(灰度)图像的单耳灰度相机、获得像素值是距离的距离图像的距离测量传感器等是可用的。作为距离测量传感器，可以使用TOF传感器、结构光相机、(图案化的)立体相机等。光学传感器可以设置在显示单元16侧或显示单元16的背面侧。此处应当注意，光学传感器至少设置在显示单元16的背面侧，并且使用通过设置在显示单元16的背面侧的光学传感器感测获得的感测图像来执行手识别处理。
输入/输出接口15用作从显示单元16到主页按钮19和其他装置的块的接口。
显示单元16显示图像。触摸输入单元17接受用户的触摸操作(轻击、翻转等)。显示单元16和触摸输入单元17可以由触摸面板等整体配置。
通信单元18执行无线LAN(局域网)等的预定通信方法的通信。
主页按钮19是设置在智能手机10下部的物理或虚拟按钮。
在以上述方式配置的智能手机10中，CPU 11(计算机)执行预先安装在ROM 12或RAM 13中的程序或由通信单元18下载并安装在ROM 12或RAM 13中的程序，以执行各种处理。因此，智能手机例如用作执行手识别的识别设备、上文参考图1描述的射击游戏的游戏机等。
具体地，在智能手机10已经在其中安装了用于执行手识别的程序和用于执行射击游戏的程序的情况下，智能手机10基本上具有下文描述的功能配置，并且用作执行手识别的识别设备和射击游戏的游戏机。
应当注意，不需要根据下面描述的流程图描述的顺序以时间序列执行由作为计算机的CPU 11根据程序执行的过程。具体地，由计算机根据程序执行的过程包括并行或单独执行的过程(例如，并行处理或由对象执行的过程)。
此外，程序可以由单个计算机(处理器)处理，或者可以由多个计算机通过分布式处理来处理。此外，该程序可以被传送到远程计算机并由远程计算机执行。
<智能手机10的姿势检测>
图11描绘了示出用于检测智能手机10的姿势的检测方法的示例的视图。
智能手机10可以检测智能手机相对于重力加速度方向的方向，作为智能手机10的姿态。例如，通过智能手机10，检测智能手机10的方向是其右侧部分指向重力加速度方向的方向的智能手机的姿势，作为左手握持姿势。另一方面，检测智能手机10的方向是其左侧部分指向重力加速度方向的方向的智能手机的姿势，作为右手握持姿势。
在智能手机10中，从加速度传感器的感测结果获得重力加速度方向上的单位向量G(以下也称为重力加速度方向向量)。然后，可以根据重力加速度方向向量G的智能手机坐标系的X分量Gx(X轴方向上的分量)来检测左手握持姿势和右手握持姿势。
图11的A是示出左手握持姿势的检测的视图。
例如，参考重力加速度的方向，在智能手机坐标系的X轴的+方向在围绕Y轴的±45°范围内，并且此外，在围绕Z轴的±45°范围内的情况下，智能手机的姿势可以被认为是左手握持姿势。
在这种情况下，在重力加速度方向向量G的X分量Gx满足表达式的情况下，可以检测智能手机的姿势，作为左手握持姿势。
图11的B是示出右手握持姿势的检测的视图。
例如，参考重力加速度的方向，在智能手机坐标系的X轴的-方向在围绕Y轴的±45°范围内，并且此外，在围绕Z轴的±45°范围内的情况下，智能手机的姿势可以被认为是右手握持姿势。
在这种情况下，在重力加速度方向向量G的X分量Gx满足表达式的情况下，可以检测智能手机的姿势，作为右手握持姿势。
<智能手机10的功能配置的第一示例>
图12是描绘智能手机10的功能配置的第一示例的框图。
在图12的智能手机10中，传感器单元14具有的光学传感器的配置是线对称配置，因此，上文参考图7描述的反转方法的手识别处理。
具体地，在图12中，智能手机10包括传感器单元14、左手和右手判定单元31、图像反转单元32、手识别处理单元33和游戏处理单元34。
作为传感器单元14的加速度传感器感测的结果，从加速度传感器将表示重力加速度方向的重力加速度信息提供给左手和右手判定单元31。
左手和右手判定单元31通过使用来自传感器单元14的加速度传感器的重力加速度信息来执行智能手机10的姿势的检测。通过检测智能手机10的姿势，左手和右手判定单元31基本上执行左手和右手判定，用于判定通过传感器单元14的光学传感器感测而获得的感测图像中反映的手是左手和右手中的哪一只。
具体地，如上文参考图11所述，左手和右手判定单元31使用重力加速度信息来检测智能手机10的姿势是左手握持姿势还是右手握持姿势(并且进一步是某个其他姿势)。
在检测到智能手机10的姿势是左手握持姿势的情况下，在左手和右手判定中，可以判定感测图像中反映的手是右手。在检测到智能手机10的姿势是右手握持姿势的情况下，在左手和右手判定中，可以判定感测图像中反映的手是左手。
左手和右手判定单元31向图像反转单元32提供作为左手和右手判定结果的左手和右手判定结果(这也可以被视为智能手机10的姿势的检测结果)。
不仅从左手和右手判定单元31向图像反转单元32提供左手和右手判定结果，而且从光学传感器提供通过传感器单元14的光学传感器感测而获得的感测图像。
图像反转单元32根据来自左手和右手判定单元31的左手和右手判定结果原样保留来自传感器单元14的感测图像，或者左-右反转感测图像，并将所得图像设置为要成为手识别处理的目标的目标图像，并将目标图像提供给手识别处理单元33。
手识别处理单元33对从图像反转单元32提供的作为目标的目标图像执行手识别处理。
手识别处理单元33包括手位置检测单元41、手形状识别单元42和存储单元43。
手位置检测单元41使用存储在存储单元43中的字典，并且将来自图像反转单元32的目标图像确定为目标，以检测从目标图像内反映手的手区域。此外，手位置检测单元41检测手区域的位置作为手位置(即，手的位置)，并将手位置与手区域的图像一起提供给手形状识别单元42。
手形状识别单元42使用存储在存储单元43中的字典来从来自手位置检测单元41的手区域的图像中识别作为手的形状的手形状，并将手形状作为手识别处理的识别结果与手位置一起提供给游戏处理单元34。
存储单元43已经在其中存储了手的字典(其标准模式等)，作为要在手位置检测单元41和手形状识别单元42中使用的字典。
应当注意，存储单元43仅在其中存储了左手字典和右手字典中的一个。
在存储单元43中仅存储左手字典的情况下，当左手和右手判定结果表示在感测图像中反映的手是左手时，图像反转单元32将感测图像原样设置为目标图像。另一方面，当左手和右手判定结果表示在感测图像中反映的手是右手时，图像反转单元32左-右反转感测图像，并将通过左-右反转获得的反转图像设置为目标图像。
另一方面，在存储单元43中仅存储右手字典的情况下，当左手和右手判定结果表示在感测图像中反映的手是右手时，图像反转单元32将感测图像原样设置为目标图像。另一方面，当左手和右手判定结果表示在感测图像中反映的手是左手时，图像反转单元32左-右反转感测图像，并将通过左-右反转获得的反转图像设置为目标图像。
注意，在此处，假设存储单元43仅在其中存储了左手字典和右手字典中的右手字典。因此，在左手和右手判定结果表示在感测图像中反映的手是右手的情况下，图像反转单元32将感测图像原样设置为目标图像。另一方面，在左手和右手判定结果表示感测图像中反映的手是左手的情况下，图像反转单元32左-右反转感测图像，并将通过左-右反转获得的反转图像设置为目标图像。
游戏处理单元34是使智能手机10用作例如如上文参考图1描述的射击游戏的块，并且例如根据来自手识别处理单元33(其手形状识别单元42)的识别结果，执行这种处理，以便(显示这种CG，以便)从在显示单元16上显示的用户的手的食指的尖端发射光束。
图13是示出图12的智能手机10的处理示例的流程图。
在步骤S11中，左手和右手判定单元31使用来自传感器单元14的加速度传感器的重力加速度信息来执行智能手机10的姿势的检测，并且处理前进到步骤S12。
在步骤S12中，左手和右手判定单元31执行左手和右手判定，用于根据智能手机10的姿势的检测结果来判定在通过传感器单元14的光学传感器的感测而获得的感测图像中反映的手是左手和右手中的哪一只。
在步骤S12中通过左手和右手判定来判定在感测图像中反映的手是左手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定结果提供给图像反转单元32。然后，处理前进到步骤S13。
在步骤S13中，图像反转单元32(从左手和右手判定单元31向其提供在感测图像中反映的手是左手的左手和右手判定结果)左-右反转从传感器单元14的光学传感器提供的感测图像，并将通过左-右反转获得的反转图像设置为目标图像。然后，图像反转单元32将目标图像提供给手识别处理单元33，并且处理从步骤S13前进到步骤S14。
在步骤S14中，手识别处理单元33对从图像反转单元32提供的目标图像执行手识别处理，并且处理随其结束。
具体地，在手识别处理单元33中，手位置检测单元41使用存储在存储单元43中的右手字典，将作为来自图像反转单元32的目标图像的反转图像确定为目标，并且从目标图像检测反映手的手区域的图像和手位置，并且将其提供给手形状识别单元42。
手形状识别单元42使用存储在存储单元43中的字典从来自手位置检测单元41的手区域的图像中识别手形状，并将手形状作为手识别处理的识别结果与手位置一起提供给游戏处理单元34。
另一方面，在步骤S12的左手和右手判定中判定在感测图像中反映的手是右手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定结果提供给图像反转单元32。
图像反转单元32(从左手和右手判定单元31向其提供在感测图像中反映的手是右手的左手和右手判定结果)将从传感器单元14的光学传感器提供的感测图像本身设置为目标图像。然后，图像反转单元32将目标图像提供给手识别处理单元33，并且处理从步骤S12前进到步骤S14。
在步骤S14中，手识别处理单元33将从图像反转单元32提供的目标图像确定为目标，并且对目标图像执行手识别处理，并且处理随其结束。
应当注意，由于在当前情况下，目标图像是感测图像本身，所以手识别处理单元33使用存储在存储单元43中的右手字典，并且对作为来自图像反转单元32的目标图像的感测图像本身执行手识别处理。
<智能手机10的功能配置的第二示例>
图14是描绘智能手机10的功能配置的第二示例的框图。
应当注意，在图14中，与图12的情况对应的部分由相同的附图标记表示，并且适当地省略其描述。
在图14的智能手机10中，传感器单元14具有的光学传感器的配置是非线对称配置，因此，实现了上文参考图7描述的字典选择方法的手识别处理。
具体地，在图14中，智能手机10包括传感器单元14、左手和右手判定单元31、游戏处理单元34、字典选择单元51和手识别处理单元52。
因此，图14的智能手机10与图12的情况相同之处在于包括传感器单元14、左手和右手判定单元31和游戏处理单元34。然而，图14的智能手机10与图12的情况的不同之处在于，不设置图像反转单元32，新设置字典选择单元51，并且设置手识别处理单元52来代替手识别处理单元33。
从左手和右手判定单元31向字典选择单元51提供左手和右手判定结果。字典选择单元51根据来自左手和右手判定单元31的左手和右手判定结果，选择存储在存储单元61中的左手字典和右手字典中的一个，作为用于在手识别处理中使用的识别字典。
手识别处理单元52将从传感器单元14的光学传感器提供的感测图像本身确定为目标图像，并对目标图像执行手识别处理。
手识别处理单元52包括手位置检测单元41、手形状识别单元42和存储单元61。
因此，手识别处理单元52与图12的手识别处理单元33相同之处在于包括手位置检测单元41和手形状识别单元42。然而，手识别处理单元52与手识别处理单元33的不同之处在于，设置存储单元61来代替存储单元43。
存储单元61已经在其中存储了用于左图像的字典和用于右手字典，作为用于手位置检测单元41和手形状识别单元42中使用的手的字典。存储单元61向手位置检测单元41和手形状识别单元42提供从左手字典和右手字典中选择的字典，作为字典选择单元51用于识别的字典。因此，手位置检测单元41和手形状识别单元42通过使用字典选择单元51从左手字典和右手字典之间选择的字典，作为用于识别的字典，来执行处理。
图15是示出图14的智能手机10的处理示例的流程图。
在步骤S21和S22中，分别执行与图13的步骤S11和S12的情况类似的处理。
然后，在步骤S22中在左手和右手判定中判定在感测图像中反映的手是右手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定的结果提供给字典选择单元51。然后，处理前进到步骤S23。
在步骤S23中，字典选择单元51(从左手和右手判定单元31向其提供在感测图像中反映的手是右手的左手和右手判定结果)从存储在存储单元61中的左手字典和右手字典中选择右手字典，作为要在手识别处理中使用的识别字典。然后，处理前进到步骤S25。
在步骤S25中，手识别处理单元52(其手位置检测单元41和手形状识别单元42)使用从存储在存储单元61中的左手字典和右手字典之间选择的右手字典，作为识别字典，并将从传感器单元14的光学传感器提供的感测图像确定为目标，以执行类似于手识别处理单元33的手识别处理。然后，处理随其结束。
另一方面，在步骤S22的左手和右手判定中判定在感测图像中反映的手是左手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定结果提供给字典选择单元51。然后，处理前进到步骤S24。
在步骤S24中，字典选择单元51(从左手和右手判定单元31向其提供在感测图像中反映的手是左手的左手和右手判定结果)从存储在存储单元61中的左手字典和右手字典之间选择左手字典，作为要在手识别处理中使用的识别字典。然后，处理前进到步骤S25。
在这种情况下，在步骤S25中，手识别处理单元52使用从存储在存储单元61中的左手字典和右手字典中选择的左手字典，作为识别字典，并将从传感器单元14的光学传感器提供的感测图像确定为目标，以执行手识别处理。然后，处理随其结束。
<智能手机10的功能配置的第三示例>
图16是描绘智能手机10的功能配置的第三示例的框图。
应当注意，在图16中，与图12或图14的情况对应的部分由相同的附图标记表示，并且适当地省略其描述。
在图16的智能手机10中，反转方法和字典选择方法的手识别处理都被实现为使得可以根据传感器单元14的光学传感器的配置，选择性地执行反转方法或字典选择方法的手识别处理。
具体地，在图16中，智能手机10包括传感器单元14、左手和右手判定单元31、图像反转单元32、游戏处理单元34、字典选择单元51、手识别处理单元52和配置判定单元71。
因此，图16的智能手机10与图14的情况的相同之处在于包括传感器单元14、左手和右手判定单元31、游戏处理单元34、字典选择单元51和手识别处理单元52。然而，图16的智能手机10与图14的情况的不同之处在于，新设置图12的图像反转单元32，并且新设置配置判定单元71。
配置判定单元71执行判定传感器单元14的光学传感器的配置是线对称配置还是非线对称配置的配置判定，并且根据配置判定的判定结果(以下也称为配置判定结果)和从左手和右手判定单元31提供的左手和右手判定结果来控制图像反转单元32和字典选择单元51。
具体地，在左手和右手判定结果表示在感测图像中反映的手是右手的情况下，配置判定单元71控制字典选择单元51选择右手字典，而与配置判定结果无关。此外，配置判定单元71控制图像反转单元32将感测图像本身设置为目标图像。
另一方面，在左手和右手判定结果表示在感测图像中反映的手是左手的情况下，当配置判定结果表示光学传感器的配置是线对称配置时，配置判定单元71控制图像反转单元32将反转图像(其作为感测图像的左-右反转图像)设置为目标图像。此外，配置判定单元71控制字典选择单元51选择右手字典。
在左手和右手判定结果表示在感测图像中反映的手是左手的情况下，当配置判定结果表示光学传感器的配置是非线对称配置时，配置判定单元71控制字典选择单元51选择左手字典。此外，配置判定单元71控制图像反转单元32将感测图像本身设置为目标图像。
图17是示出图16的智能手机10的处理示例的流程图。
在步骤S31和S32中，分别执行与图13的步骤S11和S12的情况类似的处理。
然后，在步骤S32的左手和右手判定中判定在感测图像中反映的手是右手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定结果提供给配置判定单元71。配置判定单元71(从左手和右手判定单元31向其提供在感测图像中反映的手是右手的左手和右手判定结果)控制图像反转单元32将感测图像本身设置为目标图像。图像反转单元32在配置判定单元71的控制下，将从传感器单元14的光学传感器提供的感测图像本身设置为目标图像。然后，图像反转单元32将目标图像提供给手识别处理单元52，并且处理从步骤S32前进到步骤S33。
在步骤S33中，配置判定单元71(从左手和右手判定单元31向其提供在感测图像中反映的手是右手的左手和右手判定结果)控制字典选择单元51选择右手字典。字典选择单元51在配置判定单元71的控制下，从存储在存储单元61中的左手字典和右手字典之间选择右手字典，作为用于手识别处理的识别字典。然后，处理从步骤S33前进到步骤S34。
在步骤S34中，手识别处理单元52使用从存储在存储单元61中的左手字典和右手字典中选择的作为用于识别的字典的右手字典，以对从图像反转单元32提供的作为目标图像的感测图像执行手识别处理。然后，处理随其结束。
另一方面，在步骤S32的左手和右手判定中判定在感测图像中反映的手是左手的情况下，左手和右手判定单元31将表示这一点的左手和右手判定结果提供给配置判定单元71。然后，处理前进到步骤S35。
在步骤S35中，配置判定单元71(从左手和右手判定单元31向其提供表示在感测图像中反映的手是左手的左手和右手判定结果)执行配置判定，用于判定传感器单元14的光学传感器的配置是线对称配置还是非线对称配置。
在步骤S35的配置判定中判定光学传感器的配置是线对称配置的情况下，处理前进到步骤S36，其中，配置判定单元71控制图像反转单元32左-右反转感测图像。图像反转单元32在配置判定单元71的控制下左-右反转从传感器单元14的光学传感器提供的感测图像，并将通过左-右反转获得的反转图像设置为目标图像。然后，图像反转单元32将目标图像提供给手识别处理单元52，并且处理从步骤S36前进到步骤S33。
在步骤S33中，如上所述，配置判定单元71控制字典选择单元51选择右手字典。字典选择单元51在配置判定单元71的控制下，从存储在存储单元61中的左手字典和右手字典之间选择右手字典，作为用于手识别处理的识别字典。然后，处理从步骤S33前进到步骤S34。
在步骤S34中，手识别处理单元52使用从存储在存储单元61中的左手字典和右手字典中选择的右手字典，作为用于识别的字典，对从图像反转单元32提供的作为目标图像的反转图像执行手识别处理。然后，处理随其结束。
另一方面，在步骤S35的配置判定中判定光学传感器的配置是非线对称配置的情况下，配置判定单元71控制图像反转单元32将感测图像本身设置为目标图像。图像反转单元32在配置判定单元71的控制下，将从传感器单元14的光学传感器提供的感测图像本身设置为目标图像。然后，图像反转单元32将目标图像提供给手识别处理单元52，并且处理从步骤S35前进到步骤S37。
在步骤S37中，配置判定单元71控制字典选择单元51选择左手字典。字典选择单元51在配置判定单元71的控制下，从存储在存储单元61中的左手字典和右手字典之间选择左手字典，作为用于手识别处理的识别字典。然后，处理从步骤S37前进到步骤S34。
在步骤S37中，手识别处理单元52使用从存储在存储单元61中的左手字典和右手字典中选择的左手字典，作为用于识别的字典，对从图像反转单元32提供的作为目标图像的感测图像执行手识别处理。然后，处理结束。
如上所述，在图16的智能手机10中，根据传感器单元14的光学传感器的配置，选择性地执行反转方法或字典选择方法的手识别处理。
具体地，在光学传感器的配置是线对称配置的情况下，作为右手的手识别处理，使用一只手的字典，例如，右手字典，来执行感测图像的手识别处理。此外，作为左手的手识别处理，使用在右手的手识别处理中使用的一只手的字典(此处，右手字典)，来执行通过感测图像的左-右反转而获得的反转图像的手识别处理。
另一方面，在光学传感器的配置是非线对称配置的情况下，作为右手的手识别处理，使用右手字典来执行感测图像的手识别处理。此外，作为左手的手识别处理，使用左手字典来执行感测图像的手识别处理。
因此，可以根据光学传感器的配置来执行适当方法的手识别处理。
应当注意，本技术不仅可以应用于智能手机，还可以应用于平板电脑、专用游戏机和其他便携式终端。
此外，本技术的实施例不限于上文描述的实施例，并且可以在不脱离本技术的主题的情况下以各种方式改变。
例如，本技术可以采用云计算的配置，其中，一个功能由多个设备通过网络共享并协同处理。
此外，上文结合流程图描述的步骤不仅可以由单个设备执行，而且可以由多个设备共享和执行。
此外，在一个步骤包括多个过程的情况下，一个步骤中包括的多个过程不仅可以由单个设备执行，而且可以由多个设备共享和执行。
此外，本说明书中描述的有利效果最后是示例性的，而不是限制性的，并且其他有利效果也是可用的。
应当注意，本技术可以采用以下配置。
<1>一种程序，用于促使计算机用作：
手识别处理单元，被配置为执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过所述光学传感器的感测所获得的图像中的手。
<2>根据<1>所述的程序，其中，
所述手识别处理单元根据所述便携式终端相对于重力加速度方向的方向来执行所述左手的手识别处理或所述右手的手识别处理。
<3>根据<2>所述的程序，其中，
所述手识别处理单元
在所述便携式终端的方向是所述便携式终端的右侧部分指向重力加速度的方向的情况下，执行所述右手的手识别处理，以及
在所述便携式终端的方向是所述便携式终端的左侧部分指向重力加速度的方向的情况下，执行所述左手的手识别处理。
<4>根据<1>至<3>中任一项所述的程序，其中，
所述左手的手识别处理是使用左手字典的手识别处理，并且
所述右手的手识别处理是使用右手字典的手识别处理。
<5>根据<4>所述的程序，其中，
所述光学传感器被配置为非线对称配置，通过所述非线对称配置，以下两者彼此不是线对称的：
通过所述便携式终端以预定姿势感测预定成像目标所获得的成像目标图像，以及
通过所述便携式终端以与所述预定姿势线对称的姿势感测与所述预定成像目标线对称的成像目标所获得的成像目标图像。
<6>根据<1>至<3>中任一项所述的程序，其中，
所述左手的手识别处理是用于图像和反转图像中的一者的手识别处理，其中，所述反转图像是所述图像的左-右反转图像，并且
所述右手的手识别处理是用于所述图像和所述反转图像中的另一者的手识别处理。
<7>根据<6>所述的程序，其中，
所述光学传感器被配置为线对称配置，通过该配置以下两者彼此线对称：
通过所述便携式终端以预定姿势感测预定成像目标所获得的成像目标图像，以及
通过所述便携式终端以与所述预定姿势线对称的姿势感测与所述预定成像目标线对称的成像目标所获得的成像目标图像。
<8>根据<1>至<3>中任一项所述的程序，其中，
根据所述光学传感器的配置，进行：
字典选择方法的手识别处理，用于执行使用左手字典的手识别处理，作为所述左手的手识别处理，并且执行使用右手字典的手识别处理，作为所述右手的手识别处理，或者
反转方法的手识别处理，用于执行所述图像和作为所述图像的左-右反转图像的反转图像中的一者的手识别处理，作为所述左手的手识别处理，并且执行所述图像和所述反转图像中的另一者的手识别处理，作为所述右手的手识别处理。
<9>一种识别设备，包括：
手识别处理单元，被配置为执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过所述光学传感器的感测所获得的图像中的手。
<10>一种识别方法，包括以下步骤：
执行左手的手识别处理或右手的手识别处理，作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别反映在通过所述光学传感器的感测所获得的图像中的手。
[附图标记列表]
10智能手机、11CPU、12ROM、13RAM、14传感器单元、15输入/输出接口、16显示单元、17触摸输入单元、18通信单元、19主页按钮、31左手和右手判定单元、32图像反转单元、33手识别处理单元、34游戏处理单元、41手位置检测单元、42手形状识别单元、43存储单元、51字典选择单元、52手识别处理单元、61存储单元、71配置判定单元。

Claims (9)

1.一种计算机可读存储介质，存储指令，当被计算装置执行时，所述指令用于促使所述计算装置用作：
手识别处理单元，被配置为执行左手的手识别处理或右手的手识别处理作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别在通过所述光学传感器的感测所获得的图像中反映的手，
其中，所述光学传感器的配置包括线对称配置和非线对称配置，其中，在所述光学传感器的配置是线对称配置的情况下，进行字典选择方法的手识别处理，用于执行使用左手字典的手识别处理，作为所述左手的手识别处理，并且执行使用右手字典的手识别处理，作为所述右手的手识别处理，在所述光学传感器的配置是非线对称配置的情况下，进行反转方法的手识别处理，用于执行所述图像和反转图像中的一者的手识别处理，作为所述左手的手识别处理，并且执行所述图像和所述反转图像中的另一者的手识别处理，作为所述右手的手识别处理，其中，所述反转图像是通过左-右反转所述图像获得的图像。
2.根据权利要求1所述的计算机可读存储介质，其中，
所述手识别处理单元根据所述便携式终端相对于重力加速度方向的方向执行所述左手的手识别处理或所述右手的手识别处理。
3.根据权利要求2所述的计算机可读存储介质，其中，
所述手识别处理单元
在所述便携式终端的方向是所述便携式终端的右侧部分指向重力加速度的方向的情况下，执行所述右手的手识别处理，以及
在所述便携式终端的方向是所述便携式终端的左侧部分指向重力加速度的方向的情况下，执行所述左手的手识别处理。
4.根据权利要求1所述的计算机可读存储介质，其中，
所述左手的手识别处理是使用左手字典的手识别处理，并且
所述右手的手识别处理是使用右手字典的手识别处理。
5.根据权利要求4所述的计算机可读存储介质，其中，
所述光学传感器被配置为非线对称配置，通过所述非线对称配置，以下两者彼此相对于重力加速度的方向不是线对称的：
通过预定姿势的所述便携式终端感测预定成像目标所获得的成像目标图像，以及
通过与所述预定姿势线对称的姿势的所述便携式终端感测与所述预定成像目标线对称的成像目标所获得的成像目标图像。
6.根据权利要求1所述的计算机可读存储介质，其中，
所述左手的手识别处理是针对所述图像和反转图像中的一者的手识别处理，并且
所述右手的手识别处理是用于所述图像和所述反转图像中的另一者的手识别处理。
7.根据权利要求6所述的计算机可读存储介质，其中，
所述光学传感器被配置为线对称配置，通过所述线对称配置，以下两者彼此相对于重力加速度的方向线对称：
通过预定姿势的所述便携式终端感测预定成像目标所获得的成像目标图像，以及
通过与所述预定姿势线对称的姿势的所述便携式终端感测与所述预定成像目标线对称的成像目标所获得的成像目标图像。
8.一种识别设备，包括：
手识别处理单元，被配置为执行左手的手识别处理或右手的手识别处理作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别在通过所述光学传感器的感测所获得的图像中反映的手，
其中，所述光学传感器的配置包括线对称配置和非线对称配置，其中，在所述光学传感器的配置是线对称配置的情况下，进行字典选择方法的手识别处理，用于执行使用左手字典的手识别处理，作为所述左手的手识别处理，并且执行使用右手字典的手识别处理，作为所述右手的手识别处理，在所述光学传感器的配置是非线对称配置的情况下，进行反转方法的手识别处理，用于执行所述图像和反转图像中的一者的手识别处理，作为所述左手的手识别处理，并且执行所述图像和所述反转图像中的另一者的手识别处理，作为所述右手的手识别处理，其中，所述反转图像是通过左-右反转所述图像获得的图像。
9.一种识别方法，包括以下步骤：
执行左手的手识别处理或右手的手识别处理作为手识别处理，用于根据包括接收光的光学传感器的便携式终端的姿势，识别在通过所述光学传感器的感测所获得的图像中反映的手，
其中，所述光学传感器的配置包括线对称配置和非线对称配置，其中，在所述光学传感器的配置是线对称配置的情况下，进行字典选择方法的手识别处理，用于执行使用左手字典的手识别处理，作为所述左手的手识别处理，并且执行使用右手字典的手识别处理，作为所述右手的手识别处理，在所述光学传感器的配置是非线对称配置的情况下，进行反转方法的手识别处理，用于执行所述图像和反转图像中的一者的手识别处理，作为所述左手的手识别处理，并且执行所述图像和所述反转图像中的另一者的手识别处理，作为所述右手的手识别处理，其中，所述反转图像是通过左-右反转所述图像获得的图像。
CN201980039292.0A 2018-06-20 2019-06-06 程序、识别设备和识别方法 Active CN112262362B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-116712 2018-06-20
JP2018116712A JP2019219904A (ja) 2018-06-20 2018-06-20 プログラム、認識装置、及び、認識方法
PCT/JP2019/022454 WO2019244645A1 (ja) 2018-06-20 2019-06-06 プログラム、認識装置、及び、認識方法

Publications (2)

Publication Number Publication Date
CN112262362A CN112262362A (zh) 2021-01-22
CN112262362B true CN112262362B (zh) 2024-02-13

Family

ID=68983686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039292.0A Active CN112262362B (zh) 2018-06-20 2019-06-06 程序、识别设备和识别方法

Country Status (4)

Country Link
US (1) US11493997B2 (zh)
JP (1) JP2019219904A (zh)
CN (1) CN112262362B (zh)
WO (1) WO2019244645A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417957B (zh) * 2018-01-03 2023-10-27 索尼半导体解决方案公司 使用移动装置的姿势识别
CN115053202A (zh) * 2020-02-28 2022-09-13 富士胶片株式会社 手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
CN114449069A (zh) * 2020-11-04 2022-05-06 索尼半导体解决方案公司 电子设备、方法和存储介质
US11676329B1 (en) * 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929388A (zh) * 2011-09-30 2013-02-13 微软公司 全空间姿势输入
CN105960626A (zh) * 2014-01-21 2016-09-21 微软技术许可有限责任公司 抓握检测
CN107329679A (zh) * 2016-04-28 2017-11-07 范浪波 自动切换智能手持设备单手操控模式的方法及装置和软件

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3209378B2 (ja) * 1993-05-07 2001-09-17 キヤノン株式会社 情報処理装置及びその制御方法
US8079766B2 (en) * 2006-06-09 2011-12-20 Marty Forrest Kinney Key input system and device incorporating same
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
US9201467B2 (en) * 2011-01-26 2015-12-01 Sony Corporation Portable terminal having user interface function, display method, and computer program
JP5766019B2 (ja) * 2011-05-11 2015-08-19 シャープ株式会社 ２眼撮像装置、その制御方法、および、制御プログラムおよびコンピュータ読み取り可能な記録媒体
JP2012248067A (ja) * 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
JP2013218428A (ja) * 2012-04-05 2013-10-24 Sharp Corp 携帯型電子機器
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
JP2014137646A (ja) 2013-01-15 2014-07-28 Sharp Corp 表示装置、表示装置の制御方法、および、記録媒体
KR20150130188A (ko) * 2014-05-13 2015-11-23 삼성전자주식회사 지문 인식을 이용한 휴대 단말장치의 제어 방법 및 그 휴대 단말 장치
US9804667B2 (en) * 2015-02-10 2017-10-31 Nintendo Co., Ltd. Electronic apparatus
JP6573457B2 (ja) * 2015-02-10 2019-09-11 任天堂株式会社 情報処理システム
JP6790769B2 (ja) * 2016-11-30 2020-11-25 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929388A (zh) * 2011-09-30 2013-02-13 微软公司 全空间姿势输入
CN105960626A (zh) * 2014-01-21 2016-09-21 微软技术许可有限责任公司 抓握检测
CN107329679A (zh) * 2016-04-28 2017-11-07 范浪波 自动切换智能手持设备单手操控模式的方法及装置和软件

Also Published As

Publication number Publication date
WO2019244645A1 (ja) 2019-12-26
CN112262362A (zh) 2021-01-22
JP2019219904A (ja) 2019-12-26
US11493997B2 (en) 2022-11-08
US20210165492A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN112262362B (zh) 程序、识别设备和识别方法
US10657663B2 (en) Localisation and mapping
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
US8705868B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
US8699749B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US20170277259A1 (en) Eye tracking via transparent near eye lens
US8625898B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN111353930B (zh) 数据处理方法及装置、电子设备及存储介质
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US8571266B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8823647B2 (en) Movement control device, control method for a movement control device, and non-transitory information storage medium
KR20210069491A (ko) 전자 장치 및 이의 제어 방법
US10607069B2 (en) Determining a pointing vector for gestures performed before a depth camera
US8718325B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
JP6632322B2 (ja) 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN107077195A (zh) 显示对象指示符
US8705869B2 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
US20200167005A1 (en) Recognition device and recognition method
WO2021161769A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020095671A (ja) 認識装置及び認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant