CN104583913A - 用户界面装置及显示目标物操作方法 - Google Patents

用户界面装置及显示目标物操作方法 Download PDF

Info

Publication number
CN104583913A
CN104583913A CN201480002144.9A CN201480002144A CN104583913A CN 104583913 A CN104583913 A CN 104583913A CN 201480002144 A CN201480002144 A CN 201480002144A CN 104583913 A CN104583913 A CN 104583913A
Authority
CN
China
Prior art keywords
display
object thing
action
user
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480002144.9A
Other languages
English (en)
Other versions
CN104583913B (zh
Inventor
石野公一
田中义照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN104583913A publication Critical patent/CN104583913A/zh
Application granted granted Critical
Publication of CN104583913B publication Critical patent/CN104583913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

用户界面装置(100)具备：显示部(111)，在显示空间(116)显示二维或者三维的显示目标物(117)；传感器部(112)，测量在显示空间(116)中的用户的手指(118)的三维坐标；动作检测部(113)，利用由传感器部(112)测量的用户的手指(118)的三维坐标，来检测针对显示目标物(117)的用户的手指(118)的动作；以及显示控制部(114)，按照动作检测部(113)的检测结果，来变更显示部(111)显示的显示内容。

Description

用户界面装置及显示目标物操作方法
技术领域
本发明涉及针对三维立体视影像中的显示目标物的用户界面装置及显示目标物操作方法。
背景技术
作为在三维立体视影像中使用用户的手指的细微的显示目标物操作方法，有专利文献1所述的技术。在专利文献1中，用户套上附有标记的手套进行操作。用户界面装置利用2根手指的标记之间的距离来检测捏取动作。
(现有技术文献)
(专利文献)
专利文献1∶日本特开2012－256110号公报
发明内容
发明要解决的问题
然而，针对这样的用户界面装置，要求能够高精度地检测用户的动作。
于是，本发明的目的在于，提供一种能够高精度地检测用户的动作的用户界面装置。
用于解决问题的手段
本发明的一个方案涉及的用户界面装置具备：显示部，在显示空间显示二维或者三维的目标物；传感器部，测量在所述显示空间中的用户的手指的三维坐标；动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及显示控制部，按照所述动作检测部的检测结果，来变更所述显示部显示的显示内容。
另外，这些全体或具体的实施方式，可以用系统、方法、集成电路、计算机程序或计算机能够读取的CD－ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。
发明效果
本发明能够提供一种能够高精度地检测用户的动作的用户界面装置。
附图说明
图1是表示实施方式涉及的用户界面装置的方框图。
图2是表示实施方式涉及的用户界面装置的概要的图。
图3是表示实施方式涉及的动作检测部的方框图。
图4A是表示实施方式涉及的手指动作建模的概要的图。
图4B是表示实施方式涉及的手指动作建模的概要的图。
图5是表示实施方式涉及的手指动作建模的一例的图。
图6A是用于说明实施方式涉及的捏取检测方法的图。
图6B是用于说明实施方式涉及的捏取检测方法的图。
图7A是用于说明实施方式涉及的连接指尖与传感器部的两个直线形成的角度的计算处理的图。
图7B是用于说明实施方式涉及的连接指尖与传感器部的两个直线形成的角度的计算处理的图。
图8A是表示实施方式涉及的捏取检测和显示控制的概要的图。
图8B是表示实施方式涉及的捏取检测和显示控制的概要的图。
图9是表示实施方式涉及的捏取检测处理的流程图。
图10A是用于说明实施方式涉及的操作例1的图。
图10B是用于说明实施方式涉及的操作例1的图。
图11A是用于说明实施方式涉及的操作例2的图。
图11B是用于说明实施方式涉及的操作例2的图。
图11C是用于说明实施方式涉及的操作例2的图。
图12A是用于说明实施方式涉及的操作例3的图。
图12B是用于说明实施方式涉及的操作例3的图。
图12C是用于说明实施方式涉及的操作例3的图。
图13A是用于说明实施方式涉及的操作例4的图。
图13B是用于说明实施方式涉及的操作例4的图。
图13C是用于说明实施方式涉及的操作例4的图。
图14A是用于说明实施方式涉及的操作例5的图。
图14B是用于说明实施方式涉及的操作例5的图。
图14C是用于说明实施方式涉及的操作例5的图。
图15A是用于说明实施方式涉及的操作例6的图。
图15B是用于说明实施方式涉及的操作例6的图。
图15C是用于说明实施方式涉及的操作例6的图。
图16A是用于说明实施方式涉及的操作例7的图。
图16B是用于说明实施方式涉及的操作例7的图。
图17是用于说明实施方式涉及的操作例8的图。
图18是用于说明实施方式涉及的操作例8的图。
具体实施方式
(成为本发明的基础的见解)
本发明者在背景技术部分记载的用户界面装置中，发现了会产生如下的问题。
在专利文献1所述的构成中，产生用户戴手套有负载的课题。此外，专利文献1所述的构成是只检测指尖平面的位置，没有检测深度方向的位置。由此，按照手指的位置的不同，在实际上用户没有进行捏取动作的情况下，也有可能判断为标记之间接近。这样，本发明者在专利文献1所述的技术中发现了会产生捏取动作的误检测这样的课题。
在以下的实施方式中说明如下的用户界面装置，不需要在手指附上标记，就能够检测用户的捏取动作，并且能够高精度地检测捏取动作。此外说明能够进行三维立体视影像中的显示目标物的直感操作的用户界面装置。
本发明的一个方案涉及的用户界面装置具备：显示部，在显示空间显示二维或者三维的目标物；传感器部，测量在所述显示空间中的用户的手指的三维坐标；动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及显示控制部，按照所述动作检测部的检测结果，来变更所述显示部显示的显示内容。
通过这个构成，该用户界面装置测量用户的手指的三维坐标，利用该三维坐标来检测用户的手指的动作。由此，该用户界面装置能够高精度地检测用户的动作。
例如可以是，所述动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，检测所述用户捏取所述目标物的捏取动作。
通过这个构成，该用户界面装置，利用测量出的用户的手指的三维坐标，能够高精度地检测捏取动作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述捏取动作的情况下，变更通过该捏取动作而被捏取的对象目标物的显示方法。
通过这个构成，用户能够容易地判断捏取动作是否恰当地被进行。
例如可以是，所述显示部，在所述显示空间显示多个目标物，所述显示控制部，在由所述动作检测部检测出所述捏取动作的情况下，还变更所述多个目标物中的所述对象目标物以外的目标物的显示方法。
通过这个构成，该用户界面装置，例如使对象目标物以外的目标物变得不显眼，从而能够相对强调对象目标物。此外，例如，能够抑制其他目标物的显示妨碍继续对对象目标物进行的输入操作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述用户捏取所述对象目标物使所述对象目标物移动的移动动作的情况下，与该移动动作连动地使所述对象目标物的三维位置移动。
通过这个构成，该用户界面装置，作为目标物的移动操作能够实现直感的输入操作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述用户撕或扯所述对象目标物的动作的情况下，删除所述对象目标物。
通过这个构成，该用户界面装置，作为目标物的删除操作能够实现直感的输入操作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述用户以捏取所述对象目标物的两个点的状态来拉长该对象目标物的动作的情况下，放大所述对象目标物，在由所述动作检测部检测出所述用户以捏取所述对象目标物的两个点的状态来收缩该对象目标物的动作的情况下，缩小所述对象目标物。
通过这个构成，该用户界面装置，作为目标物的放大缩小操作能够实现直感的输入操作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述用户以捏取所述对象目标物的状态来翻所述对象目标物的页面的动作的情况下，进行所述对象目标物的翻页动作。
通过这个构成，该用户界面装置，作为目标物的翻页操作能够实现直感的输入操作。
例如可以是，所述显示控制部，在由所述动作检测部检测出所述用户用手指弹开所述对象目标物的动作的情况下，使所述对象目标物向被弹开的方向移动。
通过这个构成，该用户界面装置，作为目标物的移动操作能够实现直感的输入操作。
例如可以是，所述动作检测部，将所述用户的部位中比预先规定的阈值细的部分识别为手指，从而生成手指动作模型，并且利用该手指动作模型，检测所述捏取动作。
通过这个构成，该用户界面装置，通过利用手指动作模型，能够高精度地检测捏取动作。
例如可以是，所述动作检测部，利用所述手指动作模型检测所述用户的指尖的三维位置，在所述指尖之间存在所述对象目标物的一部分、并且所述指尖的间隔在所述对象目标物的厚度以下的情况下，判断为进行了所述捏取动作。
通过这个构成，该用户界面装置能够高精度地检测捏取动作。
例如可以是，所述动作检测部，在所述手指动作模型的形状与预先规定的捏取动作模型的形状一致的情况下，判断为进行了所述捏取动作。
通过这个构成，该用户界面装置能够高精度地检测捏取动作。
此外，本发明的一个方案涉及的显示目标物操作方法，包括：显示步骤，在显示空间显示二维或者三维的目标物；测量步骤，测量在所述显示空间中的用户的手指的三维坐标；动作检测步骤，利用在所述测量步骤测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及显示控制步骤，按照所述动作检测步骤的检测结果，来变更显示内容。
通过这个构成，该显示目标物操作方法测量用户的手指的三维坐标，利用该三维坐标来检测用户的手指的动作。由此，该显示目标物操作方法能够高精度地检测用户的动作。
另外，这些全体或具体的实施方式，可以用系统、方法、集成电路、计算机程序或计算机能够读取的CD－ROM等记录介质来实现，也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。
下面，参考附图来说明本发明的实施方式。另外，下面说明的实施方式都是示出本发明的一个具体例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置以及连接形式、步骤、步骤的顺序等，都是本发明的一个例子，主旨不是限制本发明。因此，在以下的实施例的构成要素中，对于示出本发明的最上位概念的独立权利要求中所没有记载的构成要素，作为任意的构成要素来说明。
(实施方式)
图1是表示本实施方式涉及的用户界面装置100的构成的方框图。
图1示出的用户界面装置100具备显示部111、传感器部112、动作检测部113、显示控制部114、显示数据保持部115。
显示部111，在空间上任意的区域即显示空间116上显示包含二维或者三维的显示目标物的立体视影像。在此，立体视影像是例如空中显示器或者全息投影。另外，立体视影像也可以是所谓三维电视机等显示的影像。此外，二维的目标物例如是显示为立体的、没有厚度的目标物。
图2是用于说明本实施方式涉及的用户界面装置100的概要的图。显示空间116是由显示部111显示立体视影像的空间区域。显示目标物117是显示部111在显示空间116显示的影像。另外，在此显示目标物117只记载了一个，不过可以有多个。此外，显示部111及传感器部112的布置，可以不必是图2示出的布置。
显示部111通过来自显示控制部114的控制，在空间上的任意区域投影显示二维或者三维的影像。
传感器部112测量显示空间116内的物体的三维坐标。例如，传感器部112测量显示空间116中的用户的手指的三维坐标。具体而言，传感器部112是通过拍摄显示空间116，从而获得显示空间116的二维图像，并且测量显示空间116内存在的物体与传感器部112之间的距离的装置。例如，传感器部112是分别拍摄显示空间116的RGB图像和近红外区域图像的传感器装置。传感器部112，利用被拍摄的近红外区域图像，来测量RGB图像内的物体的距离。或者，传感器部112是TOF(Time－Of－Flight)方式的距离图像传感器装置。在这个情况下，传感器部112能够实现每个像素间的距离测定。或者，传感器部112包含立体配置的图像传感器，根据立体法可以算出距离。
包含被测定的距离信息的图像数据交付给动作检测部113。
动作检测部113利用由传感器部112测量的用户的手指的三维坐标，检测对显示目标物117的用户的手指的动作。具体而言，动作检测部113利用所述三维坐标，检测用户捏取显示目标物117的捏取动作。
图3是表示动作检测部113的构成的方框图。动作检测部113具备手指动作建模部131、捏取动作检测部132、捏取动作模型保持部133。
手指动作建模部131具有手指宽度阈值保持部134和手指动作模型登记部135。
手指动作建模部131，如图4A所示，在显示空间116存在用户的手118的情况下，利用来自传感器部112的信息，生成模式性示出用户的手指的模型即手指动作模型119。具体而言，手指动作建模部131，利用由传感器部112测量的信息，确定与用户的手118对应的部分。接着，手指动作建模部131，在被确定的部分的部位中比预先规定的阈值细的部分识别为手指。具体而言，手指动作建模部131，如图4B所示，将宽度120比手指宽度阈值保持部134保持的阈值小的部分判断为是手指。另外，手指宽度阈值保持部134保持的阈值，可以由用户来进行变更。例如，手指动作建模部131，将宽度120比阈值小的部分的沿着长度方向的中心线，设定为手指动作模型119。
此外，该手指动作模型119的生成处理，按照规定的时间间隔反复进行。换言之，手指动作模型119实时地随时被更新。此外，手指动作模型119的制作，也用于例如紧前的帧的手指动作模型119的检测结果。由此，某个手指的一部分或者全体由其他手指等隐藏的情况下，也能推测隐藏的手指的手指动作模型119。
在手指动作建模部131生成的手指动作模型119的信息，递交到捏取动作检测部132及手指动作模型登记部135。
手指动作模型登记部135，预先检测用户的手118的捏取动作，生成捏取动作模型136。捏取动作模型136是为了在是否做了捏取动作的判断中使用的参考模型。此外，手指动作模型登记部135，将生成的捏取动作模型136保持在捏取动作模型保持部133。图5是表示手指动作模型的一例的图。另外，图5示出的捏取动作模型136是只是一例，也可以是其以外的模型。
在后述的[捏取检测动作]中，保持在捏取动作模型保持部133的捏取动作模型136与手指动作模型119之间进行图案匹配。换言之，为了进行捏取检测，使用用户界面装置100进行捏取检测之前，需要在用户界面装置100上预先登记捏取动作模型136。
另外，手指动作模型登记部135，可以将从外部输入的捏取动作模型136保持到捏取动作模型保持部133。
捏取动作模型保持部133，保持由手指动作模型登记部135生成的捏取动作模型136，将保持的捏取动作模型136递交给捏取动作检测部132。
捏取动作检测部132，利用由手指动作建模部131生成的手指动作模型119、以及来自捏取动作模型保持部133的捏取动作模型136，检测捏取动作。此外，捏取动作检测部132检测捏取位置坐标，该捏取位置坐标是通过捏取动作而被捏取的位置的三维坐标。捏取动作检测部132向显示控制部114通知检测出捏取动作。此外，捏取动作检测部132，在检测捏取动作之后，将表示按照用户的操作而移动的捏取位置坐标的变化的信息，也递交给显示控制部114。
显示控制部114将显示数据保持部115中保持的显示目标物信息递交给显示部111。此外，显示控制部114按照捏取位置坐标的变化，变更被捏取的显示目标物的显示内容，向显示部111递交变更后的显示数据。换言之，显示控制部114按照动作检测部113的检测结果，变更显示部111显示的显示内容。
关于显示内容的变更，在后述的[操作例1]～[操作例8]中说明。
此外，显示控制部114，按照用户的捏取动作，不仅将被变更的显示内容递交到显示部111，而且也变更显示数据保持部115中保持的显示目标物信息。
显示数据保持部115保持在显示空间116显示的显示目标物信息。
[捏取检测动作]
动作检测部113使用以下示出的两个捏取检测方法。另外，动作检测部113可以使用以下示出的两个方法的双方，也可以只使用任意一方。
利用图6A和图6B来说明第一个方法。
首先，手指动作建模部131生成用户的手118的手指动作模型119。另外，在图6A中只记载了用2根手指的手指动作模型119，不过也可以使用3根以上手指的手指动作模型119。
接着，捏取动作检测部132利用能够进行距离测定的传感器部112的测量结果，求出手指动作模型119的手指前端与传感器部112之间的距离。另外，捏取动作检测部132，根据通常的手的形状估计的多个手指动作模型119的布置关系，来判断各手指动作模型119的任一个的端部是否与指尖(指尖前端)对应。
此外，在图6A中，距离L1及距离L2分别示出传感器部112与进行捏取动作的2根手指的指尖前端的每一个的距离。
此外，捏取动作检测部132，根据由传感器部112获得的图像信息，求出一方的指尖前端与传感器部112连接的直线和另一方的指尖前端与传感器部112连接的直线而形成的角度θ。
例如，捏取动作检测部132用以下的方法来求出角度θ。图7A及图7B是用于说明角度θ的计算方法的图。
图7A是表示在传感器部112获得的二维的图像信息的一例的图。如图7A所示，捏取动作检测部132求出传感器部112的中央C与2个指尖之间的距离M1以及M2。在此，传感器部112的中央C的坐标例如是图像的中心坐标。
接着，如图7B所示，划出从指尖到传感器部112侧垂直的直线AB及DE。因而，形成两个垂直三角形ABC及CDE。在此，将角BAC的内角设为φ1、角CDE的内角设为φ2时，角度θ＝φ1+φ2。从而，根据下列(式1)及(式2)求出角度θ。
(数式1)
sin φ 1 = M 1 L 1 , sin φ 2 = M 2 L 2
cos φ 1 = L 1 2 - M 1 2 L 1 , cos φ 2 = L 2 2 - M 2 2 L 2 …(式1)
(数式2)
cos θ = cos ( φ 1 + φ 2 ) = cos φ 1 cos φ 2 - sin φ 1 sin φ 2 = ( L 1 2 - M 1 2 ) ( L 2 2 - M 2 2 ) - M 1 M 2 L 1 L 2 …(式2)
根据距离L1、距离L2以及角度θ，用以下的(式3)来求出2根手指的前端间距离d。
(数式3)
d = L 1 2 + L 2 2 - 2 L 1 L 2 cos θ …(式3)
接着，捏取动作检测部132，如图6B所示，在该2根手指的前端间被捏取的对象即显示目标物117存在的情况下，比较2根手指的前端间距离d与显示目标物117的厚度t，在满足(显示目标物的厚度t)≥(2根手指的前端间距离d)的情况下，检测出捏取动作。
这样动作检测部113利用手指动作模型119检测用户的指尖的三维位置。而且，动作检测部113在指尖之间存在显示目标物的一部分，并且，指尖的间隔为显示目标物的厚度以下的情况下，判断为进行了捏取动作。
下面说明第二个捏取检测方法。
捏取动作检测部132事先由用户进行在捏取动作模型保持部133保持的捏取动作模型136与手指动作模型119的图案匹配，在判断为一致的情况下，检测出捏取。
这样，动作检测部113在手指动作模型119的形状与预先规定的捏取动作模型136的形状一致的情况下，判断为进行了捏取动作。在这里，一致不限定为完全一致，也包含相似度比预先规定的阈值大的情况。
[捏取检测时的显示控制]
以下，利用图8A以及图8B来说明本实施方式中的捏取检测和显示控制的概要。另外，在图8A及图8B中，显示空间116显示的显示目标物是显示目标物117与显示目标物121的2个，不过，显示目标物的个数可以是3个以上。在这里说明显示目标物117被捏取的情况。
此外，位置坐标122是显示目标物117的位置坐标。
图8A表示显示目标物117被用户的手118捏取之前的状态，显示目标物117还没有被捏取。图8B表示目标物117被用户的手118捏取的状态。
如图8B所示，捏取动作检测部132检测捏取动作，获得捏取位置坐标201(Tx，Ty，Tz)。
此外，捏取动作检测部132向显示控制部114通知对显示目标物117进行了捏取检测。显示控制部114接受对显示目标物117的捏取检测，向显示部111递交对显示目标物117实施如下视觉效果的显示指示，该视觉效果是向用户通知显示目标物117被捏取的视觉效果。换言之，显示控制部114变更通过捏取动作而被捏取的显示目标物117的显示方法。
具体而言，显示控制部114，强调显示被捏取的显示目标物117。例如，如图8B所示，显示控制部114，使显示目标物117的轮廓变得明显。另外，显示控制部114也可以显示文字信息，以示出被捏取。
此外，显示控制部114也可以变更被捏取的显示目标物117以外的显示目标物(在这里是显示目标物121)的显示方法。具体而言，显示控制部114使显示目标物121不显眼。例如，显示控制部114向显示部111递交实施如下视觉效果的显示指示，该视觉效果是提高显示目标物121的透射度、或者进行一时的非显示的视觉效果。
[捏取检测的流程图]
图9是表示本实施方式涉及的捏取检测处理的流程的流程图。
首先在步骤S101，手指动作建模部131从传感器部112获得用户的手118的各部位与传感器部112之间的距离信息。加之，手指动作建模部131，以各部位的宽度120为基础，将宽度120比手指宽度阈值保持部134保持的阈值细的部位判断为手指，生成手指动作模型119。
下面在步骤S102，捏取动作检测部132，判断任意的二根手指的前端间是否存在显示目标物。
在任意的二根手指的前端间没有显示目标物的情况下(S102中的“否”)，进入步骤S108的捏取未检测，未检测捏取动作而结束处理。
另一方面，如果任意的二根手指的前端间有显示目标物的情况下(S102中的“是”)，进入步骤S103。
在步骤S103中，捏取动作检测部132，比较任意的二根手指的前端间的距离d与显示目标物的厚度t。(显示目标物的厚度t)<(2根手指的前端间距离d)时(S103中的“否”)，进入步骤S104。另一方面，(显示目标物的厚度t)≥(2根手指的前端间距离d)时(S103中的“是”)，进入步骤S105。
在步骤S104中，捏取动作检测部132，实施在步骤S101获得的手指动作模型119与保持在捏取动作模型保持部133的捏取动作模型136的图案匹配。在手指动作模型119与捏取动作模型136不一致的情况下(S104中的“否”)，进入步骤S108的捏取未检测，未检测捏取动作而结束。另一方面，手指动作模型119与捏取动作模型136一致的情况下(S104中的“是”)，进入步骤S105。
在步骤S105中，显示控制部114，在(显示目标物的厚度t)≥(2根手指的前端间距离d)(S103中的“是”)、或者与捏取动作模型136图案匹配(S104中的“是”)，从而向显示部111递交显示指示，该显示指示示出对判断为被捏取的显示目标物的捏取检测。由此，显示部111在显示空间116显示遵照该显示指示的影像。另外，示出捏取检测的显示指示的详细，在后述的[操作例1]～[操作例8]中说明。
下面在步骤S106，显示控制部114，将对被捏取的显示目标物以外的显示目标物进行提高透射性或者一时地非显示等显示指示递交给显示部111。此外，进入步骤S107，成为捏取检测。
另外，虽然进行了利用显示目标物的厚度t和手指的前端间距离d的判断(S103)、以及手指动作模型和119与捏取动作模型136的图案匹配(S104)的双方，不过，也可以只进行任意一方。此外，步骤S103和S104的顺序可以是相反的。
此外，步骤S105～S107的顺序可以是任意的顺序。此外，步骤S105～S107的一部分或者全部可以同时(并行)处理。
此外，所述处理通过实时地进行(以规定的时间间隔反复进行)，从而随时地更新手指动作模型119，并且检测捏取动作。
如上所述，动作检测部113，在用户的部位中，通过比预先规定的阈值细的部分识别为手指，从而生成手指动作模型119，利用该手指动作模型119来检测捏取动作。具体而言，动作检测部113，利用手指动作模型119来检测用户的指尖的三维位置，在指尖之间存在对象目标物(显示目标物117)的一部分、并且指尖的间隔是对象目标物的厚度以下的情况下，判断为进行了捏取动作。或者，动作检测部113，在手指动作模型119的形状与预先规定的捏取动作模型136的形状一致的情况下，判断为进行了捏取动作。
这样，动作检测部113通过利用手指动作模型119，从而能够适当地检测捏取动作。
在这之后，说明捏取检测后的用户的显示目标物操作的方法。
[操作例1]
操作例1是用户通过捏取动作使显示目标物117移动的动作。图10A及图10B是用于说明操作例1的图。
图10A表示用户捏取了在位置坐标122(O1x,O1y,O1z)的显示目标物117的状态。这个时候的捏取位置的坐标是捏取位置坐标202(T1x,T1y,T1z)。
图10B表示在用户捏取显示目标物117的状态下，使捏取位置移动到捏取位置坐标203(T2x,T2y,T2z)的情况。
按照该用户进行的显示目标物117的移动，即捏取位置从捏取位置坐标202(T1x,T1y,T1z)向捏取位置坐标203(T2x,T2y,T2z)的移动，显示控制部114使显示目标物117显示位置，从位置坐标122(O1x,O1y,O1z)移动到位置坐标123(O2x,O2y,O2z)。
具体而言，成为O2x＝O1x+(T2x－T1x)，O2y＝O1y+(T2y－T1y)，O2z＝O1z+(T2z－T1z)。
这样，显示控制部114，在由动作检测部113检测出用户捏取对象目标物(显示目标物117)移动的移动动作的情况下，与该移动动作连动地，使对象目标物的三维位置移动。具体而言，显示控制部114，在动作检测部113检测出用户捏取对象目标物的捏取动作之后，在维持该捏取动作的状态，移动捏取位置的情况下，与该移动连动地使对象目标物的三维位置移动。在这里，进行连动例如使对象目标物移动与捏取位置的移动相同的方向且相同的移动量。另外，该移动方向及移动量，不需要严格地相同，可以加上规定的偏移(offset)或者校正。
[操作例2]
操作例2是用户利用捏取动作删除显示目标物117的动作。图11A～图11C是用于说明操作例2的图。
图11A～图11C示出的删除预定区域400及删除预定区域401是显示目标物117中包含的预先被规定的区域。如图11A所示，检测出用户对删除预定区域400及删除预定区域401的捏取动作时，显示目标物117成为等待删除状态。
此时，显示控制部114为了向用户通知显示目标物117成为等待删除状态，在显示部111显示通知图像300。在这里作为通知图像300，使用了示出垃圾箱的图像，不过，通知图像300不限定为这个图案。
下面，如图11B所示，二个捏取位置分别从捏取位置坐标204变为捏取位置坐标206(T3x,T3y,T3z)、从捏取位置坐标205变为捏取位置坐标207(T4x,T4y,T4z)的情况下，显示控制部114，结合用户的动作，在显示部111显示如撕开显示目标物117一样的显示效果。
在此，捏取位置坐标206与捏取位置坐标207之间的距离，用下列(式4)来表示。
(数式4)
( T 4 x - T 3 x ) 2 + ( T 4 y - T 3 y ) 2 + ( T 4 z - T 3 z ) 2 …(式4)
该距离比预先规定的删除阈值大的情况下，显示控制部114判断为显示目标物117被删除，向显示部111递交消除显示目标物117的显示的指示。加之，显示控制部114，还删除在显示数据保持部115保持的显示目标物117的信息。
此外与图11B同样，如图11C所示，二个捏取位置分别从捏取位置坐标204变为捏取位置坐标208(T5x,T5y,T5z)、从捏取位置坐标205变为捏取位置坐标209(T6x,T6y,T6z)的情况下，显示控制部114，结合用户的动作，在显示部111显示如扯开显示目标物117一样的显示效果。
在此，捏取位置坐标206与捏取位置坐标207之间的距离，用下列(式5)来表示。
(数式5)
( T 6 x - T 5 x ) 2 + ( T 6 y - T 5 y ) 2 + ( T 6 z - T 5 z ) 2 …(式5)
该距离比预先规定的删除阈值大的情况下，显示控制部114判断为显示目标物117被删除，向显示部111递交消除显示目标物117的显示的指示。加之，显示控制部114，还删除在显示数据保持部115保持的显示目标物117的信息。
这样，显示控制部114，在由动作检测部113检测出用户撕或扯对象目标物(显示目标物117)的动作的情况下，删除对象目标物。例如，显示控制部114，在动作检测部113检测出用户用双手捏取对象目标物的2个点的捏取动作之后，捏取位置被移动，从而该2点距离变得比预先被规定的删除阈值以上还大的情况下，删除对象目标物。
另外，在所述说明中，在删除预定区域400及删除预定区域401被捏取的情况下成为等待删除状态，不过，也可以在显示目标物117的任意的2点被捏取的情况下成为等待删除状态。
[操作例3]
操作例3是用户利用捏取动作在横方向放大或者缩小显示目标物117的动作。图12A～图12C是用于说明操作例3的图。
横方向放大缩小预定区域402及横方向放大缩小预定区域403是显示目标物117中包含的预先被规定的区域。例如，横方向放大缩小预定区域402是显示目标物117的左端周边的区域，横方向放大缩小预定区域403是显示目标物117的右端周边的区域。
如图12A所示，用户对横方向放大缩小预定区域402及横方向放大缩小预定区域403进行的捏取动作被检测时，显示目标物117成为横方向放大缩小等待状态。
此时，显示控制部114为了向用户通知显示目标物117成为横方向放大缩小等待状态，在显示部111显示通知图像301。在这里作为通知图像301使用了示出横方向的箭头记号的图像，不过，通知图像301不限定为这个图案。
下面，如图12B及图12C所示，在二个捏取位置分别从捏取位置坐标210(T7x,T7y,T7z)变化到捏取位置坐标212(T9x,T9y,T9z)、从捏取位置坐标211(T8x,T8y,T8z)变化到捏取位置坐标213(T10x,T10y,T10z)的情况下，显示控制部114，按照横方向的变化量(T9x－T7x)及(T10x－T8x)，将放大或缩小显示目标物117的横方向的尺寸的显示指示递交到显示部111。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物(显示目标物117)的2点的状态来拉长该对象目标物的动作的情况下，扩大对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的横方向放大缩小预定区域402及横方向放大缩小预定区域403的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的横方向的坐标的差变大的情况下，将对象目标物的横方向的尺寸放大与该差相同的量。另外，这个横方向的尺寸的放大量，不需要与捏取位置的横方向的差的增加量严格地相同，可以加上规定的偏移或者校正。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物的2点的状态来收缩该对象目标物的动作的情况下，缩小对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的横方向放大缩小预定区域402及横方向放大缩小预定区域403的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的横方向的坐标的差变小的情况下，将对象目标物的横方向的尺寸缩小与该差相同的量。另外，这个横方向的尺寸的缩小量，不需要与捏取位置的横方向的差的减少量严格地相同，可以加上规定的偏移或者校正。
[操作例4]
操作例4是用户利用捏取动作倾斜地放大或者缩小显示目标物117的动作。图13A～图13B是用于说明操作例4的图。
倾斜方向放大缩小预定区域404及倾斜方向放大缩小预定区域405是显示目标物117中包含的预先被规定的区域。例如，倾斜方向放大缩小预定区域404是显示目标物117的左上端周边的区域，倾斜方向放大缩小预定区域405是显示目标物117的右下端周边的区域。
如图13A所示，检测出用户对倾斜方向放大缩小预定区域404及倾斜方向放大缩小预定区域405进行的捏取动作时，显示目标物117成为倾斜方向放大缩小等待状态。另外，2个倾斜方向放大缩小预定区域，可以是显示目标物117的左下端周边的区域及右上端周边的区域。此外，检测出对左上端周边的区域与右下端周边的区域的组、以及左下端周边的区域与右上端周边的区域的组中的一方的组进行了捏取动作的情况下，显示目标物117可以成为倾斜方向扩大缩小等待状态。换句话说，可以在显示目标物117的相对的2个角部周边的区域被捏取的情况下，显示目标物117成为倾斜方向扩大缩小等待状态。
这时，显示控制部114，为了向用户通知显示目标物117成为倾斜方向扩大缩小等待状态，使显示部111显示通知图像302。在这里作为通知图像302使用了示出倾斜方向的箭头记号的图像，不过，通知图像302不限定为这个图案。
下面，如图13B及图13C所示，2个捏取位置分别从捏取位置坐标214(T11x,T11y,T11z)变化到捏取位置坐标216(T13x,T13y,T13z)、从捏取位置坐标215(T12x,T12y,T12z)变化到捏取位置坐标217(T14x,T14y,T14z)的情况下，倾斜方向的变化量，用下列(式6)以及(式7)表示。
(数式6)
( T 13 x - T 11 x ) 2 + ( T 13 y - T 11 y ) 2 …(式6)
(数式7)
( T 14 x - T 12 x ) 2 + ( T 14 y - T 12 y ) 2 …(式7)
显示控制部114，按照该变化量，将放大或者缩小显示目标物117的倾斜方向的尺寸的显示指示递交给显示部111。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物(显示目标物117)的2点的状态来拉长该对象目标物的动作的情况下，扩大对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的倾斜方向放大缩小预定区域404及倾斜方向放大缩小预定区域405各自的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的倾斜方向的坐标的差变大的情况下，将对象目标物的倾斜方向的尺寸放大与该差相同的量。另外，这个倾斜方向的尺寸的放大量，不需要与捏取位置的倾斜方向的差的增加量严格地相同，可以加上规定的偏移或者校正。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物的2点的状态来收缩该对象目标物的动作的情况下，缩小对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的倾斜方向放大缩小预定区域404及倾斜方向放大缩小预定区域405各自的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的倾斜方向的坐标的差变小的情况下，将对象目标物的倾斜方向的尺寸缩小与该差相同的量。另外，这个倾斜方向的尺寸的缩小量，不需要与捏取位置的倾斜方向的差的减少量严格地相同，可以加上规定的偏移或者校正。
[操作例5]
操作例5是用户利用捏取动作纵方向放大或者缩小显示目标物117的动作。图14A～图14C是用于说明操作例5的图。
纵方向放大缩小预定区域406及纵方向放大缩小预定区域407是显示目标物117中包含的预先被规定的区域。例如，纵方向放大缩小预定区域406是显示目标物117的上端周边的区域，纵方向放大缩小预定区域407是显示目标物117的下端周边的区域。如图14A所示，被检测出用户对纵方向放大缩小预定区域406及纵方向放大缩小预定区域407进行的捏取动作时，显示目标物117成为纵方向放大缩小等待状态。
此时，显示控制部114为了向用户通知显示目标物117成为纵方向放大缩小等待状态，在显示部111显示通知图像303。在这里作为通知图像303使用了示出纵方向的箭头记号的图像，不过，通知图像303不限定为这个图案。
下面，如图14B及图14C所示，二个捏取位置分别从捏取位置坐标218(T15x,T15y,T15z)变化到捏取位置坐标220(T17x,T17y,T17z)、从捏取位置坐标219(T16x,T16y,T16z)变化到捏取位置坐标221(T18x,T18y,T18z)的情况下，显示控制部114，按照纵方向的变化量(T17x－T15x)及(T18x－T16x)，将放大或减少显示目标物117的纵方向的尺寸的显示指示递交到显示部111。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物(显示目标物117)的2点的状态来拉长该对象目标物的动作的情况下，扩大所述对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的纵方向放大缩小预定区域406及纵方向放大缩小预定区域407的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的纵方向的坐标的差变大的情况下，将对象目标物的纵方向的尺寸放大与该差相同的量。另外，这个纵方向的尺寸的放大量，不需要与捏取位置的纵方向的差的增加量严格地相同，可以加上规定的偏移或者校正。
并且，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物的2点的状态来收缩该对象目标物的动作的情况下，缩小对象目标物。具体而言，显示控制部114，在动作检测部113检测出用户用两只手分别捏取对象目标物中包含的纵方向放大缩小预定区域406及纵方向放大缩小预定区域407的捏取动作之后，以维持该捏取动作的状态，移动捏取位置，以使捏取位置的纵方向的坐标的差变小的情况下，将对象目标物的纵方向的尺寸缩小与该差相同的量。另外，这个纵方向的尺寸的缩小量，不需要与捏取位置的倾斜方向的差的减少量严格地相同，可以加上规定的偏移或者校正。
[操作例6]
操作例6是用户利用了捏取动作的翻页动作。图15A～图15C是用于说明操作例6的图。
翻页预定区域408及翻页预定区域409是显示目标物117的预先被规定的区域。例如，翻页预定区域408是显示目标物117的左端周边的区域，翻页预定区域409是显示目标物117的右端周边的区域。
如图15A所示，在检测出用户对翻页预定区域408或翻页预定区域409进行的捏取动作时，显示目标物117成为翻页等待状态。
此时，显示控制部114为了向用户通知显示目标物117成为翻页等待状态，在显示部111显示通知图像304。在这里作为通知图像304使用了示出书的图像，不过，通知图像304不限定为这个图案。
下面，如图15B及图15C所示，捏取位置从捏取位置坐标222(T19x,T19y,T19z)变化到捏取位置坐标223(T20x,T20y,T20z)的情况下，满足(T20x－T19x≥0)、(T20y－T19y≤0)且(T20z－T19z≤0)时，显示控制部114判断为实施了由用户进行的翻页操作，将显示目标物117的翻页动作的显示指示递交给显示部111。
翻页预定区域409被捏取的情况下，也同样只要满足(T20x－T19x≤0)、(T20y－T19y≤0)且(T20z－T19z≤0)，显示控制部114就判断为实施了由用户进行的翻页操作，将显示目标物117的翻页动作的显示指示递交给显示部111。
这样，显示控制部114，在由动作检测部113检测出用户以捏取对象目标物(显示目标物117)的状态来翻该对象目标物的页面的动作的情况下，进行对象目标物的翻页动作。具体而言，对象目标物是能够翻页的目标物，例如三维或者二维的电子书籍。显示控制部114，由动作检测部113检测出用户捏取对象目标物的页端部周边的区域的捏取动作之后，以维持该捏取动作的状态下，捏取位置移动到靠近自己侧且页中央方向的情况下，进行对象目标物的翻页动作。在此，翻页动作例如是将正在显示的电子书籍的页面切换到下一个页面的动作。
[操作例7]
操作例7是用户对显示目标物117用手指来弹开的动作。图16A及图16B是用于说明操作例7的图。
用户从图16A示出的捏取状态，如图16B所示，将进行捏取动作的手指分开，进行显示目标物117的弹开动作。位置坐标500(T21x,T21y,T21z)及位置坐标501(T22x,T22y,T22z)是进行捏取动作的2根手指的各自的前端部位的位置坐标。将从图16A的捏取动作到2根手指分开紧之前的时刻作为t1。
进行图16B的弹开动作的时候的2根手指的各自的前端部位的位置，从位置坐标500(T21x,T21y,T21z)变化到位置坐标502(T23x,T23y,T23z)、从位置坐标501(T22x,T22y,T22z)变化到位置坐标503(T24x,T24y,T24z)，将进行了弹开动作的时刻设为t2。
这时二根手指的前端部位的移动速度v，用下列(式8)来表示。
(数式8)
v = ( T 23 x - T 21 x ) 2 + ( T 23 y - T 21 y ) 2 + ( T 23 z - T 21 z ) 2 t 2 - t 1 + ( T 24 x - T 22 x ) 2 + ( T 24 y - T 22 y ) 2 + ( T 24 z - T 22 z ) 2 t 2 - t 1
…(式8)
此时，通过弹开动作，显示目标物117从位置坐标124(O3x,O3y,O3z)移动到位置坐标125(O4x,O4y,O4z)。此时，例如，显示目标物117，沿着Z轴方向，移动到(O4z＝O3z+v×增益设定值)求出的移动距离130。例如，增益设定值可以由用户来设定。
这样，显示控制部114，在由动作检测部113检测出用户将对象目标物(显示目标物117)用手指弹开的情况下，使对象目标物向被弹开的方向移动。具体而言，对象目标物被弹开的速度及手指的变化量越大，显示控制部114就越使对象目标物移动到离原来的位置远的地方。
[操作例8]
操作例8是其他的操作例。
应用操作例1，如图17所示以用户捏取显示目标物117的状态，进行像摇晃显示目标物117一样的动作的情况下，显示控制部114可以进行显示目标物117像被摇晃一样的显示。
此外，如图18所示，可以通过一次捏取动作，来捏取多个显示目标物。这个情况下，通过所述操作例1～7的动作，对被捏取的多个显示目标物的全部进行处理。
以上，对本发明的实施方式涉及的用户界面装置进行了说明，不过，本发明不被上述实施方式所限定。
例如，在所述说明中，作为显示目标物使用了示出板状的目标物的例，不过，显示目标物的形状不仅限于此。
此外，所述实施方式涉及的用户界面装置中包含的各处理部，典型的是作为集成电路即LSI来实现。这些可以将每一个制成一个芯片，也可以将一部分或者全部制成一个芯片。
还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。
此外，在所述各个实施例，各构成要素由专用的硬件来构成，或者通过执行适合各构成要素的软件程序来实现。各构成要素，可以通过CPU或处理器等的程序执行部，读出并执行硬盘或半导体存储器等记录介质中记录的软件程序来实现。
此外，在方框图的功能块的分割是一例，可以将多个功能块作为一个功能块来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。还有，将具有类似的功能的多个功能块的功能，由单一的硬件或软件并行或者分时地处理。
此外，本发明不仅能够作为上述的用户界面装置来实现，将用户界面装置中包含的有特征的单元为步骤的显示目标物操作方法，或者作为用户界面装置的控制方法等来实现。
此外，在所述用户界面装置中所述的步骤执行的顺序是为了具体说明本发明的示例，也可以是所述以外的顺序。此外，所述步骤的一部分可以与其他步骤同时(并行)地执行。
以上，关于一个或多个方案涉及的用户界面装置，通过实施方式进行了说明，不过，本发明不被上述实施方式所限定。只要不超出本发明的宗旨，则技术者想出的各种变形例实施在各个实施方式的例子，对不同实施方式中的构成要素进行组合而构筑的例子也都包括在一个或者多个方案的范围中。
工业实用性
本发明能够适用于用户界面装置。尤其，本发明能够有用于利用三维立体影像的娱乐系统、以及数字标牌系统等中的用户界面装置。
符号说明
100 用户界面装置
111 显示部
112 传感器部
113 动作检测部
114 显示控制部
115 显示数据保持部
116 显示空间
117，121 显示目标物
118 用户的手
119 手指动作模型
120 宽度
122，123，124，125，500，501，502，503 位置坐标
130 移动距离
131 手指动作建模部
132 捏取动作检测部
133 捏取动作模型保持部
13 手指宽度阈值保持部
135 手指动作模型登记部
136 捏取动作模型
201，202，203，204，205，206，207，208，209，210，211，212，213，214，215，216，217，218，219，220，221，222，223 捏取位置坐标
300，301，302，303，304 通知图像
400，401 删除预定区域
402，403 横方向放大缩小预定区域
404，405 倾斜方向放大缩小预定区域
406，407 纵方向放大缩小预定区域
408，409 翻页预定区域

Claims (15)

1.一种用户界面装置，具备：
显示部，在显示空间显示二维或者三维的目标物；
传感器部，测量在所述显示空间中的用户的手指的三维坐标；
动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及
显示控制部，按照所述动作检测部的检测结果，来变更所述显示部显示的显示内容。
2.如权利要求1所述的用户界面装置，
所述动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，检测所述用户捏取所述目标物的捏取动作。
3.如权利要求2所述的用户界面装置，
所述显示控制部，在由所述动作检测部检测出所述捏取动作的情况下，变更通过该捏取动作而被捏取的对象目标物的显示方法。
4.如权利要求3所述的用户界面装置，
所述显示部，在所述显示空间显示多个所述目标物，
所述显示控制部，在由所述动作检测部检测出所述捏取动作的情况下，还变更所述多个目标物中的所述对象目标物以外的目标物的显示方法。
5.如权利要求2至4的任一项所述的用户界面装置，
所述显示控制部，在由所述动作检测部检测出所述用户捏取所述对象目标物使所述对象目标物移动的移动动作的情况下，与该移动动作连动地使所述对象目标物的三维位置移动。
6.如权利要求2至5的任一项所述的用户界面装置，
所述显示控制部，在由所述动作检测部检测出所述用户撕或扯所述对象目标物的动作的情况下，删除所述对象目标物。
7.如权利要求2至6的任一项所述的用户界面装置，
所述显示控制部，
在由所述动作检测部检测出所述用户以捏取所述对象目标物的两个点的状态来拉长该对象目标物的动作的情况下，放大所述对象目标物，
在由所述动作检测部检测出所述用户以捏取所述对象目标物的两个点的状态来收缩该对象目标物的动作的情况下，缩小所述对象目标物。
8.如权利要求2至7的任一项所述的用户界面装置，
所述显示控制部，在由所述动作检测部检测出所述用户以捏取所述对象目标物的状态来翻所述对象目标物的页面的动作的情况下，进行所述对象目标物的翻页动作。
9.如权利要求1至8的任一项所述的用户界面装置，
所述显示控制部，在由所述动作检测部检测出所述用户用手指弹开所述对象目标物的动作的情况下，使所述对象目标物向被弹开的方向移动。
10.如权利要求2至8的任一项所述的用户界面装置，
所述动作检测部，将所述用户的部位中比预先规定的阈值细的部分识别为手指，从而生成手指动作模型，并且利用该手指动作模型，检测所述捏取动作。
11.如权利要求10所述的用户界面装置，
所述动作检测部，利用所述手指动作模型检测所述用户的指尖的三维位置，在所述指尖之间存在所述对象目标物的一部分、并且所述指尖的间隔在所述对象目标物的厚度以下的情况下，判断为进行了所述捏取动作。
12.如权利要求10所述的用户界面装置，
所述动作检测部，在所述手指动作模型的形状与预先规定的捏取动作模型的形状一致的情况下，判断为进行了所述捏取动作。
13.一种显示目标物操作方法，包括：
显示步骤，在显示空间显示二维或者三维的目标物；
测量步骤，测量在所述显示空间中的用户的手指的三维坐标；
动作检测步骤，利用在所述测量步骤测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及
显示控制步骤，按照所述动作检测步骤的检测结果，来变更显示内容。
14.一种程序，用于使计算机执行权利要求13所述的显示目标物操作方法。
15.一种集成电路，具备：
显示部，在显示空间显示二维或者三维的目标物；
传感器部，测量在所述显示空间中的用户的手指的三维坐标；
动作检测部，利用由所述传感器部测量的所述用户的手指的三维坐标，来检测针对所述目标物的所述用户的手指的动作；以及
显示控制部，按照所述动作检测部的检测结果，来变更所述显示部显示的显示内容。
CN201480002144.9A 2013-06-26 2014-03-31 用户界面装置及显示目标物操作方法 Active CN104583913B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-134054 2013-06-26
JP2013134054 2013-06-26
PCT/JP2014/001871 WO2014207971A1 (ja) 2013-06-26 2014-03-31 ユーザインタフェース装置及び表示オブジェクト操作方法

Publications (2)

Publication Number Publication Date
CN104583913A true CN104583913A (zh) 2015-04-29
CN104583913B CN104583913B (zh) 2018-04-13

Family

ID=52141351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002144.9A Active CN104583913B (zh) 2013-06-26 2014-03-31 用户界面装置及显示目标物操作方法

Country Status (4)

Country Link
US (2) US9836199B2 (zh)
JP (1) JP6227563B2 (zh)
CN (1) CN104583913B (zh)
WO (1) WO2014207971A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714513B (zh) * 2019-06-07 2020-12-21 日商Ｃｅｌｓｙｓ股份有限公司 書籍顯示程式產品及書籍顯示裝置
CN113867521A (zh) * 2020-06-30 2021-12-31 京东方科技集团股份有限公司 一种基于手势视觉识别的手写输入方法、装置及电子设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102824B2 (en) * 2015-05-19 2018-10-16 Microsoft Technology Licensing, Llc Gesture for task transfer
EP3438789A4 (en) * 2016-03-29 2019-03-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2017187708A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107315355B (zh) * 2017-06-30 2021-05-18 京东方科技集团股份有限公司 一种电器控制设备及方法
JP6952065B2 (ja) * 2017-07-21 2021-10-20 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP6470356B2 (ja) * 2017-07-21 2019-02-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
US11500453B2 (en) 2018-01-30 2022-11-15 Sony Interactive Entertainment Inc. Information processing apparatus
TWI682877B (zh) * 2018-06-04 2020-01-21 宏碁股份有限公司 移動裝置控制方法、伺服器裝置及移動裝置控制系統
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) * 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
US10783712B2 (en) 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
US11054896B1 (en) * 2019-02-07 2021-07-06 Facebook, Inc. Displaying virtual interaction objects to a user on a reference plane
CN112130659A (zh) * 2019-06-25 2020-12-25 幻景启动股份有限公司 互动式立体显示装置与互动感应方法
CN113377190A (zh) * 2020-03-09 2021-09-10 幻景启动股份有限公司 漂浮影像显示设备、互动方法与其系统
JP6919050B1 (ja) * 2020-12-16 2021-08-11 株式会社あかつき ゲームシステム、プログラム及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060277469A1 (en) * 2004-06-25 2006-12-07 Chaudhri Imran A Preview and installation of user interface elements in a display environment
US20080282202A1 (en) * 2007-05-11 2008-11-13 Microsoft Corporation Gestured movement of object to display edge
US20110018821A1 (en) * 2009-04-14 2011-01-27 Sony Corporation Information processing apparatus, information processing method and program
US20110209039A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen bookmark hold gesture
CN102725783A (zh) * 2010-01-29 2012-10-10 三菱电机株式会社 地图信息处理装置
US20120317510A1 (en) * 2011-06-07 2012-12-13 Takuro Noda Information processing apparatus, information processing method, and program
JP2013047924A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 表示機器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP4723799B2 (ja) 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4244202B2 (ja) 2004-05-06 2009-03-25 アルパイン株式会社 操作入力装置および操作入力方法
KR101426718B1 (ko) * 2007-02-15 2014-08-05 삼성전자주식회사 휴대단말기에서 터치 이벤트에 따른 정보 표시 장치 및방법
JP5158007B2 (ja) 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
KR101729523B1 (ko) * 2010-12-21 2017-04-24 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2013063409A1 (en) * 2011-10-28 2013-05-02 General Mills, Inc. Dispenser

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060277469A1 (en) * 2004-06-25 2006-12-07 Chaudhri Imran A Preview and installation of user interface elements in a display environment
US20080282202A1 (en) * 2007-05-11 2008-11-13 Microsoft Corporation Gestured movement of object to display edge
US20110018821A1 (en) * 2009-04-14 2011-01-27 Sony Corporation Information processing apparatus, information processing method and program
CN102725783A (zh) * 2010-01-29 2012-10-10 三菱电机株式会社 地图信息处理装置
US20110209039A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen bookmark hold gesture
US20120317510A1 (en) * 2011-06-07 2012-12-13 Takuro Noda Information processing apparatus, information processing method, and program
JP2013047924A (ja) * 2011-08-29 2013-03-07 Kyocera Corp 表示機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI714513B (zh) * 2019-06-07 2020-12-21 日商Ｃｅｌｓｙｓ股份有限公司 書籍顯示程式產品及書籍顯示裝置
CN113867521A (zh) * 2020-06-30 2021-12-31 京东方科技集团股份有限公司 一种基于手势视觉识别的手写输入方法、装置及电子设备
CN113867521B (zh) * 2020-06-30 2024-01-23 京东方科技集团股份有限公司 一种基于手势视觉识别的手写输入方法、装置及电子设备

Also Published As

Publication number Publication date
CN104583913B (zh) 2018-04-13
US20170344237A1 (en) 2017-11-30
JP6227563B2 (ja) 2017-11-08
US9836199B2 (en) 2017-12-05
US20150242101A1 (en) 2015-08-27
JPWO2014207971A1 (ja) 2017-02-23
WO2014207971A1 (ja) 2014-12-31
US10466880B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
CN104583913A (zh) 用户界面装置及显示目标物操作方法
US9208547B2 (en) Stereo correspondence smoothness tool
JP5492257B2 (ja) 電子機器、制御方法及びプログラム
KR20110139688A (ko) 듀얼모듈 휴대용장치와 그의 동작방법
US20120102400A1 (en) Touch Gesture Notification Dismissal Techniques
JP5992934B2 (ja) 三次元ビューイングの方法
JP6448639B2 (ja) テキスト選択方法、装置および端末
TW201525733A (zh) 圖表分析系統及圖表分析方法
US9235293B2 (en) Optical touch device and touch sensing method
JP6360356B2 (ja) 干渉チェックシステム
US8832582B2 (en) Interactive control of the curvature of links
CN106131533A (zh) 一种图像显示方法和终端
US9110588B2 (en) Optical touch device and method for detecting touch point
JP4903671B2 (ja) 解析モデル作成装置
US9588603B2 (en) Information processing device
US20060087506A1 (en) Three-dimensional design supporting program and three dimensional design supporting apparatus
CN104765564A (zh) 一种截图方法及装置
KR20180121366A (ko) 정보 처리장치, 그 제어방법 및 기억매체
CN103593119A (zh) 便携式电子装置及其显示内容放大的方法
US11205249B2 (en) Table shifting and skewing
JP2011034505A (ja) 設計支援装置、及び、設計支援方法
TWI419011B (zh) 觸控點之追蹤方法及追蹤系統
US20150042621A1 (en) Method and apparatus for controlling 3d object
US20140375646A1 (en) Dynamic alteration of guides based on resolution changes
JP2015139004A (ja) 映像投影装置、映像投影方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant