CN113412501A - 信息处理装置、信息处理方法和记录介质 - Google Patents

信息处理装置、信息处理方法和记录介质 Download PDF

Info

Publication number
CN113412501A
CN113412501A CN202080013110.5A CN202080013110A CN113412501A CN 113412501 A CN113412501 A CN 113412501A CN 202080013110 A CN202080013110 A CN 202080013110A CN 113412501 A CN113412501 A CN 113412501A
Authority
CN
China
Prior art keywords
information processing
processing apparatus
action
region
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202080013110.5A
Other languages
English (en)
Inventor
友永诚史
池田哲男
藤绳英佑
后藤健志
入江淳
大塚纯二
佐藤优伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113412501A publication Critical patent/CN113412501A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本公开内容涉及能够实现更自然的操作的信息处理装置、信息处理方法和记录介质。根据本发明，设置单元基于从捕获的图像获取的关于在操作表面上执行操作的操作体的形状信息，来确定操作体的操作所作用的作用区域，并且设置用于判断作用区域中的操作的参数。本公开内容能够应用于例如使用户能够操作投影图像的显示系统。

Description

信息处理装置、信息处理方法和记录介质
技术领域
本公开内容涉及信息处理装置、信息处理方法和记录介质，并且具体地涉及能够进行更自然的操作的信息处理装置、信息处理方法和记录介质。
背景技术
近年来，将图像投影到除了屏幕之外的平面(诸如桌子的顶表面、天花板或墙壁)上并且使得用户能够操作所显示的显示信息(虚拟对象)的显示系统变得越来越普及。
作为这样的显示系统，例如，专利文献1公开了一种系统，该系统在诸如杯子或碟子的真实对象被放置在桌子的顶表面上的情况下，根据虚拟对象与真实对象之间的位置关系来控制所显示的虚拟对象的移动。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2016-51436号
发明内容
本发明要解决的技术问题
通过识别例如用户的手、臂等的触摸或姿势来实现对上述虚拟对象的操作。然而，常规技术没有考虑例如操作所作用的手中的位置的精细设置、以及在该位置处的操作的标准，无法实现自然的操作。
鉴于这样的情况作出本公开内容，并且本公开内容旨在实现更自然的操作。
问题的解决方案
根据本公开内容的信息处理装置是一种信息处理装置，包括控制单元，该控制单元被配置成基于在操作表面上执行操作的操作体部分的形状信息，来确定操作体部分的操作所作用的作用区域，并且设置要用于确定作用区域中的操作的参数，该形状信息是从捕获的图像获取的。
根据本公开内容的信息处理方法是一种信息处理方法，包括：使信息处理装置基于在操作表面上执行操作的操作体部分的形状信息，来确定操作体部分的操作所作用的作用区域，并且设置要用于确定作用区域中的操作的参数，该形状信息是从捕获的图像获取的。
根据本公开内容的记录介质是一种记录有程序的记录介质，该程序使计算机执行以下处理：基于在操作表面上执行操作的操作体部分的形状信息，确定操作体部分的操作所作用的作用区域，并且设置要用于确定作用区域中的操作的参数，该形状信息是从捕获的图像获取的。
在本公开内容中，基于在操作表面上执行操作的操作体部分的形状信息——该形状信息是从捕获的图像获取的，操作体部分的操作所作用的作用区域被确定，并且用于确定作用区域中的操作的参数被设置。
本发明的效果
根据本公开内容，可以实现更自然的操作。
注意，本文中描述的效果不一定是限制性的，并且可以实现本公开内容中描述的效果中的任何一种效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理装置的外观的图。
图2是示出在操作表面上的操作的示例的图。
图3是示出信息处理装置的配置示例的框图。
图4是示出控制单元的功能配置示例的框图。
图5是描绘操作控制处理的流程的流程图。
图6是描绘触摸操作控制处理的流程的流程图。
图7是示出从手形状得到的触摸点和触摸有效范围的示例的图。
图8是示出从手形状和手姿势得到的触摸点和触摸有效范围的示例的图。
图9是描绘触摸操作控制处理的流程的流程图。
图10是示出从手形状得到的触摸阈值的示例的图。
图11是描绘拖动操作控制处理的流程的流程图。
图12是示出从手形状得到的拖动点和拖动阈值的示例的图。
图13是示出根据每个手形状的拖动操作的显示的示例的图。
图14是描绘旋转操作控制处理的流程的流程图。
图15是示出从手形状得到的旋转角获取点的示例的图。
图16是描绘旋转操作控制处理的流程的流程图。
图17是示出从手形状得到的旋转角获取点和旋转角倍数的示例的图。
图18是描绘每个手形状的旋转角倍数和可旋转区域的图。
图19是描绘操作控制处理的总体流程的流程图。
图20是描绘触摸操作的修改的图。
图21是描绘触摸操作的修改的图。
图22是示出计算机的配置示例的框图。
具体实施方式
在下文中，将描述用于执行本公开内容的模式(在下文中，称为实施方式)。注意，按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理装置的配置和操作
2.触摸操作的示例
3.拖动操作的示例
4.旋转操作的示例
5.其他
<1.根据本公开内容的实施方式的信息处理装置的配置和操作>
首先，将描述根据本公开内容的实施方式的信息处理装置的配置和操作。
(信息处理装置的外观)
图1是示出根据本公开内容的实施方式的信息处理装置的外观的图。
如图1所示，信息处理装置10例如由从桌子20的一部分延伸的臂构件支承在桌子20上方的位置处，以与桌子20的顶表面21分开。
信息处理装置10将图像投影到桌子20的顶表面21上，顶表面21用作操作表面，并且使用户操作在顶表面21上显示的投影图像(在下文中，也称为显示对象)。
具体地，信息处理装置10包括小投影仪和相机，并且具有图像识别功能。信息处理装置10将显示对象投影到顶表面21上，从操作显示对象的用户的手的运动和倾斜角度识别触摸和姿势，并且将识别的触摸和姿势反映在显示对象上。
如图2所示，例如，当识别出用户的手H1在用作操作表面的顶表面21上的姿势时，响应于手指的轨迹在顶表面21上绘制曲线31。此外，当识别出用户的手H2在顶表面21上的触摸和姿势时，显示在顶表面21上的对象32根据手指的移动而在顶表面21上移动。
通过识别例如用户的手、臂等的触摸和姿势来实现对显示对象的这样的操作。然而，常规技术没有考虑例如在手中操作所作用(被反映)的位置的精细设置、以及在该位置处的操作的标准，无法实现自然的操作。
因此，根据本公开内容的实施方式的信息处理装置10能够基于操作体部分(诸如手或臂)的形状和姿势来设置在操作体部分中操作所作用的位置(例如，指尖、整个手)以及该位置处的操作的标准(例如，有效范围、阈值)。
(信息处理装置的配置)
图3是示出信息处理装置10的配置示例的框图。
如图3所示，信息处理装置10包括控制单元51、图像捕获单元52、输入单元53、存储单元54、显示单元55和输出单元56。
控制单元51包括中央处理单元(CPU)等，并且控制信息处理装置10的每一个单元。稍后将给出关于控制单元51的配置的具体描述。
图像捕获单元52包括单目相机、立体相机、距离传感器等。图像捕获单元52在控制单元51的控制下捕获操作表面(顶表面21)上的操作体部分(例如用户的手或臂)的图像。如此获取的捕获图像被提供给控制单元51。在图像捕获单元52用作为例如立体相机、深度传感器等的情况下，图像捕获单元52在控制单元51的控制下获取距离图像作为捕获图像，并且将距离图像提供给控制单元51，该距离图像具有针对每个像素的距图像捕获单元52的距离信息。
输入单元53包括例如麦克风、物理按钮、开关等。输入单元53将包括麦克风所收集的用户语音、环境声音等的音频信息以及通过操作按钮、开关等生成的电信号作为输入信息提供给控制单元51。
存储单元54包括只读存储器(ROM)、随机存取存储器(RAM)等。例如，存储单元54存储用于确定操作体部分(诸如手或臂)的操作的类型等的信息和参数(在下文中，也称为确定信息)。
显示单元55包括例如投影仪，其在控制单元51的控制下将显示对象(投影图像)投影到顶表面21上。显示单元55可以包括要设置在顶表面21等上的显示器，以代替投影仪。在该情况下，显示单元55显示与投影图像对应的图像。
输出单元56包括例如扬声器等。输出单元56在控制单元51的控制下输出语音、声音效果等。
(控制单元的配置)
图4是示出控制单元51的功能配置示例的框图。
控制单元51包括图像捕获控制单元71、图像处理单元72、操作体部分检测单元73、操作识别单元74和执行控制单元75。
图像捕获控制单元71控制图像捕获单元52以获取捕获图像，并且将捕获图像提供给图像处理单元72。
图像处理单元72使来自图像捕获控制单元71的捕获图像经受图像处理，并且将图像处理的结果提供给操作体部分检测单元73。例如，图像处理单元72从捕获图像擦除背景，并且根据距离图像生成指示距操作体部分的距离的距离信息。
操作体部分检测单元73从经受图像处理单元72的图像处理的捕获图像中检测操作体部分(用户身体的部位(例如，用户的手、臂等))。
具体地，操作体部分检测单元73从经受图像处理的捕获图像中检测操作体部分的骨骼。操作体部分检测单元73因此获取操作体部分的特征点(骨骼信息、关节信息)。操作体部分除了标记方法之外还可以通过模式匹配、深度学习等来检测。
操作体部分检测单元73基于提取的操作体部分的特征点，生成指示操作体部分相对于操作表面(顶表面21)的形状的形状信息以及指示在操作表面上执行操作的操作体部分的姿势的姿势信息。操作体部分检测单元73然后将形状信息和姿势信息提供给操作识别单元74。
操作识别单元74基于来自操作体部分检测单元73的操作体部分的检测结果(形状信息、姿势信息)，利用存储在存储单元54中的确定信息来识别操作体部分的操作的类型。
操作识别单元74包括设置单元81。
设置单元81基于从捕获图像获取的形状信息和姿势信息，关于操作识别单元74所识别的类型的操作，设置(确定)操作体部分的操作在操作表面(顶表面21)上作用的位置(例如指尖或整个手)。以下，将操作所作用的操作体部分中的位置称为作用区域。在捕获图像中，作用区域除了具有面积的区域之外，还包含点以及两个点之间的线段。
此外，设置单元81基于形状信息和姿势信息，设置参数(例如，作为用于确定操作是否有效的标准的有效范围和阈值)，该参数用于与所设置的作用区域中的操作有关的确定。
由设置单元81设置的作用区域和参数作为确定信息存储在存储单元54中。根据形状信息和姿势信息从存储单元54读取确定信息。
操作识别单元74基于设置单元81所设置的参数来确定由操作体部分(在作用区域中)进行的操作是否有效。在操作识别单元74确定操作有效的情况下，操作识别单元74将指示操作的操作信息提供给执行控制单元75。
执行控制单元75基于设置单元81所设置的参数，根据来自操作识别单元74的操作信息(作用区域中的操作)来控制输出单元56的处理的执行。例如，执行控制单元75基于参数根据作用区域中的操作来控制显示单元55的显示。
注意，控制单元51中的各个块可以被单独地配置。另外，块中的至少任何块可以被一体地配置。替选地，块中的至少任何块可以在网络上互连，其中的一些可以被配置为因特网上的云服务。
(操作控制处理的流程)
参照图5的流程图，接下来，将描述信息处理装置10的操作控制处理的流程。
在步骤S11中，图像捕获控制单元71控制图像捕获单元52以获取相对于操作表面的操作体部分的捕获图像。
在步骤S12中，图像处理单元72使图像捕获控制单元71所获取的捕获图像经受图像处理。
在步骤S13中，操作体部分检测单元73从经受图像处理单元72的图像处理的捕获图像中检测操作体部分。操作体部分检测单元73因此生成操作体部分的形状信息和姿势信息。
在步骤S14中，操作识别单元74基于来自操作体部分检测单元73的形状信息和姿势信息(至少形状信息)，识别操作体部分的操作的类型。本文中要识别的操作的类型除了操作体部分在操作表面上执行的触摸操作、拖动操作和旋转操作之外，还可以是特定类型的操作。
在步骤S15中，设置单元81基于来自操作体部分检测单元73的形状信息和姿势信息，设置操作体部分的作用区域和参数。
在步骤S16中，操作识别单元74基于参数来确定作用区域中的操作是否有效。
在步骤S16中确定操作有效的情况下，流程进行到步骤S17，在步骤S17中，执行控制单元75基于参数根据作用区域中的操作来执行处理。
另一方面，在步骤S16中确定操作无效的情况下，执行控制单元75不执行处理。流程返回到步骤S11，并且重复步骤S11及其之后的步骤中的处理任务。
根据前述处理，基于操作体部分的形状，精细地设置用于由操作体部分进行操作的作用区域以及用于确定作用区域中的操作的参数。因此，可以实现更自然的操作。
以下，将描述将触摸操作、拖动操作和旋转操作识别为用户的手的操作的示例。
<2.触摸操作的示例>
图6是描绘触摸操作控制处理的流程的流程图。例如，在图像捕获单元52捕获用户的手的图像的状态下执行图6中示出的处理，其中用户的手操作在顶表面21上显示的显示对象。
在步骤S31中，图像捕获控制单元71控制图像捕获单元52以获取相对于顶表面21的用户的手的捕获图像。
在步骤S32中，图像处理单元72使图像捕获控制单元71所获取的捕获图像经受图像处理。
在步骤S33中，操作体部分检测单元73从经受图像处理单元72的图像处理的捕获图像中检测用户的手。操作体部分检测单元73因此生成手的形状信息。
在步骤S34中，操作识别单元74基于来自操作体部分检测单元73的形状信息，识别手的操作的类型。
在步骤S35中，操作识别单元74确定所识别的操作的类型是否是触摸操作。即，确定形状信息所指示的手形状是否是触摸操作的手形状。
在步骤S35中确定操作的类型不是触摸操作的情况下，流程返回到步骤S31，并且重复步骤S31及其之后的步骤中的处理任务。
另一方面，在步骤S35中确定操作的类型是触摸操作的情况下，即，在形状信息所指示的手形状是触摸操作中的手形状的情况下，流程进行到步骤S36。
在步骤S36中，设置单元81基于来自操作体部分检测单元73的形状信息，将触摸点和触摸有效范围(相对于触摸点的顶表面21上的区域范围)设置为触摸操作中的手的作用区域和参数。
这里，参照图7，将描述与形状信息所指示的手形状相关联的触摸点和触摸有效范围。如图7所示，根据形状信息指示的手形状来设置触摸点和触摸有效范围。
具体地，在手形状是“一个食指”——指的是仅食指伸展的状态——的情况下，在图中用十字标记表示的触摸点被设置在食指的尖端处，并且触摸有效范围被设置为(相对)“窄”范围。
在手形状是“手指张开的伸开的手”的情况下，触摸点被设置在食指的尖端处，并且触摸有效范围被设置为“窄”范围。
在手形状是“手指合拢的伸开的手”的情况下，触摸点被设置在除了拇指之外的全部手指的重心(中指的第二关节附近)处，并且触摸有效范围被设置为(相对)“宽”范围。
在手背向下的状态下手形状是“手指合拢的伸开的手”的情况下，触摸点被设置在除了拇指之外的全部手指的重心(中指的第二关节附近)处，并且触摸有效范围被设置为“宽”范围。
在手形状是“手指折叠的握住的手”的情况下，触摸点被设置在整个手(握住的手)的重心(在手指折叠的状态下中指的第一关节附近)处，并且触摸有效范围被设置为“宽”范围。
在小指侧面向下的状态下手形状是“手指折叠的握住的手”的情况下，触摸点被设置在整个手(握住的手)的重心(在手指折叠的状态下小指的根部附近)处，并且触摸有效范围被设置为“宽”范围。
如上所述，根据手形状来设置触摸点和触摸有效范围。因此，用户能够例如通过改变手形状，在执行精细操作的情况下和在执行粗略操作的情况下适当地使用不同的手形状。
返回参照图6的流程图，在步骤S37中，操作识别单元74基于触摸有效范围来确定触摸点处的操作是否有效。具体地，基于触摸有效范围内是否存在要操作的显示对象以及触摸点与顶表面21之间的距离是否短于预定的特定距离来确定触摸操作是否有效。可以使用图像捕获单元52与顶表面21之间的距离以及图像捕获单元52与触摸点(用户的手)之间的距离来计算触摸点与顶表面21之间的距离。两个距离均是根据距离信息获得的，该距离信息是图像处理单元72基于图像捕获单元52获取的距离图像或图像捕获单元52获取的捕获图像而生成的。
在步骤S37中确定触摸操作有效的情况下，即，在触摸有效范围内存在要操作的显示对象并且触摸点与顶表面21之间的距离短于特定距离的情况下，流程进行到步骤S38，在步骤S38中，执行控制单元75基于触摸有效范围，根据触摸点处的触摸操作来执行处理。如上所述，除了用户的手与顶表面21直接接触的情况之外，即使在用户的手不与顶表面21直接接触的情况下，触摸操作也变得有效。
例如，执行控制单元75使显示单元55根据触摸操作来执行反馈显示(例如，被触摸的显示对象的形状或颜色的改变等)。替选地，执行控制单元75使输出单元56根据触摸操作来执行命令(例如，声音效果的输出等)。
另一方面，在步骤S37中确定触摸操作无效的情况下，即，在触摸有效范围内不存在要操作的显示对象或者触摸点与顶表面21之间的距离长于特定距离的情况下，执行控制单元75不执行处理。流程返回到步骤S31，并且重复步骤S31及其之后的步骤中的处理任务。
根据前述处理，基于手形状，精细地设置用于由手进行触摸操作的触摸点以及用于确定触摸点处的触摸操作的触摸有效范围。因此，可以实现更自然和直观的触摸操作。
在前述处理中，基于指示手形状的形状信息来设置触摸点和触摸有效范围。替选地，可以基于指示相对于顶表面21的手姿势的形状信息和姿势信息来设置触摸点和触摸有效范围。
图8是描绘与形状信息指示的手形状以及姿势信息指示的手姿势相关联的触摸点和触摸有效范围的图。如图8所示，根据形状信息指示的手形状以及姿势信息指示的手姿势来设置触摸点和触摸有效范围。
具体地，在手形状是“手指合拢的伸开的手”并且手姿势是“向后弯曲”——指的是手指相对于手背向后弯曲的状态——的情况下，触摸点被设置在除了拇指之外的全部手指的重心处，并且触摸有效范围被设置为“宽”范围。
另一方面，在手形状是“手指合拢的伸开的手”并且手姿势是“水平”——指的是手指相对于手背伸展的状态——的情况下，触摸点被设置在整个手的重心处，并且触摸有效范围被设置为“宽”范围。
如上所述，根据手形状和手姿势来设置触摸点和触摸有效范围。因此，即使在用户改变手姿势的情况下，也可以以较小的负担实现更自然的触摸操作。
此外，根据前述处理，在形状信息指示的手形状是触摸操作中的手形状的情况下，将触摸有效范围设置为用于触摸操作的参数。除此之外，除了触摸有效范围之外，还可以将作为触摸点与顶表面21之间距离的阈值的触摸阈值设置为用于触摸操作的参数。
图9是描绘触摸操作控制处理的流程的流程图，其中将触摸有效范围和触摸阈值设置为用于触摸操作的参数。
注意，图9的流程图中的步骤S51至步骤S55中的处理任务类似于图6的流程图中的步骤S31至步骤S35中的处理任务，因此，这里将不给出其描述。
即，在步骤S55中确定操作的类型是触摸操作的情况下，即，在形状信息指示的手形状是触摸操作中的手形状的情况下，流程进行到步骤S56。
在步骤S56中，设置单元81基于来自操作体部分检测单元73的形状信息，将触摸点、触摸有效范围和触摸阈值设置为触摸操作中的手的作用区域和参数。
这里，参照图10，将描述与形状信息所指示的手形状相关联的触摸阈值。如图10所示，除了触摸点和触摸有效范围(未示出)之外，还根据形状信息指示的手形状来设置触摸阈值。
具体地，在手形状是“一个食指”——指的是仅伸展食指的状态——的情况下，触摸阈值被设置为5mm。
在手形状是“手指张开的伸开的手”的情况下，触摸阈值被设置为5mm。
在手形状是“手指合拢的伸开的手”的情况下，触摸阈值被设置为10mm。
在手背向下的状态下手形状是“手指合拢的伸开的手”的情况下，触摸阈值被设置为10mm。
在手形状是“手指折叠的握住的手”的情况下，触摸阈值被设置为20mm。
在小指侧面向下的状态下手形状是“手指折叠的握住的手”的情况下，触摸阈值被设置为20mm。
如上所述，除了触摸点和触摸有效范围之外，还根据手形状来设置触摸阈值。因此，例如，用户能够在执行精细操作的情况下和在执行粗略操作的情况下更适当地使用不同的手形状。
返回参照图9的流程图，在步骤S57中，操作识别单元74基于触摸有效范围和触摸阈值来确定触摸点处的操作是否有效。具体地，基于触摸有效范围内是否存在要操作的显示对象以及触摸点与顶表面21之间的距离是否小于上述触摸阈值来确定触摸操作是否有效。
在步骤S57中确定触摸操作有效的情况下，即，在触摸有效范围内存在要操作的显示对象并且触摸点与顶表面21之间的距离小于触摸阈值的情况下，流程进行到步骤S58，在步骤S58中，执行控制单元75基于触摸有效范围和触摸阈值，根据触摸点处的触摸操作来执行处理。
另一方面，在步骤S57中确定操作无效的情况下，即，在触摸有效范围内不存在要操作的显示对象或者触摸点与顶表面21之间的距离大于触摸阈值的情况下，执行控制单元75不执行处理。流程返回到步骤S51，并且重复步骤S51及其之后的步骤中的处理任务。
根据前述处理，除了触摸点和触摸有效范围之外，还基于手形状来精细地设置作为触摸点与顶表面21之间距离范围的阈值的触摸阈值。因此，可以实现更自然和更精细的触摸操作。
在前述处理中，除了手形状之外，还可以确定手大小。在确定手大小小于特定大小的情况下，用户很有可能是儿童。在该情况下，触摸有效范围和触摸阈值被设置为比在手大小等于或大于该特定大小的情况下的触摸有效范围和触摸阈值大。利用该配置，即使在儿童执行粗略操作的情况下，也可以实现更可靠的触摸操作。
此外，可以将用于标识用户的标识信息作为来自输入单元53的输入信息提供给控制单元51。在该情况下，可以针对由标识信息标识的每个用户设置触摸点的位置、触摸有效范围和触摸阈值。
此外，可以预先将指示用户的惯用手的惯用手信息登记在存储单元54等中。在该情况下，可以以如下方式设置触摸点的位置、触摸有效范围和触摸阈值的值：基于惯用手信息来确定用户是否用他/她的惯用手进行触摸。
在前述描述中，基于预先存储在存储单元54中的确定信息来确定形状信息指示的手形状是否是触摸操作中的手形状。
除此之外，例如，用户能够在开始触摸操作控制处理之前登记触摸操作中的手形状。在该情况下，确定形状信息指示的手形状是否是登记的触摸操作中的手形状。
例如，针对由显示单元55投影的显示对象所提供的每个应用(例如游戏)来登记触摸操作中的手形状，或者以在预先准备的菜单屏幕等上选择手形状的方式来登记触摸操作中的手形状。
此外，可以通过对输入单元53的音频输入等来登记触摸操作中的手形状，或者可以以下述方式来登记触摸操作中的手形状：存储用户事先执行触摸操作时所识别的手形状。
此外，例如，在用户的手接近要经受触摸操作的显示对象或进入针对显示对象设置的预定范围的情况下，可以将此时所识别的手形状登记为触摸操作中的手形状。
<3.拖动操作的示例>
图11是描绘拖动操作控制处理的流程的流程图。在执行前述触摸操作的状态下执行图11中示出的处理。
注意，图11的流程图中的步骤S71至步骤S74中的处理任务类似于图6的流程图中的步骤S31至步骤S34中的处理任务，因此，这里将不给出其描述。
即，在步骤S75中，操作识别单元74确定识别的操作的类型是否是拖动操作。具体地，确定形状信息指示的手形状是否是拖动操作中的手形状，其与触摸操作中的手形状相同。
在步骤S75中确定操作的类型不是拖动操作的情况下，流程返回到步骤S71，并且重复步骤S71及其之后的步骤中的处理任务。
另一方面，在步骤S75中确定操作的类型是拖动操作的情况下，即，在形状信息指示的手形状是拖动操作中的手形状的情况下，流程进行到步骤S76。
这里，参照图12，将描述基于形状信息所指示的手形状以及拖动阈值来确定的拖动操作的有效性/无效性，其中拖动阈值表示在触摸点处的拖动操作开始作用时触摸点的移动距离。如图12所示，根据由形状信息指示的手形状来设置拖动操作的有效性/无效性和拖动阈值。
注意，例如，在触摸操作控制处理中，在设置触摸点和触摸有效范围的同时设置根据形状信息的拖动阈值和拖动操作的有效性/无效性。此外，在拖动操作中，在触摸操作中设置的触摸点用作为作用区域。
在手形状是“一个食指”——指的是仅伸展食指的状态——的情况下，使拖动操作为“有效”，并且拖动阈值被设置为5mm。
在手形状是“手指张开的伸开的手”的情况下，使拖动操作为“有效”，并且拖动阈值被设置为5mm。
在手形状是“手指合拢的伸开的手”的情况下，使拖动操作为“有效”，并且拖动阈值被设置为10mm。
在手背向下的状态下手形状是“手指合拢的伸开的手”的情况下，使拖动操作为“无效”，并且不设置拖动阈值。
在手形状是“手握住的握住的手”的情况下，使拖动操作为“无效”，并且不设置拖动阈值。
在手形状是小指侧面向下的状态下的“手握住的握住的手”的情况下，使拖动操作为“有效”，并且拖动阈值被设置为30mm。
如上所述，根据手形状，设置是否从触摸操作转变为拖动操作，并且设置拖动阈值，该拖动阈值表示拖动操作用以开始作用的移动距离。
返回参照图11的流程图，在步骤S76中，操作识别单元74确定在触摸点处的拖动操作是否有效。具体地，基于触摸点的移动距离是否大于拖动阈值来确定拖动操作是否有效。
在步骤S76中确定拖动操作有效的情况下，即，在触摸点的移动距离大于拖动阈值的情况下，流程进行到步骤S77，在步骤S77中，执行控制单元75基于拖动阈值根据触摸点处的拖动操作执行处理。
具体地，执行控制单元75根据拖动操作，以与在GUI上的正常拖动操作类似的方式移动顶表面21上显示的显示对象。此外，例如，执行控制单元75可以使显示单元55根据针对每个手形状的拖动操作来执行显示。
图13是示出根据每个手形状的拖动操作的显示的示例的图。
例如，如图13的A所示，在下述情况下执行控制单元75移动显示对象：在用户用他/她的一个手指触摸显示对象的状态下，用户对显示在顶表面21上的显示对象执行拖动操作。
此外，如图13的B所示，在下述情况下执行控制单元75在拖动方向上扩展显示对象：在小指侧面向下的状态下(手指折叠的握住的手)用户用他/她的握住的手触摸显示对象的状态下，用户对显示在顶表面21上的显示对象执行拖动操作。
此外，如图13的C中的修改所示，在下述情况下执行控制单元75切割显示对象：在用户合拢他/她的手指并且小指侧面向下的状态下(砍的动作)，用户对显示在顶表面21上的显示对象执行拖动操作。
如上所述，可以根据拖动操作针对每个手形状执行不同的显示。
另一方面，在步骤S76中确定拖动操作无效的情况下，即，在触摸点的移动距离小于拖动阈值的情况下，执行控制单元75不执行处理。流程返回到步骤S71，并且重复步骤S71及其之后的步骤中的处理任务。
根据前述处理，基于手形状来精细地设置拖动操作的有效性/无效性以及拖动阈值，该拖动阈值表示拖动操作用以开始作用的触摸点移动距离。因此，可以实现更自然和直观的拖动操作。
在前述处理中，以与触摸操作相同的手形状进行向拖动操作的转变。替选地，可以以与触摸操作中的手形状不同的手形状改变来进行向拖动操作的转变。例如，可以进行从用“一个食指”的触摸操作向用“手指张开的伸开的手”的拖动操作的转变。
<4.旋转操作的示例>
图14是描绘旋转操作控制处理的流程的流程图。例如，在以下状态下执行图14中示出的处理：图像捕获单元52捕获对顶表面21上显示的显示对象进行操作的用户的手的图像。
注意，图14的流程图中的步骤S91至步骤S94中的处理任务类似于图6的流程图中的步骤S31至步骤S34中的处理任务，因此，这里将不给出其描述。
即，在步骤S95中，操作识别单元74确定识别的操作的类型是否是旋转操作。具体地，确定形状信息指示的手形状是否为旋转操作中的手形状。
在步骤S95中确定操作的类型不是旋转操作的情况下，流程返回到步骤S91，并且重复步骤S91及其之后的步骤中的处理任务。
另一方面，在步骤S95中确定操作的类型是旋转操作的情况下，即，在形状信息指示的手形状是旋转操作中的手形状的情况下，流程进行到步骤S96。
在步骤S96中，设置单元81基于来自操作体部分检测单元73的形状信息，在一个或更多个手指上设置预定的两个点(具体地，两个点之间的线段)作为旋转操作中的手指的作用区域，以得到旋转角获取点。
这里，参照图15，将描述与形状信息指示的手形状相关联的旋转角获取点。如图15所示，根据形状信息指示的手形状来设置旋转角获取点。
具体地，在手形状是“一个手指”——指的是例如仅伸展食指的状态——的情况下，旋转角获取点被设置在伸展的手指(食指)的根部与尖端之间的线段处。注意，伸展的手指不限于食指。
在手形状是“两个手指”——指的是伸展手指中的两个手指(例如拇指和食指)的状态——的情况下，旋转角获取点被设置在两个手指的尖端之间的线段处。注意，伸展的两个手指不限于拇指和食指。
在手形状是“张开”——指的是手指张开的状态——的情况下，旋转角获取点被设置在手腕与例如任何一个手指(例如中指)的尖端之间的线段处。
如上所述，根据手形状设置旋转角获取点。因此，用户例如通过改变手形状，能够在执行精细操作的情况下和在执行粗略操作的情况下适当地使用不同的手形状。
返回参照图14的流程图，在步骤S97中，执行控制单元75根据旋转角获取点处的旋转操作执行处理。具体地，执行控制单元75根据设置的旋转角获取点(两个点之间的线段)绕着顶表面21的法线方向旋转的旋转角来执行处理。
例如，执行控制单元75使显示单元55根据旋转操作执行显示。执行控制单元75根据旋转角获取点的旋转角来旋转例如在顶表面21上显示为显示对象的旋钮。
根据前述处理，基于手形状设置旋转角获取点。因此，可以实现更自然的旋转操作。
根据前述处理，在形状信息指示的手形状是旋转操作中的手形状的情况下，旋转角获取点被设置为旋转操作中的手的作用区域。除此之外，可以将旋转角倍数设置为用于旋转操作的参数，该旋转角倍数是在旋转角获取点的旋转作用时旋转角获取点的旋转角的倍数。
图16是描绘旋转角倍数被设置为用于旋转操作的参数的旋转操作控制处理的流程图。
注意，图16的流程图中的步骤S111至步骤S115中的处理任务类似于图14的流程图中的步骤S91至步骤S95中的处理任务，因此，这里将不给出其描述。
即，在步骤S115中确定操作的类型是旋转操作的情况下，即，在形状信息指示的手形状是旋转操作中的手形状的情况下，流程进行到步骤S116。
在步骤S116中，设置单元81基于来自操作体部分检测单元73的形状信息，将旋转角获取点和旋转角倍数设置为旋转操作中的手的作用区域和参数。
这里，参照图17，将描述与形状信息所指示的手形状相关联的旋转角倍数。如图17所示，根据形状信息指示的手形状来设置旋转角倍数。
具体地，在手形状是“一个手指”——指的是仅伸展一个手指的状态——的情况下，旋转角获取点被设置在伸展的手指的根部与尖端之间的线段处，并且旋转角倍数被设置为1.3倍。
在手形状是“两个手指”——指的是伸展两个手指的状态——的情况下，旋转角获取点被设置在两个手指的尖端之间的线段处，并且旋转角倍数被设置为1.0倍。
在手形状是“手指张开的伸开的手”的情况下，旋转角获取点被设置在手腕与例如中指的尖端之间的线段处，并且旋转角倍数被设置为2.0倍。
图18是描绘每个手形状的旋转角倍数和可旋转区域的图。在本文中，将描述作为图的上侧示出的显示对象的旋钮210的示例性操作。
如图18的下侧中间所示，在手形状是“两个手指”的情况下操作旋钮210时的旋转角倍数被定义为参考(1.0倍)。
手形状是“一个手指”的情况下的旋转角获取点的可旋转区域与手形状是“两个手指”的情况下的旋转角获取点的可旋转区域相比相对较窄。因此，如图的下侧左边所示，在手形状是“一个手指”的情况下，操作旋钮210时的旋转角倍数被设置为1.3倍，使得即使以相对小的角变化也可以以较小的负担操作旋钮210。
此外，手形状是“手指张开的伸开的手”的情况下的旋转角获取点的可旋转区域与手形状是“两个手指”的情况下的旋转角获取点的可旋转区域相比窄得多。因此，如图的下侧右边所示，在手形状是“手指张开的伸开的手”的情况下，操作旋钮210时的旋转角倍数被设置为2.0倍，使得即使角变化小，也可以以较小的负担操作旋钮210。
如上所述，由于根据手形状来设置旋转角倍数，因此用户能够针对每个手形状以高可操作性执行旋转操作。
返回参照图16的流程图，在步骤S117中，执行控制单元75基于旋转角倍数，根据旋转角获取点处的旋转操作执行处理。具体地，执行控制单元75基于设置的旋转角获取点(两个点之间的线段)处的旋转角倍数，根据旋转角执行处理。
根据前述处理，基于手形状设置旋转角倍数。因此，可以以较小的负担实现更自然的旋转操作。
<5.其他>
(操作控制处理的总体流程)
前述描述涉及关于各个操作(即，触摸操作、拖动操作和旋转操作)的处理的流程。替选地，可以在一个处理中识别这些操作。
因此，参照图19，将描述操作控制处理的总体流程。
图19的流程图中的步骤S131至步骤S138中的处理任务基本上类似于图6的流程图中的步骤S31至步骤S38中的处理任务，因此，这里将不给出其描述。
然而，在步骤S135中确定所识别的操作的类型不是触摸操作的情况下，流程进行到步骤S139。
此外，在步骤S136中，基于来自操作体部分检测单元73的形状信息，将触摸点和触摸有效范围设置为触摸操作中的手的作用区域和参数，并且还将拖动阈值设置为用于拖动操作的参数。
步骤S139至步骤S141中的处理任务类似于图11的流程图中的步骤S75至步骤S77中的处理任务，因此，这里将不给出其描述。
然而，在步骤S139中确定所识别的操作的类型不是拖动操作的情况下，流程进行到步骤S142。
步骤S142至步骤S144中的处理任务类似于图14的流程图中的步骤S95至步骤S97中的处理任务，因此，这里将不给出其描述。
如上所述，可以在一个处理中确定各个操作，即，触摸操作、拖动操作和旋转操作。
(触摸操作的修改)
在形状信息所指示的手形状是触摸操作中的手形状的情况下，可以根据是手掌(具体地，手掌的手腕侧部分)还是肘部与操作表面(顶表面21)接触来设置触摸点、触摸有效范围和触摸阈值。通过检测手和臂的骨骼以识别手掌和肘部的位置并且基于距离图像计算手掌或肘部与顶表面21之间的距离，可以确定手掌或肘部是否与顶表面21接触。
此外，可以根据手掌或肘部是否与顶表面21接触来改变要接受的操作(要确定的操作)。
如图20的A所示，例如，在手掌与顶表面21接触的状态下，用一个或更多个手指的触摸操作被接受。
另一方面，如图20的B所示，在手掌不与顶表面21接触的状态下，用多个手指的捏合操作(放大、缩小、旋转)被接受。注意，即使在如图20的A所示的手掌与顶表面21接触的状态下执行用多个手指的捏合操作时，捏合操作也不被接受。
此外，如图21的A所示，在肘部与顶表面21接触的状态下，用一个或更多个手指的触摸操作被接受。
另一方面，如图21的B所示，在肘部不与顶表面21接触的状态下，用一个或更多个手指的触摸操作不被接受，但是用手指之一指向远处的显示对象的指向操作被接受。例如，根据指向操作，从指尖朝向远处的显示对象绘制直线箭头。
此外，可以根据是否感测到由于抽搐等引起的手的震颤来设置触摸点、触摸有效范围和触摸阈值。可以在触摸操作控制处理开始之前检测手的震颤，或者可以在处理期间感测手的震颤。
例如，在感测到手的震颤的情况下，从确定操作是触摸操作到确定触摸操作有效的时间被设置为比通常时间更长。利用该配置，即使在手具有震颤的用户花费比必要时间更多的时间进行触摸操作的情况下，也可以接受触摸操作。
此外，可以根据国家和民族文化以及习俗来设置被确定为触摸操作的手形状、触摸点、触摸有效范围和触摸阈值。
(所有操作的修改)
可以根据是否感测到与通常的手的差异来改变用于手形状的标准。
例如，在用户戴上他/她的手套或包扎了手的情况下，放宽关于手指张开的程度的标准。此外，在一个或更多个手指有缺陷的情况下，可以在忽略有缺陷的手指的情况下识别姿势。具体地，在除了一个或更多个有缺陷的手指之外的手指张开的状态下，认识到所有手指是张开的。
此外，由于在用户的指甲长或用户的手脏的情况下不太可能确定操作，因此可放宽操作标准。
此外，在重复地检测到未登记的手形状的情况下，使用户确认该手形状是有意的，然后可以新登记与该手形状相关联的操作。
此外，在用户的手接近要经受特定操作的显示对象或进入相对于显示对象设置的预定范围的情况下，可以将此时识别出的手形状登记为特定操作中的手形状。在该情况下，可以使具有登记的手形状的操作仅在特定范围内有效，或者可以使具有登记的手形状的操作甚至在该范围之外也有效。
此外，除了手形状和手姿势之外，还可以基于任何信息来设置作用区域和参数。例如，基于用户是坐着(坐姿)还是站着(站姿)、用户的臂的伸展或弯曲状态、距操作目标的距离、操作目标的大小等来设置作用区域和参数。
(其他应用示例)
在前述实施方式中，桌子20的顶表面21用作操作表面，并且基于相对于操作表面的手姿势和手形状来设置作用区域和参数。替选地，操作表面可以是诸如墙壁或天花板的平坦平面。
此外，操作体部分不限于手，而可以是臂、上半身、腿或整个身体，只要操作体部分是能够根据其而识别触摸和姿势的用户身体的部位即可。
此外，用户不限于人类，而可以是诸如猴子、猩猩、狗或猫的动物。
(计算机的配置示例)
前述一系列处理任务可以由硬件执行，并且也可以由软件执行。在由软件执行一系列处理任务的情况下，构成软件的程序被安装在计算机中。这里，计算机的示例包括结合在专用硬件中的计算机、例如能够通过安装各种程序来执行各种功能的通用个人计算机等。
图22是示出计算机中的硬件的配置示例的框图，该计算机中安装有程序以执行前述一系列处理任务。
在计算机中，CPU 1001、ROM 1002和RAM 1003经由总线1004互连。
此外，输入/输出接口1005连接至总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。
输入单元1006包括键盘、鼠标、麦克风等。输出单元1007包括显示装置、扬声器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质1011。
在如上所述配置的计算机中，CPU 1001例如经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003上，以执行该程序，从而执行前述一系列处理任务。
可以提供要由计算机(CPU 1001)执行的程序，同时将该程序记录在例如作为封装介质等的可移除介质1011中。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中，可以通过将可移除介质1011安装至驱动器1010的方式，经由输入/输出接口1005将程序安装在存储单元1008中。此外，可以经由有线或无线传输介质在通信单元1009处接收程序，并且可以将程序安装在存储单元1008中。此外，可以将程序预先安装在ROM 1002或存储单元1008中。
注意，要由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列方式执行处理任务的程序，或者可以是并行执行处理任务或在所要求的时机(诸如调用程序的时候)执行处理任务的程序。
本说明书中的术语“系统”是指多个组成元件(装置、模块(部件)等)的集合，并且所有组成元件是否均在同一壳体中并不重要。因此，术语“系统”涉及容纳在分开的壳体中并且经由网络彼此连接的多个装置以及多个模块被容纳在单个壳体中的单个装置两者。
注意，本说明书中描述的效果仅仅是示例性的而不是限制性的，并且可以实现其他效果。
本公开内容的实施方式不限于前述实施方式，并且可以在不脱离本公开内容的主旨的范围内作出各种变型。
例如，本公开内容可以采用云计算的配置，在该配置中，多个装置在任务共享的基础上经由网络彼此协作地处理一个功能。
此外，参照前述流程图描述的各个步骤可以由单个装置执行，或者可以由多个装置执行，其中，在多个装置之间划分步骤。
此外，在单个步骤包括多个处理任务的情况下，单个步骤中包括的多个处理任务可以由单个装置执行，或者可以由多个装置执行，其中，在多个装置之间划分多个处理任务。
(本公开内容要采用的其他配置)
此外，本公开内容可以采用以下配置。
(1)
一种信息处理装置，包括：
控制单元，其被配置成基于在操作表面上执行操作的操作体部分的形状信息，确定所述操作体部分的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
(2)
根据(1)中记载的信息处理装置，还包括：
操作识别单元，其被配置成基于所述形状信息来识别所述操作的类型，
其中，
所述控制单元关于所识别类型的操作来确定所述作用区域并且设置所述参数。
(3)
根据(2)中记载的信息处理装置，其中，
所述操作体部分包括用户的身体的部位。
(4)
根据(3)中记载的信息处理装置，其中，
所述操作体部分包括用户的手，
所述操作识别单元基于由所述形状信息指示的所述手的形状来识别所述操作的类型，并且
所述控制单元将所述手的一部分确定为所述作用区域。
(5)
根据(4)中记载的信息处理装置，其中，
所述操作包括触摸操作。
(6)
根据(5)中记载的信息处理装置，其中，
所述控制单元将多个手指中的任何一个手指的尖端、全部手指的重心、或整个手的重心中的至少之一确定为所述作用区域。
(7)
根据(6)中记载的信息处理装置，其中，
所述控制单元将所述作用区域中的操作作用在所述操作表面上的有效范围设置为所述参数。
(8)
根据(7)中记载的信息处理装置，其中，
所述有效范围包括所述操作表面上的区域范围。
(9)
根据(8)中记载的信息处理装置，其中，
所述控制单元还将所述作用区域中的操作作用在所述操作表面上时所述作用区域与所述操作表面之间的距离的阈值设置为所述参数。
(10)
根据(4)中记载的信息处理装置，其中，
所述操作包括拖动操作。
(11)
根据(10)中记载的信息处理装置，其中，
所述控制单元将多个手指中的任何一个手指的尖端、全部手指的重心、或整个手的重心中的至少之一确定为所述作用区域。
(12)
根据(11)中记载的信息处理装置，其中，
所述控制单元将所述作用区域中的操作开始作用在所述操作表面上时所述作用区域的移动距离设置为所述参数。
(13)
根据(4)中记载的信息处理装置，其中，
所述操作包括旋转操作。
(14)
根据(13)中记载的信息处理装置，其中，
所述控制单元将两个手指的尖端之间的线段、任何一个手指的尖端与手腕之间的线段、或者任何一个手指的尖端与根部之间的线段中的至少之一确定为所述作用区域。
(15)
根据(14)中记载的信息处理装置，其中，
所述控制单元将所述作用区域绕着所述操作表面的法线方向的旋转作用在所述操作表面上时所述作用区域的旋转角的倍数设置为所述参数。
(16)
根据(1)至(15)中任一项中记载的信息处理装置，其中，
所述控制单元基于所述操作体部分的姿势信息和所述形状信息来确定所述作用区域并且设置所述参数，所述姿势信息是从所述捕获的图像获取的。
(17)
根据(1)至(16)中任一项中记载的信息处理装置，还包括：
执行控制单元，其被配置成基于所述参数，来控制根据所述作用区域中的操作的处理的执行。
(18)
根据(17)中记载的信息处理装置，其中，
所述执行控制单元基于所述参数，来控制根据所述作用区域中的操作的显示。
(19)
一种信息处理方法，包括：
使信息处理装置基于在操作表面上执行操作的操作体部分的形状信息，来确定所述操作体部分的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
(20)
一种记录有程序的记录介质，所述程序使计算机执行以下处理：
基于在操作表面上执行操作的操作体部分的形状信息，确定所述操作体部分的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
参考标记列表
10 信息处理装置
20 桌子
21 顶表面
51 控制单元
52 图像捕获单元
53 输入单元
54 存储单元
55 显示单元
56 输出单元
71 图像捕获控制单元
72 图像处理单元
73 操作体部分检测单元
74 操作识别单元
75 执行控制单元
81 设置单元

Claims (20)

1.一种信息处理装置，包括：
控制单元，其被配置成基于在操作表面上执行操作的操作体的形状信息，确定所述操作体的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
2.根据权利要求1所述的信息处理装置，还包括：
操作识别单元，其被配置成基于所述形状信息来识别所述操作的类型，
其中，
所述控制单元关于所识别类型的操作来确定所述作用区域并且设置所述参数。
3.根据权利要求2所述的信息处理装置，其中，
所述操作体包括用户的身体的部位。
4.根据权利要求3所述的信息处理装置，其中，
所述操作体包括用户的手，
所述操作识别单元基于由所述形状信息指示的手指的形状来识别所述操作的类型，并且
所述控制单元将所述手指的至少一部分确定为所述作用区域。
5.根据权利要求4所述的信息处理装置，其中，
所述操作包括触摸操作。
6.根据权利要求5所述的信息处理装置，其中，
所述控制单元将多个手指中的任何一个手指的尖端、全部手指的重心、或整个手的重心中的至少之一确定为所述作用区域。
7.根据权利要求6所述的信息处理装置，其中，
所述控制单元将所述作用区域中的操作作用在所述操作表面上的有效范围设置为所述参数。
8.根据权利要求7所述的信息处理装置，其中，
所述有效范围包括所述操作表面上的区域范围。
9.根据权利要求8所述的信息处理装置，其中，
所述控制单元还将所述作用区域中的操作作用在所述操作表面上时所述作用区域与所述操作表面之间的距离的阈值设置为所述参数。
10.根据权利要求4所述的信息处理装置，其中，
所述操作包括拖动操作。
11.根据权利要求10所述的信息处理装置，其中，
所述控制单元将多个手指中的任何一个手指的尖端、全部手指的重心、或整个手的重心中的至少之一确定为所述作用区域。
12.根据权利要求11所述的信息处理装置，其中，
所述控制单元将所述作用区域中的操作开始作用在所述操作表面上时所述作用区域的移动距离设置为所述参数。
13.根据权利要求4所述的信息处理装置，其中，
所述操作包括旋转操作。
14.根据权利要求13所述的信息处理装置，其中，
所述控制单元将两个手指的尖端之间的线段、任何一个手指的尖端与手腕之间的线段、或者任何一个手指的尖端与根部之间的线段中的至少之一确定为所述作用区域。
15.根据权利要求14所述的信息处理装置，其中，
所述控制单元将所述作用区域绕着所述操作表面的法线方向的旋转作用在所述操作表面上时所述作用区域的旋转角的倍数设置为所述参数。
16.根据权利要求1所述的信息处理装置，其中，
所述控制单元基于所述操作体的姿势信息和所述形状信息来确定所述作用区域并且设置所述参数，所述姿势信息是从所述捕获的图像获取的。
17.根据权利要求1所述的信息处理装置，还包括：
执行控制单元，其被配置成基于所述参数，来控制根据所述作用区域中的操作的处理的执行。
18.根据权利要求17所述的信息处理装置，其中，
所述执行控制单元基于所述参数，来控制根据所述作用区域中的操作的显示。
19.一种信息处理方法，包括：
使信息处理装置基于在操作表面上执行操作的操作体的形状信息，来确定所述操作体的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
20.一种记录有程序的记录介质，所述程序使计算机执行以下处理：
基于在操作表面上执行操作的操作体的形状信息，确定所述操作体的操作所作用的作用区域，并且设置要用于确定所述作用区域中的操作的参数，所述形状信息是从捕获的图像获取的。
CN202080013110.5A 2019-02-13 2020-01-30 信息处理装置、信息处理方法和记录介质 Withdrawn CN113412501A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019023225 2019-02-13
JP2019-023225 2019-02-13
PCT/JP2020/003350 WO2020166351A1 (ja) 2019-02-13 2020-01-30 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
CN113412501A true CN113412501A (zh) 2021-09-17

Family

ID=72044668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013110.5A Withdrawn CN113412501A (zh) 2019-02-13 2020-01-30 信息处理装置、信息处理方法和记录介质

Country Status (5)

Country Link
US (1) US20220129109A1 (zh)
EP (1) EP3926585A4 (zh)
JP (1) JPWO2020166351A1 (zh)
CN (1) CN113412501A (zh)
WO (1) WO2020166351A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3997566B2 (ja) * 1997-07-15 2007-10-24 ソニー株式会社 描画装置、及び描画方法
EP2872967B1 (en) * 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
CN105393281B (zh) * 2013-08-02 2018-02-13 三菱电机株式会社 手势判定装置和方法、手势操作装置
JP6303772B2 (ja) * 2014-04-25 2018-04-04 富士通株式会社 入力制御装置、制御方法および制御プログラム
JP6390277B2 (ja) 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2016103137A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 ユーザインタフェース装置、画像処理装置及び制御用プログラム
JP6308309B2 (ja) * 2014-12-10 2018-04-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6562752B2 (ja) * 2015-07-30 2019-08-21 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6821998B2 (ja) * 2016-07-14 2021-01-27 株式会社リコー 電子黒板、プログラム、方法

Also Published As

Publication number Publication date
WO2020166351A1 (ja) 2020-08-20
EP3926585A4 (en) 2022-03-30
EP3926585A1 (en) 2021-12-22
US20220129109A1 (en) 2022-04-28
JPWO2020166351A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US20240077969A1 (en) Gesture recognition devices and methods
US8666115B2 (en) Computer vision gesture based control of a device
US11513601B2 (en) Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US20110102570A1 (en) Vision based pointing device emulation
US9063573B2 (en) Method and system for touch-free control of devices
US20160034738A1 (en) Method using a touchpad for controlling a computerized system with epidermal print information
US20140053115A1 (en) Computer vision gesture based control of a device
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
WO2015091638A1 (en) Method for providing user commands to an electronic processor and related processor program and electronic circuit.
CN109947243B (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
CN113412501A (zh) 信息处理装置、信息处理方法和记录介质
US9761009B2 (en) Motion tracking device control systems and methods
CN113282164A (zh) 一种处理方法和装置
CN109993059B (zh) 智能电子设备上基于单摄像头的双目视觉与物体识别技术
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム
AU2021463303A1 (en) Electronic apparatus and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210917