CN105468189A - 识别多点触摸操作的信息处理装置及其控制方法 - Google Patents

Abstract

本发明公开一种识别多点触摸操作的信息处理装置及其控制方法。传统上，当基于用户的手的三维测量识别输入操作时，很难区分所检测到的多个手是用户的一双手还是多个用户的手。根据本发明的信息处理装置包括：图像获取单元，用于获取关于对操作表面上的空间进行拍摄而得到的图像的信息；位置确定单元，用于基于关于所获取的图像的所述信息而确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及关联单元，用于基于针对所述多个物体的各个所确定的位置而确定多个物体的组合，并用于将所组合的多个物体彼此关联。

Description

识别多点触摸操作的信息处理装置及其控制方法

技术领域

本发明涉及一种能够识别多点触摸(multi-touch)操作的技术。

背景技术

在允许用户经由触摸面板输入指令的用户界面(UI)中，通常使用多点触摸操作，该操作是多个触摸位置相互协作而执行输入的操作。在系统被配置为使多个用户能同时执行操作的情况下，需要区分检测到的多个触摸位置是被有意执行多点触摸操作的单个用户输入的还是被多个用户无意地输入的。

如日本JP特开第2014-16795号公报中所讨论的，基于参照接触触摸面板的各个手指的面积尺寸和形状而能够估计的各个手指的方向，来区分单个用户的输入或是多个用户的输入是可行的。

作为最近可使用的技术，传统上已知从利用可见光照相机、红外线照相机或范围图像传感器所拍摄的图像中提取出包括特定物体(例如用户的手)的区域，并基于特定物体的运动和位置来识别已作为用户界面(UI)操作而被输入的手势。这种系统被配置为通过测量手指的三维位置而获取从手指到触摸目标表面(例如墙或桌子)的距离，并基于所获取的距离值而确定存在触摸。

即使是在上述触摸系统中，仍期望用户能够输入多点触摸操作。然而，如日本JP特开第2014-16795号公报中所讨论的，从任意墙或桌子中获取关于手指接触表面的信息是不可行的。此外，在系统的尺寸足够大并使多个用户能同时执行操作的情况下，各个用户能够从多个角度灵活地操作系统。因此，即使在触摸面板之外的部分能检测到手指的方向，但如果用户的位置邻近，则由于多个用户的手指之间在方向角度上没有太大差别，因此仍然很难获得准确的识别结果。

发明内容

根据本发明的一方面，信息处理装置包括：图像获取单元，用于获取关于操作表面上的空间的图像的信息；确定单元，用于基于所述图像获取单元获取的关于所述图像的所述信息，确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及关联单元，用于基于针对所述多个物体的各个所确定的位置、从所述多个物体中确定协同输入一个指令的多个物体的组合，并用于将所组合的多个物体彼此关联。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1A例示了配设有信息处理装置的桌面界面的外观，所述信息处理装置安装在所述桌面界面上，图1B例示了操作环境的示例。

图2A、图2B及图2C是分别例示信息处理装置的硬件结构和功能结构的框图。

图3是例示能够由信息处理装置执行的触摸操作识别处理的示例性流程的流程图。

图4A和图4B是各自例示能够由信息处理装置执行的单个用户手关联处理的示例性流程的流程图。

图5是例示能够由信息处理装置执行的图像比较处理的示例性流程的流程图。

图6是例示能够由信息处理装置执行的颜色信息比较处理的示例性流程的流程图。

图7A、图7B及图7C例示了桌面界面的操作环境的示例。

图8是例示能够由信息处理装置执行的关联指令检测处理的示例性流程的流程图。

图9例示了关联指令的输入示例。

具体实施方式

以下将参照附图详细描述根据本发明的示例性实施例的信息处理。示例性实施例中描述的结构仅是示例。本发明的范围并不限于所例示的结构。

在根据第一示例性实施例的信息处理中，手进入到用户所执行的手势操作或触摸操作能被识别的空间中的在入口处的用户的手的位置被检测为入口位置，并存储该入口位置。如果在该空间中存在多个被检测的手，则基于入口位置间的位置关系区分所检测的手是单个用户的手还是多个用户的不相关的手。然后，如果多个手能被估计为是单个用户的两只手，则信息处理使它们相互关联，并识别由相关联的手执行的一个协同操作。由相关联的手执行的协同操作包括例如用于基于多个触摸位置而输入命令的多点触摸操作和用于基于多个手的组合运动而输入命令的手势操作。

图1A例示了配设有根据本示例性实施例的信息处理装置100的桌面界面系统的外观的示例。此外，图1A例示了能被用来定义位置信息的坐标轴。操作表面101是桌面界面的桌部。各个用户能够通过触摸操作表面101执行触摸操作。在本示例性实施例中，范围图像传感器102被安装在操作表面101的上方以便俯视操作表面。范围图像传感器102拍摄的范围图像的像素值反映从范围图像传感器102到操作表面101的距离。所拍摄的范围图像能被作为输入图像而输入到信息处理装置100中。信息处理装置100能够通过分析输入图像而获取用户的手的三维位置，并能识别用户执行的操作。本示例性实施例中使用的传感器能够参照红外线的反射图案(pattern)(或反射时间)来获取距离信息。此外，在本示例性实施例中，还以从上方俯视操作表面101的方式来安装可见光照相机103。信息处理装置100能够控制可见光照相机103，以起到能够拍摄放置在操作表面101上的物体的图像的文档照相机的作用。信息处理装置100能够基于可见光照相机103获得的可见光图像和范围图像传感器102获得的范围图像检测操作表面101上的空间中的摄像目标物体，并能够识别所检测到的物体。例如，摄像目标物体包括用户的各只手、文档(例如纸张介质或书)及其他三维物体。然而，根据图1A中例示的系统，存在于桌子外面的用户的头部没有被包括在范围图像传感器102和可见光照相机103的每个的视角中。此外，如果可采用任何其他结构来从上方拍摄操作表面101的图像，则不需要将范围图像传感器102和可见光照相机103安置在较高的位置处。例如，采用能够基于镜子反射的光来拍摄图像的结构是有用的。

投影仪104能够将图像投射在操作表面101的上表面上。在本系统中，用户对所投射图像中包括的项目105执行触摸操作或手势操作。在本示例性实施例中，对用户的手的检测和对操作的识别中要使用的图像是范围图像。此外，从可见光图像中检测肉色区域对于从图像中检测人手是有用的。在本示例性实施例中，使用范围图像的优势在于：即使是在用户的手的颜色由于投影仪104投射的光的影响而改变时，系统受到的影响也较小。此外，不使用投影仪104，而是由能够充当本系统的显示装置的液晶显示设备来构成操作表面101是可行的。

在本示例性实施例中，为了获得位置信息，如图1A中所示，在位于操作表面101上的三维空间中定义x、y和z轴。更具体地，原点设置在点107上。x-y平面与桌子的上表面平行。z轴的正向从桌子的上表面向上延伸。本示例性实施例中的z轴方向与世界坐标系中的高度方向相对应。然而，本示例性实施例可应用于其他操作系统，在该其他操作系统中，操作表面101由白板、墙表面或其他任何非水平的表面构成。

图1B是例示从上方看时的操作表面101的状态的视图。图1B中例示的界线109内的范围对应于范围图像传感器102或可见光照相机103的视角。在下文中，围绕该范围的界线109被称为“图像边界”。在所例示的例子中，手106a和手106b是第一用户的两只手，而手106c是另一个用户B的一只手。如上文所述，在本示例性实施例中，多个用户能够同时输入操作指令。在本示例性实施例中，系统能够基于对每只手的检测而确定指定的位置。指定的位置可以由用户想要通过手指示的估计位置的坐标值来表示。在本示例性实施例中，系统确定的指定的位置是能被估计为指尖的位置。更具体地，系统从范围图像中提取出存在被摄像的手的区域(下文中简称为“手区域”)，并获得包含在手区域中且位置离图像边界109最远的像素(即指定的位置)的坐标值。例如，系统将离图像边界109最远的点108确定为手106a的指定的位置。此外，本示例性实施例中定义的手入口位置是在最初检测到手区域的帧中、手区域与图像边界109相交的交叉部位的中心。更具体地，入口位置是在用户开始操作后手第一次进入到视角中的位置。如果可能获得关于在用户开始操作之后手第一次出现的位置的信息，则系统不需要从第一帧(在该第一帧中手区域的提取变为可行)中确定入口位置，并能够从跟随第一帧后的图像中确定入口位置。点110是手106a的入口位置。在本示例性实施例中，当检测到多个手时，系统基于各入口位置间的位置关系而确定所检测到的手是一个用户的一双手还是多个用户的不相关的手。

图2A例示了包括根据本示例性实施例的信息处理装置100的桌面界面的硬件结构。中央处理单元(CPU)200能够执行信息处理装置100的控制程序以对各种类型的处理执行计算和逻辑确定，并能够控制与系统总线204连接的各个构成元件。只读存储器(ROM)201是程序存储器，能够存储要由CPU200执行的、与控制相关且包括各种类型的处理过程的程序。随机存取存储器(RAM)202可用作CPU200的工作区域、错误处理过程中的数据保存区域或者控制程序加载区域。存储设备203是用于根据本示例性实施例存储数据和程序的硬盘驱动器或附装的外部存储设备。存储设备203存储能被信息处理装置100使用的各种数据。

在本示例性实施例中，可见光照相机103、范围图像传感器102以及投影仪104中的每个是经由输入/输出接口与信息处理装置100连接的外部设备。各个外部设备能够与信息处理装置100协作来构成信息处理系统。然而，可见光照相机103、范围图像传感器102以及投影仪104能够与信息处理装置100一体化。

图2B是例示根据本示例性实施例的信息处理装置100的功能结构的示例的框图。信息处理装置100包括图像获取单元210、入口位置确定单元211、关联单元212、指定的位置检测单元213、触摸确定单元214、识别单元215以及输出控制单元216。为了实现上述功能单元，CPU200能够将程序从ROM201加载到RAM202中，并根据以下描述的各个流程图执行处理。此外，例如，不使得CPU200执行软件处理，而采用硬件结构可能是有用的。在此情况下，硬件结构能够包括与各功能单元的处理对应的计算单元和电路。

图像获取单元210能够在预定时间间隔获取范围图像传感器102拍摄的范围图像作为输入图像，并能够不定期地将所获取的范围图像存储在RAM202中。此外，在本示例性实施例中，图像获取单元210能够在与获取范围图像相同的定时或在有需要的定时与范围图像一起获取可见光照相机103拍摄的可见光图像。以这种方式获取的范围图像和可见光图像二者都包括操作表面101的整个区域，并共享相同的坐标位置。更具地体，在范围图像中确定出坐标位置的情况下，基于所确定的坐标值搜索可见光图像中的相同位置是可行的。实际上，与图像数据对应的信号被图像获取单元210获取，并事实上向/从各个功能单元传输/接收。然而，在下文的描述中，图像获取单元210被简单描述为“获取范围图像”。

入口位置确定单元211能够分析图像获取单元210获取的输入图像，提取出至少一个手区域，并将关于所提取出的手区域的形状和/或位置的信息存储在RAM202中，同时将它们与其标识符相关联。在本示例性实施例中，人手是从人体的肩部延伸到指尖的整个部分。在本示例性实施例中，手区域是输入图像中的包括与手对应的部分的至少一部分的局部区域。此外，入口位置确定单元211能够在最初检测各个手区域时获取各个入口位置的坐标值。

关联单元212能够针对所有提取的手区域获取各入口位置的坐标，并能够基于所提取的手区域间的位置关系而关联被估计为一个人的手的多个手。特别是，在本示例性实施例中，如果多只手中的两只手的入口位置之间的距离小于事先设置的阈值，则可以认为这两只手是一个人的两只手的可能性较高。更具体地，关联单元212选择入口位置间的距离较短的所提取手区域的组合。如果入口位置间的距离短于事先确定的阈值距离，则关联单元212将组合的手区域彼此关联。换句话说，关联单元212从针对所有提取的手区域的全部入口位置的组合间的距离中确定它们之间的最短距离且短于预定距离的入口位置组合，并将手区域彼此关联。在此情况下，期望阈值为与考虑到平均成人体格而能被确定的普通人的肩宽相当的值。然后，关联单元212将表示上述相互关联的结果的信息分配给存储在RAM202中的手区域的标识符。

指定的位置检测单元213能够基于各个所提取手区域的形状检测手指定的位置，并能将指定的位置的三维坐标存储在RAM202中。在本示例性实施例中，指定的位置检测单元213检测包含在手区域中且离图像边界最远的像素作为指定的位置。例如，在用户仅伸出食指表示“指向姿势”的情况下，指定的位置检测单元213检测到食指的尖端作为指定的位置。

通过将所确定的指定的位置的z坐标值与预定高度阈值相比较，触摸确定单元214能够确定操作表面101是否已被对应于指定的位置的手触摸。例如，当指尖存在于离操作表面101的1cm之内时，能够定义指尖与操作表面101接触。触摸确定单元214在将高度阈值设置为1cm的同时对坐标值执行阈值处理。

基于手区域的形状、指定的位置的坐标以及触摸确定单元214获得的确定结果，识别单元215能够识别用户已输入的触摸操作或手势操作。在本示例性实施例中，识别单元215能够识别构成由多只手(或触控笔)的协作运动执行的一个指令的操作。特别是，识别单元215识别由多只手的协作操作执行的预定多点触摸操作。

输出控制单元216基于存储在ROM201或存储设备203中的信息而生成要由投影仪104投射的显示图像。输出控制单元216向响应于用户操作的各个功能单元通知操作的识别结果。

接下来，将参照图3中例示的流程图详细描述能够由根据本示例性实施例的信息处理装置100执行的触摸操作识别处理。在本示例性实施例中，响应于以预定周期对来自范围距离图像传感器102的图像的各个输入，信息处理装置100重复图3中例示的流程图的处理。预定周期是例如每秒30帧或每秒15帧。

在步骤S300中，图像获取单元210使RAM202的工作区域初始化，获取范围图像传感器102拍摄的范围图像作为输入图像，并将输入图像(即所获取的范围图像)存储在RAM202中。

在步骤S301中，入口位置确定单元211从输入图像中提取至少一个手区域，并将关于所提取的手区域的信息存储在RAM202中。在本示例性实施例中，通过对作为输入而获取的范围图像的各像素的z坐标值执行阈值处理，入口位置确定单元211提取z坐标值大于操作表面101的高度的区域作为手区域。然而，提取方法并不限于上述示例。例如，通过分析另外拍摄的可见光图像的RGB值而提取与肉色区域对应的部分是有用的。

在步骤S302中，入口位置确定单元211通过参照RAM202中存储的信息来确定步骤S301中提取的手区域是否包括刚进入操作表面101上的空间的手。如果关于能被认为是一个人的手的手区域的信息还未被存储在RAM202中，则由于手区域第一次进入到初始化后处理的最新帧的范围图像中，因此入口位置确定单元211确定手刚进入空间。如果入口位置确定单元211确定存在刚进入空间的手(步骤S302中为“是”)，则操作推进至步骤S303。另一方面，如果入口位置确定单元211确定没有刚进入空间的手(步骤S302中为“否”)，则操作推进至步骤S306。

在步骤S303中，入口位置确定单元211选择与刚进入的手对应的手区域作为处理目标。

在步骤S304中，入口位置确定单元211检测所选择手区域与图像边界相交的交叉区域，并基于所检测到的交叉区域获取表示入口位置的xy坐标。在本示例性实施例中，入口位置确定单元211计算包含在与图像边界接触的手区域中的像素的坐标平均值作为入口位置的坐标，如图1B中例示的点110所示那样。

在步骤S305中，关联单元212针对当前正被选择的新手区域执行关联处理。以下将详细描述步骤S305中要执行的关联处理。

在步骤S306中，指定的位置检测单元213针对各个所提取的手区域检测指定的位置。如果手处于伸出指尖的状态，则要被指定的位置检测单元213检测的指定的位置就是指尖。例如，如果用户握拳，则指定的位置是离图像边界最远的边缘部分的特定点。

在步骤S307中，基于所确定的指定的位置的z坐标值和预定阈值，触摸确定单元214确定操作表面101目前是否被与所提取手区域相对应的任何一只手触摸。在本示例性实施例中，如果指定的位置的z坐标值小于高度阈值(即从操作表面101的基准高度)，则触摸确定单元214确定操作表面101目前被手触摸。如果触摸确定单元214确定操作表面101目前被触摸(步骤S307中为“是”)，则操作推进至步骤S308。如果确定操作表面101目前未被触摸(步骤S307中为“否”)，则信息处理装置100终止图3中例示的流程图的处理。可选择地，信息处理装置100能够基于手区域的形状或指定的位置的轨迹执行用于识别手势操作的处理。

在步骤S308中，识别单元215参照存储在RAM202中的信息确定正与操作表面101接触的手是否为在步骤S305中执行的处理中相关联的两只手。如果识别单元215确定操作表面101目前被相关联的两只手接触(步骤S308中为“是”)，则操作推进至步骤S309。如果识别单元215确定操作表面101目前未被相关联的两只手接触(步骤S308中为“否”)，则操作推进至步骤S310。

在步骤S309中，识别单元215识别已被一个用户的一双手执行的多点触摸操作，并向输出控制单元216通知所识别的内容。例如，关于正处于触摸状态下的两个指定的位置间的距离，识别单元215获取连续帧间的差。如果距离变短，则识别单元215将输入操作识别为“捏小操作”(pinch-inoperation)。如果距离变长，则识别单元将输入操作识别为“捏大操作”(pinch-outoperation)。当用户指示缩小图像时经常使用捏小操作。当用户指示放大图像时经常使用捏大操作。此外，关于穿过正处于触摸状态下的两个指定的位置的直线的角度，识别单元215获取连续帧间的差。在此情况下，识别单元215能够基于角度的改变方向而识别“右旋转操作”或“左旋转操作”的输入。当用户指示图像的右旋转或左旋转时经常使用这些操作。当输出控制单元216接收到通知时，输出控制单元216生成反映对操作的响应的显示图像，并将所生成的图像输出给投影仪104。

在步骤S310中，识别单元215识别单点触摸操作，并向输出控制单元216通知所识别的内容。例如，识别单元215针对数个帧追踪正处于触摸状态下的指定的位置，并识别其轨迹的形状。然后，识别单元215发出与所识别的形状对应的命令。例如，识别单元215能够识别指令，并作出响应，以便在轨迹形状是“V形”的情况下删除轨迹下面显示的项目，或在轨迹形状是“圆形”的情况下复制轨迹下面显示的项目。

如果在预定时段期间或是尽管获取了预定数量的帧仍不能识别有意义的操作，则信息处理装置100终止图3中例示的流程图的处理，而不执行步骤S309或步骤S310中的处理。步骤S309和S310中要识别的多点触摸操作和单点触摸操作仅是示例。在完成上述处理之后，信息处理装置100对随后周期中获取的输入图像重复相同的处理。

接下来，将参照图4A中例示的流程图详细描述图3中例示的步骤S305中执行的关联处理。在根据本示例性实施例的关联处理中，假定在多个用户使用桌面系统的情况下每只手之间的距离(对应于各个用户的站立位置间的距离)足够远。关联单元212从所有的入口位置的组合中选择其间的距离最短的手的组合，并通过确认该距离是否与一个人的肩宽相当而确定所选择的手是否为一个用户的一双手。

在步骤S400中，关联单元212针对非关联手区域而获取入口位置间的距离。在非关联手区域的数量是3或更多的情况下，关联单元212针对所选择的手区域的全部组合获取距离。

在步骤S401中，关联单元212从步骤S400中获取的全部组合中选择其入口位置间的距离最短的两只手的组合。

在步骤S402中，关于所选择的两只手的组合，关联单元212确定两个入口位置间的距离是否小于事先确定的阈值距离。如果关联单元212确定两个选择的入口位置间的距离短于预定阈值距离(步骤S402中为“是”)，则操作推进至步骤S403。如果关联单元212确定两个选择的入口位置间的距离等于或大于预定阈值距离(步骤S402中为“否”)，则关联单元212重新开始触摸操作识别处理。例如，阈值的实际值为40cm。然而，参照平均肩宽、操作表面尺寸或用户定义的最佳值来设置阈值是有用的。在此情况下，能够恰当地设置在两个所选择的入口位置间的距离与阈值一致时所要执行的确定。

在步骤S403中，关联单元212将所选择的组合(即，两个所选择的入口位置间的距离被确定为短于阈值的组合)的手彼此关联，并将关于所关联的手的信息存储在RAM202中。然后，关联单元212重新开始触摸操作识别处理。例如，关联单元212存储关于所关联的手的信息，同时将其标识符彼此关联或重新关联所关联对的标识符。当对应的手从操作表面离开并从范围图像中消失时，信息处理装置100删除存储在RAM202中的信息。

在图4A例示的流程图中，如果确定两个所选择的入口位置间的距离短于预定阈值距离，则关联单元212确定处理目标组合是一个用户的一双手。在此情况下，设置另一个阈值、并且在所选择的两个入口位置间的距离过于短的情况下确定处理目标组合不是一个用户的一双手是有用的。例如，在操作表面小且邻近用户的位置彼此相邻的情况下，存在这样的可能：位于右侧的用户的左手与位于左侧的用户的右手在外观位置上极其靠近。另一方面，如果手的入口位置间的距离与肩宽相比极其短，则用户在操作表面上使用两只手是很不自然的。因此，例如，如果两个所选择的入口位置间的距离短于20cm，则关联单元212可以确定处理目标组合是多个用户的不相关的手。

如上文所述，根据本示例性实施例，如果手入口位置间的位置关系是与一个用户的肩宽相当的距离，则关联单元212估计处理目标手会是一个用户的一双手。因此，即使是在不使用任何能够检测触摸操作的触摸面板的系统中，当存在多个指定的位置时，也可能区分并识别出一个用户的多点触摸输入或是多个用户的不相关输入。此外，即使是在不能检测用户的头部或运动部分的位置且不能直接确定用户位置的系统中，也可能区分多个检测到的手是一个用户的一双手还是多个用户的不相关的手。

在图3和图4A所例示的流程图的描述中，信息处理装置100基于范围图像提取手区域并确定入口位置和指定的位置。然而，要由信息处理装置100执行的处理并不限于上述示例。即使在信息处理装置100基于可见光图像执行上述处理时，也可以类似地获取本示例性实施例的效果。

此外，在第一示例性实施例中，信息处理装置100不管各个用户的手的姿势如何都不断地执行关联处理，并且在手能够被关联的情况下识别多点触摸操作。然而，信息处理装置100基于各个手区域的形状和字典数据间的比较而另外执行用于识别姿势的处理是有用的。在此情况下，例如，信息处理装置100能被配置为在检测到“指向姿势”(即只有手的食指伸出的状态)的情况下或是在检测到两只手的“指向姿势”的情况下执行关联处理，并识别多点触摸操作。由于能够防止执行不必要的关联处理，因此增加上述处理对于减少关联处理的整体计算负荷而言是有用的。

在第一示例性实施例中，由于假定由用户的手执行各个的操作，因此信息处理装置基于各个手区域的提取来执行连续的处理。然而，即使是在采用了恰当工具(例如触控笔)的情况下，本示例性实施例也是适用的。在用户利用除手之外的物体执行触摸操作的情况下，如果物体存在于比操作表面101高的位置处且与图像边界接触，则入口位置确定单元211能够从范围图像中提取出包括该物体的区域，并且能够在上述处理中将所提取的区域作为伪手区域来处理。

在第二示例性实施例中，通过比较基于在操作开始定时的手位置条件而关联的手的图像，信息处理装置100执行用于核对关联处理的恰当性的附加处理。

根据第二示例性实施例的系统结构和硬件结构与图1A、1B及2A中例示的第一实施例中的结构类似。因此，将免去重复描述。

图2C是例示根据第二示例性实施例的信息处理装置100的功能结构的图。第二示例性实施例与第一示例性实施例的不同在于新增加了图像比较单元220。图像比较单元220能够比较从关联单元212关联的手的图像中可检测到的特征，并获取特征上的不同之处。在本示例性实施例中，可从各图像检测到的特征包括从手腕向远侧延伸的部分的尺寸、肉的颜色、袖子的颜色以及手臂的方向角度。与其他功能单元类似，图像比较单元220是能够由从ROM201向RAM202加载相关程序、并根据以下描述的流程图执行处理的CPU200来实现的功能单元。

参照图3中例示的流程图，根据本示例性实施例的信息处理装置100根据与第一示例性实施例中描述类似的处理流程执行用于识别触摸操作的处理。然而，第二示例性实施例的不同在于信息处理装置100根据图4B中例示的流程图执行关联处理(即图3中例示的步骤S305中执行的处理)。图4B中例示的流程图包括与图4A中例示的流程图中类似的处理步骤。类似的处理步骤以相同的附图标记来表示，这里将免去重复的描述。图4B中例示的流程图与图4A中例示的流程图的不同在于：在步骤S403中关联处理单元212执行了关联处理之后，图像比较单元220执行步骤S404中的图像比较处理。此外，图4B中例示的流程图与图4A中例示的流程图的不同在于增加了步骤S405。

图5是例示步骤S404中要执行的图像比较处理的示例流程的流程图。在步骤S500中，图像获取单元210获取各个手区域的可见光图像。图像获取单元210保护RAM202的工作区域，并获取可见光照相机103拍摄的可见光图像。然后，图像获取单元210确定与步骤S301中提取的手区域对应的部分，并获取所确定部分的图像数据。可见光图像能够在步骤S501中要执行的处理期间恰当地获取，或者能够以预定时间间隔而拍摄并缓冲。

在步骤S501中，图像比较单元220针对各个手区域确定从手腕向远侧延伸的部分。在本示例性实施例中，除了手背和手掌之外，从手腕向远侧延伸的部分还包括五个手指。例如，图像比较单元220能够将位于远离图像边界处的各个手区域的预定局部区域确定为从手腕向远侧延伸的部分。此外，图像比较单元220能够识别各个手区域的形状以确定五个手指的重心(或中心)或者从手腕向远侧延伸的部分，并能够将周围区域确定为从手腕向远侧延伸的部分。

在步骤S502中，图像比较单元220获取关于从手腕向远侧延伸的部分的尺寸的信息。更具体地，图像比较单元220获取面积尺寸，所述面积尺寸由被确定为从手腕向远侧延伸的部分的图像区域中所包括的像素的数量来表示。此外，在本示例性实施例中，图像比较单元220参照事先已知的从人的手腕向远侧延伸的部分的形状以及标准面积尺寸来执行标准化处理。然后，图像获取单元220针对各个手区域获取表示从手腕向远侧延伸的部分的尺寸的标准化值(例如0到100)。上述标准化处理对于防止以下情形是有用的：以识别尺寸上的任何不同的方式而错误地确定从手腕向远侧延伸的部分在形状(即姿势)上不同。然而，在图像比较单元220参照从手腕向远侧延伸的部分的面积尺寸的情况下，手背(或手掌)部能被确定为处理目标。类似地，手臂的整体或预定部分能被确定为目标。

图像比较单元220针对相关联的手的各个组合不断地执行步骤S501和S502中的处理。另一方面，图像比较单元220能够针对还未关联的其余的手跳过步骤S501和S502二者。在获取了各个非关联的手的尺寸的情况下，图像比较单元220考虑到尺寸上的相似度而能够确定下一个被关联的候选的组合。

在步骤S503中，图像比较单元220确定处理目标组合的相关联手间的尺寸差别是否大于预定阈值A。可以在事先分配阈值A或者可以在重复关联处理的同时获悉阈值A。如果图像比较单元220确定相关联的手间的尺寸差别不大于预定阈值A(步骤S503中为“否”)，则操作推进至步骤S504。另一方面，如果图像比较单元220确定相关联的手间的尺寸差别大于预定阈值A(步骤S503中为“是”)，则能够认为本示例性实施例中存在出现错误关联的可能性。因此，操作推进至步骤S405。在步骤S405中，关联单元212取消本处理目标组合的关联，并选择入口位置间的距离第二短的新处理目标组合。然后，关联单元212针对新选择的组合重新开始上述处理。

例如，图7A例示了儿童的一只手存在于成人的两只手之间的操作状态。在此情况下，例如，假定在步骤S502中获取的关于手701a和手701c的每个的从手腕向远侧延伸的部分的尺寸是“100”，关于手701b的从手腕向远侧延伸的部分的尺寸是“50”。此外，假定阈值A是10。在此情况下，手701a和手701b是其入口位置间的距离中其间距离最短的手的组合。然而，由于手701a和手701b之间在从手腕向远侧延伸的部分的尺寸上的差别大，因此关联单元212取消关联处理。关联单元212继续处理，直至手701a和手701c被相互关联为组合为止。如上所述，通过增加用于参照手区域(即可从图像检测出的特征中的一个)来确定关联的恰当性的处理，可以提高关联的精度。

接下来，在步骤S504中，图像比较单元220针对颜色信息而比较处理目标手区域。在下文中，将参照图6例示的流程图详细描述步骤S504中要执行的颜色信息比较处理。

在步骤S600中，图像比较单元220针对处理目标组合的相关联的手区域获取从手腕向远侧延伸的所确定部分的RGB值。在步骤S601中，图像比较单元220获取它们之间在各个所获取的RGB值上的差别。在步骤S602中，图像比较单元220确定所获取的差别是否大于阈值b1。如果RGB颜色中的任何一种满足条件，则图像比较单元220就确定所获取的差别大于阈值b1。可选择地，在上述确定中可使用三种颜色的平均值。如果图像比较单元220确定所获取的差别大于阈值b1(步骤S602中为“是”)，则操作推进至步骤S603。如果图像比较单元220确定所获取的差别不大于阈值b1(步骤S602中为“否”)，则操作推进至步骤S604。

在步骤S603中，图像比较单元220确定将从手腕向远侧延伸的部分的颜色指定为关联条件。如果相关联的手属于同一个人，则能够估计关于从手腕向远侧延伸的部分的颜色的差别小。因此，当在确定从手腕向远侧延伸的部分处的颜色差别大之后操作推进至步骤S603时，能够认为存在出现错误关联的可能性。因此，图像比较单元220通过对从手腕向远侧延伸的部分处的颜色差加权而执行确定。

在步骤S604中，针对从手腕向远侧延伸的部分，图像比较单元220在搜索处理目标组合的相关联手区域的同时确定袖部分。例如，通过核对袖部分形状或通过搜索颜色急剧改变的位置，图像比较单元220能够确定袖部分。在步骤S605中，图像比较单元220获取各个所确定的袖部分的RGB值。在步骤S606中，图像比较单元220获取各个所获取的RGB值的差。在步骤S607中，图像比较单元220确定所获取的差是否大于阈值b2。如果RGB颜色中的任何一种满足条件，则图像比较单元220就确定所获取的差大于阈值b2。可选择地，在上述确定中可使用三种颜色的平均值。如果图像比较单元220确定所获取的差大于阈值b2(步骤S607中为“是”)，则操作推进至步骤S608。如果图像比较单元220确定所获取的差不大于阈值b2(步骤S607中为“否”)，则操作推进至图5中示出的步骤S505。在步骤S608中，图像比较单元220确定将袖颜色指定为关联条件。

如果在步骤S602和步骤S607二者中都确定颜色差别大，那么考虑到装置的安装环境和用户便利性，恰当地设置是使步骤S603中的确定优先还是使步骤S608中的确定优先是有用的。如果相关联的手属于同一个人，那么就能估计关于袖颜色的差别小。另一方面，差别可能很大程度上受到各布料的设计的影响。因此，在本示例性实施例中，图像比较单元220使步骤S603中执行的确定优先。阈值b1和阈值b2可以是相同的值或者可以考虑到环境等而有所差异。

再参照图5中例示的流程图，在步骤S505中，关于从手腕或袖向远侧延伸的部分，图像比较单元220基于步骤S603或步骤S608中的确定结果而确定处理目标组合的相关联的手间的颜色差别是否大于阈值B。阈值B是用于确定颜色上的明显差异而准备的阈值。阈值B可以事先分配，或者在重复关联处理的同时获悉。阈值b1和阈值b2可以是不同的值。如果图像比较单元220确定相关联的手间的颜色差别不大于预定阈值B(在步骤S505中为“否”)，则操作推进至步骤S506。另一方面，如果确定颜色差别大于预定阈值B(在步骤S505中为“是”)，则能够认为本示例性实施例中存在出现错误关联的可能性。因此，操作推进至步骤S405。

例如，图7B例示了穿白色的人的右手和穿黑色的人的左手相邻存在的操作状态。在此情况下，例如，由于手702a和手702b的袖子颜色明显不同，因此在步骤S502中能够在视觉上识别出手702a和手702b间的差别。手702a和手702b是入口位置间的距离最短的手组合。然而，手702a和手702b在袖子颜色上的差别大，关联单元212取消关联处理。关联单元212继续处理，直至手702b和手702c被作为组合相互关联为止。如上所述，通过增加用于参照颜色(即可从图像中检测的特征中的一个)而确定关联的恰当性的处理，可以提高关联的精度。

在步骤S506中，图像比较单元220获得手臂的方向角度。更具体地，图像比较单元220针对各个手区域获取指定的位置的坐标值(x1，y1)。此外，图像比较单元220获取方向基准点的坐标值(x2，y2)。由于人的手臂包括多个关节，因此手臂方向的定义根据基准点的设置而大为不同。在本示例性实施例中，步骤S506中确定的基准点是袖口的中心。然而，基准点可以是入口位置或者可以是关节位置。在本示例性实施例中，图像比较单元220利用公式1获得x轴周围的角度。

(角度)＝arctan{(y2-y1)/(x2-x1)}…(公式1)

在步骤S507中，图像比较单元220确定处理目标组合的相关联的手间的方向角度差别是否大于预定阈值C。阈值C可以事先分配，或者可以在重复关联处理的同时获悉。此外，可以根据方向的计算中所使用的基准点对阈值C设置恰当值。如果确定相关联的手间的方向角度差别不大于阈值C(步骤S507中为“否”)，则操作推进至步骤S508。另一方面，如果确定相关联手的间的方向角度差别大于阈值C(步骤S507中为“是”)，能够认为本示例性实施例中存在出现错误关联的可能。因此，操作推进至步骤S405。

图像比较单元220针对相关联的手的各个组合不断地执行步骤S506中的处理。另一方面，图像比较单元220能够针对还未关联的其余的手跳过步骤S506。在获取了各个非关联的手的方向的情况下，图像比较单元220考虑到方向上的差别而能够确定下一个被关联的候选的组合。

例如，图7C例示了同一个用户伸出的两只手(即手703c和手703b)和另一个用户伸出的左手(即手703a)同时存在的操作状态。在图7C中，各个手上的箭头表示穿过在步骤S506中计算方向时纳入考虑的指定的位置和基准点的直线。在步骤S506中，图像比较单元220获得围绕x轴的逆时针旋转角度来作为所例示的箭头的角度。现在假定计算出的手703a的角度为45度。计算出的手703b的角度为310度。计算出的手703c的角度为230度。此外，假定阈值C为100。在此情况下，手703a和手703b是其入口位置间的距离最短的手的组合。然而，由于手703a和手703b在方向角度上的差别大，因此关联单元212取消关联处理。关联单元212继续处理，直至手703b和手703c被相互关联为组合为止。如上所述，通过增加用于参照手的方向(即可从图像检测出的特征中的一个)来确定关联的恰当性的处理，可以提高关联的精度。

此外，在步骤S508中，图像比较单元220获取相关联的手的当前位置间的距离。在本示例性实施例中，假定当前位置是最新帧的输入图像中手区域与图像边界相交的交叉点。

在步骤S509中，图像比较单元220确定处理目标组合的相关联的手的当前位置间的距离是否大于预定阈值D。可以基于普通人伸展的两只手间的距离事先分配阈值D，或者可以在重复关联处理的同时获悉阈值D。如果确定当前位置间的距离不大于阈值D(步骤S509中为“否”)，则操作返回至图3所示的流程图。另一方面，如果确定当前位置间的距离大于阈值D(步骤S509中为“是”)，则能够认为本示例性实施例中存在出现错误关联的可能性。因此，操作推进至步骤S405。

在第一示例性实施例中，信息处理装置100基于在最初在操作表面101上检测到手的定时可获得的位置信息来执行关联处理。因此，关联结果不受每只手后来运动的影响。然而，根据第二示例性实施例，在通过步骤S508和S509中执行的确定处理、用户最初位置相邻但后来彼此分开远离的情况下，核对多个用户的运动也是可行的。在此情况下，信息处理装置100取消错误地执行的关联处理，并继续处理，直至获得相关联的手的另一个组合为止。上述处理在使用大操作表面的系统中是有效的。

如上文所述，根据第二示例性实施例，提高关联处理的精度是可行的。用户能够自然地执行高度灵活的操作。

信息处理装置100不需要参照全部的条件(即，从手腕向远侧延伸的部分的尺寸、从手腕或袖子向远方延伸的部分的颜色、各个手的方向以及当前位置间的距离)执行上述处理。信息处理装置100能被配置为参照上述条件中适合信息处理装置100的使用环境的至少一个条件来执行处理。此外，在本示例性实施例中，信息处理装置100连续执行上述各种类型的处理。然而，如果信息处理装置100具有足够的处理能力的话，相互平行地执行上述各种类型的处理也是有用的。

此外，关于可从图像检测出的特征的信息仅是示例。除了在操作开始定时的手位置条件之外，关于关联条件的其他任何信息也是有用的。例如，如果基于手区域的形状可以确定各个手区域是右手或是左手，则信息处理装置100能够基于所确定的右手和左手间的位置关系而处理存在于操作表面的右侧上的右手和存在于操作表面的左侧上的左手的组合。此外，基于范围图像而不是可见光图像，能够执行第二示例性实施例中描述的处理(除了基于颜色信息的比较的处理)。

(变型例)

在第一和第二示例性实施例中，信息处理装置100执行用于在多个所检测的手被估计为一个用户的一双手的情况下、将所述多个所检测的手关联为组合的处理。作为本发明的变型例，系统能被配置为允许用户执行触摸操作以自发地指示手的关联。

根据变型例的信息处理装置100的系统结构和硬件结构与图1A、1B及2B中例示的第一实施例中的结构类似。因此，将免去重复描述。然而，根据变型例的识别单元215在自发执行指示手关联时能够识别用户的手势操作。此外，期望根据变型例的系统能够包括第二示例性实施例中描述的结构。此外，信息处理装置100能够根据图3中例示的上述流程图来执行触摸操作识别处理。另外，在第一和第二示例性实施例中描述的触摸操作识别处理中的步骤S310中执行的单点触摸操作识别处理中，能够执行根据变型例的关联指令操作的识别。

在变型例中，当用户在触摸状态下使得用于多点触摸操作的两个手指彼此接触的情况下，由于其手指的接触，信息处理装置100将两只手相互关联。

图9例示了操作自上而下顺次推进的关联操作的示例。假定手901a和手901b由于其入口位置间的距离比阈值长而没有关联。在图9中，坐标点(x1，y1，z1)表示手901a的指定的位置，而坐标点(x2，y2，z2)表示手901b的指定的位置。在上述示例性实施例中，在信息处理装置100执行触摸操作识别处理期间，指定的位置检测单元213针对各个检测出的手区域不断地检测指定的位置的坐标值。另一方面，在变型例中，信息处理装置100仅在所获取的非关联的手区域的指定的位置能被认为大致彼此接触且接触状态已维持预定时段时才执行用于关联手区域的处理。例如，当两只手的指定的位置在坐标点(x3，y3，0)处彼此一致时，能满足上述条件。因此，信息处理装置100将点901a与点901b相关联。然后，如果稍后两个指定的位置间的距离增加，则信息处理装置100识别例如有意指示图像放大的用户执行的“捏大”操作。上述操作不仅能由一个用户执行，也能由多个用户执行。

图8是例示能由变型例中的信息处理装置100执行的关联指令检测处理的示例流程的流程图。

在步骤S800中，识别单元215获取各个非关联的手区域的指定的位置。在步骤S801中，识别单元215确定是否有彼此接触的指定的位置。然而，即使两个或更多个指定的位置的坐标值彼此不一致，它们也可以相邻地位于狭窄空间(例如1cm×1cm的正方形)中。在此情况下，能够认为指定的位置大致彼此接触。识别单元215能够确定存在正彼此接触的指定的位置。考虑到输入图像的分辨率可以恰当地确定该步骤中要设置的可允许范围。如果识别单元215确定存在至少两个彼此接触的指定的位置(步骤S801中为“是”)，则操作推进至步骤S802。如果识别单元215确定不存在任何彼此接触的指定的位置(步骤S801中为“否”)，则识别单元重复上述处理。可选择地，识别单元215能够终止图8中例示的流程图的处理。

在步骤S802中，识别单元215基于输入图像的帧间的差别获取指定的位置静止并彼此接触期间的时间长度。在步骤S803中，识别单元215确定所获取的时间长度是否大于预定待机时间。例如，事先设置诸如3秒的预定待机时间。然而，各个用户能够适当地改变待机时间的设置值。在步骤S804中，如果手的指定的位置彼此接触，则关联单元212将手彼此关联，并将关于所关联的手的信息存储在RAM202中，然后终止图8例示的流程图的处理。

如上文所述，信息处理装置100能够执行用于识别关联指令操作的处理。这里，关联指令操作时触摸操作的一种，并且信息处理装置100检测在触摸状态下接触的指定的位置。然而，关联指令操作可以是空气中执行的手势操作。

根据变型例，一旦将手移到操作表面的外部空间，用户就不需要在新执行关联操作中重置入口位置。因此，用户能够顺畅地执行连续工作。此外，由于用户能够在执行多点触摸操作的操作流程中输入指令，因此使用户无需任何菜单选择或任何模式切换就能指示触摸操作是有用的。此外，信息处理装置100能被配置为在输入单点触摸操作时识别关联指令，而在输入多点触摸操作时识别关联取消指令。此外，事先将特定图案注册为指示关联取消处理的命令是有用的。例如，由用户执行的特定图案为通过交叉其两只手而画“×形”。期望该特定图案能明显地与其他多点触摸命令区分开。通过使用上述特定图案，用户能轻松地指示取消关联处理。

(其他示例性实施例)

本发明还可以通过下述处理而实现：所述处理包括经由网络或适当的存储介质向系统或者装置提供能够实现上述示例性实施例的功能中的至少一种的程序，并促使所述系统或者装置中配设的计算机的至少一个处理器读取并执行所述程序。此外，本发明可以由能够实现上述功能中的一种的电路(例如ASIC)来实现。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (18)

1.一种信息处理装置，所述信息处理装置包括：

图像获取单元，用于获取关于操作表面上的空间的图像的信息；

确定单元，用于基于所述图像获取单元获取的关于所述图像的所述信息，确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及

关联单元，用于基于针对所述多个物体的各个所确定的位置，从所述多个物体中确定多个物体的组合，并用于将所组合的多个物体彼此关联。

2.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

识别单元，用于基于关于由所述关联单元关联的所述物体所指定的多个位置的信息，识别与所述多个物体协同输入的一个指令相对应的操作。

3.根据权利要求2所述的信息处理装置，其中，被所述识别单元识别的、由所述多个物体协同输入的所述一个指令是与所述多个物体的多点触摸操作输入相对应的指令。

4.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

提取单元，用于从所述图像获取单元定期获取的图像中提取包括要用于操作输入的多个物体的至少一个区域，

其中，所述确定单元将最初提取各个区域的图像的边界与所述区域相交的交叉位置确定为所述物体进入到所述空间中的位置。

5.根据权利要求1所述的信息处理装置，其中，要用于操作输入的物体是用户的一只手。

6.根据权利要求1所述的信息处理装置，其中，所述关联单元，用于基于针对所述多个物体的各个所确定的位置以及从所述图像获取单元获取的所述图像中获得的各物体的特征，从所述多个物体中确定协同输入所述一个指令的所述多个物体的组合。

7.根据权利要求6所述的信息处理装置，其中，要用于操作输入的物体是用户的一只手，以及，从所述图像获得的物体的所述特征包括手的尺寸、颜色、方向以及最新位置中的至少一个。

8.根据权利要求6所述的信息处理装置，其中，所述关联单元，用于针对基于对所述多个物体中的各个所确定的位置而关联的手的组合，基于在关于从所述图像获取的手的至少一部分的尺寸上的比较结果，从所述多个物体中确定协同输入所述一个指令的所述多个物体的组合。

9.根据权利要求6所述的信息处理装置，其中，所述关联单元，用于针对基于对所述多个物体中的各个所确定的位置而关联的手的组合，基于在关于从所述图像获取的颜色信息上的比较结果，从所述多个物体中确定协同输入所述一个指令的所述多个物体的组合。

10.根据权利要求6所述的信息处理装置，其中，所述关联单元，用于针对基于对所述多个物体中的各个所确定的位置而关联的手的组合，基于在关于从所述图像获取的手方向角度差别上的比较结果，从所述多个物体中确定协同输入所述一个指令的所述多个物体的组合。

11.根据权利要求1所述的信息处理装置，其中，所述关联单元，用于确定针对各物体所确定的位置间的距离最短、且短于预定距离的多个物体的组合，并且用于将所组合的多个物体彼此关联。

12.根据权利要求1所述的信息处理装置，其中，所述操作表面是构成桌面界面系统的桌表面，且所述图像获取单元用于获取由范围图像传感器拍摄的范围图像，所述范围图像传感器安装在其从上方俯视所述桌表面的位置处。

13.根据权利要求4所述的信息处理装置，其中，所述操作表面是构成桌面界面系统的桌表面，且所述图像获取单元用于获取由范围图像传感器拍摄的范围图像，所述范围图像传感器安装在其从上方俯视所述桌表面的位置处，以及，基于从所述范围图像传感器到由所获取的范围图像的各像素表示的范围图像的摄像目标被摄体表面的距离和表示所述桌表面的高度的信息，所述提取单元用于从所述范围图像中提取出这样的区域，在该区域中要用于操作输入的多个物体作为摄像目标被摄体而被拍摄。

14.一种信息处理装置的控制方法，所述控制方法包括：

获取关于操作表面上的空间的图像的信息；

基于关于所获取的图像的所述信息，确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及

基于针对所述多个物体的各个所确定的位置而确定多个物体的组合，并将所组合的多个物体彼此关联。

15.一种信息处理装置，所述信息处理装置包括：

图像获取单元，用于获取关于操作表面上的空间的图像的信息；

确定单元，用于基于所述图像获取单元获取的关于所述图像的所述信息，确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；以及

关联单元，用于基于所述确定单元针对所述多个物体的各个所确定的位置，从所述多个物体中将被估计为一个用户的一双手的物体相关联。

16.根据权利要求15所述的信息处理装置，其中，所述操作表面是构成桌面界面系统的桌表面，且所述图像获取单元用于获取范围图像传感器拍摄的范围图像，所述范围图像传感器安装在其从上方俯视所述桌表面的位置处。

17.根据权利要求15所述的信息处理装置，其中，所述操作表面是构成桌面界面系统的桌表面，且所述图像获取单元用于获取范围图像传感器拍摄的范围图像，所述范围图像传感器安装在其从上方俯视所述桌表面的位置处，以及，

所述信息处理装置还包括：提取单元，其用于基于从所述范围图像传感器到由所获取的范围图像的各像素表示的范围图像的摄像目标被摄体表面的距离和表示所述桌表面的高度的信息，从所述范围图像中提取出这样的区域，在该区域中，要用于操作输入的多个物体作为摄像目标被摄体而被拍摄，

其中，所述确定单元，将最初提取各个区域的图像的边界与所述区域相交的交叉位置确定为所述物体进入到所述空间中的位置。

18.一种信息处理装置的控制方法，所述控制方法包括：

通过图像获取单元获取关于操作表面上的空间的图像的信息；

基于关于所获取的图像的所述信息，通过确定单元确定要用于操作输入的多个物体中的各个进入到所述空间中的位置；

基于针对所述多个物体的各个所确定的位置、通过关联单元将被估计为一个用户的一双手的物体相关联。