CN103914146B - 通过姿势识别对控制参数的控制 - Google Patents

Abstract

本发明涉及通过姿势识别对控制参数的控制。一种用于对控制元件的至少一个控制参数进行控制的方法包括确定指示人类身体部分和参照物之间的距离的第一信息。基于第一信息，确定指示人类身体部分的姿势移动和由姿势移动引起的所述控制参数的改变之间的转换关系的第二信息。基于人类身体和所述参照物之间的距离的改变，修改所述转换关系。

Description

通过姿势识别对控制参数的控制

技术领域

本发明涉及通过姿势识别对控制参数的控制。

背景技术

例如基于ToF原理（飞行时间原理）的三维（3D）深度照相机为在自然用户界面中的人类姿势识别提供了新的领域。例如，这样的3D深度照相机可以用于在笔记本计算机前面的立方英尺中代替鼠标。基于人类姿势识别来控制控制参数将是有益的，人类姿势识别允许对控制参数容易且可靠的控制。

发明内容

根据一方面，一种用于控制控制元件的至少一个控制参数的方法包括确定指示人类身体部分和参照物之间的距离的第一信息。基于第一信息，确定指示人类身体部分的姿势移动和由姿势移动引起的所述控制参数的改变之间的转换关系的第二信息。基于所述人类身体和所述参照物之间的距离的改变来修改所述转换关系。

根据进一步的方面，一种器件包括单元，单元被配置为确定指示人类身体部分和参照物之间的距离的第一信息。电路被配置为基于第一信息来确定指示人类身体部分的姿势移动和由所述姿势移动引起的所述控制参数的改变之间的转换关系的第二信息。电路被配置为基于所述人类身体和所述参照物之间的距离的改变来修改所述转换关系。

附图说明

图1示出了根据本发明实施例的图；

图2示出了根据本发明实施例的流程图；

图3示出了根据本发明实施例的图；以及

图4示出了根据本发明实施例的通过用户的控制。

具体实施方式

后面的详细描述解释了本发明的示例性实施例。该描述不以限制的意义做出，而是仅出于图示本发明的实施例的一般原理的目的做出，同时保护的范围仅由所附的权利要求确定。

在附图中示出并在下面描述的示例性实施例中，附图中示出或者在本文中描述的功能块、器件、部件或其它物理或功能单元之间的任何直接连接或耦合也能够通过间接的连接或耦合来实施。功能模块可以被实施为硬件、固件、软件或其组合。

另外，要理解的是本文中描述的各个示例性实施例的特征可以彼此组合，除非另外特别注明。

在各个图中，相同或类似的实体、模块、器件等可以分配相同的参考数字。现在将参考附图更充分地描述示例的实施例。然而，实施例可以被体现在许多不同的形式中并且不应当解释成被限制到本文中阐述的实施例。更确切地，提供这些示例的实施例使得本公开将是全面的和完整的，并且将把范围充分地表达给本领域技术人员。在附图中，为了清楚，层和区的厚度被扩大了。

在描述的实施例中，为了更好地理解实施例，示出并描述了元件、器件、特征等的各种具体图或示意图。要理解的是，这些图可以不按比例绘制。另外，这些实施例可以不用相同的标度示出包含在一个或多个附图中的所有特征、元件等，即一些特征、元件等可以被放大示出使得在相同的图中一些特征、元件等以相比于其它特征、元件等增大或减小的标度被示出。

将理解的是，当元件相对于另一元件被称为“在…上”、“连接到”、“电连接到”或“耦合到”时，它可以直接在另一部件上，直接连接到、电连接到或耦合到另一部件或可以存在介入部件。相反，当部件被称为“直接在另一部件上”，“直接连接到”、“直接电连接到”或“直接耦合到”另一部件时，不存在介入元件。如本文中使用的，术语“和/或”包括关联的列出的术语中的一个或多个的任何或所有组合。

将理解的是，虽然术语第一、第二、第三等可以在本文中用于描述各种元件、部件、区、层、和/或区段，但是这些元件、部件、区、层、和/或区段不应当被这些术语所限制。这些术语仅用于区分一个元件、部件、区、层、和/或区段与另一元件、部件、区、层、和/或区段。例如，在不脱离示例的实施例的教导的情况下，第一元件、部件、区、层、和/或区段能够被称为第二元件、部件、区、层、和/或区段。

在本文中为了易于描述可以使用空间相对术语诸如“之下”、“以下”、“下”、“上方”、“上”等等来描述一个部件和/或特征相对于另一元件和/或特征或相对于其它（一个或多个）元件和/或（一个或多个）特征的关系，如附图中图示的。将理解的是，空间相对术语意图包含除附图中描绘的定向之外的使用或操作中的器件的不同的定向。

本文中使用的术语仅是用于描述特定示例的实施例的目的并且不意图限制。如本文中使用的，单数形式“一”、“一个”和“该”意图也包括复数形式，除非上下文另外清楚地指示。将进一步理解的是，当用在这个说明书中时，术语“包含”和/或“包括”指明所述特征、整体、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其它特征、整体、步骤、操作、元件和/或部件的存在或添加。

除非另外限定，本文中使用的所有术语（包括技术和科学术语）具有与由示例的实施例所属于的领域中的一个普通技术人员通常理解的相同的含义。将进一步理解的是，术语（诸如通常使用的字典中限定的那些）应当被理解为具有与在相关领域背景中它们的含义一致的含义并且不应当以理想化的或过度形式化的意义来理解，除非本文中清楚地这样限定。

下面描述的实施例涉及用于通过人类姿势识别对控制元件进行控制的新构思。

图1示出了器件100，器件100具有用于确定关于人类物体或人类物体的部分（诸如例如手/手指姿势）的三维距离信息的单元102。单元102包括向人类物体发射光的发射器104和基于由物体反射的光行进的距离来获取关于人类物体的三维距离信息的接收器106。在其它实施例中，单元102可以使用其它3D照相机原理来获取关于物体的3D信息。

器件100包括计算和控制单元108，计算和控制单元108可以是基于硬件的、基于软件/固件的或其混合。计算单元108从单元102接收三维信息并确定人类物体的部分和参照物之间的距离。参照物可以例如包括显示器110的表面或其它适当的表面或平面或者其它参考方位。在一个实施例中，计算单元108可以识别人类身体的特定部分，例如由用户执行的姿势。在一个实施例中，人类身体的特定部分可以是一个或多个手指、手或由手指和手执行的姿势等。基于识别的人类身体部分，控制单元确定指示相对于参照物的距离的第一信息。如下面将被概述的，确定的第一信息将被用于设置或修改人类身体部分的姿势移动和由姿势移动引起的控制参数的改变之间的转换关系。

图2示出了根据一个实施例的流程图200。在202中确定指示人类身体部分和参照物之间的距离的第一信息。然后，基于第一信息，确定指示人类身体部分的姿势移动和由姿势移动引起的控制参数的改变之间的转换关系的第二信息，见204。在206，基于人类身体和参照物之间的距离的改变来动态修改转换关系。

控制元件可以与在显示器上指示控制参数设定的当前值的视觉信息一起被显示在显示器110上。

在实施例中，在修改转换关系期间，控制元件的尺寸维持不变。在另一个实施例中，当转换关系被修改时，诸如例如通过相对于当前参数值设定的环境进行聚焦或散焦，用于在显示器上指示参数的当前值的标度可以改变。

在显示器110上显示的控制元件可以由人类身体部分的姿势移动来控制并且转换关系是姿势移动的每个移动单位的控制参数改变（按相对或绝对单位）的指示。

姿势移动距离可以是在由视觉信息（例如由显示的控制元件）预定的方向上身体部分的移动距离。

在一些实施例中，修改可以依赖于一定的姿势是否被执行。因此，仅当特定的姿势由用户用身体部分执行并且由器件100识别时，执行转换关系的修改。

在一些实施例中，器件100可以不仅在动态适配模式中是可操作的而且可以引起到姿势识别控制模式的切换，在动态适配模式中根据距离改变姿势转换关系，在姿势识别控制模式中维持转换关系而与人类身体部分和参照物之间的距离无关。

在一些实施例中，可以随人类身体部分和参照物之间的距离而线性修改转换关系。然而，可以提供其它非线性关系（诸如对数或指数修改）或线性和非线性修改的组合。

图3示出了控制元件的示例，控制元件包括用于控制的滑块300。虽然可以关于作为控制元件的滑块来解释实施例，但是要理解的是，其它实施例可以包含其它类型的控制元件诸如枢转控制元件或其它。另外，虽然可以关于可以长久地或当需要或启动控制改变或控制适配时显示在显示器（诸如屏幕）上的虚拟控制元件来解释实施例，但是要理解的是其它实施例可以使用其它控制元件，包括固定的控制元件或长久地显示的控制元件。图3中示出的滑块300可以是人机界面（MMI）的典型元件。通过在虚拟滑动元件的两端位置（xmin和xmax）之间移动虚拟滑动元件，相应地调节有关的参数值（x）。图1中示出的调节滑块的示例可以是用于控制扬声器音量的音量控制元件。

在3D姿势用户界面中，虚拟滑块可以由特定的手指/手的姿势来移动，其中滑块跟随手指移动。例如，向上移动手/手指使滑块向上移动，反之亦然。

在一些实施方式中，实际上代表参数（x）的滑块根据比例关系（k）跟随手/手指位置（pos）。

delta_x = k . delta_pos。

例如，移动手/手指达delta_pos=1cm引起滑块移动delta_x=2mmk = 0.2。

手/手指移动和引起的参数改变之间的比例关系（k）可以根据手/手指和滑块被显示的屏幕之间的距离（d）来适配。

k = f(d)。

短距离导致仅使用小的手/手指移动的参数值的直接粗级改变（高k值）。长距离导致使用宽的小的手/手指移动的参数值的间接细微改变（低k值）。

相同的原理不仅可以适用于线性一维滑动元件而且适用于二维滑动区域，在二维滑动区域中滑块放置在代表两个参数值（例如x和y轴）的区域中。

然后第一控制参数可以由在第一方向上的姿势移动来控制并且第二控制参数可以由在不同于第一方向的第二方向上的姿势移动来控制。类似于一维实施例，对应于第一控制参数的第一变换关系基于确定的手/手指距离来确定并且对应于第二控制参数的第二变换关系基于确定的手/手指距离来确定。

在控制界面的环境没有改变的情况下或通过必须物理地触摸控制元件，因此使用户能够通过移动得距参照物更近或更远离而独立地主动改变姿势转换关系。

因此，通过考虑到参照物（例如屏幕或其它参考平面或表面或参考点）和手/手指之间的距离，由虚拟滑块代表的参数值的粗级调节和细微调节两者都以自然的方式被使能，如图4中所示。

通常，参照物可以是预定的方位或平面（诸如例如器件的显示器上的预定位置或器件的表面）。因此，距离信息可以包括身体部分相对于这个方位的相对距离或人类身体部分相对于平面的相对距离，即检测到的人类身体部分相对于平面的最小距离（其是从平面到人类身体的法向量的距离）。

根据以上变得清楚的是，描述的新姿势识别控制提供了比常规控制更容易、更快速和更可靠的对控制参数的控制，从而允许用更少的时间更细微地调节设定。

在上面的描述中，已在本文中示出并描述了实施例，使本领域技术人员能够以足够的细节来实践本文中公开的教导。可以利用并且从此导出其它实施例，使得在不脱离本公开的范围的情况下可以做出结构和逻辑的替代和改变。

因此，这个详细描述不以限制的意义理解，并且各个实施例的范围仅由所附的权利要求以及这样的权利要求被赋予的等价物的全部范围限定。

本发明主题的这些实施例在本文中可以单独地和/或共同地被术语“发明”指代，这仅为了方便而不意图自愿将本申请的范围限制到任何单个发明或发明构思，如果多于一个被实际公开。因此，虽然本文中已图示并描述了具体实施例，但是应当了解的是，为达到相同目的而设想的任何布置可以代替示出的具体实施例。本公开意图覆盖各个实施例的任何和所有适配或变化。通过审查上面的描述，上面实施例的组合和未明确在本文中描述的其它实施例对于本领域技术人员来说将是显而易见的。

进一步要注意的是，在本描述和权利要求书中使用的特定术语可以以非常广泛的意义来理解。例如，本文中使用的术语“电路”或“电路系统”要以不仅包括硬件而且包括软件、固件或其任意组合的意义来理解。术语“数据”可以理解为包括任何形式的表示诸如模拟信号表示、数字信号表示、到载波信号上的调制等。术语“信息”除了任何形式的数字信息还可以包括其它形式的代表信息。术语“实体”或“单元”在实施例中可以包括任何器件、设备电路、硬件、软件、固件、芯片或其它半导体以及协议层的逻辑单元或物理实施方式等。另外，术语“耦合”或“连接”可以以广泛的意义来理解，不仅覆盖直接耦合而且覆盖间接耦合。

进一步要注意的是，与特定实体结合描述的实施例除了在这些实体中的实施方式还可以包括在所述描述的实体的一个或多个子实体或子部中的一个或多个实施方式。例如，本文中描述的要被实施在发射器、接收器或收发器中的具体实施例可以被实施在子实体（诸如在这样的实体中提供的芯片或电路）中。

形成本文部分的附图通过图示且非限制的方式示出了在其中可以实施主题的具体实施例。

在前面的详细描述中，可以看见的是，为了组织本公开的目的，将各个特征一起聚集在单个实施例中。公开的这个方法不理解为反映了以下意图：要求保护的实施例比在每个权利要求中清楚叙述的需要更多的特征。更确切地，如所附的权利要求反映的，发明主题在于单个公开的实施例的不到所有特征。因此，所附的权利要求由此被合并到详细描述中，其中每个权利要求可以独立地作为单独的实施例。虽然每个权利要求可以独立地作为单独的实施例，但要注意的是-虽然从属权利要求在权利要求中可以涉及与一个或多个其它权利要求的特定组合-其它实施例也可以包括从属权利要求与每个其它从属权利要求的主题的组合。本文中提出这样的组合，除非说明了不意图特定的组合。另外，意图还将权利要求的特征包括到任何其它独立权利要求中，即使这个权利要求不直接从属于该独立权利要求。

另外，在这个详细描述中还意图以反向或互换的方式包括一个或多个描述的特征、元件等，除非另外注明。

进一步要注意的是，说明书中或权利要求中公开的方法可以由具有用于执行这些方法的每个相应步骤的装置的器件来实施。

另外，要理解的是，在说明书或权利要求中公开的多个步骤或功能的公开不可以解释为在特定的顺序内。因此，多个步骤或功能的公开将不把这些限制到特定的顺序，除非由于技术原因这些步骤或功能是不可互换的。

另外，在一些实施例中，单个步骤可以包括或可以拆散成多个子步骤。这样的子步骤可以被包括并且可以是这个单个步骤的公开的部分，除非明确地排除。

Claims (26)

1.一种用于对控制元件的至少一个控制参数进行控制的方法，所述方法包括：

确定指示人类身体部分和参照物之间的距离的第一信息；

基于第一信息，确定指示人类身体部分的姿势移动和由姿势移动引起的所述至少一个控制参数的改变之间的转换关系的第二信息；

基于人类身体和所述参照物之间的距离的改变，修改所述转换关系；

在显示器上显示控制元件；以及

在显示器上显示指示所述至少一个控制参数设定的当前值的视觉信息，其中当所述转换关系被修改时，用于在显示器上指示所述至少一个控制参数的当前值的标度改变。

2.根据权利要求1所述的方法，其中当所述转换关系被修改时，控制元件的尺寸维持不变。

3.根据权利要求2所述的方法，其中控制元件由人类身体部分的姿势移动来控制，并且其中所述转换关系指示每单位姿势移动距离的控制参数的改变。

4.根据权利要求3所述的方法，其中所述姿势移动距离是在由显示的控制元件预定的方向上身体部分的移动距离。

5.根据权利要求1所述的方法，其中所述控制元件是滑块。

6.根据权利要求1所述的方法，其中所述控制元件是枢转元件。

7.根据权利要求1所述的方法，进一步包括：

通过在第一方向上的姿势移动来控制第一控制参数；以及

通过在不同于第一方向的第二方向上的姿势移动来控制第二控制参数；

基于所述距离确定对应于第一控制参数的第一变换关系，和

基于所述距离确定对应于第二控制参数的第二变换关系。

8.根据权利要求1所述的方法，其中基于人类身体部分和参照物之间的距离的改变来连续修改所述转换关系。

9.根据权利要求1所述的方法，其中随人类身体部分和参照物之间的距离线性地修改所述转换关系。

10.根据权利要求1所述的方法，进一步包括：

基于三维中的距离信息来识别身体部分。

11.根据权利要求1所述的方法，进一步包括：

识别由用户用身体部分执行的姿势，其中仅当预定的姿势被识别时执行确定第一信息、确定第二信息和修改所述转换关系。

12.根据权利要求1所述的方法，进一步包括：

切换到姿势识别控制模式，在姿势识别控制模式中维持变换关系而与人类身体部分和所述参照物之间的距离无关。

13.根据权利要求1所述的方法，其中所述转换关系被修改为当所述人类身体部分和所述参照物之间的距离减小时获取姿势移动对控制参数值的较粗级调节，并且所述转换关系被修改为当所述人类身体部分和所述参照物之间的距离增大时获取姿势移动对控制参数值的较细微调节。

14.一种用于对控制元件的至少一个控制参数进行控制的器件，包括：

单元，配置为确定指示人类身体部分和参照物之间的距离的第一信息；

电路，配置为基于第一信息来确定指示人类身体部分的姿势移动和由所述姿势移动引起的控制参数的改变之间的转换关系的第二信息，其中所述电路被配置为基于人类身体和所述参照物之间的距离的改变来修改所述转换关系；

显示器，配置为在显示器上显示控制元件以及指示所述控制参数的当前值的信息；

所述器件被配置为当所述转换关系被修改时改变用于在显示器上指示控制参数的当前值的标度。

15.根据权利要求14所述的器件，其中当所述转换关系被修改时，控制元件的尺寸维持不变。

16.根据权利要求14所述的器件，其中所述器件被配置为由人类身体部分的姿势移动来控制所述控制元件，并且其中所述电路被配置为提供指示每单位姿势移动距离的控制参数的改变的所述转换关系。

17.根据权利要求16所述的器件，其中所述器件被配置为在显示器上指示预定的方向，其中所述姿势移动距离是在所述预定的方向上身体部分的移动距离。

18.根据权利要求14所述的器件，其中所述控制元件是滑块。

19.根据权利要求14所述的器件，其中所述控制元件是枢转元件。

20.根据权利要求14所述的器件，其中所述器件被配置为通过在第一方向上的姿势移动来控制第一控制参数和通过在不同于第一方向的第二方向上的姿势移动来控制第二控制参数，其中所述器件被进一步配置为基于所述距离确定对应于第一控制参数的第一变换关系和基于所述距离确定对应于第二控制参数的第二变换关系。

21.根据权利要求14所述的器件，其中所述器件被配置为基于人类身体部分和参照物之间的距离的改变来连续修改所述转换关系。

22.根据权利要求14所述的器件，其中所述器件被配置为随人类身体部分和参照物之间的距离线性地修改所述转换关系。

23.根据权利要求14所述的器件，其中所述器件被进一步配置为基于三维中的距离信息识别身体部分。

24.根据权利要求14所述的器件，其中所述器件被配置为识别由用户用身体部分执行的姿势，以便仅当预定的姿势被识别时修改所述转换关系。

25.根据权利要求14所述的器件，进一步包括切换到姿势识别控制模式，在姿势识别控制模式中维持变换关系而与所述人类身体部分和所述参照物之间的距离无关。

26.根据权利要求14所述的器件，其中所述器件被配置为修改所述转换关系，使得当所述人类身体部分和所述参照物之间的距离减小时获取姿势移动对控制参数值的较粗级调节并且使得当所述人类身体部分和所述参照物之间的距离增大时获取姿势移动对控制参数值的较细微调节。