CN104364735A - 汽车用户界面的徒手手势控制 - Google Patents

汽车用户界面的徒手手势控制 Download PDF

Info

Publication number
CN104364735A
CN104364735A CN201380031140.9A CN201380031140A CN104364735A CN 104364735 A CN104364735 A CN 104364735A CN 201380031140 A CN201380031140 A CN 201380031140A CN 104364735 A CN104364735 A CN 104364735A
Authority
CN
China
Prior art keywords
hand
gesture
image
receiving space
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380031140.9A
Other languages
English (en)
Other versions
CN104364735B (zh
Inventor
汪孔桥
L·卡凯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN104364735A publication Critical patent/CN104364735A/zh
Application granted granted Critical
Publication of CN104364735B publication Critical patent/CN104364735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

描述一种徒手手势控制用户界面。界面系统的部件可以包括立体视觉相机或者多个相机、控制单元、投影仪和投影表面。在汽车应用中,投影表面可以是在车辆中的风档玻璃或者装配的屏幕。相机与在控制单元中的软件模块一起定义手势接受边界和手势接受空间,手部手势可以在该手势接受空间内被成像、被定义用于各种控制动作和被执行。在手势接受空间的切片中分析手部图像以确定手部定向(张开或者闭合)和/或运动。

Description

汽车用户界面的徒手手势控制
技术领域
本发明的一个示例实施例涉及计算机化机器的自动化用户界面控制领域并且具体地涉及以对车辆中的汽车操作者产生的徒手控制信号的感测为基础的立体视觉。
背景技术
已经有对开发对控制命令的徒手指示符做出响应的机器的初步尝试。某些尝试已经使用图像结构方法或者统计学习用于用户界面(UI)控制来解决在一个或者多个相机的视野中的局部化手部控制区段。一些如通过在某个类型的传感器(例如光电传感器或者红外线(IR)传感器)前面挥手的“开/关”控制一样简单。其它方法涉及到在相机系统设置所规定的区段中定义空间,其中仅在定义的区段内的手部手势被交互系统接受。然而这些系统规定三维控制区域,并且用户需要在控制区域内做手势,这可能对于用户而言未必方便。这些系统也可能在具体地与汽车UI结合高效地定义和识别与用户的偏好相配的手势以及避免在手势交互中的偶然手势方面而受到挑战。
发明内容
本发明的一个示例实施例是一种用于交互手势控制的方法,该方法包括定义从成像设备的距离作为手势接受边界,定义超出手势接受边界的手势接受空间,训练手势控制的系统以识别用户在手势接受空间内的手部定位和移动,以及将训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能关联。该方法还可以包括执行与用户的手部定位或者移动关联的控制命令或者功能。该方法可以包括提供控制器以及向所述控制器提供用于执行手势识别的计算机程序指令。为了交互性,该方法还可以包括提供用于交互控制的显示设备。为了确定成像的手势,该方法还可以包括将手势接受空间分割成用于图像的分析的切片(slice),计算在手部图像轮廓上的多个采样点中的每个采样点与在图像上的中心点之间的距离,从多个距离计算均值距离,以及计算多个均值距离的均值方差。有了该数据,该方法还可以包括将一个图像的计算的均值方差与第二图像的计算的均值方差进行比较以区分张开手部的图像与闭合的拳头的图像并且向相应张开和闭合的手部手势指派控制功能。对于移动手势,该方法还可以包括使得与手势接受边界接近的张开手部的图像的计算的均值方差和向手势接受空间中延伸的张开手部的图像的计算的均值方差被存储,以及通过在手部移动经过手势接受空间时比较张开手部的分割的切片的相对均值方差来确定所述手部分别朝着和背离图像设备的移动。最后,该方法可以包括向手部朝着成像设备的移动指派显示功能和向手部背离成像设备的移动指派不同显示功能。
另一实施例是一种装置,该装置包括至少一个处理器和具有在其中存储的计算机程序指令的至少一个存储器,而至少一个存储器和计算机指令与至少一个处理器使该装置至少定义从成像设备的距离作为手势接受边界,定义超出手势接受边界的手势接受空间,训练手势控制的系统以识别用户在手势接受空间内的手部定位和移动,以及将训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能关联。该至少一个存储器和计算机指令与该至少一个处理器可以使该装置执行与用户的手部定位或者移动关联的控制命令或者功能。该至少一个存储器和计算机指令与该至少一个处理器还可以使该装置将手势接受空间分割成用于图像的分析的切片,计算在手部图像轮廓上的多个采样点中的每个采样点与在图像上的中心点之间的距离,从多个距离计算均值距离,以及计算多个均值距离的均值方差。该至少一个存储器和计算机指令与该至少一个处理器还可以使该装置存储与手势接受边界接近的张开手部的图像的计算的均值方差和向手势接受空间中延伸的张开手部的图像的计算的均值方差,以及通过在手部移动经过手势接受空间时比较张开手部的分割的切片的相对均值方差来确定所述手部分别朝着和背离图像设备的移动。该至少一个存储器和该至少一个存储器与该至少一个处理器也可以被使得向手部朝着成像设备的移动指派显示功能和向手部背离成像设备的移动指派不同显示功能。
在另一实施例中,提供一种计算机程序产品,该计算机程序产品包括非瞬态计算机可读介质,非瞬态计算机可读介质具有在其中存储的计算机指令而所述指令在被执行时使得装置定义从成像设备的距离作为手势接受边界,定义超出手势接受边界的手势接受空间,训练手势控制的系统以识别用户在手势接受空间内的手部定位和移动,将训练的手部定位或者移动中的每个手部定位或者移动与待执行的控制命令或者功能关联,以及将训练的手部定位和移动中的每个手部定位或移动与控制命令或者功能关联。计算机程序产品指令在被执行时也可以使该装置执行与用户的手部定位或者移动关联的控制命令或者功能。计算机程序产品指令在被执行时还可以使手部控制的系统将手势接受空间分割成用于图像的分析的切片,计算在手部图像轮廓上的多个采样点中的每个采样点与在图像上的中心点之间的距离,从多个距离计算均值距离,以及计算多个均值距离的均值方差。计算机程序产品在由处理器执行时还可以使该装置存储与手势接受边界接近的张开手部的图像的计算的均值方差和向手势接受空间中延伸的张开手部的图像的计算的均值方差,以及通过在手部移动经过手势接受空间时比较张开手部的分割的切片的相对均值方差来确定所述手部分别朝着和背离图像设备的移动。计算机程序产品可以向手部朝着成像设备的移动指派显示功能和向手部背离成像设备的移动指派不同显示功能。
在又一实施例中,提供一种装置,该装置包括用于定义从成像设备的距离作为手势接受边界的装置、比如成像设备、处理器或者计算机程序产品,用于定义超出手势接受边界的手势接受空间的装置、比如成像设备或者处理器,用于训练手势控制的系统以识别用户在手势接受空间内的手部定位和移动的装置、比如成像设备、显示器或者处理器,以及用于将训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能关联的装置、比如处理器或者计算机程序产品。
附图说明
已经这样用一般措词描述本发明的某些实施例,现在将参照附图,附图未必按比例绘制,并且在附图中:
图1是可以根据一个示例实施例配置的系统的部件的示意表示。
图2是根据本发明的一个实施例训练的系统的配置的示意图。
图3是本发明的一个示例实施例的操作的一个方面的示意表示。
图4是本发明的一个示例实施例的操作的示意表示。
图5是本发明的一个示例实施例感测的图像的图示。
图6是在本发明的一个示例实施例中使用的计算点的图示。
图7是用于在本发明的一个示例实施例中使用的命令运动的示例。
图8是用于在本发明的一个示例实施例中使用的命令运动的第二示例。
图9是根据本发明的一个示例实施例的方法的流程图。
具体实施方式
现在下文将参照附图更完全地描述本发明,在附图中示出本发明的一些、但是并非所有实施例。实际上,这些发明可以用许多不同形式来体现而不应被解释为限于这里阐述的实施例;实际上,提供这些实施例使得本公开内容将满足适用法律要求。相似标号全篇指代相似要素。
如在本申请中所用,术语“电路装置”指代所有以下各项:(a)仅硬件的电路实现方式(比如在仅模拟和/或数字电路装置中的实现方式)和(b)电路与软件(和/或固件)的组合,比如(如适用的那样):(i)处理器的组合或者(ii)处理器/软件(包括数字信号处理器)、软件和存储器的部分,这些部分一起工作以使装置、比如移动电话或者服务器执行各种功能;以及(c)电路、比如微处理器或者微处理器的部分,这些电路需要软件或者固件用于操作、即使该软件或者固件未在物理上存在。
“电路装置”的这一定义适用于这一术语在本申请中、包括在任何权利要求中的所有使用。作为又一示例,如在本申请中所用,术语“电路装置”也将覆盖仅一个处理器(或者多个处理器)或者处理器的部分及其附带软件和/或固件的实现方式。术语“电路装置”也将例如和如果适用于特定权利要求要素则覆盖用于移动电话的基带集成电路或者专用集成电路或者在服务器、蜂窝网络设备或者其它网络设备中的相似集成电路。
在一个示例实施例中,公开一种用于用户界面、比如汽车用户界面的相机手势控制系统。用户可以定义他/她可以方便地和舒适地到达的手势接受空间。虽然可以在各种实施例中使用手势控制系统,但是本描述将出于示例的目的而非限制来聚焦于汽车使用。手势控制是一种实现对投影的图像的徒手手势操作的自然车内交互解决方案。例如导航地图可以经由连接的微投影仪从控制设备被投影到风档玻璃上,并且地图可以使用手部手势显示控制来操纵。
参照图1(未按比例图示),一个实施例的手势控制系统的部件包括控制单元100和立体(双透镜)相机102用于检测和跟踪操作者在相机前面的手部移动,从而软件(SW)部件可以将手部移动解释成UI命令。备选地,赋予图像中的深度感知的任何光学设备或者设备组合可以取代立体视觉相机102。这样的设备的示例将是多个单成像相机和一个或者多个电荷耦合光学设备。
微投影仪104向任何表面投影交互图像。在汽车使用中,图像可以被投影到风档玻璃内表面上。备选地,更小屏幕106可以被装配于仪表板水平面上或者以下或者从上方被悬置以反射投影的图像。也备选地,显示设备、比如数字显示器可以提供控制系统的可视方面。徒手手势识别软件程序驻留在控制单元中或者以别的方式可由控制单元访问以将手部移动转换成UI命令、存储它们、然后在用户执行存储的手部移动时识别它们。
控制器100包括至少一个处理器110和包含计算机程序指令的至少一个存储器120,这些计算机程序指令一般被组织成用于使处理器110执行系统中的命令控制和图像分析任务的模块。控制器100可以例如包括可配置为根据这里描述的一个示例实施例执行动作的处理电路装置。处理电路装置可以被配置为根据本发明的一个示例实施例执行数据处理、应用执行和/或其它处理和管理服务。在一些实施例中,处理电路装置可以被体现为芯片或者芯片组。换而言之,处理电路装置可以包括一个或者多个物理封装(例如芯片),该一个或者多个物理封装包括在结构组件(例如基板)上的材料、部件和/或接线。结构组件可以为在其上包括的部件电路装置提供物理强度、尺寸节约和/或电互作用限制。处理电路装置因此可以在一些情况下被配置为在单个芯片上或者作为单个“片上系统”实施本发明的一个实施例。这样,在一些情况下,芯片或者芯片组可以构成用于执行一个或者多个提供这里描述的功能的操作的装置。
在一个示例实施例中,处理电路装置可以包括至少一个处理器110和至少一个存储器120。这样,可以体现处理电路装置为(例如用硬件、软件或者硬件与软件的组合)配置为执行这里描述的操作的电路芯片(例如集成电路芯片)。
在一个示例实施例中,存储器120可以包括可以固定或者可去除的一个或者多个非瞬态存储器设备、如比如易失性和/或非易失性存储器。存储器可以被配置为存储用于使控制器100能够根据本发明的示例实施例执行各种功能的信息、数据、应用、指令等。例如存储器可以被配置为缓存用于由处理器处理的输入数据。附加地或者备选地,存储器可以被配置为存储用于由处理器执行的指令。例如存储器可以存储如这里讨论的手势设置SW模块。作为更多另一备选,存储器可以包括可以存储多种文件、内容或者数据集的多个数据库之一。例如存储器可以存储比如与相应手势关联的UE命令。在存储器的内容之中,可以存储应用用于由处理器执行以便实现与每个相应应用关联的功能。在一些情况下,存储器可以经由用于在该装置的部件之间传递信息的总线与处理器通信。
可以用多种不同方式体现处理器110。例如可以体现处理器为各种处理装置、比如微处理器或者其它处理单元、协同处理器、控制器或者各种其它计算或者处理设备、包括集成电路、如比如ASIC(专用集成电路)、FPGA(现场可编程门阵列)等中的一项或者多项。在一个示例实施例中,处理器可以被配置为执行在存储器28中存储的或者以别的方式可由处理器存取的指令。这样,无论是通过硬件还是硬件与软件的组合来配置,处理器可以代表能够在被相应地配置之时根据本发明的一个实施例执行操作的(例如在电路装置中以处理电路装置的形式物理地体现的)实体。因此例如在体现处理器为ASIC、FPGA等时,处理器可以是用于进行这里描述的操作的具体地配置的硬件。备选地,作为另一示例,在体现处理器为软件指令的执行器时,指令可以具体地配置处理器以执行这里描述的操作。
控制器100可以经由用数字数据信号调制的射频载波与其它系统部件(相机102、投影仪104或者显示设备)通信的无线设备。备选地,系统可以被用于在部件之间的直接有线通信的线缆所连接。
参照图2,手势设置SW模块可以帮助用户基于他的/她的手臂202的长度方便地设置手势接受空间。例如用户206坐在汽车中的驾驶座上并且舒适地伸出右臂或者左臂202。用户206选择相机视野深度(d)直至他的/她的手部202可以在投影的屏幕106上被完全地示出,这意味着他的/她的手部可以在选择的相机视野深度从图像层被完全地分割。对应深度(d)被记录在用于设置手势接受边界204和手势接受空间210的控制器中。例如深度d可以定义手势接受空间的一个边界、也就是从用户最远离的边界。手势接受边界204并且因此手势接受空间可以基于深度d来定义、比如通过被定义为如在朝着用户的方向上测量的从深度d的预定义距离或者间距。
参照图3,立体相机检测在相机视野中的深度,从而系统可以仅在手部手势在用户在相机102前面建立的手势接受空间210中被执行时接受手部手势作为UI控制。相机手势系统可以恰如计算机断层摄影(CT)扫描的切片那样基于深度将相机视图空间切割成不同切片302。手势设置模块将在与给定的深度对应的屏幕上显示切片分割(在图3中对于第i个分割切片为di)。
超出用户借助手势设置模块定义的手势接受空间210,系统包括由处理器和存储器实施的一种用于检测在分割切片302上的手部手势并且定义手势向UI命令的转换的方法。定义关联功能的手部手势的示例可以包括:
-手掌移动:投影的屏幕鼠标(光标)移动
-拳头移动:拖动、轻弹或者滑动(快速手部移动)
-抓握手势(手掌->拳头->手掌):选择、确认
-摇动手掌:返回、移开或者删除
-朝着或者背离相机移动手掌:缩放
设置了这一类型的手势,可以执行对用户界面的所有操作。
立体相机102的视野被手势接受边界204(图2)划分成手势接受空间210和手势拒绝空间,该手势接受边界是如下弯曲假想表面,在该弯曲假想表面上,每点具有到相机的与到源相同的距离d(d可以根据实际情形情况来调整)。手势接受空间210是从相机102比d更远的空间,而从相机比d更少的更近空间是手势拒绝空间。手势接受空间210让它的最远范围在用户的手臂202的最远到达。
参照图4,呈现手势检测过程的图示。用户206延伸手部202穿过手势接受边界204进入手势接受空间210中。相机捕获在手势接受空间内的多切片图像。手部然后位于在手势接受空间中的一个或者若干邻近图像切片中。也就是说,手部被在手势接受空间(GAS)210内的切片302分割。通过使用相机深度测量和定义手势接受边界204,在手势接受空间210内的手部区段被完全地分割和分析用于手势识别。用户206可以选择在汽车内的空置空间作为手势执行空间,从而只有手部存在于分割切片302中。容易检测到手部,因为它是在分割切片302中的唯一对象。
在模块中构造控制软件,这些模块在由控制器、例如处理器执行时执行为了训练手势控制的UI而必需的功能。为了执行手势检测,系统必须首先被配置为建立手势接受边界204和手势接受空间210。在手势接受边界模块中,相机视图基于深度而被分割成不同切片。在用户伸出他的/她的胳膊并且在相机视野中示出手部时,在SW模块中的图像分割软件基于深度方差将立体图像分割成各种图像切片(二进制图像)并且在屏幕上示出图像切片,从而用户可以看见手部是否可以被分割。用户可以手动地调整深度以便看见哪些图像切片包括全手直至选择恰当的深度。同时,在手势接受边界的图像切片以及在手部可以在手势接受空间内到达的最远距离的图像切片中存在用于手部的手部尺寸注册(registration)。这些索引点辅助检测朝着和背离相机的手部移动。
参照图5,在立体相机视图空间中示出手掌或者拳头时,对应手掌或者拳头区段被手部区段分割SW模块从在手势接受空间内的一个或者若干邻近切片分割。给定图像切片502,如果在图像切片中有对象,则软件模块从切片选择最大对象。如果对象的尺寸参照在手势系统中配准的手部尺寸而为适合,则手部区段被确认。在邻近切片中,通常如果那儿有手部则相同手部对象也应当能够被检测到。这是基于如下假设:如果手部可以到达的手势接受空间足够空,则在有在图像切片中检测到的对象时,它是手部区段。对于其中从若干邻近切片切割手掌或者拳头区段的情况,组合来自切片的分割结果以覆盖最终手掌或者拳头区段。
手部手势识别SW模块确定哪个手势在手势接受空间210内出现。基于在手势接受空间210内的图像切片中的确认的手部区段,模块基于手部区段的平均偏差的计算来确定手部形状并且基于手部形状和/或手部区段的移动来给予手势确定。参照图6,手部形状(手掌或者拳头)可以由手部区段的重心602(中心点)和从手部轮廓选择的有关采样点606(x1、x2、x3、…、xn)确定。确定步骤是:
1)计算在每个采样轮廓点与重心之间的距离Di=distance(xi,c),i=1、2、3、…n;
2)计算平均距离
3)计算均值方差
从图6中的手掌和拳头图像可以清楚地看见对于手掌从采样轮廓点606到中心点602的距离呈现比对于拳头的距离更大的方差。手掌区段的均值距离方差比拳头区段的均值距离方差大得多。因此,按照均值方差,可以确定在分割切片上的手部区段是否为手掌或者拳头。
立体相机可以实时跟踪驾驶员的手部移动和确定手部在相机视野中的深度。也可以恰当地调整立体相机的焦距,从而手部可以在手势接受空间中被清楚地看见而在手势拒绝空间中被模糊。也可以用光感测技术实施相似功能。
在相机监视到驾驶员的手部从手势接受空间经过手势接受边界移向手势拒绝空间或者相反时,投影的UI向驾驶员给予提醒或者警告,从而驾驶员知道他的/她的手势生效。仅在手势接受空间内做出的手势是可接受的。
一旦在手势接受空间中检测到手部,集成的手部手势识别SW模块操作用于检测手部执行的任何可能手势并且将它们解释成用于基于在多个手势中的每个手势与相应UI命令之间的预定义的关系控制投影的UI的UI命令。集成的徒手手势识别SW模块提供驾驶员在手势接受空间中的手部移动的正确判断并且能够识别手部正在执行什么种类的手势。如果手势/控制功能关联不存在,则系统可以被训练为至少识别最少手势并且用处理器通过界面和投影的显示来关联某些手势与用于控制UI的命令功能。
在本例中,定义为待识别的手势至少包括以下手势。参照图7,检测手掌和拳头这两个基本手部形状。在张开手掌与拳头之间交替并且回到张开手掌建立可以被解释为确认或者选择命令的抓握手势。
参照图8,在本例中,跟踪手部移动用于控制在投影的屏幕106上的鼠标(或者光标)。朝着或者背离相机移动手掌被检测为用于缩放命令的手势。在这一情况下,手掌尺寸是用于手势确定的主要参数。当手部正在移动之际手掌尺寸连续地变得更大时,缩小命令可以是结果。反言之,当在手部正在移动之际手掌尺寸连续地变得更小时,放大命令可以是结果。基于以手势为基础而标识的UI命令,控制器、例如处理器可以控制UI、比如与控制器关联的显示器提供的UI,以便实施UI命令。
图9是图示根据本发明的一个实施例的由方法、装置和计算机程序产品、比如图1的控制器100执行的操作的流程图。将理解流程图的每个块和在流程图中的块组合可以由各种装置、比如与包括一个或者多个计算机程序指令的软件的执行相关联的硬件、固件、处理器、电路装置和/或其它设备来实施。例如以上描述的过程中的一个或者多个过程可以由计算机程序指令体现。就这一点而言,体现以上描述的过程的计算机程序指令可以由应用本发明的一个实施例的控制器的非瞬态存储器存储并且由控制器的处理器执行。如将认识的那样,任何这样的计算机程序指令可以向计算机或者其它可编程装置(例如硬件)上加载以产生机器,从而所得计算机或者其它可编程装置提供在流程图的块中指定的功能的实现方式。也可以在非瞬态计算机可读存储装置存储器中存储这些计算机程序指令,该非瞬态计算机可读存储装置存储器可以指引计算机或者其它可编程装置以特定方式工作,从而在计算机可读存储装置存储器中存储的指令产生制造品,对该制造品的执行实施在流程图的块中指定的功能。也可以向计算机或者其它可编程装置上加载计算机程序指令以使系列操作在计算机或者其它可编程装置上被执行以产生计算机实施的过程,从而在计算机或者其它可编程装置上执行的指令提供用于实施在流程图的块中指定的功能的操作。这样,图9的操作在被执行时将计算机或者处理电路装置转换成配置为实现本发明的一个示例实施例的特定机器。相应地,图9的操作定义用于配置计算机或者处理电路装置、例如处理器以执行一个示例实施例的算法。在一些情况下,可以向通用计算机提供处理器的实例,该处理器执行图9的算法以将通用计算机变换成配置为实现一个示例实施例的特定机器。
相应地,流程图的块支持用于执行指定的功能的装置的组合和用于执行指定的功能的操作的组合。也将理解流程图的一个或者多个块以及在流程图中的块组合可以由执行指定的功能的基于专用硬件的计算机系统实施或者由专用硬件与计算机指令的组合实施。
在一些实施例中,可以如以下描述的那样修改或者进一步扩充以上的操作中的某些操作。应当认识以下修改、可选添加或者扩充中的每个修改、可选添加或者扩充可以单独地或者在与在这里描述的特征之中的任何其它特征的组合中与以上的操作包括在一起。
参照图9,示出一种用于徒手手势控制的方法的一个示例实施例。如以上描述的那样,根据在相机前面的用于用户延伸她的手部的舒适距离定义902手势接受边界。然后定义手势接受空间904为用户可以向在相机前面的空间中舒适地延伸手部的最远到达处。在处理相机图像时分割906手势接受空间(GAS)以便在被延伸到GAS中时捕获手部的完整图像。这使得用户能够训练系统908以识别在GAS中的不同手部定位(例如张开手部、闭合的拳头)和手部移动。
系统训练包括计算910在图像外轮廓上的采样点与图像的中心点之间的原始距离(在图像中)。然后算术地处理这些距离以确定在选择的采样点与中心点之间的距离的均值912。可以计算和存储均值距离的均值方差,从而可以比较均值方差。对于做出不同手势(例如张开手部、闭合的拳头)的静止手部,,比较918均值方差以确定手部在GAS中呈现哪个手势。相同方差可以使得有可能确定手部未简单地做手势、但是朝着或者背离在GAS中的相机移动,其中可以在手部在GAS内移动时跟踪916它的尺寸。一旦测量这些手势和移动,它们可以各自与不同命令功能关联920作为用户界面。用户然后可以行使922徒手手势控制。
虽然这里已经参照用于汽车和驾驶员的手势控制的系统描述本发明,但是它不限于该应用。有可以被适配用于运用手势控制的命令系统的许多环境,并且它们都在本发明的范围内。可以结合一个实施例运用与具有适当计算机指令的控制器和显示器组合的成像设备以便实施如电视、多媒体系统、照明系统、液压设备、游戏以及更多不限于此的设备一样繁多的设备和操作的手部手势控制。
从在前文描述和关联附图中呈现的教导中受益的、在这里阐述的本发明涉及的领域中的技术人员将想到这些发明的许多修改和其它实施例。因此将理解本发明将不限于公开的具体实施例并且修改和其它实施例旨在于被包含在所附权利要求的范围内。虽然这里运用具体术语,但是仅在通用和描述意义上而并非出于限制的目的来使用它们。

Claims (24)

1.一种方法,包括:
定义距成像设备的距离作为手势接受边界;
定义超出所述手势接受边界的手势接受空间;
训练手势控制的系统以识别用户在所述手势接受空间内的手部定位和移动;以及
用处理器将所述训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能相关联。
2.根据权利要求1所述的方法,还包括:
执行与所述用户的手部定位或者移动关联的控制命令或者功能。
3.根据权利要求1所述的方法,还包括:
在手势控制的系统中提供控制器,以及
向所述控制器提供用于执行手势识别的计算机程序指令。
4.根据权利要求1所述的方法,还包括:
在所述手势控制的系统中提供用于交互控制的显示设备。
5.根据权利要求1所述的方法,还包括:
将所述手势接受空间分割成用于图像的分析的切片。
6.根据权利要求5所述的方法,还包括:
计算在手部图像轮廓上的多个采样点中的每个采样点与在所述图像上的中心点之间的距离,
从所述多个距离计算均值距离,以及
计算所述多个距离的均值方差。
7.根据权利要求6所述的方法,还包括:
比较一个图像的所述计算的均值方差与第二图像的所述计算的均值方差以区分张开手部的图像与闭合的拳头的图像并且向相应张开和闭合的手部手势指派控制功能。
8.根据权利要求6所述的方法,还包括:
使得存储与所述手势接受边界接近的张开手部的图像的所述计算的均值方差和向所述手势接受空间中延伸的张开手部的图像的所述计算的均值方差,以及
通过比较所述张开手部的分割的切片在所述手部移动经过所述手势接受空间时的相对均值方差来确定所述手部分别朝着和背离所述图像设备的移动。
9.根据权利要求8所述的方法,还包括:
向所述手部朝着所述成像设备的移动指派显示功能,以及向所述手部背离所述成像设备的移动指派不同显示功能。
10.一种装置,包括:
至少一个处理器和至少一个存储器,所述至少一个存储器具有在其中存储的计算机程序指令,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
定义距成像设备的距离作为手势接受边界;
定义超出所述手势接受边界的手势接受空间;
训练手势控制的系统以识别用户在所述手势接受空间内的手部定位和移动;以及
将所述训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能相关联。
11.根据权利要求10所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
执行与所述用户的手部定位或者移动关联的控制命令或者功能。
12.根据权利要求10所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
将所述手势接受空间分割成用于图像的分析的切片。
13.根据权利要求10所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
计算在手部图像轮廓上的多个采样点中的每个采样点与在所述图像上的中心点之间的距离,
从所述多个距离计算均值距离,以及
计算所述多个距离的均值方差。
14.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
比较一个图像的所述计算的均值方差与第二图像的所述计算的均值方差以区分张开手部的图像与闭合的拳头的图像并且向相应张开和闭合的手部手势指派控制功能。
15.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
使得存储与所述手势接受边界接近的张开手部的图像的所述计算的均值方差和向所述手势接受空间中延伸的张开手部的图像的所述计算的均值方差,以及
通过比较所述张开手部的分割的切片在所述手部移动经过所述手势接受空间时的相对均值方差来确定所述手部分别朝着和背离所述图像设备的移动。
16.根据权利要求13所述的装置,其中所述至少一个存储器和所述计算机指令与所述处理器使所述装置至少:
向所述手部朝着所述成像设备的移动指派显示功能,以及向所述手部背离所述成像设备的移动指派不同显示功能。
17.一种计算机程序产品,包括非瞬态计算机可读介质,所述非瞬态计算机可读介质具有在其中存储的计算机指令,所述指令在被执行时使装置:
定义距成像设备的距离作为手势接受边界;
定义超出所述手势接受边界的手势接受空间;
训练手势控制的系统以识别用户在所述手势接受空间内的手部定位和移动;以及
将所述训练的手部定位或者移动中的每个手部定位或者移动与待执行的控制命令或者功能相关联。
18.根据权利要求17所述的计算机程序产品,所述指令在被执行时使所述装置:
执行与所述用户的手部定位或者移动关联的控制命令或者功能。
19.根据权利要求17所述的计算机程序产品,所述指令在被执行时使所述装置:
将所述手势接受空间分割成用于图像的分析的切片。
20.根据权利要求17所述的计算机程序产品,所述指令在被执行时使所述装置:
计算在手部图像轮廓上的多个采样点中的每个采样点与在所述图像上的中心点之间的距离,
从所述多个距离计算均值距离,以及
计算所述多个距离的均值方差。
21.根据权利要求20所述的计算机程序产品,所述指令在被执行时使所述装置:
比较一个图像的所述计算的均值方差与第二图像的所述计算的均值方差以区分张开手部的图像与闭合的拳头的图像并且向相应张开和闭合的手部手势指派控制功能。
22.根据权利要求20所述的计算机程序产品,所述指令在被执行时使所述装置:
使得存储与所述手势接受边界接近的张开手部的图像的所述计算的均值方差和向所述手势接受空间中延伸的张开手部的图像的所述计算的均值方差,以及
通过比较所述张开手部的分割的切片在所述手部移动经过所述手势接受空间时的相对均值方差来确定所述手部分别朝着和背离所述图像设备的移动。
23.根据权利要求20所述的计算机程序产品,所述指令在被执行时使所述装置:
向所述手部朝着所述成像设备的移动指派显示功能以及,
向所述手部背离所述成像设备的移动指派不同显示功能。
24.一种装置,包括:
用于定义距成像设备的距离作为手势接受边界的装置;
用于定义超出所述手势接受边界的手势接受空间的装置;
用于训练手势控制的系统以识别用户在所述手势接受空间内的手部定位和移动的装置;以及
用于将所述训练的手部定位和移动中的每个手部定位和移动与控制命令或者功能相关联的装置。
CN201380031140.9A 2012-04-13 2013-03-20 汽车用户界面的徒手手势控制 Active CN104364735B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/446,793 US9239624B2 (en) 2012-04-13 2012-04-13 Free hand gesture control of automotive user interface
US13/446,793 2012-04-13
PCT/FI2013/050312 WO2013153264A1 (en) 2012-04-13 2013-03-20 Free hand gesture control of automotive user interface

Publications (2)

Publication Number Publication Date
CN104364735A true CN104364735A (zh) 2015-02-18
CN104364735B CN104364735B (zh) 2017-11-03

Family

ID=49324619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380031140.9A Active CN104364735B (zh) 2012-04-13 2013-03-20 汽车用户界面的徒手手势控制

Country Status (4)

Country Link
US (1) US9239624B2 (zh)
EP (1) EP2836894A4 (zh)
CN (1) CN104364735B (zh)
WO (1) WO2013153264A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750253A (zh) * 2015-03-11 2015-07-01 苏州佳世达电通有限公司 一种供用户进行体感输入的电子装置
CN109703567A (zh) * 2019-01-25 2019-05-03 安徽酷哇机器人有限公司 车辆控制方法
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10126820B1 (en) * 2012-11-29 2018-11-13 Amazon Technologies, Inc. Open and closed hand detection
US20140152538A1 (en) * 2012-11-30 2014-06-05 Plantronics, Inc. View Detection Based Device Operation
DE102013010932B4 (de) * 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US20150116200A1 (en) * 2013-10-25 2015-04-30 Honda Motor Co., Ltd. System and method for gestural control of vehicle systems
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US10222865B2 (en) * 2014-05-27 2019-03-05 Dell Products, Lp System and method for selecting gesture controls based on a location of a device
US9868449B1 (en) * 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
EP2953005A1 (de) * 2014-06-03 2015-12-09 Volkswagen Aktiengesellschaft Anwenderschnittstelle und Verfahren zum Aufrufen eines Editiermodus eines Homescreens
US9646201B1 (en) 2014-06-05 2017-05-09 Leap Motion, Inc. Three dimensional (3D) modeling of a complex control object
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102209354B1 (ko) * 2014-06-20 2021-01-29 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9530219B2 (en) * 2014-07-02 2016-12-27 Covidien Lp System and method for detecting trachea
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
US9710160B2 (en) 2014-10-21 2017-07-18 International Business Machines Corporation Boundless projected interactive virtual desktop
DE102014017179B4 (de) * 2014-11-20 2022-10-06 Audi Ag Verfahren zum Betreiben eines Navigationssystems eines Kraftfahrzeugs mittels einer Bediengeste
CN105069988A (zh) * 2015-07-09 2015-11-18 成都史塔克智能科技有限公司 煤气报警的控制方法及煤气报警装置
EP3482344B1 (en) 2016-07-07 2022-08-31 Harman International Industries, Incorporated Portable personalization
CN108230383B (zh) * 2017-03-29 2021-03-23 北京市商汤科技开发有限公司 手部三维数据确定方法、装置及电子设备
CN118553022B (zh) * 2024-07-29 2024-10-22 杭州锐见智行科技有限公司 一种车辆内手势识别方法、手势控制方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000030023A1 (en) * 1998-11-17 2000-05-25 Holoplex, Inc. Stereo-vision for gesture recognition
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface
US20100302145A1 (en) * 2009-06-01 2010-12-02 Microsoft Corporation Virtual desktop coordinate transformation
US20110041100A1 (en) * 2006-11-09 2011-02-17 Marc Boillot Method and Device for Touchless Signing and Recognition
EP2336868A1 (en) * 2009-12-01 2011-06-22 Samsung Electronics Co., Ltd. User location-based display method and apparatus
US20110154201A1 (en) * 2009-12-22 2011-06-23 Akira Nakanishi Video Reproducing Apparatus and Video Reproducing Method
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
CN102257511A (zh) * 2008-10-30 2011-11-23 诺基亚公司 用于提供自适应姿态分析的方法、装置和计算机程序产品
CN102576259A (zh) * 2009-11-06 2012-07-11 索尼公司 实时手跟踪、姿态分类和界面控制

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
EP1983402A4 (en) 2006-02-03 2013-06-26 Panasonic Corp INPUT DEVICE AND ITS METHOD
WO2008083205A2 (en) 2006-12-29 2008-07-10 Gesturetek, Inc. Manipulation of virtual objects using enhanced interactive system
FR2911983B1 (fr) 2007-01-25 2009-05-29 St Microelectronics Sa Procede de suivi automatique des mouvements de la mains dans une sequence d'images.
JP4609734B2 (ja) * 2007-09-05 2011-01-12 カシオ計算機株式会社 距離測定装置及びこの距離測定装置を備えたプロジェクタ
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
WO2009128064A2 (en) 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8547327B2 (en) 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US20130279756A1 (en) * 2010-12-16 2013-10-24 Ovadya Menadeva Computer vision based hand identification
BR112014005656A2 (pt) * 2011-09-15 2017-03-28 Koninklijke Philips Nv sistema com uma interface de usuário sem contato; software de controle em um meio legível por computador; método para permitir que um usuário controle uma funcionalidade de um sistema através de uma interação sem contato com o sistema; e interface de usuário

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000030023A1 (en) * 1998-11-17 2000-05-25 Holoplex, Inc. Stereo-vision for gesture recognition
WO2002007839A2 (en) * 2000-07-24 2002-01-31 Jestertek, Inc. Video-based image control system
US20110041100A1 (en) * 2006-11-09 2011-02-17 Marc Boillot Method and Device for Touchless Signing and Recognition
US20090183125A1 (en) * 2008-01-14 2009-07-16 Prime Sense Ltd. Three-dimensional user interface
CN102257511A (zh) * 2008-10-30 2011-11-23 诺基亚公司 用于提供自适应姿态分析的方法、装置和计算机程序产品
US20100302145A1 (en) * 2009-06-01 2010-12-02 Microsoft Corporation Virtual desktop coordinate transformation
CN102576259A (zh) * 2009-11-06 2012-07-11 索尼公司 实时手跟踪、姿态分类和界面控制
EP2336868A1 (en) * 2009-12-01 2011-06-22 Samsung Electronics Co., Ltd. User location-based display method and apparatus
US20110154201A1 (en) * 2009-12-22 2011-06-23 Akira Nakanishi Video Reproducing Apparatus and Video Reproducing Method
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHRENIK LAD,SHAIK ALLAUDDIN: "《Real Time Hand Tracking and Gesture 》", 31 December 2011, URL:HTTP://WEB.IIIT.AC.IN/~SHRENIK.LAD/REPORTS/ *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750253A (zh) * 2015-03-11 2015-07-01 苏州佳世达电通有限公司 一种供用户进行体感输入的电子装置
CN104750253B (zh) * 2015-03-11 2018-10-12 苏州佳世达电通有限公司 一种供用户进行体感输入的电子装置
CN109703567A (zh) * 2019-01-25 2019-05-03 安徽酷哇机器人有限公司 车辆控制方法
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP2836894A4 (en) 2015-11-18
US20130271370A1 (en) 2013-10-17
EP2836894A1 (en) 2015-02-18
CN104364735B (zh) 2017-11-03
WO2013153264A1 (en) 2013-10-17
US9239624B2 (en) 2016-01-19

Similar Documents

Publication Publication Date Title
CN104364735A (zh) 汽车用户界面的徒手手势控制
US11720181B2 (en) Cursor mode switching
US8994652B2 (en) Model-based multi-hypothesis target tracker
US20200387745A1 (en) Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features
JP6501501B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
US9858702B2 (en) Device and method for signalling a successful gesture input
CN104641316A (zh) 光标移动设备
CN111695402A (zh) 用于标注3d点云数据中人体姿态的工具和方法
JP2006285370A (ja) ハンドパターンスイッチ装置及びハンドパターン操作方法
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
CN106896913B (zh) 监测3d空间以控制输出单元的系统、方法和车辆
US10368010B2 (en) Image processing system, image processing method, and program
US20170168584A1 (en) Operation screen display device, operation screen display method, and non-temporary recording medium
JP7279975B2 (ja) 2次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
KR101749070B1 (ko) 사용자 인터페이스 평가 장치 및 그 평가 방법
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
CN105759955B (zh) 输入装置
CN103135896A (zh) 定位方法和电子设备
CN102541417A (zh) 虚拟触摸屏系统中跟踪多个对象方法和系统
CN114610155A (zh) 手势控制方法、装置、显示终端及存储介质
CN115220636A (zh) 虚拟操作方法、装置、电子设备及可读存储介质
JP2016157457A (ja) 操作入力装置、操作入力方法及び操作入力プログラム
JP2018073310A (ja) 表示システム、表示プログラム
CN104750253B (zh) 一种供用户进行体感输入的电子装置
Kaliappan et al. Hand Gesture based driver-vehicle interface Framework for automotive In-Vehicle Infotainment system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160119

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant