CN104755308A - 具有手势识别的机动车操作接口 - Google Patents

具有手势识别的机动车操作接口 Download PDF

Info

Publication number
CN104755308A
CN104755308A CN201480002890.8A CN201480002890A CN104755308A CN 104755308 A CN104755308 A CN 104755308A CN 201480002890 A CN201480002890 A CN 201480002890A CN 104755308 A CN104755308 A CN 104755308A
Authority
CN
China
Prior art keywords
gesture
situation
arm
operating
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480002890.8A
Other languages
English (en)
Other versions
CN104755308B (zh
Inventor
M·施利滕鲍尔
M·罗德尔
M·屈纳
L·博雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN104755308A publication Critical patent/CN104755308A/zh
Application granted granted Critical
Publication of CN104755308B publication Critical patent/CN104755308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B60K35/10
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K2360/146

Abstract

本发明涉及一种用于运行机动车操作接口的方法,该操作接口包括摄像机系统(22)和手势识别装置(46)。通过摄像机系统(22)拍摄在机动车内室(12)中以至少一个手臂(28、30、32、34)做手势的人员(14)并且通过手势识别装置(46)基于摄像机系统(22)的图像数据(V)来确定至少一个做手势的手臂(28、30、32、34)的位置和/或运动顺序的描述数据(54、56)并且匹配给操作手势。通过操作接口的可信度测试装置(48)确定至少一个描述人员(14)的打手势情境的情况参数并且决定是否人员(14)究竟执行可能的操作手势还是仅执行不以操作为目的的要忽略的手势。在作出可能的操作手势的决定的情况下对于由手势识别装置(46)识别的操作手势产生控制命令(S)。在作出要忽略的手势的决定的情况下阻止发出控制命令(S)。

Description

具有手势识别的机动车操作接口
技术领域
本发明涉及一种机动车操作接口,人员借助于该操作接口可以通过手势操作机动车中的一个或多个装置,也就是例如信息娱乐系统和/或空调设备。人员可以以至少一个手臂实现手势。手势通过光学方式识别,其方法是通过摄像机系统拍摄所述手势并且随后由识别装置通过分类与多个预定的操作手势中的一个操作手势匹配。
背景技术
所述类型的操作接口例如由DE 103 49 568 A1已知。据此由摄像机系统拍摄机动车中操作人员的手,该摄像机系统在机动车副仪表板上部设置在车辆内室的顶盖中。如果人员将其手保持在副仪表板上并且以手占据预定的位置或者做预定的手部运动,那么这被与摄像机系统耦合的识别装置识别到并且例如向机动车的无线电发出相应的控制命令,使人员能够以其操作手势来调节例如播放音量。
在机动车中手势识别中已经证实为有问题的是,人员经常也出于其他原因将其手保持在副仪表板上的区域中并且在那儿以手做出手势。如果例如驾驶员与另一乘客交谈并且在此将其手臂依靠在副仪表板的扶手上,那么其手同样位于在摄像机系统的检测范围中。如果驾驶员随后以手执行一个不以操作机动车为目的的手势,因为他例如刚刚解释一些事情并且在此做出手势,那么这些原本要忽略的手势也由摄像机系统拍摄并且通过识别系统解读。那么可能的是,在交谈期间改变装置的设置,而驾驶员却无意这样做。
由文献DE 10 2006 037 156 A1描述了一种用于机动车的操作接口,其中借助于在触摸屏(接触灵敏的显示屏)上的操作手势改变图像内容并且在此匹配于手指位置。如此例如可以识别接近的手指并且将这解读为在触摸屏上所面临的操作手势。相应地随后可以放大地示出例如字母或菜单项,从而操作人员随后可以更简单地以手指尖触碰这些。那么在该系统中通过原本要忽略的手势仅可以无意地改变在显示屏上的显示,而不会无意地向装置产生控制命令。该控制命令只有在实际接触触摸屏时才会产生。但是在此不利的是,驾驶员为了在显示屏上点击正确的功能而必须将其视线从交通情况转移,以便能够注视字母或菜单项。
由文献DE 10 2006 009 291 A1已知一种机动车的操作接口,该操作接口具有手势识别装置,其处理3D图像数据。为此前置的摄像机系统具有飞行时间摄像机。为了产生3D图像数据,还可以设有立体摄像机。
发明内容
本发明的任务在于,在机动车中提供健壮的/鲁棒的手势识别,该手势识别对于人员无意在手势识别系统的检测范围中做出手势的情况不产生控制命令。
该任务通过按照权利要求1的方法、按照权利要求14的操作接口和按照权利要求15的机动车解决。本发明有利的改进通过从属权利要求给出。
本发明通过双重手势识别解决该任务。第一手势识别在此基于由现有技术已知的方案,通过摄像机系统拍摄在机动车车辆内室中以至少一个手臂做手势的人员并且通过识别装置评估拍摄的手势。识别装置例如可以包括机动车中央运算装置或信息娱乐系统的程序模块。将“手臂”理解为包括手的肢体,其中做手势可以限于手臂的一部分,例如手或一个或多个手指。
所述分析处理以如下方式进行,根据摄像机系统的图像数据来确定至少一个做手势的手臂的位置和/或运动顺序的描述数据,也就是例如描述手的位置和手指的位置的数据。随后将这些描述数据与多个预定的操作手势中的一个操作手势匹配。也就是例如确定所允许的操作手势中的哪个操作手势与所拍摄的手势是最类似的。该匹配以第一分类的形式实现,例如像借助于隐马尔科夫模型或者其他来自自动识别领域已知的方案所能够实现的那样。
因为该第一识别以未经检测地方式从拍摄的手势的所有图像数据中提取相应的描述数据并且将这些描述数据与操作手势匹配,所以会导致所述的错误识别。通过第一识别并没有检测:操作手势是否也是由该操作人员这样打算的或者例如只是在与其他人员谈话中做手势期间意外做出的,即仅是交流手势。
本发明因此设有更简单的第二识别,该第二识别首先仅仅决定:所述人员究竟是否想要实施可能的操作手势中的一个或者仅是实施了一个并非以操作为目的的、也就是要忽略的手势。该第二识别装置在此称为操作接口的可信度测试装置,因为该第二识别装置确定操作人员想要实施以操作为目的的操作手势究竟是否可信。可信度测试装置同样可以是例如中央运算装置或信息娱乐系统的程序模块。可信度测试装置确定至少一个情况参数,该情况参数描述人员的打手势情境,也就是人员打手势的时间和空间情境。
这样的情况参数例如同样可以从图像数据中获得并且说明人员究竟采取了哪个身体姿态。如果例如人员正好弯腰到车辆座位之下,因为他在那儿掉了一些东西,并在此以手支撑在副仪表板上,那么手虽然能够单独地占有一个位置,如还与一个可能的操作手势相对应的位置。但是从手肘的位置和头的位置清楚得知的是,人员刚才并没有操作期望,因此该手势是要忽略的。
情况参数但是也可以从其他作为图像数据的数据中获得。例如可以检测该人员是否正与另一人员位于谈话中。这例如可以由音频数据中确定。如果打手势的人正在谈论,那么很可能的是,他手势是语言表达所借用的交流手势。这样的交流手势不应该解读为操作手势,而是应该被忽略。
如果现在可信度测试装置根据至少一个情况参数做出决定,存在这种表示可能的操作手势的打手势情境,那么根据由(上述)第一分类所识别的操作手势,还实际地向机动车中要操作的装置发出控制命令。
相反在做出了要忽略手势的决定时,阻止控制命令的发出。该阻止可以以不同方式实现。如果可信度测试装置例如连接在原本的手势识别机构上游,那么例如可以使手势识别机构完全不工作/去激活。相反如果可信度测试装置与手势识别装置是同时工作的或连接在该手势识别装置下游,那么可以简单地对第一分类的结果、也就是手势识别装置的识别结果不予采用。
可信度测试装置自身因此并不是对各个所提供的操作手势都加以识别,而是仅仅决定究竟是存在可能的操作手势还是不然要忽略的手势。换言之,可信度测试装置确定:究竟是否正存在一种操作情境,人员在该操作情境中想要借助于其手势向手势识别装置表达操作期望。提供可信度测试装置因此具有另外的优点在于,由该可信度测试装置实施的第二分类,也就是对是存在可能的操作手势还是要忽略的手势的决定仅仅是二元的并且因此非常健壮。所确定的情况参数的数量仅必须与两种可能性中的一种匹配即可。
按照本发明的操作接口包括用于实施按照本发明的方法所需的构件,也就是摄像机系统和与摄像机系统耦合的分析处理装置,该分析处理装置以所述的方式具有手势识别装置和可信度测试装置。
同样属于本发明的机动车的突出之处在于,该机动车具有按照本发明的操作接口的一种实施形式。例如操作接口可以作为机动车的信息娱乐系统的组成部分提供并且用于操作例如信息娱乐系统的装置,如导航装置、媒体播放装置(例如CD播放装置、蓝牙播放装置或DVD播放装置)、空调设备控制器。按照本发明的机动车优选设计为汽车,特别是轿车。
在本发明中由此产生不同设计方案,即可信度测试装置如何区分可能的操作手势和要忽略的手势。
一种实施形式设定,打手势情境的至少一个情况参数包括至少一个手臂的至少一个可动部分和/或关节的相应的速度。如果例如原本的手势识别装置在一个单个的摄像图中检测到操作人员的手在符合操作手势的手位置上,那么手势识别装置根据该识别的操作手势产生用于装置的控制命令。但是如果在此通过可信度测试装置识别到手在图像拍摄期间以确定的速度移动穿过摄像机系统的检测范围,也就是例如横向摆过副仪表板,那么该打手势情境表示人员明显不想以其手实施确定用于操作接口的操作手势,而是该手仅仅意外摆动通过检测范围。相应地,只有当各个部分和/或关节的所确定的速度值中的每个值都位于在相应的预定的速度值范围内时,才通过可信度测试装置作出操作手势的决定。特别地,每个速度值必须小于预定的最大速度值。
避免错误识别的另一种可能在于,打手势情境的至少一个情况参数包括至少一个做手势的手臂的至少一个可动部分和/或关节的相应加速度。如果例如操作人员首先将其手在摄像机系统的检测范围中保持不动,然后却将手高抬,以便抓取某些东西,那么该人员在此可能又无意地占据了与预定的操作手势相对应的手指位置。识别装置那么在此可能又会做出产生控制命令的反应。但是如果通过可信度测试装置识别到,手在该识别过程期间被大幅加速,那么这又是对不能将该手势解读为操作期望的一种提示。与之相应,如果每个对于各个部分和关节检测的加速度都位于相应的预定的加速度值范围内,那么通过可信度测试装置作出操作手势的决定。特别是每个加速度值都必须小于预定的最大加速度值。
对所述速度值范围和加速度值范围的确定例如可以通过观察测试人员并这样根据其行为确定适合的数值范围来进行。
一种特殊情况是,所述至少一个做手势的手臂的一个可动部分和/或关节如此快地运动,使得速度和加速度都不可能测量,因为没有由运动产生足够地摄像机图像。按照一种实施形式,检测一种作为情况参数的变量,该变量表明该部分或关节是否带有晃动。为此例如可以确定,是否在摄像机系统的两个连续摄像机图像中在预定时间内的位置变化大于预定的最大距离。如果是,那么人员以其至少一个做手势的手臂明显突然地运动,则对于该情况作出要忽略的手势的决定。
如上所述,非常不可能的是,弯腰到车座之下的人员正好想实施一个操作手势。该情况和另外的情况可以按照一个实施形式识别,其方法是打手势情境的至少一个情况参数包括至少一个可动部分和/或关节相对于至少另一可动部分和/或关节的相应的相对角。也就是说检测至少一个做手势的手臂或其他身体部分的各个区域的相对位置。例如那么可以检测:是否手肘具有一个正常的在操作接口的操作中可预料的弯曲角或者例如弯曲为一个例如小于40°的锐角。只有当每个所监测的相对角都位于相应的预定的角度值范围内时,才在此通过可信度测试装置作出操作手势的决定。在此还可以再次通过在不同情况下对测试人员的观察来确定适合的角度值范围。
类似于在相对角观测中的情况也可以根据没有直接参与到原本要识别的操作手势中的可动的部分和/或关节的位置来获得关于打手势情境的有意义的提示。如果例如通过手正好实施了一个操作手势,那么可以例如在图像数据中识别到手指岔开的平面的手,并且在此但是由情况参数得知:手肘垂直地位于在手关节之上,那么人员看起来明显支撑在其手上,如在上述情景中当人员正好弯腰到车座之下时可能的情况。如果在对位置的分析处理中,每个位置都处在相应预定的空间范围内,那么通过可信度测试装置相应地作出操作手势的决定。由此可以特别是预定一个或多个用于对操作接口进行操作的标准身体姿势。为了对识别结果进行可信度测试,也就是为了阻止基于原本没有操作期望的要忽略的手势而不必要地发出控制命令,例如可以根据这样的身体模型附加地检测驾驶员是否采用了一个对于操作而言异常的肩膀位置。为此可以然后检测身体模型的参数,即其参数值是否处在预定区间中。通过在配置可信度测试装置时对测试人员的观测,可以确定出对于各个参数值的合理区间。
按照本发明的方法的一个实施形式为此设定,将人员的至少一部分的身体模型适配到图像数据中并且根据该身体模型来验证人员是否采取一个表明操作期望的身体位置。因此例如可以检测肩膀位置、头的朝向、手肘和/或上臂的位置、骨盆在车座上的坐姿。身体模型的产生以及向图像数据中的自动适配例如可以通过微软公司的函数库“Kinect”实现。
将身体模型适配到图像数据中尤其是指:用这种方式调节身体模型的参数的参数值,使得身体模型在预定的误差程度内与通过图像数据表示的形式和/或姿态一致。这样的参数对身体模型的各单个组成部分给出了该组成部分的特征的当前的数值。例如可以对关节给出其运动角度,对不动的身体部分给出其在空间中的取向或者其当前运动的运动向量。在身体位置的可信度测试方面,也同样可以对身体模型的参数进行分析处理。在该情况下为身体模型的至少一个参数检测:其参数值是否具有预定的数值或者位于在预定的数值区间内。
按照本发明的方法的另一实施形式,为了验证身体位置,对于身体模型的多个参数,分别通过统计模型给每个参数各自的当前参数值分配一个涉及人员的操作期望的概率值/可能性数值并且随后基于所有所检测的参数的概率值来确定关于操作期望的总概率,这样在操作期望存在时就可以作出可能的操作手势的决定。如果总概率大于预定的最小值,那么在此产生触发信号。用于参数的所述的统计模型可以例如包括高斯模型或高斯混合模型。因此例如对于手肘的弯曲角和手关节的扭转角,可以借助于统计模型分别对当前参数值得出如下结论,即该当前角有多大可能是在指示一种操作期望。如果然后对多个这样的参数将各个概率值相组合,那么可以非常可靠地根据总概率识别到当前身体姿态是否实际上是在指示一种操作期望。该统计模型例如可以通过训练阶段加以配置或参数化,在该训练阶段中借助于监控装置的光学传感器来观察测试人员并根据训练数据调整统计模型的配置参数。为了也可以对时间过程进行统计学建模,也就是不仅是当前的参数值,还有每个参数的多个参数值的序列,可以以隐马尔科夫模型作为用于对时间过程建模的基础。
还很好适用于可信度测试的是至少一个做手势的手臂的运动历史。如果例如还是存在所述谈话情况,操作人员在该谈话情况期间实施交流手势,以便借以强调所谈的内容,但是不是为了实际上来操作所述操作接口,那么该人员也会在更长时间范围内并且也是在手势检测装置的检测范围之外地有精力地做手势。如果手然后还是一旦位于检测范围内并且在那儿继续做手势,那么基于运动历史可以识别到,该人员在此仅仅实施要忽略的手势。那么在通过手势识别装置将在设定用于识别的空间范围中实施的手势解读为操作手势之前,可以例如首先等待预定的最小停留时间。相应地,本发明的一个实施形式设定,由可信度测试装置从根据图像数据所确定的、发生在有手势分类考虑的运动过程之前的运动历史中来检测究竟是否存在操作情况。只有在这种情况下才由可信度测试装置对操作手势的存在作出决定。例如可以根据图像数据监控至少一个做手势的手臂的关节或其他部分的运动轨迹。如果手臂的各个被监测的区域的停留位置具有大的变化,因为人员挥动手臂,任意地摆动手臂或者此外例如在谈话中移动手臂,那么例如可以设定,在变化较大的情况下设定在手势检测装置的检测范围中的相应更长的最小停留时间。只有当超过该最小停留时间时,那么才通过手势检测装置将然后识别的手势、也就是例如手的位置或者手的运动过程通过分类匹配于可能的操作手势中的一个。该定位可以通过所述的身体模型实现。
基于一方面由可信度测试装置、另一方面由手势检测装置所进行的二级识别所能够实现的鲁棒性,在按照本发明的操作接口中甚至可以省去现有技术所典型的手势激活键。通过可信度测试装置实现了与手势激活键相同的功能,也就是通过:对于一个手势,只有当利用至少一个情况参数还得出了相应的打手势情境时,才产生控制命令。换言之,也就是以与专用的、分别触发单个识别过程的手势激活键的进一步操作无关的方式,在机动车起动后产生控制命令的输出。各个识别过程通过可信度测试装置进行划分。
如所述那样,控制命令的阻止可以由可信度测试装置或者通过使手势识别装置去激活或者通过对手势检测装置的输出不予采用来进行。另一种有利的改进方案是,通过可信度测试装置有针对性地仅阻止某一确定的控制命令,但却允许其他控制命令。例如如果人员在机动车中正在打电话并且同时本身正在说话或正好与线路另一端的谈话对象谈话,那么优选地在该(进行通话)时间段内优选不对用于挂上电话、也就是用于中断电话的操作手势进行手势识别。如此有利地避免了由于机动车中的人员在谈话或倾听过程中偶然在做手势时实施了相应的手势而不经意中断电话。为此将那种为触发所要阻止的控制命令而必须实施的操作手势从第一分类中简单排除掉。
为了可以根据图像数据可靠地识别打手势情境,一个有利的改进方案是,通过立体摄像机和/或PMD摄像机确定图像数据(PMD-光子混合装置,也称为飞行时间摄像机)。图像数据于是描述三维信息,例如至少一个做手势的手臂的各个平面截面的空间/立体坐标。因此不仅存在平面的二维颜色强度信息而且存在深度信息,由所述信息可以可靠地确定至少一个做手势的手臂的可动的部分和/或关节的各相对位置。
优选地从机动车内室的顶盖,也就是摄像机系统来确定图像数据,该摄像机系统的至少一个摄像机传感器优选设置在车顶内衬中或顶部控制台(Dachknoten)中。顶部控制台是指那种能够例如设置机动车的后视镜的区域。该顶部控制台沿机动车竖轴位于在副仪表板或仪表板上部。从该角度上看,在副仪表板上做手势的手臂的各个区域是非常不可能被遮盖的。因此手势识别和可信度测试都特别可靠。
附图说明
在下文中再一次根据具体实施例阐明本发明。为此唯一的附图(附图)示出了按照本发明的机动车的一个实施形式的示意图。
具体实施方式
在附图中示出了机动车10中的车辆内室12。机动车10可以是例如轿车。在车辆内室12中驾驶员14坐在(未示出的)驾驶座上。此外示出:方向盘16、副仪表板18以及设置在车辆内室12的顶盖20上的摄像机系统22。摄像机系统22可以与运算单元24耦合。运算单元24可以是例如信息娱乐系统或中央运算装置的组成部分。此外机动车10具有至少一个用于提供机动车10中的功能的装置26。该至少一个装置26可以是例如信息娱乐系统、空调设备控制器和/或远程信息处理系统。该至少一个装置26在汽车10中通过运算单元24控制。为此必要的控制命令S根据操作手势产生,驾驶员14为此例如必须以其手28、30或以手28、30之一连同臂部肢体32、34之一实施所述操作手势。为了视觉上检测由驾驶员14实施的手势,摄像机系统22的光学检测范围36例如朝向识别范围38,驾驶员14必须要将其用于实施操作手势的四肢保持在该区域中。识别范围38例如可以包括副仪表板18的一部分。
摄像机系统22可以例如是PMD摄像机系统。强度调节的光40然后被发射到车辆内室12中并且在那儿作为反射光44由位于在检测范围36中的物体反射至摄像机传感器42。光40可以是例如可见光或红外光。摄像机系统22由反射光44产生视频数据/图像数据V,该视频数据被传递给运算单元24。
运算单元24具有手势识别模块46。手势识别模块46可以是例如程序模块。通过手势识别模块46根据视频数据V识别到驾驶员14在识别范围38中例如以手实施了哪个操作手势。如果识别了操作手势中的一个确定的操作手势,那么通过手势识别模块46将相应的控制命令S输出到所述至少一个装置26,该装置在接收到控制命令S时根据控制命令S激活预定的功能,也就是例如开始一段音乐的播放或者设置确定的导航目标。
在机动车10中确保:如果驾驶员14因为例如正与车辆10中其他乘客(未示出)热烈交谈而偶然地例如用手30在识别范围38中实施运动,那么就不会产生控制命令S。运算单元为此可以具有可信度测试模块48。可信度测试模块48为此可以设计为,例如根据视频数据V检测驾驶员14究竟是想要实施操作手势,还是仅仅以手30在识别范围38中实施了一个交流手势或者另一个偶然的手部运动。可信度测试模块48然后或者做出可能的操作手势的决定,从而通过手势识别模块46允许产生相应的控制命令S。相反,如果可信度测试模块48做出要忽略的手势的决定,那么阻止控制命令S的产生。
通过可信度测试模块48实现了类似语音表达的手势与操作手势之间的可区分性。由于能够尤其是通过飞行时间摄像机、也就是PMD摄像机系统22对乘员、也就是驾驶员14进行身体方面的准确无误的定位,例如对乘员的各个身体部分28、30、32、34的定位,所以能够识别该乘员的各个部分28、30、32、34的位置和运动。通过对确定的手势的评估——该手势评估不仅基于在视频数据V中例如对手30的几何重心的跟踪,而且确定出运动的肢体28、30、32、34的多个其他特征(英语:features)——可以推断打手势情境,该打手势情境给出如下结论:驾驶员14究竟是否正具有操作期望,也就是究竟是否有意产生确定的控制命令S。监控的特征例如可以是位置、速度、加速度、运动的晃动性以及各可动的部分28、30、32、34——也就是例如上臂相对于前臂、或者前臂相对于手背——的相对角α、β。因此也可以考虑关节的弯曲角。
摄像机系统22借助于光学传感器42测量车辆内室以及位于其中的乘员、也就是驾驶员14。运算单元24借助于手势识别模块46和可信度测试模块48分析处理信号。由此获得的信息作为用于反应的控制信号S提供给车辆,也就是特别是提供给装置26。通过通常对乘员、如驾驶员14在相应的车座中的自由度有限的定位,可以特别是非常可靠地在视频数据V中确定臂部34在肩膀上的连接部分50或者前臂在上臂上的连接部分52。随后例如可以将骨骼模型54、56建模到臂部32、34中并且如此通过对骨骼模型54的参数的分析处理来跟踪、分析处理例如关节58的位置和/或空间取向并且这样通过可信度测试模块58对手势进行可信度测试。因此如果例如所述手势是单独地以手30在识别范围38中实施的,那么通过在此空间上的关系,亦即臂部34的位置和方向并且甚至通过检测臂部32的位置并且例如还有在相应附加地观测时头部60的取向,通过可信度测试模块48可以推导驾驶员14是否具有操作期望。如果例如驾驶员14的脸的面法线62正好例如朝向机动车的侧后视镜(未示出),那么非常不可能是,驾驶员14正好以其手30想要实施例如涉及移动电话激活的操作手势。然而如果通过手势识别模块46识别到这样一个手势,那么可以通过可信度测试模块48阻止相应的控制命令S的产生。
总而言之,通过该例子示出了如何可以实现减少由于不期望的手势的错误操作。由此使手势操作的可接受度的提高是可期待的。特别是通过取消平常所需的手势激活键,现在可以将手势识别不引人注目地集成到机动车10的操作接口中。通过在操作手势与例如交流手势之间可靠的区分可以实现手势激活装置的取消。

Claims (15)

1.用于运行用于操作机动车(10)中至少一个装置(26)的操作接口的方法,其中,该操作接口包括摄像机系统(22)和与该摄像机系统(22)耦合的手势识别装置(46),通过摄像机系统(22)拍摄在机动车(10)的机动车内室(12)中以至少一个手臂(28、30、32、34)做手势的人员(14),通过手势识别装置(46)基于摄像机系统(22)的图像数据(V)来确定至少一个做手势的手臂(28、30、32、34)的位置和/或运动顺序的描述数据(54、56)并且将所述描述数据(54、56)通过第一分类与多个预定的操作手势中的一个操作手势匹配,其特征在于,通过操作接口的可信度测试装置(48)确定至少一个描述人员(14)打手势情境的情况参数并且根据所述至少一个情况参数通过第二分类决定人员(14)究竟是执行可能的操作手势还是仅执行不以操作为目的的、要忽略的手势,在根据通过第一分类识别的操作手势作出可能的操作手势的决定的情况下,将控制命令(S)输出到至少一个装置(26),而在作出要忽略的手势的决定的情况下阻止发出控制命令(S)。
2.根据权利要求1所述的方法,其特征在于,打手势情境的至少一个情况参数包括至少一个手臂(28、30、32、34)的至少一个可动部分(54、56)和/或关节(58)的相应的速度;仅当每个速度都位于相应预定的速度值范围内时,才作出可能的操作手势的决定。
3.根据上述权利要求之一所述的方法,其中,打手势情境的至少一个情况参数包括至少一个手臂(28、30、32、34)的至少一个可动部分(54、56)和/或关节(58)的相应的加速度;仅当每个加速度都位于相应预定的加速度值范围内时,才作出可能的操作手势的决定。
4.根据上述权利要求之一所述的方法,其中,打手势情境的至少一个情况参数表明至少一个手臂(28、30、32、34)的至少一个可动部分(54、56)和/或关节(58)是否带有晃动,通过所述晃动在预定时间内的位置变化大于预定的最大距离,对于该情况作出要忽略的手势的决定。
5.根据上述权利要求之一所述的方法,其中,打手势情境的至少一个情况参数包括至少一个手臂(28、30、32、34)的至少一个可动部分(54、56)和/或关节(58)相对于至少另一可动部分(54、56)和/或关节(58)的相应的相对角(α、β);仅当每个相对角(α、β)都位于相应的预定的角度值范围内时,才作出可能的操作手势的决定。
6.根据上述权利要求之一所述的方法,其中,打手势情境的至少一个情况参数包括至少一个手臂(28、30、32、34)的每个可动部分(54、56)和/或关节(58)的相应位置;仅当每个位置都位于相应的预定的空间范围内时,才仅作出可能的操作手势的决定。
7.根据上述权利要求之一所述的方法,其中,在起动机动车(10)之后不依赖于继续操作专用的分别触发单个识别过程的手势激活键地产生控制命令(S)的输出。
8.根据上述权利要求之一所述的方法,其中,由根据图像数据(V)确定的运动历史来检测打手势情境究竟是否是操作情况,并且只有是操作情况时才作出操作手势的决定,所述运动历史在时间上发生在至少一个手臂(28、30、32、34)的通过第一分类所考虑的运动过程之前。
9.根据上述权利要求之一所述的方法,其中,由图像数据(V)确定打手势情境的至少一个情况参数。
10.根据上述权利要求之一所述的方法,其中,为了阻止一种确定的控制命令(S),将所属的、为了触发该确定的控制命令(S)而要执行的操作手势从第一分类中排除。
11.根据上述权利要求之一所述的方法,其中,通过机动车(10)的以下装置中的至少一个装置确定图像数据(V):立体摄像机和/或PMD摄像机(22)。
12.根据上述权利要求之一所述的方法,其中,将人员(14)的至少一部分的身体模型(54、56)适配到摄像机系统(22)的光学传感器(42)的图像数据(V)中并且根据该身体模型(54、56)确定一个或多个或所有情况参数。
13.根据权利要求12所述的方法,其中,为了确定打手势情境,对于身体模型(54、56)的多个参数分别通过统计模型给参数的当前参数值分配一个涉及人员(14)的操作意图的概率值;基于所有所检测的参数的概率值来确定关于操作意图的总概率;如果该总概率小于预定的最小速度,那么阻止控制命令(S)。
14.用于操作机动车(10)中至少一个装置(26)的操作接口,其中,该操作接口包括摄像机系统(22)和与摄像机系统(22)耦合的手势识别装置(46),摄像机系统(22)设计为,拍摄在机动车(10)的机动车内室(12)中以至少一个手臂(28、30、32、34)做手势的人员(14),手势识别装置设计为,基于摄像机系统(22)的图像数据(V)来确定至少一个做手势的手臂(28、30、32、34)的位置和/或运动顺序并且分类为多个预定的操作手势中的一个操作手势,根据通过分类识别的操作手势向至少一个装置发出控制命令(S),其特征在于,操作接口具有可信度测试装置(48)并且操作接口设计为,实施根据上述权利要求之一所述的方法。
15.机动车(10),具有根据权利要求14所述的操作接口。
CN201480002890.8A 2013-06-29 2014-06-25 具有手势识别的机动车操作接口 Active CN104755308B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013010932.9 2013-06-29
DE102013010932.9A DE102013010932B4 (de) 2013-06-29 2013-06-29 Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
PCT/EP2014/001726 WO2014206558A1 (de) 2013-06-29 2014-06-25 Kraftfahrzeug-bedienschnittstelle mit gestenerkennung

Publications (2)

Publication Number Publication Date
CN104755308A true CN104755308A (zh) 2015-07-01
CN104755308B CN104755308B (zh) 2017-09-22

Family

ID=51162679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002890.8A Active CN104755308B (zh) 2013-06-29 2014-06-25 具有手势识别的机动车操作接口

Country Status (5)

Country Link
US (1) US9738158B2 (zh)
EP (1) EP3013621B1 (zh)
CN (1) CN104755308B (zh)
DE (1) DE102013010932B4 (zh)
WO (1) WO2014206558A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203380A (zh) * 2016-07-20 2016-12-07 中国科学院计算技术研究所 超声波手势识别方法及系统
CN107092345A (zh) * 2016-02-17 2017-08-25 大众汽车有限公司 对用户手势进行分类的用户接口、运动工具和方法
CN108088032A (zh) * 2017-10-31 2018-05-29 珠海格力电器股份有限公司 空调的控制方法和装置
CN108710436A (zh) * 2018-06-27 2018-10-26 常州星宇车灯股份有限公司 一种基于tof手势识别的控制系统
CN108803426A (zh) * 2018-06-27 2018-11-13 常州星宇车灯股份有限公司 一种基于tof手势识别的车机控制系统
CN109153332A (zh) * 2016-05-20 2019-01-04 福特全球技术公司 车辆用户接口的手语输入
CN110636964A (zh) * 2017-05-23 2019-12-31 奥迪股份公司 用于确定行驶指令的方法
CN111511599A (zh) * 2017-12-13 2020-08-07 戴姆勒股份公司 用于运行辅助系统的方法和汽车用辅助系统
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统
WO2023071640A1 (zh) * 2021-10-29 2023-05-04 海信视像科技股份有限公司 一种显示设备及显示方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013010932B4 (de) 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
KR101628482B1 (ko) * 2014-09-18 2016-06-21 현대자동차주식회사 무선신호 분석을 통한 동작 인식 시스템 및 그 방법
KR101696593B1 (ko) * 2015-07-09 2017-01-16 현대자동차주식회사 입력장치, 이를 포함하는 차량 및 그 제어방법
DE102016201981A1 (de) 2016-02-10 2017-08-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen, Aktivieren oder Deaktivieren einer Funktion in einem Kraftfahrzeug mithilfe einer Bedieneinrichtung und ein Bediensystem
DE102016002368A1 (de) 2016-02-26 2016-09-22 Daimler Ag Verfahren zum Öffnen und Schließen einer Fahrzeugtür eines Fahrzeuges
DE102016206142A1 (de) 2016-04-13 2017-10-19 Volkswagen Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Erkennung einer Hand eines Anwenders
CN106218545A (zh) * 2016-07-26 2016-12-14 惠州市凯越电子股份有限公司 一种基于手势识别功能的智能车载终端
FR3063820B1 (fr) * 2017-03-09 2021-06-25 Valeo Comfort & Driving Assistance Procede de commande d'au moins une fonction d'un vehicule par l'accomplissement d'au moins un geste de commande associe a cette fonction
CN108737916B (zh) * 2017-04-21 2022-03-18 法雷奥汽车内部控制(深圳)有限公司 用于机动车辆的麦克风集成组件
DE102017004214A1 (de) 2017-04-29 2018-10-31 INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH Verfahren zur Identifikation standardisierter industrie- und anwendungsfallspezifischer Freihandbefehle
FR3066460B1 (fr) * 2017-05-16 2019-12-27 Valeo Comfort And Driving Assistance Dispositif de surveillance d'un conducteur avec module de correction en fonction d'un mouvement repetitif predetermine
DE102018213263A1 (de) * 2018-08-08 2020-02-13 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Ermittlung einer Fehlbedienungswahrscheinlichkeit einer Anwenderschnittstelle
DE102018008366B4 (de) 2018-10-23 2020-06-18 INPRO Innovationsgesellschaft für fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH Verfahren und Anlage zum gestenbasierten Steuern eines Prüfprozesses an einem industriellen teilautomatisierten Sichtprüfplatzes eines industriellen technischen Prozesses oder einer industriellen technischen Produktionsanlage
US11554668B2 (en) 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
US20220319199A1 (en) * 2019-09-05 2022-10-06 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method
DE102020201235A1 (de) 2020-01-31 2021-08-05 Ford Global Technologies, Llc Verfahren und System zur Steuerung von Kraftfahrzeugfunktionen
US11573644B2 (en) * 2020-04-21 2023-02-07 Hyundai Mobis Co., Ltd. Apparatus and method for recognizing gesture
DE102020211740A1 (de) 2020-09-18 2022-03-24 Sivantos Pte. Ltd. Verfahren zum Betrieb einer Hörvorrichtung und Hörsystem
US20220092994A1 (en) * 2020-09-23 2022-03-24 Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company Controlling a vehicle based on detected movement of an object
WO2023062132A1 (en) * 2021-10-13 2023-04-20 Magna Mirrors Holding Gmbh Vehicular overhead console with light transmissive panel

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141634A1 (en) * 2002-10-25 2004-07-22 Keiichi Yamamoto Hand pattern switch device
DE10233233B4 (de) * 2002-07-22 2005-04-28 Univ Muenchen Tech Erkennung von Bewegungen (dynamische Gesten) zur berührungslosen und tonlosen Interaktion mit technischen Systemen
CN1818984A (zh) * 2004-09-26 2006-08-16 李扬荣 一种与机动车车速信号接口的超速报警装置及其方法
WO2010119085A1 (de) * 2009-04-16 2010-10-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und system zum erkennen eines objektes, und verfahren und system zum erzeugen einer markierung in einer bildschirmdarstellung mittels eines berührungslos gestik-gesteuerten bildschirmzeigers
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
DE10022321A1 (de) 2000-05-09 2001-11-15 Bayerische Motoren Werke Ag Vorrichtung in Fahrzeugen zum Erkennen einer Handstellung
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
DE102006009291A1 (de) 2006-03-01 2007-09-06 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
JP5030580B2 (ja) * 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
JP5228439B2 (ja) 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8432372B2 (en) 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US10025388B2 (en) * 2011-02-10 2018-07-17 Continental Automotive Systems, Inc. Touchless human machine interface
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video
US9239624B2 (en) * 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
JP5944287B2 (ja) * 2012-09-19 2016-07-05 アルプス電気株式会社 動作予測装置及びそれを用いた入力装置
US9158381B2 (en) * 2013-02-25 2015-10-13 Honda Motor Co., Ltd. Multi-resolution gesture recognition
US20140267018A1 (en) * 2013-03-12 2014-09-18 Umoove Services Ltd. System and method of gesture interpretation by body part tracking
US9122916B2 (en) * 2013-03-14 2015-09-01 Honda Motor Co., Ltd. Three dimensional fingertip tracking
WO2014190511A1 (zh) * 2013-05-29 2014-12-04 华为技术有限公司 终端操作模式的切换和呈现方法及终端
CN105518576B (zh) * 2013-06-28 2019-04-16 陈家铭 根据手势的控制装置操作
DE102013010932B4 (de) 2013-06-29 2015-02-12 Audi Ag Verfahren zum Betreiben einer Bedienschnittstelle, Bedienschnittstelle sowie Kraftfahrzeug mit einer Bedienschnittstelle
US9701258B2 (en) * 2013-07-09 2017-07-11 Magna Electronics Inc. Vehicle vision system
KR101550604B1 (ko) * 2013-09-25 2015-09-07 현대자동차 주식회사 차량용 조작 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10233233B4 (de) * 2002-07-22 2005-04-28 Univ Muenchen Tech Erkennung von Bewegungen (dynamische Gesten) zur berührungslosen und tonlosen Interaktion mit technischen Systemen
US20040141634A1 (en) * 2002-10-25 2004-07-22 Keiichi Yamamoto Hand pattern switch device
CN1818984A (zh) * 2004-09-26 2006-08-16 李扬荣 一种与机动车车速信号接口的超速报警装置及其方法
WO2010119085A1 (de) * 2009-04-16 2010-10-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und system zum erkennen eines objektes, und verfahren und system zum erzeugen einer markierung in einer bildschirmdarstellung mittels eines berührungslos gestik-gesteuerten bildschirmzeigers
US20110286676A1 (en) * 2010-05-20 2011-11-24 Edge3 Technologies Llc Systems and related methods for three dimensional gesture recognition in vehicles

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092345A (zh) * 2016-02-17 2017-08-25 大众汽车有限公司 对用户手势进行分类的用户接口、运动工具和方法
CN109153332B (zh) * 2016-05-20 2022-07-08 福特全球技术公司 车辆用户接口的手语输入
CN109153332A (zh) * 2016-05-20 2019-01-04 福特全球技术公司 车辆用户接口的手语输入
CN106203380A (zh) * 2016-07-20 2016-12-07 中国科学院计算技术研究所 超声波手势识别方法及系统
CN106203380B (zh) * 2016-07-20 2019-11-29 中国科学院计算技术研究所 超声波手势识别方法及系统
CN110636964A (zh) * 2017-05-23 2019-12-31 奥迪股份公司 用于确定行驶指令的方法
CN108088032B (zh) * 2017-10-31 2020-04-21 珠海格力电器股份有限公司 空调的控制方法和装置
CN108088032A (zh) * 2017-10-31 2018-05-29 珠海格力电器股份有限公司 空调的控制方法和装置
CN111511599A (zh) * 2017-12-13 2020-08-07 戴姆勒股份公司 用于运行辅助系统的方法和汽车用辅助系统
CN108803426A (zh) * 2018-06-27 2018-11-13 常州星宇车灯股份有限公司 一种基于tof手势识别的车机控制系统
CN108710436A (zh) * 2018-06-27 2018-10-26 常州星宇车灯股份有限公司 一种基于tof手势识别的控制系统
CN114072754A (zh) * 2019-07-08 2022-02-18 大众汽车股份公司 运行操作系统的方法和操作系统
WO2023071640A1 (zh) * 2021-10-29 2023-05-04 海信视像科技股份有限公司 一种显示设备及显示方法

Also Published As

Publication number Publication date
US20160368382A1 (en) 2016-12-22
EP3013621B1 (de) 2017-10-18
US9738158B2 (en) 2017-08-22
EP3013621A1 (de) 2016-05-04
DE102013010932A1 (de) 2014-12-31
WO2014206558A1 (de) 2014-12-31
CN104755308B (zh) 2017-09-22
DE102013010932B4 (de) 2015-02-12

Similar Documents

Publication Publication Date Title
CN104755308A (zh) 具有手势识别的机动车操作接口
CN105270292B (zh) 控制对车辆内人机界面的访问的系统和方法
CN103870802B (zh) 使用指谷操作车辆内的用户界面的系统和方法
CN104460974B (zh) 车辆操纵装置
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
EP3260331A1 (en) Information processing device
WO2013090868A1 (en) Interacting with a mobile device within a vehicle using gestures
US10168786B2 (en) Gesture guidance device for moving platform, gesture guidance system for moving platform, and gesture guidance method for moving platform
CN103869970B (zh) 通过2d相机操作用户界面的系统和方法
JP2005178473A (ja) 車載機器用インターフェース
JP5915389B2 (ja) 情報特定システムおよび方法
CN108399044B (zh) 用户界面、运输工具和用于区分用户的方法
US11676236B2 (en) Systems and methods for autonomous passenger transport
JP6592940B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190286123A1 (en) Remote vehicle control device and remote vehicle control method
CN112753009A (zh) 人机交互方法与人机交互装置
JP2020057139A (ja) 機器制御装置
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
CN108957460A (zh) 车辆距离的检测方法、设备及计算机可读存储介质
CN112667084A (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN110114809A (zh) 用于在具有变化的输出功能的光信号设备处提醒驾驶员起动的方法和装置
US20200218347A1 (en) Control system, vehicle and method for controlling multiple facilities
JP2017052490A (ja) 車載機器制御装置
CN107107756B (zh) 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant