CN107107756A - 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法 - Google Patents

通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法 Download PDF

Info

Publication number
CN107107756A
CN107107756A CN201580061658.6A CN201580061658A CN107107756A CN 107107756 A CN107107756 A CN 107107756A CN 201580061658 A CN201580061658 A CN 201580061658A CN 107107756 A CN107107756 A CN 107107756A
Authority
CN
China
Prior art keywords
motion
qualified
vehicles
driver
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580061658.6A
Other languages
English (en)
Other versions
CN107107756B (zh
Inventor
C·埃切韦里
J-F·莱耶勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PSA Automobiles SA
Original Assignee
Peugeot Citroen Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peugeot Citroen Automobiles SA filed Critical Peugeot Citroen Automobiles SA
Publication of CN107107756A publication Critical patent/CN107107756A/zh
Application granted granted Critical
Publication of CN107107756B publication Critical patent/CN107107756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

一种用于控制由交通工具(V)的至少一个设备(E1，E2)确保的功能的人/机界面(IC)。为此，所述人/机界面包括：分析部件(MAN)，所述分析部件配置用于分析表征驾驶员的一部分的图像数据以检测该驾驶员的身体的一部分的至少一个运动和/或该驾驶员的至少一个面部表情；比较部件(MCP)，所述比较部件配置用于将所检测到的运动和/或所检测到的表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较，所述数据是对应于功能进行存储的；以及控制部件(MCT)，所述控制部件配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发对于对应的功能的激活。

Description

通过检测驾驶员的运动和/或表情控制交通工具功能的人/机 界面和方法
技术领域
本发明涉及交通工具、任选地机动类型的交通工具，并且更确切地涉及用于控制由交通工具的设备确保的功能的人/机界面。
背景技术
当今，使交通工具的使用者能够控制一个或多个设备的功能的人/机界面中的大多数包括控制构件，所述控制构件例如为按钮(任选地“touch-latch(碰触-闩锁)”类型的按钮)、滚轮、滑杆(réglettes)、感应按键、具有存在性检测器的按键、以及屏的触摸区。为了使这些类型的控制构件能够触发对于功能的激活或停用，需要使用者的手指或手与这些控制构件相互作用。然而，当使用者为交通工具的驾驶员时，这种相互作用可能是危险的，这是因为该相互作用将驾驶员的注意力转移向所述控制构件。当所述驾驶员需首先从大量的控制构件中找到需与该驾驶员相互作用的那个控制构件时和/或当对于功能的激活需要多个相互作用时(例如当从显示于触摸屏上的菜单或子菜单中挑选选项时)，该危险进一步增加。
另外，当交通工具装配有具有控制构件的人/机界面时，通常很困难甚至不可能给该人/机界面添加用于控制在制造交通工具之后添加的设备的新功能的其它控制构件。
当然已提出，通过语音命令控制交通工具的若干功能，所述语音命令包括由使用者预先记录下的且分别与这些功能相关联的词句。但在一些嘈杂的环境中，负责识别由使用者发出的词句的声音分析部件可能无法成功识别由该使用者发出的词句，这阻止对于所述功能的激活/停用，并因此使该使用者不满。另外，当发出与功能相关联的词句的使用者不是预先记录下该词句的那个使用者时，所述声音分析部件不能识别该词句，这是因为声音频谱不与原始记录下的频谱基本一致。因此，只有交通工具的驾驶员可使用预先记录下的语音命令，这对该交通工具的其他驾驶员不利。
发明内容
本发明的目的因此在于改善所述情况。
为此，本发明尤其提供了一种用于控制由交通工具的至少一个设备确保的功能的人/机界面，所述人/机界面包括：
-分析部件，所述分析部件配置用于分析表征所述交通工具的驾驶员的一部分的图像数据以检测该驾驶员的身体的一部分的至少一个运动和/或该驾驶员的至少一个面部表情，
-比较部件，所述比较部件配置用于将所检测到的运动和/或所检测到的表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较，所述数据是对应于功能进行存储的，以及
-控制部件，所述控制部件配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发对于对应的功能的激活。
因此，无论任何驾驶员都可在知晓身体的多部分的预限定运动和/或预限定面部表情的情况下控制所述交通工具的功能。而且，所述驾驶员的注意力的转移被最小化。
需注意到，此处“身体”理解成人的身体的全部，尤其是头部、躯干以及上肢(手臂和手)。
根据本发明的人/机界面可包括可单独采用或组合采用的其它特征，所述其它特征尤其是：
-在第一实施例中，所述人/机界面的控制部件可配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发在所述交通工具的屏上显示和/或由所述交通工具的至少一个扬声器播放指示了要激活的所述对应的功能的消息，以及配置用于在存在由所述比较部件进行的在新的所检测到的运动和/或新的所检测到的表情与预限定运动和/或预限定表情之间的新的成功比较之后触发对于该对应的功能的激活，所述预限定运动和/或所述预限定表情的数据是对应于许可功能进行存储的；
-在第二实施例中，所述人/机界面的控制部件可配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发在所述交通工具的屏上显示和/或由所述交通工具的至少一个扬声器播放指示了要激活的所述对应的功能的消息，以及配置用于在检测到所述驾驶员的手与安装于所述交通工具中的控制构件之间相互作用之后触发对于该对应的功能的激活；
-每个运动可(至少)从下述项中选择：头部朝向上方的旋转、头部朝向下方的旋转、头部朝向右方的旋转、头部朝向左方的旋转、头部朝向右上方的旋转、头部朝向左上方的旋转、头部朝向右下方的旋转、头部朝向左下方的旋转、眼睛在高于预限定阈值的时长期间的至少一个眨眼、眼睛朝向上方的移动、眼睛朝向下方的移动、眼睛朝向右方的移动、眼睛朝向左方的移动、眼睛朝向右上方的移动、眼睛朝向左上方的移动、眼睛朝向右下方的移动、眼睛朝向左下方的移动、眉毛的运动、唇部的至少一个运动、由手臂执行的姿态、由手执行的手势、以及由手执行的指向一个方向的手势；
-所述人/机界面可包括学习部件，所述学习部件配置用于记录下表征由分析部件从图像数据中检测到的特殊运动和/或特殊表情的数据，所述特殊运动和/或所述特殊表情对应于根据所述交通工具的使用者的请求挑选的功能；
-所述人/机界面可包括获取部件，所述获取部件安装在所述交通工具的车厢中，定向成朝向所述驾驶员，并且配置用于获取所述驾驶员的一部分的由数字数据限定的图像。
本发明还涉及一种交通工具、任选地机动类型的交通工具，所述交通工具包括至少一个确保至少一个功能的设备以及如上文所述类型的人/机界面。
本发明还提供了一种用于能够控制由交通工具的至少一个设备确保的功能的方法，所述方法包括：
-分析表征所述交通工具的驾驶员的一部分的图像数据以检测该驾驶员的身体的一部分的至少一个运动和/或该驾驶员的至少一个面部表情的步骤。
-将所检测到的运动和/或所检测到的表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较的步骤，所述数据是对应于功能进行存储的，以及，
-在存在与预限定运动和/或预限定表情的成功比较的情况下激活对应的功能的步骤。
附图说明
通过阅读下文中的详细说明和附图，本发明的其它特征和优点将更加清楚，图1上示意性且功能性地示出了包括多个设备的机动交通工具的示例的一部分，所述多个设备的计算机包括根据本发明的人/机界面的实施例。
具体实施方式
本发明的目的尤其在于提供一种用于控制由交通工具V的至少一个电子设备Ei确保的功能的人/机界面IC以及一种相关联的控制方法。
在下文中，作为非限制性实施例，认为交通工具V为机动类型的。所述交通工具例如涉及轿车。但本发明不限于该类型的交通工具。本发明事实上涉及由驾驶员操控并且包括确保由该驾驶员(至少部分地)可控的功能的至少一个电子设备的任何类型的交通工具。因此，本发明不仅涉及陆上交通工具，还涉及海上(或河上)交通工具或飞行器。
图1上示意性且功能性地示出了轿车类型的机动交通工具V的一部分，所述机动交通工具包括多个电子设备Ei以及根据本发明的人/机界面IC。
每个(电子)设备Ei都确保至少一个功能，所述至少一个功能经由人/机界面IC至少部分地由驾驶员CD可控。例如，设备E1和E2(i＝1或2)分别为加热/空调设备和卫星导航装置。但所述设备可涉及无论任何装载于交通工具中由驾驶员控制的其它设备，尤其是外部或内部照明系统、声音警报器、转向指示器、车载电脑、音频系统以及确保至少一个辅助驾驶功能的设备。
如图1上所示，设备Ei可与通信网络(或车载网络)RC连接，所述通信网络任选地为多路复用型的并且能够交换信息。这些信息可例如为命令(或指令)、数据集、经测量或经估算的参数或状态的值、以及计算结果。
还如图1上所示，根据本发明的人/机界面IC至少包括分析部件MAN、比较部件MCP和控制部件MCT。
注意到，在图1上示出的非限制性实施例中，人/机界面IC为计算机CA(任选地专用计算机)的一部分。但这不是必须的。事实上，人/机界面IC可为与通信网络RC连接的电子设备，并且任选地具有计算机的形式。因此，人/机界面IC可实施成具有软件(或信息又或“software”)模块的形式，又或电子电路(或“hardware”)与软件模块组合的形式。
分析部件MAN配置用于分析表征交通工具V的驾驶员CD的一部分的图像数据以检测该驾驶员CD的身体的一部分的至少一个运动和/或该驾驶员CD的至少一个面部表情。
注意到，此处“身体”理解成指人的身体的全部，尤其是头部、躯干以及上肢(手臂和手)。
理解到，根据分析部件MAN的构造，这些分析部件(MAN)可检测驾驶员CD的身体的一部分的至少一个运动，或检测驾驶员CD的至少一个面部表情，又或检测驾驶员CD的身体的一部分的至少一个运动以及驾驶员CD的至少一个面部表情。
表征驾驶员CD的一部分的图像数据由安装于车厢H中的获取部件MAQ获取。所述图像数据可为二维(或2D)或三维(3D)类型的，并且表征驾驶员CD的面部以及任选地表征驾驶员CD的胸部和驾驶员的手臂中的至少一个。
例如，获取部件MAQ可至少部分地安装在交通工具V的挡风玻璃PRB的内表面上(在车顶或顶部附近)，这如图1上非限制性所示，或者所述获取部件至少部分地安装在内侧后视镜中。所述获取部件可包括至少一个数字摄像机，所述至少一个数字摄像机定向成朝向驾驶员CD，特别是朝向该驾驶员的头部和胸部。注意到，这些获取部件MAQ可为装置DC的一部分，或者为装载于交通工具V中的其它系统(例如次警醒检测系统)的一部分。在后一情况下，人/机界面IC可例如经由通信网络RC收回由获取部件MAQ获取的(并且任选地经预处理的)图像。
分析部件MAN可通过任何本领域技术人员已知的技术并且尤其通过形状识别和/或实时追踪来检测每个运动和每个表情。作为示例，对于面部表情及运动的分析可借助于基于ASM(“Active Shape Model(主动形状模型)”)类型或AAM(“Active Appearence Model(主动外观模型)”)类型的可变性模型的一个或多个算法进行。
可由分析部件MAN检测非常大量的动作，尤其是：
-头部朝向上方的旋转，
-头部朝向下方的旋转，
-头部朝向右方的旋转，
-头部朝向左方的旋转，
-头部朝向右上方的旋转，
-头部朝向左上方的旋转，
-头部朝向右下方的旋转，
-头部朝向左下方的旋转，
-眼睛在高于预限定阈值的时长期间的至少一个眨眼，
-眼睛朝向上方的移动，
-眼睛朝向下方的移动，
-眼睛朝向右方的移动，
-眼睛朝向左方的移动，
-眼睛朝向右上方的移动，
-眼睛朝向左上方的移动，
-眼睛朝向右下方的移动，
-眼睛朝向左下方的移动，
-眉毛的运动，
-唇部的至少一个运动，
-由手臂执行的姿态，
-由手执行的手势，以及
-由手执行的指向一个方向的手势。
注意到，分析部件MAN还可任选地配置用于检测眼睛的查看方向。这需要确定头部在车厢H中的位置以及在该车厢(H)中的注视矢量的起点。
另外，可由分析部件MAN检测大量的面部表情，尤其是微笑、鬼脸、皱眉毛、吃惊表现、以及张嘴。
作为示例，可实时地定位面部特征点，例如眼角或眼睛轮廓、鼻子、以及嘴巴轮廓。在该情况下，这些点的位置相对于无特殊表情(或“中性”)的面部中具有的位置的变化能够估计面部表情。
比较部件MCP配置用于将由分析部件MAN检测到的运动和/或检测到的表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较，所述数据是对应于交通工具V的可控功能进行存储的。
如图1上非限制性所示，表征预限定运动和/或预限定表情的数据可存储在人/机界面IC的存储部件MS中。这些存储部件MS可例如具有任选地软件类型的存储器的形式。这些数据在测试实验室中或者在工厂中被预先记录下，或者对于这些数据中的一些，如将在下文中进一步描述的在学习阶段期间被根据驾驶员CD的要求记录下到交通工具V中。
控制部件MCT配置用于在存在由比较部件MCP进行的在所检测到的运动和/或所检测到的表情与预限定运动和/或预限定表情之间的成功比较的情况下触发对于对应于该预限定运动和/或该预限定表情的功能的激活。
可例如通过向提供相关功能的设备Ei或者向负责控制该提供相关功能的设备Ei的另一个设备传输请求进行该触发。
因此，无论交通工具V的任何驾驶员都可通过执行预限定运动和/或通过采用预限定面部表情控制该交通工具V的功能(所述预限定运动和/或所述预限定面部表情与该功能相关联)，即使所述驾驶员不是限定该关联的驾驶员。这能够有利地使对于该控制驾驶员表现出的注意力的转移最小化。此外，这能够减少交通工具V的车厢H中的体积较大、通常几乎不美观、偶尔脆弱、易发生故障或损坏、并且需要有线连结的那些控制构件的数量。
重要的是注意到，当功能已激活时，借助于运动和/或表情触发停用。另外，所使用的用于触发对于功能的激活的运动和/或表情不必与所使用的用于触发对于该同一个功能的停用的运动和/或表情相同。
在可选实施例中，控制部件MCT可配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发在交通工具V的屏(任选地为安置于仪表板PDB中的中央联合控制台的屏)上显示和/或由交通工具V的至少一个扬声器播放指示了要激活的所述对应的功能的消息。在该情况下，控制部件MCT在存在由比较部件MCP进行的在新的所检测到的运动和/或新的所检测到的表情与预限定运动和/或预限定表情之间的新的成功比较之后触发对于该对应的功能的激活，限定所述预限定运动和/或所述预限定表情的数据是对应于许可功能存储在存储部件MS中的。
理解到，该选项用于给驾驶员CD指示与由人/机界面IC检测到的运动和/或面部表情相关联的功能，以便该驾驶员在该人/机界面没有弄错的情况下通过执行与许可功能相关联的新的预限定运动和/或新的预限定表情给该人/机界面IC发信号。当驾驶员CD不执行该新的预限定运动和/或该新的预限定表情时，或者当所述驾驶员所做出的该新的预限定运动和/或该新的预限定表情不被人/机界面IC识别时，不触发对于由驾驶员CD请求的功能的激活。
在上文所述的选项的实施变型中，控制部件MCT总是配置用于在存在与预限定运动和/或预限定表情的成功比较的情况下触发在交通工具V的屏(任选地为安置于仪表板PDB中的中央联合控制台的屏)上显示和/或由交通工具V的至少一个扬声器播放指示了要激活的所述对应的功能的消息。但所述控制部件在检测到驾驶员CD的手与安装于交通工具V中的控制构件之间相互作用之后触发对于该对应的功能的激活。该控制构件优选地专用于对于消息内容的许可。但这不是必须的。
理解到，该变型用于给驾驶员CD指示与由人/机界面IC检测到的运动和/或面部表情相关联的功能，以便该驾驶员在该人/机界面没有弄错的情况下通过与控制构件相互作用给该人/机界面发信号。当驾驶员CD不执行该相互作用时，不触发对于由驾驶员CD请求的功能的激活。
作为纯粹说明的示例，可考虑，在检测到驾驶员CD沿左(或右)后视镜方向的查看的情况下，然后通过在专用于许可(或批准)的控制构件上按压，或者通过眼睛(在高于使眼睛保湿的眨眼时长的闭合时长期间)故意眨眼，又或通过(甚至无声地)发出通过唇部识别辨认的特殊许可(或验证)词句，触发对于左侧(或右侧)转向信号灯的激活。
还作为纯粹说明的示例，可考虑，对于功能的激活包括知晓显示于屏上的用于通知驾驶员CD燃料等级较低、门窗闭合不良、或功率损耗的消息。在该情况下，检测到驾驶员CD的头部朝向该屏的定向以及之后接着的检测到眼睛(在高于使眼睛保湿的眨眼时长的闭合时长期间)故意眨眼或检测到通过唇部识别辨认的特殊许可(或验证)词句可例如用于指示该知晓。
还作为纯粹说明的示例，通过驾驶员CD的头部朝向该屏的定向以及之后接着通过头部沿该定向的用于在该菜单中浏览的较小的(上/下和/或左/右)运动，可实施从显示于屏上的菜单中挑选选项。在该情况下，通过在专用于许可(或验证)的控制构件上按压，或者通过眼睛(在高于使眼睛保湿的眨眼时长的闭合时长期间)故意眨眼，又或通过(甚至无声地)发出通过唇部识别辨认的特殊许可(或验证)词句，可例如进行对于所挑选选项的验证。
还在可选实施例中，人/机界面IC可任选地包括学习部件MAP，所述学习部件配置用于记录下表征由分析部件MAN从图像数据中检测到的特殊运动和/或特殊表情的数据，所述特殊运动和/或所述特殊表情对应于根据交通工具V的使用者的请求挑选的功能。
理解到，这些学习部件MAP用于使使用者(优选地驾驶员CD)能够自己限定该驾驶员期望做出的用于触发对于所选择功能的激活的特殊运动和/或特殊表情。驾驶员CD因此具有个性化运动和/或个性化表情的可能性，以便这些个性化运动和/或个性化表情添加在由交通工具V的制造商默认预限定的运动和/或表情中。
限定该特殊运动和/或该特殊表情的学习数据因此由学习部件MAP存储在存储部件MS中。注意到，学习数据和“工厂”数据即使限定不同的运动和/或表情仍可与同一个功能相关联。但禁止限定相同的运动和/或表情的学习数据和“工厂”数据与不同的功能相关联这一可能性。
该学习选项还可用于修改与功能相关联的工厂预限定运动和/或工厂预限定表情，以便使所述工厂预限定运动和/或所述工厂预限定表情与驾驶员CD在该驾驶员想要激活该功能时习惯性自发做出的运动和/或表情准确适配。
该学习选项还可用于能够控制由在制造交通工具之后添加到交通工具V上的设备提供的新功能，这在所述人/机界面包括控制构件时通常困难甚至不可能。注意到，在设备的该添加选项中，还可考虑给存储于存储部件MS中的数据添加限定新关联(功能-预限定运动和/或预限定表情)的新的工厂数据。
重要的是还注意到，可从控制方法的角度考虑本发明，所述控制方法可尤其借助于如上文所述类型的人机界面IC实施。由根据本发明的方法的实施例提供的功能性与由上文所述的人/机界面IC提供的功能性相同，其中仅由所述方法提供的主功能性的组合如下所述。
该控制方法包括：
-分析表征所述交通工具V的驾驶员CD的一部分的图像数据以检测该驾驶员CD的身体的一部分的至少一个运动和/或该驾驶员CD的至少一个面部表情的步骤，
-将所检测到的运动和/或所检测到的表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较的步骤，所述数据是对应于交通工具V的可控功能进行存储的，以及
-在存在与预限定运动和/或预限定表情的成功比较的情况下激活对应的功能的步骤。

Claims (9)

1.一种用于控制由交通工具(V)的至少一个设备(Ei)确保的功能的人/机界面(IC)，其特征在于，所述人/机界面包括：分析部件(MAN)，所述分析部件配置用于分析表征所述交通工具(V)的驾驶员的一部分的图像数据以检测所述驾驶员的头部的至少一个运动和/或所述驾驶员的面部表情；比较部件(MCP)，所述比较部件配置用于将所检测到的所述运动和/或所检测到的所述表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较，所述数据是对应于功能进行存储的；以及控制部件(MCT)，所述控制部件配置用于当存在与预限定运动和/或预限定表情的成功比较时触发对于对应的功能的激活。
2.根据权利要求1所述的人/机界面，其特征在于，所述控制部件(MCT)配置用于当存在与预限定运动和/或预限定表情的成功比较时触发在所述交通工具(V)的屏上显示和/或由所述交通工具(V)的至少一个扬声器播放指示了要激活的所述对应的功能的消息，以及配置用于在存在由所述比较部件(MCP)进行的在新的所检测到的运动和/或新的所检测到的表情与预限定运动和/或预限定表情之间的新的成功比较之后触发对于所述对应的功能的激活，所述预限定运动和/或所述预限定表情的数据是对应于许可功能进行存储的。
3.根据权利要求1所述的人/机界面，其特征在于，所述控制部件(MCT)配置用于当存在与预限定运动和/或预限定表情的成功比较时触发在所述交通工具(V)的屏上显示和/或由所述交通工具(V)的至少一个扬声器播放指示了要激活的所述对应的功能的消息，以及配置用于在检测到所述驾驶员的手与安装于所述交通工具(V)中的控制构件之间相互作用之后触发对于所述对应的功能的激活。
4.根据权利要求1至3中任一项所述的人/机界面，其特征在于，每个运动从包括下述项的组中选择：头部朝向上方的旋转、头部朝向下方的旋转、头部朝向右方的旋转、头部朝向左方的旋转、头部朝向右上方的旋转、头部朝向左上方的旋转、头部朝向右下方的旋转、头部朝向左下方的旋转、眼睛在高于预限定阈值的时长期间的至少一个眨眼、眼睛朝向上方的移动、眼睛朝向下方的移动、眼睛朝向右方的移动、眼睛朝向左方的移动、眼睛朝向右上方的移动、眼睛朝向左上方的移动、眼睛朝向右下方的移动、眼睛朝向左下方的移动、眉毛的运动、唇部的至少一个运动。
5.根据权利要求1至4中任一项所述的人/机界面，其特征在于，所述人/机界面包括学习部件(MAP)，所述学习部件配置用于记录下表征由分析部件(MAN)从图像数据中检测到的特殊运动和/或特殊表情的数据，所述特殊运动和/或所述特殊表情对应于根据所述交通工具(V)的使用者的请求挑选的功能。
6.根据权利要求1至5中任一项所述的人/机界面，其特征在于，所述人/机界面包括获取部件(MAQ)，所述获取部件安装在所述交通工具(V)的车厢(H)中，定向成朝向所述驾驶员，并且配置用于获取所述驾驶员的一部分的由数字数据限定的图像。
7.一种交通工具(V)，所述交通工具包括至少一个确保至少一个功能的设备(Ei)，其特征在于，所述交通工具还包括根据上述权利要求中任一项所述的人/机界面(IC)。
8.根据权利要求7所述的交通工具，其特征在于，所述交通工具为机动类型的。
9.一种控制由交通工具(V)的至少一个设备(Ei)确保的功能的控制方法，其特征在于，所述控制方法包括：分析表征所述交通工具(V)的驾驶员的一部分的图像数据以检测所述驾驶员的头部的至少一个运动和/或所述驾驶员的至少一个面部表情的步骤；将所检测到的所述运动和/或所检测到的所述表情与表征身体的一部分或多部分的一个或多个预限定运动和/或一个或多个预限定面部表情的数据比较的步骤，所述数据是对应于功能进行存储的；以及当存在与预限定运动和/或预限定表情的成功比较时激活对应的功能的步骤。
CN201580061658.6A 2014-11-12 2015-10-23 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法 Active CN107107756B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1460891A FR3028221B1 (fr) 2014-11-12 2014-11-12 Interface homme/machine et procede de controle de fonctions d’un vehicule par detection de mouvement et/ou d’expression du conducteur
FR1460891 2014-11-12
PCT/FR2015/052864 WO2016075381A1 (fr) 2014-11-12 2015-10-23 Interface homme/machine et procédé de contrôle de fonctions d'un véhicule par détection de mouvement et/ou d'expression du conducteur

Publications (2)

Publication Number Publication Date
CN107107756A true CN107107756A (zh) 2017-08-29
CN107107756B CN107107756B (zh) 2020-02-14

Family

ID=52392027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580061658.6A Active CN107107756B (zh) 2014-11-12 2015-10-23 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法

Country Status (4)

Country Link
EP (1) EP3218219B1 (zh)
CN (1) CN107107756B (zh)
FR (1) FR3028221B1 (zh)
WO (1) WO2016075381A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796838A (zh) * 2019-12-03 2020-02-14 吉林大学 一种驾驶员面部表情的自动定位和识别系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211287A1 (de) * 2022-10-25 2024-04-25 Stellantis Auto Sas Fahrzeugfunktionssteuerung mittels von Mobilgerät erkannter Mimik

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041260A1 (en) * 2000-08-11 2002-04-11 Norbert Grassmann System and method of operator control
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
DE102011084664A1 (de) * 2011-10-18 2013-04-18 Robert Bosch Gmbh Verfahren zum Betrieb eines Navigationssystems, insbesondere Verfahren zur Steuerung von auf einem Anzeigemittel des Navigationssystems anzeigbaren Informationen
US20130261871A1 (en) * 2012-04-02 2013-10-03 Google Inc. Gesture-Based Automotive Controls
CN103403664A (zh) * 2010-12-22 2013-11-20 标致·雪铁龙汽车公司 包括触摸屏且手指在其上滑动激活相应图标的人机界面
CN103748533A (zh) * 2011-06-30 2014-04-23 约翰逊控股公司 用于以非接触的方式检测物体和/或人员以及由所述人员做出和/或执行的手势和/或操作程序的设备和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR101159962B1 (ko) * 2010-05-25 2012-06-25 숭실대학교산학협력단 표정인식을 이용한 휴대 기기의 상호작용 방법
DE102011084345A1 (de) * 2011-10-12 2013-04-18 Robert Bosch Gmbh Bediensystem und Verfahren zur Darstellung einer Bedienfläche
DE102012000274A1 (de) * 2012-01-10 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von Funktionen in einem Fahrzeug unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
DE102012020607B4 (de) * 2012-10-19 2015-06-11 Audi Ag Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041260A1 (en) * 2000-08-11 2002-04-11 Norbert Grassmann System and method of operator control
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
CN103403664A (zh) * 2010-12-22 2013-11-20 标致·雪铁龙汽车公司 包括触摸屏且手指在其上滑动激活相应图标的人机界面
CN103748533A (zh) * 2011-06-30 2014-04-23 约翰逊控股公司 用于以非接触的方式检测物体和/或人员以及由所述人员做出和/或执行的手势和/或操作程序的设备和方法
DE102011084664A1 (de) * 2011-10-18 2013-04-18 Robert Bosch Gmbh Verfahren zum Betrieb eines Navigationssystems, insbesondere Verfahren zur Steuerung von auf einem Anzeigemittel des Navigationssystems anzeigbaren Informationen
US20130261871A1 (en) * 2012-04-02 2013-10-03 Google Inc. Gesture-Based Automotive Controls

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796838A (zh) * 2019-12-03 2020-02-14 吉林大学 一种驾驶员面部表情的自动定位和识别系统

Also Published As

Publication number Publication date
EP3218219A1 (fr) 2017-09-20
FR3028221B1 (fr) 2018-03-16
FR3028221A1 (fr) 2016-05-13
WO2016075381A1 (fr) 2016-05-19
CN107107756B (zh) 2020-02-14
EP3218219B1 (fr) 2020-01-01

Similar Documents

Publication Publication Date Title
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN105270292B (zh) 控制对车辆内人机界面的访问的系统和方法
US9865258B2 (en) Method for recognizing a voice context for a voice control function, method for ascertaining a voice control signal for a voice control function, and apparatus for executing the method
US9738158B2 (en) Motor vehicle control interface with gesture recognition
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
CN110337396A (zh) 用于基于传感器数据操作车辆的系统及方法
US20160147233A1 (en) System and method for remote virtual reality control of movable vehicle partitions
US9052750B2 (en) System and method for manipulating user interface by 2D camera
CN108423004A (zh) 一种双目识别驾驶员状态检测系统及方法
CN106527694A (zh) 一种开启终端安全驾驶模式方法及终端
JP2017090613A (ja) 音声認識制御システム
KR101844666B1 (ko) 차량용 오토 테일 게이트의 구동장치
CN108688593A (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
JP7049453B2 (ja) 信頼されたモバイルコンピューティングデバイスに関連してビークル内カメラを使用するシームレスな運転者の認証
US20210072831A1 (en) Systems and methods for gaze to confirm gesture commands in a vehicle
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
WO2022224173A1 (en) Systems and methods for determining driver control over a vehicle
CN107107756A (zh) 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法
KR102263153B1 (ko) 동작 인식 장치 및 그 동작 방법
CN109606314B (zh) 一种汽车控制方法和汽车
CN109501716B (zh) 一种汽车控制装置和汽车
CN109606307B (zh) 一种汽车控制装置和汽车
EP4299399A1 (en) Method for determining a notification procedure, method for transitioning control of a vehicle, data processing apparatus and autonomous driving system
EP4113462A1 (en) Method for detecting state of presence of object in vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant