CN107250948A - 用于控制机动车辆的装备的系统和方法 - Google Patents

用于控制机动车辆的装备的系统和方法 Download PDF

Info

Publication number
CN107250948A
CN107250948A CN201580053340.3A CN201580053340A CN107250948A CN 107250948 A CN107250948 A CN 107250948A CN 201580053340 A CN201580053340 A CN 201580053340A CN 107250948 A CN107250948 A CN 107250948A
Authority
CN
China
Prior art keywords
gesture
driver
equipment
control
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580053340.3A
Other languages
English (en)
Inventor
M.伊尔齐克
F.奥特朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Comfort and Driving Assistance SAS
Original Assignee
Valeo Comfort and Driving Assistance SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Comfort and Driving Assistance SAS filed Critical Valeo Comfort and Driving Assistance SAS
Publication of CN107250948A publication Critical patent/CN107250948A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Image Analysis (AREA)
  • Thermal Sciences (AREA)

Abstract

本发明的系统的特征在于，车辆包括平视类型的显示器(34)，所述系统包括手势识别设备(26)，其可以提供表示车辆的驾驶员做出的手势的数据，以及用于处理所述数据的控制模块(28)，所述控制模块(28)被设计为当接收到表示驾驶员做出的手势的数据时，能够控制至少一个视觉反馈(30、32)在所述显示器上的显示。

Description

用于控制机动车辆的装备的系统和方法
技术领域
本发明涉及控制机动车辆的至少一个装备的系统。
背景技术
传统机动车辆设置有多个装备和功能，用于改善驾驶员的舒适性或安全性，包括例如加热和空调系统、汽车音响、免提电话设备、定位和道路导航系统等。这些装备的增加导致车辆中被设计为调节或配置这些多个功能和装备的控制器的数量的增加，所述控制器通常采用推压按钮、旋钮等形式。
存在于转向轮附近、仪表盘附件、或在乘客舱室的中间部分中的较多数量的控制器可导致安全问题的增加，因为驾驶员不得不把视线移开道路，以便找到与驾驶员希望调节的功能或装备有关的控制器，并随后根据他希望的调节方式对控制器进行调节。
在现有技术中，手势识别设备不能可靠地识别做出的手势，部分是因为所使用的识别技术，部分是因为驾驶员做出的手势的不准确性。因而，这些设备的操作不能满足驾驶员的安全性和舒适性要求。
发明内容
本发明旨在克服已知的机动车辆控制系统的至少一些缺陷。
特别地，本发明还旨在提供一种控制系统，其包括用于告知驾驶员其做出的手势的正确或不正确识别的手势识别设备。
本发明还旨在提供一种控制系统，其允许驾驶员能够在不将视线移开道路的情况下调节车辆的装备和功能。
为了这一目的，本发明涉及一种用于控制机动车辆的至少一个装备的系统，所述车辆包括平视类型的显示设备，所述系统包括手势识别设备，其能够提供表示车辆的驾驶员做出的手势的数据，以及控制模块，其能够处理所述数据，其特征在于，所述控制模块配置为当其接收到表示驾驶员做出的手势的所述数据时，控制至少一个视觉反馈在所述显示设备上的显示。
采用术语“手势”意思是意指特定静态位置的手语和意指空间中的运动的手势二者。
采用术语“视觉反馈”指在显示设备上要显示给驾驶员的信息，其使得驾驶员能够被告知做出的手势的正确识别。
本发明还使得驾驶员能够得益于有关做出的手势的识别或未识别的视觉反馈，以便在驾驶员做出的手势实际上已经被识别时，驾驶员不会错误地认为他的手势没有被系统识别，并且，在驾驶员做出的手势没有被识别时，不会错误地认为他的手势已经被识别。本发明还可用于补偿由手势检测或由驾驶员对手势的实际执行而导致的现有技术系统的不准确性。
另外，因为这一视觉反馈设置在平视显示器上，因此驾驶员可控制他的装备而不需把视线移开道路。
有利地并根据本发明，手势识别设备能够提供表示车辆驾驶员的手部做出的手势的数据。
根据本发明的这一方面，手势识别关于驾驶员手部发生，手部是出于姿势识别目的最易于识别的驾驶员身体的部分之一。而且，手部可容易地用于做出任何手语(手部握紧、手部打开、弯曲/打开的手指的不同组合等)和各种手势(在三维空间中)。最后，通过利用他的手部，驾驶员可做出手势而无需把视线移开道路。
有利地并根据本发明的这一最后方面，控制模块配置为在其接收到表示手势识别设备检测到驾驶员的手部存在的数据时，控制称为第一视觉反馈的一视觉反馈在显示设备上的显示。
根据本发明的这一方面，这一第一视觉反馈使得驾驶员能够(甚至在他做出手势之前)知道是否检测到他的手部的存在，使得他可以确保后续做出的可能手势可以被识别。这是因为，如果驾驶员在他的手没有被检测到到时做出手势，则他不能知道他的手部或手势是否已经被检测。这一第一视觉反馈使得这一问题被克服。
有利地并根据本发明，控制设备配置为控制辅助图像在显示设备上的显示，以告知驾驶员能被手势识别设备识别的各种手势类型。
根据本发明的这一方面，驾驶员可以从辅助图像获益，辅助图像提醒他关于他可做出的、并将被手势识别设备识别的全部或一些手势。这一辅助图像仅在驾驶员手部被检测到时出现，以便避免在其他时间由于在显示设备上显示可用手势而干扰驾驶员，这可能会使该设备过度拥挤。
有利地并根据本发明，控制模块配置为在其接收到表示从手势识别设备能识别的多个手势类型中识别出驾驶员做出的手势类型的数据时，控制被称为第二视觉反馈的一个视觉反馈在显示设备上的显示。
根据本发明的这一方面，控制模块通过使用第二视觉反馈提供有关驾驶员做出的手势的检测的信息。仅在这一手势形成由手势识别设备识别的手势的部分时、且因此在其包括在这一设备可识别的手势类型中时，这一手势才是有意义的。显示模块因此使驾驶员确认他做出的手势已经被正确识别。
有利地并根据本发明，控制模块配置为控制第一视觉反馈和第二视觉反馈的显示。
根据本发明的这一方面，驾驶员可在知道以下情况时做出手势：
-他的手部是否已经实际上被检测到，从而如果他的手部未被检测到时他可避免做出手势，该手势不会被检测到；
-该手势是否已经实际上被检测到，从而可避免他多次重复他的手势，而不知道其是否已经被检测到。
这一组合可很大程度上增加驾驶员手势的效率，以使驾驶员免于在检测不成功时、或在检测已经发生但没有视觉反馈的确认(这会导致他不必要地重复已经被识别的手势)时，由于做出不必要的手势而减少他对道路和他的行程的注意。
有利地并根据本发明，控制模块配置为控制车辆的至少一个装备，所述装备与来自手势识别设备能识别的多个手势类型中的驾驶员做出的手势类型相关联。
根据发明的这一方面，控制模块接收来自识别设备的数据，并使得能够进行视觉反馈在显示设备上显示以及控制信号朝向车辆装备传输二者，以执行关联于检测的手势的动作。
有利地并根据本发明，控制模块包括数据库，数据库包括手势识别设备可识别的手势类型。
有利地并根据本发明，手势识别设备包括非接触的检测器，其配置为检测驾驶员做出的手势。
有利地并根据本发明的这一最后提及的方面，非接触检测器是以下检测器中的一种或它们的组合：
-视频摄像头；
-飞行时间摄像头；
-超声检测器；
-红外检测器；
-电容式检测器。
有利地并根据本发明，控制模块配置为控制以下装备中的至少一个装备：
-车辆空调/加热系统，
-车辆的汽车音响，
-免提电话设备，
-定位和道路导航系统，例如GPS系统。
本发明还涉及一种用于控制机动车辆的至少一个装备的方法，其特征在于，所述车辆包括平视类型的显示设备，所述方法依次包括步骤：识别车辆的驾驶员做出的手势的步骤，传输表示所述手势的数据的步骤，处理所述数据的步骤，以及控制表示在处理步骤中处理的数据的至少一个视觉反馈在显示设备上的显示的步骤。
有利地，根据本发明的方法通过根据发明的系统执行。
有利地，根据本发明的系统执行根据本发明的方法。
附图说明
通过细读以下仅以非限制性方式提供并参考附图的描述，本发明的其它目的、特征和优势将显而易见，在附图中：
-图1是设置有根据本发明的实施例的控制系统的车辆内部的示意图；
-图2是根据本发明的实施例的控制系统的示意图；
-图3是根据本发明的实施例的控制系统的示意图。
具体实施方式
应理解，附图针对应用本发明的目的以详细方式示出本发明，必要时，所述附图显然可用于更具体地限定本发明。
图1是设置有根据本发明的系统的车辆内部10的示意图。车辆驾驶员由他的头部12表示，头部面向车辆的前风挡14，图像16通过平视(head-up)显示器显示在前风挡上。在这一情况下，图像16直接显示在风挡14上，但是，其可例如显示在放置于车辆驾驶员12和风挡14之间的半透明屏幕上。
在本发明的情况中，并且出于控制车辆的不同装备(例如空调/加热、汽车音响或免提电话设备)的目的，驾驶员12可使用其手部18做出不同的手势(gesture)和/或手语(sign)(二者由术语“手势”涵盖)。每个手势关联于一个装备和/或要传输至这一装备的控制信号，例如，打开或关闭空调/加热、提高或降低温度、回答电话呼叫等。驾驶员12使用手部18而不是其身体的其它部分(头部、眼部跟随等)特别地使得驾驶员12能够在不把视线移开道路的情况下做出手势。
手势通过安装在车辆10中的手势识别设备识别。该手势识别设备包括非接触式检测器20，例如摄像头(视频摄像头或飞行时间摄像头)、超声或红外检测器、电容式检测器等(或前述这些示例的组合)，其例如如图1所示地放置在风挡的顶部和中间。图1还显示摄像头20的视场22，当根据本发明的该实施例使用该系统时，驾驶员12的手部18置于该视场中。
根据本发明，手势识别设备对驾驶员12的手势的识别致使数据传输至控制模块，该控制模块继而可控制在显示设备上的视觉反馈23的显示。
图2是根据本发明的实施例的控制系统24的示意图，该系统包括以26标记的手势识别设备和以28标记的控制模块。包括图1的检测器20的手势识别设备26传输表示车辆驾驶员12做出的手势的数据至控制模块28。控制模块28随后可控制视觉反馈30或32在显示设备34上的显示，且还可控制车辆的一个或多个装备36。
实际中，手势识别设备26和控制模块28可以是两个分离的部件，或可以形成同一部件(例如诸如计算机)的部分，控制模块28例如是以软件形式安装在计算机中的模块。
手势识别设备26使得能够识别由检测器20检测的驾驶员12的手部18，并且能够识别由这一手部做出的任意手势。由识别设备26传输的表示数据包含使得控制模块28能够控制视觉反馈30、32在显示设备34上的显示以及控制装备36的信息。在本发明的各种实施例中，由识别设备26发送的数据类似于原始数据，例如从飞行时间摄像头获得的深度数据，其可控制模块28解译从而执行其控制信号；替代地，识别设备26发送其本身已部分解译的更丰富的数据，例如识别的手势的类型、做出手势持续的时间等。
控制模块28将这些识别的手势翻译成控制信号，用于控制一个或多个视觉反馈30、32在显示设备34上的显示以及用于控制装备36二者。为了每个手势与控制信号的关联，控制模块28有利地包括数据库38，其包括可由手势识别设备26识别的不同类型的手势。每个手势关联于由车辆制造商预先编制的、或由车辆用户在系统配置期间记录的功能或装备36。
控制模块28随后传输控制信号。发送至显示设备的用于视觉反馈的控制信号通过链路40(其可以是有线的或无线的)传输。在接收到该控制信号时，显示设备34显示一个或多个视觉反馈30、32。例如，该视觉反馈30、32可以是：
-第一视觉反馈30，其用于告知驾驶员12手势识别设备26正确识别出驾驶员12的手部18的存在。这使得驾驶员12不能做出手势，直到他的手部18已经被手势识别设备26检测到。有利地，该第一视觉反馈30是不显眼的，从而避免过度拥挤显示设备34显示的图像16；例如，其可以是显示设备34上显示的整个图像16周围的弱光的晕圈(diffused halo)或照亮的轮廓，其使得可以提供不重叠在显示设备34上的图像16的其它信息上的视觉反馈。在图2中，第一视觉反馈30以具有圆角的虚线矩形表示，其沿着显示设备的轮廓延伸，如弱光的晕圈或照亮的轮廓可能实现的。
-第二视觉反馈32可告知驾驶员12对做出的手势的正确识别，所述手势是手势识别设备26可识别的手势中的一个。有利地，表示关联于这一手势的装备36的图标显示为第二视觉反馈32。例如，在图2中，第二视觉反馈32由太阳图标表示，其可对应负责加热的车辆的装备，且其使得驾驶员12能够检查检测到的控制信号是否是他做出手势时意图的一个。
为了确保驾驶员12不忘记他能够做出以控制装备36的手势的类型，第一视觉反馈30可以使用辅助图像而伴随有可用手势的显示，所述辅助图像设置有表示做出一手势的手部的图标，且如果必要，设置有表示关联于这一手势的装备的图标。可以一检测到手部就显示这一辅助图像，或在优选为在3到4秒的时间延迟之后显示这一辅助图像。
控制模块28传输的另一控制信号是待发送到关联于驾驶员做出的手势类型的一个或多个装备36的控制信号。可以由系统24的控制模块28控制的装备36的示例例如是空调/加热系统42、汽车音响43、免提电话设备44、定位和道路导航系统45等。手势可以同时控制多于一个装备36；例如，激活空调/加热42的控制信号也可以控制车辆窗口的关闭。
到这一装备36的控制信号可以在两个阶段中被执行：驾驶员可做出意指特定静态位置的手语，和/或意指空间中的运动的手势。手语可关联于要被控制的装备36，且在识别这一手语之后做出的手势可执行关联于这一装备的特定功能。例如，打开的手部(换言之，五个手指打开)可以是关联于加热/空调42的手语，且向上移动的手势随后指示驾驶员12想提高温度，而向下的手势指示驾驶员12想降低温度。
手语的其它示例、其关联的装备和可用的功能有：
-空调/加热42：手语：打开的手部；功能：打开、关闭、提高/降低温度，循环空气等。
-汽车音响43：手语：握紧的拳头；功能：静音、提高/降低音量、改变无线电台等。
-免提电话设备44：手语：拇指和食指打开；功能：静音、接听电话、挂断电话等。
作为通用的规则，关联于这些功能的手势应该是简单的，以避免驾驶员12的任意分心。例如，从右向左的移动可用于接听电话，而从左向右的移动可用于挂断电话。
与辅助图像使得驾驶员12能够被告知关联于每一个装备的手势的方式类似，在显示设备34上的辅助图像还可用于告知驾驶员12关联于选定的装备的功能的手势。
图3是根据本发明的实施例的方法的示意图，其形式为包括关联至驾驶员12的动作的步骤的流程图。第一步骤是初始休止状态46，其中，关联于系统的方法未被启用，且系统没有进行动作。这一步骤链接至检测手部的步骤48，其形式为决定框，包括测试：“检测到驾驶员12的手部18？”。如果答案是否(以字母N表示)，则方法循环到初始状态46，且如果答案是是(以字母O表示)，则方法进入控制第一视觉反馈的步骤50。该测试链接到通过手势检测设备26检测手部18，而非手部18的实际存在：如果驾驶员12将他的手部18放置在识别设备26的前方，但是其未被检测到时，则方法循环至初始状态46，直到检测已经发生。
控制第一视觉反馈的步骤50随后使得驾驶员能够被告知他的手部已实际上被检测到。这一控制步骤包括将由手势识别设备26提供的表示数据传输到控制模块28的步骤51；通过控制模块28处理所述数据的步骤52；和控制第一视觉反馈30在显示设备34上显示的步骤53，其对应于检测到驾驶员12的手部18的存在。
这一控制第一视觉反馈的步骤50之后是等待驾驶员12做出手势的步骤54。其链接至从手势识别设备26可识别的多个手势类型中识别驾驶员12做出的所述手势的步骤56，这一步骤采用决定框的形式，包括测试：“检测到已知手部18的手势？”如果答案是否，则方法进入检查手部18存在的步骤58。如果答案是是，则方法执行两个同时的控制步骤，即控制第二视觉反馈32的步骤60和控制设备36的步骤62。
在更通常的意义上，检测手部的步骤48和从手势识别设备26可识别的多个手势类型中识别驾驶员12做出的手势的步骤56是在根据本发明的方法内识别驾驶员做出的手势的步骤的两种形式。
检查手部18存在的步骤58可用于检查驾驶员12的手部18是否仍然由识别设备26检测到。如果是这种情况，则方法循环至等待步骤54；否则，其返回到初始状态46。
在这一实施例中，同时进行两个控制步骤：控制第二视觉反馈32的步骤60类似于控制第一视觉反馈的步骤50：其包括将由手势识别设备26提供的表示数据传输至控制模块28的步骤51’，通过控制模块28处理所述数据的步骤52’，以及控制对应于检测到驾驶员12做出的手势的第二视觉反馈32在显示设备上的显示的步骤53’。
控制装备36的步骤58对应于通过控制模块28将控制信号发送至关联于所检测的手势的一个或多个装备36。

Claims (11)

1.一种用于控制机动车辆(10)的至少一个装备(36)的系统，所述车辆(10)包括平视类型的显示设备(34)，所述系统包括手势识别设备(26)，其能够提供表示车辆的驾驶员(12)做出的手势的数据，以及控制模块(28)，其能够处理所述数据，其特征在于，所述控制模块(28)配置为当其接收表示驾驶员(12)做出的手势的所述数据时，控制至少一个视觉反馈(23、30、32)在所述显示设备(34)上的显示。
2.根据权利要求1所述的控制系统，其特征在于，所述手势识别设备(26)能够提供表示车辆的驾驶员(12)的手部(18)做出的手势的数据。
3.根据前一权利要求所述的控制系统，其特征在于，所述控制模块(28)配置为在其接收到表示通过所述手势识别设备(26)检测到驾驶员(12)的手部(18)的存在的数据时，控制称为第一视觉反馈(30)的一视觉反馈在所述显示设备(34)上的显示。
4.根据前述权利要求任一项所述的控制系统，其特征在于，所述控制设备(28)配置为控制辅助图像在所述显示设备(34)上的显示，以告知驾驶员(12)能被所述手势识别设备(26)识别的各种手势类型。
5.根据前述权利要求任一项所述的控制系统，其特征在于，所述控制模块(28)配置为在其接收到表示从所述手势识别设备(26)能识别的多个手势类型中识别出驾驶员(12)做出的手势类型的数据时，控制被称为第二视觉反馈(32)的一视觉反馈在显示设备(34)上的显示。
6.根据前述权利要求任一项所述的控制系统，其特征在于，所述控制模块(28)配置为控制车辆的至少一个装备(36)，所述装备(36)与在所述手势识别设备(26)能识别的多个手势类型中的驾驶员(12)做出的手势类型相关联。
7.根据前述权利要求任一项所述的控制系统，其特征在于，所述控制设备(28)包括数据库(38)，所述数据库包括所述手势识别设备(26)能识别的手势类型。
8.根据前述权利要求任一项所述的控制系统，其特征在于，所述手势识别设备(26)包括非接触检测器(20)，所述检测器配置为检测驾驶员做出的手势。
9.根据前述权利要求任一项所述的控制系统，其特征在于，所述非接触检测器(20)是以下检测器中的一种或它们的组合：
-视频摄像头；
-飞行时间摄像头；
-超声检测器；
-红外检测器；
-电容式检测器。
10.根据前述权利要求任一项所述的控制系统，其特征在于，所述控制模块(28)配置为控制以下装备中的至少一个装备(36)：
-车辆空调/加热系统，
-车辆的汽车音响，
-免提电话设备，
-定位和道路导航系统，例如GPS系统。
11.一种用于控制机动车辆(10)的至少一个装备(36)的方法，其特征在于，所述车辆(10)包括平视类型的显示设备(34)，所述方法依次包括：
识别车辆的驾驶员(12)做出的手势的步骤(48、56)，
传输表示所述手势的数据的步骤(51、51’)，
处理所述数据的步骤(52、52’)，以及
控制表示在处理步骤(52、52’)中处理的数据的至少一个视觉反馈在显示设备(34)上的显示的步骤(53、53’)。
CN201580053340.3A 2014-09-30 2015-09-29 用于控制机动车辆的装备的系统和方法 Pending CN107250948A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1402203 2014-09-30
FR1402203A FR3026502A1 (fr) 2014-09-30 2014-09-30 Systeme et procede de commande d'un equipement d'un vehicule automobile
PCT/FR2015/052592 WO2016051071A1 (fr) 2014-09-30 2015-09-29 Système et procédé de commande d'un équipement d'un véhicule automobile

Publications (1)

Publication Number Publication Date
CN107250948A true CN107250948A (zh) 2017-10-13

Family

ID=52003867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053340.3A Pending CN107250948A (zh) 2014-09-30 2015-09-29 用于控制机动车辆的装备的系统和方法

Country Status (6)

Country Link
US (1) US20170228035A1 (zh)
EP (1) EP3201728A1 (zh)
JP (1) JP2018501998A (zh)
CN (1) CN107250948A (zh)
FR (1) FR3026502A1 (zh)
WO (1) WO2016051071A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110632938A (zh) * 2018-06-21 2019-12-31 罗克韦尔柯林斯公司 机械输入设备非接触操作的控制系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797172B2 (en) * 2015-03-06 2023-10-24 Alibaba Group Holding Limited Method and apparatus for interacting with content through overlays
FR3056369B1 (fr) * 2016-09-22 2020-01-31 Thales Systeme de communication et procede de communication associe
JP6541910B1 (ja) * 2019-04-17 2019-07-10 京セラ株式会社 電子機器、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110298700A1 (en) * 2010-06-04 2011-12-08 Sony Corporation Operation terminal, electronic unit, and electronic unit system
CN102575943A (zh) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 对于机动车辆的基于手势的信息和命令输入
CN103748533A (zh) * 2011-06-30 2014-04-23 约翰逊控股公司 用于以非接触的方式检测物体和/或人员以及由所述人员做出和/或执行的手势和/或操作程序的设备和方法
WO2014095070A1 (en) * 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh Input device for a motor vehicle

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7770136B2 (en) * 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US20090109036A1 (en) * 2007-10-29 2009-04-30 The Boeing Company System and Method for Alternative Communication
JP2011525283A (ja) * 2008-06-18 2011-09-15 オブロング・インダストリーズ・インコーポレーテッド 車両インターフェース用ジェスチャ基準制御システム
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
US20130144583A1 (en) * 2011-09-02 2013-06-06 Saudi Arabia Oil Company Hyper-dimensional simulation for reservoir engineering and geosciences
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
US9639262B2 (en) * 2012-01-02 2017-05-02 Microsoft Technology Licensing, Llc Self-revealing gesture
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
EP2853989A1 (en) * 2012-05-21 2015-04-01 Huawei Technologies Co., Ltd. Contactless gesture-based control method and apparatus
DE102012216193B4 (de) * 2012-09-12 2020-07-30 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung einer Kraftfahrzeugkomponente mittels Gesten
JP6015547B2 (ja) * 2013-05-09 2016-10-26 株式会社デンソー 視線入力装置
US10409382B2 (en) * 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102575943A (zh) * 2009-08-28 2012-07-11 罗伯特·博世有限公司 对于机动车辆的基于手势的信息和命令输入
US20110298700A1 (en) * 2010-06-04 2011-12-08 Sony Corporation Operation terminal, electronic unit, and electronic unit system
CN103748533A (zh) * 2011-06-30 2014-04-23 约翰逊控股公司 用于以非接触的方式检测物体和/或人员以及由所述人员做出和/或执行的手势和/或操作程序的设备和方法
WO2014095070A1 (en) * 2012-12-21 2014-06-26 Harman Becker Automotive Systems Gmbh Input device for a motor vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110632938A (zh) * 2018-06-21 2019-12-31 罗克韦尔柯林斯公司 机械输入设备非接触操作的控制系统

Also Published As

Publication number Publication date
US20170228035A1 (en) 2017-08-10
WO2016051071A1 (fr) 2016-04-07
JP2018501998A (ja) 2018-01-25
FR3026502A1 (fr) 2016-04-01
EP3201728A1 (fr) 2017-08-09

Similar Documents

Publication Publication Date Title
US11243613B2 (en) Smart tutorial for gesture control system
US9600728B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
CN107250948A (zh) 用于控制机动车辆的装备的系统和方法
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US10960762B2 (en) Vehicle having an operator control and display device and method for operating such a vehicle
US9522633B2 (en) Driver customizable blind spot display method and apparatus
US9524032B2 (en) Method and device for operating a motor vehicle component by means of gestures
US20150352953A1 (en) Vehicle control system with mobile device interface
US20170286785A1 (en) Interactive display based on interpreting driver actions
US10627913B2 (en) Method for the contactless shifting of visual information
CN105825621A (zh) 用于驱动至少部分自动行驶或可部分自动行驶的汽车的方法和装置
DE102014116292A1 (de) System zur Informationsübertragung in einem Kraftfahrzeug
CN102575943A (zh) 对于机动车辆的基于手势的信息和命令输入
US20140270382A1 (en) System and Method for Identifying Handwriting Gestures In An In-Vehicle Information System
CN103853462A (zh) 车辆内使用手形痕迹识别提供用户界面的系统和方法
US20170315824A1 (en) Intelligent tutorial for gestures
JP2014102674A (ja) ジェスチャー入力装置
US10114474B2 (en) Method and device for operating an input device
US11978287B2 (en) Information provision system, information terminal, and information provision method
CN109519079B (zh) 交通工具的机载系统和发送命令到停靠区接入系统的方法
US20200126000A1 (en) Car sharing service apparatus and method for operating the same
WO2015153835A1 (en) Systems and methods for the detection of implicit gestures
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
KR102263153B1 (ko) 동작 인식 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171013