CN105365707A - 车辆驾驶员识别 - Google Patents

车辆驾驶员识别 Download PDF

Info

Publication number
CN105365707A
CN105365707A CN201510462912.5A CN201510462912A CN105365707A CN 105365707 A CN105365707 A CN 105365707A CN 201510462912 A CN201510462912 A CN 201510462912A CN 105365707 A CN105365707 A CN 105365707A
Authority
CN
China
Prior art keywords
gesture
user
vehicle
hand
joint action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510462912.5A
Other languages
English (en)
Other versions
CN105365707B (zh
Inventor
马哈茂德·A·阿布纳斯尔
德夫·辛格·科克哈尔
沃尔特·约瑟夫·塔拉蒙蒂
谢恩·埃尔沃特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN105365707A publication Critical patent/CN105365707A/zh
Application granted granted Critical
Publication of CN105365707B publication Critical patent/CN105365707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141—Activation of instrument input devices by approaching fingers or pens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B60W2420/905—Single sensor for two or more measurements the sensor being an xyz axis sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

基于从一个或多个运动传感器中接收的数据来检测用户手势。从手势中识别用户手势属性，包括手定向、手腕关节动作、和手指关节动作中的至少一个，该手势包括用户的多个手指中的每一个的各自运动。基于手势属性，识别用户和要在车辆中执行的关节动作。在车辆中执行关节动作以基于手势控制至少一个车辆部件。

Description

车辆驾驶员识别
相关申请的交叉引用
本申请要求美国临时申请号为62/035,611、申请日为2014年8月11日的专利申请的优先权，其通过引用整体在此并入本公开。
背景技术
当多个驾驶员使用车辆(比如小汽车)时，每个驾驶员(即，操作者)可以具有不同的车辆设置的偏好。生物识别系统可以并入到车辆中，以使汽车控制器能够识别当前的驾驶员(或预测当前的驾驶员的身份)——也被称为“用户”或“操作者”——和自动地调整车辆设置以匹配所识别的用户的偏好。例如，生物识别系统可以基于指纹数据、视网膜数据、面部特征等识别车辆操作者。其它系统可以使用在特定车辆元件(比如方向盘)周围执行的特定手势以调整所选择的车辆设置。然而，目前的系统至少缺乏关于识别特定操作者的特定手势。
附图说明
图1是车辆手势系统的框图；
图2是用于基于手势识别用户和执行关节动作的示例性过程的框图；
图3是用于从多个手势中选择单独关节动作的示例性过程的框图；
图4是执行手势的车辆用户的示例性视图；
图5是执行多个手势的一对车辆用户的示例性视图。
具体实施方式
可以对车辆控制器进行编程来解决当同样的手势通过不同的车辆乘员执行时的模糊性。例如，如果手势被方向盘附近的车辆驾驶员执行，同时同样的手势被窗口附近的车辆乘客执行，则控制器可以被编程来识别要进行调整的车辆元件，例如方向盘或窗口。此外，控制器可被编程来确定哪些乘员的设置应该被应用。控制器因此提供一种机构以区别执行同样的手势的不同操作者，其中，否则通过第一操作者执行的手势甚至可能导致第二、不同的操作者的设置被应用，给第一操作者造成不便。作为另一示例，同样的手势可以与两个不同的关节动作有关。例如，特定手势可以被第一驾驶员使用来调整车辆后视镜。同时，同样的特定手势也可以被第二、不同的操作者使用来调整车辆音量控制。有利的是，控制器可以被编程来区别这样的手势。
人们已经认识到，即使对于给定的手势，每个人通常具有明确表达手势的不同方式。作为一个示例，在执行手势时手和手指的定向(vectoring)可以在个人之间变化。这些变化可以被学习和有利地用来识别车辆操作者。车辆设置可以根据识别的手势(即，与特定个人相关的手势)而进行调整。例如，手和手指的定向以及手指关节动作(fingerarticulation)可以用来触发一个或多个输出。此外，手势可以根据上下文学习，以便如果多个车辆乘员同时执行同样的手势则控制器可以知道超驰哪个手势。最后，手势可以根据上下文学习，以便共用的手势可以用于驾驶员的识别以及用于调整车辆设置。
在一个示例中，旋钮旋转手势可以用来识别和区别不同的车辆操作者。旋钮旋转手势可以包括通过车辆操作者对在车辆的中央控制台上的任何旋钮的旋转，或对在中央控制台上的特定旋钮(例如，娱乐系统音量旋钮)的旋转。当执行旋钮旋转时控制器可以学习每个车辆操作者的特定手定向，并使用它来识别和区分不同的操作者。例如，在旋转旋钮时每个操作者的手定向和手指关节动作在旋转旋钮时可以在车辆操作过程中被反复学习。可选择地，该定向可以在不同的校准过程被学习，比如当(或每当)操作者首次进入车辆时。作为非限制性的示例，通过特定的操作者所执行的手势的各种属性可以被学习，例如操作者的利手，、当开始旋钮旋转时的进入的角度，、用来旋转旋钮的许多手指数目(操作者的“足迹”)，)、旋转的速度，、以及旋转的程度(例如，相对于旋转的开始点的结束点)。以这种方式，通过不同的车辆操作者所执行的给定的手势的特定属性可以被学习。另外，通过给定的车辆操作者所执行的不同的手势的特定属性也可以被学习。例如，除了学习旋钮旋转的给定的用户的旋钮旋转方式以外，执行滑动手势的用户的特定方式也可以被学习，比如利手(例如，操作者是从左到右还是从右到左滑动)，、滑动的进入的角度，、滑动的开始点和结束点，、滑动的轨迹，等。
车辆控制系统可以包括控制器中用于手势识别的程序设计。此外，控制器——其是包括处理器和存储通过处理器可执行的指令的存储器的计算机——可以被编程来基于手势识别识别用户。控制器存储器可以包括存储多个车辆操作者的用户配置文件的数据库。每个操作者的用户配置文件可以包括用于各种车辆元件的用户特定设置。例如，关于用户的优选的空调设置、窗口设置、收音机设置等的设置可以被存储。此外，用户配置文件可以包括不同的手势的用户的特定手定向。响应于手势，控制器可以使用各种手势属性以识别手势。控制器可以使用识别的手势以及在手势被执行时的手定向以通过查询数据库识别用户。
除了使用识别操作者的手势之外，手势也可以与关节动作有关，由此控制器可以被编程来识别关节动作。数据库可以包括活动参数文件，其中手势和它们相关的关节动作的详细列表被存储。例如，在第一方向上的滑动手势可以与用来增加车辆的娱乐系统的音量设置的关节动作相关联。在另一示例中，在相反的方向上的滑动手势可以与用来降低车辆的娱乐系统的音量设置的关节动作相关联。
在一个示例中，滑动手势可以用来调整娱乐系统音量。例如，响应于车辆舱室中在半空中从左到右滑动的手，车载式娱乐系统的音量可以增加。控制器可以学习每个车辆操作者的特定手定向，并使用它来识别和区别不同的操作者。在旋转旋钮时每个操作者的手定向和手指关节动作可以被学习。例如，比如操作者的利手、开始旋钮旋转时的进入角度、用来旋转旋钮的手指数目(操作者的“足迹”)等这样的属性可以被学习。
因此，当手势被执行时，控制器可以基于手势属性识别与手势相关联的关节动作，同时基于当手势被执行时的手定向识别执行手势的操作者。因此，当操作者接近娱乐系统旋钮来旋转它时，控制器可以基于旋钮被接近的方式识别操作者和可以自动地选择存储在给定的操作者的用户配置文件中的优选的无线电台。此外，娱乐系统的音量设置可以基于旋钮旋转的方向性而增加或降低。
在一些实施例中，通过除了操作者以外的其它车辆乘员执行的手势可以被给予较低的优先级和/或被忽略。例如，基于滑动手势，车辆操作者可以被识别并且可以确定操作者希望选择特定的无线电台。通过车辆乘客执行的类似的滑动手势可以被认为是由替代用户执行，这是由于同样的手势的手定向与乘客而不是操作者相关联。因此，控制器可以确定无线电台的选择由替代用户做出。为了避免混淆和混乱，替代用户的无线电台选择可以暂时地被忽略。
以这种方式，手势可以用来执行车辆中的关节动作，同时手势的关节动作——包括在执行手势时的特定手定向和手指定向——可以用来识别车辆操作者。这允许操作者设置以较少的混乱进行调整。此外，通过识别操作者和调整通过不同的车辆乘员执行的手势的权重，在多个车辆乘员执行用于调整车辆设置的各种手势时导致的混乱被降低。总的来说，车辆操作者的车内体验被改善。
图1示出了示例性车辆的手势系统100。系统100包括车辆101。车辆101包括总线102、车辆部件105、中央控制台130、舱室空间145、和控制器155。
例如包括控制器局域网(CAN)总线等这样的已知总线102可以用来提供各种通信，包括从控制器155到控制台130的数据，以及从控制器155到车辆部件105的一个或多个指令。
车辆部件105可以包括方向盘110、气候控制系统115、车窗120和娱乐系统125。方向盘110可以是任何合适的类型，并可以根据用户的偏好调整。气候控制系统115，例如HVAC(暖通空调)系统，可以维持车辆101中优选的温度。车窗120可以以任何合适方式选择性地打开或关闭。娱乐系统125可以包括，例如，收音机、用于便携式设备的连接端口、多个扬声器等。
中央控制台130包括显示器135和多个旋钮和按钮140。显示器135可以是任何合适的类型，例如，LCD屏幕，并且可以显示各种信息。例如，显示器可以显示当前的无线电台、演奏的歌曲和艺术家，和/或通过气候控制系统115所控制的当前的温度。
旋钮和按钮140可以选择性地调整任何或全部的车辆部件105。例如，一个按钮可以激活气候控制系统115，而另一个激活车窗120，和旋钮可以调整娱乐系统125的音量。
舱室空间145包括座椅占用传感器150。座椅占用传感器150确定前排座椅中的一个或两个是否被占用。如果只有一个座位被占用，则用户手势必须来自驾驶员。如果两个都被占用，则控制器155将确定手势是通过驾驶员还是乘客执行。
控制器155包括用来识别一个或多个手势的程序设计。控制器155从一个或多个运动传感器162中通过例如总线102接收输入。控制器155记录手势属性，包括手定向、手腕关节动作、手指关节动作、车辆内的位置、手势相对于车辆部件的位置、手势开始处的运动、和手势结束处的运动。
控制器155也被编程来执行用户识别。控制器155收集手势属性和基于其确定用户的身份。例如，每个人具有控制器155可以识别和存储的某些独特的手势属性。例如，用户的手定向、手掌运动、和/或手指关节动作可以产生对实质上用户独有的手势信号。基于这样的手势属性，控制器155可以识别特定的用户，即使当多个用户正在执行手势时。
控制器155进一步被编程来识别与检测到的手势相关联的关节动作。关节动作识别计算机170将检测到的手势属性和与关节动作相关联的存储的手势属性比较。例如，如果手指关节动作表示旋转，则相关联的关节动作可以是增加或降低娱乐系统125的音量。
控制器155包括或通信地连接到数据库175。数据库175可以是任何合适的类型，例如，硬盘驱动器、固态驱动器、或任何其它易失性或非易失性介质。
数据库175典型地存储多个用户配置文件180。用户配置文件180包括用户定向182和一组用户设置185。用户定向182包括与特定用户相关联的手势属性，并且用来基于通过控制器155收集的手势属性识别用户。用户设置185是用于车辆部件的预定设置，包括，例如，优选的无线电台、方向盘位置、气候控制温度、和/或车窗位置。
数据库175包括多个关节动作参数文件190。关节动作参数文件190包括存储的手势192和存储的关节动作195。存储的手势192与通过手势识别计算机160收集的手势属性相比较，从其中选择特定手势192。存储的关节动作195是在存储的手势192被识别时执行的与存储的手势192相关联的关节动作。
图2示出了用于手势识别和关节动作执行的过程200。过程200在框205中开始，在那儿运动传感器162从用户的手势中收集手势属性。例如，当用户执行例如如图4中所示的手势时，控制器155收集手势属性，例如，手定向、手指关节动作等。
接下来，在框210中，控制器155基于手势属性识别手势。具体地，手势识别计算机160比较在框205中收集的收集手势属性并将它们和关节动作参数文件190比较以确定特定的手势192和相关联的关节动作195。在一个示例实施方式中，动态神经网络可以被训练为用于识别手势的多级分类器。对动态神经网络的输入是手势属性(例如手指关节动作、手定向、车辆内的位置、手势相对于车辆部件的位置、手势开始处的运动、和手势结束处的运动)的连续定向。该网络具有三层并且第一两层具有双极S形(sigmoid)神经元。网络的最后层是softmax(柔性最大值传输函数)分类器，该分类器映射网络分类决定到一组概率P(关节动作＝y|X)，其中P是假设对网络的输入是X定向时关节动作y的概率。
接下来，在框215中，控制器155分配用户置信度值(例如，数字)给手势。用户识别计算机将手势属性与手势配置文件180比较，分配关于手势属性匹配用户定向182的紧密程度的值。用户置信度值基于手势属性，包括手定向、手指关节动作、车辆内的位置、手势相对于车辆部件的位置、手势开始处的运动、和手势结束处的运动。在实施方式的一个示例中，置信度从通过比如已知的softmax分类器(神经网络的最后层)计算的概率中产生。用户置信度值——其可以表示在零到一或百分之零到百分之百的数值范围——是手势属性匹配存储的用户的属性的紧密程度测量。
接下来，在框220中，控制器155确定用户是否被存储在数据库175中。具体地，控制器将置信度与预定的阈值比较，以用于识别用户。如果用户被识别，则过程200在框225中继续。否则，过程200在框240中继续。
在框225中，控制器155至少部分地基于用户置信度值识别用户。具体地，用户识别计算机165分配将具有最高置信度的用户配置文件180选择为手势属性的可能的用户。
接下来，在框230中，控制器155从数据库175中检索用户偏好。具体地，控制器155从数据库175中检索用户设置185。用户偏好可以包括优选的无线电台、气候控制设置、方向盘的位置等。
接下来，在框235中，控制器155自动地调整车辆部件105到用户设置185。
在框240中，控制器155确定手势是否是关节动作手势。具体地，关节动作识别计算机170将检测到的手势属性与关节动作参数文件190和存储的手势192比较，以寻找匹配手势。如果是这样，则过程200在框245中继续。否则，过程200在框205中继续以收集手势属性。
在框245中，控制器155将关节动作手势与在数据库175中存储的关节动作比较。具体地，控制器155将手势属性与关节动作参数文件190中存储的手势192比较以确定特定关节动作195。
接下来，在框250中，控制器155执行在框245中确定的关节动作195和过程200结束。例如，控制器155可以通过例如总线102发送指令到娱乐系统125以控制收音机的音量、到车窗执行器以向上或向下移动车窗120、到气候控制系统115以增加或降低温度设置，等。
图3示出了用于从多个检测到的手势中选择关节动作的过程300。例如，当多个手势从多个车辆乘员中被检测到时，控制器155可以选择性地只执行车辆101的驾驶员的关节动作。过程300在框305中开始，在那儿控制器155收集手势属性。
接下来，在框310中，控制器155分析手势属性以确定执行手势的用户是驾驶员还是乘客。具体地，通过手势识别计算机160收集的手势属性(例如手定向、手腕定向、和手指关节动作)根据用户是坐在驾驶座位还是乘客座位而不同。差别可以包括，例如，用户的手的角度、用户的手的运动等。用户识别计算机165可以确定手势属性的特定用户和用户是驾驶员还是乘客。手势识别计算机160也可以使用来自座椅占用传感器150的信息以确定驾驶员和乘客是否存在。基于这些差别，手势识别计算机160和用户识别计算机165可以确定手势是通过驾驶员还是乘客执行。
接下来，在框315中，控制器155确定多个手势是否被同时执行。驾驶员和乘客都可以执行手势，如图5中所示。手势识别计算机160记录手势属性并且确定是只有一个手势还是多个手势被执行。控制器155可以一次仅仅执行一个关节动作，因此如果多个手势被执行，则过程在框320中继续。否则，过程在框325中继续。
在框320中，控制器155通过用户识别计算机165使用在框310中确定的信息确定驾驶员在执行多个手势中的哪个。控制器155将优选执行驾驶员的关节动作。
接下来，在框325中，控制器155执行选择的关节动作，和过程300结束。具体地，关节动作识别计算机170采用驾驶员的手势并将其与数据库175中的关节动作参数文件190比较和执行所期望的关节动作195。
例如这里所讨论的那些计算设备总体上每一个都包括由一个或多个例如上述识别的计算设备所执行的并且用于实施上述程序的框或步骤的指令。计算机可执行指令可以由计算机程序编译或解释，该计算机程序采用多种编程语言和/或技术创建，这些编程语言和/或技术包括但并不限于单独地或组合的JavaTM、C、C++、VisualBasic、JavaScript、Perl、HTML等。一般而言，处理器(例如微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括这里所描述的一个或多个过程。这样的指令或其他数据可以采用各种计算机可读介质存储和传送。计算设备内的文件总体上是存储在例如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供数据(例如指令)的任何介质，该数据可以由计算机读取。这样的介质可以采用多种形式，包括但不限于非易失性介质、易失性介质等。非易失性介质可以包括例如光盘或磁盘或其他永久性存储器。易失性介质可以包括典型地构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常规形式包括，例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM(只读光盘存储器)、DVD(数字化视频光盘)、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、FLASH-EEPROM(闪速电可擦除可编程只读存储器)、任何其他存储器芯片或内存盒，或者任何其他计算机可读取的介质。
关于这里所述的介质、过程、系统、方法等，应理解的是虽然这样的过程等的步骤描述为按照一定的顺序排列发生，但这样的过程可以采用以这里描述的顺序之外的顺序完成的描述的步骤来进行实施。进一步应该理解的是，某些步骤可以同时执行，可以添加其他步骤，或者可以省略这里所述的某些步骤。换言之，这里的系统和/或过程的描述提供用于说明某些实施例的目的，并且不应该解释为限制所公开的主题。
相应地，应理解的是包括上面的描述和附图以及下面的权利要求的本公开旨在是说明性的而不是限制性的。通过阅读上面的描述，除了提供的示例外的许多实施例和应用对本领域技术人员而言都是显而易见的。本发明的范围应参照所附权利要求以及所述权利要求所享有的全部等效范围而确定，而不是参照上面的说明而确定。可以预期的是这里所讨论的领域将出现进一步的发展，并且旨在将所公开的系统和方法结合到这样的未来的实施例中。总之，应理解的是所公开的主题能够进行修正和变化。

Claims (20)

1.一种系统，包含包括处理器和存储器的计算机，所述存储器存储通过所述计算机可执行的指令以：
基于从一个或多个运动传感器中接收的数据检测用户手势；
从所述手势中识别包括手定向、手腕关节动作、和手指关节动作中的至少一个的用户手势属性，所述手势包括用户的多个手指中的每一个的各自运动；
基于所述手势属性来识别用户和要在车辆中执行的关节动作；以及
在所述车辆中执行所述关节动作以基于所述手势控制至少一个车辆部件。
2.根据权利要求1所述的系统，其中所述指令进一步包括基于所述手势属性根据一个或多个预定的用户设置来调整一个或多个所述车辆部件的指令。
3.根据权利要求2所述的系统，其中所述车辆部件包括方向盘、气候控制系统、车窗控制和娱乐系统中的至少一个。
4.根据权利要求2所述的系统，其中所述指令进一步包括从车辆数据库中检索所述预定的用户设置的指令。
5.根据权利要求1所述的系统，其中所述指令进一步包括确定所述用户是驾驶员还是乘客的指令。
6.根据权利要求5所述的系统，其中所述指令进一步包括当所述驾驶员和所述乘客同时都执行手势时，根据所述驾驶员的所述手势执行所述关节动作和忽略所述乘客的所述手势的指令。
7.根据权利要求1所述的系统，其中所述指令进一步包括分配用户置信度值给所述手势属性的指令，所述用户置信度值是所述手势属性与用户的存储的手势匹配的紧密程度的测量。
8.根据权利要求7所述的系统，其中所述指令进一步包括至少部分地基于所述用户置信度值识别所述用户的指令。
9.根据权利要求1所述的系统，其中所述手势属性进一步包括车辆内的位置、手势相对于车辆部件的位置、手势开始处的运动、和手势结束处的运动中的至少一个。
10.根据权利要求1所述的系统，其中所述用户手势是旋钮旋转。
11.根据权利要求1所述的系统，其中所述用户手势是手的滑动。
12.一种方法，包含：
基于从一个或多个运动传感器中接收的数据检测用户手势；
从所述手势中识别包括手定向、手腕关节动作、和手指关节动作中的至少一个的用户手势属性，所述手势包括用户的多个手指中的每一个的各自运动；
基于所述手势属性来识别用户和要在车辆中执行的关节动作；以及
在所述车辆中执行所述关节动作以基于所述手势控制至少一个车辆部件。
13.根据权利要求12所述的方法，进一步包含基于所述手势属性根据一个或多个预定的用户设置来调整一个或多个所述车辆部件。
14.根据权利要求13所述的方法，其中所述车辆部件包括方向盘、气候控制系统、车窗控制、导航系统、和娱乐系统中的至少一个。
15.根据权利要求12所述的方法，进一步包含确定所述用户是驾驶员还是乘客。
16.根据权利要求15所述的方法，进一步包含当所述驾驶员和所述乘客同时都执行手势时，根据所述驾驶员的所述手势执行所述关节动作和忽略所述乘客的所述手势。
17.根据权利要求17所述的方法，进一步包含分配用户置信度值给所述手势属性。
18.根据权利要求17所述的方法，进一步包含至少部分地基于所述用户置信度值识别所述用户。
19.根据权利要求12所述的方法，其中所述手势属性包括手定向、手指关节动作、车辆内的位置、手势相对于车辆部件的位置、手势开始处的运动、和手势结束处的运动中的至少一个。
20.根据权利要求12所述的方法，其中所述用户手势是旋钮旋转和手的滑动中的至少一个。
CN201510462912.5A 2014-08-11 2015-07-31 车辆驾驶员识别 Active CN105365707B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462035611P 2014-08-11 2014-08-11
US62/035,611 2014-08-11
US14/800,527 US9725098B2 (en) 2014-08-11 2015-07-15 Vehicle driver identification
US14/800,527 2015-07-15

Publications (2)

Publication Number Publication Date
CN105365707A true CN105365707A (zh) 2016-03-02
CN105365707B CN105365707B (zh) 2020-06-16

Family

ID=54064703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510462912.5A Active CN105365707B (zh) 2014-08-11 2015-07-31 车辆驾驶员识别

Country Status (6)

Country Link
US (1) US9725098B2 (zh)
CN (1) CN105365707B (zh)
DE (1) DE102015111969A1 (zh)
GB (1) GB2530385B (zh)
MX (1) MX355254B (zh)
RU (1) RU2695232C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724797A (zh) * 2019-03-22 2020-09-29 比亚迪股份有限公司 基于图像和声纹识别的语音控制方法、系统和车辆
CN114779920A (zh) * 2021-11-26 2022-07-22 一汽奔腾轿车有限公司 一种基于生物识别的全车窗手势控制系统及其控制方法
US11904655B2 (en) 2021-10-19 2024-02-20 Ford Global Technologies, Llc Navigational attribute driven system and method for adjusting the cabin comfort setting of a vehicle control

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130151065A1 (en) * 2011-11-16 2013-06-13 Flextronics Ap, Llc Communications based on vehicle diagnostics and indications
EP2907730B1 (en) 2014-01-29 2017-09-06 Steering Solutions IP Holding Corporation Hands on steering wheel detect
DE102014225796A1 (de) * 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung eines Fahrzeugsystems
TWI552892B (zh) * 2015-04-14 2016-10-11 鴻海精密工業股份有限公司 車輛控制系統及其操作方法
DE102016110791A1 (de) * 2015-06-15 2016-12-15 Steering Solutions Ip Holding Corporation Gestensteuerung für ein einfahrbares Lenkrad
US10112639B2 (en) 2015-06-26 2018-10-30 Steering Solutions Ip Holding Corporation Vehicle steering arrangement and method of making same
US10029725B2 (en) 2015-12-03 2018-07-24 Steering Solutions Ip Holding Corporation Torque feedback system for a steer-by-wire vehicle, vehicle having steering column, and method of providing feedback in vehicle
US10496102B2 (en) 2016-04-11 2019-12-03 Steering Solutions Ip Holding Corporation Steering system for autonomous vehicle
DE102017108692A1 (de) 2016-04-25 2017-10-26 Steering Solutions Ip Holding Corporation Steuerung einer elektrischen Servolenkung unter Verwendung von Systemzustandsvorhersagen
US10053110B2 (en) * 2016-05-06 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methodologies for controlling an autonomous vehicle
CN106228133B (zh) * 2016-07-21 2020-04-10 北京旷视科技有限公司 用户验证方法及装置
US10160477B2 (en) 2016-08-01 2018-12-25 Steering Solutions Ip Holding Corporation Electric power steering column assembly
US10384708B2 (en) 2016-09-12 2019-08-20 Steering Solutions Ip Holding Corporation Intermediate shaft assembly for steer-by-wire steering system
US10214220B2 (en) 2016-09-30 2019-02-26 International Business Machines Corporation Intelligent driving recommendation system
US10399591B2 (en) 2016-10-03 2019-09-03 Steering Solutions Ip Holding Corporation Steering compensation with grip sensing
US10239552B2 (en) 2016-10-14 2019-03-26 Steering Solutions Ip Holding Corporation Rotation control assembly for a steering column
US10481602B2 (en) 2016-10-17 2019-11-19 Steering Solutions Ip Holding Corporation Sensor fusion for autonomous driving transition control
US10310605B2 (en) 2016-11-15 2019-06-04 Steering Solutions Ip Holding Corporation Haptic feedback for steering system controls
US10325519B2 (en) 2016-11-30 2019-06-18 Nissan North America, Inc. Vehicle tutorial system and method for sending vehicle tutorial to tutorial manager device
US10780915B2 (en) 2016-12-07 2020-09-22 Steering Solutions Ip Holding Corporation Vehicle steering system having a user experience based automated driving to manual driving transition system and method
US10220854B2 (en) 2017-01-20 2019-03-05 Honda Motor Co., Ltd. System and method for identifying at least one passenger of a vehicle by a pattern of movement
US10214221B2 (en) 2017-01-20 2019-02-26 Honda Motor Co., Ltd. System and method for identifying a vehicle driver by a pattern of movement
JP2018131110A (ja) * 2017-02-16 2018-08-23 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、及び推定プログラム
JP6916647B2 (ja) * 2017-03-31 2021-08-11 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN108688593B (zh) * 2017-03-31 2023-05-30 本田技研工业株式会社 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
US10449927B2 (en) 2017-04-13 2019-10-22 Steering Solutions Ip Holding Corporation Steering system having anti-theft capabilities
US11087209B1 (en) * 2017-07-21 2021-08-10 BlueOwl, LLC Technology for analyzing sensor data to detect configurations of vehicle operation
US10884425B2 (en) * 2017-09-25 2021-01-05 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
DE102017219155A1 (de) * 2017-10-25 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Funktionsauslösung auf beliebigen Flächen
DE102017219440A1 (de) * 2017-10-30 2019-05-02 Audi Ag Beeinflussungssystem für ein pilotiert fahrendes Fahrzeug
TWI771401B (zh) * 2017-11-09 2022-07-21 英屬開曼群島商麥迪創科技股份有限公司 車體設備控制系統與車體設備控制方法
KR102041965B1 (ko) * 2017-12-26 2019-11-27 엘지전자 주식회사 차량에 구비된 디스플레이 장치
DE102018201897A1 (de) 2018-02-07 2019-08-08 Ford Global Technologies, Llc Verfahren zum Betrieb eines selbstfahrenden Kraftfahrzeugs
US11027822B2 (en) * 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
US11467553B2 (en) * 2018-10-22 2022-10-11 Accenture Global Solutions Limited Efficient configuration of scenarios for event sequencing
GB2581494B (en) * 2019-02-19 2021-08-04 Sony Interactive Entertainment Inc Apparatus, system and method of authentication

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003095038A (ja) * 2001-09-26 2003-04-03 Clarion Co Ltd 適応型スイッチ装置
CN1290050C (zh) * 2001-07-09 2006-12-13 3M创新有限公司 有选择性触摸源的触摸屏
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US7289611B2 (en) * 1999-01-22 2007-10-30 Pointset Corporation Method and apparatus for setting programmable features of motor vehicle
DE10064860A1 (de) * 2000-12-23 2002-06-27 Claas Selbstfahr Erntemasch Einrichtung zur Optimierung der Überladung von Erntegut an landwirtschaftlichen Fahrzeugen
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
DE102007023140A1 (de) 2007-05-16 2008-10-02 Audi Ag Verfahren zur Erkennung und/oder Identifizierung eines Fahrers eines Kraftfahrzeugs und/oder einer Person im Bereich eines Kraftfahrzeugs sowie zugehöriges Kraftfahrzeug
US8516561B2 (en) * 2008-09-29 2013-08-20 At&T Intellectual Property I, L.P. Methods and apparatus for determining user authorization from motion of a gesture-based control unit
US20100280711A1 (en) 2009-04-29 2010-11-04 Gm Global Technology Operations, Inc. System and method of using a portable device to recognize a frequent driver
US8942428B2 (en) * 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8754746B2 (en) 2009-11-16 2014-06-17 Broadcom Corporation Hand-held gaming device that identifies user based upon input from touch sensitive panel
US8693726B2 (en) * 2011-06-29 2014-04-08 Amazon Technologies, Inc. User identification by gesture recognition
US20130204457A1 (en) 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
US9135764B2 (en) * 2012-03-14 2015-09-15 Flextronics Ap, Llc Shopping cost and travel optimization application
US8744645B1 (en) 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
WO2014172321A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Access and portability of user profiles stored as templates
US20150193111A1 (en) * 2013-10-01 2015-07-09 Google Inc. Providing Intent-Based Feedback Information On A Gesture Interface
KR101537936B1 (ko) 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1290050C (zh) * 2001-07-09 2006-12-13 3M创新有限公司 有选择性触摸源的触摸屏
JP2003095038A (ja) * 2001-09-26 2003-04-03 Clarion Co Ltd 適応型スイッチ装置
DE102012000201A1 (de) * 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724797A (zh) * 2019-03-22 2020-09-29 比亚迪股份有限公司 基于图像和声纹识别的语音控制方法、系统和车辆
US11904655B2 (en) 2021-10-19 2024-02-20 Ford Global Technologies, Llc Navigational attribute driven system and method for adjusting the cabin comfort setting of a vehicle control
CN114779920A (zh) * 2021-11-26 2022-07-22 一汽奔腾轿车有限公司 一种基于生物识别的全车窗手势控制系统及其控制方法

Also Published As

Publication number Publication date
RU2015133514A3 (zh) 2019-01-14
GB2530385A (en) 2016-03-23
RU2015133514A (ru) 2017-02-15
US20160039429A1 (en) 2016-02-11
RU2695232C2 (ru) 2019-07-22
MX355254B (es) 2018-04-12
GB201512833D0 (en) 2015-09-02
CN105365707B (zh) 2020-06-16
GB2530385B (en) 2021-06-16
US9725098B2 (en) 2017-08-08
MX2015010321A (es) 2016-05-26
DE102015111969A1 (de) 2016-02-11

Similar Documents

Publication Publication Date Title
CN105365707A (zh) 车辆驾驶员识别
EP3589521B1 (en) Systems and methods for operating a vehicle based on sensor data
CN108327722B (zh) 用于通过移动模式来识别车辆驾驶员的系统和方法
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
US9663112B2 (en) Adaptive driver identification fusion
US9159232B2 (en) Vehicle climate control
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
US20100087987A1 (en) Apparatus and Method for Vehicle Driver Recognition and Customization Using Onboard Vehicle System Settings
US8437919B2 (en) Vehicle personalization system
CN108688593B (zh) 用于通过移动模式来识别车辆的至少一个乘客的系统和方法
WO2014014862A2 (en) Vehicle climate control
US20160098088A1 (en) Human machine interface apparatus for vehicle and methods of controlling the same
US20170147935A1 (en) Method and apparatus of differentiating drivers based on driving behaviors
US20180304906A1 (en) Vehicle user advice system
JP6820533B2 (ja) 推定装置、学習装置、推定方法、及び推定プログラム
CN105270292A (zh) 控制对车辆内人机界面的访问
CN104108357A (zh) 乘员存在的检测和识别
WO2013128291A2 (en) Method of fusing multiple information sources in image-based gesture recognition system
EP2797797A1 (en) Systems, methods, and apparatus for learning the identity of an occupant of a vehicle
US20220024460A1 (en) System and method for transferring different settings between vehicles of different types
CN113320449B (zh) 一种驾驶座椅自动调节方法、系统、介质及电子终端
CN108216087B (zh) 利用对把手式门抓握方式的辨识识别用户的方法和装置
CN108351886A (zh) 确定车辆使用者共同兴趣的系统
US20210061202A1 (en) System and method for setting information about vehicle
US20220375261A1 (en) Driver recognition to control vehicle systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant