CN113696904A - 基于手势控制车辆的处理方法、装置、设备与介质 - Google Patents
基于手势控制车辆的处理方法、装置、设备与介质 Download PDFInfo
- Publication number
- CN113696904A CN113696904A CN202110993044.9A CN202110993044A CN113696904A CN 113696904 A CN113696904 A CN 113696904A CN 202110993044 A CN202110993044 A CN 202110993044A CN 113696904 A CN113696904 A CN 113696904A
- Authority
- CN
- China
- Prior art keywords
- current
- gesture
- gesture action
- vehicle
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 157
- 238000013507 mapping Methods 0.000 claims abstract description 77
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于手势控制车辆的处理方法、装置、设备与介质，基于手势控制车辆的处理方法，包括：获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系。
Description
技术领域
本发明涉及车辆控制领域，尤其涉及一种基于手势控制车辆的处理方法、装置、设备与介质。
背景技术
在普通车辆的基础上，可增加多种传感器(例如雷达、图像采集装置、温度传感器、湿度传感器等)等，通过车载传感系统和信息终端实现与人、车、路等的智能信息交换，使车辆具备智能的环境感知能力，实现替代人来操作的目的。
现有技术中，人与车辆的信息交换，可以通过手势动作进行，即车辆的图像采集装置采集到人的手势动作，进而实现对车辆的控制，然而，现有技术中，缺乏对不标准手势动作(例如经训练的模型也无法将其匹配到已知手势动作的情形)的应对手段。
发明内容
本发明提供一种基于手势控制车辆的处理方法、装置、设备与介质，以解决缺乏对不标准手势动作的应对手段的问题。
根据本发明的第一方面，提供了一种基于手势控制车辆的处理方法，包括：
获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；
若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；
以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一。
可选的，所述以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息之前，还包括：
向用户反馈更新询问信息，以询问用户是否将所述当前手势动作及其与所述指定控制结果的映射关系更新至所述已知映射信息；
获取到用户反馈的更新确认信息。
可选的，获取当前图像之后，还包括：
基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作；
若未能查找到所述目标手势动作，且所述当前手势动作的指定信息高于对应的指定阈值，则所述当前手势动作指向的车辆控制结果不定，所述指定信息包括所述当前手势动作的动作速率和/或所述当前手势动作的重复次数。
可选的，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作之后，还包括：
若查找到所述目标手势动作，则基于所述已知映射信息，确定所述目标手势动作所映射的目标控制结果，并控制所述车辆执行所述目标控制结果。
可选的，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作，包括：
自所述当前图像提取出所述用户的骨架节点，并以所述当前手势动作中骨架节点的位置和/或位置变化作为手势特征；
基于所述手势特征，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作。
可选的，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作之前，还包括：
提取所述用户的身份特征，并验证所述用户的身份特征通过；
所述身份特征包括以下至少之一：语音特征、人脸特征、身高特征。
可选的，所述车辆控制结果包括以下一种或多种：
解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化、行进、倒车、执行停车过程。
根据本发明的第二方面，提供了一种基于手势控制车辆的处理装置，包括：
图像获取模块，用于获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；
控制信息获取模块，用于若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；
更新模块，用于以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一。
根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的处理方法。
根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的处理方法。
本发明提供的基于手势控制车辆的处理方法、装置、设备与介质中，针对于当前手势动作指向的车辆控制结果不定的情形(亦即手势动作不标准到一定程度的情形)，可以基于之后操控的控制信息，学习当前手势动作，从而更新已知映射信息，进而，在之后的车辆控制中，由于已知映射信息中已学习到了该手势动作及其与指定控制结果的映射关系，若用户再次做同样的动作，可实现相应的控制，不会再发生车辆控制结果不定的情形。可见，本发明实现了不标准手势动作的应对，并通过手势动作学习的方式，兼顾了用户的个性化手势动作，弥补了现有手势控制方式的缺陷，有效提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中一种基于手势控制车辆的处理方法的流程示意图；
图2是本发明一实施例中另一种基于手势控制车辆的处理方法的流程示意图；
图3是本发明一实施例中再一种基于手势控制车辆的处理方法的流程示意图；
图4是本发明一实施例中一种基于手势控制车辆的处理装置的程序模块示意图；
图5是本发明一实施例中另一种基于手势控制车辆的处理装置的程序模块示意图；
图6是本发明一实施例中电子设备的构造示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明实施例提供的基于手势控制车辆的处理方法、装置，可应用于车辆的车载设备，也可应用于能够与车辆通讯的服务器或终端。
请参考图1，本发明实施例提供的基于手势控制车辆的处理方法，包括：
S101：获取当前图像；
S102：所述当前手势动作指向的车辆控制结果是否不定；
若是，则可执行步骤S103：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；
S104：以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息。
其中的当前图像是车辆的图像采集部采集到的，其可以指静态的图片，也可以是动态的视频或连续的图片的集合；所述当前图像记录了用户的当前手势动作，其可以是静态的手势动作，也可以是动态的手势动作。
其中的图像采集部可以为采集车外图像的图像采集部，也可以为采集车内图像的图像采集部。
所述对应的当前控制信息表征了所述操作的指定控制结果；该指定控制结果可以是任意使车辆发生变化的车辆控制结果。
具体举例中，所述车辆控制结果包括以下一种或多种：
解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化、行进、倒车、执行停车过程。
其中的点火可以理解为车辆启动发动机而进入启动状态；与之对应的，其中的熄火可理解为车辆发动机停止运作；
其中的锁车可以理解为，将车辆由解锁状态更改为锁定状态；与之对应的，其中的解锁可理解为：将车辆由锁定状态更改为解锁状态；
其中的停车过程可以理解为车辆行驶状态变为静止状态，或者车辆由第一位置，移动到第二位置，针对于停车过程，可以划分为停止、左转弯、右转弯、前进、后退、启动等至少之一环节；
其中的车载设备，可以是装载于车辆的任意设备，例如空调、播放装置、显示器、空气净化器、图像采集装置等等。
车载设备的指定变化，可以包括车载设备的工作参数的变化，和/或，车载设备的工作状态自第一状态变化为第二状态；
其中的工作参数，可以是对以上车载设备中工作过程中所形成的任意参数，例如可以是空调的温度、播放装置的音量等等。
其中的第一状态、第二状态，可以是对以上车载设备中工作状态进行描述的任意信息，例如，空调的第一状态可以是制冷状态，空调的第二状态可以是制热状态，播放装置的第一状态可以是播放状态，播放装置的第二状态可以是暂停状态。
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一，具体基于手势动作、已知映射信息控制车辆的过程可参照后文中步骤S109、S110、S113的相关描述理解。
以上方案中，针对于当前手势动作指向的车辆控制结果不定的情形(亦即手势动作不标准到一定程度的情形)，可以基于之后操控的控制信息，学习当前手势动作，从而更新已知映射信息，进而，在之后的车辆控制中，由于已知映射信息中已学习到了该手势动作及其与指定控制结果的映射关系，若用户再次做同样的动作，可实现相应的控制，不会再发生车辆控制结果不定的情形。可见，本发明实现了不标准手势动作的应对，并通过手势动作学习的方式，兼顾了用户的个性化手势动作，弥补了现有手势控制方式的缺陷，有效提高了用户体验。
相较而言，在部分方案中，可利用经训练的识别模型识别手势动作是否匹配于已知手势动作，此时，为了尽量识别出手势动作，识别模型被训练为可兼顾各种姿势的变形，然而，随着手势动作的丰富和多样化，手势动作之间的差异性可能会逐渐变小，此时，若识别模型兼顾的变形太多样，则可能会导致匹配到错误的识别结果，难以兼顾控制的准确性。
与之不同的，本发明选择了另一种研发方向，不再着重于识别算法对各种姿势变化的兼顾性，而是着重于识别的个性化，通过用户个性化手势动作的学习，针对于对应的用户，可有效降低匹配到错误识别结果的可能性，提高了控制的准确性，用户也无需去学习、记忆、纠正自己的手势动作，使之与标准化的手势动作相接近，提升了用户体验，在此基础上，结合身份特征识别的相关步骤(例如步骤S108)，以及用户主动确认的步骤(例如步骤S106、S107)之后，可进一步提高控制的准确性。
其中一种实施方式中，请参考图2，若当前手势动作指向的车辆控制结果不定，则可实施步骤S105：向用户反馈失败提示，以利用所述失败提示提示用户当前手势动作未能成功控制车辆(也可理解为利用所述失败提示提示用户其手势动作无法被成功识别，还可理解为利用所述失败提示提示用户其手势动作部准确)。
部分举例中，若图像采集部采集的是车外的当前图像，则：反馈失败提示的过程可例如是控制车辆的灯闪烁或发光；另部分举例中，反馈失败提示的过程也可例如是控制车辆的喇叭发声；再部分举例中，反馈失败提示的过程也可例如将失败提示直接或间接发送到用户的终端，以使得：终端能够通过可视或可听的方式获悉到当前手势动作未能成功控制车辆。
其中一种实施方式中，步骤S103中所述的操作，可理解为在确定当前手势动作指向的车辆控制结果不定之后的指定时长内所发生的操作，进而，获取对应的当前控制信息之前，还包括：反馈失败提示后所经过的时长未超出指定时长。
进而，可将手势控制失败后一定时间(例如指定时长)内的操作视为该手势控制原本所指向的车辆控制结果，进而，有助于使得：所学习的手势动作及其映射关系能较为准确地表达用户真实意图(即提高这种准确表达的准确性)。
其中一种实施方式中，请参考图2，步骤S104之前，还可包括：
S106：向用户反馈更新询问信息，以询问用户是否将所述当前手势动作及其与所述指定控制结果的映射关系更新至所述已知映射信息；
S107：获取到用户反馈的更新确认信息。
其中反馈更新询问信息、获取到更新确认信息的过程，可直接或间接在车机交互实现，也可直接或间接在用户的终端交互实现。
例如，可在车机(或终端)通过对话框的形式询问是否将当前图像中的当前手势动作(可利用采集到的当前图像来呈现，使用户知道指的是什么手势动作)及其与指定控制结果(可通过文字或图示的方式呈现)的映射关系更新至所述已知映射信息；用户可在车机(或终端)点击确认按钮等方式使得处理方法的执行主体(例如车载设备或服务器)能获取到更新确认信息。其中的车机可理解为一种车载设备。
此处举例仅为一种示意性的例子，实际的方案可不限于此。
以上方案中，通过用户的反馈和确认，可有助于保障：所学习的手势动作及其映射关系能较为准确地表达用户真实意图(即提高这种准确表达的准确性)。
其中一种实施方式中，请参考图3，步骤S101之后，可以包括：
S109：基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作；
S110：是否能查找到所述目标手势动作；
S111：所述当前手势动作的指定信息是否高于对应的指定阈值；
若步骤S110的结果为否，且步骤S111的结果为是，则可执行步骤S112：确定所述当前手势动作指向的车辆控制结果不定。
其中的指定信息，包括所述当前手势动作的动作速率和/或所述当前手势动作的重复次数。
由于未查找到目标手势动作的情况下，可能存在两种可能性，一种是，用户并不想实施控制，另一种是，用户想实施控制，针对于此，为了排除用户并不想实施控制的情形，以上方案引入了当前手势动作的动作速率和/或当前手势动作的重复次数，进而，当速率过快时，通常表明用户想实施控制的意愿，当重复实施手势动作时，通常也表明用户想实施控制的意愿。
可见，以上方案中，可保障所识别出的“车辆控制结果不定”的结果隐含并体现出“用户确实想实施控制”的意愿，避免了将不需要实施控制的情形纳入进来，保障手势动作及其映射关系的学习能准确反映用户的真实需求。
其中一种实施方式中，若查找到所述目标手势动作(即步骤S110判断为是)，则可实施步骤S113：基于所述已知映射信息，确定所述目标手势动作所映射的目标控制结果，并控制所述车辆执行所述目标控制结果。
具体方案中，步骤S109具体可以包括：
自所述当前图像提取出所述用户的骨架节点，并以所述当前手势动作中骨架节点的位置和/或位置变化作为手势特征；
基于所述手势特征，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作。
其中的骨架节点可以是一个骨架节点，也可以是多个骨架节点，例如表征手腕位置的骨架节点、表征手肘的骨架节点、表征手掌的骨架节点、表征肩膀的骨架节点等等，进而，骨架节点的位置变化、相对位置变化、骨架节点的相对位置等，均可体现出手势动作的特点，进而，通过对其进行量化，可得到手势特征。
其他举例中，也可不识别骨架节点而形成手势特征，例如也可识别手臂的轮廓线条作为手势特征。
其中一种实施方式中，为了保障安全性，步骤S109之前，还可包括：
S108：提取所述用户的身份特征，并验证所述用户的身份特征通过；
所述身份特征包括以下至少之一：语音特征、人脸特征、身高特征。其可以是基于当前图像而识别出的(例如自当前图像中提取出用户的人脸特征、身高特征)，也可以是利用其它手段而采集到的(例如，可利用车外的麦克风采集语音信息，从而自语音信息中提取出语音特征)。
此外，部分方案中，已知映射信息中也可记录有身份特征，进而，在映射关系中，可以为身份特征、手势动作与车辆控制结果三者之间的映射关系，进而，同一手势动作与不同身份特征，可能映射于不同车辆控制结果。进而，步骤S109具体可包括：基于所述已知映射信息，在已知手势动作中查找匹配于(即映射于)所述当前手势动作与用户的身份特征的目标手势动作。
以上方案中，可进一步提高手势动作学习与控制的个性化，有效提高用户的使用体验。
请参考图4，本发明实施例提供了一种基于手势控制车辆的处理装置2，包括：
图像获取模块201，用于获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；
控制信息获取模块202，用于若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；
更新模块203，用于以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一。
可选的，请参考图5，基于手势控制车辆的处理装置2，还包括：
更新询问模块207，用于向用户反馈更新询问信息，以询问用户是否将所述当前手势动作及其与所述指定控制结果的映射关系更新至所述已知映射信息；
更新确认模块208，用于获取到用户反馈的更新确认信息。
可选的，请参考图5，基于手势控制车辆的处理装置2，还包括：
查找模块205，用于基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作；
不定确定模块206，用于若未能查找到所述目标手势动作，且所述当前手势动作的指定信息高于对应的指定阈值，则确定所述当前手势动作指向的车辆控制结果不定，所述指定信息包括所述当前手势动作的动作速率和/或所述当前手势动作的重复次数。
可选的，请参考图5，基于手势控制车辆的处理装置2，还包括：
控制模块209，用于若查找到所述目标手势动作，则基于所述已知映射信息，确定所述目标手势动作所映射的目标控制结果，并控制所述车辆执行所述目标控制结果。
可选的，所述查找模块205，具体用于：
自所述当前图像提取出所述用户的骨架节点，并以所述当前手势动作中骨架节点的位置和/或位置变化作为手势特征；
基于所述手势特征，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作。
可选的，请参考图5，基于手势控制车辆的处理装置2，还包括：
身份验证模块204，用于提取所述用户的身份特征，并验证所述用户的身份特征通过；
所述身份特征包括以下至少之一：语音特征、人脸特征、身高特征。
可选的，所述车辆控制结果包括以下一种或多种：
解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化、行进、倒车、执行停车过程。
请参考图6，提供了一种电子设备30，包括：
处理器31；以及，
存储器32，用于存储所述处理器的可执行指令；
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器31能够通过总线33与存储器32通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于手势控制车辆的处理方法，其特征在于，包括：
获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；
若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；
以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一。
2.根据权利要求1所述的处理方法，其特征在于，
所述以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息之前，还包括：
向用户反馈更新询问信息，以询问用户是否将所述当前手势动作及其与所述指定控制结果的映射关系更新至所述已知映射信息；
获取到用户反馈的更新确认信息。
3.根据权利要求1所述的处理方法，其特征在于，获取当前图像之后，还包括：
基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作；
若未能查找到所述目标手势动作，且所述当前手势动作的指定信息高于对应的指定阈值，则确定所述当前手势动作指向的车辆控制结果不定，所述指定信息包括所述当前手势动作的动作速率和/或所述当前手势动作的重复次数。
4.根据权利要求3所述的处理方法，其特征在于，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作之后，还包括：
若查找到所述目标手势动作，则基于所述已知映射信息，确定所述目标手势动作所映射的目标控制结果，并控制所述车辆执行所述目标控制结果。
5.根据权利要求3所述的处理方法，其特征在于，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作，包括：
自所述当前图像提取出所述用户的骨架节点，并以所述当前手势动作中骨架节点的位置和/或位置变化作为手势特征；
基于所述手势特征，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作。
6.根据权利要求3所述的处理方法，其特征在于，所述基于所述已知映射信息，在已知手势动作中查找匹配于所述当前手势动作的目标手势动作之前，还包括：
提取所述用户的身份特征，并验证所述用户的身份特征通过；
所述身份特征包括以下至少之一：语音特征、人脸特征、身高特征。
7.根据权利要求1至4任一项所述的处理方法，其特征在于，所述车辆控制结果包括以下一种或多种：
解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化、行进、倒车、执行停车过程。
8.一种基于手势控制车辆的处理装置，其特征在于，包括：
图像获取模块，用于获取当前图像，所述当前图像是车辆的图像采集部采集到的，所述当前图像记录了用户的当前手势动作；
控制信息获取模块，用于若所述当前手势动作指向的车辆控制结果不定，则：在所述用户针对所述车辆实施操作后，获取对应的当前控制信息；所述对应的当前控制信息表征了所述操作的指定控制结果；
更新模块，用于以所述当前手势动作作为新的已知手势动作，将所述当前手势动作，以及所述指定控制结果与所述当前手势动作的映射关系更新至已知映射信息；
其中，所述已知映射信息记录了多个已知手势动作，以及各已知手势动作与各车辆控制结果的映射关系，且所述已知映射信息为基于手势动作控制所述车辆的依据之一。
9.一种电子设备，其特征在于，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现权利要求1至7任一项所述的处理方法。
10.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至7任一项所述的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993044.9A CN113696904B (zh) | 2021-08-27 | 2021-08-27 | 基于手势控制车辆的处理方法、装置、设备与介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110993044.9A CN113696904B (zh) | 2021-08-27 | 2021-08-27 | 基于手势控制车辆的处理方法、装置、设备与介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113696904A true CN113696904A (zh) | 2021-11-26 |
| CN113696904B CN113696904B (zh) | 2024-03-05 |
Family
ID=78655727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110993044.9A Active CN113696904B (zh) | 2021-08-27 | 2021-08-27 | 基于手势控制车辆的处理方法、装置、设备与介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113696904B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210253135A1 (en) * | 2020-02-18 | 2021-08-19 | Toyota Motor North America, Inc. | Determining transport operation level for gesture control |
| CN114373193A (zh) * | 2022-01-07 | 2022-04-19 | 广州小鹏自动驾驶科技有限公司 | 汽车人机交互方法、装置及设备 |
| US11873000B2 (en) | 2020-02-18 | 2024-01-16 | Toyota Motor North America, Inc. | Gesture detection for transport control |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050212751A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Customizable gesture mappings for motion controlled handheld devices |
| CN105426658A (zh) * | 2015-10-29 | 2016-03-23 | 东莞酷派软件技术有限公司 | 一种车辆预启动方法及相关装置 |
| CN106295599A (zh) * | 2016-08-18 | 2017-01-04 | 乐视控股（北京）有限公司 | 车辆的控制方法和装置 |
| CN107719303A (zh) * | 2017-09-05 | 2018-02-23 | 观致汽车有限公司 | 一种车辆门窗开启控制系统、方法及车辆 |
| US20180088677A1 (en) * | 2016-09-29 | 2018-03-29 | Alibaba Group Holding Limited | Performing operations based on gestures |
| CN108255284A (zh) * | 2016-12-28 | 2018-07-06 | 上海合既得动氢机器有限公司 | 一种手势控制系统及电动汽车 |
| CN109656359A (zh) * | 2018-11-26 | 2019-04-19 | 深圳奥比中光科技有限公司 | 3d体感交互适配方法、系统、终端设备和可读存储介质 |
| CN109987036A (zh) * | 2017-12-29 | 2019-07-09 | 周秦娜 | 一种基于驾驶员身体姿态提高交互准确度的控制方法 |
| US20190302895A1 (en) * | 2018-03-27 | 2019-10-03 | Usens Inc. | Hand gesture recognition system for vehicular interactive control |
| CN110659543A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 基于手势识别的车辆控制方法、系统及车辆 |
| CN110764616A (zh) * | 2019-10-22 | 2020-02-07 | 深圳市商汤科技有限公司 | 手势控制方法和装置 |
| US20200183556A1 (en) * | 2017-08-14 | 2020-06-11 | Guohua Liu | Interaction position determination method and system, storage medium and smart terminal |
| CN111552368A (zh) * | 2019-05-16 | 2020-08-18 | 毛文涛 | 一种车载人机交互方法及车载设备 |
| KR20210073292A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 에이치랩 | 레이더 기반 제스처 인식 시스템 |
-
2021
- 2021-08-27 CN CN202110993044.9A patent/CN113696904B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050212751A1 (en) * | 2004-03-23 | 2005-09-29 | Marvit David L | Customizable gesture mappings for motion controlled handheld devices |
| CN105426658A (zh) * | 2015-10-29 | 2016-03-23 | 东莞酷派软件技术有限公司 | 一种车辆预启动方法及相关装置 |
| CN106295599A (zh) * | 2016-08-18 | 2017-01-04 | 乐视控股（北京）有限公司 | 车辆的控制方法和装置 |
| US20180088677A1 (en) * | 2016-09-29 | 2018-03-29 | Alibaba Group Holding Limited | Performing operations based on gestures |
| CN108255284A (zh) * | 2016-12-28 | 2018-07-06 | 上海合既得动氢机器有限公司 | 一种手势控制系统及电动汽车 |
| US20200183556A1 (en) * | 2017-08-14 | 2020-06-11 | Guohua Liu | Interaction position determination method and system, storage medium and smart terminal |
| CN107719303A (zh) * | 2017-09-05 | 2018-02-23 | 观致汽车有限公司 | 一种车辆门窗开启控制系统、方法及车辆 |
| CN109987036A (zh) * | 2017-12-29 | 2019-07-09 | 周秦娜 | 一种基于驾驶员身体姿态提高交互准确度的控制方法 |
| US20190302895A1 (en) * | 2018-03-27 | 2019-10-03 | Usens Inc. | Hand gesture recognition system for vehicular interactive control |
| CN110659543A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 基于手势识别的车辆控制方法、系统及车辆 |
| CN109656359A (zh) * | 2018-11-26 | 2019-04-19 | 深圳奥比中光科技有限公司 | 3d体感交互适配方法、系统、终端设备和可读存储介质 |
| CN111552368A (zh) * | 2019-05-16 | 2020-08-18 | 毛文涛 | 一种车载人机交互方法及车载设备 |
| CN110764616A (zh) * | 2019-10-22 | 2020-02-07 | 深圳市商汤科技有限公司 | 手势控制方法和装置 |
| KR20210073292A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 에이치랩 | 레이더 기반 제스처 인식 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210253135A1 (en) * | 2020-02-18 | 2021-08-19 | Toyota Motor North America, Inc. | Determining transport operation level for gesture control |
| US11873000B2 (en) | 2020-02-18 | 2024-01-16 | Toyota Motor North America, Inc. | Gesture detection for transport control |
| CN114373193A (zh) * | 2022-01-07 | 2022-04-19 | 广州小鹏自动驾驶科技有限公司 | 汽车人机交互方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113696904B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113696904B (zh) | 基于手势控制车辆的处理方法、装置、设备与介质 | |
| CN108327722B (zh) | 用于通过移动模式来识别车辆驾驶员的系统和方法 | |
| JP4267584B2 (ja) | 機器制御装置及びその方法 | |
| GB2531926A (en) | Adaptive driver identification fusion | |
| CN111104820A (zh) | 一种基于深度学习的手势识别方法 | |
| CN106225174A (zh) | 空调器控制方法和系统及空调器 | |
| CN112991585B (zh) | 一种出入人员管理方法及计算机可读存储介质 | |
| CN106295599A (zh) | 车辆的控制方法和装置 | |
| US11157723B1 (en) | Facial recognition for drivers | |
| CN103869974A (zh) | 用于手势有效部分检测的系统和方法 | |
| CN113696849B (zh) | 基于手势的车辆控制方法、装置和存储介质 | |
| CN113696851B (zh) | 基于车外手势的车辆控制方法、装置、设备以及介质 | |
| JP5012589B2 (ja) | 画像情報を用いた人物追跡システム | |
| GB2528086A (en) | Identification method and apparatus | |
| CN108875617A (zh) | 辅助驾驶方法和装置、车辆 | |
| CN112732379B (zh) | 智能终端上应用程序的运行方法、终端和存储介质 | |
| JP4613999B2 (ja) | 行動推定装置、プログラム | |
| JP2010152487A (ja) | 行動推定装置、プログラム | |
| CN117095680A (zh) | 车辆控制方法、装置、设备及存储介质 | |
| CN114924647A (zh) | 一种基于手势识别的车辆控制方法、装置、控制设备及介质 | |
| CN115097928A (zh) | 手势控制方法及装置、电子设备、存储介质 | |
| US10870436B2 (en) | Operation assistance system and operation assistance method | |
| CN114519900A (zh) | 乘车方法、装置、电子设备及存储介质 | |
| CN115200696A (zh) | 震动行为监测方法、装置、电子设备及存储介质 | |
| CN115867474A (zh) | 用于控制车辆系统的驾驶员辨识 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240522 Address after: No. 2266 and 2299 Chaoyang South Street, Baoding City, Hebei Province, 071000 Patentee after: GREAT WALL MOTOR Co.,Ltd. Country or region after: China Address before: 200050 room 8041, 1033 Changning Road, Changning District, Shanghai (nominal Floor 9) Patentee before: Shanghai xianta Intelligent Technology Co.,Ltd. Country or region before: China |