CN113501004B - 基于手势的控制方法、装置、电子设备与存储介质 - Google Patents
基于手势的控制方法、装置、电子设备与存储介质 Download PDFInfo
- Publication number
- CN113501004B CN113501004B CN202110758320.3A CN202110758320A CN113501004B CN 113501004 B CN113501004 B CN 113501004B CN 202110758320 A CN202110758320 A CN 202110758320A CN 113501004 B CN113501004 B CN 113501004B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- control
- state
- gesture
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000007613 environmental effect Effects 0.000 claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013643 reference control Substances 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
- B60W2530/209—Fuel quantity remaining in tank
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于手势的控制方法、装置、电子设备与存储介质，其中，基于手势的控制方法，包括：获取车辆的车内图像；识别所述车内图像中的手势信息；根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；执行所述当前控制结果。
Description
技术领域
本发明涉及车机领域，尤其涉及一种基于手势的控制方法、装置、电子设备与存储介质。
背景技术
车辆，是现代社会普遍使用的出行工具，车辆中通常可配置有车载设备，以实现数据的处理，部分举例中，可实现导航处理、图像的采集处理、人机交互等等功能。
在车辆中，可基于车辆中人员的手势识别实现针对于车辆的控制，然而，手势的变化有一定局限性，手势识别也有其一定难度，进而，可供作为控制依据的手势比较受限，不利于匹配多样的控制结果，例如：假定基于单只手所能做出的手势可能只有N个，进而，最多只能匹配N种控制结果。同时，控制过程仅以手势为依据，无法保障控制结果能够适配于车辆或车辆所处环境。
发明内容
本发明提供一种基于手势的控制方法、装置、电子设备与存储介质，以解决不利于匹配多样的控制结果的问题。
根据本发明的第一方面，提供了一种基于手势的控制方法，包括：
获取车辆的车内图像；
识别所述车内图像中的手势信息；
根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；
执行所述当前控制结果。
可选的，根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果，包括：
根据所述手势信息，确定目标事件；
根据所述车辆控制参考信息，判断是否发生所述目标事件；
若发生了所述目标事件，则根据所述手势信息，以及所发生的目标事件，确定所述当前控制结果。
可选的，根据所述手势信息，以及所发生的目标事件，确定所述当前控制结果，包括：
根据所述手势信息，以及所发生的目标事件，确定候选控制结果；
根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果。
可选的，所述候选控制结果的数量为多个；
根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果，包括：
根据多个所述候选控制结果的预设的优先级，选择所述优先级最高的候选控制结果作为所述当前控制结果。
可选的，所述目标事件包括以下至少之一：
所述环境状态处于第一指定状态；
所述环境状态发生第一指定变化；
所述车辆状态处于第二指定状态；
所述车辆发生第二指定变化。
可选的，所述控制参考信息还包括车内的声音采集部采集到的声音信息；
所述目标事件包括：获取到指定的声音信息。
可选的，所述环境状态包括以下至少之一：
所述车辆所处地理区域；
所述车辆所处地理区域的天气；
所述车辆所处道路的拥堵状态；
所述车辆前方路口的路灯状态；
所述车辆与附近第一对象之间的相对位置；
所述车辆与附近第二对象之间的相对运动状态；所述相对运动状态包括以下至少之一：是否发生相对运动、相对运动的速度、加速度、方向；
所述车辆的车外监测部的监测结果。
可选的，所述车辆状态包括以下至少之一：
所述车辆的车速；
所述车辆的车窗状态；
所述车辆的车门状态；
所述车辆的刹车信息；
所述车辆的踩油门信息；
所述车辆的档位；
所述车辆的发动机状态；
所述车辆的雨刮器状态；
所述车辆的车灯状态；
所述车辆的油量和/或电量；
所述车辆的充电状态；
所述车辆的车载设备的工作状态；
所述车辆的车内监测部的监测结果。
可选的，所述的基于手势的控制方法，还包括：
响应于所述手势信息，控制所述车辆内的机器人执行预设的人机交互结果。
根据本发明的第二方面，提供了一种基于手势的控制装置，包括：
获取模块，用于获取车辆的车内图像；
识别模块，用于识别所述车内图像中的手势信息；
控制结果确定模块，用于根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；
执行模块，用于执行所述当前控制结果。
根据本发明的第三方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案涉及的方法。
根据本发明的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面及其可选方案涉及的方法。
本发明提供的基于手势的控制方法、装置、电子设备与存储介质中，在识别出手势信息后，可根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果，进而，可以车辆控制参考信息(例如车辆状态、环境状态车辆)作为车辆控制的依据，此时，由于依据更多样，单个手势信息可不再局限于只能实现一种控制结果，可见，基于有限的手势变化，本发明有助于匹配更多样的控制结果。同时，本发明控制时结合了车辆控制参考信息，可使得控制结果能够精准匹配于车辆状态和/或环境状态，有针对性地满足用户在各种状态下的各种需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于手势的控制方法的流程示意图一；
图2是本发明一实施例中步骤S13的流程示意图；
图3是本发明一实施例中步骤S134的流程示意图；
图4是本发明一实施例中基于手势的控制方法的流程示意图二；
图5是本发明一实施例中基于手势的控制装置的程序模块示意图一；
图6是本发明一实施例中基于手势的控制装置的程序模块示意图二；
图7是本发明一实施例中电子设备的构造示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明实施例提供的基于手势的控制方法、装置，可适用于车辆的应用场景，其中，基于手势的控制方法、装置可应用于车辆的车载终端(或称车机)，也可应用于服务器或其他终端。
请参考图1，基于手势的控制方法，包括：
S11：获取车辆的车内图像；
S12：识别所述车内图像中的手势信息；
S13：根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果；
S14：执行所述当前控制结果。
其中的车内图像，可以是能够记载车内人员手势的任意图像，其可以是车内的图像采集部采集的，也可以是车外的图像采集部采集的，该图像采集部可以是车载终端所连接的图像采集部或集成于车载终端的图像采集部，也可以是其他终端的图像采集部。
具体举例中，车内图像可以是特定座位的人员的车内图像，例如可以是驾驶座位、副驾驶座位、后排座位中至少之一作为的车内图像。
其中的手势信息，可以指能够对手的动作进行表征、描述的任意信息，例如，可预先定义好各种手势信息，进而，在步骤S12中可识别出图像中的手势信息是哪个已定义好的手势信息。同时，所识别出的手势信息可以是静态的手势信息(例如展示某个或某些手指，指向某对象、指向某方向、手指和/或手掌摆出某姿势等等)，也可以是动态的手势信息(例如手发生挥动，手指和/或手掌的姿态发生某种变化，手指和/或手掌的位置发生某种变化、手指所指向的对象、方向发生某种变化等等)。
识别出手势信息的过程可以采用本领域任意已有或改进的方式实现，例如可以捕捉手的特征点，然后基于特征点的形态识别出手势信息，具体的，可以通过特征点的实际形态与预定义形态之间的相似程度来判断手势信息，也可以通过神经网络等训练好的模型来判断手势信息。
其中的车辆控制参考信息可以包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态。
进一步的，所述车辆状态包括但不限于以下至少之一：
所述车辆的车速；其可以包括车速的数值或该数值所属的区间；
所述车辆的车窗状态；其可以包括车窗是否开启、关闭，也可以包括开启、关闭的幅度；还可以包括开启、关闭、处于某种幅度的时长等；
所述车辆的车门状态；其可以包括车门是否开启、关闭；也可以包括开启、关闭的时长等；
所述车辆的刹车信息；其可以包括是否刹车，也可以包括刹车的次数、频率等；
所述车辆的踩油门信息；其可以包括是否踩油门，也可以包括踩油门的次数、频率等；
所述车辆的档位；其可以包括当前所处档位等；
所述车辆的发动机状态；其可以包括发电机是否运转，也可以包括发动机转速、温度等；
所述车辆的雨刮器状态；其可以包括雨刮器是否开启转动，雨刮器转动时的工作模式等；
所述车辆的车灯状态；其可以包括车灯是否打开，车灯工作模式等；
所述车辆的油量和/或电量；其可以包括油量、电量的数值或其所处区间；
所述车辆的充电状态；其可以包括是否在充电，是否需要充电等；
所述车辆的车载设备的工作状态；该车载设备可以为能够装载于车辆的任意设备，例如车载音响、充电器、冰箱、显示器、终端、投影仪、空气净化器、行车记录仪、空调，以及前后文所提及的图像采集部、车内监测部、车外监测部等等，其以上所举例的设备的功能可以是部分或全部重合的，其中的工作状态，可以是与车载设备工作过程相关联的任意信息；
所述车辆的车内监测部的监测结果，该车内监测部可例如车内温度监测部、车内空气质量监测部、车内湿度监测部、车内酒精浓度监测部、车内噪音监测部、针对于车内的声音采集部、图像采集部、行车记录仪等等；任意可实现车内环境、事件等监测的部件或部件的组合，均可作为此处车内监测部。
进一步的，所述环境状态包括但不限于以下至少之一：
所述车辆所处地理区域；例如可以指某国，也可以指某省市、某区、某街道、道路、隧道、高速公路等等；
所述车辆所处地理区域的天气；其可以包括大雨、小雨、中雨、晴、多云、阴等对天气的类型进行描述的信息，也可以包括温度、空气质量、风的大小、风向、雨量、湿度等可量化的信息；
所述车辆所处道路的拥堵状态；其可以例如非常拥堵、一般拥堵、通畅等，根据对拥堵状态的定义方式、计算方式的不同，可任意变化；
所述车辆前方路口的路灯状态；其可以例如红灯、绿的、黄灯；
所述车辆与附近第一对象之间的相对位置；其可以例如包括相对方位、相对距离等；第一对象可以是静态的对象，也可以是动态的对象，可以是人、动物，也可以是车、建筑物、路障等等；
所述车辆与附近第二对象之间的相对运动状态；所述相对运动状态包括以下至少之一：是否发生相对运动、相对运动的速度、加速度、方向；第二对象可以是静态的对象，也可以是动态的对象，可以是人、动物，也可以是车、建筑物、路障等等；
所述车辆的车外监测部的监测结果；该车外监测部可例如车外温度监测部、车外空气质量监测部、车外湿度监测部、车外噪音监测部、红外探测器、雷达、针对于车外环境的图像采集部、行车记录仪等等；任意可实现车外环境、事件等监测的部件或部件的组合，均可作为此处车外监测部，且监测的内容也可能与前文中天气等内容相同。
其中一种实施方式中，所述控制参考信息还包括车内的声音采集部采集到的声音信息。进而，由于声音信息是多样的，通过引入声音信息，可进一步丰富控制结果的多样性。并且，在实际的交互过程中，人的表达常是声音与动作相结合的，进而，在充分考虑声音信息的情况下，可有助于使得施控、响应控制的过程更贴合人的真实控制过程。
其中的当前控制结果，可以为使得车辆、车机、车载设备的软件和/或硬件发生变化的任意控制结果。
例如可以指至少之一以上所提及的车辆状态的变化；例如打开或关闭雨刮器、打开或关闭车窗(车座的窗户、天窗)、打开或关闭车灯(例如远光灯、近光灯、车内照明灯等)；也可以指控制车载设备或其组合执行某工作过程(例如控制图像采集部采集图片并利用存储器存储，或利用通讯部上传图片)。此外，当前控制结果的举例并不限于此处所列。
针对于部分手势信息，由于控制参考信息不同，根据同一手势信息可确定出不同的当前控制结果。
此外，手势信息、车辆控制参考信息、当前控制结果的数量可以是一个，也可以是多个。
以上方案中，在识别出手势信息后，可根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果，进而，可以车辆控制参考信息(例如车辆状态、环境状态车辆)作为车辆控制的依据，此时，由于依据更多样，单个手势信息可不再局限于只能实现一种控制结果，可见，基于有限的手势变化，本发明有助于匹配更多样的控制结果。同时，本发明控制时结合了车辆控制参考信息，可使得控制结果能够精准匹配于车辆状态和/或环境状态，有针对性地满足用户在各种状态下的各种需求。
其中一种实施方式中，步骤S13，可以包括：
S131：根据所述手势信息，确定目标事件；
S132：根据所述车辆控制参考信息，判断是否发生所述目标事件；
S133：是否发生了所述目标事件；
若步骤S133的结果为是，则可实施步骤S134：根据所述手势信息，以及所发生的目标事件，确定所述当前控制结果；
若步骤S133的结果为否，则可返回步骤S132。
其中的目标事件，可以是基于车辆控制参考信息而实现判断的任意事件。具体的，所述目标事件包括以下至少之一：
所述环境状态处于第一指定状态；
所述环境状态发生第一指定变化；
所述车辆状态处于第二指定状态；
所述车辆状态发生第二指定变化；
获取到指定声音信息。
第一指定状态、第二指定状态，可理解为车辆或环境正处于该状态，第一指定变化、第二指定变化，可理解为车辆或环境发生了该变化，可见，部分事件是关注状态本身的，部分事件是关注状态变化的。
指定声音信息，可以是指定语义的语音信息，也可以是无语义的声音信息。
此外，所判断的目标事件的数量可以是一个，也可以是多个。
具体的举例可例如：
一种场景下，可实现：下雨时指指雨刮器，雨刮器打开，进而，对应的手势信息表征的手势为指向雨刮器的手势，对应的车辆控制参考信息为环境状态中的天气，目标事件为：环境状态中的天气为雨天，当前控制结果为打开雨刮器；
一种场景下，可实现：敲敲侧窗，窗户打开，进而，对应的手势信息表征的手势为敲击侧窗(或靠近侧窗)，对应的车辆控制参考信息为敲击产生的声音信息，对应的目标事件为声音信息为敲击声，对应的当前控制结果为开窗；
一种场景下，可实现：不下雨时，指指天窗，打开天窗，进而，对应的手势信息表征的手势为指向天窗，对应的车辆控制参考信息为环境状态中天气，对应的目标事件为环境状态中天气非下雨天，对应的当前控制结果为打开天窗；
一种场景下，可实现：车速大于80公里/小时且车窗开着，则向上挥手时，车窗全关，进而，对应的手势信息表征的手势为向上挥手，对应的车辆控制参考信息为车辆状态中的车速、车窗状态，对应的目标事件为车速高于80公里/小时且车窗开着，对应的当前控制结果为控制车窗全关。
一种场景下，可实现：雷达探测到前方100米无车，且路况通畅，手掌前推可打开远光，进而，对应的手势信息表征的手势为手掌前推，对应的车辆控制参考信息包括：车辆与前方车辆之间的相对距离(也可理解为车辆上作为雷达的监测结果)，以及：车辆所处道路的拥堵状态，对应的目标事件为前方100米无车，且路况通畅，对应的当前控制结果为打开远光灯；
一种场景下，可实现：堵车时，朝前车打一拳，则自动抓拍前车照片到个人相册，用于下车后举报或其他，进而，对应的手势信息所表征的手势为打一拳，车辆控制参考信息为车辆所处道路的拥堵状态，对应的目标事件为拥堵状态非通畅，对应的当前控制结果为利用行车记录仪(或图像采集部)抓拍前车照片并将其存储于相册。
本发明实施例所能实现的控制可以基于本发明实施例的逻辑任意扩展而不限于以上举例。
其中一种实施方式中，由于考虑的因素比较多样，进而，在同一时间，同一手势与相同或不同目标事件可能会对应于多个不同的候选控制结果，例如：指向雨刮器的手势与天气为雨天的目标事件可能会带来打开雨刮器的控制结果，指向雨刮器的手势与进入隧道的目标事件可能会带来关闭雨刮器的控制结果，此时，当两个(或多个)目标事件都发生时，手势信息也相同，控制结果之间可能会发生冲突。
一种举例中，在不发生冲突的情况下，可同时实施两种(或多种)控制结果，即确定该两种(或多种)控制结果均作为当前控制结果，从而在步骤S14中执行。
另一种举例中，也可有选择地确定当前控制结果，从而在步骤S14中执行。以图3为例，步骤S134可以包括：
S1341：根据所述手势信息，以及所发生的目标事件，确定候选控制结果；
S1342：根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果。
其中的选择策略，可以是任意预设的策略，只要对候选控制结果进行了筛选，不论选出了几个当前控制结果，又如何选择的，均不脱离以上举例的范围。
所述候选控制结果的数量为多个，但也不排除其为一个的情形，若为一个，则可直接将该候选控制结果作为当前控制结果。此外，部分方案中，也可通过设置一些拒绝执行条件，进而，当候选控制结果匹配于拒绝执行条件时，滤除该候选控制结果，例如拒绝执行条件可例如作为电动车的车辆处于低电量状态。
一种进一步的举例中，步骤S1342可以包括：
根据多个所述候选控制结果的预设的优先级，选择所述优先级最高的候选控制结果作为所述当前控制结果。
其中提到的优先级最高的候选控制结果，其数量可以是一个，也可以是多个，具体的，可以是最高的一个优先级的一个候选控制结果，也可以是最高的一个优先级的多个候选控制结果，也可以是最高的多个优先级的多个候选控制结果。进而，选出的当前控制结果的数量可以是一个，也可以是多个。
以上基于预设的优先级实现了当前控制结果的筛选，可通过预先的定义保障控制的顺利实施，避免控制结果之间的冲突。
其他具体举例中，也可基于目标事件被监测到的时间顺序、目标事件的预先定义的优先等级、手势的预先定义的优先等级来选择当前控制结果。
还可结合以上所提及的至少之二因素来选择当前控制结果。
其中一种实施方式中，请参考图4，步骤S12之后还可包括：
S15：响应于所述手势信息，控制所述车辆内的机器人执行预设的人机交互结果。
进而，以上过程实现了人与机器人之间基于手势的交互，该过程中，可以考虑当前控制结果、目标事件、手势信息等至少之一进行控制，也可以不考虑。即：步骤S15中可以基于当前控制结果、目标事件、手势信息等至少之一，以及手势信息实施控制，也可以仅基于手势信息实施控制。
一种举例中，在考虑当前控制结果的情况下，人机交互结果可以是将当前控制结果的执行情况或其内容反馈给用户；另一种举例中，在不考虑当前控制结果的情况下，人机交互结果可以是对用户的手势或控制过程进行评价或反馈，例如：可在无法识别出手势时反馈手势控制失败，也可在指定时段内始终未监测到目标事件时反馈手势控制失败，还可说明失败的原因，再一举例中，人机交互结果也可以是夸赞用户使用手势控制的行为，或者对用户手势的标准程度进行评估，并反馈评估结果。
其中的人机交互结果的实现方式可以是机器人反馈相应的声音(例如设定的语音、鼓掌声、嘘声等)，或做出相应的动作，具体内容可基于机器人的功能进行配置。
通过手势控制与机器人人机交互的结合，可为手势控制的反馈、评价提供媒介，也可为人机交互的触发提供媒介，从而有助于优化人机交互的体验，使人感受到机器人的陪伴。
请参考图5，本发明实施例提供了一种基于手势的控制装置，包括：
获取模块201，用于获取车辆的车内图像；
识别模块202，用于识别所述车内图像中的手势信息；
控制结果确定模块203，用于根据所述手势信息，以及车辆控制参考信息，确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；
执行模块204，用于执行所述当前控制结果。
可选的，控制结果确定模块203，具体用于：
根据所述手势信息，确定目标事件；
根据所述车辆控制参考信息，判断是否发生所述目标事件；
若发生了所述目标事件，则根据所述手势信息，以及所发生的目标事件，确定所述当前控制结果。
可选的，控制结果确定模块203，具体用于：
根据所述手势信息，以及所发生的目标事件，确定候选控制结果；
根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果。
可选的，所述候选控制结果的数量为多个；
控制结果确定模块203，具体用于：
根据多个所述候选控制结果的预设的优先级，选择所述优先级最高的候选控制结果作为所述当前控制结果。
可选的，所述目标事件包括：所述环境状态处于第一指定状态或发生第一指定变化，和/或：所述车辆状态处于第二指定状态或发生第二指定变化。
可选的，所述环境状态包括以下至少之一：
所述车辆所处地理区域；
所述车辆所处地理区域的天气；
所述车辆所处道路的拥堵状态；
所述车辆前方路口的路灯状态；
所述车辆与附近第一对象之间的相对位置；
所述车辆与附近第二对象之间的相对运动状态；所述相对运动状态包括以下至少之一：是否发生相对运动、相对运动的速度、加速度、方向；
所述车辆的车外监测部的监测结果。
可选的，所述车辆状态包括以下至少之一：
所述车辆的车速；
所述车辆的车窗状态；
所述车辆的车门状态；
所述车辆的刹车信息；
所述车辆的踩油门信息；
所述车辆的档位；
所述车辆的发动机状态；
所述车辆的雨刮器状态；
所述车辆的车灯状态；
所述车辆的油量和/或电量；
所述车辆的充电状态；
所述车辆的车载设备的工作状态；
所述车辆的车内监测部的监测结果。
可选的，所述控制参考信息还包括车内的声音采集部采集到的声音信息，所述目标事件包括：获取到指定的声音信息。
可选的，请参考图6，所述的基于手势的控制装置200，还包括：
机器人控制模块205，响应于所述手势信息，控制所述车辆内的机器人执行预设的人机交互结果。
请参考图7，提供了一种电子设备30，包括：
处理器31；以及，
存储器32，用于存储所述处理器的可执行指令；
其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器31能够通过总线33与存储器32通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种基于手势的控制方法，其特征在于，包括：
获取车辆的车内图像；
识别所述车内图像中的手势信息，所述手势信息对应多个预设的控制结果；每个预设的控制结果与对应的预设的目标事件相关联；
根据所述手势信息，以及多种车辆控制参考信息，从所述多个预设的控制结果中确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；所述多种车辆参考控制信息中的每个用于确定当前的目标事件；执行所述当前控制结果；
其中，所述根据所述手势信息，以及多种车辆控制参考信息，从所述多个预设的控制结果中确定针对于所述车辆的当前控制结果，包括：
根据所述手势信息，确定多个预设的目标事件；
根据所述多种车辆控制参考信息，判断是否发生多个预设的目标事件中的部分或全部所述目标事件；以及
根据所发生的所述部分或全部所述目标事件，从所述多个预设的控制结果中确定所述当前控制结果。
2.根据权利要求1所述的基于手势的控制方法，其特征在于，根据所发生的所述部分或全部所述目标事件，从所述多个预设的控制结果中确定所述当前控制结果，包括：
根据所发生的部分或全部所述目标事件，从所述多个预设的控制结果中确定候选控制结果；
根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果。
3.根据权利要求2所述的基于手势的控制方法，其特征在于，所述候选控制结果的数量为多个；
根据预设的选择策略，在所述候选控制结果中，选择出所述当前控制结果，包括：
根据多个所述候选控制结果的预设的优先级，选择所述优先级最高的候选控制结果作为所述当前控制结果。
4.根据权利要求1所述的基于手势的控制方法，其特征在于，所述目标事件包括以下至少之一：
所述环境状态处于第一指定状态；
所述环境状态发生第一指定变化；
所述车辆状态处于第二指定状态；
所述车辆状态发生第二指定变化。
5.根据权利要求2至4任一项所述的基于手势的控制方法，其特征在于，所述控制参考信息还包括车内的声音采集部采集到的声音信息；
所述目标事件包括：获取到指定的声音信息。
6.根据权利要求1至4任一项所述的基于手势的控制方法，其特征在于，所述环境状态包括以下至少之一：
所述车辆所处地理区域；
所述车辆所处地理区域的天气；
所述车辆所处道路的拥堵状态；
所述车辆前方路口的路灯状态；
所述车辆与附近第一对象之间的相对位置；
所述车辆与附近第二对象之间的相对运动状态；所述相对运动状态包括以下至少之一：是否发生相对运动、相对运动的速度、加速度、方向；
所述车辆的车外监测部的监测结果。
7.根据权利要求1至4任一项所述的基于手势的控制方法，其特征在于，所述车辆状态包括以下至少之一：
所述车辆的车速；
所述车辆的车窗状态；
所述车辆的车门状态；
所述车辆的刹车信息；
所述车辆的踩油门信息；
所述车辆的档位；
所述车辆的发动机状态；
所述车辆的雨刮器状态；
所述车辆的车灯状态；
所述车辆的油量和/或电量；
所述车辆的充电状态；
所述车辆的车载设备的工作状态；
所述车辆的车内监测部的监测结果。
8.根据权利要求1至4任一项所述的基于手势的控制方法，其特征在于，还包括：
响应于所述手势信息，控制所述车辆内的机器人执行预设的人机交互结果。
9.一种基于手势的控制装置，其特征在于，包括：
获取模块，用于获取车辆的车内图像；
识别模块，用于识别所述车内图像中的手势信息，所述手势信息对应多个预设的控制结果；每个预设的控制结果与对应的预设的目标事件相关联；
控制结果确定模块，用于根据所述手势信息，以及多种车辆控制参考信息，从所述多个预设的控制结果中确定针对于所述车辆的当前控制结果；所述车辆控制参考信息包括以下至少之一：所述车辆的车辆状态、所述车辆所处环境的环境状态；所述多种车辆参考控制信息中的每个用于确定当前的目标事件；
执行模块，用于执行所述当前控制结果；
其中，所述根据所述手势信息，以及多种车辆控制参考信息，从所述多个预设的控制结果中确定针对于所述车辆的当前控制结果，包括：
根据所述手势信息，确定多个预设的目标事件；
根据所述多种车辆控制参考信息，判断是否发生多个预设的目标事件中的部分或全部所述目标事件；以及
根据所发生的所述部分或全部所述目标事件，从所述多个预设的控制结果中确定所述当前控制结果。
10.一种电子设备，其特征在于，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现权利要求1至8任一项所述的方法。
11.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758320.3A CN113501004B (zh) | 2021-07-05 | 2021-07-05 | 基于手势的控制方法、装置、电子设备与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110758320.3A CN113501004B (zh) | 2021-07-05 | 2021-07-05 | 基于手势的控制方法、装置、电子设备与存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113501004A CN113501004A (zh) | 2021-10-15 |
| CN113501004B true CN113501004B (zh) | 2023-02-17 |
Family
ID=78011273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110758320.3A Active CN113501004B (zh) | 2021-07-05 | 2021-07-05 | 基于手势的控制方法、装置、电子设备与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113501004B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114435383A (zh) * | 2022-01-28 | 2022-05-06 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
| CN114708577A (zh) * | 2022-03-29 | 2022-07-05 | 上海商汤临港智能科技有限公司 | 车窗的控制方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107719303A (zh) * | 2017-09-05 | 2018-02-23 | 观致汽车有限公司 | 一种车辆门窗开启控制系统、方法及车辆 |
| CN109808469A (zh) * | 2019-02-18 | 2019-05-28 | 上海尚宏汽车天窗有限公司 | 手势识别控制的汽车天窗 |
| CN111267728A (zh) * | 2019-12-24 | 2020-06-12 | 深圳创维汽车智能有限公司 | 车辆车门安全监控方法、系统、设备及存储介质 |
| CN112130547A (zh) * | 2020-09-28 | 2020-12-25 | 广州小鹏汽车科技有限公司 | 一种车辆交互的方法和装置 |
| CN112698716A (zh) * | 2019-10-23 | 2021-04-23 | 上海博泰悦臻电子设备制造有限公司 | 基于手势识别的车内设置、控制方法、系统、介质及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11554668B2 (en) * | 2019-06-25 | 2023-01-17 | Hyundai Mobis Co., Ltd. | Control system and method using in-vehicle gesture input |
-
2021
- 2021-07-05 CN CN202110758320.3A patent/CN113501004B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107719303A (zh) * | 2017-09-05 | 2018-02-23 | 观致汽车有限公司 | 一种车辆门窗开启控制系统、方法及车辆 |
| CN109808469A (zh) * | 2019-02-18 | 2019-05-28 | 上海尚宏汽车天窗有限公司 | 手势识别控制的汽车天窗 |
| CN112698716A (zh) * | 2019-10-23 | 2021-04-23 | 上海博泰悦臻电子设备制造有限公司 | 基于手势识别的车内设置、控制方法、系统、介质及设备 |
| CN111267728A (zh) * | 2019-12-24 | 2020-06-12 | 深圳创维汽车智能有限公司 | 车辆车门安全监控方法、系统、设备及存储介质 |
| CN112130547A (zh) * | 2020-09-28 | 2020-12-25 | 广州小鹏汽车科技有限公司 | 一种车辆交互的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113501004A (zh) | 2021-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113501004B (zh) | 基于手势的控制方法、装置、电子设备与存储介质 | |
| US7974748B2 (en) | Driver assistance system with vehicle states, environment and driver intention | |
| US10295360B2 (en) | Assistance when driving a vehicle | |
| WO2017190595A1 (zh) | 一种交通工具数据处理方法、装置和终端设备 | |
| CN108710368B (zh) | 一种无人驾驶系统及电动汽车 | |
| CN107128287B (zh) | 基于图像识别和云计算的智能雨刮控制装置及其控制方法 | |
| CN107683237A (zh) | 驾驶辅助方法以及利用了该驾驶辅助方法的驾驶辅助装置、驾驶控制装置、车辆、驾驶辅助程序 | |
| CN105799613A (zh) | 手势识别装置及其控制方法以及具有该装置的车辆 | |
| CN104442808A (zh) | 从自主车辆控制向驾驶员控制过渡的系统和方法 | |
| CN114435138A (zh) | 一种车辆能耗预测方法、装置、车辆及存储介质 | |
| CN109753623B (zh) | 一种自动驾驶车辆多测试场景分析与数目化简方法 | |
| CN105009181A (zh) | 用于获得用于机动车自动化的规则组的系统 | |
| CN112002124B (zh) | 车辆行程能耗预测方法及装置 | |
| KR102376122B1 (ko) | 추월 확률 수집부를 생성하는 방법, 자동차의 제어 디바이스를 동작시키는 방법, 추월 확률 수집 디바이스 및 제어 디바이스 | |
| CN108664258A (zh) | 升级保护系统、车辆及其保护方法 | |
| CN104943697A (zh) | 用于自主车辆制动中的能量优化的系统和方法 | |
| CN113723528A (zh) | 车载语视融合多模态交互方法及系统、设备、存储介质 | |
| CN106335451A (zh) | 一种基于环境数据的车辆控制方法及终端 | |
| CN115416601A (zh) | 车辆的控制方法、装置、车辆及存储介质 | |
| CN115179928A (zh) | 用于向交通工具的使用者警告危险情况的方法和警告装置 | |
| CN110509928B (zh) | 一种辅助驾驶方法、装置 | |
| CN117476005A (zh) | 基于语音识别车顶帐篷控制方法、系统、车辆及存储介质 | |
| CN110053554B (zh) | 辅助驾驶方法、辅助驾驶装置及车载无人机 | |
| JP7035814B2 (ja) | 車両提案システム、運転特徴生成装置、車両提案装置 | |
| CN116340332A (zh) | 更新车载智能系统的场景库的方法、装置和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231121 Address after: Floors 3-7, Building T3, No. 377 Songhong Road, Changning District, Shanghai, 200000 Patentee after: Shanghai Jiayu Intelligent Technology Co.,Ltd. Address before: 200050 room 8041, 1033 Changning Road, Changning District, Shanghai (nominal Floor 9) Patentee before: Shanghai xianta Intelligent Technology Co.,Ltd. |