CN112513787A - 车内隔空手势的交互方法、电子装置及系统 - Google Patents

车内隔空手势的交互方法、电子装置及系统 Download PDF

Info

Publication number
CN112513787A
CN112513787A CN202080004156.0A CN202080004156A CN112513787A CN 112513787 A CN112513787 A CN 112513787A CN 202080004156 A CN202080004156 A CN 202080004156A CN 112513787 A CN112513787 A CN 112513787A
Authority
CN
China
Prior art keywords
user
gesture
air
response
separating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080004156.0A
Other languages
English (en)
Other versions
CN112513787B (zh
Inventor
汤秋缘
彭帅华
李皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN112513787A publication Critical patent/CN112513787A/zh
Application granted granted Critical
Publication of CN112513787B publication Critical patent/CN112513787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种车内隔空手势的交互方法、电子装置及系统,涉及智能车技术领域。该方法包括:获取通过摄像头检测到第一隔空手势,在所述第一隔空手势对应的预设响应操作与发起所述第一隔空手势的第一用户匹配时,响应于所述第一隔空手势,启动所述第一隔空手势对应的预设响应操作。该方法可以用于车内隔空手势的交互场景中,降低隔空手势的误操作率,保障驾驶安全和交互体验。

Description

车内隔空手势的交互方法、电子装置及系统
技术领域
本申请涉及智能车技术领域,尤其涉及一种车内隔空手势的交互方法、电子装置及系统。
背景技术
目前,随着车辆技术的突飞猛进,车辆越来越普遍,车辆已经成为了人们日常生活中的重要交通工具之一。同时,随着车载终端屏幕的增加,用户对汽车的功能使用不仅仅局限于驾驶。在未来汽车的智能座舱中,人机智能交互是很重要的基本功能。用户不再局限于对触摸屏的触摸控制,隔空手势也逐步运用到了智能车领域的人机交互中。
汽车是安全性高敏感的业务场景,如何在提升交互体验的同时,保障汽车安全驾驶,值得研究。
发明内容
本申请提供一种隔空手势的交互方案,包括隔空手势的交互方法、电子装置以及系统,可用于在汽车座舱场景中,在保障汽车驾驶安全的同时,提升用户与电子装置交互的体验。
应理解,本申请实施例提供的隔空手势的交互方法可以由电子装置执行。该电子装置可以是计算设备的整机,也可以是该计算设备中的部分器件,例如,芯片。具体地,电子装置可以是诸如汽车、车载设备(如车机)等终端,也可以是能够被设置在终端中的系统芯片(也称为片上系统,或称为SoC芯片)或者图像处理芯片等其他芯片。在物理实现中,图像处理芯片等其他芯片可以继承在系统芯片内部,也可以不与系统芯片集成。
第一方面,本申请提供一种车内隔空手势的交互方法,该方法可以包括:获取通过摄像头检测到的第一隔空手势,响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作。
通过上述方案可以避免电子装置直接响应任意用户发起的任意隔空手势,以保障驾驶安全和信息安全。
在一种可能的实施方式中,在该响应于该第一隔空手势,在该第一隔空手势对应的预设响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一隔空手势对应的预设响应操作之前,该方法还包括:获取该第一隔空手势对应的第一响应操作的响应属性;获取发起该第一隔空手势的第一用户的用户属性;根据该第一响应操作的响应属性和该第一用户的用户属性,确定该第一响应操作与该第一用户是否匹配;其中,该响应属性包括响应类型、响应等级、响应优先级、或响应位置中的一个或多个,该用户属性包括用户身份、用户位置或用户权限中的一个或多个。
在一种可能的实施方式中,该获取该第一用户的用户属性,具体包括:根据该摄像头检测到的第一隔空手势对应的图片,确定该第一用户的用户位置;根据该第一用户的用户位置,确定该第一用户的用户身份。
应理解,通过摄像头所采集的第一隔空手势对应的N张图片,其中,N为正整数,来确定第一用户所处的位置,基于该位置可以确定其用户身份。其中,用户身份可以是驾驶员或乘客。具体地,以五座车为例,乘客可以是副驾驶位的乘客,或者还可以是后排乘客。而后排乘客也可以分为后排左侧乘客、后排右侧乘客、后排中间乘客,其中,左右方向以汽车前进方向为参考方向进行确定。或者,对于车内各座位进行编号,并预设置编号与用户位置之间的对应关系,进而基于上述图片确定其用户位置。通过上述方案,容易实施,减少计算量。
在一种可能的实施方式中,该获取该第一用户的用户属性,具体包括:根据该摄像头检测到的第一隔空手势对应的图片、以及车内用户面容信息,确定该第一用户的用户身份。
其中,车内用户面容信息可以是用户面容图像的特征点信息,也可以是用户的面容图像。
在一种可能的实施方式中,在该第一响应操作的响应属性为驾驶操作,且该第一用户的用户身份为驾驶员时,该第一响应操作与第一用户匹配。相反,在该第一响应操作的响应属性为驾驶操作,且该第一用户的用户身份为除驾驶员以外的其他乘客时,该第一响应操作与第一用户不匹配。
应理解,具体哪些响应属性与哪些用户属性可以匹配,可以预先设置。例如,可以预先设置当第一响应操作为娱乐操作时,对于任意用户身份都进行响应。但对于第一响应操作为驾驶操作时,仅对驾驶员或安全员等用户身份进行响应。具体的设置时间可以是出厂前、系统升级下载升级包时、或者用户设置时等时间。可以存储在电子装置本地,也可以存储在云端服务器,每次由电子装置通过网络从云端服务器来获取,具体地,如可以通过通信盒子T-box从云端服务器进行获取。
在一种可能的实施方式中,该获取该第一用户的用户属性,具体包括:根据该摄像头检测到的第一隔空手势对应的图片,确定该第一用户的用户位置;该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体包括:响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,根据该第一用户的用户位置,启动该第一响应操作。
在一种可能的实施方式中,该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,根据该第一用户的用户位置,启动该第一响应操作,具体包括:响应于第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,在该第一用户的用户位置对应的区域,启动该第一响应操作。
例如,第一响应操作为开启车窗,则可以开启第一用户旁边的车窗,而不对其他用户附近的车窗进行操作。再例如,第一响应操作为调整音量,则可以针对第一用户附近的音响的音量进行调整,从而仅调整第一用户周边的音量而不影响其他用户。
通过上述方案,可以根据隔空手势的发起用户的位置,进行适应性地响应,避免影响其他用户的体验。
在一种可能的实施方式中,在响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作之前,该方法还包括:在车内的第一显示屏上显示第一显示界面;该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,根据该第一用户的用户位置,启动该第一响应操作,具体包括:响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配,且该第一显示屏不是第一用户面前的显示屏时,在车内的第二显示屏上显示该第一显示界面,根据该第一隔空手势在预设方向上的移动轨迹,移动该第一显示界面中的指示图标。
通过上述方案,可以使隔空手势的发起用户及时准确地感知到摄像头检测到其隔空手势,处理器也正在响应他们的操作,避免该用户多次发起隔空手势,提升用户的交互体验。
在一种可能的实施方式中,该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体包括:该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作所需用户权限阈值小于或等于发起该第一隔空手势的第一用户的用户权限时,启动该第一响应操作。
例如,针对于第一响应操作为驾驶操作,可以将响应操作所需的用户权限设置为最高级,从而排除除驾驶员以外的乘客。避免发生安全事故。再例如,针对于第一响应操作为设备调整,如空调温度调整,可以将响应操作所需的用户权限设置为一定级别,以降低低领儿童随意挥舞的手臂导致的反复调整空调温度,或者,尽量避免儿童自己将空调温度调制过低,影响健康的情况。
在一种可能的实施方式中,该方法还包括:通过该摄像头检测到第二隔空手势,其中,该第二隔空手势由第二用户发起,该第二隔空手势的发起时间与该第一隔空手势的发起时间相差时长小于第一预设阈值;该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体包括:在第一用户的用户权限高于该第二用户的用户权限时,优先响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作。
通过上述方案,针对于多用户在同一时间段发起隔空手势,电子装置不知道响应哪一个隔空手势或随意响应的问题,可以通过优先响应于高优先级的用户发起的隔空手势来解决,进而提升用户的交互体验。
在一种可能的实施方式中,驾驶员的控制权限高于其他乘客的控制权限。
在一种可能的实施方式中,年龄大于第一阈值的乘客的控制权限高于年龄小于第二阈值的乘客的控制权限,其中,第一阈值大于第二阈值,第一阈值和第二阈值为正整数。
在一种可能的实施方式中,第一乘客的控制权限高于第二乘客的控制权限,其中,第一乘客的年龄大于第二乘客的年龄。
在一种可能的实施方式中,机动车辆所属人的控制权限高于非机动车辆所属人以外的驾驶员,和/或,其他乘客等其他用户的控制权限。通过上述方案,可以保障机动车辆所属人的财产安全,避免车辆被抢盗。
在一种可能的实施方式中,在响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作之前,该方法还包括:在该第一隔空手势的位置距离该摄像头的距离大于第二预设阈值时,在车内的显示屏上显示提示消息,该提示消息用于提示该第一用户向其他摄像头发起隔空手势。
在一种可能的实施方式中,在响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作之前,该方法还包括:在该第一隔空手势相对于该第一摄像头的参考面的投影比例小于第三预设阈值时,在车内的显示屏上显示提示消息,该提示消息用于提示该第一用户向其他摄像头发起隔空手势。
在一种可能的实施方式中,在响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作之前,该方法还包括:在该第一隔空手势的检测精度小于第四预设阈值时,在车内的显示屏上显示提示消息,该提示消息用于提示该第一用户向其他摄像头发起隔空手势。
例如,第一隔空手势的响应操作为唤醒车内隔空手势的功能,摄像头检测到该第一隔空手势后唤醒了车内隔空手势的功能,处理器确定该摄像头对于发起第一隔空手势的位置所对应的隔空手势检测精度低于预设阈值后,可以通过提示消息提醒该用户向其他摄像头发起隔空手势,以提高后续隔空手势交互的响应速度和检测精度。其他摄像头可以是除了该摄像头以外的其他摄像头,也可以是对于该用户检测角度最好的摄像头。
第二方面,本申请实施例提供了一种车内隔空手势的交互装置,该装置包括收发单元以及处理单元;其中,该收发单元用于获取通过摄像头检测到的第一隔空手势;该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作。
在一种可能的实施方式中,该收发单元还用于获取该第一隔空手势对应的第一响应操作的响应属性;该收发单元还用于获取发起该第一隔空手势的第一用户的用户属性;该处理单元还用于根据该第一响应操作的响应属性和该第一用户的用户属性,确定该第一响应操作与该第一用户是否匹配;其中,该响应属性包括响应类型、响应等级、响应优先级或响应位置中的一个或多个,该用户属性包括用户身份、用户位置或用户权限中的一个或多个。
在一种可能的实施方式中,该处理单元还用于根据该摄像头检测到的第一隔空手势对应的图片,确定该第一用户的用户位置;该处理单元还用于根据该第一用户的用户位置,确定该第一用户的用户身份是否为驾驶员。
在一种可能的实施方式中,在该第一响应操作的响应属性为驾驶操作,且该第一用户的用户身份为驾驶员时,该第一响应操作与第一用户匹配。
在一种可能的实施方式中,该处理单元还用于根据该摄像头检测到的第一隔空手势对应的图片,确定该第一用户的用户位置;该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体指的是:该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,根据该第一用户的用户位置,启动该第一响应操作。
在一种可能的实施方式中,该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,根据该第一用户的用户位置,启动该第一响应操作,具体包括:
该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,在该第一用户的用户位置对应的区域,启动该第一响应操作。
在一种可能的实施方式中,该处理单元还用于在车内的第一显示屏上显示第一显示界面;
该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体指的是:
该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配,且该第一显示屏不是第一用户面前的显示屏时,在车内的第二显示屏上显示该第一显示界面,根据该第一隔空手势在预设方向上的移动轨迹,移动该第一显示界面中的指示图标。
在一种可能的实施方式中,该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体指的是:
该处理单元用于该响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作所需用户权限阈值小于或等于发起该第一隔空手势的第一用户的用户权限时,启动该第一响应操作。
在一种可能的实施方式中,该收发单元,还用于获取通过摄像头检测到的第二隔空手势,其中,该第二隔空手势由第二用户发起;
该处理单元用于响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,具体指的是:
该处理单元用于在第一用户的用户权限高于该第二用户的用户权限时,优先响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作。
在一种可能的实施方式中,该驾驶员的控制权限高于该其他乘客的控制权限。
在一种可能的实施方式中,该处理单元还用于在该第一隔空手势的位置距离该摄像头的距离大于第二预设阈值时,在车内的显示屏上显示提示消息,该提示消息用于提示该第一用户向其他摄像头发起隔空手势。
在一种可能的实施方式中,该处理单元还用于该第一隔空手势相对于该第一摄像头的参考面的投影比例小于第三预设阈值时,在车内的显示屏上显示提示消息,该提示消息用于提示该第一用户向其他摄像头发起隔空手势。
在一种可能的实施方式中,该电子装置为车机或车载芯片或智能车。
第三方面,本申请实施例提供了一种智能车,包含如第二方面或第二方面中任一种可能的实施方式中的电子装置。
第四方面,提供一种终端,该终端包括:触摸屏,其中,该触摸屏包括触敏表面和显示器;摄像头;一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中该一个或多个计算机程序被存储在该存储器中,该一个或多个计算机程序包括指令,当该指令被该终端执行时,使得该终端执行第一方面至第二方面及任一种可能的实施方式中该的图像处理方法。
第五方面,提供一种计算机存储介质,其特征在于,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行第一方面及任一种可能的实施方式中的交互方法。
第六方面,提供一种计算机程序产品,其特征在于,当该计算机程序产品在计算机上运行时,使得该电子设备执行第一方面及任一种可能的实施方式中的交互方法。
第七方面,提供一种系统,其特征在于,包括包含如第二方面或第二方面中任一种可能的实施方式中的电子装置,或如第三方面或第三方面中任一种可能的实施方式中的智能车,或如第四方面或第四方面中任一种可能的实施方式中的终端。
第二方面至第七方面中的任一方面、及其可能的实施方式的技术细节、技术效果和可能的实施方式可以参考第一方面及其任一种可能的实施方式中的相关描述,此处不再重复赘述。
应理解,采用本申请实施例提供的车内隔空手势交互方法,通过对隔空手势的发起用户与隔空手势对应的响应操作的匹配,在保障安全驾驶的同时还可以保障操作的交互体验。
附图说明
图1为本申请实施例提供的一种汽车内部的结构示意图;
图2A为本申请实施例提供的一种车辆200的功能框图;
图2B为本申请实施例提供的一种摄像头的拍摄原理示意图;
图3为本申请实施例提供的一种车内隔空手势的交互方法流程示意图;
图4为本申请实施例提供的一种车内隔空手势的示意图;
图5为本申请实施例提供的一种车内隔空手势的建模示意图;
图6为本申请实施例提供的一种车内隔空手势的场景示意图;
图7为本申请实施例提供的一种电子装置的结构示意图;
图8为本申请实施例提供的另一种电子装置的结构示意图;
图9为本申请实施例提供的另一种电子装置的结构示意图。
具体实施方式
下面,将结合附图对本申请实施例进行详细描述。
图1为本申请实施例提供的一种汽车内部的结构示意图。目前在汽车领域中,车机(也称为车内影音娱乐系统)等车载终端可以固定位于汽车的中控台,其屏幕也可以称之为中控显示屏或中控屏。另外,有一些高端汽车,座舱内逐步全面数字化显示,座舱内设置有多块或一块显示屏,用于显示数字仪表盘、车载娱乐系统等内容。如图1所示,座舱内设置有多块显示屏,如数字仪表显示屏101,中控屏102,副驾驶位上的乘客(也称为前排乘客)面前的显示屏103,左侧后排乘客面前的显示屏104以及右侧后排乘客面前的显示屏105。另外,图1中,虽然仅在驾驶员侧的A柱(pillar)附近示出一个摄像头106,座舱内可以设置有多个摄像头,且摄像头的位置较为灵活,例如,有的座舱的摄像头可以设置于车辆中控屏上方,有的座舱的摄像头可以设置于车辆中控屏左侧,有的座舱的摄像头可以设置于A柱或B柱,有的座舱的摄像头可以设置于车辆的座舱顶前部。车内用户可以通过摄像头发起隔空手势,来执行相应功能。但汽车是安全性高敏感的业务场景,如何在提升交互体验的同时,保障汽车安全驾驶,值得研究。
图2A为本申请实施例提供的一种车辆200的功能框图。车辆200可以包括多个子系统,例如,行进系统202、传感器系统204、控制系统206、一个或多个外围设备208以及电源210、计算机系统212和用户接口216。可选地,车辆200可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆200的每个子系统和元件可以通过有线或者无线(如蓝牙)方式互连。
行进系统202可包括为车辆200提供动力运动的组件。在一个实施例中,推进系统202可包括引擎218、能量源219、传动装置220和车轮/轮胎221。引擎218可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如气油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎218将能量源219转换成机械能量。
能量源219的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源219也可以为车辆200的其他系统提供能量。
传动装置220可以将来自引擎218的机械动力传送到车轮221。传动装置220可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置220还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮221的一个或多个轴。
传感器系统204可包括感测关于车辆200周边的环境的信息的若干个传感器。例如,传感器系统204可包括定位系统222(定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)224、雷达226、激光测距仪228以及相机230。传感器系统204还可包括被监视车辆200的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主车辆200的安全操作的关键功能。
定位系统222可用于估计车辆200的地理位置。IMU 224用于基于惯性加速度来感测车辆200的位置和朝向变化。在一个实施例中,IMU 224可以是加速度计和陀螺仪的组合。
雷达226可利用无线电信号来感测车辆200的周边环境内的物体。在一些实施例中,除了感测物体以外,雷达226还可用于感测物体的速度和/或前进方向。
激光测距仪228可利用激光来感测车辆200所位于的环境中的物体。在一些实施例中,激光测距仪228可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
相机230可用于捕捉车辆200的周边环境或车辆内的多个图像。相机230可以是静态相机或视频相机。相机230也可以称作摄像头230,其中,车内的摄像头可以是驾驶员检测系统(driver monitor system,DMS)中的摄像头,也可以是座舱检测系统(cabin monitorsystem,CMS)中的摄像头,或者车载电脑内置的摄像头。
控制系统206为控制车辆200及其组件的操作。控制系统206可包括各种元件,其中包括转向系统232、油门234、制动单元236、传感器融合算法238、计算机视觉系统240、路线控制系统242以及障碍物避免系统244。
转向系统232可操作来调整车辆200的前进方向。例如在一个实施例中可以为方向盘系统。
油门234用于控制引擎218的操作速度并进而控制车辆200的速度。
制动单元236用于控制车辆200减速。制动单元236可使用摩擦力来减慢车轮221。在其他实施例中,制动单元236可将车轮221的动能转换为电流。制动单元236也可采取其他形式来减慢车轮221转速从而控制车辆200的速度。
计算机视觉系统240可以操作来处理和分析由相机230捕捉的图像以便识别车辆200周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统240可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统240可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
路线控制系统242用于确定车辆200的行驶路线。在一些实施例中,路线控制系统242可结合来自传感器238、GPS 222和一个或多个预定地图的数据以为车辆200确定行驶路线。
障碍物避免系统244用于识别、评估和避免或者以其他方式越过车辆200的环境中的潜在障碍物。
当然,在一个实例中,控制系统206可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆200通过外围设备208与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备208可包括无线通信系统246、车载电脑248、麦克风250和/或扬声器252。
在一些实施例中,外围设备208提供车辆200的用户与用户接口216交互的手段。例如,车载电脑248可向车辆200的用户提供信息。用户接口216还可操作车载电脑248来接收用户的输入。车载电脑248可以通过触摸屏进行操作,车载电脑248有时也成为车机或车载信息娱乐系统。在其他情况中,外围设备208可提供用于车辆200与位于车内的其它设备通信的手段。例如,麦克风250可从车辆200的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器252可向车辆200的用户输出音频。
无线通信系统246可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统246可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统246可利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信系统246可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统246可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源210可向车辆200的各种组件提供电力。在一个实施例中,电源210可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆200的各种组件提供电力。在一些实施例中,电源210和能量源219可一起实现,例如一些全电动车中那样。
车辆200的部分或所有功能受计算机系统212控制。计算机系统212可包括至少一个处理器213,处理器213执行存储在例如数据存储装置214这样的非暂态计算机可读介质中的指令215。计算机系统212还可以是采用分布式方式控制车辆200的个体组件或子系统的多个计算设备。
处理器213可以是任何常规的处理器,诸如商业可获得的CPU。替选地,该处理器可以是诸如ASIC或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机210的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机210的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,数据存储装置214可包含指令215(例如,程序逻辑),指令215可被处理器213执行来执行车辆200的各种功能,包括以上描述的那些功能。数据存储装置214也可包含额外的指令,包括向推进系统202、传感器系统204、控制系统206和外围设备208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外,数据存储装置214还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆200在自主、半自主和/或手动模式中操作期间被车辆200和计算机系统212使用。
用户接口216,用于向车辆200的用户提供信息或从其接收信息。可选地,用户接口216可包括在外围设备208的集合内的一个或多个输入/输出设备,例如无线通信系统246、车载电脑248、麦克风250和扬声器252。
计算机系统212可基于从各种子系统(例如,行进系统202、传感器系统204和控制系统206)以及从用户接口216接收的输入来控制车辆200的功能。例如,计算机系统212可利用来自控制系统206的输入以便控制转向单元232来避免由传感器系统204和障碍物避免系统244检测到的障碍物。在一些实施例中,计算机系统212可操作来对车辆200及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆200分开安装或关联。例如,数据存储装置214可以部分或完全地与车辆2100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图2A不应理解为对本发明实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆200,可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,自动驾驶汽车车辆200或者与自动驾驶车辆200相关联的计算设备(如图2A的计算机系统212、计算机视觉系统240、数据存储装置214)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆200能够基于预测的所述识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)稳定状态。在这个过程中,也可以考虑其它因素来确定车辆200的速度,诸如,车辆200在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆200的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述车辆200可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本发明实施例不做特别的限定。
图2B为本申请实施例提供的一种摄像头的拍摄原理示意图。如图2B所示,摄像头193一般包括镜头(lens)和感光元件(sensor),该感光元件可以为CCD(charge-coupleddevice,电荷耦合元件)或者CMOS(complementary metal oxide semiconductor,互补金属氧化物半导体)等任意感光器件。仍如图2B所示,在拍摄照片或视频的过程中,被拍摄物体的反射光线经过镜头后可生成光学图像,该光学图像投射到感光元件上,感光元件将接收到的光信号转换为电信号,进而,摄像头230将得到的电信号发送至DSP(Digital SignalProcessing,数字信号处理)模块进行数字信号处理,最终得到每一帧数字图像。在本申请实施例中,摄像头230可用于采集用户输入的隔空手势。例如,可将摄像头230设置为常开状态(always on)实时采集当前的图像。摄像头230可将采集到的每一帧图像发送给处理器110。如果从采集到的图像中识别出用户执行了预设的开启手势,说明用户希望使用隔空手势的方式与电子设备进行交互,则处理器110可根据摄像头230实时发来的图像识别此时用户输入的具体隔空手势。
图3为本申请实施例提供的一种车内隔空手势的交互方法流程示意图,应理解的是,该交互方法可以由电子装置执行,其中,电子装置可以是计算设备的整机,例如车或车机等车载设备,也可以是应用于计算设备的部分器件,例如车机中的芯片。如图3所示,该方法包括:
S301:获取通过摄像头检测到的第一隔空手势。
车内可安装有至少一个摄像头,例如,DMS中的摄像头,CMS中的摄像头,车机上安装的摄像头,或者中控台附近安装的摄像头。其中,DMS的摄像头可以安装在车内A柱(A-pillar)附近或者仪表盘位置附近。一般来说,DMS的摄像头需要能够采集到驾驶员的神态、姿态、动作等,以对驾驶员的行为进行分析判断,从而辅助驾驶员的驾驶等行为。CMS的摄像头一般可以安装在前挡风玻璃上部中心区域附近,和/或,座舱顶部中心区域等位置,一般CMS的摄像头的拍摄目标包括了座舱内的用户,例如,驾驶员、前排乘客、后排乘客。CMS的摄像头一般需要采集到座舱内的用户的神态、姿态、动作等,以监测座舱内的用户行为。
上述摄像头可以是单目摄像头、双目摄像头或三目摄像头等多目摄像头,还可以是3D摄像头。处理器可以根据摄像头所获取的图像来获取图像中的物体或用户的位置变化。例如,处理器可以根据3D摄像头获取到的图像来获取图像中的物体或用户与车机之间的距离变化。或者,处理器可以获取多个摄像头采集的画面,通过建立模型来获取图像中的物体或用户与车机之间的距离变化。
其中,摄像头所采集到的数据可以存储在存储器中,或者,上传至云端存储。处理器可以通过有线通信或无线通信(例如,蓝牙、蜂窝网络)等方式通过接口电路来获取上述摄像头采集到的数据。
示例性的,可将车内摄像头设置为常开状态。也就是说,车内摄像头可一直处于工作状态,摄像头可按照一定的工作频率采集拍摄范围内的图像。另外,对于功耗敏感的电动汽车,摄像头也可以默认为关闭,在车内有用户的时候默认为开启状态。
图4为本申请实施例提供的一种车内隔空手势的场景示意图。图5为本申请实施例提供的一种车内隔空手势的建模示意图。
示例性的,由于座舱内的用户较多,且动作幅度、角度不一,处理器也可以默认关闭隔空手势功能以节省功耗和算力。那么,当用户希望使用隔空手势与车机交互时,如图4所示,可在上述摄像头的拍摄范围内输入隔空手势的开启手势。例如,该开启手势可以是用户食指弯曲悬停了1s的手势。摄像头可采集到用户食指弯曲悬停时的多帧图像,处理器可根据摄像头采集到的多帧图像识别出用户当前是否输入上述开启手势。再例如,该开启手势可以是用户通过手势比划了一个“Z”字形,摄像头可采集到用户比划手势的多帧图像,处理器根据摄像头采集到的多帧图像识别出用户当前是否输入上述开启手势。由于车内空间较大,摄像头可采集到的拍摄范围较大,上述开启手势还可以拓展并理解为开启姿势或开启动作。例如,该开启姿势或开启动作可以是手臂划出半圆形状,摄像头可采集到用户比划动作的多帧图像,处理器根据摄像头采集到的多帧图像识别出用户当前是否输入上述开启动作。
下面以用户食指弯曲悬停1s作为开启手势举例,摄像头可以实时地采集其拍摄范围内的物体图像,处理器可以通过有线通信或无线通信来获取该摄像头所采集到的图像。例如,处理器获取到了最近1s内摄像头所采集到的N帧图像,其中,N为正整数。并且,处理器可以对采集到的物体进行建模。如图5所示,处理器获取了摄像头最近1s内所采集到的N帧图像。以每一帧图像的右上角为原点O建立x轴和y轴举例,x轴和y轴可以以像素为单位,也可以设置mm、cm等距离单位。处理器可识别这N帧图像中用户手势的图案以及图案中的参考点A,参考点A可以是手势图案中的任一个采样点,具体可以在算法中进行设置和调整。例如,参考点A可以是手势图案的中心点,或参考点A可以是用户食指的端点等。
如果上述N帧图像中每帧图像内均包含手势图案,或上述N帧图像中包含手势图案的图像数目大于预设值1,说明用户手掌在这1s内一直出现在摄像头的拍摄范围内。同时,处理器可根据上述N帧图像中参考点A1、A2、……、An的坐标,计算用户手掌的移动距离。如果用户手掌的移动距离小于预设值2(例如,预设值2为50个像素单位),说明用户手掌在这1s内一直悬停在摄像头的拍摄范围内,此时,处理器可确定用户输入了预设的开启手势。
应理解的是,在具体实施过程中,除了通过笛卡尔直角坐标系来建立模型,还可以利用极坐标系、球坐标系或柱坐标系等坐标系来建立模型,分解手势操作判断用户的手掌或手指位置变化,本申请对此不做限定。以基于球坐标系建立模型为例,展开介绍。以摄像头为原点,假设其中一个参考点为P点,水平方向为x轴,竖直方向为z轴,其中,向上方向为正z轴,垂直于x轴、z轴所组成的平面为y轴。根据P点到原点的距离r、原点到P点的连线与正z轴之间的夹角θ、以及原点到点P的连线在xy平面的投影线,与正x轴之间的方位角ψ,来进行计算。其中,参考点可以取隔空手势或隔空姿势上的一个或多个采样点。
在另一些示例中,用户也可以通过其他方式触发车进入隔空手势的操作模式。例如,用户可以通过输入开启隔空手势的语音信号唤醒摄像头采集用户输入的隔空手势。又例如,车机中可设置对应的按键(例如虚拟按键或实体按键)或操作(例如按压操作、双击操作等)用于开启隔空手势的操作模式。当检测到用户点击上述按键或执行上述操作后,摄像头可以开始采集用户输入的隔空手势。另外,可将摄像头首次采集到的用户食指弯曲所在的位置作为后续用户输入隔空手势的起始位置A1。或者,摄像头可检测用户是否执行预设的悬停手势,如果检测到用户执行了预设的悬停手势,则可将用户悬停的位置作为后续用户输入隔空手势的起始位置A1。
示例性的,由于车内可以设置有多个摄像头并存在多个用户,为了获取更好的拍摄视角。根据发起隔空手势的用户的位置,以及摄像头的位置,提示用户对着角度更好的摄像头来进行隔空手势的比划输入。例如,处理器确定该摄像头对于发起第一隔空手势的位置所对应的隔空手势检测精度低于第一预设阈值后,可以通过提示消息提醒该用户向其他摄像头发起隔空手势,以提高后续隔空手势交互的响应速度和检测精度。其他摄像头可以是除了该摄像头以外的其他摄像头,也可以是对于该用户检测角度最好的摄像头。例如,检测到后排乘客对着DMS的摄像头比划隔空手势,其中,DMS的摄像头设置于A柱上方附近,这样DMS摄像头检测的角度不好,可以在显示屏上显示提示信息,以提示用户对着CMS的摄像头比划隔空手势,其中,CMS的摄像头设置于后视镜附近。
其中,隔空手势的检测精度可以包括高精度检测和低精度检测,隔空手势的检测精度还可以包括中精度检测。或者,隔空手势的检测精度还可以包括高精度检测和非高精度检测,或低精度检测和非低精度检测。并且可以通过预设阈值来区分。
另外,如何判断隔空手势是否容易生效或高精度检测,还是低精度检测有多种可选的实施方式。示例性的,对于同一个摄像头,根据隔空手势的位置距离该摄像头的参考面的距离来确定该隔空手势是否容易生效或高精度检测,还是低精度检测。或者,对于同一个摄像头,根据隔空手势对摄像头的参考面的投影比例,确定该隔空手势是否容易生效或高精度检测,还是低精度检测。例如,在隔空手势的位置距离该摄像头的参考面的距离或该隔空手势对摄像头的参考面的投影比例大于第二预设阈值时,认为该隔空手势容易生效或可以高精度检测或非低精度检测,否则,认为该隔空手势不容易生效或不可以高精度检测或低精度检测,可以忽略。其中,摄像头的参考面还可以拓展为显示屏所在平面等。在隔空手势不容易生效或非高精度检测或低精度检测时,可以通过在车内的显示屏上来显示提示消息,其中,提示消息用于提示该隔空手势的发起用户向其他摄像头发起隔空手势。
S302:响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作。
其中,该响应属性包括响应类型、响应等级、响应优先级或响应位置中的一个或多个,该用户属性包括用户身份、用户位置或用户权限中的一个或多个。
响应类型可以是驾驶操作、娱乐操作、空调参数调整操作等,响应位置可以是单个用户对应的区域,也可以是全座舱对应的区域。
应理解,通过摄像头所采集的第一隔空手势对应的N张图片,其中,N为正整数,来确定第一用户所处的位置,基于该位置可以确定其用户身份。或者,将摄像头采集到的第一隔空手势对应的N张图片,以及车内用户的面容信息进行匹配,以确定该第一用户的用户身份。其中,车内用户面容信息可以是用户面容图像的特征点信息,也可以是用户的面容图像。
上述用户身份可以是驾驶员或乘客。具体地,以五座车为例,乘客可以是副驾驶位的乘客,或者还可以是后排乘客。而后排乘客也可以分为后排左侧乘客、后排右侧乘客、后排中间乘客,其中,左右方向以汽车前进方向为参考方向进行确定。或者,对于车内各座位进行编号,并预设置编号与用户位置之间的对应关系,进而基于上述图片确定其用户位置。通过上述方案,容易实施,减少计算量。
示例性的,可以设置有隔空手势与响应操作的映射关系,处理器可以根据获取到的第一隔空手势来确定其对应的响应操作。例如,表一为隔空手势与响应操作的映射关系的一种示例,处理器可以通过图像处理技术(如图像识别技术)确定用户比划的第一隔空手势,并根据表一和检测到的第一隔空手势来确定第一响应操作。
表一
隔空手势 响应操作
比划“W” 打开车窗
比划圆圈 打开空调
从左上方向右下方比斜线 紧急刹车
示例性的,可以设置有响应操作与用户权限的映射关系。具体地,例如,表二为响应操作与最小用户权限要求的映射关系的一种示例,其中,1级、3级分别为执行该响应操作所需要的最小用户权限,数字越大,权限级别越小。即,对应于1级的用户权限高于对应于3级的用户权限。其中,用户权限可以针对用户身份来设置,例如驾驶员的用户权限为1级,副驾驶位乘客的用户权限为2级,后排乘客的用户权限为3级。或者,用户权限还可以根据用户年龄来设置,例如,年龄大于18岁的乘客和驾驶员的用户权限为1级,年龄大于12岁且小于或等于18岁的乘客的用户权限为2级,年龄小于或等于12岁的乘客的用户权限为3级。当处理器通过图像处理技术(如图像识别技术)确定用户比划的第一隔空手势为“W”,发起用户为驾驶员,则可以确定对应的响应操作应为打开车窗,且驾驶员的用户权限满足打开车窗的最小用户权限,则响应于该第一隔空手势,启动该第一响应操作。
表二
响应操作 最小用户权限
打开车窗 3级
打开空调 3级
紧急刹车 1级
示例性的,隔空手势对应的响应操作可以设置有响应属性,其中,响应属性包括下列属性中的一个或多个:响应类型、响应位置、响应权限或响应等级(如响应所需最小用户权限)、响应优先级等,响应属性也可以称为操作属性,本申请不做限定。例如,响应类型可以是驾驶操作、娱乐操作、空调调整操作、开关操作等。响应位置可以是驾驶员附近区域、乘客区域等。响应所需最小用户权限如:紧急刹车所需最小用户权限为1级,打开空调所需最小用户权限为3级等。响应优先级例如:优先响应驾驶员、或优先响应用户权限高的用户、或优先响应用户年龄高的用户等。隔空手势的发起用户也可以设置有用户属性,其中,用户属性包括下列属性中的一种或多种:用户位置、用户身份或用户权限。
处理器在获取通过摄像头检测到的第一隔空手势后,可以确定该第一隔空手势所对应的第一响应操作以及发起该第一隔空手势的第一用户。并获取该第一响应操作的响应属性和第一用户的用户属性。根据上述第一响应操作的属性和该第一用户的用户属性,确定该第一响应操作与该第一用户是否匹配。在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配时,启动该第一响应操作,否则不启动上述第一响应操作。
示例性地,为了适应于车内不同乘客或驾驶员的个性化需求,车内可设置有多块显示屏,或者同一显示屏可以分区显示。例如,对于一辆小轿车,驾驶员前方有一个显示屏,用于显示数字仪表盘等驾驶信息。副驾驶位乘客前方有一块显示屏,用于显示影音娱乐信息。驾驶员座椅背部和副驾驶位乘客座椅背部可分别设置有一块显示屏,用于后排乘客使用。在一个用户采用隔空手势进行调节的时候,可以在用户对应的显示屏上显示。具体地,处理器根据摄像头所检测到的隔空手势的发起用户的身份,相应的显示屏进行显示,以避免影响其他用户的使用体验。
示例性地,由于车内可通过隔空手势控制的功能和场景较多,对于同一项功能可以由不同车内用户来控制。为此,为了保障驾驶安全,对于车内可以由隔空手势控制的功能,可以设置有不同的用户控制优先级。例如,对于车内四扇车窗上下升降的隔空手势控制,可以将驾驶员设置为最高用户控制优先级。其中,驾驶位车窗的上下升降设置为仅可由驾驶员来控制,对于其他乘客旁边的车窗的升降的用户控制优先级依次为:驾驶员、车窗对应的乘客身份、以及其他车窗对应的乘客身份。或者,对于车内四扇车窗上下升降的隔空手势控制,按照年龄设置用户控制优先级。其中,年龄大于10岁的用户可以控制车内车窗的上行升降,而年龄小于或等于10岁的用户不授予控制权限。再例如,对于数字仪表盘的隔空手势控制,可以将驾驶员设置为最高用户控制优先级,仅可由驾驶员来设置。其他用户不管如何发起隔空手势,都无法控制数字仪表盘的功能,以保障驾驶安全。类似地,在同一时间段,若车内有多个用户实施隔空手势,在算力有限的情况下,可以优先处理对应控制优先级高的用户发起的隔空手势,例如,在该时间段,只处理该用户发起的隔空手势,或者,先处理该用户发起的隔空手势,再处理其他用户发起的隔空手势。上述控制优先级可以在出厂前设定,也可以由用户在使用过程中设定。
假设该第一隔空手势不是开启手势,在S301之前,方法300还可以包括S303:
S303:获取摄像头检测的开启手势,响应于上述开启手势,在车内显示屏上显示预设的指示图标。
在步骤S302中,处理器检测到用户输入了预设的开启手势后,说明用户希望通过隔空手势来控制当前车内显示屏上显示的应用。为了引导和提示用户高效、正确地输入隔空手势,可以在车内显示屏上的预设位置显示预设的指示图标,该指示图标在界面中的位置、长度或形状是可以改变的。
图6为本申请实施例提供的一种车内隔空手势的场景示意图。示例性地,以车机的显示屏正在运行音乐APP为例,如图6所示,用户输入上述开启手势时,显示屏正在显示音乐APP的第一显示界面,检测到用户输入上述开启手势后,显示屏上可以显示第一指示图标。当音乐APP的第一显示界面中出现第一指示图标后,用户便可获知车机已经进入隔空手势的操作模式,从而提醒用户开始输入相应的隔空手势。
其中,上述第一指示图标602可以是滑动指示、进度条等图标,上述第一指示图标602可以是直线型也可以是弧线形的图标;本申请实施例对第一指示图标602的具体形状、大小、位置或颜色等显示效果不做任何限制,第一指示图标602可以是静态的也可以是动态的。
或者,假设该第一隔空手势不是开启手势,在S301之前,方法300还可以包括S304:
S304:获取摄像头检测的开启手势,响应于上述开启手势,获取摄像头检测的用户输入的第一隔空手势。
在步骤S304中,处理器检测到用户输入了上述预设的开启手势后,确定用户希望可以通过隔空手势控制车内正在运行的应用或可控的功能,进入隔空手势的操作模式。那么,处理器可以继续通过摄像头实时采集每一帧车内图像,并根据采集到的图像来识别用户输入的具体隔空手势。
示例性的,检测到用户输入了预设的开启手势后,处理器可以将该开启手势结束时采集到的用户手掌或手指所在的位置为起始位置A1,进而根据最近采集到的M帧图像实时的确定用户输入的第一隔空手势。
另外,较于用户使用手机所不同的是,车内摄像头可获得的拍摄范围较大,可以将用户的胳膊位置引入考量。例如,隔空手势也可以是隔空动作,通过胳膊画圈等。
示例性的,利用检测出的关键点识别隔空手势,以识别用户做出单指竖起手势、双指手势等。然后,通过查询数据库等确定该隔空手势是否是当前界面的应用相关的隔空手势,若该隔空手势是当前界面的应用的某个功能对应的手势,则将该功能作为目标功能;若该隔空手势不是当前界面的应用的任何功能,则显示屏无反应或提示用户隔空手势不正确。
通过开启手势的设置,可以有效地避免车内用户平时无心的动作造成处理器的无差别响应,保障车内的功能稳定性和驾驶安全。
方法300还可以包括S305:
S305、响应于第一隔空手势,在显示屏上显示的上述指示图标根据第一隔空手势的移动轨迹移动。
示例性的,根据空间调节方式指根据隔空手势在拍摄范围内移动的第一距离确定调节量的方式,该种方式下,持续调节的调节量与隔空手势在拍摄范围内移动的第一距离正相关;根据时间调整方式指根据隔空手势在拍摄范围内的保持时长确定调节量的方式,该种方式下,持续调节的调节量与隔空手势在拍摄范围内的保持时长正相关。上述根据空间调节方式或根据时间调节方式可以在出厂前就设置好,或者,也可以开放出来供用户自主设置。
S306、响应于第一隔空手势,在显示屏上显示与第一隔空手势对应的第二显示界面。
例如,响应于该第一隔空手势,在该第一隔空手势对应的第一响应操作与发起该第一隔空手势的第一用户匹配,且该第一显示屏不是第一用户面前的显示屏时,在车内的第二显示屏上显示该第一显示界面,根据该第一隔空手势在预设方向上的移动轨迹,移动该第一显示界面中的指示图标。
图7为本申请实施例提供的一种电子装置的结构示意图。应理解,电子装置700可以是终端,例如车或车机,也可以是终端内置的芯片,并且可以实现上述图3所示隔空手势的交互方法以及上述各可选实施例。如图7所示,电子装置700包括处理器701、以及与处理器耦合的接口电路702。应理解,虽然图7中仅示出了一个处理器和一个接口电路。图像处理装置700可以包括其他数目的处理器和接口电路。
其中,接口电路702用于与终端的其他组件连通,例如存储器或其他处理器。处理器701用于通过接口电路702与其他组件进行信号交互。接口电路702可以是处理器701的输入/输出接口。
其中,处理器701可以是车机等车载设备中的处理器,也可以是单独售卖的处理装置。
例如,处理器701通过接口电路702读取与之耦合的存储器中的计算机程序或指令,并译码和执行这些计算机程序或指令。应理解,这些计算机程序或指令可包括上述终端功能程序,也可以包括上述应用在终端内的隔空手势的交互功能程序。当相应功能程序被处理器701译码并执行时,可以使得终端或在终端内的电子装置实现本申请实施例所提供的图像处理方法中的方案。
可选的,这些终端功能程序存储在电子装置700外部的存储器中。当上述终端功能程序被处理器701译码并执行时,存储器中临时存放上述终端功能程序的部分或全部内容。
可选的,这些终端功能程序存储在电子装置700内部的存储器中。当电子装置700内部的存储器中存储有终端功能程序时,电子装置700可被设置在本发明实施例的终端中。
可选的,这些终端功能程序的部分内容存储在电子装置700外部的存储器中,这些终端功能程序的其他部分内容存储在电子装置700内部的存储器中。
图8为本申请实施例提供的另一种电子装置的结构示意图。应理解,电子装置800可以是终端,例如车或车机,也可以是终端内置的芯片,并且可以实现上述图3所示隔空手势的交互方法以及上述各可选实施例。如图8所示,电子装置800包括处理单元801、以及与处理器耦合的收发单元802。应理解,虽然图8中仅示出了一个处理单元和一个收发单元。图像处理装置800可以包括其他数目的处理单元和收发单元。
其中,处理单元和收发单元可以是由硬件实现,也可以由软件实现。其中,处理单元801可以是图7中的处理器701,收发单元802可以是图7中的接口电路702。
电子装置800可以用于执行图3所示的方法及各可选实施例中的方法。
图9为本申请实施例提供的另一种电子装置的结构示意图。应理解,电子装置800可以是终端,例如车或车机,也可以是终端内置的芯片,并且可以实现上述图3所示隔空手势的交互方法以及上述各可选实施例。如图9所示,电子装置900包括:处理器901,与处理器901耦合的存储器902。应理解,虽然图9中仅示出了一个处理器和一个存储器。电子装置901可以包括其他数目的处理器和存储器。
其中,存储器902用于存储计算机程序或计算机指令。这些计算机程序或指令可依据功能分为两类。其中一类计算机程序或指令被处理器901执行时,使得电子装置90实现本发明实施例的无线通信方法中终端的步骤。这类计算机程序或指令可记为终端功能程序。例如,终端功能程序中可包括实现图3所示无线通信方法的程序代码。
此外,该电子装置90还可以包括:连接线900,发射电路903、接收电路904、天线905,以及输入/输出(input/output,I/O)接口906等。其中,发射电路和接收电路可以耦合到天线,与其他通信设备无线连接。发射电路和接收电路也可以集成为一个收发机,天线可以为支持多种频率的射频天线。I/O接口提供了与其他通信设备或用户交互的可能性。例如,该I/O接口可以为以太网接口,USB接口等。对于终端,该I/O接口可以为屏幕,键盘,话筒,扬声器,USB接口等。该电子装置90内部的各个组件可以通过各种连接线(如总线系统)耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,本文中将各种总线都统称为总线系统。
可以理解的是,上述处理器901和存储器902可以由处理单元和存储单元替代实现,其中,处理单元和存储单元可以由具有相应功能的代码实现。存储单元,用于存储程序指令;处理单元,用于执行该存储单元中的程序指令,以实现如图3所示的方法,以及上述各可选实施例。
应理解,图1、图2A、图7至图9中的任一所示的电子装置可以互相结合,各可选实施例相关设计细节可互相参考,也可以参考图3所示的方法以及各可选实施例的相关设计细节。此处不再重复赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
实施例及附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于表示不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必仅限于字面列出的那些步骤或单元,而是可包括没有字面列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,吧b,c可以是单个,也可以是多个。
应理解,在本申请中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。本申请提到的“耦合”一词,用于表达不同组件之间的互通或互相作用,可以包括直接相连或通过其他组件间接相连。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
在本申请的上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤等)或无线(例如红外、无线电、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘和磁带;可以是光介质,例如DVD;也可以是半导体介质,例如固态硬盘(Solid State Disk,SSD)等。
本申请实施例中,存储器,是指具有数据或信息存储能力的器件或电路,并可向处理器提供指令和数据。存储器包括只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、非易失性随机存取存储器(NVRAM),可编程只读存储器或者电可擦写可编程存储器、寄存器等。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (29)

1.一种车内隔空手势的交互方法,其特征在于,包括:
获取通过摄像头检测到的第一隔空手势;
响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作。
2.根据权利要求1所述的方法,其特征在于,在所述响应于所述第一隔空手势,在所述第一隔空手势对应的预设响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一隔空手势对应的预设响应操作之前,所述方法还包括:
获取所述第一隔空手势对应的第一响应操作的响应属性;
获取发起所述第一隔空手势的第一用户的用户属性;
根据所述第一响应操作的响应属性和所述第一用户的用户属性,确定所述第一响应操作与所述第一用户是否匹配;
其中,所述响应属性包括响应类型、响应等级、响应优先级或响应位置中的一个或多个,所述用户属性包括用户身份、用户位置或用户权限中的一个或多个。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述第一用户的用户属性,具体包括:
根据所述摄像头检测到的第一隔空手势对应的图片,确定所述第一用户的用户位置;
根据所述第一用户的用户位置,确定所述第一用户的用户身份。
4.根据权利要求1至3任一所述的方法,其特征在于,在所述第一响应操作的响应属性为驾驶操作,且所述第一用户的用户身份为驾驶员时,所述第一响应操作与第一用户匹配。
5.根据权利要求1至3任一所述的方法,其特征在于,所述获取所述第一用户的用户属性,具体包括:
根据所述摄像头检测到的第一隔空手势对应的图片,确定所述第一用户的用户位置;
所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体包括:
响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,根据所述第一用户的用户位置,启动所述第一响应操作。
6.根据权利要求5所述的方法,其特征在于,所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,根据所述第一用户的用户位置,启动所述第一响应操作,具体包括:
响应于第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,在所述第一用户的用户位置对应的区域,启动所述第一响应操作。
7.根据权利要求5或6所述的方法,其特征在于,在响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作之前,所述方法还包括:
在车内的第一显示屏上显示第一显示界面;
所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,根据所述第一用户的用户位置,启动所述第一响应操作,具体包括:
响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配,且所述第一显示屏不是第一用户面前的显示屏时,在车内的第二显示屏上显示所述第一显示界面,根据所述第一隔空手势在预设方向上的移动轨迹,移动所述第一显示界面中的指示图标。
8.根据权利要求1至7任一所述的方法,其特征在于,所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体包括:
所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作所需用户权限阈值小于或等于发起所述第一隔空手势的第一用户的用户权限时,启动所述第一响应操作。
9.根据权利要求1至7任一所述的方法,其特征在于,所述方法还包括:
获取通过摄像头检测到的第二隔空手势,其中,所述第二隔空手势由第二用户发起,所述第二隔空手势的发起时间与所述第一隔空手势的发起时间相差时长小于第一预设阈值;
所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体包括:
在第一用户的用户权限高于所述第二用户的用户权限时,优先响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作。
10.根据权利要求8至9任一所述的方法,其特征在于,所述驾驶员的控制权限高于所述其他乘客的控制权限。
11.根据权利要求1至10任一所述的方法,其特征在于,在响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作之前,所述方法还包括:
在所述第一隔空手势的位置距离所述摄像头的距离大于第二预设阈值时,在车内的显示屏上显示提示消息,所述提示消息用于提示所述第一用户向其他摄像头发起隔空手势。
12.根据权利要求1至10任一所述的方法,其特征在于,在响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作之前,所述方法还包括:
在所述第一隔空手势相对于所述第一摄像头的参考面的投影比例小于第三预设阈值时,在车内的显示屏上显示提示消息,所述提示消息用于提示所述第一用户向其他摄像头发起隔空手势。
13.一种电子装置,其特征在于,包括:
收发单元以及处理单元;
其中,所述收发单元用于获取通过摄像头检测到的第一隔空手势;
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作。
14.根据权利要求13所述的电子装置,其特征在于,
所述收发单元还用于获取所述第一隔空手势对应的第一响应操作的响应属性;
所述收发单元还用于获取发起所述第一隔空手势的第一用户的用户属性;
所述处理单元还用于根据所述第一响应操作的响应属性和所述第一用户的用户属性,确定所述第一响应操作与所述第一用户是否匹配;
其中,所述响应属性包括响应类型、响应等级、响应优先级或响应位置中的一个或多个,所述用户属性包括用户身份、用户位置或用户权限中的一个或多个。
15.根据权利要求13或14所述的电子装置,其特征在于,
所述处理单元还用于根据所述摄像头检测到的第一隔空手势对应的图片,确定所述第一用户的用户位置;
所述处理单元还用于根据所述第一用户的用户位置,确定所述第一用户的用户身份。
16.根据权利要求13至15任一所述的电子装置,其特征在于,在所述第一响应操作的响应属性为驾驶操作,且所述第一用户的用户身份为驾驶员时,所述第一响应操作与第一用户匹配。
17.根据权利要求13至14任一所述的电子装置,其特征在于,所述处理单元还用于根据所述摄像头检测到的第一隔空手势对应的图片,确定所述第一用户的用户位置;
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体指的是:
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,根据所述第一用户的用户位置,启动所述第一响应操作。
18.根据权利要求17所述的电子装置,其特征在于,所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,根据所述第一用户的用户位置,启动所述第一响应操作,具体包括:
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,在所述第一用户的用户位置对应的区域,启动所述第一响应操作。
19.根据权利要求17或18所述的电子装置,其特征在于,所述处理单元还用于在车内的第一显示屏上显示第一显示界面;
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体指的是:
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配,且所述第一显示屏不是第一用户面前的显示屏时,在车内的第二显示屏上显示所述第一显示界面,根据所述第一隔空手势在预设方向上的移动轨迹,移动所述第一显示界面中的指示图标。
20.根据权利要求13至19任一所述的电子装置,其特征在于,所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体指的是:
所述处理单元用于所述响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作所需用户权限阈值小于或等于发起所述第一隔空手势的第一用户的用户权限时,启动所述第一响应操作。
21.根据权利要求13至19任一所述的电子装置,其特征在于,
所述收发单元,还用于获取通过摄像头检测到的第二隔空手势,其中,所述第二隔空手势由第二用户发起,所述第二隔空手势的发起时间与所述第一隔空手势的发起时间相差时长小于第一预设阈值;
所述处理单元用于响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作,具体指的是:
所述处理单元用于在第一用户的用户权限高于所述第二用户的用户权限时,优先响应于所述第一隔空手势,在所述第一隔空手势对应的第一响应操作与发起所述第一隔空手势的第一用户匹配时,启动所述第一响应操作。
22.根据权利要求20至21任一所述的电子装置,其特征在于,所述驾驶员的控制权限高于所述其他乘客的控制权限。
23.根据权利要求13至24任一所述的电子装置,其特征在于,
所述处理单元还用于在所述第一隔空手势的位置距离所述摄像头的距离大于第二预设阈值时,在车内的显示屏上显示提示消息,所述提示消息用于提示所述第一用户向其他摄像头发起隔空手势。
24.根据权利要求13至24任一所述的电子装置,其特征在于,
所述处理单元还用于所述第一隔空手势相对于所述第一摄像头的参考面的投影比例小于第三预设阈值时,在车内的显示屏上显示提示消息,所述提示消息用于提示所述第一用户向其他摄像头发起隔空手势。
25.根据权利要求13至24任一所述的电子装置,其特征在于,所述电子装置为车机。
26.根据权利要求13至24任一所述的电子装置,其特征在于,所述电子装置为车载芯片。
27.一种智能车,其特征在于,包含如权利要求13至25任一所述的电子装置。
28.一种计算机可读存储介质,其特征在于:
所述计算机可读存储介质中存储了程序代码,所述程序代码被终端或终端中的处理器执行时,以实现如权利要求1至12任一所述的方法。
29.一种计算机程序产品,其特征在于:
所述计算机程序产品包含的程序代码被终端中的处理器执行时,以实现如权利要求1至12任一所述的方法。
CN202080004156.0A 2020-07-03 2020-07-03 车内隔空手势的交互方法、电子装置及系统 Active CN112513787B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/100079 WO2022000448A1 (zh) 2020-07-03 2020-07-03 车内隔空手势的交互方法、电子装置及系统

Publications (2)

Publication Number Publication Date
CN112513787A true CN112513787A (zh) 2021-03-16
CN112513787B CN112513787B (zh) 2022-04-12

Family

ID=74953047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004156.0A Active CN112513787B (zh) 2020-07-03 2020-07-03 车内隔空手势的交互方法、电子装置及系统

Country Status (4)

Country Link
US (1) US20230244320A1 (zh)
EP (1) EP4163764A4 (zh)
CN (1) CN112513787B (zh)
WO (1) WO2022000448A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223182A (zh) * 2021-04-28 2021-08-06 深圳市思麦云科技有限公司 一种基于mr眼镜技术应用于汽车行业的学习终端
CN113459975A (zh) * 2021-07-31 2021-10-01 重庆长安新能源汽车科技有限公司 一种智能座舱系统
CN114374791A (zh) * 2021-11-25 2022-04-19 慧之安信息技术股份有限公司 一种基于手势识别的摄像头调节方法和系统
WO2022204925A1 (zh) * 2021-03-30 2022-10-06 华为技术有限公司 一种图像的获取方法以及相关设备
WO2022226736A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
WO2022242430A1 (en) * 2021-05-21 2022-11-24 Huawei Technologies Co.,Ltd. Methods and systems for providing feedback for multi-precision mid-air gestures on gesture-controlled device
CN115620397A (zh) * 2022-11-07 2023-01-17 江苏北斗星通汽车电子有限公司 一种基于Leapmotion传感器的车载手势识别系统
CN117962742A (zh) * 2024-03-29 2024-05-03 长城汽车股份有限公司 车辆组件的控制方法、装置和车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115562472B (zh) * 2022-02-11 2023-09-22 荣耀终端有限公司 手势交互方法、介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002016875A1 (de) * 2000-08-24 2002-02-28 Siemens Aktiengesellschaft Verfahren zum abfragen von zielinformation und zum navigieren in einer kartenansicht, computerprogrammprodukt und navigationsgerät
CN104699238A (zh) * 2013-12-10 2015-06-10 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的系统和方法
CN206258820U (zh) * 2016-10-10 2017-06-16 蔚来汽车有限公司 手势识别系统及汽车
CN106933346A (zh) * 2017-01-20 2017-07-07 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
US20170282717A1 (en) * 2016-02-12 2017-10-05 Lg Electronics Inc. User interface apparatus for vehicle, and vehicle
CN108860007A (zh) * 2018-06-15 2018-11-23 上海航盛实业有限公司 一种汽车中控系统
CN109670282A (zh) * 2017-10-17 2019-04-23 深圳富泰宏精密工业有限公司 解锁系统、解锁方法及电子装置
CN110688053A (zh) * 2019-09-29 2020-01-14 芯海科技(深圳)股份有限公司 按键配置方法、装置、电子设备及存储介质
CN111223479A (zh) * 2019-10-11 2020-06-02 华为技术有限公司 一种操作权限控制方法及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US20140309862A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc User profile exchange via vehicle supported communications protocol
CN102945672B (zh) * 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入系统及方法
US9547373B2 (en) * 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US20170277503A1 (en) * 2016-03-22 2017-09-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Moving display images from one screen to another screen by hand gesturing
WO2019136277A1 (en) * 2018-01-04 2019-07-11 Harman International Industries, Incorporated Contextual and aware button-free screen articulation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002016875A1 (de) * 2000-08-24 2002-02-28 Siemens Aktiengesellschaft Verfahren zum abfragen von zielinformation und zum navigieren in einer kartenansicht, computerprogrammprodukt und navigationsgerät
CN104699238A (zh) * 2013-12-10 2015-06-10 现代自动车株式会社 用于识别用户的手势以执行车辆的操作的系统和方法
US20170282717A1 (en) * 2016-02-12 2017-10-05 Lg Electronics Inc. User interface apparatus for vehicle, and vehicle
CN206258820U (zh) * 2016-10-10 2017-06-16 蔚来汽车有限公司 手势识别系统及汽车
CN106933346A (zh) * 2017-01-20 2017-07-07 深圳奥比中光科技有限公司 车内操控空间的区划方法和设备
CN109670282A (zh) * 2017-10-17 2019-04-23 深圳富泰宏精密工业有限公司 解锁系统、解锁方法及电子装置
CN108860007A (zh) * 2018-06-15 2018-11-23 上海航盛实业有限公司 一种汽车中控系统
CN110688053A (zh) * 2019-09-29 2020-01-14 芯海科技(深圳)股份有限公司 按键配置方法、装置、电子设备及存储介质
CN111223479A (zh) * 2019-10-11 2020-06-02 华为技术有限公司 一种操作权限控制方法及相关设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022204925A1 (zh) * 2021-03-30 2022-10-06 华为技术有限公司 一种图像的获取方法以及相关设备
WO2022226736A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
CN113223182A (zh) * 2021-04-28 2021-08-06 深圳市思麦云科技有限公司 一种基于mr眼镜技术应用于汽车行业的学习终端
CN113223182B (zh) * 2021-04-28 2024-05-14 深圳市思麦云科技有限公司 一种基于mr眼镜技术应用于汽车行业的学习终端
WO2022242430A1 (en) * 2021-05-21 2022-11-24 Huawei Technologies Co.,Ltd. Methods and systems for providing feedback for multi-precision mid-air gestures on gesture-controlled device
US11693551B2 (en) 2021-05-21 2023-07-04 Huawei Technologies Co., Ltd. Methods and systems for providing feedback for multi-precision mid-air gestures on a gesture-controlled device
CN113459975A (zh) * 2021-07-31 2021-10-01 重庆长安新能源汽车科技有限公司 一种智能座舱系统
CN113459975B (zh) * 2021-07-31 2022-10-04 重庆长安新能源汽车科技有限公司 一种智能座舱系统
CN114374791A (zh) * 2021-11-25 2022-04-19 慧之安信息技术股份有限公司 一种基于手势识别的摄像头调节方法和系统
CN115620397A (zh) * 2022-11-07 2023-01-17 江苏北斗星通汽车电子有限公司 一种基于Leapmotion传感器的车载手势识别系统
CN117962742A (zh) * 2024-03-29 2024-05-03 长城汽车股份有限公司 车辆组件的控制方法、装置和车辆
CN117962742B (zh) * 2024-03-29 2024-06-21 长城汽车股份有限公司 车辆组件的控制方法、装置和车辆

Also Published As

Publication number Publication date
EP4163764A4 (en) 2023-11-22
EP4163764A1 (en) 2023-04-12
US20230244320A1 (en) 2023-08-03
WO2022000448A1 (zh) 2022-01-06
CN112513787B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN112513787B (zh) 车内隔空手势的交互方法、电子装置及系统
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
WO2021052213A1 (zh) 调整油门踏板特性的方法和装置
WO2017038166A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN109426255A (zh) 基于无人机的无人驾驶车辆控制方法、装置及存储介质
WO2018087877A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
EP4137914A1 (en) Air gesture-based control method and apparatus, and system
CN113631452A (zh) 一种变道区域获取方法以及装置
US20230230368A1 (en) Information processing apparatus, information processing method, and program
WO2021217575A1 (zh) 用户感兴趣对象的识别方法以及识别装置
WO2024093768A1 (zh) 一种车辆告警方法以及相关设备
WO2022061702A1 (zh) 驾驶提醒的方法、装置及系统
CN114828131B (zh) 通讯方法、介质、车载通讯系统、芯片及车辆
CN115100630A (zh) 障碍物检测方法、装置、车辆、介质及芯片
EP4292896A1 (en) Vehicle traveling control method, electronic device, storage medium, chip and vehicle
CN114852092B (zh) 方向盘脱手检测方法、装置、可读存储介质及车辆
CN115257628B (zh) 车辆控制方法、装置、存储介质、车辆及芯片
US20240025432A1 (en) Driver assistance system for vehicle
WO2024043053A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN114802435A (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN116627277A (zh) 一种屏幕显示方法及相关设备
CN117087701A (zh) 一种自动驾驶方法及装置
CN117585009A (zh) 检测车辆的自主操作
CN118214905A (zh) 采用用户监控系统和远程系统的自适应平视显示器
CN117132960A (zh) 检测意图穿越马路或违规穿越马路的行人的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant