CN110481419B - 一种人车交互方法、系统、车辆及存储介质 - Google Patents

一种人车交互方法、系统、车辆及存储介质 Download PDF

Info

Publication number
CN110481419B
CN110481419B CN201910760620.8A CN201910760620A CN110481419B CN 110481419 B CN110481419 B CN 110481419B CN 201910760620 A CN201910760620 A CN 201910760620A CN 110481419 B CN110481419 B CN 110481419B
Authority
CN
China
Prior art keywords
vehicle
gesture
person
installation area
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910760620.8A
Other languages
English (en)
Other versions
CN110481419A (zh
Inventor
江卫忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910760620.8A priority Critical patent/CN110481419B/zh
Publication of CN110481419A publication Critical patent/CN110481419A/zh
Application granted granted Critical
Publication of CN110481419B publication Critical patent/CN110481419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种人车交互方法、系统、车辆及存储介质,该方法包括:获取车内人员的视线方向以及手势;响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制。实施本发明实施例,能够获取车内人员的视线方向和手势,对车灯、空调、天窗灯车载装置进行控制。在控制过程中,车内人员无需触碰实体开关,从而可以减少实体开关在车内的使用,减少由实体开关带来的问题。进一步的,还可以降低对车载装置进行控制的学习成本,提供更加方便舒适的乘车体验。

Description

一种人车交互方法、系统、车辆及存储介质
技术领域
本发明涉及人车交互技术领域,具体涉及一种人车交互方法、系统、车辆及存储介质。
背景技术
目前,汽车内的空调、灯具、天窗等大部分用户可控的车载装置都是通过实体开关进行控制的。实体开关一般采用物理开关或者电容开关,这些开关都存在一定的缺陷。比如说,物理开关由于存在物理活动结构并留有间隙,在行驶过程中相关结构容易产生异响,影响整车品质。电容开关解决了物理开关的间隙问题,但是受电容开关的特性所限,电容开关的整体装配要求更高,例如不能接触金属等。
因此,亟需开发一种无需通过物理开关或者电容开关对车内的车载装置进行控制的方法。
发明内容
本发明实施例公开了一种人车交互方法、系统、车辆及存储介质,能够结合视线和手势对用户可控的车载装置进行控制。
本发明实施例第一方面公开一种人车交互方法,所述方法包括:
获取车内人员的视线方向以及手势;
响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制。
作为一种可选的实施方式,在本发明实施例第一方面中,所述响应于所述车内人员的视线方向以及手势对车内灯具进行控制,包括:
判断所述车内人员的视线方向是否对准所述车载装置的装设区域;
如果对准所述装设区域,根据所述车内人员的手势的指向确定出所述装设区域中的目标装置;
控制所述目标装置切换至与当前状态不同的另一状态。
作为一种可选的实施方式,在本发明实施例第一方面中,在判断出所述车内人员的视线方向对准所述装设区域之后,所述方法还包括:
判断所述车内人员的手势指向的位置是否位于所述视线方向对准的所述装设区域内;
如果位于所述装设区域内,执行所述根据所述车内人员的手势的指向确定出所述装设区域中的目标装置的步骤;
如果位于所述装设区域外,判断所述手势指向的位置与所述装设区域之间的距离是否小于预设的距离阈值;
如果小于所述距离阈值,根据所述手势的指向确定出所述装设区域外的目标装置,并执行所述控制所述目标装置切换至与当前状态不同的另一状态的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,在判断出所述车内人员的视线方向对准所述装设区域之后,所述方法还包括:
判断所述车内人员的手势指向的位置是否位于所述视线方向对准的所述装设区域内;
如果位于所述装设区域内,执行所述根据所述车内人员的手势的指向确定出所述装设区域中的目标装置的步骤;
如果位于所述装设区域外,判断所述手势指向的位置与所述装设区域之间的距离是否小于预设的距离阈值;
如果小于所述距离阈值,根据所述手势的指向确定出所述装设区域外的目标装置,并执行所述控制所述目标装置切换至与当前状态不同的另一状态的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,所述控制所述目标装置切换至与当前状态不同的另一状态,包括:
识别所述手势的动作是否与预设的控制动作相匹配;
如果是,控制所述目标装置从当前状态切换至与所述控制动作对应的状态;
如果否,控制所述目标装置从所述当前状态切换至默认状态。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制之前,所述方法还包括:
如果所述车内人员的座椅位置为主驾驶位,判断当前车速是否低于预设的速度阈值;
如果是,执行所述响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,所述获取车内人员的视线方向以及手势,包括:
通过朝向车内设置的摄像头获取车内人员的视线方向以及手势。
作为一种可选的实施方式,在本发明实施例第一方面中,所述用户可控的车载装置包括以下至少一种:车内照明装置、空气处理装置、多媒体装置、天窗。
本发明实施例第二方面公开一种人车交互系统,包括:
获取单元,用于获取车内人员的视线方向以及手势;
控制单元,用于响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制。
本发明实施例第三方面公开一种车辆,包括:本发明实施例第二方面公开的人车交互系统。
本发明第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比,本发明实施例具有以下有益效果:
在本发明实施例中,可以通过获取车内人员的视线方向和手势,对车载装置进行控制。在控制过程中,车内人员无需触碰实体开关,从而可以减少实体开关在车内的使用,减少由实体开关带来的问题。结合视线方向和手势进行控制,符合自然的交互习惯,可以降低对车载装置进行控制的学习成本,提供更加方便舒适的乘车体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种人车交互方法的流程示意;
图2是本发明实施例公开的一种通过摄像头拍摄车内人员的示例图;
图3是本发明实施例公开的一种对车顶阅读灯进行控制的示例图;
图4是本发明实施例公开的另一种人车交互方法的流程示意图;
图5是本发明实施例公开的一种人车交互系统的结构示意图;
图6是本发明实施例公开的另一种人车交互系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种人车交互方法、系统、车辆及存储介质,能够结合视线和手势对用户可控的车载装置进行控制。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种人车交互方法的流程示意图。如图1所示,该人车交互方法可以包括以下步骤:
101、人车交互系统获取车内人员的视线方向以及手势。
在本发明实施例中,作为一种可选的实施方式,车辆内可以设置有摄像头,人车交互系统具体可以获取摄像头拍摄到的图像,进一步从图像中识别出人眼以及手势。通过对人眼进行虹膜定位和跟踪,可以识别出视线方向。
也就是说,可以通过摄像头获取车内人员的视线方向以及手势。
进一步的可选的,摄像头可以设置在以下位置中的至少一个:车辆中控台、车顶、座椅的后枕。可选的,可以采用相同的摄像头对车内人员的视线方向和手势进行拍摄,也可以采用不同的摄像头分别获取车内人员的视线方向和手势。比如说,可以采用红外摄像头捕捉车内人员的视线方向,采用可见光摄像头拍摄车内人员的手势。
此外,车内人员可以为驾驶员或者车内的任一乘客。
请一并参阅图2,图2是本发明实施例公开的一种通过摄像头拍摄车内人员的示例图。
102、人车交互系统响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制。
在本发明实施例中,用户可控的车载装置包括以下至少一种:车内照明装置、空气处理装置、多媒体装置、天窗。
当用户主观上对某个车载装置存在控制需求时,一般会将注视该车载装置,因此车内人员的视线方向可以作为判断用户是否存在控制意图的其中一个判断标准。进一步的,用户一般还会用手指向需要进行控制的车载装置,因此车内人员的手势可以作为判断用户是否存在控制意图的另一个判断标准。
为了方便描述,以下内容以车内照明装置中设置在车顶的阅读灯为例进行描述,不应构成限定。
作为一种可选的实施方式,步骤102的实施方式具体可以为:
1021、人车交互系统判断车内人员的视线方向是否对准车载装置的装设区域。
其中,车载装置的装设区域具体可以为以车载装置的装设位置为中心,面积为预设大小的区域。比如说,以车顶阅读灯的装设位置为中心,向周边扩展2-10cm的区域可以设置为车灯阅读灯的装设区域。
此外,空气处理装置的装设区域具体可以为各个出风口所占据的区域、多媒体装置的装设区域具体可以为车辆的中控台所在的区域、天窗的装设区域具体可以为天窗在车顶所占的区域.
1022、如果对准装设区域,人车交互系统根据车内人员的手势的指向确定出装设区域中的目标装置。
在本发明实施例中,通过图像识别车内人员的视线方向时,可能会存在一定的识别误差。如果装设区域的预设面积较大,可以容纳一定的视线识别误差。在一些可能的场景中,装设区域内可能存在多个车载装置,或者可能存在同一个车载装置的多个独立单元。比如说,在车顶阅读灯的装设区域中,可能包含多个阅读灯。此时,可以进一步通过手势的指向从多个阅读灯中确定出手势所指的目标阅读灯(即装设区域中的目标装置)。
其中,在车内人员做出手势时,手指、手掌或者手臂的朝向可以被识别为该手势的指向。
请一并参阅图3,图3是本发明实施例公开的一种对车顶阅读灯进行控制的示例图。如图3所示,通过图像可以识别出车内人员的视线方向指向车顶阅读灯的装设区域,从而可以判定车内人员有控制车顶阅读灯的意图。进一步识别手势的指向,以确定出多个车顶阅读灯中,车内人员具体想要控制的目标阅读灯。
1023、人车交互系统控制目标装置切换至与当前状态不同的另一状态。
在本发明实施例中,车载装置的状态至少可以包括开启状态和关闭状态。如果车载装置的当前状态为开启状态,那么在执行步骤1021~步骤1022通过视线和手势识别到车内人员对目标装置的控制意图之后,可以将车载装置从开启状态切换为关闭状态。相应地,如果车载装置的当前状态为关闭状态,也可以将车载装置从关闭状态切换至开启状态。
进一步地,车载装置的状态还可以包括在开启状态和关闭状态之间的任一中间状态。比如说,车顶阅读灯可以预设有多个不同的照明模式,每个照明模式下灯光的亮度和/或色温不同。执行步骤1023,也可以将目标装置的当前状态在上述的开启状态、关闭状态以及任一中间状态之间进行切换。
可见,在图1所描述的方法中,人车交互系统可以通过识别车内人员的视线方向和手势,准确定位出车内人员需要控制的车载装置,从而响应视线方向以及手势对车载装置进行控制。在控制过程中,车内人员无需触碰实体开关,从而可以减少实体开关在车内的使用,减少由实体开关带来的问题。此外,通过视线方向和手势对车载装置进行控制,符合自然的交互习惯,可以降低对车载装置进行控制的学习成本,提供更加方便舒适的乘车体验。
实施例二
请参阅图4,图4是本发明实施例公开的另一种人车交互方法的流程示意图。如图4所示,该人车交互方法可以包括以下步骤:
401、人车交互系统获取车内人员的视线方向以及手势。
402、人车交互系统判断车内人员的座椅位置是否为主驾驶位;如果是,执行步骤403;如果否,执行步骤404。
在本发明实施例中,人车交互系统可以通过拍摄到的车内人员在图像中的位置确定该车内人员的座椅位置是否位主驾驶位。举例来说,如果摄像头设置在中控台,如果拍摄到做出上述手势的车内人员位于图像的左侧,可以判定该车内人员的座椅位置为主驾驶位;如果位于图像的右侧,可以判定该车内人员的座椅位置为右驾驶位。
或者,也可以通过座椅占位感应传感器来判断车内人员的座椅位置是否位主驾驶位。如果只有主驾驶位的占位感应传感器检测到被占位,那么可以判定做出上述手势的车内人员的座椅位置为主驾驶位。
403、人车交互系统判断判断当前车速是否低于预设的速度阈值;如果是,执行步骤404;如果否,结束本流程。
在本发明实施例中,为了保障行车安全,在车内人员为驾驶员(即车内人员的座椅位置为主驾驶)时,允许驾驶员在低速或者停车的场景下通过视线和手势对车载装置进行控制。上述的速度阈值可以设置为较小的值(如10km/h),因此在判断出当前车速低于速度阈值时,可以继续执行下述的步骤404。
此外,对于车内的其他乘客而言,如副驾驶或者后排乘客,可以随时通过视线和手势对车载装置进行控制,因此在判断出车内人员的座椅位置不是主驾驶位时,可以直接执行下述的步骤404。
404、人车交互系统判断车内人员的视线方向是否对准车载装置的装设区域;如果是,执行步骤405;如果否,结束本流程。
405、人车交互系统判断车内人员的手势指向的位置是否位于所述视线方向对准的装设区域内;如果是,执行步骤408;如果否,执行步骤406。
406、人车交互系统判断手势指向的位置与装设区域之间的距离是否小于预设的距离阈值;如果是,执行步骤407;如果否,结束本流程。
407、人车交互系统根据手势的指向确定出装设区域外的目标装置,并执行步骤409。
在本发明实施例中,在车内人员做出伸懒腰、伸手等动作时,由于这些动作具有指向性,人车交互系统可能会将这些动作误识别为车内人员具有对车载装置进行控制的意愿。因此,进一步判断该车内人员此时的视线方向与手势所指向的方向是否一致,即执行步骤406。
如果执行步骤406判断出手势所指向的位置与装设区域的距离过远(大于距离阈值),可以认为手势是误触发的动作,因此结束本流程;如果判断出手势所指向的位置与装设区域的距离较近(小于距离阈值),可以认为车内人员具有控制意愿,可能由于视线识别的误差等原因导致手势所指向的位置位于装设区域之外。因此,执行步骤407,以手势指向的位置为准,确定出目标装置。
408、人车交互系统根据手势的指向确定出装设区域中的目标装置。
409、人车交互系统识别手势的动作是否与预设的控制动作相匹配;如果是,执行步骤410;如果否,执行步骤411。
在本发明实施例中,车内人员做出的手势可以包括动作和指向。具体地,在车内人员做出手势时,可以识别手指的形状作为手势的动作;或者,也可以连续拍摄多张图像,将多张图像中手指、手掌或者手臂的移动状态识别为手势的动作。
举例来说,假设车内人员做出的手势为“朝向空调出风口向下移动手掌”,可以识别手掌的朝向“朝向空调出风口”作为该手势的指向,识别手掌的移动状态“向下移动”作为该手势的动作;该手势对应的车载装置状态可以为“调低空调的设定温度”或者“调小空调出风量”等,本发明实施例不做限定。
410、人车交互系统控制目标装置从当前状态切换至与控制动作对应的状态。
411、人车交互系统控制目标装置从当前状态切换至默认状态。
在本发明实施例中,如果车内人员的手势与预设的任一控制动作不匹配,无法通过预设的控制动作识别出车内人员准确的控制意图,因此将目标装置切换至默认状态。
此外,作为一种可选的实施方式,人车交互系统在执行步骤409判断出车内人员的手势与预设的控制动作不匹配之后,以及在执行步骤411之前,还可以执行以下步骤:
人车交互系统获取车内人员输入的语音,并识别获取到的语音中是否存在针对目标装置的控制指令;
如果存在,人车交互系统控制目标装置从当前状态切换至控制指令所指示的状态;
如果不存在,人车交互系统执行步骤411。
也就是说,实施上述的实施方式,人车交互系统通过视线和手势判断车内人员是否具有控制意图,以及确定出具体想要控制的目标装置;进一步的,通过语音获取针对目标装置的具体操作,使得车内人员可以更加方便准确地对车载装置进行控制。
举例来说,车内人员可以注视并用手指向车顶阅读灯,同时通过输入语音“把灯调亮点”;人车交互系统通过识别车内人员的视线方向以及手势,确定出目标装置位车顶阅读灯,通过识别输入的语音,确定出控制指令为“调亮”,相应地可以控制车顶阅读灯从当前状态切换至亮度更高的状态。
可见,在图4所描述的方法中,人车交互系统可以通过视线和手势判断出车内人员对某一车载装置的控制意愿,从而对该车载装置进行控制。进一步地,当车内人员为驾驶员时,允许驾驶员在低速或者停车场景下通过视线和手势对车载装置进行控制,以保障驾驶安全。而针对除驾驶员以外的其他车内人员,可以随时通过视线和手势对车载装置进行控制。更进一步地,在图4所描述的方法中,如果视线方向与手势指向不一致且差别较大,认为该手势是误触发的动作,不执行控制操作;如果视线方向与手势指向不一致但差别较小,可以认为车内人员具有控制意愿,因此继续执行控制操作,从而可以通过手势和视线的双重校验减少误触发的情况,同时可以接受一定的识别误差,提高对车载装置进行控制的成功率。
实施例三
请参阅图5,图5是本发明实施例公开的一种人车交互系统的结构示意图。如图5所示,该人车交互系统具体可以包括:
获取单元501,用于获取车内人员的视线方向以及手势;
其中,获取单元501具体可以通过朝向车内设置的摄像头获取车内人员的视线方向以及手势。摄像头可以设置在以下位置中的至少一个:车辆中控台、车顶、座椅的后枕。
控制单元502,用于响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制。
作为一种可选的实施方式,控制单元502具体可以包括以下子单元:
第一判断子单元5021,用于判断车内人员的视线方向是否对准车载装置的装设区域;
其中,当车载装置为车内照明装置时,车载装置的装设区域可以为以车内照明装置的装设位置为中心,面积为预设大小的区域;当车载装置为空气处理装置时,车载装置的装设区域具体可以为各个出风口所占据的区域;当车载装置为多媒体装置时,车载装置的装设区域具体可以为车辆的中控台所在的区域;当车载装置为天窗时,车载装置的装设区域具体可以为天窗在车顶所占的区域。
确定子单元5022,用于在第一判断子单元5021判断出车内人员的视线方向对准装设区域时,根据车内人员的手势的指向确定出装设区域中的目标装置;其中,在车内人员做出手势时,手指、手掌或者手臂的朝向可以被识别为该手势的指向;
控制子单元5023,用于控制目标装置切换至与当前状态不同的另一状态。
其中,车载装置的状态至少可以包括开启状态、关闭状态以及在开启状态和关闭状态之间的任一中间状态。控制子单元5023具体可以将目标装置的当前状态在上述的开启状态、关闭状态以及任一中间状态之间进行切换。
可见,实施如图5所示的人车交互系统,可以通过识别车内人员的视线方向和手势,准确定位出车内人员需要控制的车载装置,从而响应视线方向以及手势对车载装置进行控制。在控制过程中,车内人员无需触碰实体开关,从而可以减少实体开关在车内的使用,减少由实体开关带来的问题。此外,通过视线方向和手势对车载装置进行控制,符合自然的交互习惯,可以降低对车载装置进行控制的学习成本,提供更加方便舒适的驾驶体验。
实施例四
请参阅图6,图6本发明实施例公开的另一种人车交互系统的结构示意图。其中,图6所示的人车交互系统是由图5所示的人车交互系统进行优化得到的。如图6所示,在该人车交互系统中:
上述的控制单元502,进一步还可以包括:
第二判断子单元5024,用于在第一判断子单元5021判断出车内人员的视线方向对准装设区域之后,判断车内人员的手势指向的位置是否位于与视线方向对准的装设区域内;以及,
在判断出车内人员的手势指向的位置位于上述的装设区域内时,触发确定子单元5022执行根据车内人员的手势的指向确定出装设区域中的目标装置的操作;
上述的控制单元502,还可以包括:
第三判断子单元5025,用于在第二判断子单元5024判断出车内人员的手势指向的位置位于上述的装设区域外时,判断手势指向的位置与装设区域之间的距离是否小于预设的距离阈值;
上述的确定子单元5022,还用于在第二判断子单元5024判断出车内人员的手势指向的位置位于上述的装设区域外并且第三判断子单元5025判断出手势指向的位置与装设区域之间的距离小于距离阈值时,根据手势的指向确定出装设区域外的目标装置。
可选的,在图6所示的人车交互系统中,上述的控制子单元5023具体可以用于识别手势的动作是否与预设的控制动作相匹配;如果是,控制目标装置从当前状态切换至与控制动作对应的状态;如果否,控制目标装置从当前状态切换至默认状态。
此外,进一步可选的,控制子单元5023具体还可以用于在判断出车内人员的手势与预设的控制动作不匹配之后,获取车内人员输入的语音,并识别获取到的语音中是否存在针对目标装置的控制指令;以及,在判断出存在控制指令时,控制目标装置从当前状态切换至控制指令所指示的状态;在判断出不存在控制指令时,执行上述的控制目标装置从当前状态切换至默认状态的操作。实施该实施方式,可以车内人员可以更加方便准确地对车载装置进行控制。
更进一步可选的,在图6所示的人车交互系统中,还可以包括:
判断单元503,用于在控制单元502响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制之前,判断上述的车内人员的座椅位置是否为主驾驶位;如果是,判断当前车速是否低于预设的速度阈值;以及,
在判断出上述的车内人员的座椅位置为主驾驶位并且当前车速低于速度阈值时,触发控制单元503执行响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制的操作。
可见,实施如图6所示的人车交互系统,可以通过视线和手势判断出车内人员对某一车载装置的控制意愿,从而对该车载装置进行控制。进一步地,当车内人员为驾驶员时,允许驾驶员在低速或者停车场景下通过视线和手势对车载装置进行控制,以保障驾驶安全。而针对除驾驶员以外的其他车内人员,可以随时通过视线和手势对车载装置进行控制。更进一步地,实施如图6所示的人车交互系统,如果视线方向与手势指向不一致且差别较大,认为该手势是误触发的动作,不执行控制操作;如果视线方向与手势指向不一致但差别较小,可以认为车内人员具有控制意愿,因此继续执行控制操作,从而可以通过手势和视线的双重校验减少误触发的情况,同时可以接受一定的识别误差,提高对车载装置进行控制的成功率。
本发明实施例公开一种车辆,其中,该车辆包括图5或图6所示的任一种人车交互系统。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1或图4所示的任一种人车交互方法。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图1或图4所示的任一种人车交互方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种人车交互方法、系统、车辆及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种人车交互方法,其特征在于,所述方法包括:
获取车内人员的视线方向以及手势;
响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制;
所述响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制,包括:
判断所述车内人员的视线方向是否对准所述车载装置的装设区域,所述车载装置的装设区域为以所述车载装置的装设位置为中心,面积为预设大小的区域;
如果对准所述装设区域,根据所述车内人员的手势的指向确定出所述装设区域中的目标装置,所述手势的指向为手指、手掌或者手臂的朝向;
控制所述目标装置切换至与当前状态不同的另一状态;
在判断出所述车内人员的视线方向对准所述装设区域之后,所述方法还包括:
判断所述车内人员的手势指向的位置是否位于所述视线方向对准的所述装设区域内;
如果位于所述装设区域内,执行所述根据所述车内人员的手势的指向确定出所述装设区域中的目标装置的步骤;
如果位于所述装设区域外,判断所述手势指向的位置与所述装设区域之间的距离是否小于预设的距离阈值;
如果小于所述距离阈值,根据所述手势的指向确定出所述装设区域外的目标装置,并执行所述控制所述目标装置切换至与当前状态不同的另一状态的步骤;
如果大于所述距离阈值,确定所述手势为误触发的动作,结束流程;
在所述响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制之前,所述方法还包括:
如果所述车内人员的座椅位置为主驾驶位,判断当前车速是否低于预设的速度阈值;
如果是,执行所述响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制的步骤。
2.根据权利要求1所述的方法,其特征在于,所述控制所述目标装置切换至与当前状态不同的另一状态,包括:
识别所述手势的动作是否与预设的控制动作相匹配;
如果是,控制所述目标装置从当前状态切换至与所述控制动作对应的状态;
如果否,控制所述目标装置从所述当前状态切换至默认状态。
3.根据权利要求1所述的方法,其特征在于,所述获取车内人员的视线方向以及手势,包括:
通过朝向车内设置的摄像头获取车内人员的视线方向以及手势。
4.根据权利要求1所述的方法,其特征在于,所述用户可控的车载装置包括以下至少一种:车内照明装置、空气处理装置、多媒体装置、天窗。
5.一种人车交互系统,其特征在于,包括:
获取单元,用于获取车内人员的视线方向以及手势;
控制单元,用于响应于所述车内人员的视线方向以及手势对用户可控的车载装置进行控制;
所述控制单元包括:
第一判断子单元,用于判断所述车内人员的视线方向是否对准所述车载装置的装设区域,所述车载装置的装设区域为以所述车载装置的装设位置为中心,面积为预设大小的区域;
确定子单元,用于在所述第一判断子单元判断出所述车内人员的视线方向对准所述装设区域时,根据所述车内人员的手势的指向确定出所述装设区域中的目标装置,所述手势的指向为手指、手掌或者手臂的朝向;
控制子单元,用于控制所述目标装置切换至与当前状态不同的另一状态;
所述控制单元还包括:
第二判断子单元,用于在所述第一判断子单元判断出车内人员的视线方向对准所述装设区域之后,判断车内人员的所述手势指向的位置是否位于与所述视线方向对准的装设区域内;以及,在判断出车内人员的所述手势指向的位置位于所述装设区域内时,触发所述确定子单元执行根据车内人员的所述手势的指向确定出所述装设区域中的目标装置的操作;
第三判断子单元,用于在所述第二判断子单元判断出车内人员的所述手势指向的位置位于所述装设区域外时,判断所述手势指向的位置与所述装设区域之间的距离是否小于预设的距离阈值;
所述确定子单元,还用于在所述第二判断子单元判断出车内人员的所述手势指向的位置位于所述装设区域外并且所述第三判断子单元判断出所述手势指向的位置与所述装设区域之间的距离小于距离阈值时,根据所述手势的指向确定出所述装设区域外的目标装置,并触发所述控制子单元执行所述控制所述目标装置切换至与当前状态不同的另一状态的操作;
所述确定子单元,还用于在所述第三判断子单元判断出所述手势指向的位置与所述装设区域之间的距离大于所述距离阈值时,确定所述手势为误触发的动作,结束流程;
所述人车交互系统还包括:
判断单元,用于在所述控制单元响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制之前,判断车内人员的座椅位置是否为主驾驶位;如果是,判断当前车速是否低于预设的速度阈值;以及,
在判断出车内人员的座椅位置为主驾驶位并且当前车速低于速度阈值时,触发所述控制单元执行响应于车内人员的视线方向以及手势对用户可控的车载装置进行控制的操作。
6.一种车辆,其特征在于,包括如权利要求5所述的人车交互系统。
7.一种计算机可读存储介质,其特征在于,其存储计算机程序,其中,所述计算机程序使得计算机执行如权利要求1~4任一项所述的人车交互方法。
CN201910760620.8A 2019-08-16 2019-08-16 一种人车交互方法、系统、车辆及存储介质 Active CN110481419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910760620.8A CN110481419B (zh) 2019-08-16 2019-08-16 一种人车交互方法、系统、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910760620.8A CN110481419B (zh) 2019-08-16 2019-08-16 一种人车交互方法、系统、车辆及存储介质

Publications (2)

Publication Number Publication Date
CN110481419A CN110481419A (zh) 2019-11-22
CN110481419B true CN110481419B (zh) 2021-12-07

Family

ID=68551924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910760620.8A Active CN110481419B (zh) 2019-08-16 2019-08-16 一种人车交互方法、系统、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN110481419B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111391769B (zh) * 2020-04-03 2021-09-03 广州小鹏汽车科技有限公司 基于方向盘的车辆交互方法、装置、车辆及机器可读介质
CN111391770A (zh) * 2020-04-03 2020-07-10 广州小鹏汽车科技有限公司 交互区域屏蔽方法、装置、车辆以及机器可读介质
JP7155217B2 (ja) * 2020-10-02 2022-10-18 本田技研工業株式会社 車両用室内照明システム
CN113867527A (zh) * 2021-09-26 2021-12-31 上海商汤临港智能科技有限公司 车窗控制方法、装置、电子设备及存储介质
CN114143938A (zh) * 2021-11-30 2022-03-04 东风商用车有限公司 车内灯光控制方法、装置、设备及可读存储介质
CN115179858A (zh) * 2022-06-30 2022-10-14 重庆长安汽车股份有限公司 一种基于视觉的车灯控制方法、装置、电子设备及存储介质
CN117962742B (zh) * 2024-03-29 2024-06-21 长城汽车股份有限公司 车辆组件的控制方法、装置和车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354259A (zh) * 2016-08-30 2017-01-25 同济大学 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置
CN110001401A (zh) * 2018-01-05 2019-07-12 拉碧斯半导体株式会社 操作判定装置以及操作判定方法
CN110119209A (zh) * 2019-06-13 2019-08-13 漫谷科技股份公司 音频设备控制方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517425B1 (ko) * 2013-06-27 2023-03-31 아이사이트 모빌 테크놀로지 엘티디 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
CN105659191B (zh) * 2014-06-17 2019-01-15 杭州凌感科技有限公司 用于提供图形用户界面的系统和方法
JP6119679B2 (ja) * 2014-06-24 2017-04-26 株式会社デンソー 車両用入力装置
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
CN204967789U (zh) * 2015-06-29 2016-01-13 上汽通用汽车有限公司 非接触式开关及用于车辆的控制模块
US20190155560A1 (en) * 2017-11-23 2019-05-23 Mindtronic Ai Co.,Ltd. Multi-display control apparatus and method thereof
CN109814448A (zh) * 2019-01-16 2019-05-28 北京七鑫易维信息技术有限公司 一种车载多模态控制方法及系统
CN109808469A (zh) * 2019-02-18 2019-05-28 上海尚宏汽车天窗有限公司 手势识别控制的汽车天窗

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354259A (zh) * 2016-08-30 2017-01-25 同济大学 基于Soli和Tobii的汽车HUD眼动辅助手势交互系统及其装置
CN110001401A (zh) * 2018-01-05 2019-07-12 拉碧斯半导体株式会社 操作判定装置以及操作判定方法
CN110119209A (zh) * 2019-06-13 2019-08-13 漫谷科技股份公司 音频设备控制方法和装置

Also Published As

Publication number Publication date
CN110481419A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110481419B (zh) 一种人车交互方法、系统、车辆及存储介质
US10710457B2 (en) Gesture and facial expressions control for a vehicle
JP7105316B2 (ja) 運転者注意力の監視方法および装置、ならびに電子機器
US10124648B2 (en) Vehicle operating system using motion capture
JP4305289B2 (ja) 車両用制御装置およびその装置を備える車両用制御システム
JP6030430B2 (ja) 制御装置、車両及び携帯端末
CN205788090U (zh) 一种用于操作车辆的车辆操作系统及一种电动车
US10551936B2 (en) Systems and methods for distinguishing gestures
JP2005178473A (ja) 車載機器用インターフェース
CN113994312A (zh) 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
JP7091983B2 (ja) 機器制御装置
JP2014149640A (ja) ジェスチャ操作装置及びジェスチャ操作プログラム
CN111873799A (zh) 显示方法
JP6385624B2 (ja) 車載情報処理装置、車載装置および車載情報処理方法
US20190088058A1 (en) Onboard system for a vehicle and process for sending a command to a park area access system
CN110861577A (zh) 乘客位亮度控制方法、装置,存储介质和车辆
US10228769B2 (en) Equipment control device, equipment control method, and non-transitory recording medium
US20200218347A1 (en) Control system, vehicle and method for controlling multiple facilities
CN111511599A (zh) 用于运行辅助系统的方法和汽车用辅助系统
JP2017134777A (ja) 動作判定プログラム、動作判定方法及び制御装置
CN110850975A (zh) 具有手掌辨识的电子系统、车辆及其操作方法
JP2017052490A (ja) 車載機器制御装置
CN113874238A (zh) 用于机动车的显示系统
CN112506353A (zh) 车辆交互系统、方法、存储介质和车辆
CN113910872B (zh) 车辆遮阳装置的控制方法、装置、车载终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant