CN111240477A - 一种车载人机交互方法、系统和具有该系统的车辆 - Google Patents

Abstract

本发明提供一种车载人机交互方法、系统和具有该系统的车辆，通过图像采集装置获取眼球信息，根据眼球信息在显示界面上的可操作项目中选定目标并将其激活，通过眼球交互准确的选定目标，实现目标的无感激活，提高下一步语音指令的准确度和可控制度，避免乘员持续长时间的注视；通过语音采集模块采集语音信息，生成控制指令，由处理模块进行分析处理并由控制模块执行相关操作；通过眼球交互和语音交互融合，缩小了单一时间点语音识别的内容的判定范围，操作简单，准确度高。

Description

一种车载人机交互方法、系统和具有该系统的车辆

技术领域

本发明涉及车载人机交互系统技术领域，更具体地，涉及一种车载人机交互方法、系统和具有该系统的车辆。

背景技术

随着汽车的发展，车载终端的智能化程度越来越高，与用户进行交互也日益人性化。目前车载人机交互具有以下几种交互方式，一、基于按键或触控的肢体动作交互，此种交互方式需要视觉观察和手动控制，驾驶时注意力严重分散，存在安全隐患；通过多种功能开关按键需要大量的布置空间，导致开关间相互影响，无法保证人机交互的便捷性；二、基于语音识别或声源定位的声音交互，受限于语义识别和口音识别的难度，可应用的功能有限，主要集中在多媒体、空调和门窗等的基本功能控制，语音交互指令较复杂，需要表达功能的目标名称和动作指令，与人和人之间的自然交流存在较大差异，容易受到环境的干扰，包括环境噪音导致的语音不清晰、车内人员的交谈导致的误触发；三、基于眼球视线追踪定位的视觉交互，眼球视线定位难以做到精准，容易误操作。因此，需要一种新的车载人机交互系统及方法来解决上述问题。

发明内容

有鉴于此，本发明提供一种车载人机交互方法。

本发明还提供上述车载人机交互方法的车载人机交互系统。

本发明还提供一种具有上述车载人机交互系统的车辆。

为解决上述技术问题，本发明采用以下技术方案：

根据本发明第一方面实施例的车载人机交互方法，包括：

获取乘员的眼球信息，激活所述乘员注视方向的所在区域的选定目标，等待指令；

获取乘员的语音信息生成控制指令；

根据所述控制指令执行相应的操作。

进一步的，所述的获取乘员的眼球信息采用图像采集模块获取。

进一步的，所述图像采集模块为车内摄像头，所述眼球信息为眼球图像。

进一步的，所述的图像采集模块为具有眼球追踪器的摄像头。

进一步的，所述激活所述乘员注视方向的所在区域的选定目标包括根据所述眼球图像确定乘员的眼球位置和眼球偏转方向，将经眼球位置且与眼球偏转方向平行的直线与显示界面的交点所在的可操作项目作为所述选定目标。

进一步的，所述的语音信息通过语音采集模块获取。

进一步的所述的语音采集模块为车内麦克风。

根据本发明第二方面实施例的车载人机交互系统为根据上述实施例所述的车载人机交互方法的车载人机交互系统，包括：

至少一个图像采集模块，其被配置为采集乘员的眼球信息；

语音采集模块，其被配置为采集乘员的语音信息；

处理模块，其被配置为根据所述眼球信息在显示界面上的可操作项目中选定目标并将其激活，之后再根据所述语音信息生成控制指令；

控制模块，根据所述控制指令执行相应的操作。

进一步的，所述图像采集模块的输出端与所述处理模块的输入端相连，用于对所述乘员的眼球进行追踪，获取乘员的眼球信息，并将所述眼球信息发生至所述处理模块；

所述语音采集模块的输出端与所述处理模块的输入端相连，用于采集所述乘员的语音，获取乘员语音中的语音信息，并将所述语音信息发送至所述处理模块；

所述处理模块的输出端与控制模块的输入端相连，用于根据所述眼球信息确定注视方向的目标并激活选定目标，根据所述语音信息生成控制指令，并将所述控制指令发送至所述控制模块；

所述控制模块根据所述控制指令执行相应的操作。

根据本发明第三方面实施例的车辆包括根据上述实施例所述的车载人机交互系统。

本发明的上述技术方案的有益效果如下：

根据本发明实施例的车载人机交互系统，通过图像采集装置获取眼球信息，根据眼球信息在显示界面上的可操作项目中选定目标并将其激活，通过眼球交互准确的选定目标，实现目标的无感激活，提高下一步语音指令的准确度和可控制度，避免乘员持续长时间的注视；通过语音采集模块采集语音信息，生成控制指令，由处理模块进行分析处理并由控制模块执行相关操作；通过眼球交互和语音交互融合，缩小了单一时间点语音识别的内容的判定范围，操作简单，准确度高。

附图说明

图1为根据本发明实施例的车载人机交互方法的原理图；

图2为根据本发明实施例的车载人机交互系统的结构示意图。

附图标记：

车载人机交互系统100；

图像采集模块10；

语音采集模块20；

处理模块30；

控制模块40。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

下面首先结合附图具体描述根据本发明实施例的车载人机交互方法和车载人机交互系统100。

如图1和图2所示，本发明实施例的车载人机交互系统100的车载人机交互方法，包括：

一、获取乘员的眼球信息，激活所述乘员注视方向的所在区域的选定目标，等待指令；

二、获取乘员的语音信息生成控制指令；

三、根据所述控制指令执行相应的操作。

在本发明的一些具体实施方式中，眼球信息的获取通过图像采集模块获取，更具体的，本发明实施例的图像采集模块10为车内摄像头，眼球信息为眼部图像。优选地，图像采集模块10为设有眼球追踪器的摄像头。对于摄像头的结构和工作原理在此不做限定和描述，为现有技术；对于眼球追踪器，可以为现有的常规的眼球追踪传感器，具体结构和工作原理在此不做限定和描述，为现有技术，并非本发明的创新点。对眼球进行追踪也即视线追踪可以采用光学记录法实现。光学记录法的原理是，利用照相机或者摄像机记录被测试者的眼睛运动情况，即获取能够反映眼睛运动的眼部图像，从获取到的眼部图像中提取眼球信息用于建立视线的估计模型。其中，眼球信息可以包括眼球位置、眼球形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、眼球偏转方向等。

在本发明的一些具体实施方式中，激活所述乘员注视方向的所在区域的选定目标包括根据眼球图像确定乘员的眼球位置和眼球偏转方向，将经眼球位置且与眼球偏转方向平行的直线与显示界面的交点所在的可操作项目作为选定目标。

在本发明的一些具体实施方式中，语音信息的获取通过语音采集模块获取，更具体的，语音采集模块20为车内麦克风。对于麦克风的结构和工作原理在此不做详细描述和限定，为现有技术，并非本发明的发明点。

具体地，处理模块30被配置为根据眼球图像确定乘员的眼球位置和眼球偏转方向，将经眼球位置且与眼球偏转方向平行的直线与显示界面的交点所在的可操作项目作为选定目标。激活为显示屏由初始状态的节能模式转化激活模式，显示界面的可操作项目主要包括现有的车辆中常规的驾驶信息比如车速、温度、平均时速、平均油耗、油量等等，娱乐互联比如视频音乐等，驾驶模式比如自动挡位模式、手动挡位模式等，内外后视镜，内灯天窗，车门车窗、座椅控制等，当乘员用眼睛注视显示界面所在区域位置时，车内摄像头获取乘员的眼球位置和眼球偏转方向，根据视线注视方向的显示界面上的可操作项目中选定目标，处理模块分析处理并激活该可选定项目，比如眼球注视方向为娱乐互联，则该目标功能系统被激活，该目标功能系统的子内容也被激活，处于等待指令状态；乘员根据需求说话，比如乘员想要听音乐，便可以说出播放，更具体的可以说出播放张信哲的信仰，而不必须明确说出播放音乐或是播放收音机等等，车内麦克风获取该语音，分析语义，得出客观的功能控制指令并发送给控制模块，控制模块根据语音指令在视线激活的功能范围内执行相应的操作打开音乐播放器并自动搜索张信哲的信仰，搜到之后自动进行播放；其他目标通过同样的方式实现，在此不一一描述。

需要说明的是，当持续注视某个激活的功能目标时，可以进行功能子内容的精细化控制，功能子内容比如播放音乐时音量的控制、播放速度的控制，播放模式等；随着视线移动，进行实时的持续性视线追踪，激活的功能目标也会随之变化，比如由音乐功能目标切换到视频功能模目标或者车灯天窗控制等。当移动后的视线范围内无功能目标时，可以激活上一功能目标，或者激活默认指定功能目标，或者结束激活；以上移动后视线范围内无功能目标时的策略，可以为立刻执行激活并持续保持；也可以为立刻执行激活并持续一段时间后结束；也可以为延迟一段时间后执行激活；也可以为在一个功能目标激活后，持续一段时间后变为激活另一目标；也可以为在一个功能目标激活后，根据时间变化，逐步缩减功能目标内所包含的子功能指令范围。

如图2所示，根据本发明第二方面实施例的车载人机交互系统包括图像采集模块10、语音采集模块20、处理模块30和控制模块40。

换言之，根据本发明实施例的车载人机交互系统100主要由图像采集模块10、语音采集模块20、处理模块30和控制模块40四部分构成。图像采集模块10被配置为采集乘员的眼球信息；语音采集模块20被配置为采集乘员的语音信息；处理模块30被配置为根据眼球信息在显示界面上的可操作项目中确认选定目标并激活，根据语音信息生成控制指令；控制模块40根据控制指令执行相应的操作。

相比现有技术的单独的语音识别需要多次操作才能功能生效，操作复杂，准确度低，而本申请的采用眼球交互实现无感的激活目标功能系统，提高语音交互的准确度和可控制性。

由此，根据本发明实施例的车载人机交互系统，通过图像采集装置10获取眼球信息，根据眼球信息在显示界面也即现有的车辆中控台上的可操作项目中选定目标并将其激活，通过眼球交互准确的选定目标，实现目标的无感激活，提高下一步语音指令的准确度和可控制度，避免乘员持续长时间的注视；通过语音采集模块采集语音信息，生成控制指令，由处理模块进行分析处理并由控制模块执行相关操作；通过眼球交互和语音交互融合，缩小了单一时间点语音识别的内容的判定范围，操作简单，准确度高。

在本发明的一些具体实施方式中，图像采集模块10为至少两个，至少两个图像采集模块10分别用于采集不同的乘员的眼球信息。也就是说除了驾驶员可以进行人机交互，其他乘员也可以同步进行相关操作。

在本发明的一些具体实施方式中，图像采集模块10的输出端与处理模块30的输入端相连，用于对乘员的眼球进行追踪，获取乘员的眼球信息，并将眼球信息发生至处理模块30；语音采集模块20的输出端与处理模块30的输入端相连，用于采集乘员的语音，获取乘员语音中的语音信息，并将语音信息发送至处理模块30；处理模块30的输出端与控制模块40的输入端相连，用于根据眼球信息确定注视方向的目标并激活选定目标，根据语音信息生成控制指令，并将控制指令发送至控制模块40；控制模块40根据控制指令执行相应的操作。

根据本发明第三方面实施例的车辆包括根据上述实施例的车载人机交互系统100，由于根据本发明实施例的车载人机交互系统100具有上述技术效果，因此，根据本发明实施例的车辆也具有相应的技术效果，即采用眼球交互与语音交互融合，先采用眼球交互实现可操作项目的激活，提高语音交互的准确度和可控制性，再通过语音交互生成控制指令，最后在执行控制指令，操作简单，准确度高。

根据本发明实施例的车辆的其他结构和操作对于本领域技术人员而言都是可以理解并且容易实现的，因此不再详细描述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“优选实施例”、“具体实施方式”、或“优选实施方式”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车载人机交互方法，其特征在于，包括：

获取乘员的眼球信息，激活所述乘员注视方向的所在区域的选定目标，等待指令；

获取乘员的语音信息生成控制指令；

根据所述控制指令执行相应的操作。

2.根据权利要求1所述的一种车载人机交互方法，其特征在于，所述的获取乘员的眼球信息采用图像采集模块获取。

3.根据权利要求2所述的一种车载人机交互方法，其特征在于，所述图像采集模块为车内摄像头，所述眼球信息为眼球图像。

4.根据权利要求3所述的一种车载人机交互方法，其特征在于，所述的图像采集模块为具有眼球追踪器的摄像头。

5.根据权利要求4所述的车载人机交互方法，其特征在于，所述激活所述乘员注视方向的所在区域的选定目标包括根据所述眼球图像确定乘员的眼球位置和眼球偏转方向，将经眼球位置且与眼球偏转方向平行的直线与显示界面的交点所在的可操作项目作为所述选定目标。

6.根据权利要求1所述的车载人机交互方法，其特征在于，所述的语音信息通过语音采集模块获取。

7.根据权利要求6所述的车载人机交互方法，其特征在于，所述的语音采集模块为车内麦克风。

8.一种车载人机交互系统，其特征在于，包括：

至少一个图像采集模块，其被配置为采集乘员的眼球信息；

语音采集模块，其被配置为采集乘员的语音信息；

处理模块，其被配置为根据所述眼球信息在显示界面上的可操作项目中选定目标并将其激活，之后再根据所述语音信息生成控制指令；

控制模块，根据所述控制指令执行相应的操作。

9.根据权利要求8所述的车载人机交互系统，其特征在于，所述图像采集模块的输出端与所述处理模块的输入端相连，用于对所述乘员的眼球进行追踪，获取乘员的眼球信息，并将所述眼球信息发生至所述处理模块；

所述语音采集模块的输出端与所述处理模块的输入端相连，用于采集所述乘员的语音，获取乘员语音中的语音信息，并将所述语音信息发送至所述处理模块；

所述处理模块的输出端与控制模块的输入端相连，用于根据所述眼球信息确定注视方向的目标并激活选定目标，根据所述语音信息生成控制指令，并将所述控制指令发送至所述控制模块；

所述控制模块根据所述控制指令执行相应的操作。

10.一种车辆，其特征在于，包括权利要求8-9中任一项所述的车载人机交互系统。

Images