CN109814448A - 一种车载多模态控制方法及系统 - Google Patents

Abstract

本发明实施例公开了一种车载多模态控制方法及系统。该方法包括：获取用户的注视信息及语义信息；根据所述注视信息和所述语义信息生成控制指令；根据所述控制指令执行相应的操作。本实施例提供的车载多模态控制方法，根据用户的注视信息和语义信息生成控制指令，以执行控制指令对应的操作，可以将用户的多模态进行融合，实现人机交互。

Description

一种车载多模态控制方法及系统

技术领域

本发明实施例涉及车载设备技术领域，尤其涉及一种车载多模态控制方法及系统。

背景技术

随着汽车行业的快速发展，汽车已经成为人们外出不可或缺的代步工具。在开车过程中，为了保证行车安全，驾驶员需要专心开车，而不能进行其他的行为操作，例如抓拍车外的美景等。

现有的车载设备，各设备都是单独工作，实现自身固有的功能，没有相互配合，使得车载设备的功能单一，无法满足用户在车载环境中全方位的需求。因而，将用户的多种模态进行融合，实现汽车与人交互显得尤为重要。

发明内容

本发明实施例提供一种车载多模态控制系统及方法，可以将用户的多模态进行融合，实现人机交互。

第一方面，本发明实施例提供了一种车载多模态控制方法，该方法包括：

获取用户的注视信息及语义信息；

根据所述注视信息和所述语义信息生成控制指令；

根据所述控制指令执行相应的操作。

进一步地，所述注视信息包括注视点信息、注视矢量或注视深度中的一种或多种；获取用户的注视信息，包括：

获取用户眼部图像；

基于所述眼部图像提取眼部特征信息；

根据所述眼部特征信息确定注视信息。

进一步地，根据所述控制指令执行相应的操作，包括：

控制拍照模块执行拍照操作、控制摄像模块进行摄像操作或者控制声音采集模块执行声音采集操作。

进一步地，获取用户的语义信息包括：获取用户的语义信息为拍照信息和/或声音采集信息；

获取用户的注视信息，包括：获取用户的注视点信息；

根据所述控制指令执行相应的操作，包括：根据拍照信息控制摄像头转向注视点所在的方向进行拍摄

或者,

根据声音采集信息控制声音采集模块靠近注视信息所在的方向进行声音采集操作。

第二方面，本发明实施例提供了一种车载多模态控制系统，包括：眼球追踪模块、语音识别模块、数据处理模块和车辆控制模块；

所述眼球追踪模块的输出端与所述数据处理模块的输入端相连，用于对用户的眼球进行追踪，获取用户的注视信息，并将所述注视信息发送至所述数据处理模块；

所述语音识别模块输出端与所述数据处理模块的输入端相连，用于采集用户的语音，获取用户语音中的语义信息，并将所述语义信息发送至所述数据处理模块；

所述数据处理模块的输出端与所述车辆控制模块的输入端相连，用于根据所述注视信息和所述语义信息生成控制指令，并将所述控制指令发送至所述车辆控制模块；

所述车辆控制模块，用于根据所述控制指令执行相应的操作。

进一步地，还包括人脸识别模块和手势识别模块；

所述人脸识别模块的输出端与所述数据处理模块的输入端相连，用于采集用户的人脸图像，并对所述人脸图像进行识别，将人脸识别结果发送至所述数据处理模块；

所述手势识别模块的输出端与所述数据处理模块的输入端相连，用于识别用户的手势动作，并将手势识别结果发送至所述数据处理模块。

进一步地，所述眼球追踪模块包括红外光源组件、图像传感器组件及图像处理组件；

所述红外光源组件用于照射用户眼睛，并在眼睛角膜上形成至少一个角膜反射点；

所述图像传感器组件与所述图像处理组件相连，用于捕获用户眼睛图像，并将所述眼睛图像发送至所述图像处理组件；

所述图像处理组件，用于根据所述眼睛图像获取眼睛的注视点信息。

进一步地，所述语音识别模块包括语音采集组件和语音处理组件；

所述语音采集组件与所述语音处理组件相连，用于采集用户的语音信息，并将所述语音信息发送至所述语音处理组件；

所述语音处理组件，用户根据所述语音信息获取用户语音中的语义信息。

进一步地，所述语音采集组件为麦克风。

进一步地，还包括：通信模块；所述通信模块分别与所述眼球追踪模块、所述语音识别模块、所述人脸识别模块、所述手势识别模块和所述数据处理模块相连，用于将所述注视信息、所述语义信息、所述人脸识别结果和所述手势识别结果转发至所述数据处理模块。

进一步地，所述通信模块与所述眼球追踪模块、所述语音识别模块、所述人脸识别模块、所述手势识别模块、所述数据处理模块之间分别采用通信接口相连。

进一步地，所述车辆控制模块包括供电电源和车辆控制总线接口。

进一步地，所述车辆控制模块通过所述车辆控制总线接口车辆系统相连，所述车辆系统包括显示系统、动力控制系统、制动控制系统、转向控制系统和声光控制系统。

本发明实施例，首先获取用户的注视信息及语义信息，然后根据注视信息和语义信息生成控制指令，最后根据控制指令执行相应的操作。本实施例提供的车载多模态控制方法，根据用户的注视信息和语义信息生成控制指令，以执行控制指令对应的操作，可以将用户的多模态进行融合，实现人机交互。

附图说明

图1是本发明实施例一中的一种车载多模态控制系统的结构示意图；

图2是本发明实施例一中的另一种车载多模态控制系统的结构示意图；

图3是本发明实施例二中的一种车载多模态控制方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

眼球追踪也可以称为视线追踪，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为一个三维矢量，注视点可以理解为三维矢量投影在某个平面上的二维坐标。

本实施例中，对眼球进行追踪可以采用光学记录法实现。光学记录法的原理是，利用照相机或者摄像机记录被测试者的眼睛运动情况，即获取能够反映眼睛运动的眼部图像，从获取到的眼部图像中提取眼部特征用于建立视线/注视点的估计模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(或者普尔钦斑)等。

光学记录法包括瞳孔-角膜反射法。瞳孔-角膜反射法的原理是，光源照向眼睛，由图像采集设备对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像。

随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。

实施例一

图1为本发明实施例一提供的一种车载多模态控制系统的结构示意图，该系统可以将用户的多模态进行融合，实现人机交互，如图1所示，该系统包括：眼球追踪模块110、语音识别模块120、数据处理模块130和车辆控制模块140。

眼球追踪模块110的输出端与数据处理模块130的输入端相连，用于对用户的眼球进行追踪，获取用户的注视信息，并将注视信息发送至数据处理模块130。语音识别模块120的输出端与数据处理模块130的输入端相连，用于采集用户的语音，获取用户语音中的语义信息，并将语义信息发送至数据处理模块130。数据处理模块130的输出端与车辆控制模块140的输入端相连，用于根据注视信息和语义信息生成控制指令，并将控制指令发送至车辆控制模块。车辆控制模块140，用于根据控制指令执行相应的操作。

本实施例中，眼球追踪模块110获取用户注视信息，语音识别模块120获取用户的语音信息，数据处理模块130根据注视信息和语音信息中的语义信息产生控制指令，使得车辆控制模块根据控制指令执行相应的操作。

可选的，该系统还包括人脸识别模块150和手势识别模块160。人脸识别模块150的输出端与数据处理模块130的输入端相连，用于采集用户的人脸图像，并对人脸图像进行识别，将人脸识别结果发送至数据处理模块。手势识别模块160的输出端与数据处理模块130的输入端相连，用于识别用户的手势动作，并将手势识别结果发送至数据处理模块130。

其中，手势识别模块160可以是由触摸单元组成的模块或者由超声波传感器组成的手势识别模块。

本实施例中的车载多模态控制系统，可以获取到用户的注视信息、语音信息、人脸信息以及手势信息，将获取到的多个信息进行融合，确定用户的意图，并根据融合结果产生控制指令，根据控制指令执行相应的操作，从而实现人机交互。

可选的，图2为本发明实施例一提供的另一种车载多模态控制系统的结构示意图，以上述实施例为基础，如图2所示，眼球追踪模块110包括红外光源组件111、图像传感器组件112及图像处理组件113；红外光源组件111用于照射用户眼睛，并在眼睛角膜上形成至少一个角膜反射点；图像传感器组件112与图像处理组件113相连，用于捕获用户眼睛图像，并将眼睛图像发送至图像处理组件113；图像处理组件113，用于根据眼睛图像获取眼睛的注视点信息。

其中，红外光源组件可以产生红外光线，当红外光照射用户眼睛时，会在用户眼睛角膜上形成一个角膜反射点。图像传感器组件112可以是摄像头，可以采集具有角膜反射点的眼睛图像，图像处理组件113对具有角膜反射点的眼睛图像进行分析，获得角膜反射点与瞳孔中心的相对位置关系，从而估计出用户眼睛的注视信息。

语音识别模块120包括语音采集组件121和语音处理组件122。语音采集组件121与语音处理组件122相连，用于采集用户的语音信息，并将语音信息发送至语音处理组件122。语音处理组件122，用户根据语音信息获取用户语音中的语义信息。

可选的，语音采集组件121可以是麦克风。具体的，语音采集组件121将采集到语音信息发送至语音处理组件122，语音处理组件122对语音信息进行分析，获得语音中的语义信息。

可选的，该系统还包括通信模块170。通信模块170分别与眼球追踪模块110、语音识别模块120、人脸识别模块150、手势识别模块160和数据处理模块130相连，用于将注视信息、语义信息、人脸识别结果和手势识别结果转发至数据处理模块。通信模块170可以是有线通信模块或者无线通信模块。其中，无线通信模块可以是蓝牙模块或wifi模块。

可选的，通信模块170与眼球追踪模块110、语音识别模块120、人脸识别模块150、手势识别模块160、数据处理模块130之间分别采用通信接口相连。

可选的，车辆控制模块140包括供电电源和车辆控制总线接口。其中，供电电源用于给车辆控制模块140供电，车辆控制总线接口用于将车辆控制模块与车辆系统相连，以实现车辆控制模块140对车辆系统的控制。

可选的，车辆控制模块140通过车辆控制总线接口车辆系统相连，车辆系统可以包括显示系统、动力控制系统、制动控制系统、转向控制系统和声光控制系统。

本实施例提供的车载多模态控制系统，包括：眼球追踪模块、语音识别模块、数据处理模块和车辆控制模块；眼球追踪模块的输出端与数据处理模块的输入端相连，用于对用户的眼球进行追踪，获取用户的注视信息，并将注视信息发送至数据处理模块；语音识别模块输出端与数据处理模块的输入端相连，用于采集用户的语音，获取用户语音中的语义信息，并将语义信息发送至数据处理模块；数据处理模块的输出端与车辆控制模块的输入端相连，用于根据注视信息和语音信息生成控制指令，并将控制指令发送至车辆控制模块；车辆控制模块，用于根据控制指令执行相应的操作。根据用户的注视点信息和语义信息生成控制指令，以执行控制指令对应的操作，可以将用户的多模态进行融合，实现人机交互。

实施例二

图3为本发明实施例二提供的一种车载多模态控制方法的流程图。该方法由上述实施例所述的车载多模态控制系统执行，如图3所示，该方法包括如下步骤：

步骤310，获取用户的注视信息及语义信息。

其中，注视信息可以由眼球追踪模块获取，语义信息由语音识别模块对采集的语音进行语义识别获得。

其中，注视点信息可以包括注视点信息(视线方向)、注视矢量或注视深度中的一种或多种。获取用户的注视信息的方式可以是，获取用户眼部图像；基于眼部图像提取眼部特征信息；根据眼部特征信息确定注视信息。

其中，眼部特征信息可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(或者普尔钦斑)等。具体的原理是，光源照向眼睛，由图像采集设备对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像。随着眼球的转动，瞳孔中心与光斑的相对位置关系发生变化。采集到多张带有光斑的眼部图像都可以反映位置变化关系，根据位置变化关系进行视线/注视点的估计。

步骤320，根据注视信息和语义信息生成控制指令。

其中，控制指令可以包括：控制拍照模块拍照、控制摄像模块摄像或者控制声音采集模块进行声音采集。数据处理模块对注视信息和语义信息进行分析生成控制指令，并将控制指令发送至车载控制模块。

步骤330，根据控制指令执行相应的操作。

车载控制模块根据控制指令控制对应的设备执行相应的操作。

可选的，根据控制指令执行相应的操作，可通过下述方式实施：控制拍照模块执行拍照操作、控制摄像模块进行摄像操作或者控制声音采集模块执行声音采集操作。

在一个示例中，语音识别模块采集的用户语音中的语义信息为拍照信息，眼球追踪模块获取到用户的注视信息，控制模块根据拍照信息控制摄像头转向注视信息所在的方向进行拍摄。示例性的，驾驶员在开车过程中，看到车外远处的风景很美，想要记录下来，但是由于驾驶员正在开车，无法手动进行拍摄，此处驾驶员望向窗外并说“把我看到的风景拍下了”，此时，数据处理模块根据用户的视线方向以及语义信息生成拍摄窗外风景的控制指令，车辆控制模块根据该控制指令控制摄像头拍摄车窗外的风景。

在另一个示例中，语音识别模块采集的用户语音中的语义信息为摄像信息，眼球追踪模块获取到用户的注视信息，控制模块根据拍照信息控制摄像头转向注视信息所在的方向进行摄像。示例性的，驾驶员在开车过程中，看到车外表演很精彩，想要记录下来，但是由于驾驶员正在开车，无法手动进行摄像，此处驾驶员望向窗外并说“把我看到的风景录下了”，此时，数据处理模块根据用户的视线方向以及语义信息生成录像的控制指令，车辆控制模块根据该控制指令控制摄像头录制窗外的表演。

在又一个实施例中，语音识别模块采集的用户语音中的语义信息为声音采集信息，控制模块根据声音采集信息控制声音采集模块进行声音采集。示例性的，驾驶员驾驶车辆在野生动物园中观光，行驶至鸟类区域时，听到某种鸟的叫声特别动听，想要将该种鸟叫声录下来，但是由于驾驶员正在开车，无法手动进行录音，此时驾驶员说“将鸟叫声录下来”，此时数据处理模块根据语义信息生成声音采集的控制指令，对鸟叫声进行采集。

本实施例的技术方案，首先获取用户的注视信息及语义信息，然后根据注视信息和语义信息生成控制指令，最后根据控制指令执行相应的操作。本实施例提供的车载多模态控制方法，根据用户的注视信息和语义信息生成控制指令，以执行控制指令对应的操作，可以将用户的多模态进行融合，实现人机交互。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车载多模态控制方法，其特征在于，包括：

获取用户的注视信息及语义信息；

根据所述注视信息和所述语义信息生成控制指令；

根据所述控制指令执行相应的操作。

2.根据权利要求1所述的方法，其特征在于，所述注视信息包括注视点信息、注视矢量或注视深度中的一种或多种；获取用户的注视信息，包括：

获取用户眼部图像；

基于所述眼部图像提取眼部特征信息；

根据所述眼部特征信息确定注视信息。

3.根据权利要求2所述的方法，其特征在于，根据所述控制指令执行相应的操作，包括：

控制拍照模块执行拍照操作、控制摄像模块进行摄像操作或者控制声音采集模块执行声音采集操作。

4.根据权利要求3所述的方法，其特征在于，获取用户的语义信息包括：获取用户的语义信息为拍照信息和/或声音采集信息；

获取用户的注视信息，包括：获取用户的注视点信息；

根据所述控制指令执行相应的操作，包括：

根据拍照信息控制摄像模块转向注视点所在的方向进行拍摄；

或者,

根据声音采集信息控制声音采集模块靠近注视信息所在的方向进行声音采集操作。

5.一种车载多模态控制系统，其特征在于，包括：眼球追踪模块、语音识别模块、数据处理模块和车辆控制模块；

所述眼球追踪模块的输出端与所述数据处理模块的输入端相连，用于对用户的眼球进行追踪，获取用户的注视信息，并将所述注视信息发送至所述数据处理模块；

所述语音识别模块的输出端与所述数据处理模块的输入端相连，用于采集用户的语音，获取用户语音中的语义信息，并将所述语义信息发送至所述数据处理模块；

所述数据处理模块的输出端与所述车辆控制模块的输入端相连，用于根据所述注视信息和所述语义信息生成控制指令，并将所述控制指令发送至所述车辆控制模块；

所述车辆控制模块，用于根据所述控制指令执行相应的操作。

6.根据权利要求5所述的系统，其特征在于，还包括人脸识别模块和手势识别模块；

所述人脸识别模块的输出端与所述数据处理模块的输入端相连，用于采集用户的人脸图像，并对所述人脸图像进行识别，将人脸识别结果发送至所述数据处理模块；

所述手势识别模块的输出端与所述数据处理模块的输入端相连，用于识别用户的手势动作，并将手势识别结果发送至所述数据处理模块。

7.根据权利要求5所述的系统，其特征在于，所述眼球追踪模块包括红外光源组件、图像传感器组件及图像处理组件；

所述红外光源组件用于照射用户眼睛，并在眼睛角膜上形成至少一个角膜反射点；

所述图像传感器组件与所述图像处理组件相连，用于捕获用户眼睛图像，并将所述眼睛图像发送至所述图像处理组件；

所述图像处理组件，用于根据所述眼睛图像获取注视信息。

8.根据权利要求5所述的系统，其特征在于，所述语音识别模块包括语音采集组件和语音处理组件；

所述语音采集组件与所述语音处理组件相连，用于采集用户的语音信息，并将所述语音信息发送至所述语音处理组件；

所述语音处理组件，用户根据所述语音信息获取用户语音中的语义信息。

9.根据权利要求6所述的系统，其特征在于，还包括：通信模块；所述通信模块分别与所述眼球追踪模块、所述语音识别模块、所述人脸识别模块、所述手势识别模块和所述数据处理模块相连，用于将所述注视信息、所述语义信息、所述人脸识别结果和所述手势识别结果转发至所述数据处理模块。

10.根据权利要求9所述的系统，其特征在于，所述通信模块与所述眼球追踪模块、所述语音识别模块、所述人脸识别模块、所述手势识别模块、所述数据处理模块之间分别采用通信接口相连。