CN107640159B

CN107640159B - 一种自动驾驶人机交互系统及方法

Info

Publication number: CN107640159B
Application number: CN201710659925.0A
Authority: CN
Inventors: 孙伟
Original assignee: Zhejiang Geely Holding Group Co Ltd; Geely Automobile Research Institute Ningbo Co Ltd
Current assignee: Zhejiang Geely Holding Group Co Ltd; Geely Automobile Research Institute Ningbo Co Ltd
Priority date: 2017-08-04
Filing date: 2017-08-04
Publication date: 2019-12-24
Anticipated expiration: 2037-08-04
Also published as: CN107640159A

Abstract

本发明公开了一种自动驾驶人机交互系统及方法，所述系统包括：信息预设模块用于存储与系统相关的预设信息；第一判断模块用于判断当前车辆条件是否满足预设客观条件；第二判断模块用于判断系统是否允许显示出激活提示信息；第三判断模块用于判断是否接收到主观允许指令；信息处理模块用于在人机交互模块激活后，根据所述预设信息确认当前人机交互级别，获取车辆相关信息，以及检测操作者的输入指令；人机交互模块用于根据选取的人机交互级别，结合车辆相关信息使车辆自动作出反应动作，或者综合车辆相关信息和操作者的输入指令使车辆作出反应动作。本发明在保证系统可用性的同时，更加智能化地满足自动驾驶安全的需要。

Description

一种自动驾驶人机交互系统及方法

技术领域

本发明涉及汽车智能驾驶领域，尤其涉及一种自动驾驶人机交互系统及方法。

背景技术

随着车辆技术的发展，自动驾驶汽车已经逐步得到了生产和应用。其中，高度自动驾驶技术依靠深度整合的传感系统、高精度环境识别系统、先进的人工智能系统及高强度的安全系统，协作完成；使自动车道保持、自动车辆跟随、自动变换车道得以实现；整合的高度自动驾驶技术，可帮助驾驶者在驾驶过程中“解放双手”、“解放双脚”和“解放双眼”，以提高驾驶者在车内的自由度，提升出行的安全与效率。

现有的自动驾驶系统中，SAE L3级自动驾驶要求驾驶员在环，并在自动驾驶系统不能实施控制的时候及时请求驾驶员接管驾驶动作；SAE L4级自动驾驶系统要求备份系统作为自动驾驶系统的备用。

目前，现有技术中暂无针对高度自动驾驶汽车的人机交互方案。专利CN106080393A公开了一种自动驾驶辅助显示系统，含人机交互界面，但主要为解决人机界面的显示问题、显示元素与界面，为驾驶员提供直观的车辆行驶状态，并未涉及自动驾驶的人机交互策略及不同场景下的应对方式。

因此驾驶员与自动驾驶系统之间的人机交互方案至关重要，不仅影响自动驾驶系统的可用性、更影响系统的安全性。

发明内容

为了解决上述技术问题，本发明提出了一种自动驾驶人机交互系统及方法。

本发明是以如下技术方案实现的：

第一方面提供了一种自动驾驶人机交互系统，包括：

信息预设模块，用于存储与系统相关的预设信息；

第一判断模块，用于判断当前车辆条件是否满足预设客观条件，若是，则根据所述预设信息发出激活指令；

第二判断模块，用于在当前车辆条件满足预设客观条件的情况下，判断系统是否允许显示出激活提示信息；若否，则触发第一判断模块进行再次判断；

第三判断模块，用于在系统允许显示出激活提示信息的情况下，判断是否接收到主观允许指令，若是，则激活人机交互模块；

信息处理模块，用于在人机交互模块激活后，根据所述预设信息确认当前人机交互级别，获取车辆相关信息，以及检测操作者的输入指令；

所述人机交互模块，用于根据选取的人机交互级别，结合车辆相关信息使车辆自动作出反应动作，或者综合车辆相关信息和操作者的输入指令使车辆作出反应动作。

进一步地，还包括：

显示模块，用于显示待确认信息，所述待确认信息包括激活提示信息和当前人机交互的交互级别信息。

进一步地，所述第一判断模块包括：

位置检测单元，用于检测获取的当前位置是否处于预设区域范围内；

第一状态检测单元，用于检测当前感知装置的工作状态是否满足人机交互模块开启条件，所述感知装置包括摄像头和毫米波雷达；

第二状态检测单元，用于检测当前执行装置的工作状态是否满足人机交互模块开启条件，所述执行装置包括底盘控制器和转向控制器；

第三状态检测单元，用于检测主控制装置的工作状态是否满足人机交互模块开启条件。

进一步地，还包括主观抑制模块，所述主观抑制模块包括：

时间抑制单元，用于延迟发出主观允许指令的时间；

区域抑制单元，用于延后发出主观允许指令的位置；

综合抑制单元，用于根据识别交通标示或检测驾驶员语音信息推迟主观允许指令的发出。

进一步地，所述交互级别包括第一级交互和第二级交互，

所述第一级交互为不涉及车辆动力学控制的操作级别，所述第二级交互为涉及车辆动力学控制的操作级别。

进一步地，所述车辆相关信息包括：当前车辆周边环境信息，所述系统下一步决策信息，以及所述人机交互模块的置信度；

所述输入指令的输出形式包括语音输出或手势输出；所述输入指令对应的内容包括对车辆感知或决策结果的修正内容、对车辆感知或决策结果的确认内容。

进一步地，还包括后台策略库，用于更新所述系统的感知或决策的控制信息。

进一步地，还包括退出交互模块，用于判断所述人机交互模块是否达到退出条件，若是，则所述人机交互模块退出；

所述退出条件包括操作者请求退出，

或者获取的当前位置没有位于预设区域范围内，

或者感知装置的工作状态不能满足人机交互模块开启条件，

或者当前执行装置的工作状态不能满足人机交互模块开启条件，

或者主控制装置的工作状态不能满足人机交互模块开启条件。

第二方面，提供了一种利用上述系统进行自动驾驶人机交互方法，包括：

S101.根据第一判断模块判断当前车辆条件是否满足预设客观条件，若是，则根据预设信息发出激活指令，且执行步骤S102；

S102.通过第二判断模块判断，是否根据所述激活指令显示出激活提示信息；若是，则执行步骤S103，若否，则执行步骤S101；

S103.利用第三判断模块判断是否接收到主观允许指令，若是，则执行步骤S104；

S104.在人机交互模块激活后，信息处理模块根据所述预设信息确认当前人机交互级别，获取车辆相关信息，以及检测操作者的输入指令；

S105.依据选取的人机交互级别，结合车辆相关信息使车辆自动作出反应动作，或者综合车辆相关信息和操作者的输入指令使车辆作出反应动作。

进一步地，还包括：

S106.利用退出交互模块判断人机交模块是否达到退出条件，若是，则所述人机交互模块退出，若否，则更新后台策略库。

本发明通过对客观条件的判断，以及主观条件的判断，人性化地进行人机交互模式开启的选择，并且，人机交互具有不同的级别以适应不同的驾驶员，驾驶员可以根据自己的需求或能力进行不同的操作，满足不同驾驶员对高度自动驾驶系统的适应能力，降低驾驶员的学习强度，提高可用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是实施例一提供的一种自动驾驶人机交互系统的系统框图；

图2是实施例一提供的第一判断模块的组成框图；

图3是实施例一提供的主观抑制模块的组成框图；

图4是实施例二提供的一种自动驾驶人机交互方法的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一：

本实施例提供了一种自动驾驶人机交互系统，如图1所示，包括：

信息预设模块110，用于存储与系统相关的预设信息；

第一判断模块120，用于判断当前车辆条件是否满足预设客观条件，若是，则根据所述预设信息发出激活指令；

具体地，如图2所示，所述第一判断模块120包括：

位置检测单元121，用于检测获取的当前位置是否处于预设区域范围内；其中，所述预设区域范围以高精像素、矢量、函数结构体、经纬度信息等参数形式存储在电子地图中；

第一状态检测单元122，用于检测当前感知装置的工作状态是否满足人机交互模块开启条件；满足开启的条件包括传感装置无故障、且传感装置检测到的信息质量良好，如摄像头图像成像的曝光度不受外围光源影响过大等，；反之则不满足开启条件。所述感知装置包括摄像头、红外传感器或毫米波雷达；所述摄像头和红外传感器安装在车辆上，用来捕捉周围车辆、行人、交通灯从而控制车辆规避障碍物；所述毫米波雷达用来计算车车之间，或车物之间，或车人之间的前后距离或周边距离。

第二状态检测单元123，用于检测当前执行装置的工作状态是否满足人机交互模块开启条件；满足开启的条件包括各执行装置无故障、且可以维持一定时间的正常工作，如发动机没有过热、胎压监测正常等；反之则不满足开启条件。所述执行装置包括动力驱动系统、底盘控制器和转向控制器；

第三状态检测单元124，用于检测主控制装置的工作状态是否满足人机交互模块开启条件；满足开启的条件包括主控制装置无故障、且可预计的时间内可以工作正常，如主控制装置的计算量没有超出负荷、散热量没有超出负荷等；反之则不满足开启条件。

需要说明的是，与所述预设客观条件对应的检测单元不限于上述检测单元，还包括与其他相关的客观条件对应的检测单元。

系统中的第二判断模块130，用于在当前车辆条件满足预设客观条件的情况下，判断系统是否允许显示出激活提示信息；若否，则触发第一判断模块进行再次判断；

需要说明的是，在系统发出激活指令后，可以选择使该指令以提示信息的形式显示出来，也可以不显示出来，操作者可以根据自己的需要进行相应的选择。若操作者选择不显示激活提示信息，此时系统将返回再次触发第一判断模块，进行当前车辆条件是否满足预设客观条件的判断。

进一步地，第三判断模块140，用于在系统允许显示出激活提示信息的情况下，判断是否接收到主观允许指令，若是，则激活人机交互模块；

需要说明的是，所述主观允许指令为操作者对激活提示信息的操作为同意将所述人机交互模块开启；若操作者不同意开启的情况下，则之后接收到的则是主观不允许指令，此时，人机交互模块将不被开启。

系统中的信息处理模块150，用于在人机交互模块激活后，根据所述预设信息确认当前人机交互级别，获取车辆相关信息，以及检测操作者的输入指令；

其中，所述交互级别包括第一级交互和第二级交互，所述第一级交互为不涉及车辆动力学控制的操作级别，所述第二级交互为涉及车辆动力学控制的操作级别。具体地，不涉及车辆动力学控制的操作比如是空调操作或娱乐设置的操作等，适用于有经验的驾驶员(高级用户)，能够自行控制涉及动力学控制方面的操作；对应地，涉及车辆动力学控制的操作适用于驾车技术相对一般或并不熟悉的驾驶员，则该驾驶员通过选择第二级交互使人机交互模块的识别和检测自行进行车辆的动力学操作，其中，涉及车辆动力学控制的操作比如是变道操作、加速操作等。

进一步说明的是，对于交互级别也可以是仅显示信息或仅进行报警，其余均由操作者自行进行控制。

进一步地，所述人机交互模块160，用于根据选取的人机交互级别，结合车辆相关信息使车辆自动作出反应动作，或者综合车辆相关信息和操作者的输入指令使车辆作出反应动作。

进一步地，还包括：显示模块170，用于显示待确认信息，所述待确认信息包括激活提示信息和当前人机交互的交互级别信息；并且还用于显示的显示内容至少包括：所述车辆周边环境信息包括检测到的车道线、周边车辆及相关位置、道路交通标志、障碍物等；所述系统下一步决策信息包括即将进行的制动信息、即将进行的转向信息或即将进行的提速信息等；所述人机交互模块的置信度包括检测目标的置信度、逻辑决策的置信度等。其中，以上显示内容可以根据需要选择显示部分或全部，并在每个时序中更新显示相关信息。

作为一种优选地实施方式，还包括主观抑制模块180，如图3所示，所述主观抑制模块包括：

时间抑制单元181，用于延迟发出主观允许指令的时间；具体地，所述时间抑制单元进行激活或开启人机交互模块的时间的调节，比如，在显示激活提示信息后，操作者并不想在此刻开启人机交互模块，此时则可以调节设置到下一点火周期才进行开启，使其满足操作者的需求。

区域抑制单元182，用于延后发出主观允许指令的位置；具体地，所述时间抑制单元进行激活或开启人机交互模块的位置的调节，比如，在显示激活提示信息后，操作者并不想在该位置开启人机交互模块，此时则可以调节设置到下一路段才进行开启，使其满足操作者的需求。

综合抑制单元183，用于根据识别交通标示或检测驾驶员语音信息推迟主观允许指令的发出；具体地，所述综合抑制单元能够根据操作者的其他需求进行激活或开启人机交互模块的位置的调节，比如，到达下一交通标示(下一个红绿灯处或下一个拐弯路口)、或者知道驾驶员语音要求等才进行激活。

进一步说明的是，进行主观抑制的单元并不限于上述的抑制单元，还可以是其他相关的主观进行抑制的单元，并且，综合抑制单元中的抑制条件也不仅仅限于交通标示或驾驶员的语音信息，还可以是其他相关的抑制信息。

具体地，所述车辆相关信息包括：当前车辆周边环境信息，所述系统下一步决策信息，以及所述人机交互模块的置信度；举例说明，所述车辆周边环境信息包括检测到的车道线、周边车辆及相关位置、道路交通标志、障碍物等；所述系统下一步决策信息包括即将进行的制动信息、即将进行的转向信息或即将进行的提速信息等；所述人机交互模块的置信度包括检测目标的置信度或逻辑决策的置信度等；

其中，置信度的显示是为了给予有经验的驾驶员(高级用户)参考信息，辅助有经验的驾驶员判断系统的工作状态或优化自动驾驶系统；例如当有经验的驾驶员(因忽视某些因素)判断向左变道为最优的行驶动作时，而系统提示决策向右侧变道有99％概率(即较高的正确判断率)可实现最优的行驶任务，有助于驾驶员修正主观的判断而进一步关注周边的客观情况；或另一方面，当前方真实存在障碍物，而系统判断障碍物存在的概率为45％(较低的正确判断率)，驾驶员确认障碍物的存在(即将系统判断率确认为100％)，则相关场景、驾驶员的反馈等信息可以作为优化系统的数据。

其中，所述输入指令的输出形式包括语音输出或手势输出；所述输入指令对应的内容包括对车辆感知或决策结果的修正内容、对车辆感知或决策结果的确认内容；具体地，车辆感知结果的修正内容包括相关动作(制动、加速、报警等)的误触发取消等；对决策结果的确认内容包括置信度提高、检测目标的认可等；

进一步地，还包括后台策略库190，用于更新所述系统的感知或决策的控制信息；时时的更新，对于驾驶员来说能够降低其学习强度，提高所述系统的可用性。

进一步地，还包括退出交互模块200，用于判断所述人机交互模块是否达到退出条件，若是，则所述人机交互模块退出；

具体地，所述退出条件包括操作者请求退出，

或者获取的当前位置没有位于预设区域范围内，

或者感知装置的工作状态不能满足人机交互模块开启条件，

其中，主要存在上述退出条件中的一个条件，则所述人机交互模块就将退出。

需要说明的是，所述的主观是从操作者的角度来说的，对应地，所述的客观是从系统或相应模块的角度来说的。

实施例二：

本实施例提供了一种利用实施例一所述系统进行自动驾驶人机交互的方法，如图4所示，包括：

S101.根据第一判断模块判断当前车辆条件是否满足预设客观条件，若是，则根据预设信息发出激活指令，且执行步骤S102，若否，重新从初始化开始对当前车辆条件进行判断；

S102.通过第二判断模块判断是否根据激活指令显示出激活提示信息；若是，则执行步骤S103，若否，则执行步骤S101；

S103.利用第三判断模块判断判断是否接收到主观允许指令，若是，则激活人机交互模块，且执行步骤S104，

S104.信息处理模块根据所述预设信息确认当前人机交互级别，获取车辆相关信息，以及检测操作者的输入指令；

进一步地，还包括：

综上所述，本发明通过对客观条件的判断，以及主观条件的判断，人性化地进行人机交互模式开启的选择，并且，人机交互具有不同的级别以适应不同的驾驶员，驾驶员可以根据自己的需求或能力进行不同的操作，满足不同驾驶员对高度自动驾驶系统的适应能力，降低驾驶员的学习强度，提高可用性。

本发明借助交互界面，使驾驶员通过对系统的感知或决策的控制信息进行自行修正，避免系统的误工作，进而能够不断提升人机交互的交互准确性，使用户体验度得到提升。

总之，本发明在保证系统可用性的同时，更加智能化地满足自动驾驶安全的需要。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本发明中的技术方案中的各个模块均可通过计算机终端或其它设备实现。所述计算机终端包括处理器和存储器。所述存储器用于存储本发明中的程序指令/模块，所述处理器通过运行存储在存储器内的程序指令/模块，实现本发明相应功能。

本发明中的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

本发明中所述模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。可以根据实际的需要选择其中的部分或者全部模块/单元来达到实现本发明方案的目的。

另外，在本发明各个实施例中的各模块/单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种自动驾驶人机交互系统，包括信息预设模块，用于存储与系统相关的预设信息，其特征在于，还包括：

2.根据权利要求1所述的系统，其特征在于，还包括：

3.根据权利要求1所述的系统，其特征在于，所述第一判断模块包括：

4.根据权利要求1所述的系统，其特征在于，还包括主观抑制模块，所述主观抑制模块包括：

时间抑制单元，用于延迟发出主观允许指令的时间；

区域抑制单元，用于延后发出主观允许指令的位置；

5.根据权利要求1所述的系统，其特征在于，

所述交互级别包括第一级交互和第二级交互，

6.根据权利要求1所述的系统，其特征在于，

所述车辆相关信息包括：当前车辆周边环境信息，所述系统下一步决策信息，以及所述人机交互模块的置信度；

7.根据权利要求6所述的系统，其特征在于，

还包括后台策略库，用于更新所述系统的感知或决策的控制信息。

8.根据权利要求1或7所述的系统，其特征在于，

还包括退出交互模块，用于判断所述人机交互模块是否达到退出条件，若是，则所述人机交互模块退出；

所述退出条件包括操作者请求退出，

或者获取的当前位置没有位于预设区域范围内，

或者感知装置的工作状态不能满足人机交互模块开启条件，

9.一种利用权利要求1-8任一所述系统进行自动驾驶人机交互方法，其特征在于，包括：

10.根据权利要求9所述的方法，其特征在于，还包括：

S106.利用退出交互模块判断人机交互模块是否达到退出条件，若是，则所述人机交互模块退出，若否，则更新后台策略库。