CN112433619A - 汽车的人机交互方法、系统、电子设备及计算机存储介质 - Google Patents

Abstract

本申请提供了一种汽车的人机交互方法、系统、电子设备及计算机存储介质。该汽车的人机交互方法，包括：基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵；在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。根据本申请实施例，能够提高人机交互的安全性。

Description

汽车的人机交互方法、系统、电子设备及计算机存储介质

技术领域

本申请属于汽车的人机交互技术领域，尤其涉及一种汽车的人机交互方法、系统、电子设备及计算机存储介质。

背景技术

目前，汽车内的人机交互设计全部是以“实体硬按键 + 触摸屏”为主。不管是实体硬按键还是触摸屏，在进行人机交互时用户必须与之接触，导致用户在驾驶汽车的过程中易分散注意力，安全性较差。

发明内容

本申请实施例提供一种汽车的人机交互方法、系统、电子设备及计算机存储介质，能够提高人机交互的安全性。

第一方面，本申请实施例提供一种汽车的人机交互方法，包括：基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵；在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。

可选的，基于车辆坐标系确定车外目标对象的第二位置信息，包括：基于车辆坐标系，利用车外环境感知传感器确定车外目标对象的第二位置信息。

可选的，车外环境感知传感器包括车外摄像头、激光雷达、毫米波雷达中的至少一种。

可选的，该方法还包括：利用车外环境感知传感器确定车外目标对象的类型信息和速度信息。

可选的，在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令，包括：利用车外环境感知传感器确定候选兴趣目标列表；在识别驾驶员动作的情况下，基于第三转换矩阵和磁吸算法，从候选兴趣目标列表中确定与驾驶员动作最匹配的兴趣目标；在隔空识别驾驶员手势并确认与驾驶员动作最匹配的兴趣目标的情况下，触发驾驶员手势对应的指令。

可选的，利用至少一个车内摄像头隔空识别驾驶员手势。

第二方面，本申请实施例提供了一种汽车的人机交互系统，包括：确定模块，用于基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵；触发模块，用于在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。

可选的，确定模块，用于基于车辆坐标系，利用车外环境感知传感器确定车外目标对象的第二位置信息。

可选的，车外环境感知传感器包括车外摄像头、激光雷达、毫米波雷达中的至少一种。

可选的，确定模块，还用于利用车外环境感知传感器确定车外目标对象的类型信息和速度信息。

可选的，触发模块，用于利用车外环境感知传感器确定候选兴趣目标列表；在识别驾驶员动作的情况下，基于第三转换矩阵和磁吸算法，从候选兴趣目标列表中确定与驾驶员动作最匹配的兴趣目标；在隔空识别驾驶员手势并确认与驾驶员动作最匹配的兴趣目标的情况下，触发驾驶员手势对应的指令。

可选的，利用至少一个车内摄像头隔空识别驾驶员手势。

第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面所示的汽车的人机交互方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的汽车的人机交互方法。

本申请实施例的汽车的人机交互方法、系统、电子设备及计算机存储介质，能够提高人机交互的安全性。该汽车的人机交互方法，基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵；在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。可见，该方法可以隔空识别驾驶员手势触发对应的指令，故能够提高人机交互的安全性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个实施例提供的汽车的人机交互方法的流程示意图。

图2是本申请另一个实施例提供的汽车的人机交互方法的流程示意图。

图3是本申请一个实施例提供的车内摄像头的安装位置和视角示意图。

图4是本申请一个实施例提供的坐标系转换流程示意图。

图5是本申请一个实施例提供的“磁吸”设计和指令触发流程示意图。

图6是本申请一个实施例提供的汽车的人机交互系统的结构示意图。

图7是本申请一个实施例提供的电子设备的结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本申请实施例提供了一种汽车的人机交互方法、装置、设备及计算机存储介质。下面首先对本申请实施例所提供的汽车的人机交互方法进行介绍。

图1示出了本申请一个实施例提供的汽车的人机交互方法的流程示意图。如图1所示，该汽车的人机交互方法包括：S101、基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息。

在一个实施例中，基于车辆坐标系确定车外目标对象的第二位置信息，包括：基于车辆坐标系，利用车外环境感知传感器确定车外目标对象的第二位置信息。

在一个实施例中，车外环境感知传感器包括车外摄像头、激光雷达、毫米波雷达中的至少一种。

在一个实施例中，该方法还包括：利用车外环境感知传感器确定车外目标对象的类型信息和速度信息。

示例性的，如图2所示，图2中“车外环境感知传感器——车载计算平台——车外前向目标定位”部分是自动驾驶技术中的核心，也即感知环节，其主要由外部的传感器，如摄像头、激光雷达、毫米波雷达，利用车载计算平台提供的I/O和算力，经过特定的感知算法、融合算法、时间同步等处理，获得车外目标的位置、速度，以及航迹推算。其中，这部分工作还会涉及到车辆全球导航卫星系统（Global Navigation Satellite System，GNSS）/惯性测量单元（Inertial Measurement Unit，IMU）更车身数据的参与，这部分的输出结果是连续的（>10Hz）、实时的（几十ms级别）目标对象感知结果，包括类型（车辆、行人、摩托等）、位置（方向、基于车辆中心的局部定位）、速度。

S102、基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵。

S103、基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵。

S104、在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。

示例性地，如图2所示，图2中“车内摄像头——车载计算平台——隔空手势识别”部分是需要将车内摄像头安装在车内中部靠后的位置，以此监测驾驶员的肢体动作。或者，采用传统的DMS系统，需保证摄像头广角。对于具体的识别算法，本申请不做限定。在一个实施例中，利用至少一个车内摄像头隔空识别驾驶员手势。车内摄像头的安装位置和视角示意图可如图3所示，安装位置位于后排座位车顶中央，摄像头方法是前向。

图2中“坐标系转换”部分，通过车内摄像头确定驾驶员头部位置，由头部位置测算驾驶员视角，进一步建立驾驶员视角坐标系和车辆坐标系的映射关系，最终将车外目标对象的位置映射到驾驶员视角的坐标系。转换流程如图4所示，通过图4所示流程，建立以下联系：驾驶员人眼观测到的车外目标位置，和车内摄像头观测到的驾驶员手势位置。典型应用举例如下：驾驶员通过肉眼观测到前方有一辆车，并向该目标车辆做出伸手动作。此时，驾驶员知道目标车辆在自身视角下的位置，即：D（人眼观测位置）。车内摄像头捕捉到驾驶员的伸手动作，并得出在摄像头视角下，驾驶员手部的位置，即C（驾驶员手部位置）。车内摄像头在安装和标定过程中已知了O~C坐标转换关系，即M2；车辆环境感知和人眼感知同一对象使得D和O建立联立关系，可推出D~O坐标转换关系，即M1。最终，由M1和M2可得出C~D坐标转换关系，即M3。至此，人眼视角坐标系、车内摄像头视角坐标系、车辆自身坐标系三者针对同一目标的观测均建立转换关系，可实现：驾驶员想要伸手“触碰”眼中的某辆车，通过车内摄像头对驾驶员动作的观测，车辆计算平台知道了驾驶员的意图。

在一个实施例中，在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令，包括：利用车外环境感知传感器确定候选兴趣目标列表；在识别驾驶员动作的情况下，基于第三转换矩阵和磁吸算法，从候选兴趣目标列表中确定与驾驶员动作最匹配的兴趣目标；在隔空识别驾驶员手势并确认与驾驶员动作最匹配的兴趣目标的情况下，触发驾驶员手势对应的指令。

示例性地，图2中的““磁吸”及指令触发”部分，由于观测条件、算法准确性、驾驶员自身动作误差等因素，完全依靠定位转换存在较大误差，会导致判断不准。本实施例提出一种“磁吸”设计，即优先选择一些高概率的兴趣目标（OOI，Object of Interest）作为候选，当驾驶员意图“触碰”这些OOI时，即便存在位置误差，也可通过算法将最合适的OOI进行匹配，并予以声光提示。待驾驶员确认后，触发指令。整个流程如图5所示，通过车外传感器感知得到OOI列表，可以确定OOI的真实目标位置；驾驶员通过“触碰”某目标以及坐标转换，可以确定OOI的推算目标位置；最后，通过磁吸算法选择最合适的OOI，隔空手势识别，触发指令。

在一个实施例中，本申请已在ICVOS1.0的开发阶段进行内部测试，主要测试项目如表1所示。

表 1

图6是本申请一个实施例提供的汽车的人机交互系统的结构示意图，如图6所示，该汽车的人机交互系统，包括：确定模块601，用于基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于第一位置信息和第二位置信息，确定驾驶员视角坐标系和车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和车辆坐标系之间预设的第二转换矩阵和第一转换矩阵，确定摄像头坐标系和驾驶员视角坐标系之间的第三转换矩阵；触发模块602，用于在隔空识别驾驶员手势的情况下，基于第三转换矩阵，触发驾驶员手势对应的指令。

在一个实施例中，确定模块601，用于基于车辆坐标系，利用车外环境感知传感器确定车外目标对象的第二位置信息。

在一个实施例中，车外环境感知传感器包括车外摄像头、激光雷达、毫米波雷达中的至少一种。

在一个实施例中，确定模块601，还用于利用车外环境感知传感器确定车外目标对象的类型信息和速度信息。

在一个实施例中，触发模块602，用于利用车外环境感知传感器确定候选兴趣目标列表；在识别驾驶员动作的情况下，基于第三转换矩阵和磁吸算法，从候选兴趣目标列表中确定与驾驶员动作最匹配的兴趣目标；在隔空识别驾驶员手势并确认与驾驶员动作最匹配的兴趣目标的情况下，触发驾驶员手势对应的指令。

在一个实施例中，利用至少一个车内摄像头隔空识别驾驶员手势。

图6所示装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

图7示出了本申请实施例提供的电子设备的结构示意图。

电子设备可以包括处理器701以及存储有计算机程序指令的存储器702。

具体地，上述处理器701可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit ，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器702可在电子设备的内部或外部。在特定实施例中，存储器702可以是非易失性固态存储器。

在一个实例中，存储器702可以是只读存储器（Read Only Memory，ROM）。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。

处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现上述实施例中的任意一种汽车的人机交互方法。

在一个示例中，电子设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。

通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

另外，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种汽车的人机交互方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种汽车的人机交互方法，其特征在于，包括：

基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；

基于所述第一位置信息和所述第二位置信息，确定所述驾驶员视角坐标系和所述车辆坐标系之间的第一转换矩阵；

基于摄像头坐标系和所述车辆坐标系之间预设的第二转换矩阵和所述第一转换矩阵，确定所述摄像头坐标系和所述驾驶员视角坐标系之间的第三转换矩阵；

在隔空识别驾驶员手势的情况下，基于所述第三转换矩阵，触发所述驾驶员手势对应的指令。

2.根据权利要求1所述的汽车的人机交互方法，其特征在于，基于所述车辆坐标系确定所述车外目标对象的所述第二位置信息，包括：

基于所述车辆坐标系，利用车外环境感知传感器确定所述车外目标对象的所述第二位置信息。

3.根据权利要求2所述的汽车的人机交互方法，其特征在于，所述车外环境感知传感器包括车外摄像头、激光雷达、毫米波雷达中的至少一种。

4.根据权利要求2所述的汽车的人机交互方法，其特征在于，还包括：

利用所述车外环境感知传感器确定所述车外目标对象的类型信息和速度信息。

5.根据权利要求2所述的汽车的人机交互方法，其特征在于，所述在隔空识别驾驶员手势的情况下，基于所述第三转换矩阵，触发所述驾驶员手势对应的指令，包括：

利用所述车外环境感知传感器确定候选兴趣目标列表；

在识别驾驶员动作的情况下，基于所述第三转换矩阵和磁吸算法，从所述候选兴趣目标列表中确定与所述驾驶员动作最匹配的兴趣目标；

在隔空识别所述驾驶员手势并确认与所述驾驶员动作最匹配的兴趣目标的情况下，触发所述驾驶员手势对应的指令。

6.根据权利要求1至5任一项所述的汽车的人机交互方法，其特征在于，利用至少一个车内摄像头隔空识别所述驾驶员手势。

7.一种汽车的人机交互系统，其特征在于，包括：

确定模块，用于基于驾驶员视角坐标系和车辆坐标系，分别确定车外目标对象的第一位置信息和第二位置信息；基于所述第一位置信息和所述第二位置信息，确定所述驾驶员视角坐标系和所述车辆坐标系之间的第一转换矩阵；基于摄像头坐标系和所述车辆坐标系之间预设的第二转换矩阵和所述第一转换矩阵，确定所述摄像头坐标系和所述驾驶员视角坐标系之间的第三转换矩阵；

触发模块，用于在隔空识别驾驶员手势的情况下，基于所述第三转换矩阵，触发所述驾驶员手势对应的指令。

8.根据权利要求7所述的汽车的人机交互系统，其特征在于，所述确定模块，用于基于所述车辆坐标系，利用车外环境感知传感器确定所述车外目标对象的所述第二位置信息。

9.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的汽车的人机交互方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的汽车的人机交互方法。

Images