CN111736699A - 基于车载数字人的交互方法及装置、存储介质 - Google Patents

Abstract

本公开提供了一种基于车载数字人的交互方法及装置、存储介质，其中，该方法包括：获取车内区域的视频流；根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

Description

基于车载数字人的交互方法及装置、存储介质

技术领域

本公开涉及增强现实领域，尤其涉及一种基于车载数字人的交互方法及装置、存储介质。

背景技术

目前，可以在车内放置机器人，在人员进入车内后，通过机器人与车内人员进行交互。但是机器人与车内人员的交互模式比较固定，缺少人性化。

发明内容

本公开提供了一种基于车载数字人的交互方法及装置、存储介质。

根据本公开实施例的第一方面，提供一种基于车载数字人的交互方法，所述方法包括：获取车内区域的视频流；根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域；将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

在一些可选实施例中，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域；根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域；将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

在一些可选实施例中，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画，包括：根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向；生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

在一些可选实施例中，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画包括：响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一；根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一，包括：响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

在一些可选实施例中，所述不同位置信息的优先级顺序包括以下至少之一：对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

在一些可选实施例中，所述根据视频流中的图像，检测上下车的对象的相对位置信息之前，所述方法还包括：基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图；根据所述对象的上下车意图，确定所述上下车的对象。

在一些可选实施例中，所述基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图，包括以下至少之一：响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图；响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。

在一些可选实施例中，所述方法还包括：基于所述视频流中的图像，检测所述上下车的对象的属性信息；根据所述上下车的对象的属性信息，生成并显示所述数字人播报或展示与所述属性信息对应的多媒体信息的动画。

在一些可选实施例中，所述上下车的对象包括以下至少之一：人、宠物；所述对象的属性信息包括以下至少之一：身份信息、性别信息、类别信息；所述多媒体信息包括以下至少之一：表情信息、动作信息、语音信息。

根据本公开实施例的第二方面，提供一种基于车载数字人的交互装置，所述装置包括：获取模块，用于获取车内区域的视频流；相对位置检测模块，用于根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；第一交互模块，用于根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述相对位置检测模块包括：第一确定子模块，用于在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域；第二确定子模块，用于将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

在一些可选实施例中，所述相对位置检测模块包括：第三确定子模块，用于在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域；第四确定子模块，用于根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域；第五确定子模块，用于将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

在一些可选实施例中，所述第一交互模块包括：朝向确定子模块，用于根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向；第一交互子模块，用于生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

在一些可选实施例中，所述第一交互模块包括：第六确定子模块，用于响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一；第二交互子模块，用于根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述第六确定子模块包括：确定单元，用于响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

在一些可选实施例中，所述不同位置信息的优先级顺序包括以下至少之一：对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

在一些可选实施例中，所述装置还包括：上下车意图确定模块，用于基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图；上下车对象确定模块，用于根据所述对象的上下车意图，确定所述上下车的对象。

在一些可选实施例中，所述上下车意图确定模块包括以下至少之一：第七确定子模块，用于响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图；第八确定子模块，用于响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。

在一些可选实施例中，所述装置还包括：属性信息检测模块，用于基于所述视频流中的图像，检测所述上下车的对象的属性信息；第二交互模块，用于根据所述上下车的对象的属性信息，生成并显示所述数字人播报或展示与所述属性信息对应的多媒体信息的动画。

在一些可选实施例中，所述上下车的对象包括以下至少之一：人、宠物；所述对象的属性信息包括以下至少之一：身份信息、性别信息、类别信息；所述多媒体信息包括以下至少之一：表情信息、动作信息、语音信息。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面任一所述的基于车载数字人的交互方法。

根据本公开实施例的第四方面，提供一种基于车载数字人的交互装置，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现第一方面中任一项所述的基于车载数字人的交互方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，通过对车内区域的视频流中的图像进行分析，检测上行车的对象的相对位置信息，并根据相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。通过对视频流中的图像进行检测分析的方式，在有对象上下车的情况下，生成并显示数字人执行相应转向的动画，使得人机交互的方式更加符合人的交互习惯，交互过程更加自然，让人感受到人机交互的温暖，提升乘车乐趣、舒适感和陪护感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种基于车载数字人的交互方法流程图；

图2是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图3是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图4是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图5是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图6是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图7是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图8是本公开根据一示例性实施例示出的另一种基于车载数字人的交互方法流程图；

图9是本公开根据一示例性实施例示出的一种车载数字人的示意图；

图10是本公开根据一示例性实施例示出的一种基于车载数字人的交互装置框图；

图11是本公开根据一示例性实施例示出的一种基于车载数字人的交互装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开实施例提供了一种基于车载数字人的交互方法，可以用于可驾驶的机器设备，例如智能车辆、模拟车辆驾驶的智能车舱等。

如图1所示，图1是根据一示例性实施例示出的一种基于车载数字人的交互方法，包括以下步骤：

在步骤101中，获取车内区域的视频流。

在本公开实施例中，可以通过车载摄像头获取车内区域的视频流。其中，车载摄像头可以设置在中控台上、前风挡玻璃上、车内后视镜上、或者其他可以拍摄到车内区域的任意位置。车内区域包括以下至少之一：驾驶区域、副驾驶区域、后排区域。

在步骤102中，根据视频流中的图像，检测上下车的对象的相对位置信息。

在本公开实施例中，上下车的对象包括以下至少之一：人、宠物。相对位置信息包括第一相对位置信息或者第二相对位置信息，其中，第一相对位置信息是上下车的对象在视频流的图像中的相对位置信息，可以用对象在图像坐标系中的图像坐标区域来表示，第二相对位置信息是上下车的对象与车的相对位置信息，可以用上下车的对象在车内空间坐标系中的车内空间坐标区域表示。

在步骤103中，根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在本公开实施例中，所述数字人是通过软件生成的虚拟形象，可在车上设置的显示设备上显示，其中显示设备可以包括但不限于中控显示屏或车载平板设备。在确定了上下车的对象的相对位置信息后，可以根据该相对位置信息，生成并显示显示设备中显示的数字人执行相应转向的动画，例如，生成并显示数字人从之前的朝向转向上下车的对象所在朝向的动画。

上述实施例中，通过对车内区域的视频流中的图像进行分析，检测上行车的对象的相对位置信息，并根据相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。通过对视频流中的图像进行检测分析的方式，在有对象上下车的情况下，生成并显示数字人执行相应转向的动画，使得人机交互的方式更加符合人的交互习惯，交互过程更加自然，让人感受到人机交互的温暖，提升乘车乐趣、舒适感和陪护感。

在一些可选实施例中，例如图2所示，步骤102中检测上下车的对象在图像中的第一相对位置信息的过程，可以包括：

在步骤201中，在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域。

在本公开实施例中，图像坐标系是视频流中的图像所对应的二维坐标系。在一个示例中，可以通过预先训练好的区域生成网络(Region Proposal Network，RPN)对图像中上下车的对象的至少一个部位进行区域检测，至少一个部位可以包括但不限于脸部、手部，躯干等。通过区域检测，可以确定出上下车的对象的至少一个部位所在的图像坐标区域。

在步骤202中，将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

例如，上下车的对象至少一个部位所在的所述图像坐标区域为图像坐标系中的图像坐标区域1，则将图像坐标区域1作为上下车的对象在所述图像中的所述第一相对位置信息。

上述实施例中，可以通过对上下车的对象进行区域检测，从而确定出上下车的对象的至少一个部位所在的图像坐标区域，并将确定出的图像坐标区域作为第一相对位置，以便后续根据第一相对位置，生成并显示数字人执行相应转向的动画，可用性高。

在一些可选实施例中，例如图3所示，步骤102中检测上下车的对象与车的第二相对位置信息的过程，可以包括：

在步骤301中，在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域。

在本公开实施例中，可以采用与步骤201相同的方式确定上下车的对象至少一个部位所在的图像坐标区域，在此不再赘述。

在步骤302中，根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域。

在本公开实施例中，车内空间坐标区域是在车内空间坐标系中的坐标区域，车内空间坐标系是覆盖了车内区域的三维空间坐标系。

在本公开实施例中，预先确定了图像坐标和车内空间坐标之间的映射关系，在确定了上下车的对象至少一个部位所在的所述图像坐标区域后，可以根据上述映射关系，确定上下车的对象对应的车内空间坐标区域。

在步骤303中，将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

例如，上下车的对象至少一个部位所在的所述图像坐标区域为图像坐标系中的图像坐标区域1，根据映射关系，图像坐标区域1对应的车内空间坐标区域为驾驶区域，则将驾驶区域作为上下车的对象与车的第二相对位置信息。

上述实施例中，可以在确定出上下车的对象的至少一个部位所在的图像坐标区域的基础上，根据图像坐标和车内空间坐标之间的映射关系，确定上下车的对象对应的车内空间坐标区域，将其作为上下车的对象与车的第二相对位置，以便后续根据第二相对位置，生成并显示数字人执行相应转向的动画，可用性高。

在一些可选实施例中，例如图4所示，步骤103可以包括：

在步骤401中，根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向。

在本公开实施例中，预先建立了图像中位置信息和数字人的朝向之间的映射关系，例如，图像中的属于区域位置1的位置信息对应的数字人的朝向为西南朝向，属于区域位置2的位置信息对应的数字人的朝向为东南朝向等，根据这个映射关系，在确定了相对位置信息后，可以确定出对应的目标朝向。

在步骤402中，生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

在本公开实施例中，显示设备上已经显示了数字人，根据确定的目标朝向，可以生成让数字人转向目标朝向的动画，并显示该动画。例如，数字人之前是朝向正南方向的，目标朝向为西南方向，生成并显示的动画为数字人由正南方向转向西南方向的动画。

上述实施例中，根据图像中位置信息和数字人的朝向之间的映射关系，可以确定与上下车对象的相对位置信息对应的目标朝向，生成并显示数字人转向所述目标朝向的动画。从而在有对象上下车的情况下，让数字人转向对应的目标朝向，使得人机交互的方式更加符合人的交互习惯，交互过程更加自然，让人感受到人机交互的温暖，提升乘车乐趣、舒适感和陪护感。

在一些可选实施例中，例如图5所示，步骤103可以包括：

在步骤501中，响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一。

在本公开实施例中，在检测到的上下车的对象的相对位置信息有多个的情况下，例如同时有多个对象上车，或者下车，或者有的对象上车、有的对象下车，可以在多个相对位置信息中确定其中之一。

在步骤502中，根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在本公开实施例中，根据在多个相对位置信息中确定的其中之一的相对位置信息，来生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

例如，同时有多个对象上车，则生成并显示数字人执行转向目标朝向的动画，该目标朝向是在多个相对位置信息中的其中之一的相对位置信息所对应的朝向。

在一些可选实施例中，步骤501包括：

响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

在本公开实施例中，不同位置信息的优先级顺序包括以下至少之一：

对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

其中，根据上述优先级顺序，如果多个相对位置信息中至少包括驾驶区域的位置信息，则驾驶区域的位置信息的优先级高于其他区域的位置信息的优先级。如果多个相对位置信息中不包括驾驶区域的位置信息，但是包括副驾驶区域和后排区域的位置信息，那么副驾驶区域的位置信息的优先级高于后排区域的位置信息的优先级。

专用座椅可以包括但不限于儿童专用座椅、其他人士专用座椅等，如果车内安装了专用座椅，可以认为专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

根据上述优先级顺序，可以在多个相对位置信息中，确定优先级最高的相对位置信息，从而将其作为确定出的多个相对位置信息中的其中之一，后续根据这个相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

上述实施例中，在检测到的上下车的对象的相对位置信息的数目为多个的情况下，可以根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息，从而根据确定的相对位置信息，确定数字人对应的目标朝向，生成并显示数字人转向目标朝向的动画，从而在上下车的对象为多个的情况下，让数字人转向优先级高的对象，使得人机交互的方式更加符合人的交互习惯，交互过程更加自然，让人感受到人机交互的温暖，提升乘车乐趣、舒适感和陪护感。

在一些可选实施例中，例如图6所示，在执行步骤102之前，该方法还可以包括：

在步骤104中，基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图。

在本公开实施例中，具备时序关系的多帧图像可以是在时序上相邻的多帧图像。

在步骤105中，根据所述对象的上下车意图，确定所述上下车的对象。

在本公开实施例中，根据对象的上车意图，确定该对象是上车的对象，根据对象的下车意图，可以确定该对象是下车的对象。

在一些可选实施例中，例如图7所示，步骤104可以包括以下至少之一：

在步骤601中，响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图。

在本公开实施例中，如果在多帧图像中，相距任意一个车门的距离小于预设距离的范围内，检测到有对象的至少一个部位，例如手部、头部、腿部等，可以确定对象的下车意图。例如，先检测任意一个车内所对应的像素区域，在距离这个像素区域预设距离的范围内，检测到有某个对象的手部或者头部或者腿部，那么可以确定该对象的下车意图。

在步骤602中，响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。

在本公开实施例中，如果在多帧图像中，先检测任意一个车内所对应的像素区域，在距离这个像素区域预设距离的范围内，未检测到对象的任何部位，说明目前未有对象通过该车门上车，同时根据多帧图像确定车门处于开启状态，那么可以认为有对象希望通过打开该车门进入车内，此时可以确定对象的上车意图。

在上述实施例中，为了避免误判，还可以结合车上的传感器的检测结果进一步确定对象的上下车意图。传感器包括但不限于车门传感器、座椅上的压力传感器等。

在一个示例中，车门传感器显示车门处于解锁状态，座椅上安装的压力传感器显示有对象正处于座椅上，此时如果在多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，那么可以确定该对象的下车意图。

在另一个示例中，车门传感器显示车门处于解锁状态，座椅上安装的压力传感器显示没有对象处于座椅上，此时如果在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，那么可以确定对象的上车意图。

上述实施例中，可以结合视频流中具备时序关系的多帧图像，确定对象的上下车意图，从而确定上下车的对象，以便后续生成并显示数字人执行转向的动画，可用性高。

在一些可选实施例中，例如图8所示，上述方法还可以包括：

在步骤106中，基于所述视频流中的图像，检测所述上下车的对象的属性信息。

在本公开实施例中，通过对视频流中的图像进行人脸识别，提取出上下车的对象的人脸特征，通过将提取出的人脸特征与预存的人脸特征进行比对，确定比对结果，从而可以确定上下车的对象的属性信息，对象的属性信息包括以下至少之一：身份信息、性别信息、类别信息。其中，身份信息用于指示上下车的对象的具体身份，例如张三、李四，性别信息用于指示上下车的对象的性别，例如男、女，类型信息用于指示上下车的对象的类型，例如类型属于大人、小孩还是宠物。

在步骤107中，根据所述上下车的对象的属性信息，生成并显示所述数字人播报或展示与所述属性信息对应的多媒体信息的动画。

在本公开实施例中，多媒体信息包括以下至少之一：表情信息、动作信息、语音信息。

在一个示例中，上下车的对象的属性信息包括身份信息为张三，性别信息为女，类型信息为大人，则可以在显示设备上生成并显示与该身份信息对应的数字人，例如图9所示，进一步地，生成并显示所述数字人播报或展示与所述属性信息对应的表情、动作、语音至少之一的动画。

例如，数字人可以与车内人员聊天，通过包括语音、表情、动作至少之一的动画向车内人员问好，“上午好，张三”。

如果身份信息指示该对象首次上车，可以结合该人员的性别信息和类别信息中的至少一项，进行播报或通过展示动画来问好，例如“早上好，女士”。

在另一个示例中，数字人可以自动通过播报动画来询问是否需要介绍车况等信息，如果车内人员回答“是”，数字人可以介绍车况，如果车内人员回答或“否”，则数字人可以进入待机状态，数字人可以通过语音、动作、表情至少之一的动画，表示自己进入待机状态。

上述实施例中，通过检测得到的上下车的对象的属性信息，生成并显示数字人播报或展示与属性信息对应的多媒体信息的动画，使得数字人与车内人员的交互更加多模式化，提升了数字人的智能化程度。

在一个示例中，同时有多个对象下车，确定多个相对位置信息中优先级最高的相对位置信息为驾驶区域的位置信息，那么根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定驾驶区域的位置信息对应的目标朝向为西南朝向，生成并显示车上设置的显示设备中显示的数字人转向西南朝向的动画。进一步地，还可以结合上下车的对象的属性信息，这里具体指驾驶区域下车的对象的属性信息，生成并显示数字人播报，例如数字人可以自动播报“再见”或者“休息一下”的语音，和/或作出“byebye”的表情或动作，或者还可以展示与该对象的属性信息对应的表情信息、动作信息、语音信息至少之一的动画。

在另一个示例中，同时有多个对象上车，确定多个相对位置信息中优先级最高的相对位置信息包括副驾驶区域的位置信息，那么根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定副驾驶区域的位置信息对应的目标朝向为西东南朝向，生成并显示车上设置的显示设备中显示的数字人转向东南朝向的动画。进一步地，还可以结合上车的对象的属性信息，这里可以指副驾驶区域上车的对象的属性信息，生成并显示数字人播报，例如数字人可以自动播报“欢迎你，某某”的语音，和/或作出“鼓掌欢迎”的表情或动作，或者还可以展示与该对象的属性信息对应的表情信息、动作信息、语音信息的动画，例如“欢迎某某”的动画。

在另一个示例中，如果只有一个对象上车或下车，那么可以确定其相对位置信息，进而确定与该相对位置信息对应的目标朝向，生成并显示数字人转向该目标朝向的动画。当然，在该对象上车或下车的情况下，可以生成并显示数字人播报或展示与所述属性信息对应的多媒体信息的动画。例如，对象是宠物，播报“欢迎你，puppy”等。

上述实施例中，人机交互的方式更加符合人的交互习惯，交互过程更加自然，让人感受到人机交互的温暖，提升乘车乐趣、舒适感和陪护感。

与前述方法实施例相对应，本公开还提供了装置的实施例。

如图10所示，图10是本公开根据一示例性实施例示出的一种基于车载数字人的交互装置框图，装置包括：获取模块710，用于获取车内区域的视频流；相对位置检测模块720，用于根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；第一交互模块730，用于根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述相对位置检测模块包括：第一确定子模块，用于在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域；第二确定子模块，用于将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

在一些可选实施例中，所述相对位置检测模块包括：第三确定子模块，用于在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域；第四确定子模块，用于根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域；第五确定子模块，用于将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

在一些可选实施例中，所述第一交互模块包括：朝向确定子模块，用于根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向；第一交互子模块，用于生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

在一些可选实施例中，所述第一交互模块包括：第六确定子模块，用于响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一；第二交互子模块，用于根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

在一些可选实施例中，所述第六确定子模块包括：确定单元，用于响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

在一些可选实施例中，所述不同位置信息的优先级顺序包括以下至少之一：对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

在一些可选实施例中，所述装置还包括：上下车意图确定模块，用于基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图；上下车对象确定模块，用于根据所述对象的上下车意图，确定所述上下车的对象。

在一些可选实施例中，所述上下车意图确定模块包括以下至少之一：第七确定子模块，用于响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图；第八确定子模块，用于响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。

在一些可选实施例中，所述装置还包括：属性信息检测模块，用于基于所述视频流中的图像，检测所述上下车的对象的属性信息；第二交互模块，用于根据所述上下车的对象的属性信息，生成并显示所述数字人播报或展示与所述属性信息对应的多媒体信息的动画。

在一些可选实施例中，所述上下车的对象包括以下至少之一：人、宠物；所述对象的属性信息包括以下至少之一：身份信息、性别信息、类别信息；所述多媒体信息包括以下至少之一：表情信息、动作信息、语音信息。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开实施例还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述任一的基于车载数字人的交互方法。

在一些可选实施例中，本公开实施例提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的基于车载数字人的交互方法的指令。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

本公开实施例还提供了一种基于车载数字人的交互装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一项所述的基于车载数字人的交互方法。

图11为本申请实施例提供的一种基于车载数字人的交互装置的硬件结构示意图。该基于车载数字人的交互装置810包括处理器811，还可以包括输入装置812、输出装置813和存储器814。该输入装置812、输出装置813、存储器814和处理器811之间通过总线相互连接。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

在本公开实施例中，输出装置813包括显示设备8131和其他输出设备8132，其他输出设备8132可以包括但不限于音频输出设备，数字人是通过显示设备8131进行显示的，数字人执行相应转向动作的动画同样是通过显示设备8131来显示。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图11仅仅示出了一种基于车载数字人的交互装置的简化设计。在实际应用中，基于车载数字人的交互装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的基于车载数字人的交互装置都在本申请的保护范围之内。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (14)

1.一种基于车载数字人的交互方法，其特征在于，包括：

获取车内区域的视频流；

根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；

根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

2.根据权利要求1所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：

在所述图像对应的图像坐标系中，确定所述上下车的对象的至少一个部位所在的图像坐标区域；

将所述图像坐标区域作为所述上下车的对象在所述图像中的所述第一相对位置信息。

3.根据权利要求1所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息，包括：

在所述图像对应的图像坐标系中，确定所述上下车的对象至少一个部位所在的图像坐标区域；

根据图像坐标和车内空间坐标之间的映射关系，确定所述上下车的对象至少一个部位所在的所述图像坐标区域对应的车内空间坐标区域；

将所述车内空间坐标区域作为所述上下车的对象与车的所述第二相对位置信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画，包括：

根据预先建立的图像中位置信息和数字人的朝向之间的映射关系，确定与所述相对位置信息对应的目标朝向；

生成并显示所述车上设置的显示设备中显示的数字人转向所述目标朝向的动画。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画，包括：

响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一；

根据确定的所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

6.根据权利要求5所述的方法，其特征在于，所述响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，确定所述多个相对位置信息中的其中之一，包括：

响应于检测到的上下车的对象的相对位置信息为多个上下车的对象的多个相对位置信息，根据预先确定的不同位置信息的优先级顺序，确定所述多个相对位置信息中优先级最高的相对位置信息。

7.根据权利要求6所述的方法，其特征在于，所述不同位置信息的优先级顺序包括以下至少之一：

对应驾驶区域的位置信息的优先级，高于对应副驾驶区域的位置信息的优先级；

对应前排区域的位置信息的优先级，高于对应后排区域的位置信息的优先级；

对应专用座椅的位置信息的优先级，高于对应非专用座椅的位置信息的优先级。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据视频流中的图像，检测上下车的对象的相对位置信息之前，所述方法还包括：

基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图；

根据所述对象的上下车意图，确定所述上下车的对象。

9.根据权利要求8所述的方法，其特征在于，所述基于所述视频流中具备时序关系的多帧图像，确定对象的上下车意图，包括以下至少之一：

响应于在所述多帧图像中与车门距离小于预设距离的范围内检测到对象的至少一个部位，确定对象的下车意图；

响应于在所述多帧图像中与车门距离小于预设距离的范围内未检测到对象的任何部位且所述车门处于开启状态，确定对象的上车意图。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

基于所述视频流中的图像，检测所述上下车的对象的属性信息；

根据所述上下车的对象的属性信息，生成并显示所述数字人播报或展示与所述属性信息对应的多媒体信息的动画。

11.根据权利要求10所述的方法，其特征在于，所述上下车的对象包括以下至少之一：人、宠物；

所述对象的属性信息包括以下至少之一：身份信息、性别信息、类别信息；

所述多媒体信息包括以下至少之一：表情信息、动作信息、语音信息。

12.一种基于车载数字人的交互装置，其特征在于，所述装置包括：

获取模块，用于获取车内区域的视频流；

相对位置检测模块，用于根据视频流中的图像，检测上下车的对象的相对位置信息，所述相对位置信息包括：所述上下车的对象在所述图像中的第一相对位置信息或者所述上下车的对象与车的第二相对位置信息；

第一交互模块，用于根据所述相对位置信息，生成并显示所述车上设置的显示设备中显示的数字人执行相应转向的动画。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的基于车载数字人的交互方法。

14.一种基于车载数字人的交互装置，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1-11中任一项所述的基于车载数字人的交互方法。

Images