CN114296680B - 基于面部图像识别的虚拟试驾装置、方法和存储介质 - Google Patents

Abstract

本公开涉及基于面部图像识别的虚拟试驾装置、方法和存储介质。该虚拟试驾装置包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在存储器上的指令，以执行以下处理：获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测该面部图像中包括的试驾用户的面部信息；获取该实车试驾过程中在试驾车辆内的对话，并识别该对话中的与预定关键词匹配的对话关键词；根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

Description

基于面部图像识别的虚拟试驾装置、方法和存储介质

技术领域

本公开涉及虚拟试驾领域，并且具体地，涉及基于面部图像识别的虚拟试驾。

背景技术

车辆经销商店面(例如4S店)为了销售车辆，通常会面向车辆的消费者安排车辆试驾活动，以使有意购买车辆的消费者在购买车辆之前能够更好地体验车辆的性能。传统的试驾可以由车辆经销商店面的车辆销售人员陪同消费者(以下有时也称为“试驾用户”)基于事先安排好的路线进行实车试驾。随着虚拟驾驶技术的发展，可以将模拟车辆与大屏组合或连接到可人机交互的显示设备等，让试驾用户在虚拟的驾驶环境中感受到接近真实效果的视觉、听觉和体感的汽车驾驶体验。将传统的实车试驾方式与虚拟驾驶技术相结合，可以实现对实车试驾的有效补充和延伸，从而提升试驾用户的体验感。

发明内容

本申请的发明人注意到，在传统的试驾过程中，试驾用户体验的试驾路线一般都是理想化的固定安排，不能针对试驾用户感兴趣的车型功能提供重复或深入的体验。另一方面，在实车试驾过程中可能会遇到不同的现实问题，比如突发的天气变化或特殊的实时路况等，使得试驾用户不能对车型的亮点进行足够的体验。

本申请是针对上述情形的一个或多个方面而做出的。具体而言，提出了一种用于车辆试驾的基于面部图像识别的虚拟试驾装置、方法和存储介质。

根据本公开的实施例的第一方面，提供了一种基于面部图像识别的虚拟试驾装置，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在存储器上的指令，以执行以下处理：获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息；获取实车试驾过程中在试驾车辆内的对话，并识别对话中的与预定关键词匹配的对话关键词；根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

根据本公开的实施例的第二方面，提供了一种基于面部图像识别的虚拟试驾方法，包括：获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息；获取实车试驾过程中在试驾车辆内的对话，并识别对话中的与预定关键词匹配的对话关键词；根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

根据本公开的实施例的第三方面，提供了一种其上存储有程序指令的计算机可读存储介质，该程序指令在执行时使计算机实现根据本公开的实施例的第二方面所述的虚拟试驾方法。

根据本公开的实施例的第四方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器执行时实现根据本公开的实施例的第二方面所述的虚拟试驾方法。

根据本公开的实施例的优点在于基于在实车试驾过程中对试驾用户的面部图像进行检测，获取试驾用户在体验不同试驾项目或车型的不同可执行功能时的情绪或动作反应，判断出试驾用户对这些项目或功能的兴趣程度，从而生成反映用户兴趣的虚拟试驾项目。

根据本公开的实施例的另一优点在于将实车试驾过程中试驾用户的面部检测结果与车内对话的关键词检测结果相结合，判断出试驾用户由于实车试驾过程的不同情形而尚未体验或需要进一步体验的试驾项目，从而生成具有延续性的完善的虚拟试驾项目。

应当认识到，上述优点不需全部集中在一个或一些特定实施例中实现，而是可以部分分散在根据本公开的不同实施例中。根据本公开的实施例可以具有上述优点中的一个或一些，也可以替代地或者附加地具有其它的优点。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得更为清楚。

附图说明

图1是示出了根据本公开的实施例的基于面部图像识别的虚拟试驾装置的示意图。

图2示出了根据本公开的实施例的基于面部图像识别的虚拟试驾装置的示例性配置框图。

图3示出了根据本公开的实施例的基于面部图像识别的虚拟试驾方法的示例性流程图。

图4示出了根据本公开的另一实施例的基于面部图像识别的虚拟试驾装置的示例性配置框图。

图5示出了根据本公开的另一实施例的基于面部图像识别的虚拟试驾方法的示例性流程图。

图6示出了可以实现根据本公开的实施例的计算设备的示例性配置。

具体实施方式

下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出以说明本公开中的结构和方法的不同实施例。然而，本领域技术人员将会理解，它们仅仅说明可以用来实施的本公开的示例性方式，而不是穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示出具体组件的细节。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

车辆经销商店会为试驾用户预设一个或多个试驾路线，以便于试驾用户在实车试驾过程中体验试驾车辆各方面的功能。这些试驾路线可以包括不同的交通状况和环境特征，并且便于试驾用户体验试驾车辆针对这些状况或特征提供的可执行功能。而随着虚拟驾驶技术的发展，也可以通过虚拟试驾装置为试驾用户提供类似的或更有针对性的试驾体验。该装置可以结合汽车动力学物理仿真技术模拟速度、加速度、旋转角速度、冲量等各种现实的物理动力学属性，同时在大屏等显示设备中显示道路和环境等的三维图像，从而模拟出各种空间运动姿态供试驾用户进行体验，并且介绍当前试驾状况下试驾车辆的功能和效果。

然而，如上文所述，在实车试驾过程中，试驾用户可能对部分试驾项目或车辆的可执行功能有进一步的兴趣，或者因为环境因素或路况条件等导致没有在实车中完整、准确地体验了需要的所有项目。例如，试驾用户可能想要对试驾车型的前车预警功能多次体验，但预设的试驾路线上不一定会有足够数量的其它车辆来产生相应的驾驶场景以供试驾用户使用可执行功能。或者，当由于试驾场地的停车位已满导致试驾车辆需要根据引导手动停到其它地点时，试驾用户可能没有机会体验预设试驾路线中的自动泊车功能。在这些情况下，路线相对固定的实车试驾很难为试驾用户提供替代或改进的体验方式。

概括而言，本公开的技术方案主要针对上述问题中的一个或多个提出了一种对试驾体验进行补充和延续的虚拟试驾装置，可以不受到实际路况和天气条件等的约束，并且基于试驾用户的实车试驾效果对特定的部分项目有针对性地进行虚拟试驾体验。应当理解，本公开中所描述的“试驾体验”是针对试驾用户在完善的试驾过程中综合实车试驾过程和虚拟试驾项目的整体感受，既包括在实际试驾车辆中触碰到真实的设备及部件的使用情况，也包括在虚拟试驾装置中对视觉和/或听觉等感官中产生的模拟真实驾驶状态、虚拟车辆应对这些场景中遇到的特定行驶状态或环境条件的功能是否符合预期，以及虚拟试驾装置中感知的模拟驾驶状态是否与实车试驾过程的感受保持一致性等。

图1示出了根据本公开的实施例的基于面部图像识别的虚拟试驾装置的示意图。用户经由虚拟试驾装置参与虚拟试驾过程，其中虚拟试驾装置可以具有用户输入、座椅硬件系统和多自由度运动平台，并且在试驾用户面前的显示界面中显示虚拟试驾场景中与前方路况相关的图像。显示界面可以由大屏装置或者由试驾用户佩戴的可穿戴设备来实现，其中可穿戴设备与计算机技术相结合以产生一个真实与虚拟组合的、可人机交互的环境，这些计算机技术包括但不限于VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)、MR(Mixed Reality，混合现实)，以及基于上述技术中的部分或组合的XR(Extended Reality，扩展现实)技术等。

进一步地，虚拟试驾除了可以使用具备部分车辆组件(诸如方向盘、座椅、手刹等)的硬件装置，也可以在完全虚拟的环境中进行，比如在元宇宙中的虚拟试驾厅，使得试驾用户的体验从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。

在一个示例性但非限制性的示例中，该装置所展现的虚拟驾驶场景基于与试驾用户的偏好信息或实车试驾的情形相关联的试驾项目而实现。其中试驾用户的偏好信息可以基于由试驾车辆内部的图像捕获装置和/或语音识别装置进行面部识别和/或关键词识别的结果而生成，面部信息包括但不限于表情识别、眼球捕捉、视线方向、情感态度分析等，关键词信息包括但不限于试驾用户和车辆销售人员在车内的对话检测等。可替代地，用户偏好信息还可以由包括雷达和/或传感器在内的其它监控/检测设备获得，如对试驾用户的手部动作捕捉或对试驾用户的触感进行记录等。此外，实车试驾中遇到天气条件或交通状况的变化导致未能体验全部预设试驾项目时，也可以基于前述面部信息或语音信息判断出试驾用户的未体验内容，从而生成特定于试驾用户及实车试驾的虚拟试驾场景。

以下将在图2至图5中详细描述基于面部图像识别的图像虚拟试驾装置及该装置的处理器所执行的基于面部图像识别的虚拟试驾方法。

图2示出了根据本公开的实施例的基于面部图像识别的虚拟试驾装置的示例性配置框图。在一个非限制性的实施例中，基于面部图像识别的虚拟试驾装置2000可以包括处理器2100。基于面部图像识别的虚拟试驾装置2000的处理器2100提供基于面部图像识别的虚拟试驾装置2000的各种功能。在一些实施例中，基于面部图像识别的虚拟试驾装置2000的处理器2100可以被配置为执行基于面部图像识别的虚拟试驾方法3000(后文中将参照图3进行描述)。

处理器2100可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(IC)、专用集成电路(ASIC)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(FPGA)的可编程硬件设备、和/或包括多个处理器的系统。

在一些实施例中，基于面部图像识别的虚拟试驾装置2000还可以包括存储器(未图示)。基于面部图像识别的虚拟试驾装置2000的存储器可以存储由处理器2100产生的信息以及用于处理器2100操作的程序和数据。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)以及闪存存储器。

另外，基于面部图像识别的虚拟试驾装置2000也可以以芯片级来实现，或者可以通过包括其它外部部件而以设备级来实现。

本公开的基于面部图像识别的虚拟试驾装置2000被配置为根据在实车试驾过程中识别或检测的面部图像信息与预定关键词的匹配关系来确定要生成的虚拟试驾项目，以便提供给试驾用户来驾驶虚拟试驾车辆。在一些实施例中，基于面部图像识别的虚拟试驾装置2000可以集成在现有的虚拟驾驶设备(例如动感座舱)中，该设备可以具有汽车动力学器件的模拟车辆外形，并且包括用作前车窗影像的显示大屏，该大屏的形状可以为直线型或流线型。在另一些实施例中，基于面部图像识别的虚拟试驾装置2000可以包括由试驾用户佩戴的VR显示设备(例如头戴式显示器)，试驾用户可以驾驶真实车辆在例如保持原地不动的情况下体验VR显示设备中的虚拟试驾场景。

如图2所示，在一些实施例中，基于面部图像识别的虚拟试驾装置2000的处理器2100可以包括面部检测单元2010、关键词识别单元2020和项目生成单元2030。

应当理解，图2所示的基于面部图像识别的虚拟试驾装置2000的各个单元仅是根据其所实现的具体功能所划分的逻辑模块，而不是用于限制具体的实现方式。在实际实现时，上述各个模块可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。

接下来，将参照图2详细描述基于面部图像识别的虚拟试驾装置2000的各单元的具体操作。

在一些实施例中，面部检测单元2010可以被配置为根据设置在试驾车辆的图像捕获设备针对试驾用户所获取的面部图像，检测这些面部图像中包括的面部信息。图像捕获设备可以包括布置在试驾车辆的内部或外部的三维相机以及/或者摄像头等。三维相机可以用于获取其成像范围内的试驾用户的三维的实时图像和实时动作。三维相机的数量可以根据需求在车辆不同方位布置一个或多个，诸如在方向盘前侧正对驾驶员面部方向以及车厢顶棚可以对驾驶员侧面进行成像的两边。三维相机的种类包括但不限于双目相机、利用红外光的三维相机等。类似地，摄像头可以内置于试驾车辆或布置在车辆外部的预设位置，用于从各个不同的角度获取试驾用户的图像。特别地，捕获试驾用户面部图像的摄像头通常具有高分辨率，以方便对面部图像的后续处理，诸如面部信息的识别等。

响应于获取到试驾用户的面部图像，面部检测单元2010利用诸如面部识别算法从面部图像中提取面部信息，例如可以包括以下步骤：根据面部超过500个关键点的位置以及脸部结构，建立人脸三维模型；对面部图像进行预处理，诸如人脸检测、人脸对齐、数据增强、人脸归一化等，排除个体差异、环境亮度、面向角度等因素对数据的干扰；基于已有的数据集对神经网络模型进行训练；以及对人脸模型不同位置的图像数据进行分类和特征提取，从而得到某个特定面部图像中包括的面部信息，诸如微笑、困惑、惊讶、伤心、生气等的表情信息。

在一个非限制性示例中，当试驾用户在实车试驾过程中体验某个试驾项目时的面部图像被检测出困惑的表情信息时，有可能表示试驾用户对该项目中能够使用的可执行功能不理解，或者对这些可执行功能的实际操作不熟悉。其中，面部识别算法只要能够识别出这样的面部信息，则可以是任意面部识别算法。

替代地，面部检测单元2010也可以基于诸如三维相机捕捉到的试驾用户的眼球转动情况评估用户的专注度，这可以反映出试驾用户对该项目的兴趣状况或偏好水平。例如，当试驾用户在实车试驾过程中在预设的时间段内保持眼球相对静止(或视线方向偏移差值有限)时，基于该转动情况评估用户对当前正在体验的试驾项目具有很高的专注度，有可能表示试驾用户对当前项目具有兴趣，很大概率期望在虚拟试驾场景中进一步进行体验。

应当理解，以上列举的面部信息的种类和内容仅仅是示例，本领域技术人员可以根据实际情况，设定针对其它种类的面目信息检测标准。

在一些实施例中，关键词识别单元2020被配置为基于获取的实际试驾车辆内的对话，识别对话中与预定关键词匹配的对话关键词。车辆内的对话可以发生在诸如试驾用户与车辆销售人员之间，也可以发生在试驾用户与实际试驾车辆的语音提醒助手之间。在一个非限制性示例中，语音提醒助手可以由设置在试驾实车上的具有语音播放功能的设备或部件实现，也可以由试驾用户自身携带的具有无线通信功能的移动设备实现。车辆内的对话可以由车内人员携带的终端设备(例如终端设备所配备的麦克风等)来采集，也可以通过车联网等网络经由车载多媒体系统(例如车载多媒体系统的麦克风等)来采集。

在一些实施例中，可以获取从试驾开始到试驾结束的整个过程中的对话用于关键词的识别。在试驾用户由车辆销售人员陪同的情况下，关键词识别单元2020可以基于车辆销售人员含有特定关键词或预设句式的语音确定试驾开始时刻、试驾结束时刻。例如，车辆销售人员可以通过语音唤醒的方式，说出“试驾开始”、“试驾结束”等关键词来通知关键词识别单元2020。可替代地，车辆销售人员也可以直接对实际试驾车辆内预设的按钮/触摸屏等进行操作，来通知试驾开始时刻、试驾结束时刻。

在另一些实施例中，关键词识别单元2020还可以基于试驾车辆内的对话中含有的特定关键词或预设句式来确定各个不同试驾项目的起始时间及持续时长。例如，车辆销售人员可以通过语音唤醒的方式，例如说出“下面开始新项目的试驾”或“下面开始‘前车跟随’项目的试驾”等内容来通知关键词识别单元2020。在一个非限制性示例中，针对体验时间相邻的第一项目和第二项目，关键词识别单元2020将涉及“下面开始第一项目的试驾”的语音对应的时间判定为第一项目的开始时刻T1s，将涉及“下面开始第二项目的试驾”的语音对应的时间判定为第一项目的结束时刻T1e，并且将t1(＝T1e-T1s)的时间段作为试驾用户体验第一项目的持续时长。可替代地，关键词识别单元2020也可以将首次识别出“第一项目”的语音对应的时间判定为第一项目的开始时刻T1s、并将首次识别出“第二项目”语音对应的时间判定为第一项目的结束时刻T1e，以及基于此计算第一项目持续时间t1。

应当理解，以上确定各种开始时刻和结束时刻的方法仅仅是示例，本领域技术人员可以根据实际情况，设计其它确定开始时刻和结束时刻的方法。

在一些实施例中，关键词识别单元2020可以基于预定关键词对车内对话的语音进行识别。这些预定关键词例如能够体现车辆销售店面的管理人员要求车辆销售人员向试驾用户介绍的车辆功能的各方面，或者是试驾过程中要体验的各项目的名称和内容。具体而言，预定关键词包括但不限于“交通灯响应”、“前车跟随”和“超车行驶”等功能以及“潜在碰撞”、“交通堵塞”和“特殊天气”等情形。通过识别出对话中与这些预定关键词相匹配的对话关键词，可以确定车内对话中是否涉及与匹配到的关键词相关联的试驾项目，以及确定涉及某个试驾项目的具体时刻和/持续时长。

在一些实施例中，关键词识别单元2020可以将由所获取的车内对话的语音形式的对话转换成文本，并通过对转换后的文本进行关键词检索，来确定文本中是否包括与预定关键词相匹配的对话关键词。将语音形式的对话转换成文本的方法例如可以采用现有的语音识别的方法(例如“speech-to-text”应用接口)来实现。可替代地，可以将预定关键词预先存储为音频样例，并通过现有的语音关键词检测方法，从语音形式的对话中识别出匹配的对话关键词。应当理解，本领域技术人员也可以采用其它方法来进行关于车内对话的关键词识别，本公开对具体的识别方式不作限定。

在一些实施例中，项目生成单元2030可以被配置为根据由面部检测单元2010检测出的试驾用户的面部信息与关键词识别单元2020识别出的对话关键词之间的关联性，生成要提供给试驾用户的虚拟试驾项目。其中，面部信息和对话关键词的关联性包括但不限于基于发生时刻确定面部信息和对话关键词的对应关系，以及针对检测到的对话关键词使用同时刻的面部信息进一步检验体验意愿的真实性等。

如前所述，项目生成单元2030生成的虚拟试驾项目主要围绕预定关键词或在对话中匹配到的对话关键词展开，并提供虚拟试驾车型针对各项目所能提供的可执行功能。具体如下表1所示：

[表1]

应当理解，上述表1中的虚拟试驾项目及其对应的车辆可执行功能仅为示例，可以根据具体的车型和交通状况等的不同而变化。

下面参照图3来描述根据本公开的实施例的基于面部图像识别的虚拟试驾方法3000的示例性流程图。该方法3000例如可以用于图2所示的基于面部图像识别的虚拟试驾装置2000。

如图3所示，在步骤S301中，获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息。在步骤S302中，获取实车试驾过程中在试驾车辆内的对话，识别对话中的与预定关键词匹配的对话关键词。在步骤S303中，根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

上述步骤S301至S303例如可以分别由面部检测单元2010、关键词识别单元2020和项目生成单元2030来实现。关于步骤S301至S303的详情，与参照图2的描述类似，在此不再赘述。

接下来，参照图4描述根据本公开的另一实施例的基于面部图像识别的虚拟试驾装置4000的示例性配置框图。该基于面部图像识别的虚拟试驾装置4000与图2中的基于面部图像识别的虚拟试驾装置2000对应，其中面部检测单元4010、关键词识别单元4020和项目生成单元4030分别对应于图2中所示的面部检测单元2010、关键词识别单元2020和项目生成单元2030，可以实现参照图2描述的各单元的相应功能。

如图4所示，在一些实施例中，基于面部图像识别的虚拟试驾装置4000还可以包括信息关联单元4040、消息提醒单元4050和场景设置单元4060。

在一些实施例中，信息关联单元4040可以被配置为将由面部检测单元4010检测出的试驾用户的面部信息与关键词识别单元4020识别出的对话关键词相关联，并将所确定的面部信息与对话关键词的关联性结果输入到项目生成单元4030。

在一些实施例中，信息关联单元4040产生的关联性结果基于面部信息和对话关键词在时刻上的对应关系而建立。具体而言，面部检测单元4010接收到的每一个面部图像中包含有捕获该图像的时刻(诸如时间戳)。对于面部检测单元4010从面部图像中检测出的面部信息，信息关联单元4040可以确定该面部图像的捕获时刻。为了获得产生该面部信息时试驾用户正在体验的试驾项目或者车辆销售人员正在介绍的车型功能，信息关联单元4040检测车内对话中的在包含捕获时刻的关联时间段内的对话关键词。其中，关联时间段的长度可以由试驾用户或车辆销售人员预先设置，并且捕获时刻可以是关联时间段的结束时刻或中点时刻。

此时，当该面部信息属于预定信息类型(诸如满意、感兴趣或困惑、厌恶等)时，项目生成单元4030基于该面部信息关联的对话关键词生成虚拟试驾项目。在一个非限制性示例中，试驾用户的面部信息诸如是困惑的表情，这表示试驾用户可能对彼时体验的项目不理解或对功能不熟悉。信息关联4040基于捕获包括当前面部信息的面部图像的时刻。以该时刻为结束时刻设置一个长达20秒的关联时间段，检测这20秒内的对话关键词，诸如“前车跟随”项目，也即涉及“前车跟随”的语音发生在试驾用户体现出表情困惑这件事的附近。因此信息关联4040得以将示例中的困惑表情关联到“前车跟随”的对话关键词，也即确定出这两者之间的关联性。

应当理解，以上基于发生时刻确定面部信息和对话关键词的关联性仅仅是示例，本领域技术人员可以根据实际情况，设计其它确定面部信息和对话关键词的关联性的方法，例如在检测对话关键词时就将具有评价意义或情感色彩的语音作为预定关键词，从而发现面部信息与这些预定关键词之间的联系。

在另一些实施例中，当关键词识别单元4020基于车内对话中的对话关键词确定某个试驾项目的开始时刻和结束时刻，从而计算出该试驾项目的持续时长。在一个非限制性示例中，信息关联单元4040可以设置预定时长阈值，当试驾项目的持续时长大于预定时长阈值时，可以侧面反映出试驾用户对该试驾项目的兴趣程度或偏好水平较高，也即试驾用户在虚拟试驾环节继续体验或进一步体验的意愿较为强烈。项目生成单元4030基于对应于高体验意愿的对话关键词生成虚拟试驾项目。

在另一个非限制性示例中，附加地，信息关联单元4040还被配置为对前述高体验意愿的对话关键词执行进一步的检验。根据该对话关键词发生的开始时刻或结束时刻，从同一时刻捕获的面部图像中确定所包含的面部信息，即调取与该对话关键词相关联的面部信息。与图2中对面部信息所属类型的判断不同，在已经基于语音中的对话关键词确定可能的高体验意愿时，利用所调取的同时刻面部信息进行反向排除，即利用面部信息中对试驾用户的真实好恶的判断，防止单个标准的关键词识别导致不精确的计算结果。例如，试驾用户对于第二项目的体验持续时长超出了预定时长阈值，将这种情况完全归因于试驾用户对第二项目的喜爱或满意可能是不准确的。例如，当试驾用户对第二项目的内容和功能十分不熟悉，导致在试驾过程中操作慢、耗时多，此时对应于第二项目的对话关键词未必与试驾用户的兴趣相关，项目生成单元4030不会基于该对话关键词生成虚拟试驾项目。

在一些实施例中，消息提醒单元4050被配置为向试驾用户发送与预定试驾项目相关联的语音消息或视觉提醒。在一个非限制性示例中，语音消息包括以下至少一种：向试驾用户介绍虚拟试驾车辆针对当前虚拟驾驶项目的各种功能、提醒试驾用户对可执行功能的使用或者与试驾用户之间的语音交互等。例如，当虚拟试驾车辆进入交通灯响应的项目时，消息提醒单元4050可以向试驾用户发送语音消息，诸如“检测到红灯，请准备停车”等。当虚拟试驾车辆平稳行驶，即未发生特殊交通状况待处理时，消息提醒单元4050可以向试驾用户发送语音消息，诸如提出建议“是否想要尝试车载娱乐功能”等，并且响应于试驾用户对该建议的语音回复或操作行为，发送下一步的指示语音。

在另一个非限制性示例中，视觉提醒包括以下至少一种：在虚拟试驾装置4000的显示界面上呈现与功能介绍或功能使用有关的消息提醒、含有特定内容的消息提示框或者在虚拟试驾场景的图像中高亮特定部分等。例如，当虚拟试驾车辆以不正常的车速进入超车行驶时，消息提醒单元4050可以在显示界面上呈现诸如“超速警告”之类的文字提醒。当虚拟试驾车辆平稳行驶时，消息提醒单元4050可以在显示界面上呈现诸如“是否想要开启音乐播放”等消息提示框，以便试驾用户对车辆娱乐功能等进行选择。

在一些实施例中，可替代地或者可附加的地，场景设置单元4060被配置为基于实车试驾过程中获取的设置信息生成虚拟试驾项目。从实车试驾到虚拟试驾装置，为了保证试驾体验的延续性和一致性，场景设置单元4060可以将实车试驾过程中遇到的场景特征添加到虚拟试驾场景中。其中，设置包括以下中的至少一个：与天气条件、交通状况、车型功能相关联的实际路况信息以及试驾线路设计相关联的场景参数信息。

在一个非限制性示例中，实际路况信息包括实车试驾过程中的天气条件，诸如温度、湿度、光照、降雨/雪量或早晨、中午、黄昏、夜晚等；交通状况，诸如交通堵塞、车流量增减、道路施工或潜在碰撞等；以及车型功能，诸如是否开启自动泊车、是否开启匀速条件下的前车跟随等。可以经由场景设置单元4060将虚拟试驾场景中的设置信息调整为符合试驾用户需求的数值。例如，当试驾用户将虚拟试驾场景设置为阴雨天气时，可以将虚拟试驾场景中的降雨量参数增大，这相应地会影响虚拟试驾车辆在变速时经受的摩擦力大小，从而改变虚拟驾驶体验中的刹车反应时间等。同时，场景设置单元4060还根据例如AI技术等将虚拟试驾场景中的车流情况进行相应的调整，诸如降雨量增大后可视范围变小，导致试驾路线上的前车车速减缓、交通堵塞的可能性变大。

在另一个非限制性示例中，与试驾线路设计相关联的场景参数信息包括但不限于已生成的虚拟试驾场景中增加、修改或删除与特定虚拟试驾项目相关联的信息或数据。例如，在试驾用户开始虚拟试驾过程之前，由于前述经由信息关联单元4040自动计算出的关联性仅基于统计数据，有可能项目生成单元4030制定的虚拟试驾计划中有部分项目并非试驾用户主观意愿上想要重复/补充体验的内容，则此时试驾用户或车辆销售人员就可以通过场景参数信息得到试驾用户最期望的虚拟试驾项目，实现体验效果的优化。

下面参照图5来描述根据本公开的另一实施例的基于面部图像识别的虚拟试驾方法5000的示例性流程图。该方法5000例如可以用于图4所示的基于面部图像识别的虚拟试驾装置4000。

如图5所示，在步骤S501中，获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息。在步骤S502中，获取实车试驾过程中在试驾车辆内的对话，识别对话中的与预定关键词匹配的对话关键词。在步骤S503中，确定捕获面部图像的时刻，检测对话中的在包含该时刻的关联时间段内的对话关键词，基于反应时刻判定面部信息与对话关键词相关联。在步骤S504中，虚当面部信息属于预定信息类型时，基于与面部信息相关联的对话关键词生成虚拟试驾项目。

上述步骤S501至S504例如可以分别由参照图4描述的面部检测单元4010、关键词识别单元4020、项目生成单元4030、信息关联单元4040、消息提醒单元4050和场景设置单元4060来实现。关于步骤S501至S504的详情，与参照图4的描述类似，在此不再赘述。

下面将结合图2或图4中的基于面部图像识别的虚拟试驾装置的变形例。基于图2所述的虚拟试驾装置2000或图4所述的虚拟试驾装置4000中对试驾用户的面部图像进行识别的技术方案，还可以进一步围绕虚拟试驾装置中的关键词识别单元发生进行修改或替换。

以图2的虚拟试驾装置2000为例，在一个非限制性实施例中，项目生成单元2030还被配置为基于在车内对话中未检测到的预定关键词生成虚拟试驾项目。例如，由于实车试驾过程中试驾车辆停车位已满，试驾用户在车辆销售人员的引导下将试驾车辆手动停放在指定区域，因此该试驾用户未能体验试驾车辆的自动泊车功能。在这种情况下，车内对话的语音中将无法检测到类似于“下面将进行自动泊车项目的试驾”等关键词/句，关键词识别单元2010因而将自动泊车作为未检测到的预定关键词，并由项目生成单元2030生成虚拟试驾项目以供试驾用户补充体验。

在另一个非限制性实施例中，关键词识别单元2010还被配置为设置与预定关键词对应的第一出现次数，计算检测出的对话关键词在车内对话中的第二出现次数，其中当对话关键词的第二出现次数大于或等于与所述对话关键词相匹配的预定关键词的第一出现次数时，由项目生成单元2030生成虚拟试驾项目。对话关键词的出现次数可以从侧面反映出对应于该对话关键词的项目给试驾用户的体验感受，例如当试驾用户对试驾车辆的“障碍物避让”功能很感兴趣，在与车辆销售人员的对话中多次对该功能的细节进行咨询和确认，则关键词识别单元2010将对应于这部分内容的对话关键词作为输入，最终由项目生成单元2030生成涉及“障碍物避让”的虚拟试驾项目。

图6示出了可以实现根据本公开的实施例的计算设备的示例性配置。该计算设备包括一个或多个处理器601、经由总线604连接到处理器601的输入/输出接口605以及连接到总线604的存储器602和603。在一些实施例中，存储器602可以是只读存储器(ROM)，存储器603可以是随机存储存储器(RAM)。

处理器601可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。存储器602和603可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。

总线604可以包括但不限于工业标准架构(Industry Standard Architecture，ISA)总线、微通道架构(Micro Channel Architecture，MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。

在一些实施例中，输入/输出接口605与以下单元连接，由诸如供用户输入操作命令的键盘和鼠标之类的输入设备所配置的输入单元606、向显示设备输出处理操作画面和处理结果的图像的输出单元607、包括用于存储程序和各种数据的硬盘驱动器等的存储单元608以及包括局域网(LAN)适配器等并经由以互联网为代表的网络执行通信处理的通信单元609。此外，还连接了驱动器66，该驱动器66从可移除存储介质611读取数据和在其上写数据。

可单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。

例如，前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备，所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。

例如，前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。

在一个实施方案中，可以通过用诸如Verilog或VHDL的硬件描述语言(HDL)编码和设计一个或多个集成电路或者结合使用离散电路来实现根据本公开的硬件电路。

综上所述，本公开的实施例可以包括以下的配置：

(1)一种基于面部图像识别的虚拟试驾装置，包括：

存储器，其上存储有指令；以及

处理器，被配置为执行存储在存储器上的指令，以执行以下处理：

获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息；

获取实车试驾过程中在试驾车辆内的对话，并识别对话中的与预定关键词匹配的对话关键词；

根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

(2)根据(1)所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

确定捕获面部图像的时刻；

检测对话中的在包含该时刻的关联时间段内的对话关键词；以及

基于反应时刻判定面部信息与对话关键词相关联。

(3)根据(2)所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

当面部信息属于预定信息类型时，基于与面部信息相关联的对话关键词生成虚拟试驾项目。

(4)根据(1)至(3)中任一项所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

基于在对话中未检测到的预定关键词生成虚拟试驾项目。

(5)根据(1)至(4)中任一项所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

设置与预定关键词对应的第一出现次数；并且

计算检测出的对话关键词在对话中的第二出现次数，

其中当对话关键词的第二出现次数大于或等于与对话关键词相匹配的预定关键词的第一出现次数时，基于对话关键词生成虚拟试驾项目。

(6)根据(1)至(5)中任一项所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

计算对话中的与对话关键词有关的对话片段的持续时长；以及

当持续时长大于预定时长阈值时，基于对话关键词生成虚拟试驾项目。

(7)根据(6)所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

调取与对话关键词相关联的面部信息，并且

响应于确定该面部信息不属于预定信息类型，不基于该对话关键词生成虚拟试驾项目。

(8)根据(1)至(7)中任一项所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

基于在实车试驾过程中获取的设置信息生成虚拟试驾项目，

其中设置信息包括实际路况信息与场景参数信息中的至少一个。

(9)根据(1)至(8)中任一项所述的虚拟试驾装置，其中

处理器还被配置为执行存储在存储器上的指令，以执行以下处理：

当试驾用户开始虚拟试驾项目时，向试驾用户发送与虚拟试驾项目相关联的语音消息或视觉提醒。

(10)一种基于面部图像识别的虚拟试驾方法，包括：

获取实车试驾过程中在试驾车辆内的试驾用户的面部图像，检测面部图像中包括的试驾用户的面部信息；

获取实车试驾过程中在试驾车辆内的对话，并识别对话中的与预定关键词匹配的对话关键词；

根据与检测出的面部信息相关联的对话关键词，生成要提供给试驾用户的虚拟试驾项目。

(11)根据(10)所述的虚拟试驾方法，其中：

确定捕获面部图像的时刻；

检测对话中的在包含该时刻的关联时间段内的对话关键词；以及

基于反应时刻判定面部信息与对话关键词相关联。

(12)根据(11)所述的虚拟试驾方法，其中：

当面部信息属于预定信息类型时，基于与面部信息相关联的对话关键词生成虚拟试驾项目。

(13)根据(10)至(12)中任一项所述的虚拟试驾方法，其中：

基于在对话中未检测到的预定关键词生成虚拟试驾项目。

(14)根据(10)至(12)中任一项所述的虚拟试驾方法，其中：

设置与预定关键词对应的第一出现次数；并且

计算检测出的对话关键词在对话中的第二出现次数，

其中当对话关键词的第二出现次数大于或等于与对话关键词相匹配的预定关键词的第一出现次数时，基于对话关键词生成虚拟试驾项目。

(15)根据(10)至(14)所述的虚拟试驾方法，其中：

计算对话中的与对话关键词有关的对话片段的持续时长；以及

当持续时长大于预定时长阈值时，基于对话关键词生成虚拟试驾项目。

(16)根据(10)至(15)所述的虚拟试驾方法，其中：

调取与对话关键词相关联的面部信息，并且

响应于确定面部信息不属于预定信息类型，不基于对话关键词生成虚拟试驾项目。

(17)根据(10)至(16)所述的虚拟试驾方法，其中：

基于在实车试驾过程中获取的设置信息生成虚拟试驾项目，

其中设置信息包括实际路况信息与场景参数信息中的至少一个。

(18)一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使所述处理器执行如(10)至(17)中任一项所述的虚拟试驾方法。

(19)一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器运行时使所述处理器执行如(10)至(17)中任一项所述的虚拟试驾方法。

Claims (14)

1.一种基于面部图像识别的虚拟试驾装置，包括：

存储器，其上存储有指令；以及

处理器，被配置为执行存储在所述存储器上的指令，以执行以下处理：

获取实车试驾过程中在试驾车辆内的试驾用户的面部图像并确定获取所述面部图像的时刻，检测所述面部图像中包括的试驾用户的面部信息；

获取所述实车试驾过程中在试驾车辆内的对话，并识别所述对话中的在包含所述时刻的预定时间段内的与预定关键词匹配的对话关键词；

基于检测出的所述面部信息与所述对话关键词在时刻上的对应关系，判定所述面部信息与所述对话关键词相关联；以及

当所述面部信息属于预定信息类型时，基于与所述面部信息相关联的所述对话关键词，并且基于在所述实车试驾过程中获取的设置信息，生成要提供给试驾用户的虚拟试驾项目，

其中所述设置信息包括实际路况信息与场景参数信息中的至少一个。

2.根据权利要求1所述的虚拟试驾装置，其中

所述处理器还被配置为执行存储在所述存储器上的指令，以执行以下处理：

基于在所述对话中未检测到的预定关键词生成虚拟试驾项目。

3.根据权利要求1所述的虚拟试驾装置，其中

所述处理器还被配置为执行存储在所述存储器上的指令，以执行以下处理：

设置与预定关键词对应的第一出现次数；并且

计算检测出的对话关键词在所述对话中的第二出现次数，

其中当对话关键词的第二出现次数大于或等于与所述对话关键词相匹配的预定关键词的第一出现次数时，基于所述对话关键词生成虚拟试驾项目。

4.根据权利要求1所述的虚拟试驾装置，其中

所述处理器还被配置为执行存储在所述存储器上的指令，以执行以下处理：

计算所述对话中的与所述对话关键词有关的对话片段的持续时长；以及

当所述持续时长大于预定时长阈值时，基于所述对话关键词生成虚拟试驾项目。

5.根据权利要求4所述的虚拟试驾装置，其中

所述处理器还被配置为执行存储在所述存储器上的指令，以执行以下处理：

调取与所述对话关键词相关联的面部信息，并且

响应于确定所述面部信息不属于预定信息类型，不基于所述对话关键词生成虚拟试驾项目。

6.根据权利要求1所述的虚拟试驾装置，其中

所述处理器还被配置为执行存储在所述存储器上的指令，以执行以下处理：

当试驾用户开始虚拟试驾项目时，向试驾用户发送与虚拟试驾项目相关联的语音消息或视觉提醒。

7.一种基于面部图像识别的虚拟试驾方法，包括：

获取实车试驾过程中在试驾车辆内的试驾用户的面部图像并确定获取所述面部图像的时刻，检测所述面部图像中包括的试驾用户的面部信息；

获取所述实车试驾过程中在试驾车辆内的对话，并识别所述对话中的在包含所述时刻的预定时间段内的与预定关键词匹配的对话关键词；

基于检测出的所述面部信息与所述对话关键词在时刻上的对应关系，判定所述面部信息与所述对话关键词相关联；以及

当所述面部信息属于预定信息类型时，基于与所述面部信息相关联的所述对话关键词，并且基于在所述实车试驾过程中获取的设置信息，生成要提供给试驾用户的虚拟试驾项目，

其中所述设置信息包括实际路况信息与场景参数信息中的至少一个。

8.根据权利要求7所述的虚拟试驾方法，其中：

基于在所述对话中未检测到的预定关键词生成虚拟试驾项目。

9.根据权利要求7所述的虚拟试驾方法，其中：

设置与预定关键词对应的第一出现次数；并且

计算检测出的对话关键词在所述对话中的第二出现次数，

其中当对话关键词的第二出现次数大于或等于与所述对话关键词相匹配的预定关键词的第一出现次数时，基于所述对话关键词生成虚拟试驾项目。

10.根据权利要求7所述的虚拟试驾方法，其中：

计算所述对话中的与所述对话关键词有关的对话片段的持续时长；以及

当所述持续时长大于预定时长阈值时，基于所述对话关键词生成虚拟试驾项目。

11.根据权利要求10所述的虚拟试驾方法，其中：

调取与所述对话关键词相关联的面部信息，并且

响应于确定所述面部信息不属于预定信息类型，不基于所述对话关键词生成虚拟试驾项目。

12.根据权利要求7所述的虚拟试驾方法，其中：

当试驾用户开始虚拟试驾项目时，向试驾用户发送与虚拟试驾项目相关联的语音消息或视觉提醒。

13.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使所述处理器执行如权利要求7至12中任一项所述的虚拟试驾方法。

14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器运行时使所述处理器执行如权利要求7至12中任一项所述的虚拟试驾方法。