CN115457519A - 基于多模态的识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于多模态的识别方法，应用于车辆，所述车辆包括至少两种传感器，该方法包括：获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。通过本申请的方法能够提高最后识别结果的准确性，避免由于某一传感器失效导致识别结果与实际相差巨大的问题，同时提高了乘员的体验。

Description

基于多模态的识别方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能领域，更具体地，涉及一种基于多模态的识别方法、装置、电子设备及存储介质。

背景技术

多模态识别是指利用深度学习根据多个不同模态的信息进行识别，从而获取多模态信息的整体的公共表示。然而，目前，由于多个模态的信息之间的差异较大，且模态内部会存在不确定性，使得识别结果准确率较低。并且，为了获取更多模态的信息而部署全部的传感器的成本过高。如何提高多模态识别的准确率并降低成本称为亟待解决的问题。

发明内容

鉴于上述问题，本申请实施例提出了一种基于多模态的识别方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种基于多模态的识别方法，应用于车辆，所述车辆包括至少两种传感器，所述方法包括：获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

第二方面，本申请实施例提供了一种基于多模态的识别装置，应用于车辆，所述车辆包括至少两种传感器，所述装置包括：传感数据获取模块，用于获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；目标置信度确定模块，用于基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；权重确定模块，用于基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；识别结果获取模块，用于将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施例中，目标置信度确定模块包括：预设置信度获取子模块，用于获取所述至少两种传感数据各自对应的预设置信度；目标置信度确定子模块，用于基于所述车辆所处的当前环境对所述至少两种传感数据各自对应的所述预设置信度进行调整，获得所述至少两种传感数据各自对应的所述目标置信度。

在一些实施例中，预设置信度获取子模块包括：位置信息确定单元，用于确定所述至少两种传感器各自在所述车辆内的位置信息；预设置信度确定单元，用于基于所述至少两种传感器各自在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

在一些实施例中，预设置信度确定单元包括：位置信息确定子单元，用于确定待识别对象在所述车辆内的位置信息；预设置信度确定子单元，用于基于所述至少两种传感器各自在所述车辆内的位置信息和所述待识别对象在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

在一些实施例中，识别结果获取模块包括：识别任务确定子模块，用于根据所述至少两种传感数据，确定所述至少两种传感数据对应的识别任务；识别结果获取第一子模块，用于将所述识别任务、所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至所述多模态识别模型中进行识别，获得所述多模态识别模型输出的识别结果。

在一些实施例中，识别结果获取模块还包括：加权融合子模块，用于基于所述至少两种传感数据各自对应的权重，对所述至少两种传感数据的数据特征进行加权融合，得到融合特征；识别结果获取第二子模块，用于将所述融合特征输入至所述多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施例中，基于多模态的识别装置还包括：输出模块，用于根据所述识别结果输出提示信息，其中，所述提示信息用于提示用户根据所述识别结果进行处理。

第三方面，本申请实施例提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述的基于多模态的识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述的基于多模态的识别方法。

在本申请的方案中，先获取车辆中至少两种传感器各自对应的传感数据，由于车辆所处的当前环境的不同对各传感数据有着不同的影响，为了避免由于环境因素导致的各传感数据的置信度的变化，但应用时各传感数据置信度未发生改变而导致识别结果不够准确的问题，根据车辆所处的当前环境来确定至少两种传感数据各自对应的目标置信度，然后根据该目标置信度来确定各自对应的权重，最后将该至少两种传感数据和至少两种传感数据各自对应的权重输入至多模态识别模型中进行识别，并获得该多模态识别模型输出的识别结果。

本申请利用多模态识别的方法，融合车辆上现有的多种传感器对应的传感数据来进行识别，并根据车辆所处的当前环境来确定各传感数据对应的目标置信度，然后根据各传感数据对应的目标置信度来调整各传感数据各自对应的权重，以此来提高最后识别结果的准确性，避免由于某一传感器失效，或由于环境因素影响传感数据，进而导致识别结果与实际相差巨大的问题，同时提高了乘员的体验，并降低成本。

应当理解的是，以上的一般描述和后文细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请一实施例示出的基于多模态的识别方法的应用场景示意图。

图2是根据本申请一实施例示出的基于多模态的识别方法的流程示意图。

图3是根据本申请另一实施例示出的基于多模态的识别方法的流程示意图。

图4是根据本申请一实施例示出的步骤S220的具体步骤流程示意图。

图5是根据本申请再一实施例示出的基于多模态的识别方法的流程示意图。

图6是根据本申请又一实施例示出的基于多模态的识别方法的流程示意图。

图7是根据本申请一实施例示出的基于多模态的识别装置的框图。

图8是根据本申请一实施例示出的电子设备的硬件结构图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限值本发明构思的范围，而是通过特定实施例为本领域计算书人员说明本发明的概念。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

随着科技的快速发展，汽车逐渐成为生活中除了手机和可穿戴硬件的主要人机交互场景，汽车的智能化程度也越来越高。为了更好地服务驾驶员和乘客娱乐需求，加强乘员人身安全，智能汽车需要更好地预测乘员的喜好以及身份，以便对乘员的要求做出个性化回应，实现更好的用户体验(如针对不同年龄性别、不同家庭成员提供个性化服务)，保障驾驶安全(如自动调节安全带松紧，当儿童坐前排或儿童以及宠物遗留车辆中时告警等)。

目前，大多车辆中的车载人机交互传感器包括座位压力传感器，红外传感器，麦克风、摄像头等。目前利用各传感器进行识别主要有以下难点：

1、单个传感器往往只能覆盖一个小区域，如摄像头、麦克风往往针对驾驶位，红外传感器则主要为防止小孩宠物被遗忘在后排；

2、每个座位配齐所有传感器成本昂贵；

3、在特定情况下，单个传感器可能会失效，例如，在夜晚和隧道高速行驶时视觉传感器面临低照度条件会很不准；在高速且开窗的情况下麦克风受噪声干扰；儿童座椅会造成压力传感器误判，将空座椅当成乘员，或将儿童当成成人；

4、不同传感器可能来自不同供应商，各自工作，无法将多个传感数据进行综合。

针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的基于多模态的识别方法、装置、电子设备以及存储介质，通过利用车辆当前已有的传感器，综合至少两种传感器对应的至少两种传感数据，并根据车辆所处的当前环境来确定该至少两种传感数据各自对应的目标置信度，进而来进行多模态识别，提高最后识别结果的准确性，也降低了成本。其中，具体的基于多模态的识别方法在后续的实施例中进行详细的说明。

图1是根据本申请的一实施例所提供的基于多模态的识别方法的应用场景示意图。如图1所示，在本应用场景中，包括车辆100，其中，车辆100包括第一传感器110、第二传感器120，有一驾驶员130位于车辆100的驾驶位上。

车辆100获取第一传感器110的第一传感数据和第二传感器120的第二传感数据，并获取车辆100所处的当前环境，其中，第一传感数据和第二传感数据可以是第一传感器110和第二传感器120检测到驾驶员130的不同模态的信息。然后在根据车辆100所处的当前环境来确定第一传感数据和第二传感数据各自对应的目标置信度，然后根据第一传感数据和第二传感数据各自对应的目标置信度来确定第一传感数据和第二传感数据各自对应的权重，最后将第一传感数据和第二传感数据以及第一传感数据和第二传感数据各自对应的权重输入至多模态识别模型中，并获取该多模态识别模型的识别结果，其中，该多模态识别模型可以是集成于车辆100中，也可以是集成于与车辆100通信连接的电子设备中，可选的，电子设备可以是智能手机、智能穿戴手表、平板电脑等，通信连接可以是通信连接可以是同一局域网、蓝牙、紫蜂(ZigBee)网络等连接，在此不进行具体限定。

图2是根据本申请一实施例示出的基于多模态的识别方法的流程示意图，该方法应用于车辆，所述车辆包括至少两种传感器。该方法可以由具备计算处理能力的电子设备执行，电子设备例如台式电脑、笔记本电脑、车载终端、车机大屏等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行。如图2所示，该方法包括以下步骤：

步骤S110，获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境。

每一种信息的来源或者形式，都可以称为一种模态，例如：不同的感官信息，触觉、听觉、视觉、嗅觉；信息的不同媒介，有语音、视频、文字等；不同的传感器对应的传感数据，如雷达、红外、加速度计等。基于多模态的识别是指能够根据多个模态的数据来进行的识别。

在一些实施例中，该车辆可包括摄像头传感器、麦克风传感器、压力传感器、红外传感器中的至少两种。其对应测到的传感数据包括图像传感数据、语音传感数据、红外传感数据、座位压力传感数据中的至少两种传感数据。可选的，同一种传感器在车辆中可部署多个，并且可在不同位置部署多个相同或不同的传感器。可选的，麦克风传感器可检测车辆中不同座位上发声者的语音数据，也可检测车辆内部的噪声等。可选的，摄像头传感器可检测车辆中不同座位上的乘员、驾驶员的当前状态(是否处于睡眠状态)，还可检测车辆所处的当前环境的亮度等。可选的，压力传感器可检测车辆的不同座位上的压力数据(可用于判断座位上是否有乘员)，还可检测车辆的负载。可选的，红外传感数据可检测车辆内的乘员的人体体温或其他生物的温度，也可检测红外成像物体的位置、体积、活动频率等。

在一些实施例中，车辆所处的当前环境可以是摄像头传感器检测到的车辆在当前环境时车辆内的光线强度。也可以是由车辆的行车记录仪所采集到的车辆所处的当前环境的光线强度，在此不进行具体限定。

由于实际中，可能存在各种原因导致摄像头传感器检测到的传感数据不准确的问题，为了保证后续的识别结果的准确性，可以先进行异常传感数据过滤，具体的，可以采用孤立森林算法(Isolation Forest)或者Local Outlier Factor(局部异常因子，LOF)算法来排除异常传感数据。可选的，还可通过对图像传感数据进行降噪处理，以此保证后续的识别结果的准确性。

步骤S120，基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度。

目标置信度用于指示至少两种传感数据对识别结果的影响的概率。例如，若摄像头传感数据的目标置信度为0.9，则该摄像头传感数据对识别结果的影响为90％。在另一些实施例中，目标置信度还用于指示其对应的传感数据在进行识别时识别正确的概率。

作为一种方式，由于车辆的传感器随着环境的变化，对应所检测到传感数据也随之变化，当传感数据改变时，对应的目标置信度也随之改变。为了减小环境变化对识别结果的影响，可根据车辆所处的当前环境来确定至少两种传感数据各自对应的目标置信度。例如，可选的，若车辆所处的当前环境为夜晚，且车辆内的车灯并未打开，对应的，确定摄像头传感数据的目标置信度为0.2；可选的，若车辆内的收音机或其他电子设备正在播放多媒体，对应的，确定麦克风传感数据的目标置信度为0.2。其中，目标置信度可根据实际需要来设定，在此不进行具体限定。

在一些实施例中，可设置目标置信度预测网络，将至少两种传感数据输入目标置信度预测网络中确定至少两种传感数据各自对应的置信度。值得注意的是，目标置信度的确定方式仅为示意性举例，在此不加以限定。可选的，每种传感数据可存在一个目标置信度，各传感数据对应的目标置信度相同或者不同，在此不做限定。

作为另一种方式，可预先对各传感器对应的传感数据设置各自对应的预设置信度，然后在获取到车辆所处的当前环境后，根据车辆所处的当前环境来确定置信度的调整值，然后根据各传感数据置信度的调整值对各自对应的预设置信度进行调整，得到各传感数据对应的目标置信度。

作为再一种方式，车辆中的多个同类型的传感器会因为部署的位置不同，其对应的传感数据的目标置信度也不同。例如，部署在驾驶室的摄像头传感器与部署在后座的摄像头传感器各自对应的传感数据的目标置信度不同。

作为又一种方式，目标置信度还与识别任务相关，不同的识别任务对应的各传感数据对应的目标置信度不同。例如，当识别任务为识别驾驶员是否为车辆中预注册的驾驶员，其对应的红外传感数据的目标置信度就偏低，可设置为0.1。

步骤S130，基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重。

在一些实施例中，可将至少两种传感数据各自对应的目标置信度作为各自对应的权重。

在另一些实施例中，可预先设置车辆中各传感器对应的预设权重，然后根据各传感数据对应的目标置信度来确定各传感数据对应的权重。作为一种方式，若各传感数据对应的目标置信度低于置信度阈值时，可根据该传感数据对应的目标置信度来减小该传感器的预设权重，以此得到该传感数据对应的权重。例如，若预先设置一摄像头传感器的预设权重为0.7，其对应的传感数据的目标置信度为0.2，可确定该传感数据对应的权重为0.5。

步骤S140，将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施例中，识别结果可以是车辆的各座位上是否为乘员；车辆的后座是否有小孩或宠物；车辆中的乘员是否为预注册人脸声纹、座椅配置的家庭乘员；或者驾驶员的当前状态(例如是否接打电话、是否处于睡眠状态)等。

在一些实施例中，可以构建用于进行多模态识别的神经网络模型，将该用于多模态识别的神经网络模型称为多模态识别模型，可选的，该多模态识别模型可以通过卷积神经网络、循环神经网络、长短时记忆神经网络、全连接神经网络、前馈神经网络等来构建的。

为了保证识别结果的准确性，需要预先将多模态识别模型进行训练。作为一种方式，预先构建样本集合，该样本集合包括来自多种不同传感器的传感数据。其中，样本集合中包括各传感数据对应有各自的目标置信度，以及多种识别任务。在训练过程中，将至少两种传感数据输入至多模态识别模型中，多模态识别模型根据输入的至少两种传感数据以及对应的识别任务输出对应的样本识别结果，可选的，该样本识别结果可指示该样本集合中是否包括输入的至少两种传感数据所对应识别任务所指示的对象，以及该输入的传感数据所对应识别任务所指示的对象的信息(例如，对象在图像传感数据中的位置)。

之后基于输入的至少两种传感数据对应的样本识别结果计算损失函数的损失值，如果该损失值不收敛，则反向调整多模态识别模型的参数，并通过调整参数后的多模态识别模型再次针对在该样本集合中选取的输入的传感数据的组合对应的样本识别结果，并再次计算损失函数的损失值，直至该损失值收敛。

针对每一种输入的至少两种传感数据的组合，重复上述过程，当达到训练结束条件时，则结束多模态识别模型的训练。之后，将多模态识别模型用于线上进行识别，可以保证识别结果的准确性。在训练的过程中，多模态识别模型可自动学习样本集合中各传感数据之间的相关性。

在一些实施例中，步骤S140包括：根据所述至少两种传感数据，确定所述至少两种传感数据对应的识别任务；将所述识别任务、所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至所述多模态识别模型中进行识别，获得所述多模态识别模型输出的识别结果。

作为一种方式，可根据至少两种传感数据之间的相关性来确定该至少两种传感数据对应的识别任务。例如，若传感数据至少包括摄像头传感数据和麦克风传感数据对应的识别任务可以是识别车辆中的乘员是否为预注册人脸声纹、座椅配置的家庭乘员；若传感数据至少包括摄像头传感数据、红外传感数据和压力传感数据对应的识别任务可以是识别车辆中的各座位上是否有乘员或宠物；若传感数据至少包括摄像头传感数据和压力传感数据对应的识别任务可以是识别车辆中的各座位上的乘员的体重体型等。

作为另一种方式，可根据输入的至少两种传感数据之间的相关性来确定识别任务。可选的，多模态识别模型在训练的过程中学习了各传感数据之间的相关性，在线上应用的过程中，多模态识别模型可根据训练的过程中学习的各传感数据之间的相关性来确定输入的至少两种传感数据对应的识别任务。

作为又一种方式，可预先对该多模态识别模型设置多个识别任务，以及多个识别任务与至少两种传感数据之间的映射关系，然后根据至少两种传感数据和该映射关系来确定该至少两种传感数据对应的识别任务。

在本申请所提供的实施例中，先获取车辆中至少两种传感器各自对应的传感数据，由于车辆所处的当前环境的不同对各传感数据有着不同的影响，为了避免由于环境因素导致的各传感数据的置信度的变化，但应用时各传感数据置信度未发生改变而导致识别结果不够准确的问题，根据车辆所处的当前环境来确定至少两种传感数据各自对应的目标置信度，然后根据该目标置信度来确定各自对应的权重，最后将该至少两种传感数据和至少两种传感数据各自对应的权重输入至多模态识别模型中进行识别，并获得该多模态识别模型输出的识别结果。

本申请利用多模态识别的方法，融合车辆上现有的多种传感器对应的传感数据来进行识别，并根据车辆所处的当前环境来确定各传感数据对应的目标置信度，然后根据各传感数据对应的目标置信度来调整各传感数据各自对应的权重，以此来提高最后识别结果的准确性，避免由于某一传感器失效，或由于环境因素影响传感数据，进而导致识别结果与实际相差巨大的问题，同时提高了乘员的体验，并降低成本。

图3是根据本申请一实施例示出的基于多模态的识别方法的流程示意图，该方法应用于车辆，所述车辆包括至少两种传感器。该方法可以由具备计算处理能力的电子设备执行，电子设备例如台式电脑、笔记本电脑、车载终端、车机大屏等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行。如图3所示，该方法包括以下步骤：

步骤S210，获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境。

其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。

步骤S220，获取所述至少两种传感数据各自对应的预设置信度。

在一些实施例中，可对各传感器设置其对应的预设置信度，由传感器检测到的传感数据会相应有该预设置信度。作为一种方式，可对各传感器的预设置信度设置各自对应的标识，当各传感器输出各自对应的传感数据时，将各自对应的标识也设置于对应的传感数据中，然后可根据该标识来获取传感数据对应的预设置信度。

在一些实施例中，如图4所示，步骤S220包括：

步骤S221，确定所述至少两种传感器各自在所述车辆内的位置信息。

位置信息用于指示所对应传感器在车辆内的安装位置。由于传感器在车辆内的位置不同其对应的预设置信度可能也不同。作为一种方式，在安装各传感器时，对应设置各传感器的位置信息标签，可根据该位置信息标签来确定至少两种传感器各自在所述车辆内的位置信息。

步骤S222，基于所述至少两种传感器各自在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

在一些实施例中，可基于各传感器各自对应的位置信息与预设置信度之间的对应关系，来确定至少两种传感器对应的至少两种传感数据各自对应的预设置信度。作为一种方式，位置信息与预设置信度之间的对应关系可以预先设定，其中，一预设置信度可以是与一位置信息相对应，也可以是与多个位置信息相对应，在此不进行具体限定，可根据实际需要进行设定。可选的，位置信息与预设置信度之间的对应关系可以是：安装在车辆前方的传感器，预设置信度可以是0.8；安装在车辆左边的传感器或车辆右边的传感器，其预设置信度可以是0.5；具体的位置信息与预设置信度之间的对应关系可根据实际需要来设定，在此不进行具体限定。

作为另一种方式，可将不同安装位置的传感器预先做好不同的标识，并将每一标识与对应的预设置信度建立映射关系，当确定至少两种传感数据对应的传感器各自的位置信息后，可根据各传感器各自对应的标记来确定至少两种传感器对应的至少两种传感数据各自对应的预设置信度。

在一些实施例中，步骤S222包括：确定待识别对象在所述车辆内的位置信息；基于所述至少两种传感器各自在所述车辆内的位置信息和所述待识别对象在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

由于同一传感器对不同位置的待识别对象所检测到传感数据对应的预设置信度也不同，所以需要根据待识别对象的位置信息和对应的传感器在车辆内的位置信息来确定该传感器的传感数据对应的预设置信度。

作为一种方式，还可根据至少两种传感器检测的传感数据来确定车辆中待识别对象与传感器之间的距离，进而确定待识别对象在车辆内的位置信息。例如，可根据摄像头传感器检测到的图像触感数据中待识别对象在所图像触感数据中的深度值来确定待识别对象与摄像头传感器之间的距离，可选的，可将该深度值作为待识别对象与摄像头传感器之间的距离。

作为另一种方式，可根据待识别对象是否在车辆内的座位上来确定待识别对象的位置信息。可先根据传感数据来确定各座位是否有待识别对象，当确定有待识别对象后，将待识对象所在的座位在车辆内的位置信息作为待识别对象在车辆内的位置信息。

请继续参阅图3，步骤S230，基于所述车辆所处的当前环境对所述至少两种传感数据各自对应的所述预设置信度进行调整，获得所述至少两种传感数据各自对应的所述目标置信度。

在一些实施例中，可根据车辆所处的当前环境来确定需要对至少两种传感数据各自对应的预设置信度需要进行调整的调整置信度值，然后根据该调整置信度值对预设置信度进行调整，以此得到至少两种传感数据各自对应的目标置信度。

在另一些实施例中，还可结合车辆的当前信息来确定至少两种传感数据各自对应的目标置信度。其中，车辆的当前信息可包括车辆的当前行驶信息和车辆的车窗状态。作为一种方式，若车辆的当前信息中表示车辆的车速大于车速阈值并且车窗处于打开状态，此时，麦克风传感器所检测到的传感数据中噪声多，则相应将麦克风传感器所检测待到的传感数据的预设置信度进行调整，以此得到该传感数据对应的目标置信度；可以理解的是，在至少两种传感数据中的至少一种传感数据对应的目标置信度低于预设置信度时，则相应提高其他传感数据对应的预设置信度，以此得到至少两种传感数据各自对应的目标置信度。

在另一些实施例中，若传感器为压力传感器，对应的可预先设置其对应的预设置信度，当压力传感器所检测的压力传感数据在预设时长内不发生改变或压力传感数据中的压力值处于预设范围内，将压力传感数据对应的目标置信度设置为0。其中，当压力传感器所检测的压力传感数据在预设时长内不发生改变或压力传感数据中的压力值处于预设范围内时，可确定该压力传感器当前所在的座椅上无乘员。其中，预设时长和预设范围可根据实际需要来设置，在此不进行具体的限定。

步骤S240，基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重。

步骤S250，将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

其中，步骤S240和步骤S250的具体描述请参阅步骤S130和步骤S140，在此不再赘述。

在申请所提供的实施例中，通过获取各传感数据各自对应的预设置信度，并根据各传感器在车辆内的位置信息以及待识别对象的位置信息来对传感数据对应的预设置信度进行调整，以此得到各传感数据各自对应的目标置信度，与图2所示的实施例相比，本实施例能够根据各传感器在车辆内的位置信息以及待识别对象的位置信息来确定各传感数据对应的目标置信度，使得目标置信度更加贴合实际情况，使得最后的识别结果更加准确。

图5是根据本申请一实施例示出的基于多模态的识别方法的流程示意图，该方法应用于车辆，所述车辆包括至少两种传感器。该方法可以由具备计算处理能力的电子设备执行，电子设备例如台式电脑、笔记本电脑、车载终端、车机大屏等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行。如图5所示，该方法包括以下步骤：

步骤S310，获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境。

步骤S320，基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度。

步骤S330，基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重。

其中，步骤S310-步骤S330的具体描述请参阅步骤S110-步骤S130，在此不再赘述。

步骤S340，基于所述至少两种传感数据各自对应的权重，对所述至少两种传感数据的数据特征进行加权融合，得到融合特征。

由于不同的传感数据的表现形式不同，检测相同的检测对象时会得到不同维度或角度的传感数据，但这些不同的传感数据之间存在交叉、互补的现象，甚至不同的传感数据之间可能还存在多种不同的信息的交互。以此，对不同的传感数据进行融合，得到的融合特征比单独的触感数据对应的特征更加丰富。可选的，对至少两种传感数据进行融合可分为对原始数据进行融合(pixel level)和对抽象特征进行融合(feature level)。

作为一种方式，对至少两种传感数据进行加权融合可以是，先确定至少两种传感数据各自对应的特征向量，然后根据各传感数据各自对应的权重将至少两种特征向量组合成复合特征向量。例如，若一传感数据对应的特征向量为x，该传感数据对应的权重为a；另一传感数据对应的特征向量为y，该传感数据对应的权重为b；得到的复合特征向量为z，其中，z＝a*x+b*y。

作为另一种方式，可先将单个模态下的传感数据对应的数据特征进行融合(即，将相同类型的传感数据进行融合，可选的，可通过加权平均来进行融合)，得到单模态融合数据，然后根据各传感数据对应的权重进行加权平均确定单模态权重，然后根据各单模态融合数据和各单模态融合数据各自对应的单模态权重进行融合，得到融合特征。

作为再一种方式，可根据各传感数据各自对应的权重和各传感数据对应的数据特征进行加权和/加权平均和计算，以此得到融合特征。

作为又一种方式，可预先构建一融合特征网络，将各传感数据对应的数据特征与各传感数据各自对应的权重输入融合特征网络，以此得到融合特征。可选的，该融合特征网络可设置于多模态识别模型中。

步骤S350，将所述融合特征输入至所述多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施中，多模态识别模型根据该融合特征进行识别可以是进行身份识别、人物识别、对驾驶员的疲劳监测进行识别、乘员特征识别等。

作为一种方式，多模态识别模型可根据融合特征对车辆内的乘员进行预测，将预测结果与预注册的家庭乘员的信息进行匹配，将匹配结果作为其识别结果。可选的，可设定预测标签，将融合特征与预测标签进行匹配，与融合特征存在匹配关系的预测标签即为该融合特征的预测结果；可选的，还可对融合特征与识别任务进行关联度分析，根据关联度分析结果确定融合特征的预测结果。

在本申请所提供的实施例中，通过根据各传感数据对应的权重来对应各传感数据进行融合，以此得到融合特征，并且多模态识别模型能够根据该融合特征进行识别，以此提高识别的准确性。

图6是根据本申请一实施例示出的基于多模态的识别方法的流程示意图，该方法应用于车辆，所述车辆包括至少两种传感器。该方法可以由具备计算处理能力的电子设备执行，电子设备例如台式电脑、笔记本电脑、车载终端、车机大屏等终端设备，该方法还可以由包括服务器和终端的处理系统来交互执行。如图6所示，该方法包括以下步骤：

步骤S410，获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境。

步骤S420，基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度。

步骤S430，基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重。

步骤S440，将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

其中，步骤S410-步骤S440的具体描述请参阅步骤S110-步骤S140，在此不再赘述。

步骤S450，根据所述识别结果输出提示信息，其中，所述提示信息用于提示用户根据所述识别结果进行处理。

在一些实施例中，该提示信息指示当前车辆中还有小孩或者宠物。可选的，该提示信息还可以用于提示用于当前车辆中的乘员是否为预注册的家庭乘员；可选的，还可用于提示车辆中的乘员驾驶员当前是否是疲劳驾驶；可选的，还可用于提示车辆中的乘员是否显示针对乘员所提供的个性化推荐内容；可选的，还可以用于提示车辆中的乘员是否根据乘员的身材体型等进行座椅调整等。

作为一种方式，该提示信息可以是显示在车机大屏上，也显示在与车辆通信连接的电子设备。显示提示信息的方式可以是弹窗显示，也可以是以短信的方式进行显示，可根据实际需要来设定，在此不进行具体限定。

在本申请所提供的实施例中，通过根据识别结果来输出提示信息，用户能够根据该提示信息来进行相应的处理，以此提高车辆中乘员的体验感，并且能够提高车辆的行车安全。

图7是根据本申请一实施例示出的基于多模态的识别装置的框图，如图7所示，该基于多模态的识别装置700应用于车辆，所述车辆包括至少两种传感器，该装置包括：传感数据获取模块710、目标置信度确定模块720、权重确定模块730和识别结果获取模块740，其中：

传感数据获取模块710，用于获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；目标置信度确定模块720，用于基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；权重确定模块730，用于基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；识别结果获取模块740，用于将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施例中，目标置信度确定模块720包括：预设置信度获取子模块，用于获取所述至少两种传感数据各自对应的预设置信度；目标置信度确定子模块，用于基于所述车辆所处的当前环境对所述至少两种传感数据各自对应的所述预设置信度进行调整，获得所述至少两种传感数据各自对应的所述目标置信度。

在一些实施例中，预设置信度获取子模块包括：位置信息确定单元，用于确定所述至少两种传感器各自在所述车辆内的位置信息；预设置信度确定单元，用于基于所述至少两种传感器各自在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

在一些实施例中，预设置信度确定单元包括：位置信息确定子单元，用于确定待识别对象在所述车辆内的位置信息；预设置信度确定子单元，用于基于所述至少两种传感器各自在所述车辆内的位置信息和所述待识别对象在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

在一些实施例中，识别结果获取模块740包括：识别任务确定子模块，用于根据所述至少两种传感数据，确定所述至少两种传感数据对应的识别任务；识别结果获取第一子模块，用于将所述识别任务、所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至所述多模态识别模型中进行识别，获得所述多模态识别模型输出的识别结果。

在一些实施例中，识别结果获取模块740还包括：加权融合子模块，用于基于所述至少两种传感数据各自对应的权重，对所述至少两种传感数据的数据特征进行加权融合，得到融合特征；识别结果获取第二子模块，用于将所述融合特征输入至所述多模态识别模型中，获得所述多模态识别模型输出的识别结果。

在一些实施例中，基于多模态的识别装置700还包括：输出模块，用于根据所述识别结果输出提示信息，其中，所述提示信息用于提示用户根据所述识别结果进行处理。

根据本申请实施例的一个方面，还提供了一种电子设备，如图8所示，该电子设备800包括处理器810以及一个或多个存储器820，一个或多个存储器820用于存储被处理器810执行的程序指令，处理器810执行程序指令时实施上述的对象识别方法。

进一步地，处理器810可以包括一个或者多个处理核。处理器810运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

根据本申请的一个方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于多模态的识别方法，其特征在于，应用于车辆，所述车辆包括至少两种传感器，所述方法包括：

获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；

基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；

基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；

将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度，包括：

获取所述至少两种传感数据各自对应的预设置信度；

基于所述车辆所处的当前环境对所述至少两种传感数据各自对应的所述预设置信度进行调整，获得所述至少两种传感数据各自对应的所述目标置信度。

3.根据权利要求2所述的方法，其特征在于，所述获取所述至少两种传感数据各自对应的预设置信度，包括：

确定所述至少两种传感器各自在所述车辆内的位置信息；

基于所述至少两种传感器各自在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述至少两种传感器各自在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的预设置信度，包括：

确定待识别对象在所述车辆内的位置信息；

基于所述至少两种传感器各自在所述车辆内的位置信息和所述待识别对象在所述车辆内的位置信息，确定所述至少两种传感器对应的至少两种传感数据各自对应的所述预设置信度。

5.根据权利要求1所述的方法，其特征在于，所述将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果，包括：

根据所述至少两种传感数据，确定所述至少两种传感数据对应的识别任务；

将所述识别任务、所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至所述多模态识别模型中进行识别，获得所述多模态识别模型输出的识别结果。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果，包括：

基于所述至少两种传感数据各自对应的权重，对所述至少两种传感数据的数据特征进行加权融合，得到融合特征；

将所述融合特征输入至所述多模态识别模型中，获得所述多模态识别模型输出的识别结果。

7.根据权利要求1-5任一项所述的方法，其特征在于，在所述将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果之后，还包括：

根据所述识别结果输出提示信息，其中，所述提示信息用于提示用户根据所述识别结果进行处理。

8.一种基于多模态的识别装置，其特征在于，应用于车辆，所述车辆包括至少两种传感器，所述装置包括：

传感数据获取模块，用于获取通过所述至少两种传感器检测到的所述车辆内的至少两种传感数据，并获取所述车辆所处的当前环境；

目标置信度确定模块，用于基于所述车辆所处的当前环境，确定所述至少两种传感数据各自对应的目标置信度；

权重确定模块，用于基于所述至少两种传感数据各自对应的目标置信度，确定所述至少两种传感数据各自对应的权重；

识别结果获取模块，用于将所述至少两种传感数据和所述至少两种传感数据各自对应的权重输入至多模态识别模型中，获得所述多模态识别模型输出的识别结果。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。

Images