CN110826436A - 情绪数据传输及处理方法、装置、终端设备、云平台 - Google Patents

Abstract

一种情绪数据传输及处理方法、装置、终端设备、云平台，所述情绪数据传输方法包括：从摄像头定期获取图像，所述图像包括目标对象的面部信息；对所述目标对象的面部信息进行情绪分析；若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。上述方案在兼顾上报的情绪数据的完整性的同时，可以有效的减小上报的情绪数据的数据量。

Description

情绪数据传输及处理方法、装置、终端设备、云平台

技术领域

本发明实施例涉及数据传输领域，尤其涉及一种情绪数据传输及处理方法、装置、终端设备、云平台。

背景技术

在无人试驾业务场景中，通常在试驾车辆中安装有两个摄像头，安装在车辆内朝向驾驶员的对内摄像头用于采集试驾用户的情绪。安装在车辆上朝向车外的对外摄像头，用于行程记录。

然而，为了能够较好的捕捉用户的情绪变化，对内摄像头通常需要高频采集用户情绪数据，将会导致待传输的情绪数据量较大，对终端设备的数据传输能力要求较高。

发明内容

本发明实施例解决的技术问题传输的情绪数据量较大。

为解决上述技术问题，本发明实施例提供一种情绪数据传输方法，包括：从摄像头定期获取图像，所述图像包括目标对象的面部信息；对所述目标对象的面部信息进行情绪分析；若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。

可选的，所述若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，包括以下任一种：若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息；若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

可选的，所述表情包括情绪类表情和中性表情，其中情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。

可选的，所述情绪数据传输方法还包括：若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件时，不上报情绪信息。

本发明实施例还提供一种情绪数据处理方法，包括：接收情绪信息，所述情绪信息包括目标对象的表情采集时刻点以及当前的表情标识；获取当前接收的所述情绪信息中所述目标对象的表情采集时刻点，以及上次接收的情绪信息中所述目标对象的表情采集时刻点；基于摄像头采集图像的频率，确定当前接收的所述情绪信息中所述目标对象的表情采集时刻点与上次接收的情绪信息中所述目标对象的表情采集时刻点之间的间隔时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据，得到完整的情绪数据。

本发明实施例还提供一种情绪数据传输装置，包括：第一获取单元，适于从摄像头定期获取图像，所述图像包括目标对象的面部信息；情绪分析单元，适于对所述目标对象的面部信息进行情绪分析；上报单元，适于若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。

可选的，所述上报单元适于若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息；或者若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

可选的，所述表情包括情绪类表情和中性表情，其中情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。

可选的，所述情绪分析单元，还适于若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件时，则不上报情绪信息。

本发明实施例还提供一种云平台，包括：接收单元，适于接收情绪信息，所述情绪信息包括目标对象的表情采集时刻点以及当前的表情标识；第二获取单元，适于获取当前接收的所述情绪信息中所述目标对象的表情采集时刻点，以及上次接收的情绪信息中所述目标对象的表情采集时刻点；还原单元，适于基于摄像头采集图像的频率，确定当前接收的所述情绪信息中所述目标对象的表情采集时刻点与上次接收的情绪信息中所述目标对象的表情采集时刻点之间的时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据，得到完整的情绪数据。

本发明实施例还提供一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种情绪数据传输方法的步骤。

本发明实施例还提供一种云平台，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种情绪数据传输方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种情绪数据传输方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

由于从摄像头定期获取的数据中包括目标对象的面部信息，通过对获取的面部对象的面部信息进行情绪分析，若当前情绪分析结果对应的目标对象的表情满足设定的情绪上报条件时，上报情绪信息，也即只有在目标对象的情绪符合情绪上报条件时，才会进行情绪数据上报，相对现有技术中实时上报采集的所有情绪数据而言，在兼顾上报的情绪数据的有效性的同时，可以有效的减小上报的情绪数据的数据量。

此外，由于可以减小上报的情绪数据的数据量，从而降低对终端设备的数据传输能力的要求是可以预期的。

附图说明

图1是本发明实施例中的一种情绪数据传输方法的流程图；

图2是本发明实施例中的一种情绪数据处理方法的流程图；

图3是本发明实施例中的一种情绪数据传输装置的结构示意图；

图4是本发明实施例中的一种云平台的结构示意图。

具体实施方式

如上所述，为了能够较好的捕捉用户的情绪变化，对内摄像头通常需要高频采集用户情绪数据，将会导致待传输的情绪数据量较大，对终端设备的数据传输能力以及数据存储能力要求较高。

在本发明实施例中，由于从摄像头定期获取的数据中包括目标对象的面部信息，通过对获取的面部对象的面部信息进行情绪分析，若当前情绪分析结果对应的目标对象的表情满足设定的情绪上报条件时，上报情绪信息，也即只有在目标对象的情绪符合情绪上报条件时，才会进行情绪数据上报，相对现有技术中实时上报采集的所有情绪数据而言，在兼顾上报的情绪数据的有效性的同时，可以有效的减小上报的情绪数据的数据量。

为使本发明实施例的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图1，给出了本发明实施例中的一种情绪数据传输方法的流程图。具体可以包括如下步骤：

步骤11，从摄像头定期获取图像。

在具体实施中，可以通过车辆内安装有摄像头定期获取图像，也可以通过终端设备上安装的摄像头定期获取图像。摄像头可以面向驾驶员(目标对象)的头面部，以定期采集包括目标对象的面部信息的图像。

在本发明实施例中，图像可以包括照片或视频等。

步骤12，对所述目标对象的面部信息进行情绪分析。

在具体实施中，可以从图像中获取目标对象的面部信息，并对目标对象的面部信息进行情绪分析，以确定目标对应的表情，通过目标对象的表情，可以得到目标对象的当前情绪。

在本发明实施例中，可以通过对目标对象的面部的照片或者视频进行人脸图像识别及分析，确定目标对象的表情，得到情绪分析结果。

步骤13，若当前情绪分析结果对应的目标对象的表情满足设定的情绪上报条件时，上报情绪信息

在具体实施中，若当前情绪分析结果对应的目标对象的表情满足设定的情绪上报条件时，则表征目标对象的情绪发生变化，记录目标对象的表情采集时刻点以及当前的表情标识，并上报情绪信息，其中，情绪信息可以包括目标对象的表情采集时刻点以及当前的表情标识。

表情可以包括情绪类表情以及中性表情，其中情绪类表情可以包括如下至少一种：开心、惊喜、不开心、愤怒等。可以理解的是，根据不同的表情分类方式以及对表情的分类细化程度，表情还可以包括其他表情种类，例如无奈、惆怅、痛苦或者皱眉等，此处不再一一举例说明。

在本发明一实施例中，每个表情可以存在一种或多种预设的示例图像，将目标对象的图像与示例图像进行相似度比对，根据相似度比对结果，确定目标对象对应的表情。

在本发明另一实施例中，可以采用深度神经网络学习方法，对目标对象的图像进行处理，确定目标对象对应的表情。

可以理解的是，还可以采用其他方式确定目标对象对应的表情。

在具体实施中，表情标识用于标识并区分不同的表情。例如，愤怒的表情对应的表情标识为1、不开心的表情对应的表情标识为2、惊喜的表情对应的表情标识为3、开心的表情对应的表情标识为4。可以理解的是，还可以采用字符或者其他标识作为表情标识，此处不再一一举例说明。

在本发明实施例中，可以将获取当前图像的时刻点作为目标对象的情绪采集时刻点。

在具体实施中，预设情绪上报条件可以为当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，也可以为当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，可以理解的是，还可以为其他条件。

在本发明一实施例中，若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息。

例如，第一次采集的图像的情绪分析结果对应的目标对象的表情为不开心，记录第一次采集图像的时刻点以及不开心表情的表情标识2，并上报第一次采集图像的时刻点以及情绪标识2。第二次采集的图像的情绪分析结果对应的目标对象的表情为不开心，由于第二次情绪分析结果对应的表情不开心与第一次情绪分析结果对应的表情不开心相同，不上报。第三次采集的图像的情绪分析结果对应的目标对象的表情为不开心，由于第三次情绪分析结果对应的表情不开心与第二次情绪分析结果对应的表情不开心相同，不上报。第四次采集的图像的情绪分析结果对应的目标对象的表情为开心，由于第四次情绪分析结果对应的表情开心与第三次情绪分析结果对应的表情不开心不相同，也即目标对象的情绪发生变化，记录第四次图像采集时刻点并作为目标对象表情采集时刻点，并打包目标对象表情采集时刻点以及表情标识作为情绪信息，将情绪信息上传至云平台。也即连续采集的四次目标对象的图像分别对应的表情为三次不开心和一次开心时，只记录第一次的表情为不开心时对应的情绪信息以及第一次的开心时对应的情绪信息，中间第二次和第三次表情为不开心对应的数据则忽略不进行上报，采用缺省上报情绪数据的方式可以有效地减小需要上报的数据量。

在实际应用中，用户在进行无人试驾过程中，通常大部分时间可能为中性表情，也即没有太大的情绪波动或变化，采用本发明上述实施例提供的情绪数据传输方法，只需要上报首次中性表情时的情绪数据即可，中间长期处于中性表情的情绪数据则无须上报，相比现有技术中需要上报所有的情绪数据而言，可以有效地减小上报的情绪数据的数据量。

在本发明另一实施例中，若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。当用户的表情为中性表情时，则不上报。

例如，第一次采集的图像的情绪分析结果对应的目标对象的表情为不开心，记录第一次采集图像的时刻点以及不开心表情的表情标识2，不开心的表情标识2属于预设的情绪类表情，上报情绪数据。第二次采集的图像的情绪分析结果对应的目标对象的表情为不开心，不开心的表情标识2属于预设的情绪类表情，上报情绪数据。第三次采集的图像的情绪分析结果对应的目标对象的表情为中性表情，则不上报。

在具体实施中，若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件，不上报情绪信息，根据实际应用需求，有选择性地进行情绪数据上报，可以兼顾对情绪数据的应用需求的情况下，降低需要上报的情绪数据量。

由上可知，由于从摄像头定期获取的数据中包括目标对象的面部信息，通过对获取的面部对象的面部信息进行情绪分析，若当前情绪分析结果对应的目标对象的表情满足设定的情绪上报条件时，上报情绪信息，也即只有在目标对象的情绪符合情绪上报条件时，才会进行情绪数据上报，相对现有技术中实时上报采集的所有情绪数据而言，在兼顾上报的情绪数据的有效性的同时，可以有效的减小上报的情绪数据的数据量。

本发明实施例还提供一种情绪数据处理方法，可以用于云平台对情绪数据处理。参照图2，给出了本发明实施例中的一种情绪数据处理方法的流程图，具体可以包括如下步骤：

步骤21，接收情绪信息。

在具体实施中，云平台可以接收终端设备发送的情绪信息，其中，情绪信息可以包括目标对象的表情采集时刻点以及当前的表情标识。

步骤22，获取当前接收的所述情绪信息中目标对象的表情采集时刻点，以及上次接收的情绪信息中目标对象的表情采集时刻点。

在具体实施中，当云平台接收到情绪信息后，可以从情绪信息中获取目标对象的表情采集时刻点。云平台也可以基于所存储的数据，判断是否存在历史接收的情绪信息。当存在历史接收的情绪信息时，云平台可以获取上次接收的情绪信息中目标对象的表情采集时刻点。

步骤23，基于摄像头采集图像的频率，确定当前接收的所述情绪信息中目标对象的表情采集时刻点与上次接收的情绪信息中目标对象的表情采集时刻点之间的时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据，得到完整的情绪数据。

在具体实施中，云平台可以根据所获取的当前接收的所述情绪信息中目标对象的表情采集时刻点与上次接收的情绪信息中目标对象的表情采集时刻点之间的间隔时间段，以及摄像头采集图像的频率，计算在间隔时间段内摄像头采集图像的次数。云平台可以根据间隔时间段内摄像头采集图像的次数、当前接收的情绪信息中的目标对象的表情标识以及上次接收的情绪信息中的目标对象的表情标识，以及终端设备的情绪信息的情绪上报条，对省略的情绪数据进行还原，得到完成的情绪数据。

省略的情绪数据与情绪数据的上报方式相关。例如，终端设备的情绪上报条件为当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，省略的情绪数据对应的表情标识与上次接收的情绪信息中目标对象的表情标识相同。又如，终端设备的情绪上报条件为当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，省略的情绪数据也可以为不属于情绪类表情的中性表情或者无效表情等。

终端设备采用缺省上报的方式有选择性地将情绪数据上报至云平台，可以减小终端设备的数据传输量。例如，终端设备在当前情绪分析结果对应的目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息。又如，终端设备在当前情绪分析结果对应的目标对象的表情为预设的情绪类表情，上报情绪信息。而云平台可以基于终端设备的所采用的上报条件，通过对情绪数据进行还原，得到完整的情绪数据，可以在减小终端设备的数据传输的情况下，确保情绪数据的完整性。

参照图3，给出了本发明实施例中的一种情绪数据传输装置的结构示意图。情绪数据传输装置30可以包括第一获取单元31、情绪分析单元32以及上报单元33，其中：

第一获取单元31，适于从摄像头定期获取图像，所述图像包括目标对象的面部信息；

情绪分析单元32，适于对所述目标对象的面部信息进行情绪分析；

上报单元33，适于若当前情绪分析结果对应的所述目标对象的表情与满足设定的情绪上报条件时，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。

在具体实施中，所述上报单元33适于若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息；或者若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

在具体实施中，所述表情包括情绪类表情和中性表情，其中情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。

在具体实施中，所述情绪分析单元32，还适于若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件时，不上报情绪信息。

在具体实施中，情绪数据传输装置30的工作原理及工作流程，可以参考本发明上述任一实施例提供的情绪数据传输方法中的描述，此处不再赘述。

本发明实施例还提供一种云平台，参照图4，给出了本发明实施例中的一种云平台的结构示意图。云平台40可以包括：接收单元41、第二获取单元42以及还原单元43，其中：

接收单元41，适于接收情绪信息，所述情绪信息包括目标对象的表情采集时刻点以及当前的表情标识；

第二获取单元42，适于获取当前接收的所述情绪信息中所述目标对象的表情采集时刻点，以及上次接收的情绪信息中所述目标对象的表情采集时刻点；

还原单元43，适于基于摄像头采集图像的频率，确定当前接收的所述情绪信息中所述目标对象的表情采集时刻点与上次接收的情绪信息中所述目标对象的表情采集时刻点之间的时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据。

在具体实施中，省略的情绪数据对应的表情可以与所述上次接收的情绪信息中所述目标对象的表情相同。省略的情绪数据对应的表情也可以为中心表情。省略的情绪数据对应的表情还可以为无效表情，无效表情指除了情绪类表情以及中性表情之外的其他表情。

本发明实施例还提供一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述任一实施例提供的情绪数据传输方法的步骤。

本发明实施例还提供一种云平台，存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述任一实施例提供的情绪数据处理方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行本发明上述任一实施例提供的情绪数据传输方法的步骤，或者情绪数据处理方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于任一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种情绪数据传输方法，其特征在于，包括：

从摄像头定期获取图像，所述图像包括目标对象的面部信息；

对所述目标对象的面部信息进行情绪分析；

若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。

2.如权利要求1所述的情绪数据传输方法，其特征在于，所述若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，包括以下任一种：

若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息；

若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

3.如权利要求2所述的情绪数据传输方法，其特征在于，所述情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。

4.如权利要求1所述的情绪数据传输方法，其特征在于，还包括：若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件时，不上报情绪信息。

5.一种情绪数据处理方法，其特征在于，包括：

接收情绪信息，所述情绪信息包括目标对象的表情采集时刻点以及当前的表情标识；

获取当前接收的所述情绪信息中所述目标对象的表情采集时刻点，以及上次接收的情绪信息中所述目标对象的表情采集时刻点；

基于摄像头采集图像的频率，确定当前接收的所述情绪信息中所述目标对象的表情采集时刻点与上次接收的情绪信息中所述目标对象的表情采集时刻点之间的间隔时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据，得到完整的情绪数据。

6.一种情绪数据传输装置，其特征在于，包括：

第一获取单元，适于从摄像头定期获取图像，所述图像包括目标对象的面部信息；

情绪分析单元，适于对所述目标对象的面部信息进行情绪分析；

上报单元，适于若当前情绪分析结果对应的所述目标对象的表情满足设定的情绪上报条件时，上报情绪信息，其中，所述情绪信息包括所述目标对象的表情采集时刻点以及当前的表情标识。

7.如权利要求6所述的情绪数据传输装置，其特征在于，所述上报单元适于若当前情绪分析结果对应的所述目标对象的表情与上次情绪分析结果对应的表情不同，上报情绪信息；或者若当前情绪分析结果对应的所述目标对象的表情为预设的情绪类表情，上报情绪信息。

8.如权利要求7所述的情绪数据传输装置，其特征在于，所述表情包括情绪类表情和中性表情，其中情绪类表情包括以下至少一种：开心、惊喜、不开心、愤怒。

9.如权利要求6所述的情绪数据传输装置，其特征在于，所述情绪分析单元，还适于若当前情绪分析结果对应的所述目标对象的表情不满足设定的情绪上报条件时，不上报情绪信息。

10.一种云平台，其特征在于，包括：

接收单元，适于接收情绪信息，所述情绪信息包括目标对象的表情采集时刻点以及当前的表情标识；

第二获取单元，适于获取当前接收的所述情绪信息中所述目标对象的表情采集时刻点，以及上次接收的情绪信息中所述目标对象的表情采集时刻点；

还原单元，适于基于摄像头采集图像的频率，确定当前接收的所述情绪信息中所述目标对象的表情采集时刻点与上次接收的情绪信息中所述目标对象的表情采集时刻点之间的时间段，并基于终端设备的情绪信息的情绪上报条件还原省略的情绪数据，得到完整的情绪数据。

11.一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至4任一项所述的情绪数据传输方法的步骤。

12.一种云平台，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求5所述的情绪数据处理方法的步骤。

13.一种计算机可读存储介质，计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至4任一项所述的情绪数据传输方法的步骤，或者执行权利要求5所述的情绪数据处理方法的步骤。

Images