CN110475023A - 情景数据处理方法、装置、电子设备及计算机可读介质 - Google Patents

Abstract

本申请公开了一种情景数据处理方法、装置、电子设备及计算机可读介质，属于移动终端技术领域。该方法包括：第一处理器获取采集装置采集的情景数据；在情景数据中查找满足预设条件的情景数据作为待确认情景数据；将待确认情景数据发送至第二处理器，指示第二处理器根据深度学习模型分析待确认情景数据，以识别出当前情景模式，并根据当前情景模式控制电子设备执行预设操作。因此，相比将采集装置采集的情景数据全部发送至第二处理器的深度学习模型分析分析，本申请实施例能够对采集装置采集的数据进行过滤，将满足预设条件的数据发送至第二处理器，能够减少计算量，从而能够降低功耗。

Description

情景数据处理方法、装置、电子设备及计算机可读介质

技术领域

本申请涉及移动终端技术领域，更具体地，涉及一种情景数据处理方法、装置、电子设备及计算机可读介质。

背景技术

手机是用户在日常生活和工作使用最频繁的工具，手机中产生着大量用户使用行为数据、传感器数据和周围环境数据。如果充分利用这些数据，能够分析出手机当前的情景模式，然后，情景感知方法要在手机上实现，会导致手机功耗增加。

发明内容

本申请提出了一种情景数据处理方法、装置、电子设备及计算机可读介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种情景数据处理方法，应用于电子设备的第一处理器，所述电子设备还包括采集装置和第二处理器，所述第二处理器内设置有深度学习模型，所述方法包括：所述第一处理器获取所述采集装置采集的情景数据；在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据；将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

第二方面，本申请实施例还提供了一种情景数据处理方法，应用于电子设备的第二处理器，所述电子设备还包括采集装置和第一处理器，所述第二处理器内设置有深度学习模型，所述方法包括：获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据；根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式；根据所述当前情景模式控制所述电子设备执行预设操作。

第三方面，本申请实施例还提供了一种情景数据处理装置，应用于电子设备的第一处理器，所述电子设备还包括采集装置和第二处理器，所述第二处理器内设置有深度学习模型，所述装置包括：采集单元、查找单元和发送单元。采集单元，用于获取所述采集装置采集的情景数据。查找单元，用于在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据。发送单元，用于将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

第四方面，本申请实施例还提供了一种情景数据处理装置，应用于电子设备的第二处理器，所述电子设备还包括采集装置和第一处理器，所述第二处理器内设置有深度学习模型，所述装置包括：获取单元、识别单元和执行单元。获取单元，用于获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据。识别单元，用于根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式。执行单元，用于根据所述当前情景模式控制所述电子设备执行预设操作。

第五方面，本申请实施例还提供了一种电子设备，包括：采集装置；第一处理器和第二处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述第一处理器和所述第二处理器执行，所述一个或多个程序配置用于执行上述方法。

第六方面，本申请实施例还提供了一种计算机可读介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请提供的情景数据处理方法、装置、电子设备及计算机可读介质，采集装置采集的情景数据发送至第一处理器，而第一处理器对该情景数据进行过滤，具体地，在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据，则该待确认情景数据为第一处理器从采集装置采集的情景数据中过滤后剩下的满足预设条件的情景数据，然后，将所述待确认情景数据发送至所述第二处理器，第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。因此，相比将采集装置采集的情景数据全部发送至第二处理器的深度学习模型分析分析，本申请实施例能够对采集装置采集的数据进行过滤，将满足预设条件的数据发送至第二处理器，能够减少计算量，从而能够降低功耗。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了现有的情景模式分析装置的示意图；

图2示出了本申请实施例提供的QMI协议传输通道的示意图；

图3示出了本申请一实施例提供的情景数据处理方法的方法流程图；

图4示出了本申请另一实施例提供的情景数据处理方法的方法流程图；

图5示出了本申请提供的情景模式分析装置的示意图；

图6示出了本申请又一实施例提供的情景数据处理方法的方法流程图；

图7示出了本申请提供的乘坐地铁模式的示意图；

图8示出了本申请再一实施例提供的情景数据处理方法的方法流程图；

图9示出了本申请一实施例提供的情景数据处理装置的模块框图；

图10示出了本申请另一实施例提供的情景数据处理装置的模块框图；

图11示出了本申请实施例提供的电子设备的结构框图；

图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的情景数据处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

移动终端是每一位用户在日常生活和工作使用最频繁的工具，移动终端系统中产生着大量用户使用行为数据、传感器数据和周围环境数据。如何充分利用这些数据，发挥其价值是情景感知要解决的问题；另一方面，情景感知要在移动终端上真正落地，如何在保证正确感知的情况下，又不因为大量实时计算而导致移动终端功耗增加是一个必须要解决的问题。

因此，移动终端能够根据所采集的传感数据分析出当前所处的情景模式，例如，白天模式、夜晚模式、走路模式、开车模式等，再根据所确定的情景模式执行对应的操作。具体地，请参阅图1，示出了一种情景模式分析装置，该装置可以安装在移动终端内。

如图1所示，该装置包括传感器接口以及多个传感器和应用处理器(ApplicationProcessor，AP)，其中，传感器接口设置在基带处理器(Baseband Processor，BP)内。

具体地，传感器接口为SensorHub，Sensor hub即智能传感集线器，是一种基于低功耗MCU和轻量级RTOS操作系统之上的软硬件结合的解决方案，其主要功能是连接并处理来自各种传感器设备的数据。具体地，移动终端内的传感器可以包括陀螺仪、加速度计、光照传感器和其他传感器。SensorHub负责采集各个传感器的数据并且处理之后交给AP处理器。

其中，BP处理器是移动终端内运行射频通讯控制软件的处理器，具体地，BP主要的作用就是负责发送和接受各种数据。按照gsm或者3g的协议，BP中的DSP处理器实现了协议的算法，对数据进行编解码，而BP中的CPU处理器则负责协调控制与基站和AP的通信。

AP是一个SoC(System on Chip的缩写，称为系统级芯片,也有称片上系统,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容。)，不像通用计算机这样，硬件和系统可以分开由厂家来设计。AP的硬件都继承在一块芯片上，各模块逻辑上互相独立，均通过总线连接起来。具体地，AP为移动终端上的操作系统、用户界面和应用程序的处理器，一般采用ARM芯片的CPU。具体地，在AP侧可以布置一些算法，例如，该算法可以是情景感知模型，通过该情景感知模型能够根据情景数据分析出当前的情景模式。

如图2所示，终端设备TE与MSM之间通过QMI(Qualcomm MSM Interface)协议通信，其中，MSM为Mobile station mode，斜线部分为数据通道，用于传输数据，而网格线部分为控制通道，用于传输控制指令。则QMI协议能够实现终端设备TE与MSM之间通信，而在移动终端内部的两个处理器，即BP和AP之间也可以通过QMI协议通信，具体地，可以将BP和AP看作是两个主机，具体地，QMI为高通推出的作用用于AP和BP侧的交互，通俗说法就是让设备终端TE(可以是手机，PDA，计算机)，对高通BP侧的AMSS系统进行操作，如调用函数，读取数据，设置其中的NV项等。

然而，发明人在研究中发现，SensorHub在采集到传感器的数据之后，全都交给AP侧做分析，从而得到情景模式，但是，这样会使得AP侧的运算量太大，进而导致移动终端的功耗过大。但是，如果采用SensorHub作为主要计算资源，需要数据传输模块、逻辑控制模块、HDFF数据分析模块、LoRa和NBIOT通信模块多模块合作，控制复杂；另外，但受限于SensorHub的容量，如果要把情景感知的深度学习模型在里面进行计算，则需要对模型进行压缩和裁剪，这样模型的准确识别率会下降。

因此，为了克服上述缺陷，本申请实施例提供了一种情景数据处理方法，该方法应用于电子设备，该电子设备包括第一处理器、第二处理器和采集装置，该方法是以第一处理器为执行主体的，具体地，该方法包括：S301至S303。

S301：获取所述采集装置采集的情景数据。

其中，采集装置能够采集到电子设备当前所处的环境的情景数据，其中，该情景数据包括当前环境的亮度数据和电子设备的姿态数据等，则该情景数据能够反应当前环境的情景信息，例如，亮度数据能够反应当前是白天还是黑夜，或者在室内还是室外等。

则采集装置采集的情景数据可以是通过各个传感器采集到情景数据之后，再发送给采集装置的，作为一种实施方式，可以是电子设备设置有多个传感器，其中，所述多个传感器可以包括陀螺仪、加速度计、光照传感器和其他传感器。其中，陀螺仪、加速度计能够采集前述的姿态数据，而光照传感器能够采集当前环境的亮度数据。

在各个传感器采集到情景数据的之后发送至采集装置，也就是说，由采集装置统一收集各个传感器采集的情景数据。

S302：在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据。

其中，预设条件可以是预先设定的，用于对采集装置采集的情景数据筛选，使得一部分情景数据被放弃，而另一部分情景数据选中作为待确认情景数据。

具体地，在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据的具体实施方式可以是，在所述采集装置采集的所有的情景数据中，去除噪声数据，例如，可以是对不同的情景数据设置不同的筛选条件，具体地，情景数据可以包括当前环境的亮度数据和电子设备的姿态数据，则该亮度数据可以包括亮度值，该姿态数据可以包括移动轨迹和翻转角度。则设定有效亮度值区间，在第一处理器获取到亮度值时，确定该亮度值是否位于有效亮度值区间，如果位于有效亮度值区间则确定该亮度值可以作为待确认情景数据。另外，在第一处理器获取到姿态数据的时候，根据该姿态数据确定电子设备的移动轨迹和翻转角度，判断该移动轨迹是否与预设移动轨迹匹配并且翻转角度与预设翻转角度匹配，如果该移动轨迹与预设移动轨迹匹配并且翻转角度与预设翻转角度匹配，则判定该姿态数据可以作为待确认情景数据。

再者，还可以通过人工智能模型的方式在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据，具体地，可参阅后续实施例。

S303：将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

其中，深度学习模型为预先训练学习的人工智能模型，可以是基于深度卷积神经网络而建立的，具有特征提取和分类的功能，能够对情景数据提取出纹理特征，然后根据该纹理特征确定该情景数据的情景模式。其中，该情景数据包括当前环境的亮度数据和电子设备的姿态数据等，则该情景数据能够反应当前环境的情景信息，例如，亮度数据能够反应当前是白天还是黑夜，或者在室内还是室外等，则所设定的情景模式可以包括室内模式、室外模式或者乘公交车模式、乘飞机模式以及乘地铁模式等，具体地，可以预先根据不同模式对应的传感器数据的规则而对人工智能模型训练从而得到深度学习模型。

另外，不同的情景模式对应不同的预设操作，可以预先定义好。例如，如果当前的情景模式是室内模式，则对应的预设操作是打开电子设备的手电应用。

因此，相比将采集装置采集的情景数据全部发送至第二处理器的深度学习模型分析分析，本申请实施例能够对采集装置采集的数据进行过滤，将满足预设条件的数据发送至第二处理器，能够减少计算量，从而能够降低功耗。

另外，上述的第一处理器内也可以设置一个人工智能模型，用于识别当前模式，从而能够通过第一处理器内的人工智能模型确定待确认情景数据，具体地，请参阅图4，本申请实施例提供了一种情景数据处理方法，该方法包括：S401至S403。

S401：所述第一处理器获取所述采集装置采集的情景数据。

于本申请实施例中，电子设备设置有第一处理器、第二处理器和采集装置，则采集装置为上述传感器，所述第一处理器为基带处理器，所述第二处理器为应用处理器，所述第一处理器通过QMI协议与所述第二处理器传输数据。第一处理器、第二处理器和采集装置共同组成一个情景模式分析装置，具体地，如图5所示，在第一处理器设置有智能传感集线器，该智能传感集线器与多个传感器连接，该多个传感器包括陀螺仪、加速度计、光照传感器和其他传感器，其中，其他传感器可以是压力传感器等。该智能传感集线器为上述的SensorHub，基带处理器获取SensorHub采集的情景数据。

S402：将所述采集装置采集的情景数据输入所述第一情景感知模型，通过所述第一情景感知模型识别所述情景数据为指定情景模式的概率，并在该概率大于第一阈值概率的情况下，将所述情景数据作为待确认情景数据。

第一处理器内设置有第一情景感知模型，所述设置在所述第二处理器内的深度学习模型为第二情景感知模型，具体地，如图5所示，基带处理器设设置有第一情景感知模型，在应用处理器内设置有第二情景感知模型。

则第一情景感知模型和第二情景感知模型都能够对情景数据分析，从而得到该情景数据对应的情景模式，具体地，第一情景感知模型和第二情景感知模型都预先被训练，能够对当前环境的亮度数据以及电子设备的姿态数据等进行分析，从而得到当前的情景模式，而具体地，第一情景感知模型和第二情景感知模型可以被训练为根据情景数据识别当前的情景模式是否为指定情景模式的可能性的功能，具体地，第一情景感知模型和第二情景感知模型都能够根据输入的情景数据确定该情景数据为指定情景模式的概率。

则第一处理器在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据的具体实施方式为，第一处理器加载第一情景感知模型，将所述采集装置采集的情景数据输入所述第一情景感知模型，通过所述第一情景感知模型识别所述情景数据为指定情景模式的概率，判断该概率是否大于第一阈值概率，如果大于，则将所述情景数据作为待确认情景数据，如果不大于，则舍弃该情景数据，而被舍弃的情景数据不会被发送至第二处理器，从而能够减少发送至第二处理器的数据量。其中，第一概率阈值可以根据需求而设定，用于将第一情景感知模型识别的明显不属于指定情景模式的情景数据筛选出，而不作为待确认情景数据，则第一概率阈值的数值也不能太小，避免无法起到筛选的效果，同时，第一概率阈值的数值也不能太大，避免过多的数据被第一处理器拦截而无法发送至第二处理器。

S403：将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述第二情景感知模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

于本申请实施例中，第一情景感知模型对采集装置采集的情景数据做初步识别，找出明显不属于指定情景模式的情景数据，然后，第二情景感知模型对被第一情景感知模型识别过的情景数据，即待确认情景数据进行再次识别，从而确定待确认情景数据所对应的情景模式。因此，由于第一情景感知模型对采集装置采集的情景数据做初步识别，能够有效降低第二情景感知模型的运算量，从而能够降低第二处理器的运算量，由于，第二处理器是用于电子设备的操作系统、用户界面和应用程序的运行的处理器，因此，降低第二处理器在情景识别分析的运算量，不仅能够降低第二处理器的功耗，而且能够避免电子设备的操作系统、用户界面和应用程序的运行时，处理器资源不足，而导致卡顿。

另外，所述第一情景感知模型识别所述情景数据对应的情景模式的识别精度小于所述第二情景感知模型识别所述情景数据对应的情景模式的识别精度。具体地，由于第一处理器的存储空间小于第二处理器的存储空间，则第一处理器的存储空间内无法存储过于复杂的情景感知模型，因此，第一情景感知模型的精度更小，第一情景感知模型相当于第二情景感知模型被剪裁过后的模型，具体地，可以是降低第一情景感知模型的算法复杂度，例如，降低卷积网络层的个数或者卷积神经网络的结点个数等，由于算法的复杂度减低，则第一情景感知模型识别所述情景数据对应的情景模式的识别精度会小于第二情景感知模型。但是，第一情景感知模型识用于对采集装置采集的情景数据的初步筛选，精度可以不必过高，而只要能够确定情景数据大概属于指定情景模式，即使不确定是否准确为指定情景模式，要可以将识别后的且概率大于第一阈值概率的情景数据发送至第二情景感知模型进一步地高精度识别，因此，不仅第二情景感知模型的运算量降低，电子设备的功耗降低，而且，还能够保证识别精读。

另外，在一些实施例证，第二情景感知模型用于识别所述待确认情景数据为指定情景模式的概率，并在该概率大于第二阈值概率阈值的时候，确定该待确认情景数据的当前情景模式为所述指定情景模式。所述第一阈值概率小于所述第二阈值概率。例如，第一阈值概率为20％，第二阈值概率为80％。

具体地，SensorHub采集的情景数据，先经过BP侧的第一情景感知模型识别该情景数据为指定情景模式的第一概率值，判断该第一概率值是否大于第一阈值概率，如果大于，则将该情景数据作为待确认情景数据，并输入至第二情景感知模型，即AP侧的情景感知模型识别待确认情景数据为指定情景模式的第二概率值，如果第二概率值大于第二阈值概率，则就可以判定当前的情景模式为指定情景模式。

例如，有多个情景数据，分别为data1、data2和data3，根据第一情景感知模型确定data1、data2和data3为指定情景模式的第一概率值分别为8％，25％和30％，则假设第一阈值概率为20％，则data1、data2和data3中第一概率值大于第一阈值概率为data2和data3，然后，data2和data3被发送至第二情景感知模型，第二情景感知模型识别data2和data3为指定情景模式的第二概率值分别为60％和90％，由于第一情景感知模型和第二情景感知模型的识别精读不同，则第一情景感知模型识别data2为指定情景模式的第一概率值分别为25％，而第二情景感知模型识别data2为指定情景模式的第二概率值分别为60％，也就是说，同样的情景数据，则第一情景感知模型确定的为指定情景模式的概率和第二情景感知模型确定的为指定情景模式的概率不同。

从而data1被第一情景感知模型过滤掉，则所采集的情景数据data1、data2和data3，只有data2和data3被发送至第二情景感知模型，因此，能够降低第二情景感知模型的计算复杂度，另外，第一情景感知模型布置在BP侧，而第二情景感知模型布置在AP侧，由于BP侧的存储空间的限制，第一情景感知模型相当于第二情景感知模型的精度较低，而第二情景感知模型的精度较高，能够保证识别的准确性，同时，能够降低AP处理器的运算量，从而降低功耗，并且还能够避免AP处理器的运算过大而导致电子设备的操作系统以及应用程序运行时处理器资源不足。

请参阅图6，示出了本申请实施例提供了一种情景数据处理方法，该方法包括：S601至S605。

S601：基带处理器获取采集装置采集的情景数据。

基带处理器首先获取传感器的数据，具体地，可以是按照一定的周期，例如，可以是5秒为一个周期，通过SensorHub采集陀螺仪、加速度计、光照传感器等等传感器的数据，并且在基带处理器侧已经训练好了识别精读较低的第一情景感知模型，例如，该第一情景感知模型为情景感知模型LDeepSenseModel，大小只有几十KB。然后，并为第一情景感知模型设置一个第一阈值概率，即设定一个第一阈值概率Pl(这里设置为20％)，只要计算结果中该场景为地铁的概率超过Pl,则一级识别通过，否则不通过。

S602：基带处理器将所述采集装置采集的情景数据输入所述第一情景感知模型，通过所述第一情景感知模型识别所述情景数据为乘坐地铁模式的概率，并在该概率大于第一阈值概率的情况下，将所述情景数据作为待确认情景数据。

其中，乘坐地铁模式为用户进入地铁乘车口但是还没进入闸机口的模式，在该模式下，用户的电子设备的传感器的数据可能会发生以下变化：光照传感器采集的亮度值会由高至低或者由低至高，即发生一定的亮度差变化，然后，陀螺仪和加速度计采集的姿态数据能够检测到用户将电子设备从口袋或者背包中取出，另外，还可以将电子设备内的短距离通信模块采集的数据也作为情景数据，具体地，短距离通信模块可以是蓝牙模块和NFC模块中的至少一个，则短距离通信模块在开启的时候能够检测到周围其他短距离通信模块所发射的信号，从而不仅能够确定该其他短距离通信模块的身份，例如通过信号内携带的身份信息(例如，SSID)确定该其他短距离通信模块的身份，还可以确定电子设备与其他短距离通信模块之间的距离和位置等信息，从而能够确定电子设备当前正在靠近哪个短距离通信模块。也就是说，通过该身份能够确定该短距离通信模块是否为闸机。

具体地，地铁口内的闸机内设置有短距离通信模块，在电子设备靠近该闸机的时候，能够接收到该闸机发射的信号。

则具体地，第一情景感知模型识别所述情景数据为乘坐地铁模式的概率的实施方式可以是，第一情景感知模型确定当前所采集的周围环境的亮度值与预设亮度值之间的差值，进而根据该差值确定一个该亮度值满足乘坐地铁模式的概率，即亮度概率，然后，第一情景感知模型确定当前所采集的电子设备的姿态数据与预设姿态数据之间的差值，进而根据该差值确定一个该姿态数据满足乘坐地铁模式的概率，即姿态概率，再然后，第一情景感知模型确定当前所采集的电子设备与闸机之间的距离是否小于预设距离，进而根据该距离差确定一个该距离数据满足乘坐地铁模式的概率，即距离概率，然后，再根据亮度概率、姿态概率和距离概率确定该第一概率值，可以是通过加权求和的方式。

因此，将光照传感器采集的当前环境的亮度值、陀螺仪和加速度计采集的电子设备的姿态数据以及电子设备的短距离通信模块采集的与闸机口之间的距离，作为情景数据，而输入第一情景感知模型进行乘坐地铁模式的识别。

S603：基带处理器通过QMI协议将待确认情景数据发送至AP处理器。

其中，第一情景感知模型对情景数据的识别为一级识别，则对于通过一级识别的数据，使用QMI协议，将通过的数据传输到电子设备的AP侧。QMI作用用于AP和BP侧的交互，就是让设备终端TE(可以是手机，PDA，计算机)对BP侧的系统进行操作，如调用函数，读取数据等。QMI的核心是连接MSM模块和设备终端，提供一个正交的控制和数据通道。在这个场景下，AP作为services端,接收BP侧发送的通过一级识别的数据。

S604：AP处理器通过第二情景感知模型识别所述待确认情景数据为乘坐地铁模式的概率，并在该概率大于第二阈值概率阈值的时候，确定该待确认情景数据的当前情景模式为乘坐地铁模式。

其中，第二情景感知模型对情景数据的识别为二级识别，

到达这一步的数据，已经经过了一次基本的识别。因此，这些数据之后在类似于地铁的这样一些情景中才会有可能传到AP侧，在这里再进行高精度模型计算次数就大大地减少了，从而可以大大降低手机的功耗。这里可以将高精度情景感知模型HDeepSensorModel和BP侧传过来的数据送到CPU，使用深度学习计算框架，进行二级识别计算。设定一个第二阈值概率Ph(这里设置为80％)，只有计算结果中该场景为地铁的概率超过Ph,则二级识别通过，否则不通过。

S605：执行该乘坐地铁模式对应的功能。

其中，该乘坐地铁模式对应的功能可以包括在电子设备的屏幕上显示一个界面，在该界面内显示一个乘车界面，例如，该乘车界面内显示有乘车二维码，从而使得用户在进入地铁口靠近闸机，或者在靠近闸机且拿出电子设备的时候，就在电子设备的屏幕上显示一个乘车二维码，使得用户能够减少自己打开二维码的操作，快速进入闸机。

对于通过二级识别为地铁情景的，后面就可以启动手机的其他功能，比如将手机刷地铁进展的二维码显示在主屏幕，推送站点信息等等。

如图7所示，电子设备可以是移动终端，用户携带电子设备100靠近闸机200，则电子设备能够确定当前的情景是乘坐地铁模式，则在电子设备的屏幕上显示乘车二维码，用户能够使用该电子设备的屏幕上所显示的乘车二维码进入闸机。

需要说明的时候，为了避免在用户还没准备好进入闸机的时候，就提前将乘车界面在电子设备的屏幕上显示，不仅浪费电量而且还会导致误操作，则可以在电子设备确定当前的场景为乘坐地铁模式时，在电子设备的后台将乘车界面的图层预先渲染并合成，并且存储在电子设备的帧缓冲区，在电子设备检测到解锁指令，并且在解锁成功之后，从帧缓冲区内获取到乘车界面的图层，并且在屏幕刷新率的激励下将该乘车界面的图层在屏幕上显示，形成乘车界面，从而用户在靠近闸机但是还没有将电子设备解锁的时候，就预先渲染合成好乘车界面的图层，然后，在用户将电子设备解锁成功的时候，将该乘车界面图层显示，从而用户能够使用该乘车界面内的乘车二维码进入闸机。

另外，还可以是在电子设备确定乘坐地铁模式之后，在由锁屏状态变为屏幕点亮状态时，将乘车二维码在电子设备的屏幕上显示，因此，用户不被进入解锁之后的界面，而在锁屏状态下屏幕被点亮的界面上就显示乘车二维码。

再者，还可以是在电子设备确定乘坐地铁模式之后，在电子设备的后台将乘车界面的图层预先渲染并合成，然后，在电子设备的屏幕上显示提示框，该提示框用于询问用户是否需要显示乘车二维码，如果获取到用户基于该提示框输入的确定乘车的请求之后，将该乘车二维码在屏幕上显示。

请参阅图8，示出了本申请实施例提供了一种情景数据处理方法，应用于电子设备的第二处理器，该方法包括：S801至S803。

S801：获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据。

S802：根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式。

S803：根据所述当前情景模式控制所述电子设备执行预设操作。

图8所示的方法，执行主体是第二处理器，需要说明的是，上述步骤未详细描述的部分可参考前述实施例，在此不再赘述。

请参阅图9，其示出了本申请实施例提供的一种情景数据处理装置900的结构框图，该装置可以包括：采集单元901、查找单元902和发送单元903。

采集单元901，用于获取所述采集装置采集的情景数据。

查找单元902，用于在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据。

进一步的，所述第一处理器内设置有第一情景感知模型，所述设置在所述第二处理器内的深度学习模型为第二情景感知模型，所述查找单元902具体用于将所述采集装置采集的情景数据输入所述第一情景感知模型，通过所述第一情景感知模型识别所述情景数据为指定情景模式的概率，并在该概率大于第一阈值概率的情况下，将所述情景数据作为待确认情景数据。

其中，所述第一情景感知模型识别所述情景数据对应的情景模式的识别精度小于所述第二情景感知模型识别所述情景数据对应的情景模式的识别精度。

进一步地，所述第二情景感知模型用于识别所述待确认情景数据为指定情景模式的概率，并在该概率大于第二阈值概率阈值的时候，确定该待确认情景数据的当前情景模式为所述指定情景模式，其中，所述第一阈值概率小于所述第二阈值概率。

发送单元903，用于将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

进一步地，所述采集装置为智能传感集线器，所述第一处理器为基带处理器，所述第二处理器为应用处理器，所述第一处理器通过QMI协议与所述第二处理器传输数据。

需要说明的是，上述的S602和S603具体实施方式可以由查找单元902执行，而S604和S605可以用发送单元903执行。

请参阅图10，其示出了本申请实施例提供的一种情景数据处理装置1000的结构框图，该装置可以包括：获取单元1001、识别单元1002和执行单元1003。

获取单元1001，用于获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据。

识别单元1002，用于根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式。

执行单元1003，用于根据所述当前情景模式控制所述电子设备执行预设操作。

其中，上述S601至S603可以通过获取单元1001执行，而S604通过识别单元1002执行，S605通过执行单元1003执行。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中，处理器110包括第一处理器111和第二处理器112。一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。其中，第一处理器110可以是上述的BP处理器，第二处理器可以是上述的AP处理器。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。

综上所述，本申请提供的情景数据处理方法、装置、电子设备及计算机可读介质，采集装置采集的情景数据发送至第一处理器，而第一处理器对该情景数据进行过滤，具体地，在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据，则该待确认情景数据为第一处理器从采集装置采集的情景数据中过滤后剩下的满足预设条件的情景数据，然后，将所述待确认情景数据发送至所述第二处理器，第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。因此，相比将采集装置采集的情景数据全部发送至第二处理器的深度学习模型分析分析，本申请实施例能够对采集装置采集的数据进行过滤，将满足预设条件的数据发送至第二处理器，能够减少计算量，从而能够降低功耗。

具体地，本申请实施例使用两级识别进行情景感知计算，把深度学习模型放到SensorHub里进行裁剪和低精度计算，保证了低功耗，以及使用QMI将一级识别的数据传输到手机AP侧，并使用AP侧的深度学习计算框架和高精度情景感知模型进行二级识别，保证了有效识别率。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种情景数据处理方法，其特征在于，应用于电子设备的第一处理器，所述电子设备还包括采集装置和第二处理器，所述第二处理器内设置有深度学习模型，所述方法包括：

所述第一处理器获取所述采集装置采集的情景数据；

在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据；

将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

2.根据权利要求1所述的方法，其特征在于，所述第一处理器内设置有第一情景感知模型，所述设置在所述第二处理器内的深度学习模型为第二情景感知模型，所述在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据，包括：

将所述采集装置采集的情景数据输入所述第一情景感知模型，通过所述第一情景感知模型识别所述情景数据为指定情景模式的概率，并在该概率大于第一阈值概率的情况下，将所述情景数据作为待确认情景数据。

3.根据权利要求2所述的方法，其特征在于，所述第一情景感知模型识别所述情景数据对应的情景模式的识别精度小于所述第二情景感知模型识别所述情景数据对应的情景模式的识别精度。

4.根据权利要求3所述的方法，其特征在于，所述第二情景感知模型用于识别所述待确认情景数据为指定情景模式的概率，并在该概率大于第二阈值概率阈值的时候，确定该待确认情景数据的当前情景模式为所述指定情景模式，其中，所述第一阈值概率小于所述第二阈值概率。

5.根据权利要求1-4任一所述的方法，其特征在于，所述采集装置为智能传感集线器，所述第一处理器为基带处理器，所述第二处理器为应用处理器，所述第一处理器通过QMI协议与所述第二处理器传输数据。

6.一种情景数据处理方法，其特征在于，应用于电子设备的第二处理器，所述电子设备还包括采集装置和第一处理器，所述第二处理器内设置有深度学习模型，所述方法包括：

获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据；

根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式；

根据所述当前情景模式控制所述电子设备执行预设操作。

7.一种情景数据处理装置，其特征在于，应用于电子设备的第一处理器，所述电子设备还包括采集装置和第二处理器，所述第二处理器内设置有深度学习模型，所述装置包括：

采集单元，用于获取所述采集装置采集的情景数据；

查找单元，用于在所述情景数据中查找满足预设条件的情景数据作为待确认情景数据；

发送单元，用于将所述待确认情景数据发送至所述第二处理器，指示所述第二处理器根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式，并根据所述当前情景模式控制所述电子设备执行预设操作。

8.一种情景数据处理装置，其特征在于，应用于电子设备的第二处理器，所述电子设备还包括采集装置和第一处理器，所述第二处理器内设置有深度学习模型，所述装置包括：

获取单元，用于获取所述第一处理器发送的待确认情景数据，所述待确认情景数据为所述第一处理器在获取到所述采集装置采集的情景数据之后，在所述情景数据中查找满足预设条件的情景数据；

识别单元，用于根据所述深度学习模型分析所述待确认情景数据，以识别出当前情景模式；

执行单元，用于根据所述当前情景模式控制所述电子设备执行预设操作。

9.一种电子设备，其特征在于，包括：

采集装置；

第一处理器和第二处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述第一处理器和所述第二处理器执行，所述一个或多个程序配置用于执行如权利要求1-5任一项所述的方法。

10.一种计算机可读介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行所述权利要求1-5任一项所述方法。