CN111797986A - 数据处理方法、装置、存储介质及电子设备 - Google Patents
数据处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN111797986A CN111797986A CN201910282166.XA CN201910282166A CN111797986A CN 111797986 A CN111797986 A CN 111797986A CN 201910282166 A CN201910282166 A CN 201910282166A CN 111797986 A CN111797986 A CN 111797986A
- Authority
- CN
- China
- Prior art keywords
- data
- neurons
- value
- sample data
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013480 data collection Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 27
- 210000002569 neuron Anatomy 0.000 claims description 298
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 7
- 230000010354 integration Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请公开了一种数据处理方法、装置、存储介质及电子设备。该方法包括:获取多条初始样本数据;对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据;根据目标样本数据,构建神经网络;根据目标样本数据,对神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件,并生成数据收集策略。本申请可以使电子设备通过自学习得到数据收集策略。
Description
技术领域
本申请属于电子设备技术领域,尤其涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术
随着技术的不断发展,电子设备的硬件和软件配置不断提升。比如,在硬件方面,电子设备上可以集成诸如陀螺仪传感器、环境光传感器、接近传感器等各种传感器。而在软件方面,电子设备上可以运行各种人工智能算法。相关技术中,电子设备可以通过硬件和软件来收集各种数据,如环境参数值以及用户的操作行为数据等,并根据这些数据来检测该电子设备所处的场景。
发明内容
本申请实施例提供一种数据处理方法、装置、存储介质及电子设备,可以使电子设备通过自学习得到数据收集策略。
第一方面,本实施例提供一种数据处理方法,包括:
获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
根据所述目标样本数据,构建神经网络;
根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
第二方面,本实施例提供一种数据处理装置,包括:
获取模块,用于获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
添加模块,用于对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
构建模块,用于根据所述目标样本数据,构建神经网络;
训练模块,用于根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
生成模块,用于根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
第三方面,本实施例提供一种存储介质,其上存储有计算机程序,其中,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的数据处理方法。
第四方面,本实施例提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的数据处理方法。
本实施例中,电子设备可以为样本数据添加属性值,并根据这些添加过属性值的样本数据来构建神经网络,以及利用样本数据对该神经网络进行学习训练,从而学习得到各场景下不同类型的数据的收集频率和收集触发条件。电子设备可以根据学习得到的各场景下不同类型的数据的收集频率和收集触发条件来生成数据收集策略。即,本实施例中电子设备可以通过自学习得到数据收集策略,而无需依赖人为预先设定数据收集策略。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的电子设备的全景感知架构的示意图。
图2是本申请实施例提供的数据处理方法的流程示意图。
图3是本申请实施例提供的数据处理方法的另一流程示意图。
图4是神经网络中不同层的神经元之间具有全连接关系的结构示意图。
图5是本实施例提供的神经网络的结构示意图。
图6是本实施例提供的神经网络学习训练的结构示意图。
图7是本申请实施例提供的数据处理装置的结构示意图。
图8是本申请实施例提供的电子设备的结构示意图。
图9是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
请参考图1,图1为本申请实施例提供的数据收集方法的应用场景示意图。该数据收集方法可以应用于电子设备。该电子设备中设置有全景感知架构。该全景感知架构为电子设备中用于实现该数据收集方法的硬件和软件的集成。
其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息或者外部环境中的信息。该信息感知层可以包括多个传感器。例如,该信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取该数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,该多种算法可以构成算法库。例如,该算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
可以理解的是,本申请实施例的执行主体是电子设备,该电子设备可以是诸如服务器或者智能手机或者平板电脑等设备。
请参阅图2,图2是本申请实施例提供的数据处理方法的流程示意图,流程可以包括:
在101中,获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,该多条初始样本数据包括在多个不同场景下收集的数据。
随着技术的不断发展,电子设备的硬件和软件配置不断提升。比如,在硬件方面,电子设备上可以集成诸如陀螺仪传感器、环境光传感器、接近传感器等各种传感器。而在软件方面,电子设备上可以运行各种人工智能算法。相关技术中,电子设备可以通过硬件和软件来收集各种数据,如环境参数值以及用户的操作行为数据等,并根据这些数据来检测该电子设备所处的场景。相关技术中,电子设备是根据预先设定的一些规则来进行数据收集。而这些规则需要人为预先设定,即相关技术中电子设备的数据收集策略依赖于人为设定。
在本申请实施例的101中,电子设备可以获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据,并且其中包含多种类型的数据。而所有这些初始样本数据包括在多个不同场景下收集的数据。
比如,在驾驶场景下,电子设备在同一时刻同步收集了GPS数据、三轴陀螺仪传感器数据、环境光传感器数据等数据,这些数据构成一条样本数据(即初始样本数据)。例如,这条初始样本数据可以表示成<GPS数据值,陀螺仪数据值,环境光数据值>。这条初始样本数据中包含3种类型的数据,分别为GPS数据、三轴陀螺仪传感器数据、环境光传感器数据。
又如,在购物场景下,电子设备在同一时刻同步收集了环境光传感器数据、指纹传感器数据等数据,这些数据构成一条初始样本数据。这条初始样本数据中包含2种类型的数据,分别为环境光传感器数据、指纹传感器数据。
那么,在各种场景下分别收集多条初始样本数据,这些初始样本数据可以构成一个样本集合。
在102中,对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,该属性值用于表示数据具有对应的预设属性。
比如,在获取到很多条初始样本数据后,对于每一条初始样本数据,电子设备可以为其中每一类型的数据添加属性值,从而得到该条初始样本数据所对应的目标样本数据。其中,该属性值可以用于表示数据具有对应的预设属性。
例如,对于<GPS数据值,陀螺仪数据值,环境光数据值>这条初始样本数据,电子设备可以分别为GPS类型的数据添加属性值、为陀螺仪传感器类型的数据添加属性值,为环境光传感器类型的数据添加属性值。例如,预设属性为实时需求度,预设属性的取值可以为1、2。其中,取值为1时,表示数据的实时需求度低,例如表示数据可以延时收集。取值为2时,表示数据的实时需求度高,例如表示数据需要实时收集。那么,对于初始样本数据<GPS数据值,陀螺仪数据值,环境光数据值>,电子设备可以为GPS类型的数据添加属性值2,为陀螺仪传感器类型的数据添加属性值2,为环境光传感器类型的数据添加属性值1。这表示GPS类型的数据和陀螺仪传感器类型的数据需要实时收集,环境光传感器类型的数据可以延时收集。
对于每一条初始样本数据,在为其中包含的每一类型的数据添加属性值后,该条初始样本数据成为目标样本数据。例如,对于初始样本数据<GPS数据值,陀螺仪数据值,环境光数据值>,其对应的目标样本数据可以表示为<GPS数据值,2,陀螺仪数据值,2,环境光数据值,1>。
在103中,根据目标样本数据,构建神经网络。
比如,在得到目标样本数据后,电子设备可以根据该目标样本数据构建神经网络。
在104中,根据目标样本数据,对神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件。
比如,在构建完神经网络后,电子设备可以根据目标样本数据对该神经网络进行学习训练,从而得到各场景下不同类型的数据的收集频率和收集触发条件。其中,数据的收集触发条件指需要在何种场景下触发本类型数据的收集。
在105中,根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
比如,在学习得到各场景下不同类型的数据的收集频率和收集触发条件后,电子设备可以据此生成数据收集策略。
例如,电子设备学习到需要在驾驶场景下收集GPS数据,驾驶场景下GPS数据的收集频率为每秒2次。那么,电子设备可以生成一条关于GPS数据的收集策略,该策略可以表示在驾驶场景下需要收集GPS数据,收集频率为每秒2次。又如,电子设备学习到需要在购物场景下收集指纹传感器的数据,购物场景下指纹传感器的数据的收集频率为每秒2次。那么,电子设备可以生成一条关于指纹传感器数据的收集策略,该策略可以表示在购物场景下需要收集指纹传感器的数据,收集频率为每秒2次。
可以理解的是,本实施例中,电子设备可以为样本数据添加属性值,并根据这些添加过属性值的样本数据来构建神经网络,以及利用样本数据对该神经网络进行学习训练,从而学习得到各场景下不同类型的数据的收集频率和收集触发条件。电子设备可以根据学习得到的各场景下不同类型的数据的收集频率和收集触发条件来生成数据收集策略。即,本实施例中电子设备可以通过自学习得到数据收集策略,而无需依赖人为预先设定数据收集策略。
需要说明的是,本实施例提供的数据处理方法可以应用于图1所示的全景感知架构中的信息感知层。本实施例提供的数据处理方法可以使电子设备对自身的数据收集策略进行调整,并根据调整后的策略进行数据收集。之后,电子设备可以将收集到的数据输入到数据处理层中进行处理,经数据处理层处理的数据可以被输入到特征提取层进行特征提取,情景建模层则可以根据特征提取层提取到的数据特征进行建模。经建模得到的数据可以被输入到智能服务层,智能服务层可以根据该数据为电子设备的用户提供智能服务,例如为用户推送适于当前情景的信息等。
请参阅图3,图3为本申请实施例提供的数据处理方法的另一流程示意图,流程可以包括:
在201中,电子设备获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据。
比如,电子设备可以获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据,并且其中包含多种类型的数据。而所有这些初始样本数据包括在多个不同场景下收集的数据。
比如,在驾驶场景下,电子设备在同一时刻同步收集了GPS数据、三轴陀螺仪传感器数据、环境光传感器数据等数据,这些数据构成一条样本数据(即初始样本数据)。例如,这条初始样本数据可以表示成<GPS数据值,陀螺仪数据值,环境光数据值>。这条初始样本数据中包含3种类型的数据,分别为GPS数据、三轴陀螺仪传感器数据、环境光传感器数据。
又如,在购物场景下,电子设备在同一时刻同步收集了环境光传感器数据、指纹传感器数据等数据,这些数据构成一条初始样本数据。这条初始样本数据中包含2种类型的数据,分别为环境光传感器数据、指纹传感器数据。
那么,在各种场景下分别收集多条初始样本数据,这些初始样本数据可以构成一个样本集合。
在202中,对于每一条初始样本数据,电子设备为每一类型的数据添加预设第一属性的属性值以及预设第二属性的属性值,得到对应的目标样本数据,预设第一属性的属性值用于表示数据的实时需求度,预设第二属性的属性值用于表示数据的隐私度。
比如,在获取到很多条初始样本数据后,对于每一条初始样本数据,电子设备可以为其中每一类型的数据添加预设第一属性的属性值和预设第二属性的属性值,从而得到该条初始样本数据所对应的目标样本数据。其中,预设第一属性的属性值用于表示数据的实时需求度,预设第二属性的属性值用于表示数据的隐私度。
在一种实施方式中,预设第一属性的属性值的取值可以为1、2。其中,当取值为1时,表示数据的实时需求度低,例如表示数据可以延时收集。取值为2时,表示数据的实时需求度高,例如表示数据需要实时收集。
预设第二属性的属性值的取值可以为1、2、3。其中,当取值为1时,表示数据的隐私度低。当取值为2时,表示数据的隐私度中。当取值为3时,表示数据的隐私度高。
例如,对于<GPS数据值,陀螺仪数据值,环境光数据值>这条初始样本数据,电子设备可以分别为GPS类型的数据添加预设第一属性的属性值和预设第二属性的属性值、为陀螺仪传感器类型的数据添加预设第一属性的属性值和预设第二属性的属性值,为环境光传感器类型的数据添加预设第一属性的属性值和预设第二属性的属性值。例如,对于初始样本数据<GPS数据值,陀螺仪数据值,环境光数据值>,电子设备可以为GPS类型的数据添加预设第一属性的属性值2,为GPS类型的数据添加预设第二属性的属性值2;为陀螺仪传感器类型的数据添加预设第一属性的属性值2,为陀螺仪传感器类型的数据添加预设第二属性的属性值1;为环境光传感器类型的数据添加预设第一属性的属性值1,为环境光传感器类型的数据添加预设第二属性的属性值1。
对于每一条初始样本数据,在为其中包含的每一类型的数据添加预设第一属性的属性值和预设第二属性的属性值后,该条初始样本数据成为目标样本数据。例如,预设第一属性表示为latency,预设第二属性表示为privacy,对于初始样本数据<GPS数据值,陀螺仪数据值,环境光数据值>,其对应的目标样本数据可以表示为<GPS数据值,2(GPS的latency),2(GPS的privacy),陀螺仪数据值,2(陀螺仪的latency),1(陀螺仪的privacy),环境光数据值,1(环境光的latency),1(环境光的privacy)>。
在203中,电子设备确定第一数量L1和第二数量L2,其中,第一数量是所有目标样本数据包含的数据类型的数量,第二数量是预设属性的种类的数量。
比如,在为每一条初始样本数据添加预设第一属性的属性值以及预设第二属性的属性值之后,电子设备可以确定第一数量L1和第二数量L2。其中,第一数量L1是所有目标样本数据所包含的数据类型的数量。例如,所有目标样本数据中包括5种类型的数据,例如包括GPS数据、陀螺仪传感器数据、环境光传感器数据、指纹传感器数据、温度传感器数据等等共5种类型的数据。当然,需要说明单是,此处仅以所有目标样本数据中包含5种类型的数据为例进行说明,在其它实施例或者实际应用中,所有目标样本数据中包含的数据类型可以多于5种。第二数量L2是预设属性的种类的数量。例如,本实施例中包括预设第一属性和预设第二属性共2中预设属性,那么第二数量L2为2。
在204中,根据第一数量和第二数量,电子设备构建神经网络,其中,构建得到的神经网络至少包括输入层、第一隐藏层、第二隐藏层、第三隐藏层、输出层;输入层和第一隐藏层的神经元的数量为第三数量L3,其中,L3=(L2+1)*L1,第一隐藏层的前L1个神经元与输入层的前L1个神经元依次一一连接,第一隐藏层和输入层其它神经元为全连接关系;第二隐藏层的神经元的数量多于第一隐藏层,第二隐藏层的神经元与第一隐藏层的神经元为全连接关系;第三隐藏层的神经元的数量等于第一数量,第三隐藏层的神经元与第二隐藏层的神经元为全连接关系;输出层的神经元的数量为1,输出层与第三隐藏层的神经元为全连接关系。
比如,在确定出第一数量L1和第二数量L2后,电子设备可以据此构建神经网络。其中,构建得到的神经网络可以至少包括输入层、第一隐藏层、第二隐藏层、第三隐藏层以及输出层。该输入层和第一隐藏层的神经元的数量可以为第三数量L3,该第三数量的数量L3=(L2+1)*L1。例如,L1=5,L2=2,那么L3=(2+1)*5=15。第一隐藏层的前L1个神经元与输入层的前L1个神经元依次一一连接。即,第一隐藏层的第1个神经元与输入层的第1个神经元连接,第一隐藏层的第2个神经元与输入层的第2个神经元连接,第一隐藏层的第3个神经元与输入层的第3个神经元连接,第一隐藏层的第4个神经元与输入层的第4个神经元连接,,第一隐藏层的第5个神经元与输入层的第5个神经元连接。除了前5个神经元之外,第一隐藏层的其它神经元和输入层的其它神经元为全连接关系,即第一隐藏层的第6个神经元与输入层的第6个至第15个神经元为全连接关系,第一隐藏层的第7个神经元与输入层的第6个至第15个神经元为全连接关系,第一隐藏层的第8个神经元与输入层的第6个至第15个神经元为全连接关系,……,第一隐藏层的第15个神经元与输入层的第6个至第15个神经元为全连接关系。
需要说明的是,神经元之间的全连接关系是指某个神经元与上一层神经网络的神经元之间均有连接关系。例如,请参见图4,以某个神经网络中的两层神经元为例,上一层包含3个神经元,分别为a1、a2、a3,下一层包含2个神经元,分别为b1、b2。那么,若这两层神经元为全连接关系,则表示神经元b1分别与神经元a1、a2、a3依次连接,神经元b2分别与神经元a1、a2、a3依次连接。
本实施例中,电子设备构建的神经网络的第二隐藏层的神经元的数量可以多余第一隐藏层的神经元数量。例如,第二隐藏层的神经元数量可以为45。第二隐藏层的神经元与第一隐藏层的神经元为全连接关系。
第三隐藏层的神经元的数量可以等于第一数量。例如,第三隐藏层的神经元的数量可以为5。第三隐藏层的神经元与第二隐藏层的神经元可以为全连接关系。
输出层的神经元的数量可以为1,即输出层只有一个神经元。输出层的神经元与第三隐藏层的神经元可以为全连接关系。
请同时参见图5,图5为本实施例中电子设备根据第一数量和第二数量构建的神经网络的结构示意图。其中,输入层共15个神经元,例如分别为i1、i2、i3,……,i14、i15。第一隐藏层共15个神经元,分别为x1、x2、x3,……,x14、x15。其中,第一隐藏层的前5个神经元与输入层的前5个神经元依次一一连接。即,神经元x1与神经元i1连接,神经元x2与神经元i2连接,神经元x3与神经元i3连接,神经元x4与神经元i4连接,神经元x5与神经元i5连接。而第一隐藏层的剩余10个神经元与输入层的剩余10个神经元为全连接关系,即神经元x6与神经元i6~i15全连接,神经元x7与神经元i6~i15全连接,神经元x8与神经元i6~i15全连接,……,神经元x14与神经元i6~i15全连接,神经元x15与神经元i6~i15全连接。在本实施例中,限于篇幅,在图5中对于输入层中的神经元i6至i15以及第一隐藏层中的神经元x6至x15之间的全连接关系仅画出了部分连接关系,而未画出全部连接关系。
第二隐藏层可以包含45个神经元,分别为神经元y1、y2、y3,……,y44、y45,第二隐藏层的所有神经元与第一隐藏层的所有神经元为全连接关系。在本实施例中,限于篇幅,在图5中对于第二隐藏层中的神经元y1至y45以及第一隐藏层中的神经元x1至x15之间的全连接关系仅画出了部分连接关系,而未画出全部连接关系。
第三隐藏层可以包含5个神经元,分别为z1、z2、z3、z4、z5。第三隐藏层的所有神经元与第二隐藏层的所有神经元为全连接关系。在本实施例中,限于篇幅,在图5中对于第三隐藏层中的神经元z1至z5以及第二隐藏层中的神经元y1至y45之间的全连接关系仅画出了部分连接关系,而未画出全部连接关系。
输出层包含1个神经元,例如为O。输出层的神经元O与第三隐藏层的神经元为全连接关系。
在205中,电子设备将目标样本数据作为输入数据,对神经网络进行监督学习训练,其中,在将目标样本数据输入至神经网络的输入层时,输入层前L1个神经元中的每一个神经元接收目标样本数据的一种类型的数据的预设第一属性的属性值。
比如,在构建得到神经网络后,电子设备可以目标样本数据作为输入数据,对神经网络进行监督学习训练。其中,在将目标样本输入至神经网络的输入层时,输入层前5个神经元中的每一个神经元接收目标样本数据的一种类型的数据的预设第一属性的属性值。
例如,输入层的神经元i1用于接收GPS类型的数据,神经元i2用于接收陀螺仪传感器类型的数据,神经元i3用于接收环境光传感器类型的数据,神经元i4用于接收指纹传感器类型的数据,神经元i5用于接收温度传感器类型的数据,等等。
在一种实施方式中,电子设备在将目标样本数据输入至神经网络前,可以按照预设格式对目标样本数据进行转换。例如,预设格式为<GPS预设第一属性值,陀螺仪预设第一属性值,环境光预设第一属性值,指纹预设第一属性值,温度预设第一属性值,GPS数据值,GPS预设第二属性值,陀螺仪数据值,陀螺仪预设第二属性值,环境光数据值,环境光预设第二属性值,指纹数据值,指纹预设第二属性值,温度数据值,温度预设第二属性值>。在一种实施方式中,对于没有数值的数据可以用零代替。
那么,对于目标样本数据<GPS数据值,2(GPS的latency),2(GPS的privacy),陀螺仪数据值,2(陀螺仪的latency),1(陀螺仪的privacy),环境光数据值,1(环境光的latency),1(环境光的privacy)>,电子设备可以按照预设格式对其进行转换,得到样本数据<2(GPS的latency),2(陀螺仪的latency),1(环境光的latency),0,0,GPS数据值,2(GPS的privacy),陀螺仪数据值,1(陀螺仪的privacy),环境光数据值,1(环境光的privacy),0,0,0,0>。即,<2,2,1,0,0,GPS数据值,2,陀螺仪数据值,1,环境光数据值,1,0,0,0,0>。
又如,对于目标样本数据<环境光数据值,1(环境光的latency),1(环境光的privacy),指纹数据值,2(指纹的latency),3(指纹的privacy)>,电子设备可以按照预设格式对其进行转换,得到样本数据<0,0,1(环境光的latency),2(指纹的latency),0,0,0,0,0,环境光数据值,1(环境光的privacy),指纹数据值,3(指纹的privacy),0,0>。即,<0,0,1,2,0,0,0,0,0,环境光数据值,1,指纹数据值,3,0,0>。
在将样本数据输入至神经网络进行学习训练时,神经网络的输入层的神经元i1接收该目标样本数据中GPS数据的预设第一属性的属性值,神经元i2接收该目标样本数据中陀螺仪数据的预设第一属性的属性值,神经元i3接收该目标数据中环境光数据的预设第一属性的属性值,神经元i4接收该目标数据中指纹数据的预设第一属性的属性值,神经元i5接收该目标数据中温度数据的预设第一属性的属性值。例如,电子设备可以将经过格式转换后的目标样本数据输入至神经网络中,其中,输入层的第1个神经元至第15个神经元依次输入样本数据<2,2,1,0,0,GPS数据值,2,陀螺仪数据值,1,环境光数据值,1,0,0,0,0>中的每一个元素。即,神经元i1的输入值为2,神经元i2的输入值为2,神经元i3的输入值为1,神经元i4的输入值为0,神经元i5的输入值为0,神经元i6的输入值为GPS数据值,神经元i7的输入值为2,神经元i8的输入值为陀螺仪数据值,神经元i9的输入值为1,神经元i10的输入值为环境光数据值,神经元i11的输入值为1,神经元i12的输入值为0,神经元i13的输入值为0,神经元i14的输入值为0,神经元i15的输入值为0。
又如,对于经过格式转换后的目标样本数据<0,0,1,2,0,0,0,0,0,环境光数据值,1,指纹数据值,3,0,0>,电子设备在将其输入到神经网络时,神经元i1的输入值为0,神经元i2的输入值为0,神经元i3的输入值为1,神经元i4的输入值为2,神经元i5的输入值为0,神经元i6的输入值为0,神经元i7的输入值为0,神经元i8的输入值为0,神经元i9的输入值为0,神经元i10的输入值为环境光数据值,神经元i11的输入值为1,神经元i12的输入值为指纹数据值,神经元i13的输入值为3,神经元i14的输入值为0,神经元i15的输入值为0。
在206中,当进行监督学习训练时,当神经网络输出预设数值时,电子设备记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值,预设数值用于表示一种场景。
比如,本实施例中,电子设备一共要学习50种场景下各类型的数据的收集频率和收集触发条件。其中,每一种场景可以用一个预设数值来表示。例如,驾驶场景为1,购物场景为2,会议场景为3,旅游场景为4,等等。
在将目标样本数据输入至神经网络进行有监督学习训练时,当神经网络输出预设数值时,电子设备可以记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值。
例如,此时电子设备利用神经网络学习训练驾驶场景下各类型的数据的收集频率和收集触发条件,其中驾驶场景用数值1来表示,那么当神经网络的输出值为期望的数值1(表示驾驶场景)时,电子设备可以记录下第一隐藏层的前5个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值。
例如,如图6所示,此时,神经元x1的值为0.5,神经元x2的值为0.6,神经元x3的值为0.1,神经元x4的值为0.01,神经元x5的值为0.01。神经元z1与输出层神经元O的连接关系对应的权重值为0.8,神经元z2与输出层神经元O的连接关系对应的权重值为0.75,神经元z3与输出层神经元O的连接关系对应的权重值为0.6,神经元z4与输出层神经元O的连接关系对应的权重值为0.1,神经元z5与输出层神经元O的连接关系对应的权重值为0.2。
在207中,根据记录到的第一隐藏层的前L1个神经元中每一神经元的值,电子设备确定对应类型的数据的收集频率,其中,对应于神经元的排列关系,第一隐藏层的前L1个神经元与输入层的前L1个神经元依次对应于相同的类型。
比如,在记录到第一隐藏层的前5个神经元中每一神经元的值之后,电子设备可以据此确定对应类型的数据的收集频率。例如,将神经元的值乘以50表示对应类型的数据在驾驶场景下的收集频率。例如,神经元x1的值为0.5,该值乘以50得到的值为25,由于神经元i1接收的是GPS类型的数据的预设第一属性的属性值,因此电子设备可以确定出驾驶场景下GPS数据的收集频率为每分钟25次。又如,神经元x2的值为0.6,该值乘以50得到的值为30,由于神经元i2接收的是陀螺仪类型的数据的预设第一属性的属性值,因此电子设备可以确定出驾驶场景下陀螺仪传感器数据的收集频率为每分钟30次。
在208中,电子设备将每一权重值与预设阈值比较,其中,若权重值大于预设阈值则确定出需要在对应场景下收集对应类型的数据,若权重值小于或等于预设阈值则确定出不需要在对应场景下收集对应类型的数据,其中,对应于神经元的排列关系,第三隐藏层的神经元与输入层的前L1个神经元依次对应于相同的类型。
比如,在记录到第三隐藏层与输出层的神经元之间的连接关系对应的权重值,电子设备可以将每一权重值与预设阈值进行比较,其中,若权重值大于预设阈值,则电子设备可以确定出需要在该场景下收集对应类型的数据;若权重值小于或等于预设阈值,则电子设备可以确定出不需要在该场景下收集对应类型的数据。
例如,如图6所示,神经元z1与输出层神经元O的连接关系对应的权重值为0.8,神经元z2与输出层神经元O的连接关系对应的权重值为0.75,神经元z3与输出层神经元O的连接关系对应的权重值为0.6,神经元z4与输出层神经元O的连接关系对应的权重值为0.1,神经元z5与输出层神经元O的连接关系对应的权重值为0.2。
例如,预设阈值为0.6。对于神经元z1而言,其与输出层的神经元O的连关系对应的权重值0.8大于预设阈值0.6。由于神经元z1与神经元i1具有相同的数据类型,而神经元i1对应的数据类型为GPS类型的数据,因此电子设备可以确定出驾驶场景下需要收集GPS数据。
又如,对于神经元z4而言,其与输出层神经元O的连接关系对应的权重值0.1小于预设阈值0.6。由于神经元z4与神经元i4具有相同的数据类型,而神经元i4对应的数据类型为指纹传感器数据,因此电子设备可以确定出驾驶场景下不需要收集指纹传感器的数据。
在209中,根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,电子设备生成数据收集策略。
比如,在学习得到驾驶场景下GPS数据的收集频率和需要在驾驶场景下收集GPS数据后,电子设备可以据此生成一条驾驶场景下GPS数据的收集频率和收集触发条件的数据收集策略,即在驾驶场景下需要收集GPS数据,且GPS数据的收集频率为每分钟25次。
在一种实施方式中,本实施例可以通过如下方式来为每一条初始样本数据中每一类型的数据添加属性值:
电子设备在显示界面上展示与每一条初始样本数据中每一类型的数据对应的数值输入接口,该数值输入接口用于接收用户输入的数值;
对于每一条初始样本数据,电子设备将通过数值输入接口接收到的数值确定为对应类型的数据的属性值。
例如,本实施例可以通过人为标定的方式来为每一条初始样本数据中每一类型的数据添加对应的属性值。在进行人为标定时,电子设备可以将获取到的初始样本数据显示在显示界面上,并展示与其中每一类型的数据对应的数值输入接口。通过该数值输入接口,用户可以输入对应的数值,之后电子设备可以将接收到的数值确定为对应类型的数据的属性值。
在一种实施方式中,本实施例还可以包括如下步骤:
根据数据收集策略进行数据收集。
比如,在学习得到数据收集策略后,电子设备可以根据该数据收集策略进行数据收集。比如,当检测到电子设备处于驾驶场景时,电子设备可以触发对GPS数据的收集,并按照每分钟收集25次数据的频率进行数据收集。
在一种实施方式中,电子设备还可以收集实际应用中的各种数据的应用场景,比如,在驾驶场景下主要用到哪些数据,在购物场景下主要用到哪些数据。电子设备获取到的这些数据可以作为有监督的信息帮助神经网络进行学习训练。
在一种实施方式中,206中当进行监督学习训练时,当神经网络输出预设数值时,电子设备记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值的流程,可以包括:
当进行监督学习训练时,当神经网络输出预设数值的预设范围内的数值时,电子设备记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值。
比如,预设数值为0,在实际的学习训练过程中,神经网络的输出值可能是无限接近于0的,因此当神经网络输出了预设数值的预设范围内的数值时,可以认为神经网络已经完成学习训练,此时电子设备记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值。例如,预设数值的预设范围为数值大小的±0.2。当神经网络输出了0.1的数值时,可以认为神经网络已经完成学习训练,此时电子设备记录第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值。
在一种实施方式中,在学习训练的过程中,第一隐藏层的前L1个神经元的值(即神经元的输出值)可以限定在某个数值区间中,例如限定在0~3之间。这样在根据第一隐藏层的前L1个神经元的值来确定对应类型的数据的收集频率时可以减少计算量。
请参阅图7,图7为本申请实施例提供的数据处理装置的结构示意图。数据处理装置300可以包括:获取模块301,添加模块302,构建模块303,训练模块304,生成模块305。
获取模块301,用于获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据。
添加模块302,用于对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性。
构建模块303,用于根据所述目标样本数据,构建神经网络。
训练模块304,用于根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件。
生成模块305,用于根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
在一种实施方式中,所述添加模块302可以用于:
对于每一条初始样本数据,为每一类型的数据添加预设第一属性的属性值以及预设第二属性的属性值,得到对应的目标样本数据,所述预设第一属性的属性值用于表示数据的实时需求度,所述预设第二属性的属性值用于表示数据的隐私度。
在一种实施方式中,所述构建模块303可以用于:
确定第一数量L1和第二数量L2,其中,所述第一数量是所有目标样本数据包含的数据类型的数量,所述第二数量是预设属性的种类的数量;
根据所述第一数量和第二数量,构建神经网络;
其中,构建得到的所述神经网络至少包括输入层、第一隐藏层、第二隐藏层、第三隐藏层、输出层;
所述输入层和所述第一隐藏层的神经元的数量为第三数量L3,其中,L3=(L2+1)*L1,所述第一隐藏层的前L1个神经元与所述输入层的前L1个神经元依次一一连接,所述第一隐藏层和所述输入层其它神经元为全连接关系;
所述第二隐藏层的神经元的数量多于第一隐藏层,所述第二隐藏层的神经元与所述第一隐藏层的神经元为全连接关系;
所述第三隐藏层的神经元的数量等于所述第一数量,所述第三隐藏层的神经元与所述第二隐藏层的神经元为全连接关系;
所述输出层的神经元的数量为1,所述输出层与所述第三隐藏层的神经元为全连接关系。
在一种实施方式中,所述训练模块304可以用于:
将所述目标样本数据作为输入数据,对所述神经网络进行监督学习训练;
其中,在将目标样本数据输入至所述神经网络的输入层时,所述输入层前L1个神经元中的每一个神经元接收目标样本数据的一种类型的数据的预设第一属性的属性值;
当进行监督学习训练时,当所述神经网络输出预设数值时,记录所述第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值,所述预设数值用于表示一种场景;
根据记录到的所述第一隐藏层的前L1个神经元中每一神经元的值,确定对应类型的数据的收集频率,其中,对应于神经元的排列关系,第一隐藏层的前L1个神经元与输入层的前L1个神经元依次对应于相同的类型;
根据记录到的所述第三隐藏层与输出层的神经元之间的连接关系对应的权重值,确定对应类型的数据的收集触发条件,其中,对应于神经元的排列关系,所述第三隐藏层的神经元与所述输入层的前L1个神经元依次对应于相同的类型。
在一种实施方式中,所述训练模块304可以用于:
将每一权重值与预设阈值比较,其中,若权重值大于预设阈值则确定出需要在对应场景下收集对应类型的数据,若权重值小于或等于预设阈值则确定出不需要在对应场景下收集对应类型的数据。
在一种实施方式中,所述添加模块302可以用于:在显示界面上展示与每一条初始样本数据中每一类型的数据对应的数据输入接口,所述数据输入接口用于接收用户输入的数值;
对于每一条初始样本数据,将通过所述数据输入接口接收到的数值确定为对应类型的数据的属性值。
在一种实施方式中,所述生成模块305还可以用于:
根据所述数据收集策略进行数据收集。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的数据处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的数据处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括显示屏401、存储器402、处理器403等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
显示屏401可以用于显示诸如图像、文字等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
根据所述目标样本数据,构建神经网络;
根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
请参阅图9,电子设备500可以包括显示屏501、存储器502、处理器503、扬声器504、麦克风505等部件。
显示屏501可以用于显示诸如图像、文字等信息。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
根据所述目标样本数据,构建神经网络;
根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
在一种实施方式中,处理器503在执行所述对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性时,可以执行:对于每一条初始样本数据,为每一类型的数据添加预设第一属性的属性值以及预设第二属性的属性值,得到对应的目标样本数据,所述预设第一属性的属性值用于表示数据的实时需求度,所述预设第二属性的属性值用于表示数据的隐私度。
在一种实施方式中,根据所述目标样本数据,构建神经网络,包括:确定第一数量L1和第二数量L2,其中,所述第一数量是所有目标样本数据包含的数据类型的数量,所述第二数量是预设属性的种类的数量;根据所述第一数量和第二数量,构建神经网络;其中,构建得到的所述神经网络至少包括输入层、第一隐藏层、第二隐藏层、第三隐藏层、输出层;所述输入层和所述第一隐藏层的神经元的数量为第三数量L3,其中,L3=(L2+1)*L1,所述第一隐藏层的前L1个神经元与所述输入层的前L1个神经元依次一一连接,所述第一隐藏层和所述输入层其它神经元为全连接关系;所述第二隐藏层的神经元的数量多于第一隐藏层,所述第二隐藏层的神经元与所述第一隐藏层的神经元为全连接关系;所述第三隐藏层的神经元的数量等于所述第一数量,所述第三隐藏层的神经元与所述第二隐藏层的神经元为全连接关系;所述输出层的神经元的数量为1,所述输出层与所述第三隐藏层的神经元为全连接关系。
在一种实施方式中,处理器503在执行根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件时,可以执行:将所述目标样本数据作为输入数据,对所述神经网络进行监督学习训练;其中,在将目标样本数据输入至所述神经网络的输入层时,所述输入层前L1个神经元中的每一个神经元接收目标样本数据的一种类型的数据的预设第一属性的属性值;当进行监督学习训练时,当所述神经网络输出预设数值时,记录所述第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值,所述预设数值用于表示一种场景;根据记录到的所述第一隐藏层的前L1个神经元中每一神经元的值,确定对应类型的数据的收集频率,其中,对应于神经元的排列关系,第一隐藏层的前L1个神经元与输入层的前L1个神经元依次对应于相同的类型;根据记录到的所述第三隐藏层与输出层的神经元之间的连接关系对应的权重值,确定对应类型的数据的收集触发条件,其中,对应于神经元的排列关系,所述第三隐藏层的神经元与所述输入层的前L1个神经元依次对应于相同的类型。
在一种实施方式中,处理器503在执行根据记录到的所述第三隐藏层与输出层的神经元之间的连接关系对应的权重值,确定对应类型的数据的收集触发条件时,可以执行:将每一权重值与预设阈值比较,其中,若权重值大于预设阈值则确定出需要在对应场景下收集对应类型的数据,若权重值小于或等于预设阈值则确定出不需要在对应场景下收集对应类型的数据。
在一种实施方式中,对于每一条初始样本数据,为每一类型的数据添加属性值,包括:在显示界面上展示与每一条初始样本数据中每一类型的数据对应的数据输入接口,所述数据输入接口用于接收用户输入的数值;对于每一条初始样本数据,将通过所述数据输入接口接收到的数值确定为对应类型的数据的属性值。
在一种实施方式中,在所述生成数据收集策略之后,处理器503还可以执行:根据所述数据收集策略进行数据收集。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对数据处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述数据处理装置与上文实施例中的数据处理方法属于同一构思,在所述数据处理装置上可以运行所述数据处理方法实施例中提供的任一方法,其具体实现过程详见所述数据处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述数据处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述数据处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述数据处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述数据处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种数据处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
根据所述目标样本数据,构建神经网络;
根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
2.根据权利要求1所述的数据处理方法,其特征在于,对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性,包括:
对于每一条初始样本数据,为每一类型的数据添加预设第一属性的属性值以及预设第二属性的属性值,得到对应的目标样本数据,所述预设第一属性的属性值用于表示数据的实时需求度,所述预设第二属性的属性值用于表示数据的隐私度。
3.根据权利要求2所述的数据处理方法,其特征在于,根据所述目标样本数据,构建神经网络,包括:
确定第一数量L1和第二数量L2,其中,所述第一数量是所有目标样本数据包含的数据类型的数量,所述第二数量是预设属性的种类的数量;
根据所述第一数量和第二数量,构建神经网络;
其中,构建得到的所述神经网络至少包括输入层、第一隐藏层、第二隐藏层、第三隐藏层、输出层;
所述输入层和所述第一隐藏层的神经元的数量为第三数量L3,其中,L3=(L2+1)*L1,所述第一隐藏层的前L1个神经元与所述输入层的前L1个神经元依次一一连接,所述第一隐藏层和所述输入层的其它神经元为全连接关系;
所述第二隐藏层的神经元的数量多于第一隐藏层,所述第二隐藏层的神经元与所述第一隐藏层的神经元为全连接关系;
所述第三隐藏层的神经元的数量等于所述第一数量,所述第三隐藏层的神经元与所述第二隐藏层的神经元为全连接关系;
所述输出层的神经元的数量为1,所述输出层与所述第三隐藏层的神经元为全连接关系。
4.根据权利要求3所述的数据处理方法,其特征在于,根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件,包括:
将所述目标样本数据作为输入数据,对所述神经网络进行监督学习训练;
其中,在将目标样本数据输入至所述神经网络的输入层时,所述输入层前L1个神经元中的每一个神经元接收目标样本数据的一种类型的数据的预设第一属性的属性值;
当进行监督学习训练时,当所述神经网络输出预设数值时,记录所述第一隐藏层的前L1个神经元的值,以及第三隐藏层与输出层的神经元之间的连接关系对应的权重值,所述预设数值用于表示一种场景;
根据记录到的所述第一隐藏层的前L1个神经元中每一神经元的值,确定对应类型的数据的收集频率,其中,对应于神经元的排列关系,第一隐藏层的前L1个神经元与输入层的前L1个神经元依次对应于相同的类型;
根据记录到的所述第三隐藏层与输出层的神经元之间的连接关系对应的权重值,确定对应类型的数据的收集触发条件,其中,对应于神经元的排列关系,所述第三隐藏层的神经元与所述输入层的前L1个神经元依次对应于相同的类型。
5.根据权利要求4所述的数据处理方法,其特征在于,所述根据记录到的所述第三隐藏层与输出层的神经元之间的连接关系对应的权重值,确定对应类型的数据的收集触发条件,包括:
将每一权重值与预设阈值比较,其中,若权重值大于预设阈值则确定出需要在对应场景下收集对应类型的数据,若权重值小于或等于预设阈值则确定出不需要在对应场景下收集对应类型的数据。
6.根据权利要求1所述的数据处理方法,其特征在于,对于每一条初始样本数据,为每一类型的数据添加属性值,包括:
在显示界面上展示与每一条初始样本数据中每一类型的数据对应的数据输入接口,所述数据输入接口用于接收用户输入的数值;
对于每一条初始样本数据,将通过所述数据输入接口接收到的数值确定为对应类型的数据的属性值。
7.根据权利要求1所述的数据处理方法,其特征在于,在所述生成数据收集策略之后,还包括:
根据所述数据收集策略进行数据收集。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取多条初始样本数据,每一条初始样本数据是在同一场景下同步收集到的数据且包含多种类型的数据,所述多条初始样本数据包括在多个不同场景下收集的数据;
添加模块,用于对于每一条初始样本数据,为每一类型的数据添加属性值,得到对应的目标样本数据,所述属性值用于表示数据具有对应的预设属性;
构建模块,用于根据所述目标样本数据,构建神经网络;
训练模块,用于根据所述目标样本数据,对所述神经网络进行学习训练,得到各场景下不同类型的数据的收集频率和收集触发条件;
生成模块,用于根据学习到的各场景下不同类型的数据的收集频率和收集触发条件,生成数据收集策略。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910282166.XA CN111797986A (zh) | 2019-04-09 | 2019-04-09 | 数据处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910282166.XA CN111797986A (zh) | 2019-04-09 | 2019-04-09 | 数据处理方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111797986A true CN111797986A (zh) | 2020-10-20 |
Family
ID=72805743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910282166.XA Pending CN111797986A (zh) | 2019-04-09 | 2019-04-09 | 数据处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797986A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022978A (zh) * | 2021-10-25 | 2022-02-08 | 远峰科技股份有限公司 | 标定方法、钥匙、车辆、系统、电子设备及可读存储介质 |
CN115294411A (zh) * | 2022-10-08 | 2022-11-04 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080281767A1 (en) * | 2005-11-15 | 2008-11-13 | Bernadette Garner | Method for Training Neural Networks |
CN108764370A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN108921044A (zh) * | 2018-06-11 | 2018-11-30 | 大连大学 | 基于深度卷积神经网络的驾驶员决策特征提取方法 |
CN109344959A (zh) * | 2018-08-27 | 2019-02-15 | 联想(北京)有限公司 | 神经网络训练方法、神经网络系统和计算机系统 |
-
2019
- 2019-04-09 CN CN201910282166.XA patent/CN111797986A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080281767A1 (en) * | 2005-11-15 | 2008-11-13 | Bernadette Garner | Method for Training Neural Networks |
CN108764370A (zh) * | 2018-06-08 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN108921044A (zh) * | 2018-06-11 | 2018-11-30 | 大连大学 | 基于深度卷积神经网络的驾驶员决策特征提取方法 |
CN109344959A (zh) * | 2018-08-27 | 2019-02-15 | 联想(北京)有限公司 | 神经网络训练方法、神经网络系统和计算机系统 |
Non-Patent Citations (1)
Title |
---|
魏松杰;吴高翔;罗娜;时召伟;周紫阳;: "DroidBet:事件驱动的Android应用网络行为的自动检测系统", 通信学报, no. 05 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022978A (zh) * | 2021-10-25 | 2022-02-08 | 远峰科技股份有限公司 | 标定方法、钥匙、车辆、系统、电子设备及可读存储介质 |
CN115294411A (zh) * | 2022-10-08 | 2022-11-04 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
CN115294411B (zh) * | 2022-10-08 | 2022-12-30 | 国网浙江省电力有限公司 | 基于神经网络的电网输变电图像数据处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111797858A (zh) | 模型训练方法、行为预测方法、装置、存储介质及设备 | |
CN111797854B (zh) | 场景模型建立方法、装置、存储介质及电子设备 | |
CN111797861A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN111797851A (zh) | 特征提取方法、装置、存储介质及电子设备 | |
CN111797302A (zh) | 模型处理方法、装置、存储介质及电子设备 | |
CN111797986A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111796925A (zh) | 算法模型的筛选方法、装置、存储介质和电子设备 | |
CN111796979B (zh) | 数据采集策略的确定方法、装置、存储介质及电子设备 | |
CN111797874B (zh) | 行为预测方法、装置、存储介质及电子设备 | |
CN111798019B (zh) | 意图预测方法、装置、存储介质及电子设备 | |
CN111797849A (zh) | 用户活动识别方法、装置、存储介质及电子设备 | |
CN111797856A (zh) | 建模方法、装置、存储介质及电子设备 | |
CN111797873A (zh) | 场景识别方法、装置、存储介质及电子设备 | |
CN115424346A (zh) | 一种人体坐姿检测方法、装置、计算机设备及系统 | |
CN111797860B (zh) | 特征提取方法、装置、存储介质及电子设备 | |
WO2020207294A1 (zh) | 服务处理方法、装置、存储介质及电子设备 | |
CN111797866A (zh) | 特征提取方法、装置、存储介质及电子设备 | |
CN111797869A (zh) | 模型训练方法、装置、存储介质及电子设备 | |
CN111797863A (zh) | 模型训练方法、数据处理方法、装置、存储介质及设备 | |
CN111796663A (zh) | 场景识别模型更新方法、装置、存储介质及电子设备 | |
CN111797875B (zh) | 场景建模方法、装置、存储介质及电子设备 | |
CN111797878A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111797290A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111797880A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN111796916A (zh) | 数据分发方法、装置、存储介质及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |