CN111800287B - 数据处理方法、装置、存储介质及电子设备 - Google Patents

数据处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111800287B
CN111800287B CN201910282461.5A CN201910282461A CN111800287B CN 111800287 B CN111800287 B CN 111800287B CN 201910282461 A CN201910282461 A CN 201910282461A CN 111800287 B CN111800287 B CN 111800287B
Authority
CN
China
Prior art keywords
data
network model
neural network
target
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910282461.5A
Other languages
English (en)
Other versions
CN111800287A (zh
Inventor
何明
陈仲铭
刘婷
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910282461.5A priority Critical patent/CN111800287B/zh
Publication of CN111800287A publication Critical patent/CN111800287A/zh
Application granted granted Critical
Publication of CN111800287B publication Critical patent/CN111800287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/044Network management architectures or arrangements comprising hierarchical management structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例公开了一种数据处理方法、装置、存储介质及电子设备,其中,本申请实施例通过采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练;提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中;采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练;提取训练后的第二神经网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。

Description

数据处理方法、装置、存储介质及电子设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种数据处理方法、装置、存储介质及电子设备。
背景技术
随着人工智能的不断发展,终端如手机的功能越来越智能化,手机可以通过各种各样的算法模型对数据进行处理,从而更精确的为用户提供各种各样的智能服务,例如,手机可以根据生成式对抗网络模型(Generative Adversarial Networks,GAN)对用户的使用数据进行学习,从而刻画出用户偏好,但是,该生成式对抗网络模型难以同时兼顾广泛用户特性和个性化用户特性,导致刻画出的用户偏好的准确性始终不够理想。
发明内容
本申请实施例提供一种数据处理方法、装置、存储介质及电子设备,可以丰富数据处理的维度,进而提升数据处理的准确性。
第一方面,本申请实施例了提供了一种数据处理方法,包括:
采集第一电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练;
提取训练后的第一神经网络模型相应的高维数据,并将所述高维数据输入至第二神经网络模型中;
采集第二电子设备相应的第二数据,将所述第二数据输入至所述第二神经网络模型中进行训练;
提取训练后的第二神经网络模型相应的高维数据作为目标数据。
第二方面,本申请实施例了提供了的一种数据处理装置,包括:
第一采集单元,用于采集第一电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练;
输入单元,用于提取训练后的第一神经网络模型相应的高维数据,并将所述高维数据输入至第二神经网络模型中;
第二采集单元,用于采集第二电子设备相应的第二数据,将所述第二数据输入至所述第二神经网络模型中进行训练;
提取单元,用于提取训练后的第二神经网络模型相应的高维数据作为目标数据。
在一些实施方式中,所述数据处理装置,还包括:
计时单元,用于启动计时,开始计算时间值;
更新单元,用于当判断所述时间值达到预设时间阈值时,返回重新执行采集第一电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练的步骤,以对第一神经网络模型和第二神经网络模型进行更新操作。
第三方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的数据处理方法。
第四方面,本申请实施例提供的电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的数据处理方法。
本申请实施例通过采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练;提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中;采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练;提取训练后的第二神经网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的数据处理方法的应用场景示意图。
图2是本申请实施例提供的数据处理方法的流程示意图。
图3为本申请实施例提供的数据处理方法的另一流程示意图。
图4为本申请实施例提供的数据处理装置的模块示意图。
图5为本申请实施例提供的数据处理装置的另一模块示意图。
图6为本申请实施例提供的电子设备的结构示意图。
图7为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
参考图1,图1为本申请实施例提供的数据处理方法的应用场景示意图。该数据处理方法应用于电子设备。该电子设备中设置有全景感知架构。该全景感知架构为电子设备中用于实现该数据处理方法的硬件和软件的集成。
其中,全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息或者外部环境中的信息。该信息感知层可以包括多个传感器。例如,该信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取该数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,该多种算法可以构成算法库。例如,该算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
在一些实施方式中,信息感知层采集第一电子设备相应的第一数据,将第一数据通过数据处理层进行相应的处理输入至情景建模层的第一神经网络模型中进行训练,提取训练后的第一神经网络模型相应的高维数据,并将该高维数据输入至第二神经网络模型中作为基本参数,进一步的,通过该信息感知层采集第二电子设备相应的第二数据,将第二数据通过数据处理层进行相应的处理输入至情景建模层的第二神经网络模型中进行训练,提取训练后的第二神经网络模型相应的高维数据作为目标数据,该目标数据具有第一数据和第二数据的共性,即具有代表性,又实现了个性化。
本申请实施例提供一种数据处理方法,该数据处理方法的执行主体可以是本申请实施例提供的数据处理装置,或者集成了该数据处理装置的电子设备,其中该数据处理装置可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑(PDA,PersonalDigital Assistant)等。
以下进行具体分析说明。
本申请实施例提供一种数据处理方法,如图2所示,图2为本申请实施例提供的数据处理方法的流程示意图,该数据处理方法可以包括以下步骤:
在步骤S101中,采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练。
其中,该第一电子设备可以为非本机电子设备,或者是非目标电子设备,也就是说为其他用户电子设备,可以为任意数量的其他电子设备。该数据为用户操作电子设备时产生的多维数据类型,在一实施方式中,该数据可以包括环境数据、用户行为数据和终端运行数据。
进一步的,可以采集多个其他用户设备相应的多个第一数据,该多个第一数据代表了多用户的共性使用习惯,将该第一数据输入至第一神经网络模型中进行训练,直至数据开始收敛则判定为训练完成,该第一神经网络模型可以为具有学习能力的神经网络模型,如卷积神经网络模型、循环神经网络模型和生成式对抗网络(Generative AdversarialNetworks,GAN)等等。
在一些实施方式中,该采集第一电子设备相应的第一数据的步骤,可以包括:
(1)采集第一电子设备相应的多个数据;
(2)计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据。
其中,可以采集大量其他电子设备相应的用户的数据,并计算每一数据相应的出现频率,该出现频率越高,说明相应的数据越为常见,使用参考价值越高,该出现频率越低,说明相应的数据越不为常见,使用参考价值越低。
进一步的,根据计算出的出现频率,将出现频率高于预设阈值的数据,即具有一定参考价值的数据确定为第一数据。
在步骤S102中,提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中。
其中,该高维数据为与该数据强相关的特征数据,也可以成为模型参数,在神经网络模型中,存在多层神经元,通过该多层神经元对数据的逐层处理,在最后一层可以输出相应的用户行为信息,即用户的数据特性和偏好,可以看出的是,倒数第二层、第三层或者第四层的特征信息与最后一层相应的用户行为信息的关联度较大,可以将该倒数第二层、第三层或者第四层的特征信息确定为高维数据,并将该高维数据输入至第二神经网络模型中作为初始输入值。
在一些实施方式中,该提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中的步骤,可以包括:
(1)提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据;
(2)生成第二神经网络模型;
(3)将该高维数据输入至该第二神经网络模型中进行初始化处理。
其中,由于在第一神经网络模型中,倒数第二层的特征信息与最后一层相应的用户行为信息的关联度最大,可以提取该倒数第二层的特征信息确定为高维数据,并将该高维数据输入至第二神经网络模型中作为初始输入值。
进一步的,生成第二神经网络模型,该第二神经网络模型的算法类型和第一神经网络模型的算法类型一致,将在第一神经网络模型中提取的高维数据输入至第二神经网络模型中进行初始化,可以使得第二神经网络模型保留第一神经网络模型部分的共性用户特性。
在步骤S103中,采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练。
其中,该第二电子设备可以为本机电子设备,或者是目标电子设备,也就是说为目标用户电子设备,该第二数据为目标用户操作电子设备时产生的多维数据类型。
进一步的,可以采集目标用户设备相应的多个第二数据,该多个第二数据代表了目标用户的个性化使用习惯,将该第二数据输入至第二神经网络模型中进行训练,直至数据开始收敛则判定为训练完成,该第二神经网络模型可以为具有学习能力的神经网络模型,如卷积神经网络模型、循环神经网络模型和生成式对抗网络等等。
在一些实施方式中,该将该第二数据输入至该第二神经网络模型中进行训练的步骤,可以包括:
(1)将该第二数据输入至初始化处理后的第二神经网络模型中进行训练;
(2)当检测到该第二神经网络模型达到收敛条件时,判定为第二神经网络模型训练完成。
其中,将代表目标用户个性化使用习惯的第二数据输入至保留第一神经网络模型部分的共性用户特性的第二神经网络模型中进行训练学习。
进一步的,当检测到第二神经网络模型达到收敛条件时,即输出的结果向某一值靠近时,判定为第二神经网络模型训练完成,该训练完成的第二神经网络模型既保留了共性用户的特性和偏好,又兼顾了目标用户的个性化特性和偏好。
在步骤S104中,提取训练后的第二神经网络模型相应的高维数据作为目标数据。
其中,该高维数据为与该数据强相关的特征数据,也可以成为模型参数,在第二神经网络模型中,一样存在多层神经元,通过该多层神经元对数据的逐层处理,在最后一层可以输出相应的目标用户行为信息,即目标用户的数据特性和偏好,可以看出的是,倒数第二层、第三层或者第四层的特征信息与最后一层相应的目标用户行为信息的关联度较大,可以将该倒数第二层、第三层或者第四层的特征信息确定为高维数据,并将该高维数据作为目标数据,该目标数据既体现了目标用户的个性化特性和偏好,又兼顾了其他用户的共性特性和偏好。
在一些实施方式中,该提取训练后的第二神经网络模型相应的高维数据作为目标数据的步骤,可以包括:
(1)获取训练后的第二神经网络模型;
(2)提取该训练后的第二神经网络模型中倒数第二层的数据作为高维数据,并将该高维数据确定为目标数据。
其中,由于在第二神经网络模型中,倒数第二层的特征信息与最后一层相应的目标用户行为信息的关联度最大,可以提取该倒数第二层的特征信息确定为高维数据,并将该高维数据确定为相应的目标数据。
由上述可知,本实施例提供的一种数据处理方法,通过采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练;提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中;采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练;提取训练后的第二神经网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图3,图3为本申请实施例提供的数据处理方法的另一流程示意图。
具体而言,该方法包括:
在步骤S201中,采集第一电子设备相应的多个数据,计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据。
需要说明的是,为了更好的说明本申请,以下将电子设备以手机、第一神经网络和第二神经网络以生成式对抗网络模型进行举例说明。该生成式对抗网络核心思想来源于博弈论的纳什均衡。它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator),生成器的目的是尽量去学习真实的数据分布,而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器;为了取得游戏胜利,这两个游戏参与者需要不断优化,各自提高自己的生成能力和判别能力,这个学习优化过程就是寻找二者之间的一个纳什均衡。
其中,手机采集其他用户手机相应的多个数据,该数据可以包括其他用户手机的环境数据、用户行为数据和终端运行数据。
进一步的,手机可以计算出每一数据相应的出现频率,如两个数据之间相似,则将该两个数据归为一类,相应的出现次数为2,依次类推,计算出每一类数据相应的出现频率,出现频率越高,说明该数据参考价值越高,出现频率越低,说明该数据参考价值越低,将出现频率高于预设阈值,即参考价值高于一定价值的数据确定为第一数据,以便于后续的运算操作。
在步骤S202中,将第一数据输入至第一神经网络模型中进行训练。
其中,手机将第一数据输入至第一生成式对抗网络模型中进行训练,直至输出数据开始收敛,则说明第一生成式对抗网络模型学习出了第一数据代表的多数用户的共性特性和使用偏好。
在步骤S203中,提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据。
其中,由于在第一生成式对抗网络模型中,倒数第二层的特征信息与最后一层输出的相应的第一数据代表的多数用户的共性特性和使用偏好的关联度最大,所以手机可以提取该倒数第二层的特征信息确定为高维数据。
在步骤S204中,生成第二神经网络模型,将高维数据输入至第二神经网络模型中进行初始化处理。
其中,手机生成第二生成式对抗网络模型,将在第一生成式对抗网络模型中提取的高维数据输入至第二生成式对抗网络模型中进行初始化,可以使得第二生成式对抗网络模型保留第一生成式对抗网络模型部分的共性用户特性。
在步骤S205中,采集第二电子设备相应的第二数据,将第二数据输入至初始化处理后的第二神经网络模型中进行训练。
其中,手机采集本机的目标用户相应的第二数据,该第二数据代表了目标用户的个性化使用习惯,将该第二数据输入至保留第一生成式对抗网络模型部分的共性用户特性的第二生成式对抗网络模型中进行训练学习。
在步骤S206中,当检测到第二神经网络模型达到收敛条件时,判定为第二神经网络模型训练完成。
其中,当第二生成式对抗网络模型开始训练时,持续检测第二生成式对抗网络模型是否达到收敛条件,即持续检测第二生成式对抗网络模型输出的结果是否向某一值靠近,当检测到第二生成式对抗网络模型输出的结果向某一值靠近时,判定为第二生成式对抗网络模型训练完成。
在步骤S207中,获取训练后的第二神经网络模型,提取训练后的第二神经网络模型中倒数第二层的数据作为高维数据,并将高维数据确定为目标数据。
其中,由于在第二生成式对抗网络模型中,倒数第二层的特征信息与最后一层相应的代表目标用户的个性化特性和使用偏好的关联度最大,可以提取该倒数第二层的特征信息确定为高维数据,并将该高维数据确定为相应的目标数据。该目标数据既体现了目标用户的个性化特性和偏好,又兼顾了其他用户的共性特性和偏好。
在步骤S208中,启动计时,开始计算时间值。
其中,由于非目标用户以及目标用户的使用习惯会发生一定的改变,所以需要定期对第一生成式对抗网络模型和第二生成式对抗网络模型进行更新,即当获取到目标数据后启动计时,开始计算时间值。
在步骤S209中,当判断时间值达到预设时间阈值时,返回重新执行采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练的步骤。
其中,该预设时间阈值可以为一周、两周或者一个月,具体参数还可以由用户根据使用情况自行设定,当手机判断时间值达到预设时间阈值时,返回重新执行采集第一电子设备相应的多个数据,计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据的步骤,对第一生成式对抗网络模型和第二生成式对抗网络模型进行更新,使得生成目标数据更贴合用户的使用特性和偏好。
由上述可知,本实施例提供的一种数据处理方法,通过采集第一电子设备相应的第一数据,将第一数据输入至第一生成式对抗网络模型中进行训练;提取训练后的第一生成式对抗网络模型相应的高维数据,并将高维数据输入至第二生成式对抗网络模型中;采集第二电子设备相应的第二数据,将第二数据输入至第二生成式对抗网络模型中进行训练;提取训练后的第二生成式对抗网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。
为便于更好的实施本申请实施例提供的数据处理方法,本申请实施例还提供一种基于上述数据处理方法的装置。其中名词的含义与上述数据处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图4,图4为本申请实施例提供的数据处理装置的模块示意图。具体而言,该数据处理装置300,包括:第一采集单元31、输入单元32、第二采集单元33以及提取单元34。
第一采集单元31,用于采集第一电子设备相应的第一数据,将该第一数据输入至第一神经网络模型中进行训练。
其中,该第一电子设备可以为非本机电子设备,或者是非目标电子设备,也就是说为其他用户电子设备,可以为任意数量的其他电子设备。该数据为用户操作电子设备时产生的多维数据类型,在一实施方式中,该数据可以包括环境数据、用户行为数据和终端运行数据。
进一步的,第一采集单元31可以采集多个其他用户设备相应的多个第一数据,该多个第一数据代表了多用户的共性使用习惯,将该第一数据输入至第一神经网络模型中进行训练,直至数据开始收敛则判定为训练完成,该第一神经网络模型可以为具有学习能力的神经网络模型,如卷积神经网络模型、循环神经网络模型和生成式对抗网络等等。
在一些实施方式中,该第一采集单元31,可以用于采集第一电子设备相应的多个数据;计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据。
输入单元32,用于提取训练后的第一神经网络模型相应的高维数据,并将该高维数据输入至第二神经网络模型中。
其中,该高维数据为与该数据强相关的特征数据,也可以成为模型参数,在神经网络模型中,存在多层神经元,通过该多层神经元对数据的逐层处理,在最后一层可以输出相应的用户行为信息,即用户的数据特性和偏好,可以看出的是,倒数第二层、第三层或者第四层的特征信息与最后一层相应的用户行为信息的关联度较大,输入单元32可以将该倒数第二层、第三层或者第四层的特征信息确定为高维数据,并将该高维数据输入至第二神经网络模型中作为初始输入值。
第二采集单元33,用于采集第二电子设备相应的第二数据,将该第二数据输入至该第二神经网络模型中进行训练。
其中,该第二电子设备可以为本机电子设备,或者是目标电子设备,也就是说为目标用户电子设备,该第二数据为目标用户操作电子设备时产生的多维数据类型。
进一步的,第二采集单元33可以采集目标用户设备相应的多个第二数据,该多个第二数据代表了目标用户的个性化使用习惯,将该第二数据输入至第二神经网络模型中进行训练,直至数据开始收敛则判定为训练完成,该第二神经网络模型可以为具有学习能力的神经网络模型,如卷积神经网络模型、循环神经网络模型和生成式对抗网络等等。
在一些实施方式中,该第二采集单元33,可以用于将该第二数据输入至初始化处理后的第二神经网络模型中进行训练;当检测到该第二神经网络模型达到收敛条件时,判定为第二神经网络模型训练完成。
提取单元34,用于提取训练后的第二神经网络模型相应的高维数据作为目标数据。
其中,该高维数据为与该数据强相关的特征数据,也可以成为模型参数,在第二神经网络模型中,一样存在多层神经元,通过该多层神经元对数据的逐层处理,在最后一层可以输出相应的目标用户行为信息,即目标用户的数据特性和偏好,可以看出的是,倒数第二层、第三层或者第四层的特征信息与最后一层相应的目标用户行为信息的关联度较大,提取单元34可以将该倒数第二层、第三层或者第四层的特征信息确定为高维数据,并将该高维数据作为目标数据,该目标数据既体现了目标用户的个性化特性和偏好,又兼顾了其他用户的共性特性和偏好。
在一些实施方式中,该提取单元34,可以用于获取训练后的第二神经网络模型;提取该训练后的第二神经网络模型中倒数第二层的数据作为高维数据,并将该高维数据确定为目标数据。
可一并参考图5,图5为本申请实施例提供的数据处理装置的另一模块示意图,该数据处理装置300还可以包括:
其中,该输入单元32可以包括提取子单元321、生成子单元322以及输入子单元323。
进一步的,该提取子单元321,用于提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据。生成子单元322,用于生成第二神经网络模型。输入子单元323,用于将该高维数据输入至该第二神经网络模型中进行初始化处理。
计时单元35,用于启动计时,开始计算时间值;
更新单元36,用于当判断该时间值达到预设时间阈值时,返回重新执行采集第一电子设备相应的第一数据,将该第一数据输入至第一神经网络模型中进行训练的步骤,以对第一神经网络模型和第二神经网络模型进行更新操作。
由上述可知,本实施例提供的一种数据处理装置,通过第一采集单元31采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练;输入单元32提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中;第二采集单元33采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练;提取单元34提取训练后的第二神经网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。
本申请实施例还提供一种电子设备。请参阅图6,电子设备500包括处理器501以及存储器502。其中,处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501运行存储在存储器502中的计算机程序,从而实现各种功能,如下:
采集第一电子设备相应的第一数据,将该第一数据输入至第一神经网络模型中进行训练;
提取训练后的第一神经网络模型相应的高维数据,并将该高维数据输入至第二神经网络模型中;
采集第二电子设备相应的第二数据,将该第二数据输入至该第二神经网络模型中进行训练;
提取训练后的第二神经网络模型相应的高维数据作为目标数据。
在某些实施方式中,在采集第一电子设备相应的第一数据时,处理器501可以具体执行以下步骤:
采集第一电子设备相应的多个数据;
计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据。
在某些实施方式中,在提取训练后的第一神经网络模型相应的高维数据,并将该高维数据输入至第二神经网络模型中时,处理器501可以具体执行以下步骤:
提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据;
生成第二神经网络模型;
将该高维数据输入至该第二神经网络模型中进行初始化处理。
在某些实施方式中,在将该第二数据输入至该第二神经网络模型中进行训练时,处理器501可以具体执行以下步骤:
将该第二数据输入至初始化处理后的第二神经网络模型中进行训练;
当检测到该第二神经网络模型达到收敛条件时,判定为第二神经网络模型训练完成。
在某些实施方式中,在提取训练后的第二神经网络模型相应的高维数据作为目标数据时,处理器501可以具体执行以下步骤:
获取训练后的第二神经网络模型;
提取该训练后的第二神经网络模型中倒数第二层的数据作为高维数据,并将该高维数据确定为目标数据。
在某些实施方式中,在提取训练后的第二神经网络模型相应的高维数据作为目标数据之后,处理器501还可以具体执行以下步骤:
启动计时,开始计算时间值;
当判断该时间值达到预设时间阈值时,返回重新执行采集第一电子设备相应的第一数据,将该第一数据输入至第一神经网络模型中进行训练的步骤,以对第一神经网络模型和第二神经网络模型进行更新操作。
由上述可知,本申请实施例的电子设备,通过采集第一电子设备相应的第一数据,将第一数据输入至第一神经网络模型中进行训练;提取训练后的第一神经网络模型相应的高维数据,并将高维数据输入至第二神经网络模型中;采集第二电子设备相应的第二数据,将第二数据输入至第二神经网络模型中进行训练;提取训练后的第二神经网络模型相应的高维数据作为目标数据。以此可以将第一数据相应的特性与第二数据相应的特性进行结合,生成包含有两者共性的目标数据,使得目标数据的维度多元化,提升了数据处理的准确性。
请一并参阅图7,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505以及电源506。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他终端建立无线通讯,与网络设备或其他终端之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的数据处理方法,比如:采集第一电子设备相应的第一数据,将该第一数据输入至第一神经网络模型中进行训练;提取训练后的第一神经网络模型相应的高维数据,并将该高维数据输入至第二神经网络模型中;采集第二电子设备相应的第二数据,将该第二数据输入至该第二神经网络模型中进行训练;提取训练后的第二神经网络模型相应的高维数据作为目标数据。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的数据处理方法而言,本领域普通测试人员可以理解实现本申请实施例的数据处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如数据处理方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的数据处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种数据处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
采集非目标电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练,所述第一数据代表非目标用户的共性使用习惯;
提取训练后的第一神经网络模型相应的高维数据,并将所述高维数据输入至第二神经网络模型中;
采集目标电子设备相应的第二数据,将所述第二数据输入至所述第二神经网络模型中进行训练,所述第二数据与所述第一数据为同一类型的数据,所述第二数据代表目标用户的个性化使用习惯;
提取训练后的第二神经网络模型相应的高维数据作为目标数据。
2.如权利要求1所述的数据处理方法,其特征在于,所述采集非目标电子设备相应的第一数据的步骤,包括:
采集非目标电子设备相应的多个数据;
计算出每一数据相应的出现频率,将出现频率高于预设阈值的数据确定为第一数据。
3.如权利要求1所述的数据处理方法,其特征在于,所述提取训练后的第一神经网络模型相应的高维数据,并将所述高维数据输入至第二神经网络模型中的步骤,包括:
提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据;
生成第二神经网络模型;
将所述高维数据输入至所述第二神经网络模型中进行初始化处理。
4.如权利要求3所述的数据处理方法,其特征在于,所述将所述第二数据输入至所述第二神经网络模型中进行训练的步骤,包括:
将所述第二数据输入至初始化处理后的第二神经网络模型中进行训练;
当检测到所述第二神经网络模型达到收敛条件时,判定为第二神经网络模型训练完成。
5.如权利要求1至4任一项所述的数据处理方法,其特征在于,所述提取训练后的第二神经网络模型相应的高维数据作为目标数据的步骤,包括:
获取训练后的第二神经网络模型;
提取所述训练后的第二神经网络模型中倒数第二层的数据作为高维数据,并将所述高维数据确定为目标数据。
6.如权利要求5所述的数据处理方法,其特征在于,所述提取训练后的第二神经网络模型相应的高维数据作为目标数据的步骤之后,还包括:
启动计时,开始计算时间值;
当判断所述时间值达到预设时间阈值时,返回重新执行采集非目标电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练的步骤,以对第一神经网络模型和第二神经网络模型进行更新操作。
7.一种数据处理装置,其特征在于,包括:
第一采集单元,用于采集非目标电子设备相应的第一数据,将所述第一数据输入至第一神经网络模型中进行训练,所述第一数据代表非目标用户的共性使用习惯;
输入单元,用于提取训练后的第一神经网络模型相应的高维数据,并将所述高维数据输入至第二神经网络模型中;
第二采集单元,用于采集目标电子设备相应的第二数据,将所述第二数据输入至所述第二神经网络模型中进行训练,所述第二数据与所述第一数据为同一类型的数据,所述第二数据代表目标用户的个性化使用习惯;
提取单元,用于提取训练后的第二神经网络模型相应的高维数据作为目标数据。
8.如权利要求7所述的数据处理装置,其特征在于,所述输入单元,包括:
提取子单元,用于提取训练后的第一神经网络模型中倒数第二层的数据作为高维数据;
生成子单元,用于生成第二神经网络模型;
输入子单元,用于将所述高维数据输入至所述第二神经网络模型中进行初始化处理。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至6任一项所述的数据处理方法。
10.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至6任一项所述的数据处理方法。
CN201910282461.5A 2019-04-09 2019-04-09 数据处理方法、装置、存储介质及电子设备 Active CN111800287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282461.5A CN111800287B (zh) 2019-04-09 2019-04-09 数据处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282461.5A CN111800287B (zh) 2019-04-09 2019-04-09 数据处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111800287A CN111800287A (zh) 2020-10-20
CN111800287B true CN111800287B (zh) 2023-07-18

Family

ID=72805310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282461.5A Active CN111800287B (zh) 2019-04-09 2019-04-09 数据处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111800287B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657007A (zh) * 2017-09-22 2018-02-02 广东欧珀移动通信有限公司 信息推送方法、装置、终端、可读存储介质及系统
CN108920682A (zh) * 2018-07-11 2018-11-30 厦门盈趣科技股份有限公司 基于机器学习和用户画像技术的社交用户推荐方法及装置
CN109447140A (zh) * 2018-10-19 2019-03-08 广州四十五度科技有限公司 一种基于神经网络深度学习的图像识别并推荐认知的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874921B (zh) * 2015-12-11 2020-12-04 清华大学 图像分类方法和装置
US20180357321A1 (en) * 2017-06-08 2018-12-13 Ebay Inc. Sequentialized behavior based user guidance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657007A (zh) * 2017-09-22 2018-02-02 广东欧珀移动通信有限公司 信息推送方法、装置、终端、可读存储介质及系统
CN108920682A (zh) * 2018-07-11 2018-11-30 厦门盈趣科技股份有限公司 基于机器学习和用户画像技术的社交用户推荐方法及装置
CN109447140A (zh) * 2018-10-19 2019-03-08 广州四十五度科技有限公司 一种基于神经网络深度学习的图像识别并推荐认知的方法

Also Published As

Publication number Publication date
CN111800287A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797854B (zh) 场景模型建立方法、装置、存储介质及电子设备
CN111800331A (zh) 通知消息的推送方法、装置、存储介质及电子设备
CN111797288A (zh) 数据筛选方法、装置、存储介质及电子设备
CN111798811B (zh) 屏幕背光亮度的调节方法、装置、存储介质及电子设备
CN114450690A (zh) 网络模型训练方法、图像属性识别方法、装置及电子设备
CN111797851A (zh) 特征提取方法、装置、存储介质及电子设备
CN111797861A (zh) 信息处理方法、装置、存储介质及电子设备
CN111797302A (zh) 模型处理方法、装置、存储介质及电子设备
CN111797870A (zh) 算法模型的优化方法、装置、存储介质及电子设备
CN111798978A (zh) 用户健康评估方法、装置、存储介质及电子设备
CN111797148A (zh) 数据处理方法、装置、存储介质及电子设备
CN111796979B (zh) 数据采集策略的确定方法、装置、存储介质及电子设备
CN111798019B (zh) 意图预测方法、装置、存储介质及电子设备
CN111797874B (zh) 行为预测方法、装置、存储介质及电子设备
CN111800287B (zh) 数据处理方法、装置、存储介质及电子设备
CN111797986A (zh) 数据处理方法、装置、存储介质及电子设备
CN111797857A (zh) 数据处理方法、装置、存储介质及电子设备
CN111797261A (zh) 特征提取方法、装置、存储介质及电子设备
CN111797860B (zh) 特征提取方法、装置、存储介质及电子设备
CN111797863A (zh) 模型训练方法、数据处理方法、装置、存储介质及设备
CN111797656B (zh) 人脸关键点检测方法、装置、存储介质及电子设备
CN111796314A (zh) 信息处理方法、装置、存储介质及电子设备
CN111800537B (zh) 终端使用状态的评估方法、装置、存储介质及电子设备
CN111797877B (zh) 数据处理方法、装置、存储介质及电子设备
CN111797880A (zh) 数据处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant