CN111797863A - 模型训练方法、数据处理方法、装置、存储介质及设备 - Google Patents

模型训练方法、数据处理方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN111797863A
CN111797863A CN201910282174.4A CN201910282174A CN111797863A CN 111797863 A CN111797863 A CN 111797863A CN 201910282174 A CN201910282174 A CN 201910282174A CN 111797863 A CN111797863 A CN 111797863A
Authority
CN
China
Prior art keywords
data
network model
confrontation network
generation type
type confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910282174.4A
Other languages
English (en)
Inventor
何明
陈仲铭
李姬俊男
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910282174.4A priority Critical patent/CN111797863A/zh
Publication of CN111797863A publication Critical patent/CN111797863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种模型训练方法、数据处理方法、装置、存储介质及设备,本申请提供的模型训练方法中,采集数据,对数据进行数据筛选,确定出相应的目标数据;对目标数据进行分类,得到多种数据类型的目标数据;将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中对模型进行训练,得到收敛后的联合生成式对抗网络模型。而本申请提供的数据处理方法中,采集用户的实时数据;将实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。以此可以根据模型训练方法所训练得到的模型对实时数据进行增强处理,提升了模型训练的效率,且加强了数据处理的质量和数量。

Description

模型训练方法、数据处理方法、装置、存储介质及设备
技术领域
本申请涉及电子设备技术领域,尤其涉及一种模型训练方法、数据处理方法、装置、存储介质及设备。
背景技术
随着人工智能的不断发展,终端如手机的功能越来越智能化,手机可以通过各种各样的算法模型对数据进行处理,从而更精确的为用户提供各种各样的智能服务,例如,手机可以根据生成式对抗网络模型(Generative Adversarial Networks,GAN)对用户的使用数据进行学习,从而刻画出用户偏好,但是,该生成式对抗网络模型难以同时兼顾多种类型数据的学习,导致训练过程繁琐。
发明内容
本申请实施例提供一种模型训练方法、数据处理方法、装置、存储介质及设备,可以丰富模型训练的维度,进而提升模型训练的效率,且加强数据处理的质量和数量。
第一方面,本申请实施例了提供了一种模型训练方法,包括:
采集数据,对所述数据进行数据筛选,确定出相应的目标数据;
对所述目标数据进行分类,得到多种数据类型的目标数据;
将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,所述收敛后的联合生成式对抗网络模型用于数据增强处理,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型。
第二方面,本申请实施例了提供了一种数据处理方法,包括:
采集用户的实时数据;
将所述实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;
其中,所述收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
第三方面,本申请实施例了提供了的一种模型训练装置,包括:
采集单元,用于采集数据,对所述数据进行数据筛选,确定出相应的目标数据;
分类单元,用于对所述目标数据进行分类,得到多种数据类型的目标数据;
训练单元,用于将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,所述收敛后的联合生成式对抗网络模型用于数据增强处理,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型。
第四方面,本申请实施例了提供了的一种数据处理装置,包括:
采集单元,用于采集用户的实时数据;
输入单元,用于将所述实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;
其中,所述收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
第五方面,本申请实施例提供的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请任一实施例提供的模型训练方法,或者使得所述计算机执行如本申请任一实施例提供的数据处理方法。
第六方面,本申请实施例提供的电子设备,包括处理器和存储器,所述存储器有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请任一实施例提供的模型训练方法,或者用于执行如本申请任一实施例提供的数据处理方法。
本申请实施例通过模型训练方法来采集数据,对数据进行数据筛选,确定出相应的目标数据;对目标数据进行分类,得到多种数据类型的目标数据;将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中对模型进行训练,得到收敛后的联合生成式对抗网络模型。通过数据处理方法来采集用户的实时数据;将实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。以此可以根据模型训练方法所训练得到的模型对实时数据进行增强处理,提升了模型训练的效率,且加强了数据处理的质量和数量。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的全景感知架构的结构示意图。
图2是本申请实施例提供的模型训练方法的流程示意图。
图3为本申请实施例提供的模型训练方法的另一流程示意图。
图4是本申请实施例提供的数据处理方法的流程示意图。
图5为本申请实施例提供的模型训练装置的模块示意图。
图6为本申请实施例提供的数据处理装置的模块示意图。
图7为本申请实施例提供的电子设备的结构示意图。
图8为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
参考图1,图1是本申请实施例提供的全景感知架构的结构示意图,应用于电子设备。其包括由下至上的信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。
信息感知层用于获取电子设备自身的信息或者外部环境中的信息。该信息感知层可以包括多个传感器。例如,该信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。
其中,距离传感器可以用于检测电子设备与外部物体之间的距离。磁场传感器可以用于检测电子设备所处环境的磁场信息。光线传感器可以用于检测电子设备所处环境的光线信息。加速度传感器可以用于检测电子设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器,可以用于实现电子设备的自动控制。位置传感器可以用于检测电子设备当前所处的地理位置。陀螺仪可以用于检测电子设备在各个方向上的角速度。惯性传感器可以用于检测电子设备的运动数据。姿态感应器可以用于感应电子设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。
数据处理层用于对信息感知层获取到的数据进行处理。例如,数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。
其中,数据清理是指对信息感知层获取到的大量数据进行清理,以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度,以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等,以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下,最大限度的精简数据量。
特征抽取层用于对数据处理层处理后的数据进行特征抽取,以提取该数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。
其中,特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。
过滤法是指对提取到的特征进行过滤,以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起,以构建一种更加高效、更加准确的特征提取方法,用于提取特征。
情景建模层用于根据特征抽取层提取到的特征来构建模型,所得到的模型可以用于表示电子设备的状态或者用户的状态或者环境状态等。例如,情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。
智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如,智能服务层可以为用户提供基础应用服务,可以为电子设备进行系统智能优化,还可以为用户提供个性化智能服务。
此外,全景感知架构中还可以包括多种算法,每一种算法都可以用于对数据进行分析处理,该多种算法可以构成算法库。例如,该算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。
在一些实施方式中,该数据处理层可以对采集的数据进行数据筛选,确定出相应的目标数据,对目标数据进行分类,得到多种数据类型的目标数据。通过该情景建模层将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对该联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型。
在一些实施方式中,在情景建模层得到联合生成式对抗网络模型后,可以通过信息感知层和数据处理层采集用户的实时数据,通过该情景建模层将实时数据输入至收敛后的联合生成式对抗网络模型中进行处理,可以得到包含有多种数据类型的目标增强数据,通过引入收敛后的联合生成式对抗网络模型,极大的提升了目标增强数据的质量和数量,提高了数据的鲁棒性和应用范围。
本申请实施例提供一种模型训练方法和一种数据处理方法,该模型训练方法和数据处理方法的执行主体可以是本申请实施例提供的模型训练装置和数据处理装置,或者集成了该模型训练装置和数据处理装置的电子设备,其中该模型训练装置和数据处理装置均可以采用硬件或者软件的方式实现。其中,电子设备可以是智能手机、平板电脑、掌上电脑(PDA,Personal Digital Assistant)等。
以下进行具体分析说明。
本申请实施例提供一种模型训练方法,如图2所示,图2为本申请实施例提供的模型训练方法的流程示意图,该模型训练方法可以包括以下步骤:
在步骤S101中,采集数据,对数据进行数据筛选,确定出相应的目标数据。
其中,该数据可以为用户操作电子设备时产生的多维数据类型,在一实施方式中,该数据可以包括但不限于环境数据、用户行为数据和终端运行数据。
进一步的,可以采集电子设备相应的多个数据,该数据代表了用户的使用习惯,为了效率更高的处理数据,会相应的对数据进行数据筛选,该筛选的手段包括但不限于从均值、方差和缺失程度等处理手段对数据进行数据筛选,将筛选后的高质量的数据确定为相应的目标数据。
在一些实施方式中,该采集数据,对数据进行数据筛选,确定出相应的目标数据的步骤,可以包括:
(1)采集多个数据;
(2)计算出每一数据相应的方差,依据该方差对该多个数据进行数据筛选,确定出相应的目标数据。
其中,可以采集电子设备的多个数据,并且依次计算每一数据相应的方差,该方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。
进一步的,根据每一数据相应的方差,衡量每一数据与数学期望之间的偏离程度,将偏离程度低于一定阈值的数据筛选出来(即将参考价值较高的数据筛选出来),并确定为相应的目标数据。
在步骤S102中,对目标数据进行分类,得到多种数据类型的目标数据。
其中,可以根据数据类型对数据进行分类,在一实施方式中,该数据类型可以包括但不限于图像、文本和数字等数据类型,在相应的分类处理后,会得到多种数据类型的目标数据。
在步骤S103中,将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型。
其中,该联合生成式对抗网络模型可以由多个子生成式对抗网络模型构成,该生成式对抗网络模型(Generative Adversarial Networks,GAN)的核心思想来源于博弈论的纳什均衡。它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator),生成器的目的是尽量去学习真实的数据分布,而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器;为了取得游戏胜利,这两个游戏参与者需要不断优化,各自提高自己的生成能力和判别能力,这个学习优化过程就是寻找二者之间的一个纳什均衡。
进一步的,可以设定每一子生成式对抗网络模型相应专门处理一种数据类型,以此,可以将目标数据按照数据类型分别输入至联合生成式对抗网络模型中相应的子生成式对抗网络模型中,以对多个子生成式对抗网络模型同时进行同步训练处理,直至多个子生成式对抗网络模型开始收敛,判定为训练完成,得到收敛后的联合生成式对抗网络模型,该收敛后的联合生成式对抗网络模型用于后续的数据增强处理,可以加强数据的质量和数量。
在一些实施方式中,该联合生成式对抗网络模型包括多个子生成式对抗网络模型,每一子生成式对抗网络模型相应处理一种数据类型,且每一子生成式对抗网络模型彼此关联,该将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中进行训练,得到收敛后的联合生成式对抗网络模型的步骤,可以包括:
(1)遍历获取每一目标数据相应的数据类型;
(2)根据该数据类型将每一目标数据输入至相应的子生成式对抗网络模型中进行同步训练处理,直至多个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
其中,可以通过将多个子生成式对抗网络模型的判别器的最后一个输出层联合到一起,实现多个子生成式对抗网络模型彼此关联,基于此,可以通过遍历获取每一目标数据相应的数据类型,根据数据类型将每一目标数据输入至对应的子生成式对抗网络模型中进行专项训练,使得多个子生成式对抗网络模型同时开始同步训练处理,直至多个子生成式对抗网络模型达到收敛条件,即完成训练处理,得到收敛后的联合生成式对抗网络模型。
由上述可知,本实施例提供的一种模型训练方法,通过采集数据,对数据进行数据筛选,确定出相应的目标数据;对目标数据进行分类,得到多种数据类型的目标数据;将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型。以此可以根据数据类型对目标数据进行分类,并按照分类后的数据类型将目标数据输入到联合生成式对抗网络模型中对网络模型进行训练,提升了模型训练的效率。
根据上述实施例所描述的方法,以下将举例作进一步详细说明。
请参阅图3,图3为本申请实施例提供的模型训练方法的另一流程示意图。
具体而言,该方法包括:
在步骤S201中,采集多个数据,计算出每一数据相应的方差,依据方差对多个数据进行数据筛选,确定出相应的目标数据。
需要说明的是,为了更好的说明本申请,以下将电子设备以手机进行举例说明。
其中,手机采集用户相应的多个数据,该数据可以包括手机相应的环境数据、用户行为数据和终端运行数据,并依次计算每一数据相应的方差,将偏离程度较低的数据筛选出来,确定为相应的目标数据。
在步骤S202中,根据图像、文本和数字三种数据类型对目标数据进行分类,得到三种数据类型的目标数据。
其中,可以根据图像、文本和数字三种数据类型对目标数据进行分类,得到图像数据类型的第一目标数据、文本数据类型的第二目标数据和数字数据类型的第三目标数据。
在步骤S203中,遍历获取每一目标数据相应的数据类型,将图像数据类型的目标数据输入至第一子生成式对抗网络模型。
其中,该联合生成式对抗网络模型可以包括三个子生成式对抗网络模型,即用于专门处理图像数据类型的第一子生成式对抗网络模型、用于专门处理文本数据类型的第二子生成式对抗网络模型和用于专门处理数字数据类型的第三子生成式对抗网络模型,且该第一子生成式对抗网络模型、第二子生成式对抗网络模型和第三子生成式对抗网络模型中判别器的最后一个输出层联合在一起,完成关联。
进一步的,该第一子生成式对抗网络模型可以为卷积神经网络(ConvolutionalNeural Networks,CNN)相应的对抗生成网络模型,遍历获取每一目标数据相应的数据类型,将图像数据类型的目标数据输入至CNN相应的对抗生成网络模型中。
在步骤S204中,将文本数据类型的目标数据输入至第二子生成式对抗网络模型。
其中,该第二子生成式对抗网络模型可以为循环神经网络(Recurrent NeuralNetwork,RNN)相应的对抗生成网络模型,遍历获取每一目标数据相应的数据类型,将文本数据类型的目标数据输入至RNN相应的对抗生成网络模型中。
在步骤S205中,将数字数据类型的目标数据输入至第三子生成式对抗网络模型中进行同步训练处理,直至三个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
其中,该第三子生成式对抗网络模型可以为传统神经网络相应的对抗生成网络模型,遍历获取每一目标数据相应的数据类型,将数字数据类型的目标数据输入至传统神经网络相应的对抗生成网络模型中,使得第一子生成式对抗网络模型、第二子生成式对抗网络模型和第三子生成式对抗网络模型同步开始对图像、文本和数字数据类型的目标数据进行训练,直至三个子生成式对抗网络模型达到收敛条件时,判定为训练完成,得到收敛后的联合生成式对抗网络模型。
由上述可知,本实施例提供的一种模型训练方法,通过采集数据,对数据进行数据筛选,确定出相应的目标数据;对目标数据进行分类,得到多种数据类型的目标数据;将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中进行训练,得到收敛后的联合生成式对抗网络模型。以此可以根据数据类型对目标数据进行分类,并按照分类后的数据类型将目标数据输入到联合生成式对抗网络模型中对网络模型进行训练,提升了模型训练的效率。
本申请实施例提供一种数据处理方法,如图4所示,图4为本申请实施例提供的数据处理方法的流程示意图,该模型训练方法可以包括以下步骤:
在步骤S301中,采集用户的实时数据。
其中,该实时数据可以为本机用户操作电子设备时实时产生的多维数据类型,在一实施方式中,该实时数据可以包括但不限于实时环境数据、实时用户行为数据和实时终端运行数据。
在步骤S302中,将实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。
需要说明的是,该收敛后的联合生成式对抗网络模型为模型训练方法中将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
其中,由于该收敛后的联合生成式对抗网络模型为根据真实的多种数据类型的目标数据训练得到,所以该收敛后的联合生成式对抗网络模型具有对真实的数据的仿真学习的能力,因此,将用户的实时数据输入至收敛后的联合生成式对抗网络模型中进行处理,该收敛后的联合生成式对抗网络模型会基于实时数据进行不断的仿真学习,生成多个包含多个数据类型的目标增强数据,相对于针对单一数据进行简单处理,如针对图像数据,采用简单的翻转,变形等,该目标增强数据在数据的质量和数据上都可以得到极大的提升,智能化程度更高,数据的鲁棒性和应用范围也更广。
由上述可知,本实施例提供的一种数据处理方法,采集用户的实时数据;将该实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。以此可以根据模型训练方法所训练得到的模型对实时数据进行增强处理,加强了数据处理的质量和数量。
为便于更好的实施本申请实施例提供的模型训练方法,本申请实施例还提供一种基于上述模型训练方法的装置。其中名词的含义与上述模型训练方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图5,图5为本申请实施例提供的模型训练装置的模块示意图。具体而言,该模型训练装置300,包括:采集单元31、分类单元32以及训练单元33。
采集单元31,用于采集数据,对该数据进行数据筛选,确定出相应的目标数据。
其中,采集单元31可以采集电子设备相应的多个数据,该数据代表了用户的使用习惯,为了效率更高的处理数据,会相应的对数据进行数据筛选,该筛选的手段包括但不限于从均值、方差和缺失程度等处理手段对数据进行数据筛选,将筛选后的高质量的数据确定为相应的目标数据。
在一些实施方式中,该采集单元31,具体用于采集多个数据;计算出每一数据相应的方差,依据该方差对该多个数据进行数据筛选,确定出相应的目标数据。
分类单元32,用于对该目标数据进行分类,得到多种数据类型的目标数据。
其中,分类单元32可以根据数据类型对数据进行分类,在一实施方式中,该数据类型可以包括但不限于图像、文本和数字等数据类型,在相应的分类处理后,会得到多种数据类型的目标数据。
训练单元33,将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对该联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,该收敛后的联合生成式对抗网络模型用于数据增强处理,该联合生成式对抗网络模型包括多个子生成式对抗网络模型。
其中,该联合生成式对抗网络模型可以由多个子生成式对抗网络模型构成,训练单元33可以设定每一子生成式对抗网络模型相应专门处理一种数据类型,以此,可以将目标数据按照数据类型分别输入至联合生成式对抗网络模型中相应的子生成式对抗网络模型中进行训练,使得多个子生成式对抗网络模型可以同时进行同步训练处理,直至多个子生成式对抗网络模型开始收敛,判定为训练完成,得到收敛后的联合生成式对抗网络模型,该收敛后的联合生成式对抗网络模型用于后续的数据增强处理,可以加强数据的质量和数量。
在一些实施方式中,该联合生成式对抗网络模型包括多个子生成式对抗网络模型,每一子生成式对抗网络模型相应处理一种数据类型,且每一子生成式对抗网络模型彼此关联,该训练单元33,具体用于遍历获取每一目标数据相应的数据类型;根据该数据类型将每一目标数据输入至相应的子生成式对抗网络模型中进行同步训练处理,直至多个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
由上述可知,本实施例提供的一种模型训练方法,通过采集单元31采集数据,对数据进行数据筛选,确定出相应的目标数据;分类单元32对目标数据进行分类,得到多种数据类型的目标数据;训练单元33将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型。以此可以根据数据类型对目标数据进行分类,并按照分类后的数据类型将目标数据输入到联合生成式对抗网络模型中对网络模型进行训练,提升了模型训练的效率。
请参阅图6,图6为本申请实施例提供的数据处理装置的模块示意图。具体而言,该数据处理装置400,包括:采集单元41以及输入单元42。
采集单元41,用于采集用户的实时数据。
其中,该实时数据可以为本机用户操作电子设备时实时产生的多维数据类型,在一实施方式中,该实时数据可以包括但不限于实时环境数据、实时用户行为数据和实时终端运行数据,该采集单元41采集本机用户操作电子设备时实时产生的多维数据类型。
输入单元42,用于将该实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。
其中,由于该收敛后的联合生成式对抗网络模型为根据真实的多种数据类型的目标模型训练得到,所以该收敛后的联合生成式对抗网络模型具有对真实的数据的仿真学习的能力,因此,输入单元42将用户的实时数据输入至收敛后的联合生成式对抗网络模型中进行处理,该收敛后的联合生成式对抗网络模型会基于实时数据进行不断的仿真学习,生成多个包含多个数据类型的目标增强数据,相对于针对单一数据进行简单处理,如针对图像数据,采用简单的翻转,变形等,该目标增强数据在数据的质量和数据上都可以得到极大的提升,智能化程度更高,数据的鲁棒性和应用范围也更广。
由上述可知,本实施例提供的一种数据处理方法,采集单元41采集用户的实时数据;输入单元42将该实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据。以此可以根据模型训练方法所训练得到的模型对实时数据进行增强处理,加强了数据处理的质量和数量。
本申请实施例还提供一种电子设备。请参阅图7,电子设备500包括处理器501以及存储器502。其中,处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备500的各种功能并处理数据,从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的计算机程序以及模块,从而执行各种功能应用以及数据训练。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
在本申请实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501运行存储在存储器502中的计算机程序,从而实现各种功能,如下:
采集数据,对所述数据进行数据筛选,确定出相应的目标数据;
对所述目标数据进行分类,得到多种数据类型的目标数据;
将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,所述收敛后的联合生成式对抗网络模型用于数据增强处理,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型。
在某些实施方式中,在采集数据,对该数据进行数据筛选,确定出相应的目标数据时,处理器501可以具体执行以下步骤:
采集多个数据;
计算出每一数据相应的方差,依据该方差对该多个数据进行数据筛选,确定出相应的目标数据。
在某些实施方式中,在将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型时,处理器501可以具体执行以下步骤:
遍历获取每一目标数据相应的数据类型;
根据该数据类型将每一目标数据输入至相应的子生成式对抗网络模型中进行同步训练处理,直至多个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
在某些实施方式中,在对该目标数据进行分类,得到多种数据类型的目标数据时,处理器501可以具体执行以下步骤:
根据图像、文本和数字三种数据类型对该目标数据进行分类,得到三种数据类型的目标数据。
在某些实施方式中,在将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型时,处理器501可以具体执行以下步骤:
遍历获取每一目标数据相应的数据类型;
将图像数据类型的目标数据输入至第一子生成式对抗网络模型、将文本数据类型的目标数据输入至第二子生成式对抗网络模型以及将数字数据类型的目标数据输入至第三子生成式对抗网络模型中进行同步训练处理,直至三个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
或者电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501运行存储在存储器502中的计算机程序,从而实现各种功能,如下:
采集用户的实时数据;
将该实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;
其中,该收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
请一并参阅图8,在某些实施方式中,电子设备500还可以包括:显示器503、射频电路504、音频电路505以及电源506。其中,其中,显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板,在某些实施方式中,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号,以通过无线通信与网络设备或其他终端建立无线通讯,与网络设备或其他终端之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中,电源506可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例还提供一种存储介质,该存储介质存储有计算机程序,当该计算机程序在计算机上运行时,使得该计算机执行上述任一实施例中的模型训练方法,比如:采集数据,对该数据进行数据筛选,确定出相应的目标数据;对该目标数据进行分类,得到多种数据类型的目标数据;将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对该联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,该收敛后的联合生成式对抗网络模型用于数据增强处理,该联合生成式对抗网络模型包括多个子生成式对抗网络模型。或者采集用户的实时数据;将该实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;其中,该收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的模型训练方法和数据处理方法而言,本领域普通测试人员可以理解实现本申请实施例的模型训练方法和数据处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如模型训练方法和数据处理方法的实施例的流程。其中,该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的模型训练装置和数据处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,该存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种模型训练方法、数据处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种模型训练方法,其特征在于,包括:
采集数据,对所述数据进行数据筛选,确定出相应的目标数据;
对所述目标数据进行分类,得到多种数据类型的目标数据;
将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,所述收敛后的联合生成式对抗网络模型用于数据增强处理,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型。
2.如权利要求1所述的模型训练方法,其特征在于,所述采集数据,对所述数据进行数据筛选,确定出相应的目标数据的步骤,包括:
采集多个数据;
计算出每一数据相应的方差,依据所述方差对所述多个数据进行数据筛选,确定出相应的目标数据。
3.如权利要求1所述的模型训练方法,其特征在于,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型,每一子生成式对抗网络模型相应处理一种数据类型,且每一子生成式对抗网络模型彼此关联;
所述将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型的步骤,包括:
遍历获取每一目标数据相应的数据类型;
根据所述数据类型将每一目标数据输入至相应的子生成式对抗网络模型中进行同步训练处理,直至多个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
4.如权利要求1至3任一项所述的模型训练方法,其特征在于,所述对所述目标数据进行分类,得到多种数据类型的目标数据的步骤,包括:
根据图像、文本和数字三种数据类型对所述目标数据进行分类,得到三种数据类型的目标数据。
5.如权利要求4所述的模型训练方法,其特征在于,所述联合生成式对抗网络模型包括三个子生成式对抗网络模型,第一子生成式对抗网络模型用于处理图像数据类型、第二子生成式对抗网络模型用于处理文本数据类型和第三子生成式对抗网络模型用于处理数字数据类型,且第一子生成式对抗网络模型、第二子生成式对抗网络模型和第三子生成式对抗网络模型彼此关联;
所述将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型的步骤,包括:
遍历获取每一目标数据相应的数据类型;
将图像数据类型的目标数据输入至第一子生成式对抗网络模型、将文本数据类型的目标数据输入至第二子生成式对抗网络模型以及将数字数据类型的目标数据输入至第三子生成式对抗网络模型中进行同步训练处理,直至三个子生成式对抗网络模型达到收敛条件,得到收敛后的联合生成式对抗网络模型。
6.一种数据处理方法,其特征在于,包括:
采集用户的实时数据;
将所述实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;
其中,所述收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
7.一种模型训练装置,其特征在于,包括:
采集单元,用于采集数据,对所述数据进行数据筛选,确定出相应的目标数据;
分类单元,用于对所述目标数据进行分类,得到多种数据类型的目标数据;
训练单元,用于将多种数据类型的目标数据按照数据类型分别输入至联合生成式对抗网络模型中,以对所述联合生成式对抗网络模型进行训练,得到收敛后的联合生成式对抗网络模型,所述收敛后的联合生成式对抗网络模型用于数据增强处理,所述联合生成式对抗网络模型包括多个子生成式对抗网络模型。
8.一种数据处理装置,其特征在于,包括:
采集单元,用于采集用户的实时数据;
输入单元,用于将所述实时数据输入收敛后的联合生成式对抗网络模型进行处理,得到包含多个数据类型的目标增强数据;
其中,所述收敛后的联合生成式对抗网络模型为将对数据进行数据筛选和分类,得到的多种数据类型的目标数据输入至联合生成式对抗网络模型进行训练得到。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至5任一项所述的模型训练方法,或者使得所述计算机执行如权利要求6所述的数据处理方法。
10.一种电子设备,包括处理器和存储器,所述存储器有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至5任一项所述的模型训练方法,或者执行如权利要求6所述的数据处理方法。
CN201910282174.4A 2019-04-09 2019-04-09 模型训练方法、数据处理方法、装置、存储介质及设备 Pending CN111797863A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282174.4A CN111797863A (zh) 2019-04-09 2019-04-09 模型训练方法、数据处理方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282174.4A CN111797863A (zh) 2019-04-09 2019-04-09 模型训练方法、数据处理方法、装置、存储介质及设备

Publications (1)

Publication Number Publication Date
CN111797863A true CN111797863A (zh) 2020-10-20

Family

ID=72805299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282174.4A Pending CN111797863A (zh) 2019-04-09 2019-04-09 模型训练方法、数据处理方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN111797863A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758364A (zh) * 2022-02-09 2022-07-15 四川大学 基于深度学习的工业物联网场景融合定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN109508375A (zh) * 2018-11-19 2019-03-22 重庆邮电大学 一种基于多模态融合的社交情感分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109063724A (zh) * 2018-06-12 2018-12-21 中国科学院深圳先进技术研究院 一种增强型生成式对抗网络以及目标样本识别方法
CN109508375A (zh) * 2018-11-19 2019-03-22 重庆邮电大学 一种基于多模态融合的社交情感分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758364A (zh) * 2022-02-09 2022-07-15 四川大学 基于深度学习的工业物联网场景融合定位方法及系统

Similar Documents

Publication Publication Date Title
CN111797288B (zh) 数据筛选方法、装置、存储介质及电子设备
CN109726659A (zh) 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN111796979B (zh) 数据采集策略的确定方法、装置、存储介质及电子设备
CN113050860B (zh) 一种控件识别方法和相关装置
CN111797854A (zh) 场景模型建立方法、装置、存储介质及电子设备
CN111797851A (zh) 特征提取方法、装置、存储介质及电子设备
CN111798019B (zh) 意图预测方法、装置、存储介质及电子设备
CN111797849B (zh) 用户活动识别方法、装置、存储介质及电子设备
CN111797867A (zh) 系统资源优化方法、装置、存储介质及电子设备
CN111797874B (zh) 行为预测方法、装置、存储介质及电子设备
CN111797863A (zh) 模型训练方法、数据处理方法、装置、存储介质及设备
CN111797986A (zh) 数据处理方法、装置、存储介质及电子设备
CN111800535B (zh) 终端运行状态的评估方法、装置、存储介质及电子设备
CN111797880A (zh) 数据处理方法、装置、存储介质及电子设备
CN111796314A (zh) 信息处理方法、装置、存储介质及电子设备
CN111797290A (zh) 数据处理方法、装置、存储介质及电子设备
CN111797866A (zh) 特征提取方法、装置、存储介质及电子设备
CN111797655A (zh) 用户活动识别方法、装置、存储介质及电子设备
CN111797127A (zh) 时序数据分割方法、装置、存储介质及电子设备
CN111797869A (zh) 模型训练方法、装置、存储介质及电子设备
CN111800287B (zh) 数据处理方法、装置、存储介质及电子设备
CN111800537B (zh) 终端使用状态的评估方法、装置、存储介质及电子设备
CN111796992B (zh) 行为偏好确定方法、装置、存储介质及电子设备
CN111797298B (zh) 数据收集方法、装置、存储介质及电子设备
CN111797875B (zh) 场景建模方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination