CN110929733A - 除噪方法、装置、计算机设备、存储介质及模型训练方法 - Google Patents

除噪方法、装置、计算机设备、存储介质及模型训练方法 Download PDF

Info

Publication number
CN110929733A
CN110929733A CN201911249594.9A CN201911249594A CN110929733A CN 110929733 A CN110929733 A CN 110929733A CN 201911249594 A CN201911249594 A CN 201911249594A CN 110929733 A CN110929733 A CN 110929733A
Authority
CN
China
Prior art keywords
neural network
hidden variable
sample sequence
label data
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911249594.9A
Other languages
English (en)
Inventor
周康明
杭金婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911249594.9A priority Critical patent/CN110929733A/zh
Publication of CN110929733A publication Critical patent/CN110929733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本申请涉及一种噪声样本的除噪方法、装置、计算机设备、存储介质及模型训练方法,首先,获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;接着,通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据,提升标签数据的准确率;从而根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,进一步提升准确标签样本在噪声样本序列中的比例,从而提升模型的准确性。

Description

除噪方法、装置、计算机设备、存储介质及模型训练方法
技术领域
本申请涉及机器学习领域,特别是涉及一种噪声样本的除噪方法、装置、计算机设备、存储介质及模型训练方法。
背景技术
在机器学习领域中,常见的一类工作是使用带标签数据训练神经网络实现分类、回归或其他目的,这种训练模型学习规律的方法一般称之为监督学习。在监督学习中,为了得到良好的学习效果,除了对带标签的训练数据的数量有较高要求之外,训练数据所对应的标签质量对于学习效果也是至关重要。如果学习时使用的标签数据是错误的,那么不可能训练出有效的预测模型。
通常情况下,可以通过噪声样本除噪方法降低噪声样本的含量。而噪声样本除噪方法是指在真实的有一些标签标错的数据集上,学习出一个深度神经网络,学习到一个正确标签的分布,最终输入一批具有正确标签的图片。
但是,在传统技术中,对错误标签进行纠正时依旧存在准确率不高的技术问题。
发明内容
基于此,有必要针对传统技术中对错误标签进行纠正时依旧存在准确率不高的技术问题,提供一种噪声样本的除噪方法、装置、计算机设备、存储介质及模型训练方法。
一种噪声样本的除噪方法,所述方法包括:
获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;
通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据;
根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
在其中一个实施例中,所述条件变分自编码器模型包括第一神经网络和与所述第一神经网络连接的第二神经网络;所述根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,包括:
将所述噪声样本序列及所述第一标签数据输入至所述第一神经网络;
通过所述第一神经网络对所述噪声样本序列及所述标签数据进行编码,得到第一隐变量;
将所述第一隐变量以及所述第二标签数据输入至所述第二神经网络,通过所述第二神经网络生成所述标签正确的样本序列。
在其中一个实施例中,在所述将所述第一隐变量以及所述第二标签数据输入至第二神经网络之前,所述方法还包括:
对所述第一隐变量进行上采样处理,得到第二隐变量;
所述将所述第一隐变量以及所述第二标签数据输入至第二神经网络,包括:
将所述第二隐变量以及所述第二标签数据输入至第二神经网络。
在其中一个实施例中,所述对所述第一隐变量进行上采样处理,得到第二隐变量,包括:
从噪声分布中进行随机取样,通过随机选取的数值对所述第一隐变量进行上采样处理,得到所述第二隐变量。
在其中一个实施例中,所述第一隐变量服从高斯分布;所述通过随机选取的数值对所述第一隐变量进行上采样处理,得到所述第二隐变量,包括:
计算所述随机选取的数值与所述第一隐变量的方差之间的乘积;
根据所述乘积与所述第一隐变量的均值确定所述第二隐变量。
在其中一个实施例中,按照以下公式确定所述条件变分自编码器模型的损失函数值:
Figure BDA0002308645570000031
其中,
Figure BDA0002308645570000032
为所述损失函数值,
Figure BDA0002308645570000033
为信息散度值,
Figure BDA0002308645570000034
为所述第二神经网络的最大似然函数,z为所述第一隐变量,x为所述噪声样本序列,y为所述第一标签数据,T为所述转移矩阵,
Figure BDA0002308645570000035
是所述第一神经网络的概率分布,
Figure BDA0002308645570000036
是所述第一神经网络的参数,pθ是所述第二神经网络的概率分布,θ是所述第二神经网络的参数。
在其中一个实施例中,所述转移矩阵的生成步骤,包括:
对所述噪声样本序列进行分类,对分类结果进行统计;
根据统计的结果确定所述转移矩阵的各矩阵元。
在其中一个实施例中,所述噪声样本序列为图片样本序列。
一种模型训练方法,所述方法包括:利用上述任一实施例所述方法得到的所述标签正确的样本序列构建所述模型的训练集;根据构建的训练集以及所述训练集中各样本所对应的分类类别,训练所述模型。
一种噪声样本的除噪装置,所述装置包括:
获取模块,用于获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;
修正模块,用于通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据;
生成模块,用于根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述任一实施例所述的方法的步骤。
上述噪声样本的除噪方法、装置、计算机设备、存储介质及模型训练方法,首先,获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;接着,通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据,提升标签数据的准确率;从而根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,进一步提升准确标签样本在噪声样本序列中的比例,从而提升模型的准确性。
附图说明
图1为一个实施例中噪声样本的除噪方法的流程示意图;
图2为一个实施例中噪声样本的除噪方法的流程示意图;
图3为一个实施例中噪声样本的除噪方法的流程示意图;
图4a为一个实施例中引入转移矩阵的CVAE模型的示意图;
图4b为一个实施例中噪声样本的除噪方法的流程示意图;
图5为一个实施例中噪声样本的除噪装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种噪声样本的除噪方法,该方法包括以下步骤:
S110、获取噪声样本序列及噪声样本序列所对应的第一标签数据。
其中,噪声样本序列是指训练模型时所用的样本标签并非完全准确,部分样本的标签有标错的样本序列。噪声样本序列可以是图片识别模型训练所使用的图片样本集,也可以语音识别模型所使用的语音样本等可以标注为不同类别的样本。噪声样本序列所对应的第一标签数据也是有噪声的或者说不完全准确的。为了避免或者减少标签数据中的噪声或者错误标签对模型训练的影响,需要对噪声样本序列中所对应的错误标签进行纠正。具体地,为了训练模型,首选需要获取样本序列以及该样本序列中各样本分别所对应的标签。本实施例中,样本序列中包括有部分噪声,即获取噪声样本序列及噪声样本序列所对应的第一标签数据。若噪声样本序列已经实现预存在计算机本地,则可以从计算机本地获取噪声样本序列,也可以从与计算本地通信连接的服务器端获取噪声样本序列。训练模型所使用的噪声样本序列的标签可以是人工标注的,也可以自动标注的。
S120、通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据。
其中,转移矩阵又称为转移概率矩阵,转移矩阵各矩阵元都是非负的,并且各行矩阵元之和等于1,各矩阵元用概率表示,在一定条件下是互相转移的。转移矩阵的每一个矩阵元用于表示样本从当前标注的类别A转换为类别B的概率。具体地,第一标签数据存在部分错误标签,且错误标签的比例将严重影响模型的准确性。因此,为了排除不可靠的错误标签数据,提升模型准确度,利用转移矩阵对噪声样本序列的第一标签数据进行修正,对第一标签数据中部分类别标签进行纠正,得到第二标签数据。由于第一标签数据中存在一定比例错误的标签数据,或者错误标签数据占据有较大的比例,通过转移矩阵将错误类别的标签可以在很大概率上修正为正确类别的标签。
S130、根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
其中,条件变分自编码器模型是一种深度神经网络生成模型,条件变分自编码器模型可以根据少量参考样本,凭空想象出来的全新的样本序列。而且条件变分自编码器模型可以无穷无尽地自动生成下去。若样本序列为图片序列,则条件变分自编码器模型可以根据少量的参考图片生成许多的训练图片,例如包括各种角度、表情等,而且会在此过程中不断进步。具体地,为了提升模型的准确度,已经对噪声样本序列所对应的第一标签数据进行了修正,得到准确第二标签数据。为了生成标签准确的样本序列,需要将噪声样本序列、第一标签数据以及第二标签数据输入至条件变分自编码器模型,通过条件变分自编码器模型中的神经网络对噪声样本序列、第一标签数据进行处理,并进一步地根据处理结果和第二标签数据生成标签正确的样本序列。
本实施例中,首先,获取噪声样本序列及噪声样本序列所对应的第一标签数据;接着,通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据,提升标签数据的准确性;从而根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,提升准确标签样本在噪声样本序列中的比例,从而提升模型的准确性。
在一个实施例中,条件变分自编码器模型包括第一神经网络和与第一神经网络连接的第二神经网络。如图2所示,根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,包括以下步骤:
S210、将噪声样本序列及第一标签数据输入至第一神经网络;
S220、通过第一神经网络对噪声样本序列及标签数据进行编码,得到第一隐变量。
其中,第一神经网络的类别可以根据样本的具体属性而进行选择,若样本为图片样本,则可以根据图片的大小选择不同类别的申请网络,比如第一神经网络可以采用resnet(Residual Neural Network)50作为基网络。在统计学中,隐变量又称为潜变量,指的是不可观测的随机变量。隐变量可以通过使用数学模型依据观测得的数据而被推断出来。具体地,为了生成标签正确的样本序列,获取噪声样本序列以及噪声样本序列所对应的第一标签数据,并将获取的噪声样本序列和第一标签数据输入至第一神经网络,通过第一神经网络将噪声样本序列和第一标签数据进行编码,映射至第一隐变量上。
S230、将第一隐变量以及第二标签数据输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
具体地,通过第一神经网络将噪声样本序列和第一标签数据进行编码,映射至第一隐变量上。第二神经网络连接至第一神经网络,将第一隐变量输入至第二神经网络。为了生成标签正确的样本序列,需要将修正第一标签数据得到的第二标签数据也输入至第二神经网络,即将第一隐变量以及第二标签数据一起输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
本实施例中,利用转换矩阵修正产生的第二标签数据和编码生成的第一隐变量,通过条件变分自编码器模型用于生成标签正确的样本序列,提升噪声样本除噪的准确性。
在一个实施例中,如图3所示,在将第一隐变量以及第二标签数据输入至第二神经网络之前,该方法还包括:
S310、对第一隐变量进行上采样处理,得到第二隐变量;
将第一隐变量以及第二标签数据输入至第二神经网络,包括:
S320、将第二隐变量以及第二标签数据输入至第二神经网络。
其中,对第一隐变量进行上采样处理可以采用内插值方法,在第一隐变量中原有元素的基础上在各元素之间采用合适的插值算法插入新元素。若噪声样本为图片,则上采样处理可以理解为放大图像。具体地,从噪声分布中进行随机取样,通过随机选取的数值对第一隐变量进行上采样处理,得到第二隐变量。本实施例中,噪声分布可以是高斯分布,记为p(ε),随机噪声分布p(ε)中取样,ε是随机选取的值。结合ε对第一隐变量进行上采样处理,得到第二隐变量。
在一个实施例中,第一隐变量服从高斯分布;通过随机选取的数值对第一隐变量进行上采样处理,得到第二隐变量,包括:计算随机选取的数值与第一隐变量的方差之间的乘积;根据乘积与第一隐变量的均值确定第二隐变量。为了生成标签正确的样本序列,不仅需要将修正第一标签数据得到的第二标签数据也输入至第二神经网络,而且需要将上采样处理后得到的第二隐变量输入至第二神经网络。即将第二隐变量以及第二标签数据一起输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
本实施例中,通过对第一隐变量进行上采样处理,得到第二隐变量,将第二隐变量以及第二标签数据共同输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。若样本序列为图片序列,则通过上采样处理可以提升图片质量,从而提升纠正错误标签的准确度。
在一个实施例中,按照以下公式确定条件变分自编码器模型的损失函数值:
Figure BDA0002308645570000091
其中,
Figure BDA0002308645570000092
为损失函数值,
Figure BDA0002308645570000093
为信息散度值,
Figure BDA0002308645570000094
为第二神经网络的最大似然函数,z为第一隐变量,x为噪声样本序列,y为第一标签数据,T为转移矩阵,
Figure BDA0002308645570000095
是第一神经网络的概率分布,
Figure BDA0002308645570000096
是第一神经网络的参数,pθ是第二神经网络的概率分布,θ是第二神经网络的参数。
具体地,在第一标签数据y经过转移矩阵T处理之前,条件变分自编码器模型的变分下界记为:
Figure BDA0002308645570000097
由于第一标签数据y经过转移矩阵T处理之后,得到第二标签数据y′,即y′=Ty。示例性地,对于一个可能具有两个类别的标签,转移矩阵T可以记为为
Figure BDA0002308645570000098
矩阵元p1,1代表1类标签确实为1类标签的概率,矩阵元p1,2代表1类标签转换为2类标签的概率。矩阵元p2,1代表2类标签转换为1类标签的概率,矩阵元p2,2代表2类标签确实为2类标签的概率。本实施例中,在引入转移矩阵T之后,可以把有一定概率是错误的标签转换为正确标签,并通过条件变分自编码器模型来生成具有正确标签的样本,从而达到去除样本噪声的意义,提高了标签的准确性。
本实施例中的损失函数通过第二标签数据计算损失函数值,让样本标签可以学习到一个正确的分布,从而可以错误标签纠正的准确率。
在一个实施例中,转移矩阵的生成步骤,包括:对噪声样本序列进行分类,对分类结果进行统计;根据统计的结果确定转移矩阵的各矩阵元。
具体地,该转移矩阵可以通过对噪声样本序列的统计学习得到,统计学习转移矩阵需要在较大的数据集上进行。比如,对于一个可能具有两个类别的噪声样本序列,标签1的样本数量为100,对每个样本输入至神经网络进行分类,总是有20%的样本被标注为标签2。这说明p1,2可以记为20%。标签1的样本数量为100,对每个样本输入至神经网络进行分类,总是有80%的样本被标注为标签1。这说明p1,1可以记为80%。标签2的样本数量为100,对每个样本输入至神经网络进行分类,总是有30%的样本被标注为标签1。这说明p2,1可以记为30%。标签2的样本数量为100,对每个样本输入至神经网络进行分类,总是有70%的样本被标注为标签2。这说明p2,2可以记为70%。以此类推,得到转移矩阵的各矩阵元。可以理解的是,也可以通过其他方法确定转移矩阵,比如两步法近似得到。两部分近似得到转移矩阵为本领域技术人员所公知,在此不再赘述。
在一个实施例中,本申请提供一种模型训练方法,该方法包括:利用上述任一实施例中的方法得到的标签正确的样本序列构建模型的训练集;根据构建的训练集以及所述训练集中各样本所对应的分类类别,训练所述模型。
具体地,在模型训练前,需要构建原始的样本序列集。由于样本序列集的数量越大,模型的训练结果就越好。因此,通过数据扩增的方式对样本序列集进行扩大。扩增之后的样本序列集存在噪声样本,通过上述任一实施例中的降噪方法对噪声样本进行除噪,得到标签正确的样本序列。利用标签正确的样本序列构建模型使用的训练集。从而计算机设备可利用标签正确的样本序列有监督地训练对应的机器学习模型,根据机器学习模型输出的分类结果与分类标签的差异,调整机器学习模型的模型参数并继续训练,直至满足训练停止条件时结束训练。其中,训练停止条件是结束模型训练的条件。训练停止条件可以是达到预设的迭代次数,或者是调整模型参数后的机器学习模型的分类性能指标达到预设指标。
在一个实施例中,本申请实施例提供一种噪声样本的除噪方法,该除噪方法基于CVAE(Condition Variational Auto-encoder)模型。如图4a所示,CVAE模型包括编码器和与编码器连接的解码器或者生成器。如图4b所示,该方法包括以下步骤:
S402、获取噪声样本序列及噪声样本序列所对应的第一标签数据。
S404、将噪声样本序列及第一标签数据输入至编码器。
S406、通过编码器对噪声样本序列及标签数据进行编码,得到第一隐变量。
其中,第一隐变量服从高斯分布。
S408、从噪声分布中进行随机取样,计算随机选取的数值与第一隐变量的方差之间的乘积。
S410、根据乘积与第一隐变量的均值确定第二隐变量。
S412、通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据。
S414、将第二隐变量以及第二标签数据输入至解码器,通过解码器生成标签正确的样本序列。
具体地,从计算机本地获取噪声样本序列,或者从与计算本地通信连接的服务器端获取噪声样本序列。噪声样本标注有标签,则获取噪声样本序列所对应的第一标签数据。将噪声样本序列及第一标签数据同时输入至编码器,得到第一隐变量以及第一隐变量的均值和方差,且第一隐变量满足高斯分布。噪声分布可以是高斯分布,记为p(ε),随机噪声分布p(ε)中取样,ε是随机选取的值。结合ε对第一隐变量进行处理,得到第二隐变量z′。且z′=μ+ε*σ(其中,μ为第一隐变量的均值,σ为第一隐变量的方差)。由于且第一标签数据中存在一定比例的错误标签,必然会影响模型的训练效果。因此,通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据。最后,将第二隐变量以及第二标签数据一起输入至解码器,通过解码器生成标签正确的样本序列。
本实施例中,采用在CVAE模型中引入转移矩阵的方式,通过转移矩阵辅助CVAE模型学习正确样本的分布,最后生成新的具有正确标签的样本序列。
应该理解的是,虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,本申请提供一种噪声样本的除噪装置500,如图5所示,该除噪装置包括:
获取模块510,用于获取噪声样本序列及噪声样本序列所对应的第一标签数据;
修正模块520,用于通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据;
生成模块530,用于根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
在一个实施例中,条件变分自编码器模型包括第一神经网络和与第一神经网络连接的第二神经网络。生成模块530,还用于将噪声样本序列及第一标签数据输入至第一神经网络;通过第一神经网络对噪声样本序列及标签数据进行编码,得到第一隐变量;将第一隐变量以及第二标签数据输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
在一个实施例中,该除噪装置还包括隐变量处理模块,用于对第一隐变量进行上采样处理,得到第二隐变量;生成模块530,还用于将第二隐变量以及第二标签数据输入至第二神经网络。
在一个实施例中,隐变量处理模块,还用于从噪声分布中进行随机取样,通过随机选取的数值对第一隐变量进行上采样处理,得到第二隐变量。
在一个实施例中,第一隐变量服从高斯分布;隐变量处理模块,还用于从噪声分布中进行随机取样,计算随机选取的数值与第一隐变量的方差之间的乘积;根据乘积与第一隐变量的均值确定第二隐变量。
在一个实施例中,按照以下公式确定条件变分自编码器模型的损失函数值:
Figure BDA0002308645570000131
其中,
Figure BDA0002308645570000132
为损失函数值,
Figure BDA0002308645570000133
为信息散度值,
Figure BDA0002308645570000134
为第二神经网络的最大似然函数,z为第一隐变量,x为噪声样本序列,y为第一标签数据,T为转移矩阵,
Figure BDA0002308645570000135
是第一神经网络的概率分布,
Figure BDA0002308645570000136
是第一神经网络的参数,pθ是第二神经网络的概率分布,θ是第二神经网络的参数。
关于噪声样本的除噪装置的具体限定可以参见上文中对于雷达回波图的处理方法的限定,在此不再赘述。上述噪声样本的除噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种噪声样本的除噪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,该处理器执行计算机程序时实现以下步骤:获取噪声样本序列及噪声样本序列所对应的第一标签数据;通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据;根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
在一个实施例中,条件变分自编码器模型包括第一神经网络和与第一神经网络连接的第二神经网络;处理器执行计算机程序时还实现以下步骤:将噪声样本序列及第一标签数据输入至第一神经网络;通过第一神经网络对噪声样本序列及标签数据进行编码,得到第一隐变量;将第一隐变量以及第二标签数据输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对第一隐变量进行上采样处理,得到第二隐变量;将第二隐变量以及第二标签数据输入至第二神经网络。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:从噪声分布中进行随机取样,通过随机选取的数值对第一隐变量进行上采样处理,得到第二隐变量。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:计算随机选取的数值与第一隐变量的方差之间的乘积;根据乘积与第一隐变量的均值确定第二隐变量。
在一个实施例中,按照以下公式确定条件变分自编码器模型的损失函数值:
Figure BDA0002308645570000151
其中,
Figure BDA0002308645570000152
为损失函数值,
Figure BDA0002308645570000153
为信息散度值,
Figure BDA0002308645570000154
为第二神经网络的最大似然函数,z为第一隐变量,x为噪声样本序列,y为第一标签数据,T为转移矩阵,
Figure BDA0002308645570000155
是第一神经网络的概率分布,
Figure BDA0002308645570000156
是第一神经网络的参数,pθ是第二神经网络的概率分布,θ是第二神经网络的参数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:对噪声样本序列进行分类,对分类结果进行统计;根据统计的结果确定转移矩阵的各矩阵元。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取噪声样本序列及噪声样本序列所对应的第一标签数据;通过转移矩阵对第一标签数据进行修正,得到修正后的第二标签数据;根据噪声样本序列、第一标签数据以及第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
在一个实施例中,条件变分自编码器模型包括第一神经网络和与第一神经网络连接的第二神经网络。计算机程序被处理器执行时还实现以下步骤:将噪声样本序列及第一标签数据输入至第一神经网络;通过第一神经网络对噪声样本序列及标签数据进行编码,得到第一隐变量;将第一隐变量以及第二标签数据输入至第二神经网络,通过第二神经网络生成标签正确的样本序列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对第一隐变量进行上采样处理,得到第二隐变量;将第二隐变量以及第二标签数据输入至第二神经网络。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:从噪声分布中进行随机取样,通过随机选取的数值对第一隐变量进行上采样处理,得到第二隐变量。
在一个实施例中,第一隐变量服从高斯分布;计算机程序被处理器执行时还实现以下步骤:计算随机选取的数值与第一隐变量的方差之间的乘积;
根据乘积与第一隐变量的均值确定第二隐变量。
在一个实施例中,按照以下公式确定条件变分自编码器模型的损失函数值:
Figure BDA0002308645570000161
其中,
Figure BDA0002308645570000162
为损失函数值,
Figure BDA0002308645570000163
为信息散度值,
Figure BDA0002308645570000164
为第二神经网络的最大似然函数,z为第一隐变量,x为噪声样本序列,y为第一标签数据,T为转移矩阵,
Figure BDA0002308645570000165
是第一神经网络的概率分布,
Figure BDA0002308645570000166
是第一神经网络的参数,pθ是第二神经网络的概率分布,θ是第二神经网络的参数。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种噪声样本的除噪方法,其特征在于,所述方法包括:
获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;
通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据;
根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
2.根据权利要求1所述的方法,其特征在于,所述条件变分自编码器模型包括第一神经网络和与所述第一神经网络连接的第二神经网络;所述根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列,包括:
将所述噪声样本序列及所述第一标签数据输入至所述第一神经网络;
通过所述第一神经网络对所述噪声样本序列及所述标签数据进行编码,得到第一隐变量;
将所述第一隐变量以及所述第二标签数据输入至所述第二神经网络,通过所述第二神经网络生成所述标签正确的样本序列。
3.根据权利要求2所述的方法,其特征在于,在所述将所述第一隐变量以及所述第二标签数据输入至第二神经网络之前,所述方法还包括:
对所述第一隐变量进行上采样处理,得到第二隐变量;
所述将所述第一隐变量以及所述第二标签数据输入至第二神经网络,包括:
将所述第二隐变量以及所述第二标签数据输入至第二神经网络。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一隐变量进行上采样处理,得到第二隐变量,包括:
从噪声分布中进行随机取样,通过随机选取的数值对所述第一隐变量进行上采样处理,得到所述第二隐变量。
5.根据权利要求4所述的方法,其特征在于,所述第一隐变量服从高斯分布;所述通过随机选取的数值对所述第一隐变量进行上采样处理,得到所述第二隐变量,包括:
计算所述随机选取的数值与所述第一隐变量的方差之间的乘积;
根据所述乘积与所述第一隐变量的均值确定所述第二隐变量。
6.根据权利要求2所述的方法,其特征在于,按照以下公式确定所述条件变分自编码器模型的损失函数值:
Figure FDA0002308645560000021
其中,
Figure FDA0002308645560000022
为所述损失函数值,
Figure FDA0002308645560000023
为信息散度值,
Figure FDA0002308645560000024
为所述第二神经网络的最大似然函数,z为所述第一隐变量,x为所述噪声样本序列,y为所述第一标签数据,T为所述转移矩阵,
Figure FDA0002308645560000025
是所述第一神经网络的概率分布,
Figure FDA0002308645560000026
是所述第一神经网络的参数,pθ是所述第二神经网络的概率分布,θ是所述第二神经网络的参数。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述转移矩阵的生成步骤,包括:
对所述噪声样本序列进行分类,对分类结果进行统计;
根据统计的结果确定所述转移矩阵的各矩阵元。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述噪声样本序列为图片样本序列。
9.一种模型训练方法,其特征在于,所述方法包括:
利用权利要求1至8任一项所述方法得到的所述标签正确的样本序列构建所述模型的训练集;
根据构建的训练集以及所述训练集中各样本所对应的分类类别,训练所述模型。
10.一种噪声样本的除噪装置,其特征在于,所述装置包括:
获取模块,用于获取噪声样本序列及所述噪声样本序列所对应的第一标签数据;
修正模块,用于通过转移矩阵对所述第一标签数据进行修正,得到修正后的第二标签数据;
生成模块,用于根据所述噪声样本序列、所述第一标签数据以及所述第二标签数据,通过条件变分自编码器模型生成标签正确的样本序列。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。
CN201911249594.9A 2019-12-09 2019-12-09 除噪方法、装置、计算机设备、存储介质及模型训练方法 Pending CN110929733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911249594.9A CN110929733A (zh) 2019-12-09 2019-12-09 除噪方法、装置、计算机设备、存储介质及模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911249594.9A CN110929733A (zh) 2019-12-09 2019-12-09 除噪方法、装置、计算机设备、存储介质及模型训练方法

Publications (1)

Publication Number Publication Date
CN110929733A true CN110929733A (zh) 2020-03-27

Family

ID=69858444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911249594.9A Pending CN110929733A (zh) 2019-12-09 2019-12-09 除噪方法、装置、计算机设备、存储介质及模型训练方法

Country Status (1)

Country Link
CN (1) CN110929733A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139628A (zh) * 2021-06-22 2021-07-20 腾讯科技(深圳)有限公司 样本图像的识别方法、装置、设备及可读存储介质
WO2021151345A1 (zh) * 2020-07-09 2021-08-05 平安科技(深圳)有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN113468820A (zh) * 2021-07-21 2021-10-01 上海眼控科技股份有限公司 数据训练方法、装置、设备及存储介质
CN114630356A (zh) * 2020-12-11 2022-06-14 中移(成都)信息通信科技有限公司 一种基站确定方法、装置、设备及存储介质
CN117116350A (zh) * 2023-10-25 2023-11-24 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) Rna测序数据的校正方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273438A (zh) * 2017-05-24 2017-10-20 深圳大学 一种推荐方法、装置、设备及存储介质
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN108717409A (zh) * 2018-05-16 2018-10-30 联动优势科技有限公司 一种序列标注方法及装置
CN108984974A (zh) * 2018-08-24 2018-12-11 重庆电子工程职业学院 卷积自编码器的设计方法和系统
US20190057683A1 (en) * 2017-08-18 2019-02-21 Google Llc Encoder-decoder models for sequence to sequence mapping
CN110020623A (zh) * 2019-04-04 2019-07-16 中山大学 基于条件变分自编码器的人体活动识别系统及方法
CN110334764A (zh) * 2019-07-04 2019-10-15 西安电子科技大学 基于集成深度自编码器的旋转机械智能故障诊断方法
CN110460882A (zh) * 2018-05-07 2019-11-15 中国科学院声学研究所 一种基于数据特征降维编码的流媒体内容分发方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017210949A1 (zh) * 2016-06-06 2017-12-14 北京大学深圳研究生院 一种跨媒体检索方法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN107273438A (zh) * 2017-05-24 2017-10-20 深圳大学 一种推荐方法、装置、设备及存储介质
US20190057683A1 (en) * 2017-08-18 2019-02-21 Google Llc Encoder-decoder models for sequence to sequence mapping
CN110460882A (zh) * 2018-05-07 2019-11-15 中国科学院声学研究所 一种基于数据特征降维编码的流媒体内容分发方法
CN108717409A (zh) * 2018-05-16 2018-10-30 联动优势科技有限公司 一种序列标注方法及装置
CN108984974A (zh) * 2018-08-24 2018-12-11 重庆电子工程职业学院 卷积自编码器的设计方法和系统
CN110020623A (zh) * 2019-04-04 2019-07-16 中山大学 基于条件变分自编码器的人体活动识别系统及方法
CN110334764A (zh) * 2019-07-04 2019-10-15 西安电子科技大学 基于集成深度自编码器的旋转机械智能故障诊断方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BELEN CARRO ET AL: "Conditional Variational Autoencoder for Prediction and Feature Recovery Applied to Intrusion Detection in IoT", 《SENSORS》 *
SUWON SUH ET AL: "Echo-state conditional variational autoencoder for anomaly detection", 《2016 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
姜传奇: "基于条件变分自编码器的网络性能预测和优化方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张蕾等: "利用变分自编码器进行网络表示学习", 《计算机科学与探索》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021151345A1 (zh) * 2020-07-09 2021-08-05 平安科技(深圳)有限公司 识别模型的参数获取方法、装置、电子设备及存储介质
CN114630356A (zh) * 2020-12-11 2022-06-14 中移(成都)信息通信科技有限公司 一种基站确定方法、装置、设备及存储介质
CN114630356B (zh) * 2020-12-11 2024-02-27 中移(成都)信息通信科技有限公司 一种基站确定方法、装置、设备及存储介质
CN113139628A (zh) * 2021-06-22 2021-07-20 腾讯科技(深圳)有限公司 样本图像的识别方法、装置、设备及可读存储介质
CN113139628B (zh) * 2021-06-22 2021-09-17 腾讯科技(深圳)有限公司 样本图像的识别方法、装置、设备及可读存储介质
CN113468820A (zh) * 2021-07-21 2021-10-01 上海眼控科技股份有限公司 数据训练方法、装置、设备及存储介质
CN117116350A (zh) * 2023-10-25 2023-11-24 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) Rna测序数据的校正方法、装置、电子设备及存储介质
CN117116350B (zh) * 2023-10-25 2024-02-27 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) Rna测序数据的校正方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110929733A (zh) 除噪方法、装置、计算机设备、存储介质及模型训练方法
Wu et al. Robust image forgery detection against transmission over online social networks
CN107111782B (zh) 神经网络结构及其方法
CN110210513B (zh) 数据分类方法、装置及终端设备
CN110197183B (zh) 一种图像盲去噪的方法、装置、计算机设备和存储介质
US20200410285A1 (en) Anomaly Augmented Generative Adversarial Network
CN113344826B (zh) 图像处理方法、装置、电子设备及存储介质
CN110599468A (zh) 无参考视频质量评估方法及装置
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN116524299A (zh) 一种图像样本生成方法、装置、设备及存储介质
CN112669215A (zh) 一种训练文本图像生成模型、文本图像生成的方法和装置
CN112464760A (zh) 一种目标识别模型的训练方法和装置
US20220067882A1 (en) Image processing device, computer readable recording medium, and method of processing image
CN110765843A (zh) 人脸验证方法、装置、计算机设备及存储介质
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN112967251A (zh) 图片检测方法、图片检测模型的训练方法及装置
CN115934484B (zh) 基于扩散模型数据增强的异常检测方法、存储介质及设备
CN113689527A (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN112509559B (zh) 音频识别方法、模型训练方法、装置、设备及存储介质
CN115859048A (zh) 一种局放信号的噪声处理方法及装置
CN112346126B (zh) 低级序断层的识别方法、装置、设备及可读存储介质
WO2020241074A1 (ja) 情報処理方法及びプログラム
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN113379637A (zh) 基于递进学习策略的图像修复方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination