CN108829683A - 混合标注学习神经网络模型及其训练方法、装置 - Google Patents

混合标注学习神经网络模型及其训练方法、装置 Download PDF

Info

Publication number
CN108829683A
CN108829683A CN201810704890.2A CN201810704890A CN108829683A CN 108829683 A CN108829683 A CN 108829683A CN 201810704890 A CN201810704890 A CN 201810704890A CN 108829683 A CN108829683 A CN 108829683A
Authority
CN
China
Prior art keywords
neural network
network model
training
mixing
learning neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810704890.2A
Other languages
English (en)
Other versions
CN108829683B (zh
Inventor
姜文斌
孙珂
于佃海
吴华
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810704890.2A priority Critical patent/CN108829683B/zh
Publication of CN108829683A publication Critical patent/CN108829683A/zh
Application granted granted Critical
Publication of CN108829683B publication Critical patent/CN108829683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本申请提出一种混合标注学习神经网络模型及其训练方法、装置，其中，所述模型包括：第一子神经网络模型，用于对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示；第二子神经网络模型，用于根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，以生成待处理数据对应的目标结果表示。本申请的混合标注学习神经网络模型，实现了不同标注标准的训练语料的融合利用，提高了神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了神经网络模型的通用性，提升了处理性能。

Description

混合标注学习神经网络模型及其训练方法、装置
技术领域
本申请涉及自然语言处理技术领域，尤其涉及一种混合标注学习神经网络模型及其训练方法、装置。
背景技术
在自然语言处理领域，利用大规模的人工标注样本作为训练语料，对神经网络模型进行训练，以利用训练后的神经网络模型对待处理的语言数据进行处理，提高处理效率，是该领域中常用的技术手段。神经网络模型的训练结果与人工标注样本的数量及标注标准直接相关。
对于隶属于不同的语料库中的训练语料，其采用的标注标准存在较大的不同。然而，目前的神经网络模型仅能针对同种标注标准的训练语料进行训练，对于不同标注标准的训练语料，需要单独训练神经网络模型，训练成本高，且对于标注标准差异较大的训练语料，利用不同标注标准的训练语料训练得到的神经网络模型之间的通用性较差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种混合标注学习神经网络模型，用于解决现有技术中利用不同标注标准的训练语料训练得到的神经网络模型之间的通用性差的技术问题。
本申请的第二个目的在于提出一种混合标注学习神经网络模型训练方法。
本申请的第三个目的在于提出一种混合标注学习神经网络模型训练装置。
本申请的第四个目的在于提出一种计算机设备。
本申请的第五个目的在于提出一种非临时性计算机可读存储介质。
本申请的第六个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种混合标注学习神经网络模型，包括：第一子神经网络模型及第二子神经网络模型；
所述第一子神经网络模型，用于对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示；
所述第二子神经网络模型，用于根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，以生成待处理数据对应的目标结果表示。
本申请实施例的混合标注学习神经网络模型，通过设置第一子神经网络模型和第二子神经网络模型，利用第一子神经网络模型对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示，利用第二子神经网络模型根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，生成待处理数据对应的目标结果表示。由此，通过设置第二子神经网络模型来利用处理标准对应的向量对待处理数据的初步结果进行修正，使得神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了神经网络模型的通用性，提升了处理性能。
为达上述目的，本申请第二方面实施例提出了一种混合标注学习神经网络模型训练方法，包括：
获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据；
利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成所述混合标注学习神经网络模型中的参数集。
本申请实施例的混合标注学习神经网络模型训练方法，通过获取包括N种分别根据N种标注标准进行标注的样本数据的训练样本集，利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。由此，通过利用不同标注标准的训练样本及对应的标注标准对混合标注学习神经网络模型进行训练，使得混合标注学习神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了混合标注学习神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了混合标注学习神经网络模型的通用性，提升了处理性能。
为达上述目的，本申请第三方面实施例提出了一种混合标注学习神经网络模型训练装置，包括：
获取模块，用于获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据；
训练模块，用于利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成所述混合标注学习神经网络模型中的参数集。
本申请实施例的混合标注学习神经网络模型训练装置，通过获取包括N种分别根据N种标注标准进行标注的样本数据的训练样本集，利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。由此，通过利用不同标注标准的训练样本及对应的标注标准对混合标注学习神经网络模型进行训练，使得混合标注学习神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了混合标注学习神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了混合标注学习神经网络模型的通用性，提升了处理性能。
为达上述目的，本申请第四方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第二方面实施例所述的混合标注学习神经网络模型训练方法。
为达上述目的，本申请第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第二方面实施例所述的混合标注学习神经网络模型训练方法。
为达上述目的，本申请第六方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时实现如第二方面实施例所述的混合标注学习神经网络模型训练方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种混合标注学习神经网络模型的结构示意图；
图2为本申请实施例所提供的另一种混合标注学习神经网络模型的结构示意图；
图3为编码层的内部结构示例图；
图4为解码层的内部结构示例图；
图5为本申请实施例所提供的一种混合标注学习神经网络模型训练方法的流程示意图；
图6为本申请实施例所提供的另一种混合标注学习神经网络模型训练方法的流程示意图；
图7为本申请实施例所提供的一种混合标注学习神经网络模型训练装置的结构示意图；
图8为本申请实施例所提供的另一种混合标注学习神经网络模型训练装置的结构示意图；以及
图9为本申请一实施例提出的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的混合标注学习神经网络模型及其训练方法、装置。
为了融合不同标注标准的语料库中的知识，使得神经网络模型能够适应不同标注标准的语料之间的差异，传统技术中，大多采用堆叠分类器和多任务学习两种策略，对神经网络模型进行训练。
堆叠分类器策略是设置源分类器和目标分类器，利用源分类器和目标分类器配合实现不同语料库之间的知识融合。其中，利用源分类器输出源标注标准的分析结果；目标分类器中设计有专门的特征或模型，用以学习从源标注标准的标注结果到目标标注标准的标注结果之间的转换规律。
多任务学习策略将在不同标注标准的语料库上的学习视为不同的学习任务，以共享特征或模块的方式，同时学习多个对应于不同标注标准的模型。
然而，无论是堆叠分类器策略还是多任务学习策略，学习流程均较为复杂。堆叠分类器策略需要先在源标注标准语料上学习源分类器，在此基础上，再在目标标注标准语料上学习目标分类器；多任务学习策略则需要为每种标注标准设置预测模块，多个预测模块在相应标注标准的语料上交替学习。此外，不同标注标准的语料可以刻画相同的语言现象，在特征学习和分类预测阶段存在相同的部分，因此不同标注标准的语料在特征层面和预测层面可以共享，而堆叠分类器策略和多任务学习策略未实现信息共享，导致神经网络模型中信息共享度不高。
针对上述问题，本申请提出了一种混合标注学习神经网络模型，以实现不同标注标准的训练语料的融合利用，提高信息的共享度，提高神经网络模型对不同标注标准的训练语料间的差异的适应能力，以及提高神经网络模型的通用性。
图1为本申请实施例所提供的一种混合标注学习神经网络模型的结构示意图。
如图1所示，该混合标注学习神经网络模型10可以包括：第一子神经网络模型110及第二子神经网络模型120。其中，
第一子神经网络模型110，用于对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示。
第二子神经网络模型120，用于根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，以生成待处理数据对应的目标结果表示。
其中，处理标准为对待处理数据进行标注处理时采用的标注标准。比如，若待处理数据为待分词语句，则处理标准可以为现有的标注标准中的任一种，比如为人民日报语料库或宾州中文树库等。
需要说明的是，本申请各实施例提供的混合标注学习神经网络模型，可以用于对任何需要进行标注处理的数据进行处理，比如可以用于对语句进行分词，或者对图像进行分类等等，本实施例对此不做限定。为统一说明，本申请以下各实施例以对语句进行分词处理为例，对本申请提出的混合标注学习神经网络模型进行详细说明。
本实施例中，混合标注学习神经网络模型10由第一子神经网络模型110和第二子神经网络模型120构成。其中，第一子神经网络模型110可以为基于深度神经网络的序列标注模型，序列标注模型可以基于多层双向循环神经网络(Recurrent Neural Networks，RNN)构建，并采用长短时记忆单元(Long Short-Term Memory，LSTM)作为RNN的基本计算单元。第一子神经网络模型110的输入为待处理数据，通过对待处理数据进行编码、解码处理后，能够输出与待处理数据对应的初始结果表示。其中，待处理数据可以为文本数据、语音数据等等，可以是词语、字符、句子中的任一种；初始结果表示为与待处理数据对应的初始标签表示。
第二子神经网络120的输入为待处理数据采用的标注标准的向量表示，基于输入的向量表示对第一子神经网络模型110的初始表示结果进行修正，得到待处理数据对应的目标结果表示。
通过设置第二子神经网络模型，以利用标注标准对第一子神经网络模型输出的初始结果表示进行修正，能够更方便地进行不同标注标准语料库的混合学习，使得混合标注学习神经网络模型不必局限于同一种标注标准，提高了混合学习神经网络模型的通用性。
进一步地，在本申请实施例一种可能的实现方式中，如图2所示，在如图1所示实施例的基础上，第二子神经网络模型120包括：第一嵌入层121及自适应层122。
其中，第一嵌入层121，用于对获取的处理标准进行向量映射，以生成与处理标准对应的第一向量表示。
作为一种示例，可以预先建立并存储各处理标准与向量之间的映射关系表，当第二子神经网络模型120获取到处理标准后，第二子神经网络模型120中的第一嵌入层121通过查询预设的映射关系表，可以得到与获取的处理标准对应的第一向量表示。
自适应层122，用于对第一向量表示及第一子神经网络模型110输出的初始结果表示，进行自适应处理，以生成待处理数据对应的目标结果表示。
本实施例中，第一嵌入层121确定了与获取的处理标准对应的第一向量表示后，将第一向量表示输入至自适应层122。自适应层122利用接收到的第一向量表示，以及第一子神经网络模型输出的初始结果表示，进行自适应处理，输出待处理数据对应的目标结果表示。
进一步地，在本申请实施例一种可能的实现方式中，如图2所示，第一子神经网络模型110包括：第二嵌入层111、编码层112，以及解码层113。
其中，第二嵌入层111，用于对输入的待处理数据进行向量映射，以生成待处理数据对应的向量表示。
编码层112，用于对第二嵌入层111输出的向量表示进行编码处理，以生成待处理数据对应的编码表示。
解码层113，用于对待处理数据对应的编码表示进行解码处理，以输出待处理数据对应的初始结果表示。
本实施例中，输入至第一子神经网络模型110中的待处理数据，先由第二嵌入层111对待处理数据进行向量映射，生成待处理数据的向量表示，并将所得的向量表示输入至编码层112。编码层112对第二嵌入层111输入的向量表示进行编码处理，将待处理数据的向量表示转化为编码表示，并将得到的编码表示输入至解码层113。其中，编码表示体现了待处理数据在上下文中的语义。解码层113对编码层112输入的编码表示进行解码处理，以得到待处理数据对应的初始结果表示。
作为一种示例，第二嵌入层111对输入的待处理数据进行向量映射生成对应的向量表示时，可以首先对输入的待处理数据进行分词处理，之后再将各分词进行向量映射，确定各分词的向量表示。
作为一种示例，图3为编码层的内部结构示例图。如图3所示，编码层112中可以包含正反两个方向的多个LSTM单元，每个LSTM单元中可以包括一个内部自循环。从图3中可以看出，进行编码时，前一个LSTM单元(箭头指向的LSTM单元)会利用其后的一个LSTM单元的输出，从而所得的编码表示可以体现待处理数据的上下文语义。
作为一种示例，图4为解码层的内部结构示例图。如图4所示，解码层113中包括LSTM单元和翻译(TRANS)单元。从图4中可以看出，在进行解码时，前一个LSTM单元(箭头指向的LSTM单元)会利用其后的一个LSTM单元的输出，以及其后的一个TRANS单元的输出，从而在相邻的初始结果表示之间建立了联系，有利于提高解码层113的解码性能。
第二子网络模型120还包括：预处理层123。
其中，预处理层123，用于对编码层112输出的待处理数据对应的编码表示进行预处理，以生成待处理数据对应的参考表示。
在本申请实施例一种可能的实现方式中，待处理数据为文本数据。此时，预处理层123还用于将文本数据中各字符对应的编码表示进行求均值处理。
本实施例中，自适应层122还用于对第一向量表示、参考表示及第一子神经网络模型输出的初始结果表示，进行自适应处理，以生成待处理数据对应的目标结果表示。
本实施例中，自适应层122接收来自于第一子神经网络110中解码层113的初始结果表示、来自第二子神经网络模型120中预处理层123的参考表示，以及来自第二子神经网络模型120中第一嵌入层121的第一向量表示，并对所接收的三个输入进行自适应处理，得到待处理数据对应的目标结果表示。
作为一种示例，自适应层122进行自适应处理时，可以采用向量点积的计算方式，根据第一向量表示、参考表示及初始结果表示，计算得到目标结果表示。例如，假设第一向量表示为(x1，y1)，参考表示为(x2，y2)，初始结果表示为(x3，y3)，则目标结果表示为(x1*x2*x3+y1*y2*y3)。
考虑到模型设计的自由性，以及实现不同标注标准之间自动适应的难度，在本申请实施例一种可能的实现方式中，自适应层122还用于采用多层感知器(MultilayerPerceptron，MLP)，进行自适应处理，以生成待处理数据对应的目标结果表示。MLP是一种前馈人工神经网络模型，能够将多个数据映射至单一的数据进行输出。利用MLP进行自适应处理的计算过程如公式(1)所示。
其中，rx为参考表示；ra为第一向量表示；lt为初始结果表示；lt'为目标结果表示；表示向量拼接。
通过利用多层感知器进行自适应处理，使得各输入数据不必具有相同的维度，有利于提高模型设计的自由性，提高不同标注标准间差异的自适应能力。
本申请实施例的混合标注学习神经网络模型，通过设置第一子神经网络模型和第二子神经网络模型，利用第一子神经网络模型对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示，利用第二子神经网络模型根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，生成待处理数据对应的目标结果表示。由此，通过设置第二子神经网络模型来利用处理标准对应的向量对待处理数据的初步结果进行修正，使得神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了神经网络模型的通用性，提升了处理性能。
能够理解的是，为了能够利用网络模型对数据进行处理，需要利用大量的训练数据对网络模型进行训练。针对本申请前述实施例所提供的混合标注学习神经网络模型，本申请还提供了一种混合标注学习神经网络模型训练方法，以对前述混合标注学习神经网络模型进行训练，使得后续能够利用训练好的混合标注学习神经网络模型进行数据标注。
图5为本申请实施例所提供的一种混合标注学习神经网络模型训练方法的流程示意图。
如图5所示，该混合标注学习神经网络模型训练方法可以包括以下步骤：
步骤101，获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据。
实际应用中，在进行模型训练时，通常需要采集大量的训练样本，并搭建初始模型，进而利用训练样本对初始模型进行训练，调整模型的参数，最终得到训练后的模型。利用训练后的模型，可以进行数据处理。例如，利用大量的包含不同表情的人脸图像作为训练样本，对初始模型进行训练，得到训练后的表情识别模型，当需要对采集的人脸图像进行表情识别时，可以将人脸图像输入至表情识别模型中，自动识别出人脸图像中包含的表情。
本实施例中，为了对前述实施例中所述的混合标注学习神经网络模型进行训练，也需要获取大量的训练样本。
作为一种示例，可以获取已有的语料库组成训练样本集。通常，不同语料库中的语料，在进行标注时采用的标注标准存在较大的不同，例如，人民日报语料库和宾州中文树库拥有完全不同的标注标准。从而，本实施例中，可以获取根据不同标注标准进行标注的样本数据，利用多种标注标准的样本数据构成样本数据集。
在本申请实施例一种可能的实现方式中，训练样本集中N种样本数据间的数量差值均小于阈值。其中，阈值为预先设定的，例如为50个、80个等。对于训练样本集的N种样本数据，每两种样本数据的数量差值均小于预设的阈值，由此，能够确保获取的训练样本集中，每一种标注标准的样本数据的数量保持均匀，有利于对混合标注学习神经网络模型进行充分地训练，提高模型训练的准确度和模型精度。
步骤102，利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。
其中，混合标注学习神经网络模型包括第一子神经网络模型和第二子神经网络模型。第一子神经网络模型用于根据输入的待处理数据生成对应的初始结果表示；第二子神经网络模型用于根据与待处理数据对应的标注标准，对初始结果表示进行修正，得到目标结果表示。
本实施例中，对混合标注学习神经网络模型进行训练时，针对训练样本集中的每一个样本数据，将样本数据作为混合标注学习神经网络模型的第一子神经网络模型的输入，将该样本数据对应的标注标准作为第二子神经网络模型的输入，通过在训练过程中，对第一子神经网络模型和第二子神经网络模型的各个参数进行不断调整，使得混合标注学习神经网络模型输出该样本数据在对应的标注标准下的标注结果。利用训练样本集中的各种训练样本对混合标注学习神经网络模型进行多轮训练后，即可得到混合标注学习神经网络模型中的参数集。进而，利用训练完成后的混合标注学习神经网络模型，可以对待处理数据进行标注。将待处理数据以及标注待处理数据所希望采用的标注标准，输入至训练后的混合标注学习神经网络模型，即可得到采用该标注标准对待处理数据进行标注所得的标注结果。
本申请实施例的混合标注学习神经网络模型训练方法，通过获取包括N种分别根据N种标注标准进行标注的样本数据的训练样本集，利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。由此，通过利用不同标注标准的训练样本及对应的标注标准对混合标注学习神经网络模型进行训练，使得混合标注学习神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了混合标注学习神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了混合标注学习神经网络模型的通用性，提升了处理性能。
在实际使用时，由于混合标注学习神经网络模型，多是用来将待处理的数据按照一种标准进行标注处理，因此为确保混合标注学习神经网络模型在该标准下的处理精度，在本申请实施例一种可能的实现方式中，还可以利用该标注标准下的标注样本，对混合标注学习神经网络模型的参数集的训练过程进行校验。从而，本申请提出了另一种混合标注学习神经网络模型训练方法，图6为本申请实施例所提供的另一种混合标注学习神经网络模型训练方法的流程示意图。
如图6所示，在如图5所示实施例的基础上，步骤102之后，还可以包括以下步骤：
步骤201，确定混合标注学习神经网络模型对应的目标标注标准。
其中，目标标注标准可以由技术人员选定，可以是现有的标注标准中的任一种，例如，可以选择人民日报语料库采用的标注标准作为目标标注标准，本申请对目标标注标准的选择不作限定。但需要说明的是，利用目标标注标准进行标注的样本数据，是训练样本集中包括的N种样本数据中的一种。
步骤202，利用与目标标注标准对应的标注样本构成开发集。
步骤203，在对混合标注学习神经网络模型进行训练的过程中，利用开发集，对生成的参数集进行校验，以使利用最终获取的参数集对开发集中的各标注样本进行处理时，混合标注学习神经网络模型的损失函数的取值最小。
本实施例中，确定了目标标注样本对应的开发集后，可以在对混合标注学习神经网络模型进行训练的过程中，利用开发集，对训练生成的参数集进行校验，得到最终获取的参数集，以使利用最终获取的参数集对开发集中的各标注样本进行处理时，混合标注学习神经网络模型的损失函数的取值最小。
也就是说，在对混合标注学习神经网络模型进行训练的过程中，可以利用目标标注标准对应的开发集，对训练得到的混合标注学习神经网络模型进行校验，以使得到的模型对开发集中的各标注样本进行处理时，损失函数的取值最小，此时的混合标注学习神经网络模型对应的参数集，即最终获取的参数集。
举例来说，若利用训练样本集对混合标注学习神经网络模型进行N轮训练后得到的参数集为A，而进行M轮训练后得到的参数集为B，其中，M≠N。当标注标准为C时，对应的开发集为L，当标注标准为D时，对应的开发集为K。
若利用N轮训练得到的混合标注学习神经网络模型，对开发集L中的各样本进行处理时的损失函数的取值，小于利用M轮训练得到的混合标注学习神经网络模型，对开发集L中的各样本进行处理时的损失函数的取值，那么则可以确定当目标标注标标准为C时，对应的该模型的参数集为：N轮训练后得到的参数集A。
或者，若利用N轮训练得到的混合标注学习神经网络模型，对开发集K中的各样本进行处理时的损失函数的取值，大于利用M轮训练得到的混合标注学习神经网络模型，对开发集K中的各样本进行处理时的损失函数的取值，那么则可以确定当目标标注标标准为D时，对应的该模型的参数集为：M轮训练后得到的参数集B。
本实施例的混合标注学习神经网络模型训练方法，通过确定混合标注学习神经网络模型对应的目标标注标准，利用与目标标注标准对应的标注样本构成开发集，在对混合标注学习神经网络模型进行训练的过程中，利用开发集对生成的参数集进行校验，以使利用最终获取的参数集对开发集中的各标注样本进行处理时，混合标注学习神经网络模型的损失函数的取值最小，能够为混合标注学习神经网络模型选择出最优的模型配置，提高模型的处理精度。
为了实现上述实施例，本申请还提出一种混合标注学习神经网络模型训练装置。
图7为本申请实施例所提供的一种混合标注学习神经网络模型训练装置的结构示意图。
如图7所示，该混合标注学习神经网络模型训练装置50可以包括：获取模块510和训练模块520。其中，
获取模块510，用于获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据。
在本申请实施例一种可能的实现方式中，训练样本集中N种样本数据间的数量差值均小于阈值。由此，能够确保获取的训练样本集中，每一种标注标准的样本数据的数量保持均匀，有利于对混合标注学习神经网络模型进行充分地训练，提高模型训练的准确度和模型精度。
训练模块520，用于利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。
进一步地，在本申请实施例一种可能的实现方式中，如图8所示，在如图7所示实施例的基础上，该混合标注学习神经网络模型训练装置50还可以包括：
校验模块530，用于确定混合标注学习神经网络模型对应的目标标注标准；利用与目标标注标准对应的标注样本构成开发集；在对混合标注学习神经网络模型进行训练的过程中，利用开发集，对生成的参数集进行校验，以使利用最终获取的参数集对开发集中的各标注样本进行处理时，混合标注学习神经网络模型的损失函数的取值最小。
通过确定混合标注学习神经网络模型对应的目标标注标准，利用与目标标注标准对应的标注样本构成开发集，在对混合标注学习神经网络模型进行训练的过程中，利用开发集对生成的参数集进行校验，以使利用最终获取的参数集对开发集中的各标注样本进行处理时，混合标注学习神经网络模型的损失函数的取值最小，能够为混合标注学习神经网络模型选择出最优的模型配置，提高模型的处理精度。
需要说明的是，前述对混合标注学习神经网络模型训练方法实施例的解释说明也适用于该实施例的混合标注学习神经网络模型训练装置，其实现原理类似，此处不再赘述。
本申请实施例的混合标注学习神经网络模型训练装置，通过获取包括N种分别根据N种标注标准进行标注的样本数据的训练样本集，利用训练样本集及训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成混合标注学习神经网络模型中的参数集。由此，通过利用不同标注标准的训练样本及对应的标注标准对混合标注学习神经网络模型进行训练，使得混合标注学习神经网络模型的训练语料不必局限于同一种标注标准，实现了不同标注标准的训练语料的融合利用，提高了混合标注学习神经网络模型对不同标注标准的训练语料间的差异的适应能力，提高了混合标注学习神经网络模型的通用性，提升了处理性能。
为了实现上述实施例，本申请还提出一种计算机设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的混合标注学习神经网络模型训练方法。
图9为本申请一实施例提出的计算机设备的结构示意图，示出了适于用来实现本申请实施方式的示例性计算机设备90的框图。图9显示的计算机设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机设备90以通用计算机设备的形式表现。计算机设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元906，系统存储器910，连接不同系统组件(包括系统存储器910和处理单元906)的总线908。
总线908表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器910可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)911和/或高速缓存存储器912。计算机设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统913可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线908相连。系统存储器910可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
具有一组(至少一个)程序模块9140的程序/实用工具914，可以存储在例如系统存储器910中，这样的程序模块9140包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9140通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备90也可以与一个或多个外部设备10(例如键盘、指向设备、显示器100等)通信，还可与一个或者多个使得用户能与该终端设备90交互的设备通信，和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口902进行。并且，计算机设备90还可以通过网络适配器900与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器900通过总线908与计算机设备90的其它模块通信。应当明白，尽管图9中未示出，可以结合计算机设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元906通过运行存储在系统存储器910中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的混合标注学习神经网络模型训练方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的混合标注学习神经网络模型训练方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的混合标注学习神经网络模型训练方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种混合标注学习神经网络模型，其特征在于，包括：第一子神经网络模型及第二子神经网络模型；
所述第一子神经网络模型，用于对输入的待处理数据进行编码、解码处理，以生成待处理数据对应的初始结果表示；
所述第二子神经网络模型，用于根据与获取的处理标准对应的向量，对待处理数据对应的初始结果表示进行修正，以生成待处理数据对应的目标结果表示。
2.如权利要求1所述的神经网络模型，其特征在于，所述第二子神经网络模型，包括：第一嵌入层及自适应层；
所述第一嵌入层，用于对获取的处理标准进行向量映射，以生成与所述处理标准对应的第一向量表示；
所述自适应层，用于对所述第一向量表示及所述第一子神经网络模型输出的初始结果表示，进行自适应处理，以生成待处理数据对应的目标结果表示。
3.如权利要求2所述的神经网络模型，其特征在于，所述第一子神经网络模型包括第二嵌入层、编码层及解码层；
所述第二嵌入层，用于对输入的待处理数据进行向量映射，以生成待处理数据对应的向量表示；
所述编码层，用于对所述第二嵌入层输出的向量表示进行编码处理，以生成所述待处理数据对应的编码表示；
所述解码层，用于对所述待处理数据对应的编码表示进行解码处理，以输出所述待处理数据对应的初始结果表示。
4.如权利要求3所述的神经网络模型，其特征在于，所述第二子神经网络模型，还包括：预处理层；
所述预处理层，用于对所述编码层输出的待处理数据对应的编码表示进行预处理，以生成所述待处理数据对应的参考表示；
所述自适应层，用于对所述第一向量表示、所述参考表示及所述第一子神经网络模型输出的初始结果表示，进行自适应处理，以生成待处理数据对应的目标结果表示。
5.如权利要求4所述的神经网络模型，其特征在于，所述待处理数据为文本数据；
所述预处理层，用于将所述文本数据中各字符对应的编码表示进行求均值处理。
6.如权利要求2-5任一项所述的神经网络模型，其特征在于，所述自适应层，用于采用多层感知器，进行自适应处理，以生成待处理数据对应的目标结果表示。
7.一种混合标注学习神经网络模型训练方法，其特征在于，包括：
获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据；
利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成所述混合标注学习神经网络模型中的参数集。
8.如权利要求7所述的训练方法，其特征在于，所述训练样本集中N种样本数据间的数量差值均小于阈值。
9.如权利要求7或8所述的训练方法，其特征在于，还包括：
确定所述混合标注学习神经网络模型对应的目标标注标准；
利用与所述目标标注标准对应的标注样本构成开发集；
在对所述混合标注学习神经网络模型进行训练的过程中，利用所述开发集，对生成的参数集进行校验，以使利用最终获取的参数集对所述开发集中的各标注样本进行处理时，所述混合标注学习神经网络模型的损失函数的取值最小。
10.一种混合标注学习神经网络模型训练装置，其特征在于，包括：
获取模块，用于获取训练样本集，其中训练样本集中包括N种分别根据N种标注标准进行标注的样本数据；
训练模块，用于利用所述训练样本集及所述训练样本集中各训练样本分别对应的标注标准，对混合标注学习神经网络模型进行训练，以生成所述混合标注学习神经网络模型中的参数集。
11.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求7-9中任一项所述的混合标注学习神经网络模型训练方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-9中任一项所述的混合标注学习神经网络模型训练方法。
CN201810704890.2A 2018-06-29 2018-06-29 混合标注学习神经网络模型及其训练方法、装置 Active CN108829683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810704890.2A CN108829683B (zh) 2018-06-29 2018-06-29 混合标注学习神经网络模型及其训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810704890.2A CN108829683B (zh) 2018-06-29 2018-06-29 混合标注学习神经网络模型及其训练方法、装置

Publications (2)

Publication Number Publication Date
CN108829683A true CN108829683A (zh) 2018-11-16
CN108829683B CN108829683B (zh) 2022-06-10

Family

ID=64134595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810704890.2A Active CN108829683B (zh) 2018-06-29 2018-06-29 混合标注学习神经网络模型及其训练方法、装置

Country Status (1)

Country Link
CN (1) CN108829683B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685202A (zh) * 2018-12-17 2019-04-26 腾讯科技（深圳）有限公司 数据处理方法及装置、存储介质和电子装置
CN109740632A (zh) * 2018-12-07 2019-05-10 百度在线网络技术（北京）有限公司 基于多传感器多被测对象的相似度模型训练方法和装置
CN109801345A (zh) * 2018-12-20 2019-05-24 武汉西山艺创文化有限公司 一种基于神经网络的原画线稿辅助绘制方法和装置
CN109840588A (zh) * 2019-01-04 2019-06-04 平安科技（深圳）有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN109871946A (zh) * 2019-03-15 2019-06-11 北京金山数字娱乐科技有限公司 一种神经网络模型的使用方法及装置、训练方法及装置
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109919214A (zh) * 2019-02-27 2019-06-21 南京地平线机器人技术有限公司 一种神经网络模型的训练方法及训练装置
CN109933662A (zh) * 2019-02-15 2019-06-25 北京奇艺世纪科技有限公司 模型训练方法、信息生成方法、装置、电子设备和计算机可读介质
CN109978141A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型训练方法和装置、自然语言处理方法和装置
CN110162757A (zh) * 2019-04-29 2019-08-23 北京百度网讯科技有限公司 一种表格结构提取方法及系统
CN110399933A (zh) * 2019-07-31 2019-11-01 北京字节跳动网络技术有限公司 数据标注修正方法、装置、计算机可读介质及电子设备
CN110909768A (zh) * 2019-11-04 2020-03-24 北京地平线机器人技术研发有限公司 一种标注数据获取方法及装置
CN111401102A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 深度学习模型训练方法及装置、电子设备及存储介质
CN112016576A (zh) * 2019-05-30 2020-12-01 浙江商汤科技开发有限公司 训练神经网络的方法、图像处理方法、装置、设备和介质
CN112215845A (zh) * 2020-12-03 2021-01-12 虎丘影像（苏州）有限公司 基于多神经网络的医学影像信息识别方法、装置、系统
CN112381216A (zh) * 2021-01-14 2021-02-19 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测方法和装置
CN112417116A (zh) * 2020-11-18 2021-02-26 四川长虹电器股份有限公司 一种基于少样本语料的问句理解模型训练方法和系统
CN113052851A (zh) * 2019-12-27 2021-06-29 上海昕健医疗技术有限公司 基于深度学习的医学图像处理方法、系统以及计算机设备
CN113822420A (zh) * 2021-09-27 2021-12-21 闫鹏 基于容积二氧化碳图的死腔分数的模型建立方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN106202030A (zh) * 2016-06-23 2016-12-07 苏州大学 一种基于异构标注数据的快速序列标注方法及装置
CN107451118A (zh) * 2017-07-21 2017-12-08 西安电子科技大学 基于弱监督深度学习的句子级情感分类方法
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质
CN107608973A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 一种基于神经网络的翻译方法及装置
CN107729312A (zh) * 2017-09-05 2018-02-23 苏州大学 基于序列标注建模的多粒度分词方法及系统
CN107943911A (zh) * 2017-11-20 2018-04-20 北京大学深圳研究院 数据抽取方法、装置、计算机设备及可读存储介质
CN108170736A (zh) * 2017-12-15 2018-06-15 南瑞集团有限公司 一种基于循环注意力机制的文档快速扫描定性方法
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN108805259A (zh) * 2018-05-23 2018-11-13 北京达佳互联信息技术有限公司 神经网络模型训练方法、装置、存储介质及终端设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361328A (zh) * 2014-11-21 2015-02-18 中国科学院重庆绿色智能技术研究院 一种基于自适应多列深度模型的人脸图像正规化方法
CN106202030A (zh) * 2016-06-23 2016-12-07 苏州大学 一种基于异构标注数据的快速序列标注方法及装置
CN107608973A (zh) * 2016-07-12 2018-01-19 华为技术有限公司 一种基于神经网络的翻译方法及装置
CN107451118A (zh) * 2017-07-21 2017-12-08 西安电子科技大学 基于弱监督深度学习的句子级情感分类方法
CN107729312A (zh) * 2017-09-05 2018-02-23 苏州大学 基于序列标注建模的多粒度分词方法及系统
CN107609598A (zh) * 2017-09-27 2018-01-19 武汉斗鱼网络科技有限公司 图像鉴别模型训练方法、装置及可读存储介质
CN107943911A (zh) * 2017-11-20 2018-04-20 北京大学深圳研究院 数据抽取方法、装置、计算机设备及可读存储介质
CN108170736A (zh) * 2017-12-15 2018-06-15 南瑞集团有限公司 一种基于循环注意力机制的文档快速扫描定性方法
CN108198207A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 基于改进的Vibe模型和BP神经网络的多运动目标跟踪方法
CN108805259A (zh) * 2018-05-23 2018-11-13 北京达佳互联信息技术有限公司 神经网络模型训练方法、装置、存储介质及终端设备

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740632A (zh) * 2018-12-07 2019-05-10 百度在线网络技术（北京）有限公司 基于多传感器多被测对象的相似度模型训练方法和装置
CN109740632B (zh) * 2018-12-07 2023-11-10 阿波罗智能技术(北京)有限公司 基于多传感器多被测对象的相似度模型训练方法和装置
CN109685202A (zh) * 2018-12-17 2019-04-26 腾讯科技（深圳）有限公司 数据处理方法及装置、存储介质和电子装置
CN109801345A (zh) * 2018-12-20 2019-05-24 武汉西山艺创文化有限公司 一种基于神经网络的原画线稿辅助绘制方法和装置
CN111401102B (zh) * 2019-01-02 2023-11-14 中国移动通信有限公司研究院 深度学习模型训练方法及装置、电子设备及存储介质
CN111401102A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 深度学习模型训练方法及装置、电子设备及存储介质
CN109840588A (zh) * 2019-01-04 2019-06-04 平安科技（深圳）有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN109840588B (zh) * 2019-01-04 2023-09-08 平安科技（深圳）有限公司 神经网络模型训练方法、装置、计算机设备及存储介质
CN109933662A (zh) * 2019-02-15 2019-06-25 北京奇艺世纪科技有限公司 模型训练方法、信息生成方法、装置、电子设备和计算机可读介质
CN109919214A (zh) * 2019-02-27 2019-06-21 南京地平线机器人技术有限公司 一种神经网络模型的训练方法及训练装置
CN109919214B (zh) * 2019-02-27 2023-07-21 南京地平线机器人技术有限公司 一种神经网络模型的训练方法及训练装置
CN109918684A (zh) * 2019-03-05 2019-06-21 腾讯科技（深圳）有限公司 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109871946A (zh) * 2019-03-15 2019-06-11 北京金山数字娱乐科技有限公司 一种神经网络模型的使用方法及装置、训练方法及装置
CN109978141B (zh) * 2019-03-28 2022-11-25 腾讯科技（深圳）有限公司 神经网络模型训练方法和装置、自然语言处理方法和装置
CN109978141A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 神经网络模型训练方法和装置、自然语言处理方法和装置
CN110162757A (zh) * 2019-04-29 2019-08-23 北京百度网讯科技有限公司 一种表格结构提取方法及系统
CN110162757B (zh) * 2019-04-29 2023-08-18 北京百度网讯科技有限公司 一种表格结构提取方法及系统
CN112016576A (zh) * 2019-05-30 2020-12-01 浙江商汤科技开发有限公司 训练神经网络的方法、图像处理方法、装置、设备和介质
CN110399933B (zh) * 2019-07-31 2021-05-07 北京字节跳动网络技术有限公司 数据标注修正方法、装置、计算机可读介质及电子设备
CN110399933A (zh) * 2019-07-31 2019-11-01 北京字节跳动网络技术有限公司 数据标注修正方法、装置、计算机可读介质及电子设备
CN110909768A (zh) * 2019-11-04 2020-03-24 北京地平线机器人技术研发有限公司 一种标注数据获取方法及装置
CN113052851A (zh) * 2019-12-27 2021-06-29 上海昕健医疗技术有限公司 基于深度学习的医学图像处理方法、系统以及计算机设备
CN112417116B (zh) * 2020-11-18 2022-03-15 四川长虹电器股份有限公司 一种基于少样本语料的问句理解模型训练方法和系统
CN112417116A (zh) * 2020-11-18 2021-02-26 四川长虹电器股份有限公司 一种基于少样本语料的问句理解模型训练方法和系统
CN112215845A (zh) * 2020-12-03 2021-01-12 虎丘影像（苏州）有限公司 基于多神经网络的医学影像信息识别方法、装置、系统
CN112381216A (zh) * 2021-01-14 2021-02-19 蚂蚁智信(杭州)信息技术有限公司 混合图神经网络模型的训练、预测方法和装置
CN113822420A (zh) * 2021-09-27 2021-12-21 闫鹏 基于容积二氧化碳图的死腔分数的模型建立方法及系统
CN113822420B (zh) * 2021-09-27 2024-04-19 中国航天科工集团七三一医院 基于容积二氧化碳图的死腔分数的模型建立方法及系统

Also Published As

Publication number Publication date
CN108829683B (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN108829683A (zh) 混合标注学习神经网络模型及其训练方法、装置
Tevet et al. Motionclip: Exposing human motion generation to clip space
CN107767870A (zh) 标点符号的添加方法、装置和计算机设备
CN107678561A (zh) 基于人工智能的语音输入纠错方法及装置
CN108984679A (zh) 对话生成模型的训练方法和装置
CN108062388A (zh) 人机对话的回复生成方法和装置
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN110162800A (zh) 翻译模型的训练方法和装置
CN110472688A (zh) 图像描述的方法及装置、图像描述模型的训练方法及装置
CN110785767A (zh) 紧凑的无语言面部表情嵌入和新颖三元组的训练方案
CN109902672A (zh) 图像标注方法及装置、存储介质、计算机设备
CN110197658A (zh) 语音处理方法、装置以及电子设备
CN107679564A (zh) 样本数据推荐方法及其装置
CN109670185A (zh) 基于人工智能的文本生成方法和装置
CN108549643A (zh) 翻译处理方法和装置
CN110110323A (zh) 一种文本情感分类方法和装置、计算机可读存储介质
CN108460098A (zh) 信息推荐方法、装置和计算机设备
CN110175336A (zh) 翻译方法、装置和电子设备
CN110175335A (zh) 翻译模型的训练方法和装置
CN110211570A (zh) 同声传译处理方法、装置及设备
CN109616101A (zh) 声学模型训练方法、装置、计算机设备和可读存储介质
CN108846124A (zh) 训练方法、装置、计算机设备和可读存储介质
CN114565808B (zh) 一种面向无监督视觉表示的双动量对比学习方法
CN117152363B (zh) 基于预训练语言模型的三维内容生成方法、装置及设备
CN109815500A (zh) 非结构化公文的管理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant