CN116306612A - 一种词句生成方法及相关设备 - Google Patents

一种词句生成方法及相关设备 Download PDF

Info

Publication number
CN116306612A
CN116306612A CN202111576377.8A CN202111576377A CN116306612A CN 116306612 A CN116306612 A CN 116306612A CN 202111576377 A CN202111576377 A CN 202111576377A CN 116306612 A CN116306612 A CN 116306612A
Authority
CN
China
Prior art keywords
target
word
string sequence
character string
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111576377.8A
Other languages
English (en)
Inventor
肖镜辉
刘群
吴海腾
张哲�
熊元峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111576377.8A priority Critical patent/CN116306612A/zh
Priority to PCT/CN2022/139629 priority patent/WO2023116572A1/zh
Publication of CN116306612A publication Critical patent/CN116306612A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能领域，公开了一种词句生成方法，方法包括：获取目标字符串序列，目标字符串为用户在输入法工具中输入的；根据目标字符串序列，通过目标神经网络，生成目标字符串序列对应的目标词句，其中，目标神经网络包括编码器以及解码器，编码器用于根据目标字符串序列得到嵌入向量，解码器用于根据嵌入向量生成目标词句，目标神经网络为通过训练样本训练得到的，训练样本包括字符串序列以及对应的词句；将目标词句呈现在输入法工具的界面中。本申请将未纠错以及未分词的字符串输入到目标神经网络，降低了由于纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。

Description

一种词句生成方法及相关设备
技术领域
本申请涉及人工智能领域，尤其涉及一种词句生成方法及相关设备。
背景技术
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
输入法编辑器是客户端必备的应用程序，广泛的应用于台式机、笔记本、手机、平板、智能电视、车载电脑等设备中；并且，用户的日常活动，如：搜索地点、查找餐馆、聊天交友、出行规划等，很大程度上会转化为用户的输入行为，所以利用输入法编辑器的数据能够对用户进行精准的刻画。因此，输入法编辑器在互联网领域，具有重大的战略意义。
在输入场景下，用户在设备上输入字符(例如拼音)后，输入法编辑器会生成词句(词语或句子)并提示该词句以供用户选择，生成的词句的准确率直接影响输入法编辑器的准确率以及用户的体验；为此，需要一种能够准确生成词句的方法。
发明内容
本申请提供了一种词句生成方法，降低了纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。
第一方面，本申请提供了一种词句生成方法，所述方法包括：
获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；
在一种可能的实现中，字符串可以理解为字符的组合，是一种语言信息的载体，用于生成词句；该词句可以是一个词语，也可以是多个词语，一个字也可以成为词语。用户可以通过输入法工具输入目标字符串序列，进而，终端设备可以获取到用户输入的目标字符串序列。
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句(例如可以为字符串序列对应的正确词句)；将所述目标词句呈现在所述输入法工具的界面中。
在一种可能的实现中，编码器可以根据目标字符串序列得到嵌入向量，其中，编码器可以对目标字符串序列中的每个字符进行处理，以得到每个字符的嵌入向量(或者称之为隐向量)，应理解，可以将编码器的输入和输出的尺寸保持一致。
在一种可能的实现中，解码器可以根据嵌入向量生成所述目标词句，可选的，解码器可以根据嵌入向量得到至少一个词单元以及每个词单元的概率，并结合规划算法得到目标词句。
在现有的实现中，针对于从输入法工具输入的字符串，需要通过纠错以及分词模块进行预处理，之后才输入到音字转换模型。本申请实施例中，直接将未纠错以及未分词的字符串输入到音字转换模型(例如本申请实施例中的目标神经网络)。可以在训练目标神经网络时，直接采用包含噪声的字符串，进而使得目标神经网络具备纠错的能力，且由于目标字符串序列是通过输入法工具输入得到的，字符的长度不会很长(小于阈值)，在不进行分词的情况下，直接基于原始的字符串，目标神经网络仍然可以得到准确的词句。解决了现有技术中，由于纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。
且通过上述噪声样本对目标神经网络进行训练，可以使得目标神经网络具备纠错能力(也就是对含有噪声的字符串，目标神经网络仍然可以生成正确的词句)。
在一种可能的实现中，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值，例如，阈值可以为64、70、80、90、100、128等。
在一种可能的实现中，解码器可以采用非自回归的并行解码方式，首先，在键音转换问题中，输入的是字母序列、输出的是汉字序列，通常，一个汉字需要由多个字母表示，因此输出汉字序列的长度通常远小于输入的字母序列。因此，在encoder上端增加了‘生成序列长度预测’模块，用来指导生成序列的长度。其次，decoder端从单向Attention(例如GPT模型)改变成Bert模型的双向Attention，以支持并行解码。
在一种可能的实现中，所述目标词句可以包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
在一种可能的实现中，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
本申请实施例中，通过非自回归解码能够大幅提升模型的推理速度、且保持模型的性能不大幅下降。
在一种可能的实现中，可以根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
具体的，目标神经网络在接收到目标字符串序列之后，可以通过编码器对输入序列进行编码；通过字数预测模型来预测目标词句的长度(子单元数量)，解码器可以根据编码器的编码结果，并行生成目标字符串序列对应的初始词句；最后，根据之前预测的子单元数量，对初始词句进行调整(如：截断超出长度的部分)。
在一种可能的实现中，字数预测模型可以为分类模型或者回归模型。
在一种可能的实现中，为了提高目标词句的准确度，还可以通过一个字数预测模型来预测目标词句的子单元数量，并基于子单元数量来对初始词句进行调整。
在一种可能的实现中，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的；
所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
在一种可能的实现中，所述目标神经网络包括编码器以及解码器，其中，所述编码器或解码器可以为如下模型的一种：LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
在一种可能的实现中，编码器可以理解为一个深度学习网络模型，编码器的网络结构有多种，本申请实施例对此不做具体限定；具体地，编码器的网络结构可以采用Transformer网络的编码器部分的网络结构，或采用由Transformer网络的编码器部分得到的一系列其他网络的网络结构。
第二方面，本申请提供了一种样本构建方法，所述方法包括：
获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
在构建样本时，由于字符串序列较难获取到，为了获取到第一字符串序列，可以通过字音转换模块将词句转换为第一字符串序列。
在一种可能的实现中，第一字符为第一字符串序列中的一个字符。
在一种可能的实现中，第一字符可以为对第一字符串序列的字符进行随机采样(或者其他方式)得到的。第一字符可以作为对第一字符串序列加噪声(具体可以为将第一字符替换成除第一字符之外的其他字符、或者是将第一字符之外的其他字符增加至第一字符之前或之后)的对象。
通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：
所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；
将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
其中，目标概率模型可以用于刻画用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率。
在一种可能的实现中，用户在发生误触时，所误触到的不同按键的概率可以不是等同的。其可以和虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征等信息相关。
在一种可能的实现中，虚拟按键的尺寸越大，则其被误触的概率可能越大。例如，用户在按压按键A时，按键A附近包括按键B、按键C以及按键D，按键B的尺寸在大于按键C和按键D的尺寸的情况下，则用户在按压按键A时会误触到按键B的概率更高。
在一种可能的实现中，具有不同虚拟按键的尺寸信息的键盘，可以对应不同的目标概率模型。
在一种可能的实现中，虚拟按键的布局信息可以包括按键在键盘上的排布、按键之间的距离、按键自身的形状等信息，例如，用户在按压按键A时，按键A附近包括按键B、按键C以及按键D，按键B和按键A的距离在小于按键C和按键D和按键A的距离的情况下，则用户在按压按键A时会误触到按键B的概率更高。
在一种可能的实现中，具有不同虚拟按键的布局信息的键盘，可以对应不同的目标概率模型。
在一种可能的实现中，用户的操作习惯可以理解为用户在按压按键时的动作习惯，不同用户的动作习惯可能不同，例如按键A附近包括按键B、按键C以及按键D，用户A在按压按键A时由于操作习惯会更容易按压到把按键B则用户在按压按键A时会误触到按键B的概率更高；又例如操作习惯可以和键盘输入的熟练度有关。
在一种可能的实现中，具有不同操作习惯的用户，可以对应不同的目标概率模型。
在一种可能的实现中，用户的手部结构特征可以理解为用户在按压键盘时的操作手指的结构特征，例如可以为手指和接触面之间的面积大小。手部结构特征可以和用户的年龄有关，针对于相同年龄的用户，基于性别以及个体差异也可能对应不同的手部结构特征。
在一种可能的实现中，具有不同手部结构特征的用户，可以对应不同的目标概率模型。
在一种可能的实现中，所述虚拟按键的尺寸信息可以包括至少一个第二字符的尺寸信息。
在一种可能的实现中，所述虚拟按键的布局信息可以包括至少一个第二字符和第一字符之间的布局特征。
本申请实施例中，通过目标概率模型来确定出用于替换第一字符的目标字符，能够更准确的刻画出用户的实际行为，也就是确定出更有可能误触到的字符，进而其得到的加噪声训练样本也就更能反映出实际的用户操作情况，进而，基于该加噪声的训练样本训练得到的目标神经网络也更准确，从而能够增强模型在用户真实输入场景的鲁棒性。
在一种可能的实现中，所述方法还包括：
获取样本用户输入字符时在虚拟键盘上的按压点点云；
根据所述按压点点云，构建所述目标概率模型。
由于按压点点云可以刻画出用户的操作习惯，因此基于按压点点云构建的目标概率模型确定的概率可以和用户的操作习惯有关。
在一种可能的实现中，所述目标概率模型为高斯概率模型。
在一种可能的实现中，所述方法还包括：
根据第二字符串序列以及所述正确词句，对所述目标神经网络进行训练。
第三方面，本申请提供了一种词句生成装置，所述装置包括：
获取模块，用于获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；
词句生成模块，用于根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；
呈现模块，用于将所述目标词句呈现在所述输入法工具的界面中。
在一种可能的实现中，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值。
在一种可能的实现中，所述目标词句包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
在一种可能的实现中，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
在一种可能的实现中，所述装置还包括：
字数预测模块，用于根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；
所述词句生成模块，具体用于：
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；
根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
在一种可能的实现中，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的；
所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
在一种可能的实现中，所述编码器或解码器为如下模型的一种：
LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
第四方面，本申请提供了一种样本构建装置，所述装置包括：
获取模块，用于获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
字符替换模块，用于通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：
所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；
将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
在一种可能的实现中，所述目标概率模型为高斯概率模型。
在一种可能的实现中，所述装置还包括：
训练模块，用于根据第二字符串序列以及所述正确词句，对所述目标神经网络进行训练。
第五方面，本申请实施例提供了一种神经网络搜索装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面及其任一可选的方法，以及上述第二方面及其任一可选的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法、上述第二方面及其任一可选的方法。
第七方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面及其任一可选的方法、上述第二方面及其任一可选的方法。
第八方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。
本申请提供了一种词句生成方法，所述方法包括：获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；将所述目标词句呈现在所述输入法工具的界面中。通过上述方式，将未纠错以及未分词的字符串输入到音字转换模型(例如本申请实施例中的目标神经网络)，解决了现有技术中，由于纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。
应理解，上述各方面描述的方法以及装置之间在不存在技术矛盾的情况下，可以相互引用、组合、解释。
附图说明
图1为人工智能主体框架的一种结构示意图；
图2为一种输入法场景的界面示意；
图3为一种输入法场景的界面示意；
图4为一种应用系统的架构示意；
图5为一种应用系统的架构示意；
图6为一种词句生成的方法示意；
图7为一种词句生成的方法示意；
图8为本申请实施例提供的词句生成方法的流程示意；
图9为本申请实施例嵌入向量的构建示意；
图10为一种非自回归的网络示意；
图11为本申请实施例的一个词句生成示意；
图12为本申请实施例提供的样本构建方法的流程示意；
图13为一种用户点击虚拟键盘的点击分布示意；
图14为一种样本构建方法的示意；
图15为本申请实施例提供的一种词句生成装置的实施例示意；
图16为本申请实施例提供的一种样本构建装置的实施例示意；
图17为本申请实施例提供的执行设备的一种结构示意图；
图18是本申请实施例提供的训练设备一种结构示意图；
图19为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、智慧城市等。
本申请可以但不限于应用于人工智能领域的自然语言处理领域中，具体可以应用于自然语言处理领域，下面将对多个落地到产品的应用场景进行介绍。
为了更好地理解本申请实施例的方案，下面先结合图2至图4对本申请实施例可能的应用场景进行简单的介绍。
本申请可以应用于基于输入法进行信息输入的场景。
在该输入场景中，用户可以在终端设备上输入字符串，相应地，部署在终端设备内部的输入法编辑器(input method editor，IME)会接收到用户输入的字符串，并根据字符串生成相应的词句，然后向用户提示该词句。
其中，输入法编辑器可以由神经网络实现，例如本申请实施例中的目标神经网络。
其中，本申请实施例可以将字符串转换为对应的词句的任务称之为音字转换任务。
在一种可能的实现中，字符串(也可以称之为字符串序列，例如本申请实施例中的目标字符串序列)可以理解为字符的组合，是一种语言信息的载体，用于生成词句；该词句可以是一个词语，也可以是多个词语，一个字也可以成为词语。
在一种可能的实现中，字符串可以为表示出用户想输入的词句的发音的字符。
上述输入场景可以是中文、日语、汉语等多种语言的输入场景；对应不同种类的语言，字符串的形式不同；以中文为例，字符串可以包括一个拼音或多个拼音。
具体地，如图2和图3所示，当输入字符串nuoyafangzhou后，输入法编辑器提示的词句分别为诺亚方舟、挪亚方舟、诺亚方洲、诺雅方舟。
参照图2，图2示出了在移动终端上基于输入法进行输入时的界面示意，其中，在向输入框内输入文本、在文本编辑页面下编辑文本等情况下，用户可以在基于输入法进行输入操作，移动终端可以接收用户在输入法下的输入操作。这里，所述输入操作可以是用于在拼写区域输入字符序列的输入操作，通过所述输入法基于拼写区域的字符序列能够生成对应的候选词。作为示例，所述输入操作可以是键盘输入操作、手写输入操作之一。此外，所述输入操作也可以是其他类型的输入操作，本申请实施例对此不作限制。
参照图3，图3示出了在PC终端上基于输入法进行输入时的界面示意，和图2不同的是，图2中用户可以在移动终端的显示界面的虚拟键盘上输入字符串，图3用户可以在物理键盘上进行字符串的输入。
在本申请实施例中，终端设备可以为台式电脑、笔记本电脑、平板电脑、智能手机、智能电视，除此之外，终端设备还可以为车载电脑等其他任意可以部署输入法编辑器的设备。
接下来介绍本申请实施例的应用架构。
参照图4，图4示出了一种自然语言处理系统，该自然语言处理系统包括用户设备(本申请实施例也可以称之为终端设备、智能设备)。其中，用户设备包括手机、个人电脑等终端设备。
在图4所示的系统中，用户设备可以接收用户的指令，例如用户设备可以接收用户输入的一段字符串，使得用户设备针对该字符串执行处理(例如执行音字转换任务)，从而得到针对该一段字符串的对应的处理结果(例如该字符串对应的词句等)。
在本申请实施例中，用户设备可以存储有目标神经网络，并在每次操作系统(operating system，OS)或应用程序(application，APP)调用该模型后，根据目标神经网络执行推理任务(例如上述的音字转换任务)。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例涉及的相关术语及神经网络等相关概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(Deep Neural Network，DNN)，可以理解为具有很多层隐含层的神经网络，这里的“很多”并没有特别的度量标准，我们常说的多层神经网络和深度神经网络其本质上是同一个东西。从DNN按不同层的位置划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
Figure BDA0003424897730000101
其中，/>
Figure BDA0003424897730000102
是输入向量，/>
Figure BDA0003424897730000103
是输出向量，/>
Figure BDA0003424897730000104
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量/>
Figure BDA0003424897730000105
经过如此简单的操作得到输出向量/>
Figure BDA0003424897730000106
由于DNN层数多，则系数W和偏移向量/>
Figure BDA0003424897730000107
的数量也就是很多了。那么，具体的参数在DNN是如何定义的呢？首先我们来看看系数W的定义。以一个三层的DNN为例，如：第二层的第4个神经元到第三层的第2个神经元的线性系数定义为/>
Figure BDA0003424897730000108
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。总结下，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为/>
Figure BDA0003424897730000109
注意，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。
(3)自然语言处理(natural language processing，NLP)
自然语言(natural language)即人类语言，自然语言处理(NLP)就是对人类语言的处理。自然语言处理是以一种智能与高效的方式，对文本数据进行系统化分析、理解与信息提取的过程。通过使用NLP及其组件，我们可以管理非常大块的文本数据，或者执行大量的自动化任务，并且解决各式各样的问题，如自动摘要(automatic summarization)，机器翻译(machine translation，MT)，命名实体识别(named entity recognition，NER)，关系提取(relation extraction，RE)，信息抽取(information extraction，IE)，情感分析，语音识别(speech recognition)，问答系统(question answering)以及主题分割等等。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。
(5)反向传播算法
卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。
(6)输入法首选词：当用户输入字符串的时候，输入法编辑器会提供给用户一个候选列表，该候选列表用于向用户提示词句，排在候选列表第一位的被称为输入法的首选词。
(7)输入法纠错模块：用户在在做输入的时候会存在‘误触现象’，即，意图是按下某个键，但实际上是按下了另一个键，输入法纠错模块是将错误的按键信息纠正为正确的按键信息的模块。
(8)拼音切分模块：输入法用户输入的原始序列是不做分隔的字母序列，拼音切分模块是对输入序列进行切分，形成由完整拼音组成的序列，进一步输送给音字转换模块。
(9)transformer网络结构：一种深度神经网络结构，包含输入层、self-attention层、Feed-forward层、归一化层等子结构。
(10)Bert模型：具有Transformer网络结构的一种模型，并且，在Transformer网络结构的基础上提出了“预训练+微调”的学习范式，设计了Masked Language Model和NextSentence Prediction两个预训练任务。
(11)Ngram模型：一种被广泛应用在汉语输入法任务中的模型。
(12)Bart：用Bert模型作为encoder、用GPT模型作为decoder，并设计多种预训练任务来训练模型，Bart在NLP的理解任务和生成任务上都取得了不错的效果。
(13)零概率问题：在Ngram模型的使用过程中，某些情况下，概率的值会被计算为零，零值的概率会造成很多工程实现方面的问题；例如，因为零概率，无法比较概率之间的大小，只能随机返回结果。
(14)平滑算法(smoothing algorithm)：为了解决Ngram模型的零概率问题而设计的算法，当判断有零概率风险的时候，平滑算法通常采用稳定的、但不准确的低阶Ngram模型概率，通过某种方式来拟合不稳定的、但准确的高阶Ngram模型概率。
(15)维特比Viterbi算法：是一种动态规划算法，用于寻找最有可能产生观测事件序列的维特比路径，或者说是隐含状态序列，特别是在马尔可夫信息源上下文和隐马尔可夫模型中，现常常用于语音识别、关键字识别、计算语言学和生物信息学中；其中，Viterbi算法也可以称为有穷状态转换器(Finite State Transducers，FST)算法。
下面分别对Ngram模型进行具体介绍。
对于一个语言序列(例如：一个词句就是一个词序列)来讲，序列的概率P(w1,w2,……wn)可以分解为条件概率的乘积，如下：P(w1,w2,……wn)＝P(w1)*P(w2|w1)*P(w3|w1,w2)*……P(wn|w1,……wn-1)，其中，w1,w2……wn分别表示序列中的词语，P表示概率。
然而，用统计方法很难准确获得概率P(wn|w1,……wn-1)的值。因此，Ngram模型做了马尔科夫假设，即当前词语的概率仅仅与有限的N个词语相关。当N取不同的值的时候，得到了一系列具体的Ngram模型。例如：当N＝2的时候，当前词语的概率仅仅与过去一个词相关，P(wn|w1,……wn-1)的值退化为P(wn|wn-1)的值，即
Figure BDA0003424897730000121
Figure BDA0003424897730000122
此时的Ngram模型称为Bigram模型；同理，当N＝3的时候，Ngram模型称为Trigram模型；当N＝4的时候，Ngram模型称为Fourgram模型。
在使用过程中，Ngram模型存在一个问题。在应用场景中，某些词语的组合并没有在训练集合中出现，此时Ngram对这些词语组合估计出的概率值为0，在工程上会引发一系列问题。为了避免这种0概率的情况出现，产生了各种平滑算法。
平滑算法可以简单理解为，当Ngram模型的概率是0的时候，将一定的权重与(N-1)gram模型的概率的乘积作为(N)gram模型的概率。
下面以具体的示例对Ngram模型进行说明。
具体地，假设词序列为：诺亚的技术强；词序列的概率可以分解为条件概率的乘积，即P(诺，亚，的，技，术，强)＝P(诺)*P(亚|诺)*P(的|诺，亚)*P(技|诺，亚，的)*P(术|诺，亚，的，技)*P(强|诺，亚，的，技，术)；
在采用N＝2的gram模型后，P(诺，亚，的，技，术，强)＝P(诺|B)*P(亚|诺)*P(的|亚)*P(技|的)*P(术|技)*P(强|术)；
在采用N＝3的gram模型后，P(诺，亚，的，技，术，强)＝P(诺|A，B)*P(亚|诺，B)*P(的|诺，亚)*P(技|诺，亚，的)*P(术|诺，亚，的，技)*P(强|诺，亚，的，技，术)。
需要说明的是，当N＝1时，由于“诺”前面没有其他字，在利用Ngram模型计算的过程中，会自动添加一个字(上述示例采用A表示)作为参考；同样地，当N＝2时，由于“诺”前面没有其他字，在利用Ngram模型计算的过程中，会自动添加两个字(上述示例采用A和B表示)作为参考。
下面对Viterbi算法进行说明。
以拼音输入法为例，如图6所示，最下面一行表示拼音节点，上面四行的节点是与拼音节点对应的汉字，这些汉字组成了用户输入的各种可能性。利用Ngram模型可以计算各个汉字节点的概率，由于汉字节点的概率实际是在前面N个汉字节点出现的情况下的条件概率，因此该概率也可以看成是汉字节点之间的路径转移概率。
例如，当N＝2时，利用Ngram模型可以计算概率P(亚|诺)、P(亚|懦)、P(亚|糯)、P(亚|挪)，这些概率也可以称为“诺”到“亚”的路径转移概率，“懦”到“亚”的路径转移概率，“糯”到“亚”的路径转移概率，“挪”到“亚”的路径转移概率。
对应“nuo”、“ya”、“de”、“ji”、“shu”、“qiang”六个拼音中的每个拼音，汉字的选择均有四种，因此这些汉字组合的数量为4*4*4*4*4*4；利用Viterbi算法和汉字间的路径转移概率，则可以搜索到一条概率最大的节点路径，这条节点路径也可以称为最优路径，具体可以为图6所示的“诺亚的技术强”。
接下来介绍本申请实施例中执行词句生成方法的执行主体的更细节的架构。
下面结合图5对本申请实施例提供的系统架构进行详细的介绍。图5为本申请实施例提供的系统架构示意图。如图5所示，系统架构500包括执行设备510、训练设备520、数据库530、客户设备540、数据存储系统550以及数据采集系统560。
执行设备510包括计算模块511、I/O接口512、预处理模块513和预处理模块514。计算模块511中可以包括目标模型/规则501，预处理模块513和预处理模块514是可选的。
数据采集设备560用于采集训练样本。在本申请实施例中，训练样本可以为对神经网络进行训练时所采用的数据(例如字符串以及对应的词句)。在采集到训练样本之后，数据采集设备560将这些训练样本存入数据库530。
训练设备520可以基于训练样本对神经网络进行训练，以搜索得到目标模型/规则501。本申请实施例中，目标模型/规则501可以为目标神经网络。
需要说明的是，在实际应用中，数据库530中维护的训练样本不一定都来自于数据采集设备560的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备520也不一定完全基于数据库530维护的训练样本进行目标模型/规则501的训练，也有可能从云端或其他地方获取训练样本进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备520训练得到的目标模型/规则501可以应用于不同的系统或设备中，如应用于图5所示的执行设备510，该执行设备510可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备，车载终端等。
具体的，训练设备520可以将目标神经网络传递至执行设备510。
在图5中，执行设备510配置输入/输出(input/output，I/O)接口512，用于与外部设备进行数据交互，用户可以通过客户设备540向I/O接口512输入数据(例如本申请实施例中的目标字符串序列)。
预处理模块513和预处理模块514用于根据I/O接口512接收到的输入数据进行预处理。应理解，可以没有预处理模块513和预处理模块514或者只有的一个预处理模块。当不存在预处理模块513和预处理模块514时，可以直接采用计算模块511对输入数据进行处理。
在执行设备510对输入数据进行预处理，或者在执行设备510的计算模块511执行计算等相关的处理过程中，执行设备510可以调用数据存储系统550中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统550中。
最后，I/O接口512将处理结果(例如本申请实施例中的目标词句)呈现给客户设备540，从而提供给用户。
在图5所示情况下，用户可以手动给定输入数据，该“手动给定输入数据”可以通过I/O接口512提供的界面进行操作。另一种情况下，客户设备540可以自动地向I/O接口512发送输入数据，如果要求客户设备540自动发送输入数据需要获得用户的授权，则用户可以在客户设备540中设置相应权限。用户可以在客户设备540查看执行设备510输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备540也可以作为数据采集端，采集如图所示输入I/O接口512的输入数据及输出I/O接口512的输出结果作为新的样本数据，并存入数据库530。当然，也可以不经过客户设备540进行采集，而是由I/O接口512直接将如图所示输入I/O接口512的输入数据及输出I/O接口512的输出结果，作为新的样本数据存入数据库530。
值得注意的是，图5仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图5中，数据存储系统550相对执行设备510是外部存储器，在其它情况下，也可以将数据存储系统550置于执行设备510中。应理解，上述执行设备510可以部署于客户设备540中。
从模型的推理侧来说：
本申请实施例中，上述执行设备520的计算模块511可以获取到数据存储系统550中存储的代码来实现本申请实施例中的词句生成方法。
本申请实施例中，执行设备520的计算模块511可以包括硬件电路(如专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、通用处理器、数字信号处理器(digital signalprocessing，DSP)、微处理器或微控制器等等)、或这些硬件电路的组合，例如，训练设备520可以为具有执行指令功能的硬件系统，如CPU、DSP等，或者为不具有执行指令功能的硬件系统，如ASIC、FPGA等，或者为上述不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合。
具体的，执行设备520的计算模块511可以为具有执行指令功能的硬件系统，本申请实施例提供的词句生成方法可以为存储在存储器中的软件代码，执行设备520的计算模块511可以从存储器中获取到软件代码，并执行获取到的软件代码来实现本申请实施例提供的词句生成方法。
应理解，执行设备520的计算模块511可以为不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合，本申请实施例提供的词句生成方法的部分步骤还可以通过执行设备520的计算模块511中不具有执行指令功能的硬件系统来实现，这里并不限定。
从模型的训练侧来说：
本申请实施例中，上述训练设备520可以获取到存储器(图5中未示出，可以集成于训练设备520或者与训练设备520分离部署)中存储的代码来实现本申请实施例中和模型训练相关的方法。
本申请实施例中，训练设备520可以包括硬件电路(如专用集成电路(applicationspecific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gatearray，FPGA)、通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器等等)、或这些硬件电路的组合，例如，训练设备520可以为具有执行指令功能的硬件系统，如CPU、DSP等，或者为不具有执行指令功能的硬件系统，如ASIC、FPGA等，或者为上述不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合。
具体的，训练设备520可以为具有执行指令功能的硬件系统，本申请实施例提供的和模型训练相关的方法可以为存储在存储器中的软件代码，训练设备520可以从存储器中获取到软件代码，并执行获取到的软件代码来实现本申请实施例提供的和模型训练相关的方法。
应理解，训练设备520可以为不具有执行指令功能的硬件系统以及具有执行指令功能的硬件系统的组合，本申请实施例提供的和模型训练相关的方法的部分步骤还可以通过训练设备520中不具有执行指令功能的硬件系统来实现，这里并不限定。
在现有的输入法工具中，可以基于用户的字符串输入，生成对应的候选词，并显示在输入法工具的界面中供用户进行选择。参照图7，以字符串为拼音为例，从用户的字符串输入、到输入法产生候选词，输入法软件需要经过三个步骤：
1.纠错
由于用户的原始输入普遍带有一定的错误，输入法软件首先对用户的输入进行纠错。具体的，用户在实际输入的时候，很容易发生‘误触现象’，即意图是按下某个按键、但实际上是按下另一个键。键盘纠错模块是将用户实际输入序列转换成为正确的、符合用户输入意图的输入按键序列。如图7所示，用户实际输入序列是‘nuiyafangzou’，其中的‘nuo’被错误输入为‘nui’(因为在键盘上‘o’和‘i’的距离非常近)，且应该是卷舌音的‘zhou’被错误输入为‘zou’。经过键盘纠错模块之后，该序列被纠正为‘nuoyafangzhou’。
其中，键盘纠错可以是基于规则的方法，即，基于上文输入、当前输入字母、以及邻近字母，判断当前输入字母是否要纠正、以及纠正为什么字母。
2.切分
可以对纠错之后的结果进行拼音切分，将用户输入的字母序列转成拼音序列，拼音切分模块是将用户按键输入序列切分为拼音序列，便于下面音字转换模块处理。拼音是国家官方规定的汉字注音方案，也是使用人数最多的汉字注音方案。在拼音输入法中，用户即是通过拼音的方式来进行汉字输入。
可以将拼音切分问题当做传统的分词问题来解决，采用一些传统的分词算法，如：最大匹配分词算法、基于隐马尔科夫模型的分词算法、等等。
3.音字转换
可以将拼音序列输入到音字转换模块，将拼音序列转成词句(即候选词)，音字转换是将拼音序列转成汉字序列，并最终提示给用户。
现有的解决方案，是针对输入纠错、拼音切分、和音字转换三个问题分别建模，这样的串行建模方式，容易造成错误的级联和放大，即，前面任务的错误会造成后面任务的错误，与后面任务自身的错误一起叠加，造成更大的错误。例如：键盘输入纠错的错误，很大概率会造成拼音切分结果的错误，进一步造成音字转换结果的错误。
为了解决上述问题，本申请实施例提供了一种词句生成方法。
具体地，本申请实施例提供了一种词句生成方法的一个实施例，该实施例可以应用于中文、日文、韩文等多种语言的输入法系统中；该输入法系统可以部署在终端设备中，也可以部署在云服务器中；当输入法系统部署在云服务器中时，该实施例由云服务器执行，并由云服务器将生成目标词句发送至终端设备，以在终端设备上显示。
参照图8，图8为本申请实施例提供的一种词句生成方法的实施例示意，本申请实施例提供的一种词句生成方法可以应用在执行设备中，执行设备可以为手机、平板、笔记本电脑、智能穿戴设备等终端设备，如图8示出的那样，本申请实施例提供的词句生成方法可以包括：
801、获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的。
在一种可能的实现中，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值，例如，阈值可以为64、70、80、90、100、128等。
在本申请实施例中，字符串可以理解为字符的组合，是一种语言信息的载体，用于生成词句；该词句可以是一个词语，也可以是多个词语，一个字也可以成为词语。
上述输入场景可以是中文、日语、汉语等多种语言的输入场景；对应不同种类的语言，字符串的形式不同；以中文为例，字符串可以包括一个拼音或多个拼音，此时，字符串也可以称为拼音串，例如，字符串可以为“nuoyafangzhou”。
用户可以通过输入法工具输入目标字符串序列，进而，终端设备可以获取到用户输入的目标字符串序列。
802、根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句。
在现有的实现中，针对于从输入法工具输入的字符串，需要通过纠错以及分词模块进行预处理，之后才输入到音字转换模型。本申请实施例中，直接将未纠错以及未分词的字符串输入到音字转换模型(例如本申请实施例中的目标神经网络)。可以在训练目标神经网络时，直接采用包含噪声的字符串，进而使得目标神经网络具备纠错的能力，且由于目标字符串序列是通过输入法工具输入得到的，字符的长度不会很长(小于阈值)，在不进行分词的情况下，直接基于原始的字符串，目标神经网络仍然可以得到准确的词句。解决了现有技术中，由于纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。
接下来首先介绍目标神经网路的网络结构：
在一种可能的实现中，所述目标神经网络包括编码器以及解码器，其中，所述编码器或解码器可以为如下模型的一种：LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
在一种可能的实现中，编码器可以理解为一个深度学习网络模型，编码器的网络结构有多种，本申请实施例对此不做具体限定；具体地，编码器的网络结构可以采用Transformer网络的编码器部分的网络结构，或采用由Transformer网络的编码器部分得到的一系列其他网络的网络结构。
以编码器或解码器为bart、以样本字符串为拼音串为例；标准Bart的输入包含三个嵌入embedding层：position embedding、segment embedding和token embedding。其中position embedding用来区分当前token在序列中的不同位置；segment embedding用来区分当前token是在输入的第一个句子中、还是在第二个句子中，为接下来做句子间的预训练任务做准备；token embedding表示当前token的语义。
如图9所示，图9为本申请中拼音bart的一个嵌入向量构建示意，相比标准Bart，首先，拼音Bart的输入token的语义不同。标准bart的输入token是由subword组成的，通常是汉字和常用短词，数量在3万左右。而拼音Bart面向的是键音转换问题，输入的token是键盘上的按键字母，只有26个。第二，相比标准Bart，拼音Bart没有segment token，因为拼音Bart不需要做预训练任务，而是直接在键音转换任务上进行训练。第三，标准Bart的最大输入长度是512个token，可以容纳一般长度的一篇文章，从而可以处理篇章任务；而拼音Bart只处理输入法中的键音转换任务，用户在输入法软件中的输入序列一般比较短，拼音Bart的适用场景限定在较短的输入序列上，最大序列长度设定在64或者32个字母等。综合上面三点因素，拼音Bart的输入层参数远小于标准Bart模型。
在一种可能的实现中，编码器可以根据目标字符串序列得到嵌入向量，其中，编码器可以对目标字符串序列中的每个字符进行处理，以得到每个字符的嵌入向量(或者称之为隐向量)，应理解，可以将编码器的输入和输出的尺寸保持一致。
在一种可能的实现中，解码器可以根据嵌入向量生成所述目标词句，可选的，解码器可以根据嵌入向量得到至少一个词单元以及每个词单元的概率，并结合规划算法得到目标词句。规划算法可以是Ngram模型、维特比Viterbi算法等等，这里并不限定。
在一种可能的实现中，解码器可以根据嵌入向量，依次生成目标词句的字单元，也就是说，靠前生成的字单元在后续生成字单元时被使用(或者描述为被作为输入)，参照图10，目标字符串在序列经过编码器(encoder)编码之后，隐向量可以给到解码器(decoder)(如：将输入‘A-E’编码之后给到解码器)。同时，在decoder端，输入序列逐个token输入(例如输入‘B’)，根据输入token和encoder给过来的隐向量，逐个生成预期结果(例如生成‘C’)。
在一种可能的实现中，解码器可以采用非自回归的并行解码方式，首先，在键音转换问题中，输入的是字母序列、输出的是汉字序列，通常，一个汉字需要由多个字母表示，因此输出汉字序列的长度通常远小于输入的字母序列。因此，在encoder上端增加了‘生成序列长度预测’模块，用来指导生成序列的长度。其次，decoder端从单向Attention(例如GPT模型)改变成Bert模型的双向Attention，以支持并行解码。
在一种可能的实现中，所述目标词句可以包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
在一种可能的实现中，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
本申请实施例中，通过非自回归解码能够大幅提升模型的推理速度、且保持模型的性能不大幅下降。
以Bart模型为例，通过实验，对比Bart模型在自回归解码方法和非自回归解码方法上的推理速度、以及输入性能的差异，结果可以参照表1。
表1
Figure BDA0003424897730000181
标准Bart模型采用自回归解码方法，而拼音Bart采用非自回归解码从而提升推理速度。在上面表格中，用自回归解码模块构造的拼音Bart记为‘拼音Bart-AR’，其中‘AR’是‘auto-regressive(自回归)’的含义。
从准确率上来看，当噪声比较少(1％)的时候，采用非自回归解码的‘拼音Bart’和采用自回归解码的‘拼音Bart-AR’效果差不多，前者只有0.03％的性能损失。然而，从推理速度来看，前者推理每个token(汉字)的速度是1.60ms，而后者是15.66ms，前者比后者提速9.78倍。当噪声比较大(5％)的时候，‘拼音Bart’的准确率下降幅度在扩大，到0.91％，然而依然保持在1％以内，且推理速度依然能够提升超过9倍(9.30倍)。在实际使用过程中，这种1％以内的性能下降通常是可以被接受的，但带来的速度提升的收益非常大——使得模型部署在一些算力受限的设备上成为可能(如：手机、车机)，远超过准确率下降带来的损失。且即便是性能略有损失，但在这种真实输入环境下，模型的准确率依然大幅超越现有输入法的引擎(1％噪声：94.83％vs 66.87％；5％噪声：91.58％vs37.75％)。
在一种可能的实现中，可以根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
参照图11，具体的，目标神经网络在接收到目标字符串序列之后，可以通过编码器对输入序列进行编码；通过字数预测模型来预测目标词句的长度(子单元数量)，解码器可以根据编码器的编码结果，并行生成目标字符串序列对应的初始词句；最后，根据之前预测的子单元数量，对初始词句进行调整(如：截断超出长度的部分)。
在一种可能的实现中，字数预测模型可以为分类模型或者回归模型。
在一种可能的实现中，为了提高目标词句的准确度，还可以通过一个字数预测模型来预测目标词句的子单元数量，并基于子单元数量来对初始词句进行调整。
在一种可能的实现中，由于用户在输入字符时很容易发生‘误触现象’，即意图是按下某个按键、但实际上是按下另一个键，本申请实施例在去除了纠错模型的情况下，为了能够在目标字符串序列为用户出现误触时的输入时，所生成的目标词句仍然是准确的，可以在训练目标神经网络时就采用增加了噪声的训练样本。其中，所谓噪声样本，是指对正确的字符串序列进行修改(例如增加字符、删除字符或者目标字符)之后得到的字符串序列，且将增加噪声前的字符串序列所对应的词句作为标签，以构成噪声训练样本。
例如，正确的字符串为‘nuoyafangzhou’，增加了噪声的字符串为‘nuiyafangzou’，增加噪声前的字符串序列所对应的词句为‘诺亚方舟’。进而，‘nuiyafangzou’和‘诺亚方舟’可以构成噪声训练样本。
通过上述噪声样本对目标神经网络进行训练，可以使得目标神经网络具备纠错能力(也就是对含有噪声的字符串，目标神经网络仍然可以生成正确的词句)。
关于目标神经网络的训练过程以及噪声样本的构建方式将在后续实施例中描述，这里不再赘述。
在一种可能的实现中，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的，所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
应理解，这里的“去噪后的”并不限定为目标神经网络做出了去噪的行为，而是指，从最终生成的目标词句的效果来看，目标词句对应于去噪后的目标字符串序列。
803、将所述目标词句呈现在所述输入法工具的界面中。
在一种可能的实现中，可以将目标词句作为候选词显示在输入法工具的界面中，例如可以将其作为首选词句进行提示，首选词句为输入法提示的多个词句中排在第一位的词句。
例如，可以通过图2或者图3的方式将所述目标词句呈现在所述输入法工具的界面中。
接下来以目标神经网络为拼音Bart为例，结合实验数据介绍本申请实施例的效果。
表2
模型 输入噪声 切分噪声 准确率 ↑/↓
现有引擎 无 无 84.56％ NA
现有引擎 无 有 79.30％ 5.26％↓
现有引擎 有(1％) 有 66.87％ 17.69％↓
现有引擎 有(5％) 有 37.75％ 46.81％↓
拼音Bert 无 无 95.59％ 11.03％↑
拼音Bert 无 有 92.22％ 3.72％↓
拼音Bert 有(1％) 有 82.77％ 12.82↓
拼音Bert 有(5％) 有 56.24％ 39.35↓
拼音Bart 有(1％) 有 94.86％ 27.99％/12.09％↑
拼音Bart 有(5％) 有 92.49％ 54.74％/36.25％↑
‘现有引擎’是复现了现在常用的Bigram语言模型作为引擎，‘拼音Bert’是采用Bert模型架构的现有拼音输入法引擎、‘拼音Bart’是本申请实施例对应的输入法引擎。对于表格中的每一列，表示了模型在不同噪声中的表现。其中，‘输入噪声’是指用户在键盘输入过程中产生的噪声，如：‘woainizhongguo’被错误的输入成为‘woaonizongguo’，在测试集中混入不同比例的噪声，模型也有不同的表现。‘切分噪声’是指拼音切分过程所带来的噪声，本实验采用最大匹配切分方法来对拼音序列进行切分，该算法本身带有的噪声即是拼音切分噪声。表格中的‘准确率’是指基于‘字’的准确率，即，用户每输入100个汉字、输入法给出的正确的汉字的个数。
从上面表格中，首先看‘现有引擎’，当没有输入噪声和切分噪声的时候，模型准确是84.56％；当加入切分噪声的时候，准确率下降5.26％；当进一步加入输入噪声的时候，刑警下降17.69％；当增大噪声比例的时候，输入法引擎的性能大幅下滑46.81％。这说明，现有输入法引擎对于噪声非常敏感，现实中的输入噪声能够极大降低输入法引擎的性能。
接下来，看‘拼音Bert’引擎。当没有任何噪声的时候，拼音Bert引擎取得了95.59％的准确率，相比‘现有引擎’的84.56％提升了11.03％，说明之前提出的拼音Bert引擎性能远好于现有输入法引擎。当加入切分噪声的时候，准确率下降到92.22％，下降了3.72％；当加入输入噪声的时候，准确率进一步下降到82.77％，下降了12.82％，下降的幅度比‘现有引擎’略低；当加大噪声比例，准确率大幅下降到56％，下降了39.35％。这说明，‘拼音Bert’模型的描述能力虽然强，但在噪声环境下，性能也要大打折扣。
最后，本申请实施例所提出的‘拼音Bart’引擎的实验结果。因为本申请实施例把按键纠错过程、拼音切分过程和音字转换过程统一为一个过程，因此不存在没有噪声的情况，实验过程天然会包含用户键盘输入噪声和拼音切分噪声。在这两种噪声环境下，‘拼音Bart’取得了94.68％的准确率，相比相同环境下的‘现有引擎’提升了27.99％，相比相同环境下的‘拼音Bert’引擎提升了12.09％；当加大噪声比例的时候，‘拼音Bart’的性能从之前的94.68％下降到92.49％，仅仅下降2.19％，下降幅度远小于‘现有引擎’和‘拼音Bert’的下降幅度，相比相同情况下的‘现有引擎’，性能提升了54.74％，相比相同环境下的‘拼音Bert’提升了36.25％，提升幅度非常巨大。上述实验表明，本申请实施例提出的方法和拼音Bart模型，能够极大提升输入法在噪声环境下的表现性能。
本申请提供了一种词句生成方法，所述方法包括：获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；将所述目标词句呈现在所述输入法工具的界面中。通过上述方式，将未纠错以及未分词的字符串输入到音字转换模型(例如本申请实施例中的目标神经网络)，解决了现有技术中，由于纠错模型和分词模型对词句的精度的错误叠加影响，提高了词句的生成精度。
参照图12，图12为本申请实施例提供了一种样本构建方法的流程示意，如图12所示，本申请实施例提供的样本构建方法，包括：
1201、获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
在一种可能的实现中，第一字符串序列可以为加噪声前的字符串，例如第一字符串序列可以为‘woainizhongguo’，其对应的正确词句为‘我爱你中国’
在构建样本时，由于字符串序列较难获取到，为了获取到第一字符串序列，可以通过字音转换模块将词句转换为第一字符串序列。字音转换模块将汉字序列，如：‘我爱你中国’，转换成为拼音序列，如：‘wo ai ni zhong guo’，然后合并成为‘woainizhongguo’。字音转换算法的思路一般是先对汉语语料进行分词、然后根据词语对应的拼音，再对语料进行标音。
在一种可能的实现中，第一字符为第一字符串序列中的一个字符。
在一种可能的实现中，第一字符可以为对第一字符串序列的字符进行随机采样(或者其他方式)得到的。第一字符可以作为对第一字符串序列加噪声(具体可以为将第一字符替换成除第一字符之外的其他字符、或者是将第一字符之外的其他字符增加至第一字符之前或之后)的对象。
在一种可能的实现中，可以遍历第一字符串序列，以一定比例(例如：1％)随机执行三种操作：在遍历的当前位置(第一字符所在的位置)增加一个字母、删除一个字母、替换一个字母。
1202、通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征。
其中，目标概率模型可以用于刻画用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率。
在一种可能的实现中，用户在发生误触时，所误触到的不同按键的概率可以不是等同的。其可以和虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征等信息相关。
在一种可能的实现中，虚拟按键的尺寸越大，则其被误触的概率可能越大。例如，用户在按压按键A时，按键A附近包括按键B、按键C以及按键D，按键B的尺寸在大于按键C和按键D的尺寸的情况下，则用户在按压按键A时会误触到按键B的概率更高。
在一种可能的实现中，具有不同虚拟按键的尺寸信息的键盘，可以对应不同的目标概率模型。
在一种可能的实现中，虚拟按键的布局信息可以包括按键在键盘上的排布、按键之间的距离、按键自身的形状等信息，例如，用户在按压按键A时，按键A附近包括按键B、按键C以及按键D，按键B和按键A的距离在小于按键C和按键D和按键A的距离的情况下，则用户在按压按键A时会误触到按键B的概率更高。
在一种可能的实现中，具有不同虚拟按键的布局信息的键盘，可以对应不同的目标概率模型。
在一种可能的实现中，用户的操作习惯可以理解为用户在按压按键时的动作习惯，不同用户的动作习惯可能不同，例如按键A附近包括按键B、按键C以及按键D，用户A在按压按键A时由于操作习惯会更容易按压到把按键B则用户在按压按键A时会误触到按键B的概率更高；又例如操作习惯可以和键盘输入的熟练度有关。
在一种可能的实现中，具有不同操作习惯的用户，可以对应不同的目标概率模型。
在一种可能的实现中，用户的手部结构特征可以理解为用户在按压键盘时的操作手指的结构特征，例如可以为手指和接触面之间的面积大小。手部结构特征可以和用户的年龄有关，针对于相同年龄的用户，基于性别以及个体差异也可能对应不同的手部结构特征。
在一种可能的实现中，具有不同手部结构特征的用户，可以对应不同的目标概率模型。
在一种可能的实现中，所述虚拟按键的尺寸信息可以包括至少一个第二字符的尺寸信息。
在一种可能的实现中，所述虚拟按键的布局信息可以包括至少一个第二字符和第一字符之间的布局特征。
在一种可能的实现中，目标概率模型可以通过对用户的案件点击行为的预先采集来进行构建。示例性的，参照图13，图13为用户进行按键点击时的按压点点云的分布特征图。可以看到，用户在实际输入过程中，点击每个按键的区域和范围都是各不相同的。
在一种可能的实现中，可以获取到样本用户在虚拟键盘上实际输入字符时的按压点点云(或者称之为点击点云、点击位置点云等)，按压点点云可以刻画出用户的操作习惯，其各个按压点的分布还可以和键盘自身的尺寸、布局以及用户的手部特征有关。
在一种可能的实现中，可以基于上述按压点点云，构建目标概率模型，例如可以针对于每个字符构建对应的目标概率模型，每个目标概率模型可以表示在用户在输入该目标概率模型对应的字符时，误触到其他虚拟按键的概率。
针对每个按键的点击位置情况，可以进行建模以构建目标概率模型(例如可以进行高斯建模，以构建高斯模型)。具体来讲，就是针对每个按键，求出点击该按键的各个位置的均值和方差，描述成如下的高斯分布公式：
Figure BDA0003424897730000231
其中，σ可以表示方差，方差越小，代表这组数据越稳定，方差越大，代表这组数据越不稳定。可选的，方差等于各个数据(例如按压点到按键中心点的距离)与其算术平均数的离差平方和的平均数。
其中，μ可以表示均值。可选的，均值等于各个数据(例如按压点到按键中心点的距离)的平均数。
根据上述公式，可以计算出键盘上面任意一个落点的意图是输入当前字母的概率大小。
通过目标概率模型，可以得到用户在输入第一字符时，会误触到其他字符(至少一个第二字符)的概率，进而可以基于该概率对至少一个第二字符进行采样(或者其他方式)，以从至少一个第二字符中确定用于替换第一字符的目标字符。
例如：当前用户的输入意图是字母‘s’，他实际可能误触到字母‘a’、‘d’、‘z’等字母。该概率可以通过如下步骤来获得：先获得误触字母在键盘上的中心位置坐标，如：字母‘a’按键的中心点坐标。接下来，根据该坐标，结合字母‘s’的高斯模型，计算出输入意图是‘s’但是却误触到‘a’的概率。
应理解，本申请实施例中的字符串可以包括至少一个字符(例如英文字母、标点符号等虚拟按键对应的字符)。
本申请实施例中，通过目标概率模型来确定出用于替换第一字符的目标字符，能够更准确的刻画出用户的实际行为，也就是确定出更有可能误触到的字符，进而其得到的加噪声训练样本也就更能反映出实际的用户操作情况，进而，基于该加噪声的训练样本训练得到的目标神经网络也更准确，从而能够增强模型在用户真实输入场景的鲁棒性。
1203、将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
在确定出用于替换第一字符的目标字符后，可以将第一字符串序列中的所述第一字符替换为所述目标字符，或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
参照图14，例如，‘woainizhongguo’的拼音序列可以被加噪成为‘woaonizongguo’(将i替换为o)，结合之前对应的汉字序列‘我爱你中国’，共同组成加噪之后的训练语料。
例如，‘woainizhongguo’的拼音序列可以被加噪成为‘woaoinizongguo’(将o增加至i之前)，结合之前对应的汉字序列‘我爱你中国’，共同组成加噪之后的训练语料。
例如，‘woainizhongguo’的拼音序列可以被加噪成为‘woaionizongguo’(将o增加至i之后)，结合之前对应的汉字序列‘我爱你中国’，共同组成加噪之后的训练语料。
在一种可能的实现中，在得到训练样本后，可以通过训练样本对目标神经网络进行训练，目标神经网络可以为上述实施例中所描述的网络。
具体的，可以根据第二字符串序列以及所述正确词句，对所述目标神经网络进行训练。
接下来描述，对目标神经网络进行训练的过程：
通过上述方式，可以获取到大量包括噪声的训练样本，因此可以不用预训练的方式，而是直接在目标神经网络上进行训练。
此外，可选的，还可以通过字数预测模块进行此举的子单元数量预测，因此，可以除了目标神经网络的训练损失之外，还可以构建字数预测模块的训练损失。
示例性的，目标神经网络实现的键音转换任务是标准的sequence tokenclassification任务，因此可以采用cross entropy loss作为损失函数，cross entropyloss可以为如下形式：
Figure BDA0003424897730000241
其中
Figure BDA0003424897730000243
是模型对输出序列中第i个token的预测值、yi是真实值。
针对于字数预测模块，根据不同的问题转化方式，也有不同的loss选择和设计方式。首先，可以把长度预测也转化成分类问题，如：假设模型最大输出长度是64，则，长度预测模块的输出转化为1到64个类别的分类问题。这样也可以用cross entropy loss进行描述。此外，也可以把长度预测问题转化为回归问题，即模型预测一个实数用来表示长度，此时，用均方误差损失(mean squared error，MSE)来进行描述，损失可以为如下的形式：
Figure BDA0003424897730000242
/>
在一种可能的实现中，在训练的过程中的模型的整体loss由上述两个loss组成，可以通过加权平均的方式进行计算，例如可以为如下的形式如下：
Losstotal＝w1*Lossmse+w2*Losscross entropy；
其中权重w1和w2可以根据经验的方人为指定。对于loss融合的方式，也可以采用现在公开的其它更复杂的方法，如：GradNorm方法。
接下来结合实验结果描述本申请实施例的有益效果。实验结果可以如下表所示：
表3
模型 输入噪声 切分噪声 准确率 ↑/↓
拼音Bart(均匀噪声) 有(1％) 有 92.57％ ---
拼音Bart(均匀噪声) 有(5％) 有 87.00％ ---
拼音Bart(真实噪声) 有(1％) 有 94.86％ 2.29％↑
拼音Bart(真实噪声) 有(5％) 有 92.49％ 5.49％↑
从上面表格中的实验数据可以看到，利用均匀噪声的训练语料训练出来的拼音Bart模型，其准确率低于用真实用户输入噪声的训练语料训练出来的模型。而且当噪声程度加大的时候，其性能下降的趋势更加明显。以上结果说明了，本发明生成带噪声的极大规模训练语料，能够充分反映用户真实输入场景的噪声情况，在此基础上训练的模型具有更强的鲁棒性。
本申请提供了一种样本构建方法，所述方法包括：获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。本申请实施例中，通过目标概率模型来确定出用于替换第一字符的目标字符，能够更准确的刻画出用户的实际行为，也就是确定出更有可能误触到的字符，进而其得到的加噪声训练样本也就更能反映出实际的用户操作情况，进而，基于该加噪声的训练样本训练得到的目标神经网络也更准确，从而能够增强模型在用户真实输入场景的鲁棒性。
参照图15，图15为本申请实施例提供的一种词句生成装置的结构示意，如图15所示，本申请提供的词句生成装置1500，包括：
获取模块1501，用于获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；
其中，关于获取模块1501的描述，可以参照上述实施例中步骤801的描述，这里不再赘述。
词句生成模块1502，用于根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；
其中，关于词句生成模块1502的描述，可以参照上述实施例中步骤802的描述，这里不再赘述。
呈现模块1503，用于将所述目标词句呈现在所述输入法工具的界面中。
其中，关于呈现模块1503的描述，可以参照上述实施例中步骤803的描述，这里不再赘述。
在一种可能的实现中，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值。
在一种可能的实现中，所述目标词句包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
在一种可能的实现中，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
在一种可能的实现中，所述装置还包括：
字数预测模块，用于根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；
所述词句生成模块，具体用于：
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；
根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
在一种可能的实现中，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的；
所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
在一种可能的实现中，所述编码器或解码器为如下模型的一种：
LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
参照图16，图16为本申请实施例提供的一种样本构建装置的结构示意，如图16所示，本申请实施例提供的样本构建装置1600，可以包括：
获取模块1601，用于获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
其中，关于获取模块1601的描述，可以参照上述实施例中步骤1201的描述，这里不再赘述。
字符替换模块1602，用于通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：
所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；
将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
其中，关于字符替换模块1602的描述，可以参照上述实施例中步骤1202以及1203的描述，这里不再赘述。
在一种可能的实现中，所述目标概率模型为高斯概率模型。
在一种可能的实现中，所述装置还包括：
训练模块，用于根据第二字符串序列以及所述正确词句，对所述目标神经网络进行训练。
接下来介绍本申请实施例提供的一种执行设备，请参阅图17，图17为本申请实施例提供的执行设备的一种结构示意图，执行设备1700具体可以表现为虚拟现实VR设备、手机、平板、笔记本电脑、智能穿戴设备或服务器等，此处不做限定。具体的，执行设备1700包括：接收器1701、发射器1702、处理器1703和存储器1704(其中执行设备1700中的处理器1703的数量可以一个或多个，图17中以一个处理器为例)，其中，处理器1703可以包括应用处理器17031和通信处理器17032。在本申请的一些实施例中，接收器1701、发射器1702、处理器1703和存储器1704可通过总线或其它方式连接。
存储器1704可以包括只读存储器和随机存取存储器，并向处理器1703提供指令和数据。存储器1704的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1704存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1703控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1703中，或者由处理器1703实现。处理器1703可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1703中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1703可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1703可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1704，处理器1703读取存储器1704中的信息，结合其硬件完成上述方法的步骤。
接收器1701可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1702可用于输出数字或字符信息；发射器1702还可用于向磁盘组发送指令，以修改磁盘组中的数据。
本申请实施例中，在一种情况下，处理器1703，用于执行上述实施例中执行设备执行的词句生成方法以及样本构建方法(例如通过目标神经网络的进行模型推理的步骤)。
本申请实施例还提供了一种训练设备，请参阅图18，图18是本申请实施例提供的训练设备一种结构示意图，具体的，训练设备1800由一个或多个服务器实现，训练设备1800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1818(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1818可以设置为与存储介质1830通信，在训练设备1800上执行存储介质1830中的一系列指令操作。
训练设备1800还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858；或，一个或一个以上操作系统1841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本申请实施例中，中央处理器1818，用于执行上述实施例中和模型训练相关的步骤。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述执行设备所执行的步骤，或者，使得计算机执行如前述训练设备所执行的步骤。
本申请实施例提供的执行设备、训练设备或终端设备具体可以为芯片，芯片包括：处理单元和通信单元，该处理单元例如可以是处理器，该通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述实施例描述的数据处理方法，或者，以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地，该存储单元为该芯片内的存储单元，如寄存器、缓存等，该存储单元还可以是该无线接入设备端内的位于该芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体的，请参阅图19，图19为本申请实施例提供的芯片的一种结构示意图，该芯片可以表现为神经网络处理器NPU 1900，NPU 1900作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1903，通过控制器1904控制运算电路1903提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1903内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路1903是二维脉动阵列。运算电路1903还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1903是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1902中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1901中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1908中。
统一存储器1906用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)1905，DMAC被搬运到权重存储器1902中。输入数据也通过DMAC被搬运到统一存储器1906中。
BIU为Bus Interface Unit即，总线接口单元1910，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)1909的交互。
总线接口单元1910(Bus Interface Unit，简称BIU)，用于取指存储器1909从外部存储器获取指令，还用于存储单元访问控制器1905从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1906或将权重数据搬运到权重存储器1902中或将输入数据数据搬运到输入存储器1901中。
向量计算单元1907包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1907能将经处理的输出的向量存储到统一存储器1906。例如，向量计算单元1907可以将线性函数；或，非线性函数应用到运算电路1903的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1907生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1903的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1904连接的取指存储器(instruction fetch buffer)1909，用于存储控制器1904使用的指令；
统一存储器1906，输入存储器1901，权重存储器1902以及取指存储器1909均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (23)

1.一种词句生成方法，其特征在于，所述方法包括：
获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；
将所述目标词句呈现在所述输入法工具的界面中。
2.根据权利要求1所述的方法，其特征在于，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值。
3.根据权利要求1或2所述的方法，其特征在于，所述目标词句包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
4.根据权利要求1至3任一所述的方法，其特征在于，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；
所述根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，包括：
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；
根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
6.根据权利要求1至5任一所述的方法，其特征在于，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的；
所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
7.根据权利要求1至6任一所述的方法，其特征在于，所述编码器或解码器为如下模型的一种：
LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
8.一种样本构建方法，其特征在于，所述方法包括：
获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：
所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；
将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
9.根据权利要求8所述的方法，其特征在于，所述目标概率模型为高斯概率模型。
10.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：
获取样本用户输入字符时在虚拟键盘上的按压点点云；
根据所述按压点点云，构建所述目标概率模型。
11.一种词句生成装置，其特征在于，所述装置包括：
获取模块，用于获取目标字符串序列，所述目标字符串为用户在输入法工具中输入的；
词句生成模块，用于根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的目标词句，其中，所述目标神经网络包括编码器以及解码器，所述编码器用于根据所述目标字符串序列得到嵌入向量，所述解码器用于根据所述嵌入向量生成所述目标词句，所述目标神经网络为通过训练样本训练得到的，所述训练样本包括字符串序列以及对应的词句；
呈现模块，用于将所述目标词句呈现在所述输入法工具的界面中。
12.根据权利要求11所述的装置，其特征在于，所述目标字符串序列的字符数量小于阈值，所述阈值为小于或等于128的数值。
13.根据权利要求11或12所述的装置，其特征在于，所述目标词句包括第一字单元和第二字单元，所述第一字单元在所述目标词句中的位置相比所述第二字单元更靠前，所述解码器具体用于：在不依赖于所述第一字单元已经生成的情况下，根据所述目标字符串序列，生成所述第二字单元。
14.根据权利要求11至13任一所述的装置，其特征在于，所述解码器具体用于：根据所述目标字符串序列，并行生成所述第一字单元和所述第二字单元。
15.根据权利要求11至14任一所述的装置，其特征在于，所述装置还包括：
字数预测模块，用于根据所述目标字符串序列，通过字数预测模型，预测所述目标词句的字单元数量；
所述词句生成模块，具体用于：
根据所述目标字符串序列，通过目标神经网络，生成所述目标字符串序列对应的初始词句；
根据所述字单元数量，对所述初始词句进行截取，得到所述目标词句。
16.根据权利要求11至15任一所述的装置，其特征在于，所述目标字符串序列为包含噪声的字符串序列，所述噪声为用户在输入法工具中的误输入所导致的；
所述目标词句为去噪声后的所述目标字符串序列所对应的正确词句。
17.根据权利要求11至16任一所述的装置，其特征在于，所述编码器或解码器为如下模型的一种：
LSTM、GRU、SRU、bert、roberta、spanbert、xlnet、GPT、nezha、mass、bart、mbart、albert、structbert、ernie、knowbert、k-bert、tinybert。
18.一种样本构建装置，其特征在于，所述装置包括：
获取模块，用于获取第一字符串序列以及对应的词句，所述第一字符串序列包括第一字符；
字符替换模块，用于通过目标概率模型，从至少一个第二字符中确定所述第一字符对应的目标字符，其中，所述目标概率模型表示用户在虚拟键盘上输入所述第一字符时，误触到所述至少一个第二字符中每个第二字符对应的虚拟按键的概率，所述概率与如下的至少一种有关：
所述虚拟按键的尺寸信息、所述虚拟按键的布局信息、所述用户的操作习惯或所述用户的手部结构特征；
将所述第一字符串序列中的所述第一字符替换为所述目标字符、或者将所述第一字符增加至所述目标字符之前或之后，以得到第二字符串序列，所述第二字符串序列和所述词句用于作为目标神经网络的训练样本，所述目标神经网络用于根据字符串序列生成对应的词句。
19.根据权利要求18所述的装置，其特征在于，所述目标概率模型为高斯概率模型。
20.根据权利要求18或19所述的装置，其特征在于，所述获取模块，还用于：
获取样本用户输入字符时在虚拟键盘上的按压点点云；
根据所述按压点点云，构建所述目标概率模型。
21.一种数据处理装置，其特征在于，所述装置包括存储器和处理器；所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至10任一所述的方法。
22.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行权利要求1至10任一项所述的方法。
23.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机设备上运行时，使得所述计算机设备执行如权利要求1至10任一所述的方法。
CN202111576377.8A 2021-12-21 2021-12-21 一种词句生成方法及相关设备 Pending CN116306612A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111576377.8A CN116306612A (zh) 2021-12-21 2021-12-21 一种词句生成方法及相关设备
PCT/CN2022/139629 WO2023116572A1 (zh) 2021-12-21 2022-12-16 一种词句生成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576377.8A CN116306612A (zh) 2021-12-21 2021-12-21 一种词句生成方法及相关设备

Publications (1)

Publication Number Publication Date
CN116306612A true CN116306612A (zh) 2023-06-23

Family

ID=86831040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576377.8A Pending CN116306612A (zh) 2021-12-21 2021-12-21 一种词句生成方法及相关设备

Country Status (2)

Country Link
CN (1) CN116306612A (zh)
WO (1) WO2023116572A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757254A (zh) * 2023-08-16 2023-09-15 阿里巴巴（中国）有限公司 任务处理方法、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013007210A1 (zh) * 2011-07-14 2013-01-17 腾讯科技（深圳）有限公司 文字输入方法、装置及系统
CN112015279B (zh) * 2019-05-28 2024-02-13 北京搜狗科技发展有限公司 按键误触纠错方法及装置
CN112988962B (zh) * 2021-02-19 2024-05-28 平安科技（深圳）有限公司 文本纠错方法、装置、电子设备及存储介质
CN113468895B (zh) * 2021-05-28 2023-08-15 沈阳雅译网络技术有限公司 一种基于解码器输入增强的非自回归神经机器翻译方法
CN113553864B (zh) * 2021-06-30 2023-04-07 北京百度网讯科技有限公司 翻译模型的训练方法、装置、电子设备及存储介质
CN113655893B (zh) * 2021-07-08 2024-06-18 华为技术有限公司 一种词句生成方法、模型训练方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757254A (zh) * 2023-08-16 2023-09-15 阿里巴巴（中国）有限公司 任务处理方法、电子设备及存储介质
CN116757254B (zh) * 2023-08-16 2023-11-14 阿里巴巴（中国）有限公司 任务处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023116572A1 (zh) 2023-06-29

Similar Documents

Publication Publication Date Title
CN112487182B (zh) 文本处理模型的训练方法、文本处理方法及装置
WO2022007823A1 (zh) 一种文本数据处理方法及装置
WO2021233112A1 (zh) 基于多模态机器学习的翻译方法、装置、设备及存储介质
CN107836000B (zh) 用于语言建模和预测的改进的人工神经网络方法、电子设备
US10509864B2 (en) Language model translation and training method and apparatus
CN109887484B (zh) 一种基于对偶学习的语音识别与语音合成方法及装置
CN107729313B (zh) 基于深度神经网络的多音字读音的判别方法和装置
US20200143191A1 (en) Method, apparatus and storage medium for recognizing character
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
WO2021135457A1 (zh) 基于循环神经网络的情绪识别方法、装置及存储介质
CN107993651B (zh) 一种语音识别方法、装置、电子设备及存储介质
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
JP7178394B2 (ja) 音声信号を処理するための方法、装置、機器、および媒体
US20240152770A1 (en) Neural network search method and related device
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN116432019A (zh) 一种数据处理方法及相关设备
CN111241820A (zh) 不良用语识别方法、装置、电子装置及存储介质
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
WO2023116572A1 (zh) 一种词句生成方法及相关设备
WO2021129411A1 (zh) 文本处理方法及装置
CN113609873A (zh) 翻译模型训练方法、装置及介质
CN112818096A (zh) 对话生成方法及其装置
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN115357710B (zh) 表格描述文本生成模型的训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination