CN116205232B - 一种确定目标模型的方法、装置、存储介质及设备 - Google Patents

一种确定目标模型的方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN116205232B
CN116205232B CN202310212123.0A CN202310212123A CN116205232B CN 116205232 B CN116205232 B CN 116205232B CN 202310212123 A CN202310212123 A CN 202310212123A CN 116205232 B CN116205232 B CN 116205232B
Authority
CN
China
Prior art keywords
training sample
model
module
code
undetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310212123.0A
Other languages
English (en)
Other versions
CN116205232A (zh
Inventor
王宏升
陈�光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310212123.0A priority Critical patent/CN116205232B/zh
Publication of CN116205232A publication Critical patent/CN116205232A/zh
Application granted granted Critical
Publication of CN116205232B publication Critical patent/CN116205232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本说明书公开了一种确定目标模型的方法、装置、存储介质及设备，通过获取结构不完全相同的各待定模型构建强化学习的搜索空间，并将从搜索空间中确定作为目标模型的待定模型的操作作为动作，根据执行该动作后得到的目标模型的结构确定状态。并且可通过训练得到的目标模型输出训练样本的预测结果，以根据预测结果确定奖励值。之后则可继续根据搜索空间中剩余的待定模型重新确定作为目标模型的待定模型，并训练重新得到的目标模型以重新确定奖励值。可根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的目标模型的结构更新状态，直至遍历各待定模型为止，根据最终确定出的状态，确定出最优的目标模型的结构。

Description

一种确定目标模型的方法、装置、存储介质及设备
技术领域
本说明书涉及机器学习技术领域，尤其涉及一种确定目标模型的方法、装置、存储介质及设备。
背景技术
机器学习模型的结构对训练得到的机器学习模型性能有极大的影响。因此，合理确定机器学习模型的结构，以训练得到用于执行指定任务的目标模型，为机器学习领域的热点问题。
为了得到合理的目标模型，本说明书提供了一种确定目标模型的方法。
发明内容
本说明书提供一种确定目标模型的方法、装置、存储介质及设备，以至少部分的解决上述存在的问题。
本说明书采用下述技术方案：
本说明书提供了一种确定目标模型的方法，包括：
获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间；
将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态；
获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值；
继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值；
根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构。
可选地，所述各待定模型为命名实体识别模型；
获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，具体包括：
获取文本，并将所述文本拆分为各语句；
针对每个语句，将该语句作为一个训练样本，并将该语句中各实体的标注，作为所述训练样本的标注；
针对每个训练样本，将该训练样本输入所述目标模型，得到所述目标模型输出的预测结果；
根据该训练样本的标注与所述预测结果的差异，确定该训练样本的损失；
根据各训练样本的损失，对所述目标模型进行训练。
可选地，所述各待定模型为命名实体识别模型；所述训练样本为语句；所述各待定模型皆由第一模块以及第二模块构成；所述第一模块包括位置编码模块以及语义编码模块；
通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值，具体包括：
确定所述训练样本的各词元；
将所述各词元输入训练得到的所述目标模型的语义编码模块，确定所述训练样本的嵌入编码；
根据所述训练样本中各词元在所述训练样本中的位置，确定所述训练样本中各词元的位置索引值，并将所述训练样本的各位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
根据所述嵌入编码以及所述位置编码，确定所述训练样本的输入编码，并将所述输入编码输入所述目标模型的第二模块；
将所述第二模块输出的所述训练样本中各字符属于预设的各标签类型的分值，作为预测结果，并根据所述预测结果确定奖励值。
可选地，所述各待定模型对输入数据的位置编码方式不同；所述各待定模型至少包括：字符位置编码的待定模型、字词统一位置编码的待定模型、字与词分别位置编码的待定模型、字与字词分别位置编码的待定模型、字词与字分别位置编码的待定模型，以及字词与词分别位置编码的待定模型中的部分；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，所述语义编码模块包括第一语义模块以及第二语义模块，所述位置编码模块包括第一位置模块以及第二位置模块；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，所述语义编码模块包括第三语义模块以及第四语义模块，所述位置编码模块包括第三位置模块以及第四位置模块；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，所述语义编码模块包括第五语义模块以及第六语义模块，所述位置编码模块包括第五位置模块以及第六位置模块；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，所述语义编码模块包括第七语义模块以及第八语义模块，所述位置编码模块包括第七位置模块以及第八位置模块。
可选地，确定所述训练样本的各词元，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，作为所述训练样本的各词元；
当作为所述目标模型的待定模型为任意剩余的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，并将所述训练样本以词汇为单位切分，得到所述训练样本的各词汇词元，以将所述训练样本的各字符词元以及各词汇词元，作为所述训练样本的各词元。
可选地，将所述各词元输入训练得到的所述目标模型的语义编码模块，确定所述训练样本的嵌入编码，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元输入训练得到的所述目标模型的语义编码模块，得到所述各字符词元对应的嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元输入训练得到的所述目标模型的语义编码模块，得到所述各词汇词元对应的嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第一词元组输入所述第一语义模块，得到所述训练样本的第一嵌入编码，并将所述训练样本的各词汇词元作为第二词元组输入所述第二语义模块，得到所述训练样本的第二嵌入编码，并将所述第一嵌入编码与所述第二嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第三词元组输入所述第三语义模块，得到所述训练样本的第三嵌入编码，并将所述训练样本的各字符词元以及各词汇词元作为第四词元组输入所述第四语义模块，得到所述训练样本的第四嵌入编码，并将所述第三嵌入编码与所述第四嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第五词元组输入所述第五语义模块，得到所述训练样本的第五嵌入编码，并将所述训练样本的各字符词元作为第六词元组输入所述第六语义模块，得到所述训练样本的第六嵌入编码，并将所述第五嵌入编码与所述第六嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第七词元组输入所述第七语义模块，得到所述训练样本的第七嵌入编码，并将所述训练样本的各词汇词元作为第八词元组输入所述第八语义模块，得到所述训练样本的第八嵌入编码，并将所述第七嵌入编码与所述第八嵌入编码，作为所述训练样本的嵌入编码。
可选地，将所述训练样本的各位置索引值输入所述位置编码模块，得到所述训练样本的位置编码，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一词元组的位置索引值输入所述第一位置模块，得到所述训练样本的第一位置编码，并将所述训练样本的第二词元组的位置索引值输入所述第二位置模块，得到所述训练样本的第二位置编码，并将所述第一位置编码与所述第二位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三词元组的位置索引值输入所述第三位置模块，得到所述训练样本的第三位置编码，并将所述训练样本的第四词元组的位置索引值输入所述第四位置模块，得到所述训练样本的第四位置编码，并将所述第三位置编码与所述第四位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五词元组的位置索引值输入所述第五位置模块，得到所述训练样本的第五位置编码，并将所述训练样本的第六词元组的位置索引值输入所述第六位置模块，得到所述训练样本的第六位置编码，并将所述第五位置编码与所述第六位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七词元组的位置索引值输入所述第七位置模块，得到所述训练样本的第七位置编码，并将所述训练样本的第八词元组的位置索引值输入所述第八位置模块，得到所述训练样本的第八位置编码，并将所述第七位置编码与所述第八位置编码，作为所述训练样本的位置编码。
可选地，根据所述嵌入编码以及所述位置编码，确定所述训练样本的输入编码，具体包括：
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，根据所述训练样本的第一位置编码与第一嵌入编码，确定第一输入编码，并根据所述训练样本的第二位置编码与第二嵌入编码，确定第二输入编码，并将所述第一输入编码与所述第二输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，根据所述训练样本的第三位置编码与第三嵌入编码，确定第三输入编码，并根据所述训练样本的第四位置编码与第四嵌入编码，确定第四输入编码，并将所述第三输入编码与所述第四输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，根据所述训练样本的第五位置编码与第五嵌入编码，确定第五输入编码，并根据所述训练样本的第六位置编码与第六嵌入编码，确定第六输入编码，并将所述第五输入编码与所述第六输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，根据所述训练样本的第七位置编码与第七嵌入编码，确定第七输入编码，并根据所述训练样本的第八位置编码与第八嵌入编码，确定第八输入编码，并将所述第七输入编码与所述第八输入编码，作为所述训练样本的输入编码。
可选地，所述各待定模型的第二模块皆由第一子模块与第二子模块构成；所述各待定模型的第一子模块皆由注意力层构成，所述各待定模型的第二子模块不完全相同；
将所述输入编码输入所述目标模型的第二模块，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数以及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数以及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一输入编码与第二输入编码输入所述目标模型的第一子模块，根据所述第一输入编码与所述第一子模块对应的查询参数、所述训练样本的第二输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第一输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三输入编码与第四输入编码输入所述目标模型的第一子模块，根据所述第三输入编码与所述第一子模块对应的查询参数、所述训练样本的第四输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第三输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五输入编码与第六输入编码输入所述目标模型的第一子模块，根据所述第五输入编码与所述第一子模块对应的查询参数、所述训练样本的第六输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述五输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七输入编码与第八输入编码输入所述目标模型的第一子模块，根据所述第七输入编码与所述第一子模块对应的查询参数、所述训练样本的第八输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第七输入编码，输入所述第二子模块。
可选地，根据最终确定出的状态，确定所述目标模型的结构之后，所述方法还包括：
将最终得到的目标模型，作为待训练模型；
根据所述训练样本及其标注，对所述待训练模型进行训练。
本说明书提供了一种确定目标模型的装置，包括：
获取模块，用于获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间；
确定模块，用于将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态；
奖励模块，用于获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值；
迭代模块，用于继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值；
结构确定模块，用于根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述确定目标模型的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述确定目标模型的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在上述确定目标模型的方法中，通过获取结构不完全相同的各待定模型构建强化学习的搜索空间，并将从搜索空间中确定作为目标模型的待定模型的操作作为动作，根据执行该动作后得到的目标模型的结构确定状态。并且可通过训练得到的目标模型输出训练样本的预测结果，以根据预测结果确定奖励值。之后则可继续根据搜索空间中剩余的待定模型重新确定作为目标模型的待定模型，并训练重新得到的目标模型以重新确定奖励值。可根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的目标模型的结构更新状态，直至遍历各待定模型为止，根据最终确定出的状态，确定出最优的目标模型的结构。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种确定目标模型的方法的流程示意图；
图2为本说明书提供的一种字符位置编码的待定模型的示意图；
图3为本说明书提供的一种字词统一位置编码的待定模型的示意图；
图4为本说明书提供的一种字与词分别位置编码的待定模型的示意图；
图5为本说明书提供的一种字与字词分别位置编码的待定模型的示意图；
图6为本说明书提供的一种字词与字分别位置编码的待定模型的示意图；
图7为本说明书提供的一种字词与词分别位置编码的待定模型的示意图；
图8为本说明书提供的一种字符位置编码的待定模型的示意图；
图9为本说明书提供的一种字词统一位置编码的待定模型的示意图；
图10为本说明书提供的一种字与词分别位置编码的待定模型的示意图；
图11为本说明书提供的一种字与字词分别位置编码的待定模型的示意图；
图12为本说明书提供的一种字词与字分别位置编码的待定模型的示意图；
图13为本说明书提供的一种字词与词分别位置编码的待定模型的示意图；
图14～19为本说明书提供的待定模型的示意图；
图20为本说明书中提供的一种确定目标模型的装置示意图；
图21为本说明书中提供的一种电子设备的示意图。
具体实施方式
为了确定出合理准确的目标模型，本说明书提供了一种确定目标模型的方法。
在本说明书中，预先配置强化学习的搜索空间、强化学习的动作的定义、状态的定义、奖励值函数等用于通过强化学习确定模型结构的基础数据。
其中，强化学习的搜索空间包括作为目标模型的候选的各待定模型。将从搜索空间中确定作为目标模型的待定模型的操作，作为动作。并根据执行动作后目标模型的结构，确定状态。奖励值函数用于根据目标模型的输出确定对应待定模型的奖励值。
基于配置结果，通过该确定目标模型的方法，可采用强化学习的方式进行驱动，以自动迭代地从作为候选的各待定模型中搜索作为目标模型的待定模型，以分别确定作为候选的各待定模型的奖励值，并基于确定出的奖励值，从搜索空间中搜索得到最优的目标模型的结构。
在本说明书中，对目标模型的类型不做限制。例如，目标模型可以是分类模型、命名实体识别模型、词性标注模型等模型，本说明书在此不一一列举。
即，本说明书提供的确定目标模型的方法可应用于分类任务、序列标注任务等等，本说明书在此不做限制。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种确定目标模型的方法的流程示意图，具体包括以下步骤：
S100：获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间。
该确定目标模型的方法可由电子设备执行，例如，该电子设备可以是服务器。具体可由该电子设备中作为智能体的程序执行。后续以服务器作为执行主体进行说明。
首先，该服务器可获取预先确定的结构不完全相同各待定模型，并根据各待定模型，构建强化学习的搜索空间。
在本说明书中，在确定目标模型的过程中，不改变待定模型的结构。
S102：将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态。
确定出搜索空间之后，该服务器即可将从搜索空间中确定作为目标模型的待定模型的操作，作为动作。
当该服务器执行了从搜索空间中确定作为目标模型的待定模型的动作之后，目标模型的结构即执行的动作对应的待定模型的结构。
该服务器可根据执行动作后得到的目标模型的结构，确定状态。
S104：获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值。
并且，如上所述本说明书中根据作为目标模型的待定模型的输出，确定该待定模型的奖励值(同样是该待定模型对应的目标模型的结构的奖励值)。为了使得确定出的奖励值足够准确，可先对当前的目标模型进行训练，即对作为目标模型的待定模型进行训练。
因此，该服务器可获取训练样本及该训练样本的标注，以对当前的目标模型进行训练。
在对当前的目标模型训练完成后，即可通过训练得到的目标模型输出训练样本的预测结果，以根据该预测结果确定奖励值。
即，将训练样本输入训练得到的目标模型，得到训练样本的预测结果，并根据该预测结果，确定作为目标模型的待定模型对应的奖励值。
S106：继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值。
为了分别确定各待定模型对应的奖励值，该服务器可继续根据搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的目标模型，以重新确定奖励值。
S108：根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构。
在重新确定奖励值之后，该服务器即可根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的目标模型的结构，更新状态，直至遍历各待定模型为止，根据最终确定出的状态，确定目标模型的结构。则最终确定出的状态对应的目标模型，为从各待定模型中确定出的结构最佳的待定模型。
在本说明书一个或多个实施例中，该服务器可依次针对搜索空间中每个待定模型，将该待定模型作为目标模型，并将已遍历的待定模型中，最高的奖励值对应的待定模型的结构作为目标模型的结构，得到状态。
另外，在本说明书一个或多个实施例中，可将每从搜索空间中确定一个待定模型作为目标模型到确定该目标模型的奖励值的过程，作为一个迭代步。
即，在第一个迭代步，该服务器可先将搜索空间中首个待定模型作为目标模型，并确定该首个待定模型的奖励值。之后，在第二个迭代步，再重新从搜索空间剩余的待定模型中确定首个待定模型作为目标模型，并确定重新确定的首个待定模型的奖励值。在得到两个奖励值后，则可确定出更高的奖励值。
当第一个迭代步对应的奖励值更高时，则状态保持为该第一个迭代步对应的待定模型的结构，直至迭代得到比该第一个迭代步对应的待定模型对应的奖励值更高的待定模型时，将状态更新为更高的奖励值对应的待定模型的结构。当第二个迭代步对应的奖励值更高时，则可将状态更新为第二个迭代步对应的待定模型的结构，直至迭代得到比第二个迭代步对应的待定模型对应的奖励值更高的待定模型时，将状态更新为更高的奖励值对应的待定模型的结构……如此迭代，在迭代结束前，状态为已迭代的各待定模型中对应的奖励值最高的待定模型的结构，直至遍历所有待定模型后，可确定出所有待定模型中最高的奖励值对应的待定模型，则状态为所有待定模型中，奖励值最高的待定模型。
即，在本说明书中，并非将执行动作后得到的目标模型的结构作为状态，而是在执行动作后，将执行动作得到目标模型的结构对应的奖励值，以及历史上执行动作得到的目标模型的结构对应的奖励值中，最高的奖励值对应的目标模型的结构，作为状态。
基于图1所示的方法，通过获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间，并将从搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行该动作后得到的目标模型的结构，确定状态。并且，可获取训练样本及训练样本的标注，以对目标模型进行训练，并通过训练得到的目标模型，输出训练样本的预测结果，以根据预测结果确定奖励值。之后则可继续根据搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的目标模型，以重新确定奖励值。然后可根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的目标模型的结构，更新状态，直至遍历各待定模型为止，根据最终确定出的状态，确定目标模型的结构。
从上述方法中可以看出，本方法能够自动对强化学习的搜索空间中结构不完全相同的各待定模型进行搜索，并确定得到的待定模型的奖励值，以基于各待定模型的奖励值，自动确定最优的待定模型，并根据最优的待定模型，确定目标模型的最优结构。
另外，如上所述，该目标模型可以是命名实体识别模型。因此，在本说明书一个或多个实施例中，各待定模型可为命名实体识别模型。
在步骤S104中获取训练样本及训练样本的标注，以对目标模型进行训练时，该服务器可先获取文本，并将该文本拆分为各语句。
之后，该服务器则可针对每个语句，将该语句作为一个训练样本，并将该语句中各实体的标注，作为该训练样本的标注。
然后，该服务器则可针对每个训练样本，将该训练样本输入目标模型，得到目标模型输出的预测结果。并根据该训练样本的标注与预测结果的差异，确定该训练样本的损失。以根据各训练样本的损失，对该目标模型进行训练。
在本说明书一个或多个实施例中，该目标模型可输出训练样本中每个字符属于预设的各标签类型的分值。在得到该训练样本中每个字符属于预设的各标签类型的分值后，该服务器可针对训练样本中每个字符，将目标模型输出的该字符对应的各分值中，最高分值对应的标签类型，作为该字符对应的分类结果。并将该训练样本中各字符对应的分类结果，作为该训练样本的预测结果。
其中，该文本对应的语句以及标注可以是基于标注工具确定的。
在本说明书一个或多个实施例中，对标注方式不做限制。例如，可以是四位序列标注法(Begin Middle End Single，BMES)、三位序列标注法(Begin Inside Outside，BIO)、五位序列标注法(Begin Inside Outside End Single，BIOES)等标注方式，具体可根据需要设置。
当然，上述标注法仅用于标注字符是否属于实体，以及标注实体的边界(即，实体中字符处于实体中的开始、中间还是结束等)。除此以外，还可包括对字符属于的实体类型的标注。以语句是“祝愿亚运会顺利举办”，采用BMES标注法为例，对于实体亚运会，假设其对应的标签类型是运动会。则该实体中的字符“亚”其标注可以是B-运动会，字符“运”的标注可以是M-运动会，字符“会”的标注可以是E-运动会。
在本说明书一个或多个实施例中，在各待定模型为命名实体识别模型，训练样本为语句时，各待定模型皆可由第一模块以及第二模块构成。该第一模块可包括位置编码模块以及语义编码模块。
在步骤S104通过训练得到的目标模型，输出训练样本的预测结果，以根据该预测结果确定奖励值时，该服务器可确定该训练样本的各词元(token)，并将各词元输入训练得到的目标模型的语义编码模块，确定该训练样本的嵌入编码。
并且，该服务器可根据训练样本中各词元在训练样本中的位置，确定训练样本中各词元的位置索引值，并将训练样本的各位置索引值输入位置编码模块，得到训练样本的位置编码。其中，词元在训练样本中的位置，即在训练样本的各字符中的顺序。
确定出该训练样本的嵌入编码以及位置编码后，该服务器则可根据该嵌入编码以及位置编码，确定该训练样本的输入编码，并将该输入编码输入该目标模型的第二模块。
然后，则可将第二模块输出的训练样本中各字符属于预设的各标签类型的分值，作为预测结果，并根据预测结果确定奖励值。
在本说明书一个或多个实施例中，在根据训练样本中各词元在训练样本中的位置，确定训练样本中各词元的位置索引值时，可针对训练样本中每个词元，当该词元为字符(字符词元)时，根据该字符在训练样本中的位置，确定该词元的位置索引值。当该词元为词汇(词汇词元)时，可根据该词汇的首个字符在训练样本中的位置(即，首部位置)，以及该词汇的最后一个字符在训练样本中的位置(即，尾部位置)，确定该词元的位置索引值。该服务器可根据该训练样本的各位置索引值和/或位置索引值，确定该训练样本各词元的位置索引值。
例如，假设训练样本为“祝愿亚运会顺利举办”，字符词元“祝”、“愿”、“亚”、“运”、“会”、“顺”、“利”、“举”、“办”的位置索引值依次分别为1、2、3、4、5、6、7、8、9。而词汇词元“祝愿”、“亚运”、“亚运会”、“顺利”、“举办”的位置索引值分别为：12、34、35、67、89。
则，该训练样本的位置索引值为[1、2、3、4、5、6、7、8、9]和/或[12、34、35、67、89]。
在本说明书一个或多个实施例中，各待定模型对输入数据的位置编码方式可以不同。各待定模型可至少包括：字符位置编码的待定模型、字词统一位置编码的待定模型、字与词分别位置编码的待定模型、字与字词分别位置编码的待定模型、字词与字分别位置编码的待定模型，以及字词与词分别位置编码的待定模型中的部分待定模型。
搜索空间中的各待定模型具体可至少包括上述六种待定模型中的两种。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字与词分别位置编码的待定模型时，语义编码模块可包括第一语义模块以及第二语义模块，位置编码模块可包括第一位置模块以及第二位置模块。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，语义编码模块可包括第三语义模块以及第四语义模块，位置编码模块包括第三位置模块以及第四位置模块。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，语义编码模块包括第五语义模块以及第六语义模块，位置编码模块包括第五位置模块以及第六位置模块。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，语义编码模块包括第七语义模块以及第八语义模块，位置编码模块包括第七位置模块以及第八位置模块。
另外，在本说明书一个或多个实施例中，各待定模型输入的词元粒度不同。并且，各待定模型中的部分待定模型对应不同的词汇增强方式。
在本说明书一个或多个实施例中，在确定训练样本的各词元时，该服务器可当作为目标模型的待定模型为字符位置编码的待定模型时，将训练样本以字符为单位切分，得到训练样本的各字符词元，作为训练样本的各词元。即，字符位置编码的待定模型的词元粒度为字符粒度，并且，未经过词汇增强。
当作为目标模型的待定模型为任意剩余的待定模型时，可将该训练样本以字符为单位切分，得到训练样本的各字符词元，并将该训练样本以词汇为单位切分，得到训练样本的各词汇词元，以将训练样本的各字符词元以及各词汇词元，作为训练样本的各词元。即，剩余的各待定模型皆为对应不同的词汇增强方式的待定模型。且词元粒度包括字符粒度以及词汇粒度。
在本说明书一个或多个实施例中，该服务器可根据该训练样本的标注，对该训练样本切分得到各词汇词元。则，一个词汇词元可对应一个实体。
或者，在本说明书一个或多个实施例中，还可预先对该训练样本进行切分得到各字符词元以及词汇词元，并在作为目标模型的待定模型为字符位置编码的待定模型时，获取该训练样本对应的各字符词元，作为该训练样本的各词元。当作为目标模型的待定模型为任意剩余的待定模型时，获取该训练样本对应的各字符词元，以及各词汇词元，作为该训练样本的各词元。
进一步地，在本说明书一个或多个实施例中，在将各词元输入训练得到的目标模型的语义编码模块，确定训练样本的嵌入编码时，该服务器可当作为目标模型的待定模型为字符位置编码的待定模型时，将训练样本的各字符词元输入训练得到的目标模型的语义编码模块，得到各字符词元对应的嵌入编码，作为训练样本的嵌入编码。
当作为目标模型的待定模型为字词统一位置编码的待定模型时，将训练样本的各词汇词元输入训练得到的所述目标模型的语义编码模块，得到各词汇词元对应的嵌入编码，作为训练样本的嵌入编码。
当作为目标模型的待定模型为字与词分别位置编码的待定模型时，将训练样本的各字符词元作为第一词元组输入所述第一语义模块，得到训练样本的第一嵌入编码，并将训练样本的各词汇词元作为第二词元组输入第二语义模块，得到训练样本的第二嵌入编码，并将第一嵌入编码与第二嵌入编码，作为训练样本的嵌入编码。
当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，将训练样本的各字符词元作为第三词元组输入第三语义模块，得到训练样本的第三嵌入编码，并将训练样本的各字符词元以及各词汇词元作为第四词元组输入第四语义模块，得到训练样本的第四嵌入编码，并将第三嵌入编码与第四嵌入编码，作为训练样本的嵌入编码。
当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，将训练样本的各字符词元以及各词汇词元作为第五词元组输入第五语义模块，得到训练样本的第五嵌入编码，并将训练样本的各字符词元作为第六词元组输入第六语义模块，得到训练样本的第六嵌入编码，并将第五嵌入编码与第六嵌入编码，作为训练样本的嵌入编码。
当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，将训练样本的各字符词元以及各词汇词元作为第七词元组输入第七语义模块，得到训练样本的第七嵌入编码，并将训练样本的各词汇词元作为第八词元组输入第八语义模块，得到训练样本的第八嵌入编码，并将第七嵌入编码与第八嵌入编码，作为训练样本的嵌入编码。
在本说明书一个或多个实施例中，在将训练样本的各位置索引值输入位置编码模块，得到训练样本的位置编码时，具体的，该服务器可当作为目标模型的待定模型为字符位置编码的待定模型时，将训练样本的各字符词元的位置索引值输入位置编码模块，得到训练样本的位置编码。
当作为目标模型的待定模型为字词统一位置编码的待定模型时，将训练样本的各词汇词元的位置索引值输入位置编码模块，得到训练样本的位置编码。
当作为目标模型的待定模型为字与词分别位置编码的待定模型时，将训练样本的第一词元组的位置索引值输入第一位置模块，得到训练样本的第一位置编码，并将训练样本的第二词元组的位置索引值输入第二位置模块，得到训练样本的第二位置编码。并将第一位置编码与第二位置编码，作为训练样本的位置编码。
当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，将训练样本的第三词元组的位置索引值输入第三位置模块，得到训练样本的第三位置编码，并将训练样本的第四词元组的位置索引值输入第四位置模块，得到训练样本的第四位置编码。并将第三位置编码与第四位置编码，作为训练样本的位置编码。
当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，将训练样本的第五词元组的位置索引值输入第五位置模块，得到训练样本的第五位置编码，并将训练样本的第六词元组的位置索引值输入第六位置模块，得到训练样本的第六位置编码。并将第五位置编码与第六位置编码，作为训练样本的位置编码。
当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，将训练样本的第七词元组的位置索引值输入第七位置模块，得到训练样本的第七位置编码，并将训练样本的第八词元组的位置索引值输入第八位置模块，得到训练样本的第八位置编码，并将第七位置编码与第八位置编码，作为训练样本的位置编码。
更进一步的，在根据嵌入编码以及位置编码，确定训练样本的输入编码时，具体的，当作为目标模型的待定模型为字与词分别位置编码的待定模型时，该服务器可根据训练样本的第一位置编码与第一嵌入编码，确定第一输入编码，并根据训练样本的第二位置编码与第二嵌入编码，确定第二输入编码，并将第一输入编码与第二输入编码，作为训练样本的输入编码。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，该服务器可根据训练样本的第三位置编码与第三嵌入编码，确定第三输入编码，并根据训练样本的第四位置编码与第四嵌入编码，确定第四输入编码。并将第三输入编码与第四输入编码，作为训练样本的输入编码。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，该服务器可根据训练样本的第五位置编码与第五嵌入编码，确定第五输入编码，并根据训练样本的第六位置编码与第六嵌入编码，确定第六输入编码。并将第五输入编码与所述第六输入编码，作为训练样本的输入编码。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，该服务器可根据训练样本的第七位置编码与第七嵌入编码，确定第七输入编码，并根据训练样本的第八位置编码与第八嵌入编码，确定第八输入编码，并将第七输入编码与第八输入编码，作为训练样本的输入编码。
在本说明书一个或多个实施例中，各待定模型的第二模块可皆由第一子模块与第二子模块构成。各待定模型的第一子模块皆可由注意力层构成，各待定模型的第二子模块不完全相同。
在本说明书一个或多个实施例中，在将输入编码输入目标模型的第二模块时，具体的，当作为目标模型的待定模型为字符位置编码的待定模型时，该服务器可将输入编码输入目标模型的第一子模块，根据第一子模块对应的查询参数、键参数及值参数以及输入编码，确定训练样本对应的注意力权重，并将注意力权重以及输入编码，输入目标模型的第二子模块。将注意力权重以及输入编码输入第二子模块后，可得到第二子模块输出的训练样本中各字符属于预设的各标签类型的分值。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词统一位置编码的待定模型时，该服务器可将输入编码输入目标模型的第一子模块，根据第一子模块对应的查询参数、键参数及值参数以及输入编码，确定训练样本对应的注意力权重，并将注意力权重以及输入编码，输入目标模型的第二子模块。将注意力权重以及输入编码输入第二子模块后，可得到第二子模块输出的训练样本中各字符属于预设的各标签类型的分值。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字与词分别位置编码的待定模型时，该服务器可将训练样本的第一输入编码与第二输入编码输入目标模型的第一子模块，根据第一输入编码与第一子模块对应的查询参数、训练样本的第二输入编码与第一子模块对应的键参数以及值参数，确定训练样本对应的注意力权重。即，根据训练样本的第一输入编码与第一子模块对应的查询参数、训练样本的第二输入编码与第一子模块对应的键参数以及训练样本的第二输入编码与第一子模块对应的值参数，确定训练样本对应的注意力权重。之后，可将注意力权重以及输入编码，输入作为目标模型的待定模型的第二子模块。将注意力权重以及输入编码输入第二子模块后，可得到第二子模块输出的训练样本中各字符属于预设的各标签类型的分值。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，该服务器可将训练样本的第三输入编码与第四输入编码输入目标模型的第一子模块，并根据第三输入编码与第一子模块对应的查询参数、训练样本的第四输入编码与第一子模块对应的键参数以及值参数，确定训练样本对应的注意力权重。即，根据第三输入编码与第一子模块对应的查询参数、训练样本的第四输入编码与第一子模块对应的键参数以及训练样本的第四输入编码与第一子模块对应的值参数，确定训练样本对应的注意力权重。之后可将注意力权重以及所述输入编码，输入作为目标模型的待定模型的第二子模块。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，该服务器可将训练样本的第五输入编码与第六输入编码输入目标模型的第一子模块，根据第五输入编码与第一子模块对应的查询参数、训练样本的第六输入编码与第一子模块对应的键参数以及值参数，确定训练样本对应的注意力权重。即，根据第五输入编码与第一子模块对应的查询参数、训练样本的第六输入编码与第一子模块对应的键参数以及训练样本的第六输入编码与第一子模块对应的值参数，确定训练样本对应的注意力权重。之后可将注意力权重以及输入编码，输入作为目标模型的待定模型的第二子模块。
在本说明书一个或多个实施例中，当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，该服务器可将训练样本的第七输入编码与第八输入编码输入目标模型的第一子模块，根据第七输入编码与第一子模块对应的查询参数、训练样本的第八输入编码与第一子模块对应的键参数以及值参数，确定训练样本对应的注意力权重。即，根据第七输入编码与第一子模块对应的查询参数、训练样本的第八输入编码与第一子模块对应的键参数以及训练样本的第八输入编码与第一子模块对应的值参数，确定训练样本对应的注意力权重。之后可将注意力权重以及输入编码，输入作为目标模型的待定模型的第二子模块。
在本说明书一个或多个实施例中，将注意力权重以及输入编码输入第二子模块后，可得到第二子模块输出的训练样本中各字符属于预设的各标签类型的分值。
为了便于理解，本说明书还该提供了图2～图6所示的待定模型的示意图。
图2为本说明书提供的一种字符位置编码的待定模型的示意图。可见图2所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。
当作为目标模型的待定模型为图2所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元为各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”。各字符词元下的数字1～9表示相应的字符词元的位置索引值。从各字符词元指向语义编码模块的各实线箭头表示将各字符词元输入语义编码模块。将各字符词元输入语义编码模块后，得到该训练样本的嵌入编码。从各字符词元指向位置编码模块的各虚线箭头表示将各字符词元的位置索引值输入位置编码模块。将各字符词元的位置索引值输入位置编码模块后，可得到该训练样本的位置编码。
在得到该训练样本的位置编码与嵌入编码后，则可根据该训练样本的位置编码与嵌入编码后，确定该训练样本的输入编码。将得到的输入编码输入第二模块后，则可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的位置编码与嵌入编码相加得到该训练样本的输入编码。
图3为本说明书提供的一种字词统一位置编码的待定模型的示意图。图3所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。
可见当作为目标模型的待定模型为图3所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元包括各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”，以及各椭圆形表示的词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”。各词元下的数字表示相应的字符词元的位置索引值。自左到右，各词元的位置索引值分别为11、22、33、44、55、66、77、88、99、12、34、35、67、89。
图3中从各词元指向语义编码模块的各实线箭头表示将各词元输入语义编码模块。将各词元输入语义编码模块后，可得到该训练样本的嵌入编码。从各词元指向位置编码模块的各虚线箭头表示将各词元的位置索引值输入位置编码模块。将各词元的位置索引值输入位置编码模块后，可得到该训练样本的位置编码。
在得到该训练样本的位置编码与嵌入编码后，则可根据该训练样本的位置编码与嵌入编码后，确定该训练样本的输入编码。将得到的输入编码输入第二模块后，则可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的位置编码与嵌入编码相加得到该训练样本的输入编码。
图4为本说明书提供的一种字与词分别位置编码的待定模型的示意图。图4所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。其中，位置编码模块包括第一位置模块以及第二位置模块。语义编码模块包括第一语义模块以及第二语义模块。
可见当作为目标模型的待定模型为图4所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元包括各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”，以及各椭圆形表示的词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”。各词元下的数字仍表示相应的字符词元的位置索引值。其中字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”构成第一词元组，词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”构成第二词元组。
图4中从各词元指向语义编码模块的各实线箭头表示将各词元输入语义编码模块。将第一词元组输入第一语义模块后，可得到该训练样本的第一嵌入编码。将第二词元组输入第二语义模块后，则可得到该训练样本的第二嵌入编码。从各词元指向位置编码模块的各虚线箭头表示将各词元的位置索引值输入位置编码模块。将第一词元组各词元的位置索引值输入第一位置模块后，可得到该训练样本的第一位置编码。将第二词元组各词元的位置索引值输入第二位置模块后，可得到该训练样本的第二位置编码。
根据第一位置编码以及第一嵌入编码，可确定第一输入编码，根据第二位置编码以及第二嵌入编码，可确定第二输入编码。将该训练样本的第一输入编码以及第二输入编码输入第二模块后，可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的第一位置编码与第一嵌入编码相加得到该训练样本的第一输入编码。可将训练样本的第二位置编码与第二嵌入编码相加得到该训练样本的第二输入编码。
图5为本说明书提供的一种字与字词分别位置编码的待定模型的示意图。可见图5所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。其中，位置编码模块包括第三位置模块以及第四位置模块。语义编码模块包括第三语义模块以及第四语义模块。
可见当作为目标模型的待定模型为图5所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元包括各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”，以及各椭圆形表示的词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”。其中字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”构成第三词元组，字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”与词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”构成第四词元组。各词元下的数字仍表示相应的字符词元的位置索引值。
图5中从各词元指向语义编码模块的各实线箭头表示将各词元输入语义编码模块。将第三词元组输入第三语义模块后，可得到该训练样本的第三嵌入编码，将第四词元组输入第四语义模块后，则可得到该训练样本的第四嵌入编码。从各词元指向位置编码模块的各虚线箭头表示将各词元的位置索引值输入位置编码模块。将第三词元组各词元的位置索引值输入第三位置模块后，可得到该训练样本的第三位置编码。将第四词元组各词元的位置索引值输入第四位置模块后，可得到该训练样本的第四位置编码。
根据第三位置编码以及第三嵌入编码，可确定第三输入编码。根据第四位置编码以及第四嵌入编码，可确定第四输入编码。将第三输入编码以及第四输入编码输入第二模块后，可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的第三位置编码与第三嵌入编码相加得到该训练样本的第三输入编码。可将训练样本的第四位置编码与第四嵌入编码相加得到该训练样本的第四输入编码。
图6为本说明书提供的一种字词与字分别位置编码的待定模型的示意图。图6所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。其中，位置编码模块包括第五位置模块以及第六位置模块。语义编码模块包括第五语义模块以及第六语义模块。
可见当作为目标模型的待定模型为图6所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元包括各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”，以及各椭圆形表示的词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”。其中字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”与词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”构成第五词元组，字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”构成第六词元组。各词元下的数字仍表示相应的字符词元的位置索引值。
图6中从各词元指向语义编码模块的各实线箭头表示将各词元输入语义编码模块。将第五词元组输入第五语义模块后，可得到该训练样本的第五嵌入编码，将第六词元组输入第六语义模块后，则可得到该训练样本的第六嵌入编码。从各词元指向位置编码模块的各虚线箭头表示将各词元的位置索引值输入位置编码模块。将第五词元组各词元的位置索引值输入第五位置模块后，可得到该训练样本的第五位置编码。将第六词元组各词元的位置索引值输入第六位置模块后，可得到该训练样本的第六位置编码。
根据第五位置编码以及第五嵌入编码，可确定第五输入编码，根据第六位置编码以及第六嵌入编码，可确定第六输入编码。将第五输入编码以及第六输入编码输入第二模块后，可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的第五位置编码与第五嵌入编码相加得到该训练样本的第五输入编码。可将训练样本的第六位置编码与第六嵌入编码相加得到该训练样本的第六输入编码。
图7为本说明书提供的一种字词与词分别位置编码的待定模型的示意图。图7所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。其中，位置编码模块包括第七位置模块以及第八位置模块。语义编码模块包括第七语义模块以及第八语义模块。
可见当作为目标模型的待定模型为图7所示的模型时，作为训练样本的语句“预祝亚运会顺利举办”的各词元包括各圆形表示的字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”“办”，以及各椭圆形表示的词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”。其中字符词元“预”、“祝”、“亚”、“运”、“会”、“顺”、“利”、“举”、“办”与词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”构成第七词元组，词汇词元“预祝”、“亚运”、“亚运会”、“顺利”、“举办”构成第八词元组。各词元下的数字仍表示相应的字符词元的位置索引值。
图7中从各词元指向语义编码模块的各实线箭头表示将各词元输入语义编码模块。将第七词元组输入第五语义编码模块后，可得到该训练样本的第七嵌入编码。将第八词元组输入第八语义模块后，则可得到该训练样本的第八嵌入编码。从各词元指向位置编码模块的各虚线箭头表示将各词元的位置索引值输入位置编码模块。将第七词元组各词元的位置索引值输入第七位置模块后，可得到该训练样本的第七位置编码。将第八词元组各词元的位置索引值输入第八位置模块后，可得到该训练样本的第八位置编码。
根据第七位置编码以及第七嵌入编码，可确定第七输入编码。根据第八位置编码以及第八嵌入编码，可确定第八输入编码。将第七输入编码以及第八输入编码输入第二模块后，可得到第二模块输出的该训练样本的预测结果。
在本说明书一个或多个实施例中，可将训练样本的第七位置编码与第七嵌入编码相加得到该训练样本的第七输入编码。可将训练样本的第八位置编码与第八嵌入编码相加得到该训练样本的第八输入编码。
可见，在本说明书中，各待定模型的输入模式不同。通过对不同的输入模式对应的待定模型进行训练，可得到不同的特征空间。
另外，在本说明书一个或多个实施例中，各待定模型的第二模块可皆由第一子模块与第二子模块构成。并且，各待定模型的第一子模块皆由注意力层构成，各待定模型的第二子模块不完全相同。当然，各待定模型的第一子模块的内部结构也不相同。
在本说明书一个或多个实施例中，在将输入编码输入目标模型的第二模块时，具体的，该服务器可在当作为目标模型的待定模型为字符位置编码的待定模型时，将输入编码输入目标模型的第一子模块，根据第一子模块对应的查询参数、键参数及值参数以及输入编码，确定训练样本对应的注意力权重，并将该注意力权重以及输入编码，输入第二子模块。
当作为目标模型的待定模型为字词统一位置编码的待定模型时，该服务器可将输入编码输入目标模型的第一子模块，根据第一子模块对应的查询参数、键参数以及值参数以及输入编码，确定训练样本对应的注意力权重，并将得到的注意力权重以及输入编码，输入第二子模块。
当作为目标模型的待定模型为字与词分别位置编码的待定模型时，该服务器可将训练样本的第一输入编码与第二输入编码输入目标模型的第一子模块。根据第一输入编码与所述第一子模块对应的查询参数、训练样本的第二输入编码与第一子模块对应的键参数以及值参数，确定训练样本对应的注意力权重。并将得到的注意力权重以及第一输入编码，输入第二子模块。
当作为目标模型的待定模型为字与字词分别位置编码的待定模型时，该服务器可将训练样本的第三输入编码与第四输入编码输入目标模型的第一子模块，根据第三输入编码与第一子模块对应的查询参数、训练样本的第四输入编码与第一子模块对应的键参数及值参数，确定训练样本对应的注意力权重。并将得到的注意力权重以及该第三输入编码，输入第二子模块；
当作为目标模型的待定模型为字词与字分别位置编码的待定模型时，该服务器可将训练样本的第五输入编码与第六输入编码输入目标模型的第一子模块，根据第五输入编码与第一子模块对应的查询参数、训练样本的第六输入编码与第一子模块对应的键参数及值参数，确定训练样本对应的注意力权重，并将得到的注意力权重以及该训练样本的第五输入编码，输入第二子模块。
当作为目标模型的待定模型为字词与词分别位置编码的待定模型时，该服务器可将训练样本的第七输入编码与第八输入编码输入目标模型的第一子模块。根据第七输入编码与所述第一子模块对应的查询参数、训练样本的第八输入编码与第一子模块对应的键参数及值参数，确定训练样本对应的注意力权重。并将得到的注意力权重以及该第七输入编码，输入第二子模块。
本说明书还提供了如图8～13所示的待定模型的示意图。
图8为本说明书提供的一种字符位置编码的待定模型的示意图。可见图8所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图8所示的待定模型时，将该待定模型的训练样本的输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询(Query，简称Q)参数、键(Key，简称K)参数、值(Value，简称V)参数以及输入编码，确定训练样本对应的注意力权重。之后，可将注意力权重以及输入编码，输入第二子模块。
其中，通过将该输入编码与Q参数相乘得到Q特征(即，查询矩阵)，将该输入编码与K参数相乘得到K特征(即键矩阵)，并将该输入编码与V参数相乘得到V特征(即，值矩阵)。基于Q特征、K特征以及V特征即可确定第一子模块输出的注意力权重。
对于图8的第一模块的结构及其输入的说明可参考上述对图2的说明，本说明书在此不做赘述。
图9为本说明书提供的一种字词统一位置编码的待定模型的示意图。图9所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图9所示的待定模型时，将该待定模型的训练样本的输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询(Query，简称Q)参数、键(Key，简称K)参数、值(Value，简称V)参数以及输入编码，确定训练样本对应的注意力权重。之后，可将注意力权重以及输入编码，输入第二子模块。
其中，查询参数即查询矩阵，键参数即键矩阵，值值参数即值矩阵，将该输入编码与Q参数相乘得到Q特征，将该输入编码与K参数相乘得到K特征，并将该输入编码与V参数相乘得到V特征。基于Q特征、K特征以及V特征即可确定第一子模块输出的注意力权重。
对于图9的第一模块的结构及输入的说明可参考上述对图3的说明，本说明书在此不做赘述。
图10为本说明书提供的一种字与字词分别位置编码的待定模型的示意图。图10所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图10所示的待定模型时，将该待定模型的训练样本的第一输入编码以及第二输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询参数与第一输入编码，确定查询特征。并根据第一子模块的键参数与第二输入编码，确定键特征。并根据第一子模块的值参数与第二输入编码，确定值特征。以进一步根据键特征、值特征以及查询特征，确定该训练样本的注意力权重。之后，可将注意力权重以及第一输入编码，输入第二子模块。
对于图10的第一模块的结构及输入的说明可参考上述对图4的说明，本说明书在此不做赘述。
图11为本说明书提供的一种字与字词分别位置编码的待定模型的示意图。图11所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图11所示的待定模型时，将该待定模型的训练样本的第三输入编码以及第四输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询参数与第一输入编码，确定查询特征。并根据第一子模块的键参数与第四输入编码，确定键特征。并根据第一子模块的值参数与第四输入编码，确定值特征。以进一步根据键特征、值特征以及查询特征，确定该训练样本的注意力权重。之后，可将注意力权重以及第三输入编码，输入第二子模块。
对于图11的第一模块的结构及输入的说明可参考上述对图5的说明，本说明书在此不做赘述。
图12为本说明书提供的一种字词与字分别位置编码的待定模型的示意图。图12所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图12所示的待定模型时，将该待定模型的训练样本的第五输入编码以及第六输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询参数与第五输入编码，确定查询特征。并根据第一子模块的键参数与第六输入编码，确定键特征。并根据第一子模块的值参数与第六输入编码，确定值特征。以进一步根据键特征、值特征以及查询特征，确定该训练样本的注意力权重。之后，可将注意力权重以及第五输入编码，输入第二子模块。
对于图12的第一模块的结构及输入的说明可参考上述对图6的说明，本说明书在此不做赘述。
图13为本说明书提供的一种字词与词分别位置编码的待定模型的示意图。图13所示的待定模型包括第一模块以及第二模块。第一模块包括位置编码模块以及语义编码模块。第二模块由第一子模块与第二子模块构成。第一子模块由注意力层构成。
可见，当作为目标模型的待定模型为图13所示的待定模型时，将该待定模型的训练样本的第七输入编码以及第八输入编码输入目标模型的第一子模块，以根据第一子模块对应的查询参数与第七输入编码，确定查询特征。并根据第一子模块的键参数与第八输入编码，确定键特征。并根据第一子模块的值参数与第八输入编码，确定值特征。以进一步根据键特征、值特征以及查询特征，确定该训练样本的注意力权重。之后，可将注意力权重以及第七输入编码，输入第二子模块。
对于图13的第一模块的结构及输入的说明可参考上述对图7的说明，本说明书在此不做赘述。
在本说明书一个或多个实施例中，第二子模块的结构可根据需要设置，本说明书在此不做限制。
图14～19为本说明书提供的待定模型的示意图。图14～19示例性的示出了各待定模型的第二子模块的结构。图14～19中，正方形及其中字符表示的是训练样本“预祝亚运会顺利举办”的词元。词元下方的数字表示位置索引值。
其中，图14与图8对应，图15与图9对应，图16与图10对应，图17与图11对应，图18与图12对应，图19与图13对应。
图14中，位置嵌入，即，用于根据位置索引值得到位置编码。词嵌入，即用于根据词元得到嵌入编码。其中，多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层以及线性层&条件随机场层。并且，图14中展示了在该输入模式下的注意力矩阵。图14的实线表示将词元进行词嵌入。图14的虚线表示将词元对应的位置索引值进行位置嵌入。
图15中省略了位置嵌入，仅展示了用于词嵌入的嵌入层。其中，多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层、以及全连接层&条件随机场层。并且，图15中也展示了在该输入模式下的注意力矩阵。
图16中省略了位置嵌入，仅展示了用于词嵌入的嵌入层。其中，多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层、多头注意力、残差连接&归一化层、前馈神经网络以及残差连接&归一化层。并且，图16中也展示了在该输入模式下的注意力矩阵。
图17中省略了位置嵌入，仅展示了用于词嵌入的嵌入层以及用于对字符进行嵌入的字符嵌入层。其中，自下而上第一个多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层、多头注意力层、残差连接&归一化层、前馈神经网络、残差连接&归一化层，以及线性层&条件随机场层。并且，图17中也展示了在该输入模式下的注意力矩阵。
图18中省略了位置嵌入，仅展示了用于词嵌入的嵌入层以及字符嵌入。其中，自下而上第一个多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层、多头注意力层、残差连接&归一化层、前馈神经网络、残差连接&归一化层，以及线性层&条件随机场层。并且，图18中也展示了在该输入模式下的注意力矩阵。
图19中省略了位置嵌入，仅展示了用于词嵌入的嵌入层以及字符嵌入。其中，自下而上第一个多头注意力层即第一子模块。第二子模块包括残差连接&归一化层、前馈神经网络、残差连接&归一化层、多头注意力层、残差连接&归一化层、前馈神经网络、残差连接&归一化层，以及线性层&条件随机场层。并且，图19中也展示了在该输入模式下的注意力矩阵。
另外，在本说明书一个或多个实施例中，在确定出最优的目标模型的结构后，该服务器还可进一步对最终确定出的目标模型进行端到端的训练。
因此，在根据最终确定出的搜索空间中的状态，确定目标模型的结构之后，该服务器还可将最终得到的目标模型，作为待训练模型，并根据该训练样本及其标注，对待训练模型进行训练。
或者，还可根据其他的训练数据，对待训练模型进行训练。
在本说明书一个或多个实施例中，对于图14对应的待定模型，根据位置索引值确定位置编码的公式可具体如下：
PE(pos,2i)＝sin(pos/100002i/d)
PE(pos,2i+1)＝cos(pos/100002i/d)
其中，PE代表位置编码，pos表示词元在语句中的位置，i指的是嵌入编码的维度，d表示位置编码的维度(与嵌入编码相同)，2i表示偶数的维度，2i+1表示奇数维度(即2i≤d,2i+1≤d)。即，当维度为偶数，通过PE(pos,2i)＝sin(pos/100002i/d)确定位置编码。当维度为奇数，可通过PE(pos,2i+1)＝cos(pos/100002i/d)确定位置编码。
经过位置编码，能够获得一个和输入维度完全一致的编码数组Xpos。使用这种公式计算位置编码有以下的好处：
使位置编码能够适应比训练集里面所有句子更长的句子，假设训练集里面最长的句子是有20个词元，当应用目标模型时出现长度为21的句子，则使用上述公式计算的方法可以计算出第21位的嵌入。能够使得目标模型容易地计算出相对位置，对于固定长度的间距k，PE(pos+k)可以用PE(pos)计算得到。因为Sin(A+B)＝Sin(A)Cos(B)+Cos(A)Sin(B),Cos(A+B)＝Cos(A)Cos(B)-Sin(A)Sin(B)。
将通过该待定模型得到的嵌入编码与位置编码相加，就可以得到注意力层的输入向量X。
之后，则可根据输入向量、查询参数Wq、键参数Wk以及值参数Wv确定注意力权重。
在本说明书一个或多个实施例中，可通过以下公式获取QKV表征：
[Q]＝XWq,[K]＝XWk,[V]＝XWv
其中，[Q]即查询特征(查询矩阵)，[K]即键特征(键矩阵)，[V]即值特征(值矩阵)。
在本说明书一个或多个实施例中，可通过以下公式进行自注意力计算：
其中，Attention(Q,K,V)即一个注意力头输出的注意力权重。Q是查询矩阵。K是被“查询”向量，V是内容向量。QKT是点乘操作，计算出对于Q在V上的注意力权重。dk是Q，K矩阵的列数。即向量维度，通过进行尺度化的目的是避免点积太大，把注意力矩阵变成标准正态分布。经过归一化指数函数进行归一化，使每个字与其他字的注意力权重之和为1，同时便于反向传播的梯度计算。最开始的Q，K，V可以是相同的，为词嵌入和位置编码相加得到的结果。计算结果为词元的注意力分数归一化后的值。
QKT可以表示为如下形式：
Aij表示固定位置编码，E是嵌入层(即语义编码模块)，则表示词元xj的嵌入编码，W是Q，K对应的全连接映射，U是位置编码层(即，位置编码模块)。则Uj表示Uj的位置编码。
在本说明书一个或多个实施例中，待定模型中的注意力层可以是采用多头注意力机制的注意力层。
在本说明书一个或多个实施例中，在进行多头注意力计算时，可将多头注意力得到的不同注意力拼接起来，可得到注意力层最终的输出序列向量。
MultiHead(Q,K,V)＝Concat(head1,head2,..,headh)Wo
其中如果h＝8，那么dk＝dv＝dmodel/h＝64，实际中假设dmodel＝512，指的是隐层维度，也等嵌入编码的维度。MultiHead(Q,K,V)为得到的最终输出序列向量，即注意力层的最终输出，headh。为第h次投影得到的注意力值，h为投影的次数，Wo为预设的附加权重矩阵。可用拼接(Concat)做向量拼接，/>为Q向量训练权重矩阵，/>为K向量训练权重矩阵，/>为V向量训练权重矩阵。
之后，则可进行残差连接：把上一层(多头注意力)的输入X和上一层的输出相加起来。公式为：
output1＝X+MultiHead(Q,K,V)
层归一化：作用是把神经网络中隐藏层归一为标准正态分布，加速收敛。具体操作为将每一行的每一个元素减去这行的均值，再除以这行的标准值，从而得到归一化后的数值。公式为：
output2＝LauerNorm(output1+FFN(output1)
前馈神经网络：是一个两层的全连接层，第一层的激活函数是热鲁(Relu)，第二层不使用激活函数，公式如下：
X＝Relu(X*W1*W2)
FFNx＝max(0,XW1+b1)W2+b2
X表示前馈神经网络层激活函数的输入或第二层的输入，前馈神经网络最终得到的输出矩阵的维度与前馈神经网络层的输入X一致。
在本说明书一个或多个实施例中，可利用条件随机场模型对预测标签序列进行评分，计算方式为：
其中s(x,y)表示一个训练样本的奖励值。n表示训练样本包含的字符的个数，表示从yi―1到yi标签转移分数，/>表示一个字符的第yi个标签的分数。/>的定义为：
其中，W是转换矩阵，h(t)是t时刻输入数据x(t)的隐藏状态，b是偏置量。
在本说明书一个或多个实施例中，可利用最大条件似然估计法最小化预测标签序列与真实标签之间的误差，以确定损失对待定模型进行训练，计算表达式为：
其中L表示损失函数，a表示采用的对数底线，λ为优化参数，θ为分布参数，P为原来序列到预测序列对应的改路。
以上为图14对应的待定模型。
需要说明的是，本说明书中的各待定模型皆可通过条件随机场确定奖励值。
在本说明书一个或多个实施例中，本说明书中的各待定模型皆可通过最大条件似然估计法最小化预测标签序列与真实标签之间的误差，以确定损失对待定模型进行训练。
对于图15对应的待定模型，可通过以下公式确定QKV表征：
[Q]＝XWq,[K]＝XWk,[V]＝XWv
其中，X依然表示注意力层的输入，即输入向量。Wq为查询参数、Wk为键参数，Wv为值参数。[Q]即查询特征(查询矩阵)，[K]即键特征(键矩阵)，[V]即值特征(值矩阵)。
在本说明书一个或多个实施例中，待定模型的注意力层对应的多头注意力机制表达式如下：
MultiHead(Q,K,V)＝Concat(Head1,Head2,..,Headh)Wo
在本说明书一个或多个实施例中，可通过以下公式计算相对位置编码的注意力得分：
不同于图14对应的待定模型的编码表征中的绝对位置，图15可采用相对位置R代替图14的绝对位置U。
在本说明书一个或多个实施例中，可采用四种相对距离表示xi和xj之间的关系：
xi和xj一一对应：
其中，ij表示同一训练样本中不同的词元的序号，表示词元xi的首部位置到词元xj的首部位置的距离，head[i]表示词元xi的首部位置，head[j]表示词元xj的首部位置，tail[i]表示xi的尾部位置，tail[j]表示xj的尾部位置，/>表示xi的首部位置到xj的尾部位置的距离，/>表示xi的尾部位置到xj的首部位置的距离，/>表示xi的尾部位置到xj的尾部位置的距离。例如，xi的位置索引值为12，则xi的首部位置为1，xi的尾部位置为2。
在本说明书一个或多个实施例中，图15对应的相对位置表达式为：
/>
其中，Rij表示相对位置编码结果向量，即通过图15对应的待定模型得到的位置编码，ReLU是激活函数，Wr是一个可学习的参数，是拼接算子，表示嵌入的位置编码，d是中的任意一个，pos表示词元在句子中的位置，dmodel表示位置编码的维度，k为词向量的维度。
对于图16对应的待定模型，通过第一语义模块可得到字符序列Xc＝{Xc1,Xc2,...,Xcn}，以及通过第二语义模块可得到词汇序列嵌入层Xw＝{Xw1,Xw2,...,Xwm}。则Xc表示第一嵌入编码。Xw表示第二嵌入编码。
图16对应的QKV表征可通过一下公式确定：
[Q,K,V]＝[XcWq,XwWk,XwWv]
在本说明书一个或多个实施例中，图16对应的多头注意力机制表达式如下：
MultiHead(Q,K,V)＝Concat(Head1,Head2,..,Headh)Wo
在本说明书一个或多个实施例中，图16对应的相对位置计算公式：
对于图17对应的待定模型，通过第三语义模块可得到字符序列嵌入编码Xc＝{Xc1,Xc2,...,Xcn}，即第三嵌入编码。通过第四语义模块可得到字符序列和词汇序列嵌入层Xcw＝{Xcw1,Xcw2,...,Xcwm}，即第四嵌入编码。
在本说明书一个或多个实施例中，图17对应的QKV表征可通过以下公式确定：
[Q,K,V]＝[XcWq,XcwWk,XcwWv]
在本说明书一个或多个实施例中，图17对应的多头注意力机制表达式如下：
MultiHead(Q,K,V)＝Concat(Head1,Head2,..,Headh)Wo
在本说明书一个或多个实施例中，图17对应的相对位置计算公式如下：
/>
对于图18对应的待定模型，通过第五语义模块可得到字符序列和词汇序列嵌入层Xcw＝{Xcw1,Xcw2,...,Xcwn}，即第五嵌入编码。通过第六语义模块可得到字符序列嵌入层Xc＝{Xc1,Xc2,...,Xcm}，即第六嵌入编码。
在本说明书一个或多个实施例中，可通过以下公式确定图18对应的QKV表征：
[Q,K,V]＝[XcwWq,XcWk,XcWv]
在本说明书一个或多个实施例中，图18对应的多头注意力机制表达式：
MultiHead(Q,K,V)＝Concat(Head1,Head2,..,Headh)Wo
在本说明书一个或多个实施例中，图18对应的相对位置计算公式如下：
对于图19对应的待定模型，通过第七语义模块，可得到字符序列和词汇序列Xcw＝{Xcw1,Xcw2,...,Xcwn}，即第七嵌入编码，通过第八语义模块可得到词汇序列嵌入层Xw＝{Xw1,Xw2,...,Xwm}，即第八嵌入编码。
得到第七嵌入编码以及第八嵌入编码后，通过注意力层，可通过以下公式获取QKV表征：
[Q,K,V]＝[XcwWq,XwWk,XwWv]
在本说明书一个或多个实施例中，图19对应的相对位置编码计算公式如下：
图15～19相应公式的解释可参考上述对图15的解释。
以上为本说明书提供的确定目标模型的方法。本说明书还提供了对应的装置。
图20为本说明书提供的一种确定目标模型的装置的示意图，装置包括：
获取模块200，用于获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间；
确定模块201，用于将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态；
奖励模块202，用于获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值；
迭代模块203，用于继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值；
结构确定模块204，用于根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构。
可选地，所述各待定模型为命名实体识别模型；所述奖励模块202，还用于获取文本，并将所述文本拆分为各语句；针对每个语句，将该语句作为一个训练样本，并将该语句中各实体的标注，作为所述训练样本的标注；针对每个训练样本，将该训练样本输入所述目标模型，得到所述目标模型输出的预测结果；根据该训练样本的标注与所述预测结果的差异，确定该训练样本的损失；根据各训练样本的损失，对所述目标模型进行训练。
可选地，所述各待定模型为命名实体识别模型；所述训练样本为语句；所述各待定模型皆由第一模块以及第二模块构成；所述第一模块包括位置编码模块以及语义编码模块；所述奖励模块202，还用于确定所述训练样本的各词元；将所述各词元输入训练得到的所述目标模型的语义编码模块，确定所述训练样本的嵌入编码；根据所述训练样本中各词元在所述训练样本中的位置，确定所述训练样本中各词元的位置索引值，并将所述训练样本的各位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；根据所述嵌入编码以及所述位置编码，确定所述训练样本的输入编码，并将所述输入编码输入所述目标模型的第二模块；将所述第二模块输出的所述训练样本中各字符属于预设的各标签类型的分值，作为预测结果，并根据所述预测结果确定奖励值。
可选地，所述各待定模型对输入数据的位置编码方式不同；所述各待定模型至少包括：字符位置编码的待定模型、字词统一位置编码的待定模型、字与词分别位置编码的待定模型、字与字词分别位置编码的待定模型、字词与字分别位置编码的待定模型，以及字词与词分别位置编码的待定模型中的部分；当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，所述语义编码模块包括第一语义模块以及第二语义模块，所述位置编码模块包括第一位置模块以及第二位置模块；当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，所述语义编码模块包括第三语义模块以及第四语义模块，所述位置编码模块包括第三位置模块以及第四位置模块；当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，所述语义编码模块包括第五语义模块以及第六语义模块，所述位置编码模块包括第五位置模块以及第六位置模块；当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，所述语义编码模块包括第七语义模块以及第八语义模块，所述位置编码模块包括第七位置模块以及第八位置模块。
可选地，所述奖励模块202，还用于当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，作为所述训练样本的各词元；当作为所述目标模型的待定模型为任意剩余的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，并将所述训练样本以词汇为单位切分，得到所述训练样本的各词汇词元，以将所述训练样本的各字符词元以及各词汇词元，作为所述训练样本的各词元。
可选地，所述奖励模块202，还用于，当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元输入训练得到的所述目标模型的语义编码模块，得到所述各字符词元对应的嵌入编码，作为所述训练样本的嵌入编码；当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元输入训练得到的所述目标模型的语义编码模块，得到所述各词汇词元对应的嵌入编码，作为所述训练样本的嵌入编码；当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第一词元组输入所述第一语义模块，得到所述训练样本的第一嵌入编码，并将所述训练样本的各词汇词元作为第二词元组输入所述第二语义模块，得到所述训练样本的第二嵌入编码，并将所述第一嵌入编码与所述第二嵌入编码，作为所述训练样本的嵌入编码；当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第三词元组输入所述第三语义模块，得到所述训练样本的第三嵌入编码，并将所述训练样本的各字符词元以及各词汇词元作为第四词元组输入所述第四语义模块，得到所述训练样本的第四嵌入编码，并将所述第三嵌入编码与所述第四嵌入编码，作为所述训练样本的嵌入编码；当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第五词元组输入所述第五语义模块，得到所述训练样本的第五嵌入编码，并将所述训练样本的各字符词元作为第六词元组输入所述第六语义模块，得到所述训练样本的第六嵌入编码，并将所述第五嵌入编码与所述第六嵌入编码，作为所述训练样本的嵌入编码；当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第七词元组输入所述第七语义模块，得到所述训练样本的第七嵌入编码，并将所述训练样本的各词汇词元作为第八词元组输入所述第八语义模块，得到所述训练样本的第八嵌入编码，并将所述第七嵌入编码与所述第八嵌入编码，作为所述训练样本的嵌入编码。
可选地，所述奖励模块202，还用于当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一词元组的位置索引值输入所述第一位置模块，得到所述训练样本的第一位置编码，并将所述训练样本的第二词元组的位置索引值输入所述第二位置模块，得到所述训练样本的第二位置编码，并将所述第一位置编码与所述第二位置编码，作为所述训练样本的位置编码；当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三词元组的位置索引值输入所述第三位置模块，得到所述训练样本的第三位置编码，并将所述训练样本的第四词元组的位置索引值输入所述第四位置模块，得到所述训练样本的第四位置编码，并将所述第三位置编码与所述第四位置编码，作为所述训练样本的位置编码；当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五词元组的位置索引值输入所述第五位置模块，得到所述训练样本的第五位置编码，并将所述训练样本的第六词元组的位置索引值输入所述第六位置模块，得到所述训练样本的第六位置编码，并将所述第五位置编码与所述第六位置编码，作为所述训练样本的位置编码；当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七词元组的位置索引值输入所述第七位置模块，得到所述训练样本的第七位置编码，并将所述训练样本的第八词元组的位置索引值输入所述第八位置模块，得到所述训练样本的第八位置编码，并将所述第七位置编码与所述第八位置编码，作为所述训练样本的位置编码。
可选地，所述奖励模块202，还用于当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，根据所述训练样本的第一位置编码与第一嵌入编码，确定第一输入编码，并根据所述训练样本的第二位置编码与第二嵌入编码，确定第二输入编码，并将所述第一输入编码与所述第二输入编码，作为所述训练样本的输入编码；当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，根据所述训练样本的第三位置编码与第三嵌入编码，确定第三输入编码，并根据所述训练样本的第四位置编码与第四嵌入编码，确定第四输入编码，并将所述第三输入编码与所述第四输入编码，作为所述训练样本的输入编码；当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，根据所述训练样本的第五位置编码与第五嵌入编码，确定第五输入编码，并根据所述训练样本的第六位置编码与第六嵌入编码，确定第六输入编码，并将所述第五输入编码与所述第六输入编码，作为所述训练样本的输入编码；当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，根据所述训练样本的第七位置编码与第七嵌入编码，确定第七输入编码，并根据所述训练样本的第八位置编码与第八嵌入编码，确定第八输入编码，并将所述第七输入编码与所述第八输入编码，作为所述训练样本的输入编码。
可选地，所述各待定模型的第二模块皆由第一子模块与第二子模块构成；所述各待定模型的第一子模块皆由注意力层构成，所述各待定模型的第二子模块不完全相同；所述奖励模块202，还用于当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数以及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数以及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一输入编码与第二输入编码输入所述目标模型的第一子模块，根据所述第一输入编码与所述第一子模块对应的查询参数、所述训练样本的第二输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第一输入编码，输入所述第二子模块；当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三输入编码与第四输入编码输入所述目标模型的第一子模块，根据所述第三输入编码与所述第一子模块对应的查询参数、所述训练样本的第四输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第三输入编码，输入所述第二子模块；当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五输入编码与第六输入编码输入所述目标模型的第一子模块，根据所述第五输入编码与所述第一子模块对应的查询参数、所述训练样本的第六输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述五输入编码，输入所述第二子模块；当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七输入编码与第八输入编码输入所述目标模型的第一子模块，根据所述第七输入编码与所述第一子模块对应的查询参数、所述训练样本的第八输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第七输入编码，输入所述第二子模块。
可选地，所述装置还包括：
训练模块205，用于根据最终确定出的状态，确定所述目标模型的结构之后，将最终得到的目标模型，作为待训练模型；根据所述训练样本及其标注，对所述待训练模型进行训练。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述确定目标模型的方法。
本说明书还提供了图21所示的电子设备的示意结构图。如图21所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述确定目标模型的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种确定目标模型的方法，其特征在于，包括：
获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间，所述各待定模型为命名实体识别模型；
将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态；
获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值；
继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值；
根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构；
其中，获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，具体包括：
获取文本，并将所述文本拆分为各语句；
针对每个语句，将该语句作为一个训练样本，并将该语句中各实体的标注，作为所述训练样本的标注；
针对每个训练样本，将该训练样本输入所述目标模型，得到所述目标模型输出的预测结果；
根据该训练样本的标注与所述预测结果的差异，确定该训练样本的损失；
根据各训练样本的损失，对所述目标模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述各待定模型为命名实体识别模型；所述训练样本为语句；所述各待定模型皆由第一模块以及第二模块构成；所述第一模块包括位置编码模块以及语义编码模块；
通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值，具体包括：
确定所述训练样本的各词元；
将所述各词元输入训练得到的所述目标模型的语义编码模块，确定所述训练样本的嵌入编码；
根据所述训练样本中各词元在所述训练样本中的位置，确定所述训练样本中各词元的位置索引值，并将所述训练样本的各位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
根据所述嵌入编码以及所述位置编码，确定所述训练样本的输入编码，并将所述输入编码输入所述目标模型的第二模块；
将所述第二模块输出的所述训练样本中各字符属于预设的各标签类型的分值，作为预测结果，并根据所述预测结果确定奖励值。
3.如权利要求2所述的方法，其特征在于，所述各待定模型对输入数据的位置编码方式不同；所述各待定模型至少包括：字符位置编码的待定模型、字词统一位置编码的待定模型、字与词分别位置编码的待定模型、字与字词分别位置编码的待定模型、字词与字分别位置编码的待定模型，以及字词与词分别位置编码的待定模型中的部分；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，所述语义编码模块包括第一语义模块以及第二语义模块，所述位置编码模块包括第一位置模块以及第二位置模块；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，所述语义编码模块包括第三语义模块以及第四语义模块，所述位置编码模块包括第三位置模块以及第四位置模块；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，所述语义编码模块包括第五语义模块以及第六语义模块，所述位置编码模块包括第五位置模块以及第六位置模块；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，所述语义编码模块包括第七语义模块以及第八语义模块，所述位置编码模块包括第七位置模块以及第八位置模块。
4.如权利要求3所述的方法，其特征在于，确定所述训练样本的各词元，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，作为所述训练样本的各词元；
当作为所述目标模型的待定模型为任意剩余的待定模型时，将所述训练样本以字符为单位切分，得到所述训练样本的各字符词元，并将所述训练样本以词汇为单位切分，得到所述训练样本的各词汇词元，以将所述训练样本的各字符词元以及各词汇词元，作为所述训练样本的各词元。
5.如权利要求4所述的方法，其特征在于，将所述各词元输入训练得到的所述目标模型的语义编码模块，确定所述训练样本的嵌入编码，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元输入训练得到的所述目标模型的语义编码模块，得到所述各字符词元对应的嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元输入训练得到的所述目标模型的语义编码模块，得到所述各词汇词元对应的嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第一词元组输入所述第一语义模块，得到所述训练样本的第一嵌入编码，并将所述训练样本的各词汇词元作为第二词元组输入所述第二语义模块，得到所述训练样本的第二嵌入编码，并将所述第一嵌入编码与所述第二嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的各字符词元作为第三词元组输入所述第三语义模块，得到所述训练样本的第三嵌入编码，并将所述训练样本的各字符词元以及各词汇词元作为第四词元组输入所述第四语义模块，得到所述训练样本的第四嵌入编码，并将所述第三嵌入编码与所述第四嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第五词元组输入所述第五语义模块，得到所述训练样本的第五嵌入编码，并将所述训练样本的各字符词元作为第六词元组输入所述第六语义模块，得到所述训练样本的第六嵌入编码，并将所述第五嵌入编码与所述第六嵌入编码，作为所述训练样本的嵌入编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的各字符词元以及各词汇词元作为第七词元组输入所述第七语义模块，得到所述训练样本的第七嵌入编码，并将所述训练样本的各词汇词元作为第八词元组输入所述第八语义模块，得到所述训练样本的第八嵌入编码，并将所述第七嵌入编码与所述第八嵌入编码，作为所述训练样本的嵌入编码。
6.如权利要求5所述的方法，其特征在于，将所述训练样本的各位置索引值输入所述位置编码模块，得到所述训练样本的位置编码，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述训练样本的各字符词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述训练样本的各词汇词元的位置索引值输入所述位置编码模块，得到所述训练样本的位置编码；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一词元组的位置索引值输入所述第一位置模块，得到所述训练样本的第一位置编码，并将所述训练样本的第二词元组的位置索引值输入所述第二位置模块，得到所述训练样本的第二位置编码，并将所述第一位置编码与所述第二位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三词元组的位置索引值输入所述第三位置模块，得到所述训练样本的第三位置编码，并将所述训练样本的第四词元组的位置索引值输入所述第四位置模块，得到所述训练样本的第四位置编码，并将所述第三位置编码与所述第四位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五词元组的位置索引值输入所述第五位置模块，得到所述训练样本的第五位置编码，并将所述训练样本的第六词元组的位置索引值输入所述第六位置模块，得到所述训练样本的第六位置编码，并将所述第五位置编码与所述第六位置编码，作为所述训练样本的位置编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七词元组的位置索引值输入所述第七位置模块，得到所述训练样本的第七位置编码，并将所述训练样本的第八词元组的位置索引值输入所述第八位置模块，得到所述训练样本的第八位置编码，并将所述第七位置编码与所述第八位置编码，作为所述训练样本的位置编码。
7.如权利要求6所述的方法，其特征在于，根据所述嵌入编码以及所述位置编码，确定所述训练样本的输入编码，具体包括：
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，根据所述训练样本的第一位置编码与第一嵌入编码，确定第一输入编码，并根据所述训练样本的第二位置编码与第二嵌入编码，确定第二输入编码，并将所述第一输入编码与所述第二输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，根据所述训练样本的第三位置编码与第三嵌入编码，确定第三输入编码，并根据所述训练样本的第四位置编码与第四嵌入编码，确定第四输入编码，并将所述第三输入编码与所述第四输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，根据所述训练样本的第五位置编码与第五嵌入编码，确定第五输入编码，并根据所述训练样本的第六位置编码与第六嵌入编码，确定第六输入编码，并将所述第五输入编码与所述第六输入编码，作为所述训练样本的输入编码；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，根据所述训练样本的第七位置编码与第七嵌入编码，确定第七输入编码，并根据所述训练样本的第八位置编码与第八嵌入编码，确定第八输入编码，并将所述第七输入编码与所述第八输入编码，作为所述训练样本的输入编码。
8.如权利要求7所述的方法，其特征在于，所述各待定模型的第二模块皆由第一子模块与第二子模块构成；所述各待定模型的第一子模块皆由注意力层构成，所述各待定模型的第二子模块不完全相同；
将所述输入编码输入所述目标模型的第二模块，具体包括：
当作为所述目标模型的待定模型为字符位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词统一位置编码的待定模型时，将所述输入编码输入所述目标模型的第一子模块，根据所述第一子模块对应的查询参数、键参数及值参数以及所述输入编码，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字与词分别位置编码的待定模型时，将所述训练样本的第一输入编码与第二输入编码输入所述目标模型的第一子模块，根据所述第一输入编码与所述第一子模块对应的查询参数、所述训练样本的第二输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第一输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字与字词分别位置编码的待定模型时，将所述训练样本的第三输入编码与第四输入编码输入所述目标模型的第一子模块，根据所述第三输入编码与所述第一子模块对应的查询参数、所述训练样本的第四输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第三输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词与字分别位置编码的待定模型时，将所述训练样本的第五输入编码与第六输入编码输入所述目标模型的第一子模块，根据所述第五输入编码与所述第一子模块对应的查询参数、所述训练样本的第六输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述五输入编码，输入所述第二子模块；
当作为所述目标模型的待定模型为字词与词分别位置编码的待定模型时，将所述训练样本的第七输入编码与第八输入编码输入所述目标模型的第一子模块，根据所述第七输入编码与所述第一子模块对应的查询参数、所述训练样本的第八输入编码与所述第一子模块对应的键参数以及值参数，确定所述训练样本对应的注意力权重，并将所述注意力权重以及所述第七输入编码，输入所述第二子模块。
9.如权利要求1所述的方法，其特征在于，根据最终确定出的状态，确定所述目标模型的结构之后，所述方法还包括：
将最终得到的目标模型，作为待训练模型；
根据所述训练样本及其标注，对所述待训练模型进行训练。
10.一种确定目标模型的装置，其特征在于，包括：
获取模块，用于获取预先确定的结构不完全相同的各待定模型，构建强化学习的搜索空间，所述各待定模型为命名实体识别模型；
确定模块，用于将从所述搜索空间中确定作为目标模型的待定模型的操作，作为动作，并根据执行所述动作后得到的所述目标模型的结构，确定状态；
奖励模块，用于获取训练样本及所述训练样本的标注，以对所述目标模型进行训练，并通过训练得到的所述目标模型，输出所述训练样本的预测结果，以根据所述预测结果确定奖励值；
迭代模块，用于继续根据所述搜索空间中剩余的待定模型，重新确定作为目标模型的待定模型，并训练重新得到的所述目标模型，以重新确定奖励值；
结构确定模块，用于根据重新确定的奖励值与历史确定的奖励值中，最高的奖励值对应的所述目标模型的结构，更新所述状态，直至遍历所述各待定模型为止，根据最终确定出的状态，确定所述目标模型的结构；
其中，所述奖励模块具体用于，获取文本，并将所述文本拆分为各语句；针对每个语句，将该语句作为一个训练样本，并将该语句中各实体的标注，作为所述训练样本的标注；针对每个训练样本，将该训练样本输入所述目标模型，得到所述目标模型输出的预测结果；根据该训练样本的标注与所述预测结果的差异，确定该训练样本的损失；根据各训练样本的损失，对所述目标模型进行训练。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～9任一项所述的方法。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～9任一项所述的方法。
CN202310212123.0A 2023-02-28 2023-02-28 一种确定目标模型的方法、装置、存储介质及设备 Active CN116205232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310212123.0A CN116205232B (zh) 2023-02-28 2023-02-28 一种确定目标模型的方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310212123.0A CN116205232B (zh) 2023-02-28 2023-02-28 一种确定目标模型的方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN116205232A CN116205232A (zh) 2023-06-02
CN116205232B true CN116205232B (zh) 2023-09-01

Family

ID=86514494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310212123.0A Active CN116205232B (zh) 2023-02-28 2023-02-28 一种确定目标模型的方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN116205232B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593095B (zh) * 2024-01-17 2024-03-22 苏州元脑智能科技有限公司 自适应调参的方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378346A (zh) * 2019-06-14 2019-10-25 北京百度网讯科技有限公司 建立文字识别模型的方法、装置、设备和计算机存储介质
CN112418920A (zh) * 2020-11-11 2021-02-26 北京三快在线科技有限公司 信息推荐模型的训练方法、信息推荐方法以及装置
JP2021039648A (ja) * 2019-09-05 2021-03-11 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム及び機械学習方法
CN112947495A (zh) * 2021-04-25 2021-06-11 北京三快在线科技有限公司 模型训练的方法、无人驾驶设备的控制方法以及装置
CN113255735A (zh) * 2021-04-29 2021-08-13 平安科技（深圳）有限公司 患者用药方案的确定方法及确定装置
WO2021189624A1 (zh) * 2020-03-27 2021-09-30 京东数字科技控股有限公司 解码语音数据的方法、装置、计算机设备和存储介质
CN115047864A (zh) * 2022-02-22 2022-09-13 北京三快在线科技有限公司 模型训练的方法、无人设备的控制方法以及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242508B2 (ja) * 2019-10-29 2023-03-20 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
TWI792216B (zh) * 2020-03-11 2023-02-11 宏達國際電子股份有限公司 強化學習系統及訓練方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378346A (zh) * 2019-06-14 2019-10-25 北京百度网讯科技有限公司 建立文字识别模型的方法、装置、设备和计算机存储介质
JP2021039648A (ja) * 2019-09-05 2021-03-11 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム及び機械学習方法
WO2021189624A1 (zh) * 2020-03-27 2021-09-30 京东数字科技控股有限公司 解码语音数据的方法、装置、计算机设备和存储介质
CN112418920A (zh) * 2020-11-11 2021-02-26 北京三快在线科技有限公司 信息推荐模型的训练方法、信息推荐方法以及装置
CN112947495A (zh) * 2021-04-25 2021-06-11 北京三快在线科技有限公司 模型训练的方法、无人驾驶设备的控制方法以及装置
CN113255735A (zh) * 2021-04-29 2021-08-13 平安科技（深圳）有限公司 患者用药方案的确定方法及确定装置
CN115047864A (zh) * 2022-02-22 2022-09-13 北京三快在线科技有限公司 模型训练的方法、无人设备的控制方法以及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于课程学习的深度强化学习研究综述;林泽阳等;计算机技术与发展;第32卷(第11期);16-23 *

Also Published As

Publication number Publication date
CN116205232A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN116205232B (zh) 一种确定目标模型的方法、装置、存储介质及设备
CN113887227B (zh) 一种模型训练与实体识别方法及装置
CN115618964B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116720008B (zh) 一种机器阅读方法、装置、存储介质及电子设备
CN116188971A (zh) 一种机器人物体识别方法、装置及存储介质
CN111144093A (zh) 一种智能文本处理方法、装置、电子设备及存储介质
CN116502633A (zh) 一种业务执行的方法、装置、存储介质及电子设备
CN116151355B (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN116402113B (zh) 一种任务执行的方法、装置、存储介质及电子设备
CN117409466A (zh) 一种基于多标签控制的三维动态表情生成方法及装置
CN112686394A (zh) 一种模型训练的方法及装置
CN116127328B (zh) 一种对话状态识别模型的训练方法、装置、介质及设备
CN116230146A (zh) 数据处理方法、icd编码模型的训练方法及相关设备
CN117034942B (zh) 一种命名实体识别方法、装置、设备及可读存储介质
CN114912513A (zh) 一种模型训练的方法、识别信息的方法及装置
KR102483927B1 (ko) 계층적 단어 정보를 이용한 문장 인코딩 방법 및 장치
CN113344197A (zh) 一种识别模型的训练方法、业务执行的方法以及装置
CN117573849B (zh) 一种知识图谱多跳问答方法、装置、设备及存储介质
CN116384515B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN116434787B (zh) 一种语音情感识别的方法、装置、存储介质及电子设备
CN116955579B (zh) 一种基于关键词知识检索的聊天回复生成方法和装置
CN117078995A (zh) 一种文本生成的方法、装置、存储介质及电子设备
CN117668543A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN114969825A (zh) 数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant