CN107894971B - 一种可扩展的基于神经网络的序列标注方法 - Google Patents

一种可扩展的基于神经网络的序列标注方法 Download PDF

Info

Publication number
CN107894971B
CN107894971B CN201711026809.1A CN201711026809A CN107894971B CN 107894971 B CN107894971 B CN 107894971B CN 201711026809 A CN201711026809 A CN 201711026809A CN 107894971 B CN107894971 B CN 107894971B
Authority
CN
China
Prior art keywords
label
rank
neural network
sequence
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711026809.1A
Other languages
English (en)
Other versions
CN107894971A (zh
Inventor
孙栩
张艺
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201711026809.1A priority Critical patent/CN107894971B/zh
Publication of CN107894971A publication Critical patent/CN107894971A/zh
Application granted granted Critical
Publication of CN107894971B publication Critical patent/CN107894971B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种可扩展的基于神经网络的序列标注方法。本方法为：创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；标注单元i的标签与其邻近n‑1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；利用该层叠n阶模型对给定的序列进行标签预测，得到一标签序列。本发明显著减少了模型过拟合风险，提高了序列标注任务效果。

Description

一种可扩展的基于神经网络的序列标注方法
技术领域
本发明属于自然语言处理领域，涉及序列标注，尤其涉及一种不同阶模型信息组合解码的序列标注方法。
背景技术
神经网络处理序列标注问题时，在训练阶段，为每一预测出它的相应标签，代价函数是神经网络的预测输出与标准标注的交叉熵，训练过程最小化目标函数。在解码阶段，由神经网络直接预测出当前词的标签。
现有的神经网络处理序列标注问题时，对当前词(字)预测出的标签不涉及周围词(字)标签，即每个词(字)的预测出的标签是独立于其它词(字)的，而后在独立标签的基础上进行梯度下降，这种训练方法很容易出现过拟合问题，并且可能会使神经网络的信息捕捉能力不能完全体现出来。
发明内容
为了克服现有神经网络在序列标注问题上标签独立的技术不足，本发明提供了一种易于扩展的新的序列标注问题的训练与解码方法(在神经网络序列标注问题中，解码过程即为获取输入标注序列的过程)。通过利用高阶标签进行训练和一种联合高阶信息及低阶信息解码的方式来减少过拟合问题，提高神经网络模型表现。
本发明提供的技术方案是：
一种可扩展新的训练方式，通过修改原始文本的单阶标签为更高阶的标签进行训练，以及一种新的解码方式，该解码方式联合了之前训练得到的各阶信息，利用动态规划找出一条最优的标注路径。具体步骤如下：
1)训练过程：
本发明训练过程是不同阶的模型独立训练的过程。对于序列标注问题，标注单位可能是单词或字，以下介绍使用“词”表示标注单位，但不限于词。本发明提出了一种新的标注模式，将当前词的标签与其周围词的标签合并在一起作为一个新的标签。若新的标签由n个标签合并而成，则称其为n阶标签。原始标签是只针对于当前词的标签，即一阶标签，一阶标签集下训练的模型是一阶模型。二阶标签集可通过合并当前词的标签和它之前的词的标签得到，三阶标签集，可通过合并当前词(字)的标签和它之前的词(字)的两个标签得到，更高阶的标签集以此类推。以命名实体识别任务为例，若当前词的标签为I-Location，它的前一个词的标签是B-Location，再往前一个的词的标签是O，则当前词的二阶标签是(B-Location,I-Location)，当前词的三阶标签是(B-Location,I-Location,O)。n阶模型即在n阶标签集下训练的模型。一阶神经网络模型至n阶神经网络模型的模型结构相同，只是各自具有与其阶数对应的标签集，它们的训练过程相互独立。层叠n阶模型是指包含了一阶模型至n阶模型训练过程的模型。
一般是神经网络在输出层会经过一个softmax函数，该softmax函数输出对当前词的所有可能标签的概率分布。此概率分布与真实标签的0-1分布求交叉熵作为代价函数，神经网络的训练是为了最小化此代价函数。为了在解码阶段联合使用不同阶的预测信息，对不同阶数下预测的每个词的概率分布需要进行存储。
至此，除改变了标签集，不同阶数的神经网络模型训练方式与普通神经网络训练方式一致，且神经网络模型结构本身并未发生变化。
2)解码过程：
本发明解码过程基于n-阶马尔科夫假设。由于解码过程综合了不同阶神经网络模型的信息，即解码过程基于之前提到的层叠n阶模型。对于层叠n阶模型，给定的序列(x1,x2,…xt，…xT)，对其进行标签预测，得到以下标签序列：
(y1,y2,…yt,…,yT)
神经网络训练目标是最大化整个标签序列的联合概率，即优化
p(y1,y2,…yt,…,yT)
其中，yt表示第t个词的标签。如果直接计算该联合概率，需要估计的参数数量是非常巨大的，本发明则基于马尔科夫假设，对该联合概率进行分解以减少参数空间，进而方便对其的估计。
具体的，本发明使用标签序列的子序列的局部联合概率的乘积来近似完整标签序列的联合概率。而每个局部联合概率可进一步依据条件概率公式进行分解。以二阶神经网络模型为例，基于二阶马尔科夫假设，原始序列的联合概率可近似分解为：
其中，p(y1,y2),p(y2,y3),…,p(yT-1,yT)等是子序列(y1,y2)，(y2,y3)，…，(yT-1,yT)等的局部联合概率。p(y1,y2)可由条件概率公式进一步分解为P(y1)×p(y2|y1)，p(yT-1,yT)同样可分解为p(yT-1)×p(yT|yT-1)。公式第三行是对第二行的统一表示。其中，p(yt)表示第t个词的所预测标签的概率，由一阶模型输出得到。p(yt+1|yt)表示从第t个标签yt到第t+1个标签yt+1的转移概率。由于二阶模型的可输出对每个词的二阶标签的概率，对第t+1个词，可输出它的标签是(yt,yt+1)的概率，本发明将此概率可看做是：对于第t+1个词，当它的前一个词的标签是yt时，它的标签是yt+1的概率，即转移概率p(yt+1|yt)。至此，上述分解中p(yt)由一阶模型可得到，p(yt+1|yt)由二阶模型可得到。
基于以上数学推导基础，本发明在解码阶段进行动态规划寻找最优的标注序列。仍以二阶模型为例，参照上述二阶模型分解公式，首先计算近似分解中的第一个局部联合概率p(y1,y2)，它由P(y1)×p(y2|y1)得到，P(y1)是由一阶模型输出得到，p(y2|y1)由二阶模型输出得到，它是二阶模型输出标签(y1,y2)的概率。y1所代表的标签是一阶标签集中的任意一个，(y1,y2)所代表的标签是二阶标签集中的任意一个，由于它们所代表的具体标签是相应标签集中任意一个，因此，对所有可能的情况，也就是将y1，y2具体化后，都会计算得到一个对应有具体标签的局部联合概率p(y1,y2)。当p(y1,y2)中的y2代表某一具体标签确定时，y1仍是各种可能的具体标签，因此，y2的代表标签确定时，所对应的概率p(y1,y2)也是有不同值，但存在一个最大值，需要记录对该y2代表某一具体标签值时，最大的p(y1,y2)值所对应的y1的具体标签。记录此值，代表当y2是某一具体标签时，它的前一个具体标签最有可能是哪个。当y2所代表的具体标签改变时，同样，也可进行上述所有计算过程。
此时整句标签序列联合概率的计算只进行到y2的位置，得到了整句标签序列截止到y2时y2取不同具体标签时的概率，且对于y2代表的具体标签的各种情况，都记录了标签序列到y2到它们之前的标签y1最可能的具体标签。接着按计算p(y1,y2)的方式计算p(y2,y3)，把之计算的p(y1,y2)的结果乘以p(y2,y3)，这样整句联合概率的计算进行到y3的位置，得到了整句标签序列截止到y3时y3取不同具体标签时的概率，同样记录每个y3代表的具体标签下它的前一个最有可能的具体标签。以此类推，直到把整句的标签序列计算到最后一个标签后结束。
计算结束，即计算到yT的位置后，得到了整句标签序列在yT对应不同的具体标签下的概率值，取最大值，作为整句标签序列的联合概率，同时，从最大值对应的该具体标签反向追踪，由于上述计算过程记录了每个标签前一个最可能的标签，因此可找到该具体标签最可能的前一个标签，根据记录继续往前追溯，直到最后一个标签，也就是y1所代表的具体标签被找到，反向追踪结束，得到了整句的标签序列。
层叠的三阶模型及更高阶的层叠模型可进行相似的计算。
与现有技术相比，本发明的有益结果是：
本发明提供了一种易于扩展的高阶神经模型训练方式，神经网络模型结构无需改变且训练阶段无动态规划过程，相比于现有技术大大减少了训练时间。同时，提出了一种全新的解码方式，可利用多阶模型信息进行综合解码，显著减少了模型过拟合风险，提高了序列标注任务效果。
附图说明
图1是现有技术的训练过程示意图；
图2是本发明提供的训练过程示意图；
图3是本发明方法的解码阶段示意图。
具体实施方式
下面结合附图，通过实例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种新的针对于序列标注的神经网络模型训练与解码方法。图1是传统神经网络模型的训练方式示意图。如图1所示，模型中每个标准标签只涉及其自己的标签，是一种单阶模型。
图2是本发明的神经网络训练方式，采用了新的标注模式。如图2所示，一个词的n阶标签是合并了n个词的原始标签作为一个新的标签。由于标注模式的改变，整个数据集标签集也发生了改变。一般来讲，n阶的标签集包含了n个一阶标签所有可能的合并方式，等价于对一阶标签进行n-1次笛卡尔乘积，在此情况下，标签集大小随阶数的增长成指数方式增长，可能会出现标签集过大的情况，不利于训练及解码。此外，在解码阶段，动态规划需计算局部联合概率对应于具体标签的值，随着阶数的增长，局部联合概率对应的具体标签组合也将呈指数方式增长，降低了解码阶段效率。
因此本发明采用了两种剪枝策略：一，只记录在训练集中出现过的高阶标签，前述训练阶段介绍均以此为基础。使用该策略具体原因是：给定一阶标签集，高阶标签集应是获取一阶标签的所有可能的合并方式，但由此得到的高阶标签部分是不合理的而不会在实际数据中出现(以命名实体识别任务为例，二阶标签(B-location,I-location)是一个合理的二阶标签，而(B-Location,I-Person)是不合理二阶标签，不可能通过训练数据获得)，因此，只记录合理的标签组合方式，也就是可由训练数据获得的高阶标签。二，在一阶模型中，已记录了对于原始标签的预测概率分布，此概率分布针对于标签集中的所有标签，而大部分标签是可能性极小的，因此，本发明只记录一阶模型中每个词概率最大的前k个标签及其概率。在之后的层叠高阶模型解码过程中，只基于这k个标签进行笛卡尔乘积可得到的高阶标签进行解码。相较于剪枝前的解码方式，此策略大大减小了解码中的解码代价。
本发明提供的可扩展的高阶模型训练及解码的具体步骤为：
1)在n阶模型下，改变标注方式，获取n阶标签：
图2展示了不同阶数下，标签的组合方式，此标注方式可扩展至任意阶模型。新的标签集只包含训练集中出现过的标签组合。
2)在新的标签集下，依据普通的神经网络训练方式进行训练：
目标函数仍可采用预测概率分布与标准0-1分布的交叉熵，训练方法可采用随机梯度下降、亚当优化等多种参数更新方式。对于不同阶模型，记录下词的标签概率分布中前k个概率最大值和对应的具体标签。
3)利用不同阶模型记录的概率信息，进行综合解码：
图3是层叠n阶模型的解码阶段示意图。
本发明训练阶段只改变标签集，而不改变模型结构，此外，训练阶段不需要动态规划过程，训练效率较高，具有极强的扩展性。
本发明为解码阶段提供了一种通用的解码方式，同样易于扩展至高阶模型。对于需预测的原始完整序列联合概率，本发明提供了一种新的分解方式，将难以直接拟合的完整序列联合概率近似分解为局部联合概率乘积之和，意图最大化局部联合概率而获得更大完整序列联合概率。
对于长度为T的标签序列(y1,y2,…,yT)，基于二阶马尔科夫假设的分解方式为：
基于三阶马尔科夫假设的分解方式为：
扩展至n阶，完整序列联合概率P(y1,y2,…,yT)可分解为：
其中，第一行近似分解中的p(y1,y2,…,yn)代表标签序列从第1个位置到第n个位置的子序列(yT-n+1,yT-n+2,…,yT)的局部联合概率，同理，p(yT-n+1,yT-n+2,…,yT)代表标签序列从第T-n+1个位置到第T个位置子序列的局部联合概率，t＝1,…,T-n+1。第二行分解中的转移概率p(yt+n-1|yt,yt+1,…,yt+n-2)代表当第t个词到第t+n-2个词的标签序列是(yt,yt+1,…,yt+n-2)时，第t-n+1个词的标签是yt+n-1的概率，p(yt)由一阶神经网络模型得到，p(yt+1|yt)由二阶神经网络模型得到，之后的转移概率依次由三阶至n阶神经网络模型得到。
基于如上推演，最终的分解方式综合了不同阶模型下的标签信息，可根据公式进行层叠n阶模型的解码。同时，依据前面的剪枝策略，在层叠n阶模型完整序列联合概率近似分解后，从左至右计算每个局部联合概率p(y1,y2,…,yn),…时，只考虑一阶模型进行预测标签剪枝后的标签组合。针对于具体标签组合，记录下条件概率p(yt+n-1|yt,yt+1,…,yt+n-2)所代表的转移前的具体标签组合(yt,yt+1,…,yt+n-2)。最后一个局部联合概率p(yT-n+1,yT-n+2,…,yT)计算结束后，得到了完整标注序列的近似联合概率。层叠n阶模型在完整标注序列的近似联合概率计算完成后，与层叠二阶模型解码过程类似，在最后一个标签组合代表的不同具体标签组合处有不同值，最大值对应的具体标签组合中代表第T个词的标签就是最后一个词的标签，从最大值对应的具体标签组合处开始反向追踪，由于记录了每个具体标签组合转移前的具体标签组合，便可获取它之前的具体标签组合，其中代表第T-1个词的标签就是倒数第二个词的标签，以此类推直到得到第一个词的标签，从而得到了整个标注序列。
本发明方法适用于所有利用循环神经网络及其变体训练的序列标注问题，训练阶段和解码阶段具有很高的扩展性，不受限于训练方法。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种可扩展的基于神经网络的序列标注方法，其步骤包括：
1)创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；其中，一阶标签集合为各标注单元的标签构成的标签集合；标注单元i的标签与其邻近n-1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；
2)利用该层叠n阶模型对给定的序列(x1，x2，…xt，…xT)进行标签预测，得到一标签序列(y1，y2，…yt，…，yT)；其中，yt表示第t个标注单元xt的标签。
2.如权利要求1所述的方法，其特征在于，优化标签序列(y1，y2，…yt，…，yT)，即最大化整个标签序列(y1，y2，…yt，…，yT)的联合概率p(y1，y2，…yt，…，yT)，得到最优的标注序列。
3.如权利要求2所述的方法，其特征在于，计算所述最大化整个标签序列(y1，y2，…yt，…，yT)的联合概率的方法为：对于每一阶神经网络模型，分别基于马尔科夫假设对该联合概率p(y1，y2，…yt，…，yT)进行分解，得到对应阶神经网络模型下的标签信息；其中，对于n阶神经网络模型，采用基于n阶马尔科夫假设的分解方式，即 其中，p(y1，y2，…，yn)代表标签序列从第1个位置到第n个位置的子序列(y1，y2，…，yn)的局部联合概率，p(yT-n+1，yT-n+2，…，yT)代表标签序列从第T-n+1个位置到第T个位置子序列的局部联合概率，t＝1，…，T-n+1；p(yt)表示第t个标注单元xt的预测标签的概率，由一阶神经网络模型输出得到；p(yt+1|yt)表示从第t个标签yt到第t+1个标签yt+1的转移概率，由二阶神经网络模型得到；p(yt+n-1|yt，yt+1，…，yt+n-2)表示当第t个词到第t+n-2个词的标签序列是(yt，yt+1，…，yt+n-2)时，第t-n+1个词的标签是yt+n-1的概率，由n阶神经网络模型得到；计算每一局部联合概率时，记录下条件概率所代表的转移前的具体标签组合，计算结束后，在最后一个标签组合代表的不同具体标签组合处有不同值，从最大值对应的具体标签组合处开始反向追踪，获取的标注序列作为所述最优的标注序列。
4.如权利要求1所述的方法，其特征在于，每一阶神经网络模型中每个标注单元保留概率最大的前k个标签及其概率。
5.如权利要求1所述的方法，其特征在于，一阶神经网络模型至n阶神经网络模型的模型结构均相同。
6.如权利要求1～5任一所述的方法，其特征在于，所述标注单元为词或字。
CN201711026809.1A 2017-10-27 2017-10-27 一种可扩展的基于神经网络的序列标注方法 Expired - Fee Related CN107894971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711026809.1A CN107894971B (zh) 2017-10-27 2017-10-27 一种可扩展的基于神经网络的序列标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711026809.1A CN107894971B (zh) 2017-10-27 2017-10-27 一种可扩展的基于神经网络的序列标注方法

Publications (2)

Publication Number Publication Date
CN107894971A CN107894971A (zh) 2018-04-10
CN107894971B true CN107894971B (zh) 2019-11-26

Family

ID=61803925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711026809.1A Expired - Fee Related CN107894971B (zh) 2017-10-27 2017-10-27 一种可扩展的基于神经网络的序列标注方法

Country Status (1)

Country Link
CN (1) CN107894971B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885702B (zh) * 2019-01-17 2024-08-23 哈尔滨工业大学（深圳） 自然语言处理中的序列标注方法、装置、设备及存储介质
CN112990985B (zh) * 2021-04-26 2023-08-22 北京楚梵基业科技有限公司 标签联合概率分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030202A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 特徴語抽出システム
CN105224603A (zh) * 2015-09-01 2016-01-06 北京京东尚科信息技术有限公司 训练语料获取方法及装置
CN106547737A (zh) * 2016-10-25 2017-03-29 复旦大学 基于深度学习的自然语言处理中的序列标注方法
CN106611055A (zh) * 2016-12-27 2017-05-03 大连理工大学 基于层叠式神经网络的中文模糊限制信息范围检测方法
CN103942214B (zh) * 2013-01-21 2017-05-17 北京大学 基于多模态矩阵填充的自然图像分类方法及装置
CN107251011A (zh) * 2015-02-17 2017-10-13 微软技术许可有限责任公司 用于序列标签器的训练系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030202A (ja) * 2002-06-25 2004-01-29 Fujitsu Ltd 特徴語抽出システム
CN103942214B (zh) * 2013-01-21 2017-05-17 北京大学 基于多模态矩阵填充的自然图像分类方法及装置
CN107251011A (zh) * 2015-02-17 2017-10-13 微软技术许可有限责任公司 用于序列标签器的训练系统和方法
CN105224603A (zh) * 2015-09-01 2016-01-06 北京京东尚科信息技术有限公司 训练语料获取方法及装置
CN106547737A (zh) * 2016-10-25 2017-03-29 复旦大学 基于深度学习的自然语言处理中的序列标注方法
CN106611055A (zh) * 2016-12-27 2017-05-03 大连理工大学 基于层叠式神经网络的中文模糊限制信息范围检测方法

Also Published As

Publication number Publication date
CN107894971A (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
CN109241291A (zh) 基于深度强化学习的知识图谱最优路径查询系统及其方法
CN110444259A (zh) 基于实体关系标注策略的中医电子病历实体关系提取方法
CN105404632A (zh) 基于深度神经网络对生物医学文本序列化标注的系统和方法
CN109063164A (zh) 一种基于深度学习的智能问答方法
CN107894971B (zh) 一种可扩展的基于神经网络的序列标注方法
CN106997488A (zh) 一种结合马尔科夫决策过程的动作知识提取方法
CN116975256B (zh) 抽水蓄能电站地下厂房施工过程多源信息的处理方法及系统
CN109683946A (zh) 一种基于代码克隆技术的用户评论推荐方法
Haque et al. Generalized query-based active learning to identify differentially methylated regions in DNA
CN113326919A (zh) 一种基于计算图的交通出行方式选择预测方法
CN107368895A (zh) 一种结合机器学习和自动规划的动作知识提取方法
Sun et al. Knowledge guided attention and graph convolutional networks for chemical-disease relation extraction
CN118446182A (zh) 基于同义词网络和反向引用对比学习的icd自动编码方法和装置
CN112241785B (zh) 一种基于深度强化学习的图书采访方法
CN113946326A (zh) 一种基于ast和规则库、知识库的可视化代码生成方法
CN117954081A (zh) 一种基于图Transformer的智能医疗问诊方法及系统
Fan et al. Integrating multi-granularity model and similarity measurement for transforming process data into different granularity knowledge
CN117474522A (zh) 基于自然语言推理的电网变电设备运检辅助决策方法
MULHOLLAND et al. Control theory and the regulation of ecosystems
CN115757464B (zh) 一种基于深度强化学习的智能物化视图查询方法
CN116226404A (zh) 一种针对肠-脑轴的知识图谱构建方法及知识图谱系统
Rashidi et al. A deep-belief network approach for course scheduling
Yang RETRACTED ARTICLE: Financial Information Extraction Using the Improved Hidden Markov Model and Deep Learning
CN112966831A (zh) 一种基于人工智能能源超级大脑的智慧能源构建模型
Gadalla et al. An efficient optimisation method based on weighted AND-OR trees for concurrent reconfigurable product design and reconfiguration process planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191126

CF01 Termination of patent right due to non-payment of annual fee