CN110688849A - 渐进式阅读方法、装置、设备及可读存储介质 - Google Patents
渐进式阅读方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110688849A CN110688849A CN201910836115.7A CN201910836115A CN110688849A CN 110688849 A CN110688849 A CN 110688849A CN 201910836115 A CN201910836115 A CN 201910836115A CN 110688849 A CN110688849 A CN 110688849A
- Authority
- CN
- China
- Prior art keywords
- slice
- text sequence
- model
- progressive reading
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能技术领域,公开了一种渐进式阅读方法,包括以下步骤:使用第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果并计算所述预测结果为正确的累积预测概率;判断累积预测概率是否满足预设阈值;若是,则停止对所述第二文本序列切片集合中的切片的预测,并输出预测结果,如否,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足预设阈值。本发明还公开了一种渐进式阅读装置、设备及计算机可读存储介质。本发明提供的渐进式阅读方法解决了阅读场景中答案识别效率低的技术问题。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种渐进式阅读方法、装置、设备及计算机可读存储介质。
背景技术
人类以渐进的方式进行阅读和理解,例如,当我们阅读一段文字时,随着阅读量的增加,理解也增加,我们不需要读到最后一句话再去理解第一句话,这一渐进的方式极大地提高了我们阅读和理解的效率。目前的问答QA模型需要阅读整个文本,即处理完所有的数据才能输出问题答案,例如,循环神经网络RNNs或其他自我关注模型都是这种模式。然而,在文本较长时,对当前阅读到的语句或段落是否为正确答案的识别效率并不高。因此,如何提高问答场景下模型对答案的识别效率,是目前本领域技术人员亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种渐进式阅读方法、装置、设备及计算机可读存储介质,旨在解决阅读场景中答案识别效率低的技术问题。
为实现上述目的,本发明提供一种渐进式阅读方法,所述渐进式阅读方法包括以下步骤:
使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合,其中,第一文本序列切片集合由问题集合与答案集合构成;
使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
判断所述累积预测概率是否小于第一预设阈值;
若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至累积概率大于或等于预设阈值,若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
判断累积预测概率是否满足第二预设阈值;
若累积预测概率满足第二预设阈值,则停止对所述第二文本序列切片集合中的切片的预测,并输出预测结果,若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足第二预设阈值。
可选地,在所述使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合的步骤之前,还包括以下步骤:
使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
若文本序列切片集合中的单个文本序列切片长度符合当前预定的切片长度,则输出文本序列切片集合,若文本序列切片集合中的单个文本序列切片长度不符合当前预定的切片长度,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
可选地,在所述使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集的步骤之前,还包括以下步骤:
将由问题集合与答案集合构成的第一文本序列切片集合存储于预置词库中,其中,问题集合由多个问题文本序列组成,答案集合由多个答案文本序列组成;
建立所述问题集合中问题文本序列与答案文本序列的映射关系。
可选地,所述使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合具体包括以下步骤:
根据预设规则,通过预置切片模型集将文本序列X=[x1,x2......,xT]切片为一个或多子文本序列切片,其中,每个文本序列切片可以表示为Np=[x(p-1)*t+1,x(p-1)*t+2,......,xp*t],所述P表示是的切片的层数,所述T表示的是文本序列的长度,所述t指的是每个子序列的长度;
判断当前子文本序列切片是否为最小子文本序列切片,其中,所述最小子文本序列切片的长度为K表示的是切片的次数,n表示的最小子文本序列切片的个数,T表示的是文本序列的长度;
若当前子文本序列切片为最小子文本序列切片,则输出所述最小子文本序列切片,若当前子文本序列切片为非最小子文本序列切片,则继续对所述子文本序列切片进行切片,直至输出最小子文本序列切片。
可选地,所述使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率的步骤具体包括以下步骤:
使用所述第二渐进式阅读模型对所述第二文本序列切片集合中的各个文本序列依次进行切片;
通过所述第二渐进式阅读模型,按照先后顺序依次输出所述第二文本序列切片集合中各个切片为正确答案的预测概率;
对当前已输出的各个文本序列切片的预测概率进行累积求和,得到累积预测概率。
可选地,在所述对当前已输出的各个文本序列切片的预测概率进行累积求和,得到累积预测概率的步骤之前,还包括以下步骤:
判断第二文本序列切片集合中的单个文本序列切片为正确答案的概率是否满足第三预设阈值;
若文本序列切片集合中的单个文本序列切片为正确答案的概率满足第三预设阈值,则保留该文本序列切片的概率,若文本序列切片集合中的单个文本序列切片为正确答案的概率不满足第三预设阈值,则舍弃该文本序列切片的概率。
进一步地,为实现上述目的,本发明还提供第一种渐进式阅读装置,所述渐进式阅读装置包括:
第一切片模块,用于使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合;
第一训练模块,用于使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
第一计算模块,用于使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第一判断模块,用于判断所述累积预测概率是否小于第一预设阈值;
第一调节模块,用于若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至所述累积概率大于或等于预设阈值;
第二计算模块,用于若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第二判断模块,用于判断累积预测概率是否满足第二预设阈值;
第一输出模块,用于若累积预测概率满足第二预设阈值,则停止对第二文本序列切片集合中的切片的预测,并输出预测结果;
预测模块,用于若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足预设阈值。
可选地,所述渐进式阅读装置还包括以下模块:
第二训练模块,用于使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
第二切片模块,用于使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
第三判断模块,用于判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
第二输出模块,用于若文本序列切片集合中的单个文本序列切片长度符合当前预定的切片长度,则输出文本序列切片集合;
第二调节模块,用于若文本序列切片集合中的单个文本序列切片长度不符合当前预定的切片长度,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
进一步地,为实现上述目的,本发明还提供一种渐进式阅读方法设备,所述渐进式阅读方法设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的渐进式阅读方法程序,所述渐进式阅读方法程序被所述处理器执行时实现如上述任一项所述的渐进式阅读方法方法的步骤。
进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有渐进式阅读方法程序,所述渐进式阅读方法程序被处理器执行时实现如上述任一项所述的渐进式阅读方法方法的步骤。
本发明先通过对文本序列进行切片,这样再通过渐进式阅读模型对切片进行预测的时,可以极大提高阅读到正确答案的准确性,另外,可以根据阅读到的切片,及时停止阅读,与现有技术中需要读取完所有的文本才能输出答案的方式相比,本方案输出的答案会更加准确,另外,读取到正确答案就及时停止阅读,提高了输出正确答案的效率,节约了用户等待的时间,可以提高用户体验。
附图说明
图1为本发明实施例方案涉及的渐进式阅读设备运行环境的结构示意图;
图2为本发明渐进式阅读方法第一实施例的流程示意图;
图3为本发明渐进式阅读方法第二实施例的流程示意图;
图4为本发明渐进式阅读方法第三实施例的流程示意图;
图5为图2中步骤S10的细化流程示意图;
图6为图2中步骤S30的细化流程示意图;
图7为本发明渐进式阅读方法第四实施例的流程示意图;
图8为本发明渐进式阅读装置第一实施例的功能模块示意图;
图9为本发明渐进式阅读装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种渐进式阅读设备。
参照图1,图1为本发明实施例方案涉及的渐进式阅读设备运行环境的结构示意图。
如图1所示,该渐进式阅读设备包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的渐进式阅读设备的硬件结构并不构成对渐进式阅读设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及渐进式阅读程序。其中,操作系统是管理和控制渐进式阅读设备和软件资源的程序,支持渐进式阅读程序以及其它软件和/或程序的运行。
在图1所示的渐进式阅读设备的硬件结构中,网络接口1004主要用于接入网络;用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的渐进式阅读程序,并执行以下渐进式阅读方法的各实施例的操作。
基于上述渐进式阅读设备硬件结构,提出本发明渐进式阅读方法的各个实施例。
参照图2,图2为本发明渐进式阅读方法第一实施例的流程示意图。本实施例中,所述渐进式阅读方法包括以下步骤:
步骤S10,使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合,其中,第一文本序列切片集合由问题集合与答案集合构成;
本实施例中,预置切片模型集是一种基于门控循环单元GUR的切片模型集,可以将获取到的文本序列按照预设规则切片成一个多个文本序列切片,即预置文本序列切片集合,预置规则可以是,将文本序列切片若干个长度为1的文本序列切片。使用预置切片模型对预置文本序列进行切片就可以得到预置文本序列切片集合。
步骤S20,使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
本实施例中,使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型。
步骤S30,使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
本实施例中,此时我们并不知道第二渐进式阅读模型是否可以对第二文本序列切片集合进行预测,所以需要预先通过人工的方式对第二文本进行理解,得到人工标注的结果,根据人工标注的结果,计算出第二渐进式阅读模型所输出预测结果为正确的累积概率。计算累积预测概率的方式为,将当前读取到的切片的为正确的概率值进行求和。
步骤S40,判断所述累积预测概率是否小于第一预设阈值;
本实施例中,第一预设阈值指的是预先设定的累积预测概率的值,例如99%,设置第一预设阈值的目的是为了方便判断当前的累积预测概率的值是否符合要求。
步骤S50,若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至所述累积概率大于或等于预设阈值,若所述累积预测概率大于或等于第一预设阈值,则返回步骤S30;
本实施例中,渐进式阅读模型主要由门控循环单元GRU构成,渐进式阅读模型指的是在问答场景下,根据问题去阅读文本,并从阅读到的文本中找到问题的答案,若找到答案就停止阅读,不用将文本内所有的资料全部阅读完才可以得到答案。使用渐进式阅读模型阅读到的预置文本序列切片后,就开始预测其为正确答案的概率,并输出预置文本序列切片为正确答案的累积预测概率。
步骤S60,判断累积预测概率是否满足第二预设阈值;
本实施例中,预设阈值指的预设的正确率,正确率可以是0-1之间的任意数值。判断读取到的文本序列的累积预测概率是否满足预先设定的正确率。
步骤S70,若累积预测概率满足第二预设阈值,则停止对所述第二文本序列切片集合中的切片的预测,并输出预测结果。
本实施例中,若渐进式阅读模型输出的预置文本序列切片为正确答案的累积预测概率满足第二预设阈值,则说明当前已经预测到了正确答案,可以停止阅读,并同时将正确答案输出,若渐进式阅读模型输出的预置文本序列切片为正确答案的累积预测概率不满足预设阈值,则说明当前为预测到了正确答案,因此需要继续读取下一个预置文本序列切片,直至累积预测概率满足第二预设阈值。
对DocQA模型进行扩展,允许其进行渐进阅读且不降低准确性,当确认找到答案时,停止阅读剩下的文本,这样可以快速找到答案。
参照图3,图3为本发明渐进式阅读方法第二实施例的流程示意图。本实施例中,在所述图2的步骤S10之前,还包括以下步骤:
步骤S80,使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
本实施例中,之所以使用基于GUR构建切片模型,是因为GUR由门函数控制,而门函数可以学习到一些决策的机制,例如,学习到采用什么方式对文本序列进行切片的机制,可以将长度为6的文本序列切片成6个长度为1的文本序列切片,也可以将长度为6的文本序列切片成3个长度为2的文本序列切片。渐进式阅读模型是一种基于门控循环单元GUR的模型,由于门控循环单元GUR中包括门函数,而门函数可以学习到一些机制,例如,学习到采用渐进的方式去阅读文本,并找出问题的答案机制,而不是采用阅读完所有文本后才能输出答案的机制。
LSTM中有三个门函数:输入门、遗忘门和输出门,通过这三个函数来控制输入值、记忆值和输出值。而在GRU中只有两个门函数:分别是更新门和重置门。GRU相对于LSTM少了一个门函数,因此在参数的数量上也是要少于LSTM的,所以GRU的训练速度要快于LSTM的。渐进式阅读模型是一个序列到序列的模型,即将文本序列切片依次输入渐进式阅读模型,渐进式阅读模型就可以依次阅读到切片1、切片2......切片n,并依次对切片1、切片2......切片n为正确答案的概率进行预测,并将预测到的覆盖率依次输出。
步骤S90,使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
本实施例中,使用预置切片模型可以将获取到的文本序列按照预设规则切片成一个多个文本序列切片,即预置文本序列切片集合,预置规则可以是,将文本序列切片若干个长度为1的文本序列切片。使用预置切片模型对预置文本序列进行切片就可以得到预置文本序列切片集合。
步骤S100,判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
本实施例中,预定的切片长度是由渐进式阅读模型输出的正确答案的准确率决定的,若将2个字作为文本序列切片,输入渐进式阅读模型后,输出的答案的正确率高于将1个字作为文本序列切片的情况,则采用2个字为预定的切片长度。
步骤S110,若文本序列切片集合中的单个文本序列切片长度符合当前预定的切片长度,则输出文本序列切片集合,若文本序列切片集合中的单个文本序列切片长度不符合当前预定的切片长度,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
本实施例中,若是,则输出最小子文本序列切片,若否,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度。
本方案的有益效果,将文本序列切片成了一系列的文本序列切片,渐进式阅读模型对读取到的每个文本序列切片都对其为正确答案的概率进行预测,若预测结果不满足第二初始预设阈值,则将不满足第二初始预设阈值的文本序列切片进行舍弃,将满足第二初始预设阈值的各个文本序列切片为正确答案的概率进行求和,判断求和的结果是否满足第一初始初始预设阈值,若满足,则将文本序列切片集合的答案输出,若不满足,则读取下个文本序列切片,直至读取到正确答案,再停止对文本序列切片的阅读。本方案可以通过渐进式阅读模型准确读取到正确答案,并仅将正确答案输出,其他与正确答案无关的文本则被舍弃。解决了现有技术中需要读取完所有文本才能将正确答案输出的技术问题。
参照图4,图4为本发明渐进式阅读方法第三实施例的流程示意图。本实施例中,在所述图3的步骤S80之前,还包括以下步骤:
步骤S120,将由问题集合与答案集合构成的第一文本序列切片集合存储于预置词库中,其中,问题集合由多个问题文本序列组成,答案集合由多个答案文本序列组成;
本实施例中,将由问题集合与答案集合构成的第一文本序列切片集合存储于预置词库中,其中,问题集合由多个问题文本序列组成,答案集合由多个答案文本序列组成。
步骤S130,建立所述问题集合中问题文本序列与答案文本序列的映射关系。
本实施例中,建立所述问题集合中问题文本序列与答案文本序列的映射关系,其目的是方便后续对第一渐进式阅读模型进行训练,若不在训练模型之前预先建立映射关系,则第一渐进式阅读模读取到答案时并不能知晓该答案是否为正确答案。
参照图5,图5为图2中步骤S10的细化流程示意图。本实施例中,上述步骤S10具体包括以下步骤:
步骤S101,根据预设规则,通过预置切片模型集将文本序列X=[x1,x2......,xT]切片为一个或多子文本序列切片,其中,每个文本序列切片可以表示为Np=[x(p-1)*t+1,x(p-1)*t+2,......,xp*t],所述P表示是的切片的层数,所述T表示的是文本序列的长度,所述t指的是每个子序列的长度;
本实施例中,预设规则指的是根据实际场景为待切片的文本序列设置切片单位,切片单位指的是一个文本序列可以被切片成的最小长度。
例如,有一个9个字的文本123456789,切为3个,那么t=3,切为123/456/789;那么N1=123,N2=466,N3=789。
例如,输入切片模型进行训练的文本序列x的长度为T,输入序列为:X=[x1,x2......,xT],然后把x分成n个等长的子序列,每个子序列的长度为:其中n是切片数,序列文本x可以表示为:X=[N1,N2,......,Nn],其中每个子序列为:Np=[x(p-1)*t+1,x(p-1)*t+2,......,xp*t],再次将每个子序列N分割成n个等长的子序列,然后重复此切片操作k次,直到在底层有一个合适的最小子序列长度(第0层),并且通过切片k次获得k+1层,第0层的最小子序列长度为:第0层最小子序列文本切片数为:s0=nk,由于第p层上的每个父序列(p>0)被分割成n个部分,因此p层上的子序列数为:sp=nk-p,p层的子序列长度为:λp=n,将获取的最小子序列切片输入SoftMax层,由SoftMax将最小子序列切片进行聚合,并依次输出所有的切片。
例如,规定最小文本序列的长度为1,其中一个文本序列x的长度为8。若把x切成2个等长的子序列,则每个子序列的长度为4(切片单位),若把长度为4的2个等长的子序列,分别切成2个等长的子序列,则每个子序列的长度为2......这样一直切片下去,会把一个长度为8的x切片成8个等长的最小子序列,其中每个长度为1。
步骤S102,判断当前子文本序列切片是否为最小子文本序列切片,其中,所述最小子文本序列切片的长度为K表示的是切片的次数,n表示的最小子文本序列切片的个数,T表示的是文本序列的长度;
本实施例中,判断当前子文本序列切片是否为最小子文本序列切片。具体为:预先设置文本序列的切片单位切片单位指的是设置文本序列可以被切片成最小的长度,即最小子文本序列切片,例如,规定一个字为切片单位。有了切片单位就可以知道一个文本序列最多可以切片成多个文本序列切片。例如,可以将一个字设置为切片单位,也可以将两个或两个以上的字设置为切片单位,若一段话有八个字,若按照一个字为切片单位的方式进行切片,可以切片成八个文本序列切片,若按照两个字为切片单位的方式进行切片,可以切片成四个文本序列切片。本实施例中优先采用一个字为切片单位的方式。以一个字为切片单位,在对文本序列切片进行预测是时候会比较准确,若将两个字设置为切片单位,很可能会出现不够切片的情况,例如7个字,因此还要对不够的部分进行插补,但是这种方式运算量较小,因此速度会更快些。
步骤S103,若当前子文本序列切片为最小子文本序列切片,则输出所述最小子文本序列切片,若当前子文本序列切片为非最小子文本序列切片,则继续对所述子文本序列切片进行切片,直至输出最小子文本序列切片。
本实施例中,判断当前子文本序列切片是否为最小子文本序列切片,若当前子文本序列切片为最小子文本序列切片,则输出所述最小子文本序列切片,若当前子文本序列切片为非最小子文本序列切片,则继续对所述子文本序列切片进行切片,直至输出最小子文本序列切片。
参照图6,图6为图2中步骤S30的细化流程示意图。本实施例中,上述步骤S30具体包括以下步骤:
步骤S301,使用所述第二渐进式阅读模型对所述第二文本序列切片集合中的各个文本序列依次进行切片;
本实施例中,渐进式阅读模型依次预测预置文本序列切片集合中的预置文本序列切片,例如,先预测切片1,再预测切片2......切片n。
步骤S302,通过所述第二渐进式阅读模型,按照先后顺序依次输出所述第二文本序列切片集合中各个切片为正确答案的预测概率;
本实施例中,输出完当前预置文本序列切片为正确答案的预测概率后,再去输出下一个预置文本序列切片为正确答案的预测概率,渐进式阅读模型按照先后顺序依次输出所述第二文本序列切片集合中各个切片为正确答案的预测概率。
步骤S303,对当前已输出的各个文本序列切片的预测概率进行累积求和,得到累积预测概率。
本实施例中,通过求和公式对当前已输出的每个预置文本序列切片为正确答案的预测概率进行累积求和,得到累积预测概率。
求和公式为:一个文本X可以最多被切片成n个文本序列切片,文本序列切片1为正确答案的概率为X1,文本序列切片X2......文本序列切片Xn,那么根据求和公式就可以得到累积预测概率P。例如,第一个文本序列切片为正确答案的预测概率为0.1,第二个文本序列切片为正确答案的预测概率为0.5,第三个文本序列切片为正确答案的预测概率为0.2,则累积预测概率为0.8。
参照图7,图7为本发明渐进式阅读方法第四实施例的流程示意图。本实施例中,在所述图6的步骤S303之前,还包括以下步骤:
步骤S140,判断第二文本序列切片集合中的单个文本序列切片为正确答案的概率是否满足第三预设阈值;
本实施例中,第三预设阈值指的是对的单个文本序列切片为正确答案的概率的限定值,例如规定单个文本序列切片为正确答案的概率必须高于0.1,若低于0.1则可以判定该文本序列切片不正确答案的组成部分,因此舍弃该文本序列切片,并继续读取下一个文本序列切片。
步骤S150,若文本序列切片集合中的单个文本序列切片为正确答案的概率满足第三预设阈值,则保留该文本序列切片的概率,若文本序列切片集合中的单个文本序列切片为正确答案的概率不满足第三预设阈值,则舍弃该文本序列切片的概率。
本实施例中,在实际问答场景中,会出现,提出一个问题后,会得到得到有若干句话组成的语言段,所以存在答案在语言段中间的场景,若将答案语言段之前的句子也一并输出,就不符合本方案中渐进式阅读模型所要实现的功能。例如,甲问:今天是晴天吗?乙回:太热了,今天是晴天,不适合出门。由此可见,若只用满足累积预测概率的第一初始预设阈值,去评价渐进式阅读模型是否真的可以输出准确的答案,是存在一定缺陷的,所以在本实施例中,要通过第二初始预设阈值对每个文本序列切片的正确率进行限定,若当前的单个文本序列切片的正确率低于第二初始预设阈值,那么就将该文本序列切片进行舍弃,之所以可以实现将低于第二初始预设阈值的文本序列切片进行舍弃,是因为GRU中的更新门起到了作用,更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多,更新门的值越小说明前一时刻的状态信息带入越少,当为0的时候则说明前一时刻的的信息被全部遗忘掉了,利用这个特性,我们可以规定,第二初始预设阈值为0.1,即在文本序列切片为正确答案的概率小于0.1时,则舍弃该文本序列切片,即在对所有文本序列切片为正确答案的概率进行求和的时候,不再加上该切片的概率。
参照图8,图8为本发明渐进式阅读装置第一实施例的功能模块示意图。本实施例中,所述渐进式阅读装置包括:
第一切片模块10,用于使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合;
第一训练模块20,用于使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
第一计算模块30,用于使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第一判断模块40,用于判断所述累积预测概率是否小于第一预设阈值;
第一调节模块50,用于若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至所述累积概率大于或等于预设阈值;
第二计算模块60,用于若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第二判断模块70,用于判断累积预测概率是否满足第二预设阈值;
第一输出模块80,用于若累积预测概率满足第二预设阈值,则停止对第二文本序列切片集合中的切片的预测,并输出预测结果;
预测模块90,用于若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足预设阈值。
本实施例中,第一切片模块10用于使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合;第一训练模块20用于使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;第一计算模块30用于使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;第一判断模块40用于判断所述累积预测概率是否小于第一预设阈值;第一调节模块50用于若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至所述累积概率大于或等于预设阈值;第二计算模块60用于若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;第二判断模块70用于判断累积预测概率是否满足第二预设阈值;第一输出模块80用于若累积预测概率满足第二预设阈值,则停止对第二文本序列切片集合中的切片的预测,并输出预测结果;预测模块90用于若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足预设阈值。本装置可以根据阅读到的切片,判断是否阅读到了正确答案,若阅读到正确答案就及时停止阅读,提高了输出正确答案的效率,节约了等待的时间,可以提高用户体验。
参照图9,图9为本发明渐进式阅读装置第二实施例的功能模块示意图。本实施例中,所述渐进式阅读装置包括:
第二训练模块100,用于使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
第二切片模块110,用于使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
第三判断模块120,用于判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
第二输出模块130,用于若文本序列切片集合中的单个文本序列切片长度符合当前预定的切片长度,则输出文本序列切片集合;
第二调节模块140,用于若文本序列切片集合中的单个文本序列切片长度不符合当前预定的切片长度,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
本发明还提供一种计算机可读存储介质。
本实施例中,所述计算机可读存储介质上存储有渐进式阅读程序,所述渐进式阅读程序被处理器执行时实现如上述任一项实施例中所述的渐进式阅读方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
Claims (10)
1.一种渐进式阅读方法,其特征在于,所述渐进式阅读方法包括以下步骤:
使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合,其中,第一文本序列切片集合由问题集合与答案集合构成;
使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
判断所述累积预测概率是否小于第一预设阈值;
若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至累积概率大于或等于预设阈值,若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
判断累积预测概率是否满足第二预设阈值;
若累积预测概率满足第二预设阈值,则停止对所述第二文本序列切片集合中的切片的预测,并输出预测结果,若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足第二预设阈值。
2.如权利要求1所述的渐进式阅读方法,其特征在于,在所述使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合的步骤之前,还包括以下步骤:
使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
若是,则输出文本序列切片集合,若否,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
3.如权利要求2所述的渐进式阅读方法,其特征在于,在所述使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集的步骤之前,还包括以下步骤:
将由问题集合与答案集合构成的第一文本序列切片集合存储于预置词库中,其中,问题集合由多个问题文本序列组成,答案集合由多个答案文本序列组成;
建立所述问题集合中问题文本序列与答案文本序列的映射关系。
4.如权利要求1所述的渐进式阅读方法,其特征在于,所述使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合具体包括以下步骤:
根据预设规则,通过预置切片模型集将文本序列X=[x1,x2......,xT]切片为一个或多子文本序列切片,其中,每个文本序列切片可以表示为Np=[x(p-1)*t+1,x(p-1)*t+2,......,xp*t],所述P表示是的切片的层数,所述T表示的是文本序列的长度,所述t指的是每个子序列的长度;
若当前子文本序列切片为最小子文本序列切片,则输出所述最小子文本序列切片,若当前子文本序列切片为非最小子文本序列切片,则继续对所述子文本序列切片进行切片,直至输出最小子文本序列切片。
5.如权利要求1所述的渐进式阅读方法,其特征在于,所述使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率的步骤具体包括以下步骤:
使用所述第二渐进式阅读模型对所述第二文本序列切片集合中的各个文本序列依次进行切片;
通过所述第二渐进式阅读模型,按照先后顺序依次输出所述第二文本序列切片集合中各个切片为正确答案的预测概率;
对当前已输出的各个文本序列切片的预测概率进行累积求和,得到累积预测概率。
6.如权利要求5所述的渐进式阅读方法,其特征在于,在所述对当前已输出的各个文本序列切片的预测概率进行累积求和,得到累积预测概率的步骤之前,还包括以下步骤:
判断第二文本序列切片集合中的单个文本序列切片为正确答案的概率是否满足第三预设阈值;
若文本序列切片集合中的单个文本序列切片为正确答案的概率满足第三预设阈值,则保留该文本序列切片的概率,若文本序列切片集合中的单个文本序列切片为正确答案的概率不满足第三预设阈值,则舍弃该文本序列切片的概率。
7.一种渐进式阅读装置,其特征在于,所述渐进式阅读装置包括:
第一切片模块,用于使用预置切片模型集对预置文本序列进行切片,得到第一文本序列切片集合;
第一训练模块,用于使用所述第一文本序列切片集合训练第一渐进式阅读模型,得到第二渐进式阅读模型;
第一计算模块,用于使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第一判断模块,用于判断所述累积预测概率是否小于第一预设阈值;
第一调节模块,用于若所述累积预测概率小于第一预设阈值,则采用反向传播算法调节所述第二渐进式阅读模型的权重系数,直至所述累积概率大于或等于预设阈值;
第二计算模块,用于若所述累积预测概率大于或等于第一预设阈值,则使用所述第二渐进式阅读模型对第二文本序列切片集合中的切片依次进行预测,得到预测结果,并计算所述预测结果为正确的累积预测概率;
第二判断模块,用于判断累积预测概率是否满足第二预设阈值;
第一输出模块,用于若累积预测概率满足第二预设阈值,则停止对第二文本序列切片集合中的切片的预测,并输出预测结果;
预测模块,用于若累积预测概率不满足第二预设阈值,则继续对第二文本序列切片集合中的切片进行预测,直至累积预测概率满足预设阈值。
8.如权利要求7所述的渐进式阅读装置,其特征在于,所述渐进式阅读装置包括:
第二训练模块,用于使用第一文本序列样本训练基于门控循环单元GUR算法构建的初始切片模型集,得到完成训练的初始切片模型集;
第二切片模块,用于使用所述完成训练的初始切片模型集中的各个切片模型分别对第二文本序列样本进行切片,得到文本序列切片集合;
第三判断模块,用于判断文本序列切片集合中的单个文本序列切片长度是否符合当前预定的切片长度;
第二输出模块,用于若文本序列切片集合中的单个文本序列切片长度符合当前预定的切片长度,则输出文本序列切片集合;
第二调节模块,用于若文本序列切片集合中的单个文本序列切片长度不符合当前预定的切片长度,则采用反向传播算法调节初始切片模型集中各个初始切片模型所占的权重,直至单个文本序列切片长度符合当前预定的切片长度,得到切片模型集。
9.一种渐进式阅读设备,其特征在于,所述渐进式阅读设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的渐进式阅读程序,所述渐进式阅读程序被所述处理器执行时实现如权利要求1-6中任一项所述的渐进式阅读方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有渐进式阅读程序,所述渐进式阅读程序被处理器执行时实现如权利要求1-6中任一项所述的渐进式阅读方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836115.7A CN110688849B (zh) | 2019-09-03 | 2019-09-03 | 渐进式阅读方法、装置、设备及可读存储介质 |
PCT/CN2019/118055 WO2021042553A1 (zh) | 2019-09-03 | 2019-11-13 | 渐进式阅读方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910836115.7A CN110688849B (zh) | 2019-09-03 | 2019-09-03 | 渐进式阅读方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110688849A true CN110688849A (zh) | 2020-01-14 |
CN110688849B CN110688849B (zh) | 2023-09-15 |
Family
ID=69107770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910836115.7A Active CN110688849B (zh) | 2019-09-03 | 2019-09-03 | 渐进式阅读方法、装置、设备及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110688849B (zh) |
WO (1) | WO2021042553A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108763931A (zh) * | 2018-05-28 | 2018-11-06 | 上海交通大学 | 基于Bi-LSTM和文本相似性的漏洞检测方法 |
CN109670494A (zh) * | 2018-12-13 | 2019-04-23 | 深源恒际科技有限公司 | 一种附带识别置信度的文本检测方法及系统 |
CN109858028A (zh) * | 2019-01-30 | 2019-06-07 | 神思电子技术股份有限公司 | 一种基于概率模型的短文本相似度计算方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102141997A (zh) * | 2010-02-02 | 2011-08-03 | 三星电子(中国)研发中心 | 智能决策支持系统及其智能决策方法 |
CN108733703A (zh) * | 2017-04-20 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 问答系统的答案预测方法及装置、电子设备、存储介质 |
CN110019728A (zh) * | 2017-12-25 | 2019-07-16 | 上海智臻智能网络科技股份有限公司 | 自动交互方法及存储介质、终端 |
CN110019729B (zh) * | 2017-12-25 | 2024-03-15 | 上海智臻智能网络科技股份有限公司 | 智能问答方法及存储介质、终端 |
CN110110054B (zh) * | 2019-03-22 | 2021-06-08 | 北京中科汇联科技股份有限公司 | 一种基于深度学习的从非结构化文本中获取问答对的方法 |
-
2019
- 2019-09-03 CN CN201910836115.7A patent/CN110688849B/zh active Active
- 2019-11-13 WO PCT/CN2019/118055 patent/WO2021042553A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108763931A (zh) * | 2018-05-28 | 2018-11-06 | 上海交通大学 | 基于Bi-LSTM和文本相似性的漏洞检测方法 |
CN109670494A (zh) * | 2018-12-13 | 2019-04-23 | 深源恒际科技有限公司 | 一种附带识别置信度的文本检测方法及系统 |
CN109858028A (zh) * | 2019-01-30 | 2019-06-07 | 神思电子技术股份有限公司 | 一种基于概率模型的短文本相似度计算方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110688849B (zh) | 2023-09-15 |
WO2021042553A1 (zh) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11100266B2 (en) | Generating integrated circuit floorplans using neural networks | |
US20230252327A1 (en) | Neural architecture search for convolutional neural networks | |
US20230368024A1 (en) | Neural architecture search | |
US10984319B2 (en) | Neural architecture search | |
US11048875B2 (en) | Skimming data sequences using recurrent neural networks | |
CN113852432B (zh) | 基于rcs-gru模型的频谱预测感知方法 | |
US20230367934A1 (en) | Method and apparatus for constructing vehicle dynamics model and method and apparatus for predicting vehicle state information | |
CN112488183A (zh) | 一种模型优化方法、装置、计算机设备及存储介质 | |
CN114596497B (zh) | 目标检测模型的训练方法、目标检测方法、装置及设备 | |
CN111310918B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN115204412A (zh) | 基于知识蒸馏的问答模型压缩方法、装置及相关设备 | |
CN114547917A (zh) | 仿真预测方法、装置、设备及存储介质 | |
CN117332823B (zh) | 目标内容自动生成方法、装置、电子设备及可读存储介质 | |
CN110688849B (zh) | 渐进式阅读方法、装置、设备及可读存储介质 | |
CN111930602A (zh) | 性能指标预测方法及装置 | |
CN111144473A (zh) | 训练集构建方法、装置、电子设备及计算机可读存储介质 | |
CN110826695A (zh) | 数据处理方法、装置和计算机可读存储介质 | |
CN115346084A (zh) | 样本处理方法、装置、电子设备、存储介质及程序产品 | |
CN113469204A (zh) | 数据处理方法、装置、设备和计算机存储介质 | |
CN117274005B (zh) | 基于数字教育的大数据推送方法及系统 | |
CN117786416B (zh) | 一种模型训练方法、装置、设备、存储介质及产品 | |
CN113162780B (zh) | 实时网络拥塞分析方法、装置、计算机设备和存储介质 | |
US11886976B1 (en) | Efficient decoding of output sequences using adaptive early exiting | |
CN114611523A (zh) | 一种命令采集方法、装置和智能设备 | |
CN115329896A (zh) | 一种用于强化学习探索训练的数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |