CN109815996A - 一种基于循环神经网络的场景自适配方法及装置 - Google Patents
一种基于循环神经网络的场景自适配方法及装置 Download PDFInfo
- Publication number
- CN109815996A CN109815996A CN201910012308.0A CN201910012308A CN109815996A CN 109815996 A CN109815996 A CN 109815996A CN 201910012308 A CN201910012308 A CN 201910012308A CN 109815996 A CN109815996 A CN 109815996A
- Authority
- CN
- China
- Prior art keywords
- scene
- feature vector
- library
- similar
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于循环神经网络的场景自适配方法及装置,涉及深度学习技术领域,所述方法包括:获得场景库;获得第一场景;根据所述第一场景,获得所述第一场景的特征向量;判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似;如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。基于循环神经网络模型,达到了提高代码复用率,节约了开发人员时间,降低研发成本的技术效果。
Description
技术领域
本申请涉及深度学习技术领域,尤其涉及一种基于循环神经网络的场 景自适配方法及装置。
背景技术
信息化公司在满足客户需求的过程中,会遇到很多的业务场景,针对 每个场景都会有一组相关的功能模块和算法实现。近年来,随着深度学习 技术的进步,尤其是分词、词向量化、特征向量提取的进步,使得实现精 确的场景自适配方法成为可能。
但本申请发明人在实现本申请实施例中技术方案的过程中,发现上述 现有技术至少存在如下技术问题:
现有技术中当出现新场景时,不能自动地去历史记录中寻找相似场景, 出现功能模块重复开发、算法重复设计实现,从而造成资源浪费、耗费精 力,增加研发成本的技术问题。
申请内容
本申请实施例通过提供一种基于循环神经网络的场景自适配方法及装置, 用以解决现有技术中当出现新场景时,不能自动地去历史记录中寻找相似 场景,出现功能模块重复开发、算法重复设计实现,从而造成资源浪费、 耗费精力,增加研发成本的技术问题。基于循环神经网络模型,能够自动 从历史记录中寻找与新场景相似的场景,以便复用已开发的功能模块和算 法实现,达到了提高代码复用率,节约了开发人员时间,降低研发成本的 技术效果。
为了解决上述问题,第一方面,本申请实施例提供了一种基于循环神经 网络的场景自适配方法,所述方法包括:获得场景库;获得第一场景;根据 所述第一场景,获得所述第一场景的特征向量;判断所述第一场景的特征向 量与所述场景库中的场景的特征向量是否相似;如果所述第一场景的特征向 量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能 模块名称和算法实现信息;如果所述第一场景的特征向量与所述场景库中的 场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
优选的,所述判断所述第一场景的特征向量与所述场景库中的场景的特 征向量是否相似,包括:通过f-NLTK对描述所述第一场景的文本进行分词, 获得所述第一场景的分词结果;通过TF-IDF,根据所述分词结果进行关键词 提取;获得标签库;根据所述标签库,获得与所述第一场景相对应的标签; 通过word2vec将所述关键词和所述标签转换为向量,将所述向量进行拼接; 根据拼接后的向量,通过卷积网络提取所述第一场景的特征向量;将所述第 一场景的特征向量与所述场景库中的场景的特征向量进行比较,判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似。
优选的,所述通过f-NLTK对描述所述第一场景的文本进行分词,获得所 述第一场景的分词结果,包括:获得第一输入层;获得正向LSTM隐藏层和逆 向LSTM隐藏层;所述第一输入层同时接入所述正向LSTM隐藏层和逆向LSTM 隐藏层;获得正向LSTM隐藏层输出的第一分词结果;获得逆向LSTM隐藏层 输出的第二分词结果;将所述第一分词结果和所述第二分词结果进行合并, 获得所述第一场景的分词结果。
优选的,所述根据拼接后的向量,通过卷积网络提取所述第一场景的特 征向量,包括:将所述向量进行拼接,获得样本矩阵;对所述样本矩阵进行 中心化处理,获得中心化样本矩阵;获得中心化后的样本矩阵的协方差矩阵; 根据所述协方差矩阵,获得协方差矩阵的特征值和特征向量;根据所述特征 值和所述特征向量,获得映射矩阵;根据所述映射矩阵对所述中心化后的样 本矩阵进行映射,获得输出结果;将所述输出结果作为所述卷积神经网络的 输入,输出所述第一场景的特征向量。
优选的,所述判断所述第一场景的特征向量与所述场景库中的场景的特 征向量是否相似,包括:获得所述第一场景的特征向量与所述场景库中场景 的特征向量的距离集合;根据所述距离集合,获得第一距离,所述第一距离 为所述第一场景的特征向量与所述场景库中场景的特征向量的最小距离;获 得预定距离阈值;判断所述第一距离是否小于所述预定距离阈值;如果所述 第一距离小于所述预定距离阈值,确定所述第一场景的特征向量与所述场景 库中的场景的特征向量相似;如果所述第一距离不小于所述预定距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向量不相似。
优选的,所述预定距离阈值为其中,ei,ej分别为场景库中任意两个场景的特征向量。
优选的,所述通过TF-IDF,根据所述分词结果进行关键词提取之后,包 括:判断提取出的关键词是否存在于所述标签库中;如果所述关键词存在于 所述标签库中,对所述关键词进行向量化;如果所述关键词不存在于所述标 签库中,将所述关键词添加到所述标签库中并对所述关键词进行向量化。
第二方面,本申请实施例还提供了一种基于循环神经网络的场景自适配 装置,所述装置包括:
第一获得单元,所述第一获得单元用于获得场景库;
第二获得单元,所述第二获得单元用于获得第一场景;
第三获得单元,所述第三获得单元用于根据所述第一场景,获得所述第 一场景的特征向量;
第一判断单元,所述第一判断单元用于判断所述第一场景的特征向量与 所述场景库中的场景的特征向量是否相似;
第一输出单元,所述第一输出单元用于如果所述第一场景的特征向量与 所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块 名称和算法实现信息;
第一记录单元,所述第一记录单元用于如果所述第一场景的特征向量与 所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所 述场景库中,记录所述第一场景的功能模块和算法实现的信息。
优选的,所述第一判断单元包括:
第四获得单元,所述第四获得单元用于通过f-NLTK对描述所述第一场景 的文本进行分词,获得所述第一场景的分词结果;
第一提取单元,所述第一提取单元用于通过TF-IDF,根据所述分词结果 进行关键词提取;
第五获得单元,所述第五获得单元用于获得标签库;
第六获得单元,所述第六获得单元用于根据所述标签库,获得与所述第 一场景相对应的标签;
第一拼接单元,所述第一拼接单元用于通过word2vec将所述关键词和所 述标签转换为向量,将所述向量进行拼接;
第一提取单元,所述第一提取单元用于根据拼接后的向量,通过卷积网 络提取所述第一场景的特征向量;
第二判断单元,所述第二判断单元用于将所述第一场景的特征向量与所 述场景库中的场景的特征向量进行比较,判断所述第一场景的特征向量与所 述场景库中的场景的特征向量是否相似。
优选的,所述第四获得单元包括:
第七获得单元,所述第七获得单元用于获得第一输入层;
第八获得单元,所述第八获得单元用于获得正向LSTM隐藏层和逆向LSTM 隐藏层;
第一接入单元,所述第一接入单元用于所述第一输入层同时接入所述正 向LSTM隐藏层和逆向LSTM隐藏层;
第九获得单元,所述第九获得单元用于获得正向LSTM隐藏层输出的第一 分词结果;
第十获得单元,所述第十获得单元用于获得逆向LSTM隐藏层输出的第二 分词结果;
第十一获得单元,所述第十一获得单元用于将所述第一分词结果和所述 第二分词结果进行合并,获得所述第一场景的分词结果。
优选的,所述第一提取单元包括:
第十二获得单元,所述第十二获得单元用于将所述向量进行拼接,获得 样本矩阵;
第十三获得单元,所述第十三获得单元用于对所述样本矩阵进行中心化 处理,获得中心化样本矩阵;
第十四获得单元,所述第十四获得单元用于获得中心化后的样本矩阵的 协方差矩阵;
第十五获得单元,所述第十五获得单元用于根据所述协方差矩阵,获得 协方差矩阵的特征值和特征向量;
第十六获得单元,所述第十六获得单元用于根据所述特征值和所述特征 向量,获得映射矩阵;
第十七获得单元,所述第十七获得单元用于根据所述映射矩阵对所述中 心化后的样本矩阵进行映射,获得输出结果;
第二输出单元,所述第二输出单元用于将所述输出结果作为所述卷积神 经网络的输入,输出所述第一场景的特征向量。
优选的,所述第一判断单元包括:
第十八获得单元,所述第十八获得单元用于获得所述第一场景的特征向 量与所述场景库中场景的特征向量的距离集合;
第十九获得单元,所述第十九获得单元用于根据所述距离集合,获得第 一距离,所述第一距离为所述第一场景的特征向量与所述场景库中场景的特 征向量的最小距离;
第二十获得单元,所述第二十获得单元用于获得预定距离阈值;
第三判断单元,所述第三判断单元用于判断所述第一距离是否小于所述 预定距离阈值;
第一确定单元,所述第一确定单元用于如果所述第一距离小于所述预定 距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向量 相似;
第二确定单元,所述第二确定单元用于如果所述第一距离不小于所述预 定距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向 量不相似。
优选的,所述预定距离阈值为其中,ei,ej分别为场景库中任意两个场景的特征向量。
优选的,所述装置还包括:
第四判断单元,所述第四判断单元用于判断提取出的关键词是否存在于 所述标签库中;
第一向量化单元,所述第一向量化单元用于如果所述关键词存在于所述 标签库中,对所述关键词进行向量化;
第二向量化单元,所述第二向量化单元用于如果所述关键词不存在于所 述标签库中,将所述关键词添加到所述标签库中并对所述关键词进行向量化。
第三方面,本申请实施例还提供了一种基于循环神经网络的场景自适配 装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机 程序,所述处理器执行所述程序时实现以下步骤:
获得场景库;
获得第一场景;
根据所述第一场景,获得所述第一场景的特征向量;
判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相 似;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似, 输出所述场景库中的场景的功能模块名称和算法实现信息;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似, 将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模 块和算法实现的信息。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有 计算机程序,该程序被处理器执行时实现以下步骤:
获得场景库;
获得第一场景;
根据所述第一场景,获得所述第一场景的特征向量;
判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相 似;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似, 输出所述场景库中的场景的功能模块名称和算法实现信息;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似, 将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模 块和算法实现的信息。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多 种技术效果:
本申请实施例通过提供一种基于循环神经网络的场景自适配方法及装 置,所述方法包括:获得场景库;获得第一场景;根据所述第一场景,获得 所述第一场景的特征向量;判断所述第一场景的特征向量与所述场景库中的 场景的特征向量是否相似;如果所述第一场景的特征向量与所述场景库中的 场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现 信息;如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相 似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功 能模块和算法实现的信息。用以解决现有技术中当出现新场景时,不能自动 地去历史记录中寻找相似场景,出现功能模块重复开发、算法重复设计实现, 从而造成资源浪费、耗费精力,增加研发成本的技术问题。基于循环神经网 络模型,能够自动从历史记录中寻找与新场景相似的场景,以便复用已开发 的功能模块和算法实现,达到了提高代码复用率,节约了开发人员时间,降 低研发成本的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技 术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它 目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本发明实施例中一种基于循环神经网络的场景自适配方法的流 程示意图;
图2为本发明实施例中一种基于循环神经网络的场景自适配装置的结 构示意图;
图3为本发明实施例中另一种基于循环神经网络的场景自适配装置的 结构示意图。
附图标记说明:第一获得单元11,第二获得单元12,第三获得单元 13,第一判断单元14,第一输出单元15,第一记录单元16,总线300,接 收器301,处理器302,发送器303,存储器304,总线接口306。
具体实施方式
本申请实施例提供了一种基于循环神经网络的场景自适配方法及装置, 用以解决现有技术中当出现新场景时,不能自动地去历史记录中寻找相似场 景,出现功能模块重复开发、算法重复设计实现,从而造成资源浪费、耗费 精力,增加研发成本的技术问题。
为了解决上述技术问题,本申请提供的技术方案总体思路如下:通过获 得场景库;获得第一场景;根据所述第一场景,获得所述第一场景的特征向 量;判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相 似;如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似, 输出所述场景库中的场景的功能模块名称和算法实现信息;如果所述第一场 景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的 特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信 息。基于循环神经网络模型,能够自动从历史记录中寻找与新场景相似的 场景,以便复用已开发的功能模块和算法实现,达到了提高代码复用率, 节约了开发人员时间,降低研发成本的技术效果。
下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当 理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的 说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施 例以及实施例中的技术特征可以相互组合。
实施例一
图1为本发明实施例中一种基于循环神经网络的场景自适配方法的流程 示意图,如图1所示,所述方法包括:
步骤110:获得场景库;
步骤120:获得第一场景;
步骤130:根据所述第一场景,获得所述第一场景的特征向量;
步骤140:判断所述第一场景的特征向量与所述场景库中的场景的特征向 量是否相似;
步骤150:如果所述第一场景的特征向量与所述场景库中的场景的特征向 量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;
步骤160:如果所述第一场景的特征向量与所述场景库中的场景的特征向 量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场 景的功能模块和算法实现的信息。
具体而言,首先获取场景库,所述场景库内包含有一定数据的业务场景, 所述业务场景都具有一组相关的功能模块和算法实现,即为先前已开发好的 功能模块和算法实现,再获取第一场景,其中,所述第一场景为遇到的新场 景,然后根据所述第一场景,利用分词、词向量化以及特征向量提取技术获 得所述第一场景的特征向量,进而判断所述第一场景的特征向量与所述场景 库中的场景的特征向量是否相似,如果所述第一场景的特征向量与所述场景 库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库 中,记录所述第一场景的功能模块和算法实现的信息,便于下次遇到与所述 第一场景类似的场景时,可以直接复用所述第一场景的功能模块和算法实现, 起到丰富和充实所述场景库的作用;如果所述第一场景的特征向量与所述场 景库中的场景的特征向量相似,即可输出所述场景库中的场景的功能模块名 称和算法实现信息,以便复用先前已开发好的功能模块和算法实现,从而避 免了功能模块的重复开发、算法的重复设计与实现,进一步达到了大大提高 代码复用率,避免资源浪费,同时也节约了开发人员的时间,降低了研发成 本的技术效果。
在步骤140中,判断所述第一场景的特征向量与所述场景库中的场景的 特征向量是否相似,具体包括:首先通过f-NLTK对描述所述第一场景的文本 进行分词,获得所述第一场景的分词结果,其中,所述f-NLTK是英文字母 fine-Natural Language Toolkit的缩写,属于一种NLTK(Natural Language Toolkit)自然语言处理工具包,所述NLTK在NLP领域中,是最常使用的一 个Python库。所述f-NLTK是本发明实施例提出的一种新的分词方法,用来 处理人类自然语言数据的Python程序,将描述所述第一场景的文本拆分成若 干个词;再通过TF-IDF,从所述分词结果中进行关键词的提取,其中,所述 TF-IDF(termfrequency–inverse document frequency)是一种用于信息 检索与数据挖掘的常用加权技术,TF的意思是词频(Term Frequency),IDF 的意思是逆文本频率指数(InverseDocument Frequency),TF-IDF的主要思 想为:如果某个词或短语在描述所述第一场景的文本中出现的频率TF高,并 且在所述场景库中很少出现,则认为此词或者短语具有很好的类别区分能力, 适合用来分类。TF-IDF实际上是:TF*IDF,TF表示词条在文档中出现的频率,如果包含词条的文档越少,IDF越大,则说明词条具有很好的类别区分能 力;获得标签库,从概念上讲,标签就是很简单而且可重用的代码结构,所 述标签库包含有先前已开发好的多个标签,所述标签很容易安装在多个场景 中,且容易维护,大大提升了代码的重用性,缩短了开发时间;然后根据所 述标签库,获得与所述第一场景相对应的标签,即在所述标签库中寻找能够 应用到所述第一场景中的标签;使用word2vec将提取的所述关键词和所述标 签转换为包含64个值的列向量,将所述包含64个值的列向量进行拼接;再 根据拼接后的向量,通过卷积网络提取所述第一场景的特征向量;最后将所 述第一场景的特征向量与所述场景库中的场景的特征向量进行比较,从而判 断出所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似。
在步骤140中,在通过f-NLTK对描述所述第一场景的文本进行分词,获 得所述第一场景的分词结果时,具体包括:获得第一输入层;获得正向LSTM 隐藏层和逆向LSTM隐藏层;所述第一输入层同时接入所述正向LSTM隐藏层 和逆向LSTM隐藏层;获得正向LSTM隐藏层输出的第一分词结果;获得逆向 LSTM隐藏层输出的第二分词结果;将所述第一分词结果和所述第二分词结果 进行合并,获得所述第一场景的分词结果。通过所述f-NLTK使用双向LSTM 来构建循环神经网络模型,达到了提高分词性能的技术效果。
在步骤140中,在通过TF-IDF,根据所述分词结果进行关键词提取,获 得标签库之后,判断提取出的关键词是否存在于所述标签库中;如果所述关 键词存在于所述标签库中,对所述关键词进行向量化;如果所述关键词不存 在于所述标签库中,则将所述关键词添加到所述标签库中,并对所述关键词 进行向量化。
在步骤140中,根据拼接后的向量,通过卷积网络提取所述第一场景的 特征向量,包括:将所述包含64个值的列向量拼接起来,拼接顺序不做要求, 形成样本矩阵,对所述样本矩阵进行中心化处理,得到中心化样本矩阵;计 算中心化后的样本矩阵的协方差矩阵;根据所述协方差矩阵,计算协方差矩 阵的特征值和特征向量;根据所述特征值和所述特征向量,获得映射矩阵, 即就是将计算出的所述特征值按照从大到小的顺序排列,并将其对应的所述 特征向量按照此顺序组合成一个映射矩阵,根据指定的特征个数取出映射矩 阵的前64列作为最终的映射矩阵;然后根据所述映射矩阵对所述中心化后的 样本矩阵进行映射,获得输出结果;将所述输出结果作为所述卷积神经网络 的输入,经过多层卷积网络后,输出所述第一场景的特征向量,即输出一个 包含512个值的特征向量,所有特征向量的模都是相等的,所述特征向量也 可以理解为超球面上的一个点。在通过word2vec进行词向量化后,进一步通 过卷积网络提取所述第一场景的特征向量,能够得到更高层次的抽象,便于 对所述第一场景与所述场景库中场景的特征进行比对,进而判断出所述第一 场景与所述场景库中的场景是否相似。
在步骤140中,在提取到所述第一场景的特征向量之后,判断所述第一 场景的特征向量与所述场景库中的场景的特征向量是否相似,具体包括:首 先计算出所述第一场景的特征向量与所述场景库中场景的特征向量的距离集 合;根据所述距离集合,获得第一距离,其中,所述第一距离为所述第一场 景的特征向量与所述场景库中场景的特征向量的最小距离;获得预定距离阈 值,所述预定距离阈值为判断所述第一场景的特征向量与所述场景库中的场 景的特征向量是否相似的临界值,其中,所述预定距离阈值为 其中,ei,ej分别为所述场景库中任意两个场景的特征 向量;然后判断所述第一距离是否小于所述预定距离阈值;如果所述第一距 离小于所述预定距离阈值,则确定所述第一场景的特征向量与所述场景库中 的场景的特征向量相似,即所述第一场景与所述场景库中的场景相似;如果 所述第一距离不小于所述预定距离阈值,则确定所述第一场景的特征向量与 所述场景库中的场景的特征向量不相似,即所述第一场景与所述场景库中的 场景不相似。
实施例二
基于与前述实施例中一种基于循环神经网络的场景自适配方法同样的发 明构思,本发明还提供一种基于循环神经网络的场景自适配装置,如图2所 示,所述装置包括:
第一获得单元11,所述第一获得单元11用于获得场景库;
第二获得单元12,所述第二获得单元12用于获得第一场景;
第三获得单元13,所述第三获得单元13用于根据所述第一场景,获得所 述第一场景的特征向量;
第一判断单元14,所述第一判断单元14用于判断所述第一场景的特征向 量与所述场景库中的场景的特征向量是否相似;
第一输出单元15,所述第一输出单元15用于如果所述第一场景的特征向 量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能 模块名称和算法实现信息;
第一记录单元16,所述第一记录单元16用于如果所述第一场景的特征向 量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加 入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
优选的,所述第一判断单元14包括:
第四获得单元,所述第四获得单元用于通过f-NLTK对描述所述第一场景 的文本进行分词,获得所述第一场景的分词结果;
第一提取单元,所述第一提取单元用于通过TF-IDF,根据所述分词结果 进行关键词提取;
第五获得单元,所述第五获得单元用于获得标签库;
第六获得单元,所述第六获得单元用于根据所述标签库,获得与所述第 一场景相对应的标签;
第一拼接单元,所述第一拼接单元用于通过word2vec将所述关键词和所 述标签转换为向量,将所述向量进行拼接;
第一提取单元,所述第一提取单元用于根据拼接后的向量,通过卷积网 络提取所述第一场景的特征向量;
第二判断单元,所述第二判断单元用于将所述第一场景的特征向量与所 述场景库中的场景的特征向量进行比较,判断所述第一场景的特征向量与所 述场景库中的场景的特征向量是否相似。
优选的,所述第四获得单元包括:
第七获得单元,所述第七获得单元用于获得第一输入层;
第八获得单元,所述第八获得单元用于获得正向LSTM隐藏层和逆向LSTM 隐藏层;
第一接入单元,所述第一接入单元用于所述第一输入层同时接入所述正 向LSTM隐藏层和逆向LSTM隐藏层;
第九获得单元,所述第九获得单元用于获得正向LSTM隐藏层输出的第一 分词结果;
第十获得单元,所述第十获得单元用于获得逆向LSTM隐藏层输出的第二 分词结果;
第十一获得单元,所述第十一获得单元用于将所述第一分词结果和所述 第二分词结果进行合并,获得所述第一场景的分词结果。
优选的,所述第一提取单元包括:
第十二获得单元,所述第十二获得单元用于将所述向量进行拼接,获得 样本矩阵;
第十三获得单元,所述第十三获得单元用于对所述样本矩阵进行中心化 处理,获得中心化样本矩阵;
第十四获得单元,所述第十四获得单元用于获得中心化后的样本矩阵的 协方差矩阵;
第十五获得单元,所述第十五获得单元用于根据所述协方差矩阵,获得 协方差矩阵的特征值和特征向量;
第十六获得单元,所述第十六获得单元用于根据所述特征值和所述特征 向量,获得映射矩阵;
第十七获得单元,所述第十七获得单元用于根据所述映射矩阵对所述中 心化后的样本矩阵进行映射,获得输出结果;
第二输出单元,所述第二输出单元用于将所述输出结果作为所述卷积神 经网络的输入,输出所述第一场景的特征向量。
优选的,所述第一判断单元14包括:
第十八获得单元,所述第十八获得单元用于获得所述第一场景的特征向 量与所述场景库中场景的特征向量的距离集合;
第十九获得单元,所述第十九获得单元用于根据所述距离集合,获得第 一距离,所述第一距离为所述第一场景的特征向量与所述场景库中场景的特 征向量的最小距离;
第二十获得单元,所述第二十获得单元用于获得预定距离阈值;
第三判断单元,所述第三判断单元用于判断所述第一距离是否小于所述 预定距离阈值;
第一确定单元,所述第一确定单元用于如果所述第一距离小于所述预定 距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向量 相似;
第二确定单元,所述第二确定单元用于如果所述第一距离不小于所述预 定距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向 量不相似。
优选的,所述预定距离阈值为其中,ei,ej分别为场景库中任意两个场景的特征向量。
优选的,所述装置还包括:
第四判断单元,所述第四判断单元用于判断提取出的关键词是否存在于 所述标签库中;
第一向量化单元,所述第一向量化单元用于如果所述关键词存在于所述 标签库中,对所述关键词进行向量化;
第二向量化单元,所述第二向量化单元用于如果所述关键词不存在于所 述标签库中,将所述关键词添加到所述标签库中并对所述关键词进行向量化。
前述图1实施例一中的一种基于循环神经网络的场景自适配方法的各种 变化方式和具体实例同样适用于本实施例的一种基于循环神经网络的场景自 适配装置,通过前述对一种基于循环神经网络的场景自适配方法的详细描述, 本领域技术人员可以清楚的知道本实施例中一种基于循环神经网络的场景自 适配装置的实施方法,所以为了说明书的简洁,在此不再详述。
实施例三
基于与前述实施例中一种基于循环神经网络的场景自适配方法同样的发 明构思,本发明还提供一种基于循环神经网络的场景自适配装置,其上存储 有计算机程序,该程序被处理器执行时实现前文所述一种基于循环神经网络 的场景自适配方法的任一方法的步骤。
其中,在图3中,总线架构(用总线300来代表),总线300可 以包括任意数量的互联的总线和桥,总线300将包括由处理器302代 表的一个或多个处理器和存储器304代表的存储器的各种电路链接 在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此, 本文不再对其进行进一步描述。总线接口306在总线300和接收器 301和发送器303之间提供接口。接收器301和发送器303可以是同 一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
处理器302负责管理总线300和通常的处理,而存储器304可以被用于 存储处理器302在执行操作时所使用的数据。
实施例四
基于与前述实施例中一种基于循环神经网络的场景自适配方法同样的发 明构思,本发明还提供一种计算机可读存储介质,其上存储有计算机程序, 该程序被处理器执行时实现以下步骤:
获得场景库;获得第一场景;根据所述第一场景,获得所述第一场景的 特征向量;判断所述第一场景的特征向量与所述场景库中的场景的特征向量 是否相似;如果所述第一场景的特征向量与所述场景库中的场景的特征向量 相似,输出所述场景库中的场景的功能模块名称和算法实现信息;如果所述 第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一 场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实 现的信息。
在具体实施过程中,该程序被处理器执行时,还可以实现实施例一中的 任一方法步骤。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种 技术效果:
本申请实施例通过提供一种基于循环神经网络的场景自适配方法及装 置,所述方法包括:获得场景库;获得第一场景;根据所述第一场景,获得 所述第一场景的特征向量;判断所述第一场景的特征向量与所述场景库中的 场景的特征向量是否相似;如果所述第一场景的特征向量与所述场景库中的 场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现 信息;如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相 似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功 能模块和算法实现的信息。用以解决现有技术中当出现新场景时,不能自动 地去历史记录中寻找相似场景,出现功能模块重复开发、算法重复设计实现, 从而造成资源浪费、耗费精力,增加研发成本的技术问题。基于循环神经网 络模型,能够自动从历史记录中寻找与新场景相似的场景,以便复用已开发 的功能模块和算法实现,达到了提高代码复用率,节约了开发人员时间,降 低研发成本的技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、 或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施 例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个 或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不 限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形 式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现 流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图 中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一 个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令 产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个 方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存 储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上, 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现 的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能 的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离 本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权 利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在 内。
Claims (10)
1.一种基于循环神经网络的场景自适配方法,其特征在于,所述方法包括:
获得场景库;
获得第一场景;
根据所述第一场景,获得所述第一场景的特征向量;
判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
2.如权利要求1所述的方法,其特征在于,所述判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似,包括:
通过f-NLTK对描述所述第一场景的文本进行分词,获得所述第一场景的分词结果;
通过TF-IDF,根据所述分词结果进行关键词提取;
获得标签库;
根据所述标签库,获得与所述第一场景相对应的标签;
通过word2vec将所述关键词和所述标签转换为向量,将所述向量进行拼接;
根据拼接后的向量,通过卷积网络提取所述第一场景的特征向量;
将所述第一场景的特征向量与所述场景库中的场景的特征向量进行比较,判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似。
3.如权利要求2所述的方法,其特征在于,所述通过f-NLTK对描述所述第一场景的文本进行分词,获得所述第一场景的分词结果,包括:
获得第一输入层;
获得正向LSTM隐藏层和逆向LSTM隐藏层;
所述第一输入层同时接入所述正向LSTM隐藏层和逆向LSTM隐藏层;
获得正向LSTM隐藏层输出的第一分词结果;
获得逆向LSTM隐藏层输出的第二分词结果;
将所述第一分词结果和所述第二分词结果进行合并,获得所述第一场景的分词结果。
4.如权利要求2所述的方法,其特征在于,所述根据拼接后的向量,通过卷积网络提取所述第一场景的特征向量,包括:
将所述向量进行拼接,获得样本矩阵;
对所述样本矩阵进行中心化处理,获得中心化样本矩阵;
获得中心化后的样本矩阵的协方差矩阵;
根据所述协方差矩阵,获得协方差矩阵的特征值和特征向量;
根据所述特征值和所述特征向量,获得映射矩阵;
根据所述映射矩阵对所述中心化后的样本矩阵进行映射,获得输出结果;
将所述输出结果作为所述卷积神经网络的输入,输出所述第一场景的特征向量。
5.如权利要求1所述的方法,其特征在于,所述判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似,包括:
获得所述第一场景的特征向量与所述场景库中场景的特征向量的距离集合;
根据所述距离集合,获得第一距离,所述第一距离为所述第一场景的特征向量与所述场景库中场景的特征向量的最小距离;
获得预定距离阈值;
判断所述第一距离是否小于所述预定距离阈值;
如果所述第一距离小于所述预定距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向量相似;
如果所述第一距离不小于所述预定距离阈值,确定所述第一场景的特征向量与所述场景库中的场景的特征向量不相似。
6.如权利要求5所述的方法,其特征在于,所述预定距离阈值为m=其中,ei,ej分别为场景库中任意两个场景的特征向量。
7.如权利要求2所述的方法,其特征在于,所述通过TF-IDF,根据所述分词结果进行关键词提取之后,包括:
判断提取出的关键词是否存在于所述标签库中;
如果所述关键词存在于所述标签库中,对所述关键词进行向量化;
如果所述关键词不存在于所述标签库中,将所述关键词添加到所述标签库中并对所述关键词进行向量化。
8.一种基于循环神经网络的场景自适配装置,其特征在于,所述装置包括:
第一获得单元,所述第一获得单元用于获得场景库;
第二获得单元,所述第二获得单元用于获得第一场景;
第三获得单元,所述第三获得单元用于根据所述第一场景,获得所述第一场景的特征向量;
第一判断单元,所述第一判断单元用于判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似;
第一输出单元,所述第一输出单元用于如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;
第一记录单元,所述第一记录单元用于如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
9.一种基于循环神经网络的场景自适配装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现以下步骤:
获得场景库;
获得第一场景;
根据所述第一场景,获得所述第一场景的特征向量;
判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现以下步骤:
获得场景库;
获得第一场景;
根据所述第一场景,获得所述第一场景的特征向量;
判断所述第一场景的特征向量与所述场景库中的场景的特征向量是否相似;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量相似,输出所述场景库中的场景的功能模块名称和算法实现信息;
如果所述第一场景的特征向量与所述场景库中的场景的特征向量不相似,将所述第一场景的特征向量加入所述场景库中,记录所述第一场景的功能模块和算法实现的信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910012308.0A CN109815996B (zh) | 2019-01-07 | 2019-01-07 | 一种基于循环神经网络的场景自适配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910012308.0A CN109815996B (zh) | 2019-01-07 | 2019-01-07 | 一种基于循环神经网络的场景自适配方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109815996A true CN109815996A (zh) | 2019-05-28 |
CN109815996B CN109815996B (zh) | 2021-05-04 |
Family
ID=66604006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910012308.0A Active CN109815996B (zh) | 2019-01-07 | 2019-01-07 | 一种基于循环神经网络的场景自适配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109815996B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110838157A (zh) * | 2019-10-10 | 2020-02-25 | 青岛海信网络科技股份有限公司 | 一种应急突发场景专题图生成的方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126235A (zh) * | 2016-06-24 | 2016-11-16 | 中国科学院信息工程研究所 | 一种复用代码库构建方法、复用代码快速溯源方法及系统 |
CN106484664A (zh) * | 2016-10-21 | 2017-03-08 | 竹间智能科技(上海)有限公司 | 一种短文本间相似度计算方法 |
US20170147910A1 (en) * | 2015-10-02 | 2017-05-25 | Baidu Usa Llc | Systems and methods for fast novel visual concept learning from sentence descriptions of images |
CN107113428A (zh) * | 2014-10-03 | 2017-08-29 | 微软技术许可有限责任公司 | 基于用户在场景中的存在而适配编码属性 |
US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
CN107515856A (zh) * | 2017-08-30 | 2017-12-26 | 哈尔滨工业大学 | 一种基于局部信息表示的细粒度情感元素抽取方法 |
CN107908757A (zh) * | 2017-11-21 | 2018-04-13 | 恒安嘉新(北京)科技股份公司 | 网站分类方法及系统 |
-
2019
- 2019-01-07 CN CN201910012308.0A patent/CN109815996B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107113428A (zh) * | 2014-10-03 | 2017-08-29 | 微软技术许可有限责任公司 | 基于用户在场景中的存在而适配编码属性 |
US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
US20170147910A1 (en) * | 2015-10-02 | 2017-05-25 | Baidu Usa Llc | Systems and methods for fast novel visual concept learning from sentence descriptions of images |
CN106126235A (zh) * | 2016-06-24 | 2016-11-16 | 中国科学院信息工程研究所 | 一种复用代码库构建方法、复用代码快速溯源方法及系统 |
CN106484664A (zh) * | 2016-10-21 | 2017-03-08 | 竹间智能科技(上海)有限公司 | 一种短文本间相似度计算方法 |
CN107515856A (zh) * | 2017-08-30 | 2017-12-26 | 哈尔滨工业大学 | 一种基于局部信息表示的细粒度情感元素抽取方法 |
CN107908757A (zh) * | 2017-11-21 | 2018-04-13 | 恒安嘉新(北京)科技股份公司 | 网站分类方法及系统 |
Non-Patent Citations (2)
Title |
---|
姜晓梅: "基于分词检索的测试用例复设计与实现", 《万方数据知识服务平台》 * |
张洪刚 等: "基于双向长短时记忆模型的中文分词方法", 《华南理工大学学报( 自然科学版)》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110838157A (zh) * | 2019-10-10 | 2020-02-25 | 青岛海信网络科技股份有限公司 | 一种应急突发场景专题图生成的方法及装置 |
CN110838157B (zh) * | 2019-10-10 | 2023-07-21 | 青岛海信网络科技股份有限公司 | 一种应急突发场景专题图生成的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109815996B (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11574122B2 (en) | Method and system for joint named entity recognition and relation extraction using convolutional neural network | |
CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
CN111428525B (zh) | 隐式篇章关系识别方法、系统及可读存储介质 | |
CN110298035B (zh) | 基于人工智能的字向量定义方法、装置、设备及存储介质 | |
CN110196982B (zh) | 上下位关系抽取方法、装置及计算机设备 | |
CN110569359B (zh) | 识别模型的训练及应用方法、装置、计算设备及存储介质 | |
CN113095415B (zh) | 一种基于多模态注意力机制的跨模态哈希方法及系统 | |
CN112487149B (zh) | 一种文本审核方法、模型、设备及存储介质 | |
CN111737991B (zh) | 文本断句位置的识别方法及系统、电子设备及存储介质 | |
CN111339260A (zh) | 一种基于bert和qa思想的细粒度情感分析方法 | |
CN113158656B (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
CN110472248A (zh) | 一种中文文本命名实体的识别方法 | |
CN111611802A (zh) | 多领域实体识别方法 | |
CN116245097A (zh) | 训练实体识别模型的方法、实体识别方法及对应装置 | |
CN115146068A (zh) | 关系三元组的抽取方法、装置、设备及存储介质 | |
US11321397B2 (en) | Composition engine for analytical models | |
CN109815996A (zh) | 一种基于循环神经网络的场景自适配方法及装置 | |
CN116561592B (zh) | 文本情感识别模型的训练方法和文本情感识别方法及装置 | |
CN112084788A (zh) | 一种影像字幕隐式情感倾向自动标注方法及系统 | |
CN116227603A (zh) | 一种事件推理任务的处理方法、设备及介质 | |
CN113095063A (zh) | 一种基于遮蔽语言模型的两阶段情感迁移方法和系统 | |
CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 | |
Nguyen et al. | Improving named entity recognition in vietnamese texts by a character-level deep lifelong learning model | |
CN112765328B (zh) | 一种文本相似度确定方法、系统、存储介质以及设备 | |
JP2023017759A (ja) | セマンティック増強に基づく画像識別モデルのトレーニング方法およびトレーニング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |