CN110909124A - 基于人在回路的混合增强智能需求精准感知方法及系统 - Google Patents

基于人在回路的混合增强智能需求精准感知方法及系统 Download PDF

Info

Publication number
CN110909124A
CN110909124A CN201911018444.7A CN201911018444A CN110909124A CN 110909124 A CN110909124 A CN 110909124A CN 201911018444 A CN201911018444 A CN 201911018444A CN 110909124 A CN110909124 A CN 110909124A
Authority
CN
China
Prior art keywords
user
scientific
perception
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911018444.7A
Other languages
English (en)
Other versions
CN110909124B (zh
Inventor
欧中洪
谭言信
刘科孟
戴敏江
宋美娜
宋俊德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911018444.7A priority Critical patent/CN110909124B/zh
Publication of CN110909124A publication Critical patent/CN110909124A/zh
Application granted granted Critical
Publication of CN110909124B publication Critical patent/CN110909124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于人在回路的混合增强智能需求精准感知方法及系统,其中,系统包括:知识图谱子系统,用于存储科技资源子图谱与用户/企业信息子图谱,以根据用户需求确定不同实体之间的关系;对话子系统,用于以自然语言的方式和用户进行交互,收集用户需求,并将感知结果实时返回给用户;特征感知与推荐子系统,用于根据对话子系统和知识图谱子系统的客观数据、痕迹数据,整合相关数据生成感知结果,并生成推荐信息推荐至用户。该系统利用对话系统建立起人在回路,结合用户痕迹数据和科技资源数据进行用户需求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在没有利用客观数据、无法深度感知用户需求等问题。

Description

基于人在回路的混合增强智能需求精准感知方法及系统
技术领域
本发明涉及用户需求感知技术领域,特别涉及一种基于人在回路的混合增强智能需求 精准感知方法及系统。
背景技术
目前感知的方法主要有智能问答和推荐方法两种形式,(1)智能问答通过问答的方式 获取用户需求,(2)推荐方法通过比较用户的模糊需求与库中资源得出用户需求:
(1)采用智能问答的方式。该方案采用自然语言处理领域相关技术,用户对想要查找 的专利进行描述,并将描述语句输入系统,系统采用自然语言处理相关技术对用户的描述 进行编码,采用语义解析的方式将用户的需求描述解析为查询语句,在系统中查询对应专 利;或采用文本检索的方式,利用神经网络等技术将用户的需求描述映射为特征向量,与 专利库中的专利进行匹配,将最相近的专利作为检索结果进行输出。
(2)基于深度神经网络的科技资源推荐方法。该方法通过对用户和科技资源的特征表 示得到对应的编码向量,基于用户和科技资源的编码向量作为深度神经网络的输入,是否 推荐作为深度神经网络的输出结果,采用监督学习的方式对网络进行训练,最终基于训练 的深度神经网络实现对用户-科技资源对的推荐结果预测。
然而,上述的智能问答和推荐方法存在如下缺陷:
方案1)采用了智能问答的方式,可以通过单轮或多轮的形式与用户交互,通过迭代的 方式获取用户需求,然而该方法存在获取方式单一,过于主观的问题,仅仅根据用户当前 的输入进行分析,没有加入用户历史、客观数据等,容易出现只查到了相对相似的结果, 对于符合用户客观条件的最优解则无法获取的问题。
方案2)采用了当下流行的深度神经网络算法,能更好地实现对用户历史隐含需求的感 知与映射,但却缺乏对用户当前实时的意向反馈的考虑,同时深度神经网络作为典型的“黑 盒”计算模型,其需求感知与推荐结果缺乏很好的可解释性,用户难以对最终的需求感知与 推荐结果予以肯定。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于人在回路的混合增强智能需求精准感知系 统,该系统利用对话系统建立起人在回路,结合用户痕迹数据和科技资源数据进行用户需 求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在没有利用客观数 据、无法深度感知用户需求等问题。
本发明的另一个目的在于提出一种基于人在回路的混合增强智能需求精准感知方法。
为达到上述目的,本发明一方面实施例提出了一种基于人在回路的混合增强智能需求 精准感知系统,包括:知识图谱子系统,用于存储科技资源子图谱与用户/企业信息子图谱, 以根据用户需求确定不同实体之间的关系;对话子系统,用于以自然语言的方式和用户进 行交互,收集用户需求,并将感知结果实时返回给用户;特征感知与推荐子系统,用于根 据所述对话子系统和所述知识图谱子系统的客观数据、痕迹数据,整合相关数据生成感知 结果,并生成推荐信息推荐至所述用户。
本发明实施例的基于人在回路的混合增强智能需求精准感知系统,基于活数据闭环方 式,通过多轮次迭代认知用户需求使用,并基于图卷积神经网络和注意力机制实现内容特 征感知,基于Transformer模型的编码器模块实现序列特征感知,结合用户痕迹数据动态更 新用户信息知识图谱的用户痕迹数据,通过爬虫动态更新科技资源子图谱中的国家战略信 息与政策等,从而利用对话系统建立起人在回路,结合用户痕迹数据和科技资源数据进行 用户需求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在没有利用 客观数据、无法深度感知用户需求等问题。
另外,根据本发明上述实施例的基于人在回路的混合增强智能需求精准感知系统还可 以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述科技资源子图谱包括科技资源分类体系划 分的科技资源数据和环境数据,所述用户/企业信息子图谱包括用户/企业信息数据和痕迹数 据。
进一步地,在本发明的一个实施例中,所述对话子系统包括:自然语言理解模块,用 于采用Pipeline结构以根据所述用户的输入语句输出自然语言理解结果;对话管理模块, 用于对话状态进行维护;对话决策子模块,用于采用递归神经网络-全连接层-概率化分类的 结构,以根据所述对话状态决定执行的目标动作;语句生成子模块,用于生成返回给用户 的信息。
进一步地,在本发明的一个实施例中,所述特征感知与推荐子系统包括:内容特征感 知模块,用于采用映射向量结合科技资源知识图谱辅助信息进行用户、科技资源的内容特 征挖掘、感知与表示,生成用户内容特征向量、候选科技资源内容特征向量;序列特征感知模块,用于根据所述用户的历史行为记录序列感知与挖掘用户的历史偏好特征;精准推荐计算模块,用于根据所述用户内容特征向量、所述候选科技资源内容特征向量和所述历史偏好特征向量采用基于模型的协同过滤算法计算所述推荐信息。
进一步地,在本发明的一个实施例中,所述内容特征感知模块具体用于采用图卷积神 经网络与注意力机制的混合模型进行内容特征的感知与表示,其中,所述图卷积神经网络 与注意力机制的混合模型根据输入的用户和科技资源结合知识图谱获取其属性和关联实体 信息,利用图卷积神经网络模拟由外向内的信息传播过程,且通过注意力机制对中心节点 的特征表示的权重,最终实现内容特征的感知与表示。
为达到上述目的,本发明另一方面实施例提出了一种基于人在回路的混合增强智能需 求精准感知方法,包括以下步骤:步骤S1:存储科技资源子图谱与用户/企业信息子图谱, 以根据用户需求确定不同实体之间的关系;步骤S2:以自然语言的方式和用户进行交互, 收集用户需求,并将感知结果实时返回给用户;步骤S3:根据所述步骤S1和所述步骤S2的客观数据、痕迹数据,整合相关数据生成感知结果,并生成推荐信息推荐至所述用户。
本发明实施例的基于人在回路的混合增强智能需求精准感知方法,基于活数据闭环方 式,通过多轮次迭代认知用户需求使用,并基于图卷积神经网络和注意力机制实现内容特 征感知,基于Transformer模型的编码器模块实现序列特征感知,结合用户痕迹数据动态更 新用户信息知识图谱的用户痕迹数据,通过爬虫动态更新科技资源子图谱中的国家战略信 息与政策等,从而利用对话系统建立起人在回路,结合用户痕迹数据和科技资源数据进行 用户需求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在没有利用 客观数据、无法深度感知用户需求等问题。
另外,根据本发明上述实施例的基于人在回路的混合增强智能需求精准感知方法还可 以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述科技资源子图谱包括科技资源分类体系划 分的科技资源数据和环境数据,所述用户/企业信息子图谱包括用户/企业信息数据和痕迹数 据。
进一步地,在本发明的一个实施例中,所述步骤S2包括:采用Pipeline结构以根据所 述用户的输入语句输出自然语言理解结果;对话状态进行维护;采用递归神经网络-全连接 层-概率化分类的结构,以根据所述对话状态决定执行的目标动作;生成返回给用户的信息。
进一步地,在本发明的一个实施例中,所述步骤S3包括:采用映射向量结合科技资源 知识图谱辅助信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征 向量、候选科技资源内容特征向量;根据所述用户的历史行为记录序列感知与挖掘用户的 历史偏好特征;根据所述用户内容特征向量、所述候选科技资源内容特征向量和所述历史 偏好特征向量采用基于模型的协同过滤算法计算所述推荐信息。
进一步地,在本发明的一个实施例中,所述采用映射向量结合科技资源知识图谱辅助 信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科 技资源内容特征向量,进一步包括:采用图卷积神经网络与注意力机制的混合模型进行内 容特征的感知与表示,其中,所述图卷积神经网络与注意力机制的混合模型根据输入的用 户和科技资源结合知识图谱获取其属性和关联实体信息,利用图卷积神经网络模拟由外向 内的信息传播过程,且通过注意力机制对中心节点的特征表示的权重,最终实现内容特征 的感知与表示。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明 显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解,其中:
图1为根据本发明实施例的基于人在回路的混合增强智能需求精准感知系统的结构示 意图;
图2为根据本发明一个实施例的基于人在回路的混合增强智能需求精准感知系统的结 构示意图;
图3为根据本发明实施例的科技资源子图谱的结构示意图;
图4为根据本发明实施例的用户/企业信息子图谱的结构示意图;
图5为根据本发明实施例的对话子系统的结构示意图;
图6为根据本发明实施例的特征感知与精准推荐子系统的结构示意图;
图7为根据本发明实施例的内容特征感知模块的结构示意图;
图8为根据本发明实施例的序列特征感知模块的结构示意图;
图9为根据本发明实施例的精准推荐计算模块的结构示意图;
图10为根据本发明实施例的基于人在回路的混合增强智能需求精准感知方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于人在回路的混合增强智能需求精准 感知方法及系统,首先将参照附图描述根据本发明实施例提出的基于人在回路的混合增 强智能需求精准感知系统。
图1是本发明一个实施例的基于人在回路的混合增强智能需求精准感知系统的结构示 意图。
如图1所示,该基于人在回路的混合增强智能需求精准感知系统10包括:知识图谱子系统100、对话子系统200和特征感知与推荐子系统300。
其中,知识图谱子系统100用于存储科技资源子图谱与用户/企业信息子图谱,以根据 用户需求确定不同实体之间的关系;对话子系统200用于以自然语言的方式和用户进行交 互,收集用户需求,并将感知结果实时返回给用户;特征感知与推荐子系统300用于根据 对话子系统和知识图谱子系统的客观数据、痕迹数据,整合相关数据生成感知结果,并生 成推荐信息推荐至用户。本发明实施例的系统10利用对话系统建立起人在回路,结合用户 痕迹数据和科技资源数据进行用户需求充分挖掘与特征感知,实现用户需求精准感知,有 效解决现有技术存在没有利用客观数据、无法深度感知用户需求等问题。
进一步地,在本发明的一个实施例中,如图2所示,科技资源子图谱包括科技资源分 类体系划分的科技资源数据和环境数据,用户/企业信息子图谱包括用户/企业信息数据和痕 迹数据。
可以理解的是,知识图谱子系统100为对话子系统200和特征感知与推荐子系统300 提供数据支持,一方面提供完整数据查询,另一方面给出不同实体之间的关系用于用户需 求精准感知。
不同于一般的关系数据库,通过以知识图谱的方式整合的科技资源数据,用户信息与 痕迹数据以及相关环境数据,能够包含完整的数据内容,并同时包含丰富的不同用户之间, 不同科技资源之间,以及相关产业需求、产业技术、国家政策等内容的相互关系。
具体而言,如图2所示,知识图谱子系统100包含两个独立的子图谱:科技资源子图谱,用户/企业信息子图谱,具体如下:
1.1、科技资源子图谱
如图3所示,科技资源子图谱主要包含根据科技资源分类体系划分的科技资源数据, 环境数据等内容。
其中环境数据主要包含国家战略与政策、产业技术与产业化需求等内容。通过人工构 建本体,并通过爬虫自动获取最新的相关国家战略与政策、企业需求、最新技术等,对科 技资源图谱的环境数据进行自动更新。另一方面,对于企业个体的最新信息,也可以由企 业自身进行人工修改。
科技资源数据相关的图谱,需要由专业人士根据相关资源可以提供的具体服务人工构 建本体,然后使用neo4j图数据库构建相关资源的知识图谱,同时,为了更好的用于对话 子系统和感知与推荐子系统进行用户需求精准感知,还需要根据用户需求,人工选取特征, 扩充图谱本体结构。例如,专利科技资源知识图谱的构建过程,除了基于专利科技资源能 够提供的检索服务以外,由于专利本身的IPC分类号无法细分不同专利,可以通过专利的 摘要内容进行主题聚类,从而扩展出新的主题本体,而主题本身能够辅助对话子系统和感 知与推荐子系统获取相同主题的不同专利信息。
1.2、用户/企业信息子图谱
如图4所示,用户/企业信息子图谱主要包含用户/企业信息数据,痕迹数据等内容。
用户/企业信息数据构建的子图谱包含用户企业信息的完整数据,特别是一些用户/企业 的特征信息,例如用户所从事的专业,用户的工作单位,用户所属地区,企业主要运营内 容,企业的员工信息,企业规模等,通过这些特征信息构建的知识图谱包含详细,多样的 用户/企业关系。另外对于痕迹数据,用户/企业信息子图谱主要以属性方式存储至相关用户 /企业实体中。
进一步地,在本发明的一个实施例中,对话子系统200包括:自然语言理解模块、对话管理模块、对话决策子模块和语句生成子模块。
其中,自然语言理解模块,用于采用Pipeline结构以根据用户的输入语句输出自然语言 理解结果;对话管理模块,用于对话状态进行维护;对话决策子模块,用于采用递归神经 网络-全连接层-概率化分类的结构,以根据对话状态决定执行的目标动作;语句生成子模块, 用于生成返回给用户的信息。
可以理解的是,对话子系统200用于以自然语言的方式和用户进行交互,收集用户的 主观需求,并将感知结果实时返回给用户,同时该子系统负责与知识图谱子系统进行交互, 得到精准感知所必须的客观数据、痕迹数据,整合相关数据输送到感知与推荐子系统,实 现人在回路闭环。对话子系统流程图如图5所示。
在对话系统200中,科技资源领域属于新兴领域,相关的对话数据较少,同时需求感 知逻辑复杂,交互依存度高。
具体而言,如图2和图5所示,本发明实施例设计了基于Pipeline结构的对话子系统 200,包括了自然语言理解模块、对话管理模块、对话决策模块以及对话生成模块,具体如 下:
2.1自然语言理解模块
考虑到数据规模以及效果的稳定性,自然语言理解模块采用了Pipeline结构,用户的输 入语句依次进入每个处理子模块,上一个子模块的输出为下一个子模块的输入,最后一个 子模块的输出即为整个自然语言理解模块的输出。该模块共有3个子模块,分别为分词处 理子模块、实体与意图联合识别子模块。
分词处理子模块将连续的字序列按照一定的规范重新组合成词序列的过程。本方案主 要面向中文科技资源领域,中文分词拥有十分成熟的解决方案,因此本子模块是基于开源 分词引擎完成分词任务的。科技资源领域包含了大量的专有名词,例如专利名称和机构名 称,该类名词在使用通用分词引擎进行时会产生大量误切分现象,严重影响后续的实体识 别等工作。在综合考虑了复杂度以及资源库规模的基础上,本方案采用了添加用户词典的 方式,将高频、误切分的专利名称和公司名称加入用户词典辅助分词。
实体与意图联合识别子模块的作用在于对已经分词的用户语句进行命名实体识别 (NER)任务,获得相应的实体,并通过多分类任务获得用户当前意图,由于二者存在紧密关联,因此用联合学习的方式进行相互影响,提升系统性能。本方案采用了预训练模型-双向递归神经网络-条件随机场的模型结构进行命名实体识别任务,采用预训练模型-双向递 归神经网络-全连接层的方式进行意图识别。基于预训练模型的系统结构能有效地解决小样 本问题。整个模型分为三层,第一层是预训练层,将语句序列表示为稠密的二维向量矩阵。 第二层是双向递归神经网络层,自动提取句子特征,将一个句子的各个词的embedding依 次输入神经网络中,再将正向隐状态序列与反向隐状态拼接,得到完整的隐状态序列。第 三层是条件随机场层和全连接层,条件随机场层进行句子级的序列标注,利用维特比算法 计算序列标注的最优解,最终得到标注结果;全连接层将该输出的维度转化为意图数通过 概率化处理后进行分类,完成意图检测。
2.2、对话管理模块
对话管理模块负责对话状态的维护,维持人在回路系统的稳定运转,为实现该目标, 该部分建立对话追踪子模块、对话动作子模块、后台交互子模块。
对话追踪子模块的作用为追踪对话动态,根据自然语言理解模块的输入信息实时更新 对话槽,对话槽是整个对话系统的核心,负责存储对话过程信息和对话状态信息。在该子 模块中,将每一个能改变对话的最小单位称为“事件”。在每一次“事件”后,对话追踪模块 都会根据当前状态更新自身信息。
对话动作子模块定义并管理对话管理模块基于用户输入所能产生的所有动作,作为人 在回路的载体,对话动作既包含了与用户交互所需要的动作,也包括了申请与知识图谱、 特征感知与推荐子系统的交互。
后台交互子模块专门处理与知识图谱、特征感知与推荐子系统的交互。在接到了交互 请求后,该子模块通过预定义的接口进行交互。与知识图谱子系统的交互内容主要包括用 户历史记录、用户偏好、用户搜索的科技资源的查询结果,与特征感知与推荐子系统的交 互主要包括用户的主观查询信息与客观痕迹数据。
2.3、对话决策子模块
对话决策子模块决定在当前状态下执行哪一个动作。本方案采用了递归神经网络-全连 接层-概率化分类的结构。整个模型分为三层,第一层是,将递归神经网络,将对话历史以 编码形式依次输入网络,得到各时间状态下的隐层变量,并将最后一个隐层变量作为该层 的输出。第二层是全连接层,将隐层变量从隐藏层维度映射到动作个数的长度。第三次是 概率化层,将每一个动作的预测结果进行概率化,得到每一个动作的概率,用于预测下一 步动作。
2.4语句生成子模块
语句生成子模块用于生成返回给用户的信息,包括了相应的提示信息以及专利结果。 本方案采用了基于模板的生成方式,通过将信息加入模板,生成返回结果。
进一步地,在本发明的一个实施例中,特征感知与推荐子系统300包括:内容特征感 知模块、序列特征感知模块和精准推荐计算模块。
其中,内容特征感知模块,用于采用映射向量结合科技资源知识图谱辅助信息进行用 户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科技资源内容 特征向量;序列特征感知模块,用于根据用户的历史行为记录序列感知与挖掘用户的历史 偏好特征;精准推荐计算模块,用于根据用户内容特征向量、候选科技资源内容特征向量 和历史偏好特征向量采用基于模型的协同过滤算法计算推荐信息。
具体而言,特征感知与推荐子系统300的处理流程如图6所示,并结合图2所示,包括内容特征感知模块、序列特征感知模块、精准推荐计算模块,具体如下:
3.1内容特征感知模块
如图7所示,本发明实施例采用映射向量,结合科技资源知识图谱辅助信息,实现用 户、科技资源的内容特征挖掘、感知与表示,将高维度特征嵌入到一个低维度向量空间中, 保持有原有的结构特征、内容特征和关系特征。
本发明实施例采用图卷积神经网络(GCN)与注意力机制(Attention)的混合模型进 行内容特征的感知与表示。整个模型的核心是根据输入的用户和科技资源,结合知识图谱 获取其属性和关联实体信息,利用GCN模拟由外向内的信息传播过程,丰富内容特征感知。 Attention可以区分不同三元组的关联实体与关联关系对中心节点的重要程度,即对中心节 点的特征表示的权重,可以在网络训练过程中根据结果反向传播自适应地改变其对应的权 重,最终实现内容特征的感知与表示。
3.2序列特征感知模块
用户历史行为记录包含有丰富的用户偏好特征信息,序列特征感知模块基于用户的历 史行为记录序列充分感知与挖掘用户的历史偏好特征,提高科技资源推荐预测的准确性, 序列特征感知模块的流程图如图8所示。
本发明实施例采用目前流行的Transformer模型,利用其编码器模块(Encoder)和对用户 历史行为序列进行建模,其中多头自注意力机制能有效地挖掘用户历史行为序列不同位置 的重要性,进而准确感知用户的历史偏好特征。本方案中去掉Transformer模型的解码器模 块、线性层和Softmax层,直接采用编码器得到的特征向量作为序列特征向量表示用户历 史偏好。
3.3精准推荐计算模块
精准推荐计算模块是根据得到的用户内容特征向量、候选科技资源内容特征向量和用 户偏好特征向量,采用基于模型的协同过滤算法(矩阵分解)计算最终的推荐结果。该模 块的流程图如图9所示。
本发明实施例设计将用户内容特征向量和用户偏好特征向量按维度相加,再与候选专 利内容特征向量进行矩阵相乘计算,得到用户-物品评分矩阵,也即用户对科技资源的喜好 程度,并根据评分矩阵返回Top-k得分的科技资源推荐结果。
综上,与针对科技资源的智能问答系统的现有技术相比,本发明实施例的系统具有如 下优势:
(1)现有技术采用了智能问答的方式完成用户需求的获取工作,该方案没有利用诸如 用户自身数据等环境数据,这要求用户必须在对话中描述所有的自身科技资源需求,加大 了用户的使用难度。而本发明实施例利用了用户信息知识图谱等环境数据,从客观角度有 效补充了用户信息,显著提升了科技资源的感知能力。
(2)现有技术只利用了用户当前输入的信息进行科技资源的感知,没有利用用户历史 记录等信息,而本发明实施例利用精准推荐算法的优势,充分考虑用户的历史行为记录, 结合知识图谱辅助信息,基于图卷积神经网络和注意力机制实现内容特征感知,基于Transformer模型实现序列特征感知,可以更好实现用户需求的精准感知,同时结合知识图谱的精准推荐结果反馈提高了用户需求感知的可解释性。
根据本发明实施例提出的基于人在回路的混合增强智能需求精准感知系统,基于活数 据闭环方式,通过多轮次迭代认知用户需求使用,并基于图卷积神经网络和注意力机制实 现内容特征感知,基于Transformer模型的编码器模块实现序列特征感知,结合用户痕迹数 据动态更新用户信息知识图谱的用户痕迹数据,通过爬虫动态更新科技资源子图谱中的国 家战略信息与政策等,从而利用对话系统建立起人在回路,结合用户痕迹数据和科技资源 数据进行用户需求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在 没有利用客观数据、无法深度感知用户需求等问题。
其次参照附图描述根据本发明实施例提出的基于人在回路的混合增强智能需求精准感 知方法。
图10是本发明一个实施例的基于人在回路的混合增强智能需求精准感知方法的流程图。
如图10所示,该基于人在回路的混合增强智能需求精准感知方法包括以下步骤:
步骤S1:存储科技资源子图谱与用户/企业信息子图谱,以根据用户需求确定不同实体 之间的关系;
步骤S2:以自然语言的方式和用户进行交互,收集用户需求,并将感知结果实时返回 给用户;
步骤S3:根据步骤S1和步骤S2的客观数据、痕迹数据,整合相关数据生成感知结果, 并生成推荐信息推荐至用户。
进一步地,在本发明的一个实施例中,科技资源子图谱包括科技资源分类体系划分的 科技资源数据和环境数据,用户/企业信息子图谱包括用户/企业信息数据和痕迹数据。
进一步地,在本发明的一个实施例中,步骤S2包括:采用Pipeline结构以根据用户的 输入语句输出自然语言理解结果;对话状态进行维护;采用递归神经网络-全连接层-概率化 分类的结构,以根据对话状态决定执行的目标动作;生成返回给用户的信息。
进一步地,在本发明的一个实施例中,步骤S3包括:采用映射向量结合科技资源知识 图谱辅助信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、 候选科技资源内容特征向量;根据用户的历史行为记录序列感知与挖掘用户的历史偏好特 征;根据用户内容特征向量、候选科技资源内容特征向量和历史偏好特征向量采用基于模 型的协同过滤算法计算推荐信息。
进一步地,在本发明的一个实施例中,采用映射向量结合科技资源知识图谱辅助信息 进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科技资 源内容特征向量,进一步包括:采用图卷积神经网络与注意力机制的混合模型进行内容特 征的感知与表示,其中,图卷积神经网络与注意力机制的混合模型根据输入的用户和科技 资源结合知识图谱获取其属性和关联实体信息,利用图卷积神经网络模拟由外向内的信息 传播过程,且通过注意力机制对中心节点的特征表示的权重,最终实现内容特征的感知与 表示。
需要说明的是,前述对基于人在回路的混合增强智能需求精准感知系统实施例的解释 说明也适用于该实施例的基于人在回路的混合增强智能需求精准感知方法,此处不再赘述。
根据本发明实施例提出的基于人在回路的混合增强智能需求精准感知方法,基于活数 据闭环方式,通过多轮次迭代认知用户需求使用,并基于图卷积神经网络和注意力机制实 现内容特征感知,基于Transformer模型的编码器模块实现序列特征感知,结合用户痕迹数 据动态更新用户信息知识图谱的用户痕迹数据,通过爬虫动态更新科技资源子图谱中的国 家战略信息与政策等,从而利用对话系统建立起人在回路,结合用户痕迹数据和科技资源 数据进行用户需求充分挖掘与特征感知,实现用户需求精准感知,有效解决现有技术存在 没有利用客观数据、无法深度感知用户需求等问题。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者 隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐 含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三 个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须 针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一 个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合 和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的, 不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例 进行变化、修改、替换和变型。

Claims (10)

1.一种基于人在回路的混合增强智能需求精准感知系统,其特征在于,包括:
知识图谱子系统,用于存储科技资源子图谱与用户/企业信息子图谱,以根据用户需求确定不同实体之间的关系;
对话子系统,用于以自然语言的方式和用户进行交互,收集用户需求,并将感知结果实时返回给用户;以及
特征感知与推荐子系统,用于根据所述对话子系统和所述知识图谱子系统的客观数据、痕迹数据,整合相关数据生成感知结果,并生成推荐信息推荐至所述用户。
2.根据权利要求1所述的系统,其特征在于,所述科技资源子图谱包括科技资源分类体系划分的科技资源数据和环境数据,所述用户/企业信息子图谱包括用户/企业信息数据和痕迹数据。
3.根据权利要求1所述的系统,其特征在于,所述对话子系统包括:
自然语言理解模块,用于采用Pipeline结构以根据所述用户的输入语句输出自然语言理解结果;
对话管理模块,用于对话状态进行维护;
对话决策子模块,用于采用递归神经网络-全连接层-概率化分类的结构,以根据所述对话状态决定执行的目标动作;
语句生成子模块,用于生成返回给用户的信息。
4.根据权利要求1所述的系统,其特征在于,所述特征感知与推荐子系统包括:
内容特征感知模块,用于采用映射向量结合科技资源知识图谱辅助信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科技资源内容特征向量;
序列特征感知模块,用于根据所述用户的历史行为记录序列感知与挖掘用户的历史偏好特征;
精准推荐计算模块,用于根据所述用户内容特征向量、所述候选科技资源内容特征向量和所述历史偏好特征向量采用基于模型的协同过滤算法计算所述推荐信息。
5.根据权利要求4所述的系统,其特征在于,所述内容特征感知模块具体用于采用图卷积神经网络与注意力机制的混合模型进行内容特征的感知与表示,其中,所述图卷积神经网络与注意力机制的混合模型根据输入的用户和科技资源结合知识图谱获取其属性和关联实体信息,利用图卷积神经网络模拟由外向内的信息传播过程,且通过注意力机制对中心节点的特征表示的权重,最终实现内容特征的感知与表示。
6.一种基于人在回路的混合增强智能需求精准感知方法,其特征在于,包括以下步骤:
步骤S1:存储科技资源子图谱与用户/企业信息子图谱,以根据用户需求确定不同实体之间的关系;
步骤S2:以自然语言的方式和用户进行交互,收集用户需求,并将感知结果实时返回给用户;以及
步骤S3:根据所述步骤S1和所述步骤S2的客观数据、痕迹数据,整合相关数据生成感知结果,并生成推荐信息推荐至所述用户。
7.根据权利要求6所述的方法,其特征在于,所述科技资源子图谱包括科技资源分类体系划分的科技资源数据和环境数据,所述用户/企业信息子图谱包括用户/企业信息数据和痕迹数据。
8.根据权利要求6所述的方法,其特征在于,所述步骤S2包括:
采用Pipeline结构以根据所述用户的输入语句输出自然语言理解结果;
对话状态进行维护;
采用递归神经网络-全连接层-概率化分类的结构,以根据所述对话状态决定执行的目标动作;
生成返回给用户的信息。
9.根据权利要求6所述的方法,其特征在于,所述步骤S3包括:
采用映射向量结合科技资源知识图谱辅助信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科技资源内容特征向量;
根据所述用户的历史行为记录序列感知与挖掘用户的历史偏好特征;
根据所述用户内容特征向量、所述候选科技资源内容特征向量和所述历史偏好特征向量采用基于模型的协同过滤算法计算所述推荐信息。
10.根据权利要求9所述的方法,其特征在于,所述采用映射向量结合科技资源知识图谱辅助信息进行用户、科技资源的内容特征挖掘、感知与表示,生成用户内容特征向量、候选科技资源内容特征向量,进一步包括:
采用图卷积神经网络与注意力机制的混合模型进行内容特征的感知与表示,其中,所述图卷积神经网络与注意力机制的混合模型根据输入的用户和科技资源结合知识图谱获取其属性和关联实体信息,利用图卷积神经网络模拟由外向内的信息传播过程,且通过注意力机制对中心节点的特征表示的权重,最终实现内容特征的感知与表示。
CN201911018444.7A 2019-10-24 2019-10-24 基于人在回路的混合增强智能需求精准感知方法及系统 Active CN110909124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911018444.7A CN110909124B (zh) 2019-10-24 2019-10-24 基于人在回路的混合增强智能需求精准感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911018444.7A CN110909124B (zh) 2019-10-24 2019-10-24 基于人在回路的混合增强智能需求精准感知方法及系统

Publications (2)

Publication Number Publication Date
CN110909124A true CN110909124A (zh) 2020-03-24
CN110909124B CN110909124B (zh) 2023-02-17

Family

ID=69814622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911018444.7A Active CN110909124B (zh) 2019-10-24 2019-10-24 基于人在回路的混合增强智能需求精准感知方法及系统

Country Status (1)

Country Link
CN (1) CN110909124B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016601A (zh) * 2020-08-17 2020-12-01 华东师范大学 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN112084383A (zh) * 2020-09-07 2020-12-15 中国平安财产保险股份有限公司 基于知识图谱的信息推荐方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169657A1 (en) * 2000-10-27 2002-11-14 Manugistics, Inc. Supply chain demand forecasting and planning
CN108874957A (zh) * 2018-06-06 2018-11-23 华东师范大学 基于Meta-graph知识图谱表示的对话式音乐推荐方法
WO2019000988A1 (zh) * 2017-06-30 2019-01-03 广东美的厨房电器制造有限公司 菜谱推荐方法、装置、系统、存储介质和计算机设备
CN109978060A (zh) * 2019-03-28 2019-07-05 科大讯飞华南人工智能研究院(广州)有限公司 一种自然语言要素抽取模型的训练方法及装置
CN110148318A (zh) * 2019-03-07 2019-08-20 上海晨鸟信息科技有限公司 一种数字助教系统、信息交互方法和信息处理方法
CN110188208A (zh) * 2019-06-04 2019-08-30 河海大学 一种基于知识图谱的信息资源查询推荐方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020169657A1 (en) * 2000-10-27 2002-11-14 Manugistics, Inc. Supply chain demand forecasting and planning
WO2019000988A1 (zh) * 2017-06-30 2019-01-03 广东美的厨房电器制造有限公司 菜谱推荐方法、装置、系统、存储介质和计算机设备
CN108874957A (zh) * 2018-06-06 2018-11-23 华东师范大学 基于Meta-graph知识图谱表示的对话式音乐推荐方法
CN110148318A (zh) * 2019-03-07 2019-08-20 上海晨鸟信息科技有限公司 一种数字助教系统、信息交互方法和信息处理方法
CN109978060A (zh) * 2019-03-28 2019-07-05 科大讯飞华南人工智能研究院(广州)有限公司 一种自然语言要素抽取模型的训练方法及装置
CN110188208A (zh) * 2019-06-04 2019-08-30 河海大学 一种基于知识图谱的信息资源查询推荐方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016601A (zh) * 2020-08-17 2020-12-01 华东师范大学 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN112016601B (zh) * 2020-08-17 2022-08-05 华东师范大学 基于知识图谱增强小样本视觉分类的网络模型构建方法
CN112084383A (zh) * 2020-09-07 2020-12-15 中国平安财产保险股份有限公司 基于知识图谱的信息推荐方法、装置、设备及存储介质
CN112084383B (zh) * 2020-09-07 2023-08-18 中国平安财产保险股份有限公司 基于知识图谱的信息推荐方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110909124B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
CN108509519B (zh) 基于深度学习的通用知识图谱增强问答交互系统及方法
CN109213863B (zh) 一种基于学习风格的自适应推荐方法及系统
Boleda et al. Formal distributional semantics: Introduction to the special issue
Kalfoglou et al. Ontology mapping: the state of the art
Salehi et al. Hybrid recommendation approach for learning material based on sequential pattern of the accessed material and the learner’s preference tree
CN112148890B (zh) 基于网络群体智能的教学知识点图谱系统
US11645479B1 (en) Method for AI language self-improvement agent using language modeling and tree search techniques
CN110909124B (zh) 基于人在回路的混合增强智能需求精准感知方法及系统
CN117033721A (zh) 一种基于法律知识图谱的法律咨询报告生成系统及方法
Reddy et al. Convolutional recurrent neural network with template based representation for complex question answering
Wang et al. Research on English teaching information pushing method based on intelligent adaptive learning platform
Chen et al. Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey
Lomborg et al. Automated decision‐making: Toward a people‐centred approach
CN114168615A (zh) 自然语言查询智能变电站scd文件的方法及系统
CN116737911A (zh) 基于深度学习的高血压问答方法及系统
Li A Recommendation Model for College English Digital Teaching Resources Using Collaborative Filtering and Few‐Shot Learning Technology
Reddy et al. A novel approach for similarity and indexing-based ontology for semantic web educational system
Shen Text complexity analysis of college English textbooks based on blockchain and deep learning algorithms under the internet of things
Mahmud Human-intelligence and machine-intelligence decision governance formal ontology
Maroun et al. Ontology-based approach for cybersecurity recruitment
CN113157892A (zh) 用户意图处理方法、装置、计算机设备及存储介质
Madjarov et al. Web genre classification via hierarchical multi-label classification
Ding et al. Constructing a Knowledge Graph for the Chinese Subject Based on Collective Intelligence
Arbizu Extracting knowledge from documents to construct concept maps
Jamal Automatic Construction of Ontology with Public-Domain Datasets for Personalized Tutoring with ECA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant