CN110263345A - 关键词提取方法、装置及存储介质 - Google Patents

关键词提取方法、装置及存储介质 Download PDF

Info

Publication number
CN110263345A
CN110263345A CN201910560184.XA CN201910560184A CN110263345A CN 110263345 A CN110263345 A CN 110263345A CN 201910560184 A CN201910560184 A CN 201910560184A CN 110263345 A CN110263345 A CN 110263345A
Authority
CN
China
Prior art keywords
sentence
keyword
target
candidate keywords
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910560184.XA
Other languages
English (en)
Other versions
CN110263345B (zh
Inventor
何伯磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910560184.XA priority Critical patent/CN110263345B/zh
Publication of CN110263345A publication Critical patent/CN110263345A/zh
Application granted granted Critical
Publication of CN110263345B publication Critical patent/CN110263345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种关键词提取方法、装置及存储介质,该方法包括确定目标文档的标题中的焦点词;对目标文档进行划分,得到多条语句;根据焦点词,从各语句中确定候选关键词;根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型。通过本发明能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。

Description

关键词提取方法、装置及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种关键词提取方法、装置及存储介质。
背景技术
人工智能的数据处理技术领域中,关键词提取是重要的应用方向,关键词提取一般是指从一些文档或者网页中提取出需要的关键词的过程,通常应用在智能数据采集与标注算法中。
相关技术中,在进行文档关键词提取时,一般采用通用的计算逻辑(例如,对文档进行预处理分词,而后,候选召回,以及排序验证等计算逻辑)提取关键词。
这种方式下,在对文档进行关键词提取时不会考虑文档的结构类型,可能会导致提取的关键词不够全面完整,提取效果不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种关键词提取方法、装置及存储介质,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为达到上述目的,本发明第一方面实施例提出的关键词提取方法,用于从目标文档中提取关键词,所述目标文档的结构类型为枚举类型,包括:确定所述目标文档的标题中的焦点词;对所述目标文档进行划分,得到多条语句;根据所述焦点词,从各所述语句中确定候选关键词;根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
本发明第一方面实施例提出的关键词提取方法,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为达到上述目的,本发明第二方面实施例提出的关键词提取装置,用于从目标文档中提取关键词,所述目标文档的结构类型为枚举类型,包括:第一确定模块,用于确定所述目标文档的标题中的焦点词;划分模块,用于对所述目标文档进行划分,得到多条语句;第二确定模块,用于根据所述焦点词,从各所述语句中确定候选关键词;形成模块,用于根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
本发明第二方面实施例提出的关键词提取装置,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为达到上述目的,本发明第三方面实施例提出的非临时性计算机可读存储介质,当所述存储介质中的指令由处理器执行时,执行一种关键词提取方法,所述方法包括:确定所述目标文档的标题中的焦点词;对所述目标文档进行划分,得到多条语句;根据所述焦点词,从各所述语句中确定候选关键词;根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
本发明第三方面实施例提出的非临时性计算机可读存储介质,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为达到上述目的,本发明第四方面实施例提出的计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种关键词提取方法,所述方法包括:确定所述目标文档的标题中的焦点词;对所述目标文档进行划分,得到多条语句;根据所述焦点词,从各所述语句中确定候选关键词;根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
本发明第四方面实施例提出的计算机程序产品,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的关键词提取方法的流程示意图;
图2为本发明实施例中目标文档示意图;
图3是本发明一实施例提出的关键词提取方法的流程示意图;
图4为本发明实施例中viterbi模型示意图;
图5是本发明一实施例提出的关键词提取装置的结构示意图;
图6是本发明另一实施例提出的关键词提取装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
本发明实施例正是为了解决相关技术中在对文档进行关键词提取时不会考虑文档的结构类型,可能会导致提取的关键词不够全面完整,提取效果不佳的技术问题,提供一种关键词提取方法,用于从目标文档中提取关键词,目标文档的结构类型为枚举类型,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
本发明的关键词提取方法可以具体应用于离线场景,即在终端本地应用。当然,可以理解的是,本发明的关键词提取方法也可以应用在服务端,以实现在线的关键词提取,对此不作限制。
本发明中涉及的终端可以是移动终端、车载终端、机载终端、桌面电脑等各种能够应用关键词提取方法的终端。
图1是本发明一实施例提出的关键词提取方法的流程示意图。
参见图1,该方法包括:
S101:确定目标文档的标题中的焦点词。
其中,当前需要对其进行关键词提取的文档,可以被称为目标文档。
本发明实施例中,针对结构类型为枚举类型的目标文档进行关键词提取,其中,枚举类型的目标文档,即该目标文档中呈现实体的形式为枚举形式,参见图2,图2为本发明实施例中目标文档示意图,包括目标文档21和文档中所呈现的实体22,实体22可以例如标题221、语句222、段落223等,该目标文档以枚举形式呈现上述的实体22。
其中,标题中的焦点词,用于指示文档中的关键词的类型,该类型的关键词,即为当前需要进行提取的关键词。
在具体执行的过程中,可以从目标文档中提取出标题,而后对标题的内容进行预处理,预处理的过程例如为对内容进行语法分析以及词性标注,以确定标题中的焦点词。
参见上述图2,图2中的标题内容为“盘点娱乐圈里省钱省到家的十大明星”,对“盘点娱乐圈里省钱省到家的十大明星”进行语法分析以及词性标注,以确定标题中的焦点词“明星”。
S102:对目标文档进行划分,得到多条语句。
在具体执行的过程中,可以对目标文档中除标题以外的内容,采用分段、分句、语法分析以及词性标注等方法,对目标文档进行划分,得到多条语句,该语句具体为一条完整的语句,即在一条语句的句末存在有一个句号。
或者,也可以将目标文档输入预先学习的划分模型,经由该划分模型,对目标文档进行划分,得到多条语句,其中划分模型可以预先学习由多个样本文档(该样本文档的结构类型为枚举类型),与对应的语句之间的对应关系,对此不作限制。
S103:根据焦点词,从各语句中确定候选关键词。
其中,目标文档中与焦点词所指示关键词的类型最为匹配的分词,可以被称为候选关键词,候选关键词可以为焦点词的上位词,或者,也可以为焦点词的下位词。
假设焦点词为“明星”,则可以在初始阶段确定所需要提取的关键词为人名,而后,从目标文档中选取出全部的人名类的实体,作为候选关键词,以及从多个候选关键词中确定出目标关键词“古天乐”“王力宏”等,其中,目标关键词为匹配焦点词的候选关键词。
S104:根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型。
在具体执行的过程中,可以从上述的多个候选关键词中确定出匹配的目标关键词,而后,以枚举形式提取出各目标关键词以形成目标关键词组,具体实施过程可以参见下述实施例。
本实施例中,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
图3是本发明一实施例提出的关键词提取方法的流程示意图。
参见图3,该方法包括:
S301:确定目标文档的标题中的焦点词。
其中,当前需要对其进行关键词提取的文档,可以被称为目标文档。
本发明实施例中,针对结构类型为枚举类型的目标文档进行关键词提取,其中,枚举类型的目标文档,即该目标文档中呈现实体的形式为枚举形式,参见图2,图2为本发明实施例中目标文档示意图,包括目标文档21和文档中所呈现的实体22,实体22可以例如标题221、语句222、段落223等,该目标文档以枚举形式呈现上述的实体22。
其中,标题中的焦点词,用于指示文档中的关键词的类型,该类型的关键词,即为当前需要进行提取的关键词。
在具体执行的过程中,可以从目标文档中提取出标题,而后对标题的内容进行预处理,预处理的过程例如为对内容进行语法分析以及词性标注,以确定标题中的焦点词。
参见上述图2,图2中的标题内容为“盘点娱乐圈里省钱省到家的十大明星”,对“盘点娱乐圈里省钱省到家的十大明星”进行语法分析以及词性标注,以确定标题中的焦点词“明星”。
S302:对目标文档进行划分,得到多条语句。
在具体执行的过程中,可以对目标文档中除标题以外的内容,采用分段、分句、语法分析以及词性标注等方法,对目标文档进行划分,得到多条语句,该语句具体为一条完整的语句,即在一条语句的句末存在有一个句号。
或者,也可以将目标文档输入预先学习的划分模型,经由该划分模型,对目标文档进行划分,得到多条语句,其中划分模型可以预先学习由多个样本文档(该样本文档的结构类型为枚举类型),与对应的语句之间的对应关系,对此不作限制。
S303:对第一语句进行分词,得到与第一语句对应的多个分词,第一语句为多条语句中的任一条语句。
其中,第一语句为多条语句中的任一条语句。
在具体执行的过程中,可以对划分得到的多条语句中的每一条语句,均进行分词处理,由此,得到与每一条语句对应的多个分词。
本发明实施例中,为了提升后续确定候选关键词的效率,还可以仅仅将每一条语句的多个分词中,与焦点词类型匹配的分词,作为后续所采用的分词。
例如,若确定焦点词“明星”的类型为人名,则可以将多个分词中人名类型的分词,作为后续所采用的分词。
S304:分别确定各分词与焦点词的目标概率。
可选地,分别确定各分词与焦点词的上位概率和/或下位概率并作为目标概率;和/或,结合预设实体共现统计词表,分别确定各分词与焦点词的共现概率并作为目标概率。
假设焦点词为“明星”,则“古天乐”“王力宏”等为“明星”的下位词,若分词为焦点词的上位词,则可以确定分词与焦点词之间的上位概率,而若分词为焦点词的下位词,则可以确定分词与焦点词之间的下位概率,对此不作限制。
在分别确定各分词与焦点词的上位概率和/或下位概率并作为目标概率,可以采用神经网络模型,确定分词与焦点词的上位概率和/或下位概率,该神经网络模型可以预先训练样本分词与样本焦点词之间的上位概率和/或下位概率。
当然,神经网络模型仅仅是实现确定上位概率和/或下位概率的一种可能的实现方式,在实际执行过程中,可以通过其他任意可能的方式来实现确定上位概率和/或下位概率,比如,还可以采用传统的编程技术(比如模拟法和工程学方法)实现,又比如,还可以遗传学算法和人工神经网络的方法来实现。
在另一个实施例中,还可以结合预设实体共现统计词表,分别确定各分词与焦点词的共现概率并作为目标概率,其中预设实体共现统计词表可以是预先基于海量文档、新闻、网页中的内容所确定的,该预设实体共现统计词表预先标注了各分词,与对应的焦点词之间的共现概率,对此不作限制。
通过分别确定各分词与焦点词的上位概率和/或下位概率并作为目标概率;和/或,结合预设实体共现统计词表,分别确定各分词与焦点词的共现概率并作为目标概率,综合统计分析了多种角度的概率,实现结合多角度的概率确定出候选关键词,使得确定出的候选关键词更为匹配。
S305:将目标概率满足预设条件的分词,作为第一语句对应的候选关键词。
在上述确定出各分词与焦点词的目标概率之后,可以将目标概率满足预设条件的分词,作为第一语句对应的候选关键词。
其中,预设条件可以为设定一个阈值,在目标概率大于或者等于该阈值时,确定目标概率满足预设条件,对此不作限制。
该阈值可以是预先标定的,可以由用于提取关键词的设备的出厂程序预先设定,或者,也可以由用户根据提取需求进行设定,对此不作限制。
经由上述方法,确定出每条语句对应的候选关键词,该候选关键词为上述分词中的部分分词,且,该候选分词与焦点词之间的目标概率满足预设条件,实现基于目标文档中的每条语句均确定对应的候选关键词,保障关键词提取的完整性和全面性。
S306:根据各候选关键词,结合候选关键词对应的目标概率,确定多个目标关键词,根据多个目标关键词形成目标关键词组。
可选地,将各候选关键词和对应的目标概率输入动态规划模型中,得到动态规划模型的输出结果,输出结果中包括:目标关键词路径;根据目标关键词路径,确定多个目标关键词。
在具体执行的过程中,在确定每条语句对应的候选关键词后,可以将各候选关键词和对应的目标概率输入动态规划模型中,以确定目标关键词。
其中,动态规划模型例如为,viterbi模型,参见图4,图4为本发明实施例中viterbi模型示意图,包括多个语句41,多个节点42,其中各节点42用于描述对应候选关键词的目标概率,经由该viterbi模型输出目标关键词路径,该目标关键词路径例如为图4中虚线所示,根据动态规划模型的工作原理,目标关键词路径上的候选关键词的匹配程度最高。
因此,本发明实施例中,将目标关键词路径上所覆盖的候选关键词,作为目标关键词,以此实现精准地匹配,在保障提取全面性的同时,提升提取的精准度和提取效率,满足系统的运行需求,方法较为简捷,具有较好的适用性。
本实施例中,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。综合统计分析了多种角度的概率,实现结合多角度的概率确定出候选关键词,使得确定出的候选关键词更为匹配。实现精准地匹配,在保障提取全面性的同时,提升提取的精准度和提取效率,满足系统的运行需求,方法较为简捷,具有较好的适用性。
图5是本发明一实施例提出的关键词提取装置的结构示意图。
参见图5,该装置500,包括:
第一确定模块501,用于确定目标文档的标题中的焦点词;
划分模块502,用于对目标文档进行划分,得到多条语句;
第二确定模块503,用于根据焦点词,从各语句中确定候选关键词;
形成模块504,用于根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型。
可选地,一些实施例中,参见图6,第二确定模块503,包括:
分词子模块5031,用于对第一语句进行分词,得到与第一语句对应的多个分词,第一语句为多条语句中的任一条语句;
确定子模块5032,用于分别确定各分词与焦点词的目标概率,将目标概率满足预设条件的分词,作为第一语句对应的候选关键词。
可选地,一些实施例中,形成模块504,具体用于:
根据各候选关键词,结合候选关键词对应的目标概率,确定多个目标关键词,根据多个目标关键词形成目标关键词组。
可选地,一些实施例中,形成模块504,具体用于:
将各候选关键词和对应的目标概率输入动态规划模型中,得到动态规划模型的输出结果,输出结果中包括:目标关键词路径;
根据目标关键词路径,确定多个目标关键词。
可选地,一些实施例中,确定子模块5032,具体用于:
分别确定各分词与焦点词的上位概率和/或下位概率并作为目标概率;和/或,结合预设实体共现统计词表,分别确定各分词与焦点词的共现概率并作为目标概率。
需要说明的是,前述图1、图3实施例中对关键词提取方法实施例的解释说明也适用于该实施例的关键词提取装置500,其实现原理类似,此处不再赘述。
本实施例中,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,当存储介质中的指令由处理器执行时,执行一种关键词提取方法,方法包括:
确定目标文档的标题中的焦点词;
对目标文档进行划分,得到多条语句;
根据焦点词,从各语句中确定候选关键词;
根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型。
本实施例中的非临时性计算机可读存储介质,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,执行一种关键词提取方法,方法包括:
确定目标文档的标题中的焦点词;
对目标文档进行划分,得到多条语句;
根据焦点词,从各语句中确定候选关键词;
根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型。
本实施例中的计算机程序产品,通过确定目标文档的标题中的焦点词,对目标文档进行划分,得到多条语句,并根据焦点词,从各语句中确定候选关键词,以及根据各候选关键词,形成目标关键词组,目标关键词组中包括多个目标关键词,目标关键词组的结构为枚举类型,能够实现全面完整地从枚举类型的文档中提取出关键词,提升枚举类型文档的关键词提取效果。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种关键词提取方法,用于从目标文档中提取关键词,其特征在于,所述目标文档的结构类型为枚举类型,所述方法包括:
确定所述目标文档的标题中的焦点词;
对所述目标文档进行划分,得到多条语句;
根据所述焦点词,从各所述语句中确定候选关键词;
根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
2.如权利要求1所述的关键词提取方法,其特征在于,所述根据所述焦点词,从各所述语句中确定候选关键词,包括:
对所述第一语句进行分词,得到与所述第一语句对应的多个分词,所述第一语句为所述多条语句中的任一条语句;
分别确定各所述分词与所述焦点词的目标概率;
将所述目标概率满足预设条件的分词,作为所述第一语句对应的候选关键词。
3.如权利要求2所述的关键词提取方法,其特征在于,所述根据各所述候选关键词,形成目标关键词组,包括:
根据各所述候选关键词,结合所述候选关键词对应的目标概率,确定多个目标关键词,根据所述多个目标关键词形成所述目标关键词组。
4.如权利要求3所述的关键词提取方法,其特征在于,所述根据各所述候选关键词,结合所述候选关键词对应的目标概率,确定多个目标关键词,包括:
将各所述候选关键词和所述对应的目标概率输入动态规划模型中,得到所述动态规划模型的输出结果,所述输出结果中包括:目标关键词路径;
根据所述目标关键词路径,确定所述多个目标关键词。
5.如权利要求2所述的关键词提取方法,其特征在于,所述分别确定各所述分词与所述焦点词的目标概率,包括:
分别确定各所述分词与所述焦点词的上位概率和/或下位概率并作为所述目标概率;和/或,
结合预设实体共现统计词表,分别确定各所述分词与所述焦点词的共现概率并作为所述目标概率。
6.一种关键词提取装置,用于从目标文档中提取关键词,其特征在于,所述目标文档的结构类型为枚举类型,所述装置包括:
第一确定模块,用于确定所述目标文档的标题中的焦点词;
划分模块,用于对所述目标文档进行划分,得到多条语句;
第二确定模块,用于根据所述焦点词,从各所述语句中确定候选关键词;
形成模块,用于根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
7.如权利要求6所述的关键词提取装置,其特征在于,所述第二确定模块,包括:
分词子模块,用于对所述第一语句进行分词,得到与所述第一语句对应的多个分词,所述第一语句为所述多条语句中的任一条语句;
确定子模块,用于分别确定各所述分词与所述焦点词的目标概率,将所述目标概率满足预设条件的分词,作为所述第一语句对应的候选关键词。
8.如权利要求7所述的关键词提取装置,其特征在于,所述形成模块,具体用于:
根据各所述候选关键词,结合所述候选关键词对应的目标概率,确定多个目标关键词,根据所述多个目标关键词形成所述目标关键词组。
9.如权利要求8所述的关键词提取装置,其特征在于,所述形成模块,具体用于:
将各所述候选关键词和所述对应的目标概率输入动态规划模型中,得到所述动态规划模型的输出结果,所述输出结果中包括:目标关键词路径;
根据所述目标关键词路径,确定所述多个目标关键词。
10.如权利要求7所述的关键词提取装置,其特征在于,所述确定子模块,具体用于:
分别确定各所述分词与所述焦点词的上位概率和/或下位概率并作为所述目标概率;和/或,
结合预设实体共现统计词表,分别确定各所述分词与所述焦点词的共现概率并作为所述目标概率。
11.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的关键词提取方法。
12.一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种关键词提取方法,用于从目标文档中提取关键词,所述目标文档的结构类型为枚举类型,所述方法包括:
确定所述目标文档的标题中的焦点词;
对所述目标文档进行划分,得到多条语句;
根据所述焦点词,从各所述语句中确定候选关键词;
根据各所述候选关键词,形成目标关键词组,所述目标关键词组中包括多个目标关键词,所述目标关键词组的结构为枚举类型。
CN201910560184.XA 2019-06-26 2019-06-26 关键词提取方法、装置及存储介质 Active CN110263345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910560184.XA CN110263345B (zh) 2019-06-26 2019-06-26 关键词提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910560184.XA CN110263345B (zh) 2019-06-26 2019-06-26 关键词提取方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110263345A true CN110263345A (zh) 2019-09-20
CN110263345B CN110263345B (zh) 2023-09-05

Family

ID=67921748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560184.XA Active CN110263345B (zh) 2019-06-26 2019-06-26 关键词提取方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110263345B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814477A (zh) * 2020-07-06 2020-10-23 重庆邮电大学 一种基于争议焦点实体的争议焦点发现方法、装置及终端
CN113641783A (zh) * 2020-04-27 2021-11-12 北京庖丁科技有限公司 基于关键语句的内容块检索方法、装置、设备和介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510221A (zh) * 2009-02-17 2009-08-19 北京大学 一种用于信息检索的查询语句分析方法与系统
CN102262625A (zh) * 2009-12-24 2011-11-30 华为技术有限公司 网页关键词提取方法及装置
US8799257B1 (en) * 2012-03-19 2014-08-05 Google Inc. Searching based on audio and/or visual features of documents
CN104636334A (zh) * 2013-11-06 2015-05-20 阿里巴巴集团控股有限公司 一种关键词推荐方法和装置
CN104750801A (zh) * 2015-03-24 2015-07-01 华迪计算机集团有限公司 一种结构化文档的生成方法和系统
CN106844647A (zh) * 2017-01-22 2017-06-13 南方科技大学 一种搜索关键词获取的方法及装置
CN107102985A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 改进的文档中多主题的关键词提取技术
CN108334490A (zh) * 2017-04-07 2018-07-27 腾讯科技(深圳)有限公司 关键词提取方法以及关键词提取装置
CN108415953A (zh) * 2018-02-05 2018-08-17 华融融通(北京)科技有限公司 一种基于自然语言处理技术的不良资产经营知识管理方法
CN109190111A (zh) * 2018-08-07 2019-01-11 北京奇艺世纪科技有限公司 一种文档正文关键词提取方法及装置
CN109783787A (zh) * 2018-12-29 2019-05-21 远光软件股份有限公司 一种结构化文档的生成方法、装置及存储介质
CN109918657A (zh) * 2019-02-28 2019-06-21 云孚科技(北京)有限公司 一种从文本中提取目标关键词的方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510221A (zh) * 2009-02-17 2009-08-19 北京大学 一种用于信息检索的查询语句分析方法与系统
CN102262625A (zh) * 2009-12-24 2011-11-30 华为技术有限公司 网页关键词提取方法及装置
US8799257B1 (en) * 2012-03-19 2014-08-05 Google Inc. Searching based on audio and/or visual features of documents
CN104636334A (zh) * 2013-11-06 2015-05-20 阿里巴巴集团控股有限公司 一种关键词推荐方法和装置
CN104750801A (zh) * 2015-03-24 2015-07-01 华迪计算机集团有限公司 一种结构化文档的生成方法和系统
CN106844647A (zh) * 2017-01-22 2017-06-13 南方科技大学 一种搜索关键词获取的方法及装置
CN108334490A (zh) * 2017-04-07 2018-07-27 腾讯科技(深圳)有限公司 关键词提取方法以及关键词提取装置
CN107102985A (zh) * 2017-04-23 2017-08-29 四川用联信息技术有限公司 改进的文档中多主题的关键词提取技术
CN108415953A (zh) * 2018-02-05 2018-08-17 华融融通(北京)科技有限公司 一种基于自然语言处理技术的不良资产经营知识管理方法
CN109190111A (zh) * 2018-08-07 2019-01-11 北京奇艺世纪科技有限公司 一种文档正文关键词提取方法及装置
CN109783787A (zh) * 2018-12-29 2019-05-21 远光软件股份有限公司 一种结构化文档的生成方法、装置及存储介质
CN109918657A (zh) * 2019-02-28 2019-06-21 云孚科技(北京)有限公司 一种从文本中提取目标关键词的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏帆: "社交媒体数据上的时态关键词查询", 《中国博士学位论文全文数据库 信息科技辑》, no. 08, pages 138 - 141 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641783A (zh) * 2020-04-27 2021-11-12 北京庖丁科技有限公司 基于关键语句的内容块检索方法、装置、设备和介质
CN111814477A (zh) * 2020-07-06 2020-10-23 重庆邮电大学 一种基于争议焦点实体的争议焦点发现方法、装置及终端
CN111814477B (zh) * 2020-07-06 2022-06-21 重庆邮电大学 一种基于争议焦点实体的争议焦点发现方法、装置及终端

Also Published As

Publication number Publication date
CN110263345B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN110717339B (zh) 语义表示模型的处理方法、装置、电子设备及存储介质
CN106156365B (zh) 一种知识图谱的生成方法及装置
CN106021572B (zh) 二元特征词典的构建方法和装置
CN109918560B (zh) 一种基于搜索引擎的问答方法和装置
US9645988B1 (en) System and method for identifying passages in electronic documents
CN111310470B (zh) 一种融合字词特征的中文命名实体识别方法
TW202020691A (zh) 特徵詞的確定方法、裝置和伺服器
JP2005158010A (ja) 分類評価装置・方法及びプログラム
CN104008126A (zh) 一种基于网页内容分类进行分词处理的方法和装置
CN106227719B (zh) 中文分词歧义消除方法和系统
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN110674297B (zh) 舆情文本分类模型构建和舆情文本分类方法、装置及设备
CN110188359B (zh) 一种文本实体抽取方法
CN112131876A (zh) 一种基于相似度确定标准问题的方法及系统
CN116561592B (zh) 文本情感识别模型的训练方法和文本情感识别方法及装置
CN105260396B (zh) 字词检索方法和装置
Goyal et al. A joint model of rhetorical discourse structure and summarization
CN111144102A (zh) 用于识别语句中实体的方法、装置和电子设备
CN112188311B (zh) 用于确定新闻的视频素材的方法和装置
CN113821593A (zh) 一种语料处理的方法、相关装置及设备
CN110263345A (zh) 关键词提取方法、装置及存储介质
CN111199151A (zh) 数据处理方法、及数据处理装置
JP6867963B2 (ja) 要約評価装置、方法、プログラム、及び記憶媒体
Asmawati et al. Sentiment analysis of text memes: A comparison among supervised machine learning methods
CN111354354A (zh) 一种基于语义识别的训练方法、训练装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant