CN105574092B - 信息挖掘方法和装置 - Google Patents

信息挖掘方法和装置 Download PDF

Info

Publication number
CN105574092B
CN105574092B CN201510918337.5A CN201510918337A CN105574092B CN 105574092 B CN105574092 B CN 105574092B CN 201510918337 A CN201510918337 A CN 201510918337A CN 105574092 B CN105574092 B CN 105574092B
Authority
CN
China
Prior art keywords
vocabulary
lexical
collocation
subordinate sentence
lexical collocation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510918337.5A
Other languages
English (en)
Other versions
CN105574092A (zh
Inventor
张新展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing duxiaoman Youyang Technology Co.,Ltd.
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201510918337.5A priority Critical patent/CN105574092B/zh
Publication of CN105574092A publication Critical patent/CN105574092A/zh
Application granted granted Critical
Publication of CN105574092B publication Critical patent/CN105574092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3325Reformulation based on results of preceding query
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了信息挖掘方法和装置。所述方法的一具体实施方式包括:对获取的文本信息进行句子切分得到分句集合;根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。该实施方式实现了快速、精确的信息挖掘。

Description

信息挖掘方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及信息技术领域,尤其涉及信息挖掘方法和装置。
背景技术
随着信息化技术突飞猛进的发展,使得互联网中包含了海量的信息内容。舆情是“舆论情况”的简称,是指在一定的社会空间内,围绕中介性社会事件的发生、发展和变化,作为主体的民众对作为客体的社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度。而信息内容中的舆情词汇搭配对能够反映信息的核心内容,可以用来进行文本分析中的逻辑推导。目前,中文的词语搭配对主要是基于人工采集,没有针对具体领域的词汇搭配对集合和成熟稳定的词汇搭配对挖掘方法。人工采集词语搭配对工作,对分析人员的领域知识和语言能力要求很高,整理过程也很繁琐复杂,因此亟需一种自动化的挖掘方法来建立领域内词语搭配对集合。
发明内容
本申请的目的在于提出一种改进的信息挖掘方法和装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种信息挖掘方法,所述方法包括:对获取的文本信息进行句子切分得到分句集合;根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
在一些实施例中,所述方法还包括:对所述第一词汇搭配对集合中的各个词汇搭配对进行向量化得到各个词汇搭配对所对应的多维向量;基于预先训练的支持向量机模型对多维向量进行匹配,得出与多维向量相匹配的第二词汇搭配对集合,其中,所述支持向量机模型用于表征多维向量与词汇搭配对的对应关系。
在一些实施例中,所述多维向量的维度信息包括以下至少一种:第一词汇的频度、第二词汇的频度、第一词汇与第二词汇的平均间隔距离、第一词汇和第二词汇之间的点互信息、第一词汇的词向量、第二词汇的词向量,其中,第一词汇和第二词汇是组成词汇搭配对的两个词汇,频度是词汇出现的次数与总词汇量的比值。
在一些实施例中,所述方法还包括:将词汇搭配对集合中的各个词汇搭配对进行泛化处理,得到第三词汇搭配对集合,其中,所述词汇搭配对集合为第一词汇搭配对集合或第二词汇搭配对集合。
在一些实施例中,所述对获取的文本信息进行句子切分得到分句集合,包括:根据获取的文本信息中的标点符号,将所述文本信息中的句子进行切分,得到所述文本信息的分句集合。
在一些实施例中,所述根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句,包括:根据所述舆情词汇集合建立单词查找树;依据所述单词查找树判断所述分句集合中的各个分句中是否包含所述舆情词汇集合中的词汇,如果包括,则选取该分句为候选分句。
第二方面,本申请提供了一种信息挖掘装置,所述装置包括:切分单元,配置用于对获取的文本信息进行句子切分得到分句集合;选取单元,配置用于根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;分析单元,配置用于基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;挖掘单元,配置用于根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
在一些实施例中,所述装置还包括:向量化单元,配置用于对所述第一词汇搭配对集合中的各个词汇搭配对进行向量化得到各个词汇搭配对所对应的多维向量;匹配单元,配置用于基于预先训练的支持向量机模型对多维向量进行匹配,得出与多维向量相匹配的第二词汇搭配对集合,其中,所述支持向量机模型用于表征多维向量与词汇搭配对的对应关系。
在一些实施例中,所述多维向量的维度信息包括以下至少一种:第一词汇的频度、第二词汇的频度、第一词汇与第二词汇的平均间隔距离、第一词汇和第二词汇之间的点互信息、第一词汇的词向量、第二词汇的词向量,其中,第一词汇和第二词汇是组成词汇搭配对的两个词汇,频度是词汇出现的次数与总词汇量的比值。
在一些实施例中,所述装置还包括:处理单元,配置用于将词汇搭配对集合中的各个词汇搭配对进行泛化处理,得到第三词汇搭配对集合,其中,所述词汇搭配对集合为第一词汇搭配对集合或第二词汇搭配对集合。
在一些实施例中,所述切分单元进一步配置用于:根据获取的文本信息中的标点符号,将所述文本信息中的句子进行切分,得到所述文本信息的分句集合。
在一些实施例中,所述选取单元进一步配置用于:根据所述舆情词汇集合建立单词查找树;依据所述单词查找树判断所述分句集合中的各个分句中是否包含所述舆情词汇集合中的词汇,如果包括,则选取该分句为候选分句。
本申请提供的信息挖掘方法和装置,通过根据预先设定的舆情词汇集合选取候选分句,而后基于具体领域的领域词典对候选分句进行分词,并对分词得到的各个词汇进行依存分析得到候选词汇搭配对,最后再根据舆情词汇集合选取词汇搭配对,从而针对具体领域自动生成词汇搭配对,实现了快速、精确的信息挖掘。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的信息挖掘方法的一个实施例的流程图;
图3是根据本申请的信息挖掘方法的又一个实施例的流程图;
图4是根据本申请的信息挖掘装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的信息挖掘方法或信息挖掘装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、新闻类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持信息处理的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如为终端设备101、102、103提供信息的后台网页服务器。后台网页服务器可以将互联网上的信息发送给终端设备,也可以将互联网上的信息进行分析等处理后将处理结果发送给终端设备。
需要说明的是,本申请实施例所提供的信息挖掘方法可以由终端设备101、102、103单独执行,或者也可以由终端设备101、102、103和服务器105共同执行。相应地,信息挖掘装置可以设置于终端设备101、102、103中,也可以将信息挖掘装置的部分单元设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的信息挖掘方法的一个实施例的流程200。所述的信息挖掘方法,包括以下步骤:
步骤201,对获取的文本信息进行句子切分得到分句集合。
在本实施例中,信息挖掘方法运行于其上的电子设备(例如图1所示的终端设备101、102、103)可以从本地,也可以通过有线连接方式或者无线连接方式从为其提供信息的后台服务器上获取文本信息,并将获取的文本信息进行句子切分。
需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在本实施例的一些可选的实现方式中,上述电子设备可以根据获取的文本信息(例如新闻资讯)中的标点符号,将该文本信息切分为至少一个分句。在这里,上述标点符号可以是特定的某种标点符号(例如,句号),也可以是文本信息中出现的全部标点符号。例如,可以将上述文本信息中出现的各个标点符号作为分隔符,将句子切分为至少一个分句。
步骤202,根据预先设定的舆情词汇集合从分句集合中选取至少一个候选分句。
在本实施例中,基于步骤201中得到的分句集合,上述电子设备可以将分句集合中的各个分句中的文字与预先设定的舆情词汇集合中的舆情词汇进行匹配,并将匹配成功,则将该分句标记为候选分句。在这里,舆情词汇可以是某一具体领域中带有一定情感倾向的词汇,例如,股票证券领域的下跌、做空、上涨等。其中,上述舆情词汇集合中的舆情词汇可以通过人工枚举得到,也可以通过一系列的分析步骤获得。
在本实施例的一些可选的实现方式中,上述电子设备可以首先根据上述舆情词汇集合建立单词查找树。上述单词查找树的根节点为空,除根节点外每一个节点都只包含上述舆情词汇集合中某个舆情词汇的某一个汉字、字母或字符。从根节点到某一节点的路径上经过的汉字、字母或字符连接起来组成一个舆情词汇,每个节点的所有子节点包含的汉字、字母或字符都不相同。然后,依据建立的单词查找树判断上述分句集合中的各个分句中是否包含所述舆情词汇集合中的词汇,如果包括,则选取该分句为候选分句。
步骤203,基于领域词典对至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对。
在本实施例中,上述电子设备可以采用现有的分词算法(例如基于字符串匹配的分词方法、基于理解的分词方法或基于统计的分词方法)将各个候选分句进行分词处理,之后再结合领域词典将错误切分的词进行合并,得到至少一个词汇。例如,股票名称“国新能源”可能会被错误的切分为“国/新能源”,则需要结合证券股票词典将错误切分的词进行合并。然后,上述电子设备采用依存句法分析方法对各个词汇进行依存分析,根据分析结果得到至少一个候选词汇搭配对,候选词汇搭配对可以是主语和谓语组成的搭配对,例如,“国务院发布”、“股价下跌”,也可以是动词和宾语组成的搭配对,例如,“遭到降级”。
步骤204,根据舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
在本实施例中,上述电子设备可以将步骤203中得到的至少一个候选词汇搭配对与上述舆情词汇集合中的舆情词汇进行匹配,并选取匹配成功的候选词汇搭配组成从上述文本信息中挖掘出的第一词汇搭配对集合。例如,如果候选词汇搭配对中包含上述舆情词汇集合中词汇,则选取该候选词汇搭配对。
进一步参考图3,其示出了信息挖掘方法的又一个实施例的流程300。该信息挖掘方法的流程300,包括以下步骤:
步骤301,对获取的文本信息进行句子切分得到分句集合。
在本实施例中,信息挖掘方法运行于其上的电子设备(例如图1所示的终端设备101、102、103)可以从本地,也可以通过有线连接方式或者无线连接方式从为其提供信息的后台服务器上获取文本信息,并将获取的文本信息进行句子切分。
步骤302,根据预先设定的舆情词汇集合从分句集合中选取至少一个候选分句。
在本实施例中,上述电子设备可以将步骤302中得到的分句集合中的各个分句中的文字与预先设定的舆情词汇集合中的舆情词汇进行匹配,并将匹配成功,则将该分句标记为候选分句。
步骤303,基于领域词典对至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对。
在本实施例中,上述电子设备可以采用现有的分词算法将各个候选分句进行分词处理,之后再结合领域词典将错误切分的词进行合并,得到至少一个词汇。然后,采用依存句法分析方法对各个词汇进行依存分析,根据分析结果得到至少一个候选词汇搭配对,候选词汇搭配对可以是主语和谓语组成的搭配对,也可以是动词和宾语组成的搭配对。
步骤304,根据舆情词汇集合从至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从文本信息中挖掘出的第一词汇搭配对集合。
在本实施例中,上述电子设备可以将步骤303中得到的至少一个候选词汇搭配对与上述舆情词汇集合中的舆情词汇进行匹配,并选取匹配成功的候选词汇搭配组成从上述文本信息中挖掘出的第一词汇搭配对集合。
步骤305,对第一词汇搭配对集合中的各个词汇搭配对进行向量化得到各个词汇搭配对所对应的多维向量。
在本实施例中,上述电子设备可以将步骤304中得到的第一词汇搭配对集合中的各个词汇搭配对进行向量化,得到各个词汇搭配对所对应的多维向量。即将各个词汇搭配对表示为一个多维向量。例如,词汇搭配对“W1,W2”可以表示为向量(0,1,2,3,4,5)。
可选的,本实施例中上述第一词汇搭配对集合中的各个词汇搭配对所对应的多维向量的维度信息可以包括以下至少一种:第一词汇的频度、第二词汇的频度、第一词汇与第二词汇的平均间隔距离、第一词汇和第二词汇之间的点互信息(PMI)、第一词汇的词向量、第二词汇的词向量,其中,第一词汇和第二词汇是组成词汇搭配对的两个词汇;频度是词汇出现的次数与总词汇量的比值;词向量为表征词的向量,可以通过现有的词向量模型(例如Word2Vector模型)计算获得;第一词汇与第二词汇之间的间隔距离可以用第一词汇和第二词汇之间间隔的词的数量来表示,一般词汇搭配对会在文本信息中多次出现,计算词汇搭配对中的第一词汇与第二词汇之间的间隔距离的平均值,即为第一词汇与第二词汇的平均间隔距离。
步骤306,基于预先训练的支持向量机模型对多维向量进行匹配,得出与多维向量相匹配的第二词汇搭配对集合。
在本实施例中,上述电子设备可以将步骤305中得到的第一词汇搭配对集合中的各个词汇搭配对所对应的多维向量输入到预先训练的支持向量机模型(svm模型),得到与多维向量相匹配的第二词汇搭配对集合。其中,上述支持向量机模型为利用机器学习方法,基于大量预先设定的多维向量和与该大量多维向量相关联的词汇搭配对,训练得到的。该支持向量机模型用于表征多维向量与词汇搭配对的对应关系。
在本实施例的一些可选的实现方式中,上述电子设备还可以将第一词汇搭配对集合或第二词汇搭配对集合中的各个词汇搭配对进行泛化处理,得到第三词汇搭配对集合。在本实施例中,考虑到上述文本信息的局限性,对挖掘的结果(即第一词汇搭配对集合和第二词汇搭配对集合)进行泛化,从而引入更多的词汇搭配对的关联数据,提高挖掘的结果在下一步的信息处理中的应用范围。例如,将词汇搭配对“A公司发布”、“B公司发布”泛化为“公司发布”;又例如,将词汇搭配对“净利下降”泛化为“净利润下降”、“毛利下降”等。
从图3中可以看出,与图2对应的实施例相比,本实施例中的信息挖掘方法的流程300突出了对第一词汇搭配对集合中各个词汇搭配对的处理步骤。由此,本实施例描述的方案可以对挖掘的第一词汇搭配对集合中的各个词汇搭配对作进一步的匹配,从而使挖掘的结果更加精确。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种信息挖掘装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所述的信息挖掘装置400包括:切分单元401、选取单元402、分析单元403和挖掘单元404。其中,切分单元401配置用于对获取的文本信息进行句子切分得到分句集合;选取单元402配置用于根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;分析单元403配置用于基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;挖掘单元404配置用于根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
在本实施例中,信息挖掘装置400的切分单元401可以将获取的文本信息进行句子切分得到该文本信息的分句集合。
在本实施例中,基于切分单元401得到的分句集合,上述选取单元402可以根据预先设定的舆情词汇集合从分句集合中选取至少一个候选分句。
在本实施例中,上述分析单元403可以将上述选取单元402选取的候选分句进行分词处理,之后再结合领域词典将错误切分的词进行合并,得到至少一个词汇,然后,采用依存句法分析方法对各个词汇进行依存分析得到至少一个候选词汇搭配对。
在本实施例中,上述挖掘单元404可以将上述分析单元403得到的候选词汇搭配对与上述舆情词汇集合中的舆情词汇进行匹配,并选取匹配成功的候选词汇搭配组成从上述文本信息中挖掘出的第一词汇搭配对集合。
本领域技术人员可以理解,上述信息挖掘装置400还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图4中未示出。
下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括切分单元、选取单元、分析单元和挖掘单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,切分单元还可以被描述为“对获取的文本信息进行句子切分得到分句集合的单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:对获取的文本信息进行句子切分得到分句集合;根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种信息挖掘方法,其特征在于,所述方法包括:
对获取的文本信息进行句子切分得到分句集合;
根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;
基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;
根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一词汇搭配对集合中的各个词汇搭配对进行向量化得到各个词汇搭配对所对应的多维向量;
基于预先训练的支持向量机模型对多维向量进行匹配,得出与多维向量相匹配的第二词汇搭配对集合,其中,所述支持向量机模型用于表征多维向量与词汇搭配对的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述多维向量的维度信息包括以下至少一种:
第一词汇的频度、第二词汇的频度、第一词汇与第二词汇的平均间隔距离、第一词汇和第二词汇之间的点互信息、第一词汇的词向量、第二词汇的词向量,其中,第一词汇和第二词汇是组成词汇搭配对的两个词汇,频度是词汇出现的次数与总词汇量的比值,第一词汇与第二词汇的平均间隔距离用第一词汇和第二词汇之间间隔的词的数量来表示。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将词汇搭配对集合中的各个词汇搭配对进行泛化处理,得到第三词汇搭配对集合,其中,所述词汇搭配对集合为第一词汇搭配对集合或第二词汇搭配对集合。
5.根据权利要求1所述的方法,其特征在于,所述对获取的文本信息进行句子切分得到分句集合,包括:
根据获取的文本信息中的标点符号,将所述文本信息中的句子进行切分,得到所述文本信息的分句集合。
6.根据权利要求1所述的方法,其特征在于,所述根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句,包括:
根据所述舆情词汇集合建立单词查找树;
依据所述单词查找树判断所述分句集合中的各个分句中是否包含所述舆情词汇集合中的词汇,如果包括,则选取该分句为候选分句。
7.一种信息挖掘装置,其特征在于,所述装置包括:
切分单元,配置用于对获取的文本信息进行句子切分得到分句集合;
选取单元,配置用于根据预先设定的舆情词汇集合从所述分句集合中选取至少一个候选分句;
分析单元,配置用于基于领域词典对所述至少一个候选分句进行分词处理,并对分词处理后得到的各个词汇进行依存分析,得到至少一个候选词汇搭配对;
挖掘单元,配置用于根据所述舆情词汇集合从所述至少一个候选词汇搭配对中选取至少一个词汇搭配对,作为从所述文本信息中挖掘出的第一词汇搭配对集合。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
向量化单元,配置用于对所述第一词汇搭配对集合中的各个词汇搭配对进行向量化得到各个词汇搭配对所对应的多维向量;
匹配单元,配置用于基于预先训练的支持向量机模型对多维向量进行匹配,得出与多维向量相匹配的第二词汇搭配对集合,其中,所述支持向量机模型用于表征多维向量与词汇搭配对的对应关系。
9.根据权利要求8所述的装置,其特征在于,所述多维向量的维度信息包括以下至少一种:
第一词汇的频度、第二词汇的频度、第一词汇与第二词汇的平均间隔距离、第一词汇和第二词汇之间的点互信息、第一词汇的词向量、第二词汇的词向量,其中,第一词汇和第二词汇是组成词汇搭配对的两个词汇,频度是词汇出现的次数与总词汇量的比值,第一词汇与第二词汇的平均间隔距离用第一词汇和第二词汇之间间隔的词的数量来表示。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
处理单元,配置用于将词汇搭配对集合中的各个词汇搭配对进行泛化处理,得到第三词汇搭配对集合,其中,所述词汇搭配对集合为第一词汇搭配对集合或第二词汇搭配对集合。
11.根据权利要求7所述的装置,其特征在于,所述切分单元进一步配置用于:
根据获取的文本信息中的标点符号,将所述文本信息中的句子进行切分,得到所述文本信息的分句集合。
12.根据权利要求7所述的装置,其特征在于,所述选取单元进一步配置用于:
根据所述舆情词汇集合建立单词查找树;
依据所述单词查找树判断所述分句集合中的各个分句中是否包含所述舆情词汇集合中的词汇,如果包括,则选取该分句为候选分句。
CN201510918337.5A 2015-12-10 2015-12-10 信息挖掘方法和装置 Active CN105574092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510918337.5A CN105574092B (zh) 2015-12-10 2015-12-10 信息挖掘方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510918337.5A CN105574092B (zh) 2015-12-10 2015-12-10 信息挖掘方法和装置

Publications (2)

Publication Number Publication Date
CN105574092A CN105574092A (zh) 2016-05-11
CN105574092B true CN105574092B (zh) 2019-08-23

Family

ID=55884223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510918337.5A Active CN105574092B (zh) 2015-12-10 2015-12-10 信息挖掘方法和装置

Country Status (1)

Country Link
CN (1) CN105574092B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108628821B (zh) * 2017-03-21 2022-11-25 腾讯科技(深圳)有限公司 一种词汇挖掘方法及装置
CN107392436A (zh) * 2017-06-27 2017-11-24 北京神州泰岳软件股份有限公司 一种提取企业关联关系信息的方法和装置
CN107688600B (zh) * 2017-07-12 2021-06-25 百度在线网络技术(北京)有限公司 知识点挖掘方法及装置
CN107766325B (zh) * 2017-09-27 2021-05-28 百度在线网络技术(北京)有限公司 文本拼接方法及其装置
CN107783961A (zh) * 2017-11-08 2018-03-09 郑州云海信息技术有限公司 一种热点话题识别的方法、装置及可读存储介质
CN108460014B (zh) * 2018-02-07 2022-02-25 百度在线网络技术(北京)有限公司 企业实体的识别方法、装置、计算机设备及存储介质
CN110569494B (zh) * 2018-06-05 2023-04-07 北京百度网讯科技有限公司 用于生成信息的方法、装置、电子设备及可读介质
CN109635276B (zh) * 2018-11-12 2020-12-11 厦门市美亚柏科信息股份有限公司 一种信息匹配方法及终端
CN110781669A (zh) * 2019-10-24 2020-02-11 泰康保险集团股份有限公司 文本关键信息提取方法与装置、电子设备、存储介质
CN110874531B (zh) * 2020-01-20 2020-07-10 湖南蚁坊软件股份有限公司 一种话题分析方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609427A (zh) * 2011-11-10 2012-07-25 天津大学 舆情垂直搜索分析系统及方法
CN102663046A (zh) * 2012-03-29 2012-09-12 中国科学院自动化研究所 一种面向微博短文本的情感分析方法
CN103530281A (zh) * 2013-10-15 2014-01-22 苏州大学 一种论元抽取方法和系统
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955773B (zh) * 2011-08-31 2015-12-02 国际商业机器公司 用于在中文文档中识别化学名称的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609427A (zh) * 2011-11-10 2012-07-25 天津大学 舆情垂直搜索分析系统及方法
CN102663046A (zh) * 2012-03-29 2012-09-12 中国科学院自动化研究所 一种面向微博短文本的情感分析方法
CN103530281A (zh) * 2013-10-15 2014-01-22 苏州大学 一种论元抽取方法和系统
CN104281645A (zh) * 2014-08-27 2015-01-14 北京理工大学 一种基于词汇语义和句法依存的情感关键句识别方法

Also Published As

Publication number Publication date
CN105574092A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105574092B (zh) 信息挖掘方法和装置
CN105183912B (zh) 异常日志确定方法和装置
US8271615B2 (en) Centrally managing and monitoring software as a service (SaaS) applications
US20170220698A1 (en) Canonical data model for iterative effort reduction in business-to-business schema integration
Heymann et al. Visual analysis of complex networks for business intelligence with gephi
US9665648B2 (en) Method and apparatus for a user interest topology based on seeded user interest modeling
CN105426508B (zh) 网页生成方法和装置
US20110136542A1 (en) Method and apparatus for suggesting information resources based on context and preferences
CN108140018A (zh) 创作用于基于文本的文档的视觉表示
CN109189938A (zh) 用于更新知识图谱的方法和装置
JP2009099124A (ja) データ構築方法とシステム
CN112100550A (zh) 一种页面构建方法和装置
US9529791B1 (en) Template and content aware document and template editing
US11360653B2 (en) Synchronized presentation of data in different representations
CN110032722A (zh) 文本纠错方法和装置
CN106407377A (zh) 基于人工智能的搜索方法和装置
CN106919711A (zh) 基于人工智能的标注信息的方法和装置
CN107526718A (zh) 用于生成文本的方法和装置
CN107944032A (zh) 用于生成信息的方法和装置
CN105929979B (zh) 长句输入方法和装置
CN105260459B (zh) 搜索方法和装置
CN112084342A (zh) 试题生成方法、装置、计算机设备及存储介质
CN106886594A (zh) 用于展示信息的方法和装置
US8683425B2 (en) System for generating application architecture design work products
CN110705271B (zh) 一种提供自然语言处理服务的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191121

Address after: 201210 room j1328, floor 3, building 8, No. 55, Huiyuan Road, Jiading District, Shanghai

Patentee after: SHANGHAI YOUYANG NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 100085 Beijing, Haidian District, No. ten on the ground floor, No. 10 Baidu building, layer three

Patentee before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160511

Assignee: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Assignor: SHANGHAI YOUYANG NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2020990000188

Denomination of invention: Information mining method and device

Granted publication date: 20190823

License type: Exclusive License

Record date: 20200417

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 401120 b7-7-2, Yuxing Plaza, No.5, Huangyang Road, Yubei District, Chongqing

Patentee after: Chongqing duxiaoman Youyang Technology Co.,Ltd.

Address before: 201210 room j1328, 3 / F, building 8, 55 Huiyuan Road, Jiading District, Shanghai

Patentee before: SHANGHAI YOUYANG NEW MEDIA INFORMATION TECHNOLOGY Co.,Ltd.