CN113779973A - 一种文本数据处理方法及其装置 - Google Patents

Abstract

本申请公开了一种文本数据处理方法及其装置，所述方法包括：将获取的文本数据按照预定方式转换为候选短语；确定每个候选短语中的分词是否属于至少一个预设词典；若属于至少一个预设词典，则将对应的候选短语确定为可视化短语。采用本申请，使得用户表达的语义可读性更高且语义更丰富。

Description

一种文本数据处理方法及其装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本数据处理方法及其装置。

背景技术

随着技术的发展，数据可视化可借助于图形化的手段，能够将相对晦涩的数据，通过可视的、交互的方式进行展示，从而形象、直观地表达出数据蕴含的信息和规律，因此作为新研究领域越来越受到人们关注。

词云作为数据可视化的重要展示方式，能够将网络文本(例如，评论)中出现频率较高的“关键词”予以视觉上的突出，形成“关键词云层”或者“关键词渲染”，从而过滤掉大量的文本信息。但是按照现有技术生成的词云通常晦涩难懂且信息重叠度高，因此，需要一种能够生成可读性高且信息丰富的技术方案。

上述信息仅作为背景信息被呈现以帮助理解本公开。至于任何上述信息是否可应用为针对本公开的现有技术，尚未做出决定，也未做出声明。

发明内容

本申请实施例提供一种文本数据处理方法及其装置，旨在至少解决以上提到的技术问题。

本申请实施例还提供一种文本数据处理方法，所述方法包括：将获取的文本数据按照预定方式转换为候选短语；确定每个候选短语中的分词是否属于至少一个预设词典；若属于至少一个预设词典，则将对应的候选短语确定为可视化短语。

本申请实施例还提供一种文本数据处理装置，所述装置包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上方法。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现以上方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

本申请的示例性实施例的文本数据处理方法可利用预设词典从文本数据中提取出可视化短语，使得呈现出的词云可读性更高且语义更丰富。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请的示例性实施例的文本数据处理系统的示图；

图2是根据本申请的示例性实施例的文本数据处理方法的步骤流程图；

图3是根据本申请的示例性实施例的生成至少一个预定词典的步骤流程图；

图4是根据本申请的示例性实施例提供的词云的示例图；

图5是根据本申请的另一示例性实施例的文本数据处理方法的步骤流程图；

图6是根据本申请的示例性实施例的文本数据处理装置的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1是根据本申请的示例性实施例的文本数据处理系统的示图。出于描述的目的，所绘的体系结构仅为合适环境的一个示例，并非对本申请的使用范围或功能提出任何局限。也不应将该计算系统解释为对图1所示的任一组件或其组合具有任何依赖或需求。

本申请的原理可以使用其它通用或专用计算或通信环境或配置来操作。适用于本申请的众所周知的计算系统、环境和配置的示例包括但不限于，个人计算机、服务器，多处理器系统、基于微处理的系统、小型机、大型计算机、以及包括任一上述系统或设备的分布式计算环境。

在其最基本的配置中，图1中的文本数据处理系统100至少包括：一个或多个客户端104以及对所述一个或多个客户端104发送的文本执行文本数据处理的服务器102。服务器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置、用于存储数据的存储装置以及与客户端通信的传输装置；客户端104可以包括：微处理器MCU、与服务器通信的传输装置、与用户交互的显示装置。在本申请中，“系统”也可以被定义为能够执行软件、固件或微码来实现功能的任何硬件组件或硬件组件的组合，文本数据处理系统100甚至可以是分布式的，以实现分布式功能。

如本申请所使用的，术语“模块”、“组件”或“单元”可以指在配置信息的更新系统100上执行的软件对象或例程。此处所描述的不同组件、模块、单元、引擎和服务可被实现为在文本数据处理方法100上执行(例如，作为单独的线程)的对象或进程。尽管此处所描述的系统和方法较佳地以软件来实现，但是硬件或软件和硬件的组合的实现也是可能并被构想的。

在实际处理中，网络评论者可通过各自客户端104创造并发布对于某一视频的评论内容，而服务器102可在获取到各个客户端发布的评论内容后，对这些评论内容按照本申请的示例性实施例对这些评论内容执行文本数据处理，从而生成能够准确表达观众的意见的词云。

如图1所示，客户端104可不直接与服务器102连接，也就是说，客户端104可将评论者对所播放的视频的评论内容对应的文本数据发送到相应的视频服务器200，随后，该视频服务器200可将所述文本数据发送到服务器102，最后，服务器102可根据本申请的示例性实施例的文本数据处理方法对所述文本数据执行文本数据处理，生成适当的词云以进行展示。

以下将结合图2至图3具体解释服务器102执行的文本数据处理方法。

图2是根据本申请的示例性实施例的文本数据处理方法的步骤流程图。在本发明实施例中，文本数据处理方法的执行主体为终端或服务器等具备文本数据处理能力的计算设备，也可以为部署在分布式系统中的多台计算设备。

参照图2，所述文本数据处理方法包括：步骤S210，将获取的文本数据按照预定方式转换为候选短语。具体来说，首先，经授权后，可获取网页中的文本数据。这里，文本数据指的是互联网数据资源中的文本数据，这些文本数据的数量庞大且分散地存在于互联网的各个网站或应用(APP)的页面中，也就是说，由于网站或应用的不同，这些文本数据的来源也是不同的。举例来说，所述文本数据可以是在观看视频前用户输入的信息，也可以是在观看视频期间以弹幕形式显示在页面上的弹幕信息，还可以是在观看视频后输入的评论信息。又例如，所述文本数据可以是在演唱会期间用户利用应用输入的文本信息。此外，所述文本数据可以是在购买商品后获取的评论信息，或者可以是商家输入的用于描述该商品的商品信息。又例如，在新闻类应用的场景下，所述文本数据可以是新闻文本或者是用户在阅读某一新闻后输入的评论信息。

在本发明实施例中，可经授权后，通过网页文本提取方法来提取页面中的文本数据。

随后，可在提取到文本数据后，对文本数据进行预处理。对文本数据进行预处理的方式包括：对文本数据进行格式归一化处理，例如将字符统一为小写字符，将文字统一为简体字，将文本数据中的标点符号替换为空格等。此外，对文本数据进行预处理的方式还包括：滤除文本数据中的噪声，例如，删除文本数据中的网页链接或网页发布日期等。

然后，将经过预处理后的文本数据按照标点符号拆分为各个文本分句。举例来说，可将评论文本“演唱会非常棒，我一定要现场观看12月份成都的演唱会。”按照标点符号直接划分为“演唱会非常棒”以及“我一定要现场观看12月份成都的演唱会”，通过这种方式，能够使候选短语的可读性更高。

此后，可利用各个文本分句生成候选短语。具体来说，可确定每个文本分句的长度是否小于预设阈值，若文本分句的长度小于预设阈值，则所述文本分句被确定为候选短语。例如，在预设阈值长度设置为6的情况下，以上提到的“演唱会非常棒”可被直接确定为候选短语。

对于文本分句的长度大于所述预设阈值的情况，例如以上提到的“我一定要现场观看12月份成都的演唱会”，可对该文本分句进行重新划分，获取到候选短语。

具体来说，可先确定大于所述预设阈值的文本分句中的各个分词的词性，然后利用这些分词的词性对文本分句进行划分，也就是说，可将文本分句按词性分割为各个分词。优选地，可利用HanLP执行分词处理，其中，HanLP是一系列模型与算法组成的NLP工具包，可包括分词、词性标注、关键词提取、自动摘要等功能。通过利用HanLP对文本数据进行处理，可获取到构成文本分句的每个分词以及对应的词性。此外，应注意，本申请不限于该方法，任何可用于执行分词处理的分词工具均可应用于此。

此外，为了防止误分词，可预先对大量样本进行统计得到评论内容的专有名词/词汇。在这过程中，可先去除无用分词，其中，无用分词可包括低频分词/字以及停用分词。也就是说，可以去除输入文本中的低频分词/字和停用分词，其中，低频分词/字可以是预先对大量预料样本进行统计得到的出现概率比较低的分词或字。停用分词可以通过查找停用词库的方式确定，其中，停用词库可以是预先基于预定的规则生成的，例如，可以将“的”、“地”、“得”等词列入停用词库。

最后，可根据所述各个分词的词性，按照窗口设置方式从大于所述预设阈值的文本分句中提取出满足窗口大小的文本分句作为候选短语。所述窗口大小可以是技术人员根据用户观看喜好预先设置的，例如，可将窗口大小设置为5并且所述窗口内的各个分词在词性上是完整的。如以上所述，针对分句“我一定要现场观看12月份成都的演唱会”按照词性可被划分为“我”、“一定”、“要”、“现场”、“观看”、“12月份”、“成都”和“演唱会”，当窗口大小设置为5时，可从该分句中提取出“我一定要”、“一定要现场”、“要现场观看”、“现场观看”、“观看12月份”、“12月份成都”、“成都演唱会”这些短语。这些短语可被确定为候选短语，通过这种方式，可使候选短语更符合用户的阅读习惯。

根据本申请的示例性实施例，在步骤S210中获取到候选短语后，可直接执行步骤S220，确定每个候选短语中的各个分词是否属于至少一个预设词典。

为了更好地描述该过程，可参照图3对此进行详细说明，图3示出了根据本申请的示例性实施例的生成至少一个预定词典的步骤流程图。

在实施中，对于文本数据的处理通常限定在某一领域，而专用词典中的词汇正是与该专用词典对应的设定的领域相关的词汇。因此，可以预先创建好设定的领域的专用词典，通过该专用词典在分词处理的结果中确定出设定的关键词，对设定的关键词进行词频统计，以更有针对性地进行文本挖掘。

在步骤S310，收集历史文本数据，具体来说，可利用网络文本提取技术提取所设定领域的大量历史文本数据。在实施中，还可按照以上提到的预处理方式对这些历史文本数据执行预处理。

随后，在步骤S320，对这些历史文本数据按照如上方式执行分词处理，获取到高频词。

在步骤S330，对这些高频词执行标注，生成情感词词典和主体词词典。所述标注操作可采用人工标注的方式，也可根据需求利用人工智能方式实现对这些高频词的标注操作。

在此过程中，所述方法还可在生成的情感词词典以及主体词词典的基础上，对这些词典进行进一步优化，具体包括：在情感词词典以及主体词词典的基础上引入多种同义词生成方法，进一步生成情感词同义词典以及主体词同义词典，主要包括规则同义、大小写同义、词序颠倒同义、含义同义、中英文同义词、词向量同义等，其中规则由领域专家提供，中英文同义词由第三方翻译API及第三方百科知识结合生成，各同义规则下的同义词迭代优化，汇总生成最终的情感词同义词典以及主体词同义词典。

在按照如上方式已经生成所述至少一个预设词典的情况下，可将候选短语中的每个分词分别与这些预设词典进行比对，确定至少一个分词属于至少一个预设词典的候选分句。举例来说，“演唱会非常棒”可被划分为“演唱会”、“非常”以及“棒”后，将这三个分词分别与情感词词典以及主体词词典进行匹配。

步骤S230，若属于至少一个预设词典，则将对应的候选短语确定为可视化短语。所述可视化短语可以被理解为可以作为词云在屏幕上展示的短语。举例说明，在确定“演唱会”属于主体词词典且“棒”属于情感词词典的基础上，其所属的“演唱会非常棒”可被确定为可视化短语。在实施中，候选短语中只要有一个分词是属于以上提到的至少一个预设词典，则可将该候选短语确定为可视化短语。

如上所述，利用预先设置的词典，从候选短语中确定可视化短语，使得可视化短语中至少包括评论主体词或者评论情感词，使得生成的词云的语义更全面、完整，更好地反馈用户的真实情感。

作为示例，所述方法还可对获取的文本数据直接执行分词处理，并获取的分词中提取出多个高频分词，随后，对这些高频分词进行聚类处理，获取到聚类后的可视化分词。也就是说，在现有的按照词语生成词云的基础上，可对这些词语按照同义词典执行聚类，将聚类中出现频次最多的分词代表该聚类的所有分词。

综上可述，对于相同或相近的分词执行聚类处理，使得生成的词云信息量更大且更科学地呈现重要评论。更进一步地，可利用可视化短语以及可视化分词构成了混合结构词云，从而能够更好地向用户展示真实的评论内容。

此外，所述方法还可将所述可视化短语和可视化分词按照预设方式生成可视化词云。举例来说，可在确定可视化短语与可视化分词后，利用TF-IDF(term frequency–inverse document frequency，词频-逆向文件频率)技术，分别计算每个可视化短语与每个可视化分词的TF-IDF，随后，利用TF-IDF的高低确定最终展示的可视化短语以及可视化分词，此外，还可按照TF-IDF的高低确定展示方式，例如，TF-IDF越高的可视化分词的展示位置越居中，并且所展示的区域越大。

TF-IDF是一种统计方法，用以评估某一字/词对于一个文件集或一个语料库中的其中一份文件的重要程度。字/词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。在本申请中，由于文本数据是以评论的形式存在的，因此在计算TF-IDF时，可将每个评论看作一个文件计算TF和IDF。

综上可述，本申请的示例性实施例的文本数据处理方法可利用预设词典从文本数据中提取出可视化短语，使得呈现出的词云可读性更高且语义更丰富。更进一步地，可利用标点符号对文本数据执行拆分，获取候选短语，使得候选短语可读性更高，更进一步地，利用词性对文本数据执行窗口处理，获取候选短语，使得候选短语更符合用户阅读习惯。更进一步地，利用预先设置的词典，从候选短语中确定可视化短语，使得可视化短语中至少包括评论主体词或者评论情感词，使得生成的词云的语义更全面、完整，更好地反馈用户的真实情感。更进一步地，对于相同或相近的分词执行聚类处理，使得生成的词云信息量更大且更科学地呈现重要评论。更进一步地，可利用可视化短语以及可视化分词构成了混合结构词云，从而能够更好地向用户展示真实的评论内容。

以上已经提到词云是用于对文本数据中出现频次较高的关键词予以视觉上的突出，形成关键词云层，从而过滤到大量出现频次较低的关键词，使得用户可以快速地定位到出现频次较高的关键词。是根据本申请的示例性实施例提供的词云的示例图，通过图4可以直观、快速地明确在观看XX演唱会后，观众的直观感受。

从该词云中可以直观地看出来，词云中不仅有可视化短语，例如，“现场感受棒”、“歌手唱功好”，还有可视化分词，例如“超棒”、“开心”。通过这种混合词云的方式，使得用户能够更直观地获取到更丰富的信息。

此外，应注意，虽然图4给出了根据本申请的示例性实施例的文本数据处理方法对观看演唱会的评论信息执行的处理，但是并不是为了限制目的，本申请的示例性实施例的文本数据处理方法也可应用于生成词云的其它场景中。举例来说，可按照本申请的示例性实施例的文本数据处理方法对在观看视频期间的弹幕信息进行处理，从而按照以上方式显示由评论信息生成的词云。又例如，可按照本申请的示例性实施例的文本数据处理方法在收集的商品评论信息进行处理，从而按照以上方式显示由商品评论信息生成的词云。又例如，可按照本申请的示例性实施例的文本数据处理方法对新闻文本执行处理，从而按照以上方式显示该新闻文本对应的词云。

为了更好地说明本申请，以下将参照图5对本申请的另一示例性实施例的文本数据处理方法进行描述。图5示出了根据本申请的另一示例性实施例的文本数据处理方法的流程图。

参照图5，所述文本数据处理方法可包括生成模块510以及文本数据处理模块520。

词典生成模块510可预先生成各种词典，这样可对文本数据中的候选短语执行处理。具体来说，可收集历史文本数据，然后对这些历史文本按照如上所述方法执行分词，然后从这些分词中提取出高频词，在此过程中，可结合高频词的词性，对这些高频词分别进行标注，生成评论情感词词典6.1和评论主体词词典6.2。

此外，还可对这些词典进行进一步优化，具体包括：在情感词词典以及主体词词典的基础上引入多种同义词生成方法，进一步生成情感词同义词典以及主体词同义词典，主要包括规则同义、大小写同义、词序颠倒同义、含义同义、中英文同义词、词向量同义等，其中规则由领域专家提供，中英文同义词由第三方翻译API及第三方百科知识结合生成，各同义规则下的同义词迭代优化，汇总生成最终的情感词同义词典以及主体词同义词典。

文本数据处理模块520可在提取全网评论信息后，可对文本数据执行预处理，例如，可对文本数据执行繁简体转换、全角转换为半角、去除表情符号等，然后对预处理后的文本数据执行分句处理，如图5所示，可按照标点符号实现分句处理。然后，确定每个文本分句的长度是否小于预设阈值；若文本分句的长度小于预设阈值，则所述文本分句被确定为候选短语(步骤8)。

若文本分句的长度大于预设阈值，则确定大于所述预设阈值的文本分句中的各个分词的词性(步骤9)，然后根据分词的词性，按照窗口设置方式从大于预设阈值的文本分句中提取出满足窗口大小的文本分句作为候选短语(步骤10)。

随后，确定每个候选短语中的各个分词是否属于词典生成模块510生成的至少一个预设词典(步骤13)，然后将属于同一预设词典的分词按照TF-IDF方法，分别计算每个可视化短语与每个可视化分词的TF-IDF，最后生成可视化词云(步骤14)。为了更清楚地明白本申请的示例性实施例的发明构思，以下将参照图6描述本申请的示例性实施例的文本数据处理装置的框图。本领域普通技术人员将理解：图6中的装置仅示出了与本示例性实施例相关的组件，所述装置中还包括除了图6中示出的组件之外的通用组件。

图6示出本申请的示例性实施例的文本数据处理装置的框图。参考图6，在硬件层面，该装置包括处理器、内部总线和计算机可读存储介质，其中，所述计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

具体来说，所述处理器执行以下操作：将获取的文本数据按照预定方式转换为候选短语；确定每个候选短语中的各个分词是否属于至少一个预设词典；若属于至少一个预设词典，则将对应的候选短语确定为可视化短语。

可选地，所述处理器可实现步骤将获取的文本数据按照预定方式转换为候选短语包括：获取网页中的文本数据；将所述文本数据按照标点符号拆分为各个文本分句；利用所述各个文本分句生成候选短语。

可选地，所述处理器可实现步骤利用所述各个文本分句生成候选短语包括：确定每个文本分句的长度是否小于预设阈值；若文本分句的长度小于预设阈值，则所述文本分句被确定为候选短语。

可选地，所述处理器还可实现步骤：若文本分句的长度大于所述预设阈值，则确定大于所述预设阈值的文本分句中的各个分词的词性；根据所述各个分词的词性，按照窗口设置方式从大于所述预设阈值的文本分句中提取出满足窗口大小的文本分句作为候选短语。

可选地，所述处理器可实现步骤在将所述文本数据按照标点符号拆分为文本分句前包括：通过对所述文本数据执行预处理，将预处理后的文本数据执行拆分步骤。

可选地，所述处理器可实现步骤确定每个候选短语中的分词是否属于至少一个预设词典包括：利用历史文本数据生成所述至少一个预设词典；按照候选短语的词性，将候选短语划分为不同词性的分词；确定每个分词是否属于所述至少一个预设词典。

可选地，所述处理器可实现步骤利用历史文本数据生成所述至少一个预设词典后包括：对所述至少一个预设词典中的词语执行聚类处理，生成包括不同簇的同义词词典。

可选地，所述处理器可实现步骤对应的候选短语确定为可视化短语后还包括：将所述可视化短语中的每个分词按照所述至少一个同义词词典聚类为同一簇分词，生成聚类后的可视化分词。

可选地，所述处理器还可实现步骤：从获取的文本数据中提取出多个高频分词；对所述多个高频分词进行聚类处理，获取到聚类后的可视化分词。

可选地，所述处理器还可实现步骤：将所述可视化短语和可视化分词按照预设方式生成可视化词云。

可选地，所述至少一个预设词典包括情感词词典和主体词词典。

综上可述，根据本申请的示例性实施例的文本数据处理装置可可利用预设词典从文本数据中提取出可视化短语，使得呈现出的词云可读性更高且语义更丰富。更进一步地，可利用标点符号对文本数据执行拆分，获取候选短语，使得候选短语可读性更高，更进一步地，利用词性对文本数据执行窗口处理，获取候选短语，使得候选短语更符合用户阅读习惯。更进一步地，利用预先设置的词典，从候选短语中确定可视化短语，使得可视化短语中至少包括评论主体词或者评论情感词，使得生成的词云的语义更全面、完整，更好地反馈用户的真实情感。更进一步地，对于相同或相近的分词执行聚类处理，使得生成的词云信息量更大且更科学地呈现重要评论。更进一步地，可利用可视化短语以及可视化分词构成了混合结构词云，从而能够更好地向用户展示真实的评论内容。

需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤21和步骤22的执行主体可以为设备1，步骤23的执行主体可以为设备2；又比如，步骤21的执行主体可以为设备1，步骤22和步骤23的执行主体可以为设备2；等等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种文本数据处理方法，所述方法包括：

将获取的文本数据按照预定方式转换为候选短语；

确定每个候选短语中的分词是否属于至少一个预设词典；

若属于所述至少一个预设词典，则将对应的候选短语确定为可视化短语。

2.如权利要求1所述的方法，其中，将获取的文本数据按照预定方式转换为候选短语包括：

获取网页中的文本数据；

将所述文本数据按照标点符号拆分为文本分句；

利用所述文本分句生成候选短语。

3.如权利要求2所述的方法，其中，利用所述文本分句生成候选短语包括：

确定每个文本分句的长度是否小于预设阈值；

若文本分句的长度小于预设阈值，则所述文本分句被确定为候选短语。

4.如权利要求3所述的方法，所述方法还包括：

若文本分句的长度大于所述预设阈值，则确定大于所述预设阈值的文本分句中的分词的词性；

根据所述分词的词性，按照窗口设置方式从大于所述预设阈值的文本分句中提取出满足窗口大小的文本分句作为候选短语。

5.如权利要求2所述的方法，其中，在将所述文本数据按照标点符号拆分为文本分句前包括：

通过对所述文本数据执行预处理，将预处理后的文本数据执行拆分步骤。

6.如权利要求5所述的方法，其中，确定每个候选短语中的分词是否属于至少一个预设词典包括：

利用历史文本数据生成所述至少一个预设词典；

按照候选短语的词性，将候选短语划分为不同词性的分词；

确定每个分词是否属于所述至少一个预设词典。

7.如权利要求6所述的方法，其中，利用历史文本数据生成所述至少一个预设词典后包括：

基于所述至少一个预设词典，引入对应的同义词词典，生成对应的至少一个预设同义词词典。

8.如权利要求7所述的方法，其中，对应的候选短语确定为可视化短语后还包括：

将所述可视化短语中的每个分词按照所述至少一个预设同义词词典执行聚类，生成聚类后的可视化分词。

9.如权利要求1所述的方法，所述方法还包括：

从获取的文本数据中提取出多个高频分词；

对所述多个高频分词进行聚类处理，获取到聚类后的可视化分词。

10.如权利要求8所述的方法，所述方法还包括：

将所述可视化短语和可视化分词按照预设方式生成可视化词云。

11.如权利要求1所述的方法，其中，所述至少一个预设词典包括情感词词典和主体词词典。

12.一种文本数据处理装置，所述装置包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1至11中的任一权利要求所述的方法。

13.一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现权利要求1至11中的任一权利要求所述的方法。

Images