CN113536763A - 一种信息处理方法、装置、设备及存储介质 - Google Patents

一种信息处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113536763A
CN113536763A CN202110821206.0A CN202110821206A CN113536763A CN 113536763 A CN113536763 A CN 113536763A CN 202110821206 A CN202110821206 A CN 202110821206A CN 113536763 A CN113536763 A CN 113536763A
Authority
CN
China
Prior art keywords
text
processed
similarity
stored
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110821206.0A
Other languages
English (en)
Inventor
王宇琪
张佳旭
郝艳妮
王璋盛
曹家
方省
罗引
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Wenge Technology Co ltd
Original Assignee
Beijing Zhongke Wenge Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Wenge Technology Co ltd filed Critical Beijing Zhongke Wenge Technology Co ltd
Priority to CN202110821206.0A priority Critical patent/CN113536763A/zh
Publication of CN113536763A publication Critical patent/CN113536763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种信息处理方法、装置、设备及存储介质。其中，信息处理方法包括：获取待处理文本；确定待处理文本与已存储文本之间的文本相似度；基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度；在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。根据本公开实施例，可以提高重复信息的查找精度和效率且节约设备资源，以进一步提高重复信息的处理效果和效率，降低文本内容的重复性，进而使得用户快速且准确的从网络平台中查找感兴趣信息的需求，提高用户查看信息的体验且节约设备资源。

Description

一种信息处理方法、装置、设备及存储介质
技术领域
本公开涉及信息处理技术领域，尤其涉及一种信息处理方法、装置、设备及存储介质。
背景技术
随着大数据时代的到来，网络平台逐渐逐趋向成熟，用户可以便捷的在网络平台上分享和查看感兴趣的信息。
为了避免在同一页面展示重复信息，网络平台需要对重复信息进行处理。然而，在相关技术中，网络平台不能快速准确地查找到重复信息，使得所展示内容的重复性依然较高，导致用户不能快速准确的从网络平台中查找感兴趣信息，影响用户的信息查看体验，且查找重复信息的过程占用较多的内存，浪费设备资源。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种信息处理方法、装置、设备及存储介质。
本公开提供了一种信息处理方法，该方法包括：
获取待处理文本；
确定待处理文本与已存储文本之间的文本相似度；
基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度；
在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
本公开提供了一种信息处理装置，该装置包括：
待处理文本获取模块，用于获取待处理文本；
文本相似度确定模块，用于确定待处理文本与已存储文本之间的文本相似度；
文本相似度修正模块，用于基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度；
相似文本确定模块，用于在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
本发明实施例还提供了一种信息处理设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的信息处理方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的信息处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例的一种信息处理方法、装置、设备及存储介质，能够在获取到待处理文本后，计算待存储文本和已存储文本之间的文本相似度，并根据待处理文本的发布时间和已存储文本的发布时间修正文本相似度，得到修正后的文本相似度，在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本，首先，由于文本距离的确定过程和基于发布时间修正文本距离的过程计算量很小且内存占用很小，使得确定修正后的文本相似度的计算量很小，因此可以提高相似文本的筛选效率且节约设备资源，其次，修正后的文本相似度不但可以体现出两个文本内容的相似程度，还可以体现两个文本的时效相关性，因此，可以提高相似文本的筛选准确性。综上，本公开实施例可以快速准确地查找到相似文本即重复信息，进而可以在向用户进行内容展示时，降低所展示内容的重复性，使得用户能够快速且准确的从网络平台中查找感兴趣信息，提升用户的信息查看体验且节约设备资源。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种信息处理方法的架构图；
图2为本公开实施例提供的一种信息处理方法的流程示意图；
图3为本公开实施例提供的另一种信息处理方法的流程示意图；
图4为本公开实施例提供的又一种信息处理方法的流程示意图；
图5为本公开实施例提供的一种相同文本查找方法的流程示意图；
图6为本公开实施例提供的一种信息聚类方法的流程示意图；
图7为本公开实施例提供的再一种信息处理方法的流程示意图；
图8为本公开实施例提供的一种结合时间衰减系数的最小哈希聚类模块的信息聚类方法的流程示意图；
图9为本公开实施例提供的一种信息处理装置的结构示意图；
图10为本发明实施例提供的一种信息处理设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
近年来，微博、贴吧以及各种搜索引擎等网络平台逐渐走向成熟，用户可以在网络平台上分享意见和见解，并利用网络平台的转发功能，将自己喜欢的内容进行发布，提升了信息传播的效率，用户也可以从发布的信息中查看自己感兴趣的信息。
然而，随着用户分享或者发布的信息逐渐增多，同样的信息在网络平台的不同展示页面(例如微博页面)上重复出现，使得展示页面上所展示的信息具有较强的重复性。如果用户想要从展示页面上查找感兴趣信息或者有价值的信息，会大大提升用户的信息获取成本，影响用户查看信息的体验。
为了避免在同一页面展示重复信息，网络平台可以对用户发表或者转发的信息进行排重处理，以降低展示页面所展示的信息的重复性。信息排重相当于聚类，聚类是指针对给定的文本，根据文本之间的相似度，将给定的文本归并到某一类，使得相似的文本聚集到同一类，不相似的文本分散在不同类。
目前，一般采用传统的聚类方法进行文本聚类，传统的聚类方法是：首先对文本的语义内容进行向量化表示，然后通过计算文本之间的相似度聚合相似文本。其中，传统的聚类方法包括：K均值聚类算法、基于文本语义相似度的排重方法、基于SimHash的文本排重方法。然而，K均值聚类算法需要预先指定类的数目，不能满足每日亿量级信息排重的需求；基于文本语义相似度的排重方法可以支持流式数据排重，但是时间复杂度较高，需要通过不断增加设备数量以支持排重功能；基于SimHash的文本排重方法通过提取文本中的关键词作为特征词，并利用局部敏感哈希函数将词语映射为指纹，最后比较每篇文档的指纹，如果指纹差异较小，就认为两篇文章相似，但是SimHash适用于长文本排重，在短文本上效果表现不佳。
可见，由于上述的问题，使得网络平台不能准确且快速的查找到重复信息，且对重复信息的处理效果不好，使得所显示的文本内容重复性依然较高，导致用户不能的快速且准确的从网络平台中查找感兴趣信息的需求，影响用户查看信息的体验。
为了解决上述问题，本公开实施例提供了一种能够准确且快速的找到重复信息的信息处理方法、装置、信息处理设备及存储介质。
图1示出了本公开实施例提供的一种信息处理方法的架构图。
如图1所示，该架构图可以包括电子设备101和服务器102。电子设备101可以通过网络协议如超文本传输安全协议(Hyper Text TransferProtocol over Secure SocketLayer，HTTPS)与服务器102建立连接并进行信息交互。其中，电子设备101可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端、可穿戴设备、一体机、智能家居设备等具有通信功能的设备，也可以包括虚拟机或者模拟器模拟的设备。服务器102可以是云服务器或者服务器集群等具有存储及计算功能的设备。
基于上述架构，当进行信息处理时，服务器102可以获取电子设备101发送的待处理文本，计算待处理文本和已存储文本的文本相似度，以及基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度，进一步在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
在其他实施例中，本公开实施例提供的一种信息处理方法的架构图还可以包括数据库。
其中，数据库也可以通过网络协议如超文本传输安全协议(HyperText TransferProtocol over Secure Socket Layer，HTTPS)与服务器102建立连接并进行信息交互。
可选的，数据库可以包括关系数据库、非关系型数据库等具有大数据存储功能的数据集合。
基于上述架构，当进行信息处理时，服务器102可以获取电子设备101发送的待处理文本，并从数据库中获取已存储文本，并确定待处理文本与已存储文本之间的文本相似度，基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度，在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为所述待处理文本的相似文本。
在本公开实施例中，由于相似文本是基于体现出两个文本内容的相似程度的文本相似度和体现出两个文本的时效相关性的文本发布时间确定的，使得在确定的修正后的文本相似度时，提高确定相似文本的准确性，并且，由于文本相似度的确定过程和基于发布时间修正文本相似度的过程计算量很小，使得确定修正后的文本相似度的计算量很小，因此，可以提高重复信息的查找效率和准确度。
由此，基于上述架构，可以提高重复信息的查找效率和准确度，以进一步提高重复信息的处理效果和处理效率，降低文本内容的重复性，以满足用户快速且准确的从网络平台中查找感兴趣信息的需求，提升用户查看信息的体验。
根据上述架构，下面结合图2至图8对本公开实施例提供的信息处理方法进行说明。在本公开实施例中，该信息处理方法可以由服务器执行。在本公开实施例中，该服务器可以为图1中所示的服务器102。服务器102可以是云服务器或者服务器集群等具有存储及计算功能的设备。
图2示出了本公开实施例提供的一种信息处理方法的流程示意图。
S210、获取待处理文本。
具体的，当电子设备发布新的文本之后，可以将新发布的文本作为待处理文本，并将待处理文本发送至服务器，以使服务器获取待处理文本，并查找与待处理文本重复的文本。
可选的，待处理文本的文本类型可以包括：长文本类型、短文本类型等，在此不作限制。
在本公开实施例中，服务器可以通过多个处理节点或者多个处理线程同时接收海量的待处理文本，并基于每个处理节点或者每个处理线程查找每个待处理文本的相似文本。
S220、确定待处理文本与已存储文本之间的文本相似度。
具体的，当服务器获取到待处理文本之后，可以从数据库获取已存储文本，以确定待处理文本与已存储文本之间的文本相似度。
在本公开实施例中，已存储文本可以是已执行过相似判断后的历史发布文本。
在本公开实施例中，文本相似度可以表征待处理文本与已存储文本的文本内容的相似程度。文本相似度越高，说明待处理文本与已存储文本的文本内容的相似程度越高，文本相似度越低，说明待处理文本与已存储文本的文本内容的相似程度越低。
在本公开一些实施例中，确定待处理文本与已存储文本之间的文本相似度，可以包括：
分别对待处理文本和已存储文本进行分词处理；
确定待处理文本和已存储文本的交集词汇的个数和并集词汇的个数；
将交集词汇的个数和并集词汇的个数相除，得到文本相似度。
其中，交集词汇可以是同时出现在待处理文本和已存储文本的词汇。
其中，并集词汇可以是待处理文本和已存储文本中的所有词汇。
在本公开实施例中，服务器可以基于前缀词典的词图扫描算法、隐马尔科夫算法、动态规划算法中的一种或多种算法，对待处理文本进行分词处理，得到待处理文本的词汇集合，并从数据库中获取已存储文本的词汇集合，接着，从待处理文本的词汇集合和已存储文本的词汇集合中提取交集词汇的个数和并集词汇的个数，将交集词汇的个数和并集词汇的个数相除，得到文本相似度，该文本相似度即相当于Jaccard相似度(杰卡德相似度)。即Jaccard相似度可以根据如下公式计算：
Figure BDA0003172041490000071
其中，J(A,B)为Jaccard相似度，A为待处理文本的词汇集合，B为已存储文本的词汇集合，|A∩B|为交集词汇的个数，|A∪B|为并集词汇的个数。
S230、基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度。
具体的，当服务器获取到待处理文本之后，可以分别获取待处理文本与已存储文本的文本发布时间，以基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度。
在本公开实施例中，文本发布时间可以是文本在网络平台上发布的时间。
以网络平台为微博平台为例，微博平台上发布的文本具有较强的时效性，如果两篇文本的文本发布时间差异较大，则讨论相同内容的概率就越小。因此，在获取到待处理文本之后，可以分别获取待处理文本与已存储文本的文本发布时间，以基于待处理文本与已存储文本的文本发布时间修正文本相似度，得到修正后的文本相似度。
具体的，服务器计算文本相似度之后，可以计算待处理文本的发布时间和已存储文本的发布时间的发布时间差异，根据发布时间差异降低词汇相似但讨论不同内容的文本归入一类的概率，以对文本相似度进行校正，得到修正后的文本相似度。
在本公开实施例中，修正后的文本相似度可以是表征待处理文本与已存储文本的基于时效相关性的文本内容的相似程度。修正后的文本相似度越高，说明待处理文本与已存储文本的基于时效相关性的文本内容的相似程度越高，修正后的文本相似度越低，说明待处理文本与已存储文本的基于时效相关性的文本内容的相似程度越低。
可选的，修正后的文本相似度可以小于或等于文本相似度。
S240、在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
在本公开实施例中，预设相似度阈值可以预先设置的表征文本相似的最小相似概率。可选的，预设相似度阈值可以是0.85、0.9等数值，在此不作限制。
具体的，在服务器确定修正后的文本相似度之后，可以将修正后的文本相似度与预设相似度阈值进行比较，如果修正后的文本相似度大于或等于预设相似度阈值，确定已存储文本与待处理文本相似，则将已存储文本作为待处理文本的相似文本。
在本公开实施例中，能够在获取到待处理文本后，计算待存储文本和已存储文本之间的文本相似度，并根据待处理文本的发布时间和已存储文本的发布时间修正文本相似度，得到修正后的文本相似度，在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本，首先，由于文本相似度的确定过程和基于发布时间修正文本相似度的过程计算量很小且内存占用很小，使得确定修正后的文本相似度的计算量很小，因此可以提高相似文本的筛选效率且节约设备资源，其次，修正后的文本相似度不但可以体现出两个文本内容的相似程度，还可以体现两个文本的时效相关性，因此，可以提高相似文本的筛选准确性。综上，本公开实施例可以快速准确地查找到相似文本即重复信息，进而可以在向用户进行内容展示时，降低所展示内容的重复性，使得用户能够快速且准确的从网络平台中查找感兴趣信息，提升用户的信息查看体验且节约设备资源。
在本公开另一种实施方式中，为了提高修正后的文本相似度的计算准确度和计算效率，可以根据以下方式确定修正后的文本相似度，以降低确定修正后的文本相似度的计算量，并提高修正后的文本相似度的计算准确性，提高重复信息的查找效率和准确度。
在本公开一种实施方式中，为了提高文本相似度的计算效率并降低计算量，可以基于待处理文本的最小哈希签名和已存储文本的最小哈希签名，计算文本相似度。
在本公开一些实施例中，确定待处理文本与已存储文本之间的文本相似度，可以包括：
生成待处理文本的最小哈希签名；
计算待处理文本的最小哈希签名和已存储文本的最小哈希签名之间的汉明距离；
根据汉明距离确定文本相似度。
其中，待处理文本的最小哈希签名可以是基于MinHash算法(最小哈希算法)确定的文本签名。
其中，已存储文本的最小哈希签名可以是预先基于MinHash算法(最小哈希算法)确定并存储的文本签名。
其中，汉明距离可以是两个长度相同的哈希签名对应位不同的数量，可以用于表征两个文本的相似度。如果汉明距离越小，说明待处理文本与已存储文本的文本内容的相似程度越高，即文本相似度越高，如果汉明距离越大，说明待处理文本与已存储文本的文本内容的相似程度越低，即文本相似度越低。
具体的，在计算待处理文本的最小哈希签名之前，服务器可以基于前缀词典的词图扫描算法、隐马尔科夫算法、动态规划算法中的一种或多种算法，对待处理文本进行分词处理，得到待处理文本的词汇集合，接着，基于MinHash算法计算待处理文本的最小哈希签名，并获取已存储文本的最小哈希签名，进一步计算待处理文本的最小哈希签名和已存储文本的最小哈希签名之间的汉明距离，根据汉明距离确定文本相似度。
在本公开实施例中，在计算Jaccard相似度时，可以存储每个文本的文本内容或者独热编码(One-hot encoding，One-Hot编码)。
在本公开实施例中，基于MinHash算法可以将待处理文本的词汇集合中的词汇的位置均匀打乱，并采用预设个数的随机哈希函数对独热向量进行映射，将新顺序下每个词汇集合中的第一个词汇作为该词汇集合的特征值，以计算待处理文本的最小哈希签名，同时可以将高维度的独热向量转化为低维度的二进制数字串，降低了计算过程中的内存占用和计算资源。由于最小哈希签名属于局部敏感哈希，较为相近的文本内容对应的哈希签名也比较相近。
在本公开实施例中，可以将根据待处理文本的最小哈希签名和已存储文本的最小哈希签名之间的汉明距离确定的文本相似度，作为Jaccard相似度。
由此，在本公开实施例中，服务器获取待处理文本之后，根据待处理文本和已存储文本对应的最小哈希签名，可以快速且准确的计算出文本相似度，并降低内存占用。
在本公开又一种实施方式中，为了进一步提高修正后的文本相似度的计算准确性，可以基于待处理文本的发布时间和已存储文本的发布时间，确定时间衰减系数，以进一步基于时间衰减系数对文本相似度进行修正，得到修正后的文本相似度。
在本公开一些实施例中，基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度，可以包括：
计算待处理文本的发布时间和已存储文本的发布时间之间的发布时间差；
确定发布时间差对应的时间衰减系数；
将文本相似度与时间衰减系数相乘，得到修正后的文本相似度。
在本公开实施例中，服务器可以将已存储文本的文本发布时间与待处理文本的文本发布时间相减，得到发布时间差。
其中，时间衰减系数可以是用于降低词汇相似但讨论不同内容的文本被归入一类的概率。具体的，时间衰减系数可以用于修正文本相似度，得到修正后的文本相似度，以提高相似文本的筛选精度。
在本公开一些实施例中，确定发布时间差对应的时间衰减系数，可以包括：
在发布时间差小于预设时间阈值的情况下，时间衰减系数为预设衰减系数；
在发布时间差大于或等于预设时间阈值的情况下，根据发布时间差和预设衰减速度参数计算时间衰减系数。
其中，预设时间阈值可以是预先设置的用于表征两个文本讨论同一内容的最大时间差。可选的，预设时间阈值可以是1天、3天、5天等，在此不作限制。
其中，预设衰减系数可以是预先设置的固定衰减系数。可选的，预设衰减系数可以是1、2、3等固定值。
其中，预设衰减速度参数可以是预先设置的用于控制衰减速度的参数。
由此，在本公开实施例中，服务器确定文本相似度之后，根据文本发布时间确定时间衰减系数，以进一步基于文本相似度和时间衰减系数，得到修正后的文本相似度，可以进一步提高待处理文本与已存储文本之间的相似度计算精度。
下面，以基于待处理文本的发布时间和已存储文本的发布时间之间的发布时间差计算时间衰减系数，并基于时间衰减系数对文本相似度进行修正，得到修正后的文本相似度为例，对S230进行具体说明。
在本公开实施例中，可选的，可以通过如下公式确定时间衰减系数：
Figure BDA0003172041490000121
其中，λ为时间衰减系数，1为预设衰减系数，Δt为发布时间差，T为预设时间阈值，β和α分别为预设衰减速度参数
由此，在0≤Δt≤T的情况下，则时间衰减系数为1，即不设置衰减系数，说明待处理文本与已存储文本的发布时间差较小，且讨论同一内容的概率较大，且意味着短时间范围内，相似度不衰减；在Δt≥T的情况下，则时间衰减系数的取值为
Figure BDA0003172041490000122
说明待处理文本与已存储文本的发布时间差较大，且讨论同一内容的概率较小，并且，随着时间的增长，讨论同一内容的概率逐渐减小，使得修正后的文本相似度逐渐减小。
在本公开实施例中，可选的，修正后的文本相似度的计算公式可以为：
dist(t,w)＝ham min gt,w*λt,w
其中，dist(t,w)可以是目标距离，即修正后的文本相似度，ham min gt,w可以是待处理文本和已存储文本之间的汉明距离，即文本相似度，λt,w可以是待处理文本与已存储文本的时间衰减系数，t可以是待处理文本，w可以是已存储文本。
基于上述描述可知，在0≤Δt≤T的情况下，将文本相似度ham min gt,w与时间衰减系数1相乘，得到修正后的文本相似度，修正后的文本相似度与修正前的文本相似度相等；在Δt≥T的情况下，将文本相似度ham min gt,w与时间衰减系数
Figure BDA0003172041490000131
相乘，得到修正后的文本相似度，使得修正后的文本相似度小于修正前的文本相似度。
综上，在本公开实施例中，根据待处理文本和已存储文本对应的最小哈希签名，可以快速且准确的计算出文本相似度，并降低内存占用，基于计算得到的时间衰减系数，修正文本相似度，得到修正后的文本相似度，可以进一步提高待处理文本与已存储文本之间的相似度计算精度，进而提高相似文本的查找效率和准确度，以进一步提高重复信息的处理效果和效率，降低文本内容的重复性。
为了对待处理文本进行聚类，本公开实施例还提供了另一种信息处理方法，可以在查找到待处理文本的相似文本之后，基于相似文本对待处理文本进行聚类，可以降低文本内容的重复性，进而满足用户快速且准确的从网络平台中查找感兴趣信息的需求，提升用户的信息查看体验。
图3示出了本公开实施例提供的另一种信息处理方法的流程示意图。
如图3所示，该信息处理方法可以包括如下步骤。
S310、获取待处理文本。
S320、确定待处理文本与已存储文本之间的文本相似度。
在本公开实施例中，已存储文本为目标文本类别的中心文本，即已存储文本可以是目标文本类别的类中心，目标文本类别可以是已存储文本对应的文本类别。
在本公开实施例中，为了提升文本聚类效率以及减少存储压力，可以采用单遍聚类算法(Single-pass clustering)对待处理文本进行聚类。其中，单遍聚类算法是一种简洁且高效的文本聚类算法，每条文本只需遍历已有类别一次，就可以完成聚类，并且，单遍聚类算法可以不需要预先指定类的数量，可以通过设定相似度阈值来限定聚类数量，因此特别适合流式数据聚类。
其中，单遍聚类算法的聚类方法可以包括：以第一篇文本n1为种子，建立一个类c1，n1作为c1的类中心，并将其id和签名存储到数据库；新来一篇文本n2，采用预设的文本相似度计算方法，将n2与已有的所有类的类中心做相似度计算，找出与文本n2具有最大相似度的已有类别，其相似度记作s2；若s2大于预设的相似度阈值，则把文本n2加入相似度最大的类中，则结束聚类，并等待下一篇文本进入；若s2小于阈值，则文本n2不属于任一已有类，需创建新的类别，同时n2作为新创建类别的类中心，等待下一篇文本进入进行聚类。
S330、基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度。
S340、在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
其中，S310-S340与S210-S240相似，在此不作赘述。
S350、将待处理文本添加至目标文本类别中。
具体的，服务器在查找到待处理文本的相似文本之后，可以将待处理文本添加至相似文本所属的目标文本类别中，即根据相似文本对待处理文本进行聚类处理，以实现对内容重复的文本进行排重处理，或者，在将待处理文本添加至相似文本所属的目标文本类别中之后，还根据待处理文件更新目标文本类别的中心文本，以实现对内容重复的文本进行排重处理。
在一些实施例中，在待处理文本与相似文本的发布时间差大于时间更新阈值的情况下，在将待处理文本添加至相似文本所属的目标文本类别中之后，还根据待处理文件更新目标文本类别的中心文本，以实现对内容重复的文本进行排重处理。
在另一些实施例中，在待处理文本与相似文本的发布时间差小于或等于时间更新阈值的情况下，将待处理文本添加至相似文本所属的目标文本类别中，即根据相似文本对待处理文本进行聚类处理，以实现对内容重复的文本进行排重处理。
其中，时间更新阈值可以是预先设置的用于确定是否更新目标文本类别的中心文本的时间段。可选的，时间更新阈值可以是3天、5天、7天等。
为了进一步的提高聚类效率，在本公开实施例中，在将已存储文本作为待处理文本的相似文本之后，该方法还包括：将最大的修正后的文本相似度对应的相似文本作为待处理文本的目标相似文本。
在本公开一些实施例中，在已存储文本是海量文本的情况下，服务器可以遍历每个已存储文本，并确定每个已存储文本对应的目标文本类别，并计算每次遍历得到的修正后的文本相似度，并记录修正后的文本相似度大于或等于预设相似度阈值的已存储文本作为相似文本，当遍历完全部已存储文本后，在待处理文本存在多个所述相似文本的情况下，将最大的修正后的文本相似度对应的相似文本作为待处理文本的目标相似文本，以及将待处理文本添加至目标相似文本所属的目标文本类别中，使得对待处理文本与唯一相似文本进行聚类，可以进一步提高聚类效率。
S360、在修正后的文本相似度小于预设相似度阈值的情况下，将待存储文本作为新文本类别的中心文本。
具体的，在修正后的文本相似度小于预设相似度阈值的情况下，服务器可以确定待存储文本与已存储文本的内容相似度较低，则直接将待存储文本作为新文本类别的中心文本；如果服务器将修正后的文本距离与所有已存储文本的文本距离比较，且在修正后的文本距离大于或等于预设文本距离阈值的情况下，服务器可以确定待存储文本与已存储文本的内容相似度较低，则直接将待存储文本作为新文本类别的中心文本。
由此，在本公开实施实施例中，采用单遍聚类方法对待处理文本进行聚类，可以提高对待处理文本的聚类效率，并且，聚类过程无需预先指定类的数目，满足每日数亿量级微博排重的需求，通过设定相似度阈值来限定聚类数量，特别适合流式数据聚类，另外，该聚类方法可以适用于对微博平台上发布的短文本以及其他网络平台发布的长文本进行聚类，适用范围更广泛。
进一步的，服务器对待处理文本进行聚类之后，可以将聚类结果发送至电子设备，以使电子设备的网络平台上展示聚类后的文本信息，使得网络平台的同一展示页面上展示不同的信息，降低同一页面信息的重复性。另外，服务器可以根据聚类结果生成重复文本的数量，使得网络平台的同一展示页面上展示不同的信息的同时，还可以展示每个信息的重复数量，在接收到用户的触控操作后，对应显示重复信息。
由此，在本公开实施例中，在确定相似文本后，可以采用单遍聚类方法将待处理文本添加至相似文本所属的目标文本类别中，或者，将待处理文本添加至目标相似文本所属的目标文本类别中，以对待处理文本进行聚类，该聚类方法可以提高重复信息的处理效果和效率，可以适应于海量的文本聚类需求，无需增加设备数量进行聚类，且适用于短文本的聚类需求，具有很好的推广应用价值。
本公开实施例还提供了另一种信息处理方法，在确定待处理文本与已存储文本之间的文本相似度之前，还可以基于待处理文本与已存储文本分别对应的信息摘要签名，筛选出与待处理文本相同的已存储文本，以提高重复信息的查找效率和准确度。
图4示出了本公开实施例提供的又一种信息处理方法的流程示意图。
如图4所示，该信息处理方法可以包括如下步骤。
S410、获取待处理文本。
S420、确定待处理文本的信息摘要签名。
在本公开实施例中，待处理文本的信息摘要签名可以是基于消息摘要算法(Message-Digest Algorithm)对待处理文本进行消息摘要提取，并计算得到的签名。消息摘要算法可以是MD5消息摘要算法。信息摘要签名可以用于确定待处理文本和已存储文本是否为完全相同的文本。
其中，MD5消息摘要算法是一种被广泛使用的哈希算法，可被应用于文本表示。Md5消息摘要算法通过不可逆的字符串变换算法，可以产生出一个定长的哈希值，通常为128位。相同文本的MD5是一致的，如果对文本做了任何改动，其md5的值都会发生很大变化。基于上述原理，本公开实施例可以采用MD5消息摘要算法待处理文本的信息摘要签名，以基于待处理文本的信息摘要签名识别与待处理文本完全相同的文本。
为了进一步提高重复信息的查找效率和准确度，在执行S420之前，该方法包括：对待处理文本进行文本清洗。
相应的，S420可以包括：确定清洗后的待处理文本的信息摘要签名。
具体的，服务器获取到待处理文本之后，可以采用正则表达式将待处理文本的繁体字转化为简体字、将待处理文本中的标点符号统一为半角形式、将待处理文本中的英文字母转换为小写以及去除待处理文本中的停用词。其中，停用词可以是在各类文档中频繁出现的，附带极少语义信息的功能词，停用词对区分文本内容帮助较小，因此在文本表示时将其去掉。常见停用词类型有连词、副词、介词、助词、语气词，例如“的”、“了”、“啊”等。
S430、在待处理文本的信息摘要签名与已存储文本的信息摘要签名不相同的情况下，确定待处理文本与已存储文本之间的文本相似度。
其中，已存储文本的信息摘要签名可以是预先是基于MD5消息摘要算法计算得到的签名。
在本公开实施例中，已存储文本为目标文本类别的中心文本，即已存储文本可以是目标文本类别的类中心，目标文本类别可以是已存储文本对应的文本类别。
在本公开实施例中，如果服务器确定待处理文本的信息摘要签名与已存储文本的信息摘要签名不相同，则确定待处理文本与已存储文本不是相同的文本，则继续计算待处理文本与已存储文本的文本相似度。
S440、基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度。
S450、在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
其中，S440-S450与S230-S240相似，在此不作赘述。
S460、在待处理文本的信息摘要签名与已存储文本的信息摘要签名相同的情况下，将待处理文本添加至目标文本类别中。
在本公开实施例中，如果服务器确定待处理文本的信息摘要签名与已存储文本的信息摘要签名相同，则确定待处理文本与已存储文本为相同的文本，则待处理文本添加至目标文本类别，即根据相似文本对待处理文本进行聚类处理，以实现对内容重复的文本进行排重处理，或者，在将待处理文本添加至相似文本所属的目标文本类别中之后，还根据待处理文件更新目标文本类别的中心文本，以实现对内容重复的文本进行排重处理。
在本公开实施例中，图5示出了本公开实施例所提供的一种相同文本查找方法的流程示意图。
下面，结合图5解释服务器查找相同文本的过程。如图5所示，相同文本查找方法的流程具体可以包括如下步骤。
S501、获取待处理文本。
S502、对待处理文本进行清洗。
S503、计算待处理文本的信息摘要签名。
在本公开实施例中，可以通过MD5算法计算待处理文本的信息摘要签名。
S504、确定是否存在与待处理文本的信息摘要签名完全相同的已存储文本的信息摘要签名。
在本公开实施例中，服务器可以获取已存储文本的信息摘要签名，并确定是否存在待处理文本的信息摘要签名完全相同的已存储文本的信息摘要签名，如果是，则执行S505，如果否，执行S506。
S505、将待处理文本添加至已存储文本所属的文本类别中。
在本公开实施例中，如果服务器确定待处理文本的信息摘要签名与已存储文本的信息摘要签名相同，则确定存在与待处理文本完全相同的已存储文本，将待处理文本添加至已存储文本所属的文本类别中，以对待处理文本进行聚类。
S506、结束。
在本公开实施例中，如果服务器确定待处理文本的信息摘要签名与已存储文本的信息摘要签名不相同，则确定不存在与待处理文本完全相同的已存储文本，即结束查找相同文本。
由此，在本公开实施例中，在计算待处理文本与已存储文本的文本相似度之前，还可以对待处理文本进行清洗，以及基于待处理文本与已存储文本分别对应的信息摘要签名，筛选出与待处理文本完全相同的已存储文本，以提高重复信息的查找效率和准确度。
在本公开一些实施例中，服务器将已存储文本作为待处理文本的相似文本之后，还可以将待处理文本添加至相似文本所属的目标文本类别中，或者添加至目标相似文本所属的目标文本类别中，以对待处理文本进行聚类处理，以实现对内容重复的文本进行排重处理，或者，在将待处理文本添加至相似文本所属的目标文本类别中之后，还根据待处理文件更新目标文本类别的中心文本，以实现对内容重复的文本进行排重处理。
在本公开另一些实施例中，服务器在确定修正后的文本相似度小于预设相似度阈值的情况下，将待存储文本作为新文本类别的中心文本。
在本公开实施例中，图6示出了本公开实施例所提供的一种信息聚类方法的流程示意图。
下面，结合图6解释服务器对待处理文本进行聚类的过程。如图6所示，信息聚类方法的流程具体可以包括如下步骤。
S601、获取待处理文本。
S602、对待处理文本进行清洗。
S603、基于MD5模块确定是否存在与待处理文本相同的已存储文本。
在本公开实施例中，服务器可以基于MD5模块计算待处理文本的信息摘要签名，并获取已存储文本的信息摘要签名，并确定待处理文本的信息摘要签名与已存储文本的信息摘要签名是否相同，如果不存在相同的信息摘要签名，则执行S604，否则，执行S606。
S604、采用结合时间衰减系数的最小哈希聚类模块查找待处理文本的相似文本。
在本公开实施例中，如果服务器确定不存在与待处理文本完全相同的已存储文本，则采用结合时间衰减系数的最小哈希聚类模块，计算文本相似度和时间衰减系数，并根据时间衰减系数修正文本相似度，得到修正后的文本相似度，根据修正后的文本相似度查找待处理文本的相似文本。
S605、确定是否查找到待处理文本的相似文本。
在本公开一些实施例中，在已存储文本为一个文本的情况下，如果服务器确定修正后的文本相似度大于或等于预设相似度阈值，则确定查找到待处理文本的相似文本，则执行S606，如果修正后的文本相似度小于预设相似度阈值，则确定未查找到待处理文本的相似文本，则执行S607。
在本公开另一些实施例中，在已存储文本为海量文本的情况下，服务器可以遍历每个已存储文本，确定每个已存储文本对应的目标文本类别，并计算每次遍历得到的修正后的文本相似度，并记录修正后的文本相似度大于或等于预设相似度阈值的已存储文本作为相似文本，当遍历完全部已存储文本后，在待处理文本存在多个相似文本的情况下，将最大的修正后的文本相似度对应的相似文本作为待处理文本的目标相似文本，则确定查找到待处理文本的相似文本，执行S606，如果所有已存储文本与待处理文本的修正后的文本相似度均小于预设相似度阈值，则确定未查找到待处理文本的相似文本，执行S607。
S606、将待处理文本添加至已存储文本所属的文本类别中。
在本公开实施例中，如果服务器确定待处理文本的信息摘要签名与已存储文本的信息摘要签名，则将待处理文本添加至已存储文本所属的文本类别中，或者，如果服务器确定查找到待处理文本的相似文本，则将待处理文本添加至已存储文本所属的文本类别中，以对待处理文本进行聚类。
S607、将待存储文本作为新文本类别的中心文本。
由此，在本公开实施例中，在计算待处理文本与已存储文本的文本相似度之前，对待处理文本进行清洗，并基于待处理文本与已存储文本分别对应的信息摘要签名，筛选出与待处理文本相同的已存储文本，以及结合文本相似度和时间衰减系数，查找相似文本，使得重复信息的查找效率和准确度大大提高，以进一步提高待处理文本的聚类效果和效率。
在本公开又一种实施方式中，为了提高修正后的文本相似度的计算准确度和计算效率，可以确定待处理文本的文本长度，在文本长度和已存储文本的文本长度的长度差异小于预设长度阈值的情况下，计算文本相似度，以进一步降低确定修正后的文本相似度的计算量并提高修正后的文本相似度的计算准确性，提高重复信息的查找效率和准确度。
图7示出了本公开实施例提供的再一种信息处理方法的流程示意图。
如图7所示，该信息处理方法可以包括如下步骤。
S710、获取待处理文本。
S720、确定待处理文本的文本长度。
待处理文本的文本长度可以是待处理文本的字符串长度。
S730、在确定待处理文本的文本长度与已存储文本的文本长度的长度差异值小于预设差值阈值的情况下，确定待处理文本与已存储文本之间的文本相似度。
其中，已存储文本的文本长度可以是已存储文本的字符串长度。
其中，预设长度差异阈值可以是预先设置的用于确定待处理文本和已存储文本相似的最大差异数据。
具体的，服务器在确定待处理文本的文本长度之后，获取已存储文本的文本长度，并确定待处理文本的文本长度与已存储文本的文本长度的长度差异值是否小于预设差值阈值，如果小于，则确定待处理文本与已存储文本相似，确定待处理文本与已存储文本之间的文本相似度。
在本公开一些实施例中，确定待处理文本的文本长度与已存储文本的文本长度的长度差异值小于预设差值阈值，包括：
将待处理文本的文本长度与已存储文本的文本长度作商；
在商小于预设商值阈值的情况下，确定长度差异值小于预设差值阈值。
具体的，服务器可以采用Jaccard长度过滤算法将待处理文本的文本长度与已存储文本的文本长度作商，或者，将已存储文本的文本长度与待处理文本的文本长度作商，并将商与预设商值阈值比较，如果商大于预设商值阈值，则确定长度差异值小于预设差值阈值，即确定待处理文本与已存储文本的文本长度差异较小，待处理文本与已存储文本相似的概率较大，可以计算待处理文本与已存储文本的文本相似度。
在一些实施例中，可以通过下述公式计算长度差异值。其中，长度差异值的计算公式可以为：
tlen<ε*wlen
其中，tlen为待处理文本的第一文本长度，wlen为已存储文本的第二文本长度，ε为预设商值阈值，ε可以为小于1的数值。
在另一些实施例中，还可以通过下述公式计算长度差异值。其中，长度差异值的计算公式可以为：
wlen<ε*tlen
其中，ε可以为小于1的数值。
S740、基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度。
S750、在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
其中，S740-S750与S230-S240相似，在此不作赘述。
S760、在长度差异值大于或等于预设长度阈值的情况下，将存储文本作为新类别文本的中心文本。
具体的，如果服务器确定商小于预设长度差异阈值，则确定长度差异值大于或等于预设差值阈值，即确定待处理文本与已存储文本的文本长度差异较大，待处理文本与已存储文本相似的概率较小，不执行计算待处理文本与已存储文本的文本相似度的过程，将存储文本作为新类别文本的中心文本。
由此，在本公开实施例中，服务器获取到待处理文本之后，可以确定待处理文本的文本长度，并根据待处理文本的文本长度和已存储文本的文本长度的长度差异值，筛选出与待处理文本相似度概率较高的已存储文本，以进一步计算文本相似度，可以进一步降低文本相似度的计算连，并提高修正后的文本相似度的计算准确性，提高重复信息的查找效率和准确度。
进一步的，在将已存储文本作为待处理文本的相似文本之后，还可以将待处理文本添加至已存储文本所属的目标文本类别中，即根据相似文本对待处理文本进行聚类处理，以实现对内容重复的文本进行排重处理，或者，在将待处理文本添加至相似文本所属的目标文本类别中之后，还根据待处理文件更新目标文本类别的中心文本，以实现对内容重复的文本进行排重处理。
在本公开实施例中，图8示出了本公开实施例所提供的结合时间衰减系数的最小哈希聚类模块的信息聚类方法的流程示意图。
下面，结合图8解释服务器对待处理文本进行聚类的过程。如图8所示，信息聚类方法的流程具体可以包括如下步骤。
S801、确定与待处理文本不相同的已存储文本。
在本公开实施例中，服务器可以预先基于MD5模块与待处理文本不相同的已存储文本。
S802、计算待处理文本的文本长度。
在本公开实施例中，服务器可以计算待处理文本的文本长度。
S803、采用Jaccard长度过滤算法查找与待处理文本相似度概率高于预设值的已存储文本。
在本公开实施例中，服务器可以采用Jaccard长度过滤算法，计算已存储文本的文本长度和待存储文本的文本长度的长度差异值，将长度差异值与预设长度差异阈值比较，以查找与待处理文本相似度概率高于预设值的已存储文本。
S804、计算时间衰减系数。
在本公开实施例中，服务器可以计算待处理文本的发布时间和已存储文本的发布时间之间的发布时间差，并确定发布时间差对应的时间衰减系数。
S805、计算最小哈希签名。
在本公开实施例中，服务器可以基于最小哈希算法分别计算待存储文本和已存储文本的最小哈希签名，并查找与待存储文本不相同的已存储文本。
S806、计算修正后的文本相似度。
在本公开实施例中，服务器计算待存储文本与已存储文本之间的文本相似度，并将时间衰减系数与文本相似度相乘，得到修正后的文本相似度。
S807、确定修正后的文本相似度是否大于或等于预设相似度阈值。
在本公开一些实施例中，在已存储文本为一个文本的情况下，如果服务器可以将修正后的文本相似度与预设相似度阈值比较，以确定修正后的文本相似度是否大于或等于预设相似度阈值，如果是，则执行S808，如果否，则执行S809。
在本公开另一些实施例中，在已存储文本为海量文本的情况下，服务器可以遍历每个已存储文本，确定每个已存储文本对应的目标文本类别，并计算每次遍历得到的修正后的文本相似度，并记录修正后的文本相似度大于或等于预设相似度阈值的已存储文本作为相似文本，当遍历完全部已存储文本后，在待处理文本存在多个相似文本的情况下，将最大的修正后的文本相似度对应的相似文本作为待处理文本的目标相似文本，则确定查找到待处理文本的相似文本，执行S808，如果所有已存储文本与待处理文本的修正后的文本相似度均小于预设相似度阈值，则确定未查找到待处理文本的相似文本，执行S809。
S808、将待处理文本添加至目标文本类别中。
其中，已存储文本为目标文本类别的中心文本。
S809、将待存储文本作为新文本类别的中心文本。
由此，在本公开实施例中，服务器获取到待处理文本之后，可以根据待处理文本的文本长度和已存储文本的文本长度的长度差异值，筛选出与待处理文本相似度概率较高的已存储文本，以提高文本相似度的计算效率和准确性，以及结合文本相似度和时间衰减系数，查找相似文本，使得重复信息的查找效率和准确度大大提高，以进一步提高待处理文本的聚类效果和效率。
本公开实施例还提供了一种用于实现上述的信息处理处理方法的信息处理装置，下面结合图9进行说明。在本公开实施例中，该信息处理装置可以为服务器。其中，服务器可以包括可以是云服务器或者服务器集群等具有存储及计算功能的设备。
图9示出了本公开实施例提供的一种信息处理装置的结构示意图。
如图9所示，信息处理装置900可以包括：待处理文本获取模块901、文本相似度计算模块902、文本相似度修正模块903以及相似文本确定模块904。
其中，待处理文本获取模块901，用于获取待处理文本；
文本相似度确定模块902，用于确定待处理文本与已存储文本之间的文本相似度；
文本相似度修正模块903，用于基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度；
相似文本确定模块904，用于在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
在本公开实施例中，能够在获取到待处理文本后，计算待存储文本和已存储文本之间的文本相似度，并根据待处理文本的发布时间和已存储文本的发布时间修正文本相似度，得到修正后的文本相似度，在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本，首先，由于文本相似度的确定过程和基于发布时间修正文本相似度的过程计算量很小且内存占用很小，使得确定待处理文本的相似文本的过程的计算量很小且节约设备资源，因此可以提高相似文本的筛选效率，其次，修正后的文本相似度不但可以体现出两个文本内容的相似程度，还可以体现两个文本的时效相关性，因此，可以提高相似文本的筛选准确性。综上，本公开实施例可以快速准确地查找到相似文本即重复信息，进而可以在向用户进行内容展示时，降低所展示内容的重复性，使得用户能够快速且准确的从网络平台中查找感兴趣信息，提升用户的信息查看体验且节约设备资源。
在本公开一些实施例中，文本相似度确定模块902具体用于，生成待处理文本的最小哈希签名；
计算待处理文本的最小哈希签名和已存储文本的最小哈希签名之间的汉明距离；
根据汉明距离确定文本相似度。
在本公开一些实施例中，文本相似度修正模块903具体用于，计算待处理文本的发布时间和已存储文本的发布时间之间的发布时间差；
确定发布时间差对应的时间衰减系数；
将文本相似度与时间衰减系数相乘，得到所述修正后的文本相似度。
在本公开一些实施例中，文本相似度修正模块903具体用于，在发布时间差小于预设时间阈值的情况下，将预设衰减值作为时间衰减系数；
在发布时间差大于或等于预设时间阈值的情况下，根据发布时间差和预设衰减速度参数计算时间衰减系数。
在本公开一些实施例中，已存储文本为目标文本类别的中心文本；
相应的，该装置还包括：聚类模块；
其中，聚类模块，用于将待处理文本添加至目标文本类别中。
在本公开一些实施例中，该装置还包括：文本类别更新模块。其中，文本类别更新模块，用于在修正后的文本相似度小于预设相似度阈值的情况下，将待存储文本作为新文本类别的中心文本。
在本公开一些实施例中，该装置还包括：目标相似文本查找模块；其中，目标相似文本查找模块，在待处理文本存在多个相似文本的情况下，将最大的修正后的文本相似度对应的相似文本作为待处理文本的目标相似文本。
在本公开一些实施例中，该装置还包括：信息摘要签名确定模块；其中，信息摘要签名确定模块，用于确定待处理文本的信息摘要签名。
相应的，文本相似度确定模块902具体的用于，在待处理文本的信息摘要签名与已存储文本的信息摘要签名不相同的情况下，确定待处理文本与已存储文本之间的文本相似度。
在本公开一些实施例中，所述已存储文本为目标文本类别的中心文本；
相应的，聚类模块还用于：在所述待处理文本的信息摘要签名与所述已存储文本的信息摘要签名相同的情况下，将所述待处理文本添加至所述目标文本类别中。
在本公开一些实施例中，该装置还包括：文本长度确定模块；其中，文本长度确定模块，确定待处理文本的文本长度；
相应的，文本相似度确定模块902具体的用于，在确定所述待处理文本的文本长度与所述已存储文本的文本长度的长度差异值小于预设差值阈值的情况下，确定所述待处理文本与已存储文本之间的文本相似度。
在本公开一些实施例中，文本相似度确定模块902具体的用于，将所述待处理文本的文本长度与所述已存储文本的文本长度作商；
在所述商小于所述预设商值阈值的情况下，确定所述长度差异值小于所述预设差值阈值。
在本公开一些实施例中，文本类别更新模块具体的用于，在所述长度差异值大于或等于所述预设长度阈值的情况下，将所述待存储文本作为新类别文本的中心文本。
需要说明的是，图9所示的信息处理装置900可以执行图2至图8所示的方法实施例中的各个步骤，并且实现图2至图8所示的方法实施例中的各个过程和效果，在此不做赘述。
本公开实施例还提供了一种信息处理设备，该信息处理设备可以包括处理器和存储器，存储器可以用于存储可执行指令。其中，处理器可以用于从存储器中读取可执行指令，并执行可执行指令以实现上述实施例中的信息处理方法。
图10示出了本公开实施例提供的一种信息处理设备的结构示意图。下面具体参考图10，其示出了适于用来实现本公开实施例中的信息处理设备1000的结构示意图。
本公开实施例中的信息处理设备1000可以为图1中的服务器。其中，服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。
需要说明的是，图10示出的信息处理设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，该信息处理设备1000可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有信息处理设备1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许信息处理设备1000与其他设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的信息处理设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
本公开实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现上述实施例中的信息处理方法。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置1008被安装，或者从ROM 1002被安装。在该计算机程序被处理装置1001执行时，执行本公开实施例的信息处理方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述信息处理设备中所包含的；也可以是单独存在，而未装配入该信息处理设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该信息处理设备执行时，使得该信息处理设备执行：
获取待处理文本；
确定待处理文本与已存储文本之间的文本相似度；
基于待处理文本的发布时间和已存储文本的发布时间，对文本相似度进行修正，得到修正后的文本相似度；
在修正后的文本相似度大于或等于预设相似度阈值的情况下，将已存储文本作为待处理文本的相似文本。
在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (15)

1.一种信息处理方法，其特征在于，包括：
获取待处理文本；
确定所述待处理文本与已存储文本之间的文本相似度；
基于所述待处理文本的发布时间和所述已存储文本的发布时间，对所述文本相似度进行修正，得到修正后的文本相似度；
在所述修正后的文本相似度大于或等于预设相似度阈值的情况下，将所述已存储文本作为所述待处理文本的相似文本。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理文本与已存储文本之间的文本相似度，包括：
生成所述待处理文本的最小哈希签名；
计算所述待处理文本的最小哈希签名和所述已存储文本的最小哈希签名之间的汉明距离；
根据所述汉明距离确定所述文本相似度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述待处理文本的发布时间和所述已存储文本的发布时间，对所述文本相似度进行修正，得到修正后的文本相似度，包括：
计算所述待处理文本的发布时间和所述已存储文本的发布时间之间的发布时间差；
确定所述发布时间差对应的时间衰减系数；
将所述文本相似度与所述时间衰减系数相乘，得到所述修正后的文本相似度。
4.根据权利要求3所述的方法，其特征在于，所述确定所述发布时间差对应的时间衰减系数，包括：
在所述发布时间差小于预设时间阈值的情况下，将预设衰减系数作为所述时间衰减系数；
在所述发布时间差大于或等于所述预设时间阈值的情况下，根据所述发布时间差和预设衰减速度参数计算所述时间衰减系数。
5.根据权利要求1所述的方法，其特征在于，所述已存储文本为目标文本类别的中心文本；
其中，在所述将所述已存储文本作为所述待处理文本的相似文本之后，所述方法还包括：
将所述待处理文本添加至所述目标文本类别中。
6.根据权利要求1所述的方法，其特征在于，在所述基于所述待处理文本的发布时间和所述已存储文本的发布时间，对所述文本相似度进行修正，得到修正后的文本相似度之后，所述方法还包括：
在所述修正后的文本相似度小于所述预设相似度阈值的情况下，将所述待存储文本作为新文本类别的中心文本。
7.根据权利要求1所述的方法，其特征在于，在所述将所述已存储文本作为所述待处理文本的相似文本之后，所述方法还包括：
在所述待处理文本存在多个所述相似文本的情况下，将最大的修正后的文本相似度对应的相似文本作为所述待处理文本的目标相似文本。
8.根据权利要求1所述的方法，其特征在于，在所述确定所述待处理文本与已存储文本之间的文本相似度之前，所述方法还包括：
确定所述待处理文本的信息摘要签名；
其中，所述确定所述待处理文本与已存储文本之间的文本相似度，包括：
在所述待处理文本的信息摘要签名与所述已存储文本的信息摘要签名不相同的情况下，确定所述待处理文本与已存储文本之间的文本相似度。
9.根据权利要求8所述的方法，其特征在于，所述已存储文本为目标文本类别的中心文本；
其中，在所述确定所述待处理文本的信息摘要签名之后，所述方法还包括：
在所述待处理文本的信息摘要签名与所述已存储文本的信息摘要签名相同的情况下，将所述待处理文本添加至所述目标文本类别中。
10.根据权利要求1所述的方法，其特征在于，在所述确定所述待处理文本与已存储文本之间的文本相似度之前，所述方法还包括：
确定待处理文本的文本长度；
其中，所述确定所述待处理文本与已存储文本之间的文本相似度，包括：
在确定所述待处理文本的文本长度与所述已存储文本的文本长度的长度差异值小于预设差值阈值的情况下，确定所述待处理文本与已存储文本之间的文本相似度。
11.根据权利要求10所述的方法，其特征在于，所述确定所述待处理文本的文本长度与所述已存储文本的文本长度的长度差异值小于预设差值阈值，包括：
将所述待处理文本的文本长度与所述已存储文本的文本长度作商；
在所述商大于预设商值阈值的情况下，确定所述长度差异值小于所述预设差值阈值。
12.根据权利要求10所述的方法，其特征在于，在所述确定待处理文本的文本长度之后，所述方法还包括：
在所述长度差异值大于或等于所述预设长度阈值的情况下，将所述待存储文本作为新类别文本的中心文本。
13.一种信息处理装置，其特征在于，包括：
待处理文本获取模块，用于获取待处理文本；
文本相似度确定模块，用于确定所述待处理文本与已存储文本之间的文本相似度；
文本相似度修正模块，用于基于所述待处理文本的发布时间和所述已存储文本的发布时间，对所述文本相似度进行修正，得到修正后的文本相似度；
相似文本确定模块，用于在所述修正后的文本相似度大于或等于预设相似度阈值的情况下，将所述已存储文本作为所述待处理文本的相似文本。
14.一种信息处理设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至12中任一项所述的信息处理方法。
15.一种存储介质，其特征在于，当所述存储介质中的指令由计算设备的处理器执行时，使得所述计算设备能够执行如权利要求1至12中任一项所述的信息处理方法。
CN202110821206.0A 2021-07-20 2021-07-20 一种信息处理方法、装置、设备及存储介质 Pending CN113536763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821206.0A CN113536763A (zh) 2021-07-20 2021-07-20 一种信息处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110821206.0A CN113536763A (zh) 2021-07-20 2021-07-20 一种信息处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113536763A true CN113536763A (zh) 2021-10-22

Family

ID=78129032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821206.0A Pending CN113536763A (zh) 2021-07-20 2021-07-20 一种信息处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113536763A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663648A (zh) * 2023-04-23 2023-08-29 北京大学 模型训练方法、装置、设备及存储介质
CN117591485A (zh) * 2024-01-17 2024-02-23 深圳市领德创科技有限公司 一种基于数据识别的固态硬盘运行控制系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272806A (ja) * 2003-03-11 2004-09-30 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 信号処理装置及び信号処理方法
CN104778158A (zh) * 2015-03-04 2015-07-15 新浪网技术(中国)有限公司 一种文本表示方法及装置
CN106202530A (zh) * 2016-07-22 2016-12-07 北京邮电大学 数据处理方法及装置
CN106294630A (zh) * 2016-07-28 2017-01-04 五八同城信息技术有限公司 多媒体信息推荐方法、装置及多媒体系统
CN109063105A (zh) * 2018-07-27 2018-12-21 北京字节跳动网络技术有限公司 文件存储方法、装置、计算机设备和存储介质
CN109670153A (zh) * 2018-12-21 2019-04-23 北京城市网邻信息技术有限公司 一种相似帖子的确定方法、装置、存储介质及终端
CN109857935A (zh) * 2019-01-24 2019-06-07 腾讯科技（深圳）有限公司 一种信息推荐方法及装置
CN110162750A (zh) * 2019-01-24 2019-08-23 腾讯科技（深圳）有限公司 文本相似度检测方法、电子设备及计算机可读存储介质
CN110377886A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 项目查重方法、装置、设备及存储介质
CN111899890A (zh) * 2020-08-13 2020-11-06 东北电力大学 基于比特串哈希的医疗数据相似度检测系统与方法
CN112036273A (zh) * 2020-08-19 2020-12-04 泰康保险集团股份有限公司 一种图像识别方法及装置
CN112184594A (zh) * 2020-10-14 2021-01-05 哈尔滨工程大学 量子牧群机制自动演化pcnn的图像去噪方法
CN112487782A (zh) * 2020-12-11 2021-03-12 厦门市美亚柏科信息股份有限公司 一种基于文章相似数量的文章热度计算方法
CN112765342A (zh) * 2021-03-22 2021-05-07 中国电子科技集团公司第二十八研究所 一种基于时间与语义的文章推荐方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272806A (ja) * 2003-03-11 2004-09-30 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 信号処理装置及び信号処理方法
CN104778158A (zh) * 2015-03-04 2015-07-15 新浪网技术(中国)有限公司 一种文本表示方法及装置
CN106202530A (zh) * 2016-07-22 2016-12-07 北京邮电大学 数据处理方法及装置
CN106294630A (zh) * 2016-07-28 2017-01-04 五八同城信息技术有限公司 多媒体信息推荐方法、装置及多媒体系统
CN109063105A (zh) * 2018-07-27 2018-12-21 北京字节跳动网络技术有限公司 文件存储方法、装置、计算机设备和存储介质
CN109670153A (zh) * 2018-12-21 2019-04-23 北京城市网邻信息技术有限公司 一种相似帖子的确定方法、装置、存储介质及终端
CN109857935A (zh) * 2019-01-24 2019-06-07 腾讯科技（深圳）有限公司 一种信息推荐方法及装置
CN110162750A (zh) * 2019-01-24 2019-08-23 腾讯科技（深圳）有限公司 文本相似度检测方法、电子设备及计算机可读存储介质
CN110377886A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 项目查重方法、装置、设备及存储介质
CN111899890A (zh) * 2020-08-13 2020-11-06 东北电力大学 基于比特串哈希的医疗数据相似度检测系统与方法
CN112036273A (zh) * 2020-08-19 2020-12-04 泰康保险集团股份有限公司 一种图像识别方法及装置
CN112184594A (zh) * 2020-10-14 2021-01-05 哈尔滨工程大学 量子牧群机制自动演化pcnn的图像去噪方法
CN112487782A (zh) * 2020-12-11 2021-03-12 厦门市美亚柏科信息股份有限公司 一种基于文章相似数量的文章热度计算方法
CN112765342A (zh) * 2021-03-22 2021-05-07 中国电子科技集团公司第二十八研究所 一种基于时间与语义的文章推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张衡等: "levenshtein算法优化及在题库判重中的应用", 《华东师范大学学报》, no. 5, pages 154 - 163 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663648A (zh) * 2023-04-23 2023-08-29 北京大学 模型训练方法、装置、设备及存储介质
CN116663648B (zh) * 2023-04-23 2024-04-02 北京大学 模型训练方法、装置、设备及存储介质
CN117591485A (zh) * 2024-01-17 2024-02-23 深圳市领德创科技有限公司 一种基于数据识别的固态硬盘运行控制系统及方法
CN117591485B (zh) * 2024-01-17 2024-04-05 深圳市领德创科技有限公司 一种基于数据识别的固态硬盘运行控制系统及方法

Similar Documents

Publication Publication Date Title
CN107704480B (zh) 扩展和强化知识图的方法和系统以及计算机介质
CN107256267B (zh) 查询方法和装置
US20210397980A1 (en) Information recommendation method and apparatus, electronic device, and readable storage medium
US11899681B2 (en) Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium
US11003731B2 (en) Method and apparatus for generating information
CN107301170B (zh) 基于人工智能的切分语句的方法和装置
JP2020024674A (ja) 情報をプッシュするための方法及び装置
US11036764B1 (en) Document classification filter for search queries
WO2017181866A1 (en) Making graph pattern queries bounded in big graphs
CN112559747B (zh) 事件分类处理方法、装置、电子设备和存储介质
CN114861889B (zh) 深度学习模型的训练方法、目标对象检测方法和装置
US11182437B2 (en) Hybrid processing of disjunctive and conjunctive conditions of a search query for a similarity search
CN113536763A (zh) 一种信息处理方法、装置、设备及存储介质
CN112988753B (zh) 一种数据搜索方法和装置
CN111538903B (zh) 搜索推荐词确定方法、装置、电子设备及计算机可读介质
CN113688310A (zh) 一种内容推荐方法、装置、设备及存储介质
CN115221191A (zh) 一种基于数据湖的虚拟列构建方法以及数据查询方法
WO2022143069A1 (zh) 一种文本聚类方法、装置、电子设备及存储介质
CN110390011B (zh) 数据分类的方法和装置
CN114139040A (zh) 一种数据存储及查询方法、装置、设备及可读存储介质
WO2017081562A1 (en) Method and system for processing and searching documents
US20170124090A1 (en) Method of discovering and exploring feature knowledge
CN112231513A (zh) 一种学习视频推荐方法、装置及系统
US9946765B2 (en) Building a domain knowledge and term identity using crowd sourcing
US20170270127A1 (en) Category-based full-text searching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination