CN112948545A - 查重方法、终端设备及计算机可读存储介质 - Google Patents

查重方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112948545A
CN112948545A CN202110208700.XA CN202110208700A CN112948545A CN 112948545 A CN112948545 A CN 112948545A CN 202110208700 A CN202110208700 A CN 202110208700A CN 112948545 A CN112948545 A CN 112948545A
Authority
CN
China
Prior art keywords
text
repeated
checked
similarity
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110208700.XA
Other languages
English (en)
Inventor
杨智威
刘念慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Saiante Technology Service Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110208700.XA priority Critical patent/CN112948545A/zh
Publication of CN112948545A publication Critical patent/CN112948545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请适用于大数据技术领域，提供了一种查重方法、终端设备及计算机可读存储介质，包括：获取第一待查重文本和第二待查重文本，其中，第一待查重文本和第二待查重文本中均包括至少一个第一文本和至少一个第二文本，第一文本的长度小于第二文本的长度；根据第一待查重文本中的第一文本和第二待查重文本中的第一文本，计算第一待查重文本和第二待查重文本之间的第一相似度；根据第一待查重文本中的第二文本和第二待查重文本中的第二文本，计算第一待查重文本和第二待查重文本之间的第二相似度；根据第一相似度和第二相似度确定查重结果。通过上述方法，可以有效提高查重结果的准确度。

Description

查重方法、终端设备及计算机可读存储介质
技术领域
本申请属于大数据技术领域，尤其涉及查重方法、终端设备及计算机可读存储介质。
背景技术
文本查重的实质是，比较两份文本内容是否相似/相同；如果相似/相同，则去掉其中一份文本内容，只保留两份文本内容中的一份文本内容即可；如果不相似/相同，则同时保留两份文本内容。
现有的查重方法中，多以短文本相似度比较为主，即将待查重的两份文本内容分别划分为多个短文本，然后通过比对短文本之间的相似度来确定待查重的两份文本内容是否相同/相似。现有的查重方法只关注短文本之间的相似度，即只考虑了词义，而忽略了上下文信息、词序、句义等信息，导致现有的查重方法的查重结果准确度较低。
发明内容
本申请实施例提供了一种查重方法、终端设备及计算机可读存储介质，可以解决现有查重方法的查重结果的准确度较低的问题。
第一方面，本申请实施例提供了一种查重方法，包括：
获取第一待查重文本和第二待查重文本，其中，所述第一待查重文本和所述第二待查重文本中均包括至少一个第一文本和至少一个第二文本，所述第一文本的长度小于所述第二文本的长度；
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度；
根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度；
根据所述第一相似度和所述第二相似度确定查重结果。
在第一方面的一种可能的实现方式中，所述第一相似度包括杰卡德距离和余弦相似度；
所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度，包括：
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离；
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
在第一方面的一种可能的实现方式中，所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离，包括：
获取重复数据，其中，所述重复数据为所述第一待查重文本的第一文本中与所述第二待查重文本的第一文本中相同的词条；
计算每个所述重复数据在所述第一文本中的数据权重；
根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
在第一方面的一种可能的实现方式中，所述根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离，包括：
通过公式
Figure BDA0002951666100000021
计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离；
其中，R为所述重复数据的个数，ai为第i个重复数据的数据权重，len(A_w)为所述第一待查重文本的第一文本中词条的总数，len(B_w)为所述第二待查重文本的第一文本中词条的总数。
在第一方面的一种可能的实现方式中，所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度，包括：
将所述第一待查重文本的第一文本中的每个词条生成第一词向量；
将所述第二待查重文本的第一文本中的每个词条生成第二词向量；
根据所述第一词向量和所述第二词向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
在第一方面的一种可能的实现方式中，所述第二相似度为余弦相似度；
所述根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度，包括：
将所述第一待查重文本的第二文本中的每个词条生成第三词向量，并根据所述第三词向量计算所述第一待查重文本的第二文本中每个语句的第一句向量；
将所述第二待查重文本的第二文本中的每个词条生成第四词向量，并根据所述第四词向量计算所述第二待查重文本的第二文本中每个语句的第二句向量；
根据所述第一句向量和所述第二句向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
在第一方面的一种可能的实现方式中，根据目标词向量计算目标文本的第二文本中每个语句的目标句向量，包括：
通过公式
Figure BDA0002951666100000031
计算目标文本的第二文本中每个语句的初始向量，其中，s为所述语句中词条的个数，vw为所述语句中第w个词条的词向量，p(w)为所述语句中第w个词条在所述目标文本的第二文本中的词频，a为常数参数；
将计算出的所述初始向量组成向量集合，并计算所述向量集合的主成分向量；
去除每个所述语句的初始向量中的所述主成分向量，得到所述目标文本的第二文本中每个语句的目标句向量；
其中，所述目标词向量为所述第三词向量或所述第四词向量；当所述目标词向量为所述第三词向量时，所述目标文本为所述第一待查重文本，所述目标句向量为所述第一句向量；当所述目标词向量为所述第四词向量时，所述目标文本为所述第二待查重文本，所述目标句向量为所述第二句向量。
在第一方面的一种可能的实现方式中，所述根据所述第一相似度和所述第二相似度确定查重结果，包括：
计算所述第一相似度和所述第二相似度的平均值；
若所述平均值大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；
若所述平均值小于或等于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复；
将所述查重结果上传至区块链中。
第二方面，本申请实施例提供了一种查重装置，包括：
获取单元，用于获取第一待查重文本和第二待查重文本，其中，所述第一待查重文本和所述第二待查重文本中均包括至少一个第一文本和至少一个第二文本，所述第一文本的长度小于所述第二文本的长度；
第一计算单元，用于根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度；
第二计算单元，用于根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度；
结果确定单元，用于根据所述第一相似度和所述第二相似度确定查重结果。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的查重方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的查重方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的查重方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例中第一待查重文本和第二待查重文本中均包括至少一个第一文本和至少一个第二文本，第一文本的长度小于第二文本的长度，即第一文本相当于短文本，第二文本相当于长文本；首先根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度，相当于根据短文本计算第一相似度；然后根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度，相当于根据长文本计算第二相似度；利用上述方法，对长文本和短文本采用不同的相似度计算方式，有利于发挥长、短文本各自的语义优势；最后根据所述第一相似度和所述第二相似度确定查重结果。通过上述方法，对长、短文本分别计算相似度，避免了将长文本分割为短文本而造成的上下文语义丢失，既考虑了短文本自身的含义，又考虑了长文本的上下文语义，有效提高了查重结果的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的查重方法的流程示意图；
图2是本申请实施例提供的第一相似度的计算方法的流程示意图；
图3是本申请实施例提供的第二相似度的计算方法的流程示意图；
图4是本申请实施例提供的查重装置的结构框图；
图5是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
参见图1，是本申请实施例提供的查重方法的流程示意图，作为示例而非限定，所述方法可以包括以下步骤：
S101，获取第一待查重文本和第二待查重文本。
其中，所述第一待查重文本和所述第二待查重文本中均包括至少一个第一文本和至少一个第二文本，所述第一文本的长度小于所述第二文本的长度。
在本申请实施例中，在进行查重之前，可以先对待查重的两份文本内容进行预处理。预处理可以包括数据清洗(如去重、空值处理等)、特征选取(例如，提取关键字对应的相关文本内容等，如选取“项目名”、“项目申报依据”和“项目测试标准”关键字对应的文本内容)、以及分词(分词就是将文本内容划分为多个词语)和去除停用词(停用词是指文本内容中一些没有实际语义的功能词，如介词、冠词等)处理等。
两份待查重的文本内容经过预处理后得到第一待查重文本和第二待查重文本。每个待查重文本中包括多个文本。其中，部分文本长度较短，为短文本，本申请实施例中记为第一文本；部分文本长度较长，为长文本，本申请实施例中记为第二文本。换句话说，每个待查重文本中包括至少一个第一文本和至少一个第二文本。需要说明的是，实际应用中，长、短文本的划分可以根据实际需要进行。换言之，长、短文本是相对概念，而不对长、短文本的文本长度不做具体限定，只有满足长文本的文本长度大于短文本的文本长度即可。
示例性的，预处理后的待查重文本如下表所示。
表一、待查重文本
Figure BDA0002951666100000071
Figure BDA0002951666100000081
表中，关键字“项目名称”对应的文本为短文本，关键字“申报依据”和“测算标准”对应的文本为长文本，a、aa、aaa、b、bb、bbb、x、xx、xxx表示分词后得到的词条。换言之，每个短文本中可能包括多个词条，每个长文本中也可能包括多个词条。
对于每个待查重文本，都可以生成如上示例的表格。当然，待查重文本也可以是其他形式，并不对待查重文本的形式做具体限定。
S102，根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度。
通常，用于表征两份文本的相似度的参量可以为余弦相似度、欧式距离、马氏距离、杰卡德距离等等。因此，本申请实施例中，也可以用上述参量中的任意参量来表征第一相似度。
继续S101中的示例，在上述示例中，第一待查重文本的第一文本为关键字“项目名称”对应的文本，第二待查重文本的第一文本为关键字“项目名称”对应的文本。换言之，步骤S102计算的是两个待查重文本中各自的“项目名称”对应的文本之间的相似度。
由于第一文本为短文本，其中包含的词条个数较少，因而短文本的语义主要体现在短文本中各个词条本身的语义上。所以，对于短文本的查重处理，应该既着重考虑各个词条本身的语义，又考虑词条之间的关联语义(即上下文语义)。而现有的用于表征相似度的参量中，余弦相似度通常用于表征两个文本之间的相似度，而杰卡德距离更能反映两个数据集合中元素的相似程度。将两者结合，则能够更加准确地反映两个文本之间的相似性。因此，本申请实施例中，优选的，第一相似度为杰卡德距离和余弦相似度。
参见图2，是本申请实施例提供的第一相似度的计算方法的流程示意图，作为示例而非限定，计算第一相似度的方法可以包括以下步骤：
S201，根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
通常，杰卡德距离的计算方式为：
Figure BDA0002951666100000091
其中，A、B为两个集合，分子为两个集合的交集，分母为两个集合的并集。
实际待查重文本中，可能存在某个词条对语义查重并无重要贡献。例如“深圳市扶贫项目”这句话中“深圳市”这个词对语义查重并无重要贡献。如果利用上述公式计算，无法剔除上述词条对查重结果的影响。为了解决该问题，本申请实施例中，可选的，计算杰卡德距离的一种方式为：
1)获取重复数据，其中，所述重复数据为所述第一待查重文本的第一文本中与所述第二待查重文本的第一文本中相同的词条。
2)计算每个所述重复数据在所述第一文本中的数据权重。
Tf-idf(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。Tf-idf的主要思想是：如果某个词或短语在一份文件中出现的频率tf高，并且在其他文件中很少出现，则认为此词或者短语具有很好的类别区分能力。
其中，tf指的是词频，指某个词在某份文件中出现的频率。计算公式如下：
Figure BDA0002951666100000092
式中，j表示文本j，i表示文本j中的第i个词，即ni，j表示文本j中第i个词出现的频次，k表示文本j的第k个词，即
Figure BDA0002951666100000093
表示文本j的词条总数。
Idf是逆文件频率，指文件集中包含文件的总份数除以包含该词的文件的份数。计算公式如下：
Figure BDA0002951666100000094
式中，|D|表示文件集中的文件总份数，|{j：ti∈dj}|表示包含词i的文件份数。
将上述计算出的tf和idf相乘，得到Tf-idf权重。
可选的，可以将重复数据的tf-idf权重记为数据权重。即按照上述公式，分别计算每个重复数据的tf-idf权重。
具体的，可以计算每个重复数据在其各自所在的待查重文件的第一文本中的tf-idf权重之后相加，也可以直接计算每个重复数据在所有第一文本中的tf-idf权重。
3)根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
进一步的，根据数据权值计算杰卡德距离的一种实现方式为：
通过公式
Figure BDA0002951666100000101
计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
其中，R为所述重复数据的个数，ai为第i个重复数据的数据权重，len(A_w)为所述第一待查重文本的第一文本中词条的总数，len(B_w)为所述第二待查重文本的第一文本中词条的总数。
S202，根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
可选的，计算余弦相似度的一种实现方式为：
将所述第一待查重文本的第一文本中的每个词条生成第一词向量；将所述第二待查重文本的第一文本中的每个词条生成第二词向量；根据所述第一词向量和所述第二词向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
可以将第一待查重文本的第一文本中的词条输入到预先训练好的词向量模型中，生成第一词向量。第二词向量的生成过程同理。若模型中不存在某个词条，则将该词条构建成全0词向量。
然后利用公式
Figure BDA0002951666100000111
分别计算每个第一词向量与每个第二词向量之间的余弦相似度。其中，Ai表示第一词向量中第i个元素，Bi表示第二词向量中第i个元素，n为词向量中元素的总个数(第一词向量和第二词向量中元素的总个数相同，若某个词向量中元素的个数较少，则用0补齐)。最后，可以取多个余弦相似度的平均值作为第一相似度中的余弦相似度。
当然，也可以将所有的第一词向量生成第一矩阵，将第二词向量生成第二矩阵，最后利用公式
Figure BDA0002951666100000112
计算余弦相似度。其中，Ai表示第一矩阵中第i个词向量，Bi表示第二矩阵中第i个词向量，n为词向量的个数(第一矩阵和第二矩阵中词向量的个数相同，若某个矩阵中词向量的个数较少，则用0向量补齐)。
S103，根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度。
同S102中所述，同样的，也可以利用余弦相似度、欧式距离、马氏距离、杰卡德距离等参量中的任意参量来表征第二相似度。
继续S101中的示例，在上述示例中，第一待查重文本的第二文本为关键字“申报依据”对应的文本和关键字“测算标准”对应的文本，第二待查重文本的第二文本为关键字“申报依据”对应的文本和关键字“测算标准”对应的文本。换言之，步骤S103计算的是两个待查重文本中各自的“申报依据”对应的文本之间的相似度，以及两个待查重文本中各自的“测算标准”对应的文本之间的相似度。
优选的，第二相似度为余弦相似度。
相应的，参见图3，是本申请实施例提供的第二相似度的计算方法的流程示意图。作为示例而非限定，计算第二相似度的方法包括：
S301，将所述第一待查重文本的第二文本中的每个词条生成第三词向量，并根据所述第三词向量计算所述第一待查重文本的第二文本中每个语句的第一句向量。
计算第三词向量的方法与计算第一词向量的方法相同，可参见步骤S202中的描述，在此不再赘述。
可选的，计算第一句向量的方式包括：
通过公式
Figure BDA0002951666100000121
计算第一待查重文本的第二文本中每个语句的初始向量，其中，s为所述语句中词条的个数，vw为所述语句中第w个词条的词向量，p(w)为所述语句中第w个词条在所述第一待查重文本的第二文本中的词频，a为常数参数；将计算出的所述初始向量组成向量集合，并计算所述向量集合的主成分向量；去除每个所述语句的初始向量中的所述主成分向量，得到所述第一待查重文本的第二文本中每个语句的第一句向量。
在实际应用中，常数参数a通常取0.001或0.0001。
主成分向量可以用于表示向量集合的两两不相关、且具有最大方差的标准化线性组合。主成分向量中每个元素对应向量集合的一个特征值。
通过vs-uuTvs计算第一句向量。式中，vs是句子s的初始句向量，u为句子集合的主成分向量。
S302，将所述第二待查重文本的第二文本中的每个词条生成第四词向量，并根据所述第四词向量计算所述第二待查重文本的第二文本中每个语句的第二句向量。
计算第四词向量的方法与计算第一词向量的方法相同，可参见步骤S202中的描述，在此不再赘述。
可选的，计算第二句向量的方式可以包括：
通过公式
Figure BDA0002951666100000122
计算第二待查重文本的第二文本中每个语句的初始向量，其中，s为所述语句中词条的个数，vw为所述语句中第w个词条的词向量，p(w)为所述语句中第w个词条在所述第二待查重文本的第二文本中的词频，a为常数参数；将计算出的所述初始向量组成向量集合，并计算所述向量集合的主成分向量；去除每个所述语句的初始向量中的所述主成分向量，得到所述第二待查重文本的第二文本中每个语句的第二句向量。
具体的计算方法与步骤S301中计算第一句向量的方法相同，详细可参见步骤S301中的描述，在此不再赘述。
S303，根据所述第一句向量和所述第二句向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
将所有的第一句向量生成第三矩阵，将第二句向量生成第四矩阵，最后利用公式
Figure BDA0002951666100000131
计算余弦相似度。其中，Ci表示第三矩阵中第i个词向量，Di表示第四矩阵中第i个词向量，m为句向量的个数(第三矩阵和第四矩阵中句向量的个数相同，若某个矩阵中句向量的个数较少，则用0向量补齐)。
由于长文本的语义主要体现于长文本中各个词条的词序、上下文关联等方面，因此，通过上述方法，无需将长文本划分为短文本后再进行相似度计算，而是直接根据句向量计算相似度，这样可以保留词语间的词序、上下文语义和句意等信息，进而保证了相似度计算结果的准确性。
S104，根据所述第一相似度和所述第二相似度确定查重结果。
可选的，步骤S104的一种实现方式可以包括：将第一相似度和第二相似度中最大的数值记为目标相似度；若目标相似度大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；若目标相似度小于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复。
可选的，步骤S104的另一种实现方式可以包括：将第一相似度和第二相似度中最小的数值记为目标相似度；若目标相似度大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；若目标相似度小于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复。
可选的，步骤S104的另一种实现方式可以包括：
计算所述第一相似度和所述第二相似度的平均值；若所述平均值大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；若所述平均值小于或等于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复。
实际应用中，若不存在短文本，则直接将第二相似度与预设值比较。若不存在长文本，则直接将第一相似度与预设值比较。
另外，在计算第一相似度和第二相似度之后，先分别将第一相似度和第二相似度进行归一化处理。例如，将第一相似度和第二相似度分别归一化到[0,1]这个数值区间。归一化处理后，有利于数据的统一，更有利于突出数据的特点。
预设值为临界值，可以根据实际需要预先设定。平均值大于预设值，表明第一待查重文本和第二待查重文本相似度较高；反之，平均值小于预设值，表明第一待查重文本和第二待查重文本相似度较低。
当然，还可以利用其他方式确定查重结果，在此不做具体限定。
可选的，在获得查重结果后，将所述查重结果上传至区块链中。
在本申请实施例中，查重方法可以由一台处理器执行，也可以由多台处理器共同执行。当多台处理器共同执行查重任务时，容易发现任务冲突的情况。那么参与执行查重任务的每台处理器将获得的查重结果上传至区块链，可保证其安全性和公正透明性。每台参与执行查重任务的处理器，或者其他希望获得查重结果的用户设备，都可以从区块链中下载查重结果，以便查证查重结果是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
通过上述方法，对长、短文本分别计算相似度，避免了将长文本分割为短文本而造成的上下文语义丢失，既考虑了短文本自身的含义，又考虑了长文本的上下文语义，保留了重要的语义、语序和句意等信息，有效提高了查重结果的准确度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法，图4是本申请实施例提供的查重装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该装置包括：
获取单元41，用于获取第一待查重文本和第二待查重文本，其中，所述第一待查重文本和所述第二待查重文本中均包括至少一个第一文本和至少一个第二文本，所述第一文本的长度小于所述第二文本的长度。
第一计算单元42，用于根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度。
第二计算单元43，用于根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度。
结果确定单元44，用于根据所述第一相似度和所述第二相似度确定查重结果。
可选的，第一相似度包括杰卡德距离和余弦相似度。
可选的，第一计算单元42包括：
第一计算模块，用于根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
第二计算模块，用于根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
可选的，第一计算模块包括：
获取子模块，用于获取重复数据，其中，所述重复数据为所述第一待查重文本的第一文本中与所述第二待查重文本的第一文本中相同的词条。
权值计算子模块，用于计算每个所述重复数据在所述第一文本中的数据权重。
距离计算子模块，用于根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
可选的，距离计算子模块还用于：
通过公式
Figure BDA0002951666100000161
计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离；其中，R为所述重复数据的个数，ai为第i个重复数据的数据权重，len(A_w)为所述第一待查重文本的第一文本中词条的总数，len(B_w)为所述第二待查重文本的第一文本中词条的总数。
可选的，第二计算模块还用于：
将所述第一待查重文本的第一文本中的每个词条生成第一词向量；
将所述第二待查重文本的第一文本中的每个词条生成第二词向量；
根据所述第一词向量和所述第二词向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
可选的，所述第二相似度为余弦相似度。
可选的，第二计算单元43包括：
向量计算模块，用于将所述第一待查重文本的第二文本中的每个词条生成第三词向量，并根据所述第三词向量计算所述第一待查重文本的第二文本中每个语句的第一句向量。
向量计算模块，还用于将所述第二待查重文本的第二文本中的每个词条生成第四词向量，并根据所述第四词向量计算所述第二待查重文本的第二文本中每个语句的第二句向量。
余弦相似度计算模块，用于根据所述第一句向量和所述第二句向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
可选的，向量计算模块还用于：
通过公式
Figure BDA0002951666100000171
计算目标文本的第二文本中每个语句的初始向量，其中，s为所述语句中词条的个数，vw为所述语句中第w个词条的词向量，p(w)为所述语句中第w个词条在所述目标文本的第二文本中的词频，a为常数参数；
将计算出的所述初始向量组成向量集合，并计算所述向量集合的主成分向量；
去除每个所述语句的初始向量中的所述主成分向量，得到所述目标文本的第二文本中每个语句的目标句向量；
其中，所述目标词向量为所述第三词向量或所述第四词向量；当所述目标词向量为所述第三词向量时，所述目标文本为所述第一待查重文本，所述目标句向量为所述第一句向量；当所述目标词向量为所述第四词向量时，所述目标文本为所述第二待查重文本，所述目标句向量为所述第二句向量。
可选的，结果确定单元44还用于：
计算所述第一相似度和所述第二相似度的平均值；
若所述平均值大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；
若所述平均值小于或等于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复；
将所述查重结果上传至区块链中。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图4所示的装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图5是本申请实施例提供的终端设备的结构示意图。如图5所示，该实施例的终端设备5包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个查重方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是终端设备5的举例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种查重方法，其特征在于，包括：
获取第一待查重文本和第二待查重文本，其中，所述第一待查重文本和所述第二待查重文本中均包括至少一个第一文本和至少一个第二文本，所述第一文本的长度小于所述第二文本的长度；
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度；
根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度；
根据所述第一相似度和所述第二相似度确定查重结果。
2.如权利要求1所述的查重方法，其特征在于，所述第一相似度包括杰卡德距离和余弦相似度；
所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的第一相似度，包括：
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离；
根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
3.如权利要求2所述的查重方法，其特征在于，所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离，包括：
获取重复数据，其中，所述重复数据为所述第一待查重文本的第一文本中与所述第二待查重文本的第一文本中相同的词条；
计算每个所述重复数据在所述第一文本中的数据权重；
根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离。
4.如权利要求3所述的查重方法，其特征在于，所述根据所述数据权重计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离，包括：
通过公式
Figure FDA0002951666090000021
计算所述第一待查重文本和所述第二待查重文本之间的杰卡德距离；
其中，R为所述重复数据的个数，ai为第i个重复数据的数据权重，len(A_w)为所述第一待查重文本的第一文本中词条的总数，len(B_w)为所述第二待查重文本的第一文本中词条的总数。
5.如权利要求2所述的查重方法，其特征在于，所述根据所述第一待查重文本中的第一文本和所述第二待查重文本中的第一文本，计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度，包括：
将所述第一待查重文本的第一文本中的每个词条生成第一词向量；
将所述第二待查重文本的第一文本中的每个词条生成第二词向量；
根据所述第一词向量和所述第二词向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
6.如权利要求1所述的查重方法，其特征在于，所述第二相似度为余弦相似度；
所述根据所述第一待查重文本中的第二文本和所述第二待查重文本中的第二文本，计算所述第一待查重文本和所述第二待查重文本之间的第二相似度，包括：
将所述第一待查重文本的第二文本中的每个词条生成第三词向量，并根据所述第三词向量计算所述第一待查重文本的第二文本中每个语句的第一句向量；
将所述第二待查重文本的第二文本中的每个词条生成第四词向量，并根据所述第四词向量计算所述第二待查重文本的第二文本中每个语句的第二句向量；
根据所述第一句向量和所述第二句向量计算所述第一待查重文本和所述第二待查重文本之间的余弦相似度。
7.如权利要求6所述的查重方法，其特征在于，根据目标词向量计算目标文本的第二文本中每个语句的目标句向量，包括：
通过公式
Figure FDA0002951666090000031
计算目标文本的第二文本中每个语句的初始向量，其中，s为所述语句中词条的个数，vw为所述语句中第w个词条的词向量，p(w)为所述语句中第w个词条在所述目标文本的第二文本中的词频，a为常数参数；
将计算出的所述初始向量组成向量集合，并计算所述向量集合的主成分向量；
去除每个所述语句的初始向量中的所述主成分向量，得到所述目标文本的第二文本中每个语句的目标句向量；
其中，所述目标词向量为所述第三词向量或所述第四词向量；当所述目标词向量为所述第三词向量时，所述目标文本为所述第一待查重文本，所述目标句向量为所述第一句向量；当所述目标词向量为所述第四词向量时，所述目标文本为所述第二待查重文本，所述目标句向量为所述第二句向量。
8.如权利要求1所述的查重方法，其特征在于，所述根据所述第一相似度和所述第二相似度确定查重结果，包括：
计算所述第一相似度和所述第二相似度的平均值；
若所述平均值大于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本重复；
若所述平均值小于或等于预设值，则将所述查重结果确定为所述第一待查重文本和所述第二待查重文本不重复；
将所述查重结果上传至区块链中。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
CN202110208700.XA 2021-02-25 2021-02-25 查重方法、终端设备及计算机可读存储介质 Pending CN112948545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110208700.XA CN112948545A (zh) 2021-02-25 2021-02-25 查重方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110208700.XA CN112948545A (zh) 2021-02-25 2021-02-25 查重方法、终端设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112948545A true CN112948545A (zh) 2021-06-11

Family

ID=76245965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110208700.XA Pending CN112948545A (zh) 2021-02-25 2021-02-25 查重方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112948545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117763106A (zh) * 2023-12-11 2024-03-26 中国科学院文献情报中心 一种文献查重的方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718506A (zh) * 2016-01-04 2016-06-29 胡新伟 一种科技项目查重对比的方法
CN106446148A (zh) * 2016-09-21 2017-02-22 中国运载火箭技术研究院 一种基于聚类的文本查重方法
CN110377886A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 项目查重方法、装置、设备及存储介质
CN110390084A (zh) * 2019-06-19 2019-10-29 平安国际智慧城市科技股份有限公司 文本查重方法、装置、设备及存储介质
CN110866085A (zh) * 2019-11-04 2020-03-06 北京百分点信息科技有限公司 数据反馈方法与装置
CN111325015A (zh) * 2020-02-19 2020-06-23 南瑞集团有限公司 一种基于语义分析的文档查重方法及系统
CN111428044A (zh) * 2020-03-06 2020-07-17 中国平安人寿保险股份有限公司 多模态获取监管识别结果的方法、装置、设备及存储介质
JP2020135135A (ja) * 2019-02-14 2020-08-31 株式会社日立製作所 対話コンテンツ作成支援方法およびシステム
CN111814447A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于分词文本的电子病例查重方法、装置、计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718506A (zh) * 2016-01-04 2016-06-29 胡新伟 一种科技项目查重对比的方法
CN106446148A (zh) * 2016-09-21 2017-02-22 中国运载火箭技术研究院 一种基于聚类的文本查重方法
JP2020135135A (ja) * 2019-02-14 2020-08-31 株式会社日立製作所 対話コンテンツ作成支援方法およびシステム
CN110377886A (zh) * 2019-06-19 2019-10-25 平安国际智慧城市科技股份有限公司 项目查重方法、装置、设备及存储介质
CN110390084A (zh) * 2019-06-19 2019-10-29 平安国际智慧城市科技股份有限公司 文本查重方法、装置、设备及存储介质
CN110866085A (zh) * 2019-11-04 2020-03-06 北京百分点信息科技有限公司 数据反馈方法与装置
CN111325015A (zh) * 2020-02-19 2020-06-23 南瑞集团有限公司 一种基于语义分析的文档查重方法及系统
CN111428044A (zh) * 2020-03-06 2020-07-17 中国平安人寿保险股份有限公司 多模态获取监管识别结果的方法、装置、设备及存储介质
CN111814447A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于分词文本的电子病例查重方法、装置、计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
漆月 等: "面向图书采选的语义化查重策略*", 数字图书馆论坛, no. 11, pages 61 - 66 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117763106A (zh) * 2023-12-11 2024-03-26 中国科学院文献情报中心 一种文献查重的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
JP5597255B2 (ja) 単語の重みに基づいた検索結果の順位付け
CN109815487B (zh) 文本质检方法、电子装置、计算机设备及存储介质
CN109299280B (zh) 短文本聚类分析方法、装置和终端设备
CN111797214A (zh) 基于faq数据库的问题筛选方法、装置、计算机设备及介质
CN111831804B (zh) 一种关键短语的提取方法、装置、终端设备及存储介质
CN111753048B (zh) 文档检索方法、装置、设备及存储介质
CN112329460B (zh) 文本的主题聚类方法、装置、设备及存储介质
CN112395875A (zh) 一种关键词提取方法、装置、终端以及存储介质
US9754023B2 (en) Stochastic document clustering using rare features
CA3119504C (en) Mapping natural language utterances to operations over a knowledge graph
CN110532352B (zh) 文本查重方法及装置、计算机可读存储介质、电子设备
CN114116973A (zh) 多文档的文本查重方法、电子设备及存储介质
CN112948545A (zh) 查重方法、终端设备及计算机可读存储介质
CN112085091A (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN114780712B (zh) 一种基于质量评价的新闻专题生成方法及装置
CN115438155A (zh) 一种基于相关性和重要性的文献搜索排序方法及电子设备
CN112528646B (zh) 词向量生成方法、终端设备及计算机可读存储介质
CN114818686A (zh) 基于人工智能的文本推荐方法及相关设备
CN114547233A (zh) 数据查重方法、装置及电子设备
US20170249317A1 (en) Search-based recommendation engine
CN111767706B (zh) 文本相似度的计算方法、装置、电子设备及介质
CN113204710A (zh) 一种舆情分析方法、装置、终端设备及存储介质
CN117828042A (zh) 用于金融服务的问答处理方法、装置、设备及介质
CN117725165A (zh) 模型训练方法、搜索方法及相关产品
CN115619068A (zh) 智能投保方案生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211020

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen saiante Technology Service Co.,Ltd.

Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000

Applicant before: Ping An International Smart City Technology Co.,Ltd.

TA01 Transfer of patent application right