CN112182166A - 一种文本匹配方法、装置、电子设备及存储介质 - Google Patents

一种文本匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112182166A
CN112182166A CN202011183073.0A CN202011183073A CN112182166A CN 112182166 A CN112182166 A CN 112182166A CN 202011183073 A CN202011183073 A CN 202011183073A CN 112182166 A CN112182166 A CN 112182166A
Authority
CN
China
Prior art keywords
text
matched
target
target text
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011183073.0A
Other languages
English (en)
Other versions
CN112182166B (zh
Inventor
李振阳
吴东华
马连洋
衡阵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011183073.0A priority Critical patent/CN112182166B/zh
Publication of CN112182166A publication Critical patent/CN112182166A/zh
Application granted granted Critical
Publication of CN112182166B publication Critical patent/CN112182166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Abstract

本申请涉及计算机技术领域,尤其涉及一种文本匹配方法、装置、电子设备及存储介质,获取待匹配文本和目标文本;分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果,从而提高文本匹配准确性。

Description

一种文本匹配方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种文本匹配方法、装置、电子设备及存储介质。
背景技术
文本匹配在推荐、搜索等场景中广泛应用,相关技术中,文本匹配方法主要是通过训练模型,进而可以基于模型来计算文本之间的相似度,但是相关技术中模型只考虑了基于词与词之间的匹配关系,考虑因素单一,降低了文本匹配的准确性。
发明内容
本申请实施例提供一种文本匹配方法及装置,以提高文本匹配准确性。
本申请实施例提供的具体技术方案如下:
本申请一个实施例提供了一种文本匹配方法,包括:
获取待匹配文本和目标文本;
分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;
根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;
根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果。
本申请另一个实施例提供了一种文本匹配装置,包括:
获取模块,用于获取待匹配文本和目标文本;
处理模块,用于分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;
确定模块,用于根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果。
本申请另一个实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一种文本匹配方法的步骤。
本申请另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种文本匹配方法的步骤。
本申请实施例中,获取待匹配文本和目标文本,分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度,进而根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果,这样,根据句子特征向量和关键词特征向量,可以更加准确地捕捉待匹配文本和目标文本自身以及相互之间的特征信息,能够获得不同层次更丰富的匹配模式,进而提高文本匹配的准确性。
附图说明
图1为本申请实施例中文本匹配方法的应用架构示意图;
图2为本申请实施例中文本匹配方法流程图;
图3为本申请实施例中相似度模型的网络结构示意图;
图4为本申请实施例中文本匹配装置结构示意图;
图5为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本申请实施例的理解,下面先对几个概念进行简单介绍:
转换器的双向编码器表示(BidirectionalEncoder Representations fromTransformer,BERT)模型:其目标是利用大规模无标注语料训练,获得文本的包含丰富语义信息的表示(Representation),即文本的语义表示,然后将文本的语义表示在特定自然语言处理(Nature Language processing,NLP)任务中作微调,最终应用于该NLP任务。BERT模型的主要输入是文本中各个字/词的原始词向量,该向量既可以随机初始化,也可以利用Word2Vector等算法进行预训练以作为初始值,输出是文本中各个字/词融合了全文语义信息后的向量表示,另外BERT模型的输入除了字/词的原始词向量外,还包含另外两个部分:文本向量和位置向量,其中,文本向量的取值在模型训练过程中自动学习,用于刻画文本的全局语义信息,并与单字/词的语义信息相融合;由于出现在文本不同位置的字/词所携带的语义信息存在差异,因此,BERT模型对不同位置的字/词分别附加一个不同的向量以作区分。
软注意力(Soft Attention)机制:主要是采用0到1的不同分值表示每个区域被关注的程度高低,本申请实施例中主要是基于软注意力机制计算两个文本之间的软注意力权重,可以理解为捕捉两个文本之间交互的信息。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。例如,本申请实施例中主要涉及自然语言处理技术,可以对待匹配文本和目标文本进行分词,并进行编码操作、关键词提取操作、特征融合等处理,进而确定待匹配文本和目标文本的相似度和匹配结果。又例如,本申请实施例中,还可以基于相似度计算结果,进行与搜索相关的业务处理,例如排序、推荐等。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案主要涉及人工智能的自然语言处理技术,具体通过如下实施例进行说明:
相关技术中,文本匹配方法主要包括传统的文本匹配方法、主题模型匹配方法和深度语义匹配模型,但是,传统的文本匹配方法主要是基于词汇重合度的匹配算法,有很大的局限性,仅依赖字面匹配程度,准确性较低;主题模型匹配方法需要人工设计特征,人工成本较高,并且人工设计特征依赖设计者能力,也存在准确性问题;基于深度语义匹配模型不需要人工设计特征且能更好的表示文本的语义信息,但是目前只考虑了基于词语词之间的匹配关系,考虑因素单一,也降低了匹配的准确性。
因此针对上述问题,本申请实施例中提供了一种文本匹配方法,获取待匹配文本和目标文本,分别提取待匹配文本和目标文本的句子特征向量和关键词特征向量,并根据待匹配文本和目标文本的句子特征向量,确定待匹配文本和目标文本之间的交互特征向量,并根据待匹配文本和目标文本之间的交互特征向量和关键词特征向量,确定待匹配文本和目标文本的相似度,进而根据相似度,确定待匹配文本和目标文本的匹配结果,这样,可以对句子和关键词进行编码,更好地捕捉句子序列的特征信息和词粒度的特征信息,能够获得不同层次更丰富的匹配模式,进而可以更好地捕捉两个文本自身以及相互之间的不同粒度的交互信息,得到更高质量的文本匹配结果,提高匹配准确性。
参阅图1所示,为本申请实施例中文本匹配方法的应用架构示意图,包括终端100、服务器200。
终端100可以是智能手机、平板电脑、便携式个人计算机、台式计算机、智能电视、智能机器人、车载电子设备等任何智能设备,终端100上可以安装有各种应用程序(Application,APP),例如用户想要搜索视频时,可以通过终端100中的视频APP,输入搜索文本(query),终端100可以将query发送给服务器200,进而服务器200可以基于本申请实施例中的文本匹配方法,将该query与视频库中视频的标题进行匹配,计算query与各个标题的相似度并进行排序,可以将得分较高的标题对应的视频推荐给用户,进而终端100展示服务器200推荐的视频,这样,由于文本匹配更加准确,进而也可以提高检索准确性。
服务器200能够为终端100提供各种网络服务,对于不同的应用程序,服务器200可以认为是相应的后台服务器,其中,服务器200可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
终端100与服务器200之间可以通过互联网相连,实现相互之间的通信。可选地,上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-upLanguage,HTML)、可扩展标记语言(Extensible Markup Language,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure SocketLayer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(VirtualPrivate Network,VPN)、网际协议安全(Internet Protocol Security,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
值得说明的是,本申请各实施例中文本匹配方法可以由服务器200侧执行,当然也可以由终端100执行,本申请实施例中并不进行限制,以由服务器200执行为例,例如,服务器200从终端100获取待匹配文本,进而可以从相应业务的数据库中获取目标文本,基于本申请实施例中的文本匹配方法,计算待匹配文本和目标文本之间的相似度,并确定匹配结果,进而可以基于匹配结果进行相关业务处理。
需要说明的是,本申请实施例中的应用架构图是为了更加清楚地说明本申请实施例中的技术方案,并不构成对本申请实施例提供的技术方案的限制,可以应用于短文本之间的匹配,当然也可以应用于长文本的匹配,并不进行限制,另外也不限于应用于视频、智能客服、碎碎念无关铺垫过长识别等业务领域,但是对于其它的应用架构和业务应用,本申请实施例提供的技术方案对于类似的问题,同样适用。
本申请各个实施例中,以文本匹配方法应用于图1所示的应用架构为例进行示意性说明。
基于上述实施例,参阅图2所示,为本申请实施例中文本匹配方法流程图,该方法以由服务器执行为例进行说明,具体该方法包括:
步骤200:获取待匹配文本和目标文本。
本申请实施例中,文本匹配方法可以应用于搜索、推荐等匹配业务中,基于不同应用场景,待匹配文本和目标文本可以为具体不同文本,例如在视频推荐业务中,待匹配文本为用户输入的搜索短文本,目标文本为视频的标题短文本,则可以通过终端获取用户输入的待匹配文本,并从视频数据库中获取视频对应的标题,即作为目标文本。
步骤210:分别提取待匹配文本和目标文本的句子特征向量和关键词特征向量,并根据待匹配文本和目标文本的句子特征向量,确定待匹配文本和目标文本之间的交互特征向量。
执行步骤210时,具体包括:
1)、分别提取待匹配文本和目标文本的句子特征向量和关键词特征向量。
例如,由于BERT可以较好地从海量的无标注文本中学到潜在的语义信息,因此可以采用BERT分别对待匹配文本和目标文本进行特征提取,可以捕捉到句子序列的特征信息,当然也可以采用其它方式进行句子特征向量提取,本申请实施例中并不进行限制,例如采用自注意力机制网络(self attention networks,SAN)来提取句子特征向量。
其中,提取关键词特征向量时,即需要先分别确定待匹配文本和目标文本的关键词,对于关键词的确定方法本申请实施例中并不进行限制,例如,分别统计待匹配文本和目标文本中各分词的出现频次,确定出现频次最多但不是通用词的分词,作为关键词,进而可以确定关键词的关键词特征向量,具体地,可以基于句子特征向量的提取结果,从中获得关键词特征向量。
2)、根据待匹配文本和目标文本的句子特征向量,确定待匹配文本和目标文本之间的交互特征向量。
具体地,可以采用软注意力机制,分别获得待匹配文本相对于目标文本的交互特征向量,以及目标文本相对于待匹配文本的交互特征向量。
步骤220:根据待匹配文本和目标文本之间的交互特征向量和关键词特征向量,确定待匹配文本和目标文本的相似度。
步骤230:根据相似度,确定待匹配文本和目标文本的匹配结果。
例如,若确定相似度大于等于预设阈值,则确定待匹配文本和目标文本相匹配。又例如,若确定相似度小于预设阈值,则确定待匹配文本和目标文本不匹配。
本申请实施例中,获取待匹配文本和目标文本后,分别提取待匹配文本和目标文本的句子特征向量和关键词特征向量,并根据待匹配文本和目标文本的句子特征向量,确定待匹配文本和目标文本之间的交互特征向量,进而根据待匹配文本和目标文本之间的交互特征向量和关键词特征向量,确定待匹配文本和目标文本的相似度,根据相似度,确定待匹配文本和目标文本的匹配结果,这样,结合句子特征编码和关键词编码,可以更好地获得待匹配文本和目标文本自身和相互之间的信息,能够获得不同层次更多维的特征信息,提高文本匹配准确性。
基于上述实施例,下面对上述步骤210和步骤220进行具体说明,本申请实施例中,可以采用相似度模型,执行上述步骤210和步骤220,具体本申请实施例中提供了一种可能的实施方式:
基于已训练的相似度模型,以待匹配文本和目标文本为输入,分别提取待匹配文本和目标文本的句子特征向量和关键词特征向量,并根据待匹配文本和目标文本的句子特征向量,确定待匹配文本和目标文本之间的交互特征向量;根据待匹配文本和目标文本之间的交互特征向量和关键词特征向量,确定待匹配文本和目标文本的相似度。
则基于相似度模型,执行步骤210时,具体包括:
S1、通过相似度模型的句子编码层,分别对待匹配文本和目标文本的各分词进行编码,获得融合句子语义信息的各分词特征向量,并分别获得待匹配文本和目标文本的句子特征向量。
例如,以句子编码层采用BERT为例进行说明,则对待匹配文本a和目标文本b分别使用BERT进行编码得到句子特征向量
Figure BDA0002750702290000091
Figure BDA0002750702290000092
具体为:
Figure BDA0002750702290000093
Figure BDA0002750702290000094
其中,la为待匹配文本的分词结果中分词个数,lb为目标文本的分词结果中分词个数。
S2、分别将待匹配文本和目标文本对应的各分词特征向量,通过相似度模型的关键词编码层,获得待匹配文本和目标文本的关键词特征向量。
通过BERT编码后,获得的句子特征向量中实际中包含各个分词的特征向量,这样,可以在BERT编码的基础上,提取句子特征向量中关键词特征向量,例如关键词编码层采用KeyWord_Extract表示,提取到的待匹配文本的关键词特征向量表示为
Figure BDA0002750702290000095
目标文本的关键词特征向量表示为
Figure BDA0002750702290000096
则具体地:
Figure BDA0002750702290000097
Figure BDA0002750702290000098
即本申请实施例中相似度模型可以包括句子编码层和关键词编码层,句子编码层主要用于捕捉文本序列信息,关键词编码层主要用于捕捉文本关键词信息,这样,在编码阶段结合句子编码和关键词编码,可以更加充分的捕捉待匹配文本和目标文本之间的细粒度特征信息。
S3、将待匹配文本和目标文本的句子特征向量,通过相似度模型的注意力机制层,分别获得待匹配文本相对于目标文本的交互特征向量,以及目标文本相对于待匹配文本的交互特征向量。
也就是说,针对待匹配文本和目标文本,可以通过注意力机制层,获得两个不同的注意力权重,分别是待匹配文本相对于目标文本的交互特征向量
Figure BDA00027507022900000912
以及目标文本相对于待匹配文本的交互特征向量
Figure BDA0002750702290000099
则具体地:
Figure BDA00027507022900000910
Figure BDA00027507022900000911
Figure BDA0002750702290000101
这样,通过注意力机制层可以捕捉待匹配文本和目标文本之间的交互信息,即相似和不相似的地方。
进而基于相似度模型,执行步骤220根据待匹配文本和目标文本之间的交互特征向量和关键词特征向量,确定待匹配文本和目标文本的相似度时,具体包括:
S4、通过相似度模型的交互建模层,分别将待匹配文本和目标文本的交互特征向量和关键词特征向量进行融合处理,获得待匹配文本和目标文本的融合交互特征向量。
具体包括:1)分别将待匹配文本和目标文本的交互特征向量和关键词特征向量进行相减操作和点乘操作。
2)拼接待匹配文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得待匹配文本的融合交互特征向量。
例如,待匹配文本的关键词特征向量为
Figure BDA0002750702290000102
交互特征向量为
Figure BDA0002750702290000103
进行相减操作后的特征向量为
Figure BDA0002750702290000104
进行点乘操作后的特征向量为
Figure BDA0002750702290000105
则进行拼接后,待匹配文本的融合交互特征向量为va,具体地:
Figure BDA0002750702290000106
3)拼接目标文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得目标文本的融合交互特征向量。
例如,目标文本的关键词特征向量为
Figure BDA0002750702290000107
交互特征向量为
Figure BDA0002750702290000108
进行相减操作后的特征向量为
Figure BDA0002750702290000109
进行点乘操作后的特征向量为
Figure BDA00027507022900001010
则进行拼接后,目标文本的融合交互特征向量为vb,具体地:
Figure BDA00027507022900001011
S5、分别将待匹配文本和目标文本的融合交互特征向量,通过相似度模型的平均和最大池化层,获得待匹配文本和目标文本对应的平均池化和最大池化操作后的融合交互特征向量,并分别拼接待匹配文本和目标文本对应的平均池化和最大池化操作后的融合交互特征向量,以及交互特征向量,获得待匹配文本和目标文本的目标特征向量。
例如,针对待匹配文本,平均池化操作后的融合交互特征向量为va,ave,最大池化操作后的融合交互特征向量为va,max,具体地:
Figure BDA0002750702290000111
则待匹配文本的目标特征向量为oa
Figure BDA0002750702290000112
针对目标文本,平均池化操作后的融合交互特征向量为vb,ave,最大池化操作后的融合交互特征向量为vb,max,具体地:
Figure BDA0002750702290000113
则目标文本的目标特征向量为ob
Figure BDA0002750702290000114
这样,通过注意力机制层获得交互特征向量,并且和关键词特征向量相结合,最后使用最大池化和平均池化操作来进一步捕捉文本的特征信息,进而分别获得待匹配文本和目标文本的目标特征向量,可以结合交互特征向量和关键词特征向量的优点,可以捕捉更细粒度的特征。
S6、通过相似度模型的融合层,将待匹配文本和目标文本的目标特征向量进行融合处理,获得匹配文本和目标文本的融合特征向量。
具体地,1)将待匹配文本和目标文本的目标特征向量进行点乘操作,并将待匹配文本和目标文本的目标特征向量进行相减操作。
2)拼接待匹配文本的目标特征向量、目标文本的目标特征向量、点乘操作后的特征向量和相减操作后的特征向量,获得匹配文本和目标文本的融合特征向量。
例如,待匹配文本的目标特征向量为oa,目标文本的目标特征向量为ob,进行点乘操作后的特征向量为Oa⊙Oa,进行相减操作后的特征向量为Oa-Ob,则拼接后获得待匹配文本和目标文本的融合特征向量为Mout,具体地:
Mout=[Oa;Ob;Oa⊙Oa;Oa-Ob]
另外,本申请实施例中,进行融合处理时,并不仅限于点乘操作和相减操作,也可以采用其它操作,例如绝对值相减操作、基于神经网络的融合操作、相加操作等,本申请实施例中并不进行限制。
S7、将融合特征向量,通过相似度模型的全连接层和激活函数层,获得待匹配文本和目标文本的相似度。
即将Mout输入到神经网络全连接层,计算待匹配文本和目标文本的相似度,并使用激活函数,例如softmax函数获得最终是否匹配的相似度,其中,全连接层通常在神经网络中起到分类器的作用,可以将之前通过卷积、池化等操作学到的分布式特征表示映射到样本标记空间,即可以理解为将之前所有的局部特征重新通过权值矩阵获得完整的特征表示,softmax激活函数主要用于多分类神经网络输出,可以保证所有的输出神经元之和为1.0,因此通常每个神经元输出的为小于1的概率值,可以很直观地比较各输出值。
进一步地,本申请实施例中文本匹配方法可以应用于所有短文本与短文本匹配与排序相关的业务中,例如应用在平台与内容事业群(Platform and Content Group,PCG)产品中的相关业务中,例如搜索、推荐业务场景,也可以应用于其它相关业务场景,本申请实施例中并不进行限制,具体本申请实施例中提供了几种可能的应用场景:
第一种应用场景:视频召回与推荐业务场景。
具体地,若待匹配文本为搜索文本,目标文本为目标视频的标题文本,则进一步包括:推荐与搜索文本的相似度大于预设条件的标题文本对应的目标视频。
这样,用户输入搜索文本query,获得视频数据库或热点视频数据库中视频的标题文本,进而通过本申请实施例中的文本匹配文本,计算搜索文本与标题文本的相似度并进行排序,将相似度得分较高的视频推荐给用户。
第二种应用场景:过长无关内容识别。
具体地,若待匹配文本为标题文本,目标文本为标题文本对应的目标视频或目标音频转换为文本后,转换文本中的各个分句,则进一步包括:根据标题文本与各分句的匹配结果,确定匹配程度最高的分句在目标视频或目标音频中的出现位置,并根据出现位置,确定目标视频或目标音频中是否包含过长无关内容。
在视频、音频或文章中,经常会出现内容与题目不符的情况,或者内容的前面铺垫过长,因此通过标题与内容的匹配,可以识别是否存在过长与标题无关内容,例如待匹配文本为标题文本,视频转换为文本后通常为长文本,为提高准确性,将长文本进行分句,即将长文本分割为多个短文本,来作为目标文本,将标题文本分别与各个目标文本进行相似度计算,确定标题文本与各个目标文本的匹配程度,根据匹配程度得分最高的分句的出现位置,确定该视频是否包含过长无关内容,例如,匹配程度得分最高的分句出现在视频的第3分钟,而该视频一共有5分钟,即该分句出现位置为视频的3/5处,则可以认为视频过了一半多才提到与标题相关的内容,前面无关内容过多,可以确定为碎碎念无关铺垫过长。
这样,本申请实施例中的文本匹配文本,综合句子编码和关键词编码,可以更好地捕捉待比较的两个文本自身以及相互之间的信息,提高了相似度计算和匹配的准确性,进而能够快速在实际产品中部署,例如在热门视频召回和碎碎念无关铺垫过长业务中的匹配业务中有更好的效果,也提高业务应用的准确性。
基于上述实施例,对本申请实施例中的相似度模型的网络结构进行简单说明,参阅图3所示,为本申请实施例中相似度模型的网络结构示意图。
如图3所示,本申请实施例中相似度模型至少包括句子编码层、关键词编码层、注意力机制层、交互建模层、平均和最大池化层、融合层、全连接层和激活函数层。为便于说明,基于不同网络结构层的功能,本申请实施例中相似度模型可以分为编码部分、交互部分和预测部分三方面。
1)编码部分,主要包括句子编码层和关键词编码层。
例如,句子编码层采用BERT方法,主要用于分别对待匹配文本和目标文本的各分词进行编码,获得融合句子语义信息的各分词特征向量,并分别获得待匹配文本和目标文本的句子特征向量。
关键词编码层主要用于分别获得待匹配文本和目标文本的关键词特征向量。
2)交互部分,主要包括注意力机制层、交互建模层、平均和最大池化层。
其中,注意力机制层采用软注意力对齐(Soft-attention Alignment)方法,注意力机制层主要用于根据待匹配文本和目标文本的句子特征向量,分别获得待匹配文本相对于目标文本的交互特征向量,以及目标文本相对于待匹配文本的交互特征向量。
交互建模(Interaction Modeling)层主要用于分别将待匹配文本和目标文本的交互特征向量和关键词特征向量进行融合处理,获得待匹配文本和目标文本的融合交互特征向量。
平均和最大池化层主要用于分别对待匹配文本和目标文本的融合交互特征向量进行平均池化和最大池化操作,并分别拼接待匹配文本和目标文本对应的平均池化和最大池化操作后的融合交互特征向量,以及交互特征向量,分别获得待匹配文本和目标文本的目标特征向量。
3)预测部分,主要包括融合层、全连接层和激活函数层。
其中,融合层(Fusion Layer)主要用于将待匹配文本和目标文本的目标特征向量进行融合处理,获得匹配文本和目标文本的融合特征向量。
全连接层例如采用前馈(Feed Forward)网络,该全连接层主要用于将融合特征向量通过变换而映射到预设维度大小,例如最终预测标签有两个,即匹配与不匹配,则通过前馈网络层变换可以将融合特征向量进行映射为二维大小的特征向量,预测层即激活函数层采用激活函数,将全连接层的输出映射为[0,1]之间的取值,从而即通过全连接层和激活函数层获得待匹配文本和目标文本的相似度。
这样,本申请实施例中,通过BERT进行编码可以捕捉文本序列信息,并通过关键词编码可以捕捉文本关键词信息,然后计算待匹配文本和目标文本之间的注意力权重,即交互特征向量,进而根据交互特征向量,并结合关键词特征向量,使用最大和平均池化操作进一步捕捉文本间的交互信息,获得待匹配文本和目标文本的目标特征向量,然后将得到的目标特征向量通过融合层进行融合处理,并通过全连接层和激活函数层,输出最后是否匹配的相似度概率,进而获得是否匹配的标签,使用句子编码和关键词编码信息,考虑多维信息,可以提高相似度模型的精度和可靠性,进而提高文本匹配的准确性。
基于同一发明构思,本申请实施例中还提供了一种文本匹配装置,该文本匹配装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例,参阅图4所示,本申请实施例中文本匹配装置,具体包括:
获取模块40,用于获取待匹配文本和目标文本;
处理模块41,用于分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;
确定模块42,用于根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果。
可选的,处理模块41具体用于:基于已训练的相似度模型,以所述待匹配文本和所述目标文本为输入,分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度。
可选的,分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量时,处理模块41具体用于:
通过所述相似度模型的句子编码层,分别对所述待匹配文本和所述目标文本的各分词进行编码,获得融合句子语义信息的各分词特征向量,并分别获得所述待匹配文本和所述目标文本的句子特征向量;
分别将所述待匹配文本和所述目标文本对应的各分词特征向量,通过所述相似度模型的关键词编码层,获得所述待匹配文本和所述目标文本的关键词特征向量;
将所述待匹配文本和所述目标文本的句子特征向量,通过所述相似度模型的注意力机制层,分别获得所述待匹配文本相对于所述目标文本的交互特征向量,以及所述目标文本相对于所述待匹配文本的交互特征向量。
可选的,根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度时,处理模块41具体用于:
通过所述相似度模型的交互建模层,分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行融合处理,获得所述待匹配文本和所述目标文本的融合交互特征向量;
分别将所述待匹配文本和所述目标文本的融合交互特征向量,通过所述相似度模型的平均和最大池化层,获得所述待匹配文本和所述目标文本对应的平均池化和最大池化操作后的融合交互特征向量,并分别拼接所述待匹配文本和所述目标文本对应的平均池化和最大池化操作后的融合交互特征向量,以及交互特征向量,获得所述待匹配文本和所述目标文本的目标特征向量;
通过所述相似度模型的融合层,将所述待匹配文本和所述目标文本的目标特征向量进行融合处理,获得所述匹配文本和所述目标文本的融合特征向量;
将所述融合特征向量,通过所述相似度模型的全连接层和激活函数层,获得所述待匹配文本和所述目标文本的相似度。
可选的,通过所述相似度模型的交互建模层,分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行融合处理,获得所述待匹配文本和所述目标文本的融合交互特征向量时,处理模块41具体用于:
分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行相减操作和点乘操作;
拼接所述待匹配文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得所述待匹配文本的融合交互特征向量;
拼接所述目标文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得所述目标文本的融合交互特征向量。
可选的,通过所述相似度模型的融合层,将所述待匹配文本和所述目标文本的目标特征向量进行融合处理,获得所述匹配文本和所述目标文本的融合特征向量时,处理模块41具体用于:
将所述待匹配文本和所述目标文本的目标特征向量进行点乘操作,并将所述待匹配文本和所述目标文本的目标特征向量进行相减操作;
拼接所述待匹配文本的目标特征向量、所述目标文本的目标特征向量、点乘操作后的特征向量和相减操作后的特征向量,获得所述匹配文本和所述目标文本的融合特征向量。
可选的若所述待匹配文本为搜索文本,所述目标文本为目标视频的标题文本,则进一步包括:推荐模块43,用于推荐与搜索文本的相似度大于预设条件的标题文本对应的目标视频;
若所述待匹配文本为标题文本,所述目标文本为所述标题文本对应的目标视频或目标音频转换为文本后,转换文本中的各个分句,则进一步包括:识别模块44,用于根据所述标题文本与各分句的匹配结果,确定匹配程度最高的分句在所述目标视频或所述目标音频中的出现位置,并根据出现位置,确定所述目标视频或所述目标音频中是否包含过长无关内容。
基于上述实施例,参阅图5所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备,该电子设备可以是终端或服务器,本申请实施例以电子设备为服务器为例进行说明,该电子设备可以包括处理器510(CenterProcessing Unit,CPU)、存储器520、输入设备530和输出设备540等。
存储器520可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器510提供存储器520中存储的程序指令和数据。在本申请实施例中,存储器520可以用于存储本申请实施例中任一种文本匹配方法的程序。
处理器510通过调用存储器520存储的程序指令,处理器510用于按照获得的程序指令执行本申请实施例中任一种文本匹配方法。
基于上述实施例,本申请实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意方法实施例中的文本匹配方法。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种文本匹配方法,其特征在于,包括:
获取待匹配文本和目标文本;
分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;
根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;
根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果。
2.如权利要求1所述的方法,其特征在于,具体包括:
基于已训练的相似度模型,以所述待匹配文本和所述目标文本为输入,分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度。
3.如权利要求2所述的方法,其特征在于,分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量,具体包括:
通过所述相似度模型的句子编码层,分别对所述待匹配文本和所述目标文本的各分词进行编码,获得融合句子语义信息的各分词特征向量,并分别获得所述待匹配文本和所述目标文本的句子特征向量;
分别将所述待匹配文本和所述目标文本对应的各分词特征向量,通过所述相似度模型的关键词编码层,获得所述待匹配文本和所述目标文本的关键词特征向量;
将所述待匹配文本和所述目标文本的句子特征向量,通过所述相似度模型的注意力机制层,分别获得所述待匹配文本相对于所述目标文本的交互特征向量,以及所述目标文本相对于所述待匹配文本的交互特征向量。
4.如权利要求3所述的方法,其特征在于,根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度,具体包括:
通过所述相似度模型的交互建模层,分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行融合处理,获得所述待匹配文本和所述目标文本的融合交互特征向量;
分别将所述待匹配文本和所述目标文本的融合交互特征向量,通过所述相似度模型的平均和最大池化层,获得所述待匹配文本和所述目标文本对应的平均池化和最大池化操作后的融合交互特征向量,并分别拼接所述待匹配文本和所述目标文本对应的平均池化和最大池化操作后的融合交互特征向量,以及交互特征向量,获得所述待匹配文本和所述目标文本的目标特征向量;
通过所述相似度模型的融合层,将所述待匹配文本和所述目标文本的目标特征向量进行融合处理,获得所述匹配文本和所述目标文本的融合特征向量;
将所述融合特征向量,通过所述相似度模型的全连接层和激活函数层,获得所述待匹配文本和所述目标文本的相似度。
5.如权利要求4所述的方法,其特征在于,通过所述相似度模型的交互建模层,分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行融合处理,获得所述待匹配文本和所述目标文本的融合交互特征向量,具体包括:
分别将所述待匹配文本和所述目标文本的交互特征向量和关键词特征向量进行相减操作和点乘操作;
拼接所述待匹配文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得所述待匹配文本的融合交互特征向量;
拼接所述目标文本的关键词特征向量、交互特征向量、相减操作后的特征向量和点乘操作后的特征向量,获得所述目标文本的融合交互特征向量。
6.如权利要求4所述的方法,其特征在于,通过所述相似度模型的融合层,将所述待匹配文本和所述目标文本的目标特征向量进行融合处理,获得所述匹配文本和所述目标文本的融合特征向量,具体包括:
将所述待匹配文本和所述目标文本的目标特征向量进行点乘操作,并将所述待匹配文本和所述目标文本的目标特征向量进行相减操作;
拼接所述待匹配文本的目标特征向量、所述目标文本的目标特征向量、点乘操作后的特征向量和相减操作后的特征向量,获得所述匹配文本和所述目标文本的融合特征向量。
7.如权利要求1-6任一项所述的方法,其特征在于,
若所述待匹配文本为搜索文本,所述目标文本为目标视频的标题文本,则进一步包括:推荐与搜索文本的相似度大于预设条件的标题文本对应的目标视频;
若所述待匹配文本为标题文本,所述目标文本为所述标题文本对应的目标视频或目标音频转换为文本后,转换文本中的各个分句,则进一步包括:根据所述标题文本与各分句的匹配结果,确定匹配程度最高的分句在所述目标视频或所述目标音频中的出现位置,并根据出现位置,确定所述目标视频或所述目标音频中是否包含过长无关内容。
8.一种文本匹配装置,其特征在于,包括:
获取模块,用于获取待匹配文本和目标文本;
处理模块,用于分别提取所述待匹配文本和所述目标文本的句子特征向量和关键词特征向量,并根据所述待匹配文本和所述目标文本的句子特征向量,确定所述待匹配文本和所述目标文本之间的交互特征向量;根据所述待匹配文本和所述目标文本之间的交互特征向量和所述关键词特征向量,确定所述待匹配文本和所述目标文本的相似度;
确定模块,用于根据所述相似度,确定所述待匹配文本和所述目标文本的匹配结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202011183073.0A 2020-10-29 2020-10-29 一种文本匹配方法、装置、电子设备及存储介质 Active CN112182166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011183073.0A CN112182166B (zh) 2020-10-29 2020-10-29 一种文本匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011183073.0A CN112182166B (zh) 2020-10-29 2020-10-29 一种文本匹配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112182166A true CN112182166A (zh) 2021-01-05
CN112182166B CN112182166B (zh) 2023-03-10

Family

ID=73917977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011183073.0A Active CN112182166B (zh) 2020-10-29 2020-10-29 一种文本匹配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112182166B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784018A (zh) * 2021-01-28 2021-05-11 新华智云科技有限公司 一种用于人物实体库的文本相似度实体消歧方法和系统
CN113011153A (zh) * 2021-03-15 2021-06-22 平安科技(深圳)有限公司 文本相关性检测方法、装置、设备及存储介质
CN113486659A (zh) * 2021-05-25 2021-10-08 平安科技(深圳)有限公司 文本匹配方法、装置、计算机设备及存储介质
CN113591908A (zh) * 2021-06-23 2021-11-02 北京百度网讯科技有限公司 事件指称匹配方法、模型训练方法、装置和电子设备
CN113836942A (zh) * 2021-02-08 2021-12-24 宏龙科技(杭州)有限公司 一种基于隐关键词的文本匹配方法
CN114398968A (zh) * 2022-01-06 2022-04-26 北京博瑞彤芸科技股份有限公司 基于文件相似度对同类获客文件进行标注的方法和装置
CN115238689A (zh) * 2022-09-21 2022-10-25 南京中孚信息技术有限公司 分词分句索引处理方法、文档检索方法、设备及存储介质
CN115396831A (zh) * 2021-05-08 2022-11-25 中国移动通信集团浙江有限公司 交互模型生成方法、装置、设备及存储介质
CN116186562A (zh) * 2023-04-27 2023-05-30 中南大学 基于编码器的长文本匹配方法
CN117194614A (zh) * 2023-11-02 2023-12-08 北京中电普华信息技术有限公司 一种文本差异识别方法、装置和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145299A (zh) * 2018-08-16 2019-01-04 北京金山安全软件有限公司 一种文本相似度确定方法、装置、设备及存储介质
CN110929098A (zh) * 2019-11-14 2020-03-27 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、电子设备及存储介质
CN111259113A (zh) * 2020-01-15 2020-06-09 腾讯科技(深圳)有限公司 文本匹配方法、装置、计算机可读存储介质和计算机设备
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法
US20200242304A1 (en) * 2017-11-29 2020-07-30 Tencent Technology (Shenzhen) Company Limited Text recommendation method and apparatus, and electronic device
CN111538908A (zh) * 2020-06-22 2020-08-14 腾讯科技(深圳)有限公司 搜索排序方法、装置、计算机设备和存储介质
CN115017886A (zh) * 2022-04-25 2022-09-06 中国平安人寿保险股份有限公司 文本匹配方法、文本匹配装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200242304A1 (en) * 2017-11-29 2020-07-30 Tencent Technology (Shenzhen) Company Limited Text recommendation method and apparatus, and electronic device
CN109145299A (zh) * 2018-08-16 2019-01-04 北京金山安全软件有限公司 一种文本相似度确定方法、装置、设备及存储介质
CN110929098A (zh) * 2019-11-14 2020-03-27 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、电子设备及存储介质
CN111259113A (zh) * 2020-01-15 2020-06-09 腾讯科技(深圳)有限公司 文本匹配方法、装置、计算机可读存储介质和计算机设备
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法
CN111538908A (zh) * 2020-06-22 2020-08-14 腾讯科技(深圳)有限公司 搜索排序方法、装置、计算机设备和存储介质
CN115017886A (zh) * 2022-04-25 2022-09-06 中国平安人寿保险股份有限公司 文本匹配方法、文本匹配装置、电子设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784018A (zh) * 2021-01-28 2021-05-11 新华智云科技有限公司 一种用于人物实体库的文本相似度实体消歧方法和系统
CN113836942A (zh) * 2021-02-08 2021-12-24 宏龙科技(杭州)有限公司 一种基于隐关键词的文本匹配方法
CN113011153A (zh) * 2021-03-15 2021-06-22 平安科技(深圳)有限公司 文本相关性检测方法、装置、设备及存储介质
CN113011153B (zh) * 2021-03-15 2022-03-29 平安科技(深圳)有限公司 文本相关性检测方法、装置、设备及存储介质
CN115396831A (zh) * 2021-05-08 2022-11-25 中国移动通信集团浙江有限公司 交互模型生成方法、装置、设备及存储介质
CN113486659A (zh) * 2021-05-25 2021-10-08 平安科技(深圳)有限公司 文本匹配方法、装置、计算机设备及存储介质
CN113486659B (zh) * 2021-05-25 2024-03-15 平安科技(深圳)有限公司 文本匹配方法、装置、计算机设备及存储介质
CN113591908B (zh) * 2021-06-23 2023-09-29 北京百度网讯科技有限公司 事件指称匹配方法、模型训练方法、装置和电子设备
CN113591908A (zh) * 2021-06-23 2021-11-02 北京百度网讯科技有限公司 事件指称匹配方法、模型训练方法、装置和电子设备
CN114398968A (zh) * 2022-01-06 2022-04-26 北京博瑞彤芸科技股份有限公司 基于文件相似度对同类获客文件进行标注的方法和装置
CN115238689B (zh) * 2022-09-21 2022-12-06 南京中孚信息技术有限公司 分词分句索引处理方法、文档检索方法、设备及存储介质
CN115238689A (zh) * 2022-09-21 2022-10-25 南京中孚信息技术有限公司 分词分句索引处理方法、文档检索方法、设备及存储介质
CN116186562A (zh) * 2023-04-27 2023-05-30 中南大学 基于编码器的长文本匹配方法
CN117194614A (zh) * 2023-11-02 2023-12-08 北京中电普华信息技术有限公司 一种文本差异识别方法、装置和计算机可读介质
CN117194614B (zh) * 2023-11-02 2024-01-30 北京中电普华信息技术有限公司 一种文本差异识别方法、装置和计算机可读介质

Also Published As

Publication number Publication date
CN112182166B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112182166B (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN111554268B (zh) 基于语言模型的语言识别方法、文本分类方法和装置
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
CN115115913A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
CN115131638B (zh) 视觉文本预训练模型的训练方法、装置、介质和设备
CN113392179A (zh) 文本标注方法及装置、电子设备、存储介质
CN112084307A (zh) 一种数据处理方法、装置、服务器及计算机可读存储介质
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN112085120A (zh) 多媒体数据的处理方法、装置、电子设备及存储介质
CN115223020A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN114398505A (zh) 目标词语的确定方法、模型的训练方法、装置及电子设备
CN114281935A (zh) 搜索结果分类模型的训练方法、装置、介质及设备
CN117093687A (zh) 问题应答方法和装置、电子设备、存储介质
CN116756363A (zh) 一种由信息量引导的强相关性无监督跨模态检索方法
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN114398903B (zh) 意图识别方法、装置、电子设备及存储介质
CN114419514B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN113408282B (zh) 主题模型训练和主题预测方法、装置、设备及存储介质
CN113741759B (zh) 评论信息的展示方法、装置、计算机设备和存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN113761887A (zh) 基于文本处理的匹配方法、装置、计算机设备和存储介质
CN112749556A (zh) 多语言模型的训练方法和装置、存储介质和电子设备
CN111581335B (zh) 一种文本表示方法及装置
CN117711001B (zh) 图像处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037431

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant