CN116628315A - 搜索方法、深度学习模型的训练方法、装置及电子设备 - Google Patents
搜索方法、深度学习模型的训练方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116628315A CN116628315A CN202310371823.4A CN202310371823A CN116628315A CN 116628315 A CN116628315 A CN 116628315A CN 202310371823 A CN202310371823 A CN 202310371823A CN 116628315 A CN116628315 A CN 116628315A
- Authority
- CN
- China
- Prior art keywords
- sample
- determining
- word
- sequence
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 360
- 238000013136 deep learning model Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000003860 storage Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims description 192
- 230000000873 masking effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 239000012634 fragment Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 241000220225 Malus Species 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 235000010724 Wisteria floribunda Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了搜索方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品,涉及人工智能技术领域,尤其涉及深度学习技术领域及自然语言处理技术领域等。具体实现方案为:获取搜索文本;基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度;以及基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及深度学习技术领域及自然语言处理技术领域等,具体涉及搜索方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。
背景技术
随着互联网的普及,智能搜索已经成为互联网的重要工具之一。智能搜索可以提供信息查询、检索等服务,在提供该些服务的过程中,可以通过不断优化其智能化、个性化、交互性、主动性等优势,力求使用户快速精准地找到自己需要的信息。
发明内容
本公开提供了一种搜索方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。
根据本公开的一方面,提供了一种搜索方法,包括:获取搜索文本;基于上述搜索文本、多个待匹配内容和上述多个待匹配内容各自的属性信息,确定上述多个待匹配内容各自与上述搜索文本之间的匹配度;以及基于多个上述匹配度,从上述多个待匹配内容中确定目标待匹配内容。
根据本公开的另一方面,提供了一种深度学习模型的训练方法,包括:将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,其中,上述训练数据包括样本搜索文本、样本匹配内容和上述样本匹配内容的样本属性信息,上述训练样本还包括标签,上述标签用于表征上述样本搜索文本与上述样本匹配内容之间的匹配概率;以及基于上述样本匹配度和上述标签,训练上述深度学习模型。
根据本公开的另一方面,提供了一种搜索装置,包括:获取模块,用于获取搜索文本;第一确定模块,用于基于上述搜索文本、多个待匹配内容和上述多个待匹配内容各自的属性信息,确定上述多个待匹配内容各自与上述搜索文本之间的匹配度;以及第二确定模块,用于基于多个上述匹配度,从上述多个待匹配内容中确定目标待匹配内容。
根据本公开的另一方面,提供了一种深度学习模型的训练装置,包括:第一输入模块,用于将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,其中,上述训练数据包括样本搜索文本、样本匹配内容和上述样本匹配内容的样本属性信息,上述训练样本还包括标签,上述标签用于表征上述样本搜索文本与上述样本匹配内容之间的匹配概率;以及训练模块,用于基于上述样本匹配度和上述标签,训练上述深度学习模型。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与上述至少一个处理器通信连接的存储器;其中,上述存储器存储有可被上述至少一个处理器执行的指令,上述指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行如本公开的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行如本公开的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现如本公开的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用搜索方法及装置的示例性系统架构;
图2示意性示出了根据本公开实施例的搜索方法的流程图;
图3示意性示出了根据本公开实施例的确定匹配度的示意图;
图4示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图;
图5示意性示出了根据本公开实施例的预训练初始深度学习模型的流程示意图;
图6示意性示出了根据本公开实施例的训练深度学习模型的流程示意图;
图7示意性示出了根据本公开实施例的搜索装置的框图;
图8示意性示出了根据本公开实施例的深度学习模型的训练装置的框图;以及
图9示意性示出了根据本公开实施例的适于实现搜索方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种搜索方法、深度学习模型的训练方法、装置、电子设备、存储介质以及程序产品。
根据本公开的实施例,提供了一种搜索方法,包括:获取搜索文本。基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度。基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
图1示意性示出了根据本公开实施例的可以应用搜索方法及装置的示例性系统架构。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如,在另一实施例中,可以应用搜索方法及装置的示例性系统架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的搜索方法及装置。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的搜索方法一般可以由终端设备101、102、或103执行。相应地,本公开实施例所提供的搜索装置也可以设置于终端设备101、102、或103中。
或者,本公开实施例所提供的搜索方法一般也可以由服务器105执行。相应地,本公开实施例所提供的搜索装置一般可以设置于服务器105中。本公开实施例所提供的搜索方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的搜索装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如,用户在输入框中输入搜索文本,终端设备101、102、103可以获取用户输入的搜索文本,然后将搜索文本发送给服务器105,由服务器105基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度。基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。或者由能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群确定与搜索文本相匹配的目标待匹配内容。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
应注意,以下方法中各个操作的序号仅作为该操作的表示以便描述,而不应被看作表示该各个操作的执行顺序。除非明确指出,否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的搜索方法的流程图。
如图2所示,该方法包括操作S210~S230。
在操作S210,获取搜索文本。
在操作S220,基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度。
在操作S230,基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。
根据本公开的实施例,搜索文本可以为用户输入文本。搜索文本可以包括至少一个语句,但是并不局限于此,还可以包括至少一个关键词。本公开实施例提供的搜索方法可以应用于服务器,服务器接收来自终端设备发送的搜索请求。响应于接收到搜索请求,从搜索请求中获取搜索文本。
根据本公开的实施例,待匹配内容可以包括至少一个语句,但是并不局限于此,也可以包括至少一个关键词、一个网页链接地址或者一个图像。只要是能够用于搜索的内容即可。
根据本公开的实施例,待匹配内容的属性信息可以包括:用于表征待匹配内容的信息。例如,可以是待匹配内容所属领域信息、待匹配内容的标识信息、待匹配内容的功能、配置等信息。只要是能够表征待匹配内容的辅助说明信息即可。
根据本公开的实施例,待匹配内容与搜索文本之间的匹配度,可以指待匹配内容与搜索文本之间的关联度或者相关性。可以基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。例如,将匹配度最高的待匹配内容作为目标待匹配内容。
根据本公开的实施例,将待匹配内容的属性信息作为确定搜索文本与待匹配内容的限定信息或者提示信息,能够丰富确定匹配度的信息的信息量和信息种类,由此提高确定匹配度的精度和有效性。
根据本公开的实施例,本公开实施例提供的搜索方法,可以应用于广告、问答、或者搜索等场景中。不同的应用场景中,通常需要处理不同的文本形式,且匹配度的确定标准也不相同。
根据本公开的实施例,针对同一应用场景,不同的行业或者类别,匹配度的确定标准也不同。例如,针对蔬菜、水果等食品类别,匹配度的确定标准比较宽松。针对娱乐类别,匹配度的确定标准比较严格。
根据本公开的实施例,属性信息可以用于表征待匹配内容所属类别、所属应用场景或者所属领域。可以通过添加属性信息使得确定目标待匹配内容的标准明确,通过属性信息能够起到提示学习的作用,进而提高确定目标待匹配内容的精度。
根据相关示例,可以为不同的应用场景设置不同的搜索方案。例如,针对广告搜索场景,可以采用匹配模型A来处理,从多个待匹配内容中确定与搜索内容相匹配的目标待匹配内容。针对问答搜索场景,可以用匹配模型B来处理,从多个待匹配内容中确定与搜索内容相匹配的目标待匹配内容。
与针对不同的应用场景采用不同的搜索方案的搜索方法相比,利用本公开实施例提供的方法,能够利用属性信息做到应用场景的分隔,起到良好隔离性的同时,避免因多个模型加载而导致的占用内存大、浪费资源的问题。
根据本公开的可选实施例,针对如图2所示的操作S220,基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度,可以包括如下操作。
例如,针对多个待匹配内容中的每个待匹配内容,确定搜索文本、待匹配内容和待匹配内容的属性信息各自的分词,得到分词序列。确定分词序列的标识序列。基于分词序列和标识序列,确定待匹配内容与搜索文本之间的匹配度。
根据本公开的实施例,可以按照预定顺序,对搜索文本、待匹配内容和待匹配内容的属性信息进行排序,得到语句序列。对语句序列进行分词,得到分词序列。可以采用分次工具对语句序列进行分词,得到分词序列。分词工具可以包括结巴分词工具,但是并不局限于此,只要是能够对文本进行分词,拆分为细粒度的字或者关键词(Token)的方式即可。
根据本公开的实施例,确定分词序列的标识序列,可以包括:为分词序列中的每个分词设置一个标识,得到标识序列。例如,分词序列可以包括:Tokenl、Token2、Token3和Token4。确定分词序列的标识序列包括:与Tokenl相对应的Label1、与Token2相对应的Label2、与Token3相对应的Label3和与Token4相对应的Label4。
根据本公开的实施例,基于分词序列和标识序列,确定待匹配内容与搜索文本之间的匹配度,可以包括:将分词序列和标识序列输入至匹配模型中,得到匹配度。对匹配模型的网络结构不做限定。只要是能够对分词序列和标识序列进行特征提取,得到特征向量。基于特征向量,得到匹配度的模型即可。
根据本公开的其他实施例,可以基于分词序列,确定待匹配内容与搜索文本之间的匹配度。与基于分词序列确定待匹配内容与搜索文本之间的匹配度方式相比,基于分词序列和标识序列,确定待匹配内容与搜索文本之间的匹配度的方式,能够结合标识序列中的各个标识,以先验信息的形式起到提示作用的同时,并利用标识序列中的标识,将属性信息、搜索文本和待匹配内容三者区分开,强化各个分词的作用,由此使得匹配模型的精度高。
根据本公开的实施例,标识序列可以包括语句归属标识序列和词位置标识序列。但是并不局限于此。标识序列还可以包括语句归属标识序列或者词位置标识序列。
根据本公开的实施例,确定分词序列的标识序列,可以包括:确定分词序列的语句归属标识序列。确定分词序列的词位置标识序列。
根据本公开的实施例,标识序列中既包括语句归属标识序列也包括词位置标识序列,能够使得标识序列的信息种类丰富。
根据本公开的实施例,确定分词序列的语句归属标识序列,可以包括:按照语句归属关系,确定待匹配内容和搜索文本的多个分词各自的第一语句归属标识。基于预定语句归属标识,确定属性信息的分词的第二语句归属标识。基于多个第一语句归属标识和第二语句归属标识,生成语句归属标识序列。
根据本公开的实施例,语句归属标识序列中包括多个语句归属标识(Sentence—Type Label)。每个语句归属标识可以用于表征与语句归属标识相对应的分词的文本归属。
根据本公开的实施例,可以按照语句归属关系,确定待匹配内容、搜索文本和属性信息各自的分词的语句归属标识,得到多个语句归属标识。基于多个语句归属标识,生成语句归属标识序列。但是并不局限于此。还可以按照语句归属关系,确定待匹配内容和搜索文本的多个分词各自的第一语句归属标识。基于预定语句归属标识,确定属性信息的分词的第二语句归属标识。基于多个第一语句归属标识和第二语句归属标识,生成语句归属标识序列。例如,分词序列可以包括:搜索文本的分词包括Tokenl和Token2,待匹配内容的分词包括Token3和Token4,属性信息的分词包括Token5。确定分词序列的语句归属标识序列包括:与Token1相对应的S_Label_A和与Token2相对应的S_Label_A。与Token3相对应的S_Label_B和与Token4相对应的S_Label_B。与Token5相对应的S_Label_Z。
根据本公开的实施例,利用语句归属标识序列,能够将待匹配内容、搜索文本和属性信息中的多个分词进行语句归属区分,以便匹配模型能够基于语句归属标识序列,建立分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,确定分词序列的词位置标识序列,可以包括:按照语句描述顺序,确定待匹配内容和搜索文本的多个分词各自的第一词位置标识。基于预定词位置标识,确定属性信息的分词的第二词位置标识。基于多个第一词位置标识和第二词位置标识,生成词位置标识序列。
根据本公开的实施例,词位置标识序列中包括多个词位置标识(PositionLabel)。每个词位置标识可以用于表征与词位置标识相对应的分词的所属描述次序。
根据本公开的实施例,可以按照语句描述顺序,确定待匹配内容、搜索文本和属性信息各自的分词的词位置标识,得到多个词位置标识。基于多个词位置标识,生成词位置标识序列。但是并不局限于此。还可以按照语句描述顺序,确定待匹配内容和搜索文本的多个分词各自的第一词位置标识。基于预定词位置标识,确定属性信息的分词的第二词位置标识。基于多个第一词位置标识和第二词位置标识,生成词位置标识序列。例如,分词序列可以包括:搜索文本的分词包括Tokenl和Token2,待匹配内容的分词包括Token3和Token4,属性信息的分词包括Token5。确定分词序列的词位置标识序列包括:与Token1相对应的Label_P1和与Token2相对应的Label_P2。与Token3相对应的Label_P3和与Token4相对应的Label_P4。与Token5相对应的Label_P1000。
根据本公开的实施例,利用词位置标识序列,能够将待匹配内容、搜索文本和属性信息中的多个分词进行语句归属区分,以便匹配模型能够基于词位置标识序列,建立分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,针对如图2所示的操作S220,基于分词序列和标识序列,确定待匹配内容与搜索文本之间的匹配度,可以包括:基于分词序列、语句归属标识序列和词位置标识序列,确定待匹配内容与搜索文本之间的匹配度。
根据本公开的实施例,在确定待匹配内容与搜索文本之间的匹配度的情况下,不仅能够在分词序列中添加属性信息的分词,将属性信息作为提示信息起到提示作用,还能够结合标识序列中的预定语句归属标识和预定词位置标识,将属性信息、搜索文本和待匹配内容三者强区分开,强化各个分词的作用,由此使得匹配模型的精度高。
图3示意性示出了根据本公开实施例的确定匹配度的示意图。
如图3所示,搜索文本310包括:苹果,待匹配内容320包括:红富士苹果。待匹配内容的属性信息330包括:水果。
对搜索文本310、待匹配内容320和属性信息330进行分词,确定分词序列340。分词序列包括:[E_CLS]、[E_苹果]、[E_SEP]、[E_红富士]、[E_苹果]、[E_SEP]、[E_水果]。[E_CLS]用于表征起始词。[E_SEP]用于表征分隔词。
如图3所示,确定分词序列340的语句归属标识序列350包括:[E_A]、[E_A]、[E_A]、[E_B]、[E_B]、[E_B]、[E_C]。确定分词序列340的词位置标识序列360包括:[E_1]、[E_2]、[E_3]、[E_4]、[E_5]、[E_6]、[E_1000]。
如图3所示,可以将分词序列和标识序列输入至匹配模型M310中,得到匹配度370。
根据本公开的实施例,利用上述方式得到的匹配度与待匹配内容的属性信息相适配,能够适应对应属性信息的匹配关系,进而使得匹配度确定的精准的同时,有效性高。
根据本公开的实施例,基于多个匹配度,从多个待匹配内容中确定目标待匹配内容,包括:对多个匹配度进行排序,得到排序结果。基于排序结果,从多个待匹配内容中确定目标待匹配内容。
例如,可以按照由高到低的顺序对多个匹配度进行排序,得到排序结果。将排在首位的预定数目个的待匹配内容作为目标匹配内容。
根据本公开的实施例,基于多个匹配度,从多个待匹配内容中确定目标待匹配内容,还可以包括:将多个匹配度分别与预定匹配度阈值进行比较,将匹配度大于预定匹配度阈值的待匹配内容作为目标待匹配内容。但是并不局限于此。也可以包括:对多个匹配度进行排序,得到排序结果。基于排序结果,从多个待匹配内容中确定初始目标待匹配内容。在确定初始目标待匹配内容大于或者等于预定匹配度阈值的情况下,将初始目标匹配内容作为目标匹配内容。
根据本公开的实施例,利用上述方式确定的目标待匹配内容,方式简单且精准有效,利于用户观看,贴合用户需求。
根据本公开的实施例,针对如图2所示的搜索方法,在执行操作S210之前,搜索方法还可以包括:从待搜索网页中确定预定格式的内容,作为待匹配内容。对待匹配内容进行语义识别,确定待匹配内容的属性信息。
根据本公开的实施例,待匹配内容的来源不做限定。例如,可以为从数据库中获取,但是并不局限于此,还可以从知识图谱中获取,也可以是从待搜索网页中获取。可以按照预定字段,从待搜索网页中确定待匹配内容。也可以从待搜索网页中确定预定格式的内容,例如文本,作为待匹配内容。
根据本公开的实施例,对待匹配内容进行语义识别,确定待匹配内容的属性信息,可以包括:将待匹配内容输入至语义识别模型中,得到待匹配内容的属性信息。语义识别模型的网络结构不做限定,例如可以包括:隐性马尔可夫模型。但是确定待匹配内容的属性信息并不局限于此。还可以包括:从待搜索网页中确定属性信息。属性信息的确定方式不做限定,只要是能够表征待匹配内容的类别的信息即可。
根据本公开的实施例,利用上述方式能够将待搜索网页或者链接地址等形式的内容转换为文本,利用文本匹配方式即可。将搜索方法简单化,易操作化。
根据本公开的实施例,可以利用匹配模型确定搜索文本与待匹配内容之间的匹配度。匹配模型的网络结构不做限定。例如,可以采用BERT(Bidirectional EncoderRepresentation from Transformers,一种语言处理模型),但是并不局限于此,还可以采用ERNIE(Enhanced Representation through Knowledge Integration,一种知识增强的语义标识模型)。只要是能够以搜索文本、待匹配内容和属性信息的分词序列和标识序列为输入数据,以分配度为输出数据的模型即可。分配模型可以利用如图4所示的训练方法训练得到。
图4示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。
如图4所示,该方法包括操作S410~S420。
在操作S410,将训练样本的训练数据输入至深度学习模型中,得到样本匹配度。训练数据包括样本搜索文本、样本匹配内容和样本匹配内容的样本属性信息,训练样本还包括标签,标签用于表征样本搜索文本与样本匹配内容之间的匹配概率。
在操作S420,基于样本匹配度和标签,训练深度学习模型。
根据本公开的实施例,标签用于表征样本搜索文本与样本匹配内容之间的真实匹配概率。样本匹配度用于表征样本搜索文本与样本匹配内容之间的预测匹配概率。样本匹配度为深度学习模型的预测数据。
根据本公开的实施例,基于样本匹配度和标签,训练深度学习模型,可以包括:将样本匹配度和标签输入至损失函数中,得到损失值。基于损失值,调整深度学习模型的参数,直至满足预定训练条件。将满足预定训练条件的模型作为目标模型。预定训练条件可以包括:调参轮次达到预定轮次阈值。但是并不局限于此。还可以包括:损失值收敛。只要是能够表征训练后的深度学习模型达到精度的条件即可。
根据本公开的实施例,损失函数的类型不做限定。例如可以包括交叉熵损失函数。
根据本公开的实施例,训练样本的训练数据包括样本匹配内容的样本属性信息,可以将样本属性信息作为提示信息,使得深度学习模型学习到样本匹配内容的样本属性信息,以便针对不同的样本属性信息,深度学习模型利用不同的匹配度确定标准,由此提高训练后的深度学习模型作为匹配模型的智能性和广范性,避免针对不同的属性信息例如行业信息或者类别信息的不同但匹配度确定标准相同而导致不同行业的结果精度不均衡问题。此外,对于每个相同类型的属性信息,可以在完成集中标注后,进行增量学习,由此保证每一批次的训练样本效用可以作用到对应的行业或者领域,同时对于其他行业或者领域的训练样本产生的波动尽可能小。
根据本公开的实施例,在执行如图4所示的操作S410之前,本公开实施例提供的深度学习模型的训练方法还可以包括:利用预训练数据对初始深度学习模型进行预训练,得到深度学习模型。
根据本公开的实施例,利用预训练数据对初始深度学习模型进行预训练,得到深度学习模型可以包括:将预训练数据进行掩码处理,得到掩码后数据。预训练数据包括预训练样本搜索文本、预训练样本匹配内容和预训练样本匹配内容的预训练样本属性信息。将掩码后数据输入至初始深度学习模型中,得到被掩码识别数据。基于被掩码识别数据和掩码后数据,训练初始深度学习模型,得到深度学习模型。
根据本公开的实施例,上述预训练方式为MLM(Mask Language Model)模式。将预训练数据进行掩码,利用掩码后的数据训练初始深度学习模型。使得预训练数据的设计与优化训练例如如图4所示的深度学习模型的训练方法中涉及的用于训练的标签无关,不进行直接关联,由此使得深度学习模型具有深层次的学习优化优势。
根据本公开的实施例,将预训练阶段与优化训练阶段结合,通过预训练阶段的强制MLM学习,增强预训练样本属性信息与预训练样本搜索文本、预训练样本匹配内容之间的混合原生性,在预训练阶段进行信息混合,在优化训练阶段进行信息利用,打通预训练阶段和下游优化训练阶段之间的割裂,解决基于大规模网络结构的初始深度学习模型而导致的引入外部特征困难的问题。
根据本公开的实施例,将预训练数据进行掩码处理,得到掩码后数据,可以包括:对预训练数据进行分词处理,得到预训练样本分词序列。对预训练样本分词序列中的第一预训练样本分词和第二预训练样本分词进行掩码,得到掩码后样本分词序列,将掩码后样本分词序列作为掩码后数据。第一预训练样本分词包括以下至少一项:预训练样本匹配内容中的样本分词和预训练样本搜索文本中的样本分词,第二预训练样本分词包括预训练样本属性信息中的样本分词。
例如,预训练样本搜索文本中的预训练样本分词包括:[E苹果]。预训练样本匹配内容中的预训练样本分词包括:[E红富士]、[E苹果]。预训练样本属性信息中的预训练样本分词包括:[E水果]。可以将预训练样本属性信息中的预训练样本分词进行掩码。并将预训练样本匹配内容中的预训练样本分词和预训练样本搜索文本中的预训练样本分词中的一项或者多项进行掩码。掩码后数据可以包括:[MASK]、[E_红富士]、[E_苹果]、[MASK]。[MASK]用于表征对应样本分词已经被掩码。
需要说明的是,对第一预训练样本分词进行掩码处理,掩码次序可以随机,掩码数量不做限定。只要是能够起到训练效果的掩码处理操作即可。
根据本公开的实施例,对预训练数据中的预训练样本属性信息中的预训练样本分词进行强制性掩码,能够使得初始深度学习模型快速且准确地学习预训练样本属性信息的提示作用以及提示特征,提高训练效率。
根据本公开的实施例,将掩码后数据输入至初始深度学习模型中,得到被掩码识别数据,包括:确定掩码后样本分词序列的预训练样本标识序列。将掩码后样本分词序列和预训练样本标识序列输入至深度学习模型中,得到被掩码识别数据。
根据本公开的实施例,预训练阶段采用MLM学习,并为掩码后样本分词序列中的每个预训练样本分词设计独特的预训练样本标识,给予用于提示的预训练样本属性信息单独的异型设计,为不同的预训练样本属性信息提供隔离性操作的同时,便于适用于增量学习的训练方式。
根据本公开的实施例,预训练样本标识序列包括预训练样本语句归属标识序列和预训练样本词位置标识序列。
根据本公开的实施例,确定掩码后样本分词序列的预训练样本标识序列,可以包括:确定掩码后样本分词序列的预训练样本语句归属标识序列。确定掩码后样本分词序列的预训练样本词位置标识序列。
根据本公开的实施例,确定掩码后样本分词序列的预训练样本语句归属标识序列,可以包括:按照语句归属关系,确定预训练样本匹配内容和预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一语句归属标识。基于预训练样本预定语句归属标识,确定预训练样本属性信息的预训练样本分词的预训练样本第二语句归属标识。基于多个预训练样本第一语句归属标识和预训练样本第二语句归属标识,生成预训练样本语句归属标识序列。
根据本公开的实施例,利用预训练样本语句归属标识序列,能够将预训练样本匹配内容、预训练样本搜索文本和预训练样本属性信息中的多个预训练样本分词进行语句归属区分,以便初始深度学习模型能够基于预训练样本语句归属标识序列,建立掩码后样本分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,确定掩码后样本分词序列的预训练样本词位置标识序列,可以包括:按照语句描述顺序,确定预训练样本匹配内容和预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一词位置标识。基于预训练样本预定词位置标识,确定预训练样本属性信息的预训练样本分词的预训练样本第二词位置标识。基于多个预训练样本第一词位置标识和预训练样本第二词位置标识,生成预训练样本词位置标识序列。
根据本公开的实施例,利用预训练样本词位置标识序列,能够将预训练样本匹配内容、预训练样本搜索文本和预训练样本属性信息中的多个预训练样本分词进行语句归属区分,以便初始深度学习模型能够基于预训练样本词位置标识序列,建立预训练样本分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,在确定预训练样本匹配内容与预训练样本搜索文本之间的匹配度的情况下,不仅能够在掩码后样本分词序列中添加预训练样本属性信息的预训练样本分词,将预训练样本属性信息作为提示信息起到提示作用,还能够结合预训练样本标识序列中的预定语句归属标识和预定词位置标识,将预训练样本属性信息、预训练样本搜索文本和预训练样本匹配内容三者强区分开,强化各个预训练样本分词的作用,由此使得初始深度学习模型学习到关于预训练样本属性信息的提示特征的同时,达到增量学习的目的。
根据本公开的实施例,被掩码识别数据和掩码后数据分别为特征向量。基于被掩码识别数据和掩码后数据,训练初始深度学习模型,得到深度学习模型,可以包括:确定被掩码识别数据和掩码后数据之间的特征相似度,基于特征相似度,调整初始深度学习模型的参数,直至特征相似度达到相似度阈值。将特征相似度达到相似度阈值的初始深度学习模型作为深度学习模型。
图5示意性示出了根据本公开实施例的预训练初始深度学习模型的流程示意图。
如图5所示,预训练样本搜索文本510中的预训练样本分词包括:[E苹果]。预训练样本匹配内容520中的预训练样本分词包括:[E红富士]、[E_苹果]。预训练样本属性信息530中的预训练样本分词包括:[E_水果]。可以将预训练样本属性信息中的预训练样本分词进行掩码。并将预训练样本匹配内容中的预训练样本分词和预训练样本搜索文本中的预训练样本分词中的一项或者多项进行掩码。掩码后数据540可以包括:[MASK]、[E_红富士]、[E_苹果]、[MASK]。[MASK]用于表征对应预训练样本分词已经被掩码。
如图5所示,确定预训练样本语句归属标识序列550包括:[E_A]、[E_A]、[E_A]、[E_B]、[E_B]、[E_B]、[E_C]。确定预训练样本词位置标识序列560包括:[E_1]、[E_2]、[E_3]、[E_4]、[E_5]、[E_6]、[E_1000]。
如图5所示,可以将掩码后数据540和预训练样本标识序列输入至初始深度学习模型M510中,得到被掩码识别数据570。基于被掩码识别数据570和掩码后数据540调整初始深度学习模型M510中的参数,得到深度学习模型。
根据本公开的实施例,将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,可以包括:对训练数据进行分词处理,得到样本分词序列。确定样本分词序列的样本标识序列。将样本分词序列和样本标识序列输入至深度学习模型中,得到潜在编码。将潜在编码输入至分类器中,得到样本匹配度。
根据本公开的实施例,分类器可以包括多层感知机,例如全连接层和激活函数。
根据本公开的实施例,样本标识序列包括样本语句归属标识序列和样本词位置标识序列。
根据本公开的实施例,确定样本分词序列的样本标识序列,可以包括:确定样本分词序列的样本语句归属标识序列。确定样本分词序列的样本词位置标识序列。
根据本公开的实施例,确定样本分词序列的样本语句归属标识序列,可以包括:按照语句归属关系,确定样本匹配内容和样本搜索文本的多个样本分词各自的样本第一语句归属标识。基于样本预定语句归属标识,确定样本属性信息的样本分词的样本第二语句归属标识。基于多个样本第一语句归属标识和样本第二语句归属标识,生成样本语句归属标识序列。
根据本公开的实施例,利用样本语句归属标识序列,能够将样本匹配内容、样本搜索文本和样本属性信息中的多个样本分词进行语句归属区分,以便深度学习模型能够基于样本语句归属标识序列,建立样本分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,确定样本分词序列的样本词位置标识序列,可以包括:按照语句描述顺序,确定样本匹配内容和样本搜索文本的多个样本分词各自的样本第一词位置标识。基于样本预定词位置标识,确定样本属性信息的样本分词的样本第二词位置标识。基于多个样本第一词位置标识和样本第二词位置标识,生成样本词位置标识序列。
根据本公开的实施例,利用样本词位置标识序列,能够将样本匹配内容、样本搜索文本和样本属性信息中的多个样本分词进行语句归属区分,以便深度学习模型能够基于词位置标识序列,建立样本分词序列彼此之间的关联性和分隔性。
根据本公开的实施例,在确定样本匹配内容与样本搜索文本之间的样本匹配度的情况下,不仅能够在样本分词序列中添加样本属性信息的样本分词,将样本属性信息作为提示信息起到提示作用,还能够结合样本标识序列中的样本预定语句归属标识和样本预定词位置标识,将样本属性信息、样本搜索文本和样本匹配内容三者强区分开,强化各个样本分词的作用,由此使得深度学习模型的精度高。
图6示意性示出了根据本公开实施例的训练深度学习模型的流程示意图。
如图6所示,样本搜索文本610中的样本分词包括:[E苹果]。样本匹配内容620中的样本分词包括:[E_红富士]、[E_苹果]。样本属性信息630中的样本分词包括:[E水果]。
如图6所示,确定样本语句归属标识序列650包括:[E_A]、[E_A]、[E_A]、[E_B]、[E_B]、[E_B]、[E_C]。确定样本词位置标识序列660包括:[E_1]、[E_2]、[E_3]、[E_4]、[E_5]、[E_6]、[E_1000]。
如图6所示,可以将样本分词序列640和样本标识序列输入至深度学习模型M610中,得到潜在编码。将潜在编码输入值分类器M620中,得到样本匹配度670。基于样本匹配度670和标签680,调整深度学习模型M610中的参数,得到深度学习模型。可以基于深度学习模型和分类器,生成匹配模型。
需要说明的是,本公开的实施例中搜索文本和样本搜索文本以及预训练样本搜索文本、待匹配内容和样本匹配内容以及预训练样本匹配内容、属性信息和样本属性信息以及预训练样本属性信息等术语,仅为了便于理解而设置不同名称,但并不存在操作上以及性质上的区别,深度学习模型的训练方法部分的描述可具体参考搜索方法部分,在此不再赘述。
图7示意性示出了根据本公开实施例的搜索装置的框图。
如图7所示,搜索装置700包括:获取模块710、第一确定模块720以及第二确定模块730。
获取模块710,用于获取搜索文本。
第一确定模块720,用于基于搜索文本、多个待匹配内容和多个待匹配内容各自的属性信息,确定多个待匹配内容各自与搜索文本之间的匹配度。
第二确定模块730,用于基于多个匹配度,从多个待匹配内容中确定目标待匹配内容。
根据本公开的实施例,第一确定模块包括:分词子模块、第一确定子模块以及第二确定子模块。
分词子模块,用于针对多个待匹配内容中的每个待匹配内容,确定搜索文本、待匹配内容和待匹配内容的属性信息各自的分词,得到分词序列。
第一确定子模块,用于确定分词序列的标识序列。
第二确定子模块,用于基于分词序列和标识序列,确定待匹配内容与搜索文本之间的匹配度。
根据本公开的实施例,标识序列包括语句归属标识序列和词位置标识序列。
根据本公开的实施例,第一确定子模块包括:第一确定单元以及第二确定单元。
第一确定单元,用于确定分词序列的语句归属标识序列。
第二确定单元,用于确定分词序列的词位置标识序列。
根据本公开的实施例,第二确定子模块包括:第三确定单元。
第三确定单元,用于基于分词序列、语句归属标识序列和词位置标识序列,确定待匹配内容与搜索文本之间的匹配度。
根据本公开的实施例,第一确定单元包括:第一确定子单元、第二确定子单元以及第三确定子单元。
第一确定子单元,用于按照语句归属关系,确定待匹配内容和搜索文本的多个分词各自的第一语句归属标识。
第二确定子单元,用于基于预定语句归属标识,确定属性信息的分词的第二语句归属标识。
第三确定子单元,用于基于多个第一语句归属标识和第二语句归属标识,生成语句归属标识序列。
根据本公开的实施例,第二确定单元包括:第四确定子单元、第五确定子单元以及第六确定子单元。
第四确定子单元,用于按照语句描述顺序,确定待匹配内容和搜索文本的多个分词各自的第一词位置标识。
第五确定子单元,用于基于预定词位置标识,确定属性信息的分词的第二词位置标识。
第六确定子单元,用于基于多个第一词位置标识和第二词位置标识,生成词位置标识序列。
根据本公开的实施例,第二确定模块包括:排序子模块以及第三确定子模块。
排序子模块,用于对多个匹配度进行排序,得到排序结果。
第三确定子模块,用于基于排序结果,从多个待匹配内容中确定目标待匹配内容。
根据本公开的实施例,搜索装置还包括:第三确定模块以及识别模块。
第三确定模块,用于从待匹配网页中确定预定格式的内容,作为待匹配内容。
识别模块,用于对待匹配内容进行语义识别,确定待匹配内容的属性信息。
图8示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
如图8所示,深度学习模型的训练装置800包括:第一输入模块810以及训练模块820。
第一输入模块,用于将训练样本的训练数据输入至深度学习模型中,得到样本匹配度。训练数据包括样本搜索文本、样本匹配内容和样本匹配内容的样本属性信息,训练样本还包括标签,标签用于表征样本搜索文本与样本匹配内容之间的匹配概率。
训练模块,用于基于样本匹配度和标签,训练深度学习模型。
根据本公开的实施例,深度学习模型的训练装置还包括:掩码模块、第二输入模块以及预训练模块。
掩码模块,用于将预训练数据进行掩码处理,得到掩码后数据。预训练数据包括预训练样本搜索文本、预训练样本匹配内容和预训练样本匹配内容的预训练样本属性信息。
第二输入模块,用于将掩码后数据输入至初始深度学习模型中,得到被掩码识别数据。
预训练模块,用于基于被掩码识别数据和掩码后数据,训练初始深度学习模型,得到深度学习模型。
根据本公开的实施例,训练模块包括:第一样本分词子模块、第一样本确定子模块、第一样本输入子模块以及分类子模块。
第一样本分词子模块,用于对训练数据进行分词处理,得到样本分词序列。
第一样本确定子模块,用于确定样本分词序列的样本标识序列。
第一样本输入子模块,用于将样本分词序列和样本标识序列输入至深度学习模型中,得到潜在编码。
分类子模块,用于将潜在编码输入至分类器中,得到样本匹配度。
根据本公开的实施例,掩码模块包括:第二样本分词子模块以及掩码子模块。
第二样本分词子模块,用于对预训练数据进行分词处理,得到预训练样本分词序列。
掩码子模块,用于对预训练样本分词序列中的第一预训练样本分词和第二预训练样本分词进行掩码,得到掩码后样本分词序列,将掩码后样本分词序列作为掩码后数据。第一预训练样本分词包括以下至少一项:预训练样本匹配内容中的样本分词和预训练样本搜索文本中的样本分词,第二预训练样本分词包括预训练样本属性信息中的样本分词。
根据本公开的实施例,预训练模块包括:第二样本确定子模块以及第二样本输入子模块。
第二样本确定子模块,用于确定掩码后样本分词序列的预训练样本标识序列。
第二样本输入子模块,用于将掩码后样本分词序列和预训练样本标识序列输入至深度学习模型中,得到被掩码识别数据。
根据本公开的实施例,样本标识序列包括样本语句归属标识序列和样本词位置标识序列。
根据本公开的实施例,第一样本确定子模块包括:第一样本确定单元以及第二样本确定单元。
第一样本确定单元,用于确定样本分词序列的样本语句归属标识序列。
第二样本确定单元,用于确定样本分词序列的样本词位置标识序列。
根据本公开的实施例,第一样本确定单元包括:第一样本确定子单元、第二样本确定子单元以及第三样本确定子单元。
第一样本确定子单元,用于按照语句归属关系,确定样本匹配内容和样本搜索文本的多个样本分词各自的样本第一语句归属标识。
第二样本确定子单元,用于基于样本预定语句归属标识,确定样本属性信息的样本分词的样本第二语句归属标识。
第三样本确定子单元,用于基于多个样本第一语句归属标识和样本第二语句归属标识,生成样本语句归属标识序列。
根据本公开的实施例,第二样本确定单元包括:第四样本确定子单元、第五样本确定子单元以及第六样本确定子单元。
第四样本确定子单元,用于按照语句描述顺序,确定样本匹配内容和样本搜索文本的多个样本分词各自的样本第一词位置标识。
第五样本确定子单元,用于基于样本预定词位置标识,确定样本属性信息的样本分词的样本第二词位置标识。
第六样本确定子单元,用于基于多个样本第一词位置标识和样本第二词位置标识,生成样本词位置标识序列。
根据本公开的实施例,预训练样本标识序列包括预训练样本语句归属标识序列和预训练样本词位置标识序列。
根据本公开的实施例,第二样本确定子模块包括:第三样本确定单元以及第四样本确定单元。
第三样本确定单元,用于确定掩码后样本分词序列的预训练样本语句归属标识序列。
第四样本确定单元,用于确定掩码后样本分词序列的预训练样本词位置标识序列。
根据本公开的实施例,第三样本确定单元包括:第七样本确定子单元、第八样本确定子单元以及第九样本确定子单元。
第七样本确定子单元,用于按照语句归属关系,确定预训练样本匹配内容和预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一语句归属标识。
第八样本确定子单元,用于基于预训练样本预定语句归属标识,确定预训练样本属性信息的预训练样本分词的预训练样本第二语句归属标识。
第九样本确定子单元,用于基于多个预训练样本第一语句归属标识和预训练样本第二语句归属标识,生成预训练样本语句归属标识序列。
根据本公开的实施例,第四样本确定单元包括:第十样本确定子单元、第十一样本确定子单元以及第十二样本确定子单元。
第十样本确定子单元,用于按照语句描述顺序,确定预训练样本匹配内容和预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一词位置标识。
第十一样本确定子单元,用于基于预训练样本预定词位置标识,确定预训练样本属性信息的预训练样本分词的预训练样本第二词位置标识。
第十二样本确定子单元,用于基于多个预训练样本第一词位置标识和预训练样本第二词位置标识,生成预训练样本词位置标识序列。
需要说明的是,本公开的实施例中搜索装置部分与本公开的实施例中搜索方法部分是相对应的,搜索装置部分的描述具体参考搜索方法部分。本公开的实施例中深度学习模型的训练装置部分与本公开的实施例中深度学习模型的训练方法部分是相对应的,深度学习模型的训练装置部分的描述具体参考深度学习模型的训练方法部分。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如本公开实施例的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如本公开实施例的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如本公开实施例的方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至输入/输出(I/O)接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如搜索方法。例如,在一些实施例中,搜索方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的搜索方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行搜索方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (41)
1.一种搜索方法,包括:
获取搜索文本;
基于所述搜索文本、多个待匹配内容和所述多个待匹配内容各自的属性信息,确定所述多个待匹配内容各自与所述搜索文本之间的匹配度;以及
基于多个所述匹配度,从所述多个待匹配内容中确定目标待匹配内容。
2.根据权利要求1所述的方法,其中,所述基于所述搜索文本、多个待匹配内容和所述多个待匹配内容各自的属性信息,确定所述多个待匹配内容各自与所述搜索文本之间的匹配度,包括:
针对所述多个待匹配内容中的每个待匹配内容,确定所述搜索文本、所述待匹配内容和所述待匹配内容的属性信息各自的分词,得到分词序列;
确定所述分词序列的标识序列;以及
基于所述分词序列和所述标识序列,确定所述待匹配内容与所述搜索文本之间的匹配度。
3.根据权利要求2所述的方法,其中,所述标识序列包括语句归属标识序列和词位置标识序列;
所述确定所述分词序列的标识序列,包括:
确定所述分词序列的语句归属标识序列;以及
确定所述分词序列的词位置标识序列。
4.根据权利要求3所述的方法,其中,所述基于所述分词序列和所述标识序列,确定所述待匹配内容与所述搜索文本之间的匹配度,包括:
基于所述分词序列、所述语句归属标识序列和所述词位置标识序列,确定所述待匹配内容与所述搜索文本之间的匹配度。
5.根据权利要求3或4所述的方法,其中,所述确定所述分词序列的语句归属标识序列,包括:
按照语句归属关系,确定所述待匹配内容和所述搜索文本的多个分词各自的第一语句归属标识;
基于预定语句归属标识,确定所述属性信息的分词的第二语句归属标识;以及
基于多个所述第一语句归属标识和所述第二语句归属标识,生成所述语句归属标识序列。
6.根据权利要求3至5中任一项所述的方法,其中,所述确定所述分词序列的词位置标识序列,包括:
按照语句描述顺序,确定所述待匹配内容和所述搜索文本的多个分词各自的第一词位置标识;
基于预定词位置标识,确定所述属性信息的分词的第二词位置标识;以及
基于多个所述第一词位置标识和所述第二词位置标识,生成所述词位置标识序列。
7.根据权利要求4所述的方法,其中,所述基于多个所述匹配度,从所述多个待匹配内容中确定目标待匹配内容,包括:
对多个所述匹配度进行排序,得到排序结果;以及
基于所述排序结果,从所述多个待匹配内容中确定所述目标待匹配内容。
8.根据权利要求1至7中任一项所述的方法,还包括:
从待匹配网页中确定预定格式的内容,作为所述待匹配内容;以及
对所述待匹配内容进行语义识别,确定所述待匹配内容的属性信息。
9.一种深度学习模型的训练方法,包括:
将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,其中,所述训练数据包括样本搜索文本、样本匹配内容和所述样本匹配内容的样本属性信息,所述训练样本还包括标签,所述标签用于表征所述样本搜索文本与所述样本匹配内容之间的匹配概率;以及
基于所述样本匹配度和所述标签,训练所述深度学习模型。
10.根据权利要求9所述的方法,还包括:
将预训练数据进行掩码处理,得到掩码后数据,其中,所述预训练数据包括预训练样本搜索文本、预训练样本匹配内容和所述预训练样本匹配内容的预训练样本属性信息;
将所述掩码后数据输入至初始深度学习模型中,得到被掩码识别数据;以及
基于所述被掩码识别数据和所述掩码后数据,训练初始深度学习模型,得到所述深度学习模型。
11.根据权利要求9或10所述的方法,其中,所述将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,包括:
对所述训练数据进行分词处理,得到样本分词序列;
确定所述样本分词序列的样本标识序列;
将所述样本分词序列和所述样本标识序列输入至所述深度学习模型中,得到潜在编码;以及
将所述潜在编码输入至分类器中,得到所述样本匹配度。
12.根据权利要求10所述的方法,其中,所述将预训练数据进行掩码处理,得到掩码后数据,包括:
对所述预训练数据进行分词处理,得到预训练样本分词序列;以及
对所述预训练样本分词序列中的第一预训练样本分词和第二预训练样本分词进行掩码,得到所述掩码后样本分词序列,将所述掩码后样本分词序列作为所述掩码后数据,其中,所述第一预训练样本分词包括以下至少一项:所述预训练样本匹配内容中的样本分词和所述预训练样本搜索文本中的样本分词,所述第二预训练样本分词包括所述预训练样本属性信息中的样本分词。
13.根据权利要求12所述的方法,其中,所述将所述掩码后数据输入至初始深度学习模型中,得到被掩码识别数据,包括:
确定所述掩码后样本分词序列的预训练样本标识序列;以及
将所述掩码后样本分词序列和所述预训练样本标识序列输入至所述深度学习模型中,得到所述被掩码识别数据。
14.根据权利要求11所述的方法,其中,所述样本标识序列包括样本语句归属标识序列和样本词位置标识序列;
所述确定所述样本分词序列的样本标识序列,包括:
确定所述样本分词序列的样本语句归属标识序列;以及
确定所述样本分词序列的样本词位置标识序列。
15.根据权利要求14所述的方法,其中,所述确定所述样本分词序列的样本语句归属标识序列,包括:
按照语句归属关系,确定所述样本匹配内容和所述样本搜索文本的多个样本分词各自的样本第一语句归属标识;
基于样本预定语句归属标识,确定所述样本属性信息的样本分词的样本第二语句归属标识;以及
基于多个所述样本第一语句归属标识和所述样本第二语句归属标识,生成所述样本语句归属标识序列。
16.根据权利要求14或15所述的方法,其中,所述确定所述样本分词序列的样本词位置标识序列,包括:
按照语句描述顺序,确定所述样本匹配内容和所述样本搜索文本的多个样本分词各自的样本第一词位置标识;
基于样本预定词位置标识,确定所述样本属性信息的样本分词的样本第二词位置标识;以及
基于多个所述样本第一词位置标识和所述样本第二词位置标识,生成所述样本词位置标识序列。
17.根据权利要求13所述的方法,其中,所述预训练样本标识序列包括预训练样本语句归属标识序列和预训练样本词位置标识序列;
所述确定所述掩码后样本分词序列的预训练样本标识序列,包括:
确定所述掩码后样本分词序列的预训练样本语句归属标识序列;以及
确定所述掩码后样本分词序列的预训练样本词位置标识序列。
18.根据权利要求14所述的方法,其中,所述确定所述掩码后样本分词序列的预训练样本语句归属标识序列,包括:
按照语句归属关系,确定所述预训练样本匹配内容和所述预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一语句归属标识;
基于预训练样本预定语句归属标识,确定所述预训练样本属性信息的预训练样本分词的预训练样本第二语句归属标识;以及
基于多个所述预训练样本第一语句归属标识和所述预训练样本第二语句归属标识,生成所述预训练样本语句归属标识序列。
19.根据权利要求14或15所述的方法,其中,所述确定所述掩码后样本分词序列的预训练样本词位置标识序列,包括:
按照语句描述顺序,确定所述预训练样本匹配内容和所述预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一词位置标识;
基于预训练样本预定词位置标识,确定所述预训练样本属性信息的预训练样本分词的预训练样本第二词位置标识;以及
基于多个所述预训练样本第一词位置标识和所述预训练样本第二词位置标识,生成所述预训练样本词位置标识序列。
20.一种搜索装置,包括:
获取模块,用于获取搜索文本;
第一确定模块,用于基于所述搜索文本、多个待匹配内容和所述多个待匹配内容各自的属性信息,确定所述多个待匹配内容各自与所述搜索文本之间的匹配度;以及
第二确定模块,用于基于多个所述匹配度,从所述多个待匹配内容中确定目标待匹配内容。
21.根据权利要求20所述的装置,其中,所述第一确定模块包括:
分词子模块,用于针对所述多个待匹配内容中的每个待匹配内容,确定所述搜索文本、所述待匹配内容和所述待匹配内容的属性信息各自的分词,得到分词序列;
第一确定子模块,用于确定所述分词序列的标识序列;以及
第二确定子模块,用于基于所述分词序列和所述标识序列,确定所述待匹配内容与所述搜索文本之间的匹配度。
22.根据权利要求21所述的装置,其中,所述标识序列包括语句归属标识序列和词位置标识序列;
所述第一确定子模块包括:
第一确定单元,用于确定所述分词序列的语句归属标识序列;以及
第二确定单元,用于确定所述分词序列的词位置标识序列。
23.根据权利要求22所述的装置,其中,所述第二确定子模块包括:
第三确定单元,用于基于所述分词序列、所述语句归属标识序列和所述词位置标识序列,确定所述待匹配内容与所述搜索文本之间的匹配度。
24.根据权利要求22或23所述的装置,其中,所述第一确定单元包括:
第一确定子单元,用于按照语句归属关系,确定所述待匹配内容和所述搜索文本的多个分词各自的第一语句归属标识;
第二确定子单元,用于基于预定语句归属标识,确定所述属性信息的分词的第二语句归属标识;以及
第三确定子单元,用于基于多个所述第一语句归属标识和所述第二语句归属标识,生成所述语句归属标识序列。
25.根据权利要求22至24中任一项所述的装置,其中,所述第二确定单元包括:
第四确定子单元,用于按照语句描述顺序,确定所述待匹配内容和所述搜索文本的多个分词各自的第一词位置标识;
第五确定子单元,用于基于预定词位置标识,确定所述属性信息的分词的第二词位置标识;以及
第六确定子单元,用于基于多个所述第一词位置标识和所述第二词位置标识,生成所述词位置标识序列。
26.根据权利要求23所述的装置,其中,所述第二确定模块包括:
排序子模块,用于对多个所述匹配度进行排序,得到排序结果;以及
第三确定子模块,用于基于所述排序结果,从所述多个待匹配内容中确定所述目标待匹配内容。
27.根据权利要求20至26中任一项所述的装置,还包括:
第三确定模块,用于从待匹配网页中确定预定格式的内容,作为所述待匹配内容;以及
识别模块,用于对所述待匹配内容进行语义识别,确定所述待匹配内容的属性信息。
28.一种深度学习模型的训练装置,包括:
第一输入模块,用于将训练样本的训练数据输入至深度学习模型中,得到样本匹配度,其中,所述训练数据包括样本搜索文本、样本匹配内容和所述样本匹配内容的样本属性信息,所述训练样本还包括标签,所述标签用于表征所述样本搜索文本与所述样本匹配内容之间的匹配概率;以及
训练模块,用于基于所述样本匹配度和所述标签,训练所述深度学习模型。
29.根据权利要求28所述的装置,还包括:
掩码模块,用于将预训练数据进行掩码处理,得到掩码后数据,其中,所述预训练数据包括预训练样本搜索文本、预训练样本匹配内容和所述预训练样本匹配内容的预训练样本属性信息;
第二输入模块,用于将所述掩码后数据输入至初始深度学习模型中,得到被掩码识别数据;以及
预训练模块,用于基于所述被掩码识别数据和所述掩码后数据,训练初始深度学习模型,得到所述深度学习模型。
30.根据权利要求28或29所述的装置,其中,所述训练模块包括:
第一样本分词子模块,用于对所述训练数据进行分词处理,得到样本分词序列;
第一样本确定子模块,用于确定所述样本分词序列的样本标识序列;
第一样本输入子模块,用于将所述样本分词序列和所述样本标识序列输入至所述深度学习模型中,得到潜在编码;以及
分类子模块,用于将所述潜在编码输入至分类器中,得到所述样本匹配度。
31.根据权利要求28所述的装置,其中,所述掩码模块包括:
第二样本分词子模块,用于对所述预训练数据进行分词处理,得到预训练样本分词序列;以及
掩码子模块,用于对所述预训练样本分词序列中的第一预训练样本分词和第二预训练样本分词进行掩码,得到所述掩码后样本分词序列,将所述掩码后样本分词序列作为所述掩码后数据,其中,所述第一预训练样本分词包括以下至少一项:所述预训练样本匹配内容中的样本分词和所述预训练样本搜索文本中的样本分词,所述第二预训练样本分词包括所述预训练样本属性信息中的样本分词。
32.根据权利要求31所述的装置,其中,所述预训练模块包括:
第二样本确定子模块,用于确定所述掩码后样本分词序列的预训练样本标识序列;以及
第二样本输入子模块,用于将所述掩码后样本分词序列和所述预训练样本标识序列输入至所述深度学习模型中,得到所述被掩码识别数据。
33.根据权利要求30所述的装置,其中,所述样本标识序列包括样本语句归属标识序列和样本词位置标识序列;
所述第一样本确定子模块包括:
第一样本确定单元,用于确定所述样本分词序列的样本语句归属标识序列;以及
第二样本确定单元,用于确定所述样本分词序列的样本词位置标识序列。
34.根据权利要求33所述的装置,其中,所述第一样本确定单元包括:
第一样本确定子单元,用于按照语句归属关系,确定所述样本匹配内容和所述样本搜索文本的多个样本分词各自的样本第一语句归属标识;
第二样本确定子单元,用于基于样本预定语句归属标识,确定所述样本属性信息的样本分词的样本第二语句归属标识;以及
第三样本确定子单元,用于基于多个所述样本第一语句归属标识和所述样本第二语句归属标识,生成所述样本语句归属标识序列。
35.根据权利要求33或34所述的装置,其中,所述第二样本确定单元包括:
第四样本确定子单元,用于按照语句描述顺序,确定所述样本匹配内容和所述样本搜索文本的多个样本分词各自的样本第一词位置标识;
第五样本确定子单元,用于基于样本预定词位置标识,确定所述样本属性信息的样本分词的样本第二词位置标识;以及
第六样本确定子单元,用于基于多个所述样本第一词位置标识和所述样本第二词位置标识,生成所述样本词位置标识序列。
36.根据权利要求32所述的装置,其中,所述预训练样本标识序列包括预训练样本语句归属标识序列和预训练样本词位置标识序列;
所述第二样本确定子模块包括:
第三样本确定单元,用于确定所述掩码后样本分词序列的预训练样本语句归属标识序列;以及
第四样本确定单元,用于确定所述掩码后样本分词序列的预训练样本词位置标识序列。
37.根据权利要求33所述的装置,其中,所述第三样本确定单元包括:
第七样本确定子单元,用于按照语句归属关系,确定所述预训练样本匹配内容和所述预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一语句归属标识;
第八样本确定子单元,用于基于预训练样本预定语句归属标识,确定所述预训练样本属性信息的预训练样本分词的预训练样本第二语句归属标识;以及
第九样本确定子单元,用于基于多个所述预训练样本第一语句归属标识和所述预训练样本第二语句归属标识,生成所述预训练样本语句归属标识序列。
38.根据权利要求33或34所述的装置,其中,所述第四样本确定单元包括:
第十样本确定子单元,用于按照语句描述顺序,确定所述预训练样本匹配内容和所述预训练样本搜索文本的多个预训练样本分词各自的预训练样本第一词位置标识;
第十一样本确定子单元,用于基于预训练样本预定词位置标识,确定所述预训练样本属性信息的预训练样本分词的预训练样本第二词位置标识;以及
第十二样本确定子单元,用于基于多个所述预训练样本第一词位置标识和所述预训练样本第二词位置标识,生成所述预训练样本词位置标识序列。
39.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至19中任一项所述的方法。
40.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至19中任一项所述的方法。
41.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至19中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310371823.4A CN116628315B (zh) | 2023-04-07 | 2023-04-07 | 搜索方法、深度学习模型的训练方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310371823.4A CN116628315B (zh) | 2023-04-07 | 2023-04-07 | 搜索方法、深度学习模型的训练方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116628315A true CN116628315A (zh) | 2023-08-22 |
CN116628315B CN116628315B (zh) | 2024-03-22 |
Family
ID=87612348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310371823.4A Active CN116628315B (zh) | 2023-04-07 | 2023-04-07 | 搜索方法、深度学习模型的训练方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116628315B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309886A (zh) * | 2012-03-13 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种基于交易平台的结构化信息搜索方法和装置 |
CN110472027A (zh) * | 2019-07-18 | 2019-11-19 | 平安科技(深圳)有限公司 | 意图识别方法、设备及计算机可读存储介质 |
CN111506722A (zh) * | 2020-06-16 | 2020-08-07 | 平安科技(深圳)有限公司 | 基于深度学习技术的知识图谱问答方法、装置及设备 |
CN113761887A (zh) * | 2021-04-25 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 基于文本处理的匹配方法、装置、计算机设备和存储介质 |
CN114416930A (zh) * | 2022-02-09 | 2022-04-29 | 上海携旅信息技术有限公司 | 搜索场景下的文本匹配方法、系统、设备及存储介质 |
CN114417862A (zh) * | 2022-01-19 | 2022-04-29 | 北京百度网讯科技有限公司 | 文本匹配方法、文本匹配模型的训练方法和装置 |
CN114676227A (zh) * | 2022-04-06 | 2022-06-28 | 北京百度网讯科技有限公司 | 样本生成方法、模型的训练方法以及检索方法 |
CN114860874A (zh) * | 2022-04-24 | 2022-08-05 | 阿里巴巴(中国)有限公司 | 对象匹配方法、模型训练方法、产品匹配方法和存储介质 |
-
2023
- 2023-04-07 CN CN202310371823.4A patent/CN116628315B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309886A (zh) * | 2012-03-13 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种基于交易平台的结构化信息搜索方法和装置 |
CN110472027A (zh) * | 2019-07-18 | 2019-11-19 | 平安科技(深圳)有限公司 | 意图识别方法、设备及计算机可读存储介质 |
WO2021008015A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技(深圳)有限公司 | 意图识别方法、设备及计算机可读存储介质 |
CN111506722A (zh) * | 2020-06-16 | 2020-08-07 | 平安科技(深圳)有限公司 | 基于深度学习技术的知识图谱问答方法、装置及设备 |
WO2021139283A1 (zh) * | 2020-06-16 | 2021-07-15 | 平安科技(深圳)有限公司 | 基于深度学习技术的知识图谱问答方法、装置及设备 |
CN113761887A (zh) * | 2021-04-25 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 基于文本处理的匹配方法、装置、计算机设备和存储介质 |
CN114417862A (zh) * | 2022-01-19 | 2022-04-29 | 北京百度网讯科技有限公司 | 文本匹配方法、文本匹配模型的训练方法和装置 |
CN114416930A (zh) * | 2022-02-09 | 2022-04-29 | 上海携旅信息技术有限公司 | 搜索场景下的文本匹配方法、系统、设备及存储介质 |
CN114676227A (zh) * | 2022-04-06 | 2022-06-28 | 北京百度网讯科技有限公司 | 样本生成方法、模型的训练方法以及检索方法 |
CN114860874A (zh) * | 2022-04-24 | 2022-08-05 | 阿里巴巴(中国)有限公司 | 对象匹配方法、模型训练方法、产品匹配方法和存储介质 |
Non-Patent Citations (1)
Title |
---|
杨小梅;黎斌;: "海量数据下的特定语义数据检索优化方法研究", 计算机仿真, no. 05, 15 May 2016 (2016-05-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN116628315B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112164391A (zh) | 语句处理方法、装置、电子设备及存储介质 | |
US11741094B2 (en) | Method and system for identifying core product terms | |
CN114549874A (zh) | 多目标图文匹配模型的训练方法、图文检索方法及装置 | |
CN114861889B (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
CN113051380B (zh) | 信息生成方法、装置、电子设备和存储介质 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN112035626A (zh) | 一种大规模意图的快速识别方法、装置和电子设备 | |
CN113010678A (zh) | 分类模型的训练方法、文本分类方法及装置 | |
CN117112595A (zh) | 一种信息查询方法、装置、电子设备及存储介质 | |
CN113609847A (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
CN112560461A (zh) | 新闻线索的生成方法、装置、电子设备及存储介质 | |
CN112528653A (zh) | 短文本实体识别方法和系统 | |
CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
CN112560425B (zh) | 模板生成方法、装置、电子设备及存储介质 | |
CN112699237B (zh) | 标签确定方法、设备和存储介质 | |
CN111538817A (zh) | 人机交互方法和装置 | |
CN117909560A (zh) | 搜索方法、模型的训练方法、装置、设备、介质及程序产品 | |
CN113435523A (zh) | 预测内容点击率的方法、装置、电子设备以及存储介质 | |
CN116628315B (zh) | 搜索方法、深度学习模型的训练方法、装置及电子设备 | |
CN114201622B (zh) | 获取事件信息的方法、装置、电子设备和存储介质 | |
CN112784600B (zh) | 信息排序方法、装置、电子设备和存储介质 | |
CN114218431A (zh) | 视频搜索方法、装置、电子设备以及存储介质 | |
CN115878784B (zh) | 基于自然语言理解的摘要生成方法、装置及电子设备 | |
CN113377921B (zh) | 用于匹配信息的方法、装置、电子设备以及介质 | |
CN113377922B (zh) | 用于匹配信息的方法、装置、电子设备以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |