CN111414452B - 搜索词匹配方法、装置、电子设备及可读存储介质 - Google Patents
搜索词匹配方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111414452B CN111414452B CN202010134331.XA CN202010134331A CN111414452B CN 111414452 B CN111414452 B CN 111414452B CN 202010134331 A CN202010134331 A CN 202010134331A CN 111414452 B CN111414452 B CN 111414452B
- Authority
- CN
- China
- Prior art keywords
- search
- search word
- tag
- word
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 71
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000003796 beauty Effects 0.000 description 14
- 230000008520 organization Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种人工智能技术,揭露了一种搜索词匹配方法,包括:对原始搜索词进行分词操作及添加属性标签得到标签搜索词,计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重,将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集,根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。本发明还提出一种搜索词匹配装置、电子设备以及一种计算机可读存储介质。本发明可以实现更准确的搜索词匹配方法。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种搜索词匹配的方法、装置、电子设备及可读存储介质。
背景技术
随着大数据的应用和发展,如何通过搜索词从庞大的数据中匹配到相似且准确的数据具有广阔应用前景。例如,用户在填写发票信息时,需要在发票系统中填入公司名称以及税号,在用户填写公司名称的过程中,发票系统会以用户输入的字词作为关键字,自动搜索并弹出最近似的公司名称供用户选择为用户提供方便,也能一定程度的避免用户填写错误的公司名称。
目前多数的搜索词匹配方法多基于距离匹配方法,如构建坐标系,通过在坐标系的距离判断相似度,进而得到匹配结果。这种方法没有对公司名称的组成部分进行区别对待,因为公司名称的组成中,属性的重要性是不同的,比如、“同芙深圳医疗美容控股有限公司”、“同芙集团中国医疗美容股份有限公司”、以及“芙蓉深圳医疗美容控股有限公司”三个公司名称中,按照基于距离匹配方法,“同芙深圳医疗美容控股有限公司”以及“芙蓉深圳医疗美容控股有限公司”可以认为是相近的,因为两个公司名称的区域(深圳)相同,领域(医疗美容)结尾词(控股有限公司)相同,只有机构名称(同芙、芙蓉)不同,但是,事实上,这两个公司却是完全不相同的公司,而“同芙深圳医疗美容控股有限公司”与“同芙集团中国医疗美容股份有限公司”却是相同的公司,因此,距离匹配方法虽然可以达到匹配的目的,但是匹配结果并不准确。
发明内容
本发明提供一种搜索词匹配方法、装置、电子设备及计算机可读存储介质,其主要目的在于提供一种基于更加准确的搜索词匹配方法。
为实现上述目的,本发明提供的一种搜索词匹配方法,包括:
对原始搜索词进行分词操作得到一组或多组初级搜索词;
对所述初级搜索词添加属性标签得到标签搜索词;
计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重;
将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集;
根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
可选地,所述将所述标签搜索词进行词向量转化得到标签搜索词向量,包括:
构建搜索词矩阵并根据预设填充规则,将所述标签搜索词填充至所述搜索词矩阵;
对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量。
可选地,所述对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量,包括:
根据填充完成的所述搜索词矩阵,建立前向概率模型和后向概率模型;
将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量。
可选地,所述前向概率模型为:
所述后向概率模型为:
其中,s表示所述搜索词矩阵的矩阵行数,v1,..vk-1,vs表示所述搜索词矩阵的行向量。
可选地,所述将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量,包括:
采用下述方式对所述前向概率模型及所述后向概率模型相加并求导:
其中,mword表示所述标签搜索词向量,max表示最优化所述前向概率模型及所述后向概率模型,表示求偏导。
可选地,所述对原始搜索词进行分词操作得到一组或多组初级搜索词,包括:
去除所述原始搜索词中的停用词,并使用排列组合的划分原理对所述原始搜索词进行划分得到搜索词词集;
根据预构建的词表从所述搜索词词集中提取搜索词得到一组或多组初级搜索词。
可选地,所述计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,包括:
统计所述标签搜索词在所述搜索词数据库中的搜索次数;
统计所述搜索词数据库的总搜索次数;
将所述搜索次数与所述总搜索次数相除得到所述搜索频率。
为了解决上述问题,本发明还提供一种搜索词匹配装置,所述装置包括:
标签搜索词计算模块,用于对原始搜索词进行分词操作得到一组或多组初级搜索词,对所述初级搜索词添加属性标签得到标签搜索词。
属性权重计算模块,用于计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重。
相似度计算模块,用于将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集。
搜索结果反馈模块,用于根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述中任意一项所述的搜索词匹配方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述中任意一项所述的搜索词匹配方法。
本发明对原始搜索词进行分词操作得到一组或多组初级搜索词,对所述初级搜索词添加属性标签得到标签搜索词,由于属性标签的添加,赋予了不同属性标签的搜索词不同的权重,提高了在搜索过程的不同搜索词的重要性,根据搜索频率及属性权重,计算标签搜索词向量与搜索词数据库内每个搜索词向量的相似度得到相似度集,整个计算过程仅仅涉及到搜索频率及属性权重,且不使用距离判断法,因此计算简便、效率更高。因此本发明提出的搜索词匹配方法、装置、电子设备及计算机可读存储介质,可以实现更准确的搜索词匹配方法。
附图说明
图1为本发明一实施例提供的搜索词匹配方法的流程示意图;
图2为本发明一实施例提供的搜索词匹配方法的模块示意图;
图3为本发明一实施例提供的搜索词匹配方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种搜索词匹配方法。参照图1所示,为本发明一实施例提供的搜索词匹配方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,搜索词匹配方法包括:
S1、获取原始搜索词,对所述原始搜索词进行分词操作得到一组或多组初级搜索词。
所述原始搜索词是指用户在搜索时最初输入到搜索引擎中的内容。
详细地,所述对所述原始搜索词进行分词操作得到一组或多组初级搜索词,包括:去除所述原始搜索词中的停用词,并使用排列组合的划分原理对所述原始搜索词进行划分得到搜索词词集,根据预构建的词表从所述搜索词词集中提取搜索词得到一组或多组初级搜索词。
如所述原始搜索词为“同芙集团深圳医疗美容股份有限公司”,本发明实施方式判断“同芙集团深圳医疗美容股份有限公司”没有停用词后,利用排列组合原理将“同芙集团深圳医疗美容股份有限公司”进行划分可得到包括“同”、“芙”“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词。本发明实施例汇集所述“同”、“芙”“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词得到搜索词词集。进一步地,本发明实施例判断包括“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词在预构建的词表中出现,将这些搜索词忽略,而“同芙”、“同”、“芙”等在所述词表中未出现,则从所述搜索词词集提取“同芙”、“同”、“芙”等搜索词,将所述提取出来的搜索词组成一组或多组初级搜索词,如本发明实施例中,可以将“同芙”为第一组初级搜索词、“同”为第二组初级搜索词、“芙”为第三组初级搜索词等。
S2、对所述初级搜索词添加属性标签得到标签搜索词。
详细地,所述S2包括:提取所述初级搜索词的属性标签,将所述属性标签及所述初级搜索词以字典形式组合得到标签搜索词。
如上述“同芙”、“同”、“芙”是初级搜索词,本发明实施例对“同芙”、“同”、“芙”的词语添加属性标签。
所述属性可以是所述词语的词性,例如,名词、动词、副词等,如“同”,为副词属性,则“芙”为名词属性,且以字典形式、属性标签为key值得到{名称属性:智}的标签搜索词。
进一步地,本发明较佳实施例中,所述属性也可以是所述词语的使用用途,如所述词语用于机构名称、地域名称、结尾词等。例如,若初级搜索词为“同芙”、“深圳”、“股份有限公司”,则“同芙”的属性标签为机构名称、“深圳”的属性标签为地域名称、“股份有限公司”的属性标签为结尾词,以字典形式、属性标签为key值得到{(机构名称:同芙)、(地域名称:深圳)、(结尾词:股份有限公司)}的标签搜索词。
S3、计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重。
详细地,所述计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,包括:统计所述标签搜索词在所述搜索词数据库中的搜索次数,统计所述搜索词数据库的总搜索次数,将所述搜索次数除以所述总搜索次数得到搜索频率。
所述搜索词数据库包括S1中提到的数据存储库或服务器存储系统,如包括“同芙”的标签搜索词,寻找“同芙”在所述搜索词数据库的搜索次数为1200次,而整个搜索词数据库的总搜索次数为19000000次,将“同芙”的搜索次数1200除以搜索词数据库的总搜索次数19000000得到搜索频率。
进一步地,所述根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重包括如将上述机构名称属性赋予属性权重a、地域名称赋予属性权重b、结尾词属性赋予属性权重c等。本发明实施例中可以设置机构名称的属性权重a大于所述地域名称的属性权重b,以及所述地域名称的属性权值b大于所述结尾词属性权重c。
S4、将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集。
所述词向量化转化是将所述标签搜索词用矩阵向量表示,进而方便计算机进行相似度计算。
详细地,所述将所述标签搜索词进行词向量转化得到标签搜索词向量,包括:构建搜索词矩阵,根据预设填充规则,将所述标签搜索词填充至所述搜索词矩阵,对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量。
标签搜索词包括{(机构名称:同芙)、(地域名称:深圳)、(结尾词:股份有限公司)}等共15个标签搜索词,其中最长的标签搜索词是{结尾词:股份有限公司}共12个字符,则可构建15*12的搜索词矩阵,其中搜索词矩阵每一行即代表一个标签搜索词,如{机构名称:同芙}在搜索词矩阵的位置为第一行,{结尾词:股份有限公司}在搜索词矩阵的位置为第13行。
进一步地,假设搜索词矩阵的维度为s*n,则所述编码压缩是将所述s*n搜索词矩阵缩短为维度更小更容易计算的矩阵,即称为标签搜索词向量。
详细地,所述对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量,包括:根据填充完成的所述搜索词矩阵,建立前向概率模型和后向概率模型,将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量。
进一步地,所述前向概率模型及所述后向概率模型分别为:
其中,pf表示所述前向概率模型,pl表示所述后向概率模型,s表示所述搜索词矩阵的矩阵行数,v1,..vk-1,vs表示所述搜索词矩阵的行向量。
详细地,将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量如下:
其中,mword表示所述标签搜索词向量,max表示最优化所述前向概率模型及所述后向概率模型,表示求偏导。
如上述赵涛准备注册公司的搜索词矩阵为15*12,经过S4处理后得到的标签搜索词向量为7*3,缩减了矩阵维度,方便计算和后续的搜索词匹配。
详细地,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度的计算方法为:
其中,mi表示所述搜索词数据库内每个搜索词向量,sim(mword,mi)表示标签搜索词向量与mi的相似度,n为所述所述搜索词数据库的搜索词向量总数,Fword表示所述mword的搜索频率,wword表示所述所述mword的属性权重。
进一步地,如“专利”的标签搜索词与所述搜索词数据库内其中一个搜索词向量的相似度为0.13,同时“专利”为名称属性,则与赋予属性权重c相乘得到0.13c。
S5、根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
如图2所示,是本发明搜索词匹配装置的功能模块图。
本发明所述搜索词匹配装置100可以安装于电子设备中。根据实现的功能,所述搜索词匹配装置100可以包括标签搜索词计算模块101、属性权重计算模块102、相似度计算模块103和搜索结果反馈模块104。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述标签搜索词计算模块101,用于对原始搜索词进行分词操作得到一组或多组初级搜索词,对所述初级搜索词添加属性标签得到标签搜索词。
所述属性权重计算模块102,用于计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重。
所述相似度计算模块103,用于将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集。
所述搜索结果反馈模块104,用于根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
详细地,所述搜索词匹配装置各模块在被一个电子设备的处理器所执行时,可以实现下述方法步骤:
所述标签搜索词计算模块101获取原始搜索词,对所述原始搜索词进行分词操作得到一组或多组初级搜索词,对所述初级搜索词添加属性标签得到标签搜索词。
所述原始搜索词是指用户在搜索时最初输入到搜索引擎中的内容。
详细地,所述对所述原始搜索词进行分词操作得到一组或多组初级搜索词,包括:去除所述原始搜索词中的停用词,并使用排列组合的划分原理对所述原始搜索词进行划分得到搜索词词集,根据预构建的词表从所述搜索词词集中提取搜索词得到一组或多组初级搜索词。
如所述原始搜索词为“同芙集团深圳医疗美容股份有限公司”,本发明实施方式判断“同芙集团深圳医疗美容股份有限公司”没有停用词后,利用排列组合原理将“同芙集团深圳医疗美容股份有限公司”进行划分可得到包括“同”、“芙”“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词。本发明实施例汇集所述“同”、“芙”“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词得到搜索词词集。进一步地,本发明实施例判断包括“同芙”、“集团”、“深圳”、“医疗”、“美容”、“医疗美容”、“股份”、“有限”、“公司”、“有限公司”、“股份有限公司”等搜索词在预构建的词表中出现,将这些搜索词忽略,而“同芙”、“同”、“芙”等在所述词表中未出现,则从所述搜索词词集提取“同芙”、“同”、“芙”等搜索词,将所述提取出来的搜索词组成一组或多组初级搜索词,如本发明实施例中,可以将“同芙”为第一组初级搜索词、“同”为第二组初级搜索词、“芙”为第三组初级搜索词等。
所述属性权重计算模块102计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重。
详细地,所述计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,包括:统计所述标签搜索词在所述搜索词数据库中的搜索次数,统计所述搜索词数据库的总搜索次数,将所述搜索次数除以所述总搜索次数得到搜索频率。
如上述“同芙”、“同”、“芙”是初级搜索词,本发明实施例对“同芙”、“同”、“芙”的词语添加属性标签。
所述属性可以是所述词语的词性,例如,名词、动词、副词等,如“同”,为副词属性,则“芙”为名词属性,且以字典形式、属性标签为key值得到{名称属性:智}的标签搜索词。
进一步地,本发明较佳实施例中,所述属性也可以是所述词语的使用用途,如所述词语用于机构名称、地域名称、结尾词等。例如,若初级搜索词为“同芙”、“深圳”、“股份有限公司”,则“同芙”的属性标签为机构名称、“深圳”的属性标签为地域名称、“股份有限公司”的属性标签为结尾词,以字典形式、属性标签为key值得到{(机构名称:同芙)、(地域名称:深圳)、(结尾词:股份有限公司)}的标签搜索词。
所述相似度计算模块103将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集。
详细地,所述计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,包括:统计所述标签搜索词在所述搜索词数据库中的搜索次数,统计所述搜索词数据库的总搜索次数,将所述搜索次数除以所述总搜索次数得到搜索频率。
所述搜索词数据库数据存储库或服务器存储系统,如包括“同芙”的标签搜索词,寻找“同芙”在所述搜索词数据库的搜索次数为1200次,而整个搜索词数据库的总搜索次数为19000000次,将“同芙”的搜索次数1200除以搜索词数据库的总搜索次数19000000得到搜索频率。
进一步地,所述根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重包括如将上述机构名称属性赋予属性权重a、地域名称赋予属性权重b、结尾词属性赋予属性权重c等。本发明实施例中可以设置机构名称的属性权重a大于所述地域名称的属性权重b,以及所述地域名称的属性权值b大于所述结尾词属性权重c。
所述搜索结果反馈模块104、根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
如图3所示,是本发明实现搜索词匹配方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如搜索词匹配程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如搜索词匹配程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行搜索词匹配程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的搜索词匹配程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
对原始搜索词进行分词操作得到一组或多组初级搜索词。
对所述初级搜索词添加属性标签得到标签搜索词。
计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重。
将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集。
根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
具体地,所述处理器10对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (6)
1.一种搜索词匹配方法,其特征在于,所述方法包括:
对原始搜索词进行分词操作得到一组或多组初级搜索词;
对所述初级搜索词添加属性标签得到标签搜索词;
计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重;
将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集;
根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果;
其中,所述将所述标签搜索词进行词向量转化得到标签搜索词向量,包括:构建搜索词矩阵并根据预设填充规则,将所述标签搜索词填充至所述搜索词矩阵;对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量;
所述对填充完成的所述搜索词矩阵进行编码压缩得到标签搜索词向量,包括:根据填充完成的所述搜索词矩阵,建立前向概率模型和后向概率模型;将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量;
所述前向概率模型为:
)
所述后向概率模型为:
)
其中,表示所述搜索词矩阵的矩阵行数,表示所述搜索词矩阵的行向量;
所述将所述前向概率模型及所述后向概率模型相加并求导得到标签搜索词向量,包括:采用下述方式对所述前向概率模型及所述后向概率模型相加并求导:
其中,表示所述标签搜索词向量,表示最优化所述前向概率模型及所述后向概率模型,表示求偏导。
2.如权利要求1所述的搜索词匹配方法,其特征在于,所述对原始搜索词进行分词操作得到一组或多组初级搜索词,包括:
去除所述原始搜索词中的停用词,并使用排列组合的划分原理对所述原始搜索词进行划分得到搜索词词集;
根据预构建的词表从所述搜索词词集中提取搜索词得到一组或多组初级搜索词。
3.如权利要求1所述的搜索词匹配方法,其特征在于,所述计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,包括:
统计所述标签搜索词在所述搜索词数据库中的搜索次数;
统计所述搜索词数据库的总搜索次数;
将所述搜索次数与所述总搜索次数相除得到所述搜索频率。
4.一种搜索词匹配装置,用于实现如权利要求1至3中任一项所述的搜索词匹配方法,其特征在于,所述装置包括:
标签搜索词计算模块,用于对原始搜索词进行分词操作得到一组或多组初级搜索词,对所述初级搜索词添加属性标签得到标签搜索词;
属性权重计算模块,用于计算所述标签搜索词在预构建的搜索词数据库中的搜索频率,根据所述标签搜索词的属性标签计算所述标签搜索词的属性权重;
相似度计算模块,用于将所述标签搜索词进行词向量转化得到标签搜索词向量,根据所述搜索频率及所述属性权重,计算所述标签搜索词向量与所述搜索词数据库内每个搜索词向量的相似度得到相似度集;
搜索结果反馈模块,用于根据所述相似度集,从所述搜索词数据库中选择满足预设相似度条件的搜索结果。
5.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至3中任一项所述的搜索词匹配方法。
6.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的搜索词匹配方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134331.XA CN111414452B (zh) | 2020-02-29 | 2020-02-29 | 搜索词匹配方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134331.XA CN111414452B (zh) | 2020-02-29 | 2020-02-29 | 搜索词匹配方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414452A CN111414452A (zh) | 2020-07-14 |
CN111414452B true CN111414452B (zh) | 2024-07-02 |
Family
ID=71494093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010134331.XA Active CN111414452B (zh) | 2020-02-29 | 2020-02-29 | 搜索词匹配方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414452B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988980B (zh) * | 2021-05-12 | 2021-07-30 | 太平金融科技服务(上海)有限公司 | 目标产品查询方法、装置、计算机设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975459A (zh) * | 2016-05-24 | 2016-09-28 | 北京奇艺世纪科技有限公司 | 一种词项的权重标注方法和装置 |
CN106919649A (zh) * | 2017-01-19 | 2017-07-04 | 北京奇艺世纪科技有限公司 | 一种词条权重计算的方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10372739B2 (en) * | 2014-03-17 | 2019-08-06 | NLPCore LLC | Corpus search systems and methods |
CN109933795B (zh) * | 2019-03-19 | 2023-07-28 | 上海交通大学 | 基于上下文-情感词向量的文本情感分析系统 |
CN110298035B (zh) * | 2019-06-04 | 2023-12-01 | 平安科技(深圳)有限公司 | 基于人工智能的字向量定义方法、装置、设备及存储介质 |
-
2020
- 2020-02-29 CN CN202010134331.XA patent/CN111414452B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975459A (zh) * | 2016-05-24 | 2016-09-28 | 北京奇艺世纪科技有限公司 | 一种词项的权重标注方法和装置 |
CN106919649A (zh) * | 2017-01-19 | 2017-07-04 | 北京奇艺世纪科技有限公司 | 一种词条权重计算的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111414452A (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112667800A (zh) | 关键词生成方法、装置、电子设备及计算机存储介质 | |
CN113157927B (zh) | 文本分类方法、装置、电子设备及可读存储介质 | |
CN112541338A (zh) | 相似文本匹配方法、装置、电子设备及计算机存储介质 | |
CN111639153A (zh) | 基于法律知识图谱的查询方法、装置、电子设备及介质 | |
CN113821622B (zh) | 基于人工智能的答案检索方法、装置、电子设备及介质 | |
CN113378970B (zh) | 语句相似性检测方法、装置、电子设备及存储介质 | |
CN114979120B (zh) | 数据上传方法、装置、设备及存储介质 | |
CN113157739B (zh) | 跨模态检索方法、装置、电子设备及存储介质 | |
CN112507663A (zh) | 基于文本的判断题生成方法、装置、电子设备及存储介质 | |
CN113868528A (zh) | 资讯推荐方法、装置、电子设备及可读存储介质 | |
CN112733551A (zh) | 文本分析方法、装置、电子设备及可读存储介质 | |
CN113887941A (zh) | 业务流程生成方法、装置、电子设备及介质 | |
CN114138243B (zh) | 基于开发平台的功能调用方法、装置、设备及存储介质 | |
CN113344125B (zh) | 长文本匹配识别方法、装置、电子设备及存储介质 | |
CN113420542B (zh) | 对话生成方法、装置、电子设备及存储介质 | |
CN111414452B (zh) | 搜索词匹配方法、装置、电子设备及可读存储介质 | |
CN113486238A (zh) | 基于用户画像的信息推送方法、装置、设备及存储介质 | |
CN113343102A (zh) | 基于特征筛选的数据推荐方法、装置、电子设备及介质 | |
CN115409041B (zh) | 一种非结构化数据提取方法、装置、设备及存储介质 | |
CN116578696A (zh) | 文本摘要生成方法、装置、设备及存储介质 | |
CN116521867A (zh) | 文本聚类方法、装置、电子设备及存储介质 | |
CN116468025A (zh) | 电子病历结构化方法、装置、电子设备及存储介质 | |
CN116720525A (zh) | 基于问诊数据的疾病辅助分析方法、装置、设备及介质 | |
CN113723114A (zh) | 基于多意图识别的语义分析方法、装置、设备及存储介质 | |
CN114610854A (zh) | 智能问答方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |