CN112749542A - 一种商品名称匹配方法、系统、设备及存储介质 - Google Patents
一种商品名称匹配方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112749542A CN112749542A CN202110067464.4A CN202110067464A CN112749542A CN 112749542 A CN112749542 A CN 112749542A CN 202110067464 A CN202110067464 A CN 202110067464A CN 112749542 A CN112749542 A CN 112749542A
- Authority
- CN
- China
- Prior art keywords
- similarity
- matched
- texts
- text
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 239000000047 product Substances 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000000839 emulsion Substances 0.000 description 6
- 244000000188 Vaccinium ovalifolium Species 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 210000002966 serum Anatomy 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009193 crawling Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种商品名称匹配方法、系统、设备及存储介质，方法包括：对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个待匹配文本相对应的词集合，基于两个待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法进行相似度计算，得到两个待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个待匹配文本进行相似度计算，得到两个待匹配文本的第三相似度，基于第一相似度、第二相似度及第三相似度，计算得到两个待匹配文本的目标相似度，根据目标相似度和预设阈值，匹配两个待匹配文本。该方法综合了多种文本相似度计算方法，提高了商品名称匹配的准确性，避免使用单一文本相似度计算方法的局限性。
Description
技术领域
本发明涉及文本处理技术领域，特别涉及一种商品名称匹配方法、系统、设备及存储介质。
背景技术
在执行爬虫任务过程中，通常在不同媒体平台上输入一个商品名称从而爬取到与商品名称相对应的商品信息，但由于不同媒体平台上不一定全使用统一的标准商品名称，在爬取过程中会存在商品名称关联匹配不准确问题。
目前，现有技术中为解决商品名称关联匹配不准确的问题，通常采用最长公共字符串算法、或余弦相似度算法或最小编辑距离算法等进行待匹配文本间的相似度计算，从而匹配待匹配文本中的商品名称是否一致。
但就现有技术而言，采用最长公共字符串算法进行相似度计算时，在处理商品名称时会存在商品名称中某两个形容词顺序调换的情况，使得计算的相似度不准确，从而会使得文本中商品名称匹配不准确；采用余弦相似度算法进行相似度计算时，过度依赖于分词，从而也会使得文本中商品名称匹配不准确。
发明内容
为解决现有技术中商品名称匹配的准确性低的技术问题，本发明提供了一种商品名称匹配方法，综合了多种文本相似度计算方法，提高了商品名称匹配的准确性，避免了使用单一文本相似度计算方法的局限性。
本发明提供了一种商品名称匹配方法，包括如下步骤：
文本分词步骤，对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合；
文本相似度计算步骤，基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度；
文本匹配步骤，基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
上述的商品名称匹配方法，其中，还包括：
文本预处理步骤，基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。
上述的商品名称匹配方法，其中，所述文本预处理步骤中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
上述的商品名称匹配方法，其中，所述文本匹配步骤中所述目标相似度的计算方法，具体包括：
分别对所述第一相似度赋予第一权值、对所述第二相似度赋予第二权值及对所述第三相似度赋予第三权值；
基于所述第一相似度、所述第一权值、所述第二相似度、所述第二权值、所述第三相似度及所述第三权值，采用加权平均法计算得到两个所述待匹配文本的目标相似度。
上述的商品名称匹配方法，其中，所述文本匹配步骤中匹配两个所述待匹配文本的方法，具体包括：
比较所述目标相似度和预设阈值；
当所述目标相似度大于等于所述预设阈值时，则两个所述待匹配文本匹配成功；
当所述目标相似度小于所述预设阈值时，则两个所述待匹配文本匹配失败。
本发明还提供一种商品名称匹配系统，包括：
文本分词单元，用于对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合；
文本相似度计算单元，用于基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度；
文本匹配单元，用于基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
上述的商品名称匹配系统，其中，还包括：
文本预处理单元，用于基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。
上述的商品名称匹配系统，其中，所述文本预处理单元中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的商品名称匹配方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的商品名称匹配方法。
本发明的技术效果或优点：
本发明提供的一种商品名称匹配方法，对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个待匹配文本相对应的词集合，基于两个待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个待匹配文本的词集合进行相似度计算，得到两个待匹配文本的第一相似度和第二相似度，采用Sequence Matcher算法对两个待匹配文本进行相似度计算，得到两个待匹配文本的第三相似度，基于第一相似度、第二相似度及第三相似度，计算得到两个待匹配文本的目标相似度，根据目标相似度和预设阈值，匹配两个待匹配文本。通过上述方式，该方法综合了多种文本相似度计算方法，提高了商品名称匹配的准确性，避免了使用单一文本相似度计算方法的局限性。
附图说明
图1为本发明实施例提供的一个商品名称匹配方法的流程图；
图2为本发明实施例提供的一个商品名称匹配系统的结构示意图；
图3为本发明实施例提供的一个电子设备的框架图；
以上图中：
1、文本预处理单元；2、文本分词单元；3、文本相似度计算单元；4、文本匹配单元；
10、总线；11、处理器；12、存储器；13、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。
本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
为解决现有技术中商品名称匹配的准确性低的技术问题，本发明提供了一种商品名称匹配方法，综合多种文本相似度计算方法，提高了商品名称匹配的准确性，避免使用单一文本相似度计算方法的局限性。
下面结合具体实施例及说明书附图，对本发明的技术方案作详细说明。
本实施例提供一种商品名称匹配方法，包括如下步骤：
文本分词步骤，对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合；
文本相似度计算步骤，基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度；
文本匹配步骤，基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
本实施例提供的一种商品名称匹配方法，综合了多种文本相似度计算方法，提高了商品名称匹配的准确性，避免了使用单一文本相似度计算方法的局限性。
下面具体介绍一下本实施例所使用的文本相似度计算方法，具体如下：
(1)余弦相似度算法
余弦相似度算法是通过测量两个向量之间的角余弦值来度量两个向量之间的相似度。通常将文本进行分词，将词频作为特征权重计算夹角余弦值。
作为一个示例，具体介绍一下余弦相似度算法的应用，具体如下：
譬如两个文本为“小明数学好”和“小明数学不好”，对“小明数学好”进行分词后，得到[‘小明’，‘数学’，‘好’]，其相应的词频向量为[1，1，1，0]，对“小明数学不好”进行分词后，得到[‘小明’，‘数学’，‘不好’]，其相应的词频向量为[1，1，0，1]，基于两个词向量，计算两个词向量的夹角余弦值：
其中，采用余弦相似度算法计算得到的余弦值越大，代表两个向量之间相似度越高。
(2)最小编辑距离算法
最小编辑距离算法是将一个字符串转化为另一个字符串所需要的最小编辑(增加字符、删除字符及替换字符等操作)次数。
作为一个示例，具体介绍一下最小编辑距离算法的应用，具体如下：
譬如两个文本为“小明数学好”和“小明英语不好”，其中，将字符串“小明数学好”中的“数”替换成“英”，将“学”替换成“语”，并增加“不”。基于所修改的字符串，计算两个文本之间的相似度：
其中，d表示增加、删除及替换字符等操作的次数；min(n,m)表示两个字符串中包含字符最少的文本的字符个数。
其中，采用最小编辑距离算法计算得到的编辑距离越小，代表两个字符串的相似度越高。
(3)Sequence Matcher算法
Sequence Matcher算法是基于python diffib模块比较两个文本之间的距离。其通过ratio返回相同文本片段占两个文本中较短文本长度的比值，从而得到两个文本的相似度。其中，采用Sequence Matcher算法计算得到的比值越大，代表两个文本的相似度越高。
具体地说，参考图1，图1为本发明实施例提供的一个商品名称匹配方法的流程图。本实施例提供了一种商品名称匹配方法，包括如下步骤：
文本预处理步骤S1，基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。
在本实施例中，所述文本预处理步骤S1中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
在具体应用中，在计算文本相似度之前为减少干扰信息，对包含商品描述的两个待匹配文本进行统一格式的预处理，得到两个预处理待匹配文本。
文本分词步骤S2，对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合。
在本实施例中，文本分词步骤S2是基于文本预处理步骤S1得到的两个预处理待匹配文本进行的分词处理，从而分别得到两个待匹配文本相对应的词集合。
文本相似度计算步骤S3，基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度。
在具体应用中，本实施例中两个待匹配文本的词集合，是对包含商品名称描述的两个预处理待匹配文本进行分词处理后，所得到的两个待匹配文本相对应的词集合。基于两个待匹配文本的词集合，采用最小编辑距离算法对两个文本字符串进行增加字符、删除字符及替换字符等操作，根据操作次数及两个待匹配文本中包含的字符的个数，对两个待匹配文本的相似度进行计算，从而得到第一相似度；基于两个待匹配文本的词集合，采用余弦相似度算法计算两个词集合的夹角余弦值，从而得到第二相似度；根据文本预处理步骤S1后得到的两个预处理待匹配文本，基于python diffib模块比较两个预处理待匹配文本之间的距离，从而得到第三相似度。
文本匹配步骤S4，基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
在本实施例中，所述文本匹配步骤S4中所述目标相似度的计算方法，具体包括：
分别对所述第一相似度赋予第一权值、对所述第二相似度赋予第二权值及对所述第三相似度赋予第三权值；
基于所述第一相似度、所述第一权值、所述第二相似度、所述第二权值、所述第三相似度及所述第三权值，采用加权平均法计算得到两个所述待匹配文本的目标相似度。
在具体应用中，第一权值、第二权值及第三权值可根据商品名称文本的描述性词汇多的特性，对第一相似度、第二相似度及第三相似度进行权值的分配。
在本实施例中，所述文本匹配步骤S4中匹配两个所述待匹配文本的方法，具体包括：
比较所述目标相似度和预设阈值；
当所述目标相似度大于等于所述预设阈值时，则两个所述待匹配文本匹配成功；
当所述目标相似度小于所述预设阈值时，则两个所述待匹配文本匹配失败。
在具体应用中，预设阈值可根据实际需要进行选择，本实施例中根据实际需要所选择的预设阈值为0.75。在本实施例中，由于两个待匹配文本中分别包含对商品名称描述，当两个待匹配文本匹配成功时，则表示两个待匹配文本属于对同一商品进行的描述。
本实施例提供的一种商品名称匹配方法，该方法综合了最小编辑距离算法、余弦相似度算法及Sequence Matcher算法，分别计算两个待匹配文本的相似度，通过加权平均法对多个相似度进行计算，得到了两个待匹配文本的目标相似度，提高了商品名称匹配的准确性，避免了使用单一文本相似度计算方法的局限性。
作为一个示例，下面具体介绍一下商品名称匹配的过程，具体如下：
譬如两个待匹配的文本分别如下：
待匹配文本1：法国HKH男士护肤品套装控油补水保湿收缩毛孔水乳精华液
待匹配文本2：法国HKH男士护肤品4件套保湿收缩毛孔水乳精华液控油补水提亮暗沉
基于预设规则，对待匹配文本1和待匹配文本2进行与预处理，得到两个预处理待匹配文本，分别如下：
预处理待匹配文本1：法国HKH男士护肤品套装控油补水保湿收缩毛孔水乳精华液
预处理待匹配文本2：法国HKH男士护肤品4件套保湿收缩毛孔水乳精华液控油补水提亮暗沉
对预处理待匹配文本1和预处理待匹配文本2进行分词处理，得到两个待匹配文本相对应的词集合，分别如下：
待匹配文本1的词集合：['法国'，'hkh'，'男士'，'护肤品'，'套装'，'控油'，'补水'，'保湿'，'收缩'，'毛孔'，'水乳'，'精华液']
待匹配文本2的词集合：['法国'，'hkh'，'男士'，'护肤品'，'4'，'件套'，'保湿'，'收缩'，'毛孔'，'水乳'，'精华液'，'控油'，'补水'，'提亮'，'暗沉']
基于待匹配文本1的词集合和预处理待匹配文本2的词集合，采用最小编辑距离算法计算待匹配文本1和待匹配文本2的词集合的相似度，从而得到待匹配文本1和待匹配文本2的第一相似度：P1＝0.53；基于待匹配文本1的词集合和预处理待匹配文本2的词集合，采用余弦相似度算法计算预处理待匹配文本1和预处理待匹配文本2的词集合的相似度，从而得到待匹配文本1和待匹配文本2的第二相似度：P2＝0.82；采用Sequence Matcher算法计算预处理待匹配文本1和预处理待匹配文本2的相似度，从而得到待匹配文本1和待匹配文本2的第三相似度：P3＝0.76。
对第一相似度赋予第一权值0.1，对第二相似度赋予第二权值0.5及对第三相似度赋予第三权值0.4，采用加权平均法计算第一相似度、第一权值、第二相似度、第二权值、第三相似度及第三权值，从而得到两个待匹配文本的目标相似度：P＝0.1*P1+0.5*P2+0.4*P3＝0.76。
比较得到的目标相似度P和预设阈值，其中目标相似度P大于预设阈值0.75，则两个待匹配文本匹配成功，即两个待匹配文本属于对同一商品进行的描述
本发明实施例还提供一种商品名称匹配系统，参考图2，商品名称匹配系统包括文本预处理单元1、文本分词单元2、文本相似度计算单元3及文本匹配单元4，其中，文本预处理单元1与文本分词单元2相连接，文本分词单元2与文本相似度计算单元3相连接，文本相似度计算单元3与文本匹配单元4相连接。
其中，在本实施例中，文本预处理单元1，用于基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。文本预处理单元1将得到的两个预处理待匹配文本发送至文本分词单元2和文本相似度计算单元3。
在本实施例中，文本预处理单元1中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
文本分词单元2，用于对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合。文本分词单元2将得到的两个待匹配文本的词集合发送至文本相似度计算单元3。
文本相似度计算单元3，用于基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度。文本相似度计算单元3用于将第一相似度、第二相似度及第三相似度发送至文本匹配单元4。
文本匹配单元4，用于基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
本实施例提供的一种商品名称匹配系统，该系统综合了最小编辑距离算法、余弦相似度算法及Sequence Matcher算法，分别计算两个待匹配文本的相似度，通过加权平均法对多个相似度进行计算，得到了两个待匹配文本的目标相似度，提高了商品名称匹配的准确性，避免了使用单一文本相似度计算方法的局限性。
参考图3，本实施例还提供一种计算机设备，包括存储器12、处理器11以及存储在所述存储器12上并可在所述处理器11上运行的计算机程序，所述处理器11执行所述计算机程序时实现如上所述的商品名称匹配方法。
设备可以包括处理器11以及存储有计算机程序指令的存储器12。具体地，上述处理器11可以包括中央处理器(CPU)，或者特定集成电路(Application SpecificIntegrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器12可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器12可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器12可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器12可在数据处理装置的内部或外部。在特定实施例中，存储器12是非易失性(Non-Volatile)存储器。在特定实施例中，存储器12包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器12可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器11所执行的可能的计算机程序指令。
处理器11通过读取并执行存储器12中存储的计算机程序指令，以实现上述实施例中的任意一种商品名称匹配方法。
在其中一些实施例中，计算机设备还可包括通信接口13和总线10。其中，参考图3，处理器11、存储器12、通信接口13通过总线10连接并完成相互间的通信。通信接口13用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口13还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线10包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线10包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线10可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线10可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的商品名称匹配方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种商品名称匹配方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种商品名称匹配方法，其特征在于，包括如下步骤：
文本分词步骤，对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合；
文本相似度计算步骤，基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度；
文本匹配步骤，基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
2.根据权利要求1所述的商品名称匹配方法，其特征在于，还包括：
文本预处理步骤，基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。
3.根据权利要求2所述的商品名称匹配方法，其特征在于，所述文本预处理步骤中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
4.根据权利要求1所述的商品名称匹配方法，其特征在于，所述文本匹配步骤中所述目标相似度的计算方法，具体包括：
分别对所述第一相似度赋予第一权值、对所述第二相似度赋予第二权值及对所述第三相似度赋予第三权值；
基于所述第一相似度、所述第一权值、所述第二相似度、所述第二权值、所述第三相似度及所述第三权值，采用加权平均法计算得到两个所述待匹配文本的目标相似度。
5.根据权利要求4所述的商品名称匹配方法，其特征在于，所述文本匹配步骤中匹配两个所述待匹配文本的方法，具体包括：
比较所述目标相似度和预设阈值；
当所述目标相似度大于等于所述预设阈值时，则两个所述待匹配文本匹配成功；
当所述目标相似度小于所述预设阈值时，则两个所述待匹配文本匹配失败。
6.一种商品名称匹配系统，其特征在于，包括：
文本分词单元，用于对包含商品名称描述的两个待匹配文本进行分词处理，分别得到两个所述待匹配文本相对应的词集合；
文本相似度计算单元，用于基于两个所述待匹配文本的词集合，分别采用最小编辑距离算法和余弦相似度算法对两个所述待匹配文本的词集合进行相似度计算，得到两个所述待匹配文本的第一相似度和第二相似度；采用Sequence Matcher算法对两个所述待匹配文本进行相似度计算，得到两个所述待匹配文本的第三相似度；
文本匹配单元，用于基于所述第一相似度、所述第二相似度及所述第三相似度，计算得到两个所述待匹配文本的目标相似度，根据所述目标相似度和预设阈值，匹配两个所述待匹配文本。
7.根据权利要求6所述的商品名称匹配系统，其特征在于，还包括：
文本预处理单元，用于基于预设规则，对包含商品名称描述的两个待匹配文本进行预处理，得到两个预处理待匹配文本。
8.根据权利要求7所述的商品名称匹配系统，其特征在于，所述文本预处理单元中的预设规则包括：删除文本中空格，将文本中大写英文字母转化成相应的小写英文字母，将文本中的括号转化成中文格式括号。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的商品名称匹配方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的商品名称匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067464.4A CN112749542A (zh) | 2021-01-19 | 2021-01-19 | 一种商品名称匹配方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110067464.4A CN112749542A (zh) | 2021-01-19 | 2021-01-19 | 一种商品名称匹配方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112749542A true CN112749542A (zh) | 2021-05-04 |
Family
ID=75652439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110067464.4A Pending CN112749542A (zh) | 2021-01-19 | 2021-01-19 | 一种商品名称匹配方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749542A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642310A (zh) * | 2021-07-14 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 一种终端数据相似度度量方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909725A (zh) * | 2019-10-18 | 2020-03-24 | 平安科技（深圳）有限公司 | 识别文本的方法、装置、设备及存储介质 |
-
2021
- 2021-01-19 CN CN202110067464.4A patent/CN112749542A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909725A (zh) * | 2019-10-18 | 2020-03-24 | 平安科技（深圳）有限公司 | 识别文本的方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| HARPREET KAUR: "Granularity-Based A ssessment of Similarity Between Short Text Strings", LECTURE NOTES IN ELECTRICAL ENGINEERING, vol. 556, 31 December 2019 (2019-12-31), pages 91 - 107 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642310A (zh) * | 2021-07-14 | 2021-11-12 | 广州市玄武无线科技股份有限公司 | 一种终端数据相似度度量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190080683A1 (en) | Method and device for recognizing text segmentation position | |
| US9940366B2 (en) | Image search device, image search method, program, and computer-readable storage medium | |
| CN109657228B (zh) | 一种敏感文本确定方法及装置 | |
| CN111709406A (zh) | 文本行识别方法及装置、可读存储介质、电子设备 | |
| US8345985B2 (en) | Electronic device and method for matching images | |
| US11755907B2 (en) | Feature identification device, feature identification method, and computer readable medium | |
| CN112613293B (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
| CN112966685B (zh) | 用于场景文本识别的攻击网络训练方法、装置及相关设备 | |
| CN111639566A (zh) | 一种提取表单信息的方法及装置 | |
| CN115862040A (zh) | 文本纠错方法、装置、计算机设备及可读存储介质 | |
| CN114861635B (zh) | 一种中文拼写纠错方法、装置、设备及存储介质 | |
| CN112232070A (zh) | 自然语言处理模型构建方法、系统、电子设备及存储介质 | |
| CN110209759B (zh) | 自动识别书页的方法及装置 | |
| CN109635810B (zh) | 一种确定文本信息的方法、装置、设备及存储介质 | |
| CN112749542A (zh) | 一种商品名称匹配方法、系统、设备及存储介质 | |
| CN110516513B (zh) | 一种人脸识别方法及装置 | |
| CN108874786B (zh) | 机器翻译方法及装置 | |
| CN113792849B (zh) | 字符生成模型的训练方法、字符生成方法、装置和设备 | |
| CN115858797A (zh) | 一种基于ocr技术生成中文近义词的方法及系统 | |
| CN113836297A (zh) | 文本情感分析模型的训练方法及装置 | |
| CN111814865A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN113743409A (zh) | 一种文本识别方法和装置 | |
| CN108021918B (zh) | 文字识别方法及装置 | |
| CN113627124A (zh) | 一种针对字体迁移模型的处理方法、装置、电子设备 | |
| CN112257726A (zh) | 目标检测训练方法、系统、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |