CN110580297A - 基于菜品图像的商户及菜品匹配方法、装置、电子设备 - Google Patents

基于菜品图像的商户及菜品匹配方法、装置、电子设备 Download PDF

Info

Publication number
CN110580297A
CN110580297A CN201910713519.7A CN201910713519A CN110580297A CN 110580297 A CN110580297 A CN 110580297A CN 201910713519 A CN201910713519 A CN 201910713519A CN 110580297 A CN110580297 A CN 110580297A
Authority
CN
China
Prior art keywords
dish
target
image
candidate
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910713519.7A
Other languages
English (en)
Inventor
彭冲
王迟威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910713519.7A priority Critical patent/CN110580297A/zh
Publication of CN110580297A publication Critical patent/CN110580297A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于菜品图像的商户及菜品匹配方法，属于计算机技术领域，有助于提升生成的商户及菜品识别的准确性。本申请实施例公开的商户及菜品匹配方法包括：对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，进一步提升了确定的商户和菜品的准确度。

Description

基于菜品图像的商户及菜品匹配方法、装置、电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于菜品图像的商户及菜品匹配方法、装置、电子设备。
背景技术
随着电子商务平台的发展，平台上的商户越来越多，准确、快速地搜索到目标商户是电子商务平台不断改进的一个目标。现有技术中，商户的搜索方式有多种，例如，输入商户名或地址等关键词进行搜索，输入商户关联的产品(如菜品)进行商户搜索等。在有些应用中，还可以根据用户的定位信息搜索附近的商户。然而，现有技术中的基于地理位置的商户搜索方法，往往由于输入的地理位置不准确，而得不到准确的商户搜索结果。
可见，现有技术中的商户搜索结果还有待改进。
发明内容
本申请提供一种基于菜品图像的商户及菜品匹配方法，有助于提升商户及产品搜索的准确性。
为了解决上述问题，第一方面，本申请实施例提供了一种基于菜品图像的商户及菜品匹配方法，包括：
获取目标菜品图像；
通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像；
根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
第二方面，本申请实施例提供了一种基于菜品图像的商户及菜品匹配装置，包括：
目标菜品图像获取模块，用于获取目标菜品图像；
候选商户及候选菜品图像确定模块，用于通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像；
目标商户及目标菜品确定模块，用于根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的基于菜品图像的商户及菜品匹配方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的基于菜品图像的商户及菜品匹配方法的步骤。
本申请实施例公开的基于菜品图像的商户及菜品匹配方法，通过首先对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，进一步提升了确定的商户和菜品的准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的基于菜品图像的商户及菜品匹配方法流程图；
图2是本申请实施例二的基于菜品图像的商户及菜品匹配方法流程图；
图3本申请实施例三的基于菜品图像的商户及菜品匹配装置结构示意图之一；
图4是本申请实施例三的基于菜品图像的商户及菜品匹配装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种基于菜品图像的商户及菜品匹配方法，如图1所示，该方法包括：步骤110至步骤130。
步骤110，获取目标菜品图像。
本申请实施例中所述的目标菜品图像可以为用户实时拍摄并通过平台的客户端上传的、包括待搜索或待评价的菜品的图像；也可以为用户从平台上选择的包括菜品的图像。本申请对目标菜品图像的具体获取方式不做限定。
进一步的，无论采用什么方式获取的目标菜品图像，目标菜品图像通常以图像文件的形式存储，目标菜品图像将关联一些文件属性，如文件创建时间、文件创建地点。其中，文件创建时间即为本申请实施例中所述的目标菜品图像的采集时间，文件创建地点即为本申请实施例中所述的目标菜品图像的采集位置。
步骤120，通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像。
本申请实施例中，对所述目标菜品图像进行图像识别处理包括:对所述目标菜品图像的图像内容进行识别处理和/或对所述目标菜品图像的文件属性进行识别处理。例如，对所述目标菜品图像的图像内容进行识别处理，识别所述目标菜品图像中的菜品SPU(Standard Product Unit，标准化产品单位)。SPU是商品信息聚合的最小单位,是一组可复用、易检索的标准化信息的集合,该集合描述了一个产品的特性。或者，对所述目标菜品图像的文件属性进行识别处理，识别所述目标菜品图像文件的创建时间(即所述目标菜品图像的采集时间)、创建地点(即所述目标菜品图像的采集位置)。
之后，根据识别得到的菜品标准化产品单元信息(即SPU信息)、所述目标菜品图像的采集时间、所述目标菜品图像的采集位置中的任意一项或多项与平台上的各商户的菜品图像进行匹配，确定匹配成功的菜品图像关联的商户作为所述目标菜品图像的候选商户，并将匹配成功的菜品图像作为该候选商户关联的候选菜品图像。按照上述匹配方法，会初步确定多个候选商户和各所述候选商户的关联的候选菜品图像。
步骤130，根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
进一步的，为了提升确定的与所述目标菜品图像匹配的目标商户和目标菜品的准确度，需要根据图像相似度进一步对候选商户关联的候选菜品图像进行筛选，以更加准确地确定与所述目标菜品图像匹配的目标商户和目标菜品。
在本申请的一些实施例中，可以通过预先训练的图像相似度识别模型确定所述目标菜品图像和每个所述候选菜品图像的相似度。在本申请的另一些实施例中，也可以首先分别提取所述目标菜品图像和每个所述候选菜品图像的图像特征(如、颜色特征、形状特征、纹理特征等任意一项或多项图像特征)；然后，分别计算所述目标菜品图像的图像特征和每个所述候选菜品图像的图像特征之间的相似度距离(如欧式距离)，以相似度距离表示两幅菜品图像的相似度。再例如，通过图像感知哈希算法确定两幅图像的相似度。
最后，根据得到的相似度和预设的相似度阈值确定与所述目标菜品图像匹配的所述候选菜品图像，并将与所述目标菜品图像匹配的所述候选菜品图像关联的商户作为与所述目标菜品图像匹配的目标商户，将与所述目标菜品图像匹配的所述候选菜品图像所属菜品作为与所述目标菜品图像匹配的目标菜品。
本申请实施例公开的基于菜品图像的商户及菜品匹配方法，通过首先对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，进一步提升了确定的商户和菜品的准确度。
进一步的，通过首先基于图像识别结果进行菜品图像和所属商户的初步筛选，过滤掉一部分明显不匹配的商户和菜品，然后，基于更加精细的图像相似度计算，确定精确地匹配结果，还可以减少图像匹配的运算量，提升菜品图像的匹配效率。
实施例二
本申请实施例公开的一种基于菜品图像的商户及菜品匹配方法，如图2所示，该方法包括：步骤210至步骤240。
步骤210，获取目标菜品图像。
本申请实施例公开的基于菜品图像的商户及菜品匹配适用于基于菜品图像查找相应商户的应用。例如，当用户通过平台的客户端为某个菜品A写评论时，菜品A会有多个商户同时供应，在用户拍摄了菜品A的图像或者从平台上选择了待评论的菜品A的图像之后，需要进一步确定对哪个商户的菜品A进行评论，因此，需要根据用户拍摄的菜品A的图像或者从平台上选择了待评论的菜品A的图像，确定与菜品A的图像匹配的商户。此应用场景中，菜品A的图像即为目标菜品图像。
步骤220，通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像。
本申请的一些实施例中，所述通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，包括：对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品标准化产品单元信息；根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像。其中，所述目标菜品图像的采集时间和采集位置信息属于图像文件的固有属性信息。本申请的一些实施例中，通过图像文件的exif信息(Exchangeable image file format，即可交换图像文件格式)可以获取到目标菜品图像的采集时间和采集位置。
本申请的一些实施例中，所述对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品SPU(即标准化产品单元)信息的步骤，包括：通过预设的菜品SPU识别模型对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品标准化产品单元信息。其中，所述菜品SPU识别模型基于卷积神经网络训练得到，训练数据为菜品的彩色图像以及该图像对应的菜品标准化产品单元标签，菜品SPU识别模型的输出结果为输入图像可选的菜品标准化产品单元标签和对应的置信度。例如，当用户上传了一张“酸辣土豆丝”的菜品图像时，菜品SPU识别模型将识别出该菜品图像对应的菜品标准化产品单元是“酸辣土豆丝”，对应“酸辣土豆丝”这一菜品标准化产品单元的置信度为90％。
在本申请的一些实施例中，所述根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像，包括：根据所述目标菜品图像的采集时间和采集位置，确定可选候选商户；对于每个所述可选候选商户，分别执行以下操作：将所述可选候选商户关联的各菜品分别与所述菜品标准化产品单元信息进行匹配，确定与所述菜品标准化产品单元信息匹配的所述菜品；若存在与所述菜品标准化产品单元信息匹配的所述菜品，则确定所述可选候选商户为候选商户，并确定与所述菜品标准化产品单元信息匹配的所述菜品的菜品图像作为所述候选商户关联的候选菜品图像。
在本申请的一些实施例中，根据所述目标菜品图片的采集时间和采集位置，确定可选候选商户的步骤，包括：根据所述目标菜品图片的采集位置确定第一可选候选商户；根据商户的开店时间对所述第一可选候选商户进行删选，确定所述开店时间在所述采集时间之后的所述第一可选候选商户作为可选候选商户。仍以用户上传了一张“酸辣土豆丝”的菜品图像为例，如果该“酸辣土豆丝”的菜品图像拍摄于2019年04月10日的上海市长宁区申亚时代广场，则该菜品图像的采集时间为：2019年04月10日，采集位置为：上海市长宁区申亚时代广场。首先，根据该菜品图像的采集位置，获取上海市长宁区申亚时代广场的若干餐饮商户信息；之后，根据采集时间，排除掉2019年04月10日以后新开业的商户，剩余的商户则是可能与所述菜品图像匹配的商户，即可选候选商户。
接下来，对于每个所述可选候选商户，进一步进行菜品标准化产品单元信息匹配。例如，将所述可选候选商户关联的各菜品的菜品图像分别输入至前述步骤中训练得到的菜品SPU识别模型，确定所述可选候选商户关联的各菜品的菜品标准化产品单元信息；然后，将与所述目标菜品图像具有相同菜品标准化产品单元信息的菜品图像作为候选菜品图像，该候选菜品图像所述商户作为与所述目标菜品图像匹配的候选商户。如果某个可选候选商户关联的所有菜品图像的菜品标准化产品单元信息均与所述目标菜品图像的菜品标准化产品单元信息不匹配，则确定所述可选候选商户不是所述目标菜品图像的候选商户。
举例而言，如果根据所述目标菜品图像的采集位置确定20家商户，其中有17家商户的建店时间晚于所述目标菜品图像的采集时间，那么，这17家商户可以确定为可选候选商户。这17家可选候选商户中，只有5家商户有对应“酸辣土豆丝”这个菜品标准化产品单元的菜品，因此，最终确定候选商户缩小到这5家有对应“酸辣土豆丝”这个菜品标准化产品单元的菜品的商户。
至此，确定了匹配所述目标菜品图像的多个候选商户和各候选商户与所述目标菜品图像匹配的候选菜品图像。其中，与所述目标菜品图像匹配的候选菜品图像关联相应的候选商户，即与所述目标菜品图像匹配的候选菜品图像所述菜品为相应的候选商户提供的菜品。
本申请实施例中通过结合图像的采集时间和采集位置等信息以及图像内容相关的菜品标准化产品单元信息进行商户和菜品图像的初步匹配，相对于单独采用菜品图像的采集时间或采集位置信息进行商户和菜品图像的初步匹配，可以提升菜品图像匹配的准确度。
步骤230，根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
本申请的一些实施例中，通过预先训练的相似度识别模型进行图像的相似度判断，所述根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品的步骤，包括：通过预先训练的相似度识别模型分别确定每个所述候选菜品图像与所述目标菜品图像的相似度；确定所述与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所关联的所述候选商户，作为与所述目标菜品图像匹配的目标商户；以及，确定与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所属菜品，作为与所述目标菜品图像匹配的目标菜品，所述目标菜品属于与所述候选菜品图像关联的所述目标商户。
其中，相似度识别模型基于卷积神经网络进行训练，训练数据为若干彩色菜品图像三元组，每个菜品图像三元组由两张相似菜品图像和一张不相似菜品图像组成，卷积神经网络的输出是菜品图像三元组在相似空间的距离。在相似度识别模型的训练过程中，以相似菜品图像在相似空间的距离小于不相似菜品图像在相似空间的距离、两张相似菜品图像在相似空间的距离最小且不相似菜品图像在相似空间的距离最大为目标训练卷积神经网络。
具体应用中，对于每个所述候选菜品图像(如前述步骤中确定的5个候选商户中每个候选商户给关联的一个候选菜品图像，分别记为候选商户1的候选菜品图像p1、候选商户2的候选菜品图像p2、候选商户3的候选菜品图像p3、候选商户4的候选菜品图像p4，以及，候选商户5的候选菜品图像p5)，将该候选菜品图像(即p1至p5)和所述目标菜品图像(如“酸辣土豆丝”的菜品图像p0)分别组成一个图像对，输入至预先训练的相似度识别模型；所述相似度识别模型通过对输入的两幅图像执行特征提取、映射等一系列运算，输出输入至模型的两幅图像(如该候选菜品图像p1和所述目标菜品图像p0)的相似度。按照此方法，可以分别确定每个所述候选菜品图像与所述目标菜品图像的相似度，然后，将每个相似度(具体到本实施例而言，将得到5个相似度)分别和预先确定的相似度阈值进行比较，确定满足预设相似度条件的所述相似度对应的所述候选菜品图像作为与所述目标菜品图像匹配的菜品图像，确定与所述目标菜品图像匹配的菜品图像(如p1)所关联的所述候选商户(如候选商户1)，作为与所述目标菜品图像匹配的目标商户。进一步的，确定与所述目标菜品图像匹配的菜品图像(如p1)所属菜品(即“酸辣土豆丝”)，作为与所述目标菜品图像匹配的目标菜品，所述目标菜品属于与所述候选菜品图像关联的所述目标商户。
如果某一候选商户关联的候选菜品图像(如p3)与所述目标菜品图像的相似度不符合预设相似度条件，即根据图像相似度确定某一候选商户(如候选商户3)关联的候选菜品图像(如p3)与所述目标菜品图像不相似，则确定所述某一候选商户(即候选商户3)与所述目标菜品图像不匹配。
具体实施时，商户在平台上发布菜品时，可能会出现菜品标准化产品单元信息为“酸辣土豆丝”的菜品设置的是“醋溜土豆丝”的菜品图像的情况，在图像识别的过程中，由于菜品SPU识别模型只是初步根据图像内容进行菜品标准化产品单元识别，因此可能存在将“醋溜土豆丝”的菜品图像识别为“酸辣土豆丝”的情况，通过本步骤基于图像相似度进行精细的图像匹配，可以进一步筛选出图像识别得到的不准确的匹配结果。
步骤240，展示与所述目标菜品图像匹配的目标商户、所述目标商户的与所述目标菜品图像匹配的目标菜品。
经过前述步骤的匹配处理，可能或确定多个与目标菜品图像匹配的商户，本申请的一些实施例中，所述根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品的步骤之后，还包括：展示与所述目标菜品图像匹配的目标商户、所述目标商户的与所述目标菜品图像匹配的目标菜品，以供用户选择。
例如，在用户上传待匹配的菜品图像之后，平台将把与该待匹配的菜品图像匹配的目标商户及该目标商户与该待匹配的菜品图像匹配的目标菜品展示出来，便于用户选择。用户可以从展示的目标商户中选择一个与该待匹配的菜品图像(如“酸辣土豆丝”的菜品图像)匹配的商户(如候选商户1)，即该待匹配的菜品图像所属商户(即候选商户1)，然后针对该目标商户(即候选商户1)的该目标菜品(即“酸辣土豆丝”)发表评论。
本申请实施例公开的基于菜品图像的商户及菜品匹配方法，通过首先对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，并展示给用户，供用户选择后发表评论，不需要用户从海量商户中手动搜索相关商户，而是自动将与用户上传或选择的菜品图像最匹配的商户列表展示给用户，供用户选择，可以提升用户发表评论的效率。
实施例三
本实施例公开的一种基于菜品图像的商户及菜品匹配装置，如图3所示，所述装置包括：
目标菜品图像获取模块310，用于获取目标菜品图像；
候选商户及候选菜品图像确定模块320，用于通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像；
目标商户及目标菜品确定模块330，用于根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
在本申请的一些实施例中，所述候选商户及候选菜品图像确定模块320进一步用于：
对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品标准化产品单元信息；
根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像。
在本申请的一些实施例中，所述根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像的步骤，包括：
根据所述目标菜品图像的采集时间和采集位置，确定可选候选商户；
对于每个所述可选候选商户，分别执行以下操作：
将所述可选候选商户关联的各菜品分别与所述菜品标准化产品单元信息进行匹配，确定与所述菜品标准化产品单元信息匹配的所述菜品；
若存在与所述菜品标准化产品单元信息匹配的所述菜品，则确定所述可选候选商户为候选商户，并确定与所述菜品标准化产品单元信息匹配的所述菜品的菜品图像作为所述候选商户关联的候选菜品图像。
在本申请的一些实施例中，所述目标商户及目标菜品确定模块330进一步用于：
通过预先训练的相似度识别模型分别确定每个所述候选菜品图像与所述目标菜品图像的相似度；
确定所述与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所关联的所述候选商户，作为与所述目标菜品图像匹配的目标商户；以及，确定与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所属菜品，作为与所述目标菜品图像匹配的目标菜品，所述目标菜品属于与所述候选菜品图像关联的所述目标商户。
本申请实施例公开的基于菜品图像的商户及菜品匹配装置，通过首先对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，进一步提升了确定的商户和菜品的准确度。
进一步的，通过首先基于图像识别结果进行菜品图像和所属商户的初步筛选，过滤掉一部分明显不匹配的商户和菜品，然后，基于更加精细的图像相似度计算，确定精确地匹配结果，还可以减少图像匹配的运算量，提升菜品图像的匹配效率。
在本申请的一些实施例中，如图4所示，所述装置还包括：
展示模块340，用于展示与所述目标菜品图像匹配的目标商户、所述目标商户的与所述目标菜品图像匹配的目标菜品。
本申请实施例公开的基于菜品图像的商户及菜品匹配装置，通过首先对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像，然后，根据所述目标菜品图像和所述候选菜品图像的相似度，从所述候选商户中确定与所述目标菜品图像匹配的目标商户，从所述候选菜品图像中确定与所述目标菜品图像匹配的目标菜品，并展示给用户，供用户选择后发表评论，不需要用户从海量商户中手动搜索相关商户，而是自动将与用户上传或选择的菜品图像最匹配的商户列表展示给用户，供用户选择，可以提升用户发表评论的效率。
本申请实施例公开的基于菜品图像的商户及菜品匹配装置，用于实现本申请实施例一和实施例二中所述的基于菜品图像的商户及菜品匹配方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述的基于菜品图像的商户及菜品匹配方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的基于菜品图像的商户及菜品匹配方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种基于菜品图像的商户及菜品匹配方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种基于菜品图像的商户及菜品匹配方法，其特征在于，包括：
获取目标菜品图像；
通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像；
根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像的步骤，包括：
对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品标准化产品单元信息；
根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像的步骤，包括：
根据所述目标菜品图像的采集时间和采集位置，确定可选候选商户；
对于每个所述可选候选商户，分别执行以下操作：
将所述可选候选商户关联的各菜品分别与所述菜品标准化产品单元信息进行匹配，确定与所述菜品标准化产品单元信息匹配的所述菜品；
若存在与所述菜品标准化产品单元信息匹配的所述菜品，则确定所述可选候选商户为候选商户，并确定与所述菜品标准化产品单元信息匹配的所述菜品的菜品图像作为所述候选商户关联的候选菜品图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品的步骤，包括：
通过预先训练的相似度识别模型分别确定每个所述候选菜品图像与所述目标菜品图像的相似度；
确定所述与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所关联的所述候选商户，作为与所述目标菜品图像匹配的目标商户；以及，确定与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所属菜品，作为与所述目标菜品图像匹配的目标菜品，所述目标菜品属于与所述候选菜品图像关联的所述目标商户。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品的步骤之后，还包括：
展示与所述目标菜品图像匹配的目标商户、所述目标商户的与所述目标菜品图像匹配的目标菜品。
6.一种基于菜品图像的商户及菜品匹配装置，其特征在于，包括：
目标菜品图像获取模块，用于获取目标菜品图像；
候选商户及候选菜品图像确定模块，用于通过对所述目标菜品图像进行图像识别处理，确定所述目标菜品图像对应的候选商户及所述候选商户关联的候选菜品图像；
目标商户及目标菜品确定模块，用于根据所述目标菜品图像和所述候选菜品图像的相似度，确定与所述目标菜品图像匹配的目标商户和目标菜品。
7.根据权利要求6所述的装置，其特征在于，所述候选商户及候选菜品图像确定模块进一步用于：
对所述目标菜品图像进行图像内容识别，确定所述目标菜品图像中包括的菜品标准化产品单元信息；
根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像。
8.根据权利要求7所述的装置，其特征在于，所述根据所述菜品标准化产品单元信息、所述目标菜品图像的采集时间和采集位置，确定候选商户及所述候选商户关联的候选菜品图像的步骤，包括：
根据所述目标菜品图像的采集时间和采集位置，确定可选候选商户；
对于每个所述可选候选商户，分别执行以下操作：
将所述可选候选商户关联的各菜品分别与所述菜品标准化产品单元信息进行匹配，确定与所述菜品标准化产品单元信息匹配的所述菜品；
若存在与所述菜品标准化产品单元信息匹配的所述菜品，则确定所述可选候选商户为候选商户，并确定与所述菜品标准化产品单元信息匹配的所述菜品的菜品图像作为所述候选商户关联的候选菜品图像。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述目标商户及目标菜品确定模块进一步用于：
通过预先训练的相似度识别模型分别确定每个所述候选菜品图像与所述目标菜品图像的相似度；
确定所述与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所关联的所述候选商户，作为与所述目标菜品图像匹配的目标商户；以及，确定与所述目标菜品图像的所述相似度满足预设相似度条件的所述候选菜品图像所属菜品，作为与所述目标菜品图像匹配的目标菜品，所述目标菜品属于与所述候选菜品图像关联的所述目标商户。
10.根据权利要求6至8任一项所述的装置，其特征在于，还包括：
展示模块，用于展示与所述目标菜品图像匹配的目标商户、所述目标商户的与所述目标菜品图像匹配的目标菜品。
CN201910713519.7A 2019-08-02 2019-08-02 基于菜品图像的商户及菜品匹配方法、装置、电子设备 Pending CN110580297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713519.7A CN110580297A (zh) 2019-08-02 2019-08-02 基于菜品图像的商户及菜品匹配方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713519.7A CN110580297A (zh) 2019-08-02 2019-08-02 基于菜品图像的商户及菜品匹配方法、装置、电子设备

Publications (1)

Publication Number Publication Date
CN110580297A true CN110580297A (zh) 2019-12-17

Family

ID=68810845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713519.7A Pending CN110580297A (zh) 2019-08-02 2019-08-02 基于菜品图像的商户及菜品匹配方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN110580297A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178274A (zh) * 2019-12-30 2020-05-19 秒针信息技术有限公司 信息提示方法和装置、计算机可读的存储介质及电子装置
CN111563518A (zh) * 2020-03-20 2020-08-21 时时同云科技(成都)有限责任公司 基于边缘计算的菜品图像识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140219512A1 (en) * 2013-02-07 2014-08-07 Toshiba Tec Kabushiki Kaisha Information processing apparatus and information processing method
CN105205689A (zh) * 2015-08-26 2015-12-30 深圳市万音达科技有限公司 推荐商户的方法及系统
CN107665199A (zh) * 2016-07-27 2018-02-06 佛山市顺德区美的电热电器制造有限公司 图像识别方法及服务器和终端
CN108256474A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 用于识别菜品的方法和装置
CN109241314A (zh) * 2018-08-27 2019-01-18 维沃移动通信有限公司 一种相似图像的选择方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140219512A1 (en) * 2013-02-07 2014-08-07 Toshiba Tec Kabushiki Kaisha Information processing apparatus and information processing method
CN105205689A (zh) * 2015-08-26 2015-12-30 深圳市万音达科技有限公司 推荐商户的方法及系统
CN107665199A (zh) * 2016-07-27 2018-02-06 佛山市顺德区美的电热电器制造有限公司 图像识别方法及服务器和终端
CN108256474A (zh) * 2018-01-17 2018-07-06 百度在线网络技术（北京）有限公司 用于识别菜品的方法和装置
CN109241314A (zh) * 2018-08-27 2019-01-18 维沃移动通信有限公司 一种相似图像的选择方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178274A (zh) * 2019-12-30 2020-05-19 秒针信息技术有限公司 信息提示方法和装置、计算机可读的存储介质及电子装置
CN111563518A (zh) * 2020-03-20 2020-08-21 时时同云科技(成都)有限责任公司 基于边缘计算的菜品图像识别方法及装置
CN111563518B (zh) * 2020-03-20 2023-08-11 时时同云科技(成都)有限责任公司 基于边缘计算的菜品图像识别方法及装置

Similar Documents

Publication Publication Date Title
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
CN106203242B (zh) 一种相似图像识别方法及设备
CN107193962B (zh) 一种互联网推广信息的智能配图方法及装置
US20210141826A1 (en) Shape-based graphics search
CN105117399B (zh) 一种图像搜索方法和装置
CN111400507B (zh) 实体匹配方法及其装置
WO2022134701A1 (zh) 视频处理方法及装置
Liu et al. Automated assembly of shredded pieces from multiple photos
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
JP5670787B2 (ja) 情報処理装置、帳票種別推定方法および帳票種別推定用プログラム
CN109426831B (zh) 图片相似匹配及模型训练的方法、装置及计算机设备
Wong et al. Smartannotator an interactive tool for annotating indoor rgbd images
CN104915354A (zh) 多媒体文件推送方法及装置
KR101224312B1 (ko) 소셜 네트워킹 서비스 사용자를 위한 친구 추천 방법, 이를 위한 기록 매체 및 이를 이용하는 소셜 네트워킹 서비스 및 서버
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
JP2021530773A (ja) 画像に基づく関係分析の方法およびそのシステム
CN110580297A (zh) 基于菜品图像的商户及菜品匹配方法、装置、电子设备
CN109255290B (zh) 菜单识别方法、装置、电子设备及存储介质
CN110209780B (zh) 一种问题模板生成方法、装置、服务器及存储介质
CN115248890B (zh) 用户兴趣画像的生成方法、装置、电子设备以及存储介质
JPH11250106A (ja) 内容基盤の映像情報を利用した登録商標の自動検索方法
CN103093213B (zh) 视频文件分类方法及终端
CN110895781A (zh) 菜品类别推荐方法、装置、电子设备及存储介质
CN115983873A (zh) 一种基于大数据的用户数据分析管理系统及方法
US20150127673A1 (en) Method and system for searching visually similar goods in e-commerce web-sites

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217

RJ01 Rejection of invention patent application after publication