CN109255290B - 菜单识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种菜单识别方法，属于计算机技术领域，解决现有技术中存在的菜单录入效率低下的问题。本申请实施例公开的菜单识别方法包括：获取目标菜单的菜单图像；根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；根据所述候选产品名称对所述产品名称进行校正。本申请实施例公开的菜单识别方法，通过获取辅助信息以缩小用于校正识别结果的知识库，有效地提升了菜单录入效率。

Description

菜单识别方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种菜单识别方法、装置、电子设备及存储介质。

背景技术

随着信息技术的发展，很多应用场景都需要电子菜单，例如电商平台中商户的菜单、收银系统等。现有技术中常用的电子菜单的生成时菜单录入方法是通过拍照识别技术，录入菜单的菜名等信息。例如：首先通过图像采集设备拍摄菜单图像，然后对菜单图像中的文字区域进行检测和识别，并根据识别结果，解析出产品名称、价格等结果；最后，通过识别得到的产品名称和产品名称知识库中的产品名称进行匹配，得到与识别得到的产品名称距离最近的产品名称词条，作为校正后的产品名称。由于产品名称知识库通常包括海量产品名称，因此，将识别得到的产品名称与产品名称知识库中产品名称进行逐一匹配，运算量巨大，菜单录入效率低下。

发明内容

本申请提供一种菜单识别方法，可以通过自动识别菜单并录入识别结果，至少解决现有技术中存在的菜单录入效率低下的问题。

第一方面，本申请实施例提供了一种菜单识别方法包括：

获取目标菜单的菜单图像；

根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

根据所述候选产品名称对所述产品名称进行校正。

第二方面，本申请实施例提供了一种菜单识别装置，包括：

菜单图像获取模块，用于获取目标菜单的菜单图像；

产品名称和辅助信息确定模块，用于根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

候选产品名称确定模块，用于根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

校正模块，用于根据所述候选产品名称对所述产品名称进行校正。

第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的菜单识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的菜单识别方法的步骤。

本申请实施例公开的菜单识别方法，通过获取目标菜单的菜单图像；根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；根据所述候选产品名称对所述产品名称进行校正，解决了现有技术中存在的菜单识别效率低下的问题。本申请实施例公开的菜单识别方法，通过获取辅助信息以缩小用于校正识别结果的知识库，然后自动录入校正后的识别结果，有效地提升了菜单录入效率。同时，基于菜单图像的固有信息提取辅助信息，在缩小知识库的同时，可以有效保证缩小后的知识库与所述菜单图像的关联程度，保证菜单录入的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一的菜单识别方法流程图；

图2是本申请实施例二的菜单识别方法的流程图；

图3是本申请实施例二的菜单识别方法的菜单图像示意图；

图4是本申请实施例三的菜单识别方法的菜单图像示意图；

图5是本申请实施例五的菜单识别装置结构示意图之一；

图6是本申请实施例五的菜单识别装置的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

本实施例公开的一种菜单识别方法，如图1所示，该方法包括：步骤110至步骤140。

步骤110，获取目标菜单的菜单图像。

本申请适用于对图像格式(即版式)的菜单或者纸质菜单中菜单产品的名称、价格等信息的批量录入。如，酒店的房型菜单中的不同房型的房间、价格批量录入；旅行社的旅游项目菜单中旅游项目和价格的批量录入等；饭店的菜单中菜名、菜价等信息的批量录入。本申请实施例中，为了便于读者理解本发明的具体实施方式，以进行菜名、菜价等信息的批量录入举例详细说明菜单识别方法的具体实施方案。

在本申请的一些实施例中，可以通过图像采集设备(如智能手机)拍摄所述目标菜单的图像，也可以直接读取商家上传的菜单图像。

在本申请的另一些实施例中，当通过图像采集设备(如智能手机)拍摄所述目标菜单的菜单图像时，可以进一步获取拍摄所述目标菜单的菜单图像时所述图像采集设备的采集地理位置作为所述菜单图像的位置属性。或者，在商家上传菜单图像时，将所述商家的地理位置设置为上传的所述菜单图像的位置属性。

本申请具体实施时，所述目标菜单包括菜品菜单、饮品菜单等仅包括文本信息的菜单，还可以为既包括文本信息又包括产品图像菜单。

步骤120，根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息。

本申请的一些实施例中，根据所述菜单图像中文本区域识别得到的文本信息，确定所述目标菜单中待录入的产品名称和菜价等信息；根据所述菜单图像中的文本区域识别得到的文本信息、所述菜单图像中包括的产品图像、所述菜单图像的采集地理位置中的任意一项信息或多项信息的组合，确定校正所述待录入的产品名称的辅助信息。其中，所述辅助信息可以包括产品名称、产品类别等。

步骤130，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称。

本申请具体实施时，为了提升产品名称录入的准确性，需要预先获取知识库，用于对识别得到的待录入产品名称进行校正。所述知识库中至少包括：产品名称、所述产品名称对应的产品类别。所述知识库可以为公用知识库，也可以为平台根据业务范围生成的知识库。

在确定了校正所述待录入的产品名称的所述辅助信息之后，根据所述辅助信息从在预先获取的知识库中确定所述产品名称对应的候选产品名称，构成参考产品名称集合，以缩小校正所述待录入的产品名称时参考比对的产品名称范围。

步骤140，根据所述候选产品名称对所述产品名称进行校正。

将所述待录入的产品名称与每个候选产品名称分别进行比对，取相似度最高或者相似度满足预设条件的候选产品名称，作为所述待录入的产品名称的较正结果。

最后，录入校正后的产品名称。

本申请实施例公开的菜单识别方法，通过获取目标菜单的菜单图像；根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；根据所述候选产品名称对所述产品名称进行校正，解决了现有技术中存在的菜单录入效率低下的问题。本申请实施例公开的菜单识别方法，通过获取辅助信息以缩小用于校正识别结果的知识库，然后自动录入校正后的识别结果，有效地提升了菜单录入效率。同时，基于菜单图像的固有信息提取辅助信息，在缩小知识库的同时，可以有效保证缩小后的知识库与所述菜单图像的关联程度，保证菜单录入的准确性。

实施例二

本实施例公开的一种菜单识别方法，如图2所示，该方法包括：步骤210至步骤250。

步骤210，获取知识库。

本申请具体实施时，为了提升产品名称录入的准确性，需要预先获取知识库，用于对识别得到的待录入产品名称进行校正。所述知识库中至少包括：产品名称、所述产品名称对应的产品类别。例如，获取的知识库的格式为(产品名称，产品类别)的键值对应关系。其中，所述知识库可以为网络平台通用的知识库，也可以为根据具体业务需求和业务数据构建的知识库。本申请实施例中，对知识库的获取方式不做限定。

步骤220，获取目标菜单的菜单图像。

本实施例中，以获取到的目标菜单仅包括文本信息举例，详细说明菜单录入的技术方案。本实施例中假设通过网络获取商家上传的目标菜单的菜单图像，获取到的菜单图像如图3所示。通常，菜单中会根据产品类别排列售卖的产品，例如图3中的310和320用于标识该区域的产品的产品类别，3101和3201则为相应文本区域中的产品项，其中包括产品名称和价格信息。

步骤230，根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息。

在本申请的一些实施例中，所述根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息，包括：根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称；以及，根据所述菜单图像中的文本信息、产品图像、所述菜单图像的位置属性中任意一项或多项信息的组合，确定校正所述产品名称的辅助信息。其中，所述菜单图像的位置属性为采集所述菜单图像的地理位置。

首先，通过图像识别技术确定所述菜单图像中的文本区域，进一步的，利用OCR(Optical Character Recognition，光学字符识别)识别技术或者文本识别技术确定所述菜单图像中文本区域中的文本信息。例如，对于图中3101指示的文本区域，将得到文本信息“红豆奶茶7元/杯”，进一步的，通过对文本区域的识别结果进行切分，可以得到产品名称“红豆奶茶”和产品价格“7元/杯”，其中，“红豆奶茶”为待录入的产品名称。

具体实施时，比如当菜名菜价连在一起，得到“芒果布丁奶茶8元/杯”时，可以基于菜单格式设定切分规则，例如：在数字处将识别结果切开，认为数字前的是产品名称，在价格单位“元”字以前的数字为产品价格。

在本申请的另一些实施例中，可以使用NLP分词技术、或者深度学习技术，预测对词条切开的位置，实现对识别结果的切分。具体实施时，对于切分得到的词条，可以进一步通过预先训练的分类模型识别所述词条的属性类别，例如通过基于NLP技术预先训练分类模型识别切分得到的词条属于产品名称、产品价格或产品类别。通过对菜单图像中的文本区域的识别结果进行性分类，可以确定菜单图像中包括的待录入产品名称、各产品名称对应的产品价格以及产品类别。

在本申请的一些实施例中，所述根据所述菜单图像中的文本信息、产品图像、所述菜单图像的位置属性中任意一项或多项信息的组合，确定校正所述产品名称的辅助信息，包括：根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息。具体实施时，所述根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息的步骤，进一步包括：将所述菜单图像中文本区域包含的文本信息输入至预设的文本分类模型；将所述文本分类模型输出的产品类别，确定为校正所述产品名称的辅助信息。

具体实施时，不同文本区域的识别结果输入至预先训练的文本分类模型后，所述文本分类模型会输出该文本的类别，例如该文本为：产品名称、产品价格、产品类别或其他信息。例如，文本区域3101中文本信息的分类结果为产品名称，文本区域310中文本信息的分类结果为产品类别。

然后，进一步对菜单图像版面分析，确定待录入产品名称所属产品类别。例如，文本区域3101中文本信息对应的产品名称“红豆奶茶”属于文本区域310中文本信息对应的产品类别“奶茶”；文本区域3201中文本信息对应的产品名称“拿铁咖啡”属于文本区域320中文本信息对应的产品类别“咖啡”。

至此，可以基于文本信息获得的待录入的产品名称和产品类别的对应关系，然后，将待录入的产品名称对应的产品类别作为校正相应待录入的产品名称的辅助信息。

步骤240，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称。

在确定了校正所述待录入的产品名称的所述辅助信息之后，根据所述辅助信息从在预先获取的知识库中确定所述产品名称对应的候选产品名称，构成参考产品名称集合，以缩小校正所述待录入的产品名称时参考比对的产品名称范围。

在本申请的一些实施例中，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称，包括：当所述辅助信息包括产品类别时，确定预先获取的知识库中属于所述产品类别的产品名称，作为待录入的所述产品名称对应的候选产品名称。具体到本实施例而言，根据文本信息获取到的校正所述待录入的产品名名称的辅助信息为产品类别，例如：校正产品名称“红豆奶茶”的辅助信息为产品类别“奶茶”。根据前述描述，所述知识库中至少包括产品名称和产品类别的对应关系。则进一步的，选择所述知识库中与产品类别“奶茶”对应的全部产品名称，作为所述待输入的产品名称“红豆奶茶”的候选产品名称。

具体实施时，所述知识库中可能包括奶茶类产品名称、咖啡类产品名称、碳酸饮料类产品名称、中式茶类铲平名称。产品类别“奶茶”对应的产品名称可能包括：芒果奶茶、绿豆奶茶、珍珠奶茶、红豆奶茶、芒果布丁奶茶等。

步骤250，根据所述候选产品名称对所述产品名称进行校正。

将所述待录入的产品名称与每个候选产品名称分别进行比对，取相似度最高或者相似度满足预设条件的候选产品名称，作为所述待录入的产品名称的较正结果。

最后，录入校正后的所述产品名称。

本申请实施例公开的菜单识别方法，通过预先获取知识库，然后，在具体应用过程中在获取到目标菜单的菜单图像之后，根据所述菜单图像的信息，如文本信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；根据所述候选产品名称对所述产品名称进行校正，然后自动录入校正后的识别结果，缩小了用于校正待录入的产品名称的参考产品名称范围，有效地提升了菜单录入效率。通过前述描述可以得知，知识库中的会包括多个产品类别的产品名称，而每个产品类别下又进一步包括众多产品名称，因此，如果将所述待录入的产品名称与知识库中的每个产品名称分别进行校正比对，运算量将非常大。而通过本申请实施例中公开的菜单识别方法，首先基于菜单自身信息，缩小用于校正待录入的产品名称的参考产品名称范围，减小了校正比对的运算量，从而，提高了菜单录入效率。

实施例三

在本申请的另一实施例中，所述获取目标菜单的菜单图像的步骤获取到的菜单图像如图4所示，所述菜单图像中包括文本区域4101和4201和图像区域410和420，其中，文本区域记载的是产品名称和产品价格，所述图像区域为产品图像。

作为实施例二的一个变形，所述根据所述菜单图像中的文本信息、产品图像、所述菜单图像的位置属性中任意一项或多项信息的组合，确定校正所述产品名称的辅助信息，包括：根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息；其中，所述根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息，进一步包括：通过对所述菜单图像进行版面分析，确定所述菜单图像中与所述产品名称对应的产品图像；通过对所述产品图像进行分类识别，确定所述产品图像对应的产品名称和/或产品类别；当对所述产品图像进行分类识别得到的分类结果中包括产品类别时，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息；当对所述产品图像进行分类识别得到的分类结果中仅包括产品名称时，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

具体实施时，通过版面分析技术确定所述菜单图像中的信息区域，进一步根据菜单中产品图像的产品名称的分布特征确定产品名称对应的产品图像。例如，通过对图4所示的菜单图像进行分析，可以确定文本区域4101识别得到的产品名称对应的产品图像为产品图像410,文本区域4201识别的到的产品名称对应的产品图像为产品图像420。

然后，通过预先训练的产品图像识别模型或采用现有技术中的其他图像识别技术，对所述产品图像410或420进行分类识别。具体实施时，以通过预先训练的产品图像识别模型对所述产品图像进行分类识别举例，所述产品图像识别模型输出的识别结果可能为产品类别，也可能为产品名称，或者既包括产品名称又包括产品类别。例如，在训练产品图像识别模型时，训练样本的标签包括图像对应的产品名称和产品类别，所述产品图像识别模型包括两个任务，一个是产品名称分类任务，一个是产品类别分类任务，则对于目标菜单的菜单图像中的产品图像，所述产品图像识别模型将输出产品名称和产品类别。具体到本实施例中，所述产品图像410的分类识别结果可以包括：产品名称“红烧平鱼”和产品类别“鱼类”。具体实施时，所述产品类别可以包括一级品类(如“荤菜”)、二级品类(如“鱼类”)和三级品类(如“平鱼”)中的一项或多项。

最后，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息。

在本申请的另一个实施例中，如果在训练产品图像识别模型时，训练样本的标签包括图像对应的产品名称，所述产品图像识别模型包括两个任务，一个是产品名称分类任务，则对于目标菜单的菜单图像中的产品图像，所述产品图像识别模型将仅输出产品名称。具体到本实施例中，所述产品图像420的分类识别结果可以包括：产品名称“汤圆”。之后，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

之后，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称。

在本申请的一些实施例中，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称，包括：当所述辅助信息包括产品类别时，确定预先获取的知识库中属于所述产品类别的产品名称，作为待录入的所述产品名称对应的候选产品名称；当所述辅助信息包括产品名称时，确定预先获取的知识库中与所述辅助信息包括的产品名称相似度距离满足预设条件的产品名称，作为待录入的所述产品名称对应的候选产品名称。

具体到本实施例中，所述辅助信息包括产品名称，如“汤圆”，则在预先获取的知识库中确定与所述辅助信息包括的产品名称“汤圆”相似度距离满足预设条件的产品名称，例如：煮汤圆、汤饺、珍珠汤圆、芝麻汤圆、醪糟汤圆等，作为待录入的所述产品名称“汤圆”对应的候选产品名称。

而对于待录入的产品名称“红烧平鱼”，其辅助信息既包括产品名称又包括产品类别，则其候选产品名称可以根据两种辅助信息获取。例如，根据所述产品名称“红烧平鱼”在预先获取的知识库中确定与所述辅助信息包括的产品名称“红烧平鱼”相似度距离满足预设条件的产品名称，例如：红烧带鱼、红烧黄鱼等作为待录入的所述产品名称“红烧平鱼”对应的候选产品名称；同时，在预先获取的知识库中确定产品类别为所述辅助信息包括的产品类别“鱼类”的所有产品的产品名称作为候选产品名称。

根据所述候选产品名称对所述产品名称进行校正的具体实施方式，参见实施例二，本实施例不再赘述。

本申请实施例公开的菜单识别方法，通过预先获取知识库，然后，在具体应用过程中在获取到目标菜单的菜单图像之后，根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称，进一步通过菜单图像中的图像信息确定校正所述产品名称的辅助信息，如参考产品名称或产品类别；之后，根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称，并根据所述候选产品名称对所述产品名称进行校正，然后自动录入校正后的识别结果，缩小了用于校正待录入的产品名称的参考产品名称范围，有效地提升了菜单录入效率。通过菜单图像中的产品图像信息确定待输入的产品名称的校正辅助信息，可以在菜单破损、字迹不清楚的情况下，基于产品图像的分类结果准确的缩小待输入的产品名称的校正比对范围，提升菜单录入效率。

实时例四

在本申请的另一实施例中，所述获取目标菜单的菜单图像时，可以同时获取所述菜单图像的位置属性。作为实施例一至实施例三中任意一个实施例的一个变形，所述根据所述菜单图像中的文本信息、产品图像、所述菜单图像的位置属性中任意一项或多项信息的组合，确定校正所述产品名称的辅助信息，包括：根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息；其中，根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息，进一步包括：根据所述菜单图像的位置属性，确定所述位置属性对应的商家；将所述商家关联的产品类别，作为校正所述菜单图像上的所述产品名称的辅助信息。所述位置属性是采集所述菜单图像的地理位置，所述位置属性对应的商家可以为所述地理位置附近的商家。

例如，首先确定获取的图4中的菜单图像的位置属性。本实施例中，假设获取到的位置属性为：北京，神州大厦。然后，通过调用地图数据接口，可以确定所述位置属性指示的地理位置附近的商家，如，与神州大厦之间的地理位置距离小于1公里范围内的商家“眉州东坡酒楼”、“小肥羊”。最后，进一步获取确定的附近的商家“眉州东坡酒楼”和“小肥羊”关联的产品类别。其中，商家关联的产品类别可以通过读取商家的属性信息获取，也可以通过分析商家售卖产品的产品类别获取。本实施例中，假设“眉州东坡酒楼”的产品类别属性为“川菜”，“小肥羊”的产品类别属性为“火锅”，则确定产品类别“川菜”和“火锅”作为校正所述待录入的产品名称的辅助信息。

由于所述辅助信息包括多种，所述根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称之前，还包括：当确定的所述辅助信息中包括根据所述菜单图像的至少两项信息确定的辅助信息时，按照预设策略对根据所述至少两项信息确定的辅助信息进行融合处理，其中，所述预设融合策略包括以下任意一项或多项：根据确定的所述辅助信息的置信度分别择优选择所述至少两项信息中每项信息对应的预设数量的辅助信息；取根据所述至少两项信息确定的辅助信息的交集中的辅助信息；取根据所述至少两项信息确定的辅助信息的并集中的辅助信息。

例如，当所述菜单图像中文本区域包括产品类别，所述菜单图像的产品图像的分类识别结果包括产品名称和产品类别，同时，所述菜单图像的位置属性不为空，则根据所述菜单图像中的文本区域可以确定至少一个产品类别，记为产品类别A1、A2，作为校正待录入的产品名称的辅助信息；根据所述菜单图像中的产品图像可以确定至少一个产品类别，记为产品类别A1、B2，作为校正待录入的产品名称的辅助信息；根据所述菜单图像的位置属性可以确定至少一个产品类别，记为产品类别A1、B2、C3。由以上描述可以确定，本实施例中，所述辅助信息包括多条。在这种情况下，可以首先对多条辅助信息进行融合。

在对辅助信息进行融合时，可以通过计算上述多条辅助信息的并集作为融合后的辅助信息，则上述多条辅助信息融合处理后得到的辅助信息记为产品类别：A1、A2、B2、C3。在本申请的一些实施例中，还可以通过计算上述多条辅助信息的交集作为融合后的辅助信息，则上述多条辅助信息融合处理后得到的辅助信息记为产品类别：A1。在本申请的另一些实施例中，还可以首先获取每条辅助信息的置信度，然后，对于根据每种信息确定的辅助信息，分别根据所述辅助信息的置信度选择部分置信度最高的辅助信息，最后，再对根据置信度选择的辅助信息进行融合处理。

具体实施时，可以根据业务需求确定辅助信息的融合算法。例如，将根据位置属性确定的辅助信息和根据文本信息确定的辅助信息计算交集，以进行融合，可以减少冗余数据，提升计算效率；将根据产品图像确定的辅助信息和根据文本信息确定的辅助信息进行并集运算，以进行融合，可以在文本信息或产品图像分类识别不准确的情况下，做到信息互补，提升校正的准确性。

本申请实施例公开的菜单识别方法，通过根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称，进一步通过菜单图像中的地理位置信息确定用于对待输入的产品名称进行比对校验的候选产品名称所属产品类别，并根据所述候选产品名称对所述产品名称进行校正，然后自动录入校正后的识别结果，缩小了用于校正待录入的产品名称的参考产品名称范围，有效地提升了菜单录入效率。

进一步的，通过不同模态的菜单图像的信息，可以相互补充，提高准确率。例如，一些产品名称比较接近的菜名，其配图可能有较大的不同，通过根据产品图像进一步限定候选产品名称的范围，有助于得到正确的菜名。又例如，当产品名称，如菜名文字因为反光、遮挡等原因，个别字符不能识别的时候，可以根据菜品图像，判断出菜品类别，进一步限定候选产品名称的范围，以通过后处理得到正确的识别结果。

实施例五

本实施例公开的一种菜单识别装置，如图5所示，所述装置包括：

菜单图像获取模块510，用于获取目标菜单的菜单图像；

产品名称和辅助信息确定模块520，用于根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

候选产品名称确定模块530，用于根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

校正模块540，用于根据所述候选产品名称对所述产品名称进行校正。

可选的，如图6所示，所述产品名称和辅助信息确定模块520，包括：

产品名称确定子模块5201，用于根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称；以及，

辅助信息确定子模块5202，用于根据所述菜单图像中的文本信息、产品图像、所述菜单图像的位置属性中任意一项或多项信息的组合，确定校正所述产品名称的辅助信息。

可选的，所述辅助信息确定子模块5202进一步用于：

根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息的步骤，进一步包括：

将所述菜单图像中文本区域包含的文本信息输入至预设的文本分类模型；

将所述文本分类模型输出的产品类别，确定为校正所述产品名称的辅助信息。

可选的，所述辅助信息确定子模块5202进一步用于：

根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息的步骤，进一步包括：

通过对所述菜单图像进行版面分析，确定所述菜单图像中与所述产品名称对应的产品图像；

通过对所述产品图像进行分类识别，确定所述产品图像对应的产品名称和/或产品类别；

当对所述产品图像进行分类识别得到的分类结果中包括产品类别时，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息；

当对所述产品图像进行分类识别得到的分类结果中仅包括产品名称时，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

可选的，所述辅助信息确定子模块5202进一步用于：

根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息；

其中，根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息的步骤，进一步包括：

根据所述菜单图像的位置属性，确定所述位置属性对应的商家；

将所述商家关联的产品类别，作为校正所述菜单图像上的所述产品名称的辅助信息。

本申请实施例公开的菜单识别装置，通过获取目标菜单的菜单图像；根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；根据所述候选产品名称对所述产品名称进行校正，然后自动录入校正后的识别结果，解决了现有技术中存在的菜单录入效率低下的问题。本申请实施例公开的菜单识别装置，通过获取辅助信息以缩小用于校正识别结果的知识库，有效地提升了菜单录入效率。同时，基于菜单图像的固有信息提取辅助信息，在缩小知识库的同时，可以有效保证缩小后的知识库与所述菜单图像的关联程度，保证菜单录入的准确性。

可选的，如图6所示，还包括：

辅助信息融合模块550，用于当确定的所述辅助信息中包括根据所述菜单图像的至少两项信息确定的辅助信息时，按照预设策略对根据所述至少两项信息确定的辅助信息进行融合处理，其中，所述预设融合策略包括以下任意一项或多项：

根据确定的所述辅助信息的置信度分别择优选择所述至少两项信息中每项信息对应的预设数量的辅助信息；

取根据所述至少两项信息确定的辅助信息的交集中的辅助信息；

取根据所述至少两项信息确定的辅助信息的并集中的辅助信息。

可选的，所述候选产品名称确定模块530进一步用于：

当所述辅助信息包括产品类别时，确定预先获取的知识库中属于所述产品类别的产品名称，作为待录入的所述产品名称对应的候选产品名称；

当所述辅助信息包括产品名称时，确定预先获取的知识库中与所述辅助信息包括的产品名称相似度距离满足预设条件的产品名称，作为待录入的所述产品名称对应的候选产品名称。

本申请实施例公开的菜单识别装置，用于实现本申请实施例一和实施例二中所述的菜单识别方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。

进一步的，本申请实施例公开的菜单识别装置，通过不同模态的菜单图像的信息，可以相互补充，提高准确率。例如，一些产品名称比较接近的菜名，其配图可能有较大的不同，通过根据产品图像进一步限定候选产品名称的范围，有助于得到正确的菜名。又例如，当产品名称，如菜名文字因为反光、遮挡等原因，个别字符不能识别的时候，可以根据菜品图像，判断出菜品类别，进一步限定候选产品名称的范围，以通过后处理得到正确的识别结果。

相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一至实施例四任意一个实施例所述的菜单识别方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。

本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一至实施例四任意一个实施例所述的菜单识别方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请提供的一种菜单识别方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (14)

1.一种菜单识别方法，其特征在于，包括：

获取目标菜单的菜单图像；所述菜单图像中包括文本信息和产品图像；

根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

根据所述候选产品名称对所述产品名称进行校正；

其中，所述根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称；以及，

根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息；

所述菜单图像的位置属性为采集所述菜单图像的地理位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息的步骤，进一步包括：

将所述菜单图像中文本区域包含的文本信息输入至预设的文本分类模型；

将所述文本分类模型输出的产品类别，确定为校正所述产品名称的辅助信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息的步骤，进一步包括：

通过对所述菜单图像进行版面分析，确定所述菜单图像中与所述产品名称对应的产品图像；

通过对所述产品图像进行分类识别，确定所述产品图像对应的产品名称和/或产品类别；

当对所述产品图像进行分类识别得到的分类结果中包括产品类别时，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息；

当对所述产品图像进行分类识别得到的分类结果中仅包括产品名称时，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息的步骤，包括：

根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息；

其中，根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息的步骤，进一步包括：

根据所述菜单图像的位置属性，确定所述位置属性对应的商家；

将所述商家关联的产品类别，作为校正所述菜单图像上的所述产品名称的辅助信息。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称的步骤之前，还包括：

当确定的所述辅助信息中包括根据所述菜单图像的至少两项信息确定的辅助信息时，按照预设融合策略对根据所述至少两项信息确定的辅助信息进行融合处理，其中，所述预设融合策略包括以下任意一项或多项：

根据确定的所述辅助信息的置信度分别择优选择所述至少两项信息中每项信息对应的预设数量的辅助信息；

取根据所述至少两项信息确定的辅助信息的交集中的辅助信息；

取根据所述至少两项信息确定的辅助信息的并集中的辅助信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称的步骤，包括：

当所述辅助信息包括产品类别时，确定预先获取的知识库中属于所述产品类别的产品名称，作为待录入的所述产品名称对应的候选产品名称；

当所述辅助信息包括产品名称时，确定预先获取的知识库中与所述辅助信息包括的产品名称相似度距离满足预设条件的产品名称，作为待录入的所述产品名称对应的候选产品名称。

7.一种菜单识别装置，其特征在于，包括：

菜单图像获取模块，用于获取目标菜单的菜单图像；所述菜单图像中包括文本信息和产品图像；

产品名称和辅助信息确定模块，用于根据所述菜单图像的信息，确定所述目标菜单中待录入的产品名称和校正所述产品名称的辅助信息；

候选产品名称确定模块，用于根据所述辅助信息在知识库中确定所述产品名称对应的候选产品名称；

校正模块，用于根据所述候选产品名称对所述产品名称进行校正；其中，所述产品名称和辅助信息确定模块，包括：

产品名称确定子模块，用于根据所述菜单图像中的文本信息，确定所述目标菜单中待录入的产品名称；以及，

辅助信息确定子模块，用于根据所述菜单图像中的产品图像、所述菜单图像的位置属性其中至少一项，确定校正所述产品名称的辅助信息；

所述菜单图像的位置属性为采集所述菜单图像的地理位置。

8.根据权利要求7所述的装置，其特征在于，所述产品名称和辅助信息确定模块进一步用于：

根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中文本区域包含的文本信息，确定校正所述产品名称的辅助信息的步骤，进一步包括：

将所述菜单图像中文本区域包含的文本信息输入至预设的文本分类模型；

将所述文本分类模型输出的产品类别，确定为校正所述产品名称的辅助信息。

9.根据权利要求7所述的装置，其特征在于，所述辅助信息确定子模块进一步用于：

根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息；

其中，所述根据所述菜单图像中包含的产品图像，确定校正所述产品名称的辅助信息的步骤，进一步包括：

通过对所述菜单图像进行版面分析，确定所述菜单图像中与所述产品名称对应的产品图像；

通过对所述产品图像进行分类识别，确定所述产品图像对应的产品名称和/或产品类别；

当对所述产品图像进行分类识别得到的分类结果中包括产品类别时，将所述产品类别作为校正所述产品图像对应的所述产品名称的辅助信息；

当对所述产品图像进行分类识别得到的分类结果中仅包括产品名称时，将分类识别得到的所述产品名称作为校正所述产品图像对应的所述产品名称的辅助信息。

10.根据权利要求7所述的装置，其特征在于，所述辅助信息确定子模块进一步用于：

根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息；

其中，根据所述菜单图像的位置属性，确定校正所述产品名称的辅助信息的步骤，进一步包括：

根据所述菜单图像的位置属性，确定所述位置属性对应的商家；

将所述商家关联的产品类别，作为校正所述菜单图像上的所述产品名称的辅助信息。

11.根据权利要求8至10任一项所述的装置，其特征在于，还包括：

辅助信息融合模块，用于当确定的所述辅助信息中包括根据所述菜单图像的至少两项信息确定的辅助信息时，按照预设融合策略对根据所述至少两项信息确定的辅助信息进行融合处理，其中，所述预设融合策略包括以下任意一项或多项：

根据确定的所述辅助信息的置信度分别择优选择所述至少两项信息中每项信息对应的预设数量的辅助信息；

取根据所述至少两项信息确定的辅助信息的交集中的辅助信息；

取根据所述至少两项信息确定的辅助信息的并集中的辅助信息。

12.根据权利要求7所述的装置，其特征在于，所述候选产品名称确定模块进一步用于：

当所述辅助信息包括产品类别时，确定预先获取的知识库中属于所述产品类别的产品名称，作为待录入的所述产品名称对应的候选产品名称；

当所述辅助信息包括产品名称时，确定预先获取的知识库中与所述辅助信息包括的产品名称相似度距离满足预设条件的产品名称，作为待录入的所述产品名称对应的候选产品名称。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的菜单识别方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的菜单识别方法的步骤。

Images