CN114663874A - 模型训练方法、包装图像的识别方法及其装置 - Google Patents

Abstract

本申请提供一种模型训练方法、包装图像的识别方法及其装置。该模型训练方法包括：获取第一包装图像对应的标注信息，第一包装图像为第一样本食品的包装图像；解析标注信息，得到第一文本；采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。本申请实施例采用目标预设文本对第一包装图像上的第一文本进行至少部分替换，实现训练样本的扩充，避免需要人工对各种食品的包装图像上的字符进行标注来获得足够的训练样本，进而降低了工作人员的标注工作量，提高了模型训练的效率。

Description

模型训练方法、包装图像的识别方法及其装置

技术领域

本申请涉及计算机技术领域，尤其涉及模型训练方法、包装图像的识别方法及其装置。

背景技术

通常情况下，食品的包装上印有多种形状的字符，如楷体、艺术字等。字符中的部分或者全部文本信息是对食品属性的描述。能准确的抽取出这些描述食品属性的文本信息具有非常大的价值。

但是，由于目前食品的种类多种多样，以及包装上的信息也丰富，为了识别不同食品包装上的信息，需要预先针对不同食品训练不同的食品分类模型。目前，在不同的食品分类模型训练时，需要采集食品包装对应的包装图像，然后通过OCR(Optical CharacterRecognition，光学字符识别)识别包装图像上的字符，然后需要工作人员对OCR识别错误的字符进行标注，进而得到准确的训练数据进行食品分类模型的训练，这样需要人工标注大量包装图像上的字符，进而增多了工作人员的工作量。

发明内容

本申请的多个方面提供模型训练方法、包装图像的识别方法及其装置，以降低工作人员的工作量。

本申请实施例第一方面提供一种模型训练方法，包括：获取第一包装图像对应的标注信息，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像；解析标注信息，得到第一文本，第一文本的语义是对第一样本食品的描述；采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。

本申请实施例第二方面提供一种包装图像的识别方法，包括：获取目标食品的包装图像；采用图像识别技术，识别包装图像中的识别字符信息；解析识别字符信息，得到文本信息，文本信息的语义是对目标食品的描述；将文本信息输入食品分类模型进行分类处理，得到目标食品的分类结果，食品分类模型为第一方面的模型训练方法训练得到的。

本申请实施例第三方面提供一种包装图像的识别装置，包括：

获取模块，用于获取目标食品的包装图像；

识别模块，用于采用图像识别技术，识别包装图像中的识别字符信息；

解析模块，用于解析识别字符信息，得到文本信息，文本信息的语义是对目标食品的描述；

处理模块，用于将文本信息输入食品分类模型进行分类处理，得到目标食品的分类结果，食品分类模型为根据第一方面的模型训练方法训练得到的。

本申请实施例第四方面提供一种电子设备，包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的模型训练方法或第二方面的包装图像的识别方法。

本申请实施例第五方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序被处理器执行时，致使处理器实现如第一方面的模型训练方法或第二方面的包装图像的识别方法。

本申请实施例应用于食品外包装上的文本识别场景中，提供的模型训练方法包括：获取第一包装图像对应的标注信息，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像；解析标注信息，得到第一文本，第一文本的语义是对第一样本食品的描述；采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。本申请实施例采用目标预设文本对第一包装图像上的第一文本进行至少部分替换，实现训练样本的扩充，避免需要人工对各种食品的包装图像上的字符进行标注来获得足够的训练样本，进而降低了工作人员的标注工作量，提高了模型训练的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的第一文本的确定示意图；

图2为本申请示例性实施例提供的一种模型训练方法的步骤流程图；

图3为本申请示例性实施例提供的另一种模型训练方法的步骤流程图；

图4为本申请示例性实施例提供的一种第二文本的示意图；

图5为本申请示例性实施例提供的另一种第二文本的示意图；

图6为本申请示例性实施例提供的第三文本的示意图；

图7为本申请示例性实施例提供的一种包装图像的识别方法的步骤流程图；

图8为本申请示例性实施例提供的一种包装图像的识别装置的结构框图；

图9为本申请示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对食品外包装上的文本识别场景中，提供的模型训练方法包括：获取第一包装图像对应的标注信息，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像；解析标注信息，得到第一文本，第一文本的语义是对第一样本食品的描述；采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。本申请实施例通过采用目标预设文本对第一包装图像上的第一文本进行至少部分替换，实现训练样本的扩充，避免需要人工对各种食品的包装图像上的字符进行标注来获得足够的训练样本，进而降低了工作人员的标注工作量，提高了模型训练的效率。

在本实施例中，并不限定模型训练方法的执行设备。可选地，模型训练方法可以借助云计算系统实现整体的模型训练方法。例如，模型训练方法可以应用于云服务器，以便借助于云上资源的优势运行各种神经网络模型；相对于应用于云端，模型训练方法也可以应用于常规服务器、云服务器或服务器阵列等服务端设备。

此外，参照图1，为本申请实施例提供的一种从饮料的包装图像11得到第一文本14的示意图。其中，该包装图像11可以是摄像头采集的。然后通过OCR识别技术对包装图像11上的字符进行识别，得到识别结果12，识别结果12包括序号(如1至14)和序号对应的字符。其中，由于包装图像11上的字符为多种字体，因此，得到的识别结果12具有字符识别错误、丢字等问题。如识别结果12中序号1中的“无糖”的“无”识别为“夫”，如序号2中的“柠檬”的“檬”未识别到，如序号3中的“阿斯巴甜”的“阿”识别为“河”，如序号4中的“蜜”未识别到，“香精”的“香”识别为“杳”，如序号5中的“商标”的“标”识别为“杯”，如序号7中的“产地：南宁市”未识别到，如序号8中的“GH12345”中的“23”未识别到，如序号9中的“00”识别为“88”，如序号13中的“回”识别为“冋”。在本申请实施例中，需要对识别结果12进行标注，得到标注信息13，标注信息13是对识别结果12识别错误的部分进行校正，因此标注信息13是包装图像11上的实际字符信息。进一步的，第一文本14是对标注信息13中与该饮料相关联的文本的提取结果。

参照图1，从识别结果12到标注信息13可以是人工进行标注得到的。目前由于不同食品具有不同的包装，进而包装上的字符也是多种多样的，如果人工需要针对不同食品的不同包装的识别结果均进行标注，来得到对应的标注信息，则需要大量的人工操作，效率会非常低。而本申请实施例提供的模型训练方法中，只需要获取有限食品的标注信息，便能训练得到具有泛化能力和鲁棒性的食品分类模型，并不需要人工对各类食品的不同包装均进行标注，因此，能够提高食品分类模型的训练效率。

本申请实施例提供模型训练方法，能够通过采用目标预设文本对第一包装图像上的第一文本进行至少部分替换，实现训练样本的扩充，避免需要人工对各种食品的包装图像上的字符进行标注来获得足够的训练样本，进而降低了工作人员的标注工作量，提高了模型训练的效率。得到的食品分类模型具有很好的泛化能力和鲁邦性。从消费者的角度，训练得到的食品分类模型可以帮助消费者更快、更好地筛选出该食品是否适合该消费者，例如，患有糖尿病的消费者只想确定该食品是否为高糖食品。从厂家的角度，也可以帮助校验食品包装上印有的文本信息与预先针对该食品设置的文本是否一致，进而进行高效的质量控制。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2为本申请示例性实施例提供的一种模型训练方法的步骤流程图。如图2所示该模型训练方法，具体包括以下步骤：

S201，获取第一包装图像对应的标注信息。

其中，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像。

示例性地，参照图1，第一样本食品如包装图像11对应的饮料，第一包装图像如包装图像11。第一包装图像对应的标注信息如标注信息13。其中，标注信息13是包装图像11上的实际字符信息，该实际字符信息包括：文本、字母以及数字、标点符号等。

S202，解析标注信息，得到第一文本。

其中，第一文本的语义是对第一样本食品的描述。具体地，在标注信息中有些与第一样本食品无关的字符信息，需要删除这些与第一样本食品无关的字符信息，得到描述第一样本食品的第一文本。例如，参照图1，第一文本14包括：第一样本食品的简介“无糖依然透心凉”、第一样本食品的配料“水、食品添加剂(二氧化碳、柠檬酸、柠檬酸钾、苯甲酸钠、阿斯巴甜(含苯丙氨酸)、安赛蜜、蔗糖素)、食用香精)”、第一样本食品的生产商“广西c饮料有限公司”、第一样本食品的产地“南宁市”。

此外，第一文本是对标注信息中的信息的提取，第一文本可以采用任意格式，对此不加以限定。

S203，采用目标预设文本对第一文本进行至少部分替换，得到第二文本。

其中，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述。具体地，目标预设文本是对第一文本中对应的待替换文本具有关联关系，其中，关联关系包括：同种属性类型。例如，若待替换文本的属性类型为配料，则目标预设文本属性类型也为配料，若待替换文本的属性类型为产地，则目标预设文本的属性类型也为产地。若待替换文本也为配料中的主要配料，则目标预设文本也为配料中的主要配料，若目标预设文本为配料中的添加剂，则目标预设文本也为配料中的添加剂。

此外，得到的第二文本是对第二样本食品的描述。其中，第二样本食品可以是与第一样本食品为同种类型的食品，也可以是不同类型的食品。例如，若第一样本食品为饮料A，目标预设文本为配料中的添加剂或者产地，采用目标预设文本替换第一文本中至少部分后，得到的第二文本实质上是对另一种饮料B的描述，则第二样本食品是与第一样本食品同种类型的饮料B。若目标预设文本为配料中的主要配料，例如，小麦。则采用“小麦”替换第一文本中的主要配料“水”，则第二样本食品可能是“饼干”等面食食品，则可以理解该第二样本食品与第一样本食品是不同类型的。

其中，训练食品分类模型需要大量的训练样本，而本申请实施例中本采用目标预设文本对第一文本进行至少部分替换，得到第二文本，可以实现训练样本的扩充，并不需要对大量食品的包装图像采用图1的方式处理来得到对应的训练文本，即本申请实施例只需要对少量的食品进行类似图1所示的人工标注得到标注信息，根据标注信息进一步得到第一文本和扩充的第二文本，即可进行以下食品分类模型的训练。

S204，根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。

在本申请实施例中，第一文本和第二文本均为训练样本，进行食品分类模型的训练。此外，食品分类模型可以用于对食品的类别进行预测，类别如饮料、饼干、肉铺、果脯等，类别也可以是：无糖、低糖、中糖或高糖食品，类别也可以是脱脂、低脂、全脂或高脂等。在本申请实施例中，食品的类别还可以根据需要设定为其他，在此不加以限定。

进一步地，在食品分类模型的训练过程中，是将第一文本和第二文本分别作为训练样本进行训练。例如，先采用第一文本训练食品分类模型100次，再使用第二分别训练食品分类模型10次。此外，在本申请实施例中，第二文本可以包括多个，如100个，每个第二文本都对应一个食品，每个第二文本都作为单独的训练样本进行食品分类模型的训练。因此，训练完成的食品分类模型具有很好的泛化能力，可以对各个种类的食品均可以进行分类。

示例性地，本申请实施例中第一样本食品对象为饮料，第二样本食品对象为多个，分别为饼干、果脯、肉铺等。则将第一样本食品对象对应的第一文本和第二样品食品对象对应的第二文本分别作为训练样本训练食品分类模型，得到的食品分类模型可以对饮料、饼干、果脯、肉铺等食品均可以进行分类，因此食品分类模型具有很好的泛化能力。并且只需要人工标注饮料的包装图像的识别结果，并不需要人工标注饼干、果脯、肉铺等食品的包装图像的识别结果，因此能够降低工作量，提高食品分类模型的训练效率。

参照图3，为本申请示例性实施例提供的另一种模型训练方法的步骤流程图。如图3所示该模型训练方法，具体包括以下步骤：

S301，获取第一包装图像对应的标注信息。

S302，提取标注信息中与第一样本食品有关联关系的关联文本。

其中，参照图1，第一文本14中包括：关联文本。关联文本是在标注信息13中提取出来的，与第一样本食品有关联关系的所有文本。

示例性地，在图1中，关联文本为“无糖依然透心凉配料：水、食品添加剂(二氧化碳、柠檬酸、柠檬酸钾、苯甲酸钠、阿斯巴甜(含苯丙氨酸)、安赛蜜、蔗糖素)、食用香精生产商：广西c饮料有限公司地址：FFFF产地：南宁市”。

此外，在本申请实施例中，关联文本可以是标注信息中与第一样本食品有关联关系的部分或者全部文本，对此可以根据实际需求设定，在此不加以限定。例如，在图1中，标注信息13中的“保质期：9个月”也为与第一样本食品有关联关系的文本，但是在第一文本14中，并未提取为关联文本。

S303，根据关联文本，确定至少一个属性信息。

其中，属性信息包括：第一样本食品的属性类型、属性类型对应的至少一个属性内容文本以及属性内容文本在关联文本中的位置信息。

具体地，第一样本食品的属性类型包括：配料、生产商、产地和/或保质期。属性内容文本为属性类型对应的具体文本。参照图1，属性信息1中，属性类型为配料时，属性内容文本为：水、食品添加剂(二氧化碳、柠檬酸、柠檬酸钾、苯甲酸钠、阿斯巴甜(含苯丙氨酸)、安赛蜜、蔗糖素)、食用香精。属性信息2中，属性类型为生产商时，属性内容文本为：广西c饮料有限公司。属性信息3中，属性类型为产地时，属性内容文本为：南宁市。进一步地，属性内容文本在关联文本中的位置信息，可以是指属性内容文本的首文字在关联文本的字符位置。参照图1，属性信息1中属性内容文本的首文字为“水”，在关联文本的字符位置为12。属性信息2中属性内容文本的首文字为“广”，在关联文本的字符位置为69。属性信息3中的属性内容文本的首文字为“南”，在关联文本的字符位置为84。

在本申请实施例中，属性信息是对关联文本进一步的提取。提取出准确描述第一样本食品属性类型的内容文本。

S304，组合关联文本和至少一个属性信息，得到第一文本。

具体参照图1，第一文本14是关联文本和至少一个属性信息的组合。

S305，在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本。

其中，预设知识库包括：多个预设文本，以及预设文本的属性类型。

在本申请实施例中，可以在预设知识库中存储多个预设文本和预设文本的属性类型，其中，预设文本的属性类型可以是配料、生产商或产地等。其中，配料可以包括主要配料、添加剂、辅料等。此外，预设知识库还可以包括：针对不同的配料可以应用的食品的类型。如，主要配料是小麦时，食品的类型可以是饼干、面包等。主要配料为肉时，食品的类型可以是肉铺、肉干等。示例性地，参照表1，示意本申请实施例提供的预设知识库。在预设知识库中，针对不同食品类型，提供多种主要配料、食品添加剂以及辅料。其中，配料和产地为预设文本的属性类型，预设文本为具体的文本内容。

表1

在上述预设知识库中，与属性内容文本属于同一属性类型的预设文本具有多个，可以选择部分进行对应的替换。例如，图1中的配料的所有的属性内容文本“水，食品添加剂(二氧化碳、柠檬酸、柠檬酸钾、苯甲酸钠、阿斯巴甜(含苯丙氨酸)、安赛蜜、蔗糖素)、食用香精”均为待替换的内容文本，则对应的目标预设文本为表1中的“小麦、抗坏血酸、柠檬酸、乳化剂、鸡蛋”，或者“玉米粉、碳酸氢钠、天然胡萝卜素、维生素C、胡椒粉”，或者“猪肉、山梨酸及其钾盐、乳酸菌、双乙酸钠、脱氢乙酸钠、糖”，或者“青梅、甜蜜素、柠檬黄、糖”等。

若图1中的配料的部分属性内容文本“水”为待替换的内容文本，则对应的目标预设文本可以为表1中的“小麦”、或“玉米粉”、或“猪肉”或“苹果”等。

一种可选实施例中，若图1中产地对应的属性内容文本“南宁市”为待替换的内容文本，则对应的目标预设文本可以为表1中的“北京”、或“上海”、或“西安”或“深圳”等。

在本申请实施例中，不同食品类别可以对应相同的主要配料或食品添加剂或者辅料。

S306，采用目标预设文本替换第一文本中对应的属性内容文本，得到第二文本。

其中，替换是指对第一文本中对应的关联文本以及属性信息中的属性内容文本均进行替换。示例性地，参照图4，为对图1中的第一文本14替换后得到的第二文本41。

在本申请实施例中，可以对第一文本中的至少一个属性信息中至少一个属性内容文本进行替换，得到第二文本。

一种可选实施例中，若属性类型为：配料，则在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本，包括：在属性信息中，确定属于目标添加类别的属性内容文本为目标内容文本，目标添加类别包括：主要配料和/或食品添加剂；在预设知识库中，确定属于目标添加类别的预设文本为目标预设文本，目标预设文本用于替换目标内容文本。

在本申请实施例中，配料对应的属性文本内容可以是多个，如水、二氧化碳、柠檬酸等。而其他的属性信息的属性文本内容通常为一个，如产地对应的属性内容文本为南宁市，生产商对应的属性文本内容为广西c饮料有限公司。因此，本申请实施例中可以对配料对应的一个或者全部属性文本内容进行替换，对生产商、产地等对应的属性内容文本进行全部替换。

进一步地，配料还包括：多个添加类别，如、主要配料、食品添加剂和辅料。例如，在图1中，配料中的主要配料为“水”，食品添加剂为“二氧化碳、柠檬酸钾、苯甲酸钠、阿斯巴甜(含苯丙氨酸)、安赛蜜、蔗糖素”，辅料为“食用香精”。参照表1，预设知识库中的配料的添加类别，也包括：主要配料、食品添加剂和辅料。则可以将配料中的其中一个添加类别作为目标添加类别，如将主要配料“水”作为目标添加类别，只将配料中的“水”替换为“小麦”。

在本申请实施例中，可以对应得到多个第二文本，每个第二文本对应一个或者一种食品。采用第二文本训练得到的食品分类模型具有很好的泛化能力。

一种可选的实施例中，还包括：确定与第一文本中至少一个目标文字相似的相似文字，相似文字和目标文字的形状具有相似性；将相似文字作为目标预设文本，替换至少一个目标文字，得到第二文本。

其中，相似文字是目标文字的形近字，目的是模拟包装图像上的文字采用OCR技术识别错误的情况，采用相似文字替换目标文字，得到的第二文本训练食品分类模型，能够提高食品分类模型的鲁邦性。

具体地，本申请实施例，可以直接采用相似文字替换第一文本中的目标文字得到第二文本，则在训练阶段，将第一文本，上述采用属性内容文本替换得到的第二文本，以及采用相似文字替换第一文本得到第二文本分别作为训练样本训练食品分类模型。

另一种可选的实施例中，还可以在上述对属性内容文本进行替换后得到的第二文本的基础上再进行相似文字的替换，得到第三文本。则可以将第一文本，上述采用属性内容文本替换得到的第二文本，以及采用相似文字替换第一文本得到第二文本，以及第三文本分别作为训练样本训练食品分类模型。

本申请可以预先设置形近字知识库，其中，形近字知识库包括：多组形近字以及该组形近字之间的识别错误率。例如，参照表2。

表2

在本申请实施例中，可以采用相似文字随机替换第一文本或者第二文本中的目标文字，例如，对图1中的第一文本14中的目标文字进行替换，具体为采用无糖的“无”随机替换为“大”，食品添加剂的“品”随机替换为“吕”，阿斯巴甜的阿随机替换为“河”，得到的第二文本参照图5。还例如：对图4中的第二文本41中的目标文字进行替换，无糖的“无”随机替换为“大”，食品添加剂的“品”随机替换为“吕”，乳化剂的化随机替换为“|匕”，参照图6，得到的第三文本61。

S307，分别确定第一文本和第二文本对应的标签数据。

其中，第一文本对应的标签数据是对第一文本的归一化分析结果或者分类结果，第二文本对应的标签数据是对第二文本的归一化分析结果或者分类结果。

具体地，归一化分析结果是指标签数据可以是0或者1，例如，0可以代表无糖，1代表有糖。而分类结果指标签数据可以是0、1、2、3等。例如0表示饮料，1表示饼干，2表示肉脯，3表示果脯。

进一步地，可以根据需要的食品分类模型功能，确定标签数据。例如，若食品分类模型需要确定食品是否适合糖尿病人，则确定第一文本对应的标签数据为适合，第二文本对应的标签数据为不适合。若食品分类模型需要确定食品的食品类型，则确定第一文本对应的标签数据为饮料，第二文本对应的标签数据为饼干。在本申请实施例中，可以根据训练需要设定标签数据。其中，第一文本和第二文本具有各自的标签数据。

S308，根据第一文本、第二文本以及标签数据，训练食品分类模型，得到训练完成的食品分类模型。

其中，采用第一文本和第一文本对应的标签数据训练食品分类模型的次数大于第一次数阈值；采用第二文本和第二文本对应的标签数据训练食品分类模型的次数小于第二次数阈值，第二次数阈值小于第一次数阈值。

在本申请实施例中，若一条第一文本在经过m次的属性内容文本的替换，得到m条第二文本，每条第二文本又进行n次的目标文字的替换，则新增的训练样本为m×n条，可以采用该第一文本和该第一文本的标签数据训练k次，采用m×n条新增的训练样本每条训练L次，k大于m×n×L时，能够保证食品分类模型的鲁邦性。

进一步地，在本申请实施例中，还可以对第一文本进行O次相似文字的替换，则一条第一文本可以扩充至(1+O+m+m×n)条训练样本，即只需要人工标注一个包装图像的识别结果，便可以得到(1+O+m+m×n)条训练样本，进而能够降低人工标注识别结果的工作量，减少对标注信息的依赖，并且提高食品分类模型的训练效率，得到具有较高泛化能力和鲁邦性食品分类模型。

图7为本申请示例性实施例提供的一种包装图像的识别方法的步骤流程图。如图7所示该包装图像的识别方法，具体包括以下步骤：

S701，获取目标食品的包装图像。

在本申请实施例中，目标食品可以是任何种类的食品，如饮料、饼干、果脯以及肉脯等。目标食品的包装图像可以是采用摄像头采集的。

S702，采用图像识别技术，识别包装图像中的识别字符信息。

其中，图像识别技术如OCR技术，识别到的识别字符信息可能与包装图像上的实际字符信息有偏差。

S703，解析识别字符信息，得到文本信息。

其中，该文本信息的格式如图1所示第一文本14的格式，具体解析方式可参照上述对实际字符信息的解析，在此不在赘述。

S704，将文本信息输入食品分类模型进行分类处理，得到目标食品的分类结果。

其中，食品分类模型为上述实施例中模型训练方法训练得到的。得到的分类结果如有糖或者无糖，还可以是低脂或者高脂等。

在本申请实施例中，采用上述训练得到的食品分类模型能够对各种各样目标食品的包装图像识别得到的识别字符信息进行识别，得到对应目标食品的分类结果。本申请食品分类模型具有很好的泛化能力和鲁棒性。

在本申请实施例中，除了提供一种包装图像的识别方法之外，还提供一种包装图像的识别装置，如图8所示，该包装图像的识别装置80包括：

获取模块81，用于获取目标食品的包装图像；

识别模块82，用于采用图像识别技术，识别包装图像中的识别字符信息；

解析模块83，用于解析识别字符信息，得到文本信息，文本信息的语义是对目标食品的描述；

处理模块84，用于将文本信息输入食品分类模型进行分类处理，得到目标食品的分类结果，食品分类模型为根据上述实施例中模型训练方法训练得到的。

本申请实施例提供的包装图像的识别装置，通过采用上述训练得到的食品分类模型能够对各种各样目标食品的包装图像识别得到的识别字符信息进行识别，得到对应目标食品的分类结果。

此外，本申请实施例还提供一种模型训练装置(未示出)，该模型训练装置包括：

获取模块，用于获取第一包装图像对应的标注信息，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像；

解析模块，用于解析标注信息，得到第一文本，第一文本的语义是对第一样本食品的描述；

替换模块，用于采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；

训练模块，用于根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。

在一可选实施例中，解析模块具体用于：提取标注信息中与第一样本食品有关联关系的关联文本；根据关联文本，确定至少一个属性信息，属性信息包括：第一样本食品的属性类型、属性类型对应的至少一个属性内容文本以及属性内容文本在关联文本中的位置信息；组合关联文本和至少一个属性信息，得到第一文本。

在一可选实施例中，替换模块具体用于：在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本，预设知识库包括：多个预设文本，以及预设文本的属性类型；采用目标预设文本替换第一文本中对应的属性内容文本，得到第二文本。

在一可选实施例中，若属性类型为：配料，则替换模块在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本时，具体用于：在属性信息中，确定属于目标添加类别的属性内容文本为目标内容文本，目标添加类别包括：主要配料和/或食品添加剂；在预设知识库中，确定属于目标添加类别的预设文本为目标预设文本，目标预设文本用于替换目标内容文本。

在一可选实施例中，替换模块还用于：确定与第一文本中至少一个目标文字相似的相似文字，相似文字和目标文字的形状具有相似性；将相似文字作为目标预设文本，替换至少一个目标文字，得到第二文本。

在一可选实施例中，训练模块具体用于：分别确定第一文本和第二文本对应的标签数据，第一文本对应的标签数据是对第一文本的归一化分析结果或者分类结果，第二文本对应的标签数据是对第二文本的归一化分析结果或者分类结果；根据第一文本、第二文本以及标签数据，训练食品分类模型，得到训练完成的食品分类模型；其中，采用第一文本和第一文本对应的标签数据训练食品分类模型的次数大于第一次数阈值；采用第二文本和第二文本对应的标签数据训练食品分类模型的次数小于第二次数阈值，第二次数阈值小于第一次数阈值。

在本申请实施例提供的模型训练装置，能够减少对标注信息的依赖，并且能够训练得到具有很好泛化能力和鲁棒性的食品分类模型。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图9为本申请示例性实施例提供的一种电子设备的结构示意图。该电子设备用于运行上述模型训练方法和包装图像的识别方法。如图9所示，该电子设备包括：存储器94和处理器95。

存储器94，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。该存储器94可以是对象存储(Object Storage Service，OSS)。

存储器94可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器95，与存储器94耦合，用于执行存储器94中的计算机程序，以用于：获取第一包装图像对应的标注信息，标注信息为第一包装图像上的实际字符信息，第一包装图像为第一样本食品的包装图像；解析标注信息，得到第一文本，第一文本的语义是对第一样本食品的描述；采用目标预设文本对第一文本进行至少部分替换，得到第二文本，目标预设文本与第一文本具有关联关系，第二文本的语义是对第二样本食品的描述；根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型。

进一步可选地，处理器95在解析标注信息，得到第一文本时，具体用于：提取标注信息中与第一样本食品有关联关系的关联文本；根据关联文本，确定至少一个属性信息，属性信息包括：第一样本食品的属性类型、属性类型对应的至少一个属性内容文本以及属性内容文本在关联文本中的位置信息；组合关联文本和至少一个属性信息，得到第一文本。

进一步可选地，处理器95在采用目标预设文本对第一文本进行至少部分替换，得到第二文本时，具体用于：在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本，预设知识库包括：多个预设文本，以及预设文本的属性类型；采用目标预设文本替换第一文本中对应的属性内容文本，得到第二文本。

进一步可选地，处理器95在预设知识库中，确定与至少一个属性内容文本属于同一属性类型的预设文本为目标预设文本时，具体用于：在属性信息中，确定属于目标添加类别的属性内容文本为目标内容文本，目标添加类别包括：主要配料和/或食品添加剂；在预设知识库中，确定属于目标添加类别的预设文本为目标预设文本，目标预设文本用于替换目标内容文本。

进一步可选地，处理器95还用于确定与第一文本中至少一个目标文字相似的相似文字，相似文字和目标文字的形状具有相似性；将相似文字作为目标预设文本，替换至少一个目标文字，得到第二文本。

进一步可选地，处理器95在根据第一文本和第二文本，训练食品分类模型，得到训练完成的食品分类模型时，具体用于：分别确定第一文本和第二文本对应的标签数据，第一文本对应的标签数据是对第一文本的归一化分析结果或者分类结果，第二文本对应的标签数据是对第二文本的归一化分析结果或者分类结果；根据第一文本、第二文本以及标签数据，训练食品分类模型，得到训练完成的食品分类模型；其中，采用第一文本和第一文本对应的标签数据训练食品分类模型的次数大于第一次数阈值；采用第二文本和第二文本对应的标签数据训练食品分类模型的次数小于第二次数阈值，第二次数阈值小于第一次数阈值。

一种可选实施例中，处理器95，与存储器94耦合，用于执行存储器94中的计算机程序，以还用于：获取目标食品的包装图像；采用图像识别技术，识别包装图像中的识别字符信息；解析识别字符信息，得到文本信息，文本信息的语义是对目标食品的描述；将文本信息输入食品分类模型进行分类处理，得到目标食品的分类结果，食品分类模型为上述的模型训练方法训练得到的。

进一步，如图9所示，该电子设备还包括：防火墙91、负载均衡器92、通信组件96、电源组件98等其它组件。图9中仅示意性给出部分组件，并不意味着电子设备只包括图9所示组件。

本申请实施例提供的电子设备，采用目标预设文本对第一包装图像上的第一文本进行至少部分替换，实现训练样本的扩充，避免需要人工对各种食品的包装图像上的字符进行标注来获得足够的训练样本，进而降低了工作人员的标注工作量，提高了模型训练的效率。并且得到的食品分类模型可以对目标食品进行准确的分类。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序/指令被处理器执行时，致使处理器实现图2、图3或图7所示方法中的步骤。

相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器实现图2、图3或图7所示方法中的步骤。

上述图9中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关文本。在一个示例性实施例中，通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图9中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现文本存储。文本可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的文本。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种模型训练方法，其特征在于，包括：

获取第一包装图像对应的标注信息，所述标注信息为所述第一包装图像上的实际字符信息，所述第一包装图像为第一样本食品的包装图像；

解析所述标注信息，得到第一文本，所述第一文本的语义是对所述第一样本食品的描述；

采用目标预设文本对所述第一文本进行至少部分替换，得到第二文本，所述目标预设文本与所述第一文本具有关联关系，所述第二文本的语义是对第二样本食品的描述；

根据所述第一文本和所述第二文本，训练食品分类模型，得到训练完成的食品分类模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述解析所述标注信息，得到第一文本，包括：

提取所述标注信息中与所述第一样本食品有关联关系的关联文本；

根据所述关联文本，确定至少一个属性信息，所述属性信息包括：所述第一样本食品的属性类型、所述属性类型对应的至少一个属性内容文本以及所述属性内容文本在所述关联文本中的位置信息；

组合所述关联文本和所述至少一个属性信息，得到所述第一文本。

3.根据权利要求2所述的模型训练方法，其特征在于，所述采用目标预设文本对所述第一文本进行至少部分替换，得到第二文本，包括：

在预设知识库中，确定与至少一个所述属性内容文本属于同一属性类型的预设文本为所述目标预设文本，所述预设知识库包括：多个预设文本，以及所述预设文本的属性类型；

采用所述目标预设文本替换所述第一文本中对应的属性内容文本，得到所述第二文本。

4.根据权利要求3所述的模型训练方法，其特征在于，若所述属性类型为：配料，则所述在预设知识库中，确定与至少一个所述属性内容文本属于同一属性类型的预设文本为所述目标预设文本，包括：

在所述属性信息中，确定属于目标添加类别的属性内容文本为目标内容文本，所述目标添加类别包括：主要配料和/或食品添加剂；

在所述预设知识库中，确定属于所述目标添加类别的预设文本为所述目标预设文本，所述目标预设文本用于替换所述目标内容文本。

5.根据权利要求3所述的模型训练方法，其特征在于，还包括：

确定与所述第一文本中至少一个目标文字相似的相似文字，所述相似文字和所述目标文字的形状具有相似性；

将所述相似文字作为所述目标预设文本，替换所述至少一个目标文字，得到所述第二文本。

6.根据权利要求1至5任一项所述的模型训练方法，其特征在于，所述根据所述第一文本和所述第二文本，训练食品分类模型，得到训练完成的食品分类模型，包括：

分别确定所述第一文本和所述第二文本对应的标签数据，所述第一文本对应的标签数据是对所述第一文本的归一化分析结果或者分类结果，所述第二文本对应的标签数据是对所述第二文本的归一化分析结果或者分类结果；

根据所述第一文本、所述第二文本以及所述标签数据，训练食品分类模型，得到训练完成的食品分类模型；

其中，采用所述第一文本和所述第一文本对应的标签数据训练所述食品分类模型的次数大于第一次数阈值，采用所述第二文本和所述第二文本对应的标签数据训练所述食品分类模型的次数小于第二次数阈值，所述第二次数阈值小于所述第一次数阈值。

7.一种包装图像的识别方法，其特征在于，包括：

获取目标食品的包装图像；

采用图像识别技术，识别所述包装图像中的识别字符信息；

解析所述识别字符信息，得到文本信息，所述文本信息的语义是对所述目标食品的描述；

将所述文本信息输入所述食品分类模型进行分类处理，得到所述目标食品的分类结果，所述食品分类模型为根据权利要求1至6任一项所述的模型训练方法训练得到的。

8.一种包装图像的识别装置，其特征在于，包括：

获取模块，用于获取目标食品的包装图像；

识别模块，用于采用图像识别技术，识别所述包装图像中的识别字符信息；

解析模块，用于解析所述识别字符信息，得到文本信息，所述文本信息的语义是对所述目标食品的描述；

处理模块，用于将所述文本信息输入所述食品分类模型进行分类处理，得到所述目标食品的分类结果，所述食品分类模型为根据权利要求1至6任一项所述的模型训练方法训练得到的。

9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如1至6任一项所述的模型训练方法或权利要求7所述的包装图像的识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，致使处理器实现如权利要求1至6任一项所述的模型训练方法或权利要求7所述的包装图像的识别方法。

Images