CN116721411B - 基于机器学习的散装零食识别方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的散装零食识别方法，引入了棋牌格的概念，通过计算散装食品在棋牌格中的尺寸特征、颜色特征和形状特征综合形成为散装食品的第一特征编码，后续通过在事先构建的散装食品特征库中匹配出与第一特征编码具有相似度的第二特征编码，并将第二特征编码对应的称重价格作为该散装食品的称重价格进行结算，实现了对散装食品类型的快速、精准地识别和便捷结算，降低了散装食品结算的出错率，同时避免了结算人员对种类繁多的散装食品的称重价格的记忆。

Description

基于机器学习的散装零食识别方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于机器学习的散装零食识别方法。

背景技术

自助结算系统在各大商超已经得到了广泛应用，自助结算系统的结算对象是携带有商品标签的具有较大尺寸的商品。散装零食类型丰富，且通常尺寸较小，若使用常规的自助结算系统通过扫取标签方式进行结算非常麻烦，也可能因为商品标签处于外包装褶皱处而难以被正常扫取，因此对于散装零食的结算，目前多采用称重方式。但称重方式依赖于结算人员对于各类型散装零食的称重价格的记忆，由于散装零食种类繁多，记忆容易出错，且当更换结算人员时，需要重新记忆，用人灵活性也较差。

发明内容

本发明以实现对散装零食方便快捷且精准识别，降低结算出错率，提高结算效率为目的，提供了一种基于机器学习的散装零食识别方法。

为达此目的，本发明采用以下技术方案：

提供一种基于机器学习的散装零食识别方法，步骤包括：

S1，计算散装食品的尺寸特征、颜色特征和形状特征后形成所述散装食品的第一特征编码；

S2，从散装食品特征库中匹配出与所述第一特征编码中的第二位和第四位编码相同的第二特征编码；

S3，判断匹配到的所述第二特征编码的数量是否为1，

若是，则提取所述第二特征编码对应的称重价格作为所述散装食品的称重价格；

若否，则转入步骤S4；

S4，对所述第一特征编码中的第一位和/或第三位的值进行取值扩充后，从所述散装食品特征库中匹配第一位和/或第三位落入所述第一特征编码中相应位扩充的取值范围，且第二位和第四位与所述第一特征编码中的第二位、第四位值相同的所述第二特征编码；

S5，判断匹配到的所述第二特征编码的数量是否为0，

若是，则赋予所述第一特征编码对应的所述称重价格，然后形成所述称重价格与所述第一特征编码的绑定关系更新到所述散装食品特征库中；

若否，则提取各所述第二特征编码分别对应的所述称重价格，并将提取的价格最小的所述称重价格作为所述散装食品的称重价格。

作为优选，步骤S1中，计算所述散装食品的所述尺寸特征的方法包括如下步骤：

A1，对结算设备采集的所述散装食品落入在棋牌格中的原始图像进行校正；

A2，识别校正图像中所述散装食品落入在棋牌区域中的像素占比以及形成所述棋牌区域的棋牌网格数量作为所述散装食品的所述尺寸特征。

作为优选，步骤A1中，对所述原始图像进行校正的方法包括步骤：

A11，识别所述棋牌格中所述散装食品落入像素最多的棋牌网格作为校正基础网格；

A12，识别出所述原始图像中的散装食品图像区域中的任一凸点；

A13，对所述原始图像中的所述散装食品图像区域进行平移，以使得所述凸点与所述校正基础网格中的左上顶点重叠；

A14，对平移后的初始图像中的所述散装食品图像区域，以所述凸点为轴心进行旋转，每旋转指定角度采集一次转后图像，直至完成一次旋转；

A15，识别出每张所述转后图像中，所述散装食品图像区域落入的棋牌网格的数量；

A16，将落入棋牌网格数量最少的所述转后图像作为校正后的所述校正图像。

作为优选，步骤A14中，完成一次旋转的方法为;

对所述初始图像，首先按逆时针以每旋转所述指定角度采集一次所述转后图像的方式旋转90°；

然后对所述初始图像，按顺时针以每旋转所述指定角度采集一次所述转后图像的方式旋转90°。

作为优选，步骤S1中，计算所述散装食品的所述颜色特征的方法包括如下步骤：

B1，识别出结算设备采集的所述散装食品落入在棋牌格中的原始图像中的散装食品图像区域的色块；

B2，计算每个所述色块的色值；

B3，计算色值最大的第一色块与色值最小的第二色块的色值差值作为所述散装食品的所述颜色特征。

作为优选，步骤B2中，所计算的色值为所述色块中的各像素点的颜色值的平均值。

作为优选，步骤S1中，计算所述散装食品的所述形状特征的方法包括如下步骤：

C1，结算设备采集所述散装食品落入在棋牌格中的原始图像；

C2，提取所述原始图像中的散装食品图像区域的轮廓；

C3，将提取的轮廓与轮廓图像库中的各轮廓进行相似度比对，并将比对到的轮廓对应的轮廓唯一编码作为所述散装食品的所述形状特征。

作为优选，所述第一特征编码和所述第二特征编码中的第二位为所述散装食品落入在棋牌格中的棋牌区域内的棋牌网格的数量；

第四位为结算设备采集的所述散装食品落入在棋牌格中的原始图像中的散装食品图像区域的轮廓对应的轮廓唯一编码；

第一位为落入在所述棋牌区域中的所述散装食品图像区域相比较所述棋牌区域的像素占比；

第三位为所述散装食品图像区域中色值最大的第一色块与色值最小的第二色块的色值差值。

本发明具有以下有益效果：

1）引入了棋牌格的概念，通过计算散装食品在棋牌格中的尺寸特征、颜色特征和形状特征综合形成为散装食品的第一特征编码，后续通过在事先构建的散装食品特征库中匹配出与第一特征编码具有相似度的第二特征编码，并将第二特征编码对应的称重价格作为该散装食品的称重价格进行结算，实现了对散装食品类型的快速、精准地识别和便捷结算，降低了散装食品结算的出错率，同时避免了结算人员对种类繁多的散装食品的称重价格的记忆。

2）针对第一特征编码中的第二位和第四位、第一位和第三位分别进行第二特征编码匹配数量的“1”、“0”判断，能够快速匹配出散装食品对应的称重价格，且经过二次匹配，确保了匹配结果的准确率。

3）提供了一套散装食品尺寸特征、颜色特征和形状特征的计算方法，该算法原理简单，以事先划分的棋牌格为参照，能够快速求解出散装食品的这3个特征并形成对应的第一特征编码，有利于提升后续与第二特征编码的相似度匹配速度，进而提高对散装食品的结算效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的基于机器学习的散装零食识别方法的实现步骤图；

图2是不同形状、尺寸的散装食品落入在结算设备的棋牌格中的示例图；

图3是对图2中的散装食品进行图像区域平移后的示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的基于机器学习的散装零食识别方法，如图1所示，包括如下步骤：

S1，计算散装食品的尺寸特征、颜色特征和形状特征后形成散装食品的第一特征编码；

S2，从散装食品特征库中匹配出与第一特征编码中的第二位和第四位编码相同的第二特征编码（第一特征编码和第二特征编码中的第二位为散装食品落入在棋牌格中的棋牌区域内的棋牌网格的数量；第四位为结算设备采集的散装食品落入在棋牌格中的原始图像中的散装食品图像区域的轮廓对应的轮廓唯一编码）；

S3，判断匹配到的第二特征编码的数量是否为1，

若是，则提取第二特征编码对应的称重价格作为散装食品的称重价格；

若否，则转入步骤S4；

S4，对第一特征编码中的第一位和/或第三位的值进行取值扩充后（取值扩充方法比如为，第一特征编码中的第一位的像素占比为50%，将其扩充为45%-55%区间，对第三位的比如大小为100的色值扩充为95-105区间），从散装食品特征库中匹配第一位和/或第三位落入第一特征编码中相应位扩充的取值范围，且第二位和第四位与第一特征编码中的第二位、第四位值相同的第二特征编码（第一特征编码和第二特征编码中的第一位为落入在棋牌区域中的散装食品图像区域相比较棋牌区域的像素占比；第三位为散装食品图像区域中色值最大的第一色块与色值最小的第二色块的色值差值）；

S5，判断匹配到的第二特征编码的数量是否为0，

若是，则赋予第一特征编码对应的称重价格，然后形成称重价格与第一特征编码的绑定关系更新到散装食品特征库中；

若否，则提取各第二特征编码分别对应的称重价格，并将提取的价格最小的称重价格作为散装食品的称重价格。

以下对本实施例提供的基于机器学习的散装零食识别方法的实现过程进行具体说明：

步骤S1中，计算散装食品的尺寸特征的方法包括如下步骤：

A1，对结算设备采集的散装食品落入在图2中所示的棋牌格中的原始图像进行校正，校正方法具体包括如下步骤：

A11，识别棋牌格中散装食品落入像素最多的棋牌网格作为校正基础网格，例如图2中所示，散装食品100落入在棋牌格的棋牌网格1、2、3、4中，该散装食品100落入像素最多的棋牌网格为棋牌网格4，则将棋牌网格4作为校正的基础网格（散装食品像素识别采用的是现有的图像识别算法，计算散装食品的像素落入相应棋牌网格的像素多少同样为现有方法，因此均不做具体说明）；

A12，识别出原始图像中的散装食品图像区域中的任一凸点，例如识别出图2中散装食品100上的凸点101（对于图像中凸点的识别采用的也是现有的算法，比如首先识别出散装食品的图像轮廓，然后计算轮廓中的每个像素点在上、下、左、右、左上、左下、右上、右下8领域内的像素悬空点的数量，根据悬空点数量可判断该像素点是否为凸点）；

A13，对原始图像中的散装食品图像区域进行平移，以使得图2中所示的凸点101与校正基础网格4中的左上顶点41重叠，平移后的初始图像请参照图3；

A14，对平移后的初始图像中的散装食品图像区域，以凸点101为轴心进行旋转，每旋转指定角度（优选为15°）采集一次转后图像，直至完成一次旋转，完成一次旋转的方法具体为；

对初始图像，首先按逆时针以每旋转指定角度采集一次转后图像的方式旋转90°；

然后对初始图像，按顺时针以每旋转指定角度采集一次转后图像的方式旋转90°；

A15，识别出每张转后图像中，散装食品图像区域落入的棋牌网格的数量，例如图3中，散装食品100的图像区域落入的棋牌网格为棋牌网格4、6、10；

A16，将落入棋牌网格数量最少的转后图像作为校正后的校正图像，例如，将图3中的散装食品100的图像区域继续逆时针旋转指定角度，可以得到散装食品100落入棋牌网格4、10。

得到校正图像后，计算散装食品的尺寸特征的方法转入步骤：

A2，识别校正图像中散装食品落入在棋牌区域中的像素占比以及形成棋牌区域的棋牌网格数量作为散装食品的尺寸特征，例如，假设以图3中所示的散装食品100的图像区域落入在棋牌网格4、6、10中的图像为校正后的校正图像，则棋牌网格4、6、10形成了散装食品100落入的棋牌区域，即形成棋牌区域的棋牌网格数量为3，而散装食品100落入在该棋牌区域中的像素占比为散装食品100的图像区域的像素面积与棋牌网格4、6、10的总网格面积的比值。

步骤S1中，计算散装食品的颜色特征的方法包括如下步骤：

B1，识别出结算设备采集的散装食品落入在棋牌格中的原始图像中的散装食品图像区域的色块（识别散装食品图像区域中的色块的方法比如为：各像素点的颜色值的差值在差值范围内的连续像素点构成的区块为一个色块）；

B2，计算每个色块的色值（为色块中的各像素点的颜色值的平均值）；

B3，计算色值最大的第一色块与色值最小的第二色块的色值差值作为散装食品的颜色特征。

此处需要说明的是，部分散装食品的外包装可能只有一个颜色，即只能识别出一个色块，对于该种情形，可以事先在该散装食品的外包装上贴附其他颜色的颜色块作为另一色块，然后计算这两个色块的色值差值即可。

步骤S1中，计算散装食品的形状特征的方法包括如下步骤：

C1，结算设备采集散装食品落入在棋牌格中的原始图像；

C2，提取原始图像中的散装食品图像区域的轮廓；

C3，将提取的轮廓与轮廓图像库中的各轮廓进行相似度比对，并将比对到的轮廓对应的轮廓唯一编码作为散装食品的形状特征。

综上，本发明具有以下有益效果：

1）引入了棋牌格的概念，通过计算散装食品在棋牌格中的尺寸特征、颜色特征和形状特征综合形成为散装食品的第一特征编码，后续通过在事先构建的散装食品特征库中匹配出与第一特征编码具有相似度的第二特征编码，并将第二特征编码对应的称重价格作为该散装食品的称重价格进行结算，实现了对散装食品类型的快速、精准地识别和便捷结算，降低了散装食品结算的出错率，同时避免了结算人员对种类繁多的散装食品的称重价格的记忆。

2）针对第一特征编码中的第二位和第四位、第一位和第三位分别进行第二特征编码匹配数量的“1”、“0”判断，能够快速匹配出散装食品对应的称重价格，且经过二次匹配，确保了匹配结果的准确率。

3）提供了一套散装食品尺寸特征、颜色特征和形状特征的计算方法，该算法原理简单，以事先划分的棋牌格为参照，能够快速求解出散装食品的这3个特征并形成对应的第一特征编码，有利于提升后续与第二特征编码的相似度匹配速度，进而提高对散装食品的结算效率。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (7)

1.一种基于机器学习的散装零食识别方法，其特征在于，步骤包括：

S1，计算散装食品的尺寸特征、颜色特征和形状特征后形成所述散装食品的第一特征编码；

S2，从散装食品特征库中匹配出与所述第一特征编码中的第二位和第四位编码相同的第二特征编码；

S3，判断匹配到的所述第二特征编码的数量是否为1，

若是，则提取所述第二特征编码对应的称重价格作为所述散装食品的称重价格；

若否，则转入步骤S4；

S4，对所述第一特征编码中的第一位和/或第三位的值进行取值扩充后，从所述散装食品特征库中匹配第一位和/或第三位落入所述第一特征编码中相应位扩充的取值范围，且第二位和第四位与所述第一特征编码中的第二位、第四位值相同的所述第二特征编码；

S5，判断匹配到的所述第二特征编码的数量是否为0，

若是，则赋予所述第一特征编码对应的所述称重价格，然后形成所述称重价格与所述第一特征编码的绑定关系更新到所述散装食品特征库中；

若否，则提取各所述第二特征编码分别对应的所述称重价格，并将提取的价格最小的所述称重价格作为所述散装食品的称重价格；

所述第一特征编码和所述第二特征编码中的第二位为所述散装食品落入在棋牌格中的棋牌区域内的棋牌网格的数量；

第四位为结算设备采集的所述散装食品落入在棋牌格中的原始图像中的散装食品图像区域的轮廓对应的轮廓唯一编码；

第一位为落入在所述棋牌区域中的所述散装食品图像区域相比较所述棋牌区域的像素占比；

第三位为所述散装食品图像区域中色值最大的第一色块与色值最小的第二色块的色值差值；

所述第一色块或所述第二色块为：散装食品图像区域中各像素点的颜色值的差值在差值范围内的连续像素点构成的区块。

2.根据权利要求1所述的基于机器学习的散装零食识别方法，其特征在于，步骤S1中，计算所述散装食品的所述尺寸特征的方法包括如下步骤：

A1，对结算设备采集的所述散装食品落入在棋牌格中的原始图像进行校正；

A2，识别校正图像中所述散装食品落入在棋牌区域中的像素占比以及形成所述棋牌区域的棋牌网格数量作为所述散装食品的所述尺寸特征。

3.根据权利要求2所述的基于机器学习的散装零食识别方法，其特征在于，步骤A1中，对所述原始图像进行校正的方法包括步骤：

A11，识别所述棋牌格中所述散装食品落入像素最多的棋牌网格作为校正基础网格；

A12，识别出所述原始图像中的散装食品图像区域中的任一凸点；

A13，对所述原始图像中的所述散装食品图像区域进行平移，以使得所述凸点与所述校正基础网格中的左上顶点重叠；

A14，对平移后的初始图像中的所述散装食品图像区域，以所述凸点为轴心进行旋转，每旋转指定角度采集一次转后图像，直至完成一次旋转；

A15，识别出每张所述转后图像中，所述散装食品图像区域落入的棋牌网格的数量；

A16，将落入棋牌网格数量最少的所述转后图像作为校正后的所述校正图像。

4.根据权利要求3所述的基于机器学习的散装零食识别方法，其特征在于，步骤A14中，完成一次旋转的方法为；

对所述初始图像，首先按逆时针以每旋转所述指定角度采集一次所述转后图像的方式旋转90°；

然后对所述初始图像，按顺时针以每旋转所述指定角度采集一次所述转后图像的方式旋转90°。

5.根据权利要求1所述的基于机器学习的散装零食识别方法，其特征在于，步骤S1中，计算所述散装食品的所述颜色特征的方法包括如下步骤：

B1，识别出结算设备采集的所述散装食品落入在棋牌格中的原始图像中的散装食品图像区域的色块；

B2，计算每个所述色块的色值；

B3，计算色值最大的第一色块与色值最小的第二色块的色值差值作为所述散装食品的所述颜色特征；

所述色块为：散装食品图像区域中各像素点的颜色值的差值在差值范围内的连续像素点构成的区块。

6.根据权利要求5所述的基于机器学习的散装零食识别方法，其特征在于，步骤B2中，所计算的色值为所述色块中的各像素点的颜色值的平均值。

7.根据权利要求1所述的基于机器学习的散装零食识别方法，其特征在于，步骤S1中，计算所述散装食品的所述形状特征的方法包括如下步骤：

C1，结算设备采集所述散装食品落入在棋牌格中的原始图像；

C2，提取所述原始图像中的散装食品图像区域的轮廓；

C3，将提取的轮廓与轮廓图像库中的各轮廓进行相似度比对，并将比对到的轮廓对应的轮廓唯一编码作为所述散装食品的所述形状特征。