CN110232358B - 一种基于图像数字识别的菜品识别方法 - Google Patents

Abstract

本发明提供一种基于图像数字识别的菜品识别方法，包括以下步骤：S1、根据摄像头模块得到的菜品数字图像进行处理，实现菜碗区域确定，完成托盘中菜碗数量的确定及菜碗区域的划分；S2、基于菜碗区域的划分，提取每个菜碗中的数字坐标，对数字坐标中的十位和个位两位数字进行分割提取；S3、确定旋转中心和旋转角度，对数字坐标进行旋转校正操作；S4、对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取，进而完成基于决策树的数字分类器设计，实现菜品识别。本申请通过建立一种可完成图像数字识别的七行式宽度特征提取的改进方法，能用于高校智能食堂菜品销售系统中的菜品有效识别，能提高菜品的识别效率。

Description

一种基于图像数字识别的菜品识别方法

技术领域

本发明涉及图像数字识别技术领域，具体涉及一种基于图像数字识别的菜品识别方法。

背景技术

随着人类社会步入智能化时代和大数据时代，传统食堂运营模式的弊端日益体现，人工点餐结算又不可避免地会造成结算错误、时间延误等诸多问题。而对于自动菜品识别计价系统，托盘和菜品的识别技术是其中的关键。目前，基于数字识别的菜品识别技术，是在菜碗的边缘印上两位数字，用两位数字来代替不同的菜品，通过识别数字来判断托盘中的菜品，并进行计价，识别种类可达99种。但是，本发明的发明人经过研究发现，现有技术对于数字特征的提取，通常采用左右轮廓算法对图像进行均匀的抽样提取来实现对字符边缘的提取，分别提取出左右轮廓的特征，其并没有有效利用印刷数字结构简单的特点。

发明内容

针对现有菜品识别技术并没有有效利用印刷数字结构简单的特点的技术问题，本发明提供一种基于图像数字识别的菜品识别方法，该方法能更好地实现数字特征提取，可适用于高校智能食堂菜品销售系统中的自动菜品识别。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于图像数字识别的菜品识别方法，所述方法包括以下步骤：

S1、根据摄像头模块得到的菜品数字图像进行处理，实现菜碗区域确定，完成托盘中菜碗数量的确定及菜碗区域的划分；

S2、基于菜碗区域的划分，提取每个菜碗中的数字坐标，对数字坐标中的十位和个位两位数字进行分割提取；

S3、确定旋转中心和旋转角度，对数字坐标进行旋转校正操作；

S4、对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取，进而完成基于决策树的数字分类器设计，实现菜品识别。

与现有技术相比，本发明提供的基于图像数字识别的菜品识别方法，为了更好地实现数字特征的提取，借鉴左右轮廓特征的思想并有效利用印刷数字结构简单的特点，建立了一种可完成图像数字识别的七行式宽度特征提取的改进方法，对于自动菜品识别计价系统有很大的帮助，能用于在智能食堂菜品销售系统中的菜品有效识别，在高校智能食堂背景下能够提高菜品的识别效率。

进一步，所述所述步骤S1中菜碗数量的确定包括以下步骤：首先假设菜碗的形状是圆形，对菜品数字图像从左往右扫描，第一次出现颜色跳变的点为O₁；同理，从右往左、从上往下、从下往上扫描依次得到第一次颜色跳变的点为O₂、O₃、O₄，则托盘中菜碗数量由下式(1)确定：

式中，N^c为托盘中菜碗数量，R为菜碗的外半径。

进一步，所述步骤S1中菜碗区域的划分包括以下步骤：根据颜色跳变点和菜碗的外半径R确定菜碗的中心点O'，进而确定每个菜碗包含的区域；

O'＝O±R 式(2)

则菜碗的区域A即为：

A＝{(x,y)|(x-O'_x)²+(y-O'_y)²≤R²} 式(3)

式中，O为颜色跳变点，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标。

进一步，所述步骤S2中对数字坐标中的十位和个位两位数字坐标进行分割提取包括以下步骤：

S21、根据下式划分出菜碗的边缘区域A₁：

式中，R₁为菜碗的内半径，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标，R为菜碗的外半径；

S22、在边缘区域A₁中分别根据两位数字的十位和个位颜色提取数字，即

式中，S为两位数字中十位的坐标点集合，G为两位数字中个位的坐标点集合，(h,s,v)_(x,y)为(x,y)点的HSV值，hsv_S为十位数字颜色HSV值集合，hsv_G为个位数字颜色HSV值集合。

进一步，所述步骤S3中确定旋转中心和旋转角度，对数字坐标进行旋转校正操作包括以下步骤：

S31、将菜碗的中心点O'作为旋转中心，按下式计算得到各个象限的旋转角度

其中，

式中，tan^-1为反正切函数，Z为待旋转数字的中心坐标，x为横坐标，y为纵坐标，Num'为坐标点个数；

S32、按以下坐标旋转公式对数字坐标进行旋转处理：

其中，

式中，O'_x为中心点横坐标，O'_y为中心点纵坐标，l为数字坐标点M到旋转中心O'的距离，α为MO'与X轴的夹角，

为旋转角度，(x,y)为数字坐标点M旋转前的坐标，(x',y')为数字坐标点M旋转为点M'后的坐标。

进一步，所述步骤S4中对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取包括以下步骤：

S41、将数字按高度从上至下均匀分为七行，以每一行中数字坐标的宽度作为数字的宽度特征，该数字的宽度特征定义如下：

L(i)＝right(i)-left(i) 式(12)

式中，right(i)为数字第i行最右侧的边界点，left(i)为数字第i行最左侧的边界点；

S42、设数字的高度为Hight：

Hight＝|y_max-y_min| 式(13)

式中，y_max为数字纵坐标中的最大值，y_min为数字纵坐标中的最小值；

对宽度特征标准化后得：

式中，l(i)为标准化后的宽度特征。

进一步，所述数字特征提取还包括如下定义第八个特征：

l(8)＝right(1)-right(2) 式(15)

式中，right(1)为数字第1行最右侧的边界点，right(2)为数字第2行最右侧的边界点。

附图说明

图1是本发明提供的基于图像数字识别的菜品识别方法流程示意图。

图2是本发明提供的数字坐标旋转角度示意图。

图3是本发明提供的数字坐标点旋转示意图。

图4是本发明提供的数字5和7的七行式宽度特征对比示意图。

图5是本发明提供的数字0～9的七行式宽度特征对比示意图。

图6是本发明提供的决策树数字分类估计示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

请参考图1至图6所示，本发明提供一种基于图像数字识别的菜品识别方法，所述方法包括以下步骤：

S1、根据摄像头模块如OV5640得到的菜品数字图像进行处理，实现菜碗区域确定，完成托盘中菜碗数量的确定及菜碗区域的划分；

S2、基于菜碗区域的划分，提取每个菜碗中的数字坐标，对数字坐标中的十位和个位两位数字进行分割提取；

S3、确定旋转中心和旋转角度，对数字坐标进行旋转校正操作；

S4、对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取，进而完成基于决策树的数字分类器设计，实现菜品识别。

与现有技术相比，本发明提供的基于图像数字识别的菜品识别方法，为了更好地实现数字特征的提取，借鉴左右轮廓特征的思想并有效利用印刷数字结构简单的特点，建立了一种可完成图像数字识别的七行式宽度特征提取的改进方法，对于自动菜品识别计价系统有很大的帮助，能用于在智能食堂菜品销售系统中的菜品有效识别，在高校智能食堂背景下能够提高菜品的识别效率。

作为具体实施例，所述步骤S1中实现菜碗区域的确定包括以下步骤：首先假设菜碗的形状是圆形，由于菜碗的直径可以测得，因此只要确定了菜碗的圆心，即可确定菜碗的区域。基于此前提条件，包括以下完成菜碗数量的确定及菜碗区域的划分两个步骤。

作为具体实施例，所述步骤S1中菜碗数量的确定包括以下步骤：首先假设菜碗的形状是圆形，对菜品数字图像从左往右扫描，第一次出现颜色跳变的点为O₁；同理，从右往左、从上往下、从下往上扫描依次得到第一次颜色跳变的点为O₂、O₃、O₄，则托盘中菜碗数量由下式(1)确定：

式中，N^c为托盘中菜碗数量，R为菜碗的外半径。

作为具体实施例，所述步骤S1中菜碗区域的划分包括以下步骤：确定托盘中菜碗的数量之后，即可根据颜色跳变点和菜碗的外半径R确定菜碗的中心点O'，进而确定每个菜碗包含的区域；

O'＝O±R 式(2)

则菜碗的区域A即为：

A＝{(x,y)|(x-O'_x)²+(y-O'_y)²≤R²} 式(3)

式中，O为颜色跳变点，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标。

作为具体实施例，划分出每个菜碗的区域之后，进而需要提取每个菜碗中的数字坐标，为了防止菜碗中菜品对数字提取的影响，本申请将数字印制在菜碗的边缘，因此首先需要划分出菜碗的边缘区域；之后为了便于对数字的十位和个位分别提取，本申请将数字的十位和个位分别用不同的颜色表示，若有n位数字需要提取，只需选择n种颜色进行表示即可。通过测量可以知道菜碗中用于盛放菜品的区域的半径，因此所述步骤S2中对数字坐标中的十位和个位两位数字坐标进行分割提取包括以下步骤：

S21、根据下式划分出菜碗的边缘区域A₁：

式中，R₁为菜碗的内半径，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标，R为菜碗的外半径；

S22、在边缘区域A₁中分别根据两位数字的十位和个位颜色提取数字，即

式中，S为两位数字中十位的坐标点集合，G为两位数字中个位的坐标点集合，(h,s,v)_(x,y)为(x,y)点的HSV(即色调H、饱和度S和明度V)值，hsv_S为十位数字颜色HSV值集合，hsv_G为个位数字颜色HSV值集合。

作为具体实施例，当图像中的数字位于菜碗中心点的正上方时，数字处于正位置，然而在实际的打菜过程中，菜碗的摆放位置是随意的，因此数字也常常不在正位置处，因此不利于数字的识别，此时首先需要对数字坐标进行旋转校正操作。而进行旋转校正操作时，首先需要确定旋转中心和旋转角度，而本领域技术人员容易知晓，旋转中心即为菜碗的中心点O'。以位于第一象限的数字旋转校正为例，请参考图2所示，Z为待旋转数字的中心坐标，

为旋转角度，则有：

据此，所述步骤S3中确定旋转中心和旋转角度，对数字坐标进行旋转校正操作包括以下步骤：

S31、将菜碗的中心点O'作为旋转中心，按下式计算得到各个象限的旋转角度

其中，

式中，tan^-1为反正切函数，Z为待旋转数字的中心坐标，x为横坐标，y为纵坐标，Num'为坐标点个数；

S32、求得旋转角度

后，即可对数字坐标进行旋转处理，以第一象限的数字坐标点M旋转为点M'为例推导坐标旋转公式，坐标旋转示意图请参考图3所示，设：(x,y)为数字坐标点M旋转前的坐标，(x',y')为数字坐标点M旋转为点M'后的坐标，l为数字坐标点M到旋转中心O'的距离，α为MO'与X轴的夹角，

为旋转角度(可由前式(6)计算得到)，即有：

则对数字坐标进行旋转处理的坐标旋转公式为：

式中，O'_x为中心点横坐标，O'_y为中心点纵坐标。

作为具体实施例，本发明需要识别的数字属于印刷体，因此其形状大小固定，结构较为简单，左右轮廓特征能够较好反映印刷字体的主要特征，且计算较为简单。现有的左右轮廓算法通过对图像进行均匀的抽样提取来实现对字符边缘的提取，分别提取出左、右轮廓的特征，然而并没有有效利用好印刷数字结构简单的特点，而本发明借鉴左右轮廓特征的思想，提出了一种七行式宽度特征提取方法。具体地，所述步骤S4中对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取包括以下步骤：

S41、将数字按高度从上至下均匀分为七行，以每一行中数字坐标的宽度作为数字的宽度特征，该数字的宽度特征定义如下：

L(i)＝right(i)-left(i) 式(12)

式中，right(i)为数字第i行最右侧的边界点，left(i)为数字第i行最左侧的边界点；

S42、设数字的高度为Hight：

Hight＝|y_max-y_min| 式(13)

式中，y_max为数字纵坐标中的最大值，y_min为数字纵坐标中的最小值；

对宽度特征标准化后得：

式中，l(i)为标准化后的宽度特征。

作为具体实施方式，以数字5和7为例，具体请参考图4所示。由图4可可以看出，数字5和7第一部分(即第一行)的宽度特征均较大，而第二部分、第三部分、第五部分、第六部分的宽度特征均较小；但是在第四部分和第七部分，两个数字存在明显差别，数字5的宽度特征较大，而数字7的宽度特征均较小，因此可以通过第四部分和第七部分的宽度特征来区别数字5和7。

而本申请的发明人经过进一步研究发现，由于数字3和5的七行宽度特征很相近，按照前述方法很容易产生误识别，因而为了能够准确区分出数字3和5，还需要提取新的特征。而本申请的发明人经过进一步分析得出，数字3第一行和第二行的右边界点相距很远，而数字5第一行和第二行的右边界点则相距很远。据此，作为优选实施例，所述数字特征提取还包括如下定义第八个特征：

l(8)＝right(1)-right(2) 式(15)

式中，right(1)为数字第1行最右侧的边界点，right(2)为数字第2行最右侧的边界点。

至此，根据图5所示及公式(14)和(15)可以总结出数字0～9的改进式七行宽度特征，具体见下表1。

表1数字0～9的改进式七行宽度特征

在上述表1中，字母a表示较短宽度，字母b表示中等宽度，字母c表示较长宽度，即a、b、c的宽度特征的宽度依次增大。

本发明采用的改进式七行宽度特征，每个数字每一行的宽度值即为属性值，即共有24种属性，对每种属性的数字统计如下表2所示。

表2改进式七行特征数字的分布

表2中，带下划线的数字表示可能在不同属性同时出现。

根据所述表2，建立的决策树数字分类估计如图6所示。具体地，图6中分支上的数字为按选择的属性分类后所得到的数字，属性(x,y)表示数字x行的宽度属性为y，如属性(4,a)表示第4行宽度属性为a。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于图像数字识别的菜品识别方法，其特征在于，所述方法包括以下步骤：

S1、根据摄像头模块得到的菜品数字图像进行处理，实现菜碗区域确定，完成托盘中菜碗数量的确定及菜碗区域的划分；

S2、基于菜碗区域的划分，提取每个菜碗中的数字坐标，对数字坐标中的十位和个位两位数字进行分割提取；

S3、确定旋转中心和旋转角度，对数字坐标进行旋转校正操作；

S4、对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取，进而完成基于决策树的数字分类器设计，实现菜品识别；

其中，所述步骤S4中对数字坐标进行宽度特征标准化，建立一种七行式宽度特征提取方法完成数字特征提取包括以下步骤：

S41、将数字按高度从上至下均匀分为七行，以每一行中数字坐标的宽度作为数字的宽度特征，该数字的宽度特征定义如下：

L(i)＝right(i)-left(i) 式(12)

式中，right(i)为数字第i行最右侧的边界点，left(i)为数字第i行最左侧的边界点；

S42、设数字的高度为Hight：

Hight＝|y_max-y_min| 式(13)

式中，y_max为数字纵坐标中的最大值，y_min为数字纵坐标中的最小值；

对宽度特征标准化后得：

式中，l(i)为标准化后的宽度特征。

2.根据权利要求1所述的基于图像数字识别的菜品识别方法，其特征在于，所述步骤S1中菜碗数量的确定包括以下步骤：首先设置菜碗的形状是圆形，对菜品数字图像从左往右扫描，第一次出现颜色跳变的点为O₁；同理，从右往左、从上往下、从下往上扫描依次得到第一次颜色跳变的点为O₂、O₃、O₄，则托盘中菜碗数量由下式(1)确定：

式中，N^c为托盘中菜碗数量，R为菜碗的外半径。

3.根据权利要求2所述的基于图像数字识别的菜品识别方法，其特征在于，所述步骤S1中菜碗区域的划分包括以下步骤：根据颜色跳变点和菜碗的外半径R确定菜碗的中心点O'，进而确定每个菜碗包含的区域；

O'＝O±R 式(2)

则菜碗的区域A即为：

A＝{(x,y)(x-O'_x)²+(y-O'_y)²≤R²} 式(3)

式中，O为颜色跳变点，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标。

4.根据权利要求1所述的基于图像数字识别的菜品识别方法，其特征在于，所述步骤S2中对数字坐标中的十位和个位两位数字坐标进行分割提取包括以下步骤：

S21、根据下式划分出菜碗的边缘区域A₁：

式中，R₁为菜碗的内半径，x为横坐标，y为纵坐标，O'_x为中心点横坐标，O'_y为中心点纵坐标，R为菜碗的外半径；

S22、在边缘区域A₁中分别根据两位数字的十位和个位颜色提取数字，即

式中，S为两位数字中十位的坐标点集合，G为两位数字中个位的坐标点集合，(h,s,v)_(x,y)为(x,y)点的HSV值，hsv_S为十位数字颜色HSV值集合，hsv_G为个位数字颜色HSV值集合。

5.根据权利要求1所述的基于图像数字识别的菜品识别方法，其特征在于，所述步骤S3中确定旋转中心和旋转角度，对数字坐标进行旋转校正操作包括以下步骤：

S31、将菜碗的中心点O'作为旋转中心，按下式计算得到各个象限的旋转角度

其中，

式中，tan^-1为反正切函数，Z为待旋转数字的中心坐标，x为横坐标，y为纵坐标，Num'为坐标点个数；

S32、按以下坐标旋转公式对数字坐标进行旋转处理：

其中，

式中，O'_x为中心点横坐标，O'_y为中心点纵坐标，l为数字坐标点M到旋转中心O'的距离，α为MO'与X轴的夹角，

为旋转角度，(x,y)为数字坐标点M旋转前的坐标，(x',y')为数字坐标点M旋转为点M'后的坐标。

6.根据权利要求1所述的基于图像数字识别的菜品识别方法，其特征在于，所述数字特征提取还包括如下定义第八个特征：

l(8)＝right(1)-right(2) 式(15)

式中，right(1)为数字第1行最右侧的边界点，right(2)为数字第2行最右侧的边界点。

Images