CN105976407A - 一种适用于遮挡条件下的餐盘形状识别方法 - Google Patents

Abstract

本发明公开了一种适用于遮挡条件下的餐盘形状识别方法，该方法首先利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对相互遮挡的重叠餐盘目标进行有效的提取和分离。其次，根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原。然后，根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标。最后，获取各个餐盘目标完整的几何特征来进行餐盘形状判别。解决了遮挡带来的边缘信息缺失以及目标重叠问题，能够有效地对缺失的边缘信息进行复原，并且准确分离重叠餐盘目标，提高了餐盘识别的准确性，并且算法实现简单，运算效率高，实时性强。

Description

一种适用于遮挡条件下的餐盘形状识别方法

技术领域

本发明涉及快餐识别领域，特别是一种适用于遮挡条件下的餐盘形状识别方法。

背景技术

随着现代生活水平的提高，人们的消费需求也在不断发展，越来越多的食堂采用自助选菜、人工结算、刷卡支付的就餐方式。传统自助选菜式的食堂，随着就餐人流量不断增长，在消费高峰时段，结算处经常人满为患形成“长龙”。工作人员一般通过餐盘形状和颜色来判断顾客选取的菜品及价格，考虑到就餐高峰期的人流量和人工劳动力的局限，时常会出现工作人员结算消费金额出错，引起不必要的经济纠纷和损失，降低了服务水平。随着科学技术的进步，智能化食堂的建设显得尤其重要，而餐盘识别作为智能化食堂建设的关键内容，受到越来越多的关注。

为了能够有效地通过计算机对消费的菜品进行分析，从而优化食堂菜品的管理，推行自助式的智慧餐盘就具有一定的必要性了。餐盘自动识别作为食堂的智能化管理中关键的技术部分，受到越来越多的关注。通过查找专利和论文发现，餐盘识别有利用RFID射频芯片和基于图像处理两种方式。这两种餐盘识别方法都可以自动识别餐盘并获取相关数据，识别无须人工干预，操作快捷方便，极大地提升了结算效率。但是就目前的餐盘识别技术来说，还存在局限性。RFID餐盘的使用需要许多的注意事项，安装使用的成本比较高；基于图像的餐盘识别目前来说研究较少，精度和准确度还不高，受外界环境的影响较大。但是相对于RFID餐盘来说，其成本相对较小，安装便捷，在今后的研究和应用中，前景更加广阔。浙江科技学院申请的“一种餐饮自动结算系统和方法”(公开号：CN103208156A)，利用餐盘最小外接圆与最小外接矩形的比值判断餐盘形状，通过餐盘边缘颜色的H分量判断餐盘颜色，通过H分量颜色和餐盘形状来识别不同餐盘，这种方法对于餐盘的位置摆放必须有严格限制，摆放不正或者出现遮挡都无法识别餐盘；成都博约创信科技有限责任公司申请的“一种基于图像识别技术的结算方法”(公开号：CN103632463A)利用矩阵的方式进行餐盘价格计算，其中手动输入不同餐盘单价矩阵，对利用图像处理识别的餐盘信息生成消费举证，通过整两个矩阵的运算得到消费总额，该专利中并没有交待如何通过图像处理技术识别餐盘；上海海事大学申请的“基于颜色识别的餐盘自动计价方法及其系统”(公开号：CN103971471A)，通过摄像头采集餐盘底部颜色信息来识别不同餐盘进行计价，这种方法需要搭建特殊的检测平台，同时，在实际场景中，如果需要采集底部颜色信息就需要将消费者手中的餐盘放置在专门的设备上，增加了结算时间，并不能有效提高结算效率。

虽然目前已经存在利用图像处理技术来自动识别餐盘，但是，实际就餐环境中，因餐盘摆放区域的限制,图像中经常存在餐盘目标相互遮挡的问题，会造成多个餐盘目标重叠为单个目标,或单个餐盘目标边缘信息缺失，导致现有的餐盘识别方法不能进行有效识别。因此,如何准确高效地利用数字图像处理技术在实际环境中对遮挡的餐盘进行自动识别显得尤为重要。

发明内容

本发明的目的是提出一种适用于遮挡条件下的餐盘形状识别方法，涉及基于图像处理技术的遮挡下的形状检测识别方法，该方法解决了遮挡条件下餐盘目标边缘相互连接导致无法分离和提取餐盘目标的问题，有效地获取了因遮挡丢失的边缘信息

本发明的目的是通过以下技术方案来实现的：

本发明提供的适用于遮挡条件下的餐盘形状识别方法，包括以下步骤：

S1：获取餐盘图像；

S2：利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离；

S3：根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原；

S4：根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标；

S5：获取各个餐盘目标完整的几何特征来进行餐盘形状判别。

进一步，所述步骤S2中的餐盘目标的提取和分离，具体包括以下步骤：

S21：将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V通道图像；

S22：高斯滤波去除餐盘图像中的部分噪声；

S23：利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性；

S24：设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息；

进一步，所述步骤S3中的餐盘目标缺失边缘复原过程，具体包括以下步骤：

S31：设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心；

S32：根据拟合中心分布情况通过改进的DBSCAN和IOSDATA多重聚类算法对拟合中心进行聚类；

S33：根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。

进一步，所述步骤S4中的遮挡餐盘目标分离过程，具体包括以下步骤：

S41：判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧段视为目标中心边缘信息；

S42：根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。

进一步，所述步骤S5中的餐盘形状判别，具体包括以下步骤：

S51：依次提取餐盘目标的几何特征；

S52：获取餐盘目标的面积、周长和长宽比；

S53：根据面积阈值、周长阈值和长宽比阈值判别餐盘目标类型。

由于采用了上述技术方案，本发明具有如下的优点：

本发明提供的基于缺失边缘信息复原的遮挡餐盘形状识别方法，利用较完整的边缘信息拟合并分离出相互遮挡的餐盘目标进行识别的方法；该方法利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对相互遮挡的重叠餐盘目标进行有效的提取和分离。其次，根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原。然后，根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标。最后，获取各个餐盘目标完整的几何特征来进行餐盘形状判别。解决了遮挡带来的边缘信息缺失以及目标重叠问题，能够有效地对缺失的边缘信息进行复原，并且准确分离重叠餐盘目标，提高了餐盘识别的准确性，并且算法实现简单，运算效率高，实时性强。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1为餐盘识别算法流程图。

图2为餐盘拍摄平台示意图。

图3为餐盘目标的几何特征匹配自动识别流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

如图所示，本实施例提供的适用于遮挡条件下的餐盘形状识别方法，包括以下步骤：

S1：获取餐盘图像；

S2：利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离；具体包括以下步骤：

S21：将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V通道图像；

S22：高斯滤波去除餐盘图像中的部分噪声；

S23：利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性；

S24：设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息；

S3：根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原；具体包括以下步骤：

S31：设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心；

S32：根据拟合中心分布情况通过改进的DBSCAN和IOSDATA多重聚类算法对拟合中心进行聚类；

S33：根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。

S4：根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标；具体包括以下步骤：

S41：判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧段视为目标中心边缘信息；

S42：根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。

S5：获取各个餐盘目标完整的几何特征来进行餐盘形状判别，具体包括以下步骤：

S51：依次提取餐盘目标的几何特征；

S52：获取餐盘目标的面积、周长、长宽比；

S53：根据面积阈值、周长阈值、长宽比阈值判别餐盘目标类型。

实施例2

本实施例通过摄像头获取餐盘原始图像。当前图像可以由摄像机或者摄像头进行拍摄获取。为更好获取固定视角图片，给出了餐盘拍摄平台示意图，如图2所示，图2为餐盘拍摄平台示意图；图2中拍摄范围的长尾48.5厘米，宽为37厘米；摄像头距离拍摄范围的距离为43厘米。

步骤一：对亮度图像进行边缘检测，获取完整的餐盘边缘信息，主要包括以下几个方面：

2)彩色三通道的RGB图像转换HSV空间的三通道图，获取亮度V通道图像；

3)对亮度图进行利用Gauss函数对图像滤波去除图像噪声，平滑图像；

Gauss函数：

其中，g[i,j]表示高斯核函数的值，i表示空间中任意一点，j表示高斯核函数的中心点。

4)采用双阈值的Canny算法检测边缘，凡是边缘强度小于低阈值的像素点一定不是边缘特征点；边缘强度介于低阈值和高阈值之间的像素点，则要看其邻接像素中是否有超过高阈值的像素点，若有，则该像素是边缘特征，反之，则该像素点不是边缘特征点。

5)进行形态学滤波增强边缘的连续性；

6)查找最外边缘轮廓，设置边缘长度和面积阈值消除干扰边缘；

7)存储所有有效边缘点信息。

步骤二：根据中心对称性质对已有边缘信息进行缺失边缘信息复原，主要包括以下几个方面：

1)在获取的N个边缘点信息中选取n₁个像素点和n₂个像素点为宽度的弧段进行最小二乘法的椭圆拟合，其中n₁≠n₂，其中每次选取的n_i个点分别是：

1～n_i,2～n_i+1,…N-n_i+1～N,…,N～n_i-1，一共进行N次最小二乘法拟合，得到N个圆心；其中，n的取值至少是5，因为最小二乘拟合椭圆至少需要5个边缘点信息；

2)创建一个与图像大小一致的累加阵列用来存放拟合得到的椭圆中心位置，每进行一次椭圆拟合得到的椭圆中心，依照中心在图像中的坐标位置(x_i,y_i)就在该阵列相对应的x_i行y_i列处累加一个基本单位。

3)利用灰度图反映累加阵列的结果，其中，累加阵列的一个基本单位等同于单位灰度值，相应的拟合椭圆中心在灰度图中对应坐标位置的像素值就是其在累加阵列中被累加的次数。值得注意的是，灰度图的像素最大值为255，超过255次累加的拟合椭圆中心在灰度图中的灰度值表示为255。

4)拟合椭圆中心灰度图进行的二值化处理，设置一个阈值T，如果灰度图中某一点的像素值高于阈值T，则灰度值置为255，否则置为0。得到一张更接近实际椭圆中心分布的灰度图。

5)对拟合椭圆中心进行DBSCAN和IOSDATA聚类，获取实际椭圆中心点Center₁,Center₂…Center_i。具体过程如下；

①计算每一个圆心点的局部密度ρ_i和高于该点密度的最小距离。

局部密度定义公式：

其中，当d_ij-d_c＜0，χ(d_ij-d_c)＝1，否则χ(d_ij-d_c)＝0。这里d_ij为该点i到其他点j之间的距离，d_c是一个截断距离，即设置为所有点的相互距离中由小到大排列占总数2％的位置距离数值。

距离定义公式：

其中，比i点密度高的所有点的最近距离表示δ_i。对于最大密度的点其为所有点与点距离的最大值δ_i＝max_j(d_ij)。

②将所有点的密度值按照由高到低排列，设置阈值δ_min和ρ_min，如果同时满足ρ_i＞ρ_min和δ_i＞δ_min，则判断为聚类中心点。

③设置聚类分析控制参数，主要包括：期望聚类数K；每个聚类中最少样本数θ_N，一个聚类域中样本距离分布的标准差θ_s；两聚类中心之间的最小距离θ_c，可以合并的聚类中心的最多对数L，允许迭代的次数I。

④利用相似度准则进行聚类分析，自适应的进行聚类的合并与分裂。

⑤由于ISODATA算法作为无监督学习算法，经过设定的迭代次数得到合理的聚类结果，同时它能够汲取获得过程中的经验，利用在之后的迭代过程，最终可以获得理想的聚类中心，即实际餐盘图像中椭圆餐盘的目标中心。

6)通过聚类中心和部分边缘信息利用中心对称的性质获取对称的边缘信息；

椭圆中心对称几何性质：如果P_i(x_i,y_i)、P_i'(x_i',y_i')是以P₀(x₀,y₀)中心对称的两个点，则其坐标满足下式：

$\left\{\begin{array}{c}\frac{x_i+x_i^{\′}}{2}=x_0\\ \frac{y_i+y_i^{\′}}{2}=y_0\end{array}\right.;$

其中，P_i(x_i,y_i)表示椭圆中心点；P_i'(x_i',y_i')与P₀(x₀,y₀)表示椭圆边缘上中心对称的任意两点；

因此，根据上式可以求的中心对称边缘坐标P_i'(x_i',y_i')：

$\left\{\begin{array}{c}{x}_i^{\′}=2x_0-x_i\\ y_i^{\′}=2y_0-y_i\end{array}\right.$

步骤三：利用中心距离阈值进行遮挡餐盘目标分离，主要包括以下几个方面：

1)判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧段视为目标中心边缘信息；

2)根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标；

步骤四：餐盘目标形状识别，主要包括以下几个方面：

1)依次提取餐盘目标的几何特征；

2)获取餐盘目标的面积、周长、长宽比；

3)根据面积阈值、周长阈值、长宽比阈值判别餐盘目标类型；

根据分离提取的每一个餐盘目标结果，利用餐盘目标的几何特征匹配来进行餐盘形状的自动识别。对不同类型的餐盘采样设定出面积和周长阈值，通过对目标餐盘的面积、周长进行阈值范围内的判别识别形状，具体流程图如图3所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种适用于遮挡条件下的餐盘形状识别方法，其特征在于：包括以下步骤：

S1：获取餐盘图像；

S2：利用基于不同弧段迭代的最小二乘法拟合与改进DBSCAN和IOSDATA聚类算法融合对餐盘图像中相互遮挡的重叠餐盘目标进行有效的提取和分离；

S3：根据椭圆中心对称性质对餐盘目标缺失边缘进行有效的复原；

S4：根据复原的边缘信息和分离得到的餐盘中心利用最小二乘法拟合检测得到遮挡条件下的各个餐盘目标；

S5：获取各个餐盘目标完整的几何特征来进行餐盘形状判别。

2.如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于：所述步骤S2中的餐盘目标的提取和分离，具体包括以下步骤：

S21：将餐盘图像由彩色三通道的RGB图像转换为HSV空间的三通道图，获取亮度V通道图像；

S22：高斯滤波去除餐盘图像中的部分噪声；

S23：利用Canny检测算子提取图像边缘信息并进行形态学滤波增强边缘连续性；

S24：设定几何特征阈值匹配餐盘最外边缘轮廓并存储所有边缘点信息。

3.如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于：所述步骤S3中的餐盘目标缺失边缘复原过程，具体包括以下步骤：

S31：设置不同宽度的弧段进行最小二乘法迭代拟合获取椭圆目标中心；

S32：根据拟合中心分布情况通过改进的DBSCAN和IOSDATA多重聚类算法对拟合中心进行聚类；

S33：根据中心对称性质对餐盘边缘信息和聚类中心获取缺失边缘信息。

4.如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于：所述步骤S4中的遮挡餐盘目标分离过程，具体包括以下步骤：

S41：判断对应弧段拟合的椭圆中心是否落入聚类中心设定阈值范围，如果满足该弧段视为目标中心边缘信息；

S42：根据聚类中心对应的边缘信息进行最小二乘法拟合，获取椭圆餐盘目标。

5.如权利要求1所述的适用于遮挡条件下的餐盘形状识别方法，其特征在于：所述步骤S5中的餐盘形状判别，具体包括以下步骤：

S51：依次提取餐盘目标的几何特征；

S52：获取餐盘目标的面积、周长和长宽比；

S53：根据面积阈值、周长阈值和长宽比阈值判别餐盘目标类型。