CN110008968A - 一种基于图像视觉的机器人结算自动触发方法 - Google Patents

Abstract

本发明公开了一种基于图像视觉的机器人结算自动触发方法。在现有自动识别系统获取图片因外界人或物干扰因素直接导致图像质量不够清晰，从而影响结算准确性。本发明是利用摄像头对目标物所在的识别区域进行拍摄，获取目标图像，将目标图像经过图像处理、边缘特征和颜色特征提取后与已预存的初始图像数据比对，根据数据比对结果，确定是否触发结算程序。本发明用于图像识别过程中。

Description

一种基于图像视觉的机器人结算自动触发方法

技术领域

本发明涉及一种触发方法，具体涉及一种基于图像视觉的机器人结算自动触发方法。

背景技术

随着人工智能的高速发展，物品识别自动化成为一个新的智能识别方式，并该自动化识别方式已经渗透到餐饮、物流、医疗、金融等较多领域中，民以食为天，在餐饮行业中结算工作重复、集中且繁密，需要消耗大量人力物力财力，急需一个智能化的结算系统，准确高效便捷进行结算。视觉智能机器人，通过“眼睛”，就可以识别出结算区域是否有待结算菜品，最主要的是，这样的机器人设备，自动触发后可智能进行结算等一系列动作，正确识别出可结算菜品，是保证结算准确率的前提。

目前，识别装置已经涉及餐饮行业，人工智能结算过程中存在不合格的数据误导结算结果，归根结底是在利用自动化识别已采集图像过程中，获取图片的图像质量因种种原因导致不够清晰，例如餐盘放置不妥当、不到位、消费者双手未脱离餐盘等等各种外界人或物干扰因素直接导致图像采集的质量不够清晰，从而影响结算准确性。现有技术大多利用重力传感器，接近开关，光学传感器，但是依然无法保证图像质量，这一技术难题亟待解决。

发明内容

针对上述问题，本发明公开了一种基于图像视觉的机器人结算自动触发方法。

本发明所采用的技术方案为：

一种基于图像视觉的机器人结算自动触发方法，所述机器人结算自动触发方法是利用摄像头对目标物所在的识别区域进行拍摄，获取目标图像，将目标图像经过图像处理、边缘特征和颜色特征提取后与已预存的初始图像数据比对，根据数据比对结果，确定是否触发结算程序。

作为优选方案：图像处理是将目标图像依次经过图片灰度处理和图片去噪处理；

图片灰度处理：将目标图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

公式(1)中Gray为灰度特征值，B、G、R分别为蓝、绿、红分量值；

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的目标图像消除噪声。

作为优选方案：特征提取包括对图像处理后的目标图像进行边缘提取：

设定适用于识别区域的双阈值分别为Th1和Th2，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝atan2(G_y,G_x) (3)

其中G_x和G_y分别为水平和垂直方向的差分，θ为梯度角度；

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对目标图像提取图片边缘像素点的过程，获取目标图像的边缘特征值。

作为优选方案：特征提取包括对图像处理后的目标图像进行色彩提取：

色彩提取为利用迭代器遍历分离目标图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，Y表示明亮度，也就是灰度值；U和V分别表示第一色度值和第二色度值，R、G、B分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B均为0-255整数；

根据公式(5)～(10)计算后获取目标图像的颜色特征值。

作为优选方案：初始图像数据为识别区域内处于无物体进入空状态时的边缘特征值和颜色特征值，初始图像经过图像处理和特征提取后获取初始图像的边缘特征值和颜色特征值，即确定边缘相似度阈值和颜色相似度阈值。

作为优选方案：将目标图像通过特征提取得到的边缘特征值与初始图像的边缘特征值进行特征相似度比对：

当目标图像的边缘特征值超出边缘相似度阈值时，表示目标图像处于边界侵占，结果错误，无需启动结算程序，直接返回初始状态；

当目标图像的边缘特征值未超出边缘相似度阈值时，表示目标图像处于边界未侵占，进入图像颜色特征值比对。

作为优选方案：图像颜色特征值比对为将目标图像通过特征提取得到的颜色特征值与初始图像的颜色特征值进行特征相似度比对：

当目标图像通过特征提取得到的颜色特征值小于颜色相似度阈值时，则表示无目标物进入，无需启动结算程序，直接返回初始状态；

当目标图像通过特征提取得到的目标颜色特征值大于颜色相似度阈值时，表示识别区域内有目标物进入并且目标物的边缘没有被侵占，启动拍照后触发结算程序。

作为优选方案：高斯滤波消除噪声是利用2D高斯滤波模板3核矩阵卷积扫描目标图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

作为优选方案：RGB取值范围均为0-255。

作为优选方案：边缘相似度阈值为50，颜色相似度阈值为30。

本发明的有益效果为：

一、本发明为一种触发结算的方法，该方法能够对图像进一步提取特征，得到待处理图片，处理方式更加符合人工视觉的思维方式，相对于目前的人为识别的方法，提高了目标物识别的效率和正确性，降低了识别成本和劳动强度。

二、本发明用于餐饮结算时，提高了对菜品获取的信息量以及菜品的识别准确率，本发明能够对菜品进行自动识别并触发后续机器人结算总价格，具有自动化程度高、测量准确及效率高的优点；相对于目前的人为识别的方法，提高了菜品识别的效率和正确性，降低了识别成本和劳动强度。

三、本发明用于现有DRC机器人收银员产品中，其基本功能为：通过摄像头视觉技术来代替传统硬件传感器，触发菜品识别拍照功能，从而简化结构及硬件设计。通过本方法可判断餐盘是否放置妥当，消费者是否将双手离开摄像头视域，判断所摄图像是否满足触发菜品识别算法要求。

四、本发明不但适用于餐饮行业中的餐品结算，还适用于物流、医疗、金融或其他涉及识别结算的行业中。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1为本发明的流程示意图；

图2为本发明适用于餐饮行业中触发结算前的流程示意图；

图3为本发明适用于餐饮行业中的第一应用场景图，图中识别区域处于空状态；

图4为本发明适用于餐饮行业中的第二应用场景图，图中拍摄识别区域中的识别图像为无效状态；

图5为本发明适用于餐饮行业中的第三应用场景图，图中拍摄识别区域中的识别图像为有效状态。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

具体实施方式一：如图1所示，本实施方式中在识别区域处于空置状态下，利用摄像头对识别区域进行拍摄，形成初始图像，将初始图像经过图像处理和特征提取后保存；摄像头为高清定焦摄像头；

将初始图像的图像处理将初始图像的一帧数据依次经过图片灰度处理和图片去噪处理；

图片灰度处理：将初始图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

其中Gray为灰度特征值，B、G、R分别为蓝绿红分量值；

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的初始图像消除噪声。通过上述图像处理过程能够获得更可靠的图像，为下一步特征提取提供可靠的图像数据基础。

进一步的，特征提取包括对图像处理后的初始图像进行边缘提取：

设定适用于识别区域的双阈值分别为Th1和Th2，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝atan2(G_y,G_x) (3)

其中G_x和G_y分别为水平和垂直方向的差分，θ为梯度角度；

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对初始图像提取图片边缘像素点的过程，获取初始图像中识别区域的边缘特征值。

进一步的，特征提取包括对图像处理后的初始图像进行色彩提取：

色彩提取为利用迭代器遍历分离初始图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，R(red)、G(green)、B(blue)分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B为0-255整数。

计算后获取初始图像中的识别区域的颜色特征值。保存初始图像中识别区域的边缘特征值和颜色特征值

进一步的，目标图像经过图像处理和特征提取过程与初始图像相同。

具体实施方式二：本实施方式为具体实施方式一的进一步限定，本实施方式中利用摄像头对识别区域处的目标物进行拍摄，获取目标图像，

将目标图像进行图像处理，图像处理是将目标图像的一帧数据依次经过图片灰度处理和图片去噪处理；

图片灰度处理：将目标图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

其中Gray为灰度特征值，B,G,R为蓝绿红分量值；

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的目标图像消除噪声；

进一步的，特征提取包括对图像处理后的目标图像进行边缘提取：

设定适用于目标物所在识别区域的双阈值分别为Th1和Th2，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝atan2(G_y,G_x) (3)

其中G_x和G_y分别为水平和垂直方向的差分，θ为梯度角度；

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对目标图像提取图片边缘像素点的过程，获取目标图像的边缘特征值。

进一步的，特征提取包括对图像处理后的目标图像进行色彩提取：

色彩提取为利用迭代器遍历分离目标图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，R(red)、G(green)、B(blue)分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B为0-255整数。

计算后获取目标图像的颜色特征值。

进一步的，初始图像数据为识别区域内处于无物体进入时的边缘特征值和颜色特征值，初始图像经过图像处理和特征提取后获取初始图像的边缘特征值和颜色特征值，即确定边缘相似度阈值和颜色相似度阈值。

进一步的，将目标图像通过特征提取得到的边缘特征值与初始图像的边缘特征值进行特征相似度比对；

当目标图像的边缘特征值超出边缘相似度阈值时，表示目标图像处于边界侵占，结果错误，无需启动结算程序，直接返回初始状态；

当目标图像的边缘特征值未超出边缘相似度阈值时，表示目标图像处于边界未侵占，进入图像颜色特征值比对。

进一步的，图像颜色特征值比对为将目标图像通过特征提取得到的颜色特征值与初始图像的颜色特征值进行特征相似度比对；

当目标图像通过特征提取得到的颜色特征值小于颜色相似度阈值时，则表示无目标物进入，无需启动结算程序，直接返回初始状态；

当目标图像通过特征提取得到的目标颜色特征值大于颜色相似度阈值时，表示识别区域内有目标物进入并且目标物的边缘没有被侵占，启动拍照后触发结算程序。

进一步的，高斯滤波消除噪声是利用2D高斯滤波模板3核矩阵卷积扫描目标图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

进一步的，RGB各有256级亮度，用数字表示为从0、1、2...直到255，RGB取值范围均为0-255。

进一步的，边缘相似度阈值取，最小餐盘边缘特征×20％取整为50：

ThresholdLength＝MinLength×20％

其中ThresholdLength为边缘阈值，MinLength为最小餐盘边缘像素值。

颜色相似度阈值为RGB像素点颜色特征平均熵取整为30：

上式中平均熵函数为H，m为概率测度。

边缘相似度阈值和颜色相似度阈值能保证颜色识别的精度和底框边缘识别的算法效率，提升了图像识别的准确度和速度。

具体实施方式三：本实施方式为具体实施方式一或二的进一步限定，本方法用于餐饮行业中时，由于餐盘形状信息明显，菜品细节丰富，所以去噪方式选用基于正态分布的高斯滤波，选用2D高斯滤波模板3核矩阵卷积以消除噪声。涉及的公式如下：

高斯平滑处理：

其中i，j表示的就是当前点到对应点的距离,σ是正态分布的标准偏差。

高斯3核矩阵：

[[0.0625 0.125 0.0625]

[0.125 0.25 0.125]

[0.0625 0.125 0.0625]]

通过上述图像处理过程能够获得更可靠的图像。

具体实施方式四：本实施方式为具体实施方式一、二或三的进一步限定，在边缘提取中，基于一维熵最大值设定适用于餐盘识别的双阈值Th1＝50和Th2＝200：

一维熵：

H(x)＝E(I(x_i))＝E(log₂(1/p(x_i)))＝∑p(x_i)(log₂(1/p(x_i)))

最大熵：

其中H为信息熵，P(xi)表示图像中灰度值为xi像素所占的比例，Max求最大值函数。

进行Canny算子检测边缘获取边缘信息，求导找到图像灰度地沿着x轴y轴方向的偏导数，并求出梯度大小。

θ＝atan2(G_y,G_x) (3)

其中G_x和G_y分别为水平和垂直方向的差分，θ为梯度角度；

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，如果当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值。否则抑制，即设为0。比如当前点的方向指向正上方90°方向，那它需要和垂直方向，它的正上方和正下方的像素比较。

使用累计直方图计算两个阈值，由于餐盘边缘像素点连续明显，大于高阈值Th2＝200的一定是边缘，小于低阈值Th1＝50的一定不是边缘，介于之间的，看这个像素的邻接像素中有没有超过高阈值的边缘像素，最终提取图片边缘像素点。

具体实施方式五：本实施方式为具体实施方式一、二、三或四的进一步限定，开机采集初始帧经图像处理后特征提取：提取底座识别辅助框线边缘特征，底座颜色特征。

采集每帧图像并提取特征与初始图像进行特征相似度分析，一般图像相似度判断采用余弦相似度，汉明距离，欧式距离等，本发明采用简单轻量级的底座边框边缘信息面积与周长特征，能很好满足图片相似度判断，不需整个图像逐点扫描，提高了处理速度和算法的鲁棒性。

其中arcLength表示底座边框周长，contours表示边框边缘像素点特征值

通过设置图像颜色相似度阈值为50，及图像边框相似度阈值为30，很好的保证颜色识别的精度和底框边缘识别的算法效率，提升了图像识别的准确度和速度。图像颜色相似度阈值50及图像边框相似度阈值30的获取过程与具体实施方式二相同。

具体实施方式六：本方法还进行过相关性能指标测试，具体内容如下：

(1)本方法为轻量级软件，对系统算力要求低，CPU，GPU占用率低，不占内核中断，减少系统计算负荷。

(2)餐盘触发软件性能指标(注：仅采集，处理，显示流程，没有加界面UI布局及菜品识别程序)

运行触发程序	CPU占用率	GPU占用率	帧率	MEM	分辨率
						是	11％	40％	25FPS	10.6M	640×480
否(仅图像采集)	11％	40％	25FPS	10.6M	640×480

上表标明餐盘触发程序为轻量级软件，可以完成640×480分辨率实时处理图像数据。如采集尺寸为1280×960等尺寸，可等比例缩放为640×480，即可满足算法要求，节省算力。

此外，本发明还进行了以下研究：

(1)摄像头相对位置改变，会导致完全不能识别出边框存在没有参照区域。

解决方案：当多次长时返回error，续自动判断视觉区域出错，弹出校准图像提示。

(2)识别区域大面积污染，边框磨损。需提醒用户正确使用及时维护。

(3)实验环境和实验次数并未达到一定规模，以上结论基于小样本测试，万次以上测试及机器人真机测试结果，有待进一步确认，形成性能结论。

本方法中初始图像的边缘特征值指的是识别区域边缘的特征值，初始图像的颜色特征值指的是识别区域的颜色特征值。目标图像的边缘特征值指的是目标物处于识别区域时，识别区域的边缘特征值，目标图像的颜色特征值指的是目标物处于识别区域时，识别区域的颜色特征值。

结合本发明的有益效果说明以下实施例：

实施例一：结合图1、图2、图3、图4和图5说明本实施例，本发明应用餐饮结算过程中时，先利用摄像头对处于空状态的识别区域进行拍摄，形成初始图像，将初始图像经过图像处理和特征提取后保存；摄像头为高清定焦摄像头；

将初始图像进行依次进行图片灰度处理和图片去噪处理；

图片灰度处理：将目标图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

其中Gray为灰度特征值，B,G,R为蓝绿红分量值；

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的目标图像消除噪声。

将图像处理后的初始图像进行特征提取，首先进行边缘提取：

设定适用于目标物识别的双阈值分别为Th1＝50和Th2＝200，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝atan2(G_y,G_x) (3)

其中Gx和Gy分别为水平和垂直方向的差分，θ为梯度角度。

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对目标图像提取图片边缘像素点的过程，获取初始图像中底座识别辅助框线边缘特征值。

对图像处理后的初始图像进行色彩提取：

色彩提取为利用迭代器遍历分离目标图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，R(red)、G(green)、B(blue)分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B为0-255整数。

计算后获取初始图像中的底座颜色特征值。

保存初始图像的底座识别辅助框线边缘特征值和底座颜色特征值。初始图像的底座识别辅助框线边缘特征值为边缘相似度阈值，初始图像的底座颜色特征值为颜色相似度阈值。

当有餐盘进入识别区域中待结算时，先利用摄像头对处于识别区域进行拍摄，形成目标图像；

利用摄像头对识别区域处的目标物进行拍摄，获取目标图像；

将目标图像进行图像处理，图像处理是将目标图像依次经过图片灰度处理和图片去噪处理；

图片灰度处理：将目标图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

其中Gray为灰度特征值，B,G,R为蓝绿红分量值。

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的目标图像消除噪声。

特征提取包括对图像处理后的目标图像进行边缘提取：

设定适用于目标物识别的双阈值分别为Th1＝50和Th2＝200，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝atan2(G_y,G_x) (3)

其中Gx和Gy分别为水平和垂直方向的差分，θ为梯度角度。

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对目标图像提取图片边缘像素点的过程，获取目标图像中餐盘所在识别区域的底座识别辅助框线边缘特征值。

进一步的，特征提取包括对图像处理后的目标图像进行色彩提取：

色彩提取为利用迭代器遍历分离目标图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，“Y”表示明亮度(Luminance或Luma)，也就是灰度值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，R(red)、G(green)、B(blue)分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B为0-255整数。

计算后获取目标图像中的餐盘所在识别区域的底座颜色特征值。

将目标图像的底座识别辅助框线边缘特征值和底座颜色特征值与初始图像的的底座识别辅助框线边缘特征值和底座颜色特征值进行比对。

当目标图像的底座识别辅助框线边缘特征值超出边缘相似度阈值时，表示识别区域处于边界侵占，结果错误，无需启动结算程序，直接返回初始状态；

当目标图像的底座识别辅助框线边缘特征值未超出边缘相似度阈值时，表示识别区域处于边界未侵占；

当目标图像的底座颜色特征值小于颜色相似度阈值时，则表示识别区域内无目标进入，无需启动结算程序，直接返回初始状态；

当目标图像的底座颜色特征值大于颜色相似度阈值时，表示识别区域内有餐盘进入并且识别区域的边缘没有被侵占，启动拍照后触发结算程序。

实施例二：本发明在用于餐盘结算过程中，进行多次试验，过程如下：

如图4所示，图像信息无效，识别区域有餐具：识别区域图像特征与初始状态特征相差大于相似度阈值，可判断为有餐具进入，但是底座识别辅助框线被遮挡，底座边框特征没有被识别出，判断为餐盘未正确放置，胳膊或手端餐盘没有离开等情况，标记为图像无效状态。

如图3所示，当目标图像通过特征提取得到的目标物颜色特征值小于颜色相似度阈值时，则表示无目标物进入，即识别区域处于空状态，无餐具进入识别区域：图像与初始图像,底座边框与颜色特征一致，可以判断为无餐具进入识别区域，无需启动结算程序，直接返回初始状态；

如图5所示，当目标图像通过特征提取得到的目标颜色特征值大于颜色相似度阈值时，图像信息有效，识别区域有餐具：识别区域图像特征与初始状态特征相差大于颜色相似度阈值，底座边框边缘特征可提取。其周长及面积与初始图像相差小于边框相似度阈值，可判断图像信息幼小可用，触发摄像头拍照，保存进行菜品识别。

实施例三：由于餐盘形状信息明显，菜品细节丰富，所以去噪方式选用基于正态分布的高斯滤波，选用2D高斯滤波模板3核矩阵卷积以消除噪声。涉及的公式如下：高斯平滑处理：

其中i,j表示的就是当前点到对应点的距离,σ是正态分布的标准偏差。

高斯3核矩阵：

[[0.0625 0.125 0.0625]

[0.125 0.25 0.125]

[0.0625 0.125 0.0625]]

通过上述图像处理过程能够获得更可靠的图像。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于图像视觉的机器人结算自动触发方法，其特征在于：所述机器人结算自动触发方法是利用摄像头对目标物所在的识别区域进行拍摄，获取目标图像，将目标图像经过图像处理、边缘特征和颜色特征提取后与已预存的初始图像数据比对，根据数据比对结果，确定是否触发结算程序。

2.根据权利要求1所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：图像处理是将目标图像依次经过图片灰度处理和图片去噪处理；

图片灰度处理：将目标图像转化为灰度，转化公式如下：

Gray＝0.11*B+0.59*G+0.3*R (1)

公式(1)中Gray为灰度特征值，B、G、R分别为蓝、绿、红分量值；

图片去噪处理：利用正态分布的高斯滤波对图片灰度处理后的目标图像消除噪声。

3.根据权利要求2所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：特征提取包括对图像处理后的目标图像进行边缘提取：

设定适用于识别区域的双阈值分别为Th1和Th2，将Th1和Th2进行Canny算子检测边缘获取边缘信息，求导找到图像灰度的沿着x轴、y轴方向的偏导数，并求出梯度大小，计算公式如下：

θ＝a tan 2(G_y,G_x) (3)

其中G_x和G_y分别为水平和垂直方向的差分，θ为梯度角度；

计算出梯度的方向遍历图像，非极大值抑制进行边缘细化，比较当前点的梯度强度和正负梯度方向点的梯度强度，当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值；否则抑制，即设为0，最终完成对目标图像提取图片边缘像素点的过程，获取目标图像的边缘特征值。

4.根据权利要求3所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：特征提取包括对图像处理后的目标图像进行色彩提取：

色彩提取为利用迭代器遍历分离目标图像并提取图像RGB和HSV色彩特征进行处理，由于外界光线造成不同图像色温差异，色彩转化时相应增降低V分量的权重，YUV与RGB相互转换的公式如下：

Y＝0.299R+0.587G+0.114B (5)

U＝-0.147R-0.289G+0.436B (6)

V＝0.615R-0.515G-0.100B (7)

R＝Y+1.14V (8)

G＝Y-0.39U-0.58V (9)

B＝Y+2.03U (10)

其中Y、U、V，分为三个分量，Y表示明亮度，也就是灰度值；U和V分别表示第一色度值和第二色度值，R、G、B分别表示红，绿，蓝三通道的亮度值，Y、U、V、R、G、B均为0-255整数；

根据公式(5)～(10)计算后获取目标图像的颜色特征值。

5.根据权利要求1至4中任一项所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：初始图像数据为识别区域内处于无物体进入空状态时的边缘特征值和颜色特征值，初始图像经过图像处理和特征提取后获取初始图像的边缘特征值和颜色特征值，即确定边缘相似度阈值和颜色相似度阈值。

6.根据权利要求5所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：将目标图像通过特征提取得到的边缘特征值与初始图像的边缘特征值进行特征相似度比对：

当目标图像的边缘特征值超出边缘相似度阈值时，表示目标图像处于边界侵占，结果错误，无需启动结算程序，直接返回初始状态；

当目标图像的边缘特征值未超出边缘相似度阈值时，表示目标图像处于边界未侵占，进入图像颜色特征值比对。

7.根据权利要求6所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：图像颜色特征值比对为将目标图像通过特征提取得到的颜色特征值与初始图像的颜色特征值进行特征相似度比对：

当目标图像通过特征提取得到的颜色特征值小于颜色相似度阈值时，则表示无目标物进入，无需启动结算程序，直接返回初始状态；

当目标图像通过特征提取得到的目标颜色特征值大于颜色相似度阈值时，表示识别区域内有目标物进入并且目标物的边缘没有被侵占，启动拍照后触发结算程序。

8.根据权利要求2所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：高斯滤波消除噪声是利用2D高斯滤波模板3核矩阵卷积扫描目标图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

9.根据权利要求4所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：RGB取值范围均为0-255。

10.根据权利要求7所述的一种基于图像视觉的机器人结算自动触发方法，其特征在于：边缘相似度阈值为50，颜色相似度阈值为30。