CN109859401A - 一种自助咖啡机图像识别装置及其操作方法 - Google Patents

Abstract

本发明公开了一种自助咖啡机图像识别装置及其操作方法，该种发明设计合理，咖啡机图像识别处理系统主要有后台服务系统、路由系统、Android处理系统、前置摄像头和内置摄像头等组成，Android处理系统通过前置摄像头可以对用户的人脸信息进行采集和特征提取，并将人脸特征信息上传到后台服务系统进行存储，当用户购买饮品选择刷脸支付后，Android处理系统会打开前置摄像头采集当前用户的人脸信息和提取人脸特征，并将该用户的特征信息与服务系统存储的数据库系统进行比对，特征符合后进行支付扣款并制作饮品，Android处理系统内部储存着标准图片，用滤波方法对图像进行处理，并将特征值信息存储在内部储存中，可见该发明功能实用，适合被广泛推广。

Description

一种自助咖啡机图像识别装置及其操作方法

技术领域

本发明涉及咖啡机技术领域，特别涉及一种自助咖啡机图像识别装置及其操作方法。

背景技术

随着新零售模式的兴起，自助现磨咖啡机已经越来越普及了，大众已慢慢开始接受咖啡文化，现有自助咖啡机对图像识别这一块基本上没有应用。

现有应用场景主要通过摄像头进行图片拍摄与上传，其基本构成有路由器和网络摄像头，摄像头的云端系统，网络摄像头通过路由器连接云端系统，人工通过云端系统控制网络摄像头进行拍照并查看机器运行状况。

现有咖啡机的支付主要通过扫码支付，支持的支付方式主要有微信和支付宝。

现有自助咖啡机的一种自助咖啡机图像识别装置方式基本能满足应用，但也存在不足的地方，首先，现有应用场景使用第三方的云端系统，这是一个付费系统，当集成的网络摄像头越来越多后，费用也会越来越昂贵，其次，现有应用场景通过拍照上传机器内部照片，需要人工去后台查看照片来判断那台机器内部出现了问题，当机器数量增加后，对人力提出了大量的需求，处理起来不方便，最后，现有自助咖啡机的支付方式主要是微信和支付宝，支付方式比较单一。

发明内容

本发明的主要目的在于提供一种自助咖啡机图像识别装置及其操作方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种自助咖啡机图像识别装置，包括Android处理系统和路由系统，所述Android处理系统的上端与下端分别通信连接有图像识别处理系统，所述Android处理系统的一侧电性连接有后台服务系统，所述后台服务系统与路由系统之间相互通信连接，所述路由系统的另一侧设置有咖啡机箱，所述咖啡机箱与路由系统之间相互通信连接。

进一步地，一个所述图像识别处理系统的前端设置有前置摄像头，所述前置摄像头与图像识别处理系统之间电性连接。

进一步地，一个所述图像识别处理系统的内部设置有内置摄像头，所述内置摄像头与图像识别处理系统之间电性连接。

进一步地，所述Android处理系统通过后台服务系统与路由系统之间通信连接。

进一步地，一种自助咖啡机图像识别装置及其操作方法，其操作步骤如下：

第一步，所述图像识别处理系统第一步进行用户首次的人脸识别与人脸采集，在Android处理系统的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储；

第二步，所述图像识别处理系统再次进行第二次用户的人脸识别与人脸采集，在Android处理系统的内部完成人脸图片预处理，进行人脸特征提取，将人脸特征数据库调取第一次的比对人像，与第二次的人脸特征匹配；

第三步，所述图像识别处理系统将第二次获取的图像与其内部存储的照片进行特征点匹配，然后提取匹配的特征点，截图匹配点矩形图片，最后进行图片处理，进行图片中判断异物。

与现有技术相比，本发明具有如下有益效果：该种发明设计合理，咖啡机图像识别处理系统主要有后台服务系统、路由系统、Android处理系统、前置摄像头和内置摄像头等组成，Android处理系统通过前置摄像头可以对用户的人脸信息进行采集和特征提取，并将人脸特征信息上传到后台服务系统进行存储，当用户购买饮品选择刷脸支付后，Android处理系统会打开前置摄像头采集当前用户的人脸信息和提取人脸特征，并将该用户的特征信息与服务系统存储的数据库系统进行比对，特征符合后进行支付扣款并制作饮品，Android处理系统内部储存着标准图片，先用滤波方法对图像进行处理，然后通过sift算法提取标准图片的特征值，并将特征值信息存储在内部储存中，当饮品制作完成后，会触发Android处理系统通过内置摄像头对咖啡机箱内部的三只落粉碗区域地方进行拍照作为比对图片，一种自助咖啡机图像识别装置算法会先对比对图片进行预处理，然后通过sift算法提取该比对图片的特征值，通过匹配算法将标准图片的特征值与比对图片的特征值进法比对，该比对算法采用了一对三的特征比对方式来提取出三只落粉碗的特征值，然后根据特征值的坐标用矩形方式将每个落粉碗截取出来，然后将每个截取出来的落粉碗图片进行灰度化处理，来判断落粉碗中是否有异物存在，可见该发明，功能实用，适合被广泛推广。

附图说明

图1为本发明整体结构示意图。

图2为本发明人脸采集系统结构示意图。

图3为本发明人脸识别系统结构示意图。

图4为本发明图像处理算法框图结构示意图。

图中：1、后台服务系统；2、Android处理系统；3、图像识别处理系统；4、路由系统；5、前置摄像头；6、内置摄像头；7、咖啡机箱。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1-4所示，一种自助咖啡机图像识别装置，包括Android处理系统2和路由系统4，所述Android处理系统2的上端与下端分别通信连接有图像识别处理系统3，所述Android处理系统2的一侧电性连接有后台服务系统1，所述后台服务系统1与路由系统4之间相互通信连接，所述路由系统4的另一侧设置有咖啡机箱7，所述咖啡机箱7与路由系统4之间相互通信连接。

其中，一个所述图像识别处理系统3的前端设置有前置摄像头5，所述前置摄像头5与图像识别处理系统3之间电性连接。

其中，一个所述图像识别处理系统3的内部设置有内置摄像头6，所述内置摄像头6与图像识别处理系统3之间电性连接。

其中，所述Android处理系统2通过后台服务系统1与路由系统4之间通信连接。

其中，一种自助咖啡机图像识别装置及其操作方法，其操作步骤如下：

第一步，所述图像识别处理系统3第一步进行用户首次的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储；

第二步，所述图像识别处理系统3再次进行第二次用户的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，将人脸特征数据库调取第一次的比对人像，与第二次的人脸特征匹配；

第三步，所述图像识别处理系统3将第二次获取的图像与其内部存储的照片进行特征点匹配，然后提取匹配的特征点，截图匹配点矩形图片，最后进行图片处理，进行图片中判断异物。

实施例1：

一种自助咖啡机图像识别装置，包括Android处理系统2和路由系统4，所述Android处理系统2的上端与下端分别通信连接有图像识别处理系统3，所述Android处理系统2的一侧电性连接有后台服务系统1，所述后台服务系统1与路由系统4之间相互通信连接，所述路由系统4的另一侧设置有咖啡机箱7，所述咖啡机箱7与路由系统4之间相互通信连接，一个所述图像识别处理系统3的前端设置有前置摄像头5，所述前置摄像头5与图像识别处理系统3之间电性连接，一个所述图像识别处理系统3的内部设置有内置摄像头6，所述内置摄像头6与图像识别处理系统3之间电性连接，所述Android处理系统2通过后台服务系统1与路由系统4之间通信连接，所述图像识别处理系统3第一步进行用户首次的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储。

对于图像的预处理的灰度化，本方案的摄像头对图片进行拍照采集的是彩色的图片，彩色图片是由RGB三色组成的，信息量比较大而且比较占内存。

对于图像的预处理的二值化，二值化是将图像进行黑白化，黑白化后图像占用的信息量更少，二值化的原理是设定一个阈值T，范围为0-255，让灰度图或图像与该阈值T进行比较，大于阈值T则设置为1，小于阈值T则设置为0，这样图像就转换为0和1的二值。

对于图像的预处理的特征值提取，尺度空间极值点检测构建尺度空间通过高斯卷积，它是实现尺度变换的唯一变换核和唯一线性核，二维高斯函数如下，用I(x，y)表示一副图像，通过这幅图像与高斯函数卷积得到不同尺度下的图像即高斯金字塔，通过尺度归一化拉普拉斯函数的近似函数差分高斯函数来提取图像的稳定特征，K是一个常量数据，在尺度空间中某个检测点建立3*3的检测比较范围，然后在该检测点上下两个尺度空间中的3*3范围也进行比较，这样该检测点就可以与周围27-1＝26个像素点进行比较，如果该点大于或者小于全部26个点，就保留，类推可以得到一系列极值点。

实施例2：

一种自助咖啡机图像识别装置，包括Android处理系统2和路由系统4，所述Android处理系统2的上端与下端分别通信连接有图像识别处理系统3，所述Android处理系统2的一侧电性连接有后台服务系统1，所述后台服务系统1与路由系统4之间相互通信连接，所述路由系统4的另一侧设置有咖啡机箱7，所述咖啡机箱7与路由系统4之间相互通信连接，一个所述图像识别处理系统3的前端设置有前置摄像头5，所述前置摄像头5与图像识别处理系统3之间电性连接，一个所述图像识别处理系统3的内部设置有内置摄像头6，所述内置摄像头6与图像识别处理系统3之间电性连接，所述Android处理系统2通过后台服务系统1与路由系统4之间通信连接，所述图像识别处理系统3第一步进行用户首次的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储，所述图像识别处理系统3再次进行第二次用户的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，将人脸特征数据库调取第一次的比对人像，与第二次的人脸特征匹配。

对于图像的预处理的关键点过滤与定位，去除对比度低的极值点，将尺度空间用泰勒级数展开进行插值查找，可以提高关键点过滤的准确性和稳定性，修正后的极值点的位置是通过对上式求导，并且令导数为零得到的，如果任何一维大于0.5，则说明真是的极值点更靠近其他的点，上述可得到修正后特征点D的值，对于所有的极值点，小于阈值0.03，则判定其为不稳定点，需要剔除，去除边缘响应点高斯差分函数的极值点边缘会有较大的主曲率，主曲率可以通过2x2的Hessian矩阵计算得到，令α代表H的最大特征值，β代表H的最小特征值，由行列式的性质得到令r满足α＝rβ，则检测主曲率，只需满足r＝10。

对于关键点方向，上面得到的极值点还不具有旋转不变特征，对关键点寻找与之最近的尺度空间，选取距离关键点尺度最近的高斯图像L，计算L上每一个点的梯度m(x，y)与角度θ(x，y)，用直方图统计领域像素的梯度方向，梯度方向从0-360度，每10度为一段，对所得的直方图，最高峰对应的角度作为关键点的主方向，超过为最高峰的80％作为辅方向。

实施例3：

一种自助咖啡机图像识别装置，包括Android处理系统2和路由系统4，所述Android处理系统2的上端与下端分别通信连接有图像识别处理系统3，所述Android处理系统2的一侧电性连接有后台服务系统1，所述后台服务系统1与路由系统4之间相互通信连接，所述路由系统4的另一侧设置有咖啡机箱7，所述咖啡机箱7与路由系统4之间相互通信连接，一个所述图像识别处理系统3的前端设置有前置摄像头5，所述前置摄像头5与图像识别处理系统3之间电性连接，一个所述图像识别处理系统3的内部设置有内置摄像头6，所述内置摄像头6与图像识别处理系统3之间电性连接，所述Android处理系统2通过后台服务系统1与路由系统4之间通信连接，所述图像识别处理系统3第一步进行用户首次的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储，所述图像识别处理系统3再次进行第二次用户的人脸识别与人脸采集，在Android处理系统2的内部完成人脸图片预处理，进行人脸特征提取，将人脸特征数据库调取第一次的比对人像，与第二次的人脸特征匹配，所述图像识别处理系统3将第二次获取的图像与其内部存储的照片进行特征点匹配，然后提取匹配的特征点，截图匹配点矩形图片，最后进行图片处理，进行图片中判断异物。

选择关键点周围16x16像素区域范围，分成4x4的网格计算0°，45°，90°，135°，180°，225°，270°，315°这8个方向的直方图，这样就可以得到4x4x8＝128维的特征向量。

对于特征点匹配，通过计算特征点对最近邻点和次近邻点距离的比值，并考察是否满足设定的阈值来作为匹配点的判断标准，其算法如下，设参考图P的特征点集合为，Fp＝{Fp(1)，Fp(2)…，Fp(m)}，m为特征点的个数，Fq＝{Fq(1)，Fq(2)，……，Fq(n)}，n为特征点的个数，对特征点集合Fp的每个点，逐一计算其与特征点集合Fq中每个点的举例，得到特征点之间的举例集合D，将D集合进行排序，得到最近邻举例dmin和次近邻dn-min，D<<1匹配正确。

对于搜索算法搜索，最近零点算法基于k-d树，k表示空间维数，d表示该树形结构的深度，有n个k维空间点构成的深度为，K-d树将每一层一分为二，从顶结点按某一维进行划分，下层结点通过另一维进行划分，以此类推，当一个结点的点数少于给定的最大点数数，划分结束。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种自助咖啡机图像识别装置，包括Android处理系统(2)和路由系统(4)，其特征在于：所述Android处理系统(2)的上端与下端分别通信连接有图像识别处理系统(3)，所述Android处理系统(2)的一侧电性连接有后台服务系统(1)，所述后台服务系统(1)与路由系统(4)之间相互通信连接，所述路由系统(4)的另一侧设置有咖啡机箱(7)，所述咖啡机箱(7)与路由系统(4)之间相互通信连接。

2.根据权利要求1所述的一种自助咖啡机图像识别装置，其特征在于：一个所述图像识别处理系统(3)的前端设置有前置摄像头(5)，所述前置摄像头(5)与图像识别处理系统(3)之间电性连接。

3.根据权利要求1所述的一种自助咖啡机图像识别装置，其特征在于：一个所述图像识别处理系统(3)的内部设置有内置摄像头(6)，所述内置摄像头(6)与图像识别处理系统(3)之间电性连接。

4.根据权利要求1所述的一种自助咖啡机图像识别装置，其特征在于：所述Android处理系统(2)通过后台服务系统(1)与路由系统(4)之间通信连接。

5.根据权利要求1所述的一种自助咖啡机图像识别装置及其操作方法，其操作步骤如下：

第一步：所述图像识别处理系统(3)第一步进行用户首次的人脸识别与人脸采集，在Android处理系统(2)的内部完成人脸图片预处理，进行人脸特征提取，并进行人脸特征数据的存储；

第二步：所述图像识别处理系统(3)再次进行第二次用户的人脸识别与人脸采集，在Android处理系统(2)的内部完成人脸图片预处理，进行人脸特征提取，将人脸特征数据库调取第一次的比对人像，与第二次的人脸特征匹配；

第三步：所述图像识别处理系统(3)将第二次获取的图像与其内部存储的照片进行特征点匹配，然后提取匹配的特征点，截图匹配点矩形图片，最后进行图片处理，进行图片中判断异物。