CN101901015A - 基于机器视觉的烹调设备的火候控制系统 - Google Patents

Abstract

本发明公开一种基于机器视觉的烹调设备的火候控制系统，配合烹调设备的主处理器及火力调节装置使用，火候控制系统包括运动模块、图像成像模块、热红外传感模块、视觉处理模块及通讯模块，图像成像模块接收主处理器的命令或信息，对正在烹调的菜肴进行图像采样后，通过通讯模块将图像信息发送到视觉处理模块，视觉处理模块对图像信息进行实时处理，得到典型加热对象的位置信息，根据该位置信息，运动模块带动热红外传感模块对典型加热对象进行温度采样，并通过通讯模块将该温度信息发送到烹调设备的主处理器或火力调节装置。本发明能够实时监测当前菜肴火候状态从而调节当前火力强度大小和烹饪时间，满足烹饪机器人的火候高精度控制的要求。

Description

基于机器视觉的烹调设备的火候控制系统

技术领域

本发明涉及烹调领域，具体地讲，是涉及一种基于机器视觉的烹调设备的火候控制系统。

背景技术

中式菜肴以其色、香、味、意、形闻名于世，有着悠久的历史和文化底蕴。中式菜肴烹调方法多种多样，包括了炸、溜、爆、炒、烹、炖、焖、煎、煮、蒸、烤、熏、烩、涮、腌、拌等十几种，操作程序也极为复杂，更讲究技巧。技巧的运用和火候的掌握完全依靠厨师的个人经验。火候分别是指烹饪火力大小和加热时间，也就是加热的火力强度和在特定火力强度下的烹饪时间。火候是菜肴质量的确定性因素，也是形成多种烹调方法和不同风味的重要条件。任何菜肴，无论何种做法，只有火候适当，才能色泽鲜艳，香气扑鼻，滋味鲜美，形态美观。

对于中式菜肴来讲，其局限性十分明显，如菜肴味道的稳定性、控制火候的模糊性，一直是没有解决的大问题。

发明内容

本发明的目的在于提供一种基于机器视觉的烹饪机器人火候控制系统，其能够实时监测当前菜肴火候状态从而调节当前火力强度大小和烹饪时间，满足烹饪机器人的火候高精度控制的要求。

为了达到上述目的，本发明所采用的技术方案为：

一种基于机器视觉的烹调设备的火候控制系统，配合烹调设备的主处理器及火力调节装置使用，其中：上述的火候控制系统还包括运动模块、图像成像模块、热红外传感模块、视觉处理模块及通讯模块，使用时，图像成像模块通过通讯模块接收主处理器的命令或信息，对锅具内正在烹调的菜肴进行图像采样，然后通过通讯模块将图像信息发送到视觉处理模块，视觉处理模块对图像成像模块的图像信息进行实时处理，得到典型加热对象的位置信息，根据该位置信息，运动模块带动热红外传感模块对锅体内部的典型加热对象进行温度采样，并通过通讯模块将该温度信息发送到烹调设备的主处理器或火力调节装置。

所谓典型对象，就是在烹饪过程中关键的加热对象，典型对象的火候控制状态代表菜肴整体的烹饪状态。大部分典型对象是菜肴的主料，比如水晶虾仁中的典型对象就是虾仁。本发明判定典型对象的依据是选择符合待检测颜色特征信息的所有对象中像素最多的那个对象。

上述的热红外传感模块为一非接触热红外传感器探头。

上述的热红外传感探头前安放聚焦透镜。如菲尼尔透镜或硅透镜、锗透镜，这样无须升降即可采集比较小范围内的温度值。

上述的图像成像模块包括两透镜、反光镜片、滤色镜片、电耦合器件及照明灯，菜肴图像通过第一透镜聚焦，然后经反光镜片改变方向，通过滤色镜片，再通过第二透镜进入电耦合器件，由电耦合器件将图像转化成图像数字信号发送给视觉处理模块。该照明灯优选为LED灯。

上述的图像成像模块还进一步包括一旋转式反光镜片，所述的菜肴图像经过反光镜片改变方向后，再经过该旋转式反光镜光再次改变方向。

上述的滤色镜片设于滤镜盘中，其包括四个滤镜，分别为：红光滤色镜片、绿光滤色镜片、蓝光滤色镜片及红外滤色镜片。视觉处理模块在抽取图像空间中典型对象之前要给定典型对象的颜色特征信息及其偏差，颜色特征信息包含可见光信息和近红外光信息，根据颜色特征信息来选择红色、绿色、蓝色或红外滤光镜。

上述的运动模块，其可以为平移运动模块，或平移运动模块和旋转运动模块相配合，另外，其还可以使用X-Y平台，即两部直线电机分别负责X和Y轴的运动，火候视觉模块光学的光轴垂至于XY平面。

优选地，其为平移运动模块时，该平移运动模块包括驱动装置、传动机构，上述的传动机构包括平移齿轮及齿条，上述的驱动装置与平移齿轮相连，上述的平移齿轮与上述的齿条相啮合。

上述的平移运动模块还包括一编码器，该编码器与一齿轮相连，齿轮与上述的传动机构中的齿轮相啮合。

上述旋转运动模块，旋转运动模块包括旋转电机、固定齿轮及旋转齿轮，旋转电机与固定齿轮固设在托架上，旋转齿轮绕固定齿轮转动，图像成像模块与旋转齿轮相连。

上述的旋转运动模块还包括一编码器，所述的编码器与一齿轮相连，所述的齿轮与所述的旋转齿轮相啮合。

上述的运动模块还进一步包括一升降运动模块，所述的升降运动模块包括升降电机、升降齿轮及与升降齿轮相啮合的升降齿条，所述的升降电机带动所述的升降齿轮转动，所述的升降齿轮带动升降齿条上下运动。

采用上述结构后，先通过图像成像模块获取菜肴图像，然后将其获得的图像，通过图像处理算法计算出烹饪过程中关键的加热对象的绝对坐标。因该关键的加热对象的火候控制状态代表菜肴整体的烹饪状态。通过热红外传感模块对该加热对象的绝对坐标进行扫描采样，并通过通讯模块将热量分布和热量点信息发送到火力调节装置，从而能够实时监测当前菜肴火候状态从而调节当前火力强度大小和烹饪时间，满足烹饪机器人的火候高精度控制的要求。

附图说明

图1为本发明运动模块的示意图；

图2为本发明运动模块的另一方向示意图；

图3为本发明图像成像模块的结构示意图；

图4为本发明滤镜波长范围分布图；

图5为本发明函数算子波形示意图；

图6为三次样条曲线拟合示意。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，而此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的范围。

参考图1、2所示，本发明公开一种基于机器视觉的烹调设备的火候控制系统，配合烹调设备的主处理器及火力调节装置使用，该火候控制系统包括运动模块1、图像成像模块2、热红外传感模块3、视觉处理模块及通讯模块，其中：

运动模块1包括平移运动模块11、旋转运动模块12及升降运动模块13。

平移运动模块11包括驱动装置111、传动机构112、编码器113及齿轮114，传动机构112包括平移齿轮1121及齿条1122，驱动装置111与平移齿轮1121相连，平移齿轮1121与齿条1122相啮合。齿轮114与齿条1122相啮合，编码器113与齿轮114相连。使用时，驱动装置111带动平移齿轮1121转动，平移齿轮1121带动齿条1122平动，齿条1121带动齿轮114转动，齿轮114带动编码器113转动，即可得知热红外传感模块3的平移位移。

旋转运动模块12包括旋转电机121、固定齿轮122、旋转齿轮123、计量齿轮124及编码器125，旋转电机121与固定齿轮122固设在托架14上，旋转电机121与固定齿轮122相连，旋转齿轮123与固定齿轮122相啮合，计量齿轮124与旋转齿轮126相啮合，计量齿轮与编码器125相连。

附图2中的平移运动模块11和附图1中的旋转运动模块12共同组成了运动模块1，通过该运动模块1即可使热红外传感模块3的探头运动地监测锅具内部任意区域的温度值。

热红外传感模块3在进行热红外传感时，因为所使用的是16:1光学分辨率的红外传感器探头，所以模块距离锅具不能太远，合理测量距离应小于720mm。烹饪机器人在烹饪过程中需要完成投料摆臂和搅拌摆臂两个运动，为了使模块与两个动作互不干涉，因此模块需要可升降。即包括有升降运动模块，采用齿轮和齿条配合的方式来实现或在红外传感器探头前安放聚焦透镜实现。

参考图3所示，图像成像模块2与旋转齿轮123相连。其包括两透镜21、22、反光镜片23、旋转式反光镜片24、滤色镜片25、电耦合器件26及LED灯27，使用时，打开LED灯27，菜肴图像通过第一透镜21聚焦，然后经反光镜片23改变方向，将图像反光到旋转式反光镜片24上，该菜肴图像经过旋转式反光镜片23改变方向后，通过滤色镜片25，再通过第二透镜22进入电耦合器件26，由电耦合器件26将图像转化成图像数字信号通过通讯模块发送给视觉处理模块。

滤色镜片25设于滤镜盘中，其包括四个滤镜，分别为：红光滤色镜片、绿光滤色镜片、蓝光滤色镜片及红外滤色镜片。

旋转式反光镜片24与一旋转电磁铁28相连。其通过旋转电磁铁28的角度来控制其反射角度。用恒电流控制方法，控制电磁铁28磁力，从而控制旋转角度。

如图4所示，其为滤镜波长范围分布图，其透光范围：蓝色430～475nm，绿色505～565nm，红色615～660nm，红外滤光片中心波长为1064nm。

如需提取画面的红外波长部分，则对CCD有较宽的波长要求。一般的CCD感光范围在波长300nm～900nm之间，选择SANYO公司的红外线CCD芯片LC99115。对波长800nm左右的近红外光的灵敏度比一般产品约提高了五倍，像素数为25万，且支持1/4英寸光学系统。

视觉处理模块，其是将图像成像模块2获取的图像，通过图像处理算法计算出典型的绝对坐标。

图像处理算法包含：边缘提取算法、图像曲线拟合、图像膨胀算法、图像阀值运算等。边缘提取算法和图像曲线拟合的结合，用于勾勒图像外部轮廓。图像膨胀算法和图像阀值运算的结合，用于划分图像中的不同灰度区域。图像处理算法是抽取典型对象的关键。

所谓的边缘提取算法，其有很多种，基于一阶导数的边缘检测有Roberts交叉算子、Sobel算子、Prewitt算子、Canny算子等，它是检测最大值方法。我们采用的是监测二阶导数的零交叉点，对噪声有极高的敏感性。

视觉处理模块的第一步是通过滤镜将可见光或红外光进行处理，处理后的信号比较微弱，且包含噪音，现利用的图像强度二阶导数的零交叉点来求边缘点算法，对噪声十分敏感。为了在边缘增强前滤除噪声，Marr和Hildreth将高斯滤波和拉普拉斯边缘检测结合在一起，形成拉普拉斯-高斯边缘检测算子(LOG：Laplacian of Gaussian)[6]，它的基本思想是先用高斯算子对信号进行滤波，过滤出杂点，然后将滤波后的图像进行拉普拉斯运算，得到等于零点的值就是边界点。具体算法如下[7]：

$h(x,y)={\▿}^2[g(x,y)*f(x,y)]={\▿}^2\left[g(x,y)\right]*f(x,y)$

其中h(x，y)是得到的目标图像数据，f(x，y)是原始图像，g(x，y)是高斯函数，且

算子图形如图5，经过推导得到LOG算子函数为：

${\▿}^{2}G(x,y)=\frac{{\∂}^{2}G(x,y)}{{\∂}^{2}x}+\frac{{\∂}^{2}G(x,y)}{{\∂}^{2}y}=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^4}(\frac{x^2+y^2}{{\mathrm{\σ}}^2}-2)\exp \left[\frac{x^2+y^2}{2{\mathrm{\σ}}^2}\right]$

整个边缘算法的核心就是寻找

的过零点，因此这里我们采用等效计算方法，就是先求出高斯函数的拉普拉斯微分，然后将计算的结果与图像进行卷积得到边缘提取数据。

通过LOG进行处理的二值图像中的边缘点存在很多杂点和非连续线段，必须通过曲线拟合的方式进行二次处理。

如图6，实施时，是采用三次样条曲线拟合的方法来完成，它用很少的几个样条段标识很复杂的曲线，并且具有足够的自由度来逼近边缘位置和方向，样条曲线是用分段多项式表示的一个函数，在其连接点处具有连续的一阶和二阶导数。

然后利用图像膨胀算法，其是将形态学理论应用在图像处理算法中，它是以几何学为基础对图像进行分析，它的基本思想是用一个结构元素作为基本工具来探测和提取图像特征，这里我们采用了数学形态学中的基本运算：膨胀。它的运算规则是输出图象的象素值是输入图像领域中的最大值，也就是说一个设定区域内，只要有一个像素值为1，则相应的输出像素值也就为1。

膨胀算法的核心是创建一个合适的结构元素，它实际就象刷子，是完成膨胀操作的最基本的部分，比输入图像小的多。对一幅图像的膨胀算法定义为对每个像素赋值为某个领域内输入图像灰度级的最大值，用

表示。

对于灰度图像f和结构元素r，进行膨胀算法如下：

$C1=f\⊕r$

通过膨胀算法得到的灰度图像需要经过阀值计算来得到给定的颜色特征信息范围内的二值图像。阀值计算实际是一个灰度的带通滤波器，设定滤波范围，然后将范围内的像素设为1，范围外的像素设为0。假设膨胀结果图像C1(x，y)，并且规定了灰度范围在[U1，U2]内，则有：

把图像中相互连接的像素集合作为一个组，叫做连通成分。我们采用8连通作为连通类型，把图像中互相连接的像素集合进行标定，形成若干对象，每个对象就是不同的连通成分：F1～Fn，统计每个对象所含像素的个数就可以找到包含像素最多的那个对象：Fm，它就是所要寻找的典型对象。连通标记计算采用逐行扫描的方式。

二值图像D(x，y)是一个m×n的矩阵，di，j是图像内的一个二值像素，t为标记值，初始值为2。

扫描第一行时，di，0如果为1，则判断di-1，0，如果di-1，0标记为t，则di，0亦标记为t，如果di-1，0标记为0，则di，0亦标记为t+1；

扫描到第j行时，di，j如果为1，首先判断di-1，j-1标记值，di，j等于di-1，j-1的标记值。如果为0则di，j等于di，j-1的标记值。如果依然为0，则判断di+1，j-1的标记值，如果都为0，di，j赋予新的标记值。

当扫描第j行时候出现如图5中(a)的状态，di-1，j-1为t1，di，j-1为0，di+1，j-1为t2，则di，j为t1，并且标记所有t2的像素为t1，如图5中(b)所示。

每个包含相同标记值的集合为一个对象，然后统计每个对象中相同所含相同标记值的像素个数来确定典型对象。

形心就是物体的几何中心，计算典型对象Fm的形心就可以确定典型对象相对于锅具中心的绝对坐标。形心计算公式如公式3，火候视觉中每个Ai就是CCD一个像素，A就是区域Fm的像素个数。

$\mathrm{Xc}=\frac{\underset{A}{\∫}\mathrm{xdA}}{A}=\frac{\mathrm{\ΣAi}\×\mathrm{xi}}{A},\mathrm{Yc}=\frac{\underset{A}{\∫}\mathrm{ydA}}{A}=\frac{\mathrm{Ai}\×\mathrm{yi}}{A}$

Xc，Yc：形心坐标   Ai：每一个基本元素面积

A：总面积          Xi，yi：每一个基本元素坐标

将上述图像处理方法结合达到识别物料的目的，整个算法的关键就是将图像边缘提取和图像膨胀算法结合，来完成物料基于颜色特征信息的分布图，然后通过统计不同连通成分的像素个数来确定典型对象，进而计算出典型对象的坐标。

视觉处理模块的算法核心就是，将图像成像部分所获取的图像，通过图像处理算法计算出典型对象的绝对坐标。典型对象就是在烹饪过程中关键的加热对象，典型对象的火候控制状态代表菜肴整体的烹饪状态。大部分典型对象是菜肴的主料，比如水晶虾仁中的典型对象就是虾仁。本论文判定典型对象的依据是选择符合待检测颜色特征信息的所有对象中像素最多的那个对象。

寻找到典型对象后，计算出形心点相对于锅具中心的坐标Xc和Yc。热红外传感模块3为非接触热红外传感器探头，通过旋转电机旋转arctan(Xc/Yc)角度，平移电机移动

距离就可以将热红外传感器探头运动到典型对象的形心点位置，对锅体内部的热量分布和热量点进行采样，并通过通讯模块将热量分布和热量点信息发送到火力调节装置以开始火候监控。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于机器视觉的烹调设备的火候控制系统，配合烹调设备的主处理器及火力调节装置使用，其特征在于：所述的火候控制系统还包括运动模块、图像成像模块、热红外传感模块、视觉处理模块及通讯模块，使用时，所述的图像成像模块通过所述的通讯模块接收所述的主处理器的命令或信息，对锅具内正在烹调的菜肴进行图像采样，然后通过所述的通讯模块将图像信息发送到所述的视觉处理模块，所述的视觉处理模块对所述的图像成像模块的图像信息进行实时处理，得到典型加热对象的位置信息，根据该位置信息，所述的运动模块带动所述的热红外传感模块对锅体内部的典型加热对象进行温度采样，并通过所述的通讯模块将该温度信息发送到所述的烹调设备的主处理器或火力调节装置。

2.如权利要求1所述的火候控制系统，其特征在于：所述的热红外传感模块为一非接触热红外传感器探头。

3.如权利要求1所述的火候控制系统，其特征在于：所述的图像成像模块包括两透镜、反光镜片、滤色镜片、电耦合器件及照明灯，所述的菜肴图像通过第一透镜聚焦，然后经反光镜片改变方向，通过滤色镜片，再通过第二透镜进入电耦合器件，由所述的电耦合器件将图像转化成图像数字信号发送给视觉处理模块。

4.如权利要求3所述的火候控制系统，其特征在于：所述的图像成像模块还进一步包括一旋转式反光镜片，所述的菜肴图像经过反光镜片改变方向后，再经过该旋转式反光镜光再次改变方向。

5.如权利要求3所述的火候控制系统，其特征在于：所述的滤色镜片设于滤镜盘中，其包括四个滤镜，分别为：红光滤色镜片、绿光滤色镜片、蓝光滤色镜片及红外滤色镜片。

6.如权利要求1所述的火候控制系统，其特征在于：所述的运动模块包括平移运动模块，所述的平移运动模块包括驱动装置、传动机构，所述的传动机构包括平移齿轮及齿条，所述的驱动装置与所述的平移齿轮相连，所述的平移齿轮与所述的齿条相啮合。

7.如权利要求6所述的火候控制系统，其特征在于：所述的平移运动模块还包括一编码器，所述的编码器与一齿轮相连，所述的齿轮与所述的传动机构中的齿轮相啮合。

8.如权利要求6所述的火候控制系统，其特征在于：所述的运动模块还进一步包括一旋转运动模块，所述的旋转运动模块包括旋转电机、固定齿轮及旋转齿轮，旋转电机与固定齿轮固设在托架上，所述的旋转齿轮绕固定齿轮转动，所述的图像成像模块与旋转齿轮相连。

9.如权利要求8所述的火候控制系统，其特征在于：所述的旋转运动模块还包括一编码器，所述的编码器与一齿轮相连，所述的齿轮与所述的旋转齿轮相啮合。

10.如权利要求2所述的火候控制系统，其特征在于：所述的热红外传感探头前安放聚焦透镜。

Images