CN103000054A - 智能厨房烹饪教学机及其控制方法 - Google Patents

Abstract

本发明公开了一种智能厨房烹饪教学机及其控制方法，该设备包括显示屏幕、声音信号接收器、红外探测器、图像传感器，并设有磁共振无线充电装置。用户可通过实时点播方式选择教学视频，并通过简单的语音命令或者手势即可完成选择菜单和控制操作，实现无接触式操控，解放了用户的双手，让用户切实地享受烹饪的乐趣。同时该教学机采用了新型的无线充电方式，免除了厨房布线的麻烦。本发明适应了当今产品智能化、人性化、个性化的发展方向，迎合了市场的需求，适合推广使用。

Description

智能厨房烹饪教学机及其控制方法

技术领域

本发明涉及一种电子教育设备，特别是涉及一种智能厨房烹饪教学机及其控制方法。

背景技术

随着科学技术日新月异地发展，信息技术和多媒体技术已经越来越多地影响到各个领域，特别是在教育行业也更多地运用到信息技术。家庭主妇在家学习烹饪一般是通过电视收看烹饪节目或者在电脑上下载各种烹饪教学视频，可是这两种方法都很难做到学习者与视频教学者同步。一是因为厨房环境不适合摆放电视或电脑，二是学习者手上通常忙于准备烹饪材料或者进行烧菜动作，手部无暇触碰电视或者电脑进行视频暂停、回放等操作，无法做到随意进行播放。

发明内容

本发明目的在于提供一种智能厨房烹饪教学机及其控制方法，使用者可通过该教学机实时点播教学视频，而且还可以通过声音、手势对菜单界面进行控制，此外该教学机还运用了无线充电技术，免去了在厨房布线的困扰。

本发明为解决上述问题所采用的技术方案主要是：

智能厨房烹饪教学机，包括壳体，在壳体面板上设置有显示屏、开关按钮以及用于播放声音的声音外放设备口，在壳体内设置有大容量锂电池以及与其连接的电子电路板；

所述电子电路板包括主控制器以及与其连接的语音处理模块、视觉图像处理模块、存储器、执行单元；

在壳体面板上还设置有声音信号接收器、红外探测器、图像传感器，其中所述声音信号接收器的输出端与语音处理模块的输入端连接，所述图像传感器的输出端与视觉图像处理模块的输入端连接，所述红外探测器的输出端与主控制器的输入端连接。

进一步，所述存储器包括用于存储教学视频的视频库、用于存储语音特征参数的语音模版库、用于存储手势控制序列模版的预定义手势序列库，所述视频库、语音模版库、预定义手势序列库与主控制器连接。

进一步，所述图像传感器为高清摄像头，该高清摄像头向主控制器传送视频图像。

进一步，由于本发明应用在的厨房场合经常会有水和油烟，水汽浸入充电器容易发生漏电事故，因此本发明采用无线充电的办法，免除客户四处寻找插座和电线的痛苦，在所述壳体一侧设有磁共振无线充电装置，所述磁共振无线充电装置与壳体内的大容量锂电池连接，所述磁共振无线充电装置接收来自远处磁共振无线供电装置所传送的电能，为大容量锂电池供电。

本发明还提供了一种智能厨房烹饪教学机的控制方法，所述方法包括以下步骤：

启动开关按钮，教学机进入工作状态，显示屏显示菜单界面；

用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制；

用户通过选择菜单进入视频库点播教学视频，教学机进入播放模式。在播放模式下，用户可通过语音控制模式或者手势控制模式控制视频的播放，包括控制视频“开始”、“暂停”、“后退”、“前进”、“下一个”、“退出”、“返回”等操作。

进一步，所述用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制这一步骤中，所述的语音控制模式，其具体为：

声音信号接收器捕捉有效距离内的语音信息，并将捕捉到的语音信息发送至语音处理模块；

语音处理模块将语音信息转换成含语音特征矢量的语音数据后发送至主控制器；

主控制器对语音数据进行识别，并且根据识别结果做出决策；

主控制器根据决策向执行单元发出指令后，执行单元根据接收到的指令执行相关操作。

进一步，所述主控制器对语音数据进行识别，其具体为：

主控制器将语音数据与存储在语音模版库中的语音特征参数进行比对，判断该语音是否命令信号，得出语音识别结果。

进一步，所述用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制这一步骤中，所述的手势控制模式，其具体为：

图像传感器输入视频图像至视觉图像处理器；

视觉图像处理器对视频图像进行预处理，并将预处理后的视频图像传送至主控制器；

红外探测器检测用户手部的运动轨迹，并将运动信息发送至主控制器，主控制器分析手部的运动信息确定手势轮廓的可提取区域，并从视频图像中分离出手部图像；

主控制器从手部图像中检测手部的运动区域以及肤色区域，将获取的运动区域以及肤色区域进行运算，分割出手势区域；

主控制器利用边缘检测方法提取手势区域的轮廓，并从轮廓中提取关键点；

主控制器根据关键点建立手势控制序列，进而与存储在预先定义手势序列库的手势控制序列模版进行比对，并通过模糊逻辑规则获得手势识别结果；

主控制器根据识别结果做出决策，并向执行单元发出指令；

执行单元根据接收到的指令执行相关操作。

本发明的有益效果是：本发明提供了一种智能厨房烹饪教学机，用户可通过实时点播方式选择教学视频，并通过简单的语音命令或者手势即可完成选择菜单和控制操作，实现无接触式操控，解放了用户的双手，让用户切实地享受烹饪的乐趣。同时该教学机采用了新型的无线充电方式，免除了厨房布线的麻烦。本发明适应了当今产品智能化、人性化、个性化的发展方向，迎合了市场的需求，适合推广使用。

附图说明

图1是本发明的智能厨房烹饪教学机的外部结构示意图；

图2是本发明的智能厨房烹饪教学机的内部结构框图；

图3是本发明的基于智能厨房烹饪教学机的控制方法流程示意图；

图4是本发明的语音控制模式的流程示意图；

图5是本发明的手势控制模式的流程示意图。

具体实施方式

为了更详细地说明本发明的技术内容，以下结合实施方式以及附图作进一步的说明。

请参照图1和图2，本发明的智能厨房烹饪教学机，包括壳体1，在壳体1面板上设置有显示屏2、开关按钮3以及用于播放声音的声音外放设备口4，在壳体1内设置有大容量锂电池5以及与其连接的电子电路板6；

所述电子电路板6包括主控制器10以及与其连接的语音处理模块11、视觉图像处理模块12、存储器13、执行单元14；

在壳体1面板上还设置有声音信号接收器7、红外探测器8、图像传感器9，其中所述声音信号接收器7的输出端与语音处理模块11的输入端连接，所述图像传感器9的输出端与视觉图像处理模块12的输入端连接，所述红外探测器8的输出端与主控制器10的输入端连接。

具体的，所述存储器13包括用于存储教学视频的视频库131、用于存储语音特征参数的语音模版库132、用于存储手势控制序列模版的预定义手势序列库133，所述视频库131、语音模版库132、预定义手势序列库133与主控制器10连接。

具体的，所述图像传感器9为高清摄像头，该高清摄像头向主控制器10传送视频图像。

由于本发明应用在的厨房场合经常会有水和油烟，水汽浸入充电器容易发生漏电事故，因此本发明采用无线充电的办法，免除客户四处寻找插座和电线的痛苦。具体的，在所述壳体1一侧设有磁共振无线充电装置15，所述磁共振无线充电装置15与壳体1内的大容量锂电池5连接，所述磁共振无线充电装置15接收来自远处磁共振无线供电装置所传送的电能，为大容量锂电池5供电。

请参照图3，本发明还提供了一种智能厨房烹饪教学机的控制方法，所述方法包括以下步骤：

S01，启动开关按钮，教学机进入工作状态，显示屏2显示菜单界面；

S02，用户通过语音控制模式或者手势控制模式对显示屏2显示的菜单界面进行控制；

S03，用户通过选择菜单进入视频库131点播教学视频，教学机进入播放模式。在播放模式下，用户可通过语音控制模式或者手势控制模式控制视频的播放，包括控制视频“开始”、“暂停”、“后退”、“前进”、“下一个”、“退出”、“返回”等操作。

进一步，请参照图4，所述用户通过语音控制模式或者手势控制模式对显示屏2显示的菜单界面进行控制这一步骤中，所述的语音控制模式，其具体为：

S11,声音信号接收器7捕捉有效距离内的语音信息，并将捕捉到的语音信息发送至语音处理模块11。

S12,语音处理模块11将语音信息转换成含语音特征矢量的语音数据后发送至主控制器10，具体的，语音处理模块11主要任务是将捕捉到的语音信息进行滤波，消除环境噪声对语音的影响，进而将滤波后的语音信息转换为能被主控制器10处理的语音数据。

S13,主控制器10对语音数据进行识别，并且根据识别结果做出决策，具体操作是将语音数据与存储在语音模版库132中的语音特征参数进行比对，判断该语音是否命令信号，得出语音识别结果并做出决策。

S14,主控制器10根据决策向执行单元14发出指令后，执行单元14根据接收到的指令执行相关操作。

进一步，请参照图5，所述用户通过语音控制模式或者手势控制模式对显示屏2显示的菜单界面进行控制这一步骤中，所述的手势控制模式，其具体为：

S21，图像传感器9输入视频图像至视觉图像处理器12。

S22，视觉图像处理器12对视频图像进行预处理，并将预处理后的视频图像传送至主控制器10，图像预处理包括消除图像的基本噪声、增强图像对比度等，以改善图像质量，使图像变得较为清晰，便于后续的处理和分析，预处理后的视频图像传送至主控制器10。

S23，红外探测器8检测用户手部的运动轨迹，并将运动信息发送至主控制器10，主控制器10分析手部的运动信息确定手势轮廓的可提取区域，并从视频图像中分离出手部图像。

S24，主控制器10从手部图像中检测手部的运动区域以及肤色区域，将获取的运动区域以及肤色区域进行运算，分割出手势区域。

具体的，先利用背景差分法获取手势的运动区域，所述背景差分法是采用连续多帧图像建立背景帧，以此作为参考背景做帧差，同时设定阈值进行二值化来提取图像中的变化区域。在本实施方式中，先建立ΔT帧的视频帧缓冲，用来生成当前帧k的背景模型。为了限定运动区域的位置，通过生成中值背景模型来检测当前帧的运动状况。所述背景模型生成算法如下所示：

I_ref（x,y,k）=Median(I(x,y,k-1),I(x,y,k-2),...I(x,y,k-ΔT))；

然后作背景减除法，提取出前景模型，其算法公式如下所示：

$I_{\mathrm{foregroud}}=\left\{\begin{array}{cc}{I}_k-I_{\mathrm{ref}}(x,y,k),& \mathrm{if}{I}_k-I_{\mathrm{ref}}(x,y,k)>\mathrm{Threshold}\\ 0,& \mathrm{if}{I}_k-I_{\mathrm{ref}}(x,y,k)<\mathrm{Threshold}\end{array}\right.;$

其中Threshold表示阀值参数，由此得到了前景模型的二值化图像。

进而对获得的二值化图像作水平投影与竖直投影，算法公式如下所示：

$\left\{\begin{array}{c}g\left(x\right)=\underset{s=0}{\overset{L_w-1}{\mathrm{\&Sigma;}}}\min (f(x+s),w\left(s\right)),\mathrm{forx}=\mathrm{0,1},...,L_F-L_W\\ X_{\mathrm{CAN}}=\arg \max \left(g\left(x\right)\right)\end{array}\right.$

由此得到运动区域的坐标X_coordinator与Y_coordinator。

此处，f(x+s)表示前景在x+s位置的投影，而w(s)表示用来探测手区域的样板的投影，L_f表示前景投影的长度，先对样板作垂直投影，然后将样板的垂直投影从左侧移动到前景水平投影的右侧，以获取最大匹配的x坐标，从而获取手势的运动区域。

然而得到的运动区域还不能精准地显示手势区域，还需要通过建立肤色模型进行修正，即提取含手部图像中的肤色区域。

具体做法是将获取的手部图像进行RGB颜色建模，RGB颜色模型是对当前像素帧的每一个像素点采用物理三基色表示。

然后对颜色模型进行HSV空间转化，用色相(Hue)、饱和度(Saturation)和明度(Value)来描述颜色，设定肤色颜色阈值，提取阈值范围内的像素点，从而获得当前像素帧的肤色颜色的区域,转化公式为：

$s=\left\{\begin{array}{cc}0& \mathrm{if}\max =0\\ 1-\frac{\min }{\max }& \mathrm{otherwisr}\end{array}\right.$

v=max

HSV颜色空间的优点在于它将亮度值（V）与反映颜色本质特性的两个参数——色度（H）和饱和度（S）分离，大大简化图像分析和处理的时间及工作量，因此采用HSV方式能够减少彩色图像处理的复杂度，提高处理速度。

将得到的运动区域与肤色区域进行“或”运算，从而精确地提取出手势区域。

S25，提取出手势区域后，主控制器10利用边缘检测方法提取手势区域的轮廓，并从轮廓中提取关键点。

具体的，所述边缘检测方法又称canny检测算法，其利用图像的一阶导数的局部极大值或者二阶导数的过零点信息来判断边缘点，具体方法是构造对图像灰度阶跃变化敏感的查分算子，如Robert、Soble、Prewitt、Laplacian等算子，从而获得手势的轮廓、形状、物体重合点等信息，并将这些信息作为手势的特征信息。在选取特征分量时使用边缘特征代替方向特征，主要是为了体现出手部目标在图像中变现出来的复杂边缘信息，相对背景环境的边缘单一性更能体现出手部在运动过程中的非刚性外形变化。

经过边缘检测方法获取手势轮廓后，进而利用矩阵算法提取轮廓中的关键点，具体公式如下：

手势轮廓的曲线由下列方差矩阵给出

$C=\left[\begin{array}{cc}{C}_{11}& C_{12}\\ C_{21}& C_{22}\end{array}\right]$

其中，

$C_{11}=\left[\frac{1}{2k+1}\underset{j=i-k}{\overset{i+k}{\mathrm{\&Sigma;}}}{x_j}^2\right]-{c_x}^2,$

$C_{12}=C_{12}=[\frac{1}{2k+1}\underset{j=i-k}{\overset{i+k}{\mathrm{\&Sigma;}}}{x}_j\&CenterDot;y_j]-c_x\&CenterDot;c_y,$

$C_{22}=\left[\frac{1}{2k+1}\underset{j=i-k}{\overset{i+k}{\mathrm{\&Sigma;}}}{y_j}^2\right]-{c_y}^2.$

此处，C_X和C_Y是手势轮廓的几何中心点：

$C_x=\frac{1}{2k+1}\underset{j=i-k}{\overset{i+k}{\mathrm{\&Sigma;}}}{x}_j,$ $C_y=\frac{1}{2k+1}\underset{j=i-k}{\overset{i+k}{\mathrm{\&Sigma;}}}{y}_j$

由此，可获得手势轮廓的特征矩阵。

然后通过特征值计算获取手势轮廓的关键点，具体计算公式如下：

${\mathrm{\&lambda;}}_l=\frac{1}{2}[C_{11}+C_{22}+\sqrt{{(C_{11}-C_{22})}^2+{{4C}_{12}}^2}]$

${\mathrm{\&lambda;}}_l=\frac{1}{2}[C_{11}+C_{22}-]\sqrt{{(C_{11}-C_{22})}^2+{{4C}_{12}}^2}$

S26，获取关键点后，主控制器10根据关键点建立手势控制序列，进而与存储在预先定义手势序列库133的手势控制序列模版进行比对，并通过模糊逻辑规则获得手势识别结果。由于一个单一的手势对噪音的抗干扰性较差，因此通过检测多个手势建立手势控制序列作为命令。

具体的，由于检测到的关键点可以被分配到两个角落：中央部分或边缘部分，因此本实施例的做法是将与中心点的距离小于长度r的关键点分配到中央部分，与中心点的距离大于长度r的关键点被分配到边缘部分。要提取手势的含义，这两部分点的数量均要考虑在内。一般情况下，通过统计在边缘部分的关键点，建立手势控制序列，与预先定义的手势控制序列模版进行比对，即可识别出的手势的含义。

如果数个手势具有相同数量的点数，将采用模糊逻辑的规则。在中央部分的点的数量定义为λ，在边缘部分的定义为β。我们先考虑β。β的值给出了在中心圆外获得的关键点的数量，而λ表示在中心圆内获得的关键点。通过设置几个不同的临界值，例如λ₁，λ₂，λ₃和β₁，β₂，β₃，将这些临界值进行模糊逻辑运算，得出识别结果。

S27，主控制器10根据识别结果做出决策，并向执行单元14发出指令。

S28，执行单元14根据接收到的指令执行相关操作。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

1.智能厨房烹饪教学机，包括壳体，在壳体面板上设置有显示屏、开关按钮以及用于播放声音的声音外放设备口，在壳体内设置有大容量锂电池以及与其连接的电子电路板，其特征在于：

所述电子电路板包括主控制器以及与其连接的语音处理模块、视觉图像处理模块、存储器、执行单元；

在壳体面板上还设置有声音信号接收器、红外探测器、图像传感器，其中所述声音信号接收器的输出端与语音处理模块的输入端连接，所述图像传感器的输出端与视觉图像处理模块的输入端连接，所述红外探测器的输出端与主控制器的输入端连接。

2.根据权利要求1所述的智能厨房烹饪教学机，其特征在于：所述存储器包括用于存储教学视频的视频库、用于存储语音特征参数的语音模版库、用于存储手势控制序列模版的预定义手势序列库，所述视频库、语音模版库、预定义手势序列库与主控制器连接。

3.根据权利要求1所述的智能厨房烹饪教学机，其特征在于：所述图像传感器为高清摄像头。

4.根据权利要求1所述的智能厨房烹饪教学机，其特征在于：所述壳体一侧设有磁共振无线充电装置，所述磁共振无线充电装置与大容量锂电池连接。

5.一种智能厨房烹饪教学机的控制方法，其特征在于，所述方法包括以下步骤：

启动开关按钮，教学机进入工作状态，显示屏显示菜单界面；

用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制；

用户通过选择菜单进入视频库点播教学视频，教学机进入播放模式。

6.根据权利要求5所述的一种智能厨房烹饪教学机的控制方法，其特征在于，用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制这一步骤中，所述的语音控制模式，其具体为：

声音信号接收器捕捉有效距离内的语音信息，并将捕捉到的语音信息发送至语音处理模块；

语音处理模块将语音信息转换成含语音特征矢量的语音数据后发送至主控制器；

主控制器对语音数据进行识别，并且根据识别结果做出决策；

主控制器根据决策向执行单元发出指令，执行单元根据接收到的指令执行相关操作。

7.根据权利要求6所述的一种智能厨房烹饪教学机的控制方法，其特征在于，所述主控制器对语音数据进行识别，其具体为：

主控制器将语音数据与存储在语音模版库中的语音特征参数进行比对，判断该语音是否命令信号，得出语音识别结果。

8.根据权利要求5所述的一种智能厨房烹饪教学机的控制方法，其特征在于，用户通过语音控制模式或者手势控制模式对显示屏显示的菜单界面进行控制这一步骤中，所述的手势控制模式，其具体为：

图像传感器输入视频图像至视觉图像处理器；

视觉图像处理器对视频图像进行预处理，并将预处理后的视频图像传送至主控制器；

红外探测器检测用户手部的运动轨迹，并将运动信息发送至主控制器，主控制器分析手部的运动信息确定手势轮廓的可提取区域，并从视频图像中分离出手部图像；

主控制器从手部图像中检测手部的运动区域以及肤色区域，将获取的运动区域以及肤色区域进行运算，分割出手势区域；

主控制器利用边缘检测方法提取手势区域的轮廓，并从轮廓中提取关键点；

主控制器根据关键点建立手势控制序列，进而与存储在预先定义手势序列库的手势控制序列模版进行比对，并通过模糊逻辑规则获得手势识别结果；

主控制器根据识别结果做出决策，并向执行单元发出指令；

执行单元根据接收到的指令执行相关操作。

Images