CN109948488A - 一种智能除烟设备及其控制方法 - Google Patents

一种智能除烟设备及其控制方法 Download PDF

Info

Publication number
CN109948488A
CN109948488A CN201910177310.3A CN201910177310A CN109948488A CN 109948488 A CN109948488 A CN 109948488A CN 201910177310 A CN201910177310 A CN 201910177310A CN 109948488 A CN109948488 A CN 109948488A
Authority
CN
China
Prior art keywords
image
eliminating equipment
hearth
user
smoke eliminating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910177310.3A
Other languages
English (en)
Inventor
娄军
鹿鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Da Xian Intelligent Technology Co Ltd
Original Assignee
Shanghai Da Xian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Da Xian Intelligent Technology Co Ltd filed Critical Shanghai Da Xian Intelligent Technology Co Ltd
Priority to CN201910177310.3A priority Critical patent/CN109948488A/zh
Priority to PCT/CN2019/078853 priority patent/WO2020181570A1/zh
Publication of CN109948488A publication Critical patent/CN109948488A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24C—DOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00—Details
    • F24C15/20—Removing cooking fumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能除烟设备，包括图像采集单元、信息处理单元和主控单元；图像采集单元与信息处理单元连接，信息处理单元与主控单元连接；图像采集单元采集灶台图像信息，信息处理单元根据采集的灶台图像信息分析处理，判断用户的烹饪意图，进而主控单元根据用户的烹饪意图控制除烟设备。本发明还公开了可以应用于该智能除烟设备的控制方法，该方法可以智能识别灶台开关状态以实现烟灶联动，智能识别烟量大小以实现自动控制除烟设备的风机转速，智能识别食材以提供对应的菜谱和烹饪方法，手势控制、语音控制以及显示触控等智能交互体验，本发明使得除烟设备的使用更加智能化。

Description

一种智能除烟设备及其控制方法
技术领域
本发明涉及智能厨房设备领域，尤其涉及一种智能除烟设备及其控制方法。
背景技术
除烟设备是一种净化厨房环境的厨房电器。它安装在厨房炉灶上方，能将炉灶燃烧的废物和烹饪过程中产生的对人体有害的油烟迅速抽走，排出室外，减少污染，净化空气，并有排毒、防爆的安全保障作用。除烟设备已经是家庭使用较多的厨房设备，但也有一些功能需要完善，如：除烟设备风量的调节需要用户手动设置，但除烟设备上油污很多，不够卫生，且操作不便；与灶台的联动需要灶台的紧密配合等。且过去的除烟设备仅仅被用于抽取油烟，没有完全发挥其能力。
发明内容
本发明的目的在于提出一种智能除烟设备，可以智能调节除烟设备风机的转速、烟灶联动、识别食材、指导用户烹饪，并设计了新的交互方式。
为达此目的，本发明采用以下技术方案：
一、一种智能除烟设备，包括图像采集单元、信息处理单元和主控单元；所述图像采集单元与所述信息处理单元连接，所述信息处理单元与所述主控单元连接；所述图像采集单元采集灶台图像信息，所述信息处理单元根据采集的灶台图像信息分析处理，判断用户的烹饪意图，进而所述主控单元根据用户的烹饪意图控制除烟设备工作。
二、一种智能除烟设备控制方法，用于检测烟量大小，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测烟量大小；
S3，根据烟量大小调节抽油烟风机的转速。
三、一种智能除烟设备控制方法，用于监测灶具开关的状态，配合烟量的大小实现烟灶联动，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测灶台开关的位置及其状态；
S3，若灶台从关闭转为开启状态，则开启烟雾检测；
S4，根据烟雾检测结果，来决定是否打开除烟设备；
S5，若灶台从开启转为关闭状态，且烟量逐渐消失，则抽油烟风机低速运转换气并关机。
四、一种智能除烟设备控制方法，用于识别灶台上放置的食材的种类，并在此基础上对用户的饮食给出建议，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法识别灶台上食材的种类；
S3，根据食材的营养成分含量，对用户的饮食健康提出建议。
五、一种智能除烟设备控制方法，用于监测用户的烹饪过程，并对用户的烹饪进行实时指导，包括：
S1，使用摄像头采集灶台上方的图像；
S2，监测用户的烹饪过程，对用户的烹饪进行实时指导。
六、一种智能除烟设备控制方法，用于检测用户手的位置、形状、状态等，然后根据事先约定好的交互方式控制除烟设备，包括：
S1，定义用户的手势以及除烟设备针对该手势对应的操作；
S2，使用摄像头采集灶台上方的图像；
S3，检测用户手的位置、形状、状态；
S4，判断用户的手势是否在除烟设备的手势库中；
S5，若用户的手势在手势库中，则除烟设备执行相应的操作。
与现有技术相比，本发明的有益效果是：
提供了一种智能除烟设备，具有图像采集、分析和处理能力，能根据反馈的图像信息来控制除烟设备；
给除烟设备增加了烟雾检测功能，通过图像采集分析来检测烟量大小，进而调节抽油烟风机的转速；
给除烟设备增加烟灶联动功能，通过监测灶具开关的状态，配合烟量的大小实现烟灶联动；
给除烟设备增加食材识别功能，通过识别灶台上放置的食材种类，并在此基础上对用户的饮食给出建议；
给除烟设备增加了烹饪指导功能，监测用户的烹饪过程并对用户的烹饪进行实时指导；
给除烟设备增加了智能交互功能，通过检测用户手的位置、形状、状态等，然后，然后根据事先约定的交互方式控制除烟设备。
当然，实施本发明的任一产品并不一定需要达到以上所述的所有优点。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的各实施方式进行详细的阐述。
实施例一
一种智能除烟设备，包括图像采集单元、信息处理单元和主控单元；图像采集单元与信息处理单元连接，信息处理单元与主控单元连接；图像采集单元采集灶台图像信息，信息处理单元根据采集的灶台图像信息分析处理，判断用户的烹饪意图，进而主控单元根据用户的烹饪意图控制除烟设备的其他设备。本实施例中，用户控制图像采集单元何时打开，或者使其一直开启。
优选的，除烟设备还包括活体检测单元，活体检测单元与信息处理单元连接，活体检测单元用于检测是否有用户靠近，若用户距离除烟设备在预设距离范围内时，则认为用户有烹饪意图，此时打开图像采集单元，图像采集单元开始采集灶台图像信息，并由信息处理单元进行后续的分析处理。
优选的，活体检测单元为红外传感器、声波传感器、激光传感器和摄像头等传感器中的任意一种或多种。若活体检测单元使用摄像头，则还可以加入人脸识别、行人识别等功能；可以用于检测烹饪者，以便更好的推荐菜谱等；还可以用于安防，检测是否有外来人员入侵等。
优选的，除烟设备还包括抽油烟风机，抽油烟风机与主控单元连接，主控单元根据图像信息分析处理结果来调节抽油烟风机的转速。
优选的，除烟设备还包括无线通信模块，无线通信模块与主控单元连接，无线通信模块配置WIFI、蓝牙、2G/3G/4G/5G上网模式。
优选的，除烟设备还包括触控屏和/或语音交互单元，触控屏和语音交互单元分别与信息处理单元连接。
实施例二
本实施例提供的一种智能除烟设备控制方法，其可以应用于实施例一所述的智能除烟设备上，但不以此为限，该方法使用计算机视觉算法检测灶台上烟量的大小，并根据烟量大小自动调节风机的转速，具体通过如下步骤进行：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测烟量大小；
S3，根据烟量大小调节抽油烟风机的转速。
第一种方案，步骤S2包括：
S21，获取图像中运动的前景；
优选的，该前景检测算法可以是GMM、ViBe、CodeBook等背景建模算法；可以是二帧差，三帧差，累积帧差等帧差算法；也可以是光流算法等。
S22，根据烟雾的颜色特征检测图像中烟雾的可能区域；
优选的，烟雾的颜色特征为：烟雾的RGB分量比较集中，趋于一致。该颜色特征也可以使用YUV、HSV、HSI等其他颜色空间。
S23，对图像中的每一个像素，若该像素即是前景又符合颜色特征，则定义该像素为候选像素；
S24，计算当前帧与背景的差值图像；
S25，计算候选像素的连通域；
S26，计算每个连通域的轮廓特征；
优选的，本例使用周长面积比其中pa≥1表示凸形度，p表示周长，α表示面积；pα应在一定的范围内，即tha≤pα≤thb。
S27，计算每个连通域的烟雾增长特征；
优选的，本例使用步骤S24计算得到的差值图像，统计当前连通域差值的直方图，该直方图的每个区间应满足适当的比例。
S28，计算每个连通域的频率特征；
优选的，本例使用小波变换计算每个连通域的高频能量。烟雾会使得原来能量较小的区域能量变大，同时使得原来能量大的区域变小。
S29，根据连通域的轮廓特征、烟雾增长特征和频率特征，共同决定该连通域是否是烟雾；
S210，计算差值图像在所有筛选后的连通域上像素的和，该值就是烟量的大小。
该算法不用事先收集大量烟雾图像进行训练，但该算法涉及参数较多，需要针对不同的场景进行调节。
第二种方案，步骤S2包括：
S21，收集或采集大量烟雾图像，并标注烟雾的位置和大小；
S22，将烟雾图像划分成不同尺度，并对每个尺度的图像分割成多个M×N小块图像；
S23，使用分割好的小块图像和标注训练分类模型；
优选的该分类模型分为特征提取和分类两个步骤。其中特征提取方法可以使用HOG、LBP、ICF等算法或在此基础上改进的算法的其中一种或多种的组合；分类算法可以使用SVM或AdaBoost等分类算法或在此基础上改进的算法。
S24，使用摄像头采集灶台上方的图像；
S25，将新采集的图像划分成不同的尺度，在每个尺度上使用滑动窗口法运行步骤S23中训练好的分类模型；
S26，根据分类模型输出结果，计算灶台上烟量的大小。
该算法需要收集并标注少量的图像，但效果会优于前述第一种方案，且需要调节的参数比较少。
该算法也可以仅标注烟雾的位置，而不标注烟量的大小。此时可以采用前述第一种方案中的方法(当前帧与背景像素的差值)或其他相似算法来估计烟量大小。
第三种方案，步骤S2包括：
S21，收集或采集大量烟雾图像，并标注烟雾的位置和大小；
S22，将烟雾图像划分成不同尺度，并对每个尺度的图像分割成多个M×N的小块图像；
S23，使用分割好的图像和标注训练深度卷积神经网络模型(网络模型中的全连接层需要替换成等价的卷积层)；
S24，使用摄像头采集灶台上方的图像；
S25，将新采集的图像输入到训练好的深度卷积神经网络模型；
S26，根据模型输出结果，计算灶台上烟量的大小。
该算法需要收集并标注大量的图像，但效果会优于前两种方案，且基本没有参数。
该算法也可以仅标注烟雾的位置，而不标注烟量的大小。此时可以采用前述第一种方案中的方法(当前帧与背景像素的差值)或其他相似算法来估计烟量大小。
第四种方案，步骤S2包括：
S21，收集或采集大量烟雾图像，并进行标注；
S22，训练深度卷积神经网络模型；
优选的，本例可以使用目标检测模型，如SSD、Faster R-CNN等，此时需要的标注是烟雾的外接矩形框，烟量大小可标可不标。
优选的，本例可以使用目标分割模型，如FCN、Mask R-CNN等，此时需要标注烟雾出现的具体区域(像素级)，烟量大小可标可不标。
优选的，本例可以使用图像分类模型，如ResNet、MobileNet等，此时需要标注烟雾是否存在，烟量大小可标可不标。
S23，使用摄像头采集灶台上方的图像；
S24，将新采集的图像输入到训练好的深度卷积神经网络模型；
S25，根据模型输出的结果，计算灶台上烟量的大小。
该算法需要收集并标注更大量的图像，但效果会优于前三种方案，且基本没有参数。
如果没有标注烟量的大小。此时可以采用第一种方案中的方法(当前帧与背景像素的差值)或其他相似算法来估计烟量大小。
实施例三
本实施例提供的一种智能除烟设备控制方法，其可以应用于实施例一的一种智能除烟设备上，同时还可以是在实施例二的基础上进行的改进，但不限于此，该方法监测灶具开关的状态，配合烟量的大小实现烟灶联动，具体通过如下步骤进行：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测灶台开关的位置及其状态；
S3，若灶台从关闭转为开启状态，则开启烟雾检测；
S4，根据烟雾检测结果，来决定是否打开除烟设备；
S5，若灶台从开启转为关闭状态，且烟量逐渐消失，则抽油烟风机低速运转换气并关机。
第一种算法，步骤S2包括：
S21，获取图像中灶台开关的位置；
优选的，可以是在安装时由用户或安装师傅标注灶台开关所在的位置；
优选的，可以根据开关的基本形状(圆形的旋钮，中间有个长条形的突出)，检测图像中符合此特征的区域作为开关位置。
优选的，开关的位置，可以每次运行都执行；也可以间隔一段时间后再执行一次或者只在最初的时候执行一次，其他时间均使用上次检测的结果。
S22，检测开关旋转的角度；
优选的，可以使用霍夫变换检测开关位置处的直线及其方向；
S221，从新采集到的图像中，将开关所处位置切割出来；
S222，使用霍夫变换检测直线；
S223，去除干扰直线；
根据目标直线是两条基本平行、等长的线段的原理，去除干扰线段。
S224，计算直线的角度；
S225，根据直线的角度，判断开关的旋转角度。
S23，根据开关旋转的角度，判断灶台开关的状态。
该算法无需收集图像和训练模型，但算法的参数较多，且对环境的适应性较差，精度较低，甚至需要用户的配合。
第二种算法，步骤S2包括：
S21，收集或采集大量灶台的图像，并标注其开关的位置和状态；
S22，训练检测开关位置的目标检测模型；
优选的，本例可以使用特征提取+分类+滑动窗口的算法，其中特征提取方法可以使用HAAR、HOG、LBP、ICF等算法或在此基础上改进的算法的一种或多种的组合；分类算法可以使用SVM或AdaBoost等分类算法或在此基础上改进的算法。
优选的，本例可以使用深度卷积神经网络模型，如SSD、YOLO、R-CNN等目标检测算法或在此基础上改进的算法。
S23，训练识别开关状态的目标分类模型；
优选的，本例使用的数据是原始数据运行了S22步骤训练的目标检测模型后的结果。
优选的，本例可以使用特征提取+分类的方法，其中特征提取方法可以使用HAAR、HOG、LBP、ICF等算法或在此基础上改进的算法的一种或多种的组合；分类算法可以使用SVM或AdaBoost等分类算法或在此基础上改进的算法。
优选的，本例可以使用深度卷积神经网络模型，如VGG、ResNet、MobileNet等算法。
S24，将新采集的图像输入到步骤S22中训练的目标检测模型，获取图像中灶台开关的位置；
优选的，开关的位置，可以每次运行都执行；也可以间隔一段时间后再执行一次或者只在最初的时候执行一次，其他时间均使用上次检测的结果。
S25，使用步骤S23中训练的目标分类模型检测开关的状态；
S251，从新采集的图像中，将开关所处位置切割出来；
S252，使用步骤S23中训练好的目标分类模型，对切割后的图像进行分类；
S253，根据目标分类模型输出的结果判断开关的状态。
该算法需要标注大量数据，但较第一种算法参数较少，适应能力更强。
第三种算法，步骤S2包括：
S21，收集或采集大量灶台的图像，并标注其位置和状态；
S22，训练检测开关位置并识别其状态的目标检测模型；
优选的，本例可以使用特征提取+分类+滑动窗口的算法，其中特征提取方法可以使用HAAR、HOG、LBP、ICF等算法或在此基础上改进的算法的一种或多种的组合；分类算法可以使用SVM或AdaBoost等分类算法或在此基础上改进的算法。
优选的，本例可以使用深度卷积神经网络模型，如SSD、YOLO、R-CNN等目标检测算法或在此基础上改进的算法。
S23，将新采集的图像输入到步骤S22中训练的目标检测模型，获取图像中灶台开关的位置及其状态；
该算法比第二种算法需要标注更多数据，但第二种算法参数更少，适应能力更强。同时计算量比第二种算法更大，且不能将检测和分类分开。
实施例四
本实施例提供的一种智能除烟设备控制方法，其可以应用于实施一的智能除烟设备上，同时还可以是在实施例二和/或实施例三的基础上进行的改进，但不以此为限，该方法识别灶台上放置的食材的种类，并在此基础上对用户的饮食给出建议，具体通过如下步骤进行：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法识别灶台上食材的种类；
S3，根据食材的营养成分含量，对用户的饮食健康提出建议。
第一种算法，步骤S2包括：
S21，收集或采集大量食材的图像，并进行标注其食材种类(可以标注一种主体食材，也可以标注所有食材种类)；
S22，使用标注好的图像，训练深度卷积神经网络模型；
优选的，本例可以使用VGG、ResNet、MobileNet等深度学习算法。
优选的，若仅标注了一种主体食材，本例使用交叉熵loss，对食材图像进行单标签分类；
优选的，若标注了所有食材种类，本例使用二元交叉熵loss，对食材图像进行多标签分类；
S23，将新采集的图像输入到步骤S22训练的模型中；
S24，根据模型输出的结果，可以得到灶台上食材的种类。
该算法适用于跟用户约定好食材放置位置的情况。
第二种算法，步骤S2包括：
S21，收集或采集大量食材的图像，并进行标注其食材种类(可以标注一种主体食材，也可以标注所有食材种类)及其位置；
S22，使用标注好的图像，训练深度卷积神经网络模型；
优选的，本例可以使用SSD、Faster R-CNN等目标检测算法。
优选的，若仅标注了一种主体食材，本例使用交叉熵loss，对食材图像进行单标签分类；
优选的，若标注了所有食材种类，本例使用二元交叉熵loss，对食材图像进行多标签分类；
S23，将新采集的图像输入到步骤S22训练的模型中；
S24，根据模型输出的结果，可以得到灶台上食材的种类和位置。
该算法标注成本高于第一种算法，但识别精度较高，且可以识别灶台上任何位置的食材。
实施例五
本实施例提供的一种智能除烟设备控制方法，其可以应用于实施例一的一种智能除烟设备上，同时还可以是在实施例二和/或实施例三和/或实施例四的基础上进行的改进，该方法监测用户的烹饪过程并对用户的烹饪进行实时指导，具体通过如下步骤进行：
S1，使用摄像头采集灶台上方的图像；
S2，监测用户的烹饪过程，对用户的烹饪进行实时指导。
第一种方案，步骤S2包括：
S21，将采集的图像实时传输到另一个客户端；
S22，另一个用户端的用户实时进行指导。
第二种方案，步骤S2包括：
S21，将菜谱细分成N个步骤；
S22，用户确认将要烹饪指定菜品；
S23，判断用户当前需要执行的操作步骤，并提示用户；
S24，用户完成操作后，通过语音、手势或触控屏的交互方式，确认已完成当前操作；
S25，重复步骤S23和步骤S24，直至烹饪完成。
第三种方案，步骤S2包括：
S21，将菜谱细分成N个步骤；
S22，用户确认将要烹饪的指定菜品；
S23，使用计算机视觉算法、声音检测等算法，通过监测食材的状态、烹饪火力的大小、烟雾的大小、食材烹饪的声音等方法判断用户当前需要执行的操作步骤；
S24，提示用户执行相应的操作，并判断用户是否执行了该操作；
S25，重复步骤S23和步骤S24，直至烹饪完成。
实施例六
本实施例提供的一种智能除烟设备控制方法，其可以应用于实施例一的一种智能除烟设备上，同时还可以是在实施例二和/或实施例三和/或实施例四和/或实施例五的基础上进行的改进，但不以此为限，该方法检测用户手的位置、形状、状态等，然后根据事先约定好的交互方式控制除烟设备，具体通过如下步骤进行：
S1，定义用户的手势以及除烟设备针对该手势对应的操作；
S2，使用摄像头采集灶台上方的图像；
S3，检测用户手的位置、形状、状态；
S4，判断用户的手势是否在除烟设备的手势库中；
S5，若用户的手势在手势库中，则除烟设备执行相应的操作。
优选的，步骤S1中的用户的手势包括手掌、拳头、OK手势，伸出的手指个数，手势及其运动轨迹。
优选的，步骤S3中的手势检测方法包括：
S31，收集或采集大量手势的图像，并标注其位置和状态；
S32，训练目标检测模型；
优选的，本例可以使用特征提取+分类+滑动窗口的算法，其中特征提取方法可以使用HAAR、HOG、LBP、ICF等算法或在此基础上改进的算法的一种或多种的组合；分类算法可以使用SVM或AdaBoost等分类算法或在此基础上改进的算法。
优选的，本例可以使用深度卷积神经网络模型，如SSD、YOLO、R-CNN等目标检测算法或在此基础上改进的算法。
S33，使用步骤S32中训练的目标检测模型，检测新采集图像中的手势；
S34，对检测到的手势进行目标跟踪；
优选的，目标跟踪算法可以选择KCF、ECO或SiamNet等算法或在此基础之上的改进算法。
S35，根据目标检测和跟踪的结果，获取用户的手的位置、形状、状态信息。
此外，本例提出的手势交互方式还可以与触控屏、语音等其他交互方式结合使用。
这几种和摄像头相关的应用可以单独使用，也可以同时使用，同时使用时，根据应用的不同按照预设的程序进行对应的控制与应用，或者由消费者对不同的应用通过触控显示屏进行对应的选择和设置。
组合在一起使用时，可以使得除烟设备的使用智能化，智能识别旋钮以实现烟灶联动和控制火力，智能识别烟量以实现自动控制，智能识别食材以提供对应的菜谱和烹饪方法，智能分享烹饪结果，语音控制以及显示触控等智能交互体验。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (18)

1.一种智能除烟设备，其特征在于，包括图像采集单元、信息处理单元和主控单元；所述图像采集单元与所述信息处理单元连接，所述信息处理单元与所述主控单元连接；所述图像采集单元采集灶台图像信息，所述信息处理单元根据采集的灶台图像信息分析处理，判断用户的烹饪意图，进而所述主控单元根据用户的烹饪意图控制除烟设备。
2.根据权利要求1所述的一种智能除烟设备，其特征在于，包括活体检测单元，所述活体检测单元与所述信息处理单元连接，所述活体检测单元用于检测是否有用户靠近，若有用户靠近，则打开所述图像采集单元。
3.根据权利要求1所述的一种智能除烟设备，其特征在于，包括无线通信模块，所述无线通信模块与所述主控单元连接，所述无线通信模块配置WIFI、蓝牙、2G/3G/4G/5G上网模式。
4.根据权利要求1所述的一种智能除烟设备，其特征在于，包括触控屏和/或语音交互单元，所述触控屏和所述语音交互单元分别与所述信息处理单元连接。
5.一种智能除烟设备控制方法，其特征在于，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测烟量大小；
S3，根据烟量大小调节抽油烟风机的转速。
6.根据权利要求5所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，获取图像中运动的前景；
S22，根据烟雾的颜色特征检测图像中烟雾的可能区域；
S23，对图像中的每一个像素，若该像素即是前景又符合颜色特征，则定义该像素为候选像素；
S24，计算当前帧与背景的差值图像；
S25，计算候选像素的连通域；
S26，计算每个连通域的轮廓特征；
S27，计算每个连通域的烟雾增长特征；
S28，计算每个连通域的频率特征；
S29，根据连通域的轮廓特征、烟雾增长特征和频率特征，共同决定该连通域是否是烟雾；
S210，计算差值图像在所有筛选后的连通域上像素的和，该值就是烟量的大小。
7.根据权利要求5所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，收集或采集大量烟雾图像，并标注烟雾的位置和大小；
S22，将烟雾图像划分成不同尺度，并对每个尺度的图像分割成多个M×N小块图像；
S23，使用分割好的小块图像和标注训练分类模型；
S24，使用摄像头采集灶台上方的图像；
S25，将新采集的图像划分成不同的尺度，在每个尺度上运行步骤S23中训练好的分类模型；
S26，根据分类模型输出结果，计算灶台上烟量的大小。
8.根据权利要求5所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，收集或采集大量烟雾图像，并进行标注；
S22，训练深度卷积神经网络模型；
S23，使用摄像头采集灶台上方的图像；
S24，将新采集的图像输入到训练好的深度卷积神经网络模型；
S25，根据模型输出的结果，计算灶台上烟量的大小。
9.一种智能除烟设备控制方法，其特征在于，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法检测灶台开关的位置及其状态；
S3，若灶台从关闭转为开启状态，则开启烟雾检测；
S4，根据烟雾检测结果，来决定是否打开除烟设备；
S5，若灶台开关从开启转为关闭状态，且烟量逐渐消失，则抽油烟风机低速运转换气并关机。
10.根据权利要求9所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，获取图像中灶台开关的位置；
S22，检测开关旋转的角度；
S23，根据开关旋转的角度，判断灶台开关的状态。
11.根据权利要求9所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，收集或采集大量灶台的图像，并标注其位置和状态；
S22，训练检测开关位置的目标检测模型；
S23，训练识别开关状态的目标分类模型；
S24，将新采集的图像输入到步骤S22中训练的目标检测模型，获取图像中灶台开关的位置；
S25，使用步骤S23中训练的目标分类模型检测开关的状态。
12.一种智能除烟设备控制方法，其特征在于，包括：
S1，使用摄像头采集灶台上方的图像；
S2，使用计算机视觉算法识别灶台上食材的种类；
S3，根据食材的营养成分含量，对用户的饮食健康提出建议。
13.根据权利要求12所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，收集或采集大量食材的图像，并进行标注其食材种类或者种类和位置；
S22，使用标注好的图像，训练深度卷积神经网络模型；
S23，将新采集的图像输入到步骤S22训练的模型中；
S24，根据模型输出的结果，可以得到灶台上食材的种类。
14.一种智能除烟设备控制方法，其特征在于，包括：
S1，使用摄像头采集灶台上方的图像；
S2，监测用户的烹饪过程，对用户的烹饪进行实时指导。
15.根据权利要求14所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，将采集的图像实时传输到另一个客户端；
S22，另一个用户端的用户实时进行指导。
16.根据权利要求14所述的一种智能除烟设备控制方法，其特征在于，步骤S2包括：
S21，将菜谱细分成N个步骤；
S22，用户确认将要烹饪指定菜品；
S23，判断用户当前需要执行的操作步骤，并提示用户；
S24，用户完成操作后，通过语音、手势或触控屏的交互方式，确认已完成当前操作；
S25，重复步骤S23和步骤S24，直至烹饪完成。
17.一种智能除烟设备控制方法，其特征在于，包括：
S1，定义用户的手势以及除烟设备针对该手势对应的操作；
S2，使用摄像头采集灶台上方的图像；
S3，检测用户手的位置、形状、状态；
S4，判断用户的手势是否在除烟设备的手势库中；
S5，若用户的手势在手势库中，则除烟设备执行相应的操作。
18.根据权利要求17所述的一种智能除烟设备控制方法，其特征在于，步骤S1中的用户的手势包括手掌、拳头、OK手势，伸出的手指个数，手势运动轨迹。
CN201910177310.3A 2019-03-08 2019-03-08 一种智能除烟设备及其控制方法 Pending CN109948488A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910177310.3A CN109948488A (zh) 2019-03-08 2019-03-08 一种智能除烟设备及其控制方法
PCT/CN2019/078853 WO2020181570A1 (zh) 2019-03-08 2019-03-20 一种智能除烟设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910177310.3A CN109948488A (zh) 2019-03-08 2019-03-08 一种智能除烟设备及其控制方法

Publications (1)

Publication Number Publication Date
CN109948488A true CN109948488A (zh) 2019-06-28

Family

ID=67009402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910177310.3A Pending CN109948488A (zh) 2019-03-08 2019-03-08 一种智能除烟设备及其控制方法

Country Status (2)

Country Link
CN (1) CN109948488A (zh)
WO (1) WO2020181570A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619279A (zh) * 2019-08-22 2019-12-27 天津大学 一种基于跟踪的路面交通标志实例分割方法
CN111046849A (zh) * 2019-12-30 2020-04-21 珠海格力电器股份有限公司 一种厨房安全的实现方法、装置以及智能终端、存储介质
CN111596563A (zh) * 2020-05-15 2020-08-28 上海达显智能科技有限公司 一种智能烟灶系统及其烹饪指导方法
CN111780186A (zh) * 2020-07-13 2020-10-16 合肥瑞纳通软件技术开发有限公司 具有主动导烟装置的抽油烟机及其控制方法
CN111780185A (zh) * 2020-07-13 2020-10-16 合肥瑞纳通软件技术开发有限公司 基于目标识别模型的油烟控制方法、系统及计算机设备
CN112070046A (zh) * 2020-09-15 2020-12-11 宁波方太厨具有限公司 灶具火力识别方法、系统及可读存储介质
CN112178706A (zh) * 2020-10-14 2021-01-05 宁波方太厨具有限公司 灶具火力档位的识别方法与系统、烟灶联动方法与系统
CN112728589A (zh) * 2020-12-30 2021-04-30 Tcl家用电器（中山）有限公司 集成灶调节方法及装置、集成灶、存储介质
CN112747661A (zh) * 2019-10-31 2021-05-04 阿里巴巴集团控股有限公司 检测装置、智能设备、及检测方法
CN112748896A (zh) * 2021-01-15 2021-05-04 宁波方太厨具有限公司 烹饪设备的透明屏显示方法、系统及可读存储介质
CN113048529A (zh) * 2019-12-26 2021-06-29 佛山市云米电器科技有限公司 做菜信息提示方法、抽油烟机及计算机可读存储介质
CN113464997A (zh) * 2020-04-24 2021-10-01 海信集团有限公司 吸油烟机及控制方法、装置
CN114353144A (zh) * 2022-01-13 2022-04-15 宁波方太厨具有限公司 结合图像识别的烟灶联动方法、系统、设备及介质
CN114821817A (zh) * 2022-06-28 2022-07-29 德尚酒店设备设计（深圳）有限公司 多烹饪设备的能源控制方法、装置、设备及存储介质
CN114839910A (zh) * 2022-04-29 2022-08-02 青岛海尔科技有限公司 控制指令的发送方法和装置、存储介质及电子装置
CN116563743A (zh) * 2022-12-09 2023-08-08 南京图格医疗科技有限公司 基于深度学习的检测方法及除烟系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099417A (zh) * 2020-10-21 2020-12-18 广东中恒环境科技有限责任公司 一种多功能油烟机控制电路
CN112907510B (zh) * 2021-01-15 2023-07-07 中国人民解放军国防科技大学 一种表面缺陷检测方法
CN113570636B (zh) * 2021-06-16 2024-05-10 北京农业信息技术研究中心 一种风机通风量检测方法及装置
CN116188466B (zh) * 2023-04-26 2023-07-21 广州思德医疗科技有限公司 医疗器械体内停留时长确定方法和装置
CN116468974B (zh) * 2023-06-14 2023-10-13 华南理工大学 一种基于图像生成的烟雾检测方法、装置及存储介质
CN118602460A (zh) * 2024-08-08 2024-09-06 宁波方太厨具有限公司 模式触发控制装置、灶具以及集成烹饪器具

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778896A (zh) * 2016-12-29 2017-05-31 南京理工大学 一种基于自编码特征学习的冬虫夏草检测方法
CN107704085A (zh) * 2017-10-19 2018-02-16 美的集团股份有限公司 一种检测方法及家用电器、存储介质
CN107959604A (zh) * 2017-11-07 2018-04-24 佛山市云米电器科技有限公司 远程指导烹饪的系统及方法
CN108121974A (zh) * 2017-12-26 2018-06-05 上海展扬通信技术有限公司 一种显示模组结构及终端设备
CN108253484A (zh) * 2018-01-02 2018-07-06 广东美的厨房电器制造有限公司 吸油烟机及其控制装置和控制方法
CN108375095A (zh) * 2018-01-19 2018-08-07 青岛海尔智慧厨房电器有限公司 一种吸油烟机的控制方法及吸油烟机
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102121906A (zh) * 2011-01-31 2011-07-13 无锡中星微电子有限公司 烟雾检测系统、油烟机智能控制系统及油烟机智能控制方法
WO2015144616A1 (en) * 2014-03-26 2015-10-01 Faber S.P.A. Gesturally controlled extractor hood and control method thereof
CN104501257B (zh) * 2014-12-23 2016-11-23 浙江大学宁波理工学院 一种基于图像分析的吸油烟机自动调速控制方法
CN104616034B (zh) * 2015-02-15 2018-05-29 北京化工大学 一种烟雾检测方法
CN105020747A (zh) * 2015-06-29 2015-11-04 杭州掌勺网络科技有限公司 一种智能烹饪工具
CN106123073A (zh) * 2016-08-17 2016-11-16 安陆市万众创新智能科技有限公司 一种新型智能油烟机
KR102372170B1 (ko) * 2017-06-26 2022-03-08 삼성전자주식회사 레인지 후드 및 레인지 후드의 제어방법
CN107620998A (zh) * 2017-10-24 2018-01-23 西安科锐盛创新科技有限公司 智能抽油烟机及智能厨房
CN107763694B (zh) * 2017-11-06 2023-09-15 广东美的厨房电器制造有限公司 烹饪联动系统、方法和烟机
CN108006709A (zh) * 2017-11-07 2018-05-08 佛山市云米电器科技有限公司 可调整的视觉感应系统及方法
CN107702174B (zh) * 2017-11-07 2020-12-22 佛山市云米电器科技有限公司 油烟追踪系统及方法
CN108916952B (zh) * 2018-03-08 2020-08-14 佛山市云米电器科技有限公司 一种具有三维空间声场降噪装置的油烟机及降噪方法
CN108443927A (zh) * 2018-04-28 2018-08-24 深圳市赛亿科技开发有限公司 一种智能抽油烟机
CN109237539B (zh) * 2018-09-04 2020-04-07 佛山市顺德区美的洗涤电器制造有限公司 烟灶联动的控制方法和烟灶联动系统
CN109028231A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 一种基于视觉手势控制的烟灶一体机及油烟浓度检测方法
CN109028223B (zh) * 2018-09-29 2023-10-03 佛山市云米电器科技有限公司 具手势控制视觉检测功能的油烟机及油烟浓度检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778896A (zh) * 2016-12-29 2017-05-31 南京理工大学 一种基于自编码特征学习的冬虫夏草检测方法
CN107704085A (zh) * 2017-10-19 2018-02-16 美的集团股份有限公司 一种检测方法及家用电器、存储介质
CN107959604A (zh) * 2017-11-07 2018-04-24 佛山市云米电器科技有限公司 远程指导烹饪的系统及方法
CN108121974A (zh) * 2017-12-26 2018-06-05 上海展扬通信技术有限公司 一种显示模组结构及终端设备
CN108253484A (zh) * 2018-01-02 2018-07-06 广东美的厨房电器制造有限公司 吸油烟机及其控制装置和控制方法
CN108375095A (zh) * 2018-01-19 2018-08-07 青岛海尔智慧厨房电器有限公司 一种吸油烟机的控制方法及吸油烟机
CN109255326A (zh) * 2018-09-07 2019-01-22 华南理工大学 一种基于多维信息特征融合的交通场景烟雾智能检测方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619279A (zh) * 2019-08-22 2019-12-27 天津大学 一种基于跟踪的路面交通标志实例分割方法
CN112747661A (zh) * 2019-10-31 2021-05-04 阿里巴巴集团控股有限公司 检测装置、智能设备、及检测方法
CN113048529A (zh) * 2019-12-26 2021-06-29 佛山市云米电器科技有限公司 做菜信息提示方法、抽油烟机及计算机可读存储介质
CN111046849A (zh) * 2019-12-30 2020-04-21 珠海格力电器股份有限公司 一种厨房安全的实现方法、装置以及智能终端、存储介质
CN113464997B (zh) * 2020-04-24 2022-06-10 海信集团有限公司 吸油烟机及控制方法、装置
CN113464997A (zh) * 2020-04-24 2021-10-01 海信集团有限公司 吸油烟机及控制方法、装置
CN111596563A (zh) * 2020-05-15 2020-08-28 上海达显智能科技有限公司 一种智能烟灶系统及其烹饪指导方法
CN111596563B (zh) * 2020-05-15 2023-09-19 上海达显智能科技有限公司 一种智能烟灶系统及其烹饪指导方法
CN111780186A (zh) * 2020-07-13 2020-10-16 合肥瑞纳通软件技术开发有限公司 具有主动导烟装置的抽油烟机及其控制方法
CN111780185A (zh) * 2020-07-13 2020-10-16 合肥瑞纳通软件技术开发有限公司 基于目标识别模型的油烟控制方法、系统及计算机设备
CN112070046A (zh) * 2020-09-15 2020-12-11 宁波方太厨具有限公司 灶具火力识别方法、系统及可读存储介质
CN112178706B (zh) * 2020-10-14 2021-11-05 宁波方太厨具有限公司 灶具火力档位的识别方法与系统、烟灶联动方法与系统
CN112178706A (zh) * 2020-10-14 2021-01-05 宁波方太厨具有限公司 灶具火力档位的识别方法与系统、烟灶联动方法与系统
CN112728589A (zh) * 2020-12-30 2021-04-30 Tcl家用电器（中山）有限公司 集成灶调节方法及装置、集成灶、存储介质
CN112748896A (zh) * 2021-01-15 2021-05-04 宁波方太厨具有限公司 烹饪设备的透明屏显示方法、系统及可读存储介质
CN112748896B (zh) * 2021-01-15 2022-08-02 宁波方太厨具有限公司 烹饪设备的透明屏显示方法、系统及可读存储介质
CN114353144A (zh) * 2022-01-13 2022-04-15 宁波方太厨具有限公司 结合图像识别的烟灶联动方法、系统、设备及介质
CN114839910A (zh) * 2022-04-29 2022-08-02 青岛海尔科技有限公司 控制指令的发送方法和装置、存储介质及电子装置
CN114821817A (zh) * 2022-06-28 2022-07-29 德尚酒店设备设计（深圳）有限公司 多烹饪设备的能源控制方法、装置、设备及存储介质
CN116563743A (zh) * 2022-12-09 2023-08-08 南京图格医疗科技有限公司 基于深度学习的检测方法及除烟系统
CN116563743B (zh) * 2022-12-09 2023-12-01 南京图格医疗科技有限公司 基于深度学习的检测方法及除烟系统

Also Published As

Publication number Publication date
WO2020181570A1 (zh) 2020-09-17

Similar Documents

Publication Publication Date Title
CN109948488A (zh) 一种智能除烟设备及其控制方法
WO2020207293A1 (zh) 一种用于自动烹饪食物的方法和装置
US11229311B2 (en) Food preparation system
CN107704085A (zh) 一种检测方法及家用电器、存储介质
EP2365420B1 (en) System and method for hand gesture recognition for remote control of an internet protocol TV
CN107965828B (zh) 抽油烟机的吸风状态控制方法和抽油烟机
CN109237582A (zh) 基于图像识别的吸油烟机控制方法、控制系统、吸油烟机
CN107576022A (zh) 空调器的控制方法、空调器、及存储介质
US10482613B2 (en) Movement monitoring system
CN107422859A (zh) 基于手势的调控方法、装置及计算机可读存储介质和空调
CN107883535A (zh) 空调控制方法及装置
CN104777821B (zh) 舞台监控系统及方法
CN111988424A (zh) 一种睡眠智能监控床、系统及方法
CA2893601A1 (en) Heat treatment monitoring system
CN105042789B (zh) 一种智能空调的控制方法及系统
CN108443927A (zh) 一种智能抽油烟机
CN103488294A (zh) 一种基于用户交互习惯的非接触手势控制映射调整方法
CN110260371A (zh) 基于多传感器的油烟机智能控制系统及方法
CN209431507U (zh) 基于非接触式3d红外手势识别控制的油烟机
CN112906453A (zh) 智能识别并实时反馈的洗手监测系统
CN111325047A (zh) 烹饪安全辅助方法、系统、厨房电器及其组合
JP2019219766A (ja) 分析装置、分析システム、及び分析プログラム
Zhang et al. Robotic control of dynamic and static gesture recognition
CN110472458A (zh) 一种无人店铺秩序管理方法及系统
CN109028230A (zh) 具手势控制视觉检测功能的炉具及油烟浓度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628