CN105933583A - 一种基于视频采集和频率获取的食品制作控制系统 - Google Patents
一种基于视频采集和频率获取的食品制作控制系统 Download PDFInfo
- Publication number
- CN105933583A CN105933583A CN201610329673.0A CN201610329673A CN105933583A CN 105933583 A CN105933583 A CN 105933583A CN 201610329673 A CN201610329673 A CN 201610329673A CN 105933583 A CN105933583 A CN 105933583A
- Authority
- CN
- China
- Prior art keywords
- frequency
- video
- food
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 47
- 238000002360 preparation method Methods 0.000 title abstract 4
- 238000010438 heat treatment Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 230000003321 amplification Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 11
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 239000010931 gold Substances 0.000 claims description 3
- 229910052737 gold Inorganic materials 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 238000009835 boiling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 235000008429 bread Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 235000021056 liquid food Nutrition 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J36/00—Parts, details or accessories of cooking-vessels
- A47J36/24—Warming devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Food Science & Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
Abstract
本发明公开了一种基于视频采集和频率获取的食品制作控制系统，该系统包括加热模块、视频获取模块、频率分析模块和反馈模块；加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；反馈模块接收频率分析模块得到的实时食物表面频率，输出控制温度，对加热模块进行控制。本发明根据食物表面的频率确定食物制作时间，让厨房设备形成一个闭环系统，让厨房工作更加智能，食物制作更加准确。
Description
技术领域
本发明涉及智能食品制作技术，尤其涉及一种以摄像技术获得食物表面频率变化，闭环控制食物制作的系统。
背景技术
目前的厨房内的设备控制系统基本都是开环系统，通过人的主观感觉结合离散的时间刻表进行食物制作控制。不难发现，现有的厨房设备无法准确的从食物本身出发进行灵活的、准确的控制。具体体现为用户只能通过设备推荐或者主观估计，控制食物制作时间，而无法实时结合食物实际制作情况进行控制调整。且现有的控制系统均以时间为控制依据，其离散性决定了其控制结果的较大误差。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于视频采集和频率获取的食品制作控制系统。
本发明的目的是通过以下技术方案来实现的：一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块；
所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；
所述视频获取模块通过摄像头获取食品加热过程中的视频图像；
所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；
所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。
进一步地，所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为：将原始图像作为金字塔的第0层，第一层图像由第0层图像通过高斯低通滤波和下采样偶数行偶数列得到，再对第一层图像进行与第0层图像相同的操作，得到第2层；对每一层图像循环进行以上操作，构成高斯金字塔；通过对高斯金字塔的第n层与第n－1层分别进行上采样后再相减得到的拉普拉斯金字塔。
进一步地，所述对分解后的图像进行带通滤波差分放大具体为：对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理；对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。
进一步地，所述通过金字塔合成得到震动放大图像具体为：对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上；再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。
进一步地，所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为：对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
本发明的有益效果是：本发明提供了一种新型的食品制作控制系统，替换现有的粗略控制、低效的控制系统；本发明控制系统包括传统的加热模块外，还有视频获取模块、频率分析模块和反馈模块。通过摄像技术获取食品加热过程中的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；本发明通过放大食品表面在制作过程中的震动，得到食物表面频率变化，并反馈给加热模块，以此实现闭环控制，使设备更加方便的同时也增加了食物制作的效率。
附图说明
图1为本发明控制系统整体框图；
图2为频率分析模块整体框架；
图3为金字塔分解框图；
图4为频率分析模块运动放大框图；
图5为水沸腾前水面图像放大处理图像，(a)为通过频率分析模块表面放大图像，(b)为拍摄视频原图；
图6为水沸腾后水面图像放大处理图像，(a)为通过视频分析模块表面放大图像，(b)为拍摄视频原图；
图7为重建的水沸腾视频中的每帧取RGB通道中的G分量平均值得到的水震动波形图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块；
所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；
所述视频获取模块通过摄像头获取食品加热过程中的视频图像；
如图2-4所示，所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；
所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。
所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为：将原始图像作为金字塔的第0层，第一层图像由第0层图像通过高斯低通滤波和下采样偶数行偶数列得到，再对第一层图像进行与第0层图像相同的操作，得到第2层；对每一层图像循环进行以上操作，构成高斯金字塔；通过对高斯金字塔的第n层与第n－1层分别进行上采样后再相减得到的拉普拉斯金字塔。
所述对分解后的图像进行带通滤波差分放大具体为：对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理；对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。
所述通过金字塔合成得到震动放大图像具体为：对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上；再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。
所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为：对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
固体食物在加热过程中，表面震动幅值减小，频率增大；液体食物在加热过程中，表面震动幅值增大，频率减小。以下实施例中，以最基础煮开水为例。
通过摄像技术得到凉水从加热到烧开过程的视频，对视频的每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像。水沸腾前后的水面图像放大处理图像如图5、6所示。
在对于水的视频分析的信号滤波环节中，选择了[2-8]Hz的信号段，可以显著放大水沸腾前后表面震动变化。
通过带通滤波器提取到感兴趣信号之后，放大信号重建图像，进而重建视频。在重建的水沸腾视频中，每帧取RGB通道中的G分量平均值可以得到水震动波形。所以，在该环境状态下，当检测到该频段信号较强时，说明水完成加热。以此，输出反馈信号给加热模块，实现闭环控制食物制作。
同样，分别对面包、牛奶、蛋炒饭、蛋糕的制作过程进行控制试验，均得到较好的效果。对于以面包为代表的固态食品，在加热过程中震动波形呈现一个明显的振幅减小，频率增大的过程，相反，以水为代表的液态食品在加热过车中震动波形呈现一个明显的振幅增大，频率减小的过程。所以在实际实现时，可通过食品表面震动频率变化阈值实现闭环控制。
Claims (5)
1.一种基于视频采集和频率获取的食品制作控制系统，包括加热模块、视频获取模块、频率分析模块和反馈模块；
所述加热模块对食品进行加热并接收反馈模块反馈的控制温度调节食品的加热温度；
所述视频获取模块通过摄像头获取食品加热过程中的视频图像；
所述频率分析模块接收视频获取模块采集的视频图像，对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解，对分解后的图像进行带通滤波差分放大，再通过金字塔合成得到震动放大图像；通过若干相邻帧的震动放大图像，重建视频得到食物表面频率；
所述反馈模块接收频率分析模块得到的实时食物表面频率，与预设的食品表面频率的目标值进行对比，输出控制温度，对加热模块进行控制。
2.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于：所述对每一帧图像进行高斯金字塔和拉普拉斯金字塔分解具体为：将原始图像作为金字塔的第0层，第一层图像由第0层图像通过高斯低通滤波和下采样偶数行偶数列得到，再对第一层图像进行与第0层图像相同的操作，得到第2层；对每一层图像循环进行以上操作，构成高斯金字塔；通过对高斯金字塔的第n层与第n－1层分别进行上采样后再相减得到的拉普拉斯金字塔。
3.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于：所述对分解后的图像进行带通滤波差分放大具体为：对分解后得到的拉普拉斯金字塔图像进行滤波，即在频域内使用对时间序列进行滤波的方式对分解后的每一个空间层的所有像素做统一的处理；对于在一个频带内的与像素值相关的时间序列，采用带通滤波器去提取频带内的感兴趣信号。
4.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于：所述通过金字塔合成得到震动放大图像具体为：对于叠加放大后的拉普拉斯金字塔，从最后一层图像开始，上采样至倒数第二层图像的大小，并叠加到倒数第二层图像上；再对叠加后的倒数第二层图像做与最后一层图像的相同操作，得到倒数第三层图像，对以上步骤循环进行，得到震动放大图像。
5.根据权利要求1所述的一种基于视频采集和频率获取的食品制作控制系统，其特征在于：所述通过若干相邻帧的震动放大图像，重建视频得到食物表面频率具体为：对空间分解并且重建的视频，对其每帧取RGB通道中G分量平均值来得到波形图像，从而可以得到食物表面频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610329673.0A CN105933583B (zh) | 2016-05-16 | 2016-05-16 | 一种基于视频采集和频率获取的食品制作控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610329673.0A CN105933583B (zh) | 2016-05-16 | 2016-05-16 | 一种基于视频采集和频率获取的食品制作控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105933583A true CN105933583A (zh) | 2016-09-07 |
| CN105933583B CN105933583B (zh) | 2019-01-08 |
Family
ID=56841537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610329673.0A Active CN105933583B (zh) | 2016-05-16 | 2016-05-16 | 一种基于视频采集和频率获取的食品制作控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105933583B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109717722A (zh) * | 2018-11-14 | 2019-05-07 | 宁波旭磊电子科技有限公司 | 多功能监控型电锅 |
| CN109753098A (zh) * | 2017-11-02 | 2019-05-14 | 宁波方太厨具有限公司 | 一种食品加热装置的智能加热方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4492839A (en) * | 1976-05-19 | 1985-01-08 | Smith Donald P | Thermal treatment apparatus |
| JPH06327414A (ja) * | 1993-05-24 | 1994-11-29 | Matsushita Electric Works Ltd | 調理手順指示器 |
| JP3090572U (ja) * | 2002-06-07 | 2002-12-20 | 小野 志郎 | 特性アヒル卵の卵黄を具に用いた握り飯（おにぎり）品名、卵黄のおにぎり、または卵黄だけのおにぎり。（きみは卵黄のきみとあなたの掛け言葉） |
| CN1900938A (zh) * | 2006-07-11 | 2007-01-24 | 青岛大学 | 用于帮助估计食物摄入量的食物图谱的制作方法 |
| CN103076767A (zh) * | 2011-08-31 | 2013-05-01 | 阮刚 | 烹饪的复制 |
| CN104866954A (zh) * | 2015-04-27 | 2015-08-26 | 天津师范大学 | 基于智能信息处理终端居民膳食均衡量化分析方法及系统 |
-
2016
- 2016-05-16 CN CN201610329673.0A patent/CN105933583B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4492839A (en) * | 1976-05-19 | 1985-01-08 | Smith Donald P | Thermal treatment apparatus |
| JPH06327414A (ja) * | 1993-05-24 | 1994-11-29 | Matsushita Electric Works Ltd | 調理手順指示器 |
| JP3090572U (ja) * | 2002-06-07 | 2002-12-20 | 小野 志郎 | 特性アヒル卵の卵黄を具に用いた握り飯（おにぎり）品名、卵黄のおにぎり、または卵黄だけのおにぎり。（きみは卵黄のきみとあなたの掛け言葉） |
| CN1900938A (zh) * | 2006-07-11 | 2007-01-24 | 青岛大学 | 用于帮助估计食物摄入量的食物图谱的制作方法 |
| CN103076767A (zh) * | 2011-08-31 | 2013-05-01 | 阮刚 | 烹饪的复制 |
| CN104866954A (zh) * | 2015-04-27 | 2015-08-26 | 天津师范大学 | 基于智能信息处理终端居民膳食均衡量化分析方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109753098A (zh) * | 2017-11-02 | 2019-05-14 | 宁波方太厨具有限公司 | 一种食品加热装置的智能加热方法 |
| CN109717722A (zh) * | 2018-11-14 | 2019-05-07 | 宁波旭磊电子科技有限公司 | 多功能监控型电锅 |
| CN109717722B (zh) * | 2018-11-14 | 2021-01-26 | 中画高新技术产业发展(重庆)有限公司 | 多功能监控型电锅 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105933583B (zh) | 2019-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105120130B (zh) | 一种图像升频系统、其训练方法及图像升频方法 | |
| CN105933583A (zh) | 一种基于视频采集和频率获取的食品制作控制系统 | |
| CN105809630B (zh) | 一种图像噪声过滤方法及系统 | |
| CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
| CN105132137A (zh) | 一种小磨香油的制备方法 | |
| CN105105223A (zh) | 一种炒芝麻的制备方法 | |
| CN103710137B (zh) | 腰果油及其制备方法 | |
| CN204634986U (zh) | 一种野生蜂蜜杀菌过滤设备 | |
| CN107008045A (zh) | 一种方便更换清洗的食品加工用过滤网 | |
| CN106570876A (zh) | 一种提取鬼成像图像边缘的方法 | |
| CN109170818A (zh) | 一种辣椒酱及其制备方法 | |
| CN107981862A (zh) | 一种核磁共振环境下的脑信号在线去噪方法 | |
| CN105606730B (zh) | 一种利用指纹图谱来控制决明子多糖质量的方法 | |
| CN206405033U (zh) | 一种调料加工分成筛选装置 | |
| CN105995820A (zh) | 一种果糕及其制备方法 | |
| CN106358765B (zh) | 一种在固态介质上培养冠突散囊菌的方法 | |
| CN104172067A (zh) | 一种青花椒提取物的制备方法 | |
| CN103766841A (zh) | 一种固态复合调味料及其制造方法 | |
| CN219813031U (zh) | 一种果蔬脆片低温油炸设备 | |
| Liu et al. | Remote Heart Rate Estimation in Low-Light Environments Based on Eulerian Video Magnification | |
| Zhang et al. | Noncontact extraction of breathing waveform | |
| Liu et al. | TED: A Tetrominoes based edge descriptor | |
| CN107771963A (zh) | 一种超临界和高温高压高效提取制备火锅油的方法 | |
| Liu et al. | Heart Rate Detection From Facial Videos Using A Frequencyconstrained Multilayer Sparse Coding | |
| CN110302259A (zh) | 一种山楂炭的制备方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |