CN113409318B - 一种基于图像处理的厨房油烟检测方法 - Google Patents
一种基于图像处理的厨房油烟检测方法 Download PDFInfo
- Publication number
- CN113409318B CN113409318B CN202110957029.9A CN202110957029A CN113409318B CN 113409318 B CN113409318 B CN 113409318B CN 202110957029 A CN202110957029 A CN 202110957029A CN 113409318 B CN113409318 B CN 113409318B
- Authority
- CN
- China
- Prior art keywords
- oil smoke
- action
- reward
- smoke concentration
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 86
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 title claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 10
- 238000010411 cooking Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000003517 fume Substances 0.000 claims 2
- 239000004071 soot Substances 0.000 claims 1
- 241000764238 Isis Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dispersion Chemistry (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明一种基于图像处理的厨房油烟检测方法，包括以下步骤：步骤
：基础信息获取，括人员信息感知和油烟浓度信息感知，获取人员信息和油烟浓度信息，用于后续进行奖励矩阵的生成；步骤
：基于油烟浓度和人员动作生成奖励矩阵,用于获取基准人员动作序列；步骤
：帧差间隔确定，用于自适应获取帧差间隔，以提高油烟检测的准确率；步骤
Description
技术领域
本申请涉及油烟检测技术领域，具体涉及一种基于图像处理的厨房油烟检测方法。
背景技术
目前，在现有技术中油烟检测通常直接通过帧差法进行检测，如中国专利授权公开号为CN108760590B，公开了一种基于图像处理的厨房油烟浓度检测与干扰排除方法，其直接以固定帧进行帧差操作处理，进而获取油烟运动信息，采用该方法，若所选取帧数较小，可能存在油烟变化不明显，不易分辨出油烟变化情况；若选取帧数较大，可能存在油烟变化程度过大，导致变化过程细节信息丢失，不仅不便于获取基准油烟浓度变化信息，同时也使得油烟检测的准确率不高。
发明内容
针对上述问题，本发明提出了一种基于图像处理的厨房油烟检测方法，该方法包括以下步骤：
步骤
：基础信息获取，包括人员信息感知和油烟浓度信息感知，获取人员信息和油烟浓度信息，用于后续进行奖励矩阵的生成；
步骤
：基于油烟浓度和人员动作生成奖励矩阵,用于获取基准人员动作序列；
步骤
：帧差间隔确定，用于自适应获取帧差间隔，以提高油烟检测的准确率；
步骤
：油烟检测，用于感知油烟浓度，进而进行油烟机风口控制。
有益效果：
（1）基于本申请所述奖励矩阵获取步骤，相较于现有技术有益效果在于通过奖励值确定当前浓度下的基准动作，便于获取基准油烟浓度变化信息；
（2）基于本申请所述帧差间隔确定步骤，相较于现有技术有益效果在于根据实际动作序列信息与动作序列信息对比获取偏差量，进而帧差间隔的自适应获取，提高了基于帧差法进行油烟检测的准确率。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明展开描述。
为了实现本发明所述内容，本发明设计了一种基于图像处理的厨房油烟检测方法，包括以下步骤：
步骤
，基础信息获取，该步骤的目的：获取人员信息和油烟浓度信息，能够带来的好处:用于后续进行奖励矩阵的生成，所用先验知识为：关键点检测网络。
输入为：视频序列和传感器检测值序列，进行人员信息感知和油烟浓度信息感知处理，输出为：人员信息和油烟浓度信息。
其中，所述人员信息感知具体为：通过关键点检测网络获取人体关键点、厨具关键点和容器关键点，所述人体关键点包括头部、手部、肘部、肩部和根节点共8个关键点类别；即上述网络输出为十个通道的热力图；所述厨具包括如锅铲、勺、筷子等；所述容器包括碗、罐等；关键点网络的输入为单帧图像，输出为关键点热力图，在本申请中以已知时间戳的视频序列中的各帧图像作为输入，获取对应的关键点热力图；
需要说明的是，在本发明中默认烹饪用具位置固定不变，又由于本申请相机位姿固定，则易将烹饪用具中心点位置在图像中标注出来，该操作由实施者根据厨房环境信息自行标注；以烹饪用具中心点为圆心，设置第一半径
和第二半径
，以圆心和第一半径生成第一圆形区域作为第一感兴趣区域，以圆心和第二半径生成第二圆形区域，第二圆形区域中不属于第一圆形区域的区域为第二感兴趣区域，需要说明的是，第二半径
大于第一半径
；当某帧图像中手部关键点位于第二感兴趣区域且厨具关键点位于第一感兴趣区域，则判该帧为翻炒动作，动作类别标识为2；当某帧图像中手部关键点位于第二感兴趣区域且容器关键点位于第一感兴趣区域，则判该帧为倾倒动作，动作类别标识为3；否则，判断为等待动作动作类别标识为1；各帧动作信息即为人员信息；
其中，所述油烟浓度信息感知具体为：通过油烟浓度检测传感器获取各时刻的油烟浓度，各时刻油烟浓度以采集信息的时间戳作为时间标识；上述人员信息和油烟浓度信息通过时间戳进行一一对应；
步骤
，奖励矩阵获取：该步骤的目的：获取以浓度和动作为行信息和列信息的奖励矩阵，能够带来的好处:可基于奖励信息获取基准油烟浓度变化信息，考虑到人员动作及动作发生时间对油烟浓度变化的影响，获取到较为准确的基准油烟浓度变化信息；
输入为：人员信息和油烟浓度信息，进行奖励矩阵获取处理，输出为：奖励矩阵。
所述奖励矩阵获取具体为:
1）以油烟浓度作为行信息，以人员动作作为列信息生成初始奖励矩阵，初始奖励矩阵中元素值均为0，例如油烟浓度分为十个区间，为细化奖励矩阵以获取更好的分析效果，实施者可将区间个数设置为较大的值，人员动作基于上述人员信息获取为三个类别，则矩阵尺寸为10*3;
2）在不考虑人员动作自身特性影响的情况下，一组油烟浓度和人员动作可唯一对应一个奖励值，即在某个油烟浓度下，采取某种动作的奖励值，第
个区间的油烟浓度以
表示，第
个类别人员动作以
表示，则奖励值表示
表示以
和
为参数的映射函数，奖励值与油烟浓度变化值
呈负相关关系，显然，在烹饪过程中，无论油烟浓度为任何值，人员动作对应的奖励值大小均应为
，其中，
表示在油烟浓度位于第
个区间时采取倾倒动作的奖励值，
表示在油烟浓度位于第
个区间时采取翻炒动作的奖励值，
表示在油烟浓度位于第
个区间时采取等待动作的奖励值;
3）构建奖励矩阵生成网络，网络输入为离散时序下的
序列；
序列送入特征提取编码器中获取特征张量，特征张量送入奖励矩阵生成解码器中，输出奖励矩阵，也即输出为奖励矩阵，该奖励矩阵与初始奖励矩阵尺寸一致。
其中，奖励矩阵生成网络训练过程具体为：将多组基于不同场景下不同烹饪内容的视频序列获取的
作为训练数据集，网络的损失函数为
为动作损失，具体地，
用于确保动作对应的奖励值大小满足
，采用指数函数的目的为令变量小于0时，
为小于1的数，变量大于0时，
为大于1的数，同时为了扩大影响关系，添加了放缩系数
，
为大整数；
为变化量损失，具体地，
，即当浓度值变大时，当前奖励值应大于未来时刻的奖励值，反之亦然，采用放缩系数Q和指数函数来确保
为小于0的数。
步骤
，帧差间隔确定，该步骤的目的：自适应确定帧差法的帧差间隔，能够带来的好处:提高通过帧差法进行油烟检测的准确率。
输入为：奖励矩阵，进行帧差间隔获取处理，输出为：帧差间隔。
所述帧差间隔获取具体为：
a）根据上述所获取的奖励矩阵，基于初始状态进行最优动作组合选取，此时应考虑到人员动作自身特性影响，即对于烹饪过程而言，在未完成烹饪时，长时间处于等待状态会影响烹饪质量，本申请以炒菜过程为例，默认如蒸煮等烹饪方式不会产生较大的油烟；
b）最优动作组合选取策略为：获取烹饪过程持续时间
、当前动作类别
和当前动作持续时间
，通过统计获取当前情况下各动作出现概率
，并基于动作类别以
与奖励矩阵元素分别相乘，获取修正奖励矩阵；
c）根据修正奖励矩阵，基于遗忘思想进行当前最优奖励选取，即
为选择动作类别
的最终奖励评价，
为选择动作类别
的当前时刻奖励值，
为选择动作类别
的未来奖励值；
为遗忘系数，用于确定考虑之后奖励的程度，在本发明中设置为0.8；选择
对应的动作类别作为当前选取的动作类别；
d）根据所选择的动作类别更新烹饪过程持续时间
、当前动作类别
和当前动作持续时间
，
为预期烹饪时长，为经验值；至此，获取最优动作序列；
e）根据实际动作序列与基准动作序列进行偏差分析，具体地，进行逐帧对比，当存在差异时，将差异大小（也即动作类别标识差值，范围为-2，-1，1，2）通过修改的Sigmoid函数进行映射，映射值向下取整后即为帧间间隔修正值，所述修改的Sigmoid函数具体为：
，初始帧间间隔由实施者自行设置，本申请中设置为4帧；
f）至此，实现自适应的帧间间隔获取，以用于提高后续帧差法检测油烟的准确率。
步骤
，油烟检测，该步骤的目的：进行油烟浓度检测，能够带来的好处:准确感知油烟浓度，并根据油烟浓度进行通风口控制；
输入为：帧差间隔，根据帧差间隔采用帧差法进行处理，输出为：油烟浓度。
所述帧差法进行油烟检测为现有技术，在此不作赘述，实施者可选择现有实现方法即可，本申请提出的方案目的为给出自适应的帧差间隔后，再以帧差间隔选取视频帧进行帧差法检测油烟浓度，以提高油烟浓度的准确率。
Claims (5)
1.一种基于图像处理的厨房油烟检测方法，其特征在于，包括以下步骤；
步骤S1：基础信息获取，包括人员信息感知和油烟浓度信息感知，获取人员信息和油烟浓度信息，用于后续进行奖励矩阵的生成；
步骤S2：基于油烟浓度和人员动作生成奖励矩阵，用于获取基准人员动作序列；
所述奖励矩阵获取具体步骤为：
1)以油烟浓度作为行信息，以人员动作作为列信息生成初始奖励矩阵，初始奖励矩阵中元素值均为0；
2)设定一组油烟浓度和人员动作唯一对应一个奖励值，即在某个油烟浓度下，采取某种动作的奖励值，第m个区间的油烟浓度以cm表示，第n个类别人员动作以an表示，则奖励值表示为Rm，n＝f(cm，an)，f(c，a)表示以c和a为参数的映射函数，奖励值与油烟浓度变化值Δc呈负相关关系，在烹饪过程中，无论油烟浓度为任何值，人员动作对应的奖励值大小均应为Rm，1<Rm，2<Rm，3，其中，Rm，1表示在油烟浓度位于第m个区间时采取倾倒动作的奖励值，Rm，2表示在油烟浓度位于第m个区间时采取翻炒动作的奖励值，Rm，3表示在油烟浓度位于第m个区间时采取等待动作的奖励值；
3)构建奖励矩阵生成网络，网络输入为离散时序下的
序列；
序列送入特征提取编码器中获取特征张量，特征张量送入奖励矩阵生成解码器中，输出奖励矩阵，也即输出为奖励矩阵，该奖励矩阵与初始奖励矩阵尺寸一致；
步骤S3：帧差间隔确定，用于自适应获取帧差间隔，以提高油烟检测的准确率；
步骤S4：油烟检测，用于感知油烟浓度，进而进行油烟机风口控制。
2.根据权利要求1所述的基于图像处理的厨房油烟检测方法，其特征在于，所述步骤S1中人员信息感知具体为：通过关键点检测网络获取人体关键点、厨具关键点和容器关键点，关键点网络的输入为单帧图像，输出为关键点热力图，以已知时间戳的视频序列中的各帧图像作为输入，获取对应的关键点热力图；所述油烟浓度信息感知具体为：通过油烟浓度检测传感器获取各时刻的油烟浓度，各时刻油烟浓度以采集信息的时间戳作为时间标识，且人员信息和油烟浓度信息通过时间戳进行一一对应。
3.根据权利要求2所述的基于图像处理的厨房油烟检测方法其特征在于，所述人体关键点包括头部、手部、肘部、肩部和根节点共8个关键点类别，所述厨具关键点包括锅、铲、勺和筷子，所述容器关键点包括碗、瓶和罐。
4.根据权利要求3所述的基于图像处理的厨房油烟检测方法，其特征在于，所述奖励矩阵生成网络训练过程具体为：将多组基于不同场景下不同烹饪内容的视频序列获取的
作为训练数据集，网络的损失函数为L＝Lco+LR；其中，Lco为动作损失，具体地，
Lco用于确保动作对应的奖励值大小满足Rm，1<Rm，2<Rm，3，采用指数函数的目的为令变量小于0时，Lco为小于1的数，变量大于0时，Lco为大于1的数，同时为了扩大影响关系，添加了放缩系数Q，Q为大整数；LR为变化量损失，具体地，
即当浓度值变大时，当前奖励值应大于未来时刻的奖励值，反之亦然，采用放缩系数Q和指数函数来确保
为小于0的数。
5.根据权利要求4所述的基于图像处理的厨房油烟检测方法，其特征在于，所述步骤S3中帧差间隔获取具体为：
a)根据所获取的奖励矩阵，基于初始状态进行最优动作组合选取，此时应考虑到人员动作自身特性影响；
b)最优动作组合选取策略为：获取烹饪过程持续时间
当前动作类别
和当前动作持续时间
通过统计获取当前情况下各动作出现概率
并基于动作类别以
与奖励矩阵元素分别相乘，获取修正奖励矩阵；
c)根据修正奖励矩阵，基于遗忘思想进行当前最优奖励选取，即Rn″＝αRn+(1-α)R′n，式中，R″n为选择动作类别n的最终奖励评价，Rn为选择动作类别n的当前时刻奖励值，R′n为选择动作类别n的未来奖励值；α为遗忘系数，用于确定考虑之后奖励的程度，其设置为0.8；选择max(R″n)对应的动作类别作为当前选取的动作类别；
d)根据所选择的动作类别更新烹饪过程持续时间
当前动作类别
和当前动作持续时间
重复步骤b、c，直至Ta＝mt，mt为预期烹饪时长，为经验值；至此，获取最优动作序列；
e)根据实际动作序列与基准动作序列进行偏差分析，进行逐帧对比，当存在差异时，将差异大小通过修改的Sigmoid函数进行映射，映射值向下取整后即为帧间间隔修正值，所述修改的Sigmoid函数具体为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110957029.9A CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110957029.9A CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409318A CN113409318A (zh) | 2021-09-17 |
| CN113409318B true CN113409318B (zh) | 2021-12-03 |
Family
ID=77689049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110957029.9A Active CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409318B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115586307B (zh) * | 2022-10-21 | 2023-11-07 | 江西江南厨业有限公司 | 厨房油烟在线监测系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN209101365U (zh) * | 2018-09-29 | 2019-07-12 | 佛山市云米电器科技有限公司 | 一种具无人识别功能的烟灶一体机 |
| CN109447063A (zh) * | 2018-09-29 | 2019-03-08 | 佛山市云米电器科技有限公司 | 一种基于图像处理的厨房油烟浓度检测方法 |
| DE102018128934A1 (de) * | 2018-11-19 | 2020-05-20 | minEnergy GmbH | Dunstabzugshaube |
| CN111637501B (zh) * | 2019-03-01 | 2022-12-09 | 杭州九阳小家电有限公司 | 一种油烟机的烟雾检测方法和油烟机 |
| CN112989933A (zh) * | 2021-02-05 | 2021-06-18 | 宁波方太厨具有限公司 | 油烟浓度的识别方法、系统、电子设备和存储介质 |
-
2021
- 2021-08-19 CN CN202110957029.9A patent/CN113409318B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409318A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110373859A (zh) | 衣物处理装置的洗涤控制方法、装置和衣物处理装置 | |
| CN113409318B (zh) | 一种基于图像处理的厨房油烟检测方法 | |
| US20070114224A1 (en) | Ingredient cooking-operation recognition system and ingredient cooking-operation recognition program | |
| CN108563991A (zh) | 厨房油烟浓度划分方法及油烟浓度检测与干扰排除方法 | |
| CN105898260B (zh) | 一种调节摄像头白平衡的方法及装置 | |
| CN110750567A (zh) | 一种基于智能衣柜的穿搭数据生成方法及系统 | |
| CN112056945A (zh) | 一种烹饪设备食物烹饪状态的提醒方法 | |
| CN114494996A (zh) | 食物烘烤方法、装置、电子设备及存储介质 | |
| CN109714832A (zh) | 网络切断管控机构 | |
| CN113551478A (zh) | 一种食品剩余保质期的更新方法、装置及冰箱 | |
| CN109028169A (zh) | 一种具有熄火视觉控制功能的炉具及油烟浓度检测方法 | |
| KR20220040225A (ko) | 조리 기기 및 그의 동작 방법 | |
| JP2019088243A (ja) | 画像解析装置 | |
| CN109199334B (zh) | 一种基于深度神经网络的舌象体质辨别方法及设备 | |
| CN111754118B (zh) | 基于自适应学习的智能菜谱优化系统 | |
| CN111435229A (zh) | 控制烹饪模式的方法、装置和烹饪器具 | |
| CN107220605B (zh) | 一种基于图像结构相似度的烟雾浓度测量方法和系统 | |
| JP2021114993A (ja) | 稚魚への給餌量提案プログラム | |
| CN108053418A (zh) | 一种动物背景建模方法及装置 | |
| CN105589799B (zh) | 一种用户游戏行为的检测方法 | |
| CN110307571A (zh) | 一种油烟机的烟雾识别效果交互方法、系统和油烟机 | |
| CN113793395B (zh) | 一种关键色提取方法及装置 | |
| CN114468070A (zh) | 一种针对炒茶含水量的加热系统 | |
| JP6931418B2 (ja) | 画像処理方法、画像処理装置、ユーザインタフェース装置、画像処理システム、サーバ、および画像処理プログラム | |
| JP2006201893A (ja) | 栄養素算出方法およびそのシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Yu Inventor after: Cheng Xiaokang Inventor before: Cheng Xiaokang |
|
| CB03 | Change of inventor or designer information |