CN113409318A - 一种基于图像处理的厨房油烟检测方法 - Google Patents
一种基于图像处理的厨房油烟检测方法 Download PDFInfo
- Publication number
- CN113409318A CN113409318A CN202110957029.9A CN202110957029A CN113409318A CN 113409318 A CN113409318 A CN 113409318A CN 202110957029 A CN202110957029 A CN 202110957029A CN 113409318 A CN113409318 A CN 113409318A
- Authority
- CN
- China
- Prior art keywords
- oil smoke
- action
- reward
- value
- smoke concentration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 title claims abstract description 15
- 230000009471 action Effects 0.000 claims abstract description 70
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008447 perception Effects 0.000 claims abstract description 10
- 238000010411 cooking Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000000875 corresponding effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dispersion Chemistry (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本申请涉及油烟检测技术领域,具体涉及一种基于图像处理的厨房油烟检测方法。
背景技术
目前,在现有技术中油烟检测通常直接通过帧差法进行检测,如中国专利授权公开号为CN108760590B,公开了一种基于图像处理的厨房油烟浓度检测与干扰排除方法,其直接以固定帧进行帧差操作处理,进而获取油烟运动信息,采用该方法,若所选取帧数较小,可能存在油烟变化不明显,不易分辨出油烟变化情况;若选取帧数较大,可能存在油烟变化程度过大,导致变化过程细节信息丢失,不仅不便于获取基准油烟浓度变化信息,同时也使得油烟检测的准确率不高。
发明内容
针对上述问题,本发明提出了一种基于图像处理的厨房油烟检测方法,该方法包括以下步骤:
有益效果:
(1)基于本申请所述奖励矩阵获取步骤,相较于现有技术有益效果在于通过奖励值确定当前浓度下的基准动作,便于获取基准油烟浓度变化信息;
(2)基于本申请所述帧差间隔确定步骤,相较于现有技术有益效果在于根据实际动作序列信息与动作序列信息对比获取偏差量,进而帧差间隔的自适应获取,提高了基于帧差法进行油烟检测的准确率。
具体实施方式
为了让本领域技术人员更好的理解本发明,下面结合实施例和附图对本发明展开描述。
为了实现本发明所述内容,本发明设计了一种基于图像处理的厨房油烟检测方法,包括以下步骤:
输入为:视频序列和传感器检测值序列,进行人员信息感知和油烟浓度信息感知处理,输出为:人员信息和油烟浓度信息。
其中,所述人员信息感知具体为:通过关键点检测网络获取人体关键点、厨具关键点和容器关键点,所述人体关键点包括头部、手部、肘部、肩部和根节点共8个关键点类别;即上述网络输出为十个通道的热力图;所述厨具包括如锅铲、勺、筷子等;所述容器包括碗、罐等;关键点网络的输入为单帧图像,输出为关键点热力图,在本申请中以已知时间戳的视频序列中的各帧图像作为输入,获取对应的关键点热力图;
需要说明的是,在本发明中默认烹饪用具位置固定不变,又由于本申请相机位姿固定,则易将烹饪用具中心点位置在图像中标注出来,该操作由实施者根据厨房环境信息自行标注;以烹饪用具中心点为圆心,设置第一半径和第二半径,以圆心和第一半径生成第一圆形区域作为第一感兴趣区域,以圆心和第二半径生成第二圆形区域,第二圆形区域中不属于第一圆形区域的区域为第二感兴趣区域,需要说明的是,第二半径大于第一半径;当某帧图像中手部关键点位于第二感兴趣区域且厨具关键点位于第一感兴趣区域,则判该帧为翻炒动作,动作类别标识为2;当某帧图像中手部关键点位于第二感兴趣区域且容器关键点位于第一感兴趣区域,则判该帧为倾倒动作,动作类别标识为3;否则,判断为等待动作动作类别标识为1;各帧动作信息即为人员信息;
其中,所述油烟浓度信息感知具体为:通过油烟浓度检测传感器获取各时刻的油烟浓度,各时刻油烟浓度以采集信息的时间戳作为时间标识;上述人员信息和油烟浓度信息通过时间戳进行一一对应;
步骤,奖励矩阵获取:该步骤的目的:获取以浓度和动作为行信息和列信息的奖励矩阵,能够带来的好处:可基于奖励信息获取基准油烟浓度变化信息,考虑到人员动作及动作发生时间对油烟浓度变化的影响,获取到较为准确的基准油烟浓度变化信息;
输入为:人员信息和油烟浓度信息,进行奖励矩阵获取处理,输出为:奖励矩阵。
所述奖励矩阵获取具体为:
1)以油烟浓度作为行信息,以人员动作作为列信息生成初始奖励矩阵,初始奖励矩阵中元素值均为0,例如油烟浓度分为十个区间,为细化奖励矩阵以获取更好的分析效果,实施者可将区间个数设置为较大的值,人员动作基于上述人员信息获取为三个类别,则矩阵尺寸为10*3;
2)在不考虑人员动作自身特性影响的情况下,一组油烟浓度和人员动作可唯一对应一个奖励值,即在某个油烟浓度下,采取某种动作的奖励值,第个区间的油烟浓度以表示,第个类别人员动作以表示,则奖励值可表示为,表示以和为参数的映射函数,奖励值与油烟浓度变化值呈负相关关系,显然,在烹饪过程中,无论油烟浓度为任何值,动作对应的奖励值大小均应为,其中,表示在油烟浓度位于第个区间时采取倾倒动作的奖励值,表示在油烟浓度位于第个区间时采取翻炒动作的奖励值,表示在油烟浓度位于第个区间时采取等待动作的奖励值;
其中,奖励矩阵生成网络训练过程具体为:将多组基于不同场景下不同烹饪内容的视频序列获取的作为训练数据集,该网络的训练无需人为标注,网络的损失函数为;其中,为动作损失,具体地,,损失用于确保动作对应的奖励值大小满足,采用指数函数的目的为令变量小于0时,项较小,为小于1的数,变量大于0时,项较大,为大于1的数,同时为了扩大影响关系,添加了放缩系数,为大整数;为变化量损失,具体地,,即当浓度值变大时,当前奖励值应大于未来时刻的奖励值,反之亦然,通常采用放缩系数Q和指数函数来确保为小于0的数。
输入为:奖励矩阵,进行帧差间隔获取处理,输出为:帧差间隔。
所述帧差间隔获取具体为:
1)根据上述所获取的奖励矩阵,基于初始状态进行最优动作组合选取,此时应考虑到人员动作自身特性影响,即对于烹饪过程而言,在未完成烹饪时,长时间处于等待状态会影响烹饪质量,本申请以炒菜过程为例,默认如蒸煮等烹饪方式不会产生较大的油烟;
3)根据修正奖励矩阵,基于遗忘思想进行当前最优奖励选取,即,式中,为选择动作类别的最终奖励评价,为选择动作类别的当前时刻奖励值,为选择动作类别的未来奖励值;为遗忘系数,用于确定考虑之后奖励的程度,在本发明中设置为0.8;选择对应的动作类别作为当前选取的动作类别;
5)根据实际动作序列与基准动作序列进行偏差分析,具体地,进行逐帧对比,当存在差异时,将差异大小(也即动作类别标识差值,范围为-2,-1,1,2)通过修改的Sigmoid函数进行映射,映射值向下取整后即为帧间间隔修正值,所述修改的Sigmoid函数具体为:,初始帧间间隔由实施者自行设置,本申请中设置为4帧;
6)至此,实现自适应的帧间间隔获取,以用于提高后续帧差法检测油烟的准确率。
输入为:帧差间隔,根据帧差间隔采用帧差法进行处理,输出为:油烟浓度。
所述帧差法进行油烟检测为现有技术,在此不作赘述,实施者可选择现有实现方法即可,本申请提出的方案目的为给出自适应的帧差间隔后,再以帧差间隔选取视频帧进行帧差法检测油烟浓度,以提高油烟浓度的准确率。
Claims (5)
1.一种基于图像处理的厨房油烟检测方法,其特征在于,包括以下步骤;
所述奖励矩阵获取具体步骤为:
1)以油烟浓度作为行信息,以人员动作作为列信息生成初始奖励矩阵,初始奖励矩阵中元素值均为0;
2)设定一组油烟浓度和人员动作可唯一对应一个奖励值,即在某个油烟浓度下,采取某种动作的奖励值,第个区间的油烟浓度以表示,第个类别人员动作以表示,则奖励值可表示为,表示以和为参数的映射函数,奖励值与油烟浓度变化值呈负相关关系,在烹饪过程中,无论油烟浓度为任何值,动作对应的奖励值大小均应为,其中,表示在油烟浓度位于第个区间时采取倾倒动作的奖励值,表示在油烟浓度位于第个区间时采取翻炒动作的奖励值,表示在油烟浓度位于第个区间时采取等待动作的奖励值;
3.根据权利要求2所述的基于图像处理的厨房油烟检测方法其特征在于,所述人体关键点包括头部、手部、肘部、肩部和根节点共8个关键点类别,所述厨具关键点包括锅、铲、勺和筷子,所述容器关键点包括碗、瓶和罐。
1)根据所获取的奖励矩阵,基于初始状态进行最优动作组合选取,此时应考虑到人员动作自身特性影响,即对于烹饪过程而言,在未完成烹饪时,长时间处于等待状态会影响烹饪质量,本申请以炒菜过程为例,默认如蒸煮烹饪方式不会产生较大的油烟;
3)根据修正奖励矩阵,基于遗忘思想进行当前最优奖励选取,即,式中,为选择动作类别的最终奖励评价,为选择动作类别的当前时刻奖励值,为选择动作类别的未来奖励值;为遗忘系数,用于确定考虑之后奖励的程度,在本发明中设置为0.8;选择对应的动作类别作为当前选取的动作类别;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957029.9A CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957029.9A CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113409318A true CN113409318A (zh) | 2021-09-17 |
CN113409318B CN113409318B (zh) | 2021-12-03 |
Family
ID=77689049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110957029.9A Active CN113409318B (zh) | 2021-08-19 | 2021-08-19 | 一种基于图像处理的厨房油烟检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113409318B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115586307A (zh) * | 2022-10-21 | 2023-01-10 | 江西江南厨业有限公司 | 厨房油烟在线监测系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447063A (zh) * | 2018-09-29 | 2019-03-08 | 佛山市云米电器科技有限公司 | 一种基于图像处理的厨房油烟浓度检测方法 |
CN209101365U (zh) * | 2018-09-29 | 2019-07-12 | 佛山市云米电器科技有限公司 | 一种具无人识别功能的烟灶一体机 |
DE102018128934A1 (de) * | 2018-11-19 | 2020-05-20 | minEnergy GmbH | Dunstabzugshaube |
CN111637501A (zh) * | 2019-03-01 | 2020-09-08 | 九阳股份有限公司 | 一种油烟机的烟雾检测方法和油烟机 |
CN112989933A (zh) * | 2021-02-05 | 2021-06-18 | 宁波方太厨具有限公司 | 油烟浓度的识别方法、系统、电子设备和存储介质 |
-
2021
- 2021-08-19 CN CN202110957029.9A patent/CN113409318B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109447063A (zh) * | 2018-09-29 | 2019-03-08 | 佛山市云米电器科技有限公司 | 一种基于图像处理的厨房油烟浓度检测方法 |
CN209101365U (zh) * | 2018-09-29 | 2019-07-12 | 佛山市云米电器科技有限公司 | 一种具无人识别功能的烟灶一体机 |
DE102018128934A1 (de) * | 2018-11-19 | 2020-05-20 | minEnergy GmbH | Dunstabzugshaube |
CN111637501A (zh) * | 2019-03-01 | 2020-09-08 | 九阳股份有限公司 | 一种油烟机的烟雾检测方法和油烟机 |
CN112989933A (zh) * | 2021-02-05 | 2021-06-18 | 宁波方太厨具有限公司 | 油烟浓度的识别方法、系统、电子设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115586307A (zh) * | 2022-10-21 | 2023-01-10 | 江西江南厨业有限公司 | 厨房油烟在线监测系统及方法 |
CN115586307B (zh) * | 2022-10-21 | 2023-11-07 | 江西江南厨业有限公司 | 厨房油烟在线监测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113409318B (zh) | 2021-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103181156B (zh) | 模糊处理装置及方法 | |
JP6577365B2 (ja) | 栄養素量算出装置およびそれを備えた冷蔵庫 | |
CN108734108B (zh) | 一种基于ssd网络的裂纹舌识别方法 | |
CN109102515A (zh) | 一种基于多列深浅卷积神经网络的细胞计数方法 | |
CN113409318B (zh) | 一种基于图像处理的厨房油烟检测方法 | |
JP2012014678A (ja) | 情報処理装置 | |
CN112056945A (zh) | 一种烹饪设备食物烹饪状态的提醒方法 | |
EP3326109A1 (de) | System und verfahren zur bereitstellung eines rezeptes | |
CN112084851A (zh) | 手卫生效果检测方法、装置、设备及介质 | |
CN116630080B (zh) | 基于图像识别的水产集约化养殖饲料容量确定方法及系统 | |
CN108053418A (zh) | 一种动物背景建模方法及装置 | |
CN110302539B (zh) | 一种游戏策略计算方法、装置、系统及可读存储介质 | |
CN111754118A (zh) | 基于自适应学习的智能菜谱优化系统 | |
CN107220605A (zh) | 一种基于图像结构相似度的烟雾浓度测量方法和系统 | |
CN107944365A (zh) | 一种陶瓷文物智能识别的系统及方法 | |
CN115965161B (zh) | 一种基于人工智能和历史数据的农作物产量预测方法 | |
CN112184627A (zh) | 基于图像处理与神经网络的柑橘保鲜品质检测方法及应用 | |
CN110705408A (zh) | 基于混合高斯人数分布学习的室内人数统计方法及系统 | |
CN116050253A (zh) | 菜品风味智能识别方法、装置、设备及存储介质 | |
CN112784641A (zh) | 食材投料方法、装置及炒菜机 | |
JP6931418B2 (ja) | 画像処理方法、画像処理装置、ユーザインタフェース装置、画像処理システム、サーバ、および画像処理プログラム | |
CN110762943B (zh) | 物品的展示方法、装置以及家电设备 | |
Vizzini et al. | A new Cortinarius of section Calochroi (Basidiomycota, Agaricomycetes) from Mediterranean Quercus woodlands (Italy) | |
CN114468070A (zh) | 一种针对炒茶含水量的加热系统 | |
JP2006201893A (ja) | 栄養素算出方法およびそのシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Yu Inventor after: Cheng Xiaokang Inventor before: Cheng Xiaokang |