CN116758489B - 基于图像处理的智慧厨房油烟检测识别方法 - Google Patents
基于图像处理的智慧厨房油烟检测识别方法 Download PDFInfo
- Publication number
- CN116758489B CN116758489B CN202311033682.1A CN202311033682A CN116758489B CN 116758489 B CN116758489 B CN 116758489B CN 202311033682 A CN202311033682 A CN 202311033682A CN 116758489 B CN116758489 B CN 116758489B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- degree
- similarity
- kitchen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 239000006233 lamp black Substances 0.000 title abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 107
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000005286 illumination Methods 0.000 claims abstract description 23
- 239000003517 fume Substances 0.000 claims abstract description 11
- 239000000779 smoke Substances 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000009792 diffusion process Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 31
- 230000000694 effects Effects 0.000 abstract description 7
- 230000003014 reinforcing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010411 cooking Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003546 flue gas Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Nonlinear Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及基于图像处理的智慧厨房油烟检测识别方法,包括:采集厨房图像,获取相邻帧厨房灰度图像的差值图像,根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度,结合每个图像块的向量获取相邻差值图像中同一图像块的变化相似程度,根据图像块与邻域图像块的DTW路径获取时间滞后性,进而得到图像块的异常变化程度,进一步获取图像块的权值,根据所有图像块的权值获取光照分量,根据光照分量对厨房图像进行增强,进行厨房油烟识别检测。本发明去除了厨房图像中水蒸汽的影响,增强效果更好,对厨房油烟识别检测结果更加准确。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于图像处理的智慧厨房油烟检测识别方法。
背景技术
智慧厨房是基于物联网和人工智能技术的综合应用,通过连接各种智能设备和传感器,实现厨房内部的信息交互和自动化控制。智慧厨房可以监测环境数据、食材储存情况、烹饪过程和设备状态,并能根据用户的需求进行智能调控和提供个性化建议,为用户带来便利、舒适和安全的烹饪体验。
智慧厨房通过拍摄厨房图像来实现厨房油烟检测,实现无人自动化危险状况预警。但厨房图像中往往由于厨房空间内存在水蒸汽影响厨房图像中明火区域的识别,难以实现异常状况发生初期的微小异常程度的判断。
为了解决上述问题,目前通过Retinex算法进行图像增强来消除水汽对危险识别的影响,但是在利用Retinex算法进行图像增强时,光照分量难以确定。
发明内容
本发明提供基于图像处理的智慧厨房油烟检测识别方法,以解决现有的问题。
本发明的基于图像处理的智慧厨房油烟检测识别方法采用如下技术方案:
本发明一个实施例提供了基于图像处理的智慧厨房油烟检测识别方法,该方法包括以下步骤:
采集连续帧的厨房图像,对厨房图像进行灰度化,得到厨房灰度图像;获取相邻帧厨房灰度图像的差值图像,将每个差值图像划分为多个图像块;
根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度;获取每个图像块的向量;
根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,将所有相邻差值图像中同一图像块的变化相似程度,构成图像块的时序变化相似程度序列;
获取图像块的时序变化相似程度序列与每个邻域图像块的时序变化相似程度序列的路径;根据DTW路径获取图像块与每个邻域图像块的时间滞后性;根据时间滞后性获取图像块的异常变化程度;根据图像块的异常变化程度获取图像块的权值;根据所有图像块的权值获取光照分量;
根据光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像;根据清晰图像进行厨房油烟识别检测以及智能预警。
优选的,所述获取每个图像块的向量,包括的具体步骤如下:
将图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值;对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,预设置信阈值/>,对奇异值进行累计占比统计,取/>时的前/>项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数;
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量,作为图像块的向量。
优选的,所述根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,包括的具体步骤如下:
;
其中,表示相邻差值图像中同一图像块的变化相似程度,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数。
优选的,所述根据DTW路径获取图像块与每个邻域图像块的时间滞后性,包括的具体步骤如下:
根据图像块与邻域图像块的DTW路径,获取图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,对所得结果进行归一化,将归一化结果作为图像块与邻域图像块的时间滞后性。
优选的,所述根据时间滞后性获取图像块的异常变化程度,包括的具体步骤如下:
对图像块的时序变化相似程度序列进行线性插值,根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率;
根据图像块与每个邻域图像块的时间滞后性以及图像块的时序变化相似程度序列中每个变化相似程度的斜率获取图像块的异常变化程度:
;
其中,为图像块的异常变化程度,/>表示的是图像块与第u个邻域图像块的路径上第v个对应点的变化相似程度的斜率之差,/>表示的是图像块与第u个邻域图像块的/>路径上对应点的个数,/>表示的是图像块与第u个邻域图像块的时间滞后性,为绝对值符号。
优选的,所述根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率,包括的具体步骤如下:
;
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号。
优选的,所述根据所有图像块的权值获取光照分量,包括的具体步骤如下:
;
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数。
优选的,所述根据清晰图像进行厨房油烟识别检测以及智能预警,包括的具体步骤如下:
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,实现智能预警。
本发明的技术方案的有益效果是:本发明在对厨房图像进行图像处理的过程中,根据时序上的水蒸汽与烟气的灰度及形态分布变化特征,采用多尺度Retinex算法进行光照分量与反射分量的分离,实现光照分量中水蒸汽部分的精准分离,实现异常区域的增强处理。本发明能够根据图像块奇异值分解获取图像块区域时序上的不同类型区域变化特征的变化程度,根据其变化程度的变化速率获取异常变化程度,进而构建出自适应滤波权值,用于自适应调节多尺度Retinex中对于光照分量估计时的图像块区域由时序图像块异常变化程度区分水蒸气与烟气区域的不同权重,对光照分量中的水蒸气区域进行抑制,而烟气区域进得到增强,最终使得不同类型区域具有不同的自适应图像增强效果,从而保证整体增强效果最佳,降低了水汽对厨房油烟识别检测时的干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于图像处理的智慧厨房油烟检测识别方法的步骤流程图;
图2为厨房灰度图像;
图3为差值图像;
图4为图像块;
图5为截断奇异矩阵与截断左奇异向量矩阵的乘积的可视化图像;
图6为厨房灰度图像对应的清晰图像。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于图像处理的智慧厨房油烟检测识别方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于图像处理的智慧厨房油烟检测识别方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像处理的智慧厨房油烟检测识别方法的步骤流程图,该方法包括以下步骤:
S001.采集厨房图像,将厨房图像转换为灰度图像。
通过部署在厨房的相机拍摄连续帧的厨房图像,采集的厨房图像为RGB图像,对RGB图像进行灰度化操作,将RGB图像转换为灰度图像,记为厨房灰度图像,本实施例的一个厨房灰度图像参见图2。在本实施例中,对厨房灰度图像进行处理。
S002.根据厨房灰度图像获取差值图像,获取相邻差值图像中同一图像块的变化相似程度。
厨房空间内存在水蒸汽会影响厨房灰度图像中明火区域的识别,由于水蒸汽与烟气的灰度及形态分布变化特征不同,因此可以通过不同局部区域内在的变化类型进行水蒸汽与烟气的区分。
厨房灰度图像中包含烹饪过程中产生的水蒸气和可能异常烟气,水蒸气与烟气的物理性质不同,其扩散性质、形成的灰度特征有着不同的特点,根据水蒸气与烟气区域自身的扩散性质与物理成像特点,水蒸气多为白色,且分布均匀空间上具有缓慢移动的运动特征,烟气区域多为灰色和黑色,且分布较为集中,空间上的扩散速率较快,其中快慢差异是由于烟雾相比于水汽具有更高的温度值,使得其相对于烟雾相比于水汽具有更高速率。因此可分析连续帧的厨房灰度图像的变化,利用连续帧的厨房灰度图像获得差值图像,差值部分表示水蒸气与烟气对连续帧的厨房灰度图像产生影响的部分,本实施例利用图像奇异值分解,将厨房灰度图像中的图像块表示成向量形式,结合余弦相似度可获取同一区域的时序上的变化相似程度,以便后续根据同一区域的时序上的变化相似程度分析图像块区域的引起灰度变化的类型原因,获取异常变化程度判断出区域类型,构建自适应增强参数,使得局部区域的水汽特征量下降,从降低水汽的干扰效果,实现异常区域的增强处理。
在本实施例中,对所有相邻帧的厨房灰度图像作差,差值取绝对值,获得相邻帧的厨房灰度图像的差值图像,本实施例中的一个差值图像参见图3。差值图像的变化部分即是由水蒸气与烟气引起的厨房灰度图像上的灰度变化。
设定图像块大小为,其中/>、/>是两个超参数,可由实施者根据相机拍摄的图像大小进行设定,将水蒸气与烟气区域分成多个部分,在本实施例中以/>为例进行叙述,具体不做限定。将每个差值图像均匀分成多个/>大小的图像块。本实施例的一个图像块参见图4。
获取每个图像块中所有像素点的灰度均值,作为每个图像块的灰度变化均值。
根据每个图像块的灰度变化均值以及图像块所属的差值图像,获取每个图像块的灰度差异程度:
;
其中,表示当前图像块的灰度差异程度,当前图像块的灰度差异程度是与当前图像块所属的差值图像中所有图像块的灰度变化均值相关联的,/>表示当前图像块的灰度变化均值,/>表示当前图像块所属的差值图像的灰度均值,/>表示当前图像块所属的差值图像中所有图像块的灰度变化均值中的最大值,/>表示当前图像块所属的差值图像中所有图像块的灰度变化均值中的最小值。当前图像块的灰度差异程度/>越大,则表示当前图像块的灰度值变化越明显,变化明显的块可能受到水汽的干扰较多。
为了降低水汽在厨房预警时的干扰,实现对水汽的分离,本实施例选择利用奇异值分解方法,进行时序上的变化程度值分析,以用于找出有效的异常变化量数据特征。具体过程如下:
将每个图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值,图像块矩阵的维度是图像块的高度乘以宽度,即。
对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,设定置信阈值/>,对奇异值进行累计占比统计,取其/>时的前项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数。
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量,这个向量/>表征图像块中的变化模式和结构。由此,每个图像块都可以获得一个图像块向量。本实施例中截断奇异矩阵与截断左奇异向量矩阵的乘积的可视化图像参见图5。
根据相邻差值图像中同一个位置的图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度:
;
其中,表示相邻差值图像中同一图像块的变化相似程度,其值越大表明两时序上临近差值图像中该图像块越相似,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示两个图像块的向量的余弦相似度,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数。当相邻差值图像中同一图像块的变化相似程度/>越大时,则此两个差值图像中该对应图像块越相似。
S003.获取图像块的异常变化程度。
相邻差值图像中同一图像块的变化相似程度反应了相邻差值图像中同一图像块的相似程度,根据变化相似程度可找到变化差异大的部分,由于差异变化大往往是此图像块区域内由于烟气的弥漫造成图像块区域内时序上灰度分布特征的剧烈变化,此时可量化图像块区域时序上的变化相似程度的变化速率,变化速率越大则此图像块区域的异常变化程度越高,其为烟气区域的可能性越大,在后续的多尺度Retinex算法进行光照分量估计时,针对异常变化程度不同的部分进行不同的滤波权重分配,使得区域信息进行有选择的保留和去除。
每两个相邻的差值图像中同一个图像块可得到一个变化相似程度,对于所有差值图像中同一个图像块可得到多个变化相似程度,此些变化相似程度可构成该图像块的时序变化相似程度序列。由于水蒸气与烟气的扩散性质,扩散带来的变化会从一个图像块传递到其邻域的图像块。
设定一个为的滑动窗口,其滑动单位长度为图像块大小,以左下角为起点,遍历所有图像块,以当前图像块为中心图像块,结合其8邻域图像块的时序变化相似程度序列与中心图像块的时序变化相似程度序列时序滞后变化与变化幅度的特征,获得当前图像块的异常变化程度,具体过程如下:
利用时间序列动态规整,分别处理中心图像块的时序变化相似程度序列与8邻域图像块的时序变化相似程度序列,获得中心图像块与每个邻域图像块的距离矩阵以及路径。
根据DTW路径获取中心图像块与每个邻域图像块的时间滞后性:
;
其中,表示中心图像块与邻域图像块的时间滞后性,/>表示中心图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,表示最大最小归一化操作。
需要说明的是经过动态规整的路径上对应点的变化相似程度斜率表示其区域内变化扩展速率,可利用线性插值将离散的时序变化相似程度序列进行细化。
在本发明实施例中,对时序变化相似程度序列进行线性插值。根据时序变化相似程度序列中每个变化相似程度的左右两个插值获取时序变化相似程度序列中每个变化相似程度的斜率:
;
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号。
根据中心图像块与邻域图像块的时间滞后性与经过动态规整的路径上对应点的变化相似程度的斜率之差,获取中心图像块的异常变化程度:
;
其中,为中心图像块的异常变化程度,/>表示的是中心图像块与第u个邻域图像块经过动态规整的/>路径上第v个对应点的变化相似程度的斜率之差,/>表示的是中心图像块与第u个邻域图像块经过动态规整的/>路径上对应点的个数,/>表示中心图像块与第u个邻域图像块的时间滞后性,/>为绝对值符号。当/>值越大时,则图像块上变化相似程度的变化速率越大,即表明图像块区域内发生灰度分布特征与空间扩散特征发生了剧烈变化,因此该图像块属于烟气区域的可能性越大,后续增强时需要保留的细节更多,而其值越小时,表明则图像块上变化相似程度的变化速率越小,即表明图像块区域内发生灰度分布特征与空间扩散特征发生了较小变化,因此其图像块属于水蒸气区域的可能性越大,后续增强时需要保留的细节更少。
S004.对厨房灰度图像进行增强,得到清晰图像。
图像块的异常变化程度反应了图像块属于烟气区域的可能性,当图像块的异常变化程度越大,该图像块属于烟气区域的可能性越大,增强时需要保留的细节更多,当图像块的异常变化程度越小时,表图像块属于水蒸气区域的可能性越大,增强时需要保留的细节更少。因此,在根据多尺度Retinex算法进行光照分量估计时,针对异常变化程度大的部分需要进行较高的滤波权重分配,使得更多的信息得到保留,而异常变化程度小的部分进行较低的滤波权重分配,使得更多的信息得到去除。
由于当前时刻的危险程度往往可由烟气区域的扩展面积,甚至于产生的明火在厨房灰度图像上的面积大小决定。因此对于水蒸气区域的抑制能有效提升其余部分的边缘清晰度,提升后续利用清晰边缘信息进行危险预警程度的量化与判断的准确性。可根据获得的水蒸气与烟气区域及其对应的异常变化程度,构建自适应滤波权值,用于调节两个区域的滤波增强效果,获得自适应增强处理结果。
在本实施例中,根据图像块的异常变化程度,构建自适应权值,实现多尺度Retinex算法进行光照分量与反射分量的分离,实现光照分量中水蒸汽部分的精准分离,进而实现异常区域的增强处理,具体过程为:
根据每个图像块的异常变化程度获取每个图像块的权值:
;
其中为图像块的权值;/>为图像块的异常变化程度。
根据每个图像块的权值获取多尺度Retinex算法中的光照分量:
;
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数,其中高斯环绕函数为多尺度Retinex算法中的现有技术,获取方法不再详细赘述。
根据多尺度Retinex算法中的光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像,图2对应的清晰图像参见图6。
S005.根据清晰图像进行厨房油烟识别检测以及智能预警。
厨房灰度图像对应的清晰图像中水蒸气区域部分对光照部分的影响进行了有效的削弱,使得烟气等区域部分更加清晰化。
根据获得的清晰图像,利用神经网络,对烟气的弥漫程度进行识别。神经网络的具体内容如下:
神经网络采用全连接网络结构,输入数据为厨房灰度图像对应的清晰图像,输出数据为烟气弥漫程度等级,神经网络采用的训练集为厨房灰度图像对应的清晰图像训练集,神经网络的标签为烟气弥漫程度等级,标签标注的过程为:由人工根据经验对训练集中厨房灰度图像对应的清晰图像进行烟气弥漫程度等级划分并标注,本实施例中烟气弥漫程度等级分为5个级别,级别越高,烟气弥漫程度越大,在其他实施例中,实施人员可根据具体实施情况设置烟气弥漫程度等级。神经网络采用的损失函数为交叉熵损失函数。
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,进行智能预警。在本实施例中,等级阈值为3级,在其他实施例中实施人员可根据具体实施情况设置等级阈值。
通过以上步骤,根据厨房图像完成了厨房油烟识别与智能预警。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.基于图像处理的智慧厨房油烟检测识别方法,其特征在于,该方法包括以下步骤:
采集连续帧的厨房图像,对厨房图像进行灰度化,得到厨房灰度图像;获取相邻帧厨房灰度图像的差值图像,将每个差值图像划分为多个图像块;
根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度;获取每个图像块的向量;
根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,将所有相邻差值图像中同一图像块的变化相似程度,构成图像块的时序变化相似程度序列;
获取图像块的时序变化相似程度序列与每个邻域图像块的时序变化相似程度序列的路径;根据DTW路径获取图像块与每个邻域图像块的时间滞后性;根据时间滞后性获取图像块的异常变化程度;根据图像块的异常变化程度获取图像块的权值;根据所有图像块的权值获取光照分量;
根据光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像;根据清晰图像进行厨房油烟识别检测以及智能预警;
所述根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度,包括的具体步骤如下:
;
其中,表示图像块的灰度差异程度,/>表示图像块的灰度变化均值,/>表示图像块所属的差值图像的灰度均值,/>表示图像块所属的差值图像中所有图像块的灰度变化均值中的最大值,/>表示图像块所属的差值图像中所有图像块的灰度变化均值中的最小值;
所述获取每个图像块的向量,包括的具体步骤如下:
将图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值;对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,预设置信阈值/>,对奇异值进行累计占比统计,取/>时的前/>项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数;
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量/>,作为图像块的向量;
所述根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,包括的具体步骤如下:
;
其中,表示相邻差值图像中同一图像块的变化相似程度,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数;
所述根据DTW路径获取图像块与每个邻域图像块的时间滞后性,包括的具体步骤如下:
根据图像块与邻域图像块的DTW路径,获取图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,对所得结果进行归一化,将归一化结果作为图像块与邻域图像块的时间滞后性;
所述根据时间滞后性获取图像块的异常变化程度,包括的具体步骤如下:
对图像块的时序变化相似程度序列进行线性插值,根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率;
根据图像块与每个邻域图像块的时间滞后性以及图像块的时序变化相似程度序列中每个变化相似程度的斜率获取图像块的异常变化程度:
;
其中,为图像块的异常变化程度,/>表示的是图像块与第u个邻域图像块的/>路径上第v个对应点的变化相似程度的斜率之差,/>表示的是图像块与第u个邻域图像块的/>路径上对应点的个数,/>表示的是图像块与第u个邻域图像块的时间滞后性,/>为绝对值符号;
所述根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率,包括的具体步骤如下:
;
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号;
所述根据所有图像块的权值获取光照分量,包括的具体步骤如下:
;
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数。
2.根据权利要求1所述的基于图像处理的智慧厨房油烟检测识别方法,其特征在于,所述根据清晰图像进行厨房油烟识别检测以及智能预警,包括的具体步骤如下:
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,实现智能预警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311033682.1A CN116758489B (zh) | 2023-08-17 | 2023-08-17 | 基于图像处理的智慧厨房油烟检测识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311033682.1A CN116758489B (zh) | 2023-08-17 | 2023-08-17 | 基于图像处理的智慧厨房油烟检测识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116758489A CN116758489A (zh) | 2023-09-15 |
CN116758489B true CN116758489B (zh) | 2023-10-27 |
Family
ID=87957527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311033682.1A Active CN116758489B (zh) | 2023-08-17 | 2023-08-17 | 基于图像处理的智慧厨房油烟检测识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758489B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108760590A (zh) * | 2018-03-08 | 2018-11-06 | 佛山市云米电器科技有限公司 | 一种基于图像处理的厨房油烟浓度检测与干扰排除方法 |
CN109028233A (zh) * | 2018-09-29 | 2018-12-18 | 佛山市云米电器科技有限公司 | 厨房油烟浓度划分方法及油烟图像识别系统及油烟机 |
CN109028226A (zh) * | 2018-09-29 | 2018-12-18 | 佛山市云米电器科技有限公司 | 基于双区域图像采集进行油烟浓度判断的油烟机 |
CN109190624A (zh) * | 2018-09-29 | 2019-01-11 | 佛山市云米电器科技有限公司 | 基于图像处理的厨房油烟浓度检测方法 |
CN109389604A (zh) * | 2018-09-29 | 2019-02-26 | 佛山市云米电器科技有限公司 | 一种厨房油烟图像检测干扰排除方法 |
CN110296448A (zh) * | 2019-06-26 | 2019-10-01 | 杭州九阳小家电有限公司 | 一种油烟机的烟雾识别效果修正方法、系统和油烟机 |
CN114332588A (zh) * | 2021-12-30 | 2022-04-12 | 广东天地和实业控股集团有限公司 | 一种智慧厨房的防火控制方法、系统 |
-
2023
- 2023-08-17 CN CN202311033682.1A patent/CN116758489B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108760590A (zh) * | 2018-03-08 | 2018-11-06 | 佛山市云米电器科技有限公司 | 一种基于图像处理的厨房油烟浓度检测与干扰排除方法 |
CN109028233A (zh) * | 2018-09-29 | 2018-12-18 | 佛山市云米电器科技有限公司 | 厨房油烟浓度划分方法及油烟图像识别系统及油烟机 |
CN109028226A (zh) * | 2018-09-29 | 2018-12-18 | 佛山市云米电器科技有限公司 | 基于双区域图像采集进行油烟浓度判断的油烟机 |
CN109190624A (zh) * | 2018-09-29 | 2019-01-11 | 佛山市云米电器科技有限公司 | 基于图像处理的厨房油烟浓度检测方法 |
CN109389604A (zh) * | 2018-09-29 | 2019-02-26 | 佛山市云米电器科技有限公司 | 一种厨房油烟图像检测干扰排除方法 |
CN110296448A (zh) * | 2019-06-26 | 2019-10-01 | 杭州九阳小家电有限公司 | 一种油烟机的烟雾识别效果修正方法、系统和油烟机 |
CN114332588A (zh) * | 2021-12-30 | 2022-04-12 | 广东天地和实业控股集团有限公司 | 一种智慧厨房的防火控制方法、系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116758489A (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110298297B (zh) | 火焰识别方法和装置 | |
KR101084719B1 (ko) | 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템 | |
CN102201120B (zh) | 一种基于多特征的目标物体轮廓检测方法 | |
Sengar et al. | Detection of moving objects based on enhancement of optical flow | |
CN107657209B (zh) | 一种基于手指静脉图像质量的模板图像注册机制 | |
CN110276784B (zh) | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 | |
CN108268832A (zh) | 电力作业监测方法、装置、存储介质和计算机设备 | |
JP7143174B2 (ja) | 煙検出装置及び煙識別方法 | |
CN106529378A (zh) | 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法 | |
KR20050114817A (ko) | 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 | |
CN117456428A (zh) | 基于视频图像特征分析的垃圾投放行为检测方法 | |
CN109028230A (zh) | 具手势控制视觉检测功能的炉具及油烟浓度检测方法 | |
CN109308709B (zh) | 基于图像分割的Vibe运动目标检测算法 | |
CN116758489B (zh) | 基于图像处理的智慧厨房油烟检测识别方法 | |
CN113989219A (zh) | 钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质 | |
CN112804522A (zh) | 一种对摄像头异常状况的检测方法及装置 | |
CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
CN106355566A (zh) | 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法 | |
Jindal et al. | Sign Language Detection using Convolutional Neural Network (CNN) | |
CN106530300B (zh) | 一种低秩分析的火焰识别方法 | |
Azmi et al. | Analysis of Sigmoid Function Method And Histogram Equalization for Enhancement Contrast Image | |
Feng et al. | An efficient pixel-wise method for moving object detection in complex scenes | |
CN108230350A (zh) | 一种红外运动目标检测方法 | |
CN116636660B (zh) | 一种电子烟烟油信息处理方法、系统及电子烟 | |
Popa et al. | Real time trajectory based hand gesture recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |