CN116758489B - 基于图像处理的智慧厨房油烟检测识别方法 - Google Patents

基于图像处理的智慧厨房油烟检测识别方法 Download PDF

Info

Publication number
CN116758489B
CN116758489B CN202311033682.1A CN202311033682A CN116758489B CN 116758489 B CN116758489 B CN 116758489B CN 202311033682 A CN202311033682 A CN 202311033682A CN 116758489 B CN116758489 B CN 116758489B
Authority
CN
China
Prior art keywords
image
image block
degree
similarity
kitchen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311033682.1A
Other languages
English (en)
Other versions
CN116758489A (zh
Inventor
李新德
张传斌
李坚强
吴凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chuanqi Xinli Technology Co ltd
Original Assignee
Shandong Chuanqi Xinli Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chuanqi Xinli Technology Co ltd filed Critical Shandong Chuanqi Xinli Technology Co ltd
Priority to CN202311033682.1A priority Critical patent/CN116758489B/zh
Publication of CN116758489A publication Critical patent/CN116758489A/zh
Application granted granted Critical
Publication of CN116758489B publication Critical patent/CN116758489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/20Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像数据处理技术领域,具体涉及基于图像处理的智慧厨房油烟检测识别方法,包括:采集厨房图像,获取相邻帧厨房灰度图像的差值图像,根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度,结合每个图像块的向量获取相邻差值图像中同一图像块的变化相似程度,根据图像块与邻域图像块的DTW路径获取时间滞后性,进而得到图像块的异常变化程度,进一步获取图像块的权值,根据所有图像块的权值获取光照分量,根据光照分量对厨房图像进行增强,进行厨房油烟识别检测。本发明去除了厨房图像中水蒸汽的影响,增强效果更好,对厨房油烟识别检测结果更加准确。

Description

基于图像处理的智慧厨房油烟检测识别方法
技术领域
本发明涉及图像数据处理技术领域,具体涉及基于图像处理的智慧厨房油烟检测识别方法。
背景技术
智慧厨房是基于物联网和人工智能技术的综合应用,通过连接各种智能设备和传感器,实现厨房内部的信息交互和自动化控制。智慧厨房可以监测环境数据、食材储存情况、烹饪过程和设备状态,并能根据用户的需求进行智能调控和提供个性化建议,为用户带来便利、舒适和安全的烹饪体验。
智慧厨房通过拍摄厨房图像来实现厨房油烟检测,实现无人自动化危险状况预警。但厨房图像中往往由于厨房空间内存在水蒸汽影响厨房图像中明火区域的识别,难以实现异常状况发生初期的微小异常程度的判断。
为了解决上述问题,目前通过Retinex算法进行图像增强来消除水汽对危险识别的影响,但是在利用Retinex算法进行图像增强时,光照分量难以确定。
发明内容
本发明提供基于图像处理的智慧厨房油烟检测识别方法,以解决现有的问题。
本发明的基于图像处理的智慧厨房油烟检测识别方法采用如下技术方案:
本发明一个实施例提供了基于图像处理的智慧厨房油烟检测识别方法,该方法包括以下步骤:
采集连续帧的厨房图像,对厨房图像进行灰度化,得到厨房灰度图像;获取相邻帧厨房灰度图像的差值图像,将每个差值图像划分为多个图像块;
根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度;获取每个图像块的向量;
根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,将所有相邻差值图像中同一图像块的变化相似程度,构成图像块的时序变化相似程度序列;
获取图像块的时序变化相似程度序列与每个邻域图像块的时序变化相似程度序列的路径;根据DTW路径获取图像块与每个邻域图像块的时间滞后性;根据时间滞后性获取图像块的异常变化程度;根据图像块的异常变化程度获取图像块的权值;根据所有图像块的权值获取光照分量;
根据光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像;根据清晰图像进行厨房油烟识别检测以及智能预警。
优选的,所述获取每个图像块的向量,包括的具体步骤如下:
将图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值;对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,预设置信阈值/>,对奇异值进行累计占比统计,取/>时的前/>项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数;
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量,作为图像块的向量。
优选的,所述根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,包括的具体步骤如下:
其中,表示相邻差值图像中同一图像块的变化相似程度,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数。
优选的,所述根据DTW路径获取图像块与每个邻域图像块的时间滞后性,包括的具体步骤如下:
根据图像块与邻域图像块的DTW路径,获取图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,对所得结果进行归一化,将归一化结果作为图像块与邻域图像块的时间滞后性。
优选的,所述根据时间滞后性获取图像块的异常变化程度,包括的具体步骤如下:
对图像块的时序变化相似程度序列进行线性插值,根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率;
根据图像块与每个邻域图像块的时间滞后性以及图像块的时序变化相似程度序列中每个变化相似程度的斜率获取图像块的异常变化程度:
其中,为图像块的异常变化程度,/>表示的是图像块与第u个邻域图像块的路径上第v个对应点的变化相似程度的斜率之差,/>表示的是图像块与第u个邻域图像块的/>路径上对应点的个数,/>表示的是图像块与第u个邻域图像块的时间滞后性,为绝对值符号。
优选的,所述根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率,包括的具体步骤如下:
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号。
优选的,所述根据所有图像块的权值获取光照分量,包括的具体步骤如下:
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数。
优选的,所述根据清晰图像进行厨房油烟识别检测以及智能预警,包括的具体步骤如下:
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,实现智能预警。
本发明的技术方案的有益效果是:本发明在对厨房图像进行图像处理的过程中,根据时序上的水蒸汽与烟气的灰度及形态分布变化特征,采用多尺度Retinex算法进行光照分量与反射分量的分离,实现光照分量中水蒸汽部分的精准分离,实现异常区域的增强处理。本发明能够根据图像块奇异值分解获取图像块区域时序上的不同类型区域变化特征的变化程度,根据其变化程度的变化速率获取异常变化程度,进而构建出自适应滤波权值,用于自适应调节多尺度Retinex中对于光照分量估计时的图像块区域由时序图像块异常变化程度区分水蒸气与烟气区域的不同权重,对光照分量中的水蒸气区域进行抑制,而烟气区域进得到增强,最终使得不同类型区域具有不同的自适应图像增强效果,从而保证整体增强效果最佳,降低了水汽对厨房油烟识别检测时的干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的基于图像处理的智慧厨房油烟检测识别方法的步骤流程图;
图2为厨房灰度图像;
图3为差值图像;
图4为图像块;
图5为截断奇异矩阵与截断左奇异向量矩阵的乘积的可视化图像;
图6为厨房灰度图像对应的清晰图像。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于图像处理的智慧厨房油烟检测识别方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于图像处理的智慧厨房油烟检测识别方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于图像处理的智慧厨房油烟检测识别方法的步骤流程图,该方法包括以下步骤:
S001.采集厨房图像,将厨房图像转换为灰度图像。
通过部署在厨房的相机拍摄连续帧的厨房图像,采集的厨房图像为RGB图像,对RGB图像进行灰度化操作,将RGB图像转换为灰度图像,记为厨房灰度图像,本实施例的一个厨房灰度图像参见图2。在本实施例中,对厨房灰度图像进行处理。
S002.根据厨房灰度图像获取差值图像,获取相邻差值图像中同一图像块的变化相似程度。
厨房空间内存在水蒸汽会影响厨房灰度图像中明火区域的识别,由于水蒸汽与烟气的灰度及形态分布变化特征不同,因此可以通过不同局部区域内在的变化类型进行水蒸汽与烟气的区分。
厨房灰度图像中包含烹饪过程中产生的水蒸气和可能异常烟气,水蒸气与烟气的物理性质不同,其扩散性质、形成的灰度特征有着不同的特点,根据水蒸气与烟气区域自身的扩散性质与物理成像特点,水蒸气多为白色,且分布均匀空间上具有缓慢移动的运动特征,烟气区域多为灰色和黑色,且分布较为集中,空间上的扩散速率较快,其中快慢差异是由于烟雾相比于水汽具有更高的温度值,使得其相对于烟雾相比于水汽具有更高速率。因此可分析连续帧的厨房灰度图像的变化,利用连续帧的厨房灰度图像获得差值图像,差值部分表示水蒸气与烟气对连续帧的厨房灰度图像产生影响的部分,本实施例利用图像奇异值分解,将厨房灰度图像中的图像块表示成向量形式,结合余弦相似度可获取同一区域的时序上的变化相似程度,以便后续根据同一区域的时序上的变化相似程度分析图像块区域的引起灰度变化的类型原因,获取异常变化程度判断出区域类型,构建自适应增强参数,使得局部区域的水汽特征量下降,从降低水汽的干扰效果,实现异常区域的增强处理。
在本实施例中,对所有相邻帧的厨房灰度图像作差,差值取绝对值,获得相邻帧的厨房灰度图像的差值图像,本实施例中的一个差值图像参见图3。差值图像的变化部分即是由水蒸气与烟气引起的厨房灰度图像上的灰度变化。
设定图像块大小为,其中/>、/>是两个超参数,可由实施者根据相机拍摄的图像大小进行设定,将水蒸气与烟气区域分成多个部分,在本实施例中以/>为例进行叙述,具体不做限定。将每个差值图像均匀分成多个/>大小的图像块。本实施例的一个图像块参见图4。
获取每个图像块中所有像素点的灰度均值,作为每个图像块的灰度变化均值。
根据每个图像块的灰度变化均值以及图像块所属的差值图像,获取每个图像块的灰度差异程度
其中,表示当前图像块的灰度差异程度,当前图像块的灰度差异程度是与当前图像块所属的差值图像中所有图像块的灰度变化均值相关联的,/>表示当前图像块的灰度变化均值,/>表示当前图像块所属的差值图像的灰度均值,/>表示当前图像块所属的差值图像中所有图像块的灰度变化均值中的最大值,/>表示当前图像块所属的差值图像中所有图像块的灰度变化均值中的最小值。当前图像块的灰度差异程度/>越大,则表示当前图像块的灰度值变化越明显,变化明显的块可能受到水汽的干扰较多。
为了降低水汽在厨房预警时的干扰,实现对水汽的分离,本实施例选择利用奇异值分解方法,进行时序上的变化程度值分析,以用于找出有效的异常变化量数据特征。具体过程如下:
将每个图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值,图像块矩阵的维度是图像块的高度乘以宽度,即
对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,设定置信阈值/>,对奇异值进行累计占比统计,取其/>时的前项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数。
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量,这个向量/>表征图像块中的变化模式和结构。由此,每个图像块都可以获得一个图像块向量。本实施例中截断奇异矩阵与截断左奇异向量矩阵的乘积的可视化图像参见图5。
根据相邻差值图像中同一个位置的图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度:
其中,表示相邻差值图像中同一图像块的变化相似程度,其值越大表明两时序上临近差值图像中该图像块越相似,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示两个图像块的向量的余弦相似度,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数。当相邻差值图像中同一图像块的变化相似程度/>越大时,则此两个差值图像中该对应图像块越相似。
S003.获取图像块的异常变化程度。
相邻差值图像中同一图像块的变化相似程度反应了相邻差值图像中同一图像块的相似程度,根据变化相似程度可找到变化差异大的部分,由于差异变化大往往是此图像块区域内由于烟气的弥漫造成图像块区域内时序上灰度分布特征的剧烈变化,此时可量化图像块区域时序上的变化相似程度的变化速率,变化速率越大则此图像块区域的异常变化程度越高,其为烟气区域的可能性越大,在后续的多尺度Retinex算法进行光照分量估计时,针对异常变化程度不同的部分进行不同的滤波权重分配,使得区域信息进行有选择的保留和去除。
每两个相邻的差值图像中同一个图像块可得到一个变化相似程度,对于所有差值图像中同一个图像块可得到多个变化相似程度,此些变化相似程度可构成该图像块的时序变化相似程度序列。由于水蒸气与烟气的扩散性质,扩散带来的变化会从一个图像块传递到其邻域的图像块。
设定一个为的滑动窗口,其滑动单位长度为图像块大小,以左下角为起点,遍历所有图像块,以当前图像块为中心图像块,结合其8邻域图像块的时序变化相似程度序列与中心图像块的时序变化相似程度序列时序滞后变化与变化幅度的特征,获得当前图像块的异常变化程度,具体过程如下:
利用时间序列动态规整,分别处理中心图像块的时序变化相似程度序列与8邻域图像块的时序变化相似程度序列,获得中心图像块与每个邻域图像块的距离矩阵以及路径。
根据DTW路径获取中心图像块与每个邻域图像块的时间滞后性:
其中,表示中心图像块与邻域图像块的时间滞后性,/>表示中心图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,表示最大最小归一化操作。
需要说明的是经过动态规整的路径上对应点的变化相似程度斜率表示其区域内变化扩展速率,可利用线性插值将离散的时序变化相似程度序列进行细化。
在本发明实施例中,对时序变化相似程度序列进行线性插值。根据时序变化相似程度序列中每个变化相似程度的左右两个插值获取时序变化相似程度序列中每个变化相似程度的斜率:
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号。
根据中心图像块与邻域图像块的时间滞后性与经过动态规整的路径上对应点的变化相似程度的斜率之差,获取中心图像块的异常变化程度:
其中,为中心图像块的异常变化程度,/>表示的是中心图像块与第u个邻域图像块经过动态规整的/>路径上第v个对应点的变化相似程度的斜率之差,/>表示的是中心图像块与第u个邻域图像块经过动态规整的/>路径上对应点的个数,/>表示中心图像块与第u个邻域图像块的时间滞后性,/>为绝对值符号。当/>值越大时,则图像块上变化相似程度的变化速率越大,即表明图像块区域内发生灰度分布特征与空间扩散特征发生了剧烈变化,因此该图像块属于烟气区域的可能性越大,后续增强时需要保留的细节更多,而其值越小时,表明则图像块上变化相似程度的变化速率越小,即表明图像块区域内发生灰度分布特征与空间扩散特征发生了较小变化,因此其图像块属于水蒸气区域的可能性越大,后续增强时需要保留的细节更少。
S004.对厨房灰度图像进行增强,得到清晰图像。
图像块的异常变化程度反应了图像块属于烟气区域的可能性,当图像块的异常变化程度越大,该图像块属于烟气区域的可能性越大,增强时需要保留的细节更多,当图像块的异常变化程度越小时,表图像块属于水蒸气区域的可能性越大,增强时需要保留的细节更少。因此,在根据多尺度Retinex算法进行光照分量估计时,针对异常变化程度大的部分需要进行较高的滤波权重分配,使得更多的信息得到保留,而异常变化程度小的部分进行较低的滤波权重分配,使得更多的信息得到去除。
由于当前时刻的危险程度往往可由烟气区域的扩展面积,甚至于产生的明火在厨房灰度图像上的面积大小决定。因此对于水蒸气区域的抑制能有效提升其余部分的边缘清晰度,提升后续利用清晰边缘信息进行危险预警程度的量化与判断的准确性。可根据获得的水蒸气与烟气区域及其对应的异常变化程度,构建自适应滤波权值,用于调节两个区域的滤波增强效果,获得自适应增强处理结果。
在本实施例中,根据图像块的异常变化程度,构建自适应权值,实现多尺度Retinex算法进行光照分量与反射分量的分离,实现光照分量中水蒸汽部分的精准分离,进而实现异常区域的增强处理,具体过程为:
根据每个图像块的异常变化程度获取每个图像块的权值:
其中为图像块的权值;/>为图像块的异常变化程度。
根据每个图像块的权值获取多尺度Retinex算法中的光照分量:
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数,其中高斯环绕函数为多尺度Retinex算法中的现有技术,获取方法不再详细赘述。
根据多尺度Retinex算法中的光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像,图2对应的清晰图像参见图6。
S005.根据清晰图像进行厨房油烟识别检测以及智能预警。
厨房灰度图像对应的清晰图像中水蒸气区域部分对光照部分的影响进行了有效的削弱,使得烟气等区域部分更加清晰化。
根据获得的清晰图像,利用神经网络,对烟气的弥漫程度进行识别。神经网络的具体内容如下:
神经网络采用全连接网络结构,输入数据为厨房灰度图像对应的清晰图像,输出数据为烟气弥漫程度等级,神经网络采用的训练集为厨房灰度图像对应的清晰图像训练集,神经网络的标签为烟气弥漫程度等级,标签标注的过程为:由人工根据经验对训练集中厨房灰度图像对应的清晰图像进行烟气弥漫程度等级划分并标注,本实施例中烟气弥漫程度等级分为5个级别,级别越高,烟气弥漫程度越大,在其他实施例中,实施人员可根据具体实施情况设置烟气弥漫程度等级。神经网络采用的损失函数为交叉熵损失函数。
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,进行智能预警。在本实施例中,等级阈值为3级,在其他实施例中实施人员可根据具体实施情况设置等级阈值。
通过以上步骤,根据厨房图像完成了厨房油烟识别与智能预警。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.基于图像处理的智慧厨房油烟检测识别方法,其特征在于,该方法包括以下步骤:
采集连续帧的厨房图像,对厨房图像进行灰度化,得到厨房灰度图像;获取相邻帧厨房灰度图像的差值图像,将每个差值图像划分为多个图像块;
根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度;获取每个图像块的向量;
根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,将所有相邻差值图像中同一图像块的变化相似程度,构成图像块的时序变化相似程度序列;
获取图像块的时序变化相似程度序列与每个邻域图像块的时序变化相似程度序列的路径;根据DTW路径获取图像块与每个邻域图像块的时间滞后性;根据时间滞后性获取图像块的异常变化程度;根据图像块的异常变化程度获取图像块的权值;根据所有图像块的权值获取光照分量;
根据光照分量对每一帧厨房灰度图像进行增强,得到每一帧厨房灰度图像对应的清晰图像;根据清晰图像进行厨房油烟识别检测以及智能预警;
所述根据每个差值图像中每个图像块的灰度均值获取每个图像块的灰度差异程度,包括的具体步骤如下:
其中,表示图像块的灰度差异程度,/>表示图像块的灰度变化均值,/>表示图像块所属的差值图像的灰度均值,/>表示图像块所属的差值图像中所有图像块的灰度变化均值中的最大值,/>表示图像块所属的差值图像中所有图像块的灰度变化均值中的最小值;
所述获取每个图像块的向量,包括的具体步骤如下:
将图像块转化成图像块矩阵,图像块矩阵每个元素为图像块中对应位置的像素点的灰度值;对每个图像块矩阵进行奇异值分解,获得每个图像块的左奇异向量矩阵与奇异值矩阵,预设置信阈值/>,对奇异值进行累计占比统计,取/>时的前/>项奇异值组成截断奇异矩阵/>与截断左奇异向量矩阵/>,其中/>为第/>项奇异值,/>为奇异值的个数;
将截断奇异矩阵与截断左奇异向量矩阵/>的乘积按列连接扁平化成一个向量/>,作为图像块的向量;
所述根据相邻差值图像中同一图像块的向量以及每个图像块的灰度差异程度获取相邻差值图像中同一图像块的变化相似程度,包括的具体步骤如下:
其中,表示相邻差值图像中同一图像块的变化相似程度,/>表示相邻差值图像中第一个差值图像的对应图像块的向量,/>表示相邻差值图像中第二个差值图像的对应图像块的向量,/>表示相邻差值图像中同一图像块的灰度差异程度的差值绝对值,Exp()为以自然常数为底的指数函数;
所述根据DTW路径获取图像块与每个邻域图像块的时间滞后性,包括的具体步骤如下:
根据图像块与邻域图像块的DTW路径,获取图像块的时序变化相似程度序列的初始点对应的邻域图像块的时序变化相似程度序列中点的个数,对所得结果进行归一化,将归一化结果作为图像块与邻域图像块的时间滞后性;
所述根据时间滞后性获取图像块的异常变化程度,包括的具体步骤如下:
对图像块的时序变化相似程度序列进行线性插值,根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率;
根据图像块与每个邻域图像块的时间滞后性以及图像块的时序变化相似程度序列中每个变化相似程度的斜率获取图像块的异常变化程度:
其中,为图像块的异常变化程度,/>表示的是图像块与第u个邻域图像块的/>路径上第v个对应点的变化相似程度的斜率之差,/>表示的是图像块与第u个邻域图像块的/>路径上对应点的个数,/>表示的是图像块与第u个邻域图像块的时间滞后性,/>为绝对值符号;
所述根据插值结果获取时序变化相似程度序列中每个变化相似程度的斜率,包括的具体步骤如下:
其中,表示图像块的时序变化相似程度序列中第/>个变化相似程度的斜率,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的左侧的插值,/>表示图像块的时序变化相似程度序列中第/>个变化相似程度的右侧的插值,/>为向下取整符号;
所述根据所有图像块的权值获取光照分量,包括的具体步骤如下:
其中,为光照分量,/>为第/>个图像块,/>为第/>个图像块的高斯环绕函数,/>为第/>个图像块的权值,/>为图像块的个数。
2.根据权利要求1所述的基于图像处理的智慧厨房油烟检测识别方法,其特征在于,所述根据清晰图像进行厨房油烟识别检测以及智能预警,包括的具体步骤如下:
将厨房灰度图像对应的清晰图像输入到训练好的神经网络中,输出烟气弥漫程度等级,当烟气弥漫程度等级达到预设的等级阈值或大于预设的等级阈值时,发出警报,实现智能预警。
CN202311033682.1A 2023-08-17 2023-08-17 基于图像处理的智慧厨房油烟检测识别方法 Active CN116758489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033682.1A CN116758489B (zh) 2023-08-17 2023-08-17 基于图像处理的智慧厨房油烟检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033682.1A CN116758489B (zh) 2023-08-17 2023-08-17 基于图像处理的智慧厨房油烟检测识别方法

Publications (2)

Publication Number Publication Date
CN116758489A CN116758489A (zh) 2023-09-15
CN116758489B true CN116758489B (zh) 2023-10-27

Family

ID=87957527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033682.1A Active CN116758489B (zh) 2023-08-17 2023-08-17 基于图像处理的智慧厨房油烟检测识别方法

Country Status (1)

Country Link
CN (1) CN116758489B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108760590A (zh) * 2018-03-08 2018-11-06 佛山市云米电器科技有限公司 一种基于图像处理的厨房油烟浓度检测与干扰排除方法
CN109028233A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟图像识别系统及油烟机
CN109028226A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 基于双区域图像采集进行油烟浓度判断的油烟机
CN109190624A (zh) * 2018-09-29 2019-01-11 佛山市云米电器科技有限公司 基于图像处理的厨房油烟浓度检测方法
CN109389604A (zh) * 2018-09-29 2019-02-26 佛山市云米电器科技有限公司 一种厨房油烟图像检测干扰排除方法
CN110296448A (zh) * 2019-06-26 2019-10-01 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果修正方法、系统和油烟机
CN114332588A (zh) * 2021-12-30 2022-04-12 广东天地和实业控股集团有限公司 一种智慧厨房的防火控制方法、系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108760590A (zh) * 2018-03-08 2018-11-06 佛山市云米电器科技有限公司 一种基于图像处理的厨房油烟浓度检测与干扰排除方法
CN109028233A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 厨房油烟浓度划分方法及油烟图像识别系统及油烟机
CN109028226A (zh) * 2018-09-29 2018-12-18 佛山市云米电器科技有限公司 基于双区域图像采集进行油烟浓度判断的油烟机
CN109190624A (zh) * 2018-09-29 2019-01-11 佛山市云米电器科技有限公司 基于图像处理的厨房油烟浓度检测方法
CN109389604A (zh) * 2018-09-29 2019-02-26 佛山市云米电器科技有限公司 一种厨房油烟图像检测干扰排除方法
CN110296448A (zh) * 2019-06-26 2019-10-01 杭州九阳小家电有限公司 一种油烟机的烟雾识别效果修正方法、系统和油烟机
CN114332588A (zh) * 2021-12-30 2022-04-12 广东天地和实业控股集团有限公司 一种智慧厨房的防火控制方法、系统

Also Published As

Publication number Publication date
CN116758489A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110298297B (zh) 火焰识别方法和装置
KR101084719B1 (ko) 영상 처리와 지능 연산을 이용한 지능형 연기 검출 시스템
CN102201120B (zh) 一种基于多特征的目标物体轮廓检测方法
Sengar et al. Detection of moving objects based on enhancement of optical flow
CN107657209B (zh) 一种基于手指静脉图像质量的模板图像注册机制
CN110276784B (zh) 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法
CN108268832A (zh) 电力作业监测方法、装置、存储介质和计算机设备
JP7143174B2 (ja) 煙検出装置及び煙識別方法
CN106529378A (zh) 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法
KR20050114817A (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
CN117456428A (zh) 基于视频图像特征分析的垃圾投放行为检测方法
CN109028230A (zh) 具手势控制视觉检测功能的炉具及油烟浓度检测方法
CN109308709B (zh) 基于图像分割的Vibe运动目标检测算法
CN116758489B (zh) 基于图像处理的智慧厨房油烟检测识别方法
CN113989219A (zh) 钢坯入炉前定位控制方法、装置、电子设备和计算机可读存储介质
CN112804522A (zh) 一种对摄像头异常状况的检测方法及装置
CN110298796B (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
CN106355566A (zh) 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
CN106530300B (zh) 一种低秩分析的火焰识别方法
Azmi et al. Analysis of Sigmoid Function Method And Histogram Equalization for Enhancement Contrast Image
Feng et al. An efficient pixel-wise method for moving object detection in complex scenes
CN108230350A (zh) 一种红外运动目标检测方法
CN116636660B (zh) 一种电子烟烟油信息处理方法、系统及电子烟
Popa et al. Real time trajectory based hand gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant