CN111898525A - 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 - Google Patents

烟雾识别模型的构建方法、进行烟雾检测的方法及装置 Download PDF

Info

Publication number
CN111898525A
CN111898525A CN202010744873.9A CN202010744873A CN111898525A CN 111898525 A CN111898525 A CN 111898525A CN 202010744873 A CN202010744873 A CN 202010744873A CN 111898525 A CN111898525 A CN 111898525A
Authority
CN
China
Prior art keywords
smoke
image
training
model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010744873.9A
Other languages
English (en)
Inventor
邓立邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Intellvision Technology Co ltd
Original Assignee
Guangdong Intellvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Intellvision Technology Co ltd filed Critical Guangdong Intellvision Technology Co ltd
Priority to CN202010744873.9A priority Critical patent/CN111898525A/zh
Publication of CN111898525A publication Critical patent/CN111898525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种通过图像识别进行烟雾检测的方法及装置。本申请实施例提供的技术方案,通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性,便于进行智能家居的推广使用。

Description

烟雾识别模型的构建方法、进行烟雾检测的方法及装置
技术领域
本申请实施例涉及图像识别技术领域,尤其涉及一种进行烟雾检测的方法及装置。
背景技术
目前,常见的带有自动控制功能的吸油烟机通常采用检测烟气浓度方式实现自动控制。例如比较常见的是通过烟雾探头来检测烹饪过程中产生的烟雾浓度,根据烟雾浓度控制风机启停及运转速度。
然而依靠烟雾探头检测油烟会使得风机启动的响应速度较慢,只能在油烟进入吸油烟机后才能检测到油烟,这时再启动风机和调速,无法及时确定烟雾的浓度,不利于对油烟的及时处理。虽然目前有直接对油烟图像进行建模的方式,但是其识别的准确度不高,不方便于进行实际的控制。因此,设计一种识别准确性高的烟雾检测方式成为本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例提供一种烟雾识别模型的构建方法、进行烟雾检测的方法及装置,能够通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性。
在第一方面,本申请实施例提供了一种烟雾识别模型的构建方法,包括:
获取n幅待拼接的训练图像;
对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集;
将所述模型训练集输入构建的卷积神经网络模型进行识别训练以得到烟雾识别模型。
进一步的,所述对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集,包括:
对n幅所述训练图像进行分组操作得到训练图像组,每个训练图像组包括预设数量的训练图像,且每个图像组包括至少一幅相同的训练图像;
对所述训练图像组中的训练图像按照预设顺序进行拼接以生成模型拼接图像;
根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集。
进一步的,所述每个训练图像组包括预设数量的训练图像,且每个图像组包括至少一张相同的训练图像包括:
每个训练图像组包括三幅训练图像,且每个图像组包括两幅相同的训练图像。
进一步的,所述对所述训练图像组中的训练图像按照预设顺序进行拼接以生成模型拼接图像,包括:
对所述训练图像组中的训练图像按照时间顺序进行拼接以生成模型拼接图像。
进一步的,在所述获取n幅待拼接的训练图像之后,还包括:
对获取到的所述训练图像进行灰度化以及二值化处理得到训练二值图像;
对应的,所述对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,包括:
对n幅所述训练二值图像中按照预设顺序进行拼接以生成模型拼接图像。
在第二方面,本申请实施例提供了一种进行烟雾检测的方法,包括:
获取多幅待拼接的烟雾图像,
对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
进一步的,在所述将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位之前,还包括:
根据不同的烟雾浓度确定风机的不同控制档位,并将不同的控制档位与相应的烟雾浓度进行关联;
对应的,所述根据所述烟雾浓度信息控制风机的工作档位,包括:
根据所述控制档位与相应的烟雾浓度的关联关系确定与所述烟雾浓度信息对应的控制档位以控制风机运行在所述控制档位;
在所述将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位之后,还包括:
响应风机档位的调节操作,记录调节后的控制档位信息以及调节图像信息;
将所述调节图像信息加入所述烟雾识别模型的训练集中,并重新对所述烟雾识别模型进行训练。
在第三方面,本申请实施例提供了一种进行烟雾检测的装置,包括:
获取模块:用于获取多幅待拼接的烟雾图像,
拼接模块:用于对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
识别模块:用于将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
在第四方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第二方面所述的进行烟雾检测的方法。
在第五方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面所述的进行烟雾检测的方法。
本申请实施例通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性,便于进行智能家居的推广使用。
附图说明
图1是本申请实施例提供的一种进行烟雾检测的方法的流程图;
图2是本申请实施例提供的烟雾识别模型构建的流程示意图;
图3是本申请实施例提供的进行图像拼接的流程示意图;
图4是本申请实施例提供的一种进行烟雾检测的装置的结构示意图;
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
现有的依靠烟雾探头检测油烟会使得风机启动的响应速度较慢,只能在油烟进入吸油烟机后才能检测到油烟,这时再启动风机和调速,无法及时确定烟雾的浓度,不利于对油烟的及时处理。虽然目前有直接对油烟图像进行建模的方式,但是其识别的准确度不高,不方便于进行实际的控制。基于此,本申请提供的进行烟雾检测的方法及装置,能够通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性。
图1给出了本申请实施例提供的一种进行烟雾检测的方法的流程图,本实施例中提供的进行烟雾检测的方法可以由进行烟雾检测的设备执行,该进行烟雾检测的设备可以通过软件和/或硬件的方式实现,该进行烟雾检测的设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该进行烟雾检测的设备可以是电脑,手机,平板或芯片等。
下述以芯片为执行进行烟雾检测的方法的设备为例,进行描述。参照图1,该进行烟雾检测的方法具体包括:
S101:获取多幅待拼接的烟雾图像。
本步骤主要是为了获取到多幅待拼接的烟雾图像信息来做为后续图像比对的基础;目前进行图像识别比对时,常规的采用的是单幅图像进行图像识别比对的方式。但是发现采用单幅图像进行识别比对时,发现模型的识别准确率并不是很高。因此,在本实施例中设计了一种采用多幅图像进行拼接的方式来进行识别。由于在进行单幅图像识别时,采用的芯片也是算力较高的芯片,比如华为海思;所以当采用多幅图像拼接时,并不会增加原有的硬件成本,但是通过本申请实施例的方案能够大大增加识别的准确率。
在进行图像获取时,主要是通过安装于抽油烟机处的摄像头拍摄得到的,该摄像头的安装位置以可拍摄到炉灶上产生的烟雾为准。例如,将摄像头安装在抽油烟机面板的下方,并将摄像头的拍摄区域对向抽油烟机下方的炉灶,并且摄像头的拍摄背景对向炉灶后方的平面墙,使得摄像头可以完整拍摄到炉灶上产生的烟雾,通过摄像头实时获取炉灶上烟雾从无到有产生烟雾的整个过程情况,并将其作为烟雾图像。
进一步的,在烟雾从无到有产生烟雾的整个过程中,根据不同过程对应的烟雾浓度进行烟雾浓度类别的划分。例如,可根据实际需要定义3~10类烟雾浓度类别,不同烟雾浓度类别对应不同产生烟雾过程的不同阶段。一般的,浓度越高的烟雾浓雾类别,对应的产生烟雾的过程越靠后。在本步骤主要是为了获取待比对的基础图像。
S102:对多幅所述烟雾图像进行拼接以生成烟雾拼接图像。
获取到的多幅图像之后,并不是对其进行分立的图像处理,如果将各个图像进行分立处理,那么得到的结果与采用单幅图像是一致的;在本步骤是采用将多幅图像进行拼接的方式。比如可以依照时间顺序来对获取到的多幅图像进行拼接,当获取到3幅图像时,将3幅图像标记为1,2,3;当进行图像拼接时,可以直接将1,2,3进行拼接得到一幅图像,将其表示为123。本步骤中,进行图像拼接的顺序要与构建烟雾拼接模型时,进行拼接的顺序相同,如果不同,则最终得到的结果差异会很大,并不能够提升准确率。
S103:将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
示例性的,基于卷积神经网络建立烟雾大小识别模型,并以训练集中的样本视频图像作为输入,以烟雾浓度类别作为输出,对烟雾大小识别模型进行反复识别训练,最终得到准确度满足要求或者是训练次数满足要求的烟雾识别模型。其中,卷积神经网络结构可以为AlexNet网络结构、VGG网络结构、GoogleLeNet网络结构以及ResNet网络结构等,本实施例不做限定。
进一步的,在步骤S103之前,还包括:根据不同的烟雾浓度确定风机的不同控制档位,并将不同的控制档位与相应的烟雾浓度进行关联;
对应的,步骤S103则为:根据所述控制档位与相应的烟雾浓度的关联关系确定与所述烟雾浓度信息对应的控制档位以控制风机运行在所述控制档位。
上述步骤主要是对将烟雾浓度与风机档位之间进行关联,比如当烟雾浓度较低时,则将风机的低档位与低浓度进行关联,当烟雾浓度较高时,则将风机的高档位与高浓度进行关联。通过上述关联关系,则使得当识别到相应的烟雾浓度时,则可以控制对应的风机切换至不同的控制档位。
进一步的,图2是本申请实施例提供的烟雾识别模型构建的流程示意图,如图2所示,烟雾识别模型通过如下步骤构建得到:
S1031:获取n幅待拼接的训练图像。
本步骤主要是为了获取到基础的训练图像。在进行图像获取时,主要是通过安装于抽油烟机处的摄像头拍摄得到的,该摄像头的安装位置以可拍摄到炉灶上产生的烟雾为准。例如,将摄像头安装在抽油烟机面板的下方,并将摄像头的拍摄区域对向抽油烟机下方的炉灶,并且摄像头的拍摄背景对向炉灶后方的平面墙,使得摄像头可以完整拍摄到炉灶上产生的烟雾,通过摄像头实时获取炉灶上烟雾从无到有产生烟雾的整个过程情况,并将其作为待拼接的训练图像,然后根据整个过程中不同烟雾浓度对不同的训练图像进行标记。
进一步的,在烟雾从无到有产生烟雾的整个过程中,根据不同过程对应的烟雾浓度进行烟雾浓度类别的划分。例如,可根据实际需要定义3~10类烟雾浓度类别,不同烟雾浓度类别对应不同产生烟雾过程的不同阶段。一般的,浓度越高的烟雾浓雾类别,对应的产生烟雾的过程越靠后。在进行图像获取时,主要依据时间顺序来获取对应图像,并依照时间顺序来对图像进行标记。然后进行基础训练图像的数据库构建。
S1032:对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集。
在步骤S1031中获取到多幅图像,如果直接将多幅图像进行标记生成训练集,那么最终训练得到的模型的准确率也并不会很高。在本步骤也即是对多幅训练图像进行拼接,比如当依照时间序列获取到多幅图像时,也即是可以获取到依照时间序列进行标注的图像1、2、3、4、5……n时,对获取的多幅图像进行拼接以生成模型训练集。
具体的,图3是本申请实施例提供的进行图像拼接的流程示意图,如图3所示,所述对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集,包括:
S1032a:对n幅所述训练图像进行分组操作得到训练图像组,每个训练图像组包括预设数量的训练图像,且每个图像组包括至少一幅相同的训练图像。
也即是当获取到n幅图像时,将n幅图像进行分组,比如将序列号为1~4的图像分为一组,将序列号为2~5的图像分为一组,将序列号为3~6的图像分为一组等等。对所有图像进行分组是为了后续图像拼接做准备。
更为优选的,本申请实施例中每个训练图像组包括三幅训练图像,且每个图像组包括两幅相同的训练图像。也即是将图像1~图像3作为一训练图像组,将图像2~图像4作为一训练图像组,将图像3~图像5作为一训练图像组,后面图像组设置以此类推。进行图像分组时,除了上述的分组方式,还可以采用以4幅图像或者以5幅图像为一组的方式,但是不采用两组图像进行拼接的方式,因为当两组图像进行拼接时,最终得到的识别模型的准确性不如采用3幅以及3幅图像以上得到的识别模型准确性高。
S1032b:对所述训练图像组中的训练图像按照预设顺序进行拼接以生成模型拼接图像。
示例性的,对所述训练图像组中的训练图像按照时间顺序进行拼接以生成模型拼接图像。在步骤S1032a中得到的了多个训练图像组,这些训练图像组包括(1,2,3)、(2,3,4)、(3,4,5)等等;当进行拼接时,可以按照预设顺序进行拼接,也即是拼接后的图像序号为123、234、345等等,或者可以按照其他顺序进行拼接,最终拼接得到的图像为231、342、455等。由上可以知晓,两次进行拼接的顺序并不相同;当采用第一种顺序进行拼接时,则后续对所有的训练组均采用第一种顺序进行拼接,当采用第二种顺序进行拼接时,则后续对所有的训练组均采用第二种顺序进行拼接。也即是所有图像组遵循的拼接规则一定要相同,如果不同图像组之间遵循的拼接规则不同,那么会对结果产生较大的影响。比如当对图像组(1,2,3)进行拼接时,得到的图像结果是123,但是对图形组(2,3,4)进行拼接时,得到的342;那么最终构建的识别模型识别的准确率会大大下降。因此,在进行具体实施时,不同训练图像组之间采用的拼接顺序规则应当是相同的。
S1032c:根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集。
本步骤主要是对拼接后的图像进行标记,将图像信息与具体的浓度信息进行关联,当存在有上述关系之后,将所有的信息组合形成模型训练集,进而送入烟雾识别模型中进行训练。
S1033:将所述模型训练集输入构建的卷积神经网络模型进行识别训练以得到烟雾识别模型。
在步骤S1032中得到模型训练集之后,则可以将模型训练集送入已经构建好的卷积神经网络模型中进行识别训练;通过对不断训练可以得到能够识别相应烟雾大小的烟雾识别模型。
上述进行模型构建的方式为采用RGB颜色的图像来进行识别构建,除了可以采用RGB颜色的方式,还可以采用灰度以及二值化的方式来进行处理。具体的,在得到训练图像之后,可对对应的训练图像进行灰度化以及二值化处理,得到样本二值图像,并基于样本二值图像建立训练集。
其中,灰度图像指每个像素只使用一个采样颜色的图像,显示为从最暗黑色到最亮的白色的灰度,与纯黑白图像不同,在计算机图像领域中黑白图像只有黑白两种颜色,灰度图像在黑色与白色之间还有许多级的颜色深度,通常灰度值范围表示为0到255,其中白色为255,黑色为0,灰度值越小颜色越深,灰度值越大颜色越趋于白色。
在获取样本帧图像后,对样本帧图像进行灰度处理从而获得灰度图像,其中以样本帧图像为RGB彩色图像为例(R、G、B分别为红、绿、蓝三个基色分量,其共同决定了像素点颜色),确定该样本帧图像每个像素点的R、G、B基色分量,依据下述公式确定每个像素点的灰度值Y:
Y=0.3R+0.59G+0.11B
上述计算方式中,根据基色的重要性及其它作画参考指标,将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高,对蓝色敏感最低,故绿色(G)的权值最高,取值0.59。需要说明的是,R、G、B对应的权值大小可适应性调整。在另一个实施例中,在进行灰度处理时可采取分量值法、最大值法或平均值法求取图像每个像素点的灰度值。在确定样本关键帧图像每个像素点的灰度值后,可相应得出灰度图像。其可以理解的是,灰度处理并不会影响图像的纹理特征信息,而且各像素点只需一个灰度值便可表示,有效提高图像的处理效率。
进一步的,在得到样本帧图像的样本灰度图像后,进一步将得到的样本灰度图像进行二值化处理及映射转换,得到各样本灰度图像对应的样本二值图像。
示例性的,以预先设定的二值化阈值为界限,将各样本灰度图像的各像素点的灰度值转换为0或255,在像素点的灰度值低于二值化阈值时转换为0,否则转换为255,即转换为黑或白两种颜色,从而有效消除图像中的背景、噪声。
其中,二值化阈值可根据待处理图像进行设定。例如,二值化阈值的设定可通过以下公式进行确定:
二值化阈值=平均灰度值=(像素点1灰度值+...+像素点N灰度值)/N
即将每张样本二值图像的平均灰度值作为二值化阈值,其中,N代表图像像素点总数。当样本灰度图像像素点的灰度值小于或等于阀值,则将该像素点标识为0,否则标识为255。
进一步的,在确定样本灰度图像每个像素点的灰度值转换后,由于0和255只有两个数,却要用8位编码来容纳,为了节省计算机存储空间,把255映射为1,即将用灰度值为0和255表示的样本灰度图像映射转换为0和1表示样本二值图像。
进一步的,创建用于训练烟雾识别模型的训练集,在得到样本二值图像后,将样本二值图像加入训练集中。
示例性的,根据样本二值图像所对应的烟雾浓度范围,对样本二值图像进行分组,每个分组对应不同的烟雾浓度类别。例如,可根据实际需要定义3~10类烟雾浓度类别,并根据样本二值图像在产生烟雾的不同过程将样本二值图像分配至对应的浓度分组。
其中,样本二值图像的分组可通过人工进行,还可根据样本二值图像对应的时间进行。示例性的,可以根据产生烟雾的不同过程所对应的时间进行分段,不同的分段对应不同的浓度分组,并根据样本二值图像所对应的时间戳与时间分段的对应关系将样本二值图像与浓度分组进行对应。
可以理解的是,对样本二值图像的分组可以在加入训练集之前或之后进行,还可以是预先根据样本视频图像对应的时间段进行分组,再对样本视频图像进行灰度化以及二值化处理,本实施例以样本二值图像加入训练集之后再分组为例,实际上在对烟雾大小识别模型进行训练之前均可对图像进行分组,可根据实际需要进行设置。
具体的,对不同烟雾浓度类别,分别设置对应的风机控制档位,可以理解的是,烟雾浓度类别对应的烟雾浓度越高,对应设置的风机控制档位越高,运行在对应控制档位的风机的出力越大,对油烟的吸力越强。
进一步的,将不同的控制档位与对应的烟雾浓度类别进行关联。可选的,可通过表格、指针、链表等方式进行关联,本实施例不做限定。
示例性的,基于卷积神经网络建立烟雾识别模型,并以训练集中的样本二值图像作为输入,以烟雾浓度类别作为输出,对烟雾识别模型进行反复识别训练,最终得到准确度满足要求或者是训练次数满足要求的烟雾大小识别模型。具体的,基于卷积神经网络结构,并以公式y=wx+b的形式搭建烟雾识别模型。卷积神经网络结构根据不同烟雾浓度类别对应各分组内划入的样本二值图像,对应根据烟雾颗粒空间分布及密度情况特征,将样本二值图像分为7*7的49个方格区域(方格区域数量可根据实际情况进行调节),计算每个滑动窗口中各点的颜色值的组合特征,以得到49维特征向量,通过反复训练,从训练集各分组的样本二值图像中提取出标准模板对应各分组存入文件中。
其中,公式y=wx+b常用于神经网络当中,x为输入,y为输出,w为数据线性分割直线斜率,b为数据线性分割直线偏移值,是由样本二值图像和烟雾浓度类别作为x、y值所构成的一条直线,实现数据分割,当w改变,该直线方向也随之改变;当b>0,该直线往左边移动,否则该直线往右边移动;也就是说,只要改变w、b值,就可以改变该直线的数据分割位置。
以样本二值图像(二值图像矩阵)作为输入x,以烟雾浓度类别作为输出y,对烟雾大小识别模型进行反复训练,直至训练次数达到第一阈值(例如20万次,可根据实际情况设定),在训练停止后,可初步得到数据线性分割直线y=wx+b中的w和b的值。
进一步的,调整w和b的值,并结合方差公式,利用用于测试模型的测试视频图像(获取方式与样本视频图像获取方式类似,在此不做赘述)进行测试,直至测试方差小于第二阈值。其中,方差公式是指损失函数,其用于量化预测与真实之间的一致性,方差值越少,预测与真实越接近。通过上述步骤可以得到更为精确的烟雾识别模型。当模型构建完成,即可将其应用于实际检测,也即是对输入烟雾识别模型的图像进行检测以判断其浓度大小。
S104:响应风机档位的调节操作,记录调节后的控制档位信息以及调节图像信息。
具体的,在油烟机或风机的运行过程中,对风机档位调节操作进行监视。其中,对风机的档位调节操作可通过油烟机操作面板上的调节按钮进行。在风机的控制档位被调节后,对调节后的控制档位以及对应时间段的调节视频图像进行记录。
其中,对应时间段的调节视频图像可以是在调节风机控制档位后的设定时间段回传的视频图像,或者是在调节风机控制档位前后的设定时间段回传的视频图像,在确定风机的控制档位被调节后,根据预设的时间段截取视频图像并作为调节视频图像进行保存,同时对该调节视频图像与调节后的控制档位进行关联。
S105:将所述调节图像信息加入所述烟雾识别模型的训练集中,并重新对所述烟雾识别模型进行训练。
具体的,对调节视频图像进行关键帧抽取,得到调节关键帧图像,并对调节关键帧图像进行灰度化及二值化处理,得到调节二值化图像。对调节视频图像的关键帧抽取、灰度化及二值化处理与上述具体操作过程类似,在此不做赘述。
进一步的,在得到调节二值化图像后,根据关联的烟雾浓度类别,将调节二值化图像加入训练集对应烟雾浓度类别的分组中,对训练集进行更新,并基于更新后的训练集重新进行烟雾识别模型的训练。
可以理解的是,对烟雾大小识别模型的重新训练可响应于调节视频图像的新增数量达到预设数量而触发,还可以是根据预设的时间间隔或者是时间点而触发。
具体的,在步骤S101~S103之间是进行油烟自动判断。除了上述进行自动判断的方式之外,还可以设置于人工交互的方式来进行进一步的优化。因为不同人对油烟量会有不同的感受,对于A来说较大的油烟,对于B来说是适中的油烟量;因此,还可以进行个性化自动检测。具体的也即是在这个过程中,有可能会存在做饭的那个人对当前风机的功率不满意的情况,也即是觉得当前油烟较大而风机档位过小,此时,当检测到有进行风机档位调整时,则同时获取当前的帧差总和数值,并根据该所述来对油烟预设阈值进行调整。具体的调整规则如下:当比如当累计进行调整的次数超过10次,则获取这10次的帧差数值,然后去平均值,将该平均值作为油烟预设阈值的一个端值,通过不断的进行优化来达到更适合特定个人的除油烟效果。
本申请实施例的方案针对的是算力较强的芯片,如果采用算力较弱的物联网芯片则无法实现实时监测的效果;因为在本实施例中采用了神经网络算法,故而对应的芯片算力也要有相对较强,不然无法达到实时性的目的。
本申请实施例通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性,便于进行智能家居的推广使用。
在上述实施例的基础上,图4为本申请实施例提供的一种进行烟雾检测的装置的结构示意图。参考图4,本实施例提供的进行烟雾检测的装置具体包括:
获取模块21:用于获取多幅待拼接的烟雾图像,
拼接模块22:用于对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
识别模块23:用于将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
本申请实施例通过将多幅图像进行拼接以生成拼接图像,然后采用神经网络模型对拼接图像进行训练得到相应的烟雾识别模型,最后通过烟雾识别模型对获取到的拼接后的多幅烟雾图像进行识别以判断烟雾浓度信息,进而控制风机的工作档位;通过本申请的采用图像拼接进行模型训练识别的方式大大提高了烟雾识别的准确性,便于进行智能家居的推广使用。
本申请实施例提供的进行烟雾检测的装置可以用于执行上述实施例提供的进行烟雾检测的方法,具备相应的功能和有益效果。
图5是本申请实施例提供的一种电子设备的结构示意图,参照图5,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器31的数量可以是一个或者多个,该电子设备中的存储器32的数量可以是一个或者多个。该电子设备的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的进行烟雾检测的方法对应的程序指令/模块(例如,进行烟雾检测的装置中的获取模块21、拼接模块22和识别模块23)。存储器32可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器31通过运行存储在存储器32中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的进行烟雾检测的方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例提供的进行烟雾检测的方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器31执行时用于执行一种进行烟雾检测的方法,该进行烟雾检测的方法包括:
获取多幅待拼接的烟雾图像,
对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器31执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的进行烟雾检测的方法,还可以执行本申请任意实施例所提供的进行烟雾检测的方法中的相关操作。
上述实施例中提供的进行烟雾检测的装置、存储介质及电子设备可执行本申请任意实施例所提供的进行烟雾检测的方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的进行烟雾检测的方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种烟雾识别模型的构建方法,其特征在于,包括:
获取n幅待拼接的训练图像;
对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集;
将所述模型训练集输入构建的卷积神经网络模型进行识别训练以得到烟雾识别模型。
2.如权利要求1所述的烟雾识别模型的构建方法,其特征在于,所述对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,并根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集,包括:
对n幅所述训练图像进行分组操作得到训练图像组,每个训练图像组包括预设数量的训练图像,且每个图像组包括至少一幅相同的训练图像;
对所述训练图像组中的训练图像按照预设顺序进行拼接以生成模型拼接图像;
根据烟雾浓度大小对所述模型拼接图像进行标记以生成模型训练集。
3.如权利要求2所述的烟雾识别模型的构建方法,其特征在于,所述每个训练图像组包括预设数量的训练图像,且每个图像组包括至少一张相同的训练图像包括:
每个训练图像组包括三幅训练图像,且每个图像组包括两幅相同的训练图像。
4.如权利要求2所述的烟雾识别模型的构建方法,其特征在于,所述对所述训练图像组中的训练图像按照预设顺序进行拼接以生成模型拼接图像,包括:
对所述训练图像组中的训练图像按照时间顺序进行拼接以生成模型拼接图像。
5.如权利要求1所述的烟雾识别模型的构建方法,其特征在于,在所述获取n幅待拼接的训练图像之后,还包括:
对获取到的所述训练图像进行灰度化以及二值化处理得到训练二值图像;
对应的,所述对n幅所述训练图像中按照预设顺序进行拼接以生成模型拼接图像,包括:
对n幅所述训练二值图像中按照预设顺序进行拼接以生成模型拼接图像。
6.一种进行烟雾检测的方法,其特征在于,包括:
获取多幅待拼接的烟雾图像;
对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
7.如权利要求1所述的进行烟雾检测的方法,其特征在于,在所述将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位之前,还包括:
根据不同的烟雾浓度确定风机的不同控制档位,并将不同的控制档位与相应的烟雾浓度进行关联;
对应的,所述根据所述烟雾浓度信息控制风机的工作档位,包括:
根据所述控制档位与相应的烟雾浓度的关联关系确定与所述烟雾浓度信息对应的控制档位以控制风机运行在所述控制档位;
在所述将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位之后,还包括:
响应风机档位的调节操作,记录调节后的控制档位信息以及调节图像信息;
将所述调节图像信息加入所述烟雾识别模型的训练集中,并重新对所述烟雾识别模型进行训练。
8.一种进行烟雾检测的装置,其特征在于,包括:
获取模块:用于获取多幅待拼接的烟雾图像,
拼接模块:用于对多幅所述烟雾图像进行拼接以生成烟雾拼接图像;
识别模块:用于将所述烟雾拼接图像输入至烟雾识别模型得到烟雾浓度信息,根据所述烟雾浓度信息控制风机的工作档位。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求6或7所述的进行烟雾检测的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求6或7所述的进行烟雾检测的方法。
CN202010744873.9A 2020-07-29 2020-07-29 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 Pending CN111898525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010744873.9A CN111898525A (zh) 2020-07-29 2020-07-29 烟雾识别模型的构建方法、进行烟雾检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010744873.9A CN111898525A (zh) 2020-07-29 2020-07-29 烟雾识别模型的构建方法、进行烟雾检测的方法及装置

Publications (1)

Publication Number Publication Date
CN111898525A true CN111898525A (zh) 2020-11-06

Family

ID=73182524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010744873.9A Pending CN111898525A (zh) 2020-07-29 2020-07-29 烟雾识别模型的构建方法、进行烟雾检测的方法及装置

Country Status (1)

Country Link
CN (1) CN111898525A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821151A (zh) * 2022-03-23 2022-07-29 苏州英特模汽车科技有限公司 烟雾检测模型的训练方法、烟雾检测设备及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228114A (ja) * 2012-04-24 2013-11-07 Panasonic Corp レンジフード
CN103679726A (zh) * 2013-12-16 2014-03-26 成都安健发科技有限公司 一种提高岩屑图像成像质量的方法
CN206931119U (zh) * 2016-10-21 2018-01-26 微景天下(北京)科技有限公司 图像拼接系统
CN107944504A (zh) * 2017-12-14 2018-04-20 北京木业邦科技有限公司 木板识别及木板识别的机器学习方法、装置及电子设备
CN108734657A (zh) * 2018-04-26 2018-11-02 重庆邮电大学 一种具有视差处理能力的图像拼接方法
CN109655586A (zh) * 2018-12-29 2019-04-19 佛山市云米电器科技有限公司 一种油烟挥发性有机物检测控制系统及其应用
US20190303725A1 (en) * 2018-03-30 2019-10-03 Fringefy Ltd. Neural network training system
CN110751215A (zh) * 2019-10-21 2020-02-04 腾讯科技(深圳)有限公司 一种图像识别方法、装置、设备、系统及介质
CN111126136A (zh) * 2019-11-18 2020-05-08 上海交通大学 一种基于图像识别的烟雾浓度量化方法
CN111161153A (zh) * 2019-12-31 2020-05-15 无锡祥生医疗科技股份有限公司 宽景拼接方法、装置及存储介质
CN111339887A (zh) * 2020-02-20 2020-06-26 深圳前海达闼云端智能科技有限公司 商品识别方法及智能货柜系统
CN111401246A (zh) * 2020-03-17 2020-07-10 广东智媒云图科技股份有限公司 一种烟雾浓度检测方法、装置、设备及存储介质
CN111882584A (zh) * 2020-07-29 2020-11-03 广东智媒云图科技股份有限公司 一种通过灰度图像进行油烟量判断的方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228114A (ja) * 2012-04-24 2013-11-07 Panasonic Corp レンジフード
CN103679726A (zh) * 2013-12-16 2014-03-26 成都安健发科技有限公司 一种提高岩屑图像成像质量的方法
CN206931119U (zh) * 2016-10-21 2018-01-26 微景天下(北京)科技有限公司 图像拼接系统
WO2019114380A1 (zh) * 2017-12-14 2019-06-20 北京木业邦科技有限公司 木板识别及木板识别的机器学习方法、装置及电子设备
CN107944504A (zh) * 2017-12-14 2018-04-20 北京木业邦科技有限公司 木板识别及木板识别的机器学习方法、装置及电子设备
US20190303725A1 (en) * 2018-03-30 2019-10-03 Fringefy Ltd. Neural network training system
CN108734657A (zh) * 2018-04-26 2018-11-02 重庆邮电大学 一种具有视差处理能力的图像拼接方法
CN109655586A (zh) * 2018-12-29 2019-04-19 佛山市云米电器科技有限公司 一种油烟挥发性有机物检测控制系统及其应用
CN110751215A (zh) * 2019-10-21 2020-02-04 腾讯科技(深圳)有限公司 一种图像识别方法、装置、设备、系统及介质
CN111126136A (zh) * 2019-11-18 2020-05-08 上海交通大学 一种基于图像识别的烟雾浓度量化方法
CN111161153A (zh) * 2019-12-31 2020-05-15 无锡祥生医疗科技股份有限公司 宽景拼接方法、装置及存储介质
CN111339887A (zh) * 2020-02-20 2020-06-26 深圳前海达闼云端智能科技有限公司 商品识别方法及智能货柜系统
CN111401246A (zh) * 2020-03-17 2020-07-10 广东智媒云图科技股份有限公司 一种烟雾浓度检测方法、装置、设备及存储介质
CN111882584A (zh) * 2020-07-29 2020-11-03 广东智媒云图科技股份有限公司 一种通过灰度图像进行油烟量判断的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821151A (zh) * 2022-03-23 2022-07-29 苏州英特模汽车科技有限公司 烟雾检测模型的训练方法、烟雾检测设备及系统

Similar Documents

Publication Publication Date Title
CN108615071B (zh) 模型测试的方法及装置
CN111401246B (zh) 一种烟雾浓度检测方法、装置、设备及存储介质
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN110619319A (zh) 一种基于改进的mtcnn模型人脸检测方法和系统
CN110059642B (zh) 人脸图像筛选方法与装置
JP2021531571A (ja) 証明書画像抽出方法及び端末機器
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113505854A (zh) 一种人脸图像质量评价模型构建方法、装置、设备及介质
CN110782448A (zh) 渲染图像的评价方法及装置
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
US9940543B2 (en) Control of computer vision pre-processing based on image matching using structural similarity
CN111898525A (zh) 烟雾识别模型的构建方法、进行烟雾检测的方法及装置
CN114067172A (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
CN111080754B (zh) 一种头部肢体特征点连线的人物动画制作方法及装置
CN116721288A (zh) 一种基于YOLOv5的安全帽检测方法及系统
CN110197123A (zh) 一种基于Mask R-CNN的人体姿态识别方法
CN112102175A (zh) 图像对比度的增强方法、装置、存储介质及电子设备
CN115457015A (zh) 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置
CN104700416A (zh) 基于视觉理解的图像分割阈值确定方法
CN112686851B (zh) 一种图像检测方法、装置及存储介质
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
CN113706402A (zh) 神经网络训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination