CN117058161B - 基于图像处理的电子烟雾化烟雾图像分割方法 - Google Patents
基于图像处理的电子烟雾化烟雾图像分割方法 Download PDFInfo
- Publication number
- CN117058161B CN117058161B CN202311314840.0A CN202311314840A CN117058161B CN 117058161 B CN117058161 B CN 117058161B CN 202311314840 A CN202311314840 A CN 202311314840A CN 117058161 B CN117058161 B CN 117058161B
- Authority
- CN
- China
- Prior art keywords
- image
- smoke
- characteristic
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 239000003571 electronic cigarette Substances 0.000 title claims abstract description 21
- 238000003709 image segmentation Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 230000003068 static effect Effects 0.000 claims abstract description 27
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000002596 correlated effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000443 aerosol Substances 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012387 aerosolization Methods 0.000 claims 5
- 239000003595 mist Substances 0.000 claims 1
- 238000000889 atomisation Methods 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000009792 diffusion process Methods 0.000 description 11
- 230000001788 irregular Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像分析技术领域，具体涉及一种基于图像处理的电子烟雾化烟雾图像分割方法。首先获得烟雾图像，然后对烟雾图像与时序上相邻的烟雾图像的像素点进行动态特征分析，筛选出动态特征像素点；然后在动态特征的基础上进行静态特征分析，综合选出特征显著像素点；基于SLIC超像素分割算法对烟雾图像进行分割，获得多个超像素块，对超像素块边缘上的特征显著像素点基于特征显著值进行再划分，完成烟雾图像的分割。本发明在对烟雾图像分割前，基于烟雾特征的动态特征和静态特征综合筛选出特征显著像素点，然后在完成烟雾图像超像素分割后，对边缘上的特征显著像素点进行再划分，从而有效提高了烟雾图像的分割精度。
Description
技术领域
本发明涉及图像分析技术领域，具体涉及一种基于图像处理的电子烟雾化烟雾图像分割方法。
背景技术
电子烟中雾化器的构造为一个加热元器件，通过电池供电发热，使其旁边的烟油挥发，形成烟雾。电子烟进行雾化的雾量是评价电子烟质量的重要指标；因此在质量评价前需要对电子烟雾化烟雾图像进行分割处理。
烟雾的特征较为复杂；而现有技术中在对烟雾图像进行分割时，通过图像纹理进行边缘检测，并根据检测结果实现烟雾图像的分割，这种方式下，由于烟雾图像所具有的雾化特点，使其无法与背景区域进行有效区分，因此会造成对烟雾图像的分割精度较差的问题。
发明内容
为了解决对烟雾图像进行分割时，无法与背景区域进行有效区分，造成对烟雾图像的分割精度较差的技术问题，本发明的目的在于提供一种基于图像处理的电子烟雾化烟雾图像分割方法，所采用的技术方案具体如下：
本发明提出了一种基于图像处理的电子烟雾化烟雾图像分割方法，所述方法包括：
获取时序上的至少三帧烟雾图像，并将时序上除第一帧和最后一帧的烟雾图像之外的任一烟雾图像作为待处理图像；
根据所述待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值；根据每个像素点的所述运动方向特征值和运动速度特征值获得动态特征像素点；
以任一所述动态特征像素点为中心像素点，根据预设邻域内的像素点的颜色分布，进行烟雾静态特征分析，获得所述中心像素点的形状特征值和颜色特征值；根据所述形状特征值和颜色特征值获得所述中心像素点的特征显著值；根据所述特征显著值从所述动态特征像素点中筛选得到特征显著像素点；
对所述待处理图像进行超像素分割，获得超像素块，每个超像素块具有对应的种子点；将所有所述超像素块边缘上的特征显著像素点作为目标像素点，将所述目标像素点划分到种子点的特征显著值最大的相邻超像素块中，完成所述待处理图像的分割。
进一步地，所述根据所述待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值，包括：
基于时序将待处理图像与相邻的烟雾图像作为光流法的输入，输出待处理图像中每个像素点的运动方向与运动速度；其中，将所述待处理图像与时序上相邻的前一张烟雾图像的输出结果作为第一运动方向和第一运动速度；将所述待处理图像与时序上相邻的后一张烟雾图像的输出结果作为第二运动方向和第二运动速度；
所述运动方向特征值包括第一运动方向特征值和第二运动方向特征值，将所述第一运动方向与水平方向在顺时针方向上的角度的值作为第一运动方向特征值，将所述第二运动方向与水平方向在顺时针方向上的角度的值作为第二运动方向特征值；
所述运动速度特征值包括第一运动速度特征值和第二运动速度特征值，将所述第一运动速度的值作为第一运动速度特征值，将所述第二运动速度的值作为第二运动速度特征值。
进一步地，所述动态特征像素点的获取方法包括：
将待处理图像中所述第一运动方向特征值和第二运动方向特征值都在预设区间内的像素点作为疑似烟雾像素点；
将每个所述疑似烟雾像素点的第一运动方向特征值与预设方向参数的差异作为第一方向差异，第二运动方向特征值与预设方向参数的差异作为第二方向差异；根据所述第一方向差异与所述第二方向差异获得运动方向比，所述运动方向比与第一方向差异呈正相关，所述运动方向比与第二方向差异呈负相关；
将每个所述疑似烟雾像素点的第一运动速度特征值与预设速度参数的差异作为第一速度差异，第二运动速度特征值与预设速度参数的差异作为第二速度差异；根据所述第一速度差异与所述第二速度差异获得运动速度比，所述运动速度比与第一速度差异呈负相关，所述运动速度比与第二速度差异呈正相关；
将所述运动方向比和所述运动速度比都小于预设特征参数的疑似烟雾像素点作为所述动态特征像素点。
进一步地，所述形状特征值的获取方法包括：
基于Canny边缘检测算法获取所述预设邻域内的边缘线；
基于角点检测算法获取所述边缘线的角点，统计所述边缘线上角点的总数；
获取所述边缘线上每个像素点处的曲率值，将所述边缘线上所有像素点处的曲率值的方差作为曲率方差；
根据所述曲率方差和所述角点的总数获得所述中心像素点的所述形状特征值；所述形状特征值与所述曲率方差呈正相关；所述形状特征值与所述角点的总数呈负相关。
进一步地，所述颜色特征值的获取方法包括：
获取所述预设邻域内所有像素点的每个颜色通道的颜色二阶矩；
将所述预设邻域内所有像素点的所有颜色通道的颜色二阶矩的平均值，作为所述中心像素点的所述颜色特征值。
进一步地，所述特征显著值的获取方法包括：
将所述中心像素点的所述形状特征值与所述颜色特征值的乘积，并对所述乘积进行归一化处理获得中心像素点的所述特征显著值。
进一步地，所述特征显著像素点的获取方法包括：
将所述特征显著值大于预设判断阈值的动态特征像素点作为特征显著像素点。
进一步地，所述超像素块的获取方法包括：
基于SLIC超像素分割算法对所述待处理图像进行超像素分割，获得所述超像素块。
进一步地，所述烟雾图像为LAB色彩空间图像。
进一步地，所述预设邻域为5×5。
本发明具有如下有益效果：
本发明的目的在于将烟雾的动态特征与静态特征进行结合，进而在对图像分割时可以与背景区域进行有效区分，获得更加精确的烟雾图像分割结果；因此首先获取烟雾图像；然后对烟雾图像与时序上相邻的烟雾图像中的像素点进行动态特征分析，主要包括运动方向和运动速度两个方面，可以获得像素点的运动方向特征值和运动速度特征值；进而基于运动方向特征值和运动速度特征值获得动态特征较为明显的像素点，记为动态特征像素点；然后将烟雾的静态特征与动态特征进行结合，进一步获得具有明显烟雾特征的像素点；故对动态特征像素点进行分析，基于烟雾具有的静态特征中的形状特征和颜色特征，可以获得动态特征像素点的形状特征值和颜色特征值，进而获得特征显著值，特征显著值综合了烟雾的动态特征和静态特征两个方面，因此可通过特征显著值从动态特征像素点中综合选出特征显著像素点，此时的特征显著像素点即为具有明显烟雾特征的像素点；然后对烟雾图像进行超像素分割，获得超像素块后，然后对超像素块边缘上的特征显著像素点进行再次划分，将边缘上的特征显著像素点划分到种子点的特征显著值最大的相邻超像素块中，即可完成烟雾图像的精确分割。本发明通过将烟雾的动态特征和静态特征相结合，综合选出特征显著像素点，在分割获得超像素块之后，对边缘上的特征显著像素点根据相邻超像素块种子点的特征显著值进行再次划分，从而可以完成烟雾图像与背景区域的有效区分，提高了烟雾图像的分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图像处理的电子烟雾化烟雾图像分割方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的电子烟雾化烟雾图像分割方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理的电子烟雾化烟雾图像分割方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理的电子烟雾化烟雾图像分割方法的方法流程图，该方法包括以下步骤：
步骤S1：获取时序上的至少三帧烟雾图像，并将时序上除第一帧和最后一帧的烟雾图像之外的任一烟雾图像作为待处理图像。
本发明实施例通过对烟雾的动态特征和静态特征进行分析，其中，动态特征包括运动方向和运动速度；静态特征包括烟雾的形状特征以及颜色特征。然后可以得到特征显著的像素点，进而进行精确的分割。
首先可以分析烟雾的动态特征，动态特征需要对具有时间连续性的烟雾图像进行分析，故可以根据电子烟雾化烟雾视频获取所需的烟雾图像。
优选地，本发明一个实施例中烟雾图像的获取方法包括：
使用CMOS(Complementary Metal-Oxide-Semiconductor)相机录制电子烟雾化烟雾扩散视频，然后对视频中的每一帧图像进行预处理，获得烟雾图像；预处理的目的在于可以在后续的分析过程中方便处理分析并且可以提高结果的精度。预处理的过程包括：由于烟雾图像可能会存在噪声影响，因此采用双边滤波对每一帧图像进行去噪处理获得去噪图像，可实现在保留边缘以及纹理信息的同时消除噪声的影响，提高后续分析过程的精度，然后将去噪后的图像从RGB(Red Green Blue)空间变换到LAB空间，变换的原因在于：LAB空间中L表示亮度，A和B表示颜色对立维度，所以只有两个通道表示颜色特征，可以便于后续对烟雾的静态特征中的颜色特征进行分析。需要说明的是，双边滤波以及图像颜色空间变换为本领域技术人员熟知的技术手段，在此不做赘述；CMOS是一种集成电路技术，CMOS传感器在数码相机和摄像机中广泛应用，具有高速读取图像数据的能力，适用于高速连拍和视频拍摄。
需要说明的是，由于本发明在后续对烟雾图像中的像素点进行动态特征分析时，需要对待处理图像与时序上相邻的两帧烟雾图像进行分析，故不考虑首尾两帧烟雾图像，并将时序上除第一帧和最后一帧的烟雾图像之外的任一烟雾图像作为待处理图像。
步骤S2：根据待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值；根据每个像素点的运动方向特征值和运动速度特征值获得动态特征像素点。
首先基于烟雾的动态特征获取到动态特征像素点；对待处理图像与时序上相邻的两帧烟雾图像进行动态特征分析，可以获得待处理图像中每个像素点的运动方向特征值和运动速度特征值。
优选地，本发明一个实施例中根据待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值，包括：将时序上与待处理图像相邻的前一张烟雾图像和待处理图像作为光流法的输入，输出结果为待处理图像中每个像素点的运动方向和运动速度，记为第一运动方向和第一运动速度，然后同理，将待处理图像与时序上相邻的后一张烟雾图像作为光流法的输入，即可获得待处理图像中每个像素点的第二运动方向和第二运动速度。
将运动速度直接作为运动速度特征值，因此待处理图像中每个像素点即具有第一运动速度特征值和第二运动速度特征值；然后将运动方向与水平方向在顺时针方向上的角度作为运动方向特征值，那么同理，待处理图像中每个像素点即具有第一运动方向特征值和第二运动方向特征值。
至此，获得了每个像素点的运动方向特征值和运动速度特征值。然后可以基于此对像素点进行初步分析，获得具有烟雾动态特征的像素点，即动态特征像素点。
优选地，本发明一个实施例中动态特征像素点的获取方法包括：
烟雾在空气中扩散的过程中具有明显的动态特征，其中烟雾在空气中的运动方向呈现出一种逐步向外部扩散的趋势，并且运动扩散的方向为向上向外，所以可以根据像素点的运动方向首先筛选出疑似烟雾像素点。对扩散方向设置一个预设区间，遍历待处理图像中所有的像素点，判断每个像素点的第一运动方向特征值和第二运动方向特征值是否都在预设区间内，若在，则将该像素点记为疑似烟雾像素点，若不在，则继续遍历其他像素点，直至对待处理图像中所有像素点完成判断，此时可获得所有疑似烟雾像素点。需要说明的是，预设区间设置为[45,135]，具体预设区间的大小可根据具体实施场景进行调整，在此不做限定。
根据先验知识可知烟雾的扩散方向为向上向外，同时随着时间的推移，烟雾在水平方向上的扩散会更加明显，因此烟雾在较为靠后的时间点的运动方向相比于靠前的时间点的运动方向会更为向外扩散，据此可对疑似烟雾像素点的运动方向进行进一步地分析。
将疑似烟雾像素点的第一运动方向特征值与预设方向参数的差异作为第一方向差异，第二运动方向特征值与预设方向参数的差异作为第二方向差异；根据第一方向差异与第二方向差异获得运动方向比，其中，运动方向比与第一方向差异呈正相关，运动方向比与第二方向差异呈负相关。运动方向比的公式模型具体可以例如为：
其中，表示疑似烟雾像素点的运动方向比，/>表示疑似烟雾像素点在第/>帧烟雾图像与第/>帧烟雾图像中获得的运动方向特征值，即第一运动方向特征值，/>表示疑似烟雾像素点在第/>帧烟雾图像与第/>帧烟雾图像中获得的运动方向特征值，即第二运动方向特征值，/>表示预设方向参数，/>表示第一调参因子。
在运动方向比的公式模型中，由于在较为靠后的时间点，烟雾的运动方向相较于靠前的时间点会更加向外扩散，那么第一运动方向特征值会比第二运动方向特征值更加接近垂直角度，所以第一方向差异要比第二方向差异小，也即烟雾像素点的运动方向比应该恒小于1，所以若疑似烟雾像素点的第一方向差异比第二方向差异小，运动方向比小于1时，说明该疑似烟雾像素点的烟雾动态特征较为明显，那么该疑似烟雾像素点为烟雾像素点的可能性就大。需要说明的是，预设方向参数取值为90；第一调参因子的目的在于避免分母为0，在此可以取0.0001，第一调参因子具体数值的设置实施者可根据具体实施场景进行调整，在此不做限定。
根据先验知识可知通常烟雾在空气中刚开始扩散时，由于初始阶段烟雾浓度较高，会迅速扩散到周围的空气中；然后随着时间的推移，烟雾与周围空气逐渐混合，烟雾浓度逐渐稀释，此时烟雾的扩散速度会逐渐减慢。故烟雾在前期扩散时的速度会大于在后期扩散时的速度，所以可据此特征对疑似烟雾像素点的速度特征值进行分析，进一步确定疑似烟雾像素点是否为动态特征像素点。
将每个疑似烟雾像素点的第一运动速度特征值与预设速度参数的差异作为第一速度差异，第二运动速度特征值与预设速度参数的差异作为第二速度差异；根据第一速度差异与第二速度差异获得运动速度比，运动速度比与第一速度差异呈负相关，运动速度比与第二速度差异呈正相关。运动速度比的公式模型具体可以例如为：
其中，表示疑似烟雾像素点的运动速度比，/>表示疑似烟雾像素点在第/>帧烟雾图像与第/>帧烟雾图像中获得的运动速度特征值，即第一运动速度特征值，表示疑似烟雾像素点在第/>帧烟雾图像与第/>帧烟雾图像中获得的运动速度特征值，即第二运动速度特征值，/>表示预设速度参数，/>表示第二调参因子。
在运动速度比的公式模型中，由于烟雾前期的扩散速度会大于后期的扩散速度，即第一运动速度特征值会大于第二运动速度特征值，所以第一速度差异要大于第二速度差异，也即烟雾像素点的运动速度比应该恒小于1，所以若疑似烟雾像素点的第一速度差异大于第二速度差异/>，运动速度比小于1时，说明该疑似烟雾像素点的烟雾动态特征较为明显，那么该疑似烟雾像素点为烟雾像素点的可能性就大。需要说明的是，预设速度参数表示的是烟雾扩散时的初始速度，根据经验值取值为4.02；第二调参因子的目的在于避免分母为0，在此可以取0.0001，预设速度参数和第二调参因子具体数值的设置实施者可根据具体实施场景进行调整，在此不做限定。
然后，基于上述分析过程，即可将运动方向比和运动速度比都小于预设特征参数的疑似烟雾像素点作为动态特征像素点，需要说明的是，预设特征参数为1。
步骤S3：以任一动态特征像素点为中心像素点，根据预设邻域内的像素点的颜色分布，进行烟雾静态特征分析，获得中心像素点的形状特征值和颜色特征值；根据形状特征值和颜色特征值获得中心像素点的特征显著值；根据特征显著值从动态特征像素点中筛选得到特征显著像素点。
烟雾不仅具有动态特征，还具有静态特征，静态特征包括颜色特征和形状特征，因此，可以将烟雾的动态特征与静态特征进行结合分析。对步骤S2中获得的动态特征像素点进行烟雾静态特征分析，以任一动态特征像素点为中心像素点，对预设邻域内的像素点进行烟雾静态特征分析，即可获得中心像素点的形状特征值和颜色特征值。
优选地，本发明一个实施例中形状特征值的获取方法包括：
首先通过Canny边缘检测算法获取预设邻域内的边缘线，然后对边缘线进行分析，由于烟雾呈现出的静态特征中的形状特征主要表现在烟雾边缘为不规则的曲线，也即烟雾的边缘为没有规律的曲线，由于曲线的曲率描述了曲线在某一点的弯曲程度，所以可以获取边缘线上每个像素点处的曲率值，然后将预设邻域内所有曲率值求方差，作为曲率方差，通过曲率方差表征烟雾边缘曲线的不规则性；然后由于烟雾边缘的不规则性为较为平滑的不规则性，而曲线的角点数量可以表征出曲线的平滑程度，因此可以通过角点检测算法对预设邻域内的边缘线进行角点检测，获取边缘线上的角点的总数。然后即可根据预设邻域内边缘线上的角点的总数和获得的曲率方差对中心像素点的形状特征进行表征，获得形状特征值，形状特征值与曲率方差呈正相关，与角点的总数呈负相关。形状特征值的公式模型具体可以例如为：
其中，表示形状特征值，/>表示曲率方差，/>表示角点的总数，/>表示第三调参因子。
在形状特征值的公式模型中，由于烟雾边缘具有较为平滑的不规则的形态，所以烟雾边缘线的曲率变化具有无规律性，因此当曲率方差越大时，并且边缘线上角点的总数越小时，那么形状特征值就越大，那么预设邻域内的边缘线的形状特征就越符合烟雾的形状特征，即中心像素点的烟雾静态特征就越明显。需要说明的是，第三调参因子的目的在于避免分母为0，在此可以取0.0001，第三调参因子具体数值的设置实施者可根据具体实施场景进行调整，在此不做限定，Canny边缘检测算法和角点检测算法皆为本领域技术人员熟知的技术手段，在此不做赘述。
优选地，本发明一个实施例中，预设邻域按照经验取为5×5，需要说明的是，预设邻域的具体大小可根据具体实施场景进行调整，在此不做限定。
然后获取中心像素点的颜色特征值。
优选地，本发明一个实施例中颜色特征值的获取方法包括：
由于烟雾在空气中扩散时，不同位置的浓度会出现差异，因此图像中的像素点的像素值的分布应该呈现出不均匀的现象。由于步骤S1中已经将图像从RGB空间变换到LAB空间，因此图像的颜色只与A通道和B通道有关；获取预设邻域内所有像素点在A通道的颜色二阶矩以及在B通道的颜色二阶矩；然后获取两个颜色二阶矩的平均值，作为中心像素点的颜色特征值。颜色特征值的公式模型为：
其中，表示颜色特征值，/>表示A通道的颜色二阶矩，/>表示B通道的颜色二阶矩。
在颜色特征值的公式模型中，当通道的颜色二阶矩越大时，那么获取到的颜色特征值就越大，则说明预设邻域内像素点的像素值分布越不均匀，那么中心像素点的烟雾静态特征就越明显。需要说明的是，为了使得烟雾不同位置的浓度差异更加明显，也即不同位置的颜色特征更加明显，因此本发明实施例中的烟雾图像背景可采用纯色背景。
然后可将中心像素点的形状特征值和颜色特征值进行结合，获得能够表征动态特征像素点静态特征的特征显著值。
优选地，本发明一个实施例中特征显著值的获取方法包括：
将中心像素点的形状特征值与颜色特征值相乘，将所得的乘积进行归一化处理即可获得中心像素点的特征显著值。特征显著值的公式模型为：
其中，表示特征显著值，/>表示形状特征值，/>表示颜色特征值，表示归一化函数。
在特征显著值的公式模型中，基于上述分析可知，当颜色特征值越大，则说明预设邻域内像素点的像素值分布越不均匀，当形状特征值越大，则说明预设邻域内的边缘线的形状特征就越不规则，由于中心像素点本质为动态特征像素点，故此时特征显著值就越大，那么中心像素点的烟雾特征就越明显。
至此，可以获得每个动态特征像素点的特征显著值，然后基于特征显著值筛选出特征显著像素点。
优选地，本发明一个实施例中特征显著像素点的获取方法包括：
将特征显著值大于预设判断阈值的动态特征像素点作为特征显著像素点。需要说明的是，本发明实施例中预设判断阈值的大小设置为0.6，具体数值可根据实施场景进行调整，在此不做限定。
至此，通过先对像素点进行烟雾动态特征分析获得具有明显烟雾动态特征的动态特征像素点，再将烟雾的静态特征与动态特征进行结合，通过对动态特征像素点进行烟雾的静态特征分析，获得了具有明显烟雾特征的特征显著像素点，然后可进行后续的分割操作。
步骤S4：对待处理图像进行超像素分割，获得超像素块，每个超像素块具有对应的种子点；将所有超像素块边缘上的特征显著像素点作为目标像素点，将目标像素点划分到种子点的特征显著值最大的相邻超像素块中，完成待处理图像的分割。
首先可对待处理图像进行超像素分割，获得超像素块。
优选地，本发明一个实施例中超像素块的获取方法包括：
利用SLIC(Simple Linear Iterative Clustering-SLIC)超像素分割算法对待处理图像进行超像素分割处理，其中初始种子点的个数为预设数量；然后获得多个超像素块。需要说明的是，种子点个数的预设数量按照经验取值为20，具体取值可根据实施场景进行调整，在此不做限定；SLIC超像素分割算法为本领域技术人员熟知的技术手段，在此不做赘述。
由于利用SLIC超像素分割算法对图像进行分割成多个超像素块之后，超像素块的边缘像素点通常被视为边缘区域，并在多个超像素块之间共享，为了更好的保留边缘的完整性和连续性，同时提高烟雾图像分割的精度，可对初步区域边缘上的特征显著像素点进行再次划分，完成待处理图像的分割。
首先将所有超像素块边缘上的特征显著像素点记为目标像素点；然后获取与目标像素点相邻的所有超像素块，将其作为目标像素点的目标区域，然后获取目标区域中种子点的特征显著值并选出最大的特征显著值，将目标像素点划分到对应的种子点的特征显著值最大的目标区域中，然后即可完成对初步区域边缘上的特征显著像素点的再划分，进而可以实现烟雾与背景区域的有效区分，完成待处理图像的分割。需要说明的是，由于在上述超像素分割过程中，都是通过其他像素点与种子点之间的距离度量进行计算，且种子点可代表所在超像素块，即初步区域的整体特征，因此在再划分过程中，仅考虑种子点的特征显著值。
至此，在超像素分割之后，将超像素块边缘上烟雾特征明显的像素点，即特征显著像素点进行再次划分，划分到烟雾特征明显的超像素块中，实现了烟雾与背景区域的有效区分，进而提高了对待处理图像的分割精度。
综上所述，本发明实施例首先对电子烟雾化烟雾视频中的每一帧图像进行去噪处理、颜色空间变换的预处理，获得烟雾图像，然后基于烟雾的动态特征，结合烟雾图像与时序上的前一帧图像以及后一帧图像的像素点进行动态特征分析，获得像素点的运动方向特征值和运动速度特征值，进而筛选出烟雾动态特征较为明显的像素点，即动态特征像素点；然后由于烟雾还具有静态特征，如颜色、形状，因此可将静态特征与动态特征进行结合，可在动态特征的基础上进行静态特征分析；所以可以动态特征像素点为中心像素点，对预设邻域内的像素点进行分析，获得中心像素点的形状特征值和颜色特征值；进而可以获得中心像素点，即动态特征像素点的特征显著值，然后综合选出特征显著像素点；基于SLIC超像素分割算法对烟雾图像进行分割，获得多个超像素块，然后再对超像素块的边缘上的特征显著像素点基于特征显著值进行再划分，将其划分到烟雾特征显著的超像素块中，完成了烟雾图像的分割；本发明在对烟雾图像分割前，基于烟雾特征的动态特征和静态特征综合筛选出具有明显烟雾特征的像素点，即特征显著像素点，然后在完成烟雾图像超像素分割后，再对边缘上的特征显著像素点进行再划分，从而实现了烟雾与背景区域的有效区分，提高了烟雾图像的分割精度。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述方法包括：
获取时序上的至少三帧烟雾图像，并将时序上除第一帧和最后一帧的烟雾图像之外的任一烟雾图像作为待处理图像；
根据所述待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值；根据每个像素点的所述运动方向特征值和运动速度特征值获得动态特征像素点；
以任一所述动态特征像素点为中心像素点，根据预设邻域内的像素点的颜色分布，进行烟雾静态特征分析，获得所述中心像素点的形状特征值和颜色特征值；根据所述形状特征值和颜色特征值获得所述中心像素点的特征显著值；根据所述特征显著值从所述动态特征像素点中筛选得到特征显著像素点；
对所述待处理图像进行超像素分割，获得超像素块，每个超像素块具有对应的种子点；将所有所述超像素块边缘上的特征显著像素点作为目标像素点，将所述目标像素点划分到种子点的特征显著值最大的相邻超像素块中，完成所述待处理图像的分割。
2.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述根据所述待处理图像与时序上相邻的烟雾图像中的像素点的运动变化，进行烟雾动态特征分析，获得待处理图像中每个像素点的运动方向特征值和运动速度特征值，包括：
基于时序将待处理图像与相邻的烟雾图像作为光流法的输入，输出待处理图像中每个像素点的运动方向与运动速度；其中，将所述待处理图像与时序上相邻的前一张烟雾图像的输出结果作为第一运动方向和第一运动速度；将所述待处理图像与时序上相邻的后一张烟雾图像的输出结果作为第二运动方向和第二运动速度；
所述运动方向特征值包括第一运动方向特征值和第二运动方向特征值，将所述第一运动方向与水平方向在顺时针方向上的角度的值作为第一运动方向特征值，将所述第二运动方向与水平方向在顺时针方向上的角度的值作为第二运动方向特征值；
所述运动速度特征值包括第一运动速度特征值和第二运动速度特征值，将所述第一运动速度的值作为第一运动速度特征值，将所述第二运动速度的值作为第二运动速度特征值。
3.根据权利要求2所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述动态特征像素点的获取方法包括：
将待处理图像中所述第一运动方向特征值和第二运动方向特征值都在预设区间内的像素点作为疑似烟雾像素点；
将每个所述疑似烟雾像素点的第一运动方向特征值与预设方向参数的差异作为第一方向差异，第二运动方向特征值与预设方向参数的差异作为第二方向差异；根据所述第一方向差异与所述第二方向差异获得运动方向比，所述运动方向比与第一方向差异呈正相关，所述运动方向比与第二方向差异呈负相关；
将每个所述疑似烟雾像素点的第一运动速度特征值与预设速度参数的差异作为第一速度差异，第二运动速度特征值与预设速度参数的差异作为第二速度差异；根据所述第一速度差异与所述第二速度差异获得运动速度比，所述运动速度比与第一速度差异呈负相关，所述运动速度比与第二速度差异呈正相关；
将所述运动方向比和所述运动速度比都小于预设特征参数的疑似烟雾像素点作为所述动态特征像素点。
4.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述形状特征值的获取方法包括：
基于Canny边缘检测算法获取所述预设邻域内的边缘线；
基于角点检测算法获取所述边缘线的角点，统计所述边缘线上角点的总数；
获取所述边缘线上每个像素点处的曲率值，将所述边缘线上所有像素点处的曲率值的方差作为曲率方差；
根据所述曲率方差和所述角点的总数获得所述中心像素点的所述形状特征值；所述形状特征值与所述曲率方差呈正相关；所述形状特征值与所述角点的总数呈负相关。
5.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述颜色特征值的获取方法包括：
获取所述预设邻域内所有像素点的每个颜色通道的颜色二阶矩；
将所述预设邻域内所有像素点的所有颜色通道的颜色二阶矩的平均值，作为所述中心像素点的所述颜色特征值。
6.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述特征显著值的获取方法包括：
将所述中心像素点的所述形状特征值与所述颜色特征值的乘积，并对所述乘积进行归一化处理获得中心像素点的所述特征显著值。
7.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述特征显著像素点的获取方法包括：
将所述特征显著值大于预设判断阈值的动态特征像素点作为特征显著像素点。
8.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述超像素块的获取方法包括：
基于SLIC超像素分割算法对所述待处理图像进行超像素分割，获得所述超像素块。
9.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述烟雾图像为LAB色彩空间图像。
10.根据权利要求1所述的一种基于图像处理的电子烟雾化烟雾图像分割方法，其特征在于，所述预设邻域为5×5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311314840.0A CN117058161B (zh) | 2023-10-12 | 2023-10-12 | 基于图像处理的电子烟雾化烟雾图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311314840.0A CN117058161B (zh) | 2023-10-12 | 2023-10-12 | 基于图像处理的电子烟雾化烟雾图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058161A CN117058161A (zh) | 2023-11-14 |
| CN117058161B true CN117058161B (zh) | 2024-02-20 |
Family
ID=88661215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311314840.0A Active CN117058161B (zh) | 2023-10-12 | 2023-10-12 | 基于图像处理的电子烟雾化烟雾图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058161B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058670B (zh) * | 2023-10-12 | 2024-01-02 | 深圳市华加生物科技有限公司 | 一种电子烟油柔顺度评价方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609710A (zh) * | 2012-02-22 | 2012-07-25 | 武汉大学 | 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 |
| CN106355566A (zh) * | 2016-10-10 | 2017-01-25 | 浙江树人大学 | 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法 |
| CN112258403A (zh) * | 2020-10-09 | 2021-01-22 | 哈尔滨理工大学 | 一种在动态烟雾中提取疑似烟雾区域的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997461B (zh) * | 2017-03-28 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种烟火检测方法及装置 |
| WO2020247664A1 (en) * | 2019-06-07 | 2020-12-10 | Honeywell International Inc. | Processes and systems for analyzing images of a flare burner |
-
2023
- 2023-10-12 CN CN202311314840.0A patent/CN117058161B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609710A (zh) * | 2012-02-22 | 2012-07-25 | 武汉大学 | 针对火灾图像视频中烟雾笼罩场景的烟火目标分割方法 |
| CN106355566A (zh) * | 2016-10-10 | 2017-01-25 | 浙江树人大学 | 一种应用于固定摄像机动态视频序列的烟雾与火焰探测方法 |
| CN112258403A (zh) * | 2020-10-09 | 2021-01-22 | 哈尔滨理工大学 | 一种在动态烟雾中提取疑似烟雾区域的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多特征融合的视觉烟雾探测技术研究;顾立春 等;《物联网技术》(第3期);第24-26页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058161A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876743B (zh) | 一种图像快速去雾方法、系统、终端及存储介质 | |
| JP3862140B2 (ja) | ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス | |
| CN117058161B (zh) | 基于图像处理的电子烟雾化烟雾图像分割方法 | |
| CN110322522B (zh) | 一种基于目标识别区域截取的车辆颜色识别方法 | |
| CN110248112B (zh) | 一种图像传感器的曝光控制方法 | |
| CN115937216B (zh) | 一种新能源汽车用磁转子外观质量检测方法 | |
| US20140079319A1 (en) | Methods for enhancing images and apparatuses using the same | |
| CN108965647B (zh) | 一种前景图像获得方法及装置 | |
| CN108961299B (zh) | 一种前景图像获得方法及装置 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN102306307B (zh) | 一种彩色显微图像序列中固点噪声的定位方法 | |
| CN108133462B (zh) | 一种基于梯度场区域分割的单幅图像的复原方法 | |
| CN112862832B (zh) | 一种基于同心圆分割定位的脏污检测方法 | |
| CN115578297A (zh) | 一种自适应色彩补偿与细节优化的广义衰减图像增强方法 | |
| US9330340B1 (en) | Noise estimation for images using polynomial relationship for pixel values of image features | |
| CN117274113B (zh) | 基于图像增强的碎硅片清洗效果视觉检测方法 | |
| CN103578121B (zh) | 干扰运动环境下基于共享高斯模型的运动检测方法 | |
| CN111667509A (zh) | 目标与背景颜色相似下的运动目标自动跟踪方法及系统 | |
| CN108573478B (zh) | 中值滤波方法及装置 | |
| CN108961258B (zh) | 一种前景图像获得方法及装置 | |
| US11631183B2 (en) | Method and system for motion segmentation | |
| CN111862184B (zh) | 一种基于极面图像颜色差异的光场相机深度估测系统及方法 | |
| CN114283356A (zh) | 一种移动图像的采集分析系统及方法 | |
| CN112669207A (zh) | 一种基于电视摄像头的人脸图像分辨率增强方法 | |
| CN117649411B (zh) | 一种视频图像质量检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |