CN114170445B - 一种适于消防灭火机器人的室内烟雾环境图像匹配方法 - Google Patents

一种适于消防灭火机器人的室内烟雾环境图像匹配方法 Download PDF

Info

Publication number
CN114170445B
CN114170445B CN202210123202.XA CN202210123202A CN114170445B CN 114170445 B CN114170445 B CN 114170445B CN 202210123202 A CN202210123202 A CN 202210123202A CN 114170445 B CN114170445 B CN 114170445B
Authority
CN
China
Prior art keywords
image
fog
light intensity
atmospheric light
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210123202.XA
Other languages
English (en)
Other versions
CN114170445A (zh
Inventor
韩旭
陶友瑞
裴文良
陆文涛
梁博文
段书用
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
CITIC HIC Kaicheng Intelligence Equipment Co Ltd
Original Assignee
Hebei University of Technology
CITIC HIC Kaicheng Intelligence Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology, CITIC HIC Kaicheng Intelligence Equipment Co Ltd filed Critical Hebei University of Technology
Priority to CN202210123202.XA priority Critical patent/CN114170445B/zh
Publication of CN114170445A publication Critical patent/CN114170445A/zh
Application granted granted Critical
Publication of CN114170445B publication Critical patent/CN114170445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种适于消防灭火机器人的室内烟雾环境图像匹配方法。包括以下步骤：获取一帧实时图像信息；划分实时图像信息，得到图像单元；构建每个图像单元的第一特征向量；计算任一图像单元的局部密度；计算任一图像单元与局部密度高于该图像单元的其他图像单元之间的相对距离中的最大值；构建每个图像单元的第二特征向量；叠加第一局部大气光强和第二局部大气光强得到全局大气光强；计算全局透射率；构建去雾模型，将实时图像信息输入去雾模型，得到两个第一相邻帧无雾图像；利用金字塔LK光流算法跟踪特征点，得到匹配点对，剔除误匹配点；更新透射率和大气光强参数。保证去雾质量，降低算法时间复杂度，实现算法实时运行。

Description

一种适于消防灭火机器人的室内烟雾环境图像匹配方法
技术领域
本公开一般涉及计算机视觉技术领域，具体涉及一种适于消防灭火机器人的室内烟雾环境图像匹配方法。
背景技术
随着计算机、图像处理技术的不断发展，越来越多的机器视觉技术应用到多种领域，包括视频监控、智能交通、工业生产、特种救援等领域。然而在环境退化的场景，如烟雾、水雾等，又限制了视觉技术的应用。作为机器视觉的关键步骤，图像匹配能对同一目标或场景下的两幅或多幅图像建立几何意义上的对应关系，是目标识别、目标跟踪、视觉定位、三维重建的重要环节。然而由于室内烟雾、火光的干扰，传统的图像匹配算法极不稳定，极易出现匹配失败的情况，亟待改进。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种降低了室内环境中的多光源对去雾图像质量的影响，保证去雾质量的同时极大地降低了算法的时间复杂度，实现了算法的实时运行的适于消防灭火机器人的室内烟雾环境图像匹配方法。
第一方面，本申请提供一种适于消防灭火机器人的室内烟雾环境图像匹配方法，包括以下步骤：
S1、获取一帧实时图像信息；一帧所述实时图像信息从视频中提取得到；
划分实时图像信息，得到n*n个矩形结构的图像单元；
构建每个图像单元的第一特征向量，所述第一特征向量为图像单元的亮度最值和烟雾浓度最值的集合；
计算任一图像单元的局部密度；
计算任一图像单元与局部密度高于该图像单元的其他图像单元之间的相对距离中的最大值，并将该最大值设为特征距离；
构建每个图像单元的第二特征向量，所述第二特征向量为图像单元的局部密度和特征距离的集合；
判断第二特征向量中局部密度大于第一预设阈值且特征距离大于第二预设阈值时，则选定具有该第二特征向量的图像单元为聚类中心单元，设其数量为M个；
判断其他任一图像单元与任一聚类中心单元之间第一特征向量的相对距离小于截止距离时，则该图像单元与该聚类中心单元为一类，记为：第k个聚类中心集合（1≤k≤M）；
判断任一聚类中心集合中图像单元数量大于其他聚类中心集合所有图像单元数量时，则选定该聚类中心集合为第一聚类图像集合；剩余图像单元为第二聚类图像集合；
以预设窗口遍历第一聚类图像集合和第二聚类图像集合，选择预设窗口内亮度最小值为该窗口的暗通道值，分别得到第一暗通道图像和第二暗通道图像；
选取第一聚类图像集合的位于图像上方的第一暗通道图像中前0.1%的像素位置对应的像素值为第一聚类图像集合的大气光强，即为第一局部大气光强；
选取第二聚类图像集合的位于图像上方的第二暗通道图像中前0.1%的像素位置对应的像素值为第二聚类图像集合的大气光强，即为第二局部大气光强；
叠加第一局部大气光强和第二局部大气光强得到全局大气光强；
计算全局透射率，所述全局透射率由全局大气光强计算得到；
以全局透射率、图像单元、全局大气光强构建去雾模型，所述去雾模型为：
Figure 608417DEST_PATH_IMAGE002
；其中，I(x)为含雾图像x位置处的像素值，A全局大气光强，t(x)为全局透射率，J(x)为无雾图像x位置处的像素值；
将所述实时图像信息的像素点输入去雾模型，得到第一无雾图像；
S2、重复步骤S1，再获取下一帧的第一无雾图像，得到两个相邻帧的第一无雾图像；
S3、构建第一无雾图像的图像金字塔，利用金字塔LK光流算法跟踪第一无雾图像的特征点；
输入两个相邻帧第一无雾图像，得到两个第一无雾图像间的匹配点对；
利用随机抽样一致算法剔除匹配点对中的误匹配点，得到两个第一无雾图像间的最终匹配点对，完成两个第一无雾图像间的匹配；
S4、根据两个第一无雾图像间的最终匹配点对，更新去雾模型中透射率和大气光强参数；
S5、重复上述步骤S1至S4，直至视频结束。
根据本申请实施例提供的技术方案，根据以下公式计算亮度最值：
Figure 751954DEST_PATH_IMAGE004
；
根据以下公式计算烟雾浓度最值：
Figure 213022DEST_PATH_IMAGE006
；
其中，c表示RGB三个颜色通道，d表示暗通道，
Figure 111708DEST_PATH_IMAGE008
表示图像在（x,y）处的RGB通道的像素值，
Figure 819245DEST_PATH_IMAGE010
表示图像在（x,y）处的暗通道的像素值。
根据本申请实施例提供的技术方案，根据以下公式计算局部密度：
Figure 500894DEST_PATH_IMAGE012
，1≤i≤n，1≤j≤n；
Figure 816468DEST_PATH_IMAGE014
；
其中，dij为第i个图像单元与第j个图像单元之间的第一特征向量的相对距离；dc为截止距离；
Figure 89318DEST_PATH_IMAGE016
为一个分段函数，用来表示dij与dc的大小关系。
根据本申请实施例提供的技术方案，根据以下公式计算特征距离：
Figure 21502DEST_PATH_IMAGE018
。
根据本申请实施例提供的技术方案，根据以下公式计算全局透射率：
Figure DEST_PATH_IMAGE020
；
其中，ω为常系数；A为全局大气光强；Ω为窗口；c表示RGB三个颜色通道；Ic（y）为含雾图像y位置处的像素值。
根据本申请实施例提供的技术方案，将去雾模型转化为以下公式：
Figure 37999DEST_PATH_IMAGE022
；
其中，t0为最小透射率；max（t（x），t0）为t0与t（x）中的最大值；A为全局大气光强；I（x）为有雾图像x位置处的像素值；
Figure 4818DEST_PATH_IMAGE023
为更新后的全局大气光强；
Figure 245307DEST_PATH_IMAGE024
为更新后的透射率；
将所述实时图像信息的像素点输入上述公式，得到第一无雾图像。
根据本申请实施例提供的技术方案，根据以下方法得到匹配点对：
提取第一无雾图像的Harris角点，作为第一无雾图像的特征点；
根据第一无雾图像构建高斯金字塔；
迭代计算高斯金字塔各层图像的光流，得到各个Harris角点的光流向量；
根据光流向量确定最终匹配点对。
根据本申请实施例提供的技术方案，根据以下方法更新去雾模型中透射率和大气压强参数：
根据两个第一无雾图像间的最终匹配点对，计算相邻帧第一无雾图像之间的单应矩阵H；
根据单应矩阵仿射变换去雾模型；
在去雾模型的非关键帧之间更新透射率和大气压强参数，表示如下：
Figure 399208DEST_PATH_IMAGE025
。
综上所述，本申请具体地公开了一种适于消防灭火机器人的室内烟雾环境图像匹配方法的具体流程。本申请利用获取实时图像信息，划分为n*n个图像单元；构造各图像单元的第一特征向量；计算任一图像单元的局部密度；计算任一图像单元与局部密度高于该图像单元的其他图像单元之间的相对距离中的最大值，设为特征距离；构建每个图像单元的第二特征向量；利用密度峰值聚类算法找出第一聚类图像集合、第二聚类图像集合，实现图像分割；以预设窗口遍历第一聚类图像集合和第二聚类图像集合，选择预设窗口内亮度最小值为该窗口的暗通道值，分别得到第一暗通道图像和第二暗通道图像；选取第一聚类图像集合的位于图像上方的第一暗通道图像中前0.1%的像素位置对应的像素值为第一聚类图像集合的大气光强，即为第一局部大气光强；选取第二聚类图像集合的位于图像上方的第二暗通道图像中前0.1%的像素位置对应的像素值为第二聚类图像集合的大气光强，即为第二局部大气光强；叠加第一局部大气光强和第二局部大气光强得到全局大气光强；计算全局透射率，以全局透射率、图像单元、全局大气光强构建去雾模型，将实时图像信息的像素点输入去雾模型，得到第一无雾图像，实现单幅图像去雾；由上述图像去雾步骤，得到两个相邻帧第一无雾图像；构建第一无雾图像的图像金字塔，利用金字塔LK光流算法跟踪特征点；输入两个相邻帧第一无雾图像，得到两个第一无雾图像间的匹配点对，利用随机抽样一致算法剔除匹配点对中的误匹配点，得到两个第一无雾图像间的最终匹配点对，完成两个第一无雾图像间的匹配；根据两个第一无雾图像间的最终匹配点对，更新去雾模型中透射率和大气光强参数；相比于传统算法，本申请通过划分图像单元，降低了室内环境的多光源特征对去雾质量的影响，极大地提高了算法实时性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1为一种适于消防灭火机器人的室内烟雾环境图像匹配方法的流程示意图。
图2为密度峰值聚类示意图。
图3为含雾图像原始图。
图4为含雾图像区域划分图。
图5为含雾子图像大气光选取示意图。
图6为去雾效果图。
图7为原始LK光流法匹配结果图。
图8为本方案算法匹配结果图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例1
请参考图1所示的本申请提供的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，包括以下步骤：
S1、获取一帧实时图像信息；通过平台搭载的相机采集室内烟雾环境的实时视频图像，提取任一帧实时图像信息，此处，为保证处理速度，图像的分辨率不宜过高，例如选用640*480分辨率；
由于室内烟雾环境具有多光源及烟雾浓度不一的特征，因此传统的图像去雾算法不再适用，本方案将实时图像信息划分，得到n*n个矩形结构的图像单元，降低了多光源的影响。
构建每个图像单元的第一特征向量，第一特征向量为图像单元的亮度最值和烟雾浓度最值的集合；
其中，根据以下公式表示亮度最值：
Figure 487905DEST_PATH_IMAGE026
；
根据以下公式表示烟雾浓度最值：
Figure DEST_PATH_IMAGE027
；
其中，c表示RGB三个颜色通道，d表示暗通道，
Figure 246914DEST_PATH_IMAGE028
表示图像在（x,y）处的RGB通道的像素值，
Figure DEST_PATH_IMAGE029
表示图像在（x,y）处的暗通道的像素值。
则第i个图像单元的第一特征向量可表示为
Figure DEST_PATH_IMAGE031
。
再结合密度峰值聚类算法，计算每个图像单元的局部密度以及相对距离；
在密度峰值聚类算法中，聚类中心的密度比其周围更高，并且与其他密度更高的点之间的距离相对较大，包括以下步骤：选取聚类特征；计算每个图像单元的特征向量作为x、y的坐标值；计算各图像单元之间的局部密度以及距离；找出聚类中心；指派其余点。
其中，根据以下公式计算第i个图像单元与第j个图像单元之间的距离dij：
Figure DEST_PATH_IMAGE032
；
根据以下公式计算任一图像单元的局部密度：
Figure DEST_PATH_IMAGE033
，1≤i≤n，1≤j≤n；
Figure DEST_PATH_IMAGE034
；
其中，dij为第i个图像单元与第j个图像单元之间的第一特征向量的相对距离；dc为截止距离；
Figure DEST_PATH_IMAGE035
为一个分段函数，用来表示dij与dc的大小关系。
计算任一图像单元与局部密度高于该图像单元的其他图像单元之间的相对距离中的最大值，并将此最大值设为特征距离；
其中，根据以下公式计算特征距离：
Figure DEST_PATH_IMAGE036
。
构建每个图像单元的第二特征向量，第二特征向量为图像单元的局部密度ρi和距离δi的集合；
判断第二特征向量中局部密度大于第一预设阈值且特征距离大于第二预设阈值时，即ρi>ρmin,δi>δmin；
则选定具有该第二特征向量的图像单元为聚类中心单元，设其数量为M个；
基于密度峰值聚类算法的局部大气光强估计，根据以下公式表示室内烟雾图像模型，即去雾模型：
Figure DEST_PATH_IMAGE037
；
其中，I(x)为含雾图像x位置处的像素值，A全局大气光强，t(x)为全局透射率，J(x)无雾图像x位置处的像素值。
判断其他任一图像单元与任一聚类中心单元之间第一特征向量的相对距离小于截止距离时，则该图像单元与该聚类中心单元为一类，记为：第k个聚类中心集合（1≤k≤M）；
判断任一聚类中心集合中图像单元数量大于其他聚类中心集合所有图像单元数量时，则选定该聚类中心集合为第一聚类图像集合；剩余图像单元为第二聚类图像集合；
如图2所示，为聚类过程，如图4所示，为分类结果；可知该聚类算法在烟雾环境下亮度区域划分具备有效性。
以预设窗口遍历第一聚类图像集合和第二聚类图像集合，选择预设窗口内亮度最小值为该窗口的暗通道值，分别得到第一暗通道图像和第二暗通道图像；
第一暗通道图像和第二暗通道图像的亮度值接近0，如下公式表示：
Figure DEST_PATH_IMAGE039
；
其中，Ω为窗口，c为图像通道，且图像通道包括红、绿、蓝三个通道；选取合适的窗口大小，作为预设窗口，计算该预设窗口内的亮度最小值，将其作为该窗口的暗通道值。滑动预设窗口直至遍历整个图像，得到含雾图像的暗通道图像。
选取第一聚类图像集合的位于图像上方的第一暗通道图像中前0.1%的像素位置对应的像素值为第一聚类图像集合的大气光强，即为第一局部大气光强；
选取第二聚类图像集合的位于图像上方的第二暗通道图像中前0.1%的像素位置对应的像素值为第二聚类图像集合的大气光强，即为第二局部大气光强；
如图5所示，添加位置约束，在选取大气光强时选择图像上方的像素点，可降低白墙等对选取大气光强的干扰。
叠加第一局部大气光强和第二局部大气光强得到全局大气光强；整合为全局大气光图像，并利用导向滤波细化边缘，减少块状现象。
结合暗通道先验理论，计算全局透射率，全局透射率由全局大气光强计算得到；
根据以下公式计算全局透射率：
Figure DEST_PATH_IMAGE040
；
其中，ω为常系数，用来保留远处物体的少量雾，使场景更加真实；A为全局大气光强；Ω为窗口；c表示RGB三个颜色通道；Ic（y）为含雾图像y位置处的像素值。
利用上述公式可计算出粗略的透射率，再结合导向滤波细化边缘得到精细而准确的透射率。
将去雾模型转化为以下公式：
Figure DEST_PATH_IMAGE042
；
其中，t0为最小透射率；max（t（x），t0）为t0与t（x）中的最大值；A为全局大气光强；I（x）为含雾图像x位置处的像素值；
Figure DEST_PATH_IMAGE043
为更新后的全局大气光强；
Figure DEST_PATH_IMAGE044
为更新后的透射率；
将所述实时图像信息的像素点输入去雾模型，得到第一无雾图像。
本方案改进大气光强选取办法，不再认为图像最深处透射率为0的假设。
恢复后的图像如图6所示，对比图3和图6，可以看出含雾图像可以得到很好的恢复。
上述步骤均为步骤S1；
S2、重复步骤S1，再获取下一帧的第一无雾图像，得到两个相邻帧第一无雾图像；
S3、构建第一无雾图像的图像金字塔，利用金字塔LK光流算法跟踪第一无雾图像特征点；输入两个相邻帧第一无雾图像，得到两个第一无雾图像间的匹配点对；有效降低图像大运动导致的匹配失败问题，同时也能降低由于去雾导致的前后帧亮度变换对匹配的影响。
具体包括以下步骤：
提取第一无雾图像的Harris角点，作为第一无雾图像的特征点，计算特征点的光流信息；原始LK光流法的图像匹配结果如图7所示，本方案提出的图像匹配结果如图8所示，可以看出，本方案提出的图像正确匹配的点数明显多于传统方法。
利用预设窗口在图像上滑动，滑动前后预设窗口内的灰度发生变化，若在任意方向滑动均有较大的灰度变化，则认为该窗口内有角点。
根据第一无雾图像构建高斯金字塔；
迭代计算高斯金字塔各层图像的光流信息，得到各个Harris角点的光流向量；
根据光流向量确定最终匹配点对。
随机抽样一致算法(RANSAC)可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。
利用随机抽样一致算法剔除匹配点对中的误匹配点，得到两个第一无雾图像间的最终匹配点对，完成两个第一无雾图像间的匹配，降低误匹配点带来的影响，提高匹配精度；
S4、根据两个第一无雾图像间的最终匹配点对，更新去雾模型中透射率和大气光强参数，具体包括以下步骤：
结合去除误匹配点后的结果，即根据两个第一无雾图像间的最终匹配点对，计算相邻帧第一无雾图像之间的单应矩阵；
在关键帧计算去雾参数，在非关键帧根据单应矩阵更新模型中透射率和大气光强参数，提高图像质量，相较于传统的计算方法，极大地降低了算法时间复杂度；
例如，视频具有10帧，设定第一帧为关键帧，计算去雾参数，剩余九帧为非关键帧；
根据以下单应矩阵H仿射变换去雾参数模型；
Figure DEST_PATH_IMAGE046
。
在去雾模型的非关键帧之间更新透射率和大气压强参数，表示如下：
Figure DEST_PATH_IMAGE048
;
Figure DEST_PATH_IMAGE050
；
S5、重复上述步骤S1至S4，直至视频结束。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，包括以下步骤：
S1、获取一帧实时图像信息；一帧所述实时图像信息从视频中提取得到；
划分实时图像信息，得到n*n个矩形结构的图像单元；
构建每个图像单元的第一特征向量，所述第一特征向量为图像单元的亮度最值和烟雾浓度最值的集合；
计算任一图像单元的局部密度；
计算任一图像单元与局部密度高于该图像单元的其他图像单元之间的相对距离中的最大值，并将该最大值设为特征距离；
构建每个图像单元的第二特征向量，所述第二特征向量为图像单元的局部密度和特征距离的集合；
判断第二特征向量中局部密度大于第一预设阈值且特征距离大于第二预设阈值时，则选定具有该第二特征向量的图像单元为聚类中心单元，设其数量为M个；
判断其他任一图像单元与任一聚类中心单元之间第一特征向量的相对距离小于截止距离时，则该图像单元与该聚类中心单元为一类，记为：第k个聚类中心集合（1≤k≤M）；
判断任一聚类中心集合中图像单元数量大于其他聚类中心集合所有图像单元数量时，则选定该聚类中心集合为第一聚类图像集合；剩余图像单元为第二聚类图像集合；
以预设窗口遍历第一聚类图像集合和第二聚类图像集合，选择预设窗口内亮度最小值为该窗口的暗通道值，分别得到第一暗通道图像和第二暗通道图像；
选取第一聚类图像集合的位于图像上方的第一暗通道图像中前0.1%的像素位置对应的像素值为第一聚类图像集合的大气光强，即为第一局部大气光强；
选取第二聚类图像集合的位于图像上方的第二暗通道图像中前0.1%的像素位置对应的像素值为第二聚类图像集合的大气光强，即为第二局部大气光强；
叠加第一局部大气光强和第二局部大气光强得到全局大气光强；
计算全局透射率，所述全局透射率由全局大气光强计算得到；
以全局透射率、图像单元、全局大气光强构建去雾模型，所述去雾模型为：
Figure 828515DEST_PATH_IMAGE001
；其中，I(x) 为含雾图像x位置处的像素值，A为全局大气光强，t(x) 为全局透射率，J(x) 为无雾图像x位置处的像素值；
将所述实时图像信息的像素点输入去雾模型，得到第一无雾图像；
S2、重复步骤S1,再获取下一帧的第一无雾图像，得到两个相邻帧的第一无雾图像；
S3、构建第一无雾图像的图像金字塔，利用金字塔LK光流算法跟踪第一无雾图像的特征点；
输入两个相邻帧第一无雾图像，得到两个第一无雾图像间的匹配点对；
利用随机抽样一致算法剔除匹配点对中的误匹配点,得到两个第一无雾图像间的最终匹配点对，完成两个第一无雾图像间的匹配；
S4、根据两个第一无雾图像间的最终匹配点对，更新去雾模型中透射率和大气光强参数；
S5、重复上述步骤S1至S4，直至视频结束。
2.根据权利要求1所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下公式计算亮度最值：
Figure 63187DEST_PATH_IMAGE002
；
根据以下公式计算烟雾浓度最值：
Figure DEST_PATH_IMAGE003
；
其中，c表示RGB三个颜色通道，d表示暗通道，
Figure 546121DEST_PATH_IMAGE004
表示图像在（x,y）处的RGB通道的像素值，
Figure DEST_PATH_IMAGE005
表示图像在（x,y）处的暗通道的像素值。
3.根据权利要求2所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下公式计算局部密度：
Figure 81008DEST_PATH_IMAGE006
，1≤i≤n，1≤j≤n；
Figure DEST_PATH_IMAGE007
；
其中，dij为第i个图像单元与第j个图像单元之间的第一特征向量的相对距离；dc为截止距离；
Figure 522354DEST_PATH_IMAGE008
为一个分段函数，用来表示dij与dc的大小关系。
4.根据权利要求3所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下公式计算特征距离：
Figure DEST_PATH_IMAGE009
。
5.根据权利要求4所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下公式计算全局透射率：
Figure 509901DEST_PATH_IMAGE010
；
其中，ω为常系数；A为全局大气光强；Ω为窗口；c表示RGB三个颜色通道；Ic（y）为含雾图像y位置处的像素值。
6.根据权利要求1所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，将去雾模型转化为以下公式：
Figure DEST_PATH_IMAGE011
；
其中，t0为最小透射率；max（t（x），t0）为t0与t（x）中的最大值；A为全局大气光强；I（x）为含雾图像x位置处的像素值； 更新后的全局大气光强； 为更新后的透射率；
将所述实时图像信息的像素点输入上述公式，得到第一无雾图像。
7.根据权利要求6所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下方法得到匹配点对：
提取第一无雾图像的Harris角点，作为第一无雾图像的特征点；
根据第一无雾图像构建高斯金字塔；
迭代计算高斯金字塔各层图像的光流，得到各个Harris角点的光流向量；
根据光流向量确定最终匹配点对。
8.根据权利要求7所述的一种适于消防灭火机器人的室内烟雾环境图像匹配方法，其特征在于，根据以下方法更新去雾模型中透射率和大气压强参数：
根据两个第一无雾图像间的最终匹配点对，计算相邻帧第一无雾图像之间的单应矩阵H；
根据单应矩阵仿射变换去雾模型；
在去雾模型的非关键帧之间更新透射率和大气压强参数，表示如下：
Figure 62105DEST_PATH_IMAGE012
。
CN202210123202.XA 2022-02-10 2022-02-10 一种适于消防灭火机器人的室内烟雾环境图像匹配方法 Active CN114170445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210123202.XA CN114170445B (zh) 2022-02-10 2022-02-10 一种适于消防灭火机器人的室内烟雾环境图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210123202.XA CN114170445B (zh) 2022-02-10 2022-02-10 一种适于消防灭火机器人的室内烟雾环境图像匹配方法

Publications (2)

Publication Number Publication Date
CN114170445A CN114170445A (zh) 2022-03-11
CN114170445B true CN114170445B (zh) 2022-04-12

Family

ID=80489567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210123202.XA Active CN114170445B (zh) 2022-02-10 2022-02-10 一种适于消防灭火机器人的室内烟雾环境图像匹配方法

Country Status (1)

Country Link
CN (1) CN114170445B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134194A (zh) * 2014-07-23 2014-11-05 中国科学院深圳先进技术研究院 图像去雾方法和系统
CN110796681A (zh) * 2019-09-24 2020-02-14 武汉市众向科技有限公司 一种用于船舶协同工作的视觉定位系统及方法
CN111667433A (zh) * 2020-06-09 2020-09-15 中国电子科技集团公司第五十四研究所 一种基于简单线性迭代聚类优化的无人机图像去雾方法
CN112488958A (zh) * 2020-12-15 2021-03-12 西安交通大学 一种基于尺度空间的图像对比度增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8755628B2 (en) * 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134194A (zh) * 2014-07-23 2014-11-05 中国科学院深圳先进技术研究院 图像去雾方法和系统
CN110796681A (zh) * 2019-09-24 2020-02-14 武汉市众向科技有限公司 一种用于船舶协同工作的视觉定位系统及方法
CN111667433A (zh) * 2020-06-09 2020-09-15 中国电子科技集团公司第五十四研究所 一种基于简单线性迭代聚类优化的无人机图像去雾方法
CN112488958A (zh) * 2020-12-15 2021-03-12 西安交通大学 一种基于尺度空间的图像对比度增强方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Scene-Specific Dark Channel Prior for Single Image Fog Removal";Anparasy Sivaanpu1 etal.;《International Journal on Advances in ICT for Emerging Regions》;20210731;第1-12页 *

Also Published As

Publication number Publication date
CN114170445A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
EP1612733B1 (en) Color segmentation-based stereo 3D reconstruction system and process
CN106846263B (zh) 基于融合通道且对天空免疫的图像去雾方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN107767354A (zh) 一种基于暗原色先验的图像去雾算法
US20060153450A1 (en) Integrated image processor
CN106548461B (zh) 图像去雾方法
TWI489416B (zh) 影像還原方法
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN112991193A (zh) 深度图像修复方法、设备及计算机可读存储介质
CN106657948A (zh) 低照度Bayer图像的增强方法及增强装置
CN111598814B (zh) 基于极端散射通道的单图像去雾方法
Sahu et al. Image dehazing based on luminance stretching
CN105023246B (zh) 一种基于对比度和结构相似度的图像增强方法
CN107085830B (zh) 基于传播滤波的单幅图像去雾方法
CN113379619B (zh) 去雾成像、能见度提取和景深估计的一体化处理方法
CN111161159A (zh) 一种基于先验知识与深度学习结合的图像去雾方法和装置
CN110910457B (zh) 基于角点特征的多光谱立体相机外参计算方法
CN104168402B (zh) 一种视频帧图像去雾方法及装置
CN114170445B (zh) 一种适于消防灭火机器人的室内烟雾环境图像匹配方法
Negru et al. Exponential image enhancement in daytime fog conditions
CN114155273B (zh) 一种结合历史轨迹信息的视频图像单目标跟踪方法
Zhang et al. A compensation textures dehazing method for water alike area
CN112598777B (zh) 一种基于暗通道先验的雾霾融合方法
Kang et al. Specular highlight region restoration using image clustering and inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant