CN113063432B - 一种烟雾环境下的可见光视觉导航方法 - Google Patents

一种烟雾环境下的可见光视觉导航方法 Download PDF

Info

Publication number
CN113063432B
CN113063432B CN202110396957.2A CN202110396957A CN113063432B CN 113063432 B CN113063432 B CN 113063432B CN 202110396957 A CN202110396957 A CN 202110396957A CN 113063432 B CN113063432 B CN 113063432B
Authority
CN
China
Prior art keywords
frame data
atmospheric
data image
defogging
scattering coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110396957.2A
Other languages
English (en)
Other versions
CN113063432A (zh
Inventor
赵开春
尤政
欧阳晨光
胡苏兴
李金峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110396957.2A priority Critical patent/CN113063432B/zh
Publication of CN113063432A publication Critical patent/CN113063432A/zh
Application granted granted Critical
Publication of CN113063432B publication Critical patent/CN113063432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种烟雾环境下的可见光视觉导航方法，该方法包括：对相机进行标定；通过所述相机采集连续性的帧数据图像，判断所述图像是否有雾；如果判断有雾，则估计大气散射系数，并对所述图像进行去雾处理；计算去雾后的所述当前图像与所述图像的相对位姿变换关系；根据所述相对位姿变换关系确定匹配点，对所述匹配点处的图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值；以及，根据所述大气散射系数估计值，重新对所述图像的下一图像去雾处理，重复执行上述步骤，当所述大气散射系数估计值满足预设条件时，停止执行上述步骤，输出最后一次获得的位姿估计结果，解决现有技术中现有视觉导航方案在烟雾环境下不适用的技术问题。

Description

一种烟雾环境下的可见光视觉导航方法
技术领域
本申请应用涉及计算机视觉和导航技术领域。
背景技术
视觉导航在高精度制导武器、自动驾驶等领域有着重要应用，自然环境干扰如烟雾会严重影响视觉导航效果。
图像去雾有很多方法，如基于大气散射模型的暗通道先验去雾方法就能取得很好的效果。但是图像去雾不考虑导航过程的连续性，直接加入视觉导航过程，导航鲁棒性和精度难以保证。用红外相机成像可以消除烟雾影响，但是红外相机分辨率低，成像质量差。
这些图像去雾方法关注的是视觉效果上的去雾，致力于让图像看起来更清晰，甚至为此让图像发生变形，或者灰度分布不再光滑，并不考虑导航过程的连续性，这对视觉导航来说是很不利的。
因此，充分考虑视觉导航的连续性，提出一种烟雾环境下的基于可见光相机的视觉导航方法对在薄雾环境下实现高精度的视觉导航具有重要意义。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种烟雾环境下的可见光视觉导航方法，解决了现有方法中图像去雾不考虑导航过程的连续性，直接加入视觉导航过程，导航鲁棒性和精度难以保证，通过充分考虑视觉导航的连续性，可在薄雾环境下，极大地提升视觉导航的精度。
本申请的第二个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序。
本申请的第三个目的在于提出一种计算机设备。
为达成上述目的，本申请第一方面实施例提出了一种烟雾环境下的可见光视觉导航方法，该方法包括以下步骤：
步骤S10，对相机进行标定，具体地，本申请实施例对相机进行几何标定和光度标定。
步骤S20，通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾，其中，所述帧数据图像包括当前帧数据图像和上N帧数据图像，N为正整数；如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；
具体而言，图像采集当前帧数据，判断是否有雾，如果有雾则估计大气散射系数，并对图像进行去雾处理，否则，直接估计相对位姿变换并输出结果。
步骤S30，计算去雾后的所述当前帧数据图像与所述上N帧数据图像的相对位姿变换关系；具体而言，当前帧去雾后的图像，与上一帧或之前的多帧去雾图像，计算相对位姿变换关系。
步骤S40，根据所述相对位姿变换关系确定匹配点，对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值；以及
步骤S50，根据所述大气散射系数估计值，重新对上述已经处理过的多个帧数据图像去雾处理，重复执行所述步骤S30和所述步骤S40，当所述大气散射系数估计值满足预设条件时，停止执行所述步骤S30和所述步骤S40，输出最后一次获得的位姿估计结果；
进一步地，如果相对位姿计算结果差异足够小，或者重复次数足够多，认为获得了可靠地位姿估计结果。
本申请实施例的烟雾环境下的可见光视觉导航方法，通过对相机进行标定；通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾；如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；计算去雾后的所述当前帧数据图像与所述帧数据图像的相对位姿变换关系；根据所述相对位姿变换关系确定匹配点，对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值；以及，根据所述大气散射系数估计值，重新对所述帧数据图像的下一帧数据图像去雾处理，重复执行上述步骤，当所述大气散射系数估计值满足预设条件时，停止执行上述步骤，输出最后一次获得的位姿估计结果。本申请采用可见光的视觉导航方式，在没有烟雾干扰的情况下，分辨率高，能实现高精度的视觉导航；在有烟雾干扰的情况下，烟雾浓度没有超过去雾方法的承受范围时，仍旧可以实现稳定的导航；在烟雾浓度过大时，能够判断导航方式失效，有效地解决现有技术中现有视觉导航方案在烟雾环境下不适用的技术问题。
可选地，在本申请实施例的步骤S20中，对帧数据图像是否有雾进行判断，具体而言：
如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；
如果判断没雾，则对所述帧数据图像进行处理，直接估计所述帧数据图像的相对位姿变换并输出结果。
可选地，在本申请实施例中，所述步骤S20包括：
获取大气光散射模型，根据大气散射系数和所述大气光散射模型对所述帧数据图像进行去雾处理；其中，所述大气光散射模型的公式为：
I(x)＝J(x)t(x)+A(1-t(x))
其中，J(x)是辐照度图，x是像素坐标，t(x)是散射系数，代表由于大气散射相机损失的光强，A是全局大气光强。
可选地，在本申请实施例中，通过暗通道先验理论对所述散射系数进行估计，在暗通道图中取亮度前0.1％的像素，在有雾的所述帧数据图像中找像素点最大的亮度值，将所述像素点最大的亮度值作为全局大气光强A，所述大气光散射模型的公式转化为：
Figure BDA0003018917380000031
其中，当t(x)接近0时，将t(x)设置成一个常量。
可选地，在本申请实施例的步骤S30中，通过直接法估计所述相对位姿变换关系，估计所述相对位姿变换关系的优化目标函数为：
Figure BDA0003018917380000032
其中，Ui＝CPi，Ui′＝C(RPi+T)是空间中一点Pi的在两幅图像中的对应像素点，C是相机成像方程，R和T是两帧图像间相机的相对姿态和位置变换。
可选地，在本申请实施例的步骤S40中，采用加权相加与外点剔除结合的方法对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，并剔除错误数据，根据对融合结果的评价判断导航是否失效；
具体而言，如果融合成功，且相较上一次迭代相对位姿变化足够小或迭代次数足够多，则输出相对位姿，即当前导航有效；
如果融合失败，则输出当前帧失效，即当前导航无效。
为达上述目的，本申请的第二方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请的第一方面实施例所述的方法。
为达上述目的，本申请的第三方面实施例一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请的第一方面实施例所述的方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种烟雾环境下的可见光视觉导航方法的流程示意图；
图2为本发明实施例所提供的一种烟雾环境下的可见光视觉导航方法的另一种流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本申请实施例的烟雾环境下的可见光视觉导航方法和装置。
图1为本申请实施例一所提供的一种烟雾环境下的可见光视觉导航方法的流程示意图；
图2为本发明实施例所提供的一种烟雾环境下的可见光视觉导航方法的另一种流程示意图。
如图1和图2所示，该烟雾环境下的可见光视觉导航方法包括以下步骤：
步骤S10，对相机进行标定，具体地，本申请实施例对相机进行几何标定和光度标定。
步骤S20，通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾，其中，所述帧数据图像包括当前帧数据图像和上N帧数据图像，N为正整数；如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；
具体而言，图像采集当前帧数据，判断是否有雾，如果有雾则估计大气散射系数，并对图像进行去雾处理，否则，直接估计相对位姿变换并输出结果。
步骤S30，计算去雾后的所述当前帧数据图像与所述上N帧数据图像的相对位姿变换关系；具体而言，当前帧去雾后的图像，与上一帧或之前的多帧去雾图像，计算相对位姿变换关系。
步骤S40，根据所述相对位姿变换关系确定匹配点，对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值；以及
步骤S50，根据所述大气散射系数估计值，重新对上述已经处理过的多个帧数据图像去雾处理，重复执行所述步骤S30和所述步骤S40，当所述大气散射系数估计值满足预设条件时，停止执行所述步骤S30和所述步骤S40，输出最后一次获得的位姿估计结果；
进一步地，如果相对位姿计算结果差异足够小，或者重复次数足够多，认为获得了可靠地位姿估计结果。
本申请实施例的烟雾环境下的可见光视觉导航方法，通过对相机进行标定；通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾；如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；计算去雾后的所述当前帧数据图像与所述帧数据图像的相对位姿变换关系；根据所述相对位姿变换关系确定匹配点，对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值；以及，根据所述大气散射系数估计值，重新对所述帧数据图像的下一帧数据图像去雾处理，重复执行上述步骤，当所述大气散射系数估计值满足预设条件时，停止执行上述步骤，输出最后一次获得的位姿估计结果。本申请采用可见光的视觉导航方式，在没有烟雾干扰的情况下，分辨率高，能实现高精度的视觉导航；在有烟雾干扰的情况下，烟雾浓度没有超过去雾方法的承受范围时，仍旧可以实现稳定的导航；在烟雾浓度过大时，能够判断导航方式失效，有效地解决现有技术中现有视觉导航方案在烟雾环境下不适用的技术问题。
进一步地，在本申请实施例的步骤S20中，通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾，其中，所述帧数据图像包括当前帧数据图像和上N帧数据图像，其中，N为正整数。
进一步地，在本申请实施例的步骤S20中，对帧数据图像是否有雾进行判断，具体而言：
如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；
如果判断没雾，则对帧数据图像进行处理，直接估计所述帧数据图像的相对位姿变换并输出结果。
进一步地，在本申请实施例的步骤S20中，包括：
获取大气光散射模型，根据大气散射系数和所述大气光散射模型对所述帧数据图像进行去雾处理；其中，所述大气光散射模型的公式为：
I(x)＝J(x)t(x)+A(1-t(x))
其中，J(x)是辐照度图，x是像素坐标，t(x)是散射系数，代表由于大气散射相机损失的光强，A是全局大气光强。
可选地，在本申请实施例中，通过暗通道先验理论对所述散射系数进行估计，在暗通道图中取亮度前0.1％的像素，在有雾的所述帧数据图像中找像素点最大的亮度值，将所述像素点最大的亮度值作为全局大气光强A，所述大气光散射模型的公式转化为：
Figure BDA0003018917380000061
其中，当t(x)接近0时，将t(x)设置成一个常量。
在本申请实施例的步骤S30中，通过直接法估计所述相对位姿变换关系，估计所述相对位姿变换关系的优化目标函数为：
Figure BDA0003018917380000062
其中，Ui＝CPi，Ui′＝C(RPi+T)是空间中一点Pi的在两幅图像中的对应像素点，C是相机成像方程，R和T是两帧图像间相机的相对姿态和位置变换。
在本申请实施例中的步骤S40中，采用加权相加与外点剔除结合的方法对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，并剔除错误数据，根据对融合结果的评价判断导航是否失效；
具体而言，如果融合成功，且相较上一次迭代相对位姿变化足够小或迭代次数足够多，则输出相对位姿，即当前导航有效；
如果融合失败，则输出当前帧失效，即当前导航无效。
本实施例中，通过连续估计大气散射系数，完成图像去雾，考虑导航的连续性迭代求解，即可获得烟雾环境下鲁棒的位姿估计，完成视觉导航过程。相机需要预先进行几何标定和光度标定。
具体地，去雾方法基于大气散射模型，可以采用但不限于暗通道先验理论进行去雾。大气散射模型如下：
I(x)＝J(x)t(x)+A(1-t(x))
其中J(x)是辐照度图，通常认为是没有雾的图像，x是像素坐标，t(x)是散射系数，代表由于大气散射相机损失的光强，A是全局大气光强。A通常已知，也可以估计，在暗通道图中取亮度前0.1％的像素，在有雾图像中找这些像素点最大的亮度值作为A。
进一步地，暗通道先验理论可以估计t(x)，这样就可以估计去雾图像为
Figure BDA0003018917380000063
t(x)在分母，为了防止计算错误，t(x)接近0的位置通常会被设置成一个常量。
具体地，估计相对位姿的方法可以采用但不局限于直接法。直接法基于灰度不变假设，即相邻帧对空间上一点成像的灰度值不变。优化目标函数来估计位姿变换：
Figure BDA0003018917380000071
其中Ui＝CPi，Ui′＝C(RPi+T)是空间中一点Pi的在两幅图像中的对应像素点，C是相机成像方程，R和T是两帧图像间相机的相对姿态和位置变换。
进一步地，判断是否有雾的方法可以采用但不限于，统计图像中像素值低(如低于50)的比例，如果过多(如超过2％)，则认为有雾，否则认为没有。
具体地，对相邻帧匹配点处t(x)融合，采用但不限于加权相加与外点剔除结合的方法。对多帧图像某一匹配点处的散射系数，ti-n,…,ti-2,ti-1,ti，计算其平均值
Figure BDA0003018917380000073
和方差σt，剔除掉不在
Figure BDA0003018917380000072
范围的点，重新计算平均值和方差，反复检验直到所有点都在范围内。如果最终计算结果方差σt大于设定值，认为该点匹配失效。如果对大量像素点均出现失效状况，则认为雾气过浓，融合失败，本导航方法失效。
本申请的第二方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请的第一方面实施例所述的方法。
本申请的第三方面实施例一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请的第一方面实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种烟雾环境下的可见光视觉导航方法，其特征在于，该方法包括以下步骤：
步骤S10，对相机进行标定；
步骤S20，通过所述相机采集连续性的帧数据图像，判断所述帧数据图像是否有雾，其中，所述帧数据图像包括当前帧数据图像和上N帧数据图像，N为正整数；
如果判断有雾，则估计大气散射系数，并对所述帧数据图像进行去雾处理；
步骤S30，计算去雾后的所述当前帧数据图像与所述上N帧数据图像的相对位姿变换关系；
步骤S40，根据所述相对位姿变换关系确定匹配点，对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，得到所述匹配点的大气散射系数估计值，其中，采用加权相加与外点剔除结合的方法对所述匹配点处的帧数据图像获得的所述大气散射系数进行融合，并剔除错误数据，根据对融合结果的评价判断导航是否失效；以及
步骤S50，根据所述大气散射系数估计值，重新对已经处理过的多个帧数据图像去雾处理，重复执行所述步骤S30和所述步骤S40，当所述大气散射系数估计值满足预设条件时，停止执行所述步骤S30和所述步骤S40，输出最后一次获得的位姿估计结果。
2.如权利要求1所述的方法，其特征在于，在判断所述帧数据图像是否有雾之后，还包括，
如果判断没雾，则对所述帧数据图像进行处理，直接估计所述帧数据图像的相对位姿变换并输出结果。
3.如权利要求1所述的方法，其特征在于，所述步骤S20包括：
获取大气光散射模型，根据大气散射系数和所述大气光散射模型对所述帧数据图像进行去雾处理；其中，所述大气光散射模型的公式为：
I(x)＝J(x)t(x)+A(1-t(x))
其中，J(x)是辐照度图，x是像素坐标，t(x)是散射系数，代表由于大气散射相机损失的光强，A是全局大气光强。
4.如权利要求3所述的方法，其特征在于，通过暗通道先验理论对所述散射系数进行估计，在暗通道图中取亮度前0.1％的像素，在有雾的所述帧数据图像中找像素点最大的亮度值，将所述像素点最大的亮度值作为全局大气光强A，所述大气光散射模型的公式转化为：
其中，当t(x)接近0时，将t(x)设置成一个常量。
5.如权利要求1所述的方法，其特征在于，在步骤S30中，通过直接法估计所述相对位姿变换关系，估计所述相对位姿变换关系的优化目标函数为：
其中，Ui＝CPi，Ui′＝C(RPi+T)是空间中一点Pi的在两幅图像中的对应像素点，C是相机成像方程，R和T是两帧图像间相机的相对姿态和位置变换。
6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5中任一所述的方法。
CN202110396957.2A 2021-04-13 2021-04-13 一种烟雾环境下的可见光视觉导航方法 Active CN113063432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110396957.2A CN113063432B (zh) 2021-04-13 2021-04-13 一种烟雾环境下的可见光视觉导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110396957.2A CN113063432B (zh) 2021-04-13 2021-04-13 一种烟雾环境下的可见光视觉导航方法

Publications (2)

Publication Number Publication Date
CN113063432A CN113063432A (zh) 2021-07-02
CN113063432B true CN113063432B (zh) 2023-05-09

Family

ID=76566793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110396957.2A Active CN113063432B (zh) 2021-04-13 2021-04-13 一种烟雾环境下的可见光视觉导航方法

Country Status (1)

Country Link
CN (1) CN113063432B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN111583136A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种救援场景下自主移动平台同时定位与建图方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885962B1 (en) * 2012-07-23 2014-11-11 Lockheed Martin Corporation Realtime long range imaging scatter reduction
CN108154492B (zh) * 2017-12-25 2019-02-15 北京航空航天大学 一种基于非局部均值滤波的图像去雾霾方法
CN109345479B (zh) * 2018-09-28 2021-04-06 中国电子科技集团公司信息科学研究院 一种视频监控数据的实时预处理方法及存储介质
CN110910319B (zh) * 2019-10-30 2022-10-21 中国医学科学院北京协和医院 一种基于大气散射模型的手术视频实时去雾增强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013018101A1 (en) * 2011-08-03 2013-02-07 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN111583136A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种救援场景下自主移动平台同时定位与建图方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiafeng Li，et al..Effective Data-Driven Technology for Efficient Vision-Based Outdoor Industrial Systems.IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS.2020,第16卷(第7期),全文. *

Also Published As

Publication number Publication date
CN113063432A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
JP6244407B2 (ja) 深度測定の品質の向上
EP3712841B1 (en) Image processing method, image processing apparatus, and computer-readable recording medium
EP3496383A1 (en) Image processing method, apparatus and device
JP5960513B2 (ja) 映像処理装置及び方法
US9558534B2 (en) Image processing apparatus, image processing method, and medium
CN109993713B (zh) 车载平视显示系统图像畸变矫正方法和装置
US10839479B2 (en) Imaging apparatus, image processing apparatus, image processing method, and medium
CN114359055B (zh) 一种多相机拍摄屏体的图像拼接方法及相关装置
CN110118990A (zh) X光探测器坏点的在线侦测方法、装置、系统及存储介质
CN115937147B (zh) 缺陷检测参数的确定方法、装置、设备及存储介质
CN109405735B (zh) 三维扫描系统和三维扫描方法
KR101662407B1 (ko) 영상의 비네팅 보정 방법 및 장치
CN112085773A (zh) 一种去除局外点的平面拟合方法和装置
CN113063432B (zh) 一种烟雾环境下的可见光视觉导航方法
CN112802080A (zh) 基于深度学习的单目绝对深度估计方法和装置
JP4875564B2 (ja) フリッカ補正装置及びフリッカ補正方法
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
US10728476B2 (en) Image processing device, image processing method, and image processing program for determining a defective pixel
CN115239569A (zh) 图像暗角移除方法、全景图像生成方法和相关设备
CN115842961B (zh) 图像调整方法和装置、电子设备及计算机可读存储介质
JP2003259217A (ja) 赤外線カメラ
KR102057261B1 (ko) 이미지 처리 방법 및 장치
JP7151476B2 (ja) 付着物検出装置、および付着物検出方法
CN115719379A (zh) 一种三维虚拟空间自动测距方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant