CN115393519A - 一种基于红外可见光融合图像的三维重构方法 - Google Patents

一种基于红外可见光融合图像的三维重构方法 Download PDF

Info

Publication number
CN115393519A
CN115393519A CN202211054845.XA CN202211054845A CN115393519A CN 115393519 A CN115393519 A CN 115393519A CN 202211054845 A CN202211054845 A CN 202211054845A CN 115393519 A CN115393519 A CN 115393519A
Authority
CN
China
Prior art keywords
visible light
image
infrared
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211054845.XA
Other languages
English (en)
Inventor
赵嘉学
文志铭
唐姚懿
刘硕
管宏云
梁志清
郑兴
刘子骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202211054845.XA priority Critical patent/CN115393519A/zh
Publication of CN115393519A publication Critical patent/CN115393519A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于红外可见光融合图像的三维重构方法，包括对同一视角下拍摄的红外图片和可见光图片进行图像融合，输出红外可见光融合图像；然后对红外可见光融合融合图片进行特征点提取及匹配，再计算与其对应的相机位姿，通过最小化重投影误差对相机位姿进行优化；之后以红外可见光融合图像和对应相机位姿为输入，通过块匹配算法计算每幅图像对应的深度图和像素点平面法向量图；最后在深度图融合模块结合红外可见光融合图像、深度图和像素点平面法向图，输出带红外信息和可见光纹理信息的三维模型，本发明可以重构出具有红外可见光双层信息的三维模型。

Description

一种基于红外可见光融合图像的三维重构方法
技术领域
本发明涉及视觉图像处理领域，具体而言，涉及一种基于红外可见光融合图像的三维重构方法。
背景技术
随着光电探测技术及计算机科学的发展，传统的二维视觉图像已经不能满足人类对信息获取的需求，三维成像技术由此得以发展。近年来，三维重建技术在地形地貌测绘、人脸识别，VR/AR、医疗检测以及无人驾驶方面得到了广泛的应用。目前主流的三维重构方法都是对可见光图片进行特征提取和匹配，通过三角测量和优化重投影误差的方法计算相机位姿，基于此，再通过块匹配算法重构出稠密三维模型。然而，基于可见光图片的三维模型包含的信息有限，尤其当需要获取重构目标的三维温度分布情况时，基于可见光的三维重构方法无法实现温度信息的获取。一种直观的方法是采用基于红外图像的三维重构方法，然而，红外图像的特征点稀疏，导致在相机位姿的计算过程中无法得到较为理想的结果，从而无法获取稠密的红外三维模型。
有鉴于此，特提出本申请。
发明内容
本发明的目的在于提供一种基于红外可见光融合图像的三维重构方法，可以获取具有红外和可见光信息的目标三维模型。本方法通过融合红外图像和可见光图像，使得三维重构的输入图像既有红外信息，又有可见光丰富的纹理信息，从而可以重构出具有红外可见光双层信息的三维模型。
本发明的实施例是这样实现的：
一种基于红外可见光融合图像的三维重构方法，包括步骤：
S1:对同一视角下拍摄的红外图片和可见光图片进行图像融合，包括：
检测可见光图片的轮廓图像，确定其轮廓图像中的第一特征集合；
根据第一特征集合确定可见光图片的主方向以及特征修饰符，并计算预估比例因子；
将多组可见光图片的特征修饰符与一组红外图片的特征修饰符进行双边匹配，根据比例因子计算出红外图片到可见光图片的投影变换矩阵，输出红外可见光融合图像；
S2：对红外可见光融合融合图片进行特征点提取及匹配，将提取出的特征点按照相关性排序生成第二特征集合，并在第二特征集合中进行关联排序；
根据第二特征集合的排序序列，再计算与其对应的相机位姿，并通过最小化重投影误差对相机位姿进行优化；
S3：以红外可见光融合图像和对应相机位姿为输入，通过块匹配算法计算每幅图像对应的深度图和像素点平面法向量图；
S4：结合红外可见光融合图像、深度图和像素点平面法向图，输出带红外信息和可见光纹理信息的三维模型。
作为本实施例的一种可选方式，在上述步骤S1中，红外可见光图片融合前还分别对可见光图片与红外图片进行预处理，预处理包括：
对采集到的图像做纹理增强处理，将采集到的图像格式转换为灰度，并将其灰度级缩放到[0,255]的范围内；将可见光图片的垂直分辨率调整至于红外图片相同，并根据可见光图片的原始图像比例调整水平分辨率。
作为本实施例的一种可选方式，在上述步骤S1中，通过Canny边缘检测器检测可见光图片的轮廓图像，第一特征集合为可见光图片轮廓信息中的角点的集，角点由基于局部和全局曲率作为特征点的曲率尺度空间角点检测器检测。
作为本实施例的一种可选方式，根据检测到的角点的集，在轮廓信息中计算对应角点的轮廓方向角，并将每个对应角点的轮廓方向角指定为主方向。
作为本实施例的一种可选方式，对每个点角点的尺度不变特征变换描述符进行修正来实现多模态图像的部分强度不变性；并提取多尺度采样的原始可见光灰度图像的尺度不变特征变换描述符与原始红外灰度图像来估计比例因子；
然后，将多组可见光灰度图像的尺度不变特征变换描述符与一组红外图片的尺度不变特征变换描述符进行双边匹配，并基于多数投票算法确定比例因子；
采用粗到细匹配方法进行优化，并根据优化的结果采用最小二乘法计算出红外图片到可见光图片的投影变换矩阵。
作为本实施例的一种可选方式，，轮廓方向角的计算公式为：
Figure BDA0003825136340000021
Figure BDA0003825136340000022
Figure BDA0003825136340000023
其中，φ为轮廓方向角，
Figure BDA0003825136340000024
表示第j个轮廓集合中的第f个特征点，其坐标表示为
Figure BDA0003825136340000025
Figure BDA0003825136340000026
表示第j个轮廓集合中左侧距离
Figure BDA0003825136340000027
特征点最近的特征点坐标，
Figure BDA0003825136340000028
表示第j个轮廓集合中右侧距离
Figure BDA0003825136340000029
特征点最近的特征点坐标。
作为本实施例的一种可选方式，，在上述步骤S2中，生成的第二特征集合为红外可见光融合图像的真实世界坐标集合，根据坐标的拟合匹配度进行排序，然后对相机位姿进行计算和优化；拟合匹配度为红外可见光融合图像的重新映射点与原第二特征集合中的真实世界坐标集合的位置重叠程度。
作为本实施例的一种可选方式，，在上述步骤S2中，跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机位姿，生成位姿集合，其中，每个相机自相同坐标位置处独立运动；
对位姿集合中的每一个位姿进行优化处理，生成优化位姿集合；位姿计算和优化方法如下：
基于红外可见光融合图像的拟合匹配度，用对极几何理论计算三维空间点坐标；根据初始三维空间点坐标最小化重投影误差优化相机位姿；最小化重投影误差为红外可见光融合图像重新映射点在图像中的位置和在真实世界坐标集合中原来的位置的两点的距离表征。
作为本实施例的一种可选方式，，在上述步骤S4中，深度图和法向量图获取方法如下：
对每幅红外可见光融合图像随机初始化深度图和法向量图；
从深度图和法向量图的左上至右下方向把每个像素点单应映射到相邻视角图像；
计算像素对应图像块的代价值，并反复迭代，输出深度图和法向量图。
作为本实施例的一种可选方式，还包括对相邻的深度图做一致性检查，对于任意深度图的每个像素点，计算其深度值与其相邻图像中对应匹配像素点的深度值之差，对差值在预设值之外的像素点视为被遮挡的无效像素点；基于无效像素点搜索其左侧和右侧的最近有效像素的深度值和平面，单应映射后计算两窗口的归一化互相关值，取归一化互相关值更优的深度值和平面进行填充；最后对每幅深度图做中值滤波，输出对应的可靠深度图。
本发明实施例的有益效果是：
本发明提供的方法可以获取具有红外和可见光信息的目标三维模型，通过融合红外图像和可见光图像，使得三维重构的输入图像既有红外信息，又有可见光丰富的纹理信息，从而可以重构出具有红外可见光双层信息的三维模型。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的红外可见光融合图像的三维重构方法的步骤流程图；
图2为本发明实施例提供的红外可见光融合过程的是算法流程图；
图3为本发明实施例提供的相机位姿算法流程图；
图4为本发明实施例提供的重构目标三维模型的算法流程图。
具体实施方式
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操模块作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述事实和方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，涉及的程序或者所述的程序可以存储于一计算机所可读取存储介质中，该程序在执行时，包括如下步骤：此时引出相应的方法步骤，所述的存储介质可以是ROM/RAM、磁碟、光盘等等。
实施例
请参阅图1-图4，本实施例提供了一种基于红外可见光融合图像的三维重构方法，包括步骤：
用红外热像仪和RGB摄像头采集多组不同视角下的图像；
对同一视角下拍摄的红外图片和可见光图片进行图像融合，输出红外可见光融合图像；
将红外可见光融合融合图片输入到运动恢复结构模块(SFM)进行特征点提取及匹配，再计算与其对应的相机位姿，通过最小化重投影误差对相机位姿进行优化；
以红外可见光融合图像和对应相机位姿为输入，输入到多视角立体几何模块(MVS)，通过块匹配算法计算每幅图像对应的深度图和像素点平面法向量图；S5：在深度图融合模块结合红外可见光融合图像、深度图和像素点平面法向图，输出带红外信息和可见光纹理信息的三维模型。
本实施例提供的三维重构算法只需对获取可见光和红外两组图片作为输入，然后基于融合图像进行三维重构，可以得到同时具有可见光纹理信息和红外信息的目标三维模型。
在本实施例的红外图片与可见光图片的图像融合过程中，包括：
预处理图像：要修正所提出的配准方法的所有参数，应对输入图像进行预处理。首先，将输入图像的格式转换为灰度；其次，将灰度级缩放到[0,255]范围内，以增强图像纹理信息；第三，将可见图像的垂直分辨率调整为与红外相同，同时根据原始图像比例调整水平分辨率。
检测特征点：图像的边缘图由Canny边缘检测器检测。轮廓中的角点由基于局部和全局曲率作为特征点的曲率尺度空间(CSS)角点检测器检测。必须在轮廓中检测到特征点，因为轮廓是计算轮廓方向角CAO的先决对象。
计算轮廓方向角CAO：将每个特征点的CAO指定为主方向，以实现图像旋转和透视差异的不变性。其中,其计算方式为：
Figure BDA0003825136340000051
Figure BDA0003825136340000052
Figure BDA0003825136340000053
其中φ为轮廓方向角，
Figure BDA0003825136340000054
表示第j个轮廓集合中的第f个特征点，其坐标表示为
Figure BDA0003825136340000055
Figure BDA0003825136340000056
表示第j个轮廓集合中左侧距离
Figure BDA0003825136340000057
特征点最近的特征点坐标，
Figure BDA0003825136340000058
表示第j个轮廓集合中右侧距离
Figure BDA0003825136340000059
特征点最近的特征点坐标。
然后，提取修正后的尺度不变特征变换(SIFT)描述符：SIFT是一个稳健的描述符，通常用于基于点的方法。然而，每个点的SIFT描述符应该通过算法进行修正，以实现多模态图像的部分强度不变性。此外，除了需要提取原始红外灰度图像的SIFT描述符，还需要提取通过多尺度采样的可见光灰度图像的SIFT描述符来估计比例因子ξ。
匹配SIFTs：在本实施例中，选用三组通过多尺度采样的可见光灰度图像的SIFTs和一组红外图像的SIFTs分别通过双边匹配进行匹配。然后，基于匹配对的数量通过多数投票算法确定比例因子。
然后通过粗到细(C2F)匹配去除错误匹配并优化正确匹配的位置，以提供两组准确的点坐标。最后，红外和可见光图片的投影变换矩阵通过对C2F匹配结果做最小二乘法计算得到，红外图像经过投影变换矩阵变换得到的图像和可见光图像各赋上一定权值融合，得到最终的融合图像。
落实到本实施例中，还需要对多幅不同视角的融合图像进行特征点提取并匹配将提取出的特征点按照相关性排序生成第二特征集合，并在第二特征集合中进行关联排序；根据第二特征集合的排序序列，再计算与其对应的相机位姿，并通过最小化重投影误差对相机位姿进行优化。使用RANSAC算法剔除异常匹配。在匹配好的图像对中选取匹配特征点对多的图像对作为初始增量重建的基准。通过对极几何理论计算基准图像对中特征点在真实世界中的坐标，根据坐标的拟合匹配度进行排序，并以此为基础用PnP(Perspective-n-Point)算法计算图片对应的相机位姿。其中，位姿信息包含旋转矩阵和平移矩阵。具体而言，跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机位姿，生成位姿集合，对位姿集合中的每一个位姿进行优化处理，生成优化位姿集合。最小化重投影误差为红外可见光融合图像重新映射点在图像中的位置和在真实世界坐标集合中原来的位置的两点的距离表征。添加新的图片计算其特征点在真实世界中的坐标，并用PnP算法求得对应位姿，再通过最小化重投影误差来优化各图像对应的相机位姿。其中，图像特征点通过位姿信息映射到三维空间后再重新映射会二维图片中，此时重新映射点在图像中的位置和特征点原来的位置不会重叠。通过调整位姿使重投影误差最小的过程即为位姿优化过程。
落实到本实施例中，请再次参阅图3，输出深度图与像素点平面法向量图的步骤S3的具体步骤为：
对每幅融合图像随机初始化一幅深度图，其中每个像素点的深度值为完全随机的，此外，深度图中的每个像素点还分配了一个随机平面，该平面用其法向量
Figure BDA0003825136340000061
表示。然后是一个迭代的过程，每幅融合图像中的像素通过图像位姿信息和像素对应初始化的深度值、随机平面与相邻融合图像进行单应映射，以该像素为中心取适当大小的方形窗口，计算两幅图像中窗口图像块的归一化互相关值，此外，用该像素相邻的像素点的深度值和随机平面做单应映射并求归一化互相关值，如果归一化互相关值更优，则用相邻像素点的深度值和平面替换当前像素点的深度值和平面，同时把更优的深度值和平面赋给该像素点单应映射在相邻图像中的像素点。对每幅融合图像从左上至右下每个像素点进行这个深度值和平面的传播过程。另外，每个像素在传播的过程中再随机另取一个深度值和平面，单应映射后计算归一化互相关值，如果归一化互相关值更优，则用该深度值和平面取代当前的深度值和平面。至此完成了空间传播、视图传播和平面细化的一次迭代过程，迭代3到5次，可得到比较稳定的深度图。然后，对相邻图像深度图做一致性检查，对于每个像素，计算其深度值与其相邻图像中对应匹配像素点的深度值之差，如果差值在一定可接受范围内，则保留当前深度值，否则视为被遮挡的无效像素点。对于这些被遮挡点，搜索其左侧和右侧的最近有效像素的深度值和平面，单应映射后计算两窗口的归一化互相关值，取归一化互相关值更优的深度值和平面进行填充。最后对每幅深度图做中值滤波，得到对应的可靠深度图。
落实到本实施例中，输出三维模型的步骤S5的具体步骤为：
对于每幅图像，根据其深度图和法向量图将每个像素点映射到三维空间。对于多幅图像中对应于三维空间中的同一点，只有在该点在每幅深度图和法向量图中的差值小于一定值时才会被保留。最终保留的深度和法向量值为该点在各深度图和法向量图的平均值。对各视角的红外可见光融合图像的每个像素点做映射处理，得到目标带红外和可见光纹理的三维模型。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应当注意，在附图中所图示的结构或部件不一定按比例绘制，同时本发明省略了对公知组件和处理技术及工艺的描述，以避免不必要地限制本发明。

Claims (10)

1.一种基于红外可见光融合图像的三维重构方法，其特征在于，包括步骤：
S1:对同一视角下拍摄的红外图片和可见光图片进行图像融合，包括：
检测可见光图片的轮廓图像，确定其轮廓图像中的第一特征集合；
根据所述第一特征集合确定可见光图片的主方向以及特征修饰符，并计算预估比例因子；
将多组可见光图片的特征修饰符与一组红外图片的特征修饰符进行双边匹配，根据所述比例因子计算出红外图片到可见光图片的投影变换矩阵，输出红外可见光融合图像；
S2：对红外可见光融合融合图片进行特征点提取及匹配，将提取出的所述特征点按照相关性排序生成第二特征集合，并在所述第二特征集合中进行关联排序；
根据所述第二特征集合的排序序列，再计算与其对应的相机位姿，并通过最小化重投影误差对相机位姿进行优化；
S3：以红外可见光融合图像和对应相机位姿为输入，通过块匹配算法计算每幅图像对应的深度图和像素点平面法向量图；
S4：结合红外可见光融合图像、深度图和像素点平面法向图，输出带红外信息和可见光纹理信息的三维模型。
2.根据权利要求1所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，在上述步骤S1中，红外可见光图片融合前还分别对可见光图片与红外图片进行预处理，所述预处理包括：
对采集到的图像做纹理增强处理，将采集到的图像格式转换为灰度，并将其灰度级缩放到[0,255]的范围内；将可见光图片的垂直分辨率调整至于红外图片相同，并根据可见光图片的原始图像比例调整水平分辨率。
3.根据权利要求2所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，在上述步骤S1中，通过Canny边缘检测器检测可见光图片的轮廓图像，所述第一特征集合为可见光图片轮廓信息中的角点的集，所述角点由基于局部和全局曲率作为特征点的曲率尺度空间角点检测器检测。
4.根据权利要求3所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，根据检测到的所述角点的集，在轮廓信息中计算对应角点的轮廓方向角，并将每个对应角点的轮廓方向角指定为主方向。
5.根据权利要求4所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，对每个点所述角点的尺度不变特征变换描述符进行修正来实现多模态图像的部分强度不变性；并提取多尺度采样的原始可见光灰度图像的尺度不变特征变换描述符与原始红外灰度图像来估计比例因子；
然后，将多组可见光灰度图像的尺度不变特征变换描述符与一组红外图片的尺度不变特征变换描述符进行双边匹配，并基于多数投票算法确定比例因子；
采用粗到细匹配方法进行优化，并根据优化的结果采用最小二乘法计算出红外图片到可见光图片的投影变换矩阵。
6.根据权利要求4所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，所述轮廓方向角的计算公式为：
Figure FDA0003825136330000021
Figure FDA0003825136330000022
Figure FDA0003825136330000023
其中，φ为轮廓方向角，
Figure FDA0003825136330000024
表示第j个轮廓集合中的第f个特征点，其坐标表示为
Figure FDA0003825136330000025
Figure FDA0003825136330000026
表示第j个轮廓集合中左侧距离
Figure FDA0003825136330000027
特征点最近的特征点坐标，
Figure FDA0003825136330000028
表示第j个轮廓集合中右侧距离
Figure FDA0003825136330000029
特征点最近的特征点坐标。
7.根据权利要求2所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，在上述步骤S2中，生成的所述第二特征集合为红外可见光融合图像的真实世界坐标集合，根据坐标的拟合匹配度进行排序，然后对相机位姿进行计算和优化；所述拟合匹配度为红外可见光融合图像的重新映射点与原所述第二特征集合中的真实世界坐标集合的位置重叠程度。
8.根据权利要求5所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，在上述步骤S2中，跟踪并获取每个相机运动时的正常视角图像，计算得到每个相机位姿，生成位姿集合，其中，每个所述相机自所述相同坐标位置处独立运动；
对所述位姿集合中的每一个所述位姿进行优化处理，生成优化位姿集合；所述位姿计算和优化方法如下：
基于红外可见光融合图像的拟合匹配度，用对极几何理论计算三维空间点坐标；根据初始三维空间点坐标最小化重投影误差优化相机位姿；所述最小化重投影误差为红外可见光融合图像重新映射点在图像中的位置和在真实世界坐标集合中原来的位置的两点的距离表征。
9.根据权利要求1所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，在上述步骤S4中，深度图和法向量图获取方法如下：
对每幅红外可见光融合图像随机初始化深度图和法向量图；
从深度图和法向量图的左上至右下方向把每个像素点单应映射到相邻视角图像；
计算像素对应图像块的代价值，并反复迭代，输出深度图和法向量图。
10.根据权利要求9所述的一种基于红外可见光融合图像的三维重构方法，其特征在于，还包括对相邻的所述深度图做一致性检查，对于任意所述深度图的每个像素点，计算其深度值与其相邻图像中对应匹配像素点的深度值之差，对差值在预设值之外的像素点视为被遮挡的无效像素点；基于所述无效像素点搜索其左侧和右侧的最近有效像素的深度值和平面，单应映射后计算两窗口的归一化互相关值，取归一化互相关值更优的深度值和平面进行填充；最后对每幅深度图做中值滤波，输出对应的可靠深度图。
CN202211054845.XA 2022-08-30 2022-08-30 一种基于红外可见光融合图像的三维重构方法 Pending CN115393519A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211054845.XA CN115393519A (zh) 2022-08-30 2022-08-30 一种基于红外可见光融合图像的三维重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211054845.XA CN115393519A (zh) 2022-08-30 2022-08-30 一种基于红外可见光融合图像的三维重构方法

Publications (1)

Publication Number Publication Date
CN115393519A true CN115393519A (zh) 2022-11-25

Family

ID=84123840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211054845.XA Pending CN115393519A (zh) 2022-08-30 2022-08-30 一种基于红外可见光融合图像的三维重构方法

Country Status (1)

Country Link
CN (1) CN115393519A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN116363252A (zh) * 2023-06-02 2023-06-30 南京诺源医疗器械有限公司 目标成像方法及系统
CN116823968A (zh) * 2023-07-14 2023-09-29 中国人民解放军军事科学院系统工程研究院 一种可见光和红外相机联合标定方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830424A (zh) * 2023-02-09 2023-03-21 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN115830424B (zh) * 2023-02-09 2023-04-28 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN116363252A (zh) * 2023-06-02 2023-06-30 南京诺源医疗器械有限公司 目标成像方法及系统
CN116363252B (zh) * 2023-06-02 2023-08-04 南京诺源医疗器械有限公司 目标成像方法及系统
CN116823968A (zh) * 2023-07-14 2023-09-29 中国人民解放军军事科学院系统工程研究院 一种可见光和红外相机联合标定方法及装置

Similar Documents

Publication Publication Date Title
US11721067B2 (en) System and method for virtual modeling of indoor scenes from imagery
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
US10109055B2 (en) Multiple hypotheses segmentation-guided 3D object detection and pose estimation
CN109242873B (zh) 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
EP4058983A1 (en) Method and system for scene image modification
Abayowa et al. Automatic registration of optical aerial imagery to a LiDAR point cloud for generation of city models
CN108171791B (zh) 基于多深度摄像机的动态场景实时三维重建方法及装置
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
Toft et al. Single-image depth prediction makes feature matching easier
CN116977596A (zh) 一种基于多视角图像的三维建模系统及方法
Alcantarilla et al. Large-scale dense 3D reconstruction from stereo imagery
Fan et al. Convex hull aided registration method (CHARM)
CN111783497B (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
Kim et al. Automatic registration of LiDAR and optical imagery using depth map stereo
Aganj et al. Multi-view texturing of imprecise mesh
Nicosevici et al. Efficient 3D scene modeling and mosaicing
Niu et al. Overview of image-based 3D reconstruction technology
Zhao et al. The obstacle avoidance and navigation based on stereo vision for mobile robot
Tian Building reconstruction from terrestrial video image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination