CN110379002A - 一种基于红外与可见光图像融合的三维重建表面温度显示方法 - Google Patents

一种基于红外与可见光图像融合的三维重建表面温度显示方法 Download PDF

Info

Publication number
CN110379002A
CN110379002A CN201910614252.6A CN201910614252A CN110379002A CN 110379002 A CN110379002 A CN 110379002A CN 201910614252 A CN201910614252 A CN 201910614252A CN 110379002 A CN110379002 A CN 110379002A
Authority
CN
China
Prior art keywords
infrared
dimensional reconstruction
visible
angle point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910614252.6A
Other languages
English (en)
Inventor
宫大为
何志恒
叶小龙
李晓宁
代小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910614252.6A priority Critical patent/CN110379002A/zh
Publication of CN110379002A publication Critical patent/CN110379002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于红外与可见光图像融合的三维重建表面温度显示方法，属于计算机图像学领域。本发明方法先计算空间物体在两相机间的尺度因子，接着利用标定信息计算图像相对偏移量，再利用YUV空间色彩传递的自然感彩色进行融合得到目标图片，最后在三维重建的重建稠密点云向重建表面的过程中替换原始可见光图片，实现表面带有温度信息三维重建。本发明方法在不影响重建纹理信息和计算速度的前提下，可以得到准确反映重建物体的表明温度信息的结果。

Description

一种基于红外与可见光图像融合的三维重建表面温度显示 方法
技术领域
本发明属于计算机图形学领域，更具体的，涉及一种基于红外与可见光图像融合的三维重建表面温度显示方法。
背景技术
计算机图形学领域中，三维重建技术的应用越来越广泛。目前三维重建技术一般通过相机标定、图像采集、相邻图像特征点匹配、重建稀疏点云、重建稠密点云、重建表面、纹理映射等过程可以生成纹理清晰的三维信息。
随机实际情况的应用，很多时候还需要观察重建物体的温度信息。检测物体的温度信息有多种热传感器，但热传感器一般都是只能检测到物体的区域温度信息，难以将其信息融合入重建好的三维物体中，且在融合过程中必然存在较大的误差，导致最后温度显示结果并不准确。
因此，如何在不影响重建的精度和速度的情况下，实现三维重建物体显示其表面信息是一个重点问题。本发明提出的一种基于红外与可见光图像融合的三维重建表面温度显示方法，对三维重建的广泛应用有很高的实用价值。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于红外与可见光图像融合的三维重建表面温度显示方法。其目的在于通过红外和可见光摄像头组成一个摄像头组，对目标物体进行拍摄，解决三维重建物体表面温度显示的问题，且不影响重建的精度和计算速度。
为实现上述目的，本发明提供了一种基于红外与可见光图像融合的三维重建表面温度显示方法，所述方法具体包括：
(1)先计算空间物体在两相机间的尺度因子，接着利用标定信息计算图像相对偏移量，再利用YUV空间色彩传递的自然感彩色进行融合得到目标图片；
(2)用融合后的图片代替原始图片，用于稠密点云的表面重建，实现表面带有温度信息三维重建。
进一步地，所述步骤(1)中计算两相机间的尺度因子和相对偏移量的具体步骤为：
将黑白棋盘格标定板放置在加热板上均匀加热，一段时间后使用紧靠在加热板上的标定板来分别标定红外和可见光相机，并对采集的红外图片进行预处理，然后对相机进行畸变校正；
分别提取畸变校正后的红外和可见光图像上棋盘格的角点信息，按照以下公式计算尺度因子
其中，假定棋盘格标定板上角点有k行，l列，即kl为总角点数，n为棋盘格上的角点序号，左上顶角为最小值1，右下顶角为最大值kl，依次从左往右，上往下递增，infraredn为角点n在红外图像上x或y坐标，visiblen为角点n在可见光图像上x或y坐标；
利用尺度因子scale实现空间物体在红外和可见光图像的尺度统一，接着选定棋盘格上同一角点，计算红外相对可见光图像的相对偏移量
Xdiff＝infraredx-visiblex
Ydiff＝infraredy-visibley
最后根据偏移量调整红外图像上每个像素点的坐标值大小。
总体而言，通过本发明所构思的以上技术方法与现有技术相比，具有以下技术特征及有益效果：
(1)本发明方法通过红外图像与可见光图像融合，重建物体表面可以准确直观的反映出温度信息；
(2)重建过程仍然是通过重建稀疏点云、重建稠密点云、重建表面、纹理映射来完成，本发明方法不会影响重建结果的纹理信息和重建点云时的速度。
附图说明
图1为本发明方法的总体流程图；
图2为紧靠在加热板上的标定板；
图3为重建图像组其中一帧融合效果图，图a为该帧红外原始图片，图b为该帧可见光原始图片，图c为该帧融合图片；
图4为重建表面带有温度信息的三维重建效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加的清楚明白，以下结合附图及实施例，对本发明方法进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定于根本发明。
附图1展示了本发明方法的流程图。可以看出，本发明方法课分为三个模块：红外和可见光相机图片的采集和预处理、计算尺度因子和相对偏移量、带有温度信息稠密点云表面重建，具体如以下实际步骤：
(1)先计算空间物体在两相机间的尺度因子，接着利用标定信息计算图像相对偏移量，再利用YUV空间色彩传递的自然感彩色进行融合得到目标图片；
(2)使用融合后的图片代替原始图片，用于稠密点云的表面重建，实现表面带有温度信息三维重建，重建效果如附图4所示。
所述步骤(1)中包括以下分步骤：
1)将黑白棋盘格标定板放置在加热板上均匀加热，如附图2所示，一段时间后使用红外相机和可见光相机对紧靠在加热板上的标定板拍摄；
2)对红外相机的图片进行直方图均衡化、滤波、提取轮廓等预处理，使其图片成为可标定的图片；
3)根据两相机预处理后的图片对相机进行畸变校正，得到畸变校正图片，如附图3的a,b两图所示；
4)分别提取畸变校正后的红外和可见光图像上棋盘格的角点信息，按照以下公式计算尺度因子
其中，如附图2所示，此处选用的标定板为有9行，8列角点，n为角点序号，左上顶角为最小值1，右下顶角为最大值72，依次从左往右，上往下递增，infraredn为角点n在红外图像上x或y坐标，visiblen为角点n在可见光图像上x或y坐标，此处n选择72，并用坐标x来进行计算；
5)利用尺度因子scale实现空间物体在红外和可见光图像的尺度统一，接着都选定序号为36的角点进行计算，得到红外相对可见光图像的相对偏移量
Xdiff＝infraredx-visiblex
Ydiff＝infraredy-visibley
最后根据偏移量调整红外图像上每个像素点的坐标值大小；
6)根据坐标点建立红外与可见光图像的像素点映射，并用YUV空间色彩传递的自然感彩色进行融合得到目标图片，如附图3的c图所示。

Claims (2)

1.一种基于红外与可见光图像融合的三维重建表面温度显示方法，其特征在于：所述方法包括以下步骤：
(1)先计算空间物体在两相机间的尺度因子，接着利用标定信息计算图像相对偏移量，再利用YUV空间色彩传递的自然感彩色进行融合得到目标图片；
(2)用融合后的图片代替原始图片，用于稠密点云的表面重建，实现表面带有温度信息三维重建。
2.根据权利要求1所述的一种基于红外与可见光图像融合的三维重建表面温度显示方法，其特征在于，所述步骤(1)中计算相机间的尺度因子和图像相对偏移量的具体步骤主要为：
(11)将黑白棋盘格标定板放置在加热板上均匀加热，一段时间后使用紧靠在加热板上的标定板来分别标定红外和可见光相机，并对采集的红外图片进行预处理，然后对相机进行畸变校正；
(12)分别提取畸变校正后的红外和可见光图像上棋盘格的角点信息，按照以下公式计算尺度因子
其中，假定棋盘格标定板上角点有k行，l列，即kl为总角点数，n为棋盘格上的角点序号，左上顶角为最小值1，右下顶角为最大值kl，依次从左往右，上往下递增，infraredn为角点n在红外图像上x或y坐标，visiblen为角点n在可见光图像上x或y坐标；
(13)利用尺度因子scale实现空间物体在红外和可见光图像的尺度统一，接着选定棋盘格上同一角点，计算红外相对可见光图像的相对偏移量：
Xdiff＝infraredx-visiblex
Ydiff＝infraredy-visibley
最后根据偏移量调整红外图像上每个像素点的坐标值大小。
CN201910614252.6A 2019-07-09 2019-07-09 一种基于红外与可见光图像融合的三维重建表面温度显示方法 Pending CN110379002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910614252.6A CN110379002A (zh) 2019-07-09 2019-07-09 一种基于红外与可见光图像融合的三维重建表面温度显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910614252.6A CN110379002A (zh) 2019-07-09 2019-07-09 一种基于红外与可见光图像融合的三维重建表面温度显示方法

Publications (1)

Publication Number Publication Date
CN110379002A true CN110379002A (zh) 2019-10-25

Family

ID=68252521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910614252.6A Pending CN110379002A (zh) 2019-07-09 2019-07-09 一种基于红外与可见光图像融合的三维重建表面温度显示方法

Country Status (1)

Country Link
CN (1) CN110379002A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111157539A (zh) * 2019-12-11 2020-05-15 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN112465987A (zh) * 2020-12-17 2021-03-09 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 一种视觉融合信息三维重建的导航地图构建方法
CN114821544A (zh) * 2022-06-29 2022-07-29 小米汽车科技有限公司 感知信息生成方法、装置、车辆、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN109146930A (zh) * 2018-09-20 2019-01-04 河海大学常州校区 一种电力机房设备红外与可见光图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任贵文 等: "基于OpenCV的红外与可见光图像实时融合系统", 《单片机与嵌入式系统应用》 *
王静: "基于SFM的多源目标三维重构方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111157539A (zh) * 2019-12-11 2020-05-15 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN111157539B (zh) * 2019-12-11 2022-08-30 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN112465987A (zh) * 2020-12-17 2021-03-09 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 一种视觉融合信息三维重建的导航地图构建方法
CN114821544A (zh) * 2022-06-29 2022-07-29 小米汽车科技有限公司 感知信息生成方法、装置、车辆、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106289106B (zh) 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN106097348B (zh) 一种三维激光点云与二维图像的融合方法
CN104992441B (zh) 一种面向个性化虚拟试衣的真实人体三维建模方法
CN104981105B (zh) 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN110379002A (zh) 一种基于红外与可见光图像融合的三维重建表面温度显示方法
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN110246124A (zh) 基于深度学习的目标尺寸测量方法及系统
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN107392947A (zh) 基于轮廓共面四点集的2d‑3d图像配准方法
CN107507235A (zh) 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法
CN101322589A (zh) 用于服装设计的非接触式人体测量方法
CN103345755A (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
CN112161997B (zh) 半导体芯片管脚三维几何尺寸的在线精密视觉测量方法及系统
CN108470338B (zh) 一种水位监测方法
CN108364292B (zh) 一种基于多幅视角图像的光照估计方法
CN108182722B (zh) 一种三维物体边缘优化的真正射影像生成方法
CN104048815A (zh) 一种测量透镜畸变的方法及系统
CN105139355A (zh) 一种深度图像的增强方法
CN111623942A (zh) 一种单向振动台试验结构模型位移测量方法
CN106952262A (zh) 一种基于立体视觉的船板加工精度分析方法
CN108257187A (zh) 一种相机-投影仪系统标定方法
KR20180040846A (ko) 영상 대조에 따른 두개의 에지 블러 파라미터 예측 방법
CN112669280A (zh) 一种基于lsd算法的无人机倾斜航拍直角像控点目标检测方法
CN108362205A (zh) 基于条纹投影的空间测距方法
CN117710588A (zh) 一种基于视觉测距先验信息的三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191025