CN114549669A - 一种基于图像融合技术的彩色三维点云获取方法 - Google Patents

一种基于图像融合技术的彩色三维点云获取方法 Download PDF

Info

Publication number
CN114549669A
CN114549669A CN202210106284.7A CN202210106284A CN114549669A CN 114549669 A CN114549669 A CN 114549669A CN 202210106284 A CN202210106284 A CN 202210106284A CN 114549669 A CN114549669 A CN 114549669A
Authority
CN
China
Prior art keywords
image
gray
resolution
rgb
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210106284.7A
Other languages
English (en)
Other versions
CN114549669B (zh
Inventor
殷春
谭旭彤
陈凯
罗健浩
刘俊杰
程玉华
邱根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210106284.7A priority Critical patent/CN114549669B/zh
Publication of CN114549669A publication Critical patent/CN114549669A/zh
Application granted granted Critical
Publication of CN114549669B publication Critical patent/CN114549669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像融合技术的彩色三维点云获取方法，首先获取不带颜色信息的三维点云PCg，然后利用RGB相机采集被测目标真实颜色，获得颜色纹理信息。基于两次图像坐标变换和映射，结合三种赋值(插值)方法，在保证重要的信息的同时更有针对性地解决不同区域的赋值(插值)需求，提高算法运行效率。引入图像融合算法，将D‑SIFT和梯度幅值作为融合权重图的构成来源，能够在融合RGB信息的同时保留高分辨率灰度图像的清晰优势，提升融合图像的质量，基于双目视觉原理将被测目标的真实颜色纹理信息映射到原始三维点云数据中，实现三维点云的着色和彩色三维重建功能，以提高航天器损伤检测和评估的准确性和完整性。

Description

一种基于图像融合技术的彩色三维点云获取方法
技术邻域
本发明属于彩色三维重建技术领域，更为具体地讲，涉及一种基于图像融 合技术的彩色三维点云获取方法。
背景技术
航天器在运行过程中不可避免地会受到一系列的安全威胁，包括高能粒子、 空间碎片、流星体和微流星暴等。在高速飞行的前提下，微小的粒子也拥有毁 灭性的能量。航天器的安全性对航天器的正常运转至关重要。因此航天器的损 伤评估和检测是不可或缺的。
三维重建技术是指运用电子仪器等设备将被测目标的外部形貌信息转换成 离散的三维坐标数据，并存储数据以及可视化的过程。它能够通过深度数据获 取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算 机逻辑表达的数学模型。高精度的三维信息在飞行器设计、发动机探伤、雷达 测绘、航天器位姿跟踪检测及估计、航天器损害评估、逆向工程和零部件再造 中有重大的应用意义。
目前使用最广泛的一种三维重建技术是结构光法三维重建，通过向表面光 滑无特征的被测目标发射可编码的光束，然后通过一定算法计算返回的编码图 案的畸变来得到物体的位置和深度信息，实现三维模型重建。近年来，由于机 器视觉的迅速发展，使得通过二维图像获得三维场景信息变为现实。双目视觉 测量技术模仿人眼成像原理来进行三维测量。通过对图像进行处理获得特征点 的视差值，然后结合双目视觉系统的相关参数，计算出物体表面点的三维坐标。 然而当待测物体表面的纹理信息较弱时，能提取出的特征点数量较少，不能生 成稠密的视差图，使得重建精度较低。
但是，不论是结构光法还是双目视觉测量技术，都只能获取到物体的深度 图像。而深度图像不带有任何物体本身的颜色和纹理信息，因此重建出来的被 测目标的三维模型是没有颜色的，只是单纯的带有几何位置信息的三维空间坐 标点。而颜色信息作为重要的特征信息，不论是对人眼感知还是机器视觉的特 征提取都有重要的意义。在航天器损伤检测中，高质量的真实的带有颜色信息 的点云相比苍白的单纯的灰度点云数据，一方面能够使人眼迅速发现损害部分， 避免航天器缺陷遗漏，提升检测完备率；另一方面也能提高三维重建质量，增 加清晰的特征细节，在缺陷识别、数模对比，提升航天器损伤查全率和查准率 方面具有重大意义。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图像融合技术的彩 色三维点云获取方法，将被测目标的真实颜色纹理信息映射到原始三维点云数 据中，实现三维点云的着色和彩色三维重建功能，以提高航天器损伤检测和评 估的准确性和完整性。
为实现上述发明目的，本发明基于图像融合技术的彩色三维点云获取方法， 其特征在于，包括：
(1)、首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高 分辨率灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的 左右相机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg；
(2)、利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将 其表示为
Figure BDA0003493587310000021
其中，像素点像素值表示为
Figure BDA0003493587310000022
ul＝0,...,Ml-1,vl＝0,...,Nl-1， (ul,vl)表示RGB图像
Figure BDA0003493587310000023
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图 像大小，即RGB图像
Figure BDA0003493587310000024
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表 示为IGray，其中像素点像素值表示为IGray(x,y),x＝0,...,Mh-1,y＝0,...,Nh-1，(x,y)表 示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左 图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh；
(3)、对RGB图像
Figure BDA0003493587310000025
进行坐标变换和映射，实现RGB图像与高分辨率灰 度左图像的配准
找出RGB图像
Figure BDA0003493587310000026
与高分辨率灰度左图像Igray的特征匹配点对，根据特征匹 配点对计算出由RGB图像
Figure BDA0003493587310000027
到高分辨率灰度左图像Igray的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul,vl)上：
Figure BDA0003493587310000031
其中，
Figure BDA0003493587310000032
得到经过坐标变换后的坐标(u′l,v′l)；
将RGB图像
Figure BDA0003493587310000033
坐标(ul,vl)位置的像素点映射到坐标(u′l,v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure BDA0003493587310000034
其是与高分辨率灰度左图像IGray配准后的 新图像；
(4)、对配准后的RGB图像
Figure BDA0003493587310000035
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure BDA0003493587310000036
中被测目标的边界点集ED，将位于被 测边界点集ED内的区域划分为目标区域Zoneobj，位于边界点集ED外的区域划分 为背景区域Zoneback；
将RGB图像
Figure BDA0003493587310000037
中的像素点，按其与边界点集ED中像素点的坐标距离值PP 进行分类，按照坐标距离值PP值将RGB图像
Figure BDA0003493587310000038
中所有的像素点划分到目标点 集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l,v′l),(u′ed,v′ed))≤2，则RGB图像
Figure BDA00034935873100000315
中坐标位置(u′l,v′l)的像素 点划分到边缘点集EP，其中，(u′ed,v′ed)为边界点集ED中距离坐标位置(u′l,v′l)最近的像素点的坐标，PP(·,·)表示求两个坐标之间存在的像素数量即两个坐标的坐 标距离值PP；
(b)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure BDA0003493587310000039
中坐标位置(u′l,v′l)的像素 点位于目标区域Zoneobj，则该像素点划分到目标点集OP；
(c)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure BDA00034935873100000316
中坐标位置(u′l,v′l)的像素 点位于背景区域Zoneback，则该像素点划分到背景点集BP；
(5)、对空白的RGB图像
Figure BDA00034935873100000310
进行坐标变换和映射，实现与高分辨率灰度 左图像IGray的分辨率统一
首先创建一个和高分辨率灰度左图像IGray具有相同分辨率，即Mh×Nh大小的 待确定像素点像素值的空白的高分辨率RGB图像
Figure BDA00034935873100000311
其中像素点的像素值表 示为
Figure BDA00034935873100000312
uh＝0,...,Mh-1,vh＝0,...,Nh-1；
然后进行由高分辨率RGB图像
Figure BDA00034935873100000313
中像素点的坐标(uh,vh)到低分辨率的配 准后的RGB图像
Figure BDA00034935873100000314
中像素点的坐标(u,v)的向后变换：
Figure BDA0003493587310000041
最后，根据向后变换得到的RGB图像
Figure BDA0003493587310000042
中像素点的坐标(u,v)以及步骤(4) 划分的点集，对高分辨率RGB图像
Figure BDA0003493587310000043
中每个像素点的像素值
Figure BDA0003493587310000044
进行赋 值：
(a)、如果坐标(u,v)位于背景点集BP的像素点区域，则像素值
Figure BDA0003493587310000045
等 于RGB图像
Figure BDA0003493587310000046
中坐标(u,v)位置的四个邻域像素点中最近的像素点的像素值；
(b)、如果坐标(u,v)位于目标点集OP的像素点区域，像素值
Figure BDA0003493587310000047
为：
Figure BDA0003493587310000048
其中，(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)表示RGB图像
Figure BDA0003493587310000049
中坐标(u,v) 位置的四个邻域像素点的坐标，
Figure BDA00034935873100000410
Figure BDA00034935873100000411
表示四个邻域像素点的像素值，w11,w12,w21,w22为权重系数，它们由 其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure BDA00034935873100000412
Figure BDA00034935873100000413
Figure BDA00034935873100000414
Figure BDA00034935873100000415
其中，(11u′ed,11v′ed)、(21u′ed,21v′ed)、(12u′ed,12v′ed)、(22u′ed,22v′ed)分别为距离坐标(u′l,v′l)、 (u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)位置最近被测目标边界点的坐标；
(c)、如果坐标(u,v)位于边缘点集EP的像素点区域，像素值
Figure BDA00034935873100000416
为：
Figure BDA00034935873100000417
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure BDA0003493587310000051
其中，u′l＝R(u),v′l＝R(v),du＝u-u′l,dv＝v-v′l，R(·)表示向最近的整数取整，k(·) 表示卷积双三次插值算法的卷积核函数；
(6)、基于D-SIFT和导向滤波对高分辨率RGB图像
Figure BDA0003493587310000052
和高分辨率灰度左 图像IGray进行图像融合
6.1)、对高分辨率RGB图像
Figure BDA0003493587310000053
和高分辨率灰度左图像IGray进行对比度调整：
Figure BDA0003493587310000054
Figure BDA0003493587310000055
其中，
Figure BDA0003493587310000056
表示增强后的高分辨率RGB图像，
Figure BDA0003493587310000057
表示坐标(uh,vh)位 置像素点的像素值，uh＝0,...,Mh-1,vh＝0,...,Nh-1，JGray表示增强后的高分辨率灰 度左图像，JGray(x,y)表示坐标(x,y)位置像素点的像素值，x＝0,...,Mh-1,y＝0,...,Nh-1， μRGB和μGray分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量， 其定义为：
Figure BDA0003493587310000058
Figure BDA0003493587310000059
6.2)、基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依 据，对于增强后的高分辨率RGB图像
Figure BDA00034935873100000510
和增强后的高分辨率灰度左图像JGray中 所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure BDA0003493587310000061
Figure BDA0003493587310000062
(x,y)DDEGray＝DSIFT(JGray(x,y))
Figure BDA0003493587310000063
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure BDA0003493587310000064
表示增强后的高分辨率RGB图像
Figure BDA0003493587310000065
中的像素点位于坐标(u',v')位置 上的稠密SIFT特征描述符向量，(x,y)DDEGray表示增强后的高分辨率灰度左图像 JGray中的像素点位于坐标(x,y)位置上的稠密SIFT特征描述符向量，
Figure BDA0003493587310000066
(x,y)DDEGray{i}分别表示稠密SIFT特征描述符向量
Figure BDA0003493587310000067
(x,y)DDEGray{i}的第i 维，
Figure BDA0003493587310000068
表示增强后的高分辨率RGB图像
Figure BDA0003493587310000069
中像素点位于坐标(uh,vh)位 置上活动水平，CGray(x,y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐 标(x,y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure BDA00034935873100000610
和增 强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure BDA00034935873100000611
Figure BDA00034935873100000612
其中，
Figure BDA00034935873100000613
分别为增强后的高分辨率RGB图像
Figure BDA00034935873100000614
增强后的高分辨 率灰度左图像JGray归一化到[0,1]之间后的增强图像，
Figure BDA00034935873100000615
MGray分别为增强后的 高分辨率RGB图像
Figure BDA00034935873100000616
增强后的高分辨率灰度左图像JGray的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure BDA00034935873100000617
Figure BDA00034935873100000618
Figure BDA00034935873100000619
Figure BDA00034935873100000620
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合， 以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure BDA0003493587310000071
Figure BDA0003493587310000072
其中，
Figure BDA0003493587310000073
分别为增强后的高分辨率RGB图像
Figure BDA0003493587310000074
的局部 对比度二值图
Figure BDA0003493587310000075
和显著结构二值图
Figure BDA0003493587310000076
位于坐标(i,j)位置的值，
Figure BDA0003493587310000077
Figure BDA0003493587310000078
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure BDA0003493587310000079
和 显著结构二值图
Figure BDA00034935873100000710
位于坐标(i,j)位置的值，
Figure BDA00034935873100000711
WGray(i,j)分别为高分辨 率RGB图像
Figure BDA00034935873100000712
和高分辨率灰度左图像IGray的融合权重图
Figure BDA00034935873100000713
WGray位于坐标 (i,j)位置的值；
6.3)、首先，利用具有边缘保持功能的引导滤波器进行融合权重图的平滑：
Figure BDA00034935873100000714
RWGray＝GFr,ε(WGray,WGray)
其中，GFr,ε表示引导滤波器，r,ε为引导滤波器参数，用于控制滤波窗大小 和模糊程度，融合权重图
Figure BDA00034935873100000715
WGray都同时作为输入图像和引导图像分别输入引 导滤波器，得到平滑的融合权重图
Figure BDA00034935873100000716
RWGray；
然后，对融合权重图
Figure BDA00034935873100000717
RWGray进行归一化：
Figure BDA00034935873100000718
Figure BDA00034935873100000719
其中，κ为一个避免出现0值的正数，
Figure BDA00034935873100000720
和RWGray′是归一化后的融合权 重图；
6.4)、首先，对融合权重图
Figure BDA00034935873100000721
RWGray′进行高斯金字塔分解，对高分辨 率RGB图像
Figure BDA00034935873100000722
高分辨率灰度左图像IGray进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure BDA00034935873100000723
与融合权重图
Figure BDA00034935873100000724
高分辨率灰度左图像 IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图 像Fl：
Figure BDA00034935873100000725
其中，l表示金字塔层级序号，G{·}l、L{·}l分别表示对应图像在第l层的高 斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像Fl进行合并得到最终的融合图像F；
(7)、利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标 上的3通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有 颜色信息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维 模型。
本发明的发明目的是这样实现的：
本发明基于图像融合技术的彩色三维点云获取方法，首先通过结合结构光 技术和高分辨率灰度相机双目视觉系统，获取不带颜色信息的三维点云PCg，然 后利用RGB相机采集被测目标真实颜色，获得颜色纹理信息。基于两次图像坐 标变换和映射，首先实现RGB图像
Figure BDA0003493587310000081
和高分辨率灰度左图像IGray配准，然后基 于目标导向分区域赋值，实现RGB图像
Figure BDA0003493587310000082
的超分辨率并得到和高分辨率灰度 左图像IGray相一致分辨率的RGB图像
Figure BDA0003493587310000083
其中，基于边缘检测算法和被测目标 本身，将RGB图像
Figure BDA0003493587310000084
中的像素点划分到目标点集OP、边缘点集EP或背景点 集BP，根据不同点集的的像素点区域，有针对性地执行不同的赋值策略。对于 需求赋值(插值)质量不高位于背景点集BP像素点区域的像素点，基于4邻域 信息执行计算量最小的最近邻赋值(插值)策略；对于需求次之的位于目标点 集OP的像素点区域的的像素点，基于4邻域信息执行加权双线性赋值(插值) 提高一定的赋值(插值)质量；对于需求高质量位于边缘点集EP的像素点区域 的像素点，利用其16个邻域的信息执行计算量最高的卷积双三次赋值(插值)， 以保证其较高的插值质量。结合三种赋值(插值)方法，在保证重要的信息的 同时更有针对性地解决不同区域的赋值(插值)需求，提高算法运行效率。同 时在实现RGB图像
Figure BDA0003493587310000085
和高分辨率灰度左图像IGray配准和分辨率统一后，引入图 像融合算法，将RGB图像
Figure BDA0003493587310000086
中的颜色纹理信息和高分辨率灰度左图像IGray进行 信息融合。图像融合结合了D-SIFT特征描述符向量和显著性结构特征，这样一 方面利用D-SIFT算法能在每个像素处提取非稀疏化的图像局部特征描述符，另 一方面基于权重幅值提取的显著结构特征，能够提高图像中的显著结构特征信 息在融合权重图中的占比。将D-SIFT和梯度幅值作为融合权重图的构成来源， 能够在融合RGB信息的同时保留高分辨率灰度图像的清晰优势，提升融合图像 的质量，包括对比度和锐度等。之后利用具有边缘保持特性的导向滤波器进一 步修正和细化融合权重图，保证融合边缘的质量，去除人工伪影。最后基于金 字塔分解和融合将高分辨率RGB图像
Figure BDA0003493587310000091
高分辨率灰度左图像IGray进行融合， 得到融合了正确颜色信息的高精度的融合图像F，并基于双目视觉原理将融合 图像中对应像素位置上的颜色信息映射到不带颜色信息的三维点云PCg中，实现 三维点云的着色。
同时，本发明基于图像融合技术的彩色三维点云获取方法还具有以下有益 效果：
1、本发明采用结合了结构光技术的双目视觉系统，并利用了光学RGB相 机采集额外的被测目标颜色纹理信息，基于引入的图像融合算法，实现了颜色 信息和灰度左相机图像的图像融合。并将融合图像像素映射到三维点云中，实 现了彩色三维点云的获取，弥补了传统三维重建算法无法得到带有颜色信息的 三维点云的不足。本发明得到的点云数据相比传统三维重建算法得到的点云多 了一个颜色维度上的被测目标三维几何特征；
2、本发明采用基于被测目标本身为导向的分区域插值图像分辨率统一算法， 利用被测目标本身在原始RGB图像中所处的位置，将图像像素点划分到目标点 集OP、边缘点集EP或背景点集BP。在不同区域针对性地执行不同的赋值(插 值)策略，从而将低分辨率的RGB图像中蕴含的颜色纹理信息映射到一张和高 分辨率灰度左相机图像相同分辨率的RGB图像中，实现RGB图像的超分辨率。 算法结合了三种插值方法，在保证重要的信息的同时更有针对性地解决不同区 域的插值需求，提高算法运行效率；
3、本发明采用基于D-SIFT和导向滤波的图像融合算法，将超分辨率后的 RGB图像和高分辨率灰度左相机图像进行图像融合，提升了灰度图像和RGB信 息的融合质量。利用了D-SIFT的图像局部特征描述符和基于梯度幅值的显著性 结构特征两个方面构建融合权重图，能够在融合RGB信息的同时保留高分辨率 灰度图像的清晰优势。并利用具有边缘保持特征的导向滤波器对融合权重图进 行修正和细化，从而进一步提升融合图像的边缘信息融合质量。
附图说明
图1是本发明基于图像融合技术的彩色三维点云获取方法一种具体实施方 式的流程图；
图2是图1所示的基于D-SIFT和导向滤波对高分辨率RGB图像
Figure BDA0003493587310000101
和高分 辨率灰度左图像IGray进行图像融合的具体流程图；
图3是采用结合结构光和高分辨率灰度相机双目视觉系统获取的没有颜色 信息的高精度点云结果图；
图4是双目视觉系统中的高分辨率灰度左相机获取的高分辨率灰度图像；
图5是RGB相机获取的低分辨率的RGB图像；
图6是基于目标导向分区域赋值(插值)超分辨率算法后得到的高分辨率 的RGB图像；
图7是图像增强后的高分辨率灰度左图像；
图8是图像增强后的高分辨率RGB图像；
图9是高分辨率灰度左图像IGray基于D-SIFT的活动水平测量图；
图10是高分辨率RGB图像
Figure BDA0003493587310000102
基于D-SIFT的活动水平测量图；
图11是高分辨率灰度左图像IGray的显著结构特征提取图；
图12是高分辨率RGB图像
Figure BDA0003493587310000103
的显著结构特征提取图；
图13是高分辨率灰度左图像IGray对应的经过导向滤波器修正后的融合权重 图像；
图14是高分辨率RGB图像
Figure BDA0003493587310000104
对应的经过导向滤波器修正后的融合权重图 像；
图15是高分辨率灰度左图像IGray和高分辨率RGB图像
Figure BDA0003493587310000105
经过基于D-SIFT 和导向滤波的图像融合算法得到的最终融合图像；
图16是将最终的融合图像进行颜色纹理映射后得到的最终彩色三维点云数 据。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员 更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和 设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图1是本发明基于图像融合技术的彩色三维点云获取方法一种具体实施方 式的流程图。
在本实施例中，如图1所示，本发明基于图像融合技术的彩色三维点云获 取方法包括以下步骤：
步骤S1：获取不带颜色信息的三维点云
首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高分辨率 灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的左右相 机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg。
步骤S2：采集被测目标RGB图像以及高分辨率灰度左图像
利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将其表示 为
Figure BDA0003493587310000111
其中，像素点像素值表示为
Figure BDA0003493587310000112
ul＝0,...,Ml-1,vl＝0,...,Nl-1，(ul,vl)表 示RGB图像
Figure BDA0003493587310000113
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图像大小， 即RGB图像
Figure BDA0003493587310000114
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表 示为IGray，其中像素点像素值表示为IGray(x,y),x＝0,...,Mh-1,y＝0,...,Nh-1，(x,y)表 示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左 图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh。
步骤S3：对RGB图像
Figure BDA0003493587310000115
进行坐标变换和映射，实现RGB图像与高分辨 率灰度左图像的配准
找出RGB图像
Figure BDA0003493587310000116
与高分辨率灰度左图像Igray的特征匹配点对，根据特征匹 配点对计算出由RGB图像
Figure BDA0003493587310000117
到高分辨率灰度左图像Igray的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul,vl)上：
Figure BDA0003493587310000118
其中，
Figure BDA0003493587310000119
得到经过坐标变换后的坐标(ul′,vl)；
将RGB图像
Figure BDA00034935873100001110
坐标(ul,vl)位置的像素点映射到坐标(u′l,v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure BDA00034935873100001111
其是与高分辨率灰度左图像IGray配准后的 新图像。
步骤S4：对配准后的RGB图像
Figure BDA00034935873100001112
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure BDA00034935873100001113
中被测目标的边界点集ED，将位于被 测边界点集ED内的区域划分为目标区域Zoneobj，位于边界点集ED外的区域划分 为背景区域Zoneback。
将RGB图像
Figure BDA0003493587310000121
中的像素点，按其与边界点集ED中像素点的坐标距离值 PP进行分类，按照坐标距离值PP值将RGB图像
Figure BDA0003493587310000122
中所有的像素点划分到目 标点集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l,v′l),(u′ed,v′ed))≤2，则RGB图像
Figure BDA0003493587310000123
中坐标位置(u′l,v′l)的像素 点划分到边缘点集EP，其中，(u′ed,v′ed)为边界点集ED中距离坐标位置(u′l,v′l)最近的像素点的坐标，PP(·,·)表示求两个坐标之间存在的像素数量即两个坐标的坐 标距离值PP；
(b)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure BDA0003493587310000124
中坐标位置(u′l,v′l)的像素 点位于目标区域Zoneobj，则该像素点划分到目标点集OP；
(c)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure BDA0003493587310000125
中坐标位置(u′l,v′l)的像素 点位于背景区域Zoneback，则该像素点划分到背景点集BP。
步骤S5：对空白的RGB图像
Figure BDA0003493587310000126
进行坐标变换和映射，实现与高分辨率灰 度左图像IGray的分辨率统一
首先创建一个和高分辨率灰度左图像IGray具有相同分辨率，即Mh×Nh大小的 待确定像素点像素值的空白的高分辨率RGB图像
Figure BDA0003493587310000127
其中像素点的像素值表 示为
Figure BDA0003493587310000128
uh＝0,...,Mh-1,vh＝0,...,Nh-1。
然后进行由高分辨率RGB图像
Figure BDA0003493587310000129
中像素点的坐标(uh,vh)到低分辨率的配 准后的RGB图像
Figure BDA00034935873100001210
中像素点的坐标(u,v)的向后变换：
Figure BDA00034935873100001211
其中，
Figure BDA00034935873100001212
用于保证高分辨率RGB图像
Figure BDA00034935873100001213
和低分辨率配准后RGB图像
Figure BDA00034935873100001214
拥 有相同的几何中心和对齐的像素中心，能够保证赋值(插值)结果的准确性。
最后，根据向后变换得到的RGB图像
Figure BDA00034935873100001215
中像素点的坐标(u,v)以及步骤(4) 划分的点集，对高分辨率RGB图像
Figure BDA00034935873100001216
中每个像素点的像素值
Figure BDA00034935873100001217
进行赋 值：
(a)、如果坐标(u,v)位于背景点集BP的像素点区域，则对其插值质量要求 最低，像素值
Figure BDA00034935873100001218
等于RGB图像
Figure BDA00034935873100001219
中坐标(u,v)位置的四个邻域像素点中 最近的像素点的像素值；
(b)、如果坐标(u,v)位于目标点集OP的像素点区域，目标点集OP的像素 点区域中的像素点被认定为远离图像边缘的被测目标内部区域，对其赋值(插 值)质量要求相对背景点集BP的像素点区域高一点，但由于不存在纹理和边缘 等复杂项目，其像素值由映射后坐标处于的最近邻的一个四邻域点进行加权双 线性插值确定。
由于被测目标内部像素点更被希望反应被测目标内部的像素值情况，加上 为了增强插值后的清晰度。为双线性插值加上和该四邻域点距离最近的被测目 标边缘点集EP相关的权重值。
像素值
Figure BDA0003493587310000131
具体为：
Figure BDA0003493587310000132
其中，(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)表示RGB图像
Figure BDA0003493587310000133
中坐标(u,v) 位置的四个邻域像素点的坐标，
Figure BDA0003493587310000134
Figure BDA0003493587310000135
表示四个邻域像素点的像素值，w11,w12,w21,w22为权重系数，它们由 其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure BDA0003493587310000136
Figure BDA0003493587310000137
Figure BDA0003493587310000138
Figure BDA0003493587310000139
其中，(11u′ed,11v′ed)、(21u′ed,21v′ed)、(12u′ed,12v′ed)、(22u′ed,22v′ed)分别为距离坐标(u′l,v′l)、 (u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)位置最近被测目标边界点的坐标。
(c)、如果坐标(u,v)位于边缘点集EP的像素点区域，像素值
Figure BDA00034935873100001310
为：
Figure BDA00034935873100001311
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure BDA0003493587310000141
其中，u′l＝R(u)，v′l＝R(v)，du＝u-u′l，dv＝v-v′l，R(·)表示向最近的整数取整，k(·) 表示卷积双三次插值算法的卷积核函数。
由于边缘像素点在视觉上一定程度上决定了图像的清晰程度。因此其插值 质量需求最高，采取计算量较大的卷积双三次插值。同时，对于被测目标的边 缘像素点的像素值确定由其所处的16邻域而不是4邻域决定。
根据插值中心点
Figure BDA0003493587310000142
确定其周围15个最近邻点的坐标和像素值，综合 利用包含中心点在内的共16个点的像素值为坐标(uh，vh)位置的待赋值的像素点 进行赋值，从而实现插值过程。
在本实施例中，卷积双三次插值算法的卷积核函数为：
Figure BDA0003493587310000143
其中，a是一个影响插值图像清晰度的参数。
步骤S6：基于D-SIFT和导向滤波对高分辨率RGB图像
Figure BDA0003493587310000144
和高分辨率灰 度左图像IGray进行图像融合，在本实施例中，如图2所示，包括以下步骤：
步骤S6.1：对高分辨率RGB图像
Figure BDA0003493587310000145
和高分辨率灰度左图像IGray进行对比 度调整：
Figure BDA0003493587310000146
Figure BDA0003493587310000147
其中，
Figure BDA0003493587310000148
表示增强后的高分辨率RGB图像，
Figure BDA0003493587310000149
表示坐标(uh，vh)位 置像素点的像素值，uh＝0，...，Mh-1，vh＝0，...，Nh-1，JGray表示增强后的高分辨率灰 度左图像，JGray(x,y)表示坐标(x,y)位置像素点的像素值，x＝0,...,Mh-1,y＝0,...,Nh-1， μRGB和μGray分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量， 其定义为：
Figure BDA0003493587310000151
Figure BDA0003493587310000152
步骤S6.2：基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依 据，对于增强后的高分辨率RGB图像
Figure BDA0003493587310000153
和增强后的高分辨率灰度左图像JGray中 所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure BDA0003493587310000154
Figure BDA0003493587310000155
(x,y)DDEGray＝DSIFT(JGray(x,y))
Figure BDA0003493587310000156
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure BDA0003493587310000157
表示增强后的高分辨率RGB图像
Figure BDA0003493587310000158
中的像素点位于坐标(u',v')位置 上的稠密SIFT特征描述符向量，(x,y)DDEGray表示增强后的高分辨率灰度左图像 JGray中的像素点位于坐标(x,y)位置上的稠密SIFT特征描述符向量，
Figure BDA0003493587310000159
(x,y)DDEGray{i}分别表示稠密SIFT特征描述符向量
Figure BDA00034935873100001510
(x,y)DDEGray{i}的第i 维，
Figure BDA00034935873100001511
表示增强后的高分辨率RGB图像
Figure BDA00034935873100001512
中像素点位于坐标(uh,vh)位 置上活动水平，CGray(x,y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐 标(x,y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure BDA00034935873100001513
和增 强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure BDA00034935873100001514
Figure BDA00034935873100001515
其中，
Figure BDA0003493587310000161
分别为增强后的高分辨率RGB图像
Figure BDA0003493587310000162
增强后的高分辨 率灰度左图像JGray归一化到[0,1]之间后的增强图像，
Figure BDA0003493587310000163
MGray分别为增强后 的高分辨率RGB图像
Figure BDA0003493587310000164
增强后的高分辨率灰度左图像JGray的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure BDA0003493587310000165
Figure BDA0003493587310000166
Figure BDA0003493587310000167
Figure BDA0003493587310000168
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合， 以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure BDA0003493587310000169
Figure BDA00034935873100001610
其中，
Figure BDA00034935873100001611
分别为增强后的高分辨率RGB图像
Figure BDA00034935873100001612
的局部 对比度二值图
Figure BDA00034935873100001613
和显著结构二值图
Figure BDA00034935873100001614
位于坐标(i,j)位置的值，
Figure BDA00034935873100001615
Figure BDA00034935873100001616
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure BDA00034935873100001617
和 显著结构二值图
Figure BDA00034935873100001618
位于坐标(i,j)位置的值，
Figure BDA00034935873100001619
WGray(i,j)分别为高分辨 率RGB图像
Figure BDA00034935873100001620
和高分辨率灰度左图像IGray的融合权重图
Figure BDA00034935873100001621
WGray位于坐标 (i,j)位置的值；
步骤S6.3：首先，利用具有边缘保持功能的引导滤波器进行融合权重图的 平滑：
Figure BDA00034935873100001622
RWGray＝GFr,ε(WGray,WGray)
其中，GFr,ε表示引导滤波器，r,ε为引导滤波器参数，用于控制滤波窗大小 和模糊程度，融合权重图
Figure BDA00034935873100001623
WGray都同时作为输入图像和引导图像分别输入引 导滤波器，得到平滑的融合权重图
Figure BDA00034935873100001624
RWGray；
然后，对融合权重图
Figure BDA00034935873100001625
RWGray进行归一化：
Figure BDA0003493587310000171
Figure BDA0003493587310000172
其中，κ为一个避免出现0值的正数，
Figure BDA0003493587310000173
和RWGray′是归一化后的融合权 重图；
步骤S6.4：首先，对融合权重图
Figure BDA0003493587310000174
RWGray′进行高斯金字塔分解，对高 分辨率RGB图像
Figure BDA0003493587310000175
高分辨率灰度左图像IGray进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure BDA0003493587310000176
与融合权重图
Figure BDA0003493587310000177
高分辨率灰度左图像 IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图 像Fl：
Figure BDA0003493587310000178
其中，l表示金字塔层级序号，G{·}l、L{·}l分别表示对应图像在第l层的高 斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像Fl进行合并得到最终的融合图像F；
步骤S7：融合图像F映射到三维点云PCg得到带有颜色信息的RGB三维点 云PCrgb
利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标上的3 通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有颜色信 息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维模型。
实例
在本实例中，三维重建的被测目标为拥有两个球形子物件和一个圆柱形子 物件的类哑铃形物体。被测目标上拥有的颜色以银白色为主、同时包含有黑色、 白色和绿色等多种颜色信息。
在本实例中，利用结合了结构光技术和双目视觉技术的基于高分辨率灰度 相机获取的高精度不带颜色信息的原始点云数据PCg如图3所示。
双目视觉系统中的高分辨率灰度左相机所采集到的图像IGray如图4所示，其 分辨率为2048×2448，拥有一共5013504个像素点；光学RGB相机所采集到的彩 色图像
Figure BDA0003493587310000179
如图5所示，其分辨率为1755×2340，拥有一种4106700个像素点。
利用基于目标导向分区域插值的融合图像分辨率统一使配准后的光学RGB 图像
Figure BDA0003493587310000181
和高分辨率灰度左图像IGray的分辨率保持严格一致，得到高分辨的RGB 图像
Figure BDA0003493587310000182
高分辨的RGB图像
Figure BDA0003493587310000183
分辨率为2048×2448，拥有一共5013504个像素 点。图像分辨率统一的结果如图6所示。
利用基于D-SIFT和导向滤波的图像融合技术对超分辨率后的RGB图像
Figure BDA0003493587310000184
和高分辨率灰度左相机所采集到的图像IGray进行图像融合。对高分辨率灰度左图 像IGray和超分辨率后的RGB图像
Figure BDA0003493587310000185
分别进行图像对比度调整和增强，得到JGray和
Figure BDA0003493587310000186
它们图像增强后的结果分别如图7、8所示。
用D-SIFT在图像
Figure BDA0003493587310000187
和JGray中每个像素处生成D-SIFT特征描述符向量，基 于特征描述符测得图像各个像素处的活动水平值，获取到的增强后的高分辨率 灰度左图像JGray和超分辨率后的RGB图像
Figure BDA0003493587310000188
的活动水平图像分别如图9、10 所示。
利用基于梯度幅值原理对增强后的高分辨率灰度左图像JGray和超分辨率后 的RGB图像
Figure BDA0003493587310000189
中所拥有的显著性结构特征进行提取，提取到的JGray和
Figure BDA00034935873100001810
中蕴 含的显著结构特征图像如图11、12所示。
基于两幅图像的活动水平特征和显著性结构特征图像，利用Winner-take-all 原则计算和统计各个像素处的融合权重值。获取到两个图像在融合过程中的初 步融合权重图。利用导向滤波器对初步的融合权重图进行滤波以进一步细化和 归一化，得到最终的融合权重图
Figure BDA00034935873100001811
和RWGray'。最终的高分辨率灰度左图像 JGray和超分辨率后的RGB图像
Figure BDA00034935873100001812
对应的融合权重图
Figure BDA00034935873100001813
和RWGray'分别如图 14、15所示。
基于得到的最终细化后的融合权重图
Figure BDA00034935873100001814
和RWGray'和待融合的原始图像
Figure BDA00034935873100001815
和IGray，利用高斯金子塔和拉普拉斯金字塔对
Figure BDA00034935873100001816
RWGray'、
Figure BDA00034935873100001817
和IGray进 行分解，将源图像和权重图分解成不同分辨率上的金字塔形图像。然后在不同 分辨率上对各层分解后的图像进行加权融合。最后将融合后的各层图像执行金 字塔重构得到最终的融合了高分辨率灰度图像和对应的颜色信息的融合图像F。 得到的最终融合结果如图16所示。
利用双目视觉系统中高分辨率左相机视图进行立体匹配得到三维点云坐标， 并将基于高分辨率左相机图像和RGB图像得到的融合图像中的像素坐标中的 RGB信息映射到三维点云坐标中，得到最终的彩色三维点云数据。最终的彩色 三维点云数据如图16所示。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域 的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对 本技术邻域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定 的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发 明创造均在保护之列。

Claims (1)

1.一种基于图像融合技术的彩色三维点云获取方法，其特征在于，包括：
(1)、首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高分辨率灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的左右相机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg；
(2)、利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将其表示为
Figure FDA0003493587300000011
其中，像素点像素值表示为
Figure FDA0003493587300000012
(ul，vl)表示RGB图像
Figure FDA0003493587300000013
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图像大小，即RGB图像
Figure FDA0003493587300000014
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表示为IGray，其中像素点像素值表示为IGray(x，y)，x＝0，...，Mh-1，y＝0，...，Nh-1，(x，y)表示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh；
(3)、对RGB图像
Figure FDA0003493587300000015
进行坐标变换和映射，实现RGB图像与高分辨率灰度左图像的配准
找出RGB图像
Figure FDA0003493587300000016
与高分辨率灰度左图像Igray的特征匹配点对，根据特征匹配点对计算出由RGB图像
Figure FDA0003493587300000017
到高分辨率灰度左图像Igray的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul，vl)上：
Figure FDA0003493587300000018
其中，
Figure FDA0003493587300000019
得到经过坐标变换后的坐标(u′l，v′l)；
将RGB图像
Figure FDA00034935873000000110
坐标(ul，vl)位置的像素点映射到坐标(u′l，v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure FDA00034935873000000111
其是与高分辨率灰度左图像IGray配准后的新图像；
(4)、对配准后的RGB图像
Figure FDA00034935873000000112
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure FDA00034935873000000113
中被测目标的边界点集ED，将位于被测边界点集ED内的区域划分为目标区域Zoneobj，位于边界点集ED外的区域划分为背景区域Zoneback；
将RGB图像
Figure FDA00034935873000000114
中的像素点，按其与边界点集ED中像素点的坐标距离值PP进行分类，按照坐标距离值PP值将RGB图像
Figure FDA0003493587300000021
中所有的像素点划分到目标点集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l，v′l)，(u′ed，v′ed))≤2，则RGB图像
Figure FDA0003493587300000022
中坐标位置(u′l，v′l)的像素点划分到边缘点集EP，其中，(u′ed，v′ed)为边界点集ED中距离坐标位置(u′l，v′l)最近的像素点的坐标，PP(·，·)表示求两个坐标之间存在的像素数量即两个坐标的坐标距离值PP；
(b)、如果PP((u′l，v′l)，(u′ed，v′ed))＞2，且RGB图像
Figure FDA0003493587300000023
中坐标位置(u′l，v′l)的像素点位于目标区域Zoneobj，则该像素点划分到目标点集OP；
(c)、如果PP((u′l，v′l)，(u′ed，v′ed))＞2，且RGB图像
Figure FDA00034935873000000218
中坐标位置(u′l，v′l)的像素点位于背景区域Zoneback，则该像素点划分到背景点集BP；
(5)、对空白的RGB图像
Figure FDA0003493587300000024
进行坐标变换和映射，实现与高分辨率灰度左图像IGray的分辨率统一
首先创建一个和高分辨率灰度左图像IGray具有相同分辨率，即Mh×Nh大小的待确定像素点像素值的空白的高分辨率RGB图像
Figure FDA0003493587300000025
其中像素点的像素值表示为
Figure FDA0003493587300000026
然后进行由高分辨率RGB图像
Figure FDA0003493587300000027
中像素点的坐标(uh，vh)到低分辨率的配准后的RGB图像
Figure FDA0003493587300000028
中像素点的坐标(u，v)的向后变换：
Figure FDA0003493587300000029
最后，根据向后变换得到的RGB图像
Figure FDA00034935873000000210
中像素点的坐标(u，v)以及步骤(4)划分的点集，对高分辨率RGB图像
Figure FDA00034935873000000211
中每个像素点的像素值
Figure FDA00034935873000000212
进行赋值：
(a)、如果坐标(u，v)位于背景点集BP的像素点区域，则像素值
Figure FDA00034935873000000213
等于RGB图像
Figure FDA00034935873000000214
中坐标(u，v)位置的四个邻域像素点中最近的像素点的像素值；
(b)、如果坐标(u，v)位于目标点集OP的像素点区域，像素值
Figure FDA00034935873000000215
为：
Figure FDA00034935873000000216
其中，(u′l，v′l)、(u′l+1，v′l)、(u′l，v′l+1)、(u′l+1，v′l+1)表示RGB图像
Figure FDA00034935873000000217
中坐标(u，v)位置的四个邻域像素点的坐标，
Figure FDA0003493587300000031
Figure FDA0003493587300000032
表示四个邻域像素点的像素值，w11，w12，w21，w22为权重系数，它们由其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure FDA0003493587300000033
Figure FDA0003493587300000034
Figure FDA0003493587300000035
Figure FDA0003493587300000036
其中，(11u′ed，11v′ed)、(21u′ed，21v′ed)、(12u′ed，12v′ed)、(22u′ed，22v′ed)分别为距离坐标(u′l，v′l)、(u′l+1，v′l)、(u′l，v′l+1)、(u′l+1，v′l+1)位置最近被测目标边界点的坐标；
(c)、如果坐标(u，v)位于边缘点集EP的像素点区域，像素值
Figure FDA00034935873000000315
为：
Figure FDA0003493587300000037
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure FDA0003493587300000038
其中，u′l＝R(u)，v′l＝R(v)，du＝u-u′l，dv＝v-v′l，R(·)表示向最近的整数取整，k(·)表示卷积双三次插值算法的卷积核函数；
(6)、基于D-SIFT和导向滤波对高分辨率RGB图像
Figure FDA0003493587300000039
和高分辨率灰度左图像IGray进行图像融合
6.1)、对高分辨率RGB图像
Figure FDA00034935873000000310
和高分辨率灰度左图像IGray进行对比度调整：
Figure FDA00034935873000000311
Figure FDA00034935873000000312
其中，
Figure FDA00034935873000000313
表示增强后的高分辨率RGB图像，
Figure FDA00034935873000000314
表示坐标(uh，vh)位置像素点的像素值，uh＝0，...，Mh-1，vh＝0，...，Nh-1，JGray表示增强后的高分辨率灰度左图像，JGray(x，y)表示坐标(x，y)位置像素点的像素值，x＝0，...，Mh-1，y＝0，...，Nh-1，μRGB和μGray分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量，其定义为：
Figure FDA0003493587300000041
Figure FDA0003493587300000042
6.2)、基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依据，对于增强后的高分辨率RGB图像
Figure FDA0003493587300000043
和增强后的高分辨率灰度左图像JGray中所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure FDA0003493587300000044
Figure FDA0003493587300000045
Figure FDA0003493587300000046
Figure FDA0003493587300000047
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure FDA0003493587300000048
表示增强后的高分辨率RGB图像
Figure FDA0003493587300000049
中的像素点位于坐标(u′，v′)位置上的稠密SIFT特征描述符向量，(x，y)DDEGray表示增强后的高分辨率灰度左图像JGray中的像素点位于坐标(x，y)位置上的稠密SIFT特征描述符向量，
Figure FDA00034935873000000410
(x，y)DDEGray{i}分别表示稠密SIFT特征描述符向量
Figure FDA00034935873000000411
(x，y)DDEGray{i}的第i维，
Figure FDA00034935873000000412
表示增强后的高分辨率RGB图像
Figure FDA00034935873000000413
中像素点位于坐标(uh，vh)位置上活动水平，CGray(x，y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐标(x，y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure FDA00034935873000000414
和增强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure FDA0003493587300000051
Figure FDA0003493587300000052
其中，
Figure FDA0003493587300000053
分别为增强后的高分辨率RGB图像
Figure FDA0003493587300000054
增强后的高分辨率灰度左图像JGray归一化到[0，1]之间后的增强图像，
Figure FDA0003493587300000055
MGray分别为增强后的高分辨率RGB图像
Figure FDA0003493587300000056
增强后的高分辨率灰度左图像JGray的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure FDA0003493587300000057
Figure FDA0003493587300000058
Figure FDA0003493587300000059
Figure FDA00034935873000000510
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合，以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure FDA00034935873000000511
Figure FDA00034935873000000512
其中，
Figure FDA00034935873000000513
分别为增强后的高分辨率RGB图像
Figure FDA00034935873000000514
的局部对比度二值图
Figure FDA00034935873000000515
和显著结构二值图
Figure FDA00034935873000000516
位于坐标(i，j)位置的值，
Figure FDA00034935873000000517
Figure FDA00034935873000000518
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure FDA00034935873000000519
和显著结构二值图
Figure FDA00034935873000000520
位于坐标(i，j)位置的值，
Figure FDA00034935873000000521
WGray(i，j)分别为高分辨率RGB图像
Figure FDA00034935873000000522
和高分辨率灰度左图像IGray的融合权重图
Figure FDA00034935873000000523
WGray位于坐标(i，j)位置的值；
6.3)、首先，利用具有边缘保持功能的引导滤波器进行融合权重图的平滑：
Figure FDA00034935873000000524
RWGray＝GFr，ε(WGray，WGray)
其中，GFr，ε表示引导滤波器，r，ε为引导滤波器参数，用于控制滤波窗大小和模糊程度，融合权重图
Figure FDA00034935873000000525
WGray都同时作为输入图像和引导图像分别输入引导滤波器，得到平滑的融合权重图
Figure FDA0003493587300000061
RWGray；
然后，对融合权重图
Figure FDA0003493587300000062
RWGray进行归一化：
Figure FDA0003493587300000063
Figure FDA0003493587300000064
其中，κ为一个避免出现0值的正数，
Figure FDA0003493587300000065
和RWGray′是归一化后的融合权重图；
6.4)、首先，对融合权重图
Figure FDA0003493587300000066
RWGray′进行高斯金字塔分解，对高分辨率RGB图像
Figure FDA0003493587300000067
高分辨率灰度左图像IGray进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure FDA0003493587300000068
与融合权重图
Figure FDA0003493587300000069
高分辨率灰度左图像IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图像Fl：
Figure FDA00034935873000000610
其中，l表示金字塔层级序号，G{·}l、L{·}l分别表示对应图像在第l层的高斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像Fl进行合并得到最终的融合图像F；
(7)、利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标上的3通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有颜色信息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维模型。
CN202210106284.7A 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法 Active CN114549669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106284.7A CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106284.7A CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Publications (2)

Publication Number Publication Date
CN114549669A true CN114549669A (zh) 2022-05-27
CN114549669B CN114549669B (zh) 2023-04-21

Family

ID=81674575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106284.7A Active CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Country Status (1)

Country Link
CN (1) CN114549669B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433881A (zh) * 2023-06-12 2023-07-14 合肥联宝信息技术有限公司 二维图像的获得方法、装置、电子设备及存储介质
CN116630220A (zh) * 2023-07-25 2023-08-22 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850850A (zh) * 2015-04-05 2015-08-19 中国传媒大学 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
US20190325638A1 (en) * 2018-04-23 2019-10-24 Intel Corporation Smart point cloud reconstruction of objects in visual scenes in computing environments
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850850A (zh) * 2015-04-05 2015-08-19 中国传媒大学 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
US20190325638A1 (en) * 2018-04-23 2019-10-24 Intel Corporation Smart point cloud reconstruction of objects in visual scenes in computing environments
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOSSAIN MD等: "segmentation for object-based image analysis（OBIA）：a review of algorithms and challenges from remote sensing perspective" *
马跃龙;曹雪峰;万刚;李登峰;: "一种基于深度相机的机器人室内导航点云地图生成方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433881A (zh) * 2023-06-12 2023-07-14 合肥联宝信息技术有限公司 二维图像的获得方法、装置、电子设备及存储介质
CN116433881B (zh) * 2023-06-12 2023-10-13 合肥联宝信息技术有限公司 二维图像的获得方法、装置、电子设备及存储介质
CN116630220A (zh) * 2023-07-25 2023-08-22 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Also Published As

Publication number Publication date
CN114549669B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
Kiechle et al. A joint intensity and depth co-sparse analysis model for depth map super-resolution
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN112686935B (zh) 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN114549669A (zh) 一种基于图像融合技术的彩色三维点云获取方法
Lindner et al. Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images
CN115147709B (zh) 一种基于深度学习的水下目标三维重建方法
Lin et al. The initial study of LLS-based binocular stereo-vision system on underwater 3D image reconstruction in the laboratory
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
Mutahira et al. Focus measurement in color space for shape from focus systems
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN115761178A (zh) 基于隐式神经表示的多视图三维重建方法
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
CN116993826A (zh) 一种基于局部空间聚合神经辐射场的场景新视图生成方法
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
CN108830804B (zh) 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN116486015A (zh) 一种格子柜的三维尺寸自动检测和cad数模重建方法
CN114549307B (zh) 一种基于低分辨率图像的高精度点云色彩重建方法
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN106530389B (zh) 基于中波红外人脸图像的立体重构方法
CN114972276A (zh) 一种车辆自动驾驶距离判断算法
CN110390339B (zh) 一种图像校正方法、装置及存储介质
CN113808019A (zh) 一种非接触测量系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant