CN114549669B - 一种基于图像融合技术的彩色三维点云获取方法 - Google Patents

一种基于图像融合技术的彩色三维点云获取方法 Download PDF

Info

Publication number
CN114549669B
CN114549669B CN202210106284.7A CN202210106284A CN114549669B CN 114549669 B CN114549669 B CN 114549669B CN 202210106284 A CN202210106284 A CN 202210106284A CN 114549669 B CN114549669 B CN 114549669B
Authority
CN
China
Prior art keywords
image
gray
high resolution
rgb
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210106284.7A
Other languages
English (en)
Other versions
CN114549669A (zh
Inventor
殷春
谭旭彤
陈凯
罗健浩
刘俊杰
程玉华
邱根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210106284.7A priority Critical patent/CN114549669B/zh
Publication of CN114549669A publication Critical patent/CN114549669A/zh
Application granted granted Critical
Publication of CN114549669B publication Critical patent/CN114549669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像融合技术的彩色三维点云获取方法，首先获取不带颜色信息的三维点云PCg，然后利用RGB相机采集被测目标真实颜色，获得颜色纹理信息。基于两次图像坐标变换和映射，结合三种赋值(插值)方法，在保证重要的信息的同时更有针对性地解决不同区域的赋值(插值)需求，提高算法运行效率。引入图像融合算法，将D‑SIFT和梯度幅值作为融合权重图的构成来源，能够在融合RGB信息的同时保留高分辨率灰度图像的清晰优势，提升融合图像的质量，基于双目视觉原理将被测目标的真实颜色纹理信息映射到原始三维点云数据中，实现三维点云的着色和彩色三维重建功能，以提高航天器损伤检测和评估的准确性和完整性。

Description

一种基于图像融合技术的彩色三维点云获取方法
技术邻域
本发明属于彩色三维重建技术领域，更为具体地讲，涉及一种基于图像融合技术的彩色三维点云获取方法。
背景技术
航天器在运行过程中不可避免地会受到一系列的安全威胁，包括高能粒子、空间碎片、流星体和微流星暴等。在高速飞行的前提下，微小的粒子也拥有毁灭性的能量。航天器的安全性对航天器的正常运转至关重要。因此航天器的损伤评估和检测是不可或缺的。
三维重建技术是指运用电子仪器等设备将被测目标的外部形貌信息转换成离散的三维坐标数据，并存储数据以及可视化的过程。它能够通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。高精度的三维信息在飞行器设计、发动机探伤、雷达测绘、航天器位姿跟踪检测及估计、航天器损害评估、逆向工程和零部件再造中有重大的应用意义。
目前使用最广泛的一种三维重建技术是结构光法三维重建，通过向表面光滑无特征的被测目标发射可编码的光束，然后通过一定算法计算返回的编码图案的畸变来得到物体的位置和深度信息，实现三维模型重建。近年来，由于机器视觉的迅速发展，使得通过二维图像获得三维场景信息变为现实。双目视觉测量技术模仿人眼成像原理来进行三维测量。通过对图像进行处理获得特征点的视差值，然后结合双目视觉系统的相关参数，计算出物体表面点的三维坐标。然而当待测物体表面的纹理信息较弱时，能提取出的特征点数量较少，不能生成稠密的视差图，使得重建精度较低。
但是，不论是结构光法还是双目视觉测量技术，都只能获取到物体的深度图像。而深度图像不带有任何物体本身的颜色和纹理信息，因此重建出来的被测目标的三维模型是没有颜色的，只是单纯的带有几何位置信息的三维空间坐标点。而颜色信息作为重要的特征信息，不论是对人眼感知还是机器视觉的特征提取都有重要的意义。在航天器损伤检测中，高质量的真实的带有颜色信息的点云相比苍白的单纯的灰度点云数据，一方面能够使人眼迅速发现损害部分，避免航天器缺陷遗漏，提升检测完备率；另一方面也能提高三维重建质量，增加清晰的特征细节，在缺陷识别、数模对比，提升航天器损伤查全率和查准率方面具有重大意义。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于图像融合技术的彩色三维点云获取方法，将被测目标的真实颜色纹理信息映射到原始三维点云数据中，实现三维点云的着色和彩色三维重建功能，以提高航天器损伤检测和评估的准确性和完整性。
为实现上述发明目的，本发明基于图像融合技术的彩色三维点云获取方法，其特征在于，包括：
(1)、首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高分辨率灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的左右相机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg；
(2)、利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将其表示为
Figure GDA0003540481190000021
其中，像素点像素值表示为
Figure GDA0003540481190000022
(ul,vl)表示RGB图像
Figure GDA0003540481190000023
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图像大小，即RGB图像
Figure GDA0003540481190000024
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表示为IGray，其中像素点像素值表示为IGray(x,y),x＝0,...,Mh-1,y＝0,...,Nh-1，(x,y)表示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh；
(3)、对RGB图像
Figure GDA0003540481190000025
进行坐标变换和映射，实现RGB图像与高分辨率灰度左图像的配准
找出RGB图像
Figure GDA0003540481190000026
与高分辨率灰度左图像Igray的特征匹配点对，根据特征匹配点对计算出由RGB图像
Figure GDA0003540481190000027
到高分辨率灰度左图像Igray的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul,vl)上：
Figure GDA0003540481190000031
其中，
Figure GDA0003540481190000032
得到经过坐标变换后的坐标(u′l,v′l)；
将RGB图像
Figure GDA0003540481190000033
坐标(ul,vl)位置的像素点映射到坐标(u′l,v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure GDA0003540481190000034
其是与高分辨率灰度左图像IGray配准后的新图像；
(4)、对配准后的RGB图像
Figure GDA0003540481190000035
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure GDA0003540481190000036
中被测目标的边界点集ED，将位于被测边界点集ED内的区域划分为目标区域Zoneobj，位于边界点集ED外的区域划分为背景区域Zoneback；
将RGB图像
Figure GDA0003540481190000037
中的像素点，按其与边界点集ED中像素点的坐标距离值PP进行分类，按照坐标距离值PP值将RGB图像
Figure GDA0003540481190000038
中所有的像素点划分到目标点集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l,v′l),(u′ed,v′ed))≤2，则RGB图像
Figure GDA0003540481190000039
中坐标位置(u′l,v′l)的像素点划分到边缘点集EP，其中，(u′ed,v′ed)为边界点集ED中距离坐标位置(u′l,v′l)最近的像素点的坐标，PP(·,·)表示求两个坐标之间存在的像素数量即两个坐标的坐标距离值PP；
(b)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure GDA00035404811900000310
中坐标位置(u′l,v′l)的像素点位于目标区域Zoneobj，则该像素点划分到目标点集OP；
(c)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure GDA00035404811900000311
中坐标位置(u′l,v′l)的像素点位于背景区域Zoneback，则该像素点划分到背景点集BP；
(5)、对空白的RGB图像
Figure GDA00035404811900000312
进行坐标变换和映射，实现与高分辨率灰度左图像IGray的分辨率统一
首先创建一个和高分辨率灰度左图像IGray具有相同分辨率，即Mh×Nh大小的待确定像素点像素值的空白的高分辨率RGB图像
Figure GDA00035404811900000313
其中像素点的像素值表示为
Figure GDA00035404811900000314
然后进行由高分辨率RGB图像
Figure GDA00035404811900000315
中像素点的坐标(uh,vh)到低分辨率的配准后的RGB图像
Figure GDA00035404811900000316
中像素点的坐标(u,v)的向后变换：
Figure GDA0003540481190000041
最后，根据向后变换得到的RGB图像
Figure GDA0003540481190000042
中像素点的坐标(u,v)以及步骤(4)划分的点集，对高分辨率RGB图像
Figure GDA0003540481190000043
中每个像素点的像素值
Figure GDA0003540481190000044
进行赋值：
(a)、如果坐标(u,v)位于背景点集BP的像素点区域，则像素值
Figure GDA0003540481190000045
等于RGB图像
Figure GDA0003540481190000046
中坐标(u,v)位置的四个邻域像素点中最近的像素点的像素值；
(b)、如果坐标(u,v)位于目标点集OP的像素点区域，像素值
Figure GDA0003540481190000047
为：
Figure GDA0003540481190000048
其中，(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)表示RGB图像
Figure GDA0003540481190000049
中坐标(u,v)位置的四个邻域像素点的坐标，
Figure GDA00035404811900000410
Figure GDA00035404811900000411
表示四个邻域像素点的像素值，w11,w12,w21,w22为权重系数，它们由其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure GDA00035404811900000412
Figure GDA00035404811900000413
Figure GDA00035404811900000414
Figure GDA00035404811900000415
其中，(11u′ed,11v′ed)、(21u′ed,21v′ed)、(12u′ed,12v′ed)、(22u′ed,22v′ed)分别为距离坐标(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)位置最近被测目标边界点的坐标；
(c)、如果坐标(u,v)位于边缘点集EP的像素点区域，像素值
Figure GDA00035404811900000416
为：
Figure GDA00035404811900000417
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure GDA0003540481190000051
其中，u′l＝R(u),v′l＝R(v),du＝u-u′l,dv＝v-v′l，R(·)表示向最近的整数取整，k(·)表示卷积双三次插值算法的卷积核函数；
(6)、基于D-SIFT和导向滤波对高分辨率RGB图像
Figure GDA0003540481190000052
和高分辨率灰度左图像IGray进行图像融合
6.1)、对高分辨率RGB图像
Figure GDA0003540481190000053
和高分辨率灰度左图像IGray进行对比度调整：
Figure GDA0003540481190000054
Figure GDA0003540481190000055
其中，
Figure GDA0003540481190000056
表示增强后的高分辨率RGB图像，
Figure GDA0003540481190000057
表示坐标(uh,vh)位置像素点的像素值，uh＝0,...,Mh-1,vh＝0,...,Nh-1，JGray表示增强后的高分辨率灰度左图像，JGray(x,y)表示坐标(x,y)位置像素点的像素值，x＝0,...,Mh-1,y＝0,...,Nh-1，μRGB和μGray分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量，其定义为：
Figure GDA0003540481190000058
Figure GDA0003540481190000059
6.2)、基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依据，对于增强后的高分辨率RGB图像
Figure GDA00035404811900000510
和增强后的高分辨率灰度左图像JGray中所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure GDA0003540481190000061
Figure GDA0003540481190000062
(x,y)DDEGray＝DSIFT(JGray(x,y))
Figure GDA0003540481190000063
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure GDA0003540481190000064
表示增强后的高分辨率RGB图像
Figure GDA0003540481190000065
中的像素点位于坐标(u′,v′)位置上的稠密SIFT特征描述符向量，(x,y)DDEGray表示增强后的高分辨率灰度左图像JGray中的像素点位于坐标(x,y)位置上的稠密SIFT特征描述符向量，
Figure GDA0003540481190000066
(x,y)DDEGray{i}分别表示稠密SIFT特征描述符向量
Figure GDA0003540481190000067
(x,y)DDEGray{i}的第i维，
Figure GDA0003540481190000068
表示增强后的高分辨率RGB图像
Figure GDA0003540481190000069
中像素点位于坐标(uh,vh)位置上活动水平，CGray(x,y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐标(x,y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure GDA00035404811900000610
和增强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure GDA00035404811900000611
Figure GDA00035404811900000612
其中，
Figure GDA00035404811900000613
分别为增强后的高分辨率RGB图像
Figure GDA00035404811900000614
增强后的高分辨率灰度左图像JGray归一化到[0,1]之间后的增强图像，
Figure GDA00035404811900000615
MGray分别为增强后的高分辨率RGB图像
Figure GDA00035404811900000616
增强后的高分辨率灰度左图像JGray的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure GDA00035404811900000617
Figure GDA00035404811900000618
Figure GDA00035404811900000619
Figure GDA00035404811900000620
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合，以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure GDA0003540481190000071
Figure GDA0003540481190000072
其中，
Figure GDA0003540481190000073
分别为增强后的高分辨率RGB图像
Figure GDA0003540481190000074
的局部对比度二值图
Figure GDA0003540481190000075
和显著结构二值图
Figure GDA0003540481190000076
位于坐标(i,j)位置的值，
Figure GDA0003540481190000077
Figure GDA0003540481190000078
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure GDA0003540481190000079
和显著结构二值图
Figure GDA00035404811900000710
位于坐标(i,j)位置的值，
Figure GDA00035404811900000711
WGray(i,j)分别为高分辨率RGB图像
Figure GDA00035404811900000712
和高分辨率灰度左图像IGray的融合权重图
Figure GDA00035404811900000713
WGray位于坐标(i,j)位置的值；
6.3)、首先，利用具有边缘保持功能的引导滤波器进行融合权重图的平滑：
Figure GDA00035404811900000714
RWGray＝GFr,ε(WGray,WGray)
其中，GFr,ε表示引导滤波器，r,ε为引导滤波器参数，用于控制滤波窗大小和模糊程度，融合权重图
Figure GDA00035404811900000715
WGray都同时作为输入图像和引导图像分别输入引导滤波器，得到平滑的融合权重图
Figure GDA00035404811900000716
RWGray；
然后，对融合权重图
Figure GDA00035404811900000717
RWGray进行归一化：
Figure GDA00035404811900000718
Figure GDA00035404811900000719
其中，κ为一个避免出现0值的正数，
Figure GDA00035404811900000720
和RWGray′是归一化后的融合权重图；
6.4)、首先，对融合权重图
Figure GDA00035404811900000721
RWGray′进行高斯金字塔分解，对高分辨率RGB图像
Figure GDA00035404811900000722
高分辨率灰度左图像IGray进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure GDA00035404811900000723
与融合权重图
Figure GDA00035404811900000724
高分辨率灰度左图像IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图像Fl：
Figure GDA00035404811900000725
其中，l表示金字塔层级序号，G{·}l、L{·}l分别表示对应图像在第l层的高斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像Fl进行合并得到最终的融合图像F；
(7)、利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标上的3通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有颜色信息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维模型。
本发明的发明目的是这样实现的：
本发明基于图像融合技术的彩色三维点云获取方法，首先通过结合结构光技术和高分辨率灰度相机双目视觉系统，获取不带颜色信息的三维点云PCg，然后利用RGB相机采集被测目标真实颜色，获得颜色纹理信息。基于两次图像坐标变换和映射，首先实现RGB图像
Figure GDA0003540481190000081
和高分辨率灰度左图像IGray配准，然后基于目标导向分区域赋值，实现RGB图像
Figure GDA0003540481190000082
的超分辨率并得到和高分辨率灰度左图像IGray相一致分辨率的RGB图像
Figure GDA0003540481190000083
其中，基于边缘检测算法和被测目标本身，将RGB图像
Figure GDA0003540481190000084
中的像素点划分到目标点集OP、边缘点集EP或背景点集BP，根据不同点集的的像素点区域，有针对性地执行不同的赋值策略。对于需求赋值(插值)质量不高位于背景点集BP像素点区域的像素点，基于4邻域信息执行计算量最小的最近邻赋值(插值)策略；对于需求次之的位于目标点集OP的像素点区域的的像素点，基于4邻域信息执行加权双线性赋值(插值)提高一定的赋值(插值)质量；对于需求高质量位于边缘点集EP的像素点区域的像素点，利用其16个邻域的信息执行计算量最高的卷积双三次赋值(插值)，以保证其较高的插值质量。结合三种赋值(插值)方法，在保证重要的信息的同时更有针对性地解决不同区域的赋值(插值)需求，提高算法运行效率。同时在实现RGB图像
Figure GDA0003540481190000085
和高分辨率灰度左图像IGray配准和分辨率统一后，引入图像融合算法，将RGB图像
Figure GDA0003540481190000086
中的颜色纹理信息和高分辨率灰度左图像IGray进行信息融合。图像融合结合了D-SIFT特征描述符向量和显著性结构特征，这样一方面利用D-SIFT算法能在每个像素处提取非稀疏化的图像局部特征描述符，另一方面基于权重幅值提取的显著结构特征，能够提高图像中的显著结构特征信息在融合权重图中的占比。将D-SIFT和梯度幅值作为融合权重图的构成来源，能够在融合RGB信息的同时保留高分辨率灰度图像的清晰优势，提升融合图像的质量，包括对比度和锐度等。之后利用具有边缘保持特性的导向滤波器进一步修正和细化融合权重图，保证融合边缘的质量，去除人工伪影。最后基于金字塔分解和融合将高分辨率RGB图像
Figure GDA0003540481190000091
高分辨率灰度左图像IGray进行融合，得到融合了正确颜色信息的高精度的融合图像F，并基于双目视觉原理将融合图像中对应像素位置上的颜色信息映射到不带颜色信息的三维点云PCg中，实现三维点云的着色。
同时，本发明基于图像融合技术的彩色三维点云获取方法还具有以下有益效果：
1、本发明采用结合了结构光技术的双目视觉系统，并利用了光学RGB相机采集额外的被测目标颜色纹理信息，基于引入的图像融合算法，实现了颜色信息和灰度左相机图像的图像融合。并将融合图像像素映射到三维点云中，实现了彩色三维点云的获取，弥补了传统三维重建算法无法得到带有颜色信息的三维点云的不足。本发明得到的点云数据相比传统三维重建算法得到的点云多了一个颜色维度上的被测目标三维几何特征；
2、本发明采用基于被测目标本身为导向的分区域插值图像分辨率统一算法，利用被测目标本身在原始RGB图像中所处的位置，将图像像素点划分到目标点集OP、边缘点集EP或背景点集BP。在不同区域针对性地执行不同的赋值(插值)策略，从而将低分辨率的RGB图像中蕴含的颜色纹理信息映射到一张和高分辨率灰度左相机图像相同分辨率的RGB图像中，实现RGB图像的超分辨率。算法结合了三种插值方法，在保证重要的信息的同时更有针对性地解决不同区域的插值需求，提高算法运行效率；
3、本发明采用基于D-SIFT和导向滤波的图像融合算法，将超分辨率后的RGB图像和高分辨率灰度左相机图像进行图像融合，提升了灰度图像和RGB信息的融合质量。利用了D-SIFT的图像局部特征描述符和基于梯度幅值的显著性结构特征两个方面构建融合权重图，能够在融合RGB信息的同时保留高分辨率灰度图像的清晰优势。并利用具有边缘保持特征的导向滤波器对融合权重图进行修正和细化，从而进一步提升融合图像的边缘信息融合质量。
附图说明
图1是本发明基于图像融合技术的彩色三维点云获取方法一种具体实施方式的流程图；
图2是图1所示的基于D-SIFT和导向滤波对高分辨率RGB图像
Figure GDA0003540481190000101
和高分辨率灰度左图像IGray进行图像融合的具体流程图；
图3是采用结合结构光和高分辨率灰度相机双目视觉系统获取的没有颜色信息的高精度点云结果图；
图4是双目视觉系统中的高分辨率灰度左相机获取的高分辨率灰度图像；
图5是RGB相机获取的低分辨率的RGB图像；
图6是基于目标导向分区域赋值(插值)超分辨率算法后得到的高分辨率的RGB图像；
图7是图像增强后的高分辨率灰度左图像；
图8是图像增强后的高分辨率RGB图像；
图9是高分辨率灰度左图像IGray基于D-SIFT的活动水平测量图；
图10是高分辨率RGB图像
Figure GDA0003540481190000102
基于D-SIFT的活动水平测量图；
图11是高分辨率灰度左图像IGray的显著结构特征提取图；
图12是高分辨率RGB图像
Figure GDA0003540481190000103
的显著结构特征提取图；
图13是高分辨率灰度左图像IGray对应的经过导向滤波器修正后的融合权重图像；
图14是高分辨率RGB图像
Figure GDA0003540481190000104
对应的经过导向滤波器修正后的融合权重图像；
图15是高分辨率灰度左图像IGray和高分辨率RGB图像
Figure GDA0003540481190000105
经过基于D-SIFT和导向滤波的图像融合算法得到的最终融合图像；
图16是将最终的融合图像进行颜色纹理映射后得到的最终彩色三维点云数据。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
图1是本发明基于图像融合技术的彩色三维点云获取方法一种具体实施方式的流程图。
在本实施例中，如图1所示，本发明基于图像融合技术的彩色三维点云获取方法包括以下步骤：
步骤S1：获取不带颜色信息的三维点云
首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高分辨率灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的左右相机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg。
步骤S2：采集被测目标RGB图像以及高分辨率灰度左图像
利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将其表示为
Figure GDA0003540481190000111
其中，像素点像素值表示为
Figure GDA0003540481190000112
(ul,vl)表示RGB图像
Figure GDA0003540481190000113
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图像大小，即RGB图像
Figure GDA0003540481190000114
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表示为IGray，其中像素点像素值表示为IGray(x,y),x＝0,...,Mh-1,y＝0,...,Nh-1，(x,y)表示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh。
步骤S3：对RGB图像
Figure GDA0003540481190000115
进行坐标变换和映射，实现RGB图像与高分辨率灰度左图像的配准
找出RGB图像
Figure GDA0003540481190000116
与高分辨率灰度左图像Igray的特征匹配点对，根据特征匹配点对计算出由RGB图像
Figure GDA0003540481190000117
到高分辨率灰度左图像Igray的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul,vl)上：
Figure GDA0003540481190000118
其中，
Figure GDA0003540481190000119
得到经过坐标变换后的坐标(u′l,v′l)；
将RGB图像
Figure GDA00035404811900001110
坐标(ul,vl)位置的像素点映射到坐标(u′l,v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure GDA00035404811900001111
其是与高分辨率灰度左图像IGray配准后的新图像。
步骤S4：对配准后的RGB图像
Figure GDA00035404811900001112
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure GDA00035404811900001113
中被测目标的边界点集ED，将位于被测边界点集ED内的区域划分为目标区域Zoneobj，位于边界点集ED外的区域划分为背景区域Zoneback。
将RGB图像
Figure GDA0003540481190000121
中的像素点，按其与边界点集ED中像素点的坐标距离值PP进行分类，按照坐标距离值PP值将RGB图像
Figure GDA0003540481190000122
中所有的像素点划分到目标点集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l,v′l),(u′ed,v′ed))≤2，则RGB图像
Figure GDA0003540481190000123
中坐标位置(u′l,v′l)的像素点划分到边缘点集EP，其中，(u′ed,v′ed)为边界点集ED中距离坐标位置(u′l,v′l)最近的像素点的坐标，PP(·,·)表示求两个坐标之间存在的像素数量即两个坐标的坐标距离值PP；
(b)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure GDA0003540481190000124
中坐标位置(u′l,v′l)的像素点位于目标区域Zoneobj，则该像素点划分到目标点集OP；
(c)、如果PP((u′l,v′l),(u′ed,v′ed))＞2，且RGB图像
Figure GDA0003540481190000125
中坐标位置(u′l,v′l)的像素点位于背景区域Zoneback，则该像素点划分到背景点集BP。
步骤S5：对空白的RGB图像
Figure GDA0003540481190000126
进行坐标变换和映射，实现与高分辨率灰度左图像IGray的分辨率统一
首先创建一个和高分辨率灰度左图像IGray具有相同分辨率，即Mh×Nh大小的待确定像素点像素值的空白的高分辨率RGB图像
Figure GDA0003540481190000127
其中像素点的像素值表示为
Figure GDA0003540481190000128
然后进行由高分辨率RGB图像
Figure GDA0003540481190000129
中像素点的坐标(uh,vh)到低分辨率的配准后的RGB图像
Figure GDA00035404811900001210
中像素点的坐标(u,v)的向后变换：
Figure GDA00035404811900001211
其中，
Figure GDA00035404811900001212
用于保证高分辨率RGB图像
Figure GDA00035404811900001213
和低分辨率配准后RGB图像
Figure GDA00035404811900001214
拥有相同的几何中心和对齐的像素中心，能够保证赋值(插值)结果的准确性。
最后，根据向后变换得到的RGB图像
Figure GDA00035404811900001215
中像素点的坐标(u,v)以及步骤(4)划分的点集，对高分辨率RGB图像
Figure GDA00035404811900001216
中每个像素点的像素值
Figure GDA00035404811900001217
进行赋值：
(a)、如果坐标(u,v)位于背景点集BP的像素点区域，则对其插值质量要求最低，像素值
Figure GDA00035404811900001218
等于RGB图像
Figure GDA00035404811900001219
中坐标(u,v)位置的四个邻域像素点中最近的像素点的像素值；
(b)、如果坐标(u,v)位于目标点集OP的像素点区域，目标点集OP的像素点区域中的像素点被认定为远离图像边缘的被测目标内部区域，对其赋值(插值)质量要求相对背景点集BP的像素点区域高一点，但由于不存在纹理和边缘等复杂项目，其像素值由映射后坐标处于的最近邻的一个四邻域点进行加权双线性插值确定。
由于被测目标内部像素点更被希望反应被测目标内部的像素值情况，加上为了增强插值后的清晰度。为双线性插值加上和该四邻域点距离最近的被测目标边缘点集EP相关的权重值。
像素值
Figure GDA0003540481190000131
具体为：
Figure GDA0003540481190000132
其中，(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)表示RGB图像
Figure GDA0003540481190000133
中坐标(u,v)位置的四个邻域像素点的坐标，
Figure GDA0003540481190000134
Figure GDA0003540481190000135
表示四个邻域像素点的像素值，w11,w12,w21,w22为权重系数，它们由其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure GDA0003540481190000136
Figure GDA0003540481190000137
Figure GDA0003540481190000138
Figure GDA0003540481190000139
其中，(11u′ed,11v′ed)、(21u′ed,21v′ed)、(12u′ed,12v′ed)、(22u′ed,22v′ed)分别为距离坐标(u′l,v′l)、(u′l+1,v′l)、(u′l,v′l+1)、(u′l+1,v′l+1)位置最近被测目标边界点的坐标。
(c)、如果坐标(u,v)位于边缘点集EP的像素点区域，像素值
Figure GDA00035404811900001310
为：
Figure GDA00035404811900001311
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure GDA0003540481190000141
其中，u′l＝R(u),v′l＝R(v),du＝u-u′l,dv＝v-v′l，R(·)表示向最近的整数取整，k(·)表示卷积双三次插值算法的卷积核函数。
由于边缘像素点在视觉上一定程度上决定了图像的清晰程度。因此其插值质量需求最高，采取计算量较大的卷积双三次插值。同时，对于被测目标的边缘像素点的像素值确定由其所处的16邻域而不是4邻域决定。
根据插值中心点
Figure GDA0003540481190000142
确定其周围15个最近邻点的坐标和像素值，综合利用包含中心点在内的共16个点的像素值为坐标(uh,vh)位置的待赋值的像素点进行赋值，从而实现插值过程。
在本实施例中，卷积双三次插值算法的卷积核函数为：
Figure GDA0003540481190000143
其中，a是一个影响插值图像清晰度的参数。
步骤S6：基于D-SIFT和导向滤波对高分辨率RGB图像
Figure GDA0003540481190000144
和高分辨率灰度左图像IGray进行图像融合，在本实施例中，如图2所示，包括以下步骤：
步骤S6.1：对高分辨率RGB图像
Figure GDA0003540481190000145
和高分辨率灰度左图像IGray进行对比度调整：
Figure GDA0003540481190000146
Figure GDA0003540481190000147
其中，
Figure GDA0003540481190000148
表示增强后的高分辨率RGB图像，
Figure GDA0003540481190000149
表示坐标(uh,vh)位置像素点的像素值，uh＝0,...,Mh-1,vh＝0,...,Nh-1，JGray表示增强后的高分辨率灰度左图像，JGray(x,y)表示坐标(x,y)位置像素点的像素值，x＝0,...,Mh-1,y＝0,...,Nh-1，μRGB和μGray分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量，其定义为：
Figure GDA0003540481190000151
Figure GDA0003540481190000152
步骤S6.2：基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依据，对于增强后的高分辨率RGB图像
Figure GDA0003540481190000153
和增强后的高分辨率灰度左图像JGray中所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure GDA0003540481190000154
Figure GDA0003540481190000155
(x,y)DDEGray＝DSIFT(JGray(x,y))
Figure GDA0003540481190000156
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure GDA0003540481190000157
表示增强后的高分辨率RGB图像
Figure GDA0003540481190000158
中的像素点位于坐标(u′,v′)位置上的稠密SIFT特征描述符向量，(x,y)DDEGray表示增强后的高分辨率灰度左图像JGray中的像素点位于坐标(x,y)位置上的稠密SIFT特征描述符向量，
Figure GDA0003540481190000159
(x,y)DDEGray{i}分别表示稠密SIFT特征描述符向量
Figure GDA00035404811900001510
(x,y)DDEGray{i}的第i维，
Figure GDA00035404811900001511
表示增强后的高分辨率RGB图像
Figure GDA00035404811900001512
中像素点位于坐标(uh,vh)位置上活动水平，CGray(x,y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐标(x,y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure GDA00035404811900001513
和增强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure GDA00035404811900001514
Figure GDA00035404811900001515
其中，
Figure GDA0003540481190000161
分别为增强后的高分辨率RGB图像
Figure GDA0003540481190000162
增强后的高分辨率灰度左图像JGray归一化到[0,1]之间后的增强图像，
Figure GDA0003540481190000163
MGray分别为增强后的高分辨率RGB图像
Figure GDA0003540481190000164
增强后的高分辨率灰度左图像JGray的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure GDA0003540481190000165
Figure GDA0003540481190000166
Figure GDA0003540481190000167
Figure GDA0003540481190000168
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合，以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure GDA0003540481190000169
Figure GDA00035404811900001610
其中，
Figure GDA00035404811900001611
分别为增强后的高分辨率RGB图像
Figure GDA00035404811900001612
的局部对比度二值图
Figure GDA00035404811900001613
和显著结构二值图
Figure GDA00035404811900001614
位于坐标(i,j)位置的值，
Figure GDA00035404811900001615
Figure GDA00035404811900001616
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure GDA00035404811900001617
和显著结构二值图
Figure GDA00035404811900001618
位于坐标(i,j)位置的值，
Figure GDA00035404811900001619
WGray(i,j)分别为高分辨率RGB图像
Figure GDA00035404811900001620
和高分辨率灰度左图像IGray的融合权重图
Figure GDA00035404811900001621
WGray位于坐标(i,j)位置的值；
步骤S6.3：首先，利用具有边缘保持功能的引导滤波器进行融合权重图的平滑：
Figure GDA00035404811900001622
RWGray＝GFr,ε(WGray,WGray)
其中，GFr,ε表示引导滤波器，r,ε为引导滤波器参数，用于控制滤波窗大小和模糊程度，融合权重图
Figure GDA00035404811900001623
WGray都同时作为输入图像和引导图像分别输入引导滤波器，得到平滑的融合权重图
Figure GDA00035404811900001624
RWGray；
然后，对融合权重图
Figure GDA00035404811900001625
RWGray进行归一化：
Figure GDA0003540481190000171
Figure GDA0003540481190000172
其中，κ为一个避免出现0值的正数，
Figure GDA0003540481190000173
和RWGray′是归一化后的融合权重图；
步骤S6.4：首先，对融合权重图
Figure GDA0003540481190000174
RWGray′进行高斯金字塔分解，对高分辨率RGB图像
Figure GDA0003540481190000175
高分辨率灰度左图像IGray进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure GDA0003540481190000176
与融合权重图
Figure GDA0003540481190000177
高分辨率灰度左图像IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图像Fl：
Figure GDA0003540481190000178
其中，l表示金字塔层级序号，G{·}l、L{·}l分别表示对应图像在第l层的高斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像Fl进行合并得到最终的融合图像F；
步骤S7：融合图像F映射到三维点云PCg得到带有颜色信息的RGB三维点云PCrgb
利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标上的3通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有颜色信息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维模型。
实例
在本实例中，三维重建的被测目标为拥有两个球形子物件和一个圆柱形子物件的类哑铃形物体。被测目标上拥有的颜色以银白色为主、同时包含有黑色、白色和绿色等多种颜色信息。
在本实例中，利用结合了结构光技术和双目视觉技术的基于高分辨率灰度相机获取的高精度不带颜色信息的原始点云数据PCg如图3所示。
双目视觉系统中的高分辨率灰度左相机所采集到的图像IGray如图4所示，其分辨率为2048×2448，拥有一共5013504个像素点；光学RGB相机所采集到的彩色图像
Figure GDA0003540481190000179
如图5所示，其分辨率为1755×2340，拥有一种4106700个像素点。
利用基于目标导向分区域插值的融合图像分辨率统一使配准后的光学RGB图像
Figure GDA0003540481190000181
和高分辨率灰度左图像IGray的分辨率保持严格一致，得到高分辨的RGB图像
Figure GDA0003540481190000182
高分辨的RGB图像
Figure GDA0003540481190000183
分辨率为2048×2448，拥有一共5013504个像素点。图像分辨率统一的结果如图6所示。
利用基于D-SIFT和导向滤波的图像融合技术对超分辨率后的RGB图像
Figure GDA0003540481190000184
和高分辨率灰度左相机所采集到的图像IGray进行图像融合。对高分辨率灰度左图像IGray和超分辨率后的RGB图像
Figure GDA0003540481190000185
分别进行图像对比度调整和增强，得到JGray和
Figure GDA0003540481190000186
它们图像增强后的结果分别如图7、8所示。
用D-SIFT在图像
Figure GDA0003540481190000187
和JGray中每个像素处生成D-SIFT特征描述符向量，基于特征描述符测得图像各个像素处的活动水平值，获取到的增强后的高分辨率灰度左图像JGray和超分辨率后的RGB图像
Figure GDA0003540481190000188
的活动水平图像分别如图9、10所示。
利用基于梯度幅值原理对增强后的高分辨率灰度左图像JGray和超分辨率后的RGB图像
Figure GDA0003540481190000189
中所拥有的显著性结构特征进行提取，提取到的JGray和
Figure GDA00035404811900001810
中蕴含的显著结构特征图像如图11、12所示。
基于两幅图像的活动水平特征和显著性结构特征图像，利用Winner-take-all原则计算和统计各个像素处的融合权重值。获取到两个图像在融合过程中的初步融合权重图。利用导向滤波器对初步的融合权重图进行滤波以进一步细化和归一化，得到最终的融合权重图
Figure GDA00035404811900001811
和RWGray′。最终的高分辨率灰度左图像JGray和超分辨率后的RGB图像
Figure GDA00035404811900001812
对应的融合权重图
Figure GDA00035404811900001813
和RWGray′分别如图13、14所示。
基于得到的最终细化后的融合权重图
Figure GDA00035404811900001814
和RWGray′和待融合的原始图像
Figure GDA00035404811900001815
和IGray，利用高斯金子塔和拉普拉斯金字塔对
Figure GDA00035404811900001816
RWGray′、
Figure GDA00035404811900001817
和IGray进行分解，将源图像和权重图分解成不同分辨率上的金字塔形图像。然后在不同分辨率上对各层分解后的图像进行加权融合。最后将融合后的各层图像执行金字塔重构得到最终的融合了高分辨率灰度图像和对应的颜色信息的融合图像F。得到的最终融合结果如图15所示。
利用双目视觉系统中高分辨率左相机视图进行立体匹配得到三维点云坐标，并将基于高分辨率左相机图像和RGB图像得到的融合图像中的像素坐标中的RGB信息映射到三维点云坐标中，得到最终的彩色三维点云数据。最终的彩色三维点云数据如图16所示。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术邻域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术邻域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于图像融合技术的彩色三维点云获取方法，其特征在于，包括：
(1)、首先利用结构光栅投影仪向被测目标表面投射结构光，然后利用高分辨率灰度左相机和高分辨率灰度右相机组成的双目视觉系统采集被测目标的左右相机灰度图像，最后基于双目视觉原理获取不带颜色信息的三维点云PCg；
(2)、利用额外的RGB相机采集被测目标真实颜色，获得RGB图像，将其表示为
Figure QLYQS_1
其中，像素点像素值表示为
Figure QLYQS_2
(ul，vl)表示RGB图像
Figure QLYQS_3
中的第ul行、第vl列坐标，Ml和Nl表示RGB图像的图像大小，即RGB图像
Figure QLYQS_4
的总像素值为Ml×Nl；
将双目视觉系统中的高分辨率灰度左相机采集到的高分辨率灰度左图像表示为
Figure QLYQS_5
，其中像素点像素值表示为
Figure QLYQS_6
，x＝0，...，Mh-1，y＝0，...，Nh-1，(x，y)表示高分辨率灰度左图像中的第x行、第y列坐标，Mh和Nh表示高分辨率灰度左图像的图像大小，即高分辨率灰度左图像总像素值为Mh×Nh；
(3)、对RGB图像
Figure QLYQS_7
进行坐标变换和映射，实现RGB图像与高分辨率灰度左图像的配准
找出RGB图像
Figure QLYQS_8
与高分辨率灰度左图像
Figure QLYQS_9
的特征匹配点对，根据特征匹配点对计算出由RGB图像
Figure QLYQS_10
到高分辨率灰度左图像
Figure QLYQS_11
的几何变换矩阵H；
将几何变换矩阵H应用在每个坐标(ul，vl)上：
Figure QLYQS_12
其中，
Figure QLYQS_13
得到经过坐标变换后的坐标(u′l，v′l)；
将RGB图像
Figure QLYQS_14
坐标(ul，vl)位置的像素点映射到坐标(u′l，v′l)位置，构成新的RGB图像，并表示为RGB图像
Figure QLYQS_15
其是与高分辨率灰度左图像
Figure QLYQS_16
配准后的新图像；
(4)、对配准后的RGB图像
Figure QLYQS_17
中像素点按区域划分到不同的点集
利用边缘检测算法得到RGB图像
Figure QLYQS_18
中被测目标的边界点集ED，将位于被测边界点集ED内的区域划分为目标区域
Figure QLYQS_19
，位于边界点集ED外的区域划分为背景区域
Figure QLYQS_20
；
将RGB图像
Figure QLYQS_21
中的像素点，按其与边界点集ED中像素点的坐标距离值PP进行分类，按照坐标距离值PP值将RGB图像
Figure QLYQS_22
中所有的像素点划分到目标点集OP、边缘点集EP或背景点集BP：
(a)、如果PP((u′l，v′l)，(u′ed，v′ed))≤2，则RGB图像
Figure QLYQS_23
中坐标位置(u′l，v′l)的像素点划分到边缘点集EP，其中，(u′ed，v′ed)为边界点集ED中距离坐标位置(u′l，v′l)最近的像素点的坐标，PP(·，·)表示求两个坐标之间存在的像素数量即两个坐标的坐标距离值PP；
(b)、如果PP((u′l，v′l)，(u′ed，v′ed))＞2，且RGB图像
Figure QLYQS_24
中坐标位置(u′l，v′l)的像素点位于目标区域
Figure QLYQS_25
，则该像素点划分到目标点集OP；
(c)、如果PP((u′l，v′l)，(u′ed，v′ed))＞2，且RGB图像
Figure QLYQS_26
中坐标位置(u′l，v′l)的像素点位于背景区域
Figure QLYQS_27
，则该像素点划分到背景点集BP；
(5)、对空白的RGB图像
Figure QLYQS_28
进行坐标变换和映射，实现与高分辨率灰度左图像
Figure QLYQS_29
的分辨率统一
首先创建一个和高分辨率灰度左图像
Figure QLYQS_30
具有相同分辨率，即Mh×Nh大小的待确定像素点像素值的空白的高分辨率RGB图像
Figure QLYQS_31
其中像素点的像素值表示为
Figure QLYQS_32
然后进行由高分辨率RGB图像
Figure QLYQS_33
中像素点的坐标(uh，vh)到低分辨率的配准后的RGB图像
Figure QLYQS_34
中像素点的坐标(u，v)的向后变换：
Figure QLYQS_35
最后，根据向后变换得到的RGB图像
Figure QLYQS_36
中像素点的坐标(u，v)以及步骤(4)划分的点集，对高分辨率RGB图像
Figure QLYQS_37
中每个像素点的像素值
Figure QLYQS_38
进行赋值：
(a)、如果坐标(u，v)位于背景点集BP的像素点区域，则像素值
Figure QLYQS_39
等于RGB图像
Figure QLYQS_40
中坐标(u，v)位置的四个邻域像素点中最近的像素点的像素值；
(b)、如果坐标(u，v)位于目标点集OP的像素点区域，像素值
Figure QLYQS_41
为：
Figure QLYQS_42
其中，(u′l，v′l)、(u′l+1，v′l)、(u′l，v′l+1)、(u′l+1，v′l+1)表示RGB图像
Figure QLYQS_43
中坐标(u，v)位置的四个邻域像素点的坐标，
Figure QLYQS_44
Figure QLYQS_45
表示四个邻域像素点的像素值，
Figure QLYQS_46
,
Figure QLYQS_47
,
Figure QLYQS_48
,
Figure QLYQS_49
为权重系数，它们由其所处位置和距离各自最近的被测目标边界点的相对距离决定，即：
Figure QLYQS_50
Figure QLYQS_51
Figure QLYQS_52
Figure QLYQS_53
其中，(11u′ed，11v′ed)、(21u′ed，21v′ed)、(12u′ed，12v′ed)、(22u′ed，22v′ed)分别为距离坐标(u′l，v′l)、(u′l+1，v′l)、(u′l，v′l+1)、(u′l+1，v′l+1)位置最近被测目标边界点的坐标；
(c)、如果坐标(u，v)位于边缘点集EP的像素点区域，像素值
Figure QLYQS_54
为：
Figure QLYQS_55
其中，A、B、C的确立如下：
A＝[k(1+du)k(du)k(1-du)k(2-du)]
C＝[k(1+dv)k(dv)k(1-dv)k(2-dv)]T
Figure QLYQS_56
其中，u′l＝R(u)，v′l＝R(v)，du＝u-u′l，dv＝v-v′l，R(·)表示向最近的整数取整，k(·)表示卷积双三次插值算法的卷积核函数；
(6)、基于D-SIFT和导向滤波对高分辨率RGB图像
Figure QLYQS_57
和高分辨率灰度左图像
Figure QLYQS_58
进行图像融合
6.1)、对高分辨率RGB图像
Figure QLYQS_59
和高分辨率灰度左图像
Figure QLYQS_60
进行对比度调整：
Figure QLYQS_61
Figure QLYQS_62
其中，
Figure QLYQS_63
表示增强后的高分辨率RGB图像，
Figure QLYQS_64
表示坐标(uh，vh)位置像素点的像素值，uh＝0，...，Mh-1，vh＝0，...，Nh-1，
Figure QLYQS_65
表示增强后的高分辨率灰度左图像，
Figure QLYQS_66
表示坐标(x，y)位置像素点的像素值，x＝0，...，Mh-1，y＝0，...，Nh-1，
Figure QLYQS_67
和
Figure QLYQS_68
分别表示高分辨率RGB图像、高分辨率灰度左图像对应的增强变量，其定义为：
Figure QLYQS_69
Figure QLYQS_70
6.2)、基于D-SIFT和梯度幅值构建融合权重图
一方面利用D-SIFT的128维特征描述符向量作为图像块活动水平的测量依据，对于增强后的高分辨率RGB图像
Figure QLYQS_71
和增强后的高分辨率灰度左图像
Figure QLYQS_72
中所包含的每一个像素点，计算每个像素点坐标位置上对应的活动水平：
Figure QLYQS_73
Figure QLYQS_74
Figure QLYQS_75
Figure QLYQS_76
其中，DSIFT(·)表示归一化的稠密SIFT特征描述符向量计算过程，
Figure QLYQS_78
表示增强后的高分辨率RGB图像
Figure QLYQS_83
中的像素点位于坐标(u′，v′)位置上的稠密SIFT特征描述符向量，
Figure QLYQS_86
表示增强后的高分辨率灰度左图像
Figure QLYQS_79
中的像素点位于坐标(x，y)位置上的稠密SIFT特征描述符向量，
Figure QLYQS_80
Figure QLYQS_81
分别表示稠密SIFT特征描述符向量
Figure QLYQS_84
Figure QLYQS_77
的第i维，
Figure QLYQS_82
表示增强后的高分辨率RGB图像
Figure QLYQS_85
中像素点位于坐标(uh，vh)位置上活动水平，CGray(x，y)表示增强后的高分辨率灰度左图像JGray中像素点位于坐标(x，y)位置上活动水平；
另一方面，基于梯度幅值信息来计算增强后的高分辨率RGB图像
Figure QLYQS_87
和增强后的高分辨率灰度左图像JGray中的显著结构特征：
Figure QLYQS_88
Figure QLYQS_89
其中，
Figure QLYQS_90
分别为增强后的高分辨率RGB图像
Figure QLYQS_91
增强后的高分辨率灰度左图像
Figure QLYQS_92
归一化到[0，1]之间后的增强图像，
Figure QLYQS_93
MGray分别为增强后的高分辨率RGB图像
Figure QLYQS_94
增强后的高分辨率灰度左图像
Figure QLYQS_95
的梯度图像；
然后，利用Winner-take-all原则估计每个像素点应占有的融合权重值：
Figure QLYQS_96
Figure QLYQS_97
Figure QLYQS_98
Figure QLYQS_99
其中，～为取反操作；
然后，将包含图像活动水平信息度量和显著性结构相关的权重进行结合，以AND的方式计算融合权重图能尽可能多地保留我们所感兴趣的地方：
Figure QLYQS_100
Figure QLYQS_101
其中，
Figure QLYQS_104
分别为增强后的高分辨率RGB图像
Figure QLYQS_106
的局部对比度二值图
Figure QLYQS_107
和显著结构二值图
Figure QLYQS_103
位于坐标(i，j)位置的值，
Figure QLYQS_109
Figure QLYQS_111
分别为增强后的高分辨率灰度左图像JGray的局部对比度二值图
Figure QLYQS_112
和显著结构二值图
Figure QLYQS_102
位于坐标(i，j)位置的值，
Figure QLYQS_105
WGray(i，j)分别为高分辨率RGB图像
Figure QLYQS_108
和高分辨率灰度左图像IGray的融合权重图
Figure QLYQS_110
WGray位于坐标(i，j)位置的值；
6.3)、首先，利用具有边缘保持功能的引导滤波器进行融合权重图的平滑：
Figure QLYQS_113
RWGray＝GFr，ε(WGray，WGray)
其中，GFr，ε表示引导滤波器，r，ε为引导滤波器参数，用于控制滤波窗大小和模糊程度，融合权重图
Figure QLYQS_114
WGray都同时作为输入图像和引导图像分别输入引导滤波器，得到平滑的融合权重图
Figure QLYQS_115
RWGray；
然后，对融合权重图
Figure QLYQS_116
RWGray进行归一化：
Figure QLYQS_117
Figure QLYQS_118
其中，
Figure QLYQS_119
为一个避免出现0值的正数，
Figure QLYQS_120
和
Figure QLYQS_121
是归一化后的融合权重图；
6.4)、首先，对融合权重图
Figure QLYQS_122
Figure QLYQS_123
进行高斯金字塔分解，对高分辨率RGB图像
Figure QLYQS_124
高分辨率灰度左图像
Figure QLYQS_125
进行拉普拉斯金字塔分解；
然后，将高分辨率RGB图像
Figure QLYQS_126
与融合权重图
Figure QLYQS_127
高分辨率灰度左图像IGray与融合权重图RWGray在对应层级上相乘，然后相加，得到对应层级的融合图像Fl：
Figure QLYQS_128
其中，l表示金字塔层级序号，
Figure QLYQS_129
、
Figure QLYQS_130
分别表示对应图像在第l层的高斯金字塔图像和在第l层的拉普拉斯金字塔图像；
最后，将所有层级的融合图像
Figure QLYQS_131
进行合并得到最终的融合图像
Figure QLYQS_132
；
(7)、利用融合图像F，基于双目视觉原理，将融合图像F中的每一个坐标上的3通道颜色信息值映射到三维点云PCg中对应的空间坐标位置上，得到带有颜色信息的RGB三维点云PCrgb，实现彩色三维重建，得到带有颜色信息的三维模型。
CN202210106284.7A 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法 Active CN114549669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210106284.7A CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210106284.7A CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Publications (2)

Publication Number Publication Date
CN114549669A CN114549669A (zh) 2022-05-27
CN114549669B true CN114549669B (zh) 2023-04-21

Family

ID=81674575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210106284.7A Active CN114549669B (zh) 2022-01-28 2022-01-28 一种基于图像融合技术的彩色三维点云获取方法

Country Status (1)

Country Link
CN (1) CN114549669B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937552A (zh) * 2022-10-21 2023-04-07 华南理工大学 一种基于融合手工特征与深度特征的图像匹配方法
CN116433881B (zh) * 2023-06-12 2023-10-13 合肥联宝信息技术有限公司 二维图像的获得方法、装置、电子设备及存储介质
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850850A (zh) * 2015-04-05 2015-08-19 中国传媒大学 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055902B2 (en) * 2018-04-23 2021-07-06 Intel Corporation Smart point cloud reconstruction of objects in visual scenes in computing environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850850A (zh) * 2015-04-05 2015-08-19 中国传媒大学 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN106651938A (zh) * 2017-01-17 2017-05-10 湖南优象科技有限公司 一种融合高分辨率彩色图像的深度图增强方法
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN111563921A (zh) * 2020-04-17 2020-08-21 西北工业大学 一种基于双目相机的水下点云获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hossain MD等.segmentation for object-based image analysis（OBIA）：a review of algorithms and challenges from remote sensing perspective.ISPRS J Photogr remote sens.2019,115-134. *
马跃龙 ; 曹雪峰 ; 万刚 ; 李登峰 ; .一种基于深度相机的机器人室内导航点云地图生成方法.测绘工程.2018,第27卷(第03期),6-10+15. *

Also Published As

Publication number Publication date
CN114549669A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN112132958B (zh) 一种基于双目视觉的水下环境三维重建方法
CN108596975B (zh) 一种针对弱纹理区域的立体匹配算法
CN111223053A (zh) 基于深度图像的数据增强方法
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
Lindner et al. Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images
CN108921895A (zh) 一种传感器相对位姿估计方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN114549307B (zh) 一种基于低分辨率图像的高精度点云色彩重建方法
CN115761178A (zh) 基于隐式神经表示的多视图三维重建方法
CN115147709B (zh) 一种基于深度学习的水下目标三维重建方法
CN110751680A (zh) 一种具有快速对齐算法的图像处理方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
Mutahira et al. Focus measurement in color space for shape from focus systems
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
CN116342519A (zh) 一种基于机器学习的图像处理方法
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
Yin et al. Weakly-supervised photo-realistic texture generation for 3d face reconstruction
CN116681839B (zh) 一种基于改进NeRF的实景三维目标重建与单体化方法
CN117218192A (zh) 一种基于深度学习与合成数据的弱纹理物体位姿估计方法
CN112991504A (zh) 一种改进的基于tof相机三维重建的补空洞方法
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
Jäger et al. A comparative Neural Radiance Field (NeRF) 3D analysis of camera poses from HoloLens trajectories and Structure from Motion
Liu et al. Semi-global depth from focus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant