CN109410256A - 基于互信息的点云与影像自动高精度配准方法 - Google Patents

基于互信息的点云与影像自动高精度配准方法 Download PDF

Info

Publication number
CN109410256A
CN109410256A CN201811268499.9A CN201811268499A CN109410256A CN 109410256 A CN109410256 A CN 109410256A CN 201811268499 A CN201811268499 A CN 201811268499A CN 109410256 A CN109410256 A CN 109410256A
Authority
CN
China
Prior art keywords
point
image
cloud
window
mutual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811268499.9A
Other languages
English (en)
Other versions
CN109410256B (zh
Inventor
胡春梅
夏国芳
薛惠敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN201811268499.9A priority Critical patent/CN109410256B/zh
Publication of CN109410256A publication Critical patent/CN109410256A/zh
Application granted granted Critical
Publication of CN109410256B publication Critical patent/CN109410256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明公开了基于互信息的点云与影像自动高精度配准方法,包括:拍摄待测对象的近景光学影像;采集待测对象的地面激光扫描点云,生成RGB彩色图像和反射强度图像;利用近景光学影像和点云RGB彩色图像,计算粗配准参数;对反射强度图像分网格提取Harris算子特征点,并应用Forstner定位算子进行精确定位,利用粗配准参数计算特征点的对应同名点的初始位置,利用互信息理论在初始位置内搜寻特征点在近景光学影像中的精确的匹配点位,得到两张图像精确同名特征点对;由此再计算精配准参数;生成待测对象精确的彩色点云模型。本发明不受非同源数据投影及辐射差异的影响,满足文物保护行业高精度三维彩色纹理模型重建的需求。

Description

基于互信息的点云与影像自动高精度配准方法
技术领域
本发明涉及摄影测量和激光雷达技术领域,特别涉及基于互信息的点云与影像自动高精度配准的方法。
背景技术
随着我国科技及经济的发展,社会各界对文物数字化保护的重视程度不断提高,对文物保护、管理和利用水平也有了更高的要求,包括文物三维数据展示、文物病害研究、文物仿真模型、文物衍生商品等方面。文物高精度三维彩色模型重建是文物数字化保护的基础,通常是应用地面激光扫描点云与近景影像的配准及纹理映射来实现,两种数据的配准是高精度三维重建的重点内容。两种数据的自动配准一直是国内外学者研究的重点,目前地面激光和点云自动配准的主要方法有:传感器的集成,许多仪器公司推出内置相机的扫描仪,可直接扫描出彩色点云,但纹理分辨率及定位精度不满足要求;基于特征的配准,多数研究集中在提取点云与影像的同名线特征来进行配准,此方法不适应于非规则的复杂对象,而同名特征点的自动提取由于两种数据的非同源异质性,基于影像灰度信息的匹配很难得到正确的同名点对,鲁棒性较差。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于互信息的点云与影像自动高精度配准方法。
为此,本发明提供的技术方案为:
一种基于互信息的点云与影像自动高精度配准方法,包括::
步骤一、拍摄待测对象的近景光学影像;
步骤二、采集待测对象的地面激光扫描点云,之后利用激光扫描点云的可见光光谱信息和激光反射强度信息,生成地面激光扫描点云的平面中心平面投影RGB彩色图像和反射强度图像,其中,所述RGB彩色图像与反射强度图像的三维点一一对应;
步骤三、利用所述近景光学影像和点云RGB彩色图像的匹配结果,计算得到点云RGB彩色图像与近景光学影像的粗配准参数;
步骤四、首先对点云的所述反射强度图像分网格提取Harris算子特征点,并应用Forstner定位算子进行精确定位,之后利用所述粗配准参数计算所述特征点于所述近景光学影像上的对应同名点的初始位置,然后利用互信息理论在所述初始位置内搜寻所述特征点在所述近景光学影像中的精确的匹配点位,得到两张图像精确同名特征点对;
步骤五、由所述精确同名特征点对计算得到所述点云与近景光学影像的精配准参数;
步骤六、通过纹理映射,实现所述待测对象的三维重建,生成其精确的彩色点云模型。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤四中,得到两张图像精确同名特征点对的具体步骤包括:
4.1)对点云的所述反射强度图像分网格提取Harris算子特征点,并用Forstner算子进行精确定位,以该特征点为中心点设置大小为(M,N)的窗口X;
4.2)将粗配准参数作为所述反射强度图像与近景光学影像的初始配准参数,利用粗配准参数计算点云反射强度特征点所对应的近景影像同名点的初始位置,以此初始位置为中心设置大小为(K,L)的窗口Z,确定为同名点搜索区域,窗口Z为窗口X的n倍大小,n以3为初始值;
4.3)利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,不断计算窗口X和Y的互信息,将最大互信息对应窗口Y的中心确定为匹配点精确位置,确定出所述特征点精确的匹配点位,得到所述反射强度图像和近景光学影像的精确同名特征点对。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤4.3)中,窗口X和Y的互信息表示为MI(X,Y),计算公式为:
其中,
hxy[x(i,j),y(i,j)]=n[x(i,j),y(i,j)i=1,…,M j=1,…,N (9)
设定窗口X和Y在位置(i,j)的像素灰度值分别是x(i,j)和y(i,j),且i=1,…,M,j=1,…,N,灰度值范围均为[0,255];
x代表窗口X某一点的像素灰度值,y代表窗口Y在某一点的像素灰度值;
n[x(i,j),y(i,j)]用于表示两幅图像对应位置出现相同灰度对的像素对个数;
h(x,y)表示满足图像A中像素点灰度值为x,且图像B对应位置像素灰度值为y的点对个数;
pX(x)、pY(y)分别为窗口X和Y的边缘概率密度函数,pXY(x,y)为窗口X和Y的联合概率密度函数。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤4.3)中,利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,基于Powell算法以搜索区域的互信息为目标函数,在搜索区域内确定所述匹配点精确位置,具体搜索过程如下:
4.3.1)首先确定搜索初始点x(0),以近景光学影像上匹配点的所述初始位置为所述初始点,设定允许误差ε和n个线性无关的搜索方向,分别为d(1,1),d(1,2),d(1,3),...,d(1,n),令k=1,其中,(ε>0);
4.3.2)令x(k,0)=x(k,1),从点x(k,0)出发,沿着方向d(k,1),d(k,2),d(k,3),…,d(k,n)依次进行一维搜索,从而得到点x(k,1),x(k,2),x(k,3),…,x(k,n),函数f(x)为目标函数即以所述特征点和匹配点为中心的窗口的互信息,计算近景光学影像各方向搜索点为中心的窗口与反射强度图像精确特征点为中心的窗口X的互信息值,并比较一轮搜索后互信息变化最大搜索点,求m使得:
f(x(k,m-1))-f(x(k,m))=maxj=1,...,m{f(x(k,j-1))-f(x(k,j))} (14)
令d(k,n+1)=x(k,n)-x(k,0),如若|x(k)-x(k-1)|<ε,则计算终止;反之执行步骤4.3.3);
4.3.3)将计算的目标函数值下降最快的方向设为新的搜索方向,假设f0=f(x(k ,0)),fN=f(x(k,n)-x(k,0)),fe=f(2·x(k,n)-x(k,0)),fe为函数“外推点”(x(k,n)-x(k,0))处的值,,同时定义本轮迭代搜索过程中函数值的最大下降值为Δf,如果满足:
fe≥f0或2(f0-2fN+fe)[(f0-fN)-Δf]2≤(f0-fe)2·Δf (15)
则引进新方向,继续进行步骤4.3.2),否则保持方向不变,同样继续进行步骤4.3.2)。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤三中,计算所述粗配准参数的具体方法包括:
3.1)根据SIFT匹配方法,分别对所述RGB彩色图像和近景光学影像提取SIFT特征点,并进行特征匹配;
3.2)依次添加双向一致性约束和RANSAC随机抽样约束,逐级逐项剔除误匹配点,得到所述RGB彩色图像和近景光学影像的同名点;
3.3)基于如公式(5)的仿射变换模型和所述RGB彩色图像和近景光学影像的同名点,计算得到两幅图像的匹配参数,计算得到所述粗配准参数;
x=a0+a1x‘+a2y‘
y=b0+b1x‘+b2y‘ (5)。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤五中,计算所述精配准参数的具体步骤包括:
5.1)所述反射强度图像为由地面激光扫描点云生成的中心平面投影图像,其像素点与点云空间坐标存在一一对应关系,由所述反射强度图像和近景光学影像的精确同名特征点对,确定出所述地面激光扫描点云与所述近景光学影像的精确二三维同名特征点;
5.2)利用罗德里格矩阵作为旋转矩阵计算初始值,结合标准化残差的丹麦法选权迭代小粗差降权的方法计算得到所述精配准参数。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤二中,应用预处理后的点云数据,以中心平面投影方式投影生成所述RGB彩色图像和反射强度图像,具体步骤包括:
2.1)确定出点云中心投影射线及投影平面:由采集的点云的最小外包盒确定点云中心点,以激光雷达中心点为投影点,确定两点连线为点云中心投影射线,与该投影射线垂直且过点云中心点的平面为投影平面,计算投影射线在激光雷达坐标系下的方程,计算公式如下:
其中(x,y,z)为采集点云的中心点坐标;(x0,y0,z0)为仪器激光雷达中心点坐标;
点云所有点沿投影射线方向投影到投影平面上,并由公式(2)计算出每个点在中心投影变换后的坐标;
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)=0 (2)
2.2)建立投影投影平面空间坐标系:将点云以中心投影的方式投影到投影平面后,由所有投影点确定最小外包盒,从而建立投影面空间坐标系O-XYZ,基于所有投影点均在同一投影面的特性,由投影平面上所有投影点的最小外包矩形确定投影平面坐标轴OX和OY,计算两坐标轴在激光雷达坐标系下的空间直线方程,为后续计算投影点在投影平面坐标系的坐标提供依据;
2.3)计算投影点在投影平面坐标系的坐标:基于中心平面投影特性,所有投影点均分布在同一平面XOY内,可设置该坐标系下所有投影点的Z值均为0;由已知激光雷达坐标系下OX、OY轴的直线方程和投影点的坐标,计算每个投影点到OX轴和OY轴的距离,得到投影点在投影平面空间坐标系下的X、Y值;
2.4)点云中心平面投影反射强度图像生成:以激光射线和基准面的相交区域确定图像的大小,以点云分辨率确定图像的格网大小,计算公式如下:
M=取整((X_max-X_min)/delta)+1 (3)
N=取整((Y_max-Y_min)/delta)+1 (4)
其中,delta为点云分辨率;M为中心平面投影图像的宽;N为中心平面投影图像的高;
在每个格网单元内应用最临近搜索法确定格网点对应的投影点,生成点云中心平面投影图像,将点云RGB值和反射强度值各自分别赋给所述投影图像的像素点,分别生成所述RGB彩色图像和所述反射强度图像。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤二中,使用含有内置相机的地面激光扫描仪采集待测对象的地面激光扫描点云,获取点云数据同时,利用内置相机获取彩色影像,之后将对应位置像素的颜色信息RGB赋予点云中对应的点,实现位置坐标与颜色信息的匹配。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,步骤一中,采集待测对象的近景光学影像时,将相机中心与待测对象中心尽量设置在同一水平线上。
优选的是,所述的基于互信息的点云与影像自动高精度配准方法中,所述待测对象为类似平面对象。
本发明至少包括以下有益效果:
本发明提供一种基于互信息的点云与影像自动高精度配准方法,第一、本发明为了避免两种数据投影方式不同对后续区域性匹配的影响,利用激光点云的可见光光谱信息和激光反射强度信息,生成地面激光扫描点云的平面中心投影RGB彩色图像和反射强度图像,最大限度消除两种数据间的投影差异;第二、本发明为了确定点云和影像之间的粗配准参数,指导后续的精确配准,应用点云RGB彩色图像和近景影像同源数据进行SIFT特征匹配并剔除误匹配,计算粗配准参数;然后分网格提取点云反射强度图像上高精度特征点,应用粗配准参数确定近景影像上粗匹配点,最后利用互信息测度确定高精度匹配点;第三、通过本发明的方法,应用反射强度图像与近景光学影像的同名特征点,结合反射强度图像与点云的二三维特征点一一对应关系,得到地面激光点云与近景光学影像的二三维同名特征点,应用罗德里格矩阵配准模型和标准化残差丹麦法选权迭代,实现点云与影像的精确配准,并通过纹理映射生成彩色模型。
本发明即针对基于互信息测度的地面激光点云与近景光学影像非同源异质数据的自动高精度配准问题,以采集的地面激光点云和数码相机拍摄的近景影像为数据源,以自动建立高精度的三维纹理模型为研究目标,研究特征配准和互信息配准相结合的适用于异源数据的由粗到细配准等等问题,通过各个研究环节的突破,实现基于互信息的点云与影像自动高精度配准,通过纹理映射生成彩色模型。本发明不受非同源数据投影及辐射差异的影响,满足文物保护行业高精度三维彩色纹理模型重建的需求。本发明的研究成果可满足文物保护行业高精度三维彩色纹理模型的需求,可填补文物遗产数字化保护领域及相关领域中的数字化产品,为文物虚拟修复、病害研究等提供基础数据,可应用于文物数字化保存、文物三维展示、文物病害研究、文物虚拟修复、文物衍生商品等方面,具有非常重要的理论和现实意义。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的基于互信息的点云与影像自动高精度配准方法的流程图;
图2本发明其中一个实施例中获取到的某一浮雕的彩色激光点云图;
图3为本发明其中一个实施例中利用激光测量原理获取的点云数据示意图;
图4为本发明其中一个实施例中获取某一石刻浮雕的全范围近景影像图;
图5为本发明其中一个实施例中点云以中心投影方式投影到平面的示意图;
图6为本发明其中一个实施例中点云中心平面投影到投影面建立的空间坐标系O-XYZ的示意图;
图7为本发明其中一个实施例中获取的点云生成的中心投影彩色图;
图8为本发明其中一个实施例中获取的点云生成的中心投影反射强度图;
图9为本发明其中一个实施例中以点云生成的中心投影彩色图与近景影像基于特征进行粗匹配,实现点云与影像粗配准的流程图;
图10为本发明其中一个实施例中两幅图像基于SIFT算法实现匹配的流程图;
图11A和图11B分别为本发明其中一个实施例中RGB彩色图像和近景光学影像提取SIFT特征点,剔除误匹配点后的效果图;
图12为本发明其中一个实施例中以粗配准结果为基础,基于互信息理论点云生成的反射强度图与近景影像进行精配准,实现点云与影像精确配准的流程图;
图13为本发明其中一个实施例中点云生成的中心投影反射强度图像灰度化后以100*100的窗口分网格提取Harris特征点的效果图;
图14为本发明其中一个实施例中近景光学影像转变为灰度图像并降低分辨率的效果图;
图15为本发明其中一个实施例中结合粗匹配参数在近景光学影像的灰度图像中确定反射强度图像特征点的对应粗匹配点效果图;
图16为本发明其中一个实施例中以反射强度图像精确同名特征点为中心,设置窗口X的示意图;
图17为本发明其中一个实施例中以近景光学影像的匹配点初始位置为中心,设置窗口Z,基于互信息理论不断在窗口Z范围内搜索与窗口X大小相同的窗口Y,由此确定近景光学影像对应匹配点的精确位置的示意图;
图18为本发明其中一个实施例中基于互信息搜索近景光学影像精确匹配点的结果图;
图19为本发明其中一个实施例中的图像互信息的计算流程图;
图20为本发明其中一个实施例中确定反射强度图像中单个特征点在近景光学影像中对应精确匹配点的搜索算法实现图;
图21为本发明其中一个实施例中点云与影像高精度配准后通过纹理映射,生成精确的彩色点云模型的结果示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
基于互信息的配准,研究应用在具有POS数据的航空影像和机载雷达的配准中,但算法的可行性受到数据量及纹理丰富程度等因素的影响
如图1所示,本发明提供一种基于互信息的点云与影像自动高精度配准方法,包括:
步骤一、拍摄待测对象的近景光学影像;
步骤二、采集待测对象的地面激光扫描点云,之后利用激光扫描点云的可见光光谱信息和激光反射强度信息,生成地面激光扫描点云的平面中心投影RGB彩色图像和反射强度图像,其中,所述RGB彩色图像与反射强度图像的三维点一一对应;
步骤三、利用所述近景光学影像和点云RGB彩色图像的匹配结果,计算得到点云RGB彩色图像与近景光学影像的粗配准参数;
步骤四、首先对点云的所述反射强度图像分网格提取Harris算子特征点,并应用Forstner定位算子进行精确定位,之后利用所述粗配准参数计算所述特征点于所述近景光学影像上的对应同名点的初始位置,然后利用互信息理论在所述初始位置内搜寻所述特征点在所述近景光学影像中的精确的匹配点位,得到两张图像精确同名特征点对;
步骤五、由所述精确同名特征点对计算得到所述点云与近景光学影像的精配准参数;
步骤六、通过纹理映射,实现所述待测对象的三维重建,生成其精确的彩色点云模型。
在上述方案中,作为优选,步骤四中,得到两张图像精确同名特征点对的具体步骤包括:
4.1)对点云的所述反射强度图像分网格提取Harris算子特征点,并用Forstner算子进行精确定位,以该特征点为中心点设置大小为(M,N)的窗口X;
4.2)将粗配准参数作为所述反射强度图像与近景光学影像的初始配准参数,利用粗配准参数计算点云反射强度特征点所对应的近景影像同名点的初始位置,以此初始位置为中心设置大小为(K,L)的窗口Z,确定为同名点搜索区域,窗口Z为窗口X的3倍大小,n值以3为初始值;
4.3)利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,不断计算窗口X和Y的互信息,将最大互信息对应窗口Y的中心确定为匹配点精确位置,确定出所述特征点精确的匹配点位,得到所述反射强度图像和近景光学影像的精确同名特征点对。
在上述方案中,作为优选,步骤4.3)中,窗口X和Y的互信息表示为MI(X,Y),计算公式为:
其中,
hxy[x(i,j),y(i,j)]=n[x(i,j),y(i,j)]i=1,...,M j=1,…,N (9)
设定窗口X和Y在位置(i,j)的像素灰度值分别是x(i,j)和y(i,j),且i=1,…,M,j=1,…,N,灰度值范围均为[0,255];
x代表窗口X某一点的像素灰度值,y代表窗口Y在某一点的像素灰度值;
n[x(i,j),y(i,j)]用于表示两幅图像对应位置出现相同灰度对的像素对个数;
h(x,y)表示满足图像A中像素点灰度值为x,且图像B对应位置像素灰度值为y的点对个数;
pX(x)、pY(y)分别为窗口X和Y的边缘概率密度函数,pXY(x,y)为窗口X和Y的联合概率密度函数。
在上述方案中,作为优选,步骤4.3)中,利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,基于Powell算法以搜索区域的互信息为目标函数,在搜索区域内确定所述匹配点精确位置,具体搜索过程如下:
4.3.1)首先确定搜索初始点x(0),以近景光学影像上匹配点的所述初始位置为所述初始点,设定允许误差ε和n个线性无关的搜索方向,分别为d(1,1),d(1,2),d(1,3),…,d(1,n),令k=1,其中,(ε>0);
4.3.2)令x(k,0)=x(k,1),从点x(k,0)出发,沿着方向d(k,1),d(k,2),d(k,3),...,d(k,n)依次进行一维搜索,从而得到点x(k,1),x(k,2),x(k,3),…,x(k,n),函数f(x)为目标函数即以所述特征点和匹配点为中心的窗口的互信息,计算近景光学影像各方向搜索点为中心的窗口与反射强度图像精确特征点为中心的窗口X的互信息值,并比较一轮搜索后互信息变化最大搜索点,求m使得:
f(x(k,m-1))-f(x(k,m))=maxj=1,…,m{f(x(k,j-1))-f(x(k,j))} (14)
令d(k,n+1)=x(k,n)-x(k,0),如若|x(k)-x(k-1)|<ε,则计算终止;反之执行步骤4.3.3);
4.3.3)将计算的目标函数值下降最快的方向设为新的搜索方向,假设f0=f(x(k ,0)),fN=f(x(k,n)-x(k,0)),fe=f(2·x(k,n)-x(k,0)),fe为函数“外推点”(x(k,n)-x(k,0))处的值,,同时定义本轮迭代搜索过程中函数值的最大下降值为Δf,如果满足:
fe≥f0或2(f0-2fN+fe)[(f0-fN)-Δf]2≤(f0-fe)2·Δf (15)
则引进新方向,继续进行步骤4.3.2),否则保持方向不变,同样继续进行步骤4.3.2)。
在本发明的其中一个实施例中,作为优选,步骤三中,计算所述粗配准参数的具体方法包括:
3.1)根据SIFT匹配方法,分别对所述RGB彩色图像和近景光学影像提取SIFT特征点,并进行特征匹配;
3.2)依次添加双向一致性约束和RANSAC随机抽样约束,逐级逐项剔除误匹配点,得到所述RGB彩色图像和近景光学影像的同名点;
3.3)基于如公式(5)的仿射变换模型和所述RGB彩色图像和近景光学影像的同名点,计算得到两幅图像的匹配参数,计算得到所述粗配准参数;
x=a0+a1x‘+a2y‘
y=b0+b1x‘+b2y‘ (5)。
在本发明的其中一个实施例中,作为优选,步骤五中,计算所述精配准参数的具体步骤包括:
5.1)所述反射强度图像为由地面激光扫描点云生成的中心平面投影图像,其像素点与点云空间坐标存在一一对应关系,由所述反射强度图像和近景光学影像的精确同名特征点对,确定出所述地面激光扫描点云与所述近景光学影像的精确二三维同名特征点;
5.2)利用罗德里格矩阵作为旋转矩阵计算初始值,结合标准化残差的丹麦法选权迭代小粗差降权的方法计算得到所述精配准参数。
在本发明的其中一个实施例中,作为优选,步骤二中,应用预处理后的点云数据,以中心平面投影方式投影生成所述RGB彩色图像和反射强度图像,具体步骤包括:
2.1)确定出点云中心投影射线及投影平面:由采集的点云的最小外包盒确定点云中心点,以激光雷达中心点为投影点,确定两点连线为点云中心投影射线,与该投影射线垂直且过点云中心点的平面为投影平面,计算投影射线在激光雷达坐标系下的方程,计算公式如下:
其中(x,y,z)为采集点云的中心点坐标;(x0,y0,z0)为仪器激光雷达中心点坐标;
点云所有点沿投影射线方向投影到投影平面上,并由公式(2)计算出每个点在中心投影变换后的坐标;
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)=0 (2)
2.2)建立投影投影平面空间坐标系:将点云以中心投影的方式投影到投影平面后,由所有投影点确定最小外包盒,从而建立投影面空间坐标系O-XYZ,基于所有投影点均在同一投影面的特性,由投影平面上所有投影点的最小外包矩形确定投影平面坐标轴OX和OY,计算两坐标轴在激光雷达坐标系下的空间直线方程,为后续计算投影点在投影平面坐标系的坐标提供依据;
2.3)计算投影点在投影平面坐标系的坐标:基于中心平面投影特性,所有投影点均分布在同一平面XOY内,可设置该坐标系下所有投影点的Z值均为0;由已知激光雷达坐标系下OX、OY轴的直线方程和投影点的坐标,计算每个投影点到OX轴和OY轴的距离,得到投影点在投影平面空间坐标系下的X、Y值;
2.4)点云中心平面投影反射强度图像生成:以激光射线和基准面的相交区域确定图像的大小,以点云分辨率确定图像的格网大小,计算公式如下:
M=取整((X_max-X_min)/delta)+1 (3)
N=取整((Y_max-Y_min)/delta)+1 (4)
其中,delta为点云分辨率;M为中心平面投影图像的宽;N为中心平面投影图像的高;
在每个格网单元内应用最临近搜索法确定格网点对应的投影点,生成点云中心平面投影图像,将点云RGB值和反射强度值各自分别赋给所述投影图像的像素点,分别生成所述RGB彩色图像和所述反射强度图像。
在本发明的其中一个实施例中,作为优选,步骤二中,使用含有内置相机的地面激光扫描仪采集待测对象的地面激光扫描点云,获取点云数据同时,利用内置相机获取彩色影像,之后将对应位置像素的颜色信息RGB赋予点云中对应的点,实现位置坐标与颜色信息的匹配。
在本发明的其中一个实施例中,作为优选,步骤一中,采集待测对象的近景光学影像时,将相机中心与待测对象中心设置在同一水平线上。
在本发明的其中一个实施例中,作为优选,所述待测对象为类似平面对象。
为使本领域技术人员更好地理解本发明的技术方案,现提供如下的实施例进行说明:
如图1所示,一种基于互信息的点云与影像自动高精度配准方法,包括:
步骤一、数据采集:待测物对象可为一个类平面的整体文物或整体文物的组成部分;本实施例中某一石刻浮雕为待测对象;
使用含有内置相机的地面激光扫描仪采集待测对象点云(激光点云),获取点云数据同时,利用内置相机获取的彩色影像,将对应位置像素的颜色信息(RGB)赋予点云中对应的点,实现位置坐标与颜色信息的匹配,获取包含光谱信息的点云,即彩色点云。图2为待测对象的彩色激光点云,设置采集密度为1mm,获取待测对象阵列式彩色点云数据。利用激光探测回波技术计算目标至扫描中心的距离S,获取激光信号发射瞬间扫描仪的横向扫描角度α和纵向扫描角度θ,结合空间点位关系及获取的三个元素值,计算扫描点的空间三维坐标。三维扫描仪有独立坐标系统,如图3所示以地面激光雷达的激光源中心为坐标原点,X与Y轴均在横向扫描面内且相互垂直,而Z轴在纵向扫描面内。
使用高分别率数码相机拍摄上述待测对象的外周面的近景光学影像,如图4所示,具体要求:尽量设置相机中心与待测对象中心在同一水平线。
步骤二、点云数据预处理并将点云生成中心平面投影的反射强度图像和RGB彩色图像:
将地面激光扫描仪的点云数据导出,通过专业软件显示点云数据,由于仪器内部误差和被测物体表面自身状况产生的噪音,以及采集数据时噪声、光线的影响,导致采集的点云存在许多噪声点。在点云配准完成后可以利用软件进行自动过滤和手动剔除噪声点;
应用预处理后的点云数据,以中心平面投影方式投影生成图像。具体为:
Ⅰ、确定点云中心投影射线及投影平面;具体为:由采集点云的最小外包盒确定点云中心点,以激光雷达中心点为投影点,确定两点连线为点云中心投影射线,与该投影射线垂直且过点云中心点的平面为投影平面,计算投影射线在激光雷达坐标系下的方程,计算公式如下:
其中(x,y,z)为采集点云的中心点坐标;(x0,y0,z0)为仪器激光雷达中心点坐标;
点云所有点按照图5所示,沿投影射线方向投影到投影面上,并由公式(2)计算出每个点在中心投影变换后的坐标;
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)=0 (2)
Ⅱ、建立投影面空间坐标系;具体为:将点云以中心投影的方式投影到投影平面后,由所有投影点确定最小外包盒,从而建立如图6所示的投影面空间坐标系O-XYZ,基于所有投影点均在同一投影面的特性,由投影平面上所有投影点的最小外包矩形确定投影面坐标轴OX和OY,计算两坐标轴在激光雷达坐标系下的空间直线方程,为后续计算投影点在投影面坐标系的坐标提供依据;
Ⅲ、计算投影点在投影面坐标系的坐标;具体为:基于中心平面投影特性,所有投影点均分布在同一平面XOY内,可设置该坐标系下所有投影点的Z值均为0;由已知激光雷达坐标系下OX、OY轴的直线方程和投影点的坐标,计算每个投影点到OX轴和OY轴的距离,得到投影点在投影面空间坐标系下的X、Y值;
Ⅳ、点云中心平面投影反射强度图像生成;具体为:以激光射线和基准面的相交区域确定图像的大小,以点云分辨率确定图像的格网大小,计算公式如下:
M=取整((X_max-X_min)/delta)+1 (3)
N=取整((Y_max-Y_min)/delta)+1 (4)
其中,delta为点云分辨率,本文为1mm;M为中心平面投影图像的宽;N为中心平面投影图像的高。
在每个格网单元内应用最临近搜索法确定格网点对应的投影点,生成点云中心平面投影图像,将点云RGB值和反射强度值赋给图像像素点,分别生成点云中心投影RGB彩色图像如图7和反射强度图像如图8;
步骤三、如图9所示粗配准流程,应用点云生成的RGB彩色图像和近景光学影像进行粗匹配,结合RGB彩色图像与点云的对应关系,确定点云与近景影像的粗配准参数;
S1、根据图10所示的SIFT匹配流程图,对点云生成的RGB彩色图像和近景光学影像提取SIFT特征点,并进行特征匹配;
S2、依次添加双向一致性约束和RANSAC随机抽样约束,实现逐级逐项剔除误匹配点,得到RGB彩色图像和近景光学影像的同名点,结果如图11A和11B所示;
S3、基于仿射变换模型如公式(5)和两张图像的同名点,计算两幅图像的匹配参数,基于彩色图像与点云的对应关系,由获取的二三维同名点计算点云与近景影像的粗配准参数;
x=a0+a1x‘+a2y‘
y=b0+b1x‘+b2y‘ (5)
其中,x和x‘,y和y‘为同名点的坐标,a0、a1、a2、b0、b1、b2是两个坐标系是两个坐标系间的放射变化参数。
步骤四、如图12所示精配准流程,依据点云RGB色彩信息与近景影像的配准作为粗配准结果,利用该结果作为点云反射强度图像和近景影像配准的粗值,采用不依赖纹理信息的互信息理论确定近景影像对应匹配点;
C1、根据提取Harris特征点的原理,对反射强度图像分格网提取Harris特征点,并利用Forstner算子精确定位特征点,为后续精确配准提供特征点;
以单幅图像为例提取Harris特征点的过程具体为:
对图像I所有像素点计算出各个像素点水平方向和垂直方向的灰度梯度,分别为gx、gy,以及梯度乘积gxgy,建立三幅与该图像I大小相同的影像,且各点像素值为图像I对应位置的gx、gy和gxgy
对上述建立的三幅图像采用高斯滤波模板w进行卷积(卷积是指一个矩阵模板和两外一个矩阵内与模板相同大小的矩阵相乘,顺序如果以左上角坐标原点来说,按照从左到右从上到下的顺序),获得矩阵M,计算公式如下:
计算矩阵M的迹、行列式对应的值,按照公式(7)计算像素对应的兴趣值R;
R=det(M)-k.tr2(M) (7)
其中det为矩阵的行列式;tr为矩阵的迹;k为常数(一般取值0.04~0.06);R为图像相应像素对应特征值,确定特征点必须满足该点的特征值为局部最大并大于阈值R0的条件(阈值R0的值一般是计算所有像素的兴趣值,然后排序,最后按照想取的特征点的个数,按照排序取点)。
具体根据实际需求人为设置窗口大小,例如250*250、100*100等,窗口大小只能决定特征点的稀疏程度,在窗口范围内搜索兴趣值的极值点,确定极值点对应像素为特征点,利用Forstner算子精确定位特征点。如图13所示以100*100的窗口提取反射强度图像的特征点的效果图。
C2、基于彩色图像与近景影像的粗匹配参数和点云反射强度图像与RGB彩色图像的对应关系,确定点云反射强度图像与近景影像的初始关系,基于反射强度图像分格网提取精确定位的特征点,确定近景影像的对应粗匹配点;
具体为:利用图13所示的网格大小为100*100提取Harris精确特征点(共108个特征点),先将近景影像转变为灰度图像并降低分辨率,结果如图14,再利用粗匹配参数在近景影像的灰度图确定对应粗匹配点,如图15。
C3、由确定的反射强度图像精确特征点和近景影像的初始匹配点,基于互信息理论以该初始点为中心的范围内寻找最优对应特征点,从而得到精确同名点集。
具体为:如图16所示,以反射强度图像精确特征点为中心,设置大小为(M,N)的窗口X,如图17所示,以近景影像的匹配点初始位置为中心,设置大小为(K,L)的窗口Z,不断在窗口Z范围内搜索与窗口X大小相同的窗口Y,不断计算窗口X和Y的互信息,确定最大互信息对应窗口Y的中心为匹配点精确位置,近景影像精确匹配点搜索结果如图18。
图像互信息的计算过程如图19所示,以图像大小均为M×N的两幅灰度图像A和B为例,具体计算过程如下:
图像A、B在位置(i,j)的像素灰度值分别是a(i,j)和b(i,j),且i=1,…,M,j=1,…,N,灰度值范围均为[0,255],则图像A,B的联合直方图h函数表示为:
其中h(a,b)表示满足图像A中像素点灰度值为a,且图像B对应位置像素灰度值为b的点对个数,用于统计并表示两张图像联合像素对分布,便于以下计算边缘概率密度和联合概率密度,按公式(9)计算:
hab[a(i,j),b(i,j)]=n[a(i,j),b(i,j)]i=1,…,M j=1,…,N (9)
其中n[a(i,j),b(i,j)]用于表示两幅图像对应位置出现相同灰度对的像素对个数。统计同一位置像素对的个数,便于统一联合图像的概率密度分布和单个图像边缘概率密度。
由两张图像的联合直方图计算图像A、B的边缘概率密度函数pA(a)、pB(b),以及联合概率密度函数pAB(a,b),分别为:
基于图像联合直方图与图像互信息的关系,图像A,B的互信息表示为MI(A,B),计算公式如下:
pAB(a,b)表示联合图像直方图中,同一位置图像A的像素为a,图像B的像素为b的联合概率密度。
对反射强度图提取的精确特征点,基于粗匹配参数在近景影像上确定匹配点初始位置。以该点为初始搜索点,基于Powell算法以搜索区域的互信息为目标函数,在搜索区域内确定匹配点精确位置。以单个网格的对应匹配点的具体搜索过程如下:
(1)首先确定搜索初始点x(0),此点为近景影像上匹配点的初始位置,设定允许误差ε(ε>0,根据图像分辨率设定)和n个线性无关的搜索方向,分别为d(1,1),d(1,2),d(1,3),…,d(1,n),令k=1;
(2)令x(k,0)=x(k,1),从点x(k,0)出发,沿着方向d(k,1),d(k,2),d(k,3),...,d(k,n)依次进行一维搜索,从而得到点x(k,1),x(k,2),x(k,3),...,x(k,n),函数f(x)为目标函数即以特征点和匹配点为中心的窗口互信息。计算近景影像各方向搜索点为中心的窗口与反射强度图像精确特征点为中心窗口的互信息值,并比较一轮搜索后互信息变化最大搜索点,求m(计算互信息量变化最大搜索方向,m表示搜索方向的代号)使得:
f(x(k,m-1))-f(x(k,m))=maxj=1,...,m{f(x(k,j-1))-f(x(k,j))} (14)
令d(k,n+1)=x(k,n)-x(k,0),如若|x(k)-x(k-1)|<ε,则计算终止;反之执行步骤3;
(3)将计算的目标函数值(即两个窗口的互信息)下降最快的方向设为新的搜索方向。假设f0=f(x(k,0)),fN=f(x(k,n)-x(k,0)),fe=f(2·x(k,n)-x(k,0)),fe为函数“外推点”(x(k ,n)-x(k,0))处的值,该点距离方向(x(k,n)-x(k,0))比较远。同时定义本轮迭代搜索过程中函数值的最大下降值为Δf(Δf>0),如果满足:
fe≥f0或2(f0-2fN+fe)[(f0-fN)-Δf]2≤(f0-fe)2·Δf (15)
则引进新方向,继续步骤2,否则保持方向不变,同样继续步骤2。单个特征点对应精确匹配点的搜索算法实现如图20所示。
步骤五、基于互信息测度搜索近景影像的匹配点精确位置,与反射强度图像的特征点构成高精度的特征点对,得到点云与影像的精确二三维同名特征点,基于罗德里、格矩阵的空间相似变换模型,结合标准化残差的丹麦法选权迭代小粗差降权,计算点云与影像的高精度配准参数;具体参数计算过程如下:
在摄影测量中,像空间坐标系与物方坐标系存在一个空间相似变换,其变换模型公式为:
其中(X,Y,Z)为空间点的物方空间坐标;λ为两个坐标系间的缩放系数;R为两个坐标系间的旋转矩阵;(x,y,-f)为空间点对应像点像空间坐标系坐标,其中f表示数码相机的焦距;(XS,YS,ZS)为摄影中心在物方坐标系的空间坐标。
对点坐标进行重心化处理,使个别项的系数为零,从而提高计算速度和精度。将物方空间点和相应像点进行坐标重心化后,空间相似变换模型转换为公式(17):
其中(Xm,Ym,Zm)、(xm,ym,0)为同名点的重心化坐标;R为旋转模型;每对配准点的缩放系数λ为:、
其中,Xi、Yi、、Zi表示采集的特征点物方点的坐标,Xim、Yim、Zim表示该坐标的重心。
利用反对称矩阵S以及正交旋转矩阵R与反对称矩阵S的关系,得到罗德里格矩阵。
R=(I+S)(I-S)-1 (20)
其中Δ=1+a2+b2+c2为缩放系数。
由此推导出两个坐标系间角度变换参数(a,b,c)的模型方程式。
其中,a,b,c为反对称矩阵S的元素。
解算出影响姿态角函数的参数(a,b,c)后,代入公式(22)求解旋转矩阵R,从而计算出影像摄影角度:
其中,a3、c3、-b3、b1、b2等代表矩阵R(21)的各个参数。顺序是第一行a1、a2、a3,第二行b1、b2、b3,第三行c1、c2、c3。
根据上述求解的λ与R,求解配准参数线元素:
最后应用标准化残差丹麦法选权迭代精确计算配准参数,抑制配准控制点的粗差,得到精确配准参数。
对前三次的迭代 (25)
对其后的迭代 (26)
其中f(v)为权值,v为观测值残差;p0为权因子;m0为量测值的标准偏差。
公式(25)和(26)是对公式(24)进行解算时不同迭代次数计算迭代过程中需要的权值,这个权值表示不同特征点参与解算参数的程度,权值低的对解算参数的贡献小,这样可以减小误差。
步骤六、通过纹理映射,实现所测对象的三维重建,生成精确的彩色点云模型,如图21所示。
这里说明的模块数量和处理规模是用来简化本发明的说明的。对本发明的基于互信息的点云与影像自动高精度配准方法的应用、修改和变化对本领域的技术人员来说是显而易见的。
如上所述,本发明以采集的地面激光点云和数码相机拍摄的近景光学影像为数据源,以自动建立高精度的三维纹理模型为研究目标,提出特征配准和互信息配准相结合的适用于异源数据的由粗到细配准方法,实现文物高精度三维彩色模型重建,为文物数字化保护、文物虚拟修复、病害研究等提供基础数据,广泛应用到文物数字化保存、文物三维展示、文物病害研究、文物虚拟修复、文物衍生商品等方面。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种基于互信息的点云与影像自动高精度配准方法,其特征在于,包括:
步骤一、拍摄待测对象的近景光学影像;
步骤二、采集待测对象的地面激光扫描点云,之后利用激光扫描点云的可见光光谱信息和激光反射强度信息,生成地面激光扫描点云的平面中心投影RGB彩色图像和反射强度图像,其中,所述RGB彩色图像与反射强度图像的三维点一一对应;
步骤三、利用所述近景光学影像和点云RGB彩色图像的匹配结果,计算得到点云RGB彩色图像与近景光学影像的粗配准参数;
步骤四、首先对点云的所述反射强度图像分网格提取Harris算子特征点,并应用Forstner定位算子进行精确定位,之后利用所述粗配准参数计算所述特征点于所述近景光学影像上的对应同名点的初始位置,然后利用互信息理论在所述初始位置内搜寻所述特征点在所述近景光学影像中的精确的匹配点位,得到两张图像精确同名特征点对;
步骤五、由所述精确同名特征点对计算得到所述点云与近景光学影像的精配准参数;
步骤六、通过纹理映射,实现所述待测对象的三维重建,生成其精确的彩色点云模型。
2.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤四中,得到两张图像精确同名特征点对的具体步骤包括:
4.1)对点云的所述反射强度图像分网格提取Harris算子特征点,并用Forstner算子进行精确定位,以该特征点为中心点设置大小为(M,N)的窗口X;
4.2)将粗配准参数作为所述反射强度图像与近景光学影像的初始配准参数,利用粗配准参数计算点云反射强度特征点所对应的近景影像同名点的初始位置,以此初始位置为中心设置大小为(K,L)的窗口Z,确定为同名点搜索区域,窗口Z为窗口X的n倍大小,n值以3为初始值;
4.3)利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,不断计算窗口X和Y的互信息,将最大互信息对应窗口Y的中心确定为匹配点精确位置,确定出所述特征点精确的匹配点位,得到所述反射强度图像和近景光学影像的精确同名特征点对。
3.如权利要求2所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤4.3)中,窗口X和Y的互信息表示为MI(X,Y),计算公式为:
其中,
hxy[x(i,j),y(i,j)]=n[x(i,j),y(i,j)] i=1,…,Mj=1,…,N (9)
设定窗口X和Y在位置(i,j)的像素灰度值分别是x(i,j)和y(i,j),且i=1,…,M,j=1,…,N,灰度值范围均为[0,255];
x代表窗口X某一点的像素灰度值,y代表窗口Y在某一点的像素灰度值;
n[x(i,j),y(i,j)]用于表示两幅图像对应位置出现相同灰度对的像素对个数;
h(x,y)表示满足图像A中像素点灰度值为x,且图像B对应位置像素灰度值为y的点对个数;
px(x)、pY(y)分别为窗口X和Y的边缘概率密度函数,pXY(x,y)为窗口X和Y的联合概率密度函数。
4.如权利要求2所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤4.3)中,利用互信息理论,在窗口Z范围内搜索与窗口X大小相同的窗口Y,基于Powell算法以搜索区域的互信息为目标函数,在搜索区域内确定所述匹配点精确位置,具体搜索过程如下:
4.3.1)首先确定搜索初始点x(0),以近景光学影像上匹配点的所述初始位置为所述初始点,设定允许误差ε和n个线性无关的搜索方向,分别为d(1,1),d(1,2),d(1,3),…,d(1,n),令k=1,其中,(ε>0);
4.3.2)令x(k,0)=x(k,1),从点x(k,0)出发,沿着方向d(k,1),d(k,2),d(k,3),…,d(k,n)依次进行一维搜索,从而得到点x(k,1),x(k,2),x(k,3),...,x(k,n),函数f(x)为目标函数即以所述特征点和匹配点为中心的窗口的互信息,计算近景光学影像各方向搜索点为中心的窗口与反射强度图像精确特征点为中心的窗口X的互信息值,并比较一轮搜索后互信息变化最大搜索点,求m使得:
f(x(k,m-1))-f(x(k,m))=maxj=1,…,m{f(x(k,j-1))-f(x(k,j))} (14)
令d(k,n+1)=x(k,n)-x(k,0),如若|x(k)-x(k-1)|<ε,则计算终止;反之执行步骤4.3.3);
4.3.3)将计算的目标函数值下降最快的方向设为新的搜索方向,假设f0=f(x(k,0)),fN=f(x(k,n)-x(k,0)),fe=f(2·x(k,n)-x(k,0)),fe为函数“外推点”(x(k,n)-x(k,0))处的值,,同时定义本轮迭代搜索过程中函数值的最大下降值为Δf,如果满足:
fe≥f0或2(f0-2fN+fe)[(f0-fN)-Δf]2≤(f0-fe)2·Δf (15)
则引进新方向,继续进行步骤4.3.2),否则保持方向不变,同样继续进行步骤4.3.2)。
5.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤三中,计算所述粗配准参数的具体方法包括:
3.1)根据SIFT匹配方法,分别对所述RGB彩色图像和近景光学影像提取SIFT特征点,并进行特征匹配;
3.2)依次添加双向一致性约束和RANSAC随机抽样约束,逐级逐项剔除误匹配点,得到所述RGB彩色图像和近景光学影像的同名点;
3.3)基于如公式(5)的仿射变换模型和所述RGB彩色图像和近景光学影像的同名点,计算得到两幅图像的匹配参数,计算得到所述粗配准参数;
x=a0+a1x′+a2y′
y=b0+b1x′+b2y′ (5)。
6.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤五中,计算所述精配准参数的具体步骤包括:
5.1)所述反射强度图像为由地面激光扫描点云生成的中心平面投影图像,其像素点与点云空间坐标存在一一对应关系,由所述反射强度图像和近景光学影像的精确同名特征点对,确定出所述地面激光扫描点云与所述近景光学影像的精确二三维同名特征点;
5.2)利用罗德里格矩阵作为旋转矩阵计算初始值,结合标准化残差的丹麦法选权迭代小粗差降权的方法计算得到所述精配准参数。
7.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤二中,应用预处理后的点云数据,以中心平面投影方式投影生成所述RGB彩色图像和反射强度图像,具体步骤包括:
2.1)确定出点云中心投影射线及投影平面:由采集的点云的最小外包盒确定点云中心点,以激光雷达中心点为投影点,确定两点连线为点云中心投影射线,与该投影射线垂直且过点云中心点的平面为投影平面,计算投影射线在激光雷达坐标系下的方程,计算公式如下:
其中(x,y,z)为采集点云的中心点坐标;(x0,y0,z0)为仪器激光雷达中心点坐标;
点云所有点沿投影射线方向投影到投影平面上,并由公式(2)计算出每个点在中心投影变换后的坐标;
(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)=0 (2)
2.2)建立投影投影平面空间坐标系:将点云以中心投影的方式投影到投影平面后,由所有投影点确定最小外包盒,从而建立投影面空间坐标系O-XYZ,基于所有投影点均在同一投影面的特性,由投影平面上所有投影点的最小外包矩形确定投影平面坐标轴O和OY,计算两坐标轴在激光雷达坐标系下的空间直线方程,为后续计算投影点在投影平面坐标系的坐标提供依据;
2.3)计算投影点在投影平面坐标系的坐标:基于中心平面投影特性,所有投影点均分布在同一平面XOY内,可设置该坐标系下所有投影点的Z值均为0;由已知激光雷达坐标系下OX、OY轴的直线方程和投影点的坐标,计算每个投影点到OX轴和OY轴的距离,得到投影点在投影平面空间坐标系下的X、Y值;
2.4)点云中心平面投影反射强度图像生成:以激光射线和基准面的相交区域确定图像的大小,以点云分辨率确定图像的格网大小,计算公式如下:
M=取整((X-max-X_min)/delta)+1 (3)
N=取整((Y_max-Y_min)/delta)+1 (4)
其中,delta为点云分辨率;M为中心平面投影图像的宽;N为中心平面投影图像的高;
在每个格网单元内应用最临近搜索法确定格网点对应的投影点,生成点云中心平面投影图像,将点云RGB值和反射强度值各自分别赋给所述投影图像的像素点,分别生成所述RGB彩色图像和所述反射强度图像。
8.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤二中,使用含有内置相机的地面激光扫描仪采集待测对象的地面激光扫描点云,获取点云数据同时,利用内置相机获取彩色影像,之后将对应位置像素的颜色信息RGB赋予点云中对应的点,实现位置坐标与颜色信息的匹配。
9.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,步骤一中,采集待测对象的近景光学影像时,将相机中心与待测对象中心设置在同一水平线上。
10.如权利要求1所述的基于互信息的点云与影像自动高精度配准方法,其特征在于,所述待测对象为类似平面对象。
CN201811268499.9A 2018-10-29 2018-10-29 基于互信息的点云与影像自动高精度配准方法 Active CN109410256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811268499.9A CN109410256B (zh) 2018-10-29 2018-10-29 基于互信息的点云与影像自动高精度配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268499.9A CN109410256B (zh) 2018-10-29 2018-10-29 基于互信息的点云与影像自动高精度配准方法

Publications (2)

Publication Number Publication Date
CN109410256A true CN109410256A (zh) 2019-03-01
CN109410256B CN109410256B (zh) 2021-10-15

Family

ID=65470267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268499.9A Active CN109410256B (zh) 2018-10-29 2018-10-29 基于互信息的点云与影像自动高精度配准方法

Country Status (1)

Country Link
CN (1) CN109410256B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136182A (zh) * 2019-05-28 2019-08-16 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质
CN110148099A (zh) * 2019-05-29 2019-08-20 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
CN110288050A (zh) * 2019-07-02 2019-09-27 广东工业大学 一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法
CN110766734A (zh) * 2019-08-15 2020-02-07 中国科学院遥感与数字地球研究所 光学影像与热红外影像的配准方法及设备
CN111369606A (zh) * 2020-03-27 2020-07-03 北京建筑大学 基于无控制扫描点云的文物对象高精度微变形监测方法
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111638499A (zh) * 2020-05-08 2020-09-08 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
WO2020186894A1 (zh) * 2019-03-19 2020-09-24 北京京东尚科信息技术有限公司 箱体建模方法、装置、机器人拣选系统、电子设备及介质
CN111862317A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种衣物建模方法及系统
CN111915662A (zh) * 2019-05-07 2020-11-10 北京京东尚科信息技术有限公司 一种三维激光点云数据预处理方法和装置
CN112200903A (zh) * 2020-08-27 2021-01-08 深圳市太赫兹科技创新研究院有限公司 三维人体点云的获取方法、装置、设备及计算机存储介质
CN112581505A (zh) * 2020-12-24 2021-03-30 天津师范大学 一种简易的激光雷达点云与光学影像自动配准方法
CN113611082A (zh) * 2021-07-12 2021-11-05 北京铁科特种工程技术有限公司 一种无人机铁路边坡监控与预警系统及方法
CN113793370A (zh) * 2021-01-13 2021-12-14 北京京东叁佰陆拾度电子商务有限公司 三维点云配准方法、装置、电子设备及可读介质
CN114386293A (zh) * 2022-03-22 2022-04-22 之江实验室 一种虚实合成的激光雷达点云生成方法和装置
CN114494366A (zh) * 2022-01-19 2022-05-13 中铁第一勘察设计院集团有限公司 一种影像与点云配准的道路坑槽提取方法
CN114549746A (zh) * 2022-01-28 2022-05-27 电子科技大学 一种高精度真彩三维重建方法
CN114972446A (zh) * 2021-12-23 2022-08-30 通用技术集团工程设计有限公司 一种基于罗德里格矩阵的光学影像与地面激光点云配准方法
CN115546266A (zh) * 2022-11-24 2022-12-30 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法
CN115690380A (zh) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 一种配准方法及系统
CN116433476A (zh) * 2023-06-09 2023-07-14 有方(合肥)医疗科技有限公司 Ct图像处理方法及装置
CN117274326A (zh) * 2023-08-25 2023-12-22 中国农业大学 基于距离估计和姿态参数的机器视觉图像配准方法和系统
CN114494366B (zh) * 2022-01-19 2024-04-30 中铁第一勘察设计院集团有限公司 一种影像与点云配准的道路坑槽提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
CN104007444A (zh) * 2014-06-09 2014-08-27 北京建筑大学 一种基于中心投影的地面激光雷达反射强度图像的生成方法
CN106500594A (zh) * 2016-10-31 2017-03-15 武汉大学 融合反射强度和几何特征的铁路轨道半自动检测方法
CN108278968A (zh) * 2018-01-17 2018-07-13 北京建筑大学 一种车载扫描系统控制点检校方法
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
CN104007444A (zh) * 2014-06-09 2014-08-27 北京建筑大学 一种基于中心投影的地面激光雷达反射强度图像的生成方法
CN106500594A (zh) * 2016-10-31 2017-03-15 武汉大学 融合反射强度和几何特征的铁路轨道半自动检测方法
CN108278968A (zh) * 2018-01-17 2018-07-13 北京建筑大学 一种车载扫描系统控制点检校方法
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WANG YU等: "《THE ONE TO MULTIPLE AUTOMATIC HIGH ACCURACY REGISTRATION OF TERRESTRIAL LIDAR AND OPTICAL IMAGES》", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
曾飞翔等: "《一种基于近景影像的边缘三维重建方法》", 《测绘通报》 *
杜俊: "《地面LiDAR与高光谱数据配准及在单木结构参数提取中的应用》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王晏民等: "《一种地面激光雷达点云与纹理影像稳健配准方法》", 《测绘学报》 *
胡春梅等: "《一种基于中心投影的地面激光雷达反射强度图像的生成方法》", 《激光杂志》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756263B2 (en) 2019-03-19 2023-09-12 Beijing Jingdong Qianshi Technology Co., Ltd. Box modeling method, apparatus, robot picking system, electronic device and medium
WO2020186894A1 (zh) * 2019-03-19 2020-09-24 北京京东尚科信息技术有限公司 箱体建模方法、装置、机器人拣选系统、电子设备及介质
CN111915662B (zh) * 2019-05-07 2024-01-12 北京京东乾石科技有限公司 一种三维激光点云数据预处理方法和装置
CN111915662A (zh) * 2019-05-07 2020-11-10 北京京东尚科信息技术有限公司 一种三维激光点云数据预处理方法和装置
CN110136182B (zh) * 2019-05-28 2021-06-04 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质
CN110136182A (zh) * 2019-05-28 2019-08-16 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质
CN110148099A (zh) * 2019-05-29 2019-08-20 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
CN110148099B (zh) * 2019-05-29 2021-09-10 北京百度网讯科技有限公司 投影关系的修正方法及装置、电子设备、计算机可读介质
CN110288050A (zh) * 2019-07-02 2019-09-27 广东工业大学 一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法
CN110288050B (zh) * 2019-07-02 2021-09-17 广东工业大学 一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法
CN110766734A (zh) * 2019-08-15 2020-02-07 中国科学院遥感与数字地球研究所 光学影像与热红外影像的配准方法及设备
CN111369606A (zh) * 2020-03-27 2020-07-03 北京建筑大学 基于无控制扫描点云的文物对象高精度微变形监测方法
CN111369606B (zh) * 2020-03-27 2023-04-28 北京建筑大学 基于无控制扫描点云的文物对象高精度微变形监测方法
CN111462029B (zh) * 2020-03-27 2023-03-03 阿波罗智能技术(北京)有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111462029A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 视觉点云与高精地图融合方法、装置和电子设备
CN111638499A (zh) * 2020-05-08 2020-09-08 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111638499B (zh) * 2020-05-08 2024-04-09 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111862317A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种衣物建模方法及系统
CN112200903A (zh) * 2020-08-27 2021-01-08 深圳市太赫兹科技创新研究院有限公司 三维人体点云的获取方法、装置、设备及计算机存储介质
CN112200903B (zh) * 2020-08-27 2024-04-16 深圳市重投华讯太赫兹科技有限公司 三维人体点云的获取方法、装置、设备及计算机存储介质
CN112581505A (zh) * 2020-12-24 2021-03-30 天津师范大学 一种简易的激光雷达点云与光学影像自动配准方法
CN113793370A (zh) * 2021-01-13 2021-12-14 北京京东叁佰陆拾度电子商务有限公司 三维点云配准方法、装置、电子设备及可读介质
CN113793370B (zh) * 2021-01-13 2024-04-19 北京京东叁佰陆拾度电子商务有限公司 三维点云配准方法、装置、电子设备及可读介质
CN113611082A (zh) * 2021-07-12 2021-11-05 北京铁科特种工程技术有限公司 一种无人机铁路边坡监控与预警系统及方法
CN114972446A (zh) * 2021-12-23 2022-08-30 通用技术集团工程设计有限公司 一种基于罗德里格矩阵的光学影像与地面激光点云配准方法
CN114494366A (zh) * 2022-01-19 2022-05-13 中铁第一勘察设计院集团有限公司 一种影像与点云配准的道路坑槽提取方法
CN114494366B (zh) * 2022-01-19 2024-04-30 中铁第一勘察设计院集团有限公司 一种影像与点云配准的道路坑槽提取方法
CN114549746A (zh) * 2022-01-28 2022-05-27 电子科技大学 一种高精度真彩三维重建方法
CN114549746B (zh) * 2022-01-28 2023-03-07 电子科技大学 一种高精度真彩三维重建方法
CN114386293A (zh) * 2022-03-22 2022-04-22 之江实验室 一种虚实合成的激光雷达点云生成方法和装置
CN115690380A (zh) * 2022-11-11 2023-02-03 重庆数字城市科技有限公司 一种配准方法及系统
CN115546266A (zh) * 2022-11-24 2022-12-30 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法
CN116433476B (zh) * 2023-06-09 2023-09-08 有方(合肥)医疗科技有限公司 Ct图像处理方法及装置
CN116433476A (zh) * 2023-06-09 2023-07-14 有方(合肥)医疗科技有限公司 Ct图像处理方法及装置
CN117274326A (zh) * 2023-08-25 2023-12-22 中国农业大学 基于距离估计和姿态参数的机器视觉图像配准方法和系统

Also Published As

Publication number Publication date
CN109410256B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN109410256A (zh) 基于互信息的点云与影像自动高精度配准方法
CN107945268B (zh) 一种基于二元面结构光的高精度三维重建方法及系统
CN101292255B (zh) 三维成像中的人工痕迹消除
CN106097348B (zh) 一种三维激光点云与二维图像的融合方法
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
Meyer et al. An electronic image plant growth measurement system
Rautiainen et al. Crown envelope shape measurements and models
CN109544612A (zh) 基于特征点几何表面描述的点云配准方法
JPH05509015A (ja) 物体のトポグラフィーを得るための方法及び装置
Rüther et al. A comparison of close-range photogrammetry to terrestrial laser scanning for heritage documentation
CA2721891A1 (en) Optronic system and method dedicated to identification for formulating three-dimensional images
CN108692656B (zh) 一种激光扫描数据获取方法及装置
CN107067394A (zh) 一种倾斜摄影获取点云坐标的方法及装置
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN113446957B (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN108195736A (zh) 一种三维激光点云提取植被冠层间隙率的方法
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
Bruno et al. Integrated processing of photogrammetric and laser scanning data for frescoes restoration
US7092562B2 (en) Method for measuring a three-dimensional object, or assembly of objects
CN110308438B (zh) 一种利用多回波单站扫描数据校正激光雷达反射强度的方法
CN107478172A (zh) 基于双目视觉的激光三维曲线轮廓定位投影方法
CN116678862A (zh) 一种植株叶绿素荧光三维成像装置及方法
CN114241059B (zh) 一种光度立体视觉系统中相机和光源的同步标定方法
CN116205994A (zh) 一种应用于放疗室的3d点云相机标定方法
CN109087341A (zh) 一种近距离高光谱相机与测距传感器的融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant