CN111696141A - 一种三维全景扫描采集方法、设备及存储设备 - Google Patents

一种三维全景扫描采集方法、设备及存储设备 Download PDF

Info

Publication number
CN111696141A
CN111696141A CN202010442644.1A CN202010442644A CN111696141A CN 111696141 A CN111696141 A CN 111696141A CN 202010442644 A CN202010442644 A CN 202010442644A CN 111696141 A CN111696141 A CN 111696141A
Authority
CN
China
Prior art keywords
point cloud
holder
coordinate system
data
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442644.1A
Other languages
English (en)
Other versions
CN111696141B (zh
Inventor
宋彩虹
李翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianjihang Information Technologies Inc ltd
Original Assignee
Wuhan Tianjihang Information Technologies Inc ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianjihang Information Technologies Inc ltd filed Critical Wuhan Tianjihang Information Technologies Inc ltd
Priority to CN202010442644.1A priority Critical patent/CN111696141B/zh
Publication of CN111696141A publication Critical patent/CN111696141A/zh
Application granted granted Critical
Publication of CN111696141B publication Critical patent/CN111696141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明提供了一种三维全景扫描采集方法、设备及存储设备，其方法包括：首先控制端控制云台和采集装置采集点云数据和图片数据；然后控制端对点云数据和图片数据进行配准和优化处理，生成全景点云和全景图。本发明的有益效果是：本发明所提出的技术方案中，一种三维全景扫描采集系统中的硬件设备可根据需要进行配置，满足不同使用场景的需求，设备成本可以控制，使用方便灵活；一种三维全景扫描采集方法中，通过程序控制和拍摄模式控制，降低带有可量测三维全景扫描的采集难度；进行影像三维全景扫描的同时，也保存对应影像的深度信息，使整个数据包含了可量测的信息，为数据在其他方面的应用做好了铺垫。

Description

一种三维全景扫描采集方法、设备及存储设备
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种三维全景扫描采集方法、设备及存储设备。
背景技术
与本申请所提出的技术方案最接近的现有技术就是法茹的激光扫描仪，在进行激光扫描的同时，可以通过数码镜头拍摄一个拼接的全景图像和激光点云。
但是法茹激光扫描仪在使用过程中，需要架站进行整平，单站采集时间长，提供的全景图分辨率不高，设备价格昂贵，使用方式相对繁琐。
发明内容
为了解决上述问题，本发明提供了一种三维全景扫描采集方法、设备及存储设备；一种三维全景扫描采集方法，其特征在于：应用于一种三维全景扫描采集系统中；所述一种三维全景扫描采集系统包括：云台、控制端和采集装置；
所述一种三维全景扫描采集方法，包括以下步骤：
S101：所述控制端控制所述云台和所述采集装置采集点云数据和图片数据；
S102：所述控制端对所述点云数据和所述图片数据进行配准和优化处理，生成全景点云和全景图。
进一步地，所述采集装置固定安装在所述云台上，以通过所述云台的转动改变所述采集装置的采集方向；所述控制端与所述云台和所述采集装置分别电性连接；
所述云台和所述采集装置均具有无线连接功能，所述控制端为可编写程序的智能终端，
所述控制端通过蓝牙分别与所述采集装置和所述云台进行通信；
所述云台带有云台支撑杆；所述采集装置包括TOF相机和RGB相机，所述TOF相机用于采集点云数据，所述RGB相机用于采集图片数据。
进一步地，步骤S101中，所述控制端控制所述云台和所述采集装置采集点云数据和影像数据，具体包括：
S201：所述控制端控制所述云台转动至云台与云台支撑杆之间的夹角为θ的位置，并以此为初始状态，设定初始状态的TOF相机平面pdepth和RGB相机平面prgb为初始平面，分别记为pdepth 0和prgb 0；
S202：所述控制端控制所述云台转动，并且云台每转动一站，RGB相机采集一次图片数据，TOF相机采集一次点云数据，直到数据采集结束，得到每一站采集的点云数据组成的点云集和每一站采集的图片数据组成的影像集；其中云台每转动角度Δθ为一站。
进一步地，步骤S102中，所述控制端对所述点云数据和所述图片数据进行配准处理，生成全景点云和全景图；具体包括：
S301：设云台的转动中心为T，TOF相机中心和RGB相机中心分别为Cd和Crgb；
S302：检校TOF相机的相机参数，得到TOF相机的内参数Kd和RGB相机的内参数Krgb；
S303：以云台的转动中心为初始世界坐标系的坐标中心，检校TOF相机和云台的转动中心的外参关系：{R|t}d-＞T；并根据TOF相机和RGB相机之间的外参关系{R|t}rgb-＞d，计算得到RGB相机和云台的转动中心的外参关系；
S304：根据步骤S303得到的各外参关系，利用坐标转换原理，依次对云台每一站采集的点云数据和图片数据进行处理，将点云集中的所有点云数据的坐标转换到初始世界坐标系中，将影像集中的图片数据的坐标投影到初始世界坐标系中；
S305：根据步骤S304中处理完成的点云集和处理完成的影像集，采用ICP算法进行全景点云配准的优化，得到全景图和全景点云。
进一步地，步骤S304中，针对云台转动后的t时刻，即第t站采集的点云数据和图片数据，将其坐标投影到初始世界坐标系中的具体处理过程包括：
S401：通过坐标系旋转原理，根据下式计算t时刻云台的转动中心的坐标Tt；
Tt＝R·T0+T
上式中，R为旋转矩阵，T为平移向量；T0为云台的转动中心的初始坐标；
S402：根据TOF相机和云台的转动中心的外参关系计算得到t时刻TOF相机中心在初始世界坐标系中的坐标Cd t，根据RGB相机和云台的转动中心的外参关系计算得到t时刻RGB相机中心在初始世界坐标系中的坐标Crgb t，将当前t时刻的点云数据从当前点云坐标系转换到初始世界坐标系中，将当前t时刻的图片数据从当前图像坐标系投影到初始世界坐标系中；其中，TOF相机和初始世界坐标系的转换关系为：
Figure BDA0002504710470000031
上式中，R0和t0分别表示初始状态下TOF相机中心和云台的转动中心的旋转矩阵和平移向量；Rt和tt分别表示t时刻TOF相机中心和云台的转动中心的旋转矩阵和平移向量。
进一步地，步骤S402中，当前点云坐标系为TOF相机所在的坐标系，以TOF相机中心为坐标系原点；当前图像坐标系为RGB相机所在的坐标系，以RGB相机中心为坐标系原点。
进一步地，步骤S305中，采用ICP算法进行全景点云配准，具体包括：
S501：在参考点云集P中取点云pi∈P；所述参考点云集P为第一站采集的点云数据，以点云数据所在坐标系设为初始世界坐标系；pi为从参考点云集P中随机获取的第i个点云；
S502：找出待配准点云集Q中的与pi对应点云qi∈Q，使：
min||qi-pi||
上式中，待配准点云集Q即为步骤S305中的处理完成的点云集；
S503：计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t，使得误差函数最小；误差函数如下：
Figure BDA0002504710470000032
上式中，n为P和Q的交集N中的点云个数，根据上式计算误差函数最小时的R和t；
S504：对qi使用步骤S503求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，得到旋转和平移变换之后的对应点云qi′；具体公式如下：
qi′＝Rqi+t；
根据上式依次计算q1′,q2′,…,qn′；
S505：计算点云集q1′,q2′,…,qn′与对应点云集p1,p2,…,pn的平均距离,如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算；否则返回S502，直到满足收敛条件为止；平均距离计算公式如下：
Figure BDA0002504710470000041
若d小于或者等于预设阈值，或者迭代次数达到预设最大值，则结束迭代，到步骤S506；否则，返回步骤S503，重新计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t；
S506：全景图的优化：结合图像特征匹配，计算精确H矩阵，再进行图片数据的投影变换，得到全景图；投影变换公式为：
Xt＝HXimage
上式中，Xt为参考图片上的像素坐标，Ximage为待配准图片上的像素坐标；H为参考图片和待配准图片之间的投影变换Homograph矩阵；
S506：输出全景点云和全景图。
进一步地，步骤S506中，投影变换的具体展开公式为：
Figure BDA0002504710470000042
其中，
Figure BDA0002504710470000043
为预先选择至少六个像素点计算得到，若采用OpenCV实现，可选择近百个像素点计算H矩阵的值。
一种存储设备，所述存储设备存储指令及数据用于实现一种三维全景扫描采集方法。
一种三维全景扫描采集设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种三维全景扫描采集方法。
本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案中，一种三维全景扫描采集系统中的硬件设备可根据需要进行配置，满足不同使用场景的需求，设备成本可以控制，使用方便灵活；一种三维全景扫描采集方法中，通过程序控制和拍摄模式控制，降低带有可量测三维全景扫描的采集难度；进行影像三维全景扫描的同时，也保存对应影像的深度信息，使整个数据包含了可量测的信息，为数据在其他方面的应用做好了铺垫。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种三维全景扫描采集方法的流程图；
图2是本发明实施例中数据采集流程图；
图3是本发明实施例中硬件设备工作的示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种三维全景扫描采集方法；应用于一种三维全景扫描采集系统中；所述一种三维全景扫描采集系统包括：云台、控制端和采集装置；所述采集装置固定安装在所述云台上，以通过所述云台的转动改变所述采集装置的采集方向；所述控制端与所述云台和所述采集装置分别电性连接。
所述云台和所述采集装置均具有无线连接功能，所述控制端为可编写程序的智能终端，所述控制端通过蓝牙或者wifi等无线通信方式分别于所述采集装置和所述云台进行通信。
所述云台带有云台支撑杆，且能够360度转动，本发明实施例中，所述云台采用大疆的OSMO mobile2云台；所述TOF相机可以采用集成有TOF镜头的手机，或者专业的TOF相机；本发明实施例中，所述采集装置采用同时集成有TOF镜头和RGB镜头的DCAM710相机。
所述采集装置包括TOF相机和RGB相机，所述TOF相机用于采集点云数据，所述RGB相机用于采集图片数据，采集完成后所述采集装置将采集的数据发送至所述控制端。
请参考图1，图1是本发明实施例中一种三维全景扫描采集方法的流程图，具体包括如下步骤：
S101：所述控制端控制所述云台和所述采集装置采集点云数据和图片数据；
S102：所述控制端对所述点云数据和所述图片数据进行配准和优化处理，生成全景点云和全景图。
请参阅图2，图2是本发明实施例中数据采集流程图；步骤S101中，所述控制端控制所述云台和所述采集装置采集点云数据和图片数据，具体包括：
S201：所述控制端控制所述云台转动至云台与云台支撑杆之间的夹角为θ的位置，并以此为初始状态，设定初始状态的TOF相机平面pdepth和RGB相机平面prgb为初始平面，分别记为pdept 0和prgb 0；θ为预设值；
S202：所述控制端控制所述云台转动，并且云台每转动一站，，RGB相机采集一次图片数据，TOF相机采集一次点云数据，直到数据采集结束，得到每一站采集的点云数据组成的点云集和每一站采集的图片数据组成的影像集；其中云台每转动角度Δθ为一站。
步骤S202中，所述Δθ为根据人工经验预先设定的值，Δθ的设置需保证单站可采集到有一定重叠度的全景点云集和全景影像集；其中，具体重叠多少，可根据人工经验设置，控制端中有预设算法，可以根据镜头焦距，推算拍摄张数，保证影像的重叠度达到摄影测量的重叠度要求。
步骤S102中，所述控制端对所述点云数据和所述图片数据进行配准处理，生成全景点云和全景图；具体包括：
S301：设云台的转动中心为T，TOF相机中心和RGB相机中心分别为Cd和Crgb；本发明实施例中，云台的转动中心T设为0，通过标尺测量RGB相机中心与云台的转动中心之间的平移关系，TOF相机中心根据TOF相机和RGB相机之间的外参关系，通过RGB相机中心推导得到；
S302：检校(标定)TOF相机的相机参数，得到TOF相机的内参数kd和RGB相机的的内参数krgb；
S303：以云台的转动中心为初始世界坐标系的坐标中心，检校TOF相机和云台的转动中心的外参关系：{R|t}d-＞T；并根据TOF相机和RGB相机之间的外参关系{R|t}rgb-＞d计算得到RGB相机和云台的转动中心的外参关系；
S304：根据步骤S303得到的各外参关系，利用坐标转换原理，依次对云台每一站采集的点云数据和图片数据进行处理，将点云集中的所有点云数据的坐标转换到初始世界坐标系中，将影像集中的图片数据的坐标投影到初始世界坐标系中；
S305：根据步骤S304中处理完成的点云集和处理完成的影像集，采用ICP算法进行全景点云配准的优化，得到全景图和全景点云。
步骤S304中，针对云台转动后的t时刻，即第t站采集的点云数据和图片数据，将其坐标投影到初始世界坐标系中的具体处理过程包括：
S401：通过坐标系旋转原理，根据下式计算t时刻云台的转动中心的坐标Tt；
Tt＝R·T0+T
上式中，R为旋转矩阵，T为平移向量；T0为云台的转动中心的初始坐标；其中，R和T根据时刻t与云台每次转动间隔时间和增量角度Δθ计算得到；
S402：根据TOF相机和云台的转动中心的外参关系计算得到t时刻TOF相机中心在初始世界坐标系中的坐标Cd t，根据RGB相机和云台的转动中心的外参关系计算得到t时刻RGB相机中心在初始世界坐标系中的坐标Crgb t，将当前t时刻的点云数据从当前点云坐标系转换到初始世界坐标系中，将当前t时刻的图片数据从当前图像坐标系投影到初始世界坐标系中；其中，TOF相机和初始世界坐标系的转换关系为：
Figure BDA0002504710470000071
上式中，R0和t0分别表示初始状态下TOF相机中心和云台的转动中心的旋转矩阵和平移向量；Rt和tt分别表示t时刻TOF相机中心和云台的转动中心的旋转矩阵和平移向量；由于每次旋转的增量角度已知，所以Rt和tt为每次旋转都可以得到的参数；其中，当前点云坐标系为TOF相机所在的坐标系，以TOF相机中心为坐标系原点；当前图像坐标系为RGB相机所在的坐标系，以RGB相机中心为坐标系原点。
步骤S305中，采用ICP算法进行全景点云配准，具体包括：
S501：在参考点云集P中取点云pi∈P；所述参考点云集P为第一站采集的点云数据，以点云数据所在坐标系设为初始世界坐标系；pi为从参考点云集P中随机获取的第i个点云；i为序号，取值范围为最小点数(最小三组不共线的点，最大为全部，考虑运算速度，可以设置阈值)；
S502：找出待配准点云集Q中的与pi对应点云qi∈Q，使：
min||qi-pi||
上式中，待配准点云集Q即为步骤S305中的处理完成的点云集(待配准点云Q是深度相机采集的点云，这一步的目标是将本站采集的点云配准到上一站的坐标系中，因为每站都会经过这个操作，所以实际上是每站采集的点云配准到世界坐标系中)；
S503：计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t，使得误差函数最小；误差函数如下：
Figure BDA0002504710470000081
上式中，n为P和Q的交集N中的点云个数(因为不能保证P和Q中的点云数相同，实际操作中，经常用P和Q的点云子集中的点云数或一个阈值表示)，根据上式计算误差函数最小时的R和t；
S504：对qi使用步骤S503求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，得到旋转和平移变换之后的对应点云qi′；具体公式如下：
qi′＝Rqi+t；
根据上式依次计算q1′,q2′,…,qn′；
S505：计算点云集q1′,q2′,…,qn′与对应点云集p1,p2,…,pn的平均距离,如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算；否则返回S502，直到满足收敛条件为止；平均距离计算公式如下：
Figure BDA0002504710470000082
若d小于或者等于预设阈值，或者迭代次数达到预设最大值，则结束迭代，到步骤S506；否则，返回步骤S503(这里的迭代目标主要是为了计算准确的R和t，每次迭代结束，R和t矩阵都会得到更新，即外参矩阵会更新)，重新计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t；
S506：全景图的优化：结合图像特征匹配，计算精确H矩阵，再进行图片数据的投影变换，得到全景图；投影变换公式为：
Xt＝HXimage
上式中，Xt为参考图片上的像素坐标，Ximage为待配准图片上的像素坐标；H为参考图片和待配准图片之间的投影变换Homograph矩阵；具体展开公式为：
Figure BDA0002504710470000091
其中，
Figure BDA0002504710470000092
为预先选择至少六个像素点(从参考影像和待配准影像上找到至少六个正确的同名特征)计算得到，若采用OpenCV实现，可选择近百个像素点计算H矩阵的值；
S506：输出全景点云和全景图。
本发明实施例中，以两个不同坐标系的点云为例，其中P指的是其中一个作为参考的点云，将其所在坐标系设为世界坐标系，整个流程中，可以设云台初始状态下的采集的点云为初始点云，第一次转动采集得到的点云与该初始点云配准，之后采集的点云均与上一个配准后的点云进行配准即可(上一个配准后已经在初始点云坐标系中。
步骤S102中，在输出全景点云和全景图之前，会进行精度分析与评定；若评定通过，则输出全景点云和全景图；否则，重新采集图片数据和点云数据，执行步骤S101～S102；精度分析和评定具体为分析点云配准和图片配准的效果，如果无变形和缺口，则输出全景点云和全景图。
另外，本发明实施例中通过标定墙，采集标定相片进行相机标定，标定相机(TOF相机和RGB相机)参数，如表1和表2所示为标定得到的参数表。
表1内参数
深度相机(pixel) RGB相机(pixel)
Fx 461.269 523.735
Cx 348.127 317.399
Fy 461.074 523.455
Cy 227.775 193.042
表2畸变参数
深度相机(TOF) RGB相机
K1 0.674682 -0.16868
K2 0.872896 0.197183
P1 0.00108248 0.000304548
P2 0.00170843 -0.000655803
K3 -1.60167 -0.100995
两相机(TOF相机、RGB相机)之间的外参数如下：
旋转矩阵为：
Figure BDA0002504710470000101
平移矩阵为(单位/mm)：
[47.2741 0.179257 -2.11049]。
请参见图3，图3是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种三维全景扫描采集设备301、处理器302及存储设备303。
一种三维全景扫描采集设备301：所述一种三维全景扫描采集设备301实现所述一种三维全景扫描采集方法。
处理器302：所述处理器302加载并执行所述存储设备303中的指令及数据用于实现所述一种三维全景扫描采集方法。
存储设备303：所述存储设备303存储指令及数据；所述存储设备303用于实现所述一种三维全景扫描采集方法。
本发明的有益效果是：本发明所提出的技术方案中，一种三维全景扫描采集系统中的硬件设备可根据需要进行配置，满足不同使用场景的需求，设备成本可以控制，使用方便灵活；一种三维全景扫描采集方法中，通过程序控制和拍摄模式控制，降低带有可量测三维全景扫描的采集难度；进行影像三维全景扫描的同时，也保存对应影像的深度信息，使整个数据包含了可量测的信息，为数据在其他方面的应用做好了铺垫。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维全景扫描采集方法，其特征在于：应用于一种三维全景扫描采集系统中；所述一种三维全景扫描采集系统包括：云台、控制端和采集装置；
所述一种三维全景扫描采集方法，包括以下步骤：
S101：所述控制端控制所述云台和所述采集装置采集点云数据和图片数据；
S102：所述控制端对所述点云数据和所述图片数据进行配准和优化处理，生成全景点云和全景图。
2.如权利要求1所述的一种三维全景扫描采集方法，其特征在于：所述采集装置固定安装在所述云台上；所述控制端与所述云台和所述采集装置分别电性连接；
所述控制端通过蓝牙分别与所述采集装置和所述云台进行通信；
所述云台带有云台支撑杆；所述采集装置包括TOF相机和RGB相机，所述TOF相机用于采集点云数据，所述RGB相机用于采集图片数据。
3.如权利要求2所述的一种三维全景扫描采集方法，其特征在于：步骤S101中，所述控制端控制所述云台和所述采集装置采集点云数据和影像数据，具体包括：
S201：所述控制端控制所述云台转动至云台与云台支撑杆之间的夹角为θ的位置，并以此为初始状态，设定初始状态的TOF相机平面pdepth和RGB相机平面prgb为初始平面，分别记为pdep 0和prgb 0；
S202：所述控制端控制所述云台转动，并且云台每转动一站，RGB相机采集一次图片数据，TOF相机采集一次点云数据，直到数据采集结束，得到每一站采集的点云数据组成的点云集和每一站采集的图片数据组成的影像集；其中云台每转动角度Δθ为一站。
4.如权利要求3所述的一种三维全景扫描采集方法，其特征在于：步骤S102中，所述控制端对所述点云数据和所述图片数据进行配准处理，生成全景点云和全景图；具体包括：
S301：设云台的转动中心为T，TOF相机中心和RGB相机中心分别为Cd和Crgb；
S302：检校TOF相机的相机参数，得到TOF相机的内参数Kd和RGB相机的内参数Krgb；
S303：以云台的转动中心为初始世界坐标系的坐标中心，检校TOF相机和云台的转动中心的外参关系：{R|t}d-＞T；并根据TOF相机和RGB相机之间的外参关系{R|t}rgb-＞，计算得到RGB相机和云台的转动中心的外参关系；
S304：根据步骤S303得到的各外参关系，利用坐标转换原理，依次对云台每一站采集的点云数据和图片数据进行处理，将点云集中的所有点云数据的坐标转换到初始世界坐标系中，将影像集中的图片数据的坐标投影到初始世界坐标系中；
S305：根据步骤S304中处理完成的点云集和处理完成的影像集，采用ICP算法进行全景点云配准的优化，得到全景图和全景点云。
5.如权利要求4所述的一种三维全景扫描采集方法，其特征在于：步骤S304中，针对云台转动后的t时刻，即第t站采集的点云数据和图片数据，将其坐标投影到初始世界坐标系中的具体处理过程包括：
S401：通过坐标系旋转原理，根据下式计算t时刻云台的转动中心的坐标Tt；
Tt＝R·T0+T
上式中，R为旋转矩阵，T为平移向量；T0为云台的转动中心的初始坐标；
S402：根据TOF相机和云台的转动中心的外参关系计算得到t时刻TOF相机中心在初始世界坐标系中的坐标Cd t，根据RGB相机和云台的转动中心的外参关系计算得到t时刻RGB相机中心在初始世界坐标系中的坐标Crgb t，将当前t时刻的点云数据从当前点云坐标系转换到初始世界坐标系中，将当前t时刻的图片数据从当前图像坐标系投影到初始世界坐标系中；其中，TOF相机和初始世界坐标系的转换关系为：
Figure FDA0002504710460000021
上式中，R0和t0分别表示初始状态下TOF相机中心和云台的转动中心的旋转矩阵和平移向量；Rt和tt分别表示t时刻TOF相机中心和云台的转动中心的旋转矩阵和平移向量。
6.如权利要求5所述的一种三维全景扫描采集方法，其特征在于：步骤S402中，当前点云坐标系为TOF相机所在的坐标系，以TOF相机中心为坐标系原点；当前图像坐标系为RGB相机所在的坐标系，以RGB相机中心为坐标系原点。
7.如权利要求4所述的一种三维全景扫描采集方法，其特征在于：步骤S305中，采用ICP算法进行全景点云配准，具体包括：
S501：在参考点云集P中取点云pi∈P；所述参考点云集P为第一站采集的点云数据，以点云数据所在坐标系设为初始世界坐标系；pi为从参考点云集P中随机获取的第i个点云；
S502：找出待配准点云集Q中的与pi对应点云qi∈Q，使：
min||qi-pi||
上式中，待配准点云集Q即为步骤S305中的处理完成的点云集；
S503：计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t，使得误差函数最小；误差函数如下：
Figure FDA0002504710460000031
上式中，n为P和Q的交集N中的点云个数，根据上式计算误差函数最小时的R和t；
S504：对qi使用步骤S503求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，得到旋转和平移变换之后的对应点云qi′；具体公式如下：
qi′＝Rqi+t；
根据上式依次计算q1′，q2′，...，qn′；
S505：计算点云集q1′，q2′，...，qn′与对应点云集p1，p2，...，pn的平均距离，如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算；否则返回S502，直到满足收敛条件为止；平均距离计算公式如下：
Figure FDA0002504710460000032
若d小于或者等于预设阈值，或者迭代次数达到预设最大值，则结束迭代，到步骤S506；否则，返回步骤S503，重新计算待配准点云qi相对于参考点云pi的旋转矩阵R和平移矩阵t；
S506：全景图的优化：结合图像特征匹配，计算精确H矩阵，再进行图片数据的投影变换，得到全景图；投影变换公式为：
Xt＝HXimage
上式中，Xt为参考图片上的像素坐标，Ximaqe为待配准图片上的像素坐标；H为参考图片和待配准图片之间的投影变换Homograph矩阵；
S506：输出全景点云和全景图。
8.如权利要求7所述的一种三维全景扫描采集方法，其特征在于：步骤S506中，投影变换的具体展开公式为：
Figure FDA0002504710460000041
其中，
Figure FDA0002504710460000042
为预先选择至少六个像素点计算得到。
9.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～8所述的任意一种三维全景扫描采集方法。
10.一种三维全景扫描采集设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～8所述的任意一种三维全景扫描采集方法。
CN202010442644.1A 2020-05-22 2020-05-22 一种三维全景扫描采集方法、设备及存储设备 Active CN111696141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442644.1A CN111696141B (zh) 2020-05-22 2020-05-22 一种三维全景扫描采集方法、设备及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442644.1A CN111696141B (zh) 2020-05-22 2020-05-22 一种三维全景扫描采集方法、设备及存储设备

Publications (2)

Publication Number Publication Date
CN111696141A true CN111696141A (zh) 2020-09-22
CN111696141B CN111696141B (zh) 2023-10-27

Family

ID=72477253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442644.1A Active CN111696141B (zh) 2020-05-22 2020-05-22 一种三维全景扫描采集方法、设备及存储设备

Country Status (1)

Country Link
CN (1) CN111696141B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114111593A (zh) * 2021-11-25 2022-03-01 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法
CN117523111A (zh) * 2024-01-04 2024-02-06 山东省国土测绘院 三维实景点云模型的生成方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN206863221U (zh) * 2017-05-19 2018-01-09 河北科技大学 一种气象观测站地面观测场探测环境自动评估系统
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN109118542A (zh) * 2017-06-22 2019-01-01 百度在线网络技术（北京）有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN109238173A (zh) * 2018-08-16 2019-01-18 中国矿业大学 一种储煤场三维实景重构系统及煤量快速估算方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
US20190327412A1 (en) * 2018-04-24 2019-10-24 Industrial Technology Research Institute Building system and building method for panorama point cloud
CN110864725A (zh) * 2019-10-24 2020-03-06 大连理工大学 基于升降运动的全景三维彩色激光扫描系统及其方法
US20200096641A1 (en) * 2018-09-25 2020-03-26 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341552A1 (en) * 2014-05-21 2015-11-26 Here Global B.V. Developing a Panoramic Image
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
CN105931234A (zh) * 2016-04-19 2016-09-07 东北林业大学 一种地面三维激光扫描点云与影像融合及配准的方法
CN206863221U (zh) * 2017-05-19 2018-01-09 河北科技大学 一种气象观测站地面观测场探测环境自动评估系统
CN109118542A (zh) * 2017-06-22 2019-01-01 百度在线网络技术（北京）有限公司 激光雷达与相机之间的标定方法、装置、设备及存储介质
CN108470370A (zh) * 2018-03-27 2018-08-31 北京建筑大学 三维激光扫描仪外置相机联合获取三维彩色点云的方法
US20190327412A1 (en) * 2018-04-24 2019-10-24 Industrial Technology Research Institute Building system and building method for panorama point cloud
CN109238173A (zh) * 2018-08-16 2019-01-18 中国矿业大学 一种储煤场三维实景重构系统及煤量快速估算方法
US20200096641A1 (en) * 2018-09-25 2020-03-26 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN110864725A (zh) * 2019-10-24 2020-03-06 大连理工大学 基于升降运动的全景三维彩色激光扫描系统及其方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
P. BIBER ET AL.: "3D Modeling of Indoor Environments for a Robotic Security Guard", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION - WORKSHOPS》 *
程效军 等主编: "《海量点云数据处理理论与技术》", 上海：同济大学出版社 *
金鑫彤: "基于三维激光测距的移动机器人室内场景重构与导航", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
闫利;曹亮;陈长军;黄亮;: "车载全景影像与激光点云数据配准方法研究", 测绘通报, no. 03, pages 47 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114111593A (zh) * 2021-11-25 2022-03-01 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法
CN114111593B (zh) * 2021-11-25 2024-02-27 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法
CN117523111A (zh) * 2024-01-04 2024-02-06 山东省国土测绘院 三维实景点云模型的生成方法及系统
CN117523111B (zh) * 2024-01-04 2024-03-22 山东省国土测绘院 三维实景点云模型的生成方法及系统

Also Published As

Publication number Publication date
CN111696141B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
WO2021208933A1 (zh) 用于相机的图像校正方法和装置
CN105096329B (zh) 一种精确校正超广角摄像头图像畸变的方法
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
CN110136207B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN113409391A (zh) 视觉定位方法及相关装置、设备和存储介质
CN111696141B (zh) 一种三维全景扫描采集方法、设备及存储设备
CN113450416B (zh) 一种应用于三目相机立体标定的tcsc方法
CN115564842A (zh) 双目鱼眼相机的参数标定方法、装置、设备及存储介质
KR20110094664A (ko) 전방향 피티지 카메라 제어 장치 및 그 방법
CN111105467B (zh) 一种图像标定方法、装置及电子设备
WO2022141324A1 (zh) 摄像头的硬件在环标定、靶点设置方法、系统及相关设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN111432117A (zh) 图像矫正方法、装置和电子系统
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
CN115174878B (zh) 投影画面校正方法、装置和存储介质
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
CN113790711A (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN115578466A (zh) 相机标定方法、装置、计算机可读存储介质及电子设备
CN115457142B (zh) 一种mr混合摄影相机的标定方法和系统
CN111080713B (zh) 相机标定系统以及方法
CN115174879B (zh) 投影画面校正方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant