CN105243637A - 一种基于三维激光点云进行全景影像拼接方法 - Google Patents

一种基于三维激光点云进行全景影像拼接方法 Download PDF

Info

Publication number
CN105243637A
CN105243637A CN201510598828.6A CN201510598828A CN105243637A CN 105243637 A CN105243637 A CN 105243637A CN 201510598828 A CN201510598828 A CN 201510598828A CN 105243637 A CN105243637 A CN 105243637A
Authority
CN
China
Prior art keywords
point cloud
camera
cloud
coordinate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510598828.6A
Other languages
English (en)
Other versions
CN105243637B (zh
Inventor
汪开理
刘守军
姚立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Haiyun Space Information Technology Co ltd
Original Assignee
WUHAN HAIDASHU CLOUD TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN HAIDASHU CLOUD TECHNOLOGY Co Ltd filed Critical WUHAN HAIDASHU CLOUD TECHNOLOGY Co Ltd
Priority to CN201510598828.6A priority Critical patent/CN105243637B/zh
Publication of CN105243637A publication Critical patent/CN105243637A/zh
Application granted granted Critical
Publication of CN105243637B publication Critical patent/CN105243637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于三维激光点云进行全景影像拼接的方法，在计算目标全景影像对应的原始影像像素坐标时包括以下步骤：1)根据目标全景影像像素坐标构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系；2)根据邻近点云内插得到射线方向上的三维坐标；3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。本发明所提供的方法解决了现有的全景拼接方法中的不足，能够提高拼接准确度，减少人工操作，缩短数据生产的周期，具有非常巨大的经济和社会价值。

Description

一种基于三维激光点云进行全景影像拼接方法
技术领域
本发明涉及一种基于三维激光点云进行全景影像拼接方法，属于测绘地理信息领域。
背景技术
街景服务是目前互联网地图的热点。街景数据一般用车载全景相机进行采集，经后处理得到全景影像，再发布到互联网。街景地图要求全景影像视觉上无拼接痕迹，因此拼接时需对相机进行内外参数精确标定，并用严格的投影模型将原始影像投影到球面上生成全景影像。
现有的投影方法一般如下：
首先构造一个半径为R的全景球，球心为全景相机的中心，全景球上的每一个点与目标全景影像的像素坐标对应。
像素坐标转换为极坐标公式：
(公式1)
极坐标转换为球面上的点坐标：
(公式2)
由公式1和公式2可以将影像像素坐标转换为球面上的点坐标(X，Y，Z)。
根据该三维坐标，利用相机的内外参数可以计算对应原始照片的像素坐标。这样就得到了目标全景影像像素坐标对应的原始照片像素坐标，从而可以得到全景相机各个镜头影像在全景影像上的投影结果，进行全景影像的拼接。
以上所述的投影过程无法确定物体与全景相机中心的实际距离，只能根据经验统一设置距离R，这样与实际不符，会造成一定的投影偏差，影响拼接效果。
如图2，全景中心为O，实际物体为P，镜头中心为C，P在原始影像上的像点为p1，如果设置统一的深度R，则投影时认为物体的位置为P’，对应的像点位置为p2。可以知道由于深度R与实际不符，会造成p2与p1的差异。
发明内容
现在的车载街景采集设备一般配有激光扫描仪和全景相机，可以同时采集点云数据和影像数据，而且相机拍照时在点云中的位置和姿态是已知的，因此可以利用点云确定影像上对应实际物体的三维坐标，用更精确的模型进行投影生成全景影像。
本发明提供了一种基于三维激光点云进行全景影像拼接的方法，在计算目标影像像素和原始影像像素对应关系时利用点云数据提供的实际物体坐标，解决了现有的全景拼接方法中的不足，能够提高拼接准确度。
实现本发明所采用的技术方案为：
(1)根据目标全景影像像素坐标与全景球坐标的关系构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系中；
(2)根据邻近点云内插得到射线方向上的三维坐标；
(3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。
步骤(1)中全景影像像素(u，v)可转换为单位全景球(半径为一个单位)上的一点(xn，yn，zn)，该点与全景球中心构成射线，其方向向量为(xn，yn，zn)。已知全景相机在点云坐标系中的姿态角(yaw，pitch，roll)，可将射线转换到点云坐标系中，该射线在点云坐标系中的方向向量为(Xn，Yn，Zn)。
步骤(2)中内插的方法包含但不仅限于以下两种
方法一：直接利用点云内插
需要先进行空间查询得到全景相机在点云坐标系中的位置(Xc，Yc，Zc)附近一定范围内的点云，再在这些点云中搜索少量的点(Xi，Yi，Zi)，使得点与(Xc，Yc，Zc)构成的方向向量与(Xn，Yn，Zn)最为接近，使下式最小。
v＝(Xni-Xn)2+(Yni-Yn)2+(Zni-Zn)2
其中
Xni＝Xi/mod
Yni＝Yi/mod
Zni＝Zi/mod
搜索范围限制可设置为一定夹角内的视锥范围，夹角大小的经验值为2°～5°。如图3所示
取满足以上搜索条件的最近的三个点构成三角形，再进行内插得到(Xn，Yn，Zn)方向上的点坐标(X，Y，Z)。如果搜索到的点数为0，则设置一个较大的深度，如R＝200m；如果搜索到的点数为1，则不需要内插；如果搜索到的点数为2，则取平均值。
方法二：利用点云构造空间三角网进行内插
先利用点云构造空间三角网，然后求相机位置(Xc，Yc，Zc)处方向向量为(Xn，Yn，Zn)的射线与三角网的交点坐标即为所需要求的(X，Y，Z)。
步骤(3)中，根据点云坐标(X，Y，Z)、全景相机在点云坐标系中的位置(Xc，Yc，Zc)和姿态角(yaw，pitch，roll)，以及相机的内外参数，可得到该点在原始照片上的像素坐标(u0，v0)。如下公式
(u0，v0)＝F(int，ext，Xp，Yp，Zp)
F为成像函数，不同的镜头(如鱼眼镜头和广角镜头)成像函数可能不一样，int为内参数，ext为外参数，为点云在全景相机坐标系中的坐标。
根据以上步骤(1)到步骤(3)，实际获得了目标全景像素(u，v)与原始照片的像素坐标(u0，v0)之间的对应关系。再根据一般的拼接方法最终可得到全景影像。
本发明所提供的方法利用了车载激光点云的三维坐标，以及拍照时刻全景相机在点云中的位置和姿态，计算出目标全景影像上各像素的实际深度(即物体与全景相机中心的距离)，比传统的方法指定一个统一的深度构造的模型更加精确。相比传统的方法，能够改善全景影像拼接效果，减少后续人工编辑工作量，极大缩短街景数据生产的制作周期，具有很高的实际运用价值。
附图说明
图1：为本发明流程图。
图2：为由于深度R与实际不符造成的投影差异示意图。
图3：为视锥范围示意图。
具体实施方式
下面结合具体实施例对本发明做具体的说明。
本实施例中所用的采集设备为车载移动测量系统，采集数据的对象为一条街道，采集到的数据为街道的点云数据和原始的全景相机数据。车载移动测量系统已进行标定，即全景相机在点云坐标系中拍照时刻的位置和姿态角已知，全景相机各镜头的内参数已知，各镜头在全景相机坐标系中的位置和姿态角已知。
根据以上描述的步骤，先设定目标全景影像的分辨率为2d×d。
取目标全景影像的像素坐标(u，v)进行横向和纵向循环，根据以上步骤(2)计算(u，v)对应的全景球方向向量在点云坐标系中的坐标。
因为车载点云是按照时间和扫描线顺序存储的，所以可很方便地获取全景相机当前位置附近的点云。按照步骤(2)所述进行空间内插得到方向向量对应的点云坐标。再根据步骤(3)到得到目标全景影像像素与所有镜头影像像素之间的对应关系，则可得到各镜头投影到全景上的影像，最后进行拼接得到全景影像。

Claims (2)

1.一种基于三维激光点云进行全景影像拼接方法，其特征在于包括以下步骤：
(1)根据目标全景影像像素坐标与全景球坐标的关系构造射线，利用相机在点云坐标系中的姿态将射线转换到点云坐标系中；
(2)根据邻近点云内插得到射线方向上的三维坐标；
(3)根据该三维坐标，利用相机在点云坐标系中的位置和姿态以及相机的内外参数计算对应原始照片的像素坐标。
2.根据权利要求1所述的基于三维激光点云进行全景影像拼接方法，其特征在于：计算目标全景影像像素所对应的原始影像像素时，没有设置统一的全景球半径，而是利用点云数据经过以上步骤(2)到得到实际物体的三维坐标。
CN201510598828.6A 2015-09-21 2015-09-21 一种基于三维激光点云进行全景影像拼接方法 Active CN105243637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510598828.6A CN105243637B (zh) 2015-09-21 2015-09-21 一种基于三维激光点云进行全景影像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510598828.6A CN105243637B (zh) 2015-09-21 2015-09-21 一种基于三维激光点云进行全景影像拼接方法

Publications (2)

Publication Number Publication Date
CN105243637A true CN105243637A (zh) 2016-01-13
CN105243637B CN105243637B (zh) 2019-01-25

Family

ID=55041272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510598828.6A Active CN105243637B (zh) 2015-09-21 2015-09-21 一种基于三维激光点云进行全景影像拼接方法

Country Status (1)

Country Link
CN (1) CN105243637B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN106530218A (zh) * 2016-10-28 2017-03-22 浙江宇视科技有限公司 一种坐标转换方法及装置
CN106846406A (zh) * 2017-02-24 2017-06-13 上海坤辕检测科技有限公司 一种用于物体三维坐标测量的点云坐标系构建方法
CN107085824A (zh) * 2017-03-14 2017-08-22 佛山科学技术学院 一种三维模型的极视图提取方法
CN107391578A (zh) * 2017-06-20 2017-11-24 国家测绘地理信息局海南基础地理信息中心 一种基于格网法的网络地图服务动态坐标转换方法
CN108022309A (zh) * 2017-12-07 2018-05-11 梦工场珠宝企业管理有限公司 三维模型智能拼接方法
CN109242966A (zh) * 2018-08-07 2019-01-18 北京道亨时代科技有限公司 一种基于激光点云数据的3d全景模型建模方法
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN110310373A (zh) * 2019-06-28 2019-10-08 京东方科技集团股份有限公司 一种增强现实设备的图像处理方法和增强现实设备
WO2020134123A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
CN112308776A (zh) * 2020-09-30 2021-02-02 香港理工大学深圳研究院 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112308778A (zh) * 2020-10-16 2021-02-02 香港理工大学深圳研究院 一种利用空间三维信息辅助全景相机拼接的方法及终端
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN116071240A (zh) * 2023-03-07 2023-05-05 广东利元亨智能装备股份有限公司 图像拼接方法、装置、计算机设备和存储介质
CN116527663A (zh) * 2023-04-10 2023-08-01 北京城市网邻信息技术有限公司 信息处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858744A (zh) * 2010-06-03 2010-10-13 唐粮 一种全景数码成像系统
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
EP2913779A1 (en) * 2014-02-28 2015-09-02 Ricoh Company, Ltd. Method for product recognition from multiple images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101858744A (zh) * 2010-06-03 2010-10-13 唐粮 一种全景数码成像系统
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
EP2913779A1 (en) * 2014-02-28 2015-09-02 Ricoh Company, Ltd. Method for product recognition from multiple images
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
汪开理: "三维激光点云与全景影像匹配融合方法", 《测绘通报》 *
王建军等: "姿态角扰动对机载激光雷达点云数据的影响", 《仪器仪表学报》 *
聂倩等: "车载激光点云与全景影像的配准研究", 《遥感信息》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097444A (zh) * 2016-05-30 2016-11-09 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN106530218B (zh) * 2016-10-28 2020-04-10 浙江宇视科技有限公司 一种坐标转换方法及装置
CN106530218A (zh) * 2016-10-28 2017-03-22 浙江宇视科技有限公司 一种坐标转换方法及装置
CN106846406A (zh) * 2017-02-24 2017-06-13 上海坤辕检测科技有限公司 一种用于物体三维坐标测量的点云坐标系构建方法
CN107085824A (zh) * 2017-03-14 2017-08-22 佛山科学技术学院 一种三维模型的极视图提取方法
CN107391578A (zh) * 2017-06-20 2017-11-24 国家测绘地理信息局海南基础地理信息中心 一种基于格网法的网络地图服务动态坐标转换方法
CN108022309A (zh) * 2017-12-07 2018-05-11 梦工场珠宝企业管理有限公司 三维模型智能拼接方法
CN109242966A (zh) * 2018-08-07 2019-01-18 北京道亨时代科技有限公司 一种基于激光点云数据的3d全景模型建模方法
CN109242966B (zh) * 2018-08-07 2022-07-05 北京道亨软件股份有限公司 一种基于激光点云数据的3d全景模型建模方法
CN111385461B (zh) * 2018-12-28 2022-08-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
WO2020134123A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
CN111385461A (zh) * 2018-12-28 2020-07-07 中兴通讯股份有限公司 全景拍摄方法及装置、相机、移动终端
US11523056B2 (en) 2018-12-28 2022-12-06 Zte Corporation Panoramic photographing method and device, camera and mobile terminal
CN110223226B (zh) * 2019-05-07 2021-01-15 中国农业大学 全景图像拼接方法及系统
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及系统
CN110310373A (zh) * 2019-06-28 2019-10-08 京东方科技集团股份有限公司 一种增强现实设备的图像处理方法和增强现实设备
CN112308776B (zh) * 2020-09-30 2021-08-10 香港理工大学深圳研究院 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112308776A (zh) * 2020-09-30 2021-02-02 香港理工大学深圳研究院 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112308778B (zh) * 2020-10-16 2021-08-10 香港理工大学深圳研究院 一种利用空间三维信息辅助全景相机拼接的方法及终端
CN112308778A (zh) * 2020-10-16 2021-02-02 香港理工大学深圳研究院 一种利用空间三维信息辅助全景相机拼接的方法及终端
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN116071240A (zh) * 2023-03-07 2023-05-05 广东利元亨智能装备股份有限公司 图像拼接方法、装置、计算机设备和存储介质
CN116527663A (zh) * 2023-04-10 2023-08-01 北京城市网邻信息技术有限公司 信息处理方法、装置、电子设备及存储介质
CN116527663B (zh) * 2023-04-10 2024-04-26 北京城市网邻信息技术有限公司 信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN105243637B (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN105243637A (zh) 一种基于三维激光点云进行全景影像拼接方法
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN104156972B (zh) 基于激光扫描测距仪与多相机融合的透视成像方法
CN104330074B (zh) 一种智能测绘平台及其实现方法
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN104361628A (zh) 一种基于航空倾斜摄影测量的三维实景建模系统
CN103700140B (zh) 用于单枪机‑多球机联动的空间建模方法
CN112461210B (zh) 一种空地协同建筑测绘机器人系统及其测绘方法
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN103646394A (zh) 一种基于Kinect摄像机的混合视觉系统标定方法
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN109559349A (zh) 一种用于标定的方法和装置
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN110243307A (zh) 一种自动化三维彩色成像与测量系统
CN104318604A (zh) 一种3d图像拼接方法及装置
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN106447728A (zh) 一种调整扫描状态的方法及装置
CN108629829A (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN104976968A (zh) 一种基于led标签跟踪的三维几何测量方法及系统
WO2022078440A1 (zh) 一种包含运动物体的空间占用率采集判断设备及方法
CN110275179A (zh) 一种基于激光雷达以及视觉融合的构建地图方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240517

Address after: Room 04, 7 / F, building 1, wudahui garden, phase V, National Geospatial Information Industry base, No.7, wudayuan 1st Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000

Patentee after: Wuhan Haiyun Space Information Technology Co.,Ltd.

Country or region after: China

Address before: No. 3004, 3rd Floor, Entrepreneurship Building, Wuhan University Science and Technology Park, Donghu Development Zone, Wuhan City, Hubei Province, 430223

Patentee before: WUHAN HI-TARGET DIGITAL CLOUD TECHNOLOGY Co.,Ltd.

Country or region before: China