CN107392944A - 全景影像与点云的配准方法及装置 - Google Patents

全景影像与点云的配准方法及装置 Download PDF

Info

Publication number
CN107392944A
CN107392944A CN201710667413.9A CN201710667413A CN107392944A CN 107392944 A CN107392944 A CN 107392944A CN 201710667413 A CN201710667413 A CN 201710667413A CN 107392944 A CN107392944 A CN 107392944A
Authority
CN
China
Prior art keywords
data
projection
coordinate
full
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710667413.9A
Other languages
English (en)
Inventor
彭炽刚
陈浩
许志海
柳亦钢
孙晓敏
翟瑞聪
王年孝
李雄刚
蒙华伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Numeral Terre Verte Science And Technology Ltd
Guangdong Power Grid Co Ltd Patrol Operation Center
Original Assignee
Beijing Numeral Terre Verte Science And Technology Ltd
Guangdong Power Grid Co Ltd Patrol Operation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Numeral Terre Verte Science And Technology Ltd, Guangdong Power Grid Co Ltd Patrol Operation Center filed Critical Beijing Numeral Terre Verte Science And Technology Ltd
Priority to CN201710667413.9A priority Critical patent/CN107392944A/zh
Publication of CN107392944A publication Critical patent/CN107392944A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种全景影像与点云的配准方法及装置,涉及图像处理技术领域。该全景影像与点云的配准方法及装置通过依据预建立的全景变换模型对全景影像数据进行等距投影而生成第一投影数据,依据预建立的点云变换模型对点云数据进行等距投影而生成第二投影数据,从而有效地解决了全景影像数据和点云数据之间的异维异构问题,将全景影像数据及点云数据转换为可以融合、配准的投影数据;此外,由于采用等距投影的方式,因而可以在保证现实世界里垂直线条的不变性的情况下,实现对全景影像数据和点云数据的转换,提高了配准过程的精度,同时由于可以分别对全景影像数据和点云数据进行转换,从而可以提高配准过程的效率。

Description

全景影像与点云的配准方法及装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种全景影像与点云的配准方法及装置。
背景技术
背包式激光雷达扫描系统是近年来发展的一种新型、高效的测量系统,可应用于数字工厂、数字矿山、变形监测、隧道工程、文化遗产调查、BIM建模、电力巡检、林业资源调查、执法取证等领域。背包式激光扫描系统可以快速获取目标对象精确、海量的三维空间信息,然而由于三维激光点云数据就不具备颜色信息,不符合常规目视解译习惯。
全景影像是一种超广角视野表达方式,它包含了比普通框幅式影像更直观、完整的全景信息,其最大的特点就是水平方向视场角达到360°,以全景方式查看,直观生动、三维可视效果好,能够提供更加丰富的语音信息。
如今,在数字地球、数字城市、数字电力的领域越来越多的需要建立照片级真实感的三维模型,若能联合以上两种技术,即可实现对目标精确而直观的描述,生成具有强烈沉浸感的真三维模型,其在全景可视化显示、目标物体分类、三维建筑建模、电力巡检等方面均有很大的使用价值。
目前国内外已有一些学者对激光雷达点云数据与影像数据的配准方法进行了研究,配准方法可概括为:基于关键点的配准、基于结构特征的配准和基于互信息的配准。其中基于关键点和结构特征的配准方式不可避免的会存在同名特征挑选的问题。由于激光点云不具备纹理信息,实际工作中受传感器工作模式、遮挡、以及光影条件的影响,激光雷达点云几何特征并不总是能与全景影响的灰度特征相关。已有方法不能很好的适应光影条件或者遮挡的情况,在数据配准上会存在困难,同时在特征选择和配准的过程中,需要大量的人工干预。而基于互信息的配准方法虽然不需要对图像间的灰度关系作任何假设,不需要进行特征提取,避免了基于特征的配准方式中特征选择的困难。但目前该算法大都基于普通框幅式影像作为数据源,并非针对全景影像。
发明内容
本发明的目的在于提供一种全景影像与点云的配准方法及装置,以提高配准过程的工作效率和准确性。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种全景影像与点云的配准方法,所述全景影像与点云的配准方法包括:
获取全景影像数据及点云数据;
依据预建立的全景变换模型对所述全景影像数据进行等距投影而生成第一投影数据;
依据预建立的点云变换模型对所述点云数据进行等距投影而生成第二投影数据;
基于预建立的互信息配准模型,对所述第一投影数据、所述第二投影数据进行配准。
第二方面,本发明实施例还提供了一种全景影像与点云的配准装置,所述全景影像与点云的配准装置包括:
数据获取单元,用于获取全景影像数据及点云数据;
投影数据生成单元,用于依据预建立的全景变换模型对所述全景影像数据进行等距投影而生成第一投影数据;
所述投影数据生成单元还用于依据预建立的点云变换模型对所述点云数据进行等距投影而生成第二投影数据;
配准单元,用于基于预建立的互信息配准模型,对所述第一投影数据、所述第二投影数据进行配准。
本发明实施例提供的全景影像与点云的配准方法及装置,通过依据预建立的全景变换模型对全景影像数据进行等距投影而生成第一投影数据,依据预建立的点云变换模型对点云数据进行等距投影而生成第二投影数据,从而有效地解决了全景影像数据和点云数据之间的异维异构问题,将全景影像数据及点云数据转换为可以融合、配准的投影数据;此外,由于采用等距投影的方式,因而可以在保证现实世界里垂直线条的不变性的情况下,实现对全景影像数据和点云数据的转换,提高了配准过程的精度,同时由于可以分别对全景影像数据和点云数据进行转换,从而可以提高配准过程的效率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了一种可应用于本发明实施例中的服务器的功能框图。
图2示出了本发明实施例提供的全景影像与点云的配准方法流程图。
图3示出了图2中步骤S102的流程图。
图4示出了图3中子步骤S1022的流程图。
图5示出了图2中步骤S103的流程图。
图6示出了本发明实施例提供的全景影像与点云的配准装置的功能模块图。
图7示出了图6中投影数据单元的子模块框图。
图标:100-服务器;111-存储器;112-处理器;113-通信单元;200-全景影像与点云的配准装置;210-数据获取单元;220-投影数据生成单元;221-坐标获取子单元;222-投影转换子单元;223-判断子单元;224-坐标剔除子单元;225-计算子单元;226-投影数据生成子单元;230-数据优化单元;240-配准单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,图1示出了一种可应用于本发明实施例中的服务器100的功能框图。包括全景影像与点云的配准装置200、存储器111、存储控制器,一个或多个(图中仅示出一个)处理器112、通信单元113。这些组件通过一条或多条通讯总线/信号线相互通讯。所述全景影像与点云的配准装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述服务器100的操作系统(operating S4stem,OS)中的软件功能单元。
存储器111可用于存储软件程序以及单元,如本发明实施例中的软件测试装置及方法所对应的程序指令/单元,处理器112通过运行存储在存储器111内的全景影像与点云的配准装置200、方法的软件程序以及单元,从而执行各种功能应用以及数据处理,如本发明实施例提供的全景影像与点云的配准方法。其中,所述存储器111可以是,但不限于,随机存取存储器(Random Access Memor3,RAM),只读存储器(Read Onl3Memor3,ROM),可编程只读存储器(Programmable Read-Onl3Memor3,PROM),可擦除只读存储器(ErasableProgrammable Read-Onl3Memor3,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Onl3Memor3,EEPROM)等。处理器112以及其他可能的组件对存储器111的访问可在存储控制器的控制下进行。
所述通信单元113用于通过所述网络建立所述服务器100与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为示意,服务器100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
第一实施例
本发明实施例提供了一种全景影像与点云的配准方法,用于实现背包式激光雷达点云与全景影像数据的配准。请参阅图2,为本发明实施例提供的全景影像与点云的配准方法流程图,该全景影像与点云的配准方法包括:
步骤S101:获取全景影像数据及点云数据。
可以理解地,全景影像数据为全景影像采集系统采集到的数据,点云数据为背包式激光雷达扫描系统采集到的数据。
步骤S102:依据预建立的全景变换模型对全景影像数据进行等距投影而生成第一投影数据。
通过预建立的全景变换模型将全景影像数据变换为第一投影数据,便于后续服务器100将全景影像数据与点云数据进行结合。
请参阅图3,为步骤S102的具体流程图。可以理解地,步骤S102包括:
子步骤S1021:获取全景影像数据每个像素点的第一坐标。
首先获取全景影像中每个像素点的第一坐标值,便于服务器100后续对每个像素点进行投影处理,以获得每个像素点对应的第二坐标。
子步骤S1022:依据全景变换模型将每个第一坐标进行等距投影而转换为第二坐标。
请参阅图4,为子步骤S1022的流程图。可以理解地,子步骤S1022包括:
子步骤S10221:依据算式x=f*α*cosδ,y=f*α*sinδ计算入射光线的方位角,其中,第一坐标为A1(x,y),α为入射光线竖直方向的方位角,δ为入射光线水平方向的方位角,f为预存储的相机焦距。
子步骤S10222:依据入射光线的方位角及全景变换模型计算第二坐标。
设第二坐标为A2(i,j),则计算第二坐标的方法依据预设定的采集所述全景影像数据的全景相机的状态的不同而分别以下两种方式:
第一种:若预设定的采集所述全景影像数据的全景相机的状态处于镜头竖直设置模式时:依据算式计算第二坐标。
第二种:若预设定的采集所述全景影像数据的全景相机的状态处于镜头水平设置模式时,则首先依据算式
sinα=sinσ*sinε
计算柱面投影坐标的倾斜角σ和水平方位角ε。
接着依据算式i=f*ε,j=f*σ计算第二坐标。
子步骤S1023:依据多个第二坐标生成第一投影数据。
步骤S103:依据预建立的点云变换模型对点云数据进行等距投影而生成第二投影数据。
通过预建立的点云变换模型将点云数据变换为第一投影数据,便于后续服务器100将点云数据与全景影像数据进行结合。
请参阅图5,为步骤S103的流程图。可以理解地,步骤S103包括:
子步骤S1031:获取点云数据每个像素点的第三坐标。
首先获取点云数据中每个像素点的第三坐标,便于服务器100后续对每个像素点进行投影处理,以获得每个像素点对应的第四坐标。
子步骤S1032:判断第三坐标是否满足预设条件,如果否,则执行子步骤S1033;如果是,则执行子步骤S1034。
在一种优选的实施例中,第三坐标是否满足预设条件是指第三坐标到投影中心的距离值是否大于或等于预设定的距离阈值。
若所述距离值大于或等于预设定的距离阈值,则将与所述距离值对应的第三坐标剔除;若所述距离值小于预设定的距离阈值,则保留第三坐标,并进行后续运算。
子步骤S1033:剔除所述第三坐标。
通过剔除不满足预设条件的点云数据,可以消除由于点云数据信息量大,投影到影像时造成像点坐标重叠的问题。
需要说明的是,在一种优选的实施例中,步骤S103也可以不包括子步骤S1032以及子步骤S1033。
子步骤S1034:依据点云变换模型将每个第三坐标进行等距投影而转换为第四坐标。
具体地,服务器100通过算式计算第四坐标,其中,θ为预先设定的参考角度,第三坐标为B(x,y,z),投影中心坐标为O(x0,y0,z0),第四坐标为B2(i,j)。
需要说明的是,预先设定的参考角度θ具有多种设置方式,该设置方式包括但不仅限于以下几种:
第一种:若y>y0,x>x0,则
第二种:若y≥y0,x≤x0,则
第三种:若y<y0,x>x0,则
第四种:若y<y0,x<x0,则
子步骤S1035:依据算式D=d*g/Dstd计算每个第三坐标对应的深度值,深度值与第四坐标相关联,其中,D为深度值,d为第三坐标到投影中心的距离值,g为点云数据的灰度级数,Dstd为预设定的距离阈值。
通过计算每个第三坐标经过投影获得的第四坐标,并计算每个第三坐标所对应的深度值,则每个第四坐标都对应一个深度值,以便于获得点云深度图像后与第一投影数据融合。
在一种优选的实施例中,若存在多个相同的第四坐标,则遍历多个第四坐标对应的第三坐标到投影中心的距离值,并将具有最小距离值所对应的深度值与相应的第四坐标关联。
可以理解地,存在多个相同的第四坐标,即表明存在多个不同的点云数据对应的第四坐标重合,而此时将具有最小距离值所对应的深度值作为该第四坐标的深度值。
通过上述方式生成的第二投影数据,可以避免信息丢失,使得转换后的第二投影数据与全景影像数据包含的信息更加接近。
子步骤S1036:依据多个第四坐标及多个深度值生成第二投影数据。
可以理解地,第二投影数据即为点云数据的深度图,其包含多个坐标,且每个坐标具有与其对应的深度值。
步骤S104:对第一投影数据、第二投影数据进行双线性插值处理。
由于全景影像数据和点云数据经过变换之后得到的第一投影数据和第二投影数据,部分点可能没有整数像素值,为保证影像质量效果,可采用双线性插值的方式进行处理。
需要说明的是,在一种优选的实施例中,全景影像与点云的配准方法也可不包括步骤S104。
步骤S105:基于预建立的互信息配准模型,对第一投影数据、第二投影数据进行配准。
通过互信息配准模型,使得云深度图与全景灰度影像互信息值最大化,最终实现配准参数的解算。
第二实施例
本发明实施例提供的一种全景影像与点云的配准装置200,应用于服务器100。需要说明的是,本实施例所提供的全景影像与点云的配准装置200,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。
请参阅图6,为本发明实施例提供的全景影像与点云的配准装置200的功能模块图。该全景影像与点云的配准装置200包括数据获取单元210、投影数据生成单元220、数据优化单元230、配准单元240。
数据获取单元210用于获取全景影像数据及点云数据。
可以理解地,数据获取单元210可用于执行步骤S101。
投影数据生成单元220用于依据预建立的全景变换模型对全景影像数据进行等距投影而生成第一投影数据。
可以理解地,投影数据生成单元220可用于执行步骤S102。
请参阅图7,为投影数据生成单元220的子模块框图。具体地,投影数据生成单元220包括坐标获取子单元221、投影转换子单元222以及投影数据生成子单元226。
其中,获取子单元用于获取全景影像数据每个像素点的第一坐标。
可以理解地,获取子单元可用于执行子步骤S1021。
投影转换子单元222用于依据全景变换模型将每个第一坐标进行等距投影而转换为第二坐标。
具体地,投影转换子单元222依据全景变换模型将每个第一坐标进行等距投影而转换为第二坐标的过程如下:
首先,依据算式x=f*α*cosδ,y=f*α*sinδ计算入射光线的方位角,其中,第一坐标为A1(x,y),α为入射光线竖直方向的方位角,δ为入射光线水平方向的方位角,f为预存储的相机焦距。
接着,依据入射光线的方位角及全景变换模型计算第二坐标。
设第二坐标为A2(i,j),则计算第二坐标的方法依据预设定的采集所述全景影像数据的全景相机的状态的不同而分别以下两种方式:
第一种:若预设定的采集所述全景影像数据的全景相机的状态处于镜头竖直设置模式时:依据算式计算第二坐标。
第二种:若预设定的采集所述全景影像数据的全景相机的状态处于镜头水平设置模式时,则首先依据算式
sinα=sinσ*sinε
计算柱面投影坐标的倾斜角σ和水平方位角ε。
接着依据算式i=f*ε,j=f*σ计算第二坐标。
可以理解地,投影转换子单元222可用于执行子步骤S1022、子步骤S10221以及子步骤S10222。
投影数据生成子单元226用于依据多个第二坐标生成第一投影数据。
可以理解地,投影数据生成子单元226可用于执行子步骤S1023。
投影数据生成单元220还用于依据预建立的点云变换模型对点云数据进行等距投影而生成第二投影数据。
可以理解地,投影数据生成单元220还可以用于执行步骤S103。
在一种优选的实施例中,投影数据生成单元220还包括判断子单元223、坐标剔除子单元224以及计算子单元225。
坐标获取子单元221还用于获取点云数据每个像素点的第三坐标。
可以理解地,获取子单元还可用于执行子步骤S1031。
判断子单元223用于判断第三坐标是否满足预设条件。
可以理解地,判断子单元223可用于执行子步骤S1032。
坐标剔除子单元224用于若第三坐标不满足预设条件时,剔除所述第三坐标。
可以理解地,坐标剔除子单元224可用于执行子步骤S1033。
投影转换子单元222还用于若第三坐标满足预设条件时,依据点云变换模型将每个第三坐标进行等距投影而转换为第四坐标。
可以理解地,投影转换子单元222还可用于执行子步骤S1034。
计算子单元225用于依据算式D=d*g/Dstd计算每个第三坐标对应的深度值,深度值与第四坐标相关联,其中,D为深度值,d为第三坐标到投影中心的距离值,g为点云数据的灰度级数,Dstd为预设定的距离阈值。
可以理解地,计算子单元225可用于执行子步骤S1035。
投影数据生成子单元226还用于依据多个第四坐标及多个深度值生成第二投影数据。
可以理解地,投影数据生成子单元226还可用于执行子步骤S1036。
数据优化单元230用于对第一投影数据、第二投影数据进行双线性插值处理。
可以理解地,数据优化单元230可用于执行步骤S104。
配准单元240用于基于预建立的互信息配准模型,对第一投影数据、第二投影数据进行配准。
可以理解地,配准单元240可用于执行步骤S105。
综上所述,本发明实施例提供的全景影像与点云的配准方法及装置,通过依据预建立的全景变换模型对全景影像数据进行等距投影而生成第一投影数据,依据预建立的点云变换模型对点云数据进行等距投影而生成第二投影数据,从而有效地解决了全景影像数据和点云数据之间的异维异构问题,将全景影像数据及点云数据转换为可以融合、配准的投影数据;此外,由于采用等距投影的方式,因而可以在保证现实世界里垂直线条的不变性的情况下,实现对全景影像数据和点云数据的转换,提高了配准过程的精度,同时由于可以分别对全景影像数据和点云数据进行转换,从而可以提高配准过程的效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种全景影像与点云的配准方法,其特征在于,所述全景影像与点云的配准方法包括:
获取全景影像数据及点云数据;
依据预建立的全景变换模型对所述全景影像数据进行等距投影而生成第一投影数据;
依据预建立的点云变换模型对所述点云数据进行等距投影而生成第二投影数据;
基于预建立的互信息配准模型,对所述第一投影数据、所述第二投影数据进行配准。
2.根据权利要求1所述的全景影像与点云的配准方法,其特征在于,所述依据预建立的全景变换模型对所述全景影像数据进行等距投影而生成第一投影数据的步骤包括:
获取所述全景影像数据每个像素点的第一坐标;
依据所述全景变换模型将每个所述第一坐标进行等距投影而转换为第二坐标;
依据多个所述第二坐标生成所述第一投影数据。
3.根据权利要求2所述的全景影像与点云的配准方法,其特征在于,所述依据所述全景变换模型将每个所述第一坐标进行等距投影而转换为第二坐标的步骤包括:
依据算式x=f*α*cosδ,y=f*α*sinδ计算入射光线的方位角,其中,第一坐标为A1(x,y),α为入射光线竖直方向的方位角,δ为入射光线水平方向的方位角,f为预存储的相机焦距;
依据所述入射光线的方位角及所述全景变换模型计算所述第二坐标。
4.根据权利要求3所述的全景影像与点云的配准方法,其特征在于,所述依据所述入射光线的方位角及所述全景变换模型计算所述第二坐标的步骤包括:
若预设定的采集所述全景影像数据的全景相机的状态处于镜头竖直设置模式时,则依据算式计算所述第二坐标;
若预设定的采集所述全景影像数据的全景相机的状态处于镜头水平设置模式时,则依据算式
sinα=sinσ*sinε
<mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;delta;</mi> <mo>=</mo> <mfrac> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;sigma;</mi> <mo>*</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mi>&amp;epsiv;</mi> </mrow> <msqrt> <mrow> <msup> <mi>sin</mi> <mn>2</mn> </msup> <mi>&amp;sigma;</mi> <mo>*</mo> <msup> <mi>sin</mi> <mn>2</mn> </msup> <mi>&amp;epsiv;</mi> <mo>+</mo> <msup> <mi>cos</mi> <mn>2</mn> </msup> <mi>&amp;sigma;</mi> </mrow> </msqrt> </mfrac> </mrow>
<mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;delta;</mi> <mo>=</mo> <mfrac> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;sigma;</mi> </mrow> <msqrt> <mrow> <msup> <mi>sin</mi> <mn>2</mn> </msup> <mi>&amp;sigma;</mi> <mo>*</mo> <msup> <mi>sin</mi> <mn>2</mn> </msup> <mi>&amp;epsiv;</mi> <mo>+</mo> <msup> <mi>cos</mi> <mn>2</mn> </msup> <mi>&amp;sigma;</mi> </mrow> </msqrt> </mfrac> </mrow>
计算柱面投影坐标的倾斜角σ和水平方位角ε,并依据算式i=f*ε,j=f*σ计算所述第二坐标,其中第二坐标为A2(i,j)。
5.根据权利要求1所述的全景影像与点云的配准方法,其特征在于,所述依据预建立的点云变换模型对所述点云数据进行等距投影而生成第二投影数据的步骤包括:
获取所述点云数据每个像素点的第三坐标;
依据所述点云变换模型将每个所述第三坐标进行等距投影而转换为第四坐标;
依据算式D=d*g/Dstd计算每个所述第三坐标对应的深度值,所述深度值与所述第四坐标相关联,其中,D为深度值,d为第三坐标到投影中心的距离值,g为点云数据的灰度级数,Dstd为预设定的距离阈值;
依据多个所述第四坐标及多个所述深度值生成所述第二投影数据。
6.根据权利要求5所述的全景影像与点云的配准方法,其特征在于,所述依据所述点云变换模型将每个所述第三坐标进行等距投影而转换为第四坐标的步骤包括:
通过算式计算所述第四坐标,其中,θ为预先设定的参考角度,第三坐标为B(x,y,z),投影中心坐标为O(x0,y0,z0),第四坐标为B2(i,j)。
7.根据权利要求5所述的全景影像与点云的配准方法,其特征在于,所述全景影像与点云的配准方法还包括:
若存在多个相同的所述第四坐标,则遍历多个所述第四坐标对应的第三坐标到投影中心的距离值;
将具有最小距离值所对应的深度值与相应的第四坐标关联。
8.根据权利要求5所述的全景影像与点云的配准方法,其特征在于,所述全景影像与点云的配准方法还包括:
获取所述第三坐标到预设定的投影中心的距离值;
若所述距离值大于或等于所述预设定的距离阈值时,将与所述距离值对应的第三坐标剔除。
9.根据权利要求1所述的全景影像与点云的配准方法,其特征在于,在基于预建立的互信息配准模型,对所述第一投影数据、所述第二投影数据进行配准的步骤之前,所述全景影像与点云的配准方法还包括:
对所述第一投影数据、所述第二投影数据进行双线性插值处理。
10.一种全景影像与点云的配准装置,其特征在于,所述全景影像与点云的配准装置包括:
数据获取单元,用于获取全景影像数据及点云数据;
投影数据生成单元,用于依据预建立的全景变换模型对所述全景影像数据进行等距投影而生成第一投影数据;
所述投影数据生成单元还用于依据预建立的点云变换模型对所述点云数据进行等距投影而生成第二投影数据;
配准单元,用于基于预建立的互信息配准模型,对所述第一投影数据、所述第二投影数据进行配准。
CN201710667413.9A 2017-08-07 2017-08-07 全景影像与点云的配准方法及装置 Pending CN107392944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710667413.9A CN107392944A (zh) 2017-08-07 2017-08-07 全景影像与点云的配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710667413.9A CN107392944A (zh) 2017-08-07 2017-08-07 全景影像与点云的配准方法及装置

Publications (1)

Publication Number Publication Date
CN107392944A true CN107392944A (zh) 2017-11-24

Family

ID=60344975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710667413.9A Pending CN107392944A (zh) 2017-08-07 2017-08-07 全景影像与点云的配准方法及装置

Country Status (1)

Country Link
CN (1) CN107392944A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629829A (zh) * 2018-03-23 2018-10-09 中德(珠海)人工智能研究院有限公司 一种球幕相机与深度相机结合的三维建模方法和系统
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110197109A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN110322553A (zh) * 2019-07-10 2019-10-11 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110706159A (zh) * 2018-07-09 2020-01-17 财团法人资讯工业策进会 空间坐标转换服务器以及方法
CN110766731A (zh) * 2019-10-21 2020-02-07 武汉中海庭数据技术有限公司 一种全景影像与点云自动配准的方法、装置及存储介质
CN112446844A (zh) * 2020-11-27 2021-03-05 广东电网有限责任公司肇庆供电局 一种基于点云特征提取与配准融合方法
CN112767460A (zh) * 2020-12-31 2021-05-07 武汉大学 空间指纹图配准基元特征描述与匹配方法
CN113822891A (zh) * 2021-11-24 2021-12-21 深圳市智源空间创新科技有限公司 一种融合激光点云与全景图像的隧洞病害检测方法
CN116862777A (zh) * 2023-06-13 2023-10-10 中铁第四勘察设计院集团有限公司 一种全景影像的位置转换方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408689A (zh) * 2014-12-10 2015-03-11 武汉大学 基于全景影像的街景面片优化方法
CN105825470A (zh) * 2016-03-10 2016-08-03 广州欧科信息技术股份有限公司 基于点云影像的鱼眼影像纠正方法
CN106530342A (zh) * 2016-10-31 2017-03-22 武汉大学 利用激光点云辅助的可量测全景影像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408689A (zh) * 2014-12-10 2015-03-11 武汉大学 基于全景影像的街景面片优化方法
CN105825470A (zh) * 2016-03-10 2016-08-03 广州欧科信息技术股份有限公司 基于点云影像的鱼眼影像纠正方法
CN106530342A (zh) * 2016-10-31 2017-03-22 武汉大学 利用激光点云辅助的可量测全景影像生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李艳红 等: "采用投影回归原理的全景影像测量方法", 《武汉大学学报·信息科学版》 *
闫利 等: "车载激光雷达点云与全景影像的自动配准", 《测绘科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629829A (zh) * 2018-03-23 2018-10-09 中德(珠海)人工智能研究院有限公司 一种球幕相机与深度相机结合的三维建模方法和系统
CN109102537B (zh) * 2018-06-25 2020-03-20 中德人工智能研究院有限公司 一种二维激光雷达和球幕相机结合的三维建模方法和系统
CN109102537A (zh) * 2018-06-25 2018-12-28 中德人工智能研究院有限公司 一种激光雷达和球幕相机结合的三维建模方法和系统
CN110706159A (zh) * 2018-07-09 2020-01-17 财团法人资讯工业策进会 空间坐标转换服务器以及方法
CN110197109A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN110197109B (zh) * 2018-08-17 2023-11-24 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN110322553A (zh) * 2019-07-10 2019-10-11 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110322553B (zh) * 2019-07-10 2024-04-02 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110766731A (zh) * 2019-10-21 2020-02-07 武汉中海庭数据技术有限公司 一种全景影像与点云自动配准的方法、装置及存储介质
CN112446844A (zh) * 2020-11-27 2021-03-05 广东电网有限责任公司肇庆供电局 一种基于点云特征提取与配准融合方法
CN112446844B (zh) * 2020-11-27 2024-01-23 广东电网有限责任公司肇庆供电局 一种基于点云特征提取与配准融合方法
CN112767460A (zh) * 2020-12-31 2021-05-07 武汉大学 空间指纹图配准基元特征描述与匹配方法
CN113822891A (zh) * 2021-11-24 2021-12-21 深圳市智源空间创新科技有限公司 一种融合激光点云与全景图像的隧洞病害检测方法
CN116862777A (zh) * 2023-06-13 2023-10-10 中铁第四勘察设计院集团有限公司 一种全景影像的位置转换方法及系统

Similar Documents

Publication Publication Date Title
CN107392944A (zh) 全景影像与点云的配准方法及装置
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN108596026B (zh) 基于双流生成对抗网络的跨视角步态识别装置及训练方法
CN105528500B (zh) 一种分米级星载tdi ccd立体测绘相机成像仿真方法和系统
CN110363158A (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN109784333A (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN106127771A (zh) 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
CN107146254A (zh) 多相机系统的相机外参数标定方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN106803286A (zh) 基于多视点图像的虚实遮挡实时处理方法
CN107621226A (zh) 多目立体视觉的三维扫描方法及系统
CN104134216B (zh) 基于16维特征描述的激光点云自动配准方法及系统
CN104361603B (zh) 枪机图像目标标定方法及其系统
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN106600647A (zh) 一种双目视觉多线投影结构光标定方法
CN109918977A (zh) 确定空闲车位的方法、装置及设备
CN110136266A (zh) 增强现实融合场景的方法及仿真结果批量验证方法
CN107329593A (zh) 一种vr手柄定位方法及装置
CN106447728A (zh) 一种调整扫描状态的方法及装置
CN109949367A (zh) 一种基于圆形投影的可见光成像定位方法
CN106500626A (zh) 一种手机立体成像方法及三维成像手机
CN110322428A (zh) 检测隧道病害的方法、装置及电子设备
CN101246595A (zh) 光学三维扫描系统中多视点云数据拼合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171124