CN113140036A - 一种三维建模方法、装置、设备及存储介质 - Google Patents
一种三维建模方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113140036A CN113140036A CN202110482115.9A CN202110482115A CN113140036A CN 113140036 A CN113140036 A CN 113140036A CN 202110482115 A CN202110482115 A CN 202110482115A CN 113140036 A CN113140036 A CN 113140036A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- data
- image data
- dome
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 75
- 238000013507 mapping Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 10
- 238000009616 inductively coupled plasma Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Abstract
本发明属于三维成像建模技术领域，涉及一种球幕相机与激光扫描仪结合的三维建模方法、装置、设备及存储介质。所述球幕相机与所述激光扫描仪固定于目标空间中同一地理位置，所述球幕相机与所述激光扫描仪的高度位置不同，激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；本发明通过球幕相机采集到的目标空间的二维图像数据后，基于SFM算法进行三维建模操作，并通过激光扫描仪扫描到的真实三维数据对该三维建模得到的球幕三维数据进行校准操作，得到符合真实空间位置信息以及颜色信息的空间三维模型，有效解决传统传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
Description
技术领域
本发明涉及三维成像建模技术领域，尤其涉及一种球幕相机与激光扫描仪结合的三维建模方法、装置、设备及存储介质。
背景技术
三维建模技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
现有一种三维建模方法，即通过传统的三维激光扫描仪获取扫描目标空间的三维点云数据，并基于该三维点云数据构建三维模型，从而实现三维建模的目的。
然而，发明人发现传统的三维建模方法普遍不智能，由于激光扫描本身的局限性，使得扫描到的云数据仅具备三维空间的位置信息，从而导致构建出来的三维模型仅能通过黑白灰等基础颜色进行表示，并不能完整真实还原目标空间的颜色信息，由此可见，传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
发明内容
本发明实施例的目的在于提出一种球幕相机与激光扫描仪结合的三维建模方法、装置、设备及存储介质，以传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
为了解决上述技术问题，本发明实施例提供一种球幕相机与激光扫描仪结合的三维建模方法，采用了如下所述的技术方案：
接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；
基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；
接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；
基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；
基于所述校准三维数据进行数字化建模操作，得到初始三维模型；
基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；
输出所述目标三维模型。
为了解决上述技术问题，本发明实施例还提供一种球幕相机与激光扫描仪结合的三维建模装置，采用了如下所述的技术方案：
球幕数据获取模块，用于接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；
三维转换模块，用于基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；
激光数据获取模块，用于接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；
校准模块，用于基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；
数字化建模模块，用于基于所述校准三维数据进行数字化建模操作，得到初始三维模型；
贴图模块，用于基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；
输出模块，用于输出所述目标三维模型。
为了解决上述技术问题，本发明实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的球幕相机与激光扫描仪结合的三维建模方法的步骤。
为了解决上述技术问题，本发明实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的球幕相机与激光扫描仪结合的三维建模方法的步骤。
与现有技术相比，本发明实施例主要有以下有益效果：
本发明提供了一种球幕相机与激光扫描仪结合的三维建模方法，包括：接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；基于所述校准三维数据进行数字化建模操作，得到初始三维模型；基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；输出所述目标三维模型。本发明通过球幕相机采集到的目标空间的二维图像数据后，基于SFM算法进行三维建模操作，并通过激光扫描仪扫描到的真实三维数据对该三维建模得到的球幕三维数据进行校准操作，得到符合真实空间位置信息以及颜色信息的空间三维模型，有效解决传统传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的球幕相机与激光扫描仪结合的三维建模方法的实现流程图；
图2是图1中步骤S102的一种具体实施方式的流程图；
图3是图2中步骤S201的一种具体实施方式的流程图；
图4是本发明实施例一提供的筛选匹配点组的实现流程图；
图5是图1中步骤S104的一种具体实施方式的流程图；
图6是本发明实施例一提供的球幕相机与激光扫描仪结合的三维建模装置的结构示意图：
图7是图6中三维转换模块120的结构示意图；
图8是根据本发明的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，示出了本发明实施例一提供的球幕相机与激光扫描仪结合的三维建模方法的实现流程图，为了便于说明，仅示出与本发明相关的部分。
上述的球幕相机与激光扫描仪结合的三维建模方法，包括以下步骤：
步骤S101：接收球幕相机采集到的与目标空间对应的至少一张二维图像数据，二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据。
在本发明实施例中，在待建模的目标空间中的不同位置分别布置有位置相同但高度不同的球幕相机以及激光扫描仪，以保证球幕相机采集到的数据与激光扫描仪采集到的数据仅在竖直方向上存在差异，从而简化后续数据校准的数据量，有效提高本发明三维建模的效率。
在本发明实施例中，激光扫描仪作为三维激光扫描系统的主要组成部分，是由激光射器、接收器、时间计数器、马达控制可旋转的滤光镜、控制电路板、微电脑、CCD机以及软件等组成，是测绘领域继GPS技术之后的一次技术革命。它突破了传统的单点测量方法，具有高效率、高精度的独特优势。三维激光扫描技术能够提供扫描物体表面的三维点云数据，因此可以用于获取高精度高分辨率的数字地形模型。
步骤S102：基于SFM算法对二维图像数据进行三维转换操作，得到球幕三维数据。
在本发明实施例中，SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。先从图片中提取焦距信息(之后初始化BA(Bundle adjust)需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA，然后循环添加新的图片进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束。得到相机估计参数和场景几何信息，即稀疏的3D点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包，这是一种非线性最小二乘的优化目标函数算法。
在本发明实施例中，SFM算法的实现流程如下：
step1：特征检测
对于特征检测这一步，使用的是具有尺度和旋转不变性的SIFT描述子,其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，在这种离线算法不需要考虑时间成本的情况下也较有优势。SIFT算法通过不同尺寸的高斯滤波器(DOG)计算得到特征点的位置信息(x,y),同时还提供一个描述子descriptor信息，在一个特征点周围4*4的方格直方图中，每一个直方图包含8个bin的梯度方向，即得到一个4*4*8＝128维的特征向量。除此之外，SIFT算法计算得到的尺寸scale和方向orientation两个信息并没有用上。
step2：特征匹配
一旦每个图片的特征点被提出来以后，就需要进行图片两两之间的特征点匹配，用F(I)表示图像I周围的特征点。对于每一个图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量fnn∈F(J):
事实上算法中用到一个kd-tree的数据结构去计算最近邻匹配。然后令最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个阈值如0.6，就可以判定为可接受的匹配对。这样子，图像I中的特征点在图像J中至多一个匹配特征点，但是图像J中可能匹配图像I中多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况。最后如果两个图片之间的特征点匹配数不少于16个即为初选图像对。
然而初选的匹配对可能还是不可靠，需要用几何约束去检测。这个测试是基于事实的，假设一个静止场景，不是所有的匹配特征点在实际场景中是符合物理规律的。那么就需要计算对极几何，F矩阵可以把两张图片之间的像素坐标联系起来，并包含相机的内参信息。每一个符合的匹配对像素坐标都需要满足：
像这种F矩阵计算出有很多噪声数据，需要用RANSAC(随机抽样一致性)算法进行滤波，用8点法来进行RANSACA假设，其中外点个数的阈值应该小于图像长与宽的0.6％。
当所有的两两匹配图像对被确定以后，就可以考虑把多个图像中都出现的共同特征匹配点连接起来，就能形成轨迹了。例如，特征f1∈F(I1)匹配特征f2∈F(I2)，f2匹配特征f3∈F(I3)，这些特征就可以形成一个轨迹{f1,f2,f3}。然后利用宽度优先搜索BFS去找到每个特征点在所有图像对中的完整轨迹。
一旦符合的轨迹都找到后，就构造图像连接图，包含每个图像的节点，和有共同轨迹的图像边缘。
在本发明实施例中，球幕三维数据指的是基于SFM算法对二维图像数据进行三维重建得到的相机估计参数和场景几何信息，即稀疏的3D点云数据。
步骤S103：接收激光扫描仪采集到的与目标空间对应的激光三维数据。
在本发明实施例中，激光三维数据指的是基于激光扫描仪采集到的三维数据，该三维数据仅能通过黑白灰等基础颜色表示目标空间的颜色信息。
步骤S104：基于激光三维数据对球幕三维数据进行校准操作，得到校准三维数据。
在本发明实施例中，由于激光扫描仪采集到的三维数据具有高精度的特征，可以真实表示目标空间的三维信息，该激光三维数据可以作为位置参考数据对球幕三维数据进行调整，使得球幕三维数据符合真实目标空间的需要。
步骤S105：基于校准三维数据进行数字化建模操作，得到初始三维模型。
步骤S106：基于图像颜色数据对初始三维模型进行贴图操作，得到目标三维模型。
在本发明实施例中，当所述球幕相机在不同的相机位置都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。所述最优一张图为某一所述相机位置得到的二维全景照片能够得到目标的像素最多，则所述相机位置得到的二维全景照片为最优。选择最优的二维全景照片进行贴图，即根据二维全景照片中的颜色信息，自动对三维模型进行贴图，二维全景照片的颜色信息，需要利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
步骤S107：输出目标三维模型。
在本发明实施例中，提供了一种球幕相机与激光扫描仪结合的三维建模方法，包括：接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；基于所述校准三维数据进行数字化建模操作，得到初始三维模型；基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；输出所述目标三维模型。本发明通过球幕相机采集到的目标空间的二维图像数据后，基于SFM算法进行三维建模操作，并通过激光扫描仪扫描到的真实三维数据对该三维建模得到的球幕三维数据进行校准操作，得到符合真实空间位置信息以及颜色信息的空间三维模型，有效解决传统传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
继续参阅图2，示出了图1中步骤S102的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在本实施例的一些可选的实现方式中，步骤S102具体包括：
步骤S201：基于SFM算法对二维图像数据进行特征点提取操作，得到各个二维图像数据的特征点数据。
在本发明实施例中，特征点提取操作使用的是具有尺度和旋转不变性的SIFT描述子,其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，在这种离线算法不需要考虑时间成本的情况下也较有优势。SIFT算法通过不同尺寸的高斯滤波器(DOG)计算得到特征点的位置信息(x,y),同时还提供一个描述子descriptor信息，在一个特征点周围4*4的方格直方图中，每一个直方图包含8个bin的梯度方向，即得到一个4*4*8＝128维的特征向量。除此之外，SIFT算法计算得到的尺寸scale和方向orientation两个信息并没有用上。
步骤S202：对相邻的二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组。
在本发明实施例中，特征点匹配操作指的是一旦每个图片的特征点被提出来以后，就需要进行图片两两之间的特征点匹配，用F(I)表示图像I周围的特征点。对于每一个图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量fnn∈F(J):
事实上算法中用到一个kd-tree的数据结构去计算最近邻匹配。然后令最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个阈值如0.6，就可以判定为可接受的匹配对。这样子，图像I中的特征点在图像J中至多一个匹配特征点，但是图像J中可能匹配图像I中多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况。最后如果两个图片之间的特征点匹配数不少于16个即为初选图像对。
然而初选的匹配对可能还是不可靠，需要用几何约束去检测。这个测试是基于事实的，假设一个静止场景，不是所有的匹配特征点在实际场景中是符合物理规律的。那么就需要计算对极几何，F矩阵可以把两张图片之间的像素坐标联系起来，并包含相机的内参信息。每一个符合的匹配对像素坐标都需要满足：
像这种F矩阵计算出有很多噪声数据，需要用RANSAC(随机抽样一致性)算法进行滤波，用8点法来进行RANSACA假设，其中外点个数的阈值应该小于图像长与宽的0.6％。
当所有的两两匹配图像对被确定以后，就可以考虑把多个图像中都出现的共同特征匹配点连接起来，就能形成轨迹了。例如，特征f1∈F(I1)匹配特征f2∈F(I2)，f2匹配特征f3∈F(I3)，这些特征就可以形成一个轨迹{f1,f2,f3}。然后利用宽度优先搜索BFS去找到每个特征点在所有图像对中的完整轨迹。
一旦符合的轨迹都找到后，就构造图像连接图，包含每个图像的节点，和有共同轨迹的图像边缘。
步骤S203：基于匹配点组对相邻的二维图像数据进行拼接操作，当所有二维图像数据完成拼接操作之后，得到球幕三维数据。
在本发明实施例中，拼接操作指的是以特征点为重叠像素点进行拉伸及拼接，从而将重复的图像内容进行重合。
继续参阅图3，示出了图2中步骤S201的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在本实施例的一些可选的实现方式中，步骤S201具体包括：步骤S301、步骤S302以及步骤S303。
步骤S301：基于预设下采样率对所述二维图像数据进行采样操作，获取采样图像数据。
在本发明实施例中，为了避免特征点的丢失，下采样率设为2，应当理解的是，此处对下采样率举例仅为方便理解，即该下采样率的设置是为了避免特征点的丢失，不用于限定本发明。
在本发明实施例中，采样图像数据指的是在原始二维图像数据中抽取的部分图像。
步骤S302：按照预设分割规则对所述采样图像数据进行分割操作，获取分割图像数据。
在本发明实施例中，预设分割规则指的是将目标图片块切分成符合计算机所能处理的图像块尺寸，该切割尺寸可以是1024*1024，也可以是512*512，应当理解的是，此处对切割尺寸的举例仅为方便理解，即该切割尺寸符合计算机所能处理的尺寸即可，不用于限定本发明。
步骤S303：对相邻的所述二维图像数据的所述分割图像数据进行特征点匹配操作，得到所述匹配点组。
在本发明实施例中，通过对二维图像数据进行采样操作，从而有效避免特征点数据的丢失，进一步保证特征点匹配的准确性，进而有效提高三维转换的准确性。
继续参阅图4，示出了本发明实施例一提供的筛选匹配点组的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在本实施例的一些可选的实现方式中，在步骤S202之后，还包括：步骤S401；步骤S203具体包括：步骤S402。
步骤S401：基于RANSAC算法对匹配点组进行筛选操作，得到筛选匹配点组。
在本发明实施例中，RANSAC算法(RANdom SAmple Consensus，随机抽样一致算法)采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据(或称为噪声)。正确数据记为内点(inliers)，异常数据记为外点(outliers)。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。
在本发明实施例中，RANSAC算法被广泛应用在计算机视觉领域和数学领域，例如直线拟合、平面拟合、计算图像或点云间的变换矩阵、计算基础矩阵等方面，使用的非常多。本文将在对RANSAC介绍完后，附两段直线拟合以及平面拟合的matlab代码。关于计算机视觉中基于RANSAC框架的矩阵求解问题，在OpenCV中都有对应的函数接口。
步骤S402：基于筛选匹配点组对相邻的二维图像数据进行拼接操作，当所有二维图像数据完成拼接操作之后，得到球幕三维数据。
在本发明实施例中，利用RANSC算法优化匹配点组，使得优化后的匹配点组准确性更高，提高后续三维建模的准确性。
继续参阅图5，示出了图1中步骤S104的实现流程图，为了便于说明，仅示出与本发明相关的部分。
在本实施例的一些可选的实现方式中，步骤S104具体包括：
步骤S501：基于激光三维数据获取与各个二维图像数据相对应的球幕相机的相机位置。
步骤S502：基于各个相机位置的球幕相机内参数据恢复球幕三维数据的稀疏点云数据。
步骤S503：基于图像一致性对稀疏点云数据进行扩展操作，得到稠密点云数据。
步骤S504：基于ICP算法对稠密点云数据进行匹配操作，得到精确稠密点云的校准三维数据。
在本发明实施例中，需要重新计算相机位置信息，对相机位置进行微调，使用的是非线性优化算法Bundle Adjustment(BA)：
其中x是需要进行微调的参数，f一般称为代价函数(Cost Function),ρ为损失函数(Loss Function)。其中f的返回值可能是一个向量，因此总的代价取该向量的2-范数。对于三维重建中的BA，代价函数一般是反向投影误差，比如需要微调的参数有相机的内参矩阵(焦距、光心、畸变等)、外参矩阵(旋转和平移)以及点云，设图像i的内参为Ki，外参矩阵为Ri和Ti，点云中某一点的坐标为Pj，该点在i图像中的像素坐标为pij，则可以写出反向投影误差：
上式中的Pj和均为齐次坐标，其中π为投影函数：π(p)＝(px/pz,py/pz,1)。损失函数ρ的目的是为了增强算法的鲁棒性，使得算法不易受离群点(Outliers)的影响，常见的有Huber函数、Tukey函数等。
求解BA采用的是现有的程序，求解成功后，得到最重要的两项分别是微调前的平均反向投影误差和微调后的该值，从两者可看出反向投影误差约为3.6个像素降为1.4个像素，如果删除一些误差过大的点，再进行一次BA，反向投影误差往往能小于0.5个像素，使相机位置信息更精确。
在本发明实施例中，ICP算法(迭代最近点及其变异算法)，采用的是现有技术，假设给两个三维点集X1和X2，ICP方法的匹配步骤如下：
第一步，计算X2中的每一个点在X1点集中的对应近点；
第二步，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；
第三步，对X2使用上一步求得的平移和旋转参数，得到新的变换点集；
第四步，如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求。
需要强调的是，为进一步保证上述二维图像数据、激光三维数据以及目标三维模型的私密和安全性，上述二维图像数据、激光三维数据以及目标三维模型还可以存储于一区块链的节点中。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图6，作为对上述图2所示方法的实现，本发明提供了一种球幕相机与激光扫描仪结合的三维建模装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的球幕相机与激光扫描仪结合的三维建模装置100包括：球幕数据获取模块110、三维转换模块120、激光数据获取模块130、校准模块140、数字化建模模块150、贴图模块160以及输出模块170。其中：
球幕数据获取模块110，用于接收球幕相机采集到的与目标空间对应的至少一张二维图像数据，二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；
三维转换模块120，用于基于SFM算法对二维图像数据进行三维转换操作，得到球幕三维数据；
激光数据获取模块130，用于接收激光扫描仪采集到的与目标空间对应的激光三维数据；
校准模块140，用于基于激光三维数据对球幕三维数据进行校准操作，得到校准三维数据；
数字化建模模块150，用于基于校准三维数据进行数字化建模操作，得到初始三维模型；
贴图模块160，用于基于图像颜色数据对初始三维模型进行贴图操作，得到目标三维模型；
输出模块170，用于输出目标三维模型。
在本发明实施例中，在待建模的目标空间中的不同位置分别布置有位置相同但高度不同的球幕相机以及激光扫描仪，以保证球幕相机采集到的数据与激光扫描仪采集到的数据仅在竖直方向上存在差异，从而简化后续数据校准的数据量，有效提高本发明三维建模的效率。
在本发明实施例中，激光扫描仪作为三维激光扫描系统的主要组成部分，是由激光射器、接收器、时间计数器、马达控制可旋转的滤光镜、控制电路板、微电脑、CCD机以及软件等组成，是测绘领域继GPS技术之后的一次技术革命。它突破了传统的单点测量方法，具有高效率、高精度的独特优势。三维激光扫描技术能够提供扫描物体表面的三维点云数据，因此可以用于获取高精度高分辨率的数字地形模型。
在本发明实施例中，SFM算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。先从图片中提取焦距信息(之后初始化BA(Bundle adjust)需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA，然后循环添加新的图片进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束。得到相机估计参数和场景几何信息，即稀疏的3D点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包，这是一种非线性最小二乘的优化目标函数算法。
在本发明实施例中，SFM算法的实现流程如下：
step1：特征检测
对于特征检测这一步，使用的是具有尺度和旋转不变性的SIFT描述子,其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，在这种离线算法不需要考虑时间成本的情况下也较有优势。SIFT算法通过不同尺寸的高斯滤波器(DOG)计算得到特征点的位置信息(x,y),同时还提供一个描述子descriptor信息，在一个特征点周围4*4的方格直方图中，每一个直方图包含8个bin的梯度方向，即得到一个4*4*8＝128维的特征向量。除此之外，SIFT算法计算得到的尺寸scale和方向orientation两个信息并没有用上。
step2：特征匹配
一旦每个图片的特征点被提出来以后，就需要进行图片两两之间的特征点匹配，用F(I)表示图像I周围的特征点。对于每一个图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量fnn∈F(J):
事实上算法中用到一个kd-tree的数据结构去计算最近邻匹配。然后令最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个阈值如0.6，就可以判定为可接受的匹配对。这样子，图像I中的特征点在图像J中至多一个匹配特征点，但是图像J中可能匹配图像I中多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况。最后如果两个图片之间的特征点匹配数不少于16个即为初选图像对。
然而初选的匹配对可能还是不可靠，需要用几何约束去检测。这个测试是基于事实的，假设一个静止场景，不是所有的匹配特征点在实际场景中是符合物理规律的。那么就需要计算对极几何，F矩阵可以把两张图片之间的像素坐标联系起来，并包含相机的内参信息。每一个符合的匹配对像素坐标都需要满足：
像这种F矩阵计算出有很多噪声数据，需要用RANSAC(随机抽样一致性)算法进行滤波，用8点法来进行RANSACA假设，其中外点个数的阈值应该小于图像长与宽的0.6％。
当所有的两两匹配图像对被确定以后，就可以考虑把多个图像中都出现的共同特征匹配点连接起来，就能形成轨迹了。例如，特征f1∈F(I1)匹配特征f2∈F(I2)，f2匹配特征f3∈F(I3)，这些特征就可以形成一个轨迹{f1,f2,f3}。然后利用宽度优先搜索BFS去找到每个特征点在所有图像对中的完整轨迹。
一旦符合的轨迹都找到后，就构造图像连接图，包含每个图像的节点，和有共同轨迹的图像边缘。
在本发明实施例中，球幕三维数据指的是基于SFM算法对二维图像数据进行三维重建得到的相机估计参数和场景几何信息，即稀疏的3D点云数据。
在本发明实施例中，激光三维数据指的是基于激光扫描仪采集到的三维数据，该三维数据仅能通过黑白灰等基础颜色表示目标空间的颜色信息。
在本发明实施例中，由于激光扫描仪采集到的三维数据具有高精度的特征，可以真实表示目标空间的三维信息，该激光三维数据可以作为位置参考数据对球幕三维数据进行调整，使得球幕三维数据符合真实目标空间的需要。
在本发明实施例中，当所述球幕相机在不同的相机位置都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。所述最优一张图为某一所述相机位置得到的二维全景照片能够得到目标的像素最多，则所述相机位置得到的二维全景照片为最优。选择最优的二维全景照片进行贴图，即根据二维全景照片中的颜色信息，自动对三维模型进行贴图，二维全景照片的颜色信息，需要利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
在本发明实施例中，提供了一种球幕相机与激光扫描仪结合的三维建模装置，本发明通过球幕相机采集到的目标空间的二维图像数据后，基于SFM算法进行三维建模操作，并通过激光扫描仪扫描到的真实三维数据对该三维建模得到的球幕三维数据进行校准操作，得到符合真实空间位置信息以及颜色信息的空间三维模型，有效解决传统传统的三维建模方法存在不能真实还原目标空间颜色信息的问题。
继续参阅图7，示出了图6中三维转换模块120的结构示意图，为了便于说明，仅示出与本发明相关的部分。
在本实施例的一些可选的实现方式中，上述三维转换模块120包括：特征点提取子模块121、特征点匹配子模块122以及拼接子模块123。其中：
特征点提取子模块121，用于基于SFM算法对二维图像数据进行特征点提取操作，得到各个二维图像数据的特征点数据；
特征点匹配子模块122，用于对相邻的二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组；
拼接子模块123，用于基于匹配点组对相邻的二维图像数据进行拼接操作，当所有二维图像数据完成拼接操作之后，得到球幕三维数据。
在本发明实施例中，特征点提取操作使用的是具有尺度和旋转不变性的SIFT描述子,其鲁棒性较强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强，在这种离线算法不需要考虑时间成本的情况下也较有优势。SIFT算法通过不同尺寸的高斯滤波器(DOG)计算得到特征点的位置信息(x,y),同时还提供一个描述子descriptor信息，在一个特征点周围4*4的方格直方图中，每一个直方图包含8个bin的梯度方向，即得到一个4*4*8＝128维的特征向量。除此之外，SIFT算法计算得到的尺寸scale和方向orientation两个信息并没有用上。
在本发明实施例中，特征点匹配操作指的是一旦每个图片的特征点被提出来以后，就需要进行图片两两之间的特征点匹配，用F(I)表示图像I周围的特征点。对于每一个图像对I和J，考虑每一个特征f∈F(I)找到最近邻的特征向量fnn∈F(J):
事实上算法中用到一个kd-tree的数据结构去计算最近邻匹配。然后令最近邻的距离为d1，再找到第二近的匹配对点之间距离为d2，如果两个距离d1和d2之比小于一个阈值如0.6，就可以判定为可接受的匹配对。这样子，图像I中的特征点在图像J中至多一个匹配特征点，但是图像J中可能匹配图像I中多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应。所以还需要一个去除重复特征点匹配对的算法去解决这种多对一的情况。最后如果两个图片之间的特征点匹配数不少于16个即为初选图像对。
然而初选的匹配对可能还是不可靠，需要用几何约束去检测。这个测试是基于事实的，假设一个静止场景，不是所有的匹配特征点在实际场景中是符合物理规律的。那么就需要计算对极几何，F矩阵可以把两张图片之间的像素坐标联系起来，并包含相机的内参信息。每一个符合的匹配对像素坐标都需要满足：
像这种F矩阵计算出有很多噪声数据，需要用RANSAC(随机抽样一致性)算法进行滤波，用8点法来进行RANSACA假设，其中外点个数的阈值应该小于图像长与宽的0.6％。
当所有的两两匹配图像对被确定以后，就可以考虑把多个图像中都出现的共同特征匹配点连接起来，就能形成轨迹了。例如，特征f1∈F(I1)匹配特征f2∈F(I2)，f2匹配特征f3∈F(I3)，这些特征就可以形成一个轨迹{f1,f2,f3}。然后利用宽度优先搜索BFS去找到每个特征点在所有图像对中的完整轨迹。
一旦符合的轨迹都找到后，就构造图像连接图，包含每个图像的节点，和有共同轨迹的图像边缘。
在本发明实施例中，拼接操作指的是以特征点为重叠像素点进行拉伸及拼接，从而将重复的图像内容进行重合。
在本实施例的一些可选的实现方式中，上述特征点提取子模块121具体包括：采样单元、分割单元以及特征点匹配单元。其中：
采样单元，用于基于预设下采样率对所述二维图像数据进行采样操作，获取采样图像数据；
分割单元，用于按照预设分割规则对所述采样图像数据进行分割操作，获取分割图像数据；
特征点匹配单元，用于对相邻的所述二维图像数据的所述分割图像数据进行特征点匹配操作，得到所述匹配点组。
在本实施例的一些可选的实现方式中，上述三维转换模块120还包括：筛选子模块；上述拼接子模块123具体包括：拼接单元。
筛选子模块，用于基于RANSAC算法对所述匹配点组进行筛选操作，得到筛选匹配点组；
拼接单元，用于基于所述筛选匹配点组对所述相邻的二维图像数据进行拼接操作，当所有所述二维图像数据完成所述拼接操作之后，得到所述球幕三维数据。
在本实施例的一些可选的实现方式中，上述校准模块还包括：相机位置获取子模块、数据恢复子模块、扩展子模块以及匹配子模块。其中：
相机位置获取子模块，用于基于所述激光三维数据获取与各个所述二维图像数据相对应的所述球幕相机的相机位置；
数据恢复子模块，用于基于各个所述相机位置的球幕相机内参数据恢复所述球幕三维数据的稀疏点云数据；
扩展子模块，用于基于图像一致性对所述稀疏点云数据进行扩展操作，得到稠密点云数据；
匹配子模块，用于基于ICP算法对所述稠密点云数据进行匹配操作，得到精确稠密点云的所述校准三维数据。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器210、处理器220、网络接口230。需要指出的是，图中仅示出了具有组件210-230的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－ProgrammableGate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器210至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器210可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器210也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器210还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器210通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如球幕相机与激光扫描仪结合的三维建模方法的计算机可读指令等。此外，所述存储器210还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器220在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器220通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器220用于运行所述存储器210中存储的计算机可读指令或者处理数据，例如运行所述球幕相机与激光扫描仪结合的三维建模方法的计算机可读指令。
所述网络接口230可包括无线网络接口或有线网络接口，该网络接口230通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
有益效果。
本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的球幕相机与激光扫描仪结合的三维建模方法的步骤。
有益效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (10)
1.一种球幕相机与激光扫描仪结合的三维建模方法，其特征在于，所述球幕相机与所述激光扫描仪固定于目标空间中同一地理位置，所述球幕相机与所述激光扫描仪的高度位置不同，所述方法包括下述步骤：
接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；
基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；
接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；
基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；
基于所述校准三维数据进行数字化建模操作，得到初始三维模型；
基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；
输出所述目标三维模型。
2.根据权利要求1所述的球幕相机与激光扫描仪结合的三维建模方法，其特征在于，所述基于SFM算法对所述球幕二维数据进行三维转换操作，得到球幕三维数据的步骤，具体包括下述步骤：
基于所述SFM算法对所述二维图像数据进行特征点提取操作，得到各个二维图像数据的特征点数据；
对相邻的所述二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组；
基于所述匹配点组对所述相邻的二维图像数据进行拼接操作，当所有所述二维图像数据完成所述拼接操作之后，得到所述球幕三维数据。
3.根据权利要求2所述的球幕相机与激光扫描仪结合的三维建模方法，其特征在于，所述对相邻的所述二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组的步骤，具体包括下述步骤：
基于预设下采样率对所述二维图像数据进行采样操作，获取采样图像数据；
按照预设分割规则对所述采样图像数据进行分割操作，获取分割图像数据；
对相邻的所述二维图像数据的所述分割图像数据进行特征点匹配操作，得到所述匹配点组。
4.根据权利要求2所述的球幕相机与激光扫描仪结合的三维建模方法，其特征在于，在所述对相邻的所述二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组的步骤之后，还包括下述步骤：
基于RANSAC算法对所述匹配点组进行筛选操作，得到筛选匹配点组；
所述基于所述匹配点组对所述相邻的二维图像数据进行拼接操作，当所有所述二维图像数据完成所述拼接操作之后，得到所述球幕三维数据的步骤，具体包括下述步骤：
基于所述筛选匹配点组对所述相邻的二维图像数据进行拼接操作，当所有所述二维图像数据完成所述拼接操作之后，得到所述球幕三维数据。
5.根据权利要求1所述的球幕相机与激光扫描仪结合的三维建模方法，其特征在于，所述基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据的步骤，具体包括下述步骤：
基于所述激光三维数据获取与各个所述二维图像数据相对应的所述球幕相机的相机位置；
基于各个所述相机位置的球幕相机内参数据恢复所述球幕三维数据的稀疏点云数据；
基于图像一致性对所述稀疏点云数据进行扩展操作，得到稠密点云数据；
基于ICP算法对所述稠密点云数据进行匹配操作，得到精确稠密点云的所述校准三维数据。
6.根据权利要求1所述的球幕相机与激光扫描仪结合的三维建模方法，其特征在于，在所述基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型的步骤之后，还包括下述步骤：
将所述二维图像数据、所述激光三维数据以及所述目标三维模型存储至区块链中。
7.一种球幕相机与激光扫描仪结合的三维建模装置，其特征在于，所述球幕相机与所述激光扫描仪固定于目标空间中同一地理位置，所述球幕相机与所述激光扫描仪的高度位置不同，所述装置包括：
球幕数据获取模块，用于接收所述球幕相机采集到的与所述目标空间对应的至少一张二维图像数据，所述二维图像数据至少携带有各个像素点的图像颜色数据以及球幕二维数据；
三维转换模块，用于基于SFM算法对所述二维图像数据进行三维转换操作，得到球幕三维数据；
激光数据获取模块，用于接收所述激光扫描仪采集到的与所述目标空间对应的激光三维数据；
校准模块，用于基于所述激光三维数据对所述球幕三维数据进行校准操作，得到校准三维数据；
数字化建模模块，用于基于所述校准三维数据进行数字化建模操作，得到初始三维模型；
贴图模块，用于基于所述图像颜色数据对所述初始三维模型进行贴图操作，得到目标三维模型；
输出模块，用于输出所述目标三维模型。
8.根据权利要求7所述的球幕相机与激光扫描仪结合的三维建模装置，其特征在于，所述三维转换模块包括：
特征点提取子模块，用于基于所述SFM算法对所述二维图像数据进行特征点提取操作，得到各个二维图像数据的特征点数据；
特征点匹配子模块，用于对相邻的所述二维图像数据进行特征点匹配操作，得到相互匹配的匹配点组；
拼接子模块，用于基于所述匹配点组对所述相邻的二维图像数据进行拼接操作，当所有所述二维图像数据完成所述拼接操作之后，得到所述球幕三维数据。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的球幕相机与激光扫描仪结合的三维建模方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的球幕相机与激光扫描仪结合的三维建模方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110482115.9A CN113140036A (zh) | 2021-04-30 | 2021-04-30 | 一种三维建模方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110482115.9A CN113140036A (zh) | 2021-04-30 | 2021-04-30 | 一种三维建模方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113140036A true CN113140036A (zh) | 2021-07-20 |
Family
ID=76816888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110482115.9A Pending CN113140036A (zh) | 2021-04-30 | 2021-04-30 | 一种三维建模方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113140036A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898068A (zh) * | 2022-05-19 | 2022-08-12 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN114979612A (zh) * | 2022-06-20 | 2022-08-30 | 极世代(武汉)文化科技有限公司 | 一种基于区块链的虚拟场景应用系统 |
| CN115330943A (zh) * | 2022-08-11 | 2022-11-11 | 北京城市网邻信息技术有限公司 | 多层空间三维建模方法、装置、设备和存储介质 |
| CN115546379A (zh) * | 2022-11-29 | 2022-12-30 | 思看科技(杭州)股份有限公司 | 一种数据处理方法、装置和计算机设备 |
| CN115797608A (zh) * | 2022-06-09 | 2023-03-14 | 广州中鸣数码科技有限公司 | 一种积木搭建方法、智能终端 |
| CN117629105A (zh) * | 2023-12-06 | 2024-03-01 | 北京锐达仪表有限公司 | 物料三维形态测量系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013131512A1 (de) * | 2012-03-08 | 2013-09-12 | Dieter Egert | Einrichtung zur visualisierung von gewebestrukturen |
| WO2015039375A1 (zh) * | 2013-09-17 | 2015-03-26 | 中国科学院深圳先进技术研究院 | 点云数据质量自动优化方法及系统 |
| CN108629829A (zh) * | 2018-03-23 | 2018-10-09 | 中德（珠海）人工智能研究院有限公司 | 一种球幕相机与深度相机结合的三维建模方法和系统 |
| CN111127540A (zh) * | 2019-12-25 | 2020-05-08 | 珠海市四维时代网络科技有限公司 | 一种三维虚拟空间自动测距方法及系统 |
| CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
-
2021
- 2021-04-30 CN CN202110482115.9A patent/CN113140036A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013131512A1 (de) * | 2012-03-08 | 2013-09-12 | Dieter Egert | Einrichtung zur visualisierung von gewebestrukturen |
| WO2015039375A1 (zh) * | 2013-09-17 | 2015-03-26 | 中国科学院深圳先进技术研究院 | 点云数据质量自动优化方法及系统 |
| CN108629829A (zh) * | 2018-03-23 | 2018-10-09 | 中德（珠海）人工智能研究院有限公司 | 一种球幕相机与深度相机结合的三维建模方法和系统 |
| CN111127540A (zh) * | 2019-12-25 | 2020-05-08 | 珠海市四维时代网络科技有限公司 | 一种三维虚拟空间自动测距方法及系统 |
| CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 杜宇楠;叶平;孙汉旭;: "基于激光与立体视觉同步数据的场景三维重建", 软件, no. 11 * |
| 陈辉;马世伟;ANDREAS NUECHTER;: "基于激光扫描和SFM的非同步点云三维重构方法", 仪器仪表学报, no. 05 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898068A (zh) * | 2022-05-19 | 2022-08-12 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN114898068B (zh) * | 2022-05-19 | 2023-10-20 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN115797608A (zh) * | 2022-06-09 | 2023-03-14 | 广州中鸣数码科技有限公司 | 一种积木搭建方法、智能终端 |
| CN114979612A (zh) * | 2022-06-20 | 2022-08-30 | 极世代(武汉)文化科技有限公司 | 一种基于区块链的虚拟场景应用系统 |
| CN115330943A (zh) * | 2022-08-11 | 2022-11-11 | 北京城市网邻信息技术有限公司 | 多层空间三维建模方法、装置、设备和存储介质 |
| CN115330943B (zh) * | 2022-08-11 | 2023-03-28 | 北京城市网邻信息技术有限公司 | 多层空间三维建模方法、装置、设备和存储介质 |
| CN115546379A (zh) * | 2022-11-29 | 2022-12-30 | 思看科技(杭州)股份有限公司 | 一种数据处理方法、装置和计算机设备 |
| CN117629105A (zh) * | 2023-12-06 | 2024-03-01 | 北京锐达仪表有限公司 | 物料三维形态测量系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN113140036A (zh) | 一种三维建模方法、装置、设备及存储介质 | |
| WO2019170164A1 (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
| CN111524168B (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
| CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN108305281B (zh) | 图像的校准方法、装置、存储介质、程序产品和电子设备 | |
| CN112435193A (zh) | 一种点云数据去噪的方法、装置、存储介质和电子设备 | |
| CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| JP6558803B2 (ja) | 幾何検証装置及びプログラム | |
| CN110673607A (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
| CN111161348A (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
| CN113379815A (zh) | 基于rgb相机与激光传感器的三维重建方法、装置及服务器 | |
| CN117522963A (zh) | 棋盘格的角点定位方法、装置、存储介质及电子设备 | |
| Kutulakos | Shape from the light field boundary | |
| CN110110767B (zh) | 一种图像特征优化方法、装置、终端设备及可读存储介质 | |
| CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
| Kang et al. | A robust image matching method based on optimized BaySAC | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| Li et al. | Automatic Keyline Recognition and 3D Reconstruction For Quasi‐Planar Façades in Close‐range Images | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| Arevalo et al. | Improving piecewise linear registration of high-resolution satellite images through mesh optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |