CN108510434B - 通过球幕相机进行三维建模的方法 - Google Patents

通过球幕相机进行三维建模的方法 Download PDF

Info

Publication number
CN108510434B
CN108510434B CN201810144261.9A CN201810144261A CN108510434B CN 108510434 B CN108510434 B CN 108510434B CN 201810144261 A CN201810144261 A CN 201810144261A CN 108510434 B CN108510434 B CN 108510434B
Authority
CN
China
Prior art keywords
ball curtain
camera
curtain camera
point
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810144261.9A
Other languages
English (en)
Other versions
CN108510434A (zh
Inventor
崔岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Siwei Times Network Technology Co Ltd
Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd
Original Assignee
Zhuhai Siwei Times Network Technology Co Ltd
Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Siwei Times Network Technology Co Ltd, Sino German (zhuhai) Artificial Intelligence Research Institute Co Ltd filed Critical Zhuhai Siwei Times Network Technology Co Ltd
Priority to CN201810144261.9A priority Critical patent/CN108510434B/zh
Publication of CN108510434A publication Critical patent/CN108510434A/zh
Application granted granted Critical
Publication of CN108510434B publication Critical patent/CN108510434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种通过球幕相机进行三维建模的方法，包括至少一个或一组球幕相机；所述方法包括以下步骤：球幕相机进行实时定位，得到至少一组照片或者视频流；基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；基于球幕相机三维数字化建模的闭环进行自动检测；检测后，进行数字化建模；结构化模型贴图。本发明有益效果在于，通过与球幕相机的结合，在同步定位与建图、特征点匹配、闭环检测等都更加准确和稳定。其次，基于结构化的建模速度更快、效率更高。

Description

通过球幕相机进行三维建模的方法
技术领域
本发明涉及三维成像建模技术领域，具体涉及一种通过球幕相机进行三维建模的方法。
背景技术
传统slam相机基于小孔成像原理，比如手机相机，实际上是对普通相机做的，特点是平面化且视角单一，其次，传统相机基于相机焦距的平面坐标系找邻域。另一方面，传统的闭环检测基于时间序列，即每间隔一段时间进行一次检测，缺点在于没办法判断合适的检测时机，有的甚至在不是闭环的情况下进行检测，占用存储空间，加大CPU计算消耗，造成资源浪费。
发明内容
鉴于现有技术的不足，本发明旨在于提供一种通过球幕相机进行三维建模的方法，通过与球幕相机的结合，在同步定位与建图、特征点匹配、闭环检测等都更加准确和稳定。
为了实现上述目的，本发明采用的技术方案如下：
通过球幕相机进行三维建模的方法，其特征在于，包括至少一个或一组球幕相机；所述方法包括以下步骤：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图。
需要说明的是，在所述一组照片或者视频流中，对单张照片用SIFT描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
需要说明的是，所述闭环检测为：用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为所述球幕相机又回到原来走过的地方，此时启动闭环检测。
需要进一步说明的是，所述步骤4中看可以为：
S4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
S4.2对稀疏点云做标记即整体点云中，并进行对应的标记；
S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S4.4将被射线包围的空间抠出来；
S4.5基于图论最短路径的方式做闭合空间。
需要说明的是，所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。
需要说明的是，在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。
需要说明的是，即当多部所述球幕相机都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。
需要说明的是，所述最优一张图为某一所述球幕相机能够得到目标的像素最多，则所述球幕相机为最优。
需要进一步说明的是，利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
本发明有益效果在于，通过与球幕相机的结合，在同步定位与建图、特征点匹配、闭环检测等都更加准确和稳定。其次，基于结构化的建模速度更快、效率更高。
附图说明
图1为本发明的实施示意图；
图2为本发明的实施示意图；
图3为本发明的实施示意图；
图4为本发明的实施示意图；
图5为本发明的实施示意图。
具体实施方式
以下将结合实施例对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本发明为通过球幕相机进行三维建模的方法，其特征在于，包括至少一个或一组球幕相机；所述方法包括以下步骤：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图。
需要说明的是，在所述一组照片或者视频流中，对单张照片用SIFT描述符进行特征点(图片上的像素点)提取同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
需要说明的是，所述闭环检测为：用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为所述球幕相机又回到原来走过的地方，此时启动闭环检测。
需要进一步说明的是，本发明为基于空间信息而非时间序列的闭环检测。
需要进一步说明的是，所述步骤4中看可以为：
S4.1初步计算出所述球幕相机位置得到部分有噪音点稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
S4.2对稀疏点云做标记即整体点云中，并进行对应的标记；
S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S4.4将被射线包围的空间抠出来；
S4.5基于图论最短路径的方式做闭合空间。
需要说明的是，所述稀疏点云为每个所述球幕相机可看见过滤之后所获得的。其中步骤S4.3也可理解为以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
需要进一步说明的是，过滤指的是：在确认了二维图片中某一点对应的三维坐标位置后，将这个三维坐标点重新投影到原来的球幕照片上，再次确认是否仍是那个点。其原因是，二维图片的点与其在三维世界的点的位置是一一对应关系，所以在确认了二维图片中某一点的三维坐标点后，可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置，以此来决定该像素点是否为噪点，是否需要过滤。需要说明的是，在照片或视频流中确定一张来自于某个所述球幕相机的最优图片。
需要说明的是，即当多部所述球幕相机都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图。
需要说明的是，所述最优一张图为某一所述球幕相机能够得到目标的像素最多，则所述球幕相机为最优。
需要进一步说明的是，利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
实施例
通过附图进一步对本发明的三维建模进行描述，本发明主要的实施方法为：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图。
基于上述，需要指出的是，所述闭环检测是一个动态过程，在拍摄球幕相片的过程中是持续进行的。
进一步的，如图1所示，是对一张球幕照片(样图)自动提取特征点，图中主要通过图片上的那些点表现；
更进一步的，如图2所示，是对提取后的特征点进行匹配；需要说明的是，在实际操作中可对拍摄某一场景的所有照片的特征点进行匹配；
更进一步的，如图3所示，是基于图2进一步进行处理，即可得到二维图片中各特征点的三维空间位置和相机位置，形成稀疏点(图片中面积较小的点就是稀疏点云，面积较大的是相机位置)；
更进一步的，如图4所示，通过图3处理后得到点云，并进行结构化建模；
更进一步的，如图5所示，建模后，基于图4的空间结构进行自动化贴图，形成与现实世界吻合的虚拟空间模型。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (5)

1.通过球幕相机进行三维建模的方法，其特征在于，包括至少一个或一组球幕相机；所述方法包括以下步骤：
S1球幕相机进行实时定位，得到至少一组照片或者视频流；
S2基于球幕相机所得出的至少一组照片或者视频流的特征点进行识别与匹配；
S3基于球幕相机三维数字化建模的闭环进行自动检测；
S4检测后，进行数字化建模；
S5结构化模型贴图；
所述步骤S3中的闭环检测为：用当前算出所述球幕相机位置与过去所述球幕相机位置进行比较，检测距离差；若检测到两者的距离差在一定阈值范围内，就认为当前所述球幕相机位置又回到过去所述球幕相机位置，此时启动闭环检测；
在步骤S2中还包含在照片或视频流中确定一张来自于某个所述球幕相机的最优图片，即当多部所述球幕相机都看到某一目标并捕捉到画面，选取使用其中最优的一张进行贴图，所述最优一张图为某一所述球幕相机所拍摄的图片中得到目标的像素最多，则为最优图片。
2.根据权利要求1所述的通过球幕相机进行三维建模的方法，其特征在于，在所述一组照片或者视频流中，对单张照片用SIFT描述符进行特征点提取，同时分析每一个所述特征点的邻域，根据邻域控制所述特征点。
3.根据权利要求1所述的通过球幕相机进行三维建模的方法，其特征在于，所述S4为：
S4.1初步计算出所述球幕相机位置，得到部分有噪音点的稀疏点云，用距离和重投影的方式进行滤波滤掉噪音点；
S4.2对稀疏点云做标记，并进行对应的标记；
S4.3以每个稀疏点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S4.4将被射线包围的空间抠出来；
S4.5基于图论最短路径的方式做闭合空间。
4.根据权利要求3所述的通过球幕相机进行三维建模的方法，其特征在于，所述稀疏点云为每个所述球幕相机经过过滤所获得的。
5.根据权利要求1所述的通过球幕相机进行三维建模的方法，其特征在于，利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
CN201810144261.9A 2018-02-12 2018-02-12 通过球幕相机进行三维建模的方法 Active CN108510434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810144261.9A CN108510434B (zh) 2018-02-12 2018-02-12 通过球幕相机进行三维建模的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810144261.9A CN108510434B (zh) 2018-02-12 2018-02-12 通过球幕相机进行三维建模的方法

Publications (2)

Publication Number Publication Date
CN108510434A CN108510434A (zh) 2018-09-07
CN108510434B true CN108510434B (zh) 2019-08-20

Family

ID=63375108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810144261.9A Active CN108510434B (zh) 2018-02-12 2018-02-12 通过球幕相机进行三维建模的方法

Country Status (1)

Country Link
CN (1) CN108510434B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378995B (zh) * 2019-05-29 2023-02-17 中德（珠海）人工智能研究院有限公司 一种利用投射特征进行三维空间建模的方法
CN110363806B (zh) * 2019-05-29 2021-12-31 中德（珠海）人工智能研究院有限公司 一种利用不可见光投射特征进行三维空间建模的方法
CN112037543A (zh) * 2020-09-14 2020-12-04 中德（珠海）人工智能研究院有限公司 基于三维建模的城市交通灯控制方法、装置、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法
CN107194991A (zh) * 2017-05-17 2017-09-22 西南科技大学 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3140613B1 (en) * 2014-05-05 2024-04-03 Hexagon Technology Center GmbH Surveying system
TW201727351A (zh) * 2016-01-20 2017-08-01 宏碁股份有限公司 用以瀏覽全景相片之裝置及其方法
US10249019B2 (en) * 2016-05-06 2019-04-02 Mediatek Inc. Method and apparatus for mapping omnidirectional image to a layout output format

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN107194991A (zh) * 2017-05-17 2017-09-22 西南科技大学 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN107180215A (zh) * 2017-05-31 2017-09-19 同济大学 基于库位和二维码的停车场自动建图与高精度定位方法

Also Published As

Publication number Publication date
CN108510434A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106228507B (zh) 一种基于光场的深度图像处理方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US20190088004A1 (en) Method and system of 3d reconstruction with volume-based filtering for image processing
KR101175097B1 (ko) 파노라마 영상 생성 방법
Coorg et al. Extracting textured vertical facades from controlled close-range imagery
WO2016082797A1 (zh) 一种基于单幅图像的三维场景结构建模与注册方法
US10825249B2 (en) Method and device for blurring a virtual object in a video
CN109102537A (zh) 一种激光雷达和球幕相机结合的三维建模方法和系统
CN108510434B (zh) 通过球幕相机进行三维建模的方法
WO2023280038A1 (zh) 一种三维实景模型的构建方法及相关装置
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
JP6174104B2 (ja) 室内２ｄ平面図の生成方法、装置及びシステム
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和系统
CN109840881A (zh) 一种3d特效图像生成方法、装置及设备
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN108629829A (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
JP2019045991A (ja) 生成装置、生成方法、及びプログラム
CN108961151B (zh) 一种将球幕相机得到的三维大场景转成剖面图的方法
CN109003307A (zh) 基于水下双目视觉测量的捕鱼网目尺寸设计方法
Pan et al. Virtual-real fusion with dynamic scene from videos
EP2800055A1 (en) Method and system for generating a 3D model
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN108566545A (zh) 通过移动终端和球幕相机对大场景进行三维建模的方法
CN108564654A (zh) 三维大场景的画面进入方式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180907

Assignee: CHINA-GERMANY ARTIFICIAL INTELLIGENCE INSTITUTE Co.,Ltd.

Assignor: CHINA-GERMANY (ZHUHAI) ARTIFICIAL INTELLIGENCE INSTITUTE Co.,Ltd.|ZHUHAI 4DAGE NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021980000404

Denomination of invention: The method of 3D modeling by ball screen camera

Granted publication date: 20190820

License type: Common License

Record date: 20210114