CN112767542A - 一种多目相机的三维重建方法、vr相机和全景相机 - Google Patents

一种多目相机的三维重建方法、vr相机和全景相机 Download PDF

Info

Publication number
CN112767542A
CN112767542A CN202110108089.3A CN202110108089A CN112767542A CN 112767542 A CN112767542 A CN 112767542A CN 202110108089 A CN202110108089 A CN 202110108089A CN 112767542 A CN112767542 A CN 112767542A
Authority
CN
China
Prior art keywords
camera
cameras
dimensional reconstruction
key frame
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110108089.3A
Other languages
English (en)
Inventor
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110108089.3A priority Critical patent/CN112767542A/zh
Publication of CN112767542A publication Critical patent/CN112767542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于计算机视觉领域，提供了一种多目相机的三维重建方法、VR相机和全景相机。所述方法包括：获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。本发明可以为点云提供具体真实的物理尺度，且VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。

Description

一种多目相机的三维重建方法、VR相机和全景相机
本申请为申请号为201810240856.4、申请日为2018年03月22日、发明名称为《一种多目相机的三维重建方法、装置、VR相机和全景相机》的中国专利申请的分案申请，其全部内容通过引用结合在本申请中。
技术领域
本发明属于计算机视觉领域，尤其涉及一种多目相机的三维重建方法、装置、VR相机和全景相机。
背景技术
现有技术对机器人的定位和导航，通常利用基于普通镜头的多目相机采集图像，然后通过SFM（Structure From Motion，运动恢复结构）算法进行三维重建。然而普通镜头的视场角比较窄，采集的图像不能覆盖完整的角度，相邻两个镜头的重合度比较低，因此三维重建的鲁棒性较差。
发明内容
本发明的目的在于提供一种多目相机的三维重建方法、装置、计算机可读存储介质、VR相机和全景相机，旨在解决基于普通镜头的多目相机采集的图像进行三维重建的鲁棒性较差的问题。
第一方面，本发明提供了一种多目相机的三维重建方法，所述方法包括：
获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；
对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；
根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；
获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
第二方面，本发明提供了一种多目相机的三维重建装置，所述装置包括：
视频获取模块，用于获取多目相机在移动过程中每个摄像头拍摄的视频，所述多目相机是包括至少两个摄像头的VR相机或者全景相机；
关键帧提取模块，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；
三维重建模块，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；
点云处理模块，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的多目相机的三维重建方法的步骤。
第四方面，本发明提供了一种VR相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。
第五方面，本发明提供了一种全景相机，包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的多目相机的三维重建方法的步骤。
在本发明中，由于根据多目相机在移动过程中每个摄像头拍摄的视频进行三维重建，因此可以为点云提供具体真实的物理尺度，可以提供一下需要真实尺度的应用，比如测距、测量体积等。又由于多目相机是包括至少两个摄像头的VR相机或者全景相机，因此相比普通镜头的三维重建，VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。又由于对所有摄像头拍摄的视频同时提取关键帧，根据所有摄像头拍摄的视频对应的关键帧做三维重建，因此处理的数据量大大减少，另外，两个关键帧对应的相机位置距离越大，对点云的计算精度越有利。
附图说明
图1是本发明实施例一提供的多目相机的三维重建方法的流程图。
图2是本发明实施例一提供的多目相机的三维重建方法中，多目相机的示意图。
图3是本发明实施例二提供的多目相机的三维重建装置的功能模块框图。
图4是本发明实施例三提供的VR相机/全景相机的具体结构框图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的多目相机的三维重建方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的多目相机的三维重建方法并不以图1所示的流程顺序为限。
S101、获取多目相机在移动过程中每个摄像头拍摄的视频。
在本发明实施例一中，多目相机可以是包括至少两个摄像头的VR相机或者全景相机，如图2所示的多目相机包括呈圆环状等间距排列的6个摄像头，当然也可以包括3、4、5、8个，甚至8个以上的摄像头。VR相机和全景相机通常采用的镜头是鱼眼镜头或者广角镜头。
在本发明实施例一中，S101具体可以为：获取多目相机在移动过程中每个摄像头对静态场景分别拍摄的视频。
S102、对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正。
在本发明实施例一中，S102之前，所述方法还包括以下步骤：
预先对多目相机的每个摄像头做摄像头内参数及摄像头外参数的标定，获取每个摄像头的相机矩阵和畸变系数。具体为：多目相机的每个摄像头从不同姿态去拍摄棋盘格图片，提取棋盘格角点，根据棋盘格角点标定每个摄像头的相机矩阵、畸变系数及摄像头外参数。
在本发明实施例一中，S102具体可以包括以下步骤：
对每个摄像头拍摄的视频，利用各自的摄像头内参数对视频的每一帧图像做畸变矫正；
对做畸变矫正后的所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同。
S102具体也可以包括以下步骤：
对所有摄像头拍摄的视频同时提取关键帧，所有关键帧对应的视频时刻相同；
对每个摄像头对应的关键帧，利用各自的摄像头内参数对关键帧做畸变矫正。
关键帧可以通过以下方式提取：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素，例如5个；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比，例如20%；和
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值且小于第二预设值，例如第一预设值为1.2，第二预设值为0.8。
S103、根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态。
在本发明实施例一中，S103具体可以为：根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。
在本发明实施例一中，S103具体可以包括以下步骤：
将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；
提取所有关键帧的角点，用ORB（Oriented FAST and Rotated BRIEF，快速特征点提取和描述的算法）描述子描述角点；
匹配任意两个关键帧，用单应性矩阵（homography matrix）或基础矩阵(fundamental matrix)约束匹配点，剔除误匹配点（例如用RANSAC方法剔除误匹配点）；选择单应性矩阵或基础矩阵的依据是满足哪个矩阵的匹配点数更多就选择哪个矩阵；
优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态
Figure 539183DEST_PATH_IMAGE001
，利用基础矩阵和摄像头的相机矩阵计算本质矩阵（essential matrix），从本质矩阵中分解出四对相机姿态
Figure 75075DEST_PATH_IMAGE001
，其中，
Figure 198889DEST_PATH_IMAGE002
表示旋转矩阵，
Figure 827448DEST_PATH_IMAGE003
表示平移向量，用四对相机姿态
Figure 974395DEST_PATH_IMAGE001
将匹配点的三维坐标解算出四组点云；
将在两个摄像头的前方的一组点云对应的相机姿态
Figure 799132DEST_PATH_IMAGE001
作为正确的相机姿态
Figure 91966DEST_PATH_IMAGE001
；
将正确的相机姿态
Figure 484901DEST_PATH_IMAGE001
和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；
利用光束平差法（Bundle Adjustment，BA）做优化，将零系中的所有三维点，根据每个关键帧的相机姿态
Figure 650303DEST_PATH_IMAGE001
投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态
Figure 809889DEST_PATH_IMAGE001
（例如用LM（Levenberg-Marquardt）算法），多次迭代（例如迭代100次就足够达到收敛的次数，通常情况下十几次或几十次就收敛了），将投影误差降到最小。
S104、获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
在本发明实施例一中，S104具体可以包括以下步骤：
对于所有三维点，若能够投影到相邻的两个摄像头，则计算点云到摄像头的距离与这两个摄像头的平移量
Figure 314820DEST_PATH_IMAGE004
的比例，记为
Figure 940973DEST_PATH_IMAGE005
，假设有
Figure 406721DEST_PATH_IMAGE006
个三维点能投影到相邻的两个摄像头上，则有
Figure 42102DEST_PATH_IMAGE007
共
Figure 401539DEST_PATH_IMAGE006
个比例值；
对
Figure 526490DEST_PATH_IMAGE007
进行排序，取排序后的中间值，记为
Figure 604167DEST_PATH_IMAGE008
；
测量相邻两个摄像头的物理距离，记作
Figure 620402DEST_PATH_IMAGE009
，则点云的真实尺度为：，其中
Figure 99925DEST_PATH_IMAGE010
，为点云尺度未确定的坐标，
Figure 661357DEST_PATH_IMAGE011
为点云尺度确定后的物理坐标。
请参阅图2 ，P点到一个摄像头的像素距离为L1（无单位），两个摄像头的像素距离为t（无单位），两个摄像头的物理距离为d(有单位，可以是cm，m等具体物理单位)。
Figure 226330DEST_PATH_IMAGE012
与
Figure 282142DEST_PATH_IMAGE004
的比例为
Figure 412909DEST_PATH_IMAGE005
，即
Figure 755029DEST_PATH_IMAGE013
。
Figure 604036DEST_PATH_IMAGE014
点的像素坐标为
Figure 447227DEST_PATH_IMAGE015
从匹配点解算得到，则带尺度的物理坐标为
Figure 901342DEST_PATH_IMAGE016
。
实施例二：
请参阅图3，本发明实施例二提供的多目相机的三维重建装置包括：
视频获取模块11，用于获取多目相机在移动过程中每个摄像头拍摄的视频；
关键帧提取模块12，用于对所有摄像头拍摄的视频同时提取关键帧，并对每个关键帧做畸变矫正；
三维重建模块13，用于根据所有摄像头拍摄的视频对应的关键帧做三维重建，生成点云和摄像头的相机姿态；
点云处理模块14，用于获取相邻摄像头生成的公共点云，并根据相邻摄像头生成的公共点云确定所有点云的尺度。
本发明实施例二提供的多目相机的三维重建装置及本发明实施例一提供的多目相机的三维重建方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的多目相机的三维重建方法的步骤。
实施例四：
图4示出了本发明实施例四提供的VR相机/全景相机的具体结构框图，一种VR相机/全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的多目相机的三维重建方法的步骤。
在本发明中，由于根据多目相机在移动过程中每个摄像头拍摄的视频进行三维重建，因此可以为点云提供具体真实的物理尺度，可以提供一下需要真实尺度的应用，比如测距、测量体积等。又由于多目相机是包括至少两个摄像头的VR相机或者全景相机，因此相比普通镜头的三维重建，VR相机或者全景相机的镜头可提供更广的视场角，覆盖更完整的角度，同时增大了相邻两个镜头的重合度，为点云尺度的确定提供更多的公共点，增加鲁棒性。又由于对所有摄像头拍摄的视频同时提取关键帧，根据所有摄像头拍摄的视频对应的关键帧做三维重建，因此处理的数据量大大减少，另外，两个关键帧对应的相机位置距离越大，对点云的计算精度越有利。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，RandomAccess Memory）、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目相机的三维重建方法，其特征在于，所述方法包括：
获取多目相机的相邻摄像头生成的公共点云；
计算公共点云中的三维点到摄像头的像素距离与相邻摄像头的像素的平移量
Figure DEST_PATH_IMAGE002
的比例
Figure DEST_PATH_IMAGE004
，假设有
Figure DEST_PATH_IMAGE006
个三维点能投影到相邻的两个摄像头上，则有
Figure DEST_PATH_IMAGE008
共
Figure 786510DEST_PATH_IMAGE006
个比例值；
对
Figure 60496DEST_PATH_IMAGE008
进行排序，取排序后的中间值，记为
Figure DEST_PATH_IMAGE010
；
测量相邻两个摄像头的物理距离，记作
Figure DEST_PATH_IMAGE012
，则点云的真实尺度的物理坐标为：
Figure DEST_PATH_IMAGE014
，其中
Figure DEST_PATH_IMAGE016
，为点云尺度未确定的坐标，
Figure DEST_PATH_IMAGE018
为点云尺度确定后的物理坐标。
2.如权利要求1所述的方法，其特征在于，所述公共点云由相邻摄像头拍摄的视频对应的关键帧经三维重建获得。
3.如权利要求2所述的方法，其特征在于，在对所述关键帧进行三维重建之前，对每个关键帧做畸变矫正。
4.如权利要求2所述的方法，其特征在于，所述关键帧可以通过以下方式提取：
将每个摄像头拍摄的视频的第1帧图像作为关键帧；
用当前帧与最近的关键帧做匹配，若匹配满足以下任一条件，则认为当前帧也是关键帧：
用单应性矩阵拟合匹配点的平均误差大于预设数量的像素；
用匹配点计算两帧图像的平移距离，平移量超过图像对角线的预设百分比；
用匹配点计算两帧图像的缩放系数，缩放系数大于第一预设值或小于第二预设值。
5.如权利要求2所述的方法，其特征在于，所述三维重建具体为：
根据所有摄像头拍摄的视频对应的关键帧，用SFM算法做三维重建，生成点云和摄像头的相机姿态。
6.如权利要求2所述的方法，其特征在于，所述三维重建具体为：
将所有摄像头拍摄的视频对应的关键帧组成一个关键帧的集合；
提取所有关键帧的角点，用ORB描述子描述角点；
匹配任意两个关键帧，用单应性矩阵或基础矩阵约束匹配点，剔除误匹配点；
优先选择匹配点解算出来的基础矩阵恢复摄像头的相机姿态
Figure DEST_PATH_IMAGE020
，利用基础矩阵和摄像头的相机矩阵计算本质矩阵，从本质矩阵中分解出四对相机姿态
Figure 254848DEST_PATH_IMAGE020
，其中，
Figure DEST_PATH_IMAGE022
表示旋转矩阵，
Figure DEST_PATH_IMAGE024
表示平移向量，用四对相机姿态
Figure 156945DEST_PATH_IMAGE020
将匹配点的三维坐标解算出四组点云；
将在两个摄像头的前方的一组点云对应的相机姿态
Figure 483278DEST_PATH_IMAGE020
作为正确的相机姿态
Figure 978981DEST_PATH_IMAGE020
；
将正确的相机姿态
Figure 101658DEST_PATH_IMAGE020
和点云投影到零系，零系是指第一个关键帧对应的摄像头坐标系；
利用光束平差法做优化，将零系中的所有三维点，根据每个关键帧的相机姿态
Figure 123841DEST_PATH_IMAGE020
投影到每个关键帧上，计算每个三维点的投影误差，并调整每个关键帧的相机姿态
Figure 244243DEST_PATH_IMAGE020
，多次迭代。
7.如权利要求1所述的方法，其特征在于，所述多目相机的摄像头为广角镜头或鱼眼镜头。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多目相机的三维重建方法的步骤。
9.一种VR相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多目相机的三维重建方法的步骤。
10.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多目相机的三维重建方法的步骤。
CN202110108089.3A 2018-03-22 2018-03-22 一种多目相机的三维重建方法、vr相机和全景相机 Pending CN112767542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110108089.3A CN112767542A (zh) 2018-03-22 2018-03-22 一种多目相机的三维重建方法、vr相机和全景相机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110108089.3A CN112767542A (zh) 2018-03-22 2018-03-22 一种多目相机的三维重建方法、vr相机和全景相机
CN201810240856.4A CN108564617B (zh) 2018-03-22 2018-03-22 多目相机的三维重建方法、装置、vr相机和全景相机

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810240856.4A Division CN108564617B (zh) 2018-03-22 2018-03-22 多目相机的三维重建方法、装置、vr相机和全景相机

Publications (1)

Publication Number Publication Date
CN112767542A true CN112767542A (zh) 2021-05-07

Family

ID=63532080

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810240856.4A Active CN108564617B (zh) 2018-03-22 2018-03-22 多目相机的三维重建方法、装置、vr相机和全景相机
CN202110108089.3A Pending CN112767542A (zh) 2018-03-22 2018-03-22 一种多目相机的三维重建方法、vr相机和全景相机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810240856.4A Active CN108564617B (zh) 2018-03-22 2018-03-22 多目相机的三维重建方法、装置、vr相机和全景相机

Country Status (2)

Country Link
CN (2) CN108564617B (zh)
WO (1) WO2019179200A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077552A (zh) * 2021-06-02 2021-07-06 北京道达天际科技有限公司 基于无人机影像的dsm生成方法和装置
CN113345084A (zh) * 2021-06-29 2021-09-03 吉林省交通规划设计院 三维建模系统及三维建模方法

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564617B (zh) * 2018-03-22 2021-01-29 影石创新科技股份有限公司 多目相机的三维重建方法、装置、vr相机和全景相机
CN111089579B (zh) * 2018-10-22 2022-02-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN109544615B (zh) * 2018-11-23 2021-08-24 深圳市腾讯信息技术有限公司 基于图像的重定位方法、装置、终端及存储介质
CN109807937B (zh) * 2018-12-28 2020-10-27 北京信息科技大学 一种基于自然场景的机器人手眼标定方法
CN110097630B (zh) * 2019-04-04 2022-06-14 武汉艺画开天文化传播有限公司 3d动画制作中通用相机的生成方法及装置、存储介质
CN110062132B (zh) * 2019-04-15 2020-12-15 北京理工大学 剧场表演重建方法及装置
CN110148216B (zh) * 2019-05-24 2023-03-24 中德（珠海）人工智能研究院有限公司 一种双球幕相机的三维建模方法
CN110567641B (zh) * 2019-08-15 2021-07-13 北京航天控制仪器研究所 一种异构体径向静平衡调整方法和装置
CN110458952B (zh) * 2019-08-19 2022-07-15 江苏濠汉信息技术有限公司 一种基于三目视觉的三维重建方法和装置
CN110910431B (zh) * 2019-10-15 2024-01-23 西安理工大学 一种基于单目相机多视点三维点集恢复方法
CN110992463B (zh) * 2019-11-11 2023-11-14 国网电力空间技术有限公司 一种基于三目视觉的输电导线弧垂的三维重建方法及系统
CN112866627B (zh) * 2019-11-28 2024-03-05 上海华为技术有限公司 一种三维视频监控方法及相关设备
CN111080685A (zh) * 2019-12-17 2020-04-28 北京工业大学 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统
CN111144478B (zh) * 2019-12-25 2022-06-14 电子科技大学 一种穿帮镜头的自动检测方法
CN111243021A (zh) * 2020-01-06 2020-06-05 武汉理工大学 基于多组合相机的车载视觉定位方法、系统及存储介质
CN111260733B (zh) * 2020-01-13 2023-03-24 魔视智能科技(上海)有限公司 车载环视多相机系统的外参数估计方法及其系统
CN113192123B (zh) * 2020-01-14 2024-05-24 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
CN111462298B (zh) * 2020-02-24 2023-03-28 西安电子科技大学 一种重建水下三维场景的方法
CN111311693B (zh) * 2020-03-16 2023-11-14 威海经济技术开发区天智创新技术研究院 一种多目摄像头的在线标定方法及系统
CN111383333B (zh) * 2020-04-02 2024-02-20 西安因诺航空科技有限公司 一种分段式sfm三维重建方法
CN113744347B (zh) * 2020-04-02 2023-06-16 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN111652967B (zh) * 2020-05-15 2023-07-04 中山大学 一种基于前后融合成像的三维重建系统及方法
CN113673288B (zh) * 2020-05-15 2024-01-23 深圳市航盛电子股份有限公司 空闲车位检测方法、装置、计算机设备及存储介质
CN111583334B (zh) * 2020-05-26 2023-03-14 广东电网有限责任公司培训与评价中心 一种变电站人员三维空间定位方法、装置和设备
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111882655B (zh) * 2020-06-19 2023-07-18 杭州易现先进科技有限公司 三维重建的方法、装置、系统、计算机设备和存储介质
CN111968243B (zh) * 2020-06-28 2023-04-11 成都威爱新经济技术研究院有限公司 一种ar图像生成方法、系统、设备以及存储介质
CN111784842B (zh) * 2020-06-29 2024-04-12 北京百度网讯科技有限公司 三维重建方法、装置、设备及可读储存介质
CN111882657B (zh) * 2020-06-29 2024-01-26 杭州易现先进科技有限公司 三维重建的尺度恢复方法、装置、系统和计算机设备
CN112017215B (zh) * 2020-08-06 2023-08-25 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN111915741A (zh) * 2020-08-13 2020-11-10 广东申义实业投资有限公司 一种基于三维重建的vr生成器
CN111915740A (zh) * 2020-08-13 2020-11-10 广东申义实业投资有限公司 一种快速的三维图像获取方法
CN111915739A (zh) * 2020-08-13 2020-11-10 广东申义实业投资有限公司 一种实时三维全景信息互动影息系统
CN112184828B (zh) * 2020-08-21 2023-12-05 阿波罗智联(北京)科技有限公司 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
CN112190256A (zh) * 2020-08-26 2021-01-08 中国人民解放军陆军军医大学第二附属医院 婴幼儿头颅容积动态测量方法、预测方法及存储介质
CN112085780A (zh) * 2020-08-31 2020-12-15 的卢技术有限公司 一种生产线上的批量相机标定方法
CN112233187B (zh) * 2020-10-20 2022-06-03 深圳无境智能机器人有限公司 一种方便稳定的rgbd相机外参数标定方法
CN112348939A (zh) * 2020-11-18 2021-02-09 北京沃东天骏信息技术有限公司 用于三维重建的纹理优化方法及装置
CN112649095B (zh) * 2020-11-26 2022-09-09 江苏集萃未来城市应用技术研究所有限公司 基于仿射变换及光学/红外双镜头的大范围精准测温系统
CN112419428A (zh) * 2020-12-09 2021-02-26 南京凌华微电子科技有限公司 手术机器人红外相机标定方法
CN112650422B (zh) * 2020-12-17 2022-07-29 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN112767541A (zh) * 2021-01-15 2021-05-07 浙江商汤科技开发有限公司 三维重建方法及装置、电子设备和存储介质
CN112750164B (zh) * 2021-01-21 2023-04-18 脸萌有限公司 轻量化定位模型的构建方法、定位方法、电子设备
CN113177999B (zh) * 2021-03-25 2022-12-16 杭州易现先进科技有限公司 视觉三维重建方法、系统、电子装置和存储介质
CN113192183A (zh) * 2021-04-29 2021-07-30 山东产研信息与人工智能融合研究院有限公司 基于倾斜摄影与全景视频融合的实景三维重建方法及系统
CN113390394B (zh) * 2021-06-10 2022-12-06 合肥工业大学 一种带有摄影比例尺的光束法平差算法
CN113362247B (zh) * 2021-06-11 2023-08-15 山东大学 一种激光融合多目相机的语义实景三维重建方法及系统
CN113284237A (zh) * 2021-07-07 2021-08-20 中国工商银行股份有限公司 一种三维重建方法、系统、电子设备及存储介质
CN113689540B (zh) * 2021-07-22 2024-04-23 清华大学 基于rgb视频的物体重建方法和装置
CN113888640B (zh) * 2021-09-07 2024-02-02 浙江大学 一种适用于无人机云台相机的改进标定方法
CN113592721B (zh) * 2021-09-27 2021-12-17 天远三维（天津）科技有限公司 摄影测量方法、装置、设备及存储介质
CN114020953B (zh) * 2021-10-27 2022-12-13 北京中知智慧科技有限公司 外观设计产品的多图检索方法及装置
CN114170376B (zh) * 2021-11-09 2024-04-12 中国人民解放军军事科学院国防科技创新研究院 一种针对室外大场景的多源信息融合分组式运动恢复结构方法
CN114241029B (zh) * 2021-12-20 2023-04-07 贝壳技术有限公司 图像三维重建方法及装置
CN114565679B (zh) * 2022-02-18 2024-04-26 中国人民解放军63660部队 一种基于相机位置的焦距、径向畸变及姿态标定的方法
CN114612613B (zh) * 2022-03-07 2022-11-29 北京拙河科技有限公司 动态光场重建方法及系统
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN117689899B (zh) * 2024-02-04 2024-05-24 南昌虚拟现实研究院股份有限公司 一种手势采集装置参数点检方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559736A (zh) * 2013-11-11 2014-02-05 程志全 表演者的无标记点三维实时捕获系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像系统及方法
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
CN107767442A (zh) * 2017-10-16 2018-03-06 浙江工业大学 一种基于Kinect和双目视觉的脚型三维重建与测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
KR20140108828A (ko) * 2013-02-28 2014-09-15 한국전자통신연구원 카메라 트래킹 장치 및 방법
CN103413322B (zh) * 2013-07-16 2015-11-18 南京师范大学 序列视频关键帧提取方法
EP2866446B1 (en) * 2013-10-28 2016-07-06 Lateral Reality Kft. Method and multi-camera portable device for producing stereo images
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN104881869A (zh) * 2015-05-15 2015-09-02 浙江大学 一种移动平台上的实时全景跟踪与拼接方法
CN107437273A (zh) * 2017-09-06 2017-12-05 深圳岚锋创视网络科技有限公司 一种虚拟现实的六自由度三维重构方法、系统及便携式终端
CN108564617B (zh) * 2018-03-22 2021-01-29 影石创新科技股份有限公司 多目相机的三维重建方法、装置、vr相机和全景相机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559736A (zh) * 2013-11-11 2014-02-05 程志全 表演者的无标记点三维实时捕获系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
CN106954012A (zh) * 2017-03-29 2017-07-14 武汉嫦娥医学抗衰机器人股份有限公司 一种高清多相机全景立体成像系统及方法
CN107230225A (zh) * 2017-04-25 2017-10-03 华为技术有限公司 三维重建的方法和装置
CN107767442A (zh) * 2017-10-16 2018-03-06 浙江工业大学 一种基于Kinect和双目视觉的脚型三维重建与测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANG LIU.ET AL: "3D point cloud denoising and normal estimation for 3D surface reconstruction", 《IEEE》, 31 December 2015 (2015-12-31) *
张旭东等: "基于TOF三维相机相邻散乱点云配准技术研究", 《机械工程学报》, no. 12, 20 June 2013 (2013-06-20) *
杨阳: "基于双目视觉的运动恢复结构", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 02, 15 February 2017 (2017-02-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077552A (zh) * 2021-06-02 2021-07-06 北京道达天际科技有限公司 基于无人机影像的dsm生成方法和装置
CN113345084A (zh) * 2021-06-29 2021-09-03 吉林省交通规划设计院 三维建模系统及三维建模方法
CN113345084B (zh) * 2021-06-29 2022-10-21 吉林省交通规划设计院 三维建模系统及三维建模方法

Also Published As

Publication number Publication date
CN108564617A (zh) 2018-09-21
WO2019179200A1 (zh) 2019-09-26
CN108564617B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN106875451B (zh) 相机标定方法、装置及电子设备
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
Swaminathan et al. Nonmetric calibration of wide-angle lenses and polycameras
CN109272570B (zh) 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN113191954B (zh) 一种基于双目相机的全景图像拼接方法
CN111445537B (zh) 一种摄像机的标定方法及系统
CN110874854A (zh) 一种基于小基线条件下的大畸变广角相机双目摄影测量方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN112465915A (zh) 一种车载环视系统标定方法
CN108269234A (zh) 一种全景相机镜头姿态估计方法及全景相机
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN113379845A (zh) 一种相机标定方法及装置、电子设备及存储介质
CN111915739A (zh) 一种实时三维全景信息互动影息系统
KR20180131743A (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
CN111292380A (zh) 图像处理方法及装置
Swaminathan et al. Polycameras: Camera clusters for wide angle imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination