CN111311742A - 三维重建方法、三维重建装置和电子设备 - Google Patents
三维重建方法、三维重建装置和电子设备 Download PDFInfo
- Publication number
- CN111311742A CN111311742A CN202010228206.5A CN202010228206A CN111311742A CN 111311742 A CN111311742 A CN 111311742A CN 202010228206 A CN202010228206 A CN 202010228206A CN 111311742 A CN111311742 A CN 111311742A
- Authority
- CN
- China
- Prior art keywords
- dimensional reconstruction
- distortion coefficient
- camera
- image
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 230000008569 process Effects 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 47
- 238000005457 optimization Methods 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000012358 sourcing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种三维重建方法、三维重建装置和电子设备，涉及高精地图技术领域。其中方法包括：获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；计算所述相机的畸变系数波动范围；基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。
Description
技术领域
本申请涉及图像处理技术，尤其涉及高精地图技术领域，具体涉及一种三维重建方法、三维重建装置和电子设备。
背景技术
图像的三维重建技术是基于多视角几何原理，从图像序列中估计出相机参数和视觉点云位置的方法。现有的三维重建方法依赖于经过标定的相机内参，但在某些场景中，相机内参没有经过标定，因此，在三维重建时无法获取标定的相机内参，这导致三维重建存在问题，例如，三维重建的精度较低、优化不收敛等问题。
发明内容
本申请提供一种三维重建方法、三维重建装置和电子设备，以解决上述技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请提供了一种三维重建方法，所述方法包括：
获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；
计算所述相机的畸变系数波动范围；
基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；
在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，并在图像序列的三维重建过程中，对视觉点云和相机位姿进行优化。通过采用上述技术手段，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。
可选的，所述方法还包括：
在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
该实施方式中，通过将BA优化与语义优化相结合，进一步提高了三维重建精度，提高了内参收敛的鲁棒性。
可选的，所述方法还包括：
在所述三维重建过程中，若所述畸变系数波动范围不稳定，对畸变系数进行优化；若所述畸变系数波动范围稳定，对所述标称内参进行优化。
该实施方式中，通过将BA优化与内参优化相结合，进一步提高了三维重建精度，提高了内参收敛的鲁棒性。
可选的，所述计算所述相机的畸变系数波动范围，包括：
提取所述图像序列的部分图像中发生畸变的线特征；
根据所述发生畸变的线特征，计算所述畸变系数波动范围。
该实施方式中，由于线特征在确定畸变上较为容易且较为精确，因此，通过提取图像中发生畸变的线特征来计算畸变系数波动范围，实现较为简单，且计算出来的畸变系数波动范围较为精确。
可选的，所述对所述图像序列进行三维重建，包括：
从所述图像序列中选择第一图像和第二图像；
对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
可选的，所述方法还包括：
在新帧图像注册过程中，根据畸变系数变化曲线确定是否优化畸变系数。
该实施方式中，通过在新帧图像注册过程中，考虑是否优化畸变系数，能够提高新帧图像注册过程中所生成的点云的精度，能够提高内参收敛的鲁棒性。
可选的，若对所述图像序列各图像的目标区域进行三维重建，则所述畸变系数初始值为0，所述目标区域不包括图像的边缘区域。
该实施方式中，可以最大化减小图像序列各图像的畸变，最大化降低畸变对三维重建的影响，从而能够提高三维重建精度。
可选的，所述相机的标称内参包括相机的标称焦距和标称光心值。
该实施方式中，由于上述相机内参的标称值与真实值之间的误差在一定范围内，因此，将上述相机的标称内参作为初始值对后续的优化比较有利。
可选的，所述图像序列为通过众包方式采集的图像序列。
该实施方式中，通过众包方式采集图像序列，能够降低图像序列的获取难度和成本，从而进一步降低三维重建的难度和成本。
第二方面，本申请提供了一种三维重建装置，包括：
获取模块，用于获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；
计算模块，用于计算所述相机的畸变系数波动范围；
三维重建模块，用于基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；
第一优化模块，用于在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
可选的，还包括：
第二优化模块，用于在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
可选的，还包括：
第三优化模块，用于在所述三维重建过程中，在所述畸变系数波动范围稳定之前，对畸变系数进行优化；在所述畸变系数波动范围稳定之后，对所述标称内参进行优化。
可选的，所述计算模块包括：
提取子模块，用于提取所述图像序列的部分图像中发生畸变的线特征；
计算子模块，用于根据所述发生畸变的线特征，计算所述畸变系数波动范围。
可选的，所述三维重建模块包括：
选择子模块，用于从所述图像序列中选择第一图像和第二图像；
点云初始化子模块，用于对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
新帧注册子模块，用于对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
可选的，所述新帧注册子模块还用于：
在新帧图像注册过程中，根据畸变变化曲线确定是否优化畸变系数。
可选的，若对所述图像序列各图像的目标区域进行三维重建，则所述畸变系数初始值为0，所述目标区域不包括图像的边缘区域。
可选的，所述相机的标称内参包括相机的标称焦距和标称光心值。
可选的，所述图像序列为通过众包方式采集的图像序列。
第三方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中的任一项方法。
第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行第一方面中的任一项方法。
本申请中的一个实施例具有如下优点或有益效果：
在待三维重建的图像序列对应的相机内参没有标定的情况下，由于相机的标称内参容易获得，且相机内参的标称值与相机内参的真实值之间的误差在一定范围内。因此，本申请考虑将相机的标称内参作为相机内参初始值，并对相机的畸变系数初始值进行预先设置，并计算相机的畸变系数波动范围。这样，本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，并在图像序列的三维重建过程中，对视觉点云和相机位姿进行优化。通过采用上述技术手段，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的三维重建方法的流程示意图；
图2是本申请实施例提供的三维重建装置的结构示意图；
图3是用来实现本申请实施例的三维重建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种三维重建方法，该方法用于对无标定机内参的图像序列进行三维重建，还可用于对标定相机内参的图像序列进行三维重建。
如图1所示，该三维重建方法包括如下步骤：
步骤101：获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值。
上述图像序列指待三维重建的图像序列，在进行三维重建之前，需要输入预先采集的图像序列，即需要获取预先采集的图像序列。本申请所提到的“相机”均指采集上述图像序列的相机，也就是说，上述图像序列是通过本申请中的“相机”预先采集的。
如果采集图像序列的相机没有经过标定，那么，在对图像序列进行三维重建时，无法获取相机的标定内参，基于目前的三维重建技术，无法对该图像序列进行三维重建。术语“标定内参”是指对相机进行标定得到的内参。例如，目前车辆安装的相机一般为没有经过标定的相机，因此，车辆采集的图像一般为无标定相机内参的图像。
鉴于此，本申请考虑将相机的标称内参作为相机内参初始值，术语“标称内参”是指相机内参的设计值，相机的标称内参一般较容易获得，相机厂商一般都会提供。在获取不到标定的相机内参的情况下，三维重建过程中需要对相关初始值进行优化，以提高三维重建的精度。三维重建的优化本质上属于非线性优化，因此，为了便于后续的优化，可选取较良好的初始值。由于相机内参的标称值与相机内参的真实值之间的误差在一定范围内，因此，将相机的标称内参作为初始值对后续的优化比较有利。
本申请中，相机的标称内参可以包括相机的标称焦距和标称光心值。
由于相机存在畸变系数，这使得预先采集的图像序列也存在一定程度的畸变，在对图像序列进行三维重建时，图像序列的畸变也会对三维重建精度产生一定的影响，因此，三维重建过程中可以对畸变系数进行优化。鉴于此，本申请中，在对图像序列进行三维重建之前，除了将相机的标称内参作为三维重建的初始值，还可以预先设置相机的畸变系数初始值，并将该预先设置的畸变系数初始值作为三维重建的初始值。
对于畸变系数而言，由于畸变主要发生在图像边缘，因此，在对图像序列进行三维重建时，可以只考虑图像中心区域的特征，以最大化减小畸变，最大化降低畸变对三维重建的影响。例如，可以在三维重建时对图像的边缘进行适当的剪切，或者，只对图像的中心区域进行特征提取，而不对图像的边缘区域进行特征提取。
通过以上处理，由于最大化减小了畸变，因此，可以采用0作为畸变系数初始值。也就是说，若对图像序列各图像的目标区域进行三维重建，则畸变系数初始值可以设为0，所述目标区域不包括图像的边缘区域。
步骤102：计算所述相机的畸变系数波动范围。
相机的畸变系数一般会在合适的范围内波动，上述畸变系数波动范围是指畸变系数上下波动的范围。
在图像序列的三维重建过程中，可以以畸变系数波动范围对畸变系数进行限制，这样能够加速三维重建收敛，提高三维重建精度。
鉴于此，在对图像序列进行三维重建之前，可预先确定相机的畸变系数波动范围，该畸变系数波动范围可通过计算(或估算)得到。
以下提供一种计算相机的畸变系数波动范围的实施方式：
可选的，所述计算所述相机的畸变系数波动范围，包括：
提取所述图像序列的部分图像中发生畸变的线特征；
根据所述发生畸变的线特征，计算所述畸变系数波动范围。
该实施方式中，首先可从图像序列中选择部分图像，例如，20帧图像；其次可对这部分图像进行语义分割，并提取这部分图像中发生畸变的线特征，可根据语义分割的结果，将无效的线特征进行剔除；可基于最小二乘法，确定使得校正后的线特征趋于直线的畸变系数波动范围。
该实施方式中，由于线特征在确定畸变上较为容易且较为精确，因此，通过提取图像中发生畸变的线特征来计算畸变系数波动范围，实现较为简单，且计算出来的畸变系数波动范围较为精确。
步骤103：基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建。
本申请中，可通过特征提取与匹配实现图像序列的三维重建，具体的，提取图像中具有标识性或区分度的特征。
对图像序列进行三维重建，可得到图像序列对应的视觉点云和图像序列的各图像对应的相机位姿，三维重建得到的视觉点云和相机位姿又可称为稀疏模型。
以下提供一种对图像序列进行三维重建的实施方式：
可选的，所述对所述图像序列进行三维重建，包括：
从图像序列中选择第一图像和第二图像；
对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
该实施方式中，对第一图像和第二图像进行三维重建，得到初始视觉点云的过程可称为点云初始化过程。具体的，可从图像序列中挑选出第一图像和第二图像，求解第一图像和第二图像的相对位姿，生成两张图像的点云，完成点云初始化。为了提高初始视觉点云的质量，第一图像和第二图像可以是图像序列中图像质量较好，且比较具有典型性和代表性的图像。
对图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于初始视觉点云中的过程可称为新帧注册过程。具体的，基于初始视觉点云，对所述图像序列的其他图像逐一进行注册，逐一生成各图像的点云，并将生成的点云逐一融合到初始视觉点云中，直至图像序列的全部图像注册完成。
可选的，所述方法还包括：
在新帧图像注册过程中，根据畸变系数变化曲线确定是否优化畸变系数。
上述畸变系数是指相机的畸变系数，本申请中，相机的畸变系数、焦距和光心值都属于内参。
该实施方式中，在新帧图像注册过程中，若畸变系数变化曲线较平稳，则可以不对畸变系数进行优化；若畸变系数变化曲线不平稳，则可以确定对畸变系数进行优化。
该实施方式中，通过在新帧图像注册过程中，考虑是否优化畸变系数，能够提高新帧图像注册过程中所生成的点云的精度，能够提高内参收敛的鲁棒性。
步骤104：在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
在三维重建过程中，通过对视觉点云和相机位姿进行优化，可提高三维重建精度。
上述对视觉点云和相机位姿进行优化可称为BA优化，BA优化包括全局BA优化和局部BA优化，其中，全局BA优化是指同时优化整个图像序列，即，对图像序列的所有图像的视觉点云和相机位姿进行优化；局部BA优化是指对一定窗口内的图像的视觉点云和相机位姿进行优化，例如，假设图像序列有100帧图像，则可以将一定的窗口内(如20帧图像)，对得到的视觉点云和相机位姿进行优化。
需要说明的是，上述步骤的执行顺序并不限定，例如，步骤101和步骤102可以同时执行，也可以先执行步骤101后执行步骤102，还可以先执行步骤102后执行步骤101；又例如，在执行步骤103的过程中，可以执行步骤104。
在待三维重建的图像序列对应的相机内参没有标定的情况下，由于相机的标称内参容易获得，且相机内参的标称值与相机内参的真实值之间的误差在一定范围内。因此，本申请考虑将相机的标称内参作为相机内参初始值，并对相机的畸变系数初始值进行预先设置，并计算相机的畸变系数波动范围。这样，本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，并在图像序列的三维重建过程中，对视觉点云和相机位姿进行优化。通过采用上述技术手段，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。当三维重建的距离控制在一定长度时，例如，对物理世界距离在200米至400米之间的图像序列进行三维重建时，无标定内参的三维重建效果可以逼近有标定内参的三维重建效果，能够满足三维重建的精度要求。
此外，需要说明的是，即便相机标定过内参，在使用过程中相机内参也会发生变化，而且由于很多相机标定场景未实现工业化，标定的相机内参不可避免地存在误差。因此，该方法不仅适用于无标定内参的图像序列的三维重建，也适用有标定内参的图像序列的三维重建，也会进一步提高有标定内参的三维重建精度。
可选的，所述方法还包括：
在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
通过上述BA优化所得到的视觉点云可能还存在噪声，例如，视觉点云中的语义要素可能不满足语义要素的几何约束，举例来说，标识牌的点云不在一个平面上，这跟实际的标识牌的几何特性是不一致的。这里，语义要素可包括标识牌、杆、道路线、建筑物等要素。
鉴于此，该实施方式中，在三维重建过程中，除了进行BA优化，还可以进行语义优化，即，对得到的视觉点云中的语义要素进行优化，通过语义优化，能够确保生成的语义要素的点云满足语义要素对应的几何特性。
该实施方式中，通过将BA优化与语义优化相结合，进一步提高了三维重建精度，提高了内参收敛的鲁棒性。
可选的，所述方法还包括：
在所述三维重建过程中，若所述畸变系数波动范围不稳定，对畸变系数进行优化；若所述畸变系数波动范围稳定，对所述标称内参进行优化。
该实施方式中，为了提高内参的收敛性，可以在三维重建过程中对内参进行优化。
需要优化的内参数量越多，则三维重建优化的难度越高，内参收敛的鲁棒性越差，因此，可尽量减小需要优化的内参数量。
对于相机的标称焦距来说，由于其具有较好的初始值，可以考虑在优化前期不进行优化，等后期再参与优化的策略。对于相机的标称光心值来说，一般难以收敛，而且通常真实的光心位置与标称的光心位置之间的差距较小，在一定阈值内对三维重建的影响较小，因此可以选择不进行优化。对于畸变系数来说，由于图像中心部分的畸变较小，因此可以采用单参数的畸变模型进行优化。
鉴于上述因素，该实施方式中，在三维重建过程中，除了进行BA优化，还可以进行内参优化。内参优化策略为：在三维重建前期不优化相机的标称焦距，只优化畸变系数，以使畸变系数波动范围达到稳定，等到畸变系数波动范围稳定下来后，再优化相机的标称焦距。因此，该实施方式中，对相机的标称内参进行优化，可以理解为，对相机的标称焦距进行优化。
该实施方式中，通过将BA优化与内参优化相结合，进一步提高了三维重建精度，提高了内参收敛的鲁棒性。
需要说明的是，在三维重建过程中，可以将BA优化与语义优化和内参优化中的任意一者或两者相结合，进一步提高三维重建精度，进一步提高内参收敛的鲁棒性。例如，在BA优化的过程中，如果畸变系数波动范围不稳定，则可以不进行内参优化；如果畸变系数波动范围稳定了，则可以进行内参优化。又例如，如果仅用BA优化就达到了收敛，则可以不进行语义优化；如果BA优化无法达到收敛，则可以进行语义优化。
可选的，所述图像序列为通过众包方式采集的图像序列。
该实施方式中，通过众包方式采集图像序列，能够降低图像序列的获取难度和成本，从而进一步降低三维重建的难度和成本。
通过上述三维重建方法，当三维重建距离控制在一定长度时，无标定内参的三维重建效果可以逼近有标定内参的三维重建效果，从而满足各图像序列的精度要求，尤其能够满足众包更新的精度要求。本申请中的三维重建方法，能够使得众包更新可以使用无标定内参的图像序列，极大扩充了众包更新的数据源，扩展了众包更新的应用范围，使众包更新方式能够应用于高精地图中。
需要说明的是，本申请中的三维重建方法中的多种可选的实施方式，彼此可以相互结合实现，也可以单独实现，对此本申请不作限定。
本申请的上述实施例具有如下优点或有益效果：
在待三维重建的图像序列对应的相机内参没有标定的情况下，由于相机的标称内参容易获得，且相机内参的标称值与相机内参的真实值之间的误差在一定范围内。因此，本申请考虑将相机的标称内参作为相机内参初始值，并对相机的畸变系数初始值进行预先设置，并计算相机的畸变系数波动范围。这样，本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，并在图像序列的三维重建过程中，对视觉点云和相机位姿进行优化。通过采用上述技术手段，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。
本申请还提供了一种三维重建装置，如图2所示，三维重建装置200包括：
获取模块201，用于获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；
计算模块202，用于计算所述相机的畸变系数波动范围；
三维重建模块203，用于基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；
第一优化模块204，用于在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
可选的，三维重建装置200还包括：
第二优化模块，用于在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
可选的，三维重建装置200还包括：
第三优化模块，用于在所述三维重建过程中，在所述畸变系数波动范围稳定之前，对畸变系数进行优化；在所述畸变系数波动范围稳定之后，对所述标称内参进行优化。
可选的，计算模块202包括：
提取子模块，用于提取所述图像序列的部分图像中发生畸变的线特征；
计算子模块，用于根据所述发生畸变的线特征，计算所述畸变系数波动范围。
可选的，三维重建模块203包括：
选择子模块，用于从所述图像序列中选择第一图像和第二图像；
点云初始化子模块，用于对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
新帧注册子模块，用于对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
可选的，所述新帧注册子模块还用于：
在新帧图像注册过程中，根据畸变变化曲线确定是否优化畸变系数。
可选的，若对所述图像序列各图像的目标区域进行三维重建，则所述畸变系数初始值为0，所述目标区域不包括图像的边缘区域。
可选的，所述相机的标称内参包括相机的标称焦距和标称光心值。
可选的，所述图像序列为通过众包方式采集的图像序列。
本申请提供的三维重建装置200能够实现上述三维重建方法实施例中三维重建装置实现的各个过程，且能够达到相同的有益效果，为避免重复，这里不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图3所示，是根据本申请实施例的三维重建方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图3所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图3中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的三维重建方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的三维重建方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的三维重建方法对应的程序指令/模块(例如，附图2所示的获取模块201、计算模块202、三维重建模块203和第一优化模块204)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行三维重建装置的各种功能应用以及数据处理，即实现上述方法实施例中的三维重建方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据三维重建方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至三维重建方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
三维重建方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图3中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与三维重建方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，在待三维重建的图像序列对应的相机内参没有标定的情况下，由于相机的标称内参容易获得，且相机内参的标称值与相机内参的真实值之间的误差在一定范围内。因此，本申请考虑将相机的标称内参作为相机内参初始值，并对相机的畸变系数初始值进行预先设置，并计算相机的畸变系数波动范围。这样，本申请可基于标称内参、畸变系数初始值和畸变系数波动范围，对图像序列进行三维重建，并在图像序列的三维重建过程中，对视觉点云和相机位姿进行优化。通过采用上述技术手段，实现了无标定相机内参条件下的三维重建，使得三维重建技术的适用范围更广。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (17)
1.一种三维重建方法，其特征在于，所述方法包括：
获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；
计算所述相机的畸变系数波动范围；
基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；
在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述三维重建过程中，若所述畸变系数波动范围不稳定，对畸变系数进行优化；若所述畸变系数波动范围稳定，对所述标称内参进行优化。
4.根据权利要求1所述的方法，其特征在于，所述计算所述相机的畸变系数波动范围，包括：
提取所述图像序列的部分图像中发生畸变的线特征；
根据所述发生畸变的线特征，计算所述畸变系数波动范围。
5.根据权利要求1所述的方法，其特征在于，所述对所述图像序列进行三维重建，包括：
从所述图像序列中选择第一图像和第二图像；
对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在新帧图像注册过程中，根据畸变系数变化曲线确定是否优化畸变系数。
7.根据权利要求1所述的方法，其特征在于，若对所述图像序列各图像的目标区域进行三维重建，则所述畸变系数初始值为0，所述目标区域不包括图像的边缘区域。
8.根据权利要求1所述的方法，其特征在于，所述相机的标称内参包括相机的标称焦距和标称光心值。
9.根据权利要求1所述的方法，其特征在于，所述图像序列为通过众包方式采集的图像序列。
10.一种三维重建装置，其特征在于，包括：
获取模块，用于获取预先采集的图像序列，并获取相机的标称内参和预设的畸变系数初始值，所述相机为采集所述图像序列的相机；
计算模块，用于计算所述相机的畸变系数波动范围；
三维重建模块，用于基于所述标称内参、所述畸变系数初始值和所述畸变系数波动范围，对所述图像序列进行三维重建；
第一优化模块，用于在所述三维重建过程中，对得到的视觉点云和相机位姿进行优化。
11.根据权利要求10所述的装置，其特征在于，还包括：
第二优化模块，用于在所述三维重建过程中，对得到的视觉点云中的语义要素进行优化，以使所述语义要素的点云满足所述语义要素对应的几何特性。
12.根据权利要求10所述的装置，其特征在于，还包括：
第三优化模块，用于在所述三维重建过程中，在所述畸变系数波动范围稳定之前，对畸变系数进行优化；在所述畸变系数波动范围稳定之后，对所述标称内参进行优化。
13.根据权利要求10所述的装置，其特征在于，所述计算模块包括：
提取子模块，用于提取所述图像序列的部分图像中发生畸变的线特征；
计算子模块，用于根据所述发生畸变的线特征，计算所述畸变系数波动范围。
14.根据权利要求10所述的装置，其特征在于，所述三维重建模块包括：
选择子模块，用于从所述图像序列中选择第一图像和第二图像；
点云初始化子模块，用于对所述第一图像和所述第二图像进行三维重建，得到初始视觉点云；
新帧注册子模块，用于对所述图像序列的新帧图像逐一进行注册，得到各新帧图像的点云，并将各新帧图像的点云逐一融合于所述初始视觉点云中。
15.根据权利要求14所述的装置，其特征在于，所述新帧注册子模块还用于：
在新帧图像注册过程中，根据畸变变化曲线确定是否优化畸变系数。
16.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至9中任一项所述的方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010228206.5A CN111311742B (zh) | 2020-03-27 | 2020-03-27 | 三维重建方法、三维重建装置和电子设备 |
| US17/082,761 US11436709B2 (en) | 2020-03-27 | 2020-10-28 | Three-dimensional reconstruction method, electronic device and storage medium |
| EP20215968.7A EP3886045A1 (en) | 2020-03-27 | 2020-12-21 | Three-dimensional reconstruction method, three-dimensional reconstruction apparatus and storage medium |
| JP2020212045A JP7366878B2 (ja) | 2020-03-27 | 2020-12-22 | ３次元再構築方法、３次元再構築装置及び電子機器 |
| KR1020200182499A KR102505768B1 (ko) | 2020-03-27 | 2020-12-23 | 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010228206.5A CN111311742B (zh) | 2020-03-27 | 2020-03-27 | 三维重建方法、三维重建装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111311742A true CN111311742A (zh) | 2020-06-19 |
| CN111311742B CN111311742B (zh) | 2023-05-05 |
Family
ID=71150360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010228206.5A Active CN111311742B (zh) | 2020-03-27 | 2020-03-27 | 三维重建方法、三维重建装置和电子设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11436709B2 (zh) |
| EP (1) | EP3886045A1 (zh) |
| JP (1) | JP7366878B2 (zh) |
| KR (1) | KR102505768B1 (zh) |
| CN (1) | CN111311742B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634439A (zh) * | 2020-12-25 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN113763504A (zh) * | 2021-03-26 | 2021-12-07 | 北京四维图新科技股份有限公司 | 地图更新方法、系统、车载终端、服务器及存储介质 |
| US11475633B2 (en) | 2020-12-03 | 2022-10-18 | Industrial Technology Research Institute | Method and system for 3D image dynamic correction evaluation and orthotics auxiliary design |
| CN116051723A (zh) * | 2022-08-03 | 2023-05-02 | 荣耀终端有限公司 | 集束调整方法及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116959637B (zh) * | 2023-07-11 | 2024-01-26 | 清华大学 | 基于深度依赖电子束的三维重构方法、装置和计算机设备 |
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| JP2006301020A (ja) * | 2005-04-15 | 2006-11-02 | Ricoh Co Ltd | 立体映像表示装置とそれを備えた通話装置ならびに輸送用移動体 |
| JP2008249431A (ja) * | 2007-03-29 | 2008-10-16 | Nippon Hoso Kyokai <Nhk> | ３次元画像補正方法及びその装置 |
| US20120069019A1 (en) * | 2010-09-22 | 2012-03-22 | Raytheon Company | Method and apparatus for three-dimensional image reconstruction |
| US20150172626A1 (en) * | 2012-07-30 | 2015-06-18 | Sony Computer Entertainment Europe Limited | Localisation and mapping |
| US20150172635A1 (en) * | 2013-12-12 | 2015-06-18 | Intel Corporation | Calibration of a three-dimensional acquisition system |
| CN105793892A (zh) * | 2014-12-09 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像设备 |
| CN106408614A (zh) * | 2016-09-27 | 2017-02-15 | 中国船舶工业系统工程研究院 | 适于现场应用的摄像机内参数标校方法和系统 |
| CN108020826A (zh) * | 2017-10-26 | 2018-05-11 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
| CN108230379A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于融合点云数据的方法和装置 |
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| JP2018106643A (ja) * | 2016-12-28 | 2018-07-05 | セコム株式会社 | 空間モデル処理装置 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
| WO2019045722A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES |
| CN109584307A (zh) * | 2017-09-28 | 2019-04-05 | 百度（美国）有限责任公司 | 改进摄像机固有参数校准的系统和方法 |
| CN109690620A (zh) * | 2016-09-12 | 2019-04-26 | 松下知识产权经营株式会社 | 三维模型生成装置以及三维模型生成方法 |
| CN109993780A (zh) * | 2019-03-07 | 2019-07-09 | 深兰科技（上海）有限公司 | 一种三维高精度地图生成方法及装置 |
| CN110111413A (zh) * | 2019-04-08 | 2019-08-09 | 西安电子科技大学 | 一种基于水陆共存场景的稀疏点云三维模型建立方法 |
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110264502A (zh) * | 2019-05-17 | 2019-09-20 | 华为技术有限公司 | 点云配准方法和装置 |
| CN110335319A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种语义驱动的相机定位与地图重建方法和系统 |
| CN110458952A (zh) * | 2019-08-19 | 2019-11-15 | 江苏濠汉信息技术有限公司 | 一种基于三目视觉的三维重建方法和装置 |
| CN110689501A (zh) * | 2019-09-29 | 2020-01-14 | 京东方科技集团股份有限公司 | 一种畸变校正方法、装置、电子设备及计算机可读存储介质 |
| CN110717980A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 区域三维重建方法、装置及计算机可读存储介质 |
| CN114119886A (zh) * | 2021-10-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 高精地图点云重建方法、装置、车辆、设备和存储介质 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4985516B2 (ja) | 2008-03-27 | 2012-07-25 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| US20150373326A1 (en) * | 2014-06-19 | 2015-12-24 | Magnum Semiconductor, Inc. | Apparatuses and methods for parameter selection during rate-distortion optimization |
| DE102014117888A1 (de) | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
| CN106767812B (zh) * | 2016-11-25 | 2017-12-08 | 郭得科 | 一种基于语义信息提取的室内语义地图更新方法与系统 |
| JP2019067358A (ja) | 2017-10-03 | 2019-04-25 | 富士通株式会社 | 推定プログラム、推定方法および推定システム |
| JP6895403B2 (ja) * | 2018-03-20 | 2021-06-30 | 株式会社東芝 | 画像処理装置、運転支援システム、及び画像処理方法 |
| CN108765487B (zh) | 2018-06-04 | 2022-07-22 | 百度在线网络技术（北京）有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
| CN110069593B (zh) | 2019-04-24 | 2021-11-12 | 百度在线网络技术（北京）有限公司 | 图像处理方法及系统、服务器、计算机可读介质 |
-
2020
- 2020-03-27 CN CN202010228206.5A patent/CN111311742B/zh active Active
- 2020-10-28 US US17/082,761 patent/US11436709B2/en active Active
- 2020-12-21 EP EP20215968.7A patent/EP3886045A1/en active Pending
- 2020-12-22 JP JP2020212045A patent/JP7366878B2/ja active Active
- 2020-12-23 KR KR1020200182499A patent/KR102505768B1/ko active IP Right Grant
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| JP2006301020A (ja) * | 2005-04-15 | 2006-11-02 | Ricoh Co Ltd | 立体映像表示装置とそれを備えた通話装置ならびに輸送用移動体 |
| JP2008249431A (ja) * | 2007-03-29 | 2008-10-16 | Nippon Hoso Kyokai <Nhk> | ３次元画像補正方法及びその装置 |
| US20120069019A1 (en) * | 2010-09-22 | 2012-03-22 | Raytheon Company | Method and apparatus for three-dimensional image reconstruction |
| US20150172626A1 (en) * | 2012-07-30 | 2015-06-18 | Sony Computer Entertainment Europe Limited | Localisation and mapping |
| US20150172635A1 (en) * | 2013-12-12 | 2015-06-18 | Intel Corporation | Calibration of a three-dimensional acquisition system |
| CN105793892A (zh) * | 2014-12-09 | 2016-07-20 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、装置及摄像设备 |
| CN109690620A (zh) * | 2016-09-12 | 2019-04-26 | 松下知识产权经营株式会社 | 三维模型生成装置以及三维模型生成方法 |
| CN106408614A (zh) * | 2016-09-27 | 2017-02-15 | 中国船舶工业系统工程研究院 | 适于现场应用的摄像机内参数标校方法和系统 |
| JP2018106643A (ja) * | 2016-12-28 | 2018-07-05 | セコム株式会社 | 空間モデル処理装置 |
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| WO2019045722A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES |
| CN109584307A (zh) * | 2017-09-28 | 2019-04-05 | 百度（美国）有限责任公司 | 改进摄像机固有参数校准的系统和方法 |
| CN108020826A (zh) * | 2017-10-26 | 2018-05-11 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
| CN108230379A (zh) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | 用于融合点云数据的方法和装置 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
| CN109993780A (zh) * | 2019-03-07 | 2019-07-09 | 深兰科技（上海）有限公司 | 一种三维高精度地图生成方法及装置 |
| CN110111413A (zh) * | 2019-04-08 | 2019-08-09 | 西安电子科技大学 | 一种基于水陆共存场景的稀疏点云三维模型建立方法 |
| CN110264502A (zh) * | 2019-05-17 | 2019-09-20 | 华为技术有限公司 | 点云配准方法和装置 |
| CN110163903A (zh) * | 2019-05-27 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110335319A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种语义驱动的相机定位与地图重建方法和系统 |
| CN110458952A (zh) * | 2019-08-19 | 2019-11-15 | 江苏濠汉信息技术有限公司 | 一种基于三目视觉的三维重建方法和装置 |
| CN110717980A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 区域三维重建方法、装置及计算机可读存储介质 |
| CN110689501A (zh) * | 2019-09-29 | 2020-01-14 | 京东方科技集团股份有限公司 | 一种畸变校正方法、装置、电子设备及计算机可读存储介质 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN114119886A (zh) * | 2021-10-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 高精地图点云重建方法、装置、车辆、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 林连庆等: "一种基于图像集合的三维重建方法", 《电子世界》 * |
| 范勇等: "图像几何畸变校正方法", 《计算机工程与应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475633B2 (en) | 2020-12-03 | 2022-10-18 | Industrial Technology Research Institute | Method and system for 3D image dynamic correction evaluation and orthotics auxiliary design |
| CN112634439A (zh) * | 2020-12-25 | 2021-04-09 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN112634439B (zh) * | 2020-12-25 | 2023-10-31 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN113763504A (zh) * | 2021-03-26 | 2021-12-07 | 北京四维图新科技股份有限公司 | 地图更新方法、系统、车载终端、服务器及存储介质 |
| CN116051723A (zh) * | 2022-08-03 | 2023-05-02 | 荣耀终端有限公司 | 集束调整方法及电子设备 |
| CN116051723B (zh) * | 2022-08-03 | 2023-10-20 | 荣耀终端有限公司 | 集束调整方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021157773A (ja) | 2021-10-07 |
| KR102505768B1 (ko) | 2023-03-06 |
| US20210304371A1 (en) | 2021-09-30 |
| JP7366878B2 (ja) | 2023-10-23 |
| KR20210120816A (ko) | 2021-10-07 |
| US11436709B2 (en) | 2022-09-06 |
| CN111311742B (zh) | 2023-05-05 |
| EP3886045A1 (en) | 2021-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311742B (zh) | 三维重建方法、三维重建装置和电子设备 | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
| CN112132829A (zh) | 车辆信息的检测方法、装置、电子设备和存储介质 | |
| WO2021218123A1 (zh) | 用于检测车辆位姿的方法及装置 | |
| CN110660098B (zh) | 基于单目视觉的定位方法和装置 | |
| CN111767853B (zh) | 车道线检测方法和装置 | |
| CN111401251B (zh) | 车道线提取方法、装置、电子设备及计算机可读存储介质 | |
| CN111612753B (zh) | 三维物体检测方法、装置、电子设备和可读存储介质 | |
| CN111524166A (zh) | 视频帧的处理方法和装置 | |
| CN111612852A (zh) | 用于验证相机参数的方法和装置 | |
| CN111553844A (zh) | 用于更新点云的方法及装置 | |
| CN111784757B (zh) | 深度估计模型的训练方法、深度估计方法、装置及设备 | |
| CN111311743B (zh) | 三维重建精度测试方法、测试装置和电子设备 | |
| CN112487979A (zh) | 目标检测方法和模型训练方法、装置、电子设备和介质 | |
| CN111260722B (zh) | 车辆定位方法、设备及存储介质 | |
| CN111967481B (zh) | 视觉定位方法、装置、电子设备及存储介质 | |
| CN112102417A (zh) | 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法 | |
| CN112184828A (zh) | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 | |
| CN115439536A (zh) | 视觉地图更新方法、装置及电子设备 | |
| CN110689575B (zh) | 图像采集器标定方法、装置、设备和介质 | |
| CN112581542A (zh) | 自动驾驶单目标定算法的评估方法、装置及设备 | |
| CN113160046B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
| CN113160045B (zh) | 模型训练方法、超分辨率方法、装置、电子设备及介质 | |
| CN113160044B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211013 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |