CN111210507B - 一种面向多视图三维重建的初始视图选取方法 - Google Patents
一种面向多视图三维重建的初始视图选取方法 Download PDFInfo
- Publication number
- CN111210507B CN111210507B CN202010012401.4A CN202010012401A CN111210507B CN 111210507 B CN111210507 B CN 111210507B CN 202010012401 A CN202010012401 A CN 202010012401A CN 111210507 B CN111210507 B CN 111210507B
- Authority
- CN
- China
- Prior art keywords
- view
- point
- errors
- matrix
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向多视图三维重建的初始视图选取方法，属于计算机视觉与计算机图形学领域。该方法包括以下步骤：S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数；S2：计算任意两幅视图之间的基本矩阵；S3：计算摄像机的投影矩阵；S4：计算三维点在视图上的投影点和反投影误差；S5：计算任意两幅视图之间的单应性矩阵和单应性误差；S6：计算任意两幅视图之间的特征点位置误差之和；S7：选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。本发明的方法能够快速稳健地进行初始视图选取，选取效果好，并能适用任意场景，具有较强的通用性。
Description
技术领域
本发明属于计算机视觉与计算机图形学领域，具体涉及一种面向多视图三维重建的初始视图选取方法。
背景技术
多视图三维重建是一种从图像序列获取场景的三维模型的一种技术，其技术本身被广泛地应用于虚拟现实、增强现实、城市规划、游戏、军事仿真、场景监控、变化检测、地图导航和无人驾驶等领域。由于多视图三维重建采用的是一种增量重建方法，即其中的两幅视图开始计算初始模型，然后逐渐的添加图像序列，直到输入图像序列处理完毕。由于初始视图的选取对三维模型的之间具有重要影响，对于一些规模较大的场景进行重建时，如果初始视图选取不当，可能会导致无法重建出场景的三维模型。
为了能够有效得进行初始视图选取，以便能够重建出高质量的三维模型，现有技术中，科研人员提出了很多方法。例如论文《Next best view planning for active modelimprovement》提出了一种初始视图选取方法，但该方法依赖于三维模型(Dunn E,Frahm JM.Next best view planning for active model improvement.British Machine VisionConference,BMVC 2009,London,UK,September 7-10,2009.Proceedings.DBLP,2009.)论文《Covariance propagation and next best view planning for 3d reconstruction》提出的方法依赖于不确定性迭代机制，降低了方法的时间效率，因此效率较低(Haner S.,Heyden A.Covariance propagation and next best view planning for 3dreconstruction.Computer Vision–ECCV 2012.ECCV 2012.Lecture Notes in ComputerScience,vol 7573.Springer,Berlin,Heidelberg)。论文《How to select goodneighboring images in depth-map merging based 3d modeling》提出的方法依赖于量子启发式搜索算法，导致三维重建过程很耗时，因此效率较低(Shen S,Hu Z.How toselect good neighboring images in depth-map merging based 3d modeling.IEEETransactions on Image Processing,2014,23(1):308-318.)。论文《Match selectionand refinement for highly accurate two-view structure from motion》的方法仅适用于两视图的三维重建场景，因此非常具有局限性，很难是由多视图的三维场景重建(LiuZ,Monasse P,Marlet R.Match selection and refinement for highly accurate two-view structure from motion.2015.)。论文《Determining an initial image pair forfixing the scale of a 3d reconstruction from an image sequence》提出的方法仅适用于固定场景范围下的三维重建，因此具有很强的局限性(Beder C,SteffenR.Determining an initial image pair for fixing the scale of a 3Dreconstruction from an image sequence.Pattern Recognition.Springer BerlinHeidelberg,2006.)。
根据对现有技术的分析，现有技术中的方法，存在着以下缺点：选取初始视图的效率较低，具有较强的局限性，只能适用特定的应用场景，当用于其他场景时，选取效果差，难以适用于任意场景下三维重建的初始视图选取，不具有通用性。
发明内容
技术问题：本发明提供一种面向多视图三维重建的初始视图选取方法，该方法能从大量的输入图像中，快速地为多视图三维重建系统自动的选取有效的两幅初始化视图，并具有较好的选取效果，能够适用任何场景的三维重建的初始视图选取，具备较强的通用性。
技术方案：本发明一种面向多视图三维重建的初始视图选取方法，包括以下步骤：
S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数，所述特征点为二维特征点，所述摄像机的内部参数包括摄像机的焦距、主点和畸变系数；
S2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵；
S3：结合摄像机的内部参数与通过步骤S2得到的基本矩阵，计算摄像机的投影矩阵；
S4：根据摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差；
S5：根据输入的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性性误差；
S6：根据步骤S4得到的反投影误差和步骤S5得到的单应性误差，得到任意两幅视图之间的特征点位置误差之和；
S7：根据步骤S6得到特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。
进一步地，所述步骤S3中，计算所述摄像机的投影矩阵按以下步骤：
S3.1：根据步骤S2得到的基本矩阵，并结合摄像机内部参数，计算出两幅视图之间的本征矩阵；
S3.2：对本征矩阵进行分解，同时结合摄像机的内部参数，计算出摄像机的投影矩阵。
进一步地，所述步骤S4中，三维点在图像上的投影点的计算方法为：x＝PSX，其中x为二维点，X为三维点，PS表示摄像机的投影矩阵。
进一步地，所述步骤S4中，反投影误差的计算方法为：
e2d(x,xm)＝||x-xm||，
e2d(x′,x′m)＝||x′-x′m||，
e2d(xm,x′m)＝||xm-x′m||，
式中，x为三维点在视图I上的投影点，x'为三维点在视图I′上的投影点，xm为三维点在摄像机C上的投影点，x′m为三维点在摄像机C′上的投影点，e2d(x,xm)表示投影点x与xm之间的反投影误差，e2d(x′,x′m)表示投影点x'与x′m之间的反投影误差，e2d(xm,x′m)表示投影点xm与x′m之间的反投影误差。
进一步地，所述步骤S6中，采用直接变换算法计算任意两幅视图之间的单应性矩阵。
进一步地，所述步骤S6中，所述单应性误差的计算方法为：
e2d(x,x′h)＝||x-Hx′||，
e2d(x′,xh)＝||x′-Hx||，
e2d(x′h,xh)＝||Hx-Hx′||，
式中，x′h为点x的单应性点，xh为点x′的单应性点，H为单应性矩阵，e2d(x,x′h)为点x与其单应性点x′h之间的误差，e2d(x′,xh)为点x′与其单应性点xh之间的误差，e2d(x′h,xh)为两个单应性点x′h与xh之间的误差。
进一步地，所述步骤S7中，计算特征点位置误差之和的方法为：
S7.1：计算反投影误差之和，计算公式为：
E2d(M)＝E2d(x,xm)+E2d(x′,x′m)+E2d(xm,x′m)，
式中，E2d(M)表示反投影误差之和，M表示两幅视图之间的特征点匹配集合，E2d(x,xm)表示三维点在视图I上的反投影误差之和，E2d(x′,x′m)表示三维点在视图I′的反投影误差之和，E2d(xm,x′m)表示两幅视图上的投影点之间的反投影误差之和；
S7.2：计算单应性误差之和，计算公式为：
E2d(H)＝E2d(x,x′h)+E2d(x′,xh)+E2d(x′h,xh)，
式中，E2d(H)为单应性误差之和，E2d(x,x′h)为视图I上的特征点的单应性误差之和，E2d(x′,xh)为视图I′上的特征点的单应性误差之和，E2d(x′h,xh)表示两幅视图对应的单应性点之间的单应性误差之和。
S7.3：计算两幅视图之间的特征点位置误差之和E2d(I,I′)，计算法公式为：E2d(I,I′)＝E2d(M)+E2d(H)。
进一步地，所述步骤S2中，采用归一化的八点算法，计算出任意两幅视图之间的基本矩阵。
进一步地，所述步骤S5中，采用直接线性变化算法计算单应性矩阵。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明所提出的用于多视图三维重建的初始视图选取方法，采用归一化的八点算法计算任意两幅视图之间的基本矩阵，计算速度快，准确率高，因此有效地提高了初始视图选取的效率和精度，使得本发明的方法适用于大规模的三维重建系统。
(2)本发明结合摄像机的内部参数先计算两幅视图之间的本征矩阵，然后对本征矩阵进行奇异值分解，然后计算摄像机的投影矩阵，运算速度快，有效地提高了整个方法的时间效率，从而能够快速地完成初始视图的选取。
(3)本发明根据投影矩阵计算三维点在两幅视图上的反投影误差，并且根据反投影误差选取初始视图，使得初始视图选取的更加适合准确，保证了三维模型的几何一致性，从而有效地提高三维系统重建的精度。
(4)本发明采用直接线性变化算法计算任意两幅视图之间的单应性矩阵，该算法运算速度快，鲁棒性强，从而有效地提高了算法的时间效率，能够快速地进行初始视图选取。并根据单应性矩阵，计算出单应性误差，根据单应性误差保证了选出的初始视图具有最小的平面运行和最佳的视角范围，从而能够从输入图像序列中自动的为多视图三维重建系统选取最好的初始视图，以便重建出高质量的三维模型。
附图说明
图1为本发明的一种面向多视图三维重加的初始视图选取方法的原理图；
图2为分别采用本发明的方法与传统方法选取初始视图进行三维重建的结果对比图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
本发明提供一种面向多视图三维重建的初始视图选取方法，通过该方法可以对所视图三维重建系统自动的选取最好的初始化视图，确保重建出高质量的三维模型，其应用场景包括：虚拟现实、增强现实、城市规划、游戏、军事仿真、场景监控、变化检测、地图导航和无人驾驶等。
图1为本发明一种面向多视图三维重建的初始视图选取方法的原理图，结合图1对本发明的方法的步骤进行说明。
S1：输入场景的图像序列、特征点以及所采用的摄像机的内部参数。
因为本发明的方法的目的是为三维重建系统选择两幅初始化视图，这两幅视图会从输入的图像序列中选择，因此输入的图像序列包括了若干张待重建场景的视图。因为视图均为二维视图，特征点是视图上的特征对应的点二维点，因此特征点均为二维特征点。对于摄像机的内部参数，包括摄像机的焦距、主点和扭曲系数。
S2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵。
输入场景的图像序列DI＝{I1,I2,…,Ik}，其中I1,I2,…,Ik代表图像序列中的一个视图，图像序列中共有k个视图。本发明的方法的目的是从DI中为三维重建系统选取两幅初始化视图I和I′，I和I′均为I1,I2,…,Ik中的一幅。根据对极集合原理，由I和I′之间的特征点匹配集合M，可以计算出I和I′之间的基本矩阵Fm，具体的，可以采用七点算法或八点算法。本发明中优选的是归一化的八点算法，该算法的计算步骤，可参考《计算机视觉中的多视图几何》一书(《Multiple View Geometry in Computer Vision》)。归一化的八点算法，计算速度快，准确率高，因此有效地提高了初始视图选取的效率和精度，使得本发明的方法适用于大规模的三维重建系统。
S3：结合摄像机的内部参数与步骤S2得到的基本矩阵，计算摄像机的投影矩阵。
假设I和I′分别对应于摄像机C和C′，且摄像机C和C′分别带有一个3×4的投影矩阵P和P′以及3×3的内部参数矩阵K和K′。有了基本矩阵Fm，结合摄像机的内部参数矩阵K和K′，可以计算出两幅视图对应的投影矩阵Pm和P′m。计算方法为：
S3.1：根据步骤S2得到的基本矩阵Fm，并结合摄像机内部参数，计算出两幅视图之间的本征矩阵E。摄像机的内部参数均为已知的，因此计算本征矩阵的速度较快，进一步地提高了初始视图选取的效率。
S3.2：对步骤S3.1得到的本征矩阵E进行分解，同时结合摄像机内部参数，计算出摄像机的投影矩阵。即对本征矩阵E进行奇异值分解，计算方法如下：
E＝Udiag(1,1,0)VT (1)
式中，U和V分别表示由矩阵E的奇异值的左奇异向量和右奇异向量构成的矩阵，因此，摄像机的投影矩阵PS计算方法如下：
PS＝[UWVT|±u3]and PS＝[UWTVT|±u3] (2)
其中，W是一个特征的矩阵，u3表示矩阵U的第三列，矩阵W的如下：
同时，二维点、三维点与摄像机投影矩阵之间存在如下关系：
x＝PSX (3)
x为二维点，X为三维点，PS是摄像机投影矩阵。说明的是，因为式(3)中均为任意性表示，因此并不影响后面行文中使用相同的符号。
对本征矩阵进行奇异值分解，然后结合摄像机内部参数计算摄像机的投影矩阵，不仅具有较高的计算速度，同时保证所求投影矩阵具有较高的精度，从而使得本发明的方法能够快速准确地进行初始视图选取。
S4：根据步骤S2得到的摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差。
记m＝(x,x′)表示两个特征点之间的匹配关系，M表示I和I′之间的特征点匹配集合，其中x表示三维点X在视图I上的投影点，则有x＝PX，同样的，x′表示三维点X在视图I′上的投影点，则有x′＝P′X。
图1展示了x和x′等二维点与三维点X之间的对应关系。因此，根据Pm和P′m可以计算出三维点X分别在摄像机C和C′上对应的投影点xm和x′m，计算方法如式(4)和(5)所示。
xm＝PmX (4)
x′m＝P′mX (5)
一旦获得xm和x′m，我们可以计算出三维点X分别在I和I′上的反投影误差e2d(x,xm)、e2d(x′,x′m)和e2d(xm,x′m)，计算方法如式(5)～(7)所示。
e2d(x,xm)＝||x-xm|| (6)
e2d(x′,x′m)＝||x′-x′m|| (7)
e2d(xm,x′m)＝||xm-x′m|| (8)
其中，e2d(x,xm)表示投影点x与xm之间的反投影误差，e2d(x′,x′m)表示投影点x'与x′m之间的反投影误差，e2d(xm,x′m)表示投影点xm与x′m之间的反投影误差。
根据投影矩阵计算三维点在两幅视图上的反投影误差，并且根据反投影误差选取初始视图，使得初始视图选取的更加适合准确，保证了三维模型的几何一致性，从而有效地提高了三维系统重建的精度。
S5：对于给定的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性误差。
在多视图几何领域存在一种单应性约束关系，即存在一个3×3的单应性矩阵H，对与单应性矩阵H的计算可采用直接线性变化方法，详细步骤可以参考《计算机视觉中的多视图几何》一书(《Multiple View Geometry in Computer Vision》)。采用直接线性变化方法计算单应性矩阵，速度快，鲁棒性强，从而有效地提高了算法的时间效率，能够快速地进行初始视图选取。
当得到单应性矩阵H后，使得视图I上的点x与视图I′上的点x′满足如下关系：
x′＝xh＝Hx (9)
x＝x′h＝Hx′ (10)
其中，x′h为点x的单应性点，xh为点x′的单应性点，单应性点是指在单应性矩阵约束下的点，因此，可以计算单应性误差，单应性误差就是值在单应性矩阵约束下的特征点位置误差，具体计算公式为：
e2d(x,x′h)＝||x-Hx′|| (11)
e2d(x′,xh)＝||x′-Hx|| (12)
e2d(x′h,xh)＝||Hx-Hx′|| (13)
其中，x′h为点x的单应性点，xh为点x′的单应性点，H为单应性矩阵，e2d(x,x′h)为点x与其单应性点x′h之间的误差，e2d(x′,xh)为点x′与其单应性点xh之间的误差，e2d(x′h,xh)为两个单应性点x′h与xh之间的误差。
根据单应性矩阵，快速地准确地计算出两幅视图上的特征点在单应性矩阵约束下的特征点位置误差，即单应性误差，根据单应性误差选取初始视图，保证了选出的初始视图具有最小的平面运行和最佳的视角范围，从而能够从输入图像序列中自动的为多视图三维重建系统选取最好的初始视图，以便重建出高质量的三维模型。
S6：根据反投影误差和单应性误差，计算任意两幅视图之间的特征点位置误差之和。
由于视图I和I′之间的特征匹配集合M包含多个点对之间的匹配，因此，可以计算出所有三维点对应的投影点之间的反投影误差之和，计算方法如式(14)～(17)所示。
E2d(M)＝E2d(x,xm)+E2d(x′,x′m)+E2d(xm,x′m) (17)
式中，E2d(M)表示反投影误差之和，M表示两幅视图之间的特征点匹配集合，E2d(x,xm)表示三维点在视图I上的反投影误差之和，E2d(x′,x′m)表示三维点在视图I′的反投影误差之和，E2d(xm,x′m)表示两幅视图上的投影点之间的反投影误差之和，n表示有n个点对，i为序号。
同理可以获得单应性误差之和，计算方法如式(18)～(21)所示。
E2d(H)＝E2d(x,x′h)+E2d(x′,xh)+E2d(x′h,xh) (21)
式中，E2d(H)为单应性误差之和，E2d(x,x′h)为视图I上的特征点的单应性误差之和，E2d(x′,xh)为视图I′上的特征点的单应性误差之和，E2d(x′h,xh)表示两幅视图对应的单应性点之间的单应性误差之和，n表示有n个点对，i为序号。
从而，根据式(17)和式(22)，得到特征点位置误差之和E2d(I,I′)，即：
E2d(I,I′)＝E2d(M)+E2d(H) (22)
S7：根据步骤S6得到的特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。
由图1表示的物理意义可知，选取的初始视图I和I′，它们之间的E2d(x,xm)和E2d(x′,x′m)越低越好，此外，E2d(xm,x′m)是对两幅视图之间的距离进行约束，保证两幅视图之间的基本矩阵约束关系。同理，对于增量重建过程中新添加的视图It需要满足单应性约束关系，因此E2d(H)的值越低越好。
至此，我们可以从数据库DI＝{I1,I2,…,Ik}选取E2d(M)值最小的两幅视图I和I′作为初始化视图，选取E2d(H)值最小的视图It作为增量视图参与多视图三维重建，直到数据库DI中的所有视图处理完毕。本发明的方法能够应用于任何场景的三维重建过程中，初始视图的选取，因此具有较强的通用性。
如图2所示，为本发明的采用本发明的初始视图选取方法选取初始视图与采用传统方法选取初始视图在三维重建过程中的计算结果对比。其中第一行是输入的图像序列，第二行的左侧为采用传统方法(即每次选择特征匹配数目最多的两幅视图作为初始化序列对)选取初始视图后生成的点云模型，第二行的右侧是采用本发明的方法选取初始视图后生成的点云模型；可以看出使用本发明的方法，生成的点云模模型更加稠密且几何一致性与真实场景较为接近，因此本发明的方法能够有效地提高三维系统重建的精度。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
Claims (8)
1.一种面向多视图三维重建的初始视图选取方法，其特征在于，包括以下步骤：
S1：输入应用场景的图像序列、特征点以及所采用的摄像机的内部参数，所述特征点为二维特征点，所述摄像机的内部参数包括摄像机的焦距、主点和畸变系数；
S2：根据输入的图像序列和特征点，计算任意两幅视图之间的基本矩阵；
S3：结合摄像机的内部参数与通过步骤S2得到的基本矩阵，计算摄像机的投影矩阵；
计算所述摄像机的投影矩阵按以下步骤：
S3.1：根据步骤S2得到的基本矩阵，并结合摄像机内部参数，计算出两幅视图之间的本征矩阵；
S3.2：对本征矩阵进行分解，同时结合摄像机的内部参数，计算出摄像机的投影矩阵；S4：根据摄像机的投影矩阵，计算三维点在图像上的投影点和反投影误差；
对本征矩阵E进行奇异值分解，计算方法如下：
E＝Udiag(1，1，0)VT，
式中，U和V分别表示由矩阵E的奇异值的左奇异向量和右奇异向量构成的矩阵，
摄像机的投影矩阵PS计算方法如下：
PS＝[UWVT|±u3]and PS＝[UWTVT|±u3]，
其中，W是一个特征的矩阵，u3表示矩阵U的第三列，矩阵W的如下：
二维点、三维点与摄像机投影矩阵之间存在如下关系：x＝PsX，x为二维点，X为三维点，PS是摄像机投影矩阵；S5：根据输入的图像序列和特征点，计算任意两幅视图之间的单应性矩阵和单应性性误差；
S6：根据步骤S4得到的反投影误差和步骤S5得到的单应性误差，得到任意两幅视图之间的特征点位置误差之和；
S7：根据步骤S6得到特征点位置误差之和，选取输入图像序列中特征点位置误差之和最小的两幅视图作为多视图重建的初始视图。
2.权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S4中，三维点在图像上的投影点的计算方法为：x＝PsX，其中x为二维点，X为三维点，Ps表示摄像机的投影矩阵。
3.权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S4中，反投影误差的计算方法为：
e2d(x，xm)＝||x-xm||，
e2d(x′，x′m)＝||x′-x′m||，
e2d(xm，x′m)＝||xm-x′m||，
式中，x为三维点在视图I上的投影点，x′为三维点在视图I′上的投影点，xm为三维点在摄像机C上的投影点，x′m为三维点在摄像机C′上的投影点，e2d(x，xm)表示投影点x与xm之间的反投影误差，e2d(x′，x′m)表示投影点x′与x′m之间的反投影误差，e2d(xm，x′m)表示投影点xm与x′m之间的反投影误差。
4.权利要求1所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S6中，采用直接变换算法计算任意两幅视图之间的单应性矩阵。
5.权利要求4所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S6中，所述单应性误差的计算方法为：
e2d(x，x′h)＝||x-Hx′||，
e2d(x′，xh)＝||x′-Hx||，
e2d(x′h，xh)＝||Hx-Hx′||
式中，x′h为点x的单应性点，xh为点x′的单应性点，H为单应性矩阵，e2d(x，x′h)为点x与其单应性点x′h之间的误差，e2d(x′，xh)为点x′与其单应性点xh之间的误差，e2d(x′h，xh)为两个单应性点x′h与xh之间的误差。
6.权利要求5所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S7中，计算特征点位置误差之和的方法为：
S7.1：计算反投影误差之和，计算公式为：
E2d(M)＝E2d(x，xm)+E2d(x′，x′m)+E2d(xm，x′m)，
式中，E2d(M)表示反投影误差之和，M表示两幅视图之间的特征点匹配集合，E2d(x，xm)表示三维点在视图I上的反投影误差之和，E2d(x′，x′m)表示三维点在视图I′的反投影误差之和，E2d(xm，x′m)表示两幅视图上的投影点之间的反投影误差之和；
S7.2：计算单应性误差之和，计算公式为：
E2d(H)＝E2d(x，x′h)+E2d(x′，xh)+E2d(x′h，xh)，
式中，E2d(H)为单应性误差之和，E2d(x，x′h)为视图I上的特征点的单应性误差之和，E2d(x′，xh)为视图I′上的特征点的单应性误差之和，E2d(x′h，xh)表示两幅视图对应的单应性点之间的单应性误差之和；
S7.3：计算两幅视图之间的特征点位置误差之和E2d(I，I′)，计算法公式为：E2d(I，I′)＝E2d(M)+E2d(H)。
7.根据权利要求1～6任一项所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S2中，采用归一化的八点算法，计算出任意两幅视图之间的基本矩阵。
8.根据权利要求1～6任一项所述的一种面向多视图三维重建的初始视图选取方法，其特征在于，所述步骤S5中，采用直接线性变化算法计算单应性矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012401.4A CN111210507B (zh) | 2020-01-06 | 2020-01-06 | 一种面向多视图三维重建的初始视图选取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012401.4A CN111210507B (zh) | 2020-01-06 | 2020-01-06 | 一种面向多视图三维重建的初始视图选取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111210507A CN111210507A (zh) | 2020-05-29 |
| CN111210507B true CN111210507B (zh) | 2024-03-19 |
Family
ID=70785574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010012401.4A Active CN111210507B (zh) | 2020-01-06 | 2020-01-06 | 一种面向多视图三维重建的初始视图选取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210507B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
| CN108038902A (zh) * | 2017-12-07 | 2018-05-15 | 合肥工业大学 | 一种面向深度相机的高精度三维重建方法和系统 |
| CN110211223A (zh) * | 2019-05-28 | 2019-09-06 | 哈工大新材料智能装备技术研究院（招远）有限公司 | 一种增量式多视图三维重建方法 |
-
2020
- 2020-01-06 CN CN202010012401.4A patent/CN111210507B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015154601A1 (zh) * | 2014-04-08 | 2015-10-15 | 中山大学 | 一种基于无特征提取的紧致sfm三维重建方法 |
| CN108038902A (zh) * | 2017-12-07 | 2018-05-15 | 合肥工业大学 | 一种面向深度相机的高精度三维重建方法和系统 |
| CN110211223A (zh) * | 2019-05-28 | 2019-09-06 | 哈工大新材料智能装备技术研究院（招远）有限公司 | 一种增量式多视图三维重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吕立 ; 姚拓中 ; 宋加涛 ; 肖江剑 ; 王建军 ; .基于单目视觉三维重建系统的设计与实现.计算机工程.2018,(12),全文. * |
| 基于单目视觉三维重建系统的设计与实现;吕立;姚拓中;宋加涛;肖江剑;王建军;;计算机工程(第12期);全文 * |
| 曹明伟.数据驱动的多视图三维重建.《中国博士学位论文全文数据库 信息科技辑 》.2018,第2018年卷(第01期),第五章. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111210507A (zh) | 2020-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Flynn et al. | Deepstereo: Learning to predict new views from the world's imagery | |
| CN107481279B (zh) | 一种单目视频深度图计算方法 | |
| Larsson et al. | Beyond grobner bases: Basis selection for minimal solvers | |
| CN108305277B (zh) | 一种基于直线段的异源图像匹配方法 | |
| CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
| Chhatkuli et al. | Inextensible non-rigid structure-from-motion by second-order cone programming | |
| Wang et al. | Quasi-perspective projection model: Theory and application to structure and motion factorization from uncalibrated image sequences | |
| CN114020953B (zh) | 外观设计产品的多图检索方法及装置 | |
| CN111462302A (zh) | 基于深度编码网络的多视点人体动态三维重建方法及系统 | |
| CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
| CN115359191A (zh) | 一种基于深度学习的物体三维重建系统 | |
| CN106204717B (zh) | 一种立体图像快速三维重建方法与装置 | |
| CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
| Cao et al. | Fast incremental structure from motion based on parallel bundle adjustment | |
| Yan et al. | Rethinking disparity: a depth range free multi-view stereo based on disparity | |
| Bhayani et al. | Partially calibrated semi-generalized pose from hybrid point correspondences | |
| JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| CN111210507B (zh) | 一种面向多视图三维重建的初始视图选取方法 | |
| Chen et al. | Densefusion: Large-scale online dense pointcloud and dsm mapping for uavs | |
| JP3476710B2 (ja) | ユークリッド的な３次元情報の復元方法、および３次元情報復元装置 | |
| US11790606B2 (en) | Determining camera rotations based on known translations | |
| Wang et al. | Structure and motion recovery based on spatial-and-temporal-weighted factorization | |
| CN111242995A (zh) | 一种快速鲁棒的摄像机绝对姿态估计方法 | |
| Yang et al. | Structure from Motion on XSlit Cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |