CN107330933A - 一种基于摄像机阵列的任意焦曲面拍摄方法 - Google Patents
一种基于摄像机阵列的任意焦曲面拍摄方法 Download PDFInfo
- Publication number
- CN107330933A CN107330933A CN201710578545.4A CN201710578545A CN107330933A CN 107330933 A CN107330933 A CN 107330933A CN 201710578545 A CN201710578545 A CN 201710578545A CN 107330933 A CN107330933 A CN 107330933A
- Authority
- CN
- China
- Prior art keywords
- video camera
- focal surface
- camera array
- anaglyph
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法,该方法利用标定后的摄像机阵列获取三维场景的视差图像序列,利用其获取的三维信息数据的冗余性,可以实现在三维场景任意曲面聚焦。该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程,同时具备高速率、可调节和标定简单的优点,突破了传统摄像机仅能在平面聚焦的限制。
Description
技术领域
本发明涉及三维场景中焦曲面拍摄技术,特别涉及一种基于摄像机阵列的任意焦曲面拍摄方法。
背景技术
摄像机拍摄技术是将三维场景经过光学成像系统在二维的传感器上投影,进而获得与三维场景相关联的光学信息的技术。传统的摄像机拍摄都具有特定的景深,且在成像的三维场景物方空间聚焦面为平面。由于入射光瞳直径的限制,传统的摄像机拍摄图像的景深范围固定,无法后期调节,更无法在三维场景方空间的特定曲面进行聚焦。摄像机阵列是获取三维场景不同角度三维信息的装置,其获取的三维信息数据具有很大的冗余性。目前,摄像机阵列主要应用在三维重建和三维显示领域,同时,在目标探测和识别领域也有应用。
发明内容
本发明旨在实现一种基于摄像机阵列且可以聚焦于三维场景任意曲面的拍摄方法。该方法同时具备高速率、可调节和标定简单的优点。为了达到上述目的,本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法。该方法基于摄像机阵列,根据摄像机阵列中每个摄像机的位姿,结合摄像机阵列标定方法,实现等价的虚拟摄像机。利用等价的虚拟摄像机,对三维场景进行拍摄,计算目标焦曲面每个像素对应的像素偏移量,合成目标焦曲面拍摄图像。该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程。
本发明利用摄像机阵列得到等价的虚拟摄像机,不仅可以聚焦于三维场景中的特定平面,而且可以聚焦于三维场景中的任意曲面,如附图1所示。本发明中的焦曲面可以是三维场景表面,也可以是任意数值曲面。
本发明所提方法的流程如附图2所示,调节摄像机阵列中的每个摄像机的位姿,确定中心深度平面的位置和拍摄三维场景的范围,利用摄像机阵列标定方法,得到摄像机阵列的标定参数,进而对摄像机阵列获得的视差图像进行校正,得到校正的视差图像序列;根据确定的目标焦曲面,并结合每个摄像机的索引编号,计算目标焦曲面上每个像素对应的像素偏移量,最终合成目标焦曲面拍摄图像。
所述视差图像像素偏移量的计算过程,首先,调节摄像机阵列每个摄像机位姿。在摄像机阵列中,摄像机数目为M×N,调节摄像机阵列中的每个摄像机,保证所有摄像机处于同一平面,相邻两个摄像机的间隔相同,都为ΔC,同时使摄像机阵列中不同摄像机拍摄范围尽可能多地重合,同时确定中心深度平面位置Z 0,摄像机阵列所处平面与中心深度平面平行,且两者距离为L,如附图3所示。摄像机阵列拍摄棋盘格标定板,利用摄像机阵列标定方法,得到摄像机阵列参数,进而计算视差图像序列的标定矩阵H m, n ,其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号,m∈{1, 2, 3, …, M},n∈{1, 2, 3,…, N}。然后,得到校正视差图像序列。利用摄像机阵列,拍摄三维场景,得到视差图像序列,视差图像序列分辨率为W P ×H P 。摄像机阵列的第m列、第n行摄像机得到的视差图像为I m, n (x, y),其中,x和y分别为三维场景视差图像像素坐标。利用标定矩阵H m, n ,计算得到对应的校正视差图像序列I' m, n (x', y'),I' m, n (x', y')与I m, n (x, y)满足:
(1)
其中:
(2)
最后,计算视差图像每个像素的偏移方向和偏移大小。如附图3所示,焦曲面上存在点P,其距中心深度平面的距离为ΔZ,点P经过摄像机阵列中不同摄像机的视框体投影,在中心深度平面上有不同的投影坐标。在本发明中,以摄像机阵列中心位置的摄像机为基准摄像机,则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量,ΔS满足:
(3)
(4)
(5)
其中,ΔS X 和ΔS Y 分别为ΔS在x轴和y轴的分量,round(*)表示对*向最近整数四舍五入取整,W S 和H S 分别为视差图像序列分辨率W P 和H P 在中心深度平面位置对应的三维场景真实范围。
所述任意焦曲面拍摄图像的合成过程,首先,确定目标焦曲面与中心深度平面的距离ΔZ(x, y)。本发明中,目标焦曲面为任意曲面,其深度值表示为Z(x, y),其中,x和y分别为目标焦曲面像素坐标。根据中心深度平面位置Z 0,计算得到目标焦曲面Z(x, y)与中心深度平面的距离ΔZ(x, y):
(6)
然后,计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量ΔS m, n (x, y)。将公式(6)带入公式(3)、(4)和(5)得到:
(7)
其中,ΔS m, n, X (x, y)和ΔS m, n, Y (x, y)分别为ΔS m, n (x, y)在x轴和y轴的分量。最后,合成目标焦曲面拍摄图像O(x', y'),O(x', y')与I' m, n (x', y')满足:
(8)
其中,m∈{1, 2, 3, …, M},n∈{1, 2, 3, …, N}。基于摄像机阵列的不同焦曲面拍摄图像如附图4所示。
本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法,该方法利用标定后的摄像机阵列,获取三维场景的视差图像序列,突破了传统摄像机仅能在平面聚焦的限制,同时具备高速率、可调节和标定简单的优点,可以实现在三维场景任意曲面聚焦。
附图说明
图1为一种基于摄像机阵列的任意焦曲面拍摄方法示意图
图2为本发明所提方法的流程图
图3为本发明中视差图像像素偏移量的计算过程示意图
图4为(a1)高斯型焦曲面拍摄合成图像,(a2)对应的高斯型焦曲面,(b1)任意焦曲面I拍摄合成图像,(b2)对应的任意焦曲面I,(c1)任意焦曲面II拍摄合成图像,(c2)对应的任意焦曲面II,(d)焦曲面深度值对照表
上述附图中的图示标号为:
1摄像机阵列,2等价的虚拟摄像机,3焦平面I,4焦平面II,5焦曲面,6中心深度平面,7摄像机。
应该理解上述附图只是示意性的,并没有按比例绘制。
具体实施方式
下面详细说明本发明的一种基于摄像机阵列的任意焦曲面拍摄方法的一个典型实施例,对本发明进行进一步的具体描述。有必要在此指出的是,以下实施例只用于本发明做进一步的说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整,仍属于本发明的保护范围。
本发明提出一种基于摄像机阵列的任意焦曲面拍摄方法,该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程。
本实施例利用摄像机阵列得到等价的虚拟摄像机,不仅可以聚焦于三维场景中的特定平面,而且可以聚焦于三维场景中的任意曲面,如附图1所示。本实施例中的焦曲面可以是三维场景表面,也可以是任意数值曲面。
本实施例的流程如附图2所示,调节摄像机阵列中的每个摄像机的位姿,确定中心深度平面的位置和拍摄三维场景的范围,利用摄像机阵列标定方法,得到摄像机阵列的标定参数,进而对摄像机阵列获得的视差图像进行校正,得到校正的视差图像序列;根据确定的目标焦曲面,并结合每个摄像机的索引编号,计算目标焦曲面上每个像素对应的像素偏移量,最终合成目标焦曲面拍摄图像。
所述视差图像像素偏移量的计算过程,首先,调节摄像机阵列每个摄像机位姿。在摄像机阵列中,摄像机数目为M×N = 11×11,调节摄像机阵列中的每个摄像机,保证所有摄像机处于同一平面,相邻两个摄像机的间隔相同,都为ΔC = 20mm,同时使摄像机阵列中不同摄像机拍摄范围尽可能多地重合,同时确定中心深度平面位置Z 0 = 995mm,摄像机阵列所处平面与中心深度平面平行,且两者距离为L = 995mm,如附图3所示。摄像机阵列拍摄棋盘格标定板,利用摄像机阵列标定方法,得到摄像机阵列参数,进而计算视差图像序列的标定矩阵H m, n ,其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号,m∈{1, 2, 3, …, 11},n∈{1, 2, 3, …, 11}。然后,得到校正视差图像序列。利用摄像机阵列,拍摄三维场景,得到视差图像序列,视差图像序列分辨率为W P ×H P = 512×389。摄像机阵列的第m列、第n行摄像机得到的视差图像为I m, n (x, y),其中,x和y分别为三维场景视差图像像素坐标。利用标定矩阵H m, n ,计算得到对应的校正视差图像序列I' m, n (x', y'),I' m, n (x', y')与I m, n (x, y)满足:
(1)
其中:
(2)
最后,计算视差图像每个像素的偏移方向和偏移大小。如附图3所示,焦曲面上存在点P,其距中心深度平面的距离为ΔZ = -100mm,点P经过摄像机阵列中不同摄像机的视框体投影,在中心深度平面上有不同的投影坐标。在本实施例中,以摄像机阵列中心位置的摄像机为基准摄像机,则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量,ΔS满足:
(3)
(4)
(5)
其中,ΔS X 和ΔS Y 分别为ΔS在x轴和y轴的分量,round(*)表示对*向最近整数四舍五入取整,W S 和H S 分别为视差图像序列分辨率W P 和H P 在中心深度平面位置对应的三维场景真实范围,本实施例中,W S = 2560mm和H S = 1945mm。
所述任意焦曲面拍摄图像的合成过程,首先,确定目标焦曲面与中心深度平面的距离ΔZ(x, y)。本实施例中,目标焦曲面为任意曲面,其深度值表示为Z(x, y),其中,x和y分别为目标焦曲面像素坐标。根据中心深度平面位置Z 0,计算得到目标焦曲面Z(x, y)与中心深度平面的距离ΔZ(x, y):
(6)
然后,计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量ΔS m, n (x, y)。将公式(6)带入公式(3)、(4)和(5)得到:
(7)
其中,ΔS m, n, X (x, y)和ΔS m, n, Y (x, y)分别为ΔS m, n (x, y)在x轴和y轴的分量。最后,合成目标焦曲面拍摄图像O(x', y'),O(x', y')与I' m, n (x', y')满足:
(8)
其中,m∈{1, 2, 3, …, 11},n∈{1, 2, 3, …, 11}。本实施例中,当目标焦曲面Z(x, y)为高斯型曲面时,对应的焦曲面拍摄图像如附图4(a1)和(a2)所示;当目标焦曲面Z(x, y)为任意焦曲面I和任意焦曲面II时,对应的焦曲面拍摄图像如附图4(b1)、(b2)(c1)和(c2)所示;焦曲面深度值对照表如附图4(d)所示。
Claims (3)
1.一种基于摄像机阵列的任意焦曲面拍摄方法,其特征在于,该方法包括视差图像像素偏移量的计算和任意焦曲面拍摄图像的合成两个过程。
2.根据权利要求1所述的一种基于摄像机阵列的任意焦曲面拍摄方法,其特征在于,所述视差图像像素偏移量的计算过程,首先,调节摄像机阵列每个摄像机位姿,在摄像机阵列中,摄像机数目为M×N,保证所有摄像机处于同一平面,相邻两个摄像机的间隔相同,都为ΔC,同时确定中心深度平面位置Z 0,摄像机阵列所处平面与中心深度平面平行,且两者距离为L,利用摄像机阵列标定方法,得到摄像机阵列参数,进而计算视差图像序列的标定矩阵H m, n ,其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号,m∈{1, 2,3, …, M},n∈{1, 2, 3, …, N};然后,利用摄像机阵列,拍摄三维场景,得到视差图像序列,视差图像序列分辨率为W P ×H P ,摄像机阵列的第m列、第n行摄像机得到的视差图像为I m, n (x, y),其中,x和y分别为三维场景视差图像像素坐标,利用标定矩阵H m, n ,计算得到对应的校正视差图像序列I' m, n (x', y'),其中,x'和y'分别为校正视差图像像素坐标,I' m, n (x',y')与I m,n (x,y)满足,其中;最后,焦曲面上存在点P,其距中心深度平面的距离为ΔZ,以摄像机阵列中心位置的摄像机为基准摄像机,则点P通过第m列、第n行摄像机视框体在中心深度平面上的投影坐标与通过基准摄像机视框体在中心深度平面上的投影坐标相比有ΔS的像素偏移量,ΔS满足,,,其中,ΔS X 和ΔS Y 分别为ΔS在X轴和Y轴的分量,round(*)表示对*向最近整数四舍五入取整,W S 和H S 分别为视差图像序列分辨率W P 和H P 在中心深度平面位置对应的三维场景真实范围。
3. 根据权利要求1所述的一种基于摄像机阵列的任意焦曲面拍摄方法,其特征在于,所述任意焦曲面拍摄图像的合成过程,首先,确定目标焦曲面与中心深度平面的距离ΔZ(x, y),目标焦曲面为任意曲面,其深度值表示为Z(x, y),其中,x和y分别为目标焦曲面像素坐标,根据中心深度平面位置Z 0,计算得到目标焦曲面Z(x, y)与中心深度平面的距离;然后,计算目标焦曲面每个像素在第m列、第n行摄像机对应视差图像上的像素偏移量,其中,ΔS m, n, X (x, y)和ΔS m, n, Y (x, y)分别为ΔS m, n (x, y)在X轴和Y轴的分量,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引编号,round(*)表示对*向最近整数四舍五入取整,W S 和H S 分别为视差图像序列分辨率W P 和H P 在中心深度平面位置对应的三维场景真实范围,摄像机数目为M×N,相邻两个摄像机的间隔为ΔC,摄像机阵列所处平面与中心深度平面距离为L;最后,合成目标焦曲面拍摄图像O(x', y'),O(x', y')与I' m, n (x', y')满足,其中,m∈{1, 2,3, …, M},n∈{1, 2, 3, …, N}。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710578545.4A CN107330933B (zh) | 2017-07-17 | 2017-07-17 | 一种基于摄像机阵列的任意焦曲面拍摄方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710578545.4A CN107330933B (zh) | 2017-07-17 | 2017-07-17 | 一种基于摄像机阵列的任意焦曲面拍摄方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107330933A true CN107330933A (zh) | 2017-11-07 |
CN107330933B CN107330933B (zh) | 2020-05-12 |
Family
ID=60227052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710578545.4A Active CN107330933B (zh) | 2017-07-17 | 2017-07-17 | 一种基于摄像机阵列的任意焦曲面拍摄方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107330933B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409391A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090101947A1 (en) * | 2007-10-17 | 2009-04-23 | Visera Technologies Company Limited | Image sensor device and fabrication method thereof |
CN102122393A (zh) * | 2010-01-09 | 2011-07-13 | 鸿富锦精密工业(深圳)有限公司 | 三维模型建立系统、方法及具有该系统的建模装置 |
CN104954779A (zh) * | 2015-06-23 | 2015-09-30 | 四川大学 | 一种集成成像三维显示中心深度平面的调节方法 |
CN105303574A (zh) * | 2015-07-30 | 2016-02-03 | 四川大学 | 一种基于单应性变换的集成成像摄像机阵列标定方法 |
-
2017
- 2017-07-17 CN CN201710578545.4A patent/CN107330933B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090101947A1 (en) * | 2007-10-17 | 2009-04-23 | Visera Technologies Company Limited | Image sensor device and fabrication method thereof |
CN102122393A (zh) * | 2010-01-09 | 2011-07-13 | 鸿富锦精密工业(深圳)有限公司 | 三维模型建立系统、方法及具有该系统的建模装置 |
CN104954779A (zh) * | 2015-06-23 | 2015-09-30 | 四川大学 | 一种集成成像三维显示中心深度平面的调节方法 |
CN105303574A (zh) * | 2015-07-30 | 2016-02-03 | 四川大学 | 一种基于单应性变换的集成成像摄像机阵列标定方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113409391A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置、设备和存储介质 |
CN113409391B (zh) * | 2021-06-25 | 2023-03-03 | 浙江商汤科技开发有限公司 | 视觉定位方法及相关装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107330933B (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105303574B (zh) | 一种基于单应性变换的集成成像摄像机阵列标定方法 | |
CN109767474B (zh) | 一种多目相机标定方法、装置及存储介质 | |
CN105959669B (zh) | 一种基于重映射的集成成像微图像阵列快速生成方法 | |
CN105488810B (zh) | 一种聚焦光场相机内外参数标定方法 | |
US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
CN106412433B (zh) | 基于rgb-ir深度相机的自动对焦方法及系统 | |
CN109146794B (zh) | 一种光场图像旋转误差校正方法 | |
CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
CN103136747B (zh) | 车载摄像系统及其校准方法 | |
CN111243033B (zh) | 一种优化双目相机外参数的方法 | |
CN106056620B (zh) | 线激光相机测量系统标定方法 | |
CN105160663A (zh) | 获取深度图像的方法和系统 | |
CN108564617A (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
CN105654476B (zh) | 基于混沌粒子群优化算法的双目标定方法 | |
CN102592124A (zh) | 文本图像的几何校正方法、装置和双目立体视觉系统 | |
CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
CN112150528A (zh) | 一种深度图像获取方法及终端、计算机可读存储介质 | |
CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
CN107993266A (zh) | 光场相机内参数标定装置及方法 | |
CN109003311A (zh) | 一种鱼眼镜头的标定方法 | |
CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
CN107610182B (zh) | 一种光场相机微透镜阵列中心的标定方法 | |
CN107016707B (zh) | 一种集成成像超大三维场景拍摄图像校正方法 | |
CN107680139A (zh) | 一种远心双目立体视觉测量系统的通用性标定方法 | |
WO2011143813A1 (zh) | 目标投影方法以及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |