CN115393555A - 一种三维图像获取方法、终端设备及存储介质 - Google Patents
一种三维图像获取方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115393555A CN115393555A CN202211020651.8A CN202211020651A CN115393555A CN 115393555 A CN115393555 A CN 115393555A CN 202211020651 A CN202211020651 A CN 202211020651A CN 115393555 A CN115393555 A CN 115393555A
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- field camera
- calibration
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims abstract description 78
- 230000000007 visual effect Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000887125 Chaptalia nutans Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000004441 surface measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例公开了一种三维图像获取方法、终端设备及存储介质，三维图像获取方法包括：利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
Description
技术领域
本申请涉及三维成像技术领域，尤其涉及一种三维图像获取方法、终端设备及存储介质。
背景技术
现有技术中，基于微透镜阵列的光场相机具有单次拍摄即可完成三维重构的优势，在工业机器视觉检测行业越来越成为用户所青睐的新一代三维检测产品。利用光场相机对所拍摄对象的真实三维物理尺寸进行测量时，需要对光场相机进行三维尺度上的校准。
目前，随着无人驾驶、元宇宙等热门领域的发展，利用光场相机进行三维成像的需求越来越多，而光场相机应用于无人驾驶、元宇宙等大场景(深度方向1m～250m)中时，利用现有已公开的基于位移台和校准点阵的校准方法对光场相机进行校准，存在硬件成本高、系统架设和实施难度较大。
发明内容
有鉴于此，本申请实施例期望提供一种三维图像获取方法、终端设备及存储介质，能够降低在三维图像获取过程中，光场相机校准时的硬件成本以及系统架设难度，且容易实施。
为达到上述目的，本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种三维图像获取方法，所述方法包括：
利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；
利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；
将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；
利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
第二方面，本申请实施例提供一种终端设备，所述终端设备包括：
拍摄单元，利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；
确定单元，用于利用光场白图像，确定光场相机的微透镜中心坐标矩阵；
提取单元，用于基于微透镜中心坐标矩阵，提取光场图像的多视角图像；
划分单元，用于将多视角图像划分成基准视角图像和非基准视角图像；
标定单元，用于对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；
校准单元，用于利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
第三方面，本申请实施例提供一种终端设备，终端设备包括：处理器、存储器及通信总线；处理器执行存储器存储的运行程序时实现上述三维图像获取方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述三维图像获取方法。
本申请实施例提供一种三维图像获取方法、终端设备及存储介质，该方法包括：利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。采用上述实现方案，在获取三维图像的过程中，利用光场白图像确定出的光场相机微透镜坐标矩阵，能够从光场相机获取的光场图像中提取到不同视角对应的多视角图像，将获取的每两个视角对应的多视角图像相互组合进行双目标定，并利用双目标定得到的参数矩阵能够计算得到视差与物体深度之间的关系，将视差转换为三维空间坐标，实现对光场相机的校准，在进行光场相机校准的过程中，仅利用光场中光线的角度信息获取对应的多视角图像，通过多组多视角图像之间的双目标定结果进行优化，降低测量误差，且在光场相机校准的过程中，在对校准板进行摆放时，只需要将校准板摆放在光场相机能够拍摄到完整校准板的位置即可，采用此方案，在利用校准后的光场相机进行三维图像的获取时，能够降低在三维图像获取过程中，光场相机校准时的硬件成本以及系统架设难度，且容易实施。
附图说明
图1为本申请实施例提供的一种三维图像获取方法流程图一；
图2为本申请实施例提供的一种三维图像获取方法流程图二；
图3为本申请实施例提供的一种终端设备1的结构示意图一；
图4为本申请实施例提供的一种终端设备1的结构示意图二。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点及技术内容，下面结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
除非另有定义，本文所使用的所有技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
近几年，随着AI技术的飞速发展，无人驾驶、元宇宙等作为一些科技热词，频频出现在中国民众的视野内，在无人驾驶、元宇宙等新兴热门领域中，其核心技术体系主要依靠感知体系，感知体系相当于人的眼睛，负责感知周围的环境信息，并进行周围环境信息的采集。当前，要提升无人驾驶、元宇宙等新兴产业的可靠性以及稳定性的关键在于感知层面必须更加精准。
现有技术中，在无人驾驶、元宇宙等领域的感知层面上，利用光场相机具备的优势，通过将光场相机搭载在无人驾驶汽车上，通过光场相机可以获取道路的场景信息，进而通过对道路场景信息进行判断，以做出对路径的选择；在元宇宙技术领域中，光场相机可以用于拍摄虚拟像面，并测量虚拟像面的深度，从而帮助厂商确定VR产品的视觉效果是否符合标准，在虚拟像面测量上，现有的其他技术都存在精度或效率的问题，因此，光场相机可以作为该领域的产品质量控制的优质解决方案。
而在应用光场相机进行测量时，为了对拍摄对象的真实三维物理尺寸进行测量，必须要对光场相机进行三维尺度上的校准，进而利用校准后的光场相机对三维图像获取三维图像，得到的三维图像更接近于真实图像，而现有技术中，在对光场相机进行校准时，存在以下几个问题：
(1)光场相机的校准需要将相机或者校准板置于位移台上进行移动，且要求移动过程中相机主光轴始终垂直于校准板。然而当光场相机系统倍率低于0.1倍时，对应的视野范围或者景深范围都将是以长度米为尺度，而在无人驾驶、元宇宙等场景中进行校准时，将需要1m×1m以上的校准点阵及白色背板光源，以及行程大于1m的电动位移台、和长度大于1m且宽度大于1m的隔振平台用来稳定支撑电动位移台、光场相机、校准板、背板光，导致在该场景下进行光场相机校准时，硬件成本增加、系统架设复杂度上升。
(2)现有技术中，光场相机进行校准需要覆盖整个景深范围，且在景深范围内移动拍摄的次数越多、移动步长越小越精确、校准的精度越高，因此对于无人驾驶、元宇宙等场景的校准，需要行程大于1m、单向重复精度高于10μm的高精度位移台，以保证既能覆盖景深范围又能以较高的精度(高于10μm)移动较小的步长(小于0.5mm)拍摄多次图像(大于100次)，这将直接导致硬件成本提高。
为了解决上述技术问题，本申请实施例提供一种三维图像获取方法，如图1所示，该方法可以包括：
S101、利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像。
在本申请实施例中，将光场相机搭载在无人驾驶汽车上或者将光场相机应用于元宇宙中，利用光场相机对道路的三维的图像进行拍摄或者利用光场相机拍摄虚拟图像，为了使拍摄的图像的三维尺寸更加接近真实的尺寸，首先需要对光场相机进行校准。
在本申请实施例中，光场相机是对光场信息进行记录的相机，光场相机与传统的数码相机不同，光场相机是在主镜头和感光器之间增加了一个微透镜阵列，每个微透镜阵列接收经过主镜头的光线后，传送到感光器前，析出聚焦光线及将光线信息进行转换，以数码方式进行记录，光场相机能捕捉一个场景中来自所有方向的光线，能够让用户在拍完照片之后再借助电脑进行对焦处理，处理之后的照片效果更加完美。
在本申请实施例中，在对光场相机进行校准时，首先调节光场相机的主镜头光圈，将光场相机的主镜头光圈调节至与微透镜光圈匹配，完成光场相机调节光圈匹配的过程，调节光圈匹配具体表现形式为在获取的初始白图像上表现为微透镜阵列恰好或近似于相切状态，即微透镜图像呈现为相切的圆形。
需要说明的是，光场相机主镜头光圈过大会出现光场相机白图像微透镜相交现象，而光场相机主镜头光圈过小会出现光场相机白图像微透镜相离现象，因而，本申请中在进行光场白图像拍摄前，首先需要对光场相机的光圈进行调节。
在本申请实施例中，将光场相机的主镜头光圈调节至合适的光圈之后，根据拍摄物体调节焦距，然后拍摄多张散焦柔光纯色校准板图像，得到光场白图像。
需要说明的是，散焦的目的是为了降低柔光板本身表面散光不均匀的影响。
需要说明的是，若光场相机为彩色光场相机时，拍摄的多张散焦柔光纯色校准板为纯白色校准板；若光场相机为黑白光场相机时，拍摄的多张散焦柔光纯色校准板只需要是纯色的校准板即可，对于纯色校准板的色彩不做具体限定。
需要说明的是，利用光场相机在进行多张散焦柔光纯色校准板进行拍摄时，光场相机可以置于散焦柔光纯色校准板的任意距离处对散焦柔光纯色校准板进行拍摄，获取光场白图像。
在本申请实施例中，要实现对光场相机的校准，还需要进行光场图像的获取，光场图像可以是利用调节光圈匹配后的光场相机进行拍摄获取。
在本申请实施例中，利用调节光圈匹配后的光场相机，在光场相机景深范围内拍摄N张校准板图像，获取到光场图像。
在本申请实施例中，景深是在光场相机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被拍摄物体前后的距离范围。
需要说明的是，本申请中N的数值可以是大于或等于3的数量，具体的数值可以根据实际情况进行选择，本申请不做具体的限定。
在本申请实施例中，校准板图像为棋盘格校准板或圆点校准板，其中，棋盘格校准板中包含对应的第一可序列化点阵，圆点校准板包含对应的第二可序列化点阵。
需要说明的是，进行拍摄的N张棋盘格校准板或圆点校准板是可以任意进行点阵提取的校准板。
在本申请实施例中，N张校准板为棋盘格校准板时，棋盘格校准板中至少包含对应的四个可序列化的点阵，四个可序列化的点可以是棋盘格校准板的角点；N张校准板为原点校准板时，圆点校准板中也至少包含对应的四个可序列化的点阵。
S102、利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像。
在本申请实施例中，通过调节匹配后的光场相机拍摄得到光场白图像，利用获取的光场白图像可以确定出光场相机的微透镜中心坐标矩阵。
在本申请实施例中，对得到的光场白图像进行滤波处理，对滤波后的图像进行非极大值抑制，获取到滤波后的光场白图像中局部最亮点的位置，作为首先获得局部最大点作为微透镜中心，根据微透镜排列规律及微透镜形状，在水平和竖直方向上对获得的透镜中心点所构成的直线进行拟合，得到微透镜在水平和竖直方向上的间距以及网格的倾斜角，拟合得到该光场相机微透镜阵列平面偏移量；使用缺省的网格平移量以及求出的准确的网格参数，计算出微透镜中心的坐标，进而求出上述坐标与透镜中心坐标的平均偏移，作为网格平移量，进而迭代优化计算得到微透镜中心，将得到的微透镜中心组合成为微透镜中心坐标矩阵。
在本申请实施例中，利用计算出的微透镜中心坐标矩阵可以对获取的光场图像进行多视角图像提取，提取的多视角图像对应于不同的光线角度。
需要说明的是，在利用微透镜坐标矩阵对获取的光场图像进行多视角图像提取时，可以是提取获取的光场图像的M个视角多视角图像，M≥2，具体地M的取值可以根据实际情况进行选择，本申请中不做具体的限定。
示例性地，假设利用光场相机对3张校准板进行拍摄，获取到的是3张校准板对应的不同光线角度的光场图像，若获取的光场相机的光线角度信息为-5度、0度、5度时，以0度为中心视角，则第一张校准板拍摄的光场图像对应这三个角度的三张多视角图像，依次类推，每一张校准板拍摄的光场图像都分别对应不同光场角度的三张多视角图像。
S103、将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵。
在本申请实施例中，在提取出光场图像不同光线角度对应的多视角图像之后，需要将提取的多视角图像划分为基准视角图像和非基准视角图像。
在本申请实施例中，对基准视角图像和非基准视角图像进行划分时，获取光场相机的多个视角信息，将多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除中间位置的一个视角信息以外的其他视角信息确定为非基准视角；基于基准视角和非基准视角，分别从多视角图像中确定出与基准视角对应的基准视角图像和与非基准视角对应的非基准视角图像。
在本申请实施例中，因光场相机在进行光场图像的拍摄时，是基于不同的光线视角进行拍摄的，拍摄的每一张校准板都会获取到不同光线信息对应的多视角图像，即多视角图像对应于不同的光线视角信息。
在本申请实施例中，首先获取光场相机的多个视角的信息，从获取的多个视角中确定出一个视角作为基准视角，将其余的视角作为非基准视角。
需要说明的是，基准视角的选择一般选择最中间的视角作为基准视角，也可以根据实际情况进行选择，本申请中不做具体的限定。
示例性地，光线视角可以对应于-5度、0度、5度，以0度为中心视角，可以将光线视角为0度的中心视角信息作为基准视角，将-5度和5度视角信息作为非基准视角。
在本申请实施例中，基于确定出的基准视角，从提取的多视角图像中确定出基准视角对应的多个多视角图像，将确定出的基准视角对应的多个多视角图像作为基准视角图像，同样，基于确定出的非基准视角，从提取的多视角图像中确定出非基准视角对应的多个视角图像，将确定出的非基准视角对应的多个多视角图像作为非基准视角图像。
在本申请实施例中，基于获取的基准视角图像和非基准视角图像，利用基准视角图像分别与非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵；对至少一组初始双目标定参数矩阵取均值，得到双目标定参数矩阵。
在本申请实施例中，由于光场相机的每个多视角图像都可以被等效地视为一个普通二维相机采集的图像，因此每两个视角可以当作一对双目相机，利用每两个视角信息对应的多视角图像可以进行双目标定。
在本申请实施例中，可以将基准视角对应的基准视角图像与某一非基准视角对应的非基准视角图像进行组合，利用对应的基准视角图像和非基准视角图像进行双目相机标定获得该组双目相机标定参数矩阵P1。
需要说明的是，在利用基准视角对应的基准视角图像与某一非基准视角对应的非基准视角图像进行标定的过程中共用到N×2张多视角图像，其中，N为校准板图像的数量。
需要说明的是，进行双目标定得到的参数矩阵P1中可以包括内参、外参、单应矩阵、基本矩阵、本质矩阵、旋转平移矩阵等。
示例性地，假设视角信息为-5度、0度、5度，其中0度为中心视角，校准板数量N为3张，取基准视角是为中心视角0度，0度的视角对应三张多视角图像，取非基准视角为-5度，-5度的视角对应三张多视角图像，对这两个视角对应的6张图像一一进行双目标定，得到一个参数矩阵。
在本申请实施例中，在进行基准视角图像与非基准视角图像之一进行双目标定后，继续利用相同的方法对基准视角图像和剩余的非基准视角图像进行双目标定，共获得P1、P2...、PM-1共M-1组双目相机标定参数矩阵，其中，M为光场图像的M个视角。
需要说明的是，双目标定的方法可以参考现有技术中双目标定的方法，在这里不再赘述。
在本申请实施例中，在获取到M-1组双目相机标定参数矩阵之后，对获取的M-1组双目相机标定参数矩阵进行尺度归一化处理，消除各组数据权重之间的差异，对归一化后的M-1组双目相机标定参数矩阵取算数平均值，得到等效的双目相机标定参数矩阵P。
需要说明的是，M为光场图像的M个视角。
需要说明的是，得到等效的双目相机标定参数矩阵可以是去平均值的方法，也可以是利用最大似然估计的方法、最小二乘法的方法进行计算，也可以利用其他的计算方式，具体地，可以根据实际情况进行选择，本申请中不做具体的限定。
S104、利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
在本申请实施例中，利用得到的双目相机标定参数矩阵可以对光场相机进行校准，可以是，获取光场相机的预设视差图像；并通过利用双目标定参数矩阵对预设视差图像的处理，将预设视差图像转换为三维空间坐标，以实现对光场相机的校准。
在本申请实施例中，对获取的光场图像进行处理，获取到光场相机的视差图像，基于对极几何，利用汇聚式双目相机模型或平行式双目相机模型得到的双目标定参数矩阵可以将视差转化为深度得到三维空间坐标，实现对光场相机的校准。
需要说明的是，获取光场视差图像的方法可以参考现有技术中实现的方法，在这里不再赘述。
在本申请实施例中，校准后的光场相机可以搭载在无人驾驶汽车上，在汽车行驶的过程中，连续对行驶的道路进行实时拍摄，获取到行驶道路的三维场景图像，可以对获取的三维场景图像进行判断，以规划出更优的行驶路线；或是利用校准后的光场相机拍摄三维虚拟现实图像，并测量虚拟像面的深度，从而帮助厂商确定产品的视觉效果是否符合标准。
可以理解的是，在本申请实施例提供的一种三维图像处理方法中，在获取三维图像的过程中，利用光场白图像确定出的光场相机微透镜坐标矩阵，能够从光场相机获取的光场图像中提取到不同视角对应的多视角图像，将获取的每两个视角对应的多视角图像相互组合进行双目标定，并利用双目标定得到的参数矩阵能够计算得到视差与物体深度之间的关系，将视差转换为三维空间坐标，实现对光场相机的校准，在进行光场相机校准的过程中，仅利用光场中光线的角度信息获取对应的多视角图像，通过多组多视角图像之间的双目标定结果进行优化，降低测量误差，且在光场相机校准的过程中，在对校准板进行摆放时，只需要将校准板摆放在光场相机能够拍摄到完整校准板的位置即可，采用此方案，在利用校准后的光场相机进行三维图像的获取时，能够降低在三维图像获取过程中，光场相机校准时的硬件成本以及系统架设难度，且容易实施。
基于上述实施例，在本申请中提供的一种三维图像获取方法，如图2所示，具体包括如下步骤：
步骤1、利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；
步骤2、利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；
步骤3、获取光场相机的多个视角信息，将多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除中间位置的一个视角信息以外的其他视角信息确定为非基准视角；
步骤4、基于基准视角和非基准视角，分别从多视角图像中确定出与基准视角对应的基准视角图像和与非基准视角对应的非基准视角图像；
步骤5、利用基准视角图像分别与非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵；并对至少一组初始双目标定参数矩阵取均值，得到双目标定参数矩阵；
步骤6、获取光场相机的预设视差图像；并通过利用双目标定参数矩阵对预设视差图像的处理，将预设视差图像转换为三维空间坐标，以实现对光场相机的校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
基于上述实施例，在本申请的另一实施例中提供一种终端设备1，如图3所示，该终端设备1包括：
拍摄单元10，利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像。
确定单元11，用于利用光场白图像，确定光场相机的微透镜中心坐标矩阵。
提取单元12，用于基于微透镜中心坐标矩阵，提取光场图像的多视角图像。
划分单元13，用于将多视角图像划分成基准视角图像和非基准视角图像。
标定单元14，用于对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵。
校准单元15，用于利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
可选地，终端设备1还可以包括：获取单元，
获取单元，用于获取光场相机的多个视角信息。
可选地，确定单元11，还用于将多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除中间位置的一个视角信息以外的其他视角信息确定为非基准视角；基于基准视角和非基准视角，分别从多视角图像中确定出与基准视角对应的基准视角图像和与非基准视角对应的非基准视角图像。
可选地，标定单元14，还用于利用基准视角图像分别与非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵。
可选地，终端设备1还可以包括：处理单元，
处理单元，用于对至少一组初始双目标定参数矩阵取均值，得到双目标定参数矩阵。
可选地，获取单元，还用于获取光场相机的预设视差图像。
可选地，终端设备1还可以包括：转换单元，
转换单元，用于通过利用双目标定参数矩阵对预设视差图像的处理，将预设视差图像转换为三维空间坐标，以实现对光场相机的校准。
本申请实施例提供一种终端设备，利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。由此可见，本申请实施例提供的一种终端设备，在获取三维图像的过程中，利用光场白图像确定出的光场相机微透镜坐标矩阵，能够从光场相机获取的光场图像中提取到不同视角对应的多视角图像，将获取的每两个视角对应的多视角图像相互组合进行双目标定，并利用双目标定得到的参数矩阵能够计算得到视差与物体深度之间的关系，将视差转换为三维空间坐标，实现对光场相机的校准，在进行光场相机校准的过程中，仅利用光场中光线的角度信息获取对应的多视角图像，通过多组多视角图像之间的双目标定结果进行优化，降低测量误差，且在光场相机校准的过程中，在对校准板进行摆放时，只需要将校准板摆放在光场相机能够拍摄到完整校准板的位置即可，采用此方案，在利用校准后的光场相机进行三维图像的获取时，能够降低在三维图像获取过程中，光场相机校准时的硬件成本以及系统架设难度，且容易实施。
图4为本申请实施例提供的一种终端设备1的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图4所示，本实施例的终端设备1包括处理器16、存储器17和通信总线18。
在具体的实施例过程中，上述拍摄单元10、确定单元11、提取单元12、划分单元13、标定单元14、校准单元15、获取单元、处理单元、转换单元可由位于终端设备1上的处理器16实现，上述处理器16可以为特定用途集成电路(ASIC，Application Specific IntegratedCircuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理图像处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑图像处理装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable GateArray)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线18用于实现处理器16和存储器17之间的连接通信；上述处理器16执行存储器17中存储的运行程序时实现如下的三维图像获取方法：
利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；利用光场白图像，确定光场相机的微透镜中心坐标矩阵；并基于微透镜中心坐标矩阵，提取光场图像的多视角图像；将多视角图像划分成基准视角图像和非基准视角图像；并对基准视角图像与非基准视角图像进行双目标定，得到双目标定参数矩阵；利用双目标定参数矩阵对光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
进一步地，上述处理器16，还用于获取光场相机的多个视角信息，将多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除中间位置的一个视角信息以外的其他视角信息确定为非基准视角；基于基准视角和非基准视角，分别从多视角图像中确定出与基准视角对应的基准视角图像和与非基准视角对应的非基准视角图像。
进一步地，上述处理器16，还用于利用基准视角图像分别与非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵；对至少一组初始双目标定参数矩阵取均值，得到双目标定参数矩阵。
进一步地，上述处理器16，还用于获取光场相机的预设视差图像；并通过利用双目标定参数矩阵对预设视差图像的处理，将预设视差图像转换为三维空间坐标，以实现对光场相机的校准。
基于上述实施例，本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端设备中，该计算机程序实现如上述的数据处理方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种三维图像获取方法，其特征在于，所述方法包括：
利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；
利用所述光场白图像，确定所述光场相机的微透镜中心坐标矩阵；并基于所述微透镜中心坐标矩阵，提取所述光场图像的多视角图像；
将所述多视角图像划分成基准视角图像和非基准视角图像；并对所述基准视角图像与所述非基准视角图像进行双目标定，得到双目标定参数矩阵；
利用所述双目标定参数矩阵对所述光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述多视角图像划分成基准视角图像和非基准视角图像，包括：
获取光场相机的多个视角信息，将所述多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除所述中间位置的一个视角信息以外的其他视角信息确定为非基准视角；
基于所述基准视角和所述非基准视角，分别从所述多视角图像中确定出与所述基准视角对应的基准视角图像和与所述非基准视角对应的非基准视角图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述基准视角图像与所述非基准视角图像进行双目标定，得到双目标定参数矩阵，包括：
利用所述基准视角图像分别与所述非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵；
对所述至少一组初始双目标定参数矩阵取均值，得到所述双目标定参数矩阵。
4.根据权利要求1所述的方法，其特征在于，所述利用所述双目标定参数矩阵对所述光场相机进行校准，包括：
获取所述光场相机的预设视差图像；并通过利用所述双目标定参数矩阵对所述预设视差图像的处理，将所述预设视差图像转换为三维空间坐标，以实现对所述光场相机的校准。
5.根据权利要求1所述的方法，其特征在于，所述校准板图像为棋盘格校准板或圆点校准板，其中，所述棋盘格校准板中包含对应的第一可序列化点阵，所述圆点校准板包含对应的第二可序列化点阵。
6.一种终端设备，其特征在于，所述终端设备包括：
拍摄单元，利用调节光圈匹配后的光场相机分别拍摄多张散焦柔光纯色校准板和多张校准板图像，获取光场白图像和光场图像；
确定单元，用于利用所述光场白图像，确定所述光场相机的微透镜中心坐标矩阵；
提取单元，用于基于所述微透镜中心坐标矩阵，提取所述光场图像的多视角图像；
划分单元，用于将所述多视角图像划分成基准视角图像和非基准视角图像；
标定单元，用于对所述基准视角图像与所述非基准视角图像进行双目标定，得到双目标定参数矩阵；
校准单元，用于利用所述双目标定参数矩阵对所述光场相机进行校准；并在无人驾驶过程中利用校准后的光场相机拍摄以获取行驶道路的三维场景图像，或利用校准后的光场相机拍摄以获取三维虚拟现实图像。
7.根据权利要求6所述的终端设备，其特征在于，
获取单元，用于获取光场相机的多个视角信息；
所述确定单元，还用于将所述多个视角信息中处于中间位置的一个视角信息确定为基准视角，并将除所述中间位置的一个视角信息以外的其他视角信息确定为非基准视角；基于所述基准视角和所述非基准视角，分别从所述多视角图像中确定出与所述基准视角对应的基准视角图像和与所述非基准视角对应的非基准视角图像。
8.根据权利要求6所述的终端设备，其特征在于，
所述标定单元，还用于利用所述基准视角图像分别与所述非基准视角图像进行双目标定，得到至少一组初始双目标定参数矩阵；
处理单元，用于对所述至少一组初始双目标定参数矩阵取均值，得到所述双目标定参数矩阵。
9.一种终端设备，其特征在于，所述终端设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-5任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211020651.8A CN115393555A (zh) | 2022-08-24 | 2022-08-24 | 一种三维图像获取方法、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211020651.8A CN115393555A (zh) | 2022-08-24 | 2022-08-24 | 一种三维图像获取方法、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393555A true CN115393555A (zh) | 2022-11-25 |
Family
ID=84121851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211020651.8A Pending CN115393555A (zh) | 2022-08-24 | 2022-08-24 | 一种三维图像获取方法、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393555A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117459700A (zh) * | 2023-12-26 | 2024-01-26 | 荣旗工业科技(苏州)股份有限公司 | 一种彩色光度立体成像方法、系统、电子设备及介质 |
-
2022
- 2022-08-24 CN CN202211020651.8A patent/CN115393555A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117459700A (zh) * | 2023-12-26 | 2024-01-26 | 荣旗工业科技(苏州)股份有限公司 | 一种彩色光度立体成像方法、系统、电子设备及介质 |
| CN117459700B (zh) * | 2023-12-26 | 2024-03-26 | 荣旗工业科技(苏州)股份有限公司 | 一种彩色光度立体成像方法、系统、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3516626B1 (en) | Device and method for obtaining distance information from views | |
| CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
| Bok et al. | Geometric calibration of micro-lens-based light field cameras using line features | |
| CN108257183B (zh) | 一种相机镜头光轴校准方法和装置 | |
| CN106303228B (zh) | 一种聚焦型光场相机的渲染方法和系统 | |
| CN109922255B (zh) | 用于生成实时深度图的双相机系统 | |
| JP2018179981A (ja) | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 | |
| CN108288292A (zh) | 一种三维重建方法、装置及设备 | |
| KR20170005009A (ko) | ３ｄ 라돈 이미지의 생성 및 사용 | |
| CN109325981B (zh) | 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法 | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| CN111080705B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN110136207B (zh) | 鱼眼相机标定系统、方法、装置、电子设备及存储介质 | |
| JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
| CN108805921B (zh) | 图像获取系统及方法 | |
| WO2019065260A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ | |
| CN115578296B (zh) | 一种立体视频处理方法 | |
| CN115393555A (zh) | 一种三维图像获取方法、终端设备及存储介质 | |
| CN112950727B (zh) | 基于仿生曲面复眼的大视场多目标同时测距方法 | |
| CN107659772B (zh) | 3d图像生成方法、装置及电子设备 | |
| CN111292380B (zh) | 图像处理方法及装置 | |
| Ueno et al. | Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging | |
| CN103546680A (zh) | 一种无变形的全方位鱼眼摄像装置及实现方法 | |
| CN110708532A (zh) | 一种普适光场单元图像生成方法和系统 | |
| CN109661817B (zh) | 一种用于生成像素光束的数据表示的装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 200240 102, 1/F, Building 98, 1441 Humin Road, Minhang District, Shanghai 302, 3/F, Building 98, 402, 4/F, Building 98 Applicant after: Yimu (Shanghai) Technology Co.,Ltd. Address before: 200240 room 1206, building 1, No. 951, Jianchuan Road, Minhang District, Shanghai Applicant before: Yimu (Shanghai) Technology Co.,Ltd. |