CN109003235A - 光场图像的校正方法、计算机可读存储介质、及电子终端 - Google Patents
光场图像的校正方法、计算机可读存储介质、及电子终端 Download PDFInfo
- Publication number
- CN109003235A CN109003235A CN201810676668.6A CN201810676668A CN109003235A CN 109003235 A CN109003235 A CN 109003235A CN 201810676668 A CN201810676668 A CN 201810676668A CN 109003235 A CN109003235 A CN 109003235A
- Authority
- CN
- China
- Prior art keywords
- ideal
- camera
- light field
- field image
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 56
- 238000013519 translation Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000004438 eyesight Effects 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 abstract description 7
- 230000000737 periodic effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供光场图像的校正方法、计算机可读存储介质、及电子终端，本发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像，以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。
Description
技术领域
本发明涉及光学技术领域，特别是涉及光场图像的校正方法、计算机可读存储介质、及 电子终端。
背景技术
光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知 物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强 度，而失去了目标的三维形态信息。光场信息采集，便是是获取光辐射的完整分布，通过变 换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图 像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理 算法才能得到“所见”(图像)。因此，光场成像的过程包括光场的采集及相应的光场数据 处理。
基于多相机阵列采集的光场图像，在理想情况下视角处于阵列同行的相邻图像只有水平 视差，视角处于阵列同列的相邻图像只有竖直视差，同时相邻的相机之间的基线相等。这种 理想状况使得极线约束只存在于水平或者竖直方向，对于深度估计和图像匹配等计算机视觉 应用中的像素匹配搜索过程提供了极大的方便，同时可以获得相应的高质量结果。除此之 外，等基线的设定从理论上对光线进行周期性采样，使得多相机阵列图像可以高效的应用于 相关的光场渲染算法。
但是，由于相机制作工艺，或者传感器在相机中的相对位置有所差异，抑或阵列装配过 程中也存在安装误差等原因，导致相机阵列中的相机的姿态和视角并不完全在理想状态下， 故采集的相邻图像之间的视差处于不同方向。
因此，如何基于多相机阵列光场采集的多视角阵列图像数据，获得视角处于阵列同行的 相邻图像只有水平视差，视角处于阵列同列的相邻图像只有竖直视差，且相邻的相机之间的 基线相等，成为本领域亟需解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供光场图像的校正方法、计算机可 读存储介质、及电子终端，用于解决现有技术中相机阵列中的相机的姿态和视角并不完全在 理想状态等技术问题。
为实现上述目的及其他相关目的，本发明提供一种光场图像的校正方法，应用于多相机 阵列，所述多相机阵列用于采集世界坐标系中的三维场景点并将其转换为相机坐标系中的多 行多列光场图像，其中，所述相机坐标系包括当前坐标系和理想坐标系；所述校正方法包 括：将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系 中的理想光场图像；以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光 场图像校正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光 场图像校正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水 平视差，同列图像只存在竖直视差，且相邻图像之间基线相等。
于本发明的一实施例中，所述方法还包括：所述三维场景点基于当前投影矩阵转换为当 前坐标系中的当前光场图像；所述三维场景点基于理想投影矩阵转换为理想坐标系中的理想 光场图像；其中，所述变换矩阵包括变换矩阵，所述变换矩阵包括所述当前投影矩阵和理想 转换矩阵；所述理想转换矩阵包括理想内参矩阵和理想外参矩阵，所述理想外参矩阵又包括 理想旋转矩阵和理想平移向量。
于本发明的一实施例中，令相机阵列中第i行第j列的相机为Cij，其采集到的世界坐标 系中的三维场景点的坐标为pw，该三维场景点投影为当前坐标系中的当前光场图像的坐标 为pij，且该三维场景点投影为理想坐标系中的理想光场图像的坐标为pij-ideal；pw与pij、 pij-ideal之间的关系如下：
pij＝Pij·pw＝Kij·[Rij|tij]·pw；pij-ideal＝Pij-ideal·pw＝Kij-ideal·[Rij-ideal|tij-ideal]·pw；
令所述变换矩阵为Hij，则：pij-ideal＝Hij·pij；
其中，Pij和Pij-ideal分别为所述当前投影矩阵和理想投影矩阵；为所述当前投影矩阵 Pij的伪逆矩阵；Kij和Kij-ideal分别为当前内参矩阵和理想内参矩阵；[Rij|tij]和[Rij-ideal|tij-ideal] 分别为当前外参矩阵和理想外参矩阵；Rij和Rij-ideal分别为当前旋转矩阵和理想旋转矩阵；tij和tij-ideal分别为当前平移向量和理想平移向量。
于本发明的一实施例中，多相机阵列中各相机的理想旋转矩阵均相同，且各相机的理想 旋转矩阵包括绕轴角度最小的旋转矩阵。
于本发明的一实施例中，令各相机的理想旋转矩阵为Rideal，其包括分别绕x轴、y轴和 z轴旋转的欧拉角参数αideal、βideal、γideal；
其中：
α∈[min(α11,α12,…,αMN),max(α11,α12,…,αMN)],
β∈[min(β11,β12,…,βMN),max(β11,β12,…,βMN)],
γ∈[min(γ11,γ12,…,γMN),max(γ11,γ12,…,γMN)]
于本发明的一实施例中，理想内参矩阵包括理想焦距Fij-ideal和理想像平面中心Oij-ideal， 其中： 且
于本发明的一实施例中，理想平移向量的求取过程包括：在所述多相机阵列中选取一相 机作为参考相机；计算所述参考相机的理想光心坐标；根据所述参考相机的理想光心坐标， 计算多相机阵列中其它各相机的理想光心坐标；根据各相机的理想光心坐标，计算各相机的 理想平移向量。
于本发明的一实施例中，计算所述参考相机的理想光心坐标，具体包括：选取与现有光 心位置变动最小的光心位置为理想光心位置，所述理想光心位置的坐标为所述理想光心坐 标。
于本发明的一实施例中，令相机C11为所述参考相机，参考相机的理想光心坐标为相机Cij为多相机阵列除了所述参考相机之外的第i行第j列的相机，相机Cij的理想光心坐标为令理想平移向量为tij-ideal，则其中：为参考相机C11的理想 光心坐标，为理想水平基线，为理想竖直基线； x11-r∈[x11-Δx,x11+Δx]； y11-r∈[y11-Δy,y11+Δy]；z11-r∈[min(z11,z12,…,zMN),max(z11,z12,…,zMN)]；其中，为相机 Cij在随机坐标系下相机光心坐标，为相机CijRideal作用下相机光心坐标；
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计 算机程序，其特征在于，该程序被处理器执行时实现所述光场图像的校正方法。
为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器及存储器； 所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使 所述终端执行所述光场图像的校正方法。
如上所述，本发明的光场图像的校正方法、计算机可读存储介质、及电子终端，具有以 下有益效果：本发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和 理想相机坐标系中的理想光场图像，再以所述当前光场图像为输入，并以理想光场图像为输 出，计算从当前光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的 同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深 度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线 进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。
附图说明
图1显示为本发明一实施例中光场图像的校正方法的流程的示意图。
图2显示为本发明一实施例中基于理想情况的多相机阵列采集到光场图像的示意图。
图3显示为本发明一实施例中基于非理想情况的多相机阵列采集到光场图像的示意图。
图4显示为本发明一实施例中电子终端的结构示意图。
元件标号说明
41 处理器
42 存储器
43 通信器
44 通信接口
45 系统总线
S11～S12 方法流程
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图 式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
如图1所示，展示本发明一实施例中光场图像的校正方法的流程示意图。需要说明的 是，所述光场图像的校正方法应用于多相机阵列，所述多相机阵列用于采集世界坐标系中的 三维场景点并将其转换为相机坐标系中的多行多列光场图像，其中，所述相机坐标系包括当 前坐标系和理想坐标系；所述校正方法具体包括：
S11：将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机 坐标系中的理想光场图像。具体而言，所述三维场景点基于当前投影矩阵转换为当前坐标系 中的当前光场图像，所述三维场景点基于理想投影矩阵转换为理想坐标系中的理想光场图 像。
举例来说，对于M×N多相机阵列的单个相机Cij应用小孔成像模型，其中，i和j分别为相机所在行和所在列的索引。所谓小孔成像模型主要由光心、主光轴、成像平面组成，主光轴为过光心且垂直于成像平面的光线，光心到像平面的距离为焦距Fij。相邻两个相机Cij和Ci(j+1)之间的光心距离为水平基线相邻两个相机Cij和C(i+1)j之间的光心距离为竖直基 线
根据小孔成像模型，世界坐标系中的三维场景点pw投影于相机Cij像平面的当前坐标系 中的当前像点为pij，pij＝Kij·[Rij|tij]·pw，其中，Kij·[Rij|tij]即为所述当前投影矩阵，用 于将世界坐标系中的点pw投影至当前坐标系中的点pij；Kij为相机Cij的3×3的内参矩阵， 用于描述相机Cij的焦距、主像点位置、及畸变参数；[Rij|tij]为相机Cij的外参矩阵，用于 描述相机Cij的当前坐标系与世界坐标系之间的变换关系；Rij为相机Cij的当前坐标系相对于 世界坐标系的3×3旋转矩阵；tij为相机Cij的当前坐标系相对于世界坐标系的3×1平移向 量。
S12：以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校 正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光场图像校 正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水平视差， 同列图像只存在竖直视差，且相邻图像之间基线相等。
校正后的理想坐标系中同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图 像之间基线相等，且在M×N个理想光场图像中，任意水平相邻的理想光场图像对于处于同 一深度的点保持相同的视差，任意竖直相邻的理想光场图像对于处于同一深度的点保持相同 的视差。为便于本领域技术人员理解，下文将结合附图就上述内容做进一步的阐述。
如图2所示，展示本发明一实施例中基于理想情况的多相机阵列采集到的光场图像。于 本实施例中，M×N多相机阵列共采集M行N列的光场图像，图2采用多条虚线连接各行及 各列相机的光心。其中，各行光场图像之间仅存在水平视差，各列光场图像之间仅存在竖直 视差，各行相机的水平基线相等，即各列相机的竖直基线亦相 等，即
值得注意的是，现有技术通常由于相机制作工艺、传感器在相机中的相对位置有所差 异、或者在阵列装配过程中存在误差等原因，导致多相机阵列中的相机的姿态和视角并不在 理想状态下。举例来说，如图3所展示的，相机采集到的相邻图像之间的视差处于不同方 向，这就给深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程带来了极大的不 便。
而本发明提供的光场图像的校正方法，通过变换矩阵将当前光场图像转换为理想光场图 像，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方 便，同时可以获得相应的高质量结果。与此同时，由于各相机之间的水平基线和竖直基线均 相等，故可对光线进行周期性采样，使得多相机阵列图像可以高效地应用于相关的光场渲染 算法。所谓光场渲染算法是指在不需要图像的深度信息或相关性的条件下，通过相机阵列或 由一个相机按照设计好的路径移动将场景拍摄下来作为输入图像集，并对于任意给定的新视 点，找出该视点邻近的几个采样点进行简单重新采样即能得到该视点处的视图的算法。下文 将以具体的实施例说明光场图像转换的实施方式以及工作原理。
在一实施例中，令相机阵列中第i行第j列的相机为Cij，其采集到的世界坐标系中的三 维场景点的坐标为pw，该三维场景点投影为当前坐标系中的当前光场图像的坐标为pij，且 该三维场景点投影为理想坐标系中的理想光场图像的坐标为pij-ideal；pw与pij、pij-ideal之间 的关系如下：pij＝Pij·pw＝Kij·[Rij|tij]·pw；pij-ideal＝Pij-ideal·pw＝Kij-ideal·[Rij-ideal|tij-ideal]·pw。
令所述变换矩阵为Hij，则：pij-ideal＝Hij·pij；由此可知，基于变换矩 阵Hij，可将当前坐标系中任一当前光场图像转换为对应于理想坐标系中的理想光场图像。
需要说明的是，Pij和Pij-ideal分别为所述当前投影矩阵和理想投影矩阵；为所述当前 投影矩阵Pij的伪逆矩阵；Kij和Kij-ideal分别为当前内参矩阵和理想内参矩阵；[Rij|tij]和 [Rij-ideal|tij-ideal]分别为当前外参矩阵和理想外参矩阵；Rij和Rij-ideal分别为当前旋转矩阵和理想 旋转矩阵；tij和tij-ideal分别为当前平移向量和理想平移向量。
其中，理想投影矩阵Pij-ideal的计算基于理想内参矩阵Kij-ideal以及理想外参矩阵[Rij-ideal|tij-ideal]，而所述理想外参矩阵[Rij-ideal|tij-ideal]的计算又基于理想旋转矩阵Rij-ideal以及理想 平移向量tij-ideal。也即，理想投影矩阵Pij-ideal的计算需基于理想内参矩阵Kij-ideal、理想旋转矩 阵Rij-ideal以及理想平移向量tij-ideal，下文就具体如何计算该三个参数分别做阐释。
在一优选的设计中，理想内参矩阵Kij-ideal包括理想焦距Fij-ideal和理想像平面中心 Oij-ideal。在忽略畸变参数的情况下，焦距 理想像平面中心可表示为 基于理想焦距Fij-ideal和理想像 平面中心Oij-ideal，理想内参矩阵可表示为
在一优选的设计中，多相机阵列中各相机的理想旋转矩阵均相同，从而保证校正过程整 体误差最小化。此外，各相机的理想旋转矩阵选取绕轴角度最小的旋转矩阵， 即R11-ideal＝R12-ideal＝…＝RMN-ideal＝Rideal。多相机阵列中所有相机的理想旋转矩阵需保持一致， 从而使得校正后所有相机的光轴处于相互平行的理想状态。
具体而言，令各相机的理想旋转矩阵为Rideal，其可由绕x轴、y轴和z轴旋转的欧拉角 参数αideal、βideal、γideal表示为：
α∈[min(α11,α12,…,αMN),max(α11,α12,…,αMN)]，
β∈[min(β11,β12,…,βMN),max(β11,β12,…,βMN)]，
γ∈[min(γ11,γ12,…,γMN),max(γ11,γ12,…,γMN)]。由此，可求得相机绕轴角度最小的理想旋 转矩阵。
在一优选的设计中，所述理想平移向量tij-ideal的计算过程包括：在所述多相机阵列中选 取一相机作为参考相机；计算所述参考相机的理想光心坐标；根据所述参考相机的理想光心 坐标，计算多相机阵列中其它各相机的理想光心坐标；根据各相机的理想光心坐标，计算各 相机的理想平移向量。其中，计算所述参考相机的理想光心坐标，具体包括：选取与现有光 心位置变动最小的光心位置为理想光心位置，所述理想光心位置的坐标为所述理想光心坐 标。
具体而言，令相机C11为所述参考相机，参考相机的理想光心坐标为相机Cij为 多相机阵列除了所述参考相机之外的第i行第j列的相机，相机Cij的理想光心坐标为令理想平移向量为tij-ideal，其表示为：
其中，为参考相 机C11的理想光心坐标，为理想水平基线，为理想竖直基线。的计算过程如下。
表示为需要说明 的是，上述关于的表达式需满足如下各个条件：x11-r∈[x11-Δx,x11+Δx]；y11-r∈[y11-Δy,y11+Δy]；z11-r∈[min(z11,z12,…,zMN),max(z11,z12,…,zMN)]；为相机Cij在 随机坐标系下相机光心坐标，为相机CijRideal作用下相机光心坐标。
和表示为，其中， 且i≤M,j＜N；且i＜M,j≤N；此外，Bh和竖 直Bv还需满足如下各个条件：
基于理想旋转矩阵Rideal以及理想光心坐标为根据可计算 求得理想平移向量tij-ideal。
基于上述内容，根据理想内参Kij-ideal、理想旋转矩阵Rij-ideal、以及理想平移向量tij-ideal， 且根据公式即可将当前坐标系中的光场图像转换为对应 的理想坐标系中的光场图像。于理想坐标系中的各光场图像的同行图像只存在水平视差，同 列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视 觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵 列图像可以高效地应用于相关的光场渲染算法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算 机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序 在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁 碟或者光盘等各种可以存储程序代码的介质。
如图4所示，展示本发明一实施例中电子终端的结构示意图。本实例提供的电子终端， 包括：处理器41、存储器42、通信器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和通信器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44用于和其他设备进行通信，处理器41和通信器43用于运行计算机程序，使电子终端执行如上光场图像校正方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(PeripheralPomponentInterconnect，简称 PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该 系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表 示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他 设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器 (RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)， 例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、 网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简 称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程 逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明提供的光场图像的校正方法、计算机可读存储介质、及电子终端，本 发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系 中的理想光场图像，再以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前 光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的同行图像只存在 水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹 配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样 以使多相机阵列图像可以高效地应用于相关的光场渲染算法。所以，本发明有效克服了现有 技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种光场图像的校正方法，其特征在于，应用于多相机阵列，所述多相机阵列用于采集世界坐标系中的三维场景点并将其转换为相机坐标系中的多行多列光场图像，其中，所述相机坐标系包括当前坐标系和理想坐标系；所述校正方法包括：
将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像；
以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光场图像校正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等。
2.根据权利要求1所述的光场图像的校正方法，其特征在于，令相机阵列中第i行第j列的相机为Cij，其采集到的世界坐标系中的三维场景点的坐标为pw，该三维场景点投影为当前坐标系中的当前光场图像的坐标为pij，且该三维场景点投影为理想坐标系中的理想光场图像的坐标为pij-ideal；pw与pij、pij-ideal之间的关系如下：
pij＝Pij·pw＝Kij·[Rij|tij]·pw；
pij-ideal＝Pij-ideal·pw＝Kij-ideal·[Rij-ideal|tij-ideal]·pw；
令所述变换矩阵为Hij，则：pij-ideal＝Hij·pij；
其中，Pij和Pij-ideal分别为当前投影矩阵和理想投影矩阵；为所述当前投影矩阵Pij的伪逆矩阵；Kij和Kij-ideal分别为当前内参矩阵和理想内参矩阵；[Rij|tij]和[Rij-ideal|tij-ideal]分别为当前外参矩阵和理想外参矩阵；Rij和Rij-ideal分别为当前旋转矩阵和理想旋转矩阵；tij和tij-ideal分别为当前平移向量和理想平移向量。
3.根据权利要求2所述的光场图像的校正方法，其特征在于，多相机阵列中各相机的理想旋转矩阵均相同，且各相机的理想旋转矩阵包括绕轴角度最小的旋转矩阵。
4.根据权利要求3所述的光场图像的校正方法，其特征在于，令各相机的理想旋转矩阵为Rideal，其包括分别绕x轴、y轴和z轴旋转的欧拉角参数αideal、βideal、γideal；
其中：
α∈[min(α11,α12,…,αMN),max(α11,α12,…,αMN)],
β∈[min(β11,β12,…,βMN),max(β11,β12,…,βMN)],
γ∈[min(γ11,γ12,…,γMN),max(γ11,γ12,…,γMN)]。
5.根据权利要求2所述的光场图像的校正方法，其特征在于，理想内参矩阵包括理想焦距Fij-ideal和理想像平面中心Oij-ideal，其中：
6.根据权利要求2所述的光场图像的校正方法，其特征在于，理想平移向量的求取过程包括：
在所述多相机阵列中选取一相机作为参考相机；
计算所述参考相机的理想光心坐标；
根据所述参考相机的理想光心坐标，计算多相机阵列中其它各相机的理想光心坐标；
根据各相机的理想光心坐标，计算各相机的理想平移向量。
7.根据权利要求6所述的光场图像的校正方法，其特征在于，计算所述参考相机的理想光心坐标，具体包括：选取与现有光心位置变动最小的光心位置为理想光心位置，所述理想光心位置的坐标为所述理想光心坐标。
8.根据权利要求7所述的光场图像的校正方法，其特征在于，令相机C11为所述参考相机，参考相机的理想光心坐标为相机Cij为多相机阵列除了所述参考相机之外的第i行第j列的相机，相机Cij的理想光心坐标为令理想平移向量为tij-ideal，则：
其中：
为参考相机C11的理想光心坐标，为理想水平基线，为理想竖直基线；
x11-r∈[x11-Δx,x11+Δx]；
y11-r∈[y11-Δy,y11+Δy]；
z11-r∈[min(z11,z12,…,zMN),max(z11,z12,…,zMN)]；其中，为相机Cij在随机坐标系下相机光心坐标，为相机CijRideal作用下相机光心坐标；
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至8中任一项所述的光场图像的校正方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述的光场图像的校正方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810676668.6A CN109003235A (zh) | 2018-06-27 | 2018-06-27 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
| PCT/CN2019/081430 WO2020001120A1 (zh) | 2018-06-27 | 2019-04-04 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810676668.6A CN109003235A (zh) | 2018-06-27 | 2018-06-27 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109003235A true CN109003235A (zh) | 2018-12-14 |
Family
ID=64601527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810676668.6A Pending CN109003235A (zh) | 2018-06-27 | 2018-06-27 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109003235A (zh) |
| WO (1) | WO2020001120A1 (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110533769A (zh) * | 2019-08-20 | 2019-12-03 | 福建捷宇电脑科技有限公司 | 一种翻开书本图像的平整化方法及终端 |
| WO2020001120A1 (zh) * | 2018-06-27 | 2020-01-02 | 曜科智能科技（上海）有限公司 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
| CN110866951A (zh) * | 2019-10-08 | 2020-03-06 | 华南农业大学 | 一种单目摄像机光轴倾斜的校正方法 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111815696A (zh) * | 2019-04-11 | 2020-10-23 | 曜科智能科技（上海）有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
| CN112087616A (zh) * | 2019-06-12 | 2020-12-15 | 上海麦界信息技术有限公司 | 生成二维光场图像的方法、装置和计算机可读介质 |
| CN112634182A (zh) * | 2020-12-18 | 2021-04-09 | 平安普惠企业管理有限公司 | 一种基于光场的图像校正方法、装置、设备及存储介质 |
| WO2021189804A1 (zh) * | 2020-03-23 | 2021-09-30 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
| CN113470154A (zh) * | 2021-07-30 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111225221B (zh) * | 2020-01-15 | 2021-12-14 | 未来新视界文化科技(嘉善)有限公司 | 全景视频图像处理方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103997638A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种矩阵式相机阵列多视点图像校正方法 |
| CN103997637A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种平行相机阵列多视点图像校正方法 |
| CN104036475A (zh) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 |
| CN106507084A (zh) * | 2016-10-18 | 2017-03-15 | 安徽协创物联网技术有限公司 | 一种全景相机阵列多视点图像校正方法 |
| CN106920263A (zh) * | 2017-03-10 | 2017-07-04 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8743219B1 (en) * | 2010-07-13 | 2014-06-03 | Marvell International Ltd. | Image rotation correction and restoration using gyroscope and accelerometer |
| JP6213812B2 (ja) * | 2012-07-31 | 2017-10-18 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | 立体画像表示装置及び立体画像処理方法 |
| CN109003235A (zh) * | 2018-06-27 | 2018-12-14 | 曜科智能科技（上海）有限公司 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
-
2018
- 2018-06-27 CN CN201810676668.6A patent/CN109003235A/zh active Pending
-
2019
- 2019-04-04 WO PCT/CN2019/081430 patent/WO2020001120A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036475A (zh) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 |
| CN103997638A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种矩阵式相机阵列多视点图像校正方法 |
| CN103997637A (zh) * | 2014-05-30 | 2014-08-20 | 天津大学 | 一种平行相机阵列多视点图像校正方法 |
| CN106507084A (zh) * | 2016-10-18 | 2017-03-15 | 安徽协创物联网技术有限公司 | 一种全景相机阵列多视点图像校正方法 |
| CN106920263A (zh) * | 2017-03-10 | 2017-07-04 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIACHEN YANG等: ""A multi-view image rectification algorithm for matrix camera arrangement"", 《ARTIFICIAL INTELLIGENCE RESEARCH》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020001120A1 (zh) * | 2018-06-27 | 2020-01-02 | 曜科智能科技（上海）有限公司 | 光场图像的校正方法、计算机可读存储介质、及电子终端 |
| CN111383262B (zh) * | 2018-12-28 | 2023-05-12 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111815696A (zh) * | 2019-04-11 | 2020-10-23 | 曜科智能科技（上海）有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
| CN111815696B (zh) * | 2019-04-11 | 2023-08-22 | 曜科智能科技（上海）有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
| CN112087616A (zh) * | 2019-06-12 | 2020-12-15 | 上海麦界信息技术有限公司 | 生成二维光场图像的方法、装置和计算机可读介质 |
| CN110533769A (zh) * | 2019-08-20 | 2019-12-03 | 福建捷宇电脑科技有限公司 | 一种翻开书本图像的平整化方法及终端 |
| CN110533769B (zh) * | 2019-08-20 | 2023-06-02 | 福建捷宇电脑科技有限公司 | 一种翻开书本图像的平整化方法及终端 |
| CN110866951A (zh) * | 2019-10-08 | 2020-03-06 | 华南农业大学 | 一种单目摄像机光轴倾斜的校正方法 |
| CN110866951B (zh) * | 2019-10-08 | 2024-05-10 | 华南农业大学 | 一种单目摄像机光轴倾斜的校正方法 |
| WO2021189804A1 (zh) * | 2020-03-23 | 2021-09-30 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
| CN112634182A (zh) * | 2020-12-18 | 2021-04-09 | 平安普惠企业管理有限公司 | 一种基于光场的图像校正方法、装置、设备及存储介质 |
| CN113470154A (zh) * | 2021-07-30 | 2021-10-01 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113470154B (zh) * | 2021-07-30 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020001120A1 (zh) | 2020-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003235A (zh) | 光场图像的校正方法、计算机可读存储介质、及电子终端 | |
| CN111750820B (zh) | 影像定位方法及其系统 | |
| CN108564617B (zh) | 多目相机的三维重建方法、装置、vr相机和全景相机 | |
| Micusik et al. | Autocalibration & 3D reconstruction with non-central catadioptric cameras | |
| CN111462172B (zh) | 一种基于行驶场景估计的三维全景影像自适应生成方法 | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
| CN110363838B (zh) | 基于多球面相机模型的大视野图像三维重构优化方法 | |
| Aghayari et al. | Geometric calibration of full spherical panoramic Ricoh-Theta camera | |
| CN110345921B (zh) | 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统 | |
| CN106875451A (zh) | 相机标定方法、装置及电子设备 | |
| CN105208247A (zh) | 一种基于四元数的全景稳像方法 | |
| JP6174104B2 (ja) | 室内２ｄ平面図の生成方法、装置及びシステム | |
| KR20140090775A (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
| GB2561368B (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
| CN112802121A (zh) | 监控相机的标定方法 | |
| Fang et al. | Self-supervised camera self-calibration from video | |
| Li et al. | Spherical stereo for the construction of immersive VR environment | |
| CN115345942A (zh) | 空间标定方法、装置、计算机设备和存储介质 | |
| Cao et al. | Camera calibration using symmetric objects | |
| CN112258581B (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
| Monteiro et al. | Standard plenoptic cameras mapping to camera arrays and calibration based on DLT | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| Bergmann et al. | Gravity alignment for single panorama depth inference | |
| CN111915741A (zh) | 一种基于三维重建的vr生成器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181214 |