CN110070503A - 基于卷积神经网络的尺度校准方法、系统及介质 - Google Patents
基于卷积神经网络的尺度校准方法、系统及介质 Download PDFInfo
- Publication number
- CN110070503A CN110070503A CN201910273428.6A CN201910273428A CN110070503A CN 110070503 A CN110070503 A CN 110070503A CN 201910273428 A CN201910273428 A CN 201910273428A CN 110070503 A CN110070503 A CN 110070503A
- Authority
- CN
- China
- Prior art keywords
- correction factor
- neural networks
- convolutional neural
- block
- light field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 55
- 150000001875 compounds Chemical class 0.000 claims abstract description 8
- 239000011664 nicotinic acid Substances 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Abstract
本发明提供了一种基于卷积神经网络的尺度校准方法、系统及介质，包括：从光场相机的弥散图样光场照片出发(包括从微透镜阵列仿生复眼相机、光场相机与相机阵列中得到的弥散图样光场照片)，对于任意形状的弥散图样光场照片，将其输入神经网络，经过神经网络计算之后，得到校准矩阵与校正因子。出于通用性考虑，本发明的技术方案包括以彩色图输入和以灰度图输入两种版本。本发明提供的计算校准矩阵与校正因子的技术方案在达到或优于现有技术中算法精度的基础上，通过优选例进一步提升改进，以进一步提升计算效率及通用性。
Description
技术领域
本发明涉及仿生复眼相机和/或光场相机尺度校准领域，尤其涉及一种基于卷积神经网络的尺度校准方法MC-Net、系统及相应的计算机可读存储介质。
背景技术
在光场成像技术中，采用仿生复眼相机和/或光场相机对物体进行拍摄，可经过一系列计算而得到物体的三维点云，但是这样得到的三维点云只能给出物体的相对位置、相对尺寸的信息，为了进一步得到物体的绝对位置、绝对尺寸的信息，需要求解下述三个方程。
Ddf＝d×(θ×PMR)×(θ×PMR)
其中Ddf是像素平面内弥散圆的直径；pm是主透镜的有效光圈；M是相机的放大倍数；Si是图像距离；(X，Y，Z)是校准点的三维坐标；M4×3是相机的校准矩阵，该矩阵将空间点O(X，Y，Z)与其对应的衍射图案中心坐标(Cdf(I)，Cdf(j))相关联；N1×3是坐标的校准矩阵；PMR是每个微透镜下的像素数；为校正因子，其中，α用于补偿由光学像差和薄透镜模型引起的光线预测误差的校正因子，是用于补偿由MLA和图像传感器之间对准不齐引起的光线偏转的校正因子，δ是放大倍数的校正因子，η是图像距离的校正因子，ρ是透镜的校正因子，ε是弥散圆直径的校正因子，θ是微透镜下像素数的校正因子。而通过弥散图样光场照片计算获得其中校准矩阵M4×3，N1×3与校正因子的过程即为尺度校准。
目前大多数技术在从弥散图样光场照片获取校准矩阵与校正因子时，存在计算复杂、耗时长的问题，因此，本发明针对现有技术存在的问题，提出一种基于卷积神经网络的尺度校准方法、系统及介质，在达到或优于现有技术中算法精度的基础上，通过优选例进一步提升改进，以进一步提升计算效率及通用性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于卷积神经网络的尺度校准方法、系统及存储介质。
根据本发明提供的一种基于卷积神经网络的尺度校准方法，其特征在于，包括：
校准矩阵与校正因子获取步骤：采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子；其中，所述弥散图样光场照片为彩色图或者灰度图。
优选地，所述校准矩阵与校正因子获取步骤，包括：
输入步骤：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；
处理步骤：输入的图像经过不同步长的卷积层、多层次特征提取网络、上采样块，并将所得结果在通道维度叠加，随后通过多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述弥散图样光场照片包括从微透镜阵列仿生复眼相机和/或光场相机和/或相机阵列中得到的弥散图样光场照片；
所述不同步长的卷积层是包括步长为1，2，4，8的不同步长的卷积层；
在所述处理步骤中，通过由二维卷积层、批标准化及参数化线性激活组成的多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述卷积块的结构采用：
输入数据依次通过三个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述上采样块的结构采用：
输入数据依次通过一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块、一个由尺度为2的深度到空间层、另一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种基于卷积神经网络的尺度校准系统，包括：
校准矩阵与校正因子获取模块：采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子；其中，所述弥散图样光场照片为彩色图或者灰度图。
优选地，所述校准矩阵与校正因子获取模块，包括：
输入模块：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；
处理模块：输入的图像经过不同步长的卷积层、多层次特征提取网络、上采样块，并将所得结果在通道维度叠加，随后通过多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述弥散图样光场照片包括从微透镜阵列仿生复眼相机和/或光场相机和/或相机阵列中得到的弥散图样光场照片；
所述不同步长的卷积层是包括步长为1，2，4，8的不同步长的卷积层；
在所述处理模块中，通过由二维卷积层、批标准化及参数化线性激活组成的多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述卷积块的结构采用：
输入数据依次通过三个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述上采样块的结构采用：
输入数据依次通过一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块、一个由尺度为2的深度到空间层、另一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的计算视差的技术方案在在达到或优于现有技术中算法精度的基础上，通过优选例进一步提升改进，提升了计算效率及通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例所述卷积神经网络流程示意图，其中Diffraction patternlight field image代表输入的弥散图样光场照片，Conv表示二维卷积，Step代表步长，BatchNorm代表批标准化，PReLU代表参数化线性激活函数，up代表上采样块，代表求和，concatenate代表沿通道维度叠加，Block代表卷积块，M4×3,N1×3代表输出的校准矩阵,代表输出的校正因子；
图2为本发明实施例所述卷积神经网络中的卷积块结构示意图，其中，Block代表卷积块，Conv代表二维卷积层，BatchNorm代表批标准化，PReLU代表参数化线性激活函数；
图3为本发明实施例所述卷积神经网络中的上采样块结构示意图，其中，up代表上采样块，Conv代表二维卷积层，BatchNorm代表批标准化，PReLU代表参数化线性激活函数，D2S代表depth to space即深度到空间层，Scale代表尺度。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于卷积神经网络的尺度校准方法，包括：
校准矩阵与校正因子获取步骤：采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子；其中，所述弥散图样光场照片为彩色图或者灰度图；所述弥散图样光场照片包括从微透镜阵列仿生复眼相机和/或光场相机和/或相机阵列中得到的弥散图样光场照片；
所述校准矩阵与校正因子获取步骤，包括：
输入步骤：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；在优选例中，提取九张弥散图样光场照片，拍摄这些光场照片时弥散图样到相机的距离在15mm到30mm之间均匀分布，将光场照片在通道维度叠加，作为卷积神经网络的输入；
处理步骤：如图1所示，输入的图像依次或分别经过不同步长的卷积(convolution)层、多层次特征提取网络(multi-scale feature extraction networks)、上采样块(upscale block)，并将所得结果在通道维度叠加，随后通过多个卷积块(convolutional block)之后得到所需的校准矩阵与校正因子。所述不同步长的卷积层是包括步长(step)1，2，4，8的不同步长的卷积层，其中，每层的卷积核数量为128个，大小为3*3。所述多层次特征提取网络包含两个提取段，每个提取段由四个提取块组成。所述两个提取段中，第一个提取段的每个提取块均由卷积核数量256个，大小3*3的二维卷积层、批标准化、参数化线性激活按顺序组成；除最后一个提取块外，每个提取块后面均跟随有一个上采样块；第一个提取块的输入来自步长为8的卷积层，此外的所有提取块的输入均为上一个上采样块的输出和不同步长的卷积层其中一个的输出的和。所述两个提取段中第二个提取段的每个提取块均由卷积核数量256个，大小3*3的二维卷积层、批标准化、参数化线性激活按顺序组成；每个提取块的输入均来自第一个提取段中对应提取块的输出；除最后一个提取块外，每个提取块后面均跟随有上采样块，上采样块的数量分别为3，2，1；第二个提取段中的输出在通道维度叠加即得到多层次特征提取网络的输出。在所述处理步骤中，多层次特征提取网络的输出依次通过多个由卷积核数量256，大小3*3的二维卷积层(depthwiseseparable convolution)、批标准化(batch normalization)及参数化线性激活(PReLU)组成的卷积块之后得到所需的校准矩阵与校正因子。如图2所示，所述卷积块的结构采用：输入数据依次通过三个由卷积核数量256个，大小3*3的二维卷积层、批标准化、参数化线性激活按顺序组成的处理块之后得到输出。如图3所示，所述上采样块的结构采用：输入数据依次通过一个由卷积核数量256个，大小3*3的二维卷积层、批标准化、参数化线性激活按顺序组成的处理块，一个尺度为2的深度到空间层，以及一个由卷积核数量256个，大小3*3的二维卷积层、批标准化、参数化线性激活按顺序组成的处理块之后得到输出。
进一步地，所述基于卷积神经网络的尺度校准方法，包括训练步骤；其中，所述训练步骤包括：
步骤101：收集带有真实校准矩阵与校正因子的训练数据，并将训练数据增量，例如通过反转90°，180°，270°，左右颠倒，上下颠倒，反相等方法进行增量，随后将增量过的数据提取出弥散图样光场照片，例如按照所述输入步骤中的方法得到所需的九张弥散图样光场照片；
步骤102：将步骤101中得到的数据进行切割，把弥散图样光场照片分别切割，并将弥散图样光场照片和真实校准矩阵与校正因子一一对应；例如，按照步长32个像素把九张弥散图样光场照片分别切割成数个64*64的图像块，并将九张弥散图样光场照片和真实校准矩阵与校正因子一一对应；
步骤103：从步骤102中得到的切割成图像块的数据中随机提取出一部分作为验证(validation)集，其余部分作为训练(training)集输入所述卷积神经网络；
步骤104：在步骤103输入的数据上，根据如下所述根据损失(loss)函数，通过反向传播(backward propagation)的方法训练卷积神经网络：
所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
下面结合一个具体实施例对本发明的优选例进行说明。
在实际拍摄过程中，采用了一个由变焦镜头，6600*4400 CCD传感器和高精度微透镜阵列组成的光场相机，其所拍摄的照片经过处理后得到了黑白弥散图样光场照片。
步骤一：依据前述步骤101至步骤104训练神经网络，并将训练好的神经网络参数保存。
步骤二：提取九张弥散图样光场照片，拍摄这些光场照片时弥散图样到光场相机的距离在15mm到30mm之间均匀分布，将光场照片在通道维度叠加，作为前述步骤一中训练好的神经网络的输入。
步骤三：将步骤二所得图像通过步骤一所得神经网络处理后即可得到所需校准矩阵与校正因子。
可见，本发明的发明构思完全不同于现有的算法，直接以弥散图样光场照片作为输入，直接利用卷积神经网络处理得到输出。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于卷积神经网络的尺度校准方法的步骤。
本发明还提供一种基于卷积神经网络的尺度校准系统，包括：
校准矩阵与校正因子获取模块：采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子；其中，所述弥散图样光场照片为彩色图或者灰度图。
优选地，所述校准矩阵与校正因子获取模块，包括：
输入模块：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；
处理模块：输入的图像经过不同步长的卷积层、多层次特征提取网络、上采样块，并将所得结果在通道维度叠加，随后通过多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述弥散图样光场照片包括从微透镜阵列光场相机和/或相机阵列中得到的弥散图样光场照片；
所述不同步长的卷积层是包括步长为1，2，4，8的不同步长的卷积层；
在所述处理模块中，通过由二维卷积层、批标准化及参数化线性激活组成的多个卷积块之后得到所需的校准矩阵与校正因子。
优选地，所述卷积块的结构采用：
输入数据依次通过三个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述上采样块的结构采用：
输入数据依次通过一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块、一个由尺度为2的深度到空间层、另一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
优选地，所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (9)
1.一种基于卷积神经网络的尺度校准方法，其特征在于，采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子，其中，所述弥散图样光场照片为彩色图或者灰度图；
校准矩阵与校正因子获取步骤，包括：
输入步骤：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；
处理步骤：输入的图像经过不同步长的卷积层、多层次特征提取网络、上采样块，并将所得结果在通道维度叠加，随后通过多个卷积块之后得到所需的校准矩阵与校正因子。
2.根据权利要求1所述的基于卷积神经网络的尺度校准方法，其特征在于，
所述弥散图样光场照片包括从微透镜阵列仿生复眼相机和/或光场相机和/或相机阵列中得到的弥散图样光场照片；
所述不同步长的卷积层是包括步长为1，2，4，8的不同步长的卷积层；
在所述处理步骤中，通过由二维卷积层、批标准化及参数化线性激活组成的多个卷积块之后得到所需的校准矩阵与校正因子。
3.根据权利要求1所述的基于卷积神经网络的尺度校准方法，其特征在于，所述卷积块的结构采用：
输入数据依次通过三个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
4.根据权利要求1所述的基于卷积神经网络的尺度校准方法，其特征在于，所述上采样块的结构采用：
输入数据依次通过一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块、一个由尺度为2的深度到空间层、另一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出。
5.根据权利要求1所述的基于卷积神经网络的尺度校准方法，其特征在于，所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
α,β,ω,γ,δ,ρ,η,θ,ε表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
6.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
7.一种基于卷积神经网络的尺度校准系统，其特征在于，包括：
校准矩阵与校正因子获取模块：采用卷积神经网络的端到端方式，输入为弥散图样光场照片，输出为校准矩阵与校正因子；其中，所述弥散图样光场照片为彩色图或者灰度图。
8.根据权利要求7所述的基于卷积神经网络的尺度校准系统，其特征在于，所述校准矩阵与校正因子获取模块，包括：
输入模块：将弥散图样光场照片在通道维度叠加，作为卷积神经网络的输入；
处理模块：输入的图像经过不同步长的卷积层、多层次特征提取网络、上采样块，并将所得结果在通道维度叠加，随后通过多个卷积块之后得到所需的校准矩阵与校正因子。
9.根据权利要求8所述的基于卷积神经网络的尺度校准系统，其特征在于，
所述弥散图样光场照片包括从微透镜阵列仿生复眼相机和/或光场相机和/或相机阵列中得到的弥散图样光场照片；
所述不同步长的卷积层是包括步长为1，2，4，8的不同步长的卷积层；
在所述处理模块中，通过由二维卷积层、批标准化及参数化线性激活组成的多个卷积块之后得到所需的校准矩阵与校正因子。
所述卷积块的结构采用：
输入数据依次通过三个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出；
所述上采样块的结构采用：
输入数据依次通过一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块、一个由尺度为2的深度到空间层、另一个由二维卷积层、批标准化、参数化线性激活按顺序组成的处理块得到输出；
所述卷积神经网络所采用的损失函数loss为：
d1＝Mout(4×3)-Mgt(4×3)
d2＝Nout(1×3)-Ngt(1×3)
其中，
λ1,λ2,λ3为系数；
M,N表示校准矩阵；
α,β,ω,γ,δ,ρ,η,θ,ε表示校正因子；
n表示数据总数，n>1；
下标out、gt分别表示输出值、真实值；
下标(4×3),(1×3)表示矩阵的形状；
对于损失函数loss，第一项为校准矩阵平均绝对误差，第二项为校准矩阵点乘误差，第三项为校正因子平均绝对误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910273428.6A CN110070503A (zh) | 2019-04-05 | 2019-04-05 | 基于卷积神经网络的尺度校准方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910273428.6A CN110070503A (zh) | 2019-04-05 | 2019-04-05 | 基于卷积神经网络的尺度校准方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110070503A true CN110070503A (zh) | 2019-07-30 |
Family
ID=67367221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910273428.6A Withdrawn CN110070503A (zh) | 2019-04-05 | 2019-04-05 | 基于卷积神经网络的尺度校准方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070503A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634182A (zh) * | 2020-12-18 | 2021-04-09 | 平安普惠企业管理有限公司 | 一种基于光场的图像校正方法、装置、设备及存储介质 |
| CN113900608A (zh) * | 2021-09-07 | 2022-01-07 | 北京邮电大学 | 立体三维光场的显示方法、装置、电子设备及介质 |
| CN114723044A (zh) * | 2022-04-07 | 2022-07-08 | 杭州知存智能科技有限公司 | 用于存内计算芯片的误差补偿方法、装置、芯片、设备 |
| WO2023060459A1 (en) * | 2021-10-13 | 2023-04-20 | Intel Corporation | Sample-adaptive 3d feature calibration and association agent |
-
2019
- 2019-04-05 CN CN201910273428.6A patent/CN110070503A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634182A (zh) * | 2020-12-18 | 2021-04-09 | 平安普惠企业管理有限公司 | 一种基于光场的图像校正方法、装置、设备及存储介质 |
| CN113900608A (zh) * | 2021-09-07 | 2022-01-07 | 北京邮电大学 | 立体三维光场的显示方法、装置、电子设备及介质 |
| CN113900608B (zh) * | 2021-09-07 | 2024-03-15 | 北京邮电大学 | 立体三维光场的显示方法、装置、电子设备及介质 |
| WO2023060459A1 (en) * | 2021-10-13 | 2023-04-20 | Intel Corporation | Sample-adaptive 3d feature calibration and association agent |
| CN114723044A (zh) * | 2022-04-07 | 2022-07-08 | 杭州知存智能科技有限公司 | 用于存内计算芯片的误差补偿方法、装置、芯片、设备 |
| CN114723044B (zh) * | 2022-04-07 | 2023-04-25 | 杭州知存智能科技有限公司 | 用于存内计算芯片的误差补偿方法、装置、芯片、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070503A (zh) | 基于卷积神经网络的尺度校准方法、系统及介质 | |
| CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
| CN109997170B (zh) | 用于从视图中获得距离信息的设备和方法 | |
| CN109544621A (zh) | 基于卷积神经网络的光场深度估计方法、系统及介质 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN107851327A (zh) | 粗细搜索方法及图像处理装置 | |
| CN105335748A (zh) | 图像特征提取方法和系统 | |
| CA2998670A1 (en) | Light field data representation | |
| Ziegler et al. | Acquisition system for dense lightfield of large scenes | |
| CN109801325A (zh) | 一种双目立体视觉系统获取视差图的方法及装置 | |
| KR20120023052A (ko) | 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치 | |
| CN110264527A (zh) | 基于zynq的实时双目立体视觉输出方法 | |
| CN110136048B (zh) | 一种图像配准方法及系统、存储介质及终端 | |
| CN105979248B (zh) | 具有混合深度估计的图像处理系统及其操作方法 | |
| CN108596032A (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
| CN110335228B (zh) | 一种图像视差的确定方法、装置及系统 | |
| CN109087344A (zh) | 三维重建中的图像选择方法及装置 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| Faluvégi et al. | A 3D convolutional neural network for light field depth estimation | |
| Du et al. | An automatic image registration evaluation model on dense feature points by pinhole camera simulation | |
| CN110930344B (zh) | 一种目标的质量确定方法、装置、系统及电子设备 | |
| US11250589B2 (en) | General monocular machine vision system and method for identifying locations of target elements | |
| CN106326846B (zh) | 无人机图像的林木植株并行提取方法 | |
| CN117078984B (zh) | 双目图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190821 Address after: Room 1103, No. 951 Jianchuan Road, Minhang District, Shanghai, 200240 Applicant after: Yimu (Shanghai) Technology Co.,Ltd. Address before: 200240 Dongchuan Road, Shanghai, No. 800, No. Applicant before: Ma Haoxin |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: 201100 room 1206, building 1, No. 951, Jianchuan Road, Minhang District, Shanghai Applicant after: Yimu (Shanghai) Technology Co.,Ltd. Address before: 200240 room 1103, building 1, No. 951, Jianchuan Road, Minhang District, Shanghai Applicant before: Yimu (Shanghai) Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190730 |
|
| WW01 | Invention patent application withdrawn after publication |