CN108961184A - 一种深度图像的校正方法、装置及设备 - Google Patents
一种深度图像的校正方法、装置及设备 Download PDFInfo
- Publication number
- CN108961184A CN108961184A CN201810689092.7A CN201810689092A CN108961184A CN 108961184 A CN108961184 A CN 108961184A CN 201810689092 A CN201810689092 A CN 201810689092A CN 108961184 A CN108961184 A CN 108961184A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- depth
- sample
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 72
- 238000012937 correction Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 210000005036 nerve Anatomy 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 10
- 238000003702 image correction Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000002310 reflectometry Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明实施例提供了一种深度图像的校正方法、装置及设备，其中，该方法包括；获取原始深度图像；根据原始深度图像中像素点的像素值，确定原始深度图像对应的像素向量；将原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对原始深度图像进行校正，得到校正后的校正深度图像；其中，ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。通过本发明实施例提供的深度图像的校正方法、装置及设备，能够提高对深度图像校正的准确度，进而提高三维场景重建的效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度图像的校正方法、装置及设备。
背景技术
随着RGB-D(Red-Green-Blue-Depth)相机的发展，三维场景重建技术也得到了进一步的发展。具体地，通过RGB-D相机采集场景对应的彩色图像和深度图像，然后通过该深度图像确定空间点的三维坐标及通过该彩色图像确定空间点的颜色信息，进而得到三维点云，如此实现三维场景的重建。可以看出，实现三维场景重建的过程中，需要深度图像确定三维坐标，则深度图像的质量直接影响三维坐标的确定，进一步影响三维场景重建的效果。如此，为了提高三维场景重建的效果，对深度图像进行校正，以保证深度图像的质量是重要的过程。
现有技术中，对深度图像的校正主要是对由于深度相机本身设计而产生的畸变的校正。具体地，可以根据摄像机标定方式确定畸变系数，然后作与畸变相反的变换，消除畸变，实现对畸变的校正。具体地摄像机标定方式包括：建立摄像机成像的几何模型，用以描述空间坐标系中物体点同它在图像平面上像素点之间的对应关系，进而求解几何模型的参数和畸变系数，其中，几何模型的参数即摄像机的内参数。
现有技术中，对深度图像进行校正的过程中，仅考虑到畸变对深度图像质量的影响。如此使得，对深度图像校正的准确度不高。
发明内容
本发明实施例的目的在于提供一种深度图像的校正方法、装置及设备，以提高对深度图像校正的准确度。具体技术方案如下：
第一方面，本发明实施例提供了一种深度图像的校正方法，包括：
获取原始深度图像；
根据所述原始深度图像中像素点的像素值，确定所述原始深度图像对应的像素向量；
将所述原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对所述原始深度图像进行校正，得到校正后的校正深度图像；其中，所述ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
可选的，所述获取原始深度图像的步骤，包括：
通过深度相机采集第一深度图像，并将所述第一深度图像作为所述原始深度图像；
或者，
通过所述深度相机采集所述第一深度图像；
对所述第一深度图像进行径向畸变校正和切向畸变校正，得到所述原始深度图像。
可选的，预先训练所述ANN模型的步骤，包括：
获取具有不同参数的样本图像；
根据所述样本图像中像素点的像素值，确定所述样本图像对应的像素向量；
将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练，得到所述ANN模型。
可选的，所述获取具有不同参数的样本图像的步骤，包括：
确定包括多个灰度级的条形模板图像；
通过深度相机采集所述条形模板图像位于不同位置时，所述条形模板图像对应的深度图像，并将所述深度图像作为样本图像；
其中，不同位置包括所述条形模板图像位于与所述深度相机不同距离的位置，且所述条形模板图像位于与所述深度相机不同距离的位置时，处于所述深度相机的拍摄范围内。
可选的，所述将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练的步骤，包括：
将所述样本图像对应的像素向量和样本数据真值，输入至所述预设人工神经网络模型，其中，所述预设人工神经网络模型包括待测参数；
调整所述待测参数，使得所述像素向量对应的输出数据与所述样本数据真值之间的代价函数收敛；并在所述代价函数收敛时，确定所述待测参数。
第二方面，本发明实施例提供了一种深度图像的校正装置，包括：
第一获取模块，用于获取原始深度图像；
第一确定模块，用于根据所述原始深度图像中像素点的像素值，确定所述原始深度图像对应的像素向量；
校正模块，用于将所述原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对所述原始深度图像进行校正，得到校正后的校正深度图像；其中，所述ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
可选的，所述第一获取模块，包括：
第一采集子模块，用于通过深度相机采集第一深度图像，并将所述第一深度图像作为所述原始深度图像；
或者，
第二采集子模块，用于通过所述深度相机采集所述第一深度图像；
畸变校正子模块，用于对所述第一深度图像进行径向畸变校正和切向畸变校正，得到所述原始深度图像。
可选的，所述装置还包括：
第二获取模块，用于获取具有不同参数的样本图像；
第二确定模块，用于根据所述样本图像中像素点的像素值，确定所述样本图像对应的像素向量；
训练模块，用于将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练，得到所述ANN模型。
可选的，所述第二获取模块，包括
确定子模块，用于确定包括多个灰度级的条形模板图像；
第三采集子模块，用于通过深度相机采集所述条形模板图像位于不同位置时，所述条形模板图像对应的深度图像，并将所述深度图像作为样本图像；
其中，不同位置包括所述条形模板图像位于与所述深度相机不同距离的位置，且所述条形模板图像位于与所述深度相机不同距离的位置时，处于所述深度相机的拍摄范围内。
第三方面，本发明实施例提供了一种深度图像的校正设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述的方法步骤。
本发明实施例提供的深度图像的校正方法、装置及设备中，获取原始深度图像；根据原始深度图像中像素点的像素值，确定原始深度图像对应的像素向量；将原始深度图像对应的像素向量输入至预先训练的人工神经网络(Artificial Neural Network，ANN)模型，对原始深度图像进行校正，得到校正后的校正深度图像；其中，ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。可以看出，ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。如此，将原始深度图像对应的像素向量，输入至预先训练的ANN模型，实现对原始深度图像的校正，能够校正不同参数对深度图像质量的影响，提高对深度图像校正的准确度，进而提高三维场景重建的效果。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的深度图像的校正方法的流程图；
图2为本发明实施例提供的条形模板图像的示意图；
图3(a)为本发明实施例中条形模板图像放置的结构示意图；
图3(b)为本发明实施例中深度相机放置的结构示意图；
图4为本发明实施例中预设人工神经网络模型的结构示意图；
图5为本发明实施例提供的具体实施例的流程图；
图6为本发明实施例提供的深度图像的校正装置的结构示意图；
图7为本发明实施例提供的深度图像的校正设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
深度图像的质量不仅会由于深度相机本身设计产生的畸变造成影响，还会受到多个参数的影响，例如，待测场景的反射率等。而现有技术中，对深度图像进行校正的过程中，仅考虑到畸变对深度图像质量的影响。如此使得，对深度图像校正的准确度不高。为了提高对深度图像校正的准确度，本发明实施例提供了一种深度图像的校正方法，下面进行详细描述。
本发明实施例提供了一种深度图像的校正方法，如图1所示，包括：
S101，获取原始深度图像。
本发明实施例提供的深度图像的校正方法可以应用于电子设备，其中，该电子设备可以包括台式计算机、便携式计算机、智能移动终端等。
本发明实施例中，电子设备可以通过深度相机直接采集原始深度图像。具体地，通过深度相机采集第一深度图像，并将第一深度图像作为原始深度图像。
或者，电子设备也可以对通过深度相机采集的深度图像进行处理，得到该原始深度图像。具体地，可以通过深度相机采集第一深度图像；对第一深度图像进行径向畸变校正和切向畸变校正，得到原始深度图像。
其中，深度相机，如用于采集深度图像的RGB-D相机。深度相机可以包括目前已有的深度相机，例如，基于双目匹配的深度相机、基于结构光深度测量的相机，以及基于飞行时间(Time of Flight，ToF)深度测量的深度相机。
径向畸变校正和切向畸变校正的过程，可以根据摄像机标定方式确定畸变系数，然后作与畸变相反的变换，消除畸变，实现对畸变的校正。径向畸变是由于光线在远离深度相机中透镜中心的地方比靠近中心的地方更加弯曲产生的，径向畸变主要包含桶形畸变和枕形畸变两种。切向畸变是由于摄像机制造上的缺陷使得透镜本身与图像成像平面不平行而产生的。且目前已有的技术中，包含径向畸变校正和切向畸变校正的方式，执行该步骤时参照已有的径向畸变校正和切向畸变校正的过程即可，这里就不再赘述。
S102，根据原始深度图像中像素点的像素值，确定原始深度图像对应的像素向量。
其中，原始深度图像通过像素点的像素值，表示待测场景与深度相机的距离。
原始深度图像确定后，则该原始深度图像各个像素点对应的像素值即可确定。如此，将各个像素点对应的像素值进行排列，可以得到原始深度图像对应的像素向量。
具体地，根据原始深度图像各个像素点对应的像素值，确定该原始深度图像对应的像素矩阵，像素矩阵中的每个元素与原始深度图像中的像素点一一对应，像素矩阵中元素的值为该元素对应的像素点的像素值。如此，将该像素矩阵转换为一维向量，该一维向量即为确定的像素向量。
S103，将原始深度图像对应的像素向量输入至预先训练的ANN模型，对原始深度图像进行校正，得到校正后的校正深度图像。
其中，ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
其中，参数可以包括待测场景的反射率、待测场景与深度相机的距离等。样本数据真值可以包括实际的待测场景与深度相机的距离。
通过原始深度图像的像素值反映待测场景与深度相机的距离。但是，因为受到实际环境中多种因素、多个参数的影响，使得原始深度图像反映的距离与实际的待测场景与深度相机的距离有差异。如此，为了减小原始深度图像反映的距离与实际的距离之间的差异，需要对原始深度图像进行校正，以使校正后的校正深度图像能够准确反映实际的待测场景与深度相机的距离。
本发明实施例中，电子设备将原始深度图像对应的像素向量输入至预先训练的ANN模型，通过该ANN模型对原始深度图像的校正，得到校正深度图像。
本发明实施例中，将原始深度图像对应的像素向量，输入至预先训练的ANN模型，实现对原始深度图像的校正。且ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的，如此，能够校正不同参数对深度图像质量的影响，提高对深度图像校正的准确度，进而提高三维场景重建的效果。
为了能够通过ANN模型实现对原始深度图像的校正，本发明实施例中，可以包括预先训练ANN模型的过程。
具体地，预先训练ANN模型的步骤，可以包括：
A1，获取具有不同参数的样本图像。
参数可以包括反射率和测距。反射率可以包括待测场景的反射率、测距可以包括待测场景与深度相机的距离。
具体地，获取具有不同参数的样本图像的步骤，可以包括：
A11，确定包括多个灰度级的条形模板图像。
打印出包括从全黑到全白的六个灰度级的条形模板图像，其中，灰度级从上到下依次是：100％黑(全黑)；80％黑；60％黑；40％黑；20％黑；0％黑(全白)，具体地，确定的条形模板图像如图2所示。
A12，通过深度相机采集条形模板图像位于不同位置时，条形模板图像对应的深度图像，并将深度图像作为样本图像。
其中，不同位置包括条形模板图像位于与深度相机不同距离的位置，且条形模板图像位于与深度相机不同距离的位置时，处于深度相机的拍摄范围内。
具体地，可以将条形模板图像贴于一平板上，将该平板放置于一个三脚架上，并使条形模板图像与地面保持垂直，如图3(a)所示；将深度相机放置于另一个三脚架上，并使深度相机的前面板与地面保持垂直，如图3(b)所示。
将放置深度相机的三脚架固定，以预设的距离步长移动放置有包括条形模板图像的平板的三脚架，使深度相机与条形模板图像相距不同的距离，如此实现将条形模板图像放置于与深度相机不同距离的位置。具体地，预设的距离步长，以及深度相机与条形模板图像相距的距离可以根据实际需求确定。
本发明实施例一种可选的实现方式中，确定距离步长为0.05米，通过深度相机采集条形模板图像位于与深度相机相距的距离为0.8米到2米的位置时，条形模板图像对应的深度图像，如此，采集26个距离的情况下，条形模板图像对应的深度图像，每个距离的情况下，采集条形模板图像对应的预设数量个深度图像，预设数量可以根据实际需求确定，例如，可以是60张、50张、40张等等。
A2，根据样本图像中像素点的像素值，确定样本图像对应的像素向量。
具体地，根据样本图像中像素点的像素值，确定样本图像对应的像素向量的过程，与上述步骤S102中，根据原始深度图像中像素点的像素值，确定原始深度图像对应的像素向量的过程类似，执行该步骤时参照上述步骤S102的过程即可，这里就不再赘述。
A3，将样本图像对应的像素向量，以及样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对预设人工神经网络模型进行训练，得到ANN模型。
具体地，将样本图像对应的像素向量，以及样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对预设人工神经网络模型进行训练，包括：
A31，将样本图像对应的像素向量和样本数据真值，输入至预设人工神经网络模型。
其中，预设人工神经网络模型包括待测参数。待测参数可以包括：隐藏层层数，隐藏层神经元的数量，批尺寸，学习速率，迭代次数，等等。
一张样本图像对应的像素向量和样本数据真值组成一条样本数据。分别将多条样本数据输入至预设人工神经网络模型，例如，1300条等。本发明实施例一种可选的实现方式中，可以将多条样本数据分为三部分作为训练集、验证集和测试集，例如，按照60％、20％、20％的比例将多条样本数据分别作为训练集、验证集和测试集。
预设人工神经网络模型可以包括L+2层，其中，包括一层输入层、一层输出层、L层隐藏层。通过输入层输入向量x，向量x依次经过L层隐藏层得到h(1)、h(2)、…、h(i)、...、h(L)，最终经过输出层输出y。具体如图4所示。
输入向量x被映射到隐藏层中的神经元，如下所示：
h(i)＝ReLU(Wi·x+bi) (i＝1)
h(i)＝ReLU(Wi·h(i-1)+bi) (i＝2,3,…,L)
其中，L为隐藏层的总层数，Wi为输入层和隐藏层之间的权重矩阵，bi为隐藏层的偏置参数向量，ReLU为一种非线性函数。
输出层的输出y由隐式神经元矢量的线性组合确定，如下式：
y＝f(x；W)＝h(L)(h(L-1)(…h(2)(h(1)(x；w(1))；w(2))；…；w(L-1))；w(L))
A32，调整待测参数，使得像素向量对应的输出数据与样本数据真值之间的代价函数收敛；并在代价函数收敛时，确定待测参数。
代价函数可以为：
其中，Loss为代价函数的标识，n为样本数量，ygt j为标号为j的样本数据中、样本图像对应的样本数据真值，yj，即f(xj；W)为标号为j的样本数据中、样本图像对应的像素向量对应的输出数据。
具体地，在代价函数收敛于确定的值时，确定待测参数。例如，多次输入样本数据时，代价函数的值不变，此时，确定的待测参数即为最终训练得到的待测参数。其中，该确定的值可以是代价函数的最小值等。
本发明实施例中，还可以根据得到的代价函数的值，通过公式：计算预测值和真值之间的平均误差，即输出数据与样本数据真值之间平均误差，AveError即为计算得到的平均误差。如此，可以更加直观、准确地确定输出数据与样本数据真值之间的差异。
本发明一个具体的实施例中，如图5所示。
第一步，准备条形平面面板，即确定条形模板图像，具体地确定过程参照上述实施例中步骤A11。
第二步，根据条形模板图像，确定样本图像，即通过深度相机采集条形模板图像的深度图像，具体地过程参照上述实施例中步骤A12。
第三步，将深度图像与该条形模板图像对齐，如截取深度图像中与该条形模板图像对应的区域。
第四步，确定深度图像对应的样本数据，即确定深度图像对应的像素向量，以及样本数据真值，样本数据真值可以是距离真值。
第五步，通过将多个样本数据划分为训练集、验证集以及测试集，训练得到人工神经网络ANN模型。
其中，训练集是用来学习的样本集，通过匹配参数来建立分类器；验证集是用来调整分类器的参数的样本集，比如在人工神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。一种比较常用的验证方式，交叉验证方式的验证过程：使用训练集中样本数据所有候选模型进行参数估计，使用验证集(validationset)为检验样本，然后计算预测均方误差，比较各个模型的预测均方误差，选择预测均方误差最小的拟合模型为选择模型；测试集是为了测试已经训练好的模型的分类能力的样本集。
第六步，ANN模型训练完成后，在对深度图像进行校正时，可以将原始深度图像对应的像素向量输入至该ANN模型，通过该ANN模型进行校正，得到校正深度图像。其中，原始深度图像可以是通过深度相机直接采集的深度图像；或者也可以是对通过深度相机采集的深度图像进行处理，得到的深度图像。这里所说的处理可以是径向畸变校正和切向畸变校正，等等。
本发明实施例中，深度图像的校正方法可以普适性的用于各种深度相机，无论是基于结构光的深度相机，还是基于ToF的深度相机都可以利用该深度图像的校正方法实现对深度图像的校正。且校正后的深度图像在精度和准确度都有所提升，进而能够得到精度更高、可视化效果更好的室内场景的三维重建效果。
本发明实施例还提供了一种深度图像的校正装置，如图6所示，包括：
第一获取模块601，用于获取原始深度图像；
第一确定模块602，用于根据原始深度图像中像素点的像素值，确定原始深度图像对应的像素向量；
校正模块603，用于将原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对原始深度图像进行校正，得到校正后的校正深度图像；其中，ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
本发明实施例中，将原始深度图像对应的像素向量，输入至预先训练的ANN模型，实现对原始深度图像的校正。且ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的，如此，能够校正不同参数对深度图像质量的影响，提高对深度图像校正的准确度，进而提高三维场景重建的效果。
可选的，第一获取模块601，包括：
第一采集子模块，用于通过深度相机采集第一深度图像，并将第一深度图像作为原始深度图像；
或者，
第二采集子模块，用于通过深度相机采集第一深度图像；
畸变校正子模块，用于对第一深度图像进行径向畸变校正和切向畸变校正，得到原始深度图像。
可选的，该装置还包括：
第二获取模块，用于获取具有不同参数的样本图像；
第二确定模块，用于根据样本图像中像素点的像素值，确定样本图像对应的像素向量；
训练模块，用于将样本图像对应的像素向量，以及样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对预设人工神经网络模型进行训练，得到ANN模型。
可选的，第二获取模块，包括
确定子模块，用于确定包括多个灰度级的条形模板图像；
第三采集子模块，用于通过深度相机采集条形模板图像位于不同位置时，条形模板图像对应的深度图像，并将深度图像作为样本图像；
其中，不同位置包括条形模板图像位于与深度相机不同距离的位置，且条形模板图像位于与深度相机不同距离的位置时，处于深度相机的拍摄范围内。
可选的，训练模块，包括：
输入子模块，用于将样本图像对应的像素向量和样本数据真值，输入至预设人工神经网络模型，其中，预设人工神经网络模型包括待测参数；
调整子模块，用于调整待测参数，使得像素向量对应的输出数据与样本数据真值之间的代价函数收敛；并在代价函数收敛时，确定待测参数。
需要说明的是，本发明实施例提供的深度图像的校正装置是应用上述深度图像的校正方法的装置，则上述深度图像的校正方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种深度图像的校正设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述深度图像的校正方法的方法步骤。
本发明实施例中，将原始深度图像对应的像素向量，输入至预先训练的ANN模型，实现对原始深度图像的校正。且ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的，如此，能够校正不同参数对深度图像质量的影响，提高对深度图像校正的准确度，进而提高三维场景重建的效果。
上述深度图像的校正设备提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述深度图像的校正设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述深度图像的校正方法的方法步骤。
本发明实施例中，将原始深度图像对应的像素向量，输入至预先训练的ANN模型，实现对原始深度图像的校正。且ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的，如此，能够校正不同参数对深度图像质量的影响，提高对深度图像校正的准确度，进而提高三维场景重建的效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种深度图像的校正方法，其特征在于，包括：
获取原始深度图像；
根据所述原始深度图像中像素点的像素值，确定所述原始深度图像对应的像素向量；
将所述原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对所述原始深度图像进行校正，得到校正后的校正深度图像；其中，所述ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述获取原始深度图像的步骤，包括：
通过深度相机采集第一深度图像，并将所述第一深度图像作为所述原始深度图像；
或者，
通过所述深度相机采集所述第一深度图像；
对所述第一深度图像进行径向畸变校正和切向畸变校正，得到所述原始深度图像。
3.根据权利要求1或2所述的方法，其特征在于，预先训练所述ANN模型的步骤，包括：
获取具有不同参数的样本图像；
根据所述样本图像中像素点的像素值，确定所述样本图像对应的像素向量；
将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练，得到所述ANN模型。
4.根据权利要求3所述的方法，其特征在于，所述获取具有不同参数的样本图像的步骤，包括：
确定包括多个灰度级的条形模板图像；
通过深度相机采集所述条形模板图像位于不同位置时，所述条形模板图像对应的深度图像，并将所述深度图像作为样本图像；
其中，不同位置包括所述条形模板图像位于与所述深度相机不同距离的位置，且所述条形模板图像位于与所述深度相机不同距离的位置时，处于所述深度相机的拍摄范围内。
5.根据权利要求3所述的方法，其特征在于，所述将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练的步骤，包括：
将所述样本图像对应的像素向量和样本数据真值，输入至所述预设人工神经网络模型，其中，所述预设人工神经网络模型包括待测参数；
调整所述待测参数，使得所述像素向量对应的输出数据与所述样本数据真值之间的代价函数收敛；并在所述代价函数收敛时，确定所述待测参数。
6.一种深度图像的校正装置，其特征在于，包括：
第一获取模块，用于获取原始深度图像；
第一确定模块，用于根据所述原始深度图像中像素点的像素值，确定所述原始深度图像对应的像素向量；
校正模块，用于将所述原始深度图像对应的像素向量输入至预先训练的人工神经网络ANN模型，对所述原始深度图像进行校正，得到校正后的校正深度图像；其中，所述ANN模型是根据具有不同参数的样本图像对应的像素向量、以及样本数据真值训练得到的。
7.根据权利要求6所述的装置，其特征在于，所述第一获取模块，包括：
第一采集子模块，用于通过深度相机采集第一深度图像，并将所述第一深度图像作为所述原始深度图像；
或者，
第二采集子模块，用于通过所述深度相机采集所述第一深度图像；
畸变校正子模块，用于对所述第一深度图像进行径向畸变校正和切向畸变校正，得到所述原始深度图像。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取具有不同参数的样本图像；
第二确定模块，用于根据所述样本图像中像素点的像素值，确定所述样本图像对应的像素向量；
训练模块，用于将所述样本图像对应的像素向量，以及所述样本图像对应的样本数据真值作为预设人工神经网络模型的输入参数，对所述预设人工神经网络模型进行训练，得到所述ANN模型。
9.根据权利要求8所述的装置，其特征在于，所述第二获取模块，包括
确定子模块，用于确定包括多个灰度级的条形模板图像；
第三采集子模块，用于通过深度相机采集所述条形模板图像位于不同位置时，所述条形模板图像对应的深度图像，并将所述深度图像作为样本图像；
其中，不同位置包括所述条形模板图像位于与所述深度相机不同距离的位置，且所述条形模板图像位于与所述深度相机不同距离的位置时，处于所述深度相机的拍摄范围内。
10.一种深度图像的校正设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810689092.7A CN108961184B (zh) | 2018-06-28 | 2018-06-28 | 一种深度图像的校正方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810689092.7A CN108961184B (zh) | 2018-06-28 | 2018-06-28 | 一种深度图像的校正方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108961184A true CN108961184A (zh) | 2018-12-07 |
| CN108961184B CN108961184B (zh) | 2021-04-20 |
Family
ID=64487658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810689092.7A Active CN108961184B (zh) | 2018-06-28 | 2018-06-28 | 一种深度图像的校正方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961184B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658352A (zh) * | 2018-12-14 | 2019-04-19 | 深圳市商汤科技有限公司 | 图像信息的优化方法及装置、电子设备和存储介质 |
| CN109738881A (zh) * | 2019-01-11 | 2019-05-10 | 歌尔股份有限公司 | 飞行时间深度模组的标定方法、装置及可读存储介质 |
| CN110197228A (zh) * | 2019-05-31 | 2019-09-03 | 北京百度网讯科技有限公司 | 图像校正方法及装置 |
| CN110889442A (zh) * | 2019-11-20 | 2020-03-17 | 北京工业大学 | 一种针对脉冲型ToF深度相机的物体材质分类的方法 |
| CN111047681A (zh) * | 2019-11-07 | 2020-04-21 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN111667524A (zh) * | 2020-05-28 | 2020-09-15 | 北京深测科技有限公司 | 一种飞行时间相机的深度误差校准方法 |
| WO2021032172A1 (zh) * | 2019-08-21 | 2021-02-25 | 贝壳找房(北京)科技有限公司 | 深度图像的畸变矫正方法、装置、电子设备及存储介质 |
| CN112532858A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理方法、图像采集方法及相关装置 |
| CN112561807A (zh) * | 2020-11-26 | 2021-03-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
| CN113009508A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150112897A1 (en) * | 2013-10-23 | 2015-04-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for Estimating Parameters of a Graph Spectral Filter Using Training Data |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN107169933A (zh) * | 2017-04-14 | 2017-09-15 | 杭州光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN107507153A (zh) * | 2017-09-21 | 2017-12-22 | 百度在线网络技术（北京）有限公司 | 图像去噪方法和装置 |
-
2018
- 2018-06-28 CN CN201810689092.7A patent/CN108961184B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150112897A1 (en) * | 2013-10-23 | 2015-04-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for Estimating Parameters of a Graph Spectral Filter Using Training Data |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN107169933A (zh) * | 2017-04-14 | 2017-09-15 | 杭州光珀智能科技有限公司 | 一种基于tof深度相机的边缘反射像素校正方法 |
| CN107358576A (zh) * | 2017-06-24 | 2017-11-17 | 天津大学 | 基于卷积神经网络的深度图超分辨率重建方法 |
| CN107507153A (zh) * | 2017-09-21 | 2017-12-22 | 百度在线网络技术（北京）有限公司 | 图像去噪方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| GRANINO A. KORN: "《先进动态系统仿真——模型复制与蒙特卡罗研究》", 31 December 2017, 国防工业出版社 * |
| 王雪姣: "基于深度神经网络的ToF深度图像去噪研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658352A (zh) * | 2018-12-14 | 2019-04-19 | 深圳市商汤科技有限公司 | 图像信息的优化方法及装置、电子设备和存储介质 |
| WO2020119026A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN109738881A (zh) * | 2019-01-11 | 2019-05-10 | 歌尔股份有限公司 | 飞行时间深度模组的标定方法、装置及可读存储介质 |
| CN109738881B (zh) * | 2019-01-11 | 2023-08-08 | 歌尔光学科技有限公司 | 飞行时间深度模组的标定方法、装置及可读存储介质 |
| CN110197228A (zh) * | 2019-05-31 | 2019-09-03 | 北京百度网讯科技有限公司 | 图像校正方法及装置 |
| CN110197228B (zh) * | 2019-05-31 | 2020-11-27 | 北京百度网讯科技有限公司 | 图像校正方法及装置 |
| WO2021032172A1 (zh) * | 2019-08-21 | 2021-02-25 | 贝壳找房(北京)科技有限公司 | 深度图像的畸变矫正方法、装置、电子设备及存储介质 |
| CN112532858A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 一种图像处理方法、图像采集方法及相关装置 |
| CN111047681A (zh) * | 2019-11-07 | 2020-04-21 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN111047681B (zh) * | 2019-11-07 | 2022-03-22 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN110889442B (zh) * | 2019-11-20 | 2023-08-01 | 北京工业大学 | 一种针对脉冲型ToF深度相机的物体材质分类的方法 |
| CN110889442A (zh) * | 2019-11-20 | 2020-03-17 | 北京工业大学 | 一种针对脉冲型ToF深度相机的物体材质分类的方法 |
| CN113009508A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
| CN113009508B (zh) * | 2019-12-20 | 2023-11-07 | 舜宇光学（浙江）研究院有限公司 | 用于tof模组的多径干扰校正方法及其系统和电子设备 |
| CN111667524A (zh) * | 2020-05-28 | 2020-09-15 | 北京深测科技有限公司 | 一种飞行时间相机的深度误差校准方法 |
| CN112561807A (zh) * | 2020-11-26 | 2021-03-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
| CN112561807B (zh) * | 2020-11-26 | 2022-08-26 | 北京大学 | 一种基于卷积神经网络的端到端径向畸变校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108961184B (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961184A (zh) | 一种深度图像的校正方法、装置及设备 | |
| CN104613930B (zh) | 一种测距的方法、装置及移动终端 | |
| CN105763870B (zh) | 一种十字线立体测试标版及其形成方法 | |
| CN110443879B (zh) | 一种基于神经网络的透视误差补偿方法 | |
| WO2015100105A1 (en) | Improving plenoptic camera resolution | |
| US11435289B2 (en) | Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus | |
| CN104034514A (zh) | 大视场相机非线性畸变校正装置与方法 | |
| CN109345467A (zh) | 成像畸变校正方法、装置、计算机设备及存储介质 | |
| CN112801094B (zh) | 一种指针式仪表图像倾斜校正方法 | |
| EP3279864B1 (en) | A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device | |
| CN106501917A (zh) | 一种镜头辅助调焦方法和装置 | |
| CN109464148A (zh) | 测量脊柱弯曲的装置及系统 | |
| Wagdy et al. | A parametric method for remapping and calibrating fisheye images for glare analysis | |
| CN107851301A (zh) | 用于选择图像变换的系统和方法 | |
| CN109724531A (zh) | 360°轮廓测量方法 | |
| JP5599849B2 (ja) | レンズ検査装置及びその方法 | |
| CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
| CN105979248A (zh) | 具有混合深度估计的图像处理系统及其操作方法 | |
| Hutsemékers et al. | Geometry and kinematics of the broad emission line region in the lensed quasar Q2237+ 0305 | |
| CN107786808A (zh) | 生成代表与光场数据相关联的散景的数据的方法和装置 | |
| CN109862346A (zh) | 调焦测试方法及设备 | |
| Stets et al. | Scene reassembly after multimodal digitization and pipeline evaluation using photorealistic rendering | |
| CN110225335A (zh) | 相机稳定性评估方法及装置 | |
| CN106855433B (zh) | 一种成像光谱仪自动定标的方法及装置 | |
| CN108986721A (zh) | 一种用于显示面板检测的检测图形生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |