CN111353963B - 一种深度相机的温度补偿方法及装置 - Google Patents
一种深度相机的温度补偿方法及装置 Download PDFInfo
- Publication number
- CN111353963B CN111353963B CN202010119894.1A CN202010119894A CN111353963B CN 111353963 B CN111353963 B CN 111353963B CN 202010119894 A CN202010119894 A CN 202010119894A CN 111353963 B CN111353963 B CN 111353963B
- Authority
- CN
- China
- Prior art keywords
- temperature
- different areas
- image corresponding
- sampling
- working
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 107
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000005070 sampling Methods 0.000 claims description 113
- 238000010586 diagram Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 2
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种深度相机的温度补偿方法及装置，获取深度相机光学模组的工作温度，调用温度补偿模型，获取该工作温度对应的图像不同区域的变形函数的回归系数，计算该工作温度对应的图像不同区域的像素点坐标偏移量，进而根据参考温度对应的光斑图和该工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到该工作温度对应的光斑图，由于该光斑图为补偿了工作温度对光斑图中图像不同区域的像素值的影响后得到的，消除了工作温度影响导致的图像偏差，提高了光斑图的准确度，进而提升了最终深度图像的质量。
Description
技术领域
本发明涉及成像技术领域，更具体的，涉及一种深度相机的温度补偿方法及装置。
背景技术
近几年来3D视觉技术得到了快速发展和广泛应用，各个行业对3D视觉图像质量的要求也越来越高。
深度相机是3D视觉应用最广泛的设备，在深度相机中，投射结构光斑的光学模组是核心部件之一，该光学模组投射的结构光斑会受到工作温度的影响，工作温度的变化导致投射的结构光斑偏离预设的光斑图像，后续的视差、深度值计算都会随之出现系统性偏差。
发明内容
有鉴于此，本发明提供了一种深度相机的温度补偿方法及装置，解决了深度相机光学模组的工作温度对投射的结构光斑的影响，提高了最终的深度图像质量。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种深度相机的温度补偿方法，包括：
获取深度相机光学模组的工作温度；
调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，所述温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数；
基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
根据参考温度对应的光斑图和所述工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图。
可选的，所述温度补偿模型的构建方法包括：
在预设温度区间内，依据预设模组工作温度采集间隔，采集每个采样温度对应的光斑图；
采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理；
分别以预处理后每个所述采样温度下的光斑图作为匹配算法的输入图像，以所述参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个所述采样温度对应的最佳匹配像素对；
根据每个所述采样温度对应的最佳匹配像素对，计算每个所述采样温度对应的像素点坐标偏移量；
基于每个所述采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个所述采样温度对应的图像不同区域的变形函数的回归系数。
可选的，所述采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理，包括：
分别将每个所述采样温度对应的光斑图划分为多个不重叠的光斑图区域；
分别对每个光斑图区域进行直方图均衡化处理；
将直方图均衡化处理后的光斑图区域中超过阈值的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值。
可选的，所述调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，包括：
判断所述工作温度是否在所述温度补偿模型的采样温度集合中；
若所述工作温度在所述采样温度集合中时，获取所述温度补偿模型中所述工作温度对应的图像不同区域的变形函数的回归系数；
若所述工作温度不在所述采样温度集合中时，确定所述采样温度集合中的所述工作温度的邻近温度，并根据所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，所述根据所述邻近温度的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数，包括：
计算所述工作温度与所述邻近温度之间差值的绝对值；
判断所述绝对值是否大于模型所设的温度阈值；
若不大于温度阈值，将所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定为所述工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定所述采样温度集合中大于所述工作温度的第一邻近温度和小于所述工作温度的第二邻近温度；
采用线性插值法，分别对所述第一邻近温度和所述第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，在所述绝对值大于温度阈值时，在所述得到所述工作温度对应的图像不同区域的变形函数的回归系数之后，所述方法还包括：
将所述工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中。
一种深度相机的温度补偿装置，包括：
工作温度获取单元，用于获取深度相机光学模组的工作温度；
回归系数获取单元，用于调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，所述温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数；
坐标偏移量计算单元，用于基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
光斑图计算单元，用于根据参考温度对应的光斑图和所述工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图。
可选的，所述装置还包括温度补偿模型构建单元，所述温度补偿模型构建单元包括：
光斑图采集子单元，用于在预设模组工作温度区间内，依据预设温度采集间隔，采集每个采样温度对应的光斑图；
预处理子单元，用于采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理；
匹配计算子单元，用于分别以预处理后每个所述采样温度下的光斑图作为匹配算法的输入图像，以所述参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个所述采样温度对应的最佳匹配像素对；
偏移量计算子单元，用于根据每个所述采样温度对应的最佳匹配像素对，计算每个所述采样温度对应的像素点坐标偏移量；
回归系数计算子单元，用于基于每个所述采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个所述采样温度对应的图像不同区域的变形函数的回归系数。
可选的，所述预处理子单元，具体用于：
分别将每个所述采样温度对应的光斑图划分为多个不重叠的光斑图区域；
分别对每个光斑图区域进行直方图均衡化处理；
将直方图均衡化处理后的光斑图区域中超过阈值的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值。
可选的，所述回归系数获取单元，包括：
第一判断子单元，用于判断所述工作温度是否在所述温度补偿模型的采样温度集合中；
第一回归系数获取子单元，用于若所述工作温度在所述采样温度集合中时，获取所述温度补偿模型中所述工作温度对应的图像不同区域的变形函数的回归系数；
第二回归系数获取子单元，用于若所述工作温度不在所述采样温度集合中时，确定所述采样温度集合中的所述工作温度的邻近温度，并根据所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，所述第二回归系数获取子单元，具体用于：
计算所述工作温度与所述邻近温度之间差值的绝对值；
判断所述绝对值是否大于模型所设的温度阈值；
若不大于温度阈值，将所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定为所述工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定所述采样温度集合中大于所述工作温度的第一邻近温度和小于所述工作温度的第二邻近温度；
采用线性插值法，分别对所述第一邻近温度和所述第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，所述第二回归系数获取子单元，还用于在所述绝对值大于温度阈值时，在所述得到所述工作温度对应的图像不同区域的变形函数的回归系数之后，将所述工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中。
相对于现有技术，本发明的有益效果如下：
本发明公开的一种深度相机的温度补偿方法，考虑深度相机光学模组的不同工作温度对光斑图中图像不同区域的像素值的影响不同，在温度补偿模型中预先计算并存储不同采样温度对应的图像不同区域的变形函数的回归系数，在此基础上，调用温度补偿模型，获取深度相机光学模组的工作温度对应的图像不同区域的变形函数的回归系数，计算该工作温度对应的图像不同区域的像素点坐标偏移量，进而根据参考温度对应的光斑图和该工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到该工作温度对应的光斑图，由于该光斑图为补偿了工作温度对光斑图中图像不同区域的像素值的影响后得到的，消除了工作温度影响导致的图像偏差，提高了光斑图的准确度，进而提升了最终深度图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种深度相机的温度补偿方法的流程示意图；
图2为本发明实施例公开的一种温度补偿模型的构建方法的流程示意图；
图3为本发明实施例公开的另一种深度相机的温度补偿方法的流程示意图；
图4为本发明实施例公开的一种深度相机的温度补偿装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
发明人经过研究发现，光学模组投射的结构光斑会受到工作温度的影响，工作温度的变化导致投射的结构光斑偏离预设的光斑图像，后续的视差、深度值计算都会随之出现系统性偏差。为了校准该偏差，现有技术有从硬件上采用电学器件补偿、光学器件补偿，会使深度相机成本上升，而且对于不同的模组都要单独设计各自的温度补偿系统，不便于系统的灵活升级；现有技术还有直接将采样深度光斑图存储下来，在光学模组工作时根据工作温度查表进行温度补偿，但是需要存储大量采样温度对应的光斑图，占用大量存储空间；现有技术还有从算法上进行补偿，但是未考虑由于工作温度变化，对光斑的像素点空间位置分布的影响和对像素值的影响，补偿效果差，最终得到的光斑图的准确率低。
为了解决上述技术问题，本发明公开了一种深度相机的温度补偿方法，应用于深度相机光学模组对应的控制器，从软件方面考虑深度相机光学模组的不同工作温度对光斑图中图像不同区域的像素值的影响不同，在温度补偿模型中预先计算并存储不同采样温度对应的图像不同区域的变形函数的回归系数，在深度相机光学模组工作时，调用温度补偿模型进行温度补偿，消除了工作温度影响导致的图像偏差，提高了光斑图的准确度，进而提升了最终图像的质量。
具体的，请参阅图1，本实施例公开的一种深度相机的温度补偿方法，包括以下步骤：
S101：获取深度相机光学模组的工作温度；
具体的，通过温度传感器测量深度相机光学模组的工作温度。
S102：调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数；
温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数，深度相机光学模组的工作温度无论是否在温度补偿模型中的采样温度集合中，都可以通过调用温度补偿模型获取该工作温度对应的图像不同区域的变形函数的回归系数。
请参阅图2，温度补偿模型的构建方法包括以下步骤：
S201：在预设模组工作温度区间内，依据预设温度采集间隔，采集每个采样温度对应的光斑图；
温度区间为预先设定的一个温度区间，需要说明的是，该温度区间必定须大于深度相机光学模组的实际工作温度所在的温度区间。
温度采集间隔可以根据光学模组的存储空间的大小进行设定，如将温度采集间隔设置为5℃～10℃。
S202：采用限制对比度的自适应直方图均衡化算法，对每个采样温度对应的光斑图进行预处理；
为了降低由于温度不同，引入的像素值变化造成对比度的差异，对于所有采样温度对应的光斑图都需要采用限制对比度的自适应直方图均衡化算法进行预处理，该算法可以有效防止噪声的传播，并在一定程度上减小由于温度变化所带来的像素值差异对后续计算的影响。
其中，预处理具体包括：分别将每个采样温度对应的光斑图划分为多个不重叠的光斑图区域(光斑图区域的尺寸为N*N，均衡化阈值为h)；分别对每个光斑图区域进行直方图均衡化处理；将直方图均衡化处理后的光斑图区域中超过阈值h的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值h。其中，计算颜色直方图需要将颜色空间划分为若干小的颜色区间，即直方图的bin。
S203：分别以预处理后每个采样温度下的光斑图作为匹配算法的输入图像，以参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个采样温度对应的最佳匹配像素对；
这里的匹配算法推荐采用OpenCV库中的光流算法。
匹配计算得到的最佳匹配像素对Pt(u,v)、P0(u0,v0)，这里(u,v)和(u0,v0)分别代表匹配像素点Pt和P0的像素坐标。
S204：根据每个采样温度对应的最佳匹配像素对，计算每个采样温度对应的像素点坐标偏移量；
由最佳匹配像素对Pt(u,v)、P0(u0,v0)，可以得到像素点的坐标偏移量:
du(u,v)＝u-u0,
dv(u,v)＝v-v0.
S205：基于每个采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个采样温度对应的图像不同区域的变形函数的回归系数。
对于所有的(u,v,du)和(u,v,dv)数据，我们通过图像不同区域回归拟合：
其中，G1、G2代表图像的2个局部区域，本实施例中，将像素坐标距离图像边缘大于等于阈值Th的像素点组成的区域(Th近似为图像宽度或高度的30％，根据实际情况本实施例中Th可以设为120～180)，作为区域G1，剩余像素坐标距离图像边缘小于Th的像素点组成G2，f1(u,v)和f2(u,v)表示变形函数。
之所以分图像区域进行拟合，是由于在G1、G2区域du和dv分布的形式是不同的。同时假设在同一个区域内，u和v方向的变形函数形式是一样的，仅系数是不同的，这样可以简化模型，直观上，除了u和v方向的取值范围有区别，本质上，两者几乎无差别，所以这个假设基本上是成立的。借鉴光流算法的思想，这里所采用的变形函数形式如下：
对于区域G1，变形函数形式为
du(u,v)＝p00+p10u+p01v+p20u2+p11uv+p02v2+p21u2v+p12uv2+p03v3,
这里pij是变形函数的回归系数，对于dv，变形函数的形式是相同的，只是回归系数取值不同。
对于区域G2，变形函数形式为：
du(u,v)＝q00+q10u+q01v+q20u2+q11uv+q02v2+q30u3+q21u2v+q12uv2
这里qij是需要回归得到的系数，对于dv，变形函数的形式是相同的，只是回归系数取值不同。通过非线性多元回归，就可以得到所有采样温度下的回归系数，最后将这些系数写入文件作为模型参数输出，输出文件作为模型工作时的输入参数之一。另外，这里的变形函数也可以采用其他形式，例如其他组合的多项式函数，样条函数等。
S103：基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
S104：根据参考温度对应的光斑图和所述工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图。
其中，若工作温度对应图像不同区域的像素点坐标偏移量为(du,dv)，则工作温度对应的像素坐标(u,v)与参考温度对应的像素坐标(u+du,v+dv)对应。
本实施例中，温度补偿模型包括采样温度集合中每个采样温度对应的不同图像区域的变形函数的回归系数，但是深度相机光学模组的工作温度无论是否在温度补偿模型中的采样温度集合中，都可以通过调用温度补偿模型获取该工作温度对应的图像不同区域的变形函数的回归系数，请参阅图3，本实施例公开的一种深度相机的温度补偿方法包括以下步骤：
S301：获取深度相机光学模组的工作温度；
S302：判断工作温度是否在温度补偿模型的采样温度集合中；
若是，执行S303：获取温度补偿模型中工作温度对应的图像不同区域的变形函数的回归系数；
若否，执行S304：确定采样温度集合中的工作温度的邻近温度，并根据温度补偿模型中邻近温度对应的图像不同区域的变形函数的回归系数确定工作温度对应的图像不同区域的变形函数的回归系数；
其中，采样温度集合中的工作温度的邻近温度可以为采样温度集合中大于工作温度的采样温度，也可以为采样温度集合中小于工作温度的采样温度。
具体的，计算工作温度与邻近温度之间差值的绝对值；
判断绝对值是否大于模型所设的温度阈值，温度阈值为温度补偿模型预先设定的值，如2℃；
若不大于温度阈值，将温度补偿模型中邻近温度对应的图像不同区域的变形函数的回归系数确定为工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定采样温度集合中大于工作温度的第一邻近温度和小于工作温度的第二邻近温度，可以理解的是，上述邻近温度为第一邻近温度或第二邻近温度；
通过观察变形函数的形式，可以发现，对像素点坐标偏移量的线性插值过程，等价于对第一邻近温度、第二邻近温度下回归系数的线性插值，因此，可以先对回归系数进行插值得到工作温度的回归系数，在本实施例中，采用线性插值法，分别对第一邻近温度和第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到工作温度对应的图像不同区域的变形函数的回归系数。
为了降低计算量，可以在工作温度与邻近温度之间差值的绝对值大于温度阈值时，将得到工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中，避免后续深度相机光学模组的工作温度与本次工作温度相同时，再重复计算，随着工作时间越长，后续温补计算会越来越快。
S305：基于工作温度对应的图像不同区域的变形函数的回归系数，计算工作温度对应图像不同区域的像素点坐标偏移量；
S306：根据参考温度对应的光斑图和工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到工作温度对应的光斑图。
可见，本实施例公开的深度相机的温度补偿方法，无论深度相机光学模组的工作温度是否在温度补偿模型的采样温度集合中，都可以实现对工作温度影响导致的图像偏差进行校准，进而提高光斑图的准确度。
基于上述实施例公开的一种深度相机的温度补偿方法，本实施例对应公开了一种深度相机的温度补偿装置，请参阅图4，该装置包括：
工作温度获取单元401，用于获取深度相机光学模组的工作温度；
回归系数获取单元402，用于调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，所述温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数；
坐标偏移量计算单元403，用于基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
光斑图计算单元404，用于根据参考温度对应的光斑图和所述工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图。
可选的，所述装置还包括温度补偿模型构建单元，所述温度补偿模型构建单元包括：
光斑图采集子单元，用于在预设模组工作温度区间内，依据预设温度采集间隔，采集每个采样温度对应的光斑图；
预处理子单元，用于采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理；
匹配计算子单元，用于分别以预处理后每个所述采样温度下的光斑图作为匹配算法的输入图像，以所述参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个所述采样温度对应的最佳匹配像素对；
偏移量计算子单元，用于根据每个所述采样温度对应的最佳匹配像素对，计算每个所述采样温度对应的像素点坐标偏移量；
回归系数计算子单元，用于基于每个所述采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个所述采样温度对应的图像不同区域的变形函数的回归系数。
可选的，所述预处理子单元，具体用于：
分别将每个所述采样温度对应的光斑图划分为多个不重叠的光斑图区域；
分别对每个光斑图区域进行直方图均衡化处理；
将直方图均衡化处理后的光斑图区域中超过阈值的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值。
可选的，所述回归系数获取单元，包括：
第一判断子单元，用于判断所述工作温度是否在所述温度补偿模型的采样温度集合中；
第一回归系数获取子单元，用于若所述工作温度在所述采样温度集合中时，获取所述温度补偿模型中所述工作温度对应的图像不同区域的变形函数的回归系数；
第二回归系数获取子单元，用于若所述工作温度不在所述采样温度集合中时，确定所述采样温度集合中的所述工作温度的邻近温度，并根据所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，所述第二回归系数获取子单元，具体用于：
计算所述工作温度与所述邻近温度之间差值的绝对值；
判断所述绝对值是否大于模型所设的温度阈值；
若不大于温度阈值，将所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定为所述工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定所述采样温度集合中大于所述工作温度的第一邻近温度和小于所述工作温度的第二邻近温度；
采用线性插值法，分别对所述第一邻近温度和所述第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到所述工作温度对应的图像不同区域的变形函数的回归系数。
可选的，所述第二回归系数获取子单元，还用于在所述绝对值大于温度阈值时，在所述得到所述工作温度对应的图像不同区域的变形函数的回归系数之后，将所述工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中。
本实施例公开的一种深度相机的温度补偿装置，考虑深度相机光学模组的不同工作温度对光斑图中图像不同区域的像素值的影响不同，在温度补偿模型中预先计算并存储不同采样温度对应的图像不同区域的变形函数的回归系数，在此基础上，调用温度补偿模型，获取深度相机光学模组的工作温度对应的图像不同区域的变形函数的回归系数，计算该工作温度对应的图像不同区域的像素点坐标偏移量，进而根据参考温度对应的光斑图和该工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到该工作温度对应的光斑图，由于该光斑图为补偿了工作温度对光斑图中图像不同区域的像素值的影响后得到的，消除了工作温度影响导致的图像偏差，提高了光斑图的准确度，进而提升了最终深度图像的质量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种深度相机的温度补偿方法，其特征在于，包括：
获取深度相机光学模组的工作温度；
调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，所述温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数；
基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
根据参考温度对应的光斑图和所述工作温度对应的图像不同区域的像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图；
其中，所述温度补偿模型的构建方法包括：
在预设模组工作温度区间内，依据预设温度采集间隔，采集每个采样温度对应的光斑图；
采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理；
分别以预处理后每个所述采样温度下的光斑图作为匹配算法的输入图像，以所述参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个所述采样温度对应的最佳匹配像素对；
根据每个所述采样温度对应的最佳匹配像素对，计算每个所述采样温度对应的像素点坐标偏移量；
基于每个所述采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个所述采样温度对应的图像不同区域的变形函数的回归系数。
2.根据权利要求1所述的方法，其特征在于，所述采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理，包括：
分别将每个所述采样温度对应的光斑图划分为多个不重叠的光斑图区域；
分别对每个光斑图区域进行直方图均衡化处理；
将直方图均衡化处理后的光斑图区域中超过阈值的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值。
3.根据权利要求1所述的方法，其特征在于，所述调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，包括：
判断所述工作温度是否在所述温度补偿模型的采样温度集合中；
若所述工作温度在所述采样温度集合中时，获取所述温度补偿模型中所述工作温度对应的图像不同区域的变形函数的回归系数；
若所述工作温度不在所述采样温度集合中时，确定所述采样温度集合中的所述工作温度的邻近温度，并根据所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述邻近温度的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数，包括：
计算所述工作温度与所述邻近温度之间差值的绝对值；
判断所述绝对值是否大于模型所设的温度阈值；
若不大于温度阈值，将所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定为所述工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定所述采样温度集合中大于所述工作温度的第一邻近温度和小于所述工作温度的第二邻近温度；
采用线性插值法，分别对所述第一邻近温度和所述第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到所述工作温度对应的图像不同区域的变形函数的回归系数。
5.根据权利要求4所述的方法，其特征在于，在所述绝对值大于温度阈值时，在所述得到所述工作温度对应的图像不同区域的变形函数的回归系数之后，所述方法还包括：
将所述工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中。
6.一种深度相机的温度补偿装置，其特征在于，包括：
工作温度获取单元，用于获取深度相机光学模组的工作温度；
回归系数获取单元，用于调用预先构建的温度补偿模型，获取所述工作温度对应的图像不同区域的变形函数的回归系数，所述温度补偿模型包括采样温度集合中每个采样温度对应的图像不同区域的变形函数的回归系数；
坐标偏移量计算单元，用于基于所述工作温度对应的图像不同区域的变形函数的回归系数，计算所述工作温度对应图像不同区域的像素点坐标偏移量；
光斑图计算单元，用于根据参考温度对应的光斑图和所述工作温度对应的图像不同区域像素点坐标偏移量，采用双线性插值法得到所述工作温度对应的光斑图；
其中，所述装置还包括温度补偿模型构建单元，所述温度补偿模型构建单元包括：
光斑图采集子单元，用于在预设模组工作温度区间内，依据预设温度采集间隔，采集每个采样温度对应的光斑图；
预处理子单元，用于采用限制对比度的自适应直方图均衡化算法，对每个所述采样温度对应的光斑图进行预处理；
匹配计算子单元，用于分别以预处理后每个所述采样温度下的光斑图作为匹配算法的输入图像，以所述参考温度对应的光斑图为匹配算法的参考图进行匹配计算，得到每个所述采样温度对应的最佳匹配像素对；
偏移量计算子单元，用于根据每个所述采样温度对应的最佳匹配像素对，计算每个所述采样温度对应的像素点坐标偏移量；
回归系数计算子单元，用于基于每个所述采样温度对应的像素点坐标偏移量，构建图像不同区域的变形函数，并计算每个所述采样温度对应的图像不同区域的变形函数的回归系数。
7.根据权利要求6所述的装置，其特征在于，所述预处理子单元，具体用于：
分别将每个所述采样温度对应的光斑图划分为多个不重叠的光斑图区域；
分别对每个光斑图区域进行直方图均衡化处理；
将直方图均衡化处理后的光斑图区域中超过阈值的bin裁剪掉，并将裁剪掉的bin平均分布到该光斑图区域中的其他bin中，反复迭代，直到所有的光斑图区域中的每个bin都不超过阈值。
8.根据权利要求6所述的装置，其特征在于，所述回归系数获取单元，包括：
第一判断子单元，用于判断所述工作温度是否在所述温度补偿模型的采样温度集合中；
第一回归系数获取子单元，用于若所述工作温度在所述采样温度集合中时，获取所述温度补偿模型中所述工作温度对应的图像不同区域的变形函数的回归系数；
第二回归系数获取子单元，用于若所述工作温度不在所述采样温度集合中时，确定所述采样温度集合中的所述工作温度的邻近温度，并根据所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定所述工作温度对应的图像不同区域的变形函数的回归系数。
9.根据权利要求8所述的装置，其特征在于，所述第二回归系数获取子单元，具体用于：
计算所述工作温度与所述邻近温度之间差值的绝对值；
判断所述绝对值是否大于模型所设的温度阈值；
若不大于温度阈值，将所述温度补偿模型中所述邻近温度对应的图像不同区域的变形函数的回归系数确定为所述工作温度对应的图像不同区域的变形函数的回归系数；
若大于温度阈值，确定所述采样温度集合中大于所述工作温度的第一邻近温度和小于所述工作温度的第二邻近温度；
采用线性插值法，分别对所述第一邻近温度和所述第二邻近温度对应的图像不同区域的变形函数的回归系数进行插值，得到所述工作温度对应的图像不同区域的变形函数的回归系数。
10.根据权利要求9所述的装置，其特征在于，所述第二回归系数获取子单元，还用于在所述绝对值大于温度阈值时，在所述得到所述工作温度对应的图像不同区域的变形函数的回归系数之后，将所述工作温度对应的图像不同区域的变形函数的回归系数存储在所述温度补偿模型中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119894.1A CN111353963B (zh) | 2020-02-26 | 2020-02-26 | 一种深度相机的温度补偿方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119894.1A CN111353963B (zh) | 2020-02-26 | 2020-02-26 | 一种深度相机的温度补偿方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353963A CN111353963A (zh) | 2020-06-30 |
| CN111353963B true CN111353963B (zh) | 2023-11-03 |
Family
ID=71194102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010119894.1A Active CN111353963B (zh) | 2020-02-26 | 2020-02-26 | 一种深度相机的温度补偿方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353963B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114326857B (zh) * | 2021-12-30 | 2022-11-29 | 中国商用飞机有限责任公司 | 低温条件下数字图像处理误差主动温度补偿装置及方法 |
| CN114945091B (zh) * | 2022-07-19 | 2022-10-25 | 星猿哲科技(深圳)有限公司 | 深度相机的温度补偿方法、装置、设备及存储介质 |
| CN117156113B (zh) * | 2023-10-30 | 2024-02-23 | 南昌虚拟现实研究院股份有限公司 | 一种基于深度学习散斑相机图像矫正方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711167A (zh) * | 2018-05-15 | 2018-10-26 | 深圳奥比中光科技有限公司 | 深度成像系统及其温度误差校正方法 |
| CN108986171A (zh) * | 2018-07-05 | 2018-12-11 | 大连理工大学 | 视觉测量系统中镜头热影响误差补偿方法 |
| CN109213231A (zh) * | 2018-08-17 | 2019-01-15 | 深圳奥比中光科技有限公司 | 温度控制系统 |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10089738B2 (en) * | 2016-08-30 | 2018-10-02 | Microsoft Technology Licensing, Llc | Temperature compensation for structured light depth imaging system |
-
2020
- 2020-02-26 CN CN202010119894.1A patent/CN111353963B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108711167A (zh) * | 2018-05-15 | 2018-10-26 | 深圳奥比中光科技有限公司 | 深度成像系统及其温度误差校正方法 |
| CN108986171A (zh) * | 2018-07-05 | 2018-12-11 | 大连理工大学 | 视觉测量系统中镜头热影响误差补偿方法 |
| CN109213231A (zh) * | 2018-08-17 | 2019-01-15 | 深圳奥比中光科技有限公司 | 温度控制系统 |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353963A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353963B (zh) | 一种深度相机的温度补偿方法及装置 | |
| JP4942216B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びプログラム | |
| EP2261853B1 (en) | Image processing apparatus, medium, and method | |
| JP4782899B2 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| CN109544643B (zh) | 一种摄像机图像校正方法及装置 | |
| US8737760B2 (en) | Image processing method for suppressing spatio-temporal column or row noise | |
| CN1328901C (zh) | 一种去除图像噪声的方法 | |
| JP6619034B2 (ja) | ホモグラフィの修正 | |
| CN110738707A (zh) | 一种相机的畸变校正方法及装置、设备、存储介质 | |
| CN107871329B (zh) | 一种相机光学中心的快速标定方法及装置 | |
| US20170330311A1 (en) | Image processing device and method, image capturing device, program, and record medium | |
| EP3076657B1 (en) | Method for determination of focal length for a zoom lens | |
| JP2011139158A5 (zh) | ||
| CN105005972A (zh) | 一种基于拍摄距离的畸变校正方法及移动终端 | |
| CN111062884B (zh) | 一种图像增强方法、装置、存储介质和终端设备 | |
| US7561306B2 (en) | One-dimensional lens shading correction | |
| CN109284062B (zh) | 一种触摸数据处理方法、装置、终端和介质 | |
| CN111275625A (zh) | 一种图像去模糊方法、装置及电子设备 | |
| US20120051648A1 (en) | Pattern identification apparatus, control method and program thereof | |
| US11024015B2 (en) | Image processing apparatus and distortion correction coefficient calculation method | |
| US20200126189A1 (en) | Method and Device for Image Correction | |
| CN115760653A (zh) | 图像校正方法、装置、设备及可读存储介质 | |
| CN107240064B (zh) | 图像校正方法、装置及终端 | |
| US9582887B2 (en) | Methods and apparatus for determining field of view dependent depth map correction values | |
| CN116823681B (zh) | 红外图像的畸变矫正方法、装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |