CN110807811B - 对不同反射率物体的深度补偿方法及tof相机 - Google Patents

对不同反射率物体的深度补偿方法及tof相机 Download PDF

Info

Publication number
CN110807811B
CN110807811B CN201910891707.9A CN201910891707A CN110807811B CN 110807811 B CN110807811 B CN 110807811B CN 201910891707 A CN201910891707 A CN 201910891707A CN 110807811 B CN110807811 B CN 110807811B
Authority
CN
China
Prior art keywords
pixel
value
light intensity
calibration
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910891707.9A
Other languages
English (en)
Other versions
CN110807811A (zh
Inventor
胡洪伟
丁浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruyu Intelligent Technology Suzhou Co ltd
Original Assignee
Ruyu Intelligent Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruyu Intelligent Technology Suzhou Co ltd filed Critical Ruyu Intelligent Technology Suzhou Co ltd
Priority to CN201910891707.9A priority Critical patent/CN110807811B/zh
Publication of CN110807811A publication Critical patent/CN110807811A/zh
Application granted granted Critical
Publication of CN110807811B publication Critical patent/CN110807811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种对不同反射率物体的深度补偿方法及TOF相机，所述方法包括：步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；步骤4，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。在获得各像素的光强度比值后，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值，通过补偿使得各像素对应的深度值的准确度提高。

Description

对不同反射率物体的深度补偿方法及TOF相机
技术领域
本发明涉及TOF技术领域，尤其涉及一种对不同反射率物体的深度补偿方法及TOF相机。
背景技术
TOF(Time Of Flight)技术起源较悠久，但是随着近些年来，智能技术以及虚拟现实技术的快速发展和应用，TOF技术以及TOF模组得到极大发展，成为当今成像技术领域的一个研究热点，具有很高的研究价值和广阔的应用前景。
基于TOF技术的相机是一种新型的、小型化三维成像设备，可同时捕捉动态目标的灰度图像和深度信息，因而轻易解决了机器视觉领域的传统难题，使用这些深度信息不但可以轻松的完成目标图像的分割、标记、识别、跟踪等传统应用，并且能在许多新兴领域发挥重要的作用。
采用TOF相机在拍摄的过程中，光源发出经过调制的近红外光，遇到物体后反射至一光感应单元，进一步，通过处理器计算发射光线和接收光线的时间差或相位差来计算物体的深度信息，并且通过接收的光线的感光作用来得到物体的成像，结合深度信息得到深度图像信息。
但是现有的TOF相机在实际进行拍摄时，存在获得深度信息不准确的问题。
发明内容
本发明所要解决的技术问题是怎样提高TOF相机获得深度的准确性。
本发明提供了一种TOF相机对不同反射率物体的深度补偿方法，包括：
步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；
步骤4，基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
可选的，所述深度标定条件为暗室中对白墙进行拍摄，在深度标定条件下，所述TOF相机获得的标定距离等于实际距离。
可选的，所述基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数。
可选的，所述基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于初始距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
可选的，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
可选的，所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2表示第二补偿特征值。
可选的，在所述TOF相机中预设第一补偿特征值和第二补偿特征值。
可选的，拍摄每一帧图像包括中间区域和边缘区域，对中间区域的每一个像素的深度采用包括步骤1-步骤4的方法进行深度补偿。
可选的，重复进行步骤2-步骤4，实时对每一帧中的像素进行深度补偿。
本发明还提供一种对不同反射率物体的深度进行补偿的TOF相机，包括：
标定参数获得单元，用于获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
实时参数获得单元，用于在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
光强度比值获得单元，用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；
深度值获得单元，用于基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
可选的，所述光强度比值获得单元基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数。
可选的，所述深度值获得单元基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于初始距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
可选的，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中，dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
可选的，所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2表示第二补偿特征值。
可选的，补偿特征值预设单元，用于预设第一补偿特征值和第二补偿特征值。
可选的，还包括：分割单元，用于将拍摄的每一帧图像分为中间区域和边缘区域，所述光强度比值获得单元还用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得中间区域各像素光强度比值；所述深度值获得单元还用于基于各像素光强度比值，对当前帧的中间区域中各像素的深度值进行补偿，获得对应的深度值。
与现有技术相比，本发明技术方案具有以下优点：
本发明的对不同反射率物体的深度补偿方法，包括：步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；步骤4，基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。在获得各像素的光强度比值后，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值，通过补偿使得各像素对应的深度值的准确度提高，从而避免不同的拍摄场景下，物体的反射率不同对获得深度的准确度的影响。
本发明的TOF相机包括，标定参数获得单元，用于获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；实时参数获得单元，用于在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；光强度比值获得单元，用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；深度值获得单元，用于基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。本发明的TOF相机通过补偿使得各像素对应的深度值的准确度提高，从而避免不同的拍摄场景下，物体的反射率不同对获得深度的准确度的影响。
附图说明
图1为本发明实施例TOF相机对不同反射率物体的深度补偿方法的流程示意图；
图2为本发明实施例TOF相机的结构示意图。
具体实施方式
如背景技术所言，现有的TOF相机在实际进行拍摄时，存在获得深度信息不准确的问题。
研究发现，现有的TOF相机在实际进行拍摄时，不同的拍摄场景下由于反射率不同或者相同拍摄场景下环境光强不同等因素导致物体的反射率不同时，TOF相机获得深度信息的容易不准确。
为此，本发明提供了一种对不同反射率物体的深度补偿方法及TOF相机，所述方法包括：步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；步骤4，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。在获得各像素的光强度比值后，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值，通过补偿使得各像素对应的深度值的准确度提高，从而避免不同的拍摄场景下，物体的反射率不同对获得深度的准确度的影响。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在详述本发明实施例时，为便于说明，示意图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明的保护范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
图1为本发明实施例TOF相机对不同反射率物体的深度补偿方法的流程示意图；图2为本发明实施例TOF相机的结构示意图。
参考图1，本发明实施例TOF相机对不同反射率物体的深度补偿方法，包括步骤：
步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；
步骤4，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值；
步骤5，重复进行步骤2-步骤4，实时对每一帧中的像素进行深度补偿。
下面对前述过程进行详细的描述。
进行步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数。
所述各像素的标定光强度值、标定距离以及标定曝光次数为采用TOF相机在标定条件下获得。
所述采用的TOF相机用于获取物体的深度信息，TOF相机的具体结构后续会做详细介绍。
所述深度标定条件为在该特定的条件下，TOF相机获得物体的标定距离等于实际距离。在一实施例中，所述深度标定条件为暗室中对白墙进行拍摄，所述白墙具有平坦的表面，所述白墙的反射率大于90％。具体的，将TOF相机置于暗室中，所述TOF相机距离暗室中的白墙具有固定的距离，通过TOF相机对白墙进行拍摄，进行图像的拍摄时，TOF相机中的光源发出特定的光强的光对白墙进行照射，拍摄时曝光次数特定，TOF相机接收白墙反射的光线，获得光强度值并通过计算发射光线和接收光线的时间差或相位差来计算白墙的深度信息，所述拍摄获得的图像中每一个像素的光强度值即为标定光强度值、每一个像素的深度即为标定距离、所述拍摄时曝光次数即标定曝光次数。
在一实施例中，所述各像素的标定光强度值、标定距离以及标定曝光次数为深度标定条件下拍摄的一帧图像对应的光强度值、深度值以及曝光次数。在深度标定条件下，会机械调整使得每个像素的标定距离一致。
在其他实施例中，所述各像素的标定光强度值、标定距离以及标定曝光次数可以为深度标定条件下拍摄的多帧图像对应的光强度值、深度值以及曝光次数的平均值或者经过一定算法处理后的处理值。
在深度标定条件下获得的各像素的标定光强度值、标定距离以及标定曝光次数可以在TOF相机出厂或上市前设定在TOF相机中。
进行步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数。
具体的在实际场景下，采用TOF相机拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数。
所述实际场景为用于采用TOF相机进行拍摄的场景，所述实际场景可以为室内、室外、白天、晚上、晴天、阴天、雨天、静止或动态中的一种或几种，所述实际场景也可以为其他的场景。
在实际场景中，采用TOF相机对目标物体景象拍摄，获得一帧图像(本帧图像)，得到各像素的初始光强度值、初始距离以及初始曝光次数，所述初始光强度值为TOF相机在实际场景进行拍摄时获得的光强值，所述初始距离为TOF相机在实际场景进行拍摄时获得的未进行补偿的深度值，所述初始曝光次数为TOF相机在实际场景进行拍摄时的曝光次数。
进行步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值。
在一实施例中，所述基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数。
通过前述公式计算光强度比值，当TOF相机处在不同的距离，或者TOF相机使用不同的曝光次数，都可以准确的获得光强度比值，并且具有较好的适应性。
进行步骤4，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
本申请中，在获得各像素的光强度比值后，基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值，通过补偿使得各像素对应的深度值的准确度提高，从而避免不同的拍摄场景下，物体的反射率不同对获得深度的准确度的影响。
在一实施例中，所述基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
具体的，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2表示第二补偿特征值。
IR_ratio(i,j)即光强度比值，实际就代表了反射率，现有的深度值的误差就是由于反射率引起的，并符合Δdepth＝(1-IR_ratio)/IR_ratio/a1的理论关系，同时在实验室得到了数据的验证。因此，通过前述具体公式和步骤可以对各像素的对应的深度进行更精确和快速的补偿，使得当前帧图像中各像素对应的深度值的精度更高。
所述第一补偿特征值a1和第二补偿特征值a2预设在TOF相机中，第一补偿特征值a1和第二补偿特征值a2与物体的材料和厚度有关。具体的，所述第一补偿特征值a1和第二补偿特征值a2可以针对不同的物体在实验室预先测得，针对不同的客户需求，如人脸识别，箱体体积测量等，可以提供特定的第一补偿特征值a1和第二补偿特征值a2，将所述特定的第一补偿特征值a1和第二补偿特征值a2预设在TOF相机中，以满足客户需求。
在一实施例中，所述TOF相机拍摄的每一帧图像包括中间区域和边缘区域，对中间区域的每一个像素的深度采用包括步骤1-步骤4的方法进行深度补偿，对于边缘区域中的像素的深度采用数值替换或滤波进行角点补偿(或边缘补偿)，以提高广角下获得图像中各像素的深度准确度。
在一具体的实施例中，所述中间区域的判断方式为：IR_ratio(j,i)<0.3；
所述边界区域的判断方式为：
abs((IR2(j,i)-IR2(j,i-1))/IR2(j,i-1))>0.15&&abs((IR2(j,i+1)-IR2(j,i))/IR2(j,i+2)>0.15))。
在其他实施例中，还包括步骤5，重复进行步骤2-步骤4，实时对每一帧中的像素进行深度补偿。
本发明还提供了一种对不同反射率物体的深度进行补偿的TOF相机，参考图2，包括：
标定参数获得单元201，用于获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
实时参数获得单元202，用于在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
光强度比值获得单元203，用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值；
深度值获得单元204，用于基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
在一实施例中，所述光强度比值获得单元203基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数。
在一实施例中，所述深度值获得单元204基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于初始距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
具体的，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2第二补偿特征值。
在一实施例中，所述TOF相机还包括：补偿特征值预设单元，用于预设第一补偿特征值和第二补偿特征值。
在一实施例中，所述TOF相机还包括：分割单元，用于将拍摄的每一帧图像分为中间区域和边缘区域，所述光强度比值获得单元还用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得中间区域各像素光强度比值；所述深度值获得单元还用于基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (14)

1.一种TOF相机对不同反射率物体的深度补偿方法，其特征在于，包括：
步骤1，获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
步骤2，在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
步骤3，基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值，所述基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数；
步骤4，基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
2.如权利要求1所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，所述深度标定条件为暗室中对白墙进行拍摄，在深度标定条件下，所述TOF相机获得的标定距离等于实际距离。
3.如权利要求1所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，所述基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于初始距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
4.如权利要求3所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
5.如权利要求3所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2表示第二补偿特征值。
6.如权利要求5所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，在所述TOF相机中预设第一补偿特征值和第二补偿特征值。
7.如权利要求1所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，拍摄每一帧图像包括中间区域和边缘区域，对中间区域的每一个像素的深度采用包括步骤1-步骤4的方法进行深度补偿。
8.如权利要求1所述的TOF相机对不同反射率物体的深度补偿方法，其特征在于，重复进行步骤2-步骤4，实时对每一帧中的像素进行深度补偿。
9.一种对不同反射率物体的深度进行补偿的TOF相机，其特征在于，包括：
标定参数获得单元，用于获得在深度标定条件下各像素的标定光强度值、标定距离以及标定曝光次数；
实时参数获得单元，用于在实际场景下，拍摄一帧图像，得到各像素的初始光强度值、初始距离以及初始曝光次数；
光强度比值获得单元，用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值，所述基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得各像素光强度比值根据以下公式进行：
IR_ratio(i,j)＝IR2(i,j)*time1*dist2(i,j)^2/IR1(i,j)/time2/dist1^2，其中IR_ratio(i,j)表示第(i,j)个像素的光强度比值，IR1(i,j)表示第(i,j)个像素的标定光强度值，dist1表示标定距离，time1表示标定曝光次数，IR2(i,j)表示第(i,j)个像素的初始光强度值，dist2(i,j)表示第(i,j)个像素的初始距离，time2表示初始曝光次数；
深度值获得单元，用于基于所述各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值。
10.如权利要求9所述的TOF相机，其特征在于，所述深度值获得单元基于各像素光强度比值，对当前帧的各像素的深度值进行补偿，获得对应的深度值的过程包括：对各像素进行列补偿，获得对应的各像素初始距离补偿值；基于初始距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值。
11.如权利要求10所述的TOF相机，其特征在于，所述对各像素进行列补偿，获得对应的各像素初始距离补偿值根据以下公式进行：
dist2_comeback(i,j)＝dist2(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a1，
其中，dist2_comeback(i,j)表示第(i,j)个像素的初始距离补偿值，a1表示第一补偿特征值。
12.如权利要求11所述的TOF相机，其特征在于，所述基于实际距离补偿值，对各像素进行行补偿，获得的各像素对应的深度值根据以下公式进行：
depth_comeback(i,j)＝dist2_comeback(i,j)-(1-IR_ratio(i,j))/IR_ratio(i,j)/a2，其中，depth_comeback(i,j)表示当前帧第(i,j)个像素进行补偿后的深度值，a2表示第二补偿特征值。
13.如权利要求9所述的TOF相机，其特征在于，补偿特征值预设单元，用于预设第一补偿特征值和第二补偿特征值。
14.如权利要求9所述的TOF相机，其特征在于，还包括：分割单元，用于将拍摄的每一帧图像分为中间区域和边缘区域，所述光强度比值获得单元还用于基于标定光强度值、标定距离、标定曝光次数、初始光强度值、初始距离、初始曝光次数，获得中间区域各像素光强度比值；所述深度值获得单元还用于基于各像素光强度比值，对当前帧的中间区域中各像素的深度值进行补偿，获得对应的深度值。
CN201910891707.9A 2019-09-20 2019-09-20 对不同反射率物体的深度补偿方法及tof相机 Active CN110807811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891707.9A CN110807811B (zh) 2019-09-20 2019-09-20 对不同反射率物体的深度补偿方法及tof相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891707.9A CN110807811B (zh) 2019-09-20 2019-09-20 对不同反射率物体的深度补偿方法及tof相机

Publications (2)

Publication Number Publication Date
CN110807811A CN110807811A (zh) 2020-02-18
CN110807811B true CN110807811B (zh) 2022-04-12

Family

ID=69487620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891707.9A Active CN110807811B (zh) 2019-09-20 2019-09-20 对不同反射率物体的深度补偿方法及tof相机

Country Status (1)

Country Link
CN (1) CN110807811B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352120B (zh) * 2020-03-25 2022-09-09 炬佑智能科技(苏州)有限公司 飞行时间测距系统及其测距方法
CN113748359B (zh) * 2020-03-27 2024-04-09 深圳市速腾聚创科技有限公司 基于连续波测距的补偿方法、装置和激光雷达
CN112950517B (zh) * 2021-02-25 2023-11-03 浙江光珀智能科技有限公司 深度相机高动态范围深度图与灰度图的融合方法及装置
CN112738413B (zh) * 2021-04-02 2021-06-04 杭州宇泛智能科技有限公司 一种基于tof的人像区域亮度自动调节方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
CN106603942B (zh) * 2016-12-15 2019-12-03 杭州艾芯智能科技有限公司 一种tof相机降噪方法
WO2018133089A1 (zh) * 2017-01-23 2018-07-26 深圳市大疆创新科技有限公司 Tof测距系统及可移动平台
CN109272556B (zh) * 2018-08-31 2021-04-30 青岛小鸟看看科技有限公司 一种飞行时间tof相机的标定方法和装置

Also Published As

Publication number Publication date
CN110807811A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807811B (zh) 对不同反射率物体的深度补偿方法及tof相机
EP3491332B1 (en) Reflectivity map estimate from dot based structured light systems
CN107578464B (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
US10237532B2 (en) Scan colorization with an uncalibrated camera
CN108020825B (zh) 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
US10755417B2 (en) Detection system
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
US10999519B2 (en) Target tracking method and device, movable platform, and storage medium
CN107170035B (zh) 一种高反光物体扫描方法及其系统
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN105651203A (zh) 一种自适应条纹亮度的高动态范围三维形貌测量方法
US8160353B2 (en) Method for determining dense disparity fields in stereo vision
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
CN106683133B (zh) 一种获取目标深度图像的方法
EP2826243B1 (en) Method and system for identifying depth data associated with an object
JP2001285762A (ja) 画像印刷装置
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN115824170A (zh) 一种摄影测量与激光雷达融合测量海洋波浪的方法
CN114998429A (zh) 机器人定位系统、方法、设备和介质
CN112213711A (zh) 一种tof相机的校准方法
CN113643385B (zh) 基于深度相机的高度识别方法、系统、装置及存储介质
CN113126640B (zh) 用于无人机的障碍物探测方法、装置、无人机和存储介质
CN117073551B (zh) 一种透明胶体检测方法及系统
US9262806B2 (en) System and method for resolution enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant