CN112950517A - 深度相机高动态范围深度图与灰度图的融合方法及装置 - Google Patents
深度相机高动态范围深度图与灰度图的融合方法及装置 Download PDFInfo
- Publication number
- CN112950517A CN112950517A CN202110208081.4A CN202110208081A CN112950517A CN 112950517 A CN112950517 A CN 112950517A CN 202110208081 A CN202110208081 A CN 202110208081A CN 112950517 A CN112950517 A CN 112950517A
- Authority
- CN
- China
- Prior art keywords
- power
- gray
- image
- low
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 101100224748 Caenorhabditis elegans pir-1 gene Proteins 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011088 calibration curve Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开一种深度相机高动态范围深度图与灰度图的融合方法及装置。包括设置高低倍曝光参数，获取高低倍交错曝光的图像帧，对获取的图像帧进行像素统计分类，根据统计信息对获取的高低倍图像帧中的深度图与灰度图分别进行融合。深度图融合根据高低倍图像帧对应的每个像素点灰度值线性区范围进行高低倍融合。灰度图融合分为，在未过曝区域高低倍图像帧按比例进行融合；在高倍参数过曝区域依据高低倍灰度比例关系，用低倍图像的灰度值按比例替换高倍过曝区域的方式进行融合。在融合后灰度图上进行非线性变换和图像优化得到最终的融合灰度图。通过对深度相机高低倍图像帧融合，可以增大动态测量范围，提高人脸识别或者行为识别的准确性。
Description
技术领域
本发明涉及3D成像技术领域，尤其涉及一种深度相机高动态范围深度图与灰度图的融合方法及装置。
背景技术
智能驾仓作为智能驾驶一部分，相关的应用越来越多的进入我们的生活。车载主控通过传感器检测车内人员的行为，进行空调温度调节，车窗控制，安全提醒等，给乘车人员带来更多的便利和乐趣。
目前使用最多的车内检测设备多为2D红外相机或者双目相机；上述两种车内检测设备有以下的缺点：
1)2D红外相机没有深度信息，不能进行精准行为分析和判断；
2)双目相机可以提供深度信息，但是对阳光敏感，抗阳光性能差。
为了适应复杂的应用场景，例如，漆黑的地下车库或者是烈日炎炎的夏季午后；上述的两种车内检测设备已不能满足要求，所以出现了基于TOF技术的深度相机。
基于TOF技术的深度相机，发送调制后激光信号，遇物体后反射，传感器接收该反射信号，通过计算激光发射和反射时间差或相位差，来计算被拍摄物体的距离，即获得图像的深度信息。深度相机能够在复杂的应用场景中，获得需要的深度信息，同时对阳光不敏感；但是深度相机在获得深度信息时，需要遍历每一个像素进行计算，因此每一帧算力消耗大，帧率低。为了减轻主控制单元的计算负担，通常会采用一档曝光方案，但是一档曝光动态范围小，尤其是在人脸识别或者行为分析这种机器自学习场景中，要求有足够亮度才能保证准确率，因此可用的动态范围更小。所以一档曝光不能有效应对大动态范围的人脸识别和智能驾仓内人员行为的准确分析；
为了增加测量动态范围，提高人脸识别或行为分析的准确率，常会使用多档曝光参数；如果使用多档曝光参数，则会存在以下问题：
1.每一档参数都需要标定或者距离补偿，造成生产效率低下。
2.不同参数的测距差异造成深度融合后的测距偏差。
3.深度计算已经消耗了大量算力，而且车载主控算力有限，无法对灰度图进行复杂的高动态范围图算法融合。
所以有必要对现有技术进行改进。
发明内容
针对上述基于TOF技术的深度相机多档参数曝光出现的问题，本发明提出一种两档曝光方案，不需要额外深度标定补偿，解决融合后的测距误差，采用精简高效的灰度图高动态范围图像(High Dynamic Range，HDR)融合方法，满足实际帧率的要求，提高了算法人脸识别的及行为分析的准确率。
根据发明目的本发明提供了一种深度相机高动态范围深度图与灰度图的融合方法，包括以下步骤：
S1：设置高、低倍曝光参数；所述高倍曝光参数用于拍摄远距离对象，所述低倍曝光参数用于拍摄近距离对象；
S2：对所述高倍曝光参数进行距离标定；所述低倍曝光参数测量距离按照所述高倍曝光参数标定获得的高倍标定曲线进行解算，获得解算距离；使用多项式拟合或者样条插值的方式补偿所述解算距离与真实距离之间的误差；
S3：采用所述高、低倍曝光参数对同一场景进行拍摄；交替输出高倍图像帧和低倍图像帧；所述高倍图像帧包括高倍深度图和高倍灰度图；所述低倍图像帧包括低倍深度图和低倍灰度图；
S4：对所述高倍图像帧与所述低倍图像帧进行有效像素点统计、过曝点判断以及掉帧判断；
S5：对所述高倍深度图和与相邻帧的所述低倍深度图进行融合，依据所述高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行所述有效像素点深度值融合，获得融合后的深度图；
S6：对所述高倍灰度图和相邻帧的所述低倍灰度图进行融合，高、低倍灰度图中相应所述有效像素点的灰度值采用比例融合的方式进行融合；得到融合后的灰度图；
S7：对所述融合后的灰度图进行非线性关系变换，得到最终融合后的灰度图。
优选的，所述S5对所述有效像素点深度值融合，获得融合后的深度图，包括：
1)若所述高、低倍深度图中相应所述有效像素点的深度值对应的相应灰度值均在所述线性区间范围内，则融合后所述有效像素点的深度值等于高、低倍深度图中相应所述有效像素点的深度值的平均值；
2)若所述高、低倍深度图中相应所述有效像素点的深度值对应的相应灰度值均不在所述线性区间范围内，则融合后所述有效像素点的深度值等于靠近所述线性区间范围的灰度值对应的所述高倍深度图或是低倍深度图中相应所述有效像素点的深度值；
3)若所述高、低倍深度图中相应所述有效像素点深度值对应的相应灰度值只有一个所述灰度值在所述线性区间范围内，则融合后所述有效像素点的深度值等于在所述线性区间范围内的灰度值对应的所述高倍深度图或是所述低倍深度图中相应所述有效像素点的深度值。
优选的，所述S5中所述灰度值的线性区间范围通过测试获得。
优选的，所述S6中获得融合后的灰度图，包括：
1)若所述高倍灰度图中存在所述过曝点，所述过曝点的灰度值按照比例关系式进行换算，换算之后的灰度值和低倍灰度图中相应的像素点灰度值采用比例融合的方式进行融合，得到融合后的灰度图；
所述过曝点的灰度值按照比例关系式进行换算的公式为：
式中，低倍灰度图像素点灰度值、以及高、低倍曝光参数已知。
优选的，所述S6中获得融合后的灰度图，还包括：
对所述融合后灰度图的范围按照压缩公式压缩至有效的灰度值范围内；得到压缩后灰度图。
所述压缩公式表示为：
*pIr1＝*pIr1*n/pIr1_max
其中，其中*pIr1为压缩灰度图的像素灰度值，pIr1_max融合后灰度图的最大像素灰度值，n为压缩后灰度图的最大值。
优选的，所述采用比例融合方式为采用融合比例关系进行融合，所述融合比例关系为：
IR(i)＝a*IR_L(i)+b*IR_H(i)
其中，a＝1-b,b为融合系数，IR(i)表示融合后的灰度图上第i个像素点的灰度值，IR_L(i)表示低倍灰度图上第i个像素点的灰度值，IR_H(i)表示高倍灰度图上第i个像素点的灰度值。
优选的，所述S7中对融合后的灰度图进行非线性变换为对融合后的灰度图采用非线性方程式进行变换；所述非线性方程表示为：
*pIr1＝sqrt(*pIr1)*K；
其中*pIr1为融合后图像的像素灰度值；K为常数。
优选的，所述高、低倍曝光参数根据应用场景要求解算范围和机器识别训练算法要求的最低亮度计算获得。
优选的，还包括：
S8：通过图像编译软件对所述最终融合的灰度图进行优化调整对比度；获得优化后的灰度图，根据优化时调整的曲线坐标计算获得所述优化后的灰度图曲线的拟合方程；所述拟合方程表示为：
*pIr1＝0.0002**pIr1**pIr1+0.4204**pIr1+11.171
其中*pIr1为所述线性变换后得到的灰度图中像素点的灰度值。
根据发明目的本发明还提供了一种深度相机高动态范围深度图与灰度图的融合装置，包括：参数设置单元、标定单元、图像获取单元、图像处理单元、深度图融合单元、灰度图融合单元、非线性变换单元；
所述参数设置单元，用于设置高、低倍曝光参数，所述高倍曝光参数用于拍摄远距离对象，所述低倍曝光参数用于拍摄近距离对象；并循环发送所述高、低倍曝光参数至所述图像获取单元；
所述标定单元，用于对所述高倍曝光参数进行距离标定；并对所述低倍曝光参数解算距离误差进行补偿；
所述图像获取单元，根据所述参数设置单元发送的所述高、低倍曝光参数，进行交替曝光获取高倍图像帧和低倍图像帧，所述高倍图像帧和所述低倍图像帧均包括深度图和灰度图；
所述图像处理单元，用于将高、低倍交替的图像帧进行有效像素单元统计、过曝点判断以及掉帧判断；
所述深度图融合单元，依据所述高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行所述有效像素点深度值融合，获得融合后的深度图；
所述灰度图融合单元，对所述高倍灰度图和相邻帧的所述低倍灰度图进行融合，高、低倍灰度图中相应所述有效像素点的灰度值采用比例融合的方式进行融合；得到融合后的灰度图；
非线性变换单元，用于将所述获得融合后的灰度图进行非线性变换，得到最终融合后的灰度图。
本发明的有益效果是：
1.本发明提出一种两档曝光方案，仅需要对高倍曝光参数进行标定，低倍曝光参数的测量距离依据高倍曝光参数标定获得标定曲线进行解算，获得解算距离；使用多项式拟合或者样条插值的方式补偿所述解算距离与真实距离之间的误差；只需要对高倍曝光参数进行标定，提高了生产效率，避免了因为不同参数的测距差异造成深度融合后的测距偏差。
2.本发明高、低倍深度图融合时依据像素点对应的灰度值是否在灰度线性区间范围内进行融合，得到平滑准确的深度曲线，提高了深度图的准确性。
3.本发明在高、低倍灰度图融合时，对于高倍灰度图中过曝点的处理，根据高低倍的灰度图的灰度值比例关系，使用低倍灰度图对应像素点的灰度值补偿高倍过曝点的灰度值，得到过曝区域过度自然的融合灰度图。
4.本发明对融合后的灰度图进行非线性变换，增大中低灰度亮度和对比度，减少中高灰度区间范围对比度和灰度，一般人像的灰度图灰度范围分布在中低灰度区间范围内，这样可以有效的提亮暗部，呈现更多细节，提高算法准确率。
5.本发明使用软件对非线性变换后的灰度图进行优化，使图像看起来更加清晰自然，提高算法识别准确率。
6.本发明给出了融合后的灰度图按照压缩公式进行压缩，而不是传统 13bit右移一位的映射12bit形式，保留最大灰度动态范围。
附图说明
图1为本发明的一个实施例的深度相机高动态范围深度图与灰度图融合方法的流程图示意图；
图2为本发明的另一个实施例的深度相机高动态范围深度图与灰度图融合方法的流程图示意图；
图3为本发明的另一个实施例的深度相机高动态范围深度图与灰度图融合装置的结构框图示意图；
图4为灰度值随距离衰减曲线；
图5为补偿对应的衰减系数后得到的灰度图线性曲线；
图6为相同距离处，高倍灰度图和低倍灰度图融合前和融合后的灰度图；
图7为一组相同距离处，高、低倍曝光参数对应的高、低倍灰度图灰度值数据；
图8为另一组相同距离处，高、低倍曝光参数对应的高、低倍灰度图灰度值数据；
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述，但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明一种深度相机高动态范围深度图与灰度图的融合方法一具体实施例，包括以下步骤：
S1：设置高、低倍曝光参数；高倍曝光参数用于拍摄远距离对象，低倍曝光参数用于拍摄近距离对象；
高、低倍曝光参数根据应用场景要求解算范围，依据机器识别训练算法要求的最低亮度计算获得。有一具体的实施方式如下：驾仓乘员行为分析监测范围是0.2米到1.5米；人脸识别或者行为识别的自学习算法需要的最低亮度为400LSB左右。某一深度传感器的输出灰度图为12bi t，即0到4095LSB，线性区为200LSB到3600LSB，有效灰度范围400LSB到3600LSB，即9倍的灰度范围。根据激光衰减与距离的平方成正比，计算一档曝光参数有3倍的测距范围，即如果低倍参数起始位置0.2米，那么最远距离为0.6米。高倍解算范围为0.6米到1.8米。根据该测距范围和对应的灰度值，调节低倍曝光参数，使0.2米处灰度值达到3600LSB左右，0.6米出的灰度值在400LSB 左右。调节高倍曝光参数，使0.6米处灰度值达到3600LSB左右，1.8米处的灰度值400LSB左右，当然上述值是理论计算，在实际调节中允许存在一定的偏差。
S2：对高、低倍曝光参数进行距离标定；低倍曝光参数测量距离按照高倍曝光参数标定获得的高倍标定曲线进行解算，获得解算距离；使用多项式拟合或者样条插值的方式补偿解算距离与真实距离之间的误差；
具体的，判断当前帧是高倍图像帧还是低倍图像帧，如是低倍图像帧，则按照低倍参数的拟合方程进行距离补偿。距离补偿方式不做限定，可通过样条插值或者多项式拟合获得拟合方程，本发明以多项式拟合获得的拟合方程进行距离补偿。高低倍的判断方式可通过当前灰度帧均值与上一帧的灰度帧均值比较得出。
S3：采用所述高、低倍曝光参数对同一场景进行拍摄；交替输出高倍图像帧和低倍图像帧；所述高倍图像帧包括高倍深度图和高倍灰度图；所述低倍图像帧包括低倍深度图和低倍灰度图；
S4：对高倍图像帧与所述低倍图像帧进行有效像素单元统计、过曝点的判断以及掉帧判断；
有一具体的实施例，若灰度图的灰度值取值范围0到4095LSB，高倍图像帧上面的某像素点灰度值等于4095LSB，则认为高倍图像帧存在过曝点；当然，当灰度值接近最大值时，其灰度值已经不在传感器的线性区间，一般过曝点判断阈值小于最大灰度值，如可选择3900LSB。
对于掉帧判断的具体实施方式，如下：
判断当前帧与上一帧是否为近似帧，即同为高倍图像帧或者同为低倍图像帧。为了兼顾过曝和欠曝及反射率极低的场景，判断方式需结合百分比偏差和绝对值偏差两者进行判断。如出现相似帧，则说明出现丢帧。当前帧不变，缓存的上一帧使用上上一帧图像替换，进入下一步图像处理。如非相似帧，则直接进入下一步图像处理。
S5：对高倍深度图和与相邻帧的低倍深度图进行融合，依据高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行所述有效像素点深度值融合，获得融合后的深度图；
有一优选方案，灰度值的线性区间通过测试获得。具体地测试步骤如下：
1)将深度相机放在测试导轨上，对准35％反射率的测试板；
2)打开上位机，设置合适的曝光参数，调整导轨距离，从灰度图过曝开始逐渐远离测试板，并记录对应的距离和灰度值。灰度值可统计中心区域9*9像素，50张灰度图的平均值，得到灰度值随距离衰减曲线；具体如图4所示；
3)补偿对应的衰减系数后得到的灰度图线性曲线，具体如图5所示；由图5可知，灰度值的线性区间为在1000LSB到3500LSB。
具体地，对有效像素点深度值融合，获得融合后的深度图，包括：
1)若高、低倍深度图中相应有效像素点的深度值对应的相应灰度值均在线性区间范围内，则融合后有效像素点的深度值等于高、低倍深度图中相应有效像素点的深度值的平均值；
2)若高、低倍深度图中相应有效像素点的深度值对应的相应灰度值均不在线性区间范围内，则融合后有效像素点的深度值等于靠近线性区范围的灰度值对应的高倍深度图或是低倍深度图中相应有效像素点的深度值；
3)若高、低倍深度图中相应有效像素点深度值对应的相应灰度值只有一个灰度值在线性区间范围内，则融合后有效像素点的深度值等于在线性区范围内的灰度值对应的高倍深度图或是低倍深度图中相应有效像素点的深度值。
S6：对高倍灰度图和相邻帧的低倍灰度图进行融合，高、低倍灰度图中相应有效像素点的灰度值采用比例融合的方式进行融合；得到融合后的灰度图；具体的，获得融合后的灰度图，包括：
1)若高倍灰度图中存在过曝点，过曝点的灰度值按照比例关系式进行换算，换算之后的灰度值和低倍灰度图中相应的像素点灰度值采用比例融合的方式进行融合，得到融合后的灰度图；
过曝点的灰度值按照比例关系式进行换算的公式(1)为：
式中，低倍灰度图像素点灰度值、以及高、低倍曝光参数已知。
有一具体的实施例，对于公式(1)的获得步骤如下：
1)将深度相机放在测试导轨上，对准35％反射率的测试板。
2)打开上位机，设置曝光参数为高倍曝光参数和低倍曝光参数，调整导轨距离，从灰度图过曝开始逐渐远离测试板，分别测试两组高低倍灰度值，灰度值可统计中心区域9*9像素，50张灰度图的平均值；根据统计结果得知高低倍灰度值比例近似等于曝光参数比例。具体数据见图7和图8；图7为一组相同距离处，高、低倍曝光参数对应的高、低倍灰度图灰度值数据；图 8为另一组相同距离处，高、低倍曝光参数对应的高、低倍灰度图灰度值数据；
若融合后的灰度图灰度值的范围超过了灰度图有效的灰度值范围，需要对融合后灰度图的范围按照压缩公式压缩至有效的灰度值范围内；得到压缩后灰度图。
具体地，压缩公式表示为：
*pIr1＝*pIr1*n/pIr1_max
其中，其中*pIr1为压缩灰度图的像素灰度值，pIr1_max融合后灰度图的最大像素灰度值，n为压缩后灰度图的最大值。
对于高、低倍灰度图采用比例融合方式进行融合，具体地，融合比例关系为：
IR(i)＝a*IR_L(i)+b*IR_H(i)；
其中，a＝1-b,b为融合系数，IR(i)表示融合后的灰度图上第i个像素点的灰度值，IR_L(i)表示低倍灰度图上第i个像素点的灰度值，IR_H(i)表示高倍灰度图上第i个像素点的灰度值。
有一具体的实施例，若灰度图的灰度值取值范围0到4095LSB，若高倍图像帧无过曝点，根据归一化处理方式，融合后的灰度取值范围也在0到 4095LSB范围内，不再进行比例压缩。若高倍图像帧存在过曝点，那么根据融合后的灰度值范围必然超过0到4095LSB的取值范围。则需要进行比例压缩到0到4095LSB范围内，进入下一步图像处理。比例压缩公式如下，求最大灰度值，按照最大灰度值比例压缩的0到4095LSB范围内，
公式如下：*pIr1＝*pIr1*4095/pIr1_max
其中*pIr1为融合后图像的像素灰度值，pIr1_max为融合后图像的最大像素灰度值。
S7：对所述融合后的灰度图进行非线性关系变换，得到最终融合后的灰度图。
对融合后的灰度图采用非线性方程式进行变换；对融合后的灰度图进行非线性变换目的是：提亮暗部细节，拟制高亮的区域，呈现更多的细节，提高人脸识别或者行为识别的准确率。
上述的非线性变换可为指数倍的衰减，再进行比例放大的非线性方程。也可以是其它非线性方程，目标是增大低灰度范围亮度和对比度，拟制高亮区域，压缩线性区间内的灰度间距，以此来呈现更多的细节。本发明采用的非线性方程表示如下为：
*pIr1＝sqrt(*pIr1)*K
其中*pIr1为融合后图像的像素灰度值；K为常数。
为了提升的最终融合后灰度图的细节，优化图像对比度，使图像看起来更加清晰自然，提高算法识别准确率。如图2所示，本发明的另一具体的实施例，还包括S8：通过图像编译软件对所述最终融合后的灰度图进行优化调整对比度；获得优化后的灰度图，根据优化时调整的曲线坐标计算获得优化后的灰度图曲线的拟合方程；拟合方程表示为：
*pIr1＝0.0002**pIr1**pIr1+0.4204**pIr1+11.171
其中*pIr1为所述非线性变换后得到的灰度图中像素点的灰度值。
有一优选方案，所述图像编译软件为FastStone Image Viewer软件。
本发明相同距离处，高、低倍灰度图融合前和融合后的灰度图，具体可见图6所示。
如图3所示，根据发明目的还提供了一种深度相机高动态范围深度图与灰度图的融合装置，包括：参数设置单元31、标定单元32、图像获取单元33、图像处理单元34、深度图融合单元35、灰度图融合单元36、非线性变换单元37；
参数设置单元31，用于设置高、低倍曝光参数，所述高倍曝光参数用于拍摄远距离对象，所述低倍曝光参数用于拍摄近距离对象；并循环发送高、低倍曝光参数至图像获取单元33；
标定单元32，用于对所述高倍曝光参数进行距离标定；对低倍曝光参数解算距离误差进行补偿；
图像获取单元33，根据参数设置单元1发送的高、低倍曝光参数，进行交替曝光获取高倍图像帧和低倍图像帧，高倍图像帧和低倍图像帧均包括深度图和灰度图；
图像处理单元34，用于将高、低倍交替的图像帧进行有效像素单元统计、过曝点判断以及掉帧判断；
深度图融合单元35，依据高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行有效像素点深度值融合，获得融合后的深度图；
灰度图融合单元36，对高倍灰度图和相邻帧的低倍灰度图进行融合，高、低倍灰度图中相应有效像素点的灰度值采用比例融合的方式进行融合；得到融合后的灰度图；
非线性变换单元37，用于将获得融合后的灰度图进行非线性变换，得到最终融合后的灰度图。
本发明提出一种两档曝光方案，不需要额外深度标定补偿，解决融合后不同曝光参数的测距误差，高、低倍深度图融合时依据像素点对应的灰度值是否在灰度线性区间进行融合，得到平滑准确的深度曲线，提高了深度图的准确性。对于高倍灰度图中过曝点的处理，采用高低倍对应像素点的灰度值线性比例，使用低倍灰度值补偿高倍过曝点，得到过曝区域过度自然的融合灰度图。融合后的灰度图进行非线性变换，增大中低灰度范围亮度和对比度，减少中高灰度范围对比度和灰度，一般人像的灰度图灰度范围分布在中低灰度区间内，这样可以有效的提亮暗部，呈现更多细节，提高算法准确率。使用软件对非线性变换后的灰度图进行优化，使图像看起来更加清晰自然，提高算法识别准确率。
对于融合后的灰度图的灰度范围超过了灰度图的有效范围的情况，对融合后的灰度图按照压缩公式进行压缩，而不是传统13bit右移一位的映射 12bit形式，保留最大灰度动态范围。
尽管为示例目的，已经公开了本发明的优选实施方式，但是本领域的普通技术人员将意识到，在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下，各种改进、增加以及取代是可以的。
Claims (10)
1.一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，包括以下步骤：
S1：设置高、低倍曝光参数；所述高倍曝光参数用于拍摄远距离对象，所述低倍曝光参数用于拍摄近距离对象；
S2：对所述高倍曝光参数进行距离标定；所述低倍曝光参数测量距离按照所述高倍曝光参数标定获得的高倍标定曲线进行解算，获得解算距离；使用多项式拟合或者样条插值的方式补偿所述解算距离与真实距离之间的误差；
S3：采用所述高、低倍曝光参数对同一场景进行拍摄；交替输出高倍图像帧和低倍图像帧；所述高倍图像帧包括高倍深度图和高倍灰度图；所述低倍图像帧包括低倍深度图和低倍灰度图；
S4：对所述高倍图像帧与所述低倍图像帧进行有效像素点统计、过曝点判断以及掉帧判断；
S5：对所述高倍深度图与相邻帧的所述低倍深度图进行融合，依据所述高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行所述有效像素点深度值融合，获得融合后的深度图；
S6：对所述高倍灰度图和相邻帧的所述低倍灰度图进行融合，高、低倍灰度图中相应有效像素点的灰度值，采用比例融合的方式融合；得到融合后的灰度图；
S7：对所述融合后的灰度图进行非线性关系变换，得到最终融合后的灰度图。
2.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，所述S5对所述有效像素点深度值融合，获得融合后的深度图，包括：
1)若所述高、低倍深度图中相应所述有效像素点的深度值对应的相应灰度值均在所述线性区间范围内，则融合后所述有效像素点的深度值等于高、低倍深度图中相应所述有效像素点的深度值的平均值；
2)若所述高、低倍深度图中相应所述有效像素点的深度值对应的相应灰度值均不在所述线性区间范围内，则融合后所述有效像素点的深度值等于靠近所述线性区范围的灰度值对应的所述高倍深度图或是低倍深度图中相应所述有效像素点的深度值；
3)若所述高、低倍深度图中相应所述有效像素点深度值对应的相应灰度值只有一个所述灰度值在所述线性区间范围内，则融合后所述有效像素点的深度值等于在所述线性区范围内的灰度值对应的所述高倍深度图或是所述低倍深度图中相应所述有效像素点的深度值。
3.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于：所述S5中所述灰度值的线性区间范围通过测试获得。
4.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，所述S6中获得融合后的灰度图，包括：
1)若所述高倍灰度图中存在所述过曝点，所述过曝点的灰度值按照比例关系式进行换算，换算之后的灰度值和低倍灰度图中相应的像素点灰度值采用比例融合的方式进行融合，得到融合后的灰度图；
所述过曝点的灰度值按照比例关系式进行换算的公式为：
式中，低倍灰度图像素点灰度值、以及高、低倍曝光参数已知。
5.根据权利要求4所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，所述S6中获得融合后的灰度图，还包括：
对所述融合后灰度图的范围按照压缩公式压缩至有效的灰度范围内；得到压缩后灰度图。
所述压缩公式表示为：*pIr1＝*pIr1*n/pIr1_max
其中，其中*pIr1为压缩灰度图的像素灰度值，pIr1_max融合后灰度图的最大像素灰度值，n为压缩后灰度图的最大值。
6.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，所述采用比例融合方式为采用融合比例关系进行融合，所述融合比例关系为：
IR(i)＝a*IR_L(i)+b*IR_H(i)
其中，a＝1-b,b为融合系数，IR(i)表示融合后的灰度图上第i个像素点的灰度值，IR_L(i)表示低倍灰度图上第i个像素点的灰度值，IR_H(i)表示高倍灰度图上第i个像素点的灰度值。
7.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，所述S7中对融合后的灰度图进行非线性变换为对融合后的灰度图采用非线性方程式进行变换；所述非线性方程表示为：
*pIr1＝sqrt(*pIr1)*K
其中*pIr1为融合后图像的像素灰度值；K为常数。
8.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于：所述高、低倍曝光参数根据应用场景要求解算的范围和机器识别训练算法要求的最低亮度计算获得。
9.根据权利要求1所述的一种深度相机高动态范围深度图与灰度图的融合方法，其特征在于，还包括：
S8：通过图像编译软件对所述最终融合的灰度图进行优化调整；获得优化后的灰度图，根据优化时调整的曲线坐标计算获得所述优化后的灰度图曲线的拟合方程；所述拟合方程表示为：
*pIr1＝0.0002**pIr1**pIr1+0.4204**pIr1+11.171
其中*pIr1为所述线性变换后得到的灰度图中像素点的灰度值。
10.一种深度相机高动态范围深度图与灰度图的融合装置，其特征在于，包括：参数设置单元、标定单元、图像获取单元、图像处理单元、深度图融合单元、灰度图融合单元、非线性变换单元；
所述参数设置单元，用于设置高、低倍曝光参数，所述高倍曝光参数用于拍摄远距离对象，所述低倍曝光参数用于拍摄近距离对象；并循环发送所述高、低倍曝光参数至所述图像获取单元；
所述标定单元，用于对所述高倍曝光参数进行距离标定；并对所述低倍曝光参数解算距离误差进行补偿；
所述图像获取单元，根据所述参数设置单元发送的所述高、低倍曝光参数，进行交替曝光获取高倍图像帧和低倍图像帧，所述高倍图像帧和所述低倍图像帧均包括深度图和灰度图；
所述图像处理单元，用于将高、低倍交替的图像帧进行有效像素点统计、过曝点判断以及掉帧判断；
所述深度图融合单元，依据所述高、低倍深度图中相应有效像素点的深度值对应的灰度值的线性区间范围进行所述有效像素点深度值融合，获得融合后的深度图；
所述灰度图融合单元，对所述高倍灰度图和相邻帧的所述低倍灰度图进行融合，高、低倍灰度图中相应所述有效像素点的灰度值采用比例融合的方式进行融合；得到融合后的灰度图；
非线性变换单元，用于将所述获得融合后的灰度图进行非线性变换，得到最终融合后的灰度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110208081.4A CN112950517B (zh) | 2021-02-25 | 2021-02-25 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110208081.4A CN112950517B (zh) | 2021-02-25 | 2021-02-25 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950517A true CN112950517A (zh) | 2021-06-11 |
| CN112950517B CN112950517B (zh) | 2023-11-03 |
Family
ID=76246044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110208081.4A Active CN112950517B (zh) | 2021-02-25 | 2021-02-25 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950517B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581345A (zh) * | 2022-05-07 | 2022-06-03 | 广州骏天科技有限公司 | 一种基于自适应线性灰度化的图像增强方法及系统 |
| CN115393348A (zh) * | 2022-10-25 | 2022-11-25 | 绵阳富临医院有限公司 | 一种基于图像识别的烧伤检测方法、系统及存储介质 |
| WO2023056926A1 (zh) * | 2021-10-08 | 2023-04-13 | 上海肇观电子科技有限公司 | 图像处理方法、电子设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120013603A1 (en) * | 2010-07-15 | 2012-01-19 | Chunghwa Picture Tubes, Ltd. | Depth Map Enhancing Method |
| US20150030234A1 (en) * | 2012-01-25 | 2015-01-29 | Technische Universiteit Delft | Adaptive multi-dimensional data decomposition |
| CN106612387A (zh) * | 2015-10-15 | 2017-05-03 | 杭州海康威视数字技术股份有限公司 | 一种组合深度图获得方法及深度相机 |
| CN107203985A (zh) * | 2017-05-18 | 2017-09-26 | 北京联合大学 | 一种端到端深度学习框架下的多曝光图像融合方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
| CN108702437A (zh) * | 2016-04-01 | 2018-10-23 | 英特尔公司 | 用于3d成像系统的高动态范围深度生成 |
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| CN110807811A (zh) * | 2019-09-20 | 2020-02-18 | 炬佑智能科技(苏州)有限公司 | 对不同反射率物体的深度补偿方法及tof相机 |
| JP2020051991A (ja) * | 2018-09-28 | 2020-04-02 | パナソニックＩｐマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
-
2021
- 2021-02-25 CN CN202110208081.4A patent/CN112950517B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120013603A1 (en) * | 2010-07-15 | 2012-01-19 | Chunghwa Picture Tubes, Ltd. | Depth Map Enhancing Method |
| US20150030234A1 (en) * | 2012-01-25 | 2015-01-29 | Technische Universiteit Delft | Adaptive multi-dimensional data decomposition |
| CN106612387A (zh) * | 2015-10-15 | 2017-05-03 | 杭州海康威视数字技术股份有限公司 | 一种组合深度图获得方法及深度相机 |
| US20180300891A1 (en) * | 2015-10-15 | 2018-10-18 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method for obtaining combined depth image, and depth camera |
| US20180322646A1 (en) * | 2016-01-05 | 2018-11-08 | California Institute Of Technology | Gaussian mixture models for temporal depth fusion |
| CN108702437A (zh) * | 2016-04-01 | 2018-10-23 | 英特尔公司 | 用于3d成像系统的高动态范围深度生成 |
| CN107203985A (zh) * | 2017-05-18 | 2017-09-26 | 北京联合大学 | 一种端到端深度学习框架下的多曝光图像融合方法 |
| CN107220931A (zh) * | 2017-08-02 | 2017-09-29 | 安康学院 | 一种基于灰度级映射的高动态范围图像重建方法 |
| JP2020051991A (ja) * | 2018-09-28 | 2020-04-02 | パナソニックＩｐマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
| CN110807811A (zh) * | 2019-09-20 | 2020-02-18 | 炬佑智能科技(苏州)有限公司 | 对不同反射率物体的深度补偿方法及tof相机 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023056926A1 (zh) * | 2021-10-08 | 2023-04-13 | 上海肇观电子科技有限公司 | 图像处理方法、电子设备和存储介质 |
| CN114581345A (zh) * | 2022-05-07 | 2022-06-03 | 广州骏天科技有限公司 | 一种基于自适应线性灰度化的图像增强方法及系统 |
| CN115393348A (zh) * | 2022-10-25 | 2022-11-25 | 绵阳富临医院有限公司 | 一种基于图像识别的烧伤检测方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950517B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950517B (zh) | 深度相机高动态范围深度图与灰度图的融合方法及装置 | |
| KR100942925B1 (ko) | 스테레오 비전 시스템 및 그 제어방법 | |
| CN102845071B (zh) | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 | |
| CN104184958B (zh) | 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置 | |
| CN110769164B (zh) | 一种自动调节目标场景照明水平的方法 | |
| CN103335716B (zh) | 基于变积分时间的面阵红外相机定标与非均匀性校正方法 | |
| CN105939451A (zh) | 用于胶囊内窥镜系统的图像曝光处理系统及方法 | |
| CN105635593A (zh) | 多重曝光成像系统及其白平衡方法 | |
| US5731995A (en) | Method for determining pressure | |
| CN104581105B (zh) | 基于色温距离变换权重图和块可靠性修正的自动白平衡方法 | |
| CN102209246A (zh) | 一种实时视频白平衡处理系统 | |
| CN104618664A (zh) | 一种基于自适应积分时间的嵌入式红外图像超帧处理方法 | |
| CN1984260A (zh) | 自动曝光控制方法及自动曝光补偿装置 | |
| CN103226819A (zh) | 一种基于分段统计的相对辐射校正方法 | |
| CN103237175A (zh) | 基于人眼视觉特性的数字相机自动曝光方法 | |
| US8693803B2 (en) | High linear dynamic range imaging | |
| CN104849241B (zh) | 推进剂烟雾光遮蔽能力测试系统的校准方法 | |
| CN104820970A (zh) | 基于在轨分类统计的红外影像相对辐射矫正方法 | |
| CN111028187A (zh) | 一种光线自适应的机载双光图像侦察装置及方法 | |
| CN110555843A (zh) | 一种高精度的无参考融合遥感影像质量分析方法及系统 | |
| CN113989394A (zh) | 用于自动驾驶模拟环境色温的图像处理方法及系统 | |
| CN107635124B (zh) | 人脸拍摄的白平衡处理方法、装置及设备 | |
| US9324146B2 (en) | Photometric and radiometric calibration using optical feedback | |
| CN107782447B (zh) | 成像光谱仪光谱定标中空间维自动识别方法及系统 | |
| CN112261310A (zh) | 一种数字能见度仪观测亮度自动调节方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |