CN109981992B - 一种在高环境光变化下提升测距准确度的控制方法及装置 - Google Patents

一种在高环境光变化下提升测距准确度的控制方法及装置 Download PDF

Info

Publication number
CN109981992B
CN109981992B CN201711462041.2A CN201711462041A CN109981992B CN 109981992 B CN109981992 B CN 109981992B CN 201711462041 A CN201711462041 A CN 201711462041A CN 109981992 B CN109981992 B CN 109981992B
Authority
CN
China
Prior art keywords
map
image data
depth
optimized
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711462041.2A
Other languages
English (en)
Other versions
CN109981992A (zh
Inventor
周秦娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen point cloud Intelligent Technology Co.,Ltd.
Original Assignee
周秦娜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 周秦娜 filed Critical 周秦娜
Priority to CN201711462041.2A priority Critical patent/CN109981992B/zh
Publication of CN109981992A publication Critical patent/CN109981992A/zh
Application granted granted Critical
Publication of CN109981992B publication Critical patent/CN109981992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

本发明提供了一种在高环境光变化下提升测距准确度的控制方法，其用于对TOF摄像头在环境光变化剧烈的场景下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，包括如下步骤：a.设置N个不同的曝光时间，以产生连续N帧不同亮度的图像数据，其中，所述图像数据包括深度图像数据depth_mapN以及光强度图像数据amp_mapN；b.针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)；c.基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将合成后的图像数据作为所述改善图像数据。本发明功能强大，方法独特，运算快速，操作简单，能有效地在环境光比较强，光噪声变化剧烈的环境下改善3D成像的准确度，具有极高的商业价值。

Description

一种在高环境光变化下提升测距准确度的控制方法及装置
技术领域
本发明涉及3D成像摄像头领域，TOF(Time of filight)3D成像技术，视觉识别技术，图像处理技术，具体地，涉及一种在高环境光变化下提升测距准确度的控制方法及装置。
背景技术
TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。
TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。
TOF的优势：与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps。TOF的深度信息。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。
最近几年TOF技术开始集成在摄像头内，去记录周围环境的3D信息和计算距离。开始有了不少应用场景，例如把TOF深度摄像头技术应用于车内，去做驾驶员的状态感应和手势识别，又例如把该类型的摄像头应用于xbox kinect2去做体感识别，应用于体感游戏，随着科技的不断发展，TOF技术被应用于各种领域，并基于此项技术实现了生活的智能化、科技化。目前，我们现在所使用的TOF深度摄像头，绝大部分都应用在室内，因为TOF技术的局限性，第一，测量范围，第二，应用环境，目前TOF技术的测量范围仅为几米，且对应用环境的要求也比较苛刻(主要受环境光影响严重)。该技术通常采用红外光源，在室内使用可以避免阳光中的红外线干扰，起到良好的效果，而在室外，由于红外线干扰强烈，从而导致成像的精度下降。
在现有的技术中，由于当前的TOF摄像头技术成像的时候需要用主动光源发射光的脉冲测距，而采用的红外光源频率在太阳光的频率范围内，导致所述TOF摄像头在环境光比较剧烈的情况下会影响成像的精度，测距的结构波动会很大而且会产生曝光过度的问题。通常的TOF成像的摄像头会在室内的环境下使用。已有的技术改善的方法一般会把环境光看着是一种噪声，增大红外光源的亮度提高信噪比改善成像质量，带来的问题是增大了功率的消耗，散热问题变严重。另外的解决方案是更好阳光中没有的波段光源，这种方式会大幅度的提高元器件成本。
目前并没有一种通过图像处理算法在环境光比较强，光噪声变化剧烈的环境下改善3D成像的准确度的一种控制方法，尤其是涉及一种在高环境光变化下提升测距准确度的控制方法及装置。
发明内容
针对现有技术存在的技术缺陷，本发明的目的是提供一种在高环境光变化下提升测距准确度的控制方法及装置，根据本发明的一个方面，提供了一种在高环境光变化下提升测距准确度的控制方法及，其用于对TOF摄像头在环境光变化剧烈的场景下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，包括如下步骤：
a.设置N个不同的曝光时间，以产生连续N帧不同亮度的图像数据，其中，所述图像数据包括深度图像数据depth_mapN以及光强度图像数据amp_mapN；
b.针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)；
c.基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将合成后的图像数据作为所述改善图像数据。
优选地，所述步骤b中的所述基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)步骤包括如下步骤：
b1.基于优化光强参数确定所述N帧图像数据中的第1帧光强度数据amp_map1的第一像素点amp_map1[x,y]与所述N帧图像数据中的第2帧光强度数据amp_map2的第一像素点amp_map2[x,y]的优化像素值depth_map′(x,y)，其中，
若|amp_map1[x,y]-Amp[x,y]|>|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map2(x,y)
depth_map′(x,y)＝depth_map2[x,y]；
若|amp_map1[x,y]-Amp[x,y]|<|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map1(x,y)
depth_map′(x,y)＝depth_map1[x,y]；
其中，所述Amp(x,y)为所述优化光强参数；
b2.对所述N帧图像数据中第i帧的第一像素点amp_mapi[x,y]继续与所述amp_map′(x,y)进行上述步骤b1中的比较，获取最终优化像素值，若|amp_mapi[x,y]-Amp(x,y)|>|amp_map′[x,y]-Amp(x,y)|，则保持不变；若|amp_mapi[x,y]-Amp(x,y)|〈|amp_map′[x,y]-Amp(x,y)|，则amp_map′(x,y)＝amp_mapi(x,y)；
depth_map′(x,y)＝depth_mapi[x,y]，直至所述N帧图像的第一像素点被遍历完成；
b3.取所述N帧图像数据中下一像素点重复步骤b1至b2，直至所述N帧图像的所有像素点被遍历完成。
优选地，所述优化光强参数Amp(x,y)与拍摄距离具有关联度。
优选地，所述优化光强参数Amp(x,y)通过如下方式获得：
i.在一特定拍摄距离下，通过所述TOF摄像头拍摄获得多个不同曝光时间下的图像；
ii.基于所述多个图像对成像准确度数据与光强数据的关系进行绘制关系图，得出曲线图，选择最优的光强数据图amp(x,y)；
iii.重复步骤i至步骤ii，获取每一个像素点的光强数据图，形成所述优化光强参数图Amp。
优选地，所述连续N帧图像数据通过所述TOF摄像头在帧率fn下拍摄。
优选地，所述帧率fn为30帧/秒。
根据本发明的另一个方面，提供了一种在高环境光变化下提升测距准确度的控制装置，其用于对TOF摄像头在高环境光下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，包括深度摄像头模组1、控制单元2，所述深度摄像头模组1连接所述控制单元2，其中，所述控制单元2包括：
第一调节装置21，其用于调节传感器参数；
第一获取装置22，其用于获取连续的N帧图像数据，所述连续N帧图像数据通过所述TOF摄像头在帧率fn下拍摄；
第一确定装置23，其用于针对所述N帧图像数据中的每一个相同的像素点x,y基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)；
第一合成装置24，其用于基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将所述合成后的图像数据作为所述改善图像数据。
优选地，所述深度摄像头模组1包括照射单元11、光学镜头12以及TOF传感器13，所述TOF传感器13连接所述照射单元11以及所述光学镜头12。
优选地，所述TOF传感器13包括传感器控制器131、光源调节驱动电路132、模数转换器133，其中，所述传感器控制器131分别连接所述第一调节装置21、光源调节驱动电路132以及模数转换器133，所述模数转换器133连接所述第一获取装置22。
优选地，所述控制单元2为MCU、CPU、FPGA或者DSP。
本发明主要利用在传感器控制器上设置不同的曝光时间，使用独有的算法去挑选出不同帧中最优的深度数值，通过多帧合成的方式最后产生更优的深度数据图供上层应用使用。本发明功能强大，方法独特，运算快速，操作简单，能有效地在环境光比较强，光噪声变化剧烈的环境下改善3D成像的准确度，具有极高的商业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出了本发明的具体实施方式的，一种在高环境光变化下提升测距准确度的控制方法；
图2示出了本发明的第一实施例的，针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)的具体流程图；
图3示出了本发明的第二实施例的，获取所述优化光强参数Amp的具体流程示意图；
图4示出了本发明的另一具体实施方式的，一种在高环境光变化下提升测距准确度的控制装置的模块连接示意图；以及
图5示出了本发明的另一具体实施方式的，一种接收光强强度与TOF测量误差的关系示意图。
具体实施方式
为了更好的使本发明的技术方案清晰地表示出来，下面结合附图对本发明作进一步说明。
图1示出了本发明的具体实施方式的，一种在高环境光变化下提升测距准确度的控制方法，其用于对TOF摄像头在环境光变化剧烈的场景下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，本领域技术人员理解，所述高环境光是指环境光比较强，光噪声变化剧烈的环境，在这样的环境下，通常使用TOF技术会导致影响成像的精度，测距的结构波动会大且会产生曝光过度的问题，而本发明旨在通过改善TOF摄像头在高环境光下提升测距准确度，具体地，包括如下步骤：
首先，进入步骤S101，设置N个不同的曝光时间，以产生连续N帧不同亮度的图像数据，其中，所述图像数据包括深度图像数据depth_mapN以及光强度图像数据amp_mapN，本领域技术人员理解，不同的曝光时间将影响图像数据的亮度，在现有技术中，可以实现产生连续N帧的图像数据而使用不同的曝光时间，例如，摄像头的帧率为30帧/秒，即1秒内可以得到30帧的图像数据，即每33毫秒以内必须得出1帧的图像数据，进而假如我们需要产生连续2帧不同亮度的图像数据，可以设置曝光时间为15毫秒以及30毫秒。
而在另一个优选地实施例中，假设获取连续3帧的图像数据，结合上述实施例，摄像头的帧率为30帧/秒，可以设置曝光时间为10毫秒、20毫秒以及30毫秒。
更进一步地，所述图像数据包括深度图像数据depth_mapN以及光强度图像数据amp_mapN，对于每帧的图像数据，都包括深度图像数据以及光强度图像数据，这是通过深度摄像头模组获得的原始数据。
然后，进入步骤S102，针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)，本领域技术人员理解，本步骤的目的是为了在所述获取的N帧图像数据中选取最优的图像数据的像素点，在图1示出的优选实施例中，若连续拍摄了2帧的图像数据，则在第一帧中可能具有最优像素点，在第二帧中也可能具有最优像素点。
进一步地，所述步骤S102首先将进行第一像素点的优化像素值的获取，将每帧图像数据中的第一像素点进行比较，得出该像素点的优化像素值，进一步地，遍历所有像素点，得出每个像素点的优化像素值。
本步骤通过独特的算法得出所述2帧图像数据中每个像素点的优化像素值，在将每个优化像素值的像素点进行合成，得出最优图像数据，这些将在后述的具体实施方式中做进一步地描述，在此不予赘述。
最后，进入步骤S103，基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将合成后的图像数据作为所述改善图像数据，本领域技术人员理解，在环境光比较强，光噪声变化剧烈的环境下，如果单独使用一定帧率的图像数据，其中有些像素点可能因为曝光不够或者曝光时间过长而造成亮度不够精确等等，而使用不同的帧率的传感器在不同时间段去拍摄同一画面，再将两张画面进行融合是不太容易实现的，只有在连续的两帧图像数据中使用不同的曝光时间并在相同地点拍摄，才能实现像素点的筛选，合成等等操作，进一步地，在执行完步骤S102后，优选地将曝光时间不同的图像数据中的像素点进行最优化的筛选，选出每个像素点的最优值，并将所有所述最优值的像素点进行合成，从而得出所述完整的图像数据，所述合成后的图像数据即为所述改善图像数据。
图2示出了本发明的第一实施例的，针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)的具体流程图，本领域技术人员理解，所述图2将具体描述如何选取、实现同一像素点在不同的曝光时间下最优像素点的选择，具体地：
首先，进入步骤S1021，取所述N帧图像数据中下一个像素点，本领域技术人员理解，图像数据是由许多像素点组成的，我们可以通过一定的方式依次选取所述N帧图像数据中下一个像素点，以下实施例中，优选地使用N＝2来描述所述算法，在此不予赘述。
在2帧图像数据中，可以采用从左到右换行或者从上到下换排的方式进行，例如，第一个像素点，我们可以选取像素点amp_map1[1,1]、amp_map2[1,1]，其中，amp_map1以及amp_map2分别代表连续拍摄的两帧光强度图像数据，当执行完后述步骤后，优选地选取像素点amp_map1[1,2]、amp_map2[1,2]，依次类推，直至所有像素点全部选择完毕。
然后，进入步骤S1022，基于优化光强参数确定所述N帧图像数据中的第1帧光强度数据amp_map1的第一像素点amp_map1[x,y]与所述N帧图像数据中的第2帧光强度数据amp_map2的第一像素点amp_map2[x,y]的优化像素值depth_map′(x,y)，在这样的实施例中，优选地通过公式实现优化像素值的选取，在一个优选地实施例中，若|amp_map1[x,y]-Amp[x,y]|>|amp_map2[x,y]-Amp[x,y]|，则amp_map′(x,y)＝amp_map2(x,y)；depth_map′(x,y)＝depth_map2[x,y]；若|amp_map1[x,y]-Amp[x,y]|<|amp_map2[x,y]-Amp[x,y]|，则amp_map′(x,y)＝amp_map1(x,y)；depth_map′(x,y)＝depth_map1[x,y]；其中，所述Amp(x,y)为所述优化光强参数。
在这样的实施例中，即当第1帧数据的amp_map1[x,y]与所述Amp(x,y)的差的绝对值大于第2帧数据的amp_map2[x,y]与所述Amp(x,y)的差的绝对值时，所述amp_map′(x,y)即为amp_map2(x,y)，同时depth_map′(x,y)选取depth_map2[x,y]作为优化像素值，当第1帧数据amp_map1[x,y]与所述Amp(x,y)的差的绝对值小于第2帧数据amp_map2[x,y]与所述Amp(x,y)的差的绝对值时，amp_map′(x,y)即为amp_map1(x,y)，同时depth_map′(x,y)选取depth_map1[x,y]作为优化像素值。
进一步地，所述Amp(x,y)为所述优化光强参数，所述Amp(x,y)的获取以及选择将在后述的具体实施方式中作进一步地描述，在此不予赘述。
再然后，进入步骤S1023，对所述N帧图像数据中第i帧的的第一像素点amp_mapi[x,y]继续与所述amp_map′(x,y)进行上述步骤中的比较，获取最终优化像素值，本领域技术人员理解，所述步骤S1023是针对同时获取连续N帧图像数据，且N大于2的情况，若N为2，此步骤可忽略，在N大于2的情况下，在进行比较时，优选地执行逐一比较法，例如，在一个优选地实施例中，若N为3，经过步骤S1022，获得了第一帧图像数据以及第二帧图像数据的比较结果，并得出了优化像素值，具体地，若|amp_mapi[x,y]-Amp(x,y)|>|amp_map′[x,y]-Amp(x,y)|，则保持不变，取第一帧以及第二帧在步骤S1022中的比较结果，若|amp_mapi[x,y]-Amp(x,y)|〈|amp_map′[x,y]-Amp(x,y)|，则amp_map′(x,y)＝amp_mapi(x,y)；depth_map′(x,y)＝depth_mapi[x,y]，
紧接着，进入步骤S1024，判断是否完成N帧图像的第一像素点的像素优化，在这样的实施例中，本步骤紧接着步骤S1023，当N为4，N为5或者更多帧数时，在完成对于第i帧的图像数据比较后，判断是否完成全部N帧图像的第一像素点的像素优化，若未完成，则重复执行此步骤，直至所述N帧图像的第一像素点被遍历完成，若完成，则执行步骤S1025。
本领域技术人员理解，上述比较仅针对第一像素点的比较，在接下来的步骤中还将对于每个像素点进行上述比较，在此不予赘述。
最后，进入步骤S1025，判断是否完成所有像素点的像素优化，此步骤为判断步骤，当判断未完成所有像素点的像素优化，优选地返回步骤S1021，当判断已完成所有像素点的像素优化，则进入步骤S103。
图3示出了本发明的第二实施例的，获取所述优化光强参数Amp的具体流程示意图，本领域技术人员理解，所述优化光强参数Amp与拍摄距离具有关联度，所述优化光强参数Amp可以通过实验获取，具体地，包括如下步骤：
首先，进入步骤S201，在一特定拍摄距离下，通过所述TOF摄像头拍摄获得多个不同曝光时间下的图像，例如，所述特定拍摄距离为1米，在1米的距离处拍摄多个图像,基于在特定距离拍摄多个图像，并优选地设置多个不同的曝光时间，分析图像的成像准确度。
然后，进入步骤S202，基于所述多个图像对成像准确度数据与光强数据的关系进行绘制关系图，得出曲线图，选择最优的光强数据图amp(x,y)，在这样的实施例中，每个图像的成像准确度与光强数据相关联，而对于不同的光强数据，只有在最优选的光强环境下，图像的成像准确度最高，进一步地，所述关系图优选地为一抛物线，而在其他实施例中，还可以为反比例函数、三次函数等等，然后通过机器进行比对分析，选择最优的光强数据图amp(x,y)。
最后，进入步骤S203，获取每一个像素点的光强数据图，形成所述优化光强参数图Amp，在这样的实施例中，重复步骤S201到步骤S202，即可得出每个像素点的光强数据图，通过多个图像对成像准确度数据与光强数据的关系进行比对分析，形成所述优化光强参数图Amp。本领域技术人员理解，获取光强参数图Amp为目前现有技术，在此不予赘述。
结合图5中示出的一种接收光强强度与TOF测量误差的关系示意图，在这样的实施例中，以垂直于接收的光强强度，即为最优强度值为分割线，其中左侧部分以虚线居多，而右侧部分以实线居多，为了更好的分辨出每组虚线所代表的测量物体反射材料的颜色，其中，最靠近垂直的最优强度值的实曲线为蓝色，次靠近垂直的最优强度值的实曲线为黄色，第三靠近垂直的最优强度值的实曲线为白色，第四靠近垂直的最优强度值的实曲线为红色，第五靠近垂直的最优强度值的实曲线为绿色，第六靠近垂直的最优强度值的实曲线为金属色，离垂直的最优强度值的实曲线最远的是银色，进一步地，在图的左侧，从上往下，颜色依次排列分别为：黑色、金属色、银色、黄色、白色、绿色、蓝色以及红色。其中，可以看出，在垂直的直线处，各个反射材料的测量误差是最小的，即在垂直直线处的光强强度即为最优强度值，结合图3中的实施例，通过多个图像对成像准确度数据与光强数据的关系进行比对分析，形成所述优化光强参数图Amp。
图4示出了本发明的另一具体实施方式的，一种在高环境光变化下提升测距准确度的控制装置的模块连接示意图，本领域技术人员理解，结合图1至图3示出的控制方法，图4提供了一种基于上述控制方法的控制装置，具体地，用于对TOF摄像头在高环境光下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据。
进一步地，所述控制装置包括深度摄像头模组1、控制单元2，所述深度摄像头模组1用于输出原始未被优化的数据，包括光强图数据和原始的深度数据。而本发明主要是通过对原始深度数据的后期算法处理，提高深度数据的准确度，所述控制单元2即为通用的算法处理器，将图1至图3中的控制方法的处理过程放置在所述控制单元中，更为具体地，所述控制单元2通常会选择MCU，CPU，FPGA或DSP作为放置算法的载体。
进一步地，所述深度摄像头模组1连接所述控制单元2，具体地，控制单元2控制位于深度摄像头模组1中传感器的参数设置，而深度摄像头模组1将原始深度数据输送给控制单元2，这些将在后述的具体实施方式中做进一步地描述。
进一步地，所述控制单元2包括第一调节装置21，其用于调节传感器参数，所述传感器的参数主要是对于摄像机的帧率以及曝光时间的调节，通过连续的N帧用不同的曝光时间获取深度数据，对应于不同的像素点我们通过求出最优的光强算出对这个像素点最优的数据，通过对每个像素点的合成得出最优的深度数据图输出。
所述控制单元还包括第一获取装置22，其用于获取连续的N帧图像数据，所述连续N帧图像数据通过所述TOF摄像头在帧率fn下拍摄，所述第一获取装置用于获取原始深度数据，进一步地，基于所述原始深度数据实现后述的优化，所述第一获取装置对应于步骤S101，进一步地，在本发明中，优选地使用帧率为30帧/秒的TOF摄像头实现上述控制方法，而在其他的实施例中，所述帧率还可以为50帧/秒，60帧/秒，在此不予赘述。
所述控制单元还包括第一确定装置23，其用于针对所述N帧图像数据中的每一个相同的像素点x,y基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)，所述第一确定装置对应于步骤S102。
所述控制单元还包括第一合成装置24，其用于基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将所述合成后的图像数据作为所述改善图像数据，所述第一合成装置对应于步骤S103，本领域技术人员理解，所述控制单元中还包括第一判断装置，用于判断是否完成所有像素点的像素优化。
进一步地，所述深度摄像头模组1包括照射单元11、光学镜头12以及TOF传感器13，所述TOF传感器13连接所述照射单元11以及所述光学镜头12，所述照射单元11用于照射拍摄场景，所述光学镜头12用于接收拍摄场景数据，并反映为像素阵列，进一步地，所述TOF传感器13用于根据传感器参数设置获取原始深度数据。
进一步地，所述TOF传感器13包括传感器控制器131、光源调节驱动电路132、模数转换器133，所述传感器控制器131用于根据不同的传感器参数实现不同的帧率以及曝光时间的处理，所述光源调节驱动电路132用于调节光源，所述模数转换器133用于将模拟信号转换为数字信号输出。
其中，所述传感器控制器131分别连接所述第一调节装置21、光源调节驱动电路132以及模数转换器133，所述模数转换器133连接所述第一获取装置22，结合图4，在一个优选地实施例中，第一调节装置21调节传感器参数设置，控制传感器在一定帧率和曝光时间下开始工作，通过光源调节驱动电路132，照射单元11拍摄目标场景，并通过光学镜12头反馈在像素阵列上，进一步地，通过模数转换器133将原始深度数据输出到控制单元2的第一获取装置22，并通过第一确定装置23确定优化像素值，进一步地，通过第一合成装置24得出完整的图像数据作为改善图像数据。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种在高环境光变化下提升测距准确度的控制方法，其用于对TOF摄像头在环境光变化剧烈的场景下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，其特征在于，包括如下步骤：
a.设置N个不同的曝光时间，以产生连续N帧不同亮度的图像数据，其中，所述图像数据包括深度图像数据depth_mapN以及光强度图像数据amp_mapN；
b.针对N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)；
c.基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将合成后的图像数据作为所述改善图像数据，其中，
所述步骤b中的所述基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)步骤包括如下步骤：
b1.基于优化光强参数确定所述N帧图像数据中的第1帧光强度数据amp_map1的第一像素点amp_map1[x,y]与所述N帧图像数据中的第2帧光强度数据amp_map2的第一像素点amp_map2[x,y]的优化像素值depth_map′(x,y)，其中，
若|amp_map1[x,y]-Amp[x,y]|>|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map2(x,y)，
depth_map′(x,y)＝depth_map2[x,y]；
若|amp_map1[x,y]-Amp[x,y]|<|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map1(x,y)，
depth_map′(x,y)＝depth_map1[x,y]；
其中，所述Amp(x,y)为所述优化光强参数；
b2.对所述N帧图像数据中第i帧的第一像素点amp_mapi[x,y]继续与所述amp_map′(x,y)进行上述步骤b1中的比较，获取最终优化像素值，若|amp_mapi[x,y]-Amp(x,y)|>|amp_map′[x,y]-Amp(x,y)|，则保持不变；若|amp_mapi[x,y]-Amp(x,y)|〈|amp_map′[x,y]-Amp(x,y)|，则amp_map′(x,y)＝amp_mapi(x,y)；
depth_map′(x,y)＝depth_mapi[x,y]，直至所述N帧图像的第一像素点被遍历完成；
b3.取所述N帧图像数据中下一像素点重复步骤b1至b2，直至所述N帧图像的所有像素点被遍历完成。
2.根据权利要求1所述的控制方法，其特征在于，所述优化光强参数Amp(x,y)与拍摄距离具有关联度。
3.根据权利要求2所述的控制方法，其特征在于，所述优化光强参数Amp(x,y)通过如下方式获得：
i.在一特定拍摄距离下，通过所述TOF摄像头拍摄获得多个不同曝光时间下的图像；
ii.基于所述多个图像对成像准确度数据与光强数据的关系进行绘制关系图，得出曲线图，选择最优的光强数据图amp(x,y)；
iii.重复步骤i至步骤ii，获取每一个像素点的光强数据图，形成所述优化光强参数图Amp。
4.根据权利要求1至3中任一项所述的控制方法，其特征在于，所述连续N帧图像数据通过所述TOF摄像头在帧率fn下拍摄。
5.根据权利要求4所述的控制方法，其特征在于，所述帧率fn为30帧/秒。
6.一种在高环境光变化下提升测距准确度的控制装置，其用于对TOF摄像头在高环境光下拍摄到的图像数据进行计算处理以得到更高准确度的改善图像数据，其特征在于，包括深度摄像头模组(1)、控制单元(2)，所述深度摄像头模组(1)连接所述控制单元(2)，其中，所述控制单元(2)包括：
第一调节装置(21)，其用于调节传感器参数；
第一获取装置(22)，其用于获取连续的N帧图像数据，所述连续N帧图像数据通过所述TOF摄像头在帧率fn下拍摄；
第一确定装置(23)，其用于针对所述N帧图像数据中的每一个相同的像素点(x,y)基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)；
其中，所述基于优化光强参数确定该像素点的优化像素值depth_map′(x,y)包括：
b1.基于优化光强参数确定所述N帧图像数据中的第1帧光强度数据amp_map1的第一像素点amp_map1[x,y]与所述N帧图像数据中的第2帧光强度数据amp_map2的第一像素点amp_map2[x,y]的优化像素值depth_map′(x,y)，其中，
若|amp_map1[x,y]-Amp[x,y]|>|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map2(x,y)，
depth_map′(x,y)＝depth_map2[x,y]；
若|amp_map1[x,y]-Amp[x,y]|<|amp_map2[x,y]-Amp[x,y]|，则
amp_map′(x,y)＝amp_map1(x,y)，
depth_map′(x,y)＝depth_map1[x,y]；
其中，所述Amp(x,y)为所述优化光强参数；
b2.对所述N帧图像数据中第i帧的第一像素点amp_mapi[x,y]继续与所述amp_map′(x,y)进行上述步骤b1中的比较，获取最终优化像素值，若|amp_mapi[x,y]-Amp(x,y)|>|amp_map′[x,y]-Amp(x,y)|，则保持不变；若|amp_mapi[x,y]-Amp(x,y)|〈|amp_map′[x,y]-Amp(x,y)|，则amp_map′(x,y)＝amp_mapi(x,y)；
depth_map′(x,y)＝depth_mapi[x,y]，直至所述N帧图像的第一像素点被遍历完成；
b3.取所述N帧图像数据中下一像素点重复步骤b1至b2，直至所述N帧图像的所有像素点被遍历完成；
第一合成装置(24)，其用于基于所述优化像素值depth_map′(x,y)合成一帧完整的图像数据，并将所述合成后的图像数据作为所述改善图像数据。
7.根据权利要求6所述的控制装置，其特征在于，所述深度摄像头模组(1)包括照射单元(11)、光学镜头(12)以及TOF传感器(13)，所述TOF传感器(13)连接所述照射单元(11)以及所述光学镜头(12)。
8.根据权利要求7所述的控制装置，其特征在于，所述TOF传感器(13)包括传感器控制器(131)、光源调节驱动电路(132)、模数转换器(133)，其中，所述传感器控制器(131)分别连接所述第一调节装置(21)、光源调节驱动电路(132)以及模数转换器(133)，所述模数转换器(133)连接所述第一获取装置(22)。
9.根据权利要求6至8中任一项所述的控制装置，其特征在于，所述控制单元(2)为如下处理器中的任一种:
MCU；
CPU；
FPGA；或者
DSP。
CN201711462041.2A 2017-12-28 2017-12-28 一种在高环境光变化下提升测距准确度的控制方法及装置 Active CN109981992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711462041.2A CN109981992B (zh) 2017-12-28 2017-12-28 一种在高环境光变化下提升测距准确度的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711462041.2A CN109981992B (zh) 2017-12-28 2017-12-28 一种在高环境光变化下提升测距准确度的控制方法及装置

Publications (2)

Publication Number Publication Date
CN109981992A CN109981992A (zh) 2019-07-05
CN109981992B true CN109981992B (zh) 2021-02-23

Family

ID=67074879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711462041.2A Active CN109981992B (zh) 2017-12-28 2017-12-28 一种在高环境光变化下提升测距准确度的控制方法及装置

Country Status (1)

Country Link
CN (1) CN109981992B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556468B (zh) * 2021-07-29 2023-03-24 上海集成电路制造创新中心有限公司 一种图像处理的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788669A (zh) * 2010-01-25 2010-07-28 华北电力大学（保定） 具有修正功能的脉冲激光测距装置及使用该装置的激光测距方法
CN103456007A (zh) * 2013-08-09 2013-12-18 华为终端有限公司 一种获取深度信息的方法和装置
CN105657247A (zh) * 2015-11-20 2016-06-08 乐视移动智能信息技术（北京）有限公司 一种电子设备的二次曝光拍照方法和装置
CN106358030A (zh) * 2015-07-13 2017-01-25 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2017061104A1 (ja) * 2015-10-09 2017-04-13 パナソニックＩｐマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像素子
CN107241557A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 图像曝光方法、装置、摄像设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551771B2 (en) * 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US10422879B2 (en) * 2014-11-14 2019-09-24 Denso Corporation Time-of-flight distance measuring device
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788669A (zh) * 2010-01-25 2010-07-28 华北电力大学（保定） 具有修正功能的脉冲激光测距装置及使用该装置的激光测距方法
CN103456007A (zh) * 2013-08-09 2013-12-18 华为终端有限公司 一种获取深度信息的方法和装置
CN106358030A (zh) * 2015-07-13 2017-01-25 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2017061104A1 (ja) * 2015-10-09 2017-04-13 パナソニックＩｐマネジメント株式会社 撮像装置、およびそれに用いられる固体撮像素子
CN105657247A (zh) * 2015-11-20 2016-06-08 乐视移动智能信息技术（北京）有限公司 一种电子设备的二次曝光拍照方法和装置
CN107241557A (zh) * 2017-06-16 2017-10-10 广东欧珀移动通信有限公司 图像曝光方法、装置、摄像设备及存储介质

Also Published As

Publication number Publication date
CN109981992A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
US11405535B2 (en) Quad color filter array camera sensor configurations
JP6480441B2 (ja) 飛行時間型カメラシステム
US8830227B2 (en) Depth-based gain control
EP3614171B1 (en) Image processing method, computer-readable storage medium, and electronic apparatus
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
US20180013945A1 (en) Systems and Methods for High Dynamic Range Imaging Using Array Cameras
JP5743390B2 (ja) 測距装置、及び測距方法
US9008357B2 (en) Target detection method and apparatus and image acquisition device
JP2018119942A (ja) 撮像装置及びその監視方法並びにプログラム
JP6467776B2 (ja) 測距システム、情報処理装置、情報処理方法及びプログラム
WO2011062102A1 (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
US20210183096A1 (en) Image processing apparatus, imaging apparatus, image processing method and program
KR20140066638A (ko) 3차원 영상 획득 방법 및 장치
CN102342090A (zh) 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序
US10616561B2 (en) Method and apparatus for generating a 3-D image
CN110425983B (zh) 一种基于偏振多光谱的单目视觉三维重建测距方法
JP2010286307A (ja) 画像撮像装置
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN108174085A (zh) 一种多摄像头的拍摄方法、拍摄装置、移动终端和可读存储介质
CN111988594B (zh) 图像处理设备及其控制方法、摄像设备、监视系统和介质
WO2022198862A1 (zh) 一种图像的校正方法及及屏下系统
CN109981992B (zh) 一种在高环境光变化下提升测距准确度的控制方法及装置
CN108305290B (zh) 一种动目标的精确测谱方法
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211214

Address after: 518063 2W, Zhongdian lighting building, Gaoxin South 12th Road, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen point cloud Intelligent Technology Co.,Ltd.

Address before: 518023 No. 3039 Baoan North Road, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Zhou Qinna