CN106997582A - 飞行时间三维传感器的运动模糊消除方法和设备 - Google Patents

飞行时间三维传感器的运动模糊消除方法和设备 Download PDF

Info

Publication number
CN106997582A
CN106997582A CN201610044750.8A CN201610044750A CN106997582A CN 106997582 A CN106997582 A CN 106997582A CN 201610044750 A CN201610044750 A CN 201610044750A CN 106997582 A CN106997582 A CN 106997582A
Authority
CN
China
Prior art keywords
image
motion blur
type value
current pixel
greyscale transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610044750.8A
Other languages
English (en)
Inventor
赵季
周文
王海涛
朴勇和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201610044750.8A priority Critical patent/CN106997582A/zh
Priority to KR1020160019783A priority patent/KR102460659B1/ko
Priority to US15/410,127 priority patent/US10516875B2/en
Publication of CN106997582A publication Critical patent/CN106997582A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种飞行时间(ToF)三维传感器的运动模糊消除方法，包括：检测各图像的运动模糊区域；针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；将经过灰度变换后的各图像进行对齐；将对齐之后的各图像分别进行灰度逆变换；根据灰度逆变换后的图像计算深度图像。本申请还提供了一种ToF三维传感器的运动模糊消除设备。应用本申请能够消除ToF三维传感器的运动模糊。

Description

飞行时间三维传感器的运动模糊消除方法和设备
技术领域
本发明涉及三维传感器和数字图像处理技术领域，具体涉及飞行时间(time-of-flight,ToF)三维传感器的运动模糊消除方法和设备。
背景技术
三维深度传感器可以用来感知环境的三维深度信息，因此被广泛应用于人机交互、移动机器人导航、体感游戏、虚拟/增强现实等领域。相比于传统的双目立体相机，深度相机不需要大量的运算来恢复深度，而且得到的图像更为准确、可靠。
深度传感器常见的工作方式有两种，一种是结构光(structured-light)方法；另一种是飞行时间(time-of-flight,ToF)方法。图1示意了一种基于光学快门(optical shutter)的飞行时间深度传感器的工作原理。需要说明的是，本发明有时以该ToF传感器为例对本发明提出的运动模糊消除方法和设备进行说明，但是，本发明方法和设备适用于多种形式的、可能产生运动模糊的ToF传感器，不局限于该传感器。
参见图1，飞行时间法三维成像是通过红外光源向目标物体连续发射光波(如图1中照明红外光的正弦波形所示)，然后用感光器件接收从目标物体返回的光(如图1中反射红外光的正弦波形所示)，通过探测光脉冲的往返飞行时间来得到目标物体的距离。飞行时间传感器与普通相机的组成部件有类似之处，都是由光源、光学部件、成像单元、控制电路以及计算单元等几部单元组成。
ToF技术采用主动光探测方式。照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量。ToF的照射单元通常是人眼不可见的红外光，比如图1所示的采用激光二极管(Laser diode，LD)发射的红外光，脉冲频率为20MHz。反射的红外光经过与谐振器零拍混频后，被成像单元CMOS图像传感器接收。在一个成像周期内，成像单元接收到4幅不同相位的图像，随后ToF运算单元针对每一个像素对入射光往返相机与目标物体之间的相位分别进行计算，并计算出深度图像。
深度传感器相比于传统传感器在深度测量方面有很多优势，同时也面临一些挑战。对于ToF三维传感器，一个很大的挑战就是运动模糊。从图1中可以看出，为了得到一幅深度图像，需要4幅红外图像I0、I90、I180、I270，下标分别对应4个不同的相位。由于4幅红外图像是在不同的时刻成像，当场景中存在运动物体的时候，物体在不同图像中的位置不相同，就会产生运动模糊的问题。因此，运动模糊消除(motiondeblurring)就成了ToF三维传感器的一个重要课题。
ToF三维传感器的运动模糊消除问题的解决方案，包含以下两个步骤：
(1)运动模糊区域的检测。如果场景是静止的，理想情况下一个成像周期的4幅红外图像满足一定的约束，通常满足(I0+I180)-(I90+I270)＝0。如果像素点严重不满足该约束，例如：
|(I0+I180)-(I90+I270)|>ε
其中，ε是一个阈值，就把这些像素判定为运动模糊的像素。
(2)运动模糊的消除。主要有以下解决思路：
(i)采用孔洞填充(hole-filling)的方法。首先，将运动模糊区域的深度值设为无效，从而运动模糊区域形成了一些孔洞；然后，从孔洞的相邻区域中，采用图像补全技术、或者选择孔洞相邻像素的深度值来填充这些孔洞。空洞填充方法丢弃了运动模糊区域的测量值，根据图像的统计特性加以填充。当前最先进的孔洞补全算法面临着运算量大、难以实时计算的问题。
(ii)将一个成像周期内的多幅红外图像对齐，根据对齐之后的图像再来计算深度。跟空洞填充方法相比，这种方法没有丢弃运动模糊区域的测量值，能够更加充分地利用图像的信息。本专利采用这种思路。
消除运动模糊在图像处理和计算机视觉领域是一个经典的问题，对于普通的彩色或者灰度图像，存在一些消除运动模糊的算法。
按照模糊核的性质，运动模糊消除算法可划分为：盲去卷积(Blind imagedeconvolution，BID)和非盲去卷积(Non-blind image deconvolution，NBID)。BID是在模糊核未知的情况下恢复出原始的清晰图像。在这种情况下，除了采集到的图像，没有其他任何信息可供使用。NBID是在模糊核已知的情况下恢复出清晰的原始图像。
按照模糊的区域来划分，运动模糊可以分为：全局模糊和局部模糊。全局模糊主要是由于拍摄设备的运动造成的，而局部模糊是由于单个物体的运动造成的。全局模糊可以用一个模糊核来恢复，因此最主要的任务就是点扩散函数(point spread function,PSF)的估计；而局部模糊的模糊核是随位置变化的，需要在图像的不同地方分别估计点扩散函数。
运动模糊消除算法按照可用信息的来源可分为：单幅图像模糊消除和带辅助信息的图像模糊消除。单幅图像模糊消除的输入只有一幅图像，没有其他辅助信息。带辅助信息的图像模糊消除，除了一幅待处理的图像，还有其他的辅助信息可以利用。这里的辅助信息包括：(1)连续的多帧图像；(2)一帧不模糊但噪声可能较大、分辨率可能很低的图像；(3)不同曝光时间的多幅图像；(4)低分辨率的视频；(5)对曝光时间的编码；(6)对镜头或者相机硬件的改造，等等。
尽管对于彩色图像或者灰度图像，存在大量的图像模糊消除算法，但是对于三维深度图像，传统的运动模糊消除算法并不能直接使用，因此，有必要提出适用于三维深度图像的运动模糊消除方案。
发明内容
本申请提供了一种飞行时间三维传感器的运动模糊消除方法和设备，以消除三维深度图像中的运动模糊。
本申请提供的一种ToF三维传感器的运动模糊消除方法，包括：
检测各图像的运动模糊区域；
针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
将经过灰度变换后的各图像进行对齐；
将对齐之后的各图像分别进行灰度逆变换；
根据灰度逆变换后的图像计算深度图像。
较佳的，检测各图像的运动模糊区域包括：根据各相位红外图像检测运动模糊区域。
较佳的，在检测到运动模糊区域后，并在计算各相位红外图像的灰度直方图之前，还包括：对运动模糊区域进行开操作和/或闭操作。
较佳的，所述开操作包括：先对运动模糊区域进行腐蚀操作，再进行膨胀操作；
所述闭操作包括：先对运动模糊区域进行膨胀操作，再进行腐蚀操作。
较佳的，所述根据各相位红外图像检测运动模糊区域包括：
对每一个像素i计算(I0+I180)-(I90+I270)；
判定满足(I0+I180)-(I90+I270)≤-ε的像素属于类型一运动模糊像素，类型取值为1；
判定满足(I0+I180)-(I90+I270)≥ε的像素属于类型二运动模糊，类型取值为2；
判定满足|(I0+I180)-(I90+I270)|<ε的像素属于无模糊像素，类型取值为0；
其中，I0、I90、I180和I270分别表示相位为0、90、180和270的红外图像；ε是设定的阈值参数。
较佳的，所述腐蚀操作包括：
如果当前像素的类型取值是0，保持该取值不变；
如果当前像素的类型取值是1，则当当前像素的所有相邻像素的类型取值为1时，当前像素的类型取值置为1，否则，当前像素的类型取值置为0；
如果当前像素的类型取值是2，则当当前像素的所有相邻像素的类型取值为2时，当前像素的类型取值置为2，否则，当前像素的类型取值置为0。
较佳的，所述膨胀操作包括：
如果当前像素的类型取值是1或2，保持该取值不变；
如果当前像素的类型取值是0，将其相邻像素中取值为1和2的像素数目分别记作N1和N2，再按照以下情况处理：
如果N1和N2均等于0，保持当前像素的类型取值不变；
如果N1大于N2，当前像素的类型取值置为1；
如果N2大于N1，当前像素的类型取值置为2；
如果N1等于N2，并且N1大于0，当前像素的类型取值从1和2中随机选一个值。
较佳的，所述针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换包括：计算各相位红外图像的灰度直方图，以其中一个相位的红外图像为目标图像，以除所述目标图像外的其他红外图像为源图像，根据源图像和目标图像的灰度直方图分别对各源图像进行灰度变换；
所述将经过灰度变换后的各图像进行对齐包括：将经过灰度变换后的各个源图像分别与目标图像进行对齐；
所述将对齐之后的各图像分别进行灰度逆变换包括：将对齐之后的各个源图像分别进行灰度逆变换；
所述根据灰度逆变换后的图像计算深度图像包括：根据目标图像和灰度逆变换后的源图像计算深度图像。
较佳的，所述根据源图像和目标图像的灰度直方图分别对各个源图像进行灰度变换包括：
将源图像和目标图像的经验累积分布函数分别记为Csrc[i],Ctgt[i]，i＝0,…,N，确定灰度变换函数T[i]为：
T[i]＝arg minj|Ctgt[j]-Csrc[i]|,i,j＝0,…,N
其中，N是累积分布函数中柱的数目；
根据所确定的灰度变换函数分别对相应的源图像进行灰度变换。
较佳的，所述将经过灰度变换后的各个源图像分别与目标图像进行对齐包括：
将经过灰度变换后的各个源图像分别与目标图像进行稠密匹配，并根据匹配结果将源图像变形到目标图像，得到对齐之后的源图像。
较佳的，所述进行稠密匹配包括：在匹配传播和随机挑选匹配块时，限定在运动模糊区域内寻找匹配；根据模糊的类型推算出运动矢量的方向，并在随机挑选图像块时，根据运动矢量的方向随机挑选图像块。
本申请还提供了一种ToF三维传感器的运动模糊消除设备，包括：运动模糊检测模块、灰度变换模块、对齐模块、灰度逆变换模块和深度计算模块，其中：
所述运动模糊检测模块，用于检测各图像的运动模糊区域；
所述灰度变换模块，用于针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
所述对齐模块，用于将经过灰度变换后的各图像进行对齐；
所述灰度逆变换模块，用于将对齐之后的各图像分别进行灰度逆变换；
所述深度计算模块，用于根据灰度逆变换后的图像计算深度图像。
由上述技术方案可见，本发明实现了一种具有高准确性和高鲁棒性的方法，用于消除ToF三维传感器的运动模糊。与现有的运动模糊消除方法相比，本申请的主要区别包括：第一，对红外图像做了灰度变换，提高了运动模糊消除方法中间阶段的匹配精度。第二，在红外图像的匹配阶段使用稠密的匹配算法，比起现有的仅仅使用边缘或者区域形状的方法，能够利用模糊区域的所有像素信息，提升匹配的精度；此外，将模糊区域掩模(mask)提供的区域、运动矢量信息融入到匹配的中间过程，减少了搜索空间，提高了算法的运算速度。第三，本发明提出的解决方案适用于ToF三维传感器的运动模糊消除，而现有技术仅适用于彩色图像或者灰度图像。
附图说明
图1为现有一种基于光学快门的飞行时间深度传感器的工作原理示意图；
图2为本发明ToF三维传感器的运动模糊消除方法的流程示意图；
图3为本发明消除运动模糊的方法的原理框图；
图4为本申请实施例中一运动检测结果示例；
图5为本申请实施例中运动模糊的类型示意图；
图6a为本申请实施例中I90、I180、I270与I0的灰度直方图比较；
图6b为本申请实施例中I90、I180、I270与I0的累计分布函数比较；
图7a从左至右依次为本申请一实施例中的I0、I90、I180、I270原始红外图像；
图7b为本申请一实施例中检测出的运动模糊区域；
图7c为本申请一实施例中经过图像对齐之后的红外图像，从左至右依次为I0,I’90,I’180,I’270；
图8为本申请一实施例中运动模糊消除的效果图，从左到右依次为原始深度图像和消除运动模糊后的深度图像；
图9为本申请一较佳ToF三维传感器的运动模糊消除设备的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。
根据本申请发明人的分析，传统的运动模糊消除算法不能直接应用于三维深度图像的理由如下：
(1)深度图像运动模糊的来源更加复杂，跟彩色或者灰度图像的运动模糊有重大区别。我们以图1的传感器为例，当场景中存在运动物体时，4幅不同相位的红外图像上分别存在运动模糊，这种模糊大致对应传统的彩色或灰度图像模糊。除此之外，运动物体在4幅不同相位的红外图像上的位置是不同的，称之为未对齐(misalignment)。当根据未对齐的红外图像计算深度时，将导致深度图像上的运动模糊更加严重，甚至成为运动模糊的主导因素。
(2)三维传感器的图像(包括深度图像和红外图像)特性跟传统的彩色或灰度图像差别很大。三维传感器获取的红外图像以及据此计算出来的深度图像都具有边缘不清晰、纹理不丰富的特点，导致了很多基于彩色或灰度图像先验的方法不再适用。
本发明的目的是充分利用ToF三维传感器获取的不同相位的红外图像，采用计算机视觉中的图像匹配/对齐技术，解决现有技术所存在的不同相位图像中运动物体未对齐的问题，从而大幅度消除运动模糊。具体地说，现有的运动模糊消除算法主要是对单幅图像的成像过程中引入的运动模糊进行消除，无法对各图像中的运动物体未对齐导致的模糊进行消除。本申请的发明人认为，ToF三维传感器的运动模糊很大程度上来自于运动物体在不同相位图像上的未对齐，因此，本发明提出了新的解决方案来对三维传感器图像中的运动物体进行对齐。对本领域技术人员而言，匹配、配准、对齐所代表的含义类似。在描述方法时大多用“匹配”，而在描述结果时大多用“对齐”，本申请主要采用“对齐”这一术语。
在本发明中，提出了一套新的ToF三维传感器的运动模糊消除的框架，用以有效地提高ToF三维传感器对运动物体的成像精度和适用范围。
图2为本发明ToF三维传感器的运动模糊消除方法的流程示意图，参见图2，该方法包括：
步骤201：检测各图像的运动模糊区域；
步骤202：针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
步骤203：将经过灰度变换后的各图像进行对齐；
步骤204：将对齐之后的各图像分别进行灰度逆变换；
步骤205：根据灰度逆变换后的图像计算深度图像。
基于图2所示方法流程，图3给出了本发明提出的ToF三维传感器的运动模糊消除方法的原理框图，主要包括以下步骤：
(1)根据各相位红外图像检测运动模糊区域。
本步骤中，根据各相位的红外图像检测运动模糊的区域。较佳的，还可以对运动模糊区域进行后处理，后处理包括：图像膨胀操作、删除小的连通域等。
(2)计算各相位红外图像的灰度直方图，以其中一个相位的红外图像为目标图像，以除所述目标图像外的其他红外图像为源图像，根据源图像和目标图像的灰度直方图分别对各个源图像进行灰度变换。
本步骤将源图像上的运动模糊区域根据灰度直方图进行灰度变换，使得源图像和目标图像上模糊区域的灰度分布具有相同的累积分布直方图。
由于不同相位的红外图像的整体亮度差异很大，如果直接用原始图像进行对齐，效果不好。为了增加对齐的精度，本发明分别针对每个运动模糊区域，首先计算它在不同相位图像中的灰度直方图，然后再依据直方图进行灰度变换，使得不同相位图像中的同一模糊区域具有大致相同的灰度分布。
为了计算灰度变换函数，还需要构造源图像和目标图像对。构造方法如下：从每个成像周期内的4幅红外图中选择1幅红外图像作为目标图像，其他的3幅红外图像依次作为源图像，得到若干对目标图像和源图像。例如，一个成像周期有4幅红外图像I0、I90、I180、I270，可以选择第一幅红外图像I0作为目标图像，其他3幅红外图像I90、I180、I270依次作为源图像，这样可以得到3对目标图像和源图像(I0、I90)、(I0、I180)、(I0、I270)。本步骤的灰度变换，以及接下来的稠密匹配、灰度逆变换需要对3对图像分别进行操作。
需要说明的是：本发明以4幅不同相位的红外图像为例进行说明。在实际应用中，一些ToF三维传感器也可以使用其他数量的红外图像来推算深度，例如3幅、5幅等，本发明所提供的技术方案对其他数量的红外图像也同样适用。
(3)将经过灰度变换后的各个源图像分别与目标图像进行对齐。
本步骤是将经过灰度变换后的红外图像分成源图像和目标图像，将源图像和目标图像进行稠密匹配，并根据匹配结果将源图像变形(warp)到目标图像，得到对齐之后的源图像。
具体而言，warp的过程是：在一个深度图像的成像周期内，选择一张红外图像作为目标图像，其他的红外图像分别与目标图像进行匹配，得到两幅图像上运动模糊区域的每个像素的对应关系；根据该对应关系，将源图像的每个像素分别移至目标图像上的相应位置，得到warp之后的源图像。由于warp之后的源图像补偿了运动向量，从而实现了将不同红外图像之间的运动区域对齐。
(4)将对齐之后的各个源图像分别进行灰度逆变换。
(5)根据目标图像和灰度逆变换之后的源图像计算深度图像。
下面通过较佳实施例对本申请技术方案中的上述部分分别予以详细说明。
一、首先介绍运动模糊区域的检测步骤。
运动模糊区域的检测可以分为两类：
(1)使用深度图像检测。对于ToF三维传感器，运动模糊区域通常对应着深度上出现一个非常大或者非常小的值。
(2)使用红外图像检测运动模糊区域。这种方法不需要使用像素的邻域信息。
ToF三维传感器得到的4幅红外图像中，下面的公式成立：
(I0+I180)-(I90+I270)＝0
然而对于运动模糊区域，该公式通常不成立，因此，可以通过下面的指标来判断一个像素是否属于运动模糊像素：
ΔIi＝|(I0+I180)-(I90+I270)|
如果ΔIi大于或等于ε，则认为像素i属于模糊像素；否则认为像素i属于无模糊像素。其中，Ii是图像I的第i个像素，ε是设定的阈值参数。图4为本申请实施例中一运动检测结果示例。其中，图4左侧示出的是当前场景的红外图像，图4右侧示出的是运动模糊的检测结果。
为了进一步区分不同类型的运动模糊，本实施例将满足(I0+I180)-(I90+I270)≤-ε的像素称作类型一(Type I)运动模糊，将满足(I0+I180)-(I90+I270)≥ε的像素称作类型二(Type II)运动模糊，将满足|(I0+I180)-(I90+I270)|<ε的像素当作无模糊像素。图5为本申请实施例中运动模糊的类型示意图。如图5，Type I类型的模糊对应着该像素从背景变为前景；Type II类型的模糊对应着该像素从前景变为背景。
在得到运动模糊区域后，本实施例对其进行后处理，以提高后续处理的精度。本实施例采用的后处理方法是形态学开(opening)和闭(closing)操作。其中，闭合和膨胀操作的结构元素分别设为3*3和6*6。然而，传统的形态学操作针对的是二值图像，而本实施例的模糊区域mask图像有三种取值，包括：无模糊、Type I运动模糊、Type II运动模糊。本实施例将这三种情况分别标记为0、1、2。
三值图像的腐蚀(morphological erosion)定义为：
(1)如果当前像素的类型取值是0，保持该取值不变；
(2)如果当前像素的类型取值是1，则当当前像素的所有相邻像素的类型取值为1时，当前像素的类型取值置为1，否则，当前像素的类型取值置为0；
(3)如果当前像素的类型取值是2，则当当前像素的所有相邻像素的类型取值为2时，当前像素的类型取值置为2，否则，当前像素的类型取值置为0。
三值图像的膨胀(morphological dilation)的定义为:
(1)如果当前像素的类型取值是1或2，保持该取值不变；
(2)如果当前像素的类型取值是0，将它的相邻像素中取值为1和2的像素数目分别记作N1和N2，再按照下面的方式分情况处理：
(i)如果N1和N2均等于0，保持当前像素的类型取值不变；
(ii)如果N1大于N2，当前像素的类型取值置为1；
(iii)如果N2大于N1，当前像素的类型取值置为2；
(iv)如果N1等于N2，并且N1大于0，当前的像素的类型取值从1和2中随机选一个值。
三值图像的开操作(morphological opening)定义为：
先对三值图像进行腐蚀操作，接着进行膨胀操作。开操作可以去除小的连通分量和小的分支。
三值图像的闭操作(morphological closing)定义为:
先对三值图像进行膨胀操作，接着进行腐蚀操作。闭操作可以去除连通分量之间的小空洞和小间隙。
二、其次，对灰度变换操作进行说明。
红外图像中的灰度差异有两个来源：相位的改变和物体的运动。由于红外图像的灰度差异很大，直接运用图像匹配方法通常无法得到满意的效果。为了解决该问题，本实施例在图像匹配之前对模糊区域进行灰度调整。
本实施例使用单调变换函数来确保每对(pair)源图像和目标图像的累积分布函数是相同的。这样做的依据是：尽管每个图像对的灰度累积分布差异很大，但是像素灰度值的相对排序是基本相同的。单调变换函数可以保持每个图像的灰度相对排序不变。图6a和图6b给出了一个运动模糊区域的灰度变换的示例。其中，图6a从左至右依次为I90、I180、I270与I0的灰度直方图比较；图6b从左至右依次为I90、I180、I270与I0的累计分布函数比较；从图6a和图6b可以看出，不同相位的红外图像具有较大的灰度差异。
对于每个图像对，本实施例根据灰度分布定义一个单调变换函数，使得它们具有相同的累积分布函数。假设源图像和目标图像的经验累积分布函数分别为Csrc[i],Ctgt[i]，i＝0,…,N，那么，灰度变换函数T[i]定义为：
T[i]＝arg minj|Ctgt[j]-Csrc[i]|,i,j＝0,…,N
其中，N是累积分布函数中柱(bin)的数目。N可以设置为红外图像的灰阶数目，也可以设置一个比较小的值，例如256，来降低运算量。
确定灰度变换函数后，根据所确定的灰度变换函数分别对相应的源图像进行灰度变换，得到经灰度变换后的各个源图像。
三、接下来介绍红外图像的匹配与对齐。
在灰度变换之后，本专利使用稠密匹配技术将源图像和目标图像对齐。本实施例采用图像块匹配(PatchMatch)稠密匹配技术。本发明不局限于采用PatchMatch，还可以采用其他的稠密匹配技术例如DeepMatching。PatchMatch是一种迭代的随机化算法，它建立在局部搜索、以及匹配传播的基础上。其核心思想是：一幅图像上相近的点，它们在另一幅图像上的正确匹配通常也比较接近。在每次迭代中，本实施例比较两类候选的图像块来寻找比较好的匹配：(1)将近邻图像块的匹配进行传播；(2)随机挑选图像块，判断是否比当前的匹配块好。针对本发明的具体任务，本实施例进行了如下的修改：(1)匹配传播和随机挑选匹配块时，限定只能在模糊区域内寻找匹配；(2)根据模糊的类型推算出运动矢量的大致方向。在随机挑选图像块的时候，根据运动矢量的方向随机挑选图像块。
在得到匹配之后，本实施例将源图像warp到目标图像。Warp之后的源图像和目标图像是基本对齐的，例如，运动物体的轮廓是基本对齐的。换句话说，物体的运动被补偿了，从而消除了物体运动。
四、将对齐之后的源图像进行灰度逆变换，得到原始灰度分布的图像。
五、最后，根据前文所述的一系列变换之后得到的红外图像，重新计算深度。由于这时采用的红外的图像经历了图像匹配、补偿了物体运动，红外图像中运动物体是基本对齐的，根据它们得到的深度图像大大降低了运动模糊。
本实施例整个算法的流程如下所示：
算法1：深度图像运动模糊的消除算法
在算法1中，输入的红外图像分别记作I0、I90、I180、I270；minV和maxV分别是有效灰度区间的最小值和最大值；patchSize是PatchMatch算法中图像块的尺寸。输出的图像是I90、I180、I270经过对齐后的红外图像，以及深度图像Id。
图7a～图7c给出了应用本发明技术方案的一个实验结果。其中，图7a从左至右依次为I0、I90、I180、I270原始红外图像，图7b为检测出的运动模糊区域，图7c为经过图像对齐之后的红外图像，从左至右依次为I0,I’90,I’180,I’270。图8为本申请一实施例中运动模糊消除的效果图，左侧为原始的深度图像，右侧为经过运动模糊消除之后的深度图像。
对应于上述方法，本申请公开了一种ToF三维传感器的运动模糊消除设备，其组成结构如图9所示，该设备包括：运动模糊检测模块、灰度变换模块、对齐模块、灰度逆变换模块和深度计算模块，其中：
所述运动模糊检测模块，用于根据各图像检测运动模糊区域；
所述灰度变换模块，用于针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
所述对齐模块，用于将经过灰度变换后的各图像进行对齐；
所述灰度逆变换模块，用于将对齐之后的各图像分别进行灰度逆变换；
所述深度计算模块，用于根据灰度逆变换后的图像计算深度图像。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种飞行时间ToF三维传感器的运动模糊消除方法，其特征在于，包括：
检测各图像的运动模糊区域；
针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
将经过灰度变换后的各图像进行对齐；
将对齐之后的各图像分别进行灰度逆变换；
根据灰度逆变换后的图像计算深度图像。
2.根据权利要求1所述的方法，其特征在于：
检测各图像的运动模糊区域包括：根据各相位红外图像检测运动模糊区域。
3.根据权利要求2所述的方法，其特征在于：
在检测到运动模糊区域后，并在计算各相位红外图像的灰度直方图之前，还包括：对运动模糊区域进行开操作和/或闭操作。
4.根据权利要求3所述的方法，其特征在于：
所述开操作包括：先对运动模糊区域进行腐蚀操作，再进行膨胀操作；
所述闭操作包括：先对运动模糊区域进行膨胀操作，再进行腐蚀操作。
5.根据权利要求4所述的方法，其特征在于，所述根据各相位红外图像检测运动模糊区域包括：
对每一个像素i计算(I0+I180)-(I90+I270)；
判定满足(I0+I180)-(I90+I270)≤-ε的像素属于类型一运动模糊像素，类型取值为1；
判定满足(I0+I180)-(I90+I270)≥ε的像素属于类型二运动模糊，类型取值为2；
判定满足|(I0+I180)-(I90+I270)|<ε的像素属于无模糊像素，类型取值为0；
其中，I0、I90、I180和I270分别表示相位为0、90、180和270的红外图像；ε是设定的阈值参数。
6.根据权利要求5所述的方法，其特征在于：
所述腐蚀操作包括：
如果当前像素的类型取值是0，保持该取值不变；
如果当前像素的类型取值是1，则当当前像素的所有相邻像素的类型取值为1时，当前像素的类型取值置为1，否则，当前像素的类型取值置为0；
如果当前像素的类型取值是2，则当当前像素的所有相邻像素的类型取值为2时，当前像素的类型取值置为2，否则，当前像素的类型取值置为0。
7.根据权利要求5所述的方法，其特征在于：
所述膨胀操作包括：
如果当前像素的类型取值是1或2，保持该取值不变；
如果当前像素的类型取值是0，将其相邻像素中取值为1和2的像素数目分别记作N1和N2，再按照以下情况处理：
如果N1和N2均等于0，保持当前像素的类型取值不变；
如果N1大于N2，当前像素的类型取值置为1；
如果N2大于N1，当前像素的类型取值置为2；
如果N1等于N2，并且N1大于0，当前像素的类型取值从1和2中随机选一个值。
8.根据权利要求1所述的方法，其特征在于：
所述针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换包括：计算各相位红外图像的灰度直方图，以其中一个相位的红外图像为目标图像，以除所述目标图像外的其他红外图像为源图像，根据源图像和目标图像的灰度直方图分别对各源图像进行灰度变换；
所述将经过灰度变换后的各图像进行对齐包括：将经过灰度变换后的各个源图像分别与目标图像进行对齐；
所述将对齐之后的各图像分别进行灰度逆变换包括：将对齐之后的各个源图像分别进行灰度逆变换；
所述根据灰度逆变换后的图像计算深度图像包括：根据目标图像和灰度逆变换后的源图像计算深度图像。
9.根据权利要求8所述的方法，其特征在于：
所述根据源图像和目标图像的灰度直方图分别对各个源图像进行灰度变换包括：
将源图像和目标图像的经验累积分布函数分别记为Csrc[i],Ctgt[i]，i＝0,…,N，确定灰度变换函数T[i]为：
T[i]＝arg minj|Ctgt[j]-Csrc[i]|,i,j＝0,…,N
其中，N是累积分布函数中柱的数目；
根据所确定的灰度变换函数分别对相应的源图像进行灰度变换。
10.根据权利要求8或9所述的方法，其特征在于：
所述将经过灰度变换后的各个源图像分别与目标图像进行对齐包括：
将经过灰度变换后的各个源图像分别与目标图像进行稠密匹配，并根据匹配结果将源图像变形到目标图像，得到对齐之后的源图像。
11.根据权利要求10所述的方法，其特征在于：
所述进行稠密匹配包括：在匹配传播和随机挑选匹配块时，限定在运动模糊区域内寻找匹配；根据模糊的类型推算出运动矢量的方向，并在随机挑选图像块时，根据运动矢量的方向随机挑选图像块。
12.一种ToF三维传感器的运动模糊消除设备，其特征在于，包括：运动模糊检测模块、灰度变换模块、对齐模块、灰度逆变换模块和深度计算模块，其中：
所述运动模糊检测模块，用于检测各图像的运动模糊区域；
所述灰度变换模块，用于针对检测的运动模糊区域，计算各图像的灰度直方图，根据灰度直方图分别对各图像进行灰度变换；
所述对齐模块，用于将经过灰度变换后的各图像进行对齐；
所述灰度逆变换模块，用于将对齐之后的各图像分别进行灰度逆变换；
所述深度计算模块，用于根据灰度逆变换后的图像计算深度图像。
CN201610044750.8A 2016-01-22 2016-01-22 飞行时间三维传感器的运动模糊消除方法和设备 Pending CN106997582A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610044750.8A CN106997582A (zh) 2016-01-22 2016-01-22 飞行时间三维传感器的运动模糊消除方法和设备
KR1020160019783A KR102460659B1 (ko) 2016-01-22 2016-02-19 ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
US15/410,127 US10516875B2 (en) 2016-01-22 2017-01-19 Method and apparatus for obtaining depth image by using time-of-flight sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610044750.8A CN106997582A (zh) 2016-01-22 2016-01-22 飞行时间三维传感器的运动模糊消除方法和设备

Publications (1)

Publication Number Publication Date
CN106997582A true CN106997582A (zh) 2017-08-01

Family

ID=59428580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610044750.8A Pending CN106997582A (zh) 2016-01-22 2016-01-22 飞行时间三维传感器的运动模糊消除方法和设备

Country Status (2)

Country Link
KR (1) KR102460659B1 (zh)
CN (1) CN106997582A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110109133A (zh) * 2019-05-05 2019-08-09 武汉市聚芯微电子有限责任公司 基于飞行时间的距离补偿方法和测距方法
CN111580067A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法
WO2022047930A1 (zh) * 2020-09-03 2022-03-10 Tcl华星光电技术有限公司 显示面板的控制方法、显示面板以及显示装置
CN114881894A (zh) * 2022-07-07 2022-08-09 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560397B1 (ko) * 2018-09-28 2023-07-27 엘지이노텍 주식회사 카메라 장치 및 그의 깊이 정보 추출 방법
KR20200125215A (ko) * 2019-04-26 2020-11-04 엘지이노텍 주식회사 카메라 모듈
KR20210029466A (ko) 2019-09-06 2021-03-16 에스케이하이닉스 주식회사 이미지 센싱 장치
KR102274033B1 (ko) 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
CN111798506A (zh) * 2020-06-30 2020-10-20 上海数迹智能科技有限公司 一种图像处理方法、控制方法、终端及计算机可读存储介质
KR20220081056A (ko) 2020-12-08 2022-06-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法
US20100013928A1 (en) * 2005-07-20 2010-01-21 Robert Bosch Gmbh Image recording system
US20120194642A1 (en) * 2011-02-01 2012-08-02 Wen-Nung Lie Motion picture depth information processing system and method
CN103181156A (zh) * 2011-07-12 2013-06-26 三星电子株式会社 模糊处理装置及方法
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
CN103871029A (zh) * 2014-01-28 2014-06-18 西安科技大学 一种图像增强及分割方法
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
US20150116353A1 (en) * 2013-10-30 2015-04-30 Morpho, Inc. Image processing device, image processing method and recording medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995340B1 (ko) * 2013-01-02 2019-07-02 엘지이노텍 주식회사 적외선 광원 제어방법
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US11172126B2 (en) * 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013928A1 (en) * 2005-07-20 2010-01-21 Robert Bosch Gmbh Image recording system
CN101567044A (zh) * 2009-05-22 2009-10-28 北京大学 一种人脸图像质量检测方法
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20120194642A1 (en) * 2011-02-01 2012-08-02 Wen-Nung Lie Motion picture depth information processing system and method
CN103181156A (zh) * 2011-07-12 2013-06-26 三星电子株式会社 模糊处理装置及方法
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
US20150116353A1 (en) * 2013-10-30 2015-04-30 Morpho, Inc. Image processing device, image processing method and recording medium
CN103871029A (zh) * 2014-01-28 2014-06-18 西安科技大学 一种图像增强及分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范赐恩: "运动模糊图像复原方法的研究", 《中国博士学位论文全文数据库(信息科技辑)》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580067A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法
CN111580067B (zh) * 2019-02-19 2022-12-02 光宝电子(广州)有限公司 基于飞行时间测距的运算装置、感测装置及处理方法
CN110109133A (zh) * 2019-05-05 2019-08-09 武汉市聚芯微电子有限责任公司 基于飞行时间的距离补偿方法和测距方法
WO2022047930A1 (zh) * 2020-09-03 2022-03-10 Tcl华星光电技术有限公司 显示面板的控制方法、显示面板以及显示装置
US11600239B2 (en) 2020-09-03 2023-03-07 Tcl China Star Optoelectronics Technology Co., Ltd. Method of controlling display panel, display panel, and display device
CN114881894A (zh) * 2022-07-07 2022-08-09 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Also Published As

Publication number Publication date
KR102460659B1 (ko) 2022-10-28
KR20170088259A (ko) 2017-08-01

Similar Documents

Publication Publication Date Title
CN106997582A (zh) 飞行时间三维传感器的运动模糊消除方法和设备
Zhang et al. Spacetime stereo: Shape recovery for dynamic scenes
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110163219A (zh) 基于图像边缘识别的目标检测方法
CN109791696A (zh) 利用事件摄像机同时进行定位和映射
CN105488811B (zh) 一种基于深度梯度的目标跟踪方法与系统
CN104834915B (zh) 一种复杂云天背景下小红外目标检测方法
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN106709938B (zh) 基于改进tld的多目标追踪方法
CN110349186B (zh) 基于深度匹配的大位移运动光流计算方法
CN104299220A (zh) 一种对Kinect深度图像中的空洞进行实时填充的方法
CN103700117A (zh) 一种基于tv-l1变分模型的鲁棒光流场估计方法
CN110189265B (zh) 距离能量相关三维成像超级像素修复方法
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN108010047A (zh) 一种结合样本一致性和局部二值模式的运动目标检测方法
CN103868473B (zh) 一种基于递推法的高光物体表面相位快速恢复方法
CN110428466A (zh) 一种非均匀性校正的方法和设备
CN109064498A (zh) 基于Meanshift、卡尔曼滤波和图像匹配的目标跟踪方法
CN104156977B (zh) 基于多线列时差扫描扩展采样的点目标运动速度探测方法
CN109658441A (zh) 基于深度信息的前景检测方法及装置
CN112070804A (zh) 一种基于tof相机的运动目标检测方法
CN112164037A (zh) 一种基于光流追踪的mems器件面内运动测量方法
Gottfried et al. Time of flight motion compensation revisited
CN104200473A (zh) 一种基于图像背景剪除的动态视觉测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170801