CN103181156A - 模糊处理装置及方法 - Google Patents

Abstract

本发明公开一种模糊处理装置及方法，判断ToF方式照相机中产生的图像中是否产生模糊，当产生了模糊时，利用没有产生模糊的周边的正常像素值去除模糊。

Description

模糊处理装置及方法

技术领域

本发明涉及去除图像内产生的模糊的技术。

背景技术

利用飞行时间方式的照相机产生的图像通过针对每一帧在积分时间内计算照射光信号（例如，红外线信号）和从被照体反射回来的反射光信号之间的相位差而获得。当在短于积分时间的时间内发生照相机或被照体的移动时，反射光信号的相位可能会发生变化。

在这种情况下，通过相关反射光信号得到的深度信息将具有不正确的值，这在图像上会表现出模糊的形态。这种现象发生的原因可类似于彩色照相机上产生模糊现象的原因。但是，ToF方式的照相机和彩色照相机在获得图像方式上存在差异，ToF方式的照相机中产生的模糊现象表现出与彩色图像的模糊现象不同的模糊形态。

发明内容

解决方案

模糊处理装置可包括：控制单元，用以产生控制信号；传感器单元，根据所述控制信号集成通过照射光信号从客体反射回来的反射光信号产生的电子；模糊判断单元，利用按照所述控制信号分别集成的电子的量的相互关系来判断模糊与否。

模糊处理装置的模糊判断单元可通过对表示不存在模糊的情形的基准电荷量关系信息与集成的所述电子的量之间的关系进行比较来判断模糊与否。

当所述照射管信号通过飞行时间ToF方式照相机发出时，模糊处理装置的模糊判断单元可利用所述反射光信号的相位差来判断通过所述ToF方式照相机获取的图像中是否产生模糊。

而且，所述模糊判断单元可通过计算具有相互不同的相位差的多个控制信号和所述反射光信号之间的相位差来计算出深度信息。

而且，所述传感器单元可获取通过所述反射光信号和具有互不相同的相位差的多个控制信号中的每一个控制信号受光的电荷量，所述模糊判断单元可根据因获取的所述电荷量和所述控制信号的互不相同的相位差而被规定的各电荷量之间的关系是否超出正常范围来判断所述图像中是否产生模糊。

所述传感器单元可获取n（n为自然数）个反射光信号，所述模糊判断单元可通过计算具有互不相同的相位差的多个控制信号和所述n个反射光信号之间的相位差来计算n个深度信息，并计算出n个深度信息的平均值。

当计算出的所述n个深度信息中的至少一个深度信息不平坦时，所述模糊判断单元可判断为所述图像中产生模糊。

当所述的判断结果为产生模糊时，模糊处理装置可在通过ToF方式照相机获得的图像内利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的像素值，从而去除所产生的模糊。

所述图像处理单元可基于所述图像内与产生所述模糊的帧时间上不同的相邻帧，利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的模糊区域的深度信息。

作为另一实施例，模糊处理装置可包括：模型识别单元，用以识别与飞行时间ToF方式照相机结构对应的模糊模型；搜索单元，在通过所述ToF方式照相机获取的图像内搜索与所述模糊模型相关的图案；图像处理单元，对搜索到的所述图案内的模糊区域进行滤波，以在所述图像中去除模糊。

模糊处理装置的图像处理单元可在r-theta空间内对所述模糊区域进行滤波。

模糊处理方法可包括如下步骤：产生相位彼此不同的多个控制信号；根据所述控制信号集成通过照射光信号从客体反射回来的反射光信号产生的电子；利用按照所述控制信号分别集成的电子的量之间的关系来判断模糊与否。

所述模糊处理方法中的判断所述模糊与否的步骤可包括步骤：通过对表示不存在模糊的情形的基准电荷量关系信息与集成的所述电子的量之间的关系进行比较来判断模糊与否。

当所述照射管信号通过飞行时间ToF方式的照相机发出时，所述模糊处理方法中的判断所述模糊与否的步骤可包括步骤：利用所述反射光信号的相位差来判断通过所述ToF方式照相机获取的图像中是否产生模糊。

所述模糊处理方法中的判断所述模糊是否产生的步骤可包括步骤：通过计算具有相互不同的相位差的多个控制信号和所述反射光信号之间的相位差来计算出深度信息。

所述模糊处理方法中的判断所述模糊是否产生的步骤可包括步骤：计算获取的n（n为自然数）个反射光信号和具有互不相同的相位差的多个控制信号之间的相位差；利用所述计算出的结果来计算n个深度信息；计算已计算的所述n个深度信息的平均值。

所述模糊处理方法中还可以包括步骤：当所述的判断结果为产生模糊时，可在通过ToF方式照相机获得的图像内利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的像素值，从而去除所产生的模糊。

去除产生的所述模糊的步骤可包括步骤：基于所述图像内与产生所述模糊的帧时间上不同的相邻帧，利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的模糊区域的深度信息。

作为另一实施例，模糊处理方法可包括：识别与飞行时间ToF方式照相机结构对应的模糊模型；在通过所述ToF方式照相机获取的图像内搜索与所述模糊模型相关的图案；对搜索到的所述图案内的产生模糊的模糊区域进行滤波，以在图像中去除所述模糊。

所述模糊处理方法中的对所搜索的图案内产生模糊的模糊区域进行滤波的步骤可包括步骤：在r-theta空间内过滤所述模糊区域。

发明效果

可利用从客体反射的多个反射光信号的关系有效率地判断通过ToF方式照相机获取的图像内是否产生了模糊。

可通过利用没有产生模糊的周边的正常像素值来替代图像内产生的模糊，容易地去除所产生的模糊。

附图说明

图1为示出模糊处理装置的一实施例的方框图。

图2为示出构成传感器单元的像素的一实施例的图，图3为反射光信号和控制信号之间的时序图的一实施例。

图4至图6为示出用于获取在图像内判断是否产生模糊的反射光信号的一例的图。

图7和图8为根据一实施例的分别针对被照体没有移动的情形和被照体发生移动的情形示出反射光信号和控制信号之间的关系的图。

图9为用曲线图示出根据一实施例的在图像内产生模糊的模糊区域的深度信息的图。

图10为示出根据一实施例的产生模糊的图像和深度信息之间的相关性的图。

图11为示出根据一实施例的深度信息和模糊模型之间的相关性的图。

图12为示出根据一实施例的在图像内去除模糊的一例的图。

图13为示出根据一实施例的模糊处理方法的顺序的流程图。

图14为示出根据另一实施例的模糊处理装置的构成的方框图。

图15为示出利用模糊模型对模糊区域进行滤波的一例的图。

图16为示出根据另一实施例的模糊处理方法的顺序的流程图。

具体实施方式

以下，参照附图和附图中记载的内容对多种实施例进行详细的说明。

图1为示出模糊处理装置的一实施例的方框图。

模糊处理装置100可包括控制单元110、传感器单元120、模糊判断单元130、图像处理单元140。

图1所示的模糊处理装置100可通过ToF方式照相机来实现。一实施例中，还可存在光照射单元102包含于ToF方式照相机的示例。ToF方式照相机可利用向客体104照射的照射光信号（例如，红外线信号）和照射光信号被客体104反射回来的反射光信号之间的相位差来产生表示照相机至客体的距离的深度图像。

光照射单元102可以向客体104照射照射光信号。传感器单元120可以感测到从光照射单元102照射的照射光信号被所述客体104反射回来的反射光信号。例如，传感器单元110可以包括诸如针状发光二极管(Pinned PhotoDiode：PPD)、光电门（Photogate）、电荷耦合器件(CCD)等感光元件。在此，客体104意指被照体，并成为拍照的对象。

控制单元110生成相位互不相同的多个控制信号。控制信号为能够对集成传感器单元120通过感测反射光信号而生成的电子的时序进行控制的信号。

通过图2和图3说明针对传感器单元120和控制信号之间的关系的一例。

图2为示出构成传感器单元的像素的一实施例的图。

像素200可包括检测单元210（photogate)、栅极（gate）（栅极-A221、栅极-B222）以及集成单元231、232。检测单元210用于通过接收反射光信号而生成电子。栅极-A221和栅极-B222可以将由检测单元210生成的电子分别传递至集成单元231、232。图2中示出配备有多个栅极（例如，栅极-A221和栅极-B222），从而根据控制信号选择性地将电子传递到多个不同的集成单元231、232的示例。

集成单元231、232可以集成所接收的电子。可预先定义电子的集成时间或周期。例如，集成单元231、232可被定义为在预定时间内集成电子，并在统计所集成的电子的量时，释放电子，随后在下一次电子集成时序再次集成电子。

栅极的导通（on）/截止（off）可以由前述的控制信号来控制。

图3为反射光信号和控制信号之间的时序图的一实施例。

在本实施例中，第一控制信号和第二控制信号可分别控制图2的栅极-A221和栅极-B222，并且第一控制信号和第二控制信号之间具有180度的相位差。所述第一控制信号和第二控制信号的1/2周期例如可以是25ns。

如图3所示，在反射光信号为高（high）值的t_ON期间，可在检测单元210上产生电子。

此时，所产生的电子中的一部分将在与栅极-A221相关的第一控制信号为高值的t_ON-t_ΤOF期间经由栅极-A221而集成到集成单元231。

相反，所产生的电子的剩余部分将在所述第一控制信号转换为低（low）值，且与栅极-B222相关的第二控制信号为高值的t_ΤOF期间经由栅极-B222而集成到集成单元232。

例如，在反射光信号为高值的t_ON期间所产生的电子在t_ON-t_ΤOF期间，因栅极-A221变为导通状态而可被传递至与栅极-A221相关的集成单元231，在t_ΤOF期间，所述电子因栅极-B222导通而可被传递至与栅极-B222相关的集成单元232。

虽然在图2和图3中说明了传感器的栅极和集成单元分别为2个的情形，但栅极和集成单元的数量可根据实施例而变得不同。

再次对图1进行说明，模糊判断单元130利用基于所述控制信号而集成的电子的量（以下，称为电荷量）之间的关系来判断模糊与否。

而且，模糊判断单元130可利用具有互不相同的相位的控制信号得到所述反射光信号和所述照射光信号之间的相位差。例如，传感器单元120反复获得在ToF方式照相机的积分时间(Integration Time)内反射回来的反射光信号，由此模糊判断单元130可获得基于反射光信号的深度信息。

图4至图6为示出获得用于在图像内判断是否产生模糊的反射光信号的一例的图。图4至图6中，C₁至C₄表示控制信号，Q₁至Q₄表示电荷量，t_d表示深度信息。

ToF方式照相机可产生具有互不相同的L（L为自然数）个相位的控制信号。ToF方式照相机可以以具有M（M为自然数）个电荷量存储空间的L-相位/M-抽头方式被构成。例如，图4的4-相位/1-抽头（tap）示例中，ToF方式照相机可生成彼此具有90度的相位差的四个控制信号C₁、C₂、C₃、C₄。

传感器单元120可依次地根据所述反射光信号和控制信号C₁来获取电荷量Q₁，根据所述反射光信号和控制信号C₂来获取电荷量Q₂，根据所述反射光信号和控制信号C₃来获取电荷量Q₃，根据所述反射光信号和控制信号C₄来获取电荷量Q₄。

图4的4-相位/1-抽头方式和图5的4-相位/2-抽头方式以及图6的4-相位/4-抽头方式可表示出ToF方式照相机的结构不同。例如，传感器单元120可根据ToF方式照相机的结构使得在积分时间内获取反射光信号和控制信号之间的相位差的方法彼此不同。

图4至图6中虽然示出了生成4个控制信号并获取4个电荷量的示例，但根据实施例，控制信号的数量可小于或大于4个。

模糊判断单元130可利用所述获取的电荷量Q₁、Q₂、Q₃、Q₄之间的关系来判断通过ToF方式获取的图像中是否产生模糊。例如，模糊判断单元130可计算作为控制信号C₁和C₂为高值的期间所获得的电荷量之差的第一差值(Q₁-Q₂)。而且，模糊判断单元130可计算作为控制信号C₃和C₄为高值的期间所获得的电荷量之差的第二差值(Q₃-Q₄)。之后，模糊判断单元130在将反正切函数应用于将所述第二差值(Q₃-Q₄)除以所述第一差值(Q₁-Q₂)而得到的商(Q₃-Q₄/Q₁-Q₂)来计算出所述深度信息t_d。

作为一例，图5所示的4-相位/2-抽头方式的实施例中，当控制信号C₁至C₄的时序图表示用于获得电荷Q₁至Q₄的一个周期时，若这种周期重复n（n为自然数）次，则Q₁至Q₄可分别获得n次。若利用n个周期内获得的电荷量来生成一张深度图像，则前述的第一差值可以是nQ₁-nQ₂，第二差值可以是nQ₃-nQ₄。而且，在一个像素中的深度信息t_d可表示为如下的数学式1。

【数学式1】

$t_d=\arctan \left(\frac{n{Q}_3-n{Q}_4}{n{Q}_1-n{Q}_2}\right)$

如果照相机、被照体或背景发生移动，则传感器单元120中包含的像素中的至少一个像素所感测的反射光信号的相位会发生变化。

图7和图8为示出根据一实施例的分别针对不存在被照体的移动的情形和存在被照体的移动的情形的反射光信号和控制信号之间的关系的图。由于图7和图8仅为用于帮助理解的概念图，因此不应根据图7和图8限制地解释其它实施例。

图7和图8中，反射光信号在圆点位置R被反射，控制信号控制感测相关位置的反射光信号的传感器单元120的像素。

如图7所示，当不存在被照体的移动时，控制信号的第一个高值和第二个高值中生成的电荷量分别为Qa。

反之，如图8所示，由于被照体的移动，照射光信号被反射的客体从作为图像的椅子变为背景时（参照t0和t1时间点的圆点位置R），反射光信号到达像素的时间可从t1延时为t1'。例如，像素所感测的反射光信号中可产生相位变化。此时，控制信号的第一高值期间生成的电荷量和第二高值期间生成的电荷量分别为彼此不同的Qa和Qa'。如果利用控制信号两次变为高值的期间内所生成的电荷确定深度值，则图8的实施例中，将会利用Qa和Qa'表示深度图像内的一个像素值（对应于圆点位置R），因此相关像素中会产生模糊。

以下，对于前述图5的4-相位/2-抽头实施例的情形，针对可从与发生移动的位置对应的像素得到的深度值进行说明。

模糊判断单元130计算n个周期的控制信号C₁、C₂中的、作为反射光信号的相位变化发生之前的m周期的C₁和C₂之间的电荷量差值的第一差值(Q₁-Q₂)，并计算作为发生相位差变化而具有新的相位的剩余n-m个周期的C₁和C₂之间的电荷量差值的第一差值

而且，模糊判断单元130计算n个周期的控制信号C₃、C₄中的、作为相位变化发生之前的m个周期的C₃和C₄之间的电荷量差值的第二差值(Q₃-Q₄)，并计算作为发生相位差变化而具有新的相位的剩余n-m个周期的C₃和C₄之间的电荷量差值的第二差值

此时，所述深度信息t_d可表示为如下的数学式2。

【数学式2】

可通过把将m作为变量的函数t_d一次微分，来表示为如下的数学式3的t_d′。

【数学式3】

对数学式3求解，可得出如数学式4的值。

【数学式4】

例如，可知因相位差变化而产生的深度信息t_d的变化在获得的m中，可具有一个局部最大值或局部最小值。此时，可知m个周期的位置根据移动前后的深度信息而变化。

从以上的内容中可知，ToF方式照相机所生成的图像内的模糊现象并不是取两个端点值的中间值或单调增加/减少的形态产生。由于在特性上ToF方式照相机使用与彩色照相机不同的方式获取图像，因此从ToF方式照相机中生成的图像去除模糊的方式可与去除彩色照相机的模糊的方式全然不同。

作为一实施例，模糊判断单元130可对通过控制信号C₁和C₂获得的电荷量Q₁和Q₂之间的第一差值以及通过控制信号C₃和C₄获得的电荷量Q₃和Q₄之间的第二差值进行n次计算，并利用所计算出的结果来计算出n次的深度信息。例如，模糊判断单元130利用在控制信号的每一周期获得的电荷量计算出深度信息，并可以利用通过这种方式获得的n个深度信息的平均值来深度图像的一个帧(frame)。

此时，当所述计算出的n个深度信息中的至少一个深度信息不平坦时，模糊判断单元130可以判断为所述深度图像中产生了模糊。例如，当反射光信号的相位具有恒定的值时，所计算出的n个深度信息将具有恒定的值。反之，当反射光信号的相位不具有恒定的值时，所计算出的n个深度信息也无法具有恒定的值，由于计算出所述非恒定值，据此模糊判断单元130可判断为图像内具有所述非恒定值的区域产生了模糊。

图9为用曲线图示出根据一实施例的在图像内产生模糊的模糊区域的深度信息的图。

模糊判断单元130可参照针对移动的客体的深度信息判断是否产生模糊。根据一示例，模糊判断单元130可判断为在与各个像素坐标（像素值）相关的深度信息不具有均一的值的区域产生了模糊。

图9中，当深度信息在某一特定区域具有与其它深度信息不同的高值时，模糊判断单元130可将具有与其它深度信息不同的值的区域判断为产生了模糊的模糊区域910。例如，作为将像素坐标之间的深度信息进行罗列的结果，深度信息曲线图表现出如图9所示的尖点形态时，模糊判断单元130可以判断为形成尖点的像素区域910中产生了模糊。

图10为示出根据一实施例的产生模糊的图像和深度信息之间的相关性的图。

模糊判断单元130计算出图像（图10的(a)、(d)、(g)）内的预定区域的深度信息，并可利用所计算出的深度信息来判断图像（图10的(a)、(d)、(g)）内是否产生模糊。

例如，图10的（b）和（c）为计算出第一图像（图10的（a））中的i区域和ii区域的深度信息并显示该深度信息的曲线图。虽然在第一图像（图10的（a））的i区域和ii区域两者中计算出的深度信息并不是具备完全恒定的值，但在整个像素坐标中具有较平均的深度信息。此时，模糊判断单元130可以判断为第一图像（图10的（a））内没有产生模糊。

图10的（e）和（f）为计算出发生移动的第二图像（图10的（d））中的i区域和ii区域的深度信息并显示该深度信息的曲线图。在发生移动的第二图像（图10的（d））的i区域和ii区域两者中计算出的深度信息具有在没有发生移动的第一图像（图10的（a））的图10的（b）和（c）中无法看到的特殊的（尖点形态或斜率的急剧变化等）深度信息值。此时，模糊判断单元130可以判断为第二图像（图10的（d））内产生了模糊。

图10的（h）和（i）为计算出第三图像（图10的（g））中的i区域和ii区域的深度信息并显示该深度信息的曲线图。虽然在第三图像（图10的（g））的i区域和ii区域两者中计算出的深度信息与第一图像（图10的（a））的深度信息类似地并不具备完全恒定的值，但在整个像素坐标中具有平坦的深度信息。此时，模糊判断单元130可以判断为第三图像（图10的（g））内没有产生模糊。

图11为示出根据一实施例的深度信息和模糊模型之间的相关性的图。

对于具有4-相位/2-抽头的结构的ToF方式照相机来说，通过反射光信号和控制信号C₁、C₂、C₃、C₄获得的电荷量Q₁、Q₂、Q₃、Q₄中，Q₁-Q₂和Q₃-Q₄的关系可表现出如图11的（b）的菱形形态。例如，当被照体、照相机、背景等不存在移动时，电荷量Q₁-Q₂和Q₃-Q₄的关系可存在于如图11的（b）所示的菱形710之上。显然，作为各个控制信号的n个周期内获得的电荷量之差的n(Q₁-Q₂)和n(Q₃-Q₄)之间的差也可以表现出与此类似的形态。而且，菱形的大小或形态可根据实施例而变得不同。图11的（a）表示不存在因移动引起的模糊的状态，计算各个像素的速度信息时所使用的电荷量之间的关系可对应于图11的（b）的两个坐标720、730。

反之，图11的（c）因模糊而包含不均一的值740，此时，Q₁、Q₂、Q₃、Q₄之间的关系如图11的（d）所示，可显示在脱离菱形的区域750中。例如，通过将从产生模糊的图像中获得的图11的（d）与从没有产生模糊的图像中获得的图11的（b）进行比较，可获知产生了图示于菱形位置之外的区域中的值。

模糊处理装置100可预先存储基准电荷量关系信息，该基准电荷量关系信息表示在被照体、照相机、背景等不存在移动的状况（例如，不会因移动而产生模糊的状况）下根据反射光信号和控制信号而集成的电荷量之间的关系。

基准电荷量关系信息的一示例可以是图11的（b）中示出的菱形曲线图，可以根据实施例表现为其它形状的曲线图。当然，基准电荷量关系信息不仅可以用曲线图表示，还可以用表格、数学式等多种形态表示。在拍摄被照体时，模糊判断单元130可以将根据反射光信号和控制信号集成的电荷量之间的关系与事先存储的基准电荷量关系信息进行比较。通过比较，模糊判断单元130可以判断是否产生模糊。例如，如果在拍摄时在特定像素中基于控制信号获得的电荷量之间的关系脱离基准电荷量关系信息，则模糊判断单元130可以判断为相关像素中产生了模糊。

例如，对于具有4-相位/2-抽头结构的ToF方式照相机来说，模糊判断单元130通过对于每个像素如上所述地判断控制信号电荷量的关系(Q₁-Q₂、Q₃-Q₄)是否脱离正常范围（菱形形状上的点），可判断是否产生了模糊。

对于具有L-相位/M-抽头结构的ToF方式照相机来说，模糊判断单元130也通过判断是否脱离因各个控制信号之间预先规定的相位差而规定的各个电荷量Q₁～Q_N之间的正常范围，来在计算ToF方式照相机的各个像素的深度信息的过程中直接判断出是否产生了模糊。

如此，所述判断结果为产生了模糊时，图像处理单元140可参照所述图像内的产生所述模糊的模糊区域周边的正常像素值来去除产生的所述模糊。

例如，图像处理单元140可以用所述图像内的没有产生所述模糊的周边的正常像素值来替代产生所述模糊的像素值，从而去除所产生的模糊。作为实施例，图像处理单元140可以用没有产生所述模糊的周边的正常像素中的、位于最近的位置像素的深度值来替代产生所述模糊的模糊区域的深度信息。或者，图像处理单元140可基于所述图像内与产生所述模糊的帧时间上不同的相邻帧用没有产生所述模糊的周边的正常像素值替代产生所述模糊的模糊区域的深度信息。例如，图像处理单元140可以将特定帧中发生模糊的像素值替代为之前帧或之后帧中的相同的坐标的像素值。

模糊判断单元130可生成ToF方式照相机的各个标签结构的模糊模型。如上所述，ToF方式照相机可构成为4-相位/1-抽头（tap）、4-相位/2-抽头、4-相位/4-抽头等结构。

【数学式5】

在数学式5中，举例示出以4-相位/1-抽头结构构成的ToF方式照相机的模糊模型。

【数学式6】

在数学式6中举例示出以4-相位/2-抽头结构构成的ToF方式照相机的模糊模型。在数学式6中，模糊判断单元130通过判断反射光信号之间的关系是否为m个周期的C₁和C₂之间的电荷量之和(Q₁+Q₂)与m个周期的C₃和C₄之间的电荷量之和(Q₃+Q₄)相同，例如是否满足(Q₁+Q₂)=(Q₃+Q₄)，可判断出图像内是否产生了模糊。

例如，当所获取的反射光信号之间的关系满足Q₁+Q₂=Q₃+Q₄的条件时，模糊判断单元130可判断为图像内没有产生模糊，而当所获取的反射光信号之间的关系不满足Q₁+Q₂=Q₃+Q₄的条件时，模糊判断单元130可判断为图像内产生了模糊。

【数学式7】

数学式7中举例示出以4-相位/4-抽头结构构成的ToF方式照相机的模糊模型。

图12为示出根据一实施例的在图像内去除模糊的一例的图。

当图像内产生了模糊时，图像处理单元140利用没有产生所述模糊的周边的正常像素值来替代所述图像内产生所述模糊的像素值，以去除所产生的模糊。

图12中，产生模糊的像素值为显示在菱形形态的曲线图内侧的值，周边的正常像素值为显示在菱形形态的曲线图上的值。例如，图像处理单元140可以用显示在菱形形态的曲线图上的值来替代显示在菱形形态的曲线图内侧的值，从而去除所产生的模糊。

作为一实施例，图像处理单元140可以用周边的正常像素中最为靠近的像素的深度信息来替代产生所述模糊的像素值，从而去除所产生的模糊。或者，图像处理单元140可基于与产生模糊的帧时间上不同的相邻帧，利用没有产生所述模糊的正常像素值来替代产生模糊的像素的深度信息。

图13为示出根据一实施例的模糊处理方法的顺序的流程图。在此，模糊处理方法可由图1所示的模糊处理装置100所执行。

参照图13，在步骤1310，模糊处理装置100通过光照射单元102向客体104发出照射光信号，并获取释放的所述照射光信号被所述客体104反射回来的反射光信号。

在步骤1320，所述模糊处理装置100可利用获取的所述反射光信号的相位差来计算出深度信息。

在步骤1330，所述模糊处理装置100可利用所述深度信息判断通过所述ToF方式照相机获取的图像中是否产生模糊。

所述模糊处理装置100可通过计算具有互不相同的相位差的控制信号和所述反射光信号之间的相位差来计算出深度信息。例如，所述模糊处理装置100可获取通过所述反射光信号和具有互不相同的相位差的各个控制信号受光（light-received）的电荷量。所述模糊处理装置100可根据因所获取的电荷量和所述控制信号的彼此不同的相位差而规定的各个电荷量之间的关系是否脱离正常范围，来判断所述图像中是否产生模糊。

在步骤1340，当所述判断结果为产生了模糊时，所述模糊处理装置100利用所述图像内产生了所述模糊的模糊区域周边的正常像素值来去除所产生的模糊。

所述模糊处理装置100可在所述图像内利用没有产生所述模糊的周边的正常像素值替代产生了所述模糊的像素值，从而去除所产生的模糊。

或者，所述模糊处理装置100可基于所述图像内与产生所述模糊的帧时间上不同的相邻帧，利用没有产生模糊的周边的正常像素值来替代产生了所述模糊的模糊区域的深度信息，从而去除所产生的模糊。

图14为示出根据另一实施例的摸出处理装置的构成的方框图。

参照图14，模糊处理装置1400可包括模型识别单元1410、搜索单元1420和图像处理单元1430。例如，模糊处理装置1400可被使用为在反射光信号和控制信号的电荷量Q₁、Q₂、Q₃、Q₄未被提供的情况下在图像内去除模糊的方式。

模型识别单元1410可识别与ToF方式照相机的结构对应的模糊模型。所述ToF方式照相机可以由具备通过多种方式生成的彼此不同的L（L为自然数）个相位的控制信号，并具有M（M为自然数）个电荷量存储空间的L-相位/M-抽头方式所构成。据此，所述模糊模型可根据ToF方式照相机的结构具有彼此不同的模型，例如4-相位/1-抽头、4-相位/2-抽头、4-相位/4-抽头等。

搜索单元1420在通过所述ToF方式照相机获取的图像中搜索与所述模糊模型相关的图案。搜索单元1420可利用多种图案搜索方式搜索出与所述模糊模型相关的图案。为了提高搜索速度，搜索单元1420可使用定向(orientation)及空间金字塔(pyramid)形的阶段式搜索方式。

作为一实施例，搜索单元1420可利用霍夫变换(hough transformation)搜索图案并在r-theta空间内搜索所述图案。

图像处理单元1430对搜索出的所述图案内的模糊区域进行滤波而在所述图像中去除模糊。图像处理单元1430可以在r-theta空间内进行滤波，以在所述模糊区域内去除噪声。此时，为了使r-theta空间内的欧氏距离(Euclideandistance)有效，r和theta之间可适用彼此不同的加权参数。

图15为示出利用模糊模型对模糊区域进行滤波的一例的图。

参照图15，图像处理单元1430可利用模糊模型（图15的（b））对产生了模糊的模糊区域（图15的（a））进行滤波而获得去除了模糊的图像（图15的（c））。

图16为示出根据本发明另一实施例的模糊处理方法的顺序的流程图。在此，模糊处理方法可以由图14所示的模糊处理装置1400执行。

参照图16，在步骤1610中，模糊处理装置1400识别与ToF方式照相机的结构对应的模糊模型。所述ToF方式照相机可以由具备彼此不同的L（L为自然数）个相位的控制信号，并具有M（M为自然数）个电荷量存储空间的L-相位/M-抽头方式构成。所述模糊模型可根据ToF方式照相机的结构具有彼此不同的模型，例如4-相位/1-抽头、4-相位/2-抽头、4-相位/4-抽头等。

在步骤1620，所述模糊处理装置1400在通过所述ToF方式照相机获取的图像中搜索与所述模糊模型相关的图案。所述模糊处理装置1400可利用多种图案搜索方式搜索出与所述模糊模型相关的图案。所述模糊处理装置1400可使用定向及空间金字塔形的阶段式搜索方式来提供搜索速度。

在步骤1630，所述模糊处理装置1400对搜索出的所述图案内的产生了模糊的模糊区域进行滤波而在所述图像中去除所述模糊。所述模糊处理装置1400可以在r-theta空间内进行滤波，以在所述模糊区域内去除噪声。

根据实施例的方法可被实现为通过多种计算机手段执行的程序命令形态并被记录在计算机可读介质之中。所述计算机可读介质可包含单独的程序命令、数据文件、数据结构等或它们的组合。记录于所述介质的程序命令可以是为叙述的实施例特别设计和构建的程序命令，或者可以是计算机软件技术人员所公知而能够使用的程序命令。

如上所述，虽然通过有限的实施例和附图进行了说明，但实施例并不局限于上述的实施例，只要是本领域具有普通知识的技术人员，就可根据这种记载进行多种修改和变更。

因此，权利范围并不局限于描述的实施例而定义，而是由权利要求书以及与权利要求书等同的内容来确定。

Claims (20)

1.一种模糊处理装置，包括：

控制单元，用以产生控制信号；

传感器单元，根据所述控制信号集成通过照射光信号从客体反射回来的反射光信号产生的电子；

模糊判断单元，利用按照所述控制信号分别集成的电子的量的相互关系来判断模糊与否。

2.根据权利要求1所述的模糊处理装置，其中，

所述模糊判断单元通过对表示不存在模糊的情形的基准电荷量关系信息与集成的所述电子的量之间的关系进行比较来判断模糊与否。

3.根据权利要求1所述的模糊处理装置，其中，当所述照射光信号通过飞行时间ToF方式照相机发出时，

所述模糊判断单元利用所述反射光信号的相位差来判断通过所述ToF方式照相机获取的图像中是否产生模糊。

4.根据权利要求3所述的模糊处理装置，其中，

所述模糊判断单元通过计算具有相互不同的相位差的多个控制信号和所述反射光信号之间的相位差来计算出深度信息。

5.根据权利要求3所述的模糊处理装置，其中，

所述传感器单元获取通过所述反射光信号和具有互不相同的相位差的多个控制信号中的每一个控制信号受光的电荷量，

所述模糊判断单元根据因获取的所述电荷量和所述控制信号的互不相同的相位差而被规定的各电荷量之间的关系是否超出正常范围来判断所述图像中是否产生模糊。

6.根据权利要求3所述的模糊处理装置，其中，所述传感器单元获取n个反射光信号，所述模糊判断单元通过计算具有互不相同的相位差的多个控制信号和所述n个反射光信号之间的相位差来计算n个深度信息，并计算出n个深度信息的平均值，其中n为自然数。

7.根据权利要求6所述的模糊处理装置，其中，当计算出的所述n个深度信息中的至少一个深度信息不平坦时，所述模糊判断单元判断为所述图像中产生模糊。

8.根据权利要求1所述的模糊处理装置，还包括：

图像处理单元，当所述判断结果为产生模糊时，在通过ToF方式照相机获得的图像内利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的像素值，从而去除所产生的模糊。

9.根据权利要求8所述的模糊处理装置，其中，所述图像处理单元基于所述图像内与产生所述模糊的帧时间上不同的相邻帧，利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的模糊区域的深度信息。

10.一种模糊处理装置，包括：

模型识别单元，用以识别与飞行时间ToF方式照相机结构对应的模糊模型；

搜索单元，在通过所述ToF方式照相机获取的图像内搜索与所述模糊模型相关的图案；

图像处理单元，对搜索到的所述图案内的模糊区域进行滤波，以在所述图像中去除模糊。

11.根据权利要求10所述的模糊处理装置，其中，所述图像处理单元可在r-theta空间内对所述模糊区域进行滤波。

12.一种模糊处理方法，包括如下步骤：

产生相位彼此不同的多个控制信号；

根据所述控制信号集成通过照射光信号从客体反射回来的反射光信号产生的电子；

利用按照所述控制信号分别集成的电子的量之间的关系来判断是否模糊。

13.根据权利要求12所述的模糊处理方法，其中，所述的判断是否模糊的步骤包括步骤：通过对表示不存在模糊的情形的基准电荷量关系信息与集成的所述电子的量之间的关系进行比较来判断模糊与否。

14.根据权利要求12所述的模糊处理方法，其中，当所述照射光信号通过飞行时间ToF方式照相机发出时，所述的判断是否模糊的所述步骤可包括步骤：利用所述反射光信号的相位差来判断通过所述ToF方式照相机获取的图像中是否产生模糊。

15.根据权利要求14所述的模糊处理方法，其中，所述的判断是否产生模糊的步骤包括步骤：通过计算具有相互不同的相位差的多个控制信号和所述反射光信号之间的相位差来计算出深度信息。

16.根据权利要求14所述的模糊处理方法，其中，所述的判断是否产生模糊的步骤包括步骤：

计算获取的n个反射光信号和具有互不相同的相位差的多个控制信号之间的相位差，其中n为自然数；

利用所述计算出的结果来计算n个深度信息；

计算已计算的所述n个深度信息的平均值。

17.根据权利要求12所述的模糊处理方法，其中，还包括步骤：当所述的判断结果为产生模糊时，在通过ToF方式照相机获取的图像内利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的像素值，从而去除所产生的模糊。

18.根据权利要求17所述的模糊处理方法，其中，所述的去除产生的模糊的步骤包括步骤：基于所述图像内与产生所述模糊的帧时间上不同的相邻帧，利用没有产生所述模糊的周边的正常像素值来替代产生所述模糊的模糊区域的深度信息，从而去除所产生的模糊。

19.一种模糊处理方法，包括：

识别与飞行时间ToF方式照相机结构对应的模糊模型；

在通过所述ToF方式照相机获取的图像内搜索与所述模糊模型相关的图案；

对搜索到的所述图案内的产生模糊的模糊区域进行滤波；

在对所述模糊区域进行滤波的图像内去除所述模糊。

20.根据权利要求19所述的模糊处理方法，其中，所述的对所搜索的图案内产生模糊的模糊区域进行滤波的步骤包括步骤：在r-theta空间内对所述模糊区域进行滤波。

Images