CN114881894B - 一种像素修复方法、装置、设备以及计算机存储介质 - Google Patents

一种像素修复方法、装置、设备以及计算机存储介质 Download PDF

Info

Publication number
CN114881894B
CN114881894B CN202210795991.1A CN202210795991A CN114881894B CN 114881894 B CN114881894 B CN 114881894B CN 202210795991 A CN202210795991 A CN 202210795991A CN 114881894 B CN114881894 B CN 114881894B
Authority
CN
China
Prior art keywords
value
pixel point
abnormal
block
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210795991.1A
Other languages
English (en)
Other versions
CN114881894A (zh
Inventor
汪峰
莫苏苏
吴昊
王抒昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN202210795991.1A priority Critical patent/CN114881894B/zh
Publication of CN114881894A publication Critical patent/CN114881894A/zh
Application granted granted Critical
Publication of CN114881894B publication Critical patent/CN114881894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种像素修复方法、装置、设备以及计算机存储介质。该方法包括：获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，能够实现对运动模糊图像中异常像素点的修复。

Description

一种像素修复方法、装置、设备以及计算机存储介质
技术领域
本申请涉及像素修复领域，尤其涉及一种像素修复方法、装置、设备以及计算机存储介质。
背景技术
目前，时间飞行相机（Time of Flight，TOF）多采用双频融合的方法，提升TOF相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
在相关技术中，ToF相机采用双频工作，通过双拼融合的方法实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易受到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。
发明内容
本申请提出一种像素修复方法、装置、设备以及计算机存储介质，能够实现运动模糊图像中异常像素点的修复，使得修复后的图像变得清晰。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种像素修复方法，所述方法包括：
获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
在一些实施例中，所述获取运动模糊图像，包括：
获取异常图像；其中，所述异常图像包括若干个像素点；
根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；
基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
在一些实施例中，所述方法还包括：
在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；
在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；
其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
在一些实施例中，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，包括：
确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；
对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；
基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
在一些实施例中，所述测量特征值包括下述至少之一：测量深度值、测量幅度值、测量灰度值。
在一些实施例中，所述测量特征值包括第一测量特征值和第二测量特征值，所述方法还包括：
在将所述第一测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块；
在一些实施例中，所述方法还包括：
在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
在一些实施例中，所述根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数，包括：
确定第一分块中正常像素点对应的扩展周期数；
根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；
根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；
其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
在一些实施例中，所述根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数，包括：
将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
在一些实施例中，所述根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像，包括：
根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；
根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
在一些实施例中，所述根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值，包括：
计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；
对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
第二方面，本申请实施例提供了一种像素修复装置，包括：
获取单元，配置为获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
构建单元，配置为基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
计算单元，配置为根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
确定单元，配置为根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
修复单元，配置为根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
第三方面，本申请实施例提供了一种电子设备，包括：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述的像素修复方法。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如第一方面中任一项所述的像素修复方法。
本申请实施例所提供的一种像素修复方法、装置、设备以及计算机存储介质，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
附图说明
图1为相关技术提供的一种双频融合的工作原理示意图；
图2为相关技术提供的一种双频融合的运动模糊原理示意图；
图3a为相关技术提供的一种频率下的深度图像示意图；
图3b为相关技术提供的另一种频率下的深度图像示意图；
图4为相关技术提供的一种双频融合后的运动模糊图像示意图；
图5为本申请实施例提供的一种像素修复方法的流程示意图；
图6为本申请实施例提供的一种双频融合运动模糊图像示意图；
图7为本申请实施例提供的一种最小融合误差示意图；
图8为本申请实施例提供的一种标记后的双频融合运动模糊图像示意图；
图9为本申请实施例提供的一种拓展周期数图像示意图；
图10为本申请实施例提供的一种测量值-幅度值-扩展周期数的三维直方图示意图；
图11为本申请实施例提供的一种像素修复后的双频融合运动模糊图像示意图；
图12为本申请实施例提供的一种像素修复装置的组成结构示意图；
图13为本申请实施例提供的一种电子设备的具体硬件结构示意图；
图14为本申请实施例提供的一种电子设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区域别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
可以理解，参见图1，其示出了一种双频融合原理示意图，如图1所示，TOF相机多采用双频融合的方法，提升TOF相机的测量精度和范围，同时解决单频情况下的距离模糊现象。该方法通过获取多种频率下的深度测量距离，对上述所有测量距离分别进行周期扩展以求得测量误差最小值，此时主频率对应的周期扩展后距离即为最终距离值。
参见图2，若TOF相机的成像对象在两个单频下为一一对应关系，上述方法确实能够实现不降低测距精度的同时，扩展测量范围。但实际上TOF相机的双频深度图像是顺序积分得到的（例如频率1先积分获取一幅测量深度值、频率2再积分获取另外一幅测量深度值），所有频率均获取对应测量深度值后，才能按照周期扩展的方法获取融合后的深度值。很明显，当测量目标在两个单频下是很难做到一一对应的，部分像素在成像过程中或多或少会受到其它因素的影响，例如随机噪声、目标运动等，此时无论怎样进行周期扩展，其融合误差均会明显偏大，造成最终深度融合图像存在明显异常。
在此基础上，通过上述分析可见双频融合造成的运动模糊，与可见光下的运动拖影现象类似，通过图像配准、运动估计等方法可以很好的解决可见光的运动拖影现象。但上述方法并不能很好地解决TOF相机的双频融合运动模糊，因为双频深度图像的像素值存在较大差异，而且由于单频固有的深度混叠现象，进一步加深了两幅深度图像直接进行运动估计或者图像配准的难度。示例性的，参见图3a和图3b，其示出了两种不同频率下的深度图像，将图3a和图3b进行融合后得到如图4所示的双频融合后的运动模糊图像，融合后的图像存在明显的模糊区域。
在相关技术中，ToF相机采用双频工作，以实现不降低测距精度的同时，扩展测量范围。但是不同频率下的深度图像不是在一个积分时间内完成的，两个单频下的成像很难做到一一对应，较易受到随机噪声、目标运动等因素的影响，造成最终的融合结果异常。双频深度图像之间的明显差异，造成传统可见光下的图像配准、运动估计等方法不能很好解决上述问题。而通过提升帧率或同一积分时间获取多幅相位图像方法（2-tap、4-tap）等电路改进方法，可以减轻运动模糊现象，但成本高、实施难度大且无法从根本上彻底消除运动模糊像素的问题。
基于此，本申请实施例提供了一种像素修复方法，该方法的基本思想是：获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
在本申请的一实施例中，参见图5，其示出了本申请实施例提供的一种像素修复方法的流程示意图。如图5所示，该方法可以包括：
S501：获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点。
需要说明的是，本申请实施例提供的像素修复方法可以应用于具有像素修复需求的电子设备中。这里，电子设备具有双频TOF相机，可以是诸如计算机、智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、导航装置、可穿戴设备等等的电子设备，本申请实施例对此不作具体限定。
还需要说明的是，运动模糊图像是在双频深度图像进行融合的过程中因为随机噪声、目标运动等原因，造成最终深度融合图像存在异常，运动模糊图像中包括清晰区域和模糊区域，其中清晰区域的像素点为正常像素点，模糊区域的像素点为异常像素点。
在一些实施例中，所述获取运动模糊图像，可以包括：
获取异常图像；其中，所述异常图像包括若干个像素点；
根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；
基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
需要说明的是，异常图像为存在模糊区域的待处理图像，其中，异常图像中的若干个像素点包括正常像素点和异常像素点，在通过最小融合误差值对异常图像进行模糊区域标记的时候，只对异常像素点进行标记，以便后续对异常像素点进行像素修复，标记后的异常图像即为运动模糊图像。
还需要说明的是，第一频率和第二频率为双频时间飞行相机的两个频率，在进行标记的过程中，可以通过将最小融合误差值与预设阈值进行比较，在最小融合误差值大于预设阈值的情况下，将对应的像素点标记为异常像素点。
在一些实施例中，所述方法还可以包括：
在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；
在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；
其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
需要说明的是，在对异常图像进行标记的过程中，将异常图像中的若干个像素点进行遍历，计算每一个像素点的最小融合误差值，在最小融合误差值大于预设阈值的情况下，则该像素点为异常像素点，在最小融合误差值小于或者等于预设阈值的情况下，则该像素点为正常像素点。
S502：基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块。
需要说明的是，在本申请实施例中，测量特征值可以包括测量灰度值、测量幅度值、测量深度值或者其他可以反映当前最小融合误差变化的特征值，测量特征值可以包括若干种，在此不作任何限定。
在一些实施例中，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：
确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；
对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；
基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
在一些实施例中，所述测量特征值包括第一测量特征值和第二测量特征值。
需要说明的是，在本申请实施例中，获取至少一类若干个测量特征值可以包括测量灰度值或者测量幅度值或者测量深度值或者其他可以反映当前最小融合误差变化的特征值，测量特征值可以包括若干种，在此不作任何限定。
还需要说明的是，在本申请实施例中，在对测量特征值进行划分时，可以将测量特征值的最大测量值和最小测量值形成的区间，划分成预设数量等份，具体地，预设数量等份可以根据图像的模糊程度进行设定，划分的份数越多则像素修复的细节修复结果越好，划分的份数越少则像素修复的整体保留的越好。
示例性地，在一些实施例中，在所述至少一个特征图像包括两个特征图像的情况下，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：
确定所述运动模糊图像对应的第一特征图像和第二特征图像；其中，所述第一特征图像包括若干个像素点对应的第一测量特征值，所述第二特征图像包括若干个像素点对应的第二测量特征值；
将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为第一预设数量等份，将所述第二测量特征值对应的最大测量值和最小测量值之间的区间划分为第二预设数量等份；
计算所述第一测量特征值每一等份对应的第一特征编号值，以及计算所述第二测量特征值每一等份对应的第二特征编号值；
确定所述若干个像素点各自对应的第一特征编号值和第二特征编号值，以及根据所述正常像素点对应的所述第一测量特征值、所述第二测量特征值与所述扩展周期数，构建三维的所述直方图。
需要说明的是，在测量特征值有两个时，可以包括第一测量特征值和第二测量特征值，利用第一测量特征值、第二特征值和扩展周期值构建三维直方图，在对第一测量特征值和第二特征值分别进行划分的过程中，对应的第一预设数量等分和第二预设数量等分的设置不互相关，可以相同也可以不同。
还需要说明的是，在对每一等分进行编号的时候，可以分别对第一测量特征值划分的每一等分进行编码得到第一特征编号值，以及第二测量特征值划分的每一等分进行编码得到第二特征编号值，也可以将第一测量特征值和第二特征值结合起来进行编号，以确定在构建三维直方图后每一个分块都有对应的编号值。
示例性地，在一些实施例中，在所述至少一个特征图像包括一个特征图像的情况下，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，可以包括：
确定所述运动模糊图像对应的第一特征图像；所述第一特征图像包括若干个像素点对应的第一测量特征值；
将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为预设数量等份，以及计算所述第一测量特征值中每一等份对应的特征编号值；
确定所述若干个像素点各自对应的特征编号值，以及根据所述正常像素点对应的测量特征值与扩展周期数，构建二维的所述直方图。
需要说明的是，在一些实施例中，在测量特征值有一个时，可以包括第一测量特征值，将第一测量特征值对应的最大测量值和最小测量值形成的区间进行等分，划分后的每一份都要进行编号，以使在构成二维直方图之后每一分块队友对应的编号值，最后，利用第一测量特征值和扩展周期值构建二维直方图。
在一些实施例中，所述方法还可以包括：
在将所述测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块。
需要说明的是，本申请实施例中，在测量特征值只有一个时，至少一个分块的划分由该测量特征值决定，在该测量特征值划分为预设数量等份后，每一等份为一个分块。
在一些实施例中，所述方法还可以包括：
在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
需要说明的是，在测量特征值有两个时，至少一个分块的划分由两个测量值共同决定，在两个测量特征值均划分为预设数量等份后，在由两个测量特征值构成的平面中，两个测量特征值对应的预设数量等份的乘积为分块对应的数量。
这样，基于所述运动模糊图像中正常像素点对应的不同测量特征值与扩展周期数，构建二维直方图或者三维直方图。
S503：根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数。
需要说明的是，在对直方图进行分块后，每一个分块中不同像素对应的扩展周期数可能相同也可能不同，而目标扩展周期数则是每一个分块进行统一之后得到的扩展周期数。
在一些实施例中，所述根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数，可以包括：
确定第一分块中正常像素点对应的扩展周期数；
根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；
根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；
其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
需要说明的是，在本申请实施例中，在进行每一个分块对应的目标扩展周期的计算时，确定每一个分块中正常像素点对应的拓展周期数，并确定每一分块中正常像素点中最具有普适性的扩展周期数来作为该分块的目标扩展周期数。
在一些实施例中，所述根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数，可以包括：
将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
需要说明的是，在进行每一分块中最具有普适性的扩展周期的选取时，可以确定扩展周期集的平均数、中位数或者众数作为该分块的目标扩展周期数，也可以是其他能反映该分块扩展周期数的参数，在此不作任何限定，另外，每一分块之间的目标扩展周期数可以相同也可以不同。
这样，确定了每一分块对应的目标扩展周期数。
S504：根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数。
需要说明的是，异常像素点为前述运动模糊图像中的异常像素点，在确定异常像素点的所属分块时，可以通过测量特征值计算该像素所述的分块，具体可以根据测量特征值、该测量特征值对应的最小测量值以及该测量特征值在进行预设数量等分过程中每一份的间隔值，确定该异常像素的所述分块。
S505：根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
需要说明的是，根据异常像素点对应的扩展周期数计算该异常像素点对应的实际测量值，并将该实际测量值替换至运动模糊图像，以实现运动模糊图像的修复。
在一些实施例中，所述根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像，可以包括：
根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；
根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
需要说明的是，在进行异常像素点对应的目标距离值的计算时，需要对运动模糊图像中的每一个异常像素点进行计算，并用计算得到的目标距离值替代原本的异常像素，以实现运动模糊图像的修复。
还需要说明的是，在一些实施例中，目标距离即为目标测量值，在进行目标距离的计算过程中，可以采用当前频率的最大测量距离、该频率对应的扩展周期数进行以及对应的测量距离进行计算。
在一些实施例中，所述根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值，可以包括：
计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；
对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
需要说明的是，在一种具体的实施例中，可以采用
Figure 888851DEST_PATH_IMAGE001
进行计算，其中，
Figure 992942DEST_PATH_IMAGE002
表示当前频率
Figure 241521DEST_PATH_IMAGE003
的最大测量距离；c表示光速，
Figure 105572DEST_PATH_IMAGE004
表示运动模糊修复后的场景真实距离
Figure 139518DEST_PATH_IMAGE005
表示频率
Figure 165243DEST_PATH_IMAGE003
对应的测量距离
Figure 166697DEST_PATH_IMAGE006
表示频率
Figure 568860DEST_PATH_IMAGE003
对应的扩展周期数。
还需要说明的是，利用扩展周期数可以计算出直方图中任意与扩展周期数相关联的测量特征值，在此不作任何限定。
本申请实施例提供了一种像素修复方法，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过构建测量特征值和扩展周期数的直方图，并确定直方图中每一分块的目标扩展周期数，利用每一分块的目标扩展周期数来确定同一分块异常像素点的扩展周期数，从而能够实现对运动模糊图像中异常像素点的修复，使得运动模糊图像变得清晰。
在本申请的另一实施例中，基于前述实施例所述的像素修复方法，提供另一种像素修复方法，对ToF相机双频融合造成的异常像素识别，本发明以双频融合时的运动噪声为例，通过构建幅值（灰度值或其它可描述距离变化的值）-最小融合误差曲线，结合分段线性拟合、曲线拟合或其它可描述所构建曲线特征的拟合，得到融合误差阈值，对双频融合异常像素进行识别，便于后续算法对该区域进行修复。对ToF相机双频融合造成的异常像素，通过同扩展周期值构建直方图的方法（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），获取实际主频正确的扩展周期数，从而修复双频融合造成异常像素。
具体地，在一些实施例中，参见图6，其示出了本申请实施例提供的一种双频融合运动模糊图像，对于该运动模糊图像，以测量值-幅度值-扩展周期值三维直方图的双频运动模糊区域修复为例，该像素修复方法可以包括：
步骤1、TOF相机双频工作下的频率分别为
Figure 221427DEST_PATH_IMAGE007
/
Figure 683632DEST_PATH_IMAGE008
，测量距离为
Figure 906803DEST_PATH_IMAGE009
/
Figure 112656DEST_PATH_IMAGE010
，在实际场景的距离
Figure 870264DEST_PATH_IMAGE004
满足：
Figure 768950DEST_PATH_IMAGE001
（1）
Figure 479417DEST_PATH_IMAGE011
（2）
其中，
Figure 488961DEST_PATH_IMAGE002
表示当前频率
Figure 601274DEST_PATH_IMAGE003
的最大测量距离；
Figure 654549DEST_PATH_IMAGE012
表示当前频率
Figure 852312DEST_PATH_IMAGE013
的最大测量距离；
c表示光速；
Figure 399968DEST_PATH_IMAGE004
表示场景的真实距离；
Figure 632367DEST_PATH_IMAGE005
表示频率
Figure 623587DEST_PATH_IMAGE003
对应的测量距离；
Figure 43068DEST_PATH_IMAGE014
表示频率
Figure 394414DEST_PATH_IMAGE013
对应的测量距离；
Figure 215740DEST_PATH_IMAGE006
表示频率
Figure 876397DEST_PATH_IMAGE003
对应的测量模糊次数；
Figure 783173DEST_PATH_IMAGE015
表示频率
Figure 672632DEST_PATH_IMAGE013
对应的测量模糊次数；
分别对上式中的
Figure 614043DEST_PATH_IMAGE006
和
Figure 944137DEST_PATH_IMAGE015
进行周期扩展，并按下式求得最小融合误差：
Figure 338209DEST_PATH_IMAGE016
（3）
得到如图7所示的最小融合误差图。
步骤2、基于最小融合误差方法获取双频运动模糊区域标记图，以及对应的扩展周期图，其中，模糊区域标记图如图8所示，扩展周期图如图9所示。
步骤3、同扩展周期值构建直方图（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），本发明中以构建测量深度值-测量幅度值-扩展周期数三维直方图（X-测量深度值，Y-幅度值，Z-扩展周期数）为例说明具体步骤，以得到所构建直方图中每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值）。
在一些实施例中，构建直方图的方法可以包括：
1）将当前测量深度值、测量幅度值分别等分为nDistBins和nAmplBins份，每一份的间隔分别为interval_Dist和interval_Ampl；
2）对深度图和幅度图分别求取
Figure 31359DEST_PATH_IMAGE017
（4）
Figure 827276DEST_PATH_IMAGE018
（5）
其中：
Figure 580469DEST_PATH_IMAGE019
表示测量深度值最小值；
Figure 711105DEST_PATH_IMAGE020
表示测量幅度值最小值；
Figure 207945DEST_PATH_IMAGE021
表示深度图等分后对应编号图；
Figure 123949DEST_PATH_IMAGE022
表示幅度图等分后对应编号图；
Figure 782463DEST_PATH_IMAGE023
表示对输入数据取整；
Figure 901860DEST_PATH_IMAGE024
表示当前像素的测量深度值。
3）遍历扩展周期数图，记录当前像素坐标下的深度图编号
Figure 936812DEST_PATH_IMAGE021
、幅度图编号
Figure 707322DEST_PATH_IMAGE022
以及扩展周期数ExtensionCycleNum，跳过有异常标记的像素点，构建测量深度值-测量幅度值-扩展周期数三维直方图。
遍历测量深度值-测量幅度值-扩展周期数三维直方图，统计直方图每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值），得到最终的直方图，如图10所示；
步骤4、取得步骤1获取的被标记为运动模糊像素点（即前述实施例中的异常像素点），根据所构建直方图所对应值，获取其所处直方图分块下的扩展周期众数（也可以是平均数等可以反映分块大多数扩展周期数的），将获取的众数
Figure 536738DEST_PATH_IMAGE006
作为该像素的扩展周期数；
步骤5、将主频率下的实际测量深度值，按照步骤3获取的扩展周期数，按下述公式进行周期扩展，获取运动模糊区域实际的测量值，以测量距离为例，最终得到像素修复后的双频融合运动模糊图像，参见图11。
Figure 641966DEST_PATH_IMAGE001
（6）
其中，表示当前频率
Figure 480609DEST_PATH_IMAGE003
的最大测量距离；
Figure 840046DEST_PATH_IMAGE004
表示运动模糊修复后的场景真实距离；
Figure 105942DEST_PATH_IMAGE005
表示频率
Figure 937282DEST_PATH_IMAGE003
对应的测量距离；
Figure 314036DEST_PATH_IMAGE006
表示频率
Figure 59138DEST_PATH_IMAGE003
对应的扩展周期数；
c表示光速。
本申请实施例分析了双频融合异常像素产生的原因，并建立了一种对双频融合异常像素修复的方法；跳过有异常标记的像素点，将其它特征同扩展周期值构建直方图（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素）；通过构建的直方图，统计了三维直方图每一个分块（bin）下的扩展周期众数（或其它可描述当前分块多数特征的值）；仅对标记为异常的像素点，将其扩展周期数赋值为上述的众数，双频融合异常像素修复完成。
本申请实施例提供了一种像素修复方法，基于上述实施例对前述实施例的具体实现进行详细阐述，从中可以看出，根据前述实施例的技术方案，本技术方案提出了通过同扩展周期值构建直方图的方法（可以是构建测量值-幅度值-扩展周期值三维直方图、或幅度值-扩展周期值二维直方图、或测量值-扩展周期值二维直方图、或其它可以与扩展周期图组合以描述该类变化的因素），获取实际主频正确的扩展周期数，从而修复双频融合造成异常像素，使得运动模糊图像变得更加清晰。
在本申请的又一实施例中，参见图12，其示出了本申请实施例提供的一种像素修复装置的组成结构示意图。如图12所示，该像素修复装置120可以包括：
获取单元1201，配置为获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
构建单元1202，配置为基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
计算单元1203，配置为根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
确定单元1204，配置为根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
修复单元1205，配置为根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
在一些实施例中，获取单元1201具体配置为获取异常图像；其中，所述异常图像包括若干个像素点；以及根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；以及基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
在一些实施例中，该像素修复装置还包括标记单元1206，配置为在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；以及在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；以及对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；以及基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的第一特征图像和第二特征图像；其中，所述第一特征图像包括若干个像素点对应的第一测量特征值，所述第二特征图像包括若干个像素点对应的第二测量特征值；以及将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为第一预设数量等份，将所述第二测量特征值对应的最大测量值和最小测量值之间的区间划分为第二预设数量等份；以及计算所述第一测量特征值每一等份对应的第一特征编号值，以及计算所述第二测量特征值每一等份对应的第二特征编号值；以及确定所述若干个像素点各自对应的第一特征编号值和第二特征编号值，以及根据所述正常像素点对应的所述第一测量特征值、所述第二测量特征值与所述扩展周期数，构建三维的所述直方图。
在一些实施例中，构建单元1202，具体配置为确定所述运动模糊图像对应的第一特征图像；所述第一特征图像包括若干个像素点对应的第一测量特征值；以及将所述第一测量特征值对应的最大测量值和最小测量值之间的区间划分为预设数量等份，以及计算所述第一测量特征值每一等份对应的特征编号值；以及确定所述若干个像素点各自对应的特征编号值，以及根据所述正常像素点对应的测量特征值与扩展周期数，构建二维的所述直方图。
在一些实施例中，所述测量特征值包括下述至少之一：测量深度值、测量幅度值、测量灰度值。
在一些实施例中，构建单元1202，还配置为在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；以及根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
在一些实施例中，构建单元1202，还配置为在将所述第一测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；以及根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块。
在一些实施例中，计算单元1203，具体配置为确定第一分块中正常像素点对应的扩展周期数；以及根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；以及根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
在一些实施例中，计算单元1203，具体配置为将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
在一些实施例中，修复单元1205，具体配置为根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；以及根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
在一些实施例中，修复单元1205，具体配置为计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；以及对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或processor（处理器）执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有像素修复程序，所述像素修复程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
基于上述像素修复装置120的组成以及计算机存储介质，参见图13，其示出了本申请实施例提供的一种电子设备的具体硬件结构示意图。如图13所示，电子设备130可以包括：通信接口1301、存储器1302和处理器1303；各个组件通过总线系统1304耦合在一起。可理解，总线系统1304用于实现这些组件之间的连接通信。总线系统1304除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统1304。其中，通信接口1301，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器1302，用于存储能够在处理器1303上运行的计算机程序；
处理器1303，用于在运行所述计算机程序时，执行：
获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像。
可以理解，本申请实施例中的存储器1302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDRSDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步链动态随机存取存储器（Synchronous link DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DRRAM）。本文描述的系统和方法的存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器1303可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302，处理器1303读取存储器1302中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路（ApplicationSpecific Integrated Circuits，ASIC）、数字信号处理器（Digital Signal Processing，DSP）、数字信号处理设备（DSP Device，DSPD）、可编程逻辑设备（Programmable LogicDevice，PLD）、现场可编程门阵列（Field- Programmable Gate Array，FPGA）、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块（例如过程、函数等）来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器1303还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。
在一些实施例中，参见图14，其示出了本申请实施例提供的一种电子设备130的组成结构示意图。如图14所示，该电子设备130至少包括前述实施例中任一项所述的像素修复装置120。
在本申请实施例中，对于电子设备130而言，获取运动模糊图像，运动模糊图像包括异常像素点和正常像素点；基于运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，直方图包括至少一个分块；根据每一个分块的扩展周期数分布，计算直方图中每一个分块对应的目标扩展周期数；根据异常像素点对应的测量特征值确定异常像素点所属的第一分块，并将第一分块对应的目标扩展周期数确定为异常像素点对应的扩展周期数；根据异常像素点的扩展周期数对运动模糊图像进行像素修复，确定修复后图像。这样，通过对运动模糊图像中正常像素点对应的扩展周期数确定同一分块异常像素点的扩展周期数，以实现运动模糊图像异常像素点的修复。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种像素修复方法，其特征在于，所述方法包括：
获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像；
其中，所述根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像，包括：
根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；
根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
2.根据权利要求1所述的方法，其特征在于，所述获取运动模糊图像，包括：
获取异常图像；其中，所述异常图像包括若干个像素点；
根据所述异常图像在第一频率下的测量距离值和在第二频率下的测量距离值，计算最小融合误差值；
基于所述最小融合误差值对所述异常图像进行模糊区域标记，得到所述运动模糊图像；其中，在所述运动模糊图像中，所述若干个像素点被划分为异常像素点和正常像素点。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在第一像素点的最小融合误差值大于预设阈值的情况下，将所述第一像素点确定为异常像素点；
在第一像素点的最小融合误差值小于或者等于预设阈值的情况下，将所述像素点确定为正常像素点；
其中，所述第一像素点为所述若干个像素点中的任意一个像素点。
4.根据权利要求2所述的方法，其特征在于，所述基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图，包括：
确定所述运动模糊图像对应的至少一类测量特征值；其中，每一个所述正常像素点对应各自的测量特征值；
对于每一类测量特征值，将所述测量特征值的最大测量值和最小测量值之间的区间划分为预设数量的子区间；
基于所述正常像素点的测量特征值所属的子区间及扩展周期数，构建所述直方图。
5.根据权利要求4所述的方法，其特征在于，所述测量特征值包括下述至少之一：测量深度值、测量幅度值、测量灰度值。
6.根据权利要求4所述的方法，其特征在于，所述测量特征值包括第一测量特征值和第二测量特征值，所述方法还包括：
在将所述第一测量特征值划分为第一预设数量等份，将所述第二测量特征值划分为第二预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的第一特征编号值和第二特征编号值，确定所述若干个像素点各自所属的分块。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在将所述第一测量特征值划分为预设数量等份后，得到所述直方图中包括的至少一个分块；
根据所述若干个像素点各自对应的特征编号值，确定所述若干个像素点各自所属的分块。
8.根据权利要求1所述的方法，其特征在于，所述根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数，包括：
确定第一分块中正常像素点对应的扩展周期数；
根据所述第一分块中正常像素点对应的扩展周期数，组成所述第一分块对应的扩展周期集；
根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数；
其中，所述第一分块为所述直方图中至少一个分块的任意一个分块。
9.根据权利要求8所述的方法，其特征在于，所述根据所述扩展周期集，确定所述第一分块对应的目标扩展周期数，包括：
将所述扩展周期集的众数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的中位数作为所述第一分块对应的目标扩展周期数；或者，
将所述扩展周期集的平均数作为所述第一分块对应的目标扩展周期数。
10.根据权利要求1所述的方法，其特征在于，所述根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值，包括：
计算所述异常像素点的扩展周期数与当前频率下最大测量距离的乘积；
对所述乘积和当前频率下测量距离进行求和计算，将计算得到的和值确定为所述目标距离值。
11.一种像素修复装置，其特征在于，所述像素修复装置包括：
获取单元，配置为获取运动模糊图像，所述运动模糊图像包括异常像素点和正常像素点；
构建单元，配置为基于所述运动模糊图像中正常像素点对应的测量特征值与扩展周期数，构建直方图；其中，所述直方图包括至少一个分块；
计算单元，配置为根据每一个分块的扩展周期数分布，计算所述直方图中每一个分块对应的目标扩展周期数；
确定单元，配置为根据所述异常像素点对应的测量特征值确定所述异常像素点所属的第一分块，并将所述第一分块对应的目标扩展周期数确定为所述异常像素点对应的扩展周期数；
修复单元，配置为根据所述异常像素点的扩展周期数对所述运动模糊图像进行像素修复，确定修复后图像；
其中，所述修复单元，具体配置为根据所述异常像素点的扩展周期数，计算所述异常像素点对应的目标距离值；以及根据所述异常像素点对应的目标距离值对所述运动模糊图像中的异常像素点进行像素修复，得到所述修复后图像。
12.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如权利要求1至10任一项所述的方法。
13.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1至10任一项所述的方法。
CN202210795991.1A 2022-07-07 2022-07-07 一种像素修复方法、装置、设备以及计算机存储介质 Active CN114881894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210795991.1A CN114881894B (zh) 2022-07-07 2022-07-07 一种像素修复方法、装置、设备以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210795991.1A CN114881894B (zh) 2022-07-07 2022-07-07 一种像素修复方法、装置、设备以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114881894A CN114881894A (zh) 2022-08-09
CN114881894B true CN114881894B (zh) 2022-09-30

Family

ID=82683712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210795991.1A Active CN114881894B (zh) 2022-07-07 2022-07-07 一种像素修复方法、装置、设备以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114881894B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313587A (zh) * 2010-07-09 2012-01-11 罗斯蒙特储罐雷达股份公司 距离测量设备及其校准方法
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
CN109788216A (zh) * 2018-12-26 2019-05-21 武汉市聚芯微电子有限责任公司 用于tof的抗干扰方法、装置及tof传感器芯片
CN109840912A (zh) * 2019-01-02 2019-06-04 厦门美图之家科技有限公司 一种图像中异常像素的修正方法及计算设备
CN110361751A (zh) * 2019-06-14 2019-10-22 深圳奥比中光科技有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
CN110609291A (zh) * 2019-08-30 2019-12-24 深圳奥锐达科技有限公司 用于时间编码时间飞行距离测量的系统及方法
CN111538024A (zh) * 2020-03-24 2020-08-14 深圳奥比中光科技有限公司 一种滤波ToF深度测量方法及装置
CN112601972A (zh) * 2018-08-17 2021-04-02 感觉光子公司 通过无模糊范围切换增大飞行时间系统范围的方法及系统
US10972638B1 (en) * 2019-08-23 2021-04-06 Zoox, Inc. Glare correction in sensors
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质
CN113256539A (zh) * 2021-07-01 2021-08-13 武汉市聚芯微电子有限责任公司 深度图像的去混叠方法、装置、设备及计算机存储介质
CN113281726A (zh) * 2021-07-21 2021-08-20 武汉市聚芯微电子有限责任公司 一种误差标定方法及装置、存储介质
CN113740870A (zh) * 2021-08-05 2021-12-03 珠海视熙科技有限公司 一种多频融合ToF的测距方法、系统、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6675061B2 (ja) * 2014-11-11 2020-04-01 パナソニックＩｐマネジメント株式会社 距離検出装置及び距離検出方法
LU92688B1 (en) * 2015-04-01 2016-10-03 Iee Int Electronics & Eng Sa Method and system for real-time motion artifact handling and noise removal for tof sensor images
JP7362265B2 (ja) * 2019-02-28 2023-10-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11348212B2 (en) * 2019-08-09 2022-05-31 The Boeing Company Augmented contrast limited adaptive histogram equalization
TWI793778B (zh) * 2020-12-04 2023-02-21 神盾股份有限公司 飛時測距裝置以及飛時測距方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313587A (zh) * 2010-07-09 2012-01-11 罗斯蒙特储罐雷达股份公司 距离测量设备及其校准方法
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
CN112601972A (zh) * 2018-08-17 2021-04-02 感觉光子公司 通过无模糊范围切换增大飞行时间系统范围的方法及系统
CN109788216A (zh) * 2018-12-26 2019-05-21 武汉市聚芯微电子有限责任公司 用于tof的抗干扰方法、装置及tof传感器芯片
CN109840912A (zh) * 2019-01-02 2019-06-04 厦门美图之家科技有限公司 一种图像中异常像素的修正方法及计算设备
CN110361751A (zh) * 2019-06-14 2019-10-22 深圳奥比中光科技有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
US10972638B1 (en) * 2019-08-23 2021-04-06 Zoox, Inc. Glare correction in sensors
CN110609291A (zh) * 2019-08-30 2019-12-24 深圳奥锐达科技有限公司 用于时间编码时间飞行距离测量的系统及方法
CN111538024A (zh) * 2020-03-24 2020-08-14 深圳奥比中光科技有限公司 一种滤波ToF深度测量方法及装置
CN113256539A (zh) * 2021-07-01 2021-08-13 武汉市聚芯微电子有限责任公司 深度图像的去混叠方法、装置、设备及计算机存储介质
CN113238215A (zh) * 2021-07-09 2021-08-10 武汉市聚芯微电子有限责任公司 一种测距方法及ToF测距装置、存储介质
CN113281726A (zh) * 2021-07-21 2021-08-20 武汉市聚芯微电子有限责任公司 一种误差标定方法及装置、存储介质
CN113740870A (zh) * 2021-08-05 2021-12-03 珠海视熙科技有限公司 一种多频融合ToF的测距方法、系统、装置及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Analysis of Errors in ToF Range Imaging With Dual-Frequency Modulation;A. P. P. Jongenelen et al.;《IEEE Transactions on Instrumentation and Measurement》;20110317;第60卷(第5期);第1861-1868页 *
High speed object detection with a single photon time of flight image sensor;Alex Turpin et al.;《Optics express》;20210731;第29卷(第21期);第33184-33196页 *
异常检测（二）——传统统计学方法;许志辉Albert;《https://www.jianshu.com/p/9e2fc3dae852》;20210113;第1-9页 *

Also Published As

Publication number Publication date
CN114881894A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN108496059B (zh) 一种惯量传感器的校正方法、装置、终端设备和存储介质
CN107851196B (zh) 一种图像模式匹配的方法及装置
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN109005368B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
Ttofis et al. Edge-directed hardware architecture for real-time disparity map computation
US20150332467A1 (en) Method for Determining Depth Maps from Stereo Images with Improved Depth Resolution in a Range
CN108122280A (zh) 一种三维点云的重建方法及装置
US11657485B2 (en) Method for expanding image depth and electronic device
CN110853094B (zh) 一种目标位置的阈值确定方法、装置、设备及存储介质
JP2021086616A (ja) ランダムサンプリング一貫性に基づく魚眼画像の有効領域抽出方法
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN109691185B (zh) 一种定位方法、装置、终端和可读存储介质
CN114881894B (zh) 一种像素修复方法、装置、设备以及计算机存储介质
EP2927635B1 (en) Feature set optimization in vision-based positioning
CN116630442B (zh) 一种视觉slam位姿估计精度评估方法及装置
CN110673114B (zh) 校准三维相机深度的方法、装置、计算机装置及存储介质
CN114080626A (zh) 确定第一图像区域在对应图像中的位置的方法、执行该方法的SoC和控制设备和系统以及计算机程序
CN114913500B (zh) 位姿确定方法、装置、计算机设备和存储介质
CN106651932B (zh) 基于多尺度梯度差值的单幅图像散焦模糊估计算法
CN114881908B (zh) 一种异常像素识别方法、装置、设备以及计算机存储介质
CN114359338A (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN112837349A (zh) 一种目标跟踪方法、设备及计算机可读存储介质
CN115994955B (zh) 相机外参标定方法、装置和车辆
CN112884818B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN117523010B (zh) 车辆的相机位姿确定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant