CN101924878B - 图像处理设备、介质和方法 - Google Patents

图像处理设备、介质和方法 Download PDF

Info

Publication number
CN101924878B
CN101924878B CN201010177672.1A CN201010177672A CN101924878B CN 101924878 B CN101924878 B CN 101924878B CN 201010177672 A CN201010177672 A CN 201010177672A CN 101924878 B CN101924878 B CN 101924878B
Authority
CN
China
Prior art keywords
pixel
depth value
frame depth
weighting
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010177672.1A
Other languages
English (en)
Other versions
CN101924878A (zh
Inventor
林和燮
姜柄敏
金成珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101924878A publication Critical patent/CN101924878A/zh
Application granted granted Critical
Publication of CN101924878B publication Critical patent/CN101924878B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种图像处理设备、介质和方法。所述图像处理设备可包括第一计算器和第二计算器。第一计算器可基于深度图像的第一像素多个帧深度值中的第一像素的第一帧深度值和第一像素的第二帧深度值之间的获得时间差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权。第二计算器可使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和来确定第一像素的校正的第一帧深度值。

Description

图像处理设备、介质和方法
本申请要求于2009年6月9日在韩国知识产权局提交的第10-2009-0050877号韩国专利申请的利益，该申请的公开通过引用包含于此。
技术领域
一个或多个实施例涉及一种图像处理设备和方法，所述图像处理设备和方法可去除用于获得深度图像的深度相机的噪声，并提供具有减少的噪声的深度图像。
背景技术
当前，在各种应用中广泛使用关于三维(3D)图像的信息。通常，3D图像包括几何信息和颜色信息。可通过使用相机来获得颜色信息，所述相机采用电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器。可通过使用深度相机来获得几何信息。
深度相机可通过以下操作产生深度图像：向对象发射诸如红外(IR)光的光，使用传感器感测反射光线，并测量飞行时间(TOF)，所述TOF是发射的光被对象反射所花费的时间。
用于深度相机的深度传感器的TOF可容易地受深度传感器的电和/或热噪声以及环境光源和材料的特性的影响。因此，由深度相机产生的深度图像的深度值可受噪声的影响。所述噪声可劣化3D建模的质量。
可通过使用各种方案来去除噪声。根据现有方案，可通过计算深度图像的平均值来去除噪声，其中，通过对相同对象执行多次测量来获得所述深度图像的平均值。
现有方案对统计对象可具有相对较好的特性，而现有方案对动态对象可引起变形，例如，运动模糊。
发明内容
根据一个或多个实施例的一方面，可提供一种图像处理设备，所述图像处理设备包括：第一计算器，基于深度图像的第一像素的第一帧深度值和第一像素的第二帧深度值之间的获得时间差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和第二计算器，使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
随着获得时间差变得越大，第一计算器可将第一加权和第二加权的差调整的越大。
随着获得时间差变得越大，第一计算器可将第二加权与第一加权的比调整的越小。
随着获得时间差变得越大，第一计算器可沿高斯曲线分布将第二加权与第一加权的比调整的越小。
所述图像处理设备还可包括第三计算器，所述第三计算器基于第一像素的第一帧深度值和第一像素的第二帧深度值的差来再次调整计算的第一加权和第二加权。
第二计算器可使用通过将再次调整的第一加权应用于第一像素的第一帧深度值并将再次调整的第二加权应用于第一像素的第二帧深度值所计算的线性值，来确定第一像素的校正的第一帧深度值。
随着深度值差变得越大，第二计算器可将第一加权和第二加权的差调整的越大。
随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第三计算器可将第二加权与第一加权的比再次调整的越小。
随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第三计算器可沿高斯曲线分布将第二加权与第一加权的比再次调整的越小。
根据一个或多个实施例的另一方面，可提供一种图像处理设备，所述图像处理设备可包括：第一计算器，基于深度图像的第一像素的第一帧深度值和第一像素的第二帧深度值的差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和第二计算器，使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
随着深度值差变得越大，第一计算器可将第一加权和第二加权的差调整的越大。
随着第一像素的第一帧深度值和第一像素的第二深度值的差变得越大，第一计算器可将第二加权与第一加权的比调整的越小。
随着第一像素的第一帧深度值和第一像素的第二深度值的差变得越大，第一计算器可沿高斯曲线分布将第二加权与第一加权的比调整的越小。
根据一个或多个实施例的又一方面，可提供一种图像处理方法，所述图像处理方法可包括：基于深度图像的第一像素的第一帧深度值和第一像素的第二帧深度值之间的获得时间差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；以及使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
随着获得时间差变得越大，可将第二加权与第一加权的比调整的越小，并沿高斯曲线分布将第二加权与第一加权的比进一步调整的更小。
所述图像处理方法还可包括：基于第一像素的第一帧深度值和第一像素的第二帧深度值的差来再次调整计算的第一加权和第二加权。
确定校正的第一帧深度值的步骤可包括：使用通过将再次调整的第一加权应用于第一像素的第一帧深度值并将再次调整的第二加权应用于第一像素的第二帧深度值所计算的线性值，来确定第一像素的校正的第一帧深度值。
随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，可将第二加权与第一加权的比再次调整的越小，并沿高斯曲线分布将第二加权与第一加权的比进一步调整的更小。
根据一个或多个实施例的又一方面，可提供一种图像处理方法，所述图像处理方法可包括：基于深度图像的第一像素的第一帧深度值和第一像素的第二帧深度值的差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；以及使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，可将第二加权与第一加权的比调整的越小，并沿高斯曲线分布将第二加权与第一加权的比进一步调整的更小。
根据一个或多个实施例的又一方面，可提供一种图像处理方法，所述图像处理方法包括：计算与两个帧深度值相应的两个加权，每个加权基于所述两个帧深度值的获得时间差，所述帧深度值是相同像素的不同帧深度值；通过将每个加权应用于帧深度值中相应的一个来校正至少一个帧深度值。
根据一个或多个实施例的又一方面，可提供一种校正深度图像中的帧深度值的方法，所述方法包括：计算与深度图像中的相同像素的不同帧深度值相应的加权，每个加权基于不同帧深度值之间的时间差；将每个加权应用于帧深度值中相应的一个。
实施例的其他方面、特征和/或优点在下面的描述中被部分地阐述，部分根据描述是显而易见的，或可通过实施公开而获知。
附图说明
专利或申请文件包含彩色绘制的至少一个附图。具有彩色附图的本专利或专利申请公开的附件将应请求并付必要费用由官方提供。
从下面结合附图对实施例的描述，这些和/或其他方面和优点将变得清楚，并更容易理解，其中：
图1示出根据实施例的图像处理设备的结构；
图2示出根据实施例的输入到图像处理设备的帧的深度图像；
图3示出绘制根据实施例的输入到图像处理设备的图2的特定像素的测量的深度值的曲线；
图4示出绘制使用传统时间平均滤波器处理与图3的曲线相应的深度值的结果的曲线；
图5示出绘制根据实施例的时间加权的改变相对于帧深度值之间的获得时间差的曲线；
图6示出绘制根据实施例的范围加权的改变相对于帧深度值之差的曲线；
图7示出绘制根据实施例的处理与图3的曲线相应的深度值的结果的曲线；以及
图8示出根据实施例的图像处理方法的流程图。
具体实施方式
现在将详细描述实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。下面将通过参照附图描述实施例以解释本公开。
图1示出根据实施例的图像处理设备100的结构。
图像处理设备100可接收关于从深度相机101提供的特定像素的多个帧深度图像或多个帧深度值，并可将接收的多个帧深度图像或帧深度值存储在缓冲存储器110中。
图像处理设备100可包括计算设备120，所述计算设备120包括：时间加权计算器121，计算时间加权；范围加权计算器122，计算范围加权；和校正的深度值计算器123，计算校正的深度值。
为了校正第一像素的第一帧深度值，时间加权计算器121可计算将被应用于第一像素的至少一个第二帧深度值中的每一个的时间加权。可基于帧之间的获得时间差来应用时间加权。
当第一像素的第一帧深度值是d(i，j，t)，并且第二帧深度值是d(i，j，t-k)时，时间加权计算器121可把将被应用于第二帧的加权确定为：k越大，加权值越小。这里，k是实数，并且k表示帧之间的获得时间差。
根据实施例，随着k增加，时间加权可成指数减小。具体地讲，时间加权可沿高斯曲线分布减小。稍后将参照图5详细描述时间加权计算器121的操作。
为了校正第一像素的第一帧深度值，范围加权计算器122可计算将被应用于第一像素的至少一个第二帧深度值中的每一个的范围加权。可基于深度值差来应用所述范围值。
根据实施例，随着d(i，j，t)和d(i，j，t-k)之间的差变得更大，范围加权比可成指数减小，并且还可沿高斯曲线分布减小。将参照图6进一步详细地描述范围加权计算器122计算范围加权的处理。
校正的深度值计算器123可通过应用计算的时间加权和/或范围加权使用第一像素的第一深度值和第一像素的至少一个第二帧深度值的线性和来计算第一像素的校正的第一帧深度值。
将参照图6和图7详细描述校正的深度值计算器123的操作。
图2示出根据实施例的输入到图像处理设备的帧的深度图像210、220和230。
这里，假设在t＝20从与颜色图像201相应的对象空间获得深度图像210，在t＝30从与颜色图像202相应的对象空间获得深度图像220，在t＝40从与颜色图像203相应的对象空间获得深度图像230。
深度图像210、220和230与关于相同对象空间在不同时间点获得的多个深度图像帧相应。
当深度图像210的区域211、深度图像220的区域221和深度图像230的区域231进行比较时，可看出，深度图像210、220和230中包括的像素受噪声影响。
可选择多个深度图像210、220和230中的任何一个深度图像的特定像素。例如，可选择深度图像230的特定像素。
这里，假设选择了在t＝40获得的深度图像230内的用“X”标记的第一像素232。在这种情况下，第一像素232可与在t＝20获得的深度图像210内的用“X”标记的像素212相应。另外，第一像素232可与在t＝30获得的深度图像220内的用“X”标记的像素222相应。
在图3中可显示绘制随时间测量的第一像素232的深度值的示例性曲线。
图3示出绘制根据实施例的输入到图像处理设备的图2的第一像素232的测量的深度值的曲线。
在图3中，横轴表示测量相应深度值的时间，纵轴表示测量的深度值。因此，当观察深度值的图案时，可验证噪声影响。
从所述曲线可看出，深度值在大约t＝25处显著增加。在与t＜25相应的深度值和与t＞25相应的深度值之间存在较大的差。可确定，该较大的差是由于对象运动而出现的。
再参照图2，t＝20处的像素212的深度值与作为对象的人的手相应。由于手移动，所以在t＝30的像素222或在t＝40的第一像素232对应于背景。因此，在图3的曲线中，深度值大约在t＝25处显著增加。
在传统技术中，通过简单计算多个帧深度图像值的平均值以去除深度图像中的噪声，来提供校正的或去除噪声的深度图像值。
例如，使当前深度值为d(i，j，t)。这里，i和j表示用于识别深度图像内的特定像素的行值和列矢量。另外，t表示当前时间。
传统的平均时间滤波方案可通过使用不包括当前帧的多帧(例如，两帧)的深度值来校正当前帧的深度值。
当用d(i，j，t-k1)和d(i，j，t-k2)来表示先前帧的深度值时，平均时间滤波方案可通过将相同的加权应用于当前帧深度值d(i，j，t)以及先前帧深度值d(i，j，t-k1)和d(i，j，t-k2)来计算校正的深度值d’(i，j，t)。
具体地讲，根据下面的等式来执行这种传统的平均时间滤波方案：
d’(i，j，t)＝1/3×(d(i，j，t)+d(i，j，t-k1)+d(i，j，t-k2))。
当对象为无运动状态(即，静止状态)时，平均时间滤波方案可相对较好地去除噪声。
然而，当对象为如图2所示的动态状态时，在深度值之间可出现模糊，由此深度值可变形。该现象可被称为运动模糊。
图4示出绘制使用传统时间平均滤波器处理与图3的曲线相应的深度值的结果的曲线。
可看出，在曲线的部分410中出现了运动模糊。提供了时间平均滤波方案，从而用当前帧的深度值来校正先前帧的深度值。然而，在图2中，由于在大约t＝25处的对象的运动，导致第一像素232的深度值显著改变。
由于相同的加权(例如，在以上示例中的1/3)被应用于将在用于噪声去除的计算中使用的先前帧的深度值，所以运动模糊现象可频繁出现。
根据实施例，可将不同的加权应用于将在用于噪声去除的计算中使用的先前帧的深度值。
例如，因为获得先前帧的深度值的时间点在时间上与获得当前帧的深度值的时间点相距很远，所以可应用较小的加权。具体地讲，假设随着帧之间的获得时间差变得越大，相关性就越小。以下，前面提到的方案被称为自适应时间加权或时间加权。
将进一步参照图5详细描述实施例。
另外，随着先前帧的深度值和当前帧的深度值之间的差变得越大，越小的加权可单独应用，或可与时间加权一起被应用。具体地讲，假设随着深度值的差变得越大，深度值可由于对象的实际状态改变而改变，这与由于噪声导致的改变相反。由于已知噪声具有白高斯特性，所以以上假设会是合理的。
将进一步参照图6详细地描述实施例。
图5示出绘制根据实施例的时间加权的改变相对于帧深度值之间的获得时间差的曲线。
这里，假设第一像素的当前帧深度值是d(i，j，t)，第一像素的先前帧深度值是d(i，j，t-k)。这里，k为实数，并表示帧之间的获得时间差。
向具有较大k的先前帧分配较小的加权。因此，时间上邻近帧的深度值可被进一步反映在第一像素的深度值中。
在图5中，横轴表示获得时间差k，纵轴表示先前帧深度值的加权与当前深度值的加权的时间加权比，即，第二加权与第一加权的时间加权比。
根据实施例，随着k增加，时间加权比可按指数减小，还可沿高斯曲线分布减小。在这种情况下，可根据下面的等式1计算将被应用于先前帧深度值d(i，j，t-k)的加权F(t，t-k)：
等式1：
F(t，t-k1)＝exp(-σt×k1 2)/(∑exp(-σt×kn 2))
这里，σt为正实数，并表示衰减系数。
另外，在该等式中，∑exp(-σt×kn 2)可关于包括当前帧的n帧正规化F(t，t-k)。因此，可满足等式∑F(t，t-k)＝1。
当将以上等式1与图5的曲线进行比较时，横轴表示获得时间差k，纵轴表示F(t，t-k)。
图6示出绘制根据实施例的范围加权的改变相对于帧深度值之差的曲线。
如图5所示，假设第一像素的当前帧深度值是d(i，j，t)，第一像素的先前帧深度值是d(i，j，t-k)。这里，k为实数，并表示帧之间的获得时间差。
根据实施例，随着d(i，j，t)和d(i，j，t-k)之间的差变得越大，范围加权比可按指数减小，还可沿高斯曲线分布减小。在这种情况下，可根据下面的等式2计算将被应用于d(i，j，t-k)的加权G(d(i，j，t)，d(i，j，t-k))。
等式2：
G(d(i，j，t)，d(i，j，t-k1))＝
exp(-σR×(d(i，j，t)-d(i，j，t-k1))2)/(∑exp(-σR×(d(i，j，t)-d(i，j，t-kn))2)
这里，σR为正实数，表示衰减系数。另外，这里，分母∑exp(-σR×(d(i，j，t)-d(i，j，t-kn))2可关于包括当前帧的n帧来正规化加权G(d(i，j，t)-d(i，j，t-k1))。因此，可满足等式∑G(d(i，j，t)，d(i，j，t-k))＝1。
当将以上等式与图6的曲线进行比较时，横轴表示获得时间深度值的差d(i，j，t)-d(i，j，t-k1)，纵轴表示G(d(i，j，t)，d(i，j，t-k)。
根据实施例，可通过将范围加权和时间加权相乘来获得最终加权。另外，可通过应用范围加权或时间加权来计算第一像素值。
如下面的等式3所给出的，可通过应用范围加权和时间加权二者来计算第一像素的校正的深度：
等式3：
d ′ ( i , j , t ) = Σ k = 0 n - 1 F ( t , t - k ) G ( d ( i , j , t ) , d ( i , j , t - k ) ) d ( i , j , t - k ) Σ k = 0 n - 1 F ( t , t - k ) G ( d ( i , j , t ) , d ( i , j , t - k ) )
这里，d(i，j，t)表示作为当前帧的第一帧的第一像素的校正前的深度值，d’(i，j，t)表示第一像素的校正后的深度值。
另外，d(i，j，t-k)表示关于第一帧具有获得时间差k的第二帧的深度值，F(t，t-k)表示将被应用于第二帧的深度值的时间加权，G(d(i，j，t)，d(i，j，t-k)表示将被应用于第二帧的深度值的范围加权。以上参照上面的等式1和等式2描述了范围加权和时间加权，因此，将省略对其的进一步描述。
参照上面的等式3，当通过校正第一像素的第一帧深度值d(i，j，t)来校正新深度值d(i，j，t)时，可使用另一帧深度值(例如，在与第一深度值不同的时间点获得的至少一个第二帧深度值d(i，j，t-k))基于加权的深度值的线性和来计算校正的深度值。
随着第一帧深度值和第二帧深度值之间的获得时间差k变得越大，将被乘以d(i，j，t-k)的时间加权F(t，t-k)可越小。例如，如在图5中，随着k增加，时间加权可沿高斯曲线分布减小。
随着第一帧深度值d(i，j，t)和第二帧深度值d(i，j，t-k)变得越大，将被乘以d(i，j，t-k)的范围加权G(d(i，j，t)，d(i，j，t-k))可越小。例如，如在图6中，随着k增加，范围加权可沿高斯曲线分布减小。
图7示出绘制根据实施例的使用以上等式3处理与图3的曲线相应的深度值的结果的曲线。
从曲线可看出，第一像素的校正的深度值显示了由于减小的噪声所引起的平滑特性。还可看出，在大约t＝25处(即，在对象运动改变的部分710中)运动模糊显著减小。
图8示出根据实施例的图像处理方法的流程图。
在操作S810，可将从多个帧深度图像提取的第一像素的多个帧深度值输入到图像处理设备，其中，从深度相机获得所述多个帧深度图像。
在操作S820，可计算将被应用于第一像素的多个帧深度值的时间加权。
可使用以上等式1来计算时间加权。另外，可通过仅应用时间加权来校正第一像素的第一帧深度值。
另外，可通过应用范围加权代替时间加权，或通过应用时间加权和范围加权二者，来校正第一像素的第一帧深度值。
在操作S830，可计算将被应用于第一像素的多个帧深度值的范围加权。
可通过使用以上等式2来计算范围加权。
在操作S840，可通过应用计算的时间加权和/或范围加权来计算新深度值，该新深度值是第一像素的校正的第一帧深度值。以上参照上面的等式3描述了计算第一像素的校正的第一帧深度值的处理。
根据实施例，在对第一像素执行了操作S810至操作S840之后，可对第一帧内的其他像素反复执行操作S810至操作S840。
即使以上示例描述了可对多个像素顺序执行噪声去除处理，但可并行执行噪声去除处理。在这种情况下，可采用关于深度值的矩阵计算。
还可通过介质(例如，计算机可读介质)中/上的计算机可读代码/指令来实现根据以上描述的实施例的图像处理方法，以控制至少一个处理元件来实现以上描述的实施例。所述介质可对应于允许存储和/或传输计算机可读代码的任何介质。
所述计算机可读代码可按各种方式被记录/传送到介质上，所述介质的示例包括记录介质，例如，磁性存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和传输介质(例如，携带或包括载波的介质以及互联网元素)。因此，例如，根据本发明的实施例，所述介质可以是这种包括或携带信号或信息的定义和可测量的结构，俩如携带比特流的装置。所述介质还可是分布式网络，从而计算机可读代码以分布式方式被存储/传送和执行。此外，仅作为示例，处理元件可包括处理器或计算机处理器，处理器元件可分布和/或包括在单个装置中。
尽管已显示和描述了若干实施例，但本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在这些实施例中进行改变。

Claims (23)

1.一种图像处理设备，包括：
第一计算器，基于第一三维图像的第一深度图像的第一像素的第一帧深度值和第二三维图像的第二深度图像的第一像素的第二帧深度值之间的获得时间差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和
第二计算器，使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
2.如权利要求1所述的图像处理设备，其中，随着获得时间差变得越大，第一计算器将第一加权和第二加权的差调整的越大。
3.如权利要求1所述的图像处理设备，其中，随着获得时间差变得越大，第一计算器将第二加权与第一加权的比调整的越小。
4.如权利要求3所述的图像处理设备，其中，随着获得时间差变得越大，第一计算器沿高斯曲线分布将第二加权与第一加权的比调整的越小。
5.如权利要求1所述的图像处理设备，还包括：
第三计算器，基于第一像素的第一帧深度值和第一像素的第二帧深度值的差来再次调整计算的第一加权和第二加权，
其中，第二计算器使用通过将再次调整的第一加权应用于第一像素的第一帧深度值并将再次调整的第二加权应用于第一像素的第二帧深度值所计算的线性值，来确定第一像素的校正的第一帧深度值。
6.如权利要求5所述的图像处理设备，其中，随着深度值差变得越大，第二计算器将第一加权和第二加权的差调整的越大。
7.如权利要求5所述的图像处理设备，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第三计算器将第二加权与第一加权的比再次调整的越小。
8.如权利要求7所述的图像处理设备，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第三计算器沿高斯曲线分布将第二加权与第一加权的比再次调整的越小。
9.一种图像处理设备，包括：
第一计算器，基于第一三维图像的第一深度图像的第一像素的第一帧深度值和第二三维图像的第二深度图像的第一像素的第二帧深度值的差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和
第二计算器，使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
10.如权利要求9所述的图像处理设备，其中，随着深度值差变得越大，第一计算器将第一加权和第二加权的差调整的越大。
11.如权利要求9所述的图像处理设备，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第一计算器将第二加权与第一加权的比调整的越小。
12.如权利要求11所述的图像处理设备，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，第一计算器沿高斯曲线分布将第二加权与第一加权的比调整的越小。
13.一种图像处理方法，包括：
基于第一三维图像的第一深度图像的第一像素的第一帧深度值和第二三维图像的第二深度图像的第一像素的第二帧深度值之间的获得时间差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和
使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
14.如权利要求13所述的图像处理方法，其中，随着获得时间差变得越大，将第二加权与第一加权的比调整的越小。
15.如权利要求14所述的图像处理方法，其中，随着获得时间差变得越大，沿高斯曲线分布将第二加权与第一加权的比调整的越小。
16.如权利要求13所述的图像处理方法，还包括：
基于第一像素的第一帧深度值和第一像素的第二帧深度值的差来再次调整计算的第一加权和第二加权，
其中，使用通过将再次调整的第一加权应用于第一像素的第一帧深度值并将再次调整的第二加权应用于第一像素的第二帧深度值所计算的线性值，来确定第一像素的校正的第一帧深度值。
17.如权利要求16所述的图像处理方法，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，将第二加权与第一加权的比再次调整的越小。
18.如权利要求17所述的图像处理方法，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，沿高斯曲线分布将第二加权与第一加权的比再次调整的越小。
19.一种图像处理方法，包括：
基于第一三维图像的第一深度图像的第一像素的第一帧深度值和第二三维图像的第二深度图像的第一像素的第二帧深度值的差来计算第一像素的第一帧深度值的第一加权和第一像素的第二帧深度值的第二加权，所述第一像素的第一帧深度值和第一像素的第二帧深度值是在第一像素的多个帧深度值之中；和
使用通过将第一加权应用于第一像素的第一帧深度值并将第二加权应用于第一像素的第二帧深度值所计算的线性和，来确定第一像素的校正的第一帧深度值。
20.如权利要求19所述的图像处理方法，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，将第二加权与第一加权的比调整的越小。
21.如权利要求20所述的图像处理方法，其中，随着第一像素的第一帧深度值和第一像素的第二帧深度值的差变得越大，沿高斯曲线分布将第二加权与第一加权的比调整的越小。
22.一种图像处理方法，包括：
分别计算与三维图像的两个帧深度值相应的两个加权，每个加权是基于所述两个帧深度值的获得时间差，所述帧深度值是相同像素的不同帧深度值；以及
通过将每个加权应用于所述帧深度值中相应的一个帧深度值来校正所述帧深度值中的至少一个。
23.一种校正深度图像中的帧深度值的方法，所述方法包括：
分别计算与三维图像的深度图像中相同像素的不同帧深度值相应的加权，每个加权基于不同帧深度值之间的时间差；以及
将每个加权应用于帧深度值中相应的一个帧深度值。
CN201010177672.1A 2009-06-09 2010-05-11 图像处理设备、介质和方法 Expired - Fee Related CN101924878B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090050877A KR101590767B1 (ko) 2009-06-09 2009-06-09 영상 처리 장치 및 방법
KR10-2009-0050877 2009-06-09

Publications (2)

Publication Number Publication Date
CN101924878A CN101924878A (zh) 2010-12-22
CN101924878B true CN101924878B (zh) 2015-08-05

Family

ID=42647347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010177672.1A Expired - Fee Related CN101924878B (zh) 2009-06-09 2010-05-11 图像处理设备、介质和方法

Country Status (5)

Country Link
US (1) US8810602B2 (zh)
EP (1) EP2261853B1 (zh)
JP (1) JP5679702B2 (zh)
KR (1) KR101590767B1 (zh)
CN (1) CN101924878B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
JP5025786B2 (ja) * 2010-12-21 2012-09-12 株式会社東芝 画像処理装置、及び画像処理方法
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
US9047681B2 (en) 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
CN103181156B (zh) * 2011-07-12 2017-09-01 三星电子株式会社 模糊处理装置及方法
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9100574B2 (en) 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US9213883B2 (en) * 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
US9495806B2 (en) * 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
KR101977711B1 (ko) 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR101932587B1 (ko) 2012-11-20 2018-12-26 삼성전자주식회사 컬러-깊이 디모자이킹 영상 처리 장치 및 방법
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
CN107979729B (zh) * 2014-01-24 2020-06-16 青岛海信移动通信技术股份有限公司 一种显示预览图像的方法及设备
US11102467B2 (en) * 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
JP6855746B2 (ja) 2016-10-18 2021-04-07 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN107274447B (zh) * 2017-07-14 2022-06-10 梅卡曼德（北京）机器人科技有限公司 深度图像获取装置和深度图像获取方法
GB2580691B (en) * 2019-01-24 2022-07-20 Imperial College Innovations Ltd Depth estimation
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
KR102240054B1 (ko) 2019-08-30 2021-04-14 (주)미래컴퍼니 영상 처리 장치
CN110794422B (zh) * 2019-10-08 2022-03-29 歌尔光学科技有限公司 一种含有tof成像模组的机器人数据采集系统及方法
US11663697B2 (en) 2020-02-03 2023-05-30 Stmicroelectronics (Grenoble 2) Sas Device for assembling two shots of a scene and associated method
JP7252916B2 (ja) * 2020-02-26 2023-04-05 Kddi株式会社 触感提示方法、システムおよびプログラム
KR102251115B1 (ko) * 2020-04-23 2021-05-13 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR102693010B1 (ko) * 2021-10-14 2024-08-07 울산과학기술원 최대 명암비 증강 영상 획득 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665298A (zh) * 2003-12-11 2005-09-07 三星电子株式会社 从数字运动画面数据中去除噪声的方法
CN1766927A (zh) * 2004-05-20 2006-05-03 豪威科技有限公司 用于局部适配图像处理滤波器的方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028874A (ja) * 2002-06-27 2004-01-29 Matsushita Electric Ind Co Ltd レンジファインダ装置、物体検出装置および物体検出方法
WO2005034035A1 (en) 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP4510554B2 (ja) * 2004-08-31 2010-07-28 富士重工業株式会社 立体物監視装置
KR100814638B1 (ko) 2006-06-09 2008-03-18 성균관대학교산학협력단 레이저 간섭계를 이용한 변위량 측정 시스템 및 그 오차 보정 방법
KR100843084B1 (ko) 2006-06-22 2008-07-02 삼성전자주식회사 노이즈 저감 방법 및 장치
KR101298642B1 (ko) 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
US8059207B2 (en) * 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
KR100888459B1 (ko) 2007-03-14 2009-03-19 전자부품연구원 피사체의 깊이 정보 검출 방법 및 시스템
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
KR20090063824A (ko) * 2007-12-14 2009-06-18 엘지전자 주식회사 영상처리 방법 및 장치
JP5792632B2 (ja) * 2009-01-30 2015-10-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ デプスマップの符号化
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1665298A (zh) * 2003-12-11 2005-09-07 三星电子株式会社 从数字运动画面数据中去除噪声的方法
CN1766927A (zh) * 2004-05-20 2006-05-03 豪威科技有限公司 用于局部适配图像处理滤波器的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video enhancement using per-pixel virtual exposures;Eric P.Bennett et al;《ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGGRAPH 2005》;20051231;第24卷(第3期);845-852 *

Also Published As

Publication number Publication date
JP2010286488A (ja) 2010-12-24
KR20100132189A (ko) 2010-12-17
US8810602B2 (en) 2014-08-19
EP2261853B1 (en) 2015-12-02
US20100309201A1 (en) 2010-12-09
KR101590767B1 (ko) 2016-02-03
CN101924878A (zh) 2010-12-22
EP2261853A1 (en) 2010-12-15
JP5679702B2 (ja) 2015-03-04

Similar Documents

Publication Publication Date Title
CN101924878B (zh) 图像处理设备、介质和方法
US11215700B2 (en) Method and system for real-time motion artifact handling and noise removal for ToF sensor images
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN106920220A (zh) 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
CN101552868A (zh) 用于减少视频信号中运动模糊的设备和方法
Shah et al. An efficient adaptive fusion scheme for multifocus images in wavelet domain using statistical properties of neighborhood
US20230177771A1 (en) Method for performing volumetric reconstruction
Xu et al. Quality assessment of stereoscopic 360-degree images from multi-viewports
Chen et al. Optical flow estimation for motion-compensated compression
Gangisetty et al. FloodNet: Underwater image restoration based on residual dense learning
CN114758030B (zh) 融合物理模型和深度学习的水下偏振成像方法
CN110365966B (zh) 一种基于视窗的视频质量评价方法及装置
CN109801273B (zh) 一种基于极平面线性相似度的光场图像质量评价方法
CN111445435A (zh) 一种基于多区块小波变换的无参考图像质量评价方法
Zuo et al. Accurate depth estimation from a hybrid event-RGB stereo setup
Sheu et al. FIBS-Unet: feature integration and block smoothing network for single image dehazing
Estrada et al. Multi-frame image fusion using a machine learning-based weight mask predictor for turbulence-induced image degradation
Md et al. Multiscale-ssim index based stereoscopic image quality assessment
CN103618904B (zh) 基于像素的运动估计方法及装置
US20240242363A1 (en) Method and an Apparatus for Improving Depth Calculation
Patel et al. The Comprehensive Art of Atmospheric Turbulence Mitigation Methodologies for Visible and Infrared Sequences
TWI485655B (zh) 影像處理方法
Luo et al. Saliency and texture information based full-reference quality metrics for video QoE assessment
CN112767267B (zh) 基于仿真偏振带雾场景数据集的图像去雾方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150805

Termination date: 20210511