CN110268712B - 用于处理图像属性图的方法和装置 - Google Patents

用于处理图像属性图的方法和装置 Download PDF

Info

Publication number
CN110268712B
CN110268712B CN201880010676.5A CN201880010676A CN110268712B CN 110268712 B CN110268712 B CN 110268712B CN 201880010676 A CN201880010676 A CN 201880010676A CN 110268712 B CN110268712 B CN 110268712B
Authority
CN
China
Prior art keywords
image
value
map
confidence
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880010676.5A
Other languages
English (en)
Other versions
CN110268712A (zh
Inventor
C·韦雷坎普
P·L·E·万德瓦勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110268712A publication Critical patent/CN110268712A/zh
Application granted granted Critical
Publication of CN110268712B publication Critical patent/CN110268712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种装置包括接收器(101)，所述接收光强度图像、置信度图和图像属性图。滤波器单元(103)被布置为响应于所述光强度图像和所述置信度图来对图像属性图进行滤波。具体地，针对第一位置，所述滤波器单元(103)响应于所述第一位置附近的邻域周围的领域图像属性值的加权组合来确定组合邻域图像属性值，第二位置处的针对第一邻域图像属性值的权重取决于针对第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值；并且将针对所述第一位置的第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合。

Description

用于处理图像属性图的方法和装置
技术领域
本发明涉及用于处理图像属性图的方法和装置，并且具体地但非排他地，涉及深度或视差图的处理。
背景技术
传统上，数字图像和视频帧仅由单幅图像构成，提供反映场景的光属性的光强度信息(包括颜色)。然而，近年来，图像的表示变得越来越复杂，附加信息通常表示若干不同的属性。例如，不是简单地被包含在单幅光强度图像中的图像，而是场景的许多表示现在包括额外的光强度图像、深度图、透明度图、置信度图等。
可以提供这样的额外信息，以便允许接收/呈现端对所呈现的图像具有更大的灵活性和控制。一个示例是提供额外的深度信息，例如为光强度图像提供深度图(或等价地，视差图)。这可以允许接收器/渲染器执行视点移位或者例如生成立体图像用于3D观看。
然而，在许多实际场景中，图像属性可能不完美并且受到噪声或误差的影响。例如，深度信息可能不如期望的那样准确。实际上，在许多场景中，通过比较不同视图方向的视图图像来估计和提取深度值来生成深度信息。然而，这种估计往往是相对有噪声和容易出错的。
具体地，在许多应用中，使用略微不同位置的两个相机捕获三维场景作为立体图像。然后可以通过估计两幅图像中的相应图像对象之间的视差来生成特定深度值。然而，这种深度提取和估计是有问题的并且倾向于导致非理想的深度值。这可能再次导致伪影和降低的三维图像质量。
三维图像劣化和伪影对于不同图像对象之间的过渡倾向于特别重要。此外，基于针对关联的图像的视差估计来确定深度信息通常还与对图像对象的特性的考虑有关。通常，视差估计算法通过比较左图像中的点与右图像中的对应点之间的局部颜色差来搜索左图像与右图像之间的对应关系。然而，图像特性和处理可能相对有噪声，导致生成的深度图也相对有噪声。
为了改进这种深度图，已经提出了深度图的后滤波。特定的后滤波方法是双边彩色和/或亮度自适应滤波器，其中，滤波内核适于反映图像的视觉特性。这样的双边滤波器可以导致深度图适于更紧密地跟随图像的特性，并且其可以导致估计的视差的改善的一致性和时间稳定性，或者可以例如在不同的图像对象之间提供更清晰的深度过渡。
联合双边滤波可以包括上采样，并且是用于在给定相关光强度图像作为“引导”信号的情况下对例如深度图进行滤波或上采样的技术。一般的想法是“引导”信号噪声较小或分辨率较高，因此它可以提供有关哪些样本应该在要被滤波的像素周围的典型时空邻域的加权平均中给予较低或较高权重的信息。
然而，尽管这种滤波，特别是双边滤波，可以改善被滤波的图像属性图，但是往往不能提供最佳性能，并且所得到的图像属性图可能仍然包括伪影、误差、不准确和/或噪声。
因此，用于处理图像属性图的改进方法将是有利的，并且特别是允许增加灵活性、便于实现、降低复杂性、减少伪影/错误/不准确和/或噪声、和/或改善质量和/或性能的方法将是有利的。
发明内容
因此，本发明寻求单独地或以任何组合来优选地减弱、减轻或消除一个或多个上述缺点。
根据本发明的一个方面，提供了一种处理图像属性图的装置，所述装置包括：接收器，其用于接收光强度图像、置信度图和图像属性图，所述光强度图像包括针对所述光强度图像的像素的光强度值，所述图像属性图包括针对所述光强度图像的所述像素的图像属性值，并且所述置信度图包括针对所述图像属性值的置信度值；滤波器单元，其被布置为响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波，以生成经滤波的图像属性图，所述滤波器单元被布置为针对所述经滤波的图像属性图中的第一位置进行以下操作：响应于邻域图像属性值的加权组合来确定组合邻域图像属性值，所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值，针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值；并且将针对所述第一位置的所述第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合；其中，所述滤波器单元被布置为响应于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的权重，所述权重的所述确定关于所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值是不对称的，其中，所述权重取决于所述差异量度的符号。
本发明可以允许生成改进的图像属性图。所述经滤波的图像属性图可以响应于不同的属性和模态来确定，并且可以在许多场景和实施例中提供正确图像属性值的更准确的反映。例如，在许多实施例中，可以实现深度图的改进滤波，从而产生输出的经滤波的深度图，其可以用于例如以更高的结果图像质量执行视点移位。因此，通常可以基于所得到的经滤波的图像属性图来实现改进的用户体验。
该方法可以提供改进的滤波，其中，置信度和光强度值可以同时用于控制和引导图像属性图的滤波，例如深度图。可以将对不同属性的考虑集成到组合的同时和集成操作中。这可能会降低质量并提供改进的性能。例如，特定方法允许联合考虑置信度和光强度值，而不会相互干扰或导致误差或伪影。
可以根据任何合适的差异量度来确定针对所述第一位置的光强度值和针对所述第二位置的光强度值之间的差异。例如，可以将其确定为光强度值之间的差异的模。
邻域图像属性值的加权组合可以具体地是邻域图像属性值的加权求和。在一些实施例中，邻域图像属性值的加权组合可以包括邻域内的所有邻域图像属性值。在其他实施例中，它可以仅包括这些的子集，例如，可以将子采样应用于邻域中的邻域图像属性值。
图像属性图中的第一位置处的第一图像属性值与组合的近邻图像属性值的组合可以是加权求和。
邻域可以是包括所述第一位置的邻域/区域。这样的邻域/区域也可以称为内核。
针对所述第一邻域图像属性值的权重可以是针对所述第一邻域图像属性值的置信度值的单调递增函数(其中，针对增加的置信度，置信度值具有增加的值)。
针对第一邻域图像属性值的权重可以是第一位置的光强度值与第二位置的光强度值之间的差的单调递减函数。
第一邻域图像属性值的置信度值可以是置信度图中的第二位置处的置信度值。
针对所述置信度值的差异量度可以是任何合适的差异量度。
根据本发明的任选的特征，所述滤波器单元被布置为：
响应于针对所述第一图像属性值的置信度值，确定所述第一图像属性值相对于组合近邻图像属性值的权重的权重。
在许多场景和实施例中这可以导致生成改进的经滤波的图像属性图。
用于所述图像属性图中的所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合的权重可以取决于所述置信度图中的针对第一图像属性值/在第一位置处的置信度值。
针对第一图像属性值的权重相对于组合的近邻图像属性值的权重可以是针对所述第一图像属性值的置信度值的单调递增函数。
根据本发明的任选的特征，所述滤波器单元被布置为将组合的近邻图像属性值基本上确定为：
Figure GDA0002158632460000041
其中，fj表示第二位置处的光强度值与所述第二位置处的近邻图像属性值的光强度值的的差异量度；gj表示为针对第一深度值Di的置信度值Ci与针对所述第二位置处的图像的属性值的置信度值的置信差异量度；Dj表示第二位置处的邻域图像属性值；αj表示设计参数，并且加和在属于邻域的所有位置j上进行。
这可以在许多实施例中提供特别有利的操作，并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。
设计参数αj可以取决于其他参数，例如第一位置和第二位置之间的距离。
权重的确定相对于针对第一邻域图像属性值的置信度值和针对第一图像属性值的置信度值是不对称的。
这可以在许多实施例中提供特别有利的操作，并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。
根据本发明的任选的特征，所述差异量度被限制到最小值，其仅在第一邻域图像属性值的置信度值超过第一图像属性值的置信度阈值时被超过。
这可以在许多实施例中提供特别有利的操作，并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。
最小值可以是零和/或阈值可以是零。
根据本发明的任选的特征，所述光强度图像、所述置信度图和所述图像属性图是光强度图像、置信度图和图像属性图的时间序列的一部分，并且所述邻域具有时间扩展。
这可以在许多实施例中提供改进的性能，并且尤其可以经常提供改进的时间稳定性和一致性。
根据本发明的任选的特征，滤波器单元被布置为如果图像属性值是经滤波的图像属性值则增加针对该图像属性值的置信度值。
这可以在许多实施例中提供特别有利的操作，并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。
在许多实施例中，如果图像属性值是通过对图像属性图序列中的图像属性图的先前滤波而生成的经滤波的图像属性图的一部分，则该图像属性值可以被认为是经滤波的图像属性值。
根据本发明的任选的特征，邻域相对于第一位置在空间上不对称。
这可以在许多实施例中提供改进的性能。
根据本发明的任选的特征，所述图像属性图是深度指示图，其包括根据表示第一视点的第一图像与表示第二视点的第二图像中的视差估计并且将第一视点作为视差估计的基础而确定的深度值；并且邻域在从第二视点朝向第一视点的方向上比在从第一视点朝向第二视点的方向上延伸更远。
这可以在许多场景和实施例中提供改进的经滤波的图像属性图，其中，使用了视差估计。它可以反映对应于不同视点的图像之间的基础视差估计的不对称性。
根据本发明的任选的特征，权重还取决于第一位置与第二位置之间的距离。
这可以在许多场景和实施例中提供改进的经滤波的图像属性图。
根据本发明的任选的特征，所述接收器还被布置为接收第二图像属性图和第二置信度图，所述第二置信度图包括针对第二图像属性图的第二图像属性值的第二置信度值；并且其中，所述滤波器单元还被布置为响应于针对第二位置的第二图像属性值和针对第二位置的第二置信度值来确定针对第一邻域图像属性值的权重。
这可以在许多实施例中提供特别有利的操作，并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。
根据本发明的任选的特征，所述图像属性图是以下之一：深度图；视差图；运动估计图；以及透明度图。
在许多实施例中，本发明可以允许改进的深度图；视差图；运动估计图；或要生成的透明度图。这可以允许改进例如光强度图像的后续图像处理，从而改善图像质量并提供改进的用户体验。
根据本发明的一个方面，提供了一种处理图像属性图的方法，所述方法包括：接收光强度图像、置信度图和图像属性图，所述光强度图像包括针对所述光强度图像的像素的光强度值，所述图像属性图包括针对所述光强度图像的所述像素的图像属性值，并且所述置信度图包括针对所述图像属性值的置信度值；响应于光强度图像和置信度图来对图像属性图进行滤波，以生成经滤波的图像属性图，所述滤波包括，针对经滤波的图像属性图中的第一个位置进行以下操作：响应于邻域图像属性值的加权组合来确定组合邻域图像属性值，所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值，第二位置处的针对第一邻域图像属性值的权重取决于针对第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值；并且将针对第一位置的第一经滤波的图像属性值确定为针对第一位置的图像属性图中的第一图像属性值与组合的近邻图像属性值的组合；其中，确定组合的近邻图像属性值包括响应于针对所述第一邻域图像属性值的置信度值和针对所述第一图像属性值的置信度值的差异量度来确定镇压所述第一邻域图像属性值的权重，所述权重的所述确定关于所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值是不对称的，其中，所述权重取决于所述差异量度的符号。
参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优势将变得显而易见并将得以阐述。
附图说明
仅以范例的方式参考附图描述本发明的实施例，其中，
图1图示了根据本发明的一些实施例的用于处理图像属性图(例如深度图)的装置的元件的示例；
图2图示了由图1的装置使用的内核的示例。
具体实施方式
以下描述集中于适用于处理深度图形式的图像属性图的本发明的实施例。然而，应当理解，本发明不限于该应用，而是可以应用于许多其他类型的图像属性图。
图1图示了用于处理图像属性图的装置的示例，所述图像属性图在特定示例中是深度图。
所述装置包括接收器101，接收器101被布置为接收包括光强度图像和相关联的置信度图和图像属性图的图像数据，所述图像属性图特别地可以是深度图。
所述光强度图像可以包括反映要由显示器呈现/显示的图像的各个像素的光强度值的值。
应当理解，光强度值可以是指示光强度的任何值，并且具体地可以是例如针对一个颜色通道的光强度。例如，光强度值可以是RGB表示的R，G或B值，或者可以例如是Yuv表示的Y值，或者可以确实是这种Yuv表示的u值或v值。注意，u和v值可以是色度值，并且这些值还提供与渲染时各个颜色通道的光强度有关的信息。因此，光强度值可以是颜色表示的亮度、色度或实际上色度值。通常，光强度图像包括指示针对对应的像素的色度属性的光强度像素值。像素的色度属性可以指示针对该像素的亮度属性、色度属性或色度和亮度属性两者。
图像属性图包括光强度图像的像素/位置的图像属性值。在特定示例中，图像属性图是深度图，其包括关于光强度图像中的像素的深度的信息。深度图可以具体地包括直接指示光强度图像的光强度值的深度的深度值，例如z坐标。
应当理解，视差信息是深度信息的形式，并且深度图等效地是视差图。在一些实施例中，深度图可包括光强度图像的光强度值的视差值。应当理解，以下描述中对深度的引用同样适用于使用直接深度/z值的实施例和使用视差值的实施例。
尽管以下描述将集中于其中图像属性是深度属性实施例，但是所述方法可以应用于其他图像属性，因此在其他实施例中，图像属性图可以是指示不同图像特性的图。具体地，图像属性图可以是透明度图，其包括指示光强度图像的像素的透明度的数据值。这种透明度图在本领域中通常也称为α图。
置信度图包括针对图像属性值(即，针对图像属性图的深度或透明度值)的置信度值。应当理解，用于反映参数的可靠性或准确性的置信度值的概念在图像处理领域中是公知的。图像属性值的置信度值可以指示图像属性值具有正确值的(估计的)可能性。置信度值作为寻求估计或确定参数值的许多估计过程的结果而被生成。例如，深度估计通常不仅生成表示估计的深度的深度估计，而且还生成置信度值，所述置信度值指示反映正被估计的图像对象的实际深度的深度估计的置信度。
在许多实施例中，图像属性图可包括针对光强度图像的每个光强度值的个体图像属性值。然而，在许多实施例中，图像属性值可以例如对于多个光强度值是共同的。例如，在许多实施例中，图像属性图可以具有比光强度图像更低的分辨率，并且实际上下面描述的处理可以用于对图像属性图进行上采样。
类似地，置信度图可以具有与光强度图像不同的分辨率，并且实际上在一些实施例中也可以具有与图像属性图不同的分辨率。在一些实施例中，置信度图的值可以对图像属性图的多幅图像属性值是共同的，因此可以具有较低的分辨率。然而，在大多数实施例中，置信度图将具有与图像属性值相同的分辨率，并且将包括每幅图像属性值的置信度值。
在一些实施例中，接收器101可以接收单个独立的一组(至少)光强度图像和相关联的图像属性图和置信度图。光强度图像和包括图像属性图和置信度图的相关数据(以及可能的其他相关图像属性图或光强图像，例如对于其他视点)的集合将被称为合成图像。因此，合成图像可以被认为是与特定时刻有关的所有图像数据的集合。
在一些实施例中，合成图像可以是合成图像的时间序列的一部分。因此，光强度图像可以是光强度图像的时间序列的一部分，并且每个光强度图像可以具有一个或多个相关联的图像属性图和置信度图。因此，当前光强度图像的图像属性图和置信度图也可以是图像属性图和置信图的时间序列的一部分。
具体地，合成图像可以是图像的视频序列的一部分，通常每幅图像具有相关联的图像属性图和置信度图。
接收器101耦合到滤波器单元103，滤波器单元103被布置为根据光强度图像和置信度图两者来对图像属性图进行滤波。如稍后将详细描述的，滤波器单元103因此执行图像属性图的滤波，其考虑图像属性图的光强度值和置信度值。相应地，滤波除了图像属性值本身之外还考虑两种不同的模态。
滤波器单元103在图1的特定示例中被耦合到发射器105，发射器105被布置为根据经滤波的光强度图像生成合适的输出信号并将其发送到合适的源。例如，发射器105可以被布置为将合适的图像或视频编码处理应用于光强度图像以生成用于分配的合适信号。例如，发射器可以将MPEG编码应用于(一幅或多幅)经滤波的光强度图像，从而允许分配所得到的比特流。在许多实施例中，图像属性值和可能的置信度图可以包括在输出比特流中。在其他示例中，发射器105可以被布置为生成合适的显示驱动信号，所述信号可以被直接馈送到显示器以驱动其来来基于经滤波的图像属性图来绘制和呈现(一幅或多幅)光强度图像。
基于诸如光强度属性或置信度属性的另一属性来改进图像属性图可以改进图像属性图的质量。然而，传统方法通常被设计为仅考虑一个参数，并且不同模态和特性的组合是复杂且具有挑战性的问题。它可能不仅需要显著增加资源需求和复杂性，而且还可能具有不可预测和不期望的影响(例如，针对不同模态的不同过程通常可能以可能不可预测的方式彼此干扰)。
在图1的系统中，滤波器单元103被布置为基于光强度值和置信度值来执行图像属性图的组合的、集成的和同时的处理。特别地，发明人不仅意识到不仅可能而且还希望基于不同的属性来处理图像属性图，而且不是执行如认为必要或适当的顺序处理，而是可以执行集成和组合滤波，其可以同时组合不同属性和模态提供的信息。
下面将具体考虑经滤波的深度图来描述该操作。
滤波器单元103具体包括组合器107，其被布置为确定图像属性图的滤波输出值。在特定示例中，输入图像属性图的分辨率和得到的输出经滤波的图像属性图将具有相同的分辨率。因此，经滤波的图像属性值的位置与输入图像属性图的图像属性值直接对应，或者换句话说，输入图像属性图和输出经滤波的图像属性图具有直接对应的像素。确定当前值的输出经滤波的图像属性图中的位置在下文中将被称为第一位置并使用索引i。应当理解，这样的引用和索引可以同样地涉及输入图像属性图中的对应位置，或者实际上涉及置信图或光强度图像中的对应位置。类似地，第一位置i附近的位置将被称为第二位置j。应当理解，输出经滤波的图像属性图中的位置在输入图像属性图、置信图和光强度图像中具有对应的位置。实际上，注意到本领域的标准实践是复合/组合图像的不同图像和图在所有图/图像中具有对应的位置(即使它们处于不同的分辨率)。
第一位置处的输入第一图像属性值和输出第一经滤波的图像属性值可以由索引i引用。对于作为深度图的图像属性图，索引i因此表示输入的第一深度值Di和输出的第一滤波深度值Di,out。
还应当理解，位置通常与像素相关，并且因此术语位置和像素将在适当时互换使用。具体地，具有索引i的像素或值表示第一位置处的对应值，并且具有索引j的像素或值表示第二位置处的对应值。
对于该第一滤波深度值Di,out(并且因此对于第一位置)，组合器107生成输出值Di,out，其取决于输入值Di和基于在位置/像素i周围的邻域中(即在Di,out的输出值的位置和第一深度值Di附近)的深度/图像属性值确定的深度/图像属性值。在位置i周围的区域中确定的该值被称为组合的近邻图像特性/深度值Di，近邻。
因此，滤波器单元103被布置为将针对值/像素/位置/索引i的经滤波的第一图像属性值确定为输入的第一深度值Di与组合的深度近邻值Di,近邻的组合。因此，组合器107可以将经滤波的输出值确定为：
Di,out＝f(Di,in,Di,近邻)
其中，f()是加权组合。
在一些实施例中，可以例如使用简单的预定组合，例如：
Di，out＝αDi+(1-α)Di，近邻
其中，α是0到1之间的预定常数。
组合的邻域深度值Di，近邻由邻域处理器109确定，邻域处理器109是滤波器单元103的一部分并且被耦合到组合器107。
邻域处理器109用于输出深度图中的每个深度值i，其被布置为将组合的邻域深度值Di，近邻确定为给定邻域中的深度值的加权组合。这样的加权组合可以被认为对应于滤波，其特别地可以是当仅考虑空间邻域时的空间滤波，当仅考虑时间邻域时的时间滤波，或者当考虑空间和时间邻域两者时的空间和时间滤波两者。还应当理解，术语内核经常在本领域中针对这样的邻域使用，形成滤波的基础，并且术语邻域和内核两者因此将在上下文中适当地用于指代邻域。
因此，在系统中定义了内核或邻域，并且邻域处理器109可以通过组合属于将确定经滤波的深度值的位置附近的内核/邻域的深度值来生成组合邻域深度值Di，近邻深度值的位置。因此，组合的邻域深度值Di，近邻可以被视为内核/邻域中的深度值的加权平均。
因此，组合的邻域深度值Di，近邻可以被确定为：
Di,近邻＝Cj∈Ki(wj,Dj)
其中，Ki表示置信度图以及深度图中的像素/位置i(即第一位置)对应的光强度图像中的针对所述位置的核/邻域，j是针对邻域像素位置的索引(即第二位置)。Cj∈Ki表示针对像素/位置i在核/邻域K中的(通常所有)索引j上的加权组合，其中，给定邻域深度值dj的权重由wj给出。
具体地，在许多实施例中，组合邻域深度值Di，近邻可以通过邻域深度值Dj的加权求和来给出：
Figure GDA0002158632460000121
因此，通过在第一深度值Di的位置附近的邻域中的邻域深度值Dj的加权平均来确定组合的邻域深度值Di，近邻。
在该方法中，基于光强度图像和置信度图来确定针对该组合的权重。具体而言，对于第一领域深度值Dj，组合中的权重wj取决于针对位置j的置信度值Cj和针对位置j处的光强度值Ij与所述针对位置i的光强度值Ii之间的差值两者，即权重wj取决于针对第一邻域深度值Dj的置信度值和针对第一邻域深度值Dj的光强度值Ij与针对第一邻域深度值Di的光强度值Ii之间的差异。特别地，组合中的权重wj取决于针对位置j的置信度值Cj相对于确定组合的邻域深度值Di，近邻的像素/位置i的置信度值，即，其是基于置信度值Cj相对于置信度值Ci来确定的。权重wj是基于邻域图像属性值Cj的置信度值与针对“锚定”位置的置信度值或值Ci之间的差异量度来确定的。权重可以具体被确定为:
wj＝f(dC(Cj；Ci)；dI(Ij；Ii))
其中，f是取决于具体实施例的合适函数，dC(Cj；Ci)分别代表位置i和j处的置信度值，并且dI(Ij；Ii)表示分别在位置i和j处的光强度值的合适的差异量度。针对强度值的合适的差异量度可以例如是基于光强度的合适的范数‖Ii；Ij‖，特别是基于光强度差矢量Ii-Ij的(即‖Ii-Ij‖)。类似地，强度值的合适的差异量度可以例如也是合适的范数。在许多实施例中，可以使用通过简单减法获得的直接差值，例如dC(Cj；Ci)＝Cj-Ci。
针对给定邻域深度值Dj的权重通常将针对相对于参考置信度值Ci增加的置信度值Cj而增加，即，邻域深度值Dj被认为相对于针对当前正被滤波的像素的值的原始深度的可靠性越可靠，在组合中对邻域深度值Dj的加权越高。具体地，针对领域深度值Dj的权重通常是针对领域深度值Dj的置信度值Cj的单调递增函数，并且通常是针对位置i的深度值的置信度值Ci的单调递减函数。在许多实施例中，权重是分别在位置i和j处的置信强度值的差异量度的单调递增函数。
针对给定的邻域深度值Dj中的权重通常将针对增加的差异值而减少，即，针对位置j的光强度值Ij与针对位置i和光强度值Ii之间的差异越高，则其在组合中的加权越低。具体而言，针对邻域深度值Dj的权重wj通常是指示针对位置j的光强度值Ij与针对位置i和光强度值Ii之间的差异的差异度量/值的单调递减函数。具体地，函数f可以是范数‖Ii；Ij‖(并且特别是‖Ii-Ij‖)的单调递减函数。
该方法因此确定组合的邻域深度值Di，近邻，其具有来自邻域深度值Dj的较高的贡献，针对邻域深度值Dj，置信度值相对于针对当前位置的原始深度值的置信度值较高，并且光强度相对于当前像素的强度的差异较低。因此，所述方法允许由单个值做出的贡献的有效、同时和联合调整和变化，所述变化取决于不同的属性和模态。
滤波器单元103可以被布置为继续对深度图的所有位置/像素执行该滤波操作，以生成经滤波的深度图。
在许多实施例中，所述方法可以提供改进的深度图。特别是，它提供了基于多个属性和模态的交叉滤波。此外，在实践中已经发现这提供了优异的结果，并且不仅允许计算上有效的过程，而且还基于不同的模态减轻和减少滤波操作之间的干扰和相互依赖性。已经发现，与执行级联和顺序处理以及双边滤波的更直接和更直观的方法相比，提供了显著改进的性能。
对于许多实际场景，已经发现可以生成更准确和可靠的图像属性图，特别是深度图，从而提供对例如光强度图像的后续图像处理的改进支持。例如，可以在许多实际场景中找到改进的图像视点切换，从而导致改进的图像质量和改进的用户体验。
如上所述，组合器107被配置为通过组合第一深度值Di与组合的邻域深度值Di，近邻来生成输出的经滤波的深度值Di，out。在一些实施例中，所述组合可以是具有预定权重的加权组合，诸如，例如将输出的经滤波的深度值Di，out确定为第一深度值Di和组合邻域深度值Di，近邻的平均值。
然而，在许多实施例中，可以响应于针对第一深度值Di的置信度值(称为第一置信度值Ci)来确定第一深度值Di相对于组合邻域深度值Di，近邻的权重。第一深度值Di相对于组合邻域深度值Di，近邻的权重通常可以是第一置信度值Ci的单调递增函数。因此，现有深度值中的置信度越高，基于邻域中的深度值的潜在修改就越少。
应当理解，可以通过改变第一深度值Di的权重，组合的邻域深度值Di，近邻的权重，或者实际上改变第一深度值Di和组合的邻域深度值Di，近邻的权重两者，来改变第一深度值Di与组合邻域深度值Di，近邻之间的相对加权。
在许多实施例中，输出滤波深度值Di，out可以具体地被确定为：
Di，out＝CiDi+(1-Ci)Di，近邻
因此，在这样的示例中，在例如用于生成第一深度值Di的视差估计被认为是可信的情况下(Ci＝1)，则近邻像素对输出滤波深度值Di，out没有贡献。在对当前值没有置信的另一个极端(Ci＝0)，输出滤波深度值Di，out仅基于近邻像素。
在一些实施例中，邻域处理器109还可以被布置为确定组合邻域深度值Di，近邻的邻域置信度值。可以基于邻域深度值Dj的置信度值(即邻域像素的置信度值Cj)来确定该邻域置信度值。例如，可以确定邻域置信度值的平均值，或者例如可以确定考虑权重wj的加权平均值。
在这种情况下，可以基于第一深度值Di相对于邻域置信度值的置信度来确定第一深度值Di相对于组合邻域深度值Di，近邻的加权。例如，输出滤波深度值Di，out可以被确定为：
Figure GDA0002158632460000151
其中，Ci，近邻表示邻域置信度值。
应当理解，在不同的实施例中，可以使用不同的方法和功能来执行组合以确定组合的邻域深度值Di，近邻。
在一些实施例中，邻域深度值Dj的权重wj被确定为与值gj成比例，所述值gj取决于邻域深度值Dj的置信度值而不取决于光强度值。此外，权重wj可以与值fj成比例，其取决于针对光强度值的差值度量，但不取决于置信度值。因此，在一些实施例中，可以基于置信度图和光强度图像来确定单独的量度，并且这些量度可以在确定权重wj时通过乘法来组合。
在一些实施例中，可以将针对给定第一深度值Di的组合邻域深度值Di，近邻确定为：
Figure GDA0002158632460000161
其中，fj表示针对第一深度值Di的光强度Ii值和针对邻域深度值Dj的光强度值Ij的差异量度；gj表示为针对第一深度值Di的置信度值Ci与针对领域深度值Dj的置信度值Cj的置信差异量度；并且αj表示设计参数。求和是在领域的像素/值上进行的，即，j∈Ki，其中，Ki是针对位置i的领域/内核。
因此，在一些实施例中，组合的邻域深度值Di，近邻可被确定为：
Di，近邻＝∑wj.Dj
其中，
Figure GDA0002158632460000162
在一些实施例中，αj可以简单地设置为1，即：
Figure GDA0002158632460000163
其中，gj取决于Cj与Ci之间的差异，而fj通常取决于色差矢量：Ii-Ij的范数。
应当理解，在不同的实施例中可以使用用于找到量度fj和gj的不同方法。
例如，在许多实施例中，用于确定值fj的特别有利的方法可以通过以下方式给出：
Figure GDA0002158632460000171
其中，‖Ii-Ij‖是针对色差矢量的合适的范数：Ii-Ij并且γ是设计参数，其可以用于控制光强度差异相对于置信度值的相对重要性。
在许多实施例中，用于确定值gj的一种特别有利的方法可以是：
Figure GDA0002158632460000172
其中，β可以是设计参数，其可以用于控制置信度值相对于光强度差的相对重要性。
权重wj相应地不仅取决于置信度值Cj而且还取决于针对第一深度值Di的置信度值Ci。具体地，权重wj在许多实施例中有利地取决于置信度值Cj与置信度值Ci之间的差值度量。这可以例如通过使值gj取决于置信度值Cj和置信度值Ci，并且具体地取决于它们之间的差异来实现，例如，
gj＝f(Cj-Ci).
函数f(Cj-Ci)具体地可以是非线性函数，置信度值Cj在置信度值Ci之上越多，其向邻域深度值Dj提供成比例地更高的权重。因此，所述方法将增加对具有比第一深度值Di更高置信度的邻域深度值Dj的关注。因此，在许多实施例中，权重wj可以被确定为关于置信度值Cj和置信度值Ci不对称的不对称权重。具体而言，不仅是这些之间的绝对差异，而且符号也是重要的并且影响所生成的权重wj。
在许多实施例中，权重wj可以取决于指示置信度值Cj和置信度值Ci之间的差异的差异量度，并且差异量度仅在置信度值Cj超过超过置信度值Ci达一阈值时被限制为最小值。最小值和阈值可以具体地为零，并且差异量度可以例如被确定为：
max(Cj-Ci，0)。
在这样的实施例中，权重wj可以基于置信度值Cj对邻域深度值Dj的贡献，其由下式给出：
gj＝f(max(Cj-Ci，0))
其中，f()是合适的函数，诸如，例如
Figure GDA0002158632460000191
在一些实施例中，权重wj也可以是依赖于第一经滤波的深度值Di,out的位置i与邻域深度值Dj的位置之间的距离。
例如，值αj可以取决于与索引i和j对应的位置之间的距离。应当理解，可以使用任何合适的距离量度，例如具体地基于合适的范数的距离量度。作为具体示例，αj可以反映距离函数，例如：
Figure GDA0002158632460000192
其中，ψ是设计参数，并且x，y反映了与索引i和j对应的欧几里德位置。
如前所述，所述光强度图像、所述置信度图和所述图像属性图可以是光强度图像、置信度图和图像属性图的时间序列的一部分，即接收器101可以接收组合图像的序列。具体地，接收器101可以接收包括组合图像序列的视频信号，具体地，每个光强度图像可以是视频序列的帧。
在这样的示例中，邻域(即内核)可以具有时间扩展，即，邻域可以包括来自针对通常在当前帧/时刻之前的帧/时刻的深度图的深度值(但是邻域也是可能包括属于后续帧/时刻的深度值)。
在这样的实施例中，邻域的空间扩展对于不同的帧/时刻可以是不同的。通常，对于与被滤波的图像属性图相同的时刻提供的光强度图像和置信度图，邻域的空间扩展大于其他时刻。
时间扩展可以提供改进的性能，并且可以特别地提供改进的空间一致性和减少的感知时间噪声。
在一些实施例中，另一时刻的图像属性图可以是已经滤波的图像属性图。例如，所述装置可以被布置为基于邻域/内核对当前图像属性图进行滤波，所述邻域/内核还包括前一帧/时刻的图像属性图。然而，由于这已经由滤波器单元103处理，因此它可以是经滤波的图像属性图。该方法可以提供改进的性能，因为经滤波的图像属性图的图像属性值可能由于滤波而更可靠。
滤波器单元103还可以被布置为修改置信度值以反映这种改进的可靠性。具体地，所述滤波器单元103可以被布置为在图像属性值是经滤波的图像属性值的情况下增加所述图像属性值的置信度值。在一些实施例中，增加可以是相对增加，例如添加特定偏移(例如，将置信度值增加0.5(结果被限制为最大值1.0))，或者可以是绝对设置，例如将值设置为1.0。
这种方法将导致由于先前的滤波而被认为更可靠的图像属性值的更高权重，并且因此可以提供对当前图像属性图的改进的滤波。
图2中示出了可适用于许多实施例的邻域/内核201的示例。
在特定示例中，针对给定第一深度值Di的内核201包括最靠近第一深度值di的位置203的20个像素位置的组205。该组像素位置305反映了包含在内核201中的针对当前深度图和针对先前深度图的空间像素位置，即，它反映了内核201也具有时间扩展的像素的空间组。
内核的剩余部分定义49个像素位置，其仅包括在针对当前时刻/帧的内核201中。因此，对于这49个像素位置，内核201没有时间扩展。
还应注意，在该示例中，深度值被欠采样，即，内核201不包括内核区域内的所有深度值，而是仅定义这些深度值的子集。在特定示例中，子采样可以具有为3的因子，因此仅针对滤波/内核201考虑每第三个深度值。
因此，尽管内核201由69个空间位置组成，但是它覆盖了深度图中对应于40乘13像素的区域或区域。这种子采样允许通过滤波考虑更大的区域，同时允许降低的复杂性和处理资源需求，换句话说，子采样可以在保持大的滤波器内核的同时减少计算。
在该示例中，邻域/内核201还相对于第一滤波深度值Di,近邻的位置不对称，并且因此相对于第一深度值Di是不对称的(即，它相对于当前像素的位置203，即相对于位置i，是不对称的)。
这种不对称性可能特别适用于例如以下场景，其中，基于至少两幅图像中的视差估计来生成深度图。具体地，深度图(包括其中深度由视差表示的视差图)可以包括通过具有不同视点的两幅图像之间的视差估计生成的深度值。例如，可以在左眼图像和右眼图像之间执行视差估计。
在这样的示例中，可以为左眼视点提供光强度图像，并且可以使用左眼光强度图像作为基础来针对该左眼视点生成经滤波的深度图。然而，在这样的情况下，由于左眼视点允许看到前景物体的左侧的背景，针对右眼视点其将被遮挡，因此光强度图像和实际上输入深度图更可能在前景对象的右侧而不是在前景对象的左侧具有遮挡区域。
相反的情况是右眼视点的情况，即在这种情况下，遮挡区域将倾向于更多地延伸到前景物体的左侧而不是右侧。
因此，在这样的场景中，视差估计可能无法找到与在右眼图像中找到左眼图像中被去遮挡的背景相对应的图像区域，因为右眼图像中其可能被遮挡。结果，视差估计将倾向于在前景图像的左侧生成具有高的不确定性的区域。此外，这些区域的正确深度值可能位于区域的左侧而不是右侧，因为它更可能反映背景而不是前景对象。
这可以通过具有空间不对称内核来考虑。
具体地，使用左眼图像作为参考，在许多实施例中，内核可以有利地在左方向上比在右方向上延伸更远，如实际上在图2的示例中所反映的那样。显然，如果右眼图像被用作视差估计的基础，则会出现对称情况，并且因此这样的示例中的内核进一步向右延伸而不是向左延伸。
因此，在以下场景中：深度图包括根据表示第一视点的第一图像和表示第二视点的第二图像中的视差估计确定的深度值，并且其中第一视点作为视差估计的基础，邻域/内核可以被设计为在从第二视点朝向第一视点的方向上比在从第一视点朝向第二视点的方向上延伸更远。
类似的情况发生在基于结构光的深度传感器中，其中(红外)结构光源和(红外)图像传感器在传感器外壳中具有不同的空间位置以形成深度捕获的基线。在该场景中，将由传感器成像的场景的特定部分将不会被光源照亮(由于这两者之间的基线)。同样在这里，可以使用结构光源与传感器之间的3D方向矢量的知识来不对称地形成滤波器内核。
前面的描述集中于以下的场景，其中，所有图像和图都被认为具有相同的分辨率。然而，应当理解，所描述的原理同样适用于分辨率可以不同的场景，并且特别地可以适合于例如基于更高分辨率的光强度图像来对图像属性图进行上采样。
在示例中，深度/视差图伴随有指示深度值的置信度的相关置信度图。例如，深度图可以表示视差估计，并且置信度图可以量化所得到估计有多可靠。另一个示例是基于红外光的深度传感器，其通常还输出量化测量精度的置信度图。
通常，光强度图像不具有相关联的置信度图或指示，因为这些图像通常被直接捕获或生成，并且被假定为在任何地方都完全置信。然而，在一些实施例中，除了光强度值和针对深度图的置信度值之外，滤波可以对第三属性进行响应。在这样的示例中，第三属性还可以具有关联的置信度值。例如，第三属性可以是运动估计属性，并且例如对于每个像素，可以提供运动矢量和相关联的运动置信度值。可以进一步基于这些值来确定邻域深度值dj的权重的确定。
具体地，在一些实施例中，接收器因此还可以接收第二图像属性图和第二置信度图，其中第二置信度图包括针对第二图像属性图的第二图像属性值的第二置信度值。例如，合成图像还可以包括运动矢量图和运动置信度图。
在这样的实施例中，针对邻域深度值Dj的权重wj的确定还可以响应于针对位置j(并且在一些实施例中也针对位置i)的第二图像属性值，特别是运动矢量，以及第二置信度值，特别是运动置信度值。
例如，可以考虑这样的场景，其中，基于红外的深度传感器(结构光或飞行时间)用于捕获深度图。如果传感器还包含彩色图像传感器，则该彩色图像传感器通常具有更高的空间分辨率。此外，如果我们现在随着时间的推移使用传感器(深度和图像)通过移动传感器(扫描)来捕获例如静态场景的序列，则图像传感器可用于估计帧k和k+1之间像素精确运动场vk，k+1。由于该运动场中的转变通常随深度不连续性而变化(传感器被平移)，因此运动场可用于例如对红外传感器的深度图进行提高(upscale)/滤波。然而，运动场是图像Ik和Ik+1之间的对应估计过程的结果，并且因此将具有空间变化的置信度值。
该运动场可以由运动矢量图表示，并且运动置信度值可以由运动置信度图表示。然后，给定邻域深度值Dj的权重可以取决于位置j处的这些映射的值，并且还可能取决于位置i处的这些映射的值。
具体地，组合的邻域深度值Di，近邻可以被确定为：
Figure GDA0002158632460000231
其中，hj表示依赖于位置j处的运动值和位置j处的置信水平两者的值。通常，hj取决于位置j和位置i的运动值之间的差异。例如，hj可以被给出为：
Figure GDA0002158632460000232
其中，ρ是设计参数，其可以被设置为改变整体滤波中的运动数据的权重，‖vi-vj‖反映了位置i与j的运动值之间的差异，并且
Figure GDA0002158632460000233
和
Figure GDA0002158632460000234
分别表示位置i和j处的运动置信度值。
使用
Figure GDA0002158632460000235
来对该项进行加权是一个合理的解决方案，因为当运动在中心位置i和近邻的位置j都是可靠，则差异‖vi-vj‖很可能是可靠的。如果要么i要么j具有低置信度，则差异‖vi-vj‖可能不太可靠。然而，应当理解，在其他实施例中可以使用其他方法。
例如，在这样的场景中，可以针对输出图像属性图中的每个位置，即针对高分辨率深度图中的每个位置，执行所描述的滤波。可以以该高分辨率确定邻域，并且针对该高分辨率邻域中的每个像素，可以确定对组合邻域图像属性值的贡献。在这种情况下，相同的输入图像属性值和置信度值可以用于同一低分辨率像素内的所有高分辨率位置。然而，光强度值将不同，因为它们以更高的分辨率提供，并且因此可以实现基于高分辨率光强度图像的接收的低分辨率图像属性图的有效上采样。
应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显而易见的是，可以在不背离本发明的情况下使用不同功能电路、单元或处理器之间的任何合适的功能分布。例如，被示为由分别的处理器或控制器执行的功能可以由相同的处理器执行。因此，对特定功能单元或电路的引用仅被视为对用于提供所描述的功能的合适设备的引用，而不是指示严格的逻辑或物理结构或组织。
本发明可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。本发明可以任选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何合适的方式来物理地、功能地和逻辑地实现。实际上，功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实现。这样，本发明可以在单个单元中实现，或者可以在不同的单元、电路和处理器之间物理地和功能地分布。
尽管已经结合一些实施例描述了本发明，但是并不旨在将本发明限于这里阐述的特定形式。相反，本发明的范围仅受所附权利要求的限制。另外，尽管可能看起来结合特定实施例描述了特征，但是本领域技术人员将认识到，可以根据本发明组合所描述的实施例的各种特征。在权利要求中，术语“包括”不排除存在其他元件或步骤。
可以认为像素在一般现有技术中被称为子像素，也就是说单色像素，例如红色像素。然而，在以上描述的发明中，术语像素也可以被认为包括一组子像素，因此例如像素可以是RGB像素，RGBY像素等。
此外，尽管单独列出，但是多个设备、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实现。另外，尽管各个特征可以包括在不同的权利要求中，但是这些特征可以有利地组合，并且包含在不同的权利要求中并不意味着特征的组合是不可行和/或不利的。在一类权利要求中包含特征并不意味着对该类别的限制，而是指示该特征在合适时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着特征必须工作的任何特定顺序，并且特别地，方法权利要求中的各个步骤的顺序并不意味着必须以该顺序执行这些步骤。而是，可以以任何合适的顺序来执行这些步骤。另外，单数引用不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的引用不排除多个。权利要求中的附图标记仅被提供用于地使示例清楚并且不应被解释为以任何方式限制权利要求的范围。

Claims (13)

1.一种用于处理图像属性图的装置，所述装置包括：
接收器(101)，其用于接收光强度图像、置信度图和图像属性图，所述光强度图像包括针对所述光强度图像的像素的光强度值，所述图像属性图包括针对所述光强度图像的所述像素的图像属性值，并且所述置信度图包括针对所述图像属性值的置信度值；
滤波器单元(103)，其被布置为响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波，以生成经滤波的图像属性图，所述滤波器单元(103)被布置为针对所述经滤波的图像属性图中的第一位置进行以下操作：
响应于邻域图像属性值的加权组合来确定组合的邻域图像属性值，所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值，针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差异；并且
将针对所述第一位置的第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合；
其中，所述滤波器单元(103)被布置为响应于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的所述权重，所述权重的所述确定关于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值是不对称的，其中，所述权重取决于所述差异量度的符号。
2.根据权利要求1所述的装置，其中，所述滤波器单元(103)被布置为：
响应于针对所述第一图像属性值的置信度值，相对于所述组合的近邻图像属性值的权重确定所述第一图像属性值的权重。
3.根据权利要求1所述的装置，其中，所述滤波器单元(103)被布置为将所述组合的近邻图像属性值基本上确定为：
Figure FDA0003422716560000021
其中，fj表示针对所述第二位置处的光强度值与针对所述第二位置的近邻图像属性值的光强度值的差异量度；gj表示针对第一深度值的置信度值与针对所述第二位置处的所述邻域图像属性值的置信度值的置信度差异量度；Dj表示所述第二位置处的所述邻域图像属性值；αj表示设计参数，并且加和是在属于所述邻域的所有位置j上进行的。
4.根据权利要求1所述的装置，其中，当针对所述第一邻域图像属性值的置信度值不超过针对所述第一图像属性值的置信度一阈值时，所述差异量度被限制为最小值，并且如果针对所述第一邻域图像属性值的置信度值超过针对所述第一图像属性值的置信度值所述阈值，则所述差异量度超过所述最小值。
5.根据权利要求1所述的装置，其中，所述光强度图像、所述置信度图和所述图像属性图是光强度图像、置信度图和图像属性图的时间序列的一部分，并且所述邻域具有时间扩展。
6.根据权利要求1所述的装置，其中，所述滤波器单元(103)被布置为在图像属性值是经滤波的图像属性值的情况下增加针对所述图像属性值的置信度值。
7.根据权利要求1-6中的任一项所述的装置，其中，所述邻域相对于所述第一位置在空间上是不对称的。
8.根据权利要求7所述的装置，其中，所述图像属性图是深度指示图，其包括根据表示第一视点的第一图像与表示第二视点的第二图像中的视差估计并且将所述第一视点作为视差估计的基础而确定的深度值；并且所述邻域在从所述第二视点朝向所述第一视点的方向上比在从所述第一视点朝向所述第二视点的方向上延伸更远。
9.根据权利要求1-6中的任一项所述的装置，其中，所述权重还取决于所述第一位置与所述第二位置之间的距离。
10.根据权利要求1-6中的任一项所述的装置，其中，所述接收器还被布置为接收第二图像属性图和第二置信度图，所述第二置信度图包括针对所述第二图像属性图的第二图像属性值的第二置信度值；并且其中，所述滤波器单元(103)还被布置为响应于针对所述第二位置的第二图像属性值和针对所述第二位置的第二置信度值来确定针对所述第一邻域图像属性值的权重。
11.根据权利要求1-6中的任一项所述的装置，其中，所述图像属性图是以下之一：
深度图；
视差图；
运动估计图；以及
透明度图。
12.一种处理图像属性图的方法，所述方法包括：
接收光强度图像、置信度图和图像属性图，所述光强度图像包括针对所述光强度图像的像素的光强度值，所述图像属性图包括针对所述光强度图像的所述像素的图像属性值，并且所述置信度图包括针对所述图像属性值的置信度值；
响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波，以生成经滤波的图像属性图，所述滤波包括，针对所述经滤波的图像属性图中的第一位置进行以下操作：
响应于邻域图像属性值的加权组合来确定组合的邻域图像属性值，所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值，针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值；以及
将针对所述第一位置的第一经滤波的图像属性值确定为所述图像属性图中的所述第一位置处的第一图像属性值与所述组合的近邻图像属性值的组合；
其中，确定所述组合的近邻图像属性值包括响应于针对所述第一邻域图像属性值的置信度值和针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的所述权重，所述权重的所述确定关于所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值是不对称的，其中，所述权重取决于所述差异量度的符号。
13.一种处理图像属性图的装置，其包括处理器和用于存储机器可执行指令的存储器，当所述机器可执行指令在所述处理器上运行时，所述装置适于执行根据权利要求12所述的所有步骤。
CN201880010676.5A 2017-02-07 2018-01-31 用于处理图像属性图的方法和装置 Active CN110268712B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17155076.7 2017-02-07
EP17155076.7A EP3358844A1 (en) 2017-02-07 2017-02-07 Method and apparatus for processing an image property map
PCT/EP2018/052318 WO2018145961A1 (en) 2017-02-07 2018-01-31 Method and apparatus for processing an image property map

Publications (2)

Publication Number Publication Date
CN110268712A CN110268712A (zh) 2019-09-20
CN110268712B true CN110268712B (zh) 2022-04-29

Family

ID=58046495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880010676.5A Active CN110268712B (zh) 2017-02-07 2018-01-31 用于处理图像属性图的方法和装置

Country Status (9)

Country Link
US (1) US10944952B2 (zh)
EP (2) EP3358844A1 (zh)
JP (1) JP6998388B2 (zh)
KR (1) KR102464523B1 (zh)
CN (1) CN110268712B (zh)
BR (1) BR112019016041A2 (zh)
RU (1) RU2019127916A (zh)
TW (1) TWI767985B (zh)
WO (1) WO2018145961A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10802117B2 (en) 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
US10735640B2 (en) 2018-02-08 2020-08-04 Facebook Technologies, Llc Systems and methods for enhanced optical sensor devices
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
TWI757658B (zh) * 2018-11-14 2022-03-11 宏達國際電子股份有限公司 影像處理系統及影像處理方法
EP3671530A1 (en) * 2018-12-17 2020-06-24 Koninklijke Philips N.V. Device, system and method for object recognition
EP3696773A1 (en) * 2019-02-15 2020-08-19 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
EP4042417A1 (en) * 2019-10-10 2022-08-17 DTS, Inc. Spatial audio capture with depth
CN111737511B (zh) * 2020-06-17 2022-06-07 南强智视(厦门)科技有限公司 基于自适应局部概念嵌入的图像描述方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
CN104125445A (zh) * 2013-04-25 2014-10-29 奇景光电股份有限公司 影像景深调整装置与影像景深调整方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4296617B2 (ja) 1998-10-15 2009-07-15 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
CN102356637B (zh) * 2009-01-30 2017-02-22 汤姆森特许公司 深度图的编码
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
TWI423166B (zh) * 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
WO2011104151A1 (en) * 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US9053393B2 (en) 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
JP5577939B2 (ja) * 2010-08-20 2014-08-27 ソニー株式会社 撮像装置、収差補正方法、および、プログラム
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
JP5865078B2 (ja) 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法
WO2013145554A1 (ja) * 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
US8913825B2 (en) * 2012-07-16 2014-12-16 Mitsubishi Electric Research Laboratories, Inc. Specular edge extraction using multi-flash imaging
EP2888720B1 (en) * 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
CN104662896B (zh) * 2012-09-06 2017-11-28 诺基亚技术有限公司 用于图像处理的装置和方法
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP3207698B1 (en) * 2014-10-14 2022-04-13 Koninklijke Philips N.V. Processing of disparity of a three dimensional image
JP5980294B2 (ja) 2014-10-27 2016-08-31 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
KR20180011215A (ko) * 2015-05-21 2018-01-31 코닌클리케 필립스 엔.브이. 이미지를 위한 깊이 맵을 결정하기 위한 방법 및 장치
EP3311361B1 (en) * 2015-06-16 2021-08-11 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
WO2017108413A1 (en) * 2015-12-21 2017-06-29 Koninklijke Philips N.V. Processing a depth map for an image
US10462445B2 (en) * 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751338B1 (en) * 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
CN104125445A (zh) * 2013-04-25 2014-10-29 奇景光电股份有限公司 影像景深调整装置与影像景深调整方法

Also Published As

Publication number Publication date
WO2018145961A1 (en) 2018-08-16
KR20190113943A (ko) 2019-10-08
BR112019016041A2 (pt) 2020-03-31
JP6998388B2 (ja) 2022-01-18
JP2020506484A (ja) 2020-02-27
TW201841139A (zh) 2018-11-16
US20190356895A1 (en) 2019-11-21
EP3580924B1 (en) 2021-11-24
TWI767985B (zh) 2022-06-21
EP3580924A1 (en) 2019-12-18
US10944952B2 (en) 2021-03-09
CN110268712A (zh) 2019-09-20
KR102464523B1 (ko) 2022-11-07
EP3358844A1 (en) 2018-08-08
RU2019127916A (ru) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110268712B (zh) 用于处理图像属性图的方法和装置
US9171373B2 (en) System of image stereo matching
JP5329677B2 (ja) 奥行き及びビデオのコプロセッシング
US8447141B2 (en) Method and device for generating a depth map
JP2015522198A (ja) 画像に対する深度マップの生成
US20140146139A1 (en) Depth or disparity map upscaling
JP2015188234A (ja) グローバル動きに基づく深度の推定
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
TW201703518A (zh) 用於使用深度資訊之全視差壓縮光場合成之方法
WO2014183787A1 (en) Method and apparatus for computing a synthesized picture
EP1815441B1 (en) Rendering images based on image segmentation
EP3298578B1 (en) Method and apparatus for determining a depth map for an image
KR102161785B1 (ko) ３차원 이미지의 시차의 프로세싱
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
US9787980B2 (en) Auxiliary information map upsampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant