CN107810521B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN107810521B
CN107810521B CN201580081235.0A CN201580081235A CN107810521B CN 107810521 B CN107810521 B CN 107810521B CN 201580081235 A CN201580081235 A CN 201580081235A CN 107810521 B CN107810521 B CN 107810521B
Authority
CN
China
Prior art keywords
depth information
information value
currently processed
similarity
matching cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580081235.0A
Other languages
English (en)
Other versions
CN107810521A (zh
Inventor
亚采克·科涅奇
马雷克·多曼斯基
雅各布·塞尔斯特
亚当·卢察克
奥尔盖尔德·斯坦基耶维奇
克日什托夫·魏格纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107810521A publication Critical patent/CN107810521A/zh
Application granted granted Critical
Publication of CN107810521B publication Critical patent/CN107810521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理装置，其包括：信号处理逻辑，用于，基于多个深度信息值候选为每个当前处理片段计算多个相似性度量，针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的一个深度信息值候选与先前选定深度信息值进行比较；基于所述相似性度量或进一步处理的相似性度量，以及与所述相似性度量相关的所述比较的结果，对所述当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；根据所述深度信息值候选的所述更新相似性度量或所述深度信息值候选的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定是否选择所述深度信息值候选作为所述当前处理片段的深度信息值。

Description

图像处理装置和方法
技术领域
本发明涉及一种图像处理装置和方法。具体而言，本发明涉及一种用于为数字图像的片段选择深度信息值的图像处理装置和方法。
背景技术
在为数字图像的给定片段，例如数字图像的一个像素或一组像素，估计视差或深度(本文中统称为深度信息值)的许多已知算法中，从考虑范围内的一组深度信息值中选择该深度信息值作为最佳深度信息值。选择常通过以下方式进行：参照当前处理片段的深度信息值d将成本函数Ccurrent(d)最小化。
该成本函数可以是一个纯粹的局部片段匹配误差Mcurrent(d)，如D.Scharstein和R.Szeliski在2002年的国际计算机视觉杂志(International Journal of ComputerVision)第47卷7-42页发表的“(A taxonomy and evaluation of dense two-framestereo correspondence algorithms)”等中描述的众所周知的“胜者全拿(Winner-Takes-All，WTA)算法”中的局部片段匹配误差或匹配成本。
Figure BDA0001523738410000011
其中，
Figure BDA0001523738410000012
表示深度信息值d的选择，方括号中的表达式对于该深度信息值最小。
图像中片段的位置(x,y)的匹配误差Mcurrent(d)以及与该片段相关的深度信息值d通常使用误差函数来计算，确定位置(x,y)中的图像I的值与位置(x+d,y)中的参考图像Iref(或多个图像)的值之间的差。通常，术语图像的值是指纹理图像的颜色通道或亮度值，但是也可加上水平和垂直梯度。常用的误差函数是由以下等式(2)给出的绝对差异和(sum ofabsolute difference，SAD)或者由以下等式(3)给出的平方差异和(sum of squareddifference，SSD)(参见例如H.Hirschmueller和D.Scharstein在2007年的IEEE计算机视觉和模式识别会议上发表的“用于立体匹配的成本函数的评估(Evaluation of CostFunctions for Stereo Matching)”)：
Mcurrent(d)＝SAD(I(x，y)，Iref(x+d，y))＝|I(x，y)-Iref(x+d，y)| (2)
Mcurrent(d)＝SSD(I(x，y)，Iref(x+d，y))＝(I(x，y)-Iref(x+d，y)) (3)
在更高级的算法中(如在维特比、前向或置信传播算法中，这些算法同样在上文引用的D.Scharstein和R.Szeliski的文章中描述)，使用更复杂的成本函数Ccurrent(d)对产生的深度信息值进行最小化和选择。在这种情况下，Ccurrent(d)通常是Mcurrent(d)与转换成本函数T的最小卷积之和，其中成本涉及邻近片段中的所有考虑在内的深度信息值，即，还包括平滑项。在前向和维特比算法中，邻近片段是已经经过处理来获得它们的深度信息值d的那些片段，因此给定深度信息值d的Ccurrent(d)累积了针对当前处理片段(通过脚标“current”指定)的深度信息值估计而考虑的所有先前处理片段(通过脚标“prev”指定)的成本。
Figure BDA0001523738410000021
其中，Mcurrent(d)是如前所述的深度信息值d的局部片段匹配误差，Cprev(d)是针对深度信息值d的先前处理片段的成本，T(q，d)是双参数转换成本函数(从深度信息值q变为深度信息值d的成本)，运算符
Figure BDA0001523738410000022
表示最小卷积，定义如下：
Figure BDA0001523738410000023
其中，minq表示关于q的最小值，q和d都在深度信息值的考虑范围(其通常根据在考虑范围内的视觉影像的参数，即到照相机的物距，来先验设置)内。从文献获知的一种示例性转换成本函数是Potts模型：
Figure BDA0001523738410000024
为针对当前处理片段的深度信息值估计而考虑的所有深度信息值d计算当前片段的成本Ccurrent(d)。
在置信传播算法中，可以在对算法多次迭代之后进行片段的深度信息值的最终选择。
在前向算法中，基于累积成本
Figure BDA0001523738410000025
即时决定对深度信息值的选择。
在维特比算法中，深度信息值的最终选择推迟到回溯法的额外一次递回，其在获知所有成本值时执行。
当前已知算法提供估计深度信息值的高保真度，具体来说是视差值或深度值的高保真度，在计算上较复杂并且不适合在移动设备上等进行实时处理。另一方面，当前已知的能够在移动设备上等实时估计深度信息值的简单深度信息值估计算法所获得的结果的保真度有限。
因此，需要一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。
发明内容
本发明的目的是提供一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。
该目的由独立权利要求的特征来实现。更多实施方式从从属权利要求、描述内容和附图中显而易见。
根据第一方面，本发明涉及一种为当前处理数字图像的当前处理片段集合或组中的当前处理片段子集或层选择多个深度信息值的图像处理装置。所述图像处理装置包括：信号处理逻辑，用于通过以下方式来并行处理所述当前处理片段集合中的所述当前处理片段：基于多个深度信息值候选为每个当前处理片段计算多个相似性度量，其中所述多个深度信息值候选中的每个深度信息值候选定义数字参考图像的一个参考片段候选；以及用于通过以下方式来并行处理所述当前处理片段子集中的所述当前处理片段：针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的一个深度信息值候选与先前选定深度信息值进行比较；基于所述相似性度量或进一步处理的相似性度量，以及与所述相似性度量相关的所述深度信息值候选和所述先前选定深度信息值之间的比较结果，对所述当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；以及根据所述深度信息值候选的所述更新相似性度量或所述深度信息值候选的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定是否选择所述深度信息值候选作为所述当前处理片段的所述深度信息值。
所述信号处理逻辑可以是处理器，例如，多用途处理器或数字信号处理器(digital signal processor，DSP)、ASIC、FPGA、CPU、GPU等等。所述深度信息值可以是深度值、视差值，或者表示深度值或视差值的标记或标签，等等。所述片段可以是所述当前数字图像和所述数字参考图像的一个像素或一组像素，等等。
根据如上所述本发明第一方面，在第一可能实施形式中，所述信号处理逻辑用于通过以下方式对所述当前处理片段子集中的每个当前处理片段应用所述更新函数：针对所述当前处理片段子集中的每个当前处理片段，将加权函数应用到所述计算出的相似性度量以获得所述更新相似性度量。
根据如上所述本发明第一方面，在第二可能实施形式中，所述信号处理逻辑用于：为所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且根据所述多个相似性度量为所述当前处理片段集合中的每个当前处理片段确定初始深度信息值；以及所述信号处理逻辑用于：对所述当前处理片段子集中的每个当前处理片段应用所述更新函数，以便仅为所述多个深度信息值候选中的等于所述初始深度信息值或所述先前选定深度信息值的那些深度信息值候选获得更新相似性度量，其中所述更新函数是加权函数。
根据如上所述本发明第一方面或其所述第一或第二实施形式，在第三可能实施形式中，所述多个相似性度量中的每个相似性度量是一个匹配成本，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配成本，其中配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则所述匹配成本增加，和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配成本保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值的情况，所述匹配成本仅较小程度地增加。
根据本发明所述第一方面的所述第三实施形式，在第四可能实施形式中，配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述更新匹配成本；和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述更新匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
根据如上所述本发明第一方面或其所述第一至第四实施形式中的任一项，在第五可能实施形式中，所述多个相似性度量中的每个相似性度量是一个匹配概率，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配概率，其中配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则所述匹配概率降低，和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配概率保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值的情况，所述匹配概率仅较小程度地降低。
根据本发明所述第一方面的所述第五实施形式，在第六可能实施形式中，配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述更新匹配概率；和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述更新匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
根据如上所述本发明第一方面，在第七可能实施形式中，所述信号处理逻辑用于：为所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且通过将处理函数应用到每个相似性度量来为每个相似性度量获得进一步处理的相似性度量；所述信号处理逻辑用于：对所述当前处理片段子集中的每个当前处理片段应用所述更新函数，以便仅为所述多个深度信息值候选中的等于所述先前选定深度信息值的那些深度信息值候选获得更新相似性度量，其中所述更新函数是加权函数；以及所述信号处理逻辑用于：根据所述深度信息值候选的所述更新相似性度量或所述深度信息值候选的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定是否选择所述深度信息值候选作为所述当前处理片段的所述深度信息值。
根据如上所述本发明第一方面的所述第七实施形式，在第八可能实施形式中，所述多个相似性度量中的每个相似性度量是一个匹配成本，多个进一步处理的相似性度量中的每个进一步处理的相似性度量是一个进一步处理的匹配成本，其中，配置所述处理函数使得所述匹配成本增加，配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则所述匹配成本增加，和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配成本保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值的情况，所述匹配成本仅较小程度地增加。
根据如上所述本发明第一方面的所述第八实施形式，在第九可能实施形式中，配置所述处理函数使得所述匹配成本通过以下方式增加：将匹配成本补偿添加到所述匹配成本以获得所述进一步处理的匹配成本，或者将所述匹配成本与匹配成本补偿相乘以获得所述进一步处理的匹配成本；其中配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述更新匹配成本；和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述更新匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
根据如上所述本发明第一方面的所述第七实施形式，在第十可能实施形式中，所述多个相似性度量中的每个相似性度量是一个匹配概率，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配概率，其中，配置所述处理函数使得所述匹配概率降低，配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则所述匹配概率降低，和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配概率保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值的情况，所述匹配概率仅较小程度地降低。
根据如上所述本发明第一方面的所述第十实施形式，在第十一可能实施形式中，配置所述处理函数使得所述匹配概率通过以下方式降低：将匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以匹配概率补偿以获得所述更新匹配概率；其中配置所述加权函数使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选不同于所述先前选定深度信息值，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述更新匹配概率；和/或使得：如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选和所述先前选定深度信息值相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述更新匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
根据如上所述本发明第一方面或其第一至第十一实施形式中的任一项，在第十二可能实施形式中，所述多个相似性度量中的每个相似性度量是一个匹配成本，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配成本，其中所述信号处理逻辑用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为所述片段选择所述深度信息值，其中所述多个相似性度量是针对具有最小加权匹配成本的片段计算的；或者所述多个相似性度量中的每个相似性度量是一个匹配概率，多个加权相似性度量中的每个加权相似性度量是一个加权匹配概率，其中所述信号处理逻辑用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为所述片段选择所述深度信息值，其中所述多个相似性度量是针对具有最大加权匹配概率的片段计算的。
根据如上所述本发明第一方面或其第一至第十二实施形式中的任一项，在第十三可能实施形式中，所述信号处理逻辑用于：针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的所述深度信息值候选与围绕所述先前选定深度信息值的范围内的深度信息值进行比较；以及根据围绕所述先前选定深度信息值的所述范围内是否有任一所述深度信息值与跟每个相似性度量有关的所述相关深度信息值候选相同，对所述当前处理片段子集中的每个当前处理片段应用所述更新函数以获得更新相似性度量。
根据第二方面，本发明涉及一种为当前处理数字图像的当前处理片段集合或组中的当前处理片段子集或层选择多个深度信息值的图像处理方法。所述图像处理方法包括以下步骤：通过以下方式来并行处理所述当前处理片段集合中的所述当前处理片段：基于多个深度信息值候选为每个当前处理片段计算多个相似性度量，其中所述多个深度信息值候选中的每个深度信息值候选定义数字参考图像的一个参考片段候选；以及通过以下方式来并行处理所述当前处理片段子集中的所述当前处理片段：针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的一个深度信息值候选与先前选定深度信息值进行比较；基于所述相似性度量或进一步处理的相似性度量，以及与所述相似性度量相关的所述深度信息值候选和所述先前选定深度信息值之间的所述比较，对所述当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；根据所述深度信息值候选的所述更新相似性度量或所述深度信息值候选的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定是否选择所述深度信息值候选作为所述当前处理片段的所述深度信息值。
根据本发明所述第二方面的所述图像处理方法可由根据本发明所述第一方面的所述图像处理装置来执行。根据本发明所述第二方面的所述图像处理方法的更多特征从根据本发明所述第一方面的所述图像处理装置的功能和其不同实施形式直接得到。
根据第三方面，本发明涉及一种包括程序代码的计算机程序，所述计算机程序在计算机上执行时用于执行根据本发明第二方面所述的方法。
本发明可以在硬件和/或软件中实施。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1所示为根据一实施例的图像处理装置的示意图；
图2所示为根据一实施例的图像处理方法的示意图；
图3所示为根据一实施例的图示在图像处理装置中实施的并行处理算法的示意图；
图4所示为根据一实施例的在图像处理装置中实施的一种算法的流程图；
图5所示为根据一实施例的在图像处理装置中实施的一种算法的流程图；
图6所示为根据一实施例的在图像处理装置中实施的一种算法的流程图。
在各附图中，相同的或至少功能等同的特征使用相同的参考标号。
具体实施方式
以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
应理解，关于所描述方法的公开还可以适用于执行所述方法的对应设备或系统，反之亦然。例如，如果描述了特定方法步骤，则对应设备或装置可以包括用于执行所描述的方法步骤的单元，即使此类单元没有在图中明确描述或图示。此外，应理解，本文所描述的各种示例性方面的特征可以相互组合，除非另外明确说明。
图1所示为根据一实施例的图像处理装置100的示意图。图像处理装置100用于为当前处理数字图像的当前处理片段集合或组中的当前处理片段子集或层选择多个深度信息值dbest,1-F。深度信息值dbest,1-F可以是深度值、视差值，或者表示深度值或视差值的标记或标签，等等。当前处理片段可以是数字图像的一些当前处理像素或多组当前处理像素，等等。
图像处理装置100包括信号处理逻辑101。信号处理逻辑101用于通过以下方式来并行处理当前处理片段集合中的当前处理片段：基于多个深度信息值候选为每个当前处理片段计算多个相似性度量，其中多个深度信息值候选中的每个深度信息值候选di定义数字参考图像的一个参考片段候选，以及用于通过以下方式来并行处理当前处理片段子集中的当前处理片段：针对当前处理片段子集中的每个当前处理片段，将多个深度信息值候选中的一个深度信息值候选di与先前选定深度信息值dprev进行比较；基于相似性度量或进一步处理的相似性度量，以及与相似性度量相关的深度信息值候选di和先前选定深度信息值dprev之间的比较的结果，对当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；根据深度信息值候选di的更新相似性度量或深度信息值候选di的进一步处理的相似性度量，为当前处理片段子集中的每个当前处理片段确定是否选择深度信息值候选di作为当前处理片段的深度信息值dbest。
信号处理逻辑101可以是处理器，例如，多用途处理器或数字信号处理器(digitalsignal processor，DSP)、ASIC、FPGA、CPU、GPU等等。如下文将进一步详述，相似性度量可以是匹配成本或匹配概率等，其中，匹配成本是指示当前处理片段与参考片段之差的度量且随着差的不断增加而增加；匹配概率是指示当前处理片段与参考片段匹配的可能性/概率的度量且随着差的不断增加而降低。
在一实施例中，图像处理装置100包括用于存储先前选定深度信息值dprev的存储器103。
图2示出了为当前处理数字图像的当前处理片段集合或组中的当前处理片段子集或层选择多个(例如，F个)深度信息值dbest,1-F的图像处理方法200的示意图。图像处理方法包括以下步骤。作为并行处理当前处理片段集合中的当前处理片段的步骤201的一部分，步骤201a基于多个深度信息值候选为每个当前处理片段计算多个相似性度量，其中多个深度信息值候选中的每个深度信息值候选di定义数字参考图像的一个参考片段候选。作为并行处理当前处理片段子集中的当前处理片段的步骤203的一部分，步骤203a针对当前处理片段子集中的每个当前处理片段，将多个深度信息值候选中的一个深度信息值候选di与先前选定深度信息值dprev进行比较；步骤203b基于相似性度量或进一步处理的相似性度量，以及与相似性度量相关的深度信息值候选di和先前选定深度信息值dprev之间的比较，对当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；步骤203c根据深度信息值候选di的更新相似性度量或深度信息值候选di的进一步处理的相似性度量，为当前处理片段子集中的每个当前处理片段确定是否选择深度信息值候选di作为当前处理片段的深度信息值dbest。
下文描述图像处理装置100和图像处理方法200的更多实施形式和实施例。
在一实施例中，信号处理逻辑101用于通过以下方式对当前处理片段子集中的每个当前处理片段应用更新函数：针对当前处理片段子集中的每个当前处理片段，将加权函数应用到计算出的相似性度量以获得更新相似性度量。
在一实施例中，相似性度量是匹配成本，更新相似性度量是更新匹配成本。更具体地，如果给定深度信息值候选与为先前处理片段选择的深度信息值dprev不同，则有条件地将给定图像片段和深度信息值候选d的更新匹配成本Ccurrent(d)定义为图像片段匹配成本Mcurrent(d)与常量penalty值之和，即：
Figure BDA0001523738410000071
在一实施例中，匹配成本Mcurrent(d)可以是由上述等式(2)给出的绝对差异和(sumof absolute difference，SAD)或者由上述等式(3)给出的平方差异和(sum of squareddifference，SSD)，等等。
在一实施例中，在上述等式(7)中定义的penalty值可以“实验式地”确定。依照经验法则，其值应与被处理图像的相似性度量，例如匹配成本Mcurrent(d)，中呈现的噪声电平相当。
图3所示为图示在根据一实施例的图像处理装置，例如图1所示的图像处理装置100，中实施的并行处理算法的示意图。更具体来说，图3所示为包括当前处理片段的第一示例性集合或组301以及当前处理片段的第二示例性集合或组303的当前处理数字图像300的一部分。在图3所示的示例性实施例中，片段对应当前处理数字图像300的像素，其中每个像素通过其x和y坐标定义，例如数字图像300左上角的坐标(0,0)处的像素。当前处理片段/像素的第一示例性集合或组301包括当前处理片段/像素的三个示例性子集或层，即，子集301a、301b和301c。同样地，当前处理片段/像素的第二示例性集合或组303包括当前处理片段/像素的三个示例性子集，即，子集303a、303b和303c。
在一实施例中，图1所示的图像处理装置100的信号处理逻辑101用于通过基于多个深度信息值候选di为每个片段计算多个匹配成本Mcurrent(di)来并行处理第一集合或组301中的片段。在一实施例中，这些匹配成本Mcurrent(di)可以存储在图像处理装置的存储器103中。在一实施例中，信号处理逻辑可以用于通过基于多个深度信息值候选di为每个片段计算多个匹配成本Mcurrent(di)来同时还并行处理第二集合或组303中的片段。
通过为每个片段计算多个匹配成本来并行处理第一集合或组301(还可能有第二集合或组303)中的片段之后，在一实施例中，信号处理逻辑101用于通过以下方式来并行处理第一集合或组301的子集或层301a中的片段：针对子集或层301a中的每个片段，例如图3所示的示例性像素(0,0)、(0,1)和(0,2)，将与每个匹配成本Mcurrent(di)相关的深度信息值候选di和先前选定深度信息值dprev进行比较。例如，针对子集或层301a中的每个片段的每个深度信息值候选di，基于di与dprev之间的比较，将上述等式(7)中定义的成本函数Ccurrent(di)应用到匹配成本Mcurrent(di)以获得更新匹配成本。如本领域技术人员将认识到的那样，上述等式(7)中定义的成本函数Ccurrent(di)对深度信息值候选di而非dprev进行补偿。
在一实施例中，信号处理逻辑101还用于：基于更新匹配成本，即成本函数Ccurrent(di)，为子集或层301a中的每个片段，例如图3所示的示例性像素(0,0)、(0,1)和(0,2)，选择具有最小更新匹配成本的深度信息值候选di作为深度信息值dbest，即，
Figure BDA0001523738410000081
在一实施例中，信号处理逻辑101用于：在以同样的方式处理片段的子集或层301b之前，将为子集或层301a中的片段选择的深度信息值dbest存储到存储器103中。在一实施例中，信号处理逻辑101用于：使用为子集或层301a中的片段选择的一个或多个深度信息值dbest作为先前选定深度信息值dprev，用于并行处理子集或层301b中的片段(以及并行处理子集或层301c中的片段)。
在一实施例中，信号处理逻辑101用于通过以下方式来并行处理第一集合或组301中的片段：为当前处理片段集合或组301中的片段计算多个匹配成本Mcurrent(di)，以及根据多个匹配成本Mcurrent(di)，即，在不通过成本函数Ccurrent(di)进行“补偿”的情况下，为每个片段确定一个初始深度信息值
Figure BDA0001523738410000082
在本实施例中，初始深度信息值
Figure BDA0001523738410000083
通过
Figure BDA0001523738410000091
给出。在本实施例中，信号处理逻辑101还用于通过以下方式来并行处理第一集合或组301的子集或层301a或者子集或层301b等中的片段：针对当前处理片段的子集或层301a中的每个当前处理片段，对匹配成本Mcurrent(d)应用形式为成本函数Ccurrent(di)的更新函数，以便仅为多个深度信息值候选di中的等于初始深度信息值
Figure BDA0001523738410000092
或等于P个先前选定深度信息值dprev，k的集合的那些深度信息值候选获得更新匹配成本Ccurrent(di)。基于更新匹配成本Ccurrent(di)，信号处理逻辑101用于选择具有最小更新匹配成本的深度信息值候选di作为深度信息值dbest：
Figure BDA0001523738410000093
如本领域技术人员将认识到的那样，使用上述等式(7)中定义的补偿成本函数产生了一实施例，在该实施例中，在对层进行并行处理期间要执行的计算非常简单，即：
Figure BDA00015237384100000910
Figure BDA00015237384100000911
在一实施例中，信号处理逻辑101用于通过以下方式来并行处理第一集合或组301中的片段：为当前处理片段集合或组301中的每个当前处理片段计算多个匹配成本Mcurrent(di)，以及将处理函数应用到每个匹配成本Mcurrent(di)以便为每个匹配成本Mcurrent(di)获得一个进一步处理的匹配成本
Figure BDA0001523738410000094
在一实施例中，处理函数用于将上述等式(7)中定义的补偿值添加到与深度信息值候选di无关的任意匹配成本Mcurrent(di)中。在本实施例中，可以使用进一步处理的匹配成本
Figure BDA0001523738410000095
来为当前处理片段集合或组301中的每个当前处理片段计算初始深度信息值
Figure BDA0001523738410000096
在本实施例中，信号处理逻辑101还用于通过以下方式来并行处理第一集合或组301的子集或层301a或者子集或层301b等中的片段：针对当前处理片段子集中的每个当前处理片段，例如第一集合或组301的子集或层301a或者子集或层301b中的片段，对匹配成本Mcurrent(di)应用形式为成本函数Ccurrent(di)的更新函数，以便仅为多个深度信息值候选中的等于先前选定深度信息值dprev，k的那些深度信息值候选di获得更新匹配成本Ccurrent(di)；以及根据深度信息值候选di的更新匹配成本Ccurrent(di)或深度信息值候选di的进一步处理的相似性度量
Figure BDA0001523738410000097
为当前处理片段子集中的每个当前处理片段确定是否选择深度信息值候选di作为当前处理片段的深度信息值dbest。在一实施例中，信号处理逻辑101用于基于以下等式选择深度信息值dbest：
Figure BDA0001523738410000098
如本领域技术人员将认识到的那样，使用上述等式(7)中定义的补偿成本函数产生了一实施例，在该实施例中，在对层进行并行处理期间要执行的计算非常简单，即：
Figure BDA0001523738410000099
图4所示为一种算法的流程图，其可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，用于通过一种计算效率高的方式为片段子集或层中的单个片段确定深度信息值dbest。
在本实施例中，考虑具有N个合适深度信息值候选的集合di∈{d0，d1，...，dN-1}，其中i是各个深度信息值候选索引，i＝0,…,N-1。在图4中的初始化步骤401和403之后，针对每个合适深度信息值候选di(图4的步骤407)，(使用形式为局部片段匹配成本Mcurrent(d)的相似性度量)计算更新匹配成本Ccurrent(di)并将其分配给cost变量(图4的步骤407)。将深度信息值候选di与先前选定深度信息值dprev进行比较(图4的步骤409)。如果深度信息值候选di与先前选定深度信息值dprev相等，则将cost变量的值，即深度信息值候选di的成本，直接与costbest变量的值进行比较，costbest变量表示迄今为止为当前处理片段相对于先前处理深度信息值候选确定的最佳或最低成本。如果深度信息值候选di与先前选定深度信息值dprev不相等，则将补偿值添加到cost变量的值中以获得补偿成本值，补偿成本值被分配给cost变量(图4的步骤411)并与costbest变量的值进行比较。如果cost变量的值小于等于costbest变量的值(图4的步骤413)，则将当前深度信息值候选di分配给变量dbest，变量dbest表示迄今为止为当前片段相对于先前处理深度信息值候选确定的最佳深度信息值，并将cost变量的值分配给costbest变量(图4的步骤415)。如果cost变量的值大于costbest变量的值，则保持变量dbest和costbest，即，不改变或更新。然后，增大深度信息值候选索引i(图4的步骤417)，并针对新的当前深度信息值候选索引i执行以上步骤。
在一实施例中，对于第一次迭代，即，例如当i＝0时，可省略cost变量与costbest变量的值之间的比较，costbest变量的值可正好设为针对深度信息值候选d0计算出的成本值，dbest变量的值可正好设为深度信息值候选d0。换言之，在如图4所示的搜索循环400a中，在所有深度信息值候选di中找到最小加权匹配成本Ccurrent(di)并将其写到costbest变量中。对应最佳深度信息值d存储在dbest中并被提供给输出。
一旦所有深度信息值候选都在循环400a内进行了处理，就输出最终dbest作为深度信息值(图4的步骤419)。
图5所示为又一算法的流程图，其可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，用于通过一种计算效率高的方式为片段子集或层中的单个片段确定深度信息值dbest。
在图4的上下文中描述的算法中，所有合适的深度信息值候选都同等考虑，因此在没有任何特定顺序(例如，根据它们从0至N-1的索引i)的情况下进行处理。
在图5所示的算法中，在部分500a中对深度信息值的搜索重新排序，以便先处理先前选定深度信息值dprev(图5的步骤501)。计算更新匹配成本Ccurrent(dprev)，其等于其匹配成本Mcurrent(dprev)，因为没有penalty增加到与先前深度信息值dprev相关的匹配成本中(图5的步骤501)。图5的步骤503定义更新条件，即，如果计算出的匹配成本Mcurrent(dprev)小于(或者小于等于)penalty值，则跳过深度信息值搜索循环500b。在这种情况下，将dprev(也被分配给dbest)立即提供给输出(图5的步骤521)。跳过深度信息值搜索循环500b使计算复杂度大大降低。因为循环500b与图4所示算法的循环400a相同，所以参考上文对循环400a的步骤403至411的详细描述，步骤403至411对应图5的步骤505至513。
如本领域技术人员将认识到的那样，在图4和图5所示的算法中，仅使用单个先前选定深度信息值dprev来计算深度信息值候选的更新相似性度量。但是，如上文所述，本发明还涵盖如下实施例：考虑多个先前选定深度信息值并使用这些先前选定深度信息值来计算更新相似性度量。例如，在本发明的实施例中，可以如下使用具有P个先前选定深度信息值
Figure BDA00015237384100001110
的集合来计算更新相似性度量：
Figure BDA0001523738410000111
在一实施例中，通过与为一个或多个先前处理片段选择的先前选定深度信息值相似但未必相同的深度信息值来扩展具有P个先前选定深度信息值
Figure BDA00015237384100001111
的集合。例如，在图4所示实施例的情况下，仅考虑单个先前选定深度信息值dprev，具有P个先前选定深度信息值的集合可以扩展为：
{dprev-m，...，dprev-1，dprev，dprev+1，...，dprev+n}， (10)
其中值m和n可以预定义或调整。
图6所示为又一算法的流程图，其可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，用于通过一种计算效率高的方式为片段子集或层中的单个片段确定深度信息值dbest。图6所示的实施例是图5所示实施例的变体，用于先前选定深度信息值
Figure BDA0001523738410000115
的扩展集合。在这一实施例中，首先考虑来自先前处理片段的P个先前选定深度信息值的示例性集合
Figure BDA0001523738410000112
(参见图6的循环600a)。找到具有最小更新匹配成本
Figure BDA0001523738410000113
的最佳
Figure BDA0001523738410000114
(参见图6的步骤601至613)，如果其更新匹配成本小于(或者小于等于)penalty值，则依据图6的步骤615中定义的跳过条件的结果来跳过又一深度信息值搜索循环600b。
如果最小更新匹配成本不小于(或者不小于等于)penalty值，则将通过以下方式执行图6的循环600b：以预先确定的顺序处理来自先前处理片段的P个先前选定深度信息值的集合
Figure BDA0001523738410000116
将更新匹配成本
Figure BDA0001523738410000117
小于(或者小于等于)penalty值的第一深度信息值
Figure BDA0001523738410000118
输出为当前片段的dbest，并跳过又一深度信息搜索。如果P个先前选定深度信息值
Figure BDA0001523738410000119
的更新匹配成本都不小于(或者都不小于等于)penalty值，则使用循环600b来确定当前处理片段的dbest。因为循环600b与图4所示实施例的循环400a基本相同，所以参考上文对循环400a的步骤403至411的详细描述，步骤403至411对应图6的步骤617至631。
在上述若干实施例中，更新函数是加权函数，相似性度量是匹配成本，加权函数所产生的更新相似性度量是更新匹配成本，其中，将补偿添加到匹配成本中，并且从深度信息值候选中选择具有最小更新匹配成本的深度信息值。
在一实施例中，更新函数是加权函数，相似性度量是匹配成本，更新相似性度量是更新匹配成本，其中配置加权函数使得：如果深度信息值候选与先前选定深度信息值相同，则匹配成本保持不变，或者相比于深度信息值候选不同于先前选定深度信息值的情况，匹配成本仅较小程度地增加。
在本发明一实施例中，更新函数是加权函数，配置加权函数使得：如果深度信息值候选不同于先前选定深度信息值，则通过以下方式来增加匹配成本：将匹配成本与第一匹配成本补偿相乘以获得更新匹配成本；和/或使得：如果深度信息值候选和先前选定深度信息值相同，则匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到匹配成本以获得更新匹配成本，或者将匹配成本与第二匹配成本补偿相乘以获得更新匹配成本，其中第二匹配成本补偿小于第一匹配成本补偿。
在本发明一实施例中，更新函数是加权函数，相似性度量是匹配概率，更新相似性度量是更新匹配概率，其中配置加权函数使得：如果深度信息值候选不同于先前选定深度信息值，则匹配概率降低；和/或使得：如果深度信息值候选与先前选定深度信息值相同，则匹配概率保持不变，或者相比于深度信息值候选不同于先前选定深度信息值的情况，匹配降低仅较小程度地降低。在一实施例中，配置加权函数使得：如果深度信息值候选不同于先前选定深度信息值，则通过以下方式来降低匹配概率：将第一匹配概率补偿从匹配概率减去以获得更新匹配概率，或者将匹配概率除以第一匹配概率补偿以获得更新匹配概率；和/或使得：如果深度信息值候选与先前选定深度信息值相同，则匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从匹配概率减去以获得更新匹配概率，或者将匹配概率除以第二匹配概率补偿以获得更新匹配概率，其中第一匹配概率补偿大于第二匹配概率补偿。
在一实施例中，更新函数是加权函数，相似性度量是匹配概率，信号处理逻辑103用于从深度信息值候选集中的深度信息值候选中选择具有最大更新匹配概率的深度信息值。
在一实施例中，更新函数是加权函数，相似性度量是基于Bhattacharayya系数的匹配概率，其指示两种分布的相似概率并且为本领域技术人员所知晓。在一替代性实施例中，相似性度量是匹配概率，其通过以下方式从匹配成本推导出：定义与诸如exp(-"匹配成本")或相似方程式成正比的匹配概率。在一实施例中，匹配概率归一化于[0,1]的范围内。
本发明的实施例同时提供了以下优势。
本发明实施例支持重用用于确定匹配成本Mcurrent(di)的计算。本发明实施例支持两个处理方向的并行化，即，水平和垂直并行化。这两个方向的并行化的协同作用支持更有效的处理，例如，可以重用匹配成本(SAD/SSD)的更多像素子分量的计算。
实施例的一个实际应用示例是图3所示算法中的并行实施，在该算法中，并行处理2×10(水平×垂直)＝20个像素。计算匹配成本与重用像素子分量并行进行，因此(与没有并行化的500个像素子分量相比)仅需计算块匹配和的(5+2-1)×(5+10-2)＝84个像素子分量。因此，在Xilinx ARTIX-7FPGA上实施时，本发明实施例能够实现将所用硬件资源减少约50％。
本发明实施例可以在用于在计算机系统上运行的计算机程序中实现，至少包括当在诸如计算机系统等的可编程装置上运行时用于执行根据本发明的方法步骤的代码部分，或者使得可编程装置执行根据本发明的设备或系统的功能的代码部分。
计算机程序是指令列表，例如，特定的应用程序和/或操作系统。计算机程序例如可以包括以下一项或多项：子例程、函数、流程、对象方法、对象实现、可执行应用、小程序、服务器小程序、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其它指令序列。
计算机程序可以存储在计算机可读存储介质内部或通过计算机可读传输介质传输到计算机系统。全部或部分计算机程序可以在永久地、可移除地或远程地耦合至信息处理系统的瞬时性或非瞬时性计算机可读介质上提供。计算机可读介质可以包括，例如但不限于，任意数量的以下示例：磁存储介质，包括磁盘和磁带存储介质；光存储介质，例如光盘介质(例如，CD-ROM、CD-R等)和数字视频光盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，例如闪存、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲器或缓存、主存储器、RAM等；以及数据传输介质，包括计算机网络、点对点电信设备、载波传输介质，此处仅举几例。
计算机进程通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息，以及操作系统用来管理进程的执行的资源。操作系统(Operating System，OS)是管理计算机资源共享的软件，并为程序员提供用于访问这些资源的接口。操作系统处理系统数据和用户输入，并通过分配及管理任务和内部系统资源作为服务对系统的用户和程序进行响应。
计算机系统例如可以包括至少一个处理单元、关联存储器和多个输入/输出(input/output，I/O)设备。当执行计算机程序时，计算机系统根据计算机程序处理信息并通过I/O设备生成合成的输出信息。
本领域技术人员将意识到，各逻辑块之间的界限仅仅是说明性的，并且替代实施例可以合并逻辑块或电路元件，或者可以在各种逻辑块或电路元件上实行功能的替代分解。因此，应当理解，此处所描述的架构仅仅是示例性的，并且实际上，许多其它实现相同功能的架构也能够实现。
因此，实现相同功能的组件的任意布置是有效地“关联”，从而实现了所期望的功能。因此，不论是架构或是中间组件，此处组合以实现某个特定功能的任意两个组件可被视为相互“关联”，从而实现了所期望的功能。同样地，任意两个如此关联的组件也可被视为相互“可操作地连接”或“可操作地耦合”，以实现所期望的功能。
此外，本领域技术人员将意识到，以上所描述的操作之间的界限仅仅是说明性的。多个操作可以组合成单个操作，单个操作可以分布在附加操作中，操作可以以在时间上至少部分重叠的方式来执行。另外，替代实施例可以包括某个特定操作的多个示例，在各种其它实施例中可以改变操作的顺序。
此外，例如，其中的示例或部分可以，例如以任意合适类型的硬件描述语言，实现为物理电路的或可转换成物理电路的逻辑表示的软或代码表示。
此外，本发明不限于在不可编程硬件中实现的物理设备或单元，也可以应用于能够通过根据合适的程序代码进行操作来执行所期望的设备功能的可编程设备或单元，例如，大型主机、小型计算机、服务器、工作站、个人计算机、记事本、个人数字助理、电子游戏、汽车和其它嵌入式系统、蜂窝电话和各种其它无线设备，在本申请中通常表示为‘计算机系统’。
然而，其它修改、变形和替代也是可能的。应认为本说明书和附图具有说明性意义而非限制性意义。

Claims (12)

1.一种为当前处理数字图像的当前处理片段集合中的当前处理片段子集选择多个深度信息值的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括：
信号处理逻辑单元(101)，用于：
通过以下方式来并行处理所述当前处理片段集合中的所述当前处理片段：
基于多个深度信息值候选di为每个当前处理片段计算多个相似性度量，其中所述多个深度信息值候选中的每个深度信息值候选定义数字参考图像的一个参考片段候选；以及
通过以下方式来并行处理所述当前处理片段子集中的所述当前处理片段：
针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的一个深度信息值候选di与先前选定深度信息值dprev进行比较；
基于所述相似性度量或进一步处理的相似性度量，以及与所述相似性度量相关的所述深度信息值候选和所述先前选定深度信息值dprev之间的所述比较，对所述当前处理片段子集中的每个当前处理片段应用更新函数以获得更新相似性度量；其中，基于所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且通过将处理函数应用到每个相似性度量来为每个相似性度量获得所述进一步处理的相似性度量；
以及
根据所述深度信息值候选di的所述更新相似性度量或所述深度信息值候选di的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定是否选择所述深度信息值候选di作为所述当前处理片段的深度信息值dbest；
所述信号处理逻辑单元(101)用于：为所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且根据所述多个相似性度量为所述当前处理片段集合中的每个当前处理片段确定初始深度信息值
Figure FDA0002558385160000011
以及
所述信号处理逻辑单元(101)用于：对所述当前处理片段子集中的每个当前处理片段应用所述更新函数，以便仅为所述多个深度信息值候选中的等于所述初始深度信息值
Figure FDA0002558385160000012
或所述先前选定深度信息值dprev的那些深度信息值候选di获得更新相似性度量，其中所述更新函数是加权函数；
所述多个相似性度量中的每个相似性度量是一个匹配成本，多个更新相似性度量中的每个更新相似性度量是一个更新匹配成本，所述信号处理逻辑单元(101)用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为片段选择所述深度信息值dbest，其中所述多个相似性度量是针对具有最小加权匹配成本的片段计算的；或者
所述多个相似性度量中的每个相似性度量是一个匹配概率，多个加权相似性度量中的每个加权相似性度量是一个加权匹配概率，所述信号处理逻辑单元(101)用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为片段选择所述深度信息值dbest，其中所述多个相似性度量是针对具有最大加权匹配概率的片段计算的。
2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述信号处理逻辑单元(101)用于通过以下方式对所述当前处理片段子集中的每个当前处理片段应用所述更新函数：对所述当前处理片段子集中的每个当前处理片段应用加权函数以获得所述更新相似性度量。
3.根据权利要求2所述的图像处理装置(100)，其特征在于，所述多个相似性度量中的每个相似性度量是一个匹配成本，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配成本，配置加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则所述匹配成本增加，或者，
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配成本保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev的情况，所述匹配成本仅较小程度地增加。
4.根据权利要求3所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述更新匹配成本；或者，
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述更新匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
5.根据权利要求4所述的图像处理装置(100)，其特征在于，所述多个相似性度量中的每个相似性度量是一个匹配概率，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配概率，配置加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则所述匹配概率降低，或者，
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配概率保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev的情况，所述匹配概率仅较小程度地降低。
6.根据权利要求5所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述更新匹配概率；或者：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述更新匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
7.根据权利要求1所述的图像处理装置(100)，其特征在于：
所述信号处理逻辑单元(101)用于：对所述当前处理片段子集中的每个当前处理片段应用所述更新函数，以便仅为所述多个深度信息值候选中的等于所述先前选定深度信息值dprev的那些深度信息值候选di获得更新相似性度量，其中所述更新函数是加权函数。
8.根据权利要求7所述的图像处理装置(100)，其特征在于，所述多个相似性度量中的每个相似性度量是一个匹配成本，多个进一步处理的相似性度量中的每个进一步处理的相似性度量是一个进一步处理的匹配成本；配置所述处理函数使得所述匹配成本增加，配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则所述匹配成本增加，或者：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配成本保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev的情况，所述匹配成本仅较小程度地增加。
9.根据权利要求8所述的图像处理装置，其特征在于，配置所述处理函数使得所述匹配成本通过以下方式增加：将匹配成本补偿添加到所述匹配成本以获得所述进一步处理的匹配成本，或者将所述匹配成本与匹配成本补偿相乘以获得所述进一步处理的匹配成本；配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述更新匹配成本；或者：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述更新匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述更新匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
10.根据权利要求7所述的图像处理装置(100)，其特征在于，所述多个相似性度量中的每个相似性度量是一个匹配概率，所述多个更新相似性度量中的每个更新相似性度量是一个更新匹配概率；配置所述处理函数使得所述匹配概率降低，配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则所述匹配概率降低，或者，
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配概率保持不变，或者相比于与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev的情况，所述匹配概率仅较小程度地降低。
11.根据权利要求10所述的图像处理装置(100)，其特征在于，配置所述处理函数使得所述匹配概率通过以下方式降低：将匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以匹配概率补偿以获得所述更新匹配概率；配置所述加权函数使得：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di不同于所述先前选定深度信息值dprev，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述更新匹配概率；或者：
如果与所述多个相似性度量中的一个相似性度量相关的所述深度信息值候选di和所述先前选定深度信息值dprev相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述更新匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述更新匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
12.一种为当前处理数字图像的当前处理片段集合中的当前处理片段子集选择多个深度信息值的图像处理方法(200)，其特征在于，所述图像处理方法包括：
通过以下方式来并行处理(201)所述当前处理片段集合中的所述当前处理片段：
基于多个深度信息值候选为每个当前处理片段计算(201a)多个相似性度量，其中所述多个深度信息值候选中的每个深度信息值候选定义数字参考图像的一个参考片段候选；以及
通过以下方式来并行处理(203)所述当前处理片段子集中的所述当前处理片段：
针对所述当前处理片段子集中的每个当前处理片段，将所述多个深度信息值候选中的一个深度信息值候选与先前选定深度信息值进行比较(203a)；
基于所述相似性度量或进一步处理的相似性度量，以及与所述相似性度量相关的所述深度信息值候选和所述先前选定深度信息值之间的所述比较，对所述当前处理片段子集中的每个当前处理片段应用(203b)更新函数以获得更新相似性度量；其中，基于所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且通过将处理函数应用到每个相似性度量来为每个相似性度量获得所述进一步处理的相似性度量；以及
根据所述深度信息值候选的所述更新相似性度量或所述深度信息值候选的所述进一步处理的相似性度量，为所述当前处理片段子集中的每个当前处理片段确定(203c)是否选择所述深度信息值候选作为所述当前处理片段的深度信息值dbest；
所述处理(201)包括：
为所述当前处理片段集合中的每个当前处理片段计算多个相似性度量，并且根据所述多个相似性度量为所述当前处理片段集合中的每个当前处理片段确定初始深度信息值
Figure FDA0002558385160000041
以及
对所述当前处理片段子集中的每个当前处理片段应用所述更新函数，以便仅为所述多个深度信息值候选中的等于所述初始深度信息值
Figure FDA0002558385160000042
或所述先前选定深度信息值dprev的那些深度信息值候选di获得更新相似性度量，其中所述更新函数是加权函数；
所述处理(203)包括：所述多个相似性度量中的每个相似性度量是一个匹配成本，多个更新相似性度量中的每个更新相似性度量是一个更新匹配成本，信号处理逻辑单元(101)用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为片段选择所述深度信息值dbest，其中所述多个相似性度量是针对具有最小加权匹配成本的片段计算的；或者
所述多个相似性度量中的每个相似性度量是一个匹配概率，多个加权相似性度量中的每个加权相似性度量是一个加权匹配概率，信号处理逻辑单元(101)用于：针对当前处理片段子集中的每个片段，从与所述多个相似性度量相关的所述深度信息值候选中为片段选择所述深度信息值dbest，其中所述多个相似性度量是针对具有最大加权匹配概率的片段计算的。
CN201580081235.0A 2015-07-03 2015-07-03 图像处理装置和方法 Active CN107810521B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/065192 WO2017005275A1 (en) 2015-07-03 2015-07-03 An image processing apparatus and method

Publications (2)

Publication Number Publication Date
CN107810521A CN107810521A (zh) 2018-03-16
CN107810521B true CN107810521B (zh) 2020-10-16

Family

ID=53719746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081235.0A Active CN107810521B (zh) 2015-07-03 2015-07-03 图像处理装置和方法

Country Status (4)

Country Link
US (1) US10593056B2 (zh)
EP (1) EP3304489B1 (zh)
CN (1) CN107810521B (zh)
WO (1) WO2017005275A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020146240A1 (en) 2019-01-07 2020-07-16 Sun Chemical Corporation Water-soluble or dispersible polyester resins made from terephthalate plastic materials useful as dispersant resins for inks
CN113139115B (zh) * 2020-01-19 2024-09-24 北京沃东天骏信息技术有限公司 信息推荐方法、搜索方法、装置及客户端、介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117188B2 (en) * 1998-05-01 2006-10-03 Health Discovery Corporation Methods of identifying patterns in biological systems and uses thereof
US6633297B2 (en) * 2000-08-18 2003-10-14 Hewlett-Packard Development Company, L.P. System and method for producing an antialiased image using a merge buffer
US7444013B2 (en) * 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
US20060015494A1 (en) * 2003-11-26 2006-01-19 Keating Brett M Use of image similarity in selecting a representative visual image for a group of visual images
US20140321756A9 (en) * 2008-05-27 2014-10-30 Samsung Electronics Co., Ltd. System and method for circling detection based on object trajectory
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
US20100027845A1 (en) * 2008-07-31 2010-02-04 Samsung Electronics Co., Ltd. System and method for motion detection based on object trajectory
FR2936623B1 (fr) * 2008-09-30 2011-03-04 Canon Kk Procede de codage d'un document structure et de decodage, dispositifs correspondants
JP2010165100A (ja) * 2009-01-14 2010-07-29 Cellius Inc 画像生成システム、プログラム及び情報記憶媒体
US8994790B2 (en) * 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8615254B2 (en) * 2010-08-18 2013-12-24 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
WO2012126135A1 (en) * 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US20130229485A1 (en) * 2011-08-30 2013-09-05 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
US9259840B1 (en) * 2013-03-13 2016-02-16 Hrl Laboratories, Llc Device and method to localize and control a tool tip with a robot arm
US10055876B2 (en) * 2014-06-06 2018-08-21 Matterport, Inc. Optimal texture memory allocation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dense matching GPU implementation;Hailong Fu;《Hailong Fu》;20130101;第1-10页 *
Real-Time Accurate Stereo Matching using Modified Two-Pass Aggregation and Winner-Take-All Guided Dynamic Programming;Xuefeng Chang;《2011 International Conference on 3D Imaging, Modeling, Processing，Visualization and Transmission》;20110516;第73-79页 *

Also Published As

Publication number Publication date
WO2017005275A1 (en) 2017-01-12
US10593056B2 (en) 2020-03-17
EP3304489B1 (en) 2019-04-17
CN107810521A (zh) 2018-03-16
EP3304489A1 (en) 2018-04-11
US20180182119A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US9196021B2 (en) Video enhancement using related content
US10504234B2 (en) Image processing apparatus and method
TWI770432B (zh) 圖像復原方法、電子設備、儲存介質
CN109584179A (zh) 一种卷积神经网络模型生成方法及图像质量优化方法
CN107886516B (zh) 一种计算人像中发丝走向的方法及计算设备
CN111027438B (zh) 一种人体姿态的迁移方法、移动终端以及计算机存储介质
KR102239588B1 (ko) 이미지 처리 방법 및 장치
CN107808394B (zh) 一种基于卷积神经网络的图像处理方法及移动终端
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
CN111260655B (zh) 基于深度神经网络模型的图像生成方法与装置
CN108960012B (zh) 特征点检测方法、装置及电子设备
CN107810521B (zh) 图像处理装置和方法
CN111868786A (zh) 跨设备监控计算机视觉系统
CN111754429A (zh) 运动矢量后处理方法和装置、电子设备及存储介质
CN114170558A (zh) 用于视频处理的方法、系统、设备、介质和产品
JP2014230283A (ja) ピクチャーを処理する方法および装置
CN111627036A (zh) 图像区域校正方法、装置、设备及存储介质
US9674543B2 (en) Method for selecting a matching block
EP4420342A1 (en) Image processing method and system for correcting colors of an input image representing a scene illuminated by multiple illuminants
US9679363B1 (en) System and method for reducing image noise
CN112200730B (zh) 图像滤波处理方法、装置、设备及存储介质
So et al. A fast exemplar-based image inpainting method using bounding based on mean and standard deviation of patch pixels
Kim et al. Pixel and patch reordering for fast patch selection in exemplar-based image inpainting
KR102056218B1 (ko) 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치
CN114155297A (zh) 一种物体位姿检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant