CN107810520A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN107810520A
CN107810520A CN201580081113.1A CN201580081113A CN107810520A CN 107810520 A CN107810520 A CN 107810520A CN 201580081113 A CN201580081113 A CN 201580081113A CN 107810520 A CN107810520 A CN 107810520A
Authority
CN
China
Prior art keywords
value
depth
information
candidate
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580081113.1A
Other languages
English (en)
Other versions
CN107810520B (zh
Inventor
亚采克·科涅奇
马雷克·多曼斯基
奥尔盖尔德·斯坦基耶维奇
克日什托夫·魏格纳
亚当·卢察克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107810520A publication Critical patent/CN107810520A/zh
Application granted granted Critical
Publication of CN107810520B publication Critical patent/CN107810520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理装置(100)。所述图像处理装置(100)包括：存储器(101)，用于存储为先前处理片段选择的先前选定深度信息值(dprev)；以及信号处理逻辑(103)。所述信号处理逻辑(103)用于：基于定义数字参考图像的参考片段候选的深度信息值候选，计算所述当前片段的相似性度量；将所述深度信息值候选与所述先前选定深度信息值(dprev)进行比较；基于所述深度信息值候选与所述先前选定深度信息值(dprev)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及根据所述深度信息值候选的所述加权相似性度量，确定是否选择所述深度信息值候选作为所述当前片段的所述深度信息值((dbest)。

Description

图像处理装置和方法
技术领域
本发明涉及一种图像处理装置和方法。具体而言，本发明涉及一种用于为数字图像的片段选择深度信息值的图像处理装置和方法。
背景技术
在为数字图像的给定片段，例如数字图像的一个像素或一组像素，估计视差或深度(本文中统称为深度信息值)的许多已知算法中，从考虑范围内的一组深度信息值中选择该深度信息值作为最佳深度信息值。选择常通过以下方式进行：参照当前处理片段的深度信息值d将成本函数Ccurrent(d)最小化。
该成本函数可以是一个纯粹的局部片段匹配误差或匹配成本Mcurrent(d)，如D.Scharstein和R.Szeliski在2002年的国际计算机视觉杂志(International Journal ofComputer Vision)第47卷7-42页发表的“(A taxonomy and evaluation of dense two-frame stereo correspondence algorithms)”等中描述的众所周知的“胜者全拿(Winner-Takes-All，WTA)算法”中的局部片段匹配误差或匹配成本。
其中，表示深度信息值d的选择，方括号中的表达式对于该深度信息值最小。
图像中片段的位置(x，y)的匹配误差或匹配成本Mcurrent(d)以及与该片段相关的深度信息值d通常使用误差函数来计算，误差函数确定位置(x，y)中的图像I的值与位置(x+d，y)中的参考图像Iref(或多个图像)的值之间的差。通常，术语图像的值是指纹理图像的颜色通道或亮度值，但是也可加上水平和垂直梯度。常用的误差函数是由以下等式(2)给出的绝对差异和(sum ofabsolute difference，SAD)或者由以下等式(3)给出的平方差异和(sum of squared difference，SSD)(参见例如H.Hirschmueller和D.Scharstein在2007年的IEEE计算机视觉和模式识别会议上发表的“用于立体匹配的成本函数的评估(Evaluation of Cost Functions for Stereo Matching)”)：
Mcurrent(d)＝SAD(I(x，y)，Iref(x+d，y)＝|I(x，y)-Iref(x+d，y)| (2)
Mcurrent(d)＝SSD(I(x，y，Iref(x+d，y))＝(I(x，y)-Iref(x+d，y))2 (3)
在更高级的算法中(如在维特比、前向或置信传播算法中，这些算法同样在上文引用的D.Scharstein和R.Szeliski的文章中描述)，使用更复杂的成本函数Ccurrent(d)对产生的深度信息值进行最小化和选择。在这种情况下，Ccurrent(d)通常是Mcurrent(d)与转换成本函数T的最小卷积之和，其中成本涉及邻近片段中的所有考虑在内的深度信息值，即，还包括平滑项。在前向和维特比算法中，邻近片段是已经经过处理来获得它们的深度信息值d的那些片段，因此给定深度信息值d的Ccurrent(d)累积了针对当前处理片段(通过脚标“currengt”指定)的深度信息值估计而考虑的所有先前处理片段(通过脚标“prev”指定)的成本。
其中，Mcurrent(d)是如前所述的深度信息值d的局部片段匹配误差，Cprev(d)是针对深度信息值d的先前处理片段的成本，T(q，d)是双参数转换成本函数(从深度信息值q变为深度信息值d的成本)，运算符表示最小卷积，定义如下：
其中，minq表示关于q的最小值，q和d都在深度信息值的考虑范围(其通常根据在考虑范围内的视觉影像的参数，即到照相机的物距，来先验设置)内。从文献获知的一种示例性转换成本函数是Potts模型：
为针对当前处理片段的深度信息值估计而考虑的所有深度信息值d计算当前片段的成本Ccurrent(d)。
在置信传播算法中，可以在对算法多次迭代之后进行片段的深度信息值的最终选择。
在前向算法中，基于累积成本即时决定对深度信息值的选择。
在维特比算法中，深度信息值的最终选择推迟到回溯法的额外一次递回，其在获知所有成本值时执行。
当前已知算法提供估计深度信息值的高保真度，具体来说是视差值或深度值的高保真度，在计算上较复杂并且不适合在移动设备上等进行实时处理。另一方面，当前已知的能够在移动设备上等实时估计深度信息值的简单深度信息值估计算法所获得的结果的保真度有限。
因此，需要一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。
发明内容
本发明的目的是提供一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。
该目的由独立权利要求的特征来实现。更多实施方式从从属权利要求、描述内容和附图中显而易见。
根据第一方面，本发明涉及一种用于为当前数字图像的当前片段选择深度信息值的图像处理装置，其中所述图像处理装置包括：存储器，用于存储为相同或不同视图和/或相同或先前时间点的相同当前数字图像或先前处理数字图像的先前处理片段选择的先前选定深度信息值。
此外，所述图像处理装置包括信号处理逻辑。所述信号处理逻辑用于：基于定义数字参考图像的参考片段候选的深度信息值候选，计算所述当前片段的相似性度量；将所述深度信息值候选与所述先前选定深度信息值进行比较；基于所述深度信息值候选与所述先前选定深度信息值之间的比较结果，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及根据所述深度信息值候选的所述加权相似性度量，确定是否选择当前深度信息值候选作为所述当前片段的所述深度信息值。
通过基于当前片段的当前深度信息值候选与先前片段的先前选定/确定的深度信息值的比较对该相似性度量，例如匹配成本进行加权，本发明的第一方面提供了一种用于以强有力而计算效率高的方式确定当前处理片段的深度信息值的图像处理装置。
术语当前片段还可称为当前处理片段，术语当前数字图像还可称为当前处理数字图像，等等。
所述信号处理逻辑可以是处理器，例如，多用途处理器或数字信号处理器(digital signal processor，DSP)、ASIC、FPGA、CPU、GPU等等。所述深度信息值可以是深度值、视差值，或者表示深度值或视差值的标记或标签，等等。所述片段可以是所述当前数字图像和/或所述数字参考图像的一个像素或一组像素，等等。所述相似性度量可以是匹配成本或匹配概率等，其中所述匹配成本是指示所述当前片段与所述参考片段之差的度量且随着差的不断增加而增加，所述匹配概率是指示所述当前片段与所述参考片段匹配的可能性/概率的度量且随着差的不断增加而降低。所述先前处理片段可以是相同当前数字图像的或先前处理数字图像的，即从相同视图来看是指时间上在前的数字图像的，或者从不同视图来看是指相同或先前时间点的。
所述信号处理逻辑可以用于，通过前向算法或通过其中的卷积步骤可以基于所述先前深度信息值由所提出的加权来替代的任何其它优化算法，以分别串行的有序方式或以并行方式来处理片段。
根据本发明所述第一方面，在所述图像处理装置的第一可能实施形式中，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，其中配置所述加权函数使得：
如果所述深度信息值候选与所述先前选定深度信息值不同，则所述匹配成本增加，和/或
如果所述深度信息值候选与所述先前选定深度信息值相同，则所述匹配成本保持不变，或者相比于所述深度信息值候选与所述先前选定深度信息值不同的情况，所述匹配成本仅较小程度地增加。
因此，深度信息值的变化，还称为转变，得到补偿或者至少比没有变化(例如，无转变)的情况得到更多补偿。
根据本发明所述第一方面的所述第一实施形式，在所述图像处理装置的第二可能实施形式中，配置所述加权函数使得：
如果所述深度信息值候选与所述先前选定深度信息值不同，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述加权匹配成本，和/或
如果所述深度信息值候选与所述先前选定深度信息值相同，则所述匹配成本保持不变或例如通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述加权匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
因此，深度信息值的变化，还称为转变，得到补偿或者至少比没有变化(例如，无转变)的情况得到更多补偿。
根据如上所述本发明所述第一方面，在所述图像处理装置的第三可能实施形式中，所述相似性度量是匹配概率，所述加权相似性度量是加权匹配概率，其中配置所述加权函数使得：
如果所述深度信息值候选与所述先前选定深度信息值不同，则所述匹配概率降低，和/或
如果所述深度信息值候选与所述先前选定深度信息值相同，则所述匹配概率保持不变，或者相比于所述深度信息值候选与所述先前选定深度信息值不同的情况，所述匹配概率仅较小程度地降低。
因此，深度信息值的变化，还称为转变，得到补偿或者至少比没有变化(例如，无转变)的情况得到更多补偿。
根据本发明所述第一方面的所述第三实施形式，在所述图像处理装置的第四可能实施形式中，配置所述加权函数使得：
如果所述深度信息值候选与所述先前选定深度信息值不同，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述加权匹配概率，和/或
如果所述深度信息值候选与所述先前选定深度信息值相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述加权匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
因此，深度信息值的变化，还称为转变，得到补偿或者至少比没有变化(例如，无转变)的情况得到更多补偿。
根据如上所述本发明第一方面或其所述第一至第四实施形式中的任一者，在所述图像处理装置的第五可能实施形式中，所述信号处理逻辑用于：
为深度信息值候选集中的每个深度信息值候选计算相似性度量，每个深度信息值候选定义相同或不同数字参考图像的不同参考片段候选；
将所述深度信息值候选集中的每个所述深度信息值候选与所述先前选定深度信息值进行比较；
针对每个所述深度信息值候选将加权函数应用到对应的计算出的相似性度量，以便为每个所述深度信息值候选获得所述当前片段的对应加权相似性度量，其中对于每个所述深度信息值候选，所述加权函数基于所述比较的对应结果来应用；以及
基于所述加权相似性度量，从所述深度信息值候选集中的所述深度信息值候选中选择所述当前片段的所述深度信息值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据本发明所述第一方面的所述第五实施形式，在所述图像处理装置的第六可能实施形式中：
所述相似性度量是匹配成本，所述信号处理逻辑用于从所述深度信息值候选集中的所述深度信息值候选中选择所述具有最小加权匹配成本的深度信息值；或
所述相似性度量是匹配概率，所述信号处理逻辑用于从所述深度信息值候选集中的所述深度信息值候选中选择所述具有最大加权匹配概率的深度信息值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据如上所述本发明第一方面或其所述第一至第五实施形式中的任一者，在所述图像处理装置的第七可能实施形式中，所述信号处理逻辑用于通过按序处理深度信息值候选集中的深度信息值候选来确定所述当前片段的所述深度信息值，其中所述信号处理逻辑用于：
为所述深度信息值候选集中的当前深度信息值候选计算相似性度量；
将所述当前深度信息值候选与所述先前选定深度信息值进行比较；
根据所述比较将所述加权函数应用到所述深度信息值候选集中的所述当前深度信息值候选的所述相似性度量，以获得加权相似性度量；
将所述当前深度信息值候选的所述加权相似性度量和与当前最佳深度信息值相关的当前最佳相似性度量进行比较；
如果所述当前深度信息值候选的所述加权相似性度量不满足关于所述当前最佳相似性度量的更新条件，例如，所述加权匹配成本大于当前最佳匹配成本(如果匹配成本用作相似性度量)，则将所述当前最佳深度信息值保持为当前最佳深度信息值，并将当前最佳加权相似性度量保持为当前最佳相似性度量，或
如果所述当前深度信息值候选的所述加权相似性度量满足关于所述当前最佳相似性度量的更新条件，例如，所述加权匹配成本小于或者小于等于所述当前最佳匹配成本(如果匹配成本用作相似性度量)，则将所述当前深度信息值候选作为当前最佳深度信息值写入所述存储器中，并将所述当前深度信息值候选的或与其相关的所述加权相似性度量作为当前最佳相似性度量写入所述存储器中；以及
在所有深度信息值候选都进行处理，即评估之后，选择并输出所述当前最佳深度信息值作为所述当前数字图像的所述当前片段的深度信息值。
这样，所述深度信息值通过按序处理以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据本发明所述第一方面的所述第七实施形式，在所述图像处理装置的第八可能实施形式中，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，所述更新条件是所述加权匹配成本小于或者小于等于所述当前最佳匹配成本；或者所述相似性度量是匹配概率，所述加权相似性度量是加权匹配概率，所述更新条件是所述加权匹配概率大于或者大于等于当前最佳匹配概率。
这样，所述深度信息值通过按序处理以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据如上所述本发明第一方面或其所述第一至第八实施形式中的任一者，在所述图像处理装置的第九可能实施形式中，所述存储器用于存储一组先前处理片段的先前选定深度信息值集，所述信号处理逻辑还用于：
将所述当前深度信息值候选与所述先前选定深度信息值集中的至少一个所述深度信息值进行比较；
根据所述先前选定深度信息值集中是否有任一深度信息值与所述当前深度信息值候选相同，将加权函数应用到所述当前深度信息值候选的所述计算出的相似性度量，以获得所述当前深度信息值候选的所述加权相似性度量。
这样，所述深度信息值基于一组先前选定深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据如上所述本发明第一方面或其所述第一至第九实施形式中的任一者，在所述图像处理装置的第十可能实施形式中，所述信号处理逻辑用于：将所述当前深度信息值候选与围绕所述先前选定深度信息值的范围内的一组深度信息值进行比较；根据围绕所述先前选定深度信息值的所述范围内的所述一组深度信息值中是否有任一深度信息值与所述当前深度信息值候选相同，将加权函数应用到所述当前深度信息值候选的所述计算出的相似性度量，以获得所述当前深度信息值候选的所述加权相似性度量。
这样，所述深度信息值基于围绕先前选定深度信息值的范围内的一组深度信息值，以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计。
根据如上所述本发明或其所述第一至第十实施形式中的任一者，在所述图像处理装置的所述第一方面的第十一可能实施形式中，所述信号处理逻辑用于：
首先基于所述先前选定深度信息值为所述当前片段计算所述相似性度量；
将所述相似性度量与阈值进行比较；以及
如果所述比较的结果满足跳过条件，则选择所述先前选定深度信息值作为所述当前数字图像的所述当前片段的所述深度信息值；和/或
如果所述比较的结果不满足所述跳过条件，则：
基于定义数字参考图像的又一参考片段候选的又一深度信息值候选，为所述当前片段计算相似性度量；
将所述又一深度信息值候选与所述先前选定深度信息值进行比较；
基于所述又一深度信息值候选与所述先前选定深度信息值之间的所述比较的结果，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及
根据所述深度信息值候选的所述加权匹配成本，确定是否选择所述又一当前深度信息值候选作为所述当前片段的所述深度信息值。
所述阈值可以是，例如，在所述加权函数中使用的补偿值，或例如基于所述当前处理数字图像的实验数据和/或已知或假定特性得到的其它值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计，支持在满足所述跳过条件时跳过或避免许多处理步骤。
根据本发明所述第一方面的所述第十一实施形式，在所述图像处理装置的第十二可能实施形式中，所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值；或者所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值，其中，如果所述深度信息值候选与所述先前选定深度信息值不同，或者与参考或先前选定深度信息值候选集中包括的任何深度信息值都不同，则所述阈值等于应用到所述匹配成本的所述加权函数的补偿；或者所述相似性度量是匹配概率，所述跳过条件是所述匹配概率大于或者大于等于所述阈值。
所述阈值可以是，例如，在所述加权函数中使用的补偿值，或例如基于所述当前处理数字图像的实验数据和/或已知或假定特性得到的其它值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计，支持在满足所述跳过条件时跳过或避免许多处理步骤。
根据第二方面，本发明涉及一种用于为当前数字图像的当前片段选择深度信息值的图像处理装置，其中所述图像处理装置包括存储器和信号处理逻辑：
所述存储器用于存储为相同或不同视图和/或相同或先前时间点的相同当前数字图像或先前处理数字图像的先前处理片段选择的先前选定深度信息值；
所述信号处理逻辑用于：
首先基于所述先前选定深度信息值为所述当前片段计算相似性度量；
将所述相似性度量与阈值进行比较；以及
如果所述比较的结果满足跳过条件，则选择所述先前选定深度信息值作为所述当前数字图像的所述当前片段的所述深度信息值。
根据本发明所述第二方面，在所述图像处理装置的第一可能实施形式中，
所述信号处理逻辑还用于：
如果所述比较的结果不满足所述跳过条件，则：
基于定义数字参考图像的又一参考片段候选的又一深度信息值候选，为所述当前片段计算相似性度量；
将所述又一深度信息值候选与所述先前选定深度信息值进行比较；
基于所述又一深度信息值候选与所述先前选定深度信息值之间的所述比较的结果，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及
根据所述深度信息值候选的所述加权匹配成本，确定是否选择所述又一当前深度信息值候选作为所述当前片段的所述深度信息值。
所述阈值可以是，例如，在所述加权函数中使用的补偿值，或例如基于所述当前处理数字图像的实验数据和/或已知或假定特性得到的其它值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计，支持在满足所述跳过条件时跳过或避免许多处理步骤。
根据所述第二方面或所述第一方面的所述第一实施形式，在所述图像处理装置的第二可能实施形式中，所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值；或者所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值，其中，如果所述深度信息值候选与所述先前选定深度信息值不同，或者与参考或先前选定深度信息值候选集中包括的任何深度信息值都不同，则所述阈值等于应用到所述匹配成本的所述加权函数的补偿；或者所述相似性度量是匹配概率，所述跳过条件是所述匹配概率大于或者大于等于所述阈值。
所述阈值可以是，例如，在所述加权函数中使用的补偿值，或例如基于所述当前处理数字图像的实验数据和/或已知或假定特性得到的其它值。
这样，所述深度信息值以一种有效(低复杂度)但同时得到改进(关于估计质量)的方式来估计，支持在满足所述跳过条件时跳过或避免许多处理步骤。
根据所述第二方面的更多实施形式可直接从上文针对所述第一方面描述的进一步说明和实施形式(以及从本发明实施例在下文的详细描述)得到，这些进一步说明和实施形式同样适用于根据所述第二方面的实施形式。
根据第三方面，本发明涉及一种用于为当前数字图像的当前片段选择深度信息值的图像处理方法。所述图像处理方法包括：存储为相同或不同视图的相同当前数字图像或先前处理数字图像的先前处理片段选择的先前选定深度信息值；基于定义数字参考图像的参考片段候选的深度信息值候选，为所述当前片段计算相似性度量；将所述深度信息值候选与为先前处理片段选择的先前选定深度信息值进行比较；基于所述深度信息值候选与所述先前选定深度信息值之间的所述比较的结果，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及根据所述深度信息值候选的所述加权相似性度量，确定是否选择所述当前深度信息值候选作为所述当前片段的所述深度信息值。
根据本发明所述第三方面的所述图像处理方法可由根据本发明所述第一或第二方面的所述图像处理装置来执行。根据本发明所述第三方面的所述图像处理方法的更多特征从根据本发明所述第一和第二方面的所述图像处理装置的功能和其不同实施形式直接得到。
根据第四方面，本发明涉及一种包括程序代码的计算机程序，所述计算机程序在计算机上执行时用于执行根据本发明第三方面或其任意实施形式所述的方法。
本发明可以在硬件和/或软件中实施。
附图说明
本发明的具体实施方式将结合以下附图进行描述，其中：
图1所示为根据一实施例的图像处理装置的示意图；
图2所示为根据一实施例的图像处理方法的示意图；
图3所示为根据一实施例的在图像处理装置中实施的算法的流程图；
图4所示为根据另一实施例的在图像处理装置中实施的算法的流程图；
图5所示为根据不同实施例的图示在图像处理装置中实施的不同算法的基本概念的示意图；
图6所示为根据又一实施例的在图像处理装置中实施的算法的流程图。
在各附图中，相同的或至少功能等同的特征使用相同的参考标号。
具体实施方式
以下结合附图进行详细描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本发明的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其他方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。
应理解，关于描述方法的公开还可以适用于执行所述方法的对应装置、设备或系统，反之亦然。例如，如果描述了特定方法步骤，则对应装置可以包括用于执行所描述的方法步骤的单元，即使此类单元没有在图中明确描述或图示。此外，应理解，本文所描述的各种示例性方面的特征可以相互组合，除非另外明确说明。
图1所示为根据一实施例的图像处理装置100的示意图。图像处理装置100用于为当前处理数字图像的当前处理片段选择深度信息值dbest。深度信息值dbest可以是，例如，深度值、视差值，或者表示深度值或视差值的标记或标签。当前处理片段可以是数字图像的一个当前处理像素或一组当前处理像素，等等。
图像处理装置100包括存储器101，用于存储为相同或不同视图的相同当前数字图像或先前处理数字图像的先前处理片段选择的先前选定深度信息值dprev。
此外，图像处理装置100包括信号处理逻辑103。信号处理逻辑103用于：基于定义数字参考图像的参考片段候选的深度信息值候选di，计算当前片段的相似性度量；将深度信息值候选di与先前选定深度信息值dprev进行比较；基于深度信息值候选di与先前选定深度信息值dprev之间的比较结果，将加权函数应用到计算出的相似性度量以获得当前片段的加权相似性度量；以及根据深度信息值候选di的加权相似性度量，确定是否选择当前深度信息值候选di作为当前片段的深度信息值dbest。
信号处理逻辑103可以是处理器，例如，多用途处理器或数字信号处理器(digitalsignal processor，DSP)、ASIC、FPGA、CPU、GPU等等。
存储器101可以是信号处理逻辑103的一部分，例如集成存储器，或者是独立存储器。
深度信息值可以是深度值、视差值，或者表示深度值或视差值的标记或标签，等等。片段可以是当前数字图像和/或数字参考图像的一个像素或一组像素，等等。
如下文将进一步详述，相似性度量可以是匹配成本或匹配概率等，其中，匹配成本是指示当前片段与参考片段之差的度量且随着差的不断增加而增加；匹配概率是指示当前片段与参考片段匹配的可能性/概率的度量且随着差的不断增加而降低。
先前处理片段可以是相同当前数字图像的或先前处理数字图像的，即从相同视图来看是指时间上在前的数字图像的，或者从不同视图来看是指相同或先前时间点的。
通过基于当前片段的当前深度信息值候选与先前片段的先前选定或确定的深度信息值的比较对该相似性度量，例如匹配成本进行加权，本发明实施例提供了一种用于以强有力而计算效率高的方式确定当前处理片段的深度信息值的图像处理装置。加权函数用于在为当前处理片段确定深度信息值时补偿深度信息值的转变。
信号处理逻辑103可以用于，通过前向算法或通过其中的卷积步骤可以基于先前深度信息值由所提出的加权来替代的任何其它优化算法，以串行/有序和并行方式来处理片段。
具体来说，信号处理逻辑可以用于以分别串行的有序方式，例如循环，或者以并行方式，来处理当前片段的不同深度信息值候选，例如d或di。
图2所示为根据一实施例的用于为当前数字图像的当前片段选择深度信息值dbest的图像处理方法200的示意图。
在方法200的步骤201中，存储为先前处理片段选择的先前选定深度信息值。在方法200的步骤203中，基于定义数字参考图像的参考片段候选的深度信息值候选，为当前片段计算相似性度量。在方法200的步骤205中，将深度信息值候选di与为先前处理片段选择的先前选定深度信息值进行比较。在方法200的步骤207中，基于深度信息值候选与先前选定深度信息值之间的比较，将加权函数应用到计算出的相似性度量以获得加权相似性度量。在方法200的步骤209中，根据深度信息值候选的加权相似性度量，确定是否选择该深度信息值候选作为当前片段的深度信息值。
信号处理逻辑103可用于与存储器101联合执行图像处理方法200(即，本文描述的其任意实施例和实施形式)。
下文描述图像处理装置100和图像处理方法200的更多实施形式和实施例。
在一实施例中，其在本文中还称为PREV-BEST-1，相似性度量是匹配成本，也可简称成本，加权相似性度量是加权匹配成本，也可简称加权成本。更具体地，加权函数是条件补偿函数，其中，如果给定深度信息值候选与为先前处理片段选择的深度信息值dprev不同，则有条件地将给定图像片段和深度信息值候选d的加权匹配成本Ccurrsent(d)定义为图像片段匹配成本Mcurrent(d)与常量penalty值之和，即：
如本领域技术人员将认识到的那样，上述等式(7)还可以表示为：
Ccurrent(d)＝Mcurrent(d)+TPotts(d，dprev). (8)
在一实施例中，匹配成本Mcurrent(g)可以是由上述等式(2)给出的绝对差异和(sumof absolute difference，SAD)或者由上述等式(3)给出的平方差异和(sum of squareddifference，SSD)，等等。匹配成本Mcurrent(d)还称为局部匹配成本，因为其没有考虑为当前处理片段附近等的先前处理片段选择的深度信息值，因此在先前处理片段与当前处理片段的深度信息值之间没有变化或转变。
如等式(7)和(8)所述，这类实施例包括加权函数，在深度信息值候选d(或di)与先前选定深度信息值dprev不同的情况下(例如，在深度信息值关于先前处理片段，例如当前处理片段附近的片段，发生转变或变化的情况下)，加权函数通过补偿值“penalty”来补偿匹配成本Mcurrent(d)；在深度信息值候选d(或di)与先前选定深度信息值dprev相同或相等的情况下(例如，在深度信息值没有关于先前处理片段，例如当前处理片段附近的片段，发生转变或变化的情况下)，加权函数保持匹配成本(Mcurrent(d)＝Ccurrent(d))。
通常，先前选定深度信息值dprev可以涉及任何先前处理片段。在一实施例中，当前处理片段在先前处理片段的附近，如下文将在图5的上下文中进一步更详细说明的那样。例如，dprev可以是与当前处理像素或像素组直接相邻的像素或像素组的估计深度信息值，其中加权匹配成本Ccurrent(d)针对该当前处理像素或像素组计算。
在一实施例中，在上述等式(7)中定义的penalty值可以“实验式地”确定。依照经验法则，其值应与被处理图像的相似性度量，例如匹配成本Mcurrent(d)，中呈现的噪声电平相当。
图3所示为PREV-BEST-1算法的流程图，其构成图2的图像处理方法200的实施方式，并且可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，其中该算法或方法可由信号处理逻辑103联合存储器101执行。
在本实施例中，考虑具有N个合适深度信息值候选的集合di∈{d0，d1，...，dN-1}，其中i是各个深度信息值候选索引，i＝0，...，N-1。在图3中的初始化步骤301(将costbest变量设为最大值，例如“无穷大(infinity)”)和303(将迭代计数器i设为0)之后，针对每个合适深度信息值候选di(图3的步骤307)，(使用形式为局部片段匹配成本Mcurrent(d)的相似性度量)
计算加权匹配成本Ccurrent(di)并将其分配给osst变量(图3的步骤307)。将深度信息值候选di与前一片段的深度信息值dprev进行比较(图3的步骤309)。如果深度信息值候选di与前一片段的深度信息值dprev相等，则将cost变量的值，即深度信息值候选di的成本，直接与costbest变量的值进行比较，costbest变量表示迄今为止为当前片段相对于先前处理深度信息值候选确定的最佳或最低成本。如果深度信息值候选di与前一片段的深度信息值dprev不相等，则将补偿值添加到cost变量的值中以获得补偿成本值，补偿成本值被分配给cost变量(图3的步骤311)并与costbest变量的值进行比较。如果cost变量的值小于等于costbest变量的值(图3的步骤313)，则将当前深度信息值候选di分配给变量dbest，变量dbest表示迄今为止为当前片段相对于先前处理深度信息值候选确定的最佳深度信息值，并将cost变量的值分配给costbest变量(图3的步骤315)。如果cost变量的值大于costbest变量的值，则保持变量dbest和costbest，即，不改变或更新。然后，增大深度信息值候选索引i(图3的步骤317)，并针对新的当前深度信息值候选索引i执行以上步骤。
在一实施例中，对于第一次迭代，即，例如当i＝0时，可省略cost变量与costbest变量的值之间的比较，costbest变量的值可正好设为针对深度信息值候选d0计算出的成本值，dbest变量的值可正好设为深度信息值候选d0。换言之，在如图3所示的搜索循环300a中，在所有深度信息值候选di中找到最小加权匹配成本Ccurrent(di)并将其写到costbest变量中。对应最佳深度信息值d存储在dbest中并被提供给输出。
一旦所有深度信息值候选di都在循环300a内进行了处理，就输出最终dbest作为深度信息值(图3的步骤319)。
返回参考基于图1和图2描述的实施例，图3示出了本发明一实施例，其中，相似性度量是匹配成本，加权相似性度量是加权匹配成本，当前最佳相似性度量是当前最佳匹配成本，加权函数是转换函数，配置该转换函数使得在发生转变的情况下(即，在当前处理深度信息值候选di与先前选定深度信息值dprev之间的深度信息值有差异的情况下)仅补偿(局部)匹配成本；在存储当前最佳候选值(当前最佳深度信息值dbest和对应的当前最佳匹配成本costbest)并且在已找到更好的候选的情况下更新这些候选值时，按序(在循环中)处理不同的深度信息值候选di。
相应地，图3的步骤307对应图2的步骤203，图3的步骤309对应图2的步骤205，背离图3的步骤309和步骤311的箭头是和否对应图2的步骤207，并且步骤313、315和319结合步骤303、305和317(与用于处理所有深度信息候选的循环有关)对应图2的步骤209，等等。
同一映射适用于基于图1描述的图像处理装置。存储器101可以，例如，除了用于存储先前选定深度信息值dprev，还用于存储执行根据图3的实施例时所需要的其它值和标记，例如，当前最佳深度信息候选dbest、当前最佳匹配成本costbest、深度信息值候选索引i、指示将被处理以用来为当前处理片段选择深度信息d(或dbest)的深度信息值候选数的值N、补偿值penalty、当前处理深度信息值候选di的成本变量cost(用于存储匹配成本Mcurrent(di)和/或加权匹配成本Ccurrent(di))。在又一项实施例中，所述其它值和标记可存储在另一存储器中，例如，存储在集成到信号处理逻辑103的存储器中或存储在独立存储器中。这相应地适用于下文描述的所有其它实施例。
图4所示为又一算法的流程图，该算法在本文中称为PREV-BEST-2算法，其也构成图2的图像处理方法200的实施方式，并且可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，其中该算法或方法可由信号处理逻辑103联合存储器101执行。
在图3的上下文中描述的算法中，即，在PREV-BEST-1算法中，所有合适的深度信息值候选都同等考虑，因此例如在没有任何特定顺序(例如，根据它们从0至N-1的索引i)的情况下进行处理。
在图4所示的算法中，在部分400a(“跳过评估部分”)中对深度信息值的搜索重新排序，以便先处理为先前处理片段选择的先前深度信息值dprev(图4的步骤401)。计算加权匹配成本Ccurrent(dprev)，其等于其匹配成本Mcurrent(dprev)，因为没有penalty增加到与先前深度信息值dprev相关的匹配成本中(图4的步骤401)。图4的步骤403定义更新条件，即，如果计算出的匹配成本Mcurrent(dprev)小于(或者小于等于)penalty值，则跳过深度信息值搜索循环400b。在这种情况下，将dprev(也被分配给dbest)立即提供给输出(图4的步骤421)。跳过深度信息值搜索循环400b使计算复杂度大大降低。
因为循环400b与图3所示算法的循环300a相同，所以参考上文对循环300a的步骤303至311的详细描述，步骤303至311对应图4的步骤405至413。
换言之，基于图4描述的实施例400与基于图3描述的实施例300相同，除了图3的初始化301已被替换为图4的跳过评估400a。针对图3提供的进一步说明同样适用于图4。
如本领域技术人员将认识到的那样，在图3和图4所示的算法中，仅使用为先前处理片段选择的单个深度信息值dprev来计算深度信息值候选的加权相似性度量，这在图5的方框501中示意性地示出。在图5中，x和y是片段在水平方向(x)和垂直方向(y)的坐标，t是片段的时间点，其中箭头从先前处理片段指向当前处理片段。图5中描绘的示例涉及一种典型应用，其中片段水平地从左到右进行处理。相应地，方框501描述了一实施例，在该实施例中，仅使用相同时间点(即，相同当前数字图像)的水平靠左邻近片段的深度信息值dprev来计算深度信息值候选的加权相似性度量。替代于相同时间点的水平靠左邻近片段，可使用其它先前处理片段，例如，相同时间点的左上邻近或左下邻近片段、某一先前时间点(即，某一先前数字图像，例如相同视图)的对应片段(即，在数字图像中具有相同的x，y坐标的片段)、不同视图(即，表示相同3D场景的不同视图或远景的数字图像)的对应片段(即，在数字图像中具有相同的x，y坐标的片段)，或者相同或不同(例如，先前的)时间点和/或相同或不同视图的邻近片段。
通常，相邻片段或对应片段(即，不同数字图像中的相同位置/x，y坐标)是最有意义的，这归因于它们与当前处理片段的空间关系。然而，在更多实施例中，例如在数字图像的空间特性已知的情况下，可使用其它先前处理片段的深度信息值，对于数字图像的空间特性已知的情况，其它先前处理片段的深度信息值更适合改进深度信息值估计。
相同的考虑适用于基于图4描述的PREV-BEST-2实施例。
此外，本发明实施例还涵盖如下实施方式：在这些实施方式中，考虑先前处理片段的多个深度信息值，并使用这些深度信息值来计算加权相似性度量，例如，以便确定是否应补偿相似性度量。
例如，在本发明实施例中，可以使用具有p个先前已估计深度信息值的集合如下计算加权相似性度量(这里是加权匹配成本)：
如图5的方框503示意性地示出，在一实施例中，可以是当前处理片段的相邻片段的三个示例性估计/选定深度信息值，其中加权匹配成本Ccurrent(d)当前针对该当前处理片段计算(称为PREV-BEST-3)。这些相邻片段与当前处理片段可以有各种空间关系，图5的方框505示出了又一示例性估计/选定深度信息值，其中考虑四个示例性深度信息值(称为PREV-BEST-4)。
方框503描绘了一实施例，在该实施例中，使用相同时间点(即，相同当前数字图像)的三个靠左相邻片段的深度信息值dprevl至dprev3来计算加权相似性度量，即左上相邻(dprev1)、水平靠左相邻(dprev2)和左下相邻(dprev3)片段。
方框505描绘了一实施例，在该实施例中，除了方框503的三个靠左相邻片段的深度信息值dprevl至dprev3，还使用相同时间点(例如，相同当前数字图像)的顶部垂直相邻片段的深度信息值dprev4来计算加权相似性度量。
如上文所提及，在实施例中，先前选定深度信息值的集合还可以包括关于与当前处理片段不同的时间点的，例如关于先前(时间上)图像帧的深度信息值。在图5的方框507理片段不同的时间点的，例如关于先前(时间上)图像帧的深度信息值。在图5的方框507示意性地示出的示例性PREV-BEST-3-T1实施例中，使用四个深度信息值的集合，其中是相同图像(与方框503的相同)中的被处理片段的空间相邻片段，是同位片段(即，在数字图像中具有相同位置或x，y坐标的片段)，在时间上与被处理片段相邻(即，包含在前一个数字图像中)。
在更多实施例中，例如在处理顺序不同(例如，从右到左，或从上到下，等等)的情况下和/或在数字图像的空间或时间特性已知的情况下，先前选定深度信息值的集合还可以包括具有其它相邻关系，或者在相同数字图像或相同或先前时间点的数字图像和/或相同或不同视图的数字图像内具有其它空间关系的深度信息值，对于所述两种情况，其它先前处理片段的深度信息值更适合改进深度信息值估计。
在一实施例中，通过与为一个或多个先前处理片段选择的深度信息值相似但未必相同的深度信息值来扩展具有p个选定深度信息值的集合。例如，在图3所示实施例，即PREV-BEST-1(相应地图4：PREV-BEST-2)的情况下，仅考虑具有深度信息值dprev的单个先前处理片段，具有P个选定深度信息值的集合可以扩展为：
{dprev-m，...，dprev-1，dprev，dprev+1，...，dprev+n}， (10)
其中值m和n可以预定义或调整。
图6所示为又一算法的流程图，其也构成图2的图像处理方法200的实施方式，并且可以在根据一实施例的图像处理装置，例如图1所示的图像处理装置100中实施，其中该算法或方法可由信号处理逻辑103联合存储器101执行。
对于如上述等式9或10或它们的组合等所定义的深度信息值的扩展集合，图6所示的实施例是图4所示实施例的变体。在这一实施例中，首先考虑来自先前处理片段的具有p个选定深度信息值的集合(参见图6的跳过评估循环600a)。找到具有最小加权匹配成本的最佳(参见图6的步骤601至613)，如果其加权匹配成本小于(或者小于等于)penalty值，则依据图6的步骤615中定义的跳过条件的结果来跳过又一深度信息值搜索循环600b。
如果最小加权匹配成本不小于(或者不小于等于)penalty值，则将通过以下方式执行图6的循环600b：以预先确定的顺序参照来自先前处理片段的p个选定深度信息值的集合来处理N个深度信息值候选di。例如，基于等式9或10(或它们的组合)对每个深度信息值候选di执行步骤623和625。
在循环600a的一替代性实施例中，以预先确定的顺序处理来自先前处理片段的p个选定深度信息值的集合。将加权匹配成本小于(或者小于等于)penalty值的第一深度信息值输出为当前片段的dbest，并跳过又一深度信息搜索。如果P个选定深度信息值的加权匹配成本都不小于(或者都不小于等于)penalty值，则使用循环600b来确定当前处理片段的dbest。
由于循环600b基本上与图3所示实施例的循环300a相同(即，除了基于等式9或10或它们的组合对每个深度信息值候选di执行步骤623至625，别的完全相同)，所以参考上文对循环300a的步骤303至311的详细描述，步骤303至311对应图6的步骤617至631。
虽然主要基于使用匹配成本作为相似性度量且使用加权函数的实施方式描述了图像处理装置100和图像处理方法200的实施例，但是应注意到，本发明的实施例不限于此。其中，如果深度信息值候选di等于先前选定深度信息值，则加权函数保持匹配成本不变；如果深度信息值候选di与先前选定深度信息值不同，则加权函数增加补偿值penalty。
在使用匹配成本作为相似性度量的又一实施例中，可配置加权函数，以便：当深度信息值候选与先前选定深度信息值相同时，相比于深度信息值候选与先前选定深度信息值不同的情况，将匹配成本较小程度地增加(增加第二补偿值)。因此，与无转变相比，转变仍然得到补偿(得到更多补偿)。然而，简单地保持如基于等式(7)至(9)和图3、4、6说明的匹配成本减少了处理工作量。
在使用匹配成本作为相似性度量的又一实施例中，可配置加权函数来以一种不同于增加补偿值的方式对转变进行补偿，例如，将匹配成本乘以补偿因子，该补偿因子可大于1。因此，与无转变相比，转变也得到补偿。在再一实施例中，无转变情况也例如通过第二补偿因子得到补偿，但是与转变情况相比补偿较少，第二补偿因子小于用于转变情况的第一补偿因子，这两个补偿因子都可大于1。因此，与无转变相比，转变仍然得到补偿(得到更多补偿)。然而，简单地增加补偿值通常在计算上没有乘法那么复杂。因此，如基于等式(7)至(9)和图3、4、6说明的那样对匹配成本进行加权减少了处理工作量。
在又一实施例中，使用匹配概率(而不是匹配成本)作为相似性度量。因为匹配概率值越高，深度信息值就越相似，所以使用匹配概率的实施例用于选择具有最大相关匹配概率的深度信息值。因此，与用于匹配成本的加权函数相比，用于匹配概率的加权函数具有例如相反特性。例如，加权函数在转变情况下可减去补偿值，在无转变情况下可保持匹配概率不变，而不是在转变情况下增加补偿值(如针对匹配成本，参见等式(7)至(9))。
此外，与为使用匹配成本的实施例提供的说明对应，使用匹配概率的实施例还用于通过以下方式对无转变情况进行补偿：例如减去比第一补偿值(用于转变情况)小的第二补偿值，或者将匹配概率除以补偿值，该补偿值大于1。
在一实施例中，相似性度量是基于Bhattacharayya系数的匹配概率，其指示两种分布的相似概率并且为本领域技术人员所知晓。在一替代性实施例中，相似性度量是匹配概率，其通过以下方式从匹配成本推导出：定义与诸如exp(-″匹配成本″)或相似方程式成正比的匹配概率。在一实施例中，匹配概率归一化于[0，1]的范围内。
虽然主要基于按序处理(例如，图3、4、6中的循环)描述了本发明实施例，但是本发明更多实施例包括全部或部分地并行处理不同深度信息值候选di的实施方式。
参考图3，可配置装置100和方法200的并行实施例以便：并行执行步骤307至311，对加权成本进行比较，并选择具有最低匹配成本(或最高匹配概率)的深度信息值候选di。
类似地，参考图4，可配置装置100和方法200的并行实施例以便：首先基于先前选定深度信息dprev的匹配成本(或匹配概率)进行跳过评估(模拟步骤401和403)；如果不满足跳过标准，仅对不同深度信息值候选di进行并行处理。
类似地，参考图6，可并行计算匹配成本(或匹配概率)以确定跳过标准是否满足，而不是使用循环600a。如果不满足，则(基于不同的选定深度信息值dprevk)并行确定不同深度信息值候选di的加权匹配成本，而不是使用循环600b。
本发明的实施例同时提供了以下优势。
在本发明的实施例中，在维特比或置信传播算法等中无需进行最小卷积计算，这降低了深度信息值估计所需的运算复杂度(循环数或硅面积)。
在本发明的实施例中，无需另外存储任何中间数据，例如成本函数值(仅使用最佳选定深度信息值，它们已作为深度信息值估计的结果而存储)，因此，与维特比或置信传播算法相比，减少了深度信息值估计的内存消耗。
在本发明的实施例中，深度信息值可以通过单程流程来估计。因此，所需计算时间更短，并且深度信息值映射可以即时计算。
在本发明的实施例中，计算出的深度信息值映射的规律性与WTA算法相比非常好，仅略差于计算上更复杂的维特比算法。
在本发明的实施例中，所生成的深度信息值映射的质量与WTA算法相比大幅提高，而算法实施复杂度几乎相同。
在本发明的实施例中，对于自然图像的大多数片段，无需进行完整的深度信息值搜索。因此，实施速度可以大幅提高。在Middlebury数据集的情况下，通过RGB像素匹配，本发明实施例实现了复杂度的大幅降低，这会提高算法吞吐量，即，每秒处理的帧。对比WTA算法，所获的示例性吞吐量提高大约为：PC计算机是240％，华为Ascend P6手机(1÷4个线程)是200％，针对三星Galaxy S4mini(1个线程)是220％。
本发明实施例可以在用于在计算机系统上运行的计算机程序中实现，至少包括当在诸如计算机系统等的可编程装置上运行时用于执行根据本发明的方法步骤的代码部分，或者使得可编程装置执行根据本发明的设备或系统的功能的代码部分。
计算机程序是指令列表，例如，特定的应用程序和/或操作系统。计算机程序例如可以包括以下一项或多项：子例程、函数、流程、对象方法、对象实现、可执行应用、小程序、服务器小程序、源代码、目标代码、共享库/动态加载库和/或设计用于在计算机系统上执行的其它指令序列。
计算机程序可以存储在计算机可读存储介质内部或通过计算机可读传输介质传输到计算机系统。全部或部分计算机程序可以在永久地、可移除地或远程地耦合至信息处理系统的瞬时性或非瞬时性计算机可读介质上提供。计算机可读介质可以包括，例如但不限于，任意数量的以下示例：磁存储介质，包括磁盘和磁带存储介质；光存储介质，例如光盘介质(例如，CD-ROM、CD-R等)和数字视频光盘存储介质；非易失性存储器存储介质，包括基于半导体的存储器单元，例如闪存、EEPROM、EPROM、ROM；铁磁数字存储器；MRAM；易失性存储介质，包括寄存器、缓冲器或缓存、主存储器、RAM等；以及数据传输介质，包括计算机网络、点对点电信设备、载波传输介质，此处仅举几例。
计算机进程通常包括执行(运行)程序或程序的一部分、当前程序值和状态信息，以及操作系统用来管理进程的执行的资源。操作系统(Operating System，简称OS)是管理计算机资源共享的软件，并为程序员提供用于访问这些资源的接口。操作系统处理系统数据和用户输入，并通过分配及管理任务和内部系统资源作为服务对系统的用户和程序进行响应。
计算机系统例如可以包括至少一个处理单元、关联存储器和多个输入/输出(input/output，简称I/O)设备。当执行计算机程序时，计算机系统根据计算机程序处理信息并通过I/O设备生成合成的输出信息。
本领域技术人员将意识到，各逻辑块之间的界限仅仅是说明性的，并且替代实施例可以合并逻辑块或电路元件，或者可以在各种逻辑块或电路元件上实行功能的替代分解。因此，应当理解，此处所描述的架构仅仅是示例性的，并且实际上，许多其它实现相同功能的架构也能够实现。
因此，实现相同功能的组件的任意布置是有效地“关联”，从而实现了所期望的功能。因此，不论是架构或是中间组件，此处组合以实现某个特定功能的任意两个组件可被视为相互“关联”，从而实现了所期望的功能。同样地，任意两个如此关联的组件也可被视为相互“可操作地连接”或“可操作地耦合”，以实现所期望的功能。
此外，本领域技术人员将意识到，以上所描述的操作之间的界限仅仅是说明性的。多个操作可以组合成单个操作，单个操作可以分布在附加操作中，操作可以以在时间上至少部分重叠的方式来执行。另外，替代实施例可以包括某个特定操作的多个示例，在各种其它实施例中可以改变操作的顺序。
此外，例如，其中的示例或部分可以，例如以任意合适类型的硬件描述语言，实现为物理电路的或可转换成物理电路的逻辑表示的软或代码表示。
此外，本发明不限于在不可编程硬件中实现的物理设备或单元，也可以应用于能够通过根据合适的程序代码进行操作来执行所期望的设备功能的可编程设备或单元，例如，大型主机、小型计算机、服务器、工作站、个人计算机、记事本、个人数字助理、电子游戏、汽车和其它嵌入式系统、蜂窝电话和各种其它无线设备，在本申请中通常表示为‘计算机系统’。
然而，其它修改、变形和替代也是可能的。应认为本说明书和附图具有说明性意义而非限制性意义。

Claims (15)

1.一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括：
存储器(101)，用于存储为先前处理片段选择的先前选定深度信息值(dprev；dprevk)；以及
信号处理逻辑(103)，用于：
基于定义数字参考图像的参考片段候选的深度信息值候选(di)，计算所述当前片段的相似性度量(成本，MCurrent(di))；
将所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；
基于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量(成本，CCurrent(di))；以及
根据所述深度信息值候选(di)的所述加权相似性度量，确定是否选择所述深度信息值候选(di)作为所述当前片段的所述深度信息值(dbest)。
2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，配置所述加权函数使得：
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则所述匹配成本增加(补偿)，和/或
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配成本保持不变，或者相比于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同的情况，所述匹配成本仅较小程度地增加。
3.根据权利要求2所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述加权匹配成本，和/或
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述加权匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。
4.根据权利要求1所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配概率，所述加权相似性度量是加权匹配概率，配置所述加权函数使得：
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则所述匹配概率降低，和/或
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配概率保持不变，或者相比于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同的情况，所述匹配概率仅较小程度地降低。
5.根据权利要求4所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述加权匹配概率，和/或
如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述加权匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。
6.根据权利要求1至5中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于：
为深度信息值候选集中的每个深度信息值候选计算相似性度量，每个深度信息值候选(di)定义所述数字参考图像的一个参考片段候选；
将所述深度信息值候选集中的每个所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；
针对每个所述深度信息值候选(di)将加权函数应用到所述计算出的相似性度量，以便为每个所述深度信息值候选(di)获得所述当前片段的对应加权相似性度量，其中对于每个所述深度信息值候选(di)，所述加权函数基于所述比较的对应结果来应用；以及
基于所述加权相似性度量，从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述当前片段的所述深度信息值(dbest)。
7.根据权利要求6所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配成本，所述信号处理逻辑(103)用于从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述具有最小加权匹配成本的深度信息值(dbest)；或
所述相似性度量是匹配概率，所述信号处理逻辑(103)用于从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述具有最大加权匹配概率的深度信息值(dbest)。
8.根据权利要求1至6中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于通过按序处理深度信息值候选集中的深度信息值候选(di)来确定所述当前片段的所述深度信息值(dbest)；
其中，所述信号处理逻辑(103)用于：
为所述深度信息值候选集中的当前深度信息值候选(di)计算相似性度量；
将所述当前深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；
根据所述比较将所述加权函数应用到所述深度信息值候选集中的所述当前深度信息值候选(di)的所述相似性度量，以获得加权相似性度量；
将所述当前深度信息值候选的所述加权相似性度量和与当前最佳深度信息值(dbest)相关的当前最佳相似性度量(costbest)进行比较；
如果所述当前深度信息值候选的所述加权相似性度量不满足关于所述当前最佳相似性度量(costbest)的更新条件，则将所述当前最佳深度信息值(dbest)保持为当前最佳深度信息值，并将当前最佳相似性度量保持为当前最佳相似性度量，和/或
如果所述当前深度信息值候选的所述加权相似性度量满足关于所述当前最佳相似性度量(costbest)的更新条件，则将所述当前深度信息值候选(di)作为当前最佳深度信息值(dbest)写入所述存储器中，并将所述当前深度信息值候选(di)的所述加权相似性度量作为当前最佳相似性度量(costbest)写入所述存储器(101)中；以及
在所有深度信息值候选(di)都进行处理之后，选择所述当前最佳深度信息值(dbest)作为所述当前数字图像的所述当前片段的深度信息值(dbest)。
9.根据权利要求8所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，所述更新条件是所述加权匹配成本小于或者小于等于所述当前最佳匹配成本(costbest)；或
所述相似性度量是匹配概率，所述加权相似性度量是加权匹配概率，所述更新条件是所述加权匹配概率大于或者大于等于当前最佳匹配概率。
10.根据权利要求1至9中的任一项所述的图像处理装置(100)，其特征在于：
所述存储器(101)用于存储一组先前处理片段的先前选定深度信息值(dprev,k)集；以及
所述信号处理逻辑(103)还用于：
将所述当前深度信息值候选(di)与所述先前选定深度信息值(dbest)集中的至少一个所述深度信息值(dprev,k)进行比较；
根据所述先前选定深度信息值(dprev,k)集中是否有任一深度信息值(dprev,k)与所述当前深度信息值候选(di)相同，将加权函数应用到所述深度信息值候选(di)的所述计算出的相似性度量，以获得所述当前深度信息值候选(di)的所述加权相似性度量。
11.根据权利要求1至10中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于：
将所述当前深度信息值候选(di)与围绕所述先前选定深度信息值(dprev)的范围内的一组深度信息值进行比较；以及
根据围绕所述先前选定深度信息值(dprev)的所述范围内的所述一组深度信息值中是否有任一深度信息值(dprev,k)与所述当前深度信息值候选(di)相同，将加权函数应用到所述深度信息值候选(di)的所述计算出的相似性度量，以获得所述当前深度信息值候选(di)的所述加权相似性度量。
12.根据权利要求1至11中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于：
首先基于所述先前选定深度信息值(dprev；dprev,k)为所述当前片段计算所述相似性度量(成本，MCurrent(di))；
将所述相似性度量与阈值进行比较；以及
如果所述比较的结果满足跳过条件，则选择所述先前选定深度信息值(dprev；dprev,k)作为所述当前数字图像的所述当前片段的所述深度信息值(dbest)；和/或
如果所述比较的结果不满足所述跳过条件，则：
基于定义数字参考图像的又一参考片段候选的又一深度信息值候选(di)，计算所述当前片段的相似性度量(成本，MCurrent(di))；
将所述又一深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；
基于所述又一深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量(成本，CCurrent(di))；以及
根据所述深度信息值候选(di)的所述加权匹配成本，确定是否选择所述又一深度信息值候选(di)作为所述当前片段的所述深度信息值(dbest)。
13.根据权利要求12所述的图像处理装置(100)，其特征在于：
所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值；或
所述相似性度量是匹配成本，所述跳过条件是所述匹配成本小于或者小于等于所述阈值，其中，如果所述深度信息值候选与所述先前选定深度信息值不同，或者与参考或先前选定深度信息值候选集中包括的任何深度信息值都不同，则所述阈值等于应用到所述匹配成本的所述加权函数的补偿；或
所述相似性度量是匹配概率，所述跳过条件是所述匹配概率大于或者大于等于所述阈值。
14.一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理方法(200)，其特征在于，所述图像处理方法(200)包括：
存储(201)为先前处理片段选择的先前选定深度信息值(dprev；dprevi)；
基于定义数字参考图像的参考片段候选的深度信息值候选(di)，计算(203)所述当前片段的相似性度量(成本，MCurrent(di))；
将所述深度信息值候选(di)与为先前处理片段选择的先前选定深度信息值(dprev；dprevi)进行比较(205)；
基于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)之间的所述比较，将加权函数应用(207)到所述计算出的相似性度量以获得所述当前片段的加权相似性度量(成本，CCurrent(di))；以及
根据所述深度信息值候选(di)的所述加权相似性度量，确定(209)是否选择所述深度信息值候选(di)作为所述当前片段的所述深度信息值(dbest)。
15.一种包括程序代码的计算机程序，其特征在于，所述计算机程序在计算机上执行时用于执行根据权利要求14所述的方法。
CN201580081113.1A 2015-07-03 2015-07-03 图像处理装置和方法 Active CN107810520B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/065191 WO2017005274A1 (en) 2015-07-03 2015-07-03 An image processing apparatus and method

Publications (2)

Publication Number Publication Date
CN107810520A true CN107810520A (zh) 2018-03-16
CN107810520B CN107810520B (zh) 2020-11-10

Family

ID=53719745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081113.1A Active CN107810520B (zh) 2015-07-03 2015-07-03 图像处理装置和方法

Country Status (6)

Country Link
US (1) US10504234B2 (zh)
EP (1) EP3304488B1 (zh)
JP (1) JP6643368B2 (zh)
KR (1) KR102027392B1 (zh)
CN (1) CN107810520B (zh)
WO (1) WO2017005274A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798674A (zh) * 2018-08-01 2020-02-14 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
US10477200B2 (en) * 2017-04-13 2019-11-12 Facebook, Inc. Panoramic camera systems

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380739A (zh) * 2013-04-05 2015-02-25 索尼公司 图像处理设备和图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
JP2012105130A (ja) * 2010-11-11 2012-05-31 Panasonic Corp 画像処理方法および画像処理装置
US9171372B2 (en) 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
EP2657909B1 (en) * 2012-04-24 2018-06-13 Vestel Elektronik Sanayi ve Ticaret A.S. Method and image processing device for determining disparity
AU2013305770A1 (en) * 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
JP6121776B2 (ja) * 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104380739A (zh) * 2013-04-05 2015-02-25 索尼公司 图像处理设备和图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEIKO HIRSCHMULLER: "《Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information》", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ONCOMPUTER VISION AND PATTERN RECOGNITION》 *
XUEFENG CHANG等: "Real-Time Accurate Stereo Matching using Modified Two-Pass Aggregation and Winner-Take-All Guided Dynamic Programming", 《2011 INTERNATIONAL CONFERENCE ON 3D IMAGING, MODELING, PROCESSING, VISUALIZATION AND TRANSMISSION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798674A (zh) * 2018-08-01 2020-02-14 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质

Also Published As

Publication number Publication date
JP6643368B2 (ja) 2020-02-12
KR102027392B1 (ko) 2019-10-01
EP3304488B1 (en) 2019-05-01
US20180144491A1 (en) 2018-05-24
US10504234B2 (en) 2019-12-10
JP2018521414A (ja) 2018-08-02
EP3304488A1 (en) 2018-04-11
CN107810520B (zh) 2020-11-10
KR20180019711A (ko) 2018-02-26
WO2017005274A1 (en) 2017-01-12

Similar Documents

Publication Publication Date Title
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
CN104794733B (zh) 对象跟踪方法和装置
US10778949B2 (en) Robust video-based camera rotation estimation
US8605957B2 (en) Face clustering device, face clustering method, and program
US20140185924A1 (en) Face Alignment by Explicit Shape Regression
EP2423879A1 (en) Method for clustering multi-modal data that contain hard and soft cross-mode constraints
US8416989B2 (en) Image processing apparatus, image capture apparatus, image processing method, and program
CN107810520A (zh) 图像处理装置和方法
KR20220132659A (ko) 기계 학습을 위한 이미지 변환
US20240153271A1 (en) Method and apparatus for selecting cover of video, computer device, and storage medium
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及系统
CN111260655B (zh) 基于深度神经网络模型的图像生成方法与装置
JP2017068577A (ja) 演算装置、方法及びプログラム
US9875528B2 (en) Multi-frame patch correspondence identification in video
CN107810521A (zh) 图像处理装置和方法
KR102057837B1 (ko) 인공지능 기반의 직물 패턴 생성 장치 및 방법
CN108885778A (zh) 图像处理设备和图像处理方法
US9679363B1 (en) System and method for reducing image noise
JP2022190958A (ja) ショット境界検出装置、ショット境界学習装置及びそれらのプログラム
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质
JP7106144B2 (ja) 画像解析装置
CN108062741A (zh) 双目图像处理方法、成像装置和电子设备
CN114155274B (zh) 一种基于全局可缩放孪生网络的目标跟踪方法和装置
Saadat Exact Blur Measure Outperforms Conventional Learned Features for Depth Finding
Liao et al. FINet: Feature Interactions Across Dimensions and Hierarchies for Camera Localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant