CN105100768B - 用于立体匹配的方法和用于上采样的方法 - Google Patents

用于立体匹配的方法和用于上采样的方法 Download PDF

Info

Publication number
CN105100768B
CN105100768B CN201410776956.0A CN201410776956A CN105100768B CN 105100768 B CN105100768 B CN 105100768B CN 201410776956 A CN201410776956 A CN 201410776956A CN 105100768 B CN105100768 B CN 105100768B
Authority
CN
China
Prior art keywords
pixel
candidate
cost
subtree
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410776956.0A
Other languages
English (en)
Other versions
CN105100768A (zh
Inventor
崔旭
南东暻
李基彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105100768A publication Critical patent/CN105100768A/zh
Application granted granted Critical
Publication of CN105100768B publication Critical patent/CN105100768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了一种用于立体匹配的方法和用于上采样的方法，其中，生成树可通过参考像素来产生，立体匹配或上采样可基于产生的生成树来执行，参考像素可基于立体视频来产生。

Description

用于立体匹配的方法和用于上采样的方法
本申请要求于2014年5月13日提交到韩国知识产权局的第10-2014-0057176号韩国专利申请的优先权利益，所述申请的整个公开内容通过引用合并于此。
技术领域
以下描述的示例实施例涉及一种用于产生生成树的方法和设备、一种用于立体匹配的方法和设备、一种用于上采样的方法和设备以及一种用于产生参考像素的方法和设备。
背景技术
通常，计算机视觉是指用于通过使用图像获取信息的技术。例如，用于通过使用图像获取距离信息的技术被称为立体视觉。
在两个相机被平行布置的立体系统的立体匹配中，执行检测左图像和右图像之间的相应点。为了检测最相似的相应点，用于立体匹配的方法可对右图像的所有像素和左图像的像素分别进行比较。通过此过程，可通过获得的相应点来确定距离。
发明内容
通过提供一种产生生成树的方法来实现上述和/或其它方面，所述方法包括：接收用于输入图像的与参考像素相关联的信息；基于所述信息产生连接在输入图像中包括的一般像素和参考像素的生成树。当参考像素与在输入图像中包括的一般像素相比时，参考像素还可包括额外信息。
一般像素中的每个一般像素可包括强度信息和位置信息中的至少一个。额外信息可包括视差信息和深度信息中的至少一个。
生成树可包括连接在输入图像中包括的一般像素和参考像素的最小生成树(MST)。生成树可包括多个子树，其中，所述多个子树中的每个子树包括具有一定程度的相关性的像素。
产生生成树的步骤可包括：产生使参考像素是根节点的多个子树；通过调整所述多个子树之间的边代价来连接所述多个子树。
通过提供一种用于立体匹配的方法来实现上述和/或其它方面，所述方法包括：接收用于立体匹配的第一输入图像和第二输入图像；获得连接在第一输入图像中包括的多个像素的生成树；基于在所述多个像素中的一般像素的数据代价、所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选视差相应的多个累计数据代价；通过将所述多个累计数据代价进行比较，确定所述多个候选视差中的一个候选视差为所述多个像素中的一个像素的视差。
通过提供一种用于上采样的方法来实现上述和/或其它方面，所述方法包括：获得连接在输入图像中包括的多个像素的生成树；基于所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选深度相应的多个累计数据代价；通过将所述多个累计数据代价进行比较，确定所述多个候选深度中的一个候选深度是所述多个像素中的一个像素的深度。
通过提供一种产生参考像素的方法来实现上述和/或其它方面，所述方法包括：跟踪在立体视频中包括的第一图像序列和第二图像序列；基于跟踪第一图像序列的结果、跟踪第二图像序列的结果以及在先前帧中进行立体匹配度的结果，产生用于当前帧的参考像素。
通过提供一种用于产生生成树的设备来实现上述和/或其它方面，所述设备包括：接收器，接收用于输入图像的与参考像素相关联的信息；产生器，基于所述信息产生连接在输入图像中包括的一般像素和参考像素的生成树。
通过提供一种用于立体匹配的设备来实现上述和/或其它方面，所述设备包括：接收器，接收用于立体匹配的第一输入图像和第二输入图像；获得器，获得连接在第一输入图像中包括的多个像素的生成树；计算器，基于在所述多个像素中的一般像素的数据代价、所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选视差相应的多个累计数据代价；确定器，通过将所述多个累计数据代价进行比较，确定所述多个候选视差中的一个候选视差为所述多个像素中的一个像素的视差。
通过一种用于上采样的设备来实现上述和/或其它方面，所述设备包括：获得器，获得连接在输入图像中包括的多个像素的生成树；计算器，基于所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选深度相应的多个累计数据代价；确定器，通过将所述多个累计数据代价进行比较，确定所述多个候选深度中的一个候选深度是所述多个像素中的一个像素的深度。
通过提供一种用于产生参考像素的设备来实现上述和/或其它方面，所述设备包括：跟踪器，跟踪在立体视频中包括的第一图像序列和第二图像序列；产生器，基于跟踪第一图像序列的结果、跟踪第二图像序列的结果以及在先前帧中进行立体匹配的结果，产生用于当前帧的参考像素。
示例实施例的另外的方面在以下描述中将被部分阐述，并且部分将从所述描述中是显而易见的，或者可通过本公开的实践被获知。
附图说明
从结合附图对示例实施例进行的以下描述，这些和/或其它方面将变得清楚和更易于理解，其中：
图1示出根据示例实施例的参考像素；
图2示出根据示例实施例的包括视差信息的参考像素；
图3示出根据示例实施例的包括深度信息的参考像素；
图4至图16示出根据示例实施例的使用参考像素产生生成树的操作；
图17和图18示出根据示例实施例的使用生成树进行立体匹配的操作或进行上采样的操作；
图19和图20示出根据示例实施例的使用立体视频产生参考像素；
图21至图25是示出根据示例实施例的操作的流程图；
图26至图29是根据示例实施例的框图。
具体实施方式
现在将参照附图更全面地描述示例实施例。可实现许多可替换形式，并且示例实施例不应被解释为限于在此阐述的示例实施例。在附图中，相同的标号指示相同的元件。
将理解的是，虽然术语第一、第二等可在此用于描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离示例实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。如这里所使用的，术语“和/或”包括相关所列项中的一个或更多个的任意组合和全部组合。
将理解的是，当元件被称为“连接”或“耦接”到另一元件时，所述元件可直接连接或耦接到所述另一元件，或者可存在中间元件。相反，当元件被称为“直接连接”或“直接耦接”到另一元件时，不存在中间元件。用于描述元件之间的关系的其它词语将以类似方式来解释(例如，“在…之间”相对于“直接在…之间”、“相邻”相对于“直接相邻”等)。
在此使用的术语仅用于描述特定实施例，而不意在限制示例实施例。除非上下文另有明确指示，否则如这里所使用的，单数形式还意在包括复数形式。将进一步理解，当在此使用术语“包括”、“包括着”、“包含”和/或“包含着”时，所述术语指出存在陈述的特征、整数、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其它特征、整数、步骤、操作、元件、组件和/或它们的组。
除非另有明确声明，或者从讨论中显而易见，否则诸如“处理”或“计算”或“运算”或“确定”或“显示”等术语指示计算机系统或类似的电子计算装置的动作和处理，其中，所述计算机系统或类似的电子计算装置将表示为在计算机系统的寄存器和存储器中的物理量、电学量的数据操纵和转换成类似地表示为在计算机系统的存储器或寄存器或其它这种信息存储装置、传输装置或显示装置内的物理量的其它数据。
在以下描述中提供特定细节以提供对示例实施例的全面理解。然而，本领域的普通技术人员将理解，可在没有这些特定细节的情况下实现示例实施例。例如，可在框图中示出系统，以免以不必要的细节模糊示例实施例。在其它示例中，可在没有不必要的细节的情况下示出公知的处理、结构和技术，以避免模糊示例实施例。
在以下描述中，将参照操作的动作和符号表示(例如，以流程图、流程示图、数据流示图、结构图、框图等的形式)来描述说明性实施例，其中，所述操作可被实现为程序模块或功能处理，并可使用在现有电子系统(例如，3D显示装置)中现有的硬件来实现，其中，所述程序模块或功能处理包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。这种现有的硬件可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。
虽然流程图可将操作描述为顺序的处理，但是许多操作可被并行、并发或同时执行。另外，可重新排列操作的顺序。当处理的操作被完成时，可终止该处理，但是处理也可具有未包括在附图中的另外的步骤。处理可与方法、函数、过程、子例程、子程序等相应。当处理与函数相应时，它的终止可与函数返回到调用函数或主函数相应。
如这里所公开的，术语“存储介质”、“计算机可读存储介质”或“非暂时性计算机可读存储介质”可表示一个或更多个用于存储数据的装置，其中，所述装置包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、核心存储器、磁盘存储介质、光存储介质、闪存装置和/或其它用于存储信息的有形机器可读介质。术语“计算机可读介质”可包括但不限于便携式或固定存储装置、光存储装置和能够存储、包含或承载指令和/或数据的各种其它介质。
另外，可用硬件、软件、固件、中间件、微码、硬件描述语言或它们的任意组合来实现示例实施例。当以软件、固件、中间件或微码来实现时，用于执行必要任务的程序代码或代码段可被存储在机器或计算机可读介质(诸如计算机可读存储介质)中。当以软件来实现时，一个处理器(或多个处理器)可被编程为执行必要任务，从而被转换成专用处理器或计算机。以下公开的示例实施例可在对立体图像、多视点图像、光场图像或深度图像的处理中找到各种应用，并可应用在三维(3D)建模或用户界面中。
根据示例实施例的参考像素
图1示出根据示例实施例的参考像素。参照图1，图像100包括多个像素。多个像素可包括表示图像100的信息。例如，表示图像100的信息可以是强度信息。当图像100是彩色图像时，多个像素中的每个像素可包括(R、G、B)信息。
在图像100中包括的多个像素中的每个像素可通过图像100中的坐标来识别，并可通过唯一索引来指示。
例如，当图像100以4×4矩阵的形式包括像素时，布置在第一行的第一列的像素用索引“1”来表示，布置在第一行的第二列的像素用索引“2”来表示，布置在第一行的第三列的像素用索引“3”来表示，布置在第一行的第四列的像素用索引“4”来表示。布置在第二行的第一列的像素用索引“5”来表示，布置在第二行的第二列的像素用索引“6”来表示，布置在第二行的第三列的像素用索引“7”来表示，布置在第二行的第四列的像素用索引“8”来表示。在此示例中，布置在第四行的第四列的像素用索引“16”来表示。
相应像素的坐标可简单地被指示预先确定和/或选择的像素的索引替代，这是因为指示预先确定和/或选择的像素的索引与相应像素的坐标以一对一的关系相应。从这个意义上讲，在图像100中包括的多个像素可包括位置信息。
在图像100中包括的多个像素中的一部分像素当与所述多个像素中的其余像素相比时还可包括额外信息。例如，像素110、像素120、像素130和像素140当与其它剩余像素相比时还可包括额外信息。在这里的以下描述中，除非另有说明，否则包括与图像相关联的一般信息的像素被称为一般像素，当与一般像素相比时还包括额外信息的像素被称为参考像素。在此示例中，所述一般信息可包括强度信息和位置信息。
额外信息可以是另外地表示布置在图像100中的参考像素处的图像100的信息。例如，像素110、像素120、像素130和像素140可以是在图像100中包括的参考像素，并且当与一般像素相比时还可包括深度信息和视差信息。将参照以下示例实施例更详细地提供关于深度信息和视差信息的进一步描述。
可以以各种方式预先确定和/或选择与参考像素的位置相应的额外信息。作为示例，可通过执行与参考像素的位置相应的更精确和复杂的算法来计算额外信息。作为另一示例，可通过从计算更高效率的算法的结果中提取相对高可靠性的结果来获得额外信息。作为另一示例，可使用用于测量与参考像素的位置相应的额外信息的传感器来获得额外信息。作为另一示例，当图像与一系列的多个帧中的任意一个帧相应时，可基于关于先前帧的信息来估计额外信息。
可在对图像100的处理中采用在参考像素中包括的额外信息。如将在随后描述的，可基于在参考像素中包括的额外信息来产生与一般像素的位置相应的额外信息。例如，可使用参考像素来执行立体匹配，或者，可使用参考像素来执行对深度图像的上采样。将参照以下的示例实施例更加详细地提供关于立体匹配和对深度图像的上采样的进一步描述。
图2示出根据示例实施例的包括视差信息的参考像素。参照图2，图像200是立体图像。图像200包括与左眼相应的第一图像210和与右眼相应的第二图像220。
图像200可由立体相机产生。立体相机可包括被平行隔开预定和/或期望距离(诸如人的双眼)的两个相机。两个相机可同时拍摄相同场景或相同对象。与左眼相应的相机可产生与左眼相应的第一图像210，与右眼相应的相机可产生与右眼相应的第二图像220。
在此示例中，可预先提供与在第一图像210和第二图像220中包括的多个像素中的一部分像素的位置相应的额外信息。如先前所描述的，被提供有额外信息的一部分像素被称为参考像素。例如，第一图像210包括参考像素211、参考像素212、参考像素213和参考像素214。第二图像220包括参考像素221、参考像素222、参考像素223和参考像素224。
在第一图像210和第二图像220中包括的参考像素均可包括视差信息。视差信息可以是指表示双目视差的程度的信息。为了便于理解视差信息，在处理立体图像的方法中，将讨论对用于立体匹配的方法的简要描述。
用于立体匹配的方法可以是指对与左眼相应的图像和与右眼相应的图像进行匹配的方法。因为通过同时拍摄相同场景或相同对象来获得与左眼相应的图像和与右眼相应的图像，所以在与左眼相应的图像中包括的像素中的至少一部分像素可与包括在与右眼相应的图像中的像素中的至少一部分像素匹配。例如，两个匹配像素可与实际场景或实际对象的同一点相应。
当假设立体图像由被平行布置的两个相机产生时，两个匹配像素可具有y轴方向上的相同坐标值以及x轴方向上的不同坐标值。在此示例中，两个匹配像素的x轴坐标值之间的差可指示双目视差的程度。
在第一图像210中包括的参考像素211可与在第二图像220中包括的参考像素221匹配。在此示例中，参考像素211的视差信息可以是通过将参考像素211的x轴坐标值减去参考像素221的x轴坐标值所获得的值。参考像素221的视差信息可以是通过将参考像素221的x轴坐标值减去参考像素211的x轴坐标值所获得的值。
在第一图像210中包括的参考像素212、参考像素213和参考像素214可与在第二图像220中包括的参考像素222、参考像素223和参考像素224匹配。在此示例中，参考像素212、参考像素213和参考像素214均可包括视差信息。参考像素222、参考像素223和参考像素224均可包括视差信息。
如随后将描述的，可基于在参考像素中包括的视差信息来产生与一般像素的位置相应的视差信息。例如，可使用参考像素来执行立体匹配。简明地，可存在与预先确定和/或选择的一般像素相应的多条候选视差信息，并可使用参考像素在所述多条候选视差信息中确定相应一般像素的视差信息。
图3示出根据示例实施例的包括深度信息的参考像素。参照图3，图像300是通过组合高分辨率彩色图像和低分辨率深度图像所获得的图像。可由深度相机来产生深度图像。在深度图像中包括的多个像素可包括深度信息。
深度信息可包括深度相机与由深度相机拍摄的对象之间的距离。在深度图像中包括的多个像素可与对象的不同点相应。预先确定和/或选择的像素的深度信息可以是与像素相应的点和深度相机之间的距离。
当高分辨率彩色图像和低分辨率深度图像被组合时，在深度图像中包括的多个像素可与在彩色图像中包括的多个像素中的一部分像素相应。在此示例中，可通过深度图像来提供与在彩色图像中包括的多个像素中的所述一部分像素的位置相应的深度信息。
例如，可通过深度图像来提供与在图像300中包括的多个像素中的像素301、302、303、304、305、306、307、308、309、310、311和312中的一部分像素的位置相应的深度信息。在此示例中，因为像素301、302、303、304、305、306、307、308、309、310、311和312中的所述一部分像素当与这些像素的其余像素相比时还包括深度信息，所以像素301、302、303、304、305、306、307、308、309、310、311和312中的所述一部分像素可以是参考像素。
如随后将描述的，可基于在参考像素中包括的深度信息来产生与一般像素的位置相应的深度信息。例如，可使用参考像素执行对深度图像的上采样。简明地，可存在与预先确定和/或选择的像素相应的多条候选深度信息，并可使用参考像素在所述多条候选深度信息中确定相应一般像素的深度信息。
根据示例实施例的生成树
在下文中，将提供关于根据示例实施例的使用参考像素处理图像的方法的描述。参照图1，在图像100中包括的像素110、像素120、像素130和像素140还可包括额外信息。根据示例实施例，可产生生成树以使用在参考图像中包括的额外信息来产生与一般像素的位置相应的额外信息。生成树可以是指连接的、无向曲线图的一部分，以及连接所述连接的、无向曲线图的所有节点的树。
如随后将描述的，产生的生成树可用于将在参考像素中包括的额外信息快速准确地传播给一般像素。因为在参考像素中包括的额外信息是预先提供的可靠信息，所以在参考像素中包括的可靠的额外信息可被传播用于计算与一般像素的位置相应的未知的额外信息。在以下描述中，除非另有说明，否则参考像素被称为地面控制点(gcp)，一般像素被称为非地面控制点(non-gcp)。
产生的生成树可以是最小生成树(MST)。例如，在单个曲线图中可存在多个生成树。当对曲线图的每条边给定代价时，MST可以是指在多个生成树中具有最小代价的生成树。此外，MST可被称为最小代价生成树。
根据示例实施例的产生生成树的方法可经过两个操作来执行。例如，可产生多个子树，并使用所述多个子树来产生生成树。
为了便于描述，假设在一般像素中包括的一般信息是强度信息，并且在参考像素中进一步包括的额外信息是视差信息。然而，应理解的是，这些示例实施例不被解释为限于以上示例，并且可包括一般像素或参考像素包括其它信息的示例。
可基于由表1表示的算法来产生子树。表1的算法的输入可包括输入图像和用于输入图像的“gcp”。表1的算法的输出可包括多个子树。
[表1]
1、通过用具有权重|Iu–Iv|的边连接所有相邻像素来对图像构造曲线图。
2、按照边的权重的升序对边进行分类。
3、访问边，进行以下处理
1、如果root(u)和root(v)之一是gcp
如果|Iu–Iv|＜min(Th(u),Th(v))，则连接u和v，并将父节点设置为gcp。更新Th。
2、如果root(u)和root(v)均不是gcp
如果|Iu–Iv|＜min(Th(u),Th(v))，则连接u和v，并设置父节点，使得树的级别将更低。更新Th。
3、如果root(u)和root(v)都是gcp
则不连接树。
结果，构造了一组子树，其中，所述一组子树的根是gcp或是non-gcp。
在表1中，Iu指示像素“u”的强度信息，Iv指示像素“v”的强度信息。权重指示边的代价。root(u)指示像素“u”所属的子树的根节点，root(v)指示像素“v”所属的子树的根节点。Th(u)指示像素“u”所属的子树的阈值代价，Th(v)指示像素“v”所属的子树的阈值代价。可预先确定和/或选择阈值代价。例如，可针对所有子树相等地设置阈值代价。可选地，可针对子树中的每个子树基于与相应子树的根节点的类型不同地设置阈值代价。
产生的子树中的每个子树可被分类为与相应根连接的单个区域。当预先确定和/或选择的子树的根节点是“gcp”时，相应子树的根节点可包括强度信息、位置信息和视差信息。当预先确定和/或选择的子树的根节点是“non-gcp”时，相应子树的根节点可包括强度信息和位置信息。在预先确定和/或选择的子树的根节点中包括的信息可用作表示相应子树的信息。
可基于由表2表示的算法来产生MST。表2的算法的输入可包括输入图像、用于输入图像的“gcp”以及基于表1的算法产生的多个子树。表2的算法的输出可以是覆盖整个输入图像的MST。
[表2]
1、计算用于子树的根之间的边的权重。
2、按照边的权重的升序对边进行分类。
3、访问边，进行以下处理
1、如果边连接两个gcp根子树
如果|Iu–Iv|＜min(Th(u),Th(v))并且/或|du–dv|＜min(Thd(u),Thd(v))，则连接子树，并设置父节点，使得树的级别将更低。
否则，连接子树，并用值T来惩罚边权重。
2、如果边连接异构性(heterogeneous)子树或non-gcp根子树，则连接子树，并用值T来惩罚权重。
结果，构造了最小生成树。
在表2中，du指示像素“u”的视差信息，dv指示像素“v”的视差信息。Thd(u)指示像素“u”所属的子树的视差信息阈值代价，Thd(v)指示像素“v”所属的子树的视差信息阈值代价。
在下文中，将参照图4至图16更详细地提供关于表1的算法和表2的算法的进一步表述。参照图4，根据示例实施例的图像400包括4×4矩阵形式的像素。如先前所描述的，在图像400中包括的像素中的每个像素可通过唯一索引来指示。在以下描述中，除非另有说明，否则作为正整数的像素“idx”可以是指通过索引“idx”指示的像素。
例如，在输入图像400中包括的像素中的像素4、像素5、像素12和像素13可以是参考像素，而在输入图像400中包括的像素中的其余像素可以是一般像素。输入图像400可大致被划分成三个区域。例如，输入图像400可包括与第一区域410相应的第一对象和与第二区域420相应的第二对象。第三区域430可与背景相应。
参照图5，根据示例实施例的曲线图500可以是包括与在图4的输入图像400中包括的像素相应的节点的曲线图。在表1的算法的步骤1，曲线图500中的相邻像素可彼此连接。可以以各种方式来确定相邻像素。
例如，可将预先确定和/或选择的像素的相邻像素确定为相应像素的上方相邻像素、下方相邻像素、左侧相邻像素和右侧相邻像素。可选地，可将预先确定和/或选择的像素的相邻像素确定为相应像素的上方相邻像素、下方相邻像素、左侧相邻像素、右侧相邻像素或对角线相邻像素。可选地，可将预先确定和/或选择的像素的相邻像素确定为除相应像素之外的所有剩余像素。在下文中，为了便于描述，假设预先确定和/或选择的像素的相邻像素是相应像素的上方相邻像素、下方相邻像素、左侧相邻像素和右侧相邻像素。
在表1的算法的步骤1，可计算曲线图500中的相邻像素之间的代价。以各种方式计算相邻像素之间的代价。例如，可基于相邻像素的强度信息来计算相邻像素之间的代价。可选地，可基于相邻像素的强度信息和位置信息来计算相邻像素之间的代价。在下文中，为了便于描述，假设将相邻像素之间的代价计算为相邻像素之间的强度差的绝对值。
在曲线图500中包括的像素可大致被划分成三个区域。例如，第一区域510可与图4的第一区域410相应，第二区域520可与图4的第二区域420相应，第三区域530可与图4的第三区域430相应。
属于同一区域的相邻像素之间的代价可低于属于不同区域的相邻像素之间的代价。参照图6，在表1的算法的步骤2，可按照代价的升序来对曲线图500中包括的边进行分类。例如，在曲线图500中包括的边中，连接像素11和像素15的边的代价可以是最低的，连接像素6和像素7的边的代价可以是最高的。
参照图7，在表1的算法的步骤3，当按升序对边分类后，访问边。例如，可首先访问连接像素11和像素15的边。在表1的算法的步骤3-2，因为像素11和像素15均是“non-gcp”，所以可将边代价和阈值代价进行比较。在以下描述中，除非另有说明，否则边代价可以是指相邻像素之间的代价，并且阈值代价可以是指相邻像素中的每个像素所属的子树的阈值代价之中较低的阈值代价。
在下文中，为了便于描述，假设属于同一区域的相邻像素之间的代价低于阈值代价，并且属于不同区域的相邻像素之间的代价高于阈值。在表1的算法的步骤3-2，因为像素11和像素15属于同一区域530，所以可连接像素11和像素15。
当相邻像素被连接时，可更新将被产生的子树的阈值代价。例如，可基于在连接之前的相邻像素中的每个相邻像素的阈值代价来更新将被产生的子树的阈值代价。然而，因为假设属于同一区域的相邻像素之间的代价低于阈值代价，并且属于不同区域的相邻像素之间的代价高于阈值代价，所以在下文中将省略关于更新阈值代价的描述。
当所有相邻像素是“non-gcp”时，可选择根节点，以使将被产生的子树的级别在被连接之后更低。当将被产生的子树的级别对于从相邻像素中选择的任意一个相邻像素相同时，可选择具有较小索引的像素或具有较大索引的像素，或者，可任意选择任意一个像素。在下文中，为了便于描述，假设当将被产生的子树的级别对于从相邻像素中选择的任意一个相邻像素相同时具有较小索引的像素被选择。在此示例中，可将像素11选择为根节点。
可访问连接像素1和像素2的边。在表1的算法的步骤3-2，因为像素1和像素2均是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-2，因为像素1和像素2属于同一区域510，所以可连接像素1和像素2。因为将被产生的子树的级别对于从相邻像素中选择的任意一个相邻像素相同，所以可将像素1选择为根节点。
可访问连接像素8和像素12的边。在表1的算法的步骤3-1，因为像素8是“non-gcp”而像素12是“gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素8和像素12属于同一区域520，所以可连接像素8和像素12。当相邻像素中的一个像素是“gcp”时，可将“gcp”像素选为将被产生的子树的根节点。在此示例中，可将像素12选择为根节点。
可访问连接像素7和像素8的边。在表1的算法的步骤3-1，因为像素7是“non-gcp”并且像素12(例如，像素8所属的子树的根节点)是“gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素7和像素8属于同一区域520，所以可连接像素7和像素8。因为像素12(例如，像素8所属的子树的根节点)是“gcp”，所以可将像素12选择为根节点。
可访问连接像素2和像素6的边。在表1的算法的步骤3-2，因为像素1(例如，像素2所属的子树的根节点)是“non-gcp”并且像素6是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-2，因为像素2和像素6属于同一区域510，所以可连接像素2和像素6。因为将被产生的子树的级别对于从像素1(例如，像素2所属的子树的根节点)和像素6中选择的任意一个像素相同，所以可将具有较小索引的像素1选择为根节点。
可访问连接像素10和像素11的边。在表1的算法的步3-2，因为像素10是“non-gcp”并且像素11(例如，像素11所属的子树的根节点)是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-2，因为像素10和像素11属于同一区域530，所以可连接像素10和像素11。因为当将像素11选择为根节点(例如，像素11所属的子树的根节点)时将被产生的子树的级别更低，所以可将像素11选择为根节点。
可访问连接像素15和像素16的边。在表1的算法的步骤3-2，因为像素11(例如，像素15所属的子树的根节点)是“non-gcp”并且像素16是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-2，因为像素15和像素16属于同一区域530，所以可连接像素15和像素16。可将像素11选择为根节点，这是因为将被产生的子树的级别低于通过将像素16选择为根节点将被产生的子树的级别。
可访问连接像素9和像素13的边。在表1的算法的步骤3-1，因为像素9是“non-gcp”而像素13是“gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素9和像素13属于同一区域510，所以可连接像素9和像素13。因为像素13是“gcp”，所以可将像素13选择为根节点。
可访问连接像素5和像素9的边。在表1的算法的步骤3-3，因为像素5是“gcp”并且像素13(例如，像素9所属的子树的根节点)是“gcp”，所以可不连接像素5和像素9。
可访问连接像素1和像素5的边。在表1的算法的步骤3-1，因为像素1(例如，像素1所属的子树的根节点)是“non-gcp”并且像素5是“gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素1和像素5属于同一区域510，所以可连接像素1和像素5。因为像素5是“gcp”，所以可将像素5选择为根节点。
可访问连接像素3和像素4的边。在表1的算法的步骤3-1，因为像素3是“non-gcp”而像素4是“gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素3和像素4属于同一区域520，所以可连接像素3和像素4。因为像素4是“gcp”，所以可将像素4选择为根节点。
可访问连接像素5和像素6的边。因为像素5和像素6属于同一子树，所以可不连接像素5和像素6。要求可包括与不具有循环路径的树相应的生成树。
可访问连接像素10和像素14的边。在表1的算法的步骤3-2，因为像素11(例如，像素10所属的子树的根节点)是“non-gcp”并且像素14是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-2，因为像素10和像素14属于同一区域530，所以可连接像素10和像素14。可将像素11选择为根节点，这是因为将被产生的子树的级别低于通过将像素14选择为根节点将被产生的子树的级别。
可访问连接像素3和像素7的边。在表1的算法的步骤3-3，因为像素4(例如，像素3所属的子树的根节点)是“gcp”并且像素12(例如，像素7所属的子树的根节点)是“gcp”，所以可不连接像素3和像素7。
可访问连接像素4和像素8的边。在表1的算法的步骤3-3，因为像素4(例如，像素4所属的子树的根节点)是“gcp”并且像素12(例如，像素8所属的子树的根节点)是“gcp”，所以可不连接像素4和像素8。
可访问连接像素14和像素15的边。因为像素14和像素15属于同一子树，所以可不连接像素14和像素15。
可访问连接像素9和像素10的边。在表1的算法的步骤3-1，因为像素13(例如，像素9所属的子树的根节点)是“gcp”而像素11(例如，像素10所属的子树的根节点)是“non-gcp”，所以可将边代价和阈值代价进行比较。在表1的算法的步骤3-1，因为像素9属于第一区域510，而像素10属于第三区域530，所以可不连接像素9和像素10。
因为随后将被访问的边的所有代价都高于阈值代价，所以可不连接随后将被访问的边。参照图8，作为执行表1的算法的结果，产生了五个子树810、820、830、840和850。
参照图9，在表2的算法的步骤1，计算用于根节点之间的边的代价。例如，可计算用于相邻根节点之间的边的代价，或者，可计算任意根节点之间的所有边的代价。在下文中，将提供关于计算任意根节点之间的所有边的代价的描述。k维(k-d)树可用于访问非相邻根节点之间的边。
可以以各种方式计算用于根节点之间的边的代价。例如，可基于强度信息、位置信息和视差信息中的至少一个来计算“gcp”根节点和“gcp”根节点之间的代价。可基于强度信息和位置信息中的至少一个来计算“non-gcp”根节点和“gcp”根节点之间的代价。可基于强度信息和位置信息中的至少一个来计算“non-gcp”根节点和“non-gcp”根节点之间的代价。
参照图10，在表2的算法的步骤2，可按照代价的升序来对根节点之间的边进行分类。例如，像素4(例如，第一子树810的根节点)和像素12(例如，第四子树840的根节点)之间的代价可以是最低的。像素4(例如，第一子树810的根节点)和像素11(例如，第三子树830的根节点)之间的代价可以是最高的。
参照图11，在表2的算法的步骤3，当按照升序边被分类后，可访问边。例如，可首先访问连接像素4和像素12的边。在表2的算法的步骤3-1，因为像素4和像素12均是“gcp”，所以可将边代价和阈值代价进行比较。在以下的描述中，除非另有说明，否则边代价可以是指被访问的边的代价，并且阈值代价可以是指根节点分别所属的子树的阈值代价之间较低的阈值代价。边代价和阈值代价可与强度信息、位置信息和视差信息中的至少一个相关联。
在下文中，为了便于描述，假设属于同一区域的根节点之间的代价低于阈值代价，并且属于不同区域的根节点之间的代价高于阈值。在表2的算法的步骤3-1，因为像素4和像素12属于同一区域520，所以可连接像素4和像素12。因为当将像素12选择为根节点时将被产生的子树的级别更低，所以可将像素12选择为根节点。
参照图12，可访问像素5和像素13的边。在表2的算法的步骤3-1，因为像素5和像素13均是“gcp”，所以可将边代价和阈值代价进行比较。在表2的算法的步骤3-1，因为像素5和像素13属于同一区域510，所以可连接像素5和像素13。因为当将像素5选择为根节点时将被产生的子树的级别更低，所以可将像素5选择为根节点。
可访问连接像素11和像素13的边。然而，因为像素13不再是根节点，所以可不连接像素11和像素13。访问连接像素4和像素5的边。然而，因为像素4不再是根节点，所以可不连接像素4和像素5。可访问连接像素12和像素13的边。然而，因为像素13不再是根节点，所以可不连接像素12和像素13。
参照图13，可访问连接像素5和像素11的边。在表2的算法的步骤3-2，因为像素5是“gcp”而像素11是“non-gcp”，所以可连接像素5和像素11。在表2的算法的步骤3-2，因为基于执行表1的算法的结果，具有“gcp”根的子树和具有“non-gcp”根的子树属于不同区域，所以不需要将边代价和阈值代价进行比较，并且可对连接像素5和像素11的边的代价进行惩罚。因为当将像素5选择为根节点时将被产生的子树的级别更低，所以可将像素5选择为根节点。
参照图14，可访问连接像素5和像素12的边。在表2的算法的步骤3-1，因为像素5和像素12均是“gcp”，所以可将边代价和阈值代价进行比较。在表2的算法的步骤3-1，因为像素5属于第一区域510，而像素12属于第二区域520，所以可对连接像素5和像素12的边的代价进行惩罚。因为当将像素5选择为根节点时将被产生的子树的级别更低，所以可将像素5选择为根节点。
参照图15，作为执行表2的算法的结果，产生了生成树1500。生成树1500与图14的树1400相应。
在下文中，将参照图16提供关于执行表1的算法和表2的算法的处理的描述。可基于表1的算法产生第一子树1610、第二子树1620、第三子树1630和第四子树1640。在此示例中，可产生子树以使单个子树最多包括单个“gcp”。
可基于表2的算法来连接子树的根节点。在此示例中，可基于强度信息、位置信息和视差信息中的至少一个来计算连接“gcp”和“gcp”的边(例如，边1615)的代价。例如，可基于等式1、等式2、等式3、等式4、等式5和等式6中的任意一个等式来计算连接“gcp”和“gcp”的边的代价。此外，可对计算连接“gcp”和“gcp”的边的代价的方式做出各种修改。
[等式1]
[等式2]
α|xu-xv|+β|du-dv|+γ|Iu-Iv|
[等式3]
[等式4]
β|du-dv|+γ|Iu-Iv|
[等式5]
β|du-dv|
[等式6]
γ|Iu-Iv|
在等式1至等式6，xu指示像素u的位置信息，xv指示像素v的位置信息，α指示用于位置信息的参数。du指示像素u的视差信息，dv指示像素v的视差信息，β指示用于视差信息的参数。Iu指示像素u的强度信息，Iv指示像素v的强度信息，γ指示用于强度信息的参数。
当边1615的代价高于阈值时，可对边1615的代价进行惩罚。
因为“non-gcp”不包括视差信息，所以可基于强度信息和位置信息中的至少一个来计算连接“gcp”和“non-gcp”的边(例如，边1625)的代价。在此示例中，可对边1625的代价进行惩罚。例如，可基于等式7来计算连接“gcp”和“non-gcp”的边的代价。此外，可对计算连接“gcp”和“non-gcp”的边的代价的方式做出各种修改。
[等式7]
γ|Iu-Iv|+T
在等式7中，T指示惩罚。因为“non-gcp”不包括视差信息，所以可基于强度信息和位置信息中的至少一个来计算连接“non-gcp”和“non-gcp”的边(例如，边1635)的代价。在此示例中，可对边1635的代价进行惩罚。例如，可基于等式7来计算连接“non-gcp”和“non-gcp”的边的代价。此外，可对计算连接“non-gcp”和“non-gcp”的边的代价的方式做出各种修改。
根据示例实施例的立体匹配
在下文中，将参照图17和图18提供关于使用生成树进行立体匹配的方法的描述。如先前所描述的，用于立体匹配的方法可以是指对与左眼相应的图像中的像素和与右眼相应的图像中的像素进行匹配的方法。可基于与左眼相应的图像或者基于与右眼相应的图像来执行用于立体匹配的方法。在下文中，为了便于描述，假设基于与左眼相应的图像来执行用于立体匹配的方法。
可从多条候选视差信息{0，…，dmax}中选择最合适的候选视差信息，以获得在图像中包括的预先确定和/或选择的像素x的视差信息。可计算与像素x的一组候选视差信息d∈{0，…，dmax}中的每个候选视差信息相应的数据代价，以选择最合适的候选视差信息。
参照等式8，像素组{x'}包括可能和与左眼相应的图像的像素x匹配的与右眼相应的图像的像素。
[等式8]
{x′}＝{x′：x′＝x-d，y′＝y，d∈{0，…，dmax}}
可通过如等式9所示的确定像素x和像素组{x'}之间的相似度的函数来定义数据代价。
[等式9]
Dx(d)＝f(d；Il,Ir,x,W)
在等式9中，Dx(d)指示像素x中与候选视差信息d相应的数据代价。Il指示与左眼相应的图像的像素的强度信息，Ir指示与右眼相应的图像的像素的强度信息。W指示将被设置用于计算像素x的特征向量的区域。
例如，将被输出的Dx(d)越低，则第一特征向量和第二特征向量之间的相似度越高，其中，第一特征向量通过像素(x,y)的强度信息Il和相邻于像素(x,y)的区域W来确定，第二特征向量通过像素(x-d,y)的强度信息Ir和相邻于像素(x-d,y)的区域W'来确定。第一特征向量和第二特征向量之间的异构性越大，则将被输出的Dx(d)越大。
例如，可通过等式10和等式11来表示用于立体匹配的数据代价。
[等式10]
[等式11]
在等式10和等式11中，Dv(d)指示数据代价，Dv 常规(d)指示基于强度信息计算出的一般数据代价，Gv(d)指示用于“gcp”的数据代价。μ和κ分别指示用于确定Dv 常规(d)和Gv(d)的权重的参数。dv指示预先提供给“gcp”像素v的视差信息。Gmax指示预先确定和/或选择的数据代价的最大值。
在“gcp”像素v1的示例中，可将κ设置为远大于μ。例如，可将κ设置为“1”，并可将μ设置为“0”。当候选视差信息d与预先提供给像素v1的视差信息相同时，数据代价可以是最小值(例如，“0”)。当候选视差信息d与预先提供给像素v1的视差信息不同时，数据代价可以是最大值(例如，Gmax)。
在“non-gcp”像素v2的示例中，可将μ设置为远大于κ。例如，可将μ设置为“1”，并可将κ设置为“0”。因为视差信息未被预先提供给“non-gcp”像素v2，所以可使用Dv 常规(d)来计算与候选视差信息d相应的数据代价。
累计数据代价可用于增强立体匹配的性能。例如，可基于等式12而不是基于单个数据代价Dx(d)来计算在预先确定和/或选择的区域中包括的像素的数据代价的加权和，以计算像素v的数据代价。
[等式12]
在等式12中，指示像素x中与候选视差信息d相应的累计数据代价。Rx指示用于计算像素x的累计数据代价的预先确定和/或选择的区域，w(i,x)指示将被添加用于计算像素x的累计数据代价的像素i的数据代价的权重。Di(d)指示在Rx中包括的像素i中与候选视差信息d相应的数据代价。可将Di(d)应用于等式10。
在此示例中，用于加权和的区域Rx的覆盖范围和权重w(i,x)可以是用于确定累计数据代价的性能的重要参数。参照等式13，可使用根据示例实施例的生成树来计算覆盖整个图像的像素的数据代价的加权和。
[等式13]
在等式13中，指示像素v中与候选视差信息d相应的累计数据代价。I指示覆盖整个图像的一组像素，w(u,v)指示将被添加用于计算像素v的累计数据代价的像素u的数据代价的权重。Du(d)指示在I中包括的像素u中与候选视差信息d相应的数据代价。可将Du(d)应用于等式10。
w(u,v)可以是像素u和像素v之间的测量距离。例如，可基于等式14来计算w(u,v)。
[等式14]
在等式14中，边强度指示通过计算在生成树中沿着从像素v到像素u的路径存在的边的代价之和而获得的值。γ指示用于w(u,v)的参数。
例如，参照图17，w(2,1)是沿着从像素2到像素1的路径1710存在的边的代价之和。w(7,1)是沿着从像素7到像素1的路径1720存在的边的代价之和。w(13,1)是沿着从像素13到像素1的路径1730存在的边的代价之和。
因为像素u1和像素v之间的相似度越高，则沿着从像素u1到像素v的路径存在的边的代价之和越小，所以w(u1,v)的值可减小。相反地，因为像素u2和像素v之间的相似度越低，则沿着从像素u2到像素v的路径存在的边的代价之和越高，所以w(u2,v)的值可增大。
作为示例，参照图17，w(2,1)可具有远小于w(7,1)的值。例如，沿着从像素2到像素1的路径1710存在的边的代价可远低于沿着从像素7到像素1的路径1720存在的边的代价之和。因为连接像素12和像素5的边是在产生生成树时被惩罚过的边，所以沿着从像素7到像素1的路径1720存在连接像素12和像素5的边。
如另一示例，参照图18，w(10,16)可具有远小于w(9,16)的值。例如，沿着从像素10到像素16的路径1810存在的边的代价之和可远小于沿着从像素9到像素16的路径1820存在的边的代价之和。因为连接像素5和像素11的边是在产生生成树时被惩罚过的边，所以沿着从像素9到像素16的路径1820存在连接像素5和像素11的边。
参照等式15，当针对候选视差信息d∈{0,…,dmax}中的每个候选视差信息计算时，将使累计数据代价是最小值的候选视差信息dv*确定为像素v的视差信息。
[等式15]
根据示例实施例的上采样
根据示例实施例的用于使用生成树进行立体匹配的方法可被应用于上采样的方法。参照图3，当高分辨率彩色图像和低分辨率深度图像被提供时，与深度图像的像素相应的彩色图像的像素可以是还包括深度信息的参考像素。
可按照与前面所描述的方式相同的方式来产生覆盖整个图像300的生成树。可基于参考像素来产生子树，并可通过连接子树的根来产生生成树。
在下文中，将描述用于对深度图像进行上采样的数据代价。例如，可将“non-gcp”像素的数据代价设置为“0”。如由等式16和等式17所示，可以以直方图的形式来定义“gcp”像素的数据代价。
[等式16]
Dv(d)：＝κvGv(d)
[等式17]
在等式16和等式17中，Dv(d)指示“gcp”像素v的数据代价，κv和σd指示用于数据代价的参数。dv指示预先提供给“gcp”像素v的深度信息。
可基于等式13和等式14来计算用于多个候选深度信息d∈{0,…,dmax}中的每个候选深度信息的参照等式18，将使累计数据代价是最大值的候选深度信息dv*确定为像素v的深度信息。
[等式18]
参照图3，深度图像的分辨率可基于用于上采样的前述方法增加彩色图像的分辨率的程度。如这里所使用的，用于对深度图像进行上采样的方法可被称为深度图上采样。
根据示例实施例的参考像素的产生
图19和图20示出根据示例实施例的使用立体视频产生参考像素的操作。可从立体视频提取根据示例实施例的参考像素。
立体视频可包括一系列立体图像。立体视频可包括与左眼相应的第一图像序列以及与右眼相应的第二图像序列。可从第一图像序列和第二图像序列中的每个图像序列跟踪光流或特征向量。可从跟踪的结果中检测高度可靠的光流或特征向量。用于第一图像序列和第二图像序列中的每个图像序列的光流或特征向量可在时间轴方向上在帧之间具有对应关系。
参照图19，图像1920是先前帧的立体图像，图像1930是当前帧的立体图像。图像1910是作为对先前帧的图像1920进行立体匹配的结果而产生的图像。如这里所使用的，图像1910可被称为视差图。视差图是亮度基于视差信息的强度而变化的图像。例如，可将具有小的视差的像素的亮度设置为暗，并将具有大的视差的像素的亮度设置为亮。
当假设在先前帧中执行立体匹配，并从先前帧到当前帧执行跟踪时，可产生当前帧的参考像素。例如，可基于跟踪的结果以及在先前帧中进行立体匹配的结果，计算当前帧的图像1930中的左图像中包括的像素1931的视差信息。在此示例中，像素1931可以是参考像素。
例如，基于跟踪第一图像序列的结果，在当前帧的左图像中包括的像素1931与在先前帧的左图像中包括的像素1921相应。基于在先前帧中进行立体匹配的结果，像素1921与像素1922匹配。在此示例中，可通过等式19来表示像素1921和像素1922之间的关系。
[等式19]
在等式19中，指示像素1922的x轴坐标值或视差图中与像素1922相应的像素1912的x轴坐标值。指示像素1921的x轴坐标值或视差图中与像素1921相应的像素1911的x轴坐标值。指示像素1921的视差信息。
基于跟踪第二图像序列的结果，在先前帧的右图像中包括的像素1922与在当前帧的右图像中包括的像素1932相应。因为像素1931与像素1921匹配，像素1921与像素1922匹配，并且像素1922与像素1932匹配，所以像素1931与像素1932匹配。因此，可基于等式20来计算像素1931的视差信息。
[等式20]
在等式20中，指示像素1931的视差信息，指示像素1931的x轴坐标值，指示像素1932的x轴坐标值。因为像素1931的视差信息基于等式20被计算，所以像素1931可用作参考像素。
可通过如先前所述的等式10和等式11给出用于立体匹配的数据代价。参考像素的数据代价Gv(d)可被称为时间先验(temporal prior)。
参照图20，虽然可在当前帧中产生参考像素，但是跟踪光流或特征向量的结果不完全可靠。图像2020是先前帧的立体图像，图像2030是当前帧的立体图像。图像2010是作为对先前帧中的图像2020进行立体匹配的结果而产生的图像。
虽然跟踪是从先前帧到当前帧被执行，但是当跟踪的结果不完全可靠时，当前帧中的单个像素会与先前帧中的多个像素相应。例如，基于跟踪第一图像序列的结果，在当前帧的左图像中包括的像素2031与在先前帧的左图像中包括的像素2021和像素2022相应。
作为在先前帧中进行立体匹配的结果，像素2021与像素2023匹配，并且像素2022与像素2024匹配。可选地，与像素2021相应的左视差图中的像素2011与右视差图中的像素2013匹配，并且与像素2022相应的左视差图中的像素2012与右视差图中的像素2014匹配。
基于跟踪第二图像序列的结果，在先前帧的右图像中包括的像素2023和像素2024与在当前帧的右图像中包括的多个像素相应。
作为示例，可基于跟踪第一图像序列的结果的可靠性和跟踪第二图像序列的结果的可靠性中的至少一个，确定与像素2031匹配的像素。例如，可基于跟踪第一图像序列的结果，确定先前帧中的多个像素中与像素2031相应的最可靠的像素。可基于与像素2031的相似度来计算先前帧中与像素2031相应的多个像素的可靠性。可基于像素的位置信息和/或强度信息来计算与像素2031的相似度。可基于包括像素2031的块(patch)的相似度来计算与像素2031的相似度。
当假设选择的像素是像素2022时，基于在先前帧中进行立体匹配的结果，像素2022可与像素2024相应。像素2024可与当前帧中的像素2032和像素2033相应。在此示例中，可基于跟踪第二图像序列的结果的可靠性，来选择多个像素中的任意一个像素。可基于与像素2024的相似度来计算当前帧的与像素2024相应的多个像素的可靠性。可基于像素的位置信息和/或强度信息来计算与像素2024的相似度。可基于包括像素2024的块的相似度来计算与像素2024的相似度。
当假设选择的像素是像素2033时，像素2031可与像素2033匹配。在此示例中，可基于像素2031的x轴坐标值和像素2033的x轴坐标值之间的差来计算像素2031的视差信息。
作为另一示例，可基于跟踪第一图像序列的结果的可靠性和跟踪第二图像序列的结果的可靠性中的至少一个，确定用于数据代价的函数。例如，可通过等式21来表示在当前帧中的像素v中与候选视差信息d相应的数据代价。
[等式21]
Gv(d)＝g(d；块相似度)
在等式21中，g(d；块相似度)指示以下函数：跟踪第一图像序列的结果的可靠性和跟踪第二图像序列的结果的可靠性越高，则函数的值越小。
例如，假设像素v与在当前帧的右图像中的像素u的x轴坐标值隔开候选视差信息d的距离，以计算当前帧的左图像中的像素v的视差信息。当前帧的左图像中的像素v可与先前帧的左图像中的像素v'相应，先前帧的左图像中的像素v'可与先前帧的右图像中的像素u'相应，并且先前帧的右图像中的像素u'可与当前帧的右图像中的像素u相应。在此示例中，跟踪第一图像序列的结果的可靠性与相应对(像素v，像素v')的可靠性相应，跟踪第二图像序列的结果的可靠性与相应对(像素u'，像素u)的可靠性相应。
可通过如先前所述的等式10和等式21给出用于立体匹配的数据代价。参考像素的数据代价Gv(d)可被称为时间先验。
然而，此公开可以以许多不同形式的组合和应用来实现，而不应被解释为限于在此阐述的示例实施例。例如，当针对立体视频的第一帧的立体匹配被完成时，可结合前述示例实施例来执行后续帧的立体匹配。
例如，可基于根据示例实施例的产生参考像素的方法，使用第一帧的立体匹配信息来产生第二帧的参考像素信息。可基于根据示例实施例的产生生成树的方法，使用第二帧的参考像素信息来产生用于第二帧的生成树。可基于根据示例实施例的用于立体匹配的方法，使用用于第二帧的生成树来执行用于第二帧的立体匹配。前述处理可应用于后续帧。
根据示例实施例的操作流程图的描述
图21至图25是示出根据示例实施例的操作的流程图。参照图21，根据示例实施例的产生生成树的方法包括：在2110，接收用于输入图像的关于参考像素的信息；在2120，基于关于参考像素的信息来产生连接在输入图像中包括的像素的生成树。
参照图22，在2120产生生成树的步骤包括：在2121，产生使参考像素为根节点的子树；在2122，通过调整子树之间的边代价来连接子树。
参照图23，根据示例实施例的用于立体匹配的方法包括：在2310，接收用于立体匹配的第一输入图像和第二输入图像；在2320，获得连接在第一输入图像中包括的多个像素的生成树；在操作2330，基于在所述多个像素中的一般像素的数据代价、用于所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的任意一个像素的与多个候选视差相应的累计数据代价；在2340，通过将累计数据代价进行比较，将所述多个候选视差中的一个候选视差确定为所述多个像素中的一个像素的视差。
参照图24，根据示例实施例的用于上采样的方法包括：在2410，获得连接在输入图像中包括的多个像素的生成树；在2420，基于所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的任意一个像素的与多个候选深度相应的累计数据代价；在2430，通过将累计数据代价进行比较，将所述多个候选深度中的一个候选深度确定为所述多个像素中的一个像素的深度。
参照图25，根据示例实施例的产生参考像素的方法包括：在2510，跟踪在立体视频中包括的第一图像序列和第二图像序列；在2520，基于跟踪第一图像序列的结果、跟踪第二图像序列的结果以及在先前帧中进行立体匹配的结果，产生用于当前帧的参考像素。
对于对图21至图25中省略的操作的任何描述，可参照图1至图20中描述的相似特征。
根据示例实施例的框图的描述
图26至图29是根据示例实施例的框图。参照图26，用于产生生成树的设备2600包括接收器2610和产生器2620。接收器2610可接收用于输入图像的关于参考像素的信息。产生器2620可基于关于参考像素的信息来产生连接在输入图像中包括的像素的生成树。可使用硬件组件、软件组件或它们的组合来实现接收器2610和产生器2620。例如，可使用一个或更多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微型处理器或能够以定义的方式对指令进行响应和执行指令的任何其它装置)来实现处理装置。
参照图27，根据示例实施例的用于立体匹配的设备2700包括接收器2710、获得器2720、计算器2730和确定器2740。接收器2710可接收用于立体匹配的第一输入图像和第二输入图像。获得器2720可获得连接在第一输入图像中包括的多个像素的生成树。计算器2730可基于所述多个像素中的一般像素的数据代价、所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的任意一个像素的与多个候选视差相应的累计数据代价。确定器2740可通过将累计数据代价进行比较，来将所述多个候选视差中的一个候选视差确定为所述多个像素中的一个像素的视差。可使用硬件组件、软件组件或它们的组合来实现接收器2710、获得器2720、计算器2730和确定器2740。例如，可使用一个或更多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微型处理器或能够以定义的方式对指令进行响应和执行指令的任何其它装置)来实现处理装置。
参照图28，根据示例实施例的用于上采样的设备2800包括获得器2810、计算器2820和确定器2830。获得器2810可获得连接在输入图像中包括的多个像素的生成树。计算器2820可基于所述多个像素中的参考像素的数据代价和在生成树中包括的边的边代价，计算用于所述多个像素中的任意一个像素的与多个候选深度相应的累计数据代价。确定器2830可通过将累计数据代价进行比较，来将所述多个候选深度中的一个候选深度确定为所述多个像素中的一个像素的深度。可使用硬件组件、软件组件或它们的组合来实现获得器2810、计算器2820和确定器2830。例如，可使用一个或更多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微型处理器或能够以定义的方式对指令进行响应和执行指令的任何其它装置)来实现处理装置。
参照图29，根据示例实施例的用于产生参考像素的设备2900包括跟踪器2910和产生器2920。跟踪器2910可跟踪在立体视频中包括的第一图像序列和第二图像数列。产生器2920可基于跟踪第一图像序列的结果、跟踪第二图像序列的结果以及在先前帧中进行立体匹配的结果，来产生用于当前帧的参考像素。可使用硬件组件、软件组件或它们的组合来实现跟踪器2910和产生器2920。例如，可使用一个或更多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微型处理器或能够以定义的方式对指令进行响应和执行指令的任何其它装置)来实现处理装置。
对于对图26至图29中省略的操作的任何描述，可参照图1至图20中描述的相似特征。
可使用硬件组件、软件组件或它们的组合来实现在此描述的单元。例如，可使用一个或更多个通用或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微型处理器或能够以定义的方式对指令进行响应和执行指令的任何其它装置)来实现处理装置。处理装置可运行操作系统(OS)和在OS上运行的一个或更多个软件应用。处理装置也可响应于软件的执行来访问、存储、操纵、处理和创建数据。出于简化目的，处理装置的描述用作单数形式；然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器、或处理器和控制器。另外，不同的处理配置是可能的，诸如并行处理器。
软件可包括计算机程序、一段代码、指令或它们的一些组合，以独立地或共同地指示或配置处理装置根据需要进行操作。软件和数据可暂时地或永久地实现在任意类型的机器、组件、物理或虚拟装备、计算机存储介质或装置中，或者可以以能够将指令或数据提供给处理装置或由处理装置来解释的传播的信号波来实现。软件也可分布在联网的计算机系统上，使得软件可以以分布式方式被存储和执行。具体地，可通过一个或更多个计算机可读记录介质来存储软件和数据。
上述示例实施例可记录在包括用于实现由计算机实施的各种操作的程序指令的非暂时性计算机可读介质中。所述介质也可单独地或与程序指令相结合地包括数据文件、数据结构等。在介质上记录的程序指令可以是被专门设计和构造为用于示例实施例的目的的程序指令，或者，它们可以是对于计算机软件领域中的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软件和磁带)、光介质(诸如CD ROM盘和DVD)、磁光介质(诸如光盘)和专门被配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。非暂时性计算机可读介质也可以是分布式网络，使得程序指令以分布式方式被存储和执行。程序指令可由一个或更多个处理器来执行。非暂时性计算机可读介质也可实现在执行(类似于处理器一样处理)程序指令的至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件两者。上述装置可被配置为充当一个或更多个软件模块，以执行上述示例实施例的操作，反之亦然。
虽然已示出并描述了示例实施例，但是本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可在这些示例实施例中做出修改，其中，本公开的范围由权利要求及其等同物限定。例如，虽然描述的技术以不同于所描述的方法的顺序执行，和/或描述的系统、架构、装置、电路组件(诸如结合其它类型组件或其它组件描述的方法)可由等同物取代或替换，但是可实现适当结果。因此，将在权利要求中描述其它实现方式、其它实施例和权利要求的等同物。

Claims (20)

1.一种用于立体匹配的方法，所述方法包括：
接收用于立体匹配的第一输入图像和第二输入图像；
获得连接在第一输入图像中包括的多个像素的生成树；
基于所述多个像素之中的一般像素的数据代价、所述多个像素之中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选视差相应的多个累计数据代价，其中，所述多个像素之中的参考像素的数据代价基于在参考像素中包括的预提供的深度信息，其中，一般像素中的每个一般像素包括强度信息和位置信息中的至少一个，参考像素与一般像素相比还包括深度信息；
通过将所述多个累计数据代价进行比较，将所述多个候选视差中的一个候选视差确定为所述多个像素中的所述一个像素的视差。
2.如权利要求1所述的方法，还包括：
接收与参考像素相关联的视差信息和深度信息中的至少一个。
3.如权利要求1所述的方法，还包括：
接收与一般像素和参考像素相关联的强度信息和位置信息中的至少一个。
4.如权利要求1所述的方法，其中，生成树包括多个子树，其中，所述多个子树中的每个子树包括具有相关性的像素。
5.如权利要求1所述的方法，其中，一般像素的数据代价基于以下亮度信息：第一输入图像中的一般像素的亮度信息、第二输入图像中的距与一般像素相应的像素相隔所述多个候选视差中的一个候选视差的距离的像素的亮度信息。
6.如权利要求1所述的方法，其中，参考像素的数据代价还基于参考像素的视差信息和所述多个候选视差中的一个候选视差。
7.如权利要求6所述的方法，其中，参考像素的数据代价还基于以下亮度信息：第一输入图像中的参考像素的亮度信息、第二输入图像中的距与参考像素相应的像素相隔所述多个候选视差中的一个候选视差的距离的像素的亮度信息。
8.如权利要求1所述的方法，其中，通过计算与所述多个候选视差中的一个候选视差相应的多个像素的数据代价的加权和来计算与所述多个候选视差中的所述一个候选视差相应的累计数据代价。
9.如权利要求8所述的方法，其中，用于所述加权和的多个像素的权重基于与生成树中的连接用于所述加权和的多个像素之中的任意一个像素和其余像素的路径相应的边代价。
10.如权利要求1所述的方法，其中，获得生成树的步骤包括：
接收用于第一输入图像的与参考像素相关联的信息；
基于所述信息产生生成树。
11.如权利要求10所述的方法，其中，产生生成树的步骤包括：
产生使参考像素为根节点的多个子树；
通过调整所述多个子树之间的边代价来连接所述多个子树。
12.如权利要求11所述的方法，其中，产生所述多个子树的步骤包括：
基于在第一输入图像中包括的一般像素和参考像素来确定多个候选像素对；
计算所述多个候选像素对的边代价；
基于所述多个候选像素对的边代价的值来按顺序选择所述多个候选像素对中的一个候选像素对；
基于在选择的候选像素对中包括的第一像素所属的第一子树和在选择的候选像素对中包括的第二像素所属的第二子树，确定是否连接第一像素和第二像素。
13.如权利要求11所述的方法，其中，连接所述多个子树的步骤包括：
基于所述多个子树来确定多个候选子树对；
计算所述多个候选子树对的边代价；
基于所述多个候选子树对的边代价的值来按顺序选择候选子树对；
基于在选择的候选子树对中包括的第一子树和在选择的候选子树对中包括的第二子树，确定是否连接第一子树和第二子树。
14.一种上采样的方法，所述方法包括：
获得连接在输入图像中包括的多个像素的生成树；
基于所述多个像素之中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选深度相应的多个累计数据代价，其中，所述多个像素之中的参考像素的数据代价基于在参考像素中包括的预提供的深度信息；
通过将所述多个累计数据代价进行比较，将所述多个候选深度中的一个候选深度确定为所述多个像素中的所述一个像素的深度。
15.如权利要求14所述的方法，还包括：
接收参考像素独有的深度信息。
16.如权利要求14所述的方法，其中，生成树包括多个子树，其中，所述多个子树中的每个子树包括具有相关性的像素。
17.如权利要求14所述的方法，其中，参考像素的数据代价基于参考像素的深度信息和所述多个候选深度中的一个候选深度。
18.如权利要求14所述的方法，其中，通过计算与所述多个候选深度中的一个候选深度相应的像素的数据代价的加权和来计算与所述一个候选深度相应的累计数据代价。
19.如权利要求18所述的方法，其中，用于所述加权和的多个像素的权重基于与生成树中的连接用于所述加权和的多个像素之中的任意一个像素和其余像素的路径相应的边代价。
20.一种包括被配置为指示计算机执行如权利要求1所述的方法的程序的非暂时性计算机可读介质。
CN201410776956.0A 2014-05-13 2014-12-15 用于立体匹配的方法和用于上采样的方法 Active CN105100768B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0057176 2014-05-13
KR1020140057176A KR102240570B1 (ko) 2014-05-13 2014-05-13 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105100768A CN105100768A (zh) 2015-11-25
CN105100768B true CN105100768B (zh) 2019-01-04

Family

ID=52472194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410776956.0A Active CN105100768B (zh) 2014-05-13 2014-12-15 用于立体匹配的方法和用于上采样的方法

Country Status (4)

Country Link
US (1) US9401022B2 (zh)
EP (1) EP2947626B1 (zh)
KR (1) KR102240570B1 (zh)
CN (1) CN105100768B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
KR102696652B1 (ko) * 2017-01-26 2024-08-21 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
KR102670714B1 (ko) * 2018-12-17 2024-06-03 서강대학교산학협력단 Gpu를 기반으로 한 결정 트리를 이용한 대응점 탐색 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法
US8548226B2 (en) * 2009-06-30 2013-10-01 Hitachi, Ltd. Stereo image processing device and method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100280830B1 (ko) 1997-12-22 2001-02-01 정선종 스패닝 트리를 이용한 객체 적재 방법
US6263113B1 (en) 1998-12-11 2001-07-17 Philips Electronics North America Corp. Method for detecting a face in a digital image
US20050203927A1 (en) * 2000-07-24 2005-09-15 Vivcom, Inc. Fast metadata generation and delivery
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
DE60310226T2 (de) * 2002-06-12 2007-10-04 Spatial Integrated Systems, Inc. Verfahren zur linearen raumabtastung und vorrichtung zur erzeugung eines numerischen 3d modells
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US8166151B2 (en) 2002-12-20 2012-04-24 Enterasys Networks, Inc. Method and apparatus for determining a spanning tree
DE10307221A1 (de) 2003-02-20 2004-09-02 Zf Friedrichshafen Ag Planetenradträger
FR2872665A1 (fr) 2004-07-01 2006-01-06 Thomson Licensing Sa Dispositif et procede de compression video
JP2008216295A (ja) 2007-02-28 2008-09-18 Fujifilm Corp 感光性積層体の製造装置及び製造方法
EP2006803A1 (en) 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
TWI389573B (zh) * 2007-12-06 2013-03-11 Mstar Semiconductor Inc 僅依據水平方向之影像區塊執行影像處理運作的影像處理方法及其相關裝置
US8184913B2 (en) 2009-04-01 2012-05-22 Microsoft Corporation Clustering videos by location
US8428384B2 (en) * 2010-08-19 2013-04-23 Sony Corporation Method and apparatus for performing an in-painting process on an image
KR101259830B1 (ko) 2011-07-27 2013-05-02 주식회사 오이코스 지중정화시스템의 연무와 스컴 제거장치
US8655054B2 (en) * 2011-09-06 2014-02-18 National Taiwan University System and method of correcting a depth map for 3D image
US9305058B2 (en) 2011-10-31 2016-04-05 Hewlett Packard Enterprise Development Lp Determining an execution ordering
CN104247432B (zh) * 2011-11-11 2019-06-11 Ge视频压缩有限责任公司 使用深度图估计和更新的高效多视点编码
KR20130094626A (ko) 2012-02-16 2013-08-26 한국전자통신연구원 스테레오 매칭 방법 및 장치
KR101354721B1 (ko) 2012-05-21 2014-01-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548226B2 (en) * 2009-06-30 2013-10-01 Hitachi, Ltd. Stereo image processing device and method
CN103218776A (zh) * 2013-03-07 2013-07-24 天津大学 基于最小生成树的非局部的深度图超分辨率重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Non-Local Cost Aggregation Method for Stereo Matching;Qingxiong Yang;《2012 IEEE Conference on Computer Vision and Pattern Recognition》;20120616;第1402-1409页 *
Combination of Time-of-Flight depth and stereo using semiglobal optimization;Jan Fischer et al;《2011 IEEE International Conference on Robotics and Automation》;20110509;第3548-3553页 *
Joint Geodesic Upsampling of Depth Images;Liu Ming-Yu et al;《2013 IEEE Computer Society conference on Computer Vision and Pattern recognition》;20130623;第169-176页 *

Also Published As

Publication number Publication date
EP2947626B1 (en) 2020-04-08
KR102240570B1 (ko) 2021-04-15
CN105100768A (zh) 2015-11-25
KR20150130078A (ko) 2015-11-23
US9401022B2 (en) 2016-07-26
US20150332447A1 (en) 2015-11-19
EP2947626A1 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
AU2017324923B2 (en) Predicting depth from image data using a statistical model
US10334168B2 (en) Threshold determination in a RANSAC algorithm
Fischer et al. Flownet: Learning optical flow with convolutional networks
JP5206853B2 (ja) 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
Srinivasan et al. Aperture supervision for monocular depth estimation
JP6489551B2 (ja) 画像のシーケンスにおいて前景を背景から分離する方法およびシステム
CN105100770B (zh) 立体源图像校准方法和设备
CN108364310A (zh) 立体匹配方法和设备、图像处理设备及其训练方法
Cho et al. Automatic trimap generation and consistent matting for light-field images
CN106488215A (zh) 图像处理方法和设备
CN103313081A (zh) 图像处理设备和方法
CN104205826A (zh) 用于重建高密度三维图像的设备和方法
CN105100768B (zh) 用于立体匹配的方法和用于上采样的方法
Jiang et al. Data fusion-based multi-object tracking for unconstrained visual sensor networks
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Jeong et al. High‐quality stereo depth map generation using infrared pattern projection
Villamizar et al. Watchnet: Efficient and depth-based network for people detection in video surveillance systems
CN105447885B (zh) 计算视差的方法和装置
Leimkühler et al. Perceptual real-time 2D-to-3D conversion using cue fusion
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Lee et al. Simultaneous object tracking and depth estimation using color shifting property of a multiple color-filter aperture camera
Wang et al. Depth propagation based on depth consistency
McNerney et al. Block-based MAP disparity estimation under alpha-channel constraints
van Dam et al. Towards 3d facial reconstruction from uncalibrated cctv footage
Diana-Albelda et al. Self-supervised Monocular Depth Estimation on Unseen Synthetic Cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant