CN109661815A - 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 - Google Patents

存在相机阵列的显著强度变化的情况下的鲁棒视差估计 Download PDF

Info

Publication number
CN109661815A
CN109661815A CN201780053860.3A CN201780053860A CN109661815A CN 109661815 A CN109661815 A CN 109661815A CN 201780053860 A CN201780053860 A CN 201780053860A CN 109661815 A CN109661815 A CN 109661815A
Authority
CN
China
Prior art keywords
image
sequence
color
parallax
multiple images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780053860.3A
Other languages
English (en)
Other versions
CN109661815B (zh
Inventor
卡帕娜·塞沙德里纳坦
奥斯卡·内斯塔雷斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109661815A publication Critical patent/CN109661815A/zh
Application granted granted Critical
Publication of CN109661815B publication Critical patent/CN109661815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本文描述了在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的系统。该系统包括相机阵列、存储器和处理器。存储器被配置为存储成像数据。处理器被耦合到存储器和相机阵列。当执行指令时，处理器将获得多个图像并生成颜色匹配图像的序列，其中该序列包括这多个图像中的每对图像。处理器还基于颜色匹配图像的序列来计算多个视差点。

Description

存在相机阵列的显著强度变化的情况下的鲁棒视差估计
相关申请的交叉引用
本申请要求Kalpana Seshadrinathan等人于2016年9月28日提交的题为“ROBUSTDISPARITY ESTIMATION IN THE PRESENCE OF SIGNIFICANT INTENSITY VARIATIONS FORCAMERA ARRAYS”的序列号为15/278,615的美国专利申请的申请日的权益，并且该申请通过引用并入本文。
背景技术
可例如设置在诸如平板计算机或智能电话之类的计算设备上的相机阵列可以从不同角度捕获同一场景的多个图像。然后可以处理这些图像以生成3D空间或深度图，以及准确地定位来自场景并进入3D空间的对象。处理捕获的图像可能需要准确确定各个捕获图像内的位置和/或像素之间的对应关系。基于这种对应关系，可以针对与那些位置和/或像素相关联的对象和/或特征估计深度。可用来确定这种对应关系的准确度可以取决于多个图像上的同质(homogenous)颜色或照明。
附图说明
图1是电子设备的框图，该电子设备使得能够在存在相机阵列的显著强度变化的情况下进行鲁棒视差(disparity)估计；
图2是多个图像；
图3是视差图的图示；
图4是用于视差估计的方法的过程流程图；并且
图5是示出介质的框图，该介质包含用于在存在显著强度变化的情况下进行视差估计的逻辑。
在整个公开内容和附图中使用相同的数字来引用相似的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；等等。
具体实施方式
处理来自相机阵列的多个图像可包括针对许多不同应用计算像素视差。在实施例中，视差是从一个图像到另一个图像的像素或区域的位置差异的度量。因此，视差可以是来自相机阵列的一对图像中的左图像和右图像的对应点之间的差异。视差可用于诸如三维(3D)深度提取、重新聚焦、测量、层效果、视图插值等的应用。视差值可以是整数，其对应于像素网格中的像素的数量以关联距离。
通常在来自相机阵列的数据上使用多基线立体(MBS)算法执行视差估计，其中相机之一被指派作为参考相机。这些算法假设特征在相机阵列各处的图像中看起来相同。这些算法还通过将围绕参考图像中的每个像素的块(patch)与来自相机阵列的其他剩余图像进行匹配来估计该像素的视差。然而，当由于对各个相机的可变曝光指派(例如，在HDR成像中)或由于阵列中的传感器的异质性而发生强度变化时，特征在相机图像之间看起来不相同。虽然可以在视差估计中使用与预处理图像的强度匹配或使用对这些变化不太敏感的误差度量来克服有限的强度变化，但是这些技术在面对严重的强度变化和/或传感器饱和时是不够的。具体而言，参考图像中的饱和区域向传统MBS算法提出了挑战。在实施例中，饱和区域是图像中与该图像的其他像素或区域的平均亮度相比具有过亮的颜色的区域或像素。在实施例中，饱和度是颜色相对于其自身亮度的色彩(colorfulness)。
本文描述的实施例在存在相机阵列的显著强度变化的情况下实现鲁棒视差估计。在相机阵列中的图像之间存在强度变化的情况下，可以鲁棒且准确地估计视差。可以模拟(model)传感器饱和度，并且即使当参考相机图像饱和时也可以利用不涉及参考相机的相机对来恢复视差。在实施例中，显著强度变化可以被定义为从像素到像素或区域到区域的大于阈值量的颜色变化。在实施例中，阈值量可以是指示图像的饱和部分的预定值。
一些实施例可被以硬件、固件和软件中的一个或组合实现。另外，一些实施例还可被实现为存储在机器可读介质上的指令，其可以由计算平台读取和执行以执行本文描述的操作。机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；或者电气、光学、声学或其他形式的传播信号，例如载波、红外信号、数字信号或者发送和/或接收信号的接口等。
实施例是实施方式或示例。说明书中对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的提及意味着结合实施例描述的特定特征、结构或特性被包括在本技术的至少一些实施例但不一定是所有实施例中。“实施例”、“一个实施例”或“一些实施例”的各种出现不一定都指代相同的实施例。来自一个实施例的元素或方面可以与另一实施例的元素或方面组合。
并非本文描述和示出的所有组件、特征、结构、特性等都必须被包括在特定的一个或多个实施例中。例如，如果说明书声明“可能”、“可”、“可以”或“能够”包括组件、特征、结构或特性，则不要求包括该特定组件、特征、结构或特性。如果说明书或权利要求提及“一”或“一个”元素，那并不意味着只有一个元素。如果说明书或权利要求提及“一个附加”元素，那不排除存在多于一个的附加元素。
要注意的是，尽管已经参考特定实施方式描述了一些实施例，但根据一些实施例，其它实施方式也是可能的。此外，在附图中示出并且/或者在本文中描述的电路元件或其他特征的布置和/或顺序不需要以所示出和描述的特定方式布置。根据一些实施例，许多其他布置是可能的。
在图中示出的每个系统中，在一些情况下，元素可以各自具有相同的附图标记或不同的附图标记，以表明所表示的元素可以是不同的和/或类似的。然而，元素可以灵活到足以具有不同的实施方式和与本文示出或描述的一些或所有系统一起工作。图中示出的各种元素可以是相同的或不同的。哪一个被称为第一元素和哪个被称为第二元素是任意的。
图1是在存在相机阵列的显著强度变化的情况下实现鲁棒视差估计的电子设备的框图。电子设备100可以是例如膝上型计算机、平板计算机、移动电话、智能电话或可穿戴设备等。电子设备100可包括：中央处理单元(CPU)102，其被配置为执行所存储的指令；以及存储器设备104，其存储可由CPU 102执行的指令。CPU可以通过总线106耦合到存储器设备104。此外，CPU 102可以是单核处理器，多核处理器，计算集群，或者任何数量的其他配置。另外，电子设备100可以包括多于一个的CPU 102。存储器设备104可以包括随机存取存储器(RAM)，只读存储器(ROM)，闪存，或者任何其他合适的存储器系统。例如，存储器设备104可包括动态随机存取存储器(DRAM)。
电子设备100还包括图形处理单元(GPU)108。如图所示，CPU 102可以通过总线106耦合到GPU 108。GPU 108可以被配置为在电子设备100内执行任何数量的图形操作。例如，GPU 108可以被配置为渲染或操纵图形图像、图形帧、视频等，以显示给电子设备100的用户。在一些实施例中，GPU 108包括多个图形引擎，其中每个图形引擎被配置为执行特定图形任务，或执行特定类型的工作负载。例如，GPU 108可包括处理视频数据的引擎。
CPU 102可以通过总线106链接到显示接口110，显示接口110被配置为将电子设备100连接到显示设备112。显示设备112可以包括作为电子设备100的内置组件的显示屏幕。显示设备112还可以包括外部连接到电子设备100的计算机监视器、电视或投影仪等。
CPU 102还可以通过总线106连接到输入/输出(I/O)设备接口114，I/O设备接口114被配置为将电子设备100连接到一个或多个I/O设备116。I/O设备116可以包括例如键盘和指示设备，其中指示设备可以包括触摸板或触摸屏等。I/O设备116可以是电子设备100的内置组件，或者可以是外部连接到电子设备100的设备。
电子设备100还包括用于捕获多个图像的相机阵列118。在实施例中，相机阵列可以是多个图像捕获机制、传感器或其任何组合。因此，传感器可以是深度传感器，诸如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、片上系统(SOC)图像传感器、具有光敏薄膜晶体管的图像传感器之类的图像传感器，或其任何组合。相机阵列118可以使用相机的阵列捕获多个图像，该相机的阵列将在相同的时间点各自捕获场景。相机阵列118可以包括任何数量的相机或传感器。在一些实施例中，来自相机阵列118的图像可以用于生成合成图像。
生成合成图像可以涉及组合多个图像中的一些或全部捕获图像。视差估计单元120可用于确定各个捕获图像内的位置和/或像素之间的对应关系。基于这种对应关系，可以针对与那些位置和/或像素相关联的对象和/或特征估计深度。可用来确定这种对应关系的准确度可以取决于图像对之间的假定同质性。视差估计单元可以模拟传感器饱和度。即使当参考相机图像饱和时，也可以利用每个相机对(甚至是不包括参考相机的对)来恢复视差。
电子设备还可包括存储设备124。存储设备124是物理存储器，诸如硬盘驱动器、光盘驱动器、闪存驱动器、驱动器阵列或其任何组合。存储设备124可以存储用户数据，诸如音频文件、视频文件、音频/视频文件和图片文件等。存储设备124还可以存储编程代码，诸如设备驱动程序、软件应用、操作系统等。存储到存储设备124的编程代码可以由CPU 102、GPU108或可包括在电子设备100中的任何其他处理器执行。
CPU 102可以通过总线106链接到蜂窝硬件126。蜂窝硬件126可以是任何蜂窝技术，例如4G标准(由国际电信联盟—无线电通信部门(ITU-R)颁布的高级国际移动电信(高级IMT)标准)。以这种方式，电子设备100可以访问任何网络132而不被束缚或配对到另一设备，其中网络132是蜂窝网络。
CPU 102还可以通过总线106链接到WiFi硬件128。WiFi硬件是根据WiFi标准(作为电气和电子工程师协会(IEEE)802.11标准颁布的标准)的硬件。WiFi硬件128使得电子设备100能够使用传输控制协议和因特网协议(TCP/IP)连接到因特网，其中网络132是因特网。因此，电子设备100可以在不使用另一设备的情况下通过根据TCP/IP协议对数据进行寻址、路由、发送和接收来实现与因特网的端到端连接。此外，蓝牙接口130可以通过总线106耦合到CPU 102。蓝牙接口130是根据蓝牙网络(基于由蓝牙特别兴趣小组颁布的蓝牙标准)的接口。蓝牙接口130使得电子设备100能够通过个人区域网络(PAN)与其他支持蓝牙的设备配对。因此，网络132可以是PAN。支持蓝牙的设备的示例包括膝上型计算机、台式计算机、超极本、平板计算机、移动设备或服务器等。
图1的框图不旨在表明电子设备100将包括图1中示出的所有组件。而是，计算系统100可以包括更少的组件或图1中未示出的附加的组件(例如，传感器、电源管理集成电路、附加网络接口等)。取决于具体实施方式的细节，电子设备100可以包括图1中未示出的任何数量的附加组件。另外，CPU 102的任何功能可以部分地或完全地以硬件并且/或者以处理器来实现。例如，功能可以用专用集成电路实现，以在处理器中实现的逻辑实现，以在专用图形处理单元中实现的逻辑实现，或在任何其他设备中实现。
在实施例中，捕获图像中的强度变化可能由于指派给用于高动态范围(HDR)成像的各个相机的变化的曝光而发生，或者可能由相机阵列中的传感器的异质性引起。相机阵列中的精确视差估计是许多使用相机阵列的应用(诸如深度估计、计算摄影应用，诸如高动态范围成像、去噪、高速视频等)中的第一步。
图2是多个图像200。这多个图像200包括图像202，图像204，图像206，以及图像208。这些图像可由相机阵列210捕获。相机阵列210可包括相机212、214、216和218。相机212可捕获图像202，相机214可捕获图像204，相机216可捕获图像206，并且相机218可捕获图像208。在HDR图像捕获的示例中，相机212、214、216和218中的每一个包括变化的曝光指派。在实施例中，图像曝光指的是到达图像传感器的每单位区域的光量。
在图2的示例中，传统的MBS算法通常将相机212、214、216和218中的一个指派为参考相机，诸如相机212。通过将围绕对应参考图像202中的每个像素的图像块与来自阵列的每个其他图像进行匹配来估计该像素的视差。例如，曾用于捕获图像202的相机212可以是参考相机。可以通过将图像202中的像素220A匹配到分别源于来自阵列的每个其他图像(诸如图像204、206和208)的图像块220B、220C和220D来找到像素220A的视差的估计。如图所示，像素220位于每个图像中的背包(backpack)250上。如在多个图像202、204、206和208中示出的，设置不同的曝光导致整个相机阵列中的图像特征的变化的外观。另外，当参考相机在房间内部的区域中遭受如在图像202中示出的饱和时，传统的MBS算法无法为这些区域准确地估计视差。然而，可以使用在这些区域中尚未饱和的其他相机图像在这些区域中准确地估计视差。因此，不包括参考图像202的图像对(诸如图像204/图像206，图像204/图像208，以及图像206/图像208)可以用于估计视差。本技术在为视差估计计算的误差函数中利用所有相机对(并且不仅仅是涉及参考相机的那些相机对)并且模拟饱和度以更准确地估计视差，如图3所示。
图3是视差图300的图示。可以使用如本文所述的视差估计来生成视差图300。本技术在来自2x2相机阵列200(图2)的同一组输入图像上的结果在图3中示出。在包括来自图2的背包250的区域302中可以看到改进。因此，即使当参考图像过饱和或没有任何视觉信息时，也可以找到视差估计。
例如，考虑来自平面相机阵列的一组校正图像并使用{Ik，k≤N}表示它们，其中Ik表示来自第k个相机的图像，N是nXn阵列中的相机的总数。本技术不假设对相机响应曲线或指派给每个相机的曝光值有任何了解。结果，即使当相机响应曲线和曝光值为未知时，也可以使用本技术。在实施例中，假设相机阵列的几何形状是已知的。相机k的基线可以是 k≤N]并且设置Bref＝0而不会损失参考相机的一般性。这里，x-和y-表示3D参考坐标系中的正交轴，其分别与图像的列和行对齐。在实施例中，基线可以包括水平基线作为参考图像的水平位置与距参考图像最远的行的水平位置之间的差异，并包括垂直基线作为参考图像的垂直位置与距参考图像最远的行的垂直位置之间的差异。
令Bmax表示阵列中的最长基线(水平或垂直)，并且令Rk表示基线比率，针对相机k，该基线比率由给出，且针对有类似的定义。对于视差范围di，i＝1，2，...D，传统MBS算法尝试在窗口w上的像素x处使以下误差函数最小化：
在本技术中，首先将颜色匹配算法用于相机阵列以生成使用Hk表示的匹配图像的序列。针对匹配图像使用增加的位精度，以确保保留输入图像中的细节。在实施例中，增加的位精度是浮点精度，并且可以是双精度浮点格式或双精度浮点格式。式(1)中的误差函数可按如下修改以考虑输入图像之间的强度变化：
通过将所有相机对并入误差函数，即使参考相机是饱和的，也可以根据剩余的相机来估计视差。权重wj，k(x，m，di)可以用于模拟饱和度，并且在最简单的情况下，可以按如下使用二元函数来定义权重，以避免误差计算中的饱和像素：
wj，k(x，m，di)＝wj(x，m，di)*wk(x，m，di) 式(3)
这里，Tmin和Tmax表示阈值，超过这些阈值则输入图像饱和。变量m为窗口W中的像素编索引。式(5)中的另一加权函数还尝试考虑如下事实：当基线增加时，遮挡引起匹配问题，这可以通过将这些误差项加权得更低来改善。
在实施例中，可以使用彩色图像中的所有颜色通道上的误差之和来计算误差函数。可以仅在每个像素的灰度值上使用阈值标准来模拟该像素处的饱和度。还可以通过利用除了上面所示的绝对差之和之外的不同误差函数来应用本技术。为了便于描述，本技术使用普查变换得到误差函数，该普查变换是基于局部二值模式的方法，而没有输入图像的任何颜色匹配。然而，不同的误差函数具有不同的计算复杂性和不同的折衷，并且可以根据应用来选择。
在实施例中，可以使用诸如高斯金字塔之类的图像金字塔来实现本技术。在高斯金字塔中，随后的图像使用高斯平均或高斯模糊而被降低加权，然后按比例缩小。每个像素包含对应于金字塔下层的像素邻域的局部平均值。图像金字塔可以为大视差搜索范围提供计算节省。在图像金字塔的最粗尺度处计算的视差可以被上采样并且在值上被加倍，以用作下一尺度的搜索范围的中点。在实施例中，来自每个相机的每个图像被分别分解成高斯金字塔。然后使用相同的技术在一个相机图像中的高斯金字塔的每个分量与来自其他相机图像的对应分量之间计算视差。
图4是用于视差估计的方法400的过程流程图。在框402处，获得多个图像。这多个图像可以包括如由相机阵列中的多个相机捕获的同一场景的多个图像。相机阵列可以处于任何位置，诸如平面、线性和圆形。在框404处，根据这多个图像生成颜色匹配图像的序列。在实施例中，颜色匹配可以包括基于图像直方图中的特征来匹配颜色。还可以经由利用阈值化的映射函数斜率在两个输入图像之间匹配像素值来执行颜色匹配。在框406处，基于颜色匹配图像的序列来计算多个视差点。在实施例中，这多个视差点用于生成视差图。可以使用误差函数来计算这多个视差点，该误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。该误差函数可以将权重应用于颜色匹配图像的序列以模拟每个图像中的饱和度，并且该权重可以使用二元函数来避免误差函数中的饱和像素。
图5是示出介质500的框图，介质500包含用于在存在显著强度变化的情况下进行视差估计的逻辑。介质500可以是计算机可读介质，包括存储可以由处理器502通过计算机总线504访问的代码的非暂时性介质。例如，计算机可读介质500可以是易失性的或非易失性的数据存储设备。介质500也可以是逻辑单元，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者例如在一个或多个集成电路中实现的逻辑门的布置。
介质500可包括被配置为执行本文描述的技术的模块506-510。例如，图像捕获模块506可被配置为捕获多个图像。序列模块508可被配置为生成颜色匹配图像的序列。
估计模块510可被配置为基于颜色匹配图像的序列来估计图像视差。在一些实施例中，模块506-510可以是被配置为指导处理器502的操作的计算机代码的模块。
图5的框图不旨在表明介质500将包括图5中示出的所有组件。另外，根据具体实施方式的细节，介质500可包括图5中未示出的任何数量的附加组件。
示例1是一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的系统。该系统包括：相机阵列；存储器，其被配置为存储成像数据；以及处理器，其被耦合到存储器和相机阵列，处理器用于：获得多个图像；生成颜色匹配图像的序列，其中该序列包括多个图像中的每对图像；基于颜色匹配图像的序列来计算多个视差点。
示例2包括示例1的系统，包括或排除可选特征。在该示例中，使用误差函数来计算多个视差点，误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。可选地，误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。可选地，权重使用函数来避免误差函数中的饱和像素。
示例3包括示例1至2中任一个的系统，包括或排除可选特征。在该示例中，多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
示例4包括示例1至3中任一个的系统，包括或排除可选特征。在该示例中，从使用图像直方图的颜色匹配算法获得颜色匹配图像的序列。
示例5包括示例1至4中任一个的系统，包括或排除可选特征。在该示例中，多个视差点用于生成视差图。
示例6包括示例1至5中任一个的系统，包括或排除可选特征。在该示例中，响应于基线的增加，使用具有更低加权项的误差函数来计算多个视差点。
示例7包括示例1至6中任一个的系统，包括或排除可选特征。在该示例中，在高斯金字塔的输出上使用误差函数来计算多个视差点。
示例8包括示例1至7中任一个的系统，包括或排除可选特征。在该示例中，相机阵列的传感器是异质的。
示例9包括示例1至8中任一个的系统，包括或排除可选特征。在该示例中，相机阵列是平面、线性或圆形的阵列。
示例10是一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的方法。该方法包括从相机阵列获得多个图像；生成颜色匹配图像的序列，其中该序列包括多个图像中的每对图像；以及经由应用于颜色匹配图像对的序列的误差函数来估计多个图像的一个参考图像中的像素处的视差。
示例11包括示例10的方法，包括或排除可选特征。在该示例中，误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
示例12包括示例10至11中任一个的方法，包括或排除可选特征。在该示例中，即使参考相机是饱和的，也根据剩余的相机估计视差。
示例13包括示例10至12中任一个的方法，包括或排除可选特征。在该示例中，误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。可选地，权重使用函数来避免误差函数中的饱和像素。
示例14包括示例10至13中任一个的方法，包括或排除可选特征。在该示例中，多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
示例15包括示例10至14中任一个的方法，包括或排除可选特征。在该示例中，从使用图像直方图的颜色匹配算法获得颜色匹配图像的序列。
示例16包括示例10至15中任一个的方法，包括或排除可选特征。在该示例中，视差的估计用于生成视差图。
示例17包括示例10至16中任一个的方法，包括或排除可选特征。在该示例中，响应于基线的增加，使用具有更低加权项的误差函数来计算视差的估计。
示例18包括示例10至17中任一个的方法，包括或排除可选特征。在该示例中，在高斯金字塔的输出上使用误差函数来计算视差点的估计。
示例19是一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的装置。该装置包括：相机阵列，用于获得多个图像；控制器，用于生成颜色匹配图像的序列，其中该序列包括多个图像中的每对图像；视差单元，用于基于颜色匹配图像的序列来计算多个视差点。
示例20包括示例19的装置，包括或排除可选特征。在该示例中，误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
示例21包括示例19至20中任一个的装置，包括或排除可选特征。在该示例中，即使参考相机是饱和的，也根据剩余的相机估计视差。
示例22包括示例19至21中任一个的装置，包括或排除可选特征。在该示例中，误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。可选地，权重使用函数来避免误差函数中的饱和像素。
示例23包括示例19至22中任一个的装置，包括或排除可选特征。在该示例中，多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
示例24包括示例19至23中任一个的装置，包括或排除可选特征。在该示例中，从使用图像直方图的颜色匹配算法获得颜色匹配图像的序列。
示例25包括示例19至24中任一个的装置，包括或排除可选特征。在该示例中，视差的估计用于生成视差图。
示例26包括示例19至25中任一个的装置，包括或排除可选特征。在该示例中，响应于基线的增加，使用具有更低加权项的误差函数来计算视差的估计。
示例27包括示例19至26中任一个的装置，包括或排除可选特征。在该示例中，在高斯金字塔的输出上使用误差函数来计算视差点的估计。
示例28是至少一种机器可读介质，其包括多个指令。该计算机可读介质包括指导处理器进行以下操作的指令：从相机阵列获得多个图像；生成颜色匹配图像的序列，其中该序列包括多个图像中的每对图像；经由应用于颜色匹配图像对的序列的误差函数来估计多个图像的一个参考图像中的像素处的视差。
示例29包括示例28的计算机可读介质，包括或排除可选特征。在该示例中，误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
示例30包括示例28至29中任一个的计算机可读介质，包括或排除可选特征。在该示例中，即使参考相机是饱和的，也根据剩余的相机估计视差。
示例31包括示例28至30中任一个的计算机可读介质，包括或排除可选特征。在该示例中，误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。可选地，权重使用函数来避免误差函数中的饱和像素。
示例32包括示例28至31中任一个的计算机可读介质，包括或排除可选特征。在该示例中，多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
示例33包括示例28至32中任一个的计算机可读介质，包括或排除可选特征。在该示例中，从使用图像直方图的颜色匹配算法获得颜色匹配图像的序列。
示例34包括示例28至33中任一个的计算机可读介质，包括或排除可选特征。在该示例中，视差的估计用于生成视差图。
示例35包括示例28至34中任一个的计算机可读介质，包括或排除可选特征。在该示例中，响应于基线的增加，使用具有更低加权项的误差函数来计算视差的估计。
示例36包括示例28至35中任一个的计算机可读介质，包括或排除可选特征。在该示例中，在高斯金字塔的输出上使用误差函数来计算视差点的估计。
示例37是一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的装置。该装置包括：相机阵列，用于获得多个图像；控制器，用于生成颜色匹配图像序列，其中该序列包括多个图像中的每对图像；用于基于颜色匹配图像的序列来估计多个视差点的装置。
示例38包括示例37的装置，包括或排除可选特征。在该示例中，误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
示例39包括示例37至38中任一个的装置，包括或排除可选特征。在该示例中，即使参考相机是饱和的，也根据剩余的相机估计视差。
示例40包括示例37至39中任一个的装置，包括或排除可选特征。在该示例中，误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。可选地，权重使用函数来避免误差函数中的饱和像素。
示例41包括示例37至40中任一个的装置，包括或排除可选特征。在该示例中，多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
示例42包括示例37至41中任一个的装置，包括或排除可选特征。在该示例中，从使用图像直方图的颜色匹配算法获得颜色匹配图像的序列。
示例43包括示例37至42中任一个的装置，包括或排除可选特征。在该示例中，视差的估计用于生成视差图。
示例44包括示例37至43中任一个的装置，包括或排除可选特征。在该示例中，用于估计多个视差点的装置响应于基线的增加而使用具有更低加权项的误差函数来计算视差点。
示例45包括示例37至44中任一个的装置，包括或排除可选特征。在该示例中，在高斯金字塔的输出上使用误差函数来计算视差点的估计。
将会理解，前述示例中的细节可以在一个或多个实施例中的任何地方使用。例如，上面描述的计算设备的所有可选特征也可以关于本文描述的方法或计算机可读介质中的任一个来实现。另外，尽管本文中可能已经使用流程图和/或状态图来描述实施例，但是这些技术不限于这些图或本文中的对应描述。例如，流程不需要移动通过每个所示的框或状态，或者以与在本文中示出和描述的完全相同的顺序移动。
本技术不限于本文列出的特定细节。的确，受益于本公开的本领域技术人员将认识到，可以在本技术的范围内做出前述描述和附图的许多其他变型。因此，限定本技术范围的是以下权利要求，包括对其的任何修改。

Claims (25)

1.一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的系统，包括：
相机阵列；
存储器，其被配置为存储成像数据；以及
处理器，其被耦合到所述存储器和所述相机阵列，所述处理器用于：
获得多个图像；
生成颜色匹配图像的序列，其中该序列包括所述多个图像中的每对图像；
基于颜色匹配图像的序列来计算多个视差点。
2.如权利要求1所述的系统，其中，所述多个视差点是使用误差函数来计算的，所述误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
3.如权利要求2所述的系统，其中，所述误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。
4.如权利要求3所述的系统，其中，所述权重使用函数来避免所述误差函数中的饱和像素。
5.如权利要求1所述的系统，其中，所述多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
6.如权利要求1所述的系统，其中，颜色匹配图像的序列是根据使用图像直方图的颜色匹配算法获得的。
7.一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的方法，包括：
从相机阵列获得多个图像；
生成颜色匹配图像的序列，其中该序列包括所述多个图像中的每对图像；以及
经由应用于颜色匹配图像对的序列的误差函数来估计所述多个图像中的一个参考图像中的像素处的视差。
8.如权利要求7所述的方法，其中，所述误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
9.如权利要求7所述的方法，其中，即使参考相机是饱和的，所述视差也是根据剩余的相机来估计的。
10.如权利要求7所述的方法，其中，所述误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。
11.如权利要求10所述的方法，其中，所述权重使用函数来避免所述误差函数中的饱和像素。
12.如权利要求7所述的方法，其中，所述多个图像包括由相机阵列中的多个相机捕获的同一场景的多个图像。
13.一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的装置，包括：
相机阵列，用于获得多个图像；
控制器，用于生成颜色匹配图像的序列，其中该序列包括所述多个图像中的每对图像；
视差单元，用于基于颜色匹配图像的序列来计算多个视差点。
14.如权利要求13所述的装置，其中，颜色匹配图像的序列是根据使用图像直方图的颜色匹配算法获得的。
15.如权利要求13所述的装置，其中，视差的估计用于生成视差图。
16.如权利要求13所述的装置，其中，响应于基线的增加，视差的估计是使用具有更低加权项的误差函数来计算的。
17.如权利要求13所述的装置，其中，视差点的估计是对高斯金字塔的输出使用误差函数来计算的。
18.至少一种机器可读介质，其包括多个指令，所述多个指令响应于被在计算设备上执行而使该计算设备：
从相机阵列获得多个图像；
生成颜色匹配图像的序列，其中该序列包括所述多个图像中的每对图像；
经由应用于颜色匹配图像对的序列的误差函数来估计所述多个图像中的一个参考图像中的像素处的视差。
19.如权利要求18所述的计算机可读介质，其中，所述误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
20.如权利要求18所述的计算机可读介质，其中，即使参考相机是饱和的，所述视差也是根据剩余的相机来估计的。
21.一种用于在存在相机阵列的显著强度变化的情况下进行鲁棒视差估计的装置，包括：
相机阵列，用于获得多个图像；
控制器，用于生成颜色匹配图像的序列，其中该序列包括所述多个图像中的每对图像；
用于基于颜色匹配图像的序列来估计多个视差点的装置。
22.如权利要求21所述的装置，其中，所述误差函数将确定颜色匹配图像的序列之间的正确匹配视差点处的最小值。
23.如权利要求21所述的装置，其中，即使参考相机是饱和的，视差也是根据剩余的相机来估计的。
24.如权利要求21所述的装置，其中，所述误差函数将向颜色匹配图像的序列应用权重以模拟每个图像中的饱和度。
25.如权利要求24所述的装置，其中，所述权重使用函数来避免所述误差函数中的饱和像素。
CN201780053860.3A 2016-09-28 2017-08-24 存在相机阵列的显著强度变化的情况下的鲁棒视差估计 Active CN109661815B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/278,615 US10165257B2 (en) 2016-09-28 2016-09-28 Robust disparity estimation in the presence of significant intensity variations for camera arrays
US15/278,615 2016-09-28
PCT/US2017/048375 WO2018063606A1 (en) 2016-09-28 2017-08-24 Robust disparity estimation in the presence of significant intensity variations for camera arrays

Publications (2)

Publication Number Publication Date
CN109661815A true CN109661815A (zh) 2019-04-19
CN109661815B CN109661815B (zh) 2021-06-15

Family

ID=61685896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053860.3A Active CN109661815B (zh) 2016-09-28 2017-08-24 存在相机阵列的显著强度变化的情况下的鲁棒视差估计

Country Status (3)

Country Link
US (1) US10165257B2 (zh)
CN (1) CN109661815B (zh)
WO (1) WO2018063606A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
KR102187211B1 (ko) * 2018-04-23 2020-12-04 코그넥스코오포레이션 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609950A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种二维视频深度图的生成方法
US20150161797A1 (en) * 2013-12-09 2015-06-11 Sung Hee Park Techniques for disparity estimation using camera arrays for high dynamic range imaging
CN105574926A (zh) * 2014-10-17 2016-05-11 华为技术有限公司 生成三维图像的方法和装置
US20160198138A1 (en) * 2015-01-02 2016-07-07 Intel Corporation Method and system of increasing integer disparity accuracy for camera images with a diagonal layout
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI271998B (en) 2005-09-21 2007-01-21 Inventec Appliances Corp Image processing method and apparatus thereof
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8385630B2 (en) 2010-01-05 2013-02-26 Sri International System and method of processing stereo images
US20120019677A1 (en) 2010-07-26 2012-01-26 Nethra Imaging Inc. Image stabilization in a digital camera
KR20130031574A (ko) 2011-09-21 2013-03-29 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US20140198977A1 (en) 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US8995719B2 (en) 2012-12-10 2015-03-31 Intel Corporation Techniques for improved image disparity estimation
US9967481B2 (en) * 2013-03-13 2018-05-08 Intel Corporation Techniques for image sensor pixel correction
WO2016072129A1 (ja) * 2014-11-05 2016-05-12 シャープ株式会社 フィールドシーケンシャル画像表示装置および画像表示方法
KR102350232B1 (ko) 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
JP6614859B2 (ja) * 2015-08-24 2019-12-04 キヤノン株式会社 表示装置、表示装置の制御方法、画像処理装置、プログラム、及び、記録媒体
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
US9936129B2 (en) * 2016-06-15 2018-04-03 Obsidian Sensors, Inc. Generating high resolution images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609950A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种二维视频深度图的生成方法
US20150161797A1 (en) * 2013-12-09 2015-06-11 Sung Hee Park Techniques for disparity estimation using camera arrays for high dynamic range imaging
CN105574926A (zh) * 2014-10-17 2016-05-11 华为技术有限公司 生成三维图像的方法和装置
US20160198138A1 (en) * 2015-01-02 2016-07-07 Intel Corporation Method and system of increasing integer disparity accuracy for camera images with a diagonal layout
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Also Published As

Publication number Publication date
CN109661815B (zh) 2021-06-15
WO2018063606A1 (en) 2018-04-05
US10165257B2 (en) 2018-12-25
US20180091799A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN109565551B (zh) 对齐于参考帧合成图像
KR101903619B1 (ko) 구조화된 스테레오
JP6657214B2 (ja) 画像ベースの深さ検知システムの精度測定
JP2017520050A (ja) 局所的適応ヒストグラム平坦化
US10545215B2 (en) 4D camera tracking and optical stabilization
US11282232B2 (en) Camera calibration using depth data
US20180198970A1 (en) High dynamic range imaging using camera arrays
US9697581B2 (en) Image processing apparatus and image processing method
US9811909B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
TWI554108B (zh) 電子裝置及影像處理方法
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
EP3549334A1 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
JP5900017B2 (ja) 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
CN111742352A (zh) 3d对象建模方法以及相关设备和计算机程序产品
CN116704111A (zh) 图像处理方法和设备
US11257235B2 (en) Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
KR20130019080A (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP2013148467A (ja) 計測装置、方法及びプログラム
CN107087114B (zh) 一种拍摄的方法及装置
CN112750195B (zh) 目标物体的三维重建方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant