CN113450392A - 基于图像模板的参数化透视的鲁棒表面配准 - Google Patents

基于图像模板的参数化透视的鲁棒表面配准 Download PDF

Info

Publication number
CN113450392A
CN113450392A CN202011362275.1A CN202011362275A CN113450392A CN 113450392 A CN113450392 A CN 113450392A CN 202011362275 A CN202011362275 A CN 202011362275A CN 113450392 A CN113450392 A CN 113450392A
Authority
CN
China
Prior art keywords
parameter
homography
change
iteration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011362275.1A
Other languages
English (en)
Inventor
伊泰·卡夫曼
奥尔·威瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN113450392A publication Critical patent/CN113450392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/602—Rotation of whole images or parts thereof by block rotation, e.g. by recursive reversal or rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

提供了基于图像模板的参数化透视的鲁棒表面配准。讨论了与执行图像配准有关的技术。这样的技术包括将源图像区域和目标图像部分从彩色图像空间转换到语义空间，以及通过以下操作来在语义空间中使用源图像区域和目标图像部分迭代地收敛单应性参数：应用允许一些单应性参数变化而阻止其他单应性参数变化的迭代以及允许所有单应性参数变化的后续迭代。

Description

基于图像模板的参数化透视的鲁棒表面配准
技术领域
本申请涉及基于图像模板的参数化透视的鲁棒表面配准。
背景技术
在沉浸式视频和诸如计算机视觉应用之类的其他情境中，在感兴趣的场景周围安装了许多摄像头。例如，可以将摄像头安装在运动场周围的体育场中。使用从摄像头获得的视频，生成表示场景的点云体积模型(point cloud volumetric model)。然后，可以使用绘制有捕获的纹理的体积模型的视图来生成来自场景内虚拟视图的照片般逼真的视图。这样的视图可以在每一刻被生成，以向用户提供沉浸式体验。此外，虚拟视图可以在3D空间中被导航以提供多自由度体验。
在实时捕获之前(例如，在比赛之前)，执行对摄像头的校准，这是提供高质量用户体验的重要步骤。由于各种因素，包括导致图像配准(例如，将不同的图像数据变换到共享坐标系)困难的场景条件，这种校准可能具有挑战性。例如，以倾斜的自然平面图像(ONPI)为特征的成像条件相对常见，并且包括以下各项中的一个或多个：倾斜视图(例如，相对于水平线<22°)、根据视点变化的颜色、低特征量、不均匀的特征分布、重复场景、和曲面。这种条件并不是体育赛事所独有的，并且也会发生在其他情境下，例如自主驾驶、卫星成像等。
当前的配准技术包括特征匹配和模板匹配。当前的特征匹配方法包括SIFT(尺度不变特征变换(Scale-Invariant Feature Transform))以及SURF(加速鲁棒特征(speededup robust features))技术，它们试图使用像素周围的某个区域来检测感兴趣点并提取特征向量。然后，匹配通过试图在图像对中找到这些特征的相应对来完成。使用这样的技术配准两个图像会针对由所提取的特征向量描述的稀疏点集的匹配对应用强力搜索。在任何自然图像中，考虑到小色块(patch)，可能存在许多类似的色块驻留在图像中(例如，草、天空、树叶、迷彩图案等)，并且在体育场领域(例如，体育场座椅、对称场地标记等)甚至更是如此。考虑到这些反复出现的小尺度结构，随着图像中检测到的点的数量增加，找到确切的(distinct)匹配(即，将仅一个点与某个采石点(quarry point)相关联)变得不太可能。此外，在倾斜设置下，生成在不同视点中到图像平面上的非常不同的投影，并且尽管大多数现有技术特征提取方法试图对平移、旋转、甚至仿射(affine)变换具有不变性，但在如此剧烈的透视畸变下似乎都会失败。最后，特征匹配方法不利地应用两阶段算法—首先在两个图像中进行检测，然后对两袋检测到的点进行匹配。然而，不能保证在两个图像中确实检测到同一点，这意味着即使该点在两个图像中都可见，一些检测甚至可能不具有匹配。
诸如ECC(增强互相关(enhanced cross correlation))之类的模板匹配方法试图找到两个图像或图像色块之间的透视变换。这可以使用强力搜索或通过使用预先已知的初始猜测优化透视来完成。这样的技术可以包括尝试找到针对整个图像的单个透视变换，或在一个图像中检测感兴趣点并试图找到将在源图像中检测到的点周围的局部区域映射到目标图像的透视变换。图像中的色块的变换无法被全局求解，因为针对整个图像中的色块存在许多全局最小值，所以需要将初始猜测作为起点。值得注意的是，当前的技术需要非常好的初始猜测来收敛，但是如果这种初始猜测是可用的，则这可能使得该过程不需要开始。此外，从图像色块直接估计透视变换需要光一致性(photo-consistency)度量，其通常不适用于具有不受控照明的大基线情况(例如，室外的自然图像)。
期望在包括倾斜的自然平面图像等的各种情境中提供图像配准。关于这些和其他考虑，需要当前的改进。随着在成像和视频中提供新的并且沉浸式的用户体验的愿望变得越来越普遍，这种改进可能变得至关重要。
发明内容
本申请的一个方面提供了一种用于配准图像的装置，包括：存储器，用于存储来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分；以及一个或多个处理器，耦合到所述存储器，所述一个或多个处理器用于进行以下操作：将所述彩色ROI和所述彩色图像部分转换为前景可能性ROI和前景可能性图像部分，所述前景可能性ROI和前景可能性图像部分包括：每个像素包括前景像素的可能性；应用多个第一迭代以收敛多个单应性参数，所述单应性参数用于将所述前景可能性ROI映射到所述前景可能性图像部分的目标区域，其中，所述第一迭代允许所述单应性参数的平移参数变化并阻止所述单应性参数的旋转参数和透视参数变化；在所述第一迭代之后应用多个第二迭代以收敛所述单应性参数，其中，所述第二迭代允许所述平移参数、所述旋转参数、和所述透视参数变化；以及基于所述第一迭代和所述第二迭代来输出得到的单应性参数。
附图说明
在附图中，本文描述的材料是通过示例而非限制的方式示出的。为了图示的简单和清楚起见，附图中所示的元件未必按比例绘制。例如，为了清楚起见，可以将一些元件的尺寸相对于其他元件放大。此外，在被认为合适的情况下，在这些附图之间重复附图标记来指示对应或类似的元件。在附图中：
图1示出了用于执行图像配准的示例装置；
图2示出了在示例场景上训练的示例摄像头阵列；
图3示出了包括示例感兴趣区域的示例性源图像以及包括示例目标部分的示例性目标图像；
图4示出了用于在图1的装置中实现的示例语义转换模块；
图5示出了示例二进制感兴趣区域和示例二进制目标图像部分；
图6示出了示例前景可能性(likelihood)感兴趣区域和示例前景可能性图像部分；
图7示出了前景可能性感兴趣区域在前景可能性图像部分上的示例初始重叠；
图8示出了用于使用迭代收敛处理基于输入的前景可能性源感兴趣区域和输入的前景可能性目标图像部分来生成单应性(homography)参数的示例过程；
图9示出了用于在单应性参数收敛处理的当前迭代处生成单应性参数的改变和信任区域参数调整的示例过程；
图10是示出用于执行图像配准的示例过程的流程图；
图11是用于执行图像配准的示例系统的说明图；
图12是示例系统的说明图；以及
图13示出了全部根据本公开的至少一些实现方式布置的示例设备。
具体实施方式
现在参考所附附图描述一个或多个实施例或实现方式。尽管讨论了特定的配置和布置，但是应当理解，这样做仅出于说明的目的。相关领域的技术人员将认识到，在不脱离说明书的精神和范围的情况下，可以采用其他配置和布置。对于相关领域的技术人员将显而易见的是，本文描述的技术和/或布置也可以在除本文描述的之外的各种其他系统和应用中采用。
尽管下面的描述阐述了例如可以在诸如片上系统(SoC)体系结构之类的体系结构中体现的各种实现方式，但是本文描述的技术和/或布置的实现方式不限于特定的体系结构和/或计算系统，并且可以由用于类似目的的任何体系结构和/或计算系统来实现。例如，采用例如多个集成电路(IC)芯片和/或封装的各种体系结构和/或各种计算设备和/或消费电子(CE)设备(诸如机顶盒、智能电话等)可以实现本文描述的技术和/或布置。此外，虽然以下描述可以阐述许多具体细节(例如，逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等)，但是可以在没有这些具体细节的情况下实践所要求保护的主题。在其他情况下，诸如例如控制结构和全软件指令序列之类的某种材料可能未被详细示出，以便不使本文公开的材料模糊。
本文公开的材料可以以硬件、固件、软件或其任何组合来实现。本文公开的材料还可以被实现为存储在机器可读介质上的指令，这些指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式来存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪存设备；电的、光学的、声学的或其他形式的传播信号(例如，载波、红外信号、数字信号等)等。
说明书中对“一个实现方式”、“实现方式”、“示例实现方式”等的引用指示描述的实现方式可以包括特定的特征、结构或特性，但是每个实施例可能不一定包括该特定的特征、结构或特性。此外，这样的短语不一定是指同一实现方式。此外，当结合实施例描述特定的特征、结构或特性时，认为无论在本文中是否明确描述，可以结合其他实现方式来实现这种特征、结构或特性都在本领域技术人员的知识范围内。
术语“基本上”、“接近”、“近似”、“附近”和“大约”通常是指在目标值的+/-10％以内。例如，除非在其使用的明确上下文中另外指定，否则术语“基本上相等”、“大约相等”和“近似相等”是指在这样描述的事物之间仅存在偶然的变化。在本领域中，这种变化通常不大于预定目标值的+/-10％。除非另有说明，否则对用来描述普通对象的序数形容词“第一”、“第二”和“第三”等的使用仅指示相似对象的不同实例正被指代，而不旨在暗示这样描述的对象必须在时间上、空间上、以排名或以任何其他方式处于给定的顺序。
本文描述了与执行图像配准以提供源图像中的感兴趣区域到目标图像中的匹配图像区域之间的包括透视(单应性)映射的映射参数相关的方法、设备、装置、计算平台和物品。
如上所述，在沉浸式视频应用和其他应用(例如计算机视觉)的情境中执行这种图像配准可以是有利的。然而，可以在任何情境中执行这种配准。这种配准技术生成源图像中的感兴趣区域(例如，源图像感兴趣区域)到目标图像中的匹配图像区域之间的局部映射参数。值得注意的是，目标图像中的匹配图像区域可以来自图像色块(大于源图像区域)，该图像色块被预期包括源图像感兴趣区域的共享视图。然后，映射参数在源图像感兴趣区域与目标区域之间进行映射，从而可以在用于获得源图像和目标图像的摄像头的坐标系之间变换图像区域和/或变换到共享坐标系(例如，由摄像头以及可选地任意数量的其他摄像头共享的坐标系)。因为这种映射参数映射图像区域(而不是整个图像)，所以可以将其视为局部单应性参数。高度精确的单应性参数在许多成像和视频情境(包括针对沉浸式视频的摄像头校准等)中至关重要。本文关于沉浸式视频讨论了这些技术，但是这些技术可以在诸如计算机视觉等的各种情境中找到应用。
在一些实施例中，接收来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分。在此情境中，源图像可以是用于图像配准的参考图像，并且目标图像是如下图像：正在该图像中寻找彩色ROI的匹配。彩色图像部分可以大于彩色ROI，并且针对匹配区域以及用于在ROI和匹配区域之间进行映射的单应性参数的搜索是配准过程的一个目的。在一些实施例中，彩色ROI和图像部分被转换到语义空间以用于改进的匹配。如本文所使用的，术语“语义”表示：基于像素是图像或图像部分的类别(例如前景类别和背景类别)的一部分的可能性来提供像素的值。
值得注意的是，给定要检测的并要映射到目标图像中的彩色ROI(来自源图像)，目标图像中匹配区域的中心(以及用于在其之间进行映射的单应性参数)是配准和映射的目的。可以假定存在函数φ，该函数φ将源图像Is(x)中ROI的点(ROI中心的周围区域的点)映射到目标图像It(y)中中(定义目标区域)的点。例如，函数φ可以是完整的8DOF(自由度)透视(单应(homograph)，H)，或者也可以是其任何简并形式(degenerate form)。然后可以如公式(1)所示定义映射：
y＝φ(x；p)
Figure BDA0002804322270000061
其中，函数φ将(源ROI中心x周围的)源图像点p映射到目标匹配区域y周围的目标图像点。
如所讨论的，目标是在假设初始估计
Figure BDA0002804322270000062
(例如，初始猜测)被给定的情况下找到p的值。例如，如公式(2)所示，当以下条件被满足时，函数φ可以在色块之间进行映射：
Is(x)＝Ψ(It(y)；α)＝Ψ(It(φ(x；p))；α)
x∈Ωpatch
(2)
其中Is(x)和It(y)是给定图像坐标处的像素颜色，并且Ψ(·)是具有参数定义α的颜色校正函数。
在这种情境下，可以寻求最小化成本函数的解，如公式(3)中所提供的：
Figure BDA0002804322270000071
其中，Q是总成本。
然而，在一些情境下，确定颜色校正函数Ψ(·)的解或者甚至对该函数建模是不可行的，特别是在包括倾斜的自然平面图像(ONPI)的成像条件下，这些成像条件包括以下各项中的一个或多个：倾斜视图(例如，相对于水平线<22°)、根据视点而变化的颜色、低特征量、不均匀的特征分布、重复场景、和曲面。在这些或其他成像情境中，颜色在图像之间会变化的、需要通过颜色校正函数建模的物理效应(包括对象纹理、对象材料、光源、光遮挡(例如阴影)等)使得对颜色校正函数的使用不可行。
由于这样的障碍，在一些实施例中，来自源图像的彩色ROI和来自目标图像的彩色图像部分被转换为前景可能性ROI和前景可能性图像部分，前景可能性ROI和前景可能性图像部分包括每个像素是前景像素的可能性。这种转换可以使用任何合适的一种或多种技术来执行，诸如使用神经网络(NN)或高斯混合模型(GMM)的语义分割或者阈值化和距离变换技术，如本文进一步讨论的。值得注意的是，这种转换通过使用语义图像空间避免了对颜色校正的建模。然后提供对在前景可能性ROI与前景可能性图像部分之间进行映射的单应性参数的确定，这通过使用多个迭代以收敛这些单应性参数来进行。尽管本文关于前景可能性进行了讨论，但是可以使用任何语义二元分离。这种像素值可以被表征为语义像素值、语义可能性像素值等。多个第一迭代允许单应性参数的平移参数的变化并阻止单应性参数的旋转参数和透视参数(perspective parameter)的变化，而在第一迭代之后进行的多个第二迭代允许平移参数、旋转参数和透视参数的变化。这种技术提供了在单应性参数空间中更有效的收敛以及产生不期望鞍点(saddle point)的较小可能性。如本文进一步讨论的，可以使用经由正则(regularizing)矩阵应用的正则化(regularization)参数来实现允许一些单应性参数的变化以及阻止其他单应性参数的变化。
另外或可选地，在迭代映射参数收敛中的任何迭代中，可以使用正则化参数来实现信任区域参数。该信任区域参数提供用于影响或更改特定迭代处映射参数改变的步长大小的参数，其中较大的信任区域参数提供较大的梯度下降步长。在一些实施例中，使用误差函数的一阶近似和当前信任区域参数来生成映射参数的改变(例如，差量)，该误差函数基于映射参数生成源区域与目标区域之间的误差。然后使用该一阶近似生成误差改变的一阶近似，并使用实误差函数(real error function)。值得注意的是，映射参数的改变可能减小一阶近似中的成本，但不一定减小实函数中的成本。然后，生成使用实函数生成的误差改变与使用一阶近似生成的误差改变的比率。使用该比率，针对后续迭代进行判定，使得：(a)当比率超过大阈值时，增大信任区域参数并重复当前迭代；(b)当比率超过中阈值并且单应性参数的改变减小了总成本时，在后续迭代中使用映射参数的改变并且在该后续迭代中不改变信任区域参数，以及(c)当比率小于低阈值或者映射参数的改变增加了总成本时，减小信任区域参数并重复当前迭代。
本文讨论的技术针对任何图像提供了高质量的配准，甚至在倾斜的自然平面图像的情境下也是如此。这样的技术包括参数模板匹配，该参数模板匹配可以生成具有亚像素精度的匹配。在一些实施例中，收敛的单应性参数的生成可以被用于估计场景中对象(例如，运动场)的平面曲率。这种高度精确的平面曲率估计在平滑平面重建的情境中是有利的，其可以用于3D点云生成和其他建模工作。所公开的技术包括将色块(例如，ROI和目标图像部分)转换到除了彩色(例如，RGB)图像空间之外的噪声较小的语义空间，确定用以将检测到的色块(例如，ROI)映射到一个或多个其他图像中的匹配色块的透视变换(例如，单应性参数)，以及可选择地估计场景中(一个或多个)3D结构的法向向量(例如，运动场的曲率)。许多应用需要理解场景结构，例如，自主驾驶、机器人导航/与周围事物的交互以及用于在沉浸式视频中创建三维视频的完整3D重建。当重建3D结构(稀疏或密集)时所需的主要任务是在困难的成像(例如ONPI)条件下进行图像配准。本文讨论的技术允许在严重的ONPI条件下进行图像配准，并且有利地避免了在强透视变形下检测的不一致性，并确保每次检测将在宽范围的图像中具有匹配。
图1示出了根据本公开的至少一些实现方式布置的用于执行图像配准的示例装置100。如图1所示，装置100可以包括摄像头阵列101、ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105。装置100可以被实现在任何合适形状因数的设备或包括如下各项的这些设备中的一个或多个设备中：服务器计算机、云计算环境、个人计算机、膝上型计算机、平板电脑、平板手机、智能电话、游戏控制台、可穿戴设备、显示设备、一体化设备、二合一设备等。值得注意的是，在一些实施例中，摄像头阵列101可以与实现装置100的其余组件的设备分开被实现。经由摄像头阵列101捕获的图像(输入图像111)包括场景110的同时捕获的图像。如本文所使用的，术语“同时捕获的图像”表示在诸如0.1秒之类的容差之内在相同或几乎相同的时刻被同步捕获的图像。在一些实施例中，捕获的图像被捕获作为同步捕获的视频。例如，装置100的组件可以被合并到任何多摄像头多处理器系统中，以向场景的观看者传递沉浸式视觉体验。
图2示出了根据本公开的至少一些实现方式布置的在示例场景110上训练的示例摄像头阵列101。在所示的实施例中，摄像头阵列101包括在运动场上训练的36个摄像头。然而，摄像头阵列101可以包括在场景110上训练的任何合适数量的摄像头，例如不少于20个摄像头。例如，可以在场景110上训练摄像头阵列101以生成场景110的3D模型，并且更少的摄像头可能无法提供足够的信息来生成3D模型。摄像头阵列101可以被安装到围绕场景110的运动场的体育场(未示出)并沿着围绕运动场的地面，在场景110上被校准和训练以捕获同时的图像或视频。如图所示，摄像头阵列101的每个摄像头具有场景110的特定视图。例如，摄像头201具有场景110的第一视图，并且摄像头202具有场景的第二视图，以次类推。如本文中所使用的，术语“视图”指示摄像头阵列101的特定摄像头的图像平面的图像内容或来自位于场景110内的虚拟摄像头的任何视图的图像内容。值得注意的是，该视图可以是捕获的视图(例如，使用摄像头处的图像捕获获得的视图)，使得多个视图包括同一人、对象、实体等的表示。本文讨论的技术被用于对使用摄像头阵列101的摄像头获得的输入图像111的一部分、区域、或色块进行配准。输入图像111可以具有任何合适的彩色图像数据结构。在一些实施例中，输入图像111包括RGB彩色图像数据。
返回图1，ROI检测器102接收输入图像111，并在输入图像111的任何数量的源图像内生成任何数量的感兴趣区域(ROI)112。如本文所使用的，术语“源图像”指示具有要在目标图像中匹配的ROI的图像。ROI检测器102可以使用任何合适的一种或多种技术来检测ROI112。通常，ROI 112包括一个或多个具有多个特征(例如，边缘，拐角等)的前景对象。如本文所使用的，术语“前景”指示包括如下一个或多个特征的对象或像素：该一个或多个特征提供相对于背景的分离或区别，其中该背景不包括这种特征。在本文中，这些前景对象和像素被示出为运动场上的标记；然而，可以采用任何这种特征。此外，ROI检测器102针对每个ROI112生成一个或多个目标图像的相应目标部分113，这一个或多个目标图像被预期包括针对每个ROI 112的匹配。值得注意的是，可以在多个目标图像中找到针对同一ROI 112的匹配。通常，目标部分113大于ROI 112，使得单应性参数可以平移、旋转和更改在目标部分113内ROI 112的透视，以生成收敛的单应性参数。
图3示出了根据本公开的至少一些实现方式布置的示例性源图像301(包括示例感兴趣区域312)和示例性目标图像302(包括示例目标部分313)。例如，源图像301和目标图像302可以是从摄像头阵列101的不同摄像头基本同时获得的示例性输入图像111。如图所示，ROI检测器102可以在源图像301内检测示例感兴趣区域312。ROI检测器102可以在源图像301中检测任何数量的感兴趣区域。如图所示，感兴趣区域312包括诸如边缘和拐角之类的显著特征，其在图像色块配准中可以是有利的。此外，ROI检测器102可以在目标图像302内检测示例目标部分313，该示例目标部分313被预期包括到感兴趣区域312的匹配。
本文讨论的技术试图通过提供单应性参数来将感兴趣区域312与目标部分313内的目标区域配准，这些单应性参数在感兴趣区域312与目标区域之间进行映射和/或将感兴趣区域312和目标区域两者映射到共享坐标系。
返回到图1，ROI 112和目标部分113被提供给语义转换模块103，语义转换模块103将ROI 112转换为前景可能性(FL)ROI 114并将目标部分113转换为FL目标部分115。如所讨论的，在颜色域中确定ONPI中的单应性参数可能是不可行的。为了避免估计和建模颜色校正，ROI 112(例如，每个源色块)和目标部分113(例如，每个目标目的地色块)被转换到其中不需要颜色校正的空间。在一些实施例中，如图所示，ROI 112被转换为FL ROI 114，并且目标部分113被转换为FL目标部分115。如本文所使用的，术语“前景可能性”指示每个像素是前景像素的可能性。例如，在二进制前景可能性图像色块的情境中，当前景的像素度量高于阈值时，像素可以是1，而当前景的像素度量低于阈值时，像素可以是0。在非二进制前景可能性图像色块中，像素值可以在值的范围内变动，其中较高值指示像素是前景的一部分的可能性较高。
图4示出了根据本公开的至少一些实现方式布置的用于在装置100中实现的示例语义转换模块103。如图4所示，语义转换模块103包括阈值模块401和距离变换模块402。阈值模块401将ROI 112和目标部分113转换为二进制(B)ROI 412和二进制目标部分413，使得二进制ROI 412和二进制目标部分413中的每一者是二进制图像，该二进制图像对于被确定为在前景中的像素具有第一值(例如，1、255等)，并且对于被确定为在背景中的像素具有第二值(例如，零)。阈值模块401可以使用任何合适的一种或多种技术将ROI 112和目标部分113转换为二进制ROI 412和二进制目标部分413。在一些实施例中，阈值模块401使用自动阈值化技术来执行转换。在一些实施例中，阈值模块401生成用于将图像色块的像素分成前景类别和背景类别的强度阈值，然后在逐像素(pixel-wise)的基础上实现该阈值。在一些实施例中，阈值模块401实现Otsu的方法，不过可以使用任何分割技术。
图5示出了根据本公开的至少一些实现方式布置的示例二进制感兴趣区域512和示例二进制目标图像部分513。例如，感兴趣区域512和示例二进制目标图像部分513分别对应于感兴趣区域312和目标部分313。如图所示，阈值模块401将感兴趣区域312转换为二进制感兴趣区域512。值得注意的是，感兴趣区域312包括前景像素501(例如，包括运动场的场地标记)和背景像素512(例如，包括运动场)。阈值模块401使用关于图4所讨论的技术来检测和分离前景像素501和背景像素502，以生成具有前景像素505(具有第一值)和背景像素506(具有第二值)的二进制感兴趣区域512。类似地，阈值模块401将包括前景像素503和背景像素504的目标部分313转换为具有前景像素507(具有第一值)和背景像素508(具有第二值)的二进制目标图像部分513。值得注意的是，这种从彩色图像空间进行的转换确保了源图像和目标图像之间的颜色改变是不相关的，并且几何形状而不是它们的颜色被匹配。此外，将迭代过程驱动到单应性参数收敛的像素(如下面进一步讨论的)是不符合前景几何形状的错误像素。
返回图4，距离变换模块402接收二进制ROI 412和二进制目标部分413，并且距离变换模块402对每一者应用距离变换以生成FL ROI 114和FL目标部分115。例如，距离变换模块402可以应用距离变换，使得前景像素(例如，值为255)保持相同的值，并且基于像素距任何前景像素的距离将背景像素(例如，值为零)朝着白色调整，使得该调整与距任何前景像素的距离成反比。在一些实施例中，从白色值中减去每个像素距白色值(例如，在8位灰度级中为255)的距离(例如，使用距离变换值)，并将其分配给该像素。值得注意的是，距离变换模块402的结果留下前景像素并提供从前景像素发出的纹理。
图6示出了根据本公开的至少一些实现方式布置的示例前景可能性感兴趣区域612和示例前景可能性目标图像部分613。例如，前景可能性感兴趣区域612和示例前景可能性目标图像部分613分别对应于二进制感兴趣区域512和二进制目标图像部分513。如图所示，距离变换模块402将二进制感兴趣区域512转换为前景可能性感兴趣区域612，使得前景像素505保持(例如，维持诸如255之类的全前景可能性值)，并且背景像素506具有随着远离前景像素505而下降的值，使得如下的前景可能性梯度601被提供：其具有随着从前景像素505(例如，值为255)移动到背景像素602(例如，值为0)而递减的前景可能性值。类似地，距离变换模块402将二进制目标图像部分513转换为前景可能性目标图像部分613，使得前景像素507保持(例如，维持值255)，并且背景像素508被转换成具有前景可能性梯度603的前景可能性值，该前景可能性梯度603具有随着接近前景像素507而较高的值以及随着远离前景像素507并向背景像素604移动而较低的值。值得注意的是，对距离变换模块402的应用解决了当初始图像部分估计离正确透视太远时、当纹理没有或几乎没有像素重叠时和/或当ROI前景与目标部分前景之间没有交互时的问题。在这种情境中，对二进制前景掩模(mask)的使用可能陷入到平稳期(plateau)，在该平稳期中，在迭代上看不到改进。为了纠正这样的问题，距离变换模块402有利地扩展前景对象的纹理。
返回图1，语义转换模块103输出FL ROI 114和FL目标部分115以供单应性配准模块104使用。如所讨论的，FL ROI 114表示源图像中检测到的感兴趣区域的语义版本，并且FL目标部分115是目标图像中检测到的部分的语义版本，使得感兴趣区域和该部分被预期两者都具有共享的感兴趣对象的像。语义转换模块103生成单应性参数116，单应性参数116在FL ROI 114与FL目标部分115之间进行映射以将FL ROI 114在几何上映射到FL目标部分115内的目标区域。这样的单应性参数116是使用下面讨论的迭代处理来生成的，并追求基于以下两项之间的差异来最小化成本函数：基于单应性参数116映射的FL ROI 114，以及FL目标部分115的实际目标区域。
图7示出了根据本公开的至少一些实现方式布置的前景可能性感兴趣区域612到前景可能性目标图像部分613上的示例初始重叠700。如图所示，当前景可能性感兴趣区域612未被单应性参数116修改(例如，没有平移、旋转或透视改变被实现)时，提供了重叠700。在单应性参数收敛的迭代期间，基于当前的单应性参数来映射前景可能性感兴趣区域612，以将前景可能性感兴趣区域612更改成其经平移、旋转、弯曲等的版本(其可以被表征为候选感兴趣区域)以便更好地与前景可能性目标图像部分613的目标区域(未示出)对准。例如，不预期前景可能性感兴趣区域612的映射版本填满整个前景可能性目标图像部分613，而是追求匹配前景可能性目标图像部分613的色块或区域(例如，目标区域)。
此外，映射参数收敛的每次迭代基于前景可能性感兴趣区域612的映射版本与前景可能性目标图像部分613之间的匹配或不匹配来分析成本函数。这种成本或误差通常基于它们之间的逐像素差异。在每次迭代中，基于使用一阶近似对误差进行建模并试图最小化误差以及对正则化参数的实现来生成单应性参数的改变(例如，相对于先前单应性参数的差量)，其中这些正则化参数限制单应性参数的改变。这种正则化可以被用于在初始迭代中允许仅一些单应性参数(例如，平移参数)的变化而阻止其他单应性参数(例如，旋转和透视参数)的变化，而在以后的迭代中允许完全变化。这种正则化可以实现信任区域参数以进一步变更映射参数的改变。如本文所使用的，术语“信任区域参数”指示用于以下操作的参数：对单应性参数的改变的正则化进行变更，使得大的信任区域参数提供减小的正则化(以及在改变单应性参数方面更大的灵活性)。如本文所使用的，术语“阻止”指示制止参数变化。在早期迭代中进行限制改变的这种阻止而在以后的迭代中开放所有参数变化可以改进收敛，从而改进收敛性。此外，在迭代使用一阶近似来确定单应性参数的改变之后，生成使用真实误差模型(true error model)(例如，一阶近似所基于的模型)的估计误差改变与使用一阶近似的估计误差改变之间的比率。然后使用该比率(以及真实误差模型是否指示总成本的改进)以在当前迭代中更改信任区域参数并实现重复的映射参数改变估计，或者以指示在下一次迭代中使用改变。如本文所使用的，术语“真实误差模型”指示由过程作为真实来使用的误差模型，并且在一些实施例中，真实误差模型可以被表征为相对于其一阶近似的更高阶模型。这些技术将在下文中进一步讨论。
如此得到的单应性参数116作为输出被从装置100提供，并且可以在各种情境中使用，例如摄像头阵列101的校准以及其他用途。另外，可以将得到的单应性参数116提供给3D结构曲率近似模块105，其可以估计针对场景110中3D结构(例如，表面)的法向向量117。可以使用任何合适的一种或多种技术来生成这种法向向量117。在一些实施例中，基于得到的单应性参数116以及分别用于获得源图像和目标图像的第一摄像头和第二摄像头的位置和取向，针对与源图像和目标图像相对应的场景110中的3D结构来近似法向向量117。
图8示出了根据本公开的至少一些实现方式布置的示例过程800，该示例过程800用于使用迭代收敛处理基于输入的前景可能性源感兴趣区域和输入的前景可能性目标图像部分来生成单应性参数。过程800可以包括如图8所示的一个或多个操作801-808。例如，单应性配准模块104可以执行操作801-808，以基于FL ROI 114和FL目标部分115生成单应性参数116。
过程800在操作801处开始，在操作801处，定义了成本函数，使得当确定用于将前景可能性ROI映射到前景可能性目标部分或色块的最优(或至少最优的近似)单应性参数时，成本函数被最小化。例如，上面的公式(3)引入了基于彩色ROI和彩色目标部分的成本函数。然而，如所讨论的，这种成本函数的优化可能是不可行的，并且转换到诸如前景可能性之类的语义空间是有利的。
在一些实施例中，可以如公式(4)所示定义成本函数：
Figure BDA0002804322270000151
Figure BDA0002804322270000161
其中
Figure BDA0002804322270000162
和
Figure BDA0002804322270000163
分别是前景可能性ROI和从前景可能性ROI映射的前景可能性部分中的候选目标区域，并且
Figure BDA00028043222700001610
是得到的单应性参数(在下面进一步讨论)，其可以在色块(例如区域)的像素上使总成本最小化。值得注意的是，相对于公式(3)，颜色校正项被丢弃，并且仅几何参数被最小化。此外，应注意，公式(4)提出了不具有全局可证明最优解的非线性最小二乘问题。
此外，可以如公式(5)所示，定义针对单个像素的误差(或残差)项，并且可以修改成本函数：
Figure BDA0002804322270000164
Figure BDA0002804322270000165
其中ex(p)是每像素误差。对每像素误差求平方并求和，并且将和减半以针对前景可能性ROI到目标部分的当前映射生成总的误差或残差，其被最小化以确定最优的得到的单应性参数。
处理在操作802处继续，在操作802处，定义了误差的一阶近似。例如，假定p的初始估计(例如，到候选区域的第一映射)接近真实目标值(例如，
Figure BDA0002804322270000166
)，则可以如公式(6)所示使用一阶近似来近似误差项(例如，根据牛顿-拉夫森(Newton-Raphson)方法)：
Figure BDA0002804322270000167
Figure BDA0002804322270000168
其中Δp是单应性参数的改变，并且
Figure BDA0002804322270000169
是初始单应性参数。
对于全透视映射(例如，全单应性)，可以如公式(7)所示定义先前讨论的映射函数φ：
Figure BDA0002804322270000171
xh＝(x，1)T
(7)
其中，参数p1,p2,p4,p5是旋转参数，参数p3,p6是平移参数，参数p7,p8是平移参数，并且如上所述，x是源ROI中心。
然后，可以如公式(8)所示确定误差ex(p)的雅可比矩阵(Jacobian)：
Figure BDA0002804322270000172
其中u和v是本领域已知的单应性空间中的表示。
误差的雅可比矩阵提供了误差的一阶近似，并且可以用于定义迭代过程以收敛到(至少)局部最小值，如公式(9)所示：
Figure BDA0002804322270000173
Figure BDA0002804322270000181
如公式(10)所示定义g和H，如公式(11)所示为单应性参数p提供迭代更新过程：
Figure BDA0002804322270000182
Figure BDA0002804322270000183
Δp＝-H-1g
pk+1＝pk+Δp
(11)
其中Δp是当前迭代k中单应性参数的改变，用于将当前迭代中的单应性参数pk调整为下一迭代中的单应性参数pk+1。这样的技术提供了用于在每次迭代中调整单应性参数的方向和步长大小。
然而，由于误差ex(p)的一阶近似可能不够准确，因此单应性参数的改变Δp可能使一阶近似最小化而不会使真实成本函数(true cost function)(例如，更高阶成本函数)最小化。如本文所使用的，术语“一阶近似”或“一阶”指示使用线性近似(例如，线性变量)而不使用二阶近似(例如，平方变量)或更高阶近似进行的近似。相对于一阶近似的术语“更高阶近似”表示使用至少二阶近似(例如，平方变量)和可能更高阶近似进行的近似。值得注意的是，单应性参数的改变Δp可能不会最小化或减小如公式(5)中所定义的真实成本函数(例如，更高阶成本函数)中的误差。
处理在操作803处继续，在操作803处，使用正则化来定义迭代，以克服单应性参数的改变Δp最小化一阶近似而不最小化真实成本函数的可能。在一些实施例中，在迭代中提供正则化以向成本函数提供配重(counterweight)，使得在单应性参数Δp的生成中阻止或制止参数改变。也就是说，可以修改成本函数以在对单应性参数改变的生成中应用正则化参数。在一些实施例中，在每次迭代中应用具有信任区域的正则化来调整单应性参数Δp。在一些实施例中，如公式(12)所示，采用具有信任区域的正则化：
Figure BDA0002804322270000191
其中
Figure BDA0002804322270000192
是具有沿其对角线的正则化参数的对角矩阵，并且μ是信任区域参数。
值得注意的是，正则化参数的对角矩阵可以在矩阵中除沿对角线以外的每个位置处具有零。此外，正则化参数的对角矩阵可以是8x8矩阵，其中沿对角线的每个正则化参数值(例如，R1,R2,…R7,R8)与单应性参数(例如，p1,p2,…p7,p8)之一相对应，使得每个正则化参数可以允许相应单应性参数的变化(例如，通过使用小的或零的正则化参数)或阻止相应单应性参数的变化(例如，通过使用大的正则化参数)。也就是说，由于公式(12)的右侧，当正则化参数大时，相应的单应性参数的改变提供大的误差分量，并且相反地，当正则化参数小时，相应的单应性参数的改变提供小的误差分量。通过实现不同的正则化参数，某些单应性可以被阻止，而其他单应性可以被允许更自由地变化，如下面进一步讨论的。
此外，信任区域参数μ提供了对单应性参数改变的整体正则化(或调节)。值得注意的是，当信任区域参数小时，正则化项(例如，
Figure BDA0002804322270000193
)在总成本函数中对单应性参数的大改变进行惩罚(penalize)，并且最小化趋向于单应性参数的较小改变。相反地，当信任区域参数小时，正则化项不会使得单应性参数改变有较大变化。因此，信任区域参数可以被认为是置信度参数，使得当单应性参数改变方面的置信度高时，采用较大的信任区域参数以在单应性参数改变的方向上快速移动，而当单应性参数改变方面的置信度低时，采用较小的信任区域参数以在改变的方向上缓慢移动。如本文进一步讨论的，可以在各种迭代中对信任区域参数进行调整。
值得注意的是，正则矩阵
Figure BDA0002804322270000204
可以对每个单应性参数施加不同的正则因子(正则化参数)，这在透视变换中是期望的，因为在参数(例如，旋转参数、平移参数和透视参数)之间存在固有的比例失衡，并且存在在允许或阻止这些参数在迭代中变化以提高收敛性方面的优势。要注意的是，虽然选择正则矩阵的对角线作为近似的Hessian的平方根(例如
Figure BDA0002804322270000201
)可以缓解此类问题，但在单应性参数之间存在额外的不期望的协同依赖性，使得不同的参数可能以类似的方式影响成本函数，从而使得不清楚在某个优化步骤中哪个参数应占主导地位，这可能在参数空间中产生不必要的鞍点。为了解决这些问题，可以通过改变(例如，增大或倍增)正则矩阵
Figure BDA0002804322270000202
的对角线上的正则化参数的值，来使用在收敛迭代的不同阶段中阻止(或过正则化(over-regularize))参数组的技术。例如，可以首先阻止旋转和透视参数，同时仅针对平移参数执行参数优化。随后，当色块或区域充分重叠时，可以释放对旋转参数的阻止。然后，在释放对旋转参数的阻止之后，释放对透视参数的阻止。
使用关于公式(6)到(11)讨论的技术，可以定义迭代过程，该迭代过程用于生成单应性参数改变，并包括使用了调节参数和信任区域参数的正则化，如公式(13)所示：
Figure BDA0002804322270000203
pk+1＝pk+Δp
(13)
注意，随着
Figure BDA0002804322270000211
并且随着
Figure BDA0002804322270000212
使得如上所述，信任区域参数可以在小的信任区域参数被实现时抑制单应性参数的改变(例如，Δp)，或者在大的信任区域参数被实现时促进单应性参数的改变。也就是说，随着信任区域参数的增大，信任区域被扩展(例如，用于对单应性参数空间的改变进行信任的信任区域)，使得在期望方向上采用更大的步长大小。当信任区域参数被减小时，信任区域收缩并且更强的正则项被执行，这导致在期望方向上的步长大小更小。以类似的方式，每单应性参数正则化参数可以允许或阻止在处理迭代中特定单应性参数的改变。
例如，使用公式(13)的第一个公式生成单应性参数的改变Δp。例如，生成误差项的雅可比矩阵的转置与误差项的雅可比矩阵之乘积的逐像素总和(例如，H)、逆雅可比矩阵(inverse Jacobian)与误差项之乘积(例如，g)、和正则化项(例如，
Figure BDA0002804322270000213
)。然后把该误差项的雅可比矩阵的转置与误差项的雅可比矩阵之乘积的逐像素总和跟该正则化项的和求逆并取其相反数(opposite)与该逆雅可比矩阵与误差项之乘积相乘，以作为单应性参数的改变Δp的一阶近似。
处理在操作804处继续，在操作804处，在经由应用大的相应正则化参数阻止至少一些单应性参数的情况下，执行迭代。在一些实施例中，在操作804处执行的迭代允许平移单应性参数的变化，同时阻止旋转和透视参数两者的变化。在一些实施例中，在这些迭代中，与旋转和透视单应性参数相对应的正则化参数大于与平移单应性参数相对应的正则化参数。在一些实施例中，与旋转和透视单应性参数相对应的正则化参数是与平移单应性参数相对应的正则化参数的倍数，例如大一个数量级、大两个数量级等。例如，通过阻止旋转和透视改变，可以首先优化平移以使感兴趣区域的前景区域与目标图像部分中的目标区域重叠。注意，如关于判定操作807所讨论的，在特定数量的迭代被执行之后或在特定误差阈值被满足之后，处理可以从操作804继续到操作805。
处理在操作805处继续，在操作805处，在释放在操作804处阻止的至少一些单应性参数的情况下，执行迭代。在一些实施例中，在操作805处执行的迭代允许平移和旋转单应性参数的变化，同时阻止透视参数的变化。与操作804一样，在一些实施例中，在这些迭代中，与透视单应性参数相对应的正则化参数大于与平移和旋转单应性参数相对应的正则化参数。在一些实施例中，与透视单应性参数相对应的正则化参数是其余正则化参数的倍数，诸如大一个数量级，大两个数量级等。在一些实施例中，从操作804到操作805，与旋转单应性参数相对应的正则化参数被减小，而与透视单应性参数相对应的正则化参数保持不变。例如，通过阻止透视改变，在优化透视映射之前，可以优化平移和旋转以使感兴趣区域的前景区域与目标图像部分中的目标区域更完全地重叠。如同从操作804到操作805的过渡一样，在特定数量的迭代被执行之后或在特定误差阈值被满足之后，处理可以从操作805继续到操作806。
处理在操作806处继续，在操作806处，在释放所有单应性参数并允许其变化以进行最优映射的情况下，执行迭代。例如，从操作805到操作806，与透视单应性参数相对应的正则化参数可以被减小。值得注意的是，操作804、805、806处的每次迭代可以如下进行。首先，定义了正则矩阵正则化参数和信任区域参数。值得注意的是，可以根据迭代来设置正则化参数，以允许或阻止特定的相应单应性参数的变化，如上面所讨论的。此外，如本文下面关于图9进一步讨论的，可以调整信任区域参数。如关于公式(13)所讨论的，基于当前单应性参数、正则化参数、和信任区域参数，生成单应性参数的改变。在一些实施例中，基于单应性参数的改变的模型误差的改变被测试并被用于更改信任区域参数和/或在当前迭代中生成单应性参数的新改变，如关于图9所讨论的。在其他实施例中，不采用这种处理，并且在随后的迭代中实现单应性参数的改变。然后，重复这样的处理(确定单应性参数的改变并在随后的迭代中应用)，直到迭代预算被使用(满足最大迭代数量)或收敛测试被满足(误差<TH)。
处理在判定操作807处继续，在操作807处，确定是否要继续迭代处理。这样的确定可以基于迭代数量(例如，迭代预算可以被使用，并且一旦已经执行了所有迭代，则处理停止)或者基于误差阈值被满足来进行。例如，在每次迭代中，可以如关于公式(4)所讨论的，确定总误差，并且如果总误差小于预定阈值，则迭代处理停止。如上所述，还可以在操作804和操作805之后应用这样的技术以证明更多单应性参数的释放。
图9示出了根据本公开的至少一些实现方式布置的示例过程900，该示例过程900用于在单应性参数收敛处理的当前迭代中生成单应性参数的改变和信任区域参数调整。过程900可以包括如图9所示的一个或多个操作901-910。例如，操作901-910可以由单应性配准模块104在一个或多个迭代(例如，在操作804、805、806的任何迭代)中执行，以生成针对当前迭代的单应性参数的改变，并且可选择地生成针对当前迭代和后续迭代的信任区域参数调整的改变。术语“当前迭代”旨在表示特定迭代，其中当前迭代之前是任意数量的先前迭代，并且之后是任意数量的后续迭代。
处理900在操作901处开始，在操作901处，用于单应性参数收敛的当前迭代的处理开始。值得注意的是，在操作901处，可以接收或检索单应性参数集、正则化参数集、信任区域参数、和单应性参数集的总成本，其中这些参数是在先前的迭代中生成的(或是针对整个第一迭代初始化的)。
处理在操作902处继续，在操作902处，单应性参数的近似改变是使用如关于图8所讨论的正则化参数和来自先前迭代的信任区域参数来确定的。单应性参数的近似改变试图使单应性参数朝着成本或误差函数的最小化收敛，如本文所讨论的。例如，可以如关于公式(13)所讨论的那样生成单应性参数的改变。单应性参数的改变提供了一阶近似，以迭代地朝着得到的单应性参数移动。
处理在操作903处继续，在操作903处，生成(a)使用真实误差近似(例如，更高阶近似)生成的成本(或误差)的改变与(b)使用一阶近似生成的成本(或误差)的改变的比率。如所讨论的，用具有正则化的一阶近似生成的单应性参数的改变可以优化误差或成本函数的一阶近似，但不优化真实成本函数或误差。该比率表示真实成本的移动相对于一阶近似中误差的移动。如下所述，这种比率然后可以用于更改信任区域参数。
在一些实施例中，如关于公式(14)所示的那样生成在操作903处生成的比率：
Figure BDA0002804322270000241
其中ρ是比率，||e(p)||2-||e(p+Δp)||2是真实成本改进或误差改变(例如，来自先前迭代的误差减去在单应性参数的改变被实现的情况下的误差，误差基于真实成本模型)，并且
Figure BDA0002804322270000242
是使用了单应性参数改变的误差改变的一阶近似(例如，来自先前迭代的误差减去使用一阶模型生成的在具有单应性参数的改变的情况下的误差的近似)。
此外，在当前迭代中，生成单应性参数的总成本，其中在操作902处生成的单应性参数的改变被实现。例如，可以使用公式(4)(基于pk+1＝pk+Δp)来生成总成本，并且可以将其标记为NewCost。如所讨论的，在操作901处接收使用了先前单应性参数pk的总成本并且可以将其标记为CurrentCost。
处理在判定操作904处继续，在判定操作904处，确定在操作903处生成的比率是否大于阈值TH2。值得注意的是，以下被表征为∈(在判定操作906处实现)的阈值TH1可以小于以下被表征为η1(在判定操作904处实现)的阈值TH2，并且大于以下被表征为η2(在判定操作909处实现)的阈值TH3。例如，在判定操作904处，可以确定，与其改进一阶误差近似的速率相比，使用一阶近似生成的单应性参数的改变以更大的速率改进真实误差近似。如图所示，在这样的情境中，处理在操作905处继续，在操作905处，增大信任区域参数。如图所示，可以将信任区域参数增大任何量，例如加倍。然后，如所讨论的，处理在操作902处继续，其中使用关于公式(13)描述的一阶近似来再次生成当前迭代中的单应性参数的新改变。值得注意的是，通过增大信任区域参数，模型被预期增大单应性参数的改变的移动，这是期望的，因为该模型甚至正在比预期更多地改进真实误差降低。这样的处理可以经由判定操作904继续任何次数以增大信任区域参数(并且继续减小来自单应性参数改变的误差)，直到该比率下降到TH2以下。TH2可以是大于1的任何合适的值，例如1.5。
如果在操作903处生成的比率未超过阈值TH2，则处理在判定操作906处继续，在判定操作906处，确定在操作903处生成的比率是否超过阈值TH1，并且确定使用了单应性参数改变的成本(NewCost)是否小于使用了先前单应性参数的成本(CurrentCost)。值得注意的是，阈值TH1小于TH2，并且TH1可以是任何值。在一些实施例中，阈值TH1可以大于一，但不是必须大于一。例如，判定操作906评估单应性参数的改变是否提供了如通过相对于先前单应性参数的成本降低所评估的改进(例如，NewCost<CurrentCost？)，以及该比率是否表示成本改进但不表示如当该比率超过TH2时的快速成本改进。在这样的情境中，处理在操作907处继续，其中在操作907处，实现单应性参数的改变以更新用于后续迭代的单应性参数(例如，pk+1＝pk+Δp)并且不对信任区域参数进行改变，并且处理在操作908处结束，其中在操作908处，当前迭代结束(并且处理可以针对后续的迭代在操作901处开始)。此外，处理在操作906处结束当前迭代，在操作906处，可以实现下一迭代。注意，判定操作906可以在增大或减小当前迭代中的信任区域参数之后被实现。
如果单应性参数的改变提供了成本函数的增加(例如，性能恶化)或未提供改进或者该比率未超过阈值TH1，则处理在判定操作909处继续，在该操作909处确定比率是否小于阈值TH3，或者直接到操作910。例如，仅当比率指示真实成本函数变得不响应于正在实现的一阶近似时，才可以实现阈值TH3以减小步长大小。如果是，则处理在操作910处继续，在操作910处，减小信任区域参数。信任区域参数可以被减小任何量，例如减半。然后，如所讨论的，处理在操作902处继续，在操作902处，生成当前迭代的单应性参数的新改变。值得注意的是，通过减小信任区域参数，模型被预期怀着找到如下较小步长的希望而减小单应性参数改变的移动：该较小步长以较小的步长大小降低误差。TH3可以是小于1的任何合适的值，例如0.5。在比率不小于TH3但小于TH1的情况下，可以将信任区域参数减小较小的量(例如减小四分之一)，并且处理可以在操作902处继续。
例如，过程900可以根据以下伪码(1)来实现对信任区域参数μ的选择：
伪码(1)：
1.针对给定的μ求解
Figure BDA0002804322270000261
2.为该候选Δp生成ρ
3.如果ρ＞∈并且NewCost＜CurrentCost，则中断并更新
pk+1＝pk+Δp
4.如果ρ＞η1，则μ＝2μ并转到1
5.如果ρ＞η1或CurrentCost＜NewCost，则
Figure BDA0002804322270000262
并转到1
(注：是针对每次迭代k对单应性参数p执行的)
(注：η1＞∈＞η2)
图10是示出根据本公开的至少一些实现方式布置的用于执行图像配准的示例过程1000的流程图。过程1000可以包括如图10所示的一个或多个操作1001-1005。例如，过程1000可以形成用于沉浸式视频的图像配准过程的至少一部分。通过非限制性示例，过程1000可以形成如本文所讨论的由装置100执行的过程的至少一部分。此外，本文将参考图11的系统1100来描述过程1000。
图11是根据本公开的至少一些实现方式布置的用于执行图像配准的示例系统1100的示意图。如图11所示，系统1100可以包括中央处理器1101、图像处理器1102、存储器1103、和摄像头阵列101。同样，如图所示，图像处理器1102可以包括或实现ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105。在系统1100的示例中，存储器1103可以输入图像、感兴趣区域数据、图像数据的一部分、单应性参数、单应性参数的改变、正则化参数、信任区域数据、前景可能性数据、摄像头阵列参数数据、或本文讨论的任何其他数据。
如图所示，在一些示例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是经由图像处理器1102实现的。在其他示例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是经由中央处理器1101、图像处理单元、图像处理管线、图像信号处理器等来实现的。在一些示例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是作为片上系统(SoC)以硬件实现的。在一些示例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是经由FPGA以硬件实现的。
图像处理器1102可以包括任何数量和类型的如下图像或图形处理单元：该图像或图形处理单元可以提供如本文所讨论的操作。这些操作可以经由软件或硬件或其组合来实现。例如，图像处理器1102可以包括专用于操纵和/或分析从存储器1103获得的图像的电路系统。中央处理器1101可以包括任何数量和类型的如下处理单元或模块：该处理单元或模块可以向系统1100提供控制和其他高级功能和/或提供本文讨论的任何操作。存储器1103可以是任何类型的存储器(诸如易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等)。在非限制性示例中，存储器1103可以由缓冲存储器实现。在实施例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是经由图像处理器1102的执行单元(EU)实现的。EU可以包括例如可编程逻辑或电路系统(例如一个或多个逻辑核)，其可以提供各种可编程逻辑功能。在实施例中，ROI检测器102、语义转换模块103、单应性配准模块104、和3D结构曲率近似模块105中的一个或多个或者一部分是经由诸如固定功能电路系统等之类的专用硬件来实现的。固定功能电路系统可以包括专用逻辑或电路系统，并且可以提供一组固定功能入口点，这些入口点可以映射到专用逻辑以用于固定目的或功能。
回到对图10的讨论，过程1000在操作1001处开始，在操作1001处，接收来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分以进行处理。在一些实施例中，彩色图像部分大于彩色ROI，因此从源ROI映射的目标区域可以在该部分内搜索匹配。在一些实施例中，源图像和目标图像包括分别从摄像头阵列的第一摄像头和第二摄像头获得的场景的倾斜视图图像，该倾斜视图具有相对于水平线小于22°的视角。
处理在操作1002处继续，在操作1002处，将彩色ROI和彩色图像部分转换为前景可能性ROI和前景可能性图像部分，该前景可能性ROI和前景可能性图像部分包括每个像素是前景像素的可能性。在一些实施例中，将彩色ROI和彩色图像部分分别转换为前景可能性ROI和前景可能性图像部分包括：应用自动阈值化以生成二进制前景像素和二进制背景像素，以及应用距离变换以调整二进制背景像素。在一些实施例中，将彩色ROI和彩色图像部分分别转换为前景可能性ROI和前景可能性图像部分包括：对分割神经网络或高斯混合模型的应用。如所讨论的，任何将像素分类为类别标签或类别可能性标签等的合适的语义值可以代替前景可能性。此外，在一些实施例中，可以使用高斯模糊或其他技术将二进制前景值转换为前景可能性。
处理在操作1003处继续，在操作1003处，应用多个第一迭代来收敛单应性参数以将前景可能性ROI映射到前景可能性图像部分的目标区域，使得第一迭代允许单应性参数的平移参数的变化，并阻止单应性参数的旋转参数和透视参数的变化。在一些实施例中，第一迭代通过应用用于制止单应性参数的改变中的旋转参数和透视参数变化的旋转正则化参数和透视正则化参数来阻止旋转参数和透视参数的变化。例如，旋转和透视正则化参数可以比平移正则化参数大一个数量级或两个数量级。
处理在操作1004处继续，在操作1004处，在第一迭代之后，应用多个第二迭代以收敛单应性参数，使得第二迭代允许平移参数、旋转参数和透视参数的变化。在一些实施例中，可以通过减小旋转和透视正则化参数来去除对平移和旋转参数的阻止。在一些实施例中，过程1000还包括在第一迭代之后且在第二迭代之前应用多个第三迭代以收敛多个单应性参数，使得第三迭代允许平移参数和旋转参数的变化，并阻止透视参数的变化。例如，在第三迭代期间，透视正则化参数可以保持不变，而旋转正则化参数被减小。
在一些实施例中，第一和第二迭代的当前迭代包括：基于前景可能性ROI与候选目标图像区域之间的误差的一阶近似来生成单应性参数的改变，并对单应性参数的改变进行正则化。在一些实施例中，当前迭代包括对误差的一阶近似和正则化之和的最小化，使得正则化将正则化参数和信任区域参数应用于当前迭代中的单应性参数的改变。
在一些实施例中，第一或第二迭代的当前迭代包括：基于前景可能性源图像ROI与候选目标图像区域之间的误差的一阶近似来生成单应性参数的改变，使用单应性参数的改变来确定成本改进的一阶近似并使用单应性参数的改变来确定真实成本改进，以及确定真实成本改进与成本改进的一阶近似的比率。在一些实施例中，响应于该比率大于第一阈值，该比率小于比第一阈值大的第二阈值，并且真实成本改进指示在当前迭代中误差降低，单应性参数的改变在随后的迭代中被应用。在一些实施例中，响应于该比率大于第二阈值，当前迭代还包括增大应用于单应性参数的改变的正则化的信任区域参数，并基于经增大的信任区域参数来生成单应性参数的第二改变。在一些实施例中，响应于比率小于比第一阈值小的第三阈值或真实成本改进指示误差增大，当前迭代还包括减小应用于单应性参数的改变的正则化的信任区域参数，并基于经减小的信任区域参数生成单应性参数的第二改变。
处理在操作1005处继续，在操作1005处，得到的单应性参数被输出和/或用于生成3D结构法向向量。可以在多个迭代已经完成处理之后或者在误差阈值已经被满足之后等，确定得到的单应性参数。得到的单应性参数可以在各种情境中使用，例如摄像头配准。在一些实施例中，3D结构法向向量是通过以下操作来生成的：基于得到的单应性参数以及分别被用于获得源图像和目标图像的第一摄像头和第二摄像头的位置和取向(orientation)来近似针对与源图像和目标图像相对应的场景中的3D结构的法向向量。
针对任何数量的源和目标图像区域、部分或色块等的对，可以串行或并行地重复过程1000任何次数。过程1000提供源图像区域和目标图像的一部分之间的配准。过程1000可以由诸如本文讨论的那些之类的任何合适的设备、系统、装置或平台来实现。在实施例中，过程1000由具有用于源图像和目标图像以及任何其他所讨论的数据结构的存储器和用于执行操作1001-1005的处理器的装置来实现。在实施例中，存储器和处理器是经由单片(monolithic)现场可编程门阵列集成电路来实现的。如本文所使用的，术语“单片”表示与其他设备分离的设备，不过它可以耦合到其他设备以进行通信和供电。
本文描述的系统的各种组件可以以软件、固件和/或硬件和/或其任何组合来实现。例如，本文所讨论的设备或系统的各种组件可以至少部分地由诸如可以在计算系统(诸如例如，智能电话)中找到的计算片上系统(SoC)的硬件来提供。本领域技术人员可以认识到，本文描述的系统可以包括在相应附图中未被描绘的附加组件。例如，本文讨论的系统可以包括为了清楚起见而未被描绘的附加组件。
尽管本文讨论的示例过程的实现方式可以包括以所示顺序示出的所有操作的进行，但是本公开不限于此，并且在各种示例中，本文示例过程的实现方式可以包括：仅所示操作的子集、以与所示顺序不同的顺序执行的操作、或附加的操作。
另外，可以响应于由一个或多个计算机程序产品提供的指令来进行本文讨论的任何一个或多个操作。这样的程序产品可以包括提供指令的信号承载介质，这些指令在例如由处理器执行时可以提供本文描述的功能。计算机程序产品可以以一种或多种机器可读介质的任何形式来提供。因此，例如，包括一个或多个图形处理单元或(一个或多个)处理器核的处理器可以响应于通过一种或多种机器可读介质传送给该处理器的程序代码和/或指令或指令集，来进行本文示例过程的一个或多个框。通常，机器可读介质可以以程序代码和/或指令或指令集的形式来传送软件，该程序代码和/或指令或指令集可以使本文描述的任何设备和/或系统实现设备或系统的至少一部分或者本文讨论的任何其他模块或组件。
如在本文描述的任何实现方式中所使用的，术语“模块”是指被配置为提供本文描述的功能的软件逻辑、固件逻辑、硬件逻辑、和/或电路系统的任何组合。软件可以被体现为软件包、代码和/或指令集或指令，并且在本文描述的任何实现方式中使用的“硬件”可以单独地或以任意组合包括例如硬接线电路系统、可编程电路系统、状态机电路系统、固定功能电路系统、执行单元电路系统、和/或存储由可编程电路系统执行的指令的固件。模块可以整体或单独地被体现为形成较大系统的一部分的电路系统，例如，集成电路(IC)、片上系统(SoC)等。
图12是根据本公开的至少一些实现方式布置的示例系统1200的示意图。在各种实现方式中，系统1200可以是移动设备系统，不过系统1200不限于此情境。例如，系统1200可以被合并到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板电脑、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板电脑、或智能电视)、移动互联网设备(MID)、消息收发设备、数据通信设备、摄像头(例如，傻瓜摄像头(point-and-shoot camera)、超级变焦摄像头(super-zoom camera)、数字单镜头反光(digital single-lens reflex，DSLR)摄像头)、监控摄像头、包括摄像头的监控系统等。
在各种实现方式中，系统1200包括耦合到显示器1220的平台1202。平台1202可以从诸如(一个或多个)内容服务设备1230或(一个或多个)内容传递设备1240之类的内容设备或诸如图像传感器1219之类的其他内容源接收内容。例如，平台1202可以从图像传感器1219或任何其他内容源接收如本文讨论的图像数据。包括一个或多个导航特征的导航控制器1250可以用于与例如平台1202和/或显示器1220交互。下面将更详细地描述这些组件中的每一者。
在各种实现方式中，平台1202可以包括芯片组1205、处理器1210、存储器1212、天线1213、存储装置1214、图形子系统1215、应用1216、图像信号处理器1217和/或无线电装置1218的任何组合。芯片组1205可以提供处理器1210、存储器1212、存储装置1214、图形子系统1215、应用1216、图像信号处理器1217和/或无线电装置1218之间的相互通信。例如，芯片组1205可以包括能够提供与存储装置1214的相互通信的存储适配器(未示出)。
处理器1210可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在各种实现方式中，处理器1210可以是(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器1212可以被实现为易失性存储器设备，例如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。
存储装置1214可以被实现为非易失性存储设备，例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接的存储设备、闪存、电池备份SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现方式中，例如，存储装置1214可以包括用于在多个硬驱动器被包括时增加对有价值的数字媒体的存储性能增强保护的技术。
图像信号处理器1217可以被实现为用于图像处理的专用数字信号处理器等。在一些示例中，图像信号处理器1217可以基于单指令多数据或多指令多数据体系结构等来实现。在一些示例中，图像信号处理器1217可以被表征为媒体处理器。如本文所讨论的，图像信号处理器1217可以基于片上系统体系结构和/或基于多核体系结构来实现。
图形子系统1215可以执行图像(例如，用于显示的静止图像或视频)的处理。例如，图形子系统1215可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子系统1215和显示器1220。例如，该接口可以是以下各项中的任何一种：高清多媒体接口、DisplayPort、无线HDMI、和/或无线HD适用技术。图形子系统1215可以被集成到处理器1210或芯片组1205。在一些实现方式中，图形子系统1215可以是通信地耦合到芯片组1205的独立设备。
本文描述的图形和/或视频处理技术可以在各种硬件体系结构中实现。例如，图形和/或视频功能可以集成在芯片组内。可替代地，可以使用离散的图形和/或视频处理器。作为又一实现方式，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在其他实施例中，功能可以在消费电子设备中实现。
无线电装置1218可以包括能够使用各种合适的无线通信技术来发送和接收信号的一个或多个无线电装置。此类技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络、和卫星网络。在跨这些网络进行通信时，无线电装置1218可以根据任何版本的一个或多个适用标准来进行操作。
在各种实现方式中，显示器1220可以包括任何电视类型监视器或显示器。显示器1220可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类似电视的设备、和/或电视。显示器1220可以是数字的和/或模拟的。在各种实现方式中，显示器1220可以是全息显示器。而且，显示器1220可以是可以接收视觉投影的透明表面。这样的投影可以传送各种形式的信息、图像和/或对象。例如，这样的投影可以是针对移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用1216的控制下，平台1202可以在显示器1220上显示用户界面1222。
在各种实现方式中，例如，(一个或多个)内容服务设备1230可以由任何国家的、国际的和/或独立的服务托管，并且因此可经由互联网由平台1202访问。(一个或多个)内容服务设备1230可以耦合到平台1202和/或显示器1220。平台1202和/或(一个或多个)内容服务设备1230可以耦合到网络1260以向网络1260并从网络1260传送(例如，发送和/或接收)媒体信息。(一个或多个)内容传递设备1240也可以耦合到平台1202和/或显示器1220。
图像传感器1219可以包括可以基于场景提供图像数据的任何合适的图像传感器。例如，图像传感器1219可以包括基于半导体电荷耦合器件(CCD)的传感器、基于互补金属氧化物半导体(CMOS)的传感器、基于N型金属氧化物半导体(NMOS)的传感器等。例如，图像传感器1219可以包括可以检测场景的信息以生成图像数据的任何设备。
在各种实现方式中，(一个或多个)内容服务设备1230可以包括有线电视盒，个人计算机、网络、电话、互联网使能设备或能够传递数字信息和/或内容的电器、以及能够经由网络1260或以直接方式在内容提供商与平台1202和/或显示器1220之间单向地或双向地传送内容的任何其他类似设备。应理解，内容可以经由网络1260单向地和/或双向地被传送到内容提供商和系统1200中的组件中的任一者并且被从内容提供商和系统1200中的组件中的任一者传送。内容的示例可以包括任何媒体信息，其包括例如视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备1230可以接收诸如有线电视节目之类的内容，包括媒体信息、数字信息、和/或其他内容。内容提供商的示例可以包括任何有线或卫星电视或无线电或互联网内容提供商。提供的示例并不意在以任何方式限制根据本公开的实现方式。
在各种实现方式中，平台1202可以从具有一个或多个导航特征的导航控制器1250接收控制信号。例如，导航控制器1250的导航特征可以用于与用户界面1222交互。在各种实施例中，导航控制器1250可以是指点设备(pointing device)，该指点设备可以是允许用户将空间(例如，连续的和多维的)数据输入到计算机中的计算机硬件组件(具体地，人机接口设备)。许多系统(例如图形用户界面(GUI)、电视、和监视器)允许用户使用物理手势控制数据并将数据提供给计算机或电视。
导航控制器1250的导航特征的移动可以通过在显示器上显示的指针、光标、聚焦环或其他视觉指示符的移动来复制在显示器(例如，显示器1220)上。例如，在软件应用1216的控制下，位于导航控制器1250上的导航特征可以被映射到在用户界面1222上显示的虚拟导航特征。在各种实施例中，导航控制器1250可以不是单独的组件，而是可以集成到平台1202和/或显示器1220中。然而，本公开不被限制到本文描述或示出的情境中或者本文描述或示出的元件。
在各种实现方式中，驱动(未示出)可以包括用于使用户能够在初始启动之后(例如，在被启用时)通过触摸按钮立即打开和关闭平台1202(如电视)的技术。即使在平台被“关闭”时，程序逻辑也可以允许平台1202将内容流式传输到媒体适配器或其他(一个或多个)内容服务设备1230或(一个或多个)内容传递设备1240。另外，芯片组1205可以包括例如针对5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动可以包括用于集成图形平台的图形驱动。在各种实施例中，图形驱动可以包括外围组件互连(PCI)Express图形卡。
在各种实现方式中，系统1200中所示的任何一个或多个组件可以被集成。例如，平台1202和(一个或多个)内容服务设备1230可以被集成，或者平台1202和(一个或多个)内容传递设备1240可以被集成，或者例如，平台1202、(一个或多个)内容服务设备1230以及(一个或多个)内容传递设备1240可以被集成。在各种实施例中，平台1202和显示器1220可以是集成单元。例如，显示器1220和(一个或多个)内容服务设备1230可以被集成，或者显示器1220和(一个或多个)内容传递设备1240可以被集成。这些示例并不意味着限制本公开。
在各种实施例中，系统1200可以被实现为无线系统、有线系统、或两者的组合。当系统1200被实现为无线系统时，系统1200可以包括适合于通过无线共享介质(诸如，一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等)上进行通信的组件和接口。无线共享介质的示例可以包括无线频谱的一部分，例如RF频谱等。当系统1200被实现为有线系统时，系统1200可以包括适合于在有线通信介质(诸如，输入/输出(I/O)适配器、用于将I/O适配器与对应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等)上进行通信的组件和接口。有线通信介质的示例可以包括导线、线缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴线缆、光纤等。
平台1202可以建立一个或多个逻辑或物理信道来传送信息。该信息可以包括媒体信息和控制信息。媒体信息可以指代表示用于用户的内容的任何数据。内容的示例可以包括例如来自以下各项的数据：语音对话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音对话的数据可以是例如言语信息、沉默时段、背景噪声、舒适噪声、音调等。控制信息可以指表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息或指示节点以预定方式处理媒体信息。然而，实施例不被限制到图12中示出或描述的情境中或图12中示出或描述的元件。
如上所述，系统1200可以以变化的物理样式或形状因子来体现。图13示出了根据本公开的至少一些实现方式布置的示例小形状因子设备1300。在一些示例中，可以经由设备1300来实现系统1200。在其他示例中，可以经由设备1300来实现本文讨论的其他系统、组件或模块或其一部分。在各种实施例中，例如，设备1300可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或电力供应(例如，一个或多个电池)的任何设备。
移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如，智能电话、智能平板或智能移动电视)、移动互联网设备(MID)、消息收发设备、数据通信设备、摄像头(例如，傻瓜摄像头、超级变焦摄像头、数字单透镜反射(DSLR)摄像头)等。
移动计算设备的示例还可以包括被布置为由机动车辆或机器人实施或由人佩戴的计算机，诸如腕式计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、靴式计算机、衣服计算机、和其他可佩戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然可以通过示例的方式以被实现为智能电话的移动计算设备来描述一些实施例，但可以理解，也可以使用其他无线移动计算设备来实现其他实施例。实施例并不限于此情境中。
如图13所示，设备1300可以包括具有前部1301和后部1302的壳体。设备1300包括显示器1304、输入/输出(I/O)设备1306、彩色摄像头1321、彩色摄像头1322、红外发射器1323、以及集成天线1308。在一些实施例中，彩色摄像头1321和彩色摄像头1322获得如本文所讨论的平面图像。在一些实施例中，设备1300不包括彩色摄像头1321和1322，并且设备1300从另一设备获得输入图像数据(例如，本文讨论的任何输入图像数据)。设备1300还可以包括导航特征1312。I/O设备1306可以包括用于将信息输入到移动计算设备中的任何合适的I/O设备。I/O设备1306的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)输入到设备1300中，或者可以由语音识别设备数字化。如图所示，设备1300可以包括集成到设备1300的后部1302(或其他地方)中的彩色摄像头1321、1322和闪光灯1310。在其他示例中，彩色摄像头1321、1322和闪光灯1310可以被集成到设备1300的前部1301中，或者可以提供前部和后部两套摄像头。彩色摄像头1321、1322和闪光灯1310可以是摄像头模块的组件，用于利用IR纹理校正来产生彩色图像数据，该彩色图像数据可以被处理成图像或流视频，该图像或流视频被输出到显示器1304和/或经由例如天线1308被从设备1300远程地传送。
可以使用硬件元件、软件元件或二者的组合来实现各种实施例。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。确定是否使用硬件元件和/或软件元件来实现实施例可根据任何数量的因素而变化，这些因素诸如期望的计算速率、功率水平、热容限、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
至少一个实施例的一个或多个方面可以通过存储在机器可读介质上的代表指令来实现，该指令代表处理器内的各种逻辑，当机器读取该指令时，该指令使该机器制造用于执行本文描述的技术的逻辑。可以将这样的表示(被称为IP核)存储在有形的机器可读介质上，并提供给各种客户或制造设施，以加载到实际制造逻辑或处理器的制造机器中。
尽管已经参考各种实现方式描述了本文阐述的某些特征，但是该描述并非旨在以限制性的意义来解释。因此，对于本公开所属领域的技术人员而言显而易见的对本文描述的实现方式的各种修改以及其他实现方式被认为落在本公开的精神和范围内。
在一个或多个第一实施例中，一种用于执行图像配准的方法包括：接收来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分；将彩色ROI和彩色图像部分转换为前景可能性ROI和前景可能性图像部分，前景可能性ROI和图像部分包括：每个像素包括前景像素的可能性；应用多个第一迭代以收敛多个单应性参数，这些单应性参数用于将前景可能性ROI映射到前景可能性图像部分的目标区域，其中，第一迭代允许单应性参数的平移参数的变化并阻止单应性参数的旋转参数和透视参数的变化；在第一迭代之后应用多个第二迭代以收敛单应性参数，其中第二迭代允许平移参数、旋转参数和透视参数的变化；以及基于第一和第二迭代输出得到的单应性参数。
在一个或多个第二实施例中，对第一实施例进一步地，第一和第二迭代的当前迭代包括：基于前景可能性ROI与候选目标图像区域之间的误差的一阶近似来生成单应性参数的改变，并对单应性参数的改变进行正则化。
在一个或多个第三实施例中，对第一或第二实施例进一步地，当前迭代包括使误差的一阶近似和正则化之和最小化，其中，正则化将正则化参数和信任区域参数应用于当前迭代处单应性参数的改变。
在一个或多个第四实施例中，对第一至第三实施例中的任一个进一步地，用于阻止旋转参数和透视参数的变化的第一迭代包括：应用旋转正则化参数和透视正则化参数来制止单应性参数的改变中的旋转参数和透视参数变化。
在一个或多个第五实施例中，对第一至第四实施例中的任一个进一步地，该方法还包括在第一迭代之后且在第二迭代之前，应用多个第三迭代以收敛多个单应性参数，其中，第三迭代允许平移参数和旋转参数的变化并阻止透视参数的变化。
在一个或多个第六实施例中，对第一至第五实施例中的任一个进一步地，第一或第二迭代的当前迭代包括：基于前景可能性源图像ROI与候选目标图像区域之间的误差的一阶近似来生成单应性参数的改变；使用单应性参数的改变来确定成本改进的一阶近似并使用单应性参数的改变来确定真实成本改进；以及确定真实成本改进与成本改进的一阶近似的比率。
在一个或多个第七实施例中，对第一至第六实施例中的任一个进一步地，响应于该比率超过第一阈值，该比率小于比第一阈值大的第二阈值，并且真实成本改进指示当前迭代中误差降低，单应性参数的改变在后续的迭代中被应用。
在一个或多个第八实施例中，对第一至第七实施例中的任一个进一步地，响应于该比率超过第二阈值，当前迭代还包括：增大应用于单应性参数的改变的正则化的信任区域参数，并基于经增大的信任区域参数来生成单应性参数的第二改变。
在一个或多个第九实施例中，对第一至第八实施例中的任一个进一步地，响应于该比率小于比第一阈值小的第三阈值或真实成本改进指示误差增大，当前迭代还包括：减小应用于单应性参数的改变的正则化的信任区域参数，并基于经减小的信任区域参数来生成单应性参数的第二改变。
在一个或多个第十实施例中，对第一至第九实施例中的任一个进一步地，将彩色ROI和彩色图像部分分别转换为前景可能性ROI和前景可能性图像部分包括：应用自动阈值化以生成二进制前景像素和二进制背景像素并应用距离变换来调整二进制背景像素。
在一个或多个第十一实施例中，对第一至第十实施例中的任一个进一步地，该方法还包括：基于得到的单应性参数以及分别用于获得源图像和目标图像的第一摄像头和第二摄像头的位置和取向，针对与源图像和目标图像相对应的场景中的3D结构来近似法向向量。
在一个或多个第十二实施例中，对第一至第十一实施例中的任一个进一步地，源图像和目标图像包括分别从摄像头阵列中的第一摄像头和第二摄像头获得的场景的倾斜视图图像，该倾斜视图具有相对于水平线小于22°的视角。
在一个或多个第十三实施例中，一种设备或系统包括存储器和用于执行根据上述实施例中任一个的方法的处理器。
在一个或多个第十四实施例中，至少一种机器可读介质包括多个指令，该多个指令响应于在计算设备上被执行而使得该计算设备执行根据上述实施例中任一个的方法。
在一个或多个第十五实施例中，一种装置包括用于执行根据上述实施例中任一个的方法的构件。
将认识到，实施例不限于如此描述的实施例，而是可以在不脱离所附权利要求的范围的情况下通过修改和变更来实践。例如，以上实施例可以包括特征的特定组合。然而，以上实施例在这方面不受限制，并且在各种实现方式中，以上实施例可以包括：仅采用这种特征的子集，采用这种特征的不同顺序，采用这种特征的不同组合，和/或采用除了明确列出的那些特征以外的附加特征。因此，应当参考所附权利要求以及这些权利要求有权享有的等同物的全部范围来确定实施例的范围。

Claims (25)

1.一种用于配准图像的装置，包括：
存储器，用于存储来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分；以及
一个或多个处理器，耦合到所述存储器，所述一个或多个处理器用于进行以下操作：
将所述彩色ROI和所述彩色图像部分转换为前景可能性ROI和前景可能性图像部分，所述前景可能性ROI和前景可能性图像部分包括：每个像素包括前景像素的可能性；
应用多个第一迭代以收敛多个单应性参数，所述单应性参数用于将所述前景可能性ROI映射到所述前景可能性图像部分的目标区域，其中，所述第一迭代允许所述单应性参数的平移参数变化并阻止所述单应性参数的旋转参数和透视参数变化；
在所述第一迭代之后应用多个第二迭代以收敛所述单应性参数，其中，所述第二迭代允许所述平移参数、所述旋转参数、和所述透视参数变化；以及
基于所述第一迭代和所述第二迭代来输出得到的单应性参数。
2.根据权利要求1所述的装置，其中，所述第一迭代和所述第二迭代的当前迭代包括：基于所述前景可能性ROI与候选目标图像区域之间的误差的一阶近似来生成所述单应性参数的改变，并对所述单应性参数的改变进行正则化。
3.根据权利要求2所述的装置，其中，所述当前迭代包括：使误差的所述一阶近似和所述正则化的总和最小化，其中，所述正则化将正则化参数和信任区域参数应用于所述当前迭代处所述单应性参数的所述改变。
4.根据权利要求2所述的装置，其中，用于阻止所述旋转参数和所述透视参数变化的所述第一迭代包括应用旋转正则化参数和透视正则化参数来制止所述单应性参数的所述改变中的旋转参数和透视参数变化。
5.根据权利要求1至4中任一项所述的装置，其中，所述一个或多个处理器用于进行以下操作：
在所述第一迭代之后且在所述第二迭代之前，应用多个第三迭代以收敛多个单应性参数，其中，所述第三迭代允许所述平移参数和所述旋转参数变化，并阻止所述透视参数变化。
6.根据权利要求1至4中任一项所述的装置，其中，所述一个或多个处理器用于执行所述第一迭代或所述第二迭代的当前迭代包括所述一个或多个处理器用于进行以下操作：
基于所述前景可能性源图像ROI与候选目标图像区域之间的误差的一阶近似，来生成所述单应性参数的改变；
使用所述单应性参数的所述改变来确定成本改进的一阶近似，并使用所述单应性参数的所述改变来确定真实成本改进；以及
确定所述真实成本改进与所述成本改进的一阶近似的比率。
7.根据权利要求6所述的装置，其中，响应于所述比率超过第一阈值、所述比率小于比所述第一阈值大的第二阈值、并且所述真实成本改进指示所述当前迭代中误差降低，所述单应性参数的所述改变在后续的迭代中被应用。
8.根据权利要求7所述的装置，其中，响应于所述比率超过所述第二阈值，所述一个或多个处理器用于执行所述当前迭代包括所述一个或多个处理器用于进行以下操作：
增大信任区域参数，该信任区域参数被应用于所述单应性参数的所述改变的正则化；以及
基于经增大的信任区域参数来生成所述单应性参数的第二改变。
9.根据权利要求7所述的装置，其中，响应于所述比率小于比所述第一阈值小的第三阈值或所述真实成本改进指示误差增大，所述一个或多个处理器用于执行所述当前迭代还包括所述一个或多个处理器用于进行以下操作：
减小信任区域参数，该信任区域参数被应用于所述单应性参数的所述改变的正则化；以及
基于经减小的信任区域参数来生成所述单应性参数的第二改变。
10.根据权利要求1至4中任一项所述的装置，其中，所述一个或多个处理器用于将所述彩色ROI和所述彩色图像部分分别转换为所述前景可能性ROI和所述前景可能性图像部分包括所述一个或多个处理器用于进行以下操作：应用自动阈值化以生成二进制前景像素和二进制背景像素，并应用距离变换以调整所述二进制背景像素。
11.根据权利要求1至4中任一项所述的装置，所述一个或多个处理器用于进行以下操作：
基于第一摄像头和第二摄像头的位置和取向以及所述得到的单应性参数，针对与所述源图像和所述目标图像相对应的场景中的3D结构来近似法向向量，其中所述第一摄像头和所述第二摄像头分别被用于获得所述源图像和所述目标图像。
12.根据权利要求1至4中任一项所述的装置，其中，所述源图像和所述目标图像包括分别从摄像头阵列的第一摄像头和第二摄像头获得的场景的倾斜视图图像，所述倾斜视图具有相对于水平线小于22°的视角。
13.一种用于执行图像配准的方法，包括：
接收来自源图像的彩色感兴趣区域(ROI)和来自目标图像的彩色图像部分；
将所述彩色ROI和所述彩色图像部分转换为前景可能性ROI和前景可能性图像部分，所述前景可能性ROI和前景可能性图像部分包括：每个像素包括前景像素的可能性；
应用多个第一迭代以收敛多个单应性参数，所述单应性参数用于将所述前景可能性ROI映射到所述前景可能性图像部分的目标区域，其中，所述第一迭代允许所述单应性参数的平移参数变化，并阻止所述单应性参数的旋转参数和透视参数变化；
在所述第一迭代之后，应用多个第二迭代以收敛所述单应性参数，其中，所述第二迭代允许所述平移参数、所述旋转参数和所述透视参数变化；以及
基于所述第一迭代和所述第二迭代来输出得到的单应性参数。
14.根据权利要求13所述的方法，其中，所述第一迭代和所述第二迭代的当前迭代包括：基于所述前景可能性ROI与候选目标图像区域之间的误差的一阶近似来生成所述单应性参数的改变，以及对所述单应性参数的改变进行正则化。
15.根据权利要求14所述的方法，其中，所述当前迭代包括：使误差的所述一阶近似与所述正则化的总和最小化，其中，所述正则化将正则化参数和信任区域参数应用于所述当前迭代处所述单应性参数的所述改变。
16.根据权利要求14所述的方法，其中，用于阻止所述旋转参数和所述透视参数变化的所述第一迭代包括：应用旋转正则化参数和透视正则化参数以制止所述单应性参数的所述改变中的旋转参数和透视参数变化。
17.根据权利要求13至16中任一项所述的方法，还包括：
在所述第一迭代之后且在所述第二迭代之前，应用多个第三迭代以收敛多个单应性参数，其中，所述第三迭代允许所述平移参数和所述旋转参数变化并阻止所述透视参数变化。
18.根据权利要求13至16中任一项所述的方法，其中，所述第一迭代或所述第二迭代的当前迭代包括：
基于所述前景可能性源图像ROI与候选目标图像区域之间的误差的一阶近似，来生成所述单应性参数的改变；
使用所述单应性参数的所述改变来确定成本改进的一阶近似，并使用所述单应性参数的所述改变来确定真实成本改进；以及
确定所述真实成本改进与所述成本改进的一阶近似的比率。
19.根据权利要求18所述的方法，其中，响应于所述比率超过第一阈值、所述比率小于比所述第一阈值大的第二阈值、并且所述真实成本改进指示所述当前迭代中误差降低，所述单应性参数的所述改变在后续的迭代中被应用。
20.根据权利要求19所述的方法，其中，响应于所述比率超过所述第二阈值，所述当前迭代包括：
增大信任区域参数，该信任区域参数被应用于所述单应性参数的所述改变的正则化；以及
基于经增大的信任区域参数来生成所述单应性参数的第二改变。
21.根据权利要求19所述的方法，其中，响应于所述比率小于比所述第一阈值小的第三阈值或所述真实成本改进指示误差增大，所述当前迭代还包括：
减小信任区域参数，该信任区域参数被应用于所述单应性参数的所述改变的正则化；以及
基于经减小的信任区域参数来生成所述单应性参数的第二改变。
22.根据权利要求13至16中任一项所述的方法，其中，将所述彩色ROI和所述彩色图像部分分别转换为所述前景可能性ROI和所述前景可能性图像部分包括：应用自动阈值化以生成二进制前景像素和二进制背景像素，并应用距离变换以调整所述二进制背景像素。
23.根据权利要求13至16中任一项所述的方法，还包括：
基于第一摄像头和第二摄像头的位置和取向以及所述得到的单应性参数，针对与所述源图像和所述目标图像相对应的场景中的3D结构来近似法向向量，其中所述第一摄像头和第二摄像头分别被用于获得所述源图像和所述目标图像。
24.至少一种机器可读介质，包括：
多个指令，所述多个指令响应于在计算设备上被执行而使得所述计算设备执行根据权利要求13至23中任一项所述的方法。
25.一种装置，包括：
用于执行根据权利要求13至23中任一项所述的方法的构件。
CN202011362275.1A 2020-03-25 2020-11-27 基于图像模板的参数化透视的鲁棒表面配准 Pending CN113450392A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/829,995 US11830208B2 (en) 2020-03-25 2020-03-25 Robust surface registration based on parameterized perspective of image templates
US16/829,995 2020-03-25

Publications (1)

Publication Number Publication Date
CN113450392A true CN113450392A (zh) 2021-09-28

Family

ID=71516769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011362275.1A Pending CN113450392A (zh) 2020-03-25 2020-11-27 基于图像模板的参数化透视的鲁棒表面配准

Country Status (3)

Country Link
US (1) US11830208B2 (zh)
EP (1) EP3886044A1 (zh)
CN (1) CN113450392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151214A1 (zh) * 2022-02-14 2023-08-17 上海闻泰信息技术有限公司 图像生成方法、系统、电子设备、存储介质和产品

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023089A (ko) * 2020-08-20 2022-03-02 라인플러스 주식회사 호모그래피 추정을 이용하여 영상품질을 측정하는 방법과 시스템 및 컴퓨터 프로그램
CN112465883B (zh) * 2020-11-23 2022-03-29 山东科技大学 一种高精度曲面非均匀图像配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190966A1 (en) * 2002-08-08 2005-09-01 Etienne-Cummings Ralph R. Self-contained integrated color processing imager
US8682063B2 (en) * 2010-11-24 2014-03-25 Adobe Systems Incorporated Methods and apparatus for dynamic color flow modeling
US8923638B2 (en) * 2012-04-06 2014-12-30 Adobe Systems Incorporated Algorithm selection for structure from motion
WO2017132766A1 (en) 2016-02-03 2017-08-10 Sportlogiq Inc. Systems and methods for automated camera calibration
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images
US10885636B2 (en) * 2017-11-07 2021-01-05 Electronics And Telecommunications Research Institute Object segmentation apparatus and method using Gaussian mixture model and total variation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151214A1 (zh) * 2022-02-14 2023-08-17 上海闻泰信息技术有限公司 图像生成方法、系统、电子设备、存储介质和产品

Also Published As

Publication number Publication date
US20200226771A1 (en) 2020-07-16
US11830208B2 (en) 2023-11-28
EP3886044A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US11334975B2 (en) Pose synthesis in unseen human poses
US11308675B2 (en) 3D facial capture and modification using image and temporal tracking neural networks
US9852513B2 (en) Tracking regions of interest across video frames with corresponding depth maps
CN109660782B (zh) 减少立体深度传感器成像中的纹理化ir图案
US11880770B2 (en) 3D object recognition using 3D convolutional neural network with depth based multi-scale filters
US9727786B2 (en) Visual object tracking system with model validation and management
US20190130208A1 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US11880939B2 (en) Embedding complex 3D objects into an augmented reality scene using image segmentation
CN112104854A (zh) 相机视图之间的鲁棒虚拟视图生成的方法和系统
EP3886044A1 (en) Robust surface registration based on parameterized perspective of image templates
US11871110B2 (en) Single image ultra-wide fisheye camera calibration via deep learning
US11869141B2 (en) Automatic point cloud validation for immersive media
US20170308992A1 (en) Eye contact correction in real time using machine learning
US10762664B2 (en) Multi-camera processor with feature matching
US20190156145A1 (en) End to end framework for geometry-aware multi-scale keypoint detection and matching in fisheye images
WO2022021217A1 (en) Multi-camera person association via pair-wise matching in continuous frames for immersive video
NL2029657B1 (en) Accurate optical flow estimation in stereo pairs of equirectangular images
WO2022115991A1 (en) Incremental 2d-to-3d pose lifting for fast and accurate human pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination