CN105635719B - 用于校准图像的方法和设备 - Google Patents

用于校准图像的方法和设备 Download PDF

Info

Publication number
CN105635719B
CN105635719B CN201510810364.0A CN201510810364A CN105635719B CN 105635719 B CN105635719 B CN 105635719B CN 201510810364 A CN201510810364 A CN 201510810364A CN 105635719 B CN105635719 B CN 105635719B
Authority
CN
China
Prior art keywords
image
point
frame
visual
visual point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510810364.0A
Other languages
English (en)
Other versions
CN105635719A (zh
Inventor
黄孝锡
赵良镐
南东暻
崔旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105635719A publication Critical patent/CN105635719A/zh
Application granted granted Critical
Publication of CN105635719B publication Critical patent/CN105635719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

提供一种用于校准图像的方法和设备。一种用于校准多视点图像的设备可从所述多视点图像提取特征点并基于提取的特征点执行图像校准，跟踪第一视点图像的时间连续图像帧中的相应特征点，并基于从第一视点图像跟踪的特征点与第二视点图像的特征点之间的相应特征点对执行图像校准。

Description

用于校准图像的方法和设备
本申请要求于2014年11月20日提交到韩国知识产权局的第10-2014-0162651号韩国专利申请的优先权，该韩国专利申请的全部内容通过引用其全部合并于此。
技术领域
至少一个示例实施例涉及一种用于校准多视点图像的方法和/或设备。
背景技术
通常，显示三维(3D)图像的3D显示设备可使用从包括左视点图像和右视点图像的立体图像产生多视点图像的方法来产生将被显示的图像。在这种产生多视点图像的方法中，可基于左视点图像和右视点图像产生深度图像，并可执行图像校准以均衡左视点图像与右视点图像之间的所有相应像素的高度值。通常，基于对极几何(epipolar geometry)的图像校准可被应用于调整左视点图像与右视点图像之间的高度差。
发明内容
至少一个示例实施例涉及一种校准图像的方法。
根据至少一个示例实施例，所述方法可包括：从包括第一视点图像和第二视点图像的多视点图像提取特征点，从包括在第一视点图像的当前图像帧中的特征点之中选择与第一视点图像的在前图像帧的特征点相应的第一特征点；从第一特征点之中选择与包括在第二视点图像的当前图像帧中的特征点相应的第二特征点；基于第二特征点对第二视点图像的当前图像帧执行图像校准。
选择第一特征点的步骤可包括：确定第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的相应特征点对；使用第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的基础矩阵，从所述相应特征点对之中选择第一特征点。
选择第一特征点的步骤可包括：从确定的相应特征点对之中随机选择多对特征点对；基于选择所述多对特征点对的位置信息来确定所述基础矩阵。
执行图像校准的步骤可包括：基于第二特征点和第二视点图像的当前图像帧中的与第二特征点相应的第三特征点，对第二视点图像的当前图像帧执行图像校准。
执行图像校准的步骤可包括：基于第二特征点的位置信息和第三特征点的位置信息，确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵；通过将所述单应矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的位置。
执行图像校准的步骤可包括：基于搜索区域对第二特征点和第三特征点进行筛选；基于通过筛选剩余的第二特征点和剩余的第三特征点对第二视点图像的当前图像帧执行图像校准。
所述方法还可包括：基于第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，调整包括在第二视点图像的当前图像帧中的像素的颜色值。
调整颜色值的步骤可包括：使用所述单应矩阵来使第二视点图像的当前图像帧变形；将第二视点图像的经过变形的当前图像帧映射到第一视点图像的当前图像帧；识别第二视点图像的当前图像帧与映射了第二视点图像的当前图像帧的第一视点图像的当前图像帧中的相应像素；基于识别出的像素的颜色值来确定颜色变换矩阵；通过将颜色变换矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的颜色值。
提取特征点的步骤可包括：对第一视点图像的当前图像帧进行下采样；从下采样的当前图像帧提取特征点。
其它示例实施例涉及一种用于校准图像的设备。
根据至少一个示例实施例，所述设备可包括：特征点提取器，被配置为从包括第一视点图像和第二视点图像的多视点图像提取特征点；特征点确定器，被配置为基于包括在第一视点图像的在前图像帧中的特征点，从第一视点图像的当前图像帧和第二视点图像的当前图像帧选择将被用于图像校准的特征点；图像校准器，被配置为基于选择的特征点执行图像校准。
图像校准器可包括：几何校准器，被配置为基于将被用于图像校准的特征点的位置信息调整包括在第二视点图像的当前图像帧中的像素的位置。
图像校准器可包括：颜色校正器，被配置为基于第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，调整包括在第二视点图像的当前图像帧中的像素的颜色值。
颜色校正器可基于所述单应矩阵确定颜色变换矩阵，并通过将所述颜色变换矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的颜色值。
根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多视点图像的设备包括：特征点确定器，被配置为通过将第一视点图像的当前帧的特征点与第一视点图像的在前帧的特征点进行匹配以产生第一匹配特征点，来对第一视点图像的当前帧执行第一筛选操作。特征点确定器被配置为通过将第一匹配特征点与第二视点图像的当前帧的特征点进行匹配以产生第二匹配特征点，来对第二视点图像的当前帧执行第二筛选操作。所述设备包括图像校准器，其中，图像校准器被配置为基于第二匹配特征点来校准多视点图像。
根据至少一个示例实施例，特征点确定器被配置为通过以下操作来执行在第一筛选操作中的匹配：确定第一视点图像的当前帧与第一视点图像的在前帧之间的特征点对；使用第一视点图像的当前帧与第一视点图像的在前帧之间的基础矩阵，从所述特征点对选择特征点。
根据至少一个示例实施例，图像校准器包括：几何校准器，被配置为基于第二匹配特征点的位置信息，调整第二视点图像的当前帧中的像素的位置。
根据至少一个示例实施例，几何校准器被配置为：基于第二匹配特征点的位置信息来确定第一视点图像的当前帧与第二视点图像的当前帧之间的单应矩阵，并使用所述单应矩阵来调整第二视点图像的当前帧中的像素的位置。
根据至少一个示例实施例，图像校准器包括：颜色校正器，被配置为基于第一视点图像的当前帧与第二视点图像的当前帧之间的单应矩阵来调整第二视点图像的当前帧中的像素的颜色值。
根据至少一个示例实施例，颜色校正器被配置为：基于所述单应矩阵来确定颜色变换矩阵，并使用所述颜色变换矩阵来调整第二视点图像的当前帧中的像素的颜色值。
根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多视点图像的设备包括：特征点提取器，被配置为从第一视点图像的当前帧提取特征点。所述设备可包括特征点确定器，其中，所述特征点确定器被配置为：确定提取的特征点与第一视点图像的在前帧的初始特征点之间的相应特征点对，使用所述相应特征点对来产生基础矩阵，并基于所述基础矩阵和条件来确定第一视点图像的在前帧与第一视点图像的当前帧之间是否已经发生场景改变。
根据至少一个示例实施例，特征点确定器被配置为通过以下操作来确定所述相应特征点对：基于提取的特征点的坐标与所述初始特征点的坐标之间的距离将提取的特征点与所述初始特征点进行匹配，以产生匹配特征点对，并使用具有小于或等于阈值的距离值的匹配特征点对来产生所述相应特征点对。
根据至少一个示例实施例，特征点确定器被配置为通过以下操作来产生所述基础矩阵：随机提取多对相应特征点对，并使用提取的所述多对相应特征点对的位置信息来产生所述基础矩阵。
根据至少一个示例实施例，所述设备包括图像校准器，其中，所述图像校准器被配置为：如果未发生改变场景，则使用所述相应特征点对来校准多视点图像，如果已经发生场景改变，则在不使用所述相应特征点对的情况下校准多视点图像。
根据至少一个示例实施例，特征点确定器被配置为：将第一视点图像的当前帧划分为包括提取的特征点的搜索区域，并通过在每个搜索区域中选择具有最大分数的提取的特征点来减小提取的特征点的数量，其中，分数指示提取的特征点在所述相应特征点对中的可能性。
根据至少一个示例实施例，一种用于校准包括第一视点图像和第二视点图像的多视点图像的设备包括：特征点确定器，被配置为从第一视点图像的当前图像帧中的提取的特征点之中选择与第一视点图像的在前图像帧的特征点相应的第一特征点。特征点确定器被配置为从第一特征点之中选择与第二视点图像的当前图像帧中的特征点相应的第二特征点。所述设备包括图像校准器，其中，图像校准器被配置为基于第二特征点来对第二视点图像的当前图像帧执行图像校准。
根据至少一个示例实施例，特征点确定器被配置为通过以下操作来选择第一特征点：确定第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的相应特征点对，并使用第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的基础矩阵来在所述相应特征点对之中选择第一特征点。
根据至少一个示例实施例，特征点确定器被配置为：通过从确定的相应特征点对之中随机选择多对特征点对，并基于选择的所述多对特征点对的位置信息来确定所述基础矩阵，来选择第一特征点。
根据至少一个示例实施例，特征点确定器被配置为通过以下操作来确定所述相应特征点对：基于指示特征点的邻域属性的特征点描述符的差异来确定所述相应特征点对。
根据至少一个示例实施例，图像校准器被配置为：基于第二特征点和第二视点图像的当前图像帧中的与第二特征点相应的第三特征点，对第二视点图像的当前图像帧执行图像校准。
根据至少一个示例实施例，图像校准器被配置为通过以下操作来执行图像校准：基于第二特征点的位置信息和第三特征点的位置信息来确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，并通过将所述单应矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧中的像素的位置。
根据至少一个示例实施例，图像校准器被配置为通过以下操作来执行图像校准：基于搜索区域对第二特征点进行筛选；基于第二特征点之中的在筛选之后剩余的第二特征点对第二视点图像的当前图像帧执行图像校准。
根据至少一个示例实施例，图像校准器被配置为通过以下操作来执行图像校准：通过基于第二特征点的位置信息和第三特征点的位置信息，调整第二视点图像的当前图像帧中的像素的纵坐标值。
示例实施例的另外的方面将在下面描述中部分进行阐述，部分从该描述将是清楚的，或者可以通过本公开的实践而获知。
附图说明
从以下结合附图对示例实施例进行的描述，这些和/或其它方面将变得明显且更容易理解，其中：
图1是示出根据至少一个示例实施例的用于校准图像的设备的整体操作的示图；
图2示出根据至少一个示例实施例的基于第一视点图像和第二视点图像由用于校准图像的设备执行图像校准的操作的示例；
图3是示出根据至少一个示例实施例的用于校准图像的设备的配置的示图；
图4示出根据至少一个示例实施例的确定参考特征点的操作的示例；
图5示出根据至少一个示例实施例的执行局部最大检测的操作的示例；
图6示出根据至少一个示例实施例的基于参考特征点来执行图像校准的操作的示例；
图7是示出根据至少一个示例实施例的校准图像的方法的流程图；
图8是示出根据至少一个示例实施例的基于基础矩阵来确定匹配特征点的操作是否成功的过程的流程图；
图9是示出根据至少一个示例实施例的执行颜色校正的过程的流程图。
具体实施方式
现在将参照附图更充分地描述本发明构思，在附图中示出了本发明构思的示例实施例。提供这些示例实施例使得本公开将是彻底和完整的，并且这些示例实施例将向本领域的技术人员充分传达本公开的发明构思。本发明构思可以以具有各种修改的许多不同形式来实施，并且一些实施例将在附图中被示出并被详细解释。然而，这不应该被解释为受限于在此阐述的示例实施例，相反，应该理解：在不脱离本发明构思的原理和精神的情况下，可对这些示例实施例做改变，本发明构思的范围在权利要求及其等同物中被限定。相同的标号始终表示相同的元件。在附图中，为了清楚起见，夸大了层和区域的厚度。
将理解，虽然术语“第一”、“第二”等可在此用于描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不脱离示例实施例的范围的情况下，第一元件可被命名为第二元件，类似地，第二元件可被命名为第一元件。如在此使用的，术语“和/或”包括关联列出项中的一个或更多个的任意组合和所有组合。
将理解，当元件被称为“连接”或“结合”到另一元件时，其可直接连接或结合到该另一元件，或者可存在中间元件。相反，当元件被称为“直接连接”或“直接结合”到另一元件时，不存在中间元件。应以类似方式解释用于描述元件之间的关系的其它词语(例如，“在…之间”对“直接在…之间”、“相邻”对“直接相邻”等)。
除非另外特别地陈述，或者从讨论是明显的，否则诸如“处理”或“计算”或“确定”或“显示”等的术语表示计算机系统或类似电子计算装置的动作和处理，其中，所述计算机系统或类似电子计算装置将计算机系统的寄存器和存储器内被表示为物理量、电子量的数据操作并变换为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示装置中的被类似表示为物理量的其它数据。
在以下描述中提供具体细节来提供对示例实施例的全面理解。然而，本领域普通技术人员将理解，在没有这些具体细节的情况下也可实现示例实施例。例如，系统可在框图中被示出，以免在不必要的细节上模糊示例实施例。在其它情况下，在没有不必要细节的情况下示出公知处理、结构和技术，以避免模糊示例实施例。
在以下描述中，将参照可被实施为执行特定任务或实现特定抽象数据类型的包括例程、程序、对象、组件、数据结构等的程序模块或功能处理的并可使用现有电子系统(例如，电子成像系统、图像处理系统、数码相机、个人数字助理(PDA)、智能电话、平板个人计算机(PC)、膝上型计算机等)中现有硬件实施的操作的动作或符号表示(例如，以流程图、作业图、数据流图、结构图、框图等的形式)来描述说明性实施例。这样的现有硬件可包括一个或更多个中央处理器(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)计算器等。
虽然流程图可将操作描述为连续的处理，但是许多操作可被并行、并发或同时地执行。此外，操作的顺序可被重新排列。当处理的操作完成时，处理可终止，但是处理还可具有未包括在附图中的另外的步骤。处理可与方法、函数、程序、子例程、子程序等相应。当处理与函数相应时，处理的终止可与将函数返回至调用函数或主函数相应。
如这里所公开的，术语“存储介质”、“计算机可读存储介质”或“非暂时性计算机可读存介质”可表示用于存储数据的一个或更多个装置，包括：只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、磁芯存储器、磁盘存储介质、光学存储介质、闪存装置和/或用于存储信息的其它有形或非暂时性机器可读介质。术语“计算机可读介质”可包括(但不限于)便携式或固定存储装置、光学存储装置和能够存储、包含或携带指令和/或数据的各种其它有形或非暂时性介质。
此外，示例实施例可通过硬件、软件、固件、中间件、微码、硬件描述语言或它们的任意组合来实施。当以软件、固件、中间件或微码来实施时，用于执行必要任务的程序代码或代码段可被存储在诸如计算机可读存储介质的机器或计算机可读介质中。当以软件来实施时，一个处理器或多个处理器可被编程用于执行必要任务，从而被转换为专用处理器或计算机。
在此使用的术语仅为了描述具体实施例的目的，而不意在限制。如在此使用的，除非上下文另外明确地指示，否则单数形式也意在包括复数形式。还将理解，当在此说明书中被使用时，术语“包括”、“包括...的”、“包含”和/或“包含...的”指明存在所叙述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另外定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本发明构思所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在这里明确的如此定义，否则诸如在通用字典中定义的术语应被解释为具有与它们在现有技术的上下文中的含义一致的含义并且将不被解释为理想化或过于正式的含义。
如在此使用的，术语“和/或”包括关联列出项中的一个或更多个的任意组合和所有组合。当诸如“…中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而不是修饰所述列的单个元素。
图1是示出根据至少一个示例实施例的用于校准图像的设备的整体操作的示图。
参照图1，用于校准图像的设备(以下，称为图像校准设备)可校准多视点图像。多视点图像可指其中组合了通过在不同的视点或角度捕获对象而获得的图像的图像。包括包含左视点图像和右视点图像的两个视点图像的立体图像可以是多视点图像的示例。作为另一示例，多视点图像可包括至少三个视点图像。可从外部源(例如，诸如广播站和网络服务器)、内部和外部存储介质以及播放装置向图像校准设备提供多视点图像。包括在多视点图像中的每个视点图像可包括多个时间连续图像帧。
为了便于描述，将基于包括在这样的多视点图像中的第一视点图像和第二视点图像描述图像校准设备的整体操作。第二视点图像可指在与第一视点图像不同的视点捕获的图像。例如，第一视点图像可以是左视点图像，第二视点图像可以是右视点图像。相反地，第一视点图像可以是右视点图像，第二视点图像可以是左视点图像。除了包括第一视点图像和第二视点图像的多视点图像之外，以下描述可适用于包括至少三个视点图像的多视点图像。
图像校准设备可对包括在多视点图像中的多个图像之间的高度和/或颜色上的差异进行调整。例如，图像校准设备可针对第一视点图像和第二视点图像调整第二视点图像的高度，以具有期望的(或者可选地，最小的)高度差。此外，图像校准设备可针对第一视点图像和第二视点图像调整第二视点图像的颜色值，以具有期望的(或者可选地，相似的)颜色特性。图像校准设备可基于从多视点图像提取的特征点来执行用于调整图像的高度或颜色的图像校准。
图像校准设备可通过筛选从多视点图像提取的特征点来选择将用于包括高度调整和/或颜色校正的图像校准的特征点。图像校准设备可跟踪特定视点图像的时间连续图像帧中的特征点，并通过执行不同视点图像之间的特征点匹配来选择将被用于图像校准的特征点。例如，图像校准设备可跟踪第一视点图像的时间连续图像帧中的特征点，并基于从第一视点图像跟踪的特征点来确定第一视点图像与第二视点图像之间的特征点对。
这里，确定第一视点图像的在前图像帧与当前图像帧之间的相应特征点对的操作可被称为时间筛选或时间匹配，确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的相应特征点对的操作被称为空间筛选或空间匹配。
如图1中所示，在操作110，图像校准设备(例如，图3中的图像校准设备300)响应于对图像校准设备的多视点图像的输入，从多视点图像提取特征点。例如，图像校准设备可基于视点图像的像素值分布将边缘区域和/或角点(corner)区域提取为特征点。例如，图像校准设备可使用Harris角点方法、尺寸不变特征转换(SIFT)方法和/或加速段特征测试(FAST)方法从多视点图像提取特征点。
在操作120，图像校准设备对从多视点图像提取的特征点执行时间筛选。图像校准设备可跟踪视点图像的时间连续图像帧中的相应特征点。例如，图像校准设备可从第一视点图像的在前图像帧的特征点和第一视点图像的当前图像帧的特征点之中选择相应特征点。所述在前图像帧可指根据时间上在当前图像帧之前捕获的图像帧。在从第一视点图像的当前图像帧提取的特征点之中，与在前图像帧的特征点不相应的特征点可被滤除并从选择特征点的操作中被排除。通过时间筛选，可基于在前图像帧的特征点之中用于图像校准的特征点来筛选当前图像帧的特征点。时间筛选可最小化在图像校准之后由针对每个时间上不同的图像帧的结果图像的不同形状而引起的闪烁的发生。
在操作130，图像校准设备对执行了时间筛选的特征点执行空间筛选。图像校准设备可对在对特定视点图像的连续图像帧进行筛选之后剩余的特征点之中的包括在不同视点图像中的特征点进行再次筛选。时间筛选可以是基于时间轴在一个视点图像中确定相应特征点的操作，空间筛选可以是基于空间在不同视点图像中确定相应特征点的操作。
例如，图像校准设备可从在执行时间筛选之后在第一视点图像的当前图像帧中剩余的特征点之中选择与第二视点图像的当前图像帧的特征点相应的特征点。在包括在第一视点图像的当前图像帧中的特征点之中，与第二视点图像的当前图像帧的特征点不相应的特征点可被滤除并从选择特征点的操作中被排除。在时间筛选和空间筛选之后，将被用于图像校准的特征点可被确定。
在操作140，图像校准设备可基于通过时间筛选和空间筛选确定的特征点执行图像校准。图像校准设备可基于通过时间筛选和空间筛选确定的多视点图像的特征点执行无失真的几何校准和/或颜色校正。
在执行时间筛选和空间筛选两者之后，当从第一视点图像的当前图像帧选择的特征点被称为第一参考特征点，并且包括在第二视点图像的当前图像帧中的特征点之中的与第一参考特征点相应的特征点被称为第二参考特征点时，图像校准设备可基于这样的参考特征点执行用于最小化第一视点图像与第二视点图像之间的垂直视差和/或颜色视差的图像校准。
例如，图像校准设备可基于第一参考特征点与第二参考特征点之间的位置关系调整包括在第二视点图像中的像素的高度，通过该调整可减小(或者可选地，最小化)第一视点图像与第二视点图像之间的垂直视差。此外，图像校准设备可使用第一参考特征点和第二参考特征点的颜色信息调整第二视点图像的亮度和/或颜色，通过该调整可减小(或者可选地，最小化)第一视点图像与第二视点图像之间的亮度视差和/或颜色视差。
通过图像校准设备校准的多视点图像可被用于产生三维(3D)内容，例如，立体图像。可基于校准后的多视点图像产生包括关于距对象的距离的距离信息的深度图像，并可使用深度图像产生向观众提供3D效果的3D内容。
图2示出根据至少一个示例实施例的基于第一视点图像和第二视点图像由图像校准设备执行图像校准的操作的示例。
参照图2，例如图像帧210、图像帧230和图像帧250的图像帧指示第一视点图像中的时间连续图像帧。类似地，例如图像帧220、图像帧240和图像帧260的图像帧指示第二视点图像中的时间连续图像帧。例如图像帧225、图像帧245和图像帧265的图像帧分别指示通过由图像校准设备对图像帧220、图像帧240和图像帧260执行图像校准而获得的图像帧。
图2中所示的图像帧210、220、230、240、250和260可指示在总时间段的一时间段中捕获的图像帧。在图2中所示的所有图像帧之中，按时间顺序，图像帧210和220可最先被捕获，图像帧250和260可最后被捕获。图像帧230和240可在图像帧210和220与图像帧250和260之间被捕获。图像校准设备可从图像帧210、220、230、240、250和260中的每个图像帧中提取特征点，并基于提取的特征点执行图像校准。
将在以下描述由图像校准设备使用图像帧230和图像帧240执行图像校准的操作。
图像校准设备可从自图像帧230提取的特征点之中选择与作为图像帧230的在前图像帧的图像帧210的特征点相应的第一特征点。图像校准设备可基于从图像帧230选择的第一特征点的数量确定图像帧210与图像帧230之间的特征点跟踪是否成功。例如，当从图像帧230选择的第一特征点的数量大于期望的(或者可选地，预定的)数量时，图像校准设备可确定图像帧210与图像帧230之间的特征点跟踪成功。然而，当从图像帧230选择的第一特征点的数量小于或等于期望的(或者可选地，预定的)数量时，图像校准设备可确定图像帧210与图像帧230之间的特征点跟踪失败。
当图像帧210与图像帧230之间的特征点跟踪被确定为成功时，图像校准设备可从自图像帧230选择的第一特征点之中选择与包括在第二视点图像的图像帧240中的特征点相应的第二特征点。例如，当从图像帧230提取的特征点的数量是100时，第一特征点的数量可被确定为小于或等于100，第二特征点的数量可被确定为小于或等于确定的第一特征点的数量。由于基于在前图像帧的特征点和不同视点图像帧的特征点，在从图像帧提取的所有特征点之中的将不被用于图像校准的特征点可被滤除，因此可发生之前的事件。
在执行时间筛选和空间筛选两者之后，从第一视点图像的图像帧230选择的第二特征点可指示将被用于图像校准的第一参考特征点。在包括在第二视点图像的图像帧240的特征点之中的与图像帧230的第一参考特征点相应的第三特征点可指示将被用于图像校准的第二参考特征点。
图像校准设备可基于从第一视点图像的图像帧230选择的第一参考特征点来校准第二视点图像的图像帧240。图像校准设备可基于第一参考特征点的位置信息和从图像帧240提取的特征点之中的与图像帧230的第一参考特征点相应的第二参考特征点的位置信息，对图像帧240执行几何校准。例如，图像校准设备可基于第一参考特征点的位置信息和第二参考特征点的位置信息确定图像帧230与图像帧240之间的单应矩阵，并通过将单应矩阵应用于图像帧240来调整包括在图像帧240中的像素的位置，以减小图像帧230与图像帧240之间的垂直视差。
图像校准设备可基于第一参考特征点的颜色信息和第二参考特征点的颜色信息对执行了几何校准的图像帧240另外执行颜色校正。例如，图像校准设备可基于第一参考特征点的颜色信息和第二参考特征点的颜色信息确定颜色转换矩阵，并通过将颜色转换矩阵应用于图像帧240来调整图像帧240的亮度和/或颜色。在执行图像校准之后，可产生通过对图像帧240执行图像校准而获得的图像帧245，并可基于图像帧230和图像帧245产生3D内容。
当图像帧210与图像帧230之间的特征点跟踪被确定为失败时，图像校准设备可确定在图像帧230中发生场景改变。场景改变可以指示图像帧中的场景的连续性在特定图像帧中被破坏，并且场景改变为不同的场景。当发生场景改变时，图像校准设备可在不执行时间筛选的情况下，通过在图像帧230与图像帧240之间执行空间筛选来执行图像校准。例如，图像校准设备可在不使用图像帧210的特征点的情况下，基于图像帧230与图像帧240之间的相应特征点对来对图像帧240执行图像校准。
至于作为图像帧230的后续时间段中的图像帧的图像帧250，图像校准设备可执行图像帧230与图像帧250之间的特征点跟踪，并确定特征点跟踪是否成功。例如，当图像帧230与图像帧250之间的相应特征点对的数量大于期望的(或者可选地，预定的)数量时，图像校准设备可确定图像帧230与图像帧250之间的特征点跟踪成功。
当图像帧230与图像帧250之间的特征点跟踪被确定为成功时，用于校准图像帧240的图像帧230的第一参考特征点可被用于校准后续时间段中的图像帧250。图像校准设备可基于图像帧230的第一参考特征点与图像帧250的特征点之间的相应特征点对来执行时间筛选，并根据基于在执行时间筛选之后剩余的特征点之中的图像帧260的特征点执行空间筛选之后剩余的特征点来校准图像帧260。
当图像帧230与图像帧250之间的特征点跟踪被确定为失败时，图像校准设备可确定在图像帧250中发生场景改变。当确定在图像帧250中发生场景改变时，图像校准设备可在不使用图像帧230的特征点的情况下基于图像帧250与图像帧260之间的相应特征点对来校准图像帧260。
图3是示出根据至少一个示例实施例的图像校准设备300的配置的示图。参照图3，图像校准设备300包括：特征点提取器310、特征点确定器320和图像校准器330。应该理解，图像校准设备300可包括在处理多视点图像的任何显示装置中。例如，图像校准设备300可包括在三维TV、视频播放器、机顶盒或连接在视频源与显示器之间的电子狗中。图像校准设备300还可包括在头戴式显示器(HMD)中。
多视点图像可作为输入图像被发送到图像校准设备300，特征点提取器310可从多视点图像提取特征点。特征点提取器310可从多视点图像提取边缘区域或角点区域作为特征点。例如，特征点提取器310可使用Harris角点方法、SIFT方法和/或FAST方法从多视点图像提取特征点。
可选地，特征点提取器310可基于多视点图像的尺寸对多视点图像选择性地执行下采样。例如，当多视点图像的尺寸大于期望的(或者可选地，预定的)尺寸时，特征点提取器310可通过对多视点图像进行下采样来缩小多视点图像的尺寸，并从缩小的多视点图像提取特征点。之后，特征点提取器310可通过应用提取的特征点的位置、应用于下采样的比例值来确定原始大小的多视点图像中特征点的位置。从下采样的多视点图像提取特征点的操作可减少处理时间量。
特征点确定器320可从自多视点图像提取的特征点之中选择将被用于图像校准的特征点。特征点确定器320可基于包括在第一视点图像的在前图像帧(或在前帧)中的特征点，从包括在第一视点图像的当前图像帧(或当前帧)和第二视点图像的当前图像帧(或当前帧)中的特征点之中选择将被用于图像校准的特征点。
特征点确定器320可跟踪第一视点图像的连续图像帧中的相应特征点，并检测是否发生场景改变。当对第一视点图像的连续图像帧中的特征点的跟踪被确定为失败时，特征点确器320可确定发生场景改变。特征点确定器320可使用表示第一视点图像的在前图像帧与当前图像帧的实际像素坐标之间的几何关系的基础矩阵来确定对特征点的跟踪是否成功。例如，当第一视点图像的在前图像帧与当前图像帧之间的相应特征点对的数量小于或等于期望的(或者可选地，预定的)数量时，特征点确定器320可确定在当前图像帧中发生场景改变。
当确定发生场景改变时，特征点确定器320可在不执行时间筛选的情况下，通过执行空间筛选来确定将被用于图像校准的特征点。例如，当在当前图像帧中发生场景改变时，特征点确定器320可在不使用包括在第一视点图像的在前图像帧中的特征点的情况下，确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的相应特征点对。
当确定在当前图像帧中未发生场景改变时，特征点确定器320可从包括在第一视点图像的当前图像帧中的特征点之中选择与在前图像帧的特征点相应的第一特征点。
特征点确定器320可基于在第一视点图像的在前图像帧与当前图像帧之间跟踪的特征点来设置并管理包括关于特征点的信息的特征集。特征集可包括关于被用于在前图像帧中的图像校准的特征点的信息。
特征点确定器320可通过第一视点图像的在前图像帧与当前图像帧之间的特征点匹配来执行对特征点的跟踪。特征点确定器320可基于特征点描述符上的差异来确定第一视点图像的在前图像帧和当前图像帧的特征点之中的相应特征点对。
以下，假设由特征提取器310从第一视点图像和第二视点图像提取的局部特征点是SIFT，并且每个特征点拥有具有128维的向量作为描述符。SIFT可以是表示特征点附近的局部梯度分布特性的特征。SIFT特征向量可以是通过将特征点附近的斑点区域划分为4×4的块，确定与包括在每个块中的像素的梯度方向和梯度幅值关联的直方图，并将直方图的二进制值(bin values)连成线而获得的128维向量。
例如，可假设在时间t时第一视点图像的当前图像帧是在时间t时第二视点图像的当前图像帧是从第一视点图像的当前图像帧提取的特征点集是从第二视点图像的当前图像帧提取的特征点集是包括在中的每个特征点是包括在中的每个特征点是其中，“i”表示用于区分特征点的索引并且范围是1至N，N为相应特征点的数量，并且每个特征点具有图像帧中的位置信息(x，y)和分数“s”。分数可指示当特征点被提取时特征点的可靠度值。换言之，分数可以是提取的特征点将成为有用的相应特征点对的部分(例如，提取的特征点将在空间筛选操作中被使用)的可能性的指示。
当具有索引i并且包括在中的特征点拥有的描述符是时，可基于等式1确定第一视点图像的在前图像帧与当前图像帧之间的相应特征点集
[等式1]
在等式1中，表示第一视点图像的在前图像帧与当前图像帧之间的相应特征点中包括在当前图像帧中的特征点，表示第一视点图像的在前图像帧与当前图像帧之间的相应特征点之中包括在在前图像帧中的特征点，表示从第一视点图像的当前图像帧提取的特征点，表示从在前图像帧提取的特征点。这里，“i”、“j”和“k”表示用于区分每个特征点的索引。
基于等式1，在前帧的第j特征点和与第j特征点具有最小L2范数值的当前图像帧的第k特征点可被确定为特征点对。当在基于等式1确定的特征点对之中的最小L2距离值大于期望的(或者可选地，预定的)阈值时，特征点确定器320可从特征点对排除相应特征点。阈值可以是基于实验证据的和/或是用户定义的。这里，L2距离可以是指示第一视点图像的当前图像帧的特征点的坐标与第一视点图像的在前图像帧的相应特征点的坐标之间的差的欧氏(Euclidean)距离。可通过将第一视点图像的当前图像帧的特征点的位置(或坐标)与第一视点图像的在前图像帧的特征点的位置(或坐标)进行比较来确定所述差。
特征点确定器320可基于被确定为在第一视点图像的在前图像帧与当前图像帧之间匹配的特征点对的位置信息来确定基础矩阵。例如，图像校准设备300可从基于L2距离值确定的特征点对之中随机选择期望的(或者可选地，预定的)数量的特征点对，并基于随机选择的特征点对的位置信息确定基础矩阵。
特征点确定器320可从被确定为在第一视点图像的在前图像帧与当前图像帧之间匹配的特征点集和随机选择八对特征点对。被确定为在在前图像帧与当前图像帧之间匹配的特征点集和可通过对极几何满足等式2。
[等式2]
在等式2中，“F”表示基础矩阵，其中，所述基础矩阵是秩为2的3×3矩阵。特征点确定器320可从在前图像帧与当前图像帧之间的相应特征点对随机提取选择八对特征点对，并将提取的八对特征点对应用于等式2。基于所述八对特征点对的位置信息，等式2可被表示为等式3。
[等式3]
在等式3中，和分别表示特征点的x坐标和y坐标，和分别表示特征点的x坐标和y坐标。“f11”至“f33”表示基础矩阵F的元素。特征点确定器320可使用最小二乘法从等式3确定基础矩阵。特征点确定器320可将确定的基础矩阵应用于包括在特征点集和中的特征点对，并确定应用的结果是否满足期望的(或者可选地，预定的)条件(或第一条件)。所述期望的(或者可选地，预定的)条件可以是基于实验证据的和/或是用户定义的。特征点确定器320可从特征点集和随机提取八对特征点对，并确定基于提取的八对特征点对的位置信息而确定的基础矩阵是否满足期望的(或者可选地，预定的)条件。这样的操作可被重复执行。
例如，特征点确定器320可使用基于等式3确定的基础矩阵以及特征点集和来确定Sampson距离，并将具有小于或等于0.5像素Sampson距离的特征点确定为内点(inlier)。当内点率大于或等于99％(例如，第一条件)时，特征点确定器320可确定基础矩阵为最终基础矩阵。当内点率小于99％时，特征点确定器320可从特征点集和随机提取八对特征点对直到达到期望的(或者可选地，预定的)重复次数(例如，10000次)为止，基于等式3和提取的特征点对的位置信息确定基础矩阵，并确定所确定的基础矩阵是否满足期望的(或者可选地，预定的)条件。这样的操作可被重复执行。
当重复次数大于或等于期望的(或者可选地，预定的)重复次数，并且最高内点率超过20％(或第二条件)时，特征点确定器320可确定在第一视点图像的在前图像帧与当前图像帧之间对特征点的跟踪成功。当内点率小于或等于20％时，特征点确定器320可确定对特征点的跟踪失败。
当特征点的跟踪被确定为失败时，很有可能当前图像帧是第一图像帧或者在当前图像帧中发生场景改变。当发生场景改变时，相机的内部参数和外部参数可被改变，因此可能期望执行图像校准。当在第一视点图像的在前图像帧与当前图像帧之间对特征点的跟踪被确定为失败时，图像校准设备300不应用在在前图像帧与当前图像帧之间对特征点的跟踪结果，而是使用在第一视点图像的当前图像帧与第二视点图像的当前图像帧之间对特征点进行匹配的结果来执行图像校准。
当在第一视点图像的在前图像帧与当前图像帧之间对特征点的跟踪被确定为成功时，特征点确定器320可基于在前图像帧与当前图像帧之间的相应特征点来更新特征点集。通过这样的时间筛选或时间匹配，可从包括在第一视点图像的当前图像帧中的特征点之中选择出与在前图像帧的特征点相应的第一特征点。
特征点确定器320可从包括在第一视点图像的当前图像帧中的第一特征点之中选择与第二视点图像的当前图像帧的特征点相应的第二特征点。在包括在第二视点图像的当前图像帧中的特征点之中，与第一视点图像的第二特征点相应的特征点可被称为第三特征点。例如，特征点确定器320可将第一特征点和第二特征点之中描述符之间的L2距离值满足期望的(或者可选地，预定的)参考的特征点确定为相应特征点。在相应特征点之中，特征点确定器320可使用第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的基础矩阵来确定第二特征点和第三特征点。
在示例中，当在时间匹配操作中被确定为内点的包括在第一视点图像的当前图像帧中的第一特征点是时，特征点确定器320可从包括在第二视点图像的当前图像帧中的特征点之中选择描述符与的描述符具有最小L2距离的特征点
之后，特征点确定器320可基于第一视点图像的和第二视点图像的确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的基础矩阵。例如，特征点确定器320可基于等式3计算第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的基础矩阵。当通过随机采样一致性(RANSAC)方法而具有最大内点值的在第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的相应特征点分别是和时，可与包括在第一视点图像的当前图像帧中的第二特征点相应，可与包括在第二视点图像的当前图像帧中的第三特征点相应。特征点确定器320可确定和并将确定的和添加到特征集。
在另一示例中，特征点确定器可调整特征集的大小。可在特征集中存储第一视点图像的图像帧之间的匹配特征点以及第一视点图像与第二视点图像之间的匹配特征点，从而将存储在特征集中的特征点的数量可随匹配特征点的操作的进行而增加。为了减小(或者可选地，防止)特征集的大小过度增加，特征点确定器320可基于搜索区域确定从特征集排除的特征点。
特征点确定器320可基于搜索区域筛选第二特征点，并将筛选之后剩余的特征点确定为将被用于图像校准的特征点。例如，特征点确定器320可基于第二特征点设置搜索区域，保持包括在每个搜索区域中的第二特征点之中的具有最大分数值的第二特征点，并排除其余第二特征点。分数可指示当特征点被提取时针对该特征点的可靠度值。搜索区域的大小可以是预先确定的，或者可以是基于在第一视点图像的当前图像帧中确定的第二特征点的数量或第二特征点的分布而自适应地确定的。
特征点确定器320可基于搜索区域筛选与第一视点图像的第二特征点相应的第二视点图像的第三特征点，并将筛选之后剩余的第三特征点确定为将被用于图像校准的特征点。这里，将被应用于第二视点图像的当前图像帧的搜索区域的大小可与将被应用于第一视点图像的当前图像帧的搜索区域的大小相等。
例如，特征点确定器320可使用搜索区域对包括在第一视点图像的当前图像帧中的第二特征点和包括在第二视点图像的当前图像帧中的第三特征点执行局部最大检测。局部最大检测可用于减小(或者可选地，防止)包括在现有特征集中的特征点与新添加到特征集的特征点的重叠。
特征点确定器320可将全部第二特征点添加到特征集，并从包括在特征集中的第二特征点之中选择搜索区域中具有最大分数的第二特征点。例如，当从第i第二特征点的位置起具有半径r的搜索区域中存在的第二特征点的索引集是“j”时，特征点确定器320可基于等式4和5执行局部最大检测。
[等式4]
在等式4中，“s(x)”表示特征点x的分数，“G(x1，x2)”表示当x2具有比x1大的分数时输出结果值1并且在其它情况下输出结果值0的函数。
[等式5]
在等式5中，表示当包括在搜索区域中的第二特征点具有比包括在搜索区域中的另一第二特征点大的分数时输出结果值1并且在其它情况下输出结果值0的函数。
基于等式4，G(x1，x2)可具有结果值1或0。当在包括在搜索区域中的第二特征点之中特征点具有最大分数时，可具有结果值1，并且特征点确定器320可确定第二特征点的分数为局部最大。特征点确定器320可从特征集去除搜索区域中的除第二特征点之外的其它第二特征点。
特征点确定器320可管理特征集。例如，特征点确定器320可将新的特征点添加到特征集并可从特征集去除已有特征点。特征点确定器320可通过从特征集去除已有特征点来缓解(或者可选地，防止)特征集过度增加。当特征集的大小增加时，新添加的特征点可能对图像校准具有较小的影响。因此，特征集可以以队列的形式被配置。
当通过局部最大检测筛选出的特征集的大小变得大于期望的(或者可选地，预定的)大小时，由于最初存储的特征点具有最低的被用于针对当前图像帧的图像校准的可能性，因此特征点确定器320可从特征集去除最初存储的特征点。此外，在执行时间匹配之后，特征点确定器320可将包括在特征集中的特征点的分数减小期望的(或者可选地，预定的)比率，例如10％。因此，从与当前图像帧较少关联的先前图像帧提取的特征点的可靠度可降低。
特征点确定器320可将通过以上描述的操作确定的并且被用于图像校准的特征点发送到图像校准器330。
图像校准器330可基于第一视点图像的第二特征点和第二视点图像的第三特征点执行图像校准。图像校准器330可基于这样的参考特征点之间的位置关系来执行图像校准并随后执行颜色校正。参考特征点可指示将被用于图像校准的特征点，诸如第二特征点和第三特征点。图像校准器330可包括几何校准器340和颜色校正器350。
几何校准器340可基于第一视点图像和第二视点图像的参考特征点的位置信息来执行图像校准。例如，基于相应特征点存在于不同视点图像中的核线上的事实，几何校准器340可通过将核线在视点图像之间水平对齐的图像校准来改变第二视点图像的当前图像帧，以减小第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的垂直视差。
几何校准器340可使用基于对极几何的图像变换矩阵来执行图像校准。作为指示将在通过在A视点图像的位置处观察点P获得的3D相机坐标与通过在B视点图像的位置处观察点P获得的3D相机的坐标之间建立的线性变换关系的矩阵的单应矩阵可被用作图像变换矩阵。几何校准器340可基于参考特征点的位置信息确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵。几何校准器340可通过将确定的单应矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的位置。
例如，几何校准器340可基于通过对特征点进行匹配而获得的参考特征点和的位置信息来执行图像校准。这里，和分别指示在第一视点图像的当前图像帧中确定的参考特征点和在第二视点图像的当前图像帧中确定的参考特征点。
当特征点分别是和(在所述特征点和处，参考特征点和的y坐标值被调整并且高度被互相匹配)时，和可满足等式6，和可满足等式7。
[等式6]
在等式6中，“F”表示基础矩阵。
[等式7]
在等式7中，“[i]”表示矩阵的第i行。原始参考特征点与执行了图像校准的参考特征点之间的关系可被表示为等式8。
[等式8]
在等式8中，和分别表示第一几何单应矩阵和第二几何单应矩阵。
在一个示例中，可通过将第一视点图像设置为与原始图像相同而将第一几何单应矩阵固定为单位矩阵以提高稳定性。几何校准器340可基于等式9计算第二几何单应矩阵
[等式9]
在等式9中，可确立且“h11” 至“h33”表示第二几何单应矩阵的元素，几何校准器340可通过最小二乘法计算第二几何 单应矩阵的元素。几何校准器340可通过将第二几何单应矩阵应用于第二视点图像 的当前图像帧来执行图像校准。
在等式10中，“xi”和“yi”分别表示包括在第二视点图像的当前图像帧中的所有像素之中的第i像素的x坐标值和y坐标值。“H”表示将被应用于第二视点图像的当前图像帧的第二几何单应矩阵。“x'i”和“y'i”分别表示通过应用第二几何单应矩阵H而调整的第i像素的x坐标值和y坐标值。
[等式10]
通过第二单应矩阵，第一视点图像的当前图像帧和第二视点图像的当前图像帧中的相应像素之间的y坐标值上的差可被减小(或者可选地，最小化)。
在执行图像校准之后，颜色校正器350可执行用于减小视点图像之间的颜色上的差异的颜色校正。在示例中，颜色校正器350可基于第一视点图像的当前图像帧的颜色值使用最小二乘法来调整第二视点图像的当前图像帧的颜色值。图像校准器350可基于参考特征点来最小化第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的相应特征点之间颜色上的差异。
颜色校正器350可使用包括在第一视点图像的当前图像帧中的像素与包括在第二视点图像的当前图像帧中的像素之间的颜色上的差异来确定颜色变换矩阵，并通过将确定的颜色变换矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧的颜色。
例如，颜色校正器350可使用通过执行几何校准而调整的参考特征点和来确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵HP。将被用于颜色校正的HP可被称为光度单应矩阵，并且颜色校正器350可基于等式10计算光度单应矩阵HP。在等式10中，“h11”至“h33”表示光度单应矩阵HP的元素。
颜色校正器350可通过将HP的反函数应用于第二视点图像的当前图像帧来使第二视点图像的当前图像帧变形，并基于包括在第一视点图像的当前图像帧与第二视点图像的经过变形的当前图像帧之间的重叠区域中的像素的颜色信息(例如，红色、绿色和蓝色(RGB)值)来确定颜色变换矩阵。例如，颜色校正器350可基于等式11确定颜色变换矩阵“T”。
[等式11]
在等式11中，和分别指示包括在重叠区域中的第二视点图像的当前图像帧的像素的红色(R)颜色值、绿色(G)颜色值和蓝色(B)颜色值。和分别指示包括在重叠区域中的第一视点图像的当前图像帧的像素的R颜色值、G颜色值和B颜色值。“h”和“w”是用于标识包括RGB子像素的像素的位置的索引。
颜色校正器350可基于等式11使用最小二乘法来计算颜色变换矩阵T，并通过将颜色变换矩阵T应用于包括在第二视点图像的当前图像帧中的所有像素的RGB值来校准第二视点图像的当前图像帧的颜色值。通过这样的颜色校正，可减小第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的颜色视差。
已经执行了几何校准和颜色校正的第二视点图像可从图像校准设备300被输出，校准的第二视点图像连同第一视点图像一起可被用于产生诸如立体图像的3D内容。
图4示出根据至少一个示例实施例的确定参考特征点的操作的示例。
参照图4，图像帧430指示第一视点图像的当前图像帧，图像帧410指示第一视点图像的在前图像帧。相似地，图像帧440指示第二视点图像的与图像帧430相应的当前图像帧，图像帧420指示第二视点图像的与图像帧410相应的在前图像帧。
图像校准设备可跟踪第一视点图像的图像帧410与图像帧430之间的相应特征点。图像校准设备可从自图像帧430提取的特征点之中选择与图像帧410的特征点相应的第一特征点。如图4的示例中所示，特征点412之间的实线指示图像帧410与图像帧430之间的特征点的匹配成功的情况。相反地，特征点414之间的虚线指示特征点的匹配不成功的情况。在图4的示例中，从图像帧430提取了总共八个特征点，并且只有六个特征点与图像帧410的特征点相应。
图像校准设备可使用基础矩阵确定在图像帧410与图像帧430之间对特征点的跟踪是否成功。当图像帧410与图像帧430之间的相应特征点的数量大于期望的(或者可选地，预定的)数量时，图像校准设备可确定在图像帧410与图像帧430之间对特征点的跟踪成功。相反地，当图像帧410与图像帧430之间的相应特征点的数量小于或等于期望的(或者可选地，预定的)数量时，图像校准设备可确定在图像帧410与图像帧430之间对特征点的跟踪失败。
当在图像帧410与图像帧430之间对特征点的跟踪被确定为失败时，图像校准设备不考虑从图像帧410提取的特征点，而是基于图像帧430与图像帧440之间的相应特征点对来校准图像帧440。
当在图像帧410与图像帧430之间对特征点的跟踪被确定为成功时，图像校准设备可确定图像帧410与图像帧430之间的基础矩阵，并基于确定的基础矩阵来确定图像帧410与图像帧430之间的相应特征点对。
当从自图像帧430提取的特征点之中选择了与图像帧410的特征点相应的第一特征点时，图像校准设备可基于从作为第二视点图像的当前图像帧的图像帧440提取的特征点对第一特征点进行筛选。图像校准设备可从在图像帧430中选择的第一特征点之中选择与图像帧440的特征点相应的第二特征点。图像校准设备可确定图像帧430与图像帧440之间的基础矩阵，并基于确定的基础矩阵来确定图像帧430与图像帧440之间的相应特征点对。
如图4的示例中所示，特征点450之间的实线指示在图像帧430与图像帧440之间匹配特征点成功的情况。特征点460之间的虚线指示匹配特征点不成功的情况。在图4的示例中，在图像430中总共选择了六个第一特征点，所述六个第一特征点中仅五个第一特征点与图像帧440的特征点相应并被选为第二特征点。
第二特征点和从图像帧440提取的特征点之中的与第二特征点相应的第三特征点可被用于图像校准。例如，图像校准设备可基于图像帧430的第二特征点和图像帧440的第三特征点的位置信息来确定图像帧430与图像帧440之间的单应矩阵，并通过将确定的单应矩阵应用于图像帧440来减小图像帧430与图像帧440之间图像高度上的差异。
图5示出根据至少一个示例实施例的执行局部最大检测的操作的示例。
在第一视点图像的图像帧中被确定为彼此相应的特征点可在特征集中被累积，特征集的大小可随时间逐渐增大。图像校准设备可通过局部最大检测来调整将被用于图像校准的特征点的数量，以保持特征集的恒定大小。
图像校准设备可使用搜索区域来筛选第一视点图像的第二特征点和第二视点图像的第三特征点。在图5的示例中，还示出由图像校准设备减小包括在第一视点图像的当前图像帧中的第二特征点的数量的操作。
参照图5，图像校准设备可基于包括在第一视点图像的当前图像帧510中的每个第二特征点520的位置来设置搜索区域，并从搜索区域选择具有最大分数的特征点。搜索区域的大小可以是基于实验证据的和/或是用户定义的。图像帧530指示通过对图像帧510执行局部最大检测而获得的图像帧。例如，图像校准设备可将第二特征点(例如，包括在搜索区域540中的第二特征点550、第二特征点555和第二特征点560)之中具有最大分数的第二特征点560确定为局部最大，并从特征集中排除除第二特征点560之外的其它第二特征点550和555。因此，在第二特征点550、555和560之中仅第二特征点560被确定为参考特征点并被用于图像校准。
图6示出根据至少一个示例实施例的基于参考特征点执行图像校准的操作的示例。
参照图6，图像帧610指示第一视点图像的当前图像帧，图像帧620指示第二视点图像的当前图像帧。图像校准设备可基于在图像帧610中选择的参考特征点630和在图像帧620中选择的参考特征点640来调整包括在图像帧620中的像素的位置。参考特征点630与参考特征点640可彼此相应。
图像校准设备可对图像坐标执行基于单应矩阵的图像校准。图像校准设备可基于参考特征点630和参考特征点640的位置信息来确定图像帧610与图像帧620之间的单应矩阵。图像校准设备可通过将确定的单应矩阵应用于图像帧620来调整包括在图像帧620中的像素的位置。对于详细描述，可对参照图3提供的描述做参考。
穿过每个参考特征点630的线指示核线，图像校准设备可调整包括在图像帧620中的像素的“y”位置值。例如，当图像帧610与图像帧620之间的单应矩阵被应用于图像帧620时，参考特征点640中的参考特征点的“y”位置可被调整到位置650。
图7是示出根据至少一个示例实施例的校准图像的方法的流程图。可由图像校准设备执行所述校准图像的方法。
参照图7，在操作710，图像校准设备(例如，图像校准设备300)从包括第一视点图像和第二视点图像的多视点图像提取特征点。例如，图像校准设备可使用Harris角点方法、SIFT方法或FAST方法从多视点图像提取特征点。
在操作720，图像校准设备从包括在第一视点图像的当前图像帧中的特征点之中选择与在前图像帧的特征点相应的第一特征点。可基于描述符的差异来确定第一视点图像的当前图像帧与在前图像帧之间的相应特征点对。例如，可从第一视点图像的当前图像帧和在前图像帧的特征点之中将特征点描述符之间的L2距离值满足期望的(或者可选地，预定的)标准的特征点选为相应特征点对。在所述特征点对之中，图像校准设备可使用第一视点图像的当前图像帧与在前图像帧之间的基础矩阵来选择第一特征点。
在操作730，图像校准设备从在操作720确定的第一特征点之中选择与包括在第二视点图像的当前图像帧中的特征点相应的第二特征点。例如，图像校准设备可从第一特征点和第二视点图像的当前图像帧的特征点之中选择特征点描述符之间的L2距离值满足期望的(或者可选地，预定的)标准的特征点作为相应特征点对。在所述特征点对之中，图像校准设备可使用第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的基础矩阵来选择第二特征点。
在操作740，图像校准设备基于在操作730确定的第一视点图像的第二特征点来调整包括在第二视点图像的当前图像帧中的像素的位置。图像校准设备可基于第二特征点和第二视点图像的当前图像帧的特征点之中与第二特征点相应的第三特征点的位置信息确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，并通过将确定的单应矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的位置。
图像校准设备可选择性地执行操作750。在操作750，图像校准设备调整包括在第二视点图像的当前图像帧中的像素的颜色值。图像校准设备可使用包括在第一视点图像的当前图像帧中的像素与包括在第二视点图像的当前图形帧中的像素之间的颜色上的差异来估计颜色变换矩阵。图像校准设备可通过将第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的颜色变换矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧的颜色。将参照图9进一步详细描述操作750。对于参照图7未提供的描述，可对参照图3提供的描述做参考。
虽然图7示出两个不同视点图像的示例，但是具有三个或更多个不同视点的多视点图像可适用于所述校准图像的方法。例如，在多视点图像具有三个不同视点的情况下，图像校准设备可从第一视点图像的第一特征点之中选择与包括在第二视点图像的当前图像帧中的特征点相应的特征点，并从第一视点图像的第一特征点之中选择与包括在第三视点图像的当前图像帧中的特征点相应的特征点。可自动执行在第一视点图像与第二视点图像之间匹配特征点的操作以及在第一视点图像与第三视点图像之间匹配特征点的操作。可与参照图3和图7描述的操作同样地执行其它操作。
图8是示出根据至少一个示例实施例的基于基础矩阵确定匹配特征点的操作是否成功的过程的流程图。
参照图8，在操作810，图像校准设备(例如，图像校准设备300)对第一视点图像的在前图像帧与当前图像帧之间的被确定为彼此相应的特征点对进行采样。图像校准设备可在第一视点图像的在前图像帧与当前图像帧之间确定的特征点对之中随机采样期望的(或者可选地，预定的)数量的特征点对。
在操作820，图像校准设备确定第一视点图像的在前图像帧与当前图像帧之间的基础矩阵。图像校准设备可基于在第一视点图像的在前图像帧与当前图像帧之间确定的特征点对的位置信息来确定基础矩阵。例如，图像校准设备可通过最小二乘法基于前面提供的等式2和等式3来确定基础矩阵。
在操作830，图像校准设备确定应用基础矩阵的结果是否满足第一条件。例如，图像校准设备可基于每对特征点对的位置信息和基础矩阵来确定Sampson距离，并确定Sampson距离小于或等于特定距离的特征点的比率是否满足期望的(或者可选地，预定的)范围。
在操作840，当应用基础矩阵的结果不满足第一条件时，图像校准设备确定重复次数是否大于或等于期望的(或者可选地，预定的)重复次数。例如，图像校准设备可确定重复次数是否超过10000次。
当重复次数的数量小于期望的(或者可选地，预定的)重复次数时，图像校准设备可返回操作810，并在第一视点图像的在前图像帧与当前图像帧之间确定的所有特征点对中随机采样期望的(或者可选地，预定的)数量的特征点对。在操作850，当重复次数大于或等于期望的(或者可选地，预定的)重复次数时，图像校准设备确定应用基础矩阵的结果是否满足期望的(或者可选地，预定的)第二条件。
在操作860，当应用基础矩阵的结果满足第一条件或第二条件时，图像校准设备确定在第一视点图像的在前图像帧与当前图像帧之间匹配特征的操作点成功。当匹配特征点的操作被确定为成功时，图像校准设备可基于匹配的结果对第二视点图像的当前图像帧执行图像校准。第一条件和第二条件可指针对图3描述的内点率。
在操作870，当在操作850应用基础矩阵的结果不满足第二条件时，图像校准设备确定在第一视点图像的在前图像帧与当前图像帧之间匹配特征点的操作失败。当匹配特征点的操作被确定为失败时，图像校准设备可确定在第一视点图像的当前图像帧中发生场景改变，并在不使用匹配结果的情况下执行图像校准。例如，图像校准设备不考虑第一视点图像的在前图像帧，而是基于通过在第一视点图像的当前图像帧与第二视点图像的当前图像帧之间匹配特征点而确定的特征点对来执行图像校准。
图9是示出根据至少一个示例实施例的执行颜色校正的步骤的流程图。
参照图9，在操作910，图像校准设备(例如，图像校准设备910)确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵。例如，图像校准设备可基于前面提供的等式9确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵。
在操作920，图像校准设备基于在操作910确定的单应矩阵来使第二视点图像的当前图像帧变形。例如，图像校准设备可通过将单应矩阵的反函数应用于第二视点图像的当前图像帧来使第二视点图像的当前图像帧变形。
在操作930，图像校准设备确定颜色变换矩阵。图像校准设备可将第二视点图像的经过变形的当前图像帧映射到第一视点图像的当前图像帧。图像校准设备可识别第二视点图像的当前图像帧与被映射了第二视点图像的经过变形的当前图像帧的第一视点图像的当前图像帧之间的相应像素，并基于识别的像素的颜色信息来确定颜色变换矩阵。例如，图像校准设备可基于前面提供的等式11和包括在第一视点图像的当前图像帧与第二视点图像的经过变形的当前图像帧之间的重叠区域中的像素的颜色信息来确定颜色变换矩阵。
在操作940，图像校准设备基于颜色变换矩阵来调整包括在第二视点图像的当前图像帧中的像素的颜色值。图像校准设备可通过将颜色变换矩阵应用于第二视点图像的当前图像帧来调整包括在第二视点图像的当前图像帧中的像素的颜色值。
在此描述的单元和/或模块可使用硬件组件和软件组件来实施。例如，硬件组件可包括：麦克风、放大器、带通滤波器、音频数字转换器和处理装置。处理装置可使用一个或更多个硬件装置来实施，其中，所述一个或更多个硬件装置被配置为通过执行算术、逻辑和输入/输出操作来执行和/或运行程序代码。处理装置可包括：处理器(即，专用处理器)、控制器和算术逻辑单元、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应和执行指令的任何其它装置。处理装置可运行操作系统(OS)以及一个或更多个在OS上运行的软件应用。处理装置还可响应于软件的运行而访问、存储、操作、处理和创建数据。为了简洁的目的，对处理装置的描述被用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或包括一个处理器和一个控制器。此外，不同的处理配置是可行的，例如，并行处理器。
软件可包括用于独立地或共同地指示和/或配置处理装置按照需要进行操作的计算机程序、一段代码、指令或它们的一些组合，从而将处理装置转换为专用处理器。可在任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置中或者以能够将指令或数据提供给处理装置或被处理装置解释的传播信号波来永久地或暂时地实施软件和数据。软件还可被分布在联网的计算机系统中，从而以分布式存储和执行软件。可通过一个或更多个非暂时性计算机可读记录介质来存储软件和数据。
根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中以实现上述示例实施例的各种操作。介质还可包括单独的或与程序指令结合的数据文件、数据结构等。记录在介质上的程序指令可以是针对示例实施例的目的而专门设计和构造的那些程序指令，或者它们可以是对计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)；光学介质(诸如CDROM盘、DVD和/或蓝光光盘)；磁光介质(诸如光盘)；和专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪速驱动器、存储卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如由编译器所产生的)和包含可由计算机使用解释器执行的更高级代码的文件两者。上述装置可被配置为充当一个或更多个软件模块以执行上述示例实施例的操作，反之亦然。
以上已经描述了多个示例实施例。然而，应理解，可对示例实施例进行各种修改。例如，如果以不同的顺序执行描述的技术，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其它组件或其等同物代替或补充，则可实现合适的结果。因此，其它实施方式落入权利要求的范围内。

Claims (29)

1.一种校准图像的方法，所述方法包括：
从多视点图像提取特征点，其中，所述多视点图像包括第一视点图像和第二视点图像；
跟踪第一视点图像的连续图像帧中的相应特征点，并确定在第一视点图像的当前图像帧中是否发生场景改变；
其中，当对第一视点图像的连续图像帧中的相应特征点的跟踪被确定为成功从而确定未发生场景改变时，执行以下步骤：
从第一视点图像的当前图像帧中的特征点之中选择与第一视点图像的在前图像帧的特征点相应的第一特征点，以执行时间筛选；
从第一特征点之中选择与第二视点图像的当前图像帧中的特征点相应的第二特征点，以执行空间筛选；
基于第二特征点来对第二视点图像的当前图像帧执行图像校准；
其中，当对第一视点图像的连续图像帧中的相应特征点的跟踪被确定为失败从而确定发生场景改变时，在不使用第一视点图像的在前图像帧的情况下，基于第一视点图像的当前图像帧与第二视点图像的当前图像帧来执行图像校准。
2.如权利要求1所述的方法，其中，选择第一特征点的步骤包括：
确定第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的相应特征点对；
使用第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的基础矩阵，从所述相应特征点对之中选择第一特征点。
3.如权利要求2所述的方法，其中，选择第一特征点的步骤包括：
从确定的相应特征点对之中随机选择多对特征点对；
基于选择的所述多对特征点对的位置信息来确定所述基础矩阵。
4.如权利要求2所述的方法，其中，确定所述相应特征点对的步骤包括：
基于指示特征点的邻域属性的特征点描述符的差异来确定所述相应特征点对。
5.如权利要求1所述的方法，其中，当确定未发生场景改变时执行图像校准的步骤包括：
基于第二特征点和第二视点图像的当前图像帧中的与第二特征点相应的第三特征点，对第二视点图像的当前图像帧执行图像校准。
6.如权利要求5所述的方法，其中，基于第二特征点和第三特征点对第二视点图像的当前图像帧执行图像校准的步骤包括：
基于第二特征点的位置信息和第三特征点的位置信息，确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵；
通过将所述单应矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧中的像素的位置。
7.如权利要求5所述的方法，其中，基于第二特征点对第二视点图像的当前图像帧执行图像校准的步骤包括：
基于搜索区域对第二特征点进行筛选；
基于第二特征点之中的在筛选之后剩余的第二特征点来对第二视点图像的当前图像帧执行图像校准。
8.如权利要求5所述的方法，其中，基于第二特征点和第三特征点对第二视点图像的当前图像帧执行图像校准的步骤包括：
基于第二特征点的位置信息和第三特征点的位置信息，调整第二视点图像的当前图像帧中的像素的纵坐标值。
9.如权利要求1所述的方法，还包括：
基于第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，调整第二视点图像的当前图像帧中的像素的颜色值。
10.如权利要求9所述的方法，其中，调整像素的颜色值的步骤包括：
使用所述单应矩阵来使第二视点图像的当前图像帧变形；
将第二视点图像的经过变形的当前图像帧映射到第一视点图像的当前图像帧；
识别第二视点图像的当前图像帧与映射了第二视点图像的当前图像帧的第一视点图像的当前图像帧之间的相应像素；
基于识别出的像素的颜色值来确定颜色变换矩阵；
通过将颜色变换矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧中的像素的颜色值。
11.如权利要求1所述的方法，其中，提取特征点的步骤包括：
对第一视点图像的当前图像帧进行下采样；
从下采样的当前图像帧提取特征点。
12.如权利要求1所述的方法，其中，所述多视点图像包括第三视点图像。
13.一种用于校准图像的设备，所述设备包括：
特征点提取器，被配置为从多视点图像提取特征点，其中，所述多视点图像包括第一视点图像和第二视点图像；
特征点确定器，被配置为：跟踪第一视点图像的连续图像帧中的相应特征点，并确定在第一视点图像的当前图像帧中是否发生场景改变；
图像校准器，被配置为：执行图像校准；
其中，当对第一视点图像的连续图像帧中的相应特征点的跟踪被确定为成功从而特征点确定器确定未发生场景改变时，特征点确定器从第一视点图像的当前图像帧中的特征点之中选择与第一视点图像的在前图像帧的特征点相应的第一特征点，以执行时间筛选，并从第一特征点之中选择与第二视点图像的当前图像帧中的特征点相应的第二特征点作为将被用于图像校准的特征点，以执行空间筛选，并且图像校准器基于选择的第二特征点执行图像校准，
其中，当对第一视点图像的连续图像帧中的相应特征点的跟踪被确定为失败从而特征点确定器确定发生场景改变时，特征点确定器在不使用第一视点图像的在前图像帧的情况下，基于第一视点图像的当前图像帧与第二视点图像的当前图像帧来确定将被用于图像校准的特征点，并且图像校准器基于确定的特征点来执行图像校准。
14.如权利要求13所述的设备，其中，当特征点确定器确定未发生场景改变时，特征点确定器还被配置为：确定第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的相应特征点对，并使用第一视点图像的当前图像帧与第一视点图像的在前图像帧之间的基础矩阵从所述相应特征点对选择第一特征点。
15.如权利要求13所述的设备，其中，图像校准器包括：
几何校准器，被配置为基于将被用于图像校准的特征点的位置信息，调整第二视点图像的当前图像帧中的像素的位置。
16.如权利要求15所述的设备，其中，几何校准器被配置为：基于将被用于图像校准的特征点的位置信息来确定第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，并通过将所述单应矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧中的像素的位置。
17.如权利要求13所述的设备，其中，图像校准器包括：
颜色校正器，被配置为基于第一视点图像的当前图像帧与第二视点图像的当前图像帧之间的单应矩阵，调整第二视点图像的当前图像帧中的像素的颜色值。
18.如权利要求17所述的设备，其中，颜色校正器被配置为：基于所述单应矩阵来确定颜色变换矩阵，并通过将所述颜色变换矩阵应用于第二视点图像的当前图像帧来调整第二视点图像的当前图像帧中的像素的颜色值。
19.一种用于校准包括第一视点图像和第二视点图像的多视点图像的设备，所述设备包括：
特征点确定器，被配置为：跟踪第一视点图像的连续帧中的相应特征点，并确定在第一视点图像的当前帧中是否发生场景改变；
图像校准器，被配置为：执行图像校准；
其中，当对第一视点图像的连续帧中的相应特征点的跟踪被确定为成功从而特征点确定器确定未发生场景改变时，特征点确定器还被配置为通过将第一视点图像的当前帧的特征点与第一视点图像的在前帧的特征点进行匹配以产生第一匹配特征点，来对第一视点图像的当前帧执行时间筛选操作，通过将第一匹配特征点与第二视点图像的当前帧的特征点进行匹配以产生第二匹配特征点，来对第二视点图像的当前帧执行空间筛选操作，并且图像校准器被配置为基于第二匹配的特征点来校准多视点图像，
其中，当对第一视点图像的连续帧中的相应特征点的跟踪被确定为失败从而特征点确定器确定发生场景改变时，特征点确定器在不使用第一视点图像的在前帧的情况下，基于第一视点图像的当前帧与第二视点图像的当前帧来确定将被用于图像校准的特征点，并且图像校准器基于确定的特征点来执行图像校准。
20.如权利要求19所述的设备，其中，当特征点确定器确定未发生场景改变时，特征点确定器还被配置为通过以下操作来执行在第一筛选操作中的匹配：
确定第一视点图像的当前帧与第一视点图像的在前帧之间的特征点对，
使用第一视点图像的当前帧与第一视点图像的在前帧之间的基础矩阵，从所述特征点对选择特征点。
21.如权利要求19所述的设备，其中，图像校准器包括：
几何校准器，被配置为基于第二匹配特征点的位置信息，调整第二视点图像的当前帧中的像素的位置。
22.如权利要求21所述的设备，其中，几何校准器被配置为：基于第二匹配特征点的位置信息来确定第一视点图像的当前帧与第二视点图像的当前帧之间的单应矩阵，并使用所述单应矩阵来调整第二视点图像的当前帧中的像素的位置。
23.如权利要求19所述的设备，其中，图像校准器包括：
颜色校正器，被配置为基于第一视点图像的当前帧与第二视点图像的当前帧之间的单应矩阵，调整第二视点图像的当前帧中的像素的颜色值。
24.如权利要求23所述的设备，其中，颜色校正器被配置为：基于所述单应矩阵来确定颜色变换矩阵，并使用所述颜色变换矩阵来调整第二视点图像的当前帧中的像素的颜色值。
25.一种用于校准包括第一视点图像和第二视点图像的多视点图像的设备，所述设备包括：
特征点提取器，被配置为从第一视点图像的当前帧提取特征点；
特征点确定器，被配置为：
确定提取的特征点与第一视点图像的在前帧的初始特征点之间的相应特征点对，以执行时间筛选，
使用所述相应特征点对来产生基础矩阵，
基于所述基础矩阵和条件来确定对第一视点图像的特征点的跟踪是否成功从而确定第一视点图像的在前帧与第一视点图像的当前帧之间是否已经发生场景改变；
图像校准器，被配置为：校准多视点图像，
其中，当对第一视点图像的特征点的跟踪被确定为成功从而特征点确定器确定未发生场景改变时，特征点确定器从所述相应特征点对中的第一视点图像的当前帧的特征点之中选择与第二视点图像的当前帧中的特征点相应的第二特征点，以执行空间筛选，并且图像校准器基于第二特征点来对第二视点图像的当前帧执行图像校准，
其中，当对第一视点图像的特征点的跟踪被确定为失败从而特征点确定器确定发生场景改变时，特征点确定器在不使用第一视点图像的在前帧的情况下，基于第一视点图像的当前帧与第二视点图像的当前帧来确定将被用于图像校准的特征点，并且图像校准器基于确定的特征点来执行图像校准。
26.如权利要求25所述的设备，其中，特征点确定器被配置为通过以下操作来确定所述相应特征点对：
基于提取的特征点的坐标与所述初始特征点的坐标之间的距离将提取的特征点与所述初始特征点进行匹配，以产生匹配特征点对，
使用具有小于或等于阈值的距离值的匹配特征点对来产生所述相应特征点对。
27.如权利要求25所述的设备，其中，特征点确定器被配置为通过以下操作来产生所述基础矩阵：
随机提取多对相应特征点对，
使用提取的所述多对相应特征点对的位置信息来产生所述基础矩阵。
28.如权利要求25所述的设备，图像校准器还被配置为：如果已经发生场景改变，则在不使用所述相应特征点对的情况下校准多视点图像。
29.如权利要求25所述的设备，其中，特征点确定器被配置为：
将第一视点图像的当前帧划分为包括提取的特征点的搜索区域，
通过在每个搜索区域中选择具有最大分数的提取的特征点来减小提取的特征点的数量，其中，分数指示提取的特征点在所述相应特征点对中的可能性。
CN201510810364.0A 2014-11-20 2015-11-20 用于校准图像的方法和设备 Active CN105635719B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0162651 2014-11-20
KR1020140162651A KR102281184B1 (ko) 2014-11-20 2014-11-20 영상 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
CN105635719A CN105635719A (zh) 2016-06-01
CN105635719B true CN105635719B (zh) 2019-08-13

Family

ID=54545007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510810364.0A Active CN105635719B (zh) 2014-11-20 2015-11-20 用于校准图像的方法和设备

Country Status (5)

Country Link
US (2) US10506213B2 (zh)
EP (1) EP3024229B1 (zh)
JP (2) JP6767743B2 (zh)
KR (1) KR102281184B1 (zh)
CN (1) CN105635719B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977992B2 (en) * 2012-02-28 2018-05-22 Snell Advanced Media Limited Identifying points of interest in an image
US10063831B2 (en) 2015-02-09 2018-08-28 Samsung Electronics Co., Ltd. Method and apparatus for stereo image rectification
CN105518709B (zh) * 2015-03-26 2019-08-09 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
US10580135B2 (en) 2016-07-14 2020-03-03 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN106485739B (zh) * 2016-09-22 2019-06-11 哈尔滨工业大学 一种基于l2距离的点集配准方法
KR102560780B1 (ko) 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
KR102495234B1 (ko) 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技（深圳）有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
WO2019047245A1 (zh) * 2017-09-11 2019-03-14 深圳市柔宇科技有限公司 图像处理方法、电子装置和计算机可读存储介质
WO2019237286A1 (zh) * 2018-06-13 2019-12-19 华为技术有限公司 一种筛选局部特征点的方法及装置
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN109462748B (zh) * 2018-12-21 2020-10-09 福州大学 一种基于单应性矩阵的立体视频颜色校正算法
WO2020181469A1 (zh) * 2019-03-11 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质
CN110866945A (zh) * 2019-11-13 2020-03-06 镜城科技(杭州)有限公司 一种倾斜摄影模型自动识别生成三维树的方法
US11354883B2 (en) * 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
KR20210143607A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 이미지 생성 장치 및 방법
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的系统及方法
JP7477043B2 (ja) 2021-03-03 2024-05-01 日本電気株式会社 基本行列生成装置、制御方法、及びプログラム
JPWO2022185436A1 (zh) 2021-03-03 2022-09-09
WO2022190224A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 基礎行列生成装置、制御方法、及びコンピュータ可読媒体
TWI807449B (zh) 2021-10-15 2023-07-01 國立臺灣科技大學 多視角立體影像產生方法及系統
CN114331914B (zh) * 2022-03-07 2022-05-24 中咨数据有限公司 一种图像快速校准与实时渲染方法、系统、介质及移动端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN102859555A (zh) * 2011-01-13 2013-01-02 松下电器产业株式会社 图像处理装置、图像处理方法及程序

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP4149732B2 (ja) 2002-04-26 2008-09-17 アジア航測株式会社 ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム
KR100526817B1 (ko) 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
KR100850931B1 (ko) 2006-06-29 2008-08-07 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
US8358840B2 (en) 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
JP5251410B2 (ja) 2008-10-03 2013-07-31 株式会社ニコン カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
US8406507B2 (en) * 2009-01-14 2013-03-26 A9.Com, Inc. Method and system for representing image patches
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8483432B2 (en) 2009-12-23 2013-07-09 General Electric Company Methods for automatic segmentation and temporal tracking
FR2958767B1 (fr) 2010-04-09 2016-11-11 Commissariat Energie Atomique Procede de detection de cibles dans des images stereoscopiques.
WO2011140178A1 (en) 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
CN102243764B (zh) 2010-05-13 2015-07-15 东软集团股份有限公司 运动特征点检测方法及装置
KR101150871B1 (ko) 2010-07-29 2012-06-13 연세대학교 산학협력단 수평 변이 및 수평 변이에 기초한 스테레오 영상의 피로도 계산 방법 및 장치
US8494254B2 (en) 2010-08-31 2013-07-23 Adobe Systems Incorporated Methods and apparatus for image rectification for stereo display
WO2012063469A1 (ja) * 2010-11-11 2012-05-18 パナソニック株式会社 画像処理装置、画像処理方法およびプログラム
US8849054B2 (en) 2010-12-23 2014-09-30 Samsung Electronics Co., Ltd Digital image stabilization
US20120242806A1 (en) 2011-03-23 2012-09-27 Tk Holdings Inc. Dynamic stereo camera calibration system and method
JP2012203851A (ja) 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2012203852A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
TWI475515B (zh) * 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
US9600923B2 (en) * 2011-05-26 2017-03-21 Thomson Licensing Scale-independent maps
JP2012257022A (ja) * 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
CN102404595B (zh) 2011-08-16 2013-11-20 上海交通大学 可提供3d节目拍摄指导的极线校正方法
KR20170005464A (ko) * 2011-08-30 2017-01-13 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
CN103020945B (zh) 2011-09-21 2016-02-10 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
KR101313307B1 (ko) * 2011-10-31 2013-09-30 (주)컨벡스 영상보정방법 및 장치
WO2013099169A1 (ja) * 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
KR20130112133A (ko) 2012-04-03 2013-10-14 주식회사 사이버메드 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법
US9183618B2 (en) * 2012-05-09 2015-11-10 Nokia Technologies Oy Method, apparatus and computer program product for alignment of frames
JP5977591B2 (ja) * 2012-06-20 2016-08-24 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5833507B2 (ja) * 2012-08-06 2015-12-16 Kddi株式会社 画像処理装置
TWI435162B (zh) * 2012-10-22 2014-04-21 Nat Univ Chung Cheng Low complexity of the panoramic image and video bonding method
US8929683B2 (en) * 2012-10-25 2015-01-06 Nvidia Corporation Techniques for registering and warping image stacks
EP2741502A1 (en) * 2012-12-07 2014-06-11 Thomson Licensing Method and apparatus for color transfer between images
JP5910613B2 (ja) 2013-11-01 2016-04-27 カシオ計算機株式会社 画像合成装置及びプログラム
JP6376618B2 (ja) * 2014-05-15 2018-08-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859555A (zh) * 2011-01-13 2013-01-02 松下电器产业株式会社 图像处理装置、图像处理方法及程序
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法

Also Published As

Publication number Publication date
CN105635719A (zh) 2016-06-01
KR102281184B1 (ko) 2021-07-23
JP6767743B2 (ja) 2020-10-14
EP3024229A2 (en) 2016-05-25
US10506213B2 (en) 2019-12-10
JP7163345B2 (ja) 2022-10-31
JP2016100899A (ja) 2016-05-30
US11140374B2 (en) 2021-10-05
JP2021005890A (ja) 2021-01-14
EP3024229B1 (en) 2020-09-16
US20200053338A1 (en) 2020-02-13
EP3024229A3 (en) 2016-06-08
US20160150211A1 (en) 2016-05-26
KR20160060403A (ko) 2016-05-30

Similar Documents

Publication Publication Date Title
CN105635719B (zh) 用于校准图像的方法和设备
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN110246163B (zh) 图像处理方法及其装置、设备、计算机存储介质
CN107301402B (zh) 一种现实场景关键帧的确定方法、装置、介质及设备
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
US9965861B2 (en) Method and system of feature matching for multiple images
US20200410646A1 (en) Method and apparatus for image processing
CN102713938B (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
CN108701359A (zh) 跨越具有对应深度图的视频帧跟踪兴趣区域
CN109698944B (zh) 投影区域校正方法、投影设备及计算机可读存储介质
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN106488215A (zh) 图像处理方法和设备
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN109492610A (zh) 一种行人重识别方法、装置及可读存储介质
Yao et al. Object based video synopsis
CN103955713B (zh) 一种图标识别方法和装置
CN113298187B (zh) 图像处理方法及装置、计算机可读存储介质
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
KR20160074958A (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
KR101797814B1 (ko) 이미지 비교 알고리즘에 기반한 소아 교육용 학습 장치 및 방법
CN110335228A (zh) 一种图像视差的确定方法、装置及系统
CN108495125B (zh) 一种摄像模组测试方法、设备及介质
Bright et al. Mitigating Motion Blur for Robust 3D Baseball Player Pose Modeling for Pitch Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant