CN106165396A - 用于异构相机阵列的校正技术 - Google Patents

用于异构相机阵列的校正技术 Download PDF

Info

Publication number
CN106165396A
CN106165396A CN201580019088.4A CN201580019088A CN106165396A CN 106165396 A CN106165396 A CN 106165396A CN 201580019088 A CN201580019088 A CN 201580019088A CN 106165396 A CN106165396 A CN 106165396A
Authority
CN
China
Prior art keywords
matrix
camera array
isomery
camera
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580019088.4A
Other languages
English (en)
Other versions
CN106165396B (zh
Inventor
K·瑟莎杜里娜瑟
O·奈斯塔尔司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106165396A publication Critical patent/CN106165396A/zh
Application granted granted Critical
Publication of CN106165396B publication Critical patent/CN106165396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

描述了用于异构相机阵列的校正技术。例如，在一个实施例中，一种装置可以包括：逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。对其他实施例进行了描述并要求保护。

Description

用于异构相机阵列的校正技术
优先权
本申请要求于2014年5月6日提交的题为“Rectification Techniques forHeterogeneous Camera Arrays(用于异构相机阵列的校正技术)”的美国专利申请号14/270,687的优先权，该申请的主题通过引用以其全文结合在此。
背景技术
在图像采集和处理领域中，使用相机阵列来捕捉场景的多个图像可以使得能够实现用于例如差异和深度估计、视图插值和三维重构的技术。这类技术可能要求确定在由在阵列中的各相机捕捉的对应图像中的像素位置之间的图像间对应关系。可以采用图像校正以便简化这些确定。然而，常规的图像校正技术并不适应在其中各相机的分辨率、视场和/或像素大小可能彼此不同的异构相机阵列。
附图说明
图1展示了相机阵列的实施例。
图2A展示了第一捕捉图像阵列的实施例。
图2B展示了第二捕捉图像阵列的实施例。
图3展示了成像管理程序的实施例。
图4展示了装置的实施例以及第一系统的实施例。
图5展示了外部参数确定的实施例。
图6展示了归一化校正过程的实施例。
图7展示了第一逻辑流程的实施例。
图8展示了第二逻辑流程的实施例。
图9展示了第三逻辑流程的实施例。
图10展示了存储介质的实施例。
图11展示第二系统的实施例。
图12展示了第三系统的实施例。
图13展示了设备的实施例。
具体实施方式
各实施例可以总体上涉及用于异构相机阵列的校正技术。例如，在一个实施例中，一种装置可以包括：逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于捕捉图像阵列、针对所选的校正过程标识校正映射集并且将所述经标识的校正映射集应用于捕捉图像阵列以获得校正图像阵列。对其他实施例进行了描述并要求保护。
各实施例可以包括一个或多个元件。元件可包括被安排成用于执行特定操作的任意结构。如给定设计参数或性能约束集所需的，每个元件可以被实现为硬件、软件或其任意组合。尽管实施例可以通过示例的方式以特定布局用有限数目的元件来描述，但是实施例可以如对于给定的执行方案所期待的那样以替换的布局而包括或多或少的元件。值得注意的是，对“一个实施例(one embodiment)”或“实施例(an embodiment)”的任何参考意指结合实施例所描述的特定特征、结构或特点包含在至少一个实施例中。短语“在一个实施例中”、“在一些实施例中”和“在各实施例中”在本说明书中各地方的出现不一定全都引用相同的实施例。
各实施例可以涉及将校正技术应用于由在平面直线式相机阵列中的相机所捕捉的图像。平面直线式相机阵列通常包括在其中相机的对应光学中心全部近似位于平面的直线式栅格上的相机阵列。
图1展示了如可以表示平面直线式相机阵列的示例相机阵列100，结合所述平面直线式相机阵列可以在各实施例中实现校正技术。如图1所示，相机阵列100包括标号为102-1至102-9的九个相机，所述九个相机如包括在其中的虚线箭头所展示的定向。每个相机102包括对应的光学中心104。例如，相机102-1包括光学中心104-1。实施例并不局限于此示例。
如图1所示，各相机102的光学中心104全部近似地位于公共平面106上。此外，光学中心104被安排为使得每个光学中心近似留在公共平面106内的三行之一和三列之一内。例如，光学中心104-1、104-4和104-7全部近似位于定义列C1的线108-4上，并因此可以被说成留在列C1中，并且光学中心104-7、104-8和104-9全部近似位于定义行R3的线108-3上，并因此可以被说成留在行R3上。一些平面直线式相机阵列(如示例相机阵列100)以多行和多列的相机为特征。在下文中，这种平面直线式相机阵列将被称为“二维(2D)”相机阵列。其他平面直线式相机阵列可以仅包括单行或单列的相机。在下文中，这种平面直线式相机阵列将被称为“线性”相机阵列。例如，在图1中，线性相机阵列110包括相机102-4、102-5和102-6，其中每个相机留在公共平面106的行R2中。将认识到，因为相机在这种阵列中的光学中心可以近似地位于(但不必精确地位于)平面直线式栅格上，所以光学中心在特定的2D相机阵列中的实际安排可以实际是三维的，并且光学中心在特定的线性相机阵列中的实际安排可以实际是二维或三维的。实施例并不局限于本上下文中。
图2A展示了如可以表示由异构相机阵列所捕捉的图像集的捕捉图像阵列200。捕捉图像阵列200包括图像202-1、202-2和202-3。图像202-1、202-2和202-3中的每个图像包括相同的分辨率，表明捕捉那些图像的相机具有相等的分辨率。图像202-1、202-2和202-3中的每个图像描绘相同的视场(FOV)，表明捕捉那些图像的相机以相等的FOV为特征。实施例并不局限于本上下文中。
图2B展示了如在一些实施例中的可以表示由异构相机阵列所捕捉的图像集的捕捉图像阵列250。在此，术语“异构相机阵列”被定义为在其中至少一个相机的分辨率和/或FOV不同于至少一个其他相机的分辨率和/或FOV的相机阵列。捕捉图像阵列250包括图像252-1、252-2和252-3。图像252-1和252-2包括相同的分辨率，但是图像252-2相比图像252-1描绘了更广的视场。这表明相机捕捉图像252-2相比相机捕捉图像252-1以更广的视场为特征。图像252-2和252-3包括相同的视场，但是图像252-3相比图像252-2包括更小的分辨率。这表明捕捉图像252-3的相机相比捕捉图像252-2的相机具有更小的分辨率。实施例并不局限于本上下文中。
在各实施例中，可以令人期望的是，确定在捕捉图像阵列(如图2A的捕捉图像阵列200和/或图2B的捕捉图像阵列250)中的对应图像中的像素位置之间的图像间对应关系。例如，在一些实施例中，可以令人期望的是，确定这种图像间对应关系以便使能够实现用于差异和深度估计、视图插值和/或三维重构的技术。在各实施例中，为了帮助和/或简化这些确定，可令人期望的是对捕捉图像阵列进行校正。
图3展示了在某些实施例中的如可以表示接下来的为了使能够对捕捉图像阵列(如图2A的捕捉图像阵列200和/或图2B的捕捉图像阵列250)的图像进行校正的程序的成像管理程序300。更具体地，图3展示了可以被包括在这种成像管理程序300内的各阶段。如图3所示，成像管理程序300可以包括校准阶段302、映射阶段304和校正阶段306。在校准阶段302过程中，可以针对相机阵列执行校准过程，根据所述校准过程可以确定相机阵列的内部参数和/或外部参数。内部参数的示例可以包括但不限于焦距、主点、以及相机在相机阵列内的偏移。外部参数的示例可以包括但不限于旋转矩阵、平移向量、以及相机在相机阵列内的光学中心。在各实施例中，校准过程可以另外地涉及确定整体地表征相机阵列的一个或多个复合内部参数和/或外部参数。在映射阶段304过程中，可以生成映射信息以用于对由相机阵列采所集的图像进行校正。在一些实施例中，可以基于在校准阶段302过程中确定的内部参数和/或外部参数生成此映射信息。在校正阶段306过程中，可以对由相机阵列捕捉的捕捉图像阵列的图像进行校正。在各实施例中，可以使用在映射阶段304过程中生成的映射信息来进行此校正。实施例并不局限于本上下文中。
值得注意的是，成像管理程序300的阶段可以不一定以不中断的序列发生。例如，在一些实施例中，校准阶段302和映射阶段304可以包括在制造相机阵列的过程中或不久之后所执行的操作，而校正阶段306可以包括在随后的时间点(在所述时间点上使用相机阵列来捕捉图像)上所执行的操作。另外，在各实施例中，可以随时间推移重复成像管理程序300中的一个或多个阶段。例如，在一些实施例中，可以周期性地重复校准阶段302和/或成像阶段304以便解释关于相机阵列的内部参数和/或外部参数可能发生的变化。实施例并不局限于本上下文中。
图4展示了如可以在各实施例中操作用于实现用于异构相机阵列的校正技术的装置400的框图。如图4所示，装置400包括多个元件，包括：处理器电路402、存储器单元404以及成像管理模块406。然而，实施例并不局限于在此附图中示出的元件的类型、数量或安排。
在一些实施例中，装置400可以包括处理器电路402。处理器电路402可以使用任何处理器或逻辑设备来实现，如复杂指令集计算机(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、x86指令集可兼容处理器、实现指令集的组合的处理器、多核处理器(如双核处理器或双核移动处理器)、或任何其他微处理器或中央处理单元(CPU)。处理器电路402还可以被实现为专用处理器，如控制器、微控制器、嵌入式处理器、单片多处理器(CMP)、协处理器、数字信号处理器(DSP)、网络处理器、介质处理器、输入/输出(I/O)处理器、介质访问控制(MAC)处理器、无线电基带处理器、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)等。在一个实施例中，例如，处理器电路402可以被实现为通用处理器，如由加利福利亚州圣克拉拉市的公司制造的处理器。实施例并不局限于本上下文中。
在各实施例中，装置400可以包括存储器单元404或被安排成与所述存储器单元通信地耦合。存储器单元404可以使用使能够储存数据的任何机器可读的或计算机可读的介质来实现，包括易失性和非易失性存储器两者。例如，存储器单元404可以包括：只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双倍数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、聚合物存储器(如铁电聚合物存储器)、奥式存储器、相变或铁电存储器、硅氧化氮氧化硅(SONOS)存储器、磁卡或光卡，或适用于存储信息的任何其他类型的介质。值得注意的是，存储器单元404的某个部分或全部可以被包括在与处理器电路402相同的集成电路上，或者替代地存储器单元404的某个部分或全部可以布置在集成电路或其他的介质(例如，处理器电路402的集成电路之外的硬盘驱动器)上。尽管存储器单元404被包括在图4的装置400内，存储器单元404在一些实施例中可以在装置400的外部。实施例并不局限于本上下文中。
在一些实施例中，装置400可以包括成像管理模块406。成像管理模块406可以包括用于捕捉、处理、编辑、压缩、存储、打印和/或显示一个或多个图像的逻辑、电路和/或指令。在各实施例中，成像管理模块406可以操作用于管理由相机阵列采集图像和/或可以操作用于管理对这种经捕捉的图像的处理。在一些实施例中，成像管理模块406可以结合管理图像捕捉和/或处理相机阵列而操作用于实现成像管理程序(如，图3的成像管理程序300)。实施例并不局限于本上下文中。
图4还展示了系统440的框图。系统440可以包括装置400的上述元件中的任何元件。系统440还可以包括射频(RF)收发器442。RF收发器442可以包括能够使用各种适当的无线通信技术发射并接收信号的一个或多个无线电。这种技术可以涉及跨一个或多个无线网络的通信。示例性无线网络包括(但不限于)蜂窝无线接入网络、无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)和卫星网。在跨这类网络通信时，RF收发器442可以根据任意版本的一个或多个可适用标准进行操作。实施例并不局限于本上下文中。
在各实施例中，系统440可以包括一根或多根RF天线444。任何特定的RF天线444的示例可以包括但不限于：内置天线、全向天线、单极天线、偶极天线、端馈天线、圆极化天线、微带天线、分集式天线、双天线、三频天线、四频天线等。在一些实施例中，RF收发器442可以使用一根或多根RF天线444操作用于发送和/或接收消息和/或数据。实施例并不局限于本上下文中。
在各实施例中，系统440可以包括显示器446。显示器446可以包括能够显示从处理器电路402接收到的信息的任何设备。显示器446的示例可以包括电视机、监视器、投影仪和计算机屏幕。在一个实施例中，例如，显示器446可以由液晶显示器(LCD)、发光二极管(LED)或其他类型的适当的可视界面来实现。显示器446可以包括例如触敏显示器屏幕(“触摸屏”)。在一些实施例中，显示器446可以包括一个或多个薄膜晶体管(TFT)LCD，所述LCD包括嵌入式晶体管。然而，实施例并不局限于这些示例。
在一般的操作中，装置400和/或系统440可以操作用于实现用于异构相机阵列450的校正技术。在各实施例中，异构相机阵列450可以包括平面直线式相机阵列，如2D相机阵列或线性相机阵列。在一些实施例中，在异构相机阵列450内的一些相机可以具有与在异构相机阵列450内的其他相机不同的分辨率。在各实施例中，在异构相机阵列450内的一些相机可以以不同于在异构相机阵列450内的其他相机的视场为特征。在一些实施例中，在异构相机阵列450内的一些相机可以实现不同于在异构相机阵列450内的其他相机的像素大小。值得注意的是，尽管在图4中描绘的异构相机阵列450是在装置400和系统440的外部，异构相机阵列450在各实施例中仍可以包括在装置400和/或系统440之内。实施例并不局限于本上下文中。
在一些实施例中，成像管理模块406可以操作用于执行用于异构相机阵列450的校准过程。在各实施例中，校准过程可以涉及确定异构相机阵列450的内部参数和/或外部参数。内部参数的示例可以包括但不限于焦距、主点以及相机在异构相机阵列450内的偏移。外部参数的示例可以包括但不限于旋转矩阵、平移向量以及相机在异构相机阵列450内的光学中心。在一些实施例中，成像管理模块406可以操作用于确定整体地描述异构相机阵列450的而不是描述异构相机阵列450内的特定相机的一个或多个内部参数和/或外部参数实施例并不局限于本上下文中。
在各实施例中，成像管理模块406可以操作用于针对异构相机阵列450中的每个相机生成对应的内部参数矩阵408。在一些实施例中，每个内部参数矩阵408可以包括焦距、主点以及其对应的相机的偏移。在各实施例中，成像管理模块406和/或一个或多个其他部件可以操作用于对给定的相机执行测量以便确定那个相机的焦距、主点和偏移，并且相机管理模块406可以操作用于基于那些测量生成针对那个相机的内部参数矩阵408。在一些实施例中，每个内部参数矩阵408可以包括以像素单位表达的值。在各种其他实施例中，一个或多个内部参数矩阵408可以包括以物理单位(例如，如，毫米)表达的值。在这种实施例中，成像管理模块406可以操作用于随后将这类值转换成像素单位以便建立统一的基础以用于比较和/或操纵针对异构相机阵列450的各相机的内部参数矩阵408。实施例并不局限于本上下文中。
在一些实施例中，成像管理模块406可以操作用于生成一个或多个复合内部参数矩阵410。每个复合内部参数矩阵410可以包括整体地描述异构相机阵列450或者描述异构相机阵列450内的相机子集的一个或多个复合内部参数。在各实施例中，每个复合内部参数矩阵410可以包括复合焦距、复合主点和/或针对异构相机阵列450或异构相机阵列450内的相机子集的复合偏移。在一些实施例中，成像管理模块406可以操作用于基于一个或多个内部参数矩阵408生成每个复合内部参数矩阵410。例如，在各实施例中，成像管理模块406可以操作用于通过对关于一个或多个内部参数的内部参数矩阵408的集合求平均来生成给定的复合内部参数矩阵410。在示例实施例中，成像管理模块406可以操作用于将复合偏移计算为在内部参数矩阵408的集合中的对应偏移，并且可以操作用于将那个复合偏移包括在复合内部参数矩阵410内。
在一些实施例中，成像管理模块406可以操作用于基于全部内部参数矩阵408生成复合内部参数矩阵410。在各实施例中，另外地或替代性地，成像管理模块406可以操作用于基于内部参数矩阵408的子集生成一个或多个复合内部参数矩阵410。在一些实施例中，内部参数矩阵的这种子集可以对应于以特定的分辨率和/或FOV为特征的相机。例如，在各实施例中，成像管理模块406可以操作用于通过对在异构相机阵列450内的最低分辨率相机的内部参数矩阵408求平均来生成复合内部参数矩阵410。实施例并不局限于此示例。
在一些实施例中，成像管理模块406可以操作用于定义参考坐标系并且根据那个参考坐标系确定异构相机阵列450中的相机的旋转矩阵412和平移向量414。在各实施例中，每个旋转矩阵412可以描述特定相机的定向与参考坐标系中的参考定向之间的差异。在一些实施例中，参考定向可以包括在参考坐标系中的方向。在各实施例中，每个平移向量414可以包括以向量形式表达的根据参考系的特定相机的光学中心坐标。实施例并不局限于本上下文中。
图5展示了确定旋转矩阵516和平移向量518的示例，如可以表示由图4的成像管理模块406执行的确定。如图5所示，参考坐标系被定义包括和方向。焦距502包括从相机500的光学中心504延伸至相机500的图像平面506的线段。焦距502垂直于图像平面506，并且与图像平面506在主点508处相交。相机500的定向510被定义为焦距502从光学中心504延伸至并经过主点508所表示的方向。在此示例中，参考坐标系的方向被选择作为参考方向512。角度θ包括相机500的定向510关于参考坐标系的参考方向512的相对旋转514。
相机500的旋转矩阵516通过以根据参考坐标系采用对定向510进行描述的单位向量矩阵的形式表达定向510来指示相对旋转514。在图5的示例中，相机500的旋转矩阵516采用由如下等式(1)所描述的形式：
R516＝[Ox Oy Oz]Tr (1)
其中，R516表示相机500的旋转矩阵516，Ox、Oy和Oz包括表示根据参考坐标系的定向510的和分量的单位向量系数，并且Tr表示向量转置操作。实施例并不局限于此示例。
相机500的平移向量518指示在光学中心504的位置与参考坐标系的原点位置之间的在和方向上的相对偏移。在图5的示例中，相机500的平移向量518采用由如下等式(2)所描述的形式：
T518＝(Δx，Δy，Δz) (2)
其中，T518表示相机500的平移向量518，Δx表示光学中心504与原点之间的在方向上的相对偏移，Δy表示光学中心504与原点之间的在方向上的相对偏移，并且Δz表示光学中心504与原点之间的在方向上的相对偏移。实施例并不局限于此示例。
返回图4，在一些实施例中，成像管理模块406可以操作用于确定异构相机阵列450的复合旋转矩阵416。在各实施例中，复合旋转矩阵416可以描述异构相机阵列450的复合定向与参考坐标系的参考定向之间的差异。在一些实施例中，成像管理模块406可以操作用于基于针对异构相机阵列450中的相机的平移向量414确定异构相机阵列450的复合定向。在各实施例中，成像管理模块406可以操作用于基于平移向量414确定异构相机阵列450中的相机的光学中心的坐标，并且基于所确定的光学中心坐标确定异构相机阵列450的复合定向。在一些实施例中，针对异构相机阵列450中的第i个相机，光学中心的坐标可以采用形式(xi，yi，zi)，其中，xi、yi和zi表示第i个相机在参考坐标系的对应种方向上的坐标。在各实施例中，给定针对第i个相机的旋转矩阵412和平移向量414，成像管理模块406可以操作用于根据以下等式(3)确定第i个相机的光学中心：
c i = - R i T r T i - - - ( 3 )
其中，ci表示第i个相机的光学中心，Ti表示第i个相机的平移向量414，Ri表示第i个相机的旋转矩阵412，并且Tr表示转置操作。实施例并不局限于本上下文中。
在异构相机阵列450包括线性相机阵列的一些实施例中，成像管理模块406可以操作用于通过在3D空间中将线拟合到异构相机阵列450中的相机的光学中心而确定异构相机阵列450的复合定向和阵列坐标系。例如，关于图1的线性相机阵列110，成像管理模块406可以操作用于通过将线108-2拟合到相机102-4、103-3和102-4的对应光学中心104-4、104-5和104-6而确定复合定向和阵列坐标系。在各实施例中，成像管理模块406可以操作用于针对异构相机阵列450中的相机标识超定线性方程组，并且可以操作用于通过对那个线性方程组应用最小平方误差最小化技术而在3D空间中确定所述线。在一些实施例中，沿着所述线的单位向量可以被选择作为阵列坐标系的方向，并且垂直于阵列坐标系的方向以及参考坐标系的方向的单位向量可以被选择作为阵列坐标系的方向。阵列坐标系的方向可以被定义为与阵列坐标系的和方向垂直的单位向量，并且异构相机阵列450的复合定向可以被定义为阵列坐标系的方向。实施例并不局限于本上下文中。
在异构相机阵列450包括2D相机阵列的各实施例中，成像管理模块406可以操作用于通过在3D空间中将一组线拟合到异构相机阵列450中的相机的光学中心而确定异构相机阵列450的复合定向和阵列坐标系。在一些实施例中，所述一组线可以包括直线式栅格，其中，每条线彼此要么相互垂直要么相互平行。例如，关于图1的2D相机阵列100，成像管理模块406可以操作用于通过将由线108-1、108-2、108-3、108-4、108-5和108-6定义的直线式栅格拟合到包括在公共平面106中的光学中心104的安排中而确定复合定向和阵列坐标系。在各实施例中，成像管理模块406可以操作用于针对异构相机阵列450中的相机标识超定线性方程组，并且可以操作用于通过对那个线性方程组应用最小平方误差最小化技术而在3D空间中确定所述一组线。在一些实施例中，沿着更接近地对应于3D空间中的水平维度的这些线的单位向量可以被选择作为阵列坐标系的方向，并且沿着与方向垂直的这些线的单位向量可以被选择作为阵列坐标系的方向。阵列坐标系的方向可以被定义为与阵列坐标系的和方向垂直的单位向量，并且异构相机阵列450的复合定向可以被定义为阵列坐标系的方向。实施例并不局限于本上下文中。
如以上指出的，在各实施例中，成像管理模块406可以操作用于基于异构相机阵列450的复合定向确定异构相机阵列450的复合旋转矩阵416。在一些实施例中，复合旋转矩阵416可以描述异构相机阵列450的复合定向与参考坐标系的参考定向之间的差异。在各实施例中，复合旋转矩阵416可以描述参考坐标系中的方向与阵列坐标系的方向之间的差异。在一些实施例中，成像管理模块406可以操作用于确定复合旋转矩阵416，从而使得：当以参考坐标系的单位维向量表示的方向乘以复合旋转矩阵416时，结果将是以阵列坐标系并且相对于异构相机阵列450的复合定向标识方向的向量。实施例并不局限于本上下文中。
在各实施例中，成像管理模块406可以操作用于基于在异构相机阵列450的校准过程期间所确定的信息生成一个或多个校正映射418。在一些实施例中，每个校正映射418可以对应于异构相机阵列450中的特定相机，并且可以可用于生成由那个相机捕捉的图像的校正版本。更具体地，每个校正映射418可以包括可用于标识例如在由给定的相机所捕捉的假想图像中的任何特定点、在那个假想图像的校正版本中的对应点的信息。在各实施例中，每个校正映射418可以与结合对由其对应的相机捕捉的图像的校正使用特定分辨率和/或FOV的相关联。在一些实施例中，针对异构相机阵列450中的每个相机，成像管理模块406可以操作用于生成对应于那个相机的固有分辨率和/或固有FOV的对应校正映射418。在各实施例中，可以针对同一相机生成对应于不同分辨率和/或FOV的多个校正映射418。在示例实施例中，可以生成第一校正映射418以用于校正给定相机的以所述相机的固有分辨率和FOV捕捉的图像，并且可以生成第二校正映射418以用于校正所述相机的以不同的分辨率和/或不同的FOV捕捉的图像。实施例并不局限于本上下文中。
在一些实施例中，成像管理模块406可以操作用于选择一个或多个参考分辨率并且针对所述一个或多个参考分辨率中的每个分辨率为异构相机阵列450中的一个或多个相机中的每个相机生成对应的校正映射418。在示例实施例中，成像管理模块406可以操作用于将最低分辨率相机的分辨率选择作为参考分辨率，并且可以操作用于针对以更高分辨率为特征的每个相机生成对应于最低分辨率相机的分辨率的校正映射418。类似地，在各实施例中，成像管理模块406可以操作用于选择一个或多个参考FOV并且针对所述一个或多个参考FOV中的每个FOV为异构相机阵列450中的一个或多个相机中的每个相机生成对应的校正映射418。在示例实施例中，成像管理模块406可以操作用于从异构相机阵列450中的相机中标识出最小的FOV，将那个最小的FOV选择作为参考FOV，并且针对以更高分辨率为特征的每个相机生成对应于那个最小FOV的校正映射418。实施例不局限于这些示例。
应认识到，在一些实施例中，针对异构相机阵列450中的给定相机，可以生成对应于固有的和非固有的分辨率和FOV的众多对应组合的众多校正映射418。在示例实施例中，针对给定相机，成像管理模块406可以操作用于生成对应于相机的固有分辨率和固有FOV的第一校正映射418、对应于固有分辨率和参考FOV的第二校正映射418、对应于固有FOV和参考分辨率的第三校正映射418以及对应于参考分辨率和参考FOV的第四校正映射418。进一步认识到，可以根据任何任意的分辨率和FOV生成校正映射418，并且给定校正映射418所对应的分辨率和/或FOV可以或可以不包括在异构相机阵列450内的任何相机的实际分辨率和/或FOV。实施例并不局限于本上下文中。
在各实施例中，成像管理模块406可以操作用于生成一个或多个校正映射418以用在固有校正中。如在此使用的，术语“固有校正”被定义为这样一种校正：根据所述固有校正，针对在异构相机阵列450中的每个相机，所生成的对应校正图像包括与基于其得到的捕捉图像相同的分辨率和FOV。换言之，在固有校正过程中，可以保留经捕捉的图像的固有分辨率和FOV。在一些实施例中，可以令人期望的是，成像管理模块406生成校正映射集418以用在固有校正中以便使得能够以并不放弃由以较高分辨率和/或较宽FOV为特征的相机所提供的细节层次的方式来应用校正技术。实施例并不局限于本上下文中。
在各实施例中，针对由异构相机阵列450中的第i个相机捕捉的图像的固有校正，成像管理模块406可以操作用于根据由以下等式(4)和(5)定义的同形异义性生成校正映射418：
mi＝[u v l]Tr (4)
mi 新＝(KiR)(KiRi)-1mi 旧 (5)
其中，mi表示在第i个相机的图像平面上的像素的齐次坐标，u表示在那个图像平面的方向上的齐次坐标，v表示在那个图像的方向上的齐次坐标，Tr表示转置操作，mi 新表示校正后的齐次坐标，mi 旧表示校正前的齐次坐标，Ki表示第i个相机的内部参数矩阵408，Ri表示第i个相机的旋转矩阵412，并且R表示异构相机阵列450的复合旋转矩阵416。实施例并不局限于本上下文中。
在一些实施例中，根据成像管理模块406所生成的用在固有校正中的校正映射集418，可以定义在驻留在异构相机阵列450的同一行中的第i个和第j个相机各自捕捉的图像中的相应的竖直位置之间的映射，并且可以由以下等式(6)来描述：
y j = f y j f y i y i + ( c y j - f y j f y j c y i ) - - - ( 6 )
其中，yi表示在第i个相机的捕捉图像中的竖直位置，yj表示在第j个相机的捕捉图像中的相应的竖直位置，fyi和fyj分别表示第i个和第j个相机在竖直方向上的焦距，并且cyi和cyj表示第i个和第j个相机各自的光学中心的竖直坐标。实施例并不局限于本上下文中。
在各实施例中，根据成像管理模块406所生成的用在固有校正中的校正映射集418，可以定义在驻留在异构相机阵列450的同一列中的第i个和第j个相机各自捕捉的图像中的相应的水平位置之间的映射，并且可以由以下等式(7)来描述：
x j = f x j f x i x i + ( c x j - f x j f x j c x i ) - - - ( 7 )
其中，xi表示在第i个相机的捕捉图像中的水平位置，xj表示在第j个相机的捕捉图像中的相应的水平位置，fxi和fxj分别表示第i个和第j个相机在水平方向上的焦距，并且cxi和cxj表示第i个和第j个相机各自的光学中心的水平坐标。实施例并不局限于本上下文中。
在一些实施例中，成像管理模块406可以操作用于生成一个或多个校正映射418以用在归一化校正中。如在此使用的，术语“归一化校正”被定义为这样一种校正：根据所述归一化校正，针对在异构相机阵列450中的至少一个相机，所生成的对应校正图像包括与基于其得到的捕捉图像不同的分辨率和/或不同的FOV。换言之，在归一化校正过程中，对至少一个捕捉图像的分辨率和/或FOV进行修改。在各实施例中，成像管理模块406可以操作用于生成校正映射集418，所述校正映射集经由归一化校正过程可用于将一组异构捕捉图像转换成以统一的分辨率和统一的FOV为特征的一组经校正的图像。例如，在一些实施例中，成像管理模块406可以操作用于生成这样校正映射集418以便支持和/或简化差异估计的执行。在各实施例中，每个这样的校正映射集418可以定义归一化校正的映射，根据所述映射，在所获得的校正图像阵列中，在任何特定的行中的图像中相应的像素被竖直地对准，并且在任何特定的列中的图像中相应的像素被水平地对准。实施例并不局限于本上下文中。
在一些实施例中，成像管理模块406可以操作用于生成多组这样的校正映射418，每组可用于获得以不同的各自统一的分辨率和/或FOV为特征的一组经校正的图像。例如，为了在各实施例中支持和/或简化多尺度差异估计的执行，成像管理模块406可以操作用于生成对应于异构相机阵列450的相机中所存在的最低分辨率的第校正映射集418，并且可以操作用于生成对应于异构相机阵列450的相机中所存在的另一个分辨率的第二组校正映射418。实施例并不局限于此示例。
在一些实施例中，针对每个这样的校正映射集418，成像管理模块406可以操作用于生成对应的复合内部参数矩阵410，所述复合内部参数矩阵410对应于那组校正映射418旨在的归一化校正的目标分辨率和/或目标FOV。在各实施例中，成像管理模块406可以操作用于基于固有地以目标分辨率和/或目标FOV为特征的相机的内部参数矩阵408生成每个这样的一组复合内部参数矩阵410。继续之前的示例，成像管理模块406可以操作用于生成包括在异构相机阵列450中的最低分辨率相机的内部参数矩阵408的平均值的第一复合内部参数矩阵410，并且可以操作用于生成包括以第二组校正映射418对应的分辨率为特征的相机的内部参数矩阵408的平均值的第二复合内部参数矩阵410。实施例并不局限于此示例。
在一些实施例中，针对由异构相机阵列450中的第i个相机捕捉的图像的归一化校正，成像管理模块406可以操作用于根据由以上等式(4)和以下等式(8)定义的同形异义性生成校正映射418：
其中，mi 新表示校正后的齐次坐标，mi 旧表示校正前的齐次坐标，K表示对应于针对所述校正的目标分辨率和/或FOV的复合内部参数矩阵410，Ki表示针对第i个相机的内部参数矩阵408，Ri表示针对第i个相机的旋转矩阵412，并且R表示针对异构相机阵列450的复合旋转矩阵416。实施例并不局限于本上下文中。
在各实施例中，成像管理模块406可以操作用于对由异构相机阵列450捕捉的捕捉图像阵列452执行校正，并且可以由此获得一个或多个校正图像阵列420。在一些实施例中，校正可以包括固有校正、归一化校正或两者。例如，在各实施例中，成像管理模块406可以操作用于对捕捉图像阵列452执行固有校正以获得第一校正图像阵列420，并且可以操作用于执行一个或多个归一化校正过程以基于捕捉图像阵列452获得一个或多个附加的对应校正图像阵列420。在一些实施例中，成像管理模块406可以操作用于使用一个或多个校正映射418执行每次校正。更具体地，在各实施例中，成像管理模块406可以操作用于使用适合于每次特定校正的对应校正映射集418来执行那次校正。在一些实施例中，成像管理模块406可能已经预先计算并存储了校正映射418以供随后使用，并且可以操作用于从存储设备中检索合适的校正映射418以便执行校正。在各种其他实施例中，成像管理模块406可以操作用于实时地计算合适的校正映射418(当它们变得需要用于校正中时)。在又其他实施例中，成像管理模块406可以操作用于预先计算并且存储一些校正映射418并操作用于实时地计算其他校正映射418(当它变得需要时)。实施例并不局限于本上下文中。
图6展示了如可以表示一些实施例的归一化校正过程600的示例。更具体地，归一化校正过程600包括如可以由图4的成像管理模块406对从线性异构相机阵列450获得的捕捉图像阵列452执行的归一化校正过程的示例。如图6所示，归一化校正过程600涉及将捕捉图像阵列610转换成校正图像阵列620。捕捉图像阵列610包括捕捉图像612-1、612-2和612-3，其中每个捕捉图像可以对应于线性异构相机阵列中的对应相机。校正图像阵列620包括图像622-1、622-2和622-3，所述图像分别包括捕捉图像612-1、612-2和612-3的校正版本。在捕捉图像阵列610中，捕捉图像612-2相比捕捉图像612-1和612-3包括更大的分辨率并且反应更宽的FOV。在经由归一化校正过程600获得的校正图像阵列620中，然而，校正图像622-2包括与校正图像622-1和622-3相同的分辨率和相同的FOV。进一步地，在校正图像阵列620中的校正图像中的相应像素在对应的校正图像622-1、622-2和622-3的每个图像内驻留在相同的竖直位置处。在各实施例中，这个属性可以简化在校正图像622-1、622-2和622-3中的像素之间的图像间对应关系的确定。其他优点可以与某些实施例相关联，并且实施例不局限在本上下文中。
还可以参考如下附图和所附示例来描述上文的实施例的操作。一些附图可以包括逻辑流程。尽管在此呈现的这些附图可以包括特定的逻辑流程，但可以理解，所述逻辑流程仅仅提供可以如何实现在此描述的一般功能的示例。此外，除非另外指出，不是必须按照所呈现的顺序执行给定的逻辑流程。另外，给定的逻辑流程可由硬件元件、由处理器执行的软件元件或其任意组合来实现。实施例并不局限于本上下文中。
图7展示了逻辑流程700的实施例，所述逻辑流程可以表示由在此描述的一个或多个实施例所执行的操作。例如，逻辑流程700可以表示由图4的装置400和/或系统440在各实施例中执行的校准过程。如逻辑流程700所示，可以针对异构相机阵列中的每个相机确定对应的旋转矩阵、光学中心位置和内部参数矩阵。例如，图4的成像管理模块406可以操作用于针对异构相机阵列450中的每个相机确定对应的旋转矩阵412、平移向量414和内部参数矩阵408，并且可以基于其相应的平移向量414确定针对那些相机中的每个相机的对应光学中心位置。
在704，可以基于异构相机阵列中的相机的光学中心位置定义异构相机阵列的复合定向和阵列坐标系。例如，图4的成像管理模块406可以操作用于基于在异构相机阵列450内的相机的光学中心位置确定异构相机阵列450的复合定向和阵列坐标系。在706，可以基于异构相机阵列的复合定向并且基于参考定向确定异构相机的复合旋转矩阵。例如，图4的成像管理模块406可以操作用于通过将异构相机阵列450的复合定向与参考坐标系的参考定向进行比较来确定异构相机阵列450的复合旋转矩阵416。在708，可以基于在异构相机阵列内的相机的内部参数矩阵确定一个或多个复合内部参数矩阵。例如，图4的成像管理模块406可以操作用于基于在异构相机阵列450内的相机的内部参数矩阵408确定一个或多个复合内部参数矩阵410。实施例不局限于这些示例。
图8展示了逻辑流程800的实施例，所述逻辑流程可以表示由在此描述的一个或多个实施例所执行的操作。例如，逻辑流程800可以表示图4的装置400和/或系统440可以在一些实施例中执行的以便使可以由异构相机阵列450生成的捕捉图像阵列452的归一化校正成为可能的操作。如逻辑流程800所示，在802，可以选择归一化校正过程的目标分辨率以应用于由异构相机阵列捕捉的图像中。例如，图4的成像管理模块406可以操作用于选择针对归一化校正过程的目标分辨率以有可能应用于其可以从异构相机阵列450接收的捕捉图像阵列452。
在804，可以基于以所选目标分辨率为特征的一个或多个相机的对应内部参数矩阵生成归一化校正过程的复合内部参数矩阵。例如，图4的成像管理模块406可以操作用于通过对在异构相机阵列450中的以与归一化校正过程的目标分辨率相匹配的分辨率为特征的相机的内部参数矩阵408求平均来生成针对归一化校正过程的复合内部参数矩阵410。在806，可以基于复合内部参数矩阵生成归一化校正过程的校正映射集。例如，图4的成像管理模块406可以基于其针对归一化校正过程生成的复合内部参数矩阵410操作用于生成针对归一化校正过程的校正映射集。实施例不局限于这些示例。
图9展示了逻辑流程900的实施例，所述逻辑流程可以表示由在此描述的一个或多个实施例所执行的操作。例如，逻辑流程900可以表示图4的装置400和/或系统440可以在各实施例中执行的校正过程。如在逻辑流程900中所示的，在902，可以从异构相机阵列接收捕捉图像阵列。例如，图4的成像管理模块406可以操作用于从异构相机阵列450接收捕捉图像阵列452。在904，可以选择校正过程以应用于捕捉图像阵列。例如，图4的成像管理模块406可以操作用于选择或者固有校正过程或者归一化校正过程以应用于捕捉图像阵列452。在906，可以针对所选的校正过程标识校正映射集。例如，图4的成像管理模块406可以操作用于针对其在904所选的校正过程标识校正映射集418。在908，所述校正映射集可以应用于捕捉图像阵列以获得校正图像阵列。例如，成像管理模块406可以操作用于将所选的校正映射集418应用于捕捉图像阵列452以便获得校正图像阵列420。实施例不局限于这些示例。
图10展示了存储介质1000的实施例。存储介质1000可以包括任何非瞬态计算机可读存储介质或机器可读存储介质，如光学、磁性或半导体存储装置。在各实施例中，存储介质1000可以包括制品。在一些实施例中，存储介质1000可以存储计算机可执行指令，如用于实现图7的逻辑流程700、图8的逻辑流程800和/或图9的逻辑流程900的计算机可执行指令。计算机可读存储介质或机器可读存储介质的示例可以包括能够存储电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移除存储器或不可移除存储器、可擦除存储器或不可擦除存储器、可写存储器或可重写存储器等。计算机可执行指令的示例可以包括任何适当类型的代码，如源代码、编译代码、翻译码、可执行代码、静态代码、动态代码、面向对象代码、可视代码等。实施例并不局限于本上下文中。
图11展示了系统1100的一个实施例。在各实施例中，系统1100可以表示适合与在此描述的一个或多个实施例(如图4的装置400和/或系统440、图7的逻辑流程700、图8的逻辑流程800、图9的逻辑流程900和/或图10的存储介质1000)一起使用的系统或架构。实施例不限于此方面。
如图11所示，系统1100可以包括多个元件。如针对给定的设计或性能约束集合所期望的，一个或多个元件可以使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块、或其任何组合来实现。举例来讲，虽然图11示出在某个拓扑中的有限数量的元件，但是可以认识到可以按给定实现方式所期望的在系统1100中使用在任何合适的拓扑中的或多或少的元件。实施例并不局限于本上下文中。
在各实施例中，系统1100可以包括处理器电路1102。处理器电路1102可以使用任何处理器或逻辑设备来实现，并且可以与图4的处理器电路402相同或者相似。
在一个实施例中，系统1100可以包括用于耦合至处理器电路1102的存储器单元1104。如给定实现方式所期望的，存储器单元1104可以经由通信总线1143或通过处理器电路1102与存储器单元1104之间的专用通信总线耦合至处理器电路1102。存储器单元1104可以使用能够存储数据的任何机器可读的或计算机可读的介质来实现，并且可以与图4的存储器介质404相同或相似。在一些实施例中，机器可读的或计算机可读的介质可以包括非瞬态介质。实施例并不局限于本上下文中。
在各实施例中，系统1100可以包括RF收发器1144。RF收发器1144可以包括能够使用各种合适的无线通信技术发射并接收信号的一个或多个无线电，并且可以与图4的RF收发器442相同或相似。
在各实施例中，系统1100可以包括显示器1145。显示器1145可以包括能够显示从处理器电路1102接收到的信息的任何显示设备，并且可以与图4的显示器446相同或相似。实施例并不局限于本上下文中。
在各实施例中，系统1100可以包括存储设备1146。存储设备1146可以被实现为非易失性存储设备，如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池应急SDRAM(同步DRAM)和/或可接入网络的存储设备。在实施例中，存储设备1146可以包括用于当例如包括多个硬盘驱动器时增加对有价值的数字媒体的存储性能增强型保护的技术。存储设备1146的进一步示例可以包括硬磁盘、软磁盘、只读光盘存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储器卡或磁盘、各种类型的DVD设备、磁带设备、盒式磁带设备等。实施例并不局限于本上下文中。
在各实施例中，系统1100可以包括一个或多个I/O适配器1147。I/O适配器1147的示例可以包括通用串行总线(USB)端口/适配器、IEEE 1394火线端口/适配器等。实施例并不局限于本上下文中。
图12展示了系统1200的实施例。在各实施例中，系统1200可以表示适合与在此描述的一个或多个实施例(如图4的装置400和/或系统440、图7的逻辑流程700、图8的逻辑流程800、图9的逻辑流程900、图10的存储介质1000和/或图11的系统1100)一起使用的系统或架构。实施例不限于此方面。
如图12所示，系统1200可以包括多个元件。如针对给定的设计或性能约束集合所期望的，一个或多个元件可以使用一个或多个电路、组件、寄存器、处理器、软件子例程、模块、或其任何组合来实现。举例来讲，虽然图12示出在某个拓扑中的有限数量的元件，但是可以认识到可以按给定实现方式所期望的在系统1200中使用在任何合适的拓扑中的或多或少的元件。实施例并不局限于本上下文中。
在实施例中，虽然系统1200不限于此上下文，系统1200可以是媒体系统。例如，系统1200可以并入个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
在实施例中，系统1200包括耦合到显示器1245的平台1201。平台1201可以接收来自内容设备的内容，如(多个)内容服务设备1248或(多个)内容传递设备1249或者其他类似内容源。包括一个或多个导航特征的导航控制器1250可以用来例如与平台1201和/或显示器1245交互。以下将更详细地描述这些组件中的每个组件。
在实施例中，平台1201可以包括处理器电路1202、芯片组1203、存储器单元1204、收发器1244、存储设备1246、应用1251和/或图形子系统1252的任意组合。芯片组1203可以在处理器电路1202、存储器单元1204、收发器1244、存储设备1246、应用1251和/或图形子系统1252中提供相互通信。例如，芯片组1203可以包括能够提供与存储器1246的相互通信的存储器适配器(未描绘)。
处理器电路1202可以使用任何处理器或逻辑设备来实现，并且可以与图11中的处理器电路1102相同或者相似。
存储器单元1204可以使用能够存储数据的任何机器可读的或计算机可读的介质来实现，并且可以与图11的存储器单元1104相同或相似。
收发器1244可以包括能够使用各种合适的无线通信技术发射并接收信号的一个或多个无线电，并且可以与图11的收发器1144相同或相似。
显示器1245可以包括任何电视类型监视器或显示器，并且可以与图11中的显示器1145相同或相似。
存储设备1246可以被实现为非易失性存储设备，并且可以与图11的存储设备1146相同或相似。
图形子系统1252可以对如用于显示的静态或视频图像执行处理。例如，图形子系统1252可以是图形处理单元(GPU)或视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦合图形子系统1252与显示器1245。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或符合无线HD的技术中的任何一个接口。图形子系统1252可以集成到处理器电路1202或芯片组1203中。图形子系统1252可以是通信地耦合到芯片组1203的独立卡。
在此描述的图形和/或视频处理技术可以用各种硬件架构实现。例如，图形和/或视频功能可以被集成到芯片组中。替代性地，可以使用分立的图形和/或视频处理器。如又另一个实施例，图形和/或视频功能可以由通用处理器(包括多核处理器)来实现。在进一步的实施例中，所述功能可以在消费电子设备中实现。
在实施例中，(多个)内容服务设备1248可以发起于任意国家的、国际的和/或独立的服务，并因此例如经由互联网可接入平台1201。(多个)内容服务设备1248可以耦合到平台1201和/或显示器1245。平台1201和/或(多个)内容服务设备1248可以耦合到网络1253以将媒体信息传达至网络1253或从网络1253接收(例如，发送和/或接收)。(多个)内容传递设备1249也可以耦合到平台1201和/或显示器1245。
在实施例中，(多个)内容服务设备1248可以包括有线电视盒、个人电脑、网络、电话、能够传递数字信息和/或内容的启用互联网的设备或装置、以及能够在内容提供方与平台1201和/或显示器1245之间经由网络1253或直接地单向或双向传达内容的任何其他类似设备。将理解，内容可以经由网络1253单向地和/或双向地来往于系统1200中的任何一个组件与内容提供方之间进行通信。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
(多个)内容服务设备1248接收如包含媒体信息、数字信息和/或其他内容的有线电视节目的内容。内容提供方的示例可以包括任何有线或卫星电视或无线电或互联网内容提供方。所提供的示例并不意在限制所公开的主题的实施例。
在实施例中，平台1201可以从具有一个或多个导航特征的导航控制器1250中接收控制信号。导航控制器1250的导航特征可以用来例如与用户界面1254交互。在实施例中，导航控制器1250可以是定位设备，所述定位设备可以是允许用户输入空间(如连续的和多维的)数据到计算机的计算机硬件组件(特别是人机接口设备)。如图形用户界面(GUI)和电视机和监视器的许多系统允许用户使用物理姿势控制计算机或电视机并向计算机或电视机提供数据。
可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示符的移动在显示器(例如，显示器1245)上回应导航控制器1250的导航特征的移动。例如，在软件应用1251的控制下，位于导航控制器1250上的导航特征可以被映射为在用户界面1254上显示的虚拟导航特征。在实施例中，导航控制器1250可以不是独立组件而是集成在平台1201和/或显示器1245内。然而实施例不限于这些元素或此处显示或描述的内容。
在实施例中，驱动器(未示出)可以包括使用户能够通过例如在初始启动后启动的按钮的触摸立刻打开和关闭类似电视机的平台1201的技术。当平台被“关闭”时，程序逻辑可以允许平台1201流出内容到媒体适配器或其他(多个)内容服务设备1248或(多个)内容传递设备1249。此外，芯片组1203可以例如包括用于支持如5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各实施例中，图形驱动器可以包括外围组件互连(PCI)快速图形卡。
在各实施例中，可以对系统1200中示出的任何一个或多个组件进行集成。例如，平台1201和(多个)内容服务设备1248可以是集成的，或者平台1201和(多个)内容传递设备1249可以是集成的，或者平台1201、(多个)内容服务设备1248和(多个)内容传递设备1249可以例如是集成的。在各实施例中，平台1201和显示器1245可以是集成单元。例如，显示器1245和(多个)内容服务设备1248可以是集成的，或者显示器1245和(多个)内容传递设备1249可以是集成的。这些示例并不意在限制所公开的主题。
在各实施例中，系统1200可以被实现为无线系统、有线系统或二者的组合。当被实现为无线系统时，系统1200可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线频谱部分，如RF频谱等。当被实现为有线系统时，系统1200可以包括适用于通过有线通信介质(如I/O适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
平台1201可以建立一个或多个逻辑或物理信道以传达信息。所述信息可以包括媒体信息和控制信息。媒体信息可以指表示为用户准备的内容的任何数据。例如，内容的示例可以包括来自语音对话、视频会议、流媒体视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文字等的数据。例如，来自语音对话的数据可以是语音信息、沉默时段、背景噪音、舒适噪音、声调等。控制信息可以是指表示针对自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于将媒体信息路由通过系统或指示节点以预定方式处理媒体信息。然而，各实施例不限于图12中示出或描述的元素或上下文。
如上所述，系统1200可以用变化的物理风格或形成因子来体现。
图13展示了可以用其体现系统1200的小形成因子设备1300的实施例。例如，在实施例中，设备1300可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源(如一个或多个电池)的任何设备。
如上所述，移动计算设备的示例可以包括个人计算机(PC)、膝上计算机、超级膝上计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。
移动计算设备的示例还可以包括被安排来由人穿戴的计算机，如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机以及其他可穿戴计算机。在实施例中，例如移动计算设备可以实现为能够执行计算机应用程序、以及语音通信和/或数据通信的智能电话。举例来讲，尽管一些实施例可以用被实现为智能电话的移动计算设备描述，可以理解的是，其他实施例也可以使用其他无线移动计算设备实现。实施例并不局限于本上下文中。
如图13所示，设备1300可以包括显示器1345、导航控制器1350、用户界面1354、外壳1355、I/O设备1356和天线1357。显示器1345可以包括用于显示适合于移动计算设备的信息的任何合适的显示单元，并且可以与图12的显示器1245相同或相似。导航控制器1350可以包括一个或多个导航特征，所述一个或多个导航特征可以用于与用户界面1354交互，并且可以与图12中的导航控制器1250相同或相似。I/O设备1356可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备1356的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、摇杆式开关、麦克风、扬声器、话音识别设备和软件等。信息也可以通过麦克风输入到设备1300中。这种信息可以由话音识别设备数字化。实施例并不局限于本上下文中。
可以使用硬件元件、软件元件、或两者的组合来实现各实施例。硬件元件的示例可以包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。判定是否使用硬件元件和/或软件元件来实现实施例可以根据多个因数而变化，如预期的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
可以由机器可读介质上所存储的表属性指令实现至少一个实施例的一个或多个方面，所述指令代表处理器内的各种逻辑，当被机器读取时所述指令致使所述机器制作用于实现在此所描述的技术的逻辑。此类表示(称为“IP核”)可以被存储在有形的机器可读介质上并提供给各顾客或制造设施以加载至实际制作所述逻辑或处理器的制作机器中。一些实施例可以使用例如机器可读介质或制品来实现，所述机器可读介质或制品可以存储指令或指令集，所述指令或指令集在被机器执行的情况下可以使机器执行根据这些实施例的方法和/或操作。此类机器可以包括例如任何适当的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和/或软件的任何适当的组合来实现。机器可读介质或制品可以包括，例如，任何适当类型的存储器单元、存储器设备、存储器制品、存储器介质、存储设备、存储制品、存储介质和/或存储单元，例如，存储器、可移除或不可移除介质、可擦除或不可擦除介质、可写入或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移除存储器卡或光盘、各种类型的数字通用光盘(DVD)、磁带、盒式磁带等。指令可以包括使用任何适当的高级、低级、面向对象、可视化、编译和/或解释编程语言实现的任何适当类型的代码，如：源代码、编译代码、解释代码、可执行代码、静态码、动态码、加密代码等等。
下面的示例涉及进一步的实施例：
示例1是一种图像处理装置，包括：逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
在示例2中，如示例1所述的逻辑可以可选地响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
在示例3中，如示例1所述的逻辑可以可选地响应于对所述校正过程的所述选择而从存储在存储器单元中的多个预先计算的校正映射中检索所述经标识的校正映射集。
在示例4中，如示例1至3中任一项所述的逻辑可以可选地执行校准过程，所述校准过程包括：确定所述异构相机阵列中的多个相机中的每个相机的对应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。
在示例5中，如示例4所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合旋转矩阵和所述对应旋转矩阵以及内部参数矩阵存储在存储器单元中。
在示例6中，如示例4至5中任一项所述的所选择的校正过程可以可选地包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的相应图像的分辨率和视场相匹配。
在示例7中，如示例6所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵而生成。
在示例8中，如示例4至5中任一项所述的所选择的校正过程可以可选地包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一的分辨率和统一的视场。
在示例9中，如示例8所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵而生成。
在示例10中，如示例9所述的校准过程可以可选地包括：基于在所述异构相机阵列中的所述多个相机的所述对应内部参数矩阵确定所述复合内部参数矩阵。
在示例11中，如示例9至10中任一项所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合内部参数矩阵存储在存储器单元中。
在示例12中，如示例9至11中任一项所述的校正映射集可以可选地对应于所述归一化校正过程的目标分辨率和目标视场。
在示例13中，如示例12所述的校准过程可以可选地包括：基于在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的一个或多个相机的对应内部参数矩阵确定所述复合内部参数矩阵。
在示例14中，如示例13所述的校准过程可以可选地包括：通过对在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的两个或更多个相机的对应内部参数矩阵求平均来确定所述复合内部参数矩阵。
在示例15中，如示例4至14中任一项所述的校准过程可以可选地包括：确定所述异构相机阵列的复合定向，以及基于所述异构相机阵列的所述复合定向确定所述异构相机阵列的所述复合旋转矩阵。
在示例16中，如示例15所述的校准过程可以可选地包括：确定在所述异构相机阵列中的所述多个相机中的每个相机的对应光学中心位置，以及基于所述光学中心位置确定所述异构相机阵列的所述复合定向。
在示例17中，如示例16所述的异构相机阵列可以可选地包括线性相机阵列。
在示例18中，如示例17所述的校准过程可以可选地包括：将线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的所述光学中心位置，以及基于所述线确定所述异构相机阵列的所述复合定向。
在示例19中，如示例16所述的异构相机阵列可以可选地包括二维(2D)相机阵列。
在示例20中，如示例19所述的校准过程可以可选地包括：将一组线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的光学中心位置，以及基于所述一组线确定所述异构相机阵列的所述复合定向。
示例21是一种系统，包括：根据示例1至20中任一项所述的图像处理装置；显示器；射频(RF)收发器；以及一根或多根RF天线。
示例22是至少一种非瞬态计算机可读存储介质，包括图像处理指令集，所述图像处理指令集响应于在计算设备上被执行而使所述计算设备：接收由异构相机阵列捕捉的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集、以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
在示例23中，如示例22所述的至少一种非瞬态计算机可读存储介质可以可选地包括图像处理指令，所述图像处理指令响应于在所述计算设备上被执行而使所述计算设备响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
在示例24中，如示例22所述的至少一种非瞬态计算机可读存储介质可以可选地包括图像处理指令，所述图像处理指令响应于在所述计算设备上被执行而使所述计算设备响应于对所述校正过程的所述选择而从存储在存储器单元中的多个预先计算的校正映射中检索所述经标识的校正映射集。
在示例25中，如示例22至24中任一项所述的至少一种非瞬态计算机可读存储介质可以可选地包括图像处理指令，所述图像处理指令响应于在所述计算设备上被执行而使所述计算设备执行校准过程，所述校准过程包括：确定所述异构相机阵列中的多个相机中的每个相机的对应旋转矩阵和内部参数矩阵，以及确定所述异构相机阵列的复合旋转矩阵。
在示例26中，如示例25所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合旋转矩阵和所述对应旋转矩阵以及内部参数矩阵存储在存储器单元中。
在示例27中，如示例25至26中任一项所述的所选择的校正过程可以可选地包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的相应图像的分辨率和视场相匹配。
在示例28中，如示例27所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵而生成。
在示例29中，如示例25至26中任一项所述的所选择的校正过程可以可选地包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一的分辨率和统一的视场。
在示例30中，如示例30所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵而生成。
在示例31中，如示例30所述的校准过程可以可选地包括：基于在所述异构相机阵列中的所述多个相机的所述对应内部参数矩阵确定所述复合内部参数矩阵。
在示例32中，如示例30至31中任一项所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合内部参数矩阵存储在存储器单元中。
在示例33中，如示例30至32中任一项所述的校正映射集可以可选地对应于所述归一化校正过程的目标分辨率和目标视场。
在示例34中，如示例33所述的校准过程可以可选地包括：基于在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的一个或多个相机的对应内部参数矩阵确定所述复合内部参数矩阵。
在示例35中，如示例34所述的校准过程可以可选地包括：通过对在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的两个或更多个相机的对应内部参数矩阵求平均来确定所述复合内部参数矩阵。
在示例36中，如示例25至35中任一项所述的校准过程可以可选地包括：确定所述异构相机阵列的复合定向，以及基于所述异构相机阵列的所述复合定向确定所述异构相机阵列的所述复合旋转矩阵。
在示例37中，如示例36所述的校准过程可以可选地包括：确定在所述异构相机阵列中的所述多个相机中的每个相机的对应光学中心位置，以及基于所述光学中心位置确定所述异构相机阵列的所述复合定向。
在示例38中，如示例37所述的异构相机阵列可以可选地包括线性相机阵列。
在示例39中，如示例38所述的校准过程可以可选地包括：将线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的所述光学中心位置，以及基于所述线确定所述异构相机阵列的所述复合定向。
在示例40中，如示例37所述的异构相机阵列可以可选地包括二维(2D)相机阵列。
在示例41中，如示例40所述的校准过程可以可选地包括：将一组线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的光学中心位置，以及基于所述一组线确定所述异构相机阵列的所述复合定向。
示例42是一种图像处理方法，包括：接收由异构相机阵列捕捉的捕捉图像阵列、由处理器电路选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集、以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
在示例43中，如示例42所述的图像处理方法可以可选地包括：响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
在示例44中，如示例42所述的图像处理方法可以可选地包括：响应于对所述校正过程的所述选择而从存储在存储器单元中的多个预先计算的校正映射中检索所述经标识的校正映射集。
在示例45中，如示例42至44中任一项所述的图像处理方法可以可选地包括：执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的对应旋转矩阵和内部参数矩阵以及确定所述异构相机阵列的复合旋转矩阵。
在示例46中，如示例45所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合旋转矩阵和所述对应旋转矩阵以及内部参数矩阵存储在存储器单元中。
在示例47中，如示例45至46中任一项所述的所选择的校正过程可以可选地包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的相应图像的分辨率和视场相匹配。
在示例48中，如示例47所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵而生成。
在示例49中，如示例45至46中任一项所述的所选择的校正过程可以可选地包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一的分辨率和统一的视场。
在示例50中，如示例49所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵而生成。
在示例51中，如示例50所述的校准过程可以可选地包括：基于在所述异构相机阵列中的所述多个相机的所述对应内部参数矩阵确定所述复合内部参数矩阵。
在示例52中，如示例50至51中任一项所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合内部参数矩阵存储在存储器单元中。
在示例53中，如示例50至52中任一项所述的校正映射集可以可选地对应于所述归一化校正过程的目标分辨率和目标视场。
在示例54中，如示例53所述的校准过程可以可选地包括：基于在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的一个或多个相机的对应内部参数矩阵确定所述复合内部参数矩阵。
在示例55中，如示例54所述的校准过程可以可选地包括：通过对在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的两个或更多个相机的对应内部参数矩阵求平均来确定所述复合内部参数矩阵。
在示例56中，如示例45至55中任一项所述的校准过程可以可选地包括：确定所述异构相机阵列的复合定向，以及基于所述异构相机阵列的所述复合定向确定所述异构相机阵列的所述复合旋转矩阵。
在示例57中，如示例56所述的校准过程可以可选地包括：确定在所述异构相机阵列中的所述多个相机中的每个相机的对应光学中心位置，以及基于所述光学中心位置确定所述异构相机阵列的所述复合定向。
在示例58中，如示例57所述的异构相机阵列可以可选地包括线性相机阵列。
在示例59中，如示例58所述的校准过程可以可选地包括：将线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的所述光学中心位置，以及基于所述线确定所述异构相机阵列的所述复合定向。
在示例60中，如示例57所述的异构相机阵列可以可选地包括二维(2D)相机阵列。
在示例61中，如示例60所述的校准过程可以可选地包括：将一组线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的光学中心位置，以及基于所述一组线确定所述异构相机阵列的所述复合定向。
示例62是至少一种非瞬态计算机可读存储介质，包括指令集，所述指令集响应于在计算设备上被执行而使所述计算设备执行根据示例42至61中任一项所述的图像处理方法。
示例63是一种装置，包括用于执行根据示例42至61中任一项所述的图像处理方法的装置。
示例64是一种系统，所述系统包括：根据示例63所述的装置；显示器；射频(RF)收发器；以及一根或多根RF天线。
示例65是一种图像处理装置，包括：用于接收由异构相机阵列捕捉的捕捉图像阵列的装置、用于选择校正过程以应用于所述捕捉图像阵列的装置、用于针对所述选择的校正过程标识校正映射集的装置、以及用于将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列的装置。
在示例66中，如示例65所述的图像处理装置可以可选地包括：用于响应于对所述校正过程的所述选择而生成所述经标识的校正映射集的装置。
在示例67中，如示例65所述的图像处理装置可以可选地包括：用于响应于对所述校正过程的所述选择而从存储在存储器单元中的多个预先计算的校正映射中检索所述经标识的校正映射集的装置。
在示例68中，如示例65至67中任一项所述的图像处理装置可以可选地包括用于执行校准过程的装置，所述校准过程包括：确定所述异构相机阵列中的多个相机中的每个相机的对应旋转矩阵和内部参数矩阵以及确定所述异构相机阵列的复合旋转矩阵。
在示例69中，如示例68所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合旋转矩阵和所述对应旋转矩阵以及内部参数矩阵存储在存储器单元中。
在示例70中，如示例68至69中任一项所述的所选择的校正过程可以可选地包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的相应图像的分辨率和视场相匹配。
在示例71中，如示例70所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵而生成。
在示例72中，如示例68至69中任一项所述的所选择的校正过程可以可选地包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一的分辨率和统一的视场。
在示例73中，如示例72所述的校正映射集可以可选地基于在所述异构相机阵列中的所述多个相机的所述对应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵而生成。
在示例74中，如示例73所述的校准过程可以可选地包括：基于在所述异构相机阵列中的所述多个相机的所述对应内部参数矩阵确定所述复合内部参数矩阵。
在示例75中，如示例73至74中任一项所述的校准过程可以可选地包括：在接收所述捕捉图像阵列之前将所述复合内部参数矩阵存储在存储器单元中。
在示例76中，如示例73至75中任一项所述的校正映射集可以可选地对应于所述归一化校正过程的目标分辨率和目标视场。
在示例77中，如示例76所述的校准过程可以可选地包括：基于在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的一个或多个相机的对应内部参数矩阵确定所述复合内部参数矩阵。
在示例78中，如示例77所述的校准过程可以可选地包括：通过对在所述异构相机阵列中的以所述目标分辨率和所述目标视场为特征的两个或更多个相机的对应内部参数矩阵求平均来确定所述复合内部参数矩阵。
在示例79中，如示例68至78中任一项所述的校准过程可以可选地包括：确定所述异构相机阵列的复合定向，以及基于所述异构相机阵列的所述复合定向确定所述异构相机阵列的所述复合旋转矩阵。
在示例80中，如示例79所述的校准过程可以可选地包括：确定在所述异构相机阵列中的所述多个相机中的每个相机的对应光学中心位置，以及基于所述光学中心位置确定所述异构相机阵列的所述复合定向。
在示例81中，如示例80所述的异构相机阵列可以可选地包括线性相机阵列。
在示例82中，如示例81所述的校准过程可以可选地包括：将线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的所述光学中心位置，以及基于所述线确定所述异构相机阵列的所述复合定向。
在示例83中，如示例80所述的异构相机阵列可以可选地包括二维(2D)相机阵列。
在示例84中，如示例83所述的校准过程可以可选地包括：将一组线拟合到在所述异构相机阵列中的所述多个相机中的每个相机的光学中心位置，以及基于所述一组线确定所述异构相机阵列的所述复合定向。
示例85是一种系统，包括：根据示例65至84中任一项所述的图像处理装置；显示器；射频(RF)收发器；以及一根或多根RF天线。
在此阐述了许多特定细节以便提供对这些实施例的透彻理解。但是本领域技术人员将理解，这些实施例也可以在没有这些特定细节的情况下被实践。在其他实例中，未详细地描述熟知的操作、部件以及电路，以便不使实施例模糊。可以认识到，在此公开的特定结构和功能细节是代表性的并且不一定限制这些实施例的范围。
一些实施例可使用表述“耦合”和“连接”及其派生词来描述。这些术语并不旨在作为彼此的同义词。例如，一些实施例可使用术语“连接”和/或“耦合”来描述，以表明两个或更多元件以直接物理的或电气的方式与彼此接触。然而，术语“耦合”还可以指两个或更多个元件未直接地彼此进行接触，但还是彼此进行合作或交互。
另外，除非专门指出，应所述意识到诸如“处理”、“计算”、“运算”、“确定”等术语是指计算机或计算系统、或类似电子计算设备的动作和/或处理，其将在计算系统的寄存器和/或存储器中的表示物理量(如电子的)的数据控制和/或转换成在计算系统的存储器、寄存器或其他信息存储器、传输或显示设备中的同样表示物理量的其他数据。实施例并不局限于本上下文中。
应当注意，在此描述的方法不必须以所描述的顺序或以任何特定的顺序来执行。此外，关于在此标识的方法而描述的各种活动可以以串行的或并行的方式被执行。
虽然在此已经展示并描述了特定的实施例，但是应认识到，被计算以实现相同目的的任何安排可代替所示的特定实施例。本公开旨在涵盖各实施例的任何以及所有修改或变化。将理解的是，以上描述以说明性而非限制性方式给做出。以上实施例的组合以及在此没有特别描述的其他实施例基于回顾以上描述对于本领域技术人员将是显而易见的。从而，各实施例的范围包括其中使用了以上构成、结构以及方法的任何其他应用。
强调的是，提供了公开的摘要是为了符合37C.F.R.§1.72(b)，要求将允许读者快速确定技术公开的性质的摘要。基于其将不被用于解释或者限制权利要求书的范围或者含义的理解提交所述摘要。此外，在前一个详细描述中，可以看到，出于将本公开连成一体的目的而将各种特征一起组合在单个实施例中。本公开的方法并不被解释为反映以下意图：所要求保护的实施例需要比每项权利要求中明确表述的特征更多的特征。而是被解释为：以下的权利要求书反映了本发明的主题在于比单个公开的实施例的全部特征少。因此，以下的权利要求书据此被并入详细的说明书中，其中，每项权利要求独立自主地作为单独的优选实施例。在所附权利要求书中，术语“包括(including)”和“其中(in which)”分别用作对应术语“包括(comprising)”和“其中(wherein，)”的易懂的英文等价词。此外，术语“第一”、“第二”、和“第三”等仅用作标签，且不旨在对它们的对象施加数字要求。
虽然已经使用特定于结构特征和/或方法行为的语言描述了主题，将理解的是，所附权利要求书中所定义的主题不一定限于上文所述的特定特征或行为。相反，上文所描述的特定特征和行为被作为实现权利要求书的示例形式而公开。

Claims (25)

1.一种装置，包括
逻辑，所述逻辑的至少一部分在硬件中，所述逻辑用于接收由异构相机阵列生成的捕捉图像阵列、选择校正过程以应用于所述捕捉图像阵列、针对所述选择的校正过程标识校正映射集以及将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
2.如权利要求1所述的装置，所述逻辑用于响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
3.如权利要求1所述的装置，所述逻辑用于执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的相应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。
4.如权利要求3所述的装置，所选择的校正过程包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的对应图像的分辨率和视场相匹配。
5.如权利要求4所述的装置，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵生成的。
6.如权利要求3所述的装置，所选择的校正过程包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一分辨率和统一视场。
7.如权利要求6所述的装置，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵生成的。
8.如权利要求7所述的装置，所述校准过程包括基于在所述异构相机阵列中的以所述归一化校正过程的目标分辨率和目标视场为特征的一个或多个相机的相应内部参数矩阵确定所述复合内部参数矩阵。
9.一种系统，包括：
根据权利要求1至8中的任一项所述的装置；
显示器；
射频(RF)收发器；以及
一根或多根RF天线。
10.至少一种非瞬态计算机可读存储介质，包括指令集，所述指令集响应于在计算设备上被执行而使所述计算设备：
接收由异构相机阵列生成的捕捉图像阵列；
选择校正过程以应用于所述捕捉图像阵列；
针对所述选择的校正过程标识校正映射集；以及
将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
11.如权利要求10所述的至少一种非瞬态计算机可读存储介质，包括指令，所述指令响应于在所述计算设备上被执行而使所述计算设备响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
12.如权利要求10所述的至少一种非瞬态计算机可读存储介质，包括指令，所述指令响应于在所述计算设备上被执行而使所述计算设备执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的相应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。
13.如权利要求12所述的至少一种非瞬态计算机可读存储介质，所选择的校正过程包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的对应图像的分辨率和视场相匹配。
14.如权利要求13所述的至少一种非瞬态计算机可读存储介质，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵生成的。
15.如权利要求12所述的至少一种非瞬态计算机可读存储介质，所述选择的校正过程包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一分辨率和统一视场。
16.如权利要求15所述的至少一种非瞬态计算机可读存储介质，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵生成的。
17.如权利要求16所述的至少一种非瞬态计算机可读存储介质，所述校准过程包括基于在所述异构相机阵列中的以所述归一化校正过程的目标分辨率和目标视场为特征的一个或多个相机的相应内部参数矩阵确定所述复合内部参数矩阵。
18.一种方法，包括：
接收由异构相机阵列生成的捕捉图像阵列；
由处理器电路选择校正过程以应用于所述捕捉图像阵列；
针对所述选择的校正过程标识校正映射集；以及
将所述经标识的校正映射集应用于所述捕捉图像阵列以获得校正图像阵列。
19.如权利要求18所述的方法，包括响应于对所述校正过程的所述选择而生成所述经标识的校正映射集。
20.如权利要求18所述的方法，包括执行校准过程，所述校准过程包括确定所述异构相机阵列中的多个相机中的每个相机的相应旋转矩阵和内部参数矩阵并且确定所述异构相机阵列的复合旋转矩阵。
21.如权利要求20所述的方法，所述选择的校正过程包括固有校正过程，根据所述固有校正过程，所述校正图像阵列中的图像的分辨率和视场与所述捕捉图像阵列中的对应图像的分辨率和视场相匹配。
22.如权利要求21所述的方法，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵并且基于所述异构相机阵列的所述复合旋转矩阵生成的。
23.如权利要求20所述的方法，所述选择的校正过程包括归一化校正过程，根据所述归一化校正过程，在所述校正图像阵列中的图像包括统一分辨率和统一视场。
24.如权利要求23所述的方法，所述校正映射集是基于在所述异构相机阵列中的所述多个相机的所述相应旋转矩阵和内部参数矩阵、基于所述异构相机阵列的所述复合旋转矩阵并且基于复合内部参数矩阵生成的。
25.如权利要求24所述的方法，所述校准过程包括基于在所述异构相机阵列中的以所述归一化校正过程的目标分辨率和目标视场为特征的一个或多个相机的相应内部参数矩阵确定所述复合内部参数矩阵。
CN201580019088.4A 2014-05-06 2015-04-06 用于异构相机阵列的图像处理的装置、方法及系统 Active CN106165396B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/270,687 US9501826B2 (en) 2014-05-06 2014-05-06 Rectification techniques for heterogeneous camera arrays
US14/270,687 2014-05-06
PCT/US2015/024457 WO2015171233A1 (en) 2014-05-06 2015-04-06 Rectification techniques for heterogeneous camera arrays

Publications (2)

Publication Number Publication Date
CN106165396A true CN106165396A (zh) 2016-11-23
CN106165396B CN106165396B (zh) 2019-06-04

Family

ID=54368940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580019088.4A Active CN106165396B (zh) 2014-05-06 2015-04-06 用于异构相机阵列的图像处理的装置、方法及系统

Country Status (4)

Country Link
US (1) US9501826B2 (zh)
EP (1) EP3140985A4 (zh)
CN (1) CN106165396B (zh)
WO (1) WO2015171233A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503968B2 (en) * 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US11282543B2 (en) * 2018-03-09 2022-03-22 Apple Inc. Real-time face and object manipulation
CN113129350B (zh) * 2021-04-12 2022-12-30 长春理工大学 一种基于相机阵列的深度提取方法
US20240143955A1 (en) * 2022-10-31 2024-05-02 Zebra Technologies Corporation Long-Range Engine with Two Cameras Having Different Resolution

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105580A1 (en) * 2002-11-22 2004-06-03 Hager Gregory D. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN103198524A (zh) * 2013-04-27 2013-07-10 清华大学 一种大规模室外场景三维重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69816185T2 (de) * 1997-06-12 2004-04-15 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Bildverarbeitungsverfahren und -vorrichtung
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
KR100850931B1 (ko) * 2006-06-29 2008-08-07 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
CN101236653B (zh) 2008-03-03 2010-09-29 华为技术有限公司 图像校正方法及系统
US9019350B2 (en) 2012-04-12 2015-04-28 Raytheon Company Stereo rectification method
US9241111B1 (en) * 2013-05-30 2016-01-19 Amazon Technologies, Inc. Array of cameras with various focal distances

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105580A1 (en) * 2002-11-22 2004-06-03 Hager Gregory D. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
CN102523462A (zh) * 2011-12-06 2012-06-27 南开大学 基于相机阵列的元素图像阵列快速获取方法和装置
CN103198524A (zh) * 2013-04-27 2013-07-10 清华大学 一种大规模室外场景三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VINCENT NOZICK: "Multiple view image rectification", 《ACCESS SPACES (ISAS), 2011 1 ST INTERNATIONAL SYMPOSIUM ON, IEEE》 *
YUN-SUK KANG ET AL: "An efficient image rectification method for parallel multi-camera arrangement", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, IEEE SERVICE CENTER, NEW YORK, NY, US》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
CN113643347B (zh) * 2020-07-20 2024-02-09 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉

Also Published As

Publication number Publication date
US20150326801A1 (en) 2015-11-12
CN106165396B (zh) 2019-06-04
EP3140985A1 (en) 2017-03-15
WO2015171233A1 (en) 2015-11-12
US9501826B2 (en) 2016-11-22
EP3140985A4 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
CN108629747B (zh) 图像增强方法、装置、电子设备及存储介质
CN103761539B (zh) 一种基于环境特征物体的室内定位方法
CN103858148B (zh) 用于移动设备的平面映射和跟踪方法、装置及设备
CN109618090A (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统
CN106165396A (zh) 用于异构相机阵列的校正技术
CN111091166B (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
CN102741797B (zh) 用于转换三维地图对象以呈现导航信息的方法和装置
CN104702852B (zh) 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN106651767A (zh) 一种获取全景图像的方法及装置
CN111243668B (zh) 分子结合位点检测方法、装置、电子设备及存储介质
US20220392201A1 (en) Image feature matching method and related apparatus, device and storage medium
CN103533228B (zh) 用于从多个图像产生完美拍摄成像的方法和系统
CN110837607A (zh) 兴趣点匹配方法、装置、计算机设备以及存储介质
CN113610750A (zh) 对象识别方法、装置、计算机设备及存储介质
CN114332530A (zh) 图像分类方法、装置、计算机设备及存储介质
CN110070579A (zh) 基于图像检测的定位方法、装置、设备和存储介质
CN104782112B (zh) 用于调整摄像机阵列的装置、方法、系统和设备
CN115131194A (zh) 一种图像合成模型的确定方法和相关装置
CN112163095A (zh) 数据处理方法、装置、设备及存储介质
CN116978481A (zh) 分子属性预测方法、装置、电子设备及存储介质
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
CN116029952B (zh) 点云评测方法及其相关设备
CN113569822B (zh) 图像分割方法、装置、计算机设备及存储介质
CN113298040A (zh) 关键点检测方法、装置、电子设备及计算机可读存储介质
TWI631861B (zh) 室內定位方法與系統及其室內地圖建立裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant