CN117378210A - 用于多图像处理的统一自动白平衡的方法和系统 - Google Patents

用于多图像处理的统一自动白平衡的方法和系统 Download PDF

Info

Publication number
CN117378210A
CN117378210A CN202180098423.XA CN202180098423A CN117378210A CN 117378210 A CN117378210 A CN 117378210A CN 202180098423 A CN202180098423 A CN 202180098423A CN 117378210 A CN117378210 A CN 117378210A
Authority
CN
China
Prior art keywords
awb
camera
vehicle
images
unified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098423.XA
Other languages
English (en)
Inventor
夏煜
李福文
高崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN117378210A publication Critical patent/CN117378210A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了用于多图像处理的统一自动白平衡的方法、系统和制品。

Description

用于多图像处理的统一自动白平衡的方法和系统
背景技术
多相机环绕视图是通常为驾驶员提供交通工具及其附近周围区域的俯视图以辅助驾驶员驾驶、停车、逆向移动等等的汽车特征。环绕视图可以通过揭示交通工具附近的障碍物来帮助驾驶员。环绕视图还可以用于通过为基于计算机视觉的智能分析提供图像来辅助自主驾驶。在常规系统中，环绕视图图像从交通工具上的四个到六个数字相机捕获，并且然后被拼接在一起以形成环绕视图，并且将其显示在交通工具仪表板上的屏幕上。
对环绕视图中的来自每个相机的图像的处理包括自动白平衡(automatic whitebalance,AWB)，以便为从捕获到的图像重现的图片提供准确的颜色。AWB是首先发现或定义图片中的白色的过程，该白色被称为白点。然后，使用AWB增益相对于白点来确定图片中的其他颜色。
为了执行AWB，常规的环视系统在每个相机处确定独立的AWB，这导致拼接在一起以形成环绕视图的图像之间的不一致的颜色。已知的后处理算法被用于减少颜色的不一致。然而，这些后处理算法通常要求大量的计算负载，并且进而导致相对大的功耗和使用大量的存储器。在某些状况下，图像之间非期望的且令人恼火的色差仍然很明显，并且无论如何都会导致不真实的图像。
附图说明
在所附附图中，以示例方式而不是以限制方式图示出本文中所描述的材料。出于说明简单和清楚起见，附图中所图示出的要素不一定是按比例绘制的。例如，出于清楚起见，可将一些要素的尺寸相对于其他要素扩大。进一步地，在认为适当的情况下，已在附图之间重复了附图标记以指示对应的或类似的要素。在附图中：
图1是常规的环视图像处理系统的示意图；
图2是根据本文中的实现方式中的至少一个实现方式的、交通工具的俯视环绕视图的示意图；
图3是根据本文中的实现方式的至少一个实现方式的、使用统一AWB的示例多图像处理方法的流程图；
图4是根据本文中的实现方式的至少一个实现方式的、使用统一AWB的环视图像处理系统的示意图；
图5是根据本文中的实现方式的至少一个实现方式的、使用统一AWB的详细的示例多图像处理方法的流程图；
图5A是示出根据本文中的实现方式中的至少一个实现方式的交通工具的运动的示意图；
图5B是示出根据本文中的实现方式中的至少一个实现方式的交通工具的其他运动的示意图；
图6是示例系统的示意图；
图7是另一示例系统的示意图；以及
图8是全部根据本公开的至少一些实现方式布置的另一示例系统的示意图。
具体实施方式
现在参考附图描述一个或多个实现方式。尽管讨论了具体的配置和布置，但是应当理解，这仅仅是出于说明性目的而完成的。相关领域的技术人员将认识到，在不脱离本描述的精神和范围的情况下，可以采用其他配置和布置。对于相关领域的技术人员来说显而易见的是，本文中所描述的技术和/或布置也可以用于除了本文中所描述的系统和应用之外的各种其他系统和应用中。
尽管以下描述阐述了可以在诸如片上系统(system-on-a-chip,SoC)体系结构之类的体系结构中呈现的各种实现方式，但是本文中所描述的技术和/或布置的实现方式不限于特定体系结构和/或计算系统并且可以由任何体系结构和/或计算系统来实现以用于类似目的。例如，采用例如多个集成电路(integrated circuit,IC)芯片和/或封装、和/或各种计算设备和/或商业或消费电子(consumer electronic,CE)设备(诸如相机阵列、板载交通工具相机系统、服务器、物联网(internet of thing,IoT)设备、虚拟现实、或增强现实或修改的现实系统、安全相机系统、运动场馆相机系统、机顶盒、计算机、膝上型电脑、平板电脑、智能电话等)的各种体系结构可以实现本文中所描述的技术和/或布置。进一步地，尽管下面的描述可以阐述众多具体细节(诸如逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等等)，但是所要求保护的主题可以在没有此类具体细节的情况下被实践。在其他实例中，例如，一些材料(诸如控制结构和完整的软件指令序列)可能不会被详细示出以免使本文中公开的材料模糊。
本文中所公开的材料可以以硬件、固件、软件、或它们的任意组合来实现。本文中所公开的材料还可实现为存储在机器可读介质上的指令，这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传输机器(例如，计算设备)可读形式的信息的任何介质和/或机制。例如，机器可读介质可包括只读存储器(read-only memory,ROM)；随机存取存储器(random access memory,RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等等。以另一种形式，诸如非暂态计算机可读介质之类的非暂态制品(除了其本身不包括暂态信号之外)可以与上文所提及的示例中的任何示例或其他示例一起使用。它确实包括除信号本身之外的、可以以“暂态”方式临时保存数据那些的元素，诸如RAM等。
说明书中对“一个实现方式”、“实现方式”、“示例实现方式”等的引用指示所描述的实现方式可包括特定的特征、结构或特性，但是并非每个实现方式都一定包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实现方式。进一步地，当结合实现方式描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实现方式而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
下文描述了用于多图像处理的统一自动白平衡的系统、制品和方法。
如上文所提及的，常规交通工具环视系统的多个相机的图像在图像被拼接在一起之前各自具有它们的自动白平衡(automatic white balance,AWB)。由于不同相机视角的视场内的照明、阴蔽和对象的差异以及相机之间(无论是在硬件中还是软件中)的制造变化，白点、以及进而颜色可能在图像之间变化。这些状况可能会导致色度响应或颜色着色的变化。环绕视图中的图像之间的轻微颜色改变可以由观看图像的普通人容易地检测到。由此，交通工具驾驶员可能会发现环绕视图的颜色看起来不正确，这可能会分散注意力和令人恼火，并且看起来是会对观看者的体验产生负面影响的低质量的图像。
更详细地参考图1，常规的环视系统100通常在包括图像捕获阶段和图像拼接阶段的两个阶段中操作：在图像捕获阶段中，相机阵列102中的相机104(此处是相机1至4)捕获交通工具周围的图像；图像拼接阶段用于创建环绕视图。详细地，一旦图像被捕获，单独的AWB单元106、108、110和112就对每个相机1至4(104)执行单独的AWB操作，以形成单独的经AWB校正的图像。这些经AWB校正的图像(每个具有其自己的不同AWB)然后被提供到环绕视图单元114。然后，环绕视图单元114将经AWB校正的图像拼接在一起以形成环绕视图。
由于提及的照明和场景差异，针对每个相机的白平衡校正几乎总是显著不同。由此，用更一致的颜色合成环绕视图图片是非常具有挑战性的。为了补偿这些颜色上的变化，在图像被拼接在一起以形成360度或俯视环绕视图之后，常规的后处理算法被使用。此处，环绕视图单元114具有用于校正环绕视图中的通常在相邻图像之间的重叠区域中的颜色数据上的变化的后处理单元116。拼接之后的大多数AWB后处理包括分析重叠区域处的亮度和色差，以及然后针对环绕视图执行校正色差所需的额外计算。这通常是通过使用插值来实现的。这种处理在计算负载中引入了非常大的开销，并且使用了大量的存储器，但在极端情况下无论如何仍然无法恰当地校正色差。一旦环绕视图被校正，该环绕视图就可以被提供到显示单元118以将该环绕视图通常显示在交通工具的仪表板上的屏幕上。
为了解决这些问题，所公开的AWB系统和方法减少或消除环视视图中的非期望的且不受控制的颜色改变以及颜色不一致，同时消除对AWB后处理的需要，由此减少AWB和环绕视图生成的计算负载。这是通过生成统一自动白平衡来实现的，该统一自动白平衡在来自相机阵列的不同相机的所有图像或多个图像上被使用，该相机阵列提供相同或基本上相同时刻的图像(除非由相机捕获的场景或环境是固定的)。所公开的方法通过考虑要被拼接在一起的图像的重叠段以及当相机阵列被安装在交通工具上时的交通工具的运动来生成统一自动白平衡(unified automatic white balance,UAWB)。
具体而言，对于被拼接在一起的每个图像的视场(field of view,FOV)的每个非重叠段和重叠段，初始AWB相关值(诸如白点或AWB增益)可以单独地被生成。初始AWB相关值无论是AWB白点还是AWB增益，然后都可以通过被提供到图像的各个段的段权重和/或被提供到相机阵列中的不同相机的图像的相机权重来调节。段权重恰当地分配在环绕视图中重叠相同区域的UAWB的比例，使得无论段是否在环绕视图的区域中重叠，环绕视图中的每个区域都接收更均匀的AWB。此外，每个相机的相机权重可以被考虑，并且可能取决于交通工具的运动。与其他相机相比，更直接地面向运动方向的相机将接收最大权重，从而贡献UAWB的更大部分。这是基于这样的事实，即交通工具驾驶员最有可能面向运动方向，使得示出运动方向的环绕视图的部分上的颜色更有可能被驾驶员注意到。由此，当交通工具周围的环境处于极端差异时，诸如当交通工具的一侧处于阳光下而另一侧处于阴影下时，环绕视图的其他部分可能有意地具有仍然不完全准确的颜色。与使环绕视图的所有部分都具有更不准确的不切实际的颜色相比，这被认为是更好的、可控的解决方案。
然后，加权的初始AWB相关值(无论是白点还是增益)可以(诸如通过求和或取平均)被组合以用于正在被使用的每个颜色方案通道，并且组合的AWB值然后可用于形成统一AWB增益，该统一AWB增益形成统一AWB(UAWB)。在这种情况下，然后相同的统一AWB增益将被应用于在相同或基本上相同的时刻从相机阵列捕获的所有图像或多个图像，以提供用于环绕视图生成的UAWB调节图像。
参考图2，示例交通工具设置200可用于为具有统一AWB的环绕视图的所公开的系统和方法提供图像。根据一种形式，交通工具202具有相机阵列204，该相机阵列204具有四个相机：分别编号为221-224的前部相机C1、后部相机C2、左侧相机C3和右侧相机C4。相机221-224可以被安装在交通工具202上以向外指向，并且处于与相邻相机形成至少某个视场重叠的位置处以辅助用于环绕视图生成的拼接对齐。交通工具202还具有中心参考轴线或线CL 250，该中心参考轴线或线CL 250限定沿着或平行于该线的直线行进并且用作用于测量转向角的参考线，如下文所讨论的。
相机阵列204共同形成水平360度视场205，虽然其也可以包括180度垂直覆盖，其中不同的虚线F1至F4分别指示相机C1至C4的视场(FOV)。每个FOV包括每个相机的各个图像的三个段。每个FOV(F1至F4)也形成环绕视图的三个区域。具体地，相机被定位、被定向并且被校准，使得每个相机的视场、以及进而从相机创建的图像生成非重叠段和重叠段。在本示例中，四个相机C1-C4在区域R1中形成非重叠段207、在区域R2中形成非重叠段213、在区域R3中形成非重叠段210以及在区域R4中形成非重叠段216，这些非重叠段是可以仅用单个相机(C1、C2、C3或C4)排他性地捕获的视场(FOV)段，并且分别如图所示。另一方面，重叠(或重叠的)段共享(或重叠在)环绕视图的相同区域(中)。例如，来自FOV F1的段206和来自FOVF4的段217共享区域R14，而来自FOV F1的段208和来自FOV F3的段209共享区域R13。FOV F3的段211和FOV 2的段212共享区域R23，而FOV 2的段214和FOV 4的段215共享区域R24。将要领会的是，可以使用更多或更少的相机来代替。
因此，对于每个相机，单个相机的全FOV是通过组合其三个段而形成的，并且包括来自左相机和右相机的两个重叠的左FOV与右FOV区域之间的一个非重叠的中心区域，左相机和右相机与形成非重叠区域的中心相机相邻。如上文所描述的四个相机的全FOV可以如下在此被列出，其中区域和段按各自的顺序排列：
相机C1的FOV F1＝{区域R13,R1,R14}＝{段208-206} (1)
相机C2的FOV F2＝{区域R23,R2,R24}＝{段212-214} (2)
相机C3的FOV F3＝{区域R13,R3,R23}＝{段209-211} (3)
相机C4的FOV F4＝{区域R14,R4,R24}＝{段217-215} (4)
其中，虚线设置了每个单独相机FOV的范围，并且进而设置了段之间的分隔线。该设置可以由AWB系统和下文描述的方法使用。还将领会的是，交通工具设置200可以是环绕视图。不处于相机FOV中的交通工具202的车顶和其他部分可以被人为地添加到环绕视图中，使得观看者看到整个交通工具。除此以外，除俯视图之外的其他环绕视图(诸如侧视图)可以被生成。
参考图3，本文中描述了用于多图像处理的统一自动白平衡的示例过程300。在所图示的实现方式中，过程300可包括如由操作302至308中的一个或多个操作所图示的一个或多个操作、功能或动作，这些操作、功能或动作被均匀地编号。作为非限制性示例，在相关的情况下，过程300可以在本文中参考图2、图4和图6的示例图像处理系统来描述。
过程300可包括“获得由一个或多个相机捕获的、并且具有同一场景的不同视角的多个图像”302。此处的场景总体上是指相机被定位于其中的环境，使得从中心点面向外部且在不同方向上的相机仍然被认为捕获到同一场景。根据示例形式，图像由安装在交通工具上并且从交通工具面向外部的相机阵列形成，以形成重叠的前向视图、后向视图和侧视图。根据一些替代方案，相机阵列不固定在交通工具上，而是固定在建筑物或其他对象上。
过程300可包括“自动确定多个图像的至少一个统一自动白平衡(AWB)增益”304。这可以涉及将单个相机FOV划分成多个段，其中一个或多个非重叠段由单个相机捕获，以及具有总FOV的相同区域的重叠段由多个相机捕获。由此，每个相机FOV、以及进而每个图像可以具有一个非重叠段和多个重叠段。可以为每个段或各个段生成初始AWB相关值，其可以是初始白点(white point,WP)和/或初始WB增益。初始WB增益可以由权重进行修改，并且进行组合(诸如取平均(或求和))以生成单个逐段加权的初始AWB相关值，该逐段加权的初始AWB相关值可以是平均值并且对于所有段是相同的。此操作针对(诸如以RGB的形式)被使用的每个颜色方案通道重复，并且然后用于生成统一AWB增益，其中每个颜色通道有一个增益。
权重可以包括段权重或相机权重，或者包括这两者。段权重被设置成用于减少单个重叠段的强调，使得重叠段在环绕视图的区域中协同地具有与形成环绕视图的区域的单个非重叠段相同(或类似)的权重。执行此操作使得环绕视图的每个区域对统一白点具有相同或类似的影响，并且使得重叠段不会被过分强调。根据一种方法，每个或多个相机FOV可以被划分成一个中心非重叠段和两个端重叠段，其中每个非重叠段具有权重0.5，并且每个重叠段具有权重0.25。根据一种替代方案，段权重可以用作修改初始AWB相关值(诸如初始WP或初始AWB增益)的仅有权重。
然而，已经发现，当交通工具运动在相机阵列被安装在交通工具上时也被考虑到权重中时，观看者或驾驶员在交通工具中的体验会被改进得更多。这假设与环绕视图上表示的其他方向相比，观看者将更多的注意力或焦点给出到环绕视图的、示出或面向交通工具的运动方向的区域。由此，还可以生成在交通工具的运动方向上更大的相机或运动权重。具体地，权重可以被设置成用于强调来自面向行进方向的相机(或多个相机)的图像，无论该行进方向是前向、转向还是后向。根据一种形式，取决于交通工具转向时的转向角度的大小来修改相机权重。相机权重可以与实际交通工具转向角度(通过一个示例，其通常是约0至30度或0至50度)相对于在交通工具上直行向前的参考线(诸如图2中的CL)的比率或分数相关，并且与总的可用驾驶员注意力角度(诸如从交通工具的前部或后部至交通工具侧部的90度)有关。根据一种形式，以下各项的相机权重可以与转向角度成比例：(1)前向相机或后部相机，以及(2)侧部相机中的一个相机。根据一种替代形式，相机权重可以在不使用段权重的情况下被使用，或者段权重可以在不使用相机权重的情况下被使用。
一旦权重被生成或在权重被生成时，可以对初始AWB相关值进行加权，并且加权的初始AWB相关值可以被组合(诸如取平均)，使得组合的AWB相关值可用于生成统一AWB，该统一AWB包括统一AWB增益。下文提供了其他示例。
过程300可以包括“将至少一个统一AWB增益应用于多个图像”306，其中相同的统一AWB(包括多个颜色方案通道的相同的统一AWB增益)被应用于来自相机阵列的在相同或基本上相同的时间点的所有图像或各个图像(除非场景是固定的并且相机正在移动以各自捕获多个FOV)。由此，相同的统一AWB增益(或多个增益)被应用于由相机阵列生成的图像中的每个图像以及被应用于同时或基本上同时捕获的图像集(除非场景是固定的)。这可以针对在每个相机处形成图像的视频序列的每个图像(或帧)或某个时间间隔或帧间隔来重复。
过程300可包括“生成组合视图，包括在至少一个统一AWB增益被应用于各个图像之后对图像进行组合”308。其中已经由统一AWB修改的图像现在被拼接在一起，并且可以形成交通工具的环绕视图并且它被显示在交通工具上。根据一种形式，视图可以是经常用于停放交通工具的俯视图或顶视图，尽管也可以替代地生成其他侧视图。根据替代形式，本文中的方法可以用在建筑物上而不是交通工具上，作为建筑物的安全系统的一部分。相机阵列可以被安装在除轮式交通工具之外的其他类型的交通工具(诸如船、无人机或飞机、或者除交通工具或建筑物之外的其他对象)上。
参考图4，根据本公开的实现方式中的至少一个实现方式，示例图像处理系统或设备400执行自动白平衡。具体地，图像处理系统或设备400具有1至N个相机404的相机阵列402。相机可以是常规相机、广角相机或鱼眼相机，但没有特别限制，只要能够对图像执行AWB和图像拼接。未示出的预处理单元可以对来自相机404的图像进行预处理，从而充分地用于本文中所描述的AWB和环绕视图生成。
统一AWB单元(或电路)406接收图像并使用图像，首先生成统一AWB，并且然后将统一AWB应用于图像。统一AWB单元406可以具有用于获得图像的统计信息的AWB统计信息单元408，该图像的统计信息可以由AWB算法使用以生成初始AWB相关值(诸如图像的白点和WB增益)。分割单元410设置相机的FOV的段位置。例如，这可以通过交通工具上的相机制造、放置和校准来预定。权重单元412生成考虑交通工具运动的相机权重wc 414、和/或提供逐段权重的段权重wp 416，以修改初始WB增益，如本文中描述。相机权重的运动可以通过由交通工具传感器控件428管理的交通工具传感器426检测。传感器可以包括加速计等，并且交通工具传感器控件428可以将运动指示符提供到权重单元412处的相机权重414。
统一WB计算单元418使用权重来调节初始AWB相关值，并且然后组合加权的AWB相关值以生成和(sum)或平均值(average)、并且单独地用于每个颜色方案通道。然后，平均AWB相关值被用于生成统一AWB增益。然后，在不执行AWB后处理的情况下，统一AWB增益由图像修改单元420应用于图像以更好地确保环绕视图上的一致颜色。
然后，环视单元422获得AWB校正图像并将这些图像拼接在一起。此后，环绕视图可以被提供到显示单元424以用于在交通工具或其他位置上显示，或者被存储以供以后显示、传输或使用。
参考图5，本文中描述了用于多图像处理的统一自动白平衡的示例计算机实现的方法。过程500可包括如由动作502至528中的一个或多个动作所图示的一个或多个操作、功能或动作，这些操作、功能或动作总体上被均匀地编号。作为非限制性示例，过程500可以在本文中分别参考示例交通工具设置200(图2)以及图4或图6的图像处理系统400或600、并且在适当的情况下被描述。
过程500可以首先包括“获得多个相机的图像数据”502，并且根据该示例，相机阵列可以被安装在交通工具或其他对象上，其中相机在不同方向处面向外部以捕获场景(或环境)的不同视角，如用相机阵列204(图2)或402(图4)所描述的。交通工具可以是汽车、卡车、船、飞机以及移动并可以承载相机阵列的任何其他对象，这些对象包括诸如无人机之类的自驾驶交通工具。当提供不在地面上行进的交通工具时，则相机可以在所有方向上覆盖360度。相机可以各自记录视频序列，并且过程可以应用于从多个相机机同时(或基本上同时)捕获的每个图像集。过程可以针对每个此类图像集被重复，或者沿视频序列以某个期望的集间隔被重复。替代地，在捕获固定场景时，单个相机可以被使用以及被移动到不同的视角。
获得图像可以包括：来自多个相机的原始图像数据被充分地预处理以至少用于AWB操作和环绕视图生成。预处理可以包括以下各项中的至少一项：分辨率降低、拜耳去马赛克、晕影消除、噪声降低、像素线性化、阴影补偿等。例如，当相机镜头是广角镜头或鱼眼镜头时，此类预处理还可以包括图像修改(诸如展平)。图像可以通过有线或无线传输从相机获得，并且可以被立即处理，或者可以被存储在AWB单元可访问的存储器中以供以后使用。
过程500可以包括“获得AWB统计信息”504。具体地，AWB算法通常使用AWB统计信息作为输入来执行白平衡(或白点)估计，并且然后确定白平衡增益。对于此操作，AWB统计信息、或用于生成AWB统计信息的数据从每个相机被捕获以包含在环绕视图中。AWB统计信息可以包括图像中的亮度值、色度值和这些值的平均值、亮度和/或色度高频和纹理内容、帧到帧的运动内容、任何其他颜色内容值、关于去块控制的图片统计学数据(例如，控制去块和/或非去块的信息)、RGB网格、滤波器响应网格和RGB直方图，仅举数例。
过程500可以包括“获取相机FOV重叠段位置”506，其中相机段定义可以通过相机在交通工具或其他对象上的安装和校准来预定。地面交通工具(诸如汽车或卡车)的重叠段可以是来自每个相机的顶视图或其他视图图像的预定或预设的像素区域，其中每个图像最初可以是弯曲的广角图像或鱼眼图像，该弯曲的广角图像或鱼眼图像被展平以形成顶视图或其他视图图像以用于拼接在一起来形成环绕视图。将要理解的是，代替顶视图，具有重叠的相机FOV的多个相机的任何设置都可以具有预定义的重叠区域，例如，这些重叠区域可以经由校准通过像素坐标来测量和确定。根据一种形式，段各自由交通工具的顶视图或其他期望视图中的像素位置集来定义，诸如在定义段分隔符的虚线的起点(相机原点)处和视为终点处，如图2所示。这些位置可以被存储在可访问的存储器中，使得AWB单元可以取回这些位置。
过程500可以包括“生成段统计信息”508，其中用于每个相机的输入AWB统计信息被分为三部分：对于左相机的重叠的FOV区域(由此具有来自两个相机的两个重叠段)、正在被处理的相机C[i]的排他性或非重叠FOV区域(或段)、以及对于右相机的重叠的FOV区域(也具有来自两个相机的两个重叠段)，并且如设置200和环绕视图205(图2)所定义。在此操作中，基于如上文所描述的段的预定的像素位置边界，AWB统计信息针对每个相机被分成三个部分，并将统计信息分成两个重叠段和中心非重叠段。针对这些段和单个相机FOV的索引枚举fovpos可以被认为是：
enum(枚举)fovpos ＝ {左、中、右} (5)
因此，对于向环绕视图贡献图像的每个相机C[i]，statin[i]可以被分为statseg[i][j](stat段[i][j])，其中i∈[1,N]相机，j∈fovpos视场段。这准许用于白平衡校正的可配置权重，除相机之间的任何差异之外，这些权重可以在同一单个相机FOV内针对每个段而不同。
过程500可以包括“获得交通工具移动状态”510。此处，当权重要考虑交通工具移动时，相机权重也会被生成。这被执行使得白平衡的准确度强调面向交通工具移动的方向的相机(或多个相机)。这假设观看者是交通工具驾驶员，并且驾驶员的注意力主要聚焦在示出交通工具移动的方向上的场景的一部分的环绕视图的区域。此处的术语“强调”是指用于(一个或多个)面向方向的相机的AWB比用于其他相机的AWB更准确。这承认对于相机阵列中不同视角的相机、以及对于白点而言，图像可能非常不同。例如，交通工具的一侧可能处于由建筑物或车库导致的黑暗阴影中，并且面向由建筑物或车库导致的黑暗阴影；而交通工具的相对侧可能处于开阔的明亮阳光中，并且面向明亮阳光。在此类极端的差异下，统一AWB无法针对交通工具的所有侧部都精确地准确。在这种情况下，统一AWB是折衷的，并且除给予面向交通工具运动的方向的相机的强调之外尽可能接近交通工具的所有侧部都是正确的AWB。在这种情况下，面向运动方向的相机被强调，而在相对方向(或非移动方向)上的相机将被弱化。
例如，当交通工具直行向后逆向移动时，后部相机C2(图2)应当是针对AWB校正具有最高优先级的相机，以用于在观看者或驾驶员观看的方向上，并且进而在环绕视图中最有可能引起驾驶员或用户聚焦的区域中，获得更好的颜色准确度。由此，交通工具运动的方向vehicledir(交通工具方向)可以被跟踪。
交通工具方向跟踪可以由如上文所提及的系统400(图4)上的交通工具控件来执行，并且可以包括利用加速计或其他已知的交通工具传感器进行感测或跟踪。然后，控件可以向AWB单元406(图4)提供指示符以指示交通工具运动。通过一个示例，vehicledir表示输入交通工具移动的方向，其中vehicledir∈{-1,0,1}如下：
相机权重还应考虑交通工具的转向，因为在使得交通工具转向时驾驶员的注意力可能会集中到交通工具的左侧或右侧。由此，与上文的直线移动方向一样，面向交通工具左侧或右侧的相机的权重取决于转向方向(左或右)以及该方向上的转向量(或驶向量)而应当更大。由此，相机权重也可以通过如下确定转向指示符vehicleturn(交通工具转向)来确定。
交通工具转向角vehicleturn可以是轮已经从交通工具的直线向前指向的参考中心轴线CL(例如，图2)(并且其是交通工具的先前方向)转向了多少的测量。该操作可以使用感测方向盘、转向轴、转向齿轮箱和/或转向臂或横拉杆中的任一项的位置的交通工具的传感器，如公知的。交通工具传感器控件可以接收传感器数据并向AWB单元指示转向状态。
根据一种方法，vehicleturn将转向角度表示为轮的转向位置(并且由驾驶员转向)并且相对于参考线如下。
vehicleturn∈[-am,+am] (7)
其中，am是0到交通工具轮可以从交通工具中心轴线转向的最大角度(以度为单位)，该角度通常约为30至50度，并且至多应当约等于或小于90度，并且其中值指示以下内容：
因此，交通工具运动指示符[vehicledir，vehicleturn]可以从交通工具传感器控件被提供到AWB单元以考虑交通工具运动从而生成相机权重。运动数据可以连续地或以某个间隔(诸如对于60fps的视频帧速率每16.67ms，或者对于30fps的视频帧速率每33.33ms等等)被提供到AWB单元。传感器指示符被提供到AWB单元的时间可以与由AWB单元用于设置交通工具转向角度以用于统一AWB计算的时间或间隔相同或可以与其不同。根据一种形式，传感器数据应当根据输入视频的帧率被及时提供到AWB单元。帧速率越高，传感器数据应当被发送到AWB单元的频率就越高。根据一种选项，只要交通工具处于环视模式而不是常开模式，交通工具运动指示符就可以被提供。
过程500可以包括“针对AWB生成权重”512，并且该操作可以包括“考虑段重叠”514。具体而言，并且如所提及的，相同相机FOV内的每个段可以具有不同的权重。为了生成段权重，wp[j]表示相机C[i]的FOV段j的权重，如下所示：
其中j指的是如上文所提及的左段、右段或中心段。
在一种示例方法中，中心FOV段被指派比左FOV重叠段和右FOV重叠段更高的权重，使得来自多个相机且在同一区域处的重叠段的权重之和将等于(一个或多个)非重叠段的权重。当两个段在每个相机的左段和右段处重叠时(如图2所示)，针对wp的一个示例设置如下。
wp[i][left(左)] ＝ 0.25 (10)
wp[i][center(中心)] ＝ 0.5 (11)
wp[i][right(右)] ＝ 0.25 (12)
因此，针对该示例，来自相机i＝1的wp[i][right]＝0.25，而来自相机i＝4的、与右段重叠的左段的段权重是wp[i][left]＝0.25，使得在具有这两个段的区域处，总区域权重将是0.25+0.25＝0.5，这与非重叠段的权重相同。总区域权重实际上不需要被计算，而仅示出了一个示例权重布置。这为每个区域的总权重提供了相等的影响(无论该区域是具有单个非重叠段还是多个重叠段)，由此为整个交通工具周围的区域权重提供了均匀的影响。同样如所提及的，无论交通工具运动是否也要被考虑，段权重wp可以被确定。
将要领会的是，其他布置可以代替地被使用，诸如在交通工具的某侧(诸如前部或后部(无论交通工具的运动如何))上具有较重的段权重，并且假设驾驶员通常在该方向上观看而无论交通工具的运动如何。另一种布置可以使段权重强调从交通工具发射光的位置。构想了许多变化。
关于交通工具运动，过程500可以包括“考虑交通工具的移动”516。如所提及的，一旦提供了交通工具方向和转向状态，相机权重就可以被分配以强调来自最接近面向交通工具移动的方向的一个或多个相机的图像。关于转向，在一种示例形式中，转向角度越大，则越大的AWB权重成比例地被应用于更接近面向转向方向的相机。详细地，相机权重wc()表示计算每个相机的权重分配且计算相机C[i]的权重分配的函数，使得对于权重wc[i]，其中i∈[1,…,N]相机，提供了以下内容：
其中相机权重wc是针对每个相机提供的可调整变量，并且针对不同的交通工具运动情况可能会不同。
可以理解的是，在诸如汽车之类的交通工具上，四相机阵列上的四个相机中只有两个相机将涉及交通工具的转向运动。由此，初始操作用于确定哪些相机涉及运动。因此，相机权重wc[m]表示每个侧部相机的相机权重，并且m或者是左侧相机(3)或者是右侧相机(4)，其中相机权重wc[m]取决于vehicleturn，如下所示。
另外，相机权重wc[n]表示前部相机或后部相机的相机权重，并且n或者是前部相机(1)或者是后部相机(2)，其中相机权重wc[n]取决于vehicledir，如下所示。
一旦所涉及的相机被确定，相机权重就可以取决于交通工具转向的角度、使用线性函数或其他等效函数来计算，如下所示。
W.[n]|＝1.0-W.[m](17)
其中，*1.0被示出以说明此示例中的权重范围被设置为约0.0到1.0，并且其中90度表示观看者或驾驶员的眼睛和头部的其中驾驶员可以集中注意力的、并且相对于指示交通工具直线方向的交通工具中心轴线的总可能的可用注意力角度。不涉及运动的其他两个相机的权重可以被设置为0.0。
参考用于示出运动示例的图5A-图5B，图5A-图5B上示出了四个汽车运动用例。参考下面的示例表1，每个用例被列为(a)至(d)并且可以表示感测到的不同的交通工具运动。与运动相对应的计算权重(这些数字被用于解释，并且不一定是现实世界值)还针对每个用例被列出。
表1针对示例用例的权重
对于没有转向的情况(a)和(b)，交通工具设置550被示出为具有带有前端556和后端558的交通工具552。相机阵列560具有前部相机C1(561)、后部相机C2(562)、左部相机C3(563)和右部相机C4(564)。在不存在交通工具运动的情况(a)中，默认或预定义的相机权重被使用，其中前部相机561的相机权重被设置为0.5，而每个侧部相机563和564的权重被设置为0.25。这假设驾驶员坐在驾驶员座椅上，其中在交通工具552的仪表板上可以看到环绕视图。在这种情况下，假设驾驶员将使他的/她的注意力大部分向前朝向交通工具552的前端556观看。
在情况(b)下，当交通工具552如由虚线箭头554所示向前移动而不转向时，前部相机561的权重为1，而其他相机562-564的权重全部是零。这假设驾驶员的所有注意力都处于前向方向。当交通工具552直线向后逆向移动时，相反的情况被假设。在这种情况下，后部相机562将接收所有权重。
对于用例(c)，交通工具设置570中的交通工具572以45度右转，同时交通工具如由箭头574所示的那样向前移动，而在用例(d)中，交通工具572以30度左转，同时交通工具如由箭头579所示的那样逆向移动。在该示例中，交通工具572具有前端576和后端578。相机阵列580具有前部相机C1(581)、后部相机C2(582)、左侧相机C3(583)和右侧相机C4(584)。根据用于转向中的交通工具的一种方法，更多的权重可以被分配给面向总体移动方向的前部相机或后部相机，诸如当交通工具向前移动时被分配给前部相机581或当交通工具逆向移动时被分配给后部相机582，以及当交通工具以一定角度直线行进时。换句话说，当转向角度小于或等于约45度时，这两个相机的权重大于侧部权重。
在当交通工具572如由虚线箭头574所示向前移动并且向右转向时的情况(c)的本示例中，根据上述等式(16)和(17)，根据实际交通工具转向角度相对于总注意力角度的量来使权重成比例。此处，实际转向角是45度而不是90度的注意力角，并且交通工具正在向前移动。由此，前部相机C1(581)和右侧相机C4(581和583)两者都涉及运动，并且两个相机权重wc[1]和wc[4]都是0.5。未涉及运动的相机C2和C3(582和583)具有权重零。
对于其中交通工具572以30度的实际交通工具转向角度逆向移动的用例(d)，所涉及的相机是后部相机C2(582)和左侧相机C3(583)。左侧相机的权重wc[3]是30/90或0.33，而后部相机的权重wc[2]是1–0.33＝0.67。
由此，根据这些示例，权重与角度直接地成比例，使得具有最大比例的注意力角度的相机将具有最大的权重。将要领会的是，许多变化可用于设置相机权重，并且根据不同的用户偏好，并且本方法不限于上述关于角度和比例的精确算法。当相机权重被使用时，其他布置可用于生成相机权重。由此，权重可以根据真实的汽车用例进行调整。
然后，过程500可以包括“生成总段权重”517。相机权重wc和段权重wp被确定后，相机i的每个FOV段j的白平衡校正权重可以通过以下来计算：
其中w[i][j]]是总段权重，*是乘法，k是相机编号，并且l是每个相机的段。这也有效地对每个相机的权重和相机的每个段的权重进行了归一化。结果是每个段的具有用于具有重叠段的单个区域的两个权重的经归一化的权重，其中每个权重用于区域中的不同的重叠段。经归一化的总段权重是逐段的，使得每个总段权重将段贡献提供到针对所有段的平均权重，如下所示。此处，对于四个相机的相机阵列，提供了12个总段权重(其中的一些可能是零，如上文所提及的)。
过程500可以包括“计算统一AWB增益”518。详细地，一旦要用于形成环绕视图的AWB段统计信息和总段权重被生成，过程500就可以使用AWB算法来生成统一AWB增益。这首先涉及“生成组合加权的AWB值”520。根据一种形式，这可以包括找到由段的颜色方案通道分量形成的平均白点值，如以下等式所示。
其中，此处等式与RGB颜色方案一起被使用，总段权重被应用于AWB值awbcomp(awb比较)，并且加权的awbcomp是逐段值，它是对平均权重wtd_RGB_ave的贡献。
为了生成组合加权的AWB值，该操作包括“生成初始AWB相关值”522，并且此处初始AWB相关值是白点，或者更具体地，是白点的颜色通道分量。具体而言，使用函数awbcomp()(awb比较())的白平衡(AWB)算法使用在各个段上生成的AWB段统计信息statseg[i][j](stat段[i][j])。AWB算法可以包括执行颜色相关、色域映射、灰色边缘和/或灰色世界AWB方法。作为示例，对于以灰色世界方法，所有颜色分量的平均值被计算并且与灰色进行比较。这建立了初始白点。如下文所提及的，AWB算法可用于生成用于每个颜色分量的初始增益，但这对于这个当前示例来说不是必需的。因此在此处，计算得到诸如用于RGB颜色方案的白色分量的初始白点。
接下来，组合加权的AWB值的生成可以包括“应用权重”523，其中这指的是如上文等式(19)中所示的那样将权重应用于初始白点分量值。此处，将如上文所描述针对段计算的每个总段权重w[i][j]乘以该段的初始AWB白点分量。这可以针对所使用的每个颜色通道(诸如RGB)被重复，使得为每个段提供三个加权的初始白点分量。
此后，根据该示例，组合加权的AWB值的生成包括对白点分量求和，以及然后通过除以用于生成环绕视图的段的总数来取平均，段的总数如上文提及的在接下来的示例中在此处是12。然而，除法在此处已经通过等式(18)中的总段权重的归一化来执行。平均值分别针对每个颜色通道R、G和B被确定。结果是要用于所有段的输出的(或统一的)平均(或以其他方式组合的)白点值。应当注意的是，代替颜色通道方案RGB，诸如R/G+B/G、CIELab、CIEXYZ颜色空间等之类的其他颜色空间可以代替地被使用。
过程500可以包括“生成统一AWB增益”524，其中，最终，加权的平均白点值然后可用于计算统一AWB增益。针对R、G、B通道的统一awbgains(awb增益)可以通过以下方式来计算：
awbqain[q]＝1.0(awb增益[g]＝1.0) (21)
统一AWB增益使用等式20-22的比率而不是直接使用加权平均白点分量来计算，以将G通道的增益保持在1.0，这在白平衡校正之后维持恒定的总亮度。在这种情况下，白平衡校正通过调节R和B增益来执行。
根据其他替代方案，AWB算法AWBcomp()计算两个初始白点，并且然后计算初始AWB增益作为初始AWB相关值。然后，这些初始AWB增益被加权以及被组合(诸如取平均)以形成段的平均增益。然后，这些平均增益可用作统一AWB增益以应用于图像。
过程500可以包括“将统一AWB增益应用于相同时间点的多个相机的图像”526。由此，根据一个示例，统一AWB增益被应用于交通工具或其他对象上的相机阵列的每个图像或所有图像，并且相机阵列贡献图像以形成例如相同的环绕视图。结果是来自相同或基本上相同时间点的图像集，该图像集全部(或单独地)用相同的统一AWB增益进行了统一AWB校正。
然后，过程500可以包括“输出帧以用于拼接”528。使用统一白平衡增益，相同的白平衡校正被应用于来自每个或单个相机的输出，并且这些输出帧被馈送到环绕视图单元中以形成所得的多视角输出，而无需仅AWB相关的颜色后处理或减少了对仅AWB相关的颜色后处理的需要。由此，环绕视图的质量被改进，特别是，或者至少在环绕视图的面向交通工具运动方向的一部分上或者在环绕视图在交通工具运动的方向上的一部分上(或者在交通工具的面向交通工具移动方向的一侧上)，并且用于生成环绕视图的计算负载被减少。
根据一种方法，一旦图像被拼接在一起，后处理通常就会被执行，其中术语“后处理”与拼接操作有关。然而，此处，不需要执行仅与AWB相关的后处理。在其他情况下，可以执行不仅与AWB相关的其他后处理，这些后处理包括颜色空间转换(诸如原始RGB到sRGB或YUV转换)、以及其他平滑(或去噪)或诸如伽玛校正、图像锐化等之类的校正。
接下来，经处理的图像可以如本文中所描述地被显示或被存储。替代地或附加地，图像数据可以被提供到编码器以用于压缩以及用于传输到具有解码器的另一设备以用于显示或存储，尤其是当相机阵列处于诸如无人机之类的自驾驶交通工具上时。在这种情况下，远程驾驶员或用户可以在远程计算机或其他计算设备(诸如智能手机或无人机控制台)上查看环绕视图。
尽管本文中所讨论的示例过程300和500的实现方式可以包括以所图示的顺序示出的所有操作的实施，但是本公开不限于此，并且在各种示例中，本文中的示例过程的实现方式可以仅包括所示操作的子集、以与所图示的顺序不同的顺序执行的操作、或者附加的或更少的操作。
此外，本文中讨论的操作中的任何一个或多个操作都可以响应于由一个或多个计算机程序产品提供的指令来实施。此类程序产品可以包括提供指令的信号承载介质，该指令在由例如处理器执行时，可以提供本文中所描述的功能。计算机程序产品可以以一个或多个机器可读介质的任何形式被提供。由此，例如，包括一个或多个图形处理单元或处理器核心的处理器可以响应于由一个或多个机器可读介质传送到处理器的程序代码和/或指令或指令集来实施本文中的示例过程中的块中的一个或多个块。一般而言，机器可读介质可以以程序代码和/或指令或指令集的形式来传送软件，该软件可以使得本文中所描述的设备和/或系统中的任何设备和/或系统实现本文中所讨论的操作的至少部分和/或本文中所讨论的设备、系统或任何模块或组件的任何部分。
如本文中所描述的任何实现方式中所使用的，术语“模块”指代被配置成用于提供本文中所描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路系统的任何组合。软件可以被具体化为软件包、代码和/或指令集或指令，并且如在本文中所描述的任何实现方式中所使用的“硬件”可以单独地或以任何组合包括例如硬连线电路系统、可编程电路系统、状态机电路系统、固定功能电路系统、执行单元电路系统和/或存储由可编程电路系统执行的指令的固件。模块可共同地或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(IC)、片上系统(SoC)等等。
如本文中所描述的任何实现方式中所使用的，术语“逻辑单元”指代被配置成用于提供本文中所描述的功能的固件逻辑和/或硬件逻辑的任何组合。如在本文中的任何实现方式中所使用的，“硬件”可以单独地或以任何组合包括例如硬连线电路系统、可编程电路系统、状态机电路系统、和/或存储由可编程电路系统执行的指令的固件。逻辑单元可共同地或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(IC)、片上系统(SoC)等等。例如，逻辑单元可以被具体化在用于本文中所讨论的编码系统的固件或硬件实现方式的逻辑电路系统中。本领域普通技术人员将领会到，由硬件和/或固件执行的操作可以替代地经由软件来实现，软件可以被具体化为软件包、代码和/或指令集或指令，并且还领会到逻辑单元还可以利用软件的一部分来实现其功能。
如本文中描述的任何实现方式中所使用的，术语“组件”可以指代模块或逻辑单元，如上文描述的这些术语。因此，术语“组件”可以指代被配置成用于提供本文中所描述的功能的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。例如，本领域普通技术人员将领会到，由硬件和/或固件执行的操作可以替代地经由软件模块来实现，软件模块可以被具体化为软件包、代码和/或指令集，并且还领会到逻辑单元还可以利用软件的一部分来实现其功能。
如在本文中的任何实现方式中所使用，术语“电路”或“电路系统”可以单独地或以任何组合包括或形成例如硬连线电路系统、可编程电路系统(诸如包括一个或多个单独的指令处理核心的计算机处理器)、状态机电路系统和/或存储由可编程电路系统执行的指令的固件。电路系统可以包括被配置成用于执行一个或多个指令以执行本文中描述的一个或多个操作的处理器(“处理器电路系统”)和/或控制器。指令可以被具体化为例如被配置成用于使电路系统执行前述操作中的任何操作的应用、软件、固件等。软件可以被具体化为记录在计算机可读存储设备上的软件包、代码、指令、指令集和/或数据。软件可以被具体化或被实现为包括任意数量的进程，并且进程进而可以以层次体系的方式被具体化或被实现为包括任意数量的线程等。固件可被具体化为硬编码(例如，非易失性的)在存储器设备中的代码、指令或指令集、和/或数据。电路系统可共同或单独地被具体化为形成较大系统的一部分的电路系统，该较大系统例如，集成电路(IC)、专用集成电路(application-specificintegrated circuit,ASIC)、片上系统(SoC)、桌面型电脑、膝上型电脑、平板电脑、服务器、智能电话等。其他实现方式可以被实现为由可编程控制设备执行的软件。在此类情况下，术语“电路”或“电路系统”旨在包括软件和诸如可编程控制设备或能够执行软件的处理器之类的硬件的组合。如本文中描述的，各种实现方式可以使用形成电路、电路系统、处理器电路系统的硬件元件、软件元件、或其任何组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片，微芯片、芯片组等等。
参考图6，示例图像处理系统600是根据本公开的至少一些实现方式布置的。在各种实现方式中，示例图像处理系统600可以具有用于形成或接收所捕获的图像数据的一个或多个成像设备602。这可以以各种方式来实现。由此，在一种形式中，图像处理系统600可以是相机阵列中的一个或多个数字相机或其他图像捕获设备，并且在这种情况下，成像设备602可以是相机硬件和相机传感器软件或模块603。在其他示例中，成像处理系统600可以具有相机阵列，该相机阵列具有一个或多个成像设备602，成像设备602包括相机或者可以是相机，并且逻辑模块604可以与成像设备602远程通信或者以其他方式可通信地耦合到成像设备602以用于对图像数据进行进一步处理。
在任一种情况下，此类技术可以包括至少一个相机或相机阵列，其可以是数字相机系统、专用相机设备、或成像电话，无论是静止图片相机还是摄像机还是两者的某种组合。根据一种形式，技术包括安装在交通工具或其他对象(诸如建筑物)上的板载相机阵列。在一种形式中，成像设备602可以包括相机硬件和光学器件，光学器件包括一个或多个传感器以及自动聚焦、变焦、光圈、ND滤光片、自动曝光、闪光灯和致动器控件。这些控件可以是用于操作传感器的传感器模块603的一部分。传感器模块603可以是成像设备602的一部分，或者可以是逻辑模块604的一部分，或可以是这两者。此类传感器模块可用于为取景器生成图像以及拍摄静止图片或视频。成像设备602还可以具有透镜、带有RGB拜耳滤色器的图像传感器、模拟放大器、A/D转换器、将入射光转换成数字信号的其他组件等、和/或其组合。数字信号在本文中也可以被称为原始图像数据。
其他形式包括相机传感器类型的成像设备等(例如，网络相机或网络相机传感器或其他增补型金属氧化物半导体类型的图像传感器(complementary metal–oxide–semiconductor–type image sensor,CMOS)或电荷耦合器件类型的图像传感器(charge-coupled device–type image sensor,CCD))，而不使用红绿蓝(red–green–blue,RGB)深度相机和/或麦克风阵列来定位谁在讲话。在其他示例中，RGB深度相机和/或麦克风阵列可用于除相机传感器之外或作为相机传感器的替代。在一些示例中，成像设备602可以被提供有眼睛跟踪相机。
在所图示的示例中，逻辑模块或电路604包括：预处理单元605；AWB控件606；可选地，当相机阵列602被安装在交通工具上时，与交通工具传感器640通信的交通工具传感器控件642；以及可选地，当AWB控件被视为3A封装的一部分时，用于为图像捕获设备或相机中捕获的下一个图像设置针对照明曝光和透镜聚焦的新设置的自动对焦(auto-focus,AF)模块616和自动曝光校正(auto exposure correction,AEC)模块618。交通工具传感器可以包括至少检测交通工具的运动的一个或多个加速度计等等。
AWB控件606可以具有统一AWB单元406(图4)，该单元进而具有AWB统计信息单元408、分割单元410、权重单元412、统一WB计算单元414和图像修改器单元416。AWB控件606为每个段或各个段以及相机设置初始白点(或WB增益)，然后取决于段和相机对那些增益进行加权。然后，如上文所描述，相同的增益被应用于每个或多个图像。否则，以上已经描述了细节和相关单元，并且在此不需要再次描述。
同样以所图示的形式，图像处理系统600可以具有形成一个或多个处理器620的处理器电路系统，一个或多个处理器620可包括一个或多个专用图像信号处理器(imagesignal processor,ISP)622，以及诸如英特尔凌动(Intel Atom)、存储器存储624、一个或多个显示器626、编码器628和天线630。在一个示例实现方式中，图像处理系统600可以具有：显示器626；至少一个处理器620，该至少一个处理器620通信地耦合到显示器；至少一个存储器624，该至少一个存储器624通信地耦合到处理器；以及自动白平衡单元或AWB控件，该自动白平衡单元或AWB控件耦合到处理器以调节图像的白点使得图像中的颜色可以如本文中所描述的那样被校正。诸如当交通工具是自驾驶交通工具时，可以提供编码器628和天线630来压缩经修改的图像数据以用于传输到可以显示或存储图像的其他设备。将要理解的是，图像处理系统600还可以包括解码器(或者编码器628可以包括解码器)以接收来自相机阵列的图像数据并对其进行解码以供由系统600处理。否则，经处理的图像632可被显示在显示器626上或被存储在存储器624中。如所图示的，这些组件中的任何组件都能够互相通信和/或与逻辑模块604和/或(一个或多个)成像设备602的部分通信。由此，处理器620可以既通信地耦合到图像设备602又通信地耦合到逻辑模块604以用于操作那些组件。根据一种方法，虽然如图6所示的图像处理系统600可以包括与特定模块相关联的一个特定的块或动作集，但是这些块或动作可以同与此处所图示的特定模块不同的模块相关联。
参考图7，根据本公开的示例系统700操作本文中所描述的图像处理系统的一个或多个方面，这些方面包括相机阵列中的一个或多个相机，和/或远程于相机阵列的、执行本文中所描述的图像处理的设备。从下文描述的系统组件的性质将要理解的是，此类组件可以与上文所描述的图像处理系统的某个部分或多个部分相关联，或者用于操作上文所描述的图像处理系统的某个部分或多个部分。在各种实现方式中，系统700可以是媒体系统，虽然系统700不限于此上下文。例如，系统700可以并入数字静态相机、数字摄像机、具有相机或视频功能的移动设备(诸如成像电话、网络相机、个人计算机(personal computer,PC)、膝上型电脑、超膝上型电脑、平板电脑、触摸板、便携式计算机、手持式计算机、掌上手持式、个人数字助理(personal digital assistant,PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板电脑或智能电视)、移动互联网设备(mobile internetdevice,MID)、消息传送设备、数据通信设备等等)。
在各种实现方式中，系统700包括耦合到显示器720的平台702。平台702可以从诸如(一个或多个)内容服务设备730或(一个或多个)内容递送设备740或其他类似内容源之类的内容设备接收内容。包括一个或多个导航特征的导航控制器750可以用于与例如平台702和/或显示器720交互。下文将更详细地描述这些组件中的每个组件。
在各种实现方式中，平台702可以包括芯片组705、处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718的任何组合。芯片组705可以提供处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718之间的相互通信。例如，芯片组705可以包括能够提供与存储装置714的相互通信的存储装置适配器(未描绘)。
处理器710可以被实现为复杂指令集计算机(Complex Instruction SetComputer,CISC)或精简指令集计算机(Reduced Instruction Set Computer,RISC)处理器；x86指令集兼容处理器、多核心或任何其他微处理器或中央处理单元(centralprocessing unit,CPU)。在各种实现方式中，处理器710可以是(一个或多个)双核心处理器、(一个或多个)双核心移动处理器、等等。
存储器712可以被实现为易失性存储设备，诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(Dynamic Random Access Memory,DRAM)或静态RAM(Static RAM,SRAM)。
存储装置714可以被实现为非易失性存储设备，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪存、电池备份SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现方式中，例如当多个硬盘驱动器被包括时，存储装置714可以包括用于针对有价值的数字媒体增加存储性能增强保护的技术。
图形子系统715可以执行对图像(诸如用于显示的静态图像或视频)的处理。例如，图形子系统715可以是图形处理单元(graphics processing unit,GPU)或视觉处理单元(visual processing unit,VPU)。模拟或数字接口可用于通信地耦合图形子系统715和显示器720。例如，接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD兼容技术中的任一项。图形子系统715可以被集成到处理器710或芯片组705中。在一些实现方式中，图形子系统715可以是通信地耦合到芯片组705的独立卡。
本文中描述的图形和/或视频处理技术可以在各种硬件体系结构中实现。例如，图形和/或视频功能可以被集成在芯片组内。替代地，分立的图形和/或视频处理器可以被使用。作为又一实现方式，图形和/或视频功能可以由通用处理器提供，该通用处理器包括多核心处理器。在进一步的实现方式中，功能可以在消费电子设备中实现。
无线电装置718可以包括能够使用各种合适的无线通信技术发射和接收信号的一个或多个无线电装置。此类技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(wireless local area network,WLAN)、无线个域网(wirelesspersonal area network,WPAN)、无线城域网(wireless metropolitan area network,WMAN)、蜂窝网络和卫星网络。在跨此类网络进行通信时，无线电装置818可以根据任何版本的一个或多个可应用的标准进行操作。
在各种实现方式中，显示器720可以包括任何电视类型的监视器或显示器。例如，显示器720可以包括计算机显示屏、触摸屏显示器、视频监视器、类似电视的设备和/或电视机。显示器720可以是数字的和/或模拟的。在各种实现方式中，显示器720可以是全息显示器。此外，显示器720可以是可接收视觉投影的透明表面。此类投影可以传达各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实(mobile augmentedreality,MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可以在显示器720上显示用户接口722。
在各种实现方式中，(一个或多个)内容服务设备730可以由任何国家的、国际的和/或独立的服务托管，并且由此例如可经由互联网访问平台702。(一个或多个)内容服务设备730可以耦合到平台702和/或耦合到显示器720。平台702和/或(一个或多个)内容服务设备730可以耦合到网络760以向网络760传送(例如，发送)媒体信息和/或从网络760传送(例如，接收)媒体信息。(一个或多个)内容递送设备740也可以耦合到平台702和/或耦合到显示器720。
在各种实现方式中，(一个或多个)内容服务设备730可以包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的支持互联网的设备或器具、以及能够经由网络760或直接在内容提供商与平台702和/显示器720之间单向或双向传送内容的任何其他类似设备。将要领会的是，内容可以经由网络760单向和/或双向地传送至系统700中的组件中的任何一个组件和内容提供商，以及经由网络760从系统700中的组件中的任何一个组件和内容提供商单向和/或双向地传送。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等等。
(一个或多个)内容服务设备730可以接收诸如包括媒体信息、数字信息和/或其他内容的有线电视节目之类的内容。内容提供商的示例可以包括任何有线或卫星电视或广播或互联网内容提供商。所提供的示例并不意味着以任何方式限制根据本公开的实现方式。
在各种实现方式中，平台702可以从具有一个或多个导航特征的导航控制器750接收控制信号。例如，控制器750的导航特征可用于与用户接口722交互。在实现方式中，导航控制器750可以是指针设备，该指针设备可以是允许用户将空间(例如，连续和多维)数据输入到计算机中的计算机硬件组件(具体地，人机接口设备)。诸如图形用户接口(graphicaluser interface,GUI)、电视和监视器之类的许多系统允许用户使用物理手势来控制计算机或电视并将数据提供到计算机或电视。
控制器750的导航特征的移动可以通过显示器上显示的指针、光标、聚焦环或其他视觉指示器的移动而在显示器(例如，显示器720)上复制。例如，在软件应用716的控制下，被定位在导航控制器750上的导航特征例如可以被映射到用户接口722上显示的虚拟导航特征。在实现方式中，控制器750可以不是单独的组件，而是可以被集成到平台702和/或显示器720中。然而，本公开不限于本文中所示出或描述的元件或上下文。
在各种实现方式中，驱动器(未示出)可以包括使得用户能够在初始启动之后(例如，当被启用时)通过触摸按钮来立即打开和关闭平台702(像电视)的技术。即使平台被“关闭”，程序逻辑也可以允许平台702将内容流传输到媒体适配器或(一个或多个)其他内容服务设备730或(一个或多个)内容递送设备740。此外，芯片组705可以包括对例如8.1环绕声音频和/或高清晰度(7.1)环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在实现方式中，图形驱动器可以包括外围组件互连(peripheralcomponent interconnect,PCI)快速图形卡。
在各种实现方式中，系统700中所示的组件中的任何一个或多个组件可以被集成。例如，平台702和(一个或多个)内容服务设备730可以被集成，或者平台702和/或(一个或多个)多个内容递送设备740可以被集成，或者例如平台702、(一个或多个)内容服务设备730和(一个或多个)内容递送设备740可以被集成。在各种实现方式中，平台702和显示器720可以是集成单元。例如，显示器720和(一个或多个)内容服务设备730可以被集成，或者显示器720和(一个或多个)内容递送设备740可以被集成。这些示例并不意味着限制本公开。
在各种实现方式中，系统700可以被实现为无线系统、有线系统或两者的组合。当被实现为无线系统时，系统700可以包括适于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、发射器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括无线频谱的部分，诸如RF频谱等等。当被实现为有线系统时，系统700可以包括适于通过有线通信介质进行通信的组件和接口，诸如输入/输出(input/output,I/O)适配器、将I/O适配器与相对应的有线通信介质连接的物理连接器、网络接口卡(networkinterface card,NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(printed circuit board,PCB)、背板、开关结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台702可以建立一个或多个逻辑或物理信道来传送信息。该信息可以包括媒体信息和控制信息。媒体信息可以指代表示用于用户的内容的任何数据。例如，内容的示例可以包括来自语音对话、视频会议、流传输视频、电子邮件(“邮件”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。例如，来自语音对话的数据可以是话音信息、静默时段、背景噪声、舒适噪声、音调等等。控制信息可以指代表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可用于通过系统路由媒体信息，或者指令节点以预定方式处理媒体信息。然而，实现方式不限于图7中所示或描述的元件或上下文。
如上文所描述的，系统600或700可以以不同的物理样式或形状因子来具体化。图8图示出根据本公开的至少一些实现方式布置的示例小型设备800。在一些示例中，系统600或700可以经由设备800来实现。在其他示例中，系统400或其部分可以经由设备800来实现。例如，在各种实现方式中，设备800可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指代具有处理系统和移动功率源或电源(诸如一个或多个电池)的任何设备。
移动计算设备的示例可以包括个人计算机(PC)、膝上型电脑、超膝上型电脑、平板电脑、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如，智能电话、智能平板电脑或智能移动电视)、移动互联网设备(MID)、消息传送设备、数据通信设备、相机等等。
移动计算设备的示例还可以包括被布置成用于由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂章计算机、鞋计算机、衣服计算机和其他可穿戴计算机。例如，在各种实现方式中，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可以通过示例的方式用被实现为智能电话的移动计算设备来描述一些实现方式，但是可以领会，也可以使用其他无线移动计算设备实现其他实现方式。实现方式不限于此上下文。
如图8所示，设备800可包括具有前部801和后部802的壳体。设备800包括显示器804、输入/输出(I/O)设备806和集成天线808。设备800还可以包括导航特征810。I/O设备806可以包括用于将信息输入到移动计算设备中的任何合适的I/O设备。I/O设备806的示例可以包括字母数字键盘、数字键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等等。信息也可以通过麦克风(未示出)的方式输入到设备800中，或者可以通过语音识别设备进行数字化。如图所示，设备800可以包括集成到设备800的背部802(或其他地方)中的一个或多个相机805(例如，包括透镜、光圈和成像传感器)和闪光灯812。在其他示例中，相机805和闪光灯812可以被集成到设备800的前部801中，或者前部和后部相机两者都可以被提供。相机805和闪光灯812可以是相机模块的组件，以产生被处理成流传输视频的图像数据，该流传输视频被输出到显示器804和/或例如经由天线808从设备800远程地传送。
可使用硬件元件、软件元件或两者的组合来实现各种实现方式。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片，微芯片、芯片组等等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(applicationprograminterface,API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任何组合。确定是否使用硬件元件和/或软件元件来实现实现方式可能根据任何数量的因素而不同，这些因素诸如，期望的计算速率、功率级别、热容限、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
至少一个实现方式的一个或多个方面可以由存储在机器可读介质上的表示性指令来实现，该指令表示处理器内的各种逻辑，该指令当由机器读取时，使得该机器制造用于执行本文中所描述的技术的逻辑。被称为“IP核心”的此类表示可以被存储在有形的机器可读介质上，并且可被供应给各个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
尽管已经参考各种实现方式描述了本文中阐述的某些特征，但是该描述并不旨在被解释为限制意义。因此，对本公开所属领域的技术人员显而易见的本文中所描述的实现方式的各种修改以及其他实现方式被认为落入本公开的精神和范围内。
以下示例涉及进一步的实现方式。
根据示例的一个或多个第一实现方式，一种计算机实现的进行图像处理的方法包括：获得由一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；自动确定多个图像的至少一个统一自动白平衡(AWB)增益；将该至少一个统一AWB增益应用于多个图像；以及生成组合视图，包括在该至少一个统一AWB增益被应用于各个图像之后对图像进行组合。
根据一个或多个第二实现方式，并且进一步针对第一实现方式，其中，确定包括：确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益。
根据一个或多个第三实现方式，并且进一步针对第一实现方式，其中，确定包括：确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益，并且其中确定包括：确定各个图像的段的权重和初始AWB相关值以形成统一AWB增益。
根据一个或多个第四实现方式，并且进一步针对第一实现方式，其中，确定包括确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益，其中确定包括确定各个图像的段的权重和初始AWB相关值以形成统一AWB增益，并且其中段被划分成其中图像中的至少两个图像重叠的重叠段和其中没有图像重叠的非重叠段。
根据一个或多个第五实现方式，并且进一步针对第一实现方式，其中，确定包括确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益，其中确定包括确定各个图像的段的权重和初始AWB相关值以形成统一AWB增益，其中段被划分成其中图像中的至少两个图像重叠的重叠段和其中没有图像重叠的非重叠段，并且其中单个相机的重叠段的权重小于该单个相机的非重叠段的权重。
根据一个或多个第六实现方式，并且进一步针对第一实现方式，其中，确定包括确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益，其中确定包括确定各个图像的段的权重和初始AWB相关值以形成统一AWB增益，其中段被划分成其中图像中的至少两个图像重叠的重叠段和其中没有图像重叠的非重叠段，并且其中在基本上相同的区域处重叠并且来自多个相机的重叠段各自具有减小的权重，使得在该相同的区域处的重叠段的总权重等于相机中的一个相机的非重叠段的权重。
根据一个或多个第七实现方式，并且进一步针对第一实现方式，其中，确定包括确定各个图像的两个或更多个初始AWB相关值以及对多个图像的初始AWB相关值进行组合以形成统一AWB增益，其中确定包括确定各个图像的段的权重和初始AWB相关值以形成统一AWB增益，并且其中确定包括至少部分地取决于交通工具上的相机位置和该交通工具相对于该位置的运动来确定图像的权重。
根据一个或多个示例第八实现方式，一种计算机实现的进行图像处理的系统包括：存储器，该存储器用于至少存储来自一个或多个相机的图像的图像数据；处理器电路系统，该处理器电路系统形成至少一个处理器，该至少一个处理器通信地耦合到存储器并且被布置成用于通过以下各项来操作：获得由一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；自动确定该多个图像的至少一个统一自动白平衡(AWB)增益；将该至少一个统一AWB增益应用于该多个图像；以及生成环绕视图，包括在该至少一个统一AWB增益被应用于各个图像之后对图像进行组合。
根据一个或多个第九实现方式，并且进一步针对第八实现方式，其中，确定包括确定形成图像的各个段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB。
根据一个或多个第十实现方式，并且进一步针对第九实现方式，其中，确定包括确定形成图像的各个段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB增益，并且其中确定包括逐段确定AWB增益以形成要用于形成统一AWB增益的加权的初始AWB相关值，其中初始AWB相关值是AWB增益或白点分量。
根据一个或多个第十一实现方式，并且进一步针对第九实现方式，其中，确定包括确定形成图像的各个段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB增益，并且其中确定包括至少部分地取决于交通工具上的相机位置和该交通工具相对于该位置的运动来确定权重。
根据一个或多个第十二实现方式，并且进一步针对第十一实现方式，其中，确定包括确定形成图像的各个段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB，并且其中确定包括至少部分地取决于交通工具上的相机位置和该交通工具相对于该位置的运动来确定权重，并且其中处理器被布置成用于通过以下来操作：取决于相机是否比其他相机更多地面向交通工具运动的方向而生成权重。
根据一个或多个示例第十三实现方式，交通工具包括：主体；相机阵列，该相机阵列被安装在主体上，其中每个相机具有至少部分不同的视角；处理器电路系统，该处理器电路系统形成至少一个处理器，该至少一个处理器通信地耦合到相机阵列并且被布置成用于通过以下各项来操作：获得由相机阵列中的一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；自动确定该多个图像的统一自动白平衡(AWB)增益；将该统一AWB增益应用于该多个图像；以及生成环绕视图，包括在该统一AWB增益被应用于各个图像之后对图像进行组合。
根据一个或多个第十四实现方式，并且进一步针对第十三实现方式，其中，确定包括确定各个图像的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB增益。
根据一个或多个第十五实现方式，并且进一步针对第十三或第十四实现方式，其中，确定包括以下各项中的一项或多项：(1)确定段的权重以形成初始AWB相关值，以及(2)至少部分地取决于交通工具上的相机位置和交通工具相对于位置的运动来确定图像的权重。
根据示例的第十六实现方式，至少一种非暂态制品包括至少一种计算机可读介质，该计算机可读介质具有存储于其上的指令，该指令当被执行时，使计算设备通过以下各项来操作：获得由一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；自动确定该多个图像的至少一个统一自动白平衡(AWB)增益；将该至少一个统一AWB增益应用于图像；以及生成环绕视图，包括在该至少一个统一AWB增益被应用于各个图像之后对图像进行组合。
根据一个或多个第十七实现方式，并且进一步针对第十六实现方式，其中，确定包括确定形成各个图像的段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB。
根据一个或多个第十八实现方式，并且进一步针对第十六实现方式，其中，确定包括确定形成各个图像的段的一个或多个初始AWB相关值以及对初始AWB相关值进行组合以形成统一AWB，并且其中确定包括(1)确定段的权重以形成初始AWB相关值，以及(2)至少部分地取决于交通工具上的相机位置和该交通工具相对于该位置的运动来确定权重。
根据一个或多个第十九实现方式，并且进一步针对第十六实现方式到第十八实现方式中的任一者，其中，确定包括至少部分地取决于交通工具是向前移动、停止还是向后移动来提供相机中的至少一个相机的权重值。
根据一个或多个第二十实现方式，并且进一步针对第十六实现方式到第十九实现方式中的任一者，其中，确定包括至少部分地取决于交通工具是左转、右转还是保持直行来提供相机中的至少一个相机的权重值。
根据一个或多个第二十一实现方式，并且进一步针对第十六实现方式到第二十实现方式中的任一者，其中，确定包括至少部分地取决于交通工具转向相对于参考方向的角度的大小来提供相机中的至少一个相机的权重值，其中交通工具承载相机。
通过一个或多个第二十二实现方式，并且进一步针对第十六实现方式到第二十一实现方式中的任一者，其中，确定包括提供在提供图像的多个相机之间成比例的权重，使得面向转向的方向的相机相比其他相机接收到最大权重。
通过一个或多个第二十三实现方式，并且进一步针对第二十二实现方式，其中，确定包括提供在提供图像的多个相机之间的至少一个相机的权重，并且该权重是承载相机的交通工具转向的交通工具转向角度与被视为交通工具的驾驶员的可能的驾驶员面向定向的范围的注意力角度的比率。
在一个或多个第二十四实现方式中，至少一种机器可读介质包括多个指令，该多个指令响应于在计算设备上被执行而使得该计算设备执行根据上述实现方式中的任何实现方式的方法。
在一个或多个第二十五实现方式中，一种装置可以包括用于执行根据上述实现方式中的任何实现方式的方法的装置。
上述示例可以包括特征的特定组合。然而，以上示例不限于此，并且在各种实现方式中，以上示例可以包括仅采用此类特征的子集、采用此类特征的不同顺序、采用此类特征的不同组合、和/或采用除了明确列出的那些特征之外的附加特征。例如，关于本文中的任何示例方法描述的所有特征可以关于任何示例装置、示例系统和/或示例制品来实现，并且关于任何示例装置、示例系统和/或示例制品描述的所有特征可以关于本文中的任何示例方法来实现。

Claims (25)

1.一种计算机实现的进行图像处理的方法，包括：
获得由一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；
自动确定所述多个图像的至少一个统一自动白平衡(AWB)增益；
将所述至少一个统一AWB增益应用于所述多个图像；以及
生成组合视图，包括在所述至少一个统一AWB增益被应用于各个图像之后对所述图像进行组合。
2.如权利要求1所述的方法，其中，所述确定包括：确定所述各个图像的两个或更多个初始AWB相关值以及对多个图像的所述初始AWB相关值进行组合以形成所述统一AWB增益。
3.如权利要求2所述的方法，其中，所述确定包括：确定所述各个图像的段的权重和所述初始AWB相关值以形成所述统一AWB增益。
4.如权利要求3所述的方法，其中，所述段被划分成其中所述图像中的至少两个图像重叠的重叠段和其中没有图像重叠的非重叠段。
5.如权利要求4所述的方法，其中，单个相机的重叠段的权重小于所述单个相机的非重叠段的权重。
6.如权利要求4所述的方法，其中，在基本上相同的区域处重叠并且来自多个相机的重叠段各自具有减小的权重，使得在所述相同的区域处的重叠段的总权重等于相机中的一个相机的非重叠段的权重。
7.如权利要求3所述的方法，其中，所述确定包括：至少部分地取决于交通工具上的相机位置和所述交通工具相对于所述位置的运动来确定图像的权重。
8.一种计算机实现的进行图像处理的系统，包括：
存储器，所述存储器用于至少存储来自一个或多个相机的图像的图像数据；以及
处理器电路系统，所述处理器电路系统形成至少一个处理器，所述至少一个处理器通信地耦合到所述存储器并且被布置成用于通过以下各项来操作：
获得由所述一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；
自动确定所述多个图像的至少一个统一自动白平衡(AWB)增益；
将所述至少一个统一AWB增益应用于所述多个图像；以及
生成环绕视图，包括在所述统一AWB增益被应用于各个图像之后对所述图像进行组合。
9.如权利要求8所述的系统，其中，所述确定包括：确定形成所述图像的各个段的一个或多个初始AWB相关值以及对所述初始AWB相关值进行组合以形成所述统一AWB。
10.如权利要求9所述的系统，其中，所述确定包括：逐段确定AWB权重以形成要用于形成统一AWB增益的加权的初始AWB相关值，其中所述初始AWB相关值是AWB增益或白点分量。
11.如权利要求9所述的系统，其中，所述确定包括：至少部分地取决于交通工具上的相机位置和所述交通工具相对于所述位置的运动来确定权重。
12.如权利要求11所述的系统，其中，所述处理器被布置成用于通过以下来操作：取决于相机是否比其他相机更多地面向交通工具运动的方向而生成权重。
13.一种交通工具，包括：
主体；
相机阵列，所述相机阵列被安装在所述主体上，其中每个相机具有至少部分不同的视角；以及
处理器电路系统，所述处理器电路系统形成至少一个处理器，所述至少一个处理器通信地耦合到所述相机阵列并且被布置成用于通过以下各项来操作：
获得由所述相机阵列中的一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；
自动确定所述多个图像的统一自动白平衡(AWB)增益；
将所述统一AWB增益应用于所述多个图像；以及
生成环绕视图，包括在所述统一AWB增益被应用于各个图像之后对所述图像进行组合。
14.如权利要求13所述的交通工具，其中，所述确定包括：确定所述各个图像的段的一个或多个初始AWB相关值以及对所述初始AWB相关值进行组合以形成所述统一AWB增益。
15.如权利要求13所述的交通工具，其中，所述确定包括以下各项中的一项或多项：(1)确定段的权重以形成所述初始AWB相关值，以及(2)至少部分地取决于所述交通工具上的相机位置和所述交通工具相对于所述位置的运动来确定图像的权重。
16.至少一种非暂态制品，所述非暂态制品包括至少一种计算机可读介质，所述计算机可读介质具有存储于其上的指令，所述指令当被执行时，使计算设备通过以下各项来操作：
获得由一个或多个相机捕获的并且具有同一场景的不同视角的多个图像；
自动确定所述多个图像的至少一个统一自动白平衡(AWB)增益；
将所述至少一个统一AWB增益应用于所述图像；以及
生成环绕视图，包括在所述至少一个统一AWB增益被应用于各个图像之后对所述图像进行组合。
17.如权利要求16所述的制品，其中，所述确定包括：确定形成所述各个图像的段的一个或多个初始AWB相关值以及对所述初始AWB相关值进行组合以形成所述统一AWB。
18.如权利要求17所述的制品，其中，所述确定包括(1)确定所述段的权重以形成所述初始AWB相关值，以及(2)至少部分地取决于交通工具上的相机位置和所述交通工具相对于所述位置的运动来确定图像的权重。
19.如权利要求16所述的制品，其中，所述确定包括：至少部分地取决于交通工具是向前移动、停止还是向后移动来提供所述相机中的至少一个相机的权重值。
20.如权利要求16所述的制品，其中，所述确定包括：至少部分地取决于交通工具是左转、右转还是保持直行来提供所述相机中的至少一个相机的权重值。
21.如权利要求16所述的制品，其中，所述确定包括：至少部分地取决于交通工具转向相对于参考方向的角度的大小来提供相机中的至少一个相机的权重值，其中所述交通工具承载所述相机。
22.如权利要求16所述的制品，其中，所述确定包括：提供在提供所述图像的多个相机之间成比例的权重，使得面向转向的方向的相机比其他相机接收到最大权重。
23.如权利要求16所述的制品，其中，所述确定包括：提供在提供所述图像的多个相机之间的至少一个相机的权重，并且所述权重是承载所述相机的交通工具的转向的交通工具转向角度与被视为所述交通工具的驾驶员的可能的驾驶员面向定向的范围的注意力角度的比率。
24.至少一种机器可读介质，所述机器可读介质包括多个指令，所述多个指令响应于在计算设备上被执行而使得所述计算设备执行如权利要求1-7中的任一项所述的方法。
25.一种设备，所述设备包括用于执行如权利要求1-7中的任一项所述的方法的装置。
CN202180098423.XA 2021-08-02 2021-08-02 用于多图像处理的统一自动白平衡的方法和系统 Pending CN117378210A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/109996 WO2023010238A1 (en) 2021-08-02 2021-08-02 Method and system of unified automatic white balancing for multi-image processing

Publications (1)

Publication Number Publication Date
CN117378210A true CN117378210A (zh) 2024-01-09

Family

ID=85154030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098423.XA Pending CN117378210A (zh) 2021-08-02 2021-08-02 用于多图像处理的统一自动白平衡的方法和系统

Country Status (2)

Country Link
CN (1) CN117378210A (zh)
WO (1) WO2023010238A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
US9741117B2 (en) * 2014-12-22 2017-08-22 Motorola Mobility Llc Multiple camera apparatus and method for synchronized auto white balance
JP6354578B2 (ja) * 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP6750519B2 (ja) * 2016-05-24 2020-09-02 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
CN109040613B (zh) * 2017-06-09 2022-03-25 株式会社爱信 图像处理装置

Also Published As

Publication number Publication date
WO2023010238A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US10572982B2 (en) Method and system of image distortion correction for images captured by using a wide-angle lens
US10885384B2 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US20200344455A1 (en) Method and system of lens shading color correction using block matching
EP3039864B1 (en) Automatic white balancing with skin tone correction for image processing
CN109660782B (zh) 减少立体深度传感器成像中的纹理化ir图案
US11317070B2 (en) Saturation management for luminance gains in image processing
US10762664B2 (en) Multi-camera processor with feature matching
CN108885785B (zh) 用于时间噪声减少的运动自适应流处理
US10063840B2 (en) Method and system of sub pixel accuracy 3D measurement using multiple images
US9367916B1 (en) Method and system of run-time self-calibrating lens shading correction
US20210004969A1 (en) Multi-level optical flow estimation framework for stereo pairs of images based on spatial partitioning
US11017511B2 (en) Method and system of haze reduction for image processing
NL2029657B1 (en) Accurate optical flow estimation in stereo pairs of equirectangular images
US10924682B2 (en) Self-adaptive color based haze removal for video
EP3891974A1 (en) High dynamic range anti-ghosting and fusion
CN110944164A (zh) 使用相机的平面阵列的沉浸式观看
US20230232103A1 (en) Image processing device, image display system, method, and program
WO2023010238A1 (en) Method and system of unified automatic white balancing for multi-image processing
WO2022261849A1 (en) Method and system of automatic content-dependent image processing algorithm selection
CN114257733A (zh) 具有视点偏移的全向图像的图像处理的方法和系统
CN109618090B (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication