CN115280758A - 具有图像后处理的多色闪光 - Google Patents

具有图像后处理的多色闪光 Download PDF

Info

Publication number
CN115280758A
CN115280758A CN202080093701.8A CN202080093701A CN115280758A CN 115280758 A CN115280758 A CN 115280758A CN 202080093701 A CN202080093701 A CN 202080093701A CN 115280758 A CN115280758 A CN 115280758A
Authority
CN
China
Prior art keywords
image
color
light sources
color point
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093701.8A
Other languages
English (en)
Inventor
C·施拉马
N·B·普菲菲尔
A·范德西德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumileds LLC
Original Assignee
Lumileds LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumileds LLC filed Critical Lumileds LLC
Publication of CN115280758A publication Critical patent/CN115280758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B33/00—Colour photography, other than mere exposure or projection of a colour film
    • G03B33/02—Colour photography, other than mere exposure or projection of a colour film by two-colour separation records, e.g. red-aspect and white complete records; using Land effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0571—With second light source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

描述了具有图像后处理的多色闪光，其使用具有多色闪光灯的相机设备并实施后处理以生成图像。在一个方面中，具有图像后处理的多色闪光可以由控制器实现，该控制器被配置为控制相机和至少两种不同颜色的闪光灯。控制器可以被配置为使相机在场景正被第一闪光灯而不是被第二闪光灯照明时获取场景的第一图像，然后使所述相机在所述场景正被第二闪光灯而不是被第一闪光灯照明时获取场景的第二图像，并且基于第一图像和第二图像的组合在后处理中生成场景的最终图像。

Description

具有图像后处理的多色闪光
（多个）相关申请的交叉引用
本申请要求2019年11月19日提交的美国临时申请第62/937550号和2019年12月5日提交的美国非临时申请第16/704864号的权益和优先权，出于所有目的，它们的公开内容通过引用以其全部内容在此并入本文。
技术领域
本公开总体上涉及相机，并且更具体地，涉及具有多色闪光灯的相机。
背景技术
相机闪光灯在低光条件下提供照明。为了最佳的显色，闪光灯的颜色应该与对象和/或整个图像的颜色相匹配。这可以通过使用不同颜色的光源集合来实现，使得由该集合产生的组合色点与对象和/或整个图像的色点相匹配。由于其紧凑的尺寸和低功率要求，发光二极管（LED）是在手持电池供电设备（诸如相机和手机）的相机闪光灯中使用的光源的有吸引力的候选。
D1（美国专利第9766533号）描述了一种包括闪光单元和控制器的设备。控制器被配置为基于第一图像和第二图像生成第三图像。
附图说明
为了提供对本公开及其特征和优点的更完整的理解，结合附图参考以下描述，其中类似的附图标记表示类似的部分，其中：
图1提供了示出根据本公开的一些实施例的示例相机设备的框图；
图2提供了根据本公开的一些实施例的用于执行具有图像后处理的多闪光的方法的流程图；
图3提供了根据本公开的一些实施例的示例曲线图，其示出了两种不同颜色的闪光灯的色点和环境照明的色点；
图4示出了根据本公开的一些实施例，使用图3的曲线图来计算关于第一颜色的闪光灯的校正因子的示例；
图5示出了根据本公开的一些实施例，使用图3的曲线图来计算关于第二颜色的闪光灯的校正因子的示例；
图6示出了根据本公开的一些实施例，使用图3的曲线图来计算关于两种颜色的闪光灯的校正因子的示例；以及
图7提供了示出根据本公开的一些实施例的示例数据处理系统的框图，该示例数据处理系统可以被配置成实现如本文所述的具有图像后处理的多色闪光的至少各部分。
具体实施方式
概述
本公开的系统、方法和设备各自具有几个创新方面，其中没有一个方面单独负责本文公开的所有合期望的属性。本说明书中描述的主题的一个或多个实施方式的细节在以下描述和所附附图中阐述。
出于说明本文所述的具有图像后处理的多色闪光的目的，理解可以在多色闪光灯相机中起作用的现象可能是有用的。以下基本信息可以被视为可以适当解释本公开的基础。这种信息仅仅是为了解释的目的而提供的，并且因此，不应该以任何方式解释为限制本公开及其潜在应用的广泛范围。
相机（或者更一般地，任何成像设备）中的LED闪光灯——例如在手机成像中——在弱光条件下获取图像时提供照明。如上所述，为了最佳的颜色再现，闪光的颜色应该与对象和/或整个图像的颜色相匹配，这可以通过使用不同颜色的光源集合来设置最佳色点来实现。设置正确色点的一种传统方法是，首先，用相机或其他设备测量色点，并且接下来，调整LED的集合，以调节用于驱动每个LED的电流。利用这种方法的一个挑战是，测量和调整都应该在用户按下按钮获取图像的时间和相机实际获取图像的时间之间进行。这是一个时间关键的步骤，并且通常需要专门的处理单元，这就处理能力和所需部件而言可以是非常昂贵的。执行这种预处理对于移动应用（诸如手机中使用的多闪光灯相机）来说成本可能特别高。
本公开的实施例提供了一种可以被称为“具有图像后处理的多色闪光”的方法，因为它使用具有多色闪光灯（即，至少两种不同颜色或色点的闪光灯）的相机设备，并且实施后处理（即，在相机已经获取图像之后的处理）以生成图像。在一个方面中，具有图像后处理的多色闪光可以由控制器实现，该控制器被配置成控制相机和至少两种不同颜色（或与至少两种不同色点相关联）的闪光灯，其称为“第一闪光灯”和“第二闪光灯”。通常，如本文所使用的，术语“第一闪光灯”可以指光源的集合（例如LED的集合），当在获取图像时使用第一闪光灯时，其使得图像与第一色点相关联。类似地，术语“第二闪光灯”可以指光源的集合（例如LED的集合），当在获取图像时使用第二闪光灯时，其使得图像与不同于色点的第二色点相关联。控制器可以被配置成使相机在场景正被第一闪光灯而不是被第二闪光灯照明时获取场景的第一图像（这可以使得第一图像与第一色点相关联），然后使相机在场景正被第二闪光灯而不是被第一闪光灯照明时获取场景的第二图像（这可以使第二图像与不同于第一色点的第二色点相关联），并且基于第一图像和第二图像的组合在后处理中生成场景的最终图像。例如，最终图像可以生成为第一和第二图像的加权平均值、平方加权平均值、加权中值、或任何其他合适的组合，以表示最终图像中第一和第二闪光灯之间的期望平衡。以这种方式，可以在后处理中执行多色闪光灯的最佳/期望色点的选择，这可以减轻对必须执行的预处理步骤的一些要求或需求，从而有利地允许例如使用不太复杂的处理单元，这可以导致显著的成本节约。例如，在一些实施例中，生成最终图像的后处理可以由应用层处理器来执行。根据以下描述和权利要求，本公开的其他特征和优点将是清楚的。
在下文中，参考两种不同颜色（或色点）的闪光灯来描述多色闪光灯。例如，第一闪光灯可以使得第一色点是冷白（CW）色的色点，并且第二闪光灯可以使得第二色点是暖白（WW）色的色点。然而，这些描述可以容易地扩展到其他实施例，其中可以使用第一和第二闪光灯的其他颜色，和/或其中可以使用多于两种不同颜色的闪光灯，所有这些实施例都在本公开的范围内。此外，虽然一些描述可能将LED称为用于不同颜色的闪光灯的光源，但是在其他实施例中，可以使用任何合适的光源，不限于LED。更进一步，本文提供的涉及一种颜色的闪光灯提供照明而另一种颜色的闪光灯关闭的描述同样适用，并且涵盖第二闪光灯没有完全关闭而是变暗——例如，变暗到小于其标称输出的大约30%、小于大约20%、或小于大约10%，包括其中的所有值和范围——的实施例。由于每个闪光灯可以被实现为光源的集合（例如LED的集合），因此可以设想这样的实施例，其中，在不获取具有不同颜色闪光灯的图像时，如本文所描述的，所有的LED都是关闭的。取而代之，可能是不同组的LED在不同的时刻发射具有不同强度的光，这导致图像的不同色点，获取这些色点以产生如本文所述的最终图像。因此，一般地，涉及在给定闪光灯正照明场景而其他闪光灯没有照明场景时获取给定图像的描述包括任何实施例，其中给定光源组——每个光源以某一强度（该强度可以从一个光源到另一个光源不同）——发射光，从而导致与某一色点相关联的场景的照明，该色点不同于其他一个或多个闪光灯的色点。因此，本文描述的具有图像后处理的多色闪光通常指的是利用随后组合的各种闪光灯色点拍摄多个连续照片的任何实施例，其中闪光灯色点不一定需要与给定光源或给定光源组的色点相同。
如本领域技术人员所领会的，本公开的诸方面——特别是本文描述的具有图像后处理的多色闪光的方面——可以以各种方式体现，例如作为方法、系统、计算机程序产品或计算机可读存储介质。因此，本发明的诸方面可以采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）或组合软件和硬件方面的实施例的形式，所述软件和硬件方面在本文中通常都可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以实现为由一个或多个计算机的一个或多个硬件处理单元（例如一个或多个微处理器）执行的算法。在各种实施例中，本文描述的每个方法的不同步骤和步骤部分可以由不同的处理单元来执行。此外，本公开的各方面可以采取体现在一个或多个计算机可读介质（优选地为非暂时性的）中的计算机程序产品的形式，其上体现（例如存储）有计算机可读程序代码。在各种实施例中，这样的计算机程序可以例如被下载（更新）到现有的设备和系统（例如，现有的相机设备和/或它们的控制器等）或在制造这些设备和系统时被存储。
在以下详细描述中，可以采用本领域技术人员向本领域其他技术人员传达其工作实质时常用的术语来描述说明性实施方式的各个方面。例如，如果使用的话，术语“连接”意味着被连接的事物之间的直接电连接或磁连接，而没有任何中间设备，而术语“耦合”意味着被连接的事物之间的直接电连接或磁连接，或者通过一个或多个无源或有源中间设备的间接连接。术语“电路”意味着一个或多个无源和/或有源部件，它们被布置成相互协作以提供期望的功能。术语“基本上”、“靠近”、“近似”、“接近”和“大约”通常指基于本文所述或本领域已知的特定值的上下文，在目标值的+/- 20%内、优选在+/- 10%内。
出于本公开的目的，短语“A和/或B”意味着（A）、（B）或（A和B）。为了本公开的目的，短语“A、B和/或C”意味着（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）。当提及测量范围使用时，术语“之间”包括测量范围的两端。如本文所用，符号“A/B/C”意味着（A）、（B）和/或（C）。
本说明书使用短语“在一实施例中”或“在实施例中”，它们各自可以指相同或不同的实施例中的一个或多个。此外，关于本公开的实施例使用的术语“包括”、“包含”、“具有”等是同义的。除非另有说明，否则使用顺序形容词“第一”、“第二”和“第三”等来描述一个共同的对象，仅仅指示类似对象的不同实例被引用，并且不旨在意味着如此描述的对象必须在时间上、空间上、排序上或以任何其他方式处于给定的顺序。
在下面的详细描述中，参考了构成其一部分的所附附图，其通过图示的方式示出了可以实践的一些实施例。在附图中，相同的附图标记指代相同或类似的元件/材料，使得除非另有说明，否则在一个附图的上下文中提供的具有给定附图标记的元件/材料的解释可适用于其他附图，其中可以示出具有相同附图标记的元件/材料。所附附图不一定是按比例绘制的。此外，将理解，某些实施例可以包括比附图中示出的更多的元件，某些实施例可以包括附图中示出的元件的子集，并且某些实施例可以结合来自两个或更多个附图的特征的任何合适的组合。
各种操作可以以最有助于理解所要求保护的主题的方式依次被描述为多个离散的动作或操作。然而，描述的顺序不应被解释为暗示这些操作必然是依赖于顺序的。特别地，这些操作可能没有按照呈现的顺序来执行。所描述的操作可以以与所描述的实施例不同的顺序来执行。在附加实施例中，可以执行各种附加操作，和/或可以省略所描述的操作。
在本文提供的一些示例中，可以根据两个、三个、四个或更多个电气部件来描述交互。然而，这样做仅仅是为了清楚和举例的目的。应当领会，本文描述的设备和系统可以以任何合适的方式合并。沿着类似的设计备选方案，所附附图中所示的任何部件、模块和元件中的任何一个可以以各种可能的配置进行组合，所有这些显然都在本公开的广泛范围内。在某些情况下，通过仅引用有限数量的电气元件来描述给定的一组流程的一个或多个功能可能更容易。
以下详细描述介绍了特定的某些实施例的各种描述。然而，应理解，可以利用其他实施例，并且可以在不脱离本公开的范围的情况下进行结构或逻辑的改变。一般而言，本文描述的创新可以以多种不同的方式来体现，例如，如权利要求和/或选择的示例所限定和覆盖的，并且以下详细描述不应被视为限制性的含义。
示例相机设备
图1提供了示出根据本公开的一些实施例的示例相机设备100的框图，其中可以实现具有图像后处理的多色闪光。如图1所示，相机设备100可以包括第一闪光灯102（即，与第一色点相关联的闪光灯）、第二闪光灯104（即，与第二色点相关联的闪光灯）、相机106、控制器108、以及可选的测量单元110。
第一闪光灯102和第二闪光灯104中的每一个都可以包括光源的集合（例如LED的集合），当相机106用这些闪光灯之一照明场景来获取图像时，该光源的集合使得所获取的图像与不同的色点相关联。例如，第一闪光灯102可以是CW颜色闪光灯，并且第二闪光灯104可以是WW颜色闪光灯。在一些实施例中，用第一闪光灯102照明的场景可以包括由多种颜色中的一种或多种颜色的第一多个光源照明的场景，并且用第二闪光灯104照明的场景可以包括由多种颜色中的一种或多种颜色的第二多个光源照明的场景，由第二多个光源提供的照明具有与由第一多个光源提供的照明不同的颜色。给定闪光灯（或给定光源或光源集合）的颜色可以源自光源的不同发射光谱，并且由相机106的RGB颜色空间中的不同位置（色点）来表征。
第一闪光灯102和第二闪光灯104的LED集合可以布置在矩阵或向量中。因此，特定色点的LED可以在特定的矩阵中。在一个实施方式中，相机设备100包括用于两个色点的两个矩阵，例如，一个矩阵用于CW颜色，另一个矩阵用于WW颜色。因此，取决于期望的色点，可以激活矩阵的所有LED。在一个实施方式中，矩阵共享相同的LED，并且被控制为在不同的时间发射不同强度的彩色光。
LED集合中的LED可以是微LED。因此，第一闪光灯102和第二闪光灯104可以是微LED（pLED）像素阵列，其中数十个、数百个、数千个或数百万个LED一起位于厘米级面积或更小的衬底上。在一些实施方式中，微LED的尺寸在30微米和500微米之间。在各种实施方式中，发光像素的位置间隔小于1毫米，并且通常间隔开从30微米至500微米的距离。在许多实例中，微LED像素是单独可寻址的。
相机106可以包括被配置成获取场景图像的任何合适的成像设备。相机106可以通信地耦合到第一闪光灯102和第二闪光灯104中的每一个，使得当相机106正在获取图像时，这些闪光灯可以被同步以提供场景的照明。
通过相机106获取图像的时机以及当获取图像时闪光灯102和104在提供照明中的选择性接合可以由控制器108控制，例如，如下所述。控制器108还可以被配置成基于由相机106获取的图像来生成场景的最终图像。在一些实施例中，控制器108可以被实现为图7所示的数据处理系统700，或者包括图7所示的数据处理系统700的至少各部分。
如果使用的话，测量单元110可以被配置成执行控制器108在生成最终图像时可以使用的附加测量。例如，在各种实施例中，测量单元110可以被配置成测量环境（白色）色点、光谱、环境（白色）RGB响应、环境相关色温（CCT）、以及与获取的图像相关的其他参数（诸如自动聚焦、自动曝光等）中的一个或多个。在一些实施例中，测量单元110还可以被配置成执行Ra、Ba、Ga的值的测量，或者执行使得能够计算Ra、Ba、Ga的值的测量，如下所述，所述Ra、Ba、Ga的值例如是在下面提供的等式(1)-(3)中使用的值。
尽管相机设备100仅示出了两个不同颜色的闪光灯（即闪光灯102和104），但是在其他实施例中，相机设备100中可以包括不同颜色的附加闪光灯。此外，在进一步的实施例中，相机设备100可以包括其他部件。例如，在一些实施例中，相机设备100还可以包括输出设备，该输出设备被配置为显示例如本文所述的第一图像、第二图像和最终图像中的一个或多个。在另一个示例中，在一些实施例中，相机设备100可以进一步包括输入设备，该输入设备被配置为接收相机设备要使用的用户输入，以执行使相机106获取第一图像、使相机106获取第二图像、以及控制器108生成最终图像中的一个或多个。在又一个示例中，在一些实施例中，相机设备100可以进一步包括一个或多个通信芯片和天线，其被配置为无线地传送第一图像、第二图像和最终图像中的一个或多个，和/或无线地接收相机设备100要使用的输入，以执行使相机获取第一图像、使相机获取第二图像、和生成最终图像中的一个或多个。
此外，虽然各种部件在图1中被示为包括在相机设备100内，但是在各种实施例中，相机设备100可以指包括这些部件中的一个或多个的任何组合的设备，在该情况下，图1中示出的其他部件可以在外部（即，在单独的设备中）实现，并且可以根据需要经由任何适当的通信信道通信地耦合到相机设备100的部件，以实现如本文所述的具有图像后处理的多闪光。
在各种实施例中，相机设备100可以是例如可佩戴相机设备（例如，智能手表）、手持相机设备（例如，移动电话）或固定相机（例如，安全/监视相机）。
示例方法
图2示出了根据本公开的一些实施例的用于执行具有图像后处理的多闪光的方法200的流程图。尽管现在参考图1中示出的元件来描述方法200，但是被配置成以任何顺序执行该方法的各种过程的任何系统或装置都在本公开的范围内。
如图2所示，方法200可以从过程202开始，过程202包括控制器108使相机106在场景正被第一闪光灯102而不是被第二闪光灯104照明时获取场景的第一图像。类似地，在方法200的过程204中，控制器108使相机106在场景正被第二闪光灯104而不是被第一闪光灯102照明时获取场景的第二图像。一般而言，过程202和204表示方法200包括相机106获取具有不同颜色的闪光灯的单独图像，其中对于这些图像中的每一个，一个或多个闪光灯在图像获取期间照明场景，而一个或多个其他闪光灯关闭。通常，环境光也将存在，并且当获取具有来自闪光灯102或104的外部照明的图像时，环境光也为场景提供照明。因此，更一般地，过程202包括控制器108使相机106在场景正被第一闪光灯102和环境光照明时获取第一图像，而过程204包括控制器108使相机106在场景正被第二闪光灯104和环境光照明时获取第二图像。
如图2所示，方法200还可以包括可选的过程206，该过程206包括控制器108使相机106在场景没有被第一或第二闪光灯102、104照明时（或者，更一般地，在场景没有被任何闪光灯照明并且可以仅存在环境光时）获取场景的第三图像。
虽然在过程202、204和206中获取的图像被称为第一、第二和第三图像，但是一般而言，这些过程可以以与图2所示的顺序不同的顺序来执行。例如，在一些实施例中，顺序可以如下：首先，执行过程202，然后在过程202之后执行过程206，然后在过程206之后执行过程204。
此外，在一些实施例中，方法200可以包括多次执行过程202、204和206中的任何一个，例如，以补偿运动相关的伪影（artefact）。在一些这样的实施例中，过程202、204和206中的任何一个可以连续重复多次。在其他这样的实施例中，方法200可以是这些过程的任何组合。例如，方法200可以包括按照以下顺序执行过程202、204和206：202、206、202、204、206、202、206、202、202、206、204。一般而言，这些过程的任何组合都可以包括在方法200中。在这种上下文中，对于本文提供的所有描述，第一、第二和第三图像可以不一定指由相机106获取的图像的像素值，而是指来自获取每个图像的多个实例的像素值的任何组合。例如，如果方法200包括多次重复过程202，则“第一图像”可以指像素值的矩阵，其中每个像素值是在每个过程202中最初获取的图像的多个实例中的对应像素值的组合，例如平均值或任何其他统计表示。在这种上下文中，当一个图像的像素值是图像的像素矩阵内相同定位/位置中的像素时，这些像素值可以被称为“对应于另一个图像的像素值”。例如，一个图像的像素矩阵的像素（1，1）的像素值（即，该图像的像素阵列的第一行和第一列中的像素）对应于另一个图像的像素矩阵的像素（1，1）的像素值。
此外，在方法200的不同实施例中，被认为是像素值的内容可以不同。在一些实施例中，不同的像素可以是单色像素。在其他实施例中，不同的像素可以是（R，G，B）像素。在其他实施例中，不同的像素可以是其他颜色组合，例如RGBW或RGB/青色。除非另有说明，否则在本文提供的任何解释中提及“像素值”，根据这些实施例中的任何一个的像素值都在本公开的范围内。
利用提供照明的不同颜色的闪光灯以及不利用外部闪光灯而仅利用提供照明的环境光来获取图像，使得这些图像与不同的色点相关联，这些不同的色点稍后可以被控制器108用来在后处理中组合图像以生成最终图像。为此，在一些实施例中，可以在曲线图中示出图像的色点，下面将更详细地描述图3-图6中示出的其中一些示例，每个示例示出了表示第一图像（即，在过程202中获取的图像）的色点的白圆点、表示第二图像（即，在过程204中获取的图像）的色点的黑圆点、以及表示第三图像（即，在过程206中获取的图像）的色点的灰圆点。
转回到图2，方法200还可以包括过程208，该过程208包括控制器108基于至少第一图像和第二图像的组合——可能与第三图像组合（因为获取第三图像是可选的）——生成场景的最终图像。下面描述了该组合的一些示例。应理解，在各种进一步的实施例中，可以有在执行过程208中涉及的附加处理步骤，这里没有具体描述这些步骤，但是这些步骤在图像处理领域中是已知的，诸如获取的图像的亮度的归一化（例如，相对于图像获取期间的图像传感器灵敏度、曝光时间、和相机106的可能的其他设置中的一个或多个）、取决于输入图像的类型（例如，jpeg或raw或……）、包括伽马曲线的校正、对所有图片应用相同的颜色校正矩阵（如果在获取图像之前没有固定）等。
在一些实施例中，过程208可以包括控制器108将各自的权重应用于第一和第二图像的像素值，以生成可以被称为“修改的”第一和第二图像（例如，其中原始获取的图像的每个像素值乘以某个权重），并然后组合修改的第一和第二图像的像素值以生成最终图像。例如，在一些实施例中，过程208可以包括控制器108通过将第一图像的每个像素值乘以第一权重（第一权重是等于或大于零并且等于或小于1的值）来生成修改的第一图像，并且通过将第二图像的每个像素值乘以第二权重（对于仅使用两个不同闪光灯的实施例，第二权重是使得第一和第二权重之和等于1的值）来生成修改的第二图像。过程208还可以包括控制器108通过例如在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加来生成最终图像。以这种方式，最终图像可以被生成为第一和第二图像的加权平均值。然而，在其他实施例中，可以不同地使用权重来生成最终图像。例如，在各种其他实施例中，最终图像可以被生成为第一和第二图像的平方加权平均值、加权中值、或任何其他合适的组合（可能利用了应用到其的权重），以表示最终图像中第一和第二闪光灯之间的期望平衡。在其中使用权重的一些实施例中，权重可以使得应用于具有不同闪光灯颜色的图像的所有权重的总和增加到1。参考图3-图6描述了控制器108可以如何使用权重来实现方法200的过程208的一些示例，其中控制器108可以被配置成计算应用于第一图像以生成修改的第一图像的校正因子γ（即，应用于第一图像的权重等于或基于校正因子γ），并将等于1-γ的校正因子应用于第二图像以生成修改的第二图像（即，应用于第二图像的权重等于或基于校正因子1-γ）。
除了可能产生权重并将权重应用于第一和第二图像的各种实施例之外，在过程208中如何组合经修改的第一和第二图像也可以各种方式来实行。在一些实施例中，控制器108可以被配置为通过以某种方式将修改的第一图像的像素值与修改的第二图像的对应像素值组合，来组合修改的第一和第二图像以在逐像素的基础上生成最终图像。在这种上下文中，如本文所使用的，描述“在逐像素的基础上”执行的动作指的是对每一个像素单独执行该动作。例如，控制器108在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加是指控制器108将修改的第一图像的像素（1，1）的像素值与修改的第二图像的像素（1，1）的像素值（即，对应像素值）相加，将修改的第一图像的像素（1，2）的像素值与像素（1，2）的像素值（即，对应像素值）相加，等等。
在方法200的一些实施例中，该方法可以进一步包括接收指示表示最终图像中第一图像和第二图像之间的平衡的因子的用户输入，并然后基于接收的因子在过程208中生成最终图像。例如，在一些这样的实施例中，控制器108可以被配置成通过将第一图像的每个像素值乘以指示所接收的因子的第一权重来生成修改的第一图像，通过将第二图像的每个像素值乘以指示所接收的因子的第二权重来生成修改的第二图像，以及通过在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加来生成最终图像。上面提供的关于以不同于第一和第二图像的简单加权组合的方式生成最终图像的讨论也可适用于这样的实施例。
虽然本文提供的方法200的讨论和其他讨论涉及图像的处理，但是如果相机106是生成包括多个连续帧的视频的视频记录设备，则这些讨论同样可适用于可以获取的视频信号的处理。在这种上下文中，每个帧可以被生成为本文描述的最终图像。
计算将在最终图像的生成中应用的校正因子的示例
如上面简要描述的，在一些实施例中，过程208可以包括控制器108基于第一、第二和第三图像的色点计算本文称为“校正因子”（表示为γ）的东西，并然后将校正因子应用于第一和第二图像以计算最终图像的像素值。图3-图6提供了如何计算校正因子γ的不同示例。
图3-图6中的每一个都示出了白圆点301，其表示第一闪光灯102的色点（例如，由控制器108基于在过程202中获取的第一图像计算）；黑圆点302，其表示第二闪光灯104的色点（例如，由控制器108基于在过程204中获取的图像计算）；以及灰圆点303，其表示环境光的色点（例如，由控制器108基于在过程206中获取的或基于测量单元110的测量获得的第三图像计算）。图3-图6中的每个示例的水平轴示出了指示给定图像（R）的所有红色像素的总和或子集的值除以指示给定图像（G）的所有绿色像素的总和或子集的值，即R/G；而图3-图6中的每一个的纵轴示出了指示给定图像（B）的所有蓝色像素的总和或子集的值除以指示给定图像（G）的所有绿色像素的总和或子集的值，即B/G。然而，这仅仅是可以如何表示具有不同闪光灯的色点和环境光的色点的曲线图的一个示例，以便在过程208中计算应用于第一和第二图像以生成最终图像的校正因子，该示例是针对RGB相机给出的一个特定示例。在其他实施例中，指示闪光灯照明的图像和环境光色点的各种像素值的度量可以不同。
对于图3-图6中所示的特定示例，曲线图300内的第一闪光灯色点301的坐标可以是（Rcw/Gcw；Bcw/Gcw），曲线图300内的第二闪光灯色点302的坐标可以是（Rww/Gww；Bww/Gww），而曲线图300内的环境色点303的坐标可以是（Ra/Ga；Ba/Ga）。在该符号中，“CW”指的是“冷白色”，其指示第一闪光灯102可以具有CW的第一颜色；“WW”指的是“暖白色”，其指示第二闪光灯104可以具有WW的第二颜色；而“a”指的是“环境”。
特别地，图4示出了在一些实施例中，可以参考曲线图300的水平轴来计算校正因子γ。特别地，图4示出了可以基于环境色点303沿曲线图300的水平轴的位置相对于第一闪光灯色点301沿水平轴的位置和第二闪光灯色点302沿水平轴的位置来计算校正因子。为此，图4示出了沿着水平轴的色点301、302和303的坐标，并且这些值可以用于计算校正因子γ如下：
Figure 931774DEST_PATH_IMAGE001
(1)。
图5示出，在一些实施例中，可以参考曲线图300的垂直轴来计算校正因子γ。特别地，图5示出了可以基于环境色点303沿曲线图300的垂直轴的位置相对于第一闪光灯色点301沿垂直轴的位置和第二闪光灯色点302沿垂直轴的位置来计算校正因子。为此，图5示出了沿着垂直轴的色点301、302和303的坐标，并且这些值可以用于计算校正因子γ如下：
Figure 285133DEST_PATH_IMAGE002
(2)。
最后，图6示出，在一些实施例中，可以参考连接曲线图300的第一闪光灯色点301和第二闪光灯色点302的直线来计算校正因子γ。特别地，图6示出了可以基于环境色点303沿着曲线图300中连接第一闪光灯色点301和第二闪光灯色点302的直线的位置，相对于第一闪光灯色点301沿着该线的位置和第二闪光灯色点302沿着该线的位置来计算校正因子。为此，图6示出了色点301和302的坐标，以及将环境色点303投影到连接色点301和302的线上（图6中标记的点304）的坐标（R'a/G'a；B'a/G'a）。在这样的实施例中，校正因子γ可以计算如下：
Figure 471395DEST_PATH_IMAGE003
(3)。
在这些示例的每一个中，校正因子γ可以是0和1之间的值，并且它可以以上述方式中的任何一种应用于第一和第二图像。此外，虽然图6示出了相对于连接色点301和302的直线来识别环境色点的位置，但是在其他实施例中，环境色点303可以参考色点301和302之间的曲线或者一些其他非直线。更进一步，当使用多于两种颜色的闪光灯时，可以相对于对应的多于两种色点来确定环境色点。
示例数据处理系统
图7提供了示出根据本公开的一些实施例的示例数据处理系统700的框图，该示例数据处理系统700可以被配置成实现如本文所述的具有图像后处理的多闪光灯的相机设备（例如参考图1-图6所述的相机设备）的至少各部分。
如图7所示，数据处理系统700可以包括至少一个处理器702（例如硬件处理器702），其通过系统总线706耦合到存储器元件704。如此，数据处理系统可以将程序代码存储在存储器元件704内。进一步，处理器702可以执行经由系统总线706从存储器元件704存取的程序代码。在一个方面中，数据处理系统可以实施为适合于存储和/或执行程序代码的计算机。然而，应当领会，数据处理系统700可以以包括处理器和存储器的任何系统的形式来实施，该处理器和存储器能够执行本公开内描述的功能。
在一些实施例中，处理器702可以执行软件或算法来执行本说明书中所讨论的活动，特别是与本文所述的具有图像后处理的多闪光相关的活动。处理器702可以包括提供可编程逻辑的硬件、软件或固件的任何组合，其包括——通过非限制性示例的方式——微处理器、DSP、现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、集成电路（IC）、专用IC（ASIC）、或虚拟机处理器。处理器702可以例如在直接存储器存取（DMA）配置中通信地耦合到存储器元件704，使得处理器702可以从存储器元件704读取或写入存储器元件704。
一般而言，存储器元件704可以包括任何合适的易失性或非易失性存储器技术，包括双倍数据速率（DDR）随机存取存储器（RAM）、同步RAM（SRAM）、动态RAM（DRAM）、闪存、只读存储器（ROM）、光学介质、虚拟存储器区域、磁存储器或磁带存储器、或任何其他合适的技术。除非另有说明，否则本文讨论的任何存储器元件都应该被解释为涵盖在广义术语“存储器”内。被测量、处理、追踪或发送到数据处理系统700的任一部件的信息或者从数据处理系统700的任一部件被测量、处理、追踪或发送的信息可以在任何数据库、寄存器、控制列表、高速缓存、或存储结构中提供，所有这些都可以在任何合适的时间框架内被引用。任何这样的存储选项都可以包括在本文使用的广义术语“存储器”内。类似地，本文描述的任何潜在的处理元件、模块和机器应该被解释为涵盖在广义术语“处理器”内。本图中示出的每个元件——例如图1中示出的任何电路/部件——还可以包括用于在网络环境中接收、传送和/或以其他方式传递数据或信息的合适接口，使得它们可以与例如这些元件中的另一个的数据处理系统700通信。
在某些示例实施方式中，如本文概述的用于在相机设备中实现具有图像后处理的多闪光的机制可以由编码在一个或多个有形介质中的逻辑来实现，该一个或多个有形介质可以包括非暂时性介质，该非暂时性介质例如：在ASIC中、在DSP指令中提供的嵌入式逻辑，将由处理器执行的软件（潜在地包括目标代码和源代码），或者其他类似机器等。在这些实例中的一些中，存储器元件——诸如例如图7所示的存储器元件704——可以存储用于本文描述的操作的数据或信息。这包括能够存储软件、逻辑、代码或处理器指令的存储器元件，所述软件、逻辑、代码或处理器指令被执行以实行本文描述的活动。处理器可以执行与数据或信息相关联的任何类型的指令，以实现本文详细描述的操作。在一个示例中，处理器——诸如例如图7所示的处理器702——可以将元件或物品（例如，数据）从一种状态或事物转换为另一种状态或事物。在另一个示例中，本文概述的活动可以用固定逻辑或可编程逻辑（例如，由处理器执行的软件/计算机指令）来实现，并且本文标识的元件可以是某种类型的可编程处理器、可编程数字逻辑（例如，FPGA、DSP、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM））或ASIC，该ASIC包括数字逻辑、软件、代码、电子指令、或其任何适当组合。
存储器元件704可以包括一个或多个物理存储器设备，诸如例如本地存储器708和一个或多个大容量存储设备710。本地存储器可以指代一般在程序代码的实际执行期间使用的RAM或（多个）其他非持久性存储设备。大容量存储设备可以实施为硬盘驱动器或其他持久数据存储设备。处理系统700还可以包括一个或多个高速缓冲存储器（未示出），该一个或多个高速缓冲存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备710检索程序代码的次数。
如图7所示，存储器元件704可以存储应用程序718。在各种实施例中，应用程序718可以存储在本地存储器708、一个或多个大容量存储设备710中，或者与本地存储器和大容量存储设备分开。应当领会，数据处理系统700可以进一步执行操作系统（图7中未示出），该操作系统可以促进应用程序718的执行。以可执行程序代码的形式实现的应用程序718可以由数据处理系统700（例如由处理器702）执行。响应于执行应用，数据处理系统700可以被配置成执行本文描述的一个或多个操作或方法步骤。
可选地，描绘为输入设备712和输出设备714的输入/输出（I/O）设备可以耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标的指点设备等。输出设备的示例可以包括但不限于监控器或显示器、或扬声器等。在一些实施例中，输出设备714可以是任何类型的屏幕显示器，诸如等离子显示器、液晶显示器（LCD）、有机发光二极管（OLED）显示器、电致发光（EL）显示器；或者任何其他指示器，诸如刻度盘、气压计、或发光二极管（LED）。在一些实施方式中，系统可以包括用于输出设备714的驱动器（未示出）。输入和/或输出设备712、714可以直接或通过中间的I/O控制器耦合到数据处理系统。
在实施例中，输入和输出设备可以实施为组合的输入/输出设备（在图7中以围绕输入设备712和输出设备714的虚线图示）。这种组合的设备的示例是触敏显示器，有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施例中，可以通过物理对象（诸如例如用户的手指或手写笔）在触摸屏显示器上或附近的移动来提供对设备的输入。
网络适配器716还可以可选地耦合到数据处理系统以使得其能够通过中间的私有或公共网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述系统、设备和/或网络传送到数据处理系统700的数据的数据接收器，以及用于将数据从数据处理系统700传送到所述系统、设备和/或网络的数据传送器。调制解调器、线缆调制解调器和以太网卡是可以与数据处理系统700一起使用的不同类型的网络适配器的示例。
选择的示例
示例1提供了一种相机设备，该相机设备包括控制器，该控制器被配置成：使相机在场景正被第一闪光灯照明而基本上没有被第二闪光灯照明时获取所述场景的第一图像，该第一闪光灯使得第一图像与第一色点相关联；使相机在场景正被第二闪光灯照明而基本上没有被第一闪光灯照明时获取场景的第二图像，该第二闪光灯使第二图像与不同于第一色点的第二色点相关联；并且基于第一图像和第二图像的组合生成场景的最终图像。
示例2提供了根据示例1的相机设备，其中控制器被配置为通过以下方式基于第一图像和第二图像的组合来生成场景的最终图像：通过将第一图像的每个像素值乘以第一权重（第一权重是等于或大于零且等于或小于1的值）来生成修改的第一图像，通过将第二图像的每个像素值乘以第二权重（对于仅使用两个不同闪光灯的实施例，第二权重是等于1减去第一权重的值）来生成修改的第二图像，以及通过在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加来生成最终图像。以这种方式，最终图像可以被生成为第一和第二图像的加权平均值。
示例3提供了根据示例1的相机设备，其中控制器还被配置为使相机在场景没有被第一闪光灯照明并且没有被第二闪光灯照明时获取场景的第三图像（例如，第三图像可以仅利用环境照明来获取）。这样的第三图像可以用于确定本文描述的环境色点。在其他示例中，可以基于测量单元110的测量来确定环境色点。
示例4提供了根据示例3的相机设备，其中控制器被配置为通过以下方式基于第一图像和第二图像的组合来生成场景的最终图像：基于第一图像、第二图像和第三图像的至少一个像素值子集计算多色闪光后处理因子（γ），通过将第一图像的每个像素值乘以γ来生成修改的第一图像，通过将第二图像的每个像素值乘以等于1-γ的值来生成修改的第二图像，以及通过在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加来生成最终图像。
示例5提供了根据示例4的相机设备，其中第三图像与第三色点相关联，第一色点、第二色点和第三色点中的每一个在具有第一轴和第二轴的曲线图中具有各自不同的位置，该曲线图的第一轴指示第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该曲线图的第二轴指示第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该控制器被配置为通过计算指示第三色点的位置相对于第一色点沿着曲线图的第一轴的位置和第二色点沿着曲线图的第一轴的位置的值，至少基于第一图像、第二图像和第三图像的像素值的子集来计算γ。
示例6提供了根据示例4的相机设备，其中第三图像与第三色点相关联，第一色点、第二色点和第三色点中的每一个在具有第一轴和第二轴的曲线图中具有各自不同的位置，该曲线图的第一轴指示第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该曲线图的第二轴指示第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该控制器被配置为通过计算指示第三色点的位置相对于第一色点沿着曲线图的第二轴的位置和第二色点沿着曲线图的第二轴的位置的值，至少基于第一图像、第二图像和第三图像的像素值的子集来计算γ。
示例7提供了根据示例4的相机设备，其中第三图像与第三色点相关联，第一色点、第二色点和第三色点中的每一个在具有第一轴和第二轴的曲线图中具有各自不同的位置，该曲线图的第一轴指示第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该曲线图的第二轴指示第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且该控制器被配置为通过计算指示第三色点的位置相对于曲线图中连接第一色点的位置和第二色点的位置的线的值，至少基于第一图像、第二图像和第三图像的像素值的子集来计算γ。
示例8提供了根据示例1的相机设备，其中控制器被配置为通过以下方式基于第一图像和第二图像的组合来生成场景的最终图像：接收指示表示最终图像中第一图像和第二图像之间的平衡的因子的用户输入，通过将第一图像的每个像素值乘以指示该因子的第一权重来生成修改的第一图像，通过将第二图像的每个像素值乘以指示该因子的第二权重来生成修改的第二图像，以及通过在逐像素的基础上将修改的第一图像的像素值与修改的第二图像的对应像素值相加来生成最终图像。
示例9提供了根据前述示例中任一个的相机设备，其中相机设备是被配置成生成包括多个连续帧的视频的视频记录设备，并且最终图像是视频的多个帧之一。
示例10提供了根据示例9的相机设备，其中视频的多个帧中的每一帧基于针对该帧获取的相应第一图像和相应第二图像的组合而被生成为相应最终图像。
示例11提供了根据前述示例中任一个的相机设备，其中用第一闪光灯照明的场景包括用多种颜色中的一种或多种颜色的第一多个光源照明的场景，并且用第二闪光灯照明的场景包括用多种颜色中的一种或多种颜色的第二多个光源照明的场景，由第二多个光源提供的照明具有与由第一多个光源提供的照明不同的颜色。
示例12提供了根据前述示例中任一个的相机设备，其中第一色点是冷白色的色点，并且第二色点是暖白色的色点。
示例13提供了根据前述示例中任一个的相机设备，其中相机设备还包括相机、第一闪光灯和第二闪光灯中的一个或多个。
示例14提供了根据前述示例中任一个的相机设备，其中相机设备还包括输出设备，该输出设备被配置为显示第一图像、第二图像和最终图像中的一个或多个。
示例15提供了根据前述示例中任一个的相机设备，其中相机设备还包括输入设备，该输入设备被配置为接收相机设备要使用的用户输入，以执行使相机获取第一图像、使相机获取第二图像、以及生成最终图像中的一个或多个。
示例16提供了根据前述示例中任一个的相机设备，其中相机设备还包括一个或多个通信芯片和天线，所述一个或多个通信芯片和天线被配置为：无线地传送第一图像、第二图像和最终图像中的一个或多个；或者无线地接收相机设备要使用的输入，以执行使相机获取第一图像、使相机获取第二图像、和生成最终图像中的一个或多个。
示例17提供了根据前述示例中任一个的相机设备，其中相机设备是可佩戴相机设备（例如，智能手表）、手持相机设备（例如，移动电话）或固定相机（例如，安全/监视相机）。
示例18提供了一种存储计算机可读指令的非暂时性计算机可读存储介质，当在处理器上执行所述指令时，所述计算机可读指令可操作来检索或使相机获取在场景正被第一闪光灯照明而没有被第二闪光灯照明时由相机拍摄的场景的第一图像，该第一闪光灯使第一图像与第一色点相关联；检索或使相机获取在场景正被第二闪光灯照明而没有被第一闪光灯照明时由相机拍摄的场景的第二图像，该第二闪光灯使第二图像与不同于第一色点的第二色点相关联；并且基于第一图像和第二图像的组合生成场景的最终图像。
示例19提供了一种用于操作相机设备的方法，该方法包括：使相机在场景正被第一闪光灯照明而基本上没有被第二闪光灯照明时获取场景的第一图像，第一闪光灯使第一图像与第一色点相关联；使相机在场景正被第二闪光灯照明而基本上没有被第一闪光灯照明时获取场景的第二图像，第二闪光灯使第二图像与不同于第一色点的第二色点相关联；以及基于第一图像和第二图像的组合生成场景的最终图像。
示例20提供了根据示例19的方法，其中最终图像被生成为第一图像和第二图像的加权组合。
进一步的示例提供了一种计算机程序产品，其包括被配置为根据前述示例中的任一个来操作相机设备和/或实施根据前述示例中的任一个的方法的指令。
其他实施方式说明、变化和应用
应理解，根据本文描述的任何特定实施例，不一定可以实现所有的目的或优点。因此，例如，本领域的技术人员将认识到，某些实施例可以被配置成以实现或优化本文教导的一个优点或一组优点的方式操作，而不一定实现本文教导或建议的其他目的或优点。
应该领会，所附附图及其教导中的电路是容易扩展的，并且可以容纳大量的部件，以及更复杂/精密的布置和配置。因此，所提供的示例不应限制范围或抑制潜在地应用于无数其他架构的电路的广泛教导。
在一些实施例中，附图的任何数量的电路可以在相关联电子设备的板上实施。该板可以是通用电路板，其可以容纳电子设备的内部电子系统的各种部件，并且进一步为其他外围设备提供连接器。更具体地，该板可以提供电连接，系统的其他部件可以通过该电连接进行电通信。任何合适的处理器（包括数字信号处理器、微处理器、支持芯片组等）、计算机可读非暂时性存储器元件等可以基于特定的配置需要、处理需求、计算机设计等适当地耦合到该板。诸如外部存储、附加传感器、用于音频/视频显示的控制器、和外围设备之类的其他部件可以经由线缆作为插入卡附接到板，或者集成到板本身中。在各种实施例中，本文描述的功能可以以仿真形式实现为在支持这些功能的结构中布置的一个或多个可配置（例如，可编程）元件内运行的软件或固件。提供仿真的软件或固件可以在包括允许处理器执行那些功能的指令的非暂时性计算机可读存储介质上提供。
在一些实施例中，所附附图中的电路或与所附附图相关联的电路可以被实现为独立模块（例如，具有被配置为执行特定应用或功能的相关联部件和电路的设备），或者被实现为电子设备的专用硬件中的插件模块。注意，本公开的一些实施例可以容易地部分或全部包括在片上系统（SOC）封装中。SOC代表将计算机或其他电子系统的部件集成到单个芯片中的集成电路（IC）。它可以包含数字、模拟、混合信号、和通常的射频功能：所有这些都可以在单个芯片衬底上提供。其他实施例可以包括多芯片模块（MCM），其中多个单独的IC位于单个电子封装内，并且被配置为通过电子封装彼此紧密交互。在各种其他实施例中，具有图像后处理的多闪光的至少一些方面可以在专用集成电路（ASIC）、现场可编程门阵列（FPGA）和其他半导体芯片中的一个或多个硅芯中实现。
同样重要的是要注意，与具有图像后处理的多闪光相关的功能——例如在图2所示的一个或多个过程中概括的那些功能——仅示出了可以由本文描述的相机设备执行或在本文描述的相机设备内执行的一些可能的功能。在适当的场合，可以删除或移除这些操作中的一些，或者可以对这些操作进行相当大的修改或改变而不脱离本公开的范围。此外，这些操作的时机可能有相当大的变化。出于示例和讨论的目的，已经提供了前面的操作流程。本文描述的实施例提供了相当大的灵活性，因为可以提供任何合适的布置、时序、配置和时机机制而不脱离本公开的教导。

Claims (16)

1. 一种相机设备，包括：
具有多种颜色中的一种或多种颜色的第一多个光源的多色闪光设备，具有多种颜色中的一种或多种颜色的第二多个光源的多色闪光设备；和
控制器，被配置为：
使相机在场景正被第一多个光源照明时获取所述场景的第一图像，第一多个光源使第一图像与第一色点相关联；
使相机在场景正被第二多个光源照明时获取所述场景的第二图像，第二多个光源使第二图像与第二色点相关联，由第二多个光源提供的照明具有与由第一多个光源提供的照明不同的颜色；
获得第三色点，所述第三色点与没有被第一多个光源照明并且没有被第二多个光源照明的场景相关联，第一色点、第二色点和第三色点中的每一个在具有第一轴和第二轴的曲线图中具有相应的位置，所述第一轴指示第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且所述第二轴指示第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值；以及
通过以下方式基于所述第一图像和所述第二图像的组合生成所述场景的最终图像：
至少基于第一色点、第二色点和第三色点，通过计算指示第三色点的位置的值来计算校正因子，
通过基于所述校正因子将所述第一图像的每个像素值修改第一值来生成修改的第一图像，
通过基于所述校正因子将所述第二图像的每个像素值修改第二值来生成修改的第二图像，以及
基于所述修改的第一图像的像素值和所述修改的第二图像的像素值生成所述最终图像。
2.根据权利要求1所述的相机设备，其中所述控制器被配置为通过在逐像素的基础上将基于第一图像的像素值计算的值与基于第二图像的相应像素值计算的值相加来生成最终图像，从而基于第一图像和第二图像的组合来生成场景的最终图像。
3.根据前述权利要求中任一项所述的相机设备，其中所述控制器被进一步配置为：使所述相机在所述场景没有被所述第一多个光源照明并且没有被所述第二多个光源照明时获取所述场景的第三图像，并且进一步基于与所述第三图像相关联的色点生成所述最终图像。
4.一种多色闪光设备，被配置用于在根据前述权利要求中任一项所述的相机设备中使用。
5.根据前述权利要求中任一项所述的相机设备，其中：所述控制器被配置成基于第三色点的第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，相对于第一色点沿着曲线图的第一轴的位置和第二色点沿着曲线图的第一轴的位置，计算指示第三色点位置的值。
6.根据前述权利要求中任一项所述的相机设备，其中：所述控制器被配置成基于第三色点的第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，相对于第一色点沿着曲线图的第二轴的位置和第二色点沿着曲线图的第二轴的位置，计算指示第三色点位置的值。
7.根据前述权利要求中任一项所述的相机设备，其中：所述控制器被配置为基于（i）第三色点的第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，以及（ii）第三色点的第二原色的至少一个像素值子集的总和与相对于曲线图中连接第一色点的位置和第二色点的位置的线投影的第三原色的至少一个像素值子集的总和的比值，计算指示第三色点的位置的值。
8. 根据前述权利要求中任一项所述的相机设备，其中所述控制器被配置为通过以下方式基于所述第一图像和所述第二图像的组合来生成所述场景的最终图像：
接收指示表示最终图像中第一图像和第二图像之间的平衡的因子的用户输入，其中
所述第一值进一步基于所接收的因子，并且
所述第二值进一步基于接收的因子。
9. 根据前述权利要求中任一项所述的相机设备，其中：
所述相机设备是被配置成生成包括多个连续帧的视频的视频记录设备，并且
所述最终图像是视频的多个帧之一。
10.根据权利要求9所述的相机设备，其中所述视频的多个帧中的每一帧基于针对该帧获取的相应第一图像和相应第二图像的组合而被生成为相应最终图像。
11.一种控制器，被配置用于在根据前述权利要求中任一项所述的相机设备中使用。
12.根据前述权利要求中任一项所述的相机设备，其中所述第一色点是冷白色的色点，并且所述第二色点是暖白色的色点。
13.根据前述权利要求中任一项所述的相机设备，其中所述相机设备还包括输出设备，所述输出设备被配置为显示所述第一图像、所述第二图像和所述最终图像中的一个或多个。
14.一种用于操作包括多色闪光设备的相机设备的方法，所述多色闪光设备具有多种颜色中的一种或多种颜色的第一多个光源，所述多色闪光设备具有多种颜色中的一种或多种颜色的第二多个光源，所述方法包括：
使相机在场景正被第一多个光源照明时获取所述场景的第一图像，第一多个光源使第一图像与第一色点相关联；
使相机在场景正被第二多个光源照明时获取所述场景的第二图像，第二多个光源使第二图像与不同于第一色点的第二色点相关联，由第二多个光源提供的照明具有与由第一多个光源提供的照明不同的颜色；
获得第三色点，所述第三色点与没有被第一多个光源照明并且没有被第二多个光源照明的场景相关联，其中第一色点、第二色点和第三色点中的每一个在具有第一轴和第二轴的曲线图中具有相应的位置，所述第一轴指示第一原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值，并且所述第二轴指示第二原色的至少一个像素值子集的总和与第三原色的至少一个像素值子集的总和的比值；和
通过以下方式基于所述第一图像和所述第二图像的组合生成所述场景的最终图像：
至少基于第一色点、第二色点和第三色点，通过计算指示第三色点的位置的值来计算校正因子，
通过基于所述校正因子将所述第一图像的每个像素值修改第一值来生成修改的第一图像，
通过基于所述校正因子将所述第二图像的每个像素值修改第二值来生成修改的第二图像，以及
基于所述修改的第一图像的像素值和所述修改的第二图像的像素值生成所述最终图像。
15.根据权利要求14所述的方法，其中所述最终图像被生成为所述第一图像和所述第二图像的加权组合。
16. 一种相机设备，包括：
具有多种颜色中的一种或多种颜色的第一多个光源的多色闪光设备，具有多种颜色中的一种或多种颜色的第二多个光源的多色闪光设备；和
控制器，被配置为：
使相机在场景正被第一多个光源照明时获取所述场景的第一图像，第一多个光源使第一图像与第一色点相关联；
使相机在场景正被第二多个光源照明时获取所述场景的第二图像，第二多个光源使第二图像与第二色点相关联，由第二多个光源提供的照明具有与由第一多个光源提供的照明不同的颜色；和
通过以下方式基于所述第一图像和所述第二图像的组合生成所述场景的最终图像：
接收指示表示最终图像中第一图像和第二图像之间的平衡的因子的用户输入，
通过基于所接收的因子将第一图像的每个像素值乘以第一值来生成修改的第一图像，
通过基于所接收的因子将第二图像的每个像素值乘以第二值来生成修改的第二图像，以及
基于所述修改的第一图像的像素值和所述修改的第二图像的像素值生成所述最终图像。
CN202080093701.8A 2019-11-19 2020-11-19 具有图像后处理的多色闪光 Pending CN115280758A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962937550P 2019-11-19 2019-11-19
US62/937550 2019-11-19
US16/704,864 US11076083B2 (en) 2019-11-19 2019-12-05 Multi-color flash with image post-processing
US16/704864 2019-12-05
PCT/EP2020/082774 WO2021099514A1 (en) 2019-11-19 2020-11-19 Multi-color flash with image post-processing

Publications (1)

Publication Number Publication Date
CN115280758A true CN115280758A (zh) 2022-11-01

Family

ID=75910113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080093701.8A Pending CN115280758A (zh) 2019-11-19 2020-11-19 具有图像后处理的多色闪光

Country Status (4)

Country Link
US (1) US11076083B2 (zh)
EP (1) EP4062630A1 (zh)
CN (1) CN115280758A (zh)
WO (1) WO2021099514A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948317B2 (en) 2019-11-19 2024-04-02 Lumileds Llc Multi-color flash with image post-processing

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11076083B2 (en) 2019-11-19 2021-07-27 Lumileds Llc Multi-color flash with image post-processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173010A (ja) * 2002-11-20 2004-06-17 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
US7889275B2 (en) * 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash
TW200931154A (en) * 2007-12-11 2009-07-16 Koninkl Philips Electronics Nv Camera illumination device
US8922672B2 (en) 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
US8717454B2 (en) * 2009-12-24 2014-05-06 Samsung Electronics Co., Ltd. Image pickup apparatus and image pickup method for adjusting white balance to account for flash and external light sources
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US20140253686A1 (en) * 2013-03-08 2014-09-11 Victor C. Wong Color 3-d image capture with monochrome image sensor
TWI493967B (zh) * 2013-11-12 2015-07-21 Novatek Microelectronics Corp 自動色彩校正方法及其色彩校正模組
KR102145209B1 (ko) * 2014-02-12 2020-08-18 삼성전자주식회사 플래시 장치, 영상 촬영 장치, 및 방법
EP3146712A1 (en) * 2014-05-20 2017-03-29 Philips Lighting Holding B.V. An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source
US9420248B2 (en) * 2014-09-19 2016-08-16 Qualcomm Incorporated Multi-LED camera flash for color temperature matching
WO2016061757A1 (zh) * 2014-10-22 2016-04-28 宇龙计算机通信科技(深圳)有限公司 基于双摄像头模组的图像生成方法及双摄像头模组
US11076083B2 (en) 2019-11-19 2021-07-27 Lumileds Llc Multi-color flash with image post-processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948317B2 (en) 2019-11-19 2024-04-02 Lumileds Llc Multi-color flash with image post-processing

Also Published As

Publication number Publication date
US11076083B2 (en) 2021-07-27
WO2021099514A1 (en) 2021-05-27
US20210152719A1 (en) 2021-05-20
EP4062630A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
US11948317B2 (en) Multi-color flash with image post-processing
CN110444152B (zh) 光学补偿方法及装置、显示装置、显示方法及存储介质
US9483976B2 (en) Method, apparatus and system for display compensation based on reference luminance values obtained from test pictures
US10147345B2 (en) Display device, data processing apparatus and method for driving the same
CN110706648B (zh) 图像显示调整方法、系统及显示面板
KR20210005278A (ko) 하이브리드 이미터 회로들을 갖는 디스플레이 시스템들
KR101374648B1 (ko) 온 시스템 led 개별 보정과 보정계수 이미지화로 검증과 보정이 용이한 전광판 시스템
US9837011B2 (en) Optical compensation system for performing smear compensation of a display device and optical compensation method thereof
KR20180058048A (ko) 디스플레이 장치, 캘리브레이션 장치 및 그 제어 방법
CN109036277B (zh) 补偿方法及补偿装置、显示装置、显示方法及存储介质
US20160005358A1 (en) Driving method, driving apparatus, and organic light emitting display
CN109891486B (zh) 显示装置和信号处理装置
CN113228152B (zh) 控制屏幕亮度的装置及方法
CN115280758A (zh) 具有图像后处理的多色闪光
CN113811941B (zh) 用于估计和补偿显示面板中的发光元件老化的方法和系统
JP2020518018A (ja) 輝度調整システム
WO2019206047A1 (zh) 图像数据处理方法及装置、图像显示方法及装置、存储介质和显示设备
CN111429839A (zh) 校正显示面板电压和灰度值之间的相关性的方法
US9635333B2 (en) White balancing device and method of driving the same
US11908376B1 (en) Compensation schemes for 1x1 sub-pixel uniformity compensation
US20240046874A1 (en) Compensating for Voltage Losses in OLED Displays
KR20220021712A (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
US20230239559A1 (en) Activating light sources for output image
US11842680B2 (en) Semiconductor device and electronic apparatus
US11837161B2 (en) Display device and control method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination