CN114424513B - 用于执行高亮恢复的系统和方法以及计算机存储介质 - Google Patents

用于执行高亮恢复的系统和方法以及计算机存储介质 Download PDF

Info

Publication number
CN114424513B
CN114424513B CN202080066899.0A CN202080066899A CN114424513B CN 114424513 B CN114424513 B CN 114424513B CN 202080066899 A CN202080066899 A CN 202080066899A CN 114424513 B CN114424513 B CN 114424513B
Authority
CN
China
Prior art keywords
channel
value
values
hue
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080066899.0A
Other languages
English (en)
Other versions
CN114424513A (zh
Inventor
西村纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114424513A publication Critical patent/CN114424513A/zh
Application granted granted Critical
Publication of CN114424513B publication Critical patent/CN114424513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6075—Corrections to the hue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

用于执行高亮恢复的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。所述方法之一包括：接收图像的原始图像数据，对于图像中的多个高亮区域中的每个，原始图像数据包括高亮区域的一个或多个通道的原始通道值；处理原始图像数据以生成更新的图像数据，其中，更新的图像数据包括图像中每个高亮区域的更新通道值，并且其中，对于图像的一个或多个高亮区域中的每个，高亮区域的一个或多个更新通道值超过根据预定的数据精度的最大通道值；以及，对图像的一个或多个高亮区域的更新通道值进行色调校正过程，以生成满足预定数据精度的最终通道值。

Description

用于执行高亮恢复的系统和方法以及计算机存储介质
背景技术
本说明书涉及图像处理器。图像处理器是领域特定的处理设备，其被设计来处理捕获的图像数据。
一些图像处理器具有由专用硬件实现的图像处理流水线。在本说明书中，图像处理流水线被定义为一组一个或多个组件，称为“块”，它们在图像源(例如相机)和图像呈现器(renderer)(例如，电脑或手机屏幕)之间执行任何中间数字图像处理。
一些图像处理流水线块增加图像信号的增益，即，增加图像像素数据的各个通道的值。通常，块只能将像素的增益增加到某一程度。像素隐含地具有位精度，它定义了像素数据的相应通道可以采用的最大值。当块施加的增益大于位精度允许的增益时，像素值通常被块“裁切(clip)”为等于位精度允许的最大值。这通常会导致图像质量劣化，称为“高亮裁切(highlight clipping)”，其中，图像的某些区域由于像素值被裁切而使得颜色失真。例如，如果某个区域中像素的每个通道都被裁切，则该区域可能具有统一的最大像素值，例如，通常将其呈现为完全白色的区域。
为方便起见，本说明书包含使用RGB颜色空间(即，通道包括R通道、G通道和B通道的地方)的示例。本说明书中描述的主题可以应用于任何适当的颜色空间，例如，RGrGbB颜色空间或RGBA颜色空间，仅举几个例子。
此外，为方便起见，本说明书包含涉及处理个体的像素(individual pixels)以恢复像素色调(hue)的示例。本说明书中描述的主题可以更普遍地被应用以处理高亮区域以恢复高亮区域的色调，其中，一个像素是高亮区域的示例。高亮区域的另一个示例是在滤色器阵列中以2×2网格布置的一组四个像素。在该示例中，四个像素组中的每个像素可以具有表示单一颜色的单个值，并且高亮区域的通道可以是四个像素的值。作为一个特定示例，如果已使用拜耳滤波器处理图像，则图像可以具有2×2像素网格的高亮区域。
高亮恢复是指通过在图像的裁切区域中恢复颜色信息来校正高亮裁切的技术。
在硬件中执行高亮恢复的一种技术使用颜色传播。为了执行颜色传播高亮恢复，来自尚未被裁切和与裁切区域相邻的像素的颜色值被传播到裁切区域。因此，未裁切像素的颜色值旨在“渗出(bleed over)”以校正裁切区域。
然而，在硬件中执行颜色传播高亮恢复有几个缺点。首先，颜色传播需要大容量随机存取存储器(RAM)，例如，需要将比否则所需者更大的硅晶片部署到图像处理器上。这是因为在颜色传播高亮恢复期间，图像处理器必须在存储器中保留多个像素值。特别是，传入图像数据的光栅扫描需要与在SRAM或DRAM中缓存的图像中的裁切像素相邻的未裁切像素的像素值。增加缓冲区大小又会增加硬件的大小、成本和复杂性。
其次，颜色传播对可以有效校正的区域大小有自然限制。换言之，如果裁切区域很大，则来自相邻像素的颜色信息不能可靠地用于校正大裁切区域中心的像素中的高亮裁切。
图1是执行颜色传播高亮恢复的现有技术图像信号处理器(ISP)的图像处理流水线100的框图。
ISP的输入是原始像素数据102，例如，由相机捕获的像素数据。原始像素数据102包括每个像素的一个或多个通道的值。例如，每个像素可以包括一个R通道、一个G通道和一个B通道；作为一个特定示例，像素可能具有通道值(250，120，50)。
原始像素数据102中每个像素的输入数据具有bpp_in的位精度，其中，“bpp”是“位每像素(bits per pixel)”的缩写。示例bpp_in为24bpp，其中，8位分别分配给R、G和B通道中的每个。24的bpp允许每个通道具有0到255之间的值。
在接收到原始像素数据102之后，ISP可以在块112中执行颜色传播高亮恢复之前使用一个或多个块104、106、108和110的序列来处理原始像素数据以生成输出像素数据114。一个或多个块可以是非增益施加块(在图1所描绘的示例中，块104和106)。一个或多个块可以是增益施加块(在图1中描绘的示例中，块108和110)。虽然图1描绘了一系列非增益施加块，随后是一系列增益施加块，通常增益施加块和非增益施加块在ISP中可以是任何顺序。
ISP的非增益施加块是不对块的输入数据的数据精度施加任何增益的块。换言之，可以用与输入数据相同的数据精度bpp_in来表示非增益施加块生成的输出数据，而不会损失精度。例如，ISP的非增益施加块可以包括线性化块104和黑电平(black level)校正块106。
ISP的增益施加块确实将增益施加于块的输入数据的数据精度。换言之，增益施加块所产生的输出数据可能需要比该块的输入数据的数据精度bpp_in更高的数据精度。也就是说，对于由块的输入数据表示的一些像素，需要比bpp_in更高的数据精度，以便在不损失任何精度的情况下对与块生成的像素相对应的相应输出数据进行编码。例如，ISP的增益施加块可以包括镜头阴影(lens shading)校正块108和白平衡增益块110。
传统上，ISP中任何块生成的输出数据都必须保持该块的输入的数据精度。因此，增益施加块108和110必须“裁切”表示其值超过数据精度bpp_in允许的最大值的每个像素的相应输出数据。对于每个这样的像素，至少有一个通道，其块的值增加得足以使该值超过分配给该通道的数据精度。对于此类通道，块将通道的值设置为数据精度bpp_in允许的最大值。
作为特定示例，增益施加白平衡增益块110可以具有24bpp的允许数据精度。白平衡增益块110可以接收包括其R通道值为250的像素的输入数据，并且块110可以将像素的R通道值从250改变为260。在这种情况下，白平衡增益块110将R通道值裁切为255，即24bpp允许的最大值。
裁切像素值会改变像素的“色调”，它表示R、G和B通道的相对比例。例如，如果增益施加块生成一个像素值(380，240，0)，它是红橙色，那么该块会将像素值裁切为(255，240，0)，它是黄色。出现这个问题是因为只有R通道被裁切，而G和B通道保持不变，因此通道值的相对比例发生了变化。
在增益施加块108和110之后，有一个颜色传播高亮恢复块112，它处理已经被裁切的像素以便恢复它们的色调。为此，对于每个被裁切的像素，颜色传播高亮恢复块112调查最近的未被裁切的周围像素，并从周围未裁切像素的色调推断出被裁切像素的色调。当在相对较小的裁切像素区域(例如，被裁切的两个或四个像素的簇)上执行此过程时，该过程可以产生良好的结果。然而，这个过程有几个缺点，当对于较大的裁切像素区域执行时会出现这些缺点。在本说明书中，“区域”是图像的一组连续像素。
当对较大的裁切像素区域执行颜色传播高亮恢复过程时，恢复的像素色调通常是不正确的。例如，为了恢复裁切像素区域中心的像素色调，颜色传播高亮恢复块112必须使用最接近的未裁切像素的色调。然而，最接近的未裁切像素可能相距许多像素，例如相距50个像素。从50像素外的未裁切像素的色调推断裁切像素的色调可能会产生非常混杂的结果，因为裁切像素的原始未裁切值可能与50像素外的像素的未裁切值非常不同。使用颜色传播高亮恢复生成的恢复色调也会产生不希望的图案。例如，裁切区域的颜色与相邻未裁切区域的颜色之间可能存在可见的不连续性。
此外，如果在大裁切区域中的每个像素的R通道都被裁切，而G和B通道没有被裁切，那么可能会有都被裁切为相同的值的大范围的R通道值。因此，颜色传播高亮恢复块112可以为区域中的每个像素恢复相似的色调，即使它们的原始色调不同。例如，在数据精度为24bpp的情况下，在相同的裁切像素的区域中，可能有一个像素的预裁切R通道值为380，而另一个像素的预裁切通道值为260。裁切后，两个像素都有R通道值为255。只有这个裁切值可用于颜色传播高亮恢复块112，因此块112不可能恢复第一个像素具有高得多的未裁切R通道值的事实。
颜色传播高亮恢复过程也具有显著的硬件成本。对于每个裁切区域，图像像素数据的光栅扫描顺序可能需要将整个裁切区域缓存在SRAM中，以便恢复该区域中裁切像素的色调，当裁切区域很大时，这是一个代价高昂的要求。此外，裁切区域所需的计算量随着裁切区域中像素的数量超线性增加；也就是说，恢复裁切区域中单个像素的色调所需的计算量随着裁切区域中像素数量的增加而增加。
图2是由现有技术的ISP使用颜色传播高亮恢复处理的示例图像200的图。
图像200描绘了一个霓虹灯标志，上面写着“Drive-Thru Open”。霓虹灯上写着“Drive-Thru”的字母是蓝色霓虹灯，且霓虹灯上写着“Open”的字母是红色霓虹灯。
在ISP对图像200执行颜色传播高亮恢复后，每个拼写为“Drive-Thru”的蓝色字母具有三个不同的区域：白色区域210、变色区域220和蓝色区域230。
在每个蓝色霓虹灯字母的中心是白色区域210。图像在白色区域210中具有白色像素，因为在给定捕获图像200的设备的曝光设置的情况下，该区域中的霓虹灯强度导致最大像素值。
每个蓝色霓虹灯字母的白色区域210周围是变色区域220。变色区域220的像素本应该是蓝色的，表示来自蓝色霓虹灯的蓝光的反射。然而，变色区域220的像素是青色(由对角线表示)，即绿-蓝色，这是由于ISP的颜色传播高亮恢复块执行的不正确的色调恢复。
作为一个特定示例，在数据精度为24bpp的增益施加块之后，像素可能具有未裁切的通道值(0，200，450)，即纯蓝色。被裁切后，像素裁切了通道值(0，200，255)，其为青色。
ISP的颜色传播高亮恢复块处理被裁切的像素以恢复它们的色调，但是变色区域220是包含许多被裁切像素的大区域。因此，由于上述颜色传播高亮恢复过程的缺点，变色区域220的像素的色调没有被正确地恢复，并且最终图像在变色区域220中具有青色像素而不是蓝色像素。
在每个蓝色霓虹字母的变色区域220周围是蓝色区域230。蓝色区域230中的像素不需要被裁切，因此像素的色调从未丢失。也就是说，ISP的增益施加块没有对蓝色区域中的像素施加太多增益来使得它们的像素值超过块的数据精度允许的最大值。因此，图像在蓝色区域230中正确地具有蓝色像素(由点表示)。
在ISP对图像200执行颜色传播高亮恢复后，拼写“Open”的红色霓虹灯显示出相似的特征。每个红色字母具有三个区域：白色区域240、变色区域250和红色区域260。
如上所述，在每个红色霓虹灯字母的中心是白色区域240。图像在白色区域240中具有白色像素，因为在给定捕获图像200的设备的曝光设置的情况下，该区域中的光强度导致最大像素值。
每个红色霓虹灯字母的白色区域240周围是变色区域250。变色区域250的像素应该是红色的，表示来自红色霓虹灯的红光的反射。然而，变色区域250的像素是黄色的(由对角线表示)，这是由于ISP的颜色传播高亮恢复块执行的不正确的色调恢复。
每个红色霓虹灯字母的变色区域250周围是红色区域260。红色区域260中的像素不需要被裁切，因此像素的色调从未丢失。因此，图像在红色区域260中正确地具有红色像素(由格子表示)。
因此，如图2所示的示例所示，执行颜色传播高亮恢复在所需的硬件和生成的图像的质量方面都有固有的缺陷。
发明内容
本说明书描述了一种系统，该系统使用像素的未裁切值对其值已被裁切以满足位精度要求的像素区域执行高亮恢复。使用本说明书中描述的技术处理过的像素具有与像素的未裁切版本相同的色调，但满足位精度要求。
可以实现本说明书中描述的主题的特定实施例以实现以下优点中的一个或多个。
本说明书中描述的高亮恢复过程执行得比上述现有技术的颜色传播高亮恢复要好得多。
首先，这里描述的高亮恢复过程不需要像颜色传播过程那样显著增加ISP的RAM缓冲区大小。在一些实现中，可以在完全没有RAM缓冲区的情况下执行这里描述的高亮恢复过程。这可以显著节省执行ISP所需的硬件的大小、成本和复杂性。
其次，在某些实现中，此处描述的高亮恢复过程的有效性不会随着裁切区域大小的增加而降低；该过程对于必须恢复其色调的每个裁切像素都是一致的，无论裁切像素所在的裁切区域的大小如何。因此，本说明书中描述的技术颜色传播过程中通常比在恢复像素的色调中的颜色传播过程准确得多，并且可以在仍然保持所需输出数据精度的同时做到这一点。此外，在一些实现中，与一些现有技术的技术相比，在此描述的高亮恢复过程具有最小的颜色伪影，例如，图像中裁切区域和相邻未裁切区域的颜色之间的视觉不连续性最小。
在附图和以下描述中阐述本说明书的主题的一个或多个实施例的细节。本主题的其他特征、方面和优点根据说明书、附图和权利要求书将变得显而易见。
附图说明
图1是执行颜色传播高亮恢复的现有技术图像信号处理器的图像处理流水线的框图。
图2是由ISP使用颜色传播高亮恢复处理的示例图像的图。
图3是包括高亮恢复块的图像信号处理器的图像处理流水线的框图。
图4是由ISP使用高亮恢复过程处理的示例图像的图。
图5是用于色调校正的示例过程的流程图。
图6是用于使用像素的未裁切通道值生成像素的色调值的示例过程的流程图。
图7是用于使用像素的裁切通道值和色调值来生成像素的最终通道值的示例过程的流程图。
具体实施方式
本说明书描述了一种系统，该系统在保持所需的数据精度的同时对于被裁切的像素区域执行高亮恢复。
图3是包括高亮恢复块312的ISP的图像处理流水线300的框图。
图1是执行颜色传播高亮恢复的现有技术图像信号处理器(ISP)的图像处理流水线100的框图。
ISP的输入是原始像素数据302，例如由相机捕获的像素数据。原始像素数据302可以包括每个像素的一个或多个通道的值。原始像素数据102中的每个像素的输入数据具有bpp_in的位精度。
在接收到原始像素数据302之后，ISP可以使用一个或多个块304、306、308和310的序列来处理原始像素数据302，然后在块312中执行高亮恢复以生成输出像素数据322。这些块中的一个或多个可以是非增益施加块(在图3所示的示例中，块304和306)。这些块中的一个或多个可以是增益施加块(在图1中描绘的示例中，块308和310)。虽然图3描绘了非增益施加块的序列，其后是增益施加块的序列，但是通常增益施加块和非增益施加块在ISP中可以是任何顺序。
非增益施加块生成与块的输入数据具有相同数据精度bpp_in的输出数据。例如，ISP的非增益施加块可以包括线性化块304和黑电平校正块306。
增益施加块生成需要比块的输入数据更高的数据精度的输出数据。即，块的输出数据中的一个或多个像素值超过数据精度bpp_in所允许的最大值。例如，ISP的增益施加块可以包括镜头阴影校正块308和白平衡增益块310。
增益施加块308和310不裁切其数据精度超过bpp_in的像素的通道值。相反，块保持像素的未裁切值，在输出数据中为每个像素分配比在块的输入数据中允许的更多的位。
作为特定示例，镜头阴影校正块308接收精度为bpp_in的输入数据并添加额外的Nbpp，使得块308的输出数据具有bpp_in+N的数据精度。类似地，白平衡增益块310接收精度为bpp_in+N的输入数据并添加额外的M bpp，使得块310的输出数据具有bpp_in+N+M的数据精度。在一些实现中，其他增益施加块也可以包括在ISP中，例如“数字增益”块。
在增益施加块308和310之后是高亮恢复块312，其对像素的通道值执行色调校正处理。高亮恢复块312接收精度为bpp_in+N+M的输入数据并产生具有数据精度bpp_in的输出像素数据322。也就是说，高亮恢复块312恢复块312的输入数据中的每个像素的色调，同时还将像素的数据精度降低回所需的数据精度bpp_in。特别地，高亮恢复块312可以识别在块312的输入数据中表示的、具有大于bpp_in的数据精度的一个或多个像素，并且处理这些像素以便保留它们的未裁切色调，但将它们的数据精度返回到bpp_in。ISP的下游块可能需要bpp_in的数据精度来进一步处理或显示图像，或者可能需要满足对图像大小的存储限制。
特别地，高亮恢复块312接收未裁切的像素通道数据作为输入。为了恢复其数据精度大于bpp_in的像素的色调，高亮恢复块312使用高亮恢复块312的恢复流水线313处理i)未裁切的像素通道数据和ii)未裁切的像素通道数据的裁切版本。
在恢复流水线313的块314，高亮恢复块312针对未裁切像素通道数据中的每个像素处理像素的未裁切通道值以生成该像素的未裁切色调。下面参考图6更详细地描述该过程。
在恢复流水线313的块316，高亮恢复块312对于未裁切的像素通道数据中的每个像素裁切该像素的通道值以生成裁切的通道值。像素的裁切通道值具有bpp_in的数据精度。
在恢复流水线313的块318，高亮恢复块312对于每个像素处理该像素的裁切通道值以生成像素的裁切色调。
在恢复流水线313的块320，高亮恢复块312针对每个像素组合该像素的未裁切色调和该像素的裁切色调以恢复裁切通道值中的色调并生成输出像素数据322。下面参考图7更详细地描述该过程。输出像素数据322包括具有正确色调并满足bpp_in的数据精度要求的每个像素的最终像素通道值。然后可以将输出像素数据322传递到ISP的后续块。
对于每个像素，使用高亮恢复块312处理该像素以恢复该像素的色调仅需要ISP存储像素值(而不是在一些现有系统中需要的给定像素和多个周围像素的值)的裁切和未裁切版本。因此，参考图3描述的过程的硬件和SRAM要求显著小于上述现有技术的颜色传播高亮恢复过程中。在一些实现中，图3的过程根本不需要SRAM。
图4是由ISP使用高亮恢复过程(例如，上面参考图3描述的高亮恢复过程)处理的示例图像的图400。
该图像与图2中显示的“Drive-Thru Open”相同的霓虹灯标志。写着“Drive-Thru”的字母是蓝色霓虹灯，写着“Open”的字母是红色霓虹灯。
如图400所示，每个拼写为“Drive-Thru”的蓝色字母具有两个区域：白色区域410和蓝色区域420。与图2中描绘的颜色传播高光恢复生成的图像中不同，基本没有变色区域。
在每个蓝色霓虹灯字母的中心是白色区域410。图像在白色区域410中具有白色像素，因为在给定生成图像的设备的曝光设备的情况下该区域中的光强度导致最大像素值。
围绕每个蓝色霓虹灯字母的白色区域410的是蓝色区域420。蓝色区域420中的许多像素，尤其是最接近白色区域410的那些，经历了数据精度增益。如果这些像素的值已被ISP的增益施加块裁切并由颜色传播高亮恢复块(例如，图1中描绘的颜色传播高亮恢复块112)处理，则像素会变色，就像它们在图2的变色区域220中一样。但是，该像素的值没有被增益施加块裁切；取而代之的是，这些值被保存并随后由ISP的高亮恢复块(例如图3中描绘的高亮恢复块312)处理。因此，像素正确地恢复了它们的色调，并且图像正确地在蓝色区域420中仅具有蓝色像素(由点表示)。
拼写为“Open”的红色霓虹灯显示出类似的特征。每个红色字母具有两个区域：白色区域430和红色区域440。没有变色区域。
每个红色霓虹灯字母的中心是白色区域430。图像在白色区域240中具有白色像素，因为在给定生成图像的设备的曝光设备的情况下该区域中的光强度导致最大像素值。
每个红色霓虹灯字母的白色区域320周围是红色区域440。红色区域440中的许多像素，特别是最接近白色区域430的像素，经历了数据精度增益，并由ISP的高亮恢复块处理。如上所述，像素正确地恢复了它们的色调，并且图像正确地在红色区域440中仅具有红色像素(由格子表示)。
图5是用于色调校正的示例过程500的流程图。该过程可以通过安装在一个或多个计算机上并根据本说明书进行编程的一个或多个计算机程序来实现。例如，过程500可以由ISP的高亮恢复块(例如图3中所示的高亮恢复块312)来执行。为方便起见，该过程将被描述为由一个或多个计算机的系统执行。
系统接收图像的多个像素的未裁切像素通道值(步骤510)。一个或多个像素的通道值具有超过最大数据精度bpp_in的数据精度。
系统使用相应的像素通道值确定每个像素的色调值(步骤520)。下面参考图6更详细地描述用于确定色调值的示例过程。
系统为每个像素生成裁切的通道值(步骤530)。如果未裁切通道值小于或等于阈值，则裁切通道值等于各个未裁切通道值，如果未裁切通道值大于阈值，则裁切通道值等于阈值。可以根据最大数据精度bpp_in来确定阈值。例如，如上所述，bpp_in为24允许每个通道具有0到255之间的值，因此可以将阈值设置为255。
系统使用像素的色调值和像素的裁切通道值为每个像素生成最终通道值(步骤540)。下面参考图7更详细地描述用于生成最终通道值的示例过程。最终通道值具有正确的色调，且满足数据精度要求，且可以被提供给ISP的后续块。
图6是用于使用像素的未裁切通道值生成像素的色调值的示例过程600的流程图。该过程可以通过安装在一个或多个计算机上并根据本说明书进行编程的一个或多个计算机程序来实现。例如，过程600可以由ISP的高亮恢复块(例如图3中所示的高亮恢复块312)来执行。为方便起见，该过程将被描述为由一个或多个计算机的系统执行。
为方便起见，以下描述指的是由R、G和B通道表示的像素通道数据。然而，应当理解，过程600可以应用于任何通道选择。
系统确定像素的未裁切通道值{R，G，B}的平均μunclipped(步骤610)。例如，系统可以将平均μunclipped确定为通道值的平均值，即(R+G+B)/3。作为另一个示例，系统可以将μunclipped确定为更通用的加权平均值。作为一个特定示例，系统可以确定μunclipped＝wRR+wGG+wBB，其中，w{R,G,B}∈[0,1]并且wR+wG+wB＝1。
系统为像素生成初始色调值ρunclipped(步骤620)。例如，系统可以通过计算未裁切通道值{R，G，B}与未裁切通道值的平均μunclipped之间的差来生成初始色调值ρunclipped，即ρunclipped＝{R,G,B}-μunclipped。
系统通过对初始色调值进行归一化来生成色调值hueunclipped(步骤630)。可以通过将初始色调值ρunclipped除以由初始色调值组成的向量的长度来将初始色调值ρunclipped归一化，例如，其中，||·||2是L2范数。色调值hueunclipped可以用于例如使用下面参考图7描述的过程恢复像素的通道值的裁切版本的色调。
图7是用于使用像素的裁切通道值和色调值来生成像素的最终通道值的示例过程700的流程图。该过程可以通过安装在一个或多个计算机上并根据本说明书进行编程的一个或多个计算机程序来实现。例如，过程700可以由ISP的高亮恢复块(例如图3中所示的高亮恢复块312)来执行。为方便起见，该过程将被描述为由一个或多个计算机的系统执行。
为方便起见，以下描述指的是由R、G和B通道表示的像素通道数据。然而，应当理解，过程600可以应用于任何通道选择。
系统确定被裁切的通道值{R,G,B}clipped的平均μclipped(步骤710)。如上所述，系统可以将平均μclipped确定为通道值的平均值，即(Rclipped+Gclipped+Bclipped)/3。作为另一个示例，系统可以将μclipped确定为更通用的加权平均值，例如wRRclipped+wGGclipped+wBBclipped。
系统生成裁切后的色调值ρclipped(步骤720)。例如，系统可以通过计算裁切通道值{R,G,B}clipped和裁切通道值的平均μclipped之间的差来生成初始色调值ρclipped，即ρclipped＝{R,G,B}clipped-μclipped。
系统获得使用像素的未裁切通道值生成的像素的未裁切色调值hueunclipped(步骤725)。例如，系统可以使用上面关于图6描述的过程来生成色调值hueunclipped。
系统通过使用裁切色调值ρclipped缩放像素hueunclipped的未裁切色调值来生成缩放的色调值huescaled(步骤730)。可以通过将未裁切的色调值乘以由裁切的色调值组成的向量的长度来缩放未裁切的色调值hueunclipped。作为一个特定的例子，系统可以计算
huescaled＝hueunclipped·||ρclipped||2
其中，||·||2是L2范数。
系统使用缩放的色调值huescaled为像素生成最终通道值{R,G,B}final(步骤794)。例如，系统可以确定i)裁切μclipped的平均值和i)缩放的色调值huescaled的总和，即
{R,G,B}final＝huescaled+μclipped.
然后系统可以将最终值{R,G,B}final传递给ISP的后续块。
在一些实现中，系统可以在高亮恢复之前或之后对给定像素的每个通道应用阶调(tone)调整。
在一些实现中，系统可以在对图像进行去马赛克之后对图像执行高亮恢复。换言之，系统可以处理覆盖有滤色器阵列(例如拜耳滤光器)的图像传感器的输出，以将输出转换成不同的颜色空间，例如RGB颜色空间。在一些其他实现中，系统可以在执行高亮恢复之后对图像进行去马赛克。
本说明书中描述的主题和功能操作的实施例可以被实现在数字电子电路中、在有形地实施的计算机软件或固件中、在计算机硬件(包括本说明书中公开的结构及其结构等同物)中或在它们的一个或多个的组合中。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或多个的组合。替代地或补充地，程序指令可以编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，其被生成以编码信息以便传输到合适的接收器装置以供数据处理装置执行。
术语“数据处理装置”指代数据处理硬件，并且涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机或多个处理器或计算机。所述装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，所述装置也可以包括创建用于所涉及的计算机程序的执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也称为或描述为程序、软件、软件应用、app、模块、软件模块、脚本或代码)可以以任何形式的编程语言编写，该任何形式的编程语言包括编译或解释语言或者声明性或过程语言，并且该计算机程序可以以任何形式部署，包括作为独立程序或作为适于在计算环境中使用的模块、组件、子例程或其他单元。程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所涉及的程序的单个文件中或者在多个协同文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为在一个计算机上或在位于一个地点或分布在多个地点并通过数据通信网络互连的多个计算机上执行。
对于被配置为执行特定操作或动作的一个或多个计算机的系统而言，意味着系统已在其上安装了软件、固件、硬件或它们的组合，这些软件、固件、硬件或它们的组合在操作中导致系统执行操作或动作。对于被配置为执行特定操作或动作的一个或多个计算机程序意味着该一个或多个程序包括指令，当由数据处理装置执行时，该指令使该装置执行操作或动作。
本说明书中描述的过程和逻辑流程也可以由专用逻辑电路(例如，FPGA或ASIC)来执行，或由专用逻辑电路和一个或多个编程计算机的组合执行。
适合于执行计算机程序的计算机可以基于通用或专用微处理器或两者或任何其它类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或实施指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合以从该一个或多个大容量存储设备接收数据或向其传送数据或两者。然而，计算机不需要具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，这里仅列出几个。
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及，CD-ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例可以实现在计算机上，该计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于向用户显示信息；以及，键盘和诸如鼠标或轨迹球的指示设备，用户可以通过该他们向计算机提供输入。也可以使用其他种类的设备提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，该任何形式包括声音、语音或触觉输入。另外，计算机可以通过下述方式与用户交互：向用户使用的设备发送文档和从用户使用的设备接收文档；例如，通过响应于从用户的客户端设备上的web浏览器接收的请求，将网页发送到该web浏览器。而且，计算机可以通过下述方式来与用户交互：向个人设备(例如，智能电话)发送文本消息或其他形式的消息，运行消息收发应用程序，并且继而从用户接收响应消息。
除上述实施例外，以下实施例也具有创新性：
实施例1是一种系统，包括：
图像捕获设备，被配置为生成图像的原始图像数据，对于所述图像中的多个高亮区域中的每个，所述原始图像数据包括所述高亮区域的一个或多个通道的原始通道值；以及
图像信号处理器，包括：
图像处理流水线的一个或多个组件，其被配置为处理所述原始图像数据以生成更新的图像数据，其中，所述更新的图像数据包括所述图像中每个高亮区域的更新通道值，并且其中，对于所述图像的一个或多个高亮区域中的每个，所述高亮区域的一个或多个更新通道值超过根据预定数据精度的最大通道值，以及
高亮恢复电路，被配置为对所述图像的所述一个或多个高亮区域的所述更新通道值执行色调校正过程，其中，执行所述色调校正过程包括处理所述更新通道值以生成最终通道值，所述最终通道值i)满足所述预定的数据精度和ii)恢复所述图像的所述一个或多个高亮区域的色调值。
实施例2是根据实施例1所述的系统，其中，所述高亮区域是个体的像素，并且其中，所述一个或多个通道包括R通道、G通道和B通道。
实施例3是根据实施例1所述的系统，其中，所述高亮区域是在滤色器阵列中以2×2网格布置的四个像素的组，其中，所述像素的每个具有表示单一颜色的单个值，并且其中，所述一个或多个通道包含所述四个像素的值。
实施例4为根据实施例1-3中任一项所述的系统，其中，对于所述图像中的每个高亮区域，执行所述色调校正过程包括：
计算色调值，包括为所述高亮区域的所述一个或多个通道中的每个通道调整所述相应的更新通道值，其中，所述色调值表示所述通道的所述更新通道值的比例；
为所述一个或多个通道中的每个生成一个裁切通道值，其中，如果所述更新通道值小于或等于所述最大通道值，则所述裁切通道值等于所述相应的更新通道值，且如果所述更新通道值大于所述最大通道值则等于所述最大通道值；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括使用所述相应的色调值调整所述相应的裁切通道值以模拟所述通道的所述更新通道值的所述比例。
实施例5为根据实施例4所述的系统，其中，针对所述图像中的每个高亮区域计算所述色调值进一步包括：
确定所述高亮区域的所述一个或多个通道的所述相应的更新通道值的集中趋势的量度；以及
计算色调值，包括使用所述高亮区域的所述更新通道值的集中趋势的所述量度来调整所述一个或多个通道中的每个通道的所述相应更新通道值。
实施例6为根据实施例5所述的系统，其中，对于所述图像中的每个高亮区域，计算所述一个或多个通道中的每个通道的最终通道值包括：
确定所述一个或多个通道的所述裁切通道值的所述集中趋势的量度；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括使用所述相应色调值和所述高亮区域的所述裁切通道值的集中趋势的所述量度来调整所述相应的裁切通道值。
实施例7是根据实施例6所述的系统，其中，对于每个高亮区域：
所述一个或多个通道的所述更新通道值和所述裁切通道值的集中趋势的所述量度是所述相应通道值的平均值；以及
计算所述一个或多个通道的所述色调值包括：
通过计算在所述更新通道值与所述更新通道值的所述平均值之间的差来生成初始色调值；以及
通过归一化初始色调值来生成所述色调值，包括将是初始色调值除以第一向量的长度，其中，所述第一向量的每个元素是初始色调值。
实施例8为根据实施例7所述的系统，其中，计算所述一个或多个通道的所述最终通道值包括：
通过将所述色调值缩放第二向量的长度来生成缩放色调值，其中，所述第二向量的每个元素是通道的所述裁切通道值与所述裁切通道值的所述平均值之间的差；以及
通过将所述缩放后的色调值与所述裁切通道值的所述平均值相加来生成所述最终通道值。
实施例9是一种方法，包括：
接收图像的原始图像数据，对于所述图像中的多个高亮区域中的每个，所述原始图像数据包括所述高亮区域的一个或多个通道的原始通道值；
处理所述原始图像数据以生成更新的图像数据，其中，所述更新的图像数据包括在所述图像中每个高亮区域的更新通道值，并且其中，对于所述图像的一个或多个高亮区域中的每个，所述高亮区域的一个或多个更新通道值超过根据预定的数据精度的最大通道值；以及
对所述图像的所述一个或多个高亮区域的所述更新通道值执行色调校正过程，其中，执行所述色调校正过程包括处理所述更新通道值以生成最终通道值，所述最终通道值i)满足所述预定数据精度和ii)恢复所述图像的所述一个或多个高亮区域的色调值。
实施例10是根据实施例9所述的方法，其中，所述高亮区域是个体的像素，并且其中，所述一个或多个通道包括R通道、G通道和B通道。
实施例11是根据实施例9所述的方法，其中，所述高亮区域是在滤色器阵列中以2×2网格布置的四个像素的组，其中，所述像素的每个具有表示单一颜色的单个值，并且其中，所述一个或多个通道包含所述四个像素的所述值。
实施例12为根据实施例8-11中任一项所述的方法，其中，针对所述图像中的每个高亮区域，执行所述色调校正过程包括：
计算色调值，包括为所述高亮区域的所述一个或多个通道中的每个通道调整所述相应的更新通道值，其中，所述色调值表示所述通道的所述更新通道值的比例；
为所述一个或多个通道中的每个生成一个裁切通道值，其中，如果所述更新通道值小于或等于所述最大通道值，则所述裁切通道值等于所述相应的更新通道值，且如果所述更新通道值大于所述最大通道值则等于所述最大通道值；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括使用所述相应的色调值调整所述相应的裁切通道值以模拟所述通道的所述更新通道值的所述比例。
实施例13为根据实施例12所述的方法，其中，针对所述图像中的每个高亮区域计算所述色调值进一步包括：
确定所述高亮区域的所述一个或多个通道的所述相应的更新通道值的集中趋势的量度；以及
计算色调值，包括使用所述高亮区域的所述更新通道值的集中趋势的所述量度来调整所述一个或多个通道中的每个通道的所述相应更新通道值。
实施例14为根据实施例13所述的方法，其中，对于所述图像中的每个高亮区域，计算所述一个或多个通道中的每个通道的最终通道值包括：
确定所述一个或多个通道的所述裁切通道值的所述集中趋势的量度；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括使用所述相应色调值和所述高亮区域的所述裁切通道值的集中趋势的所述量度来调整所述相应的裁切通道值。
实施例15是根据实施例14所述的方法，其中，对于每个高亮区域：
所述一个或多个通道的所述更新通道值和所述裁切通道值的集中趋势的所述量度是所述相应通道值的平均值；以及
计算所述一个或多个通道的所述色调值包括：
通过计算在所述更新通道值与所述更新通道值的所述平均值之间的差来生成初始色调值；以及
通过归一化初始色调值来生成所述色调值，包括将是初始色调值除以第一向量的长度，其中，所述第一向量的每个元素是初始色调值。
实施例16是根据实施例15所述的方法，其中，计算所述一个或多个通道的所述最终通道值包括：
通过将所述色调值缩放第二向量的长度来生成缩放色调值，其中，所述第二向量的每个元素是通道的所述裁切通道值与所述裁切通道值的所述平均值之间的差；以及
通过将所述缩放后的色调值与所述裁切通道值的所述平均值相加来生成所述最终通道值。
实施例17是一个或多个编码有计算机程序指令的非暂时性计算机存储介质，所述计算机程序指令当由多个计算机执行时，使所述多个计算机执行根据实施例9-16中任一项所述的方法。
虽然本说明书包含许多具体的实现细节，但这些不应被解释为对任何发明的范围或可要求保护的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。在本说明书中在单独实施例的场境(context)中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的场境中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实现。此外，尽管特征可以在上面描述为以某些组合起作用且甚至最初被如此要求保护，但在某些情况下，来自要求保护的组合的一个或多个特征可以从组合中删除，并且要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定顺序描绘操作，但是这不应被理解为要求这些操作以所示的特定顺序或以依序顺序执行，或者所有所示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实现中的各种系统组件的分离不应被理解为在所有实现中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品内。
已经描述了主题的特定实现。其他实现在所附权利要求书的范围内。例如，权利要求书中所述的动作可以以不同的顺序执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或依序的顺序来实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。

Claims (15)

1.一种用于执行高亮恢复的系统，包括：
图像捕获设备，被配置为生成图像的原始图像数据，对于所述图像中的多个高亮区域中的每个高亮区域，所述原始图像数据包括所述高亮区域的一个或多个通道的原始通道值；以及
图像信号处理器，包括：
图像处理流水线的一个或多个组件，被配置为处理所述原始图像数据以生成更新的图像数据，其中，所述更新的图像数据包括所述图像中的每个高亮区域的更新通道值，并且其中，对于所述图像的一个或多个高亮区域中的每个高亮区域，所述高亮区域的一个或多个更新通道值超过根据预定数据精度的最大通道值，以及
高亮恢复电路，被配置为对所述图像的所述一个或多个高亮区域的所述更新通道值执行色调校正过程，其中，执行所述色调校正过程包括：处理所述更新通道值以生成最终通道值，所述最终通道值i)满足所述预定数据精度和ii)恢复所述图像的所述一个或多个高亮区域的色调值，包括：
计算色调值，所述色调值表示所述通道的所述更新通道值的比例；
对于所述一个或多个通道中的每个通道生成裁切通道值，其中，如果所述更新通道值小于或等于所述最大通道值，则所述裁切通道值等于相应的更新通道值，并且如果所述更新通道值大于所述最大通道值，则所述裁切通道值等于所述最大通道值；以及
对于所述一个或多个通道中的每个通道计算最终通道值，包括：使用相应的色调值调整相应的裁切通道值，以模拟所述通道的所述更新通道值的所述比例。
2.根据权利要求1所述的系统，其中，所述高亮区域是个体的像素，并且其中，所述一个或多个通道包括R通道、G通道和B通道。
3.根据权利要求1所述的系统，其中，所述高亮区域是在滤色器阵列中以2×2网格布置的四个像素的组，其中，所述像素中的每个具有表示单个颜色的单个值，并且其中，所述一个或多个通道包括所述四个像素的值。
4.根据权利要求1所述的系统，其中，对于所述图像中的每个高亮区域计算所述色调值进一步包括：
确定所述高亮区域的所述一个或多个通道的相应的更新通道值的平均值；以及
计算色调值，包括：使用所述高亮区域的所述更新通道值的平均值来调整所述一个或多个通道中的每个通道的相应的更新通道值。
5.根据权利要求4所述的系统，其中，对于所述图像中的每个高亮区域计算所述一个或多个通道中的每个通道的最终通道值包括：
确定所述一个或多个通道的所述裁切通道值的平均值；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括：使用所述高亮区域的相应的色调值和所述裁切通道值的平均值来调整相应的裁切通道值。
6.根据权利要求5所述的系统，其中，对于每个高亮区域：
计算所述一个或多个通道的所述色调值包括：
通过计算在所述更新通道值与所述更新通道值的所述平均值之间的差来生成初始色调值；以及
通过将所述初始色调值归一化来生成所述色调值，包括：将所述初始色调值除以第一向量的长度，其中，所述第一向量的每个元素是初始色调值。
7.根据权利要求6所述的系统，其中，计算所述一个或多个通道的所述最终通道值包括：
通过将所述色调值缩放第二向量的长度来生成缩放色调值，其中，所述第二向量的每个元素是通道的裁切通道值与裁切通道值的平均值之间的差；以及
通过将所述缩放色调值与所述裁切通道值的平均值相加来生成所述最终通道值。
8.一种用于执行高亮恢复的方法，包括：
接收图像的原始图像数据，对于所述图像中的多个高亮区域中的每个高亮区域，所述原始图像数据包括所述高亮区域的一个或多个通道的原始通道值；
处理所述原始图像数据以生成更新的图像数据，其中，所述更新的图像数据包括所述图像中的每个高亮区域的更新通道值，并且其中，对于所述图像的一个或多个高亮区域中的每个高亮区域，所述高亮区域的一个或多个更新通道值超过根据预定的数据精度的最大通道值；以及
对所述图像的所述一个或多个高亮区域的所述更新通道值执行色调校正过程，其中，执行所述色调校正过程包括：处理所述更新通道值以生成最终通道值，所述最终通道值i)满足所述预定数据精度和ii)恢复所述图像的所述一个或多个高亮区域的色调值，包括：
计算色调值，所述色调值表示所述通道的所述更新通道值的比例；
对于所述一个或多个通道中的每个通道生成裁切通道值，其中，如果所述更新通道值小于或等于所述最大通道值，则所述裁切通道值等于相应的更新通道值，并且如果所述更新通道值大于所述最大通道值，则所述裁切通道值等于所述最大通道值；以及
对于所述一个或多个通道中的每个通道计算最终通道值，包括：使用相应的色调值调整相应的裁切通道值，以模拟所述通道的所述更新通道值的所述比例。
9.根据权利要求8所述的方法，其中，所述高亮区域是个体的像素，并且其中，所述一个或多个通道包括R通道、G通道和B通道。
10.根据权利要求8所述的方法，其中，所述高亮区域是在滤色器阵列中以2×2网格布置的四个像素的组，其中，所述像素的每个具有表示单个颜色的单个值，并且其中，所述一个或多个通道包括所述四个像素的值。
11.根据权利要求8所述的方法，其中，对于所述图像中的每个高亮区域计算所述色调值进一步包括：
确定所述高亮区域的所述一个或多个通道的更新通道值的平均值；以及
计算色调值，包括：使用所述高亮区域的所述更新通道值的平均值来调整所述一个或多个通道中的每个通道的更新通道值。
12.根据权利要求11所述的方法，其中，对于所述图像中的每个高亮区域计算所述一个或多个通道中的每个通道的最终通道值包括：
确定所述一个或多个通道的所述裁切通道值的平均值；以及
计算所述一个或多个通道中的每个通道的最终通道值，包括：使用相应的色调值和所述裁切通道值的平均值来调整相应的裁切通道值。
13.根据权利要求12所述的方法，其中，对于每个高亮区域：
计算所述一个或多个通道的所述色调值包括：
通过计算在所述更新通道值与所述更新通道值的所述平均值之间的差来生成初始色调值；以及
通过将所述初始色调值归一化来生成所述色调值，包括将所述初始色调值除以第一向量的长度，其中，所述第一向量的每个元素是初始色调值。
14.根据权利要求13所述的方法，其中，计算所述一个或多个通道的所述最终通道值包括：
通过将所述色调值缩放第二向量的长度来生成缩放色调值，其中，所述第二向量的每个元素是通道的裁切通道值与裁切通道值的平均值之间的差；以及
通过将所述缩放色调值与所述裁切通道值的平均值相加来生成所述最终通道值。
15.编码有计算机程序指令的一个或多个非暂时性计算机存储介质，所述计算机程序指令当由多个计算机执行时，使得所述多个计算机执行根据权利要求8至14中的任一项所述的方法。
CN202080066899.0A 2019-11-05 2020-11-02 用于执行高亮恢复的系统和方法以及计算机存储介质 Active CN114424513B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962931073P 2019-11-05 2019-11-05
US62/931,073 2019-11-05
PCT/US2020/058528 WO2021091820A1 (en) 2019-11-05 2020-11-02 Highlight recovery for image processing pipeline

Publications (2)

Publication Number Publication Date
CN114424513A CN114424513A (zh) 2022-04-29
CN114424513B true CN114424513B (zh) 2024-04-26

Family

ID=73654879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066899.0A Active CN114424513B (zh) 2019-11-05 2020-11-02 用于执行高亮恢复的系统和方法以及计算机存储介质

Country Status (5)

Country Link
US (1) US20220261954A1 (zh)
EP (1) EP3981140B1 (zh)
JP (1) JP7426480B2 (zh)
CN (1) CN114424513B (zh)
WO (1) WO2021091820A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11617026B1 (en) 2022-02-03 2023-03-28 Apple Inc. Lens shading correction for quadra image sensors

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157018A (ja) * 1999-11-22 2001-06-08 Matsushita Graphic Communication Systems Inc 画像読取装置及び画像読取方法
JP2004304303A (ja) * 2003-03-28 2004-10-28 Fuji Heavy Ind Ltd 対象物認識装置および対象物認識方法
CN101489022A (zh) * 2008-01-16 2009-07-22 延世大学工业学术合作社 色彩恢复方法和系统
CN101523888A (zh) * 2006-10-13 2009-09-02 苹果公司 使用预定色调再现曲线来处理图像的系统和方法
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
WO2014112291A1 (ja) * 2013-01-17 2014-07-24 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法
CN105354599A (zh) * 2015-11-25 2016-02-24 安徽创世科技有限公司 一种基于改进的slic超像素分割算法的颜色识别方法
CN105741248A (zh) * 2016-02-02 2016-07-06 深圳市未来媒体技术研究院 一种去除图像中阴霾退化的方法
CN106559658A (zh) * 2016-12-02 2017-04-05 郑州捷安高科股份有限公司 多通道投影融合带色彩自动平衡控制方法
CN106709893A (zh) * 2016-12-28 2017-05-24 西北大学 一种全天时雾霾图像清晰化恢复方法
CN108259701A (zh) * 2018-01-17 2018-07-06 深圳市唯特视科技有限公司 一种基于高动态范围色域映射的颜色再现方法
CN109978848A (zh) * 2019-03-19 2019-07-05 电子科技大学 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN110022469A (zh) * 2019-04-09 2019-07-16 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861851B2 (en) * 2011-05-13 2014-10-14 Dolby Laboratories Licensing Corporation Color highlight reconstruction
JP6702306B2 (ja) * 2015-03-26 2020-06-03 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10070109B2 (en) * 2016-06-30 2018-09-04 Apple Inc. Highlight recovery in images
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157018A (ja) * 1999-11-22 2001-06-08 Matsushita Graphic Communication Systems Inc 画像読取装置及び画像読取方法
JP2004304303A (ja) * 2003-03-28 2004-10-28 Fuji Heavy Ind Ltd 対象物認識装置および対象物認識方法
CN101523888A (zh) * 2006-10-13 2009-09-02 苹果公司 使用预定色调再现曲线来处理图像的系统和方法
CN101489022A (zh) * 2008-01-16 2009-07-22 延世大学工业学术合作社 色彩恢复方法和系统
CN103503429A (zh) * 2011-04-15 2014-01-08 杜比实验室特许公司 编码、解码和表现高动态范围图像
CN103888743A (zh) * 2011-04-15 2014-06-25 杜比实验室特许公司 编码、解码和表现高动态范围图像
WO2014112291A1 (ja) * 2013-01-17 2014-07-24 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104253930A (zh) * 2014-04-10 2014-12-31 西南科技大学 一种实时视频去雾方法
CN105354599A (zh) * 2015-11-25 2016-02-24 安徽创世科技有限公司 一种基于改进的slic超像素分割算法的颜色识别方法
CN105741248A (zh) * 2016-02-02 2016-07-06 深圳市未来媒体技术研究院 一种去除图像中阴霾退化的方法
CN106559658A (zh) * 2016-12-02 2017-04-05 郑州捷安高科股份有限公司 多通道投影融合带色彩自动平衡控制方法
CN106709893A (zh) * 2016-12-28 2017-05-24 西北大学 一种全天时雾霾图像清晰化恢复方法
CN108259701A (zh) * 2018-01-17 2018-07-06 深圳市唯特视科技有限公司 一种基于高动态范围色域映射的颜色再现方法
CN109978848A (zh) * 2019-03-19 2019-07-05 电子科技大学 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN110022469A (zh) * 2019-04-09 2019-07-16 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Superbend upgrade at the Advanced Light Source》;D. Robin;《Proceedings of the 2003 Particle Accelerator Conference》;20040504;全文 *
《基于背景动态更新与暗通道先验的火灾烟雾检测算法》;赵亮;《计算机应用研究》;20170508;第34卷(第3期);全文 *
《基于色调映射和暗通道融合的弱光图像增强》;杨爱萍，赵美琪，宋曹春洋，王金斌;《天津大学学报》;20180703;第51卷(第7期);全文 *

Also Published As

Publication number Publication date
JP2022553909A (ja) 2022-12-27
EP3981140A1 (en) 2022-04-13
US20220261954A1 (en) 2022-08-18
JP7426480B2 (ja) 2024-02-01
WO2021091820A1 (en) 2021-05-14
CN114424513A (zh) 2022-04-29
EP3981140B1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US10475403B2 (en) Display device and control method thereof with brightness and transmittance control
CN113168684B (zh) 提升低亮度图像的质量的方法、系统和计算机可读介质
US20110194727A1 (en) Image data processig systems for hiding secret information and data hiding methods using the same
US20210224954A1 (en) Image processing method and device, storage medium and computer device
EP3451653B1 (en) Image processing method, image processing apparatus and display device
CN108986100B (zh) 影像切割方法及装置
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
US8619330B2 (en) Image processing apparatus and image processing method
KR102144390B1 (ko) 로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법
CN113096035A (zh) 高动态范围图像生成方法、装置、智能终端及存储介质
CN114424513B (zh) 用于执行高亮恢复的系统和方法以及计算机存储介质
WO2013040857A1 (en) Exposure enhancement method and apparatus for a defogged image
US11323678B2 (en) Method of and apparatus for processing frames in a data processing system
US7460275B2 (en) Odd/even error diffusion filter
US20200265563A1 (en) Shadow Brightening Image Enhancement
CN111340689B (zh) 一种用于复合图像的生成方法和系统
KR20150086758A (ko) 그래픽 처리 장치 및 방법
JP2007208430A (ja) 画像処理システム
CN114244969A (zh) 一种图像亮度校正方法和硬件系统
CN114630090A (zh) 图像处理装置以及图像处理方法
CN110415187A (zh) 图像处理方法及图像处理系统
EP2894841B1 (en) Information processing apparatus, information processing method, and storage medium
KR101706554B1 (ko) 클리어 에지 재현을 위한 영상 처리 장치 및 방법
JP5141871B2 (ja) 画像処理方法及び画像表示装置
US8625923B2 (en) Image processing apparatus, imaging apparatus, and image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant