CN107924554B - 图像处理流水线中对图像数据的多速率处理 - Google Patents

Abstract

一种图像处理流水线可以多种速率处理图像数据。可通过图像信号处理器的一个或多个流水线级处理从图像传感器收集的用于图像帧的原始像素数据流。然后可将原始像素数据流转换到全色域中并缩放到小于针对图像帧的初始数据大小的数据大小。可通过一个或多个其他流水线级处理转换的像素数据并输出转换的像素数据以用于存储、进一步处理或显示。在一些实施方案中，后端接口可被实施为图像信号处理器的部分，经由该后端接口可接收从图像传感器之外的源收集的图像数据并通过图像信号处理器处的各流水线级处理该图像数据。

Description

图像处理流水线中对图像数据的多速率处理

背景技术

图像传感器捕获的图像数据通常初始作为图像处理流水线的部分而被处理，以便使捕获的图像数据准备好进一步处理或消耗。通过这种方式，可以进行实时校正或增强而无需消耗其他系统资源。例如，可以对原始图像数据进行校正、过滤或其他方式的修改，以便为诸如视频编码器的后续部件提供经适当缩放的图像数据进行编码和后续显示，减少要在视频编码器处对图像数据执行的后续操作数量。

为了为捕获的图像数据实施这些校正或增强，可以使用各种不同的设备、部件、单元或其他模块实施作为图像处理流水线部分而执行的变化的操作。例如，图像信号处理器可以包括多个不同单元或级，可以在多个不同单元或级处对从图像传感器获得的图像数据进行不同的图像修改或增强。考虑到许多不同产品中的图像传感器的普遍性，作为图像处理流水线部分高效地处理图像数据可能在这些产品上释放受约束的资源用于执行额外的任务。

发明内容

在一些实施方案中，包括相机或其他能够捕获图像数据的图像传感器的设备、装置或计算系统的图像信号处理器可被配置为以不同速率处理图像数据。一些图像处理流水线级可以初始速率(例如，以每个时钟周期X个像素)处理所捕获图像帧的像素数据流。例如，可在一个或多个流水线级处以初始速率执行各种原始图像数据处理技术。后端图像处理流水线级然后可以降低的速率(例如，以每个时钟周期Y个像素，其中Y<X)处理像素数据流。考虑以上实施例中处理的原始图像数据。可将原始图像数据转换成全色域，缩放到更小图像大小，并通过后端全色流水线级以降低的速率处理。还可包括接口，其允许从存储器获得图像数据并通过后端图像处理流水线级进行处理(即使图像数据不是由相机收集的，像从远程设备或服务器接收的视频)。

附图说明

图1是逻辑框图，根据一些实施方案示出了示例系统，该系统可以实施在多个速率下处理图像数据的图像处理流水线。

图2是逻辑框图，根据一些实施方案示出了系统中的示例数据路径，该系统可以实施在多个速率下处理图像数据的图像处理流水线。

图3是逻辑框图，根据一些实施方案示出了示例图像信号处理器。

图4是逻辑框图，根据一些实施方案示出了图像信号处理器中的重采样处理级。

图5是高级流程图，根据一些实施方案示出了用于在图像处理流水线中以多种速率处理图像数据的各种方法和技术。

图6是高级流程图，根据一些实施方案示出了用于处理经由用于图像信号处理器的后端接口接收的图像数据的各种方法和技术。

本说明书包括参考“一个实施方案”(“one embodiment”或“an embodiment”)。出现短语“在一个实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何适当的方式组合。

“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑列举：“一种包括一个或多个处理器单元的装置……”的权利要求。此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实施操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的(f)款。此外，“被配置为”可包括由软件和/或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实施或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于。”如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可以影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他情况下，可仅基于B来确定A。

具体实施方式

图像信号处理器或其他图像处理流水线可实施很多不同技术或部件以校正或增强图像传感器捕获的图像数据。然而，图像传感器捕获的图像数据不是始终用于相同的目的。例如，图像传感器可以提供图像数据流，以便显示图像传感器可能在更高分辨率静止图像中所捕获的或可能在视频中所记录的内容的预览图。取决于可以处理图像传感器捕获的图像数据所依据的期望效果或格式，处理图像数据的图像处理流水线的不同部分可能被过度利用或利用不足。例如，对于作为更低分辨率视频文件的部分而被记录的由高分辨率图像传感器捕获的图像数据，图像处理流水线的一些部分可能被过度利用(例如，为了针对低分辨率视频缩放图像，处理最终可能被丢弃的完整分辨率图像数据的流水线的那些部分)。

在各种实施方案中，图像信号处理器可以在图像处理流水线中以多种速率处理图像数据，以便更有效地利用图像处理流水线的处理能力。例如，在至少一些实施方案中，一个或多个前端流水线级可以在初始速率，诸如每个时钟周期2个像素(ppc)，处理图像数据。通过这种方式，大量图像数据(例如，大的个体图像帧或高速率图像帧，诸如可能在记录慢速运动视频时捕获的)可接收初始处理，以减少或校正可能因为收集和处理图像数据而带来的图像信号噪声、伪影和其他图像缺陷。图像数据然后可在一个或多个后端流水线级被缩小到期望尺寸并以不同速率，诸如1ppc处理，以对图像帧执行其他操作，以便减少图像信号噪声，校正色彩和图像缺陷，以及应用各种特殊效果，从而不对可能丢弃的图像数据进行处理。

在至少一些实施方案中，通过前端流水线级捕获和处理的图像数据可以原始或全色格式被存储到存储器，而图像数据的缩放版本可继续通过图像处理流水线的后端流水线级被处理。通过这种方式，经过某种图像处理的图像帧的高分辨率版本可被捕获，同时对图像帧的低分辨率版本继续处理(例如，捕获也在低分辨率视频中记录的高分辨率静止图像帧)。

在至少一些实施方案中，可以实施后端接口允许通过图像处理流水线的后端流水线级处理从不同于图像传感器的源收集的图像数据。例如，在实施图像处理流水线的设备(例如，移动计算设备)处从远程设备(例如，内容提供方的内容服务器，诸如基于网络的视频服务)接收的图像数据可经由后端接口被接收并通过后端流水线级被处理，以便执行操作，以减少图像信号噪声，校正色彩和图像缺陷，或应用各种特殊效果。通过这种方式，可以利用图像处理流水线的专用图像处理部件为从很多其他源接收的图像数据高效地执行图像处理。

可以根据采用它们的示例系统进一步例示本文描述的用于在图像处理流水线中以多种速率处理图像数据的技术。如上所述，这些技术可在包括捕获和处理图像数据，包括视频剪辑的能力的任意类型的相机、装置或计算系统中实施。

在图1中示出了被配置为实施本文描述的任意或所有技术的系统的一个实施例。例如，图1中所示的系统100可被配置为使用图像信号处理器执行图像处理，而无需现有GPU和CPU方法所需的额外系统存储器操作。在例示的实施方案中，系统100包括图像传感器102、片上系统(SOC)部件104、系统存储器(例如，DRAM)130、永久存储器(例如，闪存存储器)128和显示器116(例如，LCD或OLED)。在该实施例中，图像传感器102可为适于捕获图像数据的任何类型的图像传感器(例如，对所捕获光做出响应的图像传感器)，诸如相机、录像机或包括相机或录像机的其他设备上的有源像素传感器(例如，互补金属氧化物半导体(CMOS)有源像素传感器)。在该实施例中，显示器116可被配置为显示所捕获静止图像或视频剪辑(可被提供为来自图像信号处理器106的输出)的预览。显示器116还可被配置为显示菜单、所选择的操作参数或从系统用户界面接收的其他信息(未示出)。在其他实施方案中，可在用于这些目的的系统中包括其他类型的显示设备。在不同的实施方案中，系统100可为各种类型的设备中的任何设备，包括但不限于个人计算机系统；台式计算机；膝上型计算机；笔记本、平板电脑、平板设备、上网本计算机；大型计算机系统；手持式计算机；工作站；网络计算机；相机；机顶盒；移动设备，诸如移动电话、寻呼机、个人数据助理(PDA)、平板设备或音乐播放器；诸如数字相机、扫描仪、录像机的I/O设备；消费设备；视频游戏控制器；手持式视频游戏设备；或包括相机或录像机功能的一般任何类型的计算或电子设备。

在该实施例中，SOC部件104包括图像信号处理器(ISP)106、中央处理单元(CPU)108、网络接口110、取向接口112(可耦接到取向传感器134，可从取向传感器134收集系统100的取向数据，诸如运动数据)、显示控制器114(其可耦接到并控制显示器116的操作)、图形处理器(GPU)120、存储器控制器122(可耦接到系统存储器130)、视频编码器124、存储控制器126(可耦接到永久存储装置128，诸如闪存存储器或其他非易失性随机存取存储器并控制对其的存取)，以及各种其他I/O设备(示为118)，其任何或全部设备可以通过互连132彼此通信。在一些实施方案中，系统100或SOC部件104可包括比图1中所示那些更多或更少的元件。

在各种实施方案中，SOC部件104可为包括一个处理器的单处理器系统、或者包括若干个处理器或若干处理内核(例如两个、四个、八个、或另一适当数量)的多处理器系统。CPU 108可实施任何适当的指令集架构，并且可以被配置为执行该指令集架构中定义的指令。例如，在各种实施方案中，CPU 108可以是实施多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC、ARM^TM或MIPS ISA、或任何其他合适的ISA)中任何指令集架构的通用或嵌入式处理器。在多处理器系统中，每个CPU 108通常可以但并非必须实施相同的ISA。CPU 108可采用任何微架构，包括标量、超标量、流水线、超流水线、无序、有序、推测性、非推测性等，或它们的组合。CPU 108可包括实施微码技术的电路。CPU 108可包括各自都被配置为执行指令的一个或多个处理内核。CPU 108可包括一级或多级高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。

在图1所示的实施例中，系统存储器130可以是任何类型的存储器，诸如动态随机存取存储器(DRAM)，同步DRAM(SDRAM)、双倍数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。一个或多个存储器设备可耦接到电路板上以形成诸如单列直插内存模块(SIMM)、双列直插内存模块(DIMM)等存储器模块。另选地，设备可在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中与实施系统100的集成电路一起安装。在一些实施方案中，系统存储器130可以各种格式存储像素数据或其他图像数据或统计数据。类似地，尽管图1中所示的示例系统100包括用于对系统中使用的图像数据或其他数据进行非易失性存储的永久存储装置128，但在其他实施方案中，该系统可包括其他类型的非易失性存储器(例如，ROM)以实现这些目的。

图形处理单元(GPU)120可包括任何适当的图形处理电路。通常，GPU 120可被配置为向帧缓冲区(例如，包括用于整个帧的像素数据的帧缓冲区)中提供要显示的对象。GPU120可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。硬件加速和软件具体实施的量可在各个实施方案间变化。

根据系统100的类型，I/O设备118可包括任何期望的电路。例如，在一个实施方案中，系统100可以是移动计算设备(例如个人数字助理(PDA)、平板设备、智能电话等)，并且I/O设备118可包括用于各种类型的无线通信的设备，诸如wifi、蓝牙、蜂窝、全球定位系统等。在一些实施方案中，I/O设备118还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘存储装置。在一些实施方案中，I/O设备118可以包括诸如附加显示设备的用户界面设备，包括触摸显示屏或多点触摸显示屏、键盘、小键盘、触控板、扫描设备、语音或光学识别设备、麦克风、扬声器、扫描仪、打印设备、或适用于由系统100或在系统100内输入或访问数据的任何其他设备。

在该实施例中，图像信号处理器(ISP)106可包括促进执行图像处理流水线各级的专用硬件，如本文详细所述。在一些实施方案中，ISP 106可被配置为从图像传感器102接收图像数据，并将数据处理成系统100的其他部件(包括显示器116或视频编码器124)可使用的形式。如本文所述，在一些实施方案中，ISP 106可被配置为执行诸如图像平移操作、水平和垂直缩放、色彩空间转换或其他非翘曲图像编辑操作或图像稳定化变换的各种图像操纵操作。图像信号处理器的一个实施方案在图3中得到更详细例示并在下文得到描述。

在图1所示的实施例中，互连132可被配置为促进在SOC 104中包括的各种功能单元之间的通信。在各种实施方案中，互连132可以包括诸如网格、芯片结构网络、共享总线、点到点互连等任何适当的互连电路。在一些实施方案中，互连132可以执行任何必要的协议、计时或其他数据转换以将数据信号从一个部件(例如，系统存储器130)转换成适合由另一个部件(例如，CPU 108或GPU 120)使用的格式。在一些实施方案中，例如互连132可包括对通过各种类型的外围设备总线(诸如外围设备部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)所附接的设备的支持。在一些实施方案中，例如互连132的功能可被划分到两个或更多个单独部件中，诸如北桥和南桥。在一些实施方案中，互连132可促进以适当格式向各种功能单元传送像素数据或其他图像数据或统计数据。

在该实施例中，网络接口110可被配置为允许在系统100和附接到一个或多个网络的其他设备(例如运营商或代理设备)之间、或者在系统100的节点或部件之间交换数据。例如，视频或其他图像数据可经由网络接口110从其他设备(例如，内容提供方网络或另一种移动计算设备)接收并存储于系统存储器130中进行后续处理(例如，经由后端接口到图像信号处理器106，诸如下文在图3中所述)和显示。在各种实施方案中，网络可包括但不限于：局域网(LAN)(例如以太网或企业网)、广域网(WAN)(例如互联网)、无线数据网、某种其他电子数据网络、或它们的某种组合。在各种实施方案中，网络接口110可以支持经由有线或无线的一般数据网络，例如诸如任何合适类型的以太网网络；经由电信/电话网络，诸如模拟语音网络或数字光纤通信网络；经由存储区域网络，诸如光纤通道存储区域网(SAN)、或经由任何其他合适类型的网络或协议的通信。

本领域的技术人员应当理解，系统100仅为例示性的，而并非旨在限制实施方案的范围。例如，系统100还可以连接到未示出的其他设备，或者可以作为独立系统工作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，一些所示出的部件的功能可不被提供，或可还有其他附加功能可供使用。在一些实施方案中，系统存储器130中存储的程序指令可以由CPU108或GPU 120执行以提供系统100的各种功能。

在其他实施方案中，可以由另一设备上的存储器中执行并且经由计算机间通信与所示系统通信的软件部件执行各种功能。本文所述的这些软件部件或任何数据结构的一些或全部可以(例如，作为指令或结构化数据)存储于系统存储器130、永久存储装置128中，或可以存储于非暂态计算机可读介质或便携式物品上以供适当驱动器读取。在一些实施方案中，被存储在与系统100分开的计算机可访问介质上的指令可经由传输介质或信号(诸如电信号、电磁信号、或数字信号)而被传输到系统100，该传输介质或信号经由通信介质(诸如网络和/或无线链路)而被传送。各种实施方案可进一步包括接收、发送或存储根据本文描述所实施的指令或数据。一般来讲，计算机可访问介质可以包括非暂态计算机可读存储介质或存储器介质，诸如磁性或光学介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM等。

图2是框图，示出了根据一些实施方案，在实施图像信号处理器的系统(具体地讲，图1中所示的系统100)中的数据路径。如一个实施例中的虚线所示，图像数据可以从图像传感器(102)通过图像信号处理器(106)传递到系统存储器130(经过互连132和存储器控制器122)。一旦图像数据被存储于系统存储器130中，就可以由视频编码器124、显示器116访问(例如，经过互连132，对于显示器116而言，经过显示控制器114)。例如，在各种实施方案中，它可以由显示控制器114访问以便在显示器116上显示预览图，或者可以由视频编码器124访问，视频编码器124可以适于记录到永久存储装置128的视频的格式对数据编码(例如，用于存储)，或用于将数据传递到网络接口110以通过网络(例如，用于视频会议)或别处传输。

由虚线210示出了另一个示例数据路径。图像数据，诸如视频图像或数据或静止图像或帧可以由系统100从图像传感器102之外的源接收。例如，视频数据可以经由有线或无线网络连接从远离系统100的其他源(例如，内容提供方网络或其他移动计算设备)被流传输、下载或通过其他方式传送到系统100。图像数据可以经由网络接口110被接收并且经由存储器控制器122被写入存储器130。图像数据然后可以由图像信号处理器106从存储器130获得并在一些实施方案中通过一个或多个图像处理流水线级被处理，以执行各种图像校正、平移、转换或其他图像处理技术。图像数据然后可以被返回到存储器130、视频编码器124或其他部件，诸如用于在显示器116显示的显示控制器113或用于在永久存储装置128(未示出)处存储的存储控制器126。

在一些实施方案中，图形处理器120可以访问、操纵、变换或通过其他方式处理图像数据，从而可以在系统存储器130上执行图2所示那些之外的额外读取和写入操作。存储于系统存储器130中的图像数据可以由GPU 120(经过互连132和存储器控制器122)访问，在GPU 120对图像数据执行一次或多次图像变换之后，可以将图像数据(再次经过互连132和存储器控制器122)写回系统存储器130。如果由CPU 108(例如，由在CPU 108上执行的软件)替代执行图像处理，则可以在系统100中在系统存储器130和CPU 108之间采用类似数据路径。在一些实施方案(虽然未示出)中，离开图像信号处理器106的图像数据可以被(经由互连132)直接发送到另一个功能部件(例如，CPU 120、图形处理器120、其他I/O设备118、网络接口110、视频编码器124、存储控制器126或显示控制器114)而不将图像数据存储到系统存储器130。

图3中的框图示出了图像信号处理单元(ISP)的一个实施方案，诸如图像信号处理器106。如该实施例所示，ISP 106在各种实施方案中可以耦接到图像传感器102(从那里其可以接收图像数据)。在该实施例中，ISP 106实施图像处理流水线，其可以包括一组级，从形成、捕获或接收到输出，其对图像信息进行处理。例如，被示为ISP 106的部件的各个元件将通过传感器接口302从图像传感器102接收的源数据处理成可由流水线中其他级(例如，图像统计304、原始图像处理306、重采样处理级308、噪声处理级310、色彩处理级312或输出重缩放314)、可由系统中包括ISP 106的其他部件经由输出接口316(包括在变换数据经由存储器控制器接口122被写入系统存储器之后或经由互连132直接提供图像数据之后从系统存储器访问变换数据的那些)或后端接口342、或可由耦接到包括ISP 106的系统的其他设备处理的图像数据。在至少一些实施方案中，传感器接口302可以执行各种预处理操作，诸如像素缺陷校正，以检测并校正模式化缺陷并检测线对(例如，由像焦点像素的特殊像素形成)，以及图像修剪或合成以减小图像数据的大小。需注意，在一些实施方案中，图像信号处理器106是流传输设备。换句话讲，像素可以由图像信号处理器106从图像传感器102经由传感器接口302以光栅次序(即，水平地逐条线地)接收，并通常可以通过其各个流水线级按照光栅次序处理，直到最终按照光栅次序被输出。

图像信号处理器106可以不同速率处理在图像信号处理器(有时称为ISP)处接收的图像数据。例如，在图3示出的示例性实施方案中，图像信号处理器可以实施一个或多个前端流水线级330，诸如原始处理级306和重采样处理级308，它们以初始速率处理图像数据。因此，可以实施在这些前端流水线级(诸如，下文相对于原始处理级306和重采样处理级308所述的那些)执行的各种不同技术、调节、修改或其他处理操作，从而可以通过这些级以初始速率连续处理图像数据。例如，如果前端流水线级330每个时钟周期处理2个像素，那么原始处理级306操作，像是黑电平补偿、高亮恢复、缺陷像素校正等，可以一次处理2个像素的图像数据。

除了在前端流水线级以初始速率处理图像数据之外，图像信号处理器106可以实施一个或多个以不同速率处理图像数据的后端流水线级。在各种实施方案中，后端流水线级340可在小于初始数据速率的减小速率下处理图像数据。例如，如图3所示，可以实施后端流水线级340，诸如噪声处理级310、色彩处理级312和输出重缩放314，从而可以根据降低的速率处理图像数据。考虑到前端级330以2ppc处理图像数据的以上实施例，那么噪声处理级310可实施诸如时域过滤和亮度锐化的操作以在低于2ppc的速率，例诸如1ppc下处理图像数据。

在至少一些实施方案中，图像信号处理器106可实施后端接口342。后端接口342可从图像传感器102之外的其他图像源接收图像数据。例如，如图2所示，通过无线连接接收的图像数据可以被接收并存储于存储器130中。可以通过后端接口342接收图像数据以在图像信号处理器106的后端级340处处理。通过这种方式，图像信号处理器106可被配置为向从其他图像数据源接收的数据提供资源高效的图像处理能力，替代(或补充)对图像数据执行的CPU或GPU处理。在各种实施方案中，后端接口342可将图像数据转换成由后端处理级利用的格式。例如，后端接口342可将RGB、YCbCr 4:2:0或YCbCr 4:2:2格式的图像数据转换成YCbCr 4:4:4的色彩格式。请注意，如下文结合图6所述，后端接口342可从各种色彩格式进行转换，因此前面的实施例并非意在限制。

在各种实施方案中，图像信号处理器106可实施中央控制模块320。在一些实施方案中，中央控制模块320可配置并启动图像数据的处理。例如，中央控制模块320可实施性能监测，用于记录时钟周期、存储器延迟、服务质量和状态信息。中央控制模块320可更新或管理用于ISP 106的单元、模块、级或其他部件的控制参数，并可与传感器接口302接口连接以控制单元、模块、级或其他部件的启动和停止。例如，在一些实施方案中，单元、模块、级或其他部件可进入空闲状态，在此期间，可以由中央控制模块320更新可编程参数。然后可将该单元、模块、级或其他部件置于运行状态中，以执行一个或多个操作或任务。在其他实施例中，中央控制模块320可配置图像信号处理器106以在重采样处理级308之前、期间或之后存储图像数据(例如，以写入存储器，诸如图2的存储器130中)。通过这种方式，作为处理通过后端流水线级从重采样处理级308输出的图像数据的补充或替代，可存储原始或全色域格式的全分辨率图像数据。

在各种实施方案中，图像信号处理器106可实施图像统计模块304。图像统计模块304可执行各种功能并收集信息。例如，在一些实施方案中，图像统计模块可执行传感器线性化、缺陷像素替换、黑电平补偿、镜头阴影校正和反黑电平补偿，以便通过各种操作收集图像信息。可收集或跟踪其他统计信息，诸如3A统计信息(自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF))、柱状图(例如，2D色彩或分量)或任何其他图像数据信息。因此，前面的示例并非意在进行限制。在一些实施方案中，在统计操作，像传感器线性化、缺陷像素替代、黑电平补偿、镜头阴影校正和反黑电平补偿，识别出剪辑的像素时，可从统计收集，诸如从AF统计信息排除特定像素的值或像素值的区域。在实施多个图像统计模块304的情形中，每个统计模块可由中央控制模块320编程以收集针对相同图像数据的不同信息，或针对不同图像收集的不同图像数据(例如，从不同图像传感器102收集)。

如上所述，图像信号处理器106可实施一个或多个前端流水线级，诸如原始处理级306和重采样处理级308，它们可以在原始或全色域中处理图像数据。在各种实施方案中，原始处理级306可实施各种模块、单元或部件，以对原始图像数据执行各种操作、功能或任务。Bayer原始格式，例如，可为从实施像素传感器的Bayer图案的图像传感器102收集的图像数据。例如，一些像素传感器仅捕获绿光，而其他像素传感器捕获Bayer像素图案中的红光或蓝光。通过这种方式，Bayer原始图像格式中的图像数据(或图像传感器中的滤色器阵列捕获的其他原始图像格式)为像素数据提供特定于特定色彩(而非所有色彩)的值。

原始处理级306因此可以以原始格式(诸如Bayer原始格式)处理图像数据，应用各种操作，包括但不限于传感器线性化、黑电平补偿、固定模式噪声减小、缺陷像素校正、原始噪声过滤、镜头阴影校正、白平衡增益和高亮恢复。在一些实施方案中，传感器线性化单元可将非线性图像数据映射到线性空间进行其他处理(例如，将从高动态范围(HDR)图像传感器收集的图像数据从展缩格式进行转换，该高动态范围图像传感器可为图像传感器102之一)。在一些实施方案中，可执行黑电平补偿以独立于像素图像数据上的每个色彩分量(例如，Gr、R、B、Gb)提供数字增益、偏移和剪辑(可以发生于传感器线性化之后)。在一些实施方案中，可执行固定模式噪声减小以通过从输入图像减去暗帧并在一些实施方案中将像素乘以不同增益，来消除偏移固定模式噪声和增益固定模式噪声。缺陷像素校正可确定或识别缺陷像素并可在各种实施方案中替换缺陷像素值。原始噪声过滤可在各种实施方案中通过对亮度相似的相邻像素进行平均化来减小图像数据的噪声。高亮恢复在各种实施方案中可估计从其他通道剪辑(或接近剪辑)的那些像素的像素值。镜头阴影校正可应用每个像素的增益以大致与距镜头光学中心距离成正比地补偿强度下降。白平衡增益可为所有色彩分量(例如，Bayer格式的Gr、R、B、Gb)独立地提供用于白平衡、偏移和剪辑的数字增益。请注意，上文提供的各种实施例和描述并非意在对原始处理级306的各种技术、分量或格式进行限制，而仅仅是作为实施例提供的。各个部件、单元或模块可分解成多个不同的流水线处理级。还需注意，在一些实施方案中，部件、单元或模块的各个部件、单元或模块可将原始图像数据转换到全色域中，从而原始处理级306可在各部分在全色域中处理除或替代原始图像数据之外的图像数据。例如，简单去马赛克单元可从原始噪声过滤接收数据并内插用于原始图像数据的全色域，以执行镜头阴影校正、白平衡增益或高亮恢复，之后将图像数据转变回原始图像格式。

在各种实施方案中，图像信号处理器106可实施重采样处理级308。重采样处理级308可执行各种操作以转换、重采样或缩放从原始处理级306接收的图像数据，如下文结合图4更详细所述，并可相应地在降低的速率，诸如可由后端流水线级340处理的速率，作为输出图像数据加以提供。请注意，在一些实施方案中，重采样处理级的一些或所有部分可被实施为原始处理级的部分，从而提供先前描述作为图像处理流水线中可为图像数据实施多速率处理的示例流水线级。

在各种实施方案中，图像信号处理器106可实施一个或多个后端流水线级340以在低于用于在前端级330中处理图像数据的初始速率的速率(例如，4ppc初始速率>3、2或1ppc的减小速率)下处理图像数据。在至少一些实施方案中，后端流水线级340可根据特定全色格式(例如，YCbCr 4:4:4或RGB)处理图像数据，其中重采样处理级308或后端接口342可提供到后端级340。请注意，在一些实施方案中，后端级340的各级可被配置为将图像数据转换成特定全色格式(或可利用不同的全色格式进行处理)，因此前面的实施例并非意在进行限制。

在一些实施方案中，图像信号处理器106可以实施噪声处理级310。在各种实施方案中，噪声处理级310可实施各种模块、单元或部件，以按照不同次序执行各种操作、功能或任务，诸如γ/去γ映射、色彩空间转换、时域过滤、噪声过滤、亮度锐化和色度噪声减小。色彩空间转换可将图像数据转换成另一种色彩格式或空间(例如，RBG到YCbCr)。γ映射可为像素数据的特定色彩通道(例如，Y、Cb和Cr通道)提供非线性映射功能，以便应用不同的图像效果，包括但不限于黑色和白色转换、棕黑色调转换、负转换或曝光过度转换。在各种实施方案中，可执行时域过滤，以基于来自先前过滤的图像帧的像素值过滤图像信号噪声。来自先前过滤的图像帧(本文可称为参考图像帧)的像素值可与当前图像帧的像素值组合，以得到像素值的最佳估计。例如，在当前图像帧和参考图像帧类似时，时域滤波器可对当前图像帧中的像素值和参考图像帧中的对应像素进行平均。在至少一些实施方案中，可对个体色彩通道值执行时域过滤。例如，时域滤波器可利用参考帧中的Y色彩通道值过滤(来自YCbCr格式的图像数据)Y色彩通道值(不对像Cb或Cr的其他通道进行过滤)。

可执行其他噪声过滤，诸如空间噪声过滤。在至少一些实施方案中，可以同时或接近同时的方式执行亮度锐化和色度抑制以作为空间噪声过滤的部分。在一些实施方案中，亮度锐化可锐化像素数据的亮度值。在一些实施方案中，色度抑制可将色度衰减到灰色(即，无色)。在一些实施方案中，可针对图像不同区域以不同方式确定噪声过滤的力度。可包括空间噪声过滤作为如上所述实施时域过滤的时域循环的部分。例如，可由时域滤波器和空间噪声滤波器处理先前图像帧，之后作为要处理的下一图像帧的参考帧存储。在其他实施方案中，可不包括空间噪声过滤作为用于时域过滤的时域循环的部分(例如，可在将图像帧作为参考图像帧(从而不是空间过滤后的参考帧)存储之后向其应用空间噪声滤波器)。请注意，上文提供的各种实施例和描述并非意在对作为噪声处理级310部分实施的各种技术或部件进行限制，而仅仅是作为实施例提供的。

在一些实施方案中，图像信号处理器106可以实施色彩处理级312。在各种实施方案中，色彩处理级312可实施多种模块、单元或部件以按照不同次序执行各种操作、功能或任务，诸如局部色调映射、增益/偏移/剪辑、色彩校正、三维色彩查找、γ转换和色彩空间转换。在一些实施方案中，局部色调映射可应用空间上变化的局部色调曲线，以便在渲染图像时提供更多控制。例如，可对色调曲线的二维网格(可由中央控制模块320编程)进行二线性内插，从而在整个图像上形成平滑变化的色调曲线。在一些实施方案中，局部色调映射还可应用空间上变化且强度变化的色彩校正矩阵，其例如可用于使天空更蓝，同时将图像中阴影中的蓝色调低。在一些实施方案中，可为图像数据的每个色彩通道或分量提供数字增益、偏移和剪辑。在一些实施方案中，色彩校正可以是向图像数据应用色彩校正变换矩阵实施的。在一些实施方案中，3D色彩查找可利用色彩分量输出值(例如，R、G、B)的三维矩阵执行高级色调映射、色彩空间转换和其他色彩变换。可执行γ转换，将输入图像数据值映射成输出数据值，以便执行γ校正、色调映射或柱状图匹配。可实施色彩空间转换以将图像数据从一个色彩空间转换到另一个(例如，RGB到YCbCr)。还可执行其他处理技术作为色彩处理级312的部分以执行其他特殊图像效果，包括黑白转换、棕黑色调转换、负转换或曝光过度转换。

在各种实施方案中，图像信号处理器106可实施输出重缩放模块314。输出重缩放模块314可在ISP 160处理图像数据的同时进行重采样、变换并校正失真。输出重缩放模块314可针对每个像素计算分数输入坐标，并在一些实施方案中，使用这一分数坐标经由多相重采样滤波器对输出像素进行内插。分数输入坐标可从输出坐标的多种可能变换得到，诸如对图像(例如，经由简单的水平和垂直缩放变换)进行尺寸重设或修剪，对图像(例如，经由不可分矩阵变换)进行旋转和剪切，逐个成条地应用的透视翘曲(例如，经由额外深度变换)和每个像素的透视划分以补偿图像数据捕获期间(例如，由于卷帘式快门)造成的图像传感器变化，以及几何失真校正(例如，经由计算距光学中心的径向距离，以便为内插的径向增益表格编制索引，并向坐标应用径向扰动以补偿径向镜头失真)。

在各种实施方案中，输出重缩放模块314可在图像数据在输出重缩放模块314处被处理时向其应用变换。输出重缩放模块314可包括水平和垂直缩放部件。该设计的垂直部分可实施系列图像数据行缓冲器以保持垂直滤波器所需的“支持”。由于ISP 106可以是流传输设备，因此可能仅有有限长度的行滑动窗口中的图像数据行可供滤波器使用。一旦丢弃一行以为新传入的行留出空间，该行可能就不可用了。输出重缩放模块314可通过统计方式监测对先前各行计算的输入Y坐标并使用其计算最优行集合，以保存在垂直支持窗口中。对于每个后续行，输出重缩放模块可生成在哪里自动将垂直支持窗口置于中心的最佳猜测。在一些实施方案中，输出重缩放模块314可实施编码为数字微分分析仪(DDA)步进器的逐个相应变换的表格，以在输入图像数据和输出图像数据之间执行每个像素的透视变换，以便校正捕获图像帧期间由传感器运动造成的伪影和运动。输出重缩放可经由输出接口314向系统100的各种其他部件提供图像数据，如上文结合图1和图2所述。

还需注意，在各种实施方案中，可按照与图3所示图像处理流水线中这些功能单元的次序所暗示次序不同的次序执行，或者可由图3所示那些之外的不同功能单元来执行单元302-342的功能。此外，可在硬件或软件的各种组合中实施图3(或随后的图4-图6)中描述的各种部件、单元、过程或其他功能。

如上所述，在各种实施方案中，可将不同的级配置为以不同速率处理图像数据，诸如前端流水线级330以初始速率处理图像数据，后端流水线级340以降低的速率处理图像数据。在各种实施方案中，重采样处理级308可被配置为以初始数据速率从原始处理级接收图像数据，处理图像数据并以降低的图像速率提供输出图像数据。图4是逻辑框图，根据一些实施方案示出了图像信号处理器中的重采样处理级。

原始图像数据402可从原始处理级306接收(或从诸如存储器的另一输入接收，以在重采样处理级308处处理)。如原始处理级那样，重采样处理级308可如上所述以初始速率处理图像数据。因此，去马赛克单元410、γ映射单元420和缩放器430可根据初始数据速率处理输入图像数据。在各种实施方案中，缩放器430可以相同或不同速率提供图像数据的多个输出中的一个或多个。例如，在一些实施方案中，缩放器430可向噪声处理级310提供处于全色域中并以降低的速率缩放434的图像数据以进行进一步处理。在一些实施方案中，全色缩放的图像数据434可被额外(或另选地)写入系统存储器130进行存储，供将来处理或显示。在至少一些实施方案中，缩放器430可提供已经被重采样(如果未缩小的话)为输出(除全色缩放的图像数据434之外或作为替代)的全色图像数据。例如，缩放器430可将YCbCr 4:4:4格式的满分辨率图像数据亚采样为YCbCr 4:2:2格式，减少色度色彩分量(而不减少亮度色彩分量)，并提供亚采样格式的满分辨率图像数据作为输出。

在一些实施方案中，可实施选择部件440，使得中央控制模块320或另一个部件可对图像信号处理器106编程以在系统存储器130中存储原始图像数据402或全色重采样的图像数据432。通过这种方式，可以原始或全色格式在存储器中存储未经缩放的图像数据版本(例如，满分辨率图像)，而图像的缩放版本继续在其他流水线级处被处理为全色缩放图像数据434。例如，图像帧可以满分辨率被捕获并被保存为高分辨率图像，且被处理和显示为低分辨率预览图像。在另一个实施例中，可在处理图像帧的低分辨率版本以作为视频文件(例如，1080p视频文件)部分存储的同时捕获高分辨率图像帧。

去马赛克单元410可对从原始图像数据402到输出图像数据的缺失色彩样本进行转换或内插，进入全色域中。例如，如上所述，在从图像传感器，诸如滤色器阵列(CFA)收集图像数据时，原始图像数据402可不包括针对个体像素(例如，该像素为Bayer图案中的绿色、红色或蓝色像素)的多个色彩分量或通道。如前所述，全色域可包括针对个体像素的多个色彩通道或分量，以便为色彩空间之内的像素提供大于任何一个色彩通道或分量的色彩值(例如，包括红色、蓝色和绿色组合的色彩空间)。在一些实施方案中，去马赛克单元410基于Bayer CFA图案执行内插。例如，去马赛克单元410可使用工作于初始图像传感器样本上的5×5边缘自适应滤波器执行绿色通道内插。可向绿色像素值应用低通定向滤波器并可在同一行上与绿色相邻的色彩通道(根据绿色像素所在的行，为红色或蓝色)上实施高通(或梯度)滤波器。为了对红色和蓝色通道进行内插，去马赛克单元410可利用与红色或蓝色像素相邻的内插绿色值实施红色或蓝色像素值的低通滤波器连同高通滤波器。在一些实施方案中，可实施绿色不均匀校正作为去马赛克单元410的部分，以便补偿与红色像素相邻的绿色像素值和与蓝色像素相邻的绿色像素之间的亮度差异。

在一些实施方案中，可将γ映射单元420实施为重采样处理级308的部分并可从去马赛克单元410接收转换的图像数据作为输入。γ映射单元420可将转换的图像数据从输入图像数据映射为输出数据值，以便执行特殊图像效果，包括黑白转换、棕黑色调转换、负转换或曝光过度转换。例如，γ映射单元420可使用针对每个像素的不同色彩分量或通道的查找表(或将像素值索引到另一个值的其他结构)(例如，针对Y、Cb和Cr色彩分量的独立查找表)。这些值表示可将输入像素值映射到高低映射值的输出水平。可通过在针对输入像素的高低映射值之间执行线性内插来确定针对输入像素值的输出值。中央控制模块320可配置查找表值(或其他γ映射单元420控制参数)以映射对应于应用各种特殊效果的值。

重采样处理级308可实施缩放器430以从γ映射单元420(或从去马赛克单元410(未示出))接收图像数据，以在全色域中对转换的图像数据执行各种缩放、重采样或其他图像数据操作。在至少一些实施方案中，缩放器430可在多种模式中工作，提供不同类型的缩放、重采样或通过其他方式修改的图像数据输出。例如，缩放器430可提供一种模式，该模式校正或抑制图像数据中的伪影(例如，诸如抑制色度混叠伪影以去除可能由去马赛克单元410引入的亮度边缘附近的混叠伪影或去除由去马赛克单元410引入的点伪影)而不缩放图像数据(但缩放器430的输出仍可根据上述降低的速率提供图像数据)。在一些实施方案中，用于缩放器430模式的另一种模式可执行图像缩小和重采样(补充或替代图像数据中伪影的校正或抑制)。例如，缩放器430可接收YCbCr 4:4:4格式的图像数据作为输入并将该图像数据下采样为YCbCr 4:2:2格式(这样可将CbCr(色度)数据减少到Y(亮度)的一半)。缩放器430然后可缩小重新格式化的图像数据(例如，通过进行垂直和水平重采样)，将图像大小从一种分辨率(例如，满传感器分辨率图像)改变成不同分辨率(例如，视频分辨率，诸如1080p)。在一些实施方案中，缩放器430还可如上所述校正或抑制缩放图像数据中的伪影。在各种实施方案中，中央控制模块320可配置该模式或其他操作，诸如可由缩放器430对输入图像数据执行的图像数据的缩小尺寸。

请注意，提供图4仅仅作为重采样处理级308的实施例。可使用图示部件(以及未示出的部件)的不同组合以执行从原始图像数据到全色域或缩放图像数据的转换。例如，在一些实施方案中，可以不实施输出选择部件440。因此，图4的部件及其相应布局或排序并非意在限于可用于重采样处理级308的各种其他组合。

图1-图4提供了可在图像处理流水线中实施图像数据的多速率处理的图像处理流水线、图像信号处理器和系统的实施例。然而，实施图像处理流水线和图像信号处理器的众多其他类型或配置的系统或设备可为图像数据执行多速率处理。图5是高级流程图，根据一些实施方案示出了用于在图像处理流水线中以多种速率处理图像数据的各种方法和技术。上述各部件可实施这些技术(除下文参考图6所述的那些之外)以及各种其他图像处理流水线和图像信号处理器。

如510处所示，可在图像信号处理器(ISP)处接收从图像传感器收集的原始像素数据流。在图像传感器处收集时可通过流方式捕获并处理原始像素数据。可如上所述格式化原始图像像素数据，从而针对个体像素不包括多个色彩分量或通道。原始图像数据的一个实施例是Bayer图像格式(其可能有很多变化)，包括不同行的像素值，用于收集不同颜色的光，根据图像传感器的配置，不同颜色为绿色、红色和蓝色。在一些实施方案中，这些像素值(例如，绿色值、红色值或蓝色值)可按照光栅次序被收集并提供给图像信号处理器。

如520处所示，原始像素数据流可通过流水线级被引导，该流水线级以每个时钟周期像素数(ppc)的初始速率处理像素。例如，流水线级可以4ppc处理像素数据。流水线级可为在ISP处对原始图像数据流执行的单元、部件或其他处理操作的一个或多个集合。在一些实施方案中，流水线级可为上文结合图3所述的前端330中的各个级或部件。例如，可以每个时钟周期像素数的初始速率执行传感器线性化、黑电平补偿、固定模式噪声减小、缺陷像素校正、原始噪声过滤、镜头阴影校正、白平衡增益、高亮恢复、去马赛克或γ映射。

在一些实施方案中，可将通过一些或全部流水线级处理的原始像素数据(如上文结合510所述)保存到存储器。例如，如果控制单元或其他可编程部件指示ISP向存储器存储处理过的原始像素数据流，如532处所示，则可将原始像素数据流捕获的原始格式满分辨率图像保存到存储器。通过这种方式，诸如CPU或GPU的其他部件可通过访问存储器对原始图像数据执行图像处理。另选地，原始图像数据可从存储器被检索并继续通过下文稍晚论述的各种ISP元件处理。无论是否向存储器存储图像数据，原始图像数据都可继续通过后续图像处理级处理(如从532到540的箭头所示或从530否定退出)。需注意，图像数据可继续处理，同时还将其存储到存储器，从而图5中所示的各元件不排除并行执行特定元件的可能性。

在各种实施方案中，ISP可将原始像素数据的已处理流转换到全色域中，如540处所示。例如，假设原始像素数据流是以Bayer格式收集的，可实施各种内插技术以确定针对绿色像素的蓝色和红色值、针对蓝色像素的绿色和红色值以及针对红色像素的蓝色和绿色值。考虑通过在绿色通道上应用低通方向滤波器，在相邻色彩通道(例如，红色或蓝色)上应用高通(或梯度)滤波器对绿色通道值(针对红色和蓝色像素)进行内插的内插技术。在一些实施方案中，仅可应用低通方向滤波器解释绿色通道值。类似地，内插技术可使用相邻红色或蓝色像素上的低通滤波器和使用共处的绿色值的高通(或梯度)滤波器(根据当前像素位置，为初始或内插的)对红色和蓝色像素进行内插。

如550处所示，在一些实施方案中，可将转换的像素数据保存到存储器，如552处所示。例如，可编程控制中央控制模块或其他部件以指示ISP在存储器中存储图像的满分辨率全色版本。在至少一些实施方案中，可在存储器中存储之前对图像重采样(以便在存储全色图像数据时节省存储器带宽)。例如，可将转换成YCbCr 4:4:4格式的图像数据亚采样到不同格式，诸如YCbCr 4:2:2、YCbCr 4:2:0或YCbCr 4:4:0，与以YCbCr 4:4:4格式存储图像相比，这样减少了图像所需的存储量(因为色度分量被减少而未减少亮度分量)。无论是否向存储器存储图像数据，转换的像素数据都可继续通过后续图像处理级处理(如从552到560的箭头所示或从550否定退出)。需注意，图像数据可继续处理，同时还将其存储到存储器，从而图5中所示的各元件不排除并行执行特定元件的可能性。

在一些实施方案中，可将在552存储的转换后的图像数据流重新注入图像处理流水线中以根据元件560、570和580处理。通过这种方式，可由图像处理流水线的其余部分处理已经被转换成全色域的更高分辨率图像数据。例如，可利用图像处理流水线中的空闲周期(例如，在流水线未处理来自图像传感器的帧时)部分(例如，分条)处理存储的图像数据。这允许有效地处理更高分辨率的图像。可针对在532处存储的图像数据执行重新注入来自存储器的图像数据的类似技术。

在各种实施方案中，可由ISP将被转换的图像数据流缩放到小于针对图像的初始数据大小的数据大小，如560处所示。例如，图像传感器可以满分辨率捕获用于图像的大量像素(例如，1200万像素)。ISP可通过原始处理流水线级(如元件510-530处所示)处理满分辨率图像的像素数据流并可将其转换成图像的全色或满分辨率版本。ISP然后可将图像缩小到更小数据大小(例如，310万像素≈1/4的初始分辨率)，如元件570处所示，可对其进行处理加以存储(例如，作为1080p视频记录的部分)或显示(作为预览图像)。在一些实施方案中，可执行其他图像处理操作作为缩放的部分或与缩放一起(以初始数据速率)，诸如校正或抑制图像伪影的操作。例如，可通过比较像素值(例如，亮度通道(Y)值)与相邻像素并基于像素值和相邻像素值之间的比较修改像素值来去除点伪影。在一些实施方案中，可去除彩色混叠伪影(例如，通过根据亮度通道分量(Y)的已过滤部分衰减诸如Cr和Cb的色彩分量)。

如570处所示，在各种实施方案中，可通过ISP处根据小于初始速率的不同每时钟周期像素数的速率处理像素的其他流水线级处理缩放图像数据流。例如，考虑在元件520处上文给出的4ppc的示例初始速率。不同的每时钟周期像素数速率可为2ppc。其他流水线级可为在ISP处对缩放图像数据流执行的单元、部件或其他处理操作的一个或多个集合。在一些实施方案中，流水线级可为上文结合图3所述的后端340中的各个级或部件。例如，可以不同的每时钟周期像素数速率进行γ/去γ映射、色彩空间转换、时域过滤、噪声过滤、亮度锐化、色度噪声减少、局部色调映射、增益/偏移/剪辑、色彩校正、三维色彩查找、色彩空间转换或各种格式的重缩放。

如580处所示，可提供通过其他流水线级处理的缩放像素数据流进行显示。例如，可直接向显示控制器或存储器或其他中间设备写入处理的图像数据进行后续显示。在一些实施方案中，可将缩放像素数据流写入到持久存储装置作为构成视频录制的一系列图像帧的部分或存储为图像的完全处理版本(与532或552处存储的图像版本相反)。

除了处理从图像传感器收集的图像数据之外，在各种实施方案中，可在图像处理流水线的不同流水线级处处理从其他源收集的图像数据，无论是远离实施图像处理流水线的设备(例如，内容提供方或发送图像数据的移动计算设备)还是在实施图像处理流水线的同一设备处生成(例如，由软件应用产生的图像数据，例如针对软件应用产生的图形)。通过这种方式，可利用图像处理流水线的高效专用部件，诸如上文针对图3中的ISP106所述的那些，执行多个不同的图像处理任务。在至少一些实施方案中，可为图像信号处理器实施后端接口，以便使图像处理流水线的不同流水线级可用于处理从不同源接收的图像数据。图6是高级流程图，根据一些实施方案示出了用于处理经由用于图像信号处理器的后端接口接收的图像数据的各种方法和技术。

如610处所示，在各种实施方案中，可经由用于图像信号处理器(ISP)的后端接口接收用于图像的图像数据。在各种实施方案中，该后端接口可被配置为从存储器(或其他可访问位置)获得从不同于耦接到ISP的图像传感器的源接收的图像数据。例如，可编程中央控制模块以指示后端接口从存储器获得图像数据的一部分并向ISP中流传输图像数据用于处理流水线级。在一些实施方案中，可编程ISP以处理经由后端接口接收的图像数据部分，该图像数据的部分是从耦接到ISP的图像传感器收集的。

如620处所示，在一些实施方案中，可确定图像数据是否处于ISP可处理的色彩格式。如果是这样，那么如从620的肯定退出所示，可将图像数据引导到ISP的后端流水线级加以处理。如果不是，那么如从630的否定退出所示，可将图像数据转换成ISP色彩格式，如630处所示。例如，可将后端流水线级的输入限制为特定全色格式，诸如YCbCr 4:4:4或RGB。可将经由后端接口接收的图像数据不同地进行格式化，诸如，以特定于特定视频或静止图像编码的图像格式(例如，mpeg视频文件，其可包括YCbCr 4:2:0色彩格式的图像帧或可具有4:2:0色彩格式图像的JPEG图像)。后端接口(或其他ISP部件)例如可被配置为将以YCbCr4:2:0色彩格式接收的图像数据上采样为YCbCr 4:4:4格式(例如，通过首先执行垂直内插以将图像数据转换成YCbCr 4:2:2，然后应用水平内插以将图像数据转换成YCbCr 4:4:4)，增加图像数据的色度分量。在一些实施方案中，经由后端接口接收的图像数据可具有多个平面(例如，两个平面图像数据而不是一个平面图像数据)，在这种情况下，可针对图像数据的每个平面执行图像数据的转换。

如630处所示，在各种实施方案中，可在ISP处的后端流水线级处理色彩处理格式的图像数据。如上文结合图3和图5所述，后端流水线级可包括各种部件、模块或级以执行γ/去γ映射、色彩空间转换、时域过滤、噪声过滤、亮度锐化、色度噪声减少、局部色调映射、增益/偏移/剪辑、色彩校正、三维色彩查找、色彩空间转换或各种格式的重缩放。通过后端流水线级处理的图像数据可被ISP存储到存储器，如650处所示，或通过其他方式提供以进行显示、存储或进一步处理。

尽管上文已经描述了具体实施方案，但这些实施方案并非要限制本公开的范围，即使仅相对于特定特征描述单个实施方案的情况下也是如此。本公开中提供的特征的示例意在进行例示，而非限制，除非做出不同表述。本公开的范围包括本文(明确或暗示)公开的任意特征或特征组合，或其任意推广，无论其是否减轻了本文解决的任何或所有问题。因此，在本申请(或要求享有其优先权的申请)进行期间可以针对特征的任何此类组合做出新的权利要求。具体地讲，参考所附权利要求书，可以将从属权利要求的特征与独立权利要求的特征组合，并可以通过任何适当方式而不是仅仅通过所附权利要求书中列举的特定组合来组合来自相应独立权利要求的特征。

在不同的实施方案中，本文所述方法的各种方法可以在软件、硬件或它们的组合中实施。此外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个实例的部件提供多个实例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的例示性配置的上下文中示出了特定操作。设想了功能的其他分配，它们可落在以下权利要求的范围内。最后，呈现为示例性配置中的分立部件的结构和功能性可以被实施为组合结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种用于图像处理的装置，包括：

图像信号处理器，所述图像信号处理器包括：

一个或多个前端流水线级，所述一个或多个前端流水线级以每时钟周期像素数的初始速率处理像素；

缩放器；以及

一个或多个后端流水线级，所述一个或多个后端流水线级以小于所述每时钟周期像素数的初始速率的每时钟周期像素数的不同速率处理像素，其中所述一个或多个后端流水线级在所述一个或多个前端流水线级之后处理所述像素；

所述图像信号处理器被配置为：

根据针对图像帧的初始数据大小接收在图像传感器处收集的像素数据流；

通过所述图像信号处理器的所述一个或多个前端流水线级处理所述像素数据流；

由所述缩放器将所述像素数据流缩放到小于所述像素数据流的所述初始数据大小的数据大小；

通过所述一个或多个后端流水线级处理经缩放的像素数据流；以及

提供通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于显示所述图像帧。

2.根据权利要求1所述的装置，其中所述图像信号处理器被进一步配置为向存储器写入通过所述一个或多个前端流水线级处理的所述像素数据流，使得根据所述初始数据大小向所述存储器写入所述图像帧。

3.根据权利要求1所述的装置，

其中所述图像信号处理器还包括去马赛克单元；

其中在所述图像传感器处收集的所述像素数据流是原始像素数据；

其中所述图像信号处理器被进一步配置为：

由所述去马赛克单元将通过所述一个或多个前端流水线级处理的所述像素数据流转换到全色域中，其中经转换的像素数据流包括亮度分量和一个或多个色度分量；以及

由所述缩放器对经转换的像素数据流重采样以减少所述一个或多个色度分量而不减少所述亮度分量；以及

将重采样的像素数据流写入到存储器。

4.根据权利要求3所述的装置，其中所述图像信号处理器被进一步配置为：

访问所述存储器以获得所述重采样的像素数据流；

转换所述重采样的像素数据流以增加所述一个或多个色度分量；以及

通过所述一个或多个后端流水线级处理具有增加的所述一个或多个色度分量的重采样的像素数据流。

5.根据权利要求1所述的装置，

其中所述图像信号处理器还包括用于所述一个或多个后端流水线级的图像处理接口，其中所述一个或多个后端流水线级根据特定色彩格式处理像素；

其中所述图像信号处理器被进一步配置为：

经由所述图像处理接口以不同于所述特定色彩格式的色彩格式接收其他像素数据流；

由所述图像处理接口将所述其他像素数据流转换成所述特定色彩格式；以及

通过所述一个或多个后端流水线级处理被转换成所述特定格式的所述其他像素数据流。

6.根据权利要求5所述的装置，其中所述装置包括所述图像传感器，并且其中所述其他像素数据流不在所述图像传感器处收集。

7.根据权利要求1所述的装置，其中所述装置包括移动计算设备。

8.一种用于图像处理的方法，包括：

在图像信号处理器处接收根据图像帧的初始数据大小收集的像素数据流；

由所述图像信号处理器通过所述图像信号处理器中的一个或多个前端流水线级处理所述像素数据流，所述一个或多个前端流水线级以每个时钟周期像素数的初始速率处理像素；

由所述图像信号处理器将所述像素数据流缩放到小于所述初始数据大小的不同数据大小；

通过所述图像信号处理器处的一个或多个后端流水线级处理经缩放的像素数据流，所述一个或多个后端流水线级以每个时钟周期像素数的不同速率处理像素，其中每个时钟周期像素数的所述不同速率小于每个时钟周期像素数的所述初始速率；以及

提供通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于显示所述图像帧。

9.根据权利要求8所述的方法，还包括由所述图像信号处理器将通过所述一个或多个前端流水线级处理的原始像素数据流存储到存储器。

10.根据权利要求8所述的方法，还包括：

由所述图像信号处理器将通过所述一个或多个前端流水线级处理的所述像素数据流转换到全色域中，其中经转换的像素数据流包括亮度分量和一个或多个色度分量；以及

由所述图像信号处理器对经转换的像素数据流重采样以减少所述一个或多个色度分量而不减少所述亮度分量；以及

由所述图像信号处理器将重采样的像素数据流写入到存储器。

11.根据权利要求10所述的方法，还包括：

由所述图像信号处理器访问所述存储器以获得所述重采样的像素数据流；

由所述图像信号处理器转换所述重采样的像素数据流以增加所述一个或多个色度分量；以及

由所述图像信号处理器通过所述一个或多个后端流水线级处理具有增加的所述一个或多个色度分量的重采样的像素数据流。

12.根据权利要求10所述的方法，还包括：

存储通过一个或多个其他流水线级处理的经缩放的像素数据流作为视频录制中的收集图像帧的一部分；

从所述存储器接收经转换的像素数据流；

通过所述一个或多个其他流水线级引导经转换的像素数据流；以及

存储通过所述一个或多个其他流水线级处理的经转换的像素数据流作为具有比所述视频录制高的图像分辨率的所述图像帧的版本。

13.根据权利要求8所述的方法，还包括：

经由所述图像信号处理器处用于所述后端流水线级的接口接收其他像素数据流；以及

通过所述一个或多个后端流水线级处理所述其他像素数据流。

14.根据权利要求13所述的方法，其中所述图像信号处理器被实施为移动计算设备的一部分，并且其中在所述移动计算设备处通过网络从远程服务器接收所述其他像素数据流。

15.一种用于图像处理的系统，包括：

设备，所述设备被配置为执行图像处理，所述设备包括：

传感器接口，所述传感器接口被配置为从图像传感器接收图像数据；以及

图像处理流水线，所述图像处理流水线被配置为：

经由所述传感器接口接收从图像传感器收集的像素数据流，其中所述图像传感器根据初始数据大小收集用于图像帧的所述像素数据流；

通过以每个时钟周期像素数的初始速率处理像素的一个或多个前端流水线级处理所述像素数据流；

将所述像素数据流缩放到小于所述初始数据大小的不同数据大小；

通过以每个时钟周期像素数的不同速率处理像素的一个或多个后端流水线级处理经缩放的像素数据流，其中每个时钟周期像素数的所述不同速率小于每个时钟周期像素数的所述初始速率；以及

提供通过所述后端流水线级处理的经缩放的像素数据流以进行显示。

16.根据权利要求15所述的系统，其中所述图像处理流水线被进一步配置为将通过所述一个或多个前端流水线级处理的所述像素数据流写入到存储器。

17.根据权利要求16所述的系统，其中所述图像处理流水线被进一步配置为：

从所述存储器接收所述像素数据流；以及

通过所述一个或多个后端流水线级处理所述像素数据流。

18.根据权利要求15所述的系统，

其中所述系统还包括接口，该接口被配置为接收图像数据以用于通过所述图像处理流水线的所述一个或多个后端流水线级处理；

其中所述图像处理流水线被进一步配置为：

经由所述图像处理接口从与所述图像传感器不同的源接收其他像素数据流；以及

通过所述一个或多个后端流水线级处理所述其他像素数据流。

19.根据权利要求15所述的系统，其中所述系统是移动计算设备，并且其中所述设备是图像信号处理器。

20.根据权利要求19所述的系统，其中所述移动计算设备包括所述图像传感器和显示设备，其中输出通过所述一个或多个后端流水线级处理的经缩放的像素数据流以用于在所述显示设备处显示为所述图像帧的预览。

Images