CN110622207B - 用于交叉渐变图像数据的系统与方法 - Google Patents

Abstract

本发明公开了一种交叉渐变器电路，该交叉渐变器电路接收第一原始图像数据和第二原始图像数据并且输出混合的原始图像数据。该交叉渐变器电路包括第一缩放电路、第二缩放电路和α混合器。该第一缩放电路缩小由具有第一视场的第一传感器捕获的第一原始图像数据以匹配混合窗口的尺寸。该第二缩放电路放大第二原始图像数据以匹配包围该混合窗口的画布窗口的尺寸。该第二原始图像数据可为由具有比第一视场宽的第二视场的第二传感器捕获的原始图像数据的裁切版本。α混合器电路根据缩小的第一原始图像数据和放大的第二原始图像数据生成与该画布窗口的尺寸匹配的混合的原始图像数据。

Description

用于交叉渐变图像数据的系统与方法

背景技术

由图像传感器捕获的图像数据或从其他数据源接收的图像数据通常在进一步处理或消耗之前在图像处理流水线中处理。例如，在提供给诸如视频编码器的后续部件之前，可校正、过滤或以其他方式修改原始图像数据。为了对捕获的图像数据执行校正或增强，可采用各种部件、单元级或模块。

可构造这样的图像处理流水线，使得能够以有利的方式执行对捕获的图像数据的校正或增强，而不消耗其他系统资源。虽然可通过在中央处理单元(CPU)上执行软件程序来执行许多图像处理算法，但是在CPU上执行这些程序将消耗CPU和其他外围资源的大量带宽并增加功耗。因此，图像处理流水线通常被实现为与CPU分离的硬件部件，并且专用于执行一个或多个图像处理算法。

图像数据可被两个图像传感器捕获并且由单独的专用图像处理流水线进行处理。例如，设备可具有两个相机，其中每个相机的焦距和视角都不同。当观看设备的用户在两个相机之间切换相机视图时，希望以平滑过渡的方式来显示两个相机视图之间的过渡。平滑过渡可为从广角相机到长焦相机的放大特征或从长焦相机到广角相机的缩小特征。然而，支持两个相机之间的平滑过渡的这种特征可能消耗可能还执行其他处理操作的处理器的计算资源并减慢整体处理操作以及消耗功率来执行过渡操作。

发明内容

本公开的实施方案涉及交叉渐变器电路，该交叉渐变器电路接收第一原始图像数据和第二原始图像数据并且输出混合的原始图像数据。交叉渐变器电路包括第一缩放电路、第二缩放电路和α混合器。第一缩放电路将第一原始图像数据缩小或放大以匹配混合窗口的尺寸。第一原始图像数据被具有第一视场的第一传感器捕获。第二缩放电路放大或缩小第二原始图像数据以匹配包围混合窗口的画布窗口的尺寸。第二原始图像数据可为由具有比第一视场宽的第二视场的第二传感器捕获的原始图像数据的裁切版本。α混合器电路可接收缩小的第一原始图像数据和放大的第二原始图像数据并且生成与画布窗口的尺寸匹配的混合的原始图像数据。

附图说明

图1是根据一个实施方案的电子设备的高级图。

图2是示出根据一个实施方案的电子设备中的部件的框图。

图3是示出根据一个实施方案的使用图像信号处理器实现的图像处理流水线的框图。

图4是示出根据一个实施方案的交叉渐变器电路和其周围电路的框图。

图5是示出根据一个实施方案的在交叉渐变器电路处执行的操作的概念图。

图6是根据一个实施方案的包括用于混合的参数的画布窗口的图。

图7是根据一个实施方案的在广角视图和长焦视图之间的过渡帧的示例。

图8是示出根据一个实施方案的交叉渐变来自两个传感器的图像数据的方法的流程图。

仅仅出于示例目的，附图描绘以及详细说明描述各种非限定性实施方案。

具体实施方式

现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。然而，可以在没有这些具体细节的情况下实施所述实施方案。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。

实施方案涉及电子设备的交叉渐变器电路，该电子设备结合两个相机的相机输入以提供从一个相机视图过渡到另一相机视图的混合图像。该电子设备包括具有重叠视场的两个或更多个相机。该交叉渐变器电路对由所述两个或更多个相机捕获的Bayer模式的原始图像相机输入执行缩放和混合，以生成在一个相机视图过渡到另一相机视图期间显示的混合的原始图像。通过由专用的交叉渐变器电路执行混合操作，处理器的资源可被保留并且用于其他计算中。

本文描述的操作参数是指定义原始处理级电路中的部件的操作的值。操作参数可与原始处理级的不同部件相关联，这些不同部件诸如为裁切器、缩放器或α混合器。操作参数可为简单地启用或禁用与传感器接口电路的不同部件相关联的部件或方法的Boolean值。

示例性电子设备

本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如个人数字助理PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的

设备、iPod

设备、Apple

设备和

设备。可选地使用其他便携式电子设备，诸如可穿戴设备、膝上型电脑或平板电脑。在一些实施方案中，该设备不是便携式通信设备，而是台式计算机或不是为便携式使用而设计的其他计算设备。在一些实施方案中，所公开的电子设备可包括触敏表面(例如，触摸屏显示器和/或触摸板)。以下结合图1描述的示例电子设备。图1(例如，设备100)可包括用于接收用户输入的触敏表面。电子设备还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。

图1是根据一个实施方案的电子设备100的高级图。设备100可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮104。菜单按钮104例如用于导航到在设备100上执行的一组应用程序中的任何应用程序。在一些实施方案中，菜单按钮104包括识别菜单按钮104上的指纹的指纹传感器。指纹传感器能够被用来确定菜单按钮104上的手指是否具有与为解锁设备100存储的指纹匹配的指纹。另选地，在一些实施方案中，菜单按钮104被实现为触摸屏上显示的图形用户界面(GUI)中的软键。

在一些实施方案中，设备100包括触摸屏150、菜单按钮104、用于使设备开/关机和用于锁定设备的下压按钮106、音量调节按钮108、用户身份模块(SIM)卡槽110、耳麦插孔112和对接/充电外部端口124。下压按钮106可用于通过按下该按钮并将该按钮保持在压下状态达预定义的时间间隔来对设备进行开关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100包括各种部件，包括但不限于存储器(可包括一个或多个计算机可读存储介质)、存储器控制器、一个或多个中央处理单元(CPU)、外围设备接口、RF电路、音频电路、扬声器111、麦克风113、输入/输出(I/O)子系统和其他输入或控制设备。设备100可包括一个或多个图像传感器(即，相机)164、一个或多个接近传感器166以及一个或多个加速度计168。设备100可包括图1中未示出的部件。

设备100仅是电子设备的一个示例，并且设备100可具有比上面列出的更多或更少的部件，其中一些部件可组合成部件或具有不同的配置或布置。以上列出的设备100的各种部件体现为硬件、软件、固件或其组合，包括一个或多个信号处理和/或专用集成电路(ASIC)。

图2是示出根据一个实施方案的设备100中的部件的框图。设备100可执行包括图像处理在内的各种操作。出于此目的和其他目的，设备100可包括图像传感器202、片上系统(SOC)部件204、系统存储器230、永久存储装置(例如，闪存存储器)228、运动传感器234和显示器216，以及其他部件。图2中所示的部件仅为例示性的。例如，设备100可包括图2中未示出的其他部件(诸如扬声器或麦克风)。另外，可省略设备100的一些部件(诸如运动传感器234)。

图像传感器202是用于捕获图像数据的部件，并且可实现为例如互补金属氧化物半导体(CMOS)有源像素传感器、相机、摄像机或其他设备。图像传感器202生成原始图像数据，其被发送到SOC部件204以进行进一步处理。在一些实施方案中，由SOC部件204处理的图像数据显示在显示器216上，存储在系统存储器230、永久存储装置228中，或经由网络连接发送到远程计算设备。由图像传感器202生成的原始图像数据可以是Bayer滤色器阵列(CFA)图案(下文中也称为“Bayer图案”)。

运动传感器234是用于感测设备100的运动的部件或一组部件。运动传感器234可生成指示设备100的取向和/或加速度的传感器信号。传感器信号被发送到SOC部件204以用于各种操作，诸如打开设备100或旋转显示器216上显示的图像。

显示器216是用于显示由SOC部件204生成的图像的部件。显示器216可包括例如液晶显示器(LCD)设备或有机发光二极管(OLED)设备。基于从SOC部件204接收的数据，显示器216可显示各种图像，诸如菜单、所选择的操作参数、由图像传感器202捕获并且由SOC部件204处理的图像，和/或从设备100的用户界面接收的其他信息(未示出)。

系统存储器230是用于存储由SOC部件204执行的指令以及用于存储由SOC部件204处理的数据的部件。系统存储器230可体现为任何类型的存储器，包括例如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双倍数据速率(DDR、DDR2、DDR3等)RAMBUS DRAM(RDRAM)、静态RAM(SRAM)或其组合。在一些实施方案中，系统存储器230可以各种格式存储像素数据或其他图像数据或统计数据。

永久存储装置228是用于以非易失性方式存储数据的部件。即使电力不可用，永久存储装置228也保留数据。永久存储装置228可具体体现为只读存储器(ROM)、NAND或NOR闪存存储器，或其他非易失性随机存取存储器设备。

SOC部件204体现为一个或多个集成电路(IC)芯片并执行各种数据处理过程。SOC部件204可包括图像信号处理器(ISP)206、中央处理器单元(CPU)208、网络接口210、传感器接口212、显示控制器214、图形处理器(GPU)220、存储器控制器222、视频编码器224、存储控制器226和各种其他输入/输出(I/O)接口218以及连接这些子部件的总线232等其他子部件。SOC部件204可包括比图2中所示的子部件更多或更少的子部件。

ISP 206是执行图像处理流水线的各级的硬件。在一些实施方案中，ISP206可从图像传感器202接收原始图像数据，并将原始图像数据处理成SOC部件204的其他子部件或设备100的部件可用的形式。ISP 206可执行各种图像处理操作，诸如图像翻译操作、水平和垂直缩放、颜色空间转换和/或图像稳定化变换，如下面参考图3详细描述的。

CPU 208可使用任何合适的指令集架构来实现，并且可被配置为执行在该指令集架构中定义的指令。CPU 208可以是使用各种指令集架构(ISA)中的任一者的通用或嵌入式处理器，诸如x86、PowerPC、SPARC、RISC、ARM或MIPS ISA，或任何其他合适的ISA。尽管图2中示出了单个CPU，但是SOC部件204可包括多个CPU。在多处理器系统中，每个CPU可共同实现相同的ISA，但不是必需的。

图形处理单元(GPU)220是用于执行图形数据的图形处理电路。例如，GPU 220可渲染要显示到帧缓冲器中的对象(例如，包括整个帧的像素数据的帧缓冲器)。GPU 220可包括一个或多个图形处理器，所述一个或多个图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。

I/O接口218是用于与设备100中的各种输入/输出部件交接的硬件、软件、固件或其组合。I/O部件可包括诸如键盘、按钮、音频设备和诸如全球定位系统的传感器之类的设备。I/O接口218处理用于将数据发送到此类I/O部件的数据或处理从这些I/O部件接收的数据。

网络接口210是使得能够经由一个或多个网络(例如，载体或代理设备)在设备100和其他设备之间交换数据的子部件。例如，视频或其他图像数据可经由网络接口210从其他设备接收并且被存储在系统存储器230中以用于后续处理(例如，经由后端接口到图像信号处理器206，诸如下面在图3中讨论的)和显示。网络可包括但不限于局域网(LAN)(例如，以太网或公司网络)和广域网(WAN)。经由网络接口210接收的图像数据可由ISP 206进行图像处理过程。

传感器接口212是用于与运动传感器234交接的电路。传感器接口212从运动传感器234接收传感器信息并处理传感器信息以确定设备100的取向或移动。

显示控制器214是用于发送要在显示器216上显示的图像数据的电路。显示控制器214从ISP 206、CPU 208、图形处理器220或系统存储器230接收图像数据，并且将图像数据处理成适用于在显示器216上显示的格式。

存储器控制器222为用于与系统存储器230通信的电路。存储器控制器222可从系统存储器230读取数据以供ISP 206、CPU 208、GPU 220或SOC部件204的其他子部件处理。存储器控制器222还可将数据写入从SOC部件204的各种子部件接收的系统存储器230。

视频编码器224是硬件、软件、固件或它们的组合，用于将视频数据编码成适用于存储在永久存储装置228中的格式或者用于将数据传递到网络接口210以通过网络传输到另一设备。

在一些实施方案中，SOC部件204的一个或多个子部件或这些子部件的一些功能可由在ISP 206、CPU 208或GPU 220上执行的软件部件来执行。此类软件部件可存储在系统存储器230、永久存储装置228、或经由网络接口210与设备100通信的另一设备中。

图像数据或视频数据可流过SOC部件204内的各种数据路径。在一个示例中，可从图像传感器202生成并由ISP 206处理原始图像数据，然后经由总线232和存储器控制器222发送到系统存储器230。在图像数据存储在系统存储器230中之后，它可由视频编码器224访问以进行编码，或者由显示器116访问以通过总线232进行显示。

在另一示例中，从图像传感器202以外的源接收图像数据。例如，视频数据可经由有线或无线网络流式传输、下载或以其他方式传送到SOC部件204。可以经由网络接口210接收图像数据并经由存储器控制器222将图像数据写入系统存储器230。然后，图像数据可由ISP 206从系统存储器230获得，并通过一个或多个图像处理流水线级处理，如下面参考图3详细描述的。然后可将图像数据返回到系统存储器230或者将其发送到视频编码器224、显示控制器214(用于在显示器216上显示)或存储控制器226以便存储在永久存储装置228中。

示例图像信号处理流水线

图3是示出根据一个实施方案的使用ISP 206实现的图像处理流水线的框图。在图3的实施方案中，ISP 206耦接到图像传感器202以接收原始图像数据。ISP 206实现图像处理流水线，该图像处理流水线可包括从创建、捕获或接收到输出的处理图像信息的一组级。除了其他部件之外，ISP206可包括传感器接口302、中央控制320、前端流水线级330、后端流水线级340、图像统计模块304、视觉模块322、后端接口342和输出接口316。ISP 206可包括图3中未示出的其他部件或者可省略图3中所示的一个或多个部件。

在一个或多个实施方案中，ISP 206的不同部件以不同的速率处理图像数据。在图3的实施方案中，前端流水线级330(例如，原始处理级306和重新采样处理级308)可以初始速率处理图像数据。因此，由这些前端流水线级330以初始速率执行各种不同技术、调整、修改或其他处理操作。例如，如果前端流水线级330每个时钟周期处理2个像素，则原始处理级306操作(例如，黑电平补偿、高亮恢复和缺陷像素校正)可一次处理2个像素的图像数据。相比之下，一个或多个后端流水线级340可以小于初始数据速率的不同速率处理图像数据。例如，在图3的实施方案中，可以降低的速率(例如，每个时钟周期1个像素)来处理后端流水线级340(例如，噪声处理级310、颜色处理级312和输出重新缩放314)。尽管本文描述的实施方案包括其中所述一个或多个后端流水线级340以与初始数据速率不同的速率处理图像数据的实施方案，但是在一些实施方案中，后端流水线级340可以初始数据速率处理图像数据。

传感器接口302从图像传感器202接收原始图像数据，并将原始图像数据处理成可由流水线中的其他级处理的图像数据。传感器接口302可执行各种预处理操作，诸如图像裁剪、合并或缩放以减小图像数据大小。在一些实施方案中，像素以光栅顺序(即，水平地、逐行地)从图像传感器202发送到传感器接口302。流水线中的后续处理也可以光栅顺序执行，并且结果也可以光栅顺序输出。尽管图3中仅示出了单个图像传感器和单个传感器接口302，当在设备100中提供多于一个图像传感器时，可在ISP 206中提供相应数量的传感器接口以处理来自每个图像传感器的原始图像数据。

前端流水线级330处理原始或全色域中的图像数据。前端流水线级330可包括但不限于原始处理级306和重新采样处理级308。例如，原始图像数据可是Bayer原始格式。在Bayer原始图像格式中，在每个像素中提供特定于特定颜色(而不是所有颜色)的值的像素数据。在图像捕获传感器中，图像数据通常以Bayer模式提供。原始处理级306可以Bayer原始格式处理图像数据。

由原始处理级306执行的操作包括但不限于传感器线性化、黑电平补偿、固定模式噪声降低、缺陷像素校正、原始噪声滤波、镜头阴影校正、白平衡增益和高光恢复。传感器线性化是指将非线性图像数据映射到线性空间以进行其他处理。黑电平补偿是指为图像数据的每个颜色分量(例如，Gr，R，B，Gb)独立地提供数字增益、偏移和剪辑。固定模式噪声降低是指通过从输入图像中减去暗帧并将不同增益乘以像素来去除偏移固定模式噪声并获得固定模式噪声。缺陷像素校正是指检测缺陷像素，然后替换缺陷像素值。原始噪声滤波是指通过平均亮度相似的相邻像素来降低图像数据的噪声。突出显示恢复是指对从其他通道剪辑(或接近剪辑)的那些像素的像素值进行估计。镜头阴影校正是指对每像素应用增益来补偿与距离透镜光学中心的距离大致成比例的强度下降。白平衡增益是指为所有颜色分量(例如Bayer格式的Gr，R，B，Gb)独立地提供针对白平衡的数字增益、偏移和剪辑。ISP 206的部件可将原始图像数据转换为全色域中的图像数据，因此，除了原始图像数据之外或代替原始图像数据，原始处理级306可处理全色域中的图像数据。

重采样处理级308执行各种操作以转换、重采样或缩放从原始处理级306接收的图像数据。由重采样处理级308执行的操作可包括但不限于去马赛克操作、每像素颜色校正操作、γ映射操作、颜色空间转换和缩小或子带分裂。去马赛克操作是指将颜色缺失样本从原始图像数据(例如，在Bayer模式中)转换或内插成输出图像数据输到全色域中。去马赛克操作可包括对内插样本进行的低通定向滤波以获得全色像素。每像素颜色校正操作是指使用关于每个颜色通道的相对噪声标准偏差的信息在每个像素的基础上执行颜色校正以校正颜色而不放大图像数据中的噪声的处理。γ映射是指将图像数据从输入图像数据值转换为输出数据值以执行特殊图像效果，包括黑白转换、棕褐色调转换、负转换或曝光转换。出于γ映射的目的，可使用针对每个像素的不同颜色分量或通道的查找表(或将像素值索引到另一值的其他结构)(例如，针对Y，Cb和Cr颜色分量的单独查找表)。颜色空间转换是指将输入图像数据的颜色空间转换为不同的格式。在一个实施方案中，重采样处理级308将RBD格式转换为YCbCr格式以供进一步处理。

中央控制模块320可控制和协调ISP 206中的其他部件的整体操作。中央控制模块320执行包括但不限于以下项的各种操作：监视各种操作参数(例如，记录时钟周期、存储器等待时间、服务质量和状态信息)、更新或管理ISP 206的其他部件的控制参数以及与传感器接口302交接以控制ISP 206的其他部件的开始和停止。例如，在ISP 206中的其他部件处于空闲状态时，中央控制模块320可更新其他部件的可编程参数。在更新可编程参数之后，中央控制模块320可将ISP 206的这些部件置于运行状态以执行一个或多个操作或任务。中央控制模块320还可指示ISP 206的其他部件在重采样处理级308之前、期间或之后存储图像数据(例如，通过写入图2中的系统存储器230)。这样，作为对处理从重采样处理级308通过后端流水线级340输出的图像数据的补充或替代，可存储原始或全色域格式的全分辨率图像数据。

图像统计模块304执行各种操作以收集与图像数据相关联的统计信息。收集统计信息的操作可包括但不限于传感器线性化、掩模图案缺陷像素、子样本原始图像数据、检测和替换非图案化缺陷像素、黑电平补偿、镜头阴影校正和反相黑电平补偿。在执行一个或多个此类操作之后，可收集或跟踪统计信息诸如3A统计(自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF))、直方图(例如，2D颜色或分量)和任何其他图像数据信息。在一些实施方案中，当先前的操作识别被剪辑的像素时，某些像素的值或像素值的区域可从某些统计数据的集合(例如，AF统计)中排除。尽管图3中仅示出了单个统计模块304，多个图像统计模块可包括在ISP 206中。在此类实施方案中，每个统计模块可由中央控制模块320编程，以收集相同或不同图像数据的不同信息。

视觉模块322执行各种操作以促进在CPU 208处的计算机视觉操作，诸如图像数据中的面部检测。视觉模块322可执行各种操作，包括预处理、全局色调映射和γ校正、视觉噪声滤波、尺寸调整、关键点检测、卷积以及方向梯度直方图(HOG)的生成。如果输入图像数据不是YCrCb格式，则预处理可包括子采样或合并操作以及亮度计算。可对亮度图像上的预处理数据执行全局映射和γ校正。执行视觉噪声滤波以去除像素缺陷并减少图像数据中存在的噪声，从而改善后续计算机视觉算法的质量和性能。此类视觉噪声滤波可包括检测和固定点或缺陷像素，以及通过平均相似亮度的相邻像素来执行双边滤波以降低噪声。各种视觉算法使用不同大小和比例的图像。例如，通过合并或线性插值操作来执行图像的尺寸调整。关键点是图像内被非常适合于匹配同一场景或对象的其他图像的图像块包围的位置。此类关键点在图像对齐、计算相机姿势和对象跟踪方面很有用。关键点检测是指识别图像中的此类关键点的过程。卷积可用于图像/视频处理和机器视觉中。例如，可以执行卷积以生成图像的边缘图或使图像平滑。HOG提供对用于图像分析和计算机视觉中的任务的图像块的描述。例如，可通过(i)使用简单的差分滤波器计算水平梯度和垂直梯度，(ii)根据水平梯度和垂直梯度计算梯度方向和量值，以及(iii)对梯度方向进行合并来生成HOG。

后端接口342从图像传感器202之外的其他图像源接收图像数据，并且将图像数据转发到ISP 206的其他部件以进行处理。例如，可通过网络连接接收图像数据并将其存储在系统存储器230中。后端接口342检索存储在系统存储器230中的图像数据，并将其提供给后端流水线级340以进行处理。由后端接口342执行的许多操作之一是将检索的图像数据转换为可由后端处理级340使用的格式。例如，后端接口342可将RGB、YCbCr 4：2：0或YCbCr 4：2：2格式化的图像数据转换为YCbCr 4：4：4颜色格式。

后端流水线级340根据特定的全色格式(例如，YCbCr4：4：4或RGB)处理图像数据。在一些实施方案中，后端流水线级340的部件可在进一步处理之前将图像数据转换为特定的全色格式。后端流水线级340可包括噪声处理级310和颜色处理级312等其他级。后端流水线级340可包括图3中未示出的其他级。

噪声处理级310执行各种操作以减少图像数据中的噪声。由噪声处理级310执行的操作包括但不限于颜色空间转换、γ/去γ映射、时间滤波、噪声滤波、亮度锐化和色度噪声降低。颜色空间转换可将图像数据从一种颜色空间格式转换为另一种颜色空间格式(例如，转换为YCbCr格式的RGB格式)。γ/去γ操作将图像数据从输入图像数据值转换为输出数据值以执行特殊图像效果。时间滤波使用先前滤波的图像帧来滤除噪声以减少噪声。例如，先前图像帧的像素值与当前图像帧的像素值组合。噪声滤波可包括例如空间噪声滤波。亮度锐化可锐化像素数据的亮度值，而色度抑制可将色度衰减为灰色(即，没有颜色)。在一些实施方案中，亮度锐化和色度抑制可与空间噪声滤波同时进行。可针对图像的不同区域不同地确定噪声滤波的积极性。可包括空间噪声滤波作为实现时间滤波的时间循环的一部分。例如，先前的图像帧可以在被存储为用于待处理的下一个图像帧的参考帧之前由时间滤波器和空间噪声滤波器处理。在其他实施方案中，空间噪声滤波可不被包括作为用于时间滤波的时间循环的一部分(例如，空间噪声滤波器可以在图像帧被存储为参考图像帧(并且因此不是空间上过滤的参考帧)之后应用于图像帧)。

颜色处理级312可执行与调整图像数据中的颜色信息相关联的各种操作。在颜色处理级312中执行的操作包括但不限于局部色调映射、增益/偏移/剪辑、颜色校正、三维颜色查找、γ转换和颜色空间转换。局部色调映射指的是空间变化的局部色调曲线，以便在渲染图像时提供更多控制。例如，色调曲线的二维网格(其可以由中央控制模块320编程)可以是双线性内插的，由此使得在图像上产生平滑变化的色调曲线。在一些实施方案中，局部色调映射还可应用空间变化和强度变化的颜色校正矩阵，其可例如用于使天空更蓝，同时在图像中的阴影中调低蓝色。可为每个颜色通道或图像数据的分量提供数字增益/偏移/剪辑。颜色校正可将颜色校正变换矩阵应用于图像数据。3D颜色查找可利用颜色分量输出值的三维阵列(例如，R，G，B)来执行高级色调映射、颜色空间转换和其他颜色变换。例如，可通过将输入图像数据值映射到输出数据值来执行γ转换，以便执行γ校正、色调映射或直方图匹配。可以实现颜色空间转换以将图像数据从一个颜色空间转换为另一个颜色空间(例如，RGB到YCbCr)。其他处理技术也可以作为颜色处理级312的一部分来执行，以执行其他特殊图像效果，包括黑白转换、棕褐色调转换、负转换或曝光转换。

当ISP 206处理图像数据时，输出重缩放模块314可即时重采样、变换和校正失真。输出重缩放模块314可以计算每个像素的分数输入坐标，并且使用该分数坐标来经由多相重采样滤波器内插输出像素。可以从输出坐标的多种可能的变换产生分数输入坐标，诸如对图像调整大小或裁剪(例如，经由简单的水平和垂直缩放变换)、旋转和剪切图像(例如，经由不可分离的矩阵变换)、透视翘曲(例如，经由附加的深度变换)以及以条带状分段施加的每像素透视分割以说明图像数据捕获期间(例如，由于卷帘式快门所引起的)的图像传感器中的变化的原因，以及几何失真校正(例如，经由计算距光学中心的径向距离以便索引内插的径向增益表，并且将径向扰动应用于坐标以说明径向透镜失真的原因)。

当在输出重缩放模块314处处理图像数据时，输出重缩放模块314可将变换应用于图像数据。输出重缩放模块314可包括水平缩放部件和垂直缩放部件。该设计的垂直部分可实现一系列图像数据行缓冲器以保持该垂直滤波器所需的“支持”。由于ISP 206可以是流设备，因此可能只有行的有限长度滑动窗口中的图像数据行可供过滤器使用。一旦行被丢弃来为新进来的行腾出空间，则该行可不可用。输出重缩放模块314可统计地监视先前行上的计算输入Y坐标，并使用它来计算要保持在垂直支持窗口中的一组最佳行。对于每个后续行，输出重缩放模块可自动地生成关于垂直支持窗口的中心的猜测。在一些实施方案中，输出重缩放模块314可实现被编码为数字差分分析器(DDA)步进器的分段透视变换表，以在输入图像数据和输出图像数据之间执行每像素透视变换，以便校正在图像帧的捕获期间由传感器运动引起的伪像和运动。输出重缩放可经由输出接口316将图像数据提供给设备100的各种其他部件，如上文参照图1和图2所论述的。

在各种实施方案中，部件302到342的功能可以与图3中所示的图像处理流水线中的这些功能单元的顺序所暗含的顺序不同的顺序执行或者可由与图3中所示的功能部件不同的功能部件来执行。此外，如图3中所描述的各种部件可以硬件、固件或软件的各种组合来体现。

示例传感器、传感器接口以及包括交叉渐变器的原始处理级

图4是示出根据一个实施方案的交叉渐变器电路402和其周围电路的框图。在图4的实施方案中，交叉渐变器电路402是原始处理级306的一部分。该原始处理级306分别经由第一传感器接口302a和第二传感器接口302b从第一图像传感器202a和第二图像传感器202b接收原始输入数据。尽管图4示出了将原始输入数据从第一图像传感器202a和第二图像传感器202b直接发送到第一传感器接口302a和第二传感器接口302b，然后再将原始输入数据发送到原始处理级306，但是在一些实施方案中，可在将原始输入数据发送到第一传感器接口302a或第二传感器接口302b或原始处理级306之前将其存储在系统存储器230中。除了交叉渐变器402之外，原始处理级306还可包括第一裁切器404a和第二裁切器404b。

第一图像传感器202a捕获第一视场的原始图像数据。第一图像传感器202a将捕获的原始图像数据412a发送到第一传感器接口302a。第一图像传感器202a可为长焦相机。将第一传感器接口302a耦合到第一图像传感器202a，以从第一图像传感器202a接收原始图像数据412a。第一传感器接口302a处理原始图像数据412a，并且将处理后的数据414a提供给原始处理级306。处理后的数据414a也处于Bayer模式。在一些实施方案中，可在将第一视场的原始输入数据412a或414a发送到第一传感器接口302a或原始处理级306之前，将其存储在系统存储器230中。

第二图像传感器202b捕获第二视场的原始图像数据。第二图像传感器202b可为视场大于第一图像传感器202a的广角相机。第二图像传感器202b可从第一图像传感器202a在空间上偏移(例如，在图1中示出图像传感器164被偏移)，因此，第二图像传感器202b可产生从由第一图像传感器202a产生的原始图像数据偏移的原始图像数据。第二图像传感器202b将捕获的原始图像数据412b提供给第二传感器接口302b。第二传感器接口302b处理原始图像数据412b，并且将处理后的数据414b提供给原始处理级306。处理后的数据414b也处于Bayer模式。在一些实施方案中，可在将第二视场的原始输入数据412b或414b发送到第二传感器接口302b或原始处理级306之前，将其存储在系统存储器230中。

第一裁切器404a是一种电路，该电路从第一传感器接口302a接收第一处理的数据414a并且裁切第一处理的数据414a，以将第一裁切的数据作为原始图像数据416a提供给交叉渐变器电路402。第一裁切器404a可选择性地转流或裁切接收到的数据以产生第一原始图像数据416a。例如，第一图像传感器202a是长焦相机，并且来自该长焦相机的经处理的数据可不被裁切而是被转流到第一缩放器406a。

第二裁切器404b是一种电路，该电路从第二传感器接口302b接收第二处理的数据414b并且裁切第二处理的数据414b，以将第二裁切的数据作为第二原始图像数据416b提供给交叉渐变器电路402。

交叉渐变器电路402是执行交叉渐变操作的电路。交叉渐变器电路402可包括第一缩放器406a、第二缩放器406b、第一缓冲器408a、第二缓冲器408b和α混合器410，以及其他部件。交叉渐变器电路402可包括图4中未示出的其他部件。

第一缩放器406a是从第一裁切器404a接收第一原始图像数据416a的电路。第一缩放器406a可将第一原始图像数据416a缩小或放大为第一缩放原始图像数据418a，以匹配混合窗口的尺寸。混合窗口由在其中混合图像数据(例如，来自第一图像传感器202a和第二图像传感器202b的数据)的预先确定数量像素的宽度和预先确定数量像素的高度来定义。第一缩放器406a可包括第一垂直缩放器(未示出)、第一水平缩放器(未示出)，以及在第一垂直缩放器和第一水平缩放器之间用于存储至少一个缩放像素线的第一线缓冲器408a，以及其他部件。

第二缩放器406b是从第二裁切器404b接收第二原始图像数据416b的电路。第二缩放器406b可将第二原始图像数据416b放大或缩小为第二缩放原始图像数据418b，以匹配包围混合窗口的画布窗口的尺寸。画布窗口由与交叉渐变器电路402输出的混合的原始图像数据420的宽度和高度匹配的预先确定数量的像素的宽度和预先确定数量的像素的高度来定义。第二缩放器406b可包括第二垂直缩放器(未示出)、第二水平缩放器(未示出)、在第二垂直缩放器和第一水平缩放器之间用于存储至少一个缩放像素线的第二线缓冲器408b，以及其他部件。

在一个实施方案中，第一缩放器406a和第二缩放器406b可使用多抽头多相滤波器进行缩放(例如，两抽头多相位滤波器、四抽头多相位滤波器)。例如，两抽头多相滤波器可用于第一缩放器406a和第二缩放器406b中。两抽头多相滤波器使用相邻的输入像素通过线性插值来产生输出像素。如果输出像素定位在输入像素的顶部，则在不进行任何插值的情况下，为输出像素提供与输入像素相同的值。因此，除了缩放图像数据的像素与原始图像数据的像素在重合的位置之外，在最靠近缩放图像数据的像素的位置处从原始图像数据的两个像素内插缩放图像数据的每个像素。

α混合器410是从第一缩放器406a接收第一缩放原始图像数据418a并且从第二缩放器406b接收第二缩放原始图像数据418b的电路。α混合器410混合第一缩放原始图像数据418a和第二缩放原始图像数据418b的像素，以产生由交叉渐变器电路402输出的混合的原始图像数据420。在一个实施方案中，α混合器电路410通过添加第一缩放原始图像数据418a对应像素乘以α值所得的像素以及第二缩放原始图像数据418b对应像素乘以1与α值的差所得的像素值来生成用于混合的原始图像数据420的像素的像素值。第一缩放原始图像数据418a和第二缩放原始图像数据418b可为Bayer模式编码的数据。

一个或多个参数409可输入到交叉渐变器电路402以控制交叉渐变器电路402的操作。交叉渐变器电路402可从中央控制器320接收参数409，或者可从中央控制器320检索参数409。操作参数409可包括启用位，在第一图像传感器202a或第二图像传感器202b被禁用时，该启用位禁用或启用交叉渐变器的混合或者使图像数据转流交叉渐变器电路402。下文参照图6更详细地论述了混合的细节和附加的操作参数409。

图5是示出根据一个实施方案的在交叉渐变器电路402处执行的操作的概念图。在图5的实施方案中，图像514a和图像516a由作为长焦相机的第一图像传感器202a捕获，而图像514b和图像516b由作为广角相机的第二图像传感器202b捕获。

图像514a可对应于第一处理的数据414a，其中第一裁切器404a未对第一处理的数据414a执行裁切。由于未对图像514a执行缩放，因此图像516a至少在宽度和高度方面与图像514a相同。如图5所示，图像516a由第一缩放器406a缩小，以适配混合窗口518a的尺寸。

图像514b是来自第二处理的数据414b的示例图像。图像514b由裁切器404b裁切，以产生第二原始图像数据516b。然后，第二原始图像数据416b由第二缩放器406b放大，以适配画布窗口518b的尺寸。

画布窗口518b包括混合的原始图像数据420的示例。α混合器410混合由缩放器406a缩小以适配混合窗口518a的第一原始图像数据416a和由缩放器406b放大以适配画布窗口518b的第二原始图像数据416b，以产生混合的原始图像数据420。

图6是示出根据一个实施方案的画布窗口602和用于混合的参数的图。画布窗口602是矩形形状的并且包括混合窗口604。混合窗口604也是矩形形状的(高度为bHeight并且宽度为bWidth)，并且从画布窗口602的左上角以坐标(xo,yo)偏移。混合窗口604包括预定义区域606和围绕预定义区域606的过渡区域。该过渡区域由线性区域610、612、614和616以及拐角区域620、622、624和626组成。

预定义区域606被包括在混合窗口604中，并且也是矩形形状的。预定义区域606从混合窗口604的左侧边缘以宽度tW0偏移，并且从混合窗口604的右侧边缘以宽度tW1偏移。预定义区域606从混合窗口604的顶部边缘以高度tH0偏移，并且从混合窗口604的底部边缘以高度tH1偏移。α值是用于预定义区域606中的像素的固定值。

线性区域610、612、614和616定位在混合窗口604内部的预定义区域606的左侧、右侧、顶部和底部，并且同样是矩形形状的。第一线性区域610在预定义区域606的左侧，具有宽度tW0和与预定义区域606相同的高度。第二线性区域612在预定义区域606的右侧，具有宽度tW1和与预定义区域606相同的高度。第三线性区域614出现在预定义区域606的顶部，具有高度tH0和与预定义区域606相同的宽度。第四线性区域616出现在预定义区域606的底部，具有高度tH1和与预定义区域606相同的宽度。针对混合窗口604的线性区域中的像素，α值基于与预定义区域606的距离的水平变化或与预定义区域606的距离的垂直变化。

拐角区域620、622、624和626定位在预定义区域606外部和混合窗口604内部的左上角、右上角、左下角和右下角，并且同样是矩形形状的。第一拐角区域620在混合窗口604的左上角，具有宽度tW0和高度tH0。第二拐角区域622在混合窗口604的右上角，具有宽度tW1和高度tH0。第三拐角区域624在混合窗口604的左下角，具有宽度tW0和高度tH1。第四拐角区域626在混合窗口604的右下角，具有宽度tW1和高度tH1。α值基于用于混合窗口604的拐角区域中的像素的水平α值和垂直α值。水平α值基于与预定义值的距离的水平变化，垂直α值基于与预定义值的距离的垂直变化。

如先前在图4的描述中提到的，第一缩放原始图像数据418a是混合窗口604的尺寸，并且第二缩放原始图像数据418b是画布窗口602的尺寸。α混合器电路通过添加第一缩放原始图像数据418a对应像素乘以α值所得的像素以及第二缩放原始图像数据418b对应像素乘以1与α值的差所得的像素值来生成用于混合的原始图像数据420的像素的像素值。操作参数409可包括尺寸诸如窗口尺寸(例如，画布窗口或混合窗口)、用于混合的α值(K)、宽度或高度(例如，tW0、tW1、tH0和tH1、bWidth、bHeight)、混合窗口的偏移(xo,yo)。α混合器410可使用不同的方案来混合混合窗口604的拐角区域620、622、624和626中的像素，其中一者可由操作参数409标识。

用于画布窗口602中的像素的α值取决于像素的位置。对于预定义区域606中的像素，α值是K。对于在混合窗口604外部的区域中的像素，α值是零。在预定义区域606外部并且在混合窗口604内部的过渡区域中，像素的α值基于像素的位置而变化。对于线性区域610、612、614和616中的像素，随着从像素到预定义区域的距离在水平方向或垂直方向上增加，α值从第一值线性地变化为第二值。对于拐角区域620、622、624和626中的像素，α值基于水平α值和垂直α值而变化。α值可为水平α值和垂直α值中的最小值。α值可为水平α值和垂直α值的乘积。可通过操作参数409发送关于是使用水平α值和垂直α值中的最小值还是使用水平α值和垂直α值的乘积的信息。

画布窗口602左侧的图示出了用于画布窗口的中心列中的像素的α值可变化的方式。画布窗口602底部的图示出了用于画布窗口602的中间行中的像素的α值可变化的方式。用于混合窗口604外部的区域中的像素的α值是零。用于预定义区域606内部的像素的α值是K。随着从像素到预定义区域606的距离增加，过渡区域(例如，线性区域610、612、614和616)中的α值从K线性地变化为零。

图7是示出根据一个实施方案的在广角视图和长焦视图之间的过渡帧的图。帧702是来自广角相机的示例图像。帧702中示出的对象占据该帧的小中心区域。帧710是来自示出相同对象的长焦相机的示例图像。帧710中示出的相同对象占据该帧的较大中心区域。帧702和帧710之间的过渡帧704、过渡帧706和过渡帧708可用于支持从帧702到帧710的放大特征或从帧710到帧702的缩小特征。交叉渐变器电路402混合来自广角相机和长焦相机视图的图像数据，以产生过渡帧704、706和708。例如，交叉渐变器电路402放大来自帧702的图像数据并缩小来自帧710的图像数据，并且混合缩放图像的结果。通过混合来自帧702和710的缩放图像数据的不同组合可生成过渡帧704、706和708。

交叉渐变图像数据的示例方法

图8是示出根据一个实施方案的交叉渐变来自两个传感器的图像数据的方法的流程图。交叉渐变器电路402将第一原始图像数据缩小或放大802为第一缩放原始图像数据，以匹配混合窗口的尺寸。第一原始图像数据被具有第一视场的第一传感器捕获。

交叉渐变器电路402将第二原始图像数据放大或缩小804为第二缩放原始图像数据，以匹配包围混合窗口的画布窗口的尺寸。第二图像数据被具有比第一视场宽的第二视场的第二传感器捕获。

交叉渐变器电路402混合806第一缩放原始图像数据和第二缩放原始图像数据，以生成与画布窗口的尺寸匹配的混合原始图像数据。第一原始图像数据和第二原始图像数据是Bayer模式编码的数据。通过添加第一缩放原始图像对应像素乘以α值所得的像素值以及第二缩放原始图像对应像素乘以1与α值的差所得的像素值来生成用于混合的原始图像数据的像素值。

上文参考图8描述的过程仅是示例。其他实施方案可包括不同和/或附加步骤，或者以不同顺序执行这些步骤。

应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可以不这样选择来描绘或界定本发明的主题。因此，本文中的公开意在对本发明的范围是示例性的，而非限制性的，本发明的范围由所附权利要求设定。

Claims (20)

1.一种用于处理图像信号数据的装置，包括：

交叉渐变器电路，所述交叉渐变器电路包括：

第一缩放电路，所述第一缩放电路被配置为将第一原始图像数据缩小或放大为第一缩放原始图像数据以匹配混合窗口的尺寸，所述第一原始图像数据由具有第一视场的第一传感器捕获；

第二缩放电路，所述第二缩放电路被配置为将第二原始图像数据放大或缩小为第二缩放原始图像数据以匹配包围所述混合窗口的画布窗口的尺寸，所述第二原始图像数据由具有比所述第一视场宽的第二视场的第二传感器捕获；和

α混合器电路，所述α混合器电路耦合到所述第一缩放电路和所述第二缩放电路以接收所述第一缩放原始图像数据和所述第二缩放原始图像数据，所述α混合器电路被配置为通过混合所述第一缩放原始图像数据和所述第二缩放原始图像数据来生成与所述画布窗口的所述尺寸匹配的混合的原始图像数据。

2.根据权利要求1所述的装置，其中所述第一原始图像数据和所述第二原始图像数据是Bayer模式编码的数据。

3.根据权利要求1所述的装置，其中所述第二原始图像数据是由所述第二传感器捕获的原始图像数据的裁切版本。

4.根据权利要求1所述的装置，其中所述第一缩放电路包括第一垂直缩放器、第一水平缩放器，以及在所述第一垂直缩放器和所述第一水平缩放器之间用于存储至少一个缩放像素线的第一线缓冲器。

5.根据权利要求1所述的装置，其中所述第二缩放电路包括第二垂直缩放器、在所述第二垂直缩放器后的第二水平缩放器，以及在所述第二垂直缩放器和所述第二水平缩放器之间用于存储至少一个缩放像素线的第二线缓冲器。

6.根据权利要求1所述的装置，其中所述第一缩放电路和所述第二缩放电路包括多抽头多相滤波器。

7.根据权利要求1所述的装置，其中所述α混合器电路被配置为通过添加(i)所述第一缩放原始图像数据的对应像素乘以α值所得的像素值以及(ii)所述第二缩放原始图像数据的对应像素乘以1与所述α值的差所得的像素值来生成用于所述混合的原始图像数据的像素的像素值。

8.根据权利要求7所述的装置，其中：

用于预定义区域内部的像素的所述α值是第一值，

用于包围所述预定义区域并且被所述混合窗口包围的过渡区域外部的像素的所述α值是第二值，

随着从所述过渡区域中的所述像素到所述预定义区域的距离在水平方向或垂直方向上增加，用于所述过渡区域中的像素的所述α值从所述第一值线性地变化为所述第二值，并且

用于所述过渡区域中的所述像素的所述α值基于水平α值和垂直α值，随着从所述过渡区域中的所述像素到所述预定义区域的距离在所述水平方向上增加，

用于所述过渡区域中的所述像素的所述水平α值从所述第一值线性地变化为所述第二值，随着从所述过渡区域中的所述像素到所述预定义区域的距离在所述垂直方向上增加，用于所述过渡区域中的像素的所述垂直α值从所述第一值线性变化为所述第二值。

9.根据权利要求8所述的装置，其中用于所述过渡区域中的所述像素的所述α值是所述水平α值和所述垂直α值中的最小值或者是所述水平α值和所述垂直α值的乘积。

10.一种交叉渐变来自图像传感器的图像数据的方法，包括：

通过第一缩放电路将第一原始图像数据缩小或放大为第一缩放原始图像数据以匹配混合窗口的尺寸，所述第一原始图像数据被具有第一视场的第一传感器捕获；

通过第二缩放电路将第二原始图像数据放大或缩小为第二缩放原始图像数据以匹配包围所述混合窗口的画布窗口的尺寸，所述第二原始图像数据被具有比所述第一视场宽的第二视场的第二传感器捕获；以及

通过α混合器电路混合所述第一缩放原始图像数据和所述第二缩放原始图像数据，以生成与所述画布窗口的所述尺寸匹配的混合原始图像数据。

11.根据权利要求10所述的方法，其中所述第一原始图像数据和所述第二原始图像数据是Bayer模式编码的数据。

12.根据权利要求10所述的方法，其中所述第二原始图像数据是由所述第二传感器捕获的原始图像数据的裁切版本。

13.根据权利要求10所述的方法，其中所述放大或缩小由多抽头多相滤波器执行。

14.根据权利要求10所述的方法，还包括：

由所述α混合器电路通过添加(i)所述第一缩放原始图像数据的对应像素乘以α值所得的像素值以及(ii)所述第二缩放原始图像数据的对应像素乘以1与所述α值的差所得的像素值来生成用于所述混合的原始图像数据的像素的像素值。

15.根据权利要求14所述的方法，其中所述α值在预定义区域内部的所有像素上取第一值，所述α值在包围所述预定义区域并且被所述混合窗口包围的过渡区域外部的所有像素上取第二值，并且随着从所述过渡区域中的所述像素到所述预定义区域的距离增加，所述过渡区域中的像素的所述α值从所述第一值线性地变化为所述第二值。

16.一种电子设备，包括：

具有第一视场的第一图像传感器，所述第一图像传感器生成第一原始图像数据；

具有比所述第一视场宽的第二视场的第二图像传感器，所述第二图像传感器生成第二原始图像数据；以及

图像信号处理器，所述图像信号处理器包括：

交叉渐变器电路，所述交叉渐变器电路包括：

第一缩放电路，所述第一缩放电路被配置为将所述第一原始图像数据缩小为第一缩放原始图像数据以匹配混合窗口的尺寸；

第二缩放电路，所述第二缩放电路被配置为将所述第二原始图像数据放大为第二缩放原始图像数据以匹配包围所述混合窗口的画布窗口的尺寸；以及

α混合器电路，所述α混合器电路耦合到所述第一缩放电路和所述第二缩放电路以接收所述第一缩放原始图像数据和所述第二缩放原始图像数据，所述α混合器电路被配置为通过混合所述第一缩放原始图像数据和所述第二缩放原始图像数据来生成与所述画布窗口的所述尺寸匹配的混合的原始图像数据；

电路流水线，所述电路流水线耦合到所述交叉渐变器电路并且被配置为对所述混合的原始图像数据执行处理。

17.根据权利要求16所述的电子设备，其中所述第一原始图像数据和所述第二原始图像数据是Bayer模式编码的数据，并且所述第二原始图像数据是由所述第二图像传感器捕获的原始图像数据的裁切版本。

18.根据权利要求16所述的电子设备，其中所述第一缩放电路包括第一垂直缩放器、第一水平缩放器、以及位于所述第一垂直缩放器和所述第一水平缩放器之间用于存储至少一个缩放像素线的第一线缓冲器。

19.根据权利要求16所述的电子设备，其中所述第二缩放电路包括第二垂直缩放器、在所述第二垂直缩放器之后的第二水平缩放器、以及位于所述第二垂直缩放器和所述第二水平缩放器之间用于存储至少一个缩放像素线的第二线缓冲器。

20.根据权利要求16所述的电子设备，其中所述第一缩放电路和所述第二缩放电路包括多抽头多相滤波器。

Images