CN113508416A - 图像融合处理模块 - Google Patents

图像融合处理模块 Download PDF

Info

Publication number
CN113508416A
CN113508416A CN201980093385.1A CN201980093385A CN113508416A CN 113508416 A CN113508416 A CN 113508416A CN 201980093385 A CN201980093385 A CN 201980093385A CN 113508416 A CN113508416 A CN 113508416A
Authority
CN
China
Prior art keywords
image
version
block
color
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980093385.1A
Other languages
English (en)
Other versions
CN113508416B (zh
Inventor
M·斯米尔诺夫
E·兰伯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113508416A publication Critical patent/CN113508416A/zh
Application granted granted Critical
Publication of CN113508416B publication Critical patent/CN113508416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

实施方案涉及用两个不同曝光时间捕获的两个图像之间的融合处理，以生成具有较高动态范围的融合图像。将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合，以生成融合图像的未缩放的单色版本。将第一图像的缩小的多色版本与第二图像的缩小的多色版本混合，以生成融合图像的多个缩小版本中的融合图像的缩小的多色版本。通过对融合图像的多个缩小版本进行放大和累加来生成融合图像的第一缩小的多色版本。融合图像的第一缩小的多色版本具有低于融合图像的未缩放的单色版本的像素分辨率的像素分辨率。

Description

图像融合处理模块
背景技术
1.技术领域
本公开涉及一种用于处理图像的电路，并且更具体地涉及融合不同曝光时间的两个图像。
2.相关技术描述
由图像传感器捕获的图像数据或从其他数据源接收的图像数据通常在进一步处理或消耗之前在图像处理管道中处理。例如，在提供给诸如视频编码器的后续部件之前，可校正、滤波或以其他方式修改原始图像数据。为了对捕获的图像数据执行校正或增强，可采用各种部件、单元级或模块。
可构造这样的图像处理管道，使得能够以有利的方式执行对捕获的图像数据的校正或增强，而不消耗其他系统资源。虽然可通过在中央处理单元(CPU)上执行软件程序来执行许多图像处理算法，但是在CPU上执行这些程序将消耗CPU和其他外围资源的大量带宽以及增加功耗。因此，图像处理管道通常被实现为与CPU分离的硬件部件，并且专用于执行一个或多个图像处理算法。
发明内容
实施方案涉及图像融合处理电路。图像融合处理电路包括图像融合电路和多尺度图像融合电路。图像融合电路将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合，以生成融合图像的未缩放的单色版本，第一图像和第二图像以不同曝光时间捕获相同场景。多尺度图像融合电路将第一图像的缩小的多色版本与第二图像的缩小的多色版本混合，以生成融合图像的多个缩小版本中的融合图像的缩小的多色版本。多尺度图像融合电路还通过累加融合图像的多个缩小版本来生成融合图像的第一缩小版本，第一缩小版本包括多个颜色分量并且具有低于融合图像的未缩放的单色版本的像素分辨率的像素分辨率。
附图说明
图1是根据实施方案的电子设备的高级图。
图2是示出根据一个实施方案的电子设备中的部件的框图。
图3是根据一个实施方案示出了使用图像信号处理器实现的图像处理管道的框图。
图4是根据一个实施方案示出包括图像融合电路的图像处理管道的一部分的框图。
图5A是根据一个实施方案的图像融合处理器的多尺度图像融合电路的详细框图。
图5B是根据一个实施方案的图像融合处理器的图像融合电路的详细框图。
图6A是根据一个实施方案示出作为图像融合处理的一部分的放大缩小的图像的概念图。
图6B是根据一个实施方案示出作为图像融合处理的一部分的递归放大和累加缩小图像的概念图。
图7是根据一个实施方案示出的图像融合处理方法的流程图。
仅仅出于示例目的，附图描绘以及详细说明描述各种非限定性实施方案。
具体实施方式
现在将详细地参考实施方案，这些实施方案的示例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的实施方案的充分理解。然而，可以在没有这些具体细节的情况下实施所述实施方案。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使实施方案的各个方面晦涩难懂。
本公开的实施方案涉及用于在以两个不同曝光时间捕获的两个图像(例如，长曝光图像和短曝光图像)之间执行融合处理以生成具有比所捕获的图像更高的动态范围的融合图像的电路。将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合，以生成融合图像的未缩放的单色版本。将第一图像的缩小的多色版本与第二图像的缩小的多色版本混合，以生成融合图像的多个缩小版本中的融合图像的缩小的多色版本。通过对融合图像的多个缩小版本进行放大和求和来生成融合图像的第一缩小的多色版本。融合图像的所述第一缩小的多色版本具有低于融合图像的未缩放的单色版本的像素分辨率的像素分辨率。
示例性电子设备
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如个人数字助理(PDA)和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的
Figure BDA0003238915210000031
设备、iPod
Figure BDA0003238915210000032
设备、Apple
Figure BDA0003238915210000033
设备和
Figure BDA0003238915210000034
设备。可选地使用其他便携式电子设备，诸如可穿戴设备、膝上型电脑或平板计算机。在一些实施方案中，该设备不是便携式通信设备，而是台式计算机或不是为便携式使用而设计的其他计算设备。在一些实施方案中，所公开的电子设备可包括触敏表面(例如，触摸屏显示器和/或触摸板)。下文结合图1描述的示例电子设备(例如，设备100)可包括用于接收用户输入的触敏表面。电子设备还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。
图1是根据一个实施方案的电子设备100的高级图。设备100可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮104。菜单按钮104例如用于导航到在设备100上执行的一组应用程序中的任何应用程序。在一些实施方案中，菜单按钮104包括识别菜单按钮104上的指纹的指纹传感器。指纹传感器能够被用来确定菜单按钮104上的手指是否具有与为解锁设备100存储的指纹匹配的指纹。另选地，在一些实施方案中，菜单按钮104被实现为触摸屏上显示的图形用户界面(GUI)中的软键。
在一些实施方案中，设备100包括触摸屏150、菜单按钮104、用于使设备开/关机和用于锁定设备的下压按钮106、音量调节按钮108、订户身份模块(SIM)卡槽110、耳麦插孔112和对接/充电外部端口124。下压按钮106可被用于通过压下该按钮并将该按钮保持在压下状态达预定义的时间间隔来对设备进行开关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100包括各种部件，包括但不限于存储器(可包括一个或多个计算机可读存储介质)、存储器控制器、一个或多个中央处理单元(CPU)、外围设备接口、RF电路、音频电路、扬声器111、麦克风113、输入/输出(I/O)子系统和其他输入或控制设备。设备100可包括一个或多个图像传感器164、一个或多个接近传感器166，以及一个或多个加速度计168。设备100可包括多于一种类型的图像传感器164。每种类型可包括多于一个图像传感器164。例如，一种类型的图像传感器164可以是相机，并且另一种类型的图像传感器164可以是可用于面部识别的红外传感器。除此之外或另选地，图像传感器164可与不同的透镜配置相关联。例如，设备100可包括后图像传感器，一个具有广角镜头并且另一个具有远摄镜头。设备100可包括图1中未示出的部件，诸如环境光传感器、点投影仪和泛光照明器。
设备100仅是电子设备的一个示例，并且设备100可具有比上文列出的更多或更少的部件，其中一些部件可组合成一个部件或具有不同的配置或布置。以上列出的设备100的各种部件体现为硬件、软件、固件或其组合，包括一个或多个信号处理和/或专用集成电路(ASIC)。虽然图1中的部件被示出为大致位于与触摸屏150相同的一侧上，但一个或多个部件也可位于设备100的相对侧上。例如，设备100的前侧可包括用于面部识别的红外图像传感器164和作为设备100的前相机的另一图像传感器164。设备100的后侧还可包括作为设备100的后相机的附加的两个图像传感器164。
图2是示出根据一个实施方案的设备100中的部件的框图。设备100可执行包括图像处理在内的各种操作。出于此目的和其他目的，设备100可包括图像传感器202、片上系统(SOC)部件204、系统存储器230、永久存储器(例如，闪存)228、方向传感器234和显示器216，以及其他部件。图2中所示的部件仅为例示性的。例如，设备100可包括图2中未示出的其他部件(诸如扬声器或麦克风)。另外，一些部件(诸如方向传感器234)可从设备100中省略。
图像传感器202是用于捕获图像数据的部件。图像传感器202可实现为例如互补金属氧化物半导体(CMOS)有源像素传感器、相机、摄像机或其他设备。图像传感器202生成原始图像数据，其被发送到SOC部件204以进行进一步处理。在一些实施方案中，由SOC部件204处理的图像数据显示在显示器216上，存储在系统存储器230、永久存储器228中，或经由网络连接发送到远程计算设备。由图像传感器202生成的原始图像数据可以是Bayer滤色器阵列(CFA)模式(下文中也称为“Bayer模式”)。图像传感器202还可包括辅助图像感测部件(例如，像素)捕获图像的光学部件和机械部件。光学部件和机械部件可包括光圈、透镜系统和控制图像传感器202的透镜位置的致动器。
运动传感器234是用于感测设备100的运动的部件或一组部件。运动传感器234可生成指示设备100的取向和/或加速度的传感器信号。传感器信号被发送到SOC部件204以用于各种操作，诸如打开设备100或旋转显示器216上显示的图像。
显示器216是用于显示由SOC部件204生成的图像的部件。显示器216可包括例如液晶显示器(LCD)设备或有机发光二极管(OLED)设备。基于从SOC部件204接收的数据，显示器116可显示各种图像，诸如菜单、所选择的操作参数、由图像传感器202捕获并由SOC部件204处理的图像，和/或从设备100的用户界面接收的其他信息(未示出)。
系统存储器230是用于存储由SOC部件204执行的指令以及用于存储由SOC部件204处理的数据的部件。系统存储器230可体现为任何类型的存储器，包括例如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双倍数据速率(DDR、DDR2、DDR3等)RAMBUS DRAM(RDRAM)、静态RAM(SRAM)或其组合。在一些实施方案中，系统存储器230可以各种格式存储像素数据或其他图像数据或统计。
永久存储器228是用于以非易失性方式存储数据的部件。即使电力不可用，永久存储器228也保留数据。永久存储器228可体现为只读存储器(ROM)、闪存或其他非易失性随机存取存储器设备。
SOC部件204体现为一个或多个集成电路(IC)芯片并执行各种数据处理过程。SOC部件204可包括图像信号处理器(ISP)206、中央处理器单元(CPU)208、网络接口210、运动传感器接口212、显示控制器214、图形处理器(GPU)220、存储器控制器222、视频编码器224、存储控制器226和各种其他输入/输出(I/O)接口218等子部件、以及连接这些子部件的总线232。SOC部件204可包括比图2中所示的子部件更多或更少的子部件。
ISP 206是执行图像处理管道的各级的硬件。在一些实施方案中，ISP206可从图像传感器202接收原始图像数据，并且将原始图像数据处理成SOC部件204的其他子部件或设备100的部件可用的形式。ISP 206可执行各种图像处理操作，诸如图像转译操作、水平和垂直缩放、颜色空间转换和/或图像稳定化变换，如下面参考图3详细描述的。
CPU 208可使用任何合适的指令集架构来实现，并且可被配置为执行在该指令集架构中定义的指令。CPU 208可以是使用各种指令集架构(ISA)中的任一者的通用或嵌入式处理器，诸如x86、PowerPC、SPARC、RISC、ARM或MIPS ISA，或任何其他合适的ISA。尽管图2中示出了单个CPU，但是SOC部件204可包括多个CPU。在多处理器系统中，每个CPU可共同实现相同的ISA，但不是必需的。
图形处理单元(GPU)220是用于执行图形数据的图形处理电路。例如，GPU 220可渲染要显示到帧缓冲器中的对象(例如，包括整个帧的像素数据的帧缓冲器)。GPU 220可包括一个或多个图形处理器，该图形处理器可执行图形软件以执行部分或全部的图形操作或某些图形操作的硬件加速。
I/O接口218是用于与设备100中的各种输入/输出部件交接的硬件、软件、固件或其组合。I/O部件可包括诸如键盘、按钮、音频设备和诸如全球定位系统的传感器之类的设备。I/O接口218处理用于将数据发送到此类I/O部件的数据或处理从这些I/O部件接收的数据。
网络接口210是支持经由一个或多个网络(例如，载体或代理设备)在设备100和其他设备之间交换数据的子部件。例如，视频或其他图像数据可经由网络接口210从其他设备接收并且被存储在系统存储器230中以用于后续处理(例如，经由诸如下文在图3中讨论的到图像信号处理器206的后端接口)和显示。网络可包括但不限于局域网(LAN)(例如，以太网或公司网络)和广域网(WAN)。经由网络接口210接收的图像数据可由ISP 206进行图像处理过程。
运动传感器接口212是用于与运动传感器234交接的电路。运动传感器接口212从运动传感器234接收传感器信息并且处理传感器信息以确定设备100的取向或移动。
显示控制器214是用于发送要在显示器216上显示的图像数据的电路。显示控制器214从ISP 206、CPU 208、图形处理器或系统存储器230接收图像数据，并将图像数据处理成适用于在显示器216上显示的格式。
存储器控制器222为用于与系统存储器230通信的电路。存储器控制器222可从系统存储器230读取数据以供ISP 206、CPU 208、GPU 220或SOC部件204的其他子部件处理。存储器控制器222还可将数据写入从SOC部件204的各种子部件接收的系统存储器230。
视频编码器224是硬件、软件、固件或其组合，用于将视频数据编码成适于存储在永久存储器128中的格式，或者用于将数据传递到网络接口210以通过网络传输到另一设备。
在一些实施方案中，SOC部件204的一个或多个子部件或这些子部件的一些功能可由在ISP 206、CPU 208或GPU 220上执行的软件部件来执行。此类软件部件可存储在系统存储器230、永久存储器228或经由网络接口210与设备100通信的另一设备中。
图像数据或视频数据可流过SOC部件204内的各种数据路径。在一个示例中，可从图像传感器202生成并由ISP 206处理原始图像数据，然后经由总线232和存储器控制器222发送到系统存储器230。在图像数据存储在系统存储器230中之后，它可由视频编码器224访问以进行编码，或者由显示器116访问以通过总线232进行显示。
在另一示例中，从图像传感器202以外的源接收图像数据。例如，视频数据可经由有线或无线网络流式传输、下载或以其他方式传送到SOC部件204。可以经由网络接口210接收图像数据并经由存储器控制器222将图像数据写入系统存储器230。然后，图像数据可由ISP 206从系统存储器230获得，并通过一个或多个图像处理管道级处理，如下面参考图3详细描述的。然后可将图像数据返回到系统存储器230或者将其发送到视频编码器224、显示控制器214(用于在显示器216上显示)或存储控制器226以便存储在永久存储器228中。
示例性图像信号处理管道
图3是根据一个实施方案示出了使用ISP 206实现的图像处理管道的框图。在图3的实施方案中，ISP 206耦接到图像传感器系统201，该图像传感器系统包括一个或多个图像传感器202A至202N(下文统称为“图像传感器202”或也单独地称为“图像传感器202”)以接收原始图像数据。图像传感器系统201可包括单独控制图像传感器202的一个或多个子系统。在一些情况下，每个图像传感器202可独立地操作，而在其他情况下，图像传感器202可共享一些部件。例如，在一个实施方案中，两个或更多个图像传感器202可共享控制图像传感器的机械部件(例如，改变每个图像传感器的透镜位置的致动器)的相同电路板。图像传感器202的图像感测部件可包括不同类型的图像感测部件，这些图像感测部件可以不同形式向ISP 206提供原始图像数据。例如，在一个实施方案中，图像感测部件可包括用于自动对焦的多个对焦像素和用于捕获图像的多个图像像素。在另一个实施方案中，图像感测像素可用于自动对焦和图像捕获目的两者。
ISP 206实现图像处理管道，该图像处理管道可包括从创建、捕获或接收到输出的处理图像信息的一组级。除了其他部件之外，ISP 206可包括传感器接口302、中央控制320、前端管道级330、后端管道级340、图像统计模块304、视觉模块322、后端接口342、输出接口316和自动对焦电路350A至350N(下文统称为“自动对焦电路350”或单独地称为“自动对焦电路350”)。ISP 206可包括图3中未示出的其他部件或者可省略图3中所示的一个或多个部件。
在一个或多个实施方案中，ISP 206的不同部件以不同的速率处理图像数据。在图3的实施方案中，前端管道级330(例如，原始处理级306和重采样处理级308)可以初始速率处理图像数据。因此，由这些前端管道级330以初始速率执行各种不同技术、调整、修改或其他处理操作。例如，如果前端管道级330每个时钟循环处理2个像素，则原始处理级306操作(例如，黑电平补偿、突出显示恢复和缺陷像素校正)可一次处理2个像素的图像数据。相比之下，一个或多个后端管道级340可以小于初始数据速率的不同速率处理图像数据。例如，在图3的实施方案中，可以降低的速率(例如，每个时钟循环1个像素)来处理后端管道级340(例如，噪声处理级310、颜色处理级312和输出重缩放314)。
由图像传感器202捕获的原始图像数据可以不同方式传输到ISP 206的不同部件。在一个实施方案中，与对焦像素的原始图像数据可被发送到自动对焦电路350，而与图像像素对应的原始图像数据可被发送到传感器接口302。在另一个实施方案中，与两种类型的像素对应的原始图像数据可同时被发送到自动对焦电路350和传感器接口302两者。
自动对焦电路350可包括分析原始图像数据以确定每个图像传感器202的适当透镜位置的硬件电路。在一个实施方案中，原始图像数据可包括从专门用于图像对焦的图像感测像素传输的数据。在另一个实施方案中，来自图像捕获像素的原始图像数据也可用于自动对焦目的。自动对焦电路350可执行各种图像处理操作以生成确定适当透镜位置的数据。图像处理操作可包括裁剪、合并、图像补偿、缩放以生成用于自动对焦目的的数据。由自动对焦电路350生成的自动对焦数据可被反馈到图像传感器系统201以控制图像传感器202的透镜位置。例如，图像传感器202可包括控制电路，该控制电路分析自动对焦数据以确定发送到与图像传感器的透镜系统相关联的致动器的命令信号，从而改变图像传感器的透镜位置。由自动对焦电路350生成的数据也可被发送到ISP 206的其他部件以用于其他图像处理目的。例如，可将一些数据发送到图像统计304以确定关于自动曝光的信息。
自动对焦电路350可以是与其他部件诸如图像统计304、传感器接口302、前端330和后端340分开的单独电路。这允许ISP 206独立于其他图像处理管道来执行自动对焦分析。例如，ISP 206可分析来自图像传感器202A的原始图像数据以使用自动对焦电路350A调整图像传感器202A的透镜位置，同时对来自图像传感器202B的图像数据执行下游图像处理。在一个实施方案中，自动对焦电路350的数量可对应于图像传感器202的数量。换句话讲，每个图像传感器202可具有专用于图像传感器202的自动对焦的对应的自动对焦电路。即使一个或多个图像传感器202未处于使用中，设备100也可针对不同图像传感器202执行自动对焦。当设备100从一个图像传感器202切换到另一个图像传感器时，这允许两个图像传感器202之间的无缝过渡。例如，在一个实施方案中，设备100可包括广角相机和远摄相机作为用于照片和图像处理的双后置相机系统。设备100可显示由双相机中的一者捕获的图像，并且可不时地在两个相机之间切换。所显示的图像可从由一个图像传感器202捕获的图像数据无缝过渡到由另一个图像传感器捕获的图像数据，而无需等待第二图像传感器202调节其透镜位置，因为两个或更多个自动对焦电路350可连续地向图像传感器系统201提供自动对焦数据。
由不同图像传感器202捕获的原始图像数据也可被传输到传感器接口302。传感器接口302从图像传感器202接收原始图像数据，并将原始图像数据处理成可由管道中的其他级处理的图像数据。传感器接口302可执行各种预处理操作，诸如图像裁剪、合并或缩放以减小图像数据尺寸。在一些实施方案中，像素以光栅顺序(例如，水平地、逐行地)从图像传感器202发送到传感器接口302。管道中的后续处理也可以光栅顺序执行，并且结果也可以光栅顺序输出。尽管图3中仅示出了单个图像传感器和单个传感器接口302，当在设备100中提供多于一个图像传感器时，可在ISP 206中提供相应数量的传感器接口以处理来自每个图像传感器的原始图像数据。
前端管道级330处理原始或全色域中的图像数据。前端管道级330可包括但不限于原始处理级306和重采样处理级308。例如，原始图像数据可是Bayer原始格式。在Bayer原始图像格式中，在每个像素中提供专用于特定颜色(而不是所有颜色)的值的像素数据。在图像捕获传感器中，图像数据通常以Bayer模式提供。原始处理级306能够以Bayer原始格式处理图像数据。
原始处理级306执行的操作包括但不限于传感器线性化、黑电平补偿、固定模式噪声降低、缺陷像素校正、原始噪声滤波、镜头阴影校正、白平衡增益和突出显示恢复。传感器线性化是指将非线性图像数据映射到线性空间以进行其他处理。黑电平补偿是指为图像数据的每个颜色分量(例如，Gr，R，B，Gb)独立地提供数字增益、偏移和限幅。固定模式噪声降低是指通过从输入图像中减去暗帧并将不同增益乘以像素来去除偏移固定模式噪声并获得固定模式噪声。缺陷像素校正是指检测缺陷像素，然后替换缺陷像素值。原始噪声滤波是指通过平均亮度相似的相邻像素来降低图像数据的噪声。突出显示恢复是指对从其他通道限幅(或接近限幅)的那些像素的像素值进行估计。镜头阴影校正是指对每像素施加增益来补偿与距离透镜光学中心的距离大致成比例的强度下降。白平衡增益是指为所有颜色分量(例如Bayer格式的Gr，R，B，Gb)独立地提供针对白平衡的数字增益、偏移和限幅。ISP 206的部件可将原始图像数据转换为全色域中的图像数据，因此，除了原始图像数据之外或代替原始图像数据，原始处理级306可处理全色域中的图像数据。
重采样处理级308执行各种操作以转换、重采样或缩放从原始处理级306接收的图像数据。由重采样处理级308执行的操作可包括但不限于去马赛克操作、每像素颜色校正操作、γ映射操作、颜色空间转换和缩小或子带分割。去马赛克操作是指将颜色缺失样本从原始图像数据(例如，在Bayer模式中)转换或内插成输出图像数据到全色域中。去马赛克操作可包括对内插样本进行的低通定向滤波以获得全色像素。每像素颜色校正操作是指使用关于每个颜色通道的相对噪声标准偏差的信息在每个像素的基础上执行颜色校正以校正颜色而不放大图像数据中的噪声的处理。γ映射是指将图像数据从输入图像数据值转换为输出数据值以执行γ校正。出于γ映射的目的，可使用针对每个像素的不同颜色分量或通道的查找表(或将像素值索引到另一值的其他结构)(例如，针对R，G和B颜色分量的单独查找表)。颜色空间转换是指将输入图像数据的颜色空间转换为不同的格式。在一个实施方案中，重采样处理级308将RGB格式转换为YCbCr格式以供进一步处理。
中央控制模块320可控制和协调ISP 206中的其他部件的整体操作。中央控制模块320执行包括但不限于以下项的各种操作：监视各种操作参数(例如，记录时钟周期、存储器等待时间、服务质量和状态信息)、更新或管理ISP 206的其他部件的控制参数以及与传感器接口302交接以控制ISP 206的其他部件的开始和停止。例如，在ISP 206中的其他部件处于空闲状态时，中央控制模块320可更新其他部件的可编程参数。在更新可编程参数之后，中央控制模块320可将ISP 206的这些部件置于运行状态以执行一个或多个操作或任务。中央控制模块320还可指示ISP 206的其他部件在重采样处理级308之前、期间或之后存储图像数据(例如，通过写入图2中的系统存储器230)。以这种方式，除了处理从重采样处理级308通过后端管道级340输出的图像数据之外或代替处理从重采样处理级308通过后端管道级340输出的图像数据，可存储原始或全色域格式的全分辨率图像数据。
图像统计模块304执行各种操作以收集与图像数据相关联的统计信息。收集统计信息的操作可包括但不限于传感器线性化、替换图案化缺陷像素、子样本原始图像数据、检测和替换非图案化缺陷像素、黑电平补偿、镜头阴影校正和反相黑电平补偿。在执行一个或多个此类操作之后，可收集或跟踪统计信息诸如3A统计(自动白平衡(AWB)、自动曝光(AE))、直方图(例如，2D颜色或分量)和任何其他图像数据信息。在一些实施方案中，当先前的操作识别被限幅的像素时，某些像素的值或像素值的区域可从某些统计数据的集合中排除。尽管图3中仅示出了单个统计模块304，多个图像统计模块可包括在ISP 206中。例如，每个图像传感器202可对应于单独的图像统计单元304。在此类实施方案中，每个统计模块可由中央控制模块320编程，以收集相同或不同图像数据的不同信息。
视觉模块322执行各种操作以促进CPU 208处的计算机视觉操作，诸如图像数据中的人脸检测。视觉模块322可执行各种操作，包括预处理、全局色调映射和γ校正、视觉噪声滤波、尺寸调整、关键点检测，取向梯度直方图(HOG)和归一化互相关(NCC)的生成。如果输入图像数据不是YCrCb格式，则预处理可包括子采样或合并操作以及亮度计算。可对亮度图像上的预处理数据执行全局映射和γ校正。执行视觉噪声滤波以去除像素缺陷并减少图像数据中存在的噪声，从而改善后续计算机视觉算法的质量和性能。此类视觉噪声滤波可包括检测和固定点或缺陷像素，以及通过平均相似亮度的相邻像素来执行双边滤波以降低噪声。各种视觉算法使用不同尺寸和比例的图像。例如，通过合并或线性插值操作来执行图像的尺寸调整。关键点是图像内被非常适合于匹配同一场景或对象的其他图像的图像块包围的位置。此类关键点在图像对齐、计算相机姿势和对象跟踪方面很有用。关键点检测是指识别图像中的此类关键点的过程。HOG提供图像分析和计算机视觉中用于任务的图像块的描述。例如，可通过(i)使用简单的差分滤波器计算水平梯度和垂直梯度，(ii)根据水平梯度和垂直梯度计算梯度方向和量值，以及(iii)对梯度方向进行合并来生成HOG。NCC是计算图像块与内核之间的空间互相关的过程。
后端接口342从图像传感器102之外的其他图像源接收图像数据，并将其转发到ISP 206的其他部件以进行处理。例如，可通过网络连接接收图像数据并将其存储在系统存储器230中。后端接口342检索存储在系统存储器230中的图像数据，并将其提供给后端管道级340以进行处理。由后端接口342执行的许多操作之一是将检索的图像数据转换为可由后端处理级340使用的格式。例如，后端接口342可将RGB、YCbCr 4：2：0或YCbCr 4：2：2格式化的图像数据转换为YCbCr 4：4：4颜色格式。
后端管道级340根据特定的全色格式(例如，YCbCr4：4：4或RGB)处理图像数据。在一些实施方案中，后端管道级340的部件可在进一步处理之前将图像数据转换为特定的全色格式。后端管道级340可包括噪声处理级310和颜色处理级312等其他级。后端管道级340可包括图3中未示出的其他级。
噪声处理级310执行各种操作以减少图像数据中的噪声。由噪声处理级310执行的操作包括但不限于颜色空间转换、γ/去γ映射、时间滤波、噪声滤波、亮度锐化和色度噪声降低。颜色空间转换可将图像数据从一种颜色空间格式转换为另一种颜色空间格式(例如，转换为YCbCr格式的RGB格式)。γ/去γ操作将图像数据从输入图像数据值转换为输出数据值以执行γ校正或反向γ校正。时间滤波使用先前滤波的图像帧来滤除噪声以减少噪声。例如，先前图像帧的像素值与当前图像帧的像素值组合。噪声滤波可包括例如空间噪声滤波。亮度锐化可锐化像素数据的亮度值，而色度抑制可将色度衰减为灰色(例如，没有颜色)。在一些实施方案中，亮度锐化和色度抑制可与空间噪声滤波同时进行。可针对图像的不同区域不同地确定噪声滤波的积极性。可包括空间噪声滤波作为实现时间滤波的时间循环的一部分。例如，先前的图像帧可以在被存储为用于待处理的下一个图像帧的参考帧之前由时间滤波器和空间噪声滤波器处理。在其他实施方案中，空间噪声滤波可不被包括作为用于时间滤波的时间循环的一部分(例如，空间噪声滤波器可以在图像帧被存储为参考图像帧之后应用于图像帧，并且因此不对参考帧进行空间滤波)。
颜色处理级312可执行与调整图像数据中的颜色信息相关联的各种操作。在颜色处理级312中执行的操作包括但不限于局部色调映射、增益/偏移/限幅、颜色校正、三维颜色查找、γ转换和颜色空间转换。局部色调映射指的是空间变化的局部色调曲线，以便在渲染图像时提供更多控制。例如，色调曲线的二维网格(其可以由中央控制模块320编程)可以是双线性内插的，由此使得在图像上产生平滑变化的色调曲线。在一些实施方案中，局部色调映射还可应用空间变化和强度变化的颜色校正矩阵，其可例如用于使天空更蓝，同时在图像中的阴影中调低蓝色。可为每个颜色通道或图像数据的分量提供数字增益/偏移/限幅。颜色校正可将颜色校正变换矩阵应用于图像数据。3D颜色查找可利用颜色分量输出值的三维阵列(例如，R，G，B)来执行高级色调映射、颜色空间转换和其他颜色变换。例如，可通过将输入图像数据值映射到输出数据值来执行γ转换，以便执行γ校正、色调映射或直方图匹配。可以实现颜色空间转换以将图像数据从一个颜色空间转换为另一个颜色空间(例如，RGB到YCbCr)。其他处理技术也可以作为颜色处理级312的一部分来执行，以执行其他特殊图像效果，包括黑白转换、棕褐色调转换、负转换或曝光转换。
当ISP 206处理图像数据时，输出重缩放模块314可以即时重采样、变换和校正失真。输出重缩放模块314可以计算每个像素的分数输入坐标，并且使用该分数坐标来经由多相重采样滤波器内插输出像素。可以从输出坐标的多种可能的变换产生分数输入坐标，诸如对图像调整尺寸或裁剪(例如，经由简单的水平和垂直缩放变换)、旋转和剪切图像(例如，经由不可分离的矩阵变换)、透视翘曲(例如，经由附加的深度变换)以及以条纹状分段施加的每像素透视分割以说明图像数据捕获期间(例如，由于卷帘式快门所引起的)的图像传感器中的变化的原因，以及几何失真校正(例如，经由计算距光学中心的径向距离以便索引内插的径向增益表，并且将径向扰动施加于坐标以说明径向透镜失真的原因)。
当在输出重缩放模块314处处理图像数据时，输出重缩放模块314可将变换应用于图像数据。输出重缩放模块314可包括水平缩放部件和垂直缩放部件。该设计的垂直部分可实现一系列图像数据行缓冲器以保持该垂直滤波器所需的“支持”。由于ISP 206可以是流设备，因此可能只有行的有限长度滑动窗口中的图像数据行可供滤波器使用。一旦行被丢弃来为新进来的行腾出空间，则该行可能不可用。输出重缩放模块314可统计地监视先前行上的计算输入Y坐标，并使用它来计算要保持在垂直支持窗中的一组最佳行。对于每个后续行，输出重缩放模块可自动生成关于垂直支持窗的中心的猜测。在一些实施方案中，输出重缩放模块314可实现被编码为数字差分分析器(DDA)步进器的分段透视变换表，以在输入图像数据和输出图像数据之间执行每像素透视变换，以便校正在图像帧的捕获期间由传感器运动引起的伪像和运动。如上文关于图1和图2所讨论，输出重缩放可以经由输出接口316将图像数据提供到设备100的各种其他部件。
在各种实施方案中，部件302到350的功能可以与图3中所示的图像处理管道中的这些功能单元的顺序所暗含的顺序不同的顺序执行或者可由与图3中所示的功能部件不同的功能部件来执行。此外，如图3中所描述的各种部件可以硬件、固件或软件的各种组合来体现。
用于图像融合的示例性管道
图4是根据一个实施方案示出包括图像融合电路的图像处理管道的一部分的框图。图像402、404由图像传感器系统201捕获并传递到视觉模块322上。在一个实施方案中，在捕获图像404之前或之后不久捕获图像402。另选地，使用两个不同图像传感器202同时捕获具有不同曝光时间的图像402和404。图像402捕获具有第一曝光时间的场景，并且图像404捕获具有可不同于第一曝光时间的第二曝光时间的相同场景。如果第二曝光时间短于第一曝光时间，则图像402可被称为“长曝光图像”，并且图像404可被称为“短曝光图像”。每个图像402、404包括多个颜色分量，例如亮度和色度颜色分量。图像402被传递到视觉模块322的特征提取器电路406上以用于处理和特征提取。图像404可被传递到视觉模块322的特征提取器电路410上以用于处理和特征提取。另选地，可关闭特征提取器电路410。
特征提取器电路406通过处理图像402中的像素的像素值来提取关于图像402中的第一关键点(例如，显著点)的第一关键点信息408。第一关键点与图像402中的某些可分辨特征(也称为“显著点”)相关。所提取的第一关键点信息408可以包括关于图像402中与图像402的第一关键点相关联的像素的至少子集的空间位置(例如，坐标)的信息。对于图像402中的第一关键点中的每个第一关键点，特征提取器电路406还可以提取关键点描述符并对其进行编码，该关键点描述符包括关键点尺度和取向信息。因此，由特征提取器电路406提取的第一关键点信息408可以包括关于图像402的第一关键点中的每个第一关键点的空间位置的信息和图像402的第一关键点中的每个第一关键点的关键点描述符。将与图像402的像素的至少子集相关联的第一关键点信息408传递到CPU 208上以进行处理。
特征提取器电路410通过处理图像404中的像素的像素值来提取关于图像404中的第二关键点的第二关键点信息412。第二关键点与图像404中的某些可分辨特征(例如，显著点)相关。所提取的第二关键点信息412可以包括关于与图像404的第二关键点相关联的图像404中的像素的至少子集的空间位置(例如，坐标)的信息。对于图像404中的第二关键点中的每个第二关键点，特征提取器电路410还可以提取关键点描述符并对其进行编码，该关键点描述符包括关键点尺度和取向信息。因此，由特征提取器电路410提取的第二关键点信息412可以包括关于图像404的第二关键点中的每个第二关键点的空间位置的信息和图像404的第二关键点中的每个第二关键点的关键点描述符。将与图像404的像素的至少子集相关联的第二关键点信息412传递到CPU 208上以进行处理。另选地(图4中未示出)，关闭特征提取器电路410。在这种情况下，不提取图像404的第二关键点，并且仅将第一关键点信息408传递到CPU 208上进行处理。
CPU 208构建描述图像402与图像404之间的对应关系的模型。CPU 208搜索图像402的第一关键点信息408与图像404的第二关键点信息412之间的对应关系，以生成表示图像402和图像404中的相对移动的至少一个运动矢量。在一个实施方案中，CPU 208例如通过将从图像402和404提取的关键点描述符进行比较和配对来将第一关键点信息408与第二关键点信息412关联(匹配)，以确定一组关键点信息匹配，诸如从图像402和404提取的关键点描述符对。CPU 208然后通过处理所确定的一组关键点信息匹配来执行模型拟合算法以构建模型。模型拟合算法可被设计成在模型构建过程中丢弃错误匹配。模型拟合算法可基于例如迭代随机样本一致性(RANSAC)算法。由CPU 208构建的模型包括关于图像402和404中的像素之间的映射的信息。模型可表示线性变换、仿射变换和透视变换。另选地，模型可为非线性变换。基于该模型，翘曲参数(映射信息)418可由CPU 208生成并被发送到翘曲电路428以用于图像402和/或图像404的空间变换。翘曲参数418可以矩阵的形式用于图像402和/或图像404的空间变换(例如，翘曲)。用于空间变换的矩阵表示几何变换矩阵或网状网格，其中为每个网格点定义运动矢量。另选地，可提供专用电路而不是CPU 208，以执行RANSAC算法并生成翘曲参数418。
在该实施方案中，当关闭特征提取器电路410并且仅将第一关键点信息408传递到CPU 208上时，CPU 208为图像402的第一关键点中的每个第一关键点生成运动矢量。这通过在预期的可配置的位移范围内执行例如NCC搜索以确定图像402的每个第一关键点的限定空间邻域(块)内的最佳特征匹配来完成。在这种情况下，CPU 208执行模型拟合算法(例如，RANSAC算法)，该算法使用第一关键点信息408(例如，第一关键点的坐标)和基于特征匹配确定的对应运动矢量来构建模型，而不执行图像402和404之间的关键点的匹配。模型拟合算法可被设计成丢弃错误的特征匹配。基于所构建的模型，CPU 208生成翘曲参数(映射信息)418，该翘曲参数被发送到翘曲电路428以用于图像402的空间变换。另选地，可以提供专用电路而不是CPU 208，以执行NCC搜索并为图像402的第一关键点中的每个第一关键点生成运动矢量。在这种情况下，CPU 208使用由专用电路生成的第一关键点中的每个第一关键点的运动矢量来构建模型。
图像402(其可以是长曝光图像)也被传递到执行图像402的某些处理(例如，噪声去除、增强等)的图像增强处理器420上，以获得图像402的经处理版本422。经处理版本422被传递到限幅标记电路424上。限幅标记电路424将图像402的经处理版本422中的具有超过阈值的一个或多个颜色分量值的限幅(例如，过饱和)像素识别为限幅标记。限幅标记电路424可以用预先确定的像素值替换像素值，使得可以在后续处理，诸如限幅标记的对应形态学操作(例如，侵蚀或扩张)中适当地识别和寻址这些像素中的任一个像素或从限幅标记电路424下游的这些像素导出的任何其他像素。例如，可在由翘曲电路428执行的翘曲操作期间、在由金字塔生成器电路432执行的金字塔生成期间、和/或在由图像融合处理模块444执行的融合操作期间，例如，在图5A的多尺度图像融合电路502和图5B的图像融合电路503中的高频分量的放大和提取期间，执行形态学操作。
翘曲电路428适应由CPU 208生成的模型限定的线性变换和非线性变换。翘曲电路428根据翘曲参数418使用映射信息对经处理的图像426进行翘曲，以生成与图像402相比在空间上与图像404更对齐的图像402(翘曲图像430)的翘曲版本430。另选地(图4中未示出)，翘曲电路428使用模型418中的映射信息使图像404翘曲，以生成与图像404相比在空间上与图像402更对齐的图像404的翘曲版本430。然后将由翘曲电路428生成的翘曲图像430传递到金字塔生成器电路432上。
金字塔生成器电路432通过顺序地缩小翘曲图像430来生成各自具有不同分辨率的多个缩小的翘曲图像。每个缩小的翘曲图像包括多个颜色分量。从翘曲图像430获得的缩小的翘曲图像可以存储在例如系统存储器230(图4中未示出)中。缩小的翘曲图像的低频分量和翘曲图像430的未缩放的单色版本的低频分量(例如，亮度分量)作为翘曲图像数据434传递到图像融合处理电路444上，以与从图像404获得的对应图像数据442融合。需注意，在一些实施方案中，图像增强处理器420、限幅定位器电路424、翘曲电路428和金字塔生成器电路432是噪声处理级310的一部分。在一些实施方案中，图像增强处理器420、限幅定位器电路424、翘曲电路428和金字塔生成器电路432中的一者或多者在噪声处理级310之外，诸如在后端管道级340的另一级中。
图像增强处理器436执行图像404的某些处理(例如，噪声去除、增强等)以获得经处理的图像438，以用于传递到金字塔生成器电路440上。图像增强处理器436可执行与图像增强处理器420基本上相同的操作。金字塔生成器电路440通过顺序地缩小经处理的图像438来生成各自具有不同分辨率的多个缩小图像。由金字塔生成器电路440生成的每个缩小图像包括多个颜色分量(例如，亮度分量和色度分量)。从经处理的图像438获得的缩小图像可被存储在例如系统存储器230中。缩小图像的低频分量和经处理的图像438的未缩放的单色版本的低频分量(例如，亮度分量)作为图像数据442被传递到图像融合处理电路444上。需注意，在一些实施方案中，图像增强处理器436和金字塔生成器电路440是噪声处理级310的一部分。在一些实施方案中，图像增强处理器436和金字塔生成器电路440中的至少一者在噪声处理级310之外，诸如在后端管道级340的另一级中。
图像融合处理电路444在与翘曲图像430的未缩放的单色版本相关的翘曲图像数据434的一部分与经处理的图像438的未缩放的单色版本相关的图像数据442的一部分之间执行逐像素混合，以生成融合图像的未缩放的单色版本446。图像融合处理电路444还在与缩小的翘曲图像(通过缩小翘曲图像430获得)相关的翘曲图像数据434的一部分与对应的缩小图像(通过缩小经处理图像438获得)相关的图像数据442的一部分之间执行逐像素混合，以生成包括多个颜色分量的融合图像的第一缩小版本448。第一缩小版本448具有等于未缩放的单色版本446的像素分辨率的四分之一的像素分辨率。未缩放的单色版本446和第一缩小版本448被传递到后处理电路450上以用于进一步处理和增强。图像融合处理电路444包括图5A所示的多尺度图像融合电路502和图5B所示的图像融合电路503。关于图像融合处理电路444的结构和操作的更多细节在下文结合图5A至图5B和图6A至图6B提供。
后处理电路450对未缩放的单色版本446和第一缩小版本448执行后处理，以获得经后处理的融合图像472。后处理电路450可以是颜色处理级312的一部分。后处理电路450包括子带分割器(SBS)电路452、局部色调映射(LTM)电路458、局部对比度增强(LCE)电路462、子带合并器(SBM)电路466和锐化电路470。SBS电路452执行对未缩放的单色版本446的子带分割，以生成传递到SBM电路466上的未缩放的单色版本454的高频分量。SBS电路452还执行对第一缩小版本448的子带分割，以生成传递到LTM电路458上的第一缩小版本456的低频分量。LTM电路458对第一缩小版本456的低频分量执行LTM操作，以生成传递到LCE电路462上的第一缩小版本460的低频分量的经处理版本。LCE电路462执行第一缩小版本460的低频分量的经处理版本的单色分量(例如，亮度分量)的局部光度对比度增强，以生成融合图像的第一缩小版本的增强版本464。SBM电路466将未缩放的单色版本454的高频分量与融合图像的第一缩小版本的增强版本464合并，以生成传递到锐化电路470上的合并的融合图像数据468。锐化电路470对合并的融合图像数据468的单个颜色分量(例如，亮度分量)执行锐化(例如，光度对比度增强)以生成经后处理的融合图像472。经后处理的融合图像472可被传递到输出重缩放314，然后传递到输出接口316。在后处理电路450处执行的处理仅仅是示例，并且各种其他后处理可作为后处理电路450处的处理的替代或补充来执行。
用于图像融合处理的示例性架构
图5A是根据一个实施方案的作为图像融合处理电路444的一部分的多尺度图像融合电路502的详细框图。多尺度图像融合电路502在翘曲图像430的每个缩小的多色版本与经处理图像438的对应的缩小的多色版本之间执行逐像素混合，以生成融合图像的多个缩小版本中的融合图像的缩小的多色版本。多尺度图像融合电路502通过放大和累加融合图像的多个缩小版本来生成融合图像的第一缩小版本448。融合图像的第一缩小版本448包括多个颜色分量，并且具有低于融合图像的未缩放的单色版本446的像素分辨率的像素分辨率。
多尺度图像融合电路502接收缩小的多色翘曲图像LF(1)1、LF(2)1、...、LF(N)1的低频分量作为(通过金字塔生成器432缩小翘曲图像430而获得的)翘曲图像数据434的一部分，其中N表示对翘曲图像430执行的下采样的级别，例如N＝6。多尺度图像融合电路502还接收缩小的多色图像LF(1)2、LF(2)2、...、LF(N)2的低频分量作为(通过金字塔生成器440缩小经处理的图像438而获得的)图像数据442的一部分。首先经由多路复用器504将具有最低分辨率水平的缩小的翘曲图像LF(N)1作为缩小的翘曲图像数据508传递到计算器电路512上。还经由多路复用器506将具有最低分辨率LF(N)2的缩小图像作为缩小的图像数据510传递到计算器电路512上。
计算器电路512通过处理缩小的翘曲图像数据508块中的像素与缩小的图像数据510块中的对应像素之间的光度距离来确定像素的块距离。缩小的翘曲图像数据508块包括作为中心像素的像素和距像素的限定空间距离内的其他像素。块距离表示两个块之间的相似性的量度。计算器电路512将块距离计算为两个块中的对应像素之间的欧几里得距离的总和。对于5x5的块，计算器电路512将块距离计算为：
Figure BDA0003238915210000201
其中ED(P1ij,P2ij)是第一块和第二块的像素P1ij和P2ij之间的欧几里得距离；I和J为5x5的块窗口内的索引。任选地，块尺寸可针对每个尺度独立地减小到3x3或1x1(单个像素模式)，在这种情况下，公式1中的求和指数i和j被相应地调整。
另选地，计算器电路512以递归方式计算块距离。如果像素n的PD(n)是已知的，则计算器电路512将像素n的下一个右侧水平相邻像素的PD(n+1)计算为：
Figure BDA0003238915210000202
计算器电路512还通过确定缩小的翘曲图像数据508块的像素值与缩小的图像数据510块的像素值之间的互方差来确定像素的互相关值(例如，归一化互相关)。归一化互相关用作块相似性的次要量度。计算器电路512如下计算归一化互相关(例如，-1和1之间的系数)：
Figure BDA0003238915210000203
其中VAR1和VAR2是块的方差，并且VARC是它们的交互方差。
计算器电路512根据两个相似性量度确定像素的混合参数514、块距离(例如，由公式1或公式2确定的PD)和互相关值(例如，由公式3确定的归一化互相关NCC)。如果块更相似，则进行更高水平的混合以避免重影，反之亦然。块距离相似性得分SPD由下式给出：
SPD＝F1(PD/预期噪声标准变化)。 公式4
根据公式4，SPD指示差异小于预期噪声的块是类似的(“接近的”)。NCC相似性得分SNCC由下式给出：
SNCC＝F2(1–max(0,NCC))， 公式5
其中函数F1和F2是非线性函数，例如可以用定义的斜率和拐点参数仿真的高斯形状函数。最终相似性得分S可被确定为SPD和SNCC的总和。例如，最终相似性得分可如下确定：
S＝min(1,SPD+SNCC) 公式6
另选地，最终相似性得分S可基于SPD和SNCC的一些其他组合来确定。
计算器电路512将像素的混合参数514，w，确定为参考(第一)图像的像素的权重W1与第二图像的像素的权重W2*S的归一化组合。W1和W2是可编程融合权重。如果块完全相异，则W2＝0，并且仅使用来自参考图像的像素。如果块完全相似，则使用权重W1和W2进行融合。重影抑制通过减小(在一些情况下，减小到0)源自相异的第二图像区域的像素的权重来实现。混合物参数514，w，由下式给出：
w＝W1/(W1+W2*S) 公式7
对于通过限幅标记电路424标记的像素(例如，限幅标记)，将混合参数514设置为零，因为过度曝光的像素及其导数不用于混合，从而在高动态范围情况下实现对突出显示的适当处理。
像素的混合参数514被传递到混合电路516上。混合电路516使用像素的混合参数514将缩小的翘曲图像LF(N)1的像素的像素值518(经由多路复用器520传递到混合电路516上)与缩小图像LF(N)2的对应像素的像素值522混合(经由多路复用器524传递到混合电路516上)，以生成用于被传递到放大/累加器电路544的具有最低分辨率水平的缩小的融合图像LF(N)f的像素的混合像素值。混合电路516使用混合参数514(权重)w(i,j)将与两个图像中的相同空间坐标(i,j)对应的两个不同图像(例如，图像LF(N)1,LF(N)2)中的一对像素值x1(i,j)和x2(i,j)混合，以获得混合像素值b(i,j)，如由下式给出：
b(i,j)＝w(i,j)*x1(i,j)+(1-w(i,j))*x2(i,j) 公式8
缩小的翘曲图像LF(N)1和缩小的图像LF(N)2也作为缩小的翘曲图像数据508和缩小的图像数据510(经由复用器504和506)传递到放大电路526上。放大电路526在水平维度和垂直维度上放大缩小的翘曲图像数据508两次，以生成放大的翘曲图像数据528(尺度N-1)。多路复用器530传递缩小的翘曲图像LF(N-1)1作为缩小的翘曲图像数据532。从缩小的翘曲图像数据532(尺度N-1)的对应像素值减去放大的翘曲图像数据528的像素值以生成翘曲图像数据534，该翘曲图像数据表示作为像素值518(经由多路复用器520)传递到计算器电路512上以及传递到混合电路516上的缩小的翘曲图像HF(N-1)1的高频分量。放大电路526还在水平维度和竖直维度上放大缩小的图像数据510两次，以生成放大的图像数据536(尺度N-1)。多路复用器538将缩小的图像LF(N-1)2作为缩小的图像数据540传递。从缩小的图像数据540(尺度N-1)减去放大的图像数据536的像素值以生成图像数据542，该图像数据表示作为像素值522(经由复用器524)传递到计算器电路512上以及传递到混合电路516上的缩小图像HF(N-1)2的高频分量。
计算器电路512通过处理翘曲图像数据534块中的像素(例如，缩小的翘曲图像HF(N-1)1)的高频分量)与图像数据542块中的对应像素(例如，缩小图像HF(N-1)2)的高频分量)之间的光度距离来确定翘曲图像数据534的像素的块距离，如由公式1或公式2所定义的。缩小的翘曲图像LF(N-1)1作为缩小的翘曲图像数据508经由多路复用器504进一步传递到计算器电路512上。缩小图像LF(N-1)2也作为缩小图像数据510经由多路复用器506传递到计算器电路512上。计算器电路512通过以下方式确定像素的互相关值(例如，归一化互相关)：确定缩小的翘曲图像数据508块的像素值(例如，缩小的翘曲图像LF(N-1)1的低频分量)与缩小的图像数据510块的像素值(例如，缩小图像LF(N-1)2的低频分量)之间的互方差，如由公式3所定义的。
计算器电路512根据块距离和互相关值确定像素的混合参数514，例如，如上文根据公式4-7所定义的，但是只针对缩小的翘曲图像HF(N-1)1和缩小图像HF(N-1)2的高频分量。像素的混合参数514被传递到混合电路516上。混合电路516使用像素的混合参数514(如公式8所定义)将缩小的翘曲图像HF(N-1)1的高频分量的像素的像素值518与缩小图像HF(N-1)2的高频分量的对应像素的像素值522混合，以生成被传递到放大/累加器电路544上的缩小的融合图像HF(N-1)f的高频分量的像素的混合像素值。确定混合参数514、由放大电路526放大以及由混合电路516逐像素混合的过程被递归地重复，直到融合图像的第一缩小版本HF(1)f的高频分量在混合电路516的输出处生成并传递到放大/累加器电路544。
图6A是根据一个实施方案示出作为图5A所示的递归图像融合处理的一部分的放大缩小图像的概念图。在图6A的示例中，假定输入图像(例如，翘曲图像430或经处理的图像438)被缩小6次(例如，通过金字塔生成器432或金字塔生成器440)，以生成被输入到多尺度图像融合电路502中的缩小图像LF(6)、LF(5)、...、LF(1)的低频分量。放大电路526在水平维度和竖直维度上放大缩小图像LF(6)的低频分量两次，并且从缩小图像LF(5)的低频分量减去其放大版本，以生成被传递到计算器电路512和混合电路516上的缩小图像HF(5)(例如，翘曲图像数据534和非翘曲图像数据542)的高频分量。放大电路526在水平维度和竖直维度上放大缩小图像LF(5)的低频分量两次，并且从缩小图像LF(4)的低频分量减去其放大版本，以生成被传递到计算器电路512和混合电路516上的缩小图像HF(4)(例如，翘曲图像数据534和非翘曲图像数据542)的高频分量。该过程由放大电路526重复，直到第一缩小版本HF(1)(例如，翘曲图像数据534和非翘曲图像数据542)的高频分量生成并传递到计算器电路512和混合电路516上。
重新参见图5A，放大/累加器电路544执行图像恢复的过程，以使用融合缩小版本LF(N)f、HF(N-1)f、HF(N-2)f、...、HF(1)f生成融合图像的第一缩小版本448。本文参考图6B描述了关于该过程的更多细节。
图6B是根据一个实施方案示出作为图像融合处理的一部分的递归放大和累加缩小图像的概念图。在图6B的示例中，混合电路516生成被传递到放大/累加器电路544上的融合缩小版本LF(6)f、HF(5)f、HF(4)f、...、HF(1)f。放大/累加器电路544在水平维度和竖直维度上放大融合缩小版本LF(6)f两次，并且将其放大版本与融合缩小版本HF(5)f求和以生成缩小的融合图像546，例如F(5)。放大/累加器电路544在水平维度和垂直维度上放大缩小的融合图像546(例如，F(5))两次，并且将其放大版本与融合缩小版本HF(4)f求和以生成缩小的融合图像546，例如，F(4)。重复该过程，直到放大/累加器电路544生成融合图像的第一缩小版本448，例如包括多个颜色分量的融合图像F(1)。
图5B是根据一个实施方案的作为图像融合处理电路444的一部分的图像融合电路503的详细框图。图像融合电路503在翘曲图像430的未缩放的单色版本(例如，亮度分量)LFY(0)1与经处理图像438的未缩放的单色版本(例如，亮度分量)LFY(0)2之间执行逐像素混合，以生成融合图像的未缩放的单色版本446。图像融合电路503分别接收未缩放的单色版本LFY(0)1和未缩放的单色版本LFY(0)2作为翘曲图像数据434和图像数据442的一部分。图像融合电路503还在翘曲图像数据434内接收由金字塔生成器432缩小翘曲图像430而获得的缩小的翘曲图像LF(1)1。图像融合电路503还在图像数据442内接收由金字塔生成器440缩小经处理的图像438而获得的缩小图像LF(1)2。
亮度提取器电路548从缩小的翘曲图像LF(1)1提取单色分量(亮度分量)，以生成被传递到放大电路552上的缩小的翘曲图像的单色版本550。放大电路552在两个空间维度上将缩小的翘曲图像的单色版本550放大两次，以生成放大的翘曲图像的单色版本554。从未缩放的单色版本LFY(0)1的对应像素值减去放大的翘曲图像的单色版本554的像素值，以生成被传递到计算器电路564和混合电路568上的翘曲图像的未缩放的单色版本HFY(0)1的高频分量。未缩放的单色版本HFY(0)1也被传递到计算器电路564。
亮度提取器电路556从缩小图像LF(1)2提取单色分量(亮度分量)以生成被传递到放大电路560上的缩小图像的单色版本558。放大电路560在两个空间维度中将缩小图像的单色版本558放大两次，以生成放大图像的单色版本562。从未缩放的单色版本LFY(0)2的对应像素值减去放大图像的单色版本562的像素值，以生成被传递到计算器电路564和混合电路568上的未缩放的单色版本HFY(0)2的高频分量。未缩放的单色版本LFY(0)2也被传递到计算器电路564。
计算器电路564通过处理翘曲图像的未缩放的单色版本的HFY(0)1的高频分量块中的像素与未缩放的单色版本HFY(0)2的高频分量块中的对应像素之间的光度距离来确定像素的块距离，如公式1或公式2所定义。计算器电路564以与多尺度图像融合电路502的计算器电路512相同的方式操作，不同的是计算器电路564处理单色图像，而计算器电路512处理多色图像。计算器电路564还通过确定未缩放的单色版本LFY(0)1块的像素值与未缩放的单色版本LFY(0)2块的对应像素值之间的互方差来确定像素的互相关值，如公式3所定义。计算器电路564根据块距离和互相关值确定像素的混合参数566。像素的混合参数566传递到混合电路568上。混合电路568使用像素的混合参数566(如公式8所定义)将翘曲图像的未缩放的单色版本HFY(0)1的高频分量的像素的像素值与未缩放的单色版本HFY(0)2的高频分量的对应像素的像素值混合，以生成融合图像的未缩放的单色版本HFY(0)f的高频分量的像素的混合像素值。混合电路568以与多尺度图像融合电路502的混合电路516相同的方式操作，不同的是混合电路568执行单色图像的逐像素混合，而混合电路516执行多色图像的逐像素混合。
图像融合电路503还接收由多尺度图像融合电路502生成的融合图像的第一缩小版本448。亮度提取器电路570从融合图像的第一缩小版本448提取单色分量(亮度分量)，以生成被传递到放大电路574上的融合图像的第一缩小版本的单色版本572。放大电路574在两个空间维度(水平维度和垂直维度)上将融合图像的第一缩小版本的单色版本572放大两次，以生成放大的融合图像的单色版本576。将放大的融合图像的单色版本576的像素值与融合图像的未缩放的单色版本HFY(0)f的高频分量的对应像素值求和，以生成融合图像的未缩放的单色版本446。
如图6B中进一步所示，(经由亮度提取器570)从融合图像F(1)的第一缩小的多色版本提取单色分量(例如，亮度分量)以生成融合图像的第一缩小的单色版本FY(1)。将融合图像的第一缩小的单色版本(经由放大电路574)放大并求和为融合图像的未缩放的单色版本HFY(0)f的高频分量，以生成融合图像的未缩放的单色版本FY(0)，例如，未缩放的单色版本446。
用于执行图像融合处理的示例性过程
图7是根据一个实施方案示出的图像融合处理方法的流程图。该方法可包括附加的或更少的步骤，并且步骤可以不同的顺序执行。如参考图5B所述，图像融合处理电路444的图像融合处理电路503将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合710，以生成融合图像的未缩放的单色版本，第一图像和第二图像以不同曝光时间捕获相同场景。
如参考图5A所述，图像融合处理电路444的多尺度图像融合处理电路502将第一图像的缩小的多色版本与第二图像的缩小的多色版本混合720，以生成融合图像的多个缩小版本中的融合图像的缩小的多色版本。多尺度图像融合处理电路502通过放大和累加融合图像的多个缩小版本来生成730融合图像的第一缩小版本。第一缩小版本包括多个颜色分量，并且具有低于融合图像的未缩放的单色版本的像素分辨率的像素分辨率。
虽然已经说明和描述了具体的实施方案和应用，但是应当理解，本发明不限于本文所公开的精确构造和部件以及，并且在不脱离本公开的实质和范围的情况下，可对本文所公开的方法和装置的布置、操作和细节进行对本领域的技术人员将显而易见的各种修改、改变和变型。

Claims (20)

1.一种用于图像融合处理的装置，所述装置包括：
图像融合电路，所述图像融合电路被配置为将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合，以生成融合图像的未缩放的单色版本，所述第一图像和所述第二图像以不同曝光时间捕获相同场景；和
多尺度图像融合电路，所述多尺度图像融合电路被配置为：
将所述第一图像的缩小的多色版本与所述第二图像的缩小的多色版本混合，以生成所述融合图像的多个缩小版本中的所述融合图像的缩小的多色版本，以及
通过放大和累加所述融合图像的所述多个缩小版本来生成所述融合图像的第一缩小版本，所述第一缩小版本包括多个颜色分量并且具有低于所述融合图像的所述未缩放的单色版本的像素分辨率的像素分辨率。
2.根据权利要求1所述的装置，其中所述图像融合电路被进一步配置为：
通过处理所述未缩放的单色版本的第一块和另一未缩放的单色版本的第二块，将所述未缩放的单色版本与所述另一未缩放的单色版本混合。
3.根据权利要求2所述的装置，其中所述图像融合电路还包括：
计算器电路，所述计算器电路被配置为：
通过处理所述第一块中的像素与所述第二块中的对应像素之间的光度距离来确定块距离，
通过确定所述第一块的像素值与所述第二块的像素值之间的互方差来确定互相关值，以及
确定混合参数为关于所述块距离和所述互相关值的函数；和
混合电路，所述混合电路被配置为使用所述混合参数将所述未缩放的单色版本与所述另一未缩放的单色版本混合，以生成所述融合图像的所述未缩放的单色版本。
4.根据权利要求1所述的装置，其中所述多尺度图像融合电路被进一步配置为：
通过处理所述第一图像的所述缩小的多色版本的第一块和所述第二图像的所述缩小的多色版本的第二块，将所述第一图像的所述缩小的多色版本与所述第二图像的所述缩小的多色版本混合。
5.根据权利要求4所述的装置，其中所述多尺度图像融合电路还包括：
放大电路，所述放大电路被配置为通过顺序地放大所述第一图像和所述第二图像的对应缩小的多色版本来生成所述第一图像的多个缩小的多色版本和所述第二图像的多个缩小的多色版本；
计算器电路，所述计算器电路被配置为：
通过处理所述第一块中的像素与所述第二块中的对应像素之间的光度距离来确定块距离，
通过确定所述第一块的像素值与所述第二块的像素值之间的互方差来确定互相关值，以及
确定混合参数为关于所述块距离和所述互相关值的函数；以及
混合电路，所述混合电路被配置为使用所述混合参数将所述第一图像的所述缩小的多色版本与所述第二图像的所述缩小的多色版本混合，以生成所述融合图像的所述缩小的多色版本。
6.根据权利要求5所述的装置，其中所述计算器电路被进一步配置为：
通过处理所述第一图像的所述缩小的多色版本的高频分量的所述第一块中的所述像素与所述第二图像的所述缩小的多色版本的高频分量的所述第二块中的所述像素之间的所述光度距离来确定所述块距离；以及
通过确定所述第一图像的所述缩小的多色版本的低频分量的所述第一块与所述第二图像的所述缩小的多色版本的低频分量的所述第二块之间的所述互方差来确定所述互相关值。
7.根据权利要求5所述的装置，其中所述计算器电路被进一步配置为：
通过使用所述第一块的所述像素值的方差和所述第二块的所述像素值的方差对所述互方差进行归一化来确定所述互相关值的归一化版本；以及
确定所述混合参数为关于所述互相关值的所述归一化版本和所述块距离的函数。
8.根据权利要求1所述的装置，其中所述融合图像的所述第一缩小版本具有等于所述融合图像的所述未缩放的单色版本的所述像素分辨率的四分之一的所述像素分辨率。
9.根据权利要求1所述的装置，其中所述装置还包括：
子带分割器(SBS)电路，所述子带分割器电路被配置为对所述融合图像的所述未缩放的单色版本以及对所述融合图像的所述第一缩小版本执行子带分割操作。
10.一种图像融合处理的方法，所述方法包括：
将第一图像的未缩放的单色版本与第二图像的另一未缩放的单色版本混合，以生成融合图像的未缩放的单色版本，所述第一图像和所述第二图像以不同曝光时间捕获相同场景；
将所述第一图像的缩小的多色版本与所述第二图像的缩小的多色版本混合，以生成所述融合图像的多个缩小版本中的所述融合图像的缩小的多色版本；以及
通过放大和累加所述融合图像的所述多个缩小版本来生成所述融合图像的第一缩小版本，所述第一缩小版本包括多个颜色分量并且具有低于所述融合图像的所述未缩放的单色版本的像素分辨率的像素分辨率。
11.根据权利要求10所述的方法，所述方法还包括：
通过处理所述未缩放的单色版本的第一块和另一未缩放的单色版本的第二块，将所述未缩放的单色版本与所述另一未缩放的单色版本混合。
12.根据权利要求11所述的方法，所述方法还包括：
通过处理所述第一块中的像素与所述第二块中的对应像素之间的光度距离来确定块距离；
通过确定所述第一块的像素值与所述第二块的像素值之间的互方差来确定互相关值；
确定混合参数为关于所述块距离和所述互相关值的函数；以及
使用所述混合参数将所述未缩放的单色版本与所述另一未缩放的单色版本混合，以生成所述融合图像的所述未缩放的单色版本。
13.根据权利要求10所述的方法，所述方法还包括：
通过处理所述第一图像的所述缩小的多色版本的第一块和所述第二图像的所述缩小的多色版本的第二块，将所述第一图像的所述缩小的多色版本与所述第二图像的所述缩小的多色版本混合。
14.根据权利要求13所述的方法，所述方法还包括：
通过顺序地放大所述第一图像和所述第二图像的对应缩小的多色版本来生成所述第一图像的多个缩小的多色版本和所述第二图像的多个缩小的多色版本；
通过处理所述第一块中的像素与所述第二块中的对应像素之间的光度距离来确定块距离；
通过确定所述第一块的像素值与所述第二块的像素值之间的互方差来确定互相关值；
确定混合参数为关于所述块距离和所述互相关值的函数；以及
使用所述混合参数将所述第一图像的所述缩小的多色版本与所述第二图像的所述缩小的多色版本混合，以生成所述融合图像的所述缩小的多色版本。
15.根据权利要求14所述的方法，所述方法还包括：
通过处理所述第一图像的所述缩小的多色版本的高频分量的所述第一块中的所述像素与所述第二图像的所述缩小的多色版本的高频分量的所述第二块中的所述像素之间的所述光度距离来确定所述块距离；以及
通过确定所述第一图像的所述缩小的多色版本的低频分量的所述第一块与所述第二图像的所述缩小的多色版本的低频分量的所述第二块之间的所述互方差来确定所述互相关值。
16.根据权利要求14所述的方法，其中所述方法还包括：
通过使用所述第一块的所述像素值的方差和所述第二块的所述像素值的方差对所述互方差进行归一化来确定所述互相关值的归一化版本；以及
确定所述混合参数为关于所述互相关值的所述归一化版本和所述块距离的函数。
17.根据权利要求10所述的方法，其中所述融合图像的所述第一缩小版本具有等于所述融合图像的所述未缩放的单色版本的所述像素分辨率的四分之一的所述像素分辨率。
18.根据权利要求10所述的方法，所述方法还包括：
对所述融合图像的所述未缩放的单色版本以及对所述融合图像的所述第一缩小版本执行子带分割操作。
19.一种系统，所述系统包括：
图像传感器，所述图像传感器被配置为获得各自具有多个颜色分量的第一图像和第二图像，所述第一图像和所述第二图像以不同曝光时间捕获相同场景；和
图像信号处理器，所述图像信号处理器耦接到所述图像传感器，所述图像信号处理器被配置为执行对所述第一图像和所述第二图像的处理以获得具有所述多个颜色分量的融合图像，所述图像信号处理器包括：
图像融合电路，所述图像融合电路被配置为将所述第一图像的未缩放的单色版本与所述第二图像的另一未缩放的单色版本混合，以生成所述融合图像的未缩放的单色版本；和
多尺度图像融合电路，所述多尺度图像融合电路被配置为：
将所述第一图像的缩小的多色版本与所述第二图像的缩小的多色版本混合，以生成所述融合图像的多个缩小版本中的所述融合图像的缩小的多色版本，以及
通过放大和累加所述融合图像的所述多个缩小版本来生成所述融合图像的第一缩小版本，所述第一缩小版本包括所述多个颜色分量并且具有低于所述融合图像的所述未缩放的单色版本的像素分辨率的像素分辨率。
20.根据权利要求19所述的系统，其中所述多尺度图像融合电路还包括：
放大电路，所述放大电路被配置为通过顺序地放大所述第一图像和所述第二图像的对应缩小的多色版本来生成所述第一图像的多个缩小的多色版本和所述第二图像的多个缩小的多色版本；
计算器电路，所述计算器电路被配置为：
通过处理所述第一块中的像素与所述第二块中的对应像素之间的光度距离来确定块距离，
通过确定所述第一块的像素值与所述第二块的像素值之间的互方差来确定互相关值，以及
确定混合参数为关于所述块距离和所述互相关值的函数；和
混合电路，所述混合电路被配置为使用所述混合参数将所述第一图像的所述缩小的多色版本与所述第二图像的所述缩小的多色版本混合，以生成所述融合图像的所述缩小的多色版本。
CN201980093385.1A 2019-03-29 2019-11-25 图像融合处理模块 Active CN113508416B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/370,662 US10853928B2 (en) 2019-03-29 2019-03-29 Image fusion processing module
US16/370,662 2019-03-29
PCT/US2019/063059 WO2020205008A1 (en) 2019-03-29 2019-11-25 Image fusion processing module

Publications (2)

Publication Number Publication Date
CN113508416A true CN113508416A (zh) 2021-10-15
CN113508416B CN113508416B (zh) 2022-07-01

Family

ID=69005828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093385.1A Active CN113508416B (zh) 2019-03-29 2019-11-25 图像融合处理模块

Country Status (4)

Country Link
US (2) US10853928B2 (zh)
KR (1) KR102512889B1 (zh)
CN (1) CN113508416B (zh)
WO (1) WO2020205008A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI835536B (zh) * 2022-05-26 2024-03-11 大陸商廣州印芯半導體技術有限公司 影像感測裝置及其影像感測方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020041999A1 (en) * 2018-08-29 2020-03-05 Intel Corporation Apparatus and method for feature point tracking using inter-frame prediction
CN109335538B (zh) * 2018-10-25 2023-12-26 苏州金峰物联网技术有限公司 双环线交叉带分拣机、交叉带分拣系统及其分拣方法
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
CN112819748B (zh) * 2020-12-16 2023-09-19 机科发展科技股份有限公司 一种带钢表面缺陷识别模型的训练方法及装置
US11841926B2 (en) 2021-02-10 2023-12-12 Apple Inc. Image fusion processor circuit for dual-mode image fusion architecture
CN115835011A (zh) * 2021-09-15 2023-03-21 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、电子设备和图像处理方法
US20230206399A1 (en) * 2021-12-24 2023-06-29 Advanced Micro Devices, Inc. Low-latency architecture for full frequency noise reduction in image processing
US20230298212A1 (en) * 2022-03-17 2023-09-21 Advanced Micro Devices, Inc. Locking mechanism for image classification

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268359A1 (en) * 2004-08-16 2011-11-03 Tessera Technologies Ireland Limited Foreground/Background Segmentation in Digital Images
CN108335279A (zh) * 2017-01-20 2018-07-27 微软技术许可有限责任公司 图像融合和hdr成像

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7623683B2 (en) 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US8411938B2 (en) 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8128639B2 (en) 2010-05-20 2012-03-06 Restoration Robotics, Inc. Tools and methods for harvesting follicular units
CN102063712B (zh) 2010-11-04 2013-01-30 北京理工大学 基于子带结构的多曝光图像融合方法
US9342871B2 (en) 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
WO2017205492A1 (en) 2016-05-25 2017-11-30 Gopro, Inc. Three-dimensional noise reduction
KR102210993B1 (ko) 2016-08-26 2021-02-02 매직 립, 인코포레이티드 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268359A1 (en) * 2004-08-16 2011-11-03 Tessera Technologies Ireland Limited Foreground/Background Segmentation in Digital Images
CN108335279A (zh) * 2017-01-20 2018-07-27 微软技术许可有限责任公司 图像融合和hdr成像

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI835536B (zh) * 2022-05-26 2024-03-11 大陸商廣州印芯半導體技術有限公司 影像感測裝置及其影像感測方法

Also Published As

Publication number Publication date
KR102512889B1 (ko) 2023-03-21
US11138709B2 (en) 2021-10-05
KR20210110679A (ko) 2021-09-08
CN113508416B (zh) 2022-07-01
US20210042899A1 (en) 2021-02-11
US10853928B2 (en) 2020-12-01
US20200311890A1 (en) 2020-10-01
WO2020205008A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN113508416B (zh) 图像融合处理模块
US10853927B2 (en) Image fusion architecture
CN109416829B (zh) 并行计算机视觉和图像缩放架构
US11024006B2 (en) Tagging clipped pixels for pyramid processing in image signal processor
US10880455B2 (en) High dynamic range color conversion using selective interpolation
US11334961B2 (en) Multi-scale warping circuit for image fusion architecture
US11350063B2 (en) Circuit for correcting lateral chromatic abberation
US11836889B2 (en) Dual-mode image fusion architecture
US10657623B2 (en) Two stage multi-scale processing of image data
US20240029198A1 (en) Circuit For Combined Down Sampling And Correction Of Image Data
US20240205363A1 (en) Sliding Window for Image Keypoint Detection and Descriptor Generation
US20220253651A1 (en) Image fusion processor circuit for dual-mode image fusion architecture
US11810266B2 (en) Pattern radius adjustment for keypoint descriptor generation
US11475240B2 (en) Configurable keypoint descriptor generation
US11798146B2 (en) Image fusion architecture
US11803949B2 (en) Image fusion architecture with multimode operations
US11494880B2 (en) Image pyramid generation for image keypoint detection and descriptor generation
US20240297949A1 (en) Back-End Scaling Circuit With Local Tone Mapping After Image Warping
US20240031540A1 (en) Foveated down sampling of image data
US20230138779A1 (en) Linear transform of undistorted image for fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant