CN102246203A - 选择性地组合图像的系统及方法 - Google Patents

选择性地组合图像的系统及方法 Download PDF

Info

Publication number
CN102246203A
CN102246203A CN2009801498261A CN200980149826A CN102246203A CN 102246203 A CN102246203 A CN 102246203A CN 2009801498261 A CN2009801498261 A CN 2009801498261A CN 200980149826 A CN200980149826 A CN 200980149826A CN 102246203 A CN102246203 A CN 102246203A
Authority
CN
China
Prior art keywords
view data
image
motion vector
circuit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801498261A
Other languages
English (en)
Inventor
卡林·M·阿塔纳索夫
李向川
黄豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102246203A publication Critical patent/CN102246203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示用以选择性地组合图像的系统及方法。在特定实施例中，一种设备包括配准电路，其经配置以基于对应于第一图像的第一图像数据及对应于第二图像的第二图像数据而产生一组运动向量数据。所述设备包括组合电路，其用以选择性地组合所述第一图像数据与经调整的第二图像数据，所述经调整的第二图像数据对应于根据所述运动向量数据而调整的所述第二图像数据。所述设备进一步包括控制电路，其用以控制所述组合电路以产生第三图像数据。

Description

选择性地组合图像的系统及方法
技术领域
本发明大体上涉及一种选择性地组合图像的系统及方法。
背景技术
技术的进步已产生更小且更强大的计算装置。举例来说，当前存在多种便携式个人计算装置，包括无线计算装置，例如便携式无线电话、个人数字助理(PDA)及寻呼装置，其体积小、重量轻且便于用户携带。更具体地说，例如蜂窝式电话及因特网协议(IP)电话等便携式无线电话可经由无线网络传达话音及数据包。此外，许多此类无线电话包括并入于其中的其它类型的装置。举例来说，无线电话还可包括数字静物相机、数字摄像机、数字记录器及音频文件播放器。此些无线电话可处理包括可用于接入因特网的软件应用程序(例如，网络浏览器应用程序)的可执行指令。因此，这些无线电话可包括相当大的计算能力。
数字信号处理器(DSP)、图像处理器及其它处理装置常用于包括数字相机或显示由数字相机捕捉到的图像或视频数据的便携式个人计算装置中。此些处理装置可用以提供视频及音频功能、处理所接收到的数据(例如，所捕捉到的图像数据)或执行其它功能。
所捕捉到的图像数据可遭受一个或一个以上问题，例如因手抖动而导致的移位误差、对象在图像中的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差及几何失真。
发明内容
可使用执行图像的配准及组合的可配置图像处理架构来组合多个图像，以克服可能发生于个别图像中的问题。控制单元可调整分层图像配准及分层图像组合的操作，以实现组合输入图像数据的各种效应。举例来说，前两组图像数据可经组合以用减少的重像来实现手抖动减少，接下来的两组图像数据可经组合以产生增强的场深图像，且其它组图像可经组合以产生高动态范围图像。
在特定实施例中，揭示一种方法，所述方法包括接收对应于第一图像的第一图像数据及对应于第二图像的第二图像数据。所述方法包括通过施加对应于所述第二图像数据的若干部分之间相对于所述第一图像数据的对应部分的偏移的一组运动向量数据而调整所述第二图像数据，以产生经调整的第二图像数据。所述方法进一步包括通过至少部分地基于将第一图像数据的第一特性与第二图像数据的第二特性进行比较而选择性地组合来自第一图像数据的第一值与来自经调整的第二图像数据的第二值来产生第三图像数据。
在另一特定实施例中，揭示一种方法，所述方法包括确定对应于第一图像数据的第一组块中的每一块与第二图像数据的第一组块中的对应块之间的偏移的第一组运动向量。所述方法还包括对第一组运动向量中的对应于第二图像数据的第一组块中的特定块的运动向量上取样，以将所述运动向量施加到第二图像数据的第二组块。第二图像数据的第二组块包括于所述特定块内。所述方法还包括确定对应于在将所述运动向量施加到第二组块之后第一图像数据的第二组块中的每一者与第二图像数据的第二组块中的对应块之间的偏移的第二组运动向量。所述方法还包括将所述第二组运动向量施加到第二图像数据，以产生经调整的第二图像数据，并选择性地组合所述第一图像数据与所述经调整的第二图像数据。
在另一特定实施例中，揭示一种设备。所述设备包括配准电路，其经配置以基于对应于第一图像的第一图像数据及对应于第二图像的第二图像数据而产生一组运动向量数据。所述设备还包括组合电路，其用以选择性地组合所述第一图像数据与经调整的第二图像数据。所述经调整的第二图像数据对应于根据所述运动向量数据而调整的第二图像数据。所述设备进一步包括控制电路，其用以控制所述组合电路以产生第三图像数据。
在另一特定实施例中，揭示一种设备。所述设备包括配准装置，其用于基于对应于第一图像的第一图像数据及对应于第二图像的第二图像数据而产生一组运动向量数据。所述设备还包括组合装置，其用于选择性地组合所述第一图像数据与经调整的第二图像数据。所述经调整的第二图像数据对应于根据所述运动向量数据而调整的第二图像数据。所述设备进一步包括控制装置，其用于控制所述组合装置以产生第三图像数据。
所揭示的方法及设备的实施例所提供的一个特定优点是对与图像相关联的问题(例如，因手抖动而导致的移位、对象在图像中的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差及几何失真)的校正及改进。
在审阅包括以下部分的整个申请案之后，本发明的其它方面、优点及特征将变得明显：附图说明、具体实施方式及权利要求书。
附图说明
图1为包括具有图像组合模块的图像处理系统的系统的特定说明性实施例的框图；
图2为说明包括图像组合引擎的系统的第一实施例的框图；
图3为说明包括图像组合引擎的系统的第二实施例的框图；
图4为说明包括图像组合电路的系统的实施例的框图；
图5为逻辑上说明用于手抖动的校正及用于减少因移动的对象而导致的对象模糊的图像组合引擎的实施例的操作的图；
图6为逻辑上说明用以产生高动态范围图像的图像组合引擎的实施例的操作的图；
图7为逻辑上说明用于场深度增强的图像组合引擎的实施例的操作的图；
图8说明横向色差；
图9说明图像的几何失真的第一实施例；
图10说明图像的几何失真的第二实施例；
图11为逻辑上说明用于图像的几何失真的校正的图像组合引擎的实施例的操作的图；
图12为选择性地组合图像的方法的流程图；
图13为执行分层组合过程的方法的流程图；
图14为执行图像改进过程的方法的流程图；以及
图15为包括图像组合模块的便携式电子装置的框图。
具体实施方式
图1为包括具有图像组合模块的图像处理系统的系统的特定说明性实施例的框图。系统100包括图像捕捉装置101，其耦合到图像处理系统130。图像处理系统130耦合到图像存储装置140。图像处理系统130经配置以从图像捕捉装置101接收图像数据109，并组合多个图像，从而提供对与所述多个图像相关联的问题(例如，因手抖动而导致的移位、对象在图像中的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差及几何失真)的校正或改进。一般来说，系统100可实施于经配置以使用相对有限的处理资源来执行实时图像处理的电子装置中。
在特定实施例中，图像捕捉装置101为相机，例如摄像机或静物相机。在其它实施例中，图像捕捉装置101可为包含于蜂窝式电话、个人数字助理(PDA)等中的相机。图像捕捉装置101包括透镜102，其响应聚焦模块104及曝光模块106。传感器108经耦合以经由透镜102接收光，并响应于经由透镜102接收到的图像而产生图像数据109。聚焦模块104可响应传感器108，且可适于自动地控制透镜102的聚焦。曝光模块106也可响应传感器108，且可适于控制图像的曝光度。在特定实施例中，传感器108包括多个检测器或像素阱，其经布置以使得邻近检测器检测不同色彩的光。举例来说，所接收到的光可经滤光以使得每一检测器接收红色、绿色或蓝色传入光。
图像捕捉装置101经耦合以将图像数据109提供给图像处理系统130。图像处理系统130包括去马赛克模块110，其用以对从图像捕捉装置101接收到的图像数据109执行去马赛克操作。色彩校正模块112经配置以对经去马赛克的图像数据执行色彩校正。伽马模块114经配置以从接收自色彩校正模块112的数据产生经伽马校正的图像数据。色彩转换模块116经耦合以对经伽马校正的图像数据执行色彩空间转换。图像处理系统130还包括图像组合模块118，其经配置以组合多个图像，如相对于图2到图14所论述。压缩及存储模块120经耦合以接收图像组合模块118的输出，并将经压缩的输出数据存储在图像存储装置140处。图像存储装置140可包括任何类型的存储媒体，例如一个或一个以上显示缓冲器、寄存器、高速缓冲存储器、快闪存储器元件、硬盘、任何其它存储装置，或其任何组合。
如所论述，在特定实施例中，传感器108包括检测不同色彩(例如，红色、绿色及蓝色(RGB))的光的多个检测器。因此，可在RGB色彩空间中接收图像。在特定实施例中，可通过色彩转换模块116将所述图像转换到其它色彩空间，例如“YCbCr”色彩空间。YCbCr色彩空间为其中图像由亮度(或辉度)分量(YCbCr色彩空间中的Y分量)及色度分量(YCbCr色彩空间中的Cb及Cr分量)表示的色彩空间的实例。在YCbCr色彩空间中，Cb为蓝色减亮度(B-Y)，且Cr为红色减亮度(R-Y)。
在操作期间，图像组合模块118可校正或改进对应于输入图像数据109的图像。举例来说，可对图像进行校正或改进，以补偿与所捕捉到的图像相关联的问题，例如因手抖动而导致的移位、对象在图像中的移动、过度曝光、曝光不足、近场或远场中的不良聚焦、横向色差及几何失真。
虽然在图1中所说明的特定实施例中，图像组合模块118在图像处理管线中紧跟色彩转换模块116之后，但在其它实施例中，图像组合模块118可实施于图像处理管线内的其它位置处。此外，虽然将图像捕捉装置102说明为具有单个传感器108，但在其它实施例中，图像捕捉装置102可具有多个传感器。举例来说，图像捕捉装置102可具有经配置以在各种条件下(例如，使用不同曝光度设定或不同焦距设定)执行对特定场景的多个同时图像捕捉的两个或两个以上传感器。
图2说明具有图像组合引擎205的系统200，图像组合引擎205具有第一图像输入201以接收对应于第一图像的第一图像数据。在特定实施例中，系统200可包括于图1的图像组合模块118中。举例来说，第一图像可由相机透镜102捕捉，且经由传感器108、去马赛克模块110、色彩校正模块112、伽马模块114及色彩转换模块116在第一图像输入201处提供给图像组合引擎205。
图像组合引擎205进一步包括第二图像输入202以接收对应于第二图像的第二图像数据。在特定实施例中，第二图像可由相机透镜102捕捉，且经由传感器108、去马赛克模块110、色彩校正模块112、伽马模块114及色彩转换模块116在第二图像输入202处提供给图像组合引擎205。
第一图像与第二图像由图像组合引擎205组合。举例来说，图像组合引擎205可根据相对于图3到图14而描述的实施例而操作。
图像组合引擎205经配置以产生经组合的图像输出206。在特定实施例中，图像组合引擎205通过至少部分地基于将第一图像的第一特性与第二图像的第二特性进行比较而选择性地组合来自第一图像输入201的第一值与来自第二图像输入202的经调整的第二值，来产生经组合的图像输出206。举例来说，当第一图像的区散焦，但第二图像的对应区对焦时，图像组合引擎205可选择对应于来自第二图像的区的经组合的图像输出206的像素值。可进行比较的特性的其它实例包括图像的对比度、图像的亮度分量之间的偏差及图像的经滤波的特性(例如，经低通滤波的数据、经高通滤波的数据)。在特定实施例中，经组合的图像输出206可耦合到例如图像存储装置140等图像存储装置。
在其它实施例中，图像组合引擎205可包括额外图像输入。另外或其它，经组合的图像输出206可耦合到第一图像输入201，进而实现将图像组合引擎205的输出与在第二图像输入202上接收到的额外图像输入进行组合以反复组合输出图像与额外输入图像的能力。举例来说，可通过以下步骤来组合三组图像数据以形成单个图像：将第一组图像数据施加到第一图像输入201，且将第二组图像数据施加到第二图像输入202；以及将所得经组合的图像施加到第一图像输入201，且将第三组图像数据施加到第三图像输入202，从而产生所有三组图像数据的经组合的图像。
图3说明具有图像组合引擎305的系统300。在系统300中，图像组合引擎305包括：配准电路321，其对单独的图像输入进行配准；组合电路323，其组合单独的图像输入；以及控制电路325，其控制配准电路321及组合电路323。在说明性实施例中，系统300可包括于图1的图像组合模块118或图2的图像组合引擎205中。
在特定实施例中，配准电路321包括第一亮度输入311、第二亮度输入313及耦合到组合电路323的输出322。配准电路321经配置以确定来自第一亮度输入311的数据与来自第二亮度输入313的数据之间的差异，并在输出322处将偏移数据提供给组合电路323。在特定实施例中，第一亮度输入311为编码于YCbCr色彩空间中的第一图像的Y分量数据，且第二亮度输入313为编码于YCbCr色彩空间中的第二图像的Y分量数据。如图3中所说明，配准电路321仅使用来自待配准的图像的亮度分量来执行图像配准。在其它实施例中，除亮度分量之外或代替亮度分量，配准电路321可使用图像数据的其它分量来执行配准。
组合电路323包括第一图像输入315、第二图像输入317、用以接受来自配准电路321的配准数据的输入及经组合的图像输出306。在特定实施例中，第一图像输入315接收用于编码于YCbCr色彩空间中的第一图像的数据，且第二图像输入317接收用于编码于YCbCr色彩空间中的第二图像的数据。组合电路323经配置以选择性地组合第一图像与已基于配准电路321所检测到的差异而调整(即，调整成与第一图像数据对准)的第二图像。配准电路321经配置以响应输入326，以在控制电路325的控制下操作，且组合电路323经配置以响应输入324，以在控制电路325的控制下操作。
在特定实施例中，图像组合电路323通过至少部分地基于将第一图像的第一特性与第二图像的第二特性进行比较而选择性地组合来自第一图像输入315的第一值与来自第二图像输入317的第二值，来产生经组合的图像输出306。作为说明性实例，特性可包括焦距、对比度、方差或频谱。举例来说，图像组合电路323可基于以下各项而组合第一图像输入315的区与第二图像输入317的区：哪一图像输入在区中具有较佳焦距、哪一图像输入在区中具有较佳对比度、配准之后在区中在两个图像输入之间检测到多少方差、或用以改进经组合的图像输出306的质量的其它特性。图像组合电路323可从控制电路325接收指示选定特性的输入324、在逐区或甚至逐像素基础上评估相应图像，并基于输入图像的区或像素的基于所评估特性的选择性地组合而产生经组合的图像。
参看图4，描绘选择性地组合多个图像的系统，且以400概括地表示所述系统。在特定实施例中，系统400可包括于图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305或其任何组合中。系统400包括分层配准电路420，其耦合到分层组合电路460。分层配准电路420及分层组合电路460耦合到专用控制电路432。专用控制电路432及分层组合电路460还耦合到加权表434。
分层配准电路420经配置以接收对应于第一图像的第一图像亮度数据402及对应于第二图像的第二图像亮度数据404，并使用粗略配准电路422及精细配准电路424对第一图像亮度数据402及第二图像亮度数据404执行配准过程。分层配准电路420经配置以产生指示第一图像亮度数据402与第二图像亮度数据404的对应部分之间的所检测到的偏移的一组精细运动向量429。在特定实施例中，所述组精细运动向量429包括用以使可能因相机移动、图像移动或两者而未对准的图像对准的量值及方向数据。如所说明，分层配准电路420对图像亮度数据进行操作以实现计算效率。然而，在其它实施例中，除亮度数据之外或代替亮度数据，分层配准电路420可使用其它类型的图像数据(例如，色度分量数据、红色数据、蓝色数据或绿色数据，或其任何组合)来进行操作。
在特定实施例中，粗略配准电路422包括运动向量产生电路426。运动向量产生电路426可经配置以将第一图像亮度数据402及第二图像亮度数据404中的每一者分割成块，以执行所述块之间的粗略配准过程。举例来说，运动向量产生电路426可在逻辑上将第一图像亮度数据402及第二图像亮度数据404中的每一者划分成一组3×3重叠块，且可使用所述重叠块的投影来产生可应用于使第二图像亮度数据404的块中的每一者与第一图像亮度数据402的对应块对准的一组粗略运动向量427。在其它实施例中，可使用任何数目的块，且块中的一些或全部可为非重叠块。
精细配准电路424经配置以接收所述组粗略运动向量427，并产生一组精细运动向量429。在特定实施例中，精细配准电路424包括运动向量上取样电路428，其耦合到宏块细化电路430。运动向量上取样电路428可接收所述组粗略运动向量427并对其进行上取样，以产生具有比所述组粗略运动向量427精细的粒度的运动向量。举例说明，图像亮度数据402及404可配置为M×N宏块阵列，其中每一宏块对应于图像的十六像素乘十六像素区。运动向量上取样电路428可产生M×N运动向量集合，其将所述组粗略运动向量427中的对应运动向量施加到每一宏块。
在特定实施例中，宏块运动向量细化电路430经耦合以接收所述组经上取样的运动向量427及图像亮度数据402及404，并产生一组经细化的运动向量429。举例来说，宏块运动向量细化电路430可经配置以将所述组经上取样的运动向量427中的每一运动向量施加到其在第二图像数据中的对应宏块，以使第二图像数据的宏块与第一图像数据的对应宏块粗略地对准。宏块运动向量细化电路430可搜索在经粗略对准的宏块周围的第一图像数据402的区，以确定经粗略对准的宏块与第一图像数据402的较精确对准。可基于从专用控制电路432接收到的搜索范围控制信号435选择搜索区。所述组经细化的运动向量429可指示对应于每一宏块的较精确对准的向量数据，以实现第一图像亮度数据402及第二图像亮度数据404的逐宏块配准。
宏块运动向量细化电路430可通过执行为每一运动向量选择多个可能均方误差(MSE)中的最低所计算MSE或另一范数的算法来确定所述组经细化的运动向量429。举例来说，对于第二图像亮度数据404的特定宏块，可考虑宏块与第一图像亮度数据402的多个可能对准，且为所述组经细化的运动向量429选择导致最低所计算MSE的对准。可将针对每一宏块而确定的均方误差作为运动向量(MV)均方差数据431提供给分层组合电路460。
在特定实施例中，分层组合电路460经配置以使用粗略组合电路462及精细组合电路464来组合第一图像数据406与第二图像数据408。第一图像数据406可包括用于第一图像的第一亮度数据402且还包括用于第一图像的色度数据以作为YCbCr图像数据。第二图像数据408可包括用于第二图像的第二亮度数据404及用于第二图像的色度数据以作为YCbCr数据。
在特定实施例中，粗略组合电路462包括宏块图像对准电路466及块MSE差异鉴别器电路468。宏块图像对准电路466可经配置以将所述组经细化的运动向量429施加到第二图像数据408，以产生对准到第一图像数据的第二图像的图像数据。举例来说，宏块图像对准电路466可经配置以在确定宏块重叠时组合第二图像中的像素值，或在宏块经重新对准以产生不在任何宏块内的第二图像数据的区的情况下内插像素值。宏块图像对准电路466可将第一图像数据406及第二图像的经对准的图像数据提供给块MSE差异鉴别器电路468。
在特定实施例中，块MSE差异鉴别器电路468经配置以对从宏块图像对准电路466接收到的数据执行粗略组合过程。明确地说，块MSE差异鉴别器电路468可去除并未与第一图像数据406充分匹配的第二图像的经对准的图像数据的宏块。举例来说，可将每一宏块的MV MS差数据431与阈值进行比较。当对于特定宏块来说，MS差超过阈值时，确定所述特定宏块在第一图像数据406与第二图像的经对准的图像数据之间过于不同，且因此不应为所述特定宏块组合图像数据。
举例来说，在移动对象出现于第一图像数据406中的第一宏块中(但未出现于第二图像的经对准的图像数据中的第一宏块中)，且移动对象出现于第二图像的经对准的图像数据中的第二宏块中(但未出现于第一图像数据406的第二宏块中)的情况下，归因于对应均方误差差异，可确定第一宏块不可在第一图像与第二图像之间组合，且可确定第二宏块不可在第一图像与第二图像之间组合。块MSE差异鉴别器电路468可经配置以将每一不可组合的宏块从经对准的第二图像数据移除，使得仅使用来自第一图像数据406的宏块的像素值。举例来说，可从第一图像数据406复制宏块的像素值，以代替第二图像的经对准图像数据的对应宏块中的像素值。
如所说明，块MSE差异鉴别器电路468响应专用控制电路432。举例来说，专用控制电路432可提供阈值控制信号437，其指示待用于将第一图像数据与第二图像的经对准图像数据的宏块之间的MSE差异进行比较的阈值差异。在粗略组合过程之后，块MSE差异鉴别器电路468可将两组图像数据(包括对应于第一图像的图像数据及对应于第二图像的图像数据)输出到精细组合电路464。
精细组合电路464经配置以接收已配准且粗略对准的第一及第二图像数据，并执行精细组合过程以产生输出图像数据480。在特定实施例中，精细组合电路464包括第一滤波器470及第二滤波器472，其耦合到平均像素MS差电路474。精细组合电路464还包括图像组合电路476，其耦合到平均像素MS差电路474并耦合到加权表434。
第一图像的所接收数据可由第一滤波器470处理，且第一图像的经滤波数据被提供给平均像素MS差电路474。第二图像的所接收数据可由第二滤波器472处理，且第二图像的经滤波数据被提供给平均像素MS差电路474。滤波器470及472可响应专用控制电路432。举例来说，滤波器470及472可从专用控制电路432接收响应控制信号439，其指示滤波器响应特性，例如低通响应、高通响应、带通响应、任何其它滤波器响应，或其任何组合。滤波器470及472可包括3×3核心或任何其它大小的核心。在特定实施例中，滤波器470及472具有响应专用控制电路432的核心大小。
平均像素MS差电路474可经配置以接收对应于每一图像的经滤波数据，并执行逐像素的带正负号的均方差运算。差运算可针对每一特定像素使用特定像素的亮度及色度值中的每一者来产生带正负号的值，其指示第一图像的经滤波数据与第二图像的经滤波数据之间的差异。平均像素MS差电路474可经配置以将差异数据作为平均像素差异结果提供给图像组合电路476。
图像组合电路476可经配置以针对每一像素从平均像素MS差异电路474接收差值，并确定输出图像数据480中的每一像素的像素值。举例来说，特定像素的所接收差值可作为加权表434处的查找操作而提供。查找操作的结果可确定输出图像数据480中的像素值具有来自从粗略组合电路462接收到的第一图像数据的值、来自从粗略组合电路462接收到的第二图像数据的值，还是其组合。
加权表434可包括指示待施加到第一图像数据的像素值的第一权重及待施加到第二图像数据的像素值的第二权重的数据。加权表434可提供对应于待施加到第一图像数据的权重的具有约0到1的范围的输出值“W”，及对应于待施加到第二图像数据的权重的值1-W。加权表可响应来自专用控制电路432的表控制信号433。
在操作期间，专用控制电路432可确定一个或一个以上控制参数，其用以控制系统400处的图像配准及组合过程。举例来说，专用控制电路432可选择以下各项的值：用以指示宏块配准的积极性的搜索范围控制信号435、用以指示宏块组合的可接受差异的量的阈值控制信号433、用以指示待执行的滤波的类型的响应控制信号439及用以指示对如何基于图像之间的经滤波的像素差异来组合图像进行的加权的表控制信号433。
虽然将系统400说明为包括经配置以执行特定过程的硬件电路，但在其它实施例中，系统400的一个或一个以上组件可由执行处理器指令的处理器来执行。举例来说，由电路420、422、424、426、428、430、432、434、460、462、464、466、468、470、474或476执行的功能中的一者或一者以上可由已经编程以执行上文所描述的功能或通用算法中的一者或一者以上的图像处理器、数字信号处理器(DSP)或通用处理器来执行。在其它实施例中，可用包括于硬件、固件、执行计算机可读指令的处理器或其任何组合中的组件来代替电路420、422、424、426、428、430、432、434、460、462、464、466、468、470、474或476中的一者或一者以上。
结合图5到图11而论述说明图像组合的特定实施例，且其对理解可在这些特定实施例中实施的图4的图像组合电路400的操作有用。
参看图5，提供逻辑上说明用于校正手抖动且减少因移动对象而导致的对象模糊的图像组合引擎的实施例的操作的图。出于图5中的说明的目的，以圆形表示移动对象502，且以三角形说明图像的因抖动而移位的部分504。第一列521大体表示第一图像的处理路径，且第二列523大体表示第二图像的处理路径。
在说明性实施例中，可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行用以去除手抖动的第一及第二图像的数据流501。在第二说明性实施例中，可根据图12的选择性图像组合方法1200、图13的分层配准过程1300、图14的图像改进过程1400或其任何组合来执行用以去除手抖动的第一及第二图像的数据流501。
最初，提供第一图像及第二图像作为对产生粗略配准512的粗略配准过程及产生精细配准514的精细配准过程的输入。粗略配准过程及精细配准过程经配置以确定第一图像与第二图像之间的差异。如所说明，粗略配准512可将每一组图像数据细分成例如第一部分530等部分，且可确定第一图像的第一部分与第二图像的第一部分之间的偏移。精细配准514可进一步将每一部分细分成(例如)对应于图像的十六像素乘十六像素区域的宏块(说明为在第一部分530内的第二部分532)。精细配准516可确定第一图像的第二部分与第二图像的第二部分之间的偏移，且可经由运动向量(例如，图4的所述组精细运动向量429中的运动向量)表示偏移。
基于图像的配准使第二图像的块与第一图像的块对准以产生粗略组合块对准516。
粗略组合块差异过程基于移动对象502(由圆形表示)在第一图像与第二图像之间移位的像素数目来检测对象502，以产生粗略组合块差异518。对象在其被视为移动对象之前必须移位的像素数目可视不同应用而变化，且在特定实施例中，由专用配准控制模块(例如，图4的专用配准控制模块431或图3的控制电路325)控制。在检测到移动对象之后，通过用第一图像的对应块代替第二图像中具有移动对象的块而将移动对象从第二图像去除，这可在组合图像时实质上减少因移动对象而导致的“重像”。通过粗略配准过程及精细配准过程来调整因手抖动而导致的移位504(说明为三角形)，使得可在逐像素基础上组合图像。举例来说，精细组合过程可对第一及第二经配准图像的值求平均，以实现减小的图像误差及减少的噪声。所得的经组合图像提供对与图像相关联的问题(例如，因手抖动而导致的移位及因对象在图像中的移动而导致的重影)的校正或改进，同时具有比第一或第二图像数据中的任一者小的噪声。
作为说明性、非限制性实例，可在由专用控制电路(ASCC)432控制的手抖动减少与对象模糊减少模式下，在图4的系统400处执行数据流501。ASCC 432可经由搜索范围控制信号435指令分层配准电路420使用较大的搜索范围来检测对象运动。ASCC 432可(例如)通过根据最大预期或测得噪声值加预定裕量设定阈值而经由阈值信号437指令粗略组合电路462不组合彼此远离的块。ASCC 432可经由响应信号439配置精细组合电路464的滤波器470及472，以在每一平面(例如，Y、Cb及Cr)的全通模式下操作，以实现基于经滤波的图像特性进行的比较。ASCC 432可经由表信号433配置加权表434以提供加权函数，加权函数致使精细组合电路464在经滤波的图像数据的平均像素MS差的量值小于选定量时，使用从粗略组合电路462接收到的第一图像数据及第二图像数据中的像素值的平均值，且在其它情况下仅使用第一图像数据中的像素值来产生输出图像数据480的像素值。
参看图6，展示逻辑上说明用以产生高动态范围图像的图像组合的实施例的操作的图。第一列621表示以相对较短的曝光时间拍摄的图像的处理路径，其产生图像的经适当曝光且表示为适当曝光部分602的部分及图像的曝光不足且表示为曝光不足部分604的部分。第二列623表示以相对较长的曝光时间拍摄的图像的处理路径，这导致图像的经过度曝光且表示为过度曝光部分606的部分及图像的经适当曝光且表示为适当曝光部分608的部分。
在说明性实施例中，可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行用以提供高动态范围(HDR)图像的第一及第二图像的数据流601。在第二说明性实施例中，可根据图12的选择性图像组合方法1200、图13的分层配准过程1300、图14的图像改进过程1400或其任何组合来执行用以提供HDR图像的第一及第二图像的数据流601。
最初，提供第一处理路径621中的第一图像及第二处理路径623中的第二图像作为对提供粗略配准612的粗略配准过程及提供精细配准614的精细配准过程的输入。粗略配准过程及精细配准过程确定第一图像与第二图像之间的差异。
基于图像的配准使第二图像的块与第一图像的块对准以产生粗略组合616。粗略组合616进一步去除经配准图像中的不充分匹配(例如，归因于图像中的对象运动)的块，如图5中所描述。
精细组合过程在逐像素基础上组合第一图像的适当曝光部分602与第二图像的适当曝光部分608，从而产生具有适当曝光的HDR图像的精细组合。在特定实施例中，可使用精细组合过程来实行其它图像增强功能。
作为说明性、非限制性实例，可在由专用控制电路(ASCC)432控制的高动态范围模式下，在图4的系统400处执行数据流601。ASCC 432可经由搜索范围控制信号435指令分层配准电路420不依靠精细运动向量估计，例如使用极小或零搜索范围。ASCC432可经由阈值信号437指令粗略组合电路462使用极高阈值或停用废弃块。ASCC 432可经由响应信号439配置精细组合电路464的滤波器470及472，以将参考图像的亮度滤波器设定为平均值并将所有其它滤波器设定为零，以实现基于经滤波图像特性的比较。ASCC 432可经由表信号433配置加权表434以提供加权函数，所述加权函数致使精细组合电路464在经滤波的图像数据的平均像素MS差小于第一量时使用第一图像数据中的像素值、在经滤波的图像数据的平均像素MS差大于第二量时使用第二图像数据中的像素值且在经滤波的图像数据的平均像素MS差的量值介于第一量与第二量之间时使用向从粗略组合电路462接收到的第一图像数据及第二图像数据中的像素值的平均值的平滑转变来产生输出图像数据480的像素值。
图7为逻辑上说明用于场深度增强的图像组合引擎的实施例的操作的图。如图7中所说明，第一处理路径721中的第一图像包括聚焦的近场部分702及模糊的远场部分704。第二处理路径723中的第二图像包括模糊的近场部分706及聚焦的远场部分708。
在说明性实施例中，可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的图像组合电路400或其任何组合中执行用以提供场深度增强的第一及第二图像的数据流701。在第二说明性实施例中，可根据图12的选择性图像组合方法1200、图13的分层配准过程1300、图14的图像改进过程1400或其任何组合来执行用以提供场深度增强的第一及第二图像的数据流701。
最初，提供第一图像及第二图像作为对产生粗略配准图像712的粗略配准过程及产生精细配准图像714的精细配准过程的输入。粗略配准图像712及精细配准图像714经配置以确定第一图像与第二图像之间的差异。在配准之后，通过粗略组合过程基于图像的配准使第二图像的块与第一图像的块对准，以产生粗略组合图像716。粗略组合过程进一步去除因经配准的图像中的一者中的移动对象而导致的不匹配块。
精细组合过程在逐像素基础上组合第一图像的聚焦近场部分702与第二图像的聚焦远场部分708，从而产生聚焦的经组合图像以产生精细组合图像718。在特定实施例中，可使用精细组合过程来实行其它图像增强功能。提供具有增强的场深度的图像。
作为说明性、非限制性实例，可在由专用控制电路(ASCC)432控制的增强的场深度模式下，在图4的系统400处执行数据流701。ASCC 432可经由搜索范围控制信号435指令分层配准电路420使用较大的搜索范围来实现对象移动检测。ASCC 432可(例如)通过根据最大预期或测得噪声值加预定裕量设定阈值而经由阈值信号437指令粗略组合电路462不组合彼此远离的块。ASCC 432可经由响应信号439配置精细组合电路464的滤波器470及472，以具有对亮度数据的高通滤波器响应及对色度数据的零，以实现基于经滤波的图像特性进行的比较。ASCC 432可经由表信号433配置加权表434以提供加权函数，所述加权函数致使精细组合电路464在经滤波的图像数据的平均像素MS差小于零时使用第一图像数据中的像素值，且在经滤波的图像数据的平均像素MS差大于零时转变为使用第二图像数据中的像素值，来产生输出图像数据480的像素值。
转向图8，说明横向色差。如图8所说明，将传入光描绘为入射于透镜上的平面803、805及807。归因于透镜的折射性质，入射光的每一所检测到的色彩可具有分别说明为视野813、815及817的稍微不同的视野，如在传感器阵列处所接收。在特定实施例中，使用传感器输出产生的三个色彩平面(例如，红色、绿色及蓝色平面)的配准可补偿不同视野。
图9及图10说明分别具有几何失真的图像902及1002。几何失真可由许多因素(包括成像系统的机械、光学及电组件中的透镜失真及其它失真)导致。在特定实施例中，几何上失真的图像的重取样可校正几何失真。
图11为逻辑上说明用于校正图像的几何失真的图像组合引擎的实施例的操作的框图。在图11中，提供具有几何失真的单个图像1104作为对粗略配准过程的输入以产生粗略配准图像1112。粗略配准过程可使用可经预定义并基于由成像系统的机械、光学及电组件导致的已知几何失真的一组粗略配准向量来进行图像1104的粗略重取样。
精细配准过程接着可使用可经预定义并基于已知几何失真的一组精细配准向量来进行图像1104的精细重取样以产生精细配准图像1114。接着将经重取样的图像1115提供给产生粗略组合图像1116的粗略组合过程及产生精细组合图像1118的精细组合模块。在特定实施例中，图像1104还可与其它图像组合以用于其它校正，从而提供经校正的图像1120。
在说明性实施例中，可在图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合中执行用以提供对图像的几何失真的校正的图像的数据流1101。在第二说明性实施例中，可根据图12的选择性图像组合方法1200、图13的分层配准过程1300、图14的图像改进过程1400或其任何组合来执行用以提供对图像的几何失真的校正的图像的数据流1101。
转向图12，以1200概括地展示选择性图像组合方法。在说明性实施例中，方法1200可由图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。在1202处，接收对应于第一图像的第一图像数据及对应于第二图像的第二图像数据。在特定实施例中，可在具有亮度分量及色度分量的色彩空间中接收第一图像数据及第二图像数据。在另一特定实施例中，可在YCbCr色彩空间中接收第一图像数据及第二图像数据。在1204处，可计算对应于第二图像数据的部分与第一图像数据的对应部分之间的偏移的一组运动向量数据。举例来说，可使用用以产生第一组运动向量以使图像数据大致对准的粗略配准电路及用以基于第一组运动向量产生一组较精细的运动向量的精细配准电路来计算所述组运动向量数据。
在1206处，通过施加对应于第二图像数据的若干部分之间相对于第一图像数据的对应部分的偏移(如所描述)的所述组运动向量数据而调整第二图像数据。因此，第二图像数据经调整以较接近地对准到第一图像数据，以补偿在捕捉第一图像数据与第二图像数据之间的相机移动或对象在图像中的移动。在1208处，通过至少部分地基于将第一图像数据的第一特性与第二图像数据的第二特性进行比较而选择性地组合来自第一图像数据的第一值与来自经调整的第二图像数据的第二值，来产生第三图像数据。可进行比较的特性的实例包括图像的焦距、图像的对比度、图像的亮度分量之间的偏差及图像的经滤波的特性(例如，经低通滤波的数据、经高通滤波的数据)。
在特定实施例中，选择性组合包括粗略组合操作及精细组合操作。可对经调整的第二图像数据的宏块执行粗略组合操作，且可对第一图像数据及第二经调整的图像数据的像素执行精细组合操作。粗略组合操作可包括在经调整的第二图像数据的一个或一个以上宏块与第一图像数据的对应宏块之间的差异超过可选择阈值时，选择性地废弃经调整的第二图像数据的一个或一个以上宏块。举例来说，可选择阈值可由图4的专用控制电路432所提供的阈值控制信号437指示。在另一特定实施例中，精细组合操作包括对第一图像数据及经调整的第二图像数据进行滤波以比较经滤波的图像特性，且基于经滤波的图像特性而选择性地组合第一值与第二值。经滤波的图像特性可在图4的平均像素差异电路474处进行比较，且用于查询加权表434以产生用于第一图像数据及经调整的第二图像数据的经加权组合的权重。
在特定实施例中，第一图像数据的第一特性及第二图像数据的第二特性指示图像的聚焦条件(例如，对焦或散焦)、对象在第一图像及第二图像内的移动或图像的曝光度。此外，在特定实施例中，可基于对第一图像数据的经滤波部分与第二图像数据的经滤波部分进行比较而组合第一图像数据与第二图像数据的值。举例来说，第一图像数据的经滤波部分可在图4的平均像素差异电路474处与第二图像数据的经滤波部分进行比较，且比较的结果可用于确定待施加到第一图像数据的值及第二图像数据的值的相对权重。第一图像数据及第二图像数据可为(例如)在相机的图像传感器处捕捉到的连续帧。
在特定实施例中，当满足特定条件时，可废弃第一或第二图像数据的像素或块，并用来自第一或第二图像数据中的另一者的像素或块来代替所述像素或块。举例来说，当针对手抖动或运动的检测而调整图像时，可废弃经调整的第二图像的宏块内的像素。可废弃第一图像或经调整的第二图像中的像素以实现场深度增强。相比第一图像或第二图像，所得第三图像数据可针对手抖动、移动、场深度增强、横向色差及几何失真而增强。
在特定实施例中，如图13所说明，基于分层配准过程1300而确定所述组运动向量数据。分层配准过程1300可由图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。分层结构过程提供相对于稳健性操作点而调整分辨率的能力，并减少计算需求。分层配准过程1300包括：确定第一图像的第一部分与第二图像的第一部分之间的第一对准偏移(在1302处)；以及基于第一对准偏移而确定第一图像的第二部分与第二图像的第二部分之间的第二对准偏移，其中第一图像的第二部分在第一图像的第一部分内(在1304处)。在一个特定实施例中，第一图像的第一部分为第一图像的3×3矩阵中的9个分区中的一者，且第一图像的第二部分对应于第一图像的十六像素乘十六像素区域。
图14描绘说明图像改进方法1400的实施例的流程图。在说明性实施例中，图像改进方法1400可由图1的图像组合模块118、图2的图像组合引擎205、图3的图像组合引擎305、图4的系统400或其任何组合来执行。在1402处，确定对应于第一图像数据的第一组块中的每一块与第二图像数据的第一组块中的对应块之间的偏移的第一组运动向量。举例来说，第一组运动向量可为图4的所述组粗略运动向量427。
在1404处，对第一组运动向量中对应于第二图像数据的第一组块中的特定块的运动向量上取样，以将运动向量施加到第二图像数据的第二组块，第二图像数据的所述第二组块包括于所述特定块内。举例来说，图4的运动向量上取样电路428可将一组3×3重叠块中的特定块的运动向量上取样到所述特定块内的一组宏块。
在1406处，确定对应于在施加第一组运动向量中的运动向量之后第一图像数据的第二组块中的每一者与第二图像数据的第二组块中的对应块之间的偏移的第二组运动向量。举例来说，第二组运动向量可为由图4的宏块细化电路430产生的所述组精细运动向量429。在1408处，将第二组运动向量施加到第二图像数据以产生经调整的第二图像数据。
在特定实施例中，基于经由控制输入(例如，图3的输入326或图4的宏块细化电路430处所接收到的搜索范围控制信号435)指示的可选搜索范围而确定第二组运动向量。可选搜索范围可限制在施加第一组运动向量中的运动向量之后第一图像数据的第二组块中的每一者与第二图像数据的第二组块中的对应块之间的偏移。
在1410处，选择性地组合第一图像数据与经调整的第二图像数据的部分。举例来说，可在区或逐像素(或两者)基础上组合第一图像数据与第二图像数据。举例说明，可由图4的分层组合电路460来组合第一图像数据与经调整的第二图像数据。
在特定实施例中，第一图像数据与经调整的第二图像数据的选择性地组合产生第三图像数据。第三图像数据可具有比第一图像数据大的场深度、比第一图像数据小的噪声或比第一图像数据大的动态分辨率。
图15为包括图像组合模块的系统的特定实施例的框图。系统1500可实施于便携式电子装置中，并包括耦合到存储器1532的信号处理器1510，例如数字信号处理器(DSP)。系统1500包括图像组合模块1564。在说明性实例中，图像组合模块1564包括图1到图5的系统中的任一者，根据图12到图14的方法中的任一者而操作，或其任何组合。图像组合模块1564可并入到信号处理器1510中或可为单独的装置。
相机接口1568耦合到信号处理器1510，且还耦合到例如相机1570等相机。相机1570可为摄像机或静止图像相机，或可实施上述两个功能性。显示器控制器1526耦合到信号处理器1510，且耦合到显示装置1528。编码器/解码器(编解码器)1534也可耦合到信号处理器1510。扬声器1536及麦克风1538可耦合到编解码器1534。无线接口1540可耦合到信号处理器1510，且耦合到无线天线1542。
在特定实施例中，信号处理器1510包括图像组合模块1564，其适于确定对应于第一图像数据的第一组块中的每一块与第二图像数据的第一组块中的对应块之间的偏移的第一组运动向量。图像组合模块1564可适于对第一组运动向量中对应于第二图像数据的第一组块中的特定块的运动向量上取样，以将运动向量施加到第二图像数据的第二组块。第二图像数据的第二组块包括于所述特定块内。图像组合模块1564可适于确定对应于在施加第一组运动向量中的运动向量之后第一图像数据的第二组块中的每一者与第二图像数据的第二组块中的对应块之间的偏移的第二组运动向量。图像组合模块1564可适于将第二组运动向量施加到第二图像数据，以产生经调整的第二图像数据。图像组合模块1564可适于选择性地组合第一图像数据与经调整的第二图像数据的部分，以产生第三图像数据。
举例来说，图像组合模块1564可包括图4的分层配准电路420，其包括用以对所述组粗略运动向量427中的运动向量上取样的运动向量上取样电路428。经上取样的运动向量可对应于3×3块栅格的特定块，且可上取样到特定块内的每一宏块。图像组合模块1564还可包括图4的分层组合电路460，其用以(例如)在粗略组合电路462处及精细组合电路464处选择性地组合图像数据。
信号处理器1510还可适于产生已由图像组合模块1564处理的图像数据。作为说明性、非限制性实例，经处理的图像数据可包括来自摄像机1570的视频数据、来自经由无线接口1540的无线发射或来自其它源(例如，经由通用串行总线(USB)接口(未图标)耦合的外部装置)的图像数据。
显示器控制器1526经配置以接收经处理的图像数据，并将经处理的图像数据提供给显示装置1528。此外，存储器1532可经配置以接收并存储经处理的图像数据，且无线接口1540可经配置以接收经处理的图像数据，以供经由天线1542发射。
在特定实施例中，信号处理器1510、显示器控制器1526、存储器1532、编解码器1534、无线接口1540及相机接口1568包括于封装内系统或芯片上系统装置1522中。在特定实施例中，输入装置1530及电源1544耦合到芯片上系统装置1522。此外，在特定实施例中，如图15中所说明，显示装置1528、输入装置1530、扬声器1536、麦克风1538、无线天线1542、摄像机1570及电源1544在芯片上系统装置1522的外部。然而，显示装置1528、输入装置1530、扬声器1536、麦克风1538、无线天线1542、摄像机1570及电源1544中的每一者可耦合到芯片上系统装置1522的组件，例如接口或控制器。
在特定实施例中，系统1500可充当个人数字助理(“PDA”)、蜂窝式电话或类似装置。系统1500可适于(例如)经由输入装置1530提供用户可控制输入，且可包括用以控制控制图像组合模块1564并接收用户可控制输入的控制电路。
所属领域的技术人员将进一步了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、配置、模块、电路及算法步骤实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的这种可互换性，上文已大体按其功能性描述了各种说明性组件、块、配置、模块、电路及步骤。将此功能性实施为硬件还是软件取决于特定应用及强加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同的方式实施所描述的功能性，但此些实施决策不应被解释为导致脱离本发明的范围。
结合本文中所揭示的实施例而描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中实施。软件模块可驻存在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可装卸盘、压缩光盘只读存储器(CD-ROM)，或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻存在专用集成电路(ASIC)中。ASIC可驻存在计算装置或用户终端中。在替代方案中，处理器及存储媒体可作为离散组件驻存在计算装置或用户终端中。
提供对所揭示实施例的先前描述是为了使所属领域的技术人员能够制作或使用所揭示的实施例。对这些实施例的各种修改对于所属领域的技术人员来说将是显而易见的，且可在不脱离本发明的范围的情况下，将本文中所定义的原理应用于其它实施例。因此，本发明无意被限定于本文所展示的实施例，而是应被赋予与如所附权利要求书所界定的原理及新颖特征一致的最宽可能范围。

Claims (27)

1.一种方法，其包含：
接收对应于第一图像的第一图像数据及对应于第二图像的第二图像数据；
通过施加对应于所述第二图像数据的若干部分之间相对于所述第一图像数据的对应部分的偏移的一组运动向量数据而调整所述第二图像数据，以产生经调整的第二图像数据；以及
通过至少部分地基于对所述第一图像数据的第一特性与所述第二图像数据的第二特性进行比较而选择性地组合来自所述第一图像数据的第一值与来自所述经调整的第二图像数据的第二值来产生第三图像数据。
2.根据权利要求1所述的方法，其中所述选择性组合包括粗略组合操作及精细组合操作。
3.根据权利要求2所述的方法，其中对所述经调整的第二图像数据的宏块执行所述粗略组合操作，且其中对所述第一图像数据的及所述经调整的第二图像数据的像素执行所述精细组合操作。
4.根据权利要求2所述的方法，其中所述粗略组合操作包括在所述经调整的第二图像数据的一个或一个以上宏块与所述第一图像数据的对应宏块之间的差异超过可选阈值时，选择性地废弃所述经调整的第二图像数据的所述一个或一个以上宏块。
5.根据权利要求2所述的方法，其中所述精细组合操作包括对所述第一图像数据及所述经调整的第二图像数据进行滤波以比较经滤波的图像特性，且其中基于所述经滤波的图像特性而选择性地组合所述第一值与所述第二值。
6.根据权利要求1所述的方法，其中所述第一特性及所述第二特性指示聚焦条件、对象在所述第一图像及所述第二图像内的移动，或曝光度。
7.根据权利要求1所述的方法，其中至少部分地基于对所述第一图像数据的经滤波部分与所述第二图像数据的经滤波部分进行比较而选择性地组合所述第一值与所述第二值。
8.根据权利要求1所述的方法，其中所述第一图像数据及所述第二图像数据包括在相机的图像传感器处捕捉到的连续帧，其中所述第一图像数据包括对应于所述第一图像的第一组宏块，其中所述第二图像数据包括对应于所述第二图像的第二组宏块，且其中调整所述第二图像数据包括将所述组运动向量数据施加到所述第二组宏块。
9.根据权利要求1所述的方法，其中经由分层配准过程来确定所述组运动向量数据。
10.根据权利要求9所述的方法，其中所述分层配准过程包括：
确定所述第一图像的第一部分与所述第二图像的第一部分之间的第一对准偏移；以及
基于所述第一对准偏移而确定所述第一图像的第二部分与所述第二图像的第二部分之间的第二对准偏移，其中所述第一图像的所述第二部分在所述第一图像的所述第一部分内。
11.根据权利要求1所述的方法，其中当调整图像以补偿手抖动减少时，废弃所述经调整的第二图像数据的宏块内的像素。
12.根据权利要求1所述的方法，其中所述第三图像数据调整所述第一图像数据及所述第二图像数据以补偿横向色差。
13.一种方法，其包含：
确定对应于第一图像数据的第一组块中的每一块与第二图像数据的第一组块中的对应块之间的偏移的第一组运动向量；
对所述第一组运动向量中对应于所述第二图像数据的所述第一组块中的特定块的运动向量进行上取样，以将所述运动向量施加到所述第二图像数据的第二组块，所述第二图像数据的所述第二组块包括于所述特定块内；
确定对应于在将所述运动向量施加到所述第二组块之后所述第一图像数据的第二组块中的每一者与所述第二图像数据的所述第二组块中的对应块之间的偏移的第二组运动向量；
将所述第二组运动向量施加到所述第二图像数据，以产生经调整的第二图像数据；以及
选择性地组合所述第一图像数据与所述经调整的第二图像数据，以产生第三图像数据。
14.根据权利要求13所述的方法，其中所述第三图像数据具有以下各项中的至少一者：比所述第一图像数据大的场深度、比所述第一图像数据小的噪声，或比所述第一图像数据大的动态范围。
15.根据权利要求13所述的方法，其中基于经由控制输入指示的可选搜索范围而确定所述第二组运动向量。
16.根据权利要求15所述的方法，其中所述可选搜索范围限制在将所述运动向量施加到所述第二组块之后所述第一图像数据的所述第二组块中的每一者与所述第二图像数据的所述第二组块中的所述对应块之间的所述偏移。
17.一种设备，其包含：
配准电路，其经配置以基于对应于第一图像的第一图像数据及对应于第二图像的第二图像数据而产生一组运动向量数据；
组合电路，其经耦合以选择性地组合所述第一图像数据与经调整的第二图像数据，其中所述经调整的第二图像数据对应于在根据所述运动向量数据调整之后的所述第二图像数据；以及
控制电路，其用以控制所述组合电路以产生第三图像数据。
18.根据权利要求17所述的设备，其中所述配准电路包括粗略配准电路及精细配准电路。
19.根据权利要求17所述的设备，其中所述组合电路包括粗略组合电路及精细组合电路。
20.根据权利要求17所述的设备，其中所述配准电路包含：
运动向量产生电路，其具有经耦合以接受所述第一图像数据的第一输入、经耦合以接受所述第二图像数据的第二输入及运动向量产生输出；
运动向量上取样电路，其具有经耦合以接受所述运动向量产生输出的输入，并提供运动向量上取样输出；以及
宏块运动向量细化电路，其具有经耦合以接受所述第一图像数据的第一输入、经耦合以接受所述第二图像数据的第二输入、经耦合以接受所述运动向量上取样输出的第三输入，且具有宏块运动向量输出及宏块差异输出。
21.根据权利要求17所述的设备，其中所述组合电路包含：
宏块图像对准电路，其具有经耦合以接收所述第一图像数据的第一输入及经耦合以接收所述第二图像数据的第二输入、经耦合以接收宏块运动向量信号的第三输入、经对准的第一图像输出及经对准的第二图像输出；
块差异鉴别器电路，其具有经耦合以接收所述经对准的第一图像输出的第一输入、经耦合以接收所述经对准的第二图像输出的第二输入、经耦合以接收宏块差异信号的第三输入，且具有第一图像差异输出及第二图像差异输出；以及
平均像素差异电路，其具有耦合到所述块差异鉴别器电路的第一输入，且经配置以提供像素差异输出信号以指示平均像素差异结果。
22.根据权利要求21所述的设备，其进一步包含：
第一滤波器，其耦合于所述块差异鉴别器电路与所述平均像素差异电路之间，具有经耦合以接收所述第一图像差异输出的第一输入及提供经滤波的第一图像差异输出的输出；以及
第二滤波器，其耦合于所述块差异鉴别器电路与所述平均像素差异电路之间，具有经耦合以接收所述第二图像差异输出的第一输入，且具有用以提供经滤波的第二图像差异输出的输出。
23.根据权利要求17所述的设备，其进一步包含：
相机透镜；以及
耦合到所述相机透镜的电路，其用以产生所述第一图像数据并产生所述第二图像数据。
24.根据权利要求23所述的设备，其进一步包含处理器，所述处理器耦合到无线收发器以经由天线发送及接收数据。
25.根据权利要求23所述的设备，其中所述设备为个人数字助理(“PDA”)。
26.一种设备，其包含：
配准装置，其用于基于对应于第一图像的第一图像数据及对应于第二图像的第二图像数据而产生一组运动向量数据；
组合装置，其用于选择性地组合所述第一图像数据与经调整的第二图像数据，其中所述经调整的第二图像数据对应于在根据所述运动向量数据调整之后的所述第二图像数据；以及
控制装置，其用于控制所述组合装置以产生第三图像数据。
27.根据权利要求26所述的设备，其进一步包含：
相机透镜；以及
耦合到所述相机透镜的电路，其用以产生所述第一图像数据及所述第二图像数据。
CN2009801498261A 2008-12-19 2009-12-18 选择性地组合图像的系统及方法 Pending CN102246203A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/340,522 2008-12-19
US12/340,522 US20100157079A1 (en) 2008-12-19 2008-12-19 System and method to selectively combine images
PCT/US2009/068842 WO2010071841A1 (en) 2008-12-19 2009-12-18 System and method to selectively combine images

Publications (1)

Publication Number Publication Date
CN102246203A true CN102246203A (zh) 2011-11-16

Family

ID=41718227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801498261A Pending CN102246203A (zh) 2008-12-19 2009-12-18 选择性地组合图像的系统及方法

Country Status (7)

Country Link
US (2) US20100157079A1 (zh)
EP (1) EP2380133A1 (zh)
JP (1) JP2012513173A (zh)
KR (1) KR20110099038A (zh)
CN (1) CN102246203A (zh)
TW (1) TW201036421A (zh)
WO (1) WO2010071841A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160419A (zh) * 2013-03-11 2014-11-19 Lsi公司 具有实现不同精度的软件及硬件算法的评价层的图像处理器
CN106462745A (zh) * 2014-06-19 2017-02-22 高通股份有限公司 基于内容滤波的结构光三维(3d)深度图
CN114503541A (zh) * 2019-08-06 2022-05-13 三星电子株式会社 用于多帧融合的有效率的正则化图像对准的装置和方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157079A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
KR101614914B1 (ko) * 2009-07-23 2016-04-25 삼성전자주식회사 모션 적응적 고대비 영상 획득 장치 및 방법
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8478076B2 (en) 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
JP5653104B2 (ja) * 2010-07-16 2015-01-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20120019677A1 (en) * 2010-07-26 2012-01-26 Nethra Imaging Inc. Image stabilization in a digital camera
US8374453B2 (en) * 2010-11-10 2013-02-12 Raytheon Company Integrating image frames
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
JP6058257B2 (ja) 2011-07-06 2017-01-11 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP5546593B2 (ja) * 2011-09-02 2014-07-09 キヤノン株式会社 画像表示装置及びその制御方法
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム
TWI585742B (zh) * 2012-08-17 2017-06-01 I-Cubed Res Center Inc An image output device, an image output method, and a program
CN104584532B (zh) * 2012-08-23 2017-07-28 富士胶片株式会社 图像处理装置、摄像装置、计算机、图像处理方法及程序
US20140125831A1 (en) * 2012-11-06 2014-05-08 Mediatek Inc. Electronic device and related method and machine readable storage medium
KR101440826B1 (ko) * 2013-02-05 2014-09-23 광주과학기술원 이미지 정합 방법 및 이미지 정합 장치
US9509919B2 (en) 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US9232119B2 (en) * 2013-10-08 2016-01-05 Raytheon Company Integrating image frames
US9010900B1 (en) * 2013-10-25 2015-04-21 Eastman Kodak Company Color-to-color correction in a printing system
US9972068B2 (en) 2014-02-04 2018-05-15 Koninklijke Philips N.V. Method for registering and visualizing at least two images
US9213287B1 (en) 2014-07-31 2015-12-15 Eastman Kodak Company Document registration using registration error model
US9162475B1 (en) * 2014-07-31 2015-10-20 Eastman Kodak Company Reducing registration errors using registration error model
US9346301B2 (en) 2014-07-31 2016-05-24 Eastman Kodak Company Controlling a web-fed printer using an image region database
US9250595B1 (en) 2014-07-31 2016-02-02 Eastman Kodak Company Controlling an electrophotographic printer using an image region database
US9340047B2 (en) 2014-07-31 2016-05-17 Eastman Kodak Copmany Controlling a printer using an image region database
US10282825B2 (en) * 2016-09-13 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and imaging apparatus
JP2018055589A (ja) * 2016-09-30 2018-04-05 セイコーエプソン株式会社 プログラム、物体の追跡方法、表示装置
CN110463197B (zh) 2017-03-26 2021-05-28 苹果公司 增强立体相机成像系统中的空间分辨率
JP6647246B2 (ja) * 2017-06-28 2020-02-14 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP7057079B2 (ja) * 2017-09-01 2022-04-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110099207B (zh) * 2018-01-31 2020-12-01 成都极米科技股份有限公司 一种用于克服摄像头不稳定的有效图像计算方法
US10440341B1 (en) * 2018-06-07 2019-10-08 Micron Technology, Inc. Image processor formed in an array of memory cells
JP7247501B2 (ja) * 2018-09-21 2023-03-29 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム
US11184446B2 (en) 2018-12-05 2021-11-23 Micron Technology, Inc. Methods and apparatus for incentivizing participation in fog networks
US11327551B2 (en) 2019-02-14 2022-05-10 Micron Technology, Inc. Methods and apparatus for characterizing memory devices
US11256778B2 (en) 2019-02-14 2022-02-22 Micron Technology, Inc. Methods and apparatus for checking the results of characterized memory searches
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0388936A2 (en) * 1989-03-22 1990-09-26 Matsushita Electric Industrial Co., Ltd. Image pickup device
CN1710485A (zh) * 2004-06-18 2005-12-21 佳能株式会社 执行调焦的成像装置及其控制方法
US20070242900A1 (en) * 2006-04-13 2007-10-18 Mei Chen Combining multiple exposure images to increase dynamic range
US20080056613A1 (en) * 2006-08-31 2008-03-06 Sanyo Electric Co., Ltd. Image combining device and imaging apparatus

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US518118A (en) * 1894-04-10 William e
JPH03270567A (ja) 1990-03-20 1991-12-02 Fuji Photo Film Co Ltd 画像信号補正方法
US5402171A (en) * 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US5519441A (en) * 1993-07-01 1996-05-21 Xerox Corporation Apparatus and method for correcting offset and gain drift present during communication of data
US5450502A (en) * 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US5690106A (en) * 1995-06-30 1997-11-25 Siemens Corporate Research, Inc. Flexible image registration for rotational angiography
US5647360A (en) * 1995-06-30 1997-07-15 Siemens Corporate Research, Inc. Digital subtraction angiography for 3D diagnostic imaging
JPH10319517A (ja) * 1997-05-21 1998-12-04 Konica Corp 画像形成装置、及びレンズ付きフィルムユニットの製造方法
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
US6298144B1 (en) * 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP3707259B2 (ja) * 1998-09-10 2005-10-19 コニカミノルタフォトイメージング株式会社 画像合成方法及びこの方法を用いた画像合成装置
US20010035976A1 (en) * 2000-02-15 2001-11-01 Andrew Poon Method and system for online presentations of writings and line drawings
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
DE10064184C1 (de) * 2000-12-22 2002-04-04 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
DE60135559D1 (de) * 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050117799A1 (en) * 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP4530277B2 (ja) * 2005-02-25 2010-08-25 株式会社リコー 画像再生装置、画像再生方法、プログラムおよび記録媒体
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
DE602006006752D1 (de) * 2005-06-01 2009-06-25 Fraunhofer Ges Forschung Verfahren zur optischen Bestimmung des dynamischen Verhaltens von kontrahierenden Zellen
US7489825B2 (en) * 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
JP2007028088A (ja) 2005-07-14 2007-02-01 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
US20070033090A1 (en) * 2005-08-08 2007-02-08 Connors Daniel P Method for substitution of employees in a service engagement
EP1915860A2 (en) * 2005-08-12 2008-04-30 Nxp B.V. Method and system for digital image stabilization
KR101304342B1 (ko) * 2005-10-12 2013-09-11 실버크레스트 인베스트먼트 홀딩스 리미티드 이미지 처리방법 및 시스템
CN100539648C (zh) 2006-05-11 2009-09-09 精工爱普生株式会社 摄像元件及摄像装置和方法
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US7636496B2 (en) 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
KR20080009787A (ko) 2006-07-25 2008-01-30 세메스 주식회사 기판 정렬 감지 센서를 구비한 기판 지지 장치
WO2008031089A2 (en) * 2006-09-08 2008-03-13 Sarnoff Corporation System and method for high performance image processing
TW200820123A (en) 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
KR100888429B1 (ko) 2007-05-03 2009-03-11 엠텍비젼 주식회사 영상 밝기 조절 장치 및 그 방법
JP4341695B2 (ja) 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
JP5082776B2 (ja) * 2007-10-31 2012-11-28 オムロン株式会社 画像処理装置
US8724921B2 (en) * 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
US20100015078A1 (en) * 2008-07-18 2010-01-21 Yujun Li Conditioning composition comprising dual cationic surfactant system, aminosilicone and silicone resin
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US20100157079A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0388936A2 (en) * 1989-03-22 1990-09-26 Matsushita Electric Industrial Co., Ltd. Image pickup device
CN1710485A (zh) * 2004-06-18 2005-12-21 佳能株式会社 执行调焦的成像装置及其控制方法
US20070242900A1 (en) * 2006-04-13 2007-10-18 Mei Chen Combining multiple exposure images to increase dynamic range
US20080056613A1 (en) * 2006-08-31 2008-03-06 Sanyo Electric Co., Ltd. Image combining device and imaging apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LUCA BOGONI ET AL: "Pattern-selective color image fusion", 《PATTERN RECOGNITION》 *
楚恒 等: "结合多分辨率与块分割的不同聚焦图像融合", 《计算机应用研究》 *
王宏 等: "一种基于图像块分割的多聚焦图像融合方法", 《上海交通大学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104160419A (zh) * 2013-03-11 2014-11-19 Lsi公司 具有实现不同精度的软件及硬件算法的评价层的图像处理器
CN106462745A (zh) * 2014-06-19 2017-02-22 高通股份有限公司 基于内容滤波的结构光三维(3d)深度图
CN114503541A (zh) * 2019-08-06 2022-05-13 三星电子株式会社 用于多帧融合的有效率的正则化图像对准的装置和方法

Also Published As

Publication number Publication date
US8797421B2 (en) 2014-08-05
WO2010071841A1 (en) 2010-06-24
EP2380133A1 (en) 2011-10-26
JP2012513173A (ja) 2012-06-07
US20130251283A1 (en) 2013-09-26
KR20110099038A (ko) 2011-09-05
TW201036421A (en) 2010-10-01
US20100157079A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
CN102246203A (zh) 选择性地组合图像的系统及方法
KR101352730B1 (ko) 비디오 프레임 이미지 데이터를 선택적으로 결합하기 위한 시스템 및 방법
CN102257531B (zh) 高动态范围图像组合
RU2321964C2 (ru) Устройство записи и воспроизведения изображения, устройство съема изображения и способ коррекции хроматической аберрации
KR101342728B1 (ko) 이미지 선택 및 결합 방법 및 디바이스
JP5833794B2 (ja) 撮像装置
US20040041919A1 (en) Digital camera
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
US20160117806A1 (en) Image processing device, image capture device, image processing method, and program
WO2014122804A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9799105B2 (en) Image processing device, imaging device, image processing method, and program for restoration processing based on a point spread function and a frame after a frame to be processed
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
US7570879B2 (en) Image sensing apparatus, control method therefor, and automatic focus adjusting device for image sensing apparatus
KR101337667B1 (ko) 휘도 정보에 기초하여 보정된 값들을 이용한 렌즈 롤 오프 보정 동작
WO2013183379A1 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
WO2011086227A1 (en) Digital camera image error detection
JP2006215105A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111116

WD01 Invention patent application deemed withdrawn after publication