CN109792485B - 用于融合图像的系统及方法 - Google Patents

用于融合图像的系统及方法 Download PDF

Info

Publication number
CN109792485B
CN109792485B CN201780056844.XA CN201780056844A CN109792485B CN 109792485 B CN109792485 B CN 109792485B CN 201780056844 A CN201780056844 A CN 201780056844A CN 109792485 B CN109792485 B CN 109792485B
Authority
CN
China
Prior art keywords
image
electronic device
camera
images
aligned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780056844.XA
Other languages
English (en)
Other versions
CN109792485A (zh
Inventor
J·W·纳什
K·M·阿塔纳索夫
S·R·戈马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202110879580.6A priority Critical patent/CN113572963B/zh
Priority to CN202311164121.5A priority patent/CN117061885A/zh
Publication of CN109792485A publication Critical patent/CN109792485A/zh
Application granted granted Critical
Publication of CN109792485B publication Critical patent/CN109792485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明描述一种通过电子装置执行的方法(200)。所述方法包含从第一摄影机获得(202)第一图像，所述第一摄影机具有第一焦距及第一视场。所述方法还包含从第二摄影机获得(204)第二图像，所述第二摄影机具有第二焦距及安置在所述第一视场内的第二视场。所述方法进一步包含对准(206)所述第一图像的至少一部分及所述第二图像的至少一部分以产生经对准图像。所述方法另外包含基于扩散核融合(208)所述经对准图像以产生经融合图像。所述扩散核指示灰度级范围内的阈值水平。所述方法还包含输出所述经融合图像。所述方法可针对视频馈送的多个帧中的每一者执行。

Description

用于融合图像的系统及方法
相关申请案
本申请案涉及且主张针对“用于融合图像的系统及方法(SYSTEMS AND METHODSFOR FUSING IMAGES)”在2016年9月30日提出申请的美国临时专利申请案第62/402,182号的优先权。
技术领域
本发明大体来说涉及电子装置。更具体来说，本发明涉及用于融合图像的系统及方法。
背景技术
一些电子装置(例如，摄影机、视频便携式摄影机、数字摄影机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄影机、动作摄影机、监控摄影机、安装式摄影机、连接式摄影机、机器人、遥控飞机、智能应用程序、保健设备、机顶盒，等)捕获及/或利用图像。例如，智能电话可捕获及/或处理静止及/或视频图像。处理图像可能需要相对大量的时间、存储器及能量资源。所需资源可根据处理的复杂性而变化。
某些类型的图像可能受到细节限制，而某些类型的图像可能在视场上受到限制。如从此论述可观察到，改进图像处理的系统及方法可为有益的。
发明内容
本发明描述一种通过电子装置执行的方法。所述方法包含，对于视频馈送的多个帧中的每个者，从第一摄影机获得第一图像，第一摄影机具有第一焦距长度及第一视场。所述方法还包含，对于多个帧中的每一者，从第二摄影机获得第二图像，第二摄影机具有安置在第一视场内的第二焦距及第二视场。所述方法进一步包含：对于多个帧中的每个者，对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像。所述方法还包含，对于多个帧中的每个者，基于扩散核融合经对准图像以产生经融合图像。所述扩散核指示灰度级范围内的阈值水平。所述方法还包含，对于多个帧中的每个者，输出经融合图像。
融合经对准图像可基于由参考图像结构引导的平均滤波器。平均滤波器可具有基于对比度的自适应带宽。自适应带宽可相对于降低的对比度提供增加的平均值。融合经对准图像可包含根据基于经对准图像之间的光度相似性度量的加权来组合经对准图像。组合经对准图像可包含混合经对准图像的一或多个像素值。
融合经对准图像可包含确定光度相似性度量。融合经对准图像还可包含确定扩散核。融合经对准图像还可包含基于光度相似性度量及扩散核来混合经对准图像。
融合经对准图像可包含在所关注区域内合成经对准图像。合成经对准图像可包含从第一图像确定第一合成区域及从第二图像确定第二合成区域。合成经对准图像还可包含在第一合成区域与第二合成区域之间执行接缝混合。可执行合成经对准图像以便基于用第一图像的至少一部分替换第二图像中不存在的所关注区域的部分来恢复所关注区域。
可同时捕获第一图像及第二图像。可在不同时间捕获第一图像及第二图像。第一图像可为广角图像，且第二图像可为远摄图像。
本发明还描述一种电子装置。电子装置包含存储器及耦合到存储器的处理器。处理器经配置以，对于视频馈送的多个帧中的每一者，从第一摄影机获得第一图像，第一摄影机具有第一焦距及第一视场。处理器还经配置以，对于多个帧中的每一者，从第二摄影机获得第二图像，第二摄影机具有第二焦距，且第二视场安置在第一视场内。处理器经进一步配置以，对于多个帧中的每一者，对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像。处理器另外经配置以，对于多个帧中的每一者，基于扩散核融合经对准图像以产生经融合图像。所述扩散核指示灰度级范围内的阈值水平。处理器还经配置以针对多个帧的每一者输出经融合图像。
本发明还描述存储计算机可执行代码的非暂时性有形计算机可读媒体。所述计算机可读媒体包含用于致使电子装置针对视频馈送的多个帧中的每一者从第一摄影机获得第一图像的代码，所述第一摄影机具有第一焦距及第一视场。计算机可读媒体还包含用于致使电子装置对于多个帧中的每一者从第二摄影机获得第二图像的代码，第二摄影机具有第二焦距及安置在第一视场内的第二视场。计算机可读媒体进一步包含用于致使电子装置针对多个帧中的每一者对准第一图像的至少一部分及第二图像的至少一部分以产生经对准图像的代码。计算机可读媒体另外包含用于致使电子装置针对多个帧中的每一者基于扩散核融合经对准图像以产生经融合图像的代码。所述扩散核指示灰度级范围内的阈值水平。计算机可读媒体还包含用于致使电子装置针对多个帧中的每一者输出经融合图像的代码。
本发明还描述一种设备。设备包含用于从视频馈送的多个帧中的每一者获得来自第一摄影机的第一图像的装置，第一摄影机具有第一焦距及第一视场。设备还包含用于从多个帧中的每一者获得来自第二照摄影机的第二图像的装置，第二照摄影机具有第二焦距及安置在第一视场内的第二视场。设备进一步包含用于对准第一图像的至少一部分及第二图像的至少一部分以产生用于多个帧中的每一者的经对准图像的装置。设备另外包含用于基于扩散核融合经对准图像以产生用于多个帧中的每一者的经融合图像的装置。所述扩散核指示灰度级范围内的阈值水平。设备还包含用于为多个帧中的每一帧输出经融合图像的装置。
附图说明
图1为说明其中可实施用于融合图像的系统及方法的电子装置的一个实例的框图；
图2为说明用于融合图像的方法的一个配置的流程图；
图3为根据本文中所揭示的系统及方法的一些配置说明可利用的视场重叠的实例的图；
图4为根据本文中所揭示的系统及方法的一些配置说明用于平均滤波器的滤波带宽与对比度的实例的图；
图5为根据本文中所揭示的系统及方法的一些配置说明扩散核的一个实例的图；
图6为根据本文中所揭示的系统及方法的一些配置说明空间加窗口的实例的图；
图7为根据本文中所揭示的系统及系统的一些配置说明可实施的元件及/或组件(例如，算法)的实例的框图；
图8为根据本文中所揭示的系统及方法的一些配置说明可实施的图像组合器的实例的框图；
图9为根据本文中所揭示的系统及系统的一些配置说明可实施的元件及/或组件(例如，算法)的另一实例的框图；
图10为说明图像合成的实例的图。例如，图像合成可经执行以用于视场恢复；
图11为说明可经实施以执行图像合成的组件的一个配置的框图；
图12为说明用于图像合成的方法的一个配置的流程图；
图13为根据本文中所揭示的系统及方法的一些配置的图像融合的实例的图；
图14为根据本文中所揭示的系统及方法的一些配置的图像融合的另一实例的图；
图15为说明用于无缝地显示目标场景的图像或一系列图像的过程及/或系统的概述的实例的框图；
图16为说明用于图像融合的方法的更具体配置的流程图；及
图17说明可包含在电子装置内的某些组件。
具体实施方式
本文中所揭示的系统及方法的一些配置可涉及融合来自不同透镜的图像。例如，本文中所揭示的系统及方法的一些配置可经由各向异性组合及/或经由合成来实现立体图像融合及/或视场(FOV)恢复。
可在装置(例如，智能电话)中实施多个摄影机以改进图像质量。在一些实施方案中，可存在形状因子约束及/或孔径/传感器大小约束。
具有多个摄影机的一些方法可允许使用宽摄影机及远摄摄影机进行变焦。例如，可使用长焦距透镜来改进分辨率。在一些方法中，可利用空间及/或光度变换来将广角图像与远摄图像融合。变换及融合可提供广角与远摄摄影机之间的平稳过渡，这可改进用户体验及记录的视频质量。应注意，可对一或多个图像执行融合。例如，可从视频馈送(例如，在视频捕获期间)及/或视频缩放逐帧地进行融合。可另外或替代地对静止模式应用执行融合。
在本文中所揭示的系统及方法的一些配置中，可通过各向同性扩散来实现引导的噪声降低。例如，参考图像(例如，广角或远摄)图像结构可用于引导去噪滤波器。此可保留精细细节及/或可在低信噪比(SNR)下为其它变换方法提供优越的性能。
如下给出可用本文中所揭示的系统及方法解决一些问题。小光圈可能会导致噪声图像(例如，在智能手机摄影机中)。具有广角及远摄摄影机的一些方法在视频模式下不融合来自两个图像的像素。也就是说，具有广角及远摄双摄影机模块的一些方法在视频模式下不组合及/或合成来自两个摄影机的像素。基于变换的去噪可能在低信噪比(SNR)下破坏精细细节。一些方法不采用空间及光度对准。
本文中所揭示的系统及方法的一些配置可解决一些先前描述的问题(例如，提供解决方案)。在本文所揭示的系统及方法的一些配置中，空间及光度对准可允许基于扩散的去噪。参考图像(例如，广角图像或远摄图像)结构可用作引导平均滤波器的输入。对准及智能平均的组合可产生提高图像质量。例如，组合图像可减少所得图像中的噪声。更具体地，根据本文中所揭示的系统及方法的一些配置对图像进行求平均可通过组合来自多个摄影机的信息来抑制噪声。这可通过提供经改进的图像质量来提供经改进的用户体验。
此外，对准及组合来自两个摄影机的图像可提供来自广角摄影机的图像数据及来自远摄摄影机的图像数据之间的无缝转换。这可提供增强的用户体验，特别是对于缩放及视频应用。例如，本文中所揭示的系统及方法的一些配置可组合经对准图像，从而从统一的视角提供增强的(例如，去噪声的)图像质量及缩放。当在广角摄影机与远摄摄影机之间进行变焦时，此可在很大程度上避免抖动转换(在视场、图像质量、纵横比、透视及/或图像特性，例如颜色及白平衡)。
来自广角摄影机及远摄摄影机的合成图像可另外或替代地增强用户体验。例如，制造误差可能导致广角摄影机与远摄摄影机之间未对准。当在广角图像与远摄图像之间转换时(例如，在缩放应用、视频应用及/或静止模式应用中)，合成广角图像及远摄图像可恢复或保持原始视场。当利用来自两个摄影机的图像数据时，这可保持透视及/或可避免丢失视场数据。
应注意，融合图像可包含组合图像，合成(例如，拼接)图像或两者。例如，组合融合可提供去噪及/或细节增强。合成融合可提供像素恢复(例如，视场恢复)。因此，融合图像可包含仅在一些配置中组合图像，仅在一些配置中合成图像，或可包含在一些配置中组合及合成图像。应注意，融合可应用于静止图像，一系列图像(例如，视频帧)，及/或在缩放期间。
现在参考图描述各种配置，其中相同参考编号可指示功能上类似的元件。如本文中在图中一般性描述及说明的系统及方法可以广泛各种不同配置来布置及设计。因此，如图中所表示的数种配置的以下更详细的描述并非意欲限制所主张的范围，而仅仅为系统及方法的代表。
图1为说明其中可实施用于融合图像的系统及方法的电子装置102的一个实例的框图。电子装置102的实例包含摄影机、视频便携式摄影机、数字摄影机、蜂窝式电话、智能电话、计算机(例如，桌面式计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、汽车、个人摄影机、动作摄影机、监控摄影机、安装式摄影机、连接式摄影机、机器人、航空器、无人机、无人飞行载具(UAV)、医疗设备、游戏主控台、个人数字助理(PDA)、机顶盒，等。电子装置102可包含一或多个组件或元件。组件或元件中的一或多者可以硬件(例如，电路)或硬件及软件的组合(例如，具有指令的处理器)实施。
在一些配置中，电子装置102可包含处理器112、存储器126、显示器132、一或多个图像传感器104、一或多个光学系统106及/或通信接口108。处理器112可耦合到存储器126、显示器132、图像传感器104、光学系统106、及/或通信接口108(例如，与其电子通信)。应注意，图1中所说明的元件中的一或多者可为任选的。特定来说，电子装置102可能在一些配置中不包含图1中所说明的元件中的一或多者。例如，电子装置102可或可不包含图像传感器104及/或光学系统106。另外或替代地，电子装置102可或可不包含显示器132。另外或替代地，电子装置102可或可不包含通信接口108。
在一些配置中，电子装置102可在显示器132上呈现用户接口134。例如，用户接口134可使得用户能够与电子装置102交互。在一些配置中，显示器132可为触摸屏，其接收来自物理触摸的输入(例如，通过手指、触笔或其它工具)。另外或替代地，电子装置102可包含或耦接到另一输入接口。例如，电子装置102可包含面向用户的摄影机且可检测用户示意动作(例如，手势、手臂姿态、眼睛追踪、眼睑眨眼等)。在另一实例中，电子装置102可耦合到鼠标且可检测鼠标单击。在一些配置中，可在显示器132及/或用户接口134上呈现本文中所描述的一或多个图像(例如，广角图像、远摄图像、经融合图像等)。
通信接口108可使得电子装置102能够与一或多个其它电子装置通信。例如，通信接口108可提供用于有线及/或无线通信的接口。在一些配置中，通信接口108可以耦合到一或多个天线110用于发射及/或接收射频(RF)信号。另外或替代地，通信接口108可实现一或多个有线(例如，通用串行总线(USB)、以太网，等)通信。
在一些配置中，可实施及/或利用多个通信接口108。例如，一个通信接口108可为蜂窝式(例如，3G、长期演进(LTE)、CDMA，等)通信接口108，另一通信接口108可为以太网接口、另一通信接口108可为通用串行总线(USB)接口，且另一通信接口108可为无线局域网(WLAN)接口(例如，电气与电子工程师协会(IEEE)802.11接口)。
电子装置102(例如，图像获得器114)可获得一或多个图像(例如，数字图像、图像帧、帧、视频、广角图像，及/或远摄图像，等)。一或多个图像(例如，帧)可为场景(例如，一或多个物件，及/或背景)的图像。例如，电子装置102可包含一或多个图像传感器104及一或多个光学系统106(例如，透镜)。光学系统106可将位于光学系统106的视场内的对象的图像聚焦到图像传感器104上。光学系统106可在一些配置中耦合到处理器112及/或由处理器112控制。
摄影机可包含至少一个图像传感器及至少一个光学系统。因此，在一些实施方案中，电子装置102可为一或多个摄影机且/或可包含一或多个摄影机。在一些配置中，图像传感器104可捕获一或多个图像(例如，图像帧、视频、静止图像、丛发模式图像、立体图像、广角图像、远摄图像等)。在一些配置中，图像传感器104可捕获一或多个图像。在一些实施方案中，电子装置102可包含多个光学系统106及/或多个图像传感器104。例如，在某些配置中，电子装置102可包含两个透镜(例如，广角透镜及远摄透镜)。透镜可具有相同的焦距或不同的焦距。例如，在一些配置中，电子装置102可包含广角透镜及远摄透镜。在一些配置中，广角透镜及远摄透镜可各自与单独的图像传感器104配对。替代地，广角透镜及远摄透镜可共享相同的图像传感器104。
另外或替代地，电子装置102可请求及/或接收来自另一装置(例如，耦合到电子装置102的一或多个外部图像传感器、网络服务器、交通摄影机、水下摄影机、汽车摄影机、网络摄影机，等)的一或多个图像。在一些配置中，电子装置102可经由通信接口108请求及/或接收一或多个图像。例如，电子装置102可或可不包含摄影机(例如，图像传感器104及/或光学系统106)且可接收来自一或多个远端装置的图像(例如，广角图像及远摄图像)。
存储器126可存储指令及/或数据。处理器112可存取(例如，读取及/或写入)存储器126。可由存储器126存储的指令及/或数据的实例可包含图像数据128、图像获得器114指令、图像融合器118指令、图像组合器116指令、图像合成器120指令、图像对准器122指令及/或其它元件的指令等。
在一些配置中，电子装置102(例如，存储器126)可包含图像数据缓冲器(未展示)。图像数据缓冲器可缓冲(例如，存储)来自图像传感器104的图像数据(例如，图像帧)。缓冲的图像数据可被提供到处理器112。例如，存储器126可接收来自视频馈送的一或多个帧(例如，广角图像、远摄图像等)。
在一些配置中，电子装置102可包含摄影机软件应用程序及/或显示器132。当摄影机应用程序运行时，位于光学系统106的视场内的场景及/或对象的图像可由图像传感器104捕获。可在显示器132上呈现由图像传感器104捕获的图像。在一些配置中，这些图像可以相对高帧速率快速连续地显示，使得在任何给定时刻，位于光学系统106的视场内的对象被呈现在显示器132上。由电子装置102获得的一或多个图像可为一或多个视频帧及/或一或多个静止图像。
处理器112可包含及/或实施图像获得器114、图像融合器118、图像对准器122、图像合成器116，及/或图像合成器120。应注意，电子装置102及/或处理器112中所说明的元件中的一或多者可为任选的。例如，可或可不包含及/或实施图像组合器116或图像合成器120。另外或替代地，处理器112中所说明的元件中的一或多者可与处理器112分离地实施(例如，在其它电路中、在另一处理器上、在单独电子装置上、在图形处理单元(GPU)上等)。
处理器112可包含及/或实施图像获得器114。可向图像获得器114提供一或多个图像(例如，图像帧、视频、视频馈送、丛发镜头等)。例如，图像获得器114可从一或多个图像传感器104获得图像帧。例如，图像获得器114可从一或多个图像传感器104及/或从一或多个外部摄影机接收图像数据。如上文所描述，图像可从包含在电子装置102中的影像传感器104捕获，或可从一或多个远程摄影机捕获。在一些状况及/或配置中，可同时捕获广角图像及远摄图像。在一些状况及/或配置中，可在不同时间(例如，在不同时间帧)捕获广角图像及远摄图像。
在一些配置中，图像获得器114可获得一或多个广角图像及/或可获得一或多个远摄图像(例如，一系列广角图像及/或一系列远摄图像、视频、视频馈送等)。可使用广角透镜捕获广角图像。可用远摄透镜捕获远摄图像。广角透镜可具有比远摄透镜更短的焦距及/或更宽的视场(FOV)(例如，更大角度范围)。例如，远摄透镜可具有比广角透镜更窄的FOV(例如，更小的角度范围)。与广角透镜相比，远摄透镜可实现捕获更多细节及/或经放大图像。例如，广角透镜可具有相等或更短的焦距及/或可提供与“普通”透镜相等或更大的视场。另外或替代地，远摄透镜可具有相等或更长的焦距，可提供相等或更大的放大率，及/或可提供与“正常”透镜相等或更小的视场。在一个实例中，相对于全帧图像传感器的28毫米(mm)透镜可被认为是“正常”透镜。例如，可在智能手机摄影机中使用焦距为28mm的透镜。焦距等于或短于普通透镜(例如，28mm)(例如，相对于全帧传感器)的透镜可被视为“广角”透镜，而焦距等于或长于正常透镜(例如，28mm)的透镜可被认为是“远摄”透镜。在其它实例中，其它透镜焦距(例如，50mm)可被认为是“正常”透镜。应注意，本文中所揭示的系统及方法可用相同或不同焦距的多个透镜来实施。本文中参考广角透镜及远摄透镜所描述的配置可另外地或替代地利用具有相同或不同焦距的多个(例如，一对)透镜及/或相同或不同类型的透镜来实施(例如，多个广角透镜、多个远摄透镜、广角透镜及远摄透镜、多个正常透镜、正常透镜及广角透镜、普通透镜及远摄透镜等)。
本文中所揭示的系统及方法的一些配置是根据广角图像及远摄图像来描述的。应注意，可替代地针对第一图像及第二图像更一般地实施一些配置。例如，可从具有第一焦距及第一视场的第一摄影机获得第一图像。可从具有第二焦距及第二视场的第二摄影机获得第二图像。第一焦距及第二焦距可为相同或不同的。第一视场及第二视场可为相同或不同的。例如，第二摄影机可具有不同的焦距及/或视场，使得第二视场安置在第一视场内。
在一些配置中，图像获得器114可请求及/或接收一或多个图像(例如，图像帧、视频等)。例如，图像获得器114可经由通信接口108请求及/或接收来自远端装置(例如，外部摄影机、远程服务器、远程电子装置等)的一或多个图像。从摄影机获得的图像可由电子装置102融合。
处理器112可包含及/或实施图像对准器122。图像对准器122可基本上对准至少两个图像(例如，两个多于两个图像或其部分)(例如，匹配视点)。特别地，图像对准器122可执行空间对准及/或光度对准。在一些配置中，图像对准器122可记录、校正、对准及/或扭曲一或多个图像(例如，一系列图像，视频等)。例如，图像对准可包含在空间上对准图像，使得图像看起来取自相同的摄影机姿势。在一些配置中，例如，电子装置102(例如，处理器112)可在图像之间执行一或多个变换(例如，基于深度的变换)。对准图像(例如，广角图像及远摄图像)可产生经对准图像。在一些配置中，空间变换可取决于深度视差。例如，电子装置102可使用立体图像信息来确定(例如，计算)深度信息(例如，密集深度图)。可基于深度信息应用变换。另外地或替代地，可利用自动聚焦(AF)信息来确定深度信息。使用深度信息来应用变换可提高准确度(例如，对准准确度)及/或减少误差，这可改进图像融合。结合图7、9、12及15中的一或多者提供用于对准图像的方法的实例。
处理器112可包含及/或实施图像融合器118。图像融合器118可融合两个或多于两个图像(例如，广角图像及远摄图像，一系列广角图像和及远摄图像，广角视频流及远摄视频流，先前图像及后续图像等)。例如，融合两个图像可包含产生基于及/或包焊来自两个图像的数据(例如，像素数据、像素数据的总和等)的图像。在一些配置中，图像融合器118可包含图像组合器116及/或图像合成器120。在其它配置中，图像组合器116及/或图像合成器120中的一或多者可单独地及/或独立地实施。应注意，可在本文中所揭示的系统及方法的一些配置中不包含及/或实施图像合成器120。替代地，在本文中所揭示的系统及方法的一些配置中可不包含及/或实施图像组合器116。在一些配置中，图像融合器118可包含图像组合器116及图像合成器120。
图像组合器116可融合(例如，组合)图像(例如，经对准图像)。例如，图像组合器116可组合来自两个或多于两个图像的信息(例如，像素数据)以产生组合图像。例如，组合图像可包含确定相似性度量，确定扩散核，及/或混合经对准图像(基于相似性度量及/或扩散核)。
在一些配置中，图像组合器116可基于扩散核融合(例如，组合)经对准图像。在一些方法中，扩散核可计算(例如，可用于计算)要融合的对应区域之间的相似性度量。扩散核可用于基于噪声特性、对象运动程度、光水平及/或例如边缘方向的场景内容来控制及/或操纵扩散过程。扩散可为完成混合的带宽相关过程。扩散可通过核函数的大小及/或形状来控制。在低纹理区域(例如，平贴片)中，核可映射到低通滤波器以提供降噪。在高强度变化的区域(例如，边缘)中，核可“全通”以防止模糊。在扩散核取决于输入不同地起作用的意义上(例如，及/或在扩散核变为自适应带宽滤波器的意义上)，扩散核可为各向异性。扩散核可指示灰度级范围内的阈值水平。例如，阈值水平可根据灰度级而变化。在一些方法中，组合图像可包括基于相似性度量及扩散核确定图像之间的相似性度量(例如，光度相似性度量)、确定扩散核，及/或混合图像。
在一些方法中，组合图像可基于由参考图像结构引导的平均滤波器。参考图像可为用于融合的图像中的一者(例如，广角图像、远摄图像、经对准广角图像、经对准远摄图像等)。在一些配置中，主要在预览中显示的图像(例如，在显示器132上，经由用户接口134等)可为参考图像。在其它配置中，参考图像可静态地为远摄图像或广角图像。
平均滤波器可具有基于对比度的自适应带宽。自适应带宽可相对于降低的对比度提供增加的平均值。因此，具有较低对比量的图像(例如，广角图像与远摄图像)之间的重叠区域可经更多地平均，而具有更高对比量的区域(例如，边缘、细节等)可经更少地平均。
在一些配置中，融合(例如，组合)图像(例如，经对准图像)可包含根据基于相似性度量的加权来组合经对准图像。相似性度量可指示图像之间的相似度。例如，光度相似性度量(例如，D)可根据方程式(1)来计算。
D＝F(|SB-SA|) (1)
在方程式(1)中，D为光度相似性度量，F为函数，SB为第二图像(例如，远摄图像、非参考图像等)或其分量(例如，一或多个像素)，且SA为第一图像(例如，广角图像、参考图像，SAref等)或其分量(例如，一或多个像素)。在一些配置中，F可为单调递减函数，其控制对滤波器响应的局部邻域内的强度变化的混合灵敏度。光度相似性度量可基于第二图像(例如，远摄图像)与第一图像(例如，宽图像)之间的差异。例如，方程式(1)可写为D＝F(|Stele-Swide|)，其中Swide为广角图像(或其分量)且Stele为远摄图像(或其分量)。
在一些配置中，融合图像(例如，经对准图像)可基于扩散核。扩散核可指示灰度级范围内的阈值水平。结合图5提供扩散核的实例。扩散核(例如，阈值电平)可在具有低SNR的区域中提供更多的平均及/或可在具有高SNR的区域中提供更少的平均。在一些配置中，可根据方程式(2)表达扩散核。
K(D):K(0)＝1,K(∞)＝0,monotonic (2)
在方程式(2)中，D可表示相似性度量(例如，灰度级)，且K可表示扩散核值(例如，阈值水平)。例如，K为扩散内核的功能表示，其可为强度差D的函数。在一些配置中，K可实际上与方程式(1)中的F相似。
在一些配置中，组合图像可包含混合图像。如本文中所使用，术语“混合”可是指利用来自不同图像的信息(例如，像素、像素数据、像素分量数据、亮度、强度、颜色等)以产生混合图像。例如，混合图像可包含对来自不同图像的信息(例如，像素值)求和或添加。例如，可混合经对准图像中的每一者的一或多个像素值以产生混合值。在一些方法中，混合可包含确定(例如，计算、计算等)来自不同图像的信息的加权和(例如，像素值)。组合图像(例如，使用平均滤波器)可包含、可以利用及/或可基于相似性度量(例如，光度相似性度量)、扩散核及混合函数。例如，可根据基于经对准图像之间的光度相似性度量的加权来组合经对准图像。组合图像可包含混合经对准图像的一或多个像素值。在一些配置中，混合函数可如方程式(3)中所给出表达。
Scomb＝K(D)SB+(1-K(D))SAref (3)
在方程式(3)中，SAref为第一(例如，参考)图像(或其子集)，SB为第二图像(或其子集)，且Scomb为组合图像。在一个实例中，在广角图像(例如，Swide)为参考图像的情况下，方程式(3)可写成如下Scomb＝K(D)Stele+(1-K(D))Swide，其中Stele为远摄图像。在一些配置中，融合(例如，组合)图像(例如，经对准图像)可包含确定相似性度量、确定扩散核，以及基于光度相似性度量及扩散核来混合图像(例如，经对准图像)。应注意，方程式(3)可用于说明目的以展示可如何使用内核来改变来自两个图像的贡献。下面的方程式(4)提供可在一些配置中组合使用的方程式。
在一些方法中，混合功能可将一或多个先前帧与一或多个当前帧(例如，广角图像及/或远摄图像)混合。例如，可根据方程式(4)表示混合函数。
Scomb(n)＝K(D)SB(n)+(1-K(D))SAref(n)+Scomb(n-1) (4)
在方程式(4)中，n表示帧编号(例如，n可表示当前帧且n–1可表示先前帧)。例如，在一些方法中，方程式(4)可写成如下：Scomb(n)＝K(D)Stele(n)+(1-K(D))Swide(n)+Scomb(n-1)。
图像合成器120可合成图像(例如，经对准图像)。结合图10到11中的一或多者给出关于合成的更多细节。例如，图像合成器120可合成所关注区域内的图像(例如，经对准图像)。在一些状况下，由于导致光轴未对准的装配误差，在图像对准(例如，恢复、校正等)期间视场可能部分地丢失。可利用校准数据、立体深度信息及/或自动聚焦深度信息来确定丢失区域(例如，合成区域)。在一些实例中，合成可利用宽图像的外围来绘制远摄图像的丢失视场部分。
在一些配置中，图像合成可包含确定(例如，计算)一或多个合成区域及/或接缝混合。例如，合成器120可从广角图像(例如，在所关注区域内)及来自远摄图像的合成区域(例如，在所关注区域内)计算合成区域。合成器120可应用扩散滤波器以混合远摄图像与广角图像之间的接口。可执行合成经对准图像，以便基于用广角图像的区域替换由于基线偏移及摄影机轴未对准而在远摄图像中不存在的视场区域来恢复视场。
应注意，图像融合可包含图像组合、图像合成或两者。例如，本文中所揭示的系统及方法的一些配置可包含图像组合(而非图像合成)。本文中所揭示的系统及方法的其它配置可博涵图像合成(而非图像组合)。本文中所揭示的系统及方法的其它配置可包含图像组合及图像合成两者。
应注意，可组合及/或划分电子装置102的元件或组件中的一或多者。例如，可组合图像获得器114、图像对准器122、图像融合器118、图像组合器116及/或图像合成器120中的一或多者。另外或替代地，图像获得器114、区域对准器122、图像融合器118、图像组合器116及/或图像合成器120中的一或多者可经划分成执行其操作的子集的元件或组件。
图2为说明用于融合图像的方法200的一个配置的流程图。例如，方法200可由电子装置102执行。
电子装置102可获得202第一图像(例如，广角图像)。上述情形可如上面结合图1所描述完成。例如，电子装置102可捕获第一图像或可从另一装置接收第一图像。在一些配置中，可从第一摄影机获得第一图像。第一摄影机可具有第一焦距及第一视场。
电子装置102可获得204第二图像(例如，远摄图像)。上述情形可如上面结合图1所描述完成。例如，电子装置102可捕获第二图像或可从另一装置接收第二图像。在一些配置中，可从第二摄影机获得第二图像。第二摄影机可具有第二焦距及第二视场。在一些实施方案中，第二视场可安置在第一视场内。例如，第二视场可小于及/或包含在第一视场内。
电子装置102可将第一图像(例如，广角图像)及第二图像(例如，远摄图像)对准206以产生经对准图像。上述情形可如结合图1所描述完成。例如，电子装置102可执行第一图像(例如，广角图像)与第二图像(例如，远摄图像)之间的空间及/或遥测对准。在一些方法中，电子装置102将第一图像及第二图像对准206，如结合图7、9、12及15至16中的一或多者所描述。
电子装置102可融合208经对准图像。上述情形可如结合图1所描述完成。例如，融合208经对准图像可包含组合经对准图像。具体地，融合208经对准图像可包含在一些配置中组合(例如，仅组合)经对准图像。在其它配置中，融合208经对准图像可包含合成(例如，仅合成)经对准图像。在其它配置中，融合208经对准图像可以包括组合及合成经对准图像两者。
在一些配置中，电子装置102可基于扩散核融合208经对准图像。扩散核可指示灰度级范围内的阈值水平。另外或替代地，融合208经对准图像可基于由参考图像结构引导的平均滤波器。例如，可基于参考图像中的信息来调适平均滤波器。结合图4到8中的一或多者提供一些组合图像的方法。
应注意，在一些状况及/或配置中可同时捕获第一图像(例如，广角图像)及第二图像(例如，远摄图像)。在一些状况及/或配置中，可在不同时间(例如，在不同时间帧中)捕获第一图像(例如，广角图像)及第二图像(例如，远摄图像)。因此，对准206及/或融合208可与并发帧(例如，并发广角及远摄帧)及/或与非并发帧(例如，在不同时间帧中捕获的广角及远摄帧)一起执行。
在一些配置中，电子装置102可输出一或多个经融合图像。例如，电子装置102可在显示器上呈现一或多个经融合图像。另外或替代地，电子装置102可将一或多个经融合图像存储在存储器中。另外或替代地，电子装置102可将一或多个经融合图像发射到另一装置。
在一些配置中，可针对视频馈送的多个帧中的每一者执行方法200(例如，针对视频馈送中的多个帧逐帧)。例如，电子装置102可为视频馈送的每一帧融合两个(或多于两个)图像。例如，可针对视频馈送的帧重复执行方法200。视频馈送可包含多个帧(例如，一系列帧、输出帧、图像帧、经融合图像等)。视频馈送(例如，视频馈送的每一帧)可输出到一或多个显示器。例如，可通过融合来自不同透镜(例如，来自广角摄影机及远摄摄影机)的两组或多于两个组图像(例如，视频流)的图像来生成(例如，至少部分地)一组输出帧。另外或替代地，可融合两个(或多于两个)图像以产生经融合图像，其中经融合图像可为视频馈送的帧。结合图13到14提供实例。
图3为根据本文中所揭示的系统及方法的一些配置说明可利用的视场(FOV)重叠的实例的图。例如，广角摄影机(例如，主摄影机)可具有3.59毫米(mm)焦距，4208 1.12微米(μm)像素、67度视角340、4：3纵横比及自动聚焦。广角摄影机可提供FOV A 336。远摄摄影机(例如，辅助摄影机)可具有6mm焦距、3208 1.12μm像素、4：3纵横比、34度视角342及自动聚焦。远摄摄影机可提供FOV B 338。这可提供1厘米(cm)或10mm基线。图3中的曲线图说明FOV重叠348。特定来说，曲线图说明距离344(以cm为单位)的水平FOV重叠346。在一些配置中，结合图3所描述的广角摄影机及/或远摄摄影机可在结合图1所描述的电子装置102中实施。例如，结合图1所描述的电子装置102可包含及/或利用立体摄影机平台。如图3中所说明，在一些配置中，一个摄影机或透镜(例如，远摄透镜)的FOV可完全包含在另一个摄像机或透镜(例如，广角透镜)的FOV内。
图4为根据本文中所揭示的系统及方法的一些配置说明用于平均滤波器的滤波带宽与对比度的实例400的图。特定来说，滤波器带宽可变化及/或可基于对比度自适应。如本文中所描述，平均滤波器可执行引导的降噪。例如，参考图像的结构(例如，当前在显示器上呈现的图像、广角图像、远摄图像等)可用于设计及/或控制用于第二图像(例如，远摄图像，广角图像等)的智能降噪滤波器。如结合图1所描述，平均滤波器可基于及/或可包含相似性度量(例如，光度相似性度量，方程式(1)等)、扩散核(例如，方程式(2))，及/或混合函数(例如，方程式(3)、方程式(4)等)。在高相似性的区域中，平均滤波器可为低通(例如，平均均匀纹理)。在低相似性的区域(例如，边缘)中，平均滤波器可为高通(例如，边缘保持)。
在图4中说明参考图像458。例如，参考图像458包含亮区域，其可为稍微平坦或均匀的，紧邻暗区域，其可为稍微平坦或均匀的。图4中还展示对应于参考图像458的像素位置452上的滤波器带宽450的实例。如图4中所说明，在亮区域与暗区域之间可存在边缘。边缘可为高对比度区域456。例如，当另一图像与参考图像458对准时，对准误差可导致相似性度量以指示参考图像与沿边缘的另一图像之间的较大差异。
根据本文中所揭示的系统及方法的一些配置，滤波器带宽450可基于参考图像458结构而变化。如图4中所说明，例如，滤波器带宽450在具有高相似性的区域中可为低的(例如，平坦或均匀区域，其中相似性度量可指示图像之间的高相似性)。例如，在滤波器带宽450为低的亮区域中，滤波器可执行平均A 454a。在滤波器带宽450为低的暗区域中，滤波器可执行平均B 454b。在高相似度的区域中执行平均可减少组合图像中的噪声。沿着边缘，在相似性度量可指示大的差异的情况下，滤波器带宽450可为高的，其可传递高频内容。上述情形可在很少或没有平均的情况下保留边缘。在低相似度的区域(例如，边缘)中的平均可能导致组合图像中的模糊。因此，本文中所揭示的系统及方法的一些配置可在类似区域中执行平均以有益地降低噪声且可保留不同区域中的边缘。
图5为根据本文中所揭示的系统及方法的一些配置说明扩散核的一个实例500的图。扩散核可具有自适应带宽。在图5中，扩散核在灰度级562上以阈值水平560说明。
在一些配置中，扩散核可为满足方程式(2)(例如，K(0)＝1,K(∞)＝0，单调)中的条件的函数。例如，扩散核可为单调变化的函数(例如，在相似性度量D或灰度级上)，其中K(0)＝1且K(∞)＝0。在一些配置中，扩散核可具有从0到点(例如，预期噪声水平566)的值1。扩散核值可在所述点之后减小直到达到0(例如，黑色水平564)。在一些配置中，噪声水平(例如，预期噪声水平566)由图像处理器对场景的统计特性提供。噪声水平(例如，预期噪声水平566)可与光水平相关。黑色水平564可为传感器针对最低反射率的区域返回的强度，且可由传感器特性确定。例如，可在摄影机管线中(例如，在处理器112中)计算预期噪声水平566及黑色水平564。
在一些配置中，扩散核可为分段函数。例如，扩散核可为在0到第一点的范围内的值(例如，1)，且然后可从第一点减小到第二点。在第一点与第二点之间，扩散核可根据一或多个函数(例如，线性函数、阶梯函数、多项式函数、二次函数、对数函数等)而减小。在第二点之外，扩散核可具有另一值(例如，0)。在一些配置中，扩散核可为分段连续函数。在一些方法中，扩散核可提供在具有高SNR的区域中，可执行较少的平均，而在具有低SNR的区域中，可执行更多的平均。
图6为根据本文中所揭示的系统及方法的一些配置说明空间加窗口的实例668a到c的图。特定来说，图6说明用于融合(例如，组合、合成及/或混合图像)图像的窗口674、676、678的实例。用于融合的窗口可自动确定，可为静态的，或可为可选择的。结合图1所描述的电子装置102及/或结合图2所描述的方法200的一些配置可根据结合图6所描述的方法中的一或多者操作。
如实例A 668a中所说明，远摄FOV A 672a在广角FOV 670内。在实例A 668a中，可使用外围融合窗口674。在此方法中，远摄图像及广角图像可沿着远摄FOV A 672a与广角FOV 670之间的接口融合。可基于校准数据及/或运行时数据(例如，深度数据)来确定外围融合窗口674。
如实例B 668b中所说明，ROI融合窗口676在远摄FOV B 672b内。在此方法中，远摄图像及广角图像可在ROI内融合。例如，电子装置102可接收指示ROI(例如，ROI中心及/或大小)的输入(例如，用户接口输入、触摸屏输入等)。电子装置102可在ROI内执行融合(例如，组合、合成及/或混合)。
如实例C 668c中所说明，自动聚焦(AF)中心融合窗口678在远摄FOV C 672c内。在此方法中，远摄图像及广角图像可在与自动聚焦中心对应的ROI内融合。例如，电子装置102可确定对应于自动聚焦中心的ROI(例如，ROI中心及/或尺寸)。电子装置102可在自动聚焦中心ROI内执行融合(例如，组合，合成及/或混合)。
在一些配置中，窗口位置可表示为W。扩散内核(例如，扩散常数)相似性D及位置W可给定为K(D,W)＝K(W)K(D)。例如，一些使用状况可包含用于宽FOV混合、AF中心及/或用户选择的所关注区域(ROI)的融合。因此，可将一或多种融合技术(例如，组合、合成及/或混合)应用于图像的子集(例如，广角图像及/或远摄图像)。子集可对应于所关注区域(例如，用户选择的ROI、对应于自动聚焦中心的自动聚焦ROI等)。
图7为根据本文中所揭示的系统及系统的一些配置说明可实施的元件及/或组件(例如，算法)的实例的框图。结合图7所描述的元件及/或组件中的一或多者可在一些配置中在结合图1所描述的电子装置102上实施。例如，在一些配置中，结合图7所描述的对准确定器782及/或变换器784可包含在结合图1所描述的图像对准器122中。另外或替代地，结合图7所描述的图像融合器718可为结合图1所描述的图像融合器118的实例。
如图7中所说明，可将广角图像778及远摄图像780提供到对准确定器782。对准确定器782可确定远摄图像780与广角图像778之间的对准(例如，对应特征之间的距离、缩放、平移及/或旋转等)。例如，对准确定器782可计算远摄图像780的变换(例如，确定缩放、平移及/或旋转)，其将使远摄图像780(例如，远摄图像780的一或多个特征)大约对准于广角图像778(例如，广角图像778的一或多个特征)。在其它方法中，可使广角图像对准于远摄图像。
可将对准(例如，变换)提供到变换器784。变换器784可将变换(例如，缩放、平移及/或旋转等)应用于远摄图像780，以便使远摄图像780大约对准于广角图像778。例如，变换器784可产生经对准远摄图像786。
对准可为基于结构融合(例如，组合)的前体。在图7中所说明的实例中，可基于对准来应用变换。例如，可将变换应用于远摄图像780以使远摄图像780与广角图像778对准。因此，广角图像及远摄图像可为经对准图像。应注意，如本文中所使用，“对准”第一图像及第二图像可包含将图像中的一者对准到另一图像(例如，改变一个图像以使其与另一图像对准)或改变两个图像以实现对准。
可将广角图像778及经对准远摄图像786提供到图像融合器718。例如，可将经对准图像提供到图像融合器718。图像融合器718可融合(例如，组合及/或合成))经对准图像以产生经融合图像788(例如，融合输出，组合图像等)。经融合图像788可包含来自两个图像(例如，摄影机)的智能平均像素。
图8为根据本文中所揭示的系统及方法的一些配置说明可实施的图像组合器816的实例的框图。图像组合器816可为结合图1所描述的图像组合器116的实例(例如，组合滤波器、平均滤波器等)。图像组合器816可包含空间加窗器894、自适应阈值器896、第一乘法器803、第二乘法器805、第一加法器807、第二加法器809及/或延迟器811。
如图8中所说明，可将参考帧890(例如，参考图像)及帧n 892(例如，第二图像)提供到图像组合器816。在一些配置中，参考帧890可为具有结构的图像，所述结构用于指导图像组合器816(例如，平均滤波器)组合帧n 892与基准帧890。在一些方法中，参考帧890可为远摄图像且帧n 892可为广角图像。替代地，参考帧890可为广角图像且帧n 892可为远摄图像。例如，参考帧890(例如，宽图像内容)可用作用于去噪(例如，对远摄图像进行去噪)的参考。应注意，参考帧890及帧n 892可为经对准图像。例如，帧n 892可对准于参考帧890(例如，或参考帧890可对准于帧n 892)。在一些方法中，参考帧890可与帧n 892并发。例如，参考帧890可在与捕获帧n 892重叠的时间段相同的时间或在所述时间段中捕获。例如，参考帧890及帧n 892两者可在时间周期n内捕获。在其它方法中，参考帧890可紧密地在与帧n892有关的时间捕获。
在一些配置中，空间加窗器894可对参考帧890及/或帧n 892执行加窗。例如，空间加窗器894可选择参考帧890及/或帧n 892的空间窗口。(多个)空间窗口可为参考帧890及/或帧n 892用于混合的区域。结合图6给出空间窗口的一些实例。应注意，空间加窗口可为任选的。在一些方法中，参考帧890与帧n 892之间的所有重叠区域可经混合。在其它方法中，可仅混合子集(例如，窗口)。可将参考帧890(或经加窗的参考帧)提供到第一乘法器803及/或自适应阈值器896。在一些方法中，参考帧890(或经加窗的参考帧)可表示为SA或SAref。另外或替代地，可将帧n 892(或经加窗口的帧n)提供到自适应阈值器896。在一些方法中，帧n892(或经加窗口的帧n)可表示为SB。
自适应阈值器896可确定相似性度量及/或可确定扩散核。例如，自适应阈值器896可根据方程式(1)(例如，D＝F(|SB-SA|))确定光度相似性度量。自适应阈值器896可确定扩散核。例如，自适应阈值器896可基于相似性度量来确定扩散核(例如，K(D))。
自适应阈值器896可确定相似性掩模898及/或差掩模801。例如，可应用自适应阈值(例如，扩散核)以生成相似性掩模及差掩模。在一些配置中，相似性掩模898可为扩散核(例如，K(D))。在一些配置中，差掩模801可基于扩散核(例如，1减去扩散核，(1-K(D))等)。
第一乘法器803可将差掩模801与参考帧890或经加窗的参考帧相乘(例如，(1-K(D))SAref)。可将乘积(例如，经加权参考图像或帧)提供到第一加法器807。
第二乘法器805可将相似性掩模898与帧n 892相乘(例如，K(D)SB)。可将乘积(例如，经加权帧n)提供到第一加法器807及/或第二加法器809。第一加法器可对第一乘法器803及第二乘法器805的输出求和。(例如，K(D)SB+(1-K(D))SAref等)。
第二加法器809可将第一加法器807的输出(例如，K(D)SB+(1-K(D))SAref)等添加到先前帧(例如，先前组合帧、先前组合图像、先前组合帧，等等)。例如，第二加法器可提供组合图像(例如，组合帧，Scomb(n)＝K(D)SB(n)+(1-K(D))SAref(n)+Scomb(n-1)等)。在一些方法中，第二加法器809还可添加来自第二乘法器805的乘积。例如，当差较大时，K可为较小且可通过减权有利于SAref的SB的贡献来执行较少平均。另外或替代地，当差较小时，K可为较大的且SB可用Scomb求平均，其参考SAref。
延迟811可延迟组合图像。例如，延迟811可将组合图像延迟一帧。可将经延迟的组合图像813提供到第二加法器809及/或可将其输出。例如，经延迟的组合图像813可为经去噪图像。
因此，图像组合器816可执行自适应平均。例如，可对相同强度的像素进行平均(例如，低通区域)。可保留边缘(例如，高通区域)。
图9为根据本文中所揭示的系统及系统的一些配置说明可实施的元件及/或组件(例如，算法)的另一实例的框图。结合图9所描述的元件及/或组件中的一或多者可在一些配置中在结合图1所描述的电子装置102上实施。例如，在一些配置中，结合图9所描述的对准确定器982及/或变换器984可包含在结合图1所描述的图像对准器122中。另外或替代地，结合图9所描述的图像融合器918可为结合图1所描述的图像融合器118的实例。
如图9中所说明，可将广角图像978及远摄图像980提供到对准确定器982。对准确定器982可确定远摄图像980与广角图像978之间的对准(例如，对应特征之间的距离、缩放、平移及/或旋转等)。例如，对准确定器982可计算广角图像978的变换(例如，确定缩放、平移及/或旋转)，其将使广角图像978(例如，广角图像978的一或多个特征)大约对准于远摄图像980(例如，远摄图像980的一或多个特征)。在其它方法中，可使远摄图像对准于广角图像。在一些配置中，对准图像可包含空间及/或光度对准。
可将对准(例如，变换)提供到变换器984。变换器984可将变换(例如，缩放、平移及/或旋转等)应用于广角图像978，以便使广角图像978大约对准于远摄图像980。例如，变换器984可产生经对准广角图像915。因此，广角图像及远摄图像可为经对准图像。例如，可计算图像之间的变换，且然后应用以对准图像。
可将远摄图像980及经对准广角图像915提供到图像融合器918。例如，可将经对准图像提供到图像融合器918。图像融合器918可融合(例如，组合及/或合成)经对准图像以产生经融合图像988(例如，融合输出，组合图像等)。例如，可执行融合(例如，组合及/或合成或拼接)。经融合图像988可包含来自两个图像(例如，摄影机)的智能平均像素。
图10为说明图像合成的实例的图。例如，图像合成可经执行以用于视场(FOV)恢复。装配错误可能导致摄影机之间(例如，在广角摄影机与远摄摄影机之间)的光轴未对准。因此，在对准恢复(例如，校正)期间FOV可能丢失(例如，部分丢失)。可利用校准数据及/或立体声或自动聚焦(AF)深度信息来确定丢失区域。在本文中所揭示的系统及方法的一些配置中，可利用广角图像来绘制丢失的远摄FOV的外围。在一些实例中，可应用接缝混合(例如，扩散滤波器)以在广角图像与远摄图像之间混合接口(例如，“接缝”)。
如图10中所说明，来自广角图像的广角合成区域1027(例如，一组像素)可与来自远摄图像的远摄合成区域1029(例如，一组像素)合成(例如，拼接)以产生合成的FOV 1031(例如，全视场)。例如，由于未对准，远摄FOV 1021可能未与所关注区域1019完全对准。因此，电子装置(例如，电子装置102)可确定远摄合成区域1029(例如，在所关注区域1019内的远摄FOV 1021或远摄图像的区域)。电子装置可另外或替代地确定广角合成区域1027(例如，例如，在所关注区域1019内的广角FOV 1023的区域)。广角合成区域1027可与远摄合成区域1029重叠或不重叠。如图10中所说明，电子装置可在广角合成区域1027与远摄合成区域1029之间的接口(例如，边缘或重叠)处执行缝合混合1017。合成图像可提供恢复的FOV1025(例如，从远摄FOV 1021丢失的所关注区域1019内的恢复区域)。
在一些配置中，电子装置102可执行组合及合成。例如，电子装置102可组合广角图像与远摄图像之间的重叠区域(例如，在所关注区域内)，且可利用广角图像来填充剩余的FOV(例如，在所关注区域中)。在一些方法中，所关注区域内的整个广角图像区域可用于组合及合成。
图11为说明可经实施以执行图像合成的组件的一个配置的框图。特别地，图11说明合成区域确定器1133、接缝混合器1135及裁剪器1137。结合图11所描述的元件或组件中的一或多者可在结合图1所描述的电子装置102(例如，图像合成器120)中实施。
合成区域确定器1133可确定广角合成区域。例如，可将广角图像1139、校准参数1141及/或深度(例如，自动聚焦(AF)深度及/或立体深度)提供到合成区域确定器1133。合成区域确定器1133可利用校准参数1141及深度1143来确定(例如，计算)广角图像1139的合成区域。例如，校准参数1141及/或深度1143可用于确定广角图像的区域在所关注区域内(例如，视场)。例如，广角图像的广角合成区域可为与所关注区域内的远摄图像的区域互补(例如，大约互补)的区域。广角合成区域可与所关注区域中的远摄图像重叠或不重叠。在一些配置中，合成区域确定器1133可丢弃与远摄图像1145重叠的全部或部分广角图像1139。
在一些方法中，合成区域确定器1133可另外或替代地确定远摄图像1145的远摄融合区域。例如，可利用校准参数1141及/或深度1143来确定远摄图像1145的区域，所述区域在图像对准之后保持在所关注原始区域(例如，视场)内。在一些方法中，远摄合成区域可另外或替代地通过裁剪在所关注区域之外的任何远摄图像来确定(例如，通过裁剪器1137)。
可将广角合成区域及/或远摄合成区域提供到接缝混合器1135。缝合混合器可在广角合成区域与远摄图像1145(或远摄合成区域)之间执行缝合混合。例如，可混合在所关注区域中的广角区域图像与远摄图像之间的接口或“接缝”。可向裁剪器1137提供接缝混合图像数据(例如，接缝混合广角合成区域及远摄图像1145，接缝混合广角合成区域及远摄合成区域等)。
裁剪器1137可裁剪在所关注区域(例如，原始视场)之外的数据(例如，像素数据)。例如，裁剪器1137可移除及/或丢弃所关注区域之外的像素数据。裁剪器1137可因此产生合成图像1147(例如，融合输出)。
图12为说明用于图像合成的方法1200的一个配置的流程图。例如，方法1200可由电子装置102执行。
电子装置102可获得1202广角图像。上述情形可如上面结合图1到2中的一或多者所描述完成。例如，电子装置102可捕获广角图像或可从另一装置接收广角图像。
电子装置102可获得1204远摄图像。上述情形可如上面结合图1到2中的一或多者所描述完成。例如，电子装置102可捕获远摄图像或可从另一装置接收远摄图像。
电子装置102可对准1206广角图像及远摄图像以产生经对准图像。上述情形可如结合图1到2、7及9中的一或多个所描述。例如，电子装置102可执行广角图像与远摄图像之间的空间及/或遥测对准。
电子装置102可在所关注区域内合成1208经对准图像。上述情形可以如结合图1到2、7和9到11中的一或多个所描述的那样完成。例如，电子装置102可在对准之前将来自广角图像的像素与来自远摄图像的像素合成在所关注区域内，所述所关注区域对应于所关注原始远摄区域。
图13为说明根据本文中所揭示的系统及方法的一些配置的图像融合的实例的图。特定来说，图13说明帧A 1353a、帧B 1353b及输出帧1355。帧A 1353a可为从摄影机A产生的帧(例如，第一摄影机、广角摄影机等)。帧B 1353b可为从摄影机B产生的帧(例如，第二摄影机、远摄摄影机等)。输出帧1355可为输出到显示器(例如，在其上呈现)，发射到另一装置及/或存储在存储器中的帧。帧编号1349可用于指示对应于特定时间段的帧(例如，帧A1353a、帧B 1353b及/或输出帧1355)。本文中所揭示的系统及方法的一些配置可包含时间融合。时间融合可包含在时间帧(例如，一或多个先前帧与当前帧等)之间融合(例如，组合及/或合成)来自不同透镜(例如，摄影机)的帧。应注意，可在来自单个透镜或多个透镜的时间帧之间执行时间混合。
如图13中所说明，输出帧1355可从帧A 1353a转换到帧B 1353b(例如，没有一或多个并发帧)。在从第一摄影机(例如，摄影机A)转换到第二摄影机(例如，摄影机B)时，可撤销激活第一摄影机且可激活第二摄影机。在一些配置中，在缩放程序期间可能发生来自不同摄影机的帧之间的转变。例如，输出帧1355可在放大时从广角透镜转换到远摄透镜。替代地，输出帧1355可在缩小时从远摄透镜(例如，远摄摄影机)转换到广角透镜(例如，广角摄影机)。电子装置(例如，电子装置102)可产生输出帧1355。图13的实例中所说明的转换为直接转换(例如，在摄影机之间没有任何并发帧的硬转换)。
电子装置可在转换之前及/或之后混合多个帧。图13说明六个混合帧1351：在转换之前三个混合帧1351及在转换之后三个混合帧1351。应注意，可根据本文中所揭示的系统及方法的一些配置产生不同数目个混合帧(例如，在转换之前及/或之后)。
如图13中所说明，输出帧1355的帧0到2可为帧A 1353a的帧0到2。输出帧1355的帧3到8可为混合帧1351。输出帧1355的帧9到11可为帧B 1353b的帧9到11。更具体地，输出帧1355的帧3可为通过将输出帧1355的帧2与帧A 1353a的帧3混合来产生。输出帧1355的帧4可通过将输出帧1355的帧3与帧A 1353a的帧4混合来产生。输出帧1355的帧5可通过将输出帧1355的帧4与帧A 1353a的帧5混合来产生。输出帧1355的帧6可通过将输出帧1355的帧5与帧B 1353b的帧6混合来产生。输出帧1355的帧7可通过将输出帧1355的帧6与帧B 1353b的帧7混合来产生。输出帧1355的帧8可通过将输出帧1355的帧7与帧B 1353b的帧8混合来产生。
输出帧1355的帧6到8可为经融合图像1357。例如，输出帧1355的帧6到8可为经融合图像1357，因为其包含来自帧A 1353a及帧B 1353b(例如，来自不同摄影机的帧)的信息(例如，贡献)。例如，输出帧1355的帧6包含帧B 1353b的贡献帧6及输出帧1355的帧3-5的贡献，其包含来自帧A 1353a的信息(例如，像素数据)。
在一些配置中，可根据方程式(5)产生一组混合输出帧。
Sout(n)＝αS(n)+(1-α)Sout(n-1)，针对n＝{T-a,...,T+b-1} (5)
在方程式(5)中，α为混合权重，Sout为输出帧，S为来自当前活动的摄影机的帧，n为帧号(例如，整数)，T为转换帧(例如，在转换到不同摄影机时第一帧的帧编号)，a为用于在转换之前进行混合的帧数目，且b为用于在转换之后进行混合的帧数目。在某些方法中，0＜α＜1。在图13中所说明的实例中，T＝6，a＝3，且b＝3。结合图13所描述的方法在一些配置中可在电子装置102中实施。
图14为根据本文中所揭示的系统及方法的一些配置的图像融合的另一实例的图。特定来说，图14说明帧A 1463a、帧B 1463b及输出帧1465。帧A 1463a可为从摄影机A产生的帧(例如，第一摄影机、广角摄影机，远摄摄影机等)。帧B 1463b可为从摄影机B产生的帧(例如，第二摄影机、远摄摄影机，广角摄影机等)。输出帧1465可为输出到显示器，发射到另一装置及/或存储在存储器中的帧。帧编号1459可用于指示对应于特定时间段的帧(例如，帧A1463a、帧B 1463b及/或输出帧1465)。本文中所揭示的系统及方法的一些配置可包含并发融合。并发融合可包含在相同时间帧中融合(例如，组合及/或合成)来自不同透镜(例如，摄影机)的帧。
如图14中所说明，输出帧1465可从帧A 1463a转换到帧B 1463b(例如，具有一或多个并发帧)。在从第一摄影机(例如，摄影机A)转换到第二摄影机(例如，摄影机B)时，可撤销激活第一摄影机且可激活第二摄影机。在并发帧转换中，第一摄影机(例如，摄影机A)及第二摄影机(例如，摄影机B)可同时活动一段时间(例如，一或多个并发帧，过渡时段等)。在一些配置中，在缩放程序期间可能发生来自不同摄影机的帧之间的转变。例如，输出帧1465可在放大时从广角透镜转换到远摄透镜。替代地，输出帧1465可在缩小时从远摄透镜(例如，远摄摄影机)转换到广角透镜(例如，广角摄影机)。电子装置(例如，电子装置102)可产生输出帧1465。
电子装置可在转换期间混合多个帧。图14说明四个混合帧1461(对于帧4到7)。应注意，可根据本文中所揭示的系统及方法的一些配置产生不同数目个混合帧(例如，在转换期间)。例如，混合帧的数目可为100或另一数目。另外或替代地，转换可在特定时间段(例如，0.5秒、1秒等)发生。应注意，同时运行多个摄影机(例如，传感器)可能会增加功耗。
如图14中所说明，输出帧1465的帧0到3可为帧A 1463a的帧0到3。输出帧1465的帧4到7可为混合帧1461(例如，融合帧)。输出帧1465的帧8到11可为帧B 1463b的帧8到11。更具体地，输出帧1465的帧4可为通过将帧A 1463a的帧4与帧B 1463b的帧4融合来产生。输出帧1465的帧5可为通过将帧A 1463a的帧5与帧B 1463b的帧5融合来产生。输出帧1465的帧6可为通过将帧A 1463a的帧6与帧B 1463b的帧6融合来产生。输出帧1465的帧7可为通过将帧A 1463a的帧7与帧B 1463b的帧7融合来产生。
输出帧1465的帧4到7可为经融合图像。例如，输出帧1465的帧4到7可为经融合图像，因为其包含来自帧A 1463a及帧B 1463b(例如，来自不同摄影机的帧)的信息(例如，贡献)。例如，输出帧1465的帧6包含帧B 1463b的贡献帧6及帧A 1463a的帧6的贡献。
在一些配置中，可根据方程式(6)产生一组融合输出帧。
Sout(n)＝αfSB(n)+(1-αf)SA(n-1)，针对n＝{c,...,d} (6)
在方程式(6)中，αf为用于融合的混合权重(例如，扩散核)，Sout为输出帧，SA为来自第一摄影机的帧，SB为来自第二摄影机的帧，n为帧编号(例如，整数)，c为第一并发帧(例如，用于融合)的帧编号，且d为最后并发帧(例如，用于融合)的帧编号。在某些方法中，0≤αf≤1。在图14中所说明的实例中，c＝4，且d＝7。在一些配置中，SA可对应于广角摄影机且SB可对应于远摄摄影机(或SB可对应于广角摄影机，且SA可对应于例如远摄摄影机)。结合图14所描述的方法在一些配置中可在电子装置102中实施。
在本文中所揭示的系统及方法的一些配置中，可执行时间混合(及/或时间融合及并发混合。例如，来自不同摄影机的并发帧可经混合在一起且可与一或多个先前帧(例如，输出帧)混合。另外或替代地，在撤销激活摄影机的并发混合之后的一或多个帧可与一或多个先前并发混合的帧混合。
图15为说明用于无缝地显示表示多摄影机装置(例如，在其放大或缩小时)的视场的目标场景的图像或一系列图像的过程及/或系统1500的概述的实例的框图，所显示的图像包含来自多摄影机装置的摄影机中的一或多者的数据。在此过程/系统中，处理来自多个摄影机的图像，使得当其被显示时，当从一个摄影机或另一摄影机或两者提供所显示的图像时，可不存在用户可察觉的差异，尽管每一摄影机具有不同的成像特性。在图15的实例中，多摄影机装置具有两个摄影机。在其它实例中，多摄影机装置可具有三个或多于三个摄影机。本文中进一步描述过程/系统1500的所说明块中的每一者。结合图15所描述的过程、功能、程序等中的一或多者可由在一些配置中结合图1所描述的电子装置102来执行。另外或替代地，结合图15所描述的结构、块、模块等中的一或多者可在一些配置中在结合图1所描述的电子装置102中实施。
接收来自第一摄影机的图像A 1567及来自第二摄影机的图像B 1569并执行静态校准1571。尽管为方便起见称作为图像A 1567及图像B 1569，但图像A 1567可以指来自多摄影机装置的第一摄影机的一系列图像。此系列图像可包含“静止”图像或捕获作为视频的一系列图像。类似地，图像B 1569可是指来自多摄影机装置的第二摄影机的一系列图像。此系列图像可包含“静止”图像或捕获作为视频的一系列图像。在一些配置中，图像A 1567可表示在不同时间(例如，在校准期间，运行期间等)所捕获的不同图像(或图像集)。在一些配置中，图像B 1569可表示在不同时间(例如，在校准期间，运行期间等)所捕获的不同图像(或图像集)。
可使用已知的目标场景(例如，测试目标)来执行静态校准1571。在一些实例中，静态校准可“在工厂”执行，作为多摄影机装置的初始校准步骤。本文中进一步描述静态校准的方面。从静态校准1571确定的参数可存储在存储器中以随后用于空间对准1573及/或用于光度对准1575。
在此实例中，空间对准1573进一步在空间上对准图像A及图像B，将来自图像A中的像素映射到图像B的对应像素。换句话说，空间对准1573可确定图像A中的像素或多个像素，其表示与图像B中的像素的对应像素相同的特征。本文中进一步描述空间对准的某些方面。
过程/系统1500还包括光度对准1575，其在本文中也被称为强度对准。光度对准1575确定指示图像A到图像B的对应像素的颜色及/或强度变换的变换参数，且反之亦然。使用光度对准信息以及空间对准信息，图像A及图像B的对应像素可一起显示在经融合图像中，而用户无法感知到图像的一部分是从第一摄影机产生的，且所显示图像的一部分由第二摄影机生成。本文中进一步描述光度对准的某些方面。
过程/系统1500还包含图像A的一部分及图像B的一部分的融合1518，以产生可显示的经融合图像1577，其可呈现给用户以显示由多摄影机装置捕获的目标场景，其中每一部分与另一部分无缝接合，使得所显示图像看起来来自一个摄影机。本文中进一步描述由多个摄影机生成的图像的融合。
在一些实施例中，为了准确地执行空间对准及强度均衡，可对多摄影机装置执行静态校准操作。根据实施例的静态校准过程的设置及阶段描述如下。在一些实施例中，多摄影机装置(例如，电子装置102)可包含两个摄影机。第一摄影机可为广角摄影机，且第二摄影机可为远摄摄影机。静态校准操作可在制造多摄影机装置的工厂处执行，其中可使用校准装置。校准装置可为具有已知大小的棋盘格或点图案的平面校准板。摄影机可拍摄校准装置的图像。使用校准装置上的已知特征及距离，可估计变换。变换可包含两个不对称摄影机的模型及参数。这些参数可包含缩放因子。缩放因子可大致定义为两个非对称摄影机的焦距比。两个不对称摄影机具有不同的焦距及放大率，以便将其图像彼此映射或并置，可确定缩放因子。变换的其它参数可包含视点匹配矩阵、主要偏移、几何校准以及将第一摄影机的图像与第二摄影机相关联的其它参数。
使用变换参数，可生成将来自第一摄影机的图像与来自第二摄影机的图像相关联的映射，或反之亦然。映射及变换参数可存储在多摄影机装置的存储器中，或存储在非多摄影机装置的一部分的存储器组件中。由于多摄影机装置经受磨损且影响其初始工厂校准的其它因素，因此可使用随后的校准来改进，重新调整或调整变换参数及映射。例如，当用户使用多摄影机装置来考虑变换参数及映射的移位时，可动态地应用本文中所描述的空间对准及强度均衡实施例。
如下提供空间对准模块1573的实施例的更详细实例，所述空间对准模块1573可用于执行由具有不同成像特性的两个或多于两个摄影机生成的图像数据的空间对准。在一个实例中，由广角摄影机生成的图像A 1567可与由远摄摄影机生成的图像B 1569在空间上对准。换句话说，空间对准为图像A 1567中的像素的映射，以与图像B 1569中的对应像素对准。所述映射也可称作为变换。由于映射(或变换)，来自两个摄影机的图像可在空间上对准，使得当使用图像时，全部或部分(例如，对于包括图像A 1567及图像B 1569中的每一者的一部分的经融合图像)，在空间上图像看起来来自相同的摄影机(及视点)。
在实施例中，图像A 1567及图像B 1569被提供给空间对准模块1573。在各种实施例中，空间对准模块1573可用软件、硬件或软件及硬件的组合来实施。空间对准模块1573可使用先前确定的对准信息(例如，校准信息、从存储器组件检索此信息等)。先前确定的对准信息可用作由两个摄影机提供的图像的空间对准的起始点。空间对准模块1573可包含特征检测器及特征匹配器。特征检测器可包含指令(或功能性)以基于可通过所属领域的技术人员已知的各种特征检测技术中的一或多者来预定的标准来检测图像A1567及图像B 1569中的每一者中的特征(或关键点)。特征匹配器可使用特征匹配技术(例如，图像相关)将图像A1567中的识别特征与图像B 1569匹配。在一些实施例中，欲对准的图像可经划分为块，且可对块到块级别执行特征识别及匹配。
空间对准模块1573还可执行动态对准，其可基于特征匹配来确定空间变换参数，例如，缩放、旋转、移位，其可用于将图像A 1567中的像素空间映射到图像B 1569中的对应像素。在一些实施例中，图像数据A 1567可经变换以在空间上与图像数据B 1569对准。在其它实施例中，图像数据B 1569可经变换以在空间上与图像数据A 1567对准。由于特征检测，匹配及动态对准，生成空间变换(或映射)信息，其指示需要对图像A 1567中的每一像素或像素组进行的操作(例如，缩放、旋转、移位)以与图像B 1569中的对应像素(或多个像素)对准，或反之亦然。然后将此空间变换信息存储在存储器组件中，以便稍后由处理器(例如，图像处理器)检索，以执行来自广角摄影机或远摄摄影机的另一图像或多个图像的空间对准。在一些实施方案中，经变换的图像数据还可存储在存储器组件中以供稍后使用。
光度对准1575的实施例的实例如下给出。光度对准的实施可在软件中，例如，作为存储在存储器中或硬件中或两者中的模块中的指令集。光度对准1575可用于使第一图像中的像素的颜色及强度与第二图像中的对应像素相匹配。因此，上述情形可允许第一图像的部分与第二图像的部分一起显示在预览图像中，使得所述部分看起来是从相同的摄影机而非具有不同成像参数的两个不同的摄影机生成，因此此些参数影响强度及颜色。在一些实施例中，可对由非对称摄影机生成的两个图像(例如，对从宽角度摄影机生成的图像且对从远摄摄影机生成的图像)执行光度对准。
可从广角摄影机接收图像A 1567，且可从远摄摄影机接收图像B 1569。经对准图像A数据及经对准图像B数据可在空间上对准，使得来自图像中的一者的像素在空间上与另一图像的对应像素对准。在其它实施例中，提供到光度对准1575的信息可包含预定的对准信息及/或从第一摄影机及第二摄影机生成的未对准图像。在一些实例中，表示图像A 1567的数据可为从空间对准模块1573接收的空间变换图像数据A，且表示图像B 1569的数据可为从空间对准模块1573接收的空间变换图像数据B。图像A 1567及图像B 1569可具有强度值的变化，例如关键点特征处及周围的像素强度值。尽管所描绘的实施例被实施为均衡两个图像的强度值，但在其它实施例中可将三个或多于三个图像发送到强度对准模块1575。在三个或多于三个图像之间的强度对准的一些实施例中，可将一个图像识别为用于将其它图像的强度值与参考图像的强度值匹配的参考。在一些实施例中，第一图像传感器及第二图像传感器并非不对称的。
在此实例中，光度对准1575可包含下面所描述的若干功能特征或模块。图像A数据可在第一分区模块处接收以将其划分为像素块的K个区域。图像B数据可在第二分区模块处接收以将其划分为像素块的相同数目K个区域。像素块的数目、大小、位置及形状可基于图像A及图像B中的关键点的识别。在一些实施例中，可根据预定块编号孔配置来划分图像。
可在第一直方图分析模块处接收经分割图像数据A，且可在第二直方图分析模块处接收经分割图像数据B。尽管描述为单独的模块，但在一些实施例中，第一直方图分析模块及第二直方图分析模块可实施为单个模块。直方图分析模块可操作以确定一或多种颜色(例如，红色、绿色及蓝色)中的每一者的直方图。在图像A及B中的每一者的K个块的每一块中，第一直方图分析模块及第二直方图分析模块可如方程式(7)中所展示计算改良质量函数hi：
Figure BDA0001995963880000271
对于从1到K的i的值且对于j＝0,1,…，255，其为级别j的值的数目除以每块的元素总数目N。因此，hi为所述块的概率质量函数(PMF)。这指示在块中发生级j的可能性，其给出关于所述区域中的空间结构内容的信息。在其它实例性实施中，可使用直方图分析的其它技术。
均衡函数H1可为由第一均衡模块确定用于由第一直方图分析模块输出的直方图。例如，第一均衡模块可根据方程式(8)对PMF中的质量求和：
Figure BDA0001995963880000272
计算累积质量函数(CMF)。第二均衡分析模块可计算第二直方图分析模块输出的直方图的类似函数H2。第一均衡分析模块及第二均衡分析模块中的每一者可如本文中所描述针对一或多种颜色中的每一者(例如，红色、绿色及蓝色)进行操作，尽管在本文中不再单独描述。CMF可指示空间强度值如何在块内变化，例如，由于块中的特征。
强度匹配模块可基于由均衡模块确定的累积质量函数来执行图像A 1567及图像B1569的强度之间的空间映射。在一些实施例中，可根据方程式(9)应用均衡函数：
Figure BDA0001995963880000273
一旦已确定所有块及所有传感器的CMF。这可将图像B 1569中的强度值映射到图像A 1567中的强度值，使得图像B 1569被变换为具有与图像A 1567的直方图非常相似或匹配的直方图。因此，所述区域可能看起来非常类似，且可通过后续处理识别为每一图像中的对应区域，即使其为用不对称传感器产生的。所得到的强度匹配图像A及B可根据方程式(10)表示：
Figure BDA0001995963880000274
在其它实例性实施方案中，可使用强度匹配的其它技术，有时被称作为颜色变换或强度变换。在一些实施例中，为了确定图像B1569的像素的新强度值，匹配模块可执行双线性直方图插值。例如，对于每一像素，可通过来自加载的直方图的表查找来确定四个新的亮度值。然后，可通过合适的插值技术(例如双线性)确定目标像素的新亮度值，以便从相邻的直方图信息生成均衡的像素值。
可基于图像A 1567及图像B 1569对经对准图像执行融合1579以产生经融合图像1577。例如，可根据本文中所描述的方法及/或配置中的一或多者执行融合1579(例如，通过图像融合器118)。
图16为说明用于图像融合的方法1600的更具体配置的流程图。例如，方法1600可由电子装置102执行。
电子装置102可获得1602广角图像。上述情形可如结合图1到2及12中的一或多者所描述来完成。
电子装置102可获得1604远摄图像。上述情形可如结合图1到2及12中的一或多者所描述来完成。
电子装置102可对准1606广角图像及远摄图像以产生经对准图像。上述情形可如结合图1到2、7、9、12及15中的一或多个所描述。例如，电子装置102可执行广角图像与远摄图像之间的空间及/或遥测对准。
电子装置102可组合1608经对准图像。上述情形可如结合图1到2、4到9及12到15中的一或多者所描述完成。例如，组合1608经对准图像可包含确定光度差，确定融合核及/或混合。
电子装置102可在所关注区域内合成1610经对准图像。上述情形可如结合图1到2、7及9到15中的一或多者所描述完成。例如，合成1610经对准图像可包含确定一或多个合成区域及/或接缝混合。
图17说明可被包含在电子装置1702内的某些组件。电子装置1702可为结合图1所描述的电子装置102及/或结合图7到9、11及15所描述的组件及/或元件中的一或多者的实例及/或可根据结合图1所描述的电子装置102及/或结合图7到9、11及15所描述的组件及/或元件中的一或多者实施。电子装置1702可为(或可包含在)摄影机、视频摄影机、数字摄影机、蜂窝式电话、智能电话、计算机(例如，桌上型计算机、膝上型计算机等)、平板装置、媒体播放器、电视、汽车、个人摄影机、动作摄影机、监视摄影机、安装式摄影机、连网摄影机、机器人、飞机、无人机、无人航空载具(UAV)、医疗设备、游戏主机、个人数字助理(PDA)，机顶盒等等。电子装置1702包含处理器1701。处理器1701可为通用单芯片或多芯片微处理器(例如，ARM)，专用微处理器(例如，数字信号处理器)(DSP)，微控制器，可编程门阵列等。处理器1701可被称作为中央处理单元(CPU)。尽管仅单个处理器1701经展示在电子装置1702中，但在替代配置中，可使用处理器(例如，ARM及DSP)的组合。
电子装置1702还包含存储器1781。存储器1781可为能够存储电子信息的任何电子组件。存储器1781可体现为随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、与处理器一起包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器，等等，包含其组合。
数据1785a及指令1783a可存储在存储器1781中。指令1783a可由处理器1701执行以实施本文中所描述方法200、1200、1600中的一或多者。执行指令1783a可涉及使用存储在存储器1781中的数据1785a。在处理器1701执行指令1783时，可将指令1783b的各种部分加载到处理器1701上，且可将各种数据1785b片段加载到处理器1701上。
电子装置1702还可包含发射器1793及接收器1795，以允许向电子装置1702发射信号及从电子装置1702接收信号。发射器1793及接收器1795可统称为收发器1791。一或多个天线1789a到b可电耦合到收发器1791。电子装置1702还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。
电子装置1702可包含数字信号处理器(DSP)1797。电子装置1702还可包含通信接口1799。通信接口1799可启用一或多种输入及/或输出。例如，通信接口1799可包含用于将其它装置链接到电子装置1702的一或多个端口及/或通信装置。另外或替代地，通信接口1799可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、摄影机，等)。例如，通信接口1799可适当用户能够与电子装置1702交互。
电子装置1702的各种组件可通过一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线，等。为清楚起见，各种总线在图17中经说明为总线系统1787。
术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)，确定及其类似者。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)及其类似者。此外，“确定”可包含解析、选择、挑选、建立及其类似者。
除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。
术语“处理器”应广泛揭示为囊括通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机，等等。在一些情况下，“处理器”可指专用集成电路(ASIC)、可编程逻辑装置(PLD)、场可编程门阵列(FPGA)等。术语“处理器”可指处理装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它此配置。
术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、同步动态随机存取存储器(SDRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息及/或将信息写入到存储器，那么存储器被认为与处理器电子通信。与处理器成整体的存储器与处理器电子通信。
术语“指令”及“代码”应广泛揭示为包含任何类型的计算机可读语句。例如，术语“指令”及“代码”可指一或多个程序、例程、子例程、函数、程序，等。“指令”及“代码”可包括单个计算机可读语句或许多计算机可读语句。
本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。通过实例的方式且非限制性，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁碟存储装置、磁盘存储装置或其它磁性存储装置或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其它媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及
Figure BDA0001995963880000301
光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其它适当装置可通过装置下载及/或以它方式获得。例如，装置可耦合到服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、例如光盘(CD)或软盘物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到装置时获得各种方法。
应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的系统、方法及设备的布置、操作及细节作出各种修改、改变及变化而不会背离权利要求书的范围。

Claims (71)

1.一种由电子装置执行的方法，所述方法包括：
针对视频馈送的多个帧中的每一帧：
从第一摄影机获得第一图像，所述第一摄影机具有第一焦距及第一视场；
从第二摄影机获得第二图像，所述第二摄影机具有第二焦距及所述第一视场内安置的第二视场；
将所述第一图像的至少一部分及所述第二图像的至少一部分对准以产生经对准图像；
通过基于扩散核融合所述经对准图像来产生经融合图像，其中所述扩散核指示随灰度级而变的阈值水平；及
输出所述经融合图像。
2.根据权利要求1所述的方法，其中融合所述经对准图像是基于由参考图像结构引导的平均滤波器。
3.根据权利要求2所述的方法，其中所述平均滤波器具有基于对比度的自适应带宽。
4.根据权利要求3所述的方法，其中所述自适应带宽相对于降低的对比度提供增加的平均。
5.根据权利要求1所述的方法，其中融合所述经对准图像包括：
根据基于所述经对准图像之间的光度相似性度量的加权，组合所述经对准图像。
6.根据权利要求5所述的方法，其中组合所述经对准图像包括混合所述经对准图像的一或多个像素值。
7.根据权利要求1所述的方法，其中融合所述经对准图像包括：
确定光度相似性度量；
确定所述扩散核；及
基于所述光度相似性度量及所述扩散核来混合所述经对准图像。
8.根据权利要求1所述的方法，其中融合所述经对准图像包括在所关注区域内合成所述经对准图像。
9.根据权利要求8所述的方法，其中合成所述经对准图像包括：
确定来自所述第一图像的第一合成区域及来自所述第二图像的第二合成区域；及
在所述第一合成区域与所述第二合成区域之间执行接缝混合。
10.根据权利要求8所述的方法，其中执行所述经对准图像的合成以便基于用所述第一图像的至少一部分替换在所述第二图像中不存在的所述所关注区域的一部分来恢复所关注区域。
11.根据权利要求1所述的方法，其中所述第一图像及所述第二图像是同时捕获的。
12.根据权利要求1所述的方法，其中所述第一图像及所述第二图像是在不同时间捕获的。
13.根据权利要求1所述的方法，其中所述第一图像为广角图像且所述第二图像为远摄图像。
14.一种电子装置，其包括：
存储器；
处理器，其耦合到所述存储器，其中所述处理器经配置以针对视频馈送的多个帧中的每一帧：
从第一摄影机获得第一图像，所述第一摄影机具有第一焦距及第一视场；
从第二摄影机获得第二图像，所述第二摄影机具有第二焦距及所述第一视场内安置的第二视场；
将所述第一图像的至少一部分及所述第二图像的至少一部分对准以产生经对准图像；
通过基于扩散核融合所述经对准图像来产生经融合图像，其中所述扩散核指示随灰度级而变的阈值水平；及
输出所述经融合图像。
15.根据权利要求14所述的电子装置，其中所述处理器经配置以基于由参考图像结构引导的平均滤波器来融合所述经对准图像。
16.根据权利要求15所述的电子装置，其中所述平均滤波器具有基于对比度的自适应带宽。
17.根据权利要求16所述的电子装置，其中所述自适应带宽相对于降低的对比度提供增加的平均。
18.根据权利要求14所述的电子装置，其中所述处理器经配置以通过如下来融合所述经对准图像：
基于所述经对准图像之间的光度相似性度量的加权，组合所述经对准图像。
19.根据权利要求18所述的电子装置，其中所述处理器经配置以通过混合所述经对准图像的一或多个像素值来组合所述经对准图像。
20.根据权利要求14所述的电子装置，其中所述处理器经配置以通过以下来融合所述经对准图像：
确定光度相似性度量；
确定所述扩散核；及
基于所述光度相似性度量及所述扩散核来混合所述经对准图像。
21.根据权利要求14所述的电子装置，其中所述处理器经配置以通过在所关注区域内融合所述经对准图像来融合所述经对准图像。
22.根据权利要求21所述的电子装置，其中所述处理器经配置以通过以下来合成所述经对准图像：
确定来自所述第一图像的第一合成区域及来自所述第二图像的第二合成区域；及
在所述第一合成区域与所述第二合成区域之间执行接缝混合。
23.根据权利要求21所述的电子装置，其中所述处理器经配置以合成所述经对准图像以便基于用所述第一图像的至少一部分替换在所述第二图像中不存在的所述所关注区域的一部分来恢复所关注区域。
24.根据权利要求14所述的电子装置，其中所述第一图像及所述第二图像是同时捕获的。
25.根据权利要求14所述的电子装置，其中所述第一图像及所述第二图像是在不同时间捕获的。
26.根据权利要求14所述的电子装置，其中所述第一图像为广角图像且所述第二图像为远摄图像。
27.一种存储计算机可执行代码的非暂时性有形计算机可读媒体，其包括：
用于致使电子装置对于视频馈送的多个帧中的每一者从第一摄影机获得第一图像的代码，所述第一摄影机具有第一焦距及第一视场；
用于致使所述电子装置对于所述多个帧中的每一者从第二摄影机获得第二图像的代码，所述第二摄影机具有第二焦距及所述第一视场内安置的第二视场；
用于致使所述电子装置针对所述多个帧中的每一者对准所述第一图像的至少一部分及所述第二图像的至少一部分以产生经对准图像的代码；
用于致使所述电子装置对于所述多个帧中的每一者通过基于扩散核融合所述经对准图像来产生经融合图像的代码，其中所述扩散核指示随灰度级而变的阈值水平；及
用于致使所述电子装置针对所述多个帧中的每一者输出所述经融合图像的代码。
28.根据权利要求27所述的计算机可读媒体，其中用于致使所述电子装置融合所述经对准图像的所述代码基于由参考图像结构引导的平均滤波器。
29.一种用于融合图像的设备，其包括：
用于针对视频馈送的多个帧中的每一帧从第一摄影机获得第一图像的装置，所述第一摄影机具有第一焦距及第一视场；
用于对于所述多个帧中的每一帧从第二照摄影机获得第二图像的装置，所述第二照摄影机具有第二焦距及所述第一视场内安置的第二视场；
用于将所述第一图像的至少一部分及所述第二图像的至少一部分对准以产生针对所述多个帧中的每一帧的经对准图像的装置；
用于针对所述多个帧中的每一帧通过基于扩散核融合所述经对准图像来产生经融合图像的装置，其中所述扩散核指示随灰度级而变的阈值水平；及
用于输出针对所述多个帧中的每一帧的所述经融合图像的装置。
30.根据权利要求29所述的设备，其中用于融合所述经对准图像的装置包括由参考图像结构引导的平均滤波器。
31.一种由电子装置执行的方法，所述方法包括：
针对一个或多个图像帧或视频馈送的多个帧中的一个或多个帧：
从第一摄影机获得场景的第一图像，所述第一摄影机具有第一焦距及第一视场；
从第二摄影机获得所述场景的第二图像，所述第二摄影机具有第二焦距及所述第一视场内安置的第二视场；
将所述第一图像的至少一部分及所述第二图像的至少一部分对准以产生经对准图像；
通过基于自适应滤波器融合所述经对准图像来产生经融合图像；及
输出所述经融合图像。
32.根据权利要求31所述的方法，其中所述自适应滤波器基于各向异性的扩散核。
33.根据权利要求32所述的方法，其中所述各向异性的扩散核基于如下中的至少一者来控制扩散：
噪声特性、对象运动的程度、所述场景的光水平、边缘信息。
34.根据权利要求32所述的方法，其中所述各向异性的扩散核基于场景内容来确定。
35.根据权利要求32所述的方法，其中融合所述经对准图像包括：
确定光度相似性度量；
确定所述各向异性的扩散核；以及
基于所述光度相似性度量及所述各向异性的扩散核来混合所述经对准图像。
36.根据权利要求31所述的方法，其中所述自适应滤波器基于对比度。
37.根据权利要求36所述的方法，其中所述自适应滤波器具有基于对比度的自适应带宽。
38.根据权利要求37所述的方法，其中所述自适应带宽相对于降低的对比度提供增加的平均值。
39.根据权利要求31所述的方法，其中所述自适应滤波器执行经引导的噪声降低。
40.根据权利要求39所述的方法，其中所述经引导的噪声降低是基于所述第一图像或所述第二图像而引导的。
41.根据权利要求31所述的方法，其中融合所述经对准图像进一步基于指示所述第一图像的至少一部分与所述第二图像的至少一部分之间的相似度的相似性度量。
42.根据权利要求31所述的方法，其中所述视频馈送包括预览流。
43.根据权利要求31所述的方法，其中对准所述第一图像的至少一部分及所述第二图像的至少一部分是基于所述第一图像和所述第二图像每一者中的一或多个关键点的。
44.根据权利要求43所述的方法，其中对准所述第一图像的至少一部分及所述第二图像的至少一部分进一步地依据基于深度的变换。
45.根据权利要求31所述的方法，其中融合所述经对准图像包括在所关注区域内合成所述经对准图像。
46.根据权利要求45所述的方法，其中合成所述经对准图像包括：
确定来自所述第一图像的第一合成区域及来自所述第二图像的第二合成区域；及
在所述第一合成区域与所述第二合成区域之间执行接缝混合。
47.根据权利要求45所述的方法，其中执行所述经对准图像的合成以便基于用所述第一图像的至少一部分替换在所述第二图像中不存在的所述所关注区域的一部分来恢复所关注区域。
48.根据权利要求31所述的方法，其中所述第一图像及所述第二图像是同时捕获的。
49.根据权利要求31所述的方法，其中所述第一图像及所述第二图像是在不同时间捕获的。
50.根据权利要求31所述的方法，其进一步包括：
从第三摄影机获得所述场景的第三图像，所述第三摄影机具有第三焦距和第三视场；以及
将所述第三图像的至少一部分与所述第一图像、所述第二图像中的对应部分对准，
其中，产生所述经融合图像包括基于所述自适应滤波器来融合经对准的第一图像、第二图像和第三图像。
51.一种电子装置，其包括：
存储器；
处理器，其耦合到所述存储器，其中所述处理器经配置以针对一个或多个图像帧或视频馈送的多个帧中的一个或多个帧：
从第一摄影机获得场景的第一图像，所述第一摄影机具有第一焦距及第一视场；
从第二摄影机获得所述场景的第二图像，所述第二摄影机第二焦距及所述第一视场内安置的第二视场；
将所述第一图像的至少一部分及所述第二图像的至少一部分对准以产生经对准图像；
通过基于自适应滤波器融合所述经对准图像来产生经融合图像；及
输出所述经融合图像。
52.根据权利要求51所述的电子装置，其中所述自适应滤波器基于各向异性的扩散核。
53.根据权利要求52所述的电子装置，其中所述各向异性的扩散核基于如下中的至少一者来控制扩散：
噪声特性、对象的运动程度、所述场景的光水平、边缘信息。
54.根据权利要求52所述的电子装置，其中所述处理器经配置以基于场景内容来确定所述各向异性的扩散核。
55.根据权利要求52所述的电子装置，其中所述处理器经配置以通过以下方式来融合所述经对准图像：
确定光度相似性度量；
确定所述各向异性的扩散核；以及
基于所述光度相似性度量及所述各向异性的扩散核来混合所述经对准图像。
56.根据权利要求51所述的电子装置，其中所述自适应滤波器基于对比度。
57.根据权利要求56所述的电子装置，其中所述自适应滤波器具有基于对比度的自适应带宽。
58.根据权利要求57所述的电子装置，其中所述自适应带宽相对于降低的对比度提供增加的平均值。
59.根据权利要求51所述的电子装置，其中所述自适应滤波器执行经引导的噪声降低。
60.根据权利要求59所述的电子装置，其中所述经引导的噪声降低是基于所述第一图像或所述第二图像而引导的。
61.根据权利要求51所述的电子装置，其中所述处理器经配置以进一步基于指示所述第一图像的至少一部分与所述第二图像的至少一部分之间的相似度的相似性度量来融合所述经对准图像。
62.根据权利要求51所述的电子装置，其中所述视频馈送包括预览流。
63.根据权利要求51所述的电子装置，其中所述处理器经配置以基于所述第一图像和所述第二图像每一者中的一或多个关键点来对准所述第一图像的至少一部分及所述第二图像的至少一部分。
64.根据权利要求63所述的电子装置，其中所述处理器经配置以进一步依据基于深度的变换来对准所述第一图像的至少一部分及所述第二图像的至少一部分。
65.根据权利要求51所述的电子装置，其中所述处理器经配置以通过在所关注区域内合成所述经对准图像来融合所述经对准图像。
66.根据权利要求65所述的电子装置，其中所述处理器经配置以通过以下方式来合成所述经对准图像：
确定来自所述第一图像的第一合成区域及来自所述第二图像的第二合成区域；及
在所述第一合成区域与所述第二合成区域之间执行接缝混合。
67.根据权利要求65所述的电子装置，其中所述处理器经配置以合成所述经对准图像以便基于用所述第一图像的至少一部分替换在所述第二图像中不存在的所述所关注区域的一部分来恢复所关注区域。
68.根据权利要求51所述的电子装置，其中所述第一图像及所述第二图像是同时捕获的。
69.根据权利要求51所述的电子装置，其中所述第一图像及所述第二图像是在不同时间捕获的。
70.根据权利要求51所述的电子装置，进一步包括所述第一摄影机、所述第二摄影机和显示器。
71.根据权利要求51所述的电子装置，其中，所述处理器进一步经配置以：
从第三摄影机获得所述场景的第三图像，所述第三摄影机具有第三焦距和第三视场；以及
将所述第三图像的至少一部分与所述第一图像、所述第二图像中的对应部分对准，
其中，为产生所述经融合图像，所述处理器进一步经配置以基于所述自适应滤波器来融合经对准的第一图像、第二图像和第三图像。
CN201780056844.XA 2016-09-30 2017-07-25 用于融合图像的系统及方法 Active CN109792485B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110879580.6A CN113572963B (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法
CN202311164121.5A CN117061885A (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662402182P 2016-09-30 2016-09-30
US62/402,182 2016-09-30
US15/498,905 2017-04-27
US15/498,905 US10297034B2 (en) 2016-09-30 2017-04-27 Systems and methods for fusing images
PCT/US2017/043769 WO2018063482A1 (en) 2016-09-30 2017-07-25 Systems and methods for fusing images

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110879580.6A Division CN113572963B (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法
CN202311164121.5A Division CN117061885A (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法

Publications (2)

Publication Number Publication Date
CN109792485A CN109792485A (zh) 2019-05-21
CN109792485B true CN109792485B (zh) 2021-07-20

Family

ID=61757205

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110879580.6A Active CN113572963B (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法
CN202311164121.5A Pending CN117061885A (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法
CN201780056844.XA Active CN109792485B (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110879580.6A Active CN113572963B (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法
CN202311164121.5A Pending CN117061885A (zh) 2016-09-30 2017-07-25 用于融合图像的系统及方法

Country Status (4)

Country Link
US (3) US10297034B2 (zh)
EP (2) EP4412235A2 (zh)
CN (3) CN113572963B (zh)
WO (1) WO2018063482A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6139713B2 (ja) * 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US10194089B2 (en) * 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
JP6844196B2 (ja) * 2016-10-25 2021-03-17 コニカミノルタ株式会社 画像形成装置および画像形成プログラム
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10942423B1 (en) * 2017-06-16 2021-03-09 Apple Inc. Light source module with adjustable focus
US11082566B2 (en) * 2017-06-20 2021-08-03 Omnivision Technologies, Inc. Multiple camera calibration chart
US10600157B2 (en) * 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN109005334B (zh) * 2018-06-15 2020-07-03 清华-伯克利深圳学院筹备办公室 一种成像方法、装置、终端和存储介质
CN112425148B (zh) * 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
EP4387257A3 (en) 2018-10-12 2024-08-21 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
GB2583704B (en) * 2019-04-19 2023-05-24 Jaguar Land Rover Ltd Imaging system and method
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
US11797854B2 (en) * 2019-07-08 2023-10-24 Sony Semiconductor Solutions Corporation Image processing device, image processing method and object recognition system
CN110493539B (zh) * 2019-08-19 2021-03-23 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
WO2021039160A1 (ja) * 2019-08-30 2021-03-04 パナソニックＩｐマネジメント株式会社 応力解析装置
WO2021044186A1 (en) * 2019-09-02 2021-03-11 Trieye Ltd. Multi-view image fusion by image space equalization and stereo-based rectification from two different cameras
CN110855883B (zh) * 2019-11-05 2021-07-20 浙江大华技术股份有限公司 一种图像处理系统、方法、装置设备及存储介质
CN110913131B (zh) * 2019-11-21 2021-05-11 维沃移动通信有限公司 一种月亮拍摄方法及电子设备
WO2021120188A1 (en) * 2019-12-20 2021-06-24 Qualcomm Incorporated Image fusion
CN111179199B (zh) * 2019-12-31 2022-07-15 展讯通信（上海）有限公司 图像处理方法、装置及可读存储介质
CN114930799B (zh) * 2020-01-09 2024-02-20 Oppo广东移动通信有限公司 用于具有多个摄像头的电子设备的方法和电子设备
CN113347490B (zh) * 2020-02-18 2022-08-16 RealMe重庆移动通信有限公司 视频处理方法、终端及存储介质
CN111294517B (zh) 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
WO2021182130A1 (ja) * 2020-03-12 2021-09-16 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
CN113452898B (zh) * 2020-03-26 2023-07-18 华为技术有限公司 一种拍照方法及装置
CN111563552B (zh) * 2020-05-06 2023-09-05 浙江大华技术股份有限公司 图像融合方法以及相关设备、装置
US11006041B1 (en) * 2020-05-07 2021-05-11 Qualcomm Incorporated Multiple camera system for wide angle imaging
US11509837B2 (en) 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US20210390747A1 (en) * 2020-06-12 2021-12-16 Qualcomm Incorporated Image fusion for image capture and processing systems
CN111818304B (zh) * 2020-07-08 2023-04-07 杭州萤石软件有限公司 图像融合方法及装置
CN111915520B (zh) * 2020-07-30 2023-11-10 黑芝麻智能科技(上海)有限公司 用于改善拼接图像的亮度的方法、装置和计算机设备
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112434185B (zh) * 2020-10-26 2023-07-14 国家广播电视总局广播电视规划院 一种查找相似视频片段的方法、系统、服务器及存储介质
US11405563B2 (en) 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
KR20220075028A (ko) * 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CA3187854A1 (en) 2020-12-15 2022-06-23 Tetavi Ltd. Method of fusing mesh sequences within volumetric video
US12028609B2 (en) * 2020-12-23 2024-07-02 Qualcomm Incorporated Camera sensor changes in multi-sensor device
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN113592751B (zh) * 2021-06-24 2024-05-07 荣耀终端有限公司 图像处理方法、装置和电子设备
CN115633252B (zh) * 2021-08-11 2023-10-20 荣耀终端有限公司 拍摄方法及其相关设备
CN113747123B (zh) * 2021-08-24 2024-02-09 成都纵横自动化技术股份有限公司 航拍违法检测系统、视频处理装置和违法检测装置
CN113744414B (zh) * 2021-09-06 2022-06-28 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
KR20230059493A (ko) * 2021-10-26 2023-05-03 삼성전자주식회사 특징 매칭 기반의 영상 합성을 통한 영상 처리 방법 및 장치
CN113822261A (zh) * 2021-11-25 2021-12-21 智道网联科技(北京)有限公司 交通信号灯的检测方法、装置及电子设备、存储介质
WO2023169874A1 (en) * 2022-03-08 2023-09-14 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system and system, method and computer program for a surgical microscope system
CN115880198B (zh) * 2023-02-01 2023-07-07 荣耀终端有限公司 图像处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012024830A1 (en) * 2010-08-24 2012-03-01 Hewlett-Packard Development Company, L.P. Stitched digital images
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545685B1 (en) * 1999-01-14 2003-04-08 Silicon Graphics, Inc. Method and system for efficient edge blending in high fidelity multichannel computer graphics displays
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
EP1384046B1 (en) 2001-05-04 2018-10-03 Vexcel Imaging GmbH Digital camera for and method of obtaining overlapping images
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20070083114A1 (en) * 2005-08-26 2007-04-12 The University Of Connecticut Systems and methods for image resolution enhancement
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US8717412B2 (en) 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
US20090073254A1 (en) * 2007-09-17 2009-03-19 Hui Li Omnidirectional imaging system with concurrent zoom
US8526779B2 (en) 2008-11-07 2013-09-03 Looxcie, Inc. Creating and editing video recorded by a hands-free video recording device
US20150189140A1 (en) * 2009-02-23 2015-07-02 Gary Edwin Sutton Curved sensor array camera
US8542287B2 (en) * 2009-03-19 2013-09-24 Digitaloptics Corporation Dual sensor camera
US20120113266A1 (en) 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
GB2497119B (en) * 2011-12-01 2013-12-25 Sony Corp Image processing system and method
US20130169834A1 (en) * 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
KR101858646B1 (ko) * 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
JP5770214B2 (ja) * 2013-03-06 2015-08-26 オリンパス株式会社 撮像操作端末、撮像システム、ソフトウェア抽出方法及びプログラム
WO2014160819A1 (en) 2013-03-27 2014-10-02 Bae Systems Information And Electronic Systems Integration Inc. Multi field-of-view multi sensor electro-optical fusion-zoom camera
US9551854B2 (en) * 2013-10-18 2017-01-24 Light Labs Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner
KR102209066B1 (ko) * 2014-01-17 2021-01-28 삼성전자주식회사 다수의 초점거리를 이용한 이미지 합성 방법 및 장치
US9860537B2 (en) * 2014-12-16 2018-01-02 Intel Corporation Multi-focus image data compression
US10075651B2 (en) * 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
JP6281730B2 (ja) * 2015-07-10 2018-02-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像を取得するシステム及び無人航空機
US10194089B2 (en) 2016-02-08 2019-01-29 Qualcomm Incorporated Systems and methods for implementing seamless zoom function using multiple cameras
US10706518B2 (en) 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
CN106303258A (zh) 2016-09-19 2017-01-04 深圳市金立通信设备有限公司 一种基于双摄像头的拍摄方法和终端
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10356300B2 (en) 2016-12-23 2019-07-16 Mediatek Inc. Seamless zooming on dual camera
US10645335B2 (en) * 2017-03-22 2020-05-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus for generating a single file of two shooting periods
US10410314B2 (en) 2017-04-27 2019-09-10 Apple Inc. Systems and methods for crossfading image data
EP4387257A3 (en) 2018-10-12 2024-08-21 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
US11509837B2 (en) 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012024830A1 (en) * 2010-08-24 2012-03-01 Hewlett-Packard Development Company, L.P. Stitched digital images
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Image Frame Fusion using 3D Anisotropic Diffusion》;KAHRAMAN,Fatih et al.;《2008 23rd International Symposium on Computer and Information Sciences》;20081027;摘要，正文第"II.C"部分内容 *
《image fusion based on pixel significance using cross bilateral filter》;B. K. Shreyamsha Kumar;《SIGNAL,IMAGE AND VIDEO PROCESSING》;20131005;第9卷(第5期);正文第3.1节 *
《Image Fusion with Guided Filtering》;LI,Shutao et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20130701;第22卷(第7期);正文第III节 *

Also Published As

Publication number Publication date
WO2018063482A1 (en) 2018-04-05
CN113572963A (zh) 2021-10-29
US20180096487A1 (en) 2018-04-05
EP3520387B1 (en) 2024-09-04
EP3520387A1 (en) 2019-08-07
CN113572963B (zh) 2023-08-29
US20230419437A1 (en) 2023-12-28
US11790481B2 (en) 2023-10-17
US10297034B2 (en) 2019-05-21
EP4412235A2 (en) 2024-08-07
CN117061885A (zh) 2023-11-14
US20190236794A1 (en) 2019-08-01
CN109792485A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109792485B (zh) 用于融合图像的系统及方法
US9591237B2 (en) Automated generation of panning shots
US10389948B2 (en) Depth-based zoom function using multiple cameras
US10244164B1 (en) Systems and methods for image stitching
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
US10373360B2 (en) Systems and methods for content-adaptive image stitching
US10567646B2 (en) Imaging apparatus and imaging method
US10762664B2 (en) Multi-camera processor with feature matching
US20150030247A1 (en) System and method of correcting image artifacts
US20180007281A1 (en) Method and apparatus for compositing image by using multiple focal lengths for zooming image
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
TW202220433A (zh) 圖框處理及／或擷取指令系統及技術
US20190355101A1 (en) Image refocusing
WO2023192706A1 (en) Image capture using dynamic lens positions
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
CN113395434B (zh) 一种预览图像虚化方法、存储介质及终端设备
US20160301917A1 (en) Image processing device, image pickup apparatus, image processing method, and storage medium
JP2017175401A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant