CN108604373A - 用于使用多个相机实施无缝缩放功能的系统和方法 - Google Patents

用于使用多个相机实施无缝缩放功能的系统和方法 Download PDF

Info

Publication number
CN108604373A
CN108604373A CN201780009835.5A CN201780009835A CN108604373A CN 108604373 A CN108604373 A CN 108604373A CN 201780009835 A CN201780009835 A CN 201780009835A CN 108604373 A CN108604373 A CN 108604373A
Authority
CN
China
Prior art keywords
image
camera
preview
zoom level
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009835.5A
Other languages
English (en)
Other versions
CN108604373B (zh
Inventor
詹姆斯·威尔逊·纳什
卡林·米特科夫·阿塔纳索夫
S·R·戈马
纳拉亚纳·卡西克·萨丹那达姆·拉维腊拉
文卡塔·拉维·希兰·达亚娜
卡蒂科扬·尚姆加瓦迪韦卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108604373A publication Critical patent/CN108604373A/zh
Application granted granted Critical
Publication of CN108604373B publication Critical patent/CN108604373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开用于为具有两个或更多个不对称相机的多相机装置提供无缝预览图像的装置和方法。一种多相机装置可包含安置成对目标场景成像的两个不对称相机。所述多相机装置另外包含耦合到存储器组件和显示器的处理器，所述处理器被配置成从所述存储器组件检索由第一相机产生的图像，从所述存储器组件检索由第二相机产生的图像，接收对应于预览缩放等级的输入，从存储器检索空间变换信息和光度变换信息，通过所述空间变换和所述光度变换修改从所述第一和第二相机接收的至少一个图像，以及基于所述预览缩放等级，在所述显示器上提供包括所述至少一个经修改图像的至少一部分和所述第一图像或所述第二图像的一部分的预览图像。

Description

用于使用多个相机实施无缝缩放功能的系统和方法
技术领域
本文公开的系统和方法是针对图像处理，且更明确地说，是针对使用多相机装置产生图像。
背景技术
一些成像装置使用两个或更多个相机实施缩放功能。在这些装置中，每一相机包含其自身的关联电路、镜头和传感器。因此，即使当对同一场景成像时，这些相机的输出在图像参数上例如在视场和色彩上可能不同。取决于从用户的输入接收的缩放命令，成像装置可启动适当相机并引导其输出到图像预览屏幕。然而，在成像装置切换作用中的相机的情况下，当在成像装置的预览模式中合成图像场景时，用户可能不希望感知到预览屏幕突然改变。因此，需要实施无缝缩放的系统和方法，其中用户可构成图像场景并且当成像装置在作用中相机之间切换时，可在不感知到成像装置的预览模式中的非所要移位的情况下输入缩放命令。
发明内容
本公开的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所公开的合乎需要的属性。某些创新涉及具有两个不同的相机(例如被配置成用于广角图像捕获的相机和被配置成用于摄远图像捕获的相机)的成像系统，以及从一个相机显示的视野到接下来从另一相机显示的视野之间的转变。所述两个相机经定位并且被配置成大体对同一目标场景成像。可通过使用智能状态机“淡变”(转变)两个相机产生的图像之间的空间对准和光度对准，执行转变。状态机被配置成显示来自一个相机的视野，且在成像参数改变例如所要缩放等级时，转变到来自另一相机的视野。所述转变可包含使用空间变换(例如，模型化来自两个相机的图像之间的空间对准差异)和/或光度变换(例如，模型化来自两个相机的图像之间的色彩和/或强度差异)。
使用空间变换和光度变换，呈现给用户的“预览”图像可为不可区分的，而不管哪个相机用以提供(或供应)图像。确定来自两个相机的图像之间的变换，因此所述图像是已知的。两个相机可提供最终显示为预览图像的图像信息。在一些实施例中，在从一个相机(“源相机”)切换到另一相机(“目的地相机”)期间，所述变换可改变源相机图像以与目的地相机图像空间和光度对准，因此一旦目的地相机正在提供预览图像，便可使源相机断电以节省电力。在从源相机变换到目的地相机期间，如果期望切换(回到源相机)，那么所述系统被配置成执行可考虑转变(或淡变)过程的当前进度的逆变换。
一个创新包含一种多相机装置，其包含第一相机，其具有视场(FOV)，所述第一相机被配置成产生一或多个第一图像；第二相机，其具有小于所述第一相机的所述FOV的FOV，所述第二相机被配置成产生一或多个第二图像，所述第一相机和所述第二相机定位成使得所述第二相机的所述FOV中的目标场景也在所述第一相机的所述FOV中；显示器；存储器组件；和处理器，其耦合到所述存储器组件。所述处理器可被配置成从所述存储器组件检索第一图像；从所述存储器组件检索第二图像；确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；和确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息。所述处理器还可以被配置成接收对应于下一个预览缩放等级的输入；从存储器检索所述空间变换和所述光度变换的信息；使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和基于所述下一个预览缩放等级，在所述显示器上提供预览图像，所述显示器图像包括来自所述第一相机的图像、来自所述第二相机的图像，或包括所述经修改图像的一部分和来自所述第一相机或所述第二相机的图像的一部分的图像。
所述多相机装置可包含创新的其它方面。在一个方面中，所述第一相机包含被配置成用于使所述第一相机具有大于或等于57度的视角的光学器件和传感器阵列，且所述第二相机包含被配置成用于使所述第二相机具有小于50度的视角的光学器件和传感器阵列。在另一方面中，其中所述存储器组件被配置成存储与所述第一和第二相机的相对对准有关的预定对准信息，且所述处理器进一步被配置成从所述存储器组件检索所述预定对准信息，并且使用所述预定对准信息确定所述空间变换。在另一方面中，所述第一相机包含广角镜头且所述第二相机包括摄远镜头。在另一方面中，所述至少一个经修改图像是来自所述第一相机的图像，且所述预览图像包括来自所述第二相机的图像的一部分。在另一方面中，所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经放大的预览图像。在另一方面中，所述至少一个经修改图像是来自所述第二相机的图像，且所述预览图像包含来自所述第一相机的图像的一部分。在另一方面中，所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经缩小的预览图像。
在各种实施例中，所述处理器可进一步被配置成控制所述第一相机和所述第二相机基于所述预览缩放等级而处于多个启动状态中的一个中，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否在所述预览图像中使用来自所述第一相机和所述第二相机的图像。在多相机装置的另一方面中，所述处理器进一步被配置成将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级，且当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通，以及当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通。在一个方面中，所述预览图像是基于：当所述预览缩放等级小于所述第一阈值T1时，来自所述第一相机的至少一个图像；当所述预览缩放等级大于所述阈值T2时，来自所述第二相机的至少一个图像；和当所述预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分。在一个方面中，所述处理器进一步被配置成当所述下一个预览缩放等级表示低于第一阈值T1的缩放等级且所述预览图像包括仅来自所述第一相机的图像时，减少送往所述第二相机的电力，以及当所述下一个预览等级表示高于第二阈值T2的缩放等级且所述预览图像包括仅来自所述第二相机的图像时，减少送往所述第一相机的电力。
另一创新包含一种显示预览图像的方法，所述方法包含：通过处理器从存储器组件检索第一图像，所述第一图像是由具有视场(FOV)的第一相机捕获；通过所述处理器从所述存储器组件检索第二图像，所述第二图像是由具有小于所述第一相机的所述FOV的FOV的第二相机捕获，所述第一相机和所述第二相机定位成使得所述第二相机的所述FOV中的目标场景也在所述第一相机的所述FOV中；通过所述处理器确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；通过所述处理器确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；接收对应于下一个预览缩放等级的输入；从存储器检索所述空间变换信息和所述光度变换信息；通过所述空间变换信息和所述光度变换信息，修改从第一和第二相机接收的至少一个图像；和基于所述下一个预览缩放等级，在所述显示器上提供包括所述至少一个经修改图像的至少一部分和所述第一图像或所述第二图像的一部分的预览图像。所述第一相机可包含被配置成用于使所述第一相机具有大于或等于57度的视角的光学器件和传感器阵列；且所述第二相机可包含被配置成用于使所述第二相机具有小于50度的视角的光学器件和传感器阵列。在一些方面中，所述存储器组件被配置成存储与所述第一和第二相机的相对对准有关的预定对准信息，且所述处理器进一步被配置成从所述存储器组件检索所述预定对准信息，并且使用所述预定对准信息确定所述空间变换。
在所述方法的一个方面中，所述第一相机包括广角镜头且所述第二相机包括摄远镜头。在另一方面中，所述至少一个经修改图像是来自所述第一相机的图像，且所述预览图像包括来自所述第二相机的图像的一部分，且所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经放大的预览图像。在另一方面中，所述至少一个经修改图像是来自所述第二相机的图像，且所述预览图像包括来自所述第一相机的图像的一部分，且所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经缩小的预览图像。在另一方面中，所述方法包含通过所述处理器基于所述下一个预览缩放等级控制所述第一相机和所述第二相机的启动状态，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否在所述预览图像中使用来自所述第一相机和所述第二相机的图像。在另一方面中，所述方法包含通过所述处理器将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级，当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通，以及当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通。在一个方面中，在显示器上提供所述预览图像包含提供：当所述下一个预览缩放等级小于所述第一阈值T1时，由来自所述第一相机的至少一个图像形成的预览图像，当所述下一个预览缩放等级大于所述阈值T2时，来自所述第二相机的至少一个图像，以及当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分。
在另一方面中，所述创新方法另外包含通过所述处理器当所述下一个预览缩放等级表示低于第一阈值T1的缩放等级且所述预览图像包括仅来自所述第一相机的图像时，减少送往所述第二相机的电力，以及当所述下一个预览缩放等级表示高于第二阈值T2的缩放等级且所述预览图像包括仅来自所述第二相机的图像时，减少送往所述第一相机的电力。在另一方面中，所述方法另外包含控制所述第一相机和所述第二相机基于所述下一个预览缩放等级而处于多个启动状态中的一个中，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否正在输出来自所述第一相机和所述第二相机的图像以供在所述预览图像中使用。在另一方面中，所述方法包含将所指示所述下一个预览缩放等级与具有第一阈值T1和第二阈值等级T2的缩放等级范围进行比较，所述第二阈值等级指示大于所述第一阈值等级T1的放大等级，在所述下一个预览缩放等级小于所述第一阈值T1的情况下，在第一启动状态中控制所述第一相机接通且所述第二相机关断，当下一个预览缩放等级高于所述第二阈值等级T2时，在第二启动状态中控制所述第一相机关断且所述第二相机接通，和当所述下一个预览缩放等级介于第一阈值等级T1与第二阈值等级T2之间时，在第三启动状态中控制所述第一相机和所述第二相机都接通。所述方法可另外包含当所述下一个预览缩放等级小于所述第一阈值T1时，通过所述处理器将基于来自所述第一相机的至少一个图像的预览图像提供给所述显示器，当所述下一个预览缩放等级大于所述阈值T2时，通过所述处理器提供基于来自所述第二相机的至少一个图像的预览图像，和当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，通过所述处理器提供基于来自所述第一相机的至少一个图像和来自所述第二相机的至少一个图像的预览图像。
另一创新包含一种多相机装置，其包含用于产生一或多个第一图像的第一装置，所述用于产生的第一装置具有视场(FOV)；用于产生一或多个第二图像的第二装置，所述用于产生一或多个第一图像的第二装置具有小于所述用于产生一或多个第一图像的第一装置的所述FOV的FOV；所述用于产生一或多个第一图像的第一装置和所述用于产生一或多个第一图像的第二装置定位成使得所述用于产生一或多个第一图像的第二装置的所述FOV中的目标场景也在所述用于产生一或多个第一图像的第一装置的所述FOV中；用于显示图像的装置；用于存储电子图像和变换信息的装置；和用于处理的装置，其耦合到所述用于存储的装置。在一些实施例中，所述用于处理的装置被配置成：从所述用于存储的装置检索第一图像；从所述用于存储的装置检索第二图像；确定空间变换，并且将所述空间变换保存在所述用于存储的装置中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；确定光度变换，并且将所述光度变换保存在所述用于存储的装置中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；接收对应于下一个预览缩放等级的输入；从所述用于存储的装置检索所述空间变换和所述光度变换的信息；使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和基于所述下一个预览缩放等级，在所述用于显示的装置上提供预览图像，所述显示器图像包括来自所述用于产生一或多个第一图像的第一装置的图像、来自所述用于产生一或多个第二图像的第二装置的图像，或包括所述经修改图像的一部分和来自所述用于产生一个或多个图像的第一装置或所述用于产生一个或多个图像的第二装置的图像的一部分。
在所述多相机装置的一些实施例中，所述用于产生一或多个第一图像的第一装置包含被配置成具有大于或等于57度的视角的光学器件和传感器阵列；和所述用于产生一或多个第二图像的第二装置包括被配置成具有小于50度的视角的光学器件和传感器阵列。在一些实施例中，所述用于存储的装置包含一或多个存储组件，且其中所述用于处理的装置包含一或多个处理器。
另一创新包含一种具有代码的非暂时性计算机可读媒体，所述代码在被执行时致使电子硬件处理器执行提供包含来自第一相机的一个或多个图像和第二图像的预览图像，所述方法包含：从存储器组件检索第一图像；从所述存储器组件检索第二图像；确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；接收对应于下一个预览缩放等级的输入；从存储器检索所述空间变换和所述光度变换的信息；使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和基于所述下一个预览缩放等级，在所述显示器上提供预览图像，所述显示器图像包括来自所述第一相机的图像、来自所述第二相机的图像，或包括所述经修改图像的一部分和来自所述第一相机或所述第二相机的图像的一部分的图像。在一些实施例中，所述方法包含将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级；当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通；当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通。在一些实施例中，提供所述预览图像包括当所述下一个预览缩放等级小于所述第一阈值T1时，从来自所述第一相机的至少一个图像产生所述预览图像，当所述下一个预览缩放等级大于所述阈值T2时，从来自所述第二相机的至少一个图像产生所述预览图像，且当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，从所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分产生所述预览图像。
附图说明
将在下文中结合附图来描述所公开方面，提供附图是为了说明但不限制所公开方面，其中相同符号表示相同元件。
图1说明对应于多相机装置的不同相机或镜头的不同视场的图式的实例。
图2A-2F说明根据一些实施例的双相机装置对一场景成像的实例，其中显示器响应于来自用户的缩放命令展示场景的预览。
图3是说明具有无缝缩放能力的多相机装置的实施例的实例的框图。
图4是说明当多相机装置放大或缩小时，向用户无缝显示来自第一相机的图像A和来自第二相机的图像B的过程的框图，所述第一相机和第二相机是多相机装置的部分。
图5说明根据一些实施例的静态校准程序的示范性设置和阶段。
图6是说明可用以对两个图像执行空间对准以实施无缝缩放功能的空间对准功能性的实施例的实例的框图。
图7是说明可用以执行光度对准(或强度均衡)以实施缩放功能性的过程的模块的实例的框图。
图8是说明用于无缝缩放功能性的过程流的实例的框图，所述过程流包含空间对准、强度对准和向用户显示图像的状态机。
图9是说明根据一些实施例的用于多相机装置中的无缝缩放功能性的过程的不同状态的状态图。
图10是说明根据一些实施例的多相机装置中的缩放功能(y轴)对时间(x轴)的实例的图表。
图11说明根据一些实施例的实施多相机装置中的无缝缩放功能以显示可由第一和第二不对称相机产生的图像的过程。
具体实施方式
本公开的实施例涉及用于实施多相机装置例如具有两个相机的装置中的无缝缩放功能的系统和技术。如本文中所使用的“相机”是指图像感测组件集合，通常包含传感器阵列(或“传感器”)和一或多个光学组件(例如，一或多个镜头或光重定向组件，在本文中有时被称作“光学器件”或“光学器件集合”)，来自目标场景的光在到达传感器阵列之前传播穿过所述光学组件。在一些实施例中，多相机装置可包含多个相机，每一相机包含光学器件集合和对应传感器阵列。在具有多个相机的装置的其它实例中，特定光学器件集合可对应于两个或更多个传感器，也就是说，提供光到两个或更多个传感器。本文中所描述的实例中的一些描述具有不对称镜头/相机例如广角相机和摄远相机的多相机装置，然而，还预期多相机装置的其它实例，且本发明不意在限于描述的特定实例。
当观看由具有两个或更多个相机的成像装置产生的图像时，相机之间的切换可致使观看显示器上的图像的用户可感知到的非所要图像像差。举例来说，由两个相机针对同一目标场景产生的图像可在空间定向上不同且看起来具有色彩。本公开的方法和系统解决相机之间的切换，所述相机例如两个相机系统，其中第一相机被配置成捕获目标场景的广角图像且包含广角镜头，且第二相机被配置成捕获同一目标场景的摄远图像且包含摄远镜头。当接收到放大命令时，多个相机系统的所要特性从目标场景的广角相机视图切换到摄远相机视图，且无缝切换，也就是说，用户不会感知到所述切换，或对相机之间的切换的此类感知降到最小。
针对成像设备上的多个相机的情况，归因于相机的物理位置不同，所捕获的图像可位于不同视点。举例来说，多相机装置上的相机可间隔开一(1)cm的距离。为对准图像以便当观看所述图像时不会感知到原始图像中存在的差别，可使图像空间对准，可使图像的色彩(和强度)对准，并且接着可呈现图像以供在进一步使由两个(或更多)不同相机产生的图像之间的可感知差减到最小的融合过程中观看。在一些实例中，基于到正被观看的对象的距离，在显示器呈现来自广角相机的图像，在显示器上呈现来自摄远相机的图像，或在显示器上呈现融合图像，其中融合图像的一个部分是基于来自广角相机的数据且融合图像的另一部分是基于摄远相机接收的数据。根据各个实施例，此类融合图像是基于变换来自第一相机(例如，广角相机)的图像以匹配来自第二相机(例如，摄远相机)的图像，或变换来自第二相机(例如，摄远相机)的图像以匹配来自第一相机(例如，广角相机)的图像，或变换来自第一和第二相机中的一个或两个的图像以产生融合图像。
所述系统和方法可包含对“静态”预览图像或视频预览图像的操作。在一些实施例中，对于静态图像，预览图像可包含由两个相机形成的图像。举例来说，预览图像可具有来自广角相机的外部部分和来自摄远相机的中心部分，所述部分拼接在一起以对观看者来说看起来是无缝的(或基本如此)。也就是说，由摄远相机捕获的目标场景的广角图像的部分替换为目标场景的摄远图像的对应部分。在此实例中，空间对准和光度对准操作变换一个或两个图像的像素以提供无缝合成图像。为提供无缝合成图像，可对齐两个图像的边界的部分。边界区域中的像素的光度变换允许当在预览图像中呈现图像时，所述边界是无缝的。
在一些实施例中，首先可执行工厂中的静态校准，包含识别两个图像集合中的对应区域，以及估计数学函数(变换)，所述数学函数将来自由一个相机捕获的图像的像素映射到由另一相机捕获的图像中的像素。所述校准可包含检测正被匹配的两个图像中的关键点，匹配图像之间的关键点，以及估计所述匹配的参数以产生空间变换，所述空间变换界定来自第一相机的图像与来自第二相机的图像中的对应像素之间的空间关系。用于空间变换的参数可包含例如比例尺移位、成角度旋转或水平或垂直方向上的移位。
在来自第一和第二相机的图像在空间上对准之后，可执行光度对准，以使图像的对应部分在色彩和强度上匹配。在一些实施例中，来自第一相机(例如，广角相机)和来自第二相机(例如，摄远相机)的图像被分割成区域，且在图像的多个区域中执行直方图均衡。举例来说，来自第一和第二相机的图像可划分成N个区域并且计算所述区域中的每一个的局部直方图。可针对构成图像的色彩通道强度，均衡化对应区域的直方图。内插邻近区域，因此使所述区域的边界无缝。在一些实例中，光度对准产生光度变换参数，所述参数可存储并且接着被检索和应用于第一和/或第二相机的后续图像，以便以光度方式对准所述图像。所述变换参数可为自适应的。换句话说，可动态更新变换参数并且重新存储以供后续在以空间和光度方式确定来自第一相机和第二相机的额外图像时使用。
图1说明对应于多相机装置100的不同相机的不同视场的实例。在此实例中，多相机装置100包含第一相机115，其具有包含广角镜头的光学器件，以及第二相机116，其具有包含摄远镜头的光学器件。第一相机115和第二相机116定位成都具有包含同一目标场景但各自具有目标场景的不同视角的视场(FOV)。在此实例实施方案中，第一相机115(亦称为广角相机115)具有视角θ1，且第二相机116(亦称为摄远相机116)具有视角θ2。广角相机115的视角θ1大于摄远相机116的视角θ2。因此，与摄远相机104产生具有“较窄”视场108的图像相比，广角相机115产生具有“较宽”视场106的图像。如图1中所说明，如下文将进一步论述，多相机装置100的广角相机115可定位在距摄远相机116的已知距离“b”处。
在实例实施方案中，第一相机115是主相机且具有广角镜头，例如，具有3.59mm焦距。第一相机115的FOV的角度是67度。第一相机116的传感器包含沿着具有1.12μm像素的长度尺寸的4208像素阵列，具有4:3宽高比，且具有自动聚焦功能性。在实例实施方案中，第二相机是辅助相机且具有具6mm焦距的摄远镜头。在此实例实施方案中，第二相机116的视角是34度，且第二相机116的传感器包含沿着具有1.12μm像素的长度尺寸的3208像素阵列，具有4:3宽高比，并且还具有自动聚焦功能性。
由多相机装置100的每一相机捕获的图像可提供给显示装置以供用户观看。在多相机装置100瞄准目标场景并接收到放大命令的情况下，当用户正在显示器上预览目标场景时和/或当多相机装置100正在捕获图像时，多相机装置100可从广角相机115切换到摄远相机116。因为摄远镜头与广角镜头相比具有较窄视场并且可具有不同传感器和不同成像参数，用户可察觉显示器上展示的预览图像的突然非所要改变，且多相机装置可在视频中捕获所述非所要改变。类似地，缩小命令可致使多相机装置从摄远相机116切换到广角相机116，且因为摄远镜头与广角镜头相比具有较窄视场，所以可在显示装置上看见图像的可感知的突然非所要改变，且可在由多相机装置100捕获的图像中捕获所述改变。
图2A-2F说明根据一些实施例的多相机装置204对场景202成像的实例，其中显示器203响应于缩放命令212展示场景202的预览。在此实例中，多相机装置204包含具有广角镜头的第一相机(广角相机)206和具有摄远镜头的第二相机(摄远相机)208。所说明的多相机装置204还包含显示器203。显示器203可用以在图像被捕获和存储在中存储器中之前观看所述图像(即，预览图像)，或观看正被捕获并存储在存储器中的图像。在图2A-2F中，区域205表示摄远相机208的视场，而区域210可表示广角相机206的视场。在多相机装置204处理放大命令时，显示器203对应地展示如图2B-2F所说明的场景202的经放大表示。缩放滑块212说明用户输入的缩放命令的等级或范围。
图2B说明放大命令指示缩放等级的情况，其中使用广角相机206所捕获的图像的输出可提供给显示器203并且填充显示器。在图2B中，区域205表示摄远相机204的视场。区域205的实际边界对于用户来说(如在显示给用户时)可为不可感知的。在图2C中，接收的放大命令指示缩放等级，其中多相机装置204启动摄远相机208并且使用摄远相机208所捕获的图像显示更大程度经放大图像。广角相机206和摄远相机208可产生在区域205中的色彩和空间对准中不同的图像。在图2D中，当达到广角相机206的成像界限(或处于接近所述点的某一阈值处)时，多相机装置204可产生融合(或组合)图像，其组合广角相机206和摄远相机208的输出。也就是说，产生融合图像，其中融合图像的中心部分对应于含有来自摄远相机208的图像数据的区域205，且区域205和210之间的剩余部分含有来自广角相机206的图像数据。对于用户来说，图2C和2B中的在显示器203上展示的预览图像可能看起来类似或相同。可在融合图像的边界区中执行对齐，其中两个图像中的每一个的部分彼此相邻，以确保无缝(或基本如此)融合图像。在图2E和2F中，如果多相机装置204继续接收放大命令，那么多相机装置204可继续放大区域205，且由于较早执行图像融合操作，用于预览目标场景的图像的图像数据可以已经是可用的。
相反地，在图2F中，多相机装置204可开始接收缩小命令，且在缩小时，可达到图2E中所说明的来自摄远相机208的图像数据的限值。在图2E和2D之间，多相机装置204可执行另一图像融合操作，产生一图像，所述图像组合广角相机206和摄远相机208的输出，以产生其中对应于区域205的中心部分含有来自摄远相机208的图像数据且区域205和210之间的剩余部分含有来自广角相机206的图像数据的图像。
如果不执行本文中所描述的空间变换和光度变换，那么当在广角相机206的外界限处或附近接收放大命令时，用户可看见从图2C转到图2E，显示器203中的突然改变，且显示的图像从来自广角相机206改变为来自摄远相机208。另外，当接收到缩小命令且显示的图像在摄远相机208的界限处或附近时，用户可看见从图2E转到图2C，显示器203中的突然改变。为解决这些问题，可产生组合广角相机206和摄远相机208两者的经空间对准和经光度对准图像的过渡图像，使得可以用户不可感知或几乎不可感知的无缝方式执行两个相机之间的切换。
如上文所论述，广角相机206和摄远相机208产生的图像可在空间对准和/或光度特性(例如，色彩、强度)上不同。在一些实施例中，可执行空间对准和/或色彩强度匹配或均衡，产生来自广角相机206和摄远相机208的图像的顺利变换。图像对准功能性可包含图像空间对准以及区域匹配中用于图像对准的强度均衡。在图像集合中的每一图像可描绘大体上相同的图像场景，例如，自不同视点、在不同照明或在电磁光谱的不同部分中的图像场景。集合中的图像中的每一个可分成包含像素块的多个区域。所述区域可经匹配以确定描绘图像之间的对应特征的区域，即，确定图像中的哪些区域描绘相同特征。描绘对应特征的区域可在空间和强度上匹配。描绘对应特征的区域之间的空间或强度对应性可准许使用区域的准确匹配，从而例如引起准确的下游图像对准和/或深度图构造。
在一些实施例中，可至少部分基于识别图像集合中的每一图像中的独特特征(称为关键点)来确定区域。关键点可经选择和/或处理，使得所述关键点对于图像比例尺改变和/或旋转是不变的，并且跨越大范围失真、视点改变和/或噪声提供稳健匹配。可(例如)基于经提取特征的位置、形状和大小来确定区域位置、形状和大小。对应区域之间的空间和/或强度均衡可适用于局部结构内容，例如关键点的形状。因此，可在关键点检测之后，通过区域匹配和/或均衡对应区域的强度，缓解或去除空间和/或强度变化对关键点匹配的影响。
对应区域之间的空间对准或强度值均衡可适应包含在区域中的关键点的结构。在一些实例中，可分析每一对应区域的直方图以确定空间强度变化，并且可执行对应区域的强度之间的空间映射以提供适合于局部结构内容(例如，独特特征)的均衡强度。举例来说，在基于一对图像中的块的直方图分析而确定均衡函数之后，第一图像中的强度值可被映射到第二图像中的强度值，使得第一图像变换成具有与第二图像的直方图最密切类似或匹配的直方图。所有所确定区域就强度值来说看起来非常类似，并且因此可通过后续处理识别为每一图像中的对应区域，即使所述区域通过不同传感器、光学器件和/或光波长产生。
虽然本发明中所描述的实施例的方面将集中于立体图像对的情境内的区域匹配，但这是出于说明的目的且并不意在限制本文中所描述的空间对准和局部强度均衡技术的用途。还可使用本文中所描述的空间对准和/或局部强度均衡技术，更准确地执行针对非立体图像对使用区域匹配的空间和/或强度对准。举例来说，根据本文中所描述的实施例的空间对准和/或局部强度均衡可提供更准确的多谱图像对准，从光谱的不同部分匹配图像，例如对准所捕获的同一图像场景的近红外(NIR)图像和可见色彩(例如，RGB)图像。空间对准和/或局部强度均衡也可提供更准确光谱分析图像对准，例如通过光学系统使用衍射光栅执行光谱分析，对准不同波长下取得的图像集合。在各种实施例中，本文中所描述的空间对准和/或局部强度均衡技术可用以对准一对图像或三个或更多个图像集合。此外，本文中所描述的空间对准和/或局部强度均衡技术不限于通过区域匹配的对准，并且可并入到任何图像对准或配准技术中。
图3是说明具有无缝缩放能力的多相机装置300的实施例的实例的框图。在此实例中，多相机装置300包含耦合到多个相机中的两个相机(在此实例中为第一相机315和第二相机316)的图像处理器320。多相机装置300还可包含工作存储器305、存储装置310、显示器325和存储器330，所述组件全部耦合到图像处理器320并与所述图像处理器通信。在一些实施例中，包含图3中所说明的实施例，多相机装置300的组件(包含显示器325和存储装置310)可经由装置处理器360耦合到图像处理器320和/或与所述图像处理器通信。在此实例中，存储器300包含具有指令的模块，所述指令配置图像处理器执行包含无缝缩放功能性的各种操作。
在各种实施例中，多相机装置300可为蜂窝电话、数码相机、平板计算机、个人数字助理等。用户可获得对多相机装置300的多个成像应用。这些应用可包含传统照相和视频应用、高动态范围成像、全景照片和视频、立体成像例如3D图像或3D视频，或多光谱成像(仅举几例)。如所说明的多相机装置300包含用于捕获外部图像的第一相机315和第二相机316。第一相机315和第二相机316各自可包含为了清楚起见图3中未明确示出的各种组件，包含例如传感器、镜头组合件和自动聚焦模块。在一些实施例中，第一相机315和第二相机316可为电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)。第一相机315和第二相机316配置有不同组件(例如，光学器件、传感器)且因此产生基于其自有特定光学器件和传感器形成的图像。因此，目标图像场景可经捕获为图像集合，其中第一相机315根据传感器的强度响应捕获图像A，且第一相机第二相机316根据传感器的强度响应捕获图像B。另外，所捕获的图像A和B可例如归因于相机之间的物理偏移、传感器组合件A和B中的相机或镜头之间的侧倾、俯仰和横摆而在空间对准上不同。虽然示出两个相机(即，第一相机315和第二相机316)，但这是出于说明的目的且不意在限制可实施本文中所描述的空间对准和强度均衡技术的系统的类型。在其它实施例中，三个或更多个相机可捕获目标场景的图像集合，所述图像集合呈现至少一些空间未对准和/或局部强度变化。在其它实施例中，单个相机可捕获目标场景的图像集合，所述图像集合呈现至少一些局部强度变化。在一些实施例中，相机中的一或多个可不为多相机装置300的部分，替代地，来自一或多个相机的信息提供给多相机装置300以用于处理。举例来说，相机可以是另一成像系统的部分，且可提供来自此类系统的信息以供使用针对多相机装置300描述的功能性进行处理。在一些实施例中，首先存储此类信息，并且接着提供给多相机装置300以用于处理。可根据成像系统300的需要增加或减少传感器组合件的数目。第一相机315和第二相机316可耦合到图像处理器320以将所捕获图像传输到图像处理器320。
图像处理器320可被配置成对所接收的包含图像场景的多个图像的图像数据执行不同处理操作，以便输出准确对准的图像集，如将在下文更详细地描述。图像处理器320可为通用处理单元或专门针对成像应用设计的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如，按比例缩放到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如，空间图像滤波)、镜头伪影或疵点校正等。在一些实施例中，图像处理器320可包含多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器320可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
图像处理器320连接到存储器330和工作存储器305。在所说明的实例中，存储器330存储捕获控制模块335、强度对准模块340、空间对准模块255、状态机模块370和操作系统350。这些模块包含配置图像处理器320和/或装置处理器360执行各种图像处理和装置管理任务的指令。图像处理器320可使用工作存储器305存储存储器330的模块中所含的处理器指令的工作集合。替代地，图像处理器320也可使用工作存储器305存储在多相机装置300的操作期间产生的动态数据。
如上文所描述，图像处理器320可受存储于存储器例如存储器330中的数个模块配置或控制。捕获控制模块335可包含配置图像处理器320调整第一相机315和第二相机316的聚焦位置的指令。捕获控制模块335可另外包含控制多相机装置300的整体图像捕获功能的指令。举例来说，捕获控制模块335可包含调用子例程配置图像处理器320使用第一相机315和第二相机316捕获目标图像场景的原始图像数据的指令。捕获控制模块335接着可调用空间对准模块355和/或强度对准模块340对第一相机315和第二相机316捕获的图像执行空间对准和/或局部强度均衡，并将经对准图像数据输出到图像处理器320。捕获控制模块335也可以调用空间对准模块355和/或强度对准模块340对原始图像数据执行空间对准和/或强度均衡，以便在一些实施例中，在显示器325上输出将捕获的场景的预览图像，以及以特定时间间隔或当原始图像数据中的场景改变时更新预览图像。
空间对准模块355可包含配置图像处理器320对所捕获图像数据执行空间对准的指令。举例来说，第一相机315和第二相机316中的每一个可根据每一相机的不同参数和特性捕获描绘目标场景的图像。如上文所论述，来自第一相机315和第二相机316的针对同一目标场景产生的图像可归因于传感器增益、向下侧倾(roll-off)、俯仰、横摆、敏感度、视场、白平衡、几何畸变和噪声敏感度的不一致、第一相机115和第二相机116中的镜头之间的差异以及机载图像信号调节而不同。为了执行图像的准确空间对准，空间对准模块355可配置图像处理器320检测来自第一相机315的图像之间的对应特征，估计适当变换(或对应区域之间的映射)以及执行区域匹配，产生可准确地上下并置的图像。另外，空间对准模块355可配置图像处理器320对准两个图像，即使无法检测到图像之间的对应特征。
空间对准模块355可包含特征检测器357，其包含配置图像处理器320检测图像数据中的独特特征或关键点的指令。此类特征可对应于图像中可与高准确度匹配的点。举例来说，独特特征可至少部分表征为与周围像素区域相比在例如大小、形状、尺寸、亮度或色彩的性质上不同的边缘或线、拐角、脊线或斑点的存在或锐度。一般来说，出于特征识别的目的，对象或特征辨识可涉及识别图像中的关注点(也被称为关键点)和/或这些关键点周围的局部特征。对象或特征可表征为识别一或多个关键点的描述符。可通过任何已知特征检测技术，例如差方和、高斯-拉普拉斯算子(LoG)、高斯差分(DoG)和海赛行列式(DoH)(仅举几例)来识别关键点。
特征检测器357还可包含至少部分基于所识别关键点配置图像处理器320将图像数据分割成包含像素块的区域的指令。可例如基于所识别关键点的位置、形状和大小确定像素块位置、形状和大小。在例如一些立体对准应用的一些实施例中，特征检测器357可包含配置图像处理器320将像素块大小限制为大于视差值和/或小于向下侧倾变化值的指令。
空间对准模块355还可包含匹配模块359，其包含配置处理器320估计和应用一或多个变换以匹配由第一相机315和第二相机316产生的一个或多个图像的对应区域的指令。
强度对准模块340可包含配置图像处理器320使用局部强度均衡技术对所捕获的图像数据执行图像强度对准(其还可称为光度对准)的指令。举例来说，第一相机315和第二相机316中的每一个可根据每一传感器的强度响应捕获描绘目标场景的图像。如上文所论述，强度响应可归因于传感器增益、向下侧倾、敏感度、视场、白平衡、几何畸变和噪声敏感度的不一致，归因于第一相机315和第二相机316中的镜头和/或传感器之间的差异，以及机载图像信号调节而不同。为了执行图像的准确强度对准而不考虑图像之间的局部强度变化，强度对准模块340可配置图像处理器320将图像分割成多个区域，均衡对应区域的局部强度值，以及使用强度均衡区域执行区域匹配。
举例来说，强度对准模块340可包含特征检测器342，其包含配置图像处理器320检测图像数据中的独特特征或关键点的指令。此类特征可对应于图像中可与高准确度匹配的点。举例来说，独特特征可至少部分表征为与周围像素区域相比在例如大小、形状、尺寸、亮度或色彩的性质上不同的边缘或线、拐角、脊线或斑点的存在或锐度。一般来说，出于特征识别的目的，对象或特征辨识可涉及识别图像中的关注点(也被称为关键点)和/或这些关键点周围的局部特征。对象或特征可表征为识别一或多个关键点的描述符。可通过任何已知特征检测技术，例如差方和、高斯-拉普拉斯算子(LoG)、高斯差分(DoG)和海赛行列式(DoH)(仅举几例)来识别关键点。
特征检测器342还可包含至少部分基于所识别关键点配置图像处理器320将图像数据分割成包含像素块的区域的指令。可例如基于所识别关键点的位置、形状和大小确定像素块位置、形状和大小。在例如一些立体对准应用的一些实施例中，特征检测器342可包含配置图像处理器320将像素块大小限制为大于视差值和/或小于向下侧倾变化值的指令。
强度对准模块340还可包含直方图模块344，其包含至少部分基于直方图分析配置处理器320产生和分析区域的直方图并且产生强度均衡函数的指令。直方图模块344可包含如下指令：配置处理器320确定每一块的概率质量函数(PMF)、对PMF中的质量求和以计算累积质量函数(CMF)，以及使用CMF将来自第一相机315捕获的图像中的像素的强度值映射到第二相机316捕获的图像中的像素(或反过来也如此)。因此，对应区域之间的强度均衡可适用于局部结构内容，例如关键点的形状。
强度对准模块340还可包含匹配模块346，其可包含配置处理器320使用由直方图模块344产生的强度均衡图像数据来执行区域匹配的指令。归因于局部自适应强度均衡，对应关键点区域就强度值来说看起来彼此非常类似，从而在关键点结构周围，甚至在展现空间变化强度的图像中实现高度准备的匹配。
状态机模块370配置图像处理器320和/或装置处理器360上下转动第一相机315和第二相机316，取得来自第一相机115和第二相机116的图像反馈，在显示器上展示来自第一相机115和第二相机116部分或所有图像。状态机370规定的所得状态可致使存储图像变换参数或从存储装置检索图像变换参数，可用以取决于多相机装置300的用户输入的缩放命令，重新应用变换参数或变换的逆。
操作系统模块350可配置图像处理器320针对各种操作任务管理多相机装置300的工作存储器305和处理资源。举例来说，操作系统模块345可包含管理硬件资源例如第一相机315和第二相机316的设备驱动器。因此，在一些实施例中，上文所论述的图像处理模块中所含的指令可能不与这些硬件资源直接交互，而是替代地，通过位于操作系统模块350中的标准子例程或API交互。操作系统模块350内的指令接着可与这些硬件组件直接交互。操作系统模块350可进一步配置图像处理器320以与装置处理器360共享信息。
装置处理器360可被配置成控制显示器325向用户显示所捕获图像或所捕获图像的预览。显示器325可在多相机装置300外部或可为多相机装置300的部分。显示器325还可以被配置成提供显示预览图像以供在捕获图像之前使用的取景器(view finder)，或可被配置成显示存储于存储器中或近来由用户捕获的所捕获图像。显示器325可包括LCD或LED屏幕，且可实施触敏技术。
装置处理器360可将数据写入到存储模块310，所述数据例如表示所捕获图像的数据、图像对准数据、强度值数据等。虽然存储模块310以图形方式表示为传统磁盘装置，但所属领域的技术人员将理解，存储模块310可被配置为任何存储媒体装置。举例来说，存储模块310可包含磁盘驱动器(例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器)，或固态存储器(例如，快闪存储器、RAM、ROM和/或EEPROM)。存储模块310也可包含多个存储器单元，且存储器单元中的任一个可被配置成处于多相机装置300内，或可在多相机装置300外部。举例来说，存储模块310可包含含有存储在多相机装置300内的系统程序指令的ROM存储器。存储模块310还可包含被配置成存储所捕获图像的存储卡或高速存储器，其可从相机拆除。
尽管图3描绘具有单独组件(包含处理器、成像传感器和存储器)的装置，但所属领域的技术人员应认识到，这些单独组件可通过多种方式组合以实现特定的设计目标。举例来说，在一替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。另外，尽管图3说明包含存储器组件330(包含若干模块)和单独工作存储器305的两个存储器组件，但其它实施例可利用不同存储器架构。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施存储器330中所含的模块的处理器指令。处理器指令可加载到RAM中以便于由图像处理器320执行。举例来说，工作存储器305可包括RAM存储器，其具有在由处理器320执行之前被加载到工作存储器305中的指令。
图4是说明在多相机装置放大或缩小时，无缝显示表示所述多相机装置的视场的目标场景的图像或一系列图像的过程和/或系统400的概述的实例的框图，所显示的图像包含来自多相机装置的相机中的一或多个的数据。在此类过程/系统中，处理来自多个相机的图像，使得当显示所述图像时，在显示的图像是从一个相机或另一相机或两个相机提供的情况下，不存在用户可感知的差异，而不考虑每一相机具有不同成像特性。在图4的实例中，多相机装置具有两个相机。在其它实例中，多相机装置可具有三个或更多个相机。本文中进一步描述过程/系统400的所说明块中的每一个。
接收来自第一相机的图像A 405和来自第二相机的图像B 410，并且执行静态校准412。虽然为方便起见称为图像A 405和图像B 410，但图像A 405可指来自多相机装置的第一相机的一系列图像。此类系列图像可包含“静态”图像或捕获为视频的一系列图像。类似地，图像B 410可指来自多相机装置的第一相机的一系列图像。此类系列的图像可包含“静态”图像或捕获为视频的一系列图像。可使用已知目标场景例如测试目标执行静态校准412。在一些实例中，可“在工厂”执行静态校准，作为多相机装置的初始校准步骤。举例来说，在图5中进一步描述静态校准的方面。从静态校准412确定的参数可存储在存储器中以随后用于空间对准440和/或用于光度对准455。
在此实例中，空间对准440进一步空间对准图像A和图像B，将来自图像A的像素映射到图像B的对应像素。换句话说，空间对准440可确定图像A中的与图像B中的像素中的对应像素表示相同特征的像素或多个像素。参考图6进一步描述空间对准的某些方面。
过程/系统400还包含光度对准455，其在本文中也称为强度对准。光度对准455确定指示图像A的对应像素到图像B的色彩和/或强度变换的变换参数，且反过来也如此。使用光度对准信息，以及空间对准信息，图像A和图像B的对应像素可在一起显示在融合图像中，且用户不会感知到图像的一部分是从第一相机产生且所显示图像的一部分是由第二相机产生。参考图7进一步描述光度对准的某些方面。
过程/系统400还包含融合460图像A的一部分与图像B的一部分，以可呈现给用户以展示正被多相机装置捕获的目标场景的可显示图像470，其中每一部分与另一部分无缝结合，使得所显示的图像看起来来自一个相机。举例来说，参考图8进一步描述由多个相机产生的图像的融合。
在一些实施例中，为了准确地执行空间对准和强度均衡，可对多相机装置执行静态校准操作。图5表明根据一实施例的静态校准程序的设置和阶段的实施例的实例。在一些实施例中，多相机装置510可具有两个相机520和530。相机520可为广角相机且相机530可为摄远相机。可在制造多相机装置510的工厂处执行静态校准操作，其中可使用校准台架540。校准台架540可为具有已知大小的棋盘或圆点图案的平面校准板。相机520和530可摄取校准台架540的图像。使用校准台架上的已知特征和距离，可估计变换550。变换550可包含两个不对称相机520和530的模型和参数。这些参数可包含按比例缩放因子。按比例缩放因子可定义为两个不对称相机520和530的焦距的大致比。两个不对称相机520和530具有不同焦距和放大率，以便上下绘制或并置其图像，可确定按比例缩放因子。变换550的其它参数可包含视点匹配矩阵、主要偏移、几何校准以及使相机520的图像与相机530的图像相关的其它参数。
使用变换参数550，可产生使来自相机520的图像与来自相机530的图像相关或反过来也如此的映射560。映射560和变换参数550可存储于多相机装置510的存储器570中，或存储于不为多相机装置510的部分的存储器组件中。随着多相机装置510经历磨损和影响其初始因子校准的其它因素，本文中所描述的实施例可用以优化、重新调整或微调变换参数550和映射560。举例来说，可在用户正在使用多相机装置510时动态地应用本文中所描述的空间对准和强度均衡实施例，以考虑变换参数550和映射560的移位。
图6是说明可用以执行对具有不同成像特性的两个或更多个相机产生的图像数据的空间对准的空间对准模块655的实施例的实例的框图。在如参考图6中所描述的一个实例中，由广角相机产生的图像A 605可与由摄远相机产生的图像B空间对准。换句话说，空间对准是图像605A中的像素与图像B 610中的对应像素对准的映射。所述映射也可被称作变换。由于所述映射(或变换)，来自两个相机的图像可空间对准，使得当所述图像整体或部分地(例如，针对包含图像A 605和图像B 610中的每一个的一部分的融合图像)使用时，图像在空间上看起来是来自同一相机(和视点)。
在图6所说明的实施例中，图像A 605和图像B 610提供给空间对准模块655。在各种实施例中，空间对准模块655可实施于软件、硬件或软件和硬件的组合中。空间对准模块655可使用先前确定的对准信息(例如，从存储器组件检索此类信息)。先前确定的对准信息可用作用于空间对准两个相机提供的图像的开始点。空间对准模块655可包含特征检测器642和特征匹配器646。特征检测器642可包含通过所属领域的一般技术人员已知的各种特征检测技术中的一或多种基于可预定的准则，检测图像A 605和图像B 610中的每一个中的特征(或关键点)的指令(或功能性)。特征匹配器646使用特征匹配技术例如图像相关性，使图像A 605中的经识别特征与图像B 610中的经识别特征匹配。在一些实施例中，将对准的图像可被分割成块，且可在块到块层级上执行特征识别和匹配。
空间对准模块655还包含动态对准648，其可基于特征匹配确定空间变换参数，例如按比例缩放、旋转、移位，所述参数可用以将来自图像A 605的像素空间映射到图像B 610中的对应像素。在一些实施例中，可变换图像数据A 605以与图像数据B 610空间对准。在其它实施例中，可变换图像数据B 610以与图像数据A 605空间对准。由于特征检测，产生匹配和动态对准、空间变换(或映射)信息，其指示需要对图像A 605中的每一像素或群组像素进行操作(例如，按比例缩放、旋转、移位)，以与图像B 610中的一或多个对应像素对准，或反过来也如此。此类空间变换信息657接着存储于存储器组件中，以供后续被处理器(例如，图像处理器)检索来执行来自广角相机或摄远相机的另一或多个图像的空间对准。在一些实施方案中，变换图像数据658也可存储于存储器组件中以供后续使用。
图7说明光度对准740的实施例的实例的框图。光度对准可在软件中例如实施为存储在存储器中的模块中的一组指令，或实施于硬件中，或实施于软件和硬件两者中。光度对准740可用以使第一图像中的像素的色彩和强度与第二图像中的对应像素的色彩和强度匹配。因此，这可允许第一图像的一部分与第二图像的一部分一起显示在预览图像中，使得所述部分看起来是从同一相机产生，而非从具有不同成像参数(例如影响强度和色彩的参数)的两个不同相机产生。在一些实施例中，可对使用不对称相机产生的两个图像，例如从广角相机产生的图像和从摄远相机产生的图像，执行光度对准。
在图7中所说明的实施例中，从广角相机接收表示图像A 705的数据，且从摄远相机接收表示图像B 710的数据。在图7中，对准的图像A数据705和对准的图像B数据704已在空间上对准，使得来自所述图像中的一个的像素与来自另一图像的对应像素空间上对准。在其它实施例中，提供给光度对准740的信息可包含预定对准信息和/或从第一相机和第二相机产生的未对准图像。在一些实例中，表示图像A 705的数据可为从图6中的空间对准模块655接收的经空间变换图像数据A，且表示图像B 704的数据可为从空间对准模块644(图6)接收的经空间变换图像数据B。图像A 705和图像B 704可具有强度值(例如关键点特征处和附近的像素强度值)变化。虽然所描绘实施例实施为均衡化两个图像的强度值，但在其它实施例中，三个或更多个图像可发送到强度对准模块740。在三个或更多个图像之间的强度对准的一些实施例中，一个图像可识别为用于使另一图像的强度值与参考图像的强度值匹配的参考。在一些实施例中，第一图像传感器与第二图像传感器不对称。
在此实例中，光度对准740包含下文描述的数个功能特征或模块。可在分割模块A714A处接收图像A数据705，以将所述图像A数据分割成像素块的K个区域。可在分割模块B714B处接收图像B数据704，以将所述图像B数据分割成像素块的同一数目的K个区域。像素块的数目、大小、方位和形状可基于图像A和图像B中的关键点的识别。在一些实施例中，可根据预定块数目和配置分割所述图像。
可在直方图分析模块A 744A处接收经分割图像数据A，并且可在直方图分析模块B744B处接收经分割图像数据B。尽管描绘为单独模块，但是在一些实施例中，直方图分析模块A和直方图分析模块B可实施为单个模块。直方图分析模块A 744A和B 744B可用以确定一或多个色彩(例如，红色、绿色和蓝色)中的每一个的直方图，不过在本文中不单独地描述每一情况。对于图像A和B中的每一个中的K个块中的每一块，直方图分析模块A和直方图分析模块B可计算如下文所示的概率质量函数hi
其中值i为从1到K，且j＝0、1……255，其为层级j的值的数目除以每块N中元素总数目。因此，hi是块的概率质量函数(PMF)。这指示在提供关于区域中的空间结构内容的信息的块中发生的层级j的可能性。在其它实例实施方案中，可使用其它直方图分析技术。
可由均衡模块A 745A针对直方图分析模块A 744A输出的直方图确定均衡函数H1。举例来说，均衡模块A 745A可根据以下方程式对PMF中的质量求和：
以计算累积质量函数(CMF)。均衡分析模块B 745B可计算针对直方图分析模块B744B输出的直方图的类似函数H2。均衡分析模块A 745A和均衡分析模块B 745B中的每一个可用以确定如本文中所描述的针对一或多个色彩(例如，红色、绿色和蓝色)中的每一个的操作，不过在本文中不单独地描述每一情况。CMF可指示块内的空间强度值例如归因于所述块中的特征如何改变。
强度匹配模块746可基于均衡模块A和B确定的累积质量函数，执行图像A和图像B的强度之间的空间映射。在一些实施例中，一旦已经确定所有块和所有传感器的CMF，便可根据下式应用均衡函数：
这可将图像B中的强度值映射到图像A中的强度值，使得图像B经变换为具有与图像A的直方图非常相似或紧密匹配的直方图。因此，所述区域可能看起来非常类似，且可通过后续处理经识别为每一图像中的对应区域，即使所述区域是通过不对称传感器产生。可根据下式表示所得强度匹配图像A和B：
在其它实例实施方案中，可使用其它强度匹配技术，有时被称为色彩变换或强度变换。在一些实施例中，为了确定图像B的像素的新强度值，匹配模块可执行双线性直方图内插。举例来说，对于每一像素，可通过从经加载直方图进行表查找，确定四个新亮度值。可接着通过合适的内插技术例如双线性地确定目标像素的新亮度值，以便根据相邻直方图信息产生均衡像素值。
图8是说明一过程流的实施例的实例的框图，所述过程流说明用于使用空间对准和光度对准产生融合图像以实施无缝缩放功能的阶段。所述过程流可包含使用存储在存储器中的预定校准参数矫正或者修改图像，且可在预览分辨率下应用校准参数。所述过程还可包含例如在处理(或图像)分辨率下计算变换。可计算空间变换(例如，移位和按比例缩放)。此外，可计算光度变换(例如，直方图匹配)。取决于状态(参考图9和10进一步论述)，可计算关于最后应用的变换的变换。接着可在预览分辨率下应用所述变换(空间和光度)，且所得图像作为预览图像提供给输出显示器。
在图像捕获840期间，图像A 805和图像B 810可描绘所捕获的单个目标场景(例如，同时或在不同时间取得的同一单个目标场景或单个目标场景的一部分)的图像信息，或(同时或在不同时间取得的)目标场景的至少一些重叠部分的图像信息。图像A 805和图像B810中的每一个包含与包含在图像中的像素相关联的信息，例如，成像系统感测的像素的强度或亮度值(或所测量的信号)。在一些实施例中，图像数据A和/或B中的像素还可具有关于与其相关联的像素的其它信息，例如，关于色彩或另一图像特性的信息。
光度对准832的过程和技术可用于色彩图像(例如，具有RGB色彩空间)，以通过针对RGB色彩空间中的每一色彩红色、绿色和蓝色重复强度均衡技术，使图像A 805和图像B810的色彩空间匹配。相同强度均衡技术可用于其它色彩空间例如CMYK色彩空间中的色彩图像。
可使用安置成相隔一距离的具有不同照度的不对称相机，产生图像A 805和图像B810，造成图像空间未对准和强度变化。在一些实施例中，可通过感测具有用以构建多光谱图像或用于其它多光谱成像应用的不同波长的辐射(例如，红外辐射(IR)和可见光)，形成图像A 805和图像B 810。
在变换处理845处，可使用空间对准和强度均衡处理所捕获图像A 805和图像B810，从而实现图像数据的准确匹配。在一些实施例中，可使用区域匹配。举例来说，变换处理845可实施空间对准模块820，其可包含特征检测，可被配置成确定关键点的独特特征(或可包含用以确定关键点的独特特征的指令)。可从图像A 805和图像B 810中的每一个提取独特特征。此类特征可对应于图像中可与高度准确度匹配的点。举例来说，独特特征可至少部分表征为存在与周围像素区域相比在包含但不限于大小、形状、尺寸、亮度或色彩的特性上不同的边缘或线、拐角、脊线或斑点。如上文所论述，可通过任何已知特征检测技术，例如差方和、高斯-拉普拉斯算子(LoG)、高斯差分(DoG)和海赛行列式(DoH)(仅举几例)来识别此类关键点特征。
然而，所描述的实施例不限于可确定独特特征的图像场景。举例来说，当无法检测到关键特征或不存在足以执行基于关键特征图像数据的空间对准的信息时，空间对准820可使用基于投影的对准。
变换处理阶段845也可实施特征匹配，其被配置成估计投影变换功能(或包含用以估计投影变换功能的指令)，所述投影变换功能映射和对准图像A 805和图像810，使得所述两个图像具有均衡化视图。
变换处理845还可包含光度对准832，其可将图像A 805和图像B 810分割成包括基于识别的关键点的像素块的区域。可根据相应图像捕获系统的光学和成像参数确定区域大小。块大小可足够小以捕获局部变化且涵盖关键点特征，并且可足够大以足够对局部强度概率密度函数进行取样。在一些实施例中，使用均衡块将图像分成4个、8个和16个块可产生区域匹配的良好性能。一些实施例可基于关键点特征自适应地设置块大小，并且可使用强度均衡和自适应设置大小的块来实现区域匹配中的性能增益。举例来说，可基于所识别关键点的方位、形状和大小确定像素块方位、形状和大小。在例如一些立体对准应用的一些实施例中，像素块大小可在大于视差值且小于向下侧倾变化值的范围内。光度对准832还可包含确定关键区域，以确定图像A 805和图像B 810的区域之间的对应关系，从而识别描绘同一特征的像素块对。
光度对准模块832可例如至少部分地基于直方图分析(例如，如上文在图7中所描述)产生针对图像A和图像B中的一对对应区域的强度均衡函数。在一个实施例中，为了均衡局部强度，可确定每一块的概率质量函数(PMF)、可求和PMF中的质量以计算累积质量函数(CMF)，并且CMF可用于将来自第一图像中的像素的强度值映射到第二图像中的像素。因此，对应区域之间的强度均衡说明为区域内的关键点的强度结构。
在图像融合850期间，两个(或更多)图像中的所有或部分可组合或“融合”，以形成预览图像。图像融合850可接收图像A和图像B，且变换数据833以使图像相对于彼此空间和光度对准。基于经接收作为输入的缩放等级，可产生并显示预览图像。在其中广角相机和摄远相机分别用以产生图像A和图像B的一些实施例中，可使用经对准图像A和B中的全部或一部分产生预览图像。举例来说，当接收经缩小(或基本如此)的输入时，可显示仅由图像A形成的预览图像。当接收到经完全放大(或基本如此)的输入时，可显示仅由图像B形成的预览图像。对于其它个例，图像A的一部分可用以形成预览图像的部分(例如，外部部分)，且图像B中的部分或全部还可用以形成预览图像的一部分(例如，可被图像A的部分环绕的中心部分)。由于基于较低或较高缩放等级提供预览图像，因此所使用的图像A和B的部分可变化，且当所述输入指示在一个方向上的缩放因子时，一个图像可减弱(或淡变)，且当所述输入指示另一方向上的缩放因子时，另一图像可减弱(或淡变)。状态机835可用以在接收作为输入(例如，用户输入)的各种缩放因子时，控制多个相机以及所使用的图像A和B中的每一个的量。参考图9和图10描述状态机的实例。
状态机模块835可检索从空间对准和光度对准模块产生的变换参数并且使用此类参数融合图像以形成预览图像。状态机835还可以被配置成存储或检索应用于图像(例如，图像A 805和/或图像B 810)的最后一个变换，使得可取决于从用户输入的缩放因子而应用逆变换。可在图像融合850中使用区域匹配模块855。举例来说，图像A和/或图像B的经空间和光度对准表示可用以确定图像数据A和图像数据B之间的关键点处的对应像素。因为所述特征可在不同位置、定向和比例尺中出现，所以使用强度匹配的区域数据确定对应关键点之间的准确几何平移。此类对应关键点可用作预览图像中将图像结合在一起形成预览图像的缝隙。
图9是说明状态机910的实施例的实例的图式，所述状态机可用以实施多相机装置中的无缝缩放功能，所述多相机装置包含例如广角相机(例如，图3的第一相机315)、摄远相机(例如，图3的第二相机316)和预览图像屏幕(例如，图3的显示器325)。图10是说明多相机装置中的缩放功能(y轴)对时间(x轴)的实例的图表1000。图10中所说明的图表1000对应于参考图9描述的状态机。举例来说，在图10中沿着x轴且仅在x轴上方的图表的不同部分中说明状态1-6，且在图9中所说明的圆圈内的顶部以加粗数字说明所述状态1-6。F(z)是在图9中和在图10中所述的函数，沿着y轴说明函数F(z)且表示缩放等级。缩放量(或缩放等级)相对于图表1000在竖直方向上沿着y轴增加。随着缩放等级F(z)沿着y轴增加，显示器上展示的预览图像中的目标场景看起来更近。在此实例中，状态机900可处于状态1-6中。
参考图9，在此实例中，多相机装置接收指示用户所要的(例如，用户输入的)或一些功能性所需的“缩放”等级的输入。缩放等级由函数F(z)表示。在状态1处，F(z)小于第一阈值T1，其为图表1000(图10)的y轴上说明的阈值等级。在状态1中，在小于第一阈值T1的相对较小缩放等级处，广角相机接通且摄远相机关断。
如果接收到指示第一阈值T1和第二阈值T2(图10)之间的缩放等级F(z)的缩放命令，那么状态机转变到状态2。在状态2中，广角相机接通且由广角相机产生的图像提供给显示器。在一些情况下，提供给显示器的图像在显示之前通过空间和光度变换进行修改。在状态2中，摄远相机也接通。如果接收到指示缩放等级F(z)大于第二阈值T2的缩放命令，那么状态机转变到状态3。在状态3中，广角相机可关断，且摄远相机保持接通。摄远相机的输出可淡变，变为广角相机的输出，以促进从广角相机的所显示图像到摄远相机的所显示图像的转变。在一些实施例中，在从显示来自广角相机的图像到显示来自摄远相机的图像的此和其它转变中，可经由空间变换和光度变换来变换广角相机图像，以匹配来自摄远相机的图像，且当在状态3中完成转变且广角相机关断时，仅将来自摄远相机的图像引导到预览图像显示器，且可显示此类图像而无需空间或光度变换此类图像。类似地，在一些实例中，在从显示来自摄远相机的图像到显示来自广角相机的图像的转变中，可经由空间变换和光度变换来变换摄远相机图像，以匹配来自广角相机的图像，且当所述转变完成且摄远相机关断(例如，在状态1中)时，仅将来自广角相机的图像引导到预览图像显示器，且可显示此类图像而无需空间或光度变换此类图像。在一些实例中，在缩放等级低于第二阈值且时间常量Cnt小于时间常量阈值TC的情况下，状态机保持在状态(例如，状态3)中，以有助于稳定化系统且阻止在接近第一阈值T1或第二阈值T2的缩放等级的小改变下提供来自摄远相机的图像与提供来自广角相机的图像以供显示之间的振荡。在一些实施方案中，时间常量TC是预定的，且在一些实施例中，时间常量TC是例如基于缩放等级输入的变化率动态地确定的。在一些实施例中，时间常量阈值TC可基于预览图像显示器上展示的图像的帧的数目。
可基于广角相机和/或摄远相机的视场选择第一阈值T1和第二阈值T2。举例来说，第一阈值T1可经选择为涵盖广角相机的放大率和自动聚焦范围内的视野范围。对于第一阈值T1和第二阈值T2之间的缩放函数F(z)值，状态机处于状态2中，摄远相机906接通以准备使用来自所述摄远相机的图像。如果缩放命令F(z)增加到超过第二阈值T2，那么状态机转变到状态4中，其中广角相机可关断，且摄远相机的输出可提供到显示器作为预览图像。如果缩放命令是高于或等于第二阈值T2，那么状态机可保持在状态4中。
如果缩放命令F(z)介于第一阈值T1和第二阈值T2之间，且状态机处于状态3中，那么状态机可转变到状态5，其中广角相机可接通以准备用于可指示显示来自广角相机的图像的缩放命令F(z)，使得广角相机和摄远相机都接通，且摄远相机处于“作用中”(提供至少一个图像作为显示器上的预览图像)。如果状态机处于状态4中且缩放命令F(z)介于第一阈值T1和第二阈值T2之间，那么状态机可转变到状态5，其中广角相机可接通以准备接收发信号指示需要广角相机的输出提供给显示器作为预览图像的缩放命令F(z)。然而，如果缩放命令F(z)高于或等于第二阈值T2，那么状态机可转变到状态4，其中摄远相机接通且广角相机关断。
当状态机处于状态5中且缩放命令F(z)小于第一阈值T1时，状态机可转变到状态6，其中摄远相机的输出淡出且广角相机的输出淡入，且摄远相机可关断以节约电力。如果缩放命令F(z)介于第一阈值T1和第二阈值T2之间且状态机处于状态6中，那么状态机可转变到状态2，其中广角相机和摄远相机两者都接通。如果状态机处于状态6中且缩放命令F(z)小于第一阈值T1并且时间常量Cnt小于时间常量阈值TC，那么状态机可保持在状态6中，其中广角相机接通，且如在显示器上的预览图像中所见的摄远相机的输出淡出，且广角相机的输出淡入。摄远相机随后可关断以节约电力。如果状态机处于状态6中且缩放命令F(z)小于第一阈值T1且时间常量Cnt大于时间常量阈值TC，那么状态机可转变到状态1，其中广角相机接通且摄远相机关断，且广角相机的输出可作为预览图像提供给显示器。
图11说明多相机装置中的显示可由第一和第二不对称相机产生的图像的无缝缩放功能的过程100的实施例的实例。在框1105处，处理器从存储器组件检索第一图像，所述第一图像是由具有视场(FOV)的第一相机捕获。这可由例如图像处理器320和存储器组件310执行。在一些实施例中，第一相机可为广角相机。
在框1105处，过程1100进一步使用处理器从存储器组件检索第二图像，所述第二图像是由具有小于第一相机的FOV的FOV的第二相机捕获，所述第一相机和所述第二相机定位成使得第二相机的FOV中的目标场景也在第一相机的FOV中。在一些实施例中，第二相机可为摄远相机。
在框1110处，过程1100使用所述处理器确定空间变换。所述空间变换包含使第一图像的像素与第二图像的对应像素空间对准的信息。过程1100接着将所述空间变换保存在存储器组件中。
在框1115处，过程1100通过处理器确定光度变换。所述光度变换包含第一图像的像素于第二图像的对应像素之间的色彩和强度差异的信息，并将所述光度变换保存在存储器组件中。
在框1120处，过程1100接收对应于下一个预览缩放等级的输入。所述输入可由多相机装置上的被配置成从用户接收输入并且提供表示所述用户输入的信号的组件提供。
在框1125处，过程1100从存储器检索空间变换信息和光度变换信息，并且通过所述空间变换信息和所述光度变换信息修改从第一和第二相机接收的至少一个图像。
在框1130处，过程1100基于下一个预览缩放等级，在显示器上提供包括至少一个经修改图像的至少一部分和第一图像或第二图像的一部分的预览图像。
实施系统和术语
本文所公开的实施方案提供用于区域匹配技术中的局部强度均衡的系统、方法和设备。所属领域的技术人员将认识到，这些实施例可实施于硬件、软件、固件或其任何组合中。
在一些实施例中，可在无线通信装置中使用上文所论述的电路、过程和系统。无线通信装置可为一种用于以无线方式与其它电子装置通信的电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子读取器、游戏系统、音乐播放器、上网本、无线调制解调器、手提式计算机、平板装置等。
无线通信装置可包含一或多个图像传感器、一或多个图像信号处理器以及存储器，所述存储器包含用于执行上文所论述的局部强度均衡技术的指令或模块。所述装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。
无线通信装置可无线连接到另一电子装置(例如，基站)。无线通信装置可替代地被称作移动装置、移动站、订户站、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包含手提式计算机或台式计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板计算机装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个行业标准来操作。因此，通用术语“无线通信装置”可包含根据行业标准的不同命名法所描述的无线通信装置(例如，接入终端、用户设备(UE)、远程终端等等)。
可将本文所描述的功能作为一或多个指令存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软性磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。应注意，计算机可读媒体可为有形的以及非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
还可经由传输媒体传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在传输媒体的定义中。
本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。
应注意，如本文中所使用，术语“耦合(couple、coupling、coupled)”或词语耦合的其它变体可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用，术语“多个”指示两个或更多个。举例来说，多个组件指示两个或更多个组件。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实等等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。此外，“确定”可包含解决、选择、挑选、建立等等。
除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。
在前文描述中，给出具体细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它实例中，可详细展示这些组件、其它结构和技术以进一步解释所述方面。
本文包含一些标题以供参考且辅助定位各个章节。这些标题并不意欲限制相对于其描述的概念的范围。此类概念可在整个说明书中都适用。
还应注意，可将实例描述成过程，这个过程被描绘成流程图、流图、有限状态图、结构图或框图。尽管流程图可将操作描述为连续过程，但是许多操作可并行或同时执行，且所述过程可重复。另外，操作的顺序可重新安排。当过程的操作完成时，所述过程终止。过程可对应于方法、功能、程序(procedure)、子例程、子程序(subprogram)等。当过程对应于软件函数时，过程的终止对应于函数返回到调用函数或主函数。
提供对所公开的实施方案的前述描述是为了使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明并不希望限于本文中所展示的实施方案，而是应符合与本文中所公开的原理和新颖特征一致的最广范围。

Claims (30)

1.一种多相机装置，其包括：
第一相机，其具有视场FOV，所述第一相机被配置成产生一或多个第一图像；
第二相机，其具有小于所述第一相机的所述FOV的FOV，所述第二相机被配置成产生一或多个第二图像，所述第一相机和所述第二相机定位成使得所述第二相机的所述FOV中的目标场景也在所述第一相机的所述FOV中；
显示器；
存储器组件；和
处理器，其耦合到所述存储器组件，所述处理器被配置成：
从所述存储器组件检索第一图像；
从所述存储器组件检索第二图像；
确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；
确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；
接收对应于下一个预览缩放等级的输入；
从存储器检索所述空间变换和所述光度变换的信息；
使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和
基于所述下一个预览缩放等级，在所述显示器上提供预览图像，所述显示器图像包括来自所述第一相机的图像、来自所述第二相机的图像，或包括所述经修改图像的一部分和来自所述第一相机或所述第二相机的图像的一部分的图像。
2.根据权利要求1所述的多相机装置，其中
所述第一相机包括被配置成用于使所述第一相机具有大于或等于57度的视角的光学器件和传感器阵列；和
所述第二相机包括被配置成用于使所述第二相机具有小于50度的视角的光学器件和传感器阵列。
3.根据权利要求1所述的多相机装置，
其中所述存储器组件被配置成存储与所述第一和第二相机的相对对准有关的预定对准信息，且
其中所述处理器进一步被配置成从所述存储器组件检索所述预定对准信息，并且使用所述预定对准信息确定所述空间变换。
4.根据权利要求1所述的多相机装置，其中所述第一相机包括广角镜头且所述第二相机包括摄远镜头。
5.根据权利要求1所述的多相机装置，其中所述至少一个经修改图像是来自所述第一相机的图像，且所述预览图像包括来自所述第二相机的图像的一部分。
6.根据权利要求5所述的多相机装置，其中所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经放大的预览图像。
7.根据权利要求1所述的多相机装置，其中所述至少一个经修改图像是来自所述第二相机的图像，且所述预览图像包括来自所述第一相机的图像的一部分。
8.根据权利要求7所述的多相机装置，其中所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经缩小的预览图像。
9.根据权利要求1所述的多相机装置，其中所述处理器进一步被配置成控制所述第一相机和所述第二相机基于所述预览缩放等级而处于多个启动状态中的一个中，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否在所述预览图像中使用来自所述第一相机和所述第二相机的图像。
10.根据权利要求9所述的多相机装置，其中所述处理器进一步被配置成将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级，且当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通，以及当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通。
11.根据权利要求10所述的多相机装置，其中所述预览图像是基于
当所述预览缩放等级小于所述第一阈值T1时，来自所述第一相机的至少一个图像，
当所述预览缩放等级大于所述阈值T2时，来自所述第二相机的至少一个图像，和
当所述预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分。
12.根据权利要求1所述的装置，其中所述处理器进一步被配置成当所述下一个预览缩放等级表示低于第一阈值T1的缩放等级且所述预览图像包括仅来自所述第一相机的图像时，减少送往所述第二相机的电力，以及当所述下一个预览等级表示高于第二阈值T2的缩放等级且所述预览图像包括仅来自所述第二相机的图像时，减少送往所述第一相机的电力。
13.一种显示预览图像的方法，所述方法包括：
通过处理器从存储器组件检索第一图像，所述第一图像是由具有视场FOV的第一相机捕获；
通过所述处理器从所述存储器组件检索第二图像，所述第二图像是由具有小于所述第一相机的所述FOV的FOV的第二相机捕获，所述第一相机和所述第二相机定位成使得所述第二相机的所述FOV中的目标场景也在所述第一相机的所述FOV中；
通过所述处理器确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；
通过所述处理器确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；
接收对应于下一个预览缩放等级的输入；
从存储器检索所述空间变换信息和所述光度变换信息；
通过所述空间变换信息和所述光度变换信息，修改从第一和第二相机接收的至少一个图像；和
基于所述下一个预览缩放等级，在所述显示器上提供包括所述至少一个经修改图像的至少一部分和所述第一图像或所述第二图像的一部分的预览图像。
14.根据权利要求13所述的方法，其中所述第一相机包括被配置成用于使所述第一相机具有大于或等于57度的视角的光学器件和传感器阵列；且所述第二相机包括被配置成用于使所述第二相机具有小于50度的视角的光学器件和传感器阵列。
15.根据权利要求13所述的方法，
其中所述存储器组件被配置成存储与所述第一和第二相机的相对对准有关的预定对准信息，且
其中所述处理器进一步被配置成从所述存储器组件检索所述预定对准信息，并且使用所述预定对准信息确定所述空间变换。
16.根据权利要求13所述的方法，其中所述第一相机包括广角镜头且所述第二相机包括摄远镜头。
17.根据权利要求13所述的方法，其中所述至少一个经修改图像是来自所述第一相机的图像，且所述预览图像包括来自所述第二相机的图像的一部分，且所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经放大的预览图像。
18.根据权利要求13所述的方法，其中所述至少一个经修改图像是来自所述第二相机的图像，且所述预览图像包括来自所述第一相机的图像的一部分，且所述所接收的输入指示显示相对于当前在所述显示器上展示的图像经缩小的预览图像。
19.根据权利要求13所述的方法，其另外包括通过所述处理器基于所述下一个预览缩放等级控制所述第一相机和所述第二相机的启动状态，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否在所述预览图像中使用来自所述第一相机和所述第二相机的图像。
20.根据权利要求13所述的方法，其另外包括
通过所述处理器将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级，且
当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，
当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通，和
当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通。
21.根据权利要求13所述的方法，其中在显示器上提供所述预览图像包括提供
当所述下一个预览缩放等级小于所述第一阈值T1时，由来自所述第一相机的至少一个图像形成的预览图像，
当所述下一个预览缩放等级大于所述阈值T2时，来自所述第二相机的至少一个图像，和
当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分。
22.根据权利要求13所述的方法，其另外包括通过所述处理器当所述下一个预览缩放等级表示低于第一阈值T1的缩放等级且所述预览图像包括仅来自所述第一相机的图像时，减少送往所述第二相机的电力，以及当所述下一个预览缩放等级表示高于第二阈值T2的缩放等级且所述预览图像包括仅来自所述第二相机的图像时，减少送往所述第一相机的电力。
23.根据权利要求13所述的方法，其另外包括控制所述第一相机和所述第二相机基于所述下一个预览缩放等级而处于多个启动状态中的一个中，所述启动状态确定所述第一相机和所述第二相机中的每一个是接通还是关断，以及确定是否正在输出来自所述第一相机和所述第二相机的图像以供在所述预览图像中使用。
24.根据权利要求13所述的方法，其另外包括
将所指示所述下一个预览缩放等级与具有第一阈值T1和第二阈值等级T2的缩放等级范围进行比较，所述第二阈值等级指示大于所述第一阈值等级T1的放大等级，
在所述下一个预览缩放等级小于所述第一阈值T1的情况下，在第一启动状态中控制所述第一相机接通且所述第二相机关断，
当下一个预览缩放等级高于所述第二阈值等级T2时，在第二启动状态中控制所述第一相机关断且所述第二相机接通，和
当所述下一个预览缩放等级介于第一阈值等级T1与第二阈值等级T2之间时，在第三启动状态中控制所述第一相机和所述第二相机都接通。
25.根据权利要求24所述的方法，其另外包括
当所述下一个预览缩放等级小于所述第一阈值T1时，通过所述处理器将基于来自所述第一相机的至少一个图像的预览图像提供给所述显示器，
当所述下一个预览缩放等级大于所述阈值T2时，通过所述处理器提供基于来自所述第二相机的至少一个图像的预览图像，和
当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，通过所述处理器提供基于来自所述第一相机的至少一个图像和来自所述第二相机的至少一个图像的预览图像。
26.一种多相机装置，其包括：
用于产生一或多个第一图像的第一装置，所述用于产生的第一装置具有视场FOV；
用于产生一或多个第二图像的第二装置，所述用于产生一或多个第一图像的第二装置具有小于所述用于产生一或多个第一图像的第一装置的所述FOV的FOV；所述用于产生一或多个第一图像的第一装置和所述用于产生一或多个第一图像的第二装置定位成使得所述用于产生一或多个第一图像的第二装置的所述FOV中的目标场景也在所述用于产生一或多个第一图像的第一装置的所述FOV中；
用于显示图像的装置；
用于存储电子图像和变换信息的装置；和
用于处理的装置，其耦合到所述用于存储的装置，所述用于处理的装置被配置成：
从所述用于存储的装置检索第一图像；
从所述用于存储的装置检索第二图像；
确定空间变换，并且将所述空间变换保存在所述用于存储的装置中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；
确定光度变换，并且将所述光度变换保存在所述用于存储的装置中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；
接收对应于下一个预览缩放等级的输入；
从所述用于存储的装置检索所述空间变换和所述光度变换的信息；
使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和
基于所述下一个预览缩放等级，在所述用于显示的装置上提供预览图像，所述显示器图像包括来自所述用于产生一或多个第一图像的第一装置的图像、来自所述用于产生一或多个第二图像的第二装置的图像，或包括所述经修改图像的一部分和来自所述用于产生一个或多个图像的第一装置或所述用于产生一个或多个图像的第二装置的图像的一部分。
27.根据权利要求26所述的多相机装置，其中
所述用于产生一或多个第一图像的第一装置包括被配置成具有大于或等于57度的视角的光学器件和传感器阵列；且
所述用于产生一或多个第二图像的第二装置包括被配置成具有小于50度的视角的光学器件和传感器阵列。
28.根据权利要求26所述的多相机装置，其中所述用于存储的装置包括一或多个存储组件，且其中所述用于处理的装置包括一或多个处理器。
29.一种包括代码的非暂时性计算机可读媒体，所述代码在被执行时致使电子硬件处理器执行提供包含来自第一相机的一个或多个图像和第二图像的预览图像，所述方法包括：
从存储器组件检索第一图像；
从所述存储器组件检索第二图像；
确定空间变换，并且将所述空间变换保存在所述存储器组件中，所述空间变换包含使所述第一图像的像素与所述第二图像的对应像素空间对准的信息；
确定光度变换，并且将所述光度变换保存在所述存储器组件中，所述光度变换包含所述第一图像的像素与所述第二图像的对应像素之间的色彩和强度差异的信息；
接收对应于下一个预览缩放等级的输入；
从存储器检索所述空间变换和所述光度变换的信息；
使用所述空间变换信息和所述光度变换信息基于所述下一个预览缩放等级，修改所述检索的第一和第二图像中的至少一个；和
基于所述下一个预览缩放等级，在所述显示器上提供预览图像，所述显示器图像包括来自所述第一相机的图像、来自所述第二相机的图像，或包括所述经修改图像的一部分和来自所述第一相机或所述第二相机的图像的一部分的图像。
30.根据权利要求29所述的非暂时性计算机可读媒体，其中所述方法另外包括：
将所述下一个预览缩放等级与缩放等级第一阈值T1和缩放等级第二阈值T2进行比较，所述缩放等级第二阈值T2指示大于所述缩放等级第一阈值T1的放大等级；
当所述下一个预览缩放等级小于所述第一阈值T1时，将所述第一相机和所述第二相机置于第一启动状态中，其中所述第一相机接通且所述第二相机关断，
当所述下一个预览缩放等级高于所述第二阈值T2时，将所述第一相机和所述第二相机置于第二启动状态中，其中所述第一相机关断且所述第二相机接通；
当所述下一个预览缩放等级介于所述第一阈值T1和第二阈值T2之间时，将所述第一相机和所述第二相机置于第三启动状态中，其中所述第一相机和所述第二相机都接通；且
其中提供所述预览图像包括当所述下一个预览缩放等级小于所述第一阈值T1时，从来自所述第一相机的至少一个图像产生所述预览图像，当所述下一个预览缩放等级大于所述阈值T2时，从来自所述第二相机的至少一个图像产生所述预览图像，且当所述下一个预览缩放等级介于所述第一阈值T1和所述第二阈值T2之间时，从所述经修改图像的所述部分和来自所述第一相机或所述第二相机的图像的一部分产生所述预览图像。
CN201780009835.5A 2016-02-08 2017-01-11 用于使用多个相机实施无缝缩放功能的系统和方法 Active CN108604373B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/017,898 US10194089B2 (en) 2016-02-08 2016-02-08 Systems and methods for implementing seamless zoom function using multiple cameras
US15/017,898 2016-02-08
PCT/US2017/012927 WO2017139061A1 (en) 2016-02-08 2017-01-11 Systems and methods for implementing seamless zoom function using multiple cameras

Publications (2)

Publication Number Publication Date
CN108604373A true CN108604373A (zh) 2018-09-28
CN108604373B CN108604373B (zh) 2021-11-30

Family

ID=58018207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009835.5A Active CN108604373B (zh) 2016-02-08 2017-01-11 用于使用多个相机实施无缝缩放功能的系统和方法

Country Status (5)

Country Link
US (1) US10194089B2 (zh)
EP (1) EP3414735A1 (zh)
KR (1) KR20180109918A (zh)
CN (1) CN108604373B (zh)
WO (1) WO2017139061A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430357A (zh) * 2019-03-26 2019-11-08 华为技术有限公司 一种图像拍摄方法与电子设备
CN110809101A (zh) * 2019-11-04 2020-02-18 RealMe重庆移动通信有限公司 图像变焦处理方法及装置、电子设备、存储介质
CN110944113A (zh) * 2019-11-25 2020-03-31 维沃移动通信有限公司 对象显示方法及电子设备
CN111510618A (zh) * 2019-01-30 2020-08-07 虹软科技股份有限公司 变焦方法及应用其的电子设备
CN112930677A (zh) * 2018-10-12 2021-06-08 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN113228104A (zh) * 2018-11-06 2021-08-06 菲力尔商业系统公司 热图像和可见图像对的自动共配准
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
CN114026841A (zh) * 2019-06-29 2022-02-08 高通股份有限公司 自动焦距延伸
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634516B1 (ko) * 2013-06-13 2016-06-28 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
US9948914B1 (en) * 2015-05-06 2018-04-17 The United States Of America As Represented By The Secretary Of The Air Force Orthoscopic fusion platform
KR102349428B1 (ko) * 2015-08-12 2022-01-10 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
EP3391643A4 (en) 2015-12-14 2019-07-31 Red.Com, Llc MODULAR DIGITAL CAMERA AND MOBILE PHONE
CN108886562B (zh) * 2016-03-22 2021-07-13 株式会社理光 图像处理系统、图像处理方法及计算机可读存储介质
CN106097244A (zh) * 2016-06-03 2016-11-09 上海小蚁科技有限公司 用于拼接图像的方法和装置以及用于组合图像的方法
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10706518B2 (en) * 2016-07-07 2020-07-07 Corephotonics Ltd. Dual camera system with improved video smooth transition by image blending
KR20180018086A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
US10297034B2 (en) 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
US20180234674A1 (en) * 2017-02-14 2018-08-16 Axon Enterprise, Inc. Systems and methods for determining a field of view
JP2018170630A (ja) * 2017-03-30 2018-11-01 キヤノン株式会社 撮像装置、撮像システムおよび撮像制御プログラム
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10972672B2 (en) * 2017-06-05 2021-04-06 Samsung Electronics Co., Ltd. Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US11218626B2 (en) * 2017-07-28 2022-01-04 Black Sesame International Holding Limited Fast focus using dual cameras
KR102348504B1 (ko) * 2017-08-23 2022-01-10 삼성전자주식회사 복수 개의 카메라들 간의 시차를 감소시키는 방법 및 이를 지원하는 전자 장치
KR102372808B1 (ko) * 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
CN107566751B (zh) * 2017-09-30 2019-11-26 北京金山安全软件有限公司 图像处理方法、装置、电子设备及介质
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
KR102318013B1 (ko) * 2017-10-13 2021-10-27 삼성전자 주식회사 복수의 이미지들을 합성하는 전자장치 및 방법
WO2019117549A1 (en) 2017-12-15 2019-06-20 Samsung Electronics Co., Ltd. Imaging apparatus, imaging method, and computer program product
JP2019110361A (ja) * 2017-12-15 2019-07-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置、撮像方法及び撮像プログラム
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10687046B2 (en) * 2018-04-05 2020-06-16 Fyusion, Inc. Trajectory smoother for generating multi-view interactive digital media representations
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US20190356866A1 (en) * 2018-05-15 2019-11-21 Eaton Intelligent Power Limited Frame Stitching And Other Functions Using Multiple Cameras
JP7227969B2 (ja) * 2018-05-30 2023-02-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
TWI693828B (zh) 2018-06-28 2020-05-11 圓展科技股份有限公司 顯示擷取裝置與其操作方法
US20200053255A1 (en) * 2018-08-08 2020-02-13 Qualcomm Incorporated Temporal alignment of image frames for a multiple camera system
CN108965742B (zh) * 2018-08-14 2021-01-22 京东方科技集团股份有限公司 异形屏显示方法、装置、电子设备及计算机可读存储介质
US10728529B2 (en) 2018-09-06 2020-07-28 Qualcomm Incorporated Synchronization of frame captures from multiple cameras with different fields of capture
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
KR20200034528A (ko) * 2018-09-21 2020-03-31 엘지전자 주식회사 이동 단말기
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102641287B1 (ko) * 2018-12-27 2024-02-27 주식회사 주원테크놀러지 카메라 시스템의 센터 보정 방법 및 장치
KR102664705B1 (ko) * 2019-02-19 2024-05-09 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
WO2020198928A1 (en) * 2019-03-29 2020-10-08 Shenzhen Xpectvision Technology Co., Ltd. An image sensor having a calibration pattern
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
KR102193911B1 (ko) * 2019-05-22 2020-12-22 아이엔에이시스템스 주식회사 표적 탐지, 인지 및 추적을 위한 감시 시스템 및 그 제어 방법
US11196943B2 (en) * 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) * 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
CN111083381B (zh) * 2019-12-31 2021-10-22 深圳市道通智能航空技术股份有限公司 一种图像融合的方法、装置及双光相机、无人机
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11509837B2 (en) * 2020-05-12 2022-11-22 Qualcomm Incorporated Camera transition blending
KR20210141070A (ko) * 2020-05-15 2021-11-23 삼성전자주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
USD937868S1 (en) 2020-05-21 2021-12-07 Tangible Play, Inc. Display screen or portion thereof with a transitional graphical user interface
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11928799B2 (en) * 2020-06-29 2024-03-12 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
US11190689B1 (en) * 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112333389B (zh) * 2020-10-30 2023-04-07 维沃移动通信（杭州）有限公司 图像显示控制方法、装置及电子设备
US11405563B2 (en) 2020-11-10 2022-08-02 Qualcomm Incorporated Spatial alignment transform without FOV loss
KR20220072616A (ko) 2020-11-25 2022-06-02 삼성전자주식회사 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
US11431891B2 (en) * 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11388337B1 (en) 2021-03-24 2022-07-12 Raytheon Company Readout integrated circuit containing image stabilization capabilities
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11928303B2 (en) 2021-05-15 2024-03-12 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
WO2023281250A1 (en) * 2021-07-07 2023-01-12 Mo-Sys Engineering Limited Image stitching
KR102471543B1 (ko) * 2021-08-12 2022-11-28 엘아이지넥스원 주식회사 표적 탐지 추적 시스템 및 표적 탐지 추적 방법
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
TWI807449B (zh) 2021-10-15 2023-07-01 國立臺灣科技大學 多視角立體影像產生方法及系統
KR20230060304A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 복수의 렌즈들을 구비하는 전자 장치 및 그 제어 방법
CN116723394B (zh) * 2022-02-28 2024-05-10 荣耀终端有限公司 多摄策略调度方法及其相关设备
WO2024072722A1 (en) * 2022-09-29 2024-04-04 Google Llc Smooth continuous zooming in a multi-camera system by image-based visual features and optimized geometric calibrations

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122113A1 (en) * 1999-08-09 2002-09-05 Foote Jonathan T. Method and system for compensating for parallax in multiple camera systems
CN1416010A (zh) * 2001-11-01 2003-05-07 佳能株式会社 摄像装置和其控制方法以及控制程序
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN101950242A (zh) * 2010-09-19 2011-01-19 电子科技大学 一种多视点场景成像缩放显示控制方法
CN103688304A (zh) * 2011-07-12 2014-03-26 高通股份有限公司 显示静态图像
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
EP1384046B1 (en) 2001-05-04 2018-10-03 Vexcel Imaging GmbH Digital camera for and method of obtaining overlapping images
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
US7990422B2 (en) 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
KR20070104716A (ko) 2006-04-24 2007-10-29 김현애 입체카메라적용 휴대용 멀티미디어 재생장치
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US8526779B2 (en) 2008-11-07 2013-09-03 Looxcie, Inc. Creating and editing video recorded by a hands-free video recording device
WO2010116370A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Camera systems having multiple image sensors combined with a single axis mechanical gimbal
KR20100132739A (ko) 2009-06-10 2010-12-20 건국대학교 산학협력단 듀얼 카메라를 이용한 모니터링 시스템 및 그 방법
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
IL214894A (en) 2011-08-30 2016-09-29 Rafael Advanced Defense Systems Ltd A combination of narrow field of view images and wide field of view
CN116405747A (zh) * 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US20140184854A1 (en) 2012-12-28 2014-07-03 Motorola Mobility Llc Front camera face detection for rear camera zoom function
US10297034B2 (en) * 2016-09-30 2019-05-21 Qualcomm Incorporated Systems and methods for fusing images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122113A1 (en) * 1999-08-09 2002-09-05 Foote Jonathan T. Method and system for compensating for parallax in multiple camera systems
CN1416010A (zh) * 2001-11-01 2003-05-07 佳能株式会社 摄像装置和其控制方法以及控制程序
WO2009097552A1 (en) * 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
CN101950242A (zh) * 2010-09-19 2011-01-19 电子科技大学 一种多视点场景成像缩放显示控制方法
CN103688304A (zh) * 2011-07-12 2014-03-26 高通股份有限公司 显示静态图像
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROLAND MIEZIANKO 等: "LOCALIZATION OF DETECTED OBJECTS IN MULTI-CAMERA NETWORK", 《2008 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
毕齐林 等: "空间变换双靶面成像系统图像配准", 《中国测试》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866394A (zh) * 2018-10-12 2023-03-28 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
CN112930677B (zh) * 2018-10-12 2023-11-10 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
US11653097B2 (en) 2018-10-12 2023-05-16 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
CN112930677A (zh) * 2018-10-12 2021-06-08 三星电子株式会社 用于在第一镜头和第二镜头之间切换的方法和电子设备
US11637957B2 (en) 2018-10-12 2023-04-25 Samsung Electronics Co., Ltd. Method and electronic device for switching between first lens and second lens
US11869204B2 (en) 2018-11-06 2024-01-09 Teledyne Flir Commercial Systems, Inc. Automatic co-registration of thermal and visible image pairs
CN113228104A (zh) * 2018-11-06 2021-08-06 菲力尔商业系统公司 热图像和可见图像对的自动共配准
CN111510618A (zh) * 2019-01-30 2020-08-07 虹软科技股份有限公司 变焦方法及应用其的电子设备
CN111510618B (zh) * 2019-01-30 2022-04-05 虹软科技股份有限公司 变焦方法及应用其的电子设备
US11490016B2 (en) 2019-01-30 2022-11-01 Arcsoft Corporation Limited Zooming method and electronic device using the same
CN110430357A (zh) * 2019-03-26 2019-11-08 华为技术有限公司 一种图像拍摄方法与电子设备
CN114026841A (zh) * 2019-06-29 2022-02-08 高通股份有限公司 自动焦距延伸
CN110809101A (zh) * 2019-11-04 2020-02-18 RealMe重庆移动通信有限公司 图像变焦处理方法及装置、电子设备、存储介质
CN110944113B (zh) * 2019-11-25 2021-04-27 维沃移动通信有限公司 对象显示方法及电子设备
CN110944113A (zh) * 2019-11-25 2020-03-31 维沃移动通信有限公司 对象显示方法及电子设备
CN113837937A (zh) * 2020-06-24 2021-12-24 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法

Also Published As

Publication number Publication date
WO2017139061A1 (en) 2017-08-17
US20170230585A1 (en) 2017-08-10
US10194089B2 (en) 2019-01-29
EP3414735A1 (en) 2018-12-19
CN108604373B (zh) 2021-11-30
KR20180109918A (ko) 2018-10-08

Similar Documents

Publication Publication Date Title
CN108604373A (zh) 用于使用多个相机实施无缝缩放功能的系统和方法
US9754422B2 (en) Systems and method for performing depth based image editing
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
CN106688227B (zh) 多摄像装置、多摄像方法
CN106462956A (zh) 局部自适应直方图均衡
CN109922255A (zh) 用于生成实时深度图的双相机系统
CN105814875A (zh) 选择用于立体成像的相机对
CN102538974A (zh) 热像显示装置、热像显示系统和热像显示方法
CN105940673B (zh) 图像处理装置及图像处理方法
CN102158648B (zh) 影像截取装置及影像处理方法
CN106233722B (zh) 多相机系统中的图像传感器的自动对准
US9288472B2 (en) Image processing device and method, and image capturing device
US20190253608A1 (en) Artificial optical state simulation
CN105141841B (zh) 摄像设备及其方法
CN103063314A (zh) 热像装置和热像拍摄方法
CN104782110A (zh) 图像处理装置、摄像装置、程序及图像处理方法
US20150015677A1 (en) Image processing device and method, and imaging device
CN104641626A (zh) 摄像装置及对焦确认显示方法
CN109691080A (zh) 拍摄图像方法、装置和终端
CN107850753A (zh) 检测设备、检测方法、检测程序和成像设备
CN104144284A (zh) 成像设备和成像方法
CN108702457A (zh) 基于不规则区域的自动图像校正
CN109639956A (zh) 双镜头图像处理装置及方法
CN110447223A (zh) 成像元件以及摄像装置
CN105791793A (zh) 图像处理方法及其电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant