CN113454530B - 使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法 - Google Patents

使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法 Download PDF

Info

Publication number
CN113454530B
CN113454530B CN201980092284.2A CN201980092284A CN113454530B CN 113454530 B CN113454530 B CN 113454530B CN 201980092284 A CN201980092284 A CN 201980092284A CN 113454530 B CN113454530 B CN 113454530B
Authority
CN
China
Prior art keywords
image
images
flash
scene
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980092284.2A
Other languages
English (en)
Other versions
CN113454530A (zh
Inventor
L.N.黎
H.R.谢克
J.W.格洛茨巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113454530A publication Critical patent/CN113454530A/zh
Application granted granted Critical
Publication of CN113454530B publication Critical patent/CN113454530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/16—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with both the intensity of the flash source and the distance of the flash source from the object, e.g. in accordance with the "guide number" of the flash bulb and the focusing of the camera
    • G03B7/17—Selection of modes in flash units by exposure control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种方法，包括使用电子设备中的至少一个相机并且不使用电子设备的闪光灯来捕获场景的多个环境图像。该方法还包括使用电子设备中的至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像。该方法还包括分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像。另外，该方法包括基于曝光差的估计来确定场景的闪光强度，以及基于确定的闪光强度来发射闪光。

Description

使用移动电子设备捕获和混合用于高质量闪光摄影的多个图 像的装置和方法
技术领域
本发明一般涉及图像捕获系统。更具体地，本发明涉及一种用于使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法。
背景技术
许多移动电子设备，诸如智能手机和平板电脑，包括可以用于捕获静态和视频图像的相机。虽然方便，但是移动电子设备上的相机通常存在许多缺点，包括在弱光的情况下性能不佳。例如，一些移动电子设备在捕获弱光的图像时简单地使用闪光灯。然而，移动电子设备中使用的闪光灯通常充当明亮光源的点光源(而不是漫射光源)，因此使用闪光灯通常会导致附近的人或物体过度曝光或“爆裂”，以及背景曝光不足。换言之，使用闪光灯会在图像中产生不均匀的亮度，从而导致低美学质量。捕获的图像也倾向具有蓝色偏色，该投影在整个图像中不是恒定的，因此不容易去除。其他移动电子设备试图将多个图像组合在一起，以产生更美观的图像。然而，这些方法经常遭受非自然的饱和度伪影、重影伪影、颜色扭曲、蓝色偏色或噪声。
发明内容
【技术方案】
本发明提供了一种用于使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法。
在第一实施例中，一种方法包括：使用电子设备的至少一个相机并且不使用电子设备的闪光灯来捕获场景的多个环境图像。所述方法还包括：使用电子设备的至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像。所述方法还包括：分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用(common)相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像。另外，所述方法还包括：基于曝光差的估计来确定场景的闪光强度以及基于确定的闪光强度来发射闪光。
在第二实施例中，电子设备包括至少一个相机、闪光灯和至少一个处理设备。至少一个处理设备被配置为：使用至少一个相机并且不使用闪光灯来捕获场景的多个环境图像。至少一个处理设备还被配置为：使用至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像。至少一个处理设备还被配置为：分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像。另外，至少一个处理设备还被配置为：基于曝光差的估计来确定场景的闪光强度以及基于确定的闪光强度来发射闪光。
在第三实施例中，非暂时性机器可读介质包含指令，该指令在运行时使得电子设备的至少一个处理器使用电子设备的至少一个相机并且不使用电子设备的闪光灯来捕获场景的多个环境图像。介质还包含指令，该指令在运行时使得电子设备的至少一个处理器使用至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像。介质还包含指令，该指令在运行时使得电子设备的至少一个处理器分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像。另外，介质包含指令，该指令在运行时使得电子设备的至少一个处理器基于曝光差的估计来确定场景的闪光强度以及基于确定的闪光强度来发射闪光。
从下面的附图、描述和权利要求书中，其他技术特征对于本领域技术人员来说是显而易见的。
附图说明
为了更全面地理解本发明及其优点，现在结合附图参考以下描述，其中相同的附图标记表示相同的部分：
图1示出了根据本发明的包括电子设备的示例网络配置；
图2示出了根据本发明的用于移动电子设备中的闪光控制的多对图像分析的示例处理；
图3和图4示出了根据本发明的在图2的处理中用于分析曝光差的示例分析操作；
图5示出了根据本发明的用于移动电子设备中图像的多尺度混合的示例处理；
图6示出了根据本发明的图5的处理中的图像配准操作的示例处理；
图7和图8示出了根据本发明的图5的处理中的曝光分析操作的示例处理；
图9、图10、图11、图12和图13示出了根据本发明的图5的处理中的图像去重影操作的示例处理；
图14和图15示出了根据本发明的图5的处理中的图像混合操作的示例处理；
图16示出了根据本发明的图5的处理中的对比度增强操作的示例处理；
图17示出了根据本发明的用于多对图像分析和多尺度混合的示例方法；以及
图18、图19、图20和图21示出了根据本发明使用多对图像分析和多尺度混合可以获得的示例结果。
具体实施方式
在进行下面的详细描述之前，阐述贯彻本专利文件中使用的某些单词和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”包括在内，含义和/或。短语“与…相关联”及其派生词是指包括、被包括在其中、与之互连、包含、被包含在其中、连接到或与之连接、耦合到或与之耦合、与之交流、合作、交织、并列、接近、绑定到或与之绑定、具有、具有…属性、有关系或与…有关等。
此外，下面描述的多种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在合适的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可运行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质和可存储数据并随后重写的介质，诸如可重写光盘或可擦除存储器设备。
如在此所使用的，诸如“具有”、“可以具有”、“包括”或“可以包括”特征(如数字、功能、操作或诸如部件的组件)的术语和短语指示特征的存在，并且不排除其他特征的存在。此外，如在此所使用的，短语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”和“A或B中的至少一个”可指示(1)包括至少一个A、(2)包括至少一个B或(3)包括至少一个A和至少一个B中的全部。此外，如在此所使用的，术语“第一”和“第二”可以修饰各种组件，而不管其重要性如何，并且不限制这些组件。这些术语仅用于区分一个组件和另一个组件。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而不管这些设备的顺序或重要性。在不脱离本发明的范围的情况下，第一组件可以表示为第二组件，反之亦然。
应当理解，当元件(诸如第一元件)被称为(操作地或通信地)“与另一元件(诸如第二元件)耦合/耦合到另一元件”或“与另一元件连接/连接到另一元件”时，它可以直接或经由第三元件与另一元件耦合或连接或者耦合到或连接到另一元件。相反，应当理解，当元件(诸如第一元件)被称为“直接与另一元件(诸如第二元件)耦合/耦合到另一元件”或“直接与另一元件连接/连接到另一元件”时，没有其他元件(诸如第三元件)介入该元件和另一元件之间。
如在此所使用的，短语“配置(或设置)为”可根据情况与短语“适合于”、“有能力”、“设计为”、“适于”、“制造为”或“能够”互换使用。短语“配置(或设置)为”本质上并不意味着“在硬件中专门设计为”。而是，短语“配置为”可以意味着设备可以与另一个设备或部件一起执行操作。例如，短语“处理器被配置(或设置)为执行A、B和C”可以是指可通过运行存储在存储器设备中的一个或多个软件程序或用于执行操作的专用处理器(诸如嵌入式处理器)来执行操作的通用处理器(诸如CPU或应用处理器)。
在此使用的术语和短语仅用于描述其一些实施例，而不是限制本发明的其他实施例的范围。应当理解，除非上下文另有明确规定，否则单数形式“一个”、“一”和“该”包括复数引用。在此使用的所有术语和短语，包括技术和科学术语和短语，具有与本发明实施例所属领域的普通技术人员通常理解的相同的含义。应当进一步理解，术语和短语，诸如在常用词典中定义的术语和短语，应当被解释为具有与其在相关技术的上下文中的含义一致的含义，并且除非在本文明确地这样定义，否则不会被解释为理想化的或过于正式的意义。在一些情况下，本文定义的术语和短语可以被解释为排除本发明的实施例。
根据本发明实施例的“电子设备”的示例可以包括智能手机、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)，MP3播放器、移动医疗设备、相机或可穿戴设备(诸如智能眼镜、头戴式设备(HMD)、电子衣服、电子手镯、电子项链、电子附件、电子纹身、智能镜子或智能手表)中的至少一种。贯穿本专利文件中可以提供其他特定词语和短语的定义。本领域的普通技术人员应当理解，在许多(如果不是大多数的话)情况下，这样的定义适用于这样定义的单词和短语的先前以及将来的使用。
本申请中的任何描述均不应被理解为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要元件。专利主题的范围仅由权利要求限定。
下面讨论的图1到图21以及本发明的多种实施例参考附图来描述。然而，应当理解，本发明不限于这些实施例，其所有改变和/或等同物或替换也属于本发明的范围。在整个说明书和附图中，相同或相似的附图标记可用于指代相同或相似的元件。
如上所述，许多移动电子设备都遭受许多缺点，包括在弱光的情况下性能不佳。一些移动电子设备简单地使用闪光灯来捕获弱光图像，其通常会导致不均匀的辐射和低美学质量。其他移动电子设备尝试将多个图像组合在一起以产生更美观的图像，但遭受诸如非自然的饱和伪影、重影伪影、颜色扭曲、蓝色偏色或噪声等问题。
本发明提供了通过组合多帧高动态范围(HDR)成像的原理来使用利用闪光灯捕获的多个图像的技术，其中调整相机曝光设置以在闪光灯存在时捕获多个图像。这是通过分析由电子设备捕获的成对图像来确定如何控制电子设备的闪光灯来完成的。然后由基于闪光灯控制的电子设备捕获多个图像，并且对这些图像进行处理和混合以产生具有更均匀的辐射的最终图像。例如，其可以允许产生在弱光情况下具有更自然颜色的更美观的图像。这些图像可能遭受很少或没有爆裂，并可能具有更均匀地照明的背景和前景。这些图像还可能遭受较少的饱和度伪影、重影伪影、颜色扭曲、蓝色偏色或噪声。
图1示出了根据本发明的包括电子设备的示例网络配置100。图1所示的网络配置100的实施例仅用于说明。在不脱离本发明的范围的情况下，可以使用网络配置100的其他实施例。
根据本发明的实施例，电子设备101被包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子设备101可以排除这些组件中的至少一个，或者可以添加至少一个其他组件。总线110包括用于将组件120-180彼此连接并且用于在组件之间传递通信(诸如控制消息和/或数据)的电路。
处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120能够对电子设备101的其他组件中的至少一个执行控制和/或执行与通信有关的操作或数据处理。在一些实施例中，处理器120可以是图形处理器单元(GPU)。例如，处理器120可以接收在捕获事件期间由至少一个相机捕获的图像数据。处理器120可以处理图像数据(如下面更详细地讨论的)以执行多对图像分析和多尺度混合。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。根据本发明的实施例，存储器130可以存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以表示为操作系统(OS)。
内核141可以控制或管理用于执行在其他程序(诸如中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(诸如总线110、处理器120或存储器130)。内核141提供允许中间件143、API 145或应用147访问电子设备101的单个组件的接口以控制或管理系统资源。应用147包括用于图像捕获的一个或多个应用，如下所述。这些功能可以由单个应用执行，也可以由多个应用执行，每个应用执行这些功能的一个或多个。例如，中间件143可以用作中继，以允许API 145或应用147与内核141通信数据。可以提供多个应用147。中间件143能够控制从应用147接收的工作请求，诸如通过向多个应用147中的至少一个分配使用电子设备101的系统资源的优先级(如总线110、处理器120或存储器130)。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 145包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(诸如命令)。
I/O接口150用作接口，其可以例如将从用户或其他外部设备输入的命令或数据传递到电子设备101的其他组件。I/O接口150还可以将从电子设备101的其他组件接收的命令或数据输出到用户或其他外部设备。
显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、量子点发光二极管(QLED)显示器、微电子机械系统(MEMS)显示器或电子纸显示器。显示器160还可以是深度感知显示器，诸如多焦点显示器。显示器160能够例如向用户显示多种内容(诸如文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以使用电子笔或用户的身体部分接收例如触摸、手势、接近或悬停输入。
通信接口170，例如能够在电子设备101和外部电子设备(诸如第一电子设备102、第二电子设备104或服务器106)之间设立通信。例如，通信接口170可以通过无线或有线通信与网络162或164连接以与外部电子设备通信。通信接口170可以是有线或无线收发器或用于发送和接收诸如图像的信号的任何其他组件。
电子设备101还包括一个或多个传感器180，其可以测量物理量或检测电子设备101的激活状态，并将测量或检测的信息转换为电信号。例如，一个或多个传感器180可以包括用于触摸输入的一个或多个按钮、一个或多个相机、手势传感器、陀螺仪或陀螺仪传感器、空气压力传感器、磁传感器或磁强计、加速度传感器或加速计、握力传感器、接近传感器、颜色传感器(诸如红绿蓝(RGB)传感器)，生物物理传感器、温度传感器、湿度传感器、照明传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、超声波传感器、虹膜传感器或指纹传感器。传感器180还可以包括惯性测量单元，该惯性测量单元可以包括一个或多个加速计、陀螺仪和其他组件。传感器180还可以包括用于控制此处包括的传感器中的至少一个的控制电路。这些传感器180中的任何一个可以位于电子设备101内。一个或多个相机可以捕获如下所述的图像，并且与至少一个闪光灯190一起使用。闪光灯190表示被配置为生成照明以供由电子设备101在图像捕获中使用的设备，诸如一个或多个LED。
第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或可安装在电子设备上的可穿戴设备(诸如HMD)。当电子设备101安装在电子设备102(诸如HMD)中时，电子设备101可以通过通信接口170与电子设备102通信。电子设备101可以直接与电子设备102连接以与电子设备102通信，而不涉及单独的网络。电子设备101还可以是包括一个或多个相机的增强现实可穿戴设备，诸如眼镜。
无线通信能够使用例如长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)中的至少一种作为蜂窝通信协议。有线连接可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐的标准232(RS-232)或普通旧电话服务(POTS)中的至少一种。网络162包括至少一种通信网络，诸如计算机网络(如局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104以及服务器106各自可以是与电子设备101相同或不同类型的设备。根据本发明的某些实施例，服务器106包括一个或多个服务器的组。此外，根据本发明的某些实施例，在电子设备101上运行的全部或部分操作可以在另一个或多个其他电子设备(诸如电子设备102和104或服务器106)上运行。此外，根据本发明的某些实施例，当电子设备101应自动地或应请求地执行某些功能或服务时，代替其自身或附加地运行该功能或服务，电子设备101可以请求另一设备(诸如电子设备102和104或服务器106)执行与之相关联的至少一些功能。另一电子设备(诸如电子设备102和104或服务器106)能够运行所请求的功能或附加功能，并将运行的结果传递到电子设备101。电子设备101可以通过原样或附加地处理所接收的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户机-服务器计算技术。虽然图1示出电子设备101包括通信接口170以经由网络162与外部电子设备104或服务器106通信，但是根据本发明的一些实施例，可以在没有单独的通信功能的情况下独立地操作电子设备101。
服务器106可以通过执行或支持在电子设备101上实现的操作(或功能)中的至少一个选择性地来支持电子设备101。例如，服务器106可以包括可以支持在电子设备101中实现的处理器120的处理模块或处理器。
尽管图1示出了包括电子设备101的网络配置100的一个示例，但是可以对图1进行多种更改。例如，网络配置100可以包括任何合适的布置中的任何数量的每个组件。通常，计算和通信系统具有多种配置，并且图1不将本发明的范围限制到任何特定配置。此外，虽然图1示出了一种操作环境，其中可以使用本专利文件中公开的多种特征，但是这些特征可以在任何其他合适的系统中使用。
图2示出了根据本发明的用于移动电子设备中的闪光控制的多对图像分析的示例处理200。为了便于解释，图2中所示的处理200被描述为使用图1的电子设备101来执行。然而，图2中所示的处理200可以与任何其他合适的电子设备一起使用和用在任何合适的系统中。
处理200通常用于识别和智能调整闪光灯190的闪光强度和可能地其他参数，诸如相机曝光和帧数。使用处理200识别的闪光强度和选择性地其他参数随后可以如下所述使用，以支持图像的多尺度混合(关于图5进行描述)。闪光强度在此使用引导闪光场景分析/主体检测来确定。引导闪光序列通常指在用于产生场景的最终图像的主闪光之前发生的一个或多个闪光。引导闪光序列通常也用于电子设备中以用于其他目的，诸如红眼抑制，并且可以包括单个闪光灯或多个闪光灯。场景分析/主体检测可用于识别场景中的对象类型、到最近对象的距离、场景类型(诸如室内或室外、夜晚或白天、微距或广角)或场景的其他特点。使用该信息确定已确定的闪光强度和选择性地其他参数。
如图2所示，捕获请求202由电子设备101接收。捕获请求202表示指示需要或期望使用电子设备101捕获场景的图像的任何合适的命令或输入。例如，捕获请求202可响应于用户按下显示器160上呈现的“软”按钮或用户按下“硬”按钮而启动。响应于捕获请求202，处理器120使用电子设备101的相机执行捕获操作204，以捕获场景的多个环境图像206。环境图像通常是指很少或没有来自电子设备101的光照亮场景的场景的图像，因此闪光灯190可以不用于环境图像206的捕获。在一些情况下，在捕获操作204期间，处理器120可以控制电子设备101的相机，使得以突发模式快速捕获环境图像206。可以使用不同的相机曝光来捕获不同的环境图像206。
响应于捕获请求202，处理器120还使用电子设备101的相机执行捕获操作208，以捕获场景的多个闪光图像210。闪光图像通常是指来自电子设备101的光照亮场景的场景的图像，因此在闪光图像210的捕获中使用闪光灯190。在一些情况下，在捕获操作208期间，处理器120可以控制电子设备101的相机，使得以突发模式快速地捕获闪光图像210。在此使用闪光灯190来生成引导闪光序列，并且可以使用通用(common)闪光强度来捕获闪光图像210。在此使用的闪光强度可以表示默认闪光强度或者由相机或电子设备101使用的其他闪光强度。可以使用不同的相机曝光来捕获不同的闪光图像210。
在该示例中，环境图像206和闪光图像210形成多个环境闪光图像对。也就是说，处理器120可以控制相机以便获得多对图像，其中每对包括一个不使用闪光灯190捕获的环境图像206和一个使用闪光灯190捕获的闪光图像210。每个图像对可以使用通用相机曝光和相机灵敏度(ISO设置)捕获，并且可以使用不同的相机曝光或相机灵敏度来捕获不同的图像对。然而，应当注意，不需要连续地捕获每个图像对中的图像。只要处理器120获得多个环境闪光图像对，就可以以任何合适的顺序捕获环境图像206和闪光图像210。
处理器120在分析操作212中使用图像206和210来识别使用闪光灯190在场景中获得的曝光差。发生分析操作212以量化使用闪光灯190和不同的相机曝光/相机灵敏度获得的曝光差。以这种方式，分析操作212可以识别场景中的环境照明和闪光照明之间的曝光差，该曝光差可以以任何合适的方式发生(诸如以图像中的像素级别或者对于图像中的前景或者一个或多个对象)。然后可以使用该信息来识别用于捕获场景的图像的理想或期望的闪光强度。该信息还可用于执行其他功能，诸如颜色校正。分析操作212包括任何合适的操作以识别图像之间的曝光差。下面描述分析操作212的两个示例实现，尽管也可以使用分析操作212的其他实现。使用多对环境/闪光图像的一个益处是，所得分析对于图像的过度曝光和曝光不足区域更稳健，从而产生对来自使用闪光灯190的曝光差的更准确估计。
在映射操作214期间，处理器120使用由分析操作212识别的曝光差来将曝光差映射到合适的闪光强度。在此的映射基本上将曝光差转化为闪光灯190在捕获场景的后续图像时要使用的合适的强度。在此，映射可以考虑曝光差的多个方面，诸如场景中前景区域/对象的大小和场景中背景区域的大小。映射还可以考虑场景中的对象的类型，诸如场景看起来是否包括至少一个人或者一个或多个无生命对象。映射还可以基于到场景中最近对象的估计距离。此外，映射可以基于图像是在室内还是室外、夜间还是白天，或者使用微距镜头还是广角镜头捕获。所使用的特定映射可以基于许多情况而变化，诸如在电子设备101中使用的相机的设计。
所识别的闪光强度可以可选地由处理器120在偏色确定操作216期间使用。在该操作216期间，处理器120尝试估计任何后续图像的区域，其中蓝色偏色或其他颜色偏色可能由于在所识别的闪光强度下使用闪光灯190而形成。该信息可用于后续图像的稍后处理以从后续图像中去除偏色。在此执行的区域的识别可以基于由分析操作212识别的曝光差，并且可以基于曝光差识别可能发生偏色的可能面域。
使用所识别的闪光强度发生调制闪光发射218。例如，当处理器120准备好捕获场景的附加图像以产生场景的最终图像时，处理器120可以触发闪光灯190。然后，在使用以识别的闪光强度操作的闪光灯190照亮场景的同时，电子设备101的相机捕获场景的附加图像。理想地，使用所识别的闪光强度允许随后混合或以其他方式处理附加图像以在场景的最终图像中提供更均匀的照明。
图3和图4示出了根据本发明的用于分析图2的处理200中的曝光差的示例分析操作212。具体地，图3示出了分析操作212的示例实现，其中在每像素的基础上使用先前模型执行分析，并且图4示出了分析操作212的示例实现，其中使用人工智能执行分析。当然，分析操作212的其他实现也是可能的，并且落在本发明的范围内。
如图3所示，正在分析图像对中的两个图像302和304。在此的图像包括一个环境图像302(表示图像206中的一个)和一个闪光图像304(表示图像210中的一个)。图像302和304经过除法操作306，其将一个图像302或304中每个像素的值除以另一图像304或302中相应像素的值。由除法得到的商值进行对数操作308(该示例中为log2操作)，以将商值转换为对数域。整流器线性单元310操作以防止对数域中的值为负，诸如通过选择(对于对数域中的每个值)该值中的较大者或零。可以对在捕获操作204和208期间由电子设备101捕获的每对环境/闪光图像执行在此的操作306、308和310。
因为环境/闪光图像可以由电子设备101使用不同的相机曝光和/或相机灵敏度来捕获，所以不同的图像通常可以具有在一些面域中可靠而在其他面域中不可靠的结果数据。从对于不同对环境/闪光图像的操作306、308和310得到的数据可以因此在平均操作312中被平均，该平均操作312平均于不同相机曝光/相机灵敏度获得的值。平均值通过边缘保持滤波器314，其平滑平均的数据并降低噪声，同时保持平均数据内的边缘。边缘可以表示图像的前景或图像的背景中一个或多个人或者对象的边缘。本领域已知多种类型的边缘保持滤波器。在一些实施例中，边缘保持滤波器314可以表示双边滤波器，其操作以使用来自附近平均像素的强度值的加权平均替换每个平均像素的强度。然而，注意，可以使用边缘保持滤波器314的其他实现。
边缘保持滤波器314的输出是通过使用闪光灯190获得的曝光差316。曝光差可以用任何合适的方式表达。在一些实施例中，例如，曝光差可以被表达为灰度图像，其中灰度图像中较暗的像素识别曝光差较小的面域，以及灰度图像中较亮的像素识别曝光差较大的面域。例如，如果原始环境图像和闪光图像206和210包括在前景中的人和暗背景，则灰度图像可能包括人所在的图像面域中的许多白色像素，因为来自闪光灯190的照明将极大地提高闪光图像中人物的亮度。相比之下，灰度图像可能在背景所在的图像面域中包括许多暗像素，因为来自闪光灯190的照明可能不会提高(或仅会略微提高)闪光图像中背景的亮度。
如图4所示，再次分析每个图像对的两个图像402和404。然而，在该示例中，图像402和404对通过卷积神经网络(CNN)406。卷积神经网络406通常表示一种类型的深度人工神经网络，并且卷积神经网络通常应用于分析图像。在卷积神经网络406中，卷积神经元的层应用卷积操作，该卷积操作模拟单个神经元对视觉刺激的响应。每个神经元通常对其输入值应用一些函数(通常通过对不同的输入值进行不同的加权)来生成输出值。池化层可用于将来自一层神经元簇的输出值组合成另一层单个神经元的输入值。
在此的卷积神经网络406可用于处理图像对并生成曝光差(诸如以灰度图像的形式)。其可以通过训练卷积神经网络406来完成，使得神经元的权重具有适当值。卷积神经网络406还可以被训练来执行其他功能，诸如镜面反射去除(去除小亮点，其中背景中的远镜面反射表面可能仍然对闪光产生强烈响应)和去重影(去除从一个图像到另一个图像的移动)。
尽管图2示出了用于移动电子设备中的闪光灯控制的多对图像分析的处理200的一个示例，并且图3和图4示出了用于分析图2的处理200中的曝光差的分析操作212的示例，但是可以对图2、图3和图4进行多种改变。例如，图2、图3和图4所示的多种操作虽然显示为步骤的序列，但它们可以重叠、并行发生、以不同的顺序发生或发生任意次数。作为特定示例，图2中的操作204和208可以反转或交错，以便以与在此所示不同的顺序捕获环境图像206和闪光图像210。此外，图3和图4所示的具体分析仅为示例，任何其他技术可用于识别涉及任意数量图像的曝光差。
图5示出了根据本发明的用于移动电子设备中图像的多尺度混合的示例处理500。为了便于解释，图5所示的处理500被描述为使用图1的电子设备101来执行。然而，图5所示的处理500可以与任何其他合适的电子设备一起使用和用在任何合适的系统中。
处理500通常用于以相同的闪光强度(即使用上述处理200确定的闪光强度)捕获使用不同相机曝光的场景的多个图像。在一些实施例中，可以通过改变相机的传感器增益和曝光时间来完成不同的相机曝光。通常，电子设备101可以捕获具有较短曝光的一个或多个图像、具有较长曝光的一个或多个图像以及可选地在较短曝光和较长曝光之间具有中等曝光的一个或多个图像。然后，图像以几何和光度方式对准，并且选择其中一个图像(通常是中等曝光图像或较长曝光图像)作为参考。图像在其他事物之中被混合，以基于其他图像或从其他图像(通常是较短曝光图像)提取的一个或多个区域来替换参考图像中的一个或多个爆裂区域。还可以估计图像中的运动以去除重影伪影，并且其他处理可以发生以改进场景的最终图像。
如图5所示，使用电子设备101的相机捕获图像的采集502。在此，采集502包括至少三个图像504、506和508，图像504、506和508中的每一个可以使用不同的曝光但通用闪光强度来捕获。例如，可以使用最短曝光来捕获图像504，可以使用最长曝光来捕获图像508，并且可以使用最短和最长曝光之间的中间曝光来捕获图像506。然而，请注意，可以捕获其他数量的图像(包括两个图像或多于三个图像)，并且可以使用其他数量的曝光(包括两个曝光或多于三个曝光)。在每次曝光时可以捕获一个或多个图像，并且不要求每曝光捕获相同数量的图像。
图像采集502被提供给图像配准操作510，图像配准操作510通常操作以对准图像504、506和508。如果电子设备101在图像捕获之间移动或旋转并且使得图像中的对象轻微地移动或旋转，这在手持设备常见，则可能需要对准。在此的图像504、506和508可以在几何上和光度上对准。在一些实施例中，图像配准操作510可以使用面向全局定向FAST旋转BRIEF(Oriented FAST and Rotated BRIEF，ORB)特征作为来自块搜索的局部特征和全局特征来对准图像。下面描述图像配准操作510的一个示例实现，尽管也可以使用图像配准操作510的其他实现。
使用曝光分析操作512和去重影操作514输出和处理对准的图像。曝光分析操作512分析对准图像以生成对准图像的良好曝光度映射。每个良好曝光度映射通常识别一个或多个良好曝光(不是过度曝光或曝光不足)的对准图像的面域。基于用于捕获图像的相机曝光，可以使用不同的度量来定义该图像的良好曝光的部分。例如，不同的度量可以由不同的函数定义，其中函数将像素值转换为良好曝光度值，并且函数应用于不同的对准图像。下面描述曝光分析操作512的一个示例实现，尽管也可以使用曝光分析操作512的其他实现。
去重影操作514处理对准的图像以识别图像中发生的运动，诸如在图像内移动的人或对象。在一些实施例中，去重影操作514将对准图像中的每一个划分为片，诸如以四乘四网格排列的十六个块。然后，去重影操作514处理片以识别运动，其中运动被识别为片之间的差。这样，去重影操作514生成运动映射以识别图像中发生运动的面域。例如，每个运动映射可以包括指示哪里未检测到运动的黑色像素和指示哪里检测到运动的白色像素。去重影操作514还可以均衡图像以考虑用于捕获图像的不同相机曝光/相机灵敏度。下面描述去重影操作514的一个示例实现，尽管也可以使用去重影操作514的其他实现。
多尺度图像混合操作516接收对准图像、良好曝光度映射和运动映射，并使用该信息来生成一个或多个混合图像。每个混合图像可以包括或基于不同图像的部分。例如，可以通过选择图像之一(诸如通过中间曝光捕获的图像506)作为参考图像，并使用或基于来自其他图像的对应部分替换参考图像的爆裂部分或其他部分来形成混合图像。作为特定示例，当使用较短曝光捕获图像504时，图像506的过度曝光部分通常可以被图像504的对应部分来替换或使用图像504的对应部分。混合还可以说明图像中的运动，诸如通过避免将来自一个图像的运动对象插入参考图像中的错误位置。在一些实施例中，混合表示跨多个尺度的合成图像的加权混合，其中混合映射用作权重并且基于良好曝光度映射和去重影映射的复合。例如，混合映射的每一个可以表示良好曝光度映射之一和去重影映射之一的乘积。下面描述多尺度混合操作516的一个示例实现，尽管也可以使用多尺度混合操作516的其他实现。
然后，为了改进混合图像，可以对每个混合图像进行一个或多个后处理操作。例如，混合图像可以经受边缘增强噪声滤波功能518，其通常用于去除噪声和改进混合图像中的边缘的外观。本领域已知用于边缘增强和噪声滤波的多种技术。在一些实施例中，滤波功能518可以表示由混合映射、良好曝光度映射和去重影映射引导的多尺度去噪处理。滤波的混合图像可以通过对比度增强操作520进行处理，该操作520通常用于增加混合图像的整体对比度，同时维持混合图像内的自然色调。下面描述对比度增强操作520的一个示例实现，尽管也可以使用对比度增强操作520的其他实现。
处理500的输出是场景的至少一个最终图像522。最终图像522通常表示处理之后的原始图像504、506和508的混合。如上所述，例如，最终图像522可以表示选择作为参考图像的图像(诸如图像506)，将参考图像的一个或多个部分(诸如一个或多个爆裂区域)替换为至少一个其他图像(诸如较短曝光图像504)的一个或多个对应部分或与之组合。理想地，最终图像522带有具有都更均匀照明的前景和背景。照明不需要完全均匀，但是最终图像522中的照明至少与参考图像中的照明相比更均匀。
图6示出了根据本发明的图5的处理500中的图像配准操作510的示例处理。如上所述，图像配准操作510用于对准由电子设备101捕获的多个图像(诸如图像504、506和508)。在图6中，通过将变换矩阵H拟合到匹配的特征点来对准多个图像，即参考图像和非参考图像。一对匹配的特征点表示一个图像中与另一个图像中对应特征匹配的特征点。总的来说，其有助于补偿相机/电子设备101的移动。
如图6所示，参考图像Iref和非参考图像Inonref被提供给特征检测和匹配功能602，该功能通常用于识别每个图像中的特征点并匹配两个图像通用的特征点。在该示例中，匹配的特征点被表达为{pnonref,pref}值。特征检测和匹配功能602可以使用任何合适的技术来识别和匹配特征点，诸如ORB特征检测和匹配。本领域已知多种类型的特征点检测和匹配。第一变换矩阵估计函数604接收匹配的特征点{pnonref,pref}，并生成变换矩阵的初始估计。初始估计表示可用于变换非参考图像的特征点以匹配参考图像的特征点的变换矩阵的初始猜测。本领域已知多种类型的变换矩阵估计技术，诸如线性估计。
参考图像和非参考图像以及变换矩阵的初始估计被提供给块搜索函数606。不同于特征检测和匹配(其匹配特征点)，在使用变换矩阵的初始估计对图像中的至少一个进行变换之后，块搜索函数606尝试匹配参考图像和非参考图像中的块。其允许块搜索由识别的特征点引导。在该示例中，匹配的块被表达为{qnonref,qref}值。块搜索功能606可以使用任何合适的技术来识别和匹配块。
第二变换矩阵估计函数608接收匹配的特征点{pnonref,pref}和匹配的块{qnonref,qref}，并生成变换矩阵H的最终估计。最终估计理想地表示将用于变换非参考图像的特征点和块以匹配参考图像的特征点和块的变换矩阵的最佳估计。一旦使用变换矩阵H变换非参考图像，则非参考图像通常与参考图像对准。再次，本领域已知多种类型的变换矩阵估计技术，诸如线性估计。
注意，对于图像采集502中的每个非参考图像，通常使用来自采集502的相同图像作为参考图像，可以重复图6所示的处理。来自图6中的处理的性能的结果理想地是通常彼此对准的图像(在下面表示为504’、506’和508’)的集合。对准图像集合中的图像之一仍可能表示对应的原始图像，诸如，当如果在处理600期间将图像506用作参考图像，图像506’与图像506匹配时。
图7和图8示出了根据本发明的图5的处理500中的曝光分析操作512的示例处理。如上所述，曝光分析操作512用于识别由电子设备101捕获的图像的对准版本的不同面域，其被良好曝光，并因此包括最有用和最可靠的图像信息。如图7所示，不同的度量702、704和706应用于对准图像504’、506’和508’。在此可以使用不同的度量702、704和706，因为图像504’、506’和508’与不同的相机曝光相关联。因此，可以使用不同的度量来确定不同图像504’、506’和508’部分是否是良好曝光的。这样，每个图像504’、506’和508’分别被转换为良好曝光度映射708、710和712。每个良好曝光度映射708、710和712可以表示灰度图像，其中较亮的颜色表示关联图像的良好曝光面域，较暗的颜色表示关联图像的过度曝光面域或曝光不足面域。
在此可以使用的度量702、704和706的示例如图8所示，其中线802、804和806分别表示度量702、704和706应用的函数。对于每个函数，对应的线802、804和806识别图像504’、506’和508’中的实际像素值如何转化为良好曝光度映射708、710或712中包含的值。例如，在此的线802表示如何将短曝光图像(诸如图像504’)中的像素值转换为良好曝光度映射708中的对应值。在此的线804表示如何将中间曝光图像(诸如图像506’)中的像素值转换为良好曝光度映射710中的对应值。在此的线806表示如何将长曝光图像(诸如图像508’)中的像素值转换为良好曝光度映射712中的对应值。因为同一场景的不同图像中的像素值可以以众所周知的方式随着相机曝光的改变而变化，可以预测哪些像素值更可能代表在不同曝光下捕获的图像的良好曝光的面域。然而，请注意，图8中所示的函数只是示例，可以使用其他度量将图像转换为良好曝光度映射。
图9、图10、图11、图12和图13示出了根据本发明的图5的处理500中的图像去重影操作514的示例处理。如上所述，图像去重影操作514用于识别由电子设备101捕获的图像的对准版本中的运动。如图9所示，图像去重影操作514通常包括由参考帧块902和主块904执行的操作。参考帧块902接收参考图像和非参考图像的亮度(Y)值，并为这两个图像生成运动乘法器(Mot_Mult)。运动乘法器控制图像去重影操作514中的主块904在拒绝具有高差的像素作为运动方面的积极程度。主块904接收运动乘法器、参考图像和非参考图像的亮度值、参考图像和非参考图像的色度值(U和V)以及任何期望的调谐参数(诸如表示为Sig_Est的噪声级别估计)。噪声级别估计可以基于图像捕获期间相机的ISO级别。主块904使用该信息为两个图像生成去重影映射906。去重影映射906(也称为运动映射)识别两个图像中正在发生运动并且应当被去除的面域，从而识别图像中的预期运动和噪声级别。
图10示出了图9中参考帧块902的示例实现。如图10所示，参考帧块902包括降尺度函数1002和1004。降尺度函数1002接收参考图像的亮度值Yref，并将亮度值降尺度以产生降尺度的亮度值Yref_DS。类似地，降尺度函数1004接收非参考图像的亮度值Ynonref，并将亮度值降尺度以产生降尺度的亮度值Ynonref_DS。降尺度允许在后续操作中处理较少的数据，其有助于加快后续操作。可以使用任何合适的量的降尺度，诸如将数据以四倍降尺度。然而，在此不一定需要降尺度。
差函数1006在逐个像素的基础上识别降尺度的亮度值(或原始亮度值的)之间的差。假设两个图像之间不存在移动并且图像的曝光的恰当的均衡，差函数1006输出仅识别图像之间的差的差映射，其(理想地)表示图像内的运动。例如，差映射可以具有指示图像像素值之间的小差异的较暗像素和指示图像像素值之间的更大差异的较亮像素。直方图函数1008基于差映射生成直方图，其量化片内的运动统计。
阈值/传递函数1010接收来自直方图函数1008的运动统计和噪声级别估计Sig_Est。阈值/传递函数1010使用噪声级别估计来识别在图像中检测的差何时实际代表图像中的运动。阈值/传递函数1010的输出是运动乘法器1012。
图11示出了图9中的主块904的示例实现。如图11所示，主块904包括边缘强度滤波器1102和主子块1104。边缘强度滤波器1102接收参考图像的亮度值Yref、噪声级别估计Sig_Est和运动乘法器Mot_Mult并生成由主子块1104使用的范数映射。下面描述边缘强度滤波器1102的一个示例实现，尽管也可以使用边缘强度滤波器1102的其他实现。主子块1104接收参考图像和非参考图像的亮度和色度值YUVref和YUVnonref，以及范数映射。主子块1104使用该信息来生成去重影映射906。下面描述主子块1104的一个示例实现，尽管也可以使用主子块1104的其他实现。
图12示出了图11中主块904的边缘强度滤波器1102的示例实现。如图12所示，边缘强度滤波器1102包括降尺度函数1202，其接收参考图像的亮度值Yref并将亮度值降尺度以产生降尺度的亮度值Yref_DS。在此可以使用任何合适的降尺度(例如以四倍降尺度)，尽管可能不需要降尺度。降尺度的亮度值Yref_DS通过高通滤波器1204以产生表示场景中的粗糙边缘的边缘值(表示为YESF)。边缘值通过低通滤波器1206来产生表示场景中的平滑边缘的滤波边缘值(表示为FilterESF)。高通滤波器1204表示用于滤波像素值的任何合适的高通滤波器，诸如3×3高通滤波器。低通滤波器1206表示用于滤波像素值的任何合适的低通滤波器，诸如5×5低通滤波器。
滤波边缘值被提供给加法/移位/乘法函数1208，其还接收噪声级别估计Sig_Est和运动乘法器Mot_Mult。加法/移位/乘法函数1208操作以使用该信息生成范数映射，其中范数映射用于归一化由于片内的像素差引起的运动，如下所述。加法/移位/乘法函数1208可以以任何合适的方式使用滤波边缘值FilterESF、噪声级别估计Sig_Est和运动乘法器Mot_Mult来生成范数映射。在一些实施例中，加法/移位/乘法函数1208通过执行以下计算来生成范数映射，尽管也可以发生其他合适的计算。
((Sig_Est+FilterESF)*Mot_Mult/4)/16 (1)
图13示出了图11中主块904的主子块1104的示例实现。如图13所示，主子块1104包括差函数1302和1304。差函数1302识别参考图像和非参考图像的亮度值Yref和Ynonref之间的差Ydiff，并且差函数1304识别参考图像和非参考图像的色度值UVref和UVnonref之间的差Udiff和Vdiff。亮度值中的差Ydiff被提供给平均/降尺度函数1306，其平均亮度值差的集合以将亮度值差的大小降尺度并产生降尺度的亮度值差Ydiff_DS。同样，在此可以使用任何合适的降尺度(例如以四倍降尺度)，尽管可能不需要降尺度。
和/帽(cap)函数1308接收降尺度的亮度值差Ydiff_DS以及色度值差Udiff和Vdiff，并操作以生成识别图像之间的差的差映射。和/帽函数1308可以以任何合适的方式使用降尺度的亮度值差Ydiff_DS以及色度值差Udiff和Vdiff来生成差映射。在一些实施例中，和/帽函数1308通过执行以下计算来生成差映射，尽管也可以发生其他合适的计算。
Diff＝(Ydiff_DS+(Udiff+Vdiff)/2)2 (2)
Diff_map＝Diff*(Yref<Sat_Thr)(3)
其中，Diff_map表示差映射像素值，以及Sat_Thr表示饱和阈值。
差映射被提供给低通滤波器(LPF)/除函数1310，其还接收范数映射和两个标量值。一个标量值表示参考权重Ref_weight，以及另一个标量值表示权重乘法器W_mult。低通滤波/除函数1310使用差映射、范数映射和标量值来生成去重影映射，其识别图像中发生运动的面域。低通滤波器/除函数1310可以以任何合适的方式使用差映射、范数映射和标量值来生成去重影映射。在一些实施例中，低通滤波器/除函数1310通过计算以下内容来生成去重影映射，尽管也可以发生其他合适的计算。
Filt_Mot＝LPF(Diff_map)/Norm_map (4)
Deghost_map＝Ref_weight-min(Ref_weight,Filt_Mot*W_mult) (5)
其中，Deghost_map表示去重影映射像素值，以及LPF()表示滤波函数。在此的参考权重Ref_weight定义去重影映射像素可以获得的最大值。在此的权重乘法器W_mult定义了Filt_Mot值乘以的值，以识别当存在运动时从参考权重Ref_weight中减去的量。因此，权重乘法器W_mult的较大值导致从参考权重Ref_weight中减去较大的值，从而导致检测到更多的运动。
注意，图9、图10、图11、图12和图13中所示的处理可以对对准图像的采集中的每个非参考图像重复，通常使用来自采集的相同图像作为参考图像。图9、图10、图11、图12和图13中的处理的性能的结果理想地是去重影映射906的集合，其识别非参考图像和参考图像之间的所有运动(或至少超过阈值的所有运动)。
图14和图15示出了根据本发明的图5的处理500中的图像混合操作516的示例处理。如上所述，图像混合操作516用于混合由电子设备101捕获的图像的不同部分。如图14所示，图像混合操作516接收不同的图像504’、506’和508’(其表示图像504、506和508的对准版本)。图像混合操作516还接收三个混合映射W1、W2和W3，因为在此使用三个图像，尽管如果两个图像或三个以上的图像被混合，则可以使用其他数量的混合映射。如上所述，混合映射可以基于良好曝光度映射和先前生成的去重影映射，或者可以是其复合(诸如其乘积)。
图14中的图像504’、506’和508’中的一个被视为参考图像。在该示例中，图像506’是参考图像，其与先前使用图像506作为参考图像是一致的。图像504’被提供给乘法器函数1402，其将图像504’的像素乘以混合映射W1中的权重。直方图匹配函数1404使用图像504’作为参考来生成图像506’的版本。有效地，将传递函数应用于图像506’，以便使图像506’的直方图与图像504’的直方图尽可能接近地匹配。将图像506’的结果版本提供给乘法器函数1406，其将图像506’的结果版本的像素乘以计算为1-W1的混合映射中的权重(假设混合映射中的每个权重具有介于0和1之间的值，包括0和1)。乘法器函数1402和1406的结果由加法器函数1408求和。其将图像504’和图像506’的版本进行alpha混合，合成新图像，其通过去除图像之间的运动来帮助避免重影伪影。假设图像504’具有比图像506’更短的曝光，则新合成图像可被称为新的短曝光图像。
类似地，图像508’被提供给乘法器函数1410，其图像508’的像素乘以混合映射W3中的权重。直方图匹配函数1412使用图像508’作为参考来生成图像506’的版本。有效地，将传递函数应用于图像506’，以便使图像506’的直方图与图像508’的直方图尽可能接近地匹配。将图像506’的结果版本提供给乘法器函数1414，其将图像506’的结果版本的像素乘以计算为1-W3的混合映射中的权重(假设混合映射中的每个权重具有介于0和1之间的值，包括0和1)。其将图像508’和图像506’的版本进行alpha混合，合成新图像，其通过去除图像之间的运动来帮助避免重影伪影。假设图像508’具有比图像506’更长的曝光，则新合成图像可被称为新的长曝光图像。
将从加法器1408输出的混合图像(诸如新的短曝光图像)提供给乘法器函数1418，其将新的短曝光图像的像素金字塔乘以混合映射W1中的权重。将图像506’(作为参考图像)提供给乘法器函数1420，其将图像506’的像素金字塔乘以混合映射W2中的权重。从加法器1416输出的混合图像(诸如新的长曝光图像)被提供给乘法器函数1422，其将新的长曝光图像的像素金字塔乘以混合映射W3中的权重。这将分别根据三个混合图W1、W2和W3对三个图像进行加权。在金字塔加法操作1424中组合结果，该操作组合结果以产生最终图像。除此之外，乘法器函数1418、1420和1422以及加法操作1424操作来金字塔混合图像以使黑暗区域(诸如背景)变亮并恢复原始图像504、506和508的饱和区域(诸如前景中)。
新的短曝光图像、图像506’和新的长曝光图像的金字塔混合的示例如图15所示。在该示例中，图像506’被称为“中间”图像，因为其曝光介于图像504’和508’的曝光之间。如图15所示，图像506’被分解成拉普拉斯金字塔1502，并且混合映射W2被分解成高斯金字塔1504。通过将图像数据与变换函数的集合相乘，图像分解成拉普拉斯金字塔可以发生。混合映射W2基于与原始图像506相关联的良好曝光度映射和去重影映射。通过使用高斯平均对混合映射加权，混合映射分解为高斯金字塔可以发生。在此的金字塔1502和1504中的每一个是多尺度金字塔，其表示多分辨率级别或尺度的图像或混合映射。金字塔1502和1504的级别或尺度相乘，如图15所示，其表示乘法器函数1420。选择性地，金字塔1502和1504中的至少一些级别或尺度可以乘以光晕控制项，其是为了光晕抑制而完成的。
对于新的短曝光和长曝光图像，也会发生类似的操作。在该示例中，新的短曝光图像被分解成拉普拉斯金字塔1506，并且混合映射W1被分解成高斯金字塔1508。混合映射W1基于与原始图像504相关联的良好曝光度映射和去重影映射。金字塔1506和1508的级别或尺度相乘(其表示乘法器函数1418)，并且选择性地，金字塔1506和1508中的至少一些级别或尺度可以乘以用于光晕抑制的光晕控制项。同样在该示例中，新的长曝光图像被分解成拉普拉斯金字塔1510，并且混合映射W3被分解成高斯金字塔1512。混合映射W3基于与原始图像508相关联的良好曝光度映射和去重影映射。金字塔1510和1512的级别或尺度相乘(其表示乘法器函数1422)，并且可选地，金字塔1510和1512中的至少一些级别或尺度可以乘以用于光晕抑制的光晕控制项。
金字塔1502和1504、金字塔1506和1508以及金字塔1510和1512的结果乘积在每个级别或尺度(表示加法操作1424)相加以产生混合图像金字塔1514。然后可以折叠或重新组合混合图像金字塔1514的多个级别或尺度以产生场景的混合图像，其中，混合图像表示新的短曝光图像、图像506’和新的长曝光图像的混合版本。理想地，混合图像包括或基于来自图像506’和来自新的短曝光图像和长曝光图像的场景的良好曝光的部分。这可以允许，例如，来自图像504’的背景的较亮部分与图像506’中前景的良好曝光的部分组合，以便产生具有更均匀照明的混合图像。
图16示出了根据本发明的图5的处理中的对比度增强操作520的示例处理。如上所述，对比度增强操作520增加混合图像的整体对比度，同时维持混合图像内的自然色调。如图16所示，对比度增强操作520包括直方图均衡函数1602，其通常使产生的混合图像适应于合适的场景。在一些实施例中，直方图均衡函数1602使用对比度受限自适应直方图均衡(CLAHE)的全局版本来改进亮度域中的混合图像的对比度。
在特定实施例中，直方图均衡应用于混合图像的色调曲线的顶部，其中直方图均衡函数1602的参数包括裁剪限制、最小值和最大值。裁剪限制控制直方图条目将重新分布到直方图的其他面域的阈值。在某些情况下，裁剪限制具有在0.0到0.2之间的典型有用范围。最小值表示定义百分比的对比度控制参数，低于该百分比的像素在零值处被裁剪。在某些情况下，最小值可以具有在0.0到0.01之间的典型有用范围。最大值表示定义百分比的对比度控制参数，高于该百分比像素在255值处被裁剪。在某些情况下，最大值可以具有在0.99到1.0之间的典型有用范围。
对比度增强操作520还包括色度增益函数1604和色调校正函数1606。色度增益函数1604通常操作以识别由直方图均衡函数1602应用于亮度值的增益，并将相同的增益应用于混合图像的色度值。其可以帮助避免颜色去饱和。然而，当在混合图像中全局地应用色度增益时，可以创建可见伪影。特别地，当全局地应用色度增益时，可能存在色调向红色的全局移位。因此，可以应用色调校正函数1606来校正该全局移位。色调校正功能1606的输出可以表示使用电子设备101捕获的场景的最终图像522。
尽管图5示出了用于在移动电子设备中多尺度混合图像的处理500的一个示例，并且图6到图16示出了图5的处理500中的操作的示例，但是可以对图5到图16进行多种更改。例如，虽然示出为步骤序列，图5到图16中所示的多种操作可以重叠、并行发生、以不同的顺序发生或发生任意次数。此外，图6到图16中所示的具体操作只是示例，并且可以使用其他技术来执行图6到图16中所示的每个操作。
应当注意，图2到图16中所示的操作可以以任何合适的方式在电子设备101中实现。例如，在一些实施例中，图2到图16所示的操作可以使用由电子设备101的处理器120运行的一个或多个软件应用或其他软件指令来实现或支持。在其他实施例中，图2到图16中所示的至少一些操作可以使用专用硬件组件来实现或支持。通常，图2到图16中所示的操作可以使用任何合适的硬件或硬件和软件/固件指令的任何合适组合来执行。
还应当注意，图2到图16中所示的操作在上文中被描述为使用电子设备101的特定实现来执行，但是可以基于使用实际电子设备101进行许多修改。例如，电子设备101可以包括或使用单个相机或多个相机。如果使用单个相机，则可以循序地捕获场景的多个图像，诸如以一个或多个快速突发的方式。如果使用多个相机，则可以并发地或以重叠的方式捕获多个图像，诸如通过同时捕获场景的多个图像但使用不同的相机具有不同的相机曝光。如果需要，仍然可以使用多个相机中的至少一个循序地捕获场景的多个图像。假设提前知道多个相机的几何图形，则可以使用该几何图形来帮助对准相机捕获的图像或执行其他功能。作为另一示例，电子设备101在上面被描述为使用YUV图像数据执行多种操作。然而，也可以使用或处理其他域中的数据(诸如RGB数据)。作为第三示例，本专利文件中描述的技术可以与传统HDR图像处理算法组合，诸如在电子设备101使用的软件库中。其可以允许电子设备101的用户在不同的图像处理算法之间进行选择，诸如根据具体情况或基于用户喜好。
图17示出了根据本发明的用于多对图像分析和多尺度混合的示例方法1700。为了便于解释，图17中所示的方法1700被描述为使用图1的电子设备101和图2到图16中所示的技术来执行。然而，图17中所示的方法1700可以与任何其他合适的电子设备一起使用和用在任何合适的系统中，并且方法1700中的多个步骤可以使用图2到图16中所示的操作和函数发生，也可以不发生。
如图17所示，在步骤1702，使用电子设备并且不使用闪光灯来捕获场景的多个环境图像。其可以包括，例如，电子设备101的处理器120接收捕获请求202并使得电子设备101中的至少一个相机捕获场景的环境图像206。其还可以包括电子设备101的处理器120控制相机在捕获环境图像206时使用不同的曝光。在步骤1704，使用电子设备并且在使用引导闪光序列时捕获场景的多个闪光图像。其可以包括例如，电子设备101的处理器120使得电子设备101中的至少一个相机捕获场景的闪光图像210。其还可以包括电子设备101的处理器120控制闪光灯190以产生引导闪光序列(可能以预定义的闪光强度)并且控制(多个)相机在捕获闪光图像210时使用不同的曝光。
在步骤1706，分析多对捕获的图像以估计使用闪光灯获得的曝光差。其可以包括，例如，电子设备101的处理器120处理多对图像(每对图像包括具有通用曝光时间的环境图像206中的一个和闪光图像210中的一个)，以识别每对图像之间的曝光差。使用不同的相机曝光可以捕获不同对图像。作为具体示例，可以通过除图像中的像素值、将商转换为对数域、应用整流线性单元操作、平均结果值以及对平均的值执行边缘保持滤波来处理每对图像。作为另一具体示例，可以使用人工智能函数(诸如卷积神经网络406)来处理每对图像。在步骤1708中，使用曝光差识别场景的适当闪光强度。其可以包括例如，电子设备101的处理器120将所识别的曝光差映射到适当闪光强度。如上所述，映射可以基于许多因素。
在步骤1710，以确定的闪光强度发射电子设备的闪光，并且使用电子设备捕获场景的附加图像。其可以包括，例如，电子设备101的处理器120控制闪光灯190以先前确定的适当闪光强度发射。其还可以包括电子设备101的处理器120，使得电子设备101中的至少一个相机捕获场景的附加图像504、506和508。附加图像504、506和508可以使用不同的曝光但相同的通用闪光强度来捕获。在步骤1712对准和预处理附加图像。其可以包括例如电子设备101的处理器120使用特征点检测、匹配和块搜索对准附加图像504、506和508。其还可以包括电子设备101的处理器120执行对准图像504’、506’和508’的曝光分析和去重影。
然后将对准和预处理的图像混合。在该示例中，混合是通过在步骤1714处对准和处理之后生成图像的多尺度表示发生的，并且在步骤1716混合多尺度表示以产生场景的混合图像。其可以包括，例如，电子设备101的处理器120将选择作为参考的图像之一(诸如图像506”)分解成拉普拉斯金字塔，并将相关联的混合映射分解成高斯金字塔。其还可以包括电子设备101的处理器120基于一个或多个经处理的图像(诸如“基于图像504”和508”的图像506”的新版本)生成一个或多个合成图像，将(多个)合成图像分解成一个或多个拉普拉斯金字塔，以及将相关联的混合映射分解成一个或多个高斯金字塔。其还可以包括电子设备101的处理器120将每个拉普拉斯金字塔乘以相关联的高斯金字塔，应用任何期望的光晕校正因子，并且在多尺度表示的每个级别处对结果求和。另外，其可以包括电子设备101的处理器120折叠到求和的结果以产生场景的混合图像。理想地，与任何原始图像相比，场景的混合图像具有更均匀的照明。
混合图像的任何期望的后处理发生在步骤1718。其可以包括，例如，电子设备101的处理器120对场景的混合图像执行边缘增强噪声滤波功能518和/或对比度增强操作520。后处理的输出是场景的最终图像，其可以在步骤1720以某种方式存储、输出或使用。其可以包括，例如，电子设备101的处理器120在电子设备101的显示器160上显示场景的最终图像。其还可以包括电子设备101的处理器120将场景的最终图像保存到存储在电子设备101的存储器130中的相机卷。其还可以包括电子设备101的处理器120将场景的最终图像附加到文本消息、电子邮件或从电子设备101发送的其他通信中。当然，可以以任何其他或附加方式使用场景的最终图像。
尽管图17示出了用于多对图像分析和多尺度混合的方法1700的一个示例，但是可以对图17进行多种更改。例如，虽然显示为一系列步骤，但图17中的多种步骤可以重叠、并行发生、以不同的顺序发生或发生任意次数。另外，不必将上述用于多对图像分析的技术与上述用于多尺度混合的技术一起使用。例如，可以执行多对图像分析以识别和发射闪光灯190，而无需随后执行多尺度混合。类似地，可以基于使用不基于多对图像分析的闪光强度捕获的图像来执行多尺度混合。
图18、图19、图20和图21示出了根据本发明使用多对图像分析和多尺度混合可以获得的示例结果。在图18中，捕获了包括具有对象的较暗的前景(泰迪熊躺在桌子上)以及较亮的背景的场景的图像1800，其中没有使用闪光灯。如图所示，较亮的背景通常被很好地照亮，而具有对象的前景是黑暗且曝光不足的。在图19中，捕获了同一场景的图像1900，但这次使用了标准闪光灯。如图所示，较亮的背景现在较暗，而具有对象的前景非常明亮，可能被认为曝光过度。在图20中，捕获了同一场景的图像2000，但这次使用了标准闪光灯和标准HDR图像处理。此处可以看出，背景仍然很明亮，且在照亮前景方面也做了一些细微的改进。不幸的是，前景仍然与背景有明显的照明差。
在图21中，使用上述用于多对图像分析和多尺度混合的方法捕获相同场景的图像2100。此处可以看出，场景的背景仍然被良好照明的，但是背景没有像图19中的标准闪光图像1900那样变暗。此外，与图18中的原始不闪光图像1800相比，场景的前景已经变亮，但是前景没有像图19中的标准闪光图像1900那样被过度曝光。而且，与背景相比，场景的前景具有更一致的照明，其不是使用图20中图像2000的标准HDR图像处理来完成的。因此，与1800、1900和2000中的任何图像相比，图像2100整体上更美观。
尽管图18、图19、图20和图21示出了使用多对图像分析和多尺度混合可以获得的结果的示例，但是可以对图18、图19、图20和图21进行多种更改。例如，图18、图19、图20和图21仅旨在说明使用本发明中描述的方法可以获得的结果类型的一个示例。显然，标准、闪光和HDR图像可以变化很大，并且使用本专利文献中描述的方法获得的结果也可以根据情况变化很大。
尽管已经参考多种示例实施例描述了本发明，但是可以向本领域技术人员建议多种改变和修改。本发明的目的在于包括落入所附权利要求书范围内的这种改变和修改。

Claims (13)

1.一种捕获和混合图像的方法，包括：
使用电子设备中的至少一个相机并且不使用电子设备的闪光灯来捕获场景的多个环境图像；
使用电子设备中的至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像；
分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像；
基于曝光差的估计来确定场景的闪光强度；以及
基于确定的闪光强度来发射闪光，
该方法还包括：
使用电子设备中的至少一个相机来捕获场景的附加图像，附加图像中的至少一些以确定的闪光强度并使用不同的相机曝光来捕获；以及
混合附加图像以产生场景的混合图像。
2.根据权利要求1所述的方法，其中，分析每对图像包括以下至少一个：
以像素级别识别所述对中的环境图像和闪光图像之间的曝光差；
对图像的前景和背景识别所述对中的环境图像和闪光图像之间的曝光差；以及
对图像中的一个或多个对象识别对中的环境图像和闪光图像之间的曝光差。
3.根据权利要求1所述的方法，其中，确定场景的闪光强度包括将识别的曝光差映射到闪光强度。
4.根据权利要求1所述的方法，其中，混合附加图像包括：
对准附加图像；
使用用于附加图像的不同相机曝光的不同度量来生成对准的附加图像的曝光映射；以及
对于对准的附加图像或对准的附加图像的均衡的版本生成运动映射；以及
其中，使用曝光映射、基于对准图像的合成图像和运动映射产生混合图像。
5.根据权利要求1所述的方法，其中：
附加图像包括第一、第二和第三附加图像；以及
混合附加图像包括：
混合第一附加图像的版本和第二附加图像的第一直方图匹配版本以产生第四附加图像；
混合第三附加图像的版本和第二附加图像的第二直方图匹配版本以产生第五附加图像；以及
混合第二、第四和第五附加图像以产生混合图像。
6.根据权利要求1所述的方法，其中：
混合图像包括使用确定的闪光强度照明的场景中的至少一个对象或场景的前景；以及
所述场景中的至少一个对象或场景的前景和场景的背景具有比场景的附加图像中更均匀的照明。
7.一种电子设备，包括：
至少一个相机；
闪光；以及
至少一个处理设备，被配置为：
使用所述至少一个相机并且不使用闪光灯来捕获场景的多个环境图像；
使用所述至少一个相机并且在使用闪光灯的引导闪光序列的发射期间捕获场景的多个闪光图像；
分析多对图像以估计使用闪光灯获得的曝光差，其中，每对图像包括都使用通用相机曝光捕获的环境图像中的一个和闪光图像中的一个，并且其中使用不同的相机曝光捕获不同对图像；
基于曝光差的估计来确定场景的闪光强度；以及
基于确定的闪光强度来发射闪光，
其中，所述至少一个处理设备还被配置为：
使用所述至少一个相机来捕获场景的附加图像，附加图像中的至少一些以确定的闪光强度并使用不同的相机曝光来捕获；以及
混合附加图像以产生场景的混合图像。
8.根据权利要求7所述的电子设备，其中，为了分析每对图像，所述至少一个处理设备被配置为以下至少一项：
以像素级别识别所述对中的环境图像和闪光图像之间的曝光差；
对图像的前景和背景识别所述对中的环境图像和闪光图像之间的曝光差；以及
对图像中的一个或多个对象识别所述对中的环境图像和闪光图像之间的曝光差。
9.根据权利要求7所述的电子设备，其中，为了确定场景的闪光强度，所述至少一个处理设备被配置为将识别的曝光差映射到闪光强度。
10.根据权利要求7所述的电子设备，其中，为了混合附加图像，所述至少一个处理设备被配置为：
对准附加图像；
使用用于附加图像的不同相机曝光的不同度量来生成对准的附加图像的曝光映射；以及
对于对准的附加图像或对准的附加图像的均衡的版本生成运动映射；以及
其中，为了产生混合图像，所述至少一个处理设备被配置为使用曝光映射、基于对准图像的合成图像和运动映射产生混合图像。
11.根据权利要求7所述的电子设备，其中：
附加图像包括第一、第二和第三附加图像；以及
为了混合附加图像，所述至少一个处理设备被配置为：
混合第一附加图像的版本和第二附加图像的第一直方图匹配版本以产生第四附加图像；
混合第三附加图像的版本和第二附加图像的第二直方图匹配版本以产生第五附加图像；以及
混合第二、第四和第五附加图像以产生混合图像。
12.根据权利要求7所述的电子设备，其中：
混合图像包括使用确定的闪光强度照明的场景中的至少一个对象或场景的前景；以及
所述场景中的至少一个对象或场景的前景和场景的背景具有比场景的附加图像中更均匀的照明。
13.一种机器可读介质，其包含指令，当运行该指令时使得电子设备中的至少一个处理器执行权利要求1至6中任一权利要求所述的方法。
CN201980092284.2A 2019-02-18 2019-07-03 使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法 Active CN113454530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/278,543 2019-02-18
US16/278,543 US10742892B1 (en) 2019-02-18 2019-02-18 Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device
PCT/KR2019/008150 WO2020171305A1 (en) 2019-02-18 2019-07-03 Apparatus and method for capturing and blending multiple images for high-quality flash photography using mobile electronic device

Publications (2)

Publication Number Publication Date
CN113454530A CN113454530A (zh) 2021-09-28
CN113454530B true CN113454530B (zh) 2022-11-01

Family

ID=71993920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092284.2A Active CN113454530B (zh) 2019-02-18 2019-07-03 使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法

Country Status (5)

Country Link
US (1) US10742892B1 (zh)
EP (1) EP3899656A4 (zh)
KR (1) KR102691544B1 (zh)
CN (1) CN113454530B (zh)
WO (1) WO2020171305A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3850425A4 (en) 2018-09-11 2022-06-08 Profoto Aktiebolag COMPUTER-IMPLEMENTED METHOD AND SYSTEM FOR COORDINATING THE CAPTURE OF AN IMAGE USING A CAMERA AND TRIGGERING A FLASH PULSE FROM AT LEAST ONE FLASH UNIT
EP3850424A4 (en) * 2018-09-11 2022-05-25 Profoto Aktiebolag METHOD, SOFTWARE PRODUCT, CAMERA DEVICE AND SYSTEM FOR DETERMINING ARTIFICIAL LIGHTING AND CAMERA SETTINGS
US11863866B2 (en) 2019-02-01 2024-01-02 Profoto Aktiebolag Housing for an intermediate signal transmission unit and an intermediate signal transmission unit
US10944914B1 (en) * 2019-12-02 2021-03-09 Samsung Electronics Co., Ltd. System and method for generating multi-exposure frames from single input
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
TW202223834A (zh) * 2020-08-28 2022-06-16 加拿大商光譜優化股份有限公司 神經嵌入之攝影機影像視訊處理管道及神經網路訓練系統
US11906895B2 (en) * 2020-10-06 2024-02-20 Mediatek Inc. Method and system for blending images captured under different strobe conditions
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
KR20220084578A (ko) * 2020-12-14 2022-06-21 에스케이하이닉스 주식회사 이미지 센싱 장치
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects
US20230237623A1 (en) * 2022-01-24 2023-07-27 Samsung Electronics Co., Ltd. System and method for noise reduction for blending blurred frames in a multi-frame system
JP2023168295A (ja) * 2022-05-11 2023-11-24 花王株式会社 評価装置、評価システム、評価方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124448A1 (ja) * 2004-06-18 2005-12-29 Fujinon Corporation カメラ
CN101889435A (zh) * 2007-12-21 2010-11-17 诺基亚公司 照相机闪光模块及其控制方法
CN107533275A (zh) * 2015-05-28 2018-01-02 英特尔公司 用于成像设备的空间上可调节的闪光

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
JP2003302570A (ja) * 2002-04-11 2003-10-24 Minolta Co Ltd デジタルカメラ
US7889275B2 (en) 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash
US6941067B2 (en) * 2003-05-21 2005-09-06 Nikon Corporation Camera and multiple flash photographing system
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US7944501B2 (en) * 2004-12-28 2011-05-17 Canon Kabushiki Kaisha Image sensing apparatus and image sensing apparatus control method
US7403707B2 (en) * 2005-07-28 2008-07-22 Mitsubishi Electric Research Laboratories, Inc. Method for estimating camera settings adaptively
US7454136B2 (en) * 2005-07-28 2008-11-18 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for acquiring HDR flash images
US7443443B2 (en) 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP2007228099A (ja) 2006-02-21 2007-09-06 Canon Inc 撮像装置
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
US20070263099A1 (en) * 2006-05-09 2007-11-15 Pixim Inc. Ambient Light Rejection In Digital Video Images
TWI314420B (en) 2006-05-15 2009-09-01 Asia Optical Co Inc Image extraction apparatus and flash control method for same
JP4747065B2 (ja) * 2006-09-29 2011-08-10 富士通株式会社 画像生成装置、画像生成方法および画像生成プログラム
US7697062B2 (en) 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP2008187317A (ja) * 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置およびその制御方法並びにプログラム
JP5096017B2 (ja) * 2007-02-15 2012-12-12 オリンパスイメージング株式会社 撮像装置
US8922672B2 (en) 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
US7962030B2 (en) 2008-09-22 2011-06-14 Nokia Corporation Flash thermal feedback for camera auto-exposure
TWI401522B (zh) * 2008-12-31 2013-07-11 Altek Corp Flash intensity adjustment method
US8441552B2 (en) * 2009-12-24 2013-05-14 Samsung Electronics Co., Ltd. Photographing apparatus with improved white balance correction and method and recording medium
JP2012119840A (ja) 2010-11-30 2012-06-21 Sanyo Electric Co Ltd 撮像装置
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
TWI459115B (zh) * 2012-04-20 2014-11-01 Altek Corp 閃光燈裝置
US9571818B2 (en) * 2012-06-07 2017-02-14 Nvidia Corporation Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device
US9154708B1 (en) * 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
JP6025470B2 (ja) 2012-09-13 2016-11-16 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6200151B2 (ja) 2012-12-26 2017-09-20 キヤノン株式会社 撮像装置および調光制御方法
US10477087B2 (en) * 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US9549129B2 (en) * 2013-10-04 2017-01-17 Nokia Technologies Oy Method and apparatus for obtaining image
US20150229819A1 (en) * 2014-02-12 2015-08-13 William G. Rivard System and method for generating a digital image
CN103986874A (zh) 2014-05-29 2014-08-13 宇龙计算机通信科技(深圳)有限公司 一种图像获取装置、图像获取方法及终端
JP6333095B2 (ja) 2014-07-09 2018-05-30 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
US9438809B2 (en) 2014-07-25 2016-09-06 Samsung Electronics Co., Ltd. Methodology for generating high fidelity digital zoom for mobile phone cameras
KR20160127606A (ko) 2015-04-27 2016-11-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6537385B2 (ja) * 2015-07-17 2019-07-03 日立オートモティブシステムズ株式会社 車載環境認識装置
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP2017211483A (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 フラッシュ装置および発光量制御方法
CN114449163A (zh) * 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10834329B2 (en) * 2017-06-02 2020-11-10 Apple Inc. Method and device for balancing foreground-background luminosity
US10554890B1 (en) * 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124448A1 (ja) * 2004-06-18 2005-12-29 Fujinon Corporation カメラ
CN101889435A (zh) * 2007-12-21 2010-11-17 诺基亚公司 照相机闪光模块及其控制方法
CN107533275A (zh) * 2015-05-28 2018-01-02 英特尔公司 用于成像设备的空间上可调节的闪光

Also Published As

Publication number Publication date
EP3899656A1 (en) 2021-10-27
US20200267299A1 (en) 2020-08-20
KR102691544B1 (ko) 2024-08-05
EP3899656A4 (en) 2022-01-26
CN113454530A (zh) 2021-09-28
US10742892B1 (en) 2020-08-11
KR20210118233A (ko) 2021-09-29
WO2020171305A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
CN113454530B (zh) 使用移动电子设备捕获和混合用于高质量闪光摄影的多个图像的装置和方法
CN113454981B (zh) 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术
CN110619593B (zh) 一种基于动态场景的双曝光视频成像系统
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US10074165B2 (en) Image composition device, image composition method, and recording medium
KR101698876B1 (ko) 고스트-프리 높은 동적 레인지 이미지들의 생성
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
JP4234195B2 (ja) 画像分割方法および画像分割システム
CN110033418B (zh) 图像处理方法、装置、存储介质及电子设备
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
US10554890B1 (en) Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
WO2016011889A1 (zh) 过曝拍摄方法及装置
CN111917994A (zh) 将使用不同曝光设置捕获的图像帧组合成混合图像的方法和装置
CN108668093A (zh) Hdr图像的生成方法及装置
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
US11640654B2 (en) Image processing method and apparatus
JP4359662B2 (ja) カラー画像の露出補正方法
WO2023110878A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models
CN113436106B (zh) 水下图像的增强方法、装置及计算机存储介质
WO2016151850A1 (ja) 撮像装置、信号処理装置、および肌診断システム
CN112949392B (zh) 图像处理方法及装置、存储介质、终端
US20240257324A1 (en) Machine learning segmentation-based tone mapping in high noise and high dynamic range environments or other environments
JP2013113911A (ja) 露出制御装置
CN117793541A (zh) 环境光线调节方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant