CN110651297B - 使用引导图像对合成的长曝光图像进行可选增强 - Google Patents

使用引导图像对合成的长曝光图像进行可选增强 Download PDF

Info

Publication number
CN110651297B
CN110651297B CN201880032176.1A CN201880032176A CN110651297B CN 110651297 B CN110651297 B CN 110651297B CN 201880032176 A CN201880032176 A CN 201880032176A CN 110651297 B CN110651297 B CN 110651297B
Authority
CN
China
Prior art keywords
image
target
pixel
guide
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880032176.1A
Other languages
English (en)
Other versions
CN110651297A (zh
Inventor
S·马里尼－梅斯
C·A·梅扎克
A·布拉德利
A·T·尼尔森
D·P·米歇尔
C·莫尔加德
J·克利文斯顿
R·范德莫维
Z·萨德格普尔科尔玛尼
F·巴卡伊
T·S·萨奇斯
P·休布尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110651297A publication Critical patent/CN110651297A/zh
Application granted granted Critical
Publication of CN110651297B publication Critical patent/CN110651297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

在各种具体实施中，本发明提供了一种方法，所述方法包括：获取多个源图像，稳定所述多个源图像以生成多个稳定图像，并对所述多个稳定图像进行平均以生成合成的长曝光图像。在各种具体实施中，稳定所述多个源图像包括：选择所述多个源图像中的一个用作参考帧；并且通过将透视变换应用于所述多个源图像中的其他图像，将所述多个源图像中的其他图像与所述参考帧配准。

Description

使用引导图像对合成的长曝光图像进行可选增强
相关申请
本专利申请要求2017年6月2日提交的名称为“Synthetic Long Exposure Imagewith Optional Enhancement Using a Guide Image”的美国临时专利申请62/514,226以及2017年5月16日提交的标题为“Target Image Quality Enhancement Using A GuideImage”的美国临时专利申请62/506,729的优先权，这些专利申请的全部内容以引用的方式并入本文。
技术领域
本公开整体涉及图像处理，并且具体地讲，涉及生成合成的长曝光图像并且可选地使用引导图像来增强合成的长曝光图像的质量。
背景技术
包括相机的电子设备可捕获图像序列。然而，在各种情况下，图像序列在空间和/或时间域中被压缩(其可包括缩减)以便有效地处理、存储或传输图像。在许多情况下，此压缩导致细节丢失、边缘模糊、块化伪影或以其他方式降低图像的质量。在许多情况下，压缩是有损和不可逆的。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1示出了测量场景的电子设备。
图2示出了在触敏显示器上显示连拍处理用户界面的图1的电子设备。
图3示出了响应于基于多个低质量图像生成合成的长曝光图像的图2的电子设备。
图4示出了响应于生成增强的合成的长曝光图像的图3的电子设备。
图5是根据一些具体实施生成合成的长曝光图像的方法的流程图表示。
图6示出了测量对象的图1的电子设备。
图7示出了在触敏显示器上显示连拍处理用户界面的图6的电子设备。
图8示出了响应于合并高质量图像和选择的低质量图像的图7的电子设备。
图9是根据一些具体实施使用引导图像增强目标图像的质量的方法的流程图表示。
图10是根据一些具体实施基于目标图像和引导图像生成增强的目标图像的方法的流程图表示。
图11示出了多级图像融合系统的功能框图。
图12示出了在触敏显示器上显示具有多个引导图像的增强用户界面的图1的电子设备。
图13A至图13C示出了将高质量图像与一个或多个选择的低质量图像合并的结果。
图14是根据一些具体实施的计算设备的框图。
根据惯例，图中所示的各种特征可不按比例绘制，因为为了清楚起见，各种特征的尺寸可被任意地放大或缩小。此外，附图可不示出由本说明书承认的给定系统、方法或装置的所有方面和/或变型。最后，使用类似的附图标号来表示整个附图中的类似特征。
具体实施方式
尽管图像可以以丢失信息的方式被压缩，但在一些情况下，可以使用具有至少部分相似内容的高质量图像(诸如未压缩图像)恢复低质量图像(诸如压缩图像)的一些丢失信息。
本文描述了用于将低质量、高上下文相关图像与高质量、低上下文相关图像合并以创建高质量、高上下文相关图像的方法和系统。例如，使用低质量图像序列来生成低质量的合成的长曝光图像。低质量的合成的长曝光图像可与高质量图像合并以生成高质量的合成的长曝光图像。又如，在其眼睛睁开时刻的对象的低质量图像可以与在其眼睛闭住时刻的对象的高质量图像合并，从而创建在其眼镜睁开时的高质量图像。又如，关键时刻的体育赛事的低质量图像(例如，篮球进入篮筐的绝杀球)可以与在关键时刻之前或之后一秒钟的高质量图像合并，以创建该关键时刻的高质量图像。
低质量图像和高质量图像可以多种方式获取。在一些实施方案中，响应于用户触发，图像捕获设备捕获高质量图像以及低质量图像序列，其中该低质量图像序列在拍摄该高质量图像之前某个时间段开始，并在拍摄高质量图像之后某个时间段结束。在另一个实施方案中，压缩视频流(例如，用于有效处理、存储或传输)，但不压缩周期性帧以允许恢复压缩中丢失的至少一些信息。
应当理解，如本文所用，术语“高”和“低”(例如，术语“高质量”、“高上下文相关”和“高分辨率”)并非指具体的阈值，而是指相对于彼此的关系。因此，“高分辨率”图像不需要大于特定数值的分辨率，但具有比相关“低分辨率”图像更高的分辨率。同样，如本文所用，术语“长”和“短”(例如，在术语“长曝光”中)并非指特定的阈值，而是指相对于彼此的关系。
图1示出了测量包括一些树(静态对象)和瀑布(动态对象)的场景10的电子设备100。电子设备100包括显示图像捕获应用程序的图形用户界面的触敏显示器101。电子设备100包括具有涵盖场景10的视野的相机(未示出)。
图形用户界面显示多个选项示能表示111-113、图像预览窗口120和捕获示能表示130。图像预览窗口120包括由相机的视野所涵盖的场景的实时图像。当选择捕获示能表示130时(例如，用户触摸触敏显示器101上的捕获示能表示130的位置)，电子设备100使用相机捕获(图像预览窗口120中描绘的场景的)图像。
图形用户界面显示可由用户使用以设置闪光灯设置的闪光灯示能表示111。当闪光灯设置被设置为“打开”时，当选择捕获示能表示130时，在触发相机的闪光灯时电子设备100捕获图像。当闪光灯设置被设置为“关闭”时，当选择捕获示能表示130而未触发闪光灯时，电子设备100捕获图像。当闪光灯设置被设置为“自动”时，当响应于检测到选择捕获示能表示130而捕获图像时，电子设备100确定是否触发闪光灯(例如，基于场景10的照明条件)。
图形用户界面显示定时器示能表示113，用户可使用该定时器示能表示以设定延迟周期，使得当选择捕获示能表示130时，电子设备100在延迟周期之后使用相机捕获图像。
图形用户界面显示连拍示能表示112，用户可用于进入(或退出)连拍照片模式。当在连拍照片模式中时，电子设备100使用相机连续捕获低质量图像序列，将最近一组图像保存在缓冲器中。在各种具体实施中，缓冲器包括大约1.5秒每秒大约15帧的图像。在各种具体实施中，缓冲器包括大约1.5秒每秒20、24或30帧的图像。响应于检测到选择捕获示能表示130，电子设备使用相机捕获高质量图像，并且使用相机捕获另一个低质量图像序列。在各种具体实施中，在选择捕获示能表示130之后捕获的低质量图像序列还包括大约1.5秒每秒15帧(或每秒20、24或30帧)的图像。电子设备100将低质量图像序列保存在缓冲器中，并且保存捕获的高质量图像和选择捕获示能表示130之后捕获的低质量图像序列。
因此，当在连拍照片模式时，响应于检测到选择捕获示能表示130，电子设备100保存多个低质量图像和单个高质量图像。在各种具体实施中，电子设备捕获(并保存)多个高质量图像，诸如在第二低质量图像序列之后捕获的附加高质量图像。
图2示出了在触敏显示器101上显示连拍处理用户界面的图1的电子设备100。应当理解，图2中(以及在后续的图中)所示的连拍处理用户界面是用于处理多个图像的用户界面的一个示例。在各种具体实施中，呈现不同的用户界面以生成合成的长曝光图像(或增强目标图像)。在各种具体实施中，通过电子设备100自动生成合成的长曝光图像，而不经由用户界面呈现选项。
在图2中，连拍处理用户界面包括高质量图像的表示210和各种低质量图像的表示221-226。如上所述，高质量图像和低质量图像可在连拍照片模式下获取。连拍处理用户界面包括长曝光示能表示231，该长曝光示能表示在被选择时基于低质量图像生成合成的长曝光图像。连拍处理用户界面还包括增强示能表示232，该增强示能表示在被选择时使用高质量图像作为引导，基于所选择的一个低质量图像生成增强的图像。
低质量图像的表示221-226示出了在不同时间点处的场景10。在表示221-226的每一个中，树(作为静态对象)基本上相似，而瀑布(作为动态对象)相对不同。在用户选择长曝光示能表示231(例如，在长曝光示能表示231的位置处触摸触敏显示器101)之后，电子设备100基于低质量图像生成合成的长曝光图像。
长曝光摄影是一种令人产生美感的创作方式，可以捕获包含运动的场景，尤其是像瀑布、河流、表面波和水体涟漪等的类流体现象。在长曝光图像中，动态对象不会像经历短曝光时间的图像一样随着时间出现冻结，而是被整合到柔顺的重现中，该重现仍保持运动的实质，但以更连续和梦幻的方式呈现。如下所述，合成的长曝光图像可由短曝光图像序列生成。
图3示出了响应于基于低质量图像生成合成的长曝光图像的图2的电子设备100。在电子设备100的触敏显示器101上显示的是低质量的合成的长曝光图像的表示310。还显示了保存示能表示331，用户可以使用该保存示能表示将生成的低质量的合成的长曝光图像保存在电子设备100的存储器中；以及增强示能表示332，用户可以使用该示能表示，使用高质量图像(图2中示出其表示210)作为引导图像，基于低质量的合成的长曝光图像生成增强的合成的长曝光图像。
图4示出了响应于生成增强的合成的长曝光图像的图3的电子设备100。在电子设备100的触敏显示器101上显示的是高质量的合成的长曝光图像的表示410。还显示了保存示能表示431，该保存示能表示可以由用户使用以将生成的高质量的合成的长曝光图像保存在电子设备100的存储器中。
图5是根据一些具体实施生成合成的长曝光图像的方法500的流程图表示。在一些具体实施中(并且如下面作为示例详细描述的)，方法500由电子设备诸如图1的电子设备100(或其一部分)执行。在一些具体实施中，方法500由处理逻辑部件包括硬件、固件、软件或其组合执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，方法500包括获取多个源图像、稳定图像，并且平均稳定图像。
方法500在框510处开始，其中电子设备获取多个源图像。在各种具体实施中，每个源图像具有第一分辨率，并且因此包括具有多个对应的源像素值的多个源像素。在各种具体实施中，源像素值的范围为0至255。在各种具体实施中，每个源像素与三个源像素值相关联，每个源像素值对应于颜色通道。在一些实施方案中，每个源图像包括大约1.5兆像素。
在各种具体实施中，获取多个源图像包括在处于连拍照片模式时检测对图像捕获用户界面的捕获示能表示的选择，并利用相机捕获多个源图像。在一些实施方案中，响应于检测到对捕获示能表示的选择，电子设备还利用相机捕获具有高于第一分辨率的第二分辨率的引导图像。
方法500在框520处继续，其中电子设备稳定多个源图像以生成多个稳定图像。在各种具体实施中，稳定多个源图像包括选择多个源图像中的一个作为参考帧，并且通过将透视变换应用于多个源图像中的其他源图像，将多个源图像中的其他源图像与该参考帧配准。
在各种具体实施中，配准多个源图像中的其他源图像包括在多个源图像上追踪、滤波和配准多个关键点。因此，在各种具体实施中，应用透视变换涉及例如基于关键点追踪应用非线性变换。通过将多个源图像中的每一个变换到公共坐标系中，当多个稳定图像显示于序列中时，该稳定有助于所得视频接近使用三角架上的相机捕获的场景的外观(例如，使用未移动相机)。
方法500在框530处继续，其中电子设备100对多个稳定图像进行平均以生成合成的长曝光图像。在各种具体实施中，对多个稳定图像进行平均包括针对多个稳定图像中的至少一个像素确定加权广义平均值。在各种具体实施中，针对多个像素、大多数像素或像素中的每一个来确定加权广义平均值。
在各种具体实施中，使用以下公式来计算加权广义平均值，其中M(i)是像素i的加权广义平均值，Ij(i)是N个稳定图像中的图像j的像素i的像素值，wj是图像j的权重，并且p是广义平均值指数：
Figure BDA0002274007790000061
在各种具体实施中，权重的总和等于1。在各种具体实施中，权重对于多个稳定图像中的每一个是恒定的(例如，1/N)。广义平均值指数的值对合成的长曝光图像的总体外观例如所强调的内容具有影响。在各种具体实施中，加权广义平均值的指数为1(例如，当在线性γ校正的色彩空间中操作时)或2(例如，当在sRGB空间中操作时)。当广义平均值指数具有较大的值(例如，在10和20之间)时，将强调各个稳定图像中亮像素的效应，从而生成称为“光轨迹”图像的长曝光变型。因此，在各种具体实施中，加权广义平均值的指数为1。在各种具体实施中，加权广义平均值的指数为2。在各种具体实施中，加权广义平均值的指数介于10和20之间。
由于多个源图像具有第一分辨率，多个稳定图像具有第一分辨率，并且合成的长曝光图像具有第一分辨率。如上所述，在各种具体实施中，获取多个源图像还包括获取具有高于源图像的第一分辨率的第二分辨率的引导图像。在各种具体实施中，使用引导图像来增强具有第一分辨率的合成的长曝光图像，以生成具有第二分辨率的增强的合成的长曝光图像。在各种具体实施中，使用引导图像至少部分地增强合成的长曝光图像，以具有介于第一分辨率和第二分辨率之间的分辨率。在各种具体实施中，此类增强部分地基于指示多个稳定图像的像素的像素变化水平的动态图。
因此，在一些实施方案中，方法500在框540处继续，其中电子设备生成指示多个稳定图像的像素的像素变化水平的动态图。在各种具体实施中，动态图指示合成的长曝光图像中的特定像素(或区域)与增加动态(更多运动)区域以及与降低动态(几乎无运动或无运动)区域的对应度，其中增加动态区域由浅灰色值指示(例如，接近1)，而降低动态区域由深灰色值指示(例如，接近0)。
在各种具体实施中，生成动态图包括使多个稳定图像中的每一个模糊以生成多个模糊稳定图像。在各种具体实施中，将高斯模糊应用于稳定图像中的每一个以生成模糊稳定图像。在一些情况下，诸如当稳定图像大约为1080p时，高斯模糊的标准偏差大约为3。
模糊稳定图像用于生成最大图像和最小图像。最大图像的每个像素的像素值为多个模糊稳定图像的对应(例如，在同一位置处)像素的像素值的最大值。类似地，最小图像的每个像素的像素值为多个模糊稳定图像的对应像素的像素值的最小值。
在各种具体实施中，最大图像的像素的像素值是颜色三元组，其具有等于多个模糊稳定图像的对应像素的最大红色像素值的红色值，等于多个模糊稳定图像的对应像素的最大绿色像素值的绿色值，以及等于多个模糊稳定图像的对应像素的最大蓝色像素值的蓝色值。类似地，在各种具体实施中，最小图像的像素的像素值是颜色三元组，其具有等于多个模糊稳定图像的对应像素的最小红色像素值的红色值，等于多个模糊稳定图像的对应像素的最小绿色像素值的绿色值，以及等于多个模糊稳定图像的对应像素的最小蓝色像素值的蓝色值。
最大图像和最小图像用于针对动态图的每个像素生成多个候选距离度量。每个候选距离度量指示最小图像的最大图像像素值的像素值之间的距离。
在各种具体实施中，对于动态图的特定像素，多个候选距离度量包括第一组候选距离度量，该第一组候选距离度量指示最大图像的对应特定像素的像素值与最小图像的对应特定像素周围的像素的邻域的像素值之间的距离。因此，对于3x3邻域，多个候选距离度量包括9个度量。在各种具体实施中，对于动态图的特定像素，多个候选距离度量包括第二组候选距离度量，该第二组候选距离度量指示最小图像的对应特定像素的像素值与最大图像的对应特定像素周围的像素的邻域的像素值之间的距离。因此，对于3x3邻域，多个候选距离度量包括9个度量。在各种具体实施中，对于动态图的特定像素，多个候选距离度量包括第一组候选距离度量和第二组候选距离度量。因此，对于3x3邻域，多个候选距离度量包括18个度量。
在各种具体实施中，对于动态图的特定像素，多个候选距离度量包括一组完整的候选距离度量，该组完整的候选距离度量指示最大图像的对应特定像素周围的像素的第一邻域的像素值与最小图像的对应特定像素周围的像素的第二邻域的像素值之间的距离。因此，对于3x3邻域，多个候选距离度量包括81个度量。
在各种具体实施中，对于彩色图像，候选距离度量是指示每种颜色之间的距离的颜色三元组。例如，在第一颜色三元组(R1,G1,B1)和第二颜色三元组(R2,G2,B2)之间，候选距离度量是颜色三元组(|R1–R2|,|G1–G2|,|B1–B2|)。
在各种具体实施中，对于彩色图像，候选距离度量是指示线性色彩空间中的距离的单个值。例如，在第一颜色三元组(R1,G1,B1)和第二颜色三元组(R2,G2,B2)之间，候选距离度量(Dn)根据
Figure BDA0002274007790000091
计算得来。
对于动态图的特定像素，基于多个候选距离度量来确定距离度量。在各种具体实施中，该距离度量是候选距离度量中选择的一个。例如，在各种具体实施中，该距离度量是候选距离度量中最小的。又如，在各种具体实施中，该距离度量是候选距离度量中第二小的。
在各种具体实施中，该距离度量是颜色三元组，每个颜色值基于多个候选距离度量的对应颜色值。在各种具体实施中，每个颜色值是多个候选距离度量的对应颜色值中选择的一个，诸如最小对应颜色值。
在各种具体实施中，距离度量被归一化。在一些实施方案中，距离度量归一化为0和1之间的单个值。例如，当距离度量是单个值时，将非线性逻辑挤压函数应用于距离度量，以生成归一化距离度量(以及动态图的特定像素的值)。挤压函数的一个示例是S形函数，其中D’是归一化距离度量，D是距离度量，g是增益常量，并且b是偏移常量：
Figure BDA0002274007790000092
作为另一示例，当距离度量是颜色三元组时，其中Dr是距离度量的红色值，Cr是红色归一化常量，Db是距离度量的蓝色值，Cb是蓝色归一化常量，Dg是距离度量的绿色值，并且Cg是绿色归一化常量的归一化函数是：
Figure BDA0002274007790000093
在各种具体实施中，红色归一化常量、蓝色归一化常量和绿色归一化常量相等。在各种具体实施中，红色归一化常量、蓝色归一化常量和绿色归一化常量不相等。例如，在各种具体实施中，绿色归一化常量大于红色归一化常量，红色归一化常量又大于蓝色归一化常量。在一个实施方案中，绿色归一化常量是红色归一化常量的大约三倍，红色归一化常量又是蓝色归一化常量的大约三倍。
方法500在框550处继续，其中电子设备基于合成的长曝光图像、引导图像和动态图生成增强的合成的长曝光图像。以下描述了增强图像的一个实施方案，其可应用于合成的长曝光图像或任何其他目标图像。
图6示出了测量对象11的图1的电子设备100。如图1所示，电子设备100包括显示图像捕获应用程序的图形用户界面的触敏显示器101。电子设备100包括具有涵盖对象11的视野的相机(未示出)。
如上所述，图形用户界面显示多个选项示能表示111-113、图像预览窗口120和捕获示能表示130。图像预览窗口120包括由相机的视野所涵盖的场景的实时图像。当选择捕获示能表示130时(例如，用户触摸触敏显示器101上的捕获示能表示130的位置)，电子设备100使用相机捕获(图像预览窗口120中描绘的场景的)图像。
如图1所示，图形用户界面显示连拍示能表示112，用户可用于进入(或退出)连拍照片模式。当在连拍照片模式中时，电子设备100使用相机连续捕获低质量图像序列，将最近一组图像保存在缓冲器中。在各种具体实施中，缓冲器包括大约1.5秒每秒大约15帧的图像。响应于检测到选择捕获示能表示130，电子设备使用相机捕获高质量图像，并且使用相机捕获另一个低质量图像序列。在各种具体实施中，在选择捕获示能表示130之后捕获的低质量图像序列还包括大约1.5秒每秒15帧的图像。电子设备100将低质量图像序列保存在缓冲器中，并且保存捕获的高质量图像和选择捕获示能表示130后捕获的低质量图像序列。因此，当在连拍照片模式时，响应于检测到选择捕获示能表示130，电子设备100保存多个低质量图像和单个高质量图像。在各种具体实施中，电子设备捕获(并保存)多个高质量图像，诸如在第二低质量图像序列之后捕获的附加高质量图像。
图7示出了在触敏显示器101上显示连拍处理用户界面的图6的电子设备100。连拍处理用户界面包括高质量图像的表示710和各种低质量图像的表示721-726。如上所述，高质量图像和低质量图像可在连拍照片模式下获取。如上所述，连拍处理用户界面包括长曝光示能表示231，该长曝光示能表示在被选择时基于低质量图像生成合成的长曝光图像。连拍处理用户界面还包括增强示能表示232，该增强示能表示在被选择时使用高质量图像作为引导，基于选择的一个低质量图像生成增强的图像。
低质量图像的表示721-726示出了在不同时间点处的场景。在第一低质量图像的表示721中，对象的眼睛处于闭上过程中。在第二低质量图像的表示722中，对象的眼睛完全闭上。类似地，在高质量图像的表示710中，对象的眼睛完全闭上。在第三低质量图像的表示723和第四低质量图像的表示724中，对象的眼睛处于睁开过程中。在第五低质量图像的表示725中，对象的眼睛是睁开的。在第六低质量图像的表示726中，对象的眼睛是睁开的，但对象已停止(或开始停止)微笑。因此，用户可选择第五低质量图像(例如，通过触摸触敏显示器101上的第五低质量图像的表示725)作为要增强的最上下文相关的图像。在一些实施方案中，在选择时，第五低质量图像的表示725指示其被选择。例如，在各种具体实施中(并且如图7所示)，表示725被突出显示，边缘带有辉光，或呈现具有覆盖的钩形符号。
在选择表示725并且用户选择增强示能表示232(例如，在增强示能表示232的位置处触摸触敏显示器101)之后，电子设备100合并高质量图像和所选择的低质量图像。
图8示出了响应于合并高质量图像和选择的低质量图像的图7的电子设备100。在电子设备100的触敏显示器101上显示的是睁开眼睛并微笑的对象的高质量图像的表示810。还显示了保存示能表示331，其可以由用户用来将生成的高质量图像保存在电子设备100的存储器中。
图9是根据一些具体实施使用引导图像增强目标图像的质量的方法900的流程图表示。在一些具体实施中(并且如下面作为示例详细描述的)，方法900由电子设备诸如图1的电子设备100(或其一部分)执行。在一些具体实施中，方法900由处理逻辑部件包括硬件、固件、软件或其组合执行。在一些具体实施中，方法900由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，方法900包括获取具有第一分辨率的目标图像和具有第二分辨率的引导图像，并且基于目标图像和引导图像生成增强的目标图像(具有第二分辨率)。
方法900在框910处开始，其中电子设备获取具有第一分辨率的目标图像。该目标图像包括具有多个对应的目标像素值的多个目标像素。在各种具体实施中，目标像素值的范围为0至255。在各种具体实施中，每个目标像素与三个目标像素值的颜色三元组相关联，每个目标像素值对应于颜色通道。在一些实施方案中，目标图像包括大约1.5兆像素。在各种具体实施中，获取目标图像包括如上文所述生成合成的长曝光图像，例如参照图4的框410-430。
方法900在框920处继续，其中电子设备获取具有第二分辨率(高于第一分辨率)的引导图像。该引导图像包括具有多个对应的引导像素值的多个引导像素。在一些实施方案中，引导图像包括大约12兆像素。
在各种具体实施中，目标图像和/或引导图像由电子设备的相机获取。例如，在各种具体实施中，方法900包括经由电子设备的输入设备检测捕获输入。在一些实施方案中，如上所述，捕获输入是在触敏显示器上显示的捕获示能表示的位置处的触摸。响应于检测到捕获输入，电子设备经由电子设备的相机捕获场景的高分辨率图像和场景的低分辨率图像序列。引导图像可以是高分辨率图像，并且目标图像可以是低分辨率图像中的一个。在一些实施方案中，获取目标图像和/或引导图像包括从存储器或经由网络检索图像。
在各种具体实施中，获取目标图像包括选择低分辨率图像中的一个成为目标图像。因此，在一些实施方案中，获取目标图像包括在电子设备的显示器上显示场景的低分辨率图像序列的一组潜在目标图像，并且经由电子设备的输入设备接收对来自该组潜在目标图像中的目标图像的选择。在一些实施方案中，显示器和输入设备被集成为触敏显示器。
在一些实施方案中，该组潜在目标图像(在显示器上示出)包括场景的所有低分辨率图像序列(例如，响应于检测到捕获输入而捕获的所有低分辨率图像)。在一些实施方案中，该组潜在目标图像是场景的低分辨率图像序列的适当子组。在一些实施方案中，该组潜在目标图像包括场景的低分辨率图像序列的下采样序列(例如，每隔一个图像、每隔两个图像、或每隔四个图像)。
在一些实施方案中，该组潜在目标图像包括低分辨率图像序列中可由高分辨率图像改善那些。例如，可通过引导图像和与目标图像(或放大的目标图像)相比较的结果来增强每个低分辨率图像序列。在增强的目标图像与放大的目标图像的差异超过阈值量的情况下，电子设备可以将目标图像显示为该组潜在目标图像中的一个。
在各种具体实施中，电子设备的相机捕获多色图像，每个图像包括多个颜色分量。在一些实施方案中，多色图像是包括红色分量、绿色分量和蓝色分量的RGB图像。在一些实施方案中，多色图像是包括亮度分量、第一色度分量和第二色度分量的YCbCr图像。作为值矩阵的每个分量是具有分辨率和带有对应像素值的多个像素的“图像”。因此，在各种具体实施中，目标图像和引导图像可各自是多色图像的颜色分量。相似地，在各种具体实施中，选择目标图像可以包括选择包括目标图像的多色图像作为其颜色分量。
方法900在框930处继续，电子设备基于目标图像和引导图像生成增强的目标图像(具有第二分辨率)。该增强的目标图像包括具有多个对应的增强的目标像素值的多个增强的目标像素。在各种具体实施中，诸如当目标图像是合成的长曝光图像时，电子设备基于目标图像、引导图像和动态图生成增强的目标图像。生成增强的目标图像的特定方法在下文相对于图10进行了描述。
在各种具体实施中，在框930之后，针对多色图像的每个分量重复方法900。所得到的增强的目标图像表示增强的多色图像的颜色分量。
在各种具体实施中，在框930之后，增强的目标图像被保存(例如，保存到电子设备的非暂态存储器中)、显示(例如，显示在电子设备的显示器上)和/或传输(例如，传输到可通信地耦合到电子设备的照片打印机)。
图10是根据一些具体实施的基于目标图像和引导图像生成增强的目标图像的方法1000的流程图表示。在一些具体实施中(并且如下面作为示例详细描述的)，方法1000由电子设备诸如图1的电子设备100(或其一部分)执行。在一些具体实施中，方法1000由处理逻辑部件包括硬件、固件、软件或其组合执行。在一些具体实施中，方法1000由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，方法1000包括基于目标图像的区域与引导图像的对应区域之间的相似性度量来确定增强的目标像素值。
方法1000在框1010处开始，其中电子设备将目标图像从第一分辨率放大到第二分辨率，以生成具有第二分辨率的放大的目标图像。该放大的目标图像包括多个放大的目标像素，该放大的目标像素具有多个对应的放大的目标像素值。
在各种情况下，尽管放大的目标图像具有与引导图像相同的分辨率(例如，第二分辨率)，但放大的目标图像的质量劣于引导图像的质量。具体地讲，放大目标图像不会增加目标图像的信息(例如，关于细节)、可由引导图像提供的信息的量。
方法1000在框1020中继续，其中电子设备确定相似性度量。在各种具体实施中，电子设备确定放大的目标图像的每个像素的相似性度量。然而，在一些具体实施中，电子设备确定小于放大的目标图像的所有像素的相似性度量。为了便于讨论，下面提供了确定单个特定放大的目标像素的相似性度量的示例。
对于特定放大的目标像素，相似性度量指示特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域的相似性。在许多情况下，对应的引导像素是在与放大的目标像素相同的位置处的引导像素。然而，在一些情况下，对应的引导像素不是在与放大的目标像素相同的位置处的引导像素。例如，在捕获过程中，相机(或对象)可以在捕获第一图像和第二图像之间移动。因此，作为示例，表示放大的目标图像中对象的眼睛的像素的邻域可以在位置i处，而表示引导图像中对象的眼睛的像素的邻域可以在位置i+Δi处。因此，在各种具体实施中，确定相似性度量包括确定对应的引导像素，例如哪个引导像素是对应的引导像素。此类确定可使用光流算法或全局对准算法来执行，以如在放大的目标图像与引导图像之间生成针对每个放大的目标像素指示对应的引导像素的对准图。
在各种具体实施中，可确定各种相似性度量。尽管下面提供了一些示例，但在方法1000中可以使用其他相似性度量。在一些实施方案中，相似性度量是归一化互相关性(NCC)。因此，确定特定放大的目标像素的相似性度量包括确定特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域之间的归一化互相关性。
对于位置i处的放大的目标像素值为IT(i)的放大的目标像素，放大的目标像素的中心值(表示为JT(i))可通过从放大的目标像素值减去放大的目标像素周围的像素的邻域的像素值的平均值(表示为R+i)来确定。因此，
Figure BDA0002274007790000151
在各种具体实施中，邻域是围绕像素的7x7正方形。在其他具体实施中，邻域是3×3正方形、5×5正方形或非正方形形状。
放大的目标像素在位置i+Δi处具有对应的引导像素，该引导像素具有IG(i+Δi)的引导像素值。对应的引导像素的中心值(表示为JG(i))可通过从对应的引导像素值减去对应的引导像素周围的像素的邻域的像素值的平均值(表示为R+i+Δi)来确定。因此，JG(i)＝IG(i+Δi)-∑j∈R+i+ΔiIG(j)。
最后，归一化互相关性(NCC)可如下确定：
Figure BDA0002274007790000152
在各种具体实施中，使用除归一化互相关性之外的相似性度量。此类实施方案可使用比确定归一化互相关性更少的处理能力。在一些实施方案中，相似性度量是绝对差值。因此，确定特定放大的目标像素的相似性度量包括确定特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域之间的绝对差值。
例如，绝对差值可如下确定：
AD(i)＝∑j∈R+i|IT(j)-IG(j+Δi)|。
在一些实施方案中，相似性度量是距离。因此，确定特定放大的目标像素的相似性度量包括确定特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域之间的距离。
例如，距离可如下确定：
Figure BDA0002274007790000153
在一些实施方案中，相似性度量基于启发法。例如，相似性度量可以是放大的目标像素周围的邻域中的像素值与对应的引导像素周围的对应像素相差小于阈值量的数量的计数。
在各种具体实施中，相似性度量对于局部而平滑的强度变化是不变的。例如，NCC对于局部而平滑的强度变化是不变的。对于其中放大的目标图像与引导图像共享相同内容的像素块，可以推测两个图像之间的关系(至少在像素块内)是IG＝αIT+β。一些相似性度量诸如NCC对于α和β是不变的。
在各种具体实施中，高分辨率图像的每个像素的相似性度量的计算计算量很大。因此，在一些实施方案中，使用多尺度方案确定每个像素的相似性度量。作为初始步骤，确定第一频带中每个像素的相似性度量(例如，以第一比例)。例如，在各种具体实施中，确定每个4×4块中的一个像素的相似性度量。对于其中相似性度量不在值的模糊距离内的块，针对该块中的每个像素使用一个像素的相似性度量，无需对该块进行进一步的计算。在其中相似性度量为NCC的实施方案中，值的模糊距离可以在0与大约1(例如，0.99)之间。因此，如果相似性度量小于零，则可以假设因为放大的目标图像的邻域与像素周围的引导图像如此不相似，所以无需精确的计算，相邻像素周围的邻域也将不相似。如果相似性度量大于约1，则可以假设因为放大的目标图像的邻域与像素周围的引导图像如此相似，所以无需精确的计算，相邻像素周围的邻域也将非常相似。对于其中相似性度量在模糊距离内的块，确定第二频带中的相似性度量(例如，以第二比例)。例如，在各种具体实施中，确定4×4块的每个2×2块中的一个像素的相似性度量。再次，对于其中相似性度量不在模糊距离内的块，相似性度量被用于块中的每个像素，并且对于其中相似性度量在模糊距离内的块，确定第三频带中的相似性度量(例如，通过确定2×2块中的每个像素的相似性度量)。
因此，在各种具体实施中，确定相似性度量包括确定指示第一频带中的特定放大的目标像素周围的像素的邻域与第一频带中的对应的引导像素周围的像素的邻域的相似性的第一相似性度量，并且响应于确定第一相似性度量在值的模糊距离内，确定指示第二频带中的特定放大的目标像素周围的像素的邻域与第二频带中的对应的引导像素周围的像素的邻域的相似性的第二相似性度量。
该方法在框1030处继续，其中电子设备基于相似性度量来确定增强的目标像素值。如上所述，在各种具体实施中，电子设备确定放大的目标图像的每个像素的相似性度量。类似地，在各种具体实施中，电子设备确定放大的目标图像的每个像素的增强的目标像素值(从而生成增强的目标图像)。然而，在一些具体实施中，电子设备确定小于放大的目标图像的所有像素的相似性度量，并且类似地，电子设备确定小于放大的目标图像的所有像素的增强的目标像素值(基于相似性度量)。在此类情况下，增强的目标图像的像素的默认像素值可以是像素的放大的目标像素值。为了便于讨论，下面提供了基于单个特定放大的目标像素的相似性度量来确定增强的目标像素值的示例。
在各种具体实施中，增强的目标像素值是放大的目标像素值与引导像素值的加权和。因此，在各种具体实施中，确定增强的目标像素值包括确定特定放大的目标像素的对应放大的目标像素值与对应的引导像素的对应引导像素值的加权和，该和通过相似性度量的函数进行加权。因此，在各种具体实施中，其中像素位置i处的权重表示为w(i)，增强的目标像素值(表示为IE(i))可如下确定：
IE(i)＝w(i)×IG(i+Δi)+(1-w(i))×IT(i)。
在各种具体实施中，权重是归一化互相关性的非负部分(表示为NCC+)。归一化互相关性的非负部分在归一化互相关性为正时等于归一化互相关性，否则等于零。因此，在各种具体实施中，
Figure BDA0002274007790000171
在各种具体实施中，诸如当目标图像是合成的长曝光图像时，权重基于相似性度量和动态图。在各种具体实施中，动态图被滤波以生成滤波后的动态图。在各种具体实施中，通过应用使用放大的目标图像(例如，放大的合成的长曝光图像)的联合双边滤波器(也被称为交叉双边滤波器)来引导动态图的滤波，从而将活动图进行平滑滤波。如果图中的小错误区域被正确的值包围，并且考虑到放大的目标图像的边缘，平滑滤波则会纠正这些小错误区域。
在各种具体实施中，权重是(1)归一化互相关性的第一S形函数和(2)一减去滤波动态图的第二S形函数的乘积。因此，在各种具体实施中，其中S1和S2是两个S形函数，它们控制NCC和滤波后的动态图对权重的影响，并且D'F是滤波后的动态图，
w(i)＝S1(NCC(i))×(1-S2(D′F(i)))。
在各种具体实施中，使用除加权和之外的方法基于相似性度量(以及可选的动态图)来确定增强的目标像素值。例如，在一些实施方案中，基于超过阈值的相似性度量，选择增强的目标像素值作为引导像素值，或者基于未能超过阈值的相似性度量，作为放大的目标像素值。
在各种具体实施中，放大的目标图像、引导图像和增强的目标图像包含相应的高频分量和低频分量。因此，在各种具体实施中，增强的目标图像的低频分量仅仅是目标图像的低频分量，并且增强的目标图像的高频分量是目标图像的高频分量和引导图像的高频分量的组合(例如，加权和)。因此，在其中增强的目标像素值基于放大的目标像素值和引导像素值的各种具体实施中，应当理解，这包括这样的方法，其中增强的目标图像的高频分量的对应像素值基于放大的目标图像的高频分量的对应像素值以及引导图像的高频分量的对应像素值，例如其中“目标图像”、“引导图像”和/或“增强的目标图像”是图像的频率分量。
在各种具体实施中，基于引导图像增强目标图像是以多个分辨率在多个阶段中执行的。这种多级方法在各种情况下具有许多优点。在各种情况下，多级融合减少了执行增强所需的计算量。在各种情况下，多级融合捕获各种大小或各种细节水平的相似性。
图11示出了多级图像融合系统1100的功能框图。多级图像融合系统1100接收具有第一分辨率的第一图像和具有第二(更高)分辨率的第二图像作为输入。多级图像融合系统以第二分辨率输出具有第一图像的内容的增强的图像。
在第一阶段中，多级图像融合系统1100将第一图像放大到第一中间分辨率，并将第二图像缩减到第一中间分辨率。处于第一中间分辨率的两个图像通过第一融合块1110融合以形成第一融合图像。因此，应用图9和图10的术语，第一图像对应于目标图像，处于第一中间分辨率的缩减的第二图像对应于引导图像，并且第一融合图像对应于增强的目标图像。因此，遵循图9和图10中所述的步骤，通过放大第一图像(到第一中间分辨率)并确定相似性度量和基于相似性度量的第一融合像素值来生成第一融合图像。
在第二阶段中，多级图像融合系统1100将第一融合图像放大到第二中间分辨率，并将第二图像缩减到第二中间分辨率。处于第二中间分辨率的两个图像通过第二融合块1120融合以形成第二融合图像。因此，再次应用图9和图10的术语，第一融合图像对应于目标图像，处于第二中间分辨率的缩减的第二图像对应于引导图像，并且第二融合图像对应于增强的目标图像。因此，遵循图9和图10中所述的步骤，通过放大第一融合图像(到第二中间分辨率)并确定相似性度量和基于相似性度量的第二融合像素值来生成第二融合图像。
在第三阶段中，多级图像融合系统1100将第二融合图像放大到第二分辨率。处于第二分辨率的两个图像(放大的第二融合图像和未改变的第二图像)由第三融合块1130融合以形成增强的图像。因此，再次应用图9和图10的术语，第二融合图像对应于目标图像，第二图像对应于引导图像，并且增强的图像对应于增强的目标图像。因此，遵循图9和图10中所述的步骤，通过放大第二融合图像(到第二分辨率)并确定相似性度量和基于相似性度量的增强的像素值来生成增强的图像。
因此，在各种具体实施中，基于目标图像和引导图像生成增强的目标图像(如相对于图9的框930所述)包括将引导图像从初始引导图像分辨率缩减到多个中间分辨率。如相对于图11所述，多级图像融合系统1100将第二图像从第二分辨率缩减到第一中间分辨率和第二中间分辨率。此外，生成增强的目标图像还包括以多个中间分辨率基于引导图像和目标图像生成中间融合图像。如相对于图11所述，多级图像融合系统1100生成第一融合图像和第二融合图像。
在各种具体实施中，获取引导图像(如相对于图9的框920所述)包括缩减具有第三分辨率(高于第二分辨率)并且包括多个预引导像素的预引导图像，多个预引导像素具有对应的预引导像素值。例如，在图11的第一阶段中，引导图像是第二图像的缩减型式，目标图像是第一图像，并且增强的目标图像是第一融合图像。电子设备(例如，在第二和/或后续阶段中)基于增强的目标图像(例如，第一融合图像)和预引导图像生成进一步增强的目标图像(例如，第二融合图像或最终增强的图像)。
在各种具体实施中，获取目标图像(如相对于图9的框910所述)包括基于预目标图像和引导图像生成目标图像。例如，在图6的第三阶段中，目标图像是第二融合图像(基于第一融合图像并且间接地基于第一图像的预目标图像)，引导图像是第二图像，并且增强的目标图像是增强的图像。
在各种具体实施中，使用多个引导图像来增强目标图像。图12示出了在触敏显示器101上显示具有多个引导图像的增强用户界面的图1的电子设备100。增强用户界面包括第一高质量图像的表示1211、第二高质量图像的表示1212以及各种低质量图像的表示721-726。增强用户界面还包括增强示能表示231，该增强示能表示在被选择时使用高质量图像作为引导，增强低质量图像中选择的一个低质量图像。
在各种具体实施中，增强用户界面仅显示高质量图像中的一个(例如，当用户选择捕获示能表示时捕获的高质量)，但在选择增强示能表示231时执行的算法使用多个高质量图像增强所选择的低质量图像。
低质量图像的表示721-726示出了在不同时间点处的场景。在第一低质量图像的表示721中，对象的眼睛处于闭上过程中。在第二低质量图像的表示722中，对象的眼睛完全闭上。类似地，在第一高质量图像的表示1211中，对象的眼睛完全闭上。在第三低质量图像的表示723和第四低质量图像的表示724中，对象的眼睛处于睁开过程中。在第五低质量图像的表示725中，对象的眼睛是睁开的。在第六低质量图像的表示726中，对象的眼睛是睁开的，但对象已停止(或开始停止)微笑。类似地，在第二高质量图像的表示1212中，对象已停止微笑。
因此，用户可选择第五低质量图像(例如，通过触摸触敏显示器101上的第五低质量图像的表示725)作为要增强的最上下文相关的图像。在一些实施方案中，在选择时，第五低质量图像的表示725指示其被选择。例如，在各种具体实施中(并且如图7所示)，表示725被突出显示，边缘带有辉光，或呈现具有覆盖的钩形符号。
在选择表示725并且用户选择增强示能表示231(例如，在增强示能表示231的位置处触摸触敏显示器101)之后，电子设备100合并高质量图像和所选择的低质量图像。
图13A至图13C示出了将高质量图像与一个或多个选择的低质量图像合并的结果。在图13A至图13C中，质量(例如，细节水平)通过阴影表示，其中高质量图像(或其部分)被表示为无阴影，并且低质量图像(及其部分)以阴影表示。
图13A示出了当低质量图像1320(图12所示的表示725)与第一高质量图像1311(图12所示的表示1211)合并时，所得到的图像1331通常是高质量的，对象眼睛周围的区域1341除外。具体地讲，在睁开眼睛的对象的区域1341中生成高水平细节所需的信息不存在于低质量图像1320或第一高质量图像1311中，因此不能导入到所得到的图像1331中。
图13B示出了当低质量图像1320与第二高质量图像1312(图12所示的表示1212)合并时，所得到的图像1332通常是高质量的，对象嘴部周围的区域1342除外。具体地讲，在微笑的对象的区域1342中生成高水平细节所需的信息不存在于低质量图像1320或第二高质量图像1312中，因此不能导入到所得到的图像1332中。
图13C示出了当低质量图像1320与第一高质量图像1311和第二高质量图像1312二者合并时，所得到的图像1333在所有区域中都是高质量的。在对象的眼睛的区域1341中生成高水平细节所需的信息存在于第二高质量图像1312中，并且在对象的嘴部的区域1342中生成高水平细节所需的信息存在于第一高质量图像1311中。
因此，在各种具体实施中，除了获取具有第一分辨率的目标图像(如图9的框910所述)和获取具有第二分辨率的引导图像(如图9的框920所述)之外，电子设备还获取第二引导图像，该第二引导图像具有第二分辨率并且包括具有对应的第二引导像素值的多个第二引导像素。电子设备基于目标图像和引导图像(如图9的框930所述)并且进一步基于第二引导图像来生成增强的目标图像。为此，除了针对特定放大的目标像素确定相似性度量(如图10的框1020所述)之外，电子设备还针对特定放大的目标像素确定第二相似性度量，该第二相似性度量指示该特定放大的目标像素周围的像素的邻域与对应的第二引导像素周围的像素的邻域的相似性。此外，电子设备基于相似性度量(如图10的框1030所述)并且进一步基于第二相似性度量来确定增强的目标像素值。
使用多个相似性度量确定增强的目标像素值可以任意种方式执行。在一些实施方案中，增强的目标像素值进一步基于引导图像和第二引导图像的锐度。因此，在各种具体实施中，确定增强的目标像素值进一步基于对应的引导像素周围的像素的邻域的锐度以及对应的第二引导像素周围的像素的邻域的锐度。
在一些实施方案中，增强的目标像素值基于放大的目标像素值以及对应的引导像素值中的仅一个引导像素值(例如，具有最大相似性度量、最大锐度或它们的一些组合的引导图像的对应的引导像素值)。在一些实施方案中，增强的目标像素值基于放大的目标像素值和多个对应的引导像素值(以及可能的多个锐度量度)。
例如，在一个实施方案中，增强的目标像素值是由相应NCC的非负部分和锐度度量加权的放大的目标像素值、对应的引导像素值和对应的第二引导像素值的加权和(表示为P)。
因此，在各种具体实施中，增强的目标像素值可如下确定：
Figure BDA0002274007790000221
图14是根据一些具体实施的计算设备1400的框图。在一些具体实施中，计算设备1400对应于图1的电子设备100的至少一部分，并且执行上文相对于电子设备所述的功能中的一个或多个功能。尽管示出了某些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的实施方案的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些实施方案中，计算设备1400包括一个或多个处理单元(CPU)1402(例如，处理器)、一个或多个输入/输出接口1403(例如，网络接口和/或传感器接口)、存储器1406、编程接口1409以及用于互连这些和各种其他部件的一个或多个通信总线1404。
在一些具体实施中，通信总线1404包括互连并控制系统部件之间的通信的电路。存储器1406包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且在一些具体实施中，包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器1406可选地包括远离一个或多个CPU 1402定位的一个或多个存储设备。存储器1406包括非暂态计算机可读存储介质。此外，在一些具体实施中，存储器1406或存储器1406的非暂态计算机可读存储介质存储以下程序、模块和数据结构或其子组，包括可选操作系统1430和图像增强模块1440。在一些具体实施中，一个或多个指令包括在逻辑部件和非暂态存储器的组合中。操作系统1430包括用于处理各种基础系统服务的过程和用于执行硬件相关任务的过程。在一些具体实施中，图像增强模块1440被配置为使用引导图像增强目标图像。为此，图像增强模块1440包括图像获取模块1441、图像融合模块1442、相似性模块1443和组合模块1444。
在一些具体实施中，图像获取模块1441被配置为获取具有第一分辨率并且包括具有多个对应的目标像素值的多个目标像素的目标图像，并且被配置为获取具有第二分辨率并且包括具有多个对应的引导像素值的多个引导像素的引导图像。在一些实施方案中，图像获取模块1441被配置为通过获取多个源图像来生成合成的长曝光图像，稳定多个源图像以生成多个稳定图像，并且对多个稳定图像进行平均以生成合成的长曝光图像。为此，图像获取模块1441包括一组指令1441a以及启发法和元数据1441b。
在一些具体实施中，图像融合模块1442被配置为基于目标图像和引导图像生成增强的目标图像，该增强的目标图像具有第二分辨率并且包括具有多个对应的增强的目标像素值的多个增强的目标像素。为此，图像融合模块1442包括一组指令1442a以及启发法和元数据1442b。在一些具体实施中，在生成增强的目标图像时，图像融合模块1442被配置为将目标图像从第一分辨率放大到第二分辨率以生成放大的目标图像，该放大的目标图像具有第二分辨率并且包括具有多个对应的放大的目标像素值的多个放大的目标像素。在各种实施方案中，图像融合模块1442调用相似性模块1443和组合模块1444。在一些具体实施中，相似性模块1443被配置为针对多个放大的目标像素中的特定放大的目标像素确定相似性度量，其中相似性度量指示特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域的相似性。为此，相似性模块1443包括一组指令1443a以及启发法和元数据1443b。在一些具体实施中，组合模块1444被配置为基于相似性度量针对特定放大的目标像素确定增强的目标像素值。为此，组合模块1444包括一组指令1444a以及启发法和元数据1444b。
虽然图像增强模块1440、图像获取模块1441、图像融合模块1442、相似性模块1443和组合模块1444被示出为驻留在单个计算设备1400上，但应当理解，在其他实施方案中，图像增强模块1440、图像获取模块1441、图像融合模块1442、相似性模块1443和组合模块1444的任何组合可在各种具体实施中驻留在独立的计算设备中。例如，在一些具体实施中，图像增强模块1440、图像获取模块1441、图像融合模块1442、相似性模块1443和组合模块1444中的每一个驻留在独立的计算设备上或云中。
此外，图14更多地用作存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图14中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且可部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
本公开描述了各种特征部，其中没有一个特征部能够单独实现本文所述的益处。应当理解，本文所述的各种特征部可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。
本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可以体现在此类程序指令中，但也可另选地在计算机系统的专用电路(例如，ASIC或FPGA或GP-GPU)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可以但不一定协同定位。所公开的方法和任务的结果可通过将诸如固态存储器芯片和/或磁盘的物理存储设备转换为不同的状态来持久地存储。
本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述的方法和系统，并且上述各种实施方案的元素和动作可被组合以提供进一步的实施方案。因此，本文所述的新颖的方法和系统可以各种其他形式来体现；此外，在不脱离本公开的实质的情况下，可对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。

Claims (20)

1.一种方法，包括：
获取具有第一分辨率并且包括多个目标像素的目标图像，所述多个目标像素具有多个对应的目标像素值；
获取具有第二分辨率并且包括多个引导像素的引导图像，所述多个引导像素具有多个对应的引导像素值；以及
基于所述目标图像和所述引导图像生成增强的目标图像，所述增强的目标图像具有所述第二分辨率并且包括多个增强的目标像素，所述多个增强的目标像素具有多个对应的增强的目标像素值，其中生成所述增强的目标图像包括：
将所述目标图像从所述第一分辨率放大到所述第二分辨率，以生成具有所述第二分辨率并且包括多个放大的目标像素的放大的目标图像，所述多个放大的目标像素具有多个对应的放大的目标像素值；
针对所述多个放大的目标像素中的特定放大的目标像素确定相似性度量，其中所述相似性度量指示所述特定放大的目标像素周围的像素的邻域与对应的引导像素周围的像素的邻域的相似性；以及
针对所述特定放大的目标像素，基于所述相似性度量确定增强的目标像素值。
2.根据权利要求1所述的方法，其中确定所述相似性度量包括确定所述特定放大的目标像素周围的所述像素的邻域与所述对应的引导像素周围的所述像素的邻域之间的归一化互相关性(NCC)。
3.根据权利要求2所述的方法，其中确定所述增强的目标像素值包括确定所述特定放大的目标像素的所述对应的放大的目标像素值与所述对应的引导像素的所述对应的引导像素值的加权和，所述和由所述NCC的非负部分加权得来。
4.根据权利要求1所述的方法，其中确定所述相似性度量包括：
确定第一相似性度量，所述第一相似性度量指示第一频带中所述特定放大的目标像素周围的像素的邻域与所述第一频带中对应的引导像素周围的像素的邻域的相似性；以及
响应于确定所述第一相似性度量在值的模糊距离内，确定第二相似性度量，所述第二相似性度量指示第二频带中所述特定放大的目标像素周围的像素的邻域与所述第二频带中对应的引导像素周围的像素的邻域的相似性。
5.根据权利要求1所述的方法，其中基于所述目标图像和所述引导图像来生成增强的目标图像包括：
将所述引导图像从初始引导图像分辨率缩减到多个中间分辨率；以及
基于所述引导图像和所述目标图像以所述多个中间分辨率生成中间融合图像。
6.根据权利要求1所述的方法，其中获取所述引导图像包括缩减具有第三分辨率并且包括多个预引导像素的预引导图像，所述多个预引导像素具有对应的预引导像素值，所述方法还包括基于所述增强的目标图像和所述预引导图像生成进一步增强的目标图像，所述进一步增强的目标图像具有所述第三分辨率并且包括多个进一步增强的目标像素，所述多个进一步增强的目标像素具有多个对应的进一步增强的目标像素值。
7.根据权利要求1所述的方法，其中获取所述目标图像包括基于预目标图像和所述引导图像生成所述目标图像，其中生成所述目标图像包括：
将所述引导图像从所述第二分辨率缩减到所述第一分辨率，以生成具有所述第一分辨率并且包括多个预引导像素的预引导图像，所述多个预引导像素具有多个对应的预引导像素值；
将所述预目标图像从第三分辨率放大到所述第一分辨率，以生成具有所述第一分辨率并且包括多个放大的预目标像素的放大的预目标图像，所述多个放大的预目标像素具有多个对应的放大的预目标像素值；
针对所述多个放大的预目标像素中的特定放大的预目标像素确定相似性度量，其中所述相似性度量指示所述特定放大的预目标像素周围的像素的邻域与对应的预引导像素周围的像素的邻域的相似性；以及
针对所述特定放大的预目标像素，基于所述相似性度量确定目标像素值。
8.根据权利要求1所述的方法，还包括获取具有所述第二分辨率并且包括多个第二引导像素的第二引导图像，所述多个第二引导像素具有多个对应的第二引导像素值，其中生成所述增强的目标图像进一步基于所述第二引导图像，其中生成所述增强的目标图像进一步包括针对所述特定放大的目标像素确定第二相似性度量，其中所述第二相似性度量指示所述特定放大的目标像素周围的所述像素的邻域与对应的第二引导像素周围的像素的邻域的相似性，并且其中确定所述增强的目标像素值进一步基于所述第二相似性度量。
9.根据权利要求8所述的方法，其中所述确定所述增强的目标像素值进一步基于所述对应的引导像素周围的所述像素的邻域的锐度以及所述对应的第二引导像素周围的所述像素的邻域的锐度。
10.根据权利要求1所述的方法，还包括：
经由电子设备的输入设备检测捕获输入；以及
响应于检测到所述捕获输入，经由所述电子设备的相机捕获场景的高分辨率图像和所述场景的低分辨率图像序列。
11.根据权利要求10所述的方法，其中获取所述目标图像包括：
在显示器上显示所述场景的所述低分辨率图像序列的一组潜在目标图像；以及
经由输入设备接收对来自所述组潜在目标图像的所述目标图像的选择。
12.根据权利要求11所述的方法，其中所述组潜在目标图像包括所述场景的所有所述低分辨率图像序列。
13.根据权利要求11所述的方法，其中所述组潜在目标图像包括所述场景的所述低分辨率图像序列的下采样序列。
14.根据权利要求11所述的方法，其中所述组潜在目标图像包括所述低分辨率图像序列中能够由所述高分辨率图像改善的那些。
15.根据权利要求11所述的方法，其中所述目标图像是多色图像的颜色分量，并且对所述目标图像的选择包括对所述多色图像的选择。
16.根据权利要求1所述的方法，其中确定所述相似性度量还包括确定所述对应的引导像素。
17.根据权利要求16所述的方法，其中所述对应的引导像素不处于与所述特定放大的目标像素相同的位置处。
18.根据权利要求16所述的方法，其中确定所述对应的引导像素包括如在所述放大的目标图像和所述引导图像之间生成对准图。
19.一种电子设备，包括：
一个或多个处理器；
非暂态存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行或导致执行根据权利要求1至18所述的方法中的任一种方法的指令。
20.一种存储一个或多个程序的非暂态计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由电子设备执行时使得所述电子设备执行或导致执行根据权利要求1至18所述的方法中的任一种方法。
CN201880032176.1A 2017-05-16 2018-05-12 使用引导图像对合成的长曝光图像进行可选增强 Active CN110651297B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762506729P 2017-05-16 2017-05-16
US62/506,729 2017-05-16
US201762514226P 2017-06-02 2017-06-02
US62/514,226 2017-06-02
PCT/US2018/032482 WO2018213149A1 (en) 2017-05-16 2018-05-12 Synthetic long exposure image with optional enhancement using a guide image

Publications (2)

Publication Number Publication Date
CN110651297A CN110651297A (zh) 2020-01-03
CN110651297B true CN110651297B (zh) 2022-11-11

Family

ID=62683408

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880032176.1A Active CN110651297B (zh) 2017-05-16 2018-05-12 使用引导图像对合成的长曝光图像进行可选增强
CN201810468034.1A Active CN108876753B (zh) 2017-05-16 2018-05-16 使用引导图像对合成长曝光图像进行可选增强

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810468034.1A Active CN108876753B (zh) 2017-05-16 2018-05-16 使用引导图像对合成长曝光图像进行可选增强

Country Status (4)

Country Link
US (1) US10715727B2 (zh)
EP (1) EP3610453B1 (zh)
CN (2) CN110651297B (zh)
WO (1) WO2018213149A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN109379625B (zh) * 2018-11-27 2020-05-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
CN113170037B (zh) * 2018-12-06 2023-08-22 华为技术有限公司 一种拍摄长曝光图像的方法和电子设备
CN110278374B (zh) * 2019-06-27 2021-02-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
US11223796B1 (en) * 2020-06-25 2022-01-11 Amazon Technologies, Inc. Low resolution processing of high resolution video in support of video-based computing services
CN111899178B (zh) * 2020-08-18 2021-04-16 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
US11776141B1 (en) * 2020-09-22 2023-10-03 Apple Inc. Hybrid image registration techniques
WO2022103429A1 (en) * 2020-11-12 2022-05-19 Innopeak Technology, Inc. Image fusion with base-detail decomposition and flexible color and details adjustment
CN116258700B (zh) * 2023-02-28 2024-04-26 南京索图科技有限公司 一种内窥镜冻结状态检测的方法
CN117079197B (zh) * 2023-10-18 2024-03-05 山东诚祥建设集团股份有限公司 一种智慧工地管理方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US8169484B2 (en) * 2005-07-05 2012-05-01 Shai Silberstein Photography-specific digital camera apparatus and methods useful in conjunction therewith
KR101134668B1 (ko) * 2007-10-15 2012-04-09 니폰덴신뎅와 가부시키가이샤 화상 생성 방법, 장치 및 그 프로그램과 프로그램을 기록한 기록매체
JP5077003B2 (ja) * 2008-03-25 2012-11-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
EP2291822A1 (en) * 2008-05-21 2011-03-09 Koninklijke Philips Electronics N.V. Image resolution enhancement
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
TWI468009B (zh) * 2010-08-23 2015-01-01 Red Com Inc 高動態範圍視頻
JP5837572B2 (ja) * 2011-03-28 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
US8705828B2 (en) * 2011-08-31 2014-04-22 Carestream Health, Inc. Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction
CN103136766B (zh) * 2012-12-28 2015-10-14 上海交通大学 一种基于颜色对比和颜色分布的物体显著性检测方法
US9262684B2 (en) * 2013-06-06 2016-02-16 Apple Inc. Methods of image fusion for image stabilization
US9491360B2 (en) * 2013-06-06 2016-11-08 Apple Inc. Reference frame selection for still image stabilization
JP5847228B2 (ja) * 2014-04-16 2016-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2015177845A1 (ja) 2014-05-19 2015-11-26 株式会社島津製作所 画像処理装置
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9836831B1 (en) * 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
US20160205291A1 (en) * 2015-01-09 2016-07-14 PathPartner Technology Consulting Pvt. Ltd. System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
EP3326148A1 (en) * 2015-07-24 2018-05-30 Öztireli, Ahmet Cengiz Image processing system for downscaling images using perceptual downscaling method
US9998666B2 (en) * 2015-08-26 2018-06-12 Duke University Systems and methods for burst image deblurring
CN105931206B (zh) * 2016-05-10 2019-06-28 深圳市和天创科技有限公司 一种颜色恒常的彩色图像清晰度增强方法
CN107483839B (zh) * 2016-07-29 2020-08-07 Oppo广东移动通信有限公司 多帧图像合成方法和装置

Also Published As

Publication number Publication date
CN108876753A (zh) 2018-11-23
EP3610453A1 (en) 2020-02-19
US20180338086A1 (en) 2018-11-22
CN108876753B (zh) 2022-04-29
EP3610453B1 (en) 2023-05-10
WO2018213149A1 (en) 2018-11-22
CN110651297A (zh) 2020-01-03
US10715727B2 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
CN110651297B (zh) 使用引导图像对合成的长曝光图像进行可选增强
EP3599760B1 (en) Image processing method and apparatus
US10580140B2 (en) Method and system of real-time image segmentation for image processing
US10582124B2 (en) Target image quality enhancement using a guide image
CN108335279B (zh) 图像融合和hdr成像
CN109565551B (zh) 对齐于参考帧合成图像
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US9202263B2 (en) System and method for spatio video image enhancement
KR20200023651A (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
US20220222830A1 (en) Subject detecting method and device, electronic device, and non-transitory computer-readable storage medium
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
US10853926B2 (en) Image processing device, imaging device, and image processing method
US11151693B2 (en) Image processing apparatus and image processing method for noise reduction
US10832386B2 (en) Image processing apparatus, image processing method, and storage medium
US20210327026A1 (en) Methods and apparatus for blending unknown pixels in overlapping images
US11195247B1 (en) Camera motion aware local tone mapping
US20220329739A1 (en) Image capturing control apparatus, image capturing control method, and storage medium
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant