CN107809602A - 鬼伪影去除系统和方法 - Google Patents

鬼伪影去除系统和方法 Download PDF

Info

Publication number
CN107809602A
CN107809602A CN201710749433.0A CN201710749433A CN107809602A CN 107809602 A CN107809602 A CN 107809602A CN 201710749433 A CN201710749433 A CN 201710749433A CN 107809602 A CN107809602 A CN 107809602A
Authority
CN
China
Prior art keywords
image
value
threshold value
antipode
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710749433.0A
Other languages
English (en)
Other versions
CN107809602B (zh
Inventor
萨维什·斯瓦米
吴东晖
季莫费·尤瓦罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN107809602A publication Critical patent/CN107809602A/zh
Application granted granted Critical
Publication of CN107809602B publication Critical patent/CN107809602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于从场景的多次曝光图像中去除鬼伪影的方法。该方法包括下述步骤：生成和分割差异掩膜；确定下阈值和上阈值；生成精炼掩膜；以及生成修正图像。差异掩膜包括场景的多次曝光图像和第一图像之间的亮度值上的多个绝对差异。分割步骤包含将差异掩膜分割成多个块。下阈值和上阈值基于块的统计特征。该方法通过将每一个绝对差异映射到精炼掩膜的多个精炼值中对应的一个而生成精炼掩膜，精炼值等于绝对差异、下阈值和上阈值的函数。修正图像是第一图像和多次曝光图像的加权和，权重基于精炼掩膜。

Description

鬼伪影去除系统和方法
背景技术
许多消费电子产品包括至少一个照相机。这些产品包括平板电脑、移动电话以及智能手表。在这些产品中以及在数字静物照相机自身中，高动态范围(HDR)功能能够使消费者生成比缺少这样的功能的照相机具有更大的亮度动态范围的场景的图像。
例如，图1描绘了照相机130，照相机130对具有高动态范围的亮度的场景120进行成像。场景120包括窗口122前的人121，通过窗口122能够看到阳光充足的场景123。照相机130包括成像镜头(未示出)、图像传感器132、存储器110以及与图像传感器通信连接的微处理器140。图像传感器132包括像素阵列134A并且可以包括在其上的滤色器阵列(CFA)136。像素阵列134A包括多个像素134，为了使图示清晰，未在图1中示出。CFA 136中的每一个滤色器与像素阵列134A中对应的像素134对齐。成像镜头将场景120成像于图像传感器132。图像传感器132还包括具有至少一个模数转换器的电路138。
室内照明(未示出)照亮了面向照相机的人121的前方，同时，阳光照亮了阳光充足的场景123。在场景120中，人121和阳光充足的场景123具有图1未示出的各自的亮度121L和亮度123L。由于阳光显著地比室内照明更亮，因此亮度123L远超亮度121L，使得场景120具有高动态范围的亮度。标准数字成像能够使用针对亮度121L或亮度123L中的一方优化的单曝光时间而进行场景120的拍摄。当曝光时间针对亮度121L而优化时，人121被适当地曝光但阳光充足的场景123被过度曝光。当曝光时间针对亮度123L而优化时，阳光充足的场景123被适当地曝光但人121被曝光不足。
在HDR成像的情况下，照相机130拍摄场景120的多张图像，每张图像具有不同的曝光时间，并且将它们存储在存储器110中。微处理器140对该多张图像进行加工以形成合成HDR图像190。HDR图像易于具有图像伪影，该图像伪影是由于在多张图像的拍摄之间场景120中的物体的移动或者照相机130的移动而产生。被称为“鬼影”的这种伪影表现为在移动的物体之后的移动的物体拖尾的半透明的图像。例如，HDR图像190包括人121的右手的鬼伪影194。
发明内容
本说明书公开的实施例能够从HDR图像中去除鬼伪影。
在实施例中，公开了一种用于从场景的多次曝光图像中去除鬼伪影的方法。该方法包括如下步骤：生成并分割差异掩膜；确定下阈值和上阈值；生成精炼掩膜；以及生成修正图像。差异掩膜包括场景的多次曝光图像的亮度值和场景的第一图像的亮度值之间的多个绝对差异。每一个绝对差异对应于多次曝光图像的多个像素位置中对应的一个像素位置。在分割步骤中，该方法将差异掩膜分割成多个块。下阈值和上阈值都基于多个块的统计特征。该方法通过将多个绝对差异中的每一个映射到精炼掩膜的多个精炼值中对应的一个而生成精炼掩膜，精炼值等于绝对差异、下阈值和上阈值的函数。修正图像是第一图像和多次曝光图像的加权和。该加权和的权重基于精炼掩膜。
在实施例中，公开了一种鬼伪影去除器，用于从场景的多次曝光图像中去除鬼伪影。该鬼伪影去除器包括存储器和微处理器。该存储器存储非暂时性计算机可读指令并适用于存储多次曝光图像。该微处理器适用于执行所述指令来实施上述公开的方法的步骤。
在实施例中，公开了一种用于确定最优块数目的方法，以该最优块数目对根据利用同一图像传感器拍摄的两个图像的差异而生成的差异掩膜进行分割。针对各自具有不同的均匀反射率的多个灰卡中的每一个，所述方法包括：(1)通过将各灰卡成像于图像传感器，拍摄具有对应于多个传感器像素的多个像素值的各灰卡图像；(2)根据多个像素值确定平均像素值和方差；以及(3)将局部最优样本尺寸确定为平均像素值和方差的函数。该方法将总体样本尺寸确定为多个局部最优样本尺寸的统计值。该方法还将最优块数目确定为与(a)多个传感器像素的总数量和(b)总体样本尺寸的商接近的整数。
附图说明
图1描绘了对具有较高的亮度动态范围的场景进行拍摄的照相机。
图2示出了可以在图1的照相机内实施的鬼伪影去除器的实施例。
图3描绘了滤色器阵列，其是图1的照相机中的滤色器阵列的示例。
图4A和图4B分别描绘了同一场景的单次曝光图像和多次曝光图像。
图5描绘了基于图4A和图4B中的图像的亮度值集合之间的绝对差异的差异掩膜。
图6描绘了组合图像，该组合图像是图4A和图4B中的图像和图5中的差异掩膜的加权和。
图7描绘了通过将单阈值化操作应用于图5中的差异掩膜而生成的阈值化掩膜。
图8描绘了组合图像，该组合图像是图4A和图4B中的图像和图7中的差异掩膜的加权和。
图9是图5中的差异掩膜的示意性的像素值直方图。
图10描绘了在实施例中根据图5中的差异掩膜生成的双阈值化差异掩膜。
图11描绘了修正图像，该修正图像是图4A和图4B中的图像和图10中的差异掩膜的加权和。
图12描绘了分割差异掩膜的实施例，其将差异掩膜500分割成多个块。
图13是示出在实施例中确定对差异掩膜进行分割时的最优块数目的方法的流程图。
图14描绘了示出图13的方法的实现方式的示意图。
图15是示出在实施例中从场景的多次曝光图像中去除鬼伪影的方法的流程图。
图16是示出在实施例中在图15的方法中与确定下阈值有关的可选步骤的流程图。
图17是示出在实施例中在图15的方法中与确定上阈值有关的可选步骤的流程图。
图18A和图18B描绘了HDR图像，每个HDR图像通过组合同一单次曝光图像、同一多次曝光图像和不同的差异掩膜而形成。
具体实施方式
图2示出了鬼伪影去除器200，其将图像201和多次曝光图像202组合来生成修正图像238。鬼伪影去除器200可以实施在照相机130中。图像201、202是同一场景的图像。图像201例如是单次曝光图像。
鬼伪影去除器200包括微处理器240和存储器210，存储器210存储包含机器可读指令的软件220。微处理器240可以是例如为图像处理器的数字信号处理器。存储器210可以包括易失性存储器(例如是SRAM、DRAM或其任意组合)和非易失性存储器(例如是FLASH、ROM、磁介质、光介质、或它们的任意组合)的一方或双方。
存储器210和微处理器240可以分别用作图1的照相机130中的存储器110和微处理器140。微处理器240适用于执行指令来实现本说明书中所描述的鬼伪影去除器200的功能。软件220包括下述软件模块：亮度值生成器221、掩膜生成器222、图像分割器224、掩膜阈值器226、掩膜映射器227和图像融合器228。存储器210还被示出为存储图像201、多次曝光图像202、第一亮度值集合231A、第二亮度值集合231B、差异掩膜232A和精炼掩膜232B中的一方或全部。存储器210还包括供图像分割器224使用的校正数据234。软件220还可以包括用于生成校正数据234的校正器229。存储器210可以将图像201和图像202存储为诸如JPEG和TIFF的图像文件格式或者诸如TIFF/EP和数字底片(DNG)的原始图像格式。
图3描绘了CFA 336，其是照相机130中的CFA 136的示例。CFA 336包括滤色器单元301、302、303、304交织而成的阵列。每组滤色器单元301–304是诸如拜耳单元311的二乘二的滤色器阵列，所以滤色器阵列336是拜耳阵列。每个拜耳单元311包括一个红色滤色器(“R”)、两个绿色滤色器(“G”)和一个蓝色滤色器(“B”)。虽然滤色器单元301–304在结构上是相同的，但是它们在本说明书中被区分开，这是因为如下所讨论的，当拍摄多次曝光图像202时，位于每个滤色器单元301–304下方的图像传感器像素具有不同的曝光时间。在本说明书中，红色像素、绿色像素和蓝色像素是指在滤色器的下方分别与红色滤色器、绿色滤色器和蓝色滤色器对齐的图像传感器像素。
图4A和图4B分别描绘了由包括图3的CFA 336的照相机130拍摄的同一场景的单次曝光图像401和多次曝光图像402。图像401和图像402分别是单次曝光图像201和多次曝光图像202的示例。单次曝光图像401是照相机130以位于每个滤色器单元301–304下方的像素134具有相同的曝光时间t401来拍摄场景而得到的。
多次曝光图像402是照相机130以位于每个滤色器单元301–304下方的像素具有不同的曝光时间tA、tB、tC、tD来拍摄场景而得到的。因此，多次曝光图像402是四张具有不同的曝光时间的单次曝光图像的交织合成物，其能够使多次曝光图像具有比单次曝光图像401更高的动态范围。第一单次曝光图像、第二单次曝光图像、第三单次曝光图像、第四单次曝光图像分别由位于滤色器单元301–304下方的像素134拍摄。相应地，第一单次曝光图像、第二单次曝光图像、第三单次曝光图像、第四单次曝光图像具有比单次曝光图像401更低的分辨率。因此，尽管多次曝光图像402具有比单次曝光图像401更宽的动态范围，但也具有比单次曝光图像401更低的分辨率。
多次曝光图像402包括单次曝光图像401中没有出现的伪影403。伪影403是人的图像，这是为了说明本发明的鬼影去除方法，当拍摄多次曝光图像402时，申请人有意地置于照相机130的视野中的。
图5描绘了差异掩膜500，差异掩膜500是单次曝光图像401和多次曝光图像402各自的亮度值之间的绝对差异。单次曝光图像401和多次曝光图像402的亮度值分别是第一亮度值集合231A和第二亮度值集合231B的示例。差异掩膜500是存储在图2中的鬼伪影去除器200的存储器210中的差异掩膜232A的示例。用于生成差异掩膜500的亮度值基于亮度值Y和像素值R、G、B或用于拍摄图像401和图像402的红色、绿色、蓝色传感器像素之间的下述关系而确定：Y＝0.30R+0.59G+0.11B。在不脱离本申请的保护范围的情况下，用于确定亮度值Y的R、G、B的系数可以不同于以上所示出的系数。差异掩膜500中的白色区域表示图像401和图像402之间的最小亮度差异，而差异掩膜500中的黑色区域表示图像401和图像402之间的最大亮度差异。
在上述示例中，亮度值集合231A、231B是根据图像401和图像402中的R、G、B值而生成。图像401和图像402是对来自图像传感器132的“原始”传感器像素值进行去马赛克处理而得到的。替代地，亮度值集合231A、231B可以直接根据来自图像传感器132的原始传感器像素值而生成，即，不依赖于去马赛克处理。例如，当CFA 136是拜耳图案时，来自图像传感器132的原始传感器像素值包括对应于红色像素、绿色像素、蓝色像素的像素值。亮度值集合231A、231B可以根据这些像素值生成而用于生成图像201和图像202，并且不依赖于去马赛克。
图6描绘了组合图像600，组合图像600是单次曝光图像401、多次曝光图像402和差异掩膜500的加权和。组合图像600通过包括图像401和图像402二者而具有单次曝光图像401的高分辨率和多次曝光图像402的高动态范围。等式(1)是组合图像600的数学表示，其中，数据阵列M500、I401、I402和I600分别表示差异掩膜500和图像401、402及600。
I600＝I401(1-M500)+I402M500 等式(1)
组合图像600包括鬼伪影603，其是多次曝光图像402的伪影403在等式(1)中乘以差异掩膜500以产生组合图像600后得到的多次曝光图像402的伪影403的残余部分。
单次曝光图像401的曝光时间t401至少近似地等于多次曝光图像402的曝光时间tA、tB、tC、tD中的一个。例如，曝光时间t401在曝光时间tA的正负5％的范围内波动。这样的曝光时间的相似性使得能够按照等式(1)和下述相似的等式(2)和(3)得到图像401和图像402的最优组合。
传统的方法利用单阈值掩膜来替代差异掩膜，以防止鬼伪影603出现在组合图像600中。图7描绘了通过将单阈值化操作应用于差异掩膜500而生成的阈值化掩膜700。该单阈值化操作将任何低于阈值的像素值均设置为0，使得阈值化掩膜700是去除了选定的噪音的差异掩膜500。
图8描绘了组合图像800，组合图像800是单次曝光图像401、多次曝光图像402和阈值化掩膜700的加权和。等式(2)是组合图像800的数学表示，其中，数据阵列M700和I800分别表示阈值化掩膜700和组合图像800。
I800＝I401(1-M700)+I402M700 等式(2)
组合图像800被裁切以突显鬼伪影803在其中的存在，鬼伪影803是多次曝光图像402的伪影403在等式(2)中乘以阈值化掩膜700以产生组合图像800后得到的多次曝光图像402的伪影403的残余部分。鬼伪影803的存在证明了阈值化掩膜700的缺陷。改进的掩膜将消除更多或全部伪影403，因此防止诸如鬼伪影603的鬼伪影。
申请人已经确定这样的改进的掩膜能够通过将两个阈值化操作应用于差异掩膜500而得到。图9是示意性的差异掩膜500的像素值直方图900。由于差异掩膜内的像素值表示用于生成差异掩膜500的像素值之间的绝对差异，因此直方图900的像素值表示绝对差异。如上所讨论地，阈值化掩膜700将像素值低于下阈值的所有像素的像素值设定为0，其中，所述下阈值例如是阈值711。
与此不同，本发明的双阈值化差异掩膜将两个阈值化操作施加于差异掩膜500。图10描绘了从差异掩膜500生成的双阈值化差异掩膜1000。对差异掩膜500的第一阈值化操作将像素值低于下阈值911的所有像素的像素值设定为0。对差异掩膜500的第二阈值化操作将像素值高于上阈值919的所有像素的像素值设定为0。第一阈值化操作和第二阈值化操作可以组合成单阈值化操作。图9示出了下阈值911高于阈值711，这仅用于说明的目的。
差异掩膜500中的剩下的未阈值化的绝对差异构成表示为数据阵列M510的中间掩膜510(未示出)。中间掩膜510的绝对差异的范围是下阈值911和上阈值919之间(包含端点)，因此具有比差异掩膜500更小的范围。相应地，如等式(3)所示，掩膜映射器227将中间掩膜510的每一个绝对差异映射为0和1之间的值(可选地包含端点)来产生双阈值化差异掩膜1000。在等式(3)中，LT911和UT919分别表示下阈值911和上阈值919。
M1000＝[(M510-LT911)/(UT919-LT911)]α 等式(3)
虽然在双阈值化差异掩膜1000的示例中指数α等于1，但指数α可以超过1，而不脱离本申请的保护范围。
图11描绘了修正图像1100，其是单次曝光图像401、多次曝光图像402和双阈值化差异掩膜1000的加权和。等式(4)是修正图像1100的数学表示，其中，数据阵列M1000和数据阵列I1100分别表示双阈值化差异掩膜1000和修正图像1100。鬼伪影去除器200经由图像融合器228的执行而实施等式(4)。
I1100＝I401(1-M1000)+I402M1000 等式(4)
修正图像1100被裁切以突显不存在鬼伪影，诸如，根据阈值化掩膜700生成的组合图像800中的鬼伪影803。
图12描绘了分割差异掩膜1200，其是被分割成多个块1202的差异掩膜500。在该示例中，多个块1202包括九个块1202(1–9)。对差异掩膜500的分割是确定用于生成双阈值化差异掩膜1000的下阈值911和上阈值919的手段。图12包含对于每一个块1202(1–9)的像素值(绝对差异)的统计数据。由于每一个块1202内的像素值表示用于生成差异掩膜500的像素值之间的绝对差异，因此差异掩膜的像素值也被称为绝对差异。
虽然分割差异掩膜1200包括九个块1202，但分割差异掩膜1200可以包括更少或更多的块，而不脱离本申请的保护范围。例如，对于用于拍摄图像401和图像402的图像传感器，申请人已经确定最优块尺寸占据图像尺寸的8％至15％，分别对应于大约十二个块和大约七个块。相应地，九个块的分割差异掩膜1200是合适的选择，因为能够获得由尺寸相等并且方向相同的块形成的正方形阵列。
虽然分割差异掩膜的块1202被布置成正方形阵列(在此示例中是三乘三的正方形阵列)，但块1202可以被布置成非正方形阵列，例如，一乘九的阵列，而不脱离本申请的保护范围。例如，在移动很可能被限制为水平或垂直的带状的成像应用中，分割差异掩膜1200的块的形状可以相应地设置。
申请人通过对像素值的方差σ在σmin≤σ≤σmax范围内的块1202的像素值的上分位数进行平均而确定下阈值911。在确定下阈值911的示例中，这样的“噪音块”对应于块1202(2–5、7–9)，σmin＝0.01且σmax＝200，并且块1202(2–5、7–9)中的像素值的上分位数对应于图12所示的最大像素值。因此，下阈值911是LT911＝((20+8.2+10+12+60+5+3))/7＝17。
不具有移动物体的块1202具有噪音，并且它们的方差与具有运动物体的块1202相比更低。在该例子中，低方差或“噪音块”是块1202(2–5、7–9)，而块1202(1、6)包括移动物体。在块1202(1)中，方差来源于树的移动。在块1202(6)中，方差来源于伪影403的移动(或者在此示例中是伪影403的出现)。
申请人将上阈值919确定为平均像素值超过下阈值911的块1202的像素值的平均值。在该示例中，这样的像素块对应于块1202(1、6)，使得上阈值919是块1202(1、6)的平均像素值的平均值：UT919＝1/2(20.7+25.3)＝23。替代地，阈值919可以简单地被计算为块1202(1、6)中的像素值的平均值，当每一个块1202包括相同数量的像素时，由此得到的平均值与块1202(1、6)各自的平均像素值进行平均得到的值相同。
双阈值化差异掩膜在防止组合图像中的鬼伪影方面的有效性依赖于阈值911和阈值919的最优确定，阈值的最优确定又依赖于差异掩膜(诸如差异掩膜500)的最优分割。在差异掩膜500中，单次曝光图像401和多次曝光图像402之间的一些绝对差异来源于噪音，而其他绝对差异来源于诸如伪影403的移动物体。理想上，下阈值911被确定为用于去除仅由噪音产生的绝对差异，而上阈值919被确定为用于去除仅由移动产生的绝对差异。
当块1202太小时，由于移动检测中的假阳性误差，因此阈值化是次最优方案。即，上阈值919太低，而使得除了去除对应于移动的绝对差异之外，得到的双阈值化差异掩膜还会去除不对应于运动的绝对差异。当块1202太大时，由于移动检测中的假阴性误差，因此阈值化是次最优方案。即，下阈值911太低，而使得未被阈值化的由噪音产生的绝对差异会阻碍由移动产生的绝对差异的阈值化。
差异掩膜的最优分割依赖于用于拍摄由其生成差异掩膜的图像的图像传感器。例如，差异掩膜500的最优分割依赖于用于拍摄图像401和图像402的图像传感器132。
图13是表示用于确定对根据利用同一图像传感器拍摄的两个图像的差异而生成的差异掩膜进行分割的最优块数目的方法1300的流程图。图14描绘了说明方法1300的实现方式的示意图1400。示意图1400包括多个灰卡1402(1,2,…N)、照相机130、存储器1410以及处理器1440。每一个灰卡1402具有不同的均匀反射率。存储器1410包括校正软件1429，其是图2中的校正器229的示例。存储器1410和处理器1440例如是鬼伪影去除器200的存储器210和微处理器240。替代地，存储器1410和处理器1440是诸如个人电脑的独立的图像处理设备的一部分。方法1300例如通过执行校正软件1429的处理器1440而实施。在下述的描述中，最好一起看图13和图14。
方法1300包括步骤1310、1320、1330，它们针对各自具有不同的均匀反射率的多个灰卡中每一个而执行。例如，针对每一个灰卡1402执行步骤1310、1320、1330。
在步骤1310中，方法1300通过将各灰卡成像于图像传感器，拍摄具有对应于多个传感器像素的多个像素值的各灰卡图像。在步骤1310的示例中，照相机130将一个灰卡1402成像于图像传感器132来产生具有多个像素值1412的灰卡图像1411。灰卡图像1411存储在存储器1410中。
方法1300可以包括可选步骤1315，在其中，灰卡图像被(a)裁切和/或(b)修改来去除伪影。在步骤1315的示例中，灰卡1402(2)被裁切以去除区域1403之外的部分。伪影可与用于对灰卡1402进行成像的照相机130的成像镜头相关联。
在步骤1320中，方法1300根据多个像素值确定平均像素值和方差。在步骤1320中，校正软件1429确定对应于各灰卡图像1411的平均像素值1421和像素值方差1422。本文中，平均像素值1421(1,2,…,N)也分别由μ1,μ2,…μN表示。类似地，像素值方差1422(1,2,…,N)也分别由σ1 2,σ2 2,…σN 2表示，其中，σi是像素值1412(i)的标准差。
在步骤1330中，方法1300将局部最优样本尺寸确定为平均值和方差的函数。步骤1330可以包括步骤1332，在其中，方法1300确定与方差对平均值的比率成比例的局部最优样本尺寸。在步骤1332的示例中，校正软件1429确定对应于每一个灰卡图像1411(i)的像素样本尺寸1430(i)。本文中，像素样本尺寸1430(i)也由ni表示。
像素样本尺寸1430(i)对应于计算样本平均像素值所需要的像素值1412(i)的数量，所需要的像素值1412(i)以小于对应于95％的置信区间的预定误差W偏离对应的平均像素值μi。对于具有样本尺寸ni的图像传感器像素的高斯分布样本，平均像素值的标准差是其中，95％的置信区间是使得总误差W是总误差W可以被表示为公差ε和平均像素值μi的乘积，W＝εμi，其中例如∈＝0.01。公差ε可以被存储为存储器1410中的公差1428。因此，像素样本尺寸1430(i)可以由等式(5)表示：
等式(5)示出了像素样本尺寸1430(i)随着像素值方差对平均像素值的比率一起增大。
在步骤1340中，方法1300将总体样本尺寸确定为多个局部最优样本尺寸的统计平均。在步骤1340的示例中，校正软件1429确定总体样本尺寸1442。总体样本尺寸1442可以是像素样本尺寸1430的直接和或者加权和。
在步骤1350中，方法1300将最优块数目确定为与(a)多个传感器像素的总数量和(b)总体样本尺寸的商接近的整数。例如，整数N是大于或小于该商的最接近的整数。照相机130的像素阵列134A包括像素的总数量M134。在步骤1340的示例中，校正软件将块数目1450确定为与M134和总体样本尺寸1442的商(即，M134除以总体样本尺寸1442)接近的整数。在图12的分割差异掩膜1200的示例中，块数目1450等于9。
图15是说明从场景的多次曝光图像中去除鬼伪影的方法1500的流程图。方法1500例如由执行软件220的微处理器240(图2)实施。步骤1501、1502、1505、1506是可选的。
在步骤1501中，方法1500拍摄第一图像。在步骤1501的示例中，照相机130拍摄单次曝光图像401。步骤1501的示例可以包括(a)、(b)、(c)步骤：(a)利用电路138中的一个或多个模数转换器将每一个像素电荷转换成各自的第一数字像素值；(b)将第一数字像素值作为图像401存储在存储器210中；以及(c)利用微处理器240，根据第一数字像素值计算图像401的亮度值而产生第一亮度值集合231A。
在步骤1502中，方法1500拍摄多次曝光图像。在步骤1502的示例中，照相机130拍摄多次曝光图像402。步骤1502的示例可以包括(a)、(b)、(c)步骤：(a)利用电路138中的一个或多个模数转换器，将每一个像素电荷转换成各自的第二数字像素值；(b)将第二数字像素值作为多次曝光图像402存储在存储器210中；以及(c)利用微处理器240，根据第二数字像素值计算图像402的亮度值而产生第二亮度值集合231B。
在步骤1505中，方法1500计算遍及第一图像的亮度值第一集合。在步骤1505的示例中，亮度值生成器221(图2)计算对应于单次曝光图像401的一些或全部像素的第一亮度值集合231A。
在步骤1506中，方法1500计算遍及多次曝光图像的亮度值第二集合。在步骤1506的示例中，亮度值生成器221计算对应于多次曝光图像402的一些或全部像素的第二亮度值集合231B。
在步骤1510中，方法1500生成包括第一亮度值集合和第二亮度值集合内对应的亮度值之间的多个绝对差异的差异掩膜。在步骤1510的示例中，掩膜生成器222生成差异掩膜500(图5)，其由单次曝光图像401和多次曝光图像402的亮度值的第一集合和第二集合内各对应的亮度值之间的绝对差异定义。给定第一图像的第一像素的第一亮度值和第二图像的第二像素的第二亮度值，当第一像素和第二像素具有相等或接近相等的像素坐标时，这两个亮度值是“对应的”。例如，当两个像素坐标的水平(或垂直)位置上的相对差异小于水平(或垂直)方向上的像素总数量的1％时，这两个像素坐标接近相等。
在步骤1520中，方法1500将差异掩膜分割成多个块。在步骤1520的示例中，图像分割器224将差异掩膜分割成分割差异掩膜1200(图12)的多个块1202。
在步骤1530中，方法1500基于多个块的统计特征确定下阈值。在步骤1530的示例中，掩膜阈值器226确定下阈值911。步骤1530可以包括图16所示的步骤1610和步骤1620中的至少一个。
在步骤1610中，方法1500确定在绝对差异的方差处于预定范围内的块中的绝对差异的上分位数。给定块中的像素值的上分位数对应于块1202中的k个最高像素值，其中，k是小于块1202中的传感器像素的总数量的正整数。在步骤1610的示例中，掩膜阈值器226确定块1202(2–5、7–9)中的绝对差异的上分位数。
在步骤1620中，方法1500计算绝对差异的每一个上分位数的统计平均值。在步骤1620的示例中，掩膜阈值器226计算块1202(2–5、7–9)中的绝对差异的每一个上分位数的统计平均值。在图9的下阈值911的示例中，上分位数对应于k＝1。
在步骤1540中，方法1500基于多个块的统计特征确定上阈值。步骤1540可以包括步骤1542，在其中，方法1500将上阈值确定为多个块的子集中的绝对差异的统计平均值。在步骤1540的示例中，掩膜阈值器226确定上阈值919，其中，块的子集由块1202(1)和1202(6)构成。步骤1540可以包括图17所示的步骤1700中的至少一个。
步骤1700包括步骤1710、1720、1732、1734。在步骤1710中，方法1500针对多个块中的每一个块将块平均值确定为等于该块中处于预定范围内的绝对差异的统计平均值。在步骤1710的示例中，绝对差异值的范围是0到255(28-1)，并且，掩膜阈值器226仅使用小于或等于27(128)的绝对差异来确定每一个块1202各自的块平均值。选择这样的可达到的绝对差异的更小的范围避免了对应于噪音的绝对差异和可能产生次最优上阈值的大绝对差异(即来自亮区)。块的“大绝对差异”是例如超过块的中位绝对差异的绝对差异。图12将块1202的块平均值指定为“平均值”，例如，块1202(1)的块平均值是20.71。
步骤1720是决策。当任一块平均值超过最小值时，方法1500进行到步骤1732。否则，方法1500进行到步骤1734。该最小值可以大于或等于下阈值。该最小值可以超过下阈值来确保下阈值和上阈值之间的绝对差异的最小范围。在步骤1720的示例中，掩膜阈值器226确定块1202(1)和1202(6)各自具有超过下阈值911的块平均值。
在步骤1732中，方法1500将上阈值确定为超过最小值的块平均值的统计平均值。在步骤1732的示例中，掩膜阈值器226将上阈值919确定为块1202(1)和1202(6)各自的块平均值的平均值。
在步骤1734中，方法1500将上阈值确定为相对于剩余块具有高方差的绝对差异的块的块平均值的统计平均值。在步骤1720和1732的上述示例中，步骤1734不应用于块1202。然而，如果块1202(1)和1202(6)各自的块平均值均小于最小值，例如下阈值911(等于17)，则方法1500将从步骤1720进行到步骤1734。在这样的情况下，掩膜阈值器226将上阈值确定为相对于其他块具有(i)高平均绝对差异和(ii)高方差的绝对差异中至少一个条件的块1202的平均值。例如，块1202(1)和1202(6)的平均值和方差显著地高于其他块1202的平均值和方差。相应地，步骤1732的示例和步骤1734的示例都应用于分割差异掩膜1200来确定作为上阈值919的上阈值。
在步骤1550中，方法1500根据下阈值和上阈值来对差异掩膜进行阈值化而产生阈值化掩膜。在步骤1550的示例中，掩膜映射器227根据下阈值911和上阈值919来对差异掩膜500进行阈值化而产生中间掩膜510。
在步骤1560中，方法1500通过将中间掩膜的多个绝对差异中的每一个映射到精炼掩膜的多个精炼值中所对应的一个而生成精炼掩膜，精炼值等于绝对差异、下阈值和上阈值的函数。在步骤1560的示例中，掩膜阈值器226经由等式(3)生成双阈值化差异掩膜1000。
在步骤1570中，方法1500将修正图像生成为第一图像和多次曝光图像的加权和。加权和的权重基于精炼掩膜。在步骤1570的示例中，图像融合器228按照等式(4)根据图像401和图像402生成修正图像1100。
图18A和图18B分别描绘了HDR图像1800和HDR图像1820，它们都是通过组合同一单次曝光图像和同一多次曝光图像而形成。HDR图像1800是通过传统的单阈值掩膜而形成，而HDR图像1820是使用执行本发明的方法1500的鬼伪影去除器200而形成。HDR图像1800和1820都包括衣袖1802和手指1804。HDR图像1800包括衣袖1802和手指1804各自的鬼伪影1812和1814。类似的伪影没有出现在HDR图像1820中。
在不脱离本申请的保护范围的情况下，上述特征和下面要求保护的特征可以以各种各样的方式组合。下述示例示出了一些可能的非限制性的组合。
(A1)表示用于从场景的多次曝光图像中去除鬼伪影的方法，该方法包括以下步骤：生成和分割差异掩膜；确定下阈值和上阈值；生成精炼掩膜；以及生成修正图像。差异掩膜包括场景的多次曝光图像的亮度值和场景的第一图像的亮度值之间的多个绝对差异。每一个绝对差异对应于多次曝光图像的多个像素位置中对应的一个。在分割步骤中，所述方法将差异掩膜分割成多个块。下阈值基于多个块的统计特征。上阈值是多个块的子集中的绝对差异的统计平均值。所述方法通过将多个绝对差异中的每一个映射到精炼掩膜的多个精炼值中所对应的一个而生成精炼掩膜，精炼值等于绝对差异、下阈值和上阈值的函数。修正图像是第一图像和多次曝光图像的加权和。加权和的权重基于精炼掩膜。
(A2)在由(A1)表示的任何方法中，确定下阈值的步骤可以包括将多个噪音块确定为绝对差异的方差处于预定范围内的块，并且，在每一个噪音块中确定绝对差异的上分位数。
(A3)在由(A2)表示的方法中，确定下阈值的步骤进一步包括计算绝对差异的每一个上分位数的统计平均值。
(A4)在由(A1)～(A3)中的一项表示的任何方法中，在确定上阈值的步骤中，块的子集中的每一个块可以具有超过下阈值的平均绝对差异。
(A5)在由(A1)～(A4)中的一项表示的任何方法中，确定上阈值的步骤进一步包括确定多个块的子集中的绝对差异的统计平均值。
(A6)在由(A5)表示的任何方法中，在确定上阈值的步骤中，块的子集对应于绝对差异的方差的上分位数中的块。
(A7)在由(A5)或(A6)中的一项表示的任何方法中，在确定上阈值的步骤中，绝对差异的统计平均值仅包括多个绝对差异中(例如排除噪音和相对较大的绝对差异后)的最小绝对差异和最大绝对差异之间的绝对差异的子集。
(A8)在由(A1)～(A7)中的一项表示的任何方法中，在其中，第一图像是具有第一曝光时间的单次曝光图像，多次曝光图像通过具有多个各自的第二曝光时间的多个图像而形成，第二曝光时间中的一个可以大体上等于第一曝光时间。
(A9)在由(A1)～(A8)中的一项表示的任何方法中，可以进一步包括利用图像传感器拍摄第一图像和利用图像传感器拍摄多次曝光图像。
(A10)在由(A9)表示的任何方法中，其中，图像传感器包括多个传感器像素，每一个传感器像素具有像素电荷，该像素电荷对应于从场景入射到传感器上的各自的光强度，并且拍摄第一图像的步骤可以包括：利用模数转换器将每一个像素电荷转换成各自的第一数字像素值；将第一数字像素值存储于与微处理器通信连接的存储器；以及利用微处理器，根据第一数字像素值计算第一图像的亮度值。拍摄多次曝光图像的步骤包括利用模数转换器将每一个像素电荷转换成各自的第二数字像素值；将第二数字像素值存储于与微处理器通信连接的存储器；以及利用微处理器，根据第二数字像素值计算第一图像的亮度值。
(B1)表示用于确定最优块数目的方法，以所述最优块数目对根据利用同一图像传感器拍摄的两个图像的差异而生成的差异掩膜进行分割。针对各自具有不同的均匀反射率的多个灰卡中的每一个，所述方法包括：(1)通过将各灰卡成像于图像传感器，拍摄具有对应于多个传感器像素的多个像素值的各灰卡图像；(2)从多个像素值确定平均像素值和方差；以及(3)将局部最优样本尺寸确定为平均像素值和方差的函数。该方法将总体样本尺寸确定为多个局部最优样本尺寸的统计平均值。该方法也将最优块数目确定为与(a)多个传感器像素的总数量和(b)总体样本尺寸的商接近的整数。
(C1)一种鬼伪影去除器，用于从场景的多次曝光图像中去除鬼伪影，包括：存储器和微处理器。存储器存储非暂时性计算机可读指令并且适用于存储多次曝光图像。微处理器适用于执行指令来实施由(A1)～(A10)中的一个表示的任何方法的步骤。
在不脱离本发明范围的情况下，可以在上述方法和系统中进行改变。因此，应当注意，上述描述中所包含的内容或附图中所示的内容应被解释为说明性的而不是限制性的。以下的技术方案旨在涵盖本文所述的所有通用和特定特征，以及本方法和本系统的范围内的所有叙述，以及根据字面上的意思可以被称为落在保护范围内的特征。

Claims (20)

1.一种用于从场景的多次曝光图像中去除鬼伪影的方法，该方法包括：
生成差异掩膜，该差异掩膜包括所述场景的所述多次曝光图像的亮度值和所述场景的第一图像的亮度值之间的多个绝对差异；
将所述差异掩膜分割成多个块；
基于所述多个块的统计特征确定下阈值；
基于所述多个块的统计特征确定上阈值；
通过将所述多个绝对差异中的每一个映射到精炼掩膜的多个精炼值中对应的一个而生成所述精炼掩膜，所述精炼值等于所述绝对差异、所述下阈值和所述上阈值的函数；以及
将修正图像生成为所述第一图像和所述多次曝光图像的加权和，所述加权和的权重基于所述精炼掩膜。
2.根据权利要求1所述的方法，确定所述下阈值的步骤包括：
将多个噪音块确定为所述绝对差异的方差处于预定范围内的块；以及
在每一个所述噪音块中确定所述绝对差异的上分位数。
3.根据权利要求2所述的方法，确定所述下阈值的步骤进一步包括：
计算所述绝对差异的每一个上分位数的统计平均值。
4.根据权利要求1所述的方法，在确定所述上阈值的步骤中，所述多个块的子集中的每一个块具有超过所述下阈值的平均绝对差异。
5.根据权利要求1所述的方法，确定所述上阈值的步骤进一步包括：
确定所述多个块的子集中的所述绝对差异的统计平均值。
6.根据权利要求5所述的方法，在确定所述上阈值的步骤中，所述多个块的所述子集对应于所述绝对差异的方差的上分位数中的块。
7.根据权利要求5所述的方法，在确定所述上阈值的步骤中，所述绝对差异的所述统计平均值仅包括多个所述绝对差异中的最小绝对差异和最大绝对差异之间的绝对差异的子集。
8.根据权利要求1所述的方法，所述第一图像是具有第一曝光时间的单次曝光图像，所述多次曝光图像是通过具有多个各自的第二曝光时间的多个图像而形成的，所述第二曝光时间中的一个大体上等于所述第一曝光时间。
9.根据权利要求1所述的方法，所述方法进一步包括：
利用图像传感器拍摄所述第一图像；以及
利用所述图像传感器拍摄所述多次曝光图像。
10.根据权利要求9所述的方法，所述图像传感器包括多个传感器像素，每一个所述传感器像素具有像素电荷，所述像素电荷对应于从场景入射到所述传感器上的各自的光强度，
拍摄所述第一图像的步骤包括：
利用模数转换器，将每一个所述像素电荷转换成对应的第一数字像素值；
将所述第一数字像素值存储在与微处理器通信连接的存储器中；以及
利用所述微处理器，根据所述第一数字像素值计算所述第一图像的亮度值，
拍摄所述多次曝光图像的步骤包括：
利用模数转换器，将每一个所述像素电荷转换成对应的第二数字像素值；
将所述第二数字像素值存储在与微处理器通信连接的存储器中；以及
利用所述微处理器，根据所述第二数字像素值计算所述第一图像的亮度值。
11.一种用于确定最优块数目的方法，以所述最优块数目对根据利用同一图像传感器拍摄的两个图像之间的差异而生成的差异掩膜进行分割，该方法包括：
针对各自具有不同的均匀反射率的多个灰卡中的每一个：
通过将各灰卡成像于所述图像传感器，拍摄具有对应于多个传感器像素的多个像素值的各灰卡图像；
从所述多个像素值确定平均像素值和方差；
将局部最优样本尺寸确定为所述平均像素值和所述方差的函数；
将总体样本尺寸确定为所确定的多个所述局部最优样本尺寸的统计平均值；以及
将所述最优块数目确定为与(a)所述多个传感器像素的总数量和(b)所述总体样本尺寸的商接近的整数。
12.一种鬼伪影去除器，用于从场景的多次曝光图像中去除鬼伪影，该鬼伪影去除器包括：
存储器，存储非暂时性的计算机可读指令并适用于存储所述多次曝光图像；以及
微处理器，适用于执行所述指令来实施如下步骤：
生成包括所述场景的所述多次曝光图像的亮度值和第一图像的亮度值之间的多个绝对差异的差异掩膜；
将所述差异掩膜分割成多个块；
基于所述多个块的统计特征确定下阈值；
将上阈值确定为所述多个块的子集中的绝对差异的统计平均值；
通过将所述多个绝对差异中的每一个映射到精炼掩膜的多个精炼值中对应的一个而生成所述精炼掩膜，所述精炼值等于所述绝对差异、所述下阈值和所述上阈值的函数；以及
将修正图像生成为所述第一图像和所述多次曝光图像的加权和，所述加权和的权重基于所述精炼掩膜。
13.根据权利要求12所述的鬼伪影去除器，所述微处理器进一步适用于执行所述指令来实施：
当确定所述下阈值时：
将多个噪音块确定为绝对差异的方差处于预定范围内的块；以及
在每一个所述噪音块中确定所述绝对差异的上分位数。
14.根据权利要求13所述的鬼伪影去除器，所述微处理器进一步适用于执行所述指令来实施：
当确定所述下阈值时，计算所述绝对差异的每一个上分位数的统计平均值。
15.根据权利要求12所述的鬼伪影去除器，所述多个块的所述子集中的每一个块具有超过所述下阈值的平均绝对差异。
16.根据权利要求12所述的鬼伪影去除器，当所述下阈值超过每一个块的平均绝对差异时，所述多个块的所述子集对应于绝对差异的方差的上分位数中的块。
17.根据权利要求12所述的鬼伪影去除器，所述绝对差异的所述统计平均值仅包括能够达到的绝对差异的更小预定范围中的绝对差异。
18.根据权利要求12所述的鬼伪影去除器，所述第一图像是具有第一曝光时间的单次曝光图像，所述多次曝光图像通过具有多个各自的第二曝光时间的多个图像而形成，所述第二曝光时间中的一个大体上等于所述第一曝光时间。
19.根据权利要求12所述的鬼伪影去除器，所述微处理器进一步适用于执行所述指令来实施：
利用图像传感器拍摄所述第一图像；以及
利用所述图像传感器拍摄所述多次曝光图像。
20.根据权利要求19所述的鬼伪影去除器，所述图像传感器包括多个传感器像素，每一个所述传感器像素具有像素电荷，所述像素电荷对应于从场景入射到所述传感器上的各自的光强度，所述微处理器进一步适用于执行所述指令来实施如下步骤：
当拍摄所述第一图像时，
利用模数转换，将每一个所述像素电荷转换成对应的第一数字像素值；
将所述第一数字像素存储在与所述微处理器通信连接的存储器中；以及
利用所述微处理器，根据所述第一数字像素值计算所述第一图像的所述亮度值，
当拍摄所述多次曝光图像时，
利用模数转换器，将每一个所述像素电荷转换成对应的第二数字像素值；
将所述第二数字像素值存储在与微处理器通信连接的存储器中；以及
利用所述微处理器，根据所述第二数字像素值计算所述第一图像的所述亮度值。
CN201710749433.0A 2016-09-09 2017-08-28 去除鬼伪影的方法和鬼伪影去除器 Active CN107809602B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/261,819 US9916644B1 (en) 2016-09-09 2016-09-09 Ghost artifact removal system and method
US15/261,819 2016-09-09

Publications (2)

Publication Number Publication Date
CN107809602A true CN107809602A (zh) 2018-03-16
CN107809602B CN107809602B (zh) 2019-11-15

Family

ID=61525690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710749433.0A Active CN107809602B (zh) 2016-09-09 2017-08-28 去除鬼伪影的方法和鬼伪影去除器

Country Status (3)

Country Link
US (1) US9916644B1 (zh)
CN (1) CN107809602B (zh)
TW (1) TWI658731B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454149B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 图像拍摄方法、装置及终端设备
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
US10546369B2 (en) * 2018-01-09 2020-01-28 Omnivision Technologies, Inc. Exposure level control for high-dynamic-range imaging, system and method
CN112840637B (zh) 2018-09-07 2022-04-05 杜比实验室特许公司 自动曝光方法
WO2020051361A1 (en) * 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of image sensors based upon entropy variance
CN110288630B (zh) * 2019-06-27 2021-11-09 浙江工业大学 一种背景建模的运动目标鬼影抑制方法
CN111127353B (zh) * 2019-12-16 2023-07-25 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
CN103297701A (zh) * 2012-02-27 2013-09-11 徐辰 成像方法及成像装置
US20150036024A1 (en) * 2013-07-30 2015-02-05 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in hdr image processing using multi-level median threshold bitmaps
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8774559B2 (en) * 2009-01-19 2014-07-08 Sharp Laboratories Of America, Inc. Stereoscopic dynamic range image sequence
US8520083B2 (en) * 2009-03-27 2013-08-27 Canon Kabushiki Kaisha Method of removing an artefact from an image
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8599284B2 (en) * 2011-10-11 2013-12-03 Omnivision Technologies, Inc. High dynamic range sub-sampling architecture
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US8902336B2 (en) * 2013-01-30 2014-12-02 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
US9338349B2 (en) 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
US9131201B1 (en) * 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US20150009355A1 (en) 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202535464U (zh) * 2012-02-27 2012-11-14 徐辰 成像装置
CN103297701A (zh) * 2012-02-27 2013-09-11 徐辰 成像方法及成像装置
US20150036024A1 (en) * 2013-07-30 2015-02-05 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in hdr image processing using multi-level median threshold bitmaps
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN108419023B (zh) * 2018-03-26 2020-09-08 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN113421195A (zh) * 2021-06-08 2021-09-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113421195B (zh) * 2021-06-08 2023-03-21 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备

Also Published As

Publication number Publication date
US20180075586A1 (en) 2018-03-15
CN107809602B (zh) 2019-11-15
TWI658731B (zh) 2019-05-01
TW201813371A (zh) 2018-04-01
US9916644B1 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107809602A (zh) 鬼伪影去除系统和方法
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN105323497B (zh) 恒定包围的高动态范围(cHDR)操作
CN105144233B (zh) 用于运动重影滤波的参考图像选择
CN1677442B (zh) 亮度校正
CN105323474B (zh) 摄像设备及其控制方法
CN104883504B (zh) 开启智能终端上高动态范围hdr功能的方法及装置
CN107483906B (zh) 图像的白平衡处理方法、装置和终端设备
Ershov et al. NTIRE 2022 challenge on night photography rendering
CN110365961A (zh) 图像去马赛克装置及方法
CN104639845B (zh) 高动态范围图像产生方法以及使用该方法的装置
CN108141531A (zh) 摄像装置、图像处理装置及显示装置
JP2010220184A (ja) 単一画像で高ダイナミックレンジをシミュレートする暗部露光補償方法及びそれを応用した画像処理装置
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
CN112508812B (zh) 图像色偏校正方法、模型训练方法、装置及设备
CN113012081A (zh) 图像处理方法、装置和电子系统
CN108335272A (zh) 一种拍摄图片的方法及设备
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
CN108141538A (zh) 摄像装置及图像处理装置
CN113034417A (zh) 基于生成对抗网络的图像增强系统和图像增强方法
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
CN105187730B (zh) 高动态范围图像产生方法以及使用该方法的装置
CN110087051A (zh) 基于hsv色彩空间的彩色图眩光去除方法及系统
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant