CN104883512A - 在高动态范围图像创建中的幻像伪影检测和去除 - Google Patents

在高动态范围图像创建中的幻像伪影检测和去除 Download PDF

Info

Publication number
CN104883512A
CN104883512A CN201510089208.XA CN201510089208A CN104883512A CN 104883512 A CN104883512 A CN 104883512A CN 201510089208 A CN201510089208 A CN 201510089208A CN 104883512 A CN104883512 A CN 104883512A
Authority
CN
China
Prior art keywords
splicing block
block
intermediate node
bracket
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510089208.XA
Other languages
English (en)
Other versions
CN104883512B (zh
Inventor
A.布扬夫努
M.J.维达尔-纳奎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Laboratory USA Inc
Original Assignee
Konica Minolta Laboratory USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Laboratory USA Inc filed Critical Konica Minolta Laboratory USA Inc
Publication of CN104883512A publication Critical patent/CN104883512A/zh
Application granted granted Critical
Publication of CN104883512B publication Critical patent/CN104883512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

在高动态范围(HDR)图像创建中，幻像伪影检测方法将图像(括号)划分为多个拼接块，并选择用于每一拼接块的一个括号作为局部基准括号。经由包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量两者的目标函数的最优化，来选择所述局部基准括号。通过构造用于该目标函数的图形并使用图形切割算法计算该图形的最小切口，能实现所述最小化。给出用于三个和四个图像集合的图形示例。然后通过使用用于每一拼接块的局部基准括号以逐拼接块为基础来执行幻像伪影检测。幻像图按照该方式生成并被使用用于HDR图像创建。该方法使得由于在引起幻像的对象中涉及的区域中的局部基准括号选择中的不一致而导致的伪影最小化。

Description

在高动态范围图像创建中的幻像伪影检测和去除
技术领域
该发明涉及高动态范围(HDR)成像，并且具体地，其涉及在HDR图像创建期间的幻像(ghost)伪影(artifact)的去除。
背景技术
高动态范围(HDR)成像是在图像处理和数字拍照中使用的技术，以处置具有特别大亮度(光强)范围的源。例如，日光中的室外场景可包括蓝色天空和阳光照耀的(sunlit)对象以及阴影下的对象；夜晚场景可包括氖光和被明亮照耀的对象以及被较差照耀的对象；室内场景可包括明亮窗户以及较暗区域等。这些场景造成对于诸如数字相机的成像装置的挑战；当前可用的数字相机的图像传感器的动态范围通常不能对这样的场景进行充分成像。如果曝光级别对于捕获场景的较暗区域的细节是充分的，则较亮的区域将通常被曝光过度而缺失细节；相反，如果曝光级别对于捕获场景的较亮区域的细节是充分的，则较暗的区域将通常被曝光不足而缺失细节。
HDR成像技术通过按照各种曝光级别拍摄相同场景的多个图像的集合、并然后数字合并所述多个图像来创建包括来自原始的多个图像的信息的HDR图像，使得在HDR图像中充分表达较亮和较暗区域两者中的细节，来处置该问题。用于从多个图像的集合创建HDR图像的方法一般是已知的。
加括号(bracketing)是使用不同曝光级别或诸如焦点、景深等的其他不同设置值来拍摄相同场景的多个图像的摄影中的技术。一些相机能执行自动加括号，即，自动改变多个设置时间并拍摄多个图像。所述多个图像中的每一个有时被称为括号(bracket)。能使用通过曝光加括号所生成的多个图像来创建HDR图像。
在HDR图像创建期间，当在不同图像(括号)的摄制之间对象已移动、出现或消失时，幻像伪影能出现。例如，在三个括号的摄制期间，如果人走进仅在第三括号中的场景，则从这三个括号创建的HDR图像将具有场景上的人的半透明图(“幻像”)。在该公开中，这些对象被称为移动对象或引入幻像的对象。
已提出了这样的方法，其标识多个图像内的这种引入幻像的对象，使得能处理图像以降低或消除得到的HDR图像中的幻像效应。这些技术中的一些已在评论(review)论文中描述，A.Srikantha和D.Sidibé,Ghost Detectionand Removal for High Dynamic Range Images:Recent Advances,SignalProcessing:image Communications,27(6),pp.650-662,2012。
在一些已知的幻像伪影检测方法中，选择多个括号之一作为参考图像(也称为背景图像)，其是按照定义不包括任何引入幻像的对象的图像。其他括号与参考图像相比，以确定引入幻像的对象是否存在以及在哪里存在。这样的单一基准方案的优点在于，其简化幻像检测和去除问题，因为当处理每一非基准括号时，仅两个图像(基准括号和非基准括号)需要比较以检测非一致(non-consistent)像素。然而，缺点在于，基准图像的一些大区域可被较差曝光(过度曝光或曝光不足)，并且如果用作基准，则导致相关区域中的不可靠的幻像检测、信息丢失以及得到的HDR图像的差质量。
由此，已提出这样的方法，以将每一图像划分为多个拼接块(tiles)(所有括号被划分为相同拼接块)，并且对于每一拼接块，选择一个括号作为基准图像，使得可选择不同括号作为用于不同拼接块的基准括号。所选择的用于每一拼接块的括号被称为局部基准或局部背景。一种这样的方法在Karadag和Ahmet Oguz Akyüz,Color preserving HDR Fusion forDynamic Scenes,Journal of WSCG 20(2):155-160(2012)(“Karadag和Akyuz2012”)中进行了描述。从Karadag和Akyuz 2012论文的图1改编的图2示出了被划分为多个拼接块的图像：标记为“S”的拼接块(靠近图像的右上和右下角)指示短曝光括号将被用作基准图像的拼接块，而标记为“L”的拼接块(靠近图像的中央)指示将使用长曝光括号的拼接块(该图像集合具有一共三个括号)。对于其他拼接块，将使用中(middle)括号作为基准，但是为了简明，这些括号在图1中没有标记。在对于每一拼接块选择基准括号之后，在非基准括号中检测幻像像素。
发明内容
Karadag和Akyuz 2012论文中描述的方法具有当相邻拼接块与相同移动对象相关、但是具有对于它们选择的不同括号作为基准图像时出现的问题。例如，如果移动对象O在括号#1中(但是不在括号#2和#3中)的相邻拼接块A和B中存在，并且如果括号#1(具有对象O)被选择为用于拼接块A的基准括号并且括号#2(不具有对象O，仅具有对象O之后的场景)被选择为用于拼接块B的基准括号，则在得到的HDR图像中，拼接块A和B可看上去显然(visibly)不一致、或者与移动对象相关的拼接块A或B的部分中的信息可丢失。
因此，本发明针对用于幻像伪影检测和去除的方法和相关设备，其基本上消除由于现有技术的限制和缺点导致的问题中的一个或多个。
本发明的目的是提供用于在HDR图像创建中检测幻像伪影的改进方法。
本发明的附加特征和优点将在接下来的描述中阐明，并部分将根据该描述而清楚，或者可通过本发明的实践而得知。本发明的目的和其他优点将通过在书写的描述及其权利要求以及附图中特别指出的结构来实现和得到。
为了实现这些和/或其他目的，如同实施和广泛描述的那样，本发明提供了一种用于从多个输入图像的集合生成高动态范围(HDR)图像的方法，每一输入图像被分配括号索引，该方法包括：(a)将每一输入图像划分为拼接块的集合，其中所有图像被划分为相同的拼接块集合；(b)确定用于所述拼接块的集合的每一拼接块的基准括号索引，包括：(b1)作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数，该目标函数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和(b2)计算使得该目标函数最优化的用于拼接块的基准括号索引的集合；(c)基于用于拼接块的基准括号索引的集合，通过对于每一拼接块比较其括号索引不是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像，而在逐拼接块的基础上检测输入图像的集合中的引起幻像的像素，并生成指示那个图像中的引起幻像的像素的用于每一输入图像的幻像图；和(d)使用输入图像的集合和对应幻像图来生成HDR图像。
步骤(b2)可包括：基于该目标函数构造图形，使得该图形的最佳切口给出使得该目标函数最优化的用于拼接块的括号索引的集合；和使用图形切割算法来计算图形的最佳切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
在另一方面，本发明提供了运行以上方法的数据处理设备。
应理解的是，以上一般描述和以下详细描述两者是示范性和解释性的，并且意欲提供要求保护的本发明的进一步解释。
附图说明
图1示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方法。
图2图示了根据已知方法的被划分为多个拼接块的图像，其中选择不同括号作为用于不同拼接块的基准括号。
图3示意性图示了在本发明实施例中有用的反转(inverted)像素曝光质量函数。
图4示意性图示了根据本发明实施例的用于计算拼接块到拼接块(tile-to-tile)的相关性而使用的初级(primary)拼接块网格(grid)和次级拼接块网格。
图5A和5B示意性图示了根据本发明实施例的用于三个输入图像的集合的图形构造。
图6A-6F示意性图示了根据本发明实施例的图5B的图形的图形切口。
图7示意性图示了根据本发明实施例的用于四个输入图像的集合的图形构造。
图8示意性图示了根据本发明实施例的用于幻像伪影检测和HDR图像创建的方法。
图9A和9B分别示意性图示了其中可实现本发明实施例的数据处理设备和相机。
具体实施方式
本发明的实施例提供了用于对于HDR图像创建检测多个图像中的幻像伪影的方法。通过按照不同曝光级别拍摄相同场景而获得多个图像(括号)。假设相机在拍摄处理期间基本上不移动；然而，在处理期间，对象可在场景内移动，或者可在场景中出现或从场景消失。在该公开中，这样的对象被统称为移动对象或引入幻像的对象。如果不处置(untreated)，则移动对象将在得到的HDR图像中引入幻像伪影。幻像伪影检测方法标识可引起幻像伪影的、包括这样的移动对象的图像的区域。应注意的是，尽管该方法被称为幻像伪影检测方法，但是在其已被创建之后，其不检测HDR图像中的幻像伪影。相反，该方法检测多个原始图像中的区域，并且如果不处置，则所述多个原始图像中的区域将在HDR图像中引入幻像伪影。
与一些已知方法(例如，Karadag和Akyuz 2012论文中描述的)类似，根据本发明实施例的方法将整个图像划分为多个拼接块(所有括号被划分为相同拼接块)，并且对于每一拼接块，选择一个括号作为基准括号(局部基准)。本发明的实施例与已知方法的不同之处在于，如何对于拼接块选择基准括号。根据本发明实施例的方法确定局部基准(即，要使用哪个括号作为用于图像的每一拼接块的基准)，同时使得由于相邻拼接块之间的不一致导致的伪影最小化。由此，该方法尝试确保在场景的动态区域(即，与移动对象相关的区域)中，选择相同基准括号用于相邻拼接块。根据本发明的实施例，经由考虑拼接块的曝光质量和相邻拼接块的一致性两者的目标函数的最优化，来选择用于每一拼接块的基准括号。
根据本发明的实施例，用于确定每一拼接块的基准括号的方法包括图1中示意性示出的以下步骤。首先，作为用于拼接块集合的括号索引的集合的函数来定义目标函数(要最优化的函数)(步骤S11)。目标函数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量。然后基于该目标函数来构造图形(步骤S12)。然后，使用图形切割算法来计算图形的最佳切口(步骤S13)。按照这样的方式在步骤S12构造图形，从而在步骤S13计算的最佳切口给出使得该目标函数最优化的用于拼接块的括号索引的集合，所述括号索引为了幻像伪影检测和去除的目的而要被用作基准括号。
在一个实施例中，目标函数F如下定义(等式(1))：
F(f)＝ΣpDp(fp)+ΣpΣq∈N(p)Vp，q(fp，fq)   (1)
其中：p和q是拼接块的索引；N(p)是拼接块p的邻居的拼接块索引的集合；fp和fq是用于拼接块p和q的括号索引(例如，如果存在一共三个括号，则每一括号索引能取值0、1或2)；作为通过fp所形成的向量的f是要最优化的向量；Dp(fp)是测量括号fp的拼接块p的曝光质量(在HDR文献中也称为好曝光(well-exposedness))的函数；并且Vp,q(fp,fq)是测量括号fp,fq中的两个相邻拼接块p,q之间的耦接(coupling)的函数。
目标函数F(f)是向量f的函数；最优化问题是找到使得函数F(f)最优化的最佳向量f。该最佳向量f将对于每一拼接块p给出为了幻像伪影检测和去除的目的应被选作那个拼接块的基准括号的括号索引。
取决于Dp(fp)和Vp,q(fp,fq)的定义，F(f)的最优化可以是最小化或最大化。在下面描述的各个实施例中，定义目标函数F(f)使得其将被最小化。
能够看出，目标函数F包括测量个别拼接块的拼接块曝光质量的分量(D)和测量相邻拼接块之间的拼接块到拼接块相关性的分量(V)两者。该第二分量(V)能充当相邻拼接块是否包括相同对象的指示。包括第二分量(V)能帮助降低切割或划分引入幻像的对象的基准括号的改变的发生。
在一个实施例中，用于拼接块p和括号fp的曝光质量值Dp(fp)是用于那个拼接块和那个括号的所有像素的像素曝光质量值的平均值。对于每一像素，曝光质量值是像素强度的函数；一般来说，如果像素强度在像素强度范围的中间部分中，则其具有指示好曝光的值，并且如果像素强度在该中间部分之上或之下，则其具有指示差曝光的值。在一个特定示例中，像素强度范围(即，可能像素值)是0到255，并且中间部分是10到245。当目标函数F要被最小化时，指示好曝光的曝光质量值将低于指示差曝光的曝光质量值。在一个特定示例中，指示好曝光的值是0并且指示差曝光的值在0和1之间。作为像素强度的函数的像素曝光质量值的示例在图3中示出，其中曝光质量值在中间部分是0，并且当像素强度接近该强度范围的两端时，曝光质量值从0增加到1。注意，这样的函数可被称为“逆”曝光质量函数，因为作为习惯问题，用于“质量”的较高值与“较好”关联，而在该示例中，较低曝光质量值对应于较好曝光，即没有过度曝光或曝光不足。如果目标函数F要被最大化，则该像素曝光质量函数可具有相反形状。可使用任何合适的形状用于像素曝光质量函数。
在一个实施例中，通过从图像构造两个拼接块网格(初级拼接块网格和次级拼接块网格)，来计算拼接块到拼接块相关值V，如图4中示意性示出的那样。每一拼接块网格由彼此相邻的相同尺寸和形状的拼接块形成；这两个拼接块网格具有相同拼接块尺寸、形状和布置。在图4中示出的优选实施例中，拼接块的形状是矩形或正方形，并且被水平和垂直对准形成规则网格。也能使用其他拼接块形状和布置。在一个实现中，每一拼接块的尺寸是20×18像素。初级拼接块网格(图4中的较粗线所示)是划分整个图像的网格；次级拼接块网格(图4中的较细线所示)相对于初级拼接块网格横向移动拼接块高度的一半和拼接块宽度的一半。该次级拼接块网格可延伸分别超出图像边界所述拼接块高度和宽度的一半(如图4中示意性示出的)，或者其可比图像小所述拼接块高度和宽度的一半。
在等式(1)中，拼接块索引p和q分别表示初级和次级拼接块网格中的拼接块。对于初级拼接块网格中的每一拼接块p，其相邻拼接块的集合N(p)包括与拼接块p部分重叠的次级拼接块网格中的四个拼接块。图4示出了初级拼接块网格中的拼接块p1(被垂直线施加阴影)和次级拼接块网格中的其相邻拼接块q1(被水平线施加阴影)之一。相反，次级拼接块网格中的每一拼接块q具有初级拼接块网格中的四个相邻拼接块。因为次级网格中的给定拼接块连接到初级网格中的四个不同拼接块，所以初级网格的相邻拼接块经由次级网格的重叠拼接块间接连接。
在等式(1)中，使用彼此重叠的索引p和q的部分(例如，由垂直和水平线两者施加阴影并被标记“p1-q1”的图4中示出的部分)，来定义作为拼接块p及其相邻拼接块q之间的相关性的度量的函数Vp,q(fp,fq)。在一个实现中，使用两个拼接块的重叠部分的归一化交叉相关性(normalizedcross-correlation)(NCC)来计算相关性。例如，Vp,q(fp,fq)可被定义为NCC的单调函数。
数学上，相同尺寸的任何两个图像补丁(image patches)X和Y之间的NCC通过以下公式给出：
NCC ( X , Y ) = Σ i = 1 N ( X i - X ‾ ) ( Y i - Y ‾ ) ( Σ i = 1 N ( X i - X ‾ ) 2 Σ i = 1 N ( Y i - Y ‾ ) 2 )
其中和NCC具有NCC(X,aY+b)＝NCC(X,Y)的属性，其中a和b是常数。由此，NCC对于曝光级别和对比度(contrast)的改变是不变的。
Vp,q(fp,fq)的定义的一个特定示例在下面阐明(等式(2))：
Vp,q(fp,fq)＝0.3+exp(18*(1-NCC)*(1-NCC))   (2)
其中NCC是用于括号fp和fq的拼接块p和q的重叠部分的归一化交叉相关性NCCp,q(fp,fq)的缩略(shorthand)。该函数基于以下考虑来构造：指数函数说明(account for)不期望的低NCC所需要的非常过分(steep)的损失(penalty)。正方形反映对于NCC的高值的容限(tolerance)(例如，在0.8和1之间)。常数项(例如0.3)具有如果曝光级别靠近则保持相同基准括号的效果。利用该定义，Vp,q(fp,fq)代表对于拼接块p和q选择的括号代表相同图像内容(即，相同对象)的信心(confidence)。如果括号fp和fq代表不形成相同对象的图像内容，则Vp,q(fp,fq)可能为低，因为测量两个拼接块的重叠角之间的图像内容的相关性的NCC将为低。也可以使用NCC的其他适当的单调函数。在替换实施例中，NCC能由测量图像之间的视觉相似度的其他适当函数替代；这样的函数对于曝光级别和对比度的改变应该是不变的。
在等式(1)中，在初级拼接块网格的所有拼接块p上对拼接块曝光质量值Dp(fp)求和，并且拼接块到拼接块相关函数Vp,q(fp,fq)首先在每一拼接块p的所有相邻拼接块q∈N(p)上求和，并然后在初级拼接块网格的所有拼接块p上求和。
如前面提及的，最优化的目标在于发现使得目标函数F(f)最优化(最小化或最大化)的向量f＝{fp}(等式(1))。该最佳向量f将给出要用于幻像伪影检测和HDR图像创建的、用于每一拼接块p的基准括号。该最优化问题通过构造代表函数F的图形、并发现该图形的最佳切口而解决。下面参考图5A和5B来描述图形的构造(图1的步骤S12)。在下面的描述中，使用具有三个括号的图像集合作为示例，但是该方法可扩展到其他数目的括号。
如图5A中示出的，图形具有源节点和宿节点、以及多个中间节点。对应于初级拼接块网格中的每一拼接块p，提供两个中间节点Np(1)和Np(2)；与每一拼接块对应的中间节点的数目是括号数目减去1。对应于每一拼接块p，提供三个边缘，分别将源节点链接到第一中间节点，将第一中间节点链接到第二中间节点，并将第二中间节点链接到宿节点。向这三个边缘分配的权重分别是Dp(0)、Dp(1)和Dp(2)，其中Dp(fp)(fp＝0,1,2)是上面结合等式(1)描述的三个括号0、1、2中的用于拼接块p的曝光质量值。换言之，三个边缘代表用于拼接块p的三个括号0、1、2，并且边缘权重代表相应拼接块曝光质量Dp。为了简便，图5A示出了图形(子图形)的一部分，其包括与初级拼接块网格的仅两个拼接块p1和p2对应的中间节点，即，Np1(1)、Np1(2)、Np2(1)和Np2(2)。
类似地，如图5B中示出的，对应于次级拼接块网格中的每一拼接块q，提供两个中间节点Nq(1)和Nq(2)，并且提供三个边缘，分别将源节点链接到第一中间节点，将第一中间节点链接到第二中间节点，并将第二中间节点链接到宿节点。向这三个边缘分配的权重分别是Dq(0)、Dq(1)和Dq(2)，其中Dq(fq)(fq＝0,1,2)是这三个括号0、1、2中的用于拼接块q的曝光质量值。为了简便，图5B示出了子图形，其包括初级拼接块网格中的仅一个拼接块p和次级拼接块网格中的其相邻拼接块q之一的节点(即使存在用于拼接块p的四个相邻拼接块q、和用于拼接块q的四个相邻拼接块p)。
除了如上所述链接用于相同拼接块的节点的纵向边缘之外，该图形还包括链接用于拼接块p的中间节点和用于其相邻拼接块q的中间节点的横向边缘。存在两类横向边缘。第一类横向边缘链接用于拼接块p和拼接块q的一对对应中间节点，例如，将用于拼接块p和q的第一中间节点Np(1)和Nq(1)彼此链接，并将用于拼接块p和q的第二中间节点Np(2)和Nq(2)彼此链接。各个第一类横向边缘的边缘权重是(见图5B)：用于将Np(1)链接到Nq(1)的边缘的V10、用于将Nq(1)链接到Np(1)的边缘的V01、用于将Np(2)链接到Nq(2)的边缘的V21、和用于将Nq(2)链接到Np(2)的边缘的V12。
这里，符号V10、V10等是用于拼接块到拼接块相关值Vp,q(fp,fq)的缩略，其在上面结合等式(1)进行了描述；例如V01＝Vp,q(fp＝0,fq＝1),V10＝Vp,q(fp＝1,fq＝0)，等。由此，V01是括号0中的拼接块p和括号1中的拼接块q之间的相关性，而V10是括号1中的拼接块p和括号0中的拼接块q之间的相关性等。注意，因为使用拼接块p和q的重叠部分来计算相关性V(见等式(2))，并且因为NCC(X,Y)＝NCC(Y,X)，所以沿着两个方向(例如，V01和V10)链接两个对应中间节点的一对边缘的权重总是相等。
第二类横向边缘链接用于拼接块p和拼接块q的一对非对应中间节点。特别是，如图5B中所示，具有权重Va的边缘将用于拼接块q的第二中间节点Nq(2)链接到用于拼接块p的第一中间节点Np(1)，并且具有权重Vb的边缘将用于拼接块p的第二中间节点Np(2)链接到用于拼接块q的第一中间节点Nq(1)。值Va和Vb是(等式(3))：
Va＝V02-V01-V12
Vb＝V20-V10-V21   (3)
将第二类横向边缘(具有上面定义的权重)添加到该图形，以便通过该图形实现F函数的正确表达(等式(1))。
该图形中的边缘是有方向的(directional)，如图5A和5B中图示的那样。在这里的描述中，当边缘的方向从节点1到节点2时，认为节点1“链接到”节点2；“从……链接”意味着相反方向。这样的图形被称为定向图形。更具体地，该图形是流网络，其是其中每一边缘具有容量(上面讨论的权重)并接收流的一类定向图形。
概括来说，根据本发明的实施例，步骤S12中构造的图形具有源节点、宿节点、与初级拼接块网格的每一拼接块p对应的两个(第一和第二)中间节点、以及与次级拼接块网格的每一拼接块q对应的两个(第一和第二)中间节点；源节点链接到每一拼接块p和每一拼接块q的第一中间节点；每一拼接块p和每一拼接块q的第一中间节点链接到相同拼接块的第二中间节点；每一拼接块p和每一拼接块q的第二中间节点链接到宿节点；每一拼接块p(或q)的第一中间节点通过两个边缘链接到其四个相邻拼接块q(或p)的每一个的第一中间节点，并从其链接；每一拼接块p(或q)的第二中间节点通过两个边缘链接到其四个相邻拼接块q(或p)的每一个的第二中间节点，并从其链接；每一拼接块p(或q)的第二中间节点链接到其四个相邻拼接块q(或p)的每一个的第一中间节点；并且各个边缘的边缘权重如上面描述的那样。为了方便，将同一拼接块(p或q)的节点彼此连接或连接到源或宿的边缘被称为拼接块特定边缘，并且连接用于不同拼接块的节点的边缘被称为耦接边缘(也称为横向边缘)。
构造该图形以代表目标函数F(f)(等式(1))，使得该图形的最佳切口(在该实施例中，最小切口)将代表最优化问题的方案，并且给出使得目标函数F(f)最优化(在该实施例中，最小化)的最佳向量f。
图形切口是图形理论的已知区域，并且已在计算机视觉的领域应用，以有效解决能在能量最小化方面公式化(formulated)的各种低级别计算机视觉问题。在图形中执行切割意味着切割(去除)图形的边缘的集合，使得获得顶点(节点)的两个分离子集，这两个集合之间没有连接边缘。切口边缘的集合被称为切口集合。对于具有一个源节点和一个宿节点的流网络，诸如该实施例中构造的图形，s-t切口是切割边缘的集合(其仅包括从源侧到宿侧的边缘)的切口，使得源和宿在不同子集中，即不存在从源到宿的定向路径。流网络的切口具有权重，其被定义为切口集合中的所有边缘的总权重。
使用图5B中示出的图形作为示例，存在总共九种不同方式来切割图形，其中一些在图6A-6F中图示(其他方式能通过简单对称(simple symmetry)而推导出)。在图6A-6F中，开环(open circle)标志切割的边缘(即，在切口集合中)，其权重有助于切口的权重。如果边缘从源侧到宿侧跨过切口，则边缘在切口集合中，但是如果边缘沿着相反方向跨过切口，则边缘不在切口集合中。
流网络的最小切口是最小权重的切口，该切口的权重被定义为切口集合中的所有边缘的总权重。存在已知算法用于发现用于流网络的最小切口。例如，C++BOOST库提供自由开放源算法来解决算术问题，包括最小切口算法。由此，步骤S13是使用最小切口算法发现在步骤S12中构造的图形的最小切口的步骤。
如较早描述的，在步骤S12中构造的图形中，经由初级拼接块网格中的用于拼接块p的两个中间节点连接源和宿节点的三个边缘代表用于拼接块p的三个括号0、1、2。在这三个边缘之中，仅一个边缘将通过最小切口被切割。该切口边缘将指示将成为基准括号的用于拼接块p的括号。由此，一旦发现最小切口，则能标识初级网格的用于所有拼接块p的基准括号(即，向量f＝{fp})。这给出使得目标函数F(f)最优化(在该实施例中，最小化)的最佳向量f(等式(1))。
参考图7描述用于四个输入图像的集合的示例。图7的图形与图5B的图形类似，并且使用相同/相似符号。例如，Np(3)是用于像素p的第三中间节点，Dp(3)是用于括号3中的拼接块p的曝光质量值，V23＝Vp,q(fp＝2,fq＝3)等。拼接块p的第三中间节点利用权重Vd和Vf链接到拼接块q的第二和第一中间节点，并且拼接块q的第三中间节点利用权重Vc和Ve链接到拼接块p的第二和第一中间节点。值Va和Vb与三图像集合示例(等式(3))中的那些相同，并且Vc和Ve的值是(等式(4))：
Vc＝V13-V12-V23
Vd＝V31-V21-V32
Ve＝V03+V12-V13-V02
Vf＝V30+V21-V31-V20   (4)
更一般地，用于M个输入图像的集合的图形具有用于每一拼接块p和q的M-1个中间节点、利用从等式(1)的第一分量D计算的相应权重经由用于每一拼接块p(或q)的中间节点的序列将源节点链接到宿节点的M个纵向边缘、以及利用从等式(1)的第二分量V计算的相应权重将拼接块p(或q)的每一中间节点链接到拼接块q(或p)的每一中间节点、和/或从其链接的横向边缘。
用于五个或更多图像的图像集合的图形能类似地构造，并且能基于这里描述的原理来导出边缘的适当权重。
下面参考图8来描述根据本发明实施例的幻像伪影检测和HDR图像创建的总体处理。
首先，按照前面描述的方式，构造初级拼接块网格以使用用于每一括号(步骤S81)。按照前面描述的方式通过移位初级拼接块网格，来构造次级拼接块网格以使用用于每一括号(步骤S82)。对于每一括号，针对初级网格中的每一拼接块和次级网格中的每一拼接块，计算拼接块曝光质量值(步骤S83)。该步骤中的拼接块曝光质量值对应于等式(1)中的术语Dp(fp)，并且本发明各个实施例中的它们的定义和计算如前面描述的那样。也计算用于每一双括号组合的、初级网格中的每一拼接块与次级网格中的每一相邻拼接块的拼接块到拼接块相关值(步骤S84)。该步骤中的相关值对应于等式1中的术语Vp,q(fp,fq)，并且本发明各个实施例中的它们的定义和计算如前面描述的那样。这里，“双括号组合”表示两个括号索引fp和fq的组合，诸如(fp＝0,fq＝1)等。
然后，基于步骤S81和S82中构造的初级和次级网格以及步骤S83和S84中计算的拼接块曝光质量与拼接块到拼接块相关值，来构造图形(特别是，流网络)(步骤S85)。该图形包括源节点、宿节点、与初级网格的每一拼接块和次级网格的每一拼接块对应的一个或多个节点、以及节点之间的各个拼接块特定边缘和横向耦接边缘。每一边缘具有向其分配的权重，并且这些权重基于拼接块曝光质量以及拼接块到拼接块相关值。本发明实施例中的构造图形的特定方式如前面描述的那样。然后，使用最小切口算法来计算该图形的最佳切口，并且从最佳切口来标识用于初级网格的所有拼接块的基准括号(步骤S86)。本发明实施例中的从最佳切口标识基准括号的方式如前面描述的那样。
一旦标识了用于每一拼接块的基准括号，则能通过对于每一拼接块比较非基准括号和基准括号，来在逐拼接块的基础上检测图像集合中的引起幻像的像素(步骤S87)。例如，能计算基准括号和非基准括号之间的拼接块的归一化交叉相关性(NCC)，作为那个拼接块的非基准括号是否包括引起幻像的对象的指示。可使用其他方法来检测拼接块中的幻像伪影，诸如Karadag和Akyuz 2012论文中描述的方法。在步骤S87，对于每一括号构造幻像图，其是和原始图像具有相同尺寸、并且指示括号中的每一像素是否引起幻像以及由此是否应在创建HDR图像时使用该括号的像素的图。然后，通过使用多个括号连同对应幻像图，来生成HDR图像(步骤S88)。在该步骤中，将不使用由对应幻像图指示为引起幻像的括号的像素来生成HDR图像。结果，避免幻像伪影。
在图8的处理中，步骤S81到S86涉及确定用于每一拼接块的基准括号；并且步骤S87到S88涉及检测和去除幻像伪影并生成HDR图像。能使用现有技术中已知的方法来实现这些步骤的后一集合。
能对上述实施例进行各种改变。例如，尽管使用初级网格和次级网格中的重叠拼接块来在以上实施例中定义拼接块到拼接块相关性Vp,q(fp,fq)，但是其也能通过测量彼此接壤(border)的初级网格中的相邻拼接块的视觉相似度的函数、使用仅初级网格中的拼接块来定义。下面描述这些替换实施例中的两个。在这些描述中，拼接块q是相同网格中的拼接块p的相邻拼接块；能定义邻居的集合作为在四边与拼接块p邻接的四个拼接块的集合，或者作为选择，这样的集合的任何子集。
在计算拼接块到拼接块相关性Vp,q(fp,fq)的第一替换方法中，首先计算以下NCC值：
A＝NCC(Ifp(Rp),Ifq(Rp))
B＝NCC(Ifq(Rq),Ifp(Rq))
其中Ifq(Rq)是括号fp等的拼接块p的图像。由此，值A是括号fp和fq的拼接块p和q之间计算的归一化交叉相关性。
对于fp≠fq，令n为输入图像集合的另一括号的索引，即n≠fp并且n≠fq，并且计算以下值：
C＝max{n}(NCC(Ifp(Rp),In(Rp))+NCC(Ifq(Rq),In(Rq)))
然后，值H被计算为：
对于fp＝fq,Hp,q(fp,fq)＝0；
对于fp≠fq,Hp,q(fp,fq)＝1-max(A,B,C)
然后作为Hp,q(fp,fq)的递增函数来计算拼接块到拼接块相关性Vp,q(fp,fq)。
在计算拼接块到拼接块相关性Vp,q(fp,fq)的第二替换方法中，每一拼接块首先由函数Ef映射，其取决于括号f将像素强度值映射到曝光值。换言之，Ef是向像素值应用的逆相机响应函数(CRF)。
然后令Itest是Efp(Ifp(Rp))和Efq(Ifq(Rq))的并置(juxtaposition)(相邻拼接块)的图像结果。令dist是比较函数(例如，绝对差，1-NCC)。计算如下：
A＝dist(Itest,E0(I0(Rp+Rq)))
B＝dist(Itest,E1(I1(Rp+Rq)))
C＝dist(Itest,E2(I2(Rp+Rq)))
...
Hp,q(fp,fq)＝min(A,B,C,...)
其中Rp+Rq代表通过组合(并置)拼接块Rp和Rq而获得的图像补丁。例如，如果Rp和Rq是正方形，则Rp+Rq是通过组合Rp和Rq而获得的矩形补丁。
然后作为Hp,q(fp,fq)的递增函数来计算拼接块到拼接块相关性Vp,q(fp,fq)。
当仅使用初级网格中的拼接块来计算拼接块到拼接块相关性Vp,q(fp,fq)时，图形构造与上面描述的类似，除了拼接块q现在是同一网格(而不是次级网格)中的拼接块p的相邻拼接块之外。
这里描述的幻像伪影检测和HDR图像创建方法能在诸如图8A中示出的计算机120的数据处理系统中实现。计算机120包括处理器121、储存装置(例如，硬盘驱动器)122、以及内部存储器(例如，RAM)123。储存装置122存储软件程序，所述软件程序被读出到RAM 123并由处理器121运行以执行这些方法。
该方法也可在硬连线电路中实现，诸如数字相机内的一个或多个芯片。图8B示意性图示了数字相机130，其包括处理器121、储存装置132、内部存储器133、以及用于获得图像的成像部件134和用于控制相机的各种功能的控制部件135。控制部件135可执行自动加括号，以按照不同曝光级别来自动拍摄图像的集合。自动加括号是公知的，并且这里省略其细节。处理器131可使用上述算法来处理图像的集合以生成HDR图像。
在一个方面，本发明在数据处理设备中实施，其可以是数字相机的数据处理部件。在另一方面，本发明是在计算机可使用非瞬时介质中实施的计算机程序产品，其中嵌入有计算机可读程序代码，用于控制数据处理设备。在另一方面，本发明是数据处理设备执行的方法。
本领域技术人员将清楚，能在本发明的幻像伪影检测和HDR图像创建方法和相关设备中进行各种修改和变型，而不脱离本发明的精神或范围。由此，本发明意欲覆盖落入所附权利要求及其等效的范围内的修改和变型。

Claims (15)

1.一种用于从多个输入图像的集合生成高动态范围(HDR)图像的方法，每一输入图像被分配括号索引，该方法包括：
(a)将每一输入图像划分为拼接块的集合，其中所有图像被划分为相同的拼接块集合；
(b)确定用于所述拼接块的集合的每一拼接块的基准括号索引，包括：
(b1)作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数，该目标函数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和
(b2)计算使得该目标函数最优化的用于拼接块的基准括号索引的集合；
(c)基于用于拼接块的基准括号索引的集合，通过对于每一拼接块比较其括号索引不是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像，而在逐拼接块的基础上检测输入图像的集合中的引起幻像的像素，并生成指示那个图像中的引起幻像的像素的用于每一输入图像的幻像图；和
(d)使用输入图像的集合和对应幻像图来生成HDR图像。
2.根据权利要求1的方法，其中所述步骤(b2)包括：
基于该目标函数构造图形，使得该图形的最佳切口给出使得该目标函数最优化的用于拼接块的括号索引的集合；和
使用图形切割算法来计算图形的最佳切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
3.根据权利要求1的方法，其中步骤(b1)中的目标函数被定义为：
F(f)＝ΣpDp(fp)+ΣpΣq∈N(p)Vp，q(fp，fq)  (1)
其中：p和q是拼接块的索引，N(p)是拼接块p的邻居的拼接块索引的集合，fp和fq是用于拼接块p和q的括号索引，f是fp所形成的向量，Dp(fp)是测量括号fp的拼接块p的曝光质量的函数，并且Vp,q(fp,fq)是测量括号fp和fq的两个相邻拼接块p和q之间的耦接的函数。
4.根据权利要求3的方法，其中Dp(fp)是用于括号fp的拼接块p的所有像素的像素曝光质量值的平均值。
5.根据权利要求3的方法，
其中步骤(a)中的拼接块的集合具有相同拼接块尺寸并形成初级拼接块网格，
该方法进一步包括通过将该初级拼接块网格移位该拼接块尺寸的一部分，来形成次级拼接块网格，
其中在步骤(b1)中的目标函数中，拼接块索引p和q分别是初级和次级拼接块网格中的索引，并且拼接块p的邻居的集合N(p)是与初级网格中的拼接块p重叠的次级拼接块网格中的拼接块，以及
其中Vp,q(fp,fq)是其中拼接块p和q彼此重叠的区域中的从括号fp和fq的图像计算的相关性值。
6.根据权利要求5的方法，其中步骤(b2)包括：
基于目标函数构造图形，该图形具有源节点、宿节点、和与初级拼接块网格的每一拼接块p以及次级拼接块网格的每一拼接块q对应的M-1个中间节点的序列，M是输入图像的集合中的图像的数目，M个纵向边缘利用基于函数Dp(fp)计算的相应边缘权重经由用于每一拼接块p和每一拼接块q的中间节点的序列而将源节点链接到宿节点，多个横向边缘利用从函数Vp,q(fp,fq)计算的相应边缘权重将拼接块p的每一中间节点链接到拼接块q的每一中间节点和/或从其链接、并将拼接块q的每一中间节点链接到拼接块p的每一中间节点和/或从其链接；和
使用图形切割算法计算该图形的最佳切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
7.根据权利要求5的方法，其中所述输入图像的集合包括分别具有括号索引0、1和2的三个图像；
其中步骤(b2)包括：
基于目标函数构造图形，该图形具有源节点、宿节点、与初级拼接块网格的每一拼接块p对应的第一和第二中间节点、以及与次级拼接块网格的每一拼接块q对应的第一和第二中间节点，
该源节点通过具有相应边缘权重Dp(0)和Dq(0)的相应边缘而链接到每一拼接块p和每一拼接块q的第一中间节点，
所述每一拼接块p和每一拼接块q的第一中间节点通过具有相应边缘权重Dp(1)和Dq(1)的相应边缘而链接到同一拼接块的第二中间节点，
所述每一拼接块p和每一拼接块q的第二中间节点通过具有相应边缘权重Dp(1)和Dq(1)的相应边缘而链接到宿节点，
每一拼接块p的第一中间节点通过具有相应边缘权重Vp,q(1,0)和Vp,q(0,1)的两个边缘而链接到其相邻拼接块q的每一个的第一中间节点并从其链接，每一拼接块q的第一中间节点通过具有相应边缘权重Vp,q(0,1)和Vp,q(1,0)的两个边缘而链接到其相邻拼接块p的每一个的第一中间节点并从其链接，
每一拼接块p的第二中间节点通过具有相应边缘权重Vp,q(2,1)和Vp,q(1,2)的两个边缘而链接到其相邻拼接块q的每一个的第二中间节点并从其链接，每一拼接块q的第二中间节点通过具有相应边缘权重Vp,q(1,2)和Vp,q(2,1)的两个边缘而链接到其相邻拼接块p的每一个的第二中间节点并从其链接，和
每一拼接块p的第二中间节点通过具有边缘权重Vb＝Vp,q(2,0)-Vp,q(1,0)-Vp,q(2,1)的边缘而链接到其四个相邻拼接块q的每一个的第一中间节点，每一拼接块q的第二中间节点通过具有边缘权重Va＝Vp,q(0,2)-Vp,q(0,1)-Vp,q(1,2)的边缘而链接到其四个相邻拼接块p的每一个的第一中间节点；和
使用图形切割算法计算该图形的最佳切口，以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合。
8.一种用于从多个输入图像的集合生成高动态范围(HDR)图像的数据处理设备，每一输入图像被分配括号索引，该设备包括：
(a)用于将每一输入图像划分为拼接块的集合的器件，其中所有图像被划分为相同的拼接块集合；
(b)用于确定用于所述拼接块的集合的每一拼接块的基准括号索引的器件，包括：
(b1)用于作为用于所述拼接块的集合的括号索引的集合的函数来定义目标函数的器件，该目标函数包括测量个别拼接块的曝光质量的分量和测量相邻拼接块之间的相关性的分量；和
(b2)用于计算使得该目标函数最优化的用于拼接块的基准括号索引的集合的器件；
(c)用于基于用于拼接块的基准括号索引的集合、通过对于每一拼接块比较其括号索引不是基准括号索引的每一输入图像与其括号索引是基准括号索引的输入图像、而在逐拼接块的基础上检测输入图像的集合中的引起幻像的像素、并用于生成指示那个图像中的引起幻像的像素的用于每一输入图像的幻像图的器件；和
(d)用于使用输入图像的集合和对应幻像图来生成HDR图像的器件。
9.根据权利要求8的数据处理设备，其中所述器件(b2)包括：
用于基于该目标函数构造图形、使得该图形的最佳切口给出使得该目标函数最优化的用于拼接块的括号索引的集合的器件；和
用于使用图形切割算法来计算图形的最佳切口、以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合的器件。
10.根据权利要求8的数据处理设备，其中所述器件(b1)中的目标函数被定义为：
F(f)＝ΣpDp(fp)+ΣpΣq∈N(p)Vp，q(fp，fq)  (1)
其中p和q是拼接块的索引，N(p)是拼接块p的邻居的拼接块索引的集合，fp和fq是用于拼接块p和q的括号索引，f是fp所形成的向量，Dp(fp)是测量括号fp的拼接块p的曝光质量的函数，并且Vp,q(fp,fq)是测量括号fp和fq的两个相邻拼接块p和q之间的耦接的函数。
11.根据权利要求10的数据处理设备，其中Dp(fp)是用于括号fp的拼接块p的所有像素的像素曝光质量值的平均值。
12.根据权利要求10的数据处理设备，
其中器件(a)中的拼接块的集合具有相同拼接块尺寸并形成初级拼接块网格，
该设备进一步包括用于通过将该初级拼接块网格移位该拼接块尺寸的一部分、来形成次级拼接块网格的器件，
其中在器件(b1)中的目标函数中，拼接块索引p和q分别是初级和次级拼接块网格中的索引，并且拼接块p的邻居的集合N(p)是与初级网格中的拼接块p重叠的次级拼接块网格中的拼接块，以及
其中Vp,q(fp,fq)是其中拼接块p和q彼此重叠的区域中的从括号fp和fq的图像计算的相关性值。
13.根据权利要求12的数据处理设备，其中该器件(b2)包括：
用于基于目标函数构造图形的器件，该图形具有源节点、宿节点、和与初级拼接块网格的每一拼接块p以及次级拼接块网格的每一拼接块q对应的M-1个中间节点的序列，M是输入图像的集合中的图像的数目，M个纵向边缘利用基于函数Dp(fp)计算的相应边缘权重经由用于每一拼接块p和每一拼接块q的中间节点的序列而将源节点链接到宿节点，多个横向边缘利用从函数Vp,q(fp,fq)计算的相应边缘权重将拼接块p的每一中间节点链接到拼接块q的每一中间节点和/或从其链接、并将拼接块q的每一中间节点链接到拼接块p的每一中间节点和/或从其链接；和
用于使用图形切割算法计算该图形的最佳切口、以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合的器件。
14.根据权利要求12的数据处理设备，其中所述输入图像的集合包括分别具有括号索引0、1和2的三个图像；
其中该器件(b2)包括：
用于基于目标函数构造图形的器件，该图形具有源节点、宿节点、与初级拼接块网格的每一拼接块p对应的第一和第二中间节点、以及与次级拼接块网格的每一拼接块q对应的第一和第二中间节点，
该源节点通过具有相应边缘权重Dp(0)和Dq(0)的相应边缘而链接到每一拼接块p和每一拼接块q的第一中间节点，
所述每一拼接块p和每一拼接块q的第一中间节点通过具有相应边缘权重Dp(1)和Dq(1)的相应边缘而链接到同一拼接块的第二中间节点，
所述每一拼接块p和每一拼接块q的第二中间节点通过具有相应边缘权重Dp(1)和Dq(1)的相应边缘而链接到宿节点，
每一拼接块p的第一中间节点通过具有相应边缘权重Vp,q(1,0)和Vp,q(0,1)的两个边缘而链接到其相邻拼接块q的每一个的第一中间节点并从其链接，每一拼接块q的第一中间节点通过具有相应边缘权重Vp,q(0,1)和Vp,q(1,0)的两个边缘而链接到其相邻拼接块p的每一个的第一中间节点并从其链接，
每一拼接块p的第二中间节点通过具有相应边缘权重Vp,q(2,1)和Vp,q(1,2)的两个边缘而链接到其相邻拼接块q的每一个的第二中间节点并从其链接，每一拼接块q的第二中间节点通过具有相应边缘权重Vp,q(1,2)和Vp,q(2,1)的两个边缘而链接到其相邻拼接块p的每一个的第二中间节点并从其链接，和
每一拼接块p的第二中间节点通过具有边缘权重Vb＝Vp,q(2,0)-Vp,q(1,0)-Vp,q(2,1)的边缘而链接到其四个相邻拼接块q的每一个的第一中间节点，每一拼接块q的第二中间节点通过具有边缘权重Va＝Vp,q(0,2)-Vp,q(0,1)-Vp,q(1,2)的边缘而链接到其四个相邻拼接块p的每一个的第一中间节点；和
用于使用图形切割算法计算该图形的最佳切口、以获得使得该目标函数最优化的用于拼接块的基准括号索引的集合的器件。
15.一种数字相机，包括权利要求8的数据处理设备，该数字相机进一步包括：
成像部件，用于获得图像；和
控制部件，用于控制该成像部件以获得具有不同曝光级别的图像的集合。
CN201510089208.XA 2014-02-28 2015-02-27 在高动态范围图像创建中的幻像伪影检测和去除 Active CN104883512B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/194,168 2014-02-28
US14/194,168 US9185270B2 (en) 2014-02-28 2014-02-28 Ghost artifact detection and removal in HDR image creation using graph based selection of local reference

Publications (2)

Publication Number Publication Date
CN104883512A true CN104883512A (zh) 2015-09-02
CN104883512B CN104883512B (zh) 2018-02-13

Family

ID=53950836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510089208.XA Active CN104883512B (zh) 2014-02-28 2015-02-27 在高动态范围图像创建中的幻像伪影检测和去除

Country Status (3)

Country Link
US (1) US9185270B2 (zh)
JP (1) JP6389131B2 (zh)
CN (1) CN104883512B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018085426A1 (en) * 2016-11-01 2018-05-11 Snap Inc. Systems and methods for fast video capture and sensor adjustment
US10600216B2 (en) * 2017-04-14 2020-03-24 Flowfinity Wireless, Inc. Automatic data visualization system
US10475164B2 (en) 2017-09-12 2019-11-12 Qualcomm Incorporated Artifact detection in a contrast enhanced output image
CN108833775B (zh) * 2018-05-22 2020-04-03 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
CN112669299B (zh) * 2020-12-31 2023-04-07 上海智臻智能网络科技股份有限公司 瑕疵检测方法及装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211732A1 (en) * 2009-04-23 2011-09-01 Guy Rapaport Multiple exposure high dynamic range image capture
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
US20120230597A1 (en) * 2004-04-23 2012-09-13 Dolby Laboratories Licensing Corporation Apparatus and Methods for Encoding, Decoding and Representing High Dynamic Range Images
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN103067671A (zh) * 2012-12-31 2013-04-24 华为技术有限公司 一种显示图像的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970170B2 (en) * 2005-05-09 2011-06-28 Lockheed Martin Corporation Continuous extended range image processing
JP2007325199A (ja) * 2006-06-05 2007-12-13 Konica Minolta Holdings Inc 撮像装置および信号処理装置
US7986412B2 (en) * 2008-06-03 2011-07-26 Jzw Llc Interferometric defect detection and classification
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
KR101664123B1 (ko) * 2010-06-14 2016-10-11 삼성전자주식회사 필터링에 기반하여 고스트가 없는 ｈｄｒｉ를 생성하는 장치 및 방법
KR101633377B1 (ko) * 2010-06-18 2016-07-08 삼성전자주식회사 다중 노출에 의한 프레임 처리 방법 및 장치
JP5821571B2 (ja) * 2011-11-28 2015-11-24 富士通株式会社 画像合成装置及び画像合成方法
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US9172890B2 (en) * 2013-07-01 2015-10-27 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120230597A1 (en) * 2004-04-23 2012-09-13 Dolby Laboratories Licensing Corporation Apparatus and Methods for Encoding, Decoding and Representing High Dynamic Range Images
US20110211732A1 (en) * 2009-04-23 2011-09-01 Guy Rapaport Multiple exposure high dynamic range image capture
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN103067671A (zh) * 2012-12-31 2013-04-24 华为技术有限公司 一种显示图像的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127353A (zh) * 2019-12-16 2020-05-08 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111127353B (zh) * 2019-12-16 2023-07-25 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法

Also Published As

Publication number Publication date
JP6389131B2 (ja) 2018-09-12
US20150249774A1 (en) 2015-09-03
CN104883512B (zh) 2018-02-13
US9185270B2 (en) 2015-11-10
JP2015165660A (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
CN104883512A (zh) 在高动态范围图像创建中的幻像伪影检测和去除
CN106027851B (zh) 用于处理图像的方法和系统
JP6159298B2 (ja) 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法
Prados et al. A novel blending technique for underwater gigamosaicing
Nalpantidis et al. Stereo vision for robotic applications in the presence of non-ideal lighting conditions
CN103916603B (zh) 逆光检测方法及设备
Hu et al. Exposure stacks of live scenes with hand-held cameras
CN105765967A (zh) 使用第二相机来调节第一相机的设置
Agrafiotis et al. Underwater photogrammetry in very shallow waters: main challenges and caustics effect removal
Přibyl et al. Feature point detection under extreme lighting conditions
Liu et al. Image contrast enhancement based on intensity expansion-compression
CN102447917A (zh) 立体图像匹配方法及其设备
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、系统及拍摄终端
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system
CN105491301A (zh) 一种成像控制方法及装置
CN113066173B (zh) 三维模型构建方法、装置和电子设备
Romanoni et al. Mesh-based camera pairs selection and occlusion-aware masking for mesh refinement
CN105574844A (zh) 辐射响应函数估计方法和装置
Li et al. Optimal seamline detection in dynamic scenes via graph cuts for image mosaicking
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN107093183A (zh) 一种基于索贝尔边缘检测技术的涂胶路径提取方法
JP2020144686A (ja) モデル作成システム、モデル作成方法
KR20190046415A (ko) 복수 개의 파트에 기초한 객체검출기 및 복수 개의 파트에 기초한 객체검출방법
US10430971B2 (en) Parallax calculating apparatus
EP2947626B1 (en) Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant