CN101980288A - 高动态范围辐照图的生成方法及其系统 - Google Patents

高动态范围辐照图的生成方法及其系统 Download PDF

Info

Publication number
CN101980288A
CN101980288A CN 201010513495 CN201010513495A CN101980288A CN 101980288 A CN101980288 A CN 101980288A CN 201010513495 CN201010513495 CN 201010513495 CN 201010513495 A CN201010513495 A CN 201010513495A CN 101980288 A CN101980288 A CN 101980288A
Authority
CN
China
Prior art keywords
image
alignment
play amount
otherness
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010513495
Other languages
English (en)
Other versions
CN101980288B (zh
Inventor
王森
林福辉
陈远
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN201010513495A priority Critical patent/CN101980288B/zh
Publication of CN101980288A publication Critical patent/CN101980288A/zh
Application granted granted Critical
Publication of CN101980288B publication Critical patent/CN101980288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域,公开了一种高动态范围辐照图的生成方法及其系统。本发明中,将图像序列中的各图像进行二值化处理,在二值化图像中,选取一个图像作为参考图像,其他图像分别与参考图像进行套准,根据套准后的各图像合成高动态范围辐照图。由于经二值化处理后的图像中,每个像素非0即1,因此可使得非参考图像与参考图像之间的差异性计算相对容易,从而可通过计算复杂度较低,资源消耗较少的方式实现其他图像分别与参考图像的套准,实现在手持摄像设备上生成高动态范围辐照图。

Description

高动态范围辐照图的生成方法及其系统
技术领域
本发明涉及图像处理领域,特别涉及图像处理领域中的高动态范围辐照图的生成技术。
背景技术
动态范围表示图像中所包含的从“最暗”亮度至“最亮”亮度的范围。动态范围越大,所能表现的层次越丰富,所包含的色彩空间也越广。在真实的场景中,特别是在一些有不同光照条件的场景中,动态范围非常大,可以包含五个甚至更多数量级的亮度。而现有的电荷藕合器件(Charge Coupled Device,简称“CCD”)和互补型金属氧化物半导体(Complementary Metal-Oxide Semiconductor,简称“CMOS”)传感器只能拍摄256-1024个亮度级。因此,在利用CCD或CMOS传感器拍摄高动态范围的场景时,部分亮度级的信息将会丢失,要么是损失低亮度区域的细节,要么是使得高亮度区域过曝而饱和。
目前,对于由于CCD和CMOS传感器拍摄范围远小于实际场景的动态范围而造成的图像失真的问题,研究人员提出一种基于多曝光的方法:首先,利用不同的曝光时间对同一场景进行拍摄,得到多幅图像,再将它们组合起来,以创建场景的高动态范围辐照图。然后,将得到的高动态范围的辐照图压缩到显示设备能支持的动态范围(通常是0-255),这既是所谓的色调映射(tone mapping)。
在创建场景的高动态范围辐照图时,需要多幅图像作为输入。这些图像应该是每一个像素都对准的,然而,由于手持摄像设备的抖动,不可避免的在这些图像中产生位移,使生成的辐照图不准确,从而严重影响最终的成像质量。对于这个问题,可通过以下两种方案解决:
(1)使用多个图像传感器,或是新颖的传感器以保证多幅输入图像的每一个像素都是对准的。
(2)首先将这些图像之一指定为该图像序列的参考图像。然后,每幅非参考图像利用这些图像(包括该参考图像)中的另一幅图像来套准,来生成流场。连接这些流场,以便利用参考图像来套准它们中的每幅图像。然后利用其关联的流场来扭曲每幅非参考图像。组合该参考图像和扭曲图像,以创建场景的辐照图(具体可参见专利号为200410069953.X的专利申请)。
然而,本发明的发明人发现,方案一对传感器设备的要求太高,也不利于与传统摄像系统的融合,不具有实用价值。方案二虽然只用到了传统的传感器,但其在套准过程中使用的基于光流场的算法,需要大量计算单元和存储空间,成本高,速度慢,只能在通用计算机上运行,不利于在手持摄像装置的硬件实现。
也就是说,无论方案一还是方案二,都无法实现在手持摄像装置上进行不同曝光时间图像的套准并拍摄高动态范围的场景。
发明内容
本发明的目的在于提供一种高动态范围辐照图的生成方法及其系统,使得能够利用普通的低动态范围图像传感器,在手持摄像装置上进行不同曝光时间图像的套准并拍摄高动态范围的场景。
为解决上述技术问题,本发明的实施方式提供了一种高动态范围辐照图的生成方法,包含以下步骤:
A、将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像,图像序列为对同一场景用不同曝光时间拍摄的一系列图像;
B、在得到的二值化图像中,选取一个图像作为参考图像,以参考图像为基准,将二值化图像中的其他图像分别与参考图像进行套准;
C、根据套准后的各图像合成高动态范围辐照图。
本发明的实施方式还提供了一种高动态范围辐照图的生成系统,包含:
二值化处理模块,用于将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像,图像序列为对同一场景用不同曝光时间拍摄的一系列图像;
套准模块,用于在二值化处理模块得到的二值化图像中,选取一个图像作为参考图像,以参考图像为基准,将二值化图像中的其他图像分别与参考图像进行套准;
合成模块,用于根据经套准模块套准后的各图像合成高动态范围辐照图。
本发明实施方式与现有技术相比,主要区别及其效果在于:
将图像序列中的各图像进行二值化处理,在二值化图像中,选取一个图像作为参考图像,其他图像分别与参考图像进行套准,根据套准后的各图像合成高动态范围辐照图。由于在用于合成高动态范围图像而拍摄的图像序列中,图像的内容因为曝光时间的长短会有较大的差异,如果直接对这些图像进行套准,会得到错误的偏移量,使最终的图像质量下降。因此通过对图像序列中的各图像进行二值化处理,可以使图像的内容一致,以便进行套准。而且,经二值化处理后的图像中,每个像素非0即1,因此可使得非参考图像与参考图像之间的差异性计算相对容易,从而可通过计算复杂度较低,资源消耗较少的方式实现非参考图像与参考图像的套准,有利于在手持摄像设备上生成高动态范围辐照图。也就是说,能够利用普通的低动态范围图像传感器,在手持摄像装置上进行不同曝光时间图像的套准并拍摄高动态范围的场景。
进一步地,通过参考图像和待套准图像的行投影、列投影得到参考图像和待套准图像的行差异性和列差异性,进而获取套准偏移量,进一步保证了以较低的计算复杂度、较少的资源消耗计算套准偏移量。
进一步地,通过将计算到的套准偏移量与预定阈值进行比较,在大于或等于预定阈值时,需要对行投影和列投影进行修正,再根据修正后的行投影和列投影重新计算行差异性和列差异性,进而得到新的套准偏移量,直至最近一次得到的套准偏移量小于预定阈值为止。由于图像之间偏移量的存在,使图像内容上有区别,而这个区别在图像二值化的过程中有可能被放大,因此,通过引入套准偏移量计算的迭代过程,可以有效减少套准偏移量的计算误差。
进一步地,通过将图像转换为灰度图像,以灰度图像的像素值的中值作为阈值,将图像二值化,实现方便,简单易行。
进一步地,在获取灰度图像的像素值的中值时,可以通过对灰度图像的直方图统计,获取灰度图像的像素值的中值,有效保证了中值获取的准确性。
附图说明
图1是根据本发明第一实施方式的高动态范围辐照图的生成方法流程图;
图2是根据本发明第一实施方式中的每一幅图像所需进行的二值化处理流程图;
图3是根据本发明第一实施方式中的每一幅待套准图像与参考图像的套准流程图;
图4是根据本发明第二实施方式的高动态范围辐照图的生成系统的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种高动态范围辐照图的生成方法。图1是该高动态范围辐照图的生成方法的流程示意图。
在步骤110中,手持设备对同一场景用不同曝光时间拍摄一系列图像,得到图像序列。
接着,在步骤120中,手持设备将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像。由于在用于合成高动态范围图像而拍摄的图像序列中,图像的内容因为曝光时间的长短会有较大的差异,如果直接对这些图像进行套准,会得到错误的偏移量,使最终的图像质量下降。因此,首先需要将这些图像进行二值化处理,使图像的内容一致,以便进行套准。每一幅图像所需进行的二值化处理如图2所示:
在步骤201中,将图像转换为灰度图像。具体地说,在拍摄到的图像序列中,图像中的像素通常用24比特的RGB来表示。本步骤就是将24比特的RGB转换为8比特的灰度图像。
接着,在步骤202中,获取灰度图像的像素值的中值。具体地说,对灰度图像进行直方图统计,利用灰度图像的直方图分布,查找到灰度图像的像素值的中值。在获取灰度图像的像素值的中值时,可以通过对灰度图像的直方图统计,获取灰度图像的像素值的中值,有效保证了中值获取的准确性。
接着,在步骤203中,以在步骤202中获取的中值为阈值,将图像二值化,得到二值化图像。其中,灰度图像中像素值大于中值的像素,在二值化图像中为1,否则为0,即将灰度图像中像素值大于中值的像素取为1,将灰度图像中像素值小于或等于中值的像素取为0。
通过将图像转换为灰度图像,以灰度图像的像素值的中值作为阈值,将图像二值化,实现方便,简单易行。此外,可以理解,在实际应用中,也可以通过其他方式实现图像的二值化处理,在此不再赘述。
在步骤130中,在得到的二值化图像中,选取一个图像作为参考图像,以参考图像为基准,将二值化图像中的其他图像分别与参考图像进行套准。每一幅非参考图像(即待套准图像)与参考图像的套准流程如图3所示:
在步骤301中,对参考图像和待套准图像,在水平方向上对每一行的像素求和,得到参考图像和待套准图像的行投影,在垂直方向上对每一列的像素求和,得到参考图像和待套准图像的列投影,即:
C k ( j ) = Σ i G k ( i , j ) R k ( i ) = Σ j G k ( i , j ) C r ( j ) = Σ i G r ( i , j ) R r ( i ) = Σ j G r ( i , j )
其中,Rk(i)表示待套准图像的第i行投影,Ck(j)表示待套准图像的第j列投影;Rr(i)表示参考图像的第i行投影,Cr(j)表示参考图像的第j列投影。Gk(i,j)表示待套准图像第i行第j列的像素,Gr(i,j)表示参考图像第i行第j列的像素。
接着,在步骤302中,根据行投影和列投影,计算参考图像和待套准图像,在水平方向上的行差异性和垂直方向上的列差异性。
具体地说,通过以下公式,在搜索范围m,对每一个允许的偏移量Wv,计算参考图像和待套准图像的行差异性:
Diff _ R ( Wv ) = Σ i = 1 M - 2 m | R r ( i + Wv - 1 ) - R k ( m + i ) |
其中,M表示图像内所包含的行数。在搜索范围m内,存在多少个允许的偏移量Wv,以及各Wv的取值,属于本领域的公知常识,在此不再赘述。
通过以下公式,在搜索范围n,对每一个允许的偏移量Wh,计算参考图像和待套准图像的列差异性:
Diff _ C ( Wh ) = Σ j = 1 N - 2 n | C r ( i + Wv - 1 ) - C k ( n + j ) |
其中,N表示图像内所包含的列数。在搜索范围n内,存在多少个允许的偏移量Wh,以及各Wh的取值,属于本领域的公知常识,在此不再赘述。
接着,在步骤303中,根据计算的行差异性和列差异性,得到在水平方向上的初始套准偏移量X0和在垂直方向上的初始套准偏移量Y0
具体地说,找到使得行差异性和列差异性最小的搜索位置Wvmin和Whmin,即找到在步骤302中求得的最小Diff_R(Wv)所对应的Wv作为Wvmin,求得的最小Diff_C(Wh)所对应的Wh作为Whmin,并通过以下公式得到X0和Y0
X 0 = n + 1 - Wh min Y 0 = m + 1 - Wv min
由于图像之间偏移量的存在,使图像内容上有区别。这个区别在图像二值化的过程中被放大,使得由步骤303所计算出的初始套准偏移量有误差。为了修正这个误差,引入了以下迭代过程。
在步骤304中,分别对行投影和列投影进行修正。具体地说,根据水平偏移量来决定参考图像和待套准图像的投影修正范围。这里规定以待套准图像在参考图像的右边为水平偏移量的正方向。如果初始套准偏移量X0为正,参考图像中的水平修正量为:
Ref _ R ( i ) = Σ j = 0 X 0 G r ( i , j )
待套准图像的水平修正量为:
Cur _ R ( i ) = Σ j = M - X 0 M G k ( i , j )
若初始套准偏移量X0为负,参考图像中的水平修正量为:
Ref _ R ( i ) = Σ j = M - X 0 M G r ( i , j )
待套准图像的水平修正量为:
Cur _ R ( i ) = Σ j = 0 X 0 G k ( i , j )
因此,修正后的的水平投影(即修正后的行投影)为:
Rr′(i)=Rr(i)-Ref_R(i)
Rk′(i)=Rk(i)-Cur_R(i)
根据垂直偏移量来决定参考图像和待套准图像的投影修正范围。这里规定以待套准图像在参考图像的下方为垂直偏移量的正方向。如果初始套准偏移量Y0为正,参考图像中的垂直修正量为:
Ref _ C ( j ) = Σ i = 0 Y 0 G r ( i , j )
待套准图像的水平修正量为:
Cru _ C ( j ) = Σ i = N - Y 0 N G k ( i , j )
如果初始套准偏移量Y0为负,参考图像中的垂直修正量为:
Ref _ C ( j ) = Σ i = N - Y 0 N G r ( i , j )
待套准图像的水平修正量为:
Cur _ C ( j ) = Σ i = 0 Y 0 G k ( i , j )
因此,修正后的的垂直投影(即修正后的列投影)为:
Cr′(j)=Cr(j)-Ref_C(j)
Ck′(j)=Ck(j)-Cur_C(j)
接着,在步骤305中,根据修正后的行投影和列投影重新计算行差异性和列差异性。本步骤中行差异性和列差异性的具体计算方式与步骤302相同,在此不再赘述。
接着,在步骤306中,根据重新计算的行差异性和列差异性获取套准偏移量。本步骤中套准偏移量的具体计算方式与步骤303相同,即找到使得行差异性和列差异性最小的搜索位置Wvmin和Whmin,求得水平方向上的套准偏移量X1和垂直方向上的套准偏移量Y1
接着,在步骤307中,判断X1和Y1是否小于预定阈值,如果小于预定阈值,则进入步骤308;如果不小于预定阈值,即大于或等于预定阈值,则回到步骤304,继续对行投影和列投影进行修正。如果判定结果为最近一次获取的套准偏移量大于或等于预定阈值Th,则表明本次套准与上次套准差异较大,需要继续修正。以最近一次修正后的投影值为原始投影,根据最近一次获取的套准偏移量继续对行投影和列投影进行修正、重新计算行差异性和列差异性、重新获取套准偏移量。比如说,如果X1和Y1大于或等于预定阈值,则回到步骤304后,经过步骤305、306,得到X2和Y2,继续判断X2和Y2是否小于预定阈值。如此往复,直到第k次迭代后的修正偏移量Xk和Yk小于预定阈值,进入步骤308。
在步骤308中,获取最终的套准偏移量。在本步骤中,最终的套准偏移量为获取到的包括初始套准偏移量在内的所有套准偏移量的累加值。即最终的套准偏移量为:
X = Σ t = 0 k X t Y = Σ t = 0 k Y t
在步骤309中,根据步骤308得到的最终的套准偏移量,对待套准图像进行与参考图像的套准。
在完成图像序列中每一幅非参考图像与参考图像的套准后,进入步骤140,根据套准后的各图像合成高动态范围辐照图。具体地说,手持设备将套准后的各图像以及参考图像转化成各自的辐照图,然后按照加权平均的方法将各辐照图合成最后的高动态范围辐照图。
接着,在步骤150中,手持设备对合成的高动态范围辐照图进行色调映射,将合成的高动态范围辐照图压缩至终端设备能支持的动态范围。
不难发现,由于经二值化处理后的图像中,每个像素非0即1,因此可使得非参考图像与参考图像之间的差异性计算相对容易,从而可通过计算复杂度较低,资源消耗较少的方式实现其他图像分别与参考图像的套准,有利于在手持摄像设备上生成高动态范围辐照图。也就是说,能够利用普通的低动态范围图像传感器,在手持摄像装置上进行不同曝光时间图像的套准并拍摄高动态范围的场景。而且,通过参考图像和待套准图像的行投影、列投影得到参考图像和待套准图像的行差异性和列差异性,进而获取套准偏移量,进一步保证了能以较低的计算复杂度、较少的资源消耗计算套准偏移量。
本发明的方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第二实施方式涉及一种高动态范围辐照图的生成系统。图4是该高动态范围辐照图的生成系统的结构示意图。该高动态范围辐照图的生成系统包含:
二值化处理模块,用于将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像,图像序列为对同一场景用不同曝光时间拍摄的一系列图像。
套准模块,用于在二值化处理模块得到的二值化图像中,选取一个图像作为参考图像,以参考图像为基准,将二值化图像中的其他图像分别与参考图像进行套准。
合成模块,用于根据经套准模块套准后的各图像和参考图像合成高动态范围辐照图。
色调映射模块,用于将合成模块合成的高动态范围辐照图进行色调映射,将合成的高动态范围辐照图压缩至终端设备能支持的动态范围。
其中,套准模块通过包含以下子模块,将二值化图像中的其他图像,均与参考图像进行套准:
投影计算子模块,用于对参考图像和待套准图像,在水平方向上对每一行的像素求和,得到参考图像和待套准图像的行投影,在垂直方向上对每一列的像素求和,得到参考图像和待套准图像的列投影。
差异性计算子模块,用于根据行投影和列投影,计算参考图像和待进行套准的图像,在水平方向上的行差异性和垂直方向上的列差异性。
套准偏移量计算子模块,用于根据计算的行差异性和列差异性,得到在水平方向上的初始套准偏移量和在垂直方向上的初始套准偏移量。
修正子模块,用于根据水平方向上的初始套准偏移量和垂直方向上的初始套准偏移量,分别对行投影和列投影进行修正,并指示差异性计算子模块根据修正后的行投影和列投影重新计算行差异性和列差异性,并指示套准偏移量计算子模块根据重新计算的行差异性和列差异性获取套准偏移量。套准偏移量计算子模块在获取到套准偏移量后,触发判断子模块。
判断子模块,用于判断最近一次获取的套准偏移量是否小于预定阈值。判断子模块在判定最近一次获取的套准偏移量小于预定阈值时,触发累加子模块;在判定最近一次获取的套准偏移量小于预定阈值时,触发修正子模块根据最近一次获取的套准偏移量继续对行投影和列投影进行修正,并指示差异性计算子模块继续根据修正后的行投影和列投影重新计算行差异性和列差异性,并指示套准偏移量计算子模块根据重新计算的行差异性和列差异性获取套准偏移量。
累加子模块,用于将获取到的包括初始套准偏移量在内的所有套准偏移量进行累加,得到最终的套准偏移量,并根据最终的套准偏移量将待套准图像与参考图像进行套准。
二值化处理模块包含以下子模块:
转换子模块,用于将图像序列中的每一幅图像分别转换为灰度图像,得到各图像的灰度图像。
中值获取子模块,用于对每一幅灰度图像,获取灰度图像的像素值的中值。中值获取子模块在获取灰度图像的像素值的中值时,可对灰度图像进行直方图统计,利用灰度图像的直方图分布,获取灰度图像的像素值的中值。
处理子模块,用于对每一幅灰度图像,以获取的该灰度图像的中值为阈值,将该灰度图像中像素值大于中值的像素取为1,将该灰度图像中像素值小于或等于中值的像素取为0。
合成模块包含以下子模块:
辐照图生成子模块,用于将套准后的各图像和参考图像分别生成各图像的辐照图。
加权平均子模块,用于通过对各图像的辐照图进行加权平均,合成最终的高动态范围辐照图。
不难发现,第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是,本发明的设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (14)

1.一种高动态范围辐照图的生成方法,其特征在于,包含以下步骤:
A、将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像,所述图像序列为对同一场景用不同曝光时间拍摄的一系列图像;
B、在得到的所述二值化图像中,选取一个图像作为参考图像,以所述参考图像为基准,将所述二值化图像中的其他图像分别与所述参考图像进行套准;
C、根据套准后的各图像和所述参考图像合成高动态范围辐照图。
2.根据权利要求1所述的高动态范围辐照图的生成方法,其特征在于,所述二值化图像中的其他图像,均通过以下方式与所述参考图像进行套准:
B1、对所述参考图像和待套准图像,在水平方向上对每一行的像素求和,得到所述参考图像和待套准图像的行投影,在垂直方向上对每一列的像素求和,得到所述参考图像和待套准图像的列投影;
B2、根据所述行投影和列投影,计算所述参考图像和待套准图像,在水平方向上的行差异性和垂直方向上的列差异性;
B3、根据计算的所述行差异性和列差异性,得到在水平方向上的初始套准偏移量和在垂直方向上的初始套准偏移量;
B4、根据所述水平方向上的初始套准偏移量和所述垂直方向上的初始套准偏移量,分别对所述行投影和列投影进行修正,并根据修正后的行投影和列投影重新计算行差异性和列差异性;并根据重新计算的行差异性和列差异性获取套准偏移量;
B5、判断所述套准偏移量是否小于预定阈值,如果小于所述预定阈值,则对所述初始套准偏移量和所述套准偏移量进行累加,得到最终的套准偏移量,并根据所述最终的套准偏移量将所述待套准图像与所述参考图像进行套准。
3.根据权利要求2所述的高动态范围辐照图的生成方法,其特征在于,在所述步骤B5中,如果判定所述套准偏移量大于或等于所述预定阈值,则执行以下步骤:
根据最近一次获取的套准偏移量继续对所述行投影和列投影进行修正,根据修正后的行投影和列投影重新计算行差异性和列差异性,并根据重新计算的行差异性和列差异性获取套准偏移量,如果最近一次获取的套准偏移量大于或等于所述预定阈值,则重复执行本步骤,直至最近一次获取的套准偏移量小于所述预定阈值;
所述最终的套准偏移量为获取到的包括所述初始套准偏移量在内的所有套准偏移量的累加值。
4.根据权利要求1所述的高动态范围辐照图的生成方法,其特征在于,所述二值化处理包含以下子步骤:
A1、将图像转换为灰度图像;
A2、获取所述灰度图像的像素值的中值;
A3、以获取的所述中值为阈值,将所述灰度图像中像素值大于所述中值的像素取为1,将所述灰度图像中像素值小于或等于所述中值的像素取为0。
5.根据权利要求4所述的高动态范围辐照图的生成方法,其特征在于,在获取所述灰度图像的像素值的中值时,对所述灰度图像进行直方图统计,利用所述灰度图像的直方图分布,获取所述灰度图像的像素值的中值。
6.根据权利要求1至5中任一项所述的高动态范围辐照图的生成方法,其特征在于,所述步骤C中包含以下子步骤:
C1、将套准后的各图像和所述参考图像分别生成各图像的辐照图;
C2、通过对各图像的辐照图进行加权平均,合成最终的高动态范围辐照图。
7.根据权利要求1至5中任一项所述的高动态范围辐照图的生成方法,其特征在于,在所述步骤C之后,还包含以下步骤:
对合成的所述高动态范围辐照图进行色调映射,将合成的所述高动态范围辐照图压缩至终端设备能支持的动态范围。
8.一种高动态范围辐照图的生成系统,其特征在于,包含:
二值化处理模块,用于将图像序列中的每一幅图像分别进行二值化处理,得到各图像的二值化图像,所述图像序列为对同一场景用不同曝光时间拍摄的一系列图像;
套准模块,用于在所述二值化处理模块得到的所述二值化图像中,选取一个图像作为参考图像,以所述参考图像为基准,将所述二值化图像中的其他图像分别与所述参考图像进行套准;
合成模块,用于根据经所述套准模块套准后的各图像和所述参考图像合成高动态范围辐照图。
9.根据权利要求8所述的高动态范围辐照图的生成系统,其特征在于,所述套准模块通过包含以下子模块,将所述二值化图像中的其他图像,均与所述参考图像进行套准:
投影计算子模块,用于对所述参考图像和待套准图像,在水平方向上对每一行的像素求和,得到所述参考图像和待套准图像的行投影,在垂直方向上对每一列的像素求和,得到所述参考图像和待套准图像的列投影;
差异性计算子模块,用于根据所述行投影和列投影,计算所述参考图像和待套准图像,在水平方向上的行差异性和垂直方向上的列差异性;
套准偏移量计算子模块,用于根据计算的所述行差异性和列差异性,得到在水平方向上的初始套准偏移量和在垂直方向上的初始套准偏移量;
修正子模块,用于根据所述水平方向上的初始套准偏移量和所述垂直方向上的初始套准偏移量,分别对所述行投影和列投影进行修正,并指示所述差异性计算子模块根据修正后的行投影和列投影重新计算行差异性和列差异性,并指示所述套准偏移量计算子模块根据重新计算的行差异性和列差异性获取套准偏移量,套准偏移量计算子模块在获取到套准偏移量后,触发判断子模块;
判断子模块,用于判断最近一次获取的套准偏移量是否小于预定阈值,并在判定最近一次获取的套准偏移量小于预定阈值时,触发累加子模块;
累加子模块,用于将获取到的包括所述初始套准偏移量在内的所有套准偏移量进行累加,得到最终的套准偏移量,并根据所述最终的套准偏移量将所述待套准图像与所述参考图像进行套准。
10.根据权利要求9所述的高动态范围辐照图的生成系统,其特征在于,所述判断子模块还用于在判定最近一次获取的套准偏移量大于或等于所述预定阈值时,触发所述修正子模块根据最近一次获取的套准偏移量继续对所述行投影和列投影进行修正,并指示所述差异性计算子模块继续根据修正后的行投影和列投影重新计算行差异性和列差异性,并指示所述套准偏移量计算子模块根据重新计算的行差异性和列差异性获取套准偏移量。
11.根据权利要求8所述的高动态范围辐照图的生成系统,其特征在于,所述二值化处理模块包含以下子模块:
转换子模块,用于将每一幅图像分别转换为灰度图像,得到各图像的灰度图像;
中值获取子模块,用于对每一幅所述灰度图像,获取灰度图像的像素值的中值;
处理子模块,用于对每一幅所述灰度图像,以获取的该灰度图像的中值为阈值,将该灰度图像中像素值大于中值的像素取为1,将该灰度图像中像素值小于或等于中值的像素取为0。
12.根据权利要求11所述的高动态范围辐照图的生成系统,其特征在于,所述中值获取子模块在获取所述灰度图像的像素值的中值时,对所述灰度图像进行直方图统计,利用所述灰度图像的直方图分布,获取所述灰度图像的像素值的中值。
13.根据权利要求8至12中任一项所述的高动态范围辐照图的生成系统,其特征在于,所述合成模块包含以下子模块:
辐照图生成子模块,用于将套准后的各图像和所述参考图像分别生成各图像的辐照图;
加权平均子模块,用于通过对各图像的辐照图进行加权平均,合成最终的高动态范围辐照图。
14.根据权利要求8至12中任一项所述的高动态范围辐照图的生成系统,其特征在于,所述高动态范围辐照图的生成系统还包含:
色调映射模块,用于将所述合成模块合成的高动态范围辐照图进行色调映射,将合成的所述高动态范围辐照图压缩至终端设备能支持的动态范围。
CN201010513495A 2010-10-21 2010-10-21 高动态范围辐照图的生成方法及其系统 Active CN101980288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010513495A CN101980288B (zh) 2010-10-21 2010-10-21 高动态范围辐照图的生成方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010513495A CN101980288B (zh) 2010-10-21 2010-10-21 高动态范围辐照图的生成方法及其系统

Publications (2)

Publication Number Publication Date
CN101980288A true CN101980288A (zh) 2011-02-23
CN101980288B CN101980288B (zh) 2012-10-17

Family

ID=43600789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010513495A Active CN101980288B (zh) 2010-10-21 2010-10-21 高动态范围辐照图的生成方法及其系统

Country Status (1)

Country Link
CN (1) CN101980288B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905746A (zh) * 2012-12-28 2014-07-02 清华大学 亚像素级图像偏移定位及叠加方法和装置以及视频设备
CN104144298A (zh) * 2014-07-16 2014-11-12 浙江宇视科技有限公司 一种宽动态图像合成方法
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262566A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种数码摄像装置和数码摄像处理方法
CN101399923A (zh) * 2007-09-28 2009-04-01 索尼株式会社 成像装置、成像方法和程序
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
CN101729789A (zh) * 2008-10-21 2010-06-09 索尼株式会社 成像装置、成像方法以及程序
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399923A (zh) * 2007-09-28 2009-04-01 索尼株式会社 成像装置、成像方法和程序
CN101262566A (zh) * 2008-03-31 2008-09-10 杭州华三通信技术有限公司 一种数码摄像装置和数码摄像处理方法
CN101729789A (zh) * 2008-10-21 2010-06-09 索尼株式会社 成像装置、成像方法以及程序
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机辅助设计与图形学学报》 20070430 华顺刚等 同一场景不同曝光图像的配准及HDR图像合成 第528-534页 第19卷, 第4期 2 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905746A (zh) * 2012-12-28 2014-07-02 清华大学 亚像素级图像偏移定位及叠加方法和装置以及视频设备
CN103905746B (zh) * 2012-12-28 2017-02-22 清华大学 亚像素级图像偏移定位及叠加方法和装置以及视频设备
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN104349066B (zh) * 2013-07-31 2018-03-06 华为终端(东莞)有限公司 一种生成高动态范围图像的方法、装置
CN104144298A (zh) * 2014-07-16 2014-11-12 浙江宇视科技有限公司 一种宽动态图像合成方法
CN104144298B (zh) * 2014-07-16 2017-09-19 浙江宇视科技有限公司 一种宽动态图像合成方法

Also Published As

Publication number Publication date
CN101980288B (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
Cui et al. Multitask aet with orthogonal tangent regularity for dark object detection
US11430103B2 (en) Method for image processing, non-transitory computer readable storage medium, and electronic device
US10291823B2 (en) Apparatus and method for color calibration
CN102687500B (zh) 图像恢复装置以及图像恢复方法
CN105611185B (zh) 图像生成方法、装置及终端设备
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
CN104349066A (zh) 一种生成高动态范围图像的方法、装置
WO2020059565A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US9036047B2 (en) Apparatus and techniques for image processing
CN102257531A (zh) 高动态范围图像组合
CN103314572A (zh) 用于图像处理的方法和设备
CN107925726A (zh) 用于产生高动态范围图像的有效存储装置
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN101980288B (zh) 高动态范围辐照图的生成方法及其系统
CN113034447B (zh) 一种边缘缺陷检测方法和装置
CN102004375A (zh) 用于校准基于投影仪的显示系统的投影仪掩膜
WO2011038143A1 (en) Method and apparatus for image correction
US11069037B2 (en) Image fusion method and device for removing ghost artifacts
CN103020924A (zh) 基于相似场景的低照度监控图像增强方法
JP2009294170A (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
CN109068060A (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
US10158790B2 (en) Image processing apparatus, image processing system, and image processing method
Bilcu et al. High dynamic range imaging on mobile devices
CN109523456A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180411

Address after: The 300456 Tianjin FTA test area (Dongjiang Bonded Port) No. 6865 North Road, 1-1-1802-7 financial and trade center of Asia

Patentee after: Xinji Lease (Tianjin) Co.,Ltd.

Address before: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110223

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xinji Lease (Tianjin) Co.,Ltd.

Contract record no.: 2018990000196

Denomination of invention: Method and system for generating wide-dynamic-range irradiance image

Granted publication date: 20121017

License type: Exclusive License

Record date: 20180801

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221018

Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 300456 1-1-1802-7, north area of financial and Trade Center, No. 6865, Asia Road, Tianjin pilot free trade zone (Dongjiang Bonded Port Area)

Patentee before: Xinji Lease (Tianjin) Co.,Ltd.

TR01 Transfer of patent right