CN105574844A - 辐射响应函数估计方法和装置 - Google Patents
辐射响应函数估计方法和装置 Download PDFInfo
- Publication number
- CN105574844A CN105574844A CN201410645326.XA CN201410645326A CN105574844A CN 105574844 A CN105574844 A CN 105574844A CN 201410645326 A CN201410645326 A CN 201410645326A CN 105574844 A CN105574844 A CN 105574844A
- Authority
- CN
- China
- Prior art keywords
- image
- pair
- region
- intensity level
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
公开了一种辐射响应函数估计方法和装置。该方法用于估计成像设备的辐射响应函数,并且包括:获取该成像设备采用不同曝光度所采集的多幅图像;分别将各幅图像划分为多个图像区域;在该多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括该至少一对图像中彼此匹配的两个图像区域;针对各个图像对,根据该图像对中各个图像区域匹配对中各个像素的强度值来确定该图像对的总体强度值映射关系,该总体强度值映射关系指示出该图像对中各个强度值之间的对应关系;以及根据各个图像对的总体强度值映射关系来估计该辐射响应函数。因此,根据本发明的方法不仅能够适用于静态场景,同时能够适用于动态场景。
Description
技术领域
本发明涉及计算机技术领域,更具体地,本发明涉及一种辐射响应函数估计方法和装置。
背景技术
众所周知,成像设备(诸如,照相机、摄像机等)的辐射响应函数(又称为,相机响应函数CRF)在许多应用中都起到非常重要的作用,例如,其可以被应用于计算机视觉系统或图像处理系统中,以执行诸如图像去模糊、噪声移除、立体成像、高动态范围图像(HDRI)生成等图像处理操作。因此,用于估计辐射响应函数的方法(也称为,成像设备的辐射标定方法)也就变得至关紧要。
目前,主要有两类常用的辐射标定方法:基于参考物体的标定方法和不采用参考物体的标定方法。由于基于参考物体的标定方法具有一定的局限性,因此,不需要参考物体的标定方法更多地受到人们的重视。
然而,目前不需要参考物体的标定方法的应用场景受限,其通常只能应用于静态场景或场景中仅存在微小变化的曝光度图像,这是由于当在拍摄过程中,成像设备的拍摄角度变化较大或不同曝光度图像间分别有不同的物体出现时,该类方法将失效。
发明内容
本发明的目的在于,提供一种辐射响应函数估计方法和装置,其能有效降低在大范围内因物体或相机运动而对辐射响应函数估计带来的影响,从而较鲁棒地完成相机的标定。
为了解决上述技术问题,根据本发明的一个方面,提供了一种辐射响应函数估计方法,所述方法用于估计成像设备的辐射响应函数,所述方法包括:获取所述成像设备采用不同曝光度所采集的多幅图像;分别将各幅图像划分为多个图像区域;在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域;针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系;以及根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
此外,根据本发明的另一方面,提供了一种辐射响应函数估计装置,所述装置用于估计成像设备的辐射响应函数,所述装置包括:图像获取装置,用于获取所述成像设备采用不同曝光度所采集的多幅图像;区域划分装置,用于分别将各幅图像划分为多个图像区域;匹配区域查找装置,用于在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域;总体关系确定装置,用于针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系;以及响应函数估计装置,用于根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
与现有技术相比,本发明的实施例提供了一种辐射响应函数估计方法和装置,其能够基于具有不同曝光度的图像进行成像设备的辐射响应函数的标定,并且能够基于真正可靠的像素点进行辐射响应函数的估计。在整个过程中,本发明的实施例可以首先去除图像中不匹配的区域,保留真正匹配的区域以用于辐射响应函数的估计。因此,当有移动物体存在或相机拍摄角度发生变化时,该发明仍然有效地进行辐射标定。例如,即使相机的拍摄角度改变较大,在不同的曝光度图像之间,只要存在重叠区域,本发明的实施例就仍然能进行辐射响应函数的估计。由于当在具有不同曝光度的图像之间存在不相同的物体时,本发明的实施例能够只根据相同物体进行辐射响应函数的估计,而忽略掉异常物体,因此在辐射响应函数估计过程中,可以自适应于相机或场景运动,而不需要任何相机参数值的输入。因此,根据本发明实施例的辐射响应函数估计方法和装置不仅能够适用于静态场景,同时能够适用于动态场景。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是图示了根据本发明实施例的成像设备的成像原理的示意图。
图2是图示了根据本申请实施例的辐射响应函数估计方法的总体流程图。
图3(a)到图3(d)是图示了根据本申请实施例的辐射响应函数估计方法的过程示意图。
图4是图示了根据本发明实施例具体示例的辐射响应函数估计方法的总体流程图。
图5(a)到图5(c)是图示了根据本申请实施例具体示例的图像输入、图像分割、和区域匹配操作的示意图。
图6(a)和图6(b)是图示了根据本申请实施例具体示例的生成强度值分布直方图的示意图。
图7是图示了根据本发明实施例具体示例的抽取预定数目个有效图像区域匹配对步骤的细节流程图。
图8(a)到图8(f)是图示了根据本申请实施例具体示例的选择M1个有效图像区域匹配对、和保留S1’个强度值映射对,作为映射对基准子集的示意图。
图9是图示了根据本申请实施例的辐射响应函数估计装置的功能配置框图。
具体实施方式
将参考附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
为了使本领域技术人员更好地理解本发明,将按下列顺序来对本发明作进一步详细说明。
1、本发明的思想概述
2、辐射响应函数的估计原理
3、辐射响应函数估计方法
4、辐射响应函数估计方法的具体示例
5、辐射响应函数估计装置
1、本发明的思想概述
在计算机视觉系统中,图像源作为计算机视觉系统的输入资源,直接影响着计算机视觉系统的输出性能。传统的成像设备(例如,相机)仅能获取有效的亮度分布范围,从而导致许多场景细节容易被丢失。
实际上,在图像的成像过程中,图像中的任意一个像素点所对应的强度值都是真实场景的辐射度值通过成像设备的特有函数变换得到,该函数被称为成像设备的辐射响应函数或相机响应函数。如果我们能获取到成像设备的辐射响应函数,那么基于图像强度值和该辐射响应函数就可以对丢失的图像细节进行恢复。然而,在多数情况下,我们无法直接获取到该辐射响应函数,因此,许多研究者提出可以采用不同的方法进行辐射响应函数的计算。这些辐射响应函数计算方法也称为相机标定方法或辐射度标定方法。
最初,一些研究者采用具有参考值的颜色标定板进行辐射响应函数的计算。该方法非常简单有效,但是,在实际操作过程中,光照亮度需要被严格控制。因此,该方法在实际使用中具有很大的局限性。
为了使标定过程更加简单,许多研究者开始采用不需要参考物体的辐射响应函数计算方法。
例如,第一种方法叫做几何结构对应方法,该方法是将不同曝光度图像之间的像素点进行点对点的直接对应,以进行辐射响应函数的估计。然而,该方法的前提是假设针对同一场景的两张不同曝光度图像之间像素点位置完全一一对应。因此,该方法常常用于针对静态场景的辐射响应函数计算过程。同时,为了保持不同曝光度图像的像素点之间完全对应,相机在拍摄过程中需要保持绝对静止,一般必须置于三角架上进行拍摄,这无疑为用户带来很大的操作不变。而且,当场景中存在运动物体时,该方法也将标定失败。
第二种方法是采用强度值映射函数计算辐射响应函数。该方法首先采用直方图对整幅图像的像素点的强度值分布进行统计,因此,该方法不需要像素点与像素点之间的直接映射。在不同的曝光度图像之间,若场景内物体不变,即使存在运动物体,该方法仍然能有效地求解出辐射响应函数。然而,该方法的问题在于,当在不同曝光图像之间,相机拍摄角度发生较大变化或突然有场景中先前不存在的物体出现时,该方法将无法成功地计算辐射响应函数。
在对上述技术问题进行研究的过程中,本申请人提出:可以在基于具有不同曝光度的图像进行辐射响应函数的标定的基础上,不是基于整幅图像,而是基于不同的曝光度图像之间真正可靠的像素点来进行辐射响应函数的估计。也就是说,在根据本发明实施例的辐射响应函数估计方法中,可以首先去除所述成像设备采用不同曝光度所采集的多幅图像之间的不匹配区域,仅仅保留真正匹配的区域,以用于辐射响应函数的估计。因此,当在不同曝光度图像之间存在不相同的物体时,本发明的实施例可以只根据相同物体进行辐射响应函数的估计,而忽略掉异常物体,从而在辐射响应函数估计过程中,自适应于相机或场景的运动,而且也不需要输入相机的任何参数值。
2、辐射响应函数的估计原理
在下文中,将首先参考图1来描述根据本发明实施例的辐射响应函数的估计原理。
图1是图示了根据本发明实施例的成像设备的成像原理的示意图。
如图1所示的,成像设备(例如,相机)采集图像的过程就是将实际场景的场景辐射度L转换为图像强度Z的过程。
具体来说,在成像设备采集图像过程中,首先,由于不同光圈直径所带来的不同光学衰减,所以实际场景的场景辐射度图L在经过相机镜头之后,变成相机辐射度图E。显然,该过程是一种线性变换,其例如由公式(1)中的线性函数s决定:
其中,E是相机的辐射度图,L是实际场景的场景辐射度图,s是用于表征光学衰减的线性函数,h为相机的成像焦距,d为相机光圈的直径,a为成像角大小。
然后,通过快门时间(其用于决定不同的曝光时间),相机的辐射度图E变成相机曝光图X,该变换关系例如如公式(2)所示:
其中,t为曝光时间,k为常量,e为曝光度,其由光圈直径d和曝光时间t决定。
最后,通过非线性的辐射响应函数f,可以得到最后的数字(或胶卷)图像强度图Z,该非线性函数就是辐射响应函数,其例如如公式(3)所示:
Z=f(X)=f(E*t)公式(3)
其中,f为相机的相机响应函数或辐射响应函数。
可以看出,辐射响应函数示出了场景辐射度图与所测量的图像中各个成像点(在数字图像的情况下,该成像点也称之为像素)的亮度值(或称之为强度值)之间的对应关系。通常来说,在灰度相机的情况下,该相机仅仅具有关于灰度Grey的一个辐射响应函数;而在彩色相机的情况下,该相机可以具有多个辐射响应函数。例如,在使用红色R、绿色G、和蓝色B的颜色体系的情况下,该相机可以具有分别关于RGB的三个辐射响应函数。
由上面的描述可以看出,辐射响应函数实际上可以由已知的图像强度Z计算得到。
在本发明的实施例中,为了获得辐射响应函数f,可以基于所述相机采用不同曝光度所采集的多幅图像,并且基于多幅图像之间的曝光比来进行辐射响应函数的标定。为了便于描述,假设仅仅存在采用不同曝光度所采集的两幅图像Iq和Iq+1。那么,针对两幅具有不同曝光度的最终图像之间的曝光比例值可以例如通过公式(4)计算得到:
其中,Xq为相机的第q张曝光图的图像强度值,Xq+1为相机的第q+1张曝光图的图像强度值,eq为第q张曝光图的曝光度,eq+1为第q+1张曝光图的曝光度,Rq,q+1是两幅图像Iq和Iq+1之间的曝光比例值。类似地,在下文中,带有角标q的参数用于表示与第q张曝光图相关的参数,而带有角标q+1的参数用于表示与第q+1张曝光图相关的参数。
通常情况下,辐射响应函数是一个单调函数或至少为一个半单调函数,因此,辐射响应函数可以采用高阶多项式进行描述,例如,如公式(5)所示:
其中,g为辐射响应函数f的逆函数。
结合公式(4)和公式(5),可以看出,采用不同曝光度所采集的图像之间的误差总和例如可以通过公式(6)所示。
其中,Q为具有采用不同曝光度所采集的图像的总数(Q≥2),N为高阶多项式的总阶数,Rq,q+1为第q张曝光图Iq与第q+1张曝光图Iq+1之间的曝光比例值,其可以通过曲线拟和计算得到,(Zq,Zq+1)是在第q张最终得到的图像强度图与第q+1张最终得到的图像强度图之间成像点(例如,像素点)的强度值映射对。显然,只要在公式(6)中计算出响应函数系数Cn后,就能够得到相应的辐射响应函数f。
响应函数系数Cn可以通过寻找最小误差总和的方法进行估计。例如,响应函数系数Cn可以通过求解寻找最小误差总和的线性方程计算得到,该线性方程可以例如由公式(7)计算得到:
也就是说,在计算出响应函数系数Cn后,就能够得到相应的辐射逆响应函数g。进而,在获取到辐射逆响应函数g之后,辐射响应函数f就可以通过对辐射逆响应函数g求逆而得到。
综上所述,在本发明的实施例中,为了估计相机的辐射响应函数,该辐射响应函数估计方法可以简单地归纳为由以下三步组成:
(1)输入采用不同曝光度所采集的图像之间的有效强度值映射对;
(2)建立用于求解寻找最小误差总和的线性方程;
(3)求解该线性方程组,以求出响应函数系数Cn。
因此可以看出,在根据本申请实施例的辐射响应函数估计方法过程中,将估计成像设备的辐射响应函数的过程转变为一种在具有不同曝光度的多幅图像之间尽可能地获得真正可靠的像素点的强度值映射对的过程,从而使得辐射响应函数估计变得现实可行。
3、辐射响应函数估计方法
在下文中,将参考图2来描述根据本申请实施例的辐射响应函数估计方法的总体流程示例。
图2是图示了根据本申请实施例的辐射响应函数估计方法的总体流程图。
该辐射响应函数估计方法用于估计成像设备的辐射响应函数,并且如图1所示,该辐射响应函数估计方法可以包括:
在步骤S110中,获取所述成像设备采用不同曝光度所采集的多幅图像。
在步骤S120中,分别将各幅图像划分为多个图像区域。
在步骤S130中,在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域。
在步骤S140中,针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系。
在步骤S150中,根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
接下来,将参考图3来更加详细地描述上述的各个步骤。
图3(a)到图3(d)是图示了根据本申请实施例的辐射响应函数估计方法的过程示意图。
具体地,在步骤S110中,可以首先输入由成像设备(例如,相机)采用不同的曝光度采集的多幅图像。
成像设备的曝光过程就是摄影者对拍摄环境光线照明状态进行准确判断,然后调节快门和光圈的组合,使成像介质曝光,记录光线。曝光度的数值,或称之为曝光值EV,通常是由快门速度值和光圈值组合表示摄影镜头通光量的一个数值。
在一个实施例中,为了在后续步骤中获得更加准确的匹配区域,采用不同的曝光度所采集的图像组可以是指针对同一场景采用不同的曝光度进行图像拍摄。替换地,采用不同的曝光度所采集的图像组也可以是针对同一场景但拍摄角度发生了一定偏移的不同曝光度图像,但不同曝光度图像之间具有一定的重叠区域。显然,在场景之间的重叠区域越大越好。
为了便于描述,下面将以前者情况为例来说明本发明的实施例。
参考图3(a),例如,在步骤S110中输入了相机拍摄的与同一场景所对应的两张具有不同曝光度的图像I1和I1’。仔细观察图3(a)可以看出,由于物体或相机的运动,不同曝光度的两幅图像间存在一些差别。如在图3(a)的下方图像中,与图3(a)的上方图像不同地,最新出现了由圆柱形标识的额外物体。
接下来,在步骤S120中,可以对输入的各幅图像分别进行图像分割,即将各幅图像分别分割为不同的图像区域,并且将代表同一物体的图像区域采用同一标记号进行标记,以便在后续区域匹配时使用。
当前有很多图像分割方法,例如聚类法、基于压缩的方法、基于直方图的方法、基于区域的方法、边缘检测方法、基于图分割方法等。在本发明的实施例中,任何能够进行图像分割的方法都能被使用。
继续参考图3(a),可以看出,在图3(a)的上方图像I1中,将整幅图像划分为3个图像区域,其分别由矩形、三角形、和圆形表示,而在图3(a)的下方图像I1’中,将整幅图像划分为4个图像区域,其分别由矩形、三角形、圆形、和圆柱形表示。
然后,在步骤S130中,可以基于在步骤S120中的图像分割结果,在具有不同曝光度的多幅图像之间查找相同的图像区域。
例如,如果在步骤S110中仅仅输入了采用不同曝光度所采集的两幅图像,则可以直接在这两幅图像之间查找相互匹配的图像区域。
或者,如果在步骤S110中输入的是在不同拍摄时间采用不同曝光度所采集的多幅图像,则可以在所述多幅图像之中选择至少一个图像对。例如,可以在所述多幅图像之中任意地选择一个或多个图像对。替换地,也可以基于图像的拍摄时间,在拍摄时间相邻的某两幅、或每两幅图像之间查找相互匹配的图像区域。
此外,可以采用任何区域匹配判断方法来在具有不同曝光度的多幅图像之间查找相同的图像区域。例如,可以基于诸如颜色、纹理、边缘、角点之类的各种图像特征来判断它们在两幅图像之间的相似程度,以查找区域匹配对。
参考图3(b),例如,可以在图3(a)所示的图像区域划分结果的基础上,在图3(a)的上方图像I1与下方图像I1’之间查找两张图像之间的相同图像区域(例如,其中具有相同物体的区域),每对相同物体构成一组匹配区域。在图3(b)中,采用不同的颜色和数字来标识不同的图像区域匹配对,例如,上方图像I1中的图像区域R1与下方图像I1’中的图像区域R1’是一个图像区域匹配对,上方图像I1中的图像区域R2与下方图像I1’中的图像区域R2’是一个图像区域匹配对,上方图像I1中的图像区域R3与下方图像I1’中的图像区域R3’是一个图像区域匹配对,而未能在上方图像I1中查找到与下方图像I1’中的图像区域R4’匹配的图像区域。
接下来,在步骤S140中,可以基于在步骤S130中的图像区域匹配结果,针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系。
在第一实施例中,可以将具有不同曝光度的图像中的一个或多个匹配区域之间的像素点进行点对点的直接对应来确定所述图像对的总体强度值映射关系,以进行辐射响应函数的估计。
由于该第一实施例实现的前提是假设针对同一场景或不同场景的每两张不同曝光度图像中的一个或多个匹配区域之间,像素点位置完全一一对应,因此,该方法在相机拍摄角度发生较大变化,或突然有场景中先前不存在的物体出现时,该方法可能由于无法获得匹配区域之间的良好配准(registration)而失效。
为此,在第二实施例中,本发明可以使用直方图统计法对每两张不同曝光度图像中的一个或多个匹配区域中的像素点的强度值分布进行统计,而无需像素点与像素点之间的直接映射,以更加鲁棒地确定所述图像对的总体强度值映射关系。所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系,并且包括一个或多个总体强度值映射对。
为了获得一个图像对的总体强度值映射关系,首先可以获得所述图像中的各个图像区域匹配对的局部强度值映射关系。所述局部强度值映射关系指示出所述图像区域匹配对中各个强度值之间的对应关系,并且包括一个或多个局部强度值映射对(下面,在不会产生混淆的情况下,有时也将其简称为强度值映射对)。
为此,在一个实施例中,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,即步骤S140,可以包括:针对所述图像对中各个图像区域匹配对,根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系,所述局部强度值映射关系指示出所述图像区域匹配对中各个强度值之间的对应关系;以及根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系。
也就是说,为了获得一个图像对的总体强度值映射关系,首先可以基于在步骤S130中所获得的区域匹配结果,在具有不同曝光度的两幅图像之间,建立各个相同图像区域在不同曝光度下形成的局部强度值映射关系。如上所述,为了防止直接像素点映射法带来的误差干扰,本发明可以使用直方图统计法进行局部强度值映射关系的建立。
在一个实施例中,在使用直方图统计法建立局部强度值映射关系的情况下,根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系可以包括:分别对所述图像区域匹配对中两个图像区域中的各个像素点的强度值分布进行统计,以生成分别用于所述两个图像区域的两个强度值分布直方图;将所述两个强度值分布直方图中的一个作为参考直方图,并且将所述两个强度值分布直方图中的另一个作为目标直方图;以及将所述目标直方图映射到所述参考直方图,以形成所述局部强度值映射关系。
例如,在图3(c)中示出了通过直方图统计方法建立强度值映射关系。其中图3(c)中的各个直方图对分别表示出对图3(b)所示的各个图像区域匹配对(而非整幅图像)中的各个像素点的强度值分布进行统计所获得的结果。例如,图3(c)中的最上方的一对直方图可以分别表示图3(b)中的图像区域匹配对R1和R1’的像素点的强度值分布统计结果,以此类推,并且图3(c)中的最下方的一对直方图可以分别表示图3(b)中的图像区域匹配对R3和R3’的像素点的强度值分布统计结果。
为了上述步骤,直方图规则化就是一种常用的强度值映射关系建立方法。也就是说,在一个实施例中,将所述目标直方图映射到所述参考直方图,以形成所述局部强度值映射关系可以包括:对所述参考直方图和所述目标直方图进行规则化,以使得所述参考直方图和所述目标直方图具有匹配的形状;以及将规则化后的目标直方图映射到规则化后的参考直方图,以形成所述局部强度值映射关系。
接下来,在获得了一个图像对中各个图像区域匹配对的局部强度值映射关系之后,可以根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系。
在一个特殊情况下,如果在步骤S130中仅仅获得唯一一个图像区域匹配对,则在这里,可以直接将该唯一图像区域匹配对的局部强度值映射关系确定为图像对的总体强度值映射关系。
更一般地,如果在步骤S130中获得了多个图像区域匹配对,则在这里,可以需要采用特定方法,以根据所述多个图像区域匹配对的多个局部强度值映射关系来生成所述图像对的一个总体强度值映射关系。
为此,在第一实施例中,可以简单地对所述图像对中各个图像区域匹配对的局部强度值映射关系进行组合,以生成所述图像对的总体强度值映射关系。
例如,可以简单地将所述图像对中各个图像区域匹配对的局部强度值映射关系的并集作为所述图像对的总体强度值映射关系。然而,由于即使在匹配度很高的图像区域对中也可能存在个别的误差点,所以在各个图像区域匹配对的局部强度值映射关系很可能存在个别错误的局部强度值映射对,从而造成所述图像对的总体强度值映射关系变得不够准确。因此,为了降低个体样本中的误差对整体结果造成的影响,替换地,可以通过对各个图像区域匹配对的局部强度值映射关系进行组合(例如,求算术平均)来生成所述图像对的总体强度值映射关系。
然而,在简单地组合所述图像对中所有图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系的情况下,如上所述,由于在步骤S130中查找区域匹配的过程中,由于噪声等因素的影响,可能存在一些图像区域的误匹配对,所以,基于这些误匹配对所得到的图像区域匹配对的局部强度值映射关系也将存在误差,进而导致对所有局部强度值映射关系简单组合而成的所述图像对的总体强度值映射关系也将不是准确的强度值映射关系。
为此,在第二实施例中,为了防止错误的图像区域匹配对的影响,在本发明中,根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系可以包括:根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合;以及根据所述有效的强度值映射对集合来生成所述图像对的总体强度值映射关系。
显然,可以通过各种方式来获得有效的强度值映射对集合。简单起见,在一个实施例中,可以基于随机抽样一致性算法(RANSAC)来进行有效的强度值映射对的挑选。RANSAC算法经常用于计算机视觉系统中。例如,在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。
RANSAC算法的基本假设是,假设样本中既包含正确数据(内点inliers,其是可以被模型描述的数据),也包含异常数据(外点Outliers,其是偏离正常范围很远、无法适应数学模型的数据),即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设,给定一组正确的数据,存在可以计算出符合这些数据的模型参数的方法。RANSAC基本思想描述如下:
①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P,集合P的样本数#(P)>n,从集合P中随机抽取包含n个样本的P的子集S初始化模型M;
②余集SC=P\S中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集,它们构成S的一致集;
③若#(S*)≥N,则认为得到正确的模型参数,并利用集S*(内点)采用最小二乘等方法重新计算新的模型M*;重新随机抽取新的S,重复以上过程;
④在完成一定的抽样次数后,若未找到一致集,则该算法失败,否则选取抽样后得到的最大一致集判断内外点,算法结束。
基于上述RANSAC算法,根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合可以包括:根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集,所述映射对基准子集是用于生成映射对估计模型的一个或多个强度值映射对;根据所述映射对基准子集来生成所述映射对估计模型;使用所述各个强度值映射对之中的剩余部分强度值映射对来测试所述映射对估计模型;统计在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目;如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目大于或等于测试阈值,则将所述映射对基准子集中的强度值映射对和在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对确定为所述有效的强度值映射对集合;以及如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目小于所述测试阈值,则重新根据在所述各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的另一部分强度值映射对来确定映射对基准子集,以用于生成新的映射对估计模型。
显然,在上述过程中,如何尽可能选择有效的映射对基准子集是一个关键问题。
为了避免由于在所述图像对中特定图像区域匹配对可能存在误匹配并且即使在正确匹配的图像区域对中也可能存在噪声点而导致在所选择的映射对基准子集中存在无效的强度值映射对,在一个实施例中,可以通过组合一些强度值映射关系来确定所述映射对基准子集,从而降低由于个体样本中的误差对整体结果造成影响的可能性。
为此,根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集可以包括:从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对;对所述预定数目的有效图像区域匹配对的局部强度值映射关系进行组合,以生成组合强度值映射关系;以及根据所述组合强度值映射关系来确定所述映射对基准子集。
在上述过程中,为了进一步防止在所选择的预定数目的有效图像区域匹配对中存在误匹配的图像区域对,可以在选择图像区域匹配对时,对误匹配的区域对进行筛选和滤除。
具体地,根据相机获取图像的原理可知,由于相机光圈或曝光时间不同,所得到的图像曝光度也不同,但每张图像一般地只对应唯一的曝光度。因此,针对同一场景的两张不同曝光度图像,在图像的曝光度确定之后,它们之间的曝光度比例值也将保持不变。这样,在本发明的实施例中,就可以根据固有的曝光度比例值对误匹配区域进行筛选及去除。
在一个具体示例中,以图3(a)所图示的针对同一场景图所对应的两张不同曝光度图为例进行说明,分别标记图3(a)所示的两幅不同曝光度中的上方图像和下方图像为I1和I1’。如图3(b)所示,假设在I1和I1’图像之间,查找到三组图像匹配区域:R1和R1’、R2和R2’、R3和R3’。其中区域R1、R2、和R3来自图像I1,而区域R1’、R2’、和R3’来自图像I1’。因为区域R1是图像I1的一部分,区域R1’是图像I1’的一部分,因此区域R1和区域R1’之间的曝光比例值ER(R1/R1’)等于或近似等于图像I1和图像I1’之间的曝光比例值ER(I1/I1’)。同理,ER(R2/R2’)和ER(R3/R3’)也应该等于或近似等于ER(I1/I1’)。若某组匹配区域所对应的曝光比例值与ER(I1/I1’)相差很大,那么可认为该匹配图像区域为误匹配。
为此,从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对可以包括:针对所述图像对中的各个图像区域匹配对,确定所述图像区域匹配对的曝光度比例;确定所述图像区域匹配对的曝光度比例与所述图像对中具有最高匹配度的图像区域匹配对的曝光度比例之间的比例差值;以及选择其比例差值小于或等于差值阈值的图像区域匹配对作为一个有效图像区域匹配对,直到选择了预定数目的有效图像区域匹配对为止。
此外,在上述过程中,因为在从所述图像对中各个图像区域匹配对中选择出的预定数目的有效图像区域匹配对中,由于噪声及运动物体的影响,可能存在一些无效的强度值映射对,所以需要对其中的强度值映射对进行筛选,以去除无效的强度值映射对。
为此,根据所述组合强度值映射关系来确定所述映射对基准子集可以包括:对所述组合强度值映射关系进行曲线拟合,以生成用于表征曝光度的拟合曲线;针对所述组合强度值映射关系中各个强度值映射对,确定所述强度值映射对与所述拟合曲线之间的偏离程度;以及将其偏离程度小于或等于偏离阈值的各个强度值映射对确定为所述映射对基准子集。
最后,在步骤S150中,在确定出在采用不同曝光度所采集的多幅图像中的至少一个图像对的总体强度值映射关系之后,可以根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
在一个实施例中,根据各个图像对的总体强度值映射关系来估计所述辐射响应函数可以包括:针对各个图像对,根据所述图像对的总体强度值映射关系来估计所述图像对的曝光度比率;以及根据各个图像对的总体强度值映射关系和各个图像对的曝光度比率来估计所述辐射响应函数。
具体地,通过上述步骤S140,针对采用不同曝光度所采集的Q幅图像(Q≥2),可以得到在第q张最终得到的图像强度图与第q+1张最终得到的图像强度图之间成像点(例如,像素点)的强度值映射对(Zq,Zq+1),并且可以得到第q张曝光图Iq与第q+1张曝光图Iq+1之间的曝光比例值Rq,q+1),将上述参数代入公式(7)所示的线性方程,就能够得到相应的辐射逆响应函数g。进而,在获取到辐射逆响应函数g之后,辐射响应函数f就可以通过对辐射逆响应函数g求逆而得到,如图3(d)所示。
由此可见,本发明的实施例提供了一种辐射响应函数估计方法,其能够基于具有不同曝光度的图像进行成像设备的辐射响应函数的标定,并且能够基于真正可靠的像素点进行辐射响应函数的估计。在整个过程中,该方法可以首先去除图像中不匹配的区域,保留真正匹配的区域以用于辐射响应函数的估计。因此,当有移动物体存在或相机拍摄角度发生变化时,该发明仍然有效地进行辐射标定。例如,即使相机的拍摄角度改变较大,在不同的曝光度图像之间,只要存在重叠区域,该方法就仍然能进行辐射响应函数的估计。由于当在具有不同曝光度的图像之间存在不相同的物体时,该方法能够只根据相同物体进行辐射响应函数的估计,而忽略掉异常物体,因此在辐射响应函数估计过程中,可以自适应于相机或场景运动,而不需要任何相机参数值的输入。因此,根据本发明实施例的辐射响应函数估计方法不仅能够适用于静态场景,同时能够适用于动态场景。
4、辐射响应函数估计方法的具体示例
在下文中,将参考图4到图8来描述根据本发明实施例的辐射响应函数估计方法的具体示例。
在该具体示例中,假设该辐射响应函数估计方法应用于基于具有不同曝光度的多幅图像来估计成像设备的辐射响应函数,假设该成像设备可以是相机,并且为了便于描述,描述仅仅输入该相机采用不同曝光度所采集的两幅图像的情况。
图4是图示了根据本发明实施例具体示例的辐射响应函数估计方法的总体流程图。
如图4所示,该辐射响应函数估计方法可以包括:
在步骤S301中,输入具有不同曝光度的两幅图像。
例如,可以在成像设备(例如,相机)自身或任何其他电子设备中获取该相机的辐射响应函数。
为此,可以将利用需要获取其辐射响应函数的相机采用不同曝光度所采集的两幅图像输入到用于获取该相机的辐射响应函数的电子设备中。例如,具有不同曝光度的两幅图像(或称之为图像组)可以是指针对同一场景采用不同的曝光度进行拍摄的图像。
需要说明的是,尽管在本具体示例中仅仅描述了输入两幅具有不同曝光度的图像的情况,但是,本领域技术人员可以理解,当输入具有不同曝光度的多幅图像时,只需要在多幅图像之中,以两幅图像为一组来执行本具体示例即可,这样就可以实现基于具有不同曝光度的多幅图像来估计辐射响应函数的过程。
在步骤S302中,将各幅图像分割为不同图像区域。
当前有很多图像分割方法,如聚类法、基于压缩的方法、基于直方图的方法、基于区域的方法、边缘检测方法、基于图分割方法等。在本发明的实施例中,任何能进行图像分割的方法都能被使用。
在本具体示例中,以基于图的图像分割方法为例进行说明。基于图的图像分割方法主要包括以下几步:a)根据周围像素值计算中心像素点所对应的权重值,该权重值表示中心像素点与其邻域像素点的相似性;b)建立基于图的权重图;c)基于最优图定理进行区域的分割或组合,如最短路径法。在区域分割的过程中,如果某一个区域的尺寸小于一定阈值,则可以将它组合到它的相邻区域中。
由于基于图的图像分割方法的原理已经为本领域技术人员所熟知,所以在这里省略其详细描述。
在步骤S303中,在具有不同曝光度的两幅图像之间查找图像区域匹配对。
在将各幅图像分割为不同图像区域之后,就可以进行图像匹配操作。图像匹配就是在两幅或多幅图像之间查找相同的区域。在本具体示例中,仍然以两幅图像的图像匹配为例进行说明。例如,在两幅图像的图像匹配过程中,可以以一幅图像作为参考图像,然后,在另一幅图像中查找与参考图像相似的区域。
在图像匹配过程中,可以基于诸如颜色、纹理、边缘、角点之类的各种图像特征来判断它们在两幅图像之间的相似程度,以查找区域匹配对。在本具体示例中,例如,可以采用颜色特征和纹理特征作为区域匹配特征。
例如,首先,每个图像区域可以采用该区域所对应颜色的颜色均值作为该区域的颜色特征,然后,可以计算两区域颜色之间的相似度。颜色相似度的计算例如由公式(8)所示:
公式(8)
其中,pc(r,r’)为两个区域之间的颜色相似度,和分别用于在RGB空间中标识两个待匹配区域中的一个待匹配区域R中红色、绿色、和蓝色分量强度的均值,而和分别用于在RGB空间中标识两个待匹配区域中的另一个待匹配区域R’中红色、绿色、和蓝色分量强度的均值,用于在灰度空间中标识两个待匹配区域中的一个待匹配区域R中灰度强度的均值,而用于在灰度空间中标识两个待匹配区域中的另一个待匹配区域R’中灰度强度的均值。显然,如果颜色相似度pc(r,r’)越大,则表示两个待匹配区域之间的颜色越相似。
然后,可以通过一个图像区域的梯度分布来表示该区域的纹理特征。例如,纹理特征可以采用局部二值模式(LBP)进行计算,LBP是一种简单有效的纹理特征提取方法,其如公式(9)所示:
其中,pt(r,r’)为两个区域之间的纹理相似度,Hr和Hr’分别表示两个待匹配区域R和R’经过LBP特征变换后的直方图统计分布结果,N为直方图统计范围。例如,如当N=255时,表示直方图的统计范围为[0,255]。显然,在公式(9)中,如果pt(r,r’)越大,则表示两个待匹配区域之间的纹理度越相似。
由于基于颜色特征和纹理特征来匹配区域的算法的原理已经为本领域技术人员所熟知,所以在这里省略其详细描述。
接下来,两个待匹配区域之间的相似度可以根据上面得到的颜色和纹理特征,由公式(10)计算得到:
p=pc(r,r')*pt(r,r')公式(10)其中,p为两个区域之间的综合相似度。显然,如果合相似度p越大,则表示两个待匹配区域之间越相似。
在区域匹配过程中,可以将与参考区域相似度值最大的区域作为该参考区域的匹配区域,且将该概率值作为该匹配区域组的匹配概率值。并且,在本具体示例中,如果匹配概率值小于一定阈值(例如,0.3),则认为该区域不存在所对应的匹配区域,那么,在后续的辐射响应函数计算过程中,该区域将不被使用。
下面参考图5(a)到图5(c)来描述上面步骤S301到S303中图像输入、图像分割、和区域匹配操作的一个具体示例。
图5(a)到图5(c)是图示了根据本申请实施例具体示例的图像输入、图像分割、和区域匹配操作的示意图。
具体地,图5(a)为从相机获取到的、针对同一场景的两张具有不同曝光度的图像I1和I1’。由于图像中移动物体的影响,两张曝光图像上所存在的物体不完全相同,如图5(a)下方图像I1’相对于图5(a)上方的图像I1,在马路上出现了额外的黑色小车。图5(b)为图像分割结果。在分割结果中,不同的颜色代表不同的物体区域,相同颜色区域采用同一标记位进行标记,以表示该区域同属于同一物体。图5(c)为区域匹配结果。在区域匹配结果中找到了很多匹配区域对,如路面区域,天空区域,建筑物区域等。根据匹配结果,由于图像I1’中的小车区域无法找到所对应的匹配区域,因此无法形成匹配对。
在步骤S304中,生成图像区域匹配对的强度值分布直方图。
接下来,基于区域匹配结果,可以建立相同图像区域在不同曝光度下形成的强度值映射对。为了防止直接像素点映射法带来的误差干扰,在本具体示例中,可以使用直方图统计法进行强度值映射对的建立。为此,可以首先采用直方图对每个图像区域匹配对的像素点的强度值分布进行统计,以分别生成关于该一对匹配图像区域的两个直方图。
图6(a)和图6(b)是图示了根据本申请实施例具体示例的生成强度值分布直方图的示意图。
如图所示,图6(a)中的上图和图6(b)中的上图分别表示具有不同曝光度的两幅图像中的一对匹配图像区域,例如,其是如图5(a)的上图和下图所示的建筑物区域;而图6(a)中的下图和图6(b)中的下图分别表示这一对匹配图像区域的直方图。可以看出,尽管两幅图像具有不同的曝光度,但是其强度值分布直方图是非常相似的。
在步骤S305中,对直方图进行规则化。
在生成强度值分布直方图之后,在本具体示例中,可以使用直方图规则化来分别将一对匹配图像区域的两幅直方图改造成具有希望形状的直方图,以便建立两者之间的强度值映射关系。
直方图规则化的概念不同于直方图均衡化。直方图均衡化能够自动增强整个图像的对比度,但它的具体增强效果不容易控制,处理的结果总是得到全局均匀化的直方图。然而,实际上,有时需要变换直方图,使之成为某个特定的形状,从而有选择地增强某个色度值范围内的对比度。这时,可以采用比较灵活的直方图规则化。一般来说正确地选择规则化的函数可以获得比直方图均衡化更好的效果。
具体来说,所谓直方图规则化,又叫做直方图规定化,就是通过一个色度映像函数,将原色度直方图改造成所希望的直方图。所以,直方图修正的关键就是色度映像函数。下面,以灰度图像为例,直方图匹配方法主要有3个步骤(这里设M和N分别为原始图和规定图中的灰度级数,且只考虑N≤M的情况):
(1)如同均衡化方法中,对原始图的直方图进行灰度均衡化;
(2)规定需要的直方图,并计算能使规定的直方图均衡化的变换;
(3)将第1个步骤得到的变换反转过来,即将原始直方图对应映射到规定的直方图。
在步骤S306中,形成局部强度值映射关系。
在直方图规则化之后,以一对匹配图像区域中的一个区域的规则化后的直方图作为参考直方图,并且以一对匹配图像区域中的另一个区域的规则化后的直方图作为目标直方图,然后,通过将目标直方图映射到参考直方图而在它们之间形成的映射关系即为强度值映射关系。可以将构成强度值映射关系的每一个点称为强度值映射对,也就是说,图像区域匹配对中的一系列强度值映射对构成该图像区域匹配对的强度值映射关系。
显然,尽管上面按照步骤S305直方图规则化和S306基于规则化后的直方图进行映射两个步骤来形成局部强度值映射关系,但是,本发明不限于此。步骤S305和步骤S306也可以组合为一个步骤来实现。
例如,可以在直方图规则化过程中,直接以一对匹配图像区域中的一个区域的原始直方图作为参考直方图,并且以一对匹配图像区域中的另一个区域的原始直方图作为具有希望形状的目标直方图,并且直接通过将目标直方图映射到参考直方图而在它们之间形成强度值映射关系。
在步骤S307中,从全部区域匹配对中抽取预定数目个有效图像区域匹配对。
由于噪声或区域匹配误差的影响,基于区域匹配结果建立的强度值映射关系中可能存在一些无效的映射对,因此,为了正确地估计辐射响应曲线,可以去除一些无效的强度值映射对。
为此,在形成两幅图像之间的所有区域匹配对的强度值映射关系(即,强度值映射对)之后,可以进行强度值映射对的挑选。该过程对于辐射响应函数的计算非常重要。
例如,在本具体示例中,可以采用随机抽样一致性算法(或称之为RANSAC算法)进行强度值映射对的选择。
为了便于描述,假设在具有不同曝光度的两幅图像之间总共查找到M个(M≥1)图像区域匹配对。因此,可以首先从这M个全部区域匹配对中抽取M1(M>M1≥1)个区域匹配对。基于M1个匹配区域组,将得到S1个强度值映射对。例如,在数字图像中,像素点的强度值范围一般在[0,255]之间,因此,每组区域映射对可建立256组强度值映射对,那么M个区域匹配对可建立S(S=256*M)组强度值映射对,而M1个区域匹配对可建立S1(S1=256*M1)组强度值映射对。这样,如何确保从M个区域匹配对中获取到的M1个区域匹配对是有效的是至关重要的。
然而,众所周知,任何一种特征都不能完全描述一个物体。因此,在步骤S303中基于颜色特征和纹理特征找到的区域匹配结果中,可能存在一些误匹配的图像区域对。那么,基于误匹配对所得到的强度值映射对也将不是真正的强度值映射对,因此,需要对区域匹配对进行进一步筛选,以保证在步骤S307中从全部区域匹配对中抽取到预定数目个有效图像区域匹配对都是有效图像区域匹配对。
根据相机获取图像原理可知,由于相机光圈或曝光时间不同,所得到的图像曝光度也不同,但每张图像只对应唯一的曝光度。因此针对同一场景的两张不同曝光度图像,在图像的曝光度确定之后,它们之间的曝光度比例值也将保持不变。在本具体示例中,可以根据固有的曝光度比例值对误匹配区域进行筛选及去除。
下面,在本具体示例中,将继续以同一场景图所对应的两张不同曝光度图为例进行说明。例如,可以将两幅不同曝光度的图像分别标记为I1和I1’。假设在图像I1和I1’之间,查找到三对图像匹配区域:R1和R1’、R2和R2’、R3和R3’,如图3(a)到图3(c)所示。其中R1、R2、和R3来自图像I1,R1’、R2’、和R3’来自图像I1’。因为区域R1是图像I1的一部分,区域R1’是图像I1’的一部分,因此R1和R1’之间的曝光比例值ER(R1/R1’)等于或近似等于图像I1和图像I1’之间的曝光比例值ER(I1/I1’)。同理,ER(R2/R2’)和ER(R3/R3’)也等于或近似等于ER(I1/I1’)。若某对匹配区域所对应的曝光比例值与ER(I1/I1’)相差很大,那么可认为该匹配图像区域为误匹配。
图7是图示了根据本发明实施例具体示例的抽取预定数目个有效图像区域匹配对步骤的细节流程图。
如图7所示,该抽取预定数目个有效图像区域匹配对的步骤可以包括:
在子步骤S3071中,输入区域匹配相似度值最大的区域匹配对,并且估计其曝光比例值。
例如,可以首先输入在区域匹配结果中区域匹配相似度值最大的区域匹配对。然后,可以估计该区域对所对应的曝光比例值ER1,并且由于该曝光比例值ER1最接近于图像I1和图像I1’之间的曝光比例值ER,所以可以将该曝光比例值ER1作为后续比较的基础来使用。这样做的原因在于,在本具体示例中,区域匹配结果的相似度值越大,表示该区域图像为同一区域的概率值越大,该部分在图5(c)中已经进行了解释。
在子步骤S3072中,随机输入新的图像匹配区域对,并且估计其曝光比例值。
接下来,可以随机输入新的图像匹配区域对,并估计其对应的曝光比例值ER_new。
在子步骤S3073中,两个曝光比例值之间的差值小于或等于阈值。
然后,可以判断ER_new是否近似等于ER1。如果ER1和ER_new之间的差值大于阈值C,则认为新输入的图像匹配对可能为图像误匹配对,将不被使用。这时,本步骤跳转到子步骤S3072,以重新输入新的图像匹配对,并判断该图像匹配对是否满足要求。相反地,如果ER_new和ER1之间的差值小于阈值C,则本步骤跳转到子步骤S3074。
例如,在本具体示例中,可以设置C=0.8。如果C越小,那么对区域匹配结果选择的限制越严格,如果C越大,则对区域匹配结果选择的限制越宽松。
在子步骤S3074中,该匹配区域对是有效图像区域匹配对。
如果ER_new和ER1之间的差值小于或等于阈值C,那么该随机输入的新匹配区域对和作为判断基准的匹配相似度值最大的区域匹配对将一起用于模型的估计。
在子步骤S3075中,判断所有有效图像区域匹配对的数目是否到达预定数目M1。
例如,在这里可以设置一个计数器。每当在子步骤S3074中获取到一个有效图像区域匹配对之后,可以将计数器的计算值加1。需要说明的是,由于作为判断基准的匹配相似度值最大的区域匹配对必然被选取,所以可以将该计数器的计数值初始地设置为1,而不是0。
然后,可以判断计数器的计数值是否已经到达预定数目M1。如果是,则本步骤跳转到子步骤S3075。否则,本步骤跳转到子步骤S3072,以重新输入新的图像匹配对,并判断该图像匹配对是否满足要求。
在子步骤S3076中,输出M1个有效图像区域匹配对的强度值映射关系。
最后,可以输出在M1个有效图像区域匹配对的强度值映射关系中包括的所有S1个强度值映射对。
在步骤S308中,在M1个有效图像区域匹配对的所有强度值映射对之中确定映射对基准子集,以用于生成映射对估计模型。
接下来,在从图像区域对的匹配程度上进行了噪声滤除之后,还可以进一步从映射对的角度上进行噪声滤除,以便再一次从S1个强度值映射对中,选择出S1’个有效的强度值映射对。这样做的原因在于,因为在S1个强度值映射对中,由于噪声及运动物体的影响,可能存在一些无效的强度值映射对,因此需要对S1个强度值映射对进行筛选,以去除无效的强度值映射对,而仅仅保留S1’(S1≥S1’≥1)个强度值映射对,作为映射对基准子集,以用于生成映射对估计模型。
图8(a)到图8(f)是图示了根据本申请实施例具体示例的选择M1个有效图像区域匹配对、和保留S1’个强度值映射对,作为映射对基准子集的示意图。
参考图8(a)到图8(f),图8(a)中的左图和右图分别示出了在步骤S304中生成的一对强度值分布直方图,其分别是用于表示图5(a)的上图和下图所示的一组天空匹配区域对中各个像素点强度值的直方图。由图8(a)可见,虽然这两个天空匹配区域来自不同的曝光度图像,但它们的强度值直方图分布非常相似。
图8(c)显示了在步骤S305和步骤S306中根据图8(a)所示的直方图分布所得到的局部强度值映射关系,如图8(c)中的不规则的间隔曲线所示。该不规则的间隔曲线中的每一个点都表示了局部强度值映射关系中的一个强度值映射对。
如上所述,在本具体示例中,可以采用直方图规则化来建立强度值映射关系。具体而言,在直方图规则化过程中,以图8(a)左边的直方图作为参考直方图,然后将图8(a)右边的直方图映射到参考直方图,它们之间形成的映射关系即为强度值映射关系。在图8(c)中,每一个强度值映射对的水平坐标系代表图8(a)的左边图,垂直坐标系则代表图8(a)的右边图。
接下来,可以在步骤S307中选择M1个有效图像区域匹配对。这里,假设一组天空匹配区域对是在具有不同曝光度的两个图像之中匹配度最高的区域,因此,可以计算该天空区域匹配对的曝光度比例值,作为该选择过程的基础。
例如,可以基于天空的强度值映射关系,通过对该强度映射对进行曲线拟合,并且对该曲线求0阶导数来估计该天空区域的曝光度比例值,例如ER1=1.56。
然后,可以在步骤S307中继续输入新的图像匹配区域。如图8(b)所示地,输入一对新的强度值分布直方图,其分别是用于表示图5(a)的上图和下图所示的一组路面匹配区域对中各个像素点强度值的直方图。通过根据图8(d)中所示的强度值映射关系进行曲线拟合和求导可以估计得到路面的曝光比例值,例如ER2=1.92。
那么,由于|ER1-ER2|=0.36小于上述的阈值C=0.8,因此,天空匹配区域对和路面匹配区域对都是有效图像区域匹配对,其能被组合到一起而形成映射对基准子集,用于初始模型的估计。这里,为了便于描述,我们假设M1=2,即当前已经获得足够多的有效图像区域匹配对。
在获得作为映射对基准子集的强度值映射对的过程中,如果我们只是简单地将上面两个区域所对应的强度值映射对组合到一起,如图8(e)所示,那么将会存在一些问题,比如在这些强度值映射对中,有些强度值映射对为无效匹配对,需要删除;而有些强度映射对中,同一索引值映射到两个不同的强度值,因此必须被重新组合。于是,在本具体示例中,在获取作为映射对基准子集的强度值映射对之前,可以对上面两个区域所对应的强度值映射对进行组合,该强度值映射对的组合处理包括以下几步:
首先,可以获取第一组直方图的有效分布范围[A1,A2]。以图8(a)为例,它所对应的直方图分布范围为[50,205],该范围由图8(a)中的左图所对应像素点的强度值分布范围决定,因此在图8(c)中,有效的强度分布范围在[50,205]之间。
然后,可以获取第二组直方图的有效分布范围[B1,B2]。以图8(b)为例,该组直方图的有效分布范围为[60,154],因此在图8(d)中,有效的强度分布范围在[60,154]之间。
接下来,可以合并两区域的有效分布范围[C1,C2]=[A1,A2]∪[B1,B2]。以图8(a)和图8(b)为例,[C1,C2]=[50,205]。
然后,在将两个区域所对应的强度值映射对组合到一起的过程中,如果两组直方图映射对具有相同的水平索引值,则可以通过求平均值进行强度值映射对的融合。以图8(a)和图8(b)为例,在强度范围[60,154]中,每个水平坐标值对应两个垂直索引值,如图8(e)所示,因此,在该区域的各个强度映射对可以通过平均法进行融合。
最后,在将两个区域所对应的强度值映射对组合到一起的过程中,还需要在两组直方图映射对都没有水平索引值的位置处,进行强度映射对的填充。仍然以图8(a)和图8(b)为例,[C1,C2]=[50,205]∈[0,255],也就是说,其在强度范围[0,49]和强度范围[206,255]中都没有任何强度值映射对。因此,需要对该强度值映射对进行填充,填充规则如公式(11)所示:
公式(11)
其中,公式(11)表示在两组直方图映射对都没有水平索引值的位置处进行强度映射对的填充时,在小于有效强度范围左侧边界值的左侧无效范围中全部填充最左侧的最小有效水平索引值所对应的垂直索引值,而在大于有效强度范围右侧边界值的右侧无效范围中全部填充最右侧的最大有效水平索引值所对应的垂直索引值。
具体地,仍然以图8(a)和图8(b)为例,在强度范围[0,49]中可以填充水平索引值A1=50时所对应的垂直索引值,而在强度范围[206,255]中可以填充水平索引值A2=205时所对应的垂直索引值。
虽然这些填充对没有实际意义,但该步骤对于实际曝光比例值的估计非常有效。
接下来,在将两个区域所对应的强度值映射对组合到一起之后,可以基于组合好的强度范围为[0,255]的有效强度映射对来确定多个强度值映射对,作为映射对基准子集。
具体地,通过上述几步所获取到的有效强度映射对如图8(f)所示。通过对组合后的强度映射对进行曲线拟合,并且求该曲线所对应的0阶导数(即为两幅图像所对应的曝光比例值)ER=1.34。然后,根据曲线拟和结果,我们可以获取到更完美的S1’个强度值映射对,该S1’个强度映射对为与该拟合曲线之间的偏离程度小于阈值的强度映射对,如图8(f)中的椭圆所示,这样,就可以选取该S1’个强度值映射对,作为映射对基准子集,以用于模型的估计。
需要注意的是,由于在试验过程中,在采集上述两幅图像时相机所采用的真实的曝光比例值为1.41,因此,可以看出本辐射响应函数估计方法获得的曝光比例值ER=1.34已经非常接近于该真实的曝光比例值。这说明了,本辐射响应函数估计方法能够在不使用图像任何参数的情况下,较为准确计算出图像曝光比例值。在该具体示例中,由于只使用了两组匹配区域进行曝光比例值的估计,因此信息量有限,从而导致所估计出的曝光比例值ER的精确度有限。可想而知,如果可以使用多组匹配区域进行曝光比例值的估计,那么所估计出的曝光比例值将更加精确。
在步骤S309中,基于映射对基准子集来生成映射对估计模型。
接下来,可以基于所选取的该S1’个强度值映射对,作为映射对基准子集,以用于模型的估计。
在本具体示例中,可以直接生成一个粗略的辐射响应函数作为该映射对估计模型。
具体地,可以将上面所得到的S1’个强度值映射对和所得到的两幅图像所对应的曝光比例值ER=1.34代入公式(7)所示的线性方程,从而得到相应的粗略辐射逆响应函数g。进而,在获取到粗略辐射逆响应函数g之后,粗略的辐射响应函数f就可以通过对粗略辐射逆响应函数g求逆而得到。
在步骤S310中,测试估计模型。
在生成一个粗略的辐射响应函数作为该映射对估计模型之后,可以采用剩余的(S-S1)强度值映射对测试该模型,其中S是指M组匹配区域对所对应的强度值映射对。
例如,这个测试过程可以是将剩余的(S-S1)强度值映射对中的水平索引值作为该粗略辐射响应函数的输入,以计算相应的垂直索引值,并且判断计算得到的垂直索引值与剩余的(S-S1)强度值映射对中的实际的垂直索引值是否相等或者两者之间的差值是否小于预设阈值。如果是,则认为该强度值映射对满足该映射对估计模型。否则,认为该强度值映射对不满足该映射对估计模型。
在步骤S311中,统计满足模型的强度值映射对数目,并且与测试阈值进行比较。
接下来,可以统计满足该模型的强度值映射对数量,并且与测试阈值T进行比较。如果满足该模型的强度值映射对数量小于阈值T,则该方法返回到步骤S307,并且将重复步骤S307到步骤S311的过程,直到找到足够的强度值映射对满足映射对估计模型为止。当然,如果在完成一定的迭代次数之后,若仍然未能足够多满足模型的样本集,则可以认为该算法失败,并且退出迭代,以节约处理资源。
如果满足该模型的强度值映射对的数量大于阈值T,则该方法返回到步骤S312。
在步骤S312中,确定有效的强度值映射对集合。
如果满足该模型的强度值映射对的数量大于阈值T,满足该模型的所有强度值映射对将被储存,作为有效的强度值映射对集合,以用于辐射响应函数的计算。
在步骤S313中,根据强度值映射对有效集合来生成图像对的总体强度值映射关系。
在确定有效的强度值映射对集合之后,可以在步骤S308中描述的对强度值映射对进行组合的方式来生成图像对的总体强度值映射关系,该总体强度值映射关系包括通过平均法和填充法所获得的多个强度值映射对。
在步骤S314中,估计辐射响应函数。
最后,可以按照在步骤S309中基于映射对基准子集来生成映射对估计模型的相同方式,将在总体强度值映射关系中包括的所有强度值映射对和所得到的两幅图像所对应的曝光比例值代入公式(7)所示的线性方程,以得到相应的辐射逆响应函数g。进而,在获取到辐射逆响应函数g之后,辐射响应函数f就可以通过对辐射逆响应函数g求逆而得到。
需要说明的是,尽管在上面关于本具体示例的详细描述中假设:在步骤S303中在具有不同曝光度的两幅图像之间查找到多个图像区域匹配对,并相应地,在步骤S306中形成了多个局部强度值映射关系,且由此,在步骤S307到步骤S312中从这多个局部强度值映射关系中去除一些无效的强度值映射对,从而最终,在步骤S313中根据强度值映射对有效集合来生成图像对的总体强度值映射关系;但是,本发明不限于此。例如,在实际应用中,当在步骤S303中在具有不同曝光度的两幅图像之间仅仅查找到唯一一个图像区域匹配对时,可以直接省略掉上面的步骤S307到步骤S312,而直接跳转到步骤S313,以使得直接将该唯一图像区域匹配对的局部强度值映射关系确定为图像对的总体强度值映射关系。
此外,尽管在上面的步骤S309和S310以粗略的辐射响应函数作为该映射对估计模型的示例进行了说明,但是,本发明不限于此。例如,简单地,在步骤S309中还可以直接将在步骤S308中获得的如图8(f)所示的拟合曲线作为该映射对估计模型,然后,在步骤S310中,可以计算剩余的(S-S1)强度值映射对中的各个强度值映射对与该拟合曲线之间的偏离程度,并且当该强度值映射对与该拟合曲线之间的偏离程度小于阈值时,认为该强度值映射对满足该映射对估计模型。否则,认为该强度值映射对不满足该映射对估计模型。
由此可见,本发明实施例的具体示例提供了一种辐射响应函数估计方法,其能够基于有效图像信息进行辐射响应函数的估计。在该辐射响应函数估计方法中,首先可以在不同曝光度图像之间,通过图像分割和区域匹配查找有效图像区域,移除不匹配区域。因此,该辐射响应函数估计方法可以有效阻止因运动物体或因背景改变而对辐射响应函数估计带来的影响。
此外,在区域匹配过程中,辐射响应函数估计方法不仅可以使用图像特征(诸如颜色、纹理特征)进行区域匹配判断,同时还可以使用曝光比例关系进行区域匹配结果的判断。因此,该区域匹配过程能获取到真正的匹配区域对,从而降低不匹配图像区域所带来的噪声影响。另外,该辐射响应函数估计方法还可以对多组单一的强度值映射对进行有效合并,进一步降低噪声影响。
而且,该辐射响应函数估计方法可以在没有参考图像的情况下,鲁棒地完成成像设备的自标定。该辐射响应函数估计方法可以在较大范围内自适应于场景/相机的变化。同时,该辐射响应函数估计方法在估计辐射响应函数过程中,不需要任何额外参数(诸如曝光时间、曝光比例、相机偏移角度等)的输入,就能够完成辐射响应函数的计算。
5、辐射响应函数估计装置
本申请的实施例还可以通过一种辐射响应函数估计装置来实施。在下文中,将参考图9来描述根据本申请实施例的辐射响应函数估计装置的功能配置框图。
图9是图示了根据本申请实施例的辐射响应函数估计装置的功能配置框图。
如图9所示,该辐射响应函数估计装置100可以包括:图像获取装置101、区域划分装置102、匹配区域查找装置103、总体关系确定装置104、和响应函数估计装置105。
该图像获取装置101可以用于获取所述成像设备采用不同曝光度所采集的多幅图像。
该区域划分装置102可以用于分别将各幅图像划分为多个图像区域。
该匹配区域查找装置103可以用于在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域。
该总体关系确定装置104可以用于针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系。
该响应函数估计装置105可以用于根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系:针对所述图像对中各个图像区域匹配对,根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系,所述局部强度值映射关系指示出所述图像区域匹配对中各个强度值之间的对应关系;以及根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系:分别对所述图像区域匹配对中两个图像区域中的各个像素点的强度值分布进行统计,以生成分别用于所述两个图像区域的两个强度值分布直方图;将所述两个强度值分布直方图中的一个作为参考直方图,并且将所述两个强度值分布直方图中的另一个作为目标直方图;以及将所述目标直方图映射到所述参考直方图,以形成所述局部强度值映射关系。
在一个实施例中,该总体关系确定装置104可以通过以下操作将所述目标直方图映射到所述参考直方图,以形成所述局部强度值映射关系:对所述参考直方图和所述目标直方图进行规则化,以使得所述参考直方图和所述目标直方图具有匹配的形状;以及将规则化后的目标直方图映射到规则化后的参考直方图,以形成所述局部强度值映射关系。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系:根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合;以及根据所述有效的强度值映射对集合来生成所述图像对的总体强度值映射关系。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合:根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集,所述映射对基准子集是用于生成映射对估计模型的一个或多个强度值映射对;根据所述映射对基准子集来生成所述映射对估计模型;使用所述各个强度值映射对之中的剩余部分强度值映射对来测试所述映射对估计模型;统计在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目;如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目大于或等于测试阈值,则将所述映射对基准子集中的强度值映射对和在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对确定为所述有效的强度值映射对集合;以及如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目小于所述测试阈值,则重新根据在所述各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的另一部分强度值映射对来确定映射对基准子集,以用于生成新的映射对估计模型。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集:从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对;对所述预定数目的有效图像区域匹配对的局部强度值映射关系进行组合,以生成组合强度值映射关系;以及根据所述组合强度值映射关系来确定所述映射对基准子集。
在一个实施例中,该总体关系确定装置104可以通过以下操作从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对:针对所述图像对中的各个图像区域匹配对,确定所述图像区域匹配对的曝光度比例;确定所述图像区域匹配对的曝光度比例与所述图像对中具有最高匹配度的图像区域匹配对的曝光度比例之间的比例差值;以及选择其比例差值小于或等于差值阈值的图像区域匹配对作为一个有效图像区域匹配对,直到选择了预定数目的有效图像区域匹配对为止。
在一个实施例中,该总体关系确定装置104可以通过以下操作根据所述组合强度值映射关系来确定所述映射对基准子集:对所述组合强度值映射关系进行曲线拟合,以生成用于表征曝光度的拟合曲线;针对所述组合强度值映射关系中各个强度值映射对,确定所述强度值映射对与所述拟合曲线之间的偏离程度;以及将其偏离程度小于或等于偏离阈值的各个强度值映射对确定为所述映射对基准子集。
在一个实施例中,该响应函数估计装置105可以通过以下操作根据各个图像对的总体强度值映射关系来估计所述辐射响应函数:针对各个图像对,根据所述图像对的总体强度值映射关系来估计所述图像对的曝光度比率;以及根据各个图像对的总体强度值映射关系和各个图像对的曝光度比率来估计所述辐射响应函数。
显然,上述的图像获取装置101、区域划分装置102、匹配区域查找装置103、总体关系确定装置104、和响应函数估计装置105的具体功能和操作已经在上面参考图1到图8描述的辐射响应函数估计方法中详细介绍,并因此,将省略其重复描述。
由此可见,本发明的实施例提供了一种辐射响应函数估计装置,其能够基于具有不同曝光度的图像进行成像设备的辐射响应函数的标定,并且能够基于真正可靠的像素点进行辐射响应函数的估计。在整个过程中,该装置可以首先去除图像中不匹配的区域,保留真正匹配的区域以用于辐射响应函数的估计。因此,当有移动物体存在或相机拍摄角度发生变化时,该发明仍然有效地进行辐射标定。例如,即使相机的拍摄角度改变较大,在不同的曝光度图像之间,只要存在重叠区域,该装置就仍然能进行辐射响应函数的估计。由于当在具有不同曝光度的图像之间存在不相同的物体时,该装置能够只根据相同物体进行辐射响应函数的估计,而忽略掉异常物体,因此在辐射响应函数估计过程中,可以自适应于相机或场景运动,而不需要任何相机参数值的输入。因此,根据本发明实施例的辐射响应函数估计装置不仅能够适用于静态场景,同时能够适用于动态场景。
此外,尽管此处将上述的各个单元作为各个步骤的执行主体来说明本发明的各个实施例,但是,本领域技术人员能够理解的是,本发明不限于此。各个步骤的执行主体可以由其他的一个或多个设备、装置、单元、甚至模块来担任。
例如,上述的图像获取装置101、区域划分装置102、匹配区域查找装置103、总体关系确定装置104、和响应函数估计装置105所执行的各个步骤可以统一地由电子设备中的中央处理单元(CPU)来实现。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助于软件加必需的硬件平台的方式来实现,当然也可以全部通过软件、或硬件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁盘、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
在上面详细描述了本发明的各个实施例。然而,本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。
Claims (10)
1.一种辐射响应函数估计方法,所述方法用于估计成像设备的辐射响应函数,其特征在于,所述方法包括:
获取所述成像设备采用不同曝光度所采集的多幅图像;
分别将各幅图像划分为多个图像区域;
在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域;
针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系;以及
根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
2.根据权利要求1的方法,其特征在于,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系包括:
针对所述图像对中各个图像区域匹配对,根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系,所述局部强度值映射关系指示出所述图像区域匹配对中各个强度值之间的对应关系;以及
根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系。
3.根据权利要求2的方法,其特征在于,根据所述图像区域匹配对中各个像素的强度值来确定所述图像区域匹配对的局部强度值映射关系包括:
分别对所述图像区域匹配对中两个图像区域中的各个像素点的强度值分布进行统计,以生成分别用于所述两个图像区域的两个强度值分布直方图;
将所述两个强度值分布直方图中的一个作为参考直方图,并且将所述两个强度值分布直方图中的另一个作为目标直方图;以及
将所述目标直方图映射到所述参考直方图,以形成所述局部强度值映射关系。
4.根据权利要求2的方法,其特征在于,根据所述图像对中各个图像区域匹配对的局部强度值映射关系来生成所述图像对的总体强度值映射关系包括:
根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合;以及
根据所述有效的强度值映射对集合来生成所述图像对的总体强度值映射关系。
5.根据权利要求4的方法,其特征在于,根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对来确定有效的强度值映射对集合包括:
根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集,所述映射对基准子集是用于生成映射对估计模型的一个或多个强度值映射对;
根据所述映射对基准子集来生成所述映射对估计模型;
使用所述各个强度值映射对之中的剩余部分强度值映射对来测试所述映射对估计模型;
统计在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目;
如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目大于或等于测试阈值,则将所述映射对基准子集中的强度值映射对和在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对确定为所述有效的强度值映射对集合;以及
如果在所述剩余部分强度值映射对中满足所述映射对估计模型的强度值映射对的数目小于所述测试阈值,则重新根据在所述各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的另一部分强度值映射对来确定映射对基准子集,以用于生成新的映射对估计模型。
6.根据权利要求5的方法,其特征在于,根据在所述图像对中各个图像区域匹配对的局部强度值映射关系中包括的各个强度值映射对之中的一部分强度值映射对来确定映射对基准子集包括:
从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对;
对所述预定数目的有效图像区域匹配对的局部强度值映射关系进行组合,以生成组合强度值映射关系;以及
根据所述组合强度值映射关系来确定所述映射对基准子集。
7.根据权利要求6的方法,其特征在于,从所述图像对中各个图像区域匹配对中选择预定数目的有效图像区域匹配对包括:
针对所述图像对中的各个图像区域匹配对,确定所述图像区域匹配对的曝光度比例;
确定所述图像区域匹配对的曝光度比例与所述图像对中具有最高匹配度的图像区域匹配对的曝光度比例之间的比例差值;以及
选择其比例差值小于或等于差值阈值的图像区域匹配对作为一个有效图像区域匹配对,直到选择了预定数目的有效图像区域匹配对为止。
8.根据权利要求6的方法,其特征在于,根据所述组合强度值映射关系来确定所述映射对基准子集包括:
对所述组合强度值映射关系进行曲线拟合,以生成用于表征曝光度的拟合曲线;
针对所述组合强度值映射关系中各个强度值映射对,确定所述强度值映射对与所述拟合曲线之间的偏离程度;以及
将其偏离程度小于或等于偏离阈值的各个强度值映射对确定为所述映射对基准子集。
9.根据权利要求1的方法,其特征在于,根据各个图像对的总体强度值映射关系来估计所述辐射响应函数包括:
针对各个图像对,根据所述图像对的总体强度值映射关系来估计所述图像对的曝光度比率;以及
根据各个图像对的总体强度值映射关系和各个图像对的曝光度比率来估计所述辐射响应函数。
10.一种辐射响应函数估计装置,所述装置用于估计成像设备的辐射响应函数,其特征在于,所述装置包括:
图像获取装置,用于获取所述成像设备采用不同曝光度所采集的多幅图像;
区域划分装置,用于分别将各幅图像划分为多个图像区域;
匹配区域查找装置,用于在所述多幅图像中的至少一个图像对之间查找一个或多个图像区域匹配对,各个图像区域匹配对包括所述至少一对图像中彼此匹配的两个图像区域;
总体关系确定装置,用于针对各个图像对,根据所述图像对中各个图像区域匹配对中各个像素的强度值来确定所述图像对的总体强度值映射关系,所述总体强度值映射关系指示出所述图像对中各个强度值之间的对应关系;以及
响应函数估计装置,用于根据各个图像对的总体强度值映射关系来估计所述辐射响应函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410645326.XA CN105574844B (zh) | 2014-11-11 | 2014-11-11 | 辐射响应函数估计方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410645326.XA CN105574844B (zh) | 2014-11-11 | 2014-11-11 | 辐射响应函数估计方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105574844A true CN105574844A (zh) | 2016-05-11 |
CN105574844B CN105574844B (zh) | 2019-01-18 |
Family
ID=55884938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410645326.XA Expired - Fee Related CN105574844B (zh) | 2014-11-11 | 2014-11-11 | 辐射响应函数估计方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105574844B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254724A (zh) * | 2016-07-29 | 2016-12-21 | 努比亚技术有限公司 | 一种实现图像降噪的方法、装置和终端 |
CN110827362A (zh) * | 2019-11-05 | 2020-02-21 | 天津理工大学 | 一种基于多项式相机响应函数与渐晕效应补偿的光度标定方法 |
CN112468714A (zh) * | 2019-09-09 | 2021-03-09 | 北京外号信息技术有限公司 | 用于确定光通信装置的成像区域的方法和电子设备 |
CN113272855A (zh) * | 2018-11-06 | 2021-08-17 | 菲力尔商业系统公司 | 用于重叠多图像应用的响应归一化 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060177150A1 (en) * | 2005-02-01 | 2006-08-10 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
CN101312494A (zh) * | 2007-05-21 | 2008-11-26 | 华为技术有限公司 | 计算相机响应曲线及合成大动态范围图像的方法及其装置 |
CN101916455A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 一种高动态范围纹理三维模型的重构方法及装置 |
CN103091615A (zh) * | 2011-12-30 | 2013-05-08 | 展讯通信(上海)有限公司 | 测量图像传感器的响应曲线的方法及装置 |
US20140063283A1 (en) * | 2012-08-30 | 2014-03-06 | Apple Inc. | Correction factor for color response calibration |
-
2014
- 2014-11-11 CN CN201410645326.XA patent/CN105574844B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060177150A1 (en) * | 2005-02-01 | 2006-08-10 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
CN101312494A (zh) * | 2007-05-21 | 2008-11-26 | 华为技术有限公司 | 计算相机响应曲线及合成大动态范围图像的方法及其装置 |
CN101916455A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 一种高动态范围纹理三维模型的重构方法及装置 |
CN103091615A (zh) * | 2011-12-30 | 2013-05-08 | 展讯通信(上海)有限公司 | 测量图像传感器的响应曲线的方法及装置 |
US20140063283A1 (en) * | 2012-08-30 | 2014-03-06 | Apple Inc. | Correction factor for color response calibration |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254724A (zh) * | 2016-07-29 | 2016-12-21 | 努比亚技术有限公司 | 一种实现图像降噪的方法、装置和终端 |
WO2018019130A1 (zh) * | 2016-07-29 | 2018-02-01 | 努比亚技术有限公司 | 一种实现图像降噪的方法、装置和终端及计算机存储介质 |
CN113272855A (zh) * | 2018-11-06 | 2021-08-17 | 菲力尔商业系统公司 | 用于重叠多图像应用的响应归一化 |
US12080004B2 (en) | 2018-11-06 | 2024-09-03 | Teledyne Flir Commercial Systems, Inc. | Response normalization for overlapped multi-image applications |
CN112468714A (zh) * | 2019-09-09 | 2021-03-09 | 北京外号信息技术有限公司 | 用于确定光通信装置的成像区域的方法和电子设备 |
CN110827362A (zh) * | 2019-11-05 | 2020-02-21 | 天津理工大学 | 一种基于多项式相机响应函数与渐晕效应补偿的光度标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105574844B (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tursun et al. | An objective deghosting quality metric for HDR images | |
Krig | Computer vision metrics | |
US10477178B2 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
CN108389224B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN104052979B (zh) | 用于图像处理的装置和技术 | |
CN104662589A (zh) | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 | |
CN113159043B (zh) | 基于语义信息的特征点匹配方法及系统 | |
CN110992366B (zh) | 一种图像语义分割方法、装置及存储介质 | |
Messai et al. | Adaboost neural network and cyclopean view for no-reference stereoscopic image quality assessment | |
CN105574844A (zh) | 辐射响应函数估计方法和装置 | |
CN117670961B (zh) | 基于深度学习的低空遥感影像多视立体匹配方法及系统 | |
CN107016698A (zh) | 基于斜平面平滑的双目立体匹配方法及装置 | |
CN117115727A (zh) | 一种变电站缺陷判别方法及系统 | |
CN112115979A (zh) | 一种红外图像和可见图像的融合方法及设备 | |
Wang et al. | Combining semantic scene priors and haze removal for single image depth estimation | |
Lecca et al. | Comprehensive evaluation of image enhancement for unsupervised image description and matching | |
CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
Chen et al. | Focus manipulation detection via photometric histogram analysis | |
JP2021189527A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Zhu et al. | Atmospheric light estimation in hazy images based on color-plane model | |
CN113191962B (zh) | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 | |
Molloy et al. | Analysis of the impact of lens blur on safety-critical automotive object detection | |
You et al. | Tampering detection and localization base on sample guidance and individual camera device convolutional neural network features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190118 Termination date: 20201111 |
|
CF01 | Termination of patent right due to non-payment of annual fee |