CN109934787A - 一种基于高动态范围的图像拼接方法 - Google Patents

一种基于高动态范围的图像拼接方法 Download PDF

Info

Publication number
CN109934787A
CN109934787A CN201910201782.8A CN201910201782A CN109934787A CN 109934787 A CN109934787 A CN 109934787A CN 201910201782 A CN201910201782 A CN 201910201782A CN 109934787 A CN109934787 A CN 109934787A
Authority
CN
China
Prior art keywords
image
spliced
dynamic range
high dynamic
range images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910201782.8A
Other languages
English (en)
Other versions
CN109934787B (zh
Inventor
吴亮红
孙亮
周博文
卢明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN201910201782.8A priority Critical patent/CN109934787B/zh
Publication of CN109934787A publication Critical patent/CN109934787A/zh
Application granted granted Critical
Publication of CN109934787B publication Critical patent/CN109934787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于高动态范围的图像拼接方法,该方法包括:首先将输入的待拼接图像进行图像预处理生成高动态范围图像;然后检测提取待拼接的高动态范围图像的特征点;之后对待拼接的高动态范围图像特征点对进行优化匹配,并根据优化后的待拼接的高动态范围图像特征点对的映射关系,计算出待拼接的高动态范围图像的变换矩阵,基于变换矩阵完成待拼接图像的拼接。本发明中由于图像预处理使得图像的细节更为丰富且更接近人眼所能捕捉的动态范围,解决了恶劣照明环境下拍摄的不清晰图像细节严重影响图像的特征匹配准确度的问题,使的检测提取待拼接图像的特征点数量增多,且分布均匀,极大提高了图像特征匹配准确度,改善了图像拼接效果。

Description

一种基于高动态范围的图像拼接方法
技术领域
本发明涉及到计算机视觉技术领域,尤其涉及一种基于高动态范围的图像拼接方法。
背景技术
在计算机视觉领域快速发展的今天,大多数图像采集设备的视场达不到可视化场景 的要求,因此图像拼接应运而生,而现有技术中的图像拼接方法主要包括:
1、对于待拼接图像,采用尺度不变特征变换(Scale-invariant featuretransform, SIFT)、加速稳健特征(Speeded Up Robust Features,SURF)等算法检测待拼接图像的 特征点;
2、将检测到的特征点进行匹配,然后根据特征点对确定待拼接图像之间的变换矩阵;
3、根据变换矩阵,将待拼接图像进行投影,得到模型展开图即拼接图像;
4、对拼接好的图像进行图像融合,改善拼接效果。
由于拍摄照明环境的不确定性,该图像拼接方法存在的问题,在恶劣的照明环境下 拍摄的图像进行拼接时,图像细节不清晰、检测到的特征点数量较少等因素严重影响图像特征匹配准确度,从而使得拼接效果差,甚至是无法进行图像拼接。
因此,研究出一种针对在恶劣的照明环境下拍摄的图像的拼接方法是本技术领域人 员亟待解决的技术问题。
发明内容
本发明的目的是提供一种根据单幅低动态范围图像生成高动态范围图像进行拼接 的方法,本发明的方法可操作性强,具有广泛的适用性。
为解决上述技术问题,本发明提供一种基于高动态范围的图像拼接方法,所述方法 包括以下步骤:
S1、将输入的待拼接图像进行基于高动态范围的图像预处理,得到待拼接的高动态 范围图像;
S2、对待拼接的高动态范围图像进行特征点检测,并提取待拼接的高动态范围图像 的特征点;
S3、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图 像的特征点对,根据所述特征点对计算待拼接的高动态范围图像之间的映射关系矩阵,然后通过映射关系矩阵将待拼接的高动态范围图像进行投影,即完成图像的拼接。
优选地,所述方法还将所述步骤S3中完成的拼接图像进行图像融合。
优选地,所述拼接图像的图像融合公式为:
式(1)中,(i,j)为待拼接的高动态范围图像的像素位置索引,image1(i,j)、image2(i,j) 为待拼接的高动态范围图像,S1为待拼接的高动态范围图像image1(i,j)与待拼接的高动 态范围图像image2(i,j)之间的非重叠区域,S2为待拼接的高动态范围图像image2(i,j)与 待拼接的高动态范围图像image1(i,j)之间的非重叠区域,S12为待拼接的高动态范围图像 image1(i,j)与待拼接的高动态范围图像image2(i,j)之间的重叠区域,a为距离比例权重。
优选地,所述步骤S1具体实现方法为:
S11、将输入的待拼接图像RGB颜色空间转换为YUV颜色空间,并分离出YUV颜色空间 中的分量Y作为待拼接图像的亮度分量L(i,j);
S12、通过加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行滤波,得到待拼接 图像环境的照明分量I(i,j),并根据Retinex理论计算出待拼接图像的反射分量R(i,j), 具体为:
R(i,j)=ln(L(i,j))-ln(I(i,j)) (2);
S13、对所述步骤S12中的反射分量R(i,j)进行选择性比例修改,得到新的反射分量 R′(i,j),其修改比例公式为:
式(3)中,I(i,j)>mI,γ为伽马系数,mI为照明分量I(i,j)的平均值;
S14、根据所述步骤S12中的照明分量I(i,j)可生成多个虚拟照明分量In(i,j),其生 成公式为:
In(i,j)=(1+f(vn))I(i,j) (4)
式(4)中,n为虚拟照明分量的数量,v为虚拟曝光值,f(vn)为虚拟曝光值的比 例函数;
S15、根据所述步骤S13的反射分量R′(i,j)和所述步骤S14中的虚拟照明分量In(i,j) 生成虚拟曝光亮度分量Ln(i,j),其生成公式为:
Ln(i,j)=exp(R′(i,j))In(i,j) (5);
S16、对所述步骤S15中的虚拟曝光亮度分量Ln(i,j)进行色调映射,可得待拼接图像 的高动态范围图像,其色调映射可表示为:
式(6)中,k(k=n)为虚拟照明分量对应图像的数量,γt为伽马矫正系数,Red、Green和Blue分别是待拼接图像的RGB颜色空间中三个分量的像素值。
优选地,所述步骤S14中的所述照明分量I(i,j)可生成五个虚拟照明分量In(i,j)。
优选地,所述步骤S11中对待拼接图像的颜色空间转换,分离出亮度分量L(i,j)的公 式可表示为:
L(i,j)=1.0*(0.3*Red+0.59*Green+0.11*Blue)/255 (7)
式(7)中,常数1.0、0.3、0.59、0.11和255均为待拼接图像RGB颜色空间转换为 YUV颜色空间公式中的定值。
优选地,所述步骤S12中采用加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行 滤波得到照明分量I(i,j)公式为:
I(i,j)=L(i,j)*G(·) (8)
式(8)中,G(·)为加权最小二乘滤波器。
优选地,所述步骤S14中虚拟曝光值的比例函数f(v)采用Sigmoid函数,可表示为:
式(9)中,v为[0,1]范围内的虚拟曝光值,σs为Sigmoid函数的平滑因子,为控制比例函数的自适应幅度,M为照明分量I(i,j)的最大值。
优选地,所述步骤S3的具体实现方法为:
S31、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图像的匹配特征点对,其优化公式为:
k1·dmin<{dN}<k2·dmax (11)
式(10)中,ratio表示dAB1和dAB2的比例,ε为阈值(0.4≤ε≤0.6),dAB表示两 幅待拼接图像中匹配特征点对的欧式距离;dAB1和dAB2分别表示两幅待拼接的高动态范 围图像中匹配特征点对第一最小欧式距离和第二最小欧式距离;式(11)中,{dN}为优 化匹配特征点对的欧式距离集,dmin为特征点对欧式距离集中的最小欧式距离,dmax为 特征点对欧式距离集中的最大欧式距离,k1、k2为特征点对的欧式距离的比例权重;
S32、根据所述步骤S31中的匹配特征点找出待拼接的高动态范围图像之间的映射关 系,得到待拼接的高动态范围图像之间的变换矩阵,根据变换矩阵将待拼接的高动态范围图像进行投影,即完成将待拼接图像的拼接,其映射公式如下:
式(11)中,(x,y)为待拼接的高动态范围图像中一副图像的像素坐标,(x′,y′)为像 素坐标(x,y)映射到另一幅待拼接的高动态范围图像中的像素坐标,h表示像素坐标为(x,y)的待拼接高动态范围图像的变换矩阵变量,X、Y和Z表示像素坐标为(x,y)的待拼 接高动态范围图像的三维空间坐标变量。
与现有技术比较,本发明具有的有益技术效果如下:本发明的图像拼接方法主要针 对由于拍摄照明环境的不确定性,在恶劣的照明环境下拍摄的图像进行拼接时,图像细节不清晰、检测到的特征点数量较少等因素严重影响图像特征匹配准确度,从而使得拼 接效果差,甚至是无法进行图像拼接等问题,该方法首先采用基于单幅低动态范围图像 生成高动态范围图像的方法对待拼接图像进行图像预处理;然后对经过预处理的待拼接 的高动态范围图像进行特征点检测提取;之后对待拼接的高动态范围图像的特征点进行 匹配优化以及找出待拼接的高动态范围图像之间的变换矩阵,并根据变换矩阵将待拼接 的高动态范围图像投影;最后对拼接图像进行融合处理。本发明的图像拼接方法中由于 图像预处理使得图像的细节更为丰富且更接近人眼所能捕捉的动态范围,解决了恶劣照 明环境下拍摄的不清晰图像细节严重影响图像的特征匹配准确度的问题,使得检测提取 待拼接图像的特征点数量多,且分布均匀,极大提高图像特征匹配准确度,改善图像拼 接效果,具有算法简单、可操作性强和广泛适用性的特点。
附图说明
图1为本发明基于高动态范围的图像拼接方法流程图,
图2为本发明基于高动态范围的图像拼接方法的图像预处理流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图对本发明作 进一步的详细说明。
如图1、图2所示,一种基于高动态范围的图像拼接方法,所述方法包括以下步骤:
S1、将输入的待拼接图像进行基于高动态范围的图像预处理,得到待拼接的高动态 范围图像;
S2、对待拼接的高动态范围图像进行特征点检测,并提取待拼接的高动态范围图像 的特征点;
S3、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图 像的特征点对,根据所述特征点计算待拼接的高动态范围图像之间的映射关系矩阵,然后通过映射关系矩阵将待拼接的高动态范围图像进行投影,即完成图像的拼接。
本实施例中,通过对输入的待拼接图像基于高动态范围的图像预处理,使得待拼接 图像的细节更为丰富且更接近人眼所能捕捉的动态范围,解决了恶劣照明环境下拍摄的 不清晰图像细节严重影响图像的特征匹配准确度的问题,使得检测提取待拼接图像的特 征点数量多,且分布均匀,极大提高图像特征匹配准确度,改善图像拼接效果。
如图1所示,所述方法还包括步骤S4:将所述步骤S3中完成的拼接图像进行图像融合。
所述拼接图像的图像融合公式为:
式(1)中,(i,j)为待拼接的高动态范围图像的像素位置索引,image1(i,j)、image2(i,j) 为待拼接的高动态范围图像,S1为待拼接的高动态范围图像image1(i,j)与待拼接的高动 态范围图像image2(i,j)之间的非重叠区域,S2为待拼接的高动态范围图像image2(i,j)与 待拼接的高动态范围图像image1(i,j)之间的非重叠区域,S12为待拼接的高动态范围图像 image1(i,j)与待拼接的高动态范围图像image2(i,j)之间的重叠区域,a=d/width为距离 比例权重,d∈[0,width]表示处理像素点坐标位置到重叠区域左边的距离,width是重叠 区域的宽度。
本实施例中,拼接图像在完成拼接后,由于光照差异、变换矩阵数值不够精确等原因,导致拼接图像的拼接处过渡部分效果较差,如拼接痕迹明显、拼接错误、错位等问 题,故对所述拼接图像进行融合处理,改善所述拼接图像的拼接效果。
如图2所示,所述步骤S1具体实现方法为:
S11、将输入的待拼接图像RGB颜色空间转换为YUV颜色空间,并分离出YUV颜色空间 中的分量Y作为待拼接图像的亮度分量L(i,j);
S12、通过加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行滤波,得到待拼接 图像环境的照明分量I(i,j),并根据Retinex理论(视网膜大脑皮层理论)计算出待拼接图像的反射分量R(i,j),具体为:
R(i,j)=ln(L(i,j))-ln(I(i,j)) (2);
S13、对所述步骤S12中的反射分量R(i,j)进行选择性比例修改,得到新的反射分量 R′(i,j),其修改比例公式为:
式(3)中,I(i,j)>mI,γ为伽马系数,mI为照明分量I(i,j)的平均值;
S14、根据所述步骤S12中的照明分量I(i,j)可生成多个虚拟照明分量In(i,j),其生 成公式为:
In(i,j)=(1+f(vn))I(i,j) (4)
式(4)中,n为虚拟照明分量的数量,v为虚拟曝光值,f(vn)为虚拟曝光值的比 例函数;
S15、根据所述步骤S13的反射分量R′(i,j)和所述步骤S14中的虚拟照明分量In(i,j) 生成虚拟曝光亮度分量Ln(i,j),其生成公式为:
Ln(i,j)=exp(R′(i,j))In(i,j) (5);
S16、对所述步骤S15中的虚拟曝光亮度分量Ln(i,j)进行色调映射,可得待拼接的高 动态范围图像,其色调映射Sk可表示为:
式(6)中,k(k=n)为虚拟照明分量对应图像的数量,γt为伽马矫正系数,Red、Green和Blue分别是待拼接图像的RGB颜色空间中三个分量的像素值。
如图2所示,所述步骤S14中的所述照明分量I(i,j)可生成多个虚拟照明分量In(i,j)。 本实施例中,由于常规生成高动态范围图像的方法中一般需要3~5张不同曝光值的图像 进行生成,在本具体实施例中,所述步骤S14中的所述照明分量I(i,j)设计为可生成五个 虚拟照明分量In(i,j),即n=1,2,3,4,5,则所述虚拟照明分量对应图像的数量k=1,2,3,4,5, 在其他实施例中,也可以是其他数量的虚拟照明分量In(i,j)。
如图2所示,所述步骤S11中对待拼接图像的颜色空间转换,分离出亮度分量L(i,j)的 公式可表示为:
L(i,j)=1.0*(0.3*Red+0.59*Green+0.11*Blue)/255 (7)
式(7)中,常数1.0、0.3、0.59、0.11和255均为待拼接图像RGB颜色空间转换为 YUV颜色空间公式中的定值。
如图2所示,所述步骤S12中采用加权最小二乘法滤波器对分离出的亮度分量L(i,j) 进行滤波得到照明分量I(i,j)公式为:
I(i,j)=L(i,j)*G(·) (8)
式(8)中,G(·)为加权最小二乘滤波器。
如图2所示,所述步骤S14中虚拟曝光值的比例函数f(v)采用Sigmoid函数(S型生长 曲线),可表示为:
式(9)中,v为[0,1]范围内的虚拟曝光值,σs为Sigmoid函数的平滑因子,为控制比例函数的自适应幅度,M为照明分量I(i,j)的最大值。
如图1所示,所述步骤S3的具体实现方法为:
S31、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图像的匹配特征点对,其优化公式为:
k1·dmin<{dN}<k2·dmax (11)
式(10)中,ratio表示dAB1和dAB2的比例,ε为阈值(0.4≤ε≤0.6),dAB表示两 幅待拼接图像中匹配特征点对的欧式距离;dAB1和dAB2分别表示两幅待拼接的高动态范 围图像中匹配特征点对第一最小欧式距离和第二最小欧式距离;式(11)中,{dN}为优 化匹配特征点对的欧式距离集,dmin为特征点对欧式距离集中的最小欧式距离,dmax为 特征点对欧式距离集中的最大欧式距离,k1、k2为特征点对的欧式距离的比例权重(其 中k1∈[3,4],k2∈[0.6,0.7]);
S32、根据所述步骤S31中的匹配特征点找出两幅待拼接的高动态范围图像之间的映 射关系,得到两幅待拼接的高动态范围图像之间的变换矩阵,根据变换矩阵将待拼接的高动态范围图像进行投影,即完成将两幅待拼接的高动态范围图像的拼接,其映射公式 如下:
式(12)中,(x,y)为待拼接的高动态范围图像中一副图像的像素坐标,(x′,y′)为像 素坐标(x,y)映射到另一幅待拼接的高动态范围图像中的像素坐标,h表示两幅待拼接高 动态范围图像的变换矩阵变量,X、Y和Z表示两幅待拼接高动态范围图像的三维空间坐标转换变量。
本实施例中,首先将在恶劣照明环境下拍摄的图像的颜色空间转换为YUV格式并分离出亮度分量L(i,j),然后对亮度分量L(i,j)进行滤波计算出其照明分量I(i,j),根据Retinex理论得到图像的反射分量R(i,j),再对反射分量R(i,j)进行选择性比例修改得到新的反射分量R′(i,j),之后根据照明分量I(i,j)生成多个虚拟照明分量In(i,j),再根据虚拟照明分量In(i,j)生成虚拟曝光亮度分量Ln(i,j),对虚拟曝光亮度分量Ln(i,j)进行色调映射,即可得到高动态范围的待拼接图像,再后检测提取待拼接的高动态范围图像的 特征点,并对检测提取的特征点进行匹配优化计算出待拼接的高动态范围图像之间的映 射关系矩阵,通过映射关系矩阵进行投影得到的模型展开图即为所拼接的高动态范围图 像,完成待拼接的高动态范围图像的拼接,最后对完成的拼接图像进行融合处理,改善 拼接效果。该图像拼接方法通过图像预处理使得图像的细节更为丰富且更接近人眼所能 捕捉的动态范围,解决了恶劣照明环境下拍摄的不清晰图像细节严重影响图像的特征匹 配准确度的问题,使得检测提取待拼接的高动态范围图像的特征点数量多,且分布均匀, 极大提高了图像特征匹配准确度,改善了图像拼接效果,具有算法简单、可操作性强和 广泛适用性的特点。
为了进一步说明本发明的技术效果,下面选取两张恶劣照明环境拍摄的图像采用本 发明的基于高动态范围的图像拼接方法进行拼接予以说明,具体步骤如下:
S11、输入待拼接图像,并将待拼接图像的RGB颜色空间转换为YUV颜色空间,分 离出YUV颜色空间中的分量Y作为待拼接图像的亮度分量L(i,j)进行归一化处理,其中 分离亮度分量L(i,j)的公式为L(i,j)=1.0*(0.3*Red+0.59*Green+0.11*Blue)/255,由 于拍摄处于恶劣照明环境下,拍摄的图像细节不清晰,图像的暗区域人眼几乎是无法看 清晰;
S12、通过加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行滤波,得到待拼接 图像环境的照明分量I(i,j),其中I(i,j)=L(i,j)*G(·),然后根据Retinex理论计算出待 拼接图像的反射分量R(i,j),其公式为R(i,j)=ln(L(i,j))-ln(I(i,j));
S13、对反射分量R(i,j)进行选择性比例修改,得到新的反射分量R′(i,j),其中伽马系数γ=0.6;
S14、根据照明分量I(i,j)可生成多个虚拟照明分量In(i,j),In(i,j)=(1+f(vn))I(i,j), 其中σs=1.0;
S15、根据反射分量R′(i,j)和虚拟照明分量In(i,j)生成虚拟曝光亮度分量Ln(i,j), Ln(i,j)=exp(R′(i,j))In(i,j);
S16、通过公式对虚拟曝光亮度分量Ln(i,j)进行色调映射,得 到高动态范围的待拼接图像,其中伽马矫正系数γt=1.0。
本实施例中,所述待拼接图像经过本发明中的图像预处理,从低动态范围图像生成 为高动态范围图像,使得待拼接图像呈现细节更为丰富且更接近人眼所能捕捉的动态范 围,图像的暗区域细节变得更加清晰,大大改善了待拼接图像的质量;
S2、对高动态范围图像进行特征点检测,并提取待拼接的高动态范围图像的特征点, 通过采用SURF方法的Hessian矩阵检测预处理后的高动态范围待拼接图像的特征点,所提取到的特征点数量明显增加;
S3、通过公式对两幅待拼接的高动态范围图像中匹配的特征点对进 行匹配优化,获取两幅待拼接的高动态范围图像的特征点对,根据所述特征点对计算两幅待拼接的高动态范围图像之间的映射关系矩阵然后将待拼接的高动态范围图像进行投影,通过将一副待拼接的高动态范围图像的像素 坐标映射到另一副待拼接的高动态范围图像的像素坐标,这样便可以将待拼接的高动态 范围图像进行拼接;
S4、通过公式对拼接图像 进行融合处理,其中a=d/width为距离比例权重,d∈[0,width]表示处理像素点坐标位 置到重叠区域左边的距离,width是重叠区域的宽度,经过本发明的图像融合处理,将缺失的图像细节恢复,使得拼接图像的拼接处看起来更加自然,改善了拼接效果。
以上对本发明所提供的一种基于高动态范围的图像拼接方法进行了详细介绍。本文 中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于 帮助理解本发明的核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入 本发明权利要求的保护范围内。

Claims (9)

1.一种基于高动态范围的图像拼接方法,其特征在于,所述方法包括以下步骤:
S1、将输入的待拼接图像进行基于高动态范围的图像预处理,得到待拼接的高动态范围图像;
S2、对待拼接的高动态范围图像进行特征点检测,并提取待拼接的高动态范围图像的特征点;
S3、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图像的特征点对,根据所述特征点对计算待拼接的高动态范围图像之间的映射关系矩阵,然后通过映射关系矩阵将待拼接的高动态范围图像进行投影,即完成图像的拼接。
2.根据权利要求1所述的基于高动态范围的图像拼接方法,其特征在于,所述方法还包括步骤S4:将所述步骤S3中完成的拼接图像进行图像融合。
3.如权利要求2所述的基于高动态范围的图像拼接方法,其特征在于,所述拼接图像的图像融合公式为:
式(1)中,(i,j)为待拼接的高动态范围图像的像素位置索引,image1(i,j)、image2(i,j)为待拼接的高动态范围图像,S1为待拼接的高动态范围图像image1(i,j)与待拼接的高动态范围图像image2(i,j)之间的非重叠区域,S2为待拼接的高动态范围图像image2(i,j)与待拼接的高动态范围图像image1(i,j)之间的非重叠区域,S12为待拼接的高动态范围图像image1(i,j)与待拼接的高动态范围图像image2(i,j)之间的重叠区域,a为距离比例权重。
4.如权利要求3所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S1具体实现方法为:
S11、将输入的待拼接图像RGB颜色空间转换为YUV颜色空间,并分离出YUV颜色空间中的分量Y作为待拼接图像的亮度分量L(i,j);
S12、通过加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行滤波,得到待拼接图像环境的照明分量I(i,j),并根据Retinex理论计算出待拼接图像的反射分量R(i,j),具体为:
R(i,j)=ln(L(i,j))-ln(I(i,j)) (2);
S13、对所述步骤S12中的反射分量R(i,j)进行选择性比例修改,得到新的反射分量R′(i,j),其修改比例公式为:
式(3)中,I(i,j)>mI,γ为伽马系数,mI为照明分量I(i,j)的平均值;
S14、根据所述步骤S12中的照明分量I(i,j)可生成多个虚拟照明分量In(i,j),其生成公式为:
In(i,j)=(1+f(vn))I(i,j) (4)
式(4)中,n为虚拟照明分量的数量,v为虚拟曝光值,f(vn)为虚拟曝光值的比例函数;
S15、根据所述步骤S13的反射分量R′(i,j)和所述步骤S14中的虚拟照明分量In(i,j)生成虚拟曝光亮度分量Ln(i,j),其生成公式为:
Ln(i,j)=exp(R′(i,j))In(i,j) (5);
S16、对所述步骤S15中的虚拟曝光亮度分量Ln(i,j)进行色调映射,可得待拼接的高动态范围图像,其色调映射可表示为:
式(6)中,k为虚拟照明分量对应图像的数量,γt为伽马矫正系数,Red、Green和Blue分别是待拼接图像的RGB颜色空间中三个分量的像素值。
5.如权利要求4所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S14中的所述照明分量I(i,j)可生成五个虚拟照明分量In(i,j)。
6.如权利要求5所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S11中对待拼接图像的颜色空间转换,分离出亮度分量L(i,j)的公式可表示为:
L(i,j)=1.0*(0.3*Red+0.59*Green+0.11*Blue)/255 (7)
式(7)中,常数1.0、0.3、0.59、0.11和255均为待拼接图像RGB颜色空间转换为YUV颜色空间公式中的定值。
7.如权利要求6所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S12中采用加权最小二乘法滤波器对分离出的亮度分量L(i,j)进行滤波得到照明分量I(i,j)的公式为:
I(i,j)=L(i,j)*G(·) (8)
式(8)中,G(·)为加权最小二乘滤波器。
8.如权利要求7所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S14中虚拟曝光值的比例函数f(v)采用Sigmoid函数,可表示为:
式(9)中,v为[0,1]范围内的虚拟曝光值,σs为Sigmoid函数的平滑因子,为控制比例函数的自适应幅度,M为照明分量I(i,j)的最大值。
9.如权利要求8所述的基于高动态范围的图像拼接方法,其特征在于,所述步骤S3的具体实现方法为:
S31、对待拼接的高动态范围图像特征点进行匹配优化,得到待拼接的高动态范围图像的匹配特征点对,其优化公式为:
k1·dmin<{dN}<k2·dmax (11)
式(10)中,ratio表示dAB1和dAB2的比例,ε为阈值(0.4≤ε≤0.6),dAB表示两幅待拼接图像中匹配特征点对的欧式距离;dAB1和dAB2分别表示两幅待拼接的高动态范围图像中匹配特征点对第一最小欧式距离和第二最小欧式距离;式(11)中,{dN}为优化匹配特征点对的欧式距离集,dmin为特征点对欧式距离集中的最小欧式距离,dmax为特征点对欧式距离集中的最大欧式距离,k1、k2为特征点对的欧式距离的比例权重;
S32、根据所述步骤S31中的匹配特征点找出待拼接的高动态范围图像之间的映射关系,得到待拼接的高动态范围图像之间的变换矩阵,根据变换矩阵将待拼接的高动态范围图像进行投影,即完成将待拼接的高动态范围图像的拼接,其映射公式如下:
式(12)中,(x,y)为待拼接的高动态范围图像中一副图像的像素坐标,(x′,y′)为像素坐标(x,y)映射到另一幅待拼接的高动态范围图像中的像素坐标,h表示像素坐标为(x,y)的待拼接高动态范围图像的变换矩阵变量,X、Y和Z表示像素坐标为(x,y)的待拼接高动态范围图像的三维空间坐标变量。
CN201910201782.8A 2019-03-18 2019-03-18 一种基于高动态范围的图像拼接方法 Active CN109934787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910201782.8A CN109934787B (zh) 2019-03-18 2019-03-18 一种基于高动态范围的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910201782.8A CN109934787B (zh) 2019-03-18 2019-03-18 一种基于高动态范围的图像拼接方法

Publications (2)

Publication Number Publication Date
CN109934787A true CN109934787A (zh) 2019-06-25
CN109934787B CN109934787B (zh) 2022-11-25

Family

ID=66987482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910201782.8A Active CN109934787B (zh) 2019-03-18 2019-03-18 一种基于高动态范围的图像拼接方法

Country Status (1)

Country Link
CN (1) CN109934787B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400269A (zh) * 2019-07-04 2019-11-01 汕头大学 一种快速的hdr图像色调映射方法
CN114359083A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
CN114862760A (zh) * 2022-03-30 2022-08-05 中山大学中山眼科中心 一种早产儿视网膜病变检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622732A (zh) * 2012-03-14 2012-08-01 上海大学 一种前扫声纳图像拼接方法
US20150304538A1 (en) * 2014-04-22 2015-10-22 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
CN106127690A (zh) * 2016-07-06 2016-11-16 李长春 一种无人机遥感图像快速拼接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622732A (zh) * 2012-03-14 2012-08-01 上海大学 一种前扫声纳图像拼接方法
US20150304538A1 (en) * 2014-04-22 2015-10-22 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
CN106127690A (zh) * 2016-07-06 2016-11-16 李长春 一种无人机遥感图像快速拼接方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400269A (zh) * 2019-07-04 2019-11-01 汕头大学 一种快速的hdr图像色调映射方法
CN110400269B (zh) * 2019-07-04 2021-08-06 汕头大学 一种快速的hdr图像色调映射方法
CN114359083A (zh) * 2021-12-24 2022-04-15 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
CN114862760A (zh) * 2022-03-30 2022-08-05 中山大学中山眼科中心 一种早产儿视网膜病变检测方法及装置

Also Published As

Publication number Publication date
CN109934787B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN109754377B (zh) 一种多曝光图像融合方法
CN109934787A (zh) 一种基于高动态范围的图像拼接方法
CN107103589B (zh) 一种基于光场图像的高光区域修复方法
WO2013185449A1 (zh) 图像增强方法、图像增强装置和显示装置
CN108419028A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11062480B2 (en) Method and apparatus for processing image
CN107194900A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN106340025A (zh) 一种基于色适应变换的背景更换视觉传达方法
CN107317967A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN105989583B (zh) 一种图像去雾方法
CN110298792A (zh) 低光照图像增强与去噪方法、系统及计算机设备
CN105957020B (zh) 图像生成装置以及图像生成方法
CN111667446B (zh) 图像处理方法
CN106919246A (zh) 一种应用界面的显示方法和装置
CN109191398A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110298796A (zh) 基于改进Retinex与对数图像处理的低照度图像增强方法
CN110674737A (zh) 一种虹膜识别的增强方法
CN114663299A (zh) 适用于煤矿井下的图像去雾模型的训练方法及其装置
CN107424135A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN103778594B (zh) 一种基于闪光灯非闪光灯图像对的红眼检测方法
CN107292853A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
CN107240075A (zh) 一种雾霾图像增强处理方法及系统
Huo et al. Underwater image restoration based on color correction and red channel prior
Lee et al. Image dehazing technique based on sky weight detection and fusion transmission

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant