CN105631811A - 一种用于图像拼接的方法及装置 - Google Patents
一种用于图像拼接的方法及装置 Download PDFInfo
- Publication number
- CN105631811A CN105631811A CN201610101824.7A CN201610101824A CN105631811A CN 105631811 A CN105631811 A CN 105631811A CN 201610101824 A CN201610101824 A CN 201610101824A CN 105631811 A CN105631811 A CN 105631811A
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- pending
- pending image
- pyramid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 230000008878 coupling Effects 0.000 claims description 15
- 238000010168 coupling process Methods 0.000 claims description 15
- 238000005859 coupling reaction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种用于图像拼接的方法,包括将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;对去噪后的待处理图像建立高斯金字塔,根据高斯金字塔以及尺度空间建立DOG金字塔,根据DOG金字塔定位特征点位置,获取特征点;根据特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;采用加权融合的方式消除拼接后的图像的拼接缝隙,得到待融合图像;从各个待融合图像中提取特征点,并对特征点进行匹配,得到待融合图像的匹配后的特征点对,根据匹配后的特征点对将待融合图像进行配准;采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种用于图像拼接的方法及装置。
背景技术
随着科学技术的进步和数字成像技术的迅速发展,数字成像设备也得到广泛的应用。然而,数字成像设备由于自身的物理限制,在一些特殊的应用场景中,其不能够满足人们的需求,例如,在需要获取到大视场的图像时,因成像设备自身的视场宽度较窄,无法获取到全景图像。本发明人发现,在获取大视场图像时,通常依靠图像拼接技术进行处理,仅靠图像拼接技术来获取大视场图像时,获取到的图像内容不清晰、一些特征点容易被忽略,从而导致拼接后的图像准确度低,不能准确地反应视场中的特征。
发明内容
为了解决现有技术存在的技术缺陷,本发明提供一种用于图像拼接的方法及装置,其中:一种用于图像拼接的方法,包括:
将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点;
根据所述特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像;
从各个待融合图像中提取特征点,并对所述特征点进行匹配,得到所述待融合图像的匹配后的特征点对,根据所述匹配后的特征点对将所述待融合图像进行配准;
采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
所述分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像,包括:
分别对所述各组待处理图像进行归一化处理,去除噪声,得到去噪后的待处理图像。
所述对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点,包括:
将所述去噪后的待处理图像和不同尺度的高斯核进行卷积,构成高斯金字塔,其中,在进行卷积处理时,对所述去噪后的待处理图像的行列分别进行一维卷积操作;
将所述高斯核和所述去噪后的待处理图像进行乘法计算得到尺度空间,获取尺度比例因子为预设值的两个相邻的尺度空间,根据获取到的这两个相邻的尺度空间之差建立DOG金字塔;
对所述DOG金字塔计算局部极值点处的泰勒展开式,得到泰勒展开式;
根据所述泰勒展开式以及所述DOG金字塔局部极值点的精确位置筛选出低对比度点,保留非低对比度点,将所述非低对比度点作为特征点。
在对每一组去噪后的待处理图像进行拼接时,还包括:
获取待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接。
所述采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像,包括:
获取各去噪后的待处理图像的灰度值,以及其对应的拼接后的图像的灰度值;
获取所述拼接后的图像的重叠区域中各去噪后的待处理图像的像素对应的权值;
根据所述各去噪后的待处理图像的灰度值和其在重叠区域中的权值,以及对应的拼接后的图像的灰度值,计算重叠区域的灰度值,完成加权融合。
一种用于图像拼接的装置,包括:
图像预处理模块,用于将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
提取特征模块,用于对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点;
图像拼接模块,根据所述特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
消缝模块,用于采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像;
配准模块,用于从各个待融合图像中提取特征点,并对所述特征点进行匹配,得到所述待融合图像的匹配后的特征点对,根据所述匹配后的特征点对将所述待融合图像进行配准;
图像融合模块,用于采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
所述图像预处理模块,具体用于分别对所述各组待处理图像进行归一化处理,去除噪声,得到去噪后的待处理图像。
所述提取特征模块,具体用于将所述去噪后的待处理图像和不同尺度的高斯核进行卷积,构成高斯金字塔,其中,在进行卷积处理时,对所述去噪后的待处理图像的行列分别进行一维卷积操作;
将所述高斯核和所述去噪后的待处理图像进行乘法计算得到尺度空间,获取尺度比例因子为预设值的两个相邻的尺度空间,根据获取到的这两个相邻的尺度空间之差建立DOG金字塔;
对所述DOG金字塔计算局部极值点处的泰勒展开式,得到泰勒展开式;
根据所述泰勒展开式以及所述DOG金字塔局部极值点的精确位置筛选出低对比度点,保留非低对比度点,将所述非低对比度点作为特征点。
所述图像拼接模块,还用于获取待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接。
所述消缝模块,用于获取各去噪后的待处理图像的灰度值,以及其对应的拼接后的图像的灰度值;
获取所述拼接后的图像的重叠区域中各去噪后的待处理图像的像素对应的权值;
根据所述各去噪后的待处理图像的灰度值和其在重叠区域中的权值,以及对应的拼接后的图像的灰度值,计算重叠区域的灰度值,完成加权融合。
本发明实施例提供的技术方案,取得的有益效果为:通过分别获取在两个焦距值条件下拍摄的两组图像,分别对这两组图像进行图像拼接,最终得到两个拼接后的图像,通过图像拼接处理,使得图像中的内容更丰富。对拼接后得到的图像进行图像融合,以此得到融合后的目标图像,采用本发明提供的技术方案,得到的目标图像,图像特征清晰、图像容纳的内容更丰富,方案简单,便于实施。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种用于图像拼接的方法流程图;
图2为本发明实施例提供的第一图像;
图3为本发明实施例提供的第二图像;
图4为本发明实施例提供的第一拼接图像;
图5为本发明实施例提供的第三图像;
图6为本发明实施例提供的第四图像;
图7为本发明实施例提供的第二拼接图像;
图8为本发明实施例提供的融合后的目标图像;
图9为本发明实施例提供的一种用于图像拼接的装置框图。
具体实施方式
在本发明实施例中,提供一种用于图像拼接的方法,具体如图1所示,包括:
步骤101:将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
对于同一镜头来说,采用不同的焦距值对同一目标进行图像拍摄时,得到的目标的成像也不相同。焦距值越大,目标的成像越大,图像特征点越突出,图像清晰度越高。相应地,焦距值越小,目标的成像越小,图像特征点比较模糊,图像清晰度越低。在本技术方案中,采用不同焦距值对同一目标进行拍摄,结合不同焦距值条件下拍摄的图像,能够清楚、完整的反应图像特征。在拍摄图像的过程中,由于受到温度和ISO的影响,图像中会产生噪点,温度和ISO越高,噪点越多,噪声越大,而图像通常会因受噪声的影响,导致图像特征点不清晰。在本技术方案中,通过对待处理图像进行去噪处理,减少图像中的噪声,降低噪声对图像特征点的影响,提高基于特征点的图像配准。其中,对待处理图像进行去噪处理包括:
对待处理图像进行图像归一化处理,即:将待处理图像在原有基础上再扩大一倍,此时,高斯滤波(至少σ=0.5,σ表示了高斯正态分布的方差)除去噪声,得到高斯金字塔的第一阶第一层。在本发明中,通过对待处理图像进行图像归一化处理除去噪声,得到去噪后的待处理图像,将该图像作为高斯金字塔的最底层,该图像中能够得到更多的图像特征点,而且针对该图像进行特征向量提取时,提取到的特征向量性能更稳健。
步骤102:对去噪后的待处理图像建立高斯金字塔,根据高斯金字塔以及尺度空间建立DOG(DifferenceofGaussian)金字塔,根据DOG金字塔定位特征点位置,获取特征点;
将去噪后的待处理图像f(x,y)和不同尺度的高斯核G(x,y,σ)进行卷积,构成高斯金字塔。其中,由上述公式可以看出:σ决定高斯核G(x,y,σ)的大小,根据σ可以确定高斯滤波器,其中,高斯滤波器为w(u,v),并且σ和尺度之间是相关的,因此,在本发明中,SIFT特征点提取具有对图像尺度缩放的不变性。另外,在本发明中,对去噪后的待处理图像的行列分别进行一维卷积操作和对该图像进行一次二维卷积,得到的结果虽然相同,但是,对去噪后的待处理图像的行列分别进行一维卷积操作要比采用一次二维卷积进行计算的计算速度要快,并且,随着模板的增大,计算速度差异越明显。基于上述原因,本发明可以采用对去噪后的待处理图像的行列分别进行一维卷积操作,以此得到高斯金字塔。
本技术方案中,可以将高斯核和去噪后的待处理图像进行乘法计算得到尺度空间。尺度空间是以尺度σ为参数的算子族,尺度空间L(x,y,σ)=G(x,y,σ)*f(x,y)。其中,L(x,y,σ)表示尺度为σ的尺度空间尺度空间。然后,根据两个相邻的尺度比例因子为k的尺度空间之差建立DOG金字塔,DOG金字塔用D(x,y,σ)表示,D(x,y,σ)=L(x,y,kσ)-L(x,y,σ)。
需要说明的是,在本发明提供的算法中,高斯金字塔可以取4阶,其中,每一阶有S+3层尺度图像。优选的,S取值为2时,本发明提供的算法表现最好,当S取值大于2时,得到的特征点中存在不稳定的点,而且随着S取值的增加,得到的特征点越多。
在本发明中,由于D和关系可以通过热传导方程表示:
基于上述推导可以看出:具有常量比例因子的DOG函数近似等价于具有尺度不变的LOG(laplacionofGaussiam)函数,(k-1)是贯穿于所有尺度的一个常量,对于极值点的提取没有影响。在SIFT算法中使用DOG算子建立尺度空间与采用LOG(laplacionofGaussian)算子相比,两者计算得到的图像特征点稳定程度相差不大,另外,本发明采用DOG算子建立尺度空间时,计算速度更快。
对DOG金字塔D(x,y,σ)计算其局部极值点X=(x0,y0,σ)处的泰勒展开式,得到的泰勒展开式是:
根据上述D(x,y,σ)得到局部极值点X精确位置把代入D(x,y,σ)中计算D
保留的局部极值点,在本发明中,不满足条件的点就是低对比度点,将其作为特征点。
在本发明中还可以包括除去边缘响应点,具体对上述满足条件的局部极值点进行判断,如果该局部极值点满足:
在本发明中,r的取值可以为10,Tr(H)2和Det(H)的计算方式与Harris角点检测算法相同,此处不再赘述。
在确定特征点后,以特征点为中心的窗口内,计算每个像素点的梯度值m(x,y)和梯度方向θ(x,y):
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))。
在本发明中,使用梯度方向直方图统计窗口内所有像素点的梯度方向,直方图范围为0°~360°,间隔为10°。方向直方图的峰值达到预设百分比,预设百分比可以为80%,此时表示该特征点的主方向,克服噪声影响。当存在多个峰值达到预设百分比时,则认为该特征点有多个方向。
取特征点为中心的8*8窗口,把这个窗口分成16个2*2的子窗口。一个特征描述器由4个子窗口组成。在每个特征描述器上计算8个方向的方向直方图,共有四个特征描述子,有8个方向,每个特征点产生4*8=32维数据。在本发明中,上述计算过程中将描述子归一化,减少了图像亮度变化对算法的影响,采用梯度方向直方图计算特征点描述子,用梯度来做可以减少图像旋转对算法的影响。
步骤103:根据特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
在本发明中,对每一组去噪后的待处理图像,对每个特征点寻找出在待拼接图像中欧氏距离最近的2个相似最近邻特征点,获取该最近的距离与次近距离的比值小于预设阈值的特征点及最近距离的点,其中,预设阈值可以为0.6,将该特征点和其最近距离的点作为匹配的特征点。
在对每个特征点找到其匹配的特征点后,通过对原始图像坐标做归一化变换,对图像像素点作位移和缩放变换,使图像的圆点落在图像像素点极的质心,图像像素点都在半径为以这个质心为圆心的圆内。将每对匹配点连接成为向量,在高斯滤波器上找到与各匹配对向量位置最接近的n个向量,分别求出这n个向量中m个长度或者角度最为接近的向量的平均值。每个匹配对向量与平均值的差的绝对值判断是否小于某个阈值,即匹配对向量在均值附近,若小于该阈值,则匹配正确,保留该对匹配特征点。否则确定该特征点对匹配错误,不保留该对特征点。采用上述方法能够过滤掉误匹配的特征点,从而筛选出有效特征点。
根据上述有效特征点对每一组去噪后的待处理图像进行图像拼接,得到拼接后的图像,在拼接过程中还可以获取两待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接,得到拼接后的图像。在本发明中,每组待拼接图像对应一个拼接后的图像。
步骤104:采用加权融合的方式分别消除每个拼接后的图像的拼接缝隙,得到待融合图像;
本发明中还可以采用加权融合的方式进行处理,包括:令f1(x,y)、f2(x,y)、f3(x,y)分别表示待拼接图像1、2和融合两幅图像之后的图像3的灰度值,其中,待拼接图像1简称图像1,待拼接图像2简称图像2,融合两幅图像后的图像3简称图像3,三者之间的关系为:
其中,w1和w2表示的是重叠区域内图像1和图像2的像素分别对应的权值。并且w1和w2满足条件:w1+w2=1,w1∈(0,1)和w2∈(0,1)。通过上式可知,当像素点只属于图1的范围内,融合图像2的像素点的灰度值就等于图像1上该点的灰度值。当像素点在既属于图1又属于图2的范围内,融合图像3的像素点的灰度值就等于图像1上该点的灰度值加权与图像2上该点的灰度值加权的和。当像素点在只属于图像2的范围内,图像3的像素点的灰度值就等于图像2上该点的灰度值。基于此,可以采用加权融合法一般可以使拼接图上的重叠区域平稳过渡。
在本发明中,对拼接后的图像进行消除拼接缝隙操作还可以:假设f(x,y)是重叠区域的像素点,分别计算f(x,y)到两个接缝的距离a和b,此时,过渡因子为:其中,k1+k2=1。在本发明中上述方法适用于水平或者垂直图像合成,还适用于旋转图像合成。
在处理图像变换时,通常会受到图像变换的局限性和重叠区有鬼影的问题,在本发明中可以对位于重叠区的f(x,y)先计算该点位置参考图像和待拼接图像之间的灰度差,对灰度差进行判断,如果灰度差大于固定阈值,则不进行加权计算,取原来的灰度值。如果灰度差小于等于固定阈值,则计算加权值,将其作为该点的灰度值。
其中,fA(x,y),为待拼接图像,fB(x,y)为另一个待拼接图像,f(x)为拼接后图像的的灰度值,(x,y)∈(fA∩fB)。
在本发明实施例中,通过上述方法,消除图像拼接重叠区域中的接缝,使图像平滑过渡,避免出现鬼影的问题。
步骤105:从各个待融合图像中提取特征点,并对特征点进行匹配,得到待融合图像的匹配后的特征点对,根据待融合图像的匹配后的特征点对将待融合图像进行配准。
在本发明中,通过建立高斯金字塔,根据高斯金字塔以及尺度空间建立DOG金字塔,根据DOG金字塔定位特征点位置,获取特征点,并对特征点进行匹配,获取有效的特征点,在本实施例中,获取特征点,对特征点进行图像匹配提取有效特征点的方法与步骤102至步骤103中提供的方法相同,此处不再赘述。
步骤106:采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
在本实施例中,通过步骤105处理,得到有效特征点之后,对包含该有效特征点的待融合图像,采用拉普拉斯算法进行图像融合。
针对上述技术方案,结合附图进行举例说明:
获取在12.3mm焦距条件下拍摄的第一图像如图2所示和第二图像如图3所示,其中第一图像和第二图像的像素值均为720*576,将上述两个图像进行拼接,得到第一拼接图像如图4所示,此时第一拼接图像的像素值为1440*576。获取25mm焦距条件下拍摄的第三图像如图5所示和第四图像如图6所示,其中第三图像和第四图像的像素值均为720*576,将第三图像和第四图像进行拼接,得到第二拼接图像如图7所示,此时第二拼接图像的像素值为1440*576。将第一拼接图像融合到第二拼接图像中,得到融合后的目标图像如图8所示。参照图2至图8可以明显看出,经过图像拼接、图像融合处理后得到的图像,更清晰、特征点更丰富,图像更完整,处理后的图像更精确。
另一方面,本发明提供一种用于图像拼接的装置,如图9所示,包括:
图像预处理模块201,用于将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
在本发明中,图像预处理模块201,具体用于分别对所述各组待处理图像进行归一化处理,去除噪声,得到去噪后的待处理图像。对于同一镜头来说,采用不同的焦距值对同一目标进行图像拍摄时,得到的目标的成像也不相同。焦距值越大,目标的成像越大,图像特征点越突出,图像清晰度越高。相应地,焦距值越小,目标的成像越小,图像特征点比较模糊,图像清晰度越低。在本技术方案中,采用不同焦距值对同一目标进行拍摄,结合不同焦距值条件下拍摄的图像,能够清楚、完整的反应图像特征。在拍摄图像的过程中,由于受到温度和ISO的影响,图像中会产生噪点,温度和ISO越高,噪点越多,噪声越大,而图像通常会因受噪声的影响,导致图像特征点不清晰。在本技术方案中,通过对待处理图像进行去噪处理,减少图像中的噪声,降低噪声对图像特征点的影响,提高基于特征点的图像配准。
提取特征模块202,用于对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点;
在本发明中,提取特征模块202,具体用于将所述去噪后的待处理图像和不同尺度的高斯核进行卷积,构成高斯金字塔,其中,在进行卷积处理时,对所述去噪后的待处理图像的行列分别进行一维卷积操作;
将所述高斯核和所述去噪后的待处理图像进行乘法计算得到尺度空间,获取尺度比例因子为预设值的两个相邻的尺度空间,根据获取到的这两个相邻的尺度空间之差建立DOG金字塔;
对所述DOG金字塔计算局部极值点处的泰勒展开式,得到泰勒展开式;
根据所述泰勒展开式以及所述DOG金字塔局部极值点的精确位置筛选出低对比度点,保留非低对比度点,将所述非低对比度点作为特征点。
图像拼接模块203,根据所述特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
本发明中,图像拼接模块203,还用于获取待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接。
消缝模块204,用于采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像;
消缝模块204,用于获取各去噪后的待处理图像的灰度值,以及其对应的拼接后的图像的灰度值;
获取所述拼接后的图像的重叠区域中各去噪后的待处理图像的像素对应的权值;
根据所述个去噪后的待处理图像的灰度值和其在重叠区域中的权值,以及对应的拼接后的图像的灰度值,计算重叠区域的灰度值,完成加权融合。
配准模块205,用于从各个待融合图像中提取特征点,并对所述特征点进行匹配,得到所述待融合图像的匹配后的特征点对,根据所述匹配后的特征点对将所述待融合图像进行配准;
图像融合模块206,用于采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
在本发明中,由于焦距值不同对同一目标进行图像拍摄,得到的目标的成像也就不同。焦距值越大,目标的成像越大,图像特征点越突出,当显示区域不发生变化时,图像中的特征点更容易被识别。相应的焦距值越小,目标的成像越小,图像清晰度越低,虽然导致图像特征点比较模糊不容易被识别,但是图像视角越大,更利于了解目标所处环境,基于上述思想,本发明人将长、短焦距的两组图像分别进行拼接,然后再对拼接后的图像进行图像融合,使得图像更清晰,内容更丰富。本发明技术方案同样适用于在各个拍摄角度对目标进行拍摄,然后进行图像拼接、融合处理,以此能够了解目标图像在空间中所处的环境情况。
需要说明的是,本发明实施例中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种用于图像拼接的方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种用于图像拼接的方法,其特征在于,包括:
将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点;
根据所述特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像;
从各个待融合图像中提取特征点,并对所述特征点进行匹配,得到所述待融合图像的匹配后的特征点对,根据所述匹配后的特征点对将所述待融合图像进行配准;
采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
2.如权利要求1所述的方法,其特征在于,所述分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像,包括:
分别对所述各组待处理图像进行归一化处理,去除噪声,得到去噪后的待处理图像。
3.如权利要求1所述的方法,其特征在于,所述对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点,包括:
将所述去噪后的待处理图像和不同尺度的高斯核进行卷积,构成高斯金字塔,其中,在进行卷积处理时,对所述去噪后的待处理图像的行列分别进行一维卷积操作;
将所述高斯核和所述去噪后的待处理图像进行乘法计算得到尺度空间,获取尺度比例因子为预设值的两个相邻的尺度空间,根据获取到的这两个相邻的尺度空间之差建立DOG金字塔;
对所述DOG金字塔计算局部极值点处的泰勒展开式,得到泰勒展开式;
根据所述泰勒展开式以及所述DOG金字塔局部极值点的精确位置筛选出低对比度点,保留非低对比度点,将所述非低对比度点作为特征点。
4.如权利要求1所述的方法,其特征在于,在对每一组去噪后的待处理图像进行拼接时,还包括:
获取待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接。
5.如权利要求1所述的方法,其特征在于,所述采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像,包括:
获取各去噪后的待处理图像的灰度值,以及其对应的拼接后的图像的灰度值;
获取所述拼接后的图像的重叠区域中各去噪后的待处理图像的像素对应的权值;
根据所述各去噪后的待处理图像的灰度值和其在重叠区域中的权值,以及对应的拼接后的图像的灰度值,计算重叠区域的灰度值,完成加权融合。
6.一种用于图像拼接的装置,其特征在于,包括:
图像预处理模块,用于将相同焦距的待处理图像划分为一组,分别对各组待处理图像进行去噪处理,得到去噪后的待处理图像;
提取特征模块,用于对所述去噪后的待处理图像建立高斯金字塔,根据所述高斯金字塔以及尺度空间建立DOG金字塔,根据所述DOG金字塔定位特征点位置,获取特征点;
图像拼接模块,根据所述特征点对每一组去噪后的待处理图像进行图像匹配、拼接,得到每组图像对应的拼接后的图像;
消缝模块,用于采用加权融合的方式消除所述拼接后的图像的拼接缝隙,得到待融合图像;
配准模块,用于从各个待融合图像中提取特征点,并对所述特征点进行匹配,得到所述待融合图像的匹配后的特征点对,根据所述匹配后的特征点对将所述待融合图像进行配准;
图像融合模块,用于采用拉普拉斯算法对配准后的待融合图像进行图像融合,得到融合后的图像。
7.如权利要求6所述的装置,其特征在于,
所述图像预处理模块,具体用于分别对所述各组待处理图像进行归一化处理,去除噪声,得到去噪后的待处理图像。
8.如权利要求6所述的装置,其特征在于,
所述提取特征模块,具体用于将所述去噪后的待处理图像和不同尺度的高斯核进行卷积,构成高斯金字塔,其中,在进行卷积处理时,对所述去噪后的待处理图像的行列分别进行一维卷积操作;
将所述高斯核和所述去噪后的待处理图像进行乘法计算得到尺度空间,获取尺度比例因子为预设值的两个相邻的尺度空间,根据获取到的这两个相邻的尺度空间之差建立DOG金字塔;
对所述DOG金字塔计算局部极值点处的泰勒展开式,得到泰勒展开式;
根据所述泰勒展开式以及所述DOG金字塔局部极值点的精确位置筛选出低对比度点,保留非低对比度点,将所述非低对比度点作为特征点。
9.如权利要求6所述的装置,其特征在于,所述图像拼接模块,还用于获取待拼接图像中的像素点亮度属性值,根据该像素点的亮度属性值调节图像亮度,使两图像的亮度匹配,然后进行图像拼接。
10.如权利要求6所述的装置,其特征在于,所述消缝模块,用于获取各去噪后的待处理图像的灰度值,以及其对应的拼接后的图像的灰度值;
获取所述拼接后的图像的重叠区域中各去噪后的待处理图像的像素对应的权值;
根据所述各去噪后的待处理图像的灰度值和其在重叠区域中的权值,以及对应的拼接后的图像的灰度值,计算重叠区域的灰度值,完成加权融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610101824.7A CN105631811A (zh) | 2016-02-25 | 2016-02-25 | 一种用于图像拼接的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610101824.7A CN105631811A (zh) | 2016-02-25 | 2016-02-25 | 一种用于图像拼接的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105631811A true CN105631811A (zh) | 2016-06-01 |
Family
ID=56046700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610101824.7A Pending CN105631811A (zh) | 2016-02-25 | 2016-02-25 | 一种用于图像拼接的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105631811A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
CN107240070A (zh) * | 2017-06-08 | 2017-10-10 | 广东容祺智能科技有限公司 | 一种基于应急处理的无人机图像拼接系统及方法 |
CN107665486A (zh) * | 2017-09-30 | 2018-02-06 | 深圳绰曦互动科技有限公司 | 一种应用于x射线图像的自动拼接方法、装置及终端设备 |
CN108205799A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN108717684A (zh) * | 2018-04-20 | 2018-10-30 | 中南大学 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
CN108876723A (zh) * | 2018-06-25 | 2018-11-23 | 大连海事大学 | 一种灰度目标图像的彩色背景的构建方法 |
CN109003228A (zh) * | 2018-07-16 | 2018-12-14 | 杭州电子科技大学 | 一种暗场显微大视场自动拼接成像方法 |
CN109583458A (zh) * | 2018-12-04 | 2019-04-05 | 中国兵器装备集团上海电控研究所 | 空间态势感知方法和计算机可读存储介质 |
CN109740591A (zh) * | 2018-11-14 | 2019-05-10 | 国网浙江宁波市鄞州区供电有限公司 | 一种仪表识别算法 |
CN109840887A (zh) * | 2019-01-18 | 2019-06-04 | 北京友通上昊科技有限公司 | 数字化x射线影像拼接方法及装置 |
CN110689022A (zh) * | 2019-06-18 | 2020-01-14 | 华南农业大学 | 基于叶片匹配的各株作物图像提取方法 |
CN111144254A (zh) * | 2019-12-18 | 2020-05-12 | 江河瑞通(北京)技术有限公司 | 城市内涝积水程度识别方法及装置 |
CN111260779A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 地图构建方法、装置及系统、存储介质 |
CN112102171A (zh) * | 2020-09-18 | 2020-12-18 | 贝壳技术有限公司 | 图像处理方法、装置、计算机可读存储介质及电子设备 |
CN115170557A (zh) * | 2022-08-08 | 2022-10-11 | 中山大学中山眼科中心 | 结膜杯状细胞成像的图像融合方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568590A (en) * | 1993-12-17 | 1996-10-22 | Xaos Tools | Image processing using genetic mutation of neural network parameters |
EP1223557A2 (en) * | 2000-11-28 | 2002-07-17 | Monolith Co., Ltd. | Image interpolation method and apparatus therefor |
CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
CN102542545A (zh) * | 2010-12-24 | 2012-07-04 | 方正国际软件(北京)有限公司 | 一种多焦距照片融合方法、系统及拍照装置 |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
CN104240211A (zh) * | 2014-08-06 | 2014-12-24 | 中国船舶重工集团公司第七0九研究所 | 用于视频拼接的图像亮度与色彩均衡方法及系统 |
CN105205785A (zh) * | 2015-10-09 | 2015-12-30 | 济南东朔微电子有限公司 | 一种可定位的大型车辆运行管理系统及其运行方法 |
-
2016
- 2016-02-25 CN CN201610101824.7A patent/CN105631811A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5568590A (en) * | 1993-12-17 | 1996-10-22 | Xaos Tools | Image processing using genetic mutation of neural network parameters |
EP1223557A2 (en) * | 2000-11-28 | 2002-07-17 | Monolith Co., Ltd. | Image interpolation method and apparatus therefor |
CN101853524A (zh) * | 2010-05-13 | 2010-10-06 | 北京农业信息技术研究中心 | 使用图像序列生成玉米果穗全景图的方法 |
CN102542545A (zh) * | 2010-12-24 | 2012-07-04 | 方正国际软件(北京)有限公司 | 一种多焦距照片融合方法、系统及拍照装置 |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
CN104240211A (zh) * | 2014-08-06 | 2014-12-24 | 中国船舶重工集团公司第七0九研究所 | 用于视频拼接的图像亮度与色彩均衡方法及系统 |
CN105205785A (zh) * | 2015-10-09 | 2015-12-30 | 济南东朔微电子有限公司 | 一种可定位的大型车辆运行管理系统及其运行方法 |
Non-Patent Citations (2)
Title |
---|
吴铭等: ""用于图像拼接的特征提取算法研究"", 《计算机工程与设计》 * |
毛士艺等: ""多传感器图像融合技术综述"", 《北京航空航天大学学报》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910159A (zh) * | 2016-10-12 | 2017-06-30 | 王玲 | 视频拼接方法及装置 |
CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
CN108205799A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN108205799B (zh) * | 2016-12-16 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法及装置 |
CN107240070A (zh) * | 2017-06-08 | 2017-10-10 | 广东容祺智能科技有限公司 | 一种基于应急处理的无人机图像拼接系统及方法 |
CN107665486A (zh) * | 2017-09-30 | 2018-02-06 | 深圳绰曦互动科技有限公司 | 一种应用于x射线图像的自动拼接方法、装置及终端设备 |
CN107665486B (zh) * | 2017-09-30 | 2020-04-17 | 深圳绰曦互动科技有限公司 | 一种应用于x射线图像的自动拼接方法、装置及终端设备 |
CN108717684B (zh) * | 2018-04-20 | 2022-05-27 | 中南大学 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
CN108717684A (zh) * | 2018-04-20 | 2018-10-30 | 中南大学 | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 |
CN108876723A (zh) * | 2018-06-25 | 2018-11-23 | 大连海事大学 | 一种灰度目标图像的彩色背景的构建方法 |
CN109003228B (zh) * | 2018-07-16 | 2023-06-13 | 杭州电子科技大学 | 一种暗场显微大视场自动拼接成像方法 |
CN109003228A (zh) * | 2018-07-16 | 2018-12-14 | 杭州电子科技大学 | 一种暗场显微大视场自动拼接成像方法 |
CN109740591A (zh) * | 2018-11-14 | 2019-05-10 | 国网浙江宁波市鄞州区供电有限公司 | 一种仪表识别算法 |
CN111260779A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 地图构建方法、装置及系统、存储介质 |
CN109583458B (zh) * | 2018-12-04 | 2020-11-17 | 中国兵器装备集团上海电控研究所 | 空间态势感知方法和计算机可读存储介质 |
CN109583458A (zh) * | 2018-12-04 | 2019-04-05 | 中国兵器装备集团上海电控研究所 | 空间态势感知方法和计算机可读存储介质 |
CN109840887A (zh) * | 2019-01-18 | 2019-06-04 | 北京友通上昊科技有限公司 | 数字化x射线影像拼接方法及装置 |
CN110689022A (zh) * | 2019-06-18 | 2020-01-14 | 华南农业大学 | 基于叶片匹配的各株作物图像提取方法 |
CN111144254A (zh) * | 2019-12-18 | 2020-05-12 | 江河瑞通(北京)技术有限公司 | 城市内涝积水程度识别方法及装置 |
CN112102171A (zh) * | 2020-09-18 | 2020-12-18 | 贝壳技术有限公司 | 图像处理方法、装置、计算机可读存储介质及电子设备 |
CN115170557A (zh) * | 2022-08-08 | 2022-10-11 | 中山大学中山眼科中心 | 结膜杯状细胞成像的图像融合方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105631811A (zh) | 一种用于图像拼接的方法及装置 | |
US20130208997A1 (en) | Method and Apparatus for Combining Panoramic Image | |
CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
US11087169B2 (en) | Image processing apparatus that identifies object and method therefor | |
CN102834845B (zh) | 用于多摄像装置校准的方法与装置 | |
KR101175097B1 (ko) | 파노라마 영상 생성 방법 | |
Chaudhury et al. | Auto-rectification of user photos | |
Cucchiara et al. | A Hough transform-based method for radial lens distortion correction | |
Mistry et al. | Image stitching using Harris feature detection | |
CN103679636A (zh) | 基于点、线双重特征的快速图像拼接方法 | |
US20220222849A1 (en) | Pose Tracking Method, Pose Tracking Device and Electronic Device | |
CN110956661A (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
Cinaroglu et al. | A direct approach for human detection with catadioptric omnidirectional cameras | |
CN114926747A (zh) | 一种基于多特征聚合与交互的遥感图像定向目标检测方法 | |
Chen et al. | Automatic checkerboard detection for robust camera calibration | |
CN105678720A (zh) | 一种全景拼接判断图像匹配方法及装置 | |
KR101868740B1 (ko) | 파노라마 이미지 생성 방법 및 장치 | |
CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
Ihmeida et al. | Image registration techniques and applications: Comparative study on remote sensing imagery | |
KR101348681B1 (ko) | 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치 | |
CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
Wang et al. | A real-time correction and stitching algorithm for underwater fisheye images | |
JP4886661B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
Kang et al. | A robust image matching method based on optimized BaySAC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160601 |