CN107230185A - 用于超光谱成像平台中双相机图像的对齐方法 - Google Patents
用于超光谱成像平台中双相机图像的对齐方法 Download PDFInfo
- Publication number
- CN107230185A CN107230185A CN201710304685.2A CN201710304685A CN107230185A CN 107230185 A CN107230185 A CN 107230185A CN 201710304685 A CN201710304685 A CN 201710304685A CN 107230185 A CN107230185 A CN 107230185A
- Authority
- CN
- China
- Prior art keywords
- mrow
- alignment
- image
- low resolution
- hyperspectral imagery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000001228 spectrum Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000005070 sampling Methods 0.000 claims description 43
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000009795 derivation Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000035772 mutation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开的用于超光谱成像平台中双相机图像对齐的方法，属于计算摄像学领域。基于超光谱成像平台中双相机图像对齐提高超光谱成像算法精度的同一发明构思，本发明公开两种用于超光谱成像平台中双相机图像对齐的方法。第一种用于超光谱成像平台中双相机图像对齐的方法解决技术问题是：提供针对低分辨率超光谱图像和高分辨率RGB图像的对齐方法，通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。第二种用于超光谱成像平台中双相机图像对齐的方法解决技术问题是：提供适用于超光谱成像的图像融合平台中的高分辨率RGB图像和低分辨率超光谱图像的对齐方法，通过超光谱重建和对齐过程的迭代，能够提高图像对齐的精确度和超光谱重建的精度。
Description
技术领域
本发明涉及超光谱成像平台中双相机图像的对齐方法，具体涉及超光谱成像的图像融合平台中低分辨率超光谱相机和高分辨率RGB相机拍摄的两张图像的对齐方法，属于计算摄像学领域。
背景技术
超光谱成像是一项具有重要意义的技术，它可以提高目标分割、目标追踪、目标识别等算法的性能，在遥感方面的应用使其对地质、海洋、大气和环境领域的研究有重要推动作用。近年来，该项技术也越来越多地应用于商业市场，例如生物技术、生命科学及医学领域。
传统的超光谱成像技术通常利用分光器件如光栅、棱镜等，通过多次成像的方式获取平面场景的超光谱图像。这些技术存在一些缺点，例如设备造价昂贵、成像过程耗时较长、每次曝光要求场景不变等。
随着稀疏表达技术的发展，出现了基于单次曝光的超光谱成像技术。其中，图像融合平台自从出现以来，被国内外研究者不断改进，达到了较好的成像效果。这种平台使用两台相机拍摄完全相同的场景，一台相机为低分辨率超光谱相机，另一台为高分辨率RGB相机。在得到两台相机拍摄的图像后，使用基于稀疏表达的算法，对两张图像进行融合而得到高分辨率超光谱图像。
图像融合平台较好地解决了传统超光谱成像技术需要多次曝光的缺点，但是仍存在一些不足。其中最明显的不足是双相机对齐问题，即该平台要求两台相机拍摄完全相同的场景。图像融合平台通常使用一种半反半透镜(Beam Splitter)来解决这一问题，这种元件可以将完全相同的场景投射到不同的成像设备。然后，通过使用标定板等装置，对相机位置进行调整，尽可能达到双相机对齐的效果。
对于两台高分辨率相机，传统的对齐方法能够达到不错的效果。但是，由于图像融合平台采用低分辨率超光谱相机，得到的图像相对高分辨率图像常常有8倍到32倍的模糊，这样的模糊程度使得人眼识别标定点的过程更加困难。另外，传统的软件对齐算法，也要求两张图像有较高重合程度，而图像融合平台拍摄的两张图像显然不能满足这种要求。因此，图像融合平台对于一种针对分辨率不同的两张图像的对齐算法，具有十分急切的需求。
发明内容
针对现有技术不具备对高分辨率RGB图像和低分辨率超光谱图像的对齐方法的问题。基于超光谱成像平台中双相机图像对齐提高超光谱成像算法精度的同一发明构思，本发明公开两种用于超光谱成像平台中双相机图像对齐的方法：
第一种用于超光谱成像平台中双相机图像对齐的方法要解决的技术问题是：提供一种针对低分辨率超光谱图像和高分辨率RGB图像的对齐方法，通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。
第二种用于超光谱成像平台中双相机图像对齐的方法要解决的技术问题是：提供一种适用于超光谱成像的图像融合平台中的高分辨率RGB图像和低分辨率超光谱图像的对齐方法，通过超光谱重建和对齐过程的迭代，能够提高图像对齐的精确度和超光谱重建的精度。
为达到以上目的，本发明采取以下技术方案：
本发明公开的第一种用于超光谱成像平台中双相机图像对齐的方法，应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像；对所述的两张低分辨率RGB图像建立图像对齐模型；使用对齐模型求解算法求解对齐模型中的单应变换矩阵；使用所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐，从而提高基于图像融合平台的超光谱成像算法的精度。
本发明公开的第一种用于超光谱成像平台中双相机图像对齐的方法，包括以下步骤：
步骤101：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像。
步骤102：对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像。
步骤103：根据图像对齐模型对步骤2所述的两张低分辨率RGB图像进行对齐处理。
步骤103所述的图像对齐模型优选公式(1)所示的图像对齐模型：
其中T表示待求单应变换，x表示二维平面上的坐标点，Y表示所述高分辨率RGB图像，L表示拍摄的低分辨率超光谱图像，H表示所述低分辨率超光谱图像的空间下采样矩阵，P代表RGB相机光谱响应曲线，即光谱域下采样矩阵，||·||F表示矩阵的Frobenius范数。
上述模型要求高分辨率RGB图像和低分辨率超光谱图像具有完全相同的辐射强度。但是在实际应用中，两台相机因为硬件原因，总体亮度上通常会存在差别，因此，步骤103所述的图像对齐模型优选增强相关系数模型，即如公式(2)所述的图像对齐模型：
步骤104：根据对齐模型求解方法求解步骤103所述的图像对齐模型，得到矩阵形式的单应变换。
所述的对齐模型求解方法优选Lucas-Kanade方法、运动估计方法、基于傅里叶变换的对齐方法等。
其中Lucas-Kanade方法可以通过迭代的方式求解单应变换矩阵。为了加快迭代的收敛速度，Lucas-Kanade组合算法和反向组合算法等变种也同样适用于本问题的求解。
步骤105：根据所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐。通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。
本发明还公开第二种用于超光谱成像平台中双相机图像对齐的方法，应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；把单应变换矩阵初始化为单位矩阵；迭代进行以下超光谱重建和对齐的步骤，直至达到预设的迭代次数：对所述高分辨率RGB图像和低分辨率超光谱图像使用图像融合算法进行超光谱图像重建，得到重建的超光谱图像；对重建的超光谱图像进行空间下采样；对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，建立对齐模型；使用对齐模型求解算法，更新所述单应变换矩阵；使用更新后的单应变换矩阵对所述高分辨率RGB图像进行变换。通过上述超光谱重建和对齐的迭代步骤，能够提高图像对齐的精确度和超光谱重建的精度。
本发明还公开第二种用于超光谱成像平台中双相机图像对齐的方法，包括以下步骤：
步骤201：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像。
步骤202：把单应变换矩阵进行初始化，设置为单位矩阵。
步骤203：对获取的高分辨率RGB图像和低分辨率超光谱图像通过图像融合算法进行超光谱图像重建，得到重建的超光谱图像。
所述的图像融合算法优选：基于稀疏矩阵分解的图像融合算法，基于空间-光谱稀疏表达的图像融合算法，基于成对图像光谱分解的图像融合算法，基于非负结构化稀疏表达的图像融合算法等。
步骤204：对重建的超光谱图像进行空间下采样，使它的空间分辨率与采集的低分辨率超光谱图像一致。
步骤205：对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，根据对齐模型进行对齐处理。
步骤205所述的对齐模型优选公式(3)所示对齐模型。
其中T表示待求单应变换，x表示二维平面上的坐标点，L′表示所述空间下采样后的重建的超光谱图像，L表示拍摄的低分辨率超光谱图像，||·||F表示矩阵的Frobenius范数。
步骤206：使用对齐模型求解算法求解对齐模型，对矩阵形式的单应变换进行更新。
所述的对齐模型求解方法优选Lucas-Kanade方法、运动估计方法、基于傅里叶变换的对齐方法等。
其中Lucas-Kanade方法可以通过迭代的方式求解单应变换矩阵。为了加快迭代的收敛速度，Lucas-Kanade组合算法和反向组合算法等变种也同样适用于本问题的求解。
步骤207：根据更新后的单应变换矩阵，对所述的高分辨率RGB图像进行变换。
步骤208：迭代进行步骤203至步骤207所述的超光谱重建和对齐过程，提高图像对齐的精确度和超光谱重建的精度，直到达到预设的迭代次数。迭代结束后，步骤203中得到的超光谱图像，即为最终的超光谱成像结果。
有益效果：
现有技术中没有适用于超光谱成像的图像融合平台中的高分辨率RGB图像和低分辨率超光谱图像的对齐方法，本发明公开的两种用于超光谱成像平台中双相机图像对齐的方法。
第一种用于超光谱成像平台中双相机图像对齐的方法有益效果为：提供一种针对低分辨率超光谱图像和高分辨率RGB图像的对齐方法，通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。
第二种用于超光谱成像平台中双相机图像对齐的方法有益效果为：提供一种适用于超光谱成像的图像融合平台中的高分辨率RGB图像和低分辨率超光谱图像的对齐方法，通过超光谱重建和对齐过程的迭代，能够提高图像对齐的精确度和超光谱重建的精度。
附图说明
图1是本发明中用于超光谱成像平台中双相机图像对齐的方法的流程图。
图2是本发明中用于超光谱成像平台中双相机图像对齐的另一种方法的流程图。
图3是本发明中对齐方法适用的图像融合平台的示意图。
图4是本发明中对齐过程的示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种用于超光谱成像平台中双相机图像对齐的方法，应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像；对所述的两张低分辨率RGB图像建立图像对齐模型；使用对齐模型求解算法求解对齐模型中的单应变换矩阵；使用所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐，从而提高基于图像融合平台的超光谱成像算法的精度。以上方法的流程图如图1所示。
在图像融合平台中，双相机必须保证采集的是相同场景的图像，否则基于图像融合平台的各种超光谱成像方法的性能都会有不同程度的下降。因此，图像融合平台除了在硬件上需要使两个相机对齐之外，对于拍摄到的图像，也应该使用软件的方式进行进一步对齐。图像融合平台的示意图如图3所示。
对于两张相同场景但没有对齐的二维图像，它们之间的几何形变通常由一个变换矩阵来表示。常见的变换类型有：平移变换、欧氏变换、相似变换、仿射变换、投影(单应)变换等。在图像融合平台中，为了简化对齐的过程，本实施例中的对齐方法假设两张图像之间的变换为以上几种变换中的一种。这些变换都可以通过一个三维方阵来表示(详见Szeliski R.Image alignment and stitching:A tutorial[J].Foundations and Trendsin Computer Graphics and Vision,2006,2(1):1-104.)。
如图2所示，本实施例公开的一种用于超光谱成像平台中双相机图像的对齐方法，包括以下步骤：
步骤101：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像。
步骤102：对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像。
步骤103：根据图像对齐模型对步骤2所述的两张低分辨率RGB图像进行对齐处理。
步骤103所述的图像对齐模型优选公式(1)所述的图像对齐模型：
其中T表示待求单应变换，x表示二维平面上的坐标点，Y表示所述高分辨率RGB图像，H表示所述低分辨率超光谱图像的空间下采样矩阵，P代表RGB相机光谱响应曲线，即光谱域下采样矩阵，||·||F表示矩阵的弗罗宾尼斯(Frobenius)范数。
上述模型要求高分辨率RGB图像和低分辨率超光谱图像具有完全相同的辐射强度。但是在实际应用中，两台相机因为硬件原因，总体亮度上通常会存在差别，因此，步骤103所述的图像对齐模型优选增强相关系数模型，即如公式(2)所述的图像对齐模型：
步骤104：根据对齐模型求解方法求解步骤3所述的图像对齐模型，得到矩阵形式的单应变换。
所述的对齐模型求解方法优选Lucas-Kanade方法、运动估计方法、基于傅里叶变换的对齐方法等。
其中Lucas-Kanade方法可以通过迭代的方式求解单应变换矩阵。为了加快迭代的收敛速度，Lucas-Kanade组合算法和反向组合算法等变种也同样适用于本问题的求解。关于Lucas-Kanade方法详见(Baker S,Matthews I.Lucas-kanade20years on:A unifyingframework[J].International journal of computer vision,2004,56(3):221-255.)。
步骤105：根据所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐。
通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。
实施例2：
本实施例还公开一种用于超光谱成像平台中双相机图像对齐的方法，应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；把单应变换矩阵初始化为单位矩阵；迭代进行以下超光谱重建和对齐的步骤，直至达到预设的迭代次数：对所述高分辨率RGB图像和低分辨率超光谱图像使用图像融合算法进行超光谱图像重建，得到重建的超光谱图像；对重建的超光谱图像进行空间下采样；对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，建立对齐模型；使用对齐模型求解算法，更新所述单应变换矩阵；使用更新后的单应变换矩阵对所述高分辨率RGB图像进行变换。通过上述超光谱重建和对齐的迭代步骤，能够提高图像对齐的精确度和超光谱重建的精度。以上方法的流程图如图2所示。
在图像融合平台中，双相机必须保证采集的是相同场景的图像，否则基于图像融合平台的各种超光谱成像方法的性能都会有不同程度的下降。因此，图像融合平台除了在硬件上需要使两个相机对齐之外，对于拍摄到的图像，也应该使用软件的方式进行进一步对齐。图像融合平台的示意图如图3所示。
对于两张相同场景但没有对齐的二维图像，它们之间的几何形变通常由一个变换矩阵来表示。常见的变换类型有：平移变换、欧氏变换、相似变换、仿射变换、投影(单应)变换等。在图像融合平台中，为了简化对齐的过程，本实施例中的对齐方法假设两张图像之间的变换为以上几种变换中的一种。这些变换都可以通过一个三维方阵来表示(详见Szeliski R.Image alignment and stitching:A tutorial[J].Foundations and Trendsin Computer Graphics and Vision,2006,2(1):1-104.)。
传统的图像对齐方法在进行两张图像的对齐时，一般要求两张图像具有较大的重合，也即几何形变的程度不能太大，而图像融合平台拍摄的两张图像之间最多具有32倍的分辨率差别。显然不能满足这种要求。因此，本实施例公开一种用于超光谱成像平台中双相机图像的对齐方法，利用如下相等关系：
Y(x)H＝PL(T(x))
其中Y表示高分辨率RGB图像，H表示空间下采样矩阵，L表示低分辨率超光谱图像，P表示RGB相机的光谱响应曲线，x代表二维空间坐标点，T表示几何形变。即如果对高分辨率RGB图像进行空间下采样，对低分辨率超光谱图像进行光谱域下采样，下采样后的两张图像能够满足传统图像对齐方法的要求。
根据对图像融合平台的特点的分析，本实施例还公开一种用于超光谱成像平台中双相机图像对齐的方法，包括以下步骤：
步骤201：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像。
步骤202：把单应变换矩阵进行初始化，设置为单位矩阵。
步骤203：对获取的高分辨率RGB图像和低分辨率超光谱图像通过图像融合算法进行超光谱图像重建，得到重建的超光谱图像。图像融合算法优选：基于稀疏矩阵分解的图像融合算法(详见Kawakami R,Matsushita Y,Wright J,et al.High-resolutionhyperspectral imaging via matrix factorization[C]//Computer Vision andPattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:2329-2336.)，基于空间-光谱稀疏表达的图像融合算法(详见Akhtar N,Shafait F,Mian A.Sparse spatio-spectral representation for hyperspectral image super-resolution[C]//EuropeanConference on Computer Vision.Springer International Publishing,2014:63-78.)，基于成对图像光谱分解的图像融合算法(详见Lanaras C,Baltsavias E,SchindlerK.Hyperspectral super-resolution by coupled spectral unmixing[C]//Proceedingsof the IEEE International Conference on Computer Vision.2015:3586-3594.)，基于非负结构化稀疏表达的图像融合算法等(详见Dong W,Fu F,Shi G,et al.Hyperspectralimage super-resolution via non-negative structured sparse representation[J].IEEE Transactions on Image Processing,2016,25(5):2337-2352.)。
步骤204：对重建的超光谱图像进行空间下采样，使它的空间分辨率与采集的低分辨率超光谱图像一致。
步骤205：对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，根据对齐模型进行对齐处理。
步骤205所述的对齐模型优选公式(3)所示对齐模型。
其中T表示待求单应变换，x表示二维平面上的坐标点，L′表示所述空间下采样后的重建的超光谱图像，L表示拍摄的低分辨率超光谱图像，||·||F表示矩阵的Frobenius范数。
步骤206：使用对齐模型求解算法，求解公式(3)所示的对齐模型，对矩阵形式的单应变换进行更新。所述的对齐模型求解方法优选Lucas-Kanade方法、运动估计方法、基于傅里叶变换的对齐方法等。
其中Lucas-Kanade方法可以通过迭代的方式求解单应变换矩阵。为了加快迭代的收敛速度，Lucas-Kanade组合算法和反向组合算法等变种也同样适用于本问题的求解。
步骤207：根据更新后的单应变换矩阵，对所述的高分辨率RGB图像进行变换。
步骤208：迭代进行步骤203至步骤207所述的超光谱重建和对齐过程，提高图像对齐的精确度和超光谱重建的精度，直到达到预设的迭代次数。迭代结束后，步骤203中得到的超光谱图像，即为最终的超光谱成像结果。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：包括如下步骤：
步骤101：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；
步骤102：对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像；
步骤103：根据图像对齐模型对步骤102所述的两张低分辨率RGB图像进行对齐处理；
步骤104：根据对齐模型求解方法求解步骤103所述的图像对齐模型，得到矩阵形式的单应变换；
步骤105：根据所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐；通过图像对齐能够提高基于图像融合平台的超光谱成像算法的精度。
2.如权利要求1所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：步骤103所述的图像对齐模型选用公式(1)所示的图像对齐模型：
<mrow>
<mi>T</mi>
<mo>=</mo>
<mi>arg</mi>
<mi> </mi>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mi>H</mi>
<mo>-</mo>
<mi>P</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中T表示待求单应变换，x表示二维平面上的坐标点，Y表示所述高分辨率RGB图像，H表示所述低分辨率超光谱图像的空间下采样矩阵，P代表RGB相机光谱响应曲线，即光谱域下采样矩阵，||·||F表示矩阵的Frobenius范数。
3.如权利要求1所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：两台相机因为硬件原因，总体亮度上通常会存在差别，因此，步骤103所述的图像对齐模型选用增强相关系数模型，即如公式(2)所述的图像对齐模型。
<mrow>
<mi>T</mi>
<mo>=</mo>
<mi>arg</mi>
<mi> </mi>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mi>H</mi>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mi>H</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mi>F</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<mrow>
<mi>P</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>P</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mi>F</mi>
</msub>
</mrow>
</mfrac>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
4.如权利要求1、2或3所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：所述的对齐模型求解方法选用Lucas-Kanade方法、运动估计方法或基于傅里叶变换的对齐方法。
5.一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；对RGB图像进行空间下采样得到低分辨率RGB图像，对超光谱图像进行光谱域下采样得到与空间下采样相同尺寸的低分辨率RGB图像；对所述的两张低分辨率RGB图像建立图像对齐模型；使用对齐模型求解算法求解对齐模型中的单应变换矩阵；使用所述单应变换矩阵，对所述高分辨率RGB图像进行变换，使高分辨率RGB图像与所述低分辨率超光谱图像对齐，从而提高基于图像融合平台的超光谱成像算法的精度。
6.一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：包括以下步骤，
步骤201：使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；
步骤202：把单应变换矩阵进行初始化，设置为单位矩阵；
步骤203：对获取的高分辨率RGB图像和低分辨率超光谱图像通过图像融合算法进行超光谱图像重建，得到重建的超光谱图像；
步骤204：对重建的超光谱图像进行空间下采样，使它的空间分辨率与采集的低分辨率超光谱图像一致；
步骤205：对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，根据对齐模型进行对齐处理；
步骤206：使用对齐模型求解算法求解对齐模型，对矩阵形式的单应变换进行更新；
步骤207：根据更新后的单应变换矩阵，对所述的高分辨率RGB图像进行变换；
步骤208：迭代进行步骤203至步骤207所述的超光谱重建和对齐过程，提高图像对齐的精确度和超光谱重建的精度，直到达到预设的迭代次数；迭代结束后，步骤203中得到的超光谱图像，即为最终的超光谱成像结果。
7.如权利要求6所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：步骤205所述的对齐模型选用公式(3)所示对齐模型；
<mrow>
<mi>T</mi>
<mo>=</mo>
<mi>arg</mi>
<mi> </mi>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<msup>
<mi>L</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中T表示待求单应变换，x表示二维平面上的坐标点，L′表示所述空间下采样后的重建的超光谱图像，L表示拍摄的低分辨率超光谱图像，||·||F表示矩阵的Frobenius范数。
8.如权利要求6或7所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：步骤203所述的图像融合算法选用：基于稀疏矩阵分解的图像融合算法，基于空间-光谱稀疏表达的图像融合算法，基于成对图像光谱分解的图像融合算法或基于非负结构化稀疏表达的图像融合算法。
9.如权利要求8所述的一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：步骤206所述的对齐模型求解方法选用Lucas-Kanade方法、运动估计方法或基于傅里叶变换的对齐方法。
10.一种用于超光谱成像平台中双相机图像对齐的方法，其特征在于：应用于超光谱成像的图像融合平台，使用超光谱相机获取场景的低分辨率超光谱图像，同时使用RGB相机获取相同场景的高分辨率RGB图像；把单应变换矩阵初始化为单位矩阵；迭代进行以下超光谱重建和对齐的步骤，直至达到预设的迭代次数：对所述高分辨率RGB图像和低分辨率超光谱图像使用图像融合算法进行超光谱图像重建，得到重建的超光谱图像；对重建的超光谱图像进行空间下采样；对采集的低分辨率超光谱图像和空间下采样后的重建的超光谱图像，建立对齐模型；使用对齐模型求解算法，更新所述单应变换矩阵；使用更新后的单应变换矩阵对所述高分辨率RGB图像进行变换；通过上述超光谱重建和对齐的迭代步骤，能够提高图像对齐的精确度和超光谱重建的精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710304685.2A CN107230185A (zh) | 2017-05-03 | 2017-05-03 | 用于超光谱成像平台中双相机图像的对齐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710304685.2A CN107230185A (zh) | 2017-05-03 | 2017-05-03 | 用于超光谱成像平台中双相机图像的对齐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107230185A true CN107230185A (zh) | 2017-10-03 |
Family
ID=59934189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710304685.2A Pending CN107230185A (zh) | 2017-05-03 | 2017-05-03 | 用于超光谱成像平台中双相机图像的对齐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107230185A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021008528A1 (zh) * | 2019-07-15 | 2021-01-21 | 南京大学 | 一种加速高光谱视频重建的方法及其装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102721469A (zh) * | 2012-06-14 | 2012-10-10 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
| CN102809429A (zh) * | 2012-07-26 | 2012-12-05 | 中国科学院自动化研究所 | 基于双相机的多光谱成像系统和方法 |
| CN104050653A (zh) * | 2014-07-07 | 2014-09-17 | 西安电子科技大学 | 基于非负结构稀疏的高光谱图像超分辨率算法 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
| CN105590304A (zh) * | 2014-10-24 | 2016-05-18 | 北京大学 | 超分辨率图像重建方法和装置 |
-
2017
- 2017-05-03 CN CN201710304685.2A patent/CN107230185A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102721469A (zh) * | 2012-06-14 | 2012-10-10 | 中国科学院自动化研究所 | 双相机的多光谱成像系统和方法 |
| CN102809429A (zh) * | 2012-07-26 | 2012-12-05 | 中国科学院自动化研究所 | 基于双相机的多光谱成像系统和方法 |
| CN104050653A (zh) * | 2014-07-07 | 2014-09-17 | 西安电子科技大学 | 基于非负结构稀疏的高光谱图像超分辨率算法 |
| CN105590304A (zh) * | 2014-10-24 | 2016-05-18 | 北京大学 | 超分辨率图像重建方法和装置 |
| CN105469360A (zh) * | 2015-12-25 | 2016-04-06 | 西北工业大学 | 基于非局部联合稀疏表示的高光谱图像超分辨率重建方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021008528A1 (zh) * | 2019-07-15 | 2021-01-21 | 南京大学 | 一种加速高光谱视频重建的方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238602B2 (en) | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks | |
| US11210803B2 (en) | Method for 3D scene dense reconstruction based on monocular visual slam | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| Ji et al. | Deep view morphing | |
| CN110569768B (zh) | 人脸模型的构建方法、人脸识别方法、装置及设备 | |
| CN101877143B (zh) | 一种二维图像组的三维场景重建方法 | |
| CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
| Ma et al. | PathSRGAN: multi-supervised super-resolution for cytopathological images using generative adversarial network | |
| CN108022278B (zh) | 基于视频中运动跟踪的人物动画绘制方法及系统 | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| JP2007257287A (ja) | 画像レジストレーション方法 | |
| US20070130095A1 (en) | Bayesian approach for sensor super-resolution | |
| CN103150713A (zh) | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 | |
| CN105761233A (zh) | 一种基于fpga的实时全景图像拼接方法 | |
| CN109801215A (zh) | 基于对抗生成网络的红外超分辨率成像方法 | |
| CN105513033B (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| Chen et al. | Nonlinear neighbor embedding for single image super-resolution via kernel mapping | |
| CN116958437A (zh) | 融合注意力机制的多视图重建方法及系统 | |
| CN114119889A (zh) | 基于跨模态融合的360度环境深度补全和地图重建方法 | |
| CN113469886B (zh) | 一种基于三维重构的图像拼接方法 | |
| CN114359041A (zh) | 一种光场图像空间超分辨率重建方法 | |
| Li et al. | Effective data-driven technology for efficient vision-based outdoor industrial systems | |
| Zhu et al. | Stereoscopic image super-resolution with interactive memory learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171003 |
|
| WD01 | Invention patent application deemed withdrawn after publication |