CN110490937B - 一种加速高光谱视频重建的方法及其装置 - Google Patents

一种加速高光谱视频重建的方法及其装置 Download PDF

Info

Publication number
CN110490937B
CN110490937B CN201910633965.7A CN201910633965A CN110490937B CN 110490937 B CN110490937 B CN 110490937B CN 201910633965 A CN201910633965 A CN 201910633965A CN 110490937 B CN110490937 B CN 110490937B
Authority
CN
China
Prior art keywords
calibration
video
matrix
rgb
ordered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910633965.7A
Other languages
English (en)
Other versions
CN110490937A (zh
Inventor
曹汛
黄尔齐
陈都
陈林森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910633965.7A priority Critical patent/CN110490937B/zh
Publication of CN110490937A publication Critical patent/CN110490937A/zh
Priority to US17/626,747 priority patent/US20220254039A1/en
Priority to PCT/CN2020/101917 priority patent/WO2021008528A1/zh
Application granted granted Critical
Publication of CN110490937B publication Critical patent/CN110490937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种加速高光谱视频重建的方法及其装置。该方法包括：根据高光谱视频相机拍摄的光谱视频和RGB视频，获取光谱视频和RGB视频的标定矩阵；对标定矩阵进行排序处理，生成有序标定矩阵；根据有序标定矩阵，使用并行方式将光谱视频和RGB视频转化成数据矩阵；根据有序标定矩阵，获取重建区域的所有相关标定点；根据相关标定点和数据矩阵，使用并行方式重建出高光谱视频。本发明通过标定矩阵的排序处理，获取相关标定点，减少标定矩阵的遍历次数，降低了高光谱视频重建的计算量，同时以并行方式生成数据矩阵和高光谱视频重建，提高了高光谱视频重建的效率。

Description

一种加速高光谱视频重建的方法及其装置
技术领域
本发明涉及计算摄像学领域，特别涉及一种加速高光谱视频重建的方法及其装置。
背景技术
近年来，随着高光谱成像技术在软件和硬件研究上的不断创新，高光谱成像在航空遥感领域、化学分析领域及环境监测领域等众多领域中发挥了重要作用。
为了使高光谱成像的数据更准确、性能更稳定、速度更优越，一些加速高光谱视频重建的方法被提出，常用的高光谱视频重建算法一般分为两类：
第一类是数据优化(dataoptimization)，主要是通过特征提取、主成分分析、维度压缩等方式对待重建的光谱数据进行优化，去除重复数据保留主要特征后，使用优化后的光谱数据进行高光谱视频重建计算，通过减少冗余数据的计算的方法，达到加速效果。这类方法的预处理和数据优化所用时间长，不能实时将预处理后的光谱数据传递给下一步进行高光谱视频重建。
第二类是并行计算(parallelcomputing)，主要是通过时间并行或者空间并行的计算方式执行高光谱视频重建算法，达到加速效果。但是这类方法未考虑光谱标定数据的线性方式存储，使得高光谱视频重建时做了许多无效计算，浪费时间。
因此，在加速高光谱视频重建时，因为RGB视频和光谱视频的数据量庞大，导致预处理速度慢；并且需要参照光谱标定数据进行有效区域内的重建，将未进行存储结构优化的光谱标定数据置入并行内存中计算，这会导致高光谱视频重建时增加许多无效计算量，使得重建时间长。解决数据量庞大问题和光谱标定数据遍历慢的方法为：利用裁剪或者采样后的光谱视频和RGB视频，使其空间像素数量减少从而数据量减小，高光谱视频重建范围减小，遍历的光谱标定数据减少，从而提高遍历速度。但是对光谱视频和RGB视频裁剪或者采样不能完全解决加速问题，特别是当高光谱视频相机需要采集高速动态目标、大面积复杂场景时，重建高分辨率高精度的高光谱视频就会难以实现。
发明内容
为了在保证高光谱数据精度和高光谱图像分辨率不变的情况下，对高光谱视频重建进行加速，本发明提供了一种加速高光谱视频重建的方法和装置。
本发明的方法采用的技术方案如下：
一种加速高光谱视频重建的方法，包括如下步骤：
S1，根据高光谱视频相机拍摄的光谱视频和RGB视频，获取光谱视频和RGB视频的标定矩阵；
S2，根据高光谱视频相机空间下采样的条件约束，对所述标定矩阵进行排序处理，生成有序标定矩阵；
S3，根据所述有序标定矩阵，使用并行计算方式将光谱视频和RGB视频转化成数据矩阵；
S4，根据所述有序标定矩阵，获取重建区域的所有相关标定点；
S5，根据所述相关标定点和所述数据矩阵，使用并行计算方式重建出高光谱视频。
进一步地，所述步骤S1中，获取光谱视频和RGB视频的标定矩阵的具体过程为：
将光谱视频每个标定矩形框的第一个顶点的二维空间坐标置入第一维列向量中，将光谱视频每个标定矩形框的第四个顶点的二维空间坐标置入第二维列向量中，将RGB视频每个标定点的二维空间坐标置入第三维列向量中；当所述第一维列向量、第二维列向量、第三维列向量置入完成后，组合为三维列向量矩阵，该三维列向量矩阵即为标定矩阵。
进一步地，所述步骤S2中，生成有序标定矩阵的具体过程为：
根据高光谱视频相机的空间下采样点，以二维空间坐标(x,y)分布在RGB视频中，将标定矩阵按照空间下采样点分布规律进行排序；
使用二维空间的快速排序算法先进行标定矩阵的纵向排序，通过比较第三维列向量的y坐标值的大小，使用快速排序算法完成整个标定矩阵纵向排序；再进行标定矩阵的横向排序，通过比较第三维列向量的x坐标值的大小，使用快速排序算法完成整个标定矩阵横向排序；
根据高光谱视频相机的空间下采样点的行数M和列数N，生成两个大小为M×N的有序标定矩阵，第一个有序标定矩阵置入光谱视频的标定数据为光谱有序标定矩阵，将排序后的标定矩阵的第一维列向量和第二维列向量置入光谱有序标定矩阵，光谱有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零，第二个有序标定矩阵置入RGB视频的标定数据为RGB有序标定矩阵，将排序后的标定矩阵的第三维列向量置入RGB有序标定矩阵中，RGB有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零；
根据RGB有序标定矩阵，计算一半标记点数的非零数据点间的横向距离值，横向距离值取平均，记为相邻标定点横向距离；并且计算一半标记点数的非零数据点间的纵向距离值，纵向距离值取平均，记为相邻标定点纵向距离。
进一步地，所述步骤S3中，获取数据矩阵具体过程为：
根据光谱有序标定矩阵，获取每个标定矩形框横向位置的中点；根据光谱有序标定矩阵，获取每个标定矩形框纵向长度；根据所述中点和所述纵向长度，对光谱视频使用并行计算的方式，加速光谱数据矩阵的生成；根据RGB视频，使用并行计算方式加速RGB数据矩阵的合成；将光谱数据矩阵和RGB数据矩阵组合为数据矩阵。
进一步地，所述步骤S4中，获取相关标定点的具体过程为：
根据相邻标定点横向距离和相邻标定点纵向距离，计算每个重建点的重建范围，对RGB有序标定矩阵直接索引，获取RGB数据矩阵每个重建点的所有相关标定点。
本发明的一种加速高光谱视频重建的装置，包括：
标定矩阵获取模块，用于获取拍摄的光谱视频和RGB视频的标定矩阵；
标定矩阵排序模块，用于对标定矩阵进行排序处理；
相邻标定点纵向计算单元，用于计算RGB有序标定矩阵中一半标记点数的非零数据点间的平均横向距离值；
相邻标定点横向计算单元，用于计算RGB有序标定矩阵中一半标记点数的非零数据点间的平均纵向距离值；
有序标定矩阵生成模块，用于根据高光谱视频相机的空间下采样点，生成有序标定矩阵；
数据矩阵生成模块，用于根据有序标定矩阵以并行计算的方式将光谱视频和RGB视频转化成数据矩阵；
光谱数据并行计算单元，用于将光谱有序标定矩阵和光谱视频拷贝置入并行计算内存，并线程索引控制每个光谱数据点的计算；
RGB数据并行计算单元，用于将RGB视频拷贝置入并行计算内存，并线程索引控制每个RGB数据点的计算；
标定点获取模块，用于根据有序标定矩阵获取重建区域的所有相关标定点；
高光谱视频重建模块，用于根据相关标定点和数据矩阵以并行计算的方式重建出高光谱视频。
本发明通过对光谱数据和RGB数据使用并行方式预处理和优化数据，将预处理后的光谱数据实时传递给下一步进行高光谱视频重建，提高了高光谱视频重建的效率；同时，重构光谱标定数据的存储方式，从线性空间重构为二维空间，可直接对重建相关标定点进行直接遍历和索引，减少了标定矩阵的遍历次数，降低了高光谱视频重建的计算量。相比现有技术，本发明的方法不仅能有效加速高光谱视频重建，而且不损失高光谱视频的精度和空间分辨率大小。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的劳动前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种加速高光谱视频重建的方法的流程图。
图2是使用高光谱视频相机采集光谱数据和RGB数据的示意图。
图3是本发明实施例1高光谱视频重建加速对比图。
图4是本发明实施例1重建的(a)500nm、(b)550nm、(c)600nm、(d)650nm、(e)700nm、(f)750nm的单波段图。
图5是本发明实施例1重建方法的重建结果评价图。
图6是本发明实施例2加速高光谱视频重建装置的结构示意图。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。
参见图1，本发明一种加速高光谱视频重建的方法，用于对高光谱视频重建进行加速，具体步骤包括：
S1，根据高光谱视频相机拍摄的光谱视频和RGB视频，获取光谱视频和RGB视频的标定矩阵。具体为：
将光谱视频每个标定矩形框的第一个顶点(左上方)的二维空间坐标置入第一维列向量中，将光谱视频每个标定矩形框的第四个顶点(右下角)的二维空间坐标置入第二维列向量中，将RGB视频每个标定点的二维空间坐标置入第三维列向量中；当第一维列向量、第二维列向量、第三维列向量置入完成后，组合为三维列向量矩阵，该三维列向量矩阵为标定矩阵。
S2，根据高光谱视频相机空间下采样的条件约束，对标定矩阵进行排序处理，生成有序标定矩阵。具体为：
根据高光谱视频相机的空间下采样点，以二维空间坐标(x,y)分布在所述RGB视频中，将标定矩阵按照空间下采样点分布规律进行排序。
使用二维空间的快速排序算法(Quicksort)，先进行标定矩阵的纵向排序，通过比较第三维列向量的y坐标值的大小，使用快速排序算法完成整个标定矩阵纵向排序；再进行标定矩阵的横向排序，通过比较第三维列向量的x坐标值的大小，使用快速排序算法完成整个标定矩阵横向排序，具体快速排序算法如下所示：
QUICKSORT(A,l,r,f)
ifp＜r
thenp←PARTITION(A,l,r,f)
QUICKSORT(A,l,p-1,f)
QUICKSORT(A,p+1,r,f)
其中，A为待排序矩阵，p为矩阵支点元素索引，将矩阵分成两部分，l为矩阵首元素索引，r为矩阵尾元素索引，f为判断二维矩阵快速排序算法排序方向的标志位；
PARTITION函数如下所示：
PARTITION(A,l,r,f)
x←A[r].x
y←A[r].y
i←p-1
forj←ptor-1
iff≤0
thendoifA[j].x≤x
theni←i+1
exchangeA[i].x←→A[j].x
exchangeA[i+1].x←→A[r].x
returni+1
iff＞0
thendoifA[j].y≤y
theni←i+1
exchangeA[i].y←→A[j].y
exchangeA[i+1].y←→A[r].y
returni+1
其中，x为待比较元素纵坐标，y为待比较元素横坐标，i为小于x或y元素的位置记录索引，j为矩阵遍历索。
根据高光谱视频相机的空间下采样点的行数M和列数N，生成两个大小为M×N的有序标定矩阵，第一个有序标定矩阵置入光谱视频的标定数据为光谱有序标定矩阵，将排序后的标定矩阵的第一维列向量和所述第二维列向量置入光谱有序标定矩阵，光谱有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零，第二个有序标定矩阵置入RGB视频的标定数据为RGB有序标定矩阵，将排序后的标定矩阵的第三维列向量置入RGB有序标定矩阵中，RGB有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零。
根据RGB有序标定矩阵，计算一半标记点数的非零数据点间的横向距离值，横向距离值取平均，记为相邻标定点横向距离；根据RGB有序标定矩阵，计算一半标记点数的非零数据点间的纵向距离值，纵向距离值取平均，记为相邻标定点纵向距离。
S3，根据有序标定矩阵，将光谱视频和RGB视频转化成数据矩阵，使用并行计算方式提高速度。具体为：
根据光谱有序标定矩阵，获取每个标定矩形框横向位置的中点，根据光谱有序标定矩阵，获取每个标定矩形框纵向长度，根据中点和纵向长度，对光谱视频使用并行计算的方式，加速光谱数据矩阵的生成。根据RGB视频，使用并行计算方式加速所述RGB数据矩阵的合成，将光谱数据矩阵和RGB数据矩阵组合为数据矩阵。
S4，根据有序标定矩阵，获取重建区域的所有相关标定点。具体为：
根据相邻标定点横向距离和相邻标定点纵向距离，计算每个重建点的重建范围，对RGB有序标定矩阵直接索引，可以获取RGB数据矩阵每个重建点的所有相关标定点。
S5，根据相关标定点和数据矩阵，重建出高光谱视频，使用并行计算方式提高速度。
实施例1
高光谱视频重建的设备各项参数为：处理器，i7-4790K CPU@4 GHZ*8；内存，32G；显卡；GTX1080Ti；磁盘，1T。
其中，高光谱视频重建的图像各项参数为：波长范围：450nm～900nm；空间分辨率：1465×959；光谱分辨率：3nm；光谱波段数量：143。
如图2所示，使用高光谱视频相机拍摄动态场景，动态场景通过分光镜分成两束光路，第一束光路反射至RGB相机中，第二束光路透射至掩膜进行编码，再直射至棱镜进行色散，最终直射至光谱相机，使用数据连接线将光谱视频和RGB视频传输至服务器，使用高光谱视频重建算法计算，实时显示目标波段的光谱图像。
如图3所示，经过本发明的方法加速后，高光谱视频(1465×959×143)的重建速度最大加速比为75倍，重建后高光谱视频帧率约为3fps；随着光谱重建通道数量的增加，重建时间会有所增加，单通道情况下加速前重建时间为1562ms，帧率约为0.6帧，加速后重建时间为20ms，帧率约为50帧；光谱通道数从单通道增加至143个通道，加速前重建时间为20607ms，帧率约为0.04帧，加速后重建时间为336ms，帧率约为3帧。
参见图4，利用本发明方法对高光谱视频重建的各波段图像，其图像信噪比高、纹理清晰，很好地还原了目标场景的光谱特征，各个波段光谱图像之间平滑过渡，没有出现过暗或过曝点，符合目标场景的光谱光特征。
参见图5，利用图像质量客观评价指标对本实施例加速后的高光谱视频重建结果进行分析：
均方根误差，
Figure BDA0002129628330000071
其中g代表待评价图像，f代表参考图像，W和H分别表示图像的宽度和高度。计算两幅图像中对应点的均方根误差，RMSE值越小，则待评价图像和参考图像之间的差别越小，即待评价图像的质量越好。
结构相似性，
Figure BDA0002129628330000072
其中x和y分别代表待评价图像和参考图像，μx代表待评价图像x方向的均值，μy则代表参考图像y方向的均值，σxy表示x和y的协方差，
Figure BDA0002129628330000073
和
Figure BDA0002129628330000074
分别表示x和y的方差，c1和c2是用来维持稳定的常量。SSIM的范围在0到1之间，值越大，图像之间的相似度越高，表明待评价图像的质量越好，其值可以较好的反映人眼主观感受。
峰值信噪比，
Figure BDA0002129628330000075
MSE值越小，PSNR值则越大，待评价图像的质量越高，PSNR是使用最广泛的评价图像质量的方法，但其值无法较好的反映人眼的主观感受。
实施例2
参见图6，本实施例提供了一种加速高光谱视频重建的装置，用于对高光谱视频重建进行加速，包括：
标定矩阵获取模块201，用于根据高光谱视频相机拍摄的光谱视频和RGB视频，获取光谱视频和RGB视频的标定矩阵；
标定矩阵排序模块202，用于根据高光谱视频相机空间下采样的条件约束，利用快速排序算法对标定矩阵进行排序处理；
相邻标定点纵向计算单元2021，用于RGB有序标定矩阵中，计算一半标记点数的非零数据点间的横向距离值，横向距离值取平均；
相邻标定点横向计算单元2022，用于RGB有序标定矩阵中，计算一半标记点数的非零数据点间的纵向距离值，纵向距离值取平均；
有序标定矩阵生成模块203，用于根据高光谱视频相机的空间下采样点的行数M和列数N，生成两个大小为M×N的矩阵空间，将排序后的标定点置入所述矩阵中，生成有序标定矩阵；
数据矩阵生成模块204，用于根据有序标定矩阵，将光谱视频和RGB视频转化成数据矩阵，使用并行计算方式提高速度；
光谱数据并行计算单元2041，用于根据光谱有序标定矩阵和光谱视频，拷贝置入并行计算内存，线程索引控制每个光谱数据点的计算；
RGB数据并行计算单元2042，用于根据RGB视频，拷贝置入并行计算内存，线程索引控制每个RGB数据点的计算；
标定点获取模块205，用于根据有序标定矩阵，获取重建区域的所有相关标定点；
高光谱视频重建模块206，用于根据相关标定点和数据矩阵，重建出高光谱视频，使用并行计算方式提高速度。
本发明实施例提供的上述技术方案的全部部分可以通过程序指令相关的硬件来完成，所述程序可以存贮在可读取的存取介质中，该存储介质包括：ROM、RAM、磁碟或者光盘中等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。

Claims (6)

1.一种加速高光谱视频重建的方法，其特征在于，包括如下步骤：
S1，根据高光谱视频相机拍摄的光谱视频和RGB视频，获取光谱视频和RGB视频的标定矩阵；
S2，根据高光谱视频相机空间下采样的条件约束，对所述标定矩阵进行排序处理，生成有序标定矩阵；
S3，根据所述有序标定矩阵，使用并行计算方式将光谱视频和RGB视频转化成数据矩阵；
S4，根据所述有序标定矩阵，获取重建区域的所有相关标定点；
S5，根据所述相关标定点和所述数据矩阵，使用并行计算方式重建出高光谱视频。
2.根据权利要求1所述的一种加速高光谱视频重建的方法，其特征在于，所述步骤S1中，获取光谱视频和RGB视频的标定矩阵的具体过程为：
将光谱视频每个标定矩形框的第一个顶点的二维空间坐标置入第一维列向量中，将光谱视频每个标定矩形框的第四个顶点的二维空间坐标置入第二维列向量中，将RGB视频每个标定点的二维空间坐标置入第三维列向量中；当所述第一维列向量、第二维列向量、第三维列向量置入完成后，组合为三维列向量矩阵，该三维列向量矩阵即为标定矩阵。
3.根据权利要求2所述的一种加速高光谱视频重建的方法，其特征在于，所述步骤S2中，生成有序标定矩阵的具体过程为：
根据高光谱视频相机的空间下采样点，以二维空间坐标
Figure DEST_PATH_IMAGE002
分布在RGB视频中，将标定矩阵按照空间下采样点分布规律进行排序；
使用二维空间的快速排序算法先进行标定矩阵的纵向排序，通过比较第三维列向量的
Figure DEST_PATH_IMAGE004
坐标值的大小，使用快速排序算法完成整个标定矩阵纵向排序；再进行标定矩阵的横向排序，通过比较第三维列向量的
Figure DEST_PATH_IMAGE006
坐标值的大小，使用快速排序算法完成整个标定矩阵横向排序；
根据高光谱视频相机的空间下采样点的行数
Figure DEST_PATH_IMAGE008
和列数
Figure DEST_PATH_IMAGE010
，生成两个大小为
Figure DEST_PATH_IMAGE012
的有序标定矩阵，第一个有序标定矩阵置入光谱视频的标定数据为光谱有序标定矩阵，将排序后的标定矩阵的第一维列向量和第二维列向量置入光谱有序标定矩阵，光谱有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零，第二个有序标定矩阵置入RGB视频的标定数据为RGB有序标定矩阵，将排序后的标定矩阵的第三维列向量置入RGB有序标定矩阵中，RGB有序标定矩阵中未包含高光谱视频相机的空间下采样点的位置设为零；
根据RGB有序标定矩阵，计算一半标记点数的非零数据点间的横向距离值，横向距离值取平均，记为相邻标定点横向距离；并且计算一半标记点数的非零数据点间的纵向距离值，纵向距离值取平均，记为相邻标定点纵向距离。
4.根据权利要求3所述的一种加速高光谱视频重建的方法，其特征在于，所述步骤S3的具体过程为：
根据光谱有序标定矩阵，获取每个标定矩形框横向位置的中点；根据光谱有序标定矩阵，获取每个标定矩形框纵向长度；根据所述中点和所述纵向长度，对光谱视频使用并行计算的方式，加速光谱数据矩阵的生成；根据RGB视频，使用并行计算方式加速RGB数据矩阵的合成；将光谱数据矩阵和RGB数据矩阵组合为数据矩阵。
5.根据权利要求4所述的一种加速高光谱视频重建的方法，其特征在于，所述步骤S4的具体过程为：
根据相邻标定点横向距离和相邻标定点纵向距离，计算每个重建点的重建范围，对RGB有序标定矩阵直接索引，获取RGB数据矩阵每个重建点的所有相关标定点。
6.一种加速高光谱视频重建的装置，其特征在于，所述装置包括：
标定矩阵获取模块，用于获取拍摄的光谱视频和RGB视频的标定矩阵；
标定矩阵排序模块，用于对标定矩阵进行排序处理；
相邻标定点纵向计算单元，用于计算RGB有序标定矩阵中一半标记点数的非零数据点间的平均横向距离值；
相邻标定点横向计算单元，用于计算RGB有序标定矩阵中一半标记点数的非零数据点间的平均纵向距离值；
有序标定矩阵生成模块，用于根据高光谱视频相机的空间下采样点，利用相邻标定点纵向计算单元和相邻标定点横向计算单元计算的距离值，生成有序标定矩阵；
数据矩阵生成模块，用于根据有序标定矩阵以并行计算的方式将光谱视频和RGB视频转化成数据矩阵；
光谱数据并行计算单元，用于将光谱有序标定矩阵和光谱视频拷贝置入并行计算内存，并线程索引控制每个光谱数据点的计算；
RGB数据并行计算单元，用于将RGB视频拷贝置入并行计算内存，并线程索引控制每个RGB数据点的计算；
标定点获取模块，用于根据有序标定矩阵获取重建区域的所有相关标定点；
高光谱视频重建模块，用于根据相关标定点和数据矩阵以并行计算的方式重建出高光谱视频。
CN201910633965.7A 2019-07-15 2019-07-15 一种加速高光谱视频重建的方法及其装置 Active CN110490937B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910633965.7A CN110490937B (zh) 2019-07-15 2019-07-15 一种加速高光谱视频重建的方法及其装置
US17/626,747 US20220254039A1 (en) 2019-07-15 2020-07-14 Method and apparatus for accelerating hyperspectral video reconstruction
PCT/CN2020/101917 WO2021008528A1 (zh) 2019-07-15 2020-07-14 一种加速高光谱视频重建的方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910633965.7A CN110490937B (zh) 2019-07-15 2019-07-15 一种加速高光谱视频重建的方法及其装置

Publications (2)

Publication Number Publication Date
CN110490937A CN110490937A (zh) 2019-11-22
CN110490937B true CN110490937B (zh) 2022-05-17

Family

ID=68547129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910633965.7A Active CN110490937B (zh) 2019-07-15 2019-07-15 一种加速高光谱视频重建的方法及其装置

Country Status (3)

Country Link
US (1) US20220254039A1 (zh)
CN (1) CN110490937B (zh)
WO (1) WO2021008528A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490937B (zh) * 2019-07-15 2022-05-17 南京大学 一种加速高光谱视频重建的方法及其装置
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
CN112950736B (zh) * 2021-03-05 2024-04-09 南京大学 一种基于无监督网络解色散模糊的高光谱成像方法
CN115753691A (zh) * 2022-08-23 2023-03-07 合肥工业大学 一种基于rgb重建高光谱的水质参数检测方法
CN116718271B (zh) * 2023-08-07 2023-11-14 北京理工大学 高速高光谱成像系统和方法
CN117173428B (zh) * 2023-11-01 2024-01-30 核工业北京地质研究院 一种岩心的地质智能编录方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及系统
CN107133976A (zh) * 2017-04-24 2017-09-05 浙江大学 一种获取三维高光谱信息的方法和装置
CN109323650A (zh) * 2018-01-31 2019-02-12 黑龙江科技大学 视觉图像传感器与点光测距传感器测量坐标系的统一方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850931B1 (ko) * 2006-06-29 2008-08-07 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
KR101926489B1 (ko) * 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
US10121267B2 (en) * 2014-07-03 2018-11-06 Duke University Spectral estimation and poly-energetic reconstruction methods and X-ray systems
CN107230185A (zh) * 2017-05-03 2017-10-03 北京理工大学 用于超光谱成像平台中双相机图像的对齐方法
CN109146787B (zh) * 2018-08-15 2022-09-06 北京理工大学 一种基于插值的双相机光谱成像系统的实时重建方法
CN110490937B (zh) * 2019-07-15 2022-05-17 南京大学 一种加速高光谱视频重建的方法及其装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102661794A (zh) * 2012-03-20 2012-09-12 清华大学 多光谱计算重构方法及系统
CN107133976A (zh) * 2017-04-24 2017-09-05 浙江大学 一种获取三维高光谱信息的方法和装置
CN109323650A (zh) * 2018-01-31 2019-02-12 黑龙江科技大学 视觉图像传感器与点光测距传感器测量坐标系的统一方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A Reconstruction Method for Hyperspectral Remote Sensing Reflectance in the Visible Domain and Applications;Zhaoxin Li 等;<Journal of Geophysical Research>;20180128;第4092-4109页 *

Also Published As

Publication number Publication date
WO2021008528A1 (zh) 2021-01-21
US20220254039A1 (en) 2022-08-11
CN110490937A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490937B (zh) 一种加速高光谱视频重建的方法及其装置
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
Wang et al. End-to-end view synthesis for light field imaging with pseudo 4DCNN
US8948540B2 (en) Optimized orthonormal system and method for reducing dimensionality of hyperspectral images
Wang et al. Adaptive nonlocal sparse representation for dual-camera compressive hyperspectral imaging
US10724848B2 (en) Method and apparatus for processing three-dimensional vision measurement data
CN111462206B (zh) 一种基于卷积神经网络的单目结构光深度成像方法
US20140037209A1 (en) System and method for reduced incremental spectral clustering
CN111127316B (zh) 一种基于sngan网络的单幅人脸图像超分辨方法及系统
CN108369728A (zh) 对感测到的测量值进行融合的方法和系统
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN110880162A (zh) 基于深度学习的快照光谱深度联合成像方法及系统
CN111598962B (zh) 基于矩阵草图分析的单像素成像方法和装置
Wan et al. Learning neural duplex radiance fields for real-time view synthesis
CN114152217B (zh) 基于监督学习的双目相位展开方法
CN117392496A (zh) 基于红外与可见光图像融合的目标检测方法及系统
CN116228912A (zh) 基于U-Net多尺度神经网络的图像压缩感知重建方法
Cai et al. Binarized spectral compressive imaging
Liang et al. Image deblurring by exploring in-depth properties of transformer
CN111583345B (zh) 一种相机参数的获取方法、装置、设备及存储介质
CN107644393A (zh) 一种基于gpu的丰度估计算法的并行实现方法
CN111667495A (zh) 一种图像场景解析方法和装置
CN115761137B (zh) 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN108801457B (zh) 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法
CN114494576A (zh) 一种基于隐函数的快速高精度多视点人脸三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant