CN110853145B - 高空间分辨率便携式抗抖动高光谱成像方法及装置 - Google Patents

高空间分辨率便携式抗抖动高光谱成像方法及装置 Download PDF

Info

Publication number
CN110853145B
CN110853145B CN201910867436.3A CN201910867436A CN110853145B CN 110853145 B CN110853145 B CN 110853145B CN 201910867436 A CN201910867436 A CN 201910867436A CN 110853145 B CN110853145 B CN 110853145B
Authority
CN
China
Prior art keywords
frame
offset
hyperspectral
current frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910867436.3A
Other languages
English (en)
Other versions
CN110853145A (zh
Inventor
何赛灵
罗晶
蔡夫鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910867436.3A priority Critical patent/CN110853145B/zh
Publication of CN110853145A publication Critical patent/CN110853145A/zh
Application granted granted Critical
Publication of CN110853145B publication Critical patent/CN110853145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本发明公开了一种高空间分辨率便携式抗抖动高光谱成像方法及装置。通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；偏移量提取依据特征点来进行。本发明以较低的成本实现了高光谱成像的去抖防模糊功能；初步实现了场景扫描。

Description

高空间分辨率便携式抗抖动高光谱成像方法及装置
技术领域
本发明属于高光谱成像领域，涉及一种高空间分辨率、低成本的便携式抗抖动高光谱成像仪。
背景技术
高光谱成像已经深入运用到生产生活领域，对于空间高光谱成像，高成像光谱仪的抖动对检测结果的影响一直是一个棘手的问题，目前主流方案是增加精密的防抖装置，但大大增加了系统成本。便携式高光谱成像仪大多由于抖动会造成高光谱图像的扭曲和失真，目前的主流防抖算法，未能很好适用于该应用领域。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种高空间分辨率便携式抗抖动高光谱成像方法及装置。
一种高空间分辨率便携式抗抖动高光谱成像方法，通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；
所述的偏移量提取依据特征点来进行，具体步骤如下：
1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：
Figure GDA0003244625370000011
Figure GDA0003244625370000012
其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是相对水平像素偏移量，Ver是相对垂直像素偏移量；A_Hor是绝对水平像素偏移量，A_Ver是绝对垂直像素偏移量；
2)判断是否补偿矫正：如果绝对垂直像素偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的第(i+j)帧，迭代直到当前帧fi移动到结束帧；
3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：
Figure GDA0003244625370000021
其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。
一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。
所述的偏移量提取依据特征点来进行，具体步骤如下：
1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：
Figure GDA0003244625370000022
Figure GDA0003244625370000023
其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是相对水平像素偏移量，Ver是相对垂直像素偏移量；A_Hor是绝对水平像素偏移量，A_Ver是绝对垂直像素偏移量；
2)判断是否补偿矫正：如果绝对垂直像素偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的第(i+j)帧，迭代直到当前帧fi移动到结束帧；
3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：
Figure GDA0003244625370000024
其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。
所述的装置，校准得到的高光谱立方体中一个维度记录空间数据，空间数据由校准相机的CCD中间一列像素采集，另一个维度记录光谱数据，高光谱数据由高光谱成像仪采集，并通过坐标映射得到。
本发明的有益效果：
1)以较低的成本实现了高光谱成像的去抖防模糊功能；
2)初步实现了场景扫描。
附图说明
图1是高空间分辨率便携式抗抖动高光谱成像方法的一种流程图。
具体实施方式
下面结合实施例对说明书附图进一步阐述。
一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。
高光谱成像仪采集的视频和矫正相机采集的视频之间保持时间帧同步关系，高光谱成像仪采用线扫描，CCD上记录的是对应线区域的光谱图像。高光谱成像仪采集的视频中的二维图像帧沿着光谱维积分便得到原始的线图像。系统在抖动中分为垂直于扫描方向的抖动和沿着扫描方向的水平抖动。垂直抖动在j帧之后相对于当前帧会有较大的抖动像素偏移量，通过校准相机采集视频的当前图像帧和第j帧后的图像帧得SIFT特征点纵坐标之差的平均值来计算出系统垂直抖动量。高光谱成像仪采集的原始线图像的纵坐标与垂直抖动像素偏移量相加，补偿因为系统在垂直于扫描方向上的抖动所造成高光谱成像仪在拼接图像的扭曲和失真。
系统在水平方向抖动主要体现在系统沿着扫描方向推扫过程中由于推扫速度过慢导致拼接图像会产生重影。系统在扫描方向上的偏移量主要由当前帧和后一帧的SIFT特征点横坐标之差的平均值得到。若是水平像素偏移量小于阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。
偏移量的计算要依靠特征点来进行，具体步骤如下：
(1)如图1所示，首先校准高光谱成像仪和校准相机位置，校准结果保存为R、S、T，读取校准相机中的视频，设校准相机捕获的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：
Figure GDA0003244625370000041
Figure GDA0003244625370000042
其中N是正确匹配的筛选特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标。Hor是水平像素偏移量，Ver是垂直像素偏移量。接下来判断是否需要矫正，如果绝对垂直像素偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的第(i+j)帧。迭代直到当前帧fi移动到结束帧fe。最终由校准结果的转换矩阵R、S、T将其统一到一个坐标系中：
Figure GDA0003244625370000043
(2)判断相对垂直像素偏移量Ver(fi,fi+j)是否大于垂直偏移阈值T_sh：如果Ver(fi,fi+j)小于阈值，则j逐渐递增，直到Ver(fi,fi+j)大于垂直偏移阈值T_sh。若后j帧图像帧fi+j和当前帧fi的相对垂直像素偏移量Ver(fi,fi+j)，满足大于垂直偏移阈值T_sh的条件，当前帧fi就会移动到之后j帧的位置，以便fi+j在逐渐向后移动的过程中能够始终和当前帧fi检测到足够的匹配特征点。
(3)判断绝对水平像素偏移量A_Hor(fi)是否大于水平偏移像素阈值。若是绝对水平像素偏移量A_Hor(fi)小于水平偏移像素阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。
根据上述公式，计算校准相机中当前帧fi和起始帧fs的绝对水平像素偏移量A_Hor(fi)和绝对垂直像素偏移量A_Ver(fi)。高光谱成像仪采集的原始线图像的纵坐标与绝对垂直偏移量A_Ver(fi)相加，就补偿了因为系统在垂直方向上的抖动所造成拼接图像的扭曲和失真。系统在水平方向抖动主要体现在扫描过程的速度过慢导致拼接图像会产生重影。在抖动矫正过程中若是绝对水平像素偏移量A_Hor(fi)小于水平像素偏移阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。将校准相机采集视频的当前帧fi从起始帧fs不断循环至结束帧fe，高光谱线图像逐帧补偿抖动偏移并拼接在一起，就可以得到系统抖动矫正后的高光谱图像。其中，抖动矫正后的高光谱图像的一个维度记录光谱数据，另外一个维度记录空间数据。
高光谱成像仪采用线扫描的方式，沿着水平方向一直推扫运动，在运动过程中交校准相机可以采集场景不同视角下的图像序列，基于该图像序列，我们可以用SfM-MVS算法来重建场景的三维结构。
利用SFM-MVS算法重建扫描场景，具体步骤如下：
(1)在提取两帧匹配的筛选特征点的基础上，计算出两帧的逆几何，并估计出F矩阵。
通过RANSAC算法对特征点的匹配进行优化，使特征点以链的形式在每两帧之间传输，形成轨迹。
(2)从图像中提取的焦距用作种子，以初始化整个BA(束调整)过程。然后向循环中添加一个新图像，并继续BA，直到没有合适的图像可以添加为止。
(3)在BA的末尾，得到相机的估计参数和场景的稀疏点云。采用基于补丁的MVS，在局部光度一致性和全局可见性的约束下，利用SFM生成的稀疏点云作为种子块，逐渐扩散，重建周围空间块，最终完成密集点云的重建。
将该系统应用于人脸的高光谱图像分析。不仅的能够很好的对人脸成像，同时基于嘴唇的高光谱数据还能很好区分照片中的人脸和真人脸的差别。同时，由于该系统具有优良的防抖性能，该系统被安装在一架无人机上，用于浙江大学的某个讲堂的环境遥感。结果表明，该系统不仅在日常光谱探测方面具有很好的应用价值，而且在无人机遥感观测方面也具有很好的应用前景。

Claims (3)

1.一种高空间分辨率便携式抗抖动高光谱成像方法，其特征在于：通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；
所述的偏移量提取依据特征点来进行，具体步骤如下：
1)所述的视频的起始帧设置为fs，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：
Figure FDA0003244625360000011
Figure FDA0003244625360000012
其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是相对水平像素偏移量，Ver是相对垂直像素偏移量；A_Hor是绝对水平像素偏移量，A_Ver是绝对垂直像素偏移量；
2)判断是否补偿矫正：如果绝对垂直像素偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的第(i+j)帧，迭代直到当前帧fi移动到结束帧；
3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，旋转矩阵为单位矩阵，关系如下：
Figure FDA0003244625360000013
其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。
2.一种高空间分辨率便携式抗抖动高光谱成像装置，其特征在于：包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；
所述的偏移量提取依据特征点来进行，具体步骤如下：
1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：
Figure FDA0003244625360000021
Figure FDA0003244625360000022
其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是相对水平像素偏移量，Ver是相对垂直像素偏移量；A_Hor是绝对水平像素偏移量，A_Ver是绝对垂直像素偏移量；
2)判断是否补偿矫正：如果绝对垂直像素偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；
3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，旋转矩阵为单位矩阵，关系如下：
Figure FDA0003244625360000023
其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。
3.根据权利要求2所述的装置，其特征在于：校准得到的高光谱立方体中一个维度记录空间数据，空间数据由校准相机的CCD中间一列像素采集，另一个维度记录光谱数据，高光谱数据由高光谱成像仪采集，并通过坐标映射得到。
CN201910867436.3A 2019-09-12 2019-09-12 高空间分辨率便携式抗抖动高光谱成像方法及装置 Active CN110853145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867436.3A CN110853145B (zh) 2019-09-12 2019-09-12 高空间分辨率便携式抗抖动高光谱成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867436.3A CN110853145B (zh) 2019-09-12 2019-09-12 高空间分辨率便携式抗抖动高光谱成像方法及装置

Publications (2)

Publication Number Publication Date
CN110853145A CN110853145A (zh) 2020-02-28
CN110853145B true CN110853145B (zh) 2021-11-30

Family

ID=69594819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867436.3A Active CN110853145B (zh) 2019-09-12 2019-09-12 高空间分辨率便携式抗抖动高光谱成像方法及装置

Country Status (1)

Country Link
CN (1) CN110853145B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111385480A (zh) * 2020-03-26 2020-07-07 京东方科技集团股份有限公司 用于眼底拍摄的防抖方法、装置、存储介质和电子设备
CN114677474A (zh) * 2022-03-14 2022-06-28 浙江大学 基于SfM和深度学习的高光谱三维重建系统及方法与应用

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091299A (zh) * 2013-01-21 2013-05-08 北京理工大学 激光差动共焦图谱显微成像方法与装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120062883A1 (en) * 2010-09-14 2012-03-15 Sanford A. Asher Crystalline colloidal array deep uv narrow band radiation filter
CN105872370B (zh) * 2016-03-31 2019-01-15 深圳力维智联技术有限公司 视频去抖动方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091299A (zh) * 2013-01-21 2013-05-08 北京理工大学 激光差动共焦图谱显微成像方法与装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Experimental Demonstration of Remote and Compact Imaging Spectrometer Based on Mobile Devices;Sailing He;《Sensor》;20180621;第1-10页 *
基于轻小型无人机的高光谱成像系统研究;葛明锋;《中国博士学位论文全文数据库 信息科技辑》;20160115;第22-23、109-117页 *

Also Published As

Publication number Publication date
CN110853145A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
EP3216216B1 (en) Methods and systems for multi-view high-speed motion capture
US8350922B2 (en) Method to compensate the effect of the rolling shutter effect
US7596177B2 (en) Image generation apparatus and image generation method
US8368766B2 (en) Video stabilizing method and system using dual-camera system
JP4215267B2 (ja) 画像生成装置および画像生成方法
Shimizu et al. Super-resolution from image sequence under influence of hot-air optical turbulence
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US20210258510A1 (en) Methods and systems for image processing with multiple image sources
CN1874499A (zh) 一种高动态、超分辨率图像重建装置
US11295427B2 (en) Methods and systems for image processing with multiple image sources
CN110853145B (zh) 高空间分辨率便携式抗抖动高光谱成像方法及装置
CN104284059A (zh) 用于稳定图像的设备和方法
US20210049738A1 (en) Panoramic image construction based on images captured by rotating imager
CN110532853B (zh) 遥感超时相数据的分类方法及装置
EP4168977A1 (en) Image enhancement method, apparatus and system
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
US20220329771A1 (en) Method of pixel-by-pixel registration of an event camera to a frame camera
CN109151334B (zh) 一种无人车相机系统
KR101578029B1 (ko) 영상 왜곡 보정 장치 및 방법
Liang et al. Rolling shutter distortion correction
CN115409707A (zh) 一种基于全景视频拼接的图像融合方法及系统
CN112422848B (zh) 一种基于深度图和彩色图的视频拼接方法
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Quevedo et al. Approach to super-resolution through the concept of multicamera imaging
Seyid et al. Hardware implementation of real-time multiple frame super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant