CN112258560B - 一种用于获取物体的高光谱图像的方法及装置 - Google Patents
一种用于获取物体的高光谱图像的方法及装置 Download PDFInfo
- Publication number
- CN112258560B CN112258560B CN202011215926.4A CN202011215926A CN112258560B CN 112258560 B CN112258560 B CN 112258560B CN 202011215926 A CN202011215926 A CN 202011215926A CN 112258560 B CN112258560 B CN 112258560B
- Authority
- CN
- China
- Prior art keywords
- light
- intensity
- hyperspectral
- sequence
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012937 correction Methods 0.000 claims abstract description 58
- 238000005286 illumination Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 239000013078 crystal Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于获取物体的高光谱图像的方法和装置，通过在不同的波长点下交替以两种不同的光照逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列，以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列，先对较高光强下拍摄的高光强图像序列进行运动补正，并用得到的补正信息对低光强图像序列的补正信息进行预测，然后对低光强图像序列进行补正，最后在补正后的光强图像序列中扣除所述补正后的低光强图像序列得到所需要的高光谱图像信息，以解决在光照复杂的场景及非静止拍摄条件下，难以准确获取高光谱信息的技术问题。
Description
技术领域
本发明涉及高光谱分析领域，特别是一种用于获取物体的高光谱图像的方法及装置。
背景技术
高光谱相机是一种通过拍摄，获得被摄场景或物体的图像信息和光谱信息的装置；它拍摄的高光谱相片可以同时进行视觉分析和光谱分析，具有极高的应用价值。光谱扫描式高光谱相机是应用最为广泛的类型。它一般由相机镜头、可调窄带滤光片和成像传感器组成。相机镜头捕捉被摄场景的光进入相机，可调窄带滤光片选择与所设定波长近似波长的光通过，成像传感器曝光成像——即为被摄场景在该设定波长下的灰度相片。为了获取高光谱相片，此类相机需要分别拍摄不同波长下的灰度相片(简称帧)。
拍摄设备或被摄物及场景等可能会在高光谱拍摄过程中移动，此时光谱扫描式高光谱相机需要对拍摄的相片进行运动补正。一些被摄物可能是活动的物体，如人、动物等，而一些高光谱相机可能是车载或手持的设备，这些都可能导致拍摄设备、被摄物及场景在拍摄过程中处于非静止状态(我们将这些情况统称为非静止拍摄条件)。由于每个不同的波长需要分别进行曝光成像，因此从时间上，每帧的拍摄时间也不尽相同，则物体、设备等在不同帧中的位置和状态也就不相同：在一些帧中属于被摄物体的像素，在其他帧中可能就不再属于被摄物体，使高光谱相片就无法直接进行物体的光谱分析。目前解决这一问题较为常见的方法就是对高光谱相片进行补正，即分析不同帧之间物体和场景的运动信息，从而判断不同帧之间，像素之间的对应关系，找到对应物体同一位置的像素或区域。
另一方面，在光照复杂的场景中，使用并调制主动光源是消除环境光干扰、获取准确可靠的高光谱相片的理想方法。在拍摄时，先在主动光源较强的情况下，拍摄一个完整的高光谱相片；随后关闭或减弱主动光源强度，再次进行拍摄；将两次拍摄的高光谱相片相减，就可以去掉环境光的影响，得到纯净的主动光源照射下的高光谱相片。但是，当场景的光照变得复杂，独立的运动补正和调制主动光源便无法获取准确的高光谱信息。这主要有两个原因：(1)当减弱主动光源的光强，拍摄的高光谱相片往往由于环境光源复杂或过弱的原因，无法进行准确的运动补正；(2)分别拍摄的强光下的高光谱相片和弱光下的高光谱相片中的物体位置、角度等差异过大，已经无法通过相减来消除环境光的影响。
目前，业界尚缺乏一种针对光谱扫描式相机的高光谱相片拍摄方法及装置，可以在光照复杂的场景及非静止拍摄条件下，准确获取高光谱信息。
发明内容
针对上述现有技术中的在光照复杂的场景及非静止拍摄条件下，难以准确获取高光谱信息的技术问题，本申请的实施例提供了一种用于获取物体的高光谱图像的方法及装置以解决上述存在的问题。
第一方面，本申请的实施例提供了一种用于获取物体的高光谱图像的方法，包括以下步骤:
S1：在不同的波长点下交替以两种不同的光照分别利用高光谱相机逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列，以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列；
S2：基于高光强图像序列，获得在较高光强下的高光谱图像的运动补正信息；
S3：根据所述运动补正信息对所述高光强图像序列进行运动补正以获得补正后的高光强图像序列；
S4：基于高光强拍摄时间序列和低光强拍摄时间序列的时间相关性以及所述运动补正信息，针对所述低光强图像序列获得预测的运动补正信息，然后利用所述预测的运动补正信息对所述低光强图像序列进行运动补正以获得补正后的低光强图像序列；以及
S5：利用所述补正后的高光强图像序列和所述补正后的低光强图像序列获得所要的高光谱图像。
采用同一波长点下保证在较高光强的光照和较低光强的光照连续两帧拍摄，有利于基于较高光强的光照下的高光强图像序列对较低光强的低光强图像序列的预测和补正。
在一些实施例中，所述S1具体包括以下步骤：
S11：设置拍摄帧序列，所述拍摄帧序列包括基础多帧序列，所述基础多帧序列包括在多个不同波长点下的拍摄帧，并且在同一波长点下的拍摄帧至少包括在较高光强的光照和较低光强的光照下的连续两帧拍摄；
S12：依照所述序列，逐帧进行高光谱拍摄，至所有帧拍摄完成，并记录每一帧的高光谱拍摄图像和拍摄时间。
每个波长点较高光强的光照和较低光强的光照下的连续两帧拍摄的设置并记录其拍摄时间和拍摄图像，拍摄过程只是对所需拍摄的图像的拍摄顺序进行了重新优化，没有增加额外的拍摄任务，在拍摄量和耗时完全不变的情况下，同时准确地实现了运动补正和消除环境光两个关键功能。
在一些实施例中，所述拍摄帧序列还包括引导帧，所述引导帧被添加在所述基础多帧序列的第一帧之前和/或最后一帧之后。引导帧的加入，用于获取准确的运动补正。
在一些实施例中，所述引导帧包括一个或者多个，并且在所述引导帧中的光照强度采用较高光照强度。
在一些实施例中，所述引导帧的波长被设置在信噪比较高的波段。
引导帧的添加是为了保证拍摄帧序列中每个较低光源强度的单帧前后都有较高光源强度的单帧或多帧以利于运动补正。
在一些实施例中，所述拍摄帧序列中每个较低光源强度的单帧前后都有较高光源强度的单帧或多帧。
在一些实施例中，所述较低光源强度为0。较高光源强度与较低光源强度具有明显的差异，以保证上述方法得到的结果的准确性。
在一些实施例中，所述运动补正信息包括相幅及被摄场景的位置和状态随时间变化的信息，并且通过SIFT流、深度学习或图像配准方法获得。
在一些实施例中，所述位置和状态随时间变化的信息包括图像特征点运动的矢量场、像素的位置对应关系和/或相幅整体的仿射变换矩阵。
在一些实施例中，S4中的预测包括线性插值法、非线性插值法或梯度下降搜寻法。
在一些实施例中，S5中补正后的高光强图像序列扣除所述补正后的低光强图像序列以获得所需高光谱图像信息。
第二方面，本申请的实施例还提出一种用于获取物体的高光谱图像的装置，包括：
高光谱相机，被设置于在不同的波长点下拍摄高光谱图像；
计时器，用于提供时间信息；
光源系统，包括主动光源模块和光源调制模块，主动光源模块用以提供拍摄所需两种不同的光照，光源调制模块用以接收计时器信号并对主动光源模块发出的两种不同光强的光进行调整；
控制系统，用于基于所述计时器控制所述高光谱相机以及光源系统以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列。
在一些实施例中，所述光源调制模块调整交替拍摄光强的时间小于高光谱相机拍摄两帧之间的等待时间。
在一些实施例中，所述光源调制模块调整光强的方法包括调整主动光源电压、调整主动光源电流、快门调整光通过。
在一些实施例中，所述计时器采用晶体振荡器、移动设备的时钟。
该装置具有快速调制主动光源强度的机制，并且使用计时器，可精确同步高光谱相机的拍摄和主动光源强度的改变。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明通过在不同的波长点下交替以两种不同的光照逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列，先对较高光强下拍摄的高光强图像序列进行运动补正，基于高光强图像的补正信息对低光强图像序列的补正信息进行预测，然后对低光强图像序列进行补正，最后在补正后的光强图像序列中扣除所述补正后的低光强图像序列得到所需要的高光谱图像信息。本发明在对物体进行运动补正的同时，消除了其高光谱图像中环境光的影响，实现了对复杂环境光场景和非静止拍摄条件下的准确高光谱信息获取。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2是本申请的其中一个实施例中的用于获取物体的高光谱图像的方法的流程图；
图3是本申请的其中一个实施例中的用于获取物体的高光谱图像的方法中S1的具体流程；
图4是本申请的其中一个具体实施例中的用于获取物体的高光谱图像的方法的流程图；
图5是本申请的其中一个具体实施例中的用于获取物体的高光谱图像的方法的拍摄帧序列的示意图；
图6是本申请的其中一个具体实施例中的用于获取物体的高光谱图像的方法的原理说明图；
图7是本申请的其中一个实施例中的用于获取物体的高光谱图像的装置的示意图；
图8是本申请的另一个具体实施例中的应用获取物体的高光谱图像的方法的设备结构示意图；
图9是本申请的另一个具体实施例中的用于获取物体的高光谱图像的方法的流程图；
图10是本申请的另一个具体实施例中的用于获取物体的高光谱图像的方法的拍摄帧序列的示意图；
图11是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的一种用于获取物体的高光谱图像的方法或用于获取物体的高光谱图像的装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的用于获取物体的高光谱图像的方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于高光谱图像还原重建光源光谱的装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
如图2所示，本申请的实施例提供了一种用于获取物体的高光谱图像的方法，包括以下步骤：
S1：在不同的波长点下交替以两种不同的光照分别利用高光谱相机逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列；
S2：基于高光强图像序列，获得在较高光强下的高光谱图像的运动补正信息；
S3：根据所述运动补正信息对所述高光强图像序列进行运动补正以获得补正后的高光强图像序列；
S4：基于高光强拍摄时间序列和低光强拍摄时间序列的时间相关性以及所述运动补正信息，针对所述低光强图像序列获得预测的运动补正信息，然后利用所述预测的运动补正信息对所述低光强图像序列进行运动补正以获得补正后的低光强图像序列；以及
S5：利用所述补正后的高光强图像序列和所述补正后的低光强图像序列获得所要的高光谱图像。
通过在不同的波长点下交替以两种不同的光照逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列，先对较高光强下拍摄的高光强图像序列进行运动补正，基于高光强图像的补正信息对低光强图像序列的补正信息进行预测，然后对低光强图像序列进行补正，最后在补正后的光强图像序列中扣除所述补正后的低光强图像序列得到所需要的高光谱图像信息。
相机在拍摄时，如果光照充足，则拍摄得到的图像信息丰富且细节清晰，反之则图像的信息被噪声所干扰；大多数运动补正方法依赖于对图像进行特征提取，因此对信息丰富且细节清晰的图像能给出准确的结果，但对噪声很突出的图像则结果不准确甚至是完全错误；因此在进行运动补正时，应尽量使用高光强下的图像，而避免使用低光强的图像。然而，有些应用需要对低光强的照片进行运动补正，例如拍摄中存在环境光照的场景。此时，直接对这些低光强的图像进行运动补正的准确度很低。本技术方案为了解决这一技术问题，在这些低光强图像拍摄的同时，再间隔地拍摄一组高光强的图像，使用高光强图像的补正结果来预测低光强的补正结果，就会取得较为准确的结果。例如在第一张高光强图像中，物体A处于图像(100,100)像素的位置，而第二章高光强图像中，A移动到了(200,200)的位置，则我们可以预测A在两个高光强图像中拍摄的低光强图像的位置处于(150,150)，所以同一波长点下保证在较高光强的光照和较低光强的光照连续两帧拍摄，有利于基于较高光强的光照下的高光强图像序列对较低光强的低光强图像序列的预测和补正。
更为具体的，如图3所示，S1具体包括以下步骤：
S11：设置拍摄帧序列，所述拍摄帧序列包括基础多帧序列，所述基础多帧序列包括在多个不同波长点下的拍摄帧，并且在同，一波长点下的拍摄帧至少包括在较高光强的光照和较低光强的光照下的连续两帧拍摄；
S12：依照所述序列，逐帧进行高光谱拍摄，至所有帧拍摄完成，并记录每一帧的高光谱拍摄图像和拍摄时间。
更为具体的，拍摄帧序列还包括引导帧，引导帧被添加在基础多帧序列的第一帧之前和/或最后一帧之后，可以包括一个或者多个，并且其光照强度采用较高光照强度，波长被设置在信噪比较高的波段。引导帧的添加是为了保证拍摄帧序列中每个较低光源强度的单帧前后都有较高光源强度的单帧或多帧以利于运动补正。如果要拍摄一系列波长点，则无论是先拍摄哪种光强，都会导致有一个波长的低光强的前后没有对应的高光强图像，则会导致无法进行准确的运动补正。
在一具体实施例中，如图4、5、6所示，本发明的实施流程包括：
根据使用的主动光源，设置两种不同光照，其中L1为较高光强，L0为较低光强；两个光强之间应具有明显的差异，甚至L0可以为0。明显的差异以保证本方法的结果的准确性；
设置拍摄序列，以2N*2的矩阵M表示，其中第一列表示拍摄的波长点，第二列表示所使用的光强，N为拍摄的不同波长的总数。设置完后该拍摄序列需要确保同一个波长点连续拍摄两次，其中一次采用较高光强L1，另一次采用较低光强L0，即L1和L0间隔排列；
拍摄所用的波长点的选择应根据拟进行的高光谱分析应用来决定，可以使用遗传算法、随机森林或遗传编程方法分析先验数据来得到。选择对结果准确性关联性最大的波长组合，并且在确保分析精度的前提下，选择尽量少的波长点；
在拍摄序列中加入引导帧，在矩阵M的第一帧之前和/或最后一帧之后添加一个或者多个引导帧，引导帧的波长可以自由选择，且选择信噪较好的波段，而且还需确保光强采用较高光强L1。如图5所示，加入引导帧的拍摄序列中每个较低光强的帧的前后都有足够数量的较高光强的帧；
对加入引导帧的拍摄序列M利用高光谱相机进行逐帧的高光谱拍摄，直至所有帧拍摄完成，记录每一帧的灰度图像ik和拍摄的时间节点tk。此步骤中，主动光源的光强在连续两帧之间是高度交替变化的，所以需要进行实时调制；
将所有的灰度图像ik排列成高光强图像I1和低光强图像I0，并且拍摄时间排列成对应的时间序列T1和T0；
使用I1和T1，对高光谱图像进行运动补正，得到被摄物体的运动信息V。运动信息V包括相幅及被摄场景的位置和状态随时间变化的信息，并且通过SIFT流、深度学习或图像配准方法获得。位置和状态随时间变化的信息包括图像特征点运动的矢量场、像素的位置对应关系和/或相幅整体的仿射变换矩阵；
使用运动信息V，根据T1和T0的关系，对低光强图像I0进行预测，如图6所示，根据预测的结果对低光强图像I0运动补正；预测包括线性插值法、非线性插值法或梯度下降搜寻法；
使用运动补正后的结果，从补正后的高光强图像I1中扣除补正后的低光强图像I0(即主要为环境光信息的低光强图像I0)，得到准确的免除环境光和运动干扰的被测物的高光谱信息。
在本例中，因为在拍摄时需要排除环境光的影响，因此需要拍摄高光强和低光强两套高光谱图像；而又因为物体或相机在运动，需要进行运动补正。本方法的一大亮点在于，拍摄过程只是对所需拍摄的图像的拍摄顺序进行了重新优化，没有增加额外的拍摄任务；在拍摄量和耗时完全不变的情况下，同时准确地实现了运动补正和消除环境光两个关键功能。
如图7所示，一种用于获取物体的高光谱图像的装置，包括：高光谱相机、计时器、控制系统和光源系统；高光谱相机可采用光谱扫描式，也可以根据实际情况选择，其对设置于在不同的波长点下拍摄高光谱图像；计时器，用于提供准确的时间信息，可以采用晶体振荡器、移动设备的时钟如手机、电脑等；控制系统，用于基于计时器控制高光谱相机以及光源系统以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列，控制系统作为各个装置中交互的中心，可以进行逻辑运算、发射和接收光源、计时器和高光谱相机的信号，同时也具有内存，以对高光谱相机的数据进行存储；光源系统，包括主动光源模块和光源调制模块，主动光源模块用以提供拍摄所需两种不同的光照，可以采用宽光谱的LED光源；光源调制模块用以接收计时器信号并对主动光源模块发出的两种不同光强的光进行调整，光源调制模块调整交替拍摄光强的时间小于高光谱相机拍摄两帧之间的等待时间；光源调制模块调整光强的方法包括调整主动光源电压、调整主动光源电流、快门调整光通过。
另一个具体实施例，使用手机外设高光谱设备分析皮肤状态这一实施例以说明本技术方案。所使用的装置可以作为外设安装在手机上，供使用者以手持的方式对自己面部进行高光谱拍摄，并通过对图像的分析获取面部皮肤状态信息。涉及的高光谱皮肤状态监测装置如图8所示，包括塑料质外壳1，可以安装在智能手机上，作为手机的外设；高光谱相机2：基于MEMS的光谱扫描式高光谱相机，拍摄波段400～900nm；光源3：3W的带有铝制反光杯的近红外宽谱LED作为主动光源；控制模块4:由单片机为核心的控制模块，负责控制采集过程和开启、关闭光源；通讯模块5:负责和手机进行通讯，获取拍摄请求和传输高光谱图像；手机6:装置将固定在手机上，且手机通过配套的APP管理外设的拍照过程和高光谱图像的分析过程。
在在拍摄过程中，人的头部和手臂均会晃动，导致被摄物及相幅都在运动。使用本申请中提到的方法，就可以对该装置拍摄的高光谱相片进行处理，实现对人面部皮肤状态的分析，具体流程如图9、10所示，并具体说明如下。
使用者将皮肤状态检测外设装置与手机组装，同时启动对应的APP；程序自动设置的设备主动光源在开启和关闭时分别为强主动光源状态L1和弱主动光源状态L0；同时根据图10自动设置拍摄的帧序列，注意此序列中波长由低到高及先L1后L0的顺序，以及在帧序列的末尾加入的引导帧。用户根据APP上显示的相幅调整拍摄角度和位置，以保证头部完整地出现在相幅内，在合适的时机按下拍摄键。
程序使用这一帧序列，拍摄用户面部皮肤的高光谱相片，得到两个光强下的高光谱相片I1和I0，以及它们对应的拍摄时间序列T1和T0；对于I1，使用深度学习算法识别人脸上的特征点及其运动轨迹，获取高光强下高光谱相片的运动补正信息V；根据V对I1进行图像配准得到配准后的高光谱相片I1 p，该相片的每一帧中，相同的像素区域表示被测物上相同的空间位置；对于I0，根据T1和T0的时间相关性，对V中每个特征点的运动轨迹进行线性插值，然后对I0进行图像配准，得到I0 p；使IF＝I1 p-I0 p，得到的新的高光谱相片即是在只有主动光源下的且经过运动补正的人脸的高光谱相片。在得到了补正和消除环境光后的人面部的高光谱相片后，就可以将其作为输入，进入到APP内置的皮肤状态分析步骤中。此步骤中，可以使用已经训练好的偏最小二乘(PLS)、人工神经网络(ANN)、支持向量机(SVM)等化学计量学模型对人脸皮肤的颜色、水分、油脂、光泽等进行分析，并将结果呈现给使用者。
使用本方法和装置，可以在光照场景复杂，场景、物体或相机非静止的情况下获取准确的高光谱信息。光谱扫描式的高光谱相机，通常使用运动补正的方法来消除相机或被摄场景运动的影响，或使用调制主动光源的方法来应对环境光的干扰；但是对于复杂环境光干扰下的非静止拍摄环境，这两种方法不能直接进行套用。本发明提供的方法和装置可以将这两种方法有效结合，在对物体进行运动补正的同时，消除了其高光谱图像中环境光的影响，实现了对复杂环境光场景和非静止拍摄条件下的准确高光谱信息获取。
下面参考图11，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置600的结构示意图。图11示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602，其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)604中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (16)
1.一种用于获取物体的高光谱图像的方法，其特征在于，包括以下步骤:
S1：在不同的波长点下交替以两种不同的光照分别利用高光谱相机逐帧进行高光谱拍摄，以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列；
S2：基于高光强图像序列，获得在较高光强下的高光谱图像的运动补正信息，所述运动补正信息包括相幅及被摄场景的位置和状态随时间变化的信息；
S3：根据所述运动补正信息对所述高光强图像序列进行运动补正以获得补正后的高光强图像序列；
S4：基于高光强拍摄时间序列和低光强拍摄时间序列的时间相关性以及所述运动补正信息，针对所述低光强图像序列获得预测的运动补正信息，然后利用所述预测的运动补正信息对所述低光强图像序列进行运动补正以获得补正后的低光强图像序列；以及
S5：利用所述补正后的高光强图像序列和所述补正后的低光强图像序列获得所要的高光谱图像。
2.根据权利要求1所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述S1具体包括以下步骤：
S11：设置拍摄帧序列，所述拍摄帧序列包括基础多帧序列，所述基础多帧序列包括在多个不同波长点下的拍摄帧，并且在同一波长点下的拍摄帧至少包括在较高光强的光照和较低光强的光照下的连续两帧拍摄；
S12：依照所述序列，逐帧进行高光谱拍摄，至所有帧拍摄完成，并记录每一帧的高光谱拍摄图像和拍摄时间。
3.根据权利要求2所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述拍摄帧序列还包括引导帧，所述引导帧被添加在所述基础多帧序列的第一帧之前和/或最后一帧之后。
4.根据权利要求3所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述引导帧包括一个或者多个，并且在所述引导帧中的光照强度采用较高光照强度。
5.根据权利要求3所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述引导帧的波长被设置在信噪比较高的波段。
6.根据权利要求2所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述拍摄帧序列中每个较低光强度的单帧前后都有较高光强度的单帧或多帧。
7.根据权利要求1所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述较低光强度为0。
8.根据权利要求1所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述运动补正信息通过SIFT流、深度学习或图像配准方法获得。
9.根据权利要求8所述的一种用于获取物体的高光谱图像的方法，其特征在于，所述位置和状态随时间变化的信息包括图像特征点运动的矢量场、像素的位置对应关系和/或相幅整体的仿射变换矩阵。
10.根据权利要求1所述的一种用于获取物体的高光谱图像的方法，其特征在于，S4中的预测包括线性插值法、非线性插值法或梯度下降搜寻法。
11.根据权利要求1所述的一种用于获取物体的高光谱图像的方法，其特征在于，S5中补正后的高光强图像序列扣除所述补正后的低光强图像序列以获得所需高光谱图像信息。
12.一种用于获取物体的高光谱图像的装置，其特征在于，包括：
高光谱相机，被设置于在不同的波长点下拍摄高光谱图像；
计时器，用于提供时间信息；
光源系统，包括主动光源模块和光源调制模块，主动光源模块用以提供拍摄所需两种不同的光照，光源调制模块用以接收计时器信号并对主动光源模块发出的两种不同光强的光进行调整；
控制系统，用于基于所述计时器控制所述高光谱相机以及光源系统以获得在较高光强下拍摄的高光强图像序列和高光强拍摄时间序列以及在较低光强下拍摄的低光强图像序列和低光强拍摄时间序列。
13.根据权利要求12所述的一种用于获取物体的高光谱图像的装置，其特征在于，所述光源调制模块调整交替拍摄光强的时间小于高光谱相机拍摄两帧之间的等待时间。
14.根据权利要求12所述的一种用于获取物体的高光谱图像的装置，其特征在于，所述光源调制模块调整光强的方法包括调整主动光源电压、调整主动光源电流、快门调整光通过。
15.根据权利要求12所述的一种用于获取物体的高光谱图像的装置，其特征在于，所述计时器采用晶体振荡器、移动设备的时钟。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215926.4A CN112258560B (zh) | 2020-11-04 | 2020-11-04 | 一种用于获取物体的高光谱图像的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215926.4A CN112258560B (zh) | 2020-11-04 | 2020-11-04 | 一种用于获取物体的高光谱图像的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258560A CN112258560A (zh) | 2021-01-22 |
| CN112258560B true CN112258560B (zh) | 2024-02-06 |
Family
ID=74268745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011215926.4A Active CN112258560B (zh) | 2020-11-04 | 2020-11-04 | 一种用于获取物体的高光谱图像的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258560B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4210324A1 (en) * | 2022-01-11 | 2023-07-12 | Koninklijke Philips N.V. | Method and apparatus for aligning images in a sequence of image frames |
| US20230351551A1 (en) * | 2022-04-29 | 2023-11-02 | Wisconsin Alumni Research Foundation | Low-Light Video System |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6550914B1 (en) * | 2001-10-26 | 2003-04-22 | Pan-Optx, Inc. | Eyewear with filtered ventilation |
| JP5632060B1 (ja) * | 2013-10-07 | 2014-11-26 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
| KR20160117092A (ko) * | 2015-03-31 | 2016-10-10 | 서울바이오시스 주식회사 | 하이퍼스펙트럴 이미지 장치 |
| CN108205202A (zh) * | 2018-01-31 | 2018-06-26 | 歌尔科技有限公司 | 头戴显示设备及其绑带调节方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6692124B2 (en) * | 2002-05-20 | 2004-02-17 | Robert Katz | Eyewear with ventilation |
| US10379877B2 (en) * | 2014-05-01 | 2019-08-13 | Samsung Electronics Co., Ltd. | Wearable device and method of controlling the same |
| US10838190B2 (en) * | 2016-06-21 | 2020-11-17 | Sri International | Hyperspectral imaging methods and apparatuses |
| EP3413557B1 (en) * | 2017-06-08 | 2021-03-03 | IMEC vzw | A method, an image sensor and a device for acquiring an image of an object |
| TWM567355U (zh) * | 2018-06-16 | 2018-09-21 | 台灣海博特股份有限公司 | Multispectral image analysis system architecture |
-
2020
- 2020-11-04 CN CN202011215926.4A patent/CN112258560B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6550914B1 (en) * | 2001-10-26 | 2003-04-22 | Pan-Optx, Inc. | Eyewear with filtered ventilation |
| JP5632060B1 (ja) * | 2013-10-07 | 2014-11-26 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
| KR20160117092A (ko) * | 2015-03-31 | 2016-10-10 | 서울바이오시스 주식회사 | 하이퍼스펙트럴 이미지 장치 |
| CN108205202A (zh) * | 2018-01-31 | 2018-06-26 | 歌尔科技有限公司 | 头戴显示设备及其绑带调节方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258560A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020171373A1 (en) | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames | |
| US11132771B2 (en) | Bright spot removal using a neural network | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| Tan et al. | Face detection and verification using lensless cameras | |
| KR102691544B1 (ko) | 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법 | |
| KR20210059712A (ko) | 이미지 향상을 위한 인공지능 기법 | |
| CN112258560B (zh) | 一种用于获取物体的高光谱图像的方法及装置 | |
| CN108900769A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
| KR101167567B1 (ko) | 어류 모니터링을 위한 영상감시장치 및 방법 | |
| CN110334635A (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| JP5072655B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| CN112085768B (zh) | 光流信息预测方法、装置、电子设备和存储介质 | |
| TW201822708A (zh) | 動態影像之心率活動偵測系統與其方法 | |
| CN109327626A (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
| CN108038473B (zh) | 用于输出信息的方法和装置 | |
| Kurihara et al. | Non-contact heart rate estimation via adaptive rgb/nir signal fusion | |
| Kang et al. | Transppg: Two-stream transformer for remote heart rate estimate | |
| Nguyen et al. | Non-contact heart rate measurement from deteriorated videos | |
| CN109325905A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN113067980A (zh) | 图像采集方法、装置、电子设备及存储介质 | |
| JP2003187230A (ja) | 撮影画像処理装置および化粧シミュレーション装置 | |
| CN115623313A (zh) | 图像处理方法、图像处理装置、电子设备、存储介质 | |
| O'Malley | A simple, effective system for automated capture of high dynamic range images | |
| EP3430472B1 (en) | Method of producing video images that are independent of the background lighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |