CN115082302A - 一种光谱图像处理装置及方法 - Google Patents

Abstract

本公开涉及一种光谱图像处理装置及方法，该装置包括：读取模块按照确定的读取速度读取多个图像，并将图像存储至图像数据库；关键点提取模块从图像数据库中读取图像，并对读取的图像进行关键点提取，以及将关键点信息存储至图像数据库；位姿计算模块从图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果；拼接模块从图像数据库中读取图像，并根据图像的位姿计算结果进行已读取到图像的拼接，得到光谱图像。本公开所提供的装置及方法，通过对多个图像的读取、关键点提取、位姿计算以及拼接融合的并行处理，得到光谱图像，提高了处理效率，实现了光谱图像的实时处理。

Description

一种光谱图像处理装置及方法

技术领域

本公开涉及遥感图像处理领域，尤其涉及一种光谱图像处理装置及方法。

背景技术

相比于普通照片，光谱图像的采集、合成、识别都更为复杂。推扫式成像光谱仪等成像设备的空间分辨率高，但是光谱数据合成需要拼接、几何畸变矫正、辐射矫正、通道配准等处理后才能得到光谱图像，这些处理过程的计算量极大。同时光谱图像的数据量是同样分辨率的彩色图像的几十甚至上百倍，且随着技术的不断提高，合成光谱图像所需的原始图像数据的数据量也在不断增加，这都增加了对光谱图像进行处理的计算量。

在相关技术中，对于大数据量的光谱图像的信息提取和处理，相关技术人员大多采用的是利用DSP、FPGA等硬件进行并行计算加速。例如，杨斌等基于FPGA提出了以流水式局部背景统计方法(SBS)实现对目标探测算法的改进，在保证各算法探测效果的同时极大地降低计算难度，提高算法运行效率；吴远峰等将光谱图像预处理、目标异常探测算法等复杂的数据处理和信息提取算法进行并行实现，形成基于GPU的光谱图像数据级并行计算全链路方法。然而，上述现有技术中通常是用于单个模块的并行加速。在针对图像预处理、拼接、光谱图像合成、识别的全链路过程时，实现光谱图像实时、多任务的处理仍然是本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本公开提出了一种光谱图像处理装置及方法，以解决现有技术中对数据量巨大的光谱图像实时处理的效率低的问题。

根据本公开的第一方面，提供了一种光谱图像处理装置，所述装置包括：读取模块、关键点提取模块、位姿计算模块、拼接模块、控制模块，

所述读取模块，用于按照确定的读取速度读取用于拼接融合形成光谱图像所需的多个图像，并将所述多个图像存储至图像数据库；

所述控制模块，用于根据所述读取速度确定需要进行关键点提取处理的第一速度以及根据所述第一速度生成第一控制指令，根据所述读取速度确定需要进行位姿计算处理的第二速度以及根据所述第二速度生成第二控制指令，根据所述读取速度确定需要进行拼接融合的第三速度以及根据所述第三速度生成第三控制指令；

所述关键点提取模块，用于根据接收到的所述第一控制指令从所述图像数据库中读取图像，并对所读取的图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库；

所述位姿计算模块，用于根据接收到的所述第二控制指令从所述图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果，并将得到的每个图像的位姿计算结果发送至所述拼接模块或图像数据库；

所述拼接模块，用于根据接收到的所述第三控制指令从所述图像数据库中读取图像，并根据来自所述位姿计算模块或从所述图像数据库获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

在一种可能的实现方式中，所述读取模块，还用于读取与每个图像对应的位姿计算结果，并将所述位姿计算结果存储至所述图像数据库。

在一种可能的实现方式中，所述位姿计算模块，包括：

回环检测子模块，用于对所述位姿计算结果进行回环检测，并根据检测结果对所述位姿计算结果进行修正，并将修正后的位姿计算结果返回所述位姿计算模块、直接发送至所述拼接模块或存储至所述图像数据库。

在一种可能的实现方式中，所述装置还包括：所述装置还包括多个处理模块，每个处理模块所能执行的操作包括图像读取、关键点提取处理、位姿计算处理、拼接融合处理，

所述控制模块，还用于在所述读取模块从存储设备中读取预先拍摄并存储的所述多个图像时，根据每个处理模块执行每种操作的速度确定所述读取速度；或者

在所述读取模块获取实时拍摄到的所述多个图像时，根据实时拍摄的速度确定所述读取速度。

在一种可能的实现方式中，所述控制模块，还用于根据所述读取速度和每个处理模块进行图像读取的速度，将所述多个处理模块中的至少一个确定为所述读取模块；

根据所述第一速度和每个处理模块进行关键点提取处理的速度，将所述多个处理模块中的至少一个确定为所述关键点提取模块；

根据所述第二速度和每个处理模块进行位姿计算处理的速度，将所述多个处理模块中的至少一个确定为所述位姿计算模块；

根据所述第三速度和每个处理模块进行拼接融合处理的速度，将所述多个处理模块中的至少一个确定为所述拼接模块。

在一种可能的实现方式中，所述装置还包括：

识别模块，用于识别出所述光谱图像中的对象，并根据所述对象对所述光谱图像进行标记。

在一种可能的实现方式中，所述识别模块还用于将标记后的光谱图像存储至所述图像数据库。

在一种可能的实现方式中，所述装置还包括：

显示模块，用于显示所述光谱图像和/或标记后的光谱图像。

在一种可能的实现方式中，所述装置还包括：

图像拍摄模块，用于实时拍摄用于拼接形成光谱图像所需的多个图像。

根据本公开的第二方面，提供了一种光谱图像处理方法，应用于上述第一方面的光谱图像装置，所述方法包括：

按照确定的读取速度读取多个图像并将所述多个图像存储至图像数据库中，其中，所述多个图像用于拼接融合形成光谱图像；

根据所述读取速度确定需要进行关键点提取处理的第一速度以及根据所述第一速度生成第一控制指令，根据所述读取速度确定需要进行位姿计算处理的第二速度以及根据所述第二速度生成第二控制指令，根据所述读取速度确定需要进行拼接融合的第三速度以及根据所述第三速度生成第三控制指令；

根据所述第一控制指令从所述图像数据库中读取图像，并对所述图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库；

根据所述第二控制指令所述图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果；

根据所述第三控制指令从所述图像数据库中读取图像，并根据获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

本公开所提供的光谱图像处理装置及方法，在控制模块的作用下，能够通过读取模块读取用于拼接融合形成光谱图像所需的多个图像，并结合关键点提取模块、位姿计算模块、拼接模块实时、并行地对多个图像中进行关键点提取、位姿计算以及多个图像的拼接融合，提高了对数据量巨大的光谱图像实时处理的效率，实现了光谱图像的采集、合成的“实时处理”。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的光谱图像处理装置的结构示意图。

图2示出根据本公开一实施例的光谱图像处理装置的结构另一示意图。

图3示出根据本公开一实施例的光谱图像处理方法的流程图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

对光谱图像的波段数不做具体的限定，光谱图像可以为多光谱图像或高光谱图像，其可以通过成像光谱仪、光谱相机(如多光谱相机、高光谱相机等)等光谱成像设备获得。所述多光谱图像为包含几个特定波段下的光谱信息的图像，该图像较之RGB图像包含了更多的光谱信息；高光谱图像特点是光谱连续，波段数多，分辨率高。高光谱图像可借助成像光谱仪或光谱相机，在紫外、可见光、近红外和中红外区域、获取许多非常窄且光谱连续的图像数据，能为每个像元提供数十乃至数百个窄波段光谱信息，产生一条完整而连续的光谱曲线。光谱图像大量的光谱段数据为人们了解目标对象提供了丰富的信息，这对于后续进行的地物分类和目标识别是十分有益的。

然而在相关技术中，在获取光谱图像后，由于波段的增多带来的大量的光谱段数据，导致光谱图像的数据量大并且图像的冗余度高，从而在对大量的光谱图像进行处理时，很难实现对光谱图像进行采集、合成的实时处理。本发明涉及的光谱图像处理装置及方法，在对光谱图像尤其是高光谱图像处理方面，具有显著的优势。

基于此，本公开在面对光谱图像的大量原始光谱段数据(也即本文所述的多个图像)时，为了实现对光谱图像进行采集、拼接融合的“实时处理”，通过对包含读取模块、关键点提取模块、位姿计算模块、拼接模块、控制模块的光谱图像装置设置，使得读取多个图像、对多个图像的关键点提取、位姿计算、拼接融合的处理过程通过不同的模块并行处理，实现了光谱图像采集、合成的“实时处理”，提高了光谱图像的实时处理效率。并且，在控制模块的作用下，该装置还能够根据不同的采集帧率适应性地调整读取模块、关键点提取模块、位姿计算模块、拼接模块的处理速度，满足不同采集帧率的光谱图像的实时处理需求，使得该装置能够实时地对采集到的图像进行图像读取、关键点提取、位姿计算、拼接融合的并行处理，得到光谱图像。

本文中所提到的“实时处理”并非通常意义下的即时、无时间差的处理，该装置能实现对多个图像采集、合成的“实时处理”是指读取模块对多个图像进行图像读取的速度能够达到光谱成像设备(简称成像设备)的采集帧率(也即拍摄速度)，以及对多个图像进行关键点提取处理的速度、位姿计算处理的速度以及拼接融合处理的速度均能达到读取模块对多个图像进行图像读取的速度，保证了多个图像不会积压排队、能够实现采集、合成的“实时处理”。

图1示出根据本公开一实施例的光谱图像处理装置的结构示意图。图2示出根据本公开一实施例的光谱图像处理装置的结构另一示意图。如图1所示，该装置包括：读取模块100、关键点提取模块200、位姿计算模块300、拼接模块400、控制模块500。

读取模块100可以按照确定的读取速度读取用于拼接融合形成光谱图像所需的多个图像，并将所述多个图像存储至图像数据库。其中，读取速度即为读取模块100单位时间内所能读取到的图像数据的数据量，可以用单位时间内所能读取到的图像的个数或帧数来表示。

在一种可能的实现方式中，读取模块100可以从光谱成像设备(本公开简称成像设备)的芯片中，读取成像设备实时采集到的用于拼接融合形成光谱图像所需的多个图像。其中，读取模块的读取速度与成像设备的采集帧率一致或匹配，从而保证了装置能够实时读取成像设备采集的多个图像。举例来说，如果成像设备的采集帧率为30fps(帧/秒)，则读取模块的读取速度也相应为30fps。其中，光谱成像设备可以包括高光谱仪等能够形成用于拼接融合形成光谱图像所需的多个图像的设备，例如，推扫型高光谱仪、摆扫型高光谱仪。本领域技术人员可以根据实际需要选择光谱成像设备的类型，在此不作限定。

其中，读取模块100与成像设备可以通过有线传输或是无线传输的方式进行数据传输，以使得读取模块100可以从成像设备中读取到多个图像。本领域技术人员可以根据实际需要选择读取模块100与成像设备进行数据传输的方式，在此不作限定。

在另一种可能的实现方式中，读取模块100还可以从存储设备上读取用于拼接融合形成光谱图像所需的多个图像。其中，存储设备可以预先存储多个待处理的图像，读取模块100可以根据实际需要选择合适的读取速度从存储设备中读取图像，在此不作限定。

在一种可能的实现方式中，该装置还可以包括图像数据库。图像数据库是用于存储读取模块100读取到的多个图像、确定出的各图像的关键点信息、各图像的位姿计算结果等与各图像的相关数据的，以便于装置中的其他模块可以从图像数据库中读取执行相应操作所需数据，以及将其他各模块执行相应操作后输出的相关数据存储至图像数据库。

控制模块500可以按照确定的读取速度确定进行关键点提取处理的第一速度以及根据第一速度生成第一控制指令，也可根据读取速度确定进行位姿计算处理的第二速度以及根据第二速度生成第二控制指令，同时也可根据读取速度确定进行拼接融合处理的第三速度以及根据第三速度生成第三控制指令。其中，第一速度、第二速度以及第三速度均能达到上述确定的读取速度，也即，第一速度、第二速度以及第三速度均大于或等于读取速度，从而保证对多个图像读取、关键点提取、位姿计算以及拼接融合的“实时处理”，避免了多个图像的积压排队，进而保证了对多个图像的采集、合成的“实时处理”。

关键点提取模块200根据接收到的第一控制指令，可以按照第一速度从图像数据库中读取图像，并对所读取的图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库中。其中，关键点是指图像中具有显著特征的特征点，该显著特征可以包括以下一种或多种类型：光谱特征、纹理特征、形态特征、光照特征等，根据不同类型的显著特征确定的关键点应当具有尺度不变性和旋转不变性，从而保证后期图像处理时对图像进行拼接融合的准确度。

位姿计算模块300根据接收到的第二控制指令，可以按照第二速度从图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果，并将得到的每个图像的位姿计算结果发送至所述拼接模块或图像数据库。其中，位姿是指图像中对象(可基于关键点信息确定出对象，对象可以为一个或多个)的位置和姿态发生的变化情况，位置变化包括对象在三维空间的各方向的位移变化，姿态变化包括对象在三维空间的姿态旋转角度的变化。

拼接模块400根据接收到的第三控制指令，可以按照第三速度从图像数据库中读取图像，并根据来自位姿计算模块200或从图像数据库获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

在该实现方式中，进行已读取到图像的拼接融合可以是逐帧进行的。举例来说，假设在一定的时间段内，拼接模块400已经获取到了由已读取的前100帧图像(也即第1帧至第100帧，共计100帧图像)拼接融合形成的光谱图像(如给定序号为100)，则在拼接模块400读取到第101帧图像时，基于第101帧图像对应的位姿计算结果，将第101帧图像与之前所读取的前100帧图像所拼接融合形成的光谱图像(序号为100)进行拼接融合，得到由总共读取到的前101帧图像所对应的新的光谱图像(序号为101)。

在上述对应的控制指令的作用下，关键点提取模块200、位姿计算模块300以及拼接模块400可以分别对其所获取的图像独立、并行处理，这样就能将对运算量巨大的形成光谱图像的处理过程划分给不同的模块执行，缩短了不同阶段的处理过程之间的等待处理时间，大大提高了光谱图像的处理效率，实现了光谱图像的采集、合成的“实时处理”。

举例来说，假定光谱成像设备的采集帧率为30fps，读取模块100的读取速度相应为30fps，读取模块100按照光谱成像设备的采集顺序依次读取并存储多个图像至图像数据库中，为满足光谱图像的实时采集合成，控制模块500可以根据读取速度30fps确定需要进行关键点提取处理的第一速度为30fps、需要进行位姿计算处理的第二速度为30fps、需要进行拼接融合处理的第三速度为30fps。在控制模块的作用下，还可根据第一速度生成第一控制指令以控制关键点提取模块200对多个图像的处理过程，根据第二速度生成第二控制指令以控制位姿计算模块300对多个图像的处理过程，根据第三速度生成第三控制指令以控制拼接模块400对多个图像的处理过程。为便于描述本公开装置中各个模块对图像并行处理实现对图像采集、合成的“实时处理”的实现过程，现对并行处理过程中的任意一个处理时间段进行详细说明，则装置中各模块并行运行，进行针对多个图像的处理的过程包括如下并行的四个步骤：

步骤1)：读取模块100按照读取速度30fps依次读取到了多个图像并存储至图像数据库中；

步骤2)：关键点提取模块200在确定图像数据库中存在可供处理的图像之后，按照第一速度30fps从图像数据库中依次进行图像读取以及进行关键点提取，并将得到的每个图像的关键点信息存储至图像数据库中；

步骤3)：位姿计算模块300在确定图像数据中存在可供处理的图像之后，按照第二速度为30fps从图像数据库中依次读取图像以及该图像对应的关键点信息，并根据读取到的图像的关键点信息进行位姿计算得到图像所对应的位姿计算结果，并将得到的每个图像的位姿计算结果发送至拼接模块400或图像数据库中；

步骤4)：拼接模块400在确定图像数据库中存在可供处理的图像之后，按照第三速度为30fps从图像数据库中依次读取图像，并根据来自位姿计算模块300中的位姿计算结果或从图像数据库获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到由已读取到的图像所合成的光谱图像。其中，拼接模块400每从图像数据库中读取一帧新图像，则根据该帧新图像对应的位姿计算结果，将读取该帧新图像之前所读取的图像所拼接融合形成的光谱图像以及该新图像拼接在一起，得到新的光谱图像，直至拼接模块完成所有图像的读取。

在上述步骤1)-步骤4)的实现过程中，读取模块100、关键点提取模块200、位姿计算模块300和拼接模块400之间可以独立工作，即读取模块100在按照确定的读取速度读取图像的同时，关键点提取模块200、位姿计算模块300和拼接模块400均可独立对图像数据库中的图像进行相应的处理，从而使得各个模块之间可以并行运行。这样，将针对光谱图像的处理过程划分给不同的模块执行、并行处理，大大提高了光谱图像的处理效率，实现了光谱图像的采集、合成的“实时处理”。

在一种可能的实现方式中，读取模块100还用于读取与每个图像对应的位姿计算结果，并将所述位姿计算结果存储至所述图像数据库在。在该实现方式中，在成像设备自身配置有IMU(Inertial Measurement Unit，惯性测量单元)的情况下，也即成像设备能够对拍摄的图像进行位姿计算并将位姿计算结果存储在该成像设备中的情况下，读取模块100可以直接从成像设备中读取到具有位姿计算结果的图像，也即读取模块100从成像设备中读取多个图像以及与各图像对应的位姿计算结果。

在本实施例中，光谱图像处理装置只需通过读取模块100从成像设备中直接读取位姿计算结果，便可将该位姿计算结果用于图像的拼接融合，因而无需通过关键点提取模块200进行关键点提取处理以及位姿计算模块300进行位姿计算处理来得到位姿计算结果，从而简化了光谱图像处理装置的结构，节约了成本。

在一种可能的实现方式中，如图2所示，所述位姿计算模块300包括回环检测子模块600，用于对位姿计算结果进行回环检测，并根据检测结果对位姿计算结果进行修正，并将修正后的位姿计算结果返回位姿计算模块300、直接发送至拼接模块400或存储至图像数据库。其中，回环检测子模块所修正的位姿计算结果，包括：来自成像设备的位姿计算结果，或由位姿计算模块300根据图像的关键点信息进行位姿计算得到的位姿计算结果。

在该实现方式中，若位姿计算模块300、拼接模块400或图像数据库包括位姿计算结果和修正后的位姿计算结果，则拼接模块400将获取并根据修正后的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

在本实施例中，成像设备在不同的波段下形成与之对应的不同图像，由于位姿的计算是一个递推的过程，即由上一图像位姿解算下一图像位姿，随着处理的图像数量的增多，图像中的位姿计算的误差也会随之增加，即形成了位姿计算结果的累计误差。而通过建立不同的图像之间的约束关系来实现对图像之间的位姿进行回环检测，能够显著地减小上述累计误差，使得修正后的位姿计算结果能够准确的还原多个图像的真实信息，有利于后期对图像进行拼接融合处理，提高了形成光谱图像的准确度。其中，回环检测的方法可以包括：基于词袋模型的回环检测、基于卷积神经网络的回环检测、基于自编码的回环检测等。

在一种可能的实现方式中，光谱图像处理装置还包括多个处理模块，每个处理模块所能执行的操作包括图像读取、关键点提取处理、位姿计算处理、拼接融合处理。

在该实现方式中，多个处理模块的数量大于上述所能执行的操作的种类的数量。该装置能够适应性地分配执行图像读取、关键点提取处理、位姿计算处理、拼接融合处理所需要的处理模块的数量。各处理模块执行同一类操作的速度可以相同，也可以不同。

在一种可能的实现方式中，控制模块500还用于在读取模块100从存储设备中读取预先拍摄并存储的多个图像时，根据每个处理模块执行每种操作的速度确定读取速度。其中，每个处理模块执行每种操作的速度由每个处理模块性能参数所决定，处理模块的性能越好，其执行操作的速度越快。

在该实现方式中，可以根据每个处理模块执行每种操作的速度、“实时处理”的图像处理需求，确定出读取速度，以保证“实时处理”的最终目的。读取速度可以为装置能够保证“实时处理”的最大图像读取速度。举例来说，假定每个处理模块执行同一操作的速度相同，如为：执行图像读取的速度为40fps、执行关键点提取处理的速度为20fps、执行位姿计算处理的速度为40fps、执行拼接融合处理的速度为20fps，装置中包含12个处理模块。则为保证“实时处理”装置的最大图像读取速度为80fps。此时，装置可以按照读取速度80fps(两个处理模块执行)、第一速度80fps(四个处理模块执行)、第二速度80fps(两个处理模块执行)、第三速度80fps(四个处理模块执行)。

在本实施例中，该装置能够根据每个处理模块执行每种操作的速度确定读取速度，使得装置中的每个处理模块能够合理的利用处理器资源，在保证“实时处理”的同时提升装置的处理效率。

在另一种可能的实现方式中，控制模块500还用于在读取模块100获取实时拍摄到的多个图像时，根据实时拍摄的速度确定读取速度。

在该实现方式中，读取速度可设置为与实时拍摄速度相同。其中，用于实时拍摄的成像设备的拍摄速度由成像设备的性能参数所决定，控制模块可以根据成像设备在实时拍摄时的速度确定读取速度，从而使得该装置能够对图像进行实时的读取并供后续处理。也即，该装置能够根据不同成像设备的拍摄速度适应性地调整读取速度，使得光谱图像处理装置能够适应性地处理不同采集帧率(即拍摄速度)下获得的多个图像以得到光谱图像，扩大了该装置的适应范围。

在一种可能的实现方式中，控制模块500还用于：根据读取速度和每个处理模块进行图像读取的速度，将多个处理模块中的至少一个确定为读取模块100；根据第一速度和每个处理模块进行关键点提取的速度，将多个处理模块中的至少一个确定为关键点提取模块200；根据第二速度和每个处理模块进行位姿计算的速度，将多个处理模块中的至少一个确定为位姿计算模块300；根据第三速度和每个处理模块进行拼接融合处理的速度，将多个处理模块中的至少一个确定为拼接模块400。如上所述，其中的第一速度、第二速度以及第三速度均是根据读取速度所确定的。

在该实现方式中，光谱图像处理装置中的处理模块的数量可以预先进行设置。为了满足装置对图像的“实时处理”，装置的最大图像读取速度至少需要大于或等于实时拍摄的速度。

举例来说，假设预先设置的处理模块的个数为20个，每个处理模块进行图像读取的速度均为30fps，每个处理模块进行关键点提取的速度为20fps，每个处理模块进行位姿计算的速度为30fps，每个处理模块进行拼接的速度为20fps，根据每个处理模块执行每种操作的速度或根据成像设备的拍摄速度所确定的读取速度为120fps。

为了满足“实时处理”的要求，根据读取速度120fps确定的第一速度、第二速度、第三速度均能达到120fps，则需要从20个处理模块中至少分配4个(即30fps*N≥120fps，N≥4)处理模块作为读取模块100来进行图像读取；从20个处理模块中至少确定6个(20fps*N≥120fps，N≥6)处理模块作为关键点提取模块200来进行关键点提取处理；从20个处理模块中至少确定4个(30fps*N≥120fps，N≥4)位姿计算模块300来进行位姿计算处理；从20个处理模块中至少确定6个(20fps*N≥120fps，N≥6)拼接模块400来进行图像的拼接融合处理。上述实施例是假设每个处理模块的性能参数是一致的，则每个处理模块执行每种操作的速度也一致。应当理解的是，当每个处理模块的性能参数不一致时，该装置也能根据上述方法适应性地分配处理模块来执行对图像的各种操作，在此不作限定。

在本实施例中，根据对多个图像进行图像读取的读取速度、进行关键点提取处理的第一速度、进行位姿计算处理的第二速度、进行拼接融合处理的第三速度以及每个处理模块执行每种操作的速度，光谱图像处理装置能够适应性地分配合理的处理模块来执行每种不同的操作，从而在保证光谱图像采集、合成的“实时处理”的同时，使得资源的利用率最大化，并且提高了装置的处理速度。

在一种可能的实现方式中，还可以根据图像读取、关键点提取处理、位姿计算处理、拼接融合处理对光谱图像处理装置中的多个处理模块进行分类，分别得到用于进行图像读取的第一处理模块集合、用于进行关键点提取处理的第二处理模块集合、用于进行位姿计算处理的第三处理模块集合以及用于进行拼接融合处理的第四处理模块集合。其中，第一处理模块集合、第二处理模块集合、第三处理模块集合、第四处理模块集合均至少包括一个处理模块。

其中，控制模块500可以执行以下操作：根据读取速度以及第一处理模块集合中各处理模块进行图像读取的速度，将从第一处理模块集合中确定出的至少一个处理模块确定为所述读取模块；根据第一速度以及第二处理模块集合中各处理模块进行关键点提取处理的速度，将从第二处理模块集合中确定出的至少一个处理模块确定为关键点提取模块；根据第二速度以及第三处理模块集合中各处理模块进行位姿计算处理的速度，将从第三处理模块集合中确定出的至少一个处理模块确定为位姿计算模块；根据第三速度以及第四处理模块集合中各处理模块进行拼接融合处理的速度，将从第四处理模块集合中确定出的至少一个处理模块确定为拼接模块。

在该实现方式中，各处理模块集合中所包括的处理模块可以根据各处理模块的性能、装置中处理模块的总数量等进行分配。例如，假设该装置一共有20个处理模块，每个处理模块的性能参数相同，则可以将多个处理模块平均分配成4份，每份包括5个处理模块，则第一处理模块集合、第二处理模块集合、第三处理模块集合以及第四处理模块集合中均包括5个处理模块。

在该实现方式中，控制模块500可以根据光谱图像处理装置的执行的操作种类确定与每种操作对应的处理模块集合，从而可以从每种操作所对应的处理模块集合中确定执行每种操作所需的处理模块。

在本实施例中，通过对装置中的多个处理模块进行分类，可以使得该装置的模块划分更加清晰，提高了装置的可维护性。

在一种可能的实现方式中，如图2所示，该装置还包括识别模块700，用于识别出光谱图像中的对象，并根据对象对光谱图像进行标记。

本实施例中，对拍摄的多个图像进行关键点提取、位姿计算以及拼接融合后所获得的光谱图像，能够快速准确地识别与关键点有关的显著特征所对应的对象。并且，通过根据对象对光谱图像进行标记可以用于后期对对象的快速分类。

在另一种可能的实现方式中，识别模块还用于将标记后的光谱图像存储至图像数据库。通过读取数据库中的被标记后的光谱图像，能够方便对标记对象的快速浏览和识别。

在一种可能的实现方式中，如图2所示，该装置还包括显示模块900，用于显示光谱图像和/或标记后的光谱图像。通过显示模块，能够方便查看形成的光谱图像和/或标记后的光谱图像，并能快读准确的找到对应的标记对象。

在一种可能的实现方式中，如图2所示，该装置还包括图像拍摄模块800，实时拍摄用于拼接融合形成光谱图像所需的多个图像。

通过该装置，在控制模块的作用下，能够通过读取模块实时的读取所拍摄的光谱图像，以及结合关键点提取模块、位姿计算模块、拼接模块，对多个图像中的关键点提取、位姿计算、以及多个图像的拼接融合实现并行处理，提高了对数据量巨大的光谱图像实时处理的效率。

图3示出根据本公开一实施例的光谱图像处理方法的流程图，如图3所示，该方法应用于上述光谱图像处理装置，所述方法可以包括以下步骤S10至步骤S14。

步骤S10：按照确定的读取速度读取多个图像并将所述多个图像存储至图像数据库中，其中，所述多个图像用于拼接融合形成光谱图像。

步骤S11：根据所述读取速度确定需要进行关键点提取处理的第一速度以及根据所述第一速度生成第一控制指令，根据所述读取速度确定需要进行位姿计算处理的第二速度以及根据所述第二速度生成第二控制指令，根据所述读取速度确定需要进行拼接融合的第三速度以及根据所述第三速度生成第三控制指令。

步骤S12：根据所述第一控制指令从所述图像数据库中读取图像，并对所述图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库。

步骤S13：根据所述第二控制指令所述图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果。

步骤S14：根据所述第三控制指令从所述图像数据库中读取图像，并根据获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

在上述各控制指令的作用下，步骤S10-S14可以独立、并行地对获取的图像进行不同的处理操作，这样就能将对运算量巨大的形成光谱图像的不同阶段的处理过程并行处理，缩短了不同阶段的处理过程之间的等待处理时间，大大提高了光谱图像的处理效率，实现了光谱图像的采集、合成的“实时处理”。

执行上述步骤S10至步骤S14的具体实施例可参见上述装置部分中对应的示例描述。

在一种可能的实现方式中，所述方法还包括：

读取与每个图像对应的位姿计算结果。

在该实现方式中，可以直接从成像设备中读取多个图像以及与各图像对应的位姿计算结果。

在一种可能的实现方式中，所述方法还包括：

对所述位姿计算结果进行回环检测，并根据检测结果对所述位姿计算结果进行修正，得到修正后的位姿计算结果。

在该实现方式中，在所述方法的步骤S14中，所述根据获取到的图像的位姿计算结果进行已读取到图像的拼接融合，包括：

根据获取到的图像的修正后的位姿计算结果进行已读取到图像的拼接融合。

在一种可能的实现方式中，所述方法还包括；

获取多个处理模块，其中，多个处理模块所能执行的操作包括图像读取、关键点提取处理、位姿计算处理、拼接融合处理；

在从存储设备中读取预先拍摄并存储的所述多个图像时，根据每个处理模块执行每种操作的速度确定所述读取速度；或者

在获取实时拍摄到的所述多个图像时，根据实时拍摄的速度确定所述读取速度。

在一种可能的实现方式中，所述方法还包括；

根据所述读取速度和每个处理模块进行图像读取的速度，将所述多个处理模块中的至少一个确定为用于执行图像读取的读取模块；

根据所述第一速度和每个处理模块进行关键点提取处理的速度，将所述多个处理模块中的至少一个确定为用于执行关键点提取处理的关键点提取模块；

根据所述第二速度和每个处理模块进行位姿计算处理的速度，将所述多个处理模块中的至少一个确定为执行位姿计算处理的位姿计算模块；

根据所述第三速度和每个处理模块进行拼接融合处理的速度，将所述多个处理模块中的至少一个确定为用于执行拼接融合的拼接模块。

在一种可能的实现方式中，所述方法还包括；

识别所述光谱图像中的对象，并根据所述对象对所述光谱图像进行标记；

将标记后的光谱图像存储至所述图像数据库。

在一种可能的实现方式中，所述方法还包括；

显示所述光谱图像和/或标记后的光谱图像。

在一种可能的实现方式中，所述方法还包括；

实时拍摄用于拼接融合形成光谱图像所需的多个图像。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种光谱图像处理装置，其特征在于，所述装置包括：读取模块、关键点提取模块、位姿计算模块、拼接模块、控制模块，

所述读取模块，用于按照确定的读取速度读取用于拼接融合形成光谱图像所需的多个图像，并将所述多个图像存储至图像数据库；

所述控制模块，用于根据所述读取速度确定需要进行关键点提取处理的第一速度以及根据所述第一速度生成第一控制指令，根据所述读取速度确定需要进行位姿计算处理的第二速度以及根据所述第二速度生成第二控制指令，根据所述读取速度确定需要进行拼接融合的第三速度以及根据所述第三速度生成第三控制指令；

所述关键点提取模块，用于根据接收到的所述第一控制指令从所述图像数据库中读取图像，并对所读取的图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库；

所述位姿计算模块，用于根据接收到的所述第二控制指令从所述图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果，并将得到的每个图像的位姿计算结果发送至所述拼接模块或图像数据库；

所述拼接模块，用于根据接收到的所述第三控制指令从所述图像数据库中读取图像，并根据来自所述位姿计算模块或从所述图像数据库获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

2.根据权利要求1所述的装置，其特征在于，

所述读取模块，还用于读取与每个图像对应的位姿计算结果，并将所述位姿计算结果存储至所述图像数据库。

3.根据权利要求1或2所述的装置，其特征在于，所述位姿计算模块，包括：

回环检测子模块，用于对所述位姿计算结果进行回环检测，并根据检测结果对所述位姿计算结果进行修正，并将修正后的位姿计算结果返回所述位姿计算模块、直接发送至所述拼接模块或存储至所述图像数据库。

4.根据权利要求1所述的装置，其特征在于，所述装置还包括多个处理模块，每个处理模块所能执行的操作包括图像读取、关键点提取处理、位姿计算处理、拼接融合处理，

所述控制模块，还用于在所述读取模块从存储设备中读取预先拍摄并存储的所述多个图像时，根据每个处理模块执行每种操作的速度确定所述读取速度；或者

在所述读取模块获取实时拍摄到的所述多个图像时，根据实时拍摄的速度确定所述读取速度。

5.根据权利要求4所述的装置，其特征在于，

所述控制模块，还用于根据所述读取速度和每个处理模块进行图像读取的速度，将所述多个处理模块中的至少一个确定为所述读取模块；

根据所述第一速度和每个处理模块进行关键点提取处理的速度，将所述多个处理模块中的至少一个确定为所述关键点提取模块；

根据所述第二速度和每个处理模块进行位姿计算处理的速度，将所述多个处理模块中的至少一个确定为所述位姿计算模块；

根据所述第三速度和每个处理模块进行拼接融合处理的速度，将所述多个处理模块中的至少一个确定为所述拼接模块。

6.根据权利要求1所述的装置，其特征在于，所述装置还包括：

识别模块，用于识别出所述光谱图像中的对象，并根据所述对象对所述光谱图像进行标记。

7.根据权利要求6所述的装置，其特征在于，所述识别模块还用于将标记后的光谱图像存储至所述图像数据库。

8.根据权利要求1或6所述的装置，其特征在于，所述装置还包括：

显示模块，用于显示所述光谱图像和/或标记后的光谱图像。

9.根据权利要求1所述的装置，其特征在于，所述装置还包括：

图像拍摄模块，用于实时拍摄用于拼接融合形成光谱图像所需的多个图像。

10.一种光谱图像处理方法，其特征在于，所述方法包括：

按照确定的读取速度读取多个图像并将所述多个图像存储至图像数据库中，其中，所述多个图像用于拼接融合形成光谱图像；

根据所述读取速度确定需要进行关键点提取处理的第一速度以及根据所述第一速度生成第一控制指令，根据所述读取速度确定需要进行位姿计算处理的第二速度以及根据所述第二速度生成第二控制指令，根据所述读取速度确定需要进行拼接融合的第三速度以及根据所述第三速度生成第三控制指令；

根据所述第一控制指令从所述图像数据库中读取图像，并对所述图像进行关键点提取，并将得到的每个图像的关键点信息存储至所述图像数据库；

根据所述第二控制指令所述图像数据库中读取图像的关键点信息，以及根据所读取的图像的关键点信息进行位姿计算得到对应的位姿计算结果；

根据所述第三控制指令从所述图像数据库中读取图像，并根据获取到的图像的位姿计算结果进行已读取到图像的拼接融合，得到光谱图像。

Images