CN110332991B - 一种光谱的重构方法、装置和电子设备 - Google Patents

Abstract

本申请实施例公开了一种光谱的重构方法、装置和电子设备，所述方法包括：通过图像传感器获取成像区域中任一基本阵列单元的光谱，任一基本阵列单元由N个像素组成，N为正整数；获取指定的拍摄参数的值；将所述任一基本阵列单元的光谱和所述指定的拍摄参数的值输入神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量；将所述任一基本阵列单元的光谱叠加上与其对应的所述光谱的补偿量，得到所述任一基本阵列单元的重构光谱。本申请实施例采用数字方式进行光谱重构，有利于降低成本，不仅可以用在传统的图像传感器获取的RGB光谱的重构，而且也适合用于高光谱图像传感器获取的精细光谱的重构，有利于提高图像的空间准确性。

Description

一种光谱的重构方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种光谱的重构方法、装置和电子设备。

背景技术

由于透镜的色散效应，透镜对不同波长的光的折射率不相同。当景物经透镜成像时，不同波长的光具有不同的焦平面，景物上任一点上的的复合光经透镜后会透射到分散的空间点上。带有物体特征的精细光谱其空间分布会发生偏移，这会使图像传感器对景物的位置和尺寸产生误判，生成的图像会出现失真。

目前通常采用优化透镜组的方式来减少色散产生的图像失真，具体地，包括：增加镜片数量以及采用不同材质的镜片以抵消色散等。使用优化透镜组的方式时，需要进行复杂的光学设计，并且还需要对镜片进行精密加工，不仅成本高而且体积大，通过增加镜片优化镜头组的方法难以满足实际需求，因此这种方法不适合应用在智能手机等对集成度有较高要求的电子设备中。

需要说明的是，现有技术还提供了一种数据补偿方法，用于抵消镜头引起的色散。该方法通常用于拜耳bayer排列的红绿蓝(red green blue，简称RGB)图像传感器，具体实施时，先对棋盘形状的测试卡进行拍摄，然后比对棋盘边缘红边和蓝边相对绿边的空间偏移量，根据得到的空间偏移量计算各通道的校正量。当图像传感器为测量精密光谱的高光谱图像传感器时，现有的数据补偿方法存在很大的局限性，为了获得多个单色通道的对比数据，需要数量庞大的优质滤光片以面对高光谱中通道多且通道窄的实际情况；此外，还需要对多个波段进行计算并考虑纵向色散及横向色散的影响，模型复杂，计算量庞大。

发明内容

本申请实施例提供了一种光谱的重构方法、装置和电子设备，用于抵消由于镜头散射引起的光谱空间偏移。

第一方面，本申请实施例提供了一种光谱的重构方法，其包括：通过图像传感器获取成像区域中任一基本阵列单元的光谱，所述任一基本阵列单元由N个像素组成，所述N为正整数；获取指定的拍摄参数的值；将所述任一基本阵列单元的光谱和所述指定的拍摄参数的值输入神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量；将所述任一基本阵列单元的光谱叠加上与其对应的光谱的补偿量，得到所述任一基本阵列单元的重构光谱。

在一些可能的实施例中，在所述通过图像传感器获取成像区域中任一基本阵列单元的光谱之前，所述方法还包括：通过改变所述标定光源的光谱，利用预设的光路对所述神经网络进行训练；所述预设的光路包括：标定光源、透镜和图像传感器；所述标定光源为光谱特性一致的面光源，标定光源的中心、所述透镜的光轴和所述图像传感器的中点处于同一直线上，且所述标定光源、所述透镜和所述图像传感器的主平面平行。

在一些可能的实施例中，所述通过改变所述标定光源的光谱，利用预设的光路对所述神经网络进行训练包括如下步骤：步骤1、利用所述图像传感器和所述透镜对所述标定光源成像；步骤2、计算所述图像传感器的中心点所属的基本阵列单元的光谱与所述图像传感器的其他基本阵列单元的的光谱的差值；步骤3、根据所述图像传感器中每个基本阵列单元的在所述图像传感器中的位置及其与所述中心点所属的基本阵列单元的光谱的差值构建补偿矩阵；步骤4、改变所述标定光源的光谱，重复步骤1至步骤3，分别获得与通过改变所述标定光源的光谱得到的任一所述标定光源的光谱对应的补偿矩阵；步骤5、分别将通过改变所述标定光源的光谱得到的任一所述标定光源的光谱以及执行步骤1至步骤3时所述指定的拍摄参数的值作为输入，以与所述通过改变所述标定光源的光谱得到的任一所述标定光源的光谱对应的补偿矩阵作为输出，对所述神经网络进行有监督训练。

在一些可能的实施例中，所述指定的拍摄参数包括：焦距和/或光圈大小等，所述图像传感器为高光谱图像传感器。

采用本申请实施例提供的技术方案，采用数字方式进行光谱重构，相对于消色散镜头降低了成本，而且本申请提供的色散方法不仅可以用在传统的图像传感器获取的RGB光谱的重构，而且也适合用于高光谱图像传感器获取的精细光谱的重构，有利于提高图像的空间准确性。

第二方面，本申请实施例提供了一种光谱的重构装置，包括：第一获取单元，用于通过图像传感器获取成像区域中任一基本阵列单元的光谱，所述任一基本阵列单元由N个像素组成，所述N为正整数；第二获取单元，用于获取指定的拍摄参数的值；第一处理单元，用于将所述任一基本阵列单元的光谱和所述指定的拍摄参数的值输入神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量；叠加单元，用于将所述任一基本阵列单元的光谱叠加上与其对应的光谱的补偿量，得到所述任一基本阵列单元的重构光谱。

第三方面，本申请实施例提供了一种电子设备，包括图像传感器、处理器和存储器，所述图像传感器，用于对被测对象进行成像；所述存储器，用于存储可在所述处理器上运行的计算机程序；所述处理器，用于执行如第一方面或者第一方面任一可能的实施例中所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如第一方面或者第一方面任一可能的实施例中所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行如第一方面或者第一方面任一可能的实施例中所述的方法的部分或全部步骤。

采用本申请实施例提供的技术方案，采用数字方式进行光谱重构，相对于消色散镜头降低了成本，而且本申请提供的色散方法不仅可以用在传统的图像传感器获取的RGB光谱的重构，而且也适合用于高光谱图像传感器获取的精细光谱的重构，有利于提高图像的空间准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请一实施例提供的一种光谱的重构方法的流程示意图。

图1B为本申请一实施例提供的预设的光路示意图。

图1C为本申请一实施例通过图像传感器获取的图1B中基本阵列单元D的光谱。

图1D为本申请一实施例中神经网络输出的基本阵列单元D对应的光谱的补偿量示意图

图1E为本申请一实施例对基本阵列单元D的重构光谱。

图2A为本申请一实施例提供的一种光谱的重构方法的流程示意图。

图2B为本申请一实施例提供的预设的光路示意图。

图2C为本申请一实施例通过图像传感器获取的图1B中基本阵列单元D的光谱。

图2D为本申请一实施例中神经网络输出的基本阵列单元D对应的光谱的补偿量示意图

图2E为本申请一实施例对基本阵列单元D的重构光谱。

图3为本申请实施例提供的一种光谱的重构装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

需要说明的是，下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本申请实施例提供的光谱的重构方法，包括：通过图像传感器获取成像区域中任一基本阵列单元的光谱，任一基本阵列单元由N个像素组成，N为正整数；获取指定的拍摄参数的值；将任一基本阵列单元的光谱和所述指定的拍摄参数的值输入神经网络，得到神经网络输出的任一基本阵列单元对应的光谱的补偿量；将任一基本阵列单元的光谱叠加上与其对应的光谱的补偿量，得到任一基本阵列单元的重构光谱。

请参阅图1A和图1B，图1A为本申请实施例提供的光谱的重构方法的流程示意图。该实施例中图像传感器为拜耳阵列传感器，透镜为相机镜头。在进行光谱重构时，对于任一基本阵列单元D对应的光谱进行重构时，包括以下步骤。

步骤101、通过图像传感器获取成像区域中基本阵列单元D的光谱。

在该实施例中，拜耳阵列传感器中相邻的2×2共4个像素组成一个基本阵列单元，拜耳阵列传感器包括多个阵列排布的基本阵列单元。图1C为该实施例的基本阵列单元D对应的光谱示意图。

步骤102、获取指定的拍摄参数的值。

在本申请可能的实施方式中，指定的拍摄参数可以是透镜的焦距、也可以是拍照时光圈的大小、还可既包括焦距又包括光圈的大小等。

步骤103、将基本阵列单元D的光谱和指定的拍摄参数的值输入神经网络，得到神经网络输出的基本阵列单元D对应的光谱的补偿量。

图1D为该实施例中神经网络输出的基本阵列单元D对应的光谱的补偿量示意图。

需要说明的是，本申请可能的实施例中，任一基本阵列单元的光谱的补偿量可以由神经网络根据输入的指定的拍摄参数的值以及与所述任一基本阵列单元的光谱匹配的补偿矩阵得到。

通过改变标定光源的光谱，可以利用预设的光路对神经网络进行训练。预设的光路如图1B所示，包括：标定光源110、透镜111和图像传感器112；其中，标定光源110为光谱特性一致的面光源，标定光源110的中心、透镜111的光轴oo'和图像传感器112的中点处于同一直线上，且标定光源110、透镜111和图像传感器112的主平面平行。标定光源110发出的光透过透镜111照射到图像传感器112上可以得到图像传感器112上各基本阵列单元的光补偿量。调节标定光源110的光谱，产生多个不同的光谱。通过改变标定光源的光谱，利用预设的光路对神经网络进行训练的过程可以包括如下步骤：步骤1、利用图像传感器112和透镜111对标定光源110成像；步骤2、计算图像传感器112的中心点所属的基本阵列单元的光谱与图像传感器112的其他基本阵列单元的的光谱的差值；步骤3、根据图像传感器112中每个基本阵列单元在图像传感器112中的位置及其与中心点所属的基本阵列单元的光谱的差值构建补偿矩阵；步骤4、改变标定光源110的光谱，重复步骤1至步骤3，分别获得与通过改变标定光源110的光谱得到的任一标定光源的光谱对应的补偿矩阵；步骤5、分别将通过改变标定光源110的光谱得到的任一所述标定光源的光谱以及执行步骤1至步骤3时所述指定的拍摄参数的值作为输入，以与所述通过改变所述标定光源110的光谱得到的任一所述标定光源110的光谱对应的补偿矩阵作为输出，对神经网络进行有监督训练。

可以理解的，标定光源110的光照射到图像传感器112上时，预设的光路的光轴附近区域图像的像差最小，可以将图像传感器112中心点所处于的基本阵列的光谱信息认为与标定光源110的光谱信息一致。标定光源可以由不同波长的发光二极管光源进行混光，标定光源的的光谱特性可以通过改变各发光二极管的驱动电流、出射比例等参数进行调整，通过改变光源的光谱，以丰富神经网络的训练集样品数目，增加鲁棒性。

在该实施例中，训练后的神经网络，得到在指定的拍摄参数的值时，波长为λ的光对所有基本阵列单元的补偿矩阵S(0)。

图像传感器横向和纵向包括的基本单元阵列数量分别为(2m+1)个和(2n+1)个。Δsi,j(k)(λ)表示第k次拍摄中，第i行第j列的基本阵列单元对于波长λ的光谱的补偿量。改变标定光源各子光源的参数获得不同光谱特性并按照上述方式获得多个色散补偿矩阵S(n)。以标定光谱s(n)0,0(λ)、拍摄参数(焦距、光圈等)作为神经网络的输入，色散补偿矩阵S(n)所有元素作为输出对神经网络进行有监督训练。完成训练后，生成对该透镜适用的神经网络。

步骤104、将基本阵列单元D的光谱叠加上与其对应的光谱的补偿量，得到所述基本阵列单元D的重构光谱。

在该实施例中，将图1D所示的光谱的补偿量叠加到图1C所示的光谱上得到图1E所示的基本阵列单元D的重构光谱。

采用本申请实施例提供的技术方案，采用数字方式进行光谱重构，相对于消色散镜头降低了成本，而且本申请提供的消除色散方法不仅可以用在传统的图像传感器获取的RGB光谱的重构，而且也适合用于高光谱图像传感器获取的精细光谱的重构，有利于提高图像的空间准确性。

为了得到更清晰的图像，基本阵列单元可以包括更少的像素，在另一实施例中一个基本阵列单元可以只包括一个像素。请参见图2A和图2B，在进行光谱重构时，对任一像素P的光谱进行重构时，包括以下步骤。

步骤201、通过图像传感器获取成像区域中任一像素P的光谱。

在该实施例中，图2B为该实施例的像素P对应的光谱示意图。

步骤202、获取指定的拍摄参数的值。

在本申请可能的实施方式中，指定的拍摄参数可以是透镜的焦距、也可以是拍照时光圈的大小、还可既包括焦距又包括光圈的大小等。

步骤203、将像素P的光谱和指定的拍摄参数的值输入神经网络，得到神经网络输出的像素P对应的光谱的补偿量。

图2D为该实施例中神经网络输出的像素P对应的光谱的补偿量示意图。

需要说明的是，本申请可能的实施例中，任一像素的光谱的补偿量可以由神经网络根据所述指定的拍摄参数的值以及与所述任一像素的光谱中的各波长的光匹配的补偿矩阵得到。

通过改变标定光源的光谱，可以利用预设的光路对神经网络进行训练。预设的光路如图2B所示，包括：标定光源210、透镜211和图像传感器212；其中，标定光源210为光谱特性一致的面光源，标定光源210的中心、透镜211的光轴oo'和图像传感器212的中点处于同一直线上，且标定光源210、透镜211和图像传感器212的主平面平行。

在该实施例中，训练后的神经网络，得到在指定的拍摄参数的值时，波长为λ的光对所有基本阵列单元的补偿矩阵S'(0)。

图像传感器横向和纵向包括的像素分别为(2m+1)个和(2n+1)个。ΔS'i,j(k)(λ)表示第k次拍摄中，第i行第j列的像素对于波长λ的光谱的补偿量。改变标定光源各子光源的参数获得不同光谱特性并按照上述方式获得多个色散补偿矩阵S'(n)。以标定光谱s'(n)0,0(λ)、拍摄参数(焦距、光圈等)作为神经网络的输入，色散补偿矩阵S'(n)所有元素作为输出对神经网络进行有监督训练。完成训练后，生成对该透镜适用的神经网络。

在一些可能的实施方式中，处理可以使用标定光源生成学习样本外，还可以利用常规拍摄的具有严重色散的图像和已知利用传统数字补偿技术校正后的图片作为训练集对神经网络进行训练。

步骤204、将像素P的光谱叠加上与其对应的光谱的补偿量，得到像素P的重构光谱。

在该实施例中，将图2D所示的光谱的补偿量叠加到图2C所示的光谱上得到图2E所示的像素P的重构光谱。

该实施例可以应用于遥感领域的高光谱图像解混，在遥感领域，图像传感器可以获取高光谱图像。包含物体特征的各种光谱信息会混杂于同一个像素中，通过对每个像素的光谱进行重构可以复原景物特征光谱的正确空间位置，减少混合像素的数量，有利于降低后期应用中对景物辨认和分类的难度。

采用本申请实施例提供的技术方案，采用数字方式进行光谱重构，相对于消色散镜头降低了成本，而且本申请提供的色散方法不仅可以用在传统的图像传感器获取的RGB光谱的重构，而且也适合用于高光谱图像传感器获取的精细光谱的重构，有利于提高图像的空间准确性。

本申请实施例还提供了一种光谱的重构装置，如图3所示，光谱重构装置300包括：第一获取单元301、第二获取单元302、第一处理单元303和叠加单元304。

第一获取单元301，用于通过图像传感器获取成像区域中任一基本阵列单元的光谱，所述任一基本阵列单元由N个像素组成，所述N为正整数。

在该实施例中，图像传感器可以是拜耳阵列传感器，拜耳阵列传感器相邻的2×2共4个像素组成一个基本阵列单元，拜耳阵列传感器包括多个阵列排布的基本阵列单元。图1C为该实施例的基本阵列单元D对应的光谱示意图。

第二获取单元302，用于获取指定的拍摄参数的值。

在本申请可能的实施方式中，指定的拍摄参数可以是透镜的焦距、也可以是拍照时光圈的大小、还可既包括焦距又包括光圈的大小等。

第一处理单元303，用于将任一基本阵列单元的光谱和所述指定的拍摄参数的值输入神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量。

图1D为该实施例中神经网络输出的基本阵列单元D对应的光谱的补偿量示意图。

需要说明的是，本申请可能的实施例中，任一基本阵列单元的光谱的补偿量可以由神经网络根据所述指定的拍摄参数的值以及与所述任一基本阵列单元的光谱信息得到。

该实施例可以应用于遥感领域的高光谱图像解混，在遥感领域，图像传感器可以获取高光谱图像。包含物体特征的各种光谱信息会混杂于同一个像素中，通过对每个像素的光谱进行重构可以复原景物特征光谱的正确空间位置，减少混合像素的数量，有利于降低后期应用中对景物辨认和分类的难度。

本申请实施例还提供了一种电子设备，包括图像传感器、处理器和存储器，其中，图像传感器，用于对被测对象进行成像；存储器，用于存储可在所述处理器上运行的计算机程序；处理器，用于执行前面任一实施例所述的光谱的重构方法。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行前面任一实施例所述的光谱的重构方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种光谱的重构方法，其特征在于，包括：

通过图像传感器获取成像区域中任一基本阵列单元的光谱，所述任一基本阵列单元由N个像素组成，所述N为正整数；

获取指定的拍摄参数的值；

将所述任一基本阵列单元的光谱和所述指定的拍摄参数的值输入预先训练好的神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量；将所述任一基本阵列单元的光谱叠加上与其对应的所述光谱的补偿量，得到所述任一基本阵列单元的重构光谱。

2.根据权利要求1所述的方法，其特征在于，在所述通过图像传感器获取成像区域中任一基本阵列单元的光谱之前，所述方法还包括：

通过改变标定光源的光谱，利用预设的光路对所述神经网络进行训练；所述预设的光路包括：所述标定光源、透镜和图像传感器；所述标定光源为光谱特性一致的面光源，标定光源的中心、所述透镜的光轴和所述图像传感器的中点处于同一直线上，且所述标定光源、所述透镜和所述图像传感器的主平面平行。

3.根据权利要求2所述的方法，其特征在于，所述通过改变所述标定光源的光谱，利用预设的光路对所述神经网络进行训练包括如下步骤：

步骤1、利用所述图像传感器和所述透镜对所述标定光源成像；

步骤2、计算所述图像传感器的中心点所属的基本阵列单元的光谱与所述图像传感器的其他基本阵列单元的光谱的差值；

步骤3、根据所述图像传感器中每个基本阵列单元的在所述图像传感器中的位置及其与所述中心点所属的基本阵列单元的光谱的差值构建补偿矩阵；

步骤4、改变所述标定光源的光谱，重复步骤1至步骤3，分别获得与通过改变所述标定光源的光谱得到的任一所述标定光源的光谱对应的补偿矩阵；

步骤5、分别将通过改变所述标定光源的光谱得到的任一所述标定光源的光谱以及执行步骤1至步骤3时所述指定的拍摄参数的值作为输入，以与所述通过改变所述标定光源的光谱得到的任一所述标定光源的光谱对应的补偿矩阵作为输出，对所述神经网络进行有监督训练。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述指定的拍摄参数包括：焦距和/或光圈大小。

5.一种光谱的重构装置，其特征在于，包括：

第一获取单元，用于通过图像传感器获取成像区域中任一基本阵列单元的光谱，所述任一基本阵列单元由N个像素组成，所述N为正整数；

第二获取单元，用于获取指定的拍摄参数的值；

第一处理单元，用于将所述任一基本阵列单元的光谱和所述指定的拍摄参数的值输入预先训练好的神经网络，得到所述神经网络输出的所述任一基本阵列单元对应的光谱的补偿量；叠加单元，用于将所述任一基本阵列单元的光谱叠加上与其对应的光谱的补偿量，得到所述任一基本阵列单元的重构光谱。

6.一种电子设备，其特征在于，包括图像传感器、处理器和存储器

所述图像传感器，用于对被测对象进行成像；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行如权利要求1至4中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于设备执行的程序代码，所述程序代码被执行时，所述设备执行如权利要求1至4中任一项所述的方法。

Images