CN108229515A - 高光谱图像的对象分类方法和装置、电子设备 - Google Patents

Abstract

本申请公开了高光谱图像的对象分类方法和装置、电子设备。所述方法的一具体实施方式包括：获取目标高光谱图像；分割目标高光谱图像，得到至少一个第一图像；通过深度神经网络对至少一个第一图像所包含的对象进行分类；根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。该实施方式不需要直接对高光谱图像进行分析，提高了高光谱图像的处理效率。

Description

高光谱图像的对象分类方法和装置、电子设备

技术领域

本申请涉及图像处理领域，具体涉及高光谱图像处理领域，尤其涉及一种高光谱图像的对象分类方法和装置、电子设备。

背景技术

遥感是以航空摄影技术为基础，在10世纪50年代初发展起来的一门新兴技术。经过几十年的迅速发展，成为一门实用的、先进的空间探测技术。在遥感探测技术得到的数据中，高光谱图像由于含有丰富信息，对目标有更强的表示能力，因此在众多应用中起着不可或缺的作用。

由于高光谱图像含有丰富的光谱信息，但是很多光谱信息之间往往存在很大相关性，造成数据冗余，造成对高光谱图像的处理效率低下。

发明内容

本申请提供一种高光谱图像的对象分类技术方案。

第一方面，本申请提供了一种高光谱图像的对象分类方法，方法包括：获取目标高光谱图像；分割目标高光谱图像，得到至少一个第一图像；通过深度神经网络对至少一个第一图像所包含的对象进行分类；根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，深度神经网络包括多个具有不同权重的神经元，神经元用于提取至少一个第一图像所包含的对象的特征，且不同神经元提取的特征至少部分不同。

在一些实施例中，通过深度神经网络对至少一个第一图像所包含的对象进行分类，包括：通过深度神经网络中的各神经元提取至少一个第一图像的特征；根据各神经元所提取的至少一个第一图像的特征，对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在一些实施例中，根据各神经元所提取的至少一个第一图像的特征，对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果，包括：对各神经元提取的至少一个第一图像的特征进行降权重处理；基于降权重处理后的特征对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在一些实施例中，通过深度神经网络对至少一个第一图像所包含的对象进行分类，包括：利用各神经元提取各第一图像所包含的对象的特征，生成与各第一图像一一对应的各第一特征图；对各第一特征图中的特征进行聚合统计，得到与各第一特征图一一对应的各第二特征图；根据各第二特征图，对各第一图像所包含的对象的进行分类。

在一些实施例中，根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别，包括：确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第一插值图像；根据各第一图像及各第一插值图像并基于条件随机场模型，确定各第一图像所包含的对象的类别；根据各第一图像在目标高光谱图像中的位置，对各第一图像进行拼接；根据拼接后的各第一图像所包含的对象的类别，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别，包括：确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第二插值图像；根据各第一图像在目标高光谱图像中的位置，对各第二插值图像进行拼接，得到第二图像；根据各第二图像与第二插值图像并基于条件随机场模型，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别，包括：确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；根据各第一图像在目标高光谱图像数据中的位置，对带有分类结果的各第一图像数据进行拼接，得到第三图像；根据带有分类结果的各第一图像及第三图像，确定第三图像所包含的对象的类别；将第三图像所包含的对象的类别确定为目标高光谱图像所包含的对象的类别。

在一些实施例中，根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别，还包括：对第三图像进行双线性插值，得到与目标高光谱图像分辨率相同的第三插值图像；根据目标高光谱图像与第三插值图像并基于条件随机场模型，对目标高光谱图像所包含的对象进行分类，得到带有分类结果的目标高光谱图像。

在一些实施例中，方法还包括采用以下步骤预先训练深度神经网络：获取预先标注出对象的高光谱图像；将高光谱图像进行分割，得到至少一个第四图像；利用至少一个第四图像训练深度神经网络。

在一些实施例中，利用至少一个第四图像训练深度神经网络，包括采用迭代训练步骤多次迭代训练深度神经网络，直至满足训练终止完成条件，迭代训练步骤包括：通过深度神经网络中的部分神经元提取至少一个第四图像的特征，部分神经元的数量少于深度神经网络中神经元的总数量；根据提取的特征对至少一个第四图像所包含的对象进行分类，得到分类结果；根据分类结果调整深度神经网络的网络参数。

在一些实施例中，在迭代训练深度神经网络过程中，不同次的迭代训练过程中所使用的神经元至少部分不同。

在一些实施例中，深度神经网络包括级联的多个特征提取单元、一神经元筛选单元和一分类单元。

在一些实施例中，神经元筛选单元用于在每次迭代训练过程中选取全部神经元中的部分神经元作为本次迭代训练所使用的神经元。

第二方面，本申请提供了一种高光谱图像的对象分类装置，获取单元，用于获取目标高光谱图像；分割单元，用于分割目标高光谱图像，得到至少一个第一图像；分类单元，用于通过深度神经网络对至少一个第一图像所包含的对象进行分类；确定单元，用于根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，深度神经网络包括多个具有不同权重的神经元，神经元用于提取至少一个第一图像所包含的对象的特征，且不同神经元提取的特征至少部分不同。

在一些实施例中，分类单元包括：第一特征提取模块，用于通过深度神经网络中的各神经元提取至少一个第一图像的特征；第一对象分类模块，用于根据各神经元提取至少一个第一图像的特征，对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在一些实施例中，第一对象分类模块进一步用于：对各神经元提取的至少一个第一图像的特征进行降权重处理；基于降权重处理后的特征对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在一些实施例中，第一对象分类模块进一步用于：对各神经元提取的至少一个第一图像的特征进行降权重处理；基于降权重处理后的特征对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在一些实施例中，确定单元包括：第一确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；第一插值模块，用于对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第一插值图像；第一分类模块，用于根据各第一图像及各第一插值图像并基于条件随机场模型，确定各第一图像所包含的对象的类别；第一拼接模块，用于根据各第一图像在目标高光谱图像数据中的位置，对各第一图像进行拼接；第二分类模块，用于根据拼接后的各第一图像所包含的对象的类别，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，确定单元包括：第二确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；第二插值模块，用于对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第二插值图像；第二拼接模块，用于根据各第一图像在目标高光谱图像中的位置，对各第二插值图像进行拼接，得到第二图像；第三分类模块，用于根据各第二图像与第二插值图像并基于条件随机场模型，确定目标高光谱图像所包含的对象的类别。

在一些实施例中，确定单元包括：第三确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像；第三拼接模块，用于根据各第一图像在目标高光谱图像数据中的位置，对带有分类结果的各第一图像数据进行拼接，得到第三图像；第四分类模块，用于根据带有分类结果的各第一图像及第三图像，确定第三图像所包含的对象的类别；第五分类模块，用于将第三图像所包含的对象的类别确定为目标高光谱图像所包含的对象的类别。

在一些实施例中，确定单元包括：第三插值模块，用于对第三图像进行双线性插值，得到与目标高光谱图像分辨率相同的第三插值图像；第六分类模块，用于根据目标高光谱图像与第三插值图像并基于条件随机场模型，对目标高光谱图像所包含的对象进行分类，得到带有分类结果的目标高光谱图像。

在一些实施例中，装置还包括训练单元，训练单元包括：获取模块，用于获取预先标注出对象的高光谱图像；分割模块，用于将高光谱图像进行分割，得到至少一个第四图像；训练模块，用于利用至少一个第四图像训练深度神经网络。

在一些实施例中，训练模块进一步用于：采用迭代训练步骤多次迭代训练深度神经网络，直至满足训练终止完成条件，迭代训练步骤包括：通过深度神经网络中的部分神经元提取至少一个第四图像的特征，部分神经元的数量少于深度神经网络中神经元的总数量；根据提取的特征对至少一个第四图像所包含的对象进行分类，得到分类结果；根据分类结果调整深度神经网络的网络参数。

在一些实施例中，在迭代训练深度神经网络过程中，不同次的迭代训练过程中所使用的神经元至少部分不同。

在一些实施例中，深度神经网络包括级联的多个特征提取单元、一神经元筛选单元和一分类单元。

在一些实施例中，神经元筛选单元用于在每次迭代训练过程中选取全部神经元中的部分神经元作为本次迭代训练所使用的神经元。

第三方面，本申请提供了一种电子设备，包括：存储器，存储可执行指令；一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：获取目标高光谱图像；分割目标高光谱图像，得到至少一个第一图像；通过深度神经网络对至少一个第一图像所包含的对象进行分类；根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

本申请提供的高光谱图像的对象分类方法和装置、电子设备，通过将目标高光谱图像进行分割，然后利用深度神经网络对分割得到的至少一个第一图像所包含的对象进行分类，在根据分割后得到的图像的分类结果确定目标高光谱图像所包含的对象的类别，从而使得在确定目标高光谱图像所包含的对象的类别时，不需要直接对高光谱图像进行分析，提高了高光谱图像的处理效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请的高光谱图像的对象分类方法的一个实施例的流程图；

图2是根据本申请的高光谱图像的对象分类方法中利用训练后的分类模型确定第二图像数据所包含的对象类别的一个实施例的流程图；

图3是根据本申请的高光谱图像的对象分类方法的确定目标高光谱图像所包含的对象的类别的流程示意图；

图4是根据本申请的高光谱图像的对象分类方法的训练深度神经网络的流程示意图；

图5是根据本申请的根据本申请的高光谱图像的对象分类方法的深度神经网络的结构示意图；

图6是根据本申请的高光谱图像的对象分类装置的一个实施例的结构示意图；

图7是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参考图1，其示出了根据本申请的高光谱图像的对象分类方法的一个实施例的流程100。本实施例的高光谱图像的对象分类方法，包括以下步骤：

步骤101，获取目标高光谱图像。

在本实施例中，高光谱图像的对象分类方法运行于其上的电子设备可以通过各种方式获取目标高光谱图像，例如可以获取到本地存储的目标高光谱图像，还可以通过有线连接方式或者无线连接方式从与其连接的存储装置中获取上述目标高光谱图像。

高光谱图像是指光谱分辨率在纳米数量级范围内的光谱图像。高光谱图像与常见的二维图像不同之处在于，它在二维图像信息的基础上增加光谱维，进而形成三维的坐标空间。如果把高光谱图像的每个波段对应的图像数据都看成一个层面，那么高光谱图像可以理解为拥有多个层面、按波段顺序排列的数据立方体。高光谱图像的本质是多光谱图像，但其相较于普通的多光谱图像的波段或通道更多，因此其包含的信息比普通的多光谱图像的信息更多。

本实施例中，上述目标高光谱图像可以包含很多对象，例如房屋、道路、车辆等对象。

需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(WIreless-Fidelity，无线保真)连接、蓝牙连接、WiMAX(Worldwide Interoperability forMicrowave Access，全球微波互联接入)连接、Zigbee(紫蜂协议)连接、UWB(ultrawideband，超宽带)连接、以及其他现在已知或将来开发的无线连接方式。

步骤102，分割目标高光谱图像，得到至少一个第一图像。

由于高光谱图像包含的信息量较多，在分析上述目标高光谱图像时可以首先对其分割，得到信息量较少的多个第一图像。可以理解的是，分割得到的上述第一图像中应包括至少一种目标高光谱图像所包含的对象。且在对目标高光谱图像进行分割时，可以将上述目标高光谱图像分割成多个等大的第一图像，也可以将上述目标高光谱图像分割成多个固定尺寸的第一图像。

步骤103，通过深度神经网络对至少一个第一图像所包含的对象进行分类。

本实施例中，可以利用深度神经网络对步骤102中得到的至少一个第一图像所包含的对象进行分类。深度神经网络(Deep Neural Network，DNN)是指包括多个隐含层的神经网络，其优势在于可以通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化。深度神经网络可以包括最大池化卷积神经网络(MPCNN)、深度卷积神经网络(DCNN)等，且已经在人脸检测、语音识别、视频分析、图像识别等多个任务取得了成功，尤其在图像分类上具有独特的优越性。

步骤104，根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

在确定了上述至少一个第一图像所包含的对象的分类结果后，可以根据上述分类结果确定目标高光谱图像所包含的对象的类别。例如，可以将上述至少一个第一图像中所包含的对象的类别最多的分类结果作为目标高光谱图像所包含的对象的分类结果，还可以在上述至少一个第一图像所包含的对象的基础上进行适当的扩展，将扩展后的结果作为目标高光谱图像所包含的对象的类别。

如背景技术中提到的，由于高光谱图像含有丰富的光谱信息，但是光谱信息间往往存在很大的相关性，造成数据冗余。传统的对高光谱图像的分析方法，通常需要花费大量的人力利用有限经验对高光谱图像进行数据的降维或转换，甚至人工标定。

与之相比，本申请的上述实施例提供的高光谱图像的对象分类方法，通过将目标高光谱图像进行分割，然后利用深度神经网络对分割得到的至少一个第一图像所包含的对象进行分类，在根据分割后得到的图像的分类结果确定目标高光谱图像所包含的对象的类别，从而使得在确定目标高光谱图像所包含的对象的类别时，可以直接利用深度神经网络对高光谱图像进行全自动的海量特征提取，既充分利用了高光谱图像的全部光谱信息，又避免了降维等操作造成的数据利用率低，也不需要直接对高光谱图像进行分析，提高了高光谱图像的处理效率。

在利用深度神经网络对上述至少一个第一图像所包含的对象进行分类时，具体可以采用图2中所示的步骤，图2示出了根据本申请的高光谱图像的对象分类方法中利用深度神经网络对第一图像进行分类的流程示意图200，其包括以下步骤：

步骤201，通过深度神经网络中的各神经元提取至少一个第一图像的特征。

本实施例中，上述深度神经网络可以包括多个具有不同权重的神经元，每个神经元由于提取上述至少一个第一图像所包含的对象的特征。可以理解的是，不同的神经元所提取的特征不完全相同。

深度神经网络中的每个神经元都具有权重，权重是对输入深度神经网络的图像的重要性的一个指标，每个神经元会根据输入的图像以及其对应的权重，计算权重合计值，并结合临界值确定自身的输出。各神经元的权重均可以调整。

步骤202，对各神经元提取的至少一个第一图像的特征进行降权重处理。

在利用深度神经网络中的各神经元提取了第一图像的特征后，可以对各神经元提取的特征进行降权重处理。在降权重处理时，可以依据对深度神经网络的训练过程中所采用的神经元的数量或比例来确定，当预先设定了训练深度神经网络时所采用的神经元的数量时，可以根据所采用的神经元的数量与所有神经元的数量的比值来确定各神经元提取的特征的权重。

步骤203，基于降权重处理后的特征对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

然后基于降权重处理后的特征对上述至少一个第一图像所包含的对象进行分类，得到分类结果。

在本实施例的一些可选的实现方式中，在利用深度神经网络对上述至少一个第一图像所包含的对象进行分类时，可以进一步通过以下步骤来实现：通过深度神经网络中的各神经元提取上述至少一个第一图像的特征；根据各神经元所提取的至少一个第一图像的特征，对上述至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在利用深度神经网络对第一图像中所包含的特征进行提取时，可以利用各神经元可以提取第一图像中的特征，然后基于各神经元所提取的特征，对上述至少一个第一图像所包含的对象进行分类，得到上述至少一个第一图像所包含的对象的分类结果。

示例性地，例如第一图像所包含的对象中包括房子、车辆和道路，各神经元在分别提取了房子、车辆和道路的特征后，对上述特征进行分类，确定了上述至少一个第一图像所包含的对象的分类结果为房子、车辆和道路。

在本实施例的一些可选的实现方式中，在利用各神经元提取了各第一图像所包含的对象的特征后，生成与各第一图像一一对应的各第一特征图。然后对各第一特征图中每个第一特征图所包含的特征进行聚合统计，得到与各第一特征图一一对应的第二特征图。然后再根据各第二特征图，对各第一图像中所包含的对象进行分类。

本申请的上述实施例提供的利用深度神经网络对第一图像所包含的特征进行分类的方法，在利用神经元提取了各第一图像的特征后，对各第一图像的特征的权重进行调整，可以更精确地实现对各第一图像所包含的对象的分类。

继续参考图3，图3示出了根据本申请的高光谱图像的对象分类方法的确定目标高光谱图像所包含的对象的类别的流程示意图300。如图3所示，上述方法包括如下步骤：

步骤301，确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像。

在图2所示实施例的方法中，可以利用深度神经网络确定各第一图像所包含的对象的类别，实现了对各第一图像中所包含的对象进行分类，因此可以得到带有分类结果的各第一图像。

步骤302，对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第一插值图像。

由于在图2所示实施例的方法中，需要利用各神经元提取各第一图像的特征，并在提取特征后，进行聚合统计。在此过程中，会不断缩小各第一图像的尺寸，造成在图像中不同对象之间边界的分类清晰度不够，即得到的带有分类结果的各第一图像的分辨率会远小于对目标高光谱图像分割后得到的第一图像的分辨率。

本步骤中，对带有分类结果的各第一图像进行双线性插值，使得插值后得到的各第一插值图像的分辨率与对应的各第一图像的分辨率相同。

步骤303，根据各第一图像及各第一插值图像并基于条件随机场模型，确定各第一图像所包含的对象的类别。

条件随机场模型(Conditional Random Fields，CRF)是一种概率图模型，其是马尔科夫随机场(Markov Random Field，MRF)模型的变型，最初应用于自然语言处理，近年来已成功应用于图像处理和模式识别领域。

本实施例中，将各第一图像与插值后得到的第一插值图像输入条件随机场模型，条件随机场模型对第一插值图像的边界进行优化，使图像边界更加清晰，由于第一插值图像中已包含了对对象的分类，因此条件随机场模型的输出结果中，确定第一图像所包含的对象的类别更加准确。

步骤304，根据各第一图像在目标高光谱图像中的位置，对各第一图像进行拼接。

由于各第一图像是对目标高光谱图像分割得到的，在确定了第一图像中所包含的对象的类别后，可以按照原来各第一图像在目标高光谱图像中的位置，拼接各第一图像。

步骤305，根据拼接后的各第一图像所包含的对象的类别，确定目标高光谱图像所包含的对象的类别。

拼接后得到的图像与目标高光谱图像应相同，且由于各第一图像所包含的对象的类别已确定，因此可以根据拼接后的各第一图像确定目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，在步骤302对各带有分类结果的各第一图像进行插值得到各第一插值图像后，还可以先对各第一插值图像进行拼接，得到第二图像。可以理解的是，拼接得到的第二图像的分辨率与目标高光谱图像的分辨率相同。然后将上述第二图像与目标高光谱图像一起输入条件随机场模型中，由于第二图像中已包含了分类结果，因此可以确定目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，在步骤301确定了带有分类结果的各第一图像后，可以先按照各第一图像在目标高光谱图像中的位置，对带有分类结果的各第一图像进行拼接，得到第三图像。由于第一图像中已包含分类结果，则拼接得到的第三图像所包含的对象的类别也可以确定。可以理解的是，上述第三图像为提取特征并对特征进行聚合统计后的目标高光谱图像。因此，可以根据第三图像中所包含的对象的类别，确定目标高光谱图像中所包含的对象的类别。

在本实施例的一些可选的实现方式中，还可以对上述第三图像进行双线性插值，得到与目标高光谱图像分辨率相同的第三插值图像。然后将上述第三插值图像与目标高光谱图像一起输入条件随机场模型中，从而可以确定目标高光谱图像中所包含的对象的类别。

本申请的上述实施例提供的确定目标高光谱图像中所包含的对象的类别的方法，在利用神经元提取特征实现分类后，又利用条件随机场模型对上述分类结果进行进一步的优化，实现了对目标高光谱图像中所包含的对象的更精确的分类。

图4示出了根据本申请的高光谱图像的对象分类方法的训练深度神经网络的流程示意图400。如图4所示，本方法包括以下步骤：

步骤401，获取预先标注出对象的高光谱图像。

本实施例中，可以预先对高光谱图像中的对象进行分类，例如对高光谱图像中的房屋、道路、车辆等对象进行标注。上述分类可以由人工进行分类，也可以是利用其它算法实现的分类。高光谱图像的对象分类方法运行于其上的电子设备可以通过各种方式获取预先标注出对象的高光谱图像数据，例如可以获取到本地存储的标注出对象的高光谱图像数据，还可以通过有线连接方式或者无线连接方式从与其连接的存储装置中获取上述标注出对象的高光谱图像数据。

步骤402，将高光谱图像进行分割，得到至少一个第四图像。

在获取到上述标注出对象的高光谱图像后，可以对上述高光谱图像进行分割，得到至少一个第四图像。可以理解的是，上述第四图像中包括已标注出的对象。由于第四图像包含的信息量小于高光谱图像所包含的信息量，为了加快对深度神经网络的训练，可以利用上述第四图像训练深度神经网络。

在训练上述深度神经网络时，可以通过多次迭代执行步骤403～步骤405直至满足训练终止完成条件来完成对上述深度神经网络的训练，上述步骤403～步骤405构成迭代训练步骤。

步骤403，通过深度神经网络中的部分神经元提取至少一个第四图像的特征。

本实施例中，部分神经元的数量少于深度神经网络中神经元的总数量。在利用上述第四图像对深度神经网络进行训练时，只选取深度神经网络中的部分神经元来提取上述至少一个第四图像的特征。上述部分神经元可以是预设数量的神经元，也可以是预设比例的神经元。

步骤404，根据提取的特征对至少一个第四图像所包含的对象进行分类，得到分类结果。

在利用上述部分神经元提取了第四图像的特征后，可以对第四图像中包含的对象进行分类，得到第四图像的分类结果。

步骤405，根据分类结果调整深度神经网络的网络参数。

由于第四图像中已标注出对象，因此可以将已标注出的对象与第四图像的分类结果相比较，来调整深度神经网络的网络参数，以使得调整后的深度神经网络所得到的分类结果接近于已标注出的结果。上述网络参数可以是深度神经网络中与分类结果相关的各种参数，例如可以是训练所使用的神经元的数量、所使用的神经元的权重等。

多次重复执行步骤403～步骤405后，直至满足训练终止完成条件时，停止训练上述深度神经网络。上述训练终止完成条件可以是各种能够停止训练上述深度神经网络的条件，例如可以是深度神经网络所得到的分类结果与已标注出的结果相同，还可以是深度神经网络所得到的分类结果与已标注出的结果误差小于预设的阈值等，本实施例对此不做限定。

在本实施例的一些可选的实现方式中，不同次的迭代训练过程中所使用的神经元不完全相同。

本实现方式中，在选取上述神经元时，可以从深度神经网络的所有神经元中随机选取部分神经元，这样可以有效地降低不同次的迭代训练过程中所使用的神经元完全相同的几率。

本申请的上述实施例提供的训练深度神经网络的方法中，通过在训练过程中采用多次迭代训练来完善上述深度神经网络的分类结果；同时在每次迭代训练过程中选取部分神经元，这样就避免了采用过多的神经元、设置过多的网络参数造成的过拟合现象；同时，在每次迭代训练时所使用的神经元不完全相同，而在利用训练后的深度神经网络对目标高光谱图像的对象的分类过程中采用所有的神经元，则实际的分类过程相当于对不同的训练后的深度神经网络进行了融合，提高了训练后的深度神经网络的鲁棒性。

图5示出了图1～图4所示实施例的深度神经网络500的结构示意图。如图5所示，上述深度神经网络500可以包括输入层501，在对深度神经网络500训练时，输入层501用于输入预先标注的高光谱图像数据；在利用训练后的深度神经网络500分类时，输入层501用于输入目标高光谱图像。

上述深度神经网络模型500可以包括分割层502，分割层502用于对输入层501输入的预先标注的高光谱图像进行分割，得到第四图像，并利用第四图像训练上述深度神经网络，或分割输入层501输入的目标高光谱图像，得到第一图像。

在本实施例的一些可选的实现方式中，上述深度神经网络500还可以包括多个特征提取单元，上述特征提取单元可以包括多个卷积层、多个归一化层、多个线性修正单元以及一个或多个池化层。如图5所示，上述特征提取单元可以包括503所指示的部分以及504所指示的池化层1，也可以包括505所指示的部分以及506所指示的池化层2。

其中，卷积层1用于提取第一图像所包含的对象的特征，并将包含所提取的特征的图像输出。

卷积层2用于进一步提取卷积层1输出的特征图像所包含的对象的特征，并将包含经卷积层2提取的特征的图像输出。

池化层1用于对卷积层2提取的特征进行聚合统计，输出聚合统计后的图像，实现对对象的初步分类。

卷积层3、卷积层4以及池化层2的工作原理与卷积层1、卷积层2以及池化层1的工作原理相同。

可以理解的是，上述每个卷积层通过设置不同的卷积核实现对第一图像不同感受野的特征进行提取。并且在上述每个卷积层之后可以包括归一化处理层以及线性修正单元，上述归一化处理层用于对其之前的卷积层提取的特征进行归一化操作，使深度神经网络模型能够更快收敛。上述线性修正单元能够对特征进行类似非线性的映射。

上述池化层可以对卷积层或卷积层之后的线性修正单元输出的特征图进行最大化操作或者取平均操作，使得提取到的特征具有旋转平移不变特性，同时增强了数据的鲁棒性，同时也可以改变提取特征的感受野。

可以理解的是，上述深度神经网络中可以包括多个池化层，多个池化层分别位于多个卷积层之间。

图5所示的深度神经网络500示意性地示出了4个卷积层，分别为卷积层1、卷积层2、卷积层3和卷积层4。其中，每个卷积层后都有归一化层和线性修正单元。如图5所示，卷积层2用于对卷积层1之后的线性修正单元输出的特征图像进行特征提取。

图5所示的深度神经网络500还示意性地示出了2个池化层，其中池化层1 504在卷积层1及卷积层2所组成的卷积层集合503之后，池化层2 506设置在卷积层1及卷积层2所组成的卷积层集合505之后，用于对特征图像进行最大化操作或取平均操作。

在池化时，可以设置池化的步长stride为2或1，当步长stride为2时，其输出的图像大小缩减为原来的1/2。当深度神经网络中存在多个池化层时，一般将前一部分的池化层的步长stride设置为2，后一部分的池化层的步长stride设置为1，以避免图像缩得太小而丧失过多细节信息。

在本实施例的一些可选的实现方式中，上述深度神经网络500还可以包括与池化层连接的筛选层507以及与筛选层507连接的分类卷积层508。

其中，筛选层507用于在每次迭代训练深度神经网络的过程中选取不同的神经元。

分类卷积层508可以对筛选层507输出的特征图再次进行卷积操作，得到的特征图像中包含分类结果。

在本实施例的一些可选的实现方式中，上述深度神经网络500还可以包括与分类卷积层508连接的内插层509。上述内插层509用于对包含分类结果的图像进行双线性插值，得到与目标高光谱图像分辨率相同的插值图像，并将目标高光谱图像与上述插值图像输入条件随机场模型510，以对目标高光谱图像所包含的对象进行分类。

本申请的上述实施例提供的深度神经网络，通过在深度神经网络中设置筛选层来选取部分神经元，提高了深度神经网络的鲁棒性能；同时通过设置内插层对初步分类的图像进行双线性插值，再利用CRF对插值图像和原始图像进行分类，能够优化分类结果；上述对高光谱图像的对象分类过程中，只需要在分类模型的训练过程中多次训练，即可在对高光谱图像分类时得到理想结果，无需在进行其他的操作，具有简单、快速的特点。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种高光谱图像的对象分类装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

图6示出了根据本申请的高光谱图像的对象分类装置的一个实施例的结构示意图。本实施例的高光谱图像的对象分类装置600包括：获取单元601、分割单元602、分类单元603及确定单元604。

获取单元601，用于获取目标高光谱图像。

分割单元602，用于分割目标高光谱图像，得到至少一个第一图像。

分类单元603，用于通过深度神经网络对至少一个第一图像所包含的对象进行分类。

确定单元604，用于根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，上述深度神经网络包括多个具有不同权重的神经元，上述神经元用于提取至少一个第一图像所包含的对象的特征，且不同神经元提取的特征至少部分不同。

在本实施例的一些可选的实现方式中，分类单元603可以进一步包括图6中未示出的第一特征提取模块以及第一对象分类模块。

其中，第一特征提取模块，用于通过深度神经网络中的各神经元提取至少一个第一图像的特征；

第一对象分类模块，用于根据各神经元提取至少一个第一图像的特征，对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在本实施例的一些可选的实现方式中，上述第一对象分类模块可以进一步用于：对各神经元提取的至少一个第一图像的特征进行降权重处理；基于降权重处理后的特征对至少一个第一图像所包含的对象进行分类，得到对至少一个第一图像所包含的对象的分类结果。

在本实施例的一些可选的实现方式中，分类单元603可以进一步包括图6中未示出的第二特征提取模块、聚合统计模块以及第二对象分类模块。

其中，第二特征提取模块，用于利用各神经元提取各第一图像所包含的对象的特征，生成与各第一图像一一对应的各第一特征图。

聚合统计模块，用于对各第一特征图中的特征进行聚合统计，得到与各第一特征图一一对应的各第二特征图。

第二对象分类模块，用于根据各第二特征图，对各第一图像所包含的对象的进行分类。

在本实施例的一些可选的实现方式中，上述确定单元604可以进一步包括图6中未示出的第一确定模块、第一插值模块、第一分类模块、第一拼接模块以及第二分类模块。

第一确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像。

第一插值模块，用于对带有分类结果的各第一图像进行双线性插值，得到与各第一图像分辨率相同的各第一插值图像。

第一分类模块，用于根据各第一图像及各第一插值图像并基于条件随机场模型，确定各第一图像所包含的对象的类别。

第一拼接模块，用于根据各第一图像在目标高光谱图像数据中的位置，对各第一图像进行拼接。

第二分类模块，用于根据拼接后的各第一图像所包含的对象的类别，确定目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，上述确定单元604可以进一步包括图6中未示出的第二确定模块、第二插值模块、第二拼接模块以及第三分类模块。

其中，第二确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像。

第二插值模块，用于对带有分类结果的各第一图像数据进行双线性插值，得到与各第一图像分辨率相同的各第一插值图像。

第二拼接模块，用于根据各第一图像在目标高光谱图像数据中的位置，对各第一插值图像进行拼接，得到第二图像。

第三分类模块，用于根据各第二图像与插值图像并基于条件随机场模型，确定目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，上述确定单元604可以进一步包括图6中未示出的第三确定模块、第三拼接模块、第四分类模块以及第五分类模块。

其中，第三确定模块，用于确定各第一图像所包含的对象的类别，得到带有分类结果的各第一图像。

第三拼接模块，用于根据各第一图像在目标高光谱图像数据中的位置，对带有分类结果的各第一图像数据进行拼接，得到第三图像。

第四分类模块，用于根据带有分类结果的各第一图像及第三图像，确定第三图像所包含的对象的类别。

第五分类模块，用于将第三图像所包含的对象的类别确定为目标高光谱图像所包含的对象的类别。

在本实施例的一些可选的实现方式中，上述确定单元604可以进一步包括图6中未示出的第三插值模块以及第六分类模块。

其中，第三插值模块，用于对第三图像进行双线性插值，得到与目标高光谱图像分辨率相同的第二插值图像。

第六分类模块，用于根据目标高光谱图像与第二插值图像并基于条件随机场模型，对目标高光谱图像所包含的对象进行分类，得到带有分类结果的目标高光谱图像。

在本实施例的一些可选的实现方式中，上述高光谱图像的对象分类装置600还可以进一步包括图6中未示出的训练单元，上述训练单元包括：获取模块、分割模块以及训练模块。

获取模块，用于获取预先标注出对象的高光谱图像。

分割模块，用于将高光谱图像进行分割，得到至少一个第四图像。

训练模块，用于利用各第四图像训练深度神经网络。

在本实施例的一些可选的实现方式中，上述训练模块可以进一步用于：采用迭代训练步骤多次迭代训练深度神经网络，直至满足训练终止完成条件，迭代训练步骤包括：通过深度神经网络中的部分神经元提取至少一个第四图像的特征，部分神经元的数量少于深度神经网络中神经元的总数量；根据提取的特征对至少一个第四图像所包含的对象进行分类，得到分类结果；根据分类结果调整深度神经网络的网络参数。

在本实施例的一些可选的实现方式中，在迭代训练深度神经网络过程中，不同次的迭代训练过程中所使用的神经元至少部分不同。

在本实施例的一些可选的实现方式中，上述深度神经网络包括级联的多个特征提取单元、一神经元筛选单元和一分类单元。

在本实施例的一些可选的实现方式中，上述神经元筛选单元用于在每次迭代训练过程中选取全部神经元中的部分神经元作为本次迭代训练所使用的神经元。

本申请的上述实施例提供的高光谱图像的对象分类装置，通过将目标高光谱图像进行分割，然后利用深度神经网络对分割得到的至少一个第一图像所包含的对象进行分类，在根据分割后得到的图像的分类结果确定目标高光谱图像所包含的对象的类别，从而使得在确定目标高光谱图像所包含的对象的类别时，不需要直接对高光谱图像进行分析，提高了高光谱图像的处理效率。

应当理解，高光谱图像的对象分类装置600中记载的单元601至单元604分别与参考图1中描述的方法中的各个步骤相对应。由此，上文针对高光谱图像的对象分类方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、分割单元、分类单元及确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取目标高光谱图像的单元”。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。如图7所示，计算机系统700包括一个或多个处理器、通信部等，上述一个或多个处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信部712可包括但不限于网卡，上述网卡可包括但不限于IB(Infiniband)网卡，

处理器可与ROM 702和/或RAM 703中通信以执行可执行指令，通过总线704与通信部712相连、并经通信部712与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获取目标高光谱图像；分割目标高光谱图像，得到至少一个第一图像；通过深度神经网络对至少一个第一图像所包含的对象进行分类；根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。

此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。在有RAM 703的情况下，ROM 702为可选模块。RAM703存储可执行指令，或在运行时向ROM 702中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至总线704。通信部712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

需要说明的，如图7所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU 713和CPU 701可分离设置或者可将GPU 713集成在CPU 701上，通信部可分离设置，也可集成设置在CPU 701或GPU 713上，等等。这些可替换的实施方式均落入本发明公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取目标高光谱图像；分割目标高光谱图像，得到至少一个第一图像；通过深度神经网络对至少一个第一图像所包含的对象进行分类；根据对至少一个第一图像所包含的对象的分类结果，确定目标高光谱图像所包含的对象的类别。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被CPU 701执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种高光谱图像的对象分类方法，其特征在于，所述方法包括：

获取目标高光谱图像；

分割所述目标高光谱图像，得到至少一个第一图像；

通过深度神经网络对所述至少一个第一图像所包含的对象进行分类；

根据对所述至少一个第一图像所包含的对象的分类结果，确定所述目标高光谱图像所包含的对象的类别。

2.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括多个具有不同权重的神经元，所述神经元用于提取所述至少一个第一图像所包含的对象的特征，且不同神经元提取的特征至少部分不同。

3.根据权利要求2所述的方法，其特征在于，所述通过深度神经网络对所述至少一个第一图像所包含的对象进行分类，包括：

利用各所述神经元提取各所述第一图像所包含的对象的特征，生成与各所述第一图像一一对应的各第一特征图；

对各所述第一特征图中的特征进行聚合统计，得到与各所述第一特征图一一对应的各第二特征图；

根据各所述第二特征图，对各所述第一图像所包含的对象的进行分类。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据对所述至少一个第一图像所包含的对象的分类结果，确定所述目标高光谱图像所包含的对象的类别，包括：

确定各所述第一图像所包含的对象的类别，得到带有分类结果的各第一图像；

对所述带有分类结果的各第一图像进行双线性插值，得到与各所述第一图像分辨率相同的各第一插值图像；

根据各所述第一图像及各所述第一插值图像并基于条件随机场模型，确定各所述第一图像所包含的对象的类别；

根据各所述第一图像在所述目标高光谱图像中的位置，对各所述第一图像进行拼接；

根据拼接后的各第一图像所包含的对象的类别，确定所述目标高光谱图像所包含的对象的类别。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括采用以下步骤预先训练所述深度神经网络：

获取预先标注出对象的高光谱图像；

将所述高光谱图像进行分割，得到至少一个第四图像；

利用所述至少一个第四图像训练所述深度神经网络。

6.根据权利要求5所述的方法，其特征在于，所述利用所述至少一个第四图像训练所述深度神经网络，包括采用迭代训练步骤多次迭代训练所述深度神经网络，直至满足训练终止完成条件，所述迭代训练步骤包括：

通过所述深度神经网络中的部分神经元提取所述至少一个第四图像的特征，所述部分神经元的数量少于所述深度神经网络中神经元的总数量；

根据提取的特征对所述至少一个第四图像所包含的对象进行分类，得到分类结果；

根据所述分类结果调整所述深度神经网络的网络参数。

7.根据权利要求6所述的方法，其特征在于，在迭代训练所述深度神经网络过程中，不同次的迭代训练过程中所使用的神经元至少部分不同。

8.根据权利要求1-7任一所述的方法，其特征在于，所述深度神经网络包括级联的多个特征提取单元、一神经元筛选单元和一分类单元。

9.一种高光谱图像的对象分类装置，其特征在于，所述装置包括：

获取单元，用于获取目标高光谱图像；

分割单元，用于分割所述目标高光谱图像，得到至少一个第一图像；

分类单元，用于通过深度神经网络对所述至少一个第一图像所包含的对象进行分类；

确定单元，用于根据对所述至少一个第一图像所包含的对象的分类结果，确定所述目标高光谱图像所包含的对象的类别。

10.一种电子设备，其特征在于，包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：

获取目标高光谱图像；

分割所述目标高光谱图像，得到至少一个第一图像；

通过深度神经网络对所述至少一个第一图像所包含的对象进行分类；

根据对所述至少一个第一图像所包含的对象的分类结果，确定所述目标高光谱图像所包含的对象的类别。