CN112017252A - 一种图像处理方法和相关设备 - Google Patents

Abstract

本申请公开了一种图像处理方法及相关设备，可用于人工智能领域的图像处理领域中，在获取到的拍摄对象的图像集合之后，可以获取非可见光图像的亮度分量，获取可见光图像的色彩分量，将亮度分量输入到第一神经网络中，将色彩分量输入到第二神经网络中，并将第一神经网络和第二神经网络的输出接入到第三神经网络中，由第三神经网络输出拍摄对象的特征信息，也即通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对非可见光图像的适应性，由于非可见光图像中携带的亮度信息质量较好，从而本申请提供的图像分析网络可以很好的发挥出非可见光图像的优势，有利于提高输出的特征信息的精准度。

Description

一种图像处理方法和相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种图像处理方法和相关设备。

背景技术

随着人工智能技术的发展，利用智能分析网络进行图像分析的技术在安防监控等领域已经得到了广泛推广，具体的，智能分析网络包括红(red，R)、绿(green，G)和蓝(blue，B)三个分支网络，在获取到拍摄对象的一张图像之后，将前述一张图像转换为红绿蓝(redgreen blue，RGB)格式后，并分别将红(red，R)、绿(green，G)和蓝(blue，B)三个分量输入到网络模型的R、G和B三个分支网络中，以获得拍摄对象的特征信息。

而为了在低照度、强反光、重粉尘等场景下，摄像机都可以采集到质量较好的图像，摄像机除了获取拍摄对象的可见光图像之外，还会通过不同补光手段获取拍摄对象的近红外图像、短波红外图像以及热红外图像等非可见光图像，也即，随着摄像机技术的发展，摄像机会同时采集拍摄对象的非可见光图像和可见光图像，以获取到更多的图像信息。

在通过摄像机的传感器获取到拍摄对象的非可见光图像和可见光图像之后，现有技术提供的处理方式是，通过图像融合算法将拍摄对象的非可见光图像和可见光图像进行融合，得到融合后的一张图像，再将融合后的图像转换为红绿蓝(red green blue，RGB)格式后，将红(red，R)、绿(green，G)和蓝(blue，B)三个分量分别输入到网络模型的R、G和B三个分支网络中，进而获取到拍摄对象的特征信息。

但是，由于现有技术中的智能分析网络中包含的红(red，R)、绿(green，G)和蓝(blue，B)分支网络反映的均为图像的色彩信息，而像红外图像、短波红外图像以及热红外图像等非可见光图像中包含的色彩信息较少，现有技术提供的智能分析网络很难利用到非可见光图像中的信息，也即现有技术提供的智能分析网络与非可见光图像的适应性较差。

发明内容

本申请实施例提供了一种图像处理方法和相关设备，用于通过第一神经网络获取非可见光图像的亮度分量中携带的特征信息，从而提高图像分析网络对非可见光图像的适应性。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中，方法可以包括：图像分析设备获取第一图像集合，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像，图像分析设备可以从第一图像集合中获取第一亮度分量和第一色彩分量，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量，进而将第一亮度分量输入到对应的第一神经网络中，以及，将第一色彩分量输入到对应的第二神经网络中，将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络，第一神经网络的个数可以为一个或者多个，第二神经网络的个数也可以为一个或多个，具体的，图像分析设备从每张非可见光中获取的亮度分量的个数可以与第一神经网络的个数相同，从每张可见光图像中获取的色彩分量的个数可以与第二神经网络的个数相同。

本实现方式中，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对非可见光图像的适应性，由于非可见光图像中携带的亮度信息质量较好，从而本申请实施例提供的图像分析网络可以很好的发挥出非可见光图像的优势，有利于输出的拍摄对象的特征信息更为精确；此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

在第一方面的一种可能实现方式中，第一亮度分量中还可以包括至少一张可见光图像的亮度分量，则图像分析设备不仅可以利用到非可见光图像的亮度分量，还可以利用到可见光图像的亮度分量，则图像分析设备输入到图像分析网络的数据量增多，有利于提高获取到的特征信息的精准度。

在第一方面的一种可能实现方式中，图像分析设备从第一图像集合中获取第一亮度分量和第一色彩分量的步骤，具体可以包括：图像分析设备获取至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取至少一张可见光图像中每张可见光图像的色彩分量，则图像分析设备将第一亮度分量输入到对应的第一神经网络中，以及，将第一色彩分量输入到对应的第二神经网络中的步骤，具体可以包括：图像分析设备将每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将每张可见光图像的色彩分量输入对应的第二神经网络中，具体的，由于第一神经网络和第二神经网络的个数均可以为一个或者至少两个，对应的，从每张非可见光图像中获取的亮度分量也为一个或者至少两个，从每张可见光图像中获取的色彩分量也为一个或者至少两个，当第一神经网络的个数为至少两个时，需要将每张非可见光图像中获取的至少两个亮度分量分别输入到对应的至少两个第一神经网络中，当第二神经网络的个数为至少两个时，需要将每张可见光图像中获取的至少两个色彩分量分别输入到对应的至少两个第二神经网络中。

本实现方式中，由于图像分析设备在执行图像融合过程中，不可避免会引入一些噪声数据，从而对图像的质量带来不好的影响，进而影响图像分析网络在特征提取过程中的精准度，而本实施例提供的方案中是逐个处理每张图像，并将每张图像提取出的分量逐次输入到对应的神经网络中，从而避免了引入图像融合过程中的噪声数据，有利于准确获取拍摄对象的特征信息；此外，本实施例提供的方案中只将非可见光图像的亮度分量输入到第一神经网络，只将可见光图像的色彩分量输入第二神经网络，从而避免了引入可见光图像中由于运动模糊等情况产生的质量较差的亮度信息，提高了输出的特征信息的准确度。

在第一方面的一种可能实现方式中，图像分析设备获取第一图像集合的步骤，具体可以包括：图像分析设备分别获取拍摄对象的至少一张可见光图像和至少一张红外图像；或者，图像分析设备获取拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像，则图像分析设备可以对每张多光谱图像、高光谱图像或超光谱图像进行图像解析，以获得拍摄对象的至少一张非可见光图像和至少一张可见光图像。本实现方式中的图像分析设备可以处理独立的可见光图像和红外图像，又可以处理多光谱图像、高光谱图像或超光谱图像等类似图像，丰富了本方案的应用场景；且在处理多光谱图像、高光谱图像或超光谱图像时，将多光谱图像、高光谱图像或超光谱图像解析为多张可见光图像和非可见光图像之后，再进行图像分析，增加了输入的拍摄对象的第一图像集合中的图像数量，则图像分析设备可以利用更多的数据得到更为精确的结果。

在第一方面的一种可能实现方式中，图像分析设备在获取第一图像集合的亮度分量和色彩分量之前，方法还可以包括：图像分析设备可以先确定图像分析网络中第一神经网络的个数和第二神经网络的个数，进而根据第一神经网络的个数和第二神经网络的个数对第一图像集合中的每张图像进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量，具体的，转换后的色彩空间中包含的亮度分量的个数与第一神经网络的个数相同，转换后的色彩空间中包含的色彩分量的个数与第二神经网络的个数相同。由于本实现方式中图像分析设备获取到的图像的色彩空间可能只包括色彩分量，则可以先对第一图像集合进行色彩空间转换，从而保证了可以从第一图像集合中提取到亮度分量和色彩分量，提高了本方案的可执行性。

在第一方面的一种可能实现方式中，方法还可以包括：图像库中可以存储有多张预存图像，对应的图像库中的特征信息集合中可以预先存储有多张预存图像中的每张预存图像的特征信息，则图像分析设备可以将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，匹配结果可以为多张预存图像中的目标预存图像，目标预存图像的特征信息与拍摄对象的特征信息匹配，匹配结果也可以为匹配成功或匹配失败的指示信息等，此处不做限定。本实现方式中通过将拍摄对象的特征信息与图像库中的特征信息集合进行匹配的方式，来实现拍摄对象的图像与图像库中的预存图像的匹配，由于特征信息是通过图像分析网络归纳出来的信息，相对于直接将拍摄对象的图像矩阵与图像库中的预存图像的图像矩阵进行对比，大大减少了匹配过程的工作量，有利于提高匹配过程的速度。

在第一方面的一种可能实现方式中，方法还可以包括：图像分析设备也可以根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息，其中，拍摄对象的描述信息是综合拍摄对象的特征信息得出的对拍摄对象的整体定义。本实现方式中图像分析设备不仅可以根据拍摄对象的特征信息与图像库中的特征信息集合进行匹配，还可以直接对拍摄对象进行识别，拓宽了本方案的应用场景。

在第一方面的一种可能实现方式中，图像分析设备与拍摄拍摄对象的图像采集设备集成为同一设备，或者，图像分析设备与图像采集设备为不同设备，则图像分析设备获取拍摄对象的至少一张图像包括：获取图像采集设备发送的拍摄对象的第一图像集合。

第二方面，本申请实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中，方法可以包括：图像分析设备获取拍摄对象的第一图像集合之后，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像，可以从至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量，进而将亮度分量输入到对应的第一神经网络中，以及，将色彩分量输入到对应的第二神经网络中，并将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络，具体的，图像分析设备可以将每张多光谱图像、高光谱图像或超光谱图像视为一张独立的图像，从每张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量；也可以将至少一张多光谱图像、高光谱图像或超光谱图像融合为一张图像，再从所述一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量等，此处不做限定，其中，图像分析设备从每张多光谱图像、高光谱图像或超光谱图像中提取的亮度分量的个数与第一神经网络的个数相同，图像分析设备从每张多光谱图像、高光谱图像或超光谱图像中提取的色彩分量的个数与第二神经网络的个数相同。

本实现方式中，当拍摄对象的第一图像集合中包含拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像时，图像分析设备可以将一张多光谱图像、高光谱图像或超光谱图像视为一张独立的图像，而不再将其解析为多张非可见光图像和可见光图像，则图像分析设备无须分别处理多张图像，减少了图像分析设备的工作量，提高了图像分析过程的速度；且虽然一张多光谱图像、高光谱图像或超光谱图像中包含多张非可见光图像和可见光图像的信息，但这并不是例如智能算法对多张非可见光图像和可见光图像进行图像融合后得到的，所以也没有引入图像融合过程中的噪声数据。

在第二方面的一种可能实现方式中，图像分析设备从至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量之前，方法还可以包括：图像分析设备对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在第二方面的一种可能实现方式中，方法还可以包括：图像分析设备将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在第二方面的一种可能实现方式中，方法还可以包括：图像分析设备根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

对于本申请第二方面提供的图像处理方法的各种可能实现方式的具体实现内容以及每种可能实现方式带来的有益效果，均可以参考第一方面的各种可能的实现方式中的描述，此处不再一一赘述。

第三方面，本申请实施例提供一种图像处理方法，可用于人工智能领域的图像处理领域中，方法可以包括：服务器可以先初始化一个图像分析网络，所述图像分析网络包括第一神经网络、第二神经网络和第三神经网络，第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为在接入第一神经网络和第二神经网络的输出之后输出第二特征信息的神经网络，则服务器获取第一训练图像集合之后，可以获取第一训练图像集合中每张第一训练图像的亮度分量和色彩分量，其中，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息，第一特征信息为预先标注的特征信息，进而服务器可以根据每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络中包括的第一神经网络、第二神经网络以及第三神经网络进行训练，具体的，服务器可以将每张第一训练图像的亮度分量输入到对应的第一神经网络中，以及将每张第一训练图像的色彩分量输入到对应的第二神经网络中，将每张第一训练图像的第一特征信息作为第三神经网络的输出目标，同时对第一神经网络、第二神经网络以及第三神经网络包含的多个神经网络进行迭代训练，直至图像分析网络中的每个神经网络的损失函数均满足收敛条件之后，可以将训练后的图像分析网络发送至图像分析设备，所述图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息，第二特征信息是图像分析设备分析获得的特征信息，其中，第一神经网络和第二神经网络的个数均可以为一个或者多个，服务器从每张第一训练图像中获取的亮度分量的个数和第一神经网络的个数相同，服务器从每张第一训练图像中获取的色彩分量的个数和第二神经网络的个数相同。

本实现方式中，服务器利用第一训练图像的亮度分量、色彩分量以及第一训练图像的第一特征信息训练图像分析网络，训练获得的图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，其中第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对红外图像等非可见光图像的适应性，此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

在第三方面的一种可能实现方式中，在服务器将训练后的图像分析网络发送至图像分析设备之后，方法还可以包括：服务器获取第二训练图像集合之后，可以获取第二训练图像集合中每张第二训练图像的亮度分量，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器获取每张第二训练图像的亮度分量，服务器根据每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息，对第一神经网络进行调整，具体的，服务器可以将每张第二训练图像的亮度分量输入到第一神经网络，将每张第二训练图像的第三特征信息作为第三神经网络的输出目标，对第一神经网络进行迭代训练，直至第一神经网络的损失函数满足收敛条件之后，服务器可以将调整后的第一神经网络发送至图像分析设备。

本实现方式中，通过上述方式，可以实现服务器对处理图像的亮度分量的第一神经网络的调整，由于第一神经网络主要用于处理非可见光的亮度信息，也即可以利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第二训练图像对第一神经网络进行再次训练，使得调整后的第一神经网络更加适应非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的特性，不仅有利于帮助图像分析网络获得更为精确的特征信息，且有利于提高图像分析网络的向后兼容性。

在第三方面的一种可能实现方式中，在服务器根据每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练之后，服务器将训练后的图像分析网络发送至图像分析设备之前，方法还可以包括：服务器获取第三训练图像集合，其中，第三训练图像集合中包含多张第三训练图像以及与多张第三训练图像中的每张第三训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器获取每张第三训练图像的亮度分量，根据每张第三训练图像的亮度分量以及每张第三训练图像的第三特征信息，对第一神经网络进行调整，则服务器将训练后的图像分析网络发送至图像分析设备具体可以包括：服务器将调整后的第一神经网络替换经过初始训练得到的图像分析网络中的第一神经网络，进而将执行过替换操作之后的图像分析网络发送至图像分析设备，其中，每张第一训练图像为可见光图像，每张第三训练图像为红外图像；或者，每张第一训练图像为可见光图像，每张第三训练图像为多光谱图像、高光谱图像或超光谱图像中的任一项或任意组合。

本实现方式中，服务器可以在初次将图像分析网络发送至图像分析设备之前对处理图像的亮度分量的第一神经网络进行调整，由于非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的获取难度比可见光图像的难度大，则服务器可以在初次将图像分析网络发送至图像分析设备之前，先利用可见光图像进行初始训练，再利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第三训练图像对第一神经网络进行调整，不仅可以获得一个成熟的网络，且初次发给图像分析设备的图像分析网络对非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的兼容度较高，有利于帮助图像分析网络获得更为精确的特征信息。

在第三方面的一种可能实现方式中，每张第一训练图像为可见光图像，每张第二训练图像为红外图像；或者，每张第一训练图像为可见光图像，每张第二训练图像为多光谱图像、高光谱图像或超光谱图像中的任一项或任意组合。本实现方式中，由于在初始训练过程中，需要通过大量的第一训练图像对图像分析网络进行迭代训练，才能得到一个成熟的图像分析网络，而对于现有技术来讲，可见光图像的获取难度低，利用可见光图像来执行对图像分析网络的初次训练，可以降低本方案中对图像分析网络执行训练操作的难度，提高本方案的可执行性。由于随着图像采集技术的发展，服务器可以获取到越来越多的非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像，且随着图像采集技术的发展，非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像可能会出现更多的特性，则服务器可以根据前述图像对图像分析网络进行再次训练，以提高图像分析网络的向后兼容性，并且提高图像分析网络的图像分析能力。

第四方面，本申请实施例还提供一种图像处理设备，可以包括获取单元、输入单元和接入单元，获取单元，用于获取第一图像集合之后，从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量；输入单元，用于将获取单元获取的第一亮度分量输入到对应的第一神经网络中，以及，将获取单元获取的第一色彩分量输入到对应的第二神经网络中；接入单元，用于将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

在第四方面的一种可能实现方式中，获取单元具体用于：获取至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取至少一张可见光图像中每张可见光图像的色彩分量；输入单元具体用于：将每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将每张可见光图像的色彩分量输入对应的第二神经网络中。

在第四方面的一种可能实现方式中，获取单元具体用于：分别获取拍摄对象的至少一张可见光图像和至少一张红外图像；或者，获取拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像；对每张多光谱图像、高光谱图像或超光谱图像进行图像解析，获得拍摄对象的至少一张非可见光图像和至少一张可见光图像。

在第四方面的一种可能实现方式中，图像处理设备还可以包括：转换单元，用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在第四方面的一种可能实现方式中，图像处理设备还可以还包括：匹配单元，用于将接入单元得到的拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在第四方面的一种可能实现方式中，图像处理设备还可以还包括：识别单元，用于根据接入单元得到的拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

对于本申请第四方面提供的图像处理设备的组成模块执行第四方面以及第四方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式带来的有益效果，均可以参考第一方面以及第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例还提供一种图像处理设备，可以包括获取单元、提取单元、输入单元以及接入单元，获取单元，用于获取拍摄对象的第一图像集合，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像，提取单元，用于从获取单元获取的至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量，输入单元，用于将提取单元提取的亮度分量输入到对应的第一神经网络中，以及，将提取单元提取的色彩分量输入到对应的第二神经网络中，接入单元，用于将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

在第五方面的一种可能实现方式中，图像分析设备还可以包括：转换单元，用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在第五方面的一种可能实现方式中，图像分析设备还可以包括：匹配单元，用于将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在第五方面的一种可能实现方式中，图像分析设备还可以包括：识别单元，用于根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

对于本申请第五方面提供的图像处理设备的组成模块执行第五方面以及第五方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式带来的有益效果，均可以参考第二方面以及第二方面的各种可能的实现方式中的描述，此处不再一一赘述。

第六方面，本申请实施例还提供一种服务器，可以包括：获取单元，用于获取第一训练图像集合之后，获取第一训练图像集合中每张第一训练图像的亮度分量和色彩分量，其中，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息，第一特征信息为预先标注的特征信息，训练单元，用于根据获取单元获取的每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练，发送单元，用于将训练单元训练后的图像分析网络发送至图像分析设备，图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息，其中，图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络。

在第六方面的一种可能实现方式中，获取单元，还用于获取第二训练图像集合中每张第二训练图像的亮度分量，其中，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器还可以包括：调整单元，用于根据每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息，对第一神经网络进行调整，发送单元，还用于将调整后的第一神经网络发送至图像分析设备。

在第六方面的一种可能实现方式中，获取单元，还用于获取第三训练图像集合中每张第三训练图像的亮度分量，其中，第三训练图像集合中包含多张第三训练图像以及与多张第三训练图像中的每张第三训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器还可以包括：调整单元，用于根据每张第三训练图像的亮度分量以及每张第三训练图像的第三特征信息，对第一神经网络进行调整，发送单元具体用于：将调整后的第一神经网络替换经过初始训练得到的图像分析网络中的第一神经网络之后，将执行过替换操作的图像分析网络发送至图像分析设备。

在第六方面的一种可能实现方式中，每张第一训练图像为可见光图像，每张第二训练图像为红外图像，或者，每张第一训练图像为可见光图像，每张第二训练图像为多光谱图像、高光谱图像或超光谱图像中的任一项或任意组合。

对于本申请第六方面提供的图像处理设备的组成模块执行第六方面以及第六方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式带来的有益效果，均可以参考第三方面以及第三方面的各种可能的实现方式中的描述，此处不再一一赘述。

第七方面，本申请实施例提供了一种图像分析设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：获取第一图像集合，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像，从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量，将第一亮度分量输入到对应的第一神经网络中，以及，将第一色彩分量输入到对应的第二神经网络中，将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请第七方面中，处理器还可以用于执行第一方面的各个可能实现方式中图像分析设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第八方面，本申请实施例提供了一种图像分析设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：获取拍摄对象的第一图像集合，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像，从至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量，将亮度分量输入到对应的第一神经网络中，以及，将色彩分量输入到对应的第二神经网络中，将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请第八方面中，处理器还可以用于执行第二方面的各个可能实现方式中图像分析设备执行的步骤，具体均可以参阅第二方面，此处不再赘述。

第九方面，本申请实施例提供了一种服务器，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：获取第一训练图像集合，其中，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息，第一特征信息为预先标注的特征信息，获取每张第一训练图像的亮度分量和色彩分量，根据每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练，将训练后的图像分析网络发送至图像分析设备，图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息，其中，图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出所述第二特征信息的神经网络，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请第九方面中，处理器还可以用于执行第三方面的各个可能实现方式中图像分析设备执行的步骤，具体均可以参阅第三方面，此处不再赘述。

第十方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面或第三方面所述的方法。

第十一方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面或第三方面所述的方法。

第十二方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持图像分析设备或者服务器实现上述第一方面或第二方面或第三方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存实现图像处理功能所必需的程序和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1a为本申请实施例提供的图像处理方法的应用场景的一种网络架构示意图；

图1b为本申请实施例提供的图像处理方法的应用场景的另一种网络架构示意图；

图2为本申请实施例提供的图像处理方法的一种流程示意图；

图3为本申请实施例提供的第一训练图像的第一特征信息的一种示意图；

图4为本申请实施例提供的图像处理方法中的图像分析网络的一种架构示意图；

图5为本申请实施例提供的图像处理方法的另一种流程示意图；

图6为本申请实施例提供的图像处理方法的又一种流程示意图；

图7为本申请实施例提供的图像处理设备的一种结构示意图；

图8为本申请实施例提供的图像处理设备的另一种结构示意图；

图9为本申请实施例提供的图像处理设备的又一种结构示意图；

图10为本申请实施例提供的图像处理设备的再一种结构示意图；

图11为本申请实施例提供的服务器的一种结构示意图；

图12为本申请实施例提供的服务器的另一种结构示意图；

图13为本申请实施例提供的图像处理设备的又一种结构示意图；

图14为本申请实施例提供的图像处理设备的又一种结构示意图；

图15为本申请实施例提供的服务器的又一种结构示意图。

具体实施方式

本申请实施例提供了一种图像处理方法和相关设备，用于提供包含亮度网络的图像分析网络，则可以通过亮度网络获取非可见光图像的亮度分量中携带的亮度信息，从而提高图像分析网络对非可见光图像的适应性。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

下面结合附图，对本申请的实施例进行描述。

本申请实施例提供的图像处理方法可以应用于人工智能领域，尤其是人工智能领域中的视频图像分析领域中，具体的，作为示例，例如在煤矿、铁路等重粉尘场景中，为了对施工现场有良好的监管，一般摄像机不仅会获取施工现场的可见光图像，还会获取施工现场的非可见光图像，从而当发生盗窃、爆炸、等违法事件时，可以利用图像分析网络对摄像机获取到的人像数据进行图像分析，以缩短对犯罪分子的确定周期；作为另一示例，例如在交通监管场景中，当出现雨雾等低可见度的天气时，摄像机也会同时获取车辆的可见光图像和非可见光图像，再利用图像分析网络对获取到的车辆图像进行图像分析；作为再一示例，例如在小区安防场景中，在夜晚等低照度场景中，摄像机会同时获取人像的可见光图像和非可见光图像，再利用图像分析网络对获取到的人像数据进行图像分析等，应理解，上述举例仅为方便理解本方案，此处不再对其他实现场景进行一一举例。

为了提高图像分析网络对可见光图像的适应性，本申请实施例提供的图像处理方法中采用了新的图像分析网络，所述图像分析网络中包括处理非可见光图像的亮度分量的神经网络和处理可见光图像的色彩分量的神经网络，增强了图像分析网络对非可见光图像的适应性，由于非可见光图像中携带的亮度信息质量较好，从而本申请实施例提供的图像分析网络可以很好的发挥出非可见光图像的优势，有利于输出的拍摄对象的特征信息更为精确。

首先对本申请实施例提供的图像处理方法的网络架构进行介绍，请参阅图1a和图1b，图1a和图1b为本申请实施例提供的图像处理方法的两种网络架构示意图，图1a和图1b中均包括服务器100、图像采集设备200和图像分析设备300，服务器100、图像分析设备300和图像采集设备200之间均通信连接。其中，服务器100用于训练图像分析网络，并将训练后的图像分析网络发送给图像分析设备300；图像采集设备200用于采集拍摄对象的图像，并将拍摄对象的图像发送给图像分析设备300；图像分析设备300用于利用服务器100发送的图像分析网络对图像采集设备200采集的拍摄对象的图像进行图像分析，输出拍摄对象的特征信息。

在一种情况下，请参阅图1a，图像采集设备200和图像分析设备300集成为同一设备，则图像分析设备300和图像采集设备200可以具体表现为一种携带有操作系统的摄像机，则图像分析设备300可以通过内部接口接收图像采集设备200发送的拍摄对象的图像。

在另一种情况下，请参阅图1b，图像分析设备300和图像采集设备200为不同的设备，则图像采集设备200具体表现为只有图像采集功能的摄像机；而图像分析设备300具体可以表现为本地设备，也即图像分析设备300和图像采集设备200可以有线通信连接或无线通信连接；图像分析设备300具体也可以表现为远端设备，则图像分析设备300和图像采集设备200之间只能够无线通信连接。具体的，前述本地设备或远端设备既可以表现为服务器，也可以表现为终端设备；更具体的，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer，PC)，此处不做限定。

应当理解，虽然图1a和图1b中均示出了一个服务器100，三个图像采集设备200和三个图像分析设备300，但图1a和图1b中均仅为示例，此处不对服务器100、图像采集设备200和图像分析设备300的数量进行限定。

结合上述介绍，下面首先对本申请提供的图像处理方法在服务器侧的处理流程进行介绍，本申请实施例提供的图像处理方法的一个实施例可以包括：

201、服务器初始化图像分析网络。

本申请实施例中，服务器在对图像分析网络进行初始化之前，需要先初始化一个图像分析网络，前述图像分析网络包括第一神经网络、第二神经网络和第三神经网络，其中，第一神经网络为用于处理图像的亮度分量的神经网络，第二神经网络为用于处理图像的色彩分量的神经网络，第三神经网络为接入第一神经网络和第二神经网络的输入，并输出图像中包含的拍摄对象的特征信息的神经网络，也即第三神经网络用于融合第一神经网络和第二神经网络输出的数据，以生成拍摄对象的特征信息。

其中，图像的亮度分量指的是图像中携带的亮度信息，也即一张图像去除颜色信息之后所携带的全部信息，图像的色彩分量指的是图像中携带的色彩信息，作为示例，例如在色彩空间为YCbCr的图像中，Y表示图像的亮度分量(luma)，也可以称为图像的灰度值，Cb表示图像的色彩分量中的蓝色色彩分量，Cr标识图像的色彩分量中的红色色彩分量；作为另一示例，例如在色彩空间为色调、色饱和度和亮度(hue saturation intensity，HSI)的图像中，H表示图像的色彩分量中的色调(hue)，S表示图像的色彩分量中的色饱和度(saturation或chroma)，I表示图像的亮度分量中的亮度(intensity或brightness)；应当理解，当图像的色彩空间为YUV、色调、色饱和度和明度(hue saturation value，HSV)或其他类似同时包含亮度分量和色彩分量的色彩空间时，也可以直接提取图像的亮度分量和色彩分量，此处举例仅为方便理解本方案，不用于限定本方案。

每张图像的拍摄对象都有其本身的含义，例如拍摄对象是人、斑马、猫等，而每张图像又可以拆分为多个部分，每个部分有其对应的含义，例如若拍摄对象是人，则人的头发颜色、眼睛的位置、眼睛的形状、眼睛的颜色、鼻子的位置或鼻子的形状等等，拍摄对象的特征信息可以包含上述信息，也即拍摄对象的特征信息中可以包含拍摄对象的整体含义和拍摄对象的每个部分分别代表什么含义，为方便理解，结合图3进行举例，图3为本申请实施例提供的第一训练图像的第一特征信息的一种示意图，图3以第一训练图像为人像为例，图3的特征信息包括：图3中的拍摄对象是一位女性、眼睛为单眼皮、眼球为棕色、两眼间距为XX厘米、嘴巴为YY型、头发为长发、头发为卷发且发色为栗色等，应当理解，拍摄对象的特征信息中也可以只包含拍摄对象的每个部分分别代表的含义，或者拍摄对象的特征信息中还可以包含拍摄对象的其他信息等，图3中的举例仅为方便理解本方案，不用于限定本方案，且由于申请文件中的图像均为线条图，所以图3中不能反映出文字中的色彩信息。

具体的，第一神经网络和第二神经网络的数量均可以为一个，也可以为至少两个，第三神经网络的数量为一个，作为示例，参加图4，图4为本申请实施例中的图像分析网络的一种架构示意图，参见图4，一个图像分析网络中包含一个第一神经网络、两个第二神经网络和一个第三神经网络，以输入的图像的色彩空间为YCbCr为例进行说明，所述一个第一神经网络用于接入图像的亮度分量(例如图4中的亮度分量Y)，两个第二神经网络分别用于接入不同的两个色彩分量(例如图4中的蓝色色彩分量Cb和红色色彩分量Cr)，一个第三神经网络用于接入前述一个第一神经网络和前述两个第二神经网络的输出，并输出图像中的拍摄对象的特征信息，应当理解，一个图像分析网络中还可以包括一个第一神经网络和三个第二神经网络等，图4中仅以一个图像分析网络中包含一个第一神经网络，两个第二神经网络为例进行说明，本申请实施例中不对一个图像分析网络中包含的第一神经网络和第二神经网络的数量进行限定。

更具体的，服务器初始化的图像分析网络可以与现有技术中用于对图像进行特征提取的神经网络相同，也即所述至少一个第一神经网络、所述至少一个第二神经网络以及所述一个第三神经网络均可以采用现有技术中的网络，区别在于，在后续的训练过程中采用的训练参数不同，本申请实施例中采用的是图像的至少一个亮度分量和至少一个色彩分量进行训练，现有技术中采用的是图像的不同的色彩分量进行训练，从而本申请实施例中训练出来的图像分析网络可以对图像的亮度分量进行处理，而现有技术中的图像分析网络仅可以对图像的色彩分量进行处理。继续结合图3进行举例，例如图像神经网络中包括一个第一神经网络、两个第二神经网络和一个第三神经网络，第一神经网络具体可以为黑暗神经网络(darknet)、移动神经网络(mobilenet)、U型神经网络(U-net)等卷积神经网络及其衍生和组合，也可以是其他卷积神经网络(convolutional neural networks，CNN)和全连接神经网络(fully convolutional networks，FCN)的组合；两个第二神经网络中用于接入蓝色色彩分量Cb的第二神经网络具体可以darknet，mobilenet，U-net，CAN等卷积神经网络及其衍生和组合，也可以是其他卷积神经网络(CNN)和全连接神经网络(FCN)的组合；两个第二神经网络中用于接入蓝色色彩分量Cr的第二神经网络具体可以为darknet，mobilenet，U-net，CAN等神经网络及其衍生和组合，也可以是其他卷积神经网络(CNN)和全连接神经网络(FCN)的组合；第三神经网络具体可以为darknet，mobilenet，U-net，CAN等神经网络及其衍生和组合，也可以是其他卷积神经网络(CNN)和全连接神经网络(FCN)的组合。对应的，一个第一神经网络、两个第二神经网络和一个第三神经网络包含的多个神经网络中每个神经网络的损失函数均可以为L1范数损失函数、L2范数损失函数、对数(log)损失函数、铰链(hinge)损失函数等损失函数中的任意一个损失函数；也可以为前述多个损失函数中任意一个损失函数的衍生损失函数，也可以为前述多个损失函数中至少两个损失函数的组合。应当理解，上述对于一个第一神经网络、两个第二神经网络和一个第三神经网络以及损失函数的举例均仅为方便理解本方案，不用于限定本方案。

通常情况下，可见光图像可以表现为彩色图像，通过对一张彩色图像进行色彩空间可以得到1个亮度分量和2个色彩分量。例如在YUV格式的彩色图像中，亮度分量是Y，2个色彩分量分别是U和V；在YCbCr格式的彩色图像中，亮度分量是Y，2个色彩分量分别是Cb和Cr。可见光图像可以表现为灰度图像，亮度分量数量为1个，色彩分量为0个。彩色图像的亮度分量可输入一个第一神经网络，彩色图像的每个色彩分量需分别输入一个对应的第二神经网络，因此3个分量一共输入3个神经网络。

需要说明的是，从一张彩色图像中获取的色彩分量数量，也可以不限于2个，例如可能1个或者3个。这是由于转换方式的不同决定的，并不影响本发明实施例的使用，只要色彩分量足以描述彩色图像所携带的色彩信息即可。例如，如果一个彩色图像转换得到4个色彩分量，其中2个色彩分量足以描述彩色图像的色彩，其余2个色彩分量冗余，那么本发明实施例可以只使用其中2个色彩分量作为第一色彩分量；如果其中4个色彩分量都是不可或缺的，缺少4个色彩分量中的任意一个都会导致色彩信息的明显丢失，那么这4个色彩都成为第一色彩分量，分别输入各自对应的第二神经网络进行计算。

此外，本实施例中，在将亮度分量输入第一神经网络以及将色彩分量输入第二神经网络的单次操作过程中，输入第二神经网络的所有色彩分量均来自同一个图像；输入第一神经网络的亮度分量和输入第二神经网络的色彩分量可以来自于不同的图像，也可以来自于相同的图像。输入第二神经网络的色彩分量可以是一张图像的全部非冗余色彩分量。

另外需要说明的是，对于多光谱图像、高光谱图像或超光谱图像，其含有的信息量相当于多个普通图像(灰度图像/彩色图像)，可以类似理解为多张普通图像的“叠加”，因此对其进行图像色彩空间转换后可以获得多组亮度和/或色彩分量，其中每一组亮度和/或色彩分量均可以单独用于本发明图像处理方法实施例。例如：一个多光谱图像相当于2张普通图像的叠加，这两个普通图像是彩色图像，分别是Y₁U₁V₁和Y₂U₂V₂，那么，使用4个分量集合{Y₁，U₁，V₁}{Y₂，U₁，V₁}{Y₂，U₂，V₂}{Y₁，U₂，V₂}中的任意一个执行本方法流程201-210，均可以完成本发明图像处理方法。如果多光谱图像/高光谱图像/超光谱图像相当于更多数量图像的叠加，那么可以转换出的分量更多，这样的集合数量也会更多。

202、服务器获取第一训练图像集合。

本申请实施例中，服务器侧可以获取预先存储的第一训练图像集合，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息。

其中，每张第一训练图像可以具体表现为可见光图像、非可见光图像、多光谱图像、高光谱图像、超光谱图像或其他类型的图像等。具体的，可见光图像为三通道图像，具体可以呈现为彩色图像；非可见光图像为单通道图像，具体可以呈现为灰度图像，也可以呈现为短波红外图像、近红外图像、热红外图像、中红外图像、紫外线或其他类型的非可见光图像等等具体此处不做限定；进一步的，无论是可见光图像还是非可见光图像均为在一个波段上获取到的二维图像，多光谱图像、高光谱图像以及超光谱图像均为在多个波段上获取的图像组合形成的三维图像。对应的，第一训练图像集合中可以包括可见光图像、非可见光图像、多光谱图像、高光谱图像、超光谱图像或其他类型的图像中的任意一种类型图像或多种类型的图像的组合。

可选的，第一训练图像可以均采用可见光图像，对应的，第一训练图像集合为可见光图像集合，由于在初始训练过程中，需要通过大量的第一训练图像对图像分析网络进行迭代训练，才能得到一个成熟的图像分析网络，而对于现有技术来讲，可见光图像相较于非可见光图像、多光谱图像、高光谱图像以及超光谱图像等图像的获取难度低，利用可见光图像来执行对图像分析网络的初次训练，可以降低本方案中对图像分析网络执行训练操作的难度，提高本方案的可执行性。

第一特征信息为预先标注的特征信息，具体可以为服务器在获取到每张第一训练图像后，利用图像分析网络预先对每张第一训练图像进行特征信息标注，第一特征信息的具体表现形式可以结合图3以及上述对图3的描述进行理解，此处不再赘述。

203、服务器获取每张第一训练图像的亮度分量和色彩分量。

本申请实施例中，服务器在获取到第一训练图像集合中的一张第一训练图像之后，可以先确定所述一张第一训练图像的类型，若所述一张第一训练图像为可见光图像或非可见光图像时，则可以确定第一训练图像的色彩空间类型，由于服务器侧的第一训练图像的色彩空间类型要与图像分析设备侧输入的拍摄对象的图像的色彩空间类型一致，则服务器和图像分析设备可以通过通信确定第一训练图像和拍摄对象的图像的色彩空间的类型，将其确定为预设色彩空间类型，若第一训练图像的色彩空间类型为预设色彩空间类型，则可以从第一训练图像中直接提取亮度分量和色彩分量，作为示例，例如预设色彩空间类型为YCbCr，第一训练图像的色彩空间也为YCbCr，则可以直接进行亮度分量和色彩分量的提取操作；若第一训练图像的色彩空间类型与预设色彩空间类型不同，则需要将第一训练图像的色彩空间类型转换为预设色彩空间类型，进而执行亮度分量和色彩分量的提取操作，作为示例，例如预设色彩空间类型为YCbCr，第一训练图像的色彩空间类型为RGB，则需要对第一训练图像的色彩空间进行转换，得到YCbCr格式的第一训练图像，再进行亮度分量和色彩分量的提取操作等。

若所述一张第一训练图像为多光谱图像、高光谱图像或超光谱图像等图像时，可以先对一张多光谱图像、高光谱图像或超光谱图像等图像进行图像解析，得到多张非可见光图像和可见光图像之后，再对图像的色彩空间进行上述类型确定操作；也可以将一张多光谱图像、高光谱图像或超光谱图像等图像视为一张独立的图像，直接对图像的色彩空间进行上述类型确定操作。

其中，前述亮度分量可以为一个亮度分量，也可以为至少两个亮度分量；对应的，前述色彩分量也可以为一个色彩分量，也可以为至少两个亮度分量。更具体的，从一张第一训练图像中提取的亮度分量和色彩分量的个数均应当结合服务器和图像分析设备确定的图像的色彩空间类型确定，例如预设色彩空间类型为YCbCr时，则获取一个亮度分量Y和两个色彩分量，两个色彩分量分别为蓝色色彩分量Cb和红色色彩分量Cr，应当理解，上述举例均仅为方便理解本方案，对于目标空间类型、亮度分量的数量、亮度分量的类型、色彩分量的数量以及色彩分量的类型的确定均应当结合产品的实际情况确定，此处均不做限定。

应当理解，本申请实施例中不限定步骤201和步骤202至步骤203的执行顺序，可以先执行步骤201，再执行步骤202至步骤203；也可以先执行步骤202至步骤203，再执行步骤201；还可以同时执行步骤201和步骤202至步骤203等，具体此处不做限定。

204、服务器根据每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练。

本申请实施例中，服务器在获取到每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息之后，可以对通过步骤201生成的图像分析网络进行迭代训练；具体的，第一神经网络、第二神经网络以及第三神经网络包含的多个神经网络均有各自对应的损失函数，服务器可以将每张第一训练图像的至少一个亮度分量输入到对应的第一神经网络中，将至少一个色彩分量输入到对应的第二神经网络中，将至少一个第一神经网络和至少一个第二神经网络的输出接入到第三神经网络中，将每张第一训练图像的第一特征信息作为第三神经网络的输出目标，同时对第一神经网络、第二神经网络以及第三神经网络包含的多个神经网络进行迭代训练，直至图像分析网络中的每个神经网络的损失函数均满足收敛条件，则可以视为完成了对图像分析网络的初始训练操作，也即得到了一个成熟的图像分析网络，从而训练后的第一神经网络可以处理接入的亮度分量，第二神经网络可以处理接入的色彩分量，第三神经网络可以根据第一神经网络和第二神经网络的输入，输出拍摄对象的第二特征信息。

205、服务器确定是否需要对图像分析网络进行调整，若不需要，则进入步骤206；若需要调整，则进入步骤207。

本申请实施例中，服务器在利用第一训练图像结合完成对图像分析网络的初始训练操作之后，可以确定是否需要对图像分析网络进行再次训练，以对图像分析网络进行调整，若不需要，则进入步骤206；若需要，则进入步骤207，也即执行再次训练。具体的，在第一训练图像集合中的所有第一训练图像均为可见光图像的情况下，或者，在其他因素触发服务器对执行过初始训练操作的图像分析网络进行调整的情况下，服务器可以利用除可见光图像之外的其他类型的图像对通过步骤204得到的图像分析网络进行再次训练，以进一步提高图像分析网络对非可见光、多光谱图像、高光谱图像或超光谱图像等图像的适应性。

更具体的，服务器可以只对图像分析网络中的第一神经网络进行调整，也可以对图像分析网络中的所有神经网络都进行调整等，具体此处不做限定。

206、服务器将训练后的图像分析网络发送至图像分析设备，图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息。

本申请实施例中，服务器在确定不需要对通过步骤204得到的图像分析网络进行调整之后，可以将完成了初始训练操作的图像分析网络发送给图像分析设备，从而图像分析设备可以利用前述图像分析网络对拍摄对象的图像进行分析，进而得到拍摄对象的第二特征信息，其中，第二特征信息中包含的信息与前述第一特征信息类似，不同的是，第一特征信息是服务器对第一训练图像预先标注的信息；第二特征信息是图像分析设备分析获得的特征信息。

本申请实施例中，服务器利用第一训练图像的亮度分量、色彩分量以及第一训练图像的第一特征信息训练图像分析网络，训练获得的图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，其中第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对红外图像等非可见光图像的适应性，此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

207、服务器获取第二训练图像集合，其中，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息。

本申请实施例中，在一种情况下，可以通过步骤205进入到步骤207，也即在完成对图像分析网络的初始训练操作之后，且在将图像分析网络发送给图像分析设备之前，若服务器确定需要对图像分析网络进行调整，则进入步骤207；在另一种情况下，也可以在步骤206之后执行步骤207，由于随着图像采集技术的发展，服务器可以获取到越来越多的非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像，且随着图像采集技术的发展，非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像可能会出现更多的特性，则服务器可以接收并保存最新的非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像，并根据前述图像形成第二训练图像集合，进而对图像分析网络进行再次训练，以提高图像分析网络的向后兼容性，并且提高图像分析网络的图像分析能力。

具体的，服务器可以获取预先存储的第二训练图像集合，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息。其中，第二训练图像可以具体表现为非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像；对应的，第二训练图像集合中也可以包括非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像中的任意一种类型图像或多种类型的图像的组合；第三特征信息为服务器对每张第二训练图像预先标注的特征信息，对于第三特征信息的具体表现形式也可以结合图3以及上述对图3的描述进行理解，此处不再赘述，需要说明的是，第三特征信息中可以与第一特征信息一样既包括拍摄对象的亮度信息，也包括拍摄对象的色彩信息；第三特征信息中也可以只包括拍摄对象的亮度信息，而不包括拍摄对象的色彩信息。

208、服务器获取每张第二训练图像的亮度分量。

本申请实施例中，服务器在获取到第二训练图像集合中的每张第二训练图像之后，可以先获取到预设色彩空间类型的第二训练图像，再从中提取第二训练图像的亮度分量。具体的，与步骤203类似，服务器可以先确定每张第二训练图像的图像类型，如果是非可见光图像，则可以直接对图像的色彩空间进行类型确定操作；如果是多光谱图像、高光谱图像或超光谱图像等类似图像时，则服务器可以将多光谱图像、高光谱图像或超光谱图像解析获得多张非可见光图像和可见光图像之后，再对图像的色彩空间进行类型确定操作；也可以将一张多光谱图像、高光谱图像或超光谱图像等图像视为一张独立的图像，直接对图像的色彩空间进行类型确定操作，由于步骤203中已经对色彩空间的类型确定操作做了详细介绍，对于步骤208的理解可以结合步骤203中的描述，此处不再详细赘述。

其中，服务器获取的每张第二训练图像的亮度分量可以为一个亮度分量，也可以为至少两个亮度分量，具体此处不做限定。

可选的，由于非可见光图像为单通道图像，则非可见光图像中一般不携带有色彩信息，但多光谱图像、高光谱图像或超光谱图像等相似类型的图像中既包括可见光图像，又包括非可见光图像，则当第二训练图像为多光谱图像、高光谱图像或超光谱图像等相似类型的图像时，服务器还可以获取第二训练图像的色彩分量，对应的，服务器获取的每张第二训练图像的色彩分量可以为一个色彩分量，也可以为至少两个色彩分量，具体此处不做限定。

应当理解，由于一般情况下，由于是通过增加第一神经网络来提高图像分析网络对除可见光图像之外的图像的兼容性的，所以如果服务器只想调整图像分析网络中的第一神经网络，则即使第二训练图像为多光谱图像、高光谱图像或超光谱图像等相似类型的图像时，服务器也可以只获取第二训练图像的亮度分量，具体服务器是否获取第二训练图像的色彩分量可以结合第二训练图像的图像类型、以及服务器想要训练的神经网络来确定，具体此处不做限定。

209、服务器根据每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息，对第一神经网络进行调整。

本申请实施例中，服务器在获取到每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息之后，可以将第二训练图像的至少一个亮度分量输入到对应的第一神经网络中，并将至少一个第一神经网络的输出输入到第三神经网络中，将每张第二训练图像的第三特征信息中的亮度信息为第三神经网络的输出目标，同时对第一神经网络和第三神经网络进行迭代训练，直至第一神经网络和第三神经网络包括的至少两个神经网络的损失函数均满足收敛条件，从而完成对至少一个第一神经网络和第二神经网络的调整。

进一步的，在对至少一个第一神经网络执行调整操作时所使用的损失函数和对至少一个第一神经网络执行初始训练操作时所使用的损失函数可以不同，对应的，对第三神经网络执行调整操作时所使用的损失函数和对第三神经网络执行初始训练操作时所使用的损失函数也可以不同，由于在对第一神经网络进行调整操作时与对第一神经网络进行初始训练操作时的处理流程不同，则对应的，可以使用不同的损失函数，从而可以提高第一神经网络的调整过程的精确度，进而提高调整后的图像分析网络的图像分析能力。当然，在对至少一个第一神经网络以及第三神经网络进行调整操作时采用的损失函数可以与进行初始训练操作时采用的损失函数也可以相同，具体此处不进行限定。

可选的，服务器还可以根据每张第二训练图像的色彩分量以及每张第二训练图像的第三特征信息，对第二神经网络进行调整。具体的，当第二训练图像为多光谱图像、高光谱图像或超光谱图像等相似类型的图像时，由于前述图像中也携带有色彩分量，对应的，第三特征信息中也可以同时包含拍摄对象的亮度信息和色彩信息，则服务器可以根据实际情况决定是否对第二训练图像进行调整，如果需要的话，服务器可以根据每张第二训练图像的亮度分量和色彩分量以及每张第二训练图像的第三特征信息，再次对图像分析网络进行训练，以执行对图像分析网络包括的所有神经网络的调整操作，具体实现方式可以参见步骤204，此处不再重复赘述。

210、服务器将调整后的第一神经网络发送至图像分析设备。

本申请实施例中，服务器在完成对至少一个第一神经网络和第三神经网络的调整操作之后，可以将至少一个调整后的第一神经网络和第三神经网络发送至图像分析设备。

可选的，若服务器也对至少一个第二神经网络执行了调整操作，则服务器还可以将至少一个调整后的第二神经网络发送至图像分析设备，也即将执行过调整操作的整个图像分析网络发送至图像分析设备。

需要说明的是，在一种情况下，若为通过步骤205进入步骤207，也即在服务器初次将本申请实施例中的图像分析网络发送给图像分析设备之前，触发对第一神经网络的调整操作，则步骤210可以和步骤206合并为同一步骤，也即需要先执行步骤207至步骤209，再执行步骤206。具体的，服务器将至少一个调整后的第一神经网络替换步骤204中得到的至少一个第一神经网络，并将经过初始训练和调整训练后的图像分析网络发送至图像分析设备。可选的，如果服务器也对至少一个第二神经网络执行了调整操作，则服务器可以将执行过调整操作的整个图像分析网络发送至图像分析设备。服务器可以在初次将图像分析网络发送至图像分析设备之前对处理图像的亮度分量的第一神经网络进行调整，由于非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的获取难度比可见光图像的难度大，则服务器可以在初次将图像分析网络发送至图像分析设备之前，可以先利用可见光图像进行初始训练，再利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第三训练图像对第一神经网络进行调整，不仅可以获得一个成熟的网络，且初次发给图像分析设备的图像分析网络对非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的兼容度较高，有利于帮助图像分析网络获得更为精确的特征信息。

在另一种情况下，若为在步骤206之后执行步骤207，也即在服务器将本申请实施例中的图像分析网络发送给图像分析设备之后，再次触发对第一神经网络的调整操作，则步骤209和步骤206为不同的步骤，具体的，在服务器只对至少一个第一神经网络执行调整操作的情况下，服务器可以只将至少一个第一神经网络发送至图像分析设备，由图像分析设备执行对至少一个第一神经网络的替换操作；也可以由服务器执行对至少一个第一神经网络的替换操作，然后将经过调整训练后的整个图像分析网络发送至图像分析设备。可选的，如果服务器也对至少一个第二神经网络执行了调整操作，则服务器可以将执行过调整操作的整个图像分析网络发送至图像分析设备。

本实施例中，通过上述方案，可以实现服务器对处理图像的亮度分量的第一神经网络的调整，由于第一神经网络主要用于处理非可见光的亮度信息，也即可以利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第二训练图像对第一神经网络进行再次训练，使得调整后的第一神经网络更加适应非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的特性，不仅有利于帮助图像分析网络获得更为精确的特征信息，且有利于提高图像分析网络的向后兼容性。

应当理解，步骤201至步骤204与步骤207至步骤210的执行次数不是一一对应的，步骤201至步骤204的执行次数可以为一次，步骤207至步骤210的执行次数可以为多次。此外，步骤205以及步骤207至步骤210均为可选步骤，若不执行步骤205以及步骤207至步骤210，则可以执行完步骤201至步骤204之后，直接执行步骤206；若执行步骤205后的结果为不需要对图像分析网络进行调整，则可以不执行步骤207至步骤210，直接执行步骤206。

基于图2至图4所描述的实施例，接下来，对本申请实施例提供的图像处理方法中图像分析设备侧的处理流程进行介绍，由于图像采集设备采集到的第一图像集合可以具体表现为至少一张可见光图像和至少一张非可见光图像，也可以表现为至少一张多光谱图像、高光谱图像或超光谱图像等类似图像。当图像采集设备采集到的为至少一张可见光图像和至少一张非可见光图像时，图像分析设备可以直接对非可见光图像和可见光图像进行图像分析；在图像分析设备处理多光谱图像、高光谱图像或超光谱图像等类似图像时，可以先将一张多光谱图像、高光谱图像或超光谱图像解析成多张独立的见光图像和非可见光图像，再做进一步的图像分析；也可以将一张多光谱图像、高光谱图像或超光谱图像视为一个独立的图像直接进行图像分析，在前述两种情况下，图像分析设备的处理流程略有不同，以下分别对存在图像解析操作和不存在图像解析操作两种情况进行介绍。

一、存在将图像解析为多张非可见光图像和可见光图像操作

本实施例中，若图像分析设备获取到的第一图像集合为非可见光图像和可见光图像，则直接进行图像分析；若获取到的为多光谱图像、高光谱图像或超光谱图像等类似图像，会先将前述图像解析为多张非可见光图像和可见光图像，再进行图像分析，具体请参见图5，图5为本申请实施例中提供的图像处理方法的另一实施例，方法可以包括：

501、图像分析设备获取第一图像集合，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像。

本申请实施例中，图像采集设备可以采集获得拍摄对象的图像数据或视频数据，若图像分析设备和图像采集设备为同一设备，则图像分析设备可以通过内部接口从图像采集设备处获取拍摄对象的图像数据或视频数据，若图像采集设备采集的为拍摄对象的图像数据，则图像分析设备可以直接从拍摄对象的图像数据中获取第一图像集合；若图像采集设备采集的为拍摄对象的视频数据，则图像分析设备需要先从拍摄对象的视频数据中提取拍摄对象的图像数据，再从图像数据中获取第一图像集合。

进一步的，在一种情况中，若拍摄对象的图像数据中包括的为拍摄对象的至少一张非可见光图像和至少一张可见光图像，则图像分析设备可以将前述拍摄对象的至少一张非可见光图像和至少一张可见光图像确定为第一图像集合；也可以从前述至少一张非可见光图像中选取图像质量较好的至少一张非可见光图像，以及，从前述至少一张可见光图像中选取图像质量较好的至少一张可见光图像，并将选取的图像质量较好的至少一张非可见光图像和选取的图像质量较好的至少一张可见光图像确定为第一图像集合。

在另一种情况中，若拍摄对象的图像数据中包括的为拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像，则图像分析设备需要先对每张多光谱图像、高光谱图像或超光谱图像执行图像解析操作，以从一张三维图像中获得多张二维图像，也即获得拍摄对象的至少一张非可见光图像和至少一张可见光图像，进而执行根据至少一张非可见光图像和至少一张可见光图像确定第一图像集合操作。

本申请实施例提供的图像处理方法既可以处理独立的可见光图像和红外图像，又可以处理多光谱图像、高光谱图像或超光谱图像等类似图像，丰富了本方案的应用场景；且在处理多光谱图像、高光谱图像或超光谱图像时，将多光谱图像、高光谱图像或超光谱图像解析为多张可见光图像和非可见光图像之后，再进行图像分析，增加了输入的拍摄对象的第一图像集合中的图像数量，则图像分析设备可以利用更多的数据得到更为精确的结果。

502、图像分析设备对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

本申请实施例中，图像分析设备在获取到第一图像集合之后，可以确定其中任意一张图像的色彩空间类型，判断前述一张图像的色彩空间是否为同时包含亮度分量和色彩分量的色彩空间，如果不是，则需要对第一图像集合中的图像进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。由于图像采集设备采集到的图像的色彩空间可能只包括色彩分量，则可以先对第一图像集合进行色彩空间转换，从而保证了可以从第一图像集合中提取到亮度分量和色彩分量，提高了本方案的可执行性。

具体的，由于图像分析设备在对第一图像集合的任意一张图像进行色彩空间进行转换之前，图像分析网络已经从服务器处获取到了图像分析网络，则图像分析设备可以确定所述图像分析网络中有几个第一神经网络以及几个第二神经网络，进而图像分析设备可以根据第一神经网络的个数和第二神经网络的个数对第一图像集合中的任意一张图像进行色彩空间转换，转换后的色彩空间中包含的亮度分量的个数与第一神经网络的个数相同，转换后的色彩空间中包含的色彩分量的个数与第二神经网络的个数相同。作为示例，例如图像分析网络中包括一个第一神经网络和一个第二神经网络，则转换后的色彩空间为携带有一个亮度分量和一个色彩分量的色彩空间；作为另一示例，例如图像分析网络中包括一个第一神经网络和两个第二神经网络，则转换后的色彩空间可以为YCbCr、HIS或HSV等携带有一个亮度分量和两个色彩分量的色彩空间；作为再一示例，例如图像分析网络中包括一个第一神经网络和三个第二神经网络，则转换后的色彩空间为携带有一个亮度分量和三个色彩分量的色彩空间等，应理解，图像分析网络中还可以为包含其他个数的第一神经网络的数量和其他个数的第二神经网络，对应的，转换后的色彩空间还可以携带有其他个数的色彩分量，具体此处不再一一列举。

可选的，图像分析设备可以判断前述一张图像的色彩空间是否为服务器训练所述图像分析网络时采用的预设色彩空间，若不是，则图像分析设备需要对第一图像集合中的每张图像的色彩空间转换为预设色彩空间，从而使得输入的图像的色彩空间类型与训练时采用的色彩空间类型一致，则可以更好的发挥图像分析网络的图像处理能力，有利于获得更为准确的特征信息。

应当理解，步骤502为可选步骤，若第一图像集合中的图像的色彩空间为同时包含亮度分量和色彩分量的色彩空间，则不需要执行步骤502；若第一图像集合中的图像的色彩空间为同时包含亮度分量和色彩分量的色彩空间，则需要执行步骤502。

503、图像分析设备从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量。

本申请实施例中，图像分析设备在获取到第一图像集合之后，可以从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一亮度分量包括至少一张非可见光图像的亮度分量，可以具体表现为一个或多个亮度分量；第一色彩分量包括至少一张可见光图像的色彩分量，具体也可以表现为一个或多个色彩分量。可选的，第一亮度分量中还可以包括至少一张可见光图像的亮度分量，则图像分析设备不仅可以利用到非可见光图像的亮度分量，还可以利用到可见光图像的亮度分量，则图像分析设备输入到图像分析网络的数据量增多，有利于提高获取到的特征信息的精准度。

具体的，在一种情况中，图像分析设备可以将第一图像集合中的至少一张非可见光图像融合为一张非可见光图像，将第一图像集合中的至少一张可见光图像融合为一张可见光图像，从前述一张非可见光图像中提取第一亮度分量，从前述一张可见光图像中提取第一色彩分量，则第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量。

在另一种情况中，图像分析设备也可以不对第一图像集合中的至少一张非可见光图像和至少一张可见光图像执行图像融合操作，而是分别获取第一图像集合包括的至少一张非可见光图像中每张非可见光图像的至少一个亮度分量，将其确定为第一亮度分量；图像分析设备分别获取第一图像集合包括的至少一张可见光图像中每张可见光图像的至少一个色彩分量，将其确定为第一色彩分量。

504、图像分析设备将第一亮度分量输入到对应的第一神经网络中，以及，将第一色彩分量输入到对应的第二神经网络中。

本申请实施例中，由于第一神经网络和第二神经网络均可以包括一个神经网络，也可以包括至少两个神经网络，则图像分析设备在获取到第一亮度分量和第一色彩分量之后，可以先确定第一亮度分量中包含的至少一个亮度分量与至少一个第一神经网络之间的对应关系，以及，确定第一色彩分量中包含的至少一个色彩分量与至少一个第二神经网络之间的对应关系，继续结合图4进行举例，例如获取到一个亮度分量Y，两个分别为蓝色色彩分量Cb和红色色彩分量Cr的色彩分量，则需要确定蓝色色彩分量Cb和红色色彩分量Cr与两个第二神经网络的对应关系，并将蓝色色彩分量Cb和红色色彩分量Cr分别输入到相应的不同第二神经网络中，应当理解，上述举例仅为方便理解本方案，不用于限定本方案。

具体的，在一种情况中，图像分析设备可以将从融合后的一张非可见光图像中提取出来的第一亮度分量输入到对应的第一神经网络中，以及将从融合后的一张可见光图像中提取出来的第一色彩分量输入到对应的第二神经网络中。

在另一种情况中，图像分析设备也可以在获取到至少一张非可见光图像中每张非可见光图像的至少一个亮度分量和至少一张可见光图像中每张可见光图像的至少一个色彩分量之后，将每张非可见光图像的至少一个亮度分量逐次输入到对应的第一神经网络，以及，将每张可见光图像的至少一个色彩分量逐次输入对应的第二神经网络。由于图像分析设备在执行图像融合过程中，不可避免会引入一些噪声数据，从而对图像的质量带来不好的影响，进而影响图像分析网络在特征提取过程中的精准度，而本实施例提供的方案中是逐个处理每张图像，并将每张图像提取出的分量逐次输入到对应的神经网络中，从而避免了引入图像融合过程中的噪声数据，有利于准确获取拍摄对象的特征信息；此外，本实施例提供的方案中只将非可见光图像的亮度分量输入到第一神经网络，只将可见光图像的色彩分量输入第二神经网络，从而避免了引入可见光图像中由于运动模糊等情况产生的质量较差的亮度信息，提高了输出的特征信息的准确度，应当理解，第一神经网络和第二神经网络的具体表现形式已经在图2至图4所描述的实施例中有详细介绍，此处不再赘述。

505、图像分析设备将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

本申请实施例中，图像分析网络中同时包括第一神经网络、第二神经网络和第三神经网络，在获取到的拍摄对象的至少一张非可见光图像和至少一张可见光图像之后，可以获取非可见光图像的亮度分量，以及，获取可见光图像的色彩分量，将获取到的亮度分量输入到第一神经网络中，将获取到的色彩分量输入到图像分析网络的第二神经网络中，并将第一神经网络和第二神经网络的输出接入到第三神经网络中，由第三神经网络输出拍摄对象的特征信息，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对红外图像等非可见光图像的适应性，此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

506、图像分析设备将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果。

本实施例中，图像库中包含有多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息，则图像分析设备在获取到拍摄对象的特征信息之后，可以和图像库中的特征信息集合进行匹配，进而输出匹配结果，其中匹配结果可以具体表现为一张图像，作为示例，例如由于图像采集设备采集到的拍摄对象的图像可能质量较差，则当拍摄对象的特征信息与图像库中的特征信息集合中的目标预存图像的特征信息匹配成功时，由于图像库中存储的均为质量较好的图像，则可以输出目标预存图像，从而得到拍摄对象的一张质量较好的图像；匹配结果也可以具体表现为匹配成功或匹配失败的指示信息，作为另一示例，例如有些小区为人脸识别进入，则图像分析设备在获取到拍摄对象的特征信息之后，可以与图像库中的特征信息集合，前述图像库中包含的预存图像为采集的小区居民的图像，当输出的为匹配成功的指示信息时，允许拍摄对象进入，当输出的为匹配失败的指示信息时，不允许拍摄对象进入等，当然，匹配结果还可以表现为其他形式，具体应当结合实际应用场景确定，此处不做限定。

本申请实施例中，通过将拍摄对象的特征信息与图像库中的特征信息集合进行匹配的方式，来实现拍摄对象的图像与图像库中的预存图像的匹配，由于特征信息是通过图像分析网络归纳出来的信息，相对于直接将拍摄对象的图像矩阵与图像库中的预存图像的图像矩阵进行对比，大大减少了匹配过程的工作量，有利于提高匹配过程的速度。

507、图像分析设备根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

本实施例中，图像分析设备在获取到拍摄对象的特征信息之后，还可以对拍摄图像进行识别，得到拍摄对象的描述信息，其中，拍摄对象的描述信息是综合拍摄对象的特征信息得出的对拍摄对象的整体定义，作为示例，以获取停车场出入口的拍摄信息为例，拍摄对象为车牌，则拍摄对象的描述信息可以为车牌号，应当理解，此处举例仅为方便理解本方案，不用于限定本方案。图像分析设备不仅可以根据拍摄对象的特征信息与图像库中的特征信息集合进行匹配，还可以直接对拍摄对象进行识别，拓宽了本方案的应用场景。

应当理解，本申请实施例中不限定步骤506和步骤507的执行顺序，可以先执行步骤506，再执行步骤507；也可以先执行步骤507，再执行步骤506；也可以同时执行步骤506和步骤507。此外，步骤506和步骤507均为可选步骤，步骤506和步骤507可以都不执行；也可以只执行步骤506；也可以只执行步骤507。

二、不存在将图像解析为多张非可见光图像和可见光图像操作

本实施例中，在图像分析网络获取到的拍摄对象的图像为多光谱图像、高光谱图像或超光谱图像等相似类型的图像的情况下，图像分析网络不会将多光谱图像、高光谱图像或超光谱图像等相似类型的图像解析为多张非可见光图像和可见光图像，而是将多光谱图像、高光谱图像或超光谱图像等相似类型的图像视为一张独立的图像进行图像分析，具体请参见图6，图6为本申请实施例中提供的图像处理方法的另一实施例，方法可以包括：

601、图像分析设备获取拍摄对象的第一图像集合，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像。

本实施例中，图像分析设备可以从图像采集设备处获取到拍摄对象的第一图像集合，第一图像集合中包括拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像。

602、图像分析设备对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

本申请实施例中，步骤602与图5所示实施例中步骤502类似，此处不再赘述。

603、图像分析设备从至少一张多光谱图像、高光谱图像或超光谱图像提取亮度分量和色彩分量。

本实施例中，图像分析设备在获取到拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像之后，可以将前述至少一张图像融合为一张多光谱图像、高光谱图像或超光谱图像，并从中提取至少一个亮度分量和至少一个色彩分量，将其确定为至少一张多光谱图像、高光谱图像或超光谱图像的第二亮度分量和第二色彩分量；也可以从至少一张多光谱图像、高光谱图像或超光谱图像包含的每张多光谱图像、高光谱图像或超光谱图像中提取至少一个亮度分量和至少一个色彩分量，将其确定为至少一张多光谱图像、高光谱图像或超光谱图像的第二亮度分量和第二色彩分量。

604、图像分析设备将亮度分量输入到对应的第一神经网络中，以及，将色彩分量输入到对应的第二神经网络中。

本申请实施例中，图像分析设备将通过步骤603获取到的第二亮度分量中包含的至少一个亮度分量分别输入到对应的第一神经网络中，以及将通过步骤603获取到的第二色彩分量包含的至少一个色彩分量分别输入到对应的第二神经网络中，步骤604的具体实现方式与图5所示实施例中步骤504的具体实现方式类似，此处不再赘述。

605、图像分析设备将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

606、图像分析设备将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

607、图像分析设备根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

本申请实施例中，步骤605至步骤607与图5所示实施例中的步骤505至步骤507类似，此处不再赘述。

本实施例中，当拍摄对象的第一图像集合中包含拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像时，图像分析设备可以将一张多光谱图像、高光谱图像或超光谱图像视为一张独立的图像，而不再将其解析为多张非可见光图像和可见光图像，则图像分析设备无须分别处理多张图像，减少了图像分析设备的工作量，提高了图像分析过程的速度；且虽然一张多光谱图像、高光谱图像或超光谱图像中包含多张非可见光图像和可见光图像的信息，但这并不是例如智能算法对多张非可见光图像和可见光图像进行图像融合后得到的，所以也没有引入图像融合过程中的噪声数据。

为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。请先参阅图7，图7为本申请实施例提供的图像分析设备的一种结构示意图，图像分析设备700可以包括获取单元701、输入单元702和接入单元703。获取单元701，用于获取第一图像集合，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像；获取单元701，还用于从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量；输入单元702，用于将获取单元701获取的第一亮度分量输入到对应的第一神经网络中，以及，将获取单元701获取的第一色彩分量输入到对应的第二神经网络中；接入单元703，用于将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

本申请实施例中，图像分析网络同时包括第一神经网络、第二神经网络和第三神经网络，获取单元701在获取到的拍摄对象的至少一张非可见光图像和至少一张可见光图像之后，可以获取非可见光图像的亮度分量，以及，获取可见光图像的色彩分量，之后输入单元702将获取到的亮度分量输入到第一神经网络中，将获取到的色彩分量输入到图像分析网络的第二神经网络中，并由接入单元703将第一神经网络和第二神经网络的输出接入到第三神经网络中，由第三神经网络输出拍摄对象的特征信息，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对非可见光图像的适应性，由于非可见光图像中携带的亮度信息质量较好，从而本申请实施例提供的图像分析网络可以很好的发挥出非可见光图像的优势，有利于输出的拍摄对象的特征信息更为精确；此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

在一种可能的设计中，获取单元701具体用于：获取至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取至少一张可见光图像中每张可见光图像的色彩分量；输入单元702具体用于：将每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将每张可见光图像的色彩分量输入对应的第二神经网络中。

本申请实施例中，由于图像分析设备在执行图像融合过程中，不可避免会引入一些噪声数据，从而对图像的质量带来不好的影响，进而影响图像分析网络在特征提取过程中的精准度，而本实施例中获取单元701是逐个处理每张图像，并由输入单元702将每张图像提取出的分量逐次输入到对应的神经网络中，从而避免了引入图像融合过程中的噪声数据，有利于准确获取拍摄对象的特征信息；此外，本实施例提供的方案中只将非可见光图像的亮度分量输入到第一神经网络，只将可见光图像的色彩分量输入第二神经网络，从而避免了引入可见光图像中由于运动模糊等情况产生的质量较差的亮度信息，提高了输出的特征信息的准确度。

在一种可能实现方式中，获取单元701具体用于：分别获取拍摄对象的至少一张可见光图像和至少一张红外图像；或者，获取拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像；对每张多光谱图像、高光谱图像或超光谱图像进行图像解析，获得拍摄对象的至少一张非可见光图像和至少一张可见光图像。

本申请实施例中，获取单元701可以处理独立的可见光图像和红外图像，又可以处理多光谱图像、高光谱图像或超光谱图像等类似图像，丰富了本方案的应用场景；且在处理多光谱图像、高光谱图像或超光谱图像时，将多光谱图像、高光谱图像或超光谱图像解析为多张可见光图像和非可见光图像之后，再进行图像分析，增加了输入的拍摄对象的第一图像集合中的图像数量，则图像分析设备可以利用更多的数据得到更为精确的结果。

在一种可能实现方式中，请参阅图8，图8为本申请实施例提供的图像分析设备的又一种结构示意图，图像处理设备还可以包括：转换单元704，用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

本申请实施例中，由于获取单元701获取到的图像的色彩空间可能只包括色彩分量，则可以先由转换单元704对第一图像集合进行色彩空间转换，从而保证了可以从第一图像集合中提取到亮度分量和色彩分量，提高了本方案的可执行性。

在一种可能实现方式中，请参阅图8，图像处理设备还可以还包括：匹配单元705，用于将接入单元得到的拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

本申请实施例中，匹配单元705通过将拍摄对象的特征信息与图像库中的特征信息集合进行匹配的方式，来实现拍摄对象的图像与图像库中的预存图像的匹配，由于特征信息是通过图像分析网络归纳出来的信息，相对于直接将拍摄对象的图像矩阵与图像库中的预存图像的图像矩阵进行对比，大大减少了匹配过程的工作量，有利于提高匹配过程的速度。

在一种可能实现方式中，请参阅图8，图像处理设备还可以还包括：识别单元706，用于根据接入单元得到的拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

本申请实施例中，不仅可以由匹配单元705根据拍摄对象的特征信息与图像库中的特征信息集合进行匹配，还可以由识别单元706直接对拍摄对象进行识别，拓宽了本方案的应用场景。

需要说明的是，图像分析设备700中各模块/单元之间的信息交互、执行过程等内容，与本申请中图5对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图5对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

请再参阅图9，图9为本申请实施例提供的图像分析设备的又一种结构示意图，图像分析设备900包括获取单元901、提取单元902、输入单元903和接入单元904。获取单元901，用于获取拍摄对象的第一图像集合，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像，提取单元902，用于从获取单元901获取的至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量，输入单元903，用于将提取单元902提取的亮度分量输入到对应的第一神经网络中，以及，将提取单元902提取的色彩分量输入到对应的第二神经网络中，接入单元904，用于将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

本申请实施例中，当拍摄对象的第一图像集合中包含拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像时，提取单元902可以将一张多光谱图像、高光谱图像或超光谱图像视为一张独立的图像，而不再将其解析为多张非可见光图像和可见光图像，则提取单元902无须分别处理多张图像，减少了图像分析设备的工作量，提高了图像分析过程的速度；且虽然一张多光谱图像、高光谱图像或超光谱图像中包含多张非可见光图像和可见光图像的信息，但这并不是例如智能算法对多张非可见光图像和可见光图像进行图像融合后得到的，所以也没有引入图像融合过程中的噪声数据。

在一种可能实现方式中，请参阅图10，图10为本申请实施例提供的图像分析设备的再一种结构示意图，图像分析设备900还可以包括：转换单元905，用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在一种可能实现方式中，请参阅图10，图像分析设备还可以包括：匹配单元906，用于将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在一种可能实现方式中，请参阅图10，图像分析设备还可以包括：识别单元907，用于根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

需要说明的是，图像分析设备900中各模块/单元之间的信息交互、执行过程等内容，与本申请中图6对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图6对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

请再参阅图11，图11为本申请实施例提供的服务器的一种结构示意图，服务器1100包括获取单元1101、训练单元1102和发送单元1103。获取单元1101，用于获取第一训练图像集合，其中，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息，第一特征信息为预先标注的特征信息；获取单元1101，还用于获取每张第一训练图像的亮度分量和色彩分量；训练单元1102，用于根据获取单元1101获取的每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练；发送单元1103，用于将训练单元1102训练后的图像分析网络发送至图像分析设备，图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息，其中，图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络。

本申请实施例中，训练单元1102利用获取单元1101获取的第一训练图像的亮度分量、色彩分量以及第一训练图像的第一特征信息训练图像分析网络，训练获得的图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，其中第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络，由于非可见光图像的亮度分量中包括拍摄对象的形状、纹理结构等特征信息，通过第一神经网络获取到非可见光图像的亮度分量中携带的特征信息，增强了图像分析网络对红外图像等非可见光图像的适应性，此外，通过第二神经网络可以获取到可见光图像中携带的色彩信息，保证了本申请实施例提供的图像分析网络对可见光图像的兼容性，拓展了本方案的应用场景，提高了本方案的全面性。

在一种可能实现方式中，请参阅图12，图12为本申请实施例提供的服务器的另一种结构示意图，获取单元1101，还用于获取第二训练图像集合之后，获取第二训练图像集合中每张第二训练图像的亮度分量，其中，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器还可以包括：调整单元1104，用于根据每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息，对第一神经网络进行调整，发送单元1102，还用于将调整后的第一神经网络发送至图像分析设备。

本申请实施例中，通过上述方式，可以实现调整单元1104对处理图像的亮度分量的第一神经网络的调整，由于第一神经网络主要用于处理非可见光的亮度信息，也即可以利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第二训练图像对第一神经网络进行再次训练，使得调整后的第一神经网络更加适应非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的特性，不仅有利于帮助图像分析网络获得更为精确的特征信息，且有利于提高图像分析网络的向后兼容性。

在一种可能实现方式中，请参阅图12，获取单元1101，还用于获取第三训练图像集合之后，获取第三训练图像集合中每张第三训练图像的亮度分量，其中，第三训练图像集合中包含多张第三训练图像以及与多张第三训练图像中的每张第三训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，服务器还可以包括：调整单元1104，用于根据每张第三训练图像的亮度分量以及每张第三训练图像的第三特征信息，对第一神经网络进行调整，发送单元1102具体用于：将调整后的第一神经网络替换经过初始训练得到的图像分析网络中的第一神经网络之后，将执行过替换操作的图像分析网络发送至图像分析设备。

本申请实施例中，调整单元1104可以在初次将图像分析网络发送至图像分析设备之前对处理图像的亮度分量的第一神经网络进行调整，由于非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的获取难度比可见光图像的难度大，则发送单元1102可以在初次将图像分析网络发送至图像分析设备之前，先利用可见光图像进行初始训练，再利用非可见光图像、多光谱图像、高光谱图像或超光谱图像等第三训练图像对第一神经网络进行调整，不仅可以获得一个成熟的网络，且初次发给图像分析设备的图像分析网络对非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像的兼容度较高，有利于帮助图像分析网络获得更为精确的特征信息。

在一种可能实现方式中，每张第一训练图像为可见光图像，每张第二训练图像为红外图像，或者，每张第一训练图像为可见光图像，每张第二训练图像为多光谱图像、高光谱图像或超光谱图像中的任一项或任意组合。

本申请实施例中，由于随着图像采集技术的发展，获取单元1101可以获取到越来越多的非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像，且随着图像采集技术的发展，非可见光图像、多光谱图像、高光谱图像或超光谱图像等除可见光图像之外的图像可能会出现更多的特性，则获取单元1101可以接收并保存最新的非可见光图像、多光谱图像、高光谱图像或超光谱图像等图像，并根据前述图像形成第二训练图像集合，进而对图像分析网络进行再次训练，以提高图像分析网络的向后兼容性，并且提高图像分析网络的图像分析能力。

需要说明的是，服务器1100中各模块/单元之间的信息交互、执行过程等内容，与本申请中图2至图4对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图2至图4对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例提供的一种图像分析设备，请参阅图13，图13为本申请实施例提供的图像分析设备的一种结构示意图，图像分析设备1300包括：接收器1301、发射器1302、处理器1303和存储器1304(其中图像分析设备1300中的处理器1303的数量可以一个或多个，图13中以一个处理器为例)，其中，处理器1303可以包括应用处理器13031和通信处理器13032。在本申请的一些实施例中，接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接。

存储器1304可以包括只读存储器和随机存取存储器，并向处理器1303提供指令和数据。存储器1304的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1304存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器1303控制图像分析设备的操作。具体的应用中，图像分析设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1303中，或者由处理器1303实现。处理器1303可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1303可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304，处理器1303读取存储器1304中的信息，结合其硬件完成上述方法的步骤。

接收器1301可用于接收输入的数字或字符信息，以及产生与图像分析设备的相关设置以及功能控制有关的信号输入。发射器1302可用于通过第一接口输出数字或字符信息；发射器1302还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1302还可以包括显示屏等显示设备。

本申请实施例中，处理器1303，用于执行图5对应实施例中的图像分析设备执行的图像处理方法。具体的，应用处理器13031，用于获取第一图像集合，第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像，从第一图像集合中获取第一亮度分量和第一色彩分量，其中，第一亮度分量包括至少一张非可见光图像的亮度分量，第一色彩分量包括至少一张可见光图像的色彩分量，将第一亮度分量输入到对应的第一神经网络中，以及，将第一色彩分量输入到对应的第二神经网络中，将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

在一种可能的设计中，应用处理器13031，具体用于获取至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取至少一张可见光图像中每张可见光图像的色彩分量，将每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将每张可见光图像的色彩分量输入对应的第二神经网络中。

在一种可能的设计中，应用处理器13031，具体用于分别获取拍摄对象的至少一张可见光图像和至少一张红外图像；或者，获取拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像；对每张多光谱图像、高光谱图像或超光谱图像进行图像解析，获得拍摄对象的至少一张非可见光图像和至少一张可见光图像。

在一种可能的设计中，应用处理器13031，还用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在一种可能的设计中，应用处理器13031，还用于将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在一种可能的设计中，应用处理器13031，还用于根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

需要说明的是，应用处理器13031执行上述各个步骤的具体方式，与本申请中图5对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图5对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

请参阅图14，图14为本申请实施例提供的图像分析设备的一种结构示意图，图像分析设备1400包括：接收器1401、发射器1402、处理器1403和存储器1404(其中图像分析设备1400中的处理器1403的数量可以一个或多个，图14中以一个处理器为例)，其中，处理器1403可以包括应用处理器14031和通信处理器14032。在本申请的一些实施例中，接收器1401、发射器1402、处理器1403和存储器1404可通过总线或其它方式连接。

存储器1404可以包括只读存储器和随机存取存储器，并向处理器1403提供指令和数据。存储器1404的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1404存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器1403控制图像分析设备的操作。具体的应用中，图像分析设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1403中，或者由处理器1403实现。处理器1403可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1403可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1403可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1404，处理器1403读取存储器1404中的信息，结合其硬件完成上述方法的步骤。

接收器1401可用于接收输入的数字或字符信息，以及产生与图像分析设备的相关设置以及功能控制有关的信号输入。发射器1402可用于通过第一接口输出数字或字符信息；发射器1402还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1402还可以包括显示屏等显示设备。

本申请实施例中，处理器1403，用于执行图6对应实施例中的图像分析设备执行的图像处理方法。具体的，应用处理器14031，用于获取拍摄对象的第一图像集合，第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像，从至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量，将亮度分量输入到对应的第一神经网络中，以及，将色彩分量输入到对应的第二神经网络中，将第一神经网络和第二神经网络的输出接入到第三神经网络中，得到拍摄对象的特征信息，其中，第一神经网络、第二神经网络和第三神经网络均归属于同一图像分析网络。

在一种可能的设计中，应用处理器14031，还用于对第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

在一种可能的设计中，应用处理器14031，还用于将拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，图像库中包括多张预存图像，图像库中的特征信息集合中包含多张预存图像中的每张预存图像的特征信息。

在一种可能的设计中，应用处理器14031，还用于根据拍摄对象的特征信息，对拍摄图像进行识别，得到拍摄对象的描述信息。

需要说明的是，应用处理器14031执行上述各个步骤的具体方式，与本申请中图6对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图6对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种服务器，请参阅图15，图15是本申请实施例提供的服务器一种结构示意图，该服务器1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1522(例如，一个或一个以上处理器)和存储器1532，一个或一个以上存储应用程序1542或数据1544的存储介质1530(例如一个或一个以上海量存储设备)。其中，存储器1532和存储介质1530可以是短暂存储或持久存储。存储在存储介质1530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1522可以设置为与存储介质1530通信，在服务器1500上执行存储介质1530中的一系列指令操作。

服务器1500还可以包括一个或一个以上电源1526，一个或一个以上有线或无线网络接口1550，一个或一个以上输入输出接口1558，和/或，一个或一个以上操作系统1541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器1522，用于执行图2至图4对应实施例中的服务器执行的图像处理方法。具体的，中央处理器1522，用于获取第一训练图像集合，其中，第一训练图像集合中包含多张第一训练图像以及与多张第一训练图像中的每张第一训练图像对应的第一特征信息，第一特征信息为预先标注的特征信息，服务器获取每张第一训练图像的亮度分量和色彩分量，服务器根据每张第一训练图像的亮度分量和色彩分量以及每张第一训练图像的第一特征信息，对图像分析网络进行训练，服务器将训练后的图像分析网络发送至图像分析设备，图像分析网络用于供图像分析设备根据拍摄对象的图像和图像分析网络，得到拍摄对象的第二特征信息，其中，图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，第一神经网络为接入拍摄对象的图像的亮度分量的神经网络，第二神经网络为接入拍摄对象的图像的色彩分量的神经网络，第三神经网络为输出第二特征信息的神经网络。

在一种可能的设计中，中央处理器1522，还用于获取第二训练图像集合，其中，第二训练图像集合中包含多张第二训练图像以及与多张第二训练图像中的每张第二训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，获取每张第二训练图像的亮度分量，根据每张第二训练图像的亮度分量以及每张第二训练图像的第三特征信息，对第一神经网络进行调整，将调整后的第一神经网络发送至图像分析设备。

在一种可能的设计中，中央处理器1522，还用于获取第三训练图像集合中每张第三训练图像的亮度分量，其中，第三训练图像集合中包含多张第三训练图像以及与多张第三训练图像中的每张第三训练图像对应的第三特征信息，第三特征信息为预先标注的特征信息，根据每张第三训练图像的亮度分量以及每张第三训练图像的第三特征信息，对第一神经网络进行调整，将调整后的第一神经网络替换经过初始训练得到的图像分析网络中的第一神经网络之后，将执行过替换操作的图像分析网络发送至图像分析设备。

具体的，每张第一训练图像为可见光图像，每张第二训练图像为红外图像；或者，每张第一训练图像为可见光图像，每张第二训练图像为多光谱图像、高光谱图像或超光谱图像中的任一项或任意组合。

需要说明的是，中央处理器1522执行上述各个步骤的具体方式，与本申请中图2至图4对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图2至图4对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例中还提供一种计算机程序产品，其中包括用于进行图像处理的程序，当其在计算机上运行时，使得计算机执行如前述图5或图6所示实施例描述的方法中终端设备所执行的步骤。

本申请实施例中还提供一种计算机程序产品，其中包括用于进行图像处理的程序，当其在计算机上运行时，使得计算机执行如前述图2至图4所示实施例描述的方法中服务器所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行图像处理的程序，当其在计算机上运行时，使得计算机执行如前述图5或图6所示实施例描述的方法中终端设备所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行图像处理的程序，当其在计算机上运行时，使得计算机执行如前述图2至图4所示实施例描述的方法中服务器所执行的步骤。

本申请实施例提供的图像分析设备或者服务器具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使终端内的芯片执行上述第一方面任意一项的全双工自干扰消除方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法应用于图像分析设备，所述方法包括：

获取第一图像集合，所述第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像；

从所述第一图像集合中获取第一亮度分量和第一色彩分量，其中，所述第一亮度分量包括所述至少一张非可见光图像的亮度分量，所述第一色彩分量包括所述至少一张可见光图像的色彩分量；

将所述第一亮度分量输入到对应的第一神经网络中，以及，将所述第一色彩分量输入到对应的第二神经网络中；

将所述第一神经网络和第二神经网络的输出接入到第三神经网络中，得到所述拍摄对象的特征信息，其中，所述第一神经网络、所述第二神经网络和所述第三神经网络均归属于同一图像分析网络。

2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像集合中获取第一亮度分量和第一色彩分量，其中，所述第一亮度分量包括所述至少一张非可见光图像的亮度分量，所述第一色彩分量包括所述至少一张可见光图像的色彩分量，包括：

获取所述至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取所述至少一张可见光图像中每张可见光图像的色彩分量；

所述将所述第一亮度分量输入到对应的第一神经网络中，以及，将所述第一色彩分量输入到对应的第二神经网络中，包括：

将所述每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将所述每张可见光图像的色彩分量输入对应的第二神经网络中。

3.根据权利要求1所述的方法，其特征在于，所述获取第一图像集合，包括：

分别获取所述拍摄对象的至少一张可见光图像和至少一张红外图像；或者，

获取所述拍摄对象的至少一张多光谱图像、高光谱图像或超光谱图像；

对每张多光谱图像、高光谱图像或超光谱图像进行图像解析，获得所述拍摄对象的至少一张非可见光图像和至少一张可见光图像。

4.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像集合的亮度分量和色彩分量之前，所述方法还包括：

对所述第一图像集合进行色彩空间转换，转换后的色彩空间中包括亮度分量和色彩分量。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

将所述拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，所述图像库中包括多张预存图像，所述图像库中的特征信息集合中包含所述多张预存图像中的每张预存图像的特征信息；或者，

根据所述拍摄对象的特征信息，对所述拍摄图像进行识别，得到所述拍摄对象的描述信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，从一张非可见光图像中获取的第一亮度分量的数量是1个，所述第一神经网络的数量是1个；

从一张可见光图像中获取的第一色彩分量的数量是2个，所述第二神经网络的数量是2个，每个第二神经网络对应1个第一色彩分量。

7.一种图像处理方法，其特征在于，所述方法应用于图像分析设备，所述方法包括：

获取拍摄对象的第一图像集合，所述第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像；

从所述至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量；

将所述亮度分量输入到对应的第一神经网络中，以及，将所述色彩分量输入到对应的第二神经网络中；

将所述第一神经网络和第二神经网络的输出接入到第三神经网络中，得到所述拍摄对象的特征信息，其中，所述第一神经网络、所述第二神经网络和第三神经网络均归属于同一图像分析网络。

8.一种图像处理方法，其特征在于，所述方法包括：

服务器获取第一训练图像集合，其中，所述第一训练图像集合中包含多张第一训练图像以及与所述多张第一训练图像中的每张第一训练图像对应的第一特征信息，所述第一特征信息为预先标注的特征信息；

所述服务器获取所述每张第一训练图像的亮度分量和色彩分量；

所述服务器根据所述每张第一训练图像的亮度分量和色彩分量以及所述每张第一训练图像的第一特征信息，对图像分析网络进行训练；

所述服务器将训练后的图像分析网络发送至图像分析设备，所述图像分析网络用于供所述图像分析设备根据拍摄对象的图像和所述图像分析网络，得到所述拍摄对象的第二特征信息，其中，所述图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，所述第一神经网络为接入所述拍摄对象的图像的亮度分量的神经网络，所述第二神经网络为接入所述拍摄对象的图像的色彩分量的神经网络，所述第三神经网络为输出所述第二特征信息的神经网络。

9.根据权利要求8所述的方法，其特征在于，在所述服务器根据所述每张第一训练图像的亮度分量和色彩分量以及所述每张第一训练图像的第一特征信息，对图像分析网络进行训练之后，所述方法还包括：

所述服务器获取第二训练图像集合，其中，所述第二训练图像集合中包含多张第二训练图像以及与所述多张第二训练图像中的每张第二训练图像对应的第三特征信息，所述第三特征信息为预先标注的特征信息；

所述服务器获取所述每张第二训练图像的亮度分量；

所述服务器根据所述每张第二训练图像的亮度分量以及所述每张第二训练图像的第三特征信息，对所述第一神经网络进行调整；

所述服务器将调整后的第一神经网络发送至所述图像分析设备。

10.一种图像分析设备，其特征在于，所述设备包括：

获取单元，用于获取第一图像集合，所述第一图像集合中包括拍摄对象的至少一张非可见光图像和至少一张可见光图像；

所述获取单元，还用于从所述第一图像集合中获取第一亮度分量和第一色彩分量，其中，所述第一亮度分量包括所述至少一张非可见光图像的亮度分量，所述第一色彩分量包括所述至少一张可见光图像的色彩分量；

输入单元，用于将所述获取单元获取的第一亮度分量输入到对应的第一神经网络中，以及，将所述获取单元获取的第一色彩分量输入到对应的第二神经网络中；

接入单元，用于将所述第一神经网络和第二神经网络的输出接入到第三神经网络中，得到所述拍摄对象的特征信息，其中，所述第一神经网络、所述第二神经网络和第三神经网络均归属于同一图像分析网络。

11.根据权利要求10所述的设备，其特征在于，所述获取单元具体用于：获取所述至少一张非可见光图像中每张非可见光图像的亮度分量，以及，获取所述至少一张可见光图像中每张可见光图像的色彩分量；

所述输入单元具体用于：将所述每张非可见光图像的亮度分量输入对应的第一神经网络中，以及，将所述每张可见光图像的色彩分量输入对应的第二神经网络中。

12.根据权利要求10或11所述的设备，其特征在于，所述设备还包括：

匹配单元，用于将所述接入单元得到的拍摄对象的特征信息与图像库中的特征信息集合进行匹配，得到匹配结果，其中，所述图像库中包括多张预存图像，所述图像库中的特征信息集合中包含所述多张预存图像中的每张预存图像的特征信息；或者，

识别单元，用于根据所述接入单元得到的拍摄对象的特征信息，对所述拍摄图像进行识别，得到所述拍摄对象的描述信息。

13.一种图像分析设备，其特征在于，所述设备包括：

获取单元，用于获取拍摄对象的第一图像集合，所述第一图像集合中包括至少一张多光谱图像、高光谱图像或超光谱图像；

提取单元，用于从所述获取单元获取的至少一张多光谱图像、高光谱图像或超光谱图像中提取亮度分量和色彩分量；

输入单元，用于将所述提取单元提取的亮度分量输入到对应的第一神经网络中，以及，将所述提取单元提取的色彩分量输入到对应的第二神经网络中；

接入单元，用于将所述第一神经网络和第二神经网络的输出接入到第三神经网络中，得到所述拍摄对象的特征信息，其中，所述第一神经网络、所述第二神经网络和第三神经网络均归属于同一图像分析网络。

14.一种服务器，其特征在于，所述服务器包括：

获取单元，用于获取第一训练图像集合，其中，所述第一训练图像集合中包含多张第一训练图像以及与所述多张第一训练图像中的每张第一训练图像对应的第一特征信息，所述第一特征信息为预先标注的特征信息；

所述获取单元，还用于获取所述每张第一训练图像的亮度分量和色彩分量；

训练单元，用于根据所述获取单元获取的每张第一训练图像的亮度分量和色彩分量以及所述每张第一训练图像的第一特征信息，对图像分析网络进行训练；

发送单元，用于将所述训练单元训练后的图像分析网络发送至图像分析设备，所述图像分析网络用于供所述图像分析设备根据拍摄对象的图像和所述图像分析网络，得到所述拍摄对象的第二特征信息，其中，所述图像分析网络包括第一神经网络、第二神经网络以及第三神经网络，所述第一神经网络为接入所述拍摄对象的图像的亮度分量的神经网络，所述第二神经网络为接入所述拍摄对象的图像的色彩分量的神经网络，所述第三神经网络为输出所述第二特征信息的神经网络。

15.根据权利要求14所述的服务器，其特征在于，

所述获取单元，还用于获取第二训练图像集合，其中，所述第二训练图像集合中包含多张第二训练图像以及与所述多张第二训练图像中的每张第二训练图像对应的第三特征信息，所述第三特征信息为预先标注的特征信息；

所述获取单元，还用于获取所述每张第二训练图像的亮度分量；

所述服务器还包括：调整单元，用于根据所述每张第二训练图像的亮度分量以及所述每张第二训练图像的第三特征信息，对所述第一神经网络进行调整；

所述发送单元，还用于将调整后的第一神经网络发送至所述图像分析设备。

16.一种通信设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，所述通信设备为图像分析设备或者服务器；

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述通信设备执行如权利要求1至5中任一项所述的方法，或者，使得所述通信设备执行如权利要求6所述的方法，或者，使得所述通信设备执行如权利要求7至9中任一项所述的方法。

Images