CN110738251B - 图像处理方法、图像处理装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，属于图像处理领域。所述方法应用于电子设备，所述电子设备包括红外摄像模组，所述红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；所述方法包括：获取由所述红外摄像模组采集的红外图像和深度图像；识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息；根据所述深度图像确定各所述对象的深度信息；基于各所述对象的类别信息和深度信息，对所述电子设备进行控制。本公开可以准确识别图像中对象的类别和深度信息，特别适用于暗光或夜间环境，实用性较高。

Description

图像处理方法、图像处理装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，图像处理得到了越来越广泛的应用，各种终端设备上也具备了越来越多易操作、多样化的图像处理功能，例如虚化图像背景、识别人脸或其他对象等等。其中，现有技术中对图像进行处理以识别其包括的对象，通常对环境具有较高的要求，例如光线照明良好的情况下。而在暗光或夜间的环境下，却难以对对象进行有效识别，更无法确定关于对象位置的具体信息。

因此，如何采用合适的方式，对图像进行有效处理，使得在各种情况下，都能够准确识别图像中包含的对象，以及对象的具体位置信息，是现有技术亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质，进而至少在一定程度上克服现有的图像处理技术适用范围具有局限性、且处理结果不够详尽的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备包括红外摄像模组，所述红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；所述方法包括：获取由所述红外摄像模组采集的红外图像和深度图像；识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息；根据所述深度图像确定各所述对象的深度信息；基于各所述对象的类别信息和深度信息，对所述电子设备进行控制。

根据本公开的第二方面，提供一种图像处理装置，应用于电子设备，所述电子设备包括红外摄像模组，所述红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；所述装置包括：图像获取模块，用于获取由所述红外摄像模组采集的红外图像和深度图像；对象识别模块，用于识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息；信息确定模块，用于根据所述深度图像确定各所述对象的深度信息；设备控制模块，用于基于各所述对象的类别信息和深度信息，对所述电子设备进行控制。

根据本公开的第三方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；以及红外摄像模组，用于通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。

本公开的示例性实施例具有以下有益效果：

根据上述图像处理方法、图像处理装置、电子设备及存储介质，获取由红外摄像模组采集的红外图像和深度图像，识别红外图像中的一个或多个对象，以确定各对象的类别信息，根据深度图像确定各对象的深度信息，基于各对象的类别信息和深度信息，对电子设备进行控制。一方面，通过对红外图像和深度图像的处理，既能够确认图像中所包含对象的类别信息，还能够确定对象的深度信息，结合类别信息和深度信息，丰富了图像处理的结果，增加了对图像中多种对象的全面感知，提高了图像处理结果在应用中的有效性；另一方面，通过红外信号的采集得到红外图像和深度图像，对环境的光照条件要求较低，特别是在暗光或夜间的环境下，仍然能够对图像进行良好处理，得到较为准确的处理结果；再一方面，本示例性实施例可以通过红外摄像模组采集红外图像和深度图像，无需设置分离的红外图像采集装置和深度图像采集装置，充分利用硬件的功能，降低硬件成本，并有利于实现设备的小型化和轻薄化。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施例中一种图像处理方法的流程图；

图2示出本示例性实施例中的红外图像和深度图像；

图3示出本示例性实施例中语义分割的示意图；

图4示出本示例性实施例中一种图像处理方法的子流程图；

图5示出本示例性实施例中另一种图像处理方法的子流程图；

图6示出本示例性实施例中再一种图像处理方法的子流程图；

图7示意性示出本示例性实施例中一种图像处理装置的结构框图；

图8示意性示出本示例性实施例中一种用于实现上述方法的电子设备；

图9示意性示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

本公开的示例性实施例首先提供了一种图像处理方法，应用于电子设备，其可以是智能手机、笔记本电脑、平板电脑、VR(Virtual Reality，虚拟现实)/AR(AugmentedReality，增强现实)中的头戴式设备等具有拍摄功能的终端设备。该电子设备包括红外摄像模组，其可以通过发射红外脉冲信号、接收红外辐摄信号采集红外图像，并通过发射红外脉冲信号、接收红外反射信号采集深度图像。例如，该红外摄像模组可以包括红外发射组件，以向前方环境中发射红外脉冲信号，红外脉冲信号到达环境中的物体后，一部分被吸收后以辐射的形式发散出来，另一部分被反射回来；该红外摄像模组还可以包括红外辐射接收和红外反射接收组件，前者通过接收红外辐射信号，基于主动式红外成像将其处理为红外图像，后者通过接收红外反射信号，基于相位差的计算将其处理为深度图像。由此，通过一个组件发射一种信号，可以得到两种类型的图像。

本实施例方法的应用场景包括但不限于：AR游戏场景中，特别是在较暗的室内环境中，用户佩戴头戴式设备对环境中的物体及其位置进行识别检测，以进行良好的交互，避免用户与物体发生碰撞；自动驾驶场景中，特别是在夜间行车中，通过车载设备识别前方的物体以及距离，从而自动控制车辆的路线和速度；无人机作业的场景中，特别是在隧道、管道等弱光照环境中作业时，对前方的物体、障碍物及其距离进行识别，以有效监测环境信息，并自动规划航线等。

下面结合附图1对本示例性实施例做进一步说明，如图1所示，图像处理方法可以包括以下步骤S110～S140：

步骤S110，获取由红外摄像模组采集的红外图像和深度图像。

其中，红外摄像模组采集红外图像和深度图像的原理如上所述，相当于在一般的红外成像模组中设置了TOF(Time Of Flight，飞行时间)摄像头，使得一个红外摄像模组可以实现两种功能的拍照。本示例性实施例中，红外图像和深度图像可以是对相同环境图像的拍照，实际应用中，红外摄像模组对图像的采集通常是连续进行的，在每一帧都可以采集一组红外图像和深度图像，两图像可视为同一帧图像。在一示例性实施例中，红外摄像模组中接收红外辐射信号的摄像头和接收红外反射信号的摄像头之间存在一定程度的位置偏差，所采集到的原始的红外图像和深度图像之间存在位置或角度的畸变，为了后续便于处理，可以将两图像进行配准，使其呈现出相同的拍摄位置和角度。

如图2所示，图2A为红外图像，图2B为深度图像，两图像中的内容基本一致，都是两个人在房间中进行游戏，不同的是两个图像中的信息类型不同，红外图像包含更加丰富的画面信息，特别是细节内容，深度图像主要包含图像中的深度信息。

步骤S120，识别红外图像中的一个或多个对象，以确定各对象的类别信息。

其中，在步骤S110中红外摄像模组获取的红外图像中可能会包括一个或多个对象，例如在拍摄人的红外图像时，可能会拍摄到人周围的环境，如汽车、树木等，则人、汽车、树木等均为红外图像中包含的对象。类别信息是指能够反映上述对象属性的信息，其可以是针对对象进行的粗粒度分类的类别信息，例如动物、植物、建筑、车辆等；也可以是针对对象进行的细粒度分类的类别信息，例如人类、猫、树木、草、汽车、摩托车等等。

在一示例性实施例中，上述步骤S120可以包括：

基于预先训练的语义分割模型，对红外图像进行处理，得到红外图像中一个或多个对象的类别信息。

语义分割是在像素级别上对图像进行分类识别，属于同一类别的像素被归为一类，因此语义分割是从像素级别来理解图像的。如图3所示，可以将属于人的像素都分为第一类，属于树的像素分为第二类，属于车的像素分为第三，从而识别出图像中的不同类别的对象。本示例性实施例可以通过大量的训练数据以及其对应的类别标签训练一语义分割模型。通过该语义分割模型对红外图像进行处理，以确定红外图像中一个或多个对象的类别信息。语义分割模型即可以将红外图像中的每个像素点分配到某个对象的类别中。对红外图像进行语义分割，实质上是对红外图像中包含的每个对象所在的区域进行分割，以识别其对象所在的类别。具体的，在对红外图像进行语义分割时，可以为图像中的每个像素点指定语义标签，例如道路、天空、人类或者猫狗等对象的语义标签，该语义标签可以视为一个或多个对象的类别信息。

为了使本示例性实施例可以具有更加广泛的应用范围，使其能够应用于便捷的移动终端，可以使用轻量级的语义分割模型。在一示例性实施例中，上述语义分割模型可以包括编码器和解码器；其中，编码器用于对红外图像进行下采样，得到红外图像对应的中间特征数据，解码器用于对中间特征数据进行上采样，得到红外图像中各对象的类别信息。编码器和解码器可以是对称结构，也可以是非对称结构。在本示例性实施例中，编码器可以采用卷积神经网络，通过卷积加池化的操作将输入的红外图像下采样，以从图像语义的角度提取特征并进行特征学习，而解码器可以通过反卷积等操作逐步恢复图像的细节特征，并在不同尺度上对特征做进一步学习，最终输出和红外图像分辨率相同的像素分类结果。从编码器到解码器之间，通常存在直接的信息连接，以帮助解码器更好地恢复输出的目标结果的细节。

进一步的，为了在解码过程中保证图像上采样的准确度，同时提高特征学习的深度，解码器可以采用金字塔结构，即通过多个反卷积层的组合设置，将中间特征数据逐步恢复到初始分辨率的图像特征。

另外，为了提高了语义分割模型对红外图像的分割和识别能力，还可以在解码器中添加注意力层，使获得的输出结果具有更高的准确性，提高相似图像之间的区分度以及模型的泛化能力。

步骤S130，根据深度图像确定各对象的深度信息。

在红外摄像模组中，红外发射组件发出经过调制的预设波段的红外脉冲信号，当遇到被拍摄对象后反射信号，红外反射接收组件通过计算预设波段的红外脉冲信号发射和反射的时间差或相位差，即可以计算出与对象之间的距离，以确定深度信息。

在一示例性实施例中，参考图4所示，步骤S130可以具体包括以下步骤S410和S420：

步骤S410，基于红外图像和深度图像之间的像素映射关系，确定各对象在深度图像中的位置；

步骤S420，根据各对象在深度图像中对应的各像素的深度值，确定各对象的深度信息。

其中，红外图像和深度图像的像素数(或分辨率)不同，红外图像的像素数通常较高，深度图像的像素数通常较低，即红外图像中的一个像素映射到深度图像中的多个像素。由此，根据对象在红外图像中的像素坐标，可以计算出其在深度图像中的像素坐标，其所覆盖的像素的深度值，代表了该对象和设备间的距离，统计这些像素的深度值，可以确定该对象的深度值范围，即本示例性实施例中的深度信息，例如图像中树的深度值范围(距离范围)为0.8～1.2米，则其深度信息为0.8～1.2米。

进一步的，参考图5所示，步骤S420可以具体通过以下步骤S510～S530实现：

步骤S510，获取每个对象的中心像素深度值和边缘像素深度值；

步骤S520，删除和中心像素深度值的差值超过预设阈值的边缘像素深度值；

步骤S530，将中心像素深度值和边缘像素深度值加权，得到该对象的深度信息。

其中，中心像素深度值是指每个对象中心部分所覆盖像素的深度值，与之相对应的边缘部分所覆盖像素的深度值为边缘像素深度值。由于边缘部分的像素可能包括一部分其他对象，其深度值可能不准确，因此可以通过计算边缘像素深度值和中心像素深度值的差值，衡量边缘像素深度值是否准确。具体而言，根据经验以及场景的物体信息确定预设阈值，预设阈值可以表示一般对象的深度值跨度，当上述差值超过预设阈值时，表示一个对象超出了正常的深度值跨度，判断其边缘像素深度值不准确，将其删除。这样保留下来的边缘像素深度值是较为可信的，最后将中心像素深度值和边缘像素深度值加权，得到对象的深度信息。权重可以根据经验或中心部分、边缘部分所占的比例确定，本公开对此不做限定。

步骤S140，基于各对象的类别信息和深度信息，对电子设备进行控制。

在本示例性实施例中，可以根据确定的各个对象的类别信息和深度信息，对电子设备进行控制，例如在移动客户端的显示界面显示包含对象具体信息的图像，或者控制无人机或无人车等电子设备进行作业等等，本公开对此不做具体限定。

在一示例性实施例中，上述步骤S140可以包括：

在电子设备的显示区域显示目标图像，其中，目标图像为标注有类别信息和深度信息的图像。

本示例性实施例可以在确定图像中各对象的类别信息和深度信息后，对图像中的各对象进行标注处理，以在电子设备的显示区域显示经过处理的目标图像，例如识别到某对象为一棵树，距离设备的距离为0.8～1.2米，另一对象为一只羊，距离红外摄像模组的距离为3米，则可以对图像中树对应的像素区域进行标注“树，0.8～1.2米(也可以近似取一个平均值，例如1米)”，在羊对应的像素区域进行标注“羊，3米”，则目标图像为包含“树”与“羊”的类别与距离的图像。其中，显示区域可以是手机、平板电脑等电子设备中具有显示功能的区域，例如屏幕。特别的，根据实际需要，目标图像可以显示于屏幕的整体区域或局部区域。在本示例性实施例中，目标图像可以是红外图像，也可以是彩色图像或灰度图像等。另外，上述标注方式也可以有多种，例如类别信息可以是表示对象的文字信息，也可以是能够代表对象的标识信息，例如对象为羊时，可以用“羊”标注，也可以用羊或者动物的图标进行标注等等。对于不同重要程度的对象还可以进行不同颜色的标注，例如危险对象如车辆、狗等对象，在标注时可以使用红色字体，或者将该类对象所在像素区域进行警示标记等，本公开对此不做具体限定。

在一示例性实施例中，上述电子设备还可以包括无人机或无人车；

则上述步骤S140可以包括：

根据各对象的类别信息和深度信息，规划无人机或无人车的行驶路线。

本示例性实施例还可以应用于无人机或无人车进行作业的场景中，特别是在隧道、管道等弱光照环境中作业时，通过对周围环境中物体、障碍物类别信息和深度信息的识别，可以确定物体或障碍物的类别和位置，从而对环境信息进行有效分析，确定无人机或无人车的良好行驶路线等。

基于上述说明，在本示例性实施例中，获取由红外摄像模组采集的红外图像和深度图像，识别红外图像中的一个或多个对象，以确定各对象的类别信息，根据深度图像确定各对象的深度信息，基于各对象的类别信息和深度信息，对电子设备进行控制。一方面，通过对红外图像和深度图像的处理，既能够确认图像中所包含对象的类别信息，还能够确定对象的深度信息，结合类别信息和深度信息，丰富了图像处理的结果，增加了对图像中多种对象的全面感知，提高了图像处理结果在应用中的有效性；另一方面，通过红外信号的采集得到红外图像和深度图像，对环境的光照条件要求较低，特别是在暗光或夜间的环境下，仍然能够对图像进行良好处理，得到较为准确的处理结果；再一方面，本示例性实施例可以通过红外摄像模组采集红外图像和深度图像，无需设置分离的红外图像采集装置和深度图像采集装置，充分利用硬件的功能，降低硬件成本，并有利于实现设备的小型化和轻薄化。

在一示例性实施例中，参考图6所示，上述语义分割模型可以通过以下步骤S610和S620获得：

步骤S610，获取通用数据，并将通用数据作为第一训练集，结合与第一训练集中各训练数据对应的类别标签预训练机器学习模型，得到中间模型；

步骤S620，获取自定义数据，并将自定义数据作为第二训练集，结合第二训练集中各训练数据对应的类别标签训练中间模型，得到语义分割模型。

本示例性实施例为了获取准确语义分割模型，可以通过两个阶段训练机器学习模型。第一阶段，通过根据通用数据训练机器学习模型，其中，通用数据可以是COCO数据集中的图像数据，COCO数据集是一个大型图像数据集，其可以为对象检测、分割、人体关键点检测、语义分割和字幕等领域提供大量训练数据；第二阶段，通过自定义数据训练第一阶段得到的中间模型，其中，自定义数据是指具有场景针对性的图像数据，例如为了使本示例性实施例更够在夜间或照明条件不好的环境下更好的应用，自定义数据可以是大量的夜间或照明条件不好的红外图像的数据。结合训练数据对应语义的类别标签，训练过程可以包括：机器学习模型以图像特征数据为输入，输出训练图像中对象为哪一类别的分类结果，通过调整模型参数，可以使输出的分类结果越来越接近类别标签，直到模型的准确率达到一定的标准，可以认为训练完成。

需要补充的是，在准备自定义数据时，为了降低工作量，可以将公共数据集中的彩色图像进行单通道处理，具体可以根据红外图像的预设通道对彩色图像进行转换，例如将RGB图像转换为G通道的图像或灰度图像等，这样可以快速获得大量的自定义数据。

为降低语义分割模型的计算复杂度，使其能够部署到不同的应用场景中。在一示例性实施例中，在训练语义分割模型时，还可以对其进行以下任意一种或多种简化处理：网络剪枝、网络量化和权重共享。其中，网络剪枝是指对训练完成的神经网络进行压缩处理，剪去语义分割模型中神经元之间不重要的连接，以达到减小模型复杂度的目的；其剪枝策略通常可以采用阈值法，具体过程可以是，针对是训练完成的神经网络，确定一个剪枝阈值，将权重小于该阈值的连接剪开，得到一稀疏连接的网络，考虑到剪枝后网络性能可能会下降，因此，可以通过对剪枝后的稀疏网络再次进行训练，以提高模型性能。通过对模型进行剪枝，可以大大减少所需的参数数量。网络量化是一种模型加速方法的总称，其可以包括二值化网络、三值化网络和深度压缩等。权重共享是指在模型中设置一部分相同的权重，以达到共享的目的，也是一种简化模型的手段。本示例性实施例可以采用上述任意一种，也可以采用上述任意多种的组合，本公开对此不做限定。

本公开的示例性实施例还提供了一种图像处理装置，该装置可以应用于电子设备，该电子设备包括红外摄像模组，该红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；如图7所示，该图像处理装置700可以包括：图像获取模块710，用于获取由红外摄像模组采集的红外图像和深度图像；对象识别模块720，用于识别红外图像中的一个或多个对象，以确定各对象的类别信息；信息确定模块730，用于根据深度图像确定各对象的深度信息；设备控制模块740，用于基于各对象的类别信息和深度信息，对电子设备进行控制。

在一示例性实施例中，对象识别模块720，可以用于基于预先训练的语义分割模型，对红外图像进行处理，得到红外图像中一个或多个对象的类别信息。

在一示例性实施例中，语义分割模型可以包括：编码器，用于对红外图像进行下采样，得到红外图像对应的中间特征数据；解码器，用于对中间特征数据进行上采样，得到红外图像中各对象的类别信息。

在一示例性实施例中，图像处理装置700还可以包括：模型训练模块，用于获取通用数据，并将通用数据作为第一训练集，结合与第一训练集中各训练数据对应的类别标签预训练机器学习模型，得到中间模型，以及获取自定义数据，并将自定义数据作为第二训练集，结合第二训练集中各训练数据对应的类别标签训练中间模型，得到语义分割模型。

在一示例性实施例中，模型训练模块，还可以用于在训练语义分割模型时，对语义分割模型进行以下一种或多种简化处理：网络剪枝、网络量化和权重共享。

在一示例性实施例中，信息确定模块730可以包括：对象位置确定单元，用于基于红外图像和深度图像之间的像素映射关系，确定各对象在深度图像中的位置；深度信息确定单元，用于根据各对象在深度图像中对应的各像素的深度值，确定各对象的深度信息。

在一示例性实施例中，深度信息确定单元，还可以用于根获取每个对象的中心像素深度值和边缘像素深度值，删除和中心像素深度值的差值超过预设阈值的边缘像素深度值，将中心像素深度值和边缘像素深度值加权，得到对象的深度信息。

在一示例性实施例中，设备控制模块用于在电子设备的显示区域显示目标图像，其中，目标图像为标注有类别信息和深度信息的图像。

在一示例性实施例中，电子设备包括无人机或无人车；设备控制模块用于根据各对象的类别信息和深度信息，规划无人机或无人车的行驶路线。

上述装置中各模块/单元的具体细节在方法部分的实施例中已经详细说明，未披露的细节内容可以参见方法部分的实施例内容，因此此处不再赘述。

本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本公开的这种示例性实施例的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840和红外摄像模组870，红外摄像模组870用于通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像。

其中，存储单元存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元810可以执行图1、图4、图5或图6所示的方法步骤等。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)821和/或高速缓存存储单元822，还可以进一步包括只读存储单元(ROM)823。

存储单元820还可以包括具有一组(至少一个)程序模块828的程序/实用工具824，这样的程序模块828包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。

本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图9所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (8)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括红外摄像模组，所述红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；所述方法包括：

获取由所述红外摄像模组采集的红外图像和深度图像，并对所述红外图像和所述深度图像进行配准；

识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息；

根据所述深度图像确定各所述对象的深度信息；

基于各所述对象的类别信息和深度信息，对所述电子设备进行控制；

所述根据所述深度图像确定各所述对象的深度信息，包括：

基于所述红外图像和所述深度图像之间的像素映射关系，确定各所述对象在所述深度图像中的位置；

根据各所述对象在所述深度图像中对应的各像素的深度值，确定各所述对象的深度信息；

所述根据各所述对象在所述深度图像中对应的各像素的深度值，确定各所述对象的深度信息，包括：

获取每个所述对象的中心像素深度值和边缘像素深度值；所述中心像素深度值是指每个对象中心部分所覆盖像素的深度值；

删除和所述中心像素深度值的差值超过预设阈值的所述边缘像素深度值；

将所述中心像素深度值和所述边缘像素深度值加权，得到所述对象的深度信息；

所述识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息，包括：

基于预先训练的语义分割模型，对所述红外图像进行处理，得到所述红外图像中所述一个或多个对象的类别信息；

所述语义分割模型通过以下方式获得：

获取通用数据，并将所述通用数据作为第一训练集，结合与所述第一训练集中各训练数据对应的类别标签预训练机器学习模型，得到中间模型；

获取自定义数据，并将所述自定义数据作为第二训练集，结合所述第二训练集中各训练数据对应的类别标签训练所述中间模型，得到所述语义分割模型；

在获取自定义数据时，所述方法还包括：

根据红外图像的预设通道对彩色图像进行转换，以将所述彩色图像进行单通道处理。

2.根据权利要求1所述的方法，其特征在于，所述语义分割模型包括：

编码器，用于对所述红外图像进行下采样，得到所述红外图像对应的中间特征数据；

解码器，用于对所述中间特征数据进行上采样，得到所述红外图像中各所述对象的类别信息。

3.根据权利要求1所述的方法，其特征在于，在训练所述语义分割模型时，对所述语义分割模型进行以下一种或多种简化处理：

网络剪枝、网络量化和权重共享。

4.根据权利要求1所述的方法，其特征在于，所述基于各所述对象的类别信息和深度信息，对所述电子设备进行控制，包括：

在所述电子设备的显示区域显示目标图像，其中，所述目标图像为标注有所述类别信息和深度信息的图像。

5.根据权利要求1所述的方法，其特征在于，所述电子设备包括无人机或无人车；

所述基于各所述对象的类别信息和深度信息，对所述电子设备进行控制，包括：

根据各所述对象的类别信息和深度信息，规划所述无人机或无人车的行驶路线。

6.一种图像处理装置，应用于电子设备，其特征在于，所述电子设备包括红外摄像模组，所述红外摄像模组通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；所述装置包括：

图像获取模块，用于获取由所述红外摄像模组采集的红外图像和深度图像，并对所述红外图像和所述深度图像进行配准；

对象识别模块，用于识别所述红外图像中的一个或多个对象，以确定各所述对象的类别信息；

信息确定模块，用于根据所述深度图像确定各所述对象的深度信息；

设备控制模块，用于基于各所述对象的类别信息和深度信息，对所述电子设备进行控制；

信息确定模块，被配置为：基于所述红外图像和所述深度图像之间的像素映射关系，确定各所述对象在所述深度图像中的位置；根据各所述对象在所述深度图像中对应的各像素的深度值，确定各所述对象的深度信息；

所述根据各所述对象在所述深度图像中对应的各像素的深度值，确定各所述对象的深度信息，包括：获取每个所述对象的中心像素深度值和边缘像素深度值；所述中心像素深度值是指每个对象中心部分所覆盖像素的深度值；删除和所述中心像素深度值的差值超过预设阈值的所述边缘像素深度值；将所述中心像素深度值和所述边缘像素深度值加权，得到所述对象的深度信息；

对象识别模块被配置为：

基于预先训练的语义分割模型，对所述红外图像进行处理，得到所述红外图像中所述一个或多个对象的类别信息；

所述语义分割模型被配置为通过以下方式获得：

获取通用数据，并将所述通用数据作为第一训练集，结合与所述第一训练集中各训练数据对应的类别标签预训练机器学习模型，得到中间模型；

获取自定义数据，并将所述自定义数据作为第二训练集，结合所述第二训练集中各训练数据对应的类别标签训练所述中间模型，得到所述语义分割模型；

在获取自定义数据时，所述装置还被配置为：

根据红外图像的预设通道对彩色图像进行转换，以将所述彩色图像进行单通道处理。

7.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；以及

红外摄像模组，用于通过发射红外脉冲信号、接收红外辐射信号以采集红外图像，以及通过发射红外脉冲信号、接收红外反射信号以采集深度图像；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。