CN116227568A - 基于红外图像的深度学习模型优化方法及系统 - Google Patents

Abstract

本发明公开了一种基于红外图像的深度学习模型优化方法及系统，其在浮点运算数量及内存访问成本参数两个性能指标的基础上，通过将红外图像的深度学习模型的输入通道数量修改为单通道，使红外图像的深度学习模型的浮点运算数量及内存访问成本参数均变小，从而实现在不损失网络精度的前提下，大幅提升网络模型的运行速度。

Description

基于红外图像的深度学习模型优化方法及系统

技术领域

本发明涉及红外图像识别技术领域，尤其是涉及一种基于红外图像的深度学习模型优化方法及系统。

背景技术

目前，随着红外热成像和深度神经网络技术的飞速发展，相关技术已渗透到各行各业，产生了许多优秀的红外智能终端产品和相关应用服务，但这些产品和服务中的深度神经网络模型往往需要大量的计算开销和内存开销，严重影响产品(硬件资源受限)的落地，及产品性能，比如，红外智能终端产品中，由于深度神经网络模型运行耗时较长，导致用户体验感差，因此，希望在不损失网络精度的前提下，能对模型进行优化，以大幅提升网络模型的运行速度。

发明内容

本发明的目的在于克服上述技术不足，提出一种基于红外图像的深度学习模型优化方法及系统，实现在不损失网络精度的前提下，提升网络模型的运行速度。

为达到上述技术目的，本发明的技术方案第一方面提供一种基于红外图像的深度学习模型优化方法，其包括：

将红外图像的深度学习模型的输入通道数量修改为单通道。

本发明第二方面提供一种基于红外图像的深度学习模型优化系统，其包括单通道构建模块，所述单通道构建模块用于将红外图像的深度学习模型的输入通道数量修改为单通道。

本发明第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于红外图像的深度学习模型优化方法。

本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于红外图像的深度学习模型优化方法。

与现有技术相比，本发明所述基于红外图像的深度学习模型优化方法及系统，其在FLOPs(浮点运算数量)及MAC(内存访问成本参数)两个性能指标的基础上，通过将红外图像的深度学习模型的输入通道数量修改为单通道，使红外图像的深度学习模型的FLOPs和MAC均变小，从而实现在不损失网络精度的前提下，大幅提升网络模型的运行速度。

附图说明

图1是深度神经网络中常见卷积运算原理图；

图2是本发明实施例所述三通道网络模型Nanodet的模型卷积部分的网络结构图；

图3是本发明实施例所述单通道网络模型Nanodet的模型卷积部分的网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

深度神经网络中常见卷积运算如图1所示，其模型性能通过FLOPs(浮点运算数量)及MAC(内存访问成本参数)进行评价，其中，

FLOPs(floating point operations)：浮点运算数量，理解为计算量。用来衡量算法/模型的复杂度。

MAC(memory access cost)：内存访问成本，处理器在进行数据计算时，需要把数据加载到缓存中，然后再进行计算，这个加载过程是需要时间的，加载的数据量越大，MAC消耗越多，计算耗时越长。

FLOPs和MAC的计算公式分别如下：

FLOPs＝W*H*(C_in*3*3*C_out)＝3*3*W*H*C_in*C_out

MAC＝W*H*C_in+3*3*C_in*C_out+w*h*C_out

由上述公式可以看出，将输入通道channel(C_in)减小，FLOPs和MAC都会变小，则可以大幅提升网络模型的运行速度。

在红外智能终端设备中，红外摄像头输出的图像一般都是灰度图，图像中同一个像素点R、G、B三通道的值都一样，这样会带来大量冗余参数和冗余计算。基于此，本发明的实施例提供了一种基于红外图像的深度学习模型优化方法，其包括：将红外图像的深度学习模型的输入通道数量修改为单通道。具体是将红外图像的深度学习模型的输入通道数量由三通道修改为单通道，其他模型参数保持不变。

所述红外图像的深度学习模型包括R、G、B三个输入通道，可以选择其中任意一个输入通道开启，另外两个输入通道关闭；优选的，将红外图像的深度学习模型中的R通道开启，将G、B两通道关闭。

以轻量级网络模型Nanodet为例，如图2所示，现有的网络模型Nanodet具有R、G、B三个输入通道，三通道网络模型Nanodet的模型卷积部分的FLOPs和MAC分别如下：

FLOPs＝W*H*(3*3*3*C_out)＝3*3*W*H*3*C_out

MAC＝W*H*3+3*3*3*C_out+3*3*C_out

本发明将网络模型Nanodet的输入通道数量由三通道改成单通道，如图3所示，单通道网络模型Nanodet的模型卷积部分的FLOPs和MAC分别如下：

FLOPs＝W*H*(1*3*3*C_out)＝3*3*W*H*1*C_out

MAC＝W*H*1+3*3*1*C_out+3*3*C_out

采用同样的训练集对三通道网络模型Nanodet和单通道网络模型Nanodet分别进行训练，训练完后，再在相同的测试集分别对两个模型进行测试。

测试发现，单通道模型的精度几乎没有损失(单通道比三通道低0.2％)，模型仍具有和三通道模型相同的特征表达能力，模型大小减小了53.8％，模型单次运行耗时减少了37％，模型运行效率得到大幅提升。

本发明所述基于红外图像的深度学习模型优化方法，其其在FLOPs(浮点运算数量)及MAC(内存访问成本参数)两个性能指标的基础上，通过将红外图像的深度学习模型的输入通道数量修改为单通道，使红外图像的深度学习模型的FLOPs和MAC均变小，从而实现在不损失网络精度的前提下，大幅提升网络模型的运行速度。

本发明实施例还公开了一种基于红外图像的深度学习模型优化系统，其包括单通道构建模块，所述单通道构建模块用于将红外图像的深度学习模型的输入通道数量修改为单通道。

本实施例一种基于红外图像的深度学习模型优化系统的执行方式与上述基于红外图像的深度学习模型优化方法基本相同，故不作详细赘述。

本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个消费者使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器上包含一种基于红外图像的深度学习模型优化方法的可运行程序，所述可运行程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。

处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。

所述服务器应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。

在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种基于红外图像的深度学习模型优化方法，其包括如下步骤：

将红外图像的深度学习模型的输入通道数量修改为单通道。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于红外图像的深度学习模型优化方法，其特征在于，包括：

将红外图像的深度学习模型的输入通道数量修改为单通道。

2.根据权利要求1所述的基于红外图像的深度学习模型优化方法，其特征在于，将红外图像的深度学习模型的输入通道数量由三通道修改为单通道。

3.根据权利要求1所述的基于红外图像的深度学习模型优化方法，其特征在于，所述红外图像的深度学习模型包括R、G、B三个输入通道，选择其中任意一个输入通道开启，另外两个输入通道关闭。

4.根据权利要求1所述的基于红外图像的深度学习模型优化方法，其特征在于，将红外图像的深度学习模型中的R通道开启，将G、B两通道关闭。

5.一种基于红外图像的深度学习模型优化系统，其特征在于，包括单通道构建模块，所述单通道构建模块用于将红外图像的深度学习模型的输入通道数量修改为单通道。

6.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述基于红外图像的深度学习模型优化方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于红外图像的深度学习模型优化方法。

Images