CN112766276A - 卷积神经网络模型的通道调整方法、装置和设备 - Google Patents

卷积神经网络模型的通道调整方法、装置和设备 Download PDF

Info

Publication number
CN112766276A
CN112766276A CN202110174072.8A CN202110174072A CN112766276A CN 112766276 A CN112766276 A CN 112766276A CN 202110174072 A CN202110174072 A CN 202110174072A CN 112766276 A CN112766276 A CN 112766276A
Authority
CN
China
Prior art keywords
format
neural network
network model
convolutional neural
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110174072.8A
Other languages
English (en)
Inventor
张洪光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Link Technologies Co Ltd
Original Assignee
TP Link Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TP Link Technologies Co Ltd filed Critical TP Link Technologies Co Ltd
Priority to CN202110174072.8A priority Critical patent/CN112766276A/zh
Publication of CN112766276A publication Critical patent/CN112766276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络模型的通道调整方法，包括：当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；对权重进行一次格式转换，以将权重从初始格式转换成通用格式；根据输入图片的当前格式对卷积层的通道进行调整；对通用格式下的所述权重进行二次格式转换，以将权重从通用格式转换成与卷积神经网络模型对应的目标格式；将目标格式下的权重赋值给卷积层。本发明还公开了一种卷积神经网络模型的通道调整装置、设备和一种计算机可读存储介质。采用本发明实施例，能支持不同框架模型中通道的调整，提高了卷积神经网络模型的处理效率。

Description

卷积神经网络模型的通道调整方法、装置和设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种卷积神经网络模型的通道调整方法、装置和设备。
背景技术
卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。在人工智能技术领域，深度学习是一类机器学习算法，使用多个层逐步从原始输入中逐步提取更高级别的特征。例如，在图像处理中，较低层可以识别边缘，而较高层可以识别对人类有意义的部分，可以在分类和检测任务中达到较高的准确率。但是，由于受限于训练过程中使用的数据集和预处理工具，训练完成的神经网络通常仅能用在与训练集类型相同/数据格式一致的应用环境下，如果需要使用不同类型的输入数据，通常是对当前图片的格式做一次转换，然后再输入到模型中，但是格式的转换需要消耗计算，如果有很多的图片需要调整格式，将它们一一转换消耗的时间长，导致网络预处理时间长，数据处理效率低。
发明内容
本发明实施例的目的是提供一种卷积神经网络模型的通道调整方法、装置、设备和存储介质，能支持不同框架下模型中卷积通道的调整，提高了卷积神经网络模型的处理效率。
为实现上述目的，本发明实施例提供了一种卷积神经网络模型的通道调整方法，包括：
当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
根据输入图片的当前格式对所述卷积层的通道进行调整；
对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
将所述目标格式下的所述权重赋值给所述卷积层。
作为上述方案的改进，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式通道的顺序不对应时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
作为上述方案的改进，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道数不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
当所述卷积神经网络模型的输入格式的通道数大于所述输入图片的当前格式的通道数时，在所述卷积层的所有卷积核中删掉对应个通道；
当所述卷积神经网络模型的输入格式的通道数小于所述输入图片的当前格式的通道数时，在所述卷积层中所有卷积核中添加对应个通道。
作为上述方案的改进，所述在所述卷积层中所有卷积核中添加对应个通道，包括：
在所述卷积层中所有卷积核中添加对应个用零值填充的通道。
作为上述方案的改进，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道格式不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
根据所述输入图片的当前格式，对所述卷积层中所有卷积核的通道权值进行调整。
作为上述方案的改进，所述扩展程序库为numpy库。
为实现上述目的，本发明实施例还提供一种卷积神经网络模型的通道调整装置，包括：
权重提取模块，用于当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
一次格式转换模块，用于对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
通道调整模块，用于根据输入图片的当前格式对所述卷积层的通道进行调整；
二次格式转换模块，对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
权重赋值模块，用于将所述目标格式下的所述权重赋值给所述卷积层。
作为上述方案的改进，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道的顺序不对应时，所述通道调整模块用于：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
为实现上述目的，本发明实施例还提供一种卷积神经网络模型的通道调整设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的卷积神经网络模型的通道调整方法。
为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一实施例所述的卷积神经网络模型的通道调整方法。
相比于现有技术，本发明实施例公开的卷积神经网络模型的通道调整方法、装置、设备和存储介质，首先，当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；然后，对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式，将权重的格式转换成通用格式，能够兼容不同框架下卷积神经网络模型的格式差异；根据输入图片的当前格式对所述卷积层的通道进行调整，调整之后的卷积层的格式与输入图片的格式对应；对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；将所述目标格式下的所述权重赋值给所述卷积层。由于在对卷积层的通道进行调整的过程中，对卷积层的权重进行了格式转换，使得卷积神经网络模型能够适应不同格式的输入图片，同时能够支持不同框架下模型中卷积通道的调整，提高了卷积神经网络模型的处理效率。
附图说明
图1是本发明实施例提供的一种卷积神经网络模型的通道调整方法的流程图；
图2是本发明实施例提供的卷积神经网络模型的示意图；
图3是本发明实施例提供的一种卷积神经网络模型的通道调整装置的结构框图；
图4是本发明实施例提供的一种卷积神经网络模型的通道调整设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种卷积神经网络模型的通道调整方法的流程图，所述卷积神经网络模型的通道调整方法包括：
S1、当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
S2、对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
S3、根据输入图片的当前格式对所述卷积层的通道进行调整；
S4、对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
S5、将所述目标格式下的所述权重赋值给所述卷积层。
值得说明的是，本发明实施例所述的卷积神经网络模型的通道调整方法可以由图片处理装置中的控制器执行实现，所述卷积神经网络模型能够适用多种多样的深度学习框架，如：TensorFlow、Caffe、Theano、Keras、PyTorch、Mxnet等框架，本发明实施例提供的通道调整方法可以进行多种图片格式之间的相互转换，如：RGBA、RGB、BGRA、BGR、YUV等图片格式。参见图2，图2是本发明实施例提供的卷积神经网络模型的示意图，输入是一张8*8*3的图片，W0是模型第一层卷积层的权重，它由4个卷积核组成，每个卷积核有3个通道。
具体地，在步骤S1中，首先需要判断输入图片的格式与卷积神经网络模型的输入格式是否相同，若相同，则此时无需对所述卷积神经网络模型进行调整；若不相同，则提取卷积神经网络模型中第一层卷积层的权重。所述权重为所述卷积神经网络中卷积核的权重，用于做卷积计算，不同的权重对应不同的输出效果。
具体地，在步骤S2中，不同框架下，卷积神经网络模型的模型定义方法和权重存储方式都是不一样的。如：Caffe框架中，模型定义在prototxt文件下，权重保存在caffemodel文件下；Pytorch框架中，模型定义和权重保存在pth文件中；tensorflow框架中，模型定义和权重保存在pb文件中。对于不同框架下的卷积神经网络模型，由于权重保存格式不同，所以处理方法也不同。
可选地，所述通用格式为扩展程序库中的数组(array)形式。所述扩展程序库可以为numpy库，numpy(Numerical Python)是Python语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。
不同框架下卷积神经网络模型第一层卷积层转换为numpy的方法是不一样的。对于caffe框架下的卷积层，需要调用caffe库和numpy库，先载入模型，再提取第一层卷积核，第一层提取的卷积核即为numpy格式。对于pytorch框架，提取的第一层卷积核为Tensor格式，需要调用W.numpy()函数进行格式转换，其中W表示第一层卷积核。对于tensorflow框架，可参考现有技术中的格式转换方式，在此不再赘述。
在本发明实施例中，对权重做格式转换的目的是为了找到一种中间媒介格式，用于处理不同框架下CNN模型格式的差异。
具体地，在步骤S3中，根据输入图片的当前格式对所述卷积层的通道进行调整。
可选地，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道的顺序不对应时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
示例性的，因为OPENCV默认读取图片的格式是BGR，很多卷积神经网络模型都是使用OPENCV预处理图片，比如CAFFE一般是使用BGR格式的图片数据进行训练，如果所述输入图片的当前格式是RGB格式，那么输出的结果就会出现问题。现有技术中通常把RGB格式的图片先转换为BGR格式，然后再输入到卷积神经网络模型中。但是格式转换是需要时间的，为了节省转换图片格式的时间，本发明实施例中通过调整卷积神经网络模型第一个卷积层的通道顺序，将BGR中的B通道和R通道交换，从而将所述卷积神经网络模型的输入格式转换为RGB，进而将只支持BGR输入的卷积神经网络模型转换为支持RGB输入的模型。
可以理解的，当所述卷积神经网络模型的输入格式为RGB，所述输入图片的当前格式为BGR时，同样的可以将RGB中的R通道和B通道交换，从而将所述卷积神经网络模型的输入格式转换为BGR。
可选地，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道数不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
当所述卷积神经网络模型的输入格式的通道数大于所述输入图片的当前格式的通道数时，在所述卷积层的所有卷积核中删掉对应个通道；
当所述卷积神经网络模型的输入格式的通道数小于所述输入图片的当前格式的通道数时，在所述卷积层中所有卷积核中添加对应个通道。
可选地，所述在所述卷积层中所有卷积核中添加对应个通道，包括：
在所述卷积层中所有卷积核中添加对应个用零值填充的通道。
示例性的，ARGB是一种色彩模式，也就是RGB色彩模式附加上Alpha(透明度)通道，常见于32位位图的存储结构。RGB只有3个通道，而ARGB是4个通道，为了使RGB格式的卷积神经网络模型可以使用ARGB格式的图片作为输入，需要在卷积神经网络模型的第一个卷积层添加一个全0的通道，该全0的通道可以添加在第一个卷积层的第一个通道前，即R通道前添0通道。当对应不同的格式时，可以灵活调整0通道可以添加位置，本发明对此不做具体限定。可以理解的，为了使ARGB格式的卷积神经网络模型可以使用RGB格式的图片作为输入，对应的删除卷积神经网络模型的第一个卷积层中的A通道，从而将ARGB格式的卷积神经网络模型的输入格式转换为RGB。
可选地，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道格式不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
根据所述输入图片的当前格式，对所述卷积层中所有卷积核的通道权值进行调整。
在本发明实施例中，根据输入图片的格式对卷积神经网络模型中的通道进行调整，使得卷积神经网络模型能够适应不同格式的输入图片，同时能够支持不同框架下模型中卷积通道的调整，提高了卷积神经网络模型的处理效率。另外，在进行通道调整的过程中，还可以对通道权重进行调整，改变权重可以改变模型的输出效果。
具体地，在步骤S4～S5中，在对所述卷积层的通道进行调整后，此时对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式，并将所述目标格式下的所述权重赋值给所述卷积层。
在本发明实施例中，通过对权重进行两次格式转换，目的在于兼容各种框架(Caffe、Pytorch、tensorflow等)，不同框架下，模型有不同的存储格式，本发明实施例中提出使用中间数据类型array类型作为媒介，先将模型第一层卷积层转换为array类型，然后统一处理，处理完成后再统一赋值给原模型，从而解决了不同框架下模型通道转换的问题，能够使得卷积神经网络模型的通道调整不受框架类型的限制。
相比于现有技术，本发明实施例公开的卷积神经网络模型的通道调整方法，首先，当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；然后，对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式，将权重的格式转换成通用格式，能够兼容不同框架下卷积神经网络模型的格式差异；根据输入图片的当前格式对所述卷积层的通道进行调整，调整之后的卷积层的格式与输入图片的格式对应；对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；将所述目标格式下的所述权重赋值给所述卷积层。由于在对卷积层的通道进行调整的过程中，对卷积层的权重进行了格式转换，使得卷积神经网络模型能够适应不同格式的输入图片，同时能够支持不同框架下模型中卷积通道的调整，提高了卷积神经网络模型的处理效率。
参见图3，图3是本发明实施例提供的一种卷积神经网络模型的通道调整装置10的结构框图，所述卷积神经网络模型的通道调整装置10包括：
权重提取模块11，用于当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
一次格式转换模块12，用于对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
通道调整模块13，用于根据输入图片的当前格式对所述卷积层的通道进行调整；
二次格式转换模块14，对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
权重赋值模块15，用于将所述目标格式下的所述权重赋值给所述卷积层。
值得说明的是，本发明实施例所述的卷积神经网络模型的通道调整装置10可以为图片处理装置中的控制器，所述卷积神经网络模型能够适用多种多样的深度学习框架，如：TensorFlow、Caffe、Theano、Keras、PyTorch、Mxnet等框架，本发明实施例提供的通道调整装置10可以进行多种图片格式之间的相互转换，如：RGBA、RGB、BGRA、BGR、YUV等图片格式。
可选地，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道数和通道相同，但通道的顺序不对应时，所述通道调整模块13用于：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道数不同时，所述通道调整模块13用于：
当所述卷积神经网络模型的输入格式的通道数大于所述输入图片的当前格式的通道数时，在所述卷积层的所有卷积核中删掉对应个通道；
当所述卷积神经网络模型的输入格式的通道数小于所述输入图片的当前格式的通道数时，在所述卷积层中所有卷积核中添加对应个通道。
可选地，所述在所述卷积层中所有卷积核中添加对应个通道，包括：
在所述卷积层中所有卷积核中添加对应个用零值填充的通道
可选地，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道格式不同时，所述通道调整模块13用于：
根据所述输入图片的当前格式，对所述卷积层中所有卷积核的通道权值进行调整。
可选地，所述扩展程序库为numpy库。
值得说明的是，本发明实施例所述的卷积神经网络模型的通道调整装置10中各个模块的工作过程请参考上述实施例所述的卷积神经网络模型的通道调整方法的工作过程，在此不再赘述。
相比于现有技术，本发明实施例公开的卷积神经网络模型的通道调整装置，首先，当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；然后，对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式，将权重的格式转换成通用格式，能够兼容不同框架下卷积神经网络模型的格式差异；根据输入图片的当前格式对所述卷积层的通道进行调整，调整之后的卷积层的格式与输入图片的格式对应；对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；将所述目标格式下的所述权重赋值给所述卷积层。由于在对卷积层的通道进行调整的过程中，对卷积层的权重进行了格式转换，使得卷积神经网络模型能够适应不同格式的输入图片，同时能够支持不同框架下模型中卷积通道的调整，提高了卷积神经网络模型的处理效率。
参见图4，图4是本发明实施例提供的一种卷积神经网络模型的通道调整设备20的结构框图，该实施例的卷积神经网络模型的通道调整设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序，例如步骤S1。所述处理器21执行所述计算机程序时实现上述各个卷积神经网络模型的通道调整方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述卷积神经网络模型的通道调整设备20中的执行过程。
所述卷积神经网络模型的通道调整设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述卷积神经网络模型的通道调整设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是卷积神经网络模型的通道调整设备20的示例，并不构成对卷积神经网络模型的通道调整设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述卷积神经网络模型的通道调整设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述卷积神经网络模型的通道调整设备20的控制中心，利用各种接口和线路连接整个卷积神经网络模型的通道调整设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述卷积神经网络模型的通道调整设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述卷积神经网络模型的通道调整设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种卷积神经网络模型的通道调整方法，其特征在于，包括：
当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
根据输入图片的当前格式对所述卷积层的通道进行调整；
对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
将所述目标格式下的所述权重赋值给所述卷积层。
2.如权利要求1所述的卷积神经网络模型的通道调整方法，其特征在于，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道的顺序不对应时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
3.如权利要求1所述的卷积神经网络模型的通道调整方法，其特征在于，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道数不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
当所述卷积神经网络模型的输入格式的通道数大于所述输入图片的当前格式的通道数时，在所述卷积层的所有卷积核中删掉对应个通道；
当所述卷积神经网络模型的输入格式的通道数小于所述输入图片的当前格式的通道数时，在所述卷积层中所有卷积核中添加对应个通道。
4.如权利要求3所述的卷积神经网络模型的通道调整方法，其特征在于，所述在所述卷积层中所有卷积核中添加对应个通道，包括：
在所述卷积层中所有卷积核中添加对应个用零值填充的通道。
5.如权利要求1所述的卷积神经网络模型的通道调整方法，其特征在于，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道格式不同时，所述根据输入图片的当前格式对所述卷积层的通道进行调整，包括：
根据所述输入图片的当前格式，对所述卷积层中所有卷积核的通道权值进行调整。
6.如权利要求1所述的卷积神经网络模型的通道调整方法，其特征在于，所述扩展程序库为numpy库。
7.一种卷积神经网络模型的通道调整装置，其特征在于，包括：
权重提取模块，用于当输入图片的当前格式与卷积神经网络模型的输入格式不同时，提取卷积神经网络模型中第一层卷积层的权重；
一次格式转换模块，用于对所述权重进行一次格式转换，以将所述权重从初始格式转换成通用格式；其中，所述通用格式为扩展程序库中的数组形式；
通道调整模块，用于根据输入图片的当前格式对所述卷积层的通道进行调整；
二次格式转换模块，对所述通用格式下的所述权重进行二次格式转换，以将所述权重从通用格式转换成与所述卷积神经网络模型对应的目标格式；
权重赋值模块，用于将所述目标格式下的所述权重赋值给所述卷积层。
8.如权利要求7所述的卷积神经网络模型的通道调整装置，其特征在于，当所述卷积神经网络模型的输入格式与所述输入图片的当前格式的通道的顺序不对应时，所述通道调整模块用于：
对所述卷积层中所有卷积核的通道顺序进行调整，以跟所述输入图片的当前格式的通道的顺序对应。
9.一种卷积神经网络模型的通道调整设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的卷积神经网络模型的通道调整方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的卷积神经网络模型的通道调整方法。
CN202110174072.8A 2021-02-07 2021-02-07 卷积神经网络模型的通道调整方法、装置和设备 Pending CN112766276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110174072.8A CN112766276A (zh) 2021-02-07 2021-02-07 卷积神经网络模型的通道调整方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110174072.8A CN112766276A (zh) 2021-02-07 2021-02-07 卷积神经网络模型的通道调整方法、装置和设备

Publications (1)

Publication Number Publication Date
CN112766276A true CN112766276A (zh) 2021-05-07

Family

ID=75705394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110174072.8A Pending CN112766276A (zh) 2021-02-07 2021-02-07 卷积神经网络模型的通道调整方法、装置和设备

Country Status (1)

Country Link
CN (1) CN112766276A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201715215D0 (en) * 2017-09-20 2017-11-01 Imagination Tech Ltd Hardware implementation of a deep neural network with cariable output data format
CN108960411A (zh) * 2018-06-27 2018-12-07 郑州云海信息技术有限公司 一种卷积神经网络调整及相关装置
GB201912083D0 (en) * 2019-08-22 2019-10-09 Imagination Tech Ltd Methods and systems for converting weights of a deep neural network from a first number format to a second number format
CN111027635A (zh) * 2019-12-12 2020-04-17 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN115204364A (zh) * 2022-06-28 2022-10-18 中国电子科技集团公司第五十二研究所 一种缓存空间动态分配的卷积神经网络硬件加速装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201715215D0 (en) * 2017-09-20 2017-11-01 Imagination Tech Ltd Hardware implementation of a deep neural network with cariable output data format
CN108960411A (zh) * 2018-06-27 2018-12-07 郑州云海信息技术有限公司 一种卷积神经网络调整及相关装置
GB201912083D0 (en) * 2019-08-22 2019-10-09 Imagination Tech Ltd Methods and systems for converting weights of a deep neural network from a first number format to a second number format
CN111027635A (zh) * 2019-12-12 2020-04-17 深圳前海微众银行股份有限公司 图像处理模型的构建方法、装置、终端及可读存储介质
CN115204364A (zh) * 2022-06-28 2022-10-18 中国电子科技集团公司第五十二研究所 一种缓存空间动态分配的卷积神经网络硬件加速装置

Similar Documents

Publication Publication Date Title
US10417529B2 (en) Learning combinations of homogenous feature arrangements
US20210089914A1 (en) Optimization technique for forming dnn capable of performing real-time inference in mobile environment
CN109685201B (zh) 运算方法、装置及相关产品
US11568225B2 (en) Signal processing system and method
CN110399487B (zh) 一种文本分类方法、装置、电子设备及存储介质
CN110717919A (zh) 图像处理方法、装置、介质和计算设备
CN108681773B (zh) 数据运算的加速方法、装置、终端及可读存储介质
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
US10733481B2 (en) Cloud device, terminal device, and method for classifying images
US11875486B2 (en) Image brightness statistical method and imaging device
DE112020005789T5 (de) Hierarchische partitionierung von operatoren
US20200218777A1 (en) Signal Processing Method and Apparatus
KR102470027B1 (ko) 다수 컨벌루션 윈도우 중의 이미지 데이터를 추출하는 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장매체
US10475187B2 (en) Apparatus and method for dividing image into regions
CN109697083B (zh) 数据的定点化加速方法、装置、电子设备及存储介质
US20200090046A1 (en) System and method for cascaded dynamic max pooling in neural networks
CN112766277A (zh) 卷积神经网络模型的通道调整方法、装置和设备
CN112766276A (zh) 卷积神经网络模型的通道调整方法、装置和设备
CN111382831B (zh) 加速卷积神经网络模型前向推理的方法及装置
CN109740730B (zh) 运算方法、装置及相关产品
US20230143985A1 (en) Data feature extraction method and related apparatus
CN111814820A (zh) 图像处理方法及装置
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
CN111667046A (zh) 深度学习加速方法及用户终端
CN118043821A (zh) 混合稀疏压缩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination