CN112749802A - 神经网络模型的训练方法、装置以及计算机可读存储介质 - Google Patents
神经网络模型的训练方法、装置以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112749802A CN112749802A CN202110100242.8A CN202110100242A CN112749802A CN 112749802 A CN112749802 A CN 112749802A CN 202110100242 A CN202110100242 A CN 202110100242A CN 112749802 A CN112749802 A CN 112749802A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- neural network
- network model
- component
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000010586 diagram Methods 0.000 claims abstract description 59
- 230000008569 process Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000013139 quantization Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种神经网络模型的训练方法、装置以及计算机可读存储介质，获取预设格式的图像在解码过程生成的预设步长的频域信息；根据所述频域信息生成频域特征图；根据所述频域特征图在预设骨干网络模型中选取骨干网络；根据所述频域特征图与所述骨干网络生成神经网络模型；根据预设的训练集对神经网络模型进行训练得到目标模型并保存。本发明保证模型得到了能准确对高清图像进行分析的神经网络模型。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种神经网络模型的训练方法、装置以及计算机可读存储介质。
背景技术
随着图像传感器与显示技术的发展，在智能安防及城市管理、工业物联网等行业，超高清分辨图像的应用越来越丰富。特别是近年来，5G与8K技术的发展中，8K以超高清、高帧频、宽动态，5G以高带宽、低延时、广覆盖连接的优势，使基于超高清视频的人工智能应用与物联网融为一体，如基于无人机的超高清智能城市违建发现、工业瑕疵检测以及超高清智能摄像机等应用。
神经网络在计算机视觉任务中取得了显著的成绩，但当前的神经网络主要应用在空间域即直接处理RGB像素，输入大小固定。对于实际应用，特别是高清视频与图像数据，必须降采样到神经网络的预定输入大小。忽略了高清图像的细节特征，从而导致图像精度下降，甚至对于8K这种超分辨率图像，由于过度下采样导致无法全面解析超分辨率图像丰富的语义信息，从而导致无法训练出能准确对高清图像进行分析的神经网络模型。
发明内容
本发明的主要目的在于提供一种神经网络模型的训练方法、装置以及计算机可读存储介质，旨在解决无法训练出能准确对高清图像进行分析的神经网络模型的问题。
为实现上述目的，本发明提供的一种神经网络模型的训练方法，所述神经网络模型的训练方法包括以下步骤：
获取预设格式的图像在解码过程生成的预设步长的频域信息；
根据所述频域信息生成频域特征图；
根据所述频域特征图在预设骨干网络模型中选取骨干网络；
根据所述频域特征图与所述骨干网络生成神经网络模型；
根据预设的训练集对神经网络模型进行训练得到目标模型并保存。
在一实施例中，所述根据所述频域特征图与所述骨干网络确定神经网络模型的步骤包括：
确定所述频域特征图的特征图通道；
在所述特征图通道中抽取关键通道；
根据所述关键通道确定新的频域特征图；
根据所述新的频域特征图与所述骨干网络确定神经网络模型。
在一实施例中，所述在所述特征图通道中抽取关键通道的步骤包括：
确定每个所述特征图通道的权重信息；
将所述权重信息大于预设权重的所述特征图通道作为所述关键通道。
在一实施例中，所述在所述特征图通道中抽取关键通道的步骤包括：
确定所述特征图通道的标准化矩阵，并确定所述标准化矩阵的相关系数矩阵；
根据所述相关系数矩阵确定所述标准化矩阵的特征根，并根据所述特征根确定主成分；
根据所述主成分的方差以及贡献率确定所述关键通道。
在一实施例中，所述根据所述频域信息生成频域特征图的步骤，还包括：
获取预设格式的图像亮度分量、蓝色色度分量以及红色色度分量的频域信息；
分别确定每个分量的频域信息对应的频域通道；
根据每个所述频域通道的张量形状对每个分量的所述频域通道进行调整，以使各个分量的频域通道的张量形状一致；
对调整后的各个分量的频域通道进行拼接，以生成特征图通道；
根据所述特征图通道确定所述频域特征图。
在一实施例中，所述分别根据所述频域通道的张量形状对每个分量的所述频域通道进行调整的步骤包括：
对蓝色色度分量与红色色度分量的频域信息进行采样，以得到采样频域信息；
根据所述采样频域信息对蓝色色度分量与红色色度分量的所述频域通道进行调整，以使蓝色色度分量与红色色度分量的频域通道的尺寸与亮度分量的频域通道的尺寸一致。
在一实施例中，所述获取预设格式的图像在解码过程生成预设步长的频域信息之前，还包括：
分别确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量对应的分量图像；
将每个所述分量图像分割为预设步长的像素块；
对每个像素块做离散余弦变换以生成频域信息，所述频域信息包括高频分量和低频分量；
根据预设的量化表确定所述频域信息的量化精度，所述高频分量的量化精度低于所述低频分量的量化精度；
根据所述量化精度将所述频域信息进行量化并存储在存储空间。
在一实施例中，所述按照所述第一存储精度以及所述第二存储精度对所述频域信息进行存储的步骤之后，还包括：
根据预设算法对所述频域信息进行压缩，以减小所述频域信息的存储数据量。
为实现上述目的，本发明还提供一种神经网络模型的训练装置，所述神经网络模型的训练装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的神经网络模型的训练程序，所述神经网络模型的训练程序被所述处理器执行时实现如上所述的神经网络模型的训练方法的各个步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有神经网络模型的训练程序，所述神经网络模型的训练程序被处理器执行时实现如上所述的神经网络模型的训练方法的各个步骤。
本发明提供的一种神经网络模型的训练方法、装置以及计算机可读存储介质，获取预设格式的图像在解码过程生成的预设步长的频域信息，根据频域信息生成频域特征图，根据频域特征图选取骨干网络；根据频域特征图与骨干网络生成神经网络模型，根据预设的训练集对神经网络模型进行训练得到目标模型并保存。训练得到的目标模型可以对高像素的图像进行训练，并且保留图像的重要图像信息，避免了由于图像像素过大使得神经网络模型训练过程中丢失较多图像信息的情况。
附图说明
图1为本发明实施例涉及的神经网络模型的训练装置的硬件结构示意图；
图2为本发明神经网络模型的训练方法的第一实施例的流程示意图；
图3为本发明神经网络模型的训练方法的图像进行离散余弦变换的示意图；
图4为本发明神经网络模型的训练方法的第二实施例的步骤S40的细化流程示意图；
图5为本发明神经网络模型的训练方法的第三实施例的步骤S20的细化流程示意图；
图6为本发明神经网络模型的训练方法的图像进行离散余弦变换的示意图；
图7为本发明神经网络模型的训练方法的第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取预设格式的图像在解码过程生成的预设步长的频域信息；根据所述频域信息生成频域特征图；根据所述频域特征图在预设骨干网络模型中选取骨干网络；根据所述频域特征图与所述骨干网络生成神经网络模型；根据预设的训练集对神经网络模型进行训练得到目标模型并保存。
训练得到的目标模型可以对高像素的图像进行训练，并且保留图像的重要图像信息，避免了由于图像像素过大使得神经网络模型训练过程中丢失较多图像信息的情况。
作为一种实现方案，神经网络模型的训练装置可以如图1所示。
本发明实施例方案涉及的是神经网络模型的训练装置，神经网络模型的训练装置包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。
存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括神经网络模型的训练程序；而处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
获取预设格式的图像在解码过程生成的预设步长的频域信息；
根据所述频域信息生成频域特征图；
根据所述频域特征图在预设骨干网络模型中选取骨干网络；
根据所述频域特征图与所述骨干网络生成神经网络模型；
根据预设的训练集对神经网络模型进行训练得到目标模型并保存。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
确定所述频域特征图的特征图通道；
在所述特征图通道中抽取关键通道；
根据所述关键通道确定新的频域特征图；
根据所述新的频域特征图与所述骨干网络确定神经网络模型。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
确定每个所述特征图通道的权重信息；
将所述权重信息大于预设权重的所述特征图通道作为所述关键通道。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
确定所述特征图通道的标准化矩阵，并确定所述标准化矩阵的相关系数矩阵；
根据所述相关系数矩阵确定所述标准化矩阵的特征根，并根据所述特征根确定主成分；
根据所述主成分的方差以及贡献率确定所述关键通道。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
获取预设格式的图像亮度分量、蓝色色度分量以及红色色度分量的频域信息；
分别确定每个分量的频域信息对应的频域通道；
根据每个所述频域通道的张量形状对每个分量的所述频域通道进行调整，以使各个分量的频域通道的张量形状一致；
对调整后的各个分量的频域通道进行拼接，以生成特征图通道；
根据所述特征图通道确定所述频域特征图。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
对蓝色色度分量与红色色度分量的频域信息进行采样，以得到采样频域信息；
根据所述采样频域信息对蓝色色度分量与红色色度分量的所述频域通道进行调整，以使蓝色色度分量与红色色度分量的频域通道的尺寸与亮度分量的频域通道的尺寸一致。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
分别确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量对应的分量图像；
将每个所述分量图像分割为预设步长的像素块；
对每个像素块做离散余弦变换以生成频域信息，所述频域信息包括高频分量和低频分量；
根据预设的量化表确定所述频域信息的量化精度，所述高频分量的量化精度低于所述低频分量的量化精度；
根据所述量化精度将所述频域信息进行量化并存储在存储空间。
在一实施例中，处理器101可以用于调用存储器102中存储的神经网络模型的训练程序，并执行以下操作：
根据预设算法对所述频域信息进行压缩，以减小所述频域信息的存储数据量。
基于上述神经网络模型的训练装置的硬件构架，提出本发明神经网络模型的训练方法的实施例。
参照图2，图2为本发明神经网络模型的训练方法的第一实施例，所述神经网络模型的训练方法包括以下步骤：
步骤S10，获取预设格式的图像在解码过程生成的预设步长的频域信息。
具体的，预设格式的图像可以是JPEG文件格式的图像，其中，JPEG是JointPhotographic Experts Group(联合图像专家组)的缩写，JPEG文件格式的图像后辍名为“.Jpg”或“.Jpeg”。JPEG文件格式是一种支持8位和24位色彩的压缩位图格式。预设格式具体可以是ISO/IEC10918标准的文件格式，支持8位灰度图像和24位彩色图像的压缩编码。频域信息为预设格式的图像的空间频率，空间频率指的是预设格式的图像中灰度值相对其相邻点变化方式。频域信息可以分为高频分量和低频分量。
获取在解码过程中生成的预设步长的频域信息之前，需要对预设格式的图像进行编码，预设格式的图像可以是RGB色彩空间的图像，也可以是YCbCr色彩空间的图像。其中，当预设格式的图像是RGB色彩空间的图像时，需要转换为YCbCr色彩空间的图像。预设格式的图像可以是高清图像或者超高清图像，从高清图像到4K、8K分辨率的超高清图像，图像每帧分辨率从1920×1080(约207万像素)提升到3840×2160(约829万像素)、7680×4320(约3386万像素)。在对预设格式的图像编码过程中可以得到预设步长的频域信息并对频域信息进行量化，可以将量化后的频域信息进行压缩存储。对预设格式的解码过程是编码过程的逆向操作，对预设格式的图像进行不完全解码可以得到量化后的预设步长的频域信息。
步骤S20，根据所述频域信息生成频域特征图。
具体的，频域信息可以是通过预设格式的图像对应的分量图像生成的，分量图像包括亮度分量图像、蓝色色度分量图像以及红色色度分量图像。根据每个分量图像生成频域信息，根据频域信息确定频域特征图。
如图3所示，预设格式的图像分别按照亮度分量、蓝色色度分量以及红色色度分量进行DCT(Discrete Cosine Transform，离散余弦变换)变换得到各个分量的DCT系数块，DCT系数块可以是8×8DCT系数块，将每个分量中的8×8DCT系数块中每个编码位置的频域信息组装成为一个通道，亮度分量将产生64个通道，每个通道的特征图大小为(h/8)×(w/8)。蓝色色度分量以及红色色度分量分别产生64个通道，每个通道的特征图大小为(h/16)×(w/16)。由于亮度分量与蓝色色度分量以及红色色度分量的每个通道的特征图大小不一致,可通过对蓝色色度分量以及红色色度分量的通道进行上采样操作使其通道的特征图大小与亮度分量一致。通过拼接操作，将亮度分量、蓝色色度分量以及红色色度分量产生的通道拼接在一起，形成64×3个频域通道，根据64×3个频域通道生成频域特征图。
步骤S30，根据所述频域特征图在预设骨干网络模型中选取骨干网络。
具体的，根据频域特征图的形状选取现有的神经网络模型作为骨干网络，结合频域特征图的形状对骨干网络架构进行局部删减设计。例如，可以通过删除骨干网络中输入频域特征图的卷积层，保留剩余的骨干网络架构，从而可以复用骨干网络中训练好的网络架构与参数。
步骤S40，根据所述频域特征图与所述骨干网络生成神经网络模型。
具体的，由于频域特征图与骨干网络的输入形状相同，即可以将频域特征图与骨干网络进行合并得到神经网络模型。
步骤S50，根据预设的训练集对神经网络模型进行训练得到目标模型并保存。
具体的，通过预设的训练集对神经网络模型进行训练生产目标模型，预设的训练集包括预设格式的训练图像。对神经网络模型的训练可通过CPU与GPU协同完成。示例性的，将JPEG图像中哈夫曼解码等熵解码过程、DCT频域通道生成放到CPU进行处理，将需要大量矢量与矩阵运算的神经网络的部分放入GPU中处理，以最大化的利用处理器的特性，节省存取带宽，加快训练速度。
在本实施例的技术方案中，通过获取预设步长的频域信息生成频域特征图，根据频域特征图对骨干网络进行选取，将频域特征图与骨干网络进行拼接后得到神经网络模型，并将神经网络模型进行训练得到目标模型。训练得到的目标模型可以对高像素的图像进行训练，并且保留图像的重要图像信息，避免了由于图像像素过大使得神经网络模型训练过程中丢失较多图像信息的情况。
参照图4，图4为本发明神经网络模型的训练方法的第二实施例，基于第一或第二实施例，所述步骤S40包括：
步骤S41，确定所述频域特征图的特征图通道；
步骤S42，在所述特征图通道中抽取关键通道；
步骤S43，根据所述关键通道确定新的频域特征图；
步骤S44，根据所述新的频域特征图与所述骨干网络确定神经网络模型。
具体的，为了适配骨干网络的特征图输入层的特征图形状，可以对频域特征图通道进行抽取操作与压缩操作，并对频域特征图的长宽进行输入层卷积处理。对关键通道进行抽取和压缩之后得到新的频域特征图，根据新的频域特征图与骨干网络确定神经网络模型。
频域特征图的抽取操作可以通过SENet(Squeeze-and-Excitation Networks)模块，SENet模块是一种图像识别结构，通过对特征通道间的相关性进行建模，把重要特征进行强化来提升准确率。如图所示，该模块主要的功能是对各个通道进行权重的分配，获取重要的特征信息。其中X指输入，U是主干网络每一层卷积层的输出，X～表示结合了权重之后最终的输出。确定每个特征图通道的权重信息；将权重信息大于预设权重的特征图通道作为关键通道。频域特征图的抽取操作可以通过常规的主成分分析法确定关键通道，确定特征图通道的标准化矩阵，并确定标准化矩阵的相关系数矩阵；根据相关系数矩阵确定标准化矩阵的特征根，并根据特征根确定主成分；根据主成分的方差以及贡献率确定所述关键通道。其中每个主成分为变量的线性组合。主成分能够反映变量的绝大部分信息，且所含的信息互不重叠。频域特征图的抽取操作也可以是PCA(Principal Component Analysis，主成分分析法)、聚类算法等通道压缩方法。
在本实施例的技术方案中，对频域特征图中的特征图通道进行抽取和压缩，使得频域特征图的形状与骨干网络的的特征图输入层的特征图形状适配。便于将频域特征图与骨干网络进行拼接得到神经网络模型。
参照图5，图5为本发明神经网络模型的训练方法的第三实施例，基于第一至第三实施例，所述步骤S20包括：
步骤S21，获取预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量的频域信息；
步骤S22，分别确定每个分量的频域信息对应的频域通道；
步骤S23，根据每个所述频域通道的张量形状对每个分量的所述频域通道进行调整，以使各个分量的频域通道的张量形状一致；
步骤S24，对调整后的各个分量的频域通道进行拼接，以生成特征图通道；
步骤S25，根据所述特征图通道确定所述频域特征图。
具体的，确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量的频域信息，将每个分量中的DCT系数块中每个编码位置的频域信息组装成为一个通道，DCT系数块可以是8×8DCT系数块，亮度分量将产生64个通道，每个通道的特征图大小为(h/8)×(w/8)，如图6所示。蓝色色度分量以及红色色度分量分别产生64个通道，每个通道的特征图大小为(h/16)×(w/16)，如图6所示。由于亮度分量与蓝色色度分量以及红色色度分量的每个通道的特征图大小不一致,可通过调整蓝色色度分量以及红色色度分量的通道使其通道的特征图大小与亮度分量一致。示例性的，对蓝色色度分量与红色色度分量的频域信息进行采样，以得到采样频域信息；根据所述采样频域信息对蓝色色度分量与红色色度分量的所述频域通道进行调整，以使蓝色色度分量与红色色度分量的频域通道的尺寸与亮度分量的频域通道的尺寸一致。通过拼接操作，将亮度分量、蓝色色度分量以及红色色度分量产生的通道拼接在一起，形成64×3个特征图通道，根据特征图通道确定频域特征图。
在本实施例的技术方案中，确定预设格式图像各个分量的频域通道，由于频域通道的张量形状不一致，将各个分量的频域通道进行调整以使得张量形状一致，对各个分量的频域通道进行拼接，生成频域特征图的特征图通道，以确定频域特征图。
参照图7，图7为本发明神经网络模型的训练方法的第五实施例，基于第一至第四实施例，所述步骤S10之前，还包括：
步骤S60，分别确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量对应的分量图像；
步骤S70，将每个所述分量图像分割为预设步长的像素块；
步骤S80，对每个像素块做离散余弦变换以生成频域信息，所述频域信息包括高频分量和低频分量；
步骤S90，根据预设的量化表确定所述频域信息的量化精度，所述高频分量的量化精度低于所述低频分量的量化精度；
步骤S100，根据所述量化精度将所述频域信息进行量化并存储在存储空间。
具体的，在对预设格式的图像解码之前，还需要对预设格式图像进行编码。分别确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量对应的分量图像；将每个所述分量图像分割为预设步长的像素块；对每个像素块做离散余弦变换以生成频域信息，所述频域信息包括高频分量和低频分量；高频分量是指图像亮度或者灰度变化剧烈的位置，代表了图像的边缘、轮廓、噪声或者细节部分；低频分量是指图像亮度或者灰度变化平缓的位置，代表了图像的主要部分的信息，低频分量是对图像的亮度或者灰度的综合度量。由于低频分量包含图像的主要信息，因此高频分量的量化精度低于低频分量的量化精度，使得低频分量大部分被保留，高频分量被大部分丢弃。将量化后的频域信息存储在存储空间，对预设图像格式进行解码过程中，将会调用量化后的频域信息。
如图6所示，可以根据预设算法对量化后的所述频域信息进行压缩，以减小所述频域信息的存储数据量。预设算法可以是无损压缩算法(哈夫曼编码的变体)，进一步减小了频域信息的大小。
在本实施例的技术方案中，将每个所述分量图像分割为预设步长的像素块；对每个像素块做离散余弦变换以生成频域信息；根据预设的量化表确定所述频域信息的量化精度；根据所述量化精度将所述频域信息进行量化并存储在存储空间。对预设格式的图像进行编码，丢弃了大部分高频分量，保留了包含主要信息的低频分量，并对量化后的频域信息进行无损压缩，使得量化后的频域信息的数据保持较高的完整度。
本发明还提供一种神经网络模型的训练装置，所述神经网络模型的训练装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的神经网络模型的训练程序，所述神经网络模型的训练程序被所述处理器执行时实现如上实施例所述的神经网络模型的训练方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有神经网络模型的训练程序，所述神经网络模型的训练程序被处理器执行时实现如上实施例所述的神经网络模型的训练方法的各个步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种神经网络模型的训练方法，其特征在于，所述神经网络模型的训练方法包括：
获取预设格式的图像在解码过程生成的预设步长的频域信息；
根据所述频域信息生成频域特征图；
根据所述频域特征图在预设骨干网络模型中选取骨干网络；
根据所述频域特征图与所述骨干网络生成神经网络模型；
根据预设的训练集对神经网络模型进行训练得到目标模型并保存。
2.如权利要求1所述的神经网络模型的训练方法，其特征在于，所述根据所述频域特征图与所述骨干网络确定神经网络模型的步骤包括：
确定所述频域特征图的特征图通道；
在所述特征图通道中抽取关键通道；
根据所述关键通道确定新的频域特征图；
根据所述新的频域特征图与所述骨干网络确定神经网络模型。
3.如权利要求2所述的神经网络模型的训练方法，其特征在于，所述在所述特征图通道中抽取关键通道的步骤包括：
确定每个所述特征图通道的权重信息；
将所述权重信息大于预设权重的所述特征图通道作为所述关键通道。
4.如权利要求2所述的神经网络模型的训练方法，其特征在于，所述在所述特征图通道中抽取关键通道的步骤包括：
确定所述特征图通道的标准化矩阵，并确定所述标准化矩阵的相关系数矩阵；
根据所述相关系数矩阵确定所述标准化矩阵的特征根，并根据所述特征根确定主成分；
根据所述主成分的方差以及贡献率确定所述关键通道。
5.如权利要求1所述的神经网络模型的训练方法，其特征在于，所述根据所述频域信息生成频域特征图的步骤，还包括：
获取预设格式的图像亮度分量、蓝色色度分量以及红色色度分量的频域信息；
分别确定每个分量的频域信息对应的频域通道；
根据每个所述频域通道的张量形状对每个分量的所述频域通道进行调整，以使各个分量的频域通道的张量形状一致；
对调整后的各个分量的频域通道进行拼接，以生成特征图通道；
根据所述特征图通道确定所述频域特征图。
6.如权利要求5所述的神经网络模型的训练方法，其特征在于，所述分别根据所述频域通道的张量形状对每个分量的所述频域通道进行调整的步骤包括：
对蓝色色度分量与红色色度分量的频域信息进行采样，以得到采样频域信息；
根据所述采样频域信息对蓝色色度分量与红色色度分量的所述频域通道进行调整，以使蓝色色度分量与红色色度分量的频域通道的尺寸与亮度分量的频域通道的尺寸一致。
7.如权利要求1所述的神经网络模型的训练方法，其特征在于，所述获取预设格式的图像在解码过程生成预设步长的频域信息之前，还包括：
分别确定预设格式的图像的亮度分量、蓝色色度分量以及红色色度分量对应的分量图像；
将每个所述分量图像分割为预设步长的像素块；
对每个像素块做离散余弦变换以生成频域信息，所述频域信息包括高频分量和低频分量；
根据预设的量化表确定所述频域信息的量化精度，所述高频分量的量化精度低于所述低频分量的量化精度；
根据所述量化精度将所述频域信息进行量化并存储在存储空间。
8.如权利要求7所述的神经网络模型的训练方法，其特征在于，所述按照所述第一存储精度以及所述第二存储精度对所述频域信息进行存储的步骤之后，还包括：
根据预设算法对所述频域信息进行压缩，以减小所述频域信息的存储数据量。
9.一种神经网络模型的训练装置，其特征在于，所述神经网络模型的训练装置包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的神经网络模型的训练程序，所述神经网络模型的训练程序被所述处理器执行时实现如权利要求1-8任一项所述的神经网络模型的训练方法的各个步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有神经网络模型的训练程序，所述神经网络模型的训练程序被处理器执行时实现如权利要求1-8任一项所述的神经网络模型的训练方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110100242.8A CN112749802B (zh) | 2021-01-25 | 2021-01-25 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110100242.8A CN112749802B (zh) | 2021-01-25 | 2021-01-25 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112749802A true CN112749802A (zh) | 2021-05-04 |
| CN112749802B CN112749802B (zh) | 2024-02-09 |
Family
ID=75653059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110100242.8A Active CN112749802B (zh) | 2021-01-25 | 2021-01-25 | 神经网络模型的训练方法、装置以及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112749802B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063673A (zh) * | 2022-07-29 | 2022-09-16 | 阿里巴巴（中国）有限公司 | 模型压缩方法、图像处理方法、装置和云设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190279095A1 (en) * | 2018-03-12 | 2019-09-12 | Robert Bosch Gmbh | Method and device for operating a neural network in a memory-efficient manner |
| US20200008701A1 (en) * | 2018-07-06 | 2020-01-09 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for magnetic resonance imaging |
| CN111160434A (zh) * | 2019-12-19 | 2020-05-15 | 中国平安人寿保险股份有限公司 | 目标检测模型的训练方法、装置及计算机可读存储介质 |
| CN111325713A (zh) * | 2020-01-21 | 2020-06-23 | 浙江省北大信息技术高等研究院 | 基于神经网络的木材缺陷检测方法、系统及存储介质 |
| CN111383742A (zh) * | 2018-12-27 | 2020-07-07 | 深圳先进技术研究院 | 一种医学成像模型的建立方法、装置、设备及存储介质 |
| CN111444381A (zh) * | 2020-03-24 | 2020-07-24 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习语料库分类方法和存储设备 |
| CN111881920A (zh) * | 2020-07-16 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种大分辨率图像的网络适配方法及神经网络训练装置 |
| WO2020237646A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
| CN112101318A (zh) * | 2020-11-17 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 基于神经网络模型的图像处理方法、装置、设备及介质 |
-
2021
- 2021-01-25 CN CN202110100242.8A patent/CN112749802B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190279095A1 (en) * | 2018-03-12 | 2019-09-12 | Robert Bosch Gmbh | Method and device for operating a neural network in a memory-efficient manner |
| US20200008701A1 (en) * | 2018-07-06 | 2020-01-09 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for magnetic resonance imaging |
| CN111383742A (zh) * | 2018-12-27 | 2020-07-07 | 深圳先进技术研究院 | 一种医学成像模型的建立方法、装置、设备及存储介质 |
| WO2020237646A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及计算机可读存储介质 |
| CN111160434A (zh) * | 2019-12-19 | 2020-05-15 | 中国平安人寿保险股份有限公司 | 目标检测模型的训练方法、装置及计算机可读存储介质 |
| CN111325713A (zh) * | 2020-01-21 | 2020-06-23 | 浙江省北大信息技术高等研究院 | 基于神经网络的木材缺陷检测方法、系统及存储介质 |
| CN111444381A (zh) * | 2020-03-24 | 2020-07-24 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习语料库分类方法和存储设备 |
| CN111881920A (zh) * | 2020-07-16 | 2020-11-03 | 深圳力维智联技术有限公司 | 一种大分辨率图像的网络适配方法及神经网络训练装置 |
| CN112101318A (zh) * | 2020-11-17 | 2020-12-18 | 深圳市优必选科技股份有限公司 | 基于神经网络模型的图像处理方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| SOUMYA JOSHI等: ""Issues in Training a Convolutional Neural Network Model for Image Classification"", 《ADVANCES IN COMPUTING AND DATA SCIENCES》 * |
| 连自锋: ""基于深层神经网络的图像识别算法研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063673A (zh) * | 2022-07-29 | 2022-09-16 | 阿里巴巴（中国）有限公司 | 模型压缩方法、图像处理方法、装置和云设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112749802B (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102523367B (zh) | 基于多调色板的实时图像压缩和还原方法 | |
| TWI426774B (zh) | 用於針對ｊｐｅｇ壓縮歷史紀錄分類為壓縮影像的方法、及用於針對影像是否已經過jpeg壓縮而分類影像的設備及影像分類方法 | |
| JP6141295B2 (ja) | 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 | |
| JPH10327403A (ja) | 圧縮条件の自動選択を伴う画像データの圧縮を最適化する方法 | |
| CN111275628A (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
| US8917931B2 (en) | Color conversion based on an HVS model | |
| KR960040018A (ko) | 휴먼 비쥬얼 시스템 모델링을 이용한 웨이블렛 영상 압축/복원 장치 및 방법 | |
| KR100809409B1 (ko) | 복호화 장치, 역양자화 방법 및 이들의 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
| EP4260558A1 (en) | Method and data processing system for lossy image or video encoding, transmission and decoding | |
| KR101277712B1 (ko) | 영상 처리 방법 및 장치 | |
| Krivenko et al. | A two-step approach to providing a desired quality of lossy compressed images | |
| CN112749802B (zh) | 神经网络模型的训练方法、装置以及计算机可读存储介质 | |
| US20110116725A1 (en) | Data compression method and data compression system | |
| CN103391437B (zh) | 一种高动态图像视觉无损压缩的方法及装置 | |
| CN113507611A (zh) | 图像存储方法、装置、计算机设备和存储介质 | |
| US7146055B2 (en) | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously | |
| CN112672164B (zh) | 视频压缩系统及方法、视频解压缩系统及方法 | |
| JP4241517B2 (ja) | 画像符号化装置及び画像復号装置 | |
| KR102566798B1 (ko) | 코드 레벨의 초해상화 방법 및 그를 위한 초해상화 모델 학습방법 | |
| CN112991476B (zh) | 基于深度压缩域特征的场景分类方法、系统及设备 | |
| WO2023246655A1 (zh) | 一种图像编码、解码方法及编码、解码装置 | |
| US20230377202A1 (en) | Image compression apparatus, image compression method, computer program, image compression system, and image processing system | |
| KR100611301B1 (ko) | 3차원 이미지 데이터를 압축하는 방법 및 장치 | |
| Zhang | Design and implementation of electromagnetic spectrum monitoring data compression based on JPG algorithm | |
| JP2005522106A (ja) | 強相関画像データの繰り返し符号化圧縮 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |