CN116052233A - 一种神经网络优化方法、装置、计算设备及存储介质 - Google Patents
一种神经网络优化方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN116052233A CN116052233A CN202111227949.1A CN202111227949A CN116052233A CN 116052233 A CN116052233 A CN 116052233A CN 202111227949 A CN202111227949 A CN 202111227949A CN 116052233 A CN116052233 A CN 116052233A
- Authority
- CN
- China
- Prior art keywords
- face detection
- model
- image
- floating point
- point model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 58
- 238000005457 optimization Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 135
- 238000007667 floating Methods 0.000 claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 28
- 238000013139 quantization Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种神经网络优化方法、装置、计算设备及存储介质，方法包括：对超高清样本图像进行重叠分割，得到图像块集合；基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种神经网络优化方法、装置、计算设备及存储介质。
背景技术
随着现代成像技术的发展，人们对相机成像质量的要求也越来越高。在远距离成像的场景中，为了呈现更加清晰的画质，图像或视频的分辨率也越来越高。近些年来，8K相机的应用越来越广泛，成像质量的提高也促使研究人员开发新的算法模型，支持8K图像或视频的理解。
目前，一种实现超高清图像的人脸检测的网络为小目标的高分辨率检测网络(High-Resolution Detection Network for Small Objects，HRDNET)，其主要思想是用深层主干网络处理低分辨率的图像。然而，HRDNET网络模型虽然精度高，但是结构复杂，计算量大，多尺度缩放输入过程繁琐，且忽略了人脸的关键点等重要信息浅层神经网络处理高分辨率图像。
此外，还有一种基于只进行分类和边框预测的RetinaNet目标检测框架改进的ReinaFace人脸检测模型，可以用于实现超高清图像的人脸检测，其在RetinaNet网络框架的基础上，增加了人脸关键点预测，即稠密3D人脸预测。然而，ReinaFace人脸检测模型在处理超高清图像时会由于显存显卡内存不足难以直接训练与推理，一种直观的思路是直接对原始的超高清图像进行降采样处理，但是，由于远距离成像，人脸在超高清图像中表现为小尺寸，直接做降采样处理极易将人脸模糊掉，用于模型训练将导致模型的检测精度较低。
发明内容
本申请实施例提供一种神经网络优化方法、装置、计算设备及存储介质，利用图像重叠分割策略不仅降低了模型训练过程对显存的要求，而且能够避免人脸目标丢失，提高了模型的检测精度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种神经网络优化方法，包括：
对超高清样本图像进行重叠分割，得到图像块集合；
基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
在上述方法中，所述对超高清样本图像进行重叠分割，得到图像块集合，包括：
获取所述超高清样本图像中最大人脸结构的尺寸；
基于所述最大人脸结构的尺寸，确定重叠尺寸；
按照所述重叠尺寸，对所述超高清样本图像进行重叠分割，得到所述图像块集合。
在上述方法中，所述基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型，包括：
采用预设数据扩充方式，对所述图像块集合进行扩充处理；
利用扩充处理的图像块集合，对所述RetinaFace人脸检测模型进行模型训练，得到所述人脸检测浮点模型。
在上述方法中，所述预设数据扩充方式至少包括以下其中一项：图像缩放、上下翻转、左右翻转、色度变换，以及旋转。
在上述方法中，还包括：
对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
在上述方法中，所述对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型，包括：
针对所述人脸检测浮点模型中每个网络层，统计网络层内每个待量化参数对应的极值，并对每个待量化参数基于对应的极值确定对应的定点化参数；
针对所述人脸检测浮点模型，将每个网络层内每个待量化参数基于对应的定点化参数进行定点化转换，得到所述人脸检测定点模型。
在上述方法中，所述人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数。
在上述方法中，所述人脸检测浮点模型中，每个网络层内每个待量化参数对应的定点化参数，包括：对应的缩放参数和零点参数。
本申请实施例提供了一种神经网络优化装置，包括：
分割模块，用于对超高清样本图像进行重叠分割，得到图像块集合；
训练模块，用于基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
在上述装置中，还包括：
量化模块，用于对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
在上述装置中，所述分割模块，具体用于获取所述超高清样本图像中最大人脸结构的尺寸；基于所述最大人脸结构的尺寸，确定重叠尺寸；按照所述重叠尺寸，对所述超高清样本图像进行重叠分割，得到所述图像块集合。
在上述装置中，所述训练模块，具体用于采用预设数据扩充方式，对所述图像块集合进行扩充处理；利用扩充处理的图像块集合，对所述RetinaFace人脸检测模型进行模型训练，得到所述人脸检测浮点模型。
在上述装置中，所述预设数据扩充方式至少包括以下其中一项：图像缩放、上下翻转、左右翻转、色度变换，以及旋转。
在上述装置中，所述量化模块，具体用于针对所述人脸检测浮点模型中每个网络层，统计网络层内每个待量化参数对应的极值，并对每个待量化参数基于对应的极值确定对应的定点化参数；针对所述人脸检测浮点模型，将每个网络层内每个待量化参数基于对应的定点化参数进行定点化转换，得到所述人脸检测定点模型。
在上述装置中，所述人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数。
在上述装置中，所述人脸检测浮点模型中，每个网络层内每个待量化参数对应的定点化参数，包括：对应的缩放参数和零点参数。
本申请实施例提供了一种计算设备，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器存储的一个或多个程序，以实现上述神经网络优化方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述神经网络优化方法。
本申请实施例提供了一种神经网络优化方法、装置、计算设备及存储介质，方法包括：对超高清样本图像进行重叠分割，得到图像块集合；基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。本申请实施例提供的技术方案，利用图像重叠分割策略不仅降低了模型训练过程对显存的要求，而且能够避免人脸目标丢失，提高了模型的检测精度。
附图说明
图1为本申请实施例提供的一种神经网络优化方法的流程示意图；
图2为本申请实施例提供的一种示例性的图像重叠分割的示意图；
图3为本申请实施例提供的一种示例性的RetinaFace人脸检测模型的结构示意图；
图4为本申请实施例提供的一种示例性的人脸检测结果示意图；
图5为本申请实施例提供的一种示例性的模型训练和模型应用的流程示意图；
图6为本申请实施例提供的一种神经网络优化装置的结构示意图；
图7为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
本申请实施例提供了一种神经网络优化方法，通过神经网络优化装置实现。神经网络优化装置的具体类型本申请实施例不作限定，其可以为任何用户设备，例如可以为智能手机、个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备等。
图1为本申请实施例提供的一种神经网络优化方法的流程示意图。如图1所示，在本申请的实施例中，神经网络优化方法主要包括以下步骤：
S101、对超高清样本图像进行重叠分割，得到图像块集合。
在本申请的实施例中，神经网络优化装置可以对超高清样本图像进行重叠分割，从而得到图像块集合。
需要说明的是，在本申请的实施例中，超高清样本图像具体可以为8K超高清图像，此外，超高清样本图像可以为一帧或者多帧图像。具体的超高清样本图像，以及超高清样本图像的数量本申请实施例不作限定。
具体的，在本申请的实施例中，神经网络优化装置对超高清样本图像进行重叠分割，得到图像块集合，包括：获取超高清样本图像中最大人脸结构的尺寸；基于最大人脸结构的尺寸，确定重叠尺寸；按照重叠尺寸，对超高清样本图像进行重叠分割，得到图像块集合。
需要说明的是，在本申请的实施例中，神经网络优化装置可以直接获取到超高清样本图像中最大人脸结构的尺寸，从而设定重叠尺寸，例如，重叠尺寸，即重叠区域的宽度，具体可以是最大人脸结构的尺寸的两倍。具体的重叠尺寸可以基于最大人脸结构的尺寸，结合实际需求和应用场景设定，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，神经网络优化装置基于超高清样本图像中最大人脸结果的尺寸设定重叠尺寸，用于进行图像的重叠分割，可以避免图像中的人脸在图像分割时被分割为散落到不同图像块的多个部分，保证人脸的完整性，从而可以在后续有效的被检测到。
图2为本申请实施例提供的一种示例性的图像重叠分割的示意图。如图2所示，在本申请的实施例中，对于超高清样本图像，神经网络优化装置可以将其中最大人脸结构的尺寸的两倍作为相邻图像块之间重叠区域的宽度，从而进行图像重叠分割，得到多个图像块，这些图像块即组成图像块集合。
需要说明的是，在本申请的实施例中，神经网络优化装置按照重叠尺寸对超高清样本图像进行重叠分割时，具体的分割的各个图像块的尺寸可以根据显存等设定，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，神经网络优化装置对超高清样本图像进行重叠分割，在保证高精度的同时，可以降低对显存的需求，此外，还可以避免目标，即图像中的人脸的丢失。
S102、基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
在本申请的实施例中，神经网络优化装置在获得图像块集合之后，即可基于图像块集合，对RetinaFace人脸检测模型进行模型训练，从而得到人脸检测浮点模型。
需要说明的是，在本申请的实施例中，RetinaFace人脸检测模型为浮点型模型，对其进行模型训练后得到的人脸检测浮点模型同样为浮点型模型。
具体的，在本申请的实施例中，神经网络优化装置基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型，包括：采用预设数据扩充方式，对图像块集合进行扩充处理；利用扩充处理的图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
需要说明的是，在本申请的实施例中，神经网络优化装置可以预先对基于超高清样本图像重叠分割得到的图像块集合进行扩充处理，丰富用于模型训练的图像块，增加用于模型训练的图像块的多样性，以提升后续模型训练的精度。
需要说明的是，在本申请的实施例中，预设数据扩充方式至少包括以下其中一项：图像缩放、上下翻转、左右翻转、色度变换，以及旋转。
可以理解的是，在本申请的实施例中，神经网络优化装置可以采用上述至少一项具体的数据扩充方式对图像块集合中的图像块进行处理，并将处理得到的图像块也加入集合中，从而使得结合中的图像块数量更多，且更为丰富。
需要说明的是，在本申请的实施例中，神经网络优化装置不仅可以对图像块集合进行图像块扩充，还可以进行图像块的数据清洗，即去除掉集合中无效的图像块，以保证后续模型训练的有效性。
图3为本申请实施例提供的一种示例性的RetinaFace人脸检测模型的结构示意图。如图3所示，在本申请的实施例中，RetinaFace人脸检测模型中包括多层次人脸定位网络和多任务损失函数。其中，多层次人脸定位网络包括三部分，分别为：主干特征提取网络、特征金字塔网络和上下文模块，其中，主干特征提取网络中不同网络层可以对超高清样本图像进行不同尺度的卷积处理，从而得到相应的结果，特征金字塔网络可以对不同尺度的卷积结果融合，从而得到不同尺度的人脸特征图，上下文模块可以对不同尺度的人脸特征图进一步加强特征提取，加强感受野，引入上下文信息来提高小人脸的检测。多任务损失函数不仅可以包括常用的分类损失和检测框的位置回归，还包括人脸的5个关键点预测损失和3D网格的损失，本申请实施例不作限定。神经网络优化装置通过对图3所示的RetinaFace人脸检测模型进行模型训练，训练得到的模型即为人脸检测浮点模型。
在本申请的实施例中，神经网络优化装置在得到人脸检测浮点模型之后，还可以执行以下步骤：对人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
具体的，在本申请的实施例中，神经网络优化装置对人脸检测浮点模型进行量化处理，得到人脸检测定点模型，包括：针对人脸检测浮点模型中每个网络层，统计网络层内每个待量化参数对应的极值，并对每个待量化参数基于对应的极值确定对应的定点化参数；针对人脸检测浮点模型，将每个网络层内每个待量化参数基于对应的定点化参数进行定点化转换，得到人脸检测定点模型。
需要说明的是，在本申请的实施例中，神经网络优化装置针对人脸检测浮点模型进行量化处理，具体是针对模型中的各个网络层进行待量化参数的定点化转换，其中，各个网络层内每个待量化参数的定点化转换需要应用的为相应的极值，包括最大值和最小值，因此，神经网络优化装置针对每个网络层，统计其中每个待量化参数对应的极值，再利用对应的极值进行相应的定点化转换，从而得到人脸检测定点模型。
需要说明的是，在本申请的实施例中，人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数。相应的，神经网络优化装置实际上针对人脸检测浮点模型中每个网络层，统计其中权重的最大值和最小值，以及，激活值的最大值和最小值，实际上也就是获知每个网络层内权重和激活值的取值范围。
需要说明的是，在本申请的实施例中，人脸检测浮点模型中，每个网络层内每个待量化参数对应的定点化参数，包括：对应的缩放参数和零点参数。
可以理解的是，在本申请的实施例中，人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数，对于每个网络层内的权重，神经网络优化装置可以基于权重对应的极值，计算权重对应的缩放参数和零点参数，从而用于对权重进行定点化转换，即量化；对于每个网络层内的激活值，神经网络优化装置可以基于激活值对应的极值，计算激活值对应的缩放参数和零点参数，从而用于对激活值进行定点化转换，即量化。
可以理解的是，相比于浮点型模型，定点型模型更加轻量化，在本申请的实施例中，将人脸检测浮点模型量化为人脸检测定点模型，更易于后续快速的实现超高清待测图像的人脸检测。
在本申请的实施例中，神经网络优化装置在得到量化的人脸检测定点模型之后，即可利用人脸检测定点模型对超高清待测图像进行人脸检测，得到超高清待测图像的人脸检测结果。
需要说明的是，在本申请的实施例中，超高清待测图像可以是任意需要进行人脸检测的超高清图像，具体可以是8K超高清图像，此外，超高清待测图像可以是一帧或多帧图像。具体的超高清待测图像可以根据实际需求和应用场景设定，本申请实施例不作限定。
可以理解的是，在本申请的实施例中，神经网络优化装置将超高清待测图像输入人脸检测定点模型，即可利用人脸检测定点模型实现超高清待测图像的人脸检测，并从人脸检测定点模型输出超高清待测图像的人脸检测结果。
图4为本申请实施例提供的一种示例性的人脸检测结果的示意图。如图4所示，对于超高清待测图像，神经网络优化装置利用人脸检测定点模型进行人脸检测，从而在超高清待测图像中框选出人脸，得到人脸检测结果。
图5为本申请实施例提供的一种示例性的模型训练和模型应用的流程示意图。如图5所示，在本申请的实施例中，神经网络优化装置首先对超高清样本图像进行重叠分割，实现图像块的生成，其次，对得到的图像块集合中的图像块进行数据清洗和扩充处理，从而用于人脸检测浮点模型的训练，在获得人脸检测浮点模型之后，进行模型中各个网络层权重和激活值的极值统计，并利用极值对应进行量化，得到人脸检测定点模型，最后，将超高清待测图像输入人脸检测定点模型进行人脸检测，得到对应的人脸检测结果。
可以理解的是，在本申请的实施例中，超高清样本图像的重叠分割在降低显存需求的同时，能够避免目标丢失，并且，训练数据扩充能够通过丰富训练样本，提高检测精度，同时在某些情况下，也能够弥补样本稀疏带来的性能损失。RetinaFace人脸检测模型中的多尺度、多深度、人脸关键点对齐、3D网格信息综合利用能够保证人脸检测模型的精度。此外，训练后量化策略的运用使得模型更加轻量化，从而利于快速检测。
本申请实施例提供了一种神经网络优化方法，包括：对超高清样本图像进行重叠分割，得到图像块集合；基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。本申请实施例提供的神经网络优化方法，利用图像重叠分割策略不仅降低了模型训练过程对显存的要求，而且能够避免人脸目标丢失，提高了模型检测精度。
本申请实施例提供了一种神经网络优化装置。图6为本申请实施例提供的一种神经网络优化装置的结构示意图。如图6所示，在本申请的实施例中，神经网络优化装置包括：
分割模块601，用于对超高清样本图像进行重叠分割，得到图像块集合；
训练模块602，用于基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
在本申请一实施例中，所述分割模块601，具体用于获取所述超高清样本图像中最大人脸结构的尺寸；基于所述最大人脸结构的尺寸，确定重叠尺寸；按照所述重叠尺寸，对所述超高清样本图像进行重叠分割，得到所述图像块集合。
在本申请一实施例中，所述训练模块602，具体用于采用预设数据扩充方式，对所述图像块集合进行扩充处理；利用扩充处理的图像块集合，对所述RetinaFace人脸检测模型进行模型训练，得到所述人脸检测浮点模型。
在本申请一实施例中，所述预设数据扩充方式至少包括以下其中一项：图像缩放、上下翻转、左右翻转、色度变换，以及旋转。
在本申请一实施例中，神经网络优化装置还包括：量化模块(图中未示出)，用于对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
在本申请一实施例中，所述量化模块，具体用于针对所述人脸检测浮点模型中每个网络层，统计网络层内每个待量化参数对应的极值，并对每个待量化参数基于对应的极值确定对应的定点化参数；针对所述人脸检测浮点模型，将每个网络层内每个待量化参数基于对应的定点化参数进行定点化转换，得到所述人脸检测定点模型。
在本申请一实施例中，所述人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数。
在本申请一实施例中，所述人脸检测浮点模型中，每个网络层内每个待量化参数对应的定点化参数，包括：对应的缩放参数和零点参数。
图7为本申请实施例提供的一种计算设备的结构示意图。如图7所示，在本申请的实施例中，计算设备包括：处理器701、存储器702和通信总线703；
所述通信总线703，用于实现所述处理器701和所述存储器702之间的通信连接；
所述处理器701，用于执行所述存储器702存储的一个或多个程序，以实现上述神经网络优化方法。
本申请实施例提供了一种神经网络优化装置，对超高清样本图像进行重叠分割，得到图像块集合；基于图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。本申请实施例提供的神经网络优化装置，利用图像重叠分割策略不仅降低了模型训练过程对显存的要求，而且能够避免人脸目标丢失，提高了模型检测精度。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述神经网络优化方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (12)
1.一种神经网络优化方法，其特征在于，包括：
对超高清样本图像进行重叠分割，得到图像块集合；
基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
2.根据权利要求1所述的方法，其特征在于，所述对超高清样本图像进行重叠分割，得到图像块集合，包括：
获取所述超高清样本图像中最大人脸结构的尺寸；
基于所述最大人脸结构的尺寸，确定重叠尺寸；
按照所述重叠尺寸，对所述超高清样本图像进行重叠分割，得到所述图像块集合。
3.根据权利要求1所述的方法，其特征在于，所述基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型，包括：
采用预设数据扩充方式，对所述图像块集合进行扩充处理；
利用扩充处理的图像块集合，对所述RetinaFace人脸检测模型进行模型训练，得到所述人脸检测浮点模型。
4.根据权利要求3所述的方法，其特征在于，所述预设数据扩充方式至少包括以下其中一项：图像缩放、上下翻转、左右翻转、色度变换，以及旋转。
5.根据权利要求1所述的方法，其特征在于，还包括：
对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
6.根据权利要求5所述的方法，其特征在于，所述对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型，包括：
针对所述人脸检测浮点模型中每个网络层，统计网络层内每个待量化参数对应的极值，并对每个待量化参数基于对应的极值确定对应的定点化参数；
针对所述人脸检测浮点模型，将每个网络层内每个待量化参数基于对应的定点化参数进行定点化转换，得到所述人脸检测定点模型。
7.根据权利要求6所述的方法，其特征在于，所述人脸检测浮点模型中，每个网络层内至少包括权重和激活值两个待量化参数。
8.根据权利要求6所述的方法，其特征在于，所述人脸检测浮点模型中，每个网络层内每个待量化参数对应的定点化参数，包括：对应的缩放参数和零点参数。
9.一种神经网络优化装置，其特征在于，包括：
分割模块，用于对超高清样本图像进行重叠分割，得到图像块集合；
训练模块，用于基于所述图像块集合，对RetinaFace人脸检测模型进行模型训练，得到人脸检测浮点模型。
10.根据权利要求9所述的神经网络优化装置，其特征在于，还包括：
量化模块，用于对所述人脸检测浮点模型进行量化处理，得到人脸检测定点模型。
11.一种计算设备，包括：处理器、存储器和通信总线；
所述通信总线，用于实现所述处理器和所述存储器之间的通信连接；
所述处理器，用于执行所述存储器存储的一个或多个程序，以实现权利要求1-8任一项所述神经网络优化方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的神经网络优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227949.1A CN116052233A (zh) | 2021-10-21 | 2021-10-21 | 一种神经网络优化方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227949.1A CN116052233A (zh) | 2021-10-21 | 2021-10-21 | 一种神经网络优化方法、装置、计算设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116052233A true CN116052233A (zh) | 2023-05-02 |
Family
ID=86131802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111227949.1A Pending CN116052233A (zh) | 2021-10-21 | 2021-10-21 | 一种神经网络优化方法、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116052233A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117857928A (zh) * | 2024-02-28 | 2024-04-09 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
-
2021
- 2021-10-21 CN CN202111227949.1A patent/CN116052233A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117857928A (zh) * | 2024-02-28 | 2024-04-09 | 荣耀终端有限公司 | 图像处理方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11003893B2 (en) | Face location tracking method, apparatus, and electronic device | |
| US20180158199A1 (en) | Image alignment for burst mode images | |
| WO2018136373A1 (en) | Image fusion and hdr imaging | |
| US9196055B2 (en) | Method and apparatus for providing a mechanism for gesture recognition | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| US11763470B2 (en) | Method and apparatus for aligning image frames, electronic device and storage medium | |
| CN109598250B (zh) | 特征提取方法、装置、电子设备和计算机可读介质 | |
| CN109165654B (zh) | 一种目标定位模型的训练方法和目标定位方法及装置 | |
| CN111709879B (zh) | 图像处理方法、图像处理装置及终端设备 | |
| CN110060264B (zh) | 神经网络训练方法、视频帧处理方法、装置及系统 | |
| CN116052233A (zh) | 一种神经网络优化方法、装置、计算设备及存储介质 | |
| CN113628259A (zh) | 图像的配准处理方法及装置 | |
| CN111726526B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN113014817A (zh) | 高清高帧视频的获取方法、装置及电子设备 | |
| CN110689478B (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
| CN110177278B (zh) | 一种帧间预测方法、视频编码方法及装置 | |
| CN112887605B (zh) | 图像防抖方法、装置及电子设备 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| JP2014099848A (ja) | イメージ分割システム及びその方法 | |
| CN114049473A (zh) | 图像处理方法及装置 | |
| CN107871162B (zh) | 一种基于卷积神经网络的图像处理方法及移动终端 | |
| CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
| Kang et al. | Lightweight Image Matting via Efficient Non-Local Guidance | |
| CN108431867B (zh) | 一种数据处理方法及终端 | |
| WO2020039470A1 (ja) | 画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |