CN116630398A - 一种基于数据集凹凸性特征的优化器动量系数调控方法 - Google Patents
一种基于数据集凹凸性特征的优化器动量系数调控方法 Download PDFInfo
- Publication number
- CN116630398A CN116630398A CN202310897392.5A CN202310897392A CN116630398A CN 116630398 A CN116630398 A CN 116630398A CN 202310897392 A CN202310897392 A CN 202310897392A CN 116630398 A CN116630398 A CN 116630398A
- Authority
- CN
- China
- Prior art keywords
- momentum
- coefficient
- variance
- optimizer
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005457 optimization Methods 0.000 claims abstract description 10
- 230000001105 regulatory effect Effects 0.000 claims abstract description 10
- 230000001276 controlling effect Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于数据集凹凸性特征的优化器动量系数调控方法，所述方法包括以下步骤：S1、获取原始的数字图像输入数据，随机选取样本个数比例为10%；S2、将选取的数据进行归一化，并且变换为数值矩阵的张量形式；S3、计算选取样本的一阶矩估计；S4、计算选取样本的一阶方差；S5、计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量。本发明相比较于依赖经验和随机选择的参数设定方案，通过分析原始数据集特征来调整优化方向，具备较强的可操作性和实用性。
Description
技术领域
本发明涉及优化器动量系数技术领域，尤其涉及一种基于数据集凹凸性特征的优化器动量系数调控方法。
背景技术
优化器是深度学习模型训练的基础工具，是求解具体问题模型参数的必要环节，目前优化器的运用方法一般是手动设定学习速率、动量系数等参数，迭代调整模型的设计参数，以期实现网络从自由初始化状态向误差减小的稳定状态收敛。但是，由于手动设置参数高度依赖经验，缺乏必要的参数范围预选工具，制约了深度学习网络中优化器的科学应用，因此提出一种基于数据集凹凸性特征的优化器动量系数调控方法以解决上述问题。
发明内容
鉴以此，本发明的目的在于提供一种基于数据集凹凸性特征的优化器动量系数调控方法，以至少解决以上问题。
本发明采用的技术方案如下：
一种基于数据集凹凸性特征的优化器动量系数调控方法，所述方法包括以下步骤：
S1、获取原始的数字图像输入数据，随机选取样本个数比例为10%；
S2、将选取的数据进行归一化操作，并且变换为数值矩阵的张量形式；
S3、计算选取样本的一阶矩估计；
S4、计算选取样本的一阶方差；
S5、计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量。
进一步的，在步骤S2中，数据归一化操作约束在（0,1）范围内。
进一步的，在步骤S3中，计算选取样本的一阶矩估计具体为：
一阶矩估计计算公式如下：
其中，二维函数I(x,y)表示一幅数字图像随机变量，(x,y)是空间坐标，幅值I称为该点图像的灰度、亮度或强度，M、N为图像的像素规格，数字图像的数学期望为其灰度平均值，即所有像元灰度值的算数平均值。
进一步的，在步骤S4中，计算选取样本的一阶方差具体为：
一阶方差计算公式如下：
方差为随机变量离散程度的度量，二维数字图像灰度方差体现灰度值在像素点与整个图像的偏离程度，当数字图像对比度小，则方差也随之减小。
进一步的，其特征在于，在步骤S5中，计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量具体为：
比例系数计算公式如下：
并且初始化动量系数，当/>时，调整方向为增大动量系数，按0.1倍/>关系递增验证；当/>时，调整方向为减小动量系数，按0.1倍/>关系递减验证，调用基于动量的随机梯度下降优化器，初始化动量系数/>，
其中，是动量表达参数，其中，/>表示深度学习网络参数在第k 步时的状态，/>为当前步输出与目标输出之间的误差度量，r 是设定的参数，称为学习速率，
当时，调整方向为增大动量系数，按0.1倍/>关系，逐次代入/>
递增验证优化过程是否寻优；当时，调整方向为减小动量系数，按0.1倍/>关系，逐次代入
递减验证优化过程是否寻优，即
其中，n为评估优化次数，逐次增加，为第n次评估的动量系数。
与现有技术相比，本发明的有益效果是：
本发明提出一种基于数据集凹凸性特征的优化器动量系数调控方法，相比较于依赖经验和随机选择的参数设定方案，通过分析原始数据集特征来调整优化方向，具备较强的可操作性和实用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提出的一种基于数据集凹凸性特征的优化器动量系数调控方法整体流程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
参照图1，本发明提供一种基于数据集凹凸性特征的优化器动量系数调控方法，可以针对计算机视觉中的图像分类问题，例如，MNIST，CIFAR-10，所述方法包括以下步骤：
S1、获取原始的数字图像输入数据，随机选取样本个数比例为10%；
S2、将选取的数据进行归一化操作，并且变换为数值矩阵的张量形式；
S3、计算选取样本的一阶矩估计；
S4、计算选取样本的一阶方差；
S5、计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量。
在步骤S2中，数据归一化操作约束在（0,1）范围内。
在步骤S3中，计算选取样本的一阶矩估计具体为：
一阶矩估计计算公式如下：
其中，二维函数I(x,y)表示一幅数字图像随机变量，(x,y)是空间坐标，幅值I称为该点图像的灰度、亮度或强度，M、N为图像的像素规格，数字图像的数学期望为其灰度平均值，即所有像元灰度值的算数平均值。
在步骤S4中，计算选取样本的一阶方差具体为：
一阶方差计算公式如下：
方差为随机变量离散程度的度量，二维数字图像灰度方差体现灰度值在像素点与整个图像的偏离程度，当数字图像对比度小，则方差也随之减小。
其特征在于，在步骤S5中，计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量具体为：
比例系数计算公式如下：
并且初始化动量系数，当/>时，调整方向为增大动量系数，按0.1倍/>关系递增验证；当/>时，调整方向为减小动量系数，按0.1倍/>关系递减验证，调用基于动量的随机梯度下降优化器，初始化动量系数/>，
其中，是动量表达参数，其中，/>表示深度学习网络参数在第k 步时的状态，/>为当前步输出与目标输出之间的误差度量，r 是设定的参数，称为学习速率，
当时，调整方向为增大动量系数，按0.1倍/>关系，逐次代入/>
递增验证优化过程是否寻优；当时，调整方向为减小动量系数，按0.1倍/>关系，逐次代入
递减验证优化过程是否寻优，即
其中，n为评估优化次数，逐次增加，为第n次评估的动量系数。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于数据集凹凸性特征的优化器动量系数调控方法，其特征在于，所述方法包括以下步骤：
S1、获取原始的数字图像输入数据，随机选取样本个数比例为10%；
S2、将选取的数据进行归一化操作，并且变换为数值矩阵的张量形式；
S3、计算选取样本的一阶矩估计；
S4、计算选取样本的一阶方差；
S5、计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量。
2.根据权利要求1所述的一种基于数据集凹凸性特征的优化器动量系数调控方法，其特征在于，在步骤S2中，数据归一化操作约束在（0,1）范围内。
3.根据权利要求1所述的一种基于数据集凹凸性特征的优化器动量系数调控方法，其特征在于，在步骤S3中，计算选取样本的一阶矩估计具体为：
一阶矩估计计算公式如下：
其中，二维函数I(x, y)表示一幅数字图像随机变量，(x, y)是空间坐标，幅值I称为该点图像的灰度、亮度或强度，M、N为图像的像素规格，数字图像的数学期望为其灰度平均值，即所有像元灰度值的算数平均值。
4.根据权利要求3所述的一种基于数据集凹凸性特征的优化器动量系数调控方法，其特征在于，在步骤S4中，计算选取样本的一阶方差具体为：
一阶方差计算公式如下：
方差为随机变量离散程度的度量，二维数字图像灰度方差体现灰度值在像素点与整个图像的偏离程度，当数字图像对比度小，则方差也随之减小。
5.根据权利要求4所述的一种基于数据集凹凸性特征的优化器动量系数调控方法，其特征在于，在步骤S5中，计算一阶方差和一阶矩估计的比例系数，通过比例系数调控动量具体为：
比例系数计算公式如下：
并且初始化动量系数，当/>时，调整方向为增大动量系数，按0.1倍/>关系递增验证；当/>时，调整方向为减小动量系数，按0.1倍/>关系递减验证，调用基于动量的随机梯度下降优化器，初始化动量系数/>，
其中，是动量表达参数，其中，/> 表示深度学习网络参数在第k 步时的状态，/> 为当前步输出与目标输出之间的误差度量，r 是设定的参数，称为学习速率，
当时，调整方向为增大动量系数，按0.1倍/>关系，逐次代入/>
递增验证优化过程是否寻优；当时，调整方向为减小动量系数，按0.1倍/>关系，逐次代入
递减验证优化过程是否寻优，即
其中，n为评估优化次数，逐次增加，为第n次评估的动量系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310897392.5A CN116630398B (zh) | 2023-07-21 | 2023-07-21 | 一种基于数据集凹凸性特征的优化器动量系数调控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310897392.5A CN116630398B (zh) | 2023-07-21 | 2023-07-21 | 一种基于数据集凹凸性特征的优化器动量系数调控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630398A true CN116630398A (zh) | 2023-08-22 |
| CN116630398B CN116630398B (zh) | 2024-05-10 |
Family
ID=87602827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310897392.5A Active CN116630398B (zh) | 2023-07-21 | 2023-07-21 | 一种基于数据集凹凸性特征的优化器动量系数调控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630398B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064722B1 (en) * | 2006-03-07 | 2011-11-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and system for analyzing signal-vector data for pattern recognition from first order sensors |
| WO2021139237A1 (zh) * | 2020-05-14 | 2021-07-15 | 平安科技（深圳）有限公司 | 损失函数的优化方法、装置、设备及存储介质 |
| CN114037075A (zh) * | 2021-11-12 | 2022-02-11 | 江苏科技大学 | 一种基于人工智能算法的柴油机电子调速自适应方法 |
| CN114880536A (zh) * | 2022-04-11 | 2022-08-09 | 中国人民解放军军事科学院战略评估咨询中心 | 基于动量的数据评估方法、系统及存储介质 |
| US20220391706A1 (en) * | 2021-06-02 | 2022-12-08 | Google Llc | Training neural networks using learned optimizers |
-
2023
- 2023-07-21 CN CN202310897392.5A patent/CN116630398B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064722B1 (en) * | 2006-03-07 | 2011-11-22 | The United States Of America As Represented By The Secretary Of The Navy | Method and system for analyzing signal-vector data for pattern recognition from first order sensors |
| WO2021139237A1 (zh) * | 2020-05-14 | 2021-07-15 | 平安科技（深圳）有限公司 | 损失函数的优化方法、装置、设备及存储介质 |
| US20220391706A1 (en) * | 2021-06-02 | 2022-12-08 | Google Llc | Training neural networks using learned optimizers |
| CN114037075A (zh) * | 2021-11-12 | 2022-02-11 | 江苏科技大学 | 一种基于人工智能算法的柴油机电子调速自适应方法 |
| CN114880536A (zh) * | 2022-04-11 | 2022-08-09 | 中国人民解放军军事科学院战略评估咨询中心 | 基于动量的数据评估方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630398B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021068528A1 (zh) | 基于卷积神经网络的注意力权重计算方法、装置及设备 | |
| JP6008898B2 (ja) | プロセス制御システムにおけるオンライン適応モデル予測制御 | |
| Mahmood et al. | Tuning-free step-size adaptation | |
| WO2016047118A1 (ja) | モデル評価装置、モデル評価方法、及び、プログラム記録媒体 | |
| US20040249483A1 (en) | Multiple-input/multiple-output control blocks with non-linear predictive capabilities | |
| CA2515318A1 (en) | Method, system and storage medium for performing online valve diagnostics | |
| WO2023050707A1 (zh) | 网络模型量化方法、装置、计算机设备以及存储介质 | |
| CN114185264B (zh) | 一种基于物理信息神经网络的pid控制器参数整定方法 | |
| CN111476422A (zh) | 一种基于机器学习框架下LightGBM的建筑冷负荷预测方法 | |
| US10606236B2 (en) | Control device, control method, and control program | |
| WO2023020289A1 (zh) | 网络模型的处理方法、装置、设备和存储介质 | |
| KR20180024092A (ko) | Pid 게인 자동 튜닝 방법 | |
| CN116630398B (zh) | 一种基于数据集凹凸性特征的优化器动量系数调控方法 | |
| CN108512528B (zh) | 一种cim函数下的比例控制和归一化lmp滤波方法 | |
| CN111310801B (zh) | 一种基于卷积神经网络的混合维度流量分类方法及其系统 | |
| WO2019176772A1 (ja) | 学習装置、学習方法、及びそのプログラム | |
| CN113177355B (zh) | 一种电力负荷预测方法 | |
| CN113159286A (zh) | 一种高精度低延迟脉冲神经网络的转换方法 | |
| CN116090612A (zh) | 一种基于Prophet模型的配电网线路峰值负荷预测方法 | |
| CN112327958B (zh) | 一种基于数据驱动的发酵过程pH值控制方法 | |
| CN117836778A (zh) | 用于确定用于神经网络的量化的基于饱和比率的量化范围的方法及设备 | |
| CN114493890A (zh) | 资产组合投资价值评估方法、装置、设备及存储介质 | |
| CN107194181A (zh) | 基于四元数和最小平均峭度准则的多维时间序列预测方法 | |
| JP6942204B2 (ja) | データ処理システムおよびデータ処理方法 | |
| CN111459202B (zh) | 输出气压调节方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |