CN112766345A - 一种基于有序回归正则的分类方法 - Google Patents
一种基于有序回归正则的分类方法 Download PDFInfo
- Publication number
- CN112766345A CN112766345A CN202110035501.3A CN202110035501A CN112766345A CN 112766345 A CN112766345 A CN 112766345A CN 202110035501 A CN202110035501 A CN 202110035501A CN 112766345 A CN112766345 A CN 112766345A
- Authority
- CN
- China
- Prior art keywords
- model
- classification
- training
- regression
- designing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 230000009977 dual effect Effects 0.000 claims 3
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及图像分类领域，具体涉及一种基于有序回归正则的分类方法，包括如下步骤：S01：设计神经网络结构：借鉴经典分类模型，结合具体的分类任务，设计合理的网络结构；S02：设计有序回归正则项：根据具体的分类任务，设计有序回归正则项，确定损失函数；S03：确定训练超参数：根据经验知识，选择合适的超参数；S04：模型训练：使用训练集训练端到端模型；S05：新样本预测和结果解释：使用训练好的模型对新样本进行预测，并对模型的结果做出解释；这种基于有序回归正则的分类方法，提高图像分类的准确性和稳定性。
Description
技术领域
本发明涉及图像分类领域，具体涉及一种基于有序回归正则的分类方法。
背景技术
图像分类，是判断给定图像的内容在已有固定的分类标签集合中属于何种具体类别的过程。
图像内容的视角变化、大小变化、亮度变化、光照条件、背景干扰等都是分类任务面临的困难。有些种类之间的差异小，界限模糊，辨识困难，因此给图像分类是一个较难的问题。传统的机器学习方法一般首先提取图像特征，然后利用特征建模。特征一般为人为挑选，不够灵活，也不够准确，往往不能充分反映图像关键信息，因此准确率不能令人满意。深度学习技术在计算机视觉领域表现优异，在图像分类任务中也可取得较好的效果，但其准确率仍有进一步提升的空间，一般的正则化方法是约束神经网络的权重，以限制解空间的大小。
发明内容
本发明的目的是提供一种基于有序回归正则的分类方法，提高图像分类的准确性和稳定性。
为了实现以上目的，本发明采用的技术方案为：一种基于有序回归正则的分类方法，包括如下步骤：
步骤S01：设计神经网络结构：借鉴经典分类模型，结合具体的分类任务，
设计合理的网络结构；
步骤S02：设计有序回归正则项：根据具体的分类任务，设计有序回归正则项，确定损失函数；
步骤S03：确定训练超参数：根据经验知识，选择合适的超参数；
步骤S04：模型训练：使用训练集训练端到端模型；
步骤S05：新样本预测和结果解释：使用训练好的模型对新样本进行预测，并对模型的结果做出解释。
进一步的，所述步骤S01中，借鉴的经典模型是ResNet，在此模型的基础上，依分类任务修改模型，以适应具体的分类任务。
进一步的，所述步骤S02中，设计的正则项是基于有序回归技术，所述的损失函数同时考虑了分类损失和回归损失
进一步的，所述步骤S05中，新样本输入模型，模型输出分类结果。
本发明的技术效果在于：(1)本发明提出了一种新的正则化方法，可以提高模型的准确性和稳定性；(2)本发明的输出结果具有方向性。基于有序回归技术的正则项具有方向性意义，即使预测存在偏差，预测结果总是向正确的方向靠近。
附图说明
图1为本发明实施例提供的基于有序回归正则项的分类方法的流程示意图。
图2为本发明实施例提供的基于有序回归正则项的分类方法的模型示意图。
图3为本发明实施例提供的基于有序回归正则项的分类方法的预测结果方向性示意图。
具体实施方式
参照附图1-3，一种基于有序回归正则的分类方法，包括如下步骤：
步骤S01：设计神经网络结构：借鉴经典分类模型，结合具体的分类任务，
设计合理的网络结构；
步骤S02：设计有序回归正则项：根据具体的分类任务，设计有序回归正则项，确定损失函数；
步骤S03：确定训练超参数：根据经验知识，选择合适的超参数；
步骤S04：模型训练：使用训练集训练端到端模型；
步骤S05：新样本预测和结果解释：使用训练好的模型对新样本进行预测，并对模型的结果做出解释。
优选的，步骤S01中，选择的经典图像分类模型是ResNet模型，在ResNet模型基础上设计网络结构。使用ResNet网络的卷积结构作为特征提取层，后面接全连接层，用于分类，最后在全连接层后面接一个回归层，请参阅图2。最后的回归层仅用于计算正则项，不参与结果预测。
优选的，步骤S02中，根据具体的学习任务设计有序回归正则项。选择的分类损失函数是交叉熵损失函数，回归损失函数为L1-范数损失函数。由上述的网络结构可知，可以由真实的图像标签和回归层的输出定义回归损失，作为正则项。模型的总体损失为分类损失和回归损失的线性加权。
优选的，步骤S03中，模型超参数主要包括学习率和正则项系数。对于学习率，可以选择常见的0.001；对于正则项系数，要求平衡这两种损失，这个与学习任务相关。超参数可以通过交叉验证实验来选择。
优选的，步骤S04中，使用常用的深度学习框架(如TensorFlow/Pytorch)及训练参数训练模型。
优选的，步骤S05中，输入一张图像，模型输出分类结果。同时，由于正则项采用了有序回归技术，所以正则项具有方向性。这给预测的结果带来了方向性的意义。
其中方向性是指，对于一个N分类模型，定义N个区间，对应N个类别，类别分别记为0,1,2,…,N-1。第K个(0<K<N-2)类别对应的区间是[K-0.5,K+0.5)，当K＝0时，区间为(-∞,0.5)；当K＝N-1时，区间为(N-1-0.5,∞)。当预测有偏差时，正则项(回归层的输出值)在[K-0.5,K)，认为预测结果偏向更高的级别；正则项(回归层的输出值)在[K,K+0.5)，认为预测结果偏向更低的级别。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (4)
1.一种基于有序回归正则的分类方法，包括如下步骤：
步骤S01：设计神经网络结构：借鉴经典分类模型，结合具体的分类任务，设计合理的网络结构；
步骤S02：设计有序回归正则项：根据具体的分类任务，设计有序回归正则项，确定损失函数；
步骤S03：确定训练超参数：根据经验知识，选择合适的超参数；
步骤S04：模型训练：使用训练集训练端到端模型；
步骤S05：新样本预测和结果解释：使用训练好的模型对新样本进行预测，并对模型的结果做出解释。
2.根据权利要求1所述基于对偶距离损失的生成对抗网络训练方法，其特征在于：所述步骤S01中，借鉴的经典模型是ResNet，在此模型的基础上，依分类任务修改模型，以适应具体的分类任务。
3.根据权利要求1所述基于对偶距离损失的生成对抗网络训练方法，其特征在于：所述步骤S02中，设计的正则项是基于有序回归技术，所述的损失函数同时考虑了分类损失和回归损失。
4.根据权利要求1所述基于对偶距离损失的生成对抗网络训练方法，其特征在于：所述步骤S05中，新样本输入模型，模型输出分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110035501.3A CN112766345A (zh) | 2021-01-12 | 2021-01-12 | 一种基于有序回归正则的分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110035501.3A CN112766345A (zh) | 2021-01-12 | 2021-01-12 | 一种基于有序回归正则的分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766345A true CN112766345A (zh) | 2021-05-07 |
Family
ID=75701558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110035501.3A Pending CN112766345A (zh) | 2021-01-12 | 2021-01-12 | 一种基于有序回归正则的分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766345A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751166A (zh) * | 2019-08-28 | 2020-02-04 | 合肥黎曼信息科技有限公司 | 一种钻石颜色定级的智能方法 |
| CN110766663A (zh) * | 2019-09-27 | 2020-02-07 | 合肥黎曼信息科技有限公司 | 一种钻石多尺度定级及内含物可视化的智能方法 |
| CN111507964A (zh) * | 2020-04-17 | 2020-08-07 | 中山仰视科技有限公司 | 新冠肺炎的集成学习定级方法、电子设备及存储介质 |
-
2021
- 2021-01-12 CN CN202110035501.3A patent/CN112766345A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751166A (zh) * | 2019-08-28 | 2020-02-04 | 合肥黎曼信息科技有限公司 | 一种钻石颜色定级的智能方法 |
| CN110766663A (zh) * | 2019-09-27 | 2020-02-07 | 合肥黎曼信息科技有限公司 | 一种钻石多尺度定级及内含物可视化的智能方法 |
| CN111507964A (zh) * | 2020-04-17 | 2020-08-07 | 中山仰视科技有限公司 | 新冠肺炎的集成学习定级方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147456B (zh) | 一种图像分类方法、装置、可读存储介质及终端设备 | |
| CN110674880B (zh) | 用于知识蒸馏的网络训练方法、装置、介质与电子设备 | |
| CN113326764B (zh) | 训练图像识别模型和图像识别的方法和装置 | |
| US10824815B2 (en) | Document classification using attention networks | |
| CN111696112B (zh) | 图像自动裁剪方法、系统、电子设备及存储介质 | |
| WO2021027256A1 (zh) | 处理交互序列数据的方法及装置 | |
| CN111639710A (zh) | 图像识别模型训练方法、装置、设备以及存储介质 | |
| CN107357874A (zh) | 用户分类方法及装置、电子设备、存储介质 | |
| CN110929802A (zh) | 基于信息熵的细分类识别模型训练、图像识别方法及装置 | |
| CN107657056A (zh) | 基于人工智能展示评论信息的方法和装置 | |
| CN113159355A (zh) | 数据预测方法、装置、物流货量预测方法、介质、设备 | |
| CN111382248A (zh) | 一种问题回复方法、装置、存储介质及终端设备 | |
| CN111859967B (zh) | 实体识别方法、装置，电子设备 | |
| CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| CN110046672A (zh) | 一种基于半监督学习的银行电子渠道异常交易确定方法 | |
| CN113469186A (zh) | 一种基于少量点标注的跨域迁移图像分割方法 | |
| CN106021402A (zh) | 用于跨模态检索的多模态多类Boosting框架构建方法及装置 | |
| CN110263982A (zh) | 广告点击率预估模型的优化方法和装置 | |
| CN116229170A (zh) | 基于任务迁移的联邦无监督图像分类模型训练方法、分类方法及设备 | |
| CN115375361A (zh) | 一种在线广告投放目标人群的选择方法、装置及电子设备 | |
| CN114547300A (zh) | 一种结合远程监督和有监督的关系分类方法 | |
| CN112313679A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN114078203A (zh) | 一种基于改进pate的图像识别方法和系统 | |
| Rama et al. | LSTM autoencoders for dialect analysis | |
| US20070036441A1 (en) | Monotonic classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |