CN108614858A - 图像分类模型优化方法、装置及终端 - Google Patents
图像分类模型优化方法、装置及终端 Download PDFInfo
- Publication number
- CN108614858A CN108614858A CN201810246754.3A CN201810246754A CN108614858A CN 108614858 A CN108614858 A CN 108614858A CN 201810246754 A CN201810246754 A CN 201810246754A CN 108614858 A CN108614858 A CN 108614858A
- Authority
- CN
- China
- Prior art keywords
- data
- noise
- image classification
- classification model
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000005457 optimization Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims description 32
- 238000012216 screening Methods 0.000 claims description 26
- 238000012937 correction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 241001269238 Data Species 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010008 shearing Methods 0.000 claims description 7
- 238000013501 data transformation Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 3
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像分类模型优化方法、装置及终端,其中,所述方法包括:通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;按照预设规则,对第一中间数据库与第二中间数据库进行合并得到第三中间数据库;采用第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。本发明提供的图像分类模型优化方法,能够保证图像分类模型优化的时效性,避免图像分类模型的预测能力退化。
Description
技术领域
本发明涉及图像分类模型优化技术领域,特别是涉及一种图像分类模型优化方法、装置及终端。
背景技术
近来,深度学习在自然语言处理、文本翻译等相关内容理解领域取得了突破性的进展。然而这些发展严重依赖于训练数据的规模,所以数据在将这些技术应用到实际生产环境中最主要的瓶颈。
以目前的数据分类任务为例,一般每一个标签需要的数据量是“千”这样的量级。传统的方法使用的是全监督数据训练模型,即首先需要获得足够标注数据,然后再使用这部分标注图像训练模型。但是该种基于标注数据训练模型的方式存在如下不足:
第一、“千”量级的数据看似不多,但是待标注的数据量却十分巨大。一般情况下10-20左右的标注数据中才存在一个训练数据,这就意味着每个标签的训练数据都需要大量的人力标注成本。
第二、互联网环境中每天都要大量的多媒体数据即噪声数据产生,随着时间的推移基于静态全监督数据的模型因无法及时跟随每天噪声数据产生进行优化,模型的预测能力将退化,最终影响预测结果的准确性。
发明内容
本发明实施例提供一种图像分类模型优化方法、装置及终端,以解决现有技术中存在的全监督数据训练的模型退化的问题。
依据本发明的一个方面,提供了一种图像分类模型优化方法,其中,所述方法包括:通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
可选地,通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库的步骤,包括:从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。
可选地,所述按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库的步骤,包括:将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
可选地,对所述第三中间数据库中一个分组下的噪声数据,进行目标标签抽样校正的步骤,包括:从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;若否,对被抽取的所述噪声数据的目标标签进行校正。
可选地,所述对各所述样本数据进行变换处理,得到各所述样本数据的变换数据的步骤,包括:对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
根据本发明的另一方面,提供了一种图像分类模型优化装置,其中,所述装置包括:修正模块,被配置为通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;筛选模块,被配置为通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;合并模块,被配置为按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;优化模块,被配置为采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
可选地,所述筛选模块包括:提取子模块,被配置为从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;变换子模块,被配置为对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;目标标签确定子模块,被配置为通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;生成子模块,被配置为根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。
可选地,所述合并模块包括:数据分组子模块,被配置为将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;数据排序子模块,被配置为按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;中间数据库构成子模块,被配置为筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;标签校正子模块,被配置为分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
可选地,所述标签校正子模块具体被配置为:从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;若否,对被抽取的所述噪声数据的目标标签进行校正。
可选地,所述变换子模块具体被配置为:对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
根据本发明的再一方面,提供了一种终端,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明中所述的任意一种图像分类模型优化方法的步骤。
根据本发明的又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明中所述的任意一种图像分类模型优化方法的步骤。
与现有技术相比,本发明具有以下优点:
本发明实施例提供的图像分类模型优化方案,定期基于噪声数据库中的噪声数据训练第一图像分类模型,并且基于图像分类模型的初始训练数据对其进行修正,通过修正后的第二图像分类模型对噪声数据库以及在两次模型优化期间用户生成的噪声数据进行筛选,将筛选出的噪声进行合并后,替换噪声数据库的噪声数据,从而达到伴随互联网中生成的媒体数据扩充噪声数据库,进而优化图像分类模型的效果。本发明实施例提供的图像分类模型优化方案,无需用户进行大量训练数据的标记,仅手动标记初始训练数据训练得到第一图像分类模型,在使用过程中基于本发明实施例提供的图像分类模型优化方案即可自动对第一图像分类模型进行优化,既能够节省人力资源,又能够保证图像分类模型优化的时效性,避免图像分类模型的预测能力退化。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明实施例一的一种图像分类模型优化方法的步骤流程图;
图2是根据本发明实施例二的一种图像分类模型优化方法的步骤流程图;
图3是根据本发明实施例三的一种图像分类模型优化装置的结构框图;
图4是根据本发明实施例四的一种终端的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1,示出了本发明实施例一的一种图像分类模型优化方法的步骤流程图。
本发明实施例的图像分类模型优化方法可以包括以下步骤:
步骤101:通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型。
本发明实施例中预先存在一个训练好的第一图像分类模型,第一图像分类模型通过初始训练数据训练得到,初始训练数据为人工手动标注的干净数据,第一图像分类模型中包含多个标签,以及各标签对应的初始训练数据。在使用过程中,第一图像分类模型按照预设周期进行优化,优化后得到的第一图像分类模型将作为下一次优化的对象。
其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到,对第一图像分类模型的优化,实质上是对噪声数据库的优化。噪声数据库中管理有用户历史生成的经过筛选的噪声数据。
本发明实施例提供的图像分类模型优化方式,通过对用户历史操作中所生成的大规模噪声数据以及当前所管理维护的噪声数据库中的噪声数据进行筛选,通过筛选得到的噪声数据更新噪声数据库,进入优化第一图像分类模型。预设周期可以为一天、两天或者12个小时等,本发明实施例中对此不做具体显示。本发明实施例中对单次图像分类模型优化流程进行说明,在具体实现过程中,每次图像分类模型优化均可执行本发明实施例中所述的流程。
步骤102:通过第二图像分类模型,对噪声数据库中存储的噪声数据进行筛选得到第一中间数据库。
通过模型初始训练数据对第一图像分类模型进行修正,能够提升图像分类模型的训练精准度。
对噪声数据库中存储的噪声数据进行筛选时,可以从噪声数据库中随机挑选出若干样本数据;对每一个样本数据进行旋转、平移、剪切等变换,进行样本数据增广得到数据集;对增广之后的数据集,使用数据蒸馏算法对数据集进行数据筛选,筛选得到第一中间数据库。
当然并不限于此,在对噪声数据库存储的噪声数据进行筛选时,可以采用任意可行性筛选方式,本发明实施例中对此不做限制。
步骤103:通过第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库。
其中,预设时间段为两次图像分类模型优化的间隔时间段。用户在操作过程中可实时向平台上传数据如图像,用户上传至平台的数据则为噪声数据,管理该平台的后台服务器按照预设周期对用户历史操作过程中生成的噪声数据行筛选。预设周期可由本领域技术人员根据实际需求进行设置。相邻两次筛选间隔中用户操作生成的噪声数据则为预设时间段内用户生成的噪声数据。具体实现过程中,可从预设时间段内用户生成的噪声数据中随机提取样本数据,提取的样本数据的数量可以为千万量级或者亿量级。例如:预设周期为一天,平台中用户每日生成的噪声数量为几十亿,但由于数据库容量有限,则需要提取几亿或者几千万张图像作为样本数据,丢弃其余未被提取的噪声数据。
对预设时间段内用户生成的噪声数据进行筛选时,可以从中随机挑选出若干噪声数据作为样本数据;对每一个样本数据进行旋转、平移、剪切等变换,进行样本数据增广得到数据集;对增广之后的数据集,使用数据蒸馏算法对数据集中的数据进行筛选,筛选得到第二中间数据库。
步骤104:按照预设规则,对第一中间数据库与第二中间数据库进行合并得到第三中间数据库。
第一中间数据库与第二中间数据库中分别包含多个噪声数据,每个样本数据对应一个目标标签以及目标标签概率。在对其进行合并时,可以基于目标标签将两个中间图像库中的噪声数据共同进行分组,并基于目标标签概率对各分组中的噪声数据进行筛选。
优选地,对筛选出的噪声数据进行标签校正,以提升标签标注的精准性。
步骤105:采用第三中间数据库中的噪声数据,全部替换噪声数据库中的噪声数据,以优化第一图像分类模型。
通过替换后的噪声数据库对第一图像分类模型进行训练,得到本次优化后的第一图像分类模型。在间隔预设周期后,再次对第一图像分类模型进行优化时,则返回执行步骤101将前一次优化得到的第一图像分类模型作为当前第一图像分类模型,将前一次优化替换后的噪声数据库作为当前噪声数据库。
本发明实施例提供的图像分类模型优化方法,定期基于噪声数据库中的噪声数据训练第一图像分类模型,并且基于图像分类模型的初始训练数据对其进行修正,通过修正后的第二图像分类模型对噪声数据库以及在两次模型优化期间用户生成的噪声数据进行筛选,将筛选出的噪声进行合并后,替换噪声数据库的噪声数据,从而达到伴随互联网中生成的媒体数据扩充噪声数据库,进而优化图像分类模型的效果。本发明实施例提供的图像分类模型优化方法,无需用户进行大量训练数据的标记,仅手动标记初始训练数据训练得到第一图像分类模型,在使用过程中基于本发明实施例提供的图像分类模型优化方法即可自动对第一图像分类模型进行优化,既能够节省人力资源,又能够保证图像分类模型优化的时效性,避免图像分类模型的预测能力退化。
实施例二
参照图2,示出了本发明实施例二的一种图像分类模型优化方法的步骤流程图。
本发明实施例的图像分类模型优化方法具体可以包括以下步骤:
步骤201:通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型。
其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到。对第一图像分类模型的优化,实质上是对噪声数据库的优化。噪声数据库中管理有用户历史生成的经过筛选的噪声数据。在具体实现过程中,每个预设周期进行一次图像分类模型优化,以保证模型优化的时效性。其中,预设周期可以设置为一天。
步骤202:通过第二图像分类模型,对噪声数据库中存储的噪声数据进行筛选得到第一中间数据库。
对噪声数据库中存储的噪声数据进行筛选时,可以采用任意可行性筛选方式,本发明实施例中对此不做限制。通过筛选可将不干净数据移除,不干净数据为与标签匹配度低的图像。
步骤203:通过第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库。
需要说明的是,步骤203并不局限于在步骤202之后执行,还可以在步骤202之前执行或者与步骤202并行执行。
在具体实现过程中,可以采用任意可行性筛选方式对预设时间段内用户生成的噪声数据进行筛选,本发明实施例中对此不做限制。一种优选地通过第二图像分类模型对预设时间段内用户生成的噪声图像进行筛选,得到第二中间数据库的具体流程包含如下子步骤:
子步骤一、从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;
预设时间段内用户生成的噪声数据为,相邻两次筛选间隔中用户操作生成的数据。从用户生成的噪声数据中提取噪声数据个数,可以由本领域技术人员根据实际需求进行调整。例如:可以提取千万或者亿数量级的噪声数据作为样本数据。从用户生成的噪声数据中提取多个噪声数据作为样本数据时,可以随机提取;与可以按照预设提取策略进行提取。
子步骤二、对各样本数据进行变换,得到各样本数据的变换数据;
对每个样本图像按照预设变换方式进行变换,得到各样本图像的变换图像;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。对样本图像进行变换后,每个样本图像对应一个或多个变换图像。
子步骤三、通过第二图像分类模型,对各样本数据及各变换数据进行标签预测,确定各样本数据的目标标签和目标标签概率;
确定样本数据的目标标签时,通过第二图像分类模型,对各样本数据和各变换数据进行标签预测,分别得到各数据的标签识别结果,标签识别结果包括:数据对应的各标签和每个标签的概率;通过第二图像分类模型标签识别后,每个样本数据对应至少一个标签,最终需要通过投票的方式,确定出各样本数据的唯一目标标签和目标标签概率。
依据投票的方式确定样本数据的目标标签和目标标签概率时,针对每个样本数据的每个标签,首先,将样本数据和样本数据的变换数据对应的该标签的概率进行加权平均,得到该标签的加权平均概率;其次,确定各标签的加权平均概率中的最大值;最后,将最大加权平均概率对应的标签,确定为该样本数据的目标标签;将最大加权平均概率确定为该样本数据的目标标签概率。
子步骤四、根据各样本数据的目标标签及目标标签概率,对各样本数据进行筛选,得到第二中间数据库。
具体地,将各样本数据按照目标标签进行分组;按照目标标签概率对同一分组中的样本数据进行排序;将各分组中排序在预设位数后的样本数据筛除,得到第二中间数据库。
其中,其中,每个分组对应一个目标标签,排序在前的样本数据的目标标签概率值大;预设位数可以由本领域技术人员根据实际需求进行设置,本发明实施例中对此不做具体限制。本步骤中对同一分组中的各样本数据的目标标签概率大小进行排序,在各分组中筛选出Topk个样本数据,构成第二中间数据库。其中,第二终端数据库中的样本数据也属于噪声数据。
在确定第一中间数据库、第二中间数据库后,需按照预设规则,对第一中间数据库与第二中间数据库进行合并得到第三中间数据库,采用第三中间数据库中的噪声数据替换当前噪声数据库中的全部噪声数据,以优化噪声数据库,最终达到优化第一图像分类模型的目的。
步骤204:将第一中间数据库与第二中间数据库中的各噪声数据,按照目标标签进行分组。
本步骤中,将两个中间数据库中的噪声数据按照所属目标标签进行分组整合。
步骤205:按照目标标签概率对同一分组中的噪声数据进行排序。
其中,排序在前的噪声数据的目标标签概率值大。
步骤206:筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库。
其中,预设数量可以由本领域技人员根据实际需求进行设置,本发明实施例中对此不做具体限制。
步骤207:分别对第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
对第三中间图像库中一个分组下的噪声数据,进行目标标签抽样校正时,具体可以通过如下方式:
从分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;若否,对被抽取的噪声数据的目标标签进行校正;若是,则不对抽取的噪声数据进行目标标签校正。
对被抽取的噪声数据进行目标标签校正时,可以人工对噪声数据标注目标标签。在具体实现过程中,可以从每个分组下分别抽取排序在前的Topk个噪声数据进行目标标签校正,未被抽取的噪声数据则被丢弃。
步骤208:采用第三中间数据库中的噪声数据,全部替换噪声数据库中的噪声数据,以优化第一图像分类模型。
通过替换后的噪声数据库对第一图像分类模型进行训练,得到本次优化后的第一图像分类模型。在间隔预设周期后,再次对第一图像分类模型进行优化时,则返回执行步骤201将前一次优化得到的第一图像分类模型作为当前第一图像分类模型,将前一次优化替换后的噪声数据库作为当前噪声数据库。
本发明实施例提供的图像分类模型优化方法,除具有实施例一中所示的图像分类模型优化方法所具有的有益效果外,在将第一中间数据库与第二中间数据库进行合并时,抽取各分组中排序在前的Topk个噪声数据,进行目标标签校正,能够提升噪声数据库中噪声数据目标标签的准确性。
实施例三
参照图3,示出了本发明实施例三的一种图像分类模型优化装置的结构框图。
本发明实施例的图像分类模型优化装置可以包括:修正模块301,被配置为通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;筛选模块302,被配置为通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;合并模块303,被配置为按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;优化模块304,被配置为采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
优选地,所述筛选模块302可以包括:提取子模块3021,被配置为从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;;变换子模块3022,被配置为对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;目标标签确定子模块3023,被配置为通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;生成子模块3024,被配置为根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。此外,筛选模块302中还包括用于通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库的各子模块。
优选地,所述合并模块303可以包括:数据分组子模块3031,被配置为将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;数据排序子模块3032,被配置为按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;中间数据库构成子模块3033,被配置为筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;标签校正子模块3034,被配置为分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
优选地,所述标签子校正模块3034具体被配置为:从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;若否,对被抽取的所述噪声数据的目标标签进行校正。
优选地,所述变换子模块3022具体被配置为:对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
本发明实施例的图像分类模型优化装置用于实现前述实施例一、实施例二中相应的图像分类模型优化方法,并具有与方法实施例相应的有益效果,在此不再赘述。
实施例四
参照图4,示出了本发明实施例四的一种用于图像分类模型优化的终端的结构框图。
本发明实施例的终端可以包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现本发明中所述的任意一种图像分类模型优化方法的步骤。
图4是根据一示例性实施例示出的一种图像分类模型优化终端600的框图。例如,终端600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,终端600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理部件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为终端600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当终端600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为终端600提供各个方面的状态评估。例如,传感器组件614可以检测到终端600的打开/关闭状态,组件的相对定位,例如所述组件为终端600的显示器和小键盘,传感器组件614还可以检测终端600或终端600一个组件的位置改变,用户与终端600接触的存在或不存在,装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行图像分类模型优化方法,具体地图像分类模型优化方法包括:
通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
优选地,通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库的步骤,包括:从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。
优选地,所述按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库的步骤,包括:将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
优选地,对所述第三中间数据库中一个分组下的噪声数据,进行目标标签抽样校正的步骤,包括:从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;若否,对被抽取的所述噪声数据的目标标签进行校正。
优选地,所述对各所述样本数据进行变换处理,得到各所述样本数据的变换数据的步骤,包括:对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由终端600的处理器620执行以完成上述图像筛选方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时,使得终端能够执行本发明中所述的任意一种图像分类模型优化方法的步骤。
本发明实施例提供的终端,定期基于噪声数据库中的噪声数据训练第一图像分类模型,并且基于图像分类模型的初始训练数据对其进行修正,通过修正后的第二图像分类模型对噪声数据库以及在两次模型优化期间用户生成的噪声数据进行筛选,将筛选出的噪声进行合并后,替换噪声数据库的噪声数据,从而达到伴随互联网中生成的媒体数据扩充噪声数据库,进而优化图像分类模型的效果。本发明实施例提供的终端,无需用户进行大量训练数据的标记,仅手动标记初始训练数据训练得到第一图像分类模型,在使用过程中即可自动对第一图像分类模型进行优化,既能够节省人力资源,又能够保证图像分类模型优化的时效性,避免图像分类模型的预测能力退化。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的图像分类模型优化方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像分类模型优化方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (12)
1.一种图像分类模型优化方法,其特征在于,所述方法包括:
通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;
通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;
按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;
采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
2.根据权利要求1所述的方法,其特征在于,通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库的步骤,包括:
从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;
对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;
通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;
根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。
3.根据权利要求2所述的方法,其特征在于,所述按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库的步骤,包括:
将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;
按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;
筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;
分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
4.根据权利要求3所述的方法,其特征在于,对所述第三中间数据库中一个分组下的噪声数据,进行目标标签抽样校正的步骤,包括:
从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;
若否,对被抽取的所述噪声数据的目标标签进行校正。
5.根据权利要求2所述的方法,其特征在于,所述对各所述样本数据进行变换处理,得到各所述样本数据的变换数据的步骤,包括:
对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
6.一种图像分类模型优化装置,其特征在于,所述装置包括:
修正模块,被配置为通过模型初始训练数据对当前第一图像分类模型进行修正,得到修正后的第二图像分类模型;其中,第一图像分类模型基于噪声数据库中存储的噪声数据训练得到;
筛选模块,被配置为通过所述第二图像分类模型,对所述噪声数据库中存储的噪声数据进行筛选得到第一中间数据库;以及通过所述第二图像分类模型对预设时间段内用户生成的噪声数据进行筛选,得到第二中间数据库;
合并模块,被配置为按照预设规则,对所述第一中间数据库与所述第二中间数据库进行合并得到第三中间数据库;
优化模块,被配置为采用所述第三中间数据库中的噪声数据,全部替换所述噪声数据库中的噪声数据,以优化所述第一图像分类模型。
7.根据权利要求6所述的装置,其特征在于,所述筛选模块包括:
提取子模块,被配置为从预设时间段内用户生成的噪声数据中,提取多个噪声数据作为样本数据;变换子模块,被配置为对各所述样本数据进行变换处理,得到各所述样本数据的变换数据;目标标签确定子模块,被配置为通过所述第二图像分类模型,对各所述样本数据及各所述变换数据进行标签预测,确定各所述样本数据的目标标签和目标标签概率;
生成子模块,被配置为根据各所述样本数据的目标标签及目标标签概率,对各所述样本数据进行筛选,得到第二中间数据库。
8.根据权利要求7所述的装置,其特征在于,所述合并模块包括:
数据分组子模块,被配置为将所述第一中间数据库与所述第二中间数据库中的各噪声数据,按照目标标签进行分组;
数据排序子模块,被配置为按照目标标签概率对同一分组中的噪声数据进行排序;其中,排序在前的噪声数据的目标标签概率值大;
中间数据库构成子模块,被配置为筛选得到各分组中排序在前的、预设数量的噪声数据,构成第三中间数据库;
标签校正子模块,被配置为分别对所述第三中间数据库中各分组下的噪声数据,进行目标标签抽样校正。
9.根据权利要求8所述的装置,其特征在于,所述标签校正子模块具体被配置为:
从所述分组下抽取噪声数据,判断被抽取的噪声数据对应的目标标签是否准确;
若否,对被抽取的所述噪声数据的目标标签进行校正。
10.根据权利要求6所述的装置,其特征在于,所述变换子模块具体被配置为:
对每个样本数据按照预设变换方式进行变换,得到各所述样本数据的变换数据;其中,预设变换方法包括以下至少之一:旋转、平移以及剪切。
11.一种终端,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像分类模型优化方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像分类模型优化方法的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810246754.3A CN108614858B (zh) | 2018-03-23 | 2018-03-23 | 图像分类模型优化方法、装置及终端 |
US17/040,924 US11544496B2 (en) | 2018-03-23 | 2018-12-20 | Method for optimizing image classification model, and terminal and storage medium thereof |
PCT/CN2018/122441 WO2019179189A1 (zh) | 2018-03-23 | 2018-12-20 | 图像分类模型优化方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810246754.3A CN108614858B (zh) | 2018-03-23 | 2018-03-23 | 图像分类模型优化方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108614858A true CN108614858A (zh) | 2018-10-02 |
CN108614858B CN108614858B (zh) | 2019-07-05 |
Family
ID=63658923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810246754.3A Active CN108614858B (zh) | 2018-03-23 | 2018-03-23 | 图像分类模型优化方法、装置及终端 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11544496B2 (zh) |
CN (1) | CN108614858B (zh) |
WO (1) | WO2019179189A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019179189A1 (zh) * | 2018-03-23 | 2019-09-26 | 北京达佳互联信息技术有限公司 | 图像分类模型优化方法、装置及终端 |
CN110532956A (zh) * | 2019-08-30 | 2019-12-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111754056A (zh) * | 2019-03-26 | 2020-10-09 | 马上消费金融股份有限公司 | 模型评估方法以及相关装置 |
WO2020232977A1 (zh) * | 2019-05-21 | 2020-11-26 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
CN112132220A (zh) * | 2020-09-24 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12067571B2 (en) * | 2020-03-11 | 2024-08-20 | Synchrony Bank | Systems and methods for generating models for classifying imbalanced data |
US11537915B2 (en) * | 2020-05-14 | 2022-12-27 | International Business Machines Corporation | Targeted data acquisition for model training |
CN116206117B (zh) * | 2023-03-03 | 2023-12-01 | 北京全网智数科技有限公司 | 基于编号遍历的信号处理优化系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550295A (zh) * | 2015-12-10 | 2016-05-04 | 小米科技有限责任公司 | 分类模型优化方法及装置 |
CN107341523A (zh) * | 2017-07-13 | 2017-11-10 | 浙江捷尚视觉科技股份有限公司 | 基于深度学习的快递单信息识别方法和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7958065B2 (en) * | 2008-03-18 | 2011-06-07 | International Business Machines Corporation | Resilient classifier for rule-based system |
CN105320957B (zh) | 2014-07-10 | 2022-02-15 | 腾讯科技(深圳)有限公司 | 分类器训练方法和装置 |
CN104951802A (zh) | 2015-06-17 | 2015-09-30 | 中国科学院自动化研究所 | 一种分类器更新方法 |
CN107305636A (zh) * | 2016-04-22 | 2017-10-31 | 株式会社日立制作所 | 目标识别方法、目标识别装置、终端设备和目标识别系统 |
CN106503617A (zh) | 2016-09-21 | 2017-03-15 | 北京小米移动软件有限公司 | 模型训练方法及装置 |
CN108614858B (zh) | 2018-03-23 | 2019-07-05 | 北京达佳互联信息技术有限公司 | 图像分类模型优化方法、装置及终端 |
-
2018
- 2018-03-23 CN CN201810246754.3A patent/CN108614858B/zh active Active
- 2018-12-20 US US17/040,924 patent/US11544496B2/en active Active
- 2018-12-20 WO PCT/CN2018/122441 patent/WO2019179189A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550295A (zh) * | 2015-12-10 | 2016-05-04 | 小米科技有限责任公司 | 分类模型优化方法及装置 |
CN107341523A (zh) * | 2017-07-13 | 2017-11-10 | 浙江捷尚视觉科技股份有限公司 | 基于深度学习的快递单信息识别方法和系统 |
Non-Patent Citations (2)
Title |
---|
彭娟: "特征选择和聚类分析的图像分类模型", 《现代电子技术》 * |
王改华,李涛,吕蒙,袁国亮: "采用无监督学习算法与卷积的图像分类模型", 《华侨大学学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019179189A1 (zh) * | 2018-03-23 | 2019-09-26 | 北京达佳互联信息技术有限公司 | 图像分类模型优化方法、装置及终端 |
US11544496B2 (en) | 2018-03-23 | 2023-01-03 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for optimizing image classification model, and terminal and storage medium thereof |
CN111754056A (zh) * | 2019-03-26 | 2020-10-09 | 马上消费金融股份有限公司 | 模型评估方法以及相关装置 |
WO2020232977A1 (zh) * | 2019-05-21 | 2020-11-26 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
CN110532956A (zh) * | 2019-08-30 | 2019-12-03 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110532956B (zh) * | 2019-08-30 | 2022-06-24 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112132220A (zh) * | 2020-09-24 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2019179189A1 (zh) | 2019-09-26 |
CN108614858B (zh) | 2019-07-05 |
US20210374470A1 (en) | 2021-12-02 |
US11544496B2 (en) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108614858B (zh) | 图像分类模型优化方法、装置及终端 | |
CN108595497B (zh) | 数据筛选方法、装置及终端 | |
CN105488025B (zh) | 模板构建方法和装置、信息识别方法和装置 | |
CN109711548B (zh) | 超参数的选取方法、使用方法、装置及电子设备 | |
CN104737523B (zh) | 通过指派用于数据群集的情境标签来管理移动装置中的情境模型 | |
CN108038103A (zh) | 一种对文本序列进行分词的方法、装置和电子设备 | |
CN106774970A (zh) | 对输入法的候选项进行排序的方法和装置 | |
CN108256549B (zh) | 图像分类方法、装置及终端 | |
CN109389162B (zh) | 样本图像筛选方法和装置、电子设备及存储介质 | |
CN108563683A (zh) | 标签添加方法、装置及终端 | |
CN106446782A (zh) | 图像识别方法及装置 | |
CN107172590A (zh) | 基于移动终端的活动状态信息处理方法、装置及移动终端 | |
CN108256555A (zh) | 图像内容识别方法、装置及终端 | |
CN107729092B (zh) | 一种用于电子书的自动翻页方法和系统 | |
CN107102746A (zh) | 候选词生成方法、装置以及用于候选词生成的装置 | |
CN107679483A (zh) | 号牌识别方法及装置 | |
CN107230137A (zh) | 商品信息获取方法及装置 | |
US11475063B2 (en) | Device, system and method for providing indications of a discrepancy between a video and a textual description of an incident | |
CN107423106A (zh) | 支持多框架语法的方法和装置 | |
CN107609560A (zh) | 文字识别方法及装置 | |
CN107241697A (zh) | 用于移动终端的用户行为确定方法、装置及移动终端 | |
CN113900577B (zh) | 一种应用程序控制方法、装置、电子设备及存储介质 | |
CN110705646A (zh) | 一种基于模型动态更新的移动设备流式数据识别方法 | |
CN105528403A (zh) | 目标数据识别方法及装置 | |
CN107919988A (zh) | 数据统计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |