CN111160429B - 图像检测模型的训练方法、图像检测方法、装置及设备 - Google Patents
图像检测模型的训练方法、图像检测方法、装置及设备 Download PDFInfo
- Publication number
- CN111160429B CN111160429B CN201911302393.0A CN201911302393A CN111160429B CN 111160429 B CN111160429 B CN 111160429B CN 201911302393 A CN201911302393 A CN 201911302393A CN 111160429 B CN111160429 B CN 111160429B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- label
- sample set
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像检测模型的训练方法,包括:获取若干图像中各个图像的图像信息;确定所述若干图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;重复执行T次确定目标样本集的过程,得到T个所述目标样本集;利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型。本发明还提供了一种图像检测方法、装置和一种计算机设备。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种图像检测模型的训练方法、图像检测方法、装置、计算机设备及计算机可读存储介质。
背景技术
客户申请贷款时,按照规定需要提供必要的申请材料,并将这些材料拍照通过贷款申请页面上传提交到银行贷款部门后台,面签、审批人员会根据这些材料,进行后续流程,判断是否给客户进行放款。但是拍摄材料照片的质量会受相机的质量、拍摄的角度、光照、拍摄时是否抖动等因素影响,少量的图片会有不清晰,不能辨识内容的情况。同时有的客户也会恶意上传一些卡通图片、PS图片等。这些图片是审核客户的依据,质量不好的图片不能放款,或退补件或否决,会浪费比较大的人力。在客户上传申请材料图片时,将低质量的图片检测出,提示上传高质量图像,可以极大提升员工效率和客户体验。
但是,发明人在研究本发明的过程中发现:相关技术中的图片检测机制不够完善且准确度不高。
发明内容
本发明的目的在于提供一种图像检测模型的训练方法、图像检测方法、装置、计算机设备及计算机可读存储介质,能够解决上述现有技术中的缺陷。
本发明的一个方面提供了一种图像检测模型的训练方法,包括:获取若干图像中各个图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息;确定所述若干图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量;利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预测所述图像的标签。
可选地,确定所述若干图像中每个所述图像的标签,包括:获取所述若干图像对应的历史日志信息,其中,所述历史日志信息包括接收记录和退回记录;将所述接收记录所指向图像的标签确定为所述第一标签;将所述退回记录所指向图像的标签确定为所述第二标签。
可选地,所述方法还包括:确定T值;其中,确定T值包括:获取预定选择概率值,其中,所述预定选择概率值用于定义使用所述第一样本集的大小;根据所述第一数量、所述第二数量和所述选择概率值计算所述T值。
可选地,重复执行T次确定目标样本集的过程,得到T个所述目标样本集,包括:步骤A1,从所述第一样本集中选择所述目标数量的图像的图像信息作为第1个所述样本子集,将第1个所述样本子集和所述第二样本集作为第1个所述目标样本集;步骤A2,判断i是否大于T,当i不大于T时,执行步骤A3,当i大于T时,执行利用所述T个目标样本集依次对预设算法进行训练的步骤,其中,i的初始值为1;步骤A3,从所述第一样本集中选择所述目标数量的图像的图像信息作为第i个样本子集,将第i个所述样本子集和所述第二样本集作为第i个目标样本集,其中,各个所述目标样本集均不同。
可选地,利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,包括:针对每个所述目标样本集和所述目标样本集对应的所述目标模型,利用所述目标样本集依次对若干所述预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,其中,每个所述预设算法对应一个所述初步模型;从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型。
可选地,所述方法还包括:针对每个所述目标样本集,划分所述目标样本集为目标训练样本集和目标测试样本集;利用所述目标样本集依次对若干所述预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,包括:利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到所述若干初步模型;从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型,包括:利用所述目标测试样本集对所述若干初步模型中每个所述初步模型进行测试,在测试通过后,从所述若干初步模型中确定出一个最优的模型作为所述初步模型。
可选地,利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到所述若干初步模型,包括:步骤B1,将所述目标训练样本集划分为K份目标训练样本子集;步骤B2,针对每个所述预设算法,利用交差验证算法和所述K份目标训练样本子集对所述预设算法进行训练,得到K个训练模型;计算所述K个训练模型中每个所述训练模型的指标分数,得到K个所述指标分数;将所述K个指标分数中分数最高的指标分数对应的训练模型作为所述初步模型;步骤B3,重复执行步骤B2,直至确定出所有的所述初步模型。
本发明的另一个方面提供了一种图像检测方法,包括:获取目标图像的图像信息;将所述目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签,其中,所述T个目标模型通过上述任一实施例所述的图像检测模型的训练方法训练得到,每个所述目标模型均用于预测所述目标图像的标签;利用预设规则对所述T个目标标签进行统计,以预测所述目标图像的最终标签。
本发明的再一个方面提供了一种图像检测模型的训练装置,包括:第一获取模块,用于获取若干图像中各个图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息;第一确定模块,用于确定所述若干图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;关联模块,用于将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;第二确定模块,用于重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量;训练模块,用于利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预测所述图像的标签。
本发明的又一个方面提供了一种图像检测装置,包括:第二获取模块,用于获取目标图像的图像信息;输入模块,用于将所述目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签,其中,所述T个目标模型通过上述任一所述的方法训练得到,每个所述目标模型均用于预测所述目标图像的标签;统计模块,用于利用预设规则对所述T个标签进行统计,以预测所述目标图像的最终标签。
本发明的又一个方面提供了一种计算机设备,该计算机设备包括:存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现上述介绍的图像检测模型的训练方法的步骤和/或图像检测方法的步骤。
本发明的又一个方面提供了一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述介绍的图像检测模型的训练方法的步骤和/或图像检测方法的步骤。
本发明提供的图像检测模型的训练方法和图像检测方法,通过图像信息与对应的标签相关联得到第一样本集和第二样本集,然后循环从第一样本集中进行抽样并与第二样本集集合,得到T个目标样本集,再利用T个目标样本集依次对预设算法进行训练得到T个目标模型。由于每个目标样本集中属于第一标签的图像信息的数据量和属于第二标签的图像样本集的数据量相差不大,使得训练出的每个目标模型预测图像的标签的准确度有所提升,并且通过构造T个目标充分利用了第一样本集中的数据,使得T个目标模型综合起来得到的图像的最终标签的准确度进一步提高。
进一步,针对每一个目标模型,本发明对多个预设算法进行训练,并从训练出的初步模型中选出效果最优的模型作为目标模型,保障了目标模型的质量,提高了标签预测的准确度。同时,本发明还在训练每一个预设算法过程中将目标训练样本集拆分为多个目标训练样本子集,进而使用交差验证算法对预设算法进行训练并从训练出的多个训练模型中选择出最优的模型作为初步模型,提高初步模型的质量,也即间接的提高了确定出的目标模型的质量,进一步保证了标签预测的精确度。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示意性示出了根据本发明实施例的图像检测模型的训练方法的流程图;
图2示意性示出了根据本发明实施例的图像检测模型的训练方案的示意图;
图3示意性示出了根据本发明实施例的图像检测方法的流程图;
图4示意性示出了根据本发明实施例的图像检测方案的示意图;
图5示意性示出了根据本发明实施例的图像检测模型的训练装置的框图;
图6示意性示出了根据本发明实施例的图像检测装置的框图;
图7示意性示出了根据本发明实施例的适于实现图像检测模型的训练方法和/或图像检测方法的计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
图1示意性示出了根据本发明实施例的图像检测模型的训练方法的流程图。
如图1所示,该图像检测模型的训练方法可以包括步骤S101~步骤S105,其中:
步骤S101,获取若干图像中各个图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息。
其中,若干表示一个、两个或多个,图像描述信息包括以下特征:图像分辨率、RGB(Red-Green-Blue)颜色直方图、尺度不变特征变换(Scale-Invariant FeatureTransform,简称为SIFT)和方向梯度方向梯度直方图(Histogram of Oriented Gradient,简称为HOG)等。图像内容信息包括图像中的文字的特征信息等。其中,可以使用光学字符识别(Optical Character Recognition,简称为OCR)文字识别技术,识别图像中的文字,然后通过词频-逆文本频率(Term Frequency-Inverse Document Frequency,简称为TF-IDF)构造文字的特征信息。
进一步,可以将每一个图像的图像描述信息和图像内容信息拼接在一起,如拼接成一条数据链,以形成图像信息。
步骤S102,确定所述若干图像中每个图像的标签,其中,所述标签包括第一标签或第二标签。
本实施例中,可以通过历史日志信息确定每个图像的标签,每个图像可以对应一个第一标签或者第二标签。
如,步骤S102可以包括步骤S1021~步骤S1023,其中:
步骤S1021,获取所述若干图像对应的历史日志信息,其中,所述历史日志信息包括接收记录和退回记录;
步骤S1021,将所述接收记录所指向图像的标签确定为所述第一标签;
步骤S1023,将所述退回记录所指向图像的标签确定为所述第二标签。
例如,客户申请贷款时上传身份证明信息的图像和收入证明信息的图像,通过获取历史日志信息得知身份证明信息的图像被接收而收入证明信息的图像被退回,则表明身份证明信息的图像为高质量,收入证明信息的图像为低质量,此时可以将身份证明信息的图像标记为第一标签,收入证明信息的图像标记为第二标签。
步骤S103,将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集。
步骤S104,重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量。
由于大部分客户为了尽快的实现目的,会尽可能提供高质量图像,因此第一样本集会远大于第二样本集,若是直接将第一样本集和第二样本集作为目标样本集对预设算法进行训练,容易导致训练结果偏向于第一标签,即训练结果不准确,因此,本实施例为了保证训练结果的准确性,在利用第一样本集和第二样本集训练预设算法时,可以先从第一样本集中选择目标数量的图像的图像信息作为样本子集,其中,目标数量大于等于第二数量且小于第一数量,如目标数量为第二数量的N倍,N为任意大于等于1的任一实数,如N=2或者N=2.1,优选N=1,然后将样本子集和第二样本集作为目标样本集。本实施例为了保证预估的准确性,可以重复执行T次确定目标样本集的过程,得到T个目标样本集,进而执行步骤S105。
可选地,图像检测模型的训练方法还包括:确定T值;
其中,确定T值包括:
获取预定选择概率值,其中,所述预定选择概率值用于定义使用所述第一样本集的大小;
根据所述第一数量、所述第二数量和所述选择概率值计算T值。
具体地,可以根据如下公式计算T值:
p=1-(1-m/n)T
其中,p为预定选择概率值,n为第一数量,m为第二数量,基于该公式可以确定T的值。
可选地,步骤S104可以包括步骤A1~步骤A3,其中:
步骤A1,从所述第一样本集中选择所述目标数量的图像的图像信息作为第1个所述样本子集,将第1个所述样本子集和所述第二样本集作为第1个所述目标样本集;
步骤A2,判断i是否大于T,当i不大于T时,执行步骤A3,当i大于T时,执行利用所述T个目标样本集依次对预设算法进行训练的步骤,其中,i的初始值为1;
步骤A3,从所述第一样本集中选择所述目标数量的图像的图像信息作为第i个所述样本子集,将第i个所述样本子集和啊啊第二样本集作为第i个所述目标样本集,其中,各个所述目标样本集均不同。
需要说明的是,本发明在执行步骤S104时,还可以有多个替换实施例,步骤A1~A3仅仅是一个示例,例如,还可以将i的初始值设置为0,或者将步骤A2在步骤A1之前执行,等等,本发明对基于步骤A1~A3的变形不做限定。
步骤S105,利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预设所述图像的标签。
本实施例中,可以利用一个目标样本集对预设算法训练,得到一个目标模型,利用T个目标样本集分别对预设算法训练,得到T个目标模型。每个目标模型均可以实现对图像的标签的预测,而通过T个模型可以更加准确的实现对图像的标签的预测。其中,多个预设算法可以包括逻辑回归(Logistic Regression,LR)算法、随机森林(Random Forest,RF)算法、XGBoost(eXtreme Gradient Boosting)算法和支持向量机(Support Vector Machine,SVM)算法等等。
并且,本实施例中T值不是随机设定,而是通过上述公式计算得出的,有科学有依据的确定了目标模型的个数。其中,为了保证训练的有效性,每一次的目标样本集均不相同,也即每一次选择出的样本子集均不相同。
需要说明的是,每个预设算法均有一个自学习的过程,即预设算法可以根据设定的训练目标学习目标样本集中的特征,自动从目标样本集中学习出哪些特征的贡献度较高,哪些特征的贡献度较弱。基于此,在使用训练完成的目标模型时,至少要将贡献度较高的特征输入其中,以保证输出结果的准确性,或者,也可以直接将图像信息输入目标模型中,该目标模型根据图像信息可以自动的识别出那些特征的贡献度排序,进而较为准确的预测出该图像的标签。当然,输入越多的贡献度较高的特征,目标模型输出结果的准确度越高。
例如,对于任一预设算法,某个目标样本集中的样本子集包括:r个图像中每个图像的图像信息、每个图像属于的第一标签、以及图像信息和第一标签的关联关系;该目标样本集中的第二样本集包括:q个图像中每个图像的图像信息、每个图像属于的第二标签、以及图像信息和第二标签的关联关系。其中,r个图像中的每个图像和q个图像中的每个图像均不同。设定训练目标为确定图像所属的标签,则目标样本集中第一标签和第二标签作为输出y,r个图像中每个图像的图像信息和q个图像中每个图像的图像信息作为输出x,然后利用y和x之间的关联关系训练预设算法。再基于每个预设算法本身自带的自学习功能,可以从输入x中确定出哪些特征能够更准确的确定输出y。比如,目标样本集为{(图像分辨率1、RGB颜色直方图1、SIFT1、HOG1、图像中文字的特征信息1、第一标签),…,(图像分辨率r、RGB颜色直方图r、SIFTr、HOGr、图像中文字的特征信息r、第一标签),(图像分辨率1’、RGB颜色直方图1’、SIFT1’、HOG1’、图像中文字的特征信息1’、第二标签),…,(图像分辨率q’、RGB颜色直方图q’、SIFTq’、HOGq’、图像中文字的特征信息q’、第二标签)},将其输入预设算法后,预设算法根据设定的训练目标从目标样本集中自学习,然后输出特征的贡献度排名为:z1*图像分辨率、z2*RGB颜色直方图、z3*SIFT、z4*HOG、z5*图像中文字的特征信息,其中,z表征贡献度,且z1、z2、z3、z4和z5之和为1。
可选地,步骤S105可以包括步骤S1051~步骤S1052,其中:
步骤S1051,针对每个所述目标样本集和所述目标样本集对应的所述目标模型,利用所述目标样本集依次对若干所述预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,其中,每个所述预设算法对应一个所述初步模型;
步骤S1052,从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型。
本实施例中,对于每个目标样本集和该目标样本集对应的目标模型而言,,可以是通过该目标样本集对多个预设算法进行训练得到多个初步模型,然后从多个初步模型中选择一个最优的模型作为目标分模型,进而可以进一步的提高预测标签的准确度。
可选地,为了保证训练完成的初步模型的准确性,还需要对初步模型进行测试,因此需要构建目标测试样本集,本实施例可以预先将目标样本集划分为目标训练样本集和目标测试样本集,其中,本实施例对划分的方式不做限定,如可以是随机划分,也可以是按时间划分。目标训练样本集用于分别训练多个预设算法中的每个预设算法,进而得到多个初步模型,目标测试样本集用于分别测试多个初步模型中的每个初步模型,在测试通过后,从这些初步模型中确定出一个最优的模型作为目标模型。
如,该图像检测模型的训练方法还包括:针对每个所述目标样本集,划分所述目标样本集为目标训练样本集和目标测试样本集;
利用所述目标样本集依次对所述若干预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,包括:利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到所述若干初步模型;
从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型,包括:利用所述目标测试样本集对所述若干初步模型中每个所述初步模型进行测试,在测试通过后,从所述若干初步模型中确定出一个最优的模型作为所述目标模型。
其中,利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,包括步骤B1~步骤B3,其中:
步骤B1,将所述目标训练样本集划分为K份目标训练样本子集;
步骤B2,针对每个所述预设算法,利用交差验证算法和K份所述目标训练样本子集对所述预设算法进行训练,得到K个训练模型;计算所述K个训练模型中每个所述训练模型的指标分数,得到K个所述指标分数;将所述K个指标分数中分数最高的指标分数对应的训练模型作为所述初步模型;
步骤B3,重复执行步骤B2,直至确定出所有的初步模型。
本实施例中,k-fold交叉验证为:对于目标训练样本集划分为K份目标训练样本子集的情况,将一个单独的目标训练样本子集保留作为验证训练模型的数据,其他K-1个目标训练样本子集用来训练预设算法得到训练模型,验证重复K次,每个目标训练样本子集验证一次。指标分数可以包括KS(Kolmogorov-Smirnov)值和/或AUC(Area Under the Curve)值,KS值越高,模型效果越好,同样的,AUC值越高,模型效果越好。在指标分数包括KS值和AUC值时,可以对二者加权求平均或者直接求平均作为每个训练模型的最终指标分数,本实施例对此不做限定。
例如,分别对4个预设算法进行训练,对于每一个预设算法而言,K=3,训练样本集划分为目标训练样本子集1、目标训练样本子集2和目标训练样本子集3,k-fold交叉验证为:利用目标训练样本子集1和目标训练样本子集2这个整体训练预设算法,得到一个训练模型,利用目标训练样本子集3测试训练出的训练模型;利用目标训练样本子集1和目标训练样本子集3这个整体训练预设算法,得到一个训练模型,利用目标训练样本子集2测试训练出的训练模型;利用目标训练样本子集2和目标训练样本子集3这个整体训练预设算法,得到一个训练模型,利用目标训练样本子集1测试训练出的训练模型。在以上测试通过后,计算这3个训练模型每个训练模型的指标分数可以得到3个指标分数,然后从这个3个指标分数中找到分数最高的指标分数,将分数最高的指标分数对应的训练模型作为初步模型。进一步,重复上述操作直至确定出4个初步模型。
需要说明的是,在选择出对于每个预设算法对应的初步模型之后,记录该初步模型的参数,以便在将最优的初步模型中确定为目标模型之后,能够使用该最优的初步模型的参数预测图像的标签。
图2示意性示出了根据本发明实施例的图像检测模型的训练方案的示意图。
如图2所示,Data_n表示第一样本集,Data_p表示第二样本集,Data_n1表示第1个样本子集,Data_n1和Data_p表示第1个目标样本集;Data_n2表示第2样本子集,Data_n2和Data_p表示第2个目标样本集;Data_n3表示第3样本子集,Data_n3和Data_p表示第3个目标样本集;…;Data_nt示第T样本子集,Data_nt和Data_p表示第T目标样本集。Model_1表示第1个目标模型,Model_2示第2目标模型,Model_3示第3目标模型,…,Model_t表示第T个目标模型。融合模型中的Model即表示将T个目标模型作为一个整体预测图像的标签。
图3示意性示出了根据本发明实施例的图像检测方法的流程图。
如图3所示,该图像检测方法可以包括步骤S301~步骤S303,其中:
步骤S301,获取目标图像的图像信息;
步骤S302,将目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签;
步骤S303,利用预设规则对所述T个目标标签进行统计,以预测目标图像的最终标签。
本实施例中,所述T个目标模型通过上述任一实施例中图像检测模型的训练方法训练得到,每个目标模型均用于预测目标图像的标签。另外,本实施例可以采用多数投票法或者平均法对T个目标标签进行统计,得到最终标签,进而可以根据最终标签确定该目标图像的质量。其中,最终标签包括第一标签或第二标签,如,若最终标签为第一标签,则认为目标图像为高质量图像,若最终标签为第二标签,则认为目标图像为低质量图像。
图4示意性示出了根据本发明实施例的图像检测方案的示意图。
如图4所示,提取图像信息后,依次输入T个目标模型:Model_1、Model_2、Model_3、…、Model_t,分别得到各个目模型输出的目标标签,然后通过预设规则对T个目标标签进行统计,以预测目标图像的最终标签。
图5示意性示出了根据本发明实施例的图像检测模型的训练装置的框图。
如图5所示,该图像检测模型的训练装置500可以包括第一获取模块501、第一确定模块502、关联模块503、第二确定模块504和训练模块505,其中:
第一获取模块501,用于获取若干图像中各个图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息;
第一确定模块502,用于确定所述若干所述图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;
关联模块503,用于将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;
第二确定模块504,用于重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量;
训练模块505,用于利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预测所述图像的标签。
可选地,第一确定模块还用于:获取所述若干图像对应的历史日志信息,其中,所述历史日志信息包括接收记录和退回记录;将所述接收记录所指向图像的标签确定为所述第一标签;将所述退回记录所指向图像的标签确定为所述第二标签。
可选地,所述装置还包括:第三确定模块,用于确定T值;其中,第三确定模块还用于:获取预定选择概率值,其中,所述预定选择概率值用于定义使用所述第一样本集的大小;根据所述第一数量、所述第二数量和所述选择概率值计算所述T值。
可选地,第二确定模块还用于:步骤A1:从所述第一样本集中选择所述目标数量的图像的图像信息作为第1个所述样本子集,将第1个所述样本子集和所述第二样本集作为第1个所述目标样本集;步骤A2:判断i是否大于T,当i不大于T时,执行步骤A3,当i大于T时,执行利用所述T个目标样本集依次对预设算法进行训练的步骤,其中,i的初始值为1;步骤A3:从所述第一样本集中选择所述目标数量的图像的图像信息作为第i个样本子集,将第i个所述样本子集和所述第二样本集作为第i个目标样本集,其中,各个所述目标样本集均不同。
可选地,训练模块还用于:针对每个所述目标样本集和所述目标样本集对应的所述目标模型,利用所述目标样本集依次对若干所述预设算法中的每个所述预设算法进行训练,得到若干所述初步模型,其中,每个所述预设算法对应一个所述初步模型;从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型。
可选地,所述装置还包括:划分模块,用于针对每个所述目标样本集,划分所述目标样本集为目标训练样本集和目标测试样本集;训练模块在利用所述目标样本集依次对所述若干预设算法中的每个所述预设算法进行训练,得到若干所述初步模型时,还用于:利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到所述若干初步模型;训练模块在从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型时,还用于:利用所述目标测试样本集对所述若干初步模型中每个所述初步模型进行测试,在测试通过后,从所述若干初步模型中确定出一个最优的模型作为所述初步模型。
可选地,训练模块在利用所述目标训练样本集对所述若干预设算法中的每个所述预设算法进行训练,得到若干所述初步模型时,还用于:步骤B1:将所述目标训练样本集划分为K份目标训练样本子集;步骤B2:针对每个所述预设算法,利用交差验证算法和所述K份目标训练样本子集对所述预设算法进行训练,得到K个训练模型;计算所述K个训练模型中每个所述训练模型的指标分数,得到K个所述指标分数;将所述K个指标分数中分数最高的指标分数对应的训练模型作为所述初步模型;步骤B3:重复执行步骤B2,直至确定出所有的所述初步模型。
图6示意性示出了根据本发明实施例的图像检测装置的框图。
如图6所示,该图像检测装置600可以包括第二获取模块601、输入模块602和统计模块603,其中:
第二获取模块601,用于获取目标图像的图像信息;
输入模块602,用于将所述目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签,其中,所述T个目标模型通过上述任一实施例所述图像检测模型的训练方法训练得到,每个所述目标模型均用于预测所述目标图像的标签;
统计模块603,用于利用预设规则对所述T个目标标签进行统计,以预测所述目标图像的最终标签。
图7示意性示出了根据本发明实施例的适于实现图像检测模型的训练方法和/或图像检测方法的计算机设备的框图。本实施例中,计算机设备700可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图7所示,本实施例的计算机设备700至少包括但不限于:可通过系统总线相互通信连接的存储器701、处理器702、网络接口703。需要指出的是,图7仅示出了具有组件701-703的计算机设备700,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器701至少包括一种类型的计算机可读存储介质,可读存储介质包括包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器701可以是计算机设备700的内部存储单元,例如该计算机设备700的硬盘或内存。在另一些实施例中,存储器701也可以是计算机设备700的外部存储设备,例如该计算机设备700上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器701还可以既包括计算机设备700的内部存储单元也包括其外部存储设备。在本实施例中,存储器701通常用于存储安装于计算机设备700的操作系统和各类应用软件,例如图像检测模型的训练方法的程序代码和/或图像检测方法的程序代码等。此外,存储器701还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器702在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器702通常用于控制计算机设备700的总体操作。例如执行与计算机设备700进行数据交互或者通信相关的控制和处理等。本实施例中,处理器702用于运行存储器701中存储的图像检测模型的训练方法的程序代码和/或图像检测方法的程序代码。
在本实施例中,存储于存储器701中的图像检测模型的训练方法和/或图像检测方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器702)所执行,以完成本发明。
网络接口703可包括无线网络接口或有线网络接口,该网络接口703通常用于在计算机设备700与其他计算机设备之间建立通信链接。例如,网络接口703用于通过网络将计算机设备700与外部终端相连,在计算机设备700与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access,简称为WCDMA)、7G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
本实施例还提供一种计算机可读存储介质,包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等,其上存储有计算机程序,所述计算机程序被处理器执行时实现图像检测模型的训练方法和/或图像检测方法。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像检测模型的训练方法,其特征在于,包括:
获取若干图像中各个所述图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息;
确定所述若干图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;
将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;
重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量;
利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预测所述图像的标签。
2.根据权利要求1所述的方法,其特征在于,确定所述若干图像中每个所述图像的标签,包括:
获取所述若干图像对应的历史日志信息,其中,所述历史日志信息包括接收记录和退回记录;
将所述接收记录所指向图像的标签确定为所述第一标签;
将所述退回记录所指向图像的标签确定为所述第二标签。
3.根据权利要求1所述的方法,其特征在于,
所述方法还包括:确定T值;
其中,确定T值包括:
获取预定选择概率值,其中,所述预定选择概率值用于定义使用所述第一样本集的大小;
根据所述第一数量、所述第二数量和所述选择概率值计算所述T值。
4.根据权利要求1所述的方法,其特征在于,重复执行T次确定目标样本集的过程,得到T个所述目标样本集,包括:
步骤A1:从所述第一样本集中选择所述目标数量的图像的图像信息作为第1个所述样本子集,将第1个所述样本子集和所述第二样本集作为第1个所述目标样本集;
步骤A2:判断i是否大于T,当i不大于T时,执行步骤A3,当i大于T时,执行利用所述T个目标样本集依次对预设算法进行训练的步骤,其中,i的初始值为1;
步骤A3:从所述第一样本集中选择所述目标数量的图像的图像信息作为第i个样本子集,将第i个所述样本子集和所述第二样本集作为第i个目标样本集,其中,各个所述目标样本集均不同。
5.根据权利要求1所述的方法,其特征在于,利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,包括:
针对每个所述目标样本集和所述目标样本集对应的所述目标模型,利用所述目标样本集依次对若干所述预设算法中的每个所述预设算法进行训练,得到若干初步模型,其中,每个所述预设算法对应一个所述初步模型;
从所述若干初步模型中确定出一个最优的模型作为一个所述目标模型。
6.一种图像检测方法,其特征在于,包括:
获取目标图像的图像信息;
将所述目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签,其中,所述T个目标模型通过权利要求1至5任一所述的方法训练得到,每个所述目标模型均用于预测所述目标图像的标签;
利用预设规则对所述T个目标标签进行统计,以预测所述目标图像的最终标签。
7.一种图像检测模型的训练装置,其特征在于,包括:
第一获取模块,用于获取若干图像中各个所述图像的图像信息,其中,所述图像信息包括图像描述信息和图像内容信息;
第一确定模块,用于确定所述若干图像中每个所述图像的标签,其中,所述标签包括第一标签或第二标签;
关联模块,用于将每个属于所述第一标签的图像的图像信息与所述第一标签关联,得到第一样本集,并将每个属于所述第二标签的图像的图像信息与所述第二标签关联,得到第二样本集;
第二确定模块,用于重复执行T次确定目标样本集的过程,得到T个所述目标样本集,其中,所述T个目标样本集中的每个所述目标样本集均不同,每次执行确定所述目标样本集的过程包括:从所述第一样本集中选择目标数量的图像的图像信息作为样本子集,并将所述样本子集和所述第二样本集确定为目标样本集,其中,所述目标数量小于属于所述第一标签的图像的第一数量,且大于等于属于所述第二标签的图像的第二数量;
训练模块,用于利用所述T个目标样本集依次对预设算法进行训练,得到T个目标模型,其中,每个所述目标模型对应一个所述目标样本集,每个所述目标模型用于根据所述图像的图像信息预测所述图像的标签。
8.一种图像检测装置,其特征在于,包括:
第二获取模块,用于获取目标图像的图像信息;
输入模块,用于将所述目标图像的图像信息输入预先训练完成的T个目标模型,得到T个目标标签,其中,所述T个目标模型通过权利要求1至5任一所述的方法训练得到,每个所述目标模型均用于预测所述目标图像的标签;
统计模块,用于利用预设规则对所述T个标签进行统计,以预测所述目标图像的最终标签。
9.一种计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法的步骤和/或权利要求6所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤和/或权利要求6所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911302393.0A CN111160429B (zh) | 2019-12-17 | 2019-12-17 | 图像检测模型的训练方法、图像检测方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911302393.0A CN111160429B (zh) | 2019-12-17 | 2019-12-17 | 图像检测模型的训练方法、图像检测方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160429A CN111160429A (zh) | 2020-05-15 |
CN111160429B true CN111160429B (zh) | 2023-09-05 |
Family
ID=70557569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911302393.0A Active CN111160429B (zh) | 2019-12-17 | 2019-12-17 | 图像检测模型的训练方法、图像检测方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160429B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
CN109214436A (zh) * | 2018-08-22 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 一种针对目标场景的预测模型训练方法及装置 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN110263824A (zh) * | 2019-05-29 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 模型的训练方法、装置、计算设备及计算机可读存储介质 |
-
2019
- 2019-12-17 CN CN201911302393.0A patent/CN111160429B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018121690A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
CN109214436A (zh) * | 2018-08-22 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 一种针对目标场景的预测模型训练方法及装置 |
CN109886335A (zh) * | 2019-02-21 | 2019-06-14 | 厦门美图之家科技有限公司 | 分类模型训练方法及装置 |
CN110263824A (zh) * | 2019-05-29 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 模型的训练方法、装置、计算设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111160429A (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034078B (zh) | 年龄识别模型的训练方法、年龄识别方法及相关设备 | |
CN108830235B (zh) | 用于生成信息的方法和装置 | |
WO2020098250A1 (zh) | 字符识别方法、服务器及计算机可读存储介质 | |
CN109816200B (zh) | 任务推送方法、装置、计算机设备和存储介质 | |
US20210124967A1 (en) | Method and apparatus for sample labeling, and method and apparatus for identifying damage classification | |
US20150120624A1 (en) | Apparatus and method for information processing | |
CN111353549B (zh) | 图像标签的核验方法及装置、电子设备、存储介质 | |
CN110795976A (zh) | 一种训练物体检测模型的方法、装置以及设备 | |
CN111178147B (zh) | 屏幕破碎分级方法、装置、设备及计算机可读存储介质 | |
CN110288755A (zh) | 基于文本识别的发票检验方法、服务器及存储介质 | |
CN110363222B (zh) | 用于模型训练的图片标注方法、装置、计算机设备及存储介质 | |
CN111914908A (zh) | 一种图像识别模型训练方法、图像识别方法及相关设备 | |
CN106874922B (zh) | 一种确定业务参数的方法及装置 | |
CN111815169A (zh) | 业务审批参数配置方法及装置 | |
CN113283388B (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
CN113496208A (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
CN112183594B (zh) | 票据图像的处理方法和装置、存储介质及电子设备 | |
CN112364919B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN113065748A (zh) | 业务风险评估方法、装置、设备及存储介质 | |
CN111160429B (zh) | 图像检测模型的训练方法、图像检测方法、装置及设备 | |
CN114187545B (zh) | 渐变镜头的识别方法和装置、电子设备和存储介质 | |
CN110716778A (zh) | 应用兼容性测试方法、装置及系统 | |
CN113762382B (zh) | 模型的训练及场景识别方法、装置、设备及介质 | |
CN117975184A (zh) | 图像识别模型的训练方法及图像识别方法 | |
CN112686847B (zh) | 身份证图像拍摄质量评价方法、装置、计算机设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |