CN110490221A - 多标签分类方法、电子装置及计算机可读存储介质 - Google Patents

多标签分类方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110490221A
CN110490221A CN201910604957.XA CN201910604957A CN110490221A CN 110490221 A CN110490221 A CN 110490221A CN 201910604957 A CN201910604957 A CN 201910604957A CN 110490221 A CN110490221 A CN 110490221A
Authority
CN
China
Prior art keywords
label
sequence
picture
tag
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910604957.XA
Other languages
English (en)
Other versions
CN110490221B (zh
Inventor
罗郑楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910604957.XA priority Critical patent/CN110490221B/zh
Publication of CN110490221A publication Critical patent/CN110490221A/zh
Application granted granted Critical
Publication of CN110490221B publication Critical patent/CN110490221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明涉及图像检测,提供多标签分类方法,包括:建立标签库,标签库存储有不同物体对应的不同标签及标签顺序;获取图片的图像数据;构建分类模型;训练分类模型,每个标签的设定数量的正样本和负样本构成训练集和验证集;将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。本发明还提供一种电子装置及计算机可读存储介质。本发明降低了多标签数据标注的困难程度。

Description

多标签分类方法、电子装置及计算机可读存储介质
技术领域
本发明涉及图像检测技术领域,更为具体地,涉及一种多标签分类方法、电子装置及计算机可读存储介质。
背景技术
深度学习领域多标签分类问题需要大量的数据量,在数据集的标定工作上需要巨大的人力,同时在后续模型的可扩展性上也具有局限性。
如图1所示,一个物体具有多个标签,比如一张图里面同时有猫、狗、猪,就可以给这张图同时标注标签1猫、标签2狗、标签3猪。
如图2所示,多标签分类这个任务,就是要能够把物体的多个标签(每个物体的标签数量以及标签类型可以不同)同时识别出来。
现有技术中,对图像的多标签的标注方法,如图3所示,包括:
获得图像的数据集;
对所述数据中每个数据标注所有需要的标签;
标注时以及标注后需要确定每个标签的排列组合的各种场景的实现,以及每个标签和每个标签的各种组合的数量都需要达到一定的数量级,一般不少于500张。
在上述标注方法下,满足各种标签的排列组合都达到500张是不太可能的,所以在训练之后一定会出现一些标签的组合形式难以识别出来的情况。
现有技术中,只要增加一个标签,都需要对原有的所有数据集进行清洗,以保证原始数据集中有新标签的数据被标记出来,而且增加一个标签,就可能增加n种排列组合的可能,需要非常巨大的数据支持。
发明内容
鉴于上述问题,本发明的目的是提供一种降低多标签问题当中的数据标注的困难程度的多标签分类方法、电子装置及计算机可读存储介质。
为了实现上述目的,本发明提供一种电子装置,所述电子装置包括存储器和处理器,所述存储器中包括多标签分类程序,所述多标签分类程序被所述处理器执行时实现如下步骤:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
此外,为了实现上述目的,本发明还提供一种多标签分类方法,包括:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
优选地,所述训练分类模型的步骤包括:
构建图片库,存储图片的图像数据和标签序列;
从图片库中筛选第一设定数量的已知标签序列的图片的图像数据,构建数据集;
根据数据集的标签序列确定训练集所有需要识别的标签的识别标签总集,其中,识别标签总集中标签的排列顺序与标签库中标签排列顺序一致;
从图片库挑选所述识别标签总集中每个标签的第二设定数量的正样本和第三设定数量的负样本构成训练集和验证集,其中,一个标签的正样本为包含该标签对应物体的图片,一个标签的负样本为不包含该标签对应物体的图片,所述训练集为所述正样本和负样本的图像数据,所述验证集为所述正样本和负样本的标签序列;
将训练集代入分类模型,得到训练集的预测标签序列集;
根据识别标签总集中第一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新;
重复上面步骤,直到根据识别标签总集中最后一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新。
优选地,所述分类模型为神经网络结构,包括输入层、至少一个隐含层和输出层,
Z[i]=W[i]·A[i-1]+b[i]A[i]=σ(Z[i])
其中,Z[i]、A[i]、W[i]、b[i]为第i个隐含层得到的偏导数矩阵,σ是sigmoid函数,A[i]为Z[i]的激活矩阵,Z[i]为隐含层的输出矩阵,W[i]和b[i]为神经网络参数矩阵,
其中,在神经网络训练过程中,反向传播的时候只关注于一个标签的损失,不关注所有标签的识别正确与否,每次优化时只关注一个标签,然后在进行训练时对每个标签依次优化,使得每一次反向传播时会轮流优化不同的标签。
进一步,优选地,所述一个标签的损失通过下式获得
其中,pi为第i个标签的神经网络的预测向量,li为验证集中的第i个标签真实的标签向量,Wi,bi为第i个标签对应的神经网络参数矩阵W[i]和b[i]的参数值。
更进一步,优选地,所述分类模型为神经网络结构,包括输入层、隐含层和输出层,通过下式构建隐含层和输出层的输出模型
其中,n为输入层的节点数,l为隐含层的节点数,ωij为wij为输入层第i个节点和隐含层第j个节点的连接参数,bi为输入层第i个节点的阈值参数,xi为输入层第i个节点的输入,zj为隐含层第j个节点的输出,yk为输出层第k个节点的输出,ωjk为隐含层第j个节点与输出层第k个节点的连接参数,bj为隐含层第j个节点的阈值参数。
再进一步,优选地,所述分类模型的训练步骤包括:
对神经网络的参数进行初始赋值,所述参数包括隐含层和输出层的连接参数、输入层和隐含层的连接参数、隐含层阈值和输出层阈值参数;
将标签库中第一个标签的训练集的多个正样本依次输入神经网络结构,其中,每个正样本的多个图像数据分别输入输入层的多个节点,得到输出层各节点的输出标签的预测向量,得到多个正样本损失函数的平均值作为所述标签的损失值;
通过第一个标签的损失值反向更新神经网络的参数;
重复上面两个步骤,直到标签库中最后一个标签训练完成;
重复上面三个步骤,将标签库中按照标签顺序的负样本依次输入神经网络结构,对神经网络的参数进行更新。
优选地,所述训练分类模型的步骤还包括:
增加标签;
从图片库挑选增加的标签的第二设定数量的正样本和第三设定数量的负样本构成所述标签的训练集和验证集。
优选地,所述第二设定数量和所述第三设定数量相同。
此外,为了实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中包括多标签分类程序,所述多标签分类程序被处理器执行时,实现上述的多标签分类方法的步骤。
本发明所述多标签分类方法、电子装置及计算机可读存储介质在标定数据时针对每一个标签只标定一定数量的正例和反例,而不是针对于每一个数据标定它的所有标签,这样在标签数量较大时可以大大降低标定数据的难度,可以加快标定数据的速度和准确率。
另外,修改训练过程当中的损失函数的计算方式,每次进行反向传播的时候只针对于一个标签进行参数优化并循环优化每一个标签,而不是对于多个标签的损失进行同时计算,在每次拓展数据集,增加标签数量时不用考虑之前的数据是否包含新增的标签,只需要为新增的标签来标定一定数量的数据集。
附图说明
图1是多标签物体的示意图;
图2是现有技术中多标签分类方法的流程示意图;
图3是现有技术中多标签标注方法的流程示意图;
图4是本发明多标签分类方法较佳实施例的应用环境示意图;
图5是图1中多标签分类程序较佳实施例的模块示意图;
图6是本发明多标签分类方法较佳实施例的流程图;
图7是本发明多标签标注的方法的流程图;
图8是本发明增加标签的方法的流程图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下将结合附图对本发明的具体实施例进行详细描述。
本发明提供一种多标签分类方法,应用于一种电子装置1。参照图1所示,为本发明多标签分类方法较佳实施例的应用环境示意图。
在本实施例中,电子装置1可以是服务器、手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端客户端。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中,所述可读存储介质可以是所述电子装置1的内部存储单元,例如该电子装置1的硬盘。在另一些实施例中,所述可读存储介质也可以是所述电子装置1的外部存储器,例如所述电子装置1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
在本实施例中,所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的多标签分类程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器11中存储的程序代码或处理数据,例如执行多标签分类程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该电子装置1与其他电子客户端之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图4仅示出了具有组件11-14的电子装置1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,该电子装置1还可以包括用户接口,用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的客户端、语音输出装置比如音响、耳机等,可选地用户接口还可以包括标准的有线接口、无线接口。
可选地,该电子装置1还可以包括显示器,显示器也可以称为显示屏或显示单元。
在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地,该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外,这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且,所述触摸传感器不仅包括接触式的触摸传感器,也可包括接近式的触摸传感器等。此外,所述触摸传感器可以为单个传感器,也可以为例如阵列布置的多个传感器。
可选地,该电子装置1还可以包括逻辑门电路,传感器、音频电路等等,在此不再赘述。
在图4所示的装置实施例中,作为一种计算机存储介质的存储器11中可以包括操作系统以及多标签分类程序10;处理器12执行存储器11中存储的多标签分类程序10时实现如下步骤:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
优选地,上述训练分类模型的步骤包括:
构建图片库,存储图片的图像数据和标签序列;
从图片库中筛选第一设定数量的已知标签序列的图片的图像数据,构建数据集;
根据数据集的标签序列确定训练集所有需要识别的标签的识别标签总集,其中,识别标签总集中标签的排列顺序与标签库中标签排列顺序一致;
从图片库挑选所述识别标签总集中每个标签的第二设定数量的正样本和第三设定数量的负样本构成训练集和验证集,其中,一个标签的正样本为包含该标签对应物体的图片,一个标签的负样本为不包含该标签对应物体的图片,所述训练集为所述正样本和负样本的图像数据,所述验证集为所述正样本和负样本的标签序列;
将训练集代入分类模型,得到训练集的预测标签序列集;
根据识别标签总集中第一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新;
重复上面步骤,直到根据识别标签总集中最后一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新。
在其他实施例中,所述多标签分类程序10还可以被分割为一个或者多个模块,一个或者多个模块被存储于存储器11中,并由处理器12执行,以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图5所示,为图1中多标签分类程序10较佳实施例的功能模块图。所述多标签分类程序10可以被分割为:
标签库110,存储有各物体对应的不同标签及标签顺序;
图像数据获得模块120,获取图片的图像数据;
分类模型构建模块130,构建分类模型;
训练模块140,对分类模型进行训练;
图像标签识别模块150,将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
上述训练模块140包括:
图片库,存储图片的图像数据和标签序列;
样本数据集构建单元,从图片库中筛选第一设定数量的图片的已知标签序列的图片的图像数据,构建数据集;
识别标签总集构建单元,根据数据集的标签序列确定训练集所有需要识别的标签的识别标签总集,其中,识别标签总集中标签的排列顺序与标签库中标签排列顺序一致;
训练集和验证集获得单元,从图片库挑选所述识别标签总集中每个标签的第二设定数量的正样本和第三设定数量的负样本构成训练集和验证集,其中,一个标签的正样本为包含该标签对应物体的图片,一个标签的负样本为不包含该标签对应物体的图片,所述训练集为所述正样本和负样本的图像数据,所述验证集为所述正样本和负样本的标签序列;
训练单元,将训练集代入分类模型,得到训练集的预测标签序列集;
参数更新单元,依次利用训练集中的标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新。
此外,本发明还提供一种多标签分类方法。参照图6所示,为本发明多标签分类方法较佳实施例的流程图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,多标签分类方法包括:
步骤S1,建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序,例如,B=[b1,b2,…,bi],其中,B为标签集合,bi为标签中第i个标签,例如,b1为猫、b2为狗、b3为猪、b4为人、b5为房子等;
步骤S2,获取图片的图像数据,例如图片的RGB数据;
步骤S3,构建分类模型;
步骤S4,训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
步骤S5,将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体,例如图片的标签序列为[1,0,1,1,0],说明图片中有猫、猪和人。
在步骤S4中,训练分类模型的步骤包括:
步骤S41,构建图片库,存储图片的图像数据和标签序列;
步骤S42,从图片库中筛选第一设定数量的已知标签序列的图片的图像数据,构建数据集;
步骤S43,根据数据集的标签序列确定训练集所有需要识别的标签的识别标签总集,其中,识别标签总集中标签的排列顺序与标签库中标签排列顺序一致;
步骤S44,如图7所示,从图片库挑选所述识别标签总集中每个标签的第二设定数量的正样本和第三设定数量的负样本构成训练集和验证集,其中,一个标签的正样本为包含该标签对应物体的图片,一个标签的负样本为不包含该标签对应物体的图片,所述训练集为所述正样本和负样本的图像数据,所述验证集为所述正样本和负样本的标签序列,例如,比如一张图片有多个标签,比如其中包含猫、狗、鸡作为它的标签1、标签2和标签3。当针对于标签1选取正负样本各500个的时候,就是说选取含有猫的图片500张作为正样本,选取不含有猫的图片500张作为负样本;
步骤S45,将训练集代入分类模型,得到训练集的预测标签序列集;
步骤S46,根据识别标签总集中第一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新,例如,把一张图片送到模型当中,模型会输出一个[?,?,?]的三维向量来代表三个标签的输出结果,模型在训练的时候,会循环的输入不同标签的正负样本到模型当中进行训练,当训练不同的标签的时候,会只对该标签的相关参数进行优化,比如在针对猫这个标签优化的时候,就会将模型的输出[?,?,?]点乘上[1,0,0],使得模型的输出变为[?,0,0],这样就可以只优化与猫这个标签相关的参数,同理在优化后续的标签的时候也是乘上不同的矩阵(比如[0,1,0]、[0,0,1]);
步骤S47,重复上面步骤S46,直到根据识别标签总集中最后一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新。
在步骤S44中,只需要针对于每个标签来对数据进行标记,相比较于图3针对每一个数据来判断不定量的标签类别的标记而言,任务要简单得多。
优选地,为了增强分类模型训练的准确性,所述第二设定数量和第三设定数量相同,例如500个。
在本发明的一个可选实施例中,增加标签对分类模型进行训练时,如图8所示,只需要从图片库挑选所述标签标签的第二设定数量(500张)的正样本和第三设定数量(500张)的负样本构成训练集和验证集,本发明增加标签时,工作量与需求的数据量均大大减少。
在本发明的一个实施例中,所述分类模型为神经网络结构,包括输入层、至少一个隐含层和输出层,
Z[i]=W[i]·A[i-1]+b[i]A[i]=σ(Z[i]) (1)
其中,Z[i]、A[i]、W[i]、b[i]为第i个隐含层得到的偏导数矩阵,σ是sigmoid函数,A[i]为Z[i]的激活矩阵,Z[i]为隐含层的输出矩阵,W[i]和b[i]为神经网络参数矩阵,例如,第一隐含层,Z[1]=W[1]·X+b[1]A[1]=σ(Z[1]),第二隐含层Z[2]=W[2]·A[1]+b[2]A[2]=σ(Z[2]),X为输入层向隐含层的输入,其实就是A[0],
其中,在神经网络训练过程中,反向传播的时候只关注于一个标签的损失,不关注所有标签的识别正确与否,每次优化时只关注一个标签,然后在进行训练时对每个标签依次优化,使得每一次反向传播时会轮流优化不同的标签,例如,标签的损失函数为L(y^,y)=-[y·log(y^)+(1-y)·log(1-y^)],即,L=-∑y(j)·y∧(j),每个样本的损失可以通过上述损失函数获得,可以通过求平均值的方法获得整个样本集的损失J,J(W,b)=1/m·∑L(y∧(i),y(i))。
优选地,所述一个标签的损失通过下式(2)获得
其中,pi为第i个标签的神经网络的预测向量,li为验证集中的第i个标签真实的标签向量,Wi,bi为第i个标签对应的神经网络参数矩阵W[i]和b[i]的参数值。
上述多标签分类方法修改训练过程当中的损失函数的计算方式,例如,对于一个总体标签数量为5的多标签分类问题,一个物体的标签表现形式为一个5维向量,比如[1,0,1,1,0],代表该物体具有三个标签,该物体通过前向之后可能的输出为[0.9,0.1,0.9,0.9,0.1],而损失函数的计算就通过真实向量与预测向量之间的差值进行计算,以均方差损失函数为例,真实向量(label)记为ln,预测向量(predict)记为pn,此时多标签分类任务的均方差损失函数则为:
而本申请仅仅针对一个标签进行损失函数计算,在优化方向(现有技术的优化方向是对于多标签的所有标签进行同时优化,而本发明的优化方向每次只会针对于一个标签)上进行了优化,还提高了计算速度。
为了简便说明本发明的分类模型,以包括一个隐含层为例进行说明,所述分类模型为神经网络结构,包括输入层、隐含层和输出层,通过下式(3)和(4)隐含层和输出层的输出模型
其中,n为输入层的节点数,l为隐含层的节点数,ωij为wij为输入层第i个节点和隐含层第j个节点的连接参数,bi为输入层第i个节点的阈值参数,xi为输入层第i个节点的输入,zj为隐含层第j个节点的输出,yk为输出层第k个节点的输出,ωjk为隐含层第j个节点与输出层第k个节点的连接参数,bj为隐含层第j个节点的阈值参数;
对神经网络的参数进行初始赋值,所述参数包括隐含层和输出层的连接参数、输入层和隐含层的连接参数、隐含层阈值和输出层阈值参数;
将标签库中第一个标签的训练集的多个正样本依次输入神经网络结构,其中,每个正样本的多个图像数据分别输入输入层的多个节点,得到输出层各节点的输出标签的预测向量,得到多个正样本损失函数的平均值作为所述标签的损失值;
通过第一个标签的损失值反向更新神经网络的参数;
重复上面两个步骤,直到标签库中最后一个标签训练完成;
重复上面三个步骤,将标签库中按照标签顺序的负样本依次输入神经网络结构,对神经网络的参数进行更新。
优选地,所述对神经网络的参数进行初始赋值的步骤包括:
设群体规模为P,随机生成P个个体的初始种群,G=(G1,G2,...,Gp)T,挑选一对称区间[-W,W]内的随机实数组成长度为S的实数向量,种群中个体G_i=(g_1,g_2,...,g_s),i=1,2,...,P,S=n*l+l*m+l+m,m为输出层的节点数gs为个体Gi中的第S个基因;
将每一个个体的各个基因分别作为神经网络的隐含层和输出层的连接参数、初始输入层和隐含层的连接参数、初始隐含层阈值参数和初始输出层阈参数的初始赋值,将属于每一个话题类的样本分别代入神经网络的隐含层和输出层输出的模型进行训练,得到每一个样本对应的输出层的各节点的输出,从而得到每一个个体的适应度,其中:
其中,为个体Gi对神经网络的参数进行初始赋值时的多个标签样本的平均损失,为初始种群G中个体Gi的适应度;
采用轮盘赌算子,基于适应度比例的选择策略对初始种群中的个体进行选择,得到选出个体Gu
采用单点交叉算子,对选出个体进行交叉更新进行交叉更新,将更新后每个基因的最大值,作为所述基因的上届,将更新后的每个基因的最小值作为所述基因的下界;
对经过交叉更新的选出个体进行变异操作,得到变异后的个体,代入个体评价子单元,对初始种群进行进化,其中:
其中,gj为选出个体Gu的第j个基因,gjmax和gjmin是基因gj的上界和下界,rp为在选出个体Gu时伪随机数生成单元第P次生成的伪随机数,iternow是当前的进化代数,itermax是设置的最大进化代数,gj′为进化后的选出个体Gu的第j个基因。
判断遗传算法是否满足算法结束条件,其中,所述算法结束条件包括第一算法结束条件或/和第二算法结束条件,所述第一算法结束条件为当前进化代数大于所设最大进化代数,所述第二算法结束条件为连续多次进化时个体适应度值变化小于所设目标值;
如果满足算法结束条件,则输出最优的种群个体,作为隐含层和输出层的连接参数、输入层和隐含层的连接参数、隐含层阈值参数和输出层阈值参数的最终初始值;
如果不满足算法结束条件,对进化后的初始种群对神经网络的参数进行初始赋值,重复上面步骤,直到满足算法结束条件。
优选地,所述通过第一个标签的损失值反向更新神经网络的参数的步骤包括:
通过下式(8)-(11)更新神经网络的参数
ωij′=ωij+zj(1-zj)xi (8)
ωjk′=ωjk+hjJ1 (9)
bi′=bi+Zj(1-Zj) (10)
bj′=bj+J1 (11)
其中,J1为第一个标签的损失值,ωij′、ωjk′、bi′和bj′为神经网络更新后的参数。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质中包括多标签分类程序,所述多标签分类程序被处理器执行时实现如下步骤:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
本发明之计算机可读存储介质的具体实施方式与上述多标签分类方法、电子装置的具体实施方式大致相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端客户端(可以是手机,计算机,服务器,或者网络客户端等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多标签分类方法,其特征在于,包括:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
2.根据权利要求1所述的多标签分类方法,其特征在于,所述训练分类模型的步骤包括:
构建图片库,存储图片的图像数据和标签序列;
从图片库中筛选第一设定数量的已知标签序列的图片的图像数据,构建数据集;
根据数据集的标签序列确定训练集所有需要识别的标签的识别标签总集,其中,识别标签总集中标签的排列顺序与标签库中标签排列顺序一致;
从图片库挑选所述识别标签总集中每个标签的第二设定数量的正样本和第三设定数量的负样本构成训练集和验证集,其中,一个标签的正样本为包含该标签对应物体的图片,一个标签的负样本为不包含该标签对应物体的图片,所述训练集为所述正样本和负样本的图像数据,所述验证集为所述正样本和负样本的标签序列;
将训练集代入分类模型,得到训练集的预测标签序列集;
根据识别标签总集中第一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新;
重复上面步骤,直到根据识别标签总集中最后一个标签的预测标签序列和对应验证集的标签序列的损失函数对分类模型的参数进行更新。
3.根据权利要求2所述的多标签分类方法,其特征在于,所述分类模型为神经网络结构,包括输入层、至少一个隐含层和输出层,
Z[i]=W[i]·A[i-1]+b[i]A[i]=σ(Z[i])
其中,Z[i]、A[i]、W[i]、b[i]均为第i个隐含层得到的偏导数矩阵,σ是sigmoid函数,A[i]为Z[i]的激活矩阵,Z[i]为隐含层的输出矩阵,W[i]和b[i]为神经网络参数矩阵,
其中,在神经网络训练过程中,反向传播的时候只关注于一个标签的损失,每次优化时只关注一个标签,然后在进行训练时对每个标签依次优化。
4.根据权利要求3所述的多标签分类方法,其特征在于,所述一个标签的损失通过下式获得
其中,pi为第i个标签的神经网络的预测向量,li为验证集中的第i个标签真实的标签向量,Wi,bi为第i个标签对应的神经网络参数矩阵W[i]和b[i]的参数值。
5.根据权利要求4所述的多标签分类方法,其特征在于,所述分类模型为神经网络结构,包括输入层、隐含层和输出层,通过下式构建隐含层和输出层的输出模型
其中,n为输入层的节点数,l为隐含层的节点数,ωij为wij为输入层第i个节点和隐含层第j个节点的连接参数,bi为输入层第i个节点的阈值参数,xi为输入层第i个节点的输入,zj为隐含层第j个节点的输出,yk为输出层第k个节点的输出,ωjk为隐含层第j个节点与输出层第k个节点的连接参数,bj为隐含层第j个节点的阈值参数。
6.根据权利要求5所述的多标签分类方法,其特征在于,所述分类模型的训练步骤包括:
对神经网络的参数进行初始赋值,所述参数包括隐含层和输出层的连接参数、输入层和隐含层的连接参数、隐含层阈值和输出层阈值参数;
将标签库中第一个标签的训练集的多个正样本依次输入神经网络结构,其中,每个正样本的多个图像数据分别输入输入层的多个节点,得到输出层各节点的输出标签的预测向量,得到多个正样本损失函数的平均值作为所述标签的损失值;
通过第一个标签的损失值反向更新神经网络的参数;
重复上面两个步骤,直到标签库中最后一个标签训练完成;
重复上面三个步骤,将标签库中按照标签顺序的负样本依次输入神经网络结构,对神经网络的参数进行更新。
7.根据权利要求2所述的多标签分类方法,其特征在于,所述训练分类模型的步骤还包括:
增加标签;
从图片库挑选增加的标签的第二设定数量的正样本和第三设定数量的负样本构成所述标签的训练集和验证集。
8.根据权利要求2-7中任一权利要求所述的多标签分类方法,其特征在于,所述第二设定数量和所述第三设定数量相同。
9.一种电子装置,其特征在于,包括存储器和处理器,所述存储器中存储有多标签分类程序,所述多标签分类程序被所述处理器执行时实现如下步骤:
建立标签库,所述标签库存储有不同物体对应的不同标签及标签顺序;
获取图片的图像数据;
构建分类模型;
训练分类模型,采用已知图片的图像数据和图像中包含的物体对应的标签及其根据标签库中的标签顺序形成的标签序列作为数据集,每个标签的设定数量的包含该标签的正样本和不包含该标签的负样本的图像数据作为训练集,所述正样本和负样本的标签序列作为验证集;
将图片的图像数据输入训练后的分类模型,获得图片中每个物体对应的标签,从而获得图片的标签序列,所述标签序列为二值化序列,按照所述标签库中标签的顺序,1代表图片中有标签对应的物体,0代表图片中没有标签对应的物体。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括有多标签分类程序,所述多标签分类程序被处理器执行时,实现如权利要求1至8中任一项权利要求所述多标签分类方法的步骤。
CN201910604957.XA 2019-07-05 2019-07-05 多标签分类方法、电子装置及计算机可读存储介质 Active CN110490221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910604957.XA CN110490221B (zh) 2019-07-05 2019-07-05 多标签分类方法、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910604957.XA CN110490221B (zh) 2019-07-05 2019-07-05 多标签分类方法、电子装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110490221A true CN110490221A (zh) 2019-11-22
CN110490221B CN110490221B (zh) 2023-06-23

Family

ID=68546590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910604957.XA Active CN110490221B (zh) 2019-07-05 2019-07-05 多标签分类方法、电子装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110490221B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144216A (zh) * 2019-11-27 2020-05-12 北京三快在线科技有限公司 图片标签的生成方法、装置、电子设备及可读存储介质
CN111178403A (zh) * 2019-12-16 2020-05-19 北京迈格威科技有限公司 训练属性识别模型的方法、装置、电子设备及存储介质
CN111368140A (zh) * 2020-02-19 2020-07-03 新华智云科技有限公司 一种视频标签生成方法及系统
CN111507380A (zh) * 2020-03-30 2020-08-07 中国平安财产保险股份有限公司 基于聚类的图片分类方法、系统、装置及存储介质
CN111539315A (zh) * 2020-04-21 2020-08-14 招商局金融科技有限公司 基于黑盒模型的模型训练方法、装置、电子设备及介质
CN112070138A (zh) * 2020-08-31 2020-12-11 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112579587A (zh) * 2020-12-29 2021-03-30 北京百度网讯科技有限公司 数据清洗方法及装置、设备和存储介质
CN112685999A (zh) * 2021-01-20 2021-04-20 浪潮云信息技术股份公司 一种智能分级标注方法
CN112766330A (zh) * 2021-01-07 2021-05-07 济南浪潮高新科技投资发展有限公司 图像多标签分类方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046323A (zh) * 2015-04-29 2015-11-11 西北大学 一种正则化rbf网络多标签分类方法
CN105224963A (zh) * 2014-06-04 2016-01-06 华为技术有限公司 可切换深度学习网络结构的方法与终端
CN109190482A (zh) * 2018-08-06 2019-01-11 北京奇艺世纪科技有限公司 多标签视频分类方法及系统、系统训练方法及装置
CN109657694A (zh) * 2018-10-26 2019-04-19 平安科技(深圳)有限公司 图片自动分类方法、装置及计算机可读存储介质
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN109886281A (zh) * 2019-02-22 2019-06-14 哈工大机器人(山东)智能装备研究院 一种基于四元数超限学习机彩色图像识别方法
CN109934249A (zh) * 2018-12-14 2019-06-25 网易(杭州)网络有限公司 数据处理方法、装置、介质和计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224963A (zh) * 2014-06-04 2016-01-06 华为技术有限公司 可切换深度学习网络结构的方法与终端
CN105046323A (zh) * 2015-04-29 2015-11-11 西北大学 一种正则化rbf网络多标签分类方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN109190482A (zh) * 2018-08-06 2019-01-11 北京奇艺世纪科技有限公司 多标签视频分类方法及系统、系统训练方法及装置
CN109657694A (zh) * 2018-10-26 2019-04-19 平安科技(深圳)有限公司 图片自动分类方法、装置及计算机可读存储介质
CN109934249A (zh) * 2018-12-14 2019-06-25 网易(杭州)网络有限公司 数据处理方法、装置、介质和计算设备
CN109886281A (zh) * 2019-02-22 2019-06-14 哈工大机器人(山东)智能装备研究院 一种基于四元数超限学习机彩色图像识别方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144216A (zh) * 2019-11-27 2020-05-12 北京三快在线科技有限公司 图片标签的生成方法、装置、电子设备及可读存储介质
CN111178403A (zh) * 2019-12-16 2020-05-19 北京迈格威科技有限公司 训练属性识别模型的方法、装置、电子设备及存储介质
CN111178403B (zh) * 2019-12-16 2023-10-17 北京迈格威科技有限公司 训练属性识别模型的方法、装置、电子设备及存储介质
CN111368140B (zh) * 2020-02-19 2023-07-04 新华智云科技有限公司 一种视频标签生成方法及系统
CN111368140A (zh) * 2020-02-19 2020-07-03 新华智云科技有限公司 一种视频标签生成方法及系统
CN111507380A (zh) * 2020-03-30 2020-08-07 中国平安财产保险股份有限公司 基于聚类的图片分类方法、系统、装置及存储介质
CN111507380B (zh) * 2020-03-30 2023-10-31 中国平安财产保险股份有限公司 基于聚类的图片分类方法、系统、装置及存储介质
CN111539315A (zh) * 2020-04-21 2020-08-14 招商局金融科技有限公司 基于黑盒模型的模型训练方法、装置、电子设备及介质
CN111539315B (zh) * 2020-04-21 2023-04-18 招商局金融科技有限公司 基于黑盒模型的模型训练方法、装置、电子设备及介质
CN112070138B (zh) * 2020-08-31 2023-09-05 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112070138A (zh) * 2020-08-31 2020-12-11 新华智云科技有限公司 多标签混合分类模型的构建方法、新闻分类方法及系统
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112579587A (zh) * 2020-12-29 2021-03-30 北京百度网讯科技有限公司 数据清洗方法及装置、设备和存储介质
CN112766330A (zh) * 2021-01-07 2021-05-07 济南浪潮高新科技投资发展有限公司 图像多标签分类方法和装置
CN112766330B (zh) * 2021-01-07 2022-06-28 山东浪潮科学研究院有限公司 图像多标签分类方法和装置
CN112685999A (zh) * 2021-01-20 2021-04-20 浪潮云信息技术股份公司 一种智能分级标注方法

Also Published As

Publication number Publication date
CN110490221B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110490221A (zh) 多标签分类方法、电子装置及计算机可读存储介质
CN110032632A (zh) 基于文本相似度的智能客服问答方法、装置及存储介质
CN113127633B (zh) 智能会议管理方法、装置、计算机设备及存储介质
CN110413769A (zh) 场景分类方法、装置、存储介质及其电子设备
CN112785005B (zh) 多目标任务的辅助决策方法、装置、计算机设备及介质
CN108304373A (zh) 语义词典的构建方法、装置、存储介质和电子装置
CN112199600A (zh) 目标对象识别方法和装置
CN112308237A (zh) 一种问答数据增强方法、装置、计算机设备及存储介质
CN109903082A (zh) 基于用户画像的聚类方法、电子装置及存储介质
CN110225368A (zh) 一种视频定位方法、装置及电子设备
CN115130711A (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN115114407B (zh) 意图识别方法、装置、计算机设备及存储介质
CN112749558A (zh) 一种目标内容获取方法、装置、计算机设备和存储介质
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN114359582A (zh) 一种基于神经网络的小样本特征提取方法及相关设备
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN115129902B (zh) 媒体数据处理方法、装置、设备及存储介质
CN112364649B (zh) 命名实体的识别方法、装置、计算机设备及存储介质
CN116484085A (zh) 一种信息投放方法、装置、设备及存储介质、程序产品
CN113191527A (zh) 一种基于预测模型进行人口预测的预测方法及装置
CN112712056A (zh) 视频语义分析方法、装置、存储介质及电子设备
CN111611498A (zh) 一种基于领域内部语义的网络表示学习方法及系统
CN110309857A (zh) 基于人工智能的图书分类装置、方法、设备及存储介质
CN117542085B (zh) 基于知识蒸馏的园区场景行人检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant