CN109740657A - 一种用于图像数据分类的神经网络模型的训练方法与设备 - Google Patents
一种用于图像数据分类的神经网络模型的训练方法与设备 Download PDFInfo
- Publication number
- CN109740657A CN109740657A CN201811614381.7A CN201811614381A CN109740657A CN 109740657 A CN109740657 A CN 109740657A CN 201811614381 A CN201811614381 A CN 201811614381A CN 109740657 A CN109740657 A CN 109740657A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- neural network
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于图像分类的神经网络模型的训练方法,包括步骤:S1基于CNN和LSTM构建神经网络模型,并获取图像训练集和测试集;S2利用图像训练集的第一部分图像对模型进行训练;S3将图像测试集输入到训练后的模型中,得到图像测试集的预测分类结果;S4利用自主学习算法根据预测分类结果得到图像测试集中满足预设条件的图像,并对其进行实际分类;S5利用满足预设条件的图像及其对应的实际分类结果以及图像训练集的第一部分图像对上一次训练后的模型进行再次训练;S6利用图像训练集的第二部分图像对再次训练后的模型进行测试。本发明公开的方法能够针对图像进行自动化分类识别,提高分类效率,可以有效地辅助人们判断特定影像数据。
Description
技术领域
本发明涉及图像分类领域,特别涉及一种用于图像数据分类的神经网络模型的训练方法、设备以及可读存储介质。
背景技术
随着计算机视觉技术的飞速发展,机器学习方法逐渐被广泛地应用到各个领域,通过研究给定数据集的数据分布,来完成特定的分类以及识别任务。但由于传统机器学习算法自身的局限性,在很多特定领域并不适用,缺乏普适性使得其难以适应大规模数据集,可扩展性较差,而且普遍由人为进行算法参数的设定,对于数据的特性拟合并不够完善。
深度学习是机器学习研究中的一个新兴领域,它是机器学习中一种基于对数据进行表征学习的方法,是一种能够模拟出人脑的神经结构的机器学习方法。不同于传统的机器学习方法,深度学习通常需要大量的训练样本数据,通过学习一种深层非线性网络结构来实现复杂函数的逼近,与人工构造的特征相比,在大规模数据训练下生成的深度学习神经网络模型,能够更好的学习数据本身的特征。
由于计算机技术的不断发展,影像数据呈现爆发性的增长,通过影像进行分类识别成为了一项需要耗费大量时间的工作。面对大量的影像数据,需要大量具有丰富经验且状态良好的人进行诊断,否则,极易出现误判和漏判的现象。
目前的计算机分类识别辅助工具只能适用于简单的统计以及分类计算,缺乏针对于特定图像的自动化诊断识别方法,而通过使用深度学习技术,对影像数据进行神经网络模型建立,最终将训练完成的神经网络模型对测试图像进行推理,输出正确的分类识别结果,从而达到提高工作效率,减轻相关工作任务量的最终目的。
发明内容
有鉴于此,为了克服上述问题的至少一个方面,本发明实施例的提出一种用于图像数据分类的神经网络模型的训练方法,其中所述方法包括步骤:
S1,基于卷积神经网络和长短期记忆神经网络构建神经网络模型,并获取图像训练集、图像测试集;
S2,利用所述图像训练集的第一部分图像对所述神经网络模型进行训练;
S3,将所述图像测试集输入到训练后的神经网络模型中,得到所述图像测试集的预测分类结果;
S4,利用自主学习算法根据预测分类结果得到所述图像测试集中满足预设条件的图像,并对其进行实际分类;
S5,利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的第一部分图像对上一次训练后的神经网络模型进行再次训练和;
S6,利用图像训练集的第二部分图像对再次训练后的神经网络模型进行测试,以确认模型的预测分类结果满足预设精度。
在一些实施例中,所述方法还包括步骤:
S7,响应于所述模型的预测分类结果不满足预设精度,将所述图像测试集的剩余图像输入到再次训练后的神经网络模型中,得到所述剩余图像的预测分类结果;
S8,利用自主学习算法根据所述剩余图像的预测分类结果得到所述剩余图像中满足预设条件的图像,并对其进行实际分类;
S9,根据所述剩余图像中满足预设条件的图像及其对应的实际分类结果和上一次训练过程中所利用的图像及其对应的实际分类结果对上一次训练后的神经网络模型进行再次训练;
S10,重复步骤S6-S9。
在一些实施例中,在步骤S2、S5以及S9中对所述神经网络模型进行训练,包括步骤:
a,将图像输入到所述神经网络模型的第一层卷积层中;
b,将第一层卷积层的输出同时输入到所述神经网络模型的第二层卷积层和第三层卷积层中;
c,将所述第二层卷积层和所述第三层卷积层的输出依次经过所述神经网络模型的第一池化层、第四层卷积层、第五层卷积层、第二池化层以及函数层的处理后,输入到所述神经网络模型的长短期记忆神经网络中;
d,将所述长短期记忆神经网络的输出输入到所述神经网络模型的两层全连接层中得到所述图像对应的分类类别概率。
在一些实施例中,所述函数层对所述第二池化层的输出的处理为:将经过第五层卷积层处理后得到的数据的列数乘以第五层卷积层的通道数。
在一些实施例中,在步骤a中,在将所述图像输入到所述第一层卷积层之前,对所述图像进行预处理。
在一些实施例中,所述预处理包括图像翻转、颜色变换、去均值、归一化、标准化、PCA/ZCA白化操作中的至少一种。
在一些实施例中,在步骤d中,所述两层全连接层配置为分类并且使用softmax函数进行映射以得到对应的分类类别概率。
在一些实施例中,S4包括:利用自主学习算法计算该预测分类结果的信息熵,并按照信息熵的大小进行从大到小的排列,其中,所述满足预设条件的图像为前N个图像。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时执行如上所述的任一种神经网络的训练的方法的步骤。
基于同一发明构思,根据本发明的另一个方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时执行如上所述的任一种神经网络的训练的步骤。
本发明具有以下有益技术效果:本发明公开的方法能够针对于图像进行自动化分类识别,提高分类效率,同时大大的降低计算成本,可以有效地辅助人们判断特定影像数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的神经网络的训练方法的流程示意图;
图2为本发明的实施例提供的神经网络模型的结构示意图;
图3为本发明的实施例提供的计算机设备的结构示意图;
图4为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定,后续实施例对此不再一一说明。
根据本发明的一个方面,如图1所示,本发明的实施例提供了一种用于图像数据分类的神经网络模型的训练方法,该神经网络模型用于图像分类,特别用于医疗领域的图像分类,例如CT图像的分类等等。该方法包括步骤:
S1,基于卷积神经网络和长短期记忆神经网络构建神经网络模型,并获取图像训练集、图像测试集;
在一些实施例中,图像训练集和图像测试集中的图像可以以网上公开的特定影像数据为主体,例如医疗领域的CT图像。可选择的,数据集可以根据用户不同的需求进行相应的更换。
在一些实施例中,如图2所示,神经网络模型包括卷积神经网络(CNN)、长短期记忆神经网络(LSTM)以及连接CNN网络和LSTM网络的函数层。其中,CNN网络可以包括五层卷积层、两层池化层和两层全连接层。
采用LSTM和CNN结合的模式,是因为CNN可以提取出图像的主要特征信息,而LSTM可以将特征信息进行联立,融合形成一条新的特征信息,相较于仅用CNN进行处理的话,结合的方式可以更好地提取到图像的特征信息。
在一些实施例中,五层卷积层的卷积核的大小分别是11*11、1*7、7*1、3*3以及1*1,卷积核的数量分别是32、64、64、256和128。步长除第一层卷积层为2以外,其他均为1,所使用的激活函数为Relu。两层池化层均采用max_pooling的方式,且与卷积层组合使用。两层全连接层的通道数分别为44和2,两层全连接层用做分类并且使用softmax函数将输出结进行映射,得到对应的分类类别概率。又由于全连接层通常参数较多,训练速度缓慢等问题,因此在LSTM之后使用。
LSTM网络共由1层组成,隐含层节点数设置为64,加入dropout方法,处理由CNN网络结构得到的图像数据特征向量,进一步提取有效特征信息。
S2,利用图像训练集的第一部分图像对神经网络模型进行训练。
在一些实施例中,对神经网络模型进行训练时,可以基于Agx-2芯片下,使用keras框架,将图像数据分成训练集,训练集标签,测试集,测试集标签。采用反向传播算法和随机梯度下降方法,根据前向传播loss值的大小,来进行迭代更新每一层的权重。直到神经网络模型的loss值趋向于稳定时,或者当识别精度或者迭代次数达到一定数值时,训练完成。为了提高本发明神经网络模型的收敛速度,引入batch normalization的方法,对卷积之后的数据归一化,然后使其继承原数据的结构特点。这能够有效的缩短神经网络模型训练的周期,以及能够得到更好的深度学习神经网络模型。使用CNN神经网络模型进行分类的基本思想是基于顺序结构采思想,基于当前数据集的数据分布特性,可以在不增加神经网络模型参数复杂度的前提下提高准确率,同时还减少了超参数的数量,在分类识别的同时,节约计算资源。
需要说明的是,图像训练集可以包括第一部分数据和第二部分数据。第一部分数据可以根据实际情况进行设定,例如该部分数据可以是图像训练集总数据的50%或者80%,或是其他比例。
具体的,可以包括步骤:
a,将图像输入到神经网络模型的第一层卷积层中;
在一些实施例中,在将图像输入到第一层卷积层之前,可以对图像进行预处理。
由于常用的影像数据格为DICOM数据格式,需要对影像数据格式进行转换,并去除相关的无用信息,根据标注文件中所提供的信息,对影像数据进行有效分割,提取出训练数据。可选择的,由于最终生成的数据样本数量较少,为了防止神经网络模型在训练的过程中出现过拟合,可以采用图像翻转,颜色变换等方法增加样本数量,还可以对图像进行去均值、归一化、标准化、PCA/ZCA白化操作等。
需要说明的是,在步骤S1中,将图像输入到神经网络模型的第一层卷积层中的图像指训练集中的图像。
b,将第一层卷积层的输出同时输入到神经网络模型的第二层卷积层和第三层卷积层中;
这样,可以同时对第一层卷积层的输出进行横向和纵向信息的提取,减少参数量,提高训练效率。
c,将第二层卷积层和第三层卷积层的输出依次经过神经网络模型的第一池化层、第四层卷积层、第五层卷积层、第二池化层以及函数层的处理后,输入到神经网络模型的长短期记忆神经网络中;
在一些实施例中,第一池化层和第二池化层的主要作用是加快神经网络模型的筛选,使得运算加快。函数层的主要作用是将卷积层产生的四通道数据(batchsize,width,height,channels)转化为长短期记忆神经网络(LSTM)可以使用的三通道数据(batchsize,times,seq_len),即将原有数据改为新的组成结构。在本实施例中是通过将经过第五层卷积层处理后得到的数据的列数乘以第五层卷积层的通道数,将其变换成为(batchsize,width,height*channels),主要目的在于当图像为医疗影像数据时,每张图像的行与行之间的相关性远大于像素和像素之间的相关性。
d,将长短期记忆神经网络的输出输入到神经网络模型的两层全连接层中得到图像对应的分类类别概率。
在一些实施例中,在步骤d中,两层全连接层配置为分类并且使用softmax函数进行映射以得到对应的分类类别概率。
S3,将图像测试集输入到训练后的神经网络模型中,得到所述图像测试集的预测分类结果;
S4,利用自主学习算法根据预测分类结果得到图像测试集中满足预设条件的图像,并对其进行实际分类;
在一些实施例中,可以利用QBC算法,在进行测试的图像中选出分歧较大的样本,即可以是通过判断信息熵的方式选出符合预设条件的图像以进行实际分类。具体的,可以通过利用自主学习算法计算利用训练后的神经网络模型进行测试的图像的预测分类结果的信息熵,并按照信息熵的大小进行从大到小的排列,其中,所述满足预设条件的图像为前N个图像。其中N为预设的正整数,例如,可以是选择前1000个图像或者其他数量的图像。
需要说明的是,利用训练后的神经网络模型进行测试的图像为图像测试集中的全部图像或者为图像测试集中的剩余图像。
S5,利用满足预设条件的图像及其对应的实际分类结果以及图像训练集的第一部分图像对上一次训练后的神经网络模型进行再次训练。
在一些实施例中,在该步骤中对神经网络模型进行再次训练的具体步骤与在步骤S2中利用图像训练集对神经网络模型进行训练的步骤相同,此处不再赘述。
需要说明的是,步骤S5所包括的训练步骤“将图像输入到神经网络模型的第一层卷积层中”中的图像指满足预设条件的图像以及图像训练集的一部分图像。
S6,利用图像训练集的第二部分图像对再次训练后的神经网络模型进行测试,以确认模型的预测分类结果满足预设精度。
在一些实施例中,预设分类精度可以根据实际需求进行设定。例如可以是85%-95%。若想得到的结果更加准确,可以将分类精度设置为较高的数值,例如96%,或更高,例如97%。
在一些实施例中,方法还可以包括步骤:
S7,响应于模型的预测分类结果不满足预设精度,将图像测试集的剩余图像输入到再次训练后的神经网络模型中,得到剩余图像的预测分类结果;
在一些实施例中,剩余图像是指图像测试集每次除去上次训练过程中利用到的满足预设条件的图像后剩余的图像。例如,图像测试集一共有8000张图片,第一次训练后满足预设条件的图片的数量为1000张,则剩余图像的数量为7000张,第二次训练后满足预设条件的图片的数量为1000张,则剩余图像的数量为6000张。
S8,利用自主学习算法根据剩余图像的预测分类结果得到剩余图像中满足预设条件的图像,并对其进行实际分类;
S9,根据剩余图像中满足预设条件的图像及其对应的实际分类结果和上一次训练过程中所利用的图像及其对应的实际分类结果对上一次训练后的神经网络模型进行再次训练;
在一些实施例中,在该步骤中对神经网络模型进行再次训练的具体步骤与在步骤S2中利用图像训练集对神经网络模型进行训练的步骤相同,此处不再赘述,两者相比仅仅只是输入到第一层卷积层中的数据不同。在该步骤中输入的是本次得到的满足预设条件的图像及其对应的实际分类结果和上次训练过程中所利用的图像及其对应的实际分类结果。
S10,重复步骤S6-S9。
在一些实施例中,每次训练完神经网络模型都需要利用图像训练集的第二部分图像对再次训练后的神经网络模型进行测试,以判断是否需要进行再次训练。
基于同一发明构思,根据本发明的另一个方面,本发明还提供了用于实现上述方法的图像分类装置,其可以包括:
数据载入模块,用于获取与影像数据分类任务对应的图像训练集、图像测试集或待推理的图像,载入用户选择图片,在图片显示区域显示图片。
模式设定模块,用于获取与影像数据分类任务相对应的规则,进行神经网络模型训练或利用训练好的神经网络模型进行推理。
用户输入接收模块,接收用户基于当前规则的相关输入,当前规则为神经网络模型训练,接收图像训练集和图像测试集;当前规则为推理,接收待推理的图像数据。
图像算法模块,根据对应选择,调用神经网络模型进行训练或者推理。其中,神经网络模型可以通过上述任一实施例所述的方法进行训练。
神经网络模型保存模块,接收训练完成神经网络模型并进行保存。
类别标注模块,接收神经网络模型对待推理图像的类别标签。
标签存储模块,对类别标签进行保存,存储到json格式。
在一些实施例中,图像分类装置还可以包括输入部分、输出部分、通信总线、CPU、存储部分以及驱动器。
在一些实施例中,输入部分可以包括显示屏,键盘以及鼠标,用于输入待分类图像以及用户点选操作。
在一些实施例中,输出部分可以是显示屏,用于显示分类后的数字图像。
在一些实施例中,通信总线主要用于各模块间通信,包括SPI通信总线、I2C通信总线。
在一些实施例中,CPU为中央处理器,用于核心算法程序运行与逻辑处理,对输入图像数据以及用户输入操作进行识别,根据程序逻辑算法进行相关运算,完成对输入图像的标准功能,并将处理后图像传输至存储模块进行存储,通过通信总线发送至输出部门进行显示。
在一些实施例中,存储部分指磁盘存储器,用来对标注后的数字图像进行存储。
在一些实施例中,驱动器用来提供底层驱动功能,保障上层应用程序的顺利运行。
基于同一发明构思,根据本发明的另一个方面,如图3所示,本发明的实施例还提供了一种计算机设备501,包括:
至少一个处理器520;以及
存储器510,存储器510存储有可在处理器上运行的计算机程序511,处理器520执行程序时执行如上的任一种对神经网络训练的方法的步骤。
基于同一发明构思,根据本发明的另一个方面,如图4所示,本发明的实施例还提供了一种计算机可读存储介质601,计算机可读存储介质601存储有计算机程序610,计算机程序610被处理器执行时执行如上的任一种对用于图像数据分类的神经网络模型训练的方法的步骤。
最后需要说明的是,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例,可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外,典型地,本发明实施例公开的装置、设备等可为各种电子终端设备,例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等,也可以是大型终端设备,如服务器等,因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外,根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序,该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时,执行本发明实施例公开的方法中限定的上述功能。
此外,上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外,应该明白的是,本文所述的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器,但是可替换地,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器,使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中,存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中,处理器和存储介质可以作为分立组件驻留在用户终端中。
在一个或多个示例性设计中,所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现,则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备,或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外,任何连接都可以适当地称为计算机可读介质。例如,如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件,则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的,磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘,其中磁盘通常磁性地再现数据,而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种用于图像数据分类的神经网络模型的训练方法,其中所述方法包括步骤:
S1,基于卷积神经网络和长短期记忆神经网络构建神经网络模型,并获取图像训练集、图像测试集;
S2,利用所述图像训练集的第一部分图像对所述神经网络模型进行训练;
S3,将所述图像测试集输入到训练后的神经网络模型中,得到所述图像测试集的预测分类结果;
S4,利用自主学习算法根据所述预测分类结果得到所述图像测试集中满足预设条件的图像,并对其进行实际分类;
S5,利用所述满足预设条件的图像及其对应的实际分类结果以及所述图像训练集的所述第一部分图像对上一次训练后的神经网络模型进行再次训练;和
S6,利用所述图像训练集的第二部分图像对再次训练后的神经网络模型进行测试,以确认所述模型的预测分类结果满足预设精度。
2.如权利要求1所述的方法,其特征在于,所述方法还包括步骤:
S7,响应于所述模型的预测分类结果不满足预设精度,将所述图像测试集的剩余图像输入到再次训练后的神经网络模型中,得到所述剩余图像的预测分类结果;
S8,利用自主学习算法根据所述剩余图像的预测分类结果得到所述剩余图像中满足预设条件的图像,并对其进行实际分类;
S9,根据所述剩余图像中满足预设条件的图像及其对应的实际分类结果和上一次训练过程中所利用的图像及其对应的实际分类结果对上一次训练后的神经网络模型进行再次训练;
S10,重复步骤S6-S9。
3.如权利要求2所述的方法,其特征在于,在步骤S2、S5以及S9中对所述神经网络模型进行训练,包括步骤:
a,将图像输入到所述神经网络模型的第一层卷积层中;
b,将第一层卷积层的输出同时输入到所述神经网络模型的第二层卷积层和第三层卷积层中;
c,将所述第二层卷积层和所述第三层卷积层的输出依次经过所述神经网络模型的第一池化层、第四层卷积层、第五层卷积层、第二池化层以及函数层的处理后,输入到所述神经网络模型的长短期记忆神经网络中;
d,将所述长短期记忆神经网络的输出输入到所述神经网络模型的两层全连接层中得到所述图像对应的分类类别概率。
4.如权利要求3所述的方法,其特征在于,所述函数层对所述第二池化层的输出的处理为:将经过第五层卷积层处理后得到的数据的列数乘以第五层卷积层的通道数。
5.如权利要求3所述的方法,其特征在于,在步骤a中,在将所述图像输入到所述第一层卷积层之前,对所述图像进行预处理。
6.如权利要求5所述的方法,其特征在于,所述预处理包括图像翻转、颜色变换、去均值、归一化、标准化、PCA/ZCA白化操作中的至少一种。
7.如权利要求3所述的方法,其特征在于,在步骤d中,所述两层全连接层配置为分类并且使用softmax函数进行映射以得到对应的分类类别概率。
8.如权利要求1-7中任一项所述的方法,其特征在于,S4包括:利用自主学习算法计算所述预测分类结果的信息熵,并按照信息熵的大小进行从大到小的排列,其中,所述满足预设条件的图像为前N个图像。
9.一种计算机设备,包括:
至少一个处理器;以及
存储器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时执行如权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时执行权利要求1-8任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811614381.7A CN109740657B (zh) | 2018-12-27 | 2018-12-27 | 一种用于图像数据分类的神经网络模型的训练方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811614381.7A CN109740657B (zh) | 2018-12-27 | 2018-12-27 | 一种用于图像数据分类的神经网络模型的训练方法与设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740657A true CN109740657A (zh) | 2019-05-10 |
CN109740657B CN109740657B (zh) | 2021-10-29 |
Family
ID=66361450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811614381.7A Active CN109740657B (zh) | 2018-12-27 | 2018-12-27 | 一种用于图像数据分类的神经网络模型的训练方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740657B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378346A (zh) * | 2019-06-14 | 2019-10-25 | 北京百度网讯科技有限公司 | 建立文字识别模型的方法、装置、设备和计算机存储介质 |
CN110458119A (zh) * | 2019-08-15 | 2019-11-15 | 中国水利水电科学研究院 | 一种非接触式测量的混凝土骨料级配快速识别方法 |
CN110472737A (zh) * | 2019-08-15 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN110516687A (zh) * | 2019-08-07 | 2019-11-29 | 北京工业大学 | 一种基于图像融合和改进ResNet的图像识别方法 |
CN110942090A (zh) * | 2019-11-11 | 2020-03-31 | 北京迈格威科技有限公司 | 模型训练、图像处理方法、装置、电子设备及存储介质 |
CN111046949A (zh) * | 2019-12-10 | 2020-04-21 | 东软集团股份有限公司 | 一种图像分类方法、装置及设备 |
CN111062917A (zh) * | 2019-12-10 | 2020-04-24 | 西安中科星图空间数据技术有限公司 | 一种基于深度神经网络的三线阵影像云检测方法及装置 |
CN111289854A (zh) * | 2020-02-26 | 2020-06-16 | 华北电力大学 | 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法 |
CN111754472A (zh) * | 2020-06-15 | 2020-10-09 | 南京冠纬健康科技有限公司 | 一种肺结节检测方法与检测系统 |
CN111950727A (zh) * | 2020-08-06 | 2020-11-17 | 中科智云科技有限公司 | 图像数据的神经网络训练和测试方法及设备 |
CN111985484A (zh) * | 2020-08-11 | 2020-11-24 | 云南电网有限责任公司电力科学研究院 | 基于cnn-lstm的温度仪表数字识别的方法及装置 |
WO2020252903A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技(深圳)有限公司 | Au检测方法、装置、电子设备及存储介质 |
CN112348058A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于cnn-lstm网络的卫星云图分类方法和计算机可读存储介质 |
CN112417145A (zh) * | 2019-08-23 | 2021-02-26 | 武汉Tcl集团工业研究院有限公司 | 文本多分类模型的生成方法、文本处理方法、设备及介质 |
CN112529146A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 神经网络模型训练的方法和装置 |
CN112750427A (zh) * | 2020-07-31 | 2021-05-04 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN113362273A (zh) * | 2020-02-19 | 2021-09-07 | 大众汽车股份公司 | 处理构件的计算机断层扫描图像数据和训练机器学习模型的方法、系统和计算机程序 |
CN113642727A (zh) * | 2021-08-06 | 2021-11-12 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法和多媒体信息的处理方法、装置 |
CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
CN117496274A (zh) * | 2023-12-29 | 2024-02-02 | 墨卓生物科技(浙江)有限公司 | 一种基于液滴图像的分类计数方法、系统和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682697A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于卷积神经网络的端到端物体检测方法 |
WO2017160453A1 (en) * | 2016-03-18 | 2017-09-21 | Qualcomm Incorporated | Cloud-based processing using local device provided sensor data and labels |
CN107423756A (zh) * | 2017-07-05 | 2017-12-01 | 武汉科恩斯医疗科技有限公司 | 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 |
WO2018184102A1 (en) * | 2017-04-03 | 2018-10-11 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
-
2018
- 2018-12-27 CN CN201811614381.7A patent/CN109740657B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017160453A1 (en) * | 2016-03-18 | 2017-09-21 | Qualcomm Incorporated | Cloud-based processing using local device provided sensor data and labels |
CN106682697A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于卷积神经网络的端到端物体检测方法 |
WO2018184102A1 (en) * | 2017-04-03 | 2018-10-11 | Royal Bank Of Canada | Systems and methods for malicious code detection |
CN107423756A (zh) * | 2017-07-05 | 2017-12-01 | 武汉科恩斯医疗科技有限公司 | 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
Non-Patent Citations (2)
Title |
---|
KEVIN ALFIANTO JANGTJIK等: ""A CNN-LSTM framework for authorship classification of paintings"", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
张晓男等: ""基于集成卷积神经网络的遥感影像场景分类"", 《光学学报》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378346A (zh) * | 2019-06-14 | 2019-10-25 | 北京百度网讯科技有限公司 | 建立文字识别模型的方法、装置、设备和计算机存储介质 |
WO2020252903A1 (zh) * | 2019-06-18 | 2020-12-24 | 平安科技(深圳)有限公司 | Au检测方法、装置、电子设备及存储介质 |
CN110516687A (zh) * | 2019-08-07 | 2019-11-29 | 北京工业大学 | 一种基于图像融合和改进ResNet的图像识别方法 |
CN110472737B (zh) * | 2019-08-15 | 2023-11-17 | 腾讯医疗健康(深圳)有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN110458119A (zh) * | 2019-08-15 | 2019-11-15 | 中国水利水电科学研究院 | 一种非接触式测量的混凝土骨料级配快速识别方法 |
CN110472737A (zh) * | 2019-08-15 | 2019-11-19 | 腾讯医疗健康(深圳)有限公司 | 神经网络模型的训练方法、装置和医学图像处理系统 |
CN110458119B (zh) * | 2019-08-15 | 2020-08-18 | 中国水利水电科学研究院 | 一种非接触式测量的混凝土骨料级配快速识别方法 |
CN112417145A (zh) * | 2019-08-23 | 2021-02-26 | 武汉Tcl集团工业研究院有限公司 | 文本多分类模型的生成方法、文本处理方法、设备及介质 |
CN112529146B (zh) * | 2019-09-18 | 2023-10-17 | 华为技术有限公司 | 神经网络模型训练的方法和装置 |
CN112529146A (zh) * | 2019-09-18 | 2021-03-19 | 华为技术有限公司 | 神经网络模型训练的方法和装置 |
CN110942090B (zh) * | 2019-11-11 | 2024-03-29 | 北京迈格威科技有限公司 | 模型训练、图像处理方法、装置、电子设备及存储介质 |
CN110942090A (zh) * | 2019-11-11 | 2020-03-31 | 北京迈格威科技有限公司 | 模型训练、图像处理方法、装置、电子设备及存储介质 |
CN111062917A (zh) * | 2019-12-10 | 2020-04-24 | 西安中科星图空间数据技术有限公司 | 一种基于深度神经网络的三线阵影像云检测方法及装置 |
CN111046949A (zh) * | 2019-12-10 | 2020-04-21 | 东软集团股份有限公司 | 一种图像分类方法、装置及设备 |
CN113362273A (zh) * | 2020-02-19 | 2021-09-07 | 大众汽车股份公司 | 处理构件的计算机断层扫描图像数据和训练机器学习模型的方法、系统和计算机程序 |
CN111289854A (zh) * | 2020-02-26 | 2020-06-16 | 华北电力大学 | 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法 |
CN111289854B (zh) * | 2020-02-26 | 2021-05-11 | 华北电力大学 | 基于紫外视频的3d-cnn和lstm的绝缘子绝缘状态评估方法 |
CN111754472A (zh) * | 2020-06-15 | 2020-10-09 | 南京冠纬健康科技有限公司 | 一种肺结节检测方法与检测系统 |
CN112750427B (zh) * | 2020-07-31 | 2024-02-27 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN112750427A (zh) * | 2020-07-31 | 2021-05-04 | 清华大学深圳国际研究生院 | 一种图像处理方法、装置及存储介质 |
CN111950727B (zh) * | 2020-08-06 | 2022-10-04 | 中科智云科技有限公司 | 图像数据的神经网络训练和测试方法及设备 |
CN111950727A (zh) * | 2020-08-06 | 2020-11-17 | 中科智云科技有限公司 | 图像数据的神经网络训练和测试方法及设备 |
CN111985484A (zh) * | 2020-08-11 | 2020-11-24 | 云南电网有限责任公司电力科学研究院 | 基于cnn-lstm的温度仪表数字识别的方法及装置 |
CN112348058A (zh) * | 2020-10-20 | 2021-02-09 | 华东交通大学 | 一种基于cnn-lstm网络的卫星云图分类方法和计算机可读存储介质 |
CN113642727A (zh) * | 2021-08-06 | 2021-11-12 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法和多媒体信息的处理方法、装置 |
CN113642727B (zh) * | 2021-08-06 | 2024-05-28 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法和多媒体信息的处理方法、装置 |
CN116188294B (zh) * | 2022-12-22 | 2023-09-19 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
CN117496274A (zh) * | 2023-12-29 | 2024-02-02 | 墨卓生物科技(浙江)有限公司 | 一种基于液滴图像的分类计数方法、系统和存储介质 |
CN117496274B (zh) * | 2023-12-29 | 2024-06-11 | 墨卓生物科技(浙江)有限公司 | 一种基于液滴图像的分类计数方法、系统和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109740657B (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740657A (zh) | 一种用于图像数据分类的神经网络模型的训练方法与设备 | |
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
CN110263179A (zh) | 学习路径推送方法、装置、计算机设备和存储介质 | |
CN109934293A (zh) | 图像识别方法、装置、介质及混淆感知卷积神经网络 | |
CN107423756A (zh) | 基于深度卷积神经网络结合长短期记忆模型的核磁共振图像序列分类方法 | |
CN111243269A (zh) | 基于融合时空特征的深度网络的交通流预测方法 | |
CN107608877A (zh) | 一种基于机器学习的自动化应用程序界面测试方法和测试系统 | |
CN106651887A (zh) | 一种基于卷积神经网络的图像像素分类方法 | |
CN108132887A (zh) | 用户界面校验方法、装置、软件测试系统、终端及介质 | |
CN114067119B (zh) | 全景分割模型的训练方法、全景分割方法及装置 | |
CN111191664A (zh) | 标签识别网络的训练方法、标签识别装置/方法及设备 | |
CN110147831A (zh) | 基于Capsule网络和迁移学习的甲骨文构件识别系统 | |
CN114140876A (zh) | 一种课堂实时人体动作识别方法、计算机设备及可读介质 | |
CN108959651A (zh) | 一种基于迁移学习的用户意图识别的方法 | |
CN109800776A (zh) | 素材标注方法、装置、终端和计算机可读存储介质 | |
CN112329735B (zh) | 人脸识别模型的训练方法及在线教育系统 | |
CN109902751A (zh) | 一种融合卷积神经网络和半字模板匹配的表盘数字字符识别方法 | |
Bhise et al. | Plant disease detection using machine learning | |
CN116776744B (zh) | 一种基于增强现实的装备制造控制方法及电子设备 | |
CN113344079A (zh) | 一种图像标签半自动标注方法、系统、终端及介质 | |
CN113628077B (zh) | 生成不重复考题的方法、终端及可读存储介质 | |
CN107135402A (zh) | 一种识别电视台图标的方法及装置 | |
CN109460485A (zh) | 一种图像库建立方法、装置和存储介质 | |
KR20190143527A (ko) | 머신 러닝을 통한 영상 인식을 위한 장치 및 방법 | |
CN114550246A (zh) | 一种基于智能视觉的识别疲劳状态的监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |