发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图片识别准确性的图片识别模型训练方法、装置、计算机设备和存储介质。
一种图片识别模型训练方法,所述方法包括:
获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;
获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;
基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征;
基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;
基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;
将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
在其中一个实施例中,所述初始分割网络包括二分类子网络和分割距离预测子网络;
所述将所述初始第一类型图片特征输入所述初始分割网络中,得到初始第一类型图片分割结果,包括:
将所述初始第一类型图片特征输入所述二分类子网络中进行二分类识别,得到第一分割对象类别和第一非分割对象类别;
并将所述初始第一类型图片特征输入所述分割距离预测子网络进行分割距离预测,得到初始第一类型图片分割距离;
基于所述初始第一类型图片分割距离、所述第一分割对象类别和所述第一非分割对象类别对所述初始第一类型图片进行分割,得到所述初始第一类型图片分割结果。
在其中一个实施例中,所述初始分割网络包括二分类子网络和分割距离预测子网络;
所述将所述初始第二类型图片特征输入所述初始分割网络中,得到初始第二类型图片分割结果,包括:
将所述初始第二类型图片特征输入所述二分类子网络中进行二分类识别,得到第二分割对象类别和第二非分割对象类别;
并将所述初始第二类型图片特征输入所述分割距离预测子网络进行分割距离预测,得到初始第二类型图片分割距离;
基于所述初始第二类型图片分割距离、所述第二分割对象类别和所述第二非分割对象类别对所述初始第二类型图片进行分割,得到所述初始第二类型图片分割结果。
在其中一个实施例中,所述基于所述部分像素点对应的训练标签和所述预测标签对所述目标域数据中的第二类型图片进行划分,得到易迁移图片和难迁移图片,包括:
基于所述部分像素点对应的训练标签和所述预测标签计算所述第二类型图片对应的召回率,
当所述召回率超过预设召回率阈值时,所述第二类型图片为易迁移图片,当所述召回率未超过预设召回率阈值时,所述第二类型图片为难迁移图片。
在一个实施例中,所述第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
将所述易迁移图片特征输入所述第一分割网络中,得到易迁移图片分割结果,包括:
将所述易迁移图片特征输入所述当前二分类子网络中进行二分类识别,得到易迁移分割对象类别和易迁移图片非分割对象类别;
并将所述易迁移图片特征输入所述当前分割距离预测子网络进行分割距离预测,得到易迁移图片分割距离;
基于所述易迁移图片分割距离、所述易迁移分割对象类别和所述易迁移图片非分割对象类别对所述易迁移图片进行分割,得到所述易迁移图片分割结果。
在其中一个实施例中,所述第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
将所述难迁移图片特征输入所述第一分割网络中,得到难迁移图片分割结果,包括:
将所述难迁移图片特征输入所述当前二分类子网络中进行二分类识别,得到难迁移分割对象类别和难迁移图片非分割对象类别;
并将所述难迁移图片特征输入所述当前分割距离预测子网络进行分割距离预测,得到难迁移图片分割距离;
基于所述难迁移图片分割距离、所述难迁移分割对象类别和所述难迁移图片非分割对象类别对所述难迁移图片进行分割,得到所述难迁移图片分割结果。
在其中一个实施例中,所述将所述第二中间图片识别模型作为初始图片识别模型,并返回所述基于所述源域数据和所述目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,所述目标图片识别模型用于对各种类型图片中的对象进行分割和分类,包括:
获取所述第一中间图片识别模型对应的第一模型损失信息,并获取所述第二中间图片识别模型对应的第二模型损失信息,计算所述第一模型损失信息和所述第二模型损失信息的和,得到目标模型损失信息;
将所述第二中间图片识别模型作为初始图片处理模型,并返回所述基于所述源域数据和所述目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到所述目标模型损失信息符合预设损失条件时,基于所述目标模型损失信息符合预设损失条件的第二中间图片识别模型得到所述目标图片识别模型。
一种图片识别模型训练装置,所述装置包括:
源数据获取模块,用于获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;
目标数据获取模块,用于获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;
第一学习模块,用于基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征;
预测模块,用于基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;
第二学习模块,用于基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;
迭代训练模块,用于将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;
获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;
基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征;
基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;
基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;
将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;
获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;
基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征;
基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;
基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;
将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
上述图片识别模型训练方法、装置、计算机设备和存储介质,通过源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征,然后基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型不断循环迭代,得到目标图片识别模型,由于通过对抗学习使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征,然后在使用第一中间图片识别模型通过迁移学习得到第二中间图片处理模型,基于第二中间图片处理模型得到目标图片识别模型,从而使得目标图片识别模型也能对输入图片提取不同域数据对应的共性特征,从而使得目标图片识别模型提高了对不同域图片识别的准确性。
一种图片识别方法,所述方法包括:
获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
目标图片识别模型输出待识别图片对应的识别结果。
一种图片识别装置,所述装置包括:
图片获取模块,用于获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
结果输出模块,用于目标图片识别模型输出待识别图片对应的识别结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
目标图片识别模型输出待识别图片对应的识别结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
目标图片识别模型输出待识别图片对应的识别结果。
上述图片识别模型训练方法、装置、计算机设备和存储介质,通过获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;目标图片识别模型输出待识别图片对应的识别结果。通过使用目标图片识别模型对待识别图像进行识别,由于通过对抗学习使训练得到的目标图片识别模型能够对输入图片提取不同域数据对应的共性特征,从而使得即时待识别图片为不同域数据中的图片,目标图片识别模型也能保证识别结果的准确性,即目标图片识别模型提高了对待识别图片进行识别的准确性。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像识别等技术,具体通过如下实施例进行说明:
本申请提供的图片识别模型训练方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信,数据库106为服务器104提供数据服务。管理终端102可以向服务器104发送训练模型的指令,服务器104根据管理终端104发送的指令从数据库106中获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;服务器104从数据库106获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;服务器104基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征服务器104;基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;服务器104基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;服务器104将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图片识别模型训练方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签。
其中,源域数据是指具有完整标签的图片数据,比如对图片进行像素级识别时训练图片的每个像素点都有对应的训练标签。第一类型图片是指源域数据中的图片,即第一类型图片的各个像素点存在对应的训练标签。各个像素点存在对应的训练标签是指源域数据训练时使用的标签,可以包括不同识别任务的标签,比如,识别图片中的对象类别时,可以是类别标签,比如,对图片中识别到的对象进行分割时,可以是分割标签等等。
具体地,服务器可以从数据库中获取到保存的源域数据,该源域数据中包括各个第一类型图片,每个第一类型图片的各个像素点都存在对应的训练标签。服务器可以从第三方服务器中获取到源域数据,第三方是提供源域数据的服务方。服务器也可以从互联网采集到源域数据。
步骤204,获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签。
其中,目标域数据是指具有弱标签的图片数据,比如对图片进行像素级识别时训练图片只有部分像素点都有对应的训练标签。该数据分布与源域数据的数据分布不同。第二类型图片是指目标域数据中的图片,即第二类型图片的部分像素点存在对应的训练标签,该部分像素点可以是图片中特殊的像素点,比如,可以是图片中对象的中心像素点。该部分像素点也可以是图片中对象的任意像素点。部分像素点对应的训练标签是指目标域数据在训练时使用的弱标签。
具体地,服务器可以从数据库中获取到保存的目标域数据,该目标域数据中包括各个第二类型图片,每个第二类型图片都有部分像素点存在对应的训练标签。服务器可以从第三方服务器中获取到目标域数据,第三方是提供目标域数据的服务方。服务器也可以从互联网采集到目标域数据。
步骤206,基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征。
其中,对抗学习是指通过对源域数据和目标域数据提取的特征的来源进行对抗识别,从而学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征。初始图片识别模型是指参数初始化的图片识别模型。第一中间图片识别模型是指经过一次对抗学习后得到图片识别模型,即对初始图片识别模型中初始化参数进行一次更新后得到的图片识别模型。当前共性特征是指当前的第一中间图片识别模型提取输入图片时提取到的具有域不变性的当前特征。域不变性是指即使数据是不同域中的数据提取的特征是共性的特征。
具体地,服务器将源域数据和目标域数据输入到初始图片识别模型中进行对抗学习,即对输入的源域数据和目标域数据中的图片分别进行特征提取,将提取得到的特征进行判别,同时将提取到的特征进行识别,得到判别结果和识别结果,然后根据判别结果和识别结果更新初始图片识别模型中的参数,当参数更新完成时,得到第一中间图片识别模型,该第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征。
在一个实施例中,服务器可以基于源域数据和目标域数据对初始图片识别模型不断进行对抗学习,得到目标第一中间图片识别模型,即服务器对输入的源域数据和目标域数据中的图片分别进行特征提取,将提取得到的特征进行判别,同时将提取到的特征进行识别,得到判别结果和识别结果,然后根据判别结果和识别结果更新初始图片识别模型中的参数,得到更新后的初始图片识别模型,然后将更新后的初始图片识别模型作为初始图片识别模型不断进行迭代训练,直到判别结果和识别结果对应的损失信息之和小于预先设置好的损失阈值时,得到目标第一中间图片识别模型。
步骤208,基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签。
其中,预测标签是指使用第一中间图片识别模型对第二类型图片进行预测得到的标签。
具体地,服务器将目标域数据中的第二类型图片输入到第一中间图片识别模型进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签。
步骤210,基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型。
其中,第二中间图片识别模型是指基于对第一中间图片识别模型使用目标域数据中的第二类型图片进行对抗学习得到的图片识别模型。
具体地,服务器根据第二类型图片的部分像素点对应的训练标签和第二类型图片中各个像素点对应的预测标签将目标域数据中的第二类型图片进行划分,得到划分后的第一种图片和划分后的第二种图片,将第一种图片和对应的各个像素点对应的预测标签以及第二种图片和对应的部分像素点对应的训练标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型。即将第一种图片和第二种图片输入到第一中间图片识别模型中进行特征提取,对提取的特征进行来源判别,判断是第一种图片的特征还是第二种图片的特征,得到判别结果,同时使用提取的特征进行图片识别,得到图片识别结果。然后根据判别结果和识别结果对第一中间图片识别模型中参数进行更新,当参数更新完成时,即进行一次参数更新后就得到第二中间图片识别模型。
在一个实施例中,可以使用第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型不断进行对抗学习,得到目标第二中间图片识别模型。具体来说:将第二类型图片输入到第一中间图片识别模型中进行特征提取,对提取的特征进行判别,得到判别结果,并对提取的特征进行识别,得到图片识别结果,然后根据判别结果、识别结果、部分像素点对应的训练标签和预测标签计算损失信息,根据损失信息反向更新第一中间图片识别模型中的参数,得到更新后的第一中间图片识别模型,然后将更新后的第一中间图片识别模型作为第一中间图片识别模型不断进行迭代训练,直到损失信息达到设置好的损失阈值时,得到目标第二中间图片识别模型,然后基于目标第二中间图片识别模型得到目标图片识别模型。
步骤212,判断训练是否完成,当训练完成时执行步骤214a,当训练未完成时,执行步骤214b并返回步骤206迭代执行。
步骤214a,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
步骤214b,将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行。
其中,训练完成是指当训练达到训练完成条件时训练完成,训练完成条件可以是第一中间图片识别模型的模型损失信息和第二中间图片识别模型的模型损失信息之和达到预先设置好的损失阈值。训练完成条件也可以是训练迭代次数达到最大迭代次数。
具体地,服务器判断训练是否完成,当训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,当训练未完成时,将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成。即服务器通过将第一中间图片识别模型迁移到目标域,训练得到第二中间图片识别模型,然后将第二中间图片识别模型迁移到源域,以此不断进行循环迭代,直到训练完成时,得到域适应迁移学习后得到的目标图片识别模型,能够提高训练得到的目标图片识别模型的泛化性能。该目标图片识别模型对各种类型图片中的对象进行分割和分类,即目标图片识别模型可以对不同域中的图片进行识别,该识别可以是识别图片中的对象类别,也可以是对图片中的对象进行分割识别,还可以是同时对图片中的对象进行分割和分类。
在一个实施例中,目标域数据中的第二类型图片也可以未存在对应的训练标签,即可以进行无监督的训练,得到目标图片识别模型。
在上述图片识别模型训练方法中,通过源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征,然后基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型不断循环迭代,得到目标图片识别模型,由于通过对抗学习使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征,然后在使用第一中间图片识别模型通过迁移学习得到第二中间图片处理模型,基于第二中间图片处理模型得到目标图片识别模型,从而使得目标图片识别模型也能对输入图片提取不同域数据对应的共性特征,从而使得目标图片识别模型提高了对不同域图片识别的准确性。
在一个实施例中,如图3所述,步骤206,即基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征,包括:
步骤302,将第一类型图片和第二类型图片输入初始图片识别模型中,初始图片识别模型使用第一类型图片和第二类型图片分别提取图片特征,基于图片特征进行图片来源判别和图片识别,得到图片判别结果和图片识别结果。
其中,图片判别结果用于表示图片是来自于源域数据中图片还是来自于目标域数据中的图片,包括第一类型图片对应的判别结果和第二类型图片对应的判别结果。图片识别结果用于表示对图片中对象的识别的结果,图片中的对象可以是物体,该物体可以包括动物、植物、人物等等,也可以对染色图片中的细胞进行识别。该图片识别结果包括第一类型图片对应的识别结果和第二类型图片对应的识别结果。
具体地,服务器分别将将第一类型图片和第二类型图片输入初始图片识别模型中,初始图片识别模型使用第一类型图片和第二类型图片分别提取图片特征,得到第一类型图片对应的特征和第二类型图片对应的特征,然后分别对第一类型图片对应的特征和第二类型图片对应的特征进行来源判别和图片识别,得到第一类型图片对应的识别结果和判别结果以及得到第二类型图片对应的识别结果和判别结果。
步骤304,基于图片判别结果、图片识别结果、第一类型图片的各个像素点对应的训练标签和第二类型图片的部分像素点对应的训练标签对初始图片识别模型进行参数更新,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型。
具体地,服务器根据第一类型图片对应的识别结果和第一类型图片的各个像素点对应的训练标签来计算第一类型图片对应的损失信息,同时根据第二类型图片对应的识别结果和第二类型图片的部分像素点对应的训练标签来计算第二类型图片对应的损失信息。然后根据第一类型图片对应的判别结果和第一类型图片为源域数据来计算第一类型图片对应的判别结果损失信息,同时根据第二类型图片对应的判别结果和第二类型图片为目标域数据来计算第二类型图片对应的判别结果损失信息,然后使用第一类型图片对应的损失信息和判别结果损失信息以及第二类型图片对应的损失信息和判别结果损失信息来更新初始图片识别模型中的参数,当参数更新完成时,得到更新后的初始图片识别模型。然后可以将更新后的初始图片识别模型作为第一中间图片识别模型。
在上述实施例中,通过将第一类型图片和第二类型图片输入初始图片识别模型中,得到输出的图片判别结果和图片识别结果,然后根据图片判别结果和图片识别结果来更新初始图片识别模型,从而得到第一中间图片识别模型,能够使通过对抗学习到的第一中间图片识别模型能够提取出不同域数据的当前共性特征。
在一个实施例中,初始图片识别模型包括初始特征生成网络、第一初始特征判别网络和初始图片识别网络;
如图4所示,步骤302,即将第一类型图片和第二类型图片输入初始图片识别模型中,初始图片识别模型使用第一类型图片和第二类型图片分别提取图片特征,基于图片特征进行图片来源判别和图片识别,得到图片判别结果和图片识别结果,包括:
步骤402,将第一类型图片和第二类型图片输入初始特征生成网络中进行特征提取,得到初始第一类型图片特征和初始第二类型图片特征。
其中,初始特征生成网络是指模型参数初始化的特征生成网络,该初始特征生成网络是对抗学习中的生成网络,用于提取到输入图片的特征。训练完成的特征生成网络能够提取的特征包括不同域数据的共性特征。初始第一类型图片特征是指初始特征生成网络提取到的第一类型图片对应的特征。初始第二类型图片特征是指初始特征生成网络提取到的第二类型图片对应的特征。
具体地,初始特征生成网络可以是基于残差网络得到的,比如,初始特征生成网络可以是由四个残差卷积网络组成的编码网络。服务器可以将残差网络的网络参数初始化得到初始特征生成网络。然后服务器分别将第一类型图片和第二类型图片输入初始特征生成网络中进行特征提取,得到初始第一类型图片特征和初始第二类型图片特征。
步骤404,将初始第一类型图片特征和初始第二类型图片特征输入第一初始特征判别网络中进行图片来源判别,得到初始第一类型图片判别结果和初始第二类型图片判别结果。
其中,第一初始特征判别网络是指网络参数初始化的特征判别网络,该初始特征判别网络是对抗学习中的判别网络,用于判断输入特征的来自的域,即是源域数据还是目标域数据。通过对初始特征生成网络和第一初始特征判别网络不断进行对抗学习,即初始特征生成网络的训练目标是第一初始特征判别网络无法判断生成的特征是来自于源域数据或者目标域数据,从而使得训练完成的特征生成网络能够提取的特征包括不同域数据的共性特征。初始第一类型图片判别结果是指使用第一初始特征判别网络对初始第一类型图片特征进行判别的结果,初始第二类型图片判别结果是指使用第一初始特征判别网络对初始第二类型图片特征进行判别的结果。
具体地,第一初始特征判别网络可以是基于卷积网络得到。比如,第一初始特征判别网络可以是使用三层卷积网络建立的。服务器可以将三层卷积网络的网络参数初始化得到第一初始特征判别网络。然后服务器将初始第一类型图片特征和初始第二类型图片特征输入第一初始特征判别网络中进行图片来源判别,得到初始第一类型图片判别结果和初始第二类型图片判别结果。
步骤406,将初始第一类型图片特征和初始第二类型图片特征输入初始图片识别网络中,得到初始第一类型图片识别结果和初始第二类型图片识别结果。
其中,初始图片识别网络是指网络参数初始化的图片识别网络。图片识别网络用于对图片中的对象进行识别。初始第一类型图片识别结果是指使用初始图片识别网络对第一类型图片进行识别的识别结果,初始第二类型图片判别结果是指使用初始图片识别网络对第二类型图片进行识别的识别结果。
具体地,初始图片识别网络可以是基于解码网络得到的,不同的识别任务可以有不同的解码网络,初始图片识别网络可以是由深度神经网络得到的。服务器分别将初始第一类型图片特征和初始第二类型图片特征输入初始图片识别网络中,得到初始第一类型图片识别结果和初始第二类型图片识别结果。
如图4所示,步骤304,即基于图片判别结果、图片识别结果、第一类型图片的各个像素点对应的训练标签和第二类型图片的部分像素点对应的训练标签对初始图片识别模型进行参数更新,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型,包括:
步骤408,基于初始第一类型图片识别结果和各个像素点对应的训练标签计算初始第一类型图片损失信息,基于初始第二类型图片识别结果和部分像素点对应的训练标签计算初始第二类型图片损失信息。
其中,初始第一类型图片损失信息是指使用初始图片识别模型进行有监督训练时得到的第一类型图片对应的损失信息。初始第二类型图片损失信息是指使用初始图片识别模型进行弱监督训练时得到的第二类型图片对应的损失信息。
具体地,服务器使用有监督损失函数计算初始第一类型图片识别结果和各个像素点对应的训练标签之间的损失,得到初始第一类型图片损失信息。同时服务器使用弱监督损失函数计算初始第二类型图片识别结果和部分像素点对应的训练标签之间的损失,得到初始第二类型图片损失信息。其中,有监督损失函数根据识别的具体任务来设定,比如,为识别图片中对象类别时,可以使用分类任务对应的损失函数,例如,交叉熵损失函数,0-1损失函数等等。当识别图片中的对象进行分割时,可以使用回归任务对应的损失函数,例如,平方误差损失函数、绝对损失函数等等。该弱监督损失函数计算的损失是指使用有监督损失函数计算部分像素点对应的训练标签与初始第二类型图片识别结果中部分像素点对应的识别结果之间的损失。
步骤410,基于初始第一类型图片损失信息和初始第二类型图片损失信息反向更新初始特征生成网络和初始图片识别网络。
具体地,服务器使用初始第一类型图片损失信息和初始第二类型图片损失信息使用梯度下降算法对初始特征生成网络和初始图片识别网络中的网络参数进行更新,即反向更新初始特征生成网络和初始图片识别网络中的网络参数。
步骤412,基于初始第一类型图片判别结果和源域数据对应的源域来源计算第一来源损失信息,并基于初始第二类型图片判别结果和目标域数据对应的目标域来源计算第二来源损失信息。
其中,源域来源是指第一类型图片是源域数据中的图片,目标域来源是指第二类型图片是目标域数据中的图片。第一来源损失信息是指第一类型图片对应的判别结果损失,第二来源损失信息是指第二类型图片对应的判别结果损失。损失可以理解为误差。
具体地,服务器使用初始第一类型图片判别结果和源域数据对应的源域来源计算来源误差,得到第一来源损失信息,并使用初始第二类型图片判别结果和目标域数据对应的目标域来源计算来源误差,得到第二来源损失信息。
步骤414,使用第一来源损失信息和第二来源损失信息更新初始特征生成网络和第一初始特征判别网络,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型,更新后的初始图片识别模型中更新后的初始特征生成网络对输入图片提取的特征包括不同域数据对应的当前共性特征。
具体地,服务器使用第一来源损失信息和第二来源损失信息使用梯度下降法反向更新初始特征生成网络和第一初始特征判别网络,得到更新后的初始特征生成网络、更新后的第一初始特征判别网络和更新后的初始图片识别网络,基于更新后的初始特征生成网络、更新后的第一初始特征判别网络和更新后的初始图片识别网络得到更新后的初始图片识别模型,然后将更新后的初始图片识别模型作为第一中间图片识别模型。在一个实施例中,可以根据更新后的初始特征生成网络和更新后的初始图片识别网络得到第一中间图片识别模型,然后服务器可以基于该第一中间图片识别模型和第二初始特征判别网络来建立初始化的第二中间图片识别模型。
在一个具体的实施例中,如图5所示,为网络参数初始化的初始细胞核图片识别模型的网络结构示意图。其中,包括低层特征提取网络、细胞核分割和分类网络和第一域适应迁移学习网络。具体地,源域图片和对应的完整标签以及目标域图片和部分像素点标签通过低层特征提取网络进行特征提取,将提取的特征输入到细胞核分割和分类网络中进行分割和分类,得到分割和分类结果,同时将提取的特征输入到第一域适应迁移学习网络中进行判别,得到判别结果,然后基于分割和分类结果和判别结果使用源域完整标签损失函数和目标域点标签损失函数更新初始细胞核图片识别模型中的参数,得到更新后的低层特征提取网络、更新后的细胞核分割和分类网络以及更新后的第一域适应迁移学习网络。将更新后的低层特征提取网络以及更新后的细胞核分割和分类网络作为第一中间细胞核图片识别模型。
在上述实施例中,通过初始特征生成网络和第一初始特征判别网络进行对抗学习,通过初始特征生成网络和初始图片识别模型进行图片识别学习,从而使得到的第一中间细胞核图片识别模型对不同域图片进行识别时能够提高准确性。
在一个实施例中,步骤414,使用第一来源损失信息和第二来源损失信息更新初始特征生成网络和第一初始特征判别网络,包括步骤:
计算第一来源损失信息的第一来源梯度,并计算第二来源损失信息的第二来源梯度,基于第一来源梯度和第二来源梯度反向更新第一初始特征判别网络;计算第一来源梯度的第一取反梯度,并计算第二来源梯度的第二取反梯度,基于第一取反梯度和第二取反梯度反向更新初始特征生成网络。
其中,第一来源梯度是使用梯度下降算法计算第一来源损失信息的梯度得到的。第二来源梯度是使用梯度下降算法计算第二来源损失信息的梯度得到的。第二取反梯度,第一取反梯度是指对第一来源梯度进行取反后得到梯度,第二取反梯度是指对第二来源梯度进行取反后得到梯度。
具体地,对抗学习的过程可以通过梯度反转层实现。即在初始特征生成网络之后添加梯度反转层,在使用梯度进行网络参数更新时,通过梯度反转层对反向更新的梯度进行取反后对初始特征生成网络中的网络参数进行更新,从而可以是特征生成网络学习到的特征在不同域数据中都能够有好的表现。即服务器计算第一来源损失信息的第一来源梯度,并计算第二来源损失信息的第二来源梯度,基于第一来源梯度和第二来源梯度对第一初始特征判别网络进行反向传播,得到更新后的第一初始特征判别网络。然后服务器计算第一来源梯度的第一取反梯度,并计算第二来源梯度的第二取反梯度,使用第一取反梯度和第二取反梯度对初始特征生成网络进行反向传播,得到更新后的初始特征生成网络。从而能够使更新后的初始特征生成网络在对不同域数据中的图片进行特征提取时,能够提取到域不变性的特征,进而提高识别的准确性。
在一个实施例中,初始图片识别网络包括初始分割网络和初始分类网络;
如图6所示,步骤406,将初始第一类型图片特征和初始第二类型图片特征输入初始图片识别网络中,得到初始第一类型图片识别结果和初始第二类型图片识别结果,包括:
步骤602,将初始第一类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第一类型图片分割结果和初始第一类型图片分类结果。
其中,初始分割网络是指网络参数初始化的分割网络,分割网络用于对第一类型图片中的对象进行分割。初始分类网络是指网络参数初始化的分类网络,分类网络用于对第一类型图片中的对象进行分类。初始第一类型图片分割结果是指通过初试分割网络对第一类型图片中对象进行分割得到结果,初始第一类型图片分类结果是指通过初试分类网络对第一类型图片中对象进行分类得到的结果。
具体地,初始图片识别网络是多任务网络,包括初始分割网络和初始分类网络。即初始图片识别网络可以同时对分割任务和分类任务进行处理。此时服务器将初始第一类型图片特征分别输入初始分割网络和初始分类网络中,得到分别输出的初始第一类型图片分割结果和初始第一类型图片分类结果。
步骤604,将初始第二类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第二类型图片分割结果和初始第二类型图片分类结果。
其中,初始第二类型图片分割结果是指通过初试分割网络对第二类型图片中对象进行分割得到结果,初试第二类型图片分类结果是指通过初始分类网络对第二类型图片中对象进行分类得到的结果。
具体地,服务器同时将初始第二类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第二类型图片分割结果和初始第二类型图片分类结果。
如图6所示,步骤406,基于初始第一类型图片识别结果和各个像素点对应的训练标签计算初始第一类型图片损失信息,基于初始第二类型图片识别结果和部分像素点对应的训练标签计算初始第二类型图片损失信息,包括:
步骤606,基于初始第一类型图片分割结果和第一类型图片各个像素点训练标签中的分割标签计算初始第一类型图片分割损失信息,并基于初始第一类型图片分类结果和第一类型图片各个像素点训练标签中的类别标签计算初始第一类型图片分类损失信息,基于初始第一类型图片分割损失信息和初始第一类型图片分类损失信息得到初始第一类型图片损失信息。
其中,分割标签是指训练标签中用于训练图片分割网络时使用的标签,可以包括分割对象标签和非分割对象标签。类别标签是指训练标签中用于训练图片分类网络时使用的标签,图片中不同类型的对象有不同的类别标签。初始第一类型图片分割损失信息用于表示初始第一类型图片分割结果与对应的第一类型图片的分割标签之间的误差。初始第一类型图片分类损失信息用于表示初始第一类型图片分类结果与对应的第一类型图片的类别标签之间的误差。
具体地,服务器可以使用预先设置好的分割损失函数计算初始第一类型图片分割结果与第一类型图片各个像素点训练标签中的分割标签之间的误差,得到初始第一类型图片分割损失信息,同时使用预先设置好的分类损失函数计算初始第一类型图片分类结果和第一类型图片各个像素点训练标签中的类别标签之间的误差,得到初始第一类型图片分类损失信息。然后计算初始第一类型图片分割损失信息和初始第一类型图片分类损失信息的损失信息之和,得到初始第一类型图片损失信息。其中,分割损失函数是回归任务的损失函数,分类损失函数是分类任务的损失函数。
步骤608,基于初始第二类型图片分割结果和第二类型图片部分像素点训练标签中的分割标签计算初始第二类型图片分割损失信息,并基于初始第二类型图片分类结果和第二类型图片部分像素点训练标签中的类别标签计算初始第二类型图片分类损失信息,基于初始第二类型图片分割损失信息和初始第二类型图片分类损失信息得到初始第二类型图片损失信息。
其中,初始第二类型图片分割损失信息用于表示初始第二类型图片分割结果与第二类型图片的分割标签之间的误差,即部分像素点对应的分割结果和分割标签之间的误差。初始第二类型图片分类损失信息用于表示初始第二类型图片分类结果与第二类型图片的类型标签之间的误差,即部分像素点对应的分类结果和类型标签之间的误差。
具体地,服务器计算第二类型图片对应的初始第二类型图片损失信息,由于第二类型图片中只有部分像素点存在对应的训练标签。因此,在计算损失信息时,使用存在的分割标签的像素点的分割结果和对应的分割标签计算分割误差,并使用存在的类型标签的像素点的分类结果和对应的类型标签计算分类误差,然后计算分割误差和分类误差的和,得到初始第二类型图片损失信息。
在上述实施例中,初始图片识别网络包括初始分割网络和初始分类网络,然后可以使用初始分割网络和初始分类网络训练得到多任务图片识别模型,使用多任务图片识别模型进行多任务处理,提高了任务处理效率,方便使用。
在一个实施例中,初始分割网络包括二分类子网络和分割距离预测子网络;
如图7所示,步骤602,将初始第一类型图片特征输入初始分割网络中,得到初始第一类型图片分割结果,包括:
步骤702,将初始第一类型图片特征输入二分类子网络中进行二分类识别,得到第一分割对象类别和第一非分割对象类别。
步骤704,将初始第一类型图片特征输入分割距离预测子网络进行分割距离预测,得到初始第一类型图片分割距离。
其中,初始分割网络中可以包括二分类子网络和分割距离预测子网络,即分割任务可以通过二分类子任务和分割距离预测子任务来实现。
具体地,二分类子网络和分割距离预测子网络都是网络参数初始化的网络。二分类子网络用于识别图片中对象是否为分割对象。比如,对细胞图片中的细胞核进行分割,识别出细胞核区域和非细胞核区域,又比如,对动物图片中的动物进行分割,识别出动物区域和非动物区域。分割距离预测子网络用于预测分割对象边界到中心的水平方向距离和垂直方向距离,比如,预测细胞核边界到细胞核中心的水平方向距离和垂直方向距离,比如,预测动物边界到动物中心的水平方向距离和垂直方向距离。第一分割对象类别是指第一类型图片中需要进行分割的对象对应的类别,第一非分割对象类别是指第一类型图片中除需要进行分割的对象以外的对象类别。初始第一类型图片分割距离是对第一类型图片通过分割距离预测子网络进行分割距离预测得到的。服务器可以同时将初始第一类型图片特征分别输入到二分类子网络和分割距离预测子网络中进行处理,得到输出的第一分割对象类别和第一非分割对象类别以及初始第一类型图片分割距离。
步骤706,基于初始第一类型图片分割距离、第一分割对象类别和第一非分割对象类别对初始第一类型图片进行分割,得到初始第一类型图片分割结果。
具体地,服务器使用第一分割对象类别和第一非分割对象类别对初始第一类型图片进行分割时,同时使用初始第一类型图片分割距离进行修正,得到初始第一类型图片分割结果,该初始第一类型图片分割结果包括初始第一类型图片中分割对象区域和初始第一类型图片非分割对象区域。
在一个实施例中,初始分割网络包括二分类子网络和分割距离预测子网络;
如图8所示,步骤604,将初始第二类型图片特征输入初始分割网络中,得到初始第二类型图片分割结果,包括:
步骤802,将初始第二类型图片特征输入二分类子网络中进行二分类识别,得到第二分割对象类别和第二非分割对象类别。
步骤804,并将初始第二类型图片特征输入分割距离预测子网络进行分割距离预测,得到初始第二类型图片分割距离。
步骤806,基于初始第二类型图片分割距离、第二分割对象类别和第二非分割对象类别对初始第二类型图片进行分割,得到初始第二类型图片分割结果。
具体地,第二分割对象类别是指第二类型图片中需要进行分割的对象对应的类别,第二非分割对象类别是指第二类型图片中除需要进行分割的对象以外的对象类别。初始第二类型图片分割距离是对第二类型图片通过分割距离预测子网络进行分割距离预测得到的。即服务器在对第二类型图片进行分割时,也同样使用二分类子网络和分割距离预测子网络进行分割,得到第二分割对象类别和第二非分割对象类别以及初始第二类型图片分割距离。
在一个实施例中,服务器可以基于初始分割网络的分割结果进行分类识别。具体来说,服务器在获取到分割结果中的分割对象时,可以进一步对分割对象的类别进行识别,即通过初始分类网络对分割对象的类型进行识别,比如,可以对细胞图片进行细胞核对象进行分割后,然后对细胞核的类型进行识别,得到细胞核对应的类别,例如细胞核的类别可以包括第一类别为癌细胞和上皮细胞的细胞核,第二类别为炎症细胞的细胞核,第三类别为结缔组织细胞的细胞核,第四类别为凋亡细胞的细胞核。从而能够提高识别分割对象类型的准确性。
在上述实施例中,通过使用二分类子网络和分割距离预测子网络对图片中的对象进行分割,即通过二分类子网络的结果进行分割时使用分割距离预测子网络进行修正,防止对重合的对象只使用二分类结果进行分割导致无法确定分割线的问题,可以提高对重合的对象进行分割的准确性。
在一个实施例中,如图9所示,步骤210,基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,包括:
步骤902,基于部分像素点对应的训练标签和预测标签对目标域数据中的第二类型图片进行划分,得到易迁移图片和难迁移图片。
在一个实施例中,服务器基于部分像素点对应的训练标签和预测标签计算第二类型图片对应的召回率,当召回率超过预设召回率阈值时,第二类型图片为易迁移图片,当召回率未超过预设召回率阈值时,第二类型图片为难迁移图片。
具体地,服务器使用部分像素点对应的训练标签和部分像素点对应的预测标签计算召回率,即计算预测标签中预测正确的结果数量与预测标签中预测正确的结果数量和预测错误的结果数量之和的比值。预测标签中预测正确的结果数量和预测错误的结果数量可以根据预测标签与训练标签进行对比后统计得到。比如,对目标域数据中的细胞核图片进行划分,可以计算细胞核图片的预测标签中对细胞核中心像素点类型预测正确的结果数量,然后计算细胞核图片的预测标签中对细胞核中心像素点类型预测错误的结果数量,然后计算目标域数据中每个细胞核图片的召回率。然后服务器将每个第二类型图片对应的召回率与预先设定的召回率阈值进行比较,当召回率超过预设召回率阈值时,将对应的第二类型图片作为易迁移图片,当召回率未超过预设召回率阈值时,将对应的第二类型图片作为难迁移图片。
步骤904,基于部分像素点对应的训练标签对预测标签中相同像素点对应的预测标签进行修正,得到相同像素点对应的修正标签,基于预测标签和相同像素点对应的修正标签得到第二类型图片中各个像素点对应的更新标签。
具体地,服务器使用第二类型图片中部分像素点对应的训练标签对第二类型图片中相同像素点的预测标签进行修正,得到部分像素点对应的修正标签,然后根据部分像素点对应的修正标签和其他未修正像素点对应的预测标签得到第二类型图片中各个像素点对应的更新标签。即更新标签中一部分标签是预测标签,一部分标签是修正标签。从而使能够得到的更新标签更加准确。比如,使用第二类型细胞图片细胞核中心像素点的训练标签对细胞核中心点的预测标签进行徐子,得到细胞核中心点的修正标签。然后根据细胞核中心点的修正标签以及第二类型细胞图片中除细胞核中心像素点以外的像素点的预测标签得到第二类型细胞图片中各个像素点对应的更新标签。
步骤906,基于易迁移图片和对应的更新标签与难迁移图片和对应的部分像素点训练标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型。
具体地,服务器将易迁移图片作为第一中间图片识别模型的输入,将易迁移图片对应的更新标签作为对应的输出标签,将难迁移图片作为第一中间图片识别模型的输入,将难迁移图片对应的部分像素点训练标签作为对应的输出标签进行对抗学习,得到第二中间图片识别模型。
在上述实施例中,通过将第二类型图片进行划分,得到易迁移图片和难迁移图片,然后使用易迁移图片和难迁移图片对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,从而使得第二中间图片识别模型能够减少易迁移图片对应的特征与难迁移图片对应的特征之间的差异,即可以得到易迁移图片和难迁移图片之间的共性特征,进而使得到的目标图片识别模型能够提高对图片识别的准确性。
在一个实施例中,如图10所示,基于易迁移图片和对应的更新标签与难迁移图片和对应的部分像素点训练标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,包括:
步骤1002,将易迁移图片和难迁移图片输入第一中间图片识别模型中,第一中间图片识别模型对易迁移图片和难迁移图片进行特征提取,得到易迁移图片特征和难迁移图片特征,基于易迁移图片特征和难迁移图片进行迁移图片来源判别和迁移图片识别,得到迁移图片判别结果和迁移图片识别结果。
其中,易迁移图片特征是指提取到的易迁移第二类型图片的特征。难迁移图片特征是指提取到难迁移第二类型图片的特征。迁移图片判别结果用于表示图片是易迁移图片还是难迁移图片,包括对易迁移图片的判别结果和对难迁移图片的判别结果。迁移图片识别结果是指对第二类型图片中对象的识别结果,包括难迁移图片的识别结果和易迁移图片的识别结果。根据识别任务的不同,识别结果也会不同。比如,对第二类型图片中对象的类型进行识别,识别结果为对象的类别,或者对第二类型图片中对象进行分割识别,识别结果为对象的分割区域。
具体地,服务器将第一中间图片识别模型的模型参数共享到第二中间图片识别模型中,得到初始化的第二中间图片识别模型,即可以将第一中间图片识别模型作为初始化的第二中间图片识别模型,然后将易迁移图片和难迁移图片输入初始化的第二中间图片识别模型中,初始化的第二中间图片识别模型对易迁移图片和难迁移图片进行特征提取,得到易迁移图片特征和难迁移图片特征,基于易迁移图片特征和难迁移图片进行迁移图片来源判别和迁移图片识别,得到迁移图片判别结果和迁移图片识别结果。
步骤1004,基于迁移图片判别结果、迁移图片识别结果、易迁移图片对应的更新标签和难迁移图片对应的部分像素点训练标签对第一中间图片识别模型进行参数更新,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,第二中间图片识别模型对输入图片提取的特征包括同类型差异图片对应的当前共性特征。
具体地,服务器根据迁移图片判别结果、迁移图片识别结果、易迁移图片对应的更新标签和难迁移图片对应的部分像素点训练标签计算模型损失信息,根据模型损失信息使用梯度下降算法更新初始化的第二中间图片识别模型中的参数,得到第二中间图片识别模型。
在上述实施例中,通过使用易迁移图片和难迁移图片对初始化的第二中间图片识别模型进行对抗学习,得到第二中间图片识别模型,从而能够使得到的第二中间图片识别模型能够对输入图片提取的特征包括同一类型中具有差异的图片对应的共性特征,然后使用该共性特征进行图片识别,减少了难迁移图片和易迁移图片之间的差异,进而提高图片识别模型识别的准确性。
在一个实施例中,第一中间图片识别模型包括第一特征提取网络、第二初始特征判别网络和第一图片识别网络;
如图11所示,步骤1102,将易迁移图片和难迁移图片输入第一中间图片识别模型中,第一中间图片识别模型对易迁移图片和难迁移图片进行特征提取,得到易迁移图片特征和难迁移图片特征,基于易迁移图片特征和难迁移图片进行迁移图片来源判别和迁移图片识别,得到迁移图片判别结果和迁移图片识别结果,包括:
步骤1102,将易迁移图片和难迁移图片输入第一特征提取网络中进行特征提取,得到易迁移图片特征和难迁移图片特征。
其中,第一特征提取网络是指初始图片识别模型中网络参数更新的初始特征生成网络。即第一特征提取网络中的网络参数与更新的初始特征生成网络的网络结构和网络参数相同。易迁移图片特征是指使用第一特征提取网络提取到的易迁移图片对应的特征。难迁移图片特征是指使用第一特征提取网络提取到的难迁移图片对应的特征。
具体地,服务器可以使用第一中间图片识别模型建立初始化的第二中间图片识别模型,即将第一中间图片识别模型中的第一特征提取网络作为初始化的第二中间图片识别模型中的特征提取网络。然后对初始化的第二中间图片识别模型进行训练时,可以先将易迁移图片和难迁移图片输入第一特征提取网络中进行特征提取,得到易迁移图片特征和难迁移图片特征。
步骤1104,将易迁移图片特征和难迁移图片特征输入到第二初始特征判别网络中进行来源判别,得到易迁移图片判别结果和难迁移图片判别结果。
具体地,第二初始特征判别网络是指网络参数初始化的特征判别网络,即初始化的第二中间图片识别模型中特征判别网络是网络参数初始化的特征判别网络,该第二初始特征判别网络的网络结构可以与第一初始特征判别网络的网络结构相同,但是不会共享更新的第一初始特征判别网络的网络参数。易迁移图片判别结果是指使用第二初始特征判别网络对易迁移图片进行来源判别得到的结果,难迁移图片判别结果是指使用第二初始特征判别网络对难迁移图片进行来源判别得到的结果。然后服务器将易迁移图片特征和难迁移图片特征输入到初始化的第二中间图片识别模型中的第二初始特征判别网络中进行来源判别,得到判别结果。
步骤1106,将易迁移图片特征和难迁移图片特征输入到第一图片识别网络中进行图片识别,得到易迁移图片识别结果和难迁移图片识别结果。
其中,第一图片识别网络是指初始图片识别模型中网络参数更新的图片识别网络。即初始化的第二中间图片识别模型中图片识别网络的网络参数和网络结果与第一图片识别网络的网络参数和网络结构相同。易迁移图片识别结果是指使用第一图片识别网络识别易迁移图片得到的结果,难迁移图片识别结果是指使用第一图片识别网络识别难迁移图片得到的结果。
具体地,服务器将第一图片识别网络作为建立的初始化的第二中间图片识别模型中图片识别网络。然后使用第一图片识别网络对易迁移图片特征和难迁移图片特征进行图片识别,得到易迁移图片识别结果和难迁移图片识别结果。
如图11所示,步骤1004,基于迁移图片判别结果、迁移图片识别结果、易迁移图片对应的更新标签和难迁移图片对应的部分像素点训练标签对第一中间图片识别模型进行参数更新,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,包括:
步骤1108,基于易迁移图片识别结果和易迁移图片对应的更新标签计算易迁移图片损失信息,并基于难迁移图片识别结果和难迁移图片对应的部分像素点训练标签计算难迁移图片损失信息。
其中,易迁移图片损失信息用于表示易迁移图片识别结果和易迁移图片对应的更新标签之间的误差。难迁移图片损失信息用于表示难迁移图片识别结果中部分像素点对应的识别结果和和难迁移图片对应的部分像素点训练标签之前的误差。
具体地,服务器使用有监督损失函数计算易迁移图片识别结果和易迁移图片对应的更新标签之间的损失,得到易迁移图片损失信息。同时使用弱监督损失函数计算难迁移图片识别结果和难迁移图片对应的部分像素点训练标签之间的损失,得到难迁移图片损失信息,其中,可以使用难迁移图片中存在的像素点对应的识别结果和训练标签之间的误差平方和,得到难迁移图片损失信息。
步骤1110,基于易迁移图片损失信息和难迁移图片损失信息更新第一特征提取网络和第一图片识别网络。
具体地,服务器使用易迁移图片损失信息基于梯度下降算法反向更新第一特征提取网络和第一图片识别网络中的网络参数,并同时使用难迁移图片损失信息基于梯度下降算法反向更新第一特征提取网络和第一图片识别网络中的网络参数。
步骤1112,基于易迁移图片判别结果和易迁移图片对应的易迁移来源计算易迁移来源损失信息,并基于难迁移图片判别结果和难迁移图片对应的难迁移来源计算难迁移来源损失信息。
其中,易迁移来源是指图片是来自于目标域数据中的易迁移图片。易迁移来源损失信息用于表示易迁移图片判别结果和易迁移来源之间的误差。难迁移来源是指图片是来自于目标域数据中的难迁移图片。难迁移来源损失信息用于表示难迁移图片判别结果和难迁移来源之间的误差。
具体地,服务器使用误差平方和损失函数计算易迁移图片中每个像素点的判别结果与易迁移图片对应的易迁移来源之间的误差,得到易迁移来源损失信息,同时使用误差平方和损失函数计算难迁移图片中存在的像素点的判别结果与难迁移图片对应的难迁移来源之间的误差,得到难迁移来源损失信息。
步骤1114,基于易迁移来源损失信息和难迁移来源损失信息更新第一特征生成网络和第二初始特征判别网络,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,更新后的第一图片识别模型中更新后的第一特征生成网络对输入图片提取的特征包括同类型差异图片对应的当前共性特征。
具体地,服务器使用易迁移来源损失信息和难迁移来源损失信息更新第一特征生成网络和第二初始特征判别网络中的网络参数,得到更新后的第一特征生成网络和更新后的第二初始特征判别网络,基于更新后的第一特征生成网络、更新后的第二初始特征判别网络和更新后的第一图片识别网络得到第二中间图片识别模型。在一个实施例中,也可以根据更新后的第一特征生成网络和更新后的第一图片识别网络得到第二中间图片识别模型,然后服务器可以将该第二中间图片识别模型和更新后的第一初始特征判别网络作为初始图片识别模型继续进行迭代训练。
在一个具体的实施例中,如图12所示,为初始化的第二细胞核图片识别模型的结构示意图,其中,低层特征提取网络中可以是图5中网络参数更新的低层特征提取网络,细胞核分割和分类网络可以是图5中网络参数更新的细胞核分割和分类网络,第二域适应迁移学习网络为初始化的特征判别网络。具体地,使用目标域易迁移图片和对应的更新标签以及目标域难迁移图片和对应的中心像素点的标签来训练初始化的第二细胞核图片识别模型,得到更新后的低层特征提取网络,更新后的细胞核分割和分类网络和更新后的第二域适应迁移学习网络,然后将更新后的低层特征提取网络,更新后的细胞核分割和分类网络作为初始化细胞核图片识别模型中的低层特征提取网络和细胞核分割和分类网络进行循环迭代,直到训练完成时,根据训练完成的低层特征提取网络和训练完成的细胞核分割和分类网络得到训练完成的细胞核图片识别模型。
在一个实施例中,步骤1114,基于易迁移来源损失信息和难迁移来源损失信息更新第一特征生成网络和第二初始特征判别网络,包括:
计算易迁移来源损失信息的易迁移来源梯度,并计算难迁移来源损失信息的难迁移来源梯度,基于易迁移来源梯度和难迁移来源梯度反向更新第二初始特征判别网络;计算易迁移来源梯度的易迁移取反梯度,并计算难迁移来源梯度的难迁移取反梯度,基于易迁移取反梯度和难迁移取反梯度反向更新第一特征生成网络。
其中,易迁移来源梯度是指易迁移图片对应的易迁移来源损失信息的梯度。难迁移来源梯度是指难迁移图片对应的难迁移来源损失信息的梯度。易迁移取反梯是对易迁移来源梯度进行取反计算得到的。难迁移取反梯度是指对难迁移来源梯度进行取反计算得到的。
具体地,服务器使用梯度下降算法对第二初始特征判别网络进行更新,然后使用第二初始特征判别网络更新时使用的梯度进行反转后再对第一特征生成网络进行更新,即进行对抗学习,从而使得训练完成的特征提取网络对输入图片提取的特征包括不同域数据的共性特征和同域数据中差异图片的共性特征,从而能够进一步提升训练得到的图片识别模型对图片识别的准确性。
在一个实施例中,第一图片识别网络包括第一分割网络和第一分类网络;
如图13所示,步骤1106,将易迁移图片特征和难迁移图片特征输入到第一图片识别网络中进行图片识别,得到易迁移图片识别结果和难迁移图片识别结果,包括:
步骤1302,将易迁移图片特征分别输入第一分割网络和第一分类网络中,得到易迁移图片分割结果和易迁移图片分类结果。
步骤1304,将难迁移图片特征分别输入第一分割网络和第一分类网络中,得到难迁移图片分割结果和难迁移图片分类结果。
其中,第一分割网络是指第一图片识别网络中对图片中的对象进行分割的网络,第一分类网络是指第一图片识别网络中对图片中的对象进行分类的网络,第一分割网络是网络参数更新的初始分割网络,第二分类网络是网络参数更新的初始分类网络。易迁移图片分割结果是指对易迁移图片中的对象进行分割得到的结果,易迁移图片分类结果是指对易迁移图片中的对象进行分类得到的结果。难迁移图片分割结果是指对难迁移图片中的对象进行分割得到的结果,难迁移图片分类结果是指对难迁移图片中的对象进行分类得到的结果。
具体地,第一图片识别网络包括两个任务网络,即第一分割网络和第一分类网络,使用第一分割网络和第一分类网络对易迁移图片特征和难迁移图片特征进行处理,得到输出的易迁移图片对应的分割结果和分类结果以及难迁移图片对应的分割结果和分类结果。
如图13所示,步骤1108,基于易迁移图片识别结果和易迁移图片对应的更新标签计算易迁移图片损失信息,并基于难迁移图片识别结果和难迁移图片对应的部分像素点训练标签计算难迁移图片损失信息,包括:
步骤1306,基于易迁移图片分割结果和易迁移图片对应的更新标签中的分割标签计算易迁移分割损失信息,并基于易迁移图片分类结果和易迁移图片对应的更新标签中的类别标签计算易迁移图片分类损失信息,基于易迁移图片分割损失信息和易迁移图片分类损失信息得到易迁移图片损失信息。
具体地,服务器使用有监督损失函数计算易迁移图片分割结果和对应的更新标签中的分割标签计算分割误差,得到易迁移分割损失信息。同时服务器使用有监督损失函数计算易迁移图片分类结果和类别标签之间的误差,得到易迁移图片分类损失信息,服务器可以使用易迁移分割损失信息反向更新第一分割网络中的网络参数,并使用易迁移图片分类损失信息反向更新第一分类网络中的网络参数。
步骤1308,基于难迁移图片分割结果和难迁移图片对应的部分像素点训练标签中的分割标签计算难迁移图片分割损失信息,并基于难迁移图片分类结果和难迁移图片对应的部分像素点训练标签中的类别标签计算难迁移图片分类损失信息,基于难迁移图片分割损失信息和难迁移图片分类损失信息得到难迁移图片损失信息。
具体地,服务器使用弱监督损失函数计算难迁移图片中存在分割标签的像素点与对应的分割结果之间的误差,得到难迁移图片分割损失信息,同时使用弱监督损失函数计算难迁移图片中存在分类标签的像素点与对应的分类结果之间的误差,得到难迁移图片分类损失信息。此时服务器可以使用难迁移图片分割损失信息更新第一分割网络的网络参数并使用难迁移图片分类损失信息更新第一分类网络的网络参数。
在上述实施例中,通过对难迁移图片进行弱监督分类和分割训练,并对易迁移图片进行有监督分类和分割训练,能够提高训练得到的图片识别模型的分类和分割的准确性。
在一个实施例中,第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
如图14所示,步骤1302,将易迁移图片特征输入第一分割网络中,得到易迁移图片分割结果,包括:
步骤1402,将易迁移图片特征输入当前二分类子网络中进行二分类识别,得到易迁移分割对象类别和易迁移图片非分割对象类别。
步骤1404,并将易迁移图片特征输入当前分割距离预测子网络进行分割距离预测,得到易迁移图片分割距离。
其中,第一分割网络中也可以包括当前二分类子网络和当前分割距离预测子网络,即通过当前二分类子网络和当前分割距离预测子网络的输出结果来对图片中的对象进行分割。当前二分类子网络是指第一分割网络中进行二分类识别的网络,该第一二分类字网络可以是更新网络参数的二分类子网络。当前分割距离预测子网络是指第一分割网络中用于预测分割对象边界到中心的水平方向距离和垂直方向距离的网络。易迁移分割对象类别是指易迁移图片中分割对象的类别。易迁移图片非分割对象类别是指易迁移图片中分割对象以外的类别。易迁移图片分割距离是指预测得到的易迁移图片中分割对象的边界到中心的距离,包括水平方向距离和垂直方向距离。
具体地,服务器易迁移图片特征分别输入到当前二分类子网络和当前分割距离预测子网络中进行任务处理,得到输出的易迁移分割对象类别和易迁移图片非分割对象类别以及易迁移图片分割距离。
步骤1406,基于易迁移图片分割距离、易迁移分割对象类别和易迁移图片非分割对象类别对易迁移图片进行分割,得到易迁移图片分割结果。
具体地,服务器使用易迁移分割对象类别和易迁移图片非分割对象类别对易迁移图片进行分割时,同时使用易迁移图片分割距离进行修正,得到易迁移图片分割结果。
在一个实施例中,第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
如图15所示,步骤1305,将难迁移图片特征输入第一分割网络中,得到难迁移图片分割结果,包括:
步骤1502,将难迁移图片特征输入当前二分类子网络中进行二分类识别,得到难迁移分割对象类别和难迁移图片非分割对象类别。
步骤1504,并将难迁移图片特征输入当前分割距离预测子网络进行分割距离预测,得到难迁移图片分割距离。
其中,难迁移分割对象类别是指难迁移图片中的分割对象的类别。难迁移图片非分割对象类别是指难迁移图片中除分割对象类别以外的类别。难迁移图片分割距离是指对难迁移图片中分割对象的边界到中心的距离,包括水平方向距离和垂直方向距离。
具体地,服务器同时对难迁移图片进行分割和分类,即服务器将难迁移图片特征分别输入当前二分类子网络和当前分割距离预测子网络中进行任务处理,得到输出的难迁移分割对象类别和难迁移图片非分割对象类别以及难迁移图片分割距离。
步骤1506,基于难迁移图片分割距离、难迁移分割对象类别和难迁移图片非分割对象类别对难迁移图片进行分割,得到难迁移图片分割结果。
其中,难迁移图片分割结果是指对难迁移图片中的对象进行分割后得到的结果,包括分割对象区域和非分割对象区域。
具体地,服务器使用难迁移分割对象类别和难迁移图片非分割对象类别对难迁移图片进行分割时,同时使用难迁移图片分割距离进行修正,得到难迁移图片分割结果。
在上述实施例中,通过使用二分类子网络和分割距离预测子网络对图片中的对象进行分割,即通过二分类子网络的结果进行分割时使用分割距离预测子网络进行修正,防止对重合的对象只使用二分类结果进行分割导致无法确定分割线的问题,可以提高对重合的对象进行分割的准确性。
在一个实施例中,将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类,包括:
获取第一中间图片识别模型对应的第一模型损失信息,并获取第二中间图片识别模型对应的第二模型损失信息,计算第一模型损失信息和第二模型损失信息的和,得到目标模型损失信息。将第二中间图片识别模型作为初始图片处理模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到目标模型损失信息符合预设损失条件时,基于目标模型损失信息符合预设损失条件的第二中间图片识别模型得到目标图片识别模型。
其中,第一模型损失信息是指更新得到第一中间图片识别模型时使用的损失信息。在一个实施例中,该第一模型损失信息可以是更新初始分类网络使用的损失信息与更新初始分割网络使用的损失信息的总和。第二模型损失信息是指更新得到第二中间图片识别模型时使用的损失信息。在一个实施例中,该地热模型损失信息可以是更新第一分类网络使用的损失信息与更新第一分割网络使用的损失信息的总和。目标模型损失信息是指目标图片识别模型对应的损失信息。预设损失条件是指预先设置好的目标模型损失信息的阈值。
具体地,服务器不断循环迭代第一中间图片识别模型和第二中间图片识别模型,直到当目标模型损失信息小于预设损失信息的阈值时,迭代结束。此时,可以将第二中间图片识别模型作为目标图片识别模型。在一个实施例中,当迭代结束时,可以基于迭代结束时第二中间图片识别模型中的特征提取网络和图片识别网络得到目标图片识别模型。
在上述实施例中,通过不断循环迭代第一中间图片识别模型和第二中间图片识别模型,直到当目标模型损失信息小于预设损失信息的阈值时,得到目标图片识别模型。可以使得到的目标图片识别模型提高泛化性能。
在一个实施例中,可以获取到目标第一中间图片识别模型,使用目标第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中的各个像素点对应的识别结果,将各个像素点对应的识别结果作为预测结果,然后使用第二类型图片对应的训练标签修正预测结果,得到第二类型图片对应的更新标签。然后将第二类型图片划分为易迁移图片和难迁移图片。此时,服务器根据目标第一中间图片识别模型中的目标第一特征生成网络、目标第一图片识别网络以及网络参数初始化的特征判别网络来建立初始化的第二中间图片识别模型,其中,目标特征生成网络和目标图片识别网络都是训练完成的网络。即初始化的第二中间图片识别模型共享了目标第一中间图片识别模型中的参数。此时使用易迁移图片和对应的更新标签,以及难迁移图片和对应的训练标签对初始化的第二中间图片识别模型进行训练,即不断进行迭代更新,直到第二中间图片识别模型输出的结果对应的损失值小于预设阈值时,得到训练完成的第二中间图片识别模型,即得到目标第二中间图片识别模型,将目标第二中间图片识别模型中的目标第二特征提取网络和目标第二图片识别网络作为目标图片识别模型。
在一个具体的实施例中,如图16所示,提供一种图片识别模型训练方法,具体包括以下步骤:
步骤一:使用已有标签训练细胞核分割和分类模型,同时通过对抗学习,学习具有域不变性的特征,得到第一中间图片识别模型,具体来说:
服务器获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签,获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签。将第一类型图片和第二类型图片输入初始特征生成网络中进行特征提取,得到初始第一类型图片特征和初始第二类型图片特征,将初始第一类型图片特征和初始第二类型图片特征输入第一初始特征判别网络中进行图片来源判别,得到初始第一类型图片判别结果和初始第二类型图片判别结果。
服务器将初始第一类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第一类型图片分割结果和初始第一类型图片分类结果,将初始第二类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第二类型图片分割结果和初始第二类型图片分类结果。基于初始第一类型图片分割结果和第一类型图片各个像素点训练标签中的分割标签计算初始第一类型图片分割损失信息,并基于初始第一类型图片分类结果和第一类型图片各个像素点训练标签中的类别标签计算初始第一类型图片分类损失信息,基于初始第一类型图片分割损失信息和初始第一类型图片分类损失信息得到初始第一类型图片损失信息。
服务器基于初始第二类型图片分割结果和第二类型图片部分像素点训练标签中的分割标签计算初始第二类型图片分割损失信息,并基于初始第二类型图片分类结果和第二类型图片部分像素点训练标签中的类别标签计算初始第二类型图片分类损失信息,基于初始第二类型图片分割损失信息和初始第二类型图片分类损失信息得到初始第二类型图片损失信息。基于初始第一类型图片损失信息和初始第二类型图片损失信息反向更新初始特征生成网络和初始图片识别网络,基于初始第一类型图片判别结果和源域数据对应的源域来源计算第一来源损失信息,并基于初始第二类型图片判别结果和目标域数据对应的目标域来源计算第二来源损失信息。
服务器计算第一来源损失信息的第一来源梯度,并计算第二来源损失信息的第二来源梯度,基于第一来源梯度和第二来源梯度反向更新第一初始特征判别网络;计算第一来源梯度的第一取反梯度,并计算第二来源梯度的第二取反梯度,基于第一取反梯度和第二取反梯度反向更新初始特征生成网络,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型,更新后的初始图片识别模型中更新后的初始特征生成网络对输入图片提取的特征包括不同域数据对应的当前共性特征。
步骤二:步骤二:生成目标域的预测标签,用点标签修正预测标签的类别,具体来说:
基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签。
步骤三:在目标域利用预测标签进行微调训练,并使用点标签来匹配易迁移图片和难迁移图片,得到第二中间图片处理模型,具体来说:
服务器基于部分像素点对应的训练标签和预测标签对目标域数据中的第二类型图片进行划分,得到易迁移图片和难迁移图片,基于部分像素点对应的训练标签对预测标签中相同像素点对应的预测标签进行修正,得到相同像素点对应的修正标签,基于预测标签和相同像素点对应的修正标签得到第二类型图片中各个像素点对应的更新标签。将易迁移图片和难迁移图片输入第一特征提取网络中进行特征提取,得到易迁移图片特征和难迁移图片特征,将易迁移图片特征和难迁移图片特征输入到第二初始特征判别网络中进行来源判别,得到易迁移图片判别结果和难迁移图片判别结果,将易迁移图片特征和难迁移图片特征输入到第一图片识别网络中进行图片识别,得到易迁移图片识别结果和难迁移图片识别结果。
服务器基于易迁移图片识别结果和易迁移图片对应的更新标签计算易迁移图片损失信息,并基于难迁移图片识别结果和难迁移图片对应的部分像素点训练标签计算难迁移图片损失信息,基于易迁移图片损失信息和难迁移图片损失信息更新第一特征提取网络和第一图片识别网络。
服务器基于易迁移图片判别结果和易迁移图片对应的易迁移来源计算易迁移来源损失信息,并基于难迁移图片判别结果和难迁移图片对应的难迁移来源计算难迁移来源损失信息,基于易迁移来源损失信息和难迁移来源损失信息更新第一特征生成网络和第二初始特征判别网络,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,更新后的第一图片识别模型中更新后的第一特征生成网络对输入图片提取的特征包括同类型差异图片对应的当前共性特征。
然后服务器将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
在上述实施例中,训练得到的目标图片识别模型可以对输入的图片提取的特征包括不同域数据的共性特征和同域数据中差异图片的共性特征,然后使用共性特征进行图片识别,可以提高图片识别的准确性。
在一个实施例中,如图17所示,提供了一种图片识别方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该图片识别方法也可以应用到终端中,在本实施中,包括以下步骤:
步骤1702,获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
步骤1704,目标图片识别模型输出待识别图片对应的识别结果。
其中,待识别图片是指需要进行识别的图片,该图片可以是不同域中的数据。
具体地,服务器预先基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的目标图片识别模型,然后将目标图片识别模型部署使用。即服务器获取到待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型通过提取到的特征包括共性特征,对提取到的特征进行识别,得到识别结果,然后将识别结果输出,得到待识别图片对应的识别结果,可以将待识别图片对应的识别结果进行展示,比如,用户对图片进行识别时,可以将识别结果发送到用户终端中进行展示。其中,识别结果根据图片识别任务的不同而不同,如果是类型识别任务,识别结果可以是待识别图片中对象的类别,如果是分割任务,识别结果可以是待识别图片对应的分割对象区域。
在一个实施例中,目标图片识别模型可以是使用上述图片识别模型训练方法的任意一种实施例训练得到的,然后得到的目标图片识别模型进行部署使用。
在上述实施例中,通过使用能够提取共性特征的目标图片识别模型对待识别图片进行识别,提高了对图片识别的准确性。
本申请还提供一种应用场景,该应用场景应用上述的图片识别模型训练方法。具体地,该图片识别模型训练方法在该应用场景的应用如下:
在对苏木精-依红染色(H&E染色)的细胞核图片进行识别时,先训练得到图片识别模型,具体来说:
可以使用CoNSep数据库中的细胞核图片数据作为源域数据,然后使用PanNuke数据库中的细胞核图片作为目标域数据,即CoNSep数据库中是具有标签的结直肠癌的细胞核图片,即每个像素点都有对应的训练标签。如图18所示,其中,图18中(a)为细胞核图片简略示意图,即是没有标签的原图,图18中(b)为CoNSep数据库中的细胞核图片简略示意图,其中,黑色填充的细胞核是同一类细胞核,直线填充的细胞核是另一类细胞核。图18中(c)为PanNuke数据库中的细胞核图片简略示意图,其中,只有细胞核中心点有对应的标签,中心点为黑色圆标注的未同一类型,中心点为三角形标注的为同一类型,其他细胞核中未存在标签。然后使用CoNSep数据库和PanNuke数据库进行训练,得到细胞核图片分割和分类模型。然后对训练得到的细胞核图片分割和分类模型在PanNuke数据库中进行迁移测试。其中,对细胞核图片分割和分类模型中的细胞核分割任务进行测试。得到的测试结果如表1所示。
表1细胞核分割任务测试评价表
方法 |
Dice |
AJI |
DQ |
SQ |
PQ |
现有技术1 |
0.576 |
0.387 |
0.461 |
0.657 |
0.342 |
现有技术2 |
0.740 |
0.516 |
0.602 |
0.753 |
0.460 |
本申请 |
0.743 |
0.534 |
0.628 |
0.741 |
0.471 |
其中,评价指标使用Dice系数(一种集合相似度度量函数)、Aggregated JaccardIndex(AJI,综合雅卡尔指数)、Detection Quality(DQ,检测质量)、Segmentation Quality(SQ,分割质量)以及Panoptic Quality(PQ,全景分割质量)来进行评价。从中明显可以看出本申请的细胞核图片分割和分类模型能够提高对图片的分割质量。
然后对细胞核图片分割和分类模型中的细胞核分类任务进行测试。得到的测试结果如表2所示。
表2细胞核分类任务测试评价表
方法 |
癌细胞和上皮细胞 |
炎症细胞 |
结缔组织细胞 |
凋亡细胞 |
现有技术1 |
0.259 |
0.232 |
0.273 |
0.018 |
现有技术2 |
0.381 |
0.277 |
0.233 |
0.019 |
本申请 |
0.462 |
0.290 |
0.300 |
0.023 |
其中,使用F1分数作为评价指标。从表2中可以看出,明显的本申请中的细胞核图片分割和分类模型能够提高了对图片分类的精确性。在一个具体的实施例中,如图19所示,使用不同的现有技术和本申请为对同一图片进行识别得到的识别结果简略示意图,其中,图19中A为真实类别的细胞核图片,B为现有技术1的识别结果图片,C为现有技术2的识别结果图片,D为本申请中测试得到的结果图片,其中,直线填充的细胞核是类型识别错误的细胞核,明显的可以看出,本申请中识别的准确性较高。
应该理解的是,虽然图2-17中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-17中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图20所示,提供了一种图片识别模型训练装置2000,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:源数据获取模块2002、目标数据获取模块2004、第一学习模块2006、预测模块2008、第二学习模块2010和迭代训练模块2012,其中:
源数据获取模块2002,用于获取源域数据,源域数据包括第一类型图片,第一类型图片的各个像素点存在对应的训练标签;
目标数据获取模块2004,用于获取目标域数据,目标数据包括第二类型图片,第二类型图片的部分像素点存在对应的训练标签;
第一学习模块2006,用于基于源域数据和目标域数据对初始图片识别模型进行对抗学习,使得学习得到的第一中间图片识别模型对输入图片提取的特征包括不同域数据对应的当前共性特征;
预测模块2008,用于基于第一中间图片识别模型对第二类型图片进行识别,得到第二类型图片中各个像素点对应的识别结果,将各个像素点对应的识别结果作为第二类型图片中各个像素点对应的预测标签;
第二学习模块2010,用于基于第二类型图片、部分像素点对应的训练标签和预测标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型;
迭代训练模块2012,用于将第二中间图片识别模型作为初始图片识别模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到训练完成时,基于训练完成的第二中间图片处理模型得到目标图片识别模型,目标图片识别模型用于对各种类型图片中的对象进行分割和分类。
在一个实施例中,第一学习模块2006,包括:
第一识别单元,用于将第一类型图片和第二类型图片输入初始图片识别模型中,初始图片识别模型使用第一类型图片和第二类型图片分别提取图片特征,基于图片特征进行图片来源判别和图片识别,得到图片判别结果和图片识别结果;
第一更新单元,用于基于图片判别结果、图片识别结果、第一类型图片的各个像素点对应的训练标签和第二类型图片的部分像素点对应的训练标签对初始图片识别模型进行参数更新,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型。
在一个实施例中,初始图片识别模型包括初始特征生成网络、第一初始特征判别网络和初始图片识别网络;
第一识别单元还用于将第一类型图片和第二类型图片输入初始特征生成网络中进行特征提取,得到初始第一类型图片特征和初始第二类型图片特征;将初始第一类型图片特征和初始第二类型图片特征输入第一初始特征判别网络中进行图片来源判别,得到初始第一类型图片判别结果和初始第二类型图片判别结果;将初始第一类型图片特征和初始第二类型图片特征输入初始图片识别网络中,得到初始第一类型图片识别结果和初始第二类型图片识别结果;
第一更新单元还用于基于初始第一类型图片识别结果和各个像素点对应的训练标签计算初始第一类型图片损失信息,基于初始第二类型图片识别结果和部分像素点对应的训练标签计算初始第二类型图片损失信息;基于初始第一类型图片损失信息和初始第二类型图片损失信息反向更新初始特征生成网络和初始图片识别网络;基于初始第一类型图片判别结果和源域数据对应的源域来源计算第一来源损失信息,并基于初始第二类型图片判别结果和目标域数据对应的目标域来源计算第二来源损失信息;使用第一来源损失信息和第二来源损失信息更新初始特征生成网络和第一初始特征判别网络,得到更新后的初始图片识别模型,基于更新后的初始图片识别模型得到第一中间图片识别模型,更新后的初始图片识别模型中更新后的初始特征生成网络对输入图片提取的特征包括不同域数据对应的当前共性特征。
在一个实施例中,第一更新单元还用于计算第一来源损失信息的第一来源梯度,并计算第二来源损失信息的第二来源梯度,基于第一来源梯度和第二来源梯度反向更新第一初始特征判别网络;计算第一来源梯度的第一取反梯度,并计算第二来源梯度的第二取反梯度,基于第一取反梯度和第二取反梯度反向更新初始特征生成网络。
在一个实施例中,初始图片识别网络包括初始分割网络和初始分类网络;
第一识别单元还用于将初始第一类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第一类型图片分割结果和初始第一类型图片分类结果;将初始第二类型图片特征分别输入初始分割网络和初始分类网络中,得到初始第二类型图片分割结果和初始第二类型图片分类结果;
第一更新单元还用于基于初始第一类型图片分割结果和第一类型图片各个像素点训练标签中的分割标签计算初始第一类型图片分割损失信息,并基于初始第一类型图片分类结果和第一类型图片各个像素点训练标签中的类别标签计算初始第一类型图片分类损失信息,基于初始第一类型图片分割损失信息和初始第一类型图片分类损失信息得到初始第一类型图片损失信息;基于初始第二类型图片分割结果和第二类型图片部分像素点训练标签中的分割标签计算初始第二类型图片分割损失信息,并基于初始第二类型图片分类结果和第二类型图片部分像素点训练标签中的类别标签计算初始第二类型图片分类损失信息,基于初始第二类型图片分割损失信息和初始第二类型图片分类损失信息得到初始第二类型图片损失信息。
在一个实施例中,初始分割网络包括二分类子网络和分割距离预测子网络;
第一识别单元还用于将初始第一类型图片特征输入二分类子网络中进行二分类识别,得到第一分割对象类别和第一非分割对象类别;将初始第一类型图片特征输入分割距离预测子网络进行分割距离预测,得到初始第一类型图片分割距离;基于初始第一类型图片分割距离、第一分割对象类别和第一非分割对象类别对初始第一类型图片进行分割,得到初始第一类型图片分割结果。
在一个实施例中,初始分割网络包括二分类子网络和分割距离预测子网络;
第一识别单元还用于:将初始第二类型图片特征输入二分类子网络中进行二分类识别,得到第二分割对象类别和第二非分割对象类别;并将初始第二类型图片特征输入分割距离预测子网络进行分割距离预测,得到初始第二类型图片分割距离;基于初始第二类型图片分割距离、第二分割对象类别和第二非分割对象类别对初始第二类型图片进行分割,得到初始第二类型图片分割结果。
在一个实施例中,第二学习模块2010,还包括:
划分单元,用于基于部分像素点对应的训练标签和预测标签对目标域数据中的第二类型图片进行划分,得到易迁移图片和难迁移图片;
修正单元,用于基于部分像素点对应的训练标签对预测标签中相同像素点对应的预测标签进行修正,得到相同像素点对应的修正标签,基于预测标签和相同像素点对应的修正标签得到第二类型图片中各个像素点对应的更新标签;
第二模型得到单元,用于基于易迁移图片和对应的更新标签与难迁移图片和对应的部分像素点训练标签对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型。
在一个实施例中,划分单元还用于基于部分像素点对应的训练标签和预测标签计算第二类型图片对应的召回率,当召回率超过预设召回率阈值时,第二类型图片为易迁移图片,当召回率未超过预设召回率阈值时,第二类型图片为难迁移图片。
在一个实施例中,第二模型得到单元,包括:
第二识别子单元,用于将易迁移图片和难迁移图片输入第一中间图片识别模型中,第一中间图片识别模型对易迁移图片和难迁移图片进行特征提取,得到易迁移图片特征和难迁移图片特征,基于易迁移图片特征和难迁移图片进行迁移图片来源判别和迁移图片识别,得到迁移图片判别结果和迁移图片识别结果;
第二更新子单元,用于基于迁移图片判别结果、迁移图片识别结果、易迁移图片对应的更新标签和难迁移图片对应的部分像素点训练标签对第一中间图片识别模型进行参数更新,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,第二中间图片识别模型对输入图片提取的特征包括同类型差异图片对应的当前共性特征。
在一个实施例中,第一中间图片识别模型包括第一特征提取网络、第二初始特征判别网络和第一图片识别网络;
第二识别子单元还用于将易迁移图片和难迁移图片输入第一特征提取网络中进行特征提取,得到易迁移图片特征和难迁移图片特征;将易迁移图片特征和难迁移图片特征输入到第二初始特征判别网络中进行来源判别,得到易迁移图片判别结果和难迁移图片判别结果;将易迁移图片特征和难迁移图片特征输入到第一图片识别网络中进行图片识别,得到易迁移图片识别结果和难迁移图片识别结果;
第二更新子单元,还用于基于易迁移图片识别结果和易迁移图片对应的更新标签计算易迁移图片损失信息,并基于难迁移图片识别结果和难迁移图片对应的部分像素点训练标签计算难迁移图片损失信息;基于易迁移图片损失信息和难迁移图片损失信息更新第一特征提取网络和第一图片识别网络;基于易迁移图片判别结果和易迁移图片对应的易迁移来源计算易迁移来源损失信息,并基于难迁移图片判别结果和难迁移图片对应的难迁移来源计算难迁移来源损失信息;基于易迁移来源损失信息和难迁移来源损失信息更新第一特征生成网络和第二初始特征判别网络,得到更新后的第一中间图片识别模型,基于更新后的第一中间图片识别模型得到第二中间图片识别模型,更新后的第一图片识别模型中更新后的第一特征生成网络对输入图片提取的特征包括同类型差异图片对应的当前共性特征。
在一个实施例中,第二更新子单元,还用于计算易迁移来源损失信息的易迁移来源梯度,并计算难迁移来源损失信息的难迁移来源梯度,基于易迁移来源梯度和难迁移来源梯度反向更新第二初始特征判别网络;计算易迁移来源梯度的易迁移取反梯度,并计算难迁移来源梯度的难迁移取反梯度,基于易迁移取反梯度和难迁移取反梯度反向更新第一特征生成网络。
在一个实施例中,第一图片识别网络包括第一分割网络和第一分类网络;
第二识别子单元还用于将易迁移图片特征分别输入第一分割网络和第一分类网络中,得到易迁移图片分割结果和易迁移图片分类结果;将难迁移图片特征分别输入第一分割网络和第一分类网络中,得到难迁移图片分割结果和难迁移图片分类结果;
第二更新子单元,还用于基于易迁移图片分割结果和易迁移图片对应的更新标签中的分割标签计算易迁移分割损失信息,并基于易迁移图片分类结果和易迁移图片对应的更新标签中的类别标签计算易迁移图片分类损失信息,基于易迁移图片分割损失信息和易迁移图片分类损失信息得到易迁移图片损失信息;基于难迁移图片分割结果和难迁移图片对应的部分像素点训练标签中的分割标签计算难迁移图片分割损失信息,并基于难迁移图片分类结果和难迁移图片对应的部分像素点训练标签中的类别标签计算难迁移图片分类损失信息,基于难迁移图片分割损失信息和难迁移图片分类损失信息得到难迁移图片损失信息。
在一个实施例中,第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
第二识别子单元还用于将易迁移图片特征输入当前二分类子网络中进行二分类识别,得到易迁移分割对象类别和易迁移图片非分割对象类别;并将易迁移图片特征输入当前分割距离预测子网络进行分割距离预测,得到易迁移图片分割距离;基于易迁移图片分割距离、易迁移分割对象类别和易迁移图片非分割对象类别对易迁移图片进行分割,得到易迁移图片分割结果。
在一个实施例中,第一分割网络包括当前二分类子网络和当前分割距离预测子网络;
第二识别子单元还用于将难迁移图片特征输入当前二分类子网络中进行二分类识别,得到难迁移分割对象类别和难迁移图片非分割对象类别;并将难迁移图片特征输入当前分割距离预测子网络进行分割距离预测,得到难迁移图片分割距离;基于难迁移图片分割距离、难迁移分割对象类别和难迁移图片非分割对象类别对难迁移图片进行分割,得到难迁移图片分割结果。
在一个实施例中,迭代训练模块2012还用于获取第一中间图片识别模型对应的第一模型损失信息,并获取第二中间图片识别模型对应的第二模型损失信息,计算第一模型损失信息和第二模型损失信息的和,得到目标模型损失信息;将第二中间图片识别模型作为初始图片处理模型,并返回基于源域数据和目标域数据对初始图片识别模型进行对抗学习的步骤迭代执行,直到目标模型损失信息符合预设损失条件时,基于目标模型损失信息符合预设损失条件的第二中间图片识别模型得到目标图片识别模型。
在一个实施例中,如图21所示,提供了一种图片识别装置2100,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图片输入模块2102和结果输出模块2104,其中:
图片输入模块2102,用于获取待识别图片,将待识别图片输入到目标图片识别模型中进行识别,目标图片识别模型是基于源域数据和目标域数据对初始图片识别模型进行对抗学习,得到第一中间图片识别模型,使用第一中间图片识别模型对目标域数据进行图片识别,得到预测结果,根据预测结果和目标域数据对第一中间图片识别模型进行对抗学习,得到第二中间图片识别模型,将第二中间图片识别模型作为初始图片识别模型进行迭代训练,基于训练完成的第二中间图片处理模型得到的;
结果输出模块2104,用于目标图片识别模型输出待识别图片对应的识别结果。
关于图片识别模型训练装置和图片识别装置的具体限定可以参见上文中对于图片识别模型训练方法和图片识别方法的限定,在此不再赘述。上述图片识别模型训练装置和图片识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图22所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储源域数据和目标域数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图片识别模型训练方法或者和图片识别方法。
本领域技术人员可以理解,图22中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。