CN114943868B - 图像处理方法、装置、存储介质及处理器 - Google Patents
图像处理方法、装置、存储介质及处理器 Download PDFInfo
- Publication number
- CN114943868B CN114943868B CN202110603777.7A CN202110603777A CN114943868B CN 114943868 B CN114943868 B CN 114943868B CN 202110603777 A CN202110603777 A CN 202110603777A CN 114943868 B CN114943868 B CN 114943868B
- Authority
- CN
- China
- Prior art keywords
- model
- result
- image set
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 261
- 238000012545 processing Methods 0.000 claims abstract description 165
- 238000012549 training Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 86
- 230000004927 fusion Effects 0.000 claims description 91
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 22
- 230000001629 suppression Effects 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理方法、装置、存储介质及处理器。其中,该方法包括:获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象。本发明解决了由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低的技术问题。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、存储介质及处理器。
背景技术
传统的目标检测、图像识别方法在模型训练阶段需要大量的标注数据,然而数据的标注时间和人力成本非常高。现有技术中通常采用以下几种方法进行数据标注,第一种常见的方法就是基于伪标注的半监督检测方案,在该方案中,会先用传统的目标检测方法或者已有的模型对没有标注的图片进行预测,将预测的结果作为无标注图片的标注信息,用于检测模型的训练。但是该方法在训练的过程中无法对伪标注进行更新,也就是错误的预测无法在训练的过程中自我修正,因此不仅容易过拟合也无法检测出更多的物体。第二种常见的半监督检测方式是基于自训练的方法,也就是将模型上一次的输出结果作为下一次训练模型时的数据标注。但是这种方案容易陷入过拟合,模型很难从无标注的数据中进一步挖掘出有效的信息。第三种常见的半监督检测方法是对模型的输入图片进行多种数据增强方法,如翻转、切割、放大缩小等,然后分别输入到模型,并约束模型的输出的结果的一致性。但该方案受限于图像变换种类的限制,变换的类型不够充分,因此对模型的提升效果有限,由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法、装置、存储介质及处理器,以至少解决由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低的技术问题。
根据本发明实施例的一个方面,提供了一种图像处理方法,包括:获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象。
进一步地,在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,该方法还包括:将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;根据检测模型和第一预测结果,对第一模型进行更新处理;将更新处理后的第一模型作为目标网络模型。
进一步地,根据检测模型和第一预测结果,对第一模型进行更新处理包括:根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;将第一预测结果和第二预测结果进行融合处理,得到融合结果;采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
进一步地,将第一预测结果和第二预测结果进行融合处理,得到融合结果包括:采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
进一步地,检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,该方法还包括:采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;将预测结果一和预测结果三进行融合处理,得到融合结果一;将预测结果三和预测结果四进行融合处理,得到融合结果二。
进一步地,根据融合结果和第三预测结果,对第一模型中的参数进行更新调整包括:采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
根据本发明实施例的另一个方面,还提供了一种图像处理方法,包括:云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;云服务器返回识别结果至客户端。
根据本发明实施例的另一个方面,还提供了一种图像处理方法,包括:在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;在用户界面显示基于识别结果确定出的目标图像中的目标对象。
根据本发明实施例的另一个方面,还提供了一种图像处理方法,包括:接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;响应图像处理指令,利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从医疗影像提取目标对象。
根据本发明实施例的另一个方面,还提供了一种图像处理方法,包括:接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象;响应图像处理指令,利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一获取单元,用于获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;第一输出单元,用于利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;第一确定单元,用于基于识别结果,确定目标图像中的目标对象。
进一步地,该装置还包括:第一处理单元,用于在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;第一训练单元,用于采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;第二处理单元,用于采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;第一更新单元,用于根据检测模型和第一预测结果,对第一模型进行更新处理;第二确定单元,将更新处理后的第一模型作为目标网络模型。
进一步地,第一更新单元包括:第一处理模块,用于根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;第二处理模块,用于采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;第三处理模块,用于将第一预测结果和第二预测结果进行融合处理,得到融合结果;第四处理模块,用于采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;第一调整模块,用于根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
进一步地,第三处理模块包括:第一处理子模块,用于采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,第二处理子模块,用于将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
进一步地,检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,装置还包括:第三处理单元,用于采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;第四处理单元,用于采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;第五处理单元,用于将预测结果一和预测结果三进行融合处理,得到融合结果一;第六处理单元,用于将预测结果三和预测结果四进行融合处理,得到融合结果二。
进一步地,第一调整模块包括:处理子模块,用于采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;第一计算子模块,用于采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;第二计算子模块,用于采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第一接收单元,用于云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;第八处理单元,用于云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;第一返回单元,用于云服务器返回识别结果至客户端。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第二获取单元,用于在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;第一显示单元,用于在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;第三确定单元,用于在用户界面显示基于识别结果确定出的目标图像中的目标对象。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第二接收单元,用于接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;第一识别单元,用于响应图像处理指令,利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;第一提取单元,用于基于识别结果,从医疗影像提取目标对象。
根据本发明实施例的另一方面,还提供了一种图像处理装置,包括:第三接收单元,用于接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象;第二识别单元,用于响应图像处理指令,利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;第二提取单元,用于基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
在本发明实施例中,采用目标网络模型对目标图像进行识别处理的方式,通过获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象,解决了由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低的技术问题。通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,提升了训练出的目标网络模型的准确率,从而保证了后续采用目标网络模型对图像识别的准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的计算机终端的硬件结构框图;
图2是根据本发明实施例一提供的图像处理方法的流程图;
图3是根据本发明实施例一提供的图像处理方法的示意图;
图4是根据本发明实施例二提供的图像处理方法的流程图;
图5是根据本发明实施例三提供的图像处理方法的流程图;
图6是根据本发明实施例四提供的图像处理方法的流程图;
图7是根据本发明实施例五提供的图像处理方法的流程图;
图8是根据本发明实施例六提供的图像处理装置的示意图;以及
图9是根据本发明实施例的可选的计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
识别处理:从图片中识别出物体的类别和位置。
半监督学习:图像集中的样本一部分有标注,一部分没有标注。
自训练:将模型上一次输出的结果作为下一次训练的标注数据。
互训练:将一个模型的上一次输出结果作为另一个模型下一次训练的标注数据。
实施例1
根据本发明实施例,提供了一种图像处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的图像处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的图像处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的图像处理方法。图2是根据本发明实施例一的图像处理方法的流程图,包括以下步骤:
步骤S201,获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;
步骤S202,利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
步骤S203,基于识别结果,确定目标图像中的目标对象。
通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,提升了训练出的目标网络模型的准确率,从而保证了后续采用目标网络模型对图像识别的准确度。
可选地,在本申请实施例一提供的图像处理方法中,在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,该方法还包括:将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;根据检测模型和第一预测结果,对第一模型进行更新处理;将更新处理后的第一模型作为目标网络模型。
在上述方案中,第一图像集中包括:多张已有数据标注的图像,第二图像集中包括:多张未数据标注的图像。采用已有数据标注的图像集中的图像对网络模型进行训练,得到包括多个不同结构的结果输出网络,然后再采用每种结构的结果输出网络对无数据标注的图像进行预测处理,不同结构的结果输出网络输出不同的预测结构。将输出的不同的预测结构作为第一预测结果。上述的第一模型可以理解为待训练的模型(学生模型),采用检测模型和第一预测结果,对第一模型进行更新处理,得到目标网络模型。从而保证了目标网络模型的准确性。
可选地,在本申请实施例一提供的图像处理方法中,根据检测模型和第一预测结果,对第一模型进行更新处理包括:根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;将第一预测结果和第二预测结果进行融合处理,得到融合结果;采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
上述的第一模型可以理解为待训练的模型(学生模型),上述的第二模型可以理解为教师模型,也即,教师模型是学生模型的指数滑动平均。
通过上述方案,具体介绍了如何根据检测模型和第一预测结果对第一模型进行更新处理,从而保证了对更新第一模型的准确性,从而保证了得到的目标网络模型的准确性。
可选地,在本申请实施例一提供的图像处理方法中,将第一预测结果和第二预测结果进行融合处理,得到融合结果包括:采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
在模型的训练过程中,每一轮训练都会对学生模型和教师模型的参数进行更新,更新前后的模型对同一张图片的预测结果会有所不同。随着训练的进行,预测的结果的准确性会逐步提高,因此需要对伪标注(例如,第一预测结果和第二预测结果)进行更新,另一方面,为了维持伪标注在更新前后的一致性,从而保证目标网络模型能够熟练,使用非极大值抑制算法来融合模型更新前后对同一张图片的两次预测结果。从而提高伪标注的质量的同时,保持伪标注的稳定性。利用非极大值抑制算法对不同迭代周期的预测伪标注(例如,第一预测结果和第二预测结果)进行融合,在训练目标网络模型的过程中逐步改善伪标注的质量。伪标注融合除了使用非极大值抑制算法之外还可以直接的将多次预测结果简单拼接,通过将伪标注(例如,第一预测结果和第二预测结果)进行拼接处理,也可以训练目标网络模型的过程中逐步改善伪标注的质量,从而保证训练处的目标网络模型的准确率。
可选地,在本申请实施例一提供的图像处理方法中,检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,该方法还包括:采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;将预测结果一和预测结果三进行融合处理,得到融合结果一;将预测结果三和预测结果四进行融合处理,得到融合结果二。
上述采用不同的网络结构的结果输出网络对无标注的图像进行处理,其实是一种互训练的过程,互训练使用其中一个网络的预测结果作为另一个网络的无标注图片的标注进行训练,从而避免陷入过拟合的问题,而且不同的网络能够关注图片中不同的部位,从而提供互补性的信息。
如图3所示,教师模型(对应上述的第二模型)包括主干网络、特征金字塔网络和区域生成网络,采用教师模型中教师感兴趣区域预测模块2(对应第二模型中的第二结构的结果输出网络)对未数据标注的图像进行预测,得到最新检测结果2(对应上述的预测结果四),采用教师模型中教师感兴趣区域预测模块1(对应第二模型中的第一结构的结果输出网络)对未数据标注的图像进行预测,得到最新检测结果1(对应上述的预测结果三),将最新检测结果1和历史伪标注1(对应上述的预测结果一)进行融合处理,得到融合结果一。将最新检测结果2和历史伪标注2(对应上述的预测结果二)进行融合处理,得到融合结果二。
融合结果一和融合结果二用于和第一模型对第二图像集的预测结果计算损失函数,从而基于计算结果指导第一模型的参数调整。
可选地,在本申请实施例一提供的图像处理方法中,根据融合结果和第三预测结果,对第一模型中的参数进行更新调整包括:采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
如图3所示,学生模型(对应上述的第一模型)包括主干网络、特征金字塔网络和区域生成网络,采用学生模型中学生感兴趣区域预测模块1(对应第一模型中的第一结构的结果输出网络)对未数据标注的图像进行预测,得到最新检测结果3(对应上述的预测结果五),采用学生模型中学生感兴趣区域预测模块2(对应第一模型中的第二结构的结果输出网络)对未数据标注的图像进行预测,得到最新检测结果4(对应上述的预测结果六),将最新检测结果3和历史伪标注2进行损失函数计算,以对学生模型中学生感兴趣区域预测模块1的参数进行更新调整。将最新检测结果4和历史伪标注1进行损失函数计算,以对学生模型中学生感兴趣区域预测模块2的参数进行更新调整。
综上,利用各个模型中的两个子网络进行互训练,挖掘互补的信息,同时使用均值教师预测无标注数据的伪标注,从而避免了半监督学习中在无标注样本容易过拟合的现象。从而提升了训练出的目标网络模型的准确率,从而保证了后续采用目标网络模型对图像识别的准确度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
本申请提供了如图4所示的图像处理方法。图4是根据本发明实施例二的图像处理方法的流程图。包括以下步骤:
步骤S401,云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;
步骤S402,云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
步骤S403,云服务器返回识别结果至客户端。
在云服务器中,通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,训练出目标网络模型,提升了训练出的目标网络模型的准确率,从而在客户端上传的待识别的目标图像至服务器中,可以快速的基于训练出的目标网络模型识别目标图像中的目标对象,得到识别结果,返回识别结果至客户端,从而实现了采用目标网络模型对图像识别的准确度和效率。
需要说明的是,在服务器中训练目标网络模型的步骤,与实施例一中的方法相同,再此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例3
在上述实施例一提供的运行环境下,本申请提供了如图5所示的图像处理方法。图5是根据本发明实施例三的图像处理方法的流程图。包括以下步骤:
步骤S501,在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;
步骤S502,在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
步骤S503,在用户界面显示基于识别结果确定出的目标图像中的目标对象。
通过上述步骤,对目标图像的识别过程进行了显示,在对目标图像识别的过程中,通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,训练出目标网络模型,提升了训练出的目标网络模型的准确率,从而在客户端上传的待识别的目标图像至服务器中,可以快速基于训练出目标网络模型识别目标图像中的目标对象,得到识别结果,将识别结果在用户界面显示,在实现了采用目标网络模型对图像识别的准确度和效率的同时,保证了用户查看识别结果的效率。
需要说明的是,在本申请实施例中训练目标网络模型的步骤,与实施例一中的方法相同,再此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例4
在上述实施例一提供的运行环境下,本申请提供了如图6所示的图像处理方法。图6是根据本发明实施例四的图像处理方法的流程图。包括以下步骤:
步骤S601,接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;
步骤S602,响应图像处理指令,利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
步骤S603,基于识别结果,从医疗影像提取目标对象。
通过上述步骤,对医疗影像进行病灶识别处理,在对目标图像识别的过程中,通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,训练出目标网络模型,提升了训练出的目标网络模型的准确率,从而在对医疗影像识别目标对象(病灶)的过程中,可以快速得到识别结果,从而从医疗影像提取出目标对象,实现了采用目标网络模型对医疗图像识别的准确度。
需要说明的是,在本申请实施例中训练目标网络模型的步骤,与实施例一中的方法相同,再此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例5
在上述实施例一提供的运行环境下,本申请提供了如图7所示的图像处理方法。图7是根据本发明实施例五的图像处理方法的流程图。包括以下步骤:
步骤S701,接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象。
步骤S702,响应图像处理指令,利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型。
步骤S703,基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
上述的推荐任务,可以是指将产品图像中的目标对象推荐给目标用户的任务,
通过上述步骤,对产品图像进行了识别处理,在对目标图像识别的过程中,通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,训练出目标网络模型,提升了训练出的目标网络模型的准确率,从而在对产品图像识别目标对象的过程中,可以快速准确的得到识别结果,从产品图像提取出目标对象,并将执行推荐目标对象的任务。
需要说明的是,在本申请实施例中训练目标网络模型的步骤,与实施例一中的方法相同,再此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例6
根据本发明实施例,还提供了一种用于实施上述图像处理的装置,如图8所示,该装置包括:第一获取单元801、第一输出单元802、第一确定单元803。
具体的,第一获取单元801,用于获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;
第一输出单元802,用于利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
第一确定单元803,用于基于识别结果,确定目标图像中的目标对象。
通过上述的第一获取单元801、第一输出单元802、第一确定单元803,解决了由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低的技术问题。通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,提升了训练出的目标网络模型的准确率,从而保证了后续采用目标网络模型对图像识别的准确度。
可选地,在本实施例六提供的图像处理装置中,该装置还包括:第一处理单元,用于在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;第一训练单元,用于采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;第二处理单元,用于采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;第一更新单元,用于根据检测模型和第一预测结果,对第一模型进行更新处理;第二确定单元,将更新处理后的第一模型作为目标网络模型。
可选地,在本实施例六提供的图像处理装置中,第一更新单元包括:第一处理模块,用于根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;第二处理模块,用于采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;第三处理模块,用于将第一预测结果和第二预测结果进行融合处理,得到融合结果;第四处理模块,用于采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;第一调整模块,用于根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
可选地,在本实施例六提供的图像处理装置中,第三处理模块包括:第一处理子模块,用于采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,第二处理子模块,用于将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
可选地,在本实施例六提供的图像处理装置中,检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,装置还包括:第三处理单元,用于采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;第四处理单元,用于采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;第五处理单元,用于将预测结果一和预测结果三进行融合处理,得到融合结果一;第六处理单元,用于将预测结果三和预测结果四进行融合处理,得到融合结果二。
可选地,在本实施例六提供的图像处理装置中,第一调整模块包括:处理子模块,用于采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;第一计算子模块,用于采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;第二计算子模块,用于采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
此处需要说明的是,上述第一获取单元801、第一输出单元802、第一确定单元803对应于实施例1中的步骤S201至步骤S203,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
实施例7
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;根据检测模型和第一预测结果,对第一模型进行更新处理;将更新处理后的第一模型作为目标网络模型。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;将第一预测结果和第二预测结果进行融合处理,得到融合结果;采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;将预测结果一和预测结果三进行融合处理,得到融合结果一;将预测结果三和预测结果四进行融合处理,得到融合结果二。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;云服务器返回识别结果至客户端。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;在用户界面显示基于识别结果确定出的目标图像中的目标对象。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从医疗影像提取目标对象。
上述计算机终端还可以执行应用程序的图像处理方法中以下步骤的程序代码:接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象;利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
可选地,图9是根据本发明实施例的一种计算机终端的结构框图。如图9所示,该计算机终端可以包括:一个或多个(图9中仅示出一个)处理器、存储器。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的图像处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象。
可选的,上述处理器还可以执行如下步骤的程序代码:在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;根据检测模型和第一预测结果,对第一模型进行更新处理;将更新处理后的第一模型作为目标网络模型。
可选的,上述处理器还可以执行如下步骤的程序代码:根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;将第一预测结果和第二预测结果进行融合处理,得到融合结果;采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
可选的,上述处理器还可以执行如下步骤的程序代码:采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
可选的,上述处理器还可以执行如下步骤的程序代码:检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;将预测结果一和预测结果三进行融合处理,得到融合结果一;将预测结果三和预测结果四进行融合处理,得到融合结果二。
可选的,上述处理器还可以执行如下步骤的程序代码:采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
可选的,上述处理器还可以执行如下步骤的程序代码:云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;云服务器返回识别结果至客户端。
可选的,上述处理器还可以执行如下步骤的程序代码:在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;在用户界面显示基于识别结果确定出的目标图像中的目标对象。
可选的,上述处理器还可以执行如下步骤的程序代码:接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从医疗影像提取目标对象。
可选的,上述处理器还可以执行如下步骤的程序代码:接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象;利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
采用本发明实施例,提供了一种图像处理方法的方案。通过采用目标网络模型对目标图像进行识别处理的方式,通过获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象,解决了由于训练出的模型的准确率较低,导致对后续对图像的识别准确度较低的技术问题。通过采用半监督学习(采用已有数据标注的图像集对网络模型进行训练得到包括多个不同结构的结果输出网络的检测模型)以及互训练(基于检测模型对无数据标注的图像集的预测结果对第一模型进行更新处理后得到的目标网络模型)的方式,提升了训练出的目标网络模型的准确率,从而保证了后续采用目标网络模型对图像识别的准确度。
本领域普通技术人员可以理解,图9所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的图像处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取待识别的目标图像,其中,目标图像中包括待识别的目标对象;利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,确定目标图像中的目标对象。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;根据检测模型和第一预测结果,对第一模型进行更新处理;将更新处理后的第一模型作为目标网络模型。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;将第一预测结果和第二预测结果进行融合处理,得到融合结果;采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;根据融合结果和第三预测结果,对第一模型中的参数进行更新调整。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:采用非极大值抑制算法将第一预测结果和第二预测结果进行融合处理,得到融合结果;或者,将第一预测结果和第二预测结果进行拼接处理,得到融合结果。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:检测模型中包括两个不同结构的结果输出网络,第一模型中包括两个不同结构的结果输出网络,第二模型中包括两个不同结构的结果输出网络,采用检测模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果一;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果二;采用第二模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果三;采用第二模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果四;将预测结果一和预测结果三进行融合处理,得到融合结果一;将预测结果三和预测结果四进行融合处理,得到融合结果二。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:采用第一模型中的第一结构的结果输出网络对第二图像集进行预测处理,得到预测结果五;采用检测模型中的第二结构的结果输出网络对第二图像集进行预测处理,得到预测结果六;采用融合结果一和预测结果六进行损失函数计算,以对第一模型中的第二结构的结果输出网络的参数进行更新调整;采用融合结果二和预测结果五进行损失函数计算,以对第一模型中的第一结构的结果输出网络的参数进行更新调整。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:云服务器接收来自于客户端上传的待识别的目标图像,其中,目标图像中包括待识别的目标对象;云服务器利用目标网络模型对目标图像进行识别处理,输出识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;云服务器返回识别结果至客户端。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:在用户界面显示获取到的待识别的目标图像,其中,目标图像中包括待识别的目标对象;在用户界面显示利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;在用户界面显示基于识别结果确定出的目标图像中的目标对象。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:接收用于病灶识别任务的图像处理指令,其中,图像处理指令包括:待处理的目标图像,其中,目标图像为包括了待识别的目标对象的医疗影像;利用目标网络模型对目标图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从医疗影像提取目标对象。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:接收用于检测任务的图像处理指令,其中,图像处理指令包括:待搜索的产品图像,其中,产品图像为包括了待推荐的目标对象;利用目标网络模型对产品图像进行识别处理得到的识别结果,其中,目标网络模型是基于检测模型以及检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;基于识别结果,从产品图像中提取目标对象,并执行推荐任务。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取待识别的目标图像,其中,所述目标图像中包括待识别的目标对象;
利用目标网络模型对所述目标图像进行识别处理,输出识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
基于所述识别结果,确定所述目标图像中的目标对象;
其中,所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
在利用目标网络模型对所述目标图像进行识别处理,输出识别结果之前,所述方法还包括:
将用于模型训练的图像集分为第一图像集和第二图像集,其中,所述第一图像集为已有数据标注的图像集,所述第二图像集为无数据标注的图像集;
采用所述第一图像集对网络模型进行训练,得到检测模型,其中,所述检测模型中包括多个不同结构的结果输出网络;
采用所述检测模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第一预测结果;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理包括:
根据所述检测模型对第一模型和第二模型中的参数进行初始化处理,其中,所述第二模型是第一模型的指数滑动平均;
采用所述第二模型中的多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果;
采用所述第一模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第三预测结果;
根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整;
将更新处理后的第一模型作为所述目标网络模型。
2.根据权利要求1所述的方法,其特征在于,将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果包括:
采用非极大值抑制算法将所述第一预测结果和所述第二预测结果进行融合处理,得到所述融合结果;或者,
将所述第一预测结果和所述第二预测结果进行拼接处理,得到所述融合结果。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采用所述检测模型中的第一结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果一;采用所述检测模型中的第二结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果二;
采用所述第二模型中的第一结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果三;采用所述第二模型中的第二结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果四;
将所述预测结果一和所述预测结果三进行融合处理,得到融合结果一;
将所述预测结果三和所述预测结果四进行融合处理,得到融合结果二。
4.根据权利要求3所述的方法,其特征在于,根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整包括:
采用所述第一模型中的第一结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果五;采用所述检测模型中的第二结构的结果输出网络对所述第二图像集进行预测处理,得到预测结果六;
采用所述融合结果一和所述预测结果六进行损失函数计算,以对所述第一模型中的第二结构的结果输出网络的参数进行更新调整;
采用所述融合结果二和所述预测结果五进行损失函数计算,以对所述第一模型中的第一结构的结果输出网络的参数进行更新调整。
5.一种图像处理方法,其特征在于,包括:
云服务器接收来自于客户端上传的待识别的目标图像,其中,所述目标图像中包括待识别的目标对象;
所述云服务器利用目标网络模型对所述目标图像进行识别处理,输出识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
所述云服务器返回所述识别结果至所述客户端;
其中,所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
在利用目标网络模型对所述目标图像进行识别处理,输出识别结果之前,所述方法还包括:
将用于模型训练的图像集分为第一图像集和第二图像集,其中,所述第一图像集为已有数据标注的图像集,所述第二图像集为无数据标注的图像集;
采用所述第一图像集对网络模型进行训练,得到检测模型,其中,所述检测模型中包括多个不同结构的结果输出网络;
采用所述检测模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第一预测结果;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理包括:
根据所述检测模型对第一模型和第二模型中的参数进行初始化处理,其中,所述第二模型是第一模型的指数滑动平均;
采用所述第二模型中的多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果;
采用所述第一模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第三预测结果;
根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整;
将更新处理后的第一模型作为所述目标网络模型。
6.一种图像处理方法,其特征在于,包括:
在用户界面显示获取到的待识别的目标图像,其中,所述目标图像中包括待识别的目标对象;
在所述用户界面显示利用目标网络模型对所述目标图像进行识别处理得到的识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
在所述用户界面显示基于所述识别结果确定出的所述目标图像中的目标对象;
其中,所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
在利用目标网络模型对所述目标图像进行识别处理,输出识别结果之前,所述方法还包括:
将用于模型训练的图像集分为第一图像集和第二图像集,其中,所述第一图像集为已有数据标注的图像集,所述第二图像集为无数据标注的图像集;
采用所述第一图像集对网络模型进行训练,得到检测模型,其中,所述检测模型中包括多个不同结构的结果输出网络;
采用所述检测模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第一预测结果;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理包括:
根据所述检测模型对第一模型和第二模型中的参数进行初始化处理,其中,所述第二模型是第一模型的指数滑动平均;
采用所述第二模型中的多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果;
采用所述第一模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第三预测结果;
根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整;
将更新处理后的第一模型作为所述目标网络模型。
7.一种图像处理方法,其特征在于,包括:
接收用于病灶识别任务的图像处理指令,其中,所述图像处理指令包括:待处理的目标图像,其中,所述目标图像为包括了待识别的目标对象的医疗影像;
响应所述图像处理指令,利用目标网络模型对所述目标图像进行识别处理得到的识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
基于识别结果,从所述医疗影像提取所述目标对象;
所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
在利用目标网络模型对所述目标图像进行识别处理,输出识别结果之前,所述方法还包括:
将用于模型训练的图像集分为第一图像集和第二图像集,其中,所述第一图像集为已有数据标注的图像集,所述第二图像集为无数据标注的图像集;
采用所述第一图像集对网络模型进行训练,得到检测模型,其中,所述检测模型中包括多个不同结构的结果输出网络;
采用所述检测模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第一预测结果;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理包括:
根据所述检测模型对第一模型和第二模型中的参数进行初始化处理,其中,所述第二模型是第一模型的指数滑动平均;
采用所述第二模型中的多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果;
采用所述第一模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第三预测结果;
根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整;
将更新处理后的第一模型作为所述目标网络模型。
8.一种图像处理方法,其特征在于,包括:
接收用于检测任务的图像处理指令,其中,所述图像处理指令包括:待搜索的产品图像,其中,所述产品图像为包括了待推荐的目标对象;
响应所述图像处理指令,利用目标网络模型对所述产品图像进行识别处理得到的识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
基于识别结果,从所述产品图像中提取所述目标对象,并执行推荐任务;
其中,所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,所述方法还包括:
将用于模型训练的图像集分为第一图像集和第二图像集,其中,所述第一图像集为已有数据标注的图像集,所述第二图像集为无数据标注的图像集;
采用所述第一图像集对网络模型进行训练,得到检测模型,其中,所述检测模型中包括多个不同结构的结果输出网络;
采用所述检测模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第一预测结果;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理;
根据所述检测模型和所述第一预测结果,对第一模型进行更新处理包括:
根据所述检测模型对第一模型和第二模型中的参数进行初始化处理,其中,所述第二模型是第一模型的指数滑动平均;
采用所述第二模型中的多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第二预测结果;
将所述第一预测结果和所述第二预测结果进行融合处理,得到融合结果;
采用所述第一模型中多个不同结构的结果输出网络对所述第二图像集进行预测处理,得到第三预测结果;
根据所述融合结果和所述第三预测结果,对所述第一模型中的参数进行更新调整;
将更新处理后的第一模型作为所述目标网络模型。
9.一种图像处理装置,其特征在于,包括:
第一获取单元,用于获取待识别的目标图像,其中,所述目标图像中包括待识别的目标对象;
第一输出单元,用于利用目标网络模型对所述目标图像进行识别处理,输出识别结果,其中,所述目标网络模型是基于检测模型以及所述检测模型对无数据标注的图像集的预测结果,对第一模型进行更新处理后得到的,其中,所述检测模型是采用已有数据标注的图像集对网络模型进行训练,得到的包括多个不同结构的结果输出网络的模型;
第一确定单元,用于基于所述识别结果,确定所述目标图像中的目标对象;
其中,所述检测模型中包括多个不同结构的结果输出网络,所述第一模型中包括多个不同结构的结果输出网络,第二模型中包括多个不同结构的结果输出网络;
该装置还包括:第一处理单元,用于在利用目标网络模型对目标图像进行识别处理,输出识别结果之前,将用于模型训练的图像集分为第一图像集和第二图像集,其中,第一图像集为已有数据标注的图像集,第二图像集为无数据标注的图像集;第一训练单元,用于采用第一图像集对网络模型进行训练,得到检测模型,其中,检测模型中包括多个不同结构的结果输出网络;第二处理单元,用于采用检测模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第一预测结果;第一更新单元,用于根据检测模型和第一预测结果,对第一模型进行更新处理;
进一步地,第一更新单元包括:第一处理模块,用于根据检测模型对第一模型和第二模型中的参数进行初始化处理,其中,第二模型是第一模型的指数滑动平均;第二处理模块,用于采用第二模型中的多个不同结构的结果输出网络对第二图像集进行预测处理,得到第二预测结果;第三处理模块,用于将第一预测结果和第二预测结果进行融合处理,得到融合结果;第四处理模块,用于采用第一模型中多个不同结构的结果输出网络对第二图像集进行预测处理,得到第三预测结果;第一调整模块,用于根据融合结果和第三预测结果,对第一模型中的参数进行更新调整;第二确定单元,将更新处理后的第一模型作为目标网络模型。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的图像处理方法。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至8中任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603777.7A CN114943868B (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、存储介质及处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603777.7A CN114943868B (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、存储介质及处理器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114943868A CN114943868A (zh) | 2022-08-26 |
CN114943868B true CN114943868B (zh) | 2023-11-14 |
Family
ID=82905726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110603777.7A Active CN114943868B (zh) | 2021-05-31 | 2021-05-31 | 图像处理方法、装置、存储介质及处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114943868B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018157862A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 车型的识别方法和装置、存储介质、电子装置 |
CN111814816A (zh) * | 2019-04-12 | 2020-10-23 | 北京京东尚科信息技术有限公司 | 一种目标检测方法、装置及其存储介质 |
CN111858943A (zh) * | 2020-07-30 | 2020-10-30 | 杭州网易云音乐科技有限公司 | 音乐情感识别方法及装置、存储介质和电子设备 |
CN112001364A (zh) * | 2020-09-22 | 2020-11-27 | 上海商汤临港智能科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
CN112052818A (zh) * | 2020-09-15 | 2020-12-08 | 浙江智慧视频安防创新中心有限公司 | 无监督域适应的行人检测方法、系统及存储介质 |
CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
CN112508975A (zh) * | 2020-12-21 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种图像识别方法、装置、设备及存储介质 |
-
2021
- 2021-05-31 CN CN202110603777.7A patent/CN114943868B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018157862A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 车型的识别方法和装置、存储介质、电子装置 |
CN111814816A (zh) * | 2019-04-12 | 2020-10-23 | 北京京东尚科信息技术有限公司 | 一种目标检测方法、装置及其存储介质 |
CN111858943A (zh) * | 2020-07-30 | 2020-10-30 | 杭州网易云音乐科技有限公司 | 音乐情感识别方法及装置、存储介质和电子设备 |
CN112183577A (zh) * | 2020-08-31 | 2021-01-05 | 华为技术有限公司 | 一种半监督学习模型的训练方法、图像处理方法及设备 |
CN112052818A (zh) * | 2020-09-15 | 2020-12-08 | 浙江智慧视频安防创新中心有限公司 | 无监督域适应的行人检测方法、系统及存储介质 |
CN112001364A (zh) * | 2020-09-22 | 2020-11-27 | 上海商汤临港智能科技有限公司 | 图像识别方法及装置、电子设备和存储介质 |
CN112508975A (zh) * | 2020-12-21 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种图像识别方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
Mean teachers are better role models:weight-averaged consistency targets improve semi-supervised deep learning results;Antti Tarcainen;arXiv;全文 * |
基于平均教师模型的弱标记半监督声音事件检测;王金甲;杨倩;崔琳;纪绍男;;复旦学报(自然科学版)(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114943868A (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111144944A (zh) | 一种广告投放方法、装置、电子设备及存储介质 | |
CN108121943B (zh) | 基于图片的判别方法及装置和计算设备 | |
CN110610169B (zh) | 图片标注方法和装置、存储介质及电子装置 | |
CN113689937A (zh) | 图像标注方法、存储介质和处理器 | |
CN113191478A (zh) | 神经网络模型的训练方法、装置和系统 | |
CN116091344A (zh) | 图像修复方法、装置、非易失性存储介质及电子设备 | |
CN117237755A (zh) | 目标检测模型训练方法及装置、图像检测方法及装置 | |
CN114782769A (zh) | 训练样本的生成方法、装置、系统及目标对象的检测方法 | |
CN114943868B (zh) | 图像处理方法、装置、存储介质及处理器 | |
CN110837562B (zh) | 案件的处理方法、装置和系统 | |
CN114359676A (zh) | 训练目标检测模型和构建样本集的方法、装置及存储介质 | |
CN114970761A (zh) | 模型训练方法及装置、系统 | |
CN115100417A (zh) | 图像处理方法、存储介质以及电子设备 | |
CN114266723A (zh) | 图像处理方法、装置、存储介质以及计算机终端 | |
CN114943273A (zh) | 数据处理方法、存储介质以及计算机终端 | |
CN110929866B (zh) | 神经网络模型的训练方法、装置和系统 | |
CN112801296B (zh) | 数据处理方法、装置和系统 | |
CN110969701B (zh) | 对房屋进行建模的方法、装置以及存储介质 | |
CN112749150B (zh) | 一种错误标注数据的识别方法、装置和介质 | |
CN114399643A (zh) | 图像处理方法、存储介质以及计算机终端 | |
CN113568735A (zh) | 数据处理方法及系统 | |
CN116128954B (zh) | 一种基于生成网络的商品布局识别方法、装置及存储介质 | |
CN117993504A (zh) | 数据集的构建方法、语言模型的确定方法和信息处理方法 | |
CN113836982A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
CN114077613A (zh) | 数据处理方法、装置、存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240311 Address after: # 03-06, Lai Zan Da Building 1, 51 Belarusian Road, Singapore Patentee after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore Patentee before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |