CN113989843A - 图像处理方法、装置、电子设备及机器可读存储介质 - Google Patents

图像处理方法、装置、电子设备及机器可读存储介质 Download PDF

Info

Publication number
CN113989843A
CN113989843A CN202111266166.4A CN202111266166A CN113989843A CN 113989843 A CN113989843 A CN 113989843A CN 202111266166 A CN202111266166 A CN 202111266166A CN 113989843 A CN113989843 A CN 113989843A
Authority
CN
China
Prior art keywords
output data
model
confidence
training
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111266166.4A
Other languages
English (en)
Inventor
亓先军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202111266166.4A priority Critical patent/CN113989843A/zh
Publication of CN113989843A publication Critical patent/CN113989843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像处理方法、装置、电子设备及机器可读存储介质,该方法包括:依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。该方法可以实现模型自动进化,并通过依据进化模型进行图像处理,优化处理效果。

Description

图像处理方法、装置、电子设备及机器可读存储介质
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种图像处理方法、装置、电子设备及机器可读存储介质。
背景技术
随着智能视频监控、自动驾驶、人脸检测等应用的快速兴起,计算机视觉领域也因巨大的市场需求而受到广泛关注,并且机器学习/深度学习方法使得目标检测的效率和精度得到保证。而且近年来,硬件设备的计算能力的快速提升,互联网时代快速积累的庞大的数据量,以及优化训练方法的改进,极大地推动了机器学习、深度学习的发展,也使得计算机视觉领域有突破性的进展。
然而,在真实应用场景中,通常涵盖所有类型的目标物情况的数据量非常庞大,从而使得数据的清洗和标注成本非常高。
发明内容
有鉴于此,本申请提供一种图像处理方法、装置、电子设备及机器可读存储介质。
根据本申请实施例的第一方面,提供一种图像处理方法,包括:
依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;
对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;
依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;
依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。
根据本申请实施例的第二方面,提供一种图像处理装置,包括:
预训练单元,用于依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;
筛选单元,用于对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;
扩展单元,用于依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;
优化训练单元,用于依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。
根据本申请实施例的第三方面,提供一种电子设备,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现第一方面提供的方法。
根据本申请实施例的第四方面,提供一种机器可读存储介质,该机器可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现第一方面提供的方法。
根据本申请实施例的第五方面,提供一种计算机程序,该计算机程序存储于机器可读存储介质,并且当处理器执行该计算机程序时,促使处理器执行第一方面提供的方法。
本申请实施例的图像处理方法,通过依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型,并依据输出数据的置信度以及准确性,对业务应用端利用初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据,依据目标输出数据对初始训练集进行扩展,实现了训练集的自动扩展,降低了对初始训练集中样本数量的要求,进而,通过依据扩展后的训练集对初始模型进行优化训练,得到进化模型,实现了模型自动进化,并通过依据进化模型进行图像处理,优化处理效果。
附图说明
图1是本申请实施例提供的一种图像处理方法的流程示意图;
图2是本申请实施例提供的一种模型优化训练的具体实现流程示意图;
图3是本申请实施例提供的一种图像处理装置的结构示意图;
图4是本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1,为本申请实施例提供的一种图像处理方法的流程示意图,如图1所示,该图像处理方法可以包括:
步骤S100、依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型。
示例性的,初始训练集中训练样本的数量可以较少,例如,初始训练集中训练样本的数量可以为几百个,甚至几十个。
示例性的,初始训练集中的训练样本可以通过人工标注方式进行标注,或者,通过使用辅助标注系统进行标注。
示例性的,预设训练系统可以为任意机器学习训练系统,其可以包括但不限于Tensorflow、Pytorch、Caffe等训练框架。
步骤S110、对业务应用端利用初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据。
示例性的,业务应用端可以包括加载步骤S100中训练得到的初始模型的应用系统,其可以为任意机器学习推理系统,可以包括但不限于推理服务器、手机、嵌入式设备等。
本申请实施例中,业务应用端可以加载步骤S100中训练得到的初始模型,并利用该初始模型进行图像处理。
示例性的,对于业务应用端利用初始模型进行图像处理得到的输出数据,可以利用一定的规则进行筛选,挑选出有益于模型泛化能力提升的数据。
其中,泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力,即在原有的数据集上添加新的数据集,通过训练输出一个合理的结果。机器学习的目的是学到隐含在数据背后的规律,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。
示例性的,可以依据输出数据的置信度以及准确性对输出数据进行筛选,得到置信度以及准确性满足预设条件的输出数据(本文中称为目标输出数据)。
步骤S120、依据目标输出数据对初始训练集进行扩展,得到扩展后的训练集。
本申请实施例中,当通过上述步骤中描述的方式得到了目标输出数据时,可以依据目标输出数据对初始训练集进行扩展,得到扩展后的训练集,从而,可以在初始训练集中训练样本的样本数量较小的情况下,自动实现训练集的扩展,进而通过依据扩展后的训练集对模型进行优化训练,实现模型进化。
步骤S130、依据扩展后的训练集,对初始模型进行优化训练,得到进化模型,以使业务应用端依据进化模型进行图像处理。
本申请实施例中,可以依据扩展后的训练集,对初始模型进行优化训练,得到进化模型,并将进化模型加载至业务应用端,由业务应用端依据进化模型进行图像处理,优化图像处理效果。
可见,在图1所示方法流程中,通过依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型,并依据输出数据的置信度以及准确性,对业务应用端利用初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据,依据目标输出数据对初始训练集进行扩展,实现了训练集的自动扩展,降低了对初始训练集中样本数量的要求,进而,通过依据扩展后的训练集对初始模型进行优化训练,得到进化模型,实现了模型自动进化,并通过依据进化模型进行图像处理,优化处理效果。
在一些实施例中,步骤S110中,对业务应用端利用初始模型进行图像处理得到的输出数据进行筛选,可以包括:
依据输出数据针对目标物的置信度,将输出数据划分为至少两个分组;该至少两个分组至少包括对应的置信度依次降低的第一分组和第二分组;
依据分组对输出数据进行筛选,得到目标输出数据;不同分组的数据筛选策略不完全相同。
示例性的,考虑到置信度过低的输出数据中错误数据的比例可能会比较高,通过算法可能无法自动去除错误数据,即无法自动实现数据筛选;而置信度过高的输出数据对模型提升效果较差,且会降低训练效率;而置信度非过高过低的输出数据可以通过算法实现自动筛选。
即不同置信度的输出数据,可以采用不同的数据筛选策略进行筛选。
相应地,对于业务应用端利用初始模型图像处理得到的输出数据,可以依据输出数据针对目标物(检测目标)的置信度,将输出数据划分为至少两个分组,并依据分组对输出数据进行筛选,得到目标输出数据。
示例性的,该至少两个分组至少可以包括置信度依次降低的第一分组和第二分组。
示例性的,不同分组的数据筛选策略不完全相同。
例如,当输出数据依据针对目标物的置信度,被划分为第一分组和第二分组时,第一分组的数据筛选策略和第二分组的数据筛选策略可以不同。
在一个示例中,上述依据分组对所述输出数据进行筛选,可以包括:
利用跟踪算法,依据第一分组中的输出数据的前后关联输出数据,对第一分组中的输出数据进行错误数据排除,得到第一分组中的目标输出数据。
示例性的,考虑到采集时间连续的多帧图像中,例如,连续多帧视频帧,目标物在该多帧图像中通常是连续的。
举例来说,以针对视频数据的行人检测为例,连续的视频帧中同一行人的位置通常也是连续的。
相应地,对于针对目标物的置信度较高的输出数据分组,如上述第一分组,可以利用跟踪算法,依据第一分组中的输出数据的前后关联输出数据,对第一分组中的输出数据进行错误数据排除,得到第一分组中的目标输出数据。
示例性的,对于第一分组中的任一输出数据,该输出数据所属视频帧的在前连续N1帧对应的输出数据,以及,在后连续N2帧对应的输出数据,即为第一分组中该输出数据的前后关联输出数据。
示例性的,N1≥1,N2≥1。
例如,假设在某一视频帧中检测到某一行人,但是该视频帧前一帧和后一帧中均未检测到该行人,则可以确定该视频帧检出的行人为误检测。
在一个示例中,上述依据分组对所述输出数据进行筛选,可以包括:
将第二分组中的输出数据在预设审核界面中展示,并依据接收到的审核指令,对第二分组中的输出数据进行错误数据排除,得到第二分组中的目标输出数据。
示例性的,考虑到针对目标物的置信度过低的输出数据分组,该分组内的输出数据中的错误数据比例会比较高,通过算法去除错误数据的难度比较大。但是该部分输出数据中的正确数据可以极大地提高模型进化效率。
因而,对于针对目标物的置信度比较低的输出数据分组,如上述第二分组,可以将第二分组中的输出数据在预设审核界面中展示,由相关人员通过人工的方式进行筛选,并依据接收到的审核指令,对第二分组中的输出数据进行错误数据排除,得到第二分组中的目标输出数据。
在一个示例中,上述依据输出数据针对目标物的置信度,将输出数据划分为至少两个分组之前,还可以包括:
依据输出数据针对目标物的置信度,对针对目标物的置信度高于预设置信度阈值的输出数据进行过滤;其中,该预设置信度阈值大于等于第一分组对应的置信度上限。
上述依据输出数据针对目标物的置信度,将输出数据划分为至少两个分组,可以包括:
依据过滤后的输出数据针对目标物的置信度,将过滤后的输出数据划分为至少两个分组。
示例性的,考虑到针对目标物的置信度过高的输出数据,其对模型提升的效果较差,而且会降低训练效率,可以不用于训练集扩展。
相应地,对于业务应用端利用初始模型进行图像处理得到的输出数据,可以依据输出数据针对目标物的置信度,对针对目标物的置信度高于预设置信度阈值的输出数据进行过滤,并依据过滤后的输出数据针对目标物的置信度,将过滤后的输出数据划分为至少两个分组。
需要说明的是,对于针对目标物的置信度过高的输出数据,也可以通过分组的方式将其划分为一个分组(如称为第三分组),对于第三分组中的输出数据,其数据筛选策略可以为全部删除。
即可以依据输出数据针对目标物的置信度,将输出数据划分为三个分组,置信度高于第一置信度阈值(可以根据实际需求设定)的划分至第三分组,置信度低于第二置信度阈值(可以根据实际需求设定)的划分至第二分组,置信度处于第二置信度阈值与第一置信度阈值之间的划分至第一分组,对于第三分组的输出数据,其数据筛选策略可以为全部删除,第一分组和第二分组的数据筛选策略可以参见上述实施例中的相关说明。
在一些实施例中,步骤S130中,依据扩展后的训练集,对初始模型进行优化训练,得到进化模型之后,还可以包括:
当进化模型对测试集的检出率低于预设检出率阈值时,依据业务应用端利用进化模型进行图像处理得到的输出数据进行训练集扩展以及模型优化,直至得到的进化模型对测试集的检出率不低于预设检出率阈值。
示例性的,当按照步骤S100~步骤S130中描述的方式得到了进化模型时,可以依据测试集对得到的进化模型进行测试,确定进化模型对测试集的检出率,并比较该检出率与预设检出率阈值(可以根据实际需求设定)。
当进化模型对测试集的检出率低于预设检出率阈值时,可以依据业务应用端利用进化模型进行图像处理得到的输出数据进行训练集扩展以及模型优化,得到最新的进化模型,并比较该进化模型对测试集的检出率与预设检出率阈值,若该进化模型对测试集的检出率不低于预设检出率阈值,则完成模型进化;若该进化模型对测试集的检出率仍低于预设检出率阈值,则再次按照上述方式进行训练集扩展以及模型优化。
需要说明的是,当步骤S130中得到的进化模型对测试集的检出率不低于预设检出率阈值时,可以确定进化模型满足使用需求,停止模型进化。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,下面结合具体示例对本申请实施例提供的技术方案进行说明。
在该实施例中,通过以较少的初次数据标注量构造训练集,并在应用过程中获取有益于模型泛化能力提升的数据实现训练集自动扩展,并依据扩展后的训练集对模型进行优化训练,得到进化模型,通过循环的方式,逐步实现模型泛化能力的扩张,即模型性能的提升,最终输出一个高性能的模型,实现以较少的数据量,通过系统的迭代进化过程,以无人或较少的人力干预的情况,将模型性能提升到大数据量的训练效果。其具体实现流程可以参见图2,如图2所示,该实现流程可以包括:
1、初次数据采集:初次数据采集可以包括数据采集和数据标注。
示例性的,数据采集可以包括采集图片或视频。数据标注可以通过人工标注的方式或采用辅助标注系统的方式。
示例性的,初次数据采集要求的训练集数据量可以很少,如得到几百个甚至几十个训练样本即可。
2、初次模型训练,得到初始模型。
示例性的,模型训练可以采用任意机器学习训练系统,可以包括但不限于Tensorflow、Pytorch、Caffe等训练框架。
3、加载初始模型到应用系统(即业务应用端)。
示例性的,该应用系统可以为任意机器学习推理系统,可以包括但不限于推理服务器、手机、嵌入式设备等。
4、数据获取:获取应用系统利用初始模型进行图像处理得到的输出数据(可以称为检出数据)。示例性的,计算机视觉类输出结果通常包括置信度参数,而且置信度参数与当前模型对目标的检出性能正相关。
5、置信度过滤:依据检出数据的置信度,对获取到的检出数据进行过滤,滤除置信度过高的数据。
示例性的,考虑到置信度过高的检出数据对模型提升效果较差,且会降低训练效率,因此,其用于扩展训练集的价值较低,可以滤除。
例如,可以对获取到的检出数据中置信度大于90%的检出数据进行过滤,得到置信度小于等于90%的检出数据用于后续处理。
6、检出数据筛选:对于过滤后的检出数据,可以依据检出数据的置信度采取不同的数据筛选策略进行筛选,得到准确性满足要求的检出数据(即上述目标输出数据)。
示例性的,考虑到置信度过低的检出数据中错误数据的比例会比较高,无法通过算法自动去除错误数据,因此,对于置信度过低的检出数据,可以通过人工筛选的方式进行筛选。
示例性的,对于过滤后的检出数据(假设置信度均小于等于90%),可以将其划分为2个分组:置信度处于[50%,90%]的分组(即上述第一分组),置信度处于[0,50%)的分组(即上述第二分组)。
对于第一分组,可以利用跟踪算法,依据分组中检出数据的前后关联检出数据,对第一分组中的检出数据进行错误数据排除。
示例性的,上述跟踪算法可以包括但不限于IOU(交并比)对比、图像内容比对等。
此外,还可以通过算法筛选去除相似度高、图像模糊等检出数据。
对于第二分组,可以采用人工筛选的方式,对第二分组中的检出数据进行错误数据排除。
其中,对于置信度较低的分组,通过人工筛选的方式进行错误数据排除虽然会耗费一定的人力,但是可以得到较多的训练数据,且得到的训练数据对模型泛化能力提升的效果会较好,可以实现模型的快速进化,提高模型优化训练的效率。
需要说明的是,考虑到在模型进化过程中,随着错误数据的排除,以及模型性能的优化,低置信度的数据会越来越少,因此,在对初始模型进行优化训练的过程中,前几轮(可以根据实际场景设定)采用人工筛选的方式进行数据筛选,之后,可以通过算法自动进行数据筛选,直至进化模型对测试集的检出率不低于预设检出率阈值。
7、筛选数据输出:将步骤6中筛选后的检出数据整理为训练需要的数据格式,合并到训练集中,实现训练集自动扩展。
8、模型优化训练:依据扩展后的训练集对初始模型进行优化训练。
示例性的,模型优化训练使用的训练系统与初次模型训练使用的训练系统可以相同,也可以不同。
9、发布进化模型:将进化模型加载到应用系统,由应用系统利用进化模型进行图形处理。
10、模型测试:利用测试集对最新的模型进行测试,确定进化模型对测试集的检出率是否不低于预设检出率阈值,若是,则确定进化模型满足使用需求,停止模型进化;否则,继续对模型进行优化。
示例性的,当确定进化模型满足使用需求(即进化模型对测试集的检出率是否不低于预设检出率阈值)时,还可以输出提示消息,由相关人员确定是否停止模型进化,并当检测到指示用于停止模型进化的操作指令时,停止模型进化;否则,继续对模型进行优化。
可见,上述流程中,通过对训练得到的模型进行图像处理得到的输出数据进行筛选后的数据加入训练集,使训练集的数量和覆盖范围不断扩大,并且更加贴近真实场景,依据扩展后的训练集,使用训练系统训练输出进化模型,此时模型泛化能力将会覆盖新添加数据范围,应用表现上会将置信度较高(如50%~90%)的部分目标物增加至置信度很高的区间内(如置信度大于90%),将置信度较低(如置信度小于50%)的部分目标物增加至置信度较高的区间。通过多轮次的进化过程,最终会使“置信度很高的区间”覆盖范围越来越大,即实现了模型泛化能力的边缘区域扩张,模型的检出性能得到了有效提升,实现了模型自动进化。
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述:
请参见图3,为本申请实施例提供的一种图像处理装置的结构示意图,如图3所示,该图像处理装置可以包括:
预训练单元310,用于依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;
筛选单元320,用于对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;
扩展单元330,用于依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;
优化训练单元340,用于依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。
在一些实施例中,所述筛选单元320对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,包括:
依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组;所述至少两个分组至少包括对应的置信度依次降低的第一分组和第二分组;
依据分组对所述输出数据进行筛选,得到所述目标输出数据;不同分组的数据筛选策略不完全相同。
在一些实施例中,所述筛选单元320依据分组对所述输出数据进行筛选,包括:
利用跟踪算法,依据所述第一分组中的输出数据的前后关联输出数据,对所述第一分组中的输出数据进行错误数据排除,得到所述第一分组中的目标输出数据。
在一些实施例中,所述筛选单元320依据分组对所述输出数据进行筛选,包括:
将所述第二分组中的输出数据在预设审核界面中展示,并依据接收到的审核指令,对所述第二分组中的输出数据进行错误数据排除,得到所述第二分组中的目标输出数据。
在一些实施例中,所述筛选单元320依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组之前,还包括:
依据所述输出数据针对目标物的置信度,对针对目标物的置信度高于预设置信度阈值的输出数据进行过滤;其中,所述预设置信度阈值大于等于所述第一分组对应的置信度上限;
所述筛选单元320依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组,包括:
依据过滤后的输出数据针对目标物的置信度,将所述过滤后的输出数据划分为至少两个分组。
在一些实施例中,所述优化训练单元340依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型之后,还包括:
当所述进化模型对测试集的检出率低于预设检出率阈值时,依据业务应用端利用进化模型进行图像处理得到的输出数据进行训练集扩展以及模型优化,直至得到的进化模型对测试集的检出率不低于所述预设检出率阈值。
本申请实施例提供一种电子设备,包括处理器和存储器,其中,存储器存储有能够被所述处理器执行的机器可执行指令,处理器用于执行机器可执行指令,以实现上文描述的图像处理方法。
请参见图4,为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器401、存储有机器可执行指令的存储器402。处理器401与存储器402可经由系统总线403通信。并且,通过读取并执行存储器402中与图像处理逻辑对应的机器可执行指令,处理器401可执行上文描述的图像处理方法。
本文中提到的存储器402可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
在一些实施例中,还提供了一种机器可读存储介质,如图4中的存储器402,该机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上文描述的图像处理方法。例如,所述存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序,存储于读存储介质,例如图4中的存储器402,并且当处理器执行该计算机程序时,促使处理器401执行上文中描述的图像处理方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;
对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;
依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;
依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。
2.根据权利要求1所述的方法,其特征在于,所述对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,包括:
依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组;所述至少两个分组至少包括对应的置信度依次降低的第一分组和第二分组;
依据分组对所述输出数据进行筛选,得到所述目标输出数据;不同分组的数据筛选策略不完全相同。
3.根据权利要求2所述的方法,其特征在于,所述依据分组对所述输出数据进行筛选,包括:
利用跟踪算法,依据所述第一分组中的输出数据的前后关联输出数据,对所述第一分组中的输出数据进行错误数据排除,得到所述第一分组中的目标输出数据。
4.根据权利要求2所述的方法,其特征在于,所述依据分组对所述输出数据进行筛选,包括:
将所述第二分组中的输出数据在预设审核界面中展示,并依据接收到的审核指令,对所述第二分组中的输出数据进行错误数据排除,得到所述第二分组中的目标输出数据。
5.根据权利要求2所述的方法,其特征在于,所述依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组之前,还包括:
依据所述输出数据针对目标物的置信度,对针对目标物的置信度高于预设置信度阈值的输出数据进行过滤;其中,所述预设置信度阈值大于等于所述第一分组对应的置信度上限;
所述依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组,包括:
依据过滤后的输出数据针对目标物的置信度,将所述过滤后的输出数据划分为至少两个分组。
6.根据权利要求1所述的方法,其特征在于,所述依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型之后,还包括:
当所述进化模型对测试集的检出率低于预设检出率阈值时,依据业务应用端利用进化模型进行图像处理得到的输出数据进行训练集扩展以及模型优化,直至得到的进化模型对测试集的检出率不低于所述预设检出率阈值。
7.一种图像处理装置,其特征在于,包括:
预训练单元,用于依据初始训练集,利用预设训练系统,进行模型训练,得到初始模型;
筛选单元,用于对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,得到置信度以及准确性满足预设条件的目标输出数据;
扩展单元,用于依据所述目标输出数据对所述初始训练集进行扩展,得到扩展后的训练集;
优化训练单元,用于依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型,以使业务应用端依据所述进化模型进行图像处理。
8.根据权利要求7所述的装置,其特征在于,所述筛选单元对业务应用端利用所述初始模型进行图像处理得到的输出数据进行筛选,包括:
依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组;所述至少两个分组至少包括对应的置信度依次降低的第一分组和第二分组;
依据分组对所述输出数据进行筛选,得到所述目标输出数据;不同分组的数据筛选策略不完全相同;
其中,所述筛选单元依据分组对所述输出数据进行筛选,包括:
利用跟踪算法,依据所述第一分组中的输出数据的前后关联输出数据,对所述第一分组中的输出数据进行错误数据排除,得到所述第一分组中的目标输出数据;
其中,所述筛选单元依据分组对所述输出数据进行筛选,包括:
将所述第二分组中的输出数据在预设审核界面中展示,并依据接收到的审核指令,对所述第二分组中的输出数据进行错误数据排除,得到所述第二分组中的目标输出数据;
其中,所述筛选单元依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组之前,还包括:
依据所述输出数据针对目标物的置信度,对针对目标物的置信度高于预设置信度阈值的输出数据进行过滤;其中,所述预设置信度阈值大于等于所述第一分组对应的置信度上限;
所述筛选单元依据所述输出数据针对目标物的置信度,将所述输出数据划分为至少两个分组,包括:
依据过滤后的输出数据针对目标物的置信度,将所述过滤后的输出数据划分为至少两个分组;
和/或,所述优化训练单元依据所述扩展后的训练集,对所述初始模型进行优化训练,得到进化模型之后,还包括:
当所述进化模型对测试集的检出率低于预设检出率阈值时,依据业务应用端利用进化模型进行图像处理得到的输出数据进行训练集扩展以及模型优化,直至得到的进化模型对测试集的检出率不低于所述预设检出率阈值。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-6任一项所述的方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。
CN202111266166.4A 2021-10-28 2021-10-28 图像处理方法、装置、电子设备及机器可读存储介质 Pending CN113989843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111266166.4A CN113989843A (zh) 2021-10-28 2021-10-28 图像处理方法、装置、电子设备及机器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111266166.4A CN113989843A (zh) 2021-10-28 2021-10-28 图像处理方法、装置、电子设备及机器可读存储介质

Publications (1)

Publication Number Publication Date
CN113989843A true CN113989843A (zh) 2022-01-28

Family

ID=79743839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111266166.4A Pending CN113989843A (zh) 2021-10-28 2021-10-28 图像处理方法、装置、电子设备及机器可读存储介质

Country Status (1)

Country Link
CN (1) CN113989843A (zh)

Similar Documents

Publication Publication Date Title
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
CN107734336B (zh) 一种视频存储空间的压缩方法及装置
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
CN111104913B (zh) 一种基于结构及相似度的视频提取ppt方法
CN106575223A (zh) 图像分类方法和图像分类装置
US11107237B2 (en) Image foreground detection apparatus and method and electronic device
CN102332001A (zh) 一种视频缩略图生成方法及装置
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
CN109684320B (zh) 监测数据在线清洗的方法和设备
CN111507388A (zh) 一种天气图像分类方法及设备
CN111159150A (zh) 一种数据扩充方法及装置
CN115439384A (zh) 一种无鬼影多曝光图像融合方法、装置
CN111079572A (zh) 一种基于视频理解的森林烟火检测方法、存储介质和设备
CN113989843A (zh) 图像处理方法、装置、电子设备及机器可读存储介质
CN115830351B (zh) 图像处理方法、设备以及存储介质
CN109033797B (zh) 一种权限设置方法及装置
CN109145918B (zh) 图像分割标注方法及设备
CN104809438B (zh) 一种检测电子眼的方法和设备
CN111757182A (zh) 图像花屏检测方法、设备、计算机设备和可读存储介质
CN113627388A (zh) 针对裸土覆盖情况的确定方法及装置
WO2020113563A1 (zh) 人脸图像质量评估方法、装置、设备及存储介质
CN116052168A (zh) 基于单目标域图像的跨域语义分割模型生成方法及装置
CN112949431B (zh) 视频篡改检测方法和系统、存储介质
CN115049680A (zh) 污水排放检测方法、检测装置及计算机可读存储介质
CN115082820A (zh) 一种监控视频中群体全局异常行为检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination