CN115937071A - 一种图像检测方法、装置、设备及介质 - Google Patents
一种图像检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115937071A CN115937071A CN202210523931.4A CN202210523931A CN115937071A CN 115937071 A CN115937071 A CN 115937071A CN 202210523931 A CN202210523931 A CN 202210523931A CN 115937071 A CN115937071 A CN 115937071A
- Authority
- CN
- China
- Prior art keywords
- network
- original image
- pixel
- target
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像检测方法、装置、设备及介质,该方法包括:通过将待处理图像对输入目标学生网络中,以根据网络模型的输出结果确定待处理图像间的图像差异。在目标学生网络的训练阶段,通过预先训练的教师网络构建表征原始图像对内各原始图像间的特征差异的第一伪标签,再通过上述原始图像对和第一伪标签训练学生网络。上述流程中,预先通过原始图像对训练教师网络,使训练后的目标教师网络具备识别原始图像对内各原始图像间特征差异的能力。进而基于目标教师网络对原始图像对的识别结果来训练学生网络,使学生网络在目标教师网络的识别基础上进一步提高特征识别能力,以此提高网络模型的识别精度。
Description
技术领域
本申请实施例涉及图像处理技术领域,具体涉及一种图像检测方法、装置、设备及
介质。
背景技术
图像变化检测多用于灾害评估、城市扩建以及环境监测等领域,该技术通过预先训练的网络模型来比对同一区域捕捉的不同时段的两幅视频帧图像间的特征变化,从而确定区域内的场景变化。
由于影像数据的标注对于先验知识依赖性较高且成本较大,相关技术中多通过无监督学习方法对网络模型进行训练。具体通过获取不同时段的原始图像间的特征变化以构建伪标签,继而通过伪标签和原始图像训练网络模型。上述方式构建的伪标签噪点较高,若直接采用伪标签对网络模型训练会降低模型的识别精度。传统的解决方式多通过对大幅的原始图像进行分块采样以达到降噪目的。但对图像分块后采样会忽略图像间的空间特征,同样影响网络模型的识别精度。
发明内容
本申请实施例提供一种图像检测方法、装置、设备及介质,用于提高基于无监督学习方法训练的网络模型的识别精度。
第一方面,本申请实施例提供一种图像检测方法,所述方法包括:
获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,所述第一伪标签表征所述多张原始图像间的特征差异。
本申请实施例通过将待处理图像对输入目标学生网络中,以根据网络模型的输出结果确定待处理图像间的图像差异。在目标学生网络的训练阶段,通过预先训练的教师网络构建表征原始图像对内各原始图像间的特征差异的第一伪标签,再通过上述原始图像对和第一伪标签训练学生网络。上述流程中,预先通过原始图像对训练教师网络,使训练后的目标教师网络具备识别原始图像对内各原始图像间特征差异的能力。进而基于目标教师网络对原始图像对的识别结果来训练学生网络,使学生网络在目标教师网络的识别基础上进一步提高特征识别能力,以此提高网络模型的识别精度。
在一些可能的实施例中,所述目标学生网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,所述预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的学生模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第一特征差异图;
基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,并根据所述学生模型损失值对所述模型参数进行修正。
本申请实施例中将原始图像对作为训练样本,对学生网络进行多轮迭代训练,每轮迭代过程中预先基于学生网络在迭代前的模型参数对各原始图像进行特征提取,以获取原始图像内各像素点的特征向量。通过对各原始图像中相同位置像素点的特征向量进行归一化处理得到表征各原始图像间特征差异的第一差异变化图。进而根据第一特征差异变化图与第一伪标签间的特征损失对上述模型参数进行修正。上述迭代过程中,均基于本轮迭代前的模型参数确定第一特征差异变化图,并根据第一特征差异变化图与第一伪标签间的特征损失对网络模型参数进行修正,由此在每轮迭代后均提高了网络模型的识别能力。
在一些可能的实施例中,所述基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,包括:
根据交叉熵损失函数确定所述第一伪标签与所述第一特征差异图间的第一交叉熵损失值;
确定所述第一交叉熵损失值与初始伪标签间的第一损失值以及所述第一交叉熵损失与所述第一伪标签间的第二损失值,并根据所述第一损失和所述第二损失确定所述学生模型损失值;其中,所述初始伪标签是根据下述方式确定的:
对各所述原始图像相同位置像素点的像素值进行差值运算并对差值运算结果进行二值化处理,得到表征各原始图像间像素变化的初始特征差异图;
基于预设尺寸的补丁对所述初始特征差异图进行滤波处理,并将处理后的所述初始特征差异图作为所述初始伪标签;其中,滤波后的所述初始特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
本申请实施例预先对各原始图像在相同位置处像素点的像素值进行差值运算,并对差值运算结果进行二值化处理以获取表征各原始图像间像素变化的初始特征差异图,再通过对初始特征差异图进行滤波降噪得到初始伪标签。确定用于训练学生网络的损失值时,预先根据交叉熵损失函数确定第一伪标签与第一特征差异图间的第一交叉熵损失,再分别确定第一交叉熵损失与初始伪标签和第一伪标签间的损失值,进而根据上述损失值确定学生模型的总损失。由于初始伪标签是通过对各原始图像在同一波段内的像素进行差值运算获取的各原始图像间的特征差异,而第一伪标签是目标教师网络识别的各原始图像间的特征差异。上述流程即表征了分别基于两种维度的特征差异对学生网络进行训练,以此提高网络模型的识别进度。
在一些可能的实施例中,所述目标教师网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至满足预设收敛条件,将迭代结束的教师网络作为目标教师网络;其中,所述预设收敛条件是根据每轮教师网络对应的损失与第二损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的教师模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第二特征差异图;所述教师模型参数与所述学生模型参数不同;
基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,采用所述教师模型损失值对所述模型参数进行修正。
本申请实施例中将原始图像对作为训练样本,对教师网络进行多轮迭代训练,每轮迭代过程中预先基于教师网络在迭代前的模型参数对各原始图像进行特征提取,以获取原始图像内各像素点的特征向量。通过对各原始图像中相同位置像素点的特征向量进行归一化处理得到表征各原始图像间特征差异的第二差异变化图。进而根据第二特征差异变化图与初始伪标签间的特征损失对上述模型参数进行修正。上述迭代过程中,均基于本轮迭代前的模型参数确定第二特征差异变化图,并根据第二特征差异变化图与初始伪标签间的特征损失对网络模型参数进行修正,由此在每轮迭代后均提高了网络模型的识别能力。
在一些可能的实施例中,所述第一伪标签是通过下述方式确定的:
将所述原始图像对输入所述目标教师网络中,获取所述原始图像对的第二特征差异图;
基于预设尺寸的补丁对所述第二特征差异图进行滤波处理,并将处理后的所述第二特征差异图作为所述第一伪标签;其中,滤波后的所述第二特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
本申请实施例将原始图像对输入已训练的目标教师网络,获取第二特征差异图,再基于预设尺寸的补丁对第二特征差异图进行滤波。滤波过程中,使第二特征差异图内每一像素点的像素值均为以该像素点为补丁中心时,该像素点与补丁内余下像素点的像素值的比,以此达到降噪的目的。
在一些可能的实施例中,所述基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,包括:
根据所述交叉熵损失函数确定所述初始伪标签与所述第二特征差异图间的第二交叉熵损失,并根据所述第二交叉熵损失和所述初始伪标签确定所述教师模型损失值。
本申请实施例中同能够该交叉熵损失函数确定初始伪标签与第二特征差异图间的第二交叉熵损失,并根据第二交叉熵损失和初始伪标签确定用于修正教师模型参数的损失值,以提高教师模型对原始图像对间特征差异的识别精度。
在一些可能的实施例中,基于预设尺寸的补丁对目标图像进行滤波处理之前,所述方法还包括:
基于预设像素值范围对所述目标图像内每一像素点进行二值化处理;所述目标图像包括所述初始特征差异图和所述第二特征差异图;
若所述像素点的像素值处于所述预设像素值范围内,则确定所述像素点的像素值为第一预设值;否则,确定所述像素点的像素值为第二预设值。
本申请实施例对目标图像进行滤波之前,需对目标图像进行二值化处理以强化目标图像的图像特征。由此,基于二值化处理后的目标图像构建的伪标签可更好的反映各原始图像间的特征差异。
第二方面,本申请实施例提供了一种图像检测装置,所述装置包括:
图像获取模块,被配置为执行获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
特征提取模块,被配置为执行将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
在一些可能的实施例中,所述装置还包括:
学生网络训练模块,被配置为执行将所述原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,所述预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的学生模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第一特征差异图;
基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,并根据所述学生模型损失值对所述模型参数进行修正。
在一些可能的实施例中,执行所述基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,所述学生网络训练模块被配置为:
根据交叉熵损失函数确定所述第一伪标签与所述第一特征差异图间的第一交叉熵损失值;
确定所述第一交叉熵损失值与初始伪标签间的第一损失值以及所述第一交叉熵损失与所述第一伪标签间的第二损失值,并根据所述第一损失和所述第二损失确定所述学生模型损失值;其中,所述初始伪标签是根据下述方式确定的:
对各所述原始图像相同位置像素点的像素值进行差值运算并对差值运算结果进行二值化处理,得到表征各原始图像间像素变化的初始特征差异图;
基于预设尺寸的补丁对所述初始特征差异图进行滤波处理,并将处理后的所述初始特征差异图作为所述初始伪标签;其中,滤波后的所述初始特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,所述装置还包括:
教师网络训练模块,被配置为执行将所述原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至满足预设收敛条件,将迭代结束的教师网络作为目标教师网络;其中,所述预设收敛条件是根据每轮教师网络对应的损失与第二损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的教师模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第二特征差异图;所述教师模型参数与所述学生模型参数不同;
基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,采用所述教师模型损失值对所述模型参数进行修正。
在一些可能的实施例中,所述第一伪标签是通过下述方式确定的:
将所述原始图像对输入所述目标教师网络中,获取所述原始图像对的第二特征差异图;
基于预设尺寸的补丁对所述第二特征差异图进行滤波处理,并将处理后的所述第二特征差异图作为所述第一伪标签;其中,滤波后的所述第二特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,执行所述基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,所述教师网络训练模块被配置为:
根据所述交叉熵损失函数确定所述初始伪标签与所述第二特征差异图间的第二交叉熵损失,并根据所述第二交叉熵损失和所述初始伪标签确定所述教师模型损失值。
在一些可能的实施例中,所述装置还包括:
二值化处理模块,被配置为基于预设尺寸的补丁对目标图像进行滤波处理之前,执行基于预设像素值范围对所述目标图像内每一像素点进行二值化处理;所述目标图像包括所述初始特征差异图和所述第二特征差异图;
若所述像素点的像素值处于所述预设像素值范围内,则确定所述像素点的像素值为第一预设值;否则,确定所述像素点的像素值为第二预设值。
第三方面,本申请实施例提供一种电子设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行第一方面中任一项所述的方法包括的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行第一方面中任一项所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行第一方面中任一项所述的方法。
附图说明
图1为本申请实施例提供的传统的伪标签构建示意图;
图2a为本申请实施例提供的网络模型训练阶段的整体流程图;
图2b为本申请实施例提供的像素变化图构建示意图;
图2c为本申请实施例提供的初始特征差异图构建示意图;
图2d为本申请实施例提供的补丁示意图;
图2e为本申请实施例提供的采用补丁对初始特征差异图滤波示意图;
图2f为本申请实施例提供的初始伪标签构建示意图;
图3a为本申请实施例提供的教师网络训练流程图;
图3b为本申请实施例提供的教师网络结构示意图;
图3c为本申请实施例提供的第二特征差异图构建示意图;
图3d为本申请实施例提供的第一伪标签构建示意图;
图4a为本申请实施例提供的学生网络训练的流程图;
图4b为本申请实施例提供的学生网络结构示意图;
图4c为本申请实施例提供的第一特征差异图构建示意图;
图5a为本申请实施例提供的预处理阶段示意图;
图5b为本申请实施例提供的教师网络训练阶段示意图;
图5c为本申请实施例提供的学生网络训练阶段示意图;
图6为本申请实施例提供的一种图像检测方法整体流程图;
图7为本申请实施例提供的图像检测装置700的结构图;
图8为本申请实施例提供的电子设备示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以按不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个,例如可以是两个、三个或者更多,本申请实施例不做限制。
神经网络训练方法大致可分为基于预先标注的标签进行训练的有监督学习和不借助标签进行训练的无监督学习。由于影响数据的标注对于先验知识依赖性较高且成本较大,用于图像变化检测的网络模型通采用无监督学习方向进行训练。传统的构建方式是通过获取不同时段的原始图像间的特征变化来构建伪标签,具体如图1所示,图中示出的原始图像a和原始图像b分别表征在不同时段对同一区域采集的两张同尺寸的图像。将原始图像a和原始图像b相同位置处像素点的像素值相减,得到表征原始图像a和原始图像b间像素变化的图像c,图像c的尺寸与原始图像a和原始图像b均相同,图像c即为伪标签。
然而上述这种直接将相同位置像素值相减的方式所构建的伪标签内含有较多噪点,若直接采用这种伪标签对网络模型训练会降低网络模型的识别精度。传统的解决方式多通过对大幅的原始图像进行分块采样以达到降噪目的。但对图像分块后采样会忽略图像间的空间特征,同样影响网络模型的识别精度。
为解决上述问题,本申请的发明构思为:通过将待处理图像对输入目标学生网络中,以根据网络模型的输出结果确定待处理图像间的图像差异。在目标学生网络的训练阶段,通过预先训练的教师网络构建表征原始图像对内各原始图像间的特征差异的第一伪标签,再通过上述原始图像对和第一伪标签训练学生网络。上述流程中,预先通过原始图像对训练教师网络,使训练后的目标教师网络具备识别原始图像对内各原始图像间特征差异的能力。进而基于目标教师网络对原始图像对的识别结果来训练学生网络,使学生网络在目标教师网络的识别基础上进一步提高特征识别能力,以此提高网络模型的识别精度。
为便于理解本申请实施例提供的技术方案,接下来对上述目标学生网络的训练过程进行介绍,本申请实施例基于原始图像对构建用于训练教师网络的初始伪标签,然后根据已训练的目标教师网络对原始图像对的识别结果构建第一伪标签。进而将原始图像对输入与教师网络模型结构相同的学生网络中,通过学生网络对原始图像对的识别结果与初始伪标签以及第一伪标签间的损失修正学生网络的模型参数,直至收敛。具体训练过程如图2a所示,包括下述步骤:
步骤201:基于原始图像对构建初始伪标签;
图像变化检测通过预先训练的网络模型来比对同一区域捕捉的不同时段的两幅视频帧图像间的特征变化,从而确定区域内的场景变化。原始图像对即为对指定区域内不同时段捕捉的两帧原始图像。
本申请实施例通过对各原始图像相同位置的像素点进行差值运算以获取表征各原始图像间像素变化的像素变化图。具体如图2b所示,首先将原始图像a和原始图像b相同位置像素点的像素值相减得到像素变化图,由于像素变化图中包含较多影响训练结果的噪点,本申请实施例通过对像素变化图进行二值化处理以增强像素变化图中包含的图像特征。具体的,可将像素变化图中像素值小于0.5的像素点设置像素值为0,将像素值不小于0.5的像素点设置像素值为1,由此得到图2c中示出的初始特征差异图。
此外,为进一步增强图像特征以提高网络模型的识别精度,本申请实施例在获取初始特征差异图后,基于预设尺寸的补丁对初始特征差异图进行滤波处理,并将处理后的初始特征差异图作为初始伪标签。如图2d所示,图2d中示出了8×8大小的初始特征差异图,该初始特征差异图中的3×3矩形区域即为预设尺寸的补丁。采用该补丁对初始特征差异图滤波时,需在初始特征差异图中以每一像素点为补丁的中心(即3×3矩形区域的中心),确定处于矩形区域中心的像素点与位于补丁内的余下像素点的像素值的比例关系,这一比例关系可表征该像素点为正确标签的概率。具体的,可设一个大小为w×w尺寸(w为奇数)的补丁,该补丁以初始特征差异图C1中的像素点ck(i,j)为中心,i和j表征像素c1在像素坐标系内的坐标。补丁内的余下像素点坐标均可表示为c1(i+l,j+l),其中l表示余下像素点与c1间位置的偏移量, 然后按照下述公式(1)对初始特征差异图C1进行滤波:
其中,⊙表示逻辑运算异或非;k为初始特征差异图C1内的像素点个数;fk(i,j)为将ck(i,j)滤波后的像素值,fk(i,j)表征补丁中心的像素点与补丁内余下像素点具备相同像素值的比例,表征中心的像素点为正确标签的概率。由此将初始特征差异图C1内每一像素点均作为补丁中心进行滤波,仍以上述8×8大小的初始特征差异图举例,其滤波结果如图2e所示,该滤波结果即为初始伪标签。
上述初始伪标签的构建流程可如图2f所示,通过上述流程得到的初始伪标签内保留有原始图像内包含的空间特征,能够充分利用卷积神经网络的表示能力,提高网络模型的识别精度。
步骤202:通过原始图像对和初始伪标签训练教师网络,以得到收敛的目标教师网络。
对教师网络进行训练时,需将原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至本轮教师网络对应的损失值小于预设的损失阈值时迭代结束,将迭代结束的教师网络作为目标教师网络。每轮迭代过程中需基于本轮迭代前的教师模型参数对各原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量。然后对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各原始图像间特征差异的第二特征差异图。最后基于初始伪标签和第二特征差异图确定教师模型损失值,采用教师模型损失值对模型参数进行修正。其具体流程如图3a所示,包括下述步骤:
步骤301:将原始图像对输入待训练的教师网络中,获取表征各原始图像间特征差异的第二特征差异图。
本申请实施例的教师网络结构如图3b所示,图中的W、H分别表征图像的宽和高、conv表示卷积、deconv表示反卷积。每轮迭代之前,采用本轮迭代前的教师模型参数提取原始图像a和原始图像b的图像特征,从而确定原始图像a和原始图像b内各像素点的特征向量。对应图3b示出的教师网络结构,具体提取过为:将原始图像a和原始图像b沿通道维度进行拼接,然后使用三个卷积层提取图像特征。提取过程中减小特征图尺寸并同步增加通道维度,然后将提取到的图像特征沿通道维度分开,继续采用卷积层提取图像特征。为了获得与原始图像a和原始图像b尺寸相同的第二特征差异图,需使用反卷积从特征向量中解码并恢复到原有尺寸的特征向量。最后将反卷积后得到的特征向量沿通道维度进行拼接并使用一个卷积层调整通道数,由此得到表征原始图像a和原始图像b间特征差异的目标图像1。
接下来采用与上述步骤201中相似的流程,基于预设像素值范围对目标图像1内每一像素点进行二值化处理,以增强图像特征。实施时若目标图像1内像素点的像素值处于预设像素值范围内,则确定像素点的像素值为第一预设值;否则,确定像素点的像素值为第二预设值。实施时可将目标图像1中像素值小于0.5的像素点设置像素值为0,将像素值不小于0.5的像素点设置像素值为1,由此得到第二特征差异图,上述第二特征差异图的确定过程具体参见图3c。
步骤302:基于初始伪标签和第二特征差异图确定教师模型损失值:
通过上述步骤301确定第二特征差异图后,本申请实施例根据交叉熵损失函数确定初始伪标签与第二特征差异图间的第二交叉熵损失,并根据第二交叉熵损失和初始伪标签确定教师模型损失值。具体参见下述公式(2):
其中,Lossteacher表征教师模型损失值;H和W表征原始图像的尺寸;BCE(f1(i,j),d2(i,j))为第二交叉熵损失;为初始变化图;f1(i,j)为初始伪标签;d2(i,j)为第二特征差异图。
步骤303:根据本轮得到的教师模型损失值调整网络模型参数,直至模型收敛。
实施时,首轮以初始网络模型参数对原始图像对进行特征识别,得到原始图像对的第二特征差异图,并根据上述公式(2)确定首轮教师模型损失值。然后以首轮教师模型损失值对初始网络模型参数进行修正,并基于修正后的网络参数对下一轮迭代中输入网络模型的原始图像对进行特征识别,直至教师模型损失值小于预设阈值确定模型收敛,得到目标教师模型。
上述流程中介绍了基于初始伪标签和原始图像对训练教师网络的过程,收敛后的目标教师网络已具备一定对原始图像对内各原始图像的特征识别能力。为进一步提高网络模型的识别精度,本申请实施例需基于目标教师网络对原始图像对的识别结果构建第一伪标签,并基于第一伪标签和初始伪标签对学生网络进行训练,以使学生网络获得更好的识别能力。具体参见下述步骤203~204。
步骤203:通过目标教师网络对原始图像对的识别结果构建第一伪标签;
第一伪标签的构建流程如图3d所示,首先将原始图像对输入目标教师网络中,获取表征原始图像对内各原始图像间图像特征的目标图像1,然后对目标图像1进行二值化处理得到该原始图像对的第二特征差异图。最后基于预设尺寸的补丁对第二特征差异图进行滤波处理,并将处理后的第二特征差异图作为第一伪标签。
需要说明的是,此处滤波流程与上述公式(1)处的滤波流程相同,均为通过预设补丁对图像进行滤波以增强图像特征,进而提高网络模型的识别精度。此处对滤波流程不再赘述。
步骤204:通过原始图像对、初始伪标签和第一伪标签训练学生网络,以得到收敛的目标学生网络。
实施时,将原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程中需基于本轮迭代前的学生模型参数对各原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量。然后对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各原始图像间特征差异的第一特征差异图。最后基于第一伪标签和第一特征差异图确定学生模型损失值,并根据学生模型损失值对模型参数进行修正。其具体流程如图4a所示,包括下述步骤:
步骤401:将原始图像对输入待训练的学生网络中,获取表征各原始图像间特征差异的第一特征差异图。
本申请实施例的学生网络结构与教师网络相同,仅初始模型参数不同。具体如图4b所示,图中的W、H分别表征图像的宽和高、conv表示卷积、deconv表示反卷积。每轮迭代之前,采用本轮迭代前的学生模型参数提取原始图像a和原始图像b的图像特征,从而确定原始图像a和原始图像b内各像素点的特征向量。对应图3b示出的学生网络结构,具体提取过为:将原始图像a和原始图像b沿通道维度进行拼接,然后使用三个卷积层提取图像特征。提取过程中减小特征图尺寸并同步增加通道维度,然后将提取到的图像特征沿通道维度分开,继续采用卷积层提取图像特征。为了获得与原始图像a和原始图像b尺寸相同的第二特征差异图,需使用反卷积从特征向量中解码并恢复到原有尺寸的特征向量。最后将反卷积后得到的特征向量沿通道维度进行拼接并使用一个卷积层调整通道数,由此得到表征原始图像a和原始图像b间特征差异的目标图像2,上述第一特征差异图的确定过程具体参见图4c。
接下来采用与上述步骤201中相似的流程,基于预设像素值范围对目标图像2内每一像素点进行二值化处理,以增强图像特征。实施时若目标图像2内像素点的像素值处于预设像素值范围内,则确定像素点的像素值为第一预设值;否则,确定像素点的像素值为第二预设值。实施时可将目标图像2中像素值小于0.5的像素点设置像素值为0,将像素值不小于0.5的像素点设置像素值为1,由此得到第一特征差异图。
步骤402:基于初始伪标签、第一伪标签以及第一特征差异图确定学生模型损失值。
本申请实施例根据交叉熵损失函数确定第一伪标签与第一特征差异图间的第一交叉熵损失值。并确定第一交叉熵损失值与初始伪标签间的第一损失值以及第一交叉熵损失与第一伪标签间的第二损失值,最后根据第一损失和第二损失确定学生模型损失值;具体参见下述公式(3)~(4):
其中,Lossstudent1表征第一损失值;H和W表征原始图像的尺寸;BCE(f2(i,j),d3(i,j))为第一交叉熵损失;为初始变化图;f2(i,j)为第一伪标签;d3(i,j)为第一特征差异图。
其中,Lossstudent2表征第二损失值;H和W表征原始图像的尺寸;BCE(f2(i,j),d3(i,j))为第一交叉熵损失;为上述目标图像1的二值化结果;f2(i,j)为第一伪标签;d3(i,j)为第一特征差异图。
接下来,根据下述公式(5)确定学生模型损失值:
Lossstudent=βLossstudent1+(1-β)Lossstudent2公式(5)
其中,Lossstudent表征学生模型损失值;β为预设权重,考虑到Lossstudent2为学生网络对原始图像对的识别结果与目标教师网络对原始图像对的识别结果间的损失,而目标教师网络是在初始伪标签的基础上训练得到的,即目标教师网络对原始图像对的识别结果应优于初始伪标签。因而在根据第一损失值和第二损失值确定学生模型损失值时,Lossstudent2相比于Lossstudent1具备更高的可信度,故此可将β设置为0≤β≤0.5。
步骤403:根据本轮得到的学生模型损失值调整网络模型参数,直至模型收敛。
实施时,首轮以初始网络模型参数对原始图像对进行特征识别,得到原始图像对的第一特征差异图,并根据上述公式(3)~(5)确定首轮学生模型损失值。然后以首轮学生模型损失值对初始网络模型参数进行修正,并基于修正后的网络参数对下一轮迭代中输入网络模型的原始图像对进行特征识别,直至学生模型损失值小于预设阈值确定模型收敛,得到目标学生模型。
为便于理解上述模型训练流程,下面对目标学生网络的训练阶段进行拆分说明。本申请目标学生网络在训练阶段可分为如下三部分:
1,构建初始伪标签的预处理阶段;
参见图5a,本申请实施例将原始图像a和原始图像b相同位置处的像素点进行差值运算以获取表征各原始图像间像素变化的像素变化图。然后对像素变化图进行二值化处理得到初始差异变化图,并将二值化处理得到的初始差异变化图进行滤波,得到初始伪标签。
2,教师网络训练阶段;
参见图5b,本申请实施例将原始图像a和原始图像b输入待训练的教师网络中,通过教师模型参数对两幅原始图像进行特征提取,以获取表征两幅原始图像间特征差异的第二特征差异图。并根据第二特征差异图与初始伪标签间的损失修正教师模型参数,直至基于修正后的教师模型参数确定的第二特征差异图与初始伪标签间的损失值满足预设阈值。此时确定教师网络收敛,得到目标教师网络。接下来将原始图像a和原始图像b输入目标教师网络中,得到对应的第二特征差异图,并将该第二特征差异图进行滤波处理,得到第一伪标签。
3,学生网络训练阶段;
参见图5c,本申请实施例将原始图像a和原始图像b输入待训练的学生网络中,通过学生模型参数对两幅原始图像进行特征提取,以获取表征两幅原始图像间特征差异的第一特征差异图。并分别确定第一特征差异图与初始伪标签间的第一损失值以及第一特征差异图与第一伪标签间的第二损失值。进而根据第一损失值和第二损失值确定学生模型损失值,并根据学生模型损失值对学生模型参数进行修正,直至基于修正后的学生模型参数确定的第一特征差异图与两个伪标签间的损失值满足预设阈值,确定学生网络收敛,得到目标学生网络。
通过上述流程介绍了目标学生网络的训练过程后,下面本申请实施例针对目标学生网络的应用提供了一种图像检测方法,具体如图6所述,包括:
步骤601:获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
步骤602:将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
在一些可能的实施例中,所述目标学生网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,所述预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的学生模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第一特征差异图;
基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,并根据所述学生模型损失值对所述模型参数进行修正。
在一些可能的实施例中,所述基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,包括:
根据交叉熵损失函数确定所述第一伪标签与所述第一特征差异图间的第一交叉熵损失值;
确定所述第一交叉熵损失值与初始伪标签间的第一损失值以及所述第一交叉熵损失与所述第一伪标签间的第二损失值,并根据所述第一损失和所述第二损失确定所述学生模型损失值;其中,所述初始伪标签是根据下述方式确定的:
对各所述原始图像相同位置像素点的像素值进行差值运算并对差值运算结果进行二值化处理,得到表征各原始图像间像素变化的初始特征差异图;
基于预设尺寸的补丁对所述初始特征差异图进行滤波处理,并将处理后的所述初始特征差异图作为所述初始伪标签;其中,滤波后的所述初始特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,所述目标教师网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至满足预设收敛条件,将迭代结束的教师网络作为目标教师网络;其中,所述预设收敛条件是根据每轮教师网络对应的损失与第二损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的教师模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第二特征差异图;所述教师模型参数与所述学生模型参数不同;
基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,采用所述教师模型损失值对所述模型参数进行修正。
在一些可能的实施例中,所述第一伪标签是通过下述方式确定的:
将所述原始图像对输入所述目标教师网络中,获取所述原始图像对的第二特征差异图;
基于预设尺寸的补丁对所述第二特征差异图进行滤波处理,并将处理后的所述第二特征差异图作为所述第一伪标签;其中,滤波后的所述第二特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,所述基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,包括:
根据所述交叉熵损失函数确定所述初始伪标签与所述第二特征差异图间的第二交叉熵损失,并根据所述第二交叉熵损失和所述初始伪标签确定所述教师模型损失值。
在一些可能的实施例中,基于预设尺寸的补丁对目标图像进行滤波处理之前,所述方法还包括:
基于预设像素值范围对所述目标图像内每一像素点进行二值化处理;所述目标图像包括所述初始特征差异图和所述第二特征差异图;
若所述像素点的像素值处于所述预设像素值范围内,则确定所述像素点的像素值为第一预设值;否则,确定所述像素点的像素值为第二预设值。
基于相同的发明构思,本申请实施例提供了一种图像检测装置700,如图7所示,包括:
图像获取模块701,被配置为执行获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
特征提取模块702,被配置为执行将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
在一些可能的实施例中,所述装置还包括:
学生网络训练模块,被配置为执行将所述原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,所述预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的学生模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第一特征差异图;
基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,并根据所述学生模型损失值对所述模型参数进行修正。
在一些可能的实施例中,执行所述基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,所述学生网络训练模块被配置为:
根据交叉熵损失函数确定所述第一伪标签与所述第一特征差异图间的第一交叉熵损失值;
确定所述第一交叉熵损失值与初始伪标签间的第一损失值以及所述第一交叉熵损失与所述第一伪标签间的第二损失值,并根据所述第一损失和所述第二损失确定所述学生模型损失值;其中,所述初始伪标签是根据下述方式确定的:
对各所述原始图像相同位置像素点的像素值进行差值运算并对差值运算结果进行二值化处理,得到表征各原始图像间像素变化的初始特征差异图;
基于预设尺寸的补丁对所述初始特征差异图进行滤波处理,并将处理后的所述初始特征差异图作为所述初始伪标签;其中,滤波后的所述初始特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,所述装置还包括:
教师网络训练模块,被配置为执行将所述原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至满足预设收敛条件,将迭代结束的教师网络作为目标教师网络;其中,所述预设收敛条件是根据每轮教师网络对应的损失与第二损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的教师模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第二特征差异图;所述教师模型参数与所述学生模型参数不同;
基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,采用所述教师模型损失值对所述模型参数进行修正。
在一些可能的实施例中,所述第一伪标签是通过下述方式确定的:
将所述原始图像对输入所述目标教师网络中,获取所述原始图像对的第二特征差异图;
基于预设尺寸的补丁对所述第二特征差异图进行滤波处理,并将处理后的所述第二特征差异图作为所述第一伪标签;其中,滤波后的所述第二特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
在一些可能的实施例中,执行所述基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,所述教师网络训练模块被配置为:
根据所述交叉熵损失函数确定所述初始伪标签与所述第二特征差异图间的第二交叉熵损失,并根据所述第二交叉熵损失和所述初始伪标签确定所述教师模型损失值。
在一些可能的实施例中,所述装置还包括:
二值化处理模块,被配置为基于预设尺寸的补丁对目标图像进行滤波处理之前,执行基于预设像素值范围对所述目标图像内每一像素点进行二值化处理;所述目标图像包括所述初始特征差异图和所述第二特征差异图;
若所述像素点的像素值处于所述预设像素值范围内,则确定所述像素点的像素值为第一预设值;否则,确定所述像素点的像素值为第二预设值。
下面参照图8来描述根据本申请的这种实施方式的电子设备130。图8显示的电子设备130仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于:上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)1321和/或高速缓存存储器1322,还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325,这样的程序模块1324包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与电子设备130交互的设备通信,和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且,电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解,尽管图中未示出,可以结合电子设备130使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器132,上述指令可由装置400的处理器131执行以完成上述方法。可选地,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器131执行时实现如本申请提供的一种图像检测方法。
在示例性实施例中,本申请提供的一种车图像检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种图像检测方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于图像检测的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在电子设备上运行。然而,本申请的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器,使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像检测方法,其特征在于,所述方法包括:
获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
2.根据权利要求1所述的方法,其特征在于,所述目标学生网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对学生网络进行训练,直至满足预设收敛条件,将迭代结束的学生网络作为目标学生网络;其中,所述预设收敛条件是根据每轮学生网络对应的损失与第一损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的学生模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第一特征差异图;
基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,并根据所述学生模型损失值对所述模型参数进行修正。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一伪标签和所述第一特征差异图确定学生模型损失值,包括:
根据交叉熵损失函数确定所述第一伪标签与所述第一特征差异图间的第一交叉熵损失值;
确定所述第一交叉熵损失值与初始伪标签间的第一损失值以及所述第一交叉熵损失与所述第一伪标签间的第二损失值,并根据所述第一损失和所述第二损失确定所述学生模型损失值;其中,所述初始伪标签是根据下述方式确定的:
对各所述原始图像相同位置像素点的像素值进行差值运算并对差值运算结果进行二值化处理,得到表征各原始图像间像素变化的初始特征差异图;
基于预设尺寸的补丁对所述初始特征差异图进行滤波处理,并将处理后的所述初始特征差异图作为所述初始伪标签;其中,滤波后的所述初始特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
4.根据权利要求3所述的方法,其特征在于,所述目标教师网络是通过下述方式训练的:
将所述原始图像对作为训练样本,采用迭代的方式对教师网络进行训练,直至满足预设收敛条件,将迭代结束的教师网络作为目标教师网络;其中,所述预设收敛条件是根据每轮教师网络对应的损失与第二损失阈值的比对结果确定的,每轮迭代过程如下:
基于本轮迭代前的教师模型参数对各所述原始图像进行特征提取,以确定每一原始图像内各像素点的特征向量;对各原始图像相同位置像素点的特征向量进行归一化处理,以得到表征各所述原始图像间特征差异的第二特征差异图;所述教师模型参数与所述学生模型参数不同;
基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,采用所述教师模型损失值对所述模型参数进行修正。
5.根据权利要求4所述的方法,其特征在于,所述第一伪标签是通过下述方式确定的:
将所述原始图像对输入所述目标教师网络中,获取所述原始图像对的第二特征差异图;
基于预设尺寸的补丁对所述第二特征差异图进行滤波处理,并将处理后的所述第二特征差异图作为所述第一伪标签;其中,滤波后的所述第二特征差异图内每一像素点的像素值为以所述像素点为所述补丁的中心时,所述像素点与所述补丁内其余像素点的像素值的比例。
6.根据权利要求4所述的方法,其特征在于,所述基于所述初始伪标签和所述第二特征差异图确定教师模型损失值,包括:
根据所述交叉熵损失函数确定所述初始伪标签与所述第二特征差异图间的第二交叉熵损失,并根据所述第二交叉熵损失和所述初始伪标签确定所述教师模型损失值。
7.根据权利要求3或5中所述的方法,其特征在于,基于预设尺寸的补丁对目标图像进行滤波处理之前,所述方法还包括:
基于预设像素值范围对所述目标图像内每一像素点进行二值化处理;所述目标图像包括所述初始特征差异图和所述第二特征差异图;
若所述像素点的像素值处于所述预设像素值范围内,则确定所述像素点的像素值为第一预设值;否则,确定所述像素点的像素值为第二预设值。
8.一种图像检测装置,其特征在于,所述装置包括:
图像获取模块,被配置为执行获取待处理图像对,所述待处理图像对包含图像采集装置在不同时刻针对同一区域采集的多张待处理图像;
特征提取模块,被配置为执行将所述待处理图像对输入目标学生网络中,以使所述目标学生网络对各待处理图像进行特征提取,并根据特征提取结果确定各待处理图像间的图像差异;其中,所述目标学生网络是基于原始图像对与第一伪标签间的损失对学生网络进行训练得到的;所述原始图像对包含在不同时刻针对所述区域采集的两张原始图像;所述第一伪标签是将各所述原始图像对输入已训练的目标教师网络得到的,表征所述多张原始图像间的特征差异。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行权利要求1-7中任一项所述的方法包括的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210523931.4A CN115937071A (zh) | 2022-05-13 | 2022-05-13 | 一种图像检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210523931.4A CN115937071A (zh) | 2022-05-13 | 2022-05-13 | 一种图像检测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115937071A true CN115937071A (zh) | 2023-04-07 |
Family
ID=86653078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210523931.4A Pending CN115937071A (zh) | 2022-05-13 | 2022-05-13 | 一种图像检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115937071A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116821966A (zh) * | 2023-08-25 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
CN117333757A (zh) * | 2023-11-16 | 2024-01-02 | 中国科学院空天信息创新研究院 | 图像处理方法、装置、设备及存储介质 |
-
2022
- 2022-05-13 CN CN202210523931.4A patent/CN115937071A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116821966A (zh) * | 2023-08-25 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
CN116821966B (zh) * | 2023-08-25 | 2023-12-19 | 杭州海康威视数字技术股份有限公司 | 机器学习模型训练数据集隐私保护方法、装置及设备 |
CN117333757A (zh) * | 2023-11-16 | 2024-01-02 | 中国科学院空天信息创新研究院 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112560876B (zh) | 解耦度量的单阶段小样本目标检测方法 | |
CN107886048B (zh) | 目标跟踪方法及系统、存储介质及电子终端 | |
CN108664981B (zh) | 显著图像提取方法及装置 | |
CN110717522A (zh) | 图像分类网络的对抗防御方法及相关装置 | |
CN115937071A (zh) | 一种图像检测方法、装置、设备及介质 | |
CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
CN113139543B (zh) | 目标对象检测模型的训练方法、目标对象检测方法和设备 | |
CN111444807B (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
CN110633718B (zh) | 用于确定环境图像中的行驶区域的方法和装置 | |
CN108170751B (zh) | 用于处理图像的方法和装置 | |
CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
CN114581794B (zh) | 地理数字孪生信息获取方法、装置、电子设备及存储介质 | |
CN111914596B (zh) | 车道线检测方法、装置、系统及存储介质 | |
CN111612075A (zh) | 基于联合特征重组和特征混合的兴趣点、描述符提取方法 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN114022865A (zh) | 基于车道线识别模型的图像处理方法、装置、设备和介质 | |
CN110796003B (zh) | 车道线检测方法、装置及电子设备 | |
CN110633598B (zh) | 用于确定环境图像中的行驶区域的方法和装置 | |
CN116310993A (zh) | 目标检测方法、装置、设备及存储介质 | |
CN116310744A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
CN116229419A (zh) | 一种行人检测方法及装置 | |
CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
CN116152542A (zh) | 图像分类模型的训练方法、装置、设备及存储介质 | |
CN114463734A (zh) | 文字识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |