CN117111164B - 基于毫米波的异物检测方法、装置及电子设备 - Google Patents

基于毫米波的异物检测方法、装置及电子设备 Download PDF

Info

Publication number
CN117111164B
CN117111164B CN202311346584.3A CN202311346584A CN117111164B CN 117111164 B CN117111164 B CN 117111164B CN 202311346584 A CN202311346584 A CN 202311346584A CN 117111164 B CN117111164 B CN 117111164B
Authority
CN
China
Prior art keywords
image
image data
training
scanning
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311346584.3A
Other languages
English (en)
Other versions
CN117111164A (zh
Inventor
朱柯弘
朱皓
许朝斌
陈锡
童俊艳
任烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202311346584.3A priority Critical patent/CN117111164B/zh
Publication of CN117111164A publication Critical patent/CN117111164A/zh
Application granted granted Critical
Publication of CN117111164B publication Critical patent/CN117111164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/005Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种基于毫米波的异物检测方法、装置及电子设备。本实施例利用训练目标异物检测模型时所得到的目标图像增强参数,而非是利用设定的图像增强参数对各毫米波图像进行增强,这能够有效增强各毫米波图像上的特征,降低衣物等干扰因素的干扰,得到适用于异物检测的各增强图像;同时本实施例还将各增强图像进行融合,并将获得的融合图像数据输入目标异物检测模型,这能够在异物存在时为目标异物检测模型提供全方位的异物信息,凸显异物与干扰的差异,从而提高异物检测的准确性。

Description

基于毫米波的异物检测方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及基于毫米波的异物检测方法、装置及电子设备。
背景技术
毫米波是波长为1-10mm的电磁波,毫米波在传播过程中具有一定的穿透性,其可以穿透衣物对衣物遮挡下的人体体表的金属、非金属材质进行成像。利用上述特性,基于毫米波实现的设备(简称毫米波设备)比如人体安检仪等通过扫描被测对象比如人体体表得到图像(以下简称毫米波图像),借鉴于毫米波图像,可探测出被测对象比如人体藏匿的异物比如违禁品等。
然而,由于毫米波图像区别于光学图像,不具备色彩信息、纹理性较弱、成像干扰较多,异物和干扰难以区分,异物检测常会出现误差。
发明内容
有鉴于此,本申请提供一种基于毫米波的异物检测方法、装置及电子设备,以提高基于毫米波进行异物检测的准确度。
本申请实施例提供一种基于毫米波的异物检测方法,该方法包括:
获得毫米波图像;毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像;
利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像;
将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
将融合图像输入至目标异物检测模型,以得到异物检测结果。
本申请实施例还提供一种基于毫米波的异物检测方法,该方法包括:
将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据;
获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像;
将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
将融合图像数据输入至待训练的异物检测模型得到输出信息,输出信息包括训练类别和特征图;若训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图,若训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图;
若依据检验结果确定不满足迭代停止条件,则调整异物检测模型的权重参数,并返回执行所述将融合图像数据输入至待训练的异物检测模型步骤;
若依据检验结果确定满足迭代停止条件,则依据当前图像增强参数判断是否满足参数优化迭代停止条件,如果是,则依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型,如果否,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数,返回执行利用当前图像增强参数对训练图像进行图像增强得到训练增强图像的步骤,所述目标异物检测模型被用于异物检测。
本申请实施例还提供一种基于毫米波的异物检测装置,该装置包括:
第一获得模块,用于获得毫米波图像;毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像;
第一增强模块,用于利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像;
第一图像融合模块,用于将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
检测模块,用于将融合图像输入至目标异物检测模型,以得到异物检测结果。
本申请实施例还提供一种基于毫米波的异物检测装置,该装置包括:
标注融合模块,用于将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据;
第二增强模块,用于获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像;
第二图像融合模块,用于将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
训练模块,用于将所述融合图像数据输入至待训练的异物检测模型得到输出信息,所述输出信息包括训练类别和特征图;若所述训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图,若所述训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图;
确定模块,用于若依据检验结果确定不满足迭代停止条件,则调整异物检测模型的权重参数,并返回执行所述将融合图像数据输入至待训练的异物检测模型步骤;若依据检验结果确定满足迭代停止条件,则依据当前图像增强参数判断是否满足参数优化迭代停止条件,如果是,则依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型,如果否,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数,返回执行利用当前图像增强参数对训练图像进行图像增强得到训练增强图像的步骤,所述目标异物检测模型被用于异物检测。
本申请实施例还提供一种电子设备,包括:处理器和用于存储计算机程序指令的存储器,计算机程序指令在被处理器运行时使得处理器执行如上方法的步骤。
本申请实施例还提供一种机器可读存储介质,该存储介质存储有计算机程序指令,当该计算机程序指令被执行时,能够实现如上方法的步骤。
由以上技术方案可以看出,本实施例中,利用训练目标异物检测模型时所得到的目标图像增强参数而非设定的图像增强参数对各毫米波图像进行增强,这能够有效增强各毫米波图像上的特征,降低衣物等干扰因素的干扰,得到适用于异物检测的各增强图像,提高基于毫米波进行异物检测的准确度。
进一步地,本实施例还通过将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系得到正面图像数据,以及将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系得到背面图像数据,并通过对正面图像数据和背面图像数据进行融合得到融合图像数据,将融合图像数据输入至目标异物检测模型进行异物检测,这能够在异物存在时为目标异物检测模型提供全方位的异物信息,比如,借鉴于融合图像数据中涵盖的正面图像数据和背面图像数据之间的关联性,其能检测出除正面、背面之外的侧面或者其他角度放置的异物,实现了全方位的异物检测;并且借助于融合图像数据涵盖的正面图像数据和背面图像数据(相当于涵盖了被测对象所携带的异物的全部信息),其能凸显异物与干扰的差异,进而提高异物检测的准确性。
附图说明
图1为本申请实施例提供的基于毫米波的异物检测方法的流程图。
图2为本申请实施例提供的毫米波设备对被测对象进行扫描的示意图。
图3为本申请实施例提供的基于毫米波的异物检测方法的流程图。
图4为本申请实施例提供的图像增强示意图。
图5为本申请实施例提供正面目标图像和背面目标图像的示意图。
图6为本申请实施例提供的装置结构示意图。
图7为本申请实施例提供的另一装置结构示意图。
图8为本申请实施例提供的电子设备结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例标识在附图中。下面的描述涉及附图时,除非另有标识,不同附图中的相同数字标识相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地标识其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
参见图1,图1为本申请实施例提供的方法流程示意图。可选地,该流程可应用于毫米波设备或者其他电子设备,本实施例并不具体限定。
如图1所示,该流程可包括以下步骤:
S101,获得毫米波图像;毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像。
举例来说,以人体体表为被测对象,如图2所示,毫米波设备对人体体表正面每间隔30°扫描一次,最终实现了对人体体表正面进行不同角度扫描,得到各个扫描角度下的毫米波图像。类似地,毫米波设备也可对人体体表背面每间隔30°扫描一次,实现对人体体表背面进行不同角度扫描,得到各个扫描角度下的毫米波图像。
需要说明的是,在本实施例中,作为一个实施例,毫米波设备对被测对象正面进行扫描的各扫描角度与对被测对象背面进行扫描的各扫描角度中存在至少一个相同的扫描角度。
作为另一个实施例,毫米波设备对被测对象正面进行扫描的各扫描角度不同于对被测对象背面进行扫描的各扫描角度。
S102,利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像。
也就是说,本实施例是利用训练目标异物检测模型时所得到的目标图像增强参数,而非是利用设定的图像增强参数,来对各毫米波图像进行增强,这能够有效增强各毫米波图像上的特征,降低衣物等干扰因素的干扰,得到适用于异物检测的各增强图像。至于如何在训练目标异物检测模型时获得目标图像增强参数,后文详细阐述,此处暂不赘述。
S103,将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据。
可选地,本实施例中,第一坐标系为与被测对象正面垂直90°的成像中心坐标系,亦可称为正面标准坐标系。第一坐标系为与被测对象背面垂直90°的成像中心坐标系,亦可称为背面标准坐标系。结合图2以被测对象为人体表面来举例介绍第一坐标系和第二坐标系,如图2所示,第一坐标系为与人体正面垂直90°的成像中心坐标系,第二坐标系为与人体背面垂直-90°的成像中心坐标系。
本实施例中,将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系的具体实现方式有很多,比如,作为一个实施例,针对每一毫米波图像,依据毫米波设备扫描获得该毫米波图像时与被测对象正面的夹角(记为毫米波设备的扫描角度),确定该毫米波图像对应的增强图像所处的图像坐标系与第一坐标系之间的映射关系,利用该映射关系将该毫米波图像对应的增强图像中的每个像素点映射至第一坐标系,最终得到该毫米波图像对应的增强图像的映射图像。
基于上面描述,上述正面图像数据可由各增强图像的映射图像组成。这里,每个映射图像相当于一个图层,则正面图像数据可由多个图层组成。
将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第二坐标系的具体实现方式类似,此处不再赘述。
作为一个实施例,如图2所示,第一坐标系和第二坐标系具有水平翻转映射关系,上述步骤S103中提及的对正面图像数据和背面图像数据进行融合,得到融合图像数据的具体实现方式可为,依据水平翻转映射关系,将正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和背面图像数据进行融合,得到融合图像数据。或者,上述对正面图像数据和背面图像数据进行融合,得到融合图像数据的具体实现方式还可为,依据水平翻转映射关系,将背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和正面图像数据进行融合,得到融合图像数据。这里,融合图像数据相当于一个矩阵数据。
S104,将融合图像输入至目标异物检测模型,以得到异物检测结果。
本实施例中,获得目标异物检测模型的具体实现方式会在后文阐述,此处不再赘述。
至此,完成图1所示流程。
通过图1所示流程可以看出,本实施例利用训练目标异物检测模型时所得到的目标图像增强参数而非设定的图像增强参数对各毫米波图像进行增强,这能够有效增强各毫米波图像上的特征,降低衣物等干扰因素的干扰,得到适用于异物检测的各增强图像,提高基于毫米波进行异物检测的准确度。
进一步地,本实施例还通过将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系得到正面图像数据,以及将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系得到背面图像数据,并通过对正面图像数据和背面图像数据进行融合得到融合图像数据,将融合图像数据输入至目标异物检测模型进行异物检测,这能够在异物存在时为目标异物检测模型提供全方位的异物信息,凸显异物与干扰的差异,从而提高异物检测的准确性。
下面对如何训练目标异物检测模型进行描述:
参见图3,图3为本申请实施例提供的另一方法流程示意图。如图3所示,该流程可包括以下步骤:
S301,将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据。
上述步骤S301的实施目的在于,相比于直接将各训练图像的标签直接输入模型进行异物检测模型训练,通过上述步骤S301,可以减轻标签误差对异物检测模型训练的影响,从而提高获得的目标异物检测模型的检测准确性。
可选地,本实施例中,各训练图像的标注结果是指各训练图像中异物的位置信息(比如可表示一个标注框)。
作为一个实施例,上述将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,在具体实现时有多种实现方式,比如,将对样本对象正面扫描所得到的各训练图像的标注结果映射至样本对象正面对应的第一坐标系,得到对应的标注框,对第一坐标系中满足第一设定交并比IOU条件的标注框进行融合,得到正面标注融合数据。
可选地,各训练图像的标注结果映射至第一坐标系之后,会得到多个标注框,遍历各标注框,计算当前遍历到的标注框和其它每个标注框的交并比,假若当前遍历到的标注框与至少一个其它标注框的交并比满足第一设定交并比IOU条件,则利用最小外接框的方式确定至少包含当前遍历到的标注框、以及交并比与当前遍历到的标注框满足第一设定交并比IOU条件的其它标注框的最小外接框,该确定出的最小外接框即为正面标注融合数据。
类似地,本实施例中,上述背面标注融合数据的确定方式类似正面标注融合数据的确定方式,比如,将对样本对象背面扫描所得到的各训练图像的标注结果映射至样本对象背面对应的第二坐标系,得到对应的标注框,遍历各标注框,计算当前遍历到的标注框和其它每个标注框的交并比,假若当前遍历到的标注框与至少一个其它标注框的交并比满足第二设定交并比IOU条件,则利用最小外接框的方式确定至少包含当前遍历到的标注框、以及交并比与当前遍历到的标注框满足第一设定交并比IOU条件的其它标注框的最小外接框,该确定出的最小外接框即为背面标注融合数据。
可选地,在本实施例中,第一设定IOU条件和第二设定IOU条件可根据具体应用场景设定,本申请实施例不作具体限定。
S302,获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数。
本实施例中,将毫米波图像增强过程参数化,即通过图像增强参数表达式进行表示。这里,图像增强参数表达式中包括多个待优化的图像增强参数,通过图像增强参数的优化,最终获得上述目标图像增强参数。
上述图像增强参数表达式可为设定的一次函数、二次函数、指数函数等,只要上述函数包括可优化的图像增强参数且符合图像增强过程即可,本实施例对上述函数的具体形式不作具体限定。
举例来说,图像增强参数表达式为下式:
其中,(a,b,c,d)为待优化的图像增强参数,x为各训练图像上像素点的像素值。
上述获得目标图像增强参数的过程就是获得最优的a,b,c,d四个参数的过程。
如图4所示,选用上述图像增强参数表达式(1),能够提供丰富的非线性映射区间,从而通过优化(a,b,c,d),能够获得准确表达毫米波图像增强过程的参数表达式。
本实施例中,通过图像增强参数化之后,调整待优化的图像增强参数,从而获得最合适用于增强图像的图像增强参数,相比于采用设定的固定的图像增强参数,图像增强效果更好。
S303,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像。
S304,将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据。
本实施例中,步骤S304与上述步骤S103类似,此处不再赘述。
S305,将融合图像数据输入至待训练的异物检测模型得到输出信息,输出信息包括训练类别和特征图;若训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图,若训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图。
本实施例中,在训练类别为样本对象正面,以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图的目的在于:背面标注融合数据作为忽略区域,不参与梯度回传,而非作为负样本区域参与梯度回传,能够提高该模型的正样本的学习能力,降低对正样本的抑制,使模型向更准确的预测方向优化。
同样地,在训练类别为样本对象背面时,正面标注融合数据作为忽略区域,不参与梯度回传,而非作为负样本区域参与梯度回传,能够提高该模型的正样本的学习能力,降低对正样本的抑制,使模型向更准确的预测方向优化。
作为一个实施例,若训练类别为样本对象正面,则在之前已输出的特征图与设定背面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定正面目标图像(参照图5所示)匹配,则确定满足迭代停止条件;或者,若训练类别为样本对象背面,则在之前已输出的特征图与设定正面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定背面目标图像(参照图5所示)匹配,则确定满足迭代停止条件。此时,该异物检测模型正面检测能力学习完毕,且被面检测能力也学习完毕。
作为一个实施例,上述异物检测模型输出的特征图与设定正面目标图像匹配是指特征图包括与设定正面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域;异物检测模型输出的特征图与设定背面目标图像匹配是指特征图包括与设定背面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域。
S306,依据检验结果判断是否满足迭代停止条件。
若步骤S306的执行结果为否,则调整异物检测模型的权重参数(亦可称为该模型的模型网络参数),并返回上述步骤S305,反复迭代训练直至S306的执行结果为是,即,此时,在当前迭代优化参数下异物检测模型已经收敛。若步骤S306的执行结果为是,则执行下述步骤S307。
S307,依据当前图像增强参数判断是否满足参数优化迭代停止条件。
本实施例中,满足参数优化迭代停止条件指的是,当前图像增强参数与当前图像增强参数的被优化前的图像增强参数之间的差值小于设定阈值。
若步骤S307的执行结果为是,则执行下述步骤S308。若步骤S307的执行结果为否,则执行下述步骤S309。
S308,依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型。
本实施例中,上述步骤S308具体实现方式可为,比如,直接将当前图像增强参数确定为上述目标图像增强参数,相应地,此时,直接将当前训练出的异物检测模型确定目标异物检测模型。
或者,依据设定进化算法优化对当前图像增强参数再优化一次,将再优化后得到的图像增强参数确定为上述目标图像增强参数。并利用再优化后得到的图像增强参数对异物检测模型再训练一次,将再训练后的异物检测模型确定为上述目标异物检测模型。
本实施例中,通过上述方式反复优化图像增强参数,能够得到最合适的目标图像增强参数,从而利用目标图像增强参数,能够有效增强各毫米波图像上的特征,以实现降低衣物等干扰因素的干扰的目的。
步骤S309,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数。
本实施例中,设定进化算法可采用遗传进化算法、网格搜索、贝叶斯优化等常规算法。
至此,完成图3所示流程。
通过图3所示流程,通过将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据,以能够减轻各训练图像的标注结果的误差对异物检测模型训练的影响,从而提高获得的目标异物检测模型的检测准确性。
进一步地,通过上述正样本区域、负样本区域以及忽略区域的分配,使得模型训练过程中,降低对正样本的抑制,使模型向更准确的预测方向优化,从而使获得的性能限制增强的目标异物检测模型。
为了便于理解上述目标异物检测模型和上述目标图像增强参数的具体获得过程,下面通过具体实施例进行举例描述。
举例来说,图像增强参数表达式为下式:
其中,(a,b,c,d)为待优化的图像增强参数,x为各训练图像上像素点的像素值。
该方法包括如下步骤:
1、将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据。
2、依据融合图像数据、正面标注融合数据和背面标注融合数据,设定正面目标图像和背面目标图像。
具体地,正面目标图像和背面目标图像的具体形式如图5所示。
3、待优化的图像增强参数(a,b,c,d)的初始设定值为(a1,b1,c1,d1),将(a1,b1,c1,d1)作为当前图像增强参数。
4、利用当前图像增强参数对各训练图像进行增强,得到增强图像,基于各增强图像获得融合图像数据。
本步骤中,利用当前图像增强参数对各训练图像进行增强,得到增强图像的具体实现方式为,将(a1,b1,c1,d1)带入上述图像增强参数表达式(1)中,利用上述图像增强参数表达式计算各增强图像上的每一个像素点x对应的f(x),从而得到各增强图像。
本步骤中,基于各增强图像获得融合图像数据的具体实现方式,参照上述步骤S304与上述步骤S103。
5、将融合图像数据、正面目标图像和背面目标图像输入异物检测模型,训练异物检测模型,直至异物检测模型收敛。
6、依据(a1,b1,c1,d1)数判断是否满足参数优化迭代停止条件,由于(a1,b1,c1,d1)为初始值,(a1,b1,c1,d1)无法满足参数优化迭代停止条件,则利用遗传进化算法优化(a1,b1,c1,d1),得到(a2,b2,c2,d2),将(a2,b2,c2,d2)作为当前图像增强参数。
在上述步骤6之后,重复执行上述步骤4和步骤5,直至确定参数优化迭代停止条件。
假如在确定满足参数优化迭代停止条件时,图像增强参数(a,b,c,d)已经优化到(a10,b10,c10,d10),则可以直接将(a10,b10,c10,d10)确定为目标图像增强参数,相应地,此时,直接将当前训练出的异物检测模型确定目标异物检测模型。
或者,对(a10,b10,c10,d10)再优化一次,得到(a11,b11,c11,d11),并且重复执行上述步骤4和步骤5,以再训练一次异物检测模型,将再训练后得到的异物检测模型确定为目标异物检测模型,(a11,b11,c11,d11)为目标图像增强参数。
至此,完成本实施例提供的方法描述,下面对本申请实施例提供的装置进行描述:
参见图6,图6为本申请一示例性实施例提供的基于毫米波的异物检测装置的结构示意图。如图6所示,该基于毫米波的异物检测装置600包括:数据第一获得模块601、第一增强模块602和第一图像融合模块603、和检测模块604。
第一获得模块601,用于获得毫米波图像;所述毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像;
第一增强模块602,用于利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像;
第一图像融合模块603,用于将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
检测模块604,用于将所述融合图像输入至所述目标异物检测模型,以得到异物检测结果。
作为一个实施例,毫米波设备对被测对象正面进行扫描的各扫描角度不同于对被测对象背面进行扫描的各扫描角度;或者,毫米波设备对被测对象正面进行扫描的各扫描角度与对被测对象背面进行扫描的各扫描角度中存在至少一个相同的扫描角度。
作为一个实施例,第一坐标系和第二坐标系具有水平翻转映射关系;
对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据水平翻转映射关系,将正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和背面图像数据进行融合,得到融合图像数据;
或者,
依据水平翻转映射关系,将背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和正面图像数据进行融合,得到融合图像数据。
参见图7,图7为本申请一示例性实施例提供的基于毫米波的异物检测装置的结构示意图。如图7所示,该基于毫米波的异物检测装置700包括:标注融合模块701、第二增强模块702、第二图像融合模块703、训练模块704和确定模块705。
标注融合模块701,用于将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据;
第二增强模块702,用于获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像;
第二图像融合模块703,用于将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
训练模块704,用于将融合图像数据输入至待训练的异物检测模型得到输出信息,输出信息包括训练类别和特征图;若训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图,若训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验特征图;
确定模块705,用于若依据检验结果确定不满足迭代停止条件,则调整异物检测模型的权重参数,并返回执行将融合图像数据输入至待训练的异物检测模型步骤;
若依据检验结果确定满足迭代停止条件,则依据当前图像增强参数判断是否满足参数优化迭代停止条件,如果是,则依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型,如果否,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数,返回执行利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像步骤。
作为一个实施例,将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据包括:
将对样本对象正面扫描所得到的各训练图像的标注结果映射至样本对象正面对应的第一坐标系,得到对应的标注框;对第一坐标系中满足第一设定交并比IOU条件的标注框进行融合,得到正面标注融合数据;
将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据包括:
将对样本对象背面扫描所得到的各训练图像的标注结果映射至样本对象背面对应的第二坐标系,得到对应的标注框;对第二坐标系中满足第二设定交并比IOU条件的标注框进行融合,得到背面标注融合数据。
作为一个实施例,第一坐标系和第二坐标系具有水平翻转映射关系;
对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据水平翻转映射关系,将正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和背面图像数据进行融合,得到融合图像数据;
或者,
依据水平翻转映射关系,将背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和正面图像数据进行融合,得到融合图像数据。
作为一个实施例,训练出的异物检测模型满足迭代停止条件包括:当基于融合图像数据对异物检测模型进行正面目标训练时,异物检测模型输出的特征图与设定正面目标图像匹配,则确定满足迭代停止条件;当基于融合图像数据对异物检测模型进行背面目标训练时,异物检测模型输出的特征图与设定背面目标图像匹配,则确定满足迭代停止条件。
作为一个实施例,依据检验结果确定满足迭代停止条件包括:
若训练类别为样本对象正面,则在之前已输出的特征图与设定背面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定正面目标图像匹配,则确定满足迭代停止条件;或者,若训练类别为样本对象背面,则在之前已输出的特征图与设定正面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定背面目标图像匹配,则确定满足迭代停止条件;
其中,异物检测模型输出的特征图与设定正面目标图像匹配是指特征图包括与设定正面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域;异物检测模型输出的特征图与设定背面目标图像匹配是指特征图包括与设定背面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域。
请参见图8,为本申请一示例性实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器801、通信接口802、存储器803和通信总线80。处理器801、通信接口802以及存储器803通过通信总线80完成相互间的通信。其中,存储器803上存放有计算机程序;处理器801可以通过执行存储器803上所存放的程序,执行上述实施例描述的方法的步骤。该电子设备根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (12)

1.一种基于毫米波的异物检测方法,其特征在于,所述方法包括:
获得毫米波图像;所述毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像;
利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像;其中,在模型训练过程中,被训练的异物检测模型的权重参数被调整且待优化的图像增强参数被迭代优化,所述目标异物检测模型和目标图像增强参数是在被训练的异物检测模型已经收敛,并且被迭代优化的图像增强参数满足参数优化迭代停止条件时确定的;
将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
将所述融合图像输入至所述目标异物检测模型,以得到异物检测结果。
2.根据权利要求1所述的方法,其特征在于,所述毫米波设备对被测对象正面进行扫描的各扫描角度不同于对被测对象背面进行扫描的各扫描角度;或者,所述毫米波设备对被测对象正面进行扫描的各扫描角度与对被测对象背面进行扫描的各扫描角度中存在至少一个相同的扫描角度。
3.根据权利要求1所述的方法,其特征在于,所述第一坐标系和所述第二坐标系具有水平翻转映射关系;
所述对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据所述水平翻转映射关系,将所述正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和所述背面图像数据进行融合,得到融合图像数据;
或者,
依据所述水平翻转映射关系,将所述背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和所述正面图像数据进行融合,得到融合图像数据。
4.一种基于毫米波的异物检测方法,其特征在于,所述方法包括:
将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据;
获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像;
将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
将所述融合图像数据输入至待训练的异物检测模型得到输出信息,所述输出信息包括训练类别和特征图;若所述训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图,若所述训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图;
若依据检验结果确定不满足迭代停止条件,则调整异物检测模型的权重参数,并返回执行将融合图像数据输入至待训练的异物检测模型步骤;
若依据检验结果确定满足迭代停止条件,则依据当前图像增强参数判断是否满足参数优化迭代停止条件,如果是,则依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型,如果否,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数,返回执行利用当前图像增强参数对训练图像进行图像增强得到训练增强图像的步骤,所述目标异物检测模型被用于异物检测。
5.根据权利要求4所述的方法,其特征在于,所述将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据包括:
将对样本对象正面扫描所得到的各训练图像的标注结果映射至样本对象正面对应的第一坐标系,得到对应的标注框;对所述第一坐标系中满足第一设定交并比IOU条件的标注框进行融合,得到正面标注融合数据;
所述将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据包括:
将对样本对象背面扫描所得到的各训练图像的标注结果映射至样本对象背面对应的第二坐标系,得到对应的标注框;对所述第二坐标系中满足第二设定交并比IOU条件的标注框进行融合,得到背面标注融合数据。
6.根据权利要求4所述的方法,其特征在于,所述第一坐标系和所述第二坐标系具有水平翻转映射关系;
所述对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据所述水平翻转映射关系,将所述正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和所述背面图像数据进行融合,得到融合图像数据;
或者,
依据所述水平翻转映射关系,将所述背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和所述正面图像数据进行融合,得到融合图像数据。
7.根据权利要求4所述的方法,其特征在于,所述依据检验结果确定满足迭代停止条件包括:
若所述训练类别为样本对象正面,则在之前已输出的特征图与设定背面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定正面目标图像匹配,则确定满足迭代停止条件;或者,若所述训练类别为样本对象背面,则在之前已输出的特征图与设定正面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定背面目标图像匹配,则确定满足迭代停止条件;
其中,所述异物检测模型输出的特征图与设定正面目标图像匹配是指所述特征图包括与设定正面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域;所述异物检测模型输出的特征图与设定背面目标图像匹配是指所述特征图包括与设定背面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域。
8.一种基于毫米波的异物检测装置,其特征在于,所述装置包括:
第一获得模块,用于获得毫米波图像;所述毫米波图像包括:毫米波设备对被测对象正面进行不同角度扫描得到的毫米波图像、以及对被测对象背面进行不同角度扫描得到的毫米波图像;
第一增强模块,用于利用训练目标异物检测模型时所得到的目标图像增强参数,对获得的各毫米波图像进行增强,得到各毫米波图像对应的增强图像;其中,在模型训练过程中,被训练的异物检测模型的权重参数被调整且待优化的图像增强参数被迭代优化,所述目标异物检测模型和目标图像增强参数是在被训练的异物检测模型已经收敛,并且被迭代优化的图像增强参数满足参数优化迭代停止条件时确定的;
在模型训练过程中,被训练的异物检测模型是以样本对象对应的正面标注融合数据和背面标注融合数据来进行训练的;所述样本对象对应的正面标注融合数据通过对样本对象正面扫描所得到的各训练图像的标注结果进行融合而得到;所述样本对象对应的背面标注融合数据通过对样本对象背面扫描所得到的各训练图像的标注结果进行融合而得到;
第一图像融合模块,用于将对被测对象正面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象正面对应的第一坐标系,得到正面图像数据;将对被测对象背面扫描所得到的各毫米波图像对应的增强图像中的像素点映射至被测对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
检测模块,用于将所述融合图像输入至所述目标异物检测模型,以得到异物检测结果。
9.根据权利要求8所述的装置,其特征在于,所述毫米波设备对被测对象正面进行扫描的各扫描角度不同于对被测对象背面进行扫描的各扫描角度;或者,所述毫米波设备对被测对象正面进行扫描的各扫描角度与对被测对象背面进行扫描的各扫描角度中存在至少一个相同的扫描角度;
和/或,
所述第一坐标系和所述第二坐标系具有水平翻转映射关系;
所述对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据所述水平翻转映射关系,将所述正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和所述背面图像数据进行融合,得到融合图像数据;
或者,
依据所述水平翻转映射关系,将所述背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和所述正面图像数据进行融合,得到融合图像数据。
10.一种基于毫米波的异物检测装置,其特征在于,所述装置包括:
标注融合模块,用于将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据,将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据;
第二增强模块,用于获得待优化的图像增强参数,待优化的图像增强参数的初始值为设定值;以待优化的图像增强参数作为当前图像增强参数,利用当前图像增强参数对训练图像进行图像增强,得到训练增强图像;
第二图像融合模块,用于将对样本对象正面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象正面对应的第一坐标系,得到正面图像数据;将对样本对象背面扫描所得到的各训练图像对应的增强图像中的像素点映射至样本对象背面对应的第二坐标系,得到背面图像数据;对正面图像数据和背面图像数据进行融合,得到融合图像数据;
训练模块,用于将所述融合图像数据输入至待训练的异物检测模型得到输出信息,所述输出信息包括训练类别和特征图;若所述训练类别为样本对象正面,则以正面标注融合数据作为正样本区域,背面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图,若所述训练类别为样本对象背面,则以背面标注融合数据作为正样本区域,正面标注融合数据作为忽略区域,剩余无标注区域作为负样本区域检验所述特征图;
确定模块,用于若依据检验结果确定不满足迭代停止条件,则调整异物检测模型的权重参数,并返回执行将融合图像数据输入至待训练的异物检测模型步骤;
若依据检验结果确定满足迭代停止条件,则依据当前图像增强参数判断是否满足参数优化迭代停止条件,如果是,则依据当前图像增强参数确定目标图像增强参数,并依据当前训练出的异物检测模型确定目标异物检测模型,如果否,采用设定进化算法优化当前图像增强参数,以优化后的图像增强参数作为当前图像增强参数,返回执行利用当前图像增强参数对训练图像进行图像增强得到训练增强图像的步骤,所述目标异物检测模型被用于异物检测。
11.根据权利要求10所述的装置,其特征在于,所述将对样本对象正面扫描所得到的各训练图像的标注结果进行融合,得到正面标注融合数据包括:
将对样本对象正面扫描所得到的各训练图像的标注结果映射至样本对象正面对应的第一坐标系,得到对应的标注框;对所述第一坐标系中满足第一设定交并比IOU条件的标注框进行融合,得到正面标注融合数据;
所述将对样本对象背面扫描所得到的各训练图像的标注结果进行融合,得到背面标注融合数据包括:
将对样本对象背面扫描所得到的各训练图像的标注结果映射至样本对象背面对应的第二坐标系,得到对应的标注框;对所述第二坐标系中满足第二设定交并比IOU条件的标注框进行融合,得到背面标注融合数据;
和/或,
所述第一坐标系和所述第二坐标系具有水平翻转映射关系;
所述对正面图像数据和背面图像数据进行融合,得到融合图像数据包括:
依据所述水平翻转映射关系,将所述正面图像数据转换至第二坐标系下,并将转换后的正面图像数据和所述背面图像数据进行融合,得到融合图像数据;
或者,
依据所述水平翻转映射关系,将所述背面图像数据转换至第一坐标系下,并将转换后的背面图像数据和所述正面图像数据进行融合,得到融合图像数据;
和/或,
所述训练出的异物检测模型满足迭代停止条件包括:当基于所述融合图像数据对异物检测模型进行正面目标训练时,所述异物检测模型输出的特征图与设定正面目标图像匹配,则确定满足迭代停止条件;当基于所述融合图像数据对异物检测模型进行背面目标训练时,所述异物检测模型输出的特征图与设定背面目标图像匹配,则确定满足迭代停止条件;
其中,
所述依据检验结果确定满足迭代停止条件包括:
若所述训练类别为样本对象正面,则在之前已输出的特征图与设定背面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定正面目标图像匹配,则确定满足迭代停止条件;或者,若所述训练类别为样本对象背面,则在之前已输出的特征图与设定正面目标图像匹配的前提下,若检验结果为异物检测模型当前输出的特征图与设定背面目标图像匹配,则确定满足迭代停止条件;
其中,所述异物检测模型输出的特征图与设定正面目标图像匹配是指所述特征图包括与设定正面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域;所述异物检测模型输出的特征图与设定背面目标图像匹配是指所述特征图包括与设定背面目标图像中的正样本区域匹配的区域、与忽略区域匹配的区域、以及与负样本区域匹配的区域。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至7任一项所述的方法的步骤。
CN202311346584.3A 2023-10-17 2023-10-17 基于毫米波的异物检测方法、装置及电子设备 Active CN117111164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311346584.3A CN117111164B (zh) 2023-10-17 2023-10-17 基于毫米波的异物检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311346584.3A CN117111164B (zh) 2023-10-17 2023-10-17 基于毫米波的异物检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN117111164A CN117111164A (zh) 2023-11-24
CN117111164B true CN117111164B (zh) 2024-01-26

Family

ID=88796789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311346584.3A Active CN117111164B (zh) 2023-10-17 2023-10-17 基于毫米波的异物检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN117111164B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046877A (zh) * 2019-12-20 2020-04-21 北京无线电计量测试研究所 一种毫米波图像可疑物品检测方法和系统
CN112561881A (zh) * 2020-12-16 2021-03-26 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
CN113657270A (zh) * 2021-08-17 2021-11-16 江苏熙枫智能科技有限公司 一种基于深度学习图像处理技术的无人机追踪方法
CN114612764A (zh) * 2022-02-16 2022-06-10 厦门瑞为信息技术有限公司 一种基于毫米波图像的物品检测方法、装置及可读介质
WO2022161357A1 (zh) * 2021-01-29 2022-08-04 北京有竹居网络技术有限公司 基于数据增强的训练样本获取方法、装置和电子设备
WO2023121846A1 (en) * 2021-12-23 2023-06-29 Ventana Medical Systems, Inc. Adversarial robustness of deep learning models in digital pathology
CN116612347A (zh) * 2023-04-28 2023-08-18 深圳市即构科技有限公司 基于考场违规的深度学习模型训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301733B2 (en) * 2018-05-18 2022-04-12 Google Llc Learning data augmentation strategies for object detection
US11232328B2 (en) * 2020-01-31 2022-01-25 Element Ai Inc. Method of and system for joint data augmentation and classification learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046877A (zh) * 2019-12-20 2020-04-21 北京无线电计量测试研究所 一种毫米波图像可疑物品检测方法和系统
CN112561881A (zh) * 2020-12-16 2021-03-26 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
WO2022161357A1 (zh) * 2021-01-29 2022-08-04 北京有竹居网络技术有限公司 基于数据增强的训练样本获取方法、装置和电子设备
CN113657270A (zh) * 2021-08-17 2021-11-16 江苏熙枫智能科技有限公司 一种基于深度学习图像处理技术的无人机追踪方法
WO2023121846A1 (en) * 2021-12-23 2023-06-29 Ventana Medical Systems, Inc. Adversarial robustness of deep learning models in digital pathology
CN114612764A (zh) * 2022-02-16 2022-06-10 厦门瑞为信息技术有限公司 一种基于毫米波图像的物品检测方法、装置及可读介质
CN116612347A (zh) * 2023-04-28 2023-08-18 深圳市即构科技有限公司 基于考场违规的深度学习模型训练方法

Also Published As

Publication number Publication date
CN117111164A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
US20190205665A1 (en) Method, apparatus, and device for determining lane line on road
US12014258B2 (en) Method and device for optimizing simulation data, and computer-readable storage medium
JP2021532435A (ja) 目標検出および目標検出ネットワークのトレーニング
CN112966696A (zh) 一种处理三维点云的方法、装置、设备以及存储介质
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
Wu et al. A reinforcement learning-based reconstruction method for complex defect profiles in MFL inspection
US20230004797A1 (en) Physics-guided deep multimodal embeddings for task-specific data exploitation
Ebert-Uphoff et al. CIRA Guide to Custom Loss Functions for Neural Networks in Environmental Sciences--Version 1
CN110909664A (zh) 一种人体关键点识别方法、装置及电子设备
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN109858530B (zh) 一种基于复合金字塔的旋转目标检测方法
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN117111164B (zh) 基于毫米波的异物检测方法、装置及电子设备
WO2024001804A1 (zh) 三维目标检测方法、计算机设备、存储介质及车辆
CN114998330B (zh) 无监督的晶圆缺陷检测方法、装置、设备及存储介质
CN116645608A (zh) 一种基于YOLOX-Tiny有偏特征融合网络的遥感目标检测
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN105137449A (zh) 基于图像处理的激光成像探测平台
Hu Study on the Lightweighting Strategy of Target Detection Model with Deep Learning
CN105068084A (zh) 一种基于图像处理的激光成像探测方法
Zhang et al. 3D car-detection based on a Mobile Deep Sensor Fusion Model and real-scene applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant