CN113139952B - 一种图像处理的方法及装置 - Google Patents

一种图像处理的方法及装置 Download PDF

Info

Publication number
CN113139952B
CN113139952B CN202110501860.3A CN202110501860A CN113139952B CN 113139952 B CN113139952 B CN 113139952B CN 202110501860 A CN202110501860 A CN 202110501860A CN 113139952 B CN113139952 B CN 113139952B
Authority
CN
China
Prior art keywords
image
target
target object
connected domain
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110501860.3A
Other languages
English (en)
Other versions
CN113139952A (zh
Inventor
黄振杰
田之进
张俊明
李碧丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huajia Software Co ltd
Guangzhou Jiadu Technology Software Development Co ltd
PCI Technology Group Co Ltd
PCI Technology and Service Co Ltd
Original Assignee
Guangzhou Huajia Software Co ltd
Guangzhou Jiadu Technology Software Development Co ltd
PCI Technology Group Co Ltd
PCI Technology and Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huajia Software Co ltd, Guangzhou Jiadu Technology Software Development Co ltd, PCI Technology Group Co Ltd, PCI Technology and Service Co Ltd filed Critical Guangzhou Huajia Software Co ltd
Priority to CN202110501860.3A priority Critical patent/CN113139952B/zh
Publication of CN113139952A publication Critical patent/CN113139952A/zh
Application granted granted Critical
Publication of CN113139952B publication Critical patent/CN113139952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理的方法及装置,其中所述方法包括:对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;分别对各目标连通域进行目标对象的检测;当检测出目标对象以后,根据所述目标对象生成目标图像。通过连通域检测与对象检测相结合的技术来检测出目标对象,提高目标对象的检测效率和检测精度。

Description

一种图像处理的方法及装置
技术领域
本申请实施例涉及数据处理技术,尤其涉及一种图像处理的方法及装置。
背景技术
X光安检机已被广泛应用于交通、物流等领域,社会的高速发展对安检速度的要求越来越高,而传统的X光图像的筛选一直依赖于人工,效率低、耗时久、工作量大,漏检问题还时有发生。特别在遇到客流高峰时,若X光安检机通道内的包裹有多个且相互堆叠,则产生的X射线图像也是多个包裹堆叠后所形成的混合图像。在判图员发现X光图片中有疑似禁限带物品时,因多个包裹混叠,很难直接根据可见光包裹视频监控找到包裹的主人,只能逐一询问,既浪费时间又可能错过真正目标物品所在的包裹的主人。
另一方面,现有的通道式X射线检查设备是直接在现场安检点将X射线图像以卷轴形式呈现给现场判图员,因为判图员不知道什么时候有包裹图像出来,需要一直盯着屏幕,比如10秒内在第1秒和第10秒才出现第一个和第二个包裹,但卷轴在这10秒内都是在屏幕上滚动,安检员都需要盯着屏幕,对判图员的精力存在很大浪费。
发明内容
本申请提供一种图像处理的方法及装置,以解决现有技术中将多个包裹堆叠后所形成的混合图像呈现给判图员,带来的判图效率、准确率低下和耗费人员精力的问题。
第一方面,本申请实施例提供了一种图像处理的方法,所述方法包括:
对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;
若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;
分别对各目标连通域进行目标对象的检测;
当检测出目标对象以后,根据所述目标对象生成目标图像。
可选地,所述方法还包括:
按照负载均衡规则从多个候选设备中选取目标设备;
将所述目标图像分发到所述目标设备中。
可选地,所述方法还包括:
若当前遍历到的原始图像为空白图像,则丢弃所述空白图像。
可选地,所述对所述原始图像进行连通域检测,以获得一个或多个目标连通域,包括:
对所述原始图像进行灰度化以及二值化处理,得到二值图像;
对所述二值图像进行去噪处理;
对去噪处理后的二值图像进行连通域分析,获得一个或多个候选连通域;
过滤掉面积小于设定面积阈值的候选连通域,并将剩下的连通域作为目标连通域。
可选地,所述分别对各目标连通域进行目标对象的检测,包括:
根据所述目标连通域将所述原始图像分割成图像分片集合;
对所述图像分片集合中各图像分片分别进行去干扰处理;
分别将去干扰处理后的各图像分片输入至预先生成的目标检测模型中,并获得所述目标检测模型针对各图像分片输出的目标对象的检测结果。
可选地,在所述分别将去干扰处理后的各图像分片输入至预先生成的目标检测模型中,并获得所述目标检测模型针对各图像分片输出的目标对象的检测结果之后,还包括:
根据所述检测结果,判断各目标连通域是否存在漏检。
可选地,所述检测结果包括目标对象的位置;所述根据所述检测结果,判断各目标连通域是否存在漏检,包括:
根据各目标对象的位置,判断当前目标连通域中是否检测出目标对象;
若当前目标连通域中没有检测出目标对象,则判定当前目标连通域存在漏检,并将所述当前目标连通域作为目标对象;
若当前目标连通域中检测出目标对象,则定位当前目标连通域对应的图像分片;
将当前目标连通域对应的图像分片中的检测出的所述目标对象对应的像素值设置为背景像素值,然后对该图像分片进行连通域检测;
若检测出连通域,则判定所述当前目标连通域存在漏检,并将检测出的连通域作为目标对象。
可选地,所述当检测出目标对象以后,根据所述目标对象生成目标图像,包括:
判断检测出的目标对象为完整目标对象或不完整目标对象;
对所述完整目标对象生成目标图像。
可选地,所述判断检测出的目标对象为完整目标对象或不完整目标对象,包括:
获取所述目标对象的左上角坐标以及宽度;
根据所述左上角横坐标以及所述宽度,判断该目标对象是否位于所述原始图像的右边缘位置;
若是,则判定所述目标对象为不完整目标对象;
若否,则判定所述目标对象为完整目标对象。
可选地,所述对所述图像分片集合中各图像分片分别进行去干扰处理,包括:
分别对各图像分片进行连通域检测;
如果当前图像分片中包含的连通域的个数为1,则不对当前图像分片进行处理,当前图像分片直接作为去干扰处理后的图像分片;
如果当前图像分片中包含的连通域的个数大于1,则对当前图像分片进行去干扰处理。
可选地,所述去干扰处理,包括:
保留所述图像分片中面积最大的连通域,并将其他连通域的像素设置为背景像素,得到去干扰处理后的图像分片。
第二方面,本申请实施例还提供了一种图像处理的装置,所述装置包括:
空白图像判断模块,用于对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;
连通域检测模块,用于若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;
目标对象检测模块,用于分别对各目标连通域进行目标对象的检测;
目标图像生成模块,用于当检测出目标对象以后,根据所述目标对象生成目标图像。
第三方面,本申请实施例还提供了一种安检设备,所述安检设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所述的方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述的方法。
本申请所提供的技术方案,具有如下有益效果:
在本实施例中,当获得原始图像以后,若判定该原始图像不为空白图像,则对该原始图像进行连通域检测,以获得一个或多个目标连通域,然后对各目标连通域进行目标对象的检测,并针对各检测出的目标对象生成目标图像。通过连通域检测与对象检测相结合的技术来检测出目标对象,提高目标对象的检测效率和检测精度。另外,通过本实施例对原始图像进行有效分片,可以大幅减少原始图像中目标对象堆叠粘连的情况,提高后续对图像的审核效率。
附图说明
图1是本申请实施例一提供的一种图像处理的方法实施例的流程图;
图2是本申请实施例一提供的图像分片示意图;
图3是本申请实施例二提供的一种图像处理的方法实施例的流程图;
图4是本申请实施例三提供的一种图像处理的方法实施例的流程图;
图5是本申请实施例四提供的一种图像处理的装置实施例的结构框图;
图6是本申请实施例五提供的一种安检设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
实施例一
图1为本申请实施例一提供的一种图像处理的方法实施例的流程图,本实施例可以应用于服务器中,在一种应用场景中,该服务器可以包括安检场景中的安检设备,具体可以包括如下步骤:
步骤110,对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像。
在该实施例中,图像序列可以包括多个原始图像Iori,其中,该多个原始图像可以为同一场景下连续采集的图像。例如,在安检场景中,原始图像可以为安检机中X射线在垂直角度下透射传送带中的箱包生成、并传输至服务器中的安检图像。
在一种例子中,原始图像Iori可以是大小为WxH的三通道图像,其中,W为Iori的宽度,H为Iori的高度。
在一种实施例中,本步骤中对待处理的图像序列中的各原始图像进行遍历可以是实时遍历的过程,也就是说,每当图像采集设备(如安检机X射线设备)产生一个原始图像后,则实时将该原始图像发送至服务器中,由服务器实时对该原始图像进行处理,判断该原始图像是否为空白图像。
在一种实施方式中,服务器可以采用如下方式判断当前的原始图像是否为空白图像:
获取当前的原始图像的灰度信息;若该灰度信息符合指定的灰度条件,则判定该原始图像为空白图像。
具体的,可以将当前的原始图像进行灰度化处理,生成灰度图像,并获得该灰度图像的灰度直方图。如果该灰度直方图符合指定的灰度条件,则可以判定该原始图像为空白图像。
在一种例子中,指定的灰度条件可以包括:灰度直方图包络线的拐点数量为一个,即,如果当前原始图像的灰度直方图的包络线的拐点数量为一个时,则判定该原始图像为空白图像。
在其他例子中,指定的灰度条件可以包括:满刻度灰度直方图,即,如果当前原始图像的灰度直方图接近满刻度灰度直方图,则判定该原始图像为空白图像。其中,满刻度的意思是,图像采集设备所处的采集环境中没有目标对象时的响应,例如,在安检场景中,满刻度是指没有物体时X射线直接打到探测器时的响应,当当前原始图像的灰度直方图接近满刻度响应产生的图像的灰度直方图时,则可以判定该原始图像为空白图像。
在另一种实施方式中,还可以将不存在目标对象但存在噪声(如各种干扰物)的图像作为空白图像,则服务器可以采用如下方式判断当前的原始图像是否为空白图像:
对该原始图像进行连通域检测,若检测出一个或多个连通域,则获得该一个或多个连通域的面积,并过滤掉面积小于一定阈值的连通域;如果最终没有剩下连通域,则判定该原始图像为空白图像。其中,连通域又称为连通区域(Connected Component),是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(Region,Blob)。
当然,除了上述两种方式以外,本领域技术人员还可以根据实际的场景采用其他合适的方式识别空白图像,本实施例对此不作限定。
步骤120,若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域。
在该步骤中,当服务器判定当前原始图像不是空白图像时,则作进一步的检测,该检测可以包括连通域检测,从而将原始图像识别成一个或多个目标连通域。
在一种实施方式中,步骤120进一步可以包括如下步骤:
步骤120-1,对所述原始图像进行灰度化以及二值化处理,得到二值图像。
该步骤通过对原始图像进行灰度化以及二值化处理来去除原始图像的背景干扰,得到二值图像Ibin
步骤120-2,对所述二值图像进行去噪处理。
该步骤通过对二值图像进行去噪处理,可以把图像中粘连不紧密的对象(在安检场景下,该对象例如可以是传送带中的箱包)进行分离,去噪处理后的二值图像可以表示为Idenoise
在一种例子中,去噪处理可以包括中值滤波处理、形态学腐蚀处理等。
步骤120-3,对去噪处理后的二值图像进行连通域分析,获得一个或多个候选连通域。
该步骤中,服务器可以通过连通区域分析(Connected Component Analysis,Connected Component Labeling)算法来将去噪处理后的二值图像Idenoise中的各个连通区域找出并标记,最后得到一个或多个候选连通域。
需要说明的是,本实施例对具体的连通区域分析算法并不作限定,例如,可以是Two-Pass(两遍扫描法)或者Seed-Filling种子填充法,只要最后能得到一个或多个候选连通域即可。
需要说明的是,如果在上述空白图像的判断过程中已经获得了本原始图像的连通域,则可以直接将面积大于或等于一定阈值的连通域作为候选连通域,而无需重复进行步骤120-1至步骤120-3的过程。
步骤120-4,过滤掉面积小于设定面积阈值的候选连通域,并将剩下的连通域作为目标连通域。
该步骤中,在得到一个或多个候选连通域以后,可以计算每个候选连通域的面积,在一种实现中,可以采用fabs(cvContourArea(c,CV_WHOLE_SEQ))来计算每个候选连通域的面积。当然,还可以采用其他方式来计算每个候选连通域的面积,例如,统计每个候选连通域的像素点的数量作为面积,或者,采用matlab中的其他函数(如total=bwarea(BW)等)来计算连通区域的面积。
得到每个候选连通域的面积以后,则可以将每个候选连通域的面积与设定面积阈值T进行比较,然后将面积小于T的候选连通域过滤掉,最后把剩下的连通域作为目标连通域。
目标连通域可以包括一个或多个,例如,多个目标连通域可以描述为:Lcoarse={(x1,y1,w1,h1),…,(xi,yi,wi,hi)},其中,i表示第i个目标连通域,(xi,yi)是第i个目标连通域的左上角坐标,wi和hi分别是第i个连通域的宽度和高度。
步骤130,分别对各目标连通域进行目标对象的检测。
如果说步骤120是一个粗检测的过程,那么步骤130则是细检测的过程。在得到一个或多个目标连通域以后,每个目标连通域可能会存在目标对象粘连的情况,因此可以采用步骤130对每个目标连通域进行目标对象的检测,从而得到不同目标连通域中目标对象的位置信息。
在一种实施方式中,步骤130进一步可以包括如下步骤:
步骤130-1,根据所述目标连通域将所述原始图像分割成图像分片集合。
在该步骤中,在标记出一个或多个目标连通域以后,可以按照该一个或多个目标连通域将原始图像进行分割,得到对应的图像分片,各图像分片可以组成图像分片集合。图像分片集合可以表示为Isplit={I1,…,Ii},其中,Ii为图像分片。
步骤130-2,对所述图像分片集合中各图像分片分别进行去干扰处理。
在该实施例中,通过对各图像分片进行去干扰处理,可以确保各图像分片对应的连通域不超过1个,从而可以避免对目标对象的重复检测。
对于图像分片集合Isplit={I1,…,Ii},进行去干扰处理后,可以得到去干扰后的图像分片集合Id={Id1,…,Idi}。
在一种实施方式中,步骤130-2进一步可以包括如下步骤:
分别对各图像分片进行连通域检测;如果当前图像分片中包含的连通域的个数为1,则不对当前图像分片进行处理,当前图像分片直接作为去干扰处理后的图像分片;如果当前图像分片中包含的连通域的个数大于1,则对当前图像分片进行去干扰处理。
具体的,可以参考步骤120的连通域检测的方法来对各图像分片进行连通域检测,以得到各图像分片的连通域位置。然后分析各图像分片的连通域的数量,如果某个图像分片的中包含的连通域的个数为1,则不对该图像分片进行去干扰处理,此时,当前图像分片直接作为去干扰处理后的图像分片,即Idi=Ii,也就是直接将当前图像分片加入至去干扰后的图像分片集合中。
如果某个图像分片的中包含的连通域的个数大于1,则可以判定当前图像分片中存在干扰的连通域,需要进行去干扰处理。其中一种去干扰处理的方式可以为:计算当前图像分片中各连通域的面积,并保留当前图像分片中面积最大的连通域,然后将其他连通域的像素设置为背景像素,得到去干扰处理后的图像分片,即,Idi为Ii中保留最大面积的连通域、且其余连通域内的像素值设置为背景像素值得到的图片。其中,背景像素值可以根据图像分片的背景来进行设置,例如,如果图像分片的背景为白色,则其背景像素值可以为(255,255,255)。
例如,如图2的图像分片示意图所示,假设矩形框为分割出图像分片,该图像分片中可以检测出两个连通域,但其实只有一个完整的箱包,如果不将左上角的连通域隐藏掉(即设置为背景像素值)的话,则后续会检测出两个箱包。为了确保每个图像分片都只有一个箱包,则可以将连通域面积小的区域的像素值替换为背景像素值。
步骤130-3,分别将去干扰处理后的各图像分片输入至预先生成的目标检测模型中,并获得所述目标检测模型针对各图像分片输出的目标对象的检测结果。
在该步骤中,在得到图像分片Idi以后,则可以分别将各Idi输入至预先生成的目标检测模型中,由该目标检测模型对各Idi进行对象检测,输出对应的检测结果。
在一种实施例中,目标检测模型可以为基于深度学习的机器模型,例如,目标检测模型可以为YOLOv3模型。
在一种实现中,假设YOLOv3模型用于安检场景的箱包检测场景下,可以采用如下方式训练YOLOv3模型:
使用垂直投影的方法对X射线长图进行分割,获得数据集D,对D进行相应的标注并划分为训练集、测试集和验证集;在D上采用k-means聚类算法重新聚类出9个anchor(锚)的坐标,替换YOLOv3模型的默认anchor;采用随机梯度下降算法优化模型参数,直到损失函数收敛。
示例性地,在安检场景中,目标对象可以为安检传送带中的箱包,目标检测模型输出的目标对象的检测结果可以包括各图像分片中箱包的外接矩形框,该外接矩形框的坐标位置以及大小可以作为箱包的位置信息,可以表示为:Lfine={B1,…,Bi}={{(x11,y11,w11,h11),…},…,{…,(xij,yij,wij,hij)}},其中,Bi表示第i个图像分片中箱包的位置信息,ij表示第i个图像分片细检测出来的第j个箱包。
在一种实施例中,当通过步骤130-1至步骤130-3对目标对象进行细检测以后,本实施例还可以包括如下步骤:
根据所述检测结果,判断各目标连通域是否存在漏检。
由于在步骤130-1至步骤130-3中进行的目标对象的检测是基于图像分片来进行的,而图像分片又经过了去干扰处理,则在实际处理过程中,对于各目标连通域而言,还可能会存在漏检的情况。因此,本实施例通过对各目标连通域的漏检分析来降低漏检情况。
在一种实施方式中,检测结果可以包括目标对象的位置;上述根据所述检测结果,判断各目标连通域是否存在漏检的步骤,进一步可以包括如下步骤:
根据各目标对象的位置,判断当前目标连通域中是否检测出目标对象;若当前目标连通域中没有检测出目标对象,则判定当前目标连通域存在漏检,并将当前目标连通域作为目标对象;若当前目标连通域中检测出目标对象,则定位当前目标连通域对应的图像分片;将当前目标连通域对应的图像分片中的检测出的所述目标对象对应的像素值设置为背景像素值,然后对该图像分片进行连通域检测;若检测出连通域,则判定所述当前目标连通域存在漏检,并将检测出的连通域作为目标对象。
具体的,如果目标连通域的位置信息为Li={(xi,yi,wi,hi)},各目标对象的位置信息为Bi={{(xi1,yi1,wi1,hi1),…,(xij,yij,wij,hij)}},可以分别将各目标对象的位置信息(xij,yij,wij,hij)与Li={(xi,yi,wi,hi)}进行位置匹配,判断当前目标连通域是否检测出目标对象。
由于目标连通域必然会存在目标对象。如果当前目标连通域中没有检测出目标对象,即当前目标连通域的位置信息包含0个目标对象,则可以确定当前目标连通域为存在漏检的连通域,则可以将当前目标连通域作为目标对象。
而如果当前目标连通域中检测出目标对象,即当前目标连通域的位置信息包含超过0个目标对象,则需要对当前目标连通域对应的图像分片作进一步的判断分析。具体的,可以根据当前目标连通域的目标对象,确定该目标对象所在的图像分片,然后将该图像分片中该目标对象的像素点设置为背景像素值(如(255,255,255)),然后将得到的图像分片进行粗检测,如果粗检测得到的连通域的个数不为0,则表示该目标连通域为存在漏检的连通域,并将检测出的连通域作为目标对象。如果粗检测得到的连通域的个数为0,则表示该目标连通域为不存在漏检的连通域。
步骤140,当检测出目标对象以后,根据所述目标对象生成目标图像。
在一种实施例中,步骤140进一步可以包括如下步骤:
步骤140-1,判断检测出的目标对象为完整目标对象或不完整目标对象。
在该步骤中,各目标连通域对应的检测结果加起来为整张原始图像的检测结果。在步骤140-1中,对整张原始图像的各个检测结果进行完整性分析,主要是判断各检测出的目标对象在原始图像中是完整的目标对象还是不完整的目标对象。例如,在X光安检场景中,履带是一直动的,可能箱包还没有扫描完整就切出生成原始图像,所以需要进行箱包的完整性分析。
在一种实施方式中,步骤140-1进一步可以包括如下步骤:
获取所述目标对象的左上角横坐标以及宽度;根据所述左上角坐标以及所述宽度,判断该目标对象是否位于所述原始图像的右边缘位置;若是,则判定所述目标对象为不完整目标对象;若否,则判定所述目标对象为完整目标对象。
例如,假设目标对象的左上角横坐标以及宽度分别为xi和wi,原始图像的宽度为W,如果xi+wi+a>W,其中,a为正常数,其可以根据实际需求确定,例如,根据经验值将a确定为5,则表示该目标对象位于原始图像的右边缘位置,则该目标对象为不完整目标对象(由于不完整的目标对象一般处于边缘位置)。反之,如果xi+wi+a<W,则表示该目标对象没有位于原始图像的右边缘位置,则该目标对象为完整目标对象。
步骤140-2,对所述完整目标对象生成目标图像。
在一种实现中,对于检测出的各完整目标对象,可以截取各完整目标对象,然后根据该完整目标对象生成预设大小的目标图像,从而使得一个目标图像中包含一个完整目标对象,避免出现目标对象粘连的情况。例如,在安检场景中,通过本实施例可以将X射线图像中混叠的包裹分开,一个目标图像中包含一个包裹的信息,从而提高人包对应(人包对应技术为将X光机的包裹扫描图像,与被扫描包裹的可见光图像及包裹携带者脸部图像三者对应起来的技术)的准确性,能够使行李箱、背包等能够被快速、准确的检测出来,在辅助安检方面,具有很强的应用价值。
在本实施例中,当获得原始图像以后,若判定该原始图像不为空白图像,则对该原始图像进行连通域检测,以获得一个或多个目标连通域,然后对各目标连通域进行目标对象的检测,并针对各检测出的目标对象生成目标图像。通过连通域检测与对象检测相结合的技术来检测出目标对象,提高目标对象的检测效率。另外,通过本实施例对原始图像进行有效分片,可以大幅减少原始图像中目标对象堆叠粘连的情况,提高后续对图像的审核效率,同时提高人包对应的分析效率。进一步的,通过漏检分析和完整性分析,避免出现漏检,提高目标对象的完整性,提高后续的图像审核精度。
实施例二
图3为本申请实施例二提供的一种图像处理的方法实施例的流程图,本实施例可以应用于服务器中,本实施例的服务器可以与多个候选设备相连,具体可以包括如下步骤:
步骤210,对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像。
步骤220,若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域。
步骤230,分别对各目标连通域进行目标对象的检测。
步骤240,当检测出目标对象以后,根据所述目标对象生成目标图像。
步骤250,按照负载均衡规则从多个候选设备中选取目标设备。
步骤260,将所述目标图像分发到所述目标设备中。
在一种实施例中,候选设备可以为用于对目标图像进行审核的设备,例如,在安检场景中,候选设备可以判图设备(或称为判图中心、判图系统等),判图设备可以为本地判图设备也可以为远程集中判图中心等,在此不做限制。
当获得目标图像以后,服务器可以按照负载均衡规则从多个候选设备中选取目标设备,然后将图标图像分发到目标设备中。其中,本实施例对具体的负载均衡的算法不作限定,在根据负载均衡选择目标设备时,可以考虑各候选设备的负荷、工作人员的经验值、历史执行任务等因素。例如,在安检场景中,可以获取各候选判图设备的工作状态,该工作状态可以包括空闲状态与忙碌状态;如果存在超过一个处于空闲状态的候选判图设备,则可以获取各处于空闲状态的候选判图设备对应的判图员的经验值,选取经验值高的判图员对应的候选判图设备作为目标判图设备。如果仅存在一个处于空闲状态的候选判图设备,则直接将该候选判图设备作为目标判图设备。如果不存在处于空闲状态的候选判图设备,则可以获取各候选判图设备对应的判图员的经验值,选取经验值高的判图员对应的候选判图设备作为目标判图设备。如果各个候选判图设备的判图员的经验值都差不多,可以选取处理任务比较少的设备作为目标设备。
本实施例按照负载均衡规则从多个候选设备中选取目标设备,并将目标图像分发到该目标设备中,可以避免多个目标图像堆积到同一设备中进行处理,提高目标图像审核的效率。例如,通过本实施例将不同的包裹图像自动分派给多个不同的判图员进行同时判别,相比于同一个判图员对多个包裹图像进行判图,可以提高判图的效率和准确性。同时,通过本实施例,出现在判图员屏幕中的只有一个包裹图像,相比于多个包裹图像堆叠出现在屏幕中,可以进一步提升判图的效率和准确度。
实施例三
图4为本申请实施例三提供的一种图像处理的方法实施例的流程图,本实施例可以应用于服务器中,具体可以包括如下步骤:
步骤310,对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像。
步骤320,若当前遍历到的原始图像为空白图像,则丢弃所述空白图像。
步骤330,若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域。
步骤340,分别对各目标连通域进行目标对象的检测。
步骤350,当检测出目标对象以后,根据所述目标对象生成目标图像。
在本实施例中,如果遍历到当前原始图像为空白图像,则可以直接丢弃该空白图像,可以避免后续对空白图像的审核造成浪费精力的情况,进一步提高对目标图像的审核的准确度和效率。
实施例四
图5为本申请实施例四提供的一种图像处理的装置实施例的结构框图,所述装置可以包括如下模块:
空白图像判断模块410,用于对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;
连通域检测模块420,用于若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;
目标对象检测模块430,用于分别对各目标连通域进行目标对象的检测;
目标图像生成模块440,用于当检测出目标对象以后,根据所述目标对象生成目标图像。
在一种实施例中,所述装置还可以包括如下模块:
目标设备确定模块,用于按照负载均衡规则从多个候选设备中选取目标设备;
目标图像分发模块,用于将所述目标图像分发到所述目标设备中。
在一种实施例中,所述装置还可以包括如下模块:
空白图像处理模块,用于若当前遍历到的原始图像为空白图像,则丢弃所述空白图像。
在一种实施例中,所述连通域检测模块420具体用于:
对所述原始图像进行灰度化以及二值化处理,得到二值图像;
对所述二值图像进行去噪处理;
对去噪处理后的二值图像进行连通域分析,获得一个或多个候选连通域;
过滤掉面积小于设定面积阈值的候选连通域,并将剩下的连通域作为目标连通域。
在一种实施例中,所述目标对象检测模块430进一步可以包括如下子模块:
图像分割子模块,用于根据所述目标连通域将所述原始图像分割成图像分片集合;
干扰处理子模块,用于对所述图像分片集合中各图像分片分别进行去干扰处理;
模型处理子模块,用于分别将去干扰处理后的各图像分片输入至预先生成的目标检测模型中,并获得所述目标检测模型针对各图像分片输出的目标对象的检测结果。
在一种实施例中,所述装置还可以包括如下模块:
漏检分析模块,用于根据所述检测结果,判断各目标连通域是否存在漏检。
在一种实施例中,所述检测结果包括目标对象的位置;所述漏检分析模块具体用于:
所述根据所述检测结果,判断各目标连通域是否存在漏检,包括:
根据各目标对象的位置,判断当前目标连通域中是否检测出目标对象;
若当前目标连通域中没有检测出目标对象,则判定当前目标连通域存在漏检,并将所述当前目标连通域作为目标对象;
若当前目标连通域中检测出目标对象,则定位当前目标连通域对应的图像分片;
将当前目标连通域对应的图像分片中的检测出的所述目标对象对应的像素值设置为背景像素值,然后对该图像分片进行连通域检测;
若检测出连通域,则判定所述当前目标连通域存在漏检,并将检测出的连通域作为目标对象。
在一种实施例中,所述目标图像生成模块440还可以包括如下子模块:
完整性分析子模块,用于判断检测出的目标对象为完整目标对象或不完整目标对象;
图像生成子模块,用于对所述完整目标对象生成目标图像。
在一种实施例中,所述完整性分析子模块具体用于:
获取所述目标对象的左上角坐标以及宽度;
根据所述左上角横坐标以及所述宽度,判断该目标对象是否位于所述原始图像的右边缘位置;
若是,则判定所述目标对象为不完整目标对象;
若否,则判定所述目标对象为完整目标对象。
在一种实施例中,所述干扰处理子模块具体用于:
分别对各图像分片进行连通域检测;
如果当前图像分片中包含的连通域的个数为1,则不对当前图像分片进行处理,当前图像分片直接作为去干扰处理后的图像分片;
如果当前图像分片中包含的连通域的个数大于1,则对当前图像分片进行去干扰处理。
在一种实施例中,所述干扰处理子模块还用于:
保留所述图像分片中面积最大的连通域,并将其他连通域的像素设置为背景像素,得到去干扰处理后的图像分片。
本申请实施例所提供的一种图像处理的装置可执行本申请实施例一至实施例三任一实施例所提供的一种图像处理的方法,具备执行方法相应的功能模块和有益效果。
实施例五
图6为本申请实施例五提供的一种安检设备的结构示意图,该安检设备可以包括服务器,所述服务器可以位于安检设备内部,也可以位于安检设备外部,可以设置在本地也可以设置在远端,服务器与安检设备通信连接。如图6所示,该安检设备包括处理器510、存储器520、输入装置530和输出装置540;安检设备中处理器510的数量可以是一个或多个,图6中以一个处理器510为例;安检设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器520作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的上述实施例对应的程序指令/模块。处理器510通过运行存储在存储器520中的软件程序、指令以及模块,从而执行安检设备的各种功能应用以及数据处理,即实现上述任一方法实施例中提到的图像处理方法。
存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器520可进一步包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/安检设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与安检设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本申请实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述方法实施例中的方法。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本申请任意实施例所提供的图像处理方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本申请可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是,上述装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (12)

1.一种图像处理的方法,其特征在于,所述方法包括:
对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;
若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;
分别对各目标连通域进行目标对象的检测;
根据检测结果,判断各目标连通域是否存在漏检,其中,所述检测结果包括目标对象的位置;
当检测出目标对象以后,根据所述目标对象生成目标图像;
所述根据所述检测结果,判断各目标连通域是否存在漏检,包括:
根据各目标对象的位置,判断当前目标连通域中是否检测出目标对象;
若当前目标连通域中没有检测出目标对象,则判定当前目标连通域存在漏检,并将所述当前目标连通域作为目标对象;
若当前目标连通域中检测出目标对象,则定位当前目标连通域对应的图像分片;
将当前目标连通域对应的图像分片中的检测出的所述目标对象对应的像素值设置为背景像素值,然后对该图像分片进行连通域检测;
若检测出连通域,则判定所述当前目标连通域存在漏检,并将检测出的连通域作为目标对象。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照负载均衡规则从多个候选设备中选取目标设备;
将所述目标图像分发到所述目标设备中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若当前遍历到的原始图像为空白图像,则丢弃所述空白图像。
4.根据权利要求1或2或3所述的方法,其特征在于,所述对所述原始图像进行连通域检测,以获得一个或多个目标连通域,包括:
对所述原始图像进行灰度化以及二值化处理,得到二值图像;
对所述二值图像进行去噪处理;
对去噪处理后的二值图像进行连通域分析,获得一个或多个候选连通域;
过滤掉面积小于设定面积阈值的候选连通域,并将剩下的连通域作为目标连通域。
5.根据权利要求1或2或3所述的方法,其特征在于,所述分别对各目标连通域进行目标对象的检测,包括:
根据所述目标连通域将所述原始图像分割成图像分片集合;
对所述图像分片集合中各图像分片分别进行去干扰处理;
分别将去干扰处理后的各图像分片输入至预先生成的目标检测模型中,并获得所述目标检测模型针对各图像分片输出的目标对象的检测结果。
6.根据权利要求1或2或3所述的方法,其特征在于,所述当检测出目标对象以后,根据所述目标对象生成目标图像,包括:
判断检测出的目标对象为完整目标对象或不完整目标对象;
对所述完整目标对象生成目标图像。
7.根据权利要求6所述的方法,其特征在于,所述判断检测出的目标对象为完整目标对象或不完整目标对象,包括:
获取所述目标对象的左上角横坐标以及宽度;
根据所述左上角横坐标以及所述宽度,判断该目标对象是否位于所述原始图像的右边缘位置;
若是,则判定所述目标对象为不完整目标对象;
若否,则判定所述目标对象为完整目标对象。
8.根据权利要求5所述的方法,其特征在于,所述对所述图像分片集合中各图像分片分别进行去干扰处理,包括:
分别对各图像分片进行连通域检测;
如果当前图像分片中包含的连通域的个数为1,则不对当前图像分片进行处理,当前图像分片直接作为去干扰处理后的图像分片;
如果当前图像分片中包含的连通域的个数大于1,则对当前图像分片进行去干扰处理。
9.根据权利要求8所述的方法,其特征在于,所述去干扰处理,包括:
保留所述图像分片中面积最大的连通域,并将其他连通域的像素设置为背景像素,得到去干扰处理后的图像分片。
10.一种图像处理的装置,其特征在于,所述装置包括:
空白图像判断模块,用于对待处理的图像序列中的各原始图像进行遍历,针对当前遍历到的原始图像,判断该原始图像是否为空白图像;
连通域检测模块,用于若当前遍历到的原始图像不为空白图像,则对所述原始图像进行连通域检测,以获得一个或多个目标连通域;
目标对象检测模块,用于分别对各目标连通域进行目标对象的检测;
漏检分析模块,用于根据检测结果,判断各目标连通域是否存在漏检,其中,所述检测结果包括目标对象的位置;
目标图像生成模块,用于当检测出目标对象以后,根据所述目标对象生成目标图像;
所述漏检分析模块具体用于:
所述根据所述检测结果,判断各目标连通域是否存在漏检,包括:
根据各目标对象的位置,判断当前目标连通域中是否检测出目标对象;
若当前目标连通域中没有检测出目标对象,则判定当前目标连通域存在漏检,并将所述当前目标连通域作为目标对象;
若当前目标连通域中检测出目标对象,则定位当前目标连通域对应的图像分片;
将当前目标连通域对应的图像分片中的检测出的所述目标对象对应的像素值设置为背景像素值,然后对该图像分片进行连通域检测;
若检测出连通域,则判定所述当前目标连通域存在漏检,并将检测出的连通域作为目标对象。
11.一种安检设备,其特征在于,所述安检设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9任一项所述的方法。
CN202110501860.3A 2021-05-08 2021-05-08 一种图像处理的方法及装置 Active CN113139952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110501860.3A CN113139952B (zh) 2021-05-08 2021-05-08 一种图像处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110501860.3A CN113139952B (zh) 2021-05-08 2021-05-08 一种图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN113139952A CN113139952A (zh) 2021-07-20
CN113139952B true CN113139952B (zh) 2024-04-09

Family

ID=76816675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110501860.3A Active CN113139952B (zh) 2021-05-08 2021-05-08 一种图像处理的方法及装置

Country Status (1)

Country Link
CN (1) CN113139952B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
CN107633503A (zh) * 2017-08-01 2018-01-26 南京航空航天大学 一种自动检测谷粒中残留秸秆的图像处理方法
CN108259758A (zh) * 2018-03-18 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN111583258A (zh) * 2020-05-28 2020-08-25 常州节卡智能装备有限公司 缺陷检测方法、装置、系统及存储介质
CN112150438A (zh) * 2020-09-23 2020-12-29 创新奇智(青岛)科技有限公司 断线检测方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6549898B2 (ja) * 2015-05-20 2019-07-24 株式会社日立製作所 物体検出システム、物体検出方法、poi情報作成システム、警告システム、及び誘導システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242488A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 物体検出装置、物体検出方法、プログラム
CN107633503A (zh) * 2017-08-01 2018-01-26 南京航空航天大学 一种自动检测谷粒中残留秸秆的图像处理方法
CN108259758A (zh) * 2018-03-18 2018-07-06 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN111583258A (zh) * 2020-05-28 2020-08-25 常州节卡智能装备有限公司 缺陷检测方法、装置、系统及存储介质
CN112150438A (zh) * 2020-09-23 2020-12-29 创新奇智(青岛)科技有限公司 断线检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113139952A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113139950B (zh) 一种目标对象识别的方法及装置
Shao et al. Application of a fast linear feature detector to road extraction from remotely sensed imagery
CN110781839A (zh) 一种基于滑窗的大尺寸图像中小目标识别方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN110443212B (zh) 用于目标检测的正样本获取方法、装置、设备及存储介质
CN114255436B (zh) 基于人工智能的安检图像识别系统及其方法
CN102999886A (zh) 图像边缘检测器及标尺光栅栅线精度检测系统
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN109934221B (zh) 基于注意力机制的电力设备自动分析识别监控方法及系统
CN112614062A (zh) 菌落计数方法、装置及计算机存储介质
TWI729587B (zh) 物件定位系統及方法
CN113139952B (zh) 一种图像处理的方法及装置
CN113936023A (zh) 一种强光条件下的粮仓走道板边沿直线检测方法
CN113971681A (zh) 一种复杂环境下带式输送机边缘检测方法
CN108765456A (zh) 基于直线边缘特征的目标跟踪方法、系统
CN106530292B (zh) 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法
RU2510897C2 (ru) Способ сегментации сложноструктурированных растровых полутоновых изображений на основе составных морфологических операторов
CN103971376A (zh) 应用程序执行方法和装置
CN113487697A (zh) 简笔画生成方法、装置、电子设备及存储介质
CN114255344A (zh) 安检图像切分方法、装置、电子设备及计算机可读介质
CN111027560A (zh) 文本检测方法以及相关装置
CN108053414A (zh) 一种机器视觉边缘检测技术
CN117173185B (zh) 轧制板材的区域检测方法及装置、存储介质、计算机设备
CN114581890B (zh) 确定车道线的方法、装置、电子设备和存储介质
CN114998336B (zh) 一种塑料废弃物的检测和处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant