CN110706263A - 一种图像处理方法、装置、设备和计算机可读存储介质 - Google Patents

一种图像处理方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110706263A
CN110706263A CN201910940403.7A CN201910940403A CN110706263A CN 110706263 A CN110706263 A CN 110706263A CN 201910940403 A CN201910940403 A CN 201910940403A CN 110706263 A CN110706263 A CN 110706263A
Authority
CN
China
Prior art keywords
window
windows
image
source image
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910940403.7A
Other languages
English (en)
Other versions
CN110706263B (zh
Inventor
闵锋
吴涛
李晓林
张彦铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Institute of Technology
Original Assignee
Wuhan Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Institute of Technology filed Critical Wuhan Institute of Technology
Priority to CN201910940403.7A priority Critical patent/CN110706263B/zh
Publication of CN110706263A publication Critical patent/CN110706263A/zh
Application granted granted Critical
Publication of CN110706263B publication Critical patent/CN110706263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及自动化处理技术领域,提供了一种图像处理方法、装置、设备和计算机可读存储介质,该方法包括:获取图像识别模型、窗口融合模型和源图像;根据图像识别模型在源图像上标定相互重叠的至少两个交叠窗口;根据窗口融合模型检验至少两个交叠窗口是否重复标定在源图像局部的像素块,若否,则免合并至少两个交叠窗口,若是,则将至少两个交叠窗口合并为一个融合窗口,保证了使得窗口融合模型合并不同交叠窗口的可靠性,克服了通过图像识别模型以窗口区域识别图像使像素块被不同窗口在图像上重复标定,通过融合窗口在图像区域标定像素块,提高了以窗口在图像区域标定像素块的简约性。

Description

一种图像处理方法、装置、设备和计算机可读存储介质
技术领域
本发明涉及自动化处理技术领域,具体涉及一种图像处理方法、装置、设备和计算机可读存储介质。
背景技术
相关技术中,通过图像识别模型在图像上检测出符合目标物特征的像素块并以窗口标定该像素块,使得像素块被窗口在图像区域标定,实现自动化识别图像,相比于人工识别图像,图像识别模型大大提高了图像识别效率,通过窗口能够快速地定位像素块在图像上的局部位置,有助于提升依据窗口后处理图像的效率。
然而,在图像清晰度和像素块具有微小性等干扰因素的影响下,会出现像素块被不同窗口在图像上重复标定的情况,有损以窗口在图像区域标定像素块的简约性,进而降低依据窗口后处理图像的效率。
发明上容
针对通过图像识别模型自动化识别图像使像素块被不同窗口在图像上重复标定的不足,本发明提供一种图像处理方法、装置、设备和计算机可读存储介质。
本发明第一方面提供一种图像处理方法,包括:
分别读取图像识别模型、窗口融合模型和源图像;
根据所述图像识别模型在所述源图像上标定相互重叠的至少两个交叠窗口;
根据所述窗口融合模型检验至少两个所述交叠窗口是否重复标定在所述源图像局部的像素块,若否,则免合并至少两个所述交叠窗口,若是,则将为所述像素块重复标定的至少两个所述交叠窗口合并为一个融合窗口。
本发明第二方面提供一种图像区域定位装置,包括:
读取模块,用于分别读取图像识别模型、窗口融合模型和源图像;
标定模块,用于根据所述图像识别模型在所述源图像上标定相互重叠的至少两个交叠窗口;
去重模块,用于根据所述窗口融合模型检验至少两个所述交叠窗口是否重复标定在所述源图像局部的像素块,若否,则免合并至少两个所述交叠窗口,若是,则将为所述像素块重复标定的至少两个所述交叠窗口合并为一个融合窗口。
本发明第三方面提供一种图像处理设备,包括:存储器和与所述存储器耦合的处理器,所述存储器存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述处理器加载并执行以实现第一方面所述图像处理方法所执行的操作步骤。
本发明第四方面提供一种计算机可读存储介质,被配置有可与图像处理设备通信且存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述图像处理设备读取并执行以实现第一方面所述图像处理方法所执行的操作步骤。
本发明提供的图像处理方法、装置、设备和计算机存储介质的有益效果是:针对重叠分布在图像上的不同交叠窗口,在不同交叠窗口非重复标定同一像素块的情况下,防止合并不同交叠窗口,保证了使得窗口融合模型合并不同窗口的可靠性,在不同交叠窗口重复标定同一像素块的情况下,才会将不同交叠窗口合并为一个融合窗口,减少了所有交叠窗口呈现在源图像上的数量,克服了通过图像识别模型自动化识别图像使像素块被不同窗口在图像上重复标定,通过融合窗口在图像区域标定像素块,提高了以窗口在图像区域标定像素块的简约性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图;
图2为本发明实施例提供的一幅接触网图像的示意图;
图3为对应于图2中的接触网图像呈现三个第一候选窗口的示意图;
图4为对应于图2中的接触网图像呈现对三个第一候选窗口扩展后的三个第二候选窗口的示意图;
图5为对应于图2中的接触网图像呈现一个第二候选窗口的示意图;
图6为本发明实施例提供的一种图像区域定位装置的结构示意图;
图7为本发明实施例提供的另一种图像区域定位装置的结构示意图;
图8为本发明实施例提供的另一种图像区域定位装置的结构示意图;
图9为本发明实施例提供的另一种图像区域定位装置的结构示意图;
图10为本发明实施例提供的另一种图像区域定位装置的结构示意图;
图11为本发明实施例提供的一种图像处理设备的通信连接示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
实施例一
如图1所示,图像处理方法包括以下步骤:分别读取图像识别模型、窗口融合模型和源图像;根据图像识别模型在源图像上标定相互重叠的至少两个交叠窗口;根据窗口融合模型检验至少两个交叠窗口是否重复标定在源图像局部的像素块,若否,则免合并至少两个交叠窗口,若是,则将为像素块重复标定的至少两个交叠窗口合并为一个融合窗口。
在一些具体方式中,图像处理设备可以被配置有融合程序,该融合程序可以嵌入有图像识别模型和窗口融合模型,或者,该图像处理设备可以被配置有调用程序、图像识别模型和窗口融合模型,通过调用程序可以串行调用图像识别模型和窗口融合模型,图像识别模型可以预先采用样本集对机器人学习训练模型进行训练后得到,以使图像处理设备可在执行图像识别模型和窗口实现图像处理方法所描述的操作步骤。
在一些具体方式中,样本集可以包括相机从电接触网的不同角度拍摄并传送给图像处理设备的多个接触网图像,交叠窗口可以是在源图像上区域定位像素块所属边界的定位框,源图像可以是相机从电接触网的一个角度拍摄并传送给图像处理设备的接触网图像,接触网图像可以是边长为416个像素长度的正方形图像,如图2所示为一幅接触网图像。
在一些具体方式中,将源图像输入图像识别模型,通过图像识别模型在源图像上识别符合目标物特征的一个像素块,并在该像素块占据源图像的区域标定不同交叠窗口,将包含不同交叠窗口的源图像输出为窗口标定图像;将该窗口标定图像输入窗口融合模型,针对重叠分布在源图像上的不同交叠窗口,通过该窗口融合模型检测不同交叠窗口在窗口标定图像上是否属于重复标定同一像素块的重复窗组。
在不同交叠窗口不属于重复窗组的条件下,表明不同交叠窗口非重复标定同一像素块,而是各个交叠窗口独自标定像素块,输出窗口标定图像,防止合并不同交叠窗口,保证了使得窗口融合模型合并不同窗口的可靠性。
在不同交叠窗口属于重复窗组的条件下,表明不同交叠窗口重复标定同一像素块,使用窗口融合模型以分别将分布在每个交叠窗口内的其他交叠窗口的边界消除掉的方式使得不同交叠窗口被合并为一个融合窗口,并将包含该融合窗口的窗口标定图像输出为窗口去重图像,减少了所有交叠窗口呈现在图像上的数量,实现在图像上去重窗口,克服了通过图像识别模型自动化识别图像使像素块被不同窗口在图像上重复标定,通过融合窗口在图像区域标定像素块,提高了以窗口在图像区域标定像素块的简约性,有助于提升依据窗口后处理图像的效率。
作为可选的实施方式,图像识别模型包括相似图像检测子模型、窗口扩展子模型和深度学习子模型,窗口扩展子模型包括边界扩张函数、最短路径检测函数和近距窗融合函数,窗口融合模型包括窗口检验子模型和窗口外接子模型。
作为可选的实施方式,根据图像识别模型在源图像上标定相互重叠的至少两个交叠窗口,具体包括:根据相似图像检测子模型检验预设图像库中有无与源图像相似的参考图像,若有,则根据参考图像、窗口扩展子模型和深度学习子模型在源图像上标定至少两个交叠窗口,若无,则根据深度学习子模型在源图像上标定至少两个交叠窗口。
在一些具体方式中,通过相似度图像检测子模块检验预设图像库中有无与源图像相似的参考图像,具体包括以下步骤:将源图像缩小为收缩图像,按照预设顺序在收缩图像上遍历每个像素的灰度值,得到灰度值序列,收缩图像可以是边长为12个像素长度的正方形图像,预设顺序可以是图像的横向顺序或纵向顺序;对灰度值序列进行平均计算,得到灰度平均值,以及将灰度值序列中超过灰度平均值的第一灰度值确定为1,将灰度值序列中不超过灰度平均值的第一灰度值确定为0,得到二进制码,将二进制码转换为当前十六进制码;在预设图像库中遍历每个历史定位图像及与历史定位图像一一关联的历史十六进制码,计算每个历史十六进制码于当前十六进制码之间的汉明距离,如果各个汉明距离均小于或等于预设相似度,则确认预设图像库中的各个历史定位图像均不属于与源图像相似的参考图像;如果至少一个汉明距离大于预设相似度,则将大于预设相似度的汉明距离所属的历史定位图像输出为与源图像相似的参考图像。
在预设图像库中有参考图像的情况下,组合使用参考图像、窗口扩展子模型和深度学习子模型在源图像上标定不同交叠窗口,在预设图像库中无参考图像的情况下,单独使用深度学习子模型即可在源图像上标定不同交叠窗口,避免了在预设图像库中无参考图像的条件下使用参考图像和窗口扩展子模型标定不同交叠窗口,有助于提升以相互重叠的不同窗口区域标定图像的效率和可靠性。
作为可选的实施方式,根据参考图像、窗口扩展子模型和深度学习子模型在源图像上标定至少两个交叠窗口,具体包括:从参考图像上识别出参考窗信息;根据参考窗信息在源图像上定位至少一个第一候选窗口;根据窗口扩展子模型将至少一个第一候选窗口扩展为对应的第二候选窗口;根据深度学习子模型在第二候选窗口内标定至少两个交叠窗口。
在一些具体方式中,参考窗信息包括参考图像上呈现出的参考窗及其标定在参考图像上的坐标信息,参考窗可以包括使用图像识别模型对参考图像标定后的交叠窗口或者使用窗口融合模型融合呈现在参考图像上的不同交叠窗口之后的融合窗口,坐标信息可以包括参考窗在参考图像上的中心坐标或者参考窗的边界在参考图像上的任一点坐标,参考图像的尺寸与源图像的尺寸相同。
在一些具体方式中,根据参考窗及其坐标信息在源图像上复制与参考窗的位置及尺寸相同的第一候选窗口,使用参考窗信息便于在源图像上较为快速地标定第一候选窗口,有助于提高以第一候选窗口区域标定源图像的效率,如图3所示为接触网图像呈现以虚线框表示的三个第一候选窗口。
由于参考图像呈现具有目标物特征的第一像素块与源图像呈现具有相同目标物特征的第二像素块存在位置差异,会出现第一候选窗口偏移出第二像素块所占据源图像的图像区域,使用窗口扩展子模型分别将各个第一候选窗口扩展为第二候选窗口,相比于第一候选窗口,第二候选窗口相比于第一候选窗口更大,第二候选窗口具备更优的在源图像上囊括前述像素块的性能,有助于降低因候选窗口偏移第二像素块所占据源图像的图像区域的概率,以提高候选窗口囊括第二像素块的概率,如图4所示为接触网图像呈现三个第二候选窗口。
在一些具体方式中,深度学习子模型可以预先采用样本集训练Tiny-YOLOv3模型训练得到,Tiny-YOLOv3模型具有较高的图像检测效率,将包含第二候选窗口的源图像输入深度学习子模型,通过深度学习子模型分别在各个第二候选窗口内对源图像进行局部识别,使不同交叠窗口在图像上被局部标定在至少一个第二候选窗口内,相比于使用深度学习子模型全图识别图像,在第二候选窗口内局部识别图像,提高了不同交叠窗口的标定效率。
根据窗口扩展子模型将至少一个第一候选窗口扩展为对应的第二候选窗口,具体包括:根据边界扩张函数对至少一个第一候选窗口在源图像上的边界进行扩张,得到至少一个扩张窗口;当扩张窗口的个数为一个时,将一个扩张窗口确定为所述第二候选窗口;当扩张窗口的个数为至少两个时,根据最短路径检测函数检验至少两个扩张窗口是否属于呈相近分布在所述源图像上的近距窗组,若否,则分别将各个扩张窗口确定为第二候选窗口,若是,则根据近距窗融合函数将近距窗组合并为第二候选窗口。
在一些具体方式中,针对一个扩张窗口,无需使用最短路径检验函数,将一个扩张窗口直接确定为第二候选窗口,有助于简化第二候选窗口的扩展方式;针对至少两个扩展窗口,使用最短路径检验函数检验任意相邻两个扩张窗口属于近距窗组或者远距窗组;针对任意相邻两个扩展窗口属于远距窗组的情况,分别将远距窗组中的相邻两个扩展窗口直接确认为第二候选窗口,以防止合并远距窗组,提高了第二候选窗口的确认效率;针对相邻两个扩展窗口属于近距窗组的情况,才会使用近距窗融合函数将近距窗组合并为对应的第二候选窗口,相比于分别将近距窗组中的相邻两个扩展窗口直接确定为第二候选窗口的方式,将近距窗组合并为对应的第二候选窗口,减少了第二候选窗口在图像上的数量,增加了第二候选窗口的窗口面积。
在一些具体方式中,根据近距窗融合函数将近距窗组合并为第二候选窗口可以为:在源图像上定位与所有近距窗组外接的最小外接窗口,并将与所有近距窗组外接的最小外接窗口确认为一个第二候选窗口,以使不同扩展窗口合并为第二候选窗口,如图5所示为接触网呈现一个第二候选窗口。
作为可选的实施方式,任一个第一候选窗口在源图像上的边界呈平行四边形,根据边界扩张函数对至少一个第一候选窗口在源图像上的边界进行扩张,得到至少一个扩张窗口,具体包括:根据边界扩张函数分别将至少一个边界沿着源图像的横向扩张第一像素距离,以及将对应的边界沿着源图像的纵向扩张第二像素距离,得到至少一个扩张窗口。
在一些具体方式中,各个第一候选窗口的边界呈矩形,第一像素距离与第二像素距离之间的比例可以为3:1,例如:第一像素距离为623个像素沿着源图像的横向排列的距离且第二像素距离为208个像素沿着源图像的纵向排列的距离。
在一些具体方式中,针对每个矩形,在使用边界扩张函数扩张前述矩形时,可以保持该矩形的右边在源图像上的位置不变,并将该矩形的左边沿着源图像的横向向左移动624个像素,以及将该矩形的上边沿着源图像的纵向向上移动208个像素且将该矩形下边沿着源图像的纵向向下移动208个像素,以使该矩形扩张为扩张窗口,支持以简单方式获得扩张窗口,有助于提高扩张窗口的效率,确保了扩张窗口的窗口面积较大。
作为可选的实施方式,当扩张窗口的个数为至少两个时,根据最短路径检测函数检验至少两个扩张窗口是否属于呈相近分布在源图像上的近距窗组,具体包括:分别获取在各个扩张窗口内的中心点;根据最短路径检测函数检验任意相邻两个中心点沿着源图像的横向分布的第一距离是否超过第一像素距离,以及检验对应的相邻两个中心点沿着源图像的纵向分布的第二距离是否超过第二像素距离;当第一距离不超过第一像素距离或/和第二距离不超过所述第二像素距离时,则将对应的相邻两个中心点各自所属的扩张窗口确定为近距窗对;当第一距离超过第一像素距离且第二距离超过第二像素距离时,则将对应的相邻两个中心点各自所属的扩张窗口确定为远距窗对;在至少两个扩张窗口中,若每相邻两个中心点各自所属的扩张窗口均被确定为近距窗对时,则至少两个扩张窗口属于呈相近分布在源图像上的近距窗组,否则至少两个扩张窗口不属于呈相近分布在源图像上的近距窗组。
在一些具体方式中,最短路径检测函数可以包括Floyd算法,根据最短路径检测函数检验任意相邻两个中心点之间的第一距离是否超过第一像素距离,具体包括以下步骤:使用Floyd算法对所有中心点构建最短路径图,并基于最短路径图计量任意相邻两个中心点之间的第一距离和第二距离,以及比较该第一距离与第一像素距离;当该第一距离小于或等于第一像素距离时,将该第一距离所对应的相邻两个扩张窗口组合为近距窗对;当该第一距离大于第一像素距离时,比较第二距离与第二像素距离;当该第二距离小于或等于第二像素距离时,将该第二距离所对应的相邻两个扩张窗口组合为近距窗对;当该第二距离大于第二像素距离时,将该第二距离所对应的相邻两个扩张窗口组合为远距窗对。
针对任意相邻的两个中心点,在第一距离不超过第一像素距离或/和第二距离不超过第二像素距离的条件下,将对应的两个中心点所属的扩张窗口组合为近距窗对,在第一距离超过第一像素距离且第二距离超过第二像素距离的条件下,将对应的两个中心点所属的扩张窗口组合为远距窗对,避免了在第一距离超过第一像素距离且第二距离超过第二像素距离时将两个扩张窗口组合为近距窗对,确保了为不同扩张窗口分类的可靠性和准确性。
在每相邻两个中心点各自所属的扩张窗口均被确定为近距窗对的条件下,可以将所有近距窗对组合为近距窗组,在每相邻两个中心点各自所属的扩张窗口均被确定为远距窗对的条件下,将所有远距窗对组合为远距窗组,该远距窗组表征至少两个扩张窗口不属于近距窗组,避免了在每相邻两个中心点各自所属的扩张窗口均被确定为近距窗对将所有远距窗对组合为远距窗组,确保了验证近距窗组的可靠性和准确性。
作为可选的实施方式,根据窗口融合模型检验至少两个交叠窗口是否重复标定在源图像局部的像素块,若否,则免合并至少两个交叠窗口,若是,则将为像素块重复标定的至少两个交叠窗口合并为一个融合窗口,具体包括:根据窗口检验子模型检验至少两个交叠窗口是否重复标定像素块,若否,则保持各个交叠窗口不变,若是,则根据窗口外接子模型在源图像上分别标定分布在各个交叠窗口外围的最小外接窗口,并将所最小外接窗口作为融合窗口,以及去除分布在融合窗口内的各个交叠窗口。
在不同交叠窗口分别独自标定像素块的条件下,通过保持每个交叠窗口不变的方式使不同交叠窗口免被合并,在不同交叠窗口重复标定同一像素块的条件下,使用窗口外接子模型在每个第二候选区域内标定与不同交叠窗口外接的一个最小外接窗口,并将与不同交叠窗口外接的一个最小外接窗口确认为对应的融合窗口,以及在融合窗口内去除掉每个交叠窗口,不仅避免了在不同交叠窗口分别独自标定像素块时合并不同交叠窗口,而且支持了以简单方式去除交叠窗口,相比于采用非极大值算法去除交叠窗口,通过窗口外接子模型获得融合窗口,提高了窗口的召回率,例如:经过处理200幅接触网图像,召回率可以达到了94.7%。
作为可选的实施方式,根据窗口检验子模型检验至少两个交叠窗口是否重复标定像素块,具体包括:从至少两个交叠窗口中分别获得一个第一窗口以及与第一窗口重叠的至少一个第二窗口;计量第一窗口与所有第二窗口之间的重叠度;检验重叠度是否超过预设重叠临界值,若否,则验证第一窗口和各个第二窗口分别独自标定像素块,若是,则验证第一窗口和各个第二窗口重复标定像素块。
在一些具体方式中,计量第一窗口在源图像上的总面积,并在源图像上检测每个第二窗口重叠在第一窗口上的重叠区域,统计所有重叠区域的区域面积占据前述总面积之间的第一比值,将该第一比值作为重叠度;或者,在源图像上分别统计分布在第一窗口内的第一像素个数和分布在前述重叠区域内的第二像素个数,计算第二像素个数与第一像素个数之间的第二比值,将第二比值作为重叠度。
在一些具体方式中,预设重叠临界值可以设置在0.5-0.9范围,例如:预设重叠临界值为0.5或者0.7或者0.9。
在重叠度小于或等于预设重叠临界值的条件下,将不同交叠窗口认证为属于独自标定不同像素块的独立窗组,在重叠度大于预设重叠临界值的条件下,将不同交叠窗口认证为属于重复标定同一像素块的重叠窗组,避免了在重叠度大于预设重叠临界值时误验证不同交叠窗口独自标定同一像素块,有助于降低不同交叠窗口的误验证率。
实施例二
如图6所示,图像区域定位装置包括:读取模块,用于分别读取图像识别模型、窗口融合模型和源图像;标定模块,用于根据图像识别模型在源图像上标定相互重叠的至少两个交叠窗口;去重模块,用于根据窗口融合模型检验至少两个交叠窗口是否重复标定在源图像局部的像素块,若否,则免合并至少两个交叠窗口,若是,则将为像素块重复标定的至少两个交叠窗口合并为一个融合窗口。
作为可选的实施方式,图像识别模型包括相似图像检测子模型、窗口扩展子模型和深度学习子模型,窗口扩展子模型包括边界扩张函数、最短路径检测函数和近距窗融合函数,窗口融合模型包括窗口检验子模型和窗口外接子模型。
如图7所示,标定模块具体包括:图像相似检验子模块,用于根据相似图像检测子模型检验预设图像库中有无与源图像相似的参考图像;第一窗口标定子模块,用于当预设图像库中有参考图像时,则根据参考图像、窗口扩展子模型和深度学习子模型在源图像上标定至少两个交叠窗口;第二窗口标定子模块,用于当预设图像库中无参考图像时,则根据深度学习子模型在源图像上标定至少两个交叠窗口。
如图8所示,第一窗口标定子模块具体包括:参考图像处理单元,用于当预设图像库中有参考图像时,则从参考图像上识别出参考窗信息;候选窗口定位单元,用于根据窗口扩展子模型将至少一个第一候选窗口扩展为对应的第二候选窗口;窗组区域标定单元,用于根据深度学习子模型在第二候选窗口内标定至少两个交叠窗口。
如图9所示,候选窗口定位单元具体包括:边界扩张子单元,用于根据边界扩张函数对至少一个第一候选窗口在源图像上的边界进行扩张,得到至少一个扩张窗口;候选窗设置子单元,用于当扩张窗口的个数为一个时,将一个扩张窗口确定为所述第二候选窗口;当扩张窗口的个数为至少两个时,根据最短路径检测函数检验至少两个扩张窗口是否属于呈相近分布在所述源图像上的近距窗组,若否,则分别将各个扩张窗口确定为第二候选窗口,若是,则根据近距窗融合函数将近距窗组合并为第二候选窗口。
任一个第一候选窗口在源图像上的边界呈平行四边形,边界扩张子单元具体用于:根据边界扩张函数分别将至少一个边界沿着源图像的横向扩张第一像素距离,以及分别将对应的边界沿着源图像的纵向扩张第二像素距离,得到至少一个扩张窗口。
候选窗设置子单元具体用于:当扩张窗口的个数为至少两个时,分别获取在各个扩张窗口内的中心点;根据最短路径检测函数检验任意相邻两个中心点沿着源图像的横向分布的第一距离是否超过第一像素距离,以及检验对应的相邻两个中心点沿着源图像的纵向分布的第二距离是否超过第二像素距离;当第一距离不超过第一像素距离或/和第二距离不超过第二像素距离时,则将对应的相邻两个中心点各自所属的扩张窗口确定为近距窗对;当第一距离超过第一像素距离且第二距离超过第二像素距离时,则将对应的相邻两个中心点各自所属的扩张窗口确定为远距窗对;在至少两个扩张窗口中,若每相邻两个中心点各自所属的扩张窗口均被确定为近距窗对时,则至少两个扩张窗口属于呈相近分布在源图像上的近距窗组,否则至少两个扩张窗口不属于呈相近分布在源图像上的近距窗组。
如图10所示,去重模块具体包括:重复检验子模块,用于根据窗口检验子模型检验至少两个交叠窗口是否重复标定像素块;窗口维持子模块,用于当至少两个交叠窗口分别独立标定像素块时,则保持各个交叠窗口不变;窗口合并子模块,用于当至少两个交叠窗口重复标定像素块时,则根据窗口外接子模型在源图像上分别标定分布在各个交叠窗口外围的最小外接窗口,将最小外接窗口作为融合窗口,去除分布在融合窗口内的各个交叠窗口。
重复检验子模块具体用于:当预设图像库中无参考图像时,则从至少两个交叠窗口中分别获得一个第一窗口以及与第一窗口重叠的至少一个第二窗口;计量第一窗口与所有第二窗口之间的重叠度;检验重叠度是否超过预设重叠临界值,若否,则验证第一窗口和各个第二窗口分别独自标定像素块,若是,则验证第一窗口和各个第二窗口重复标定像素块。
实施例三
如图11所示,图像处理设备包括:存储器和通过通信总线与存储器耦合的处理器,所述存储器存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述处理器加载并执行以实现实施例一中图像处理方法所执行的操作步骤。
在一些具体方式中,图像处理设备可以包括服务器或者智能终端,智能终端诸如笔记本电脑、工控机和智能手机中的任一种。
实施例三
一种计算机可读存储介质,其被配置为可与图像处理设备通信且存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述图像处理设备读取并执行以实现实施例一中图像处理方法所执行的操作步骤,计算机可读存储介质诸如优盘或/和移动硬盘或/和闪存或/和硬盘等,此处不再赘述。
读者应理解,在本说明书的描述中,参考术语“方面”、“实施例”和“实施方式”等的描述意指结合该实施例或示例描述的具体特征、步骤或者特点包含于本发明的至少一个实施例或示例中,术语“第一”和“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,由此,限定有“第一”和“第二”等的特征可以明示或者隐含地包括至少一个该特征。
在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例,描述的具体特征、步骤或者特点可以在一个或多个具体实例或示例中以合适的方式结合,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同具体实例或示例并不同实施例或示例的特征进行结合或/和组合。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
分别读取图像识别模型、窗口融合模型和源图像;
根据所述图像识别模型在所述源图像上标定相互重叠的至少两个交叠窗口;
根据所述窗口融合模型检验至少两个所述交叠窗口是否重复标定在所述源图像局部的像素块,若否,则免合并至少两个所述交叠窗口,若是,则将至少两个所述交叠窗口合并为一个融合窗口。
2.根据权利要求1所述图像处理方法,其特征在于,所述图像识别模型包括相似图像检测子模型、窗口扩展子模型和深度学习子模型;
根据所述图像识别模型在所述源图像上标定相互重叠的至少两个交叠窗口,具体包括:
根据所述相似图像检测子模型检验预设图像库中有无与所述源图像相似的参考图像,若有,则根据所述参考图像、所述窗口扩展子模型和所述深度学习子模型在所述源图像上标定至少两个所述交叠窗口,若无,则根据所述深度学习子模型在所述源图像上标定至少两个所述交叠窗口。
3.根据权利要求2所述图像处理方法,其特征在于,根据所述参考图像、所述窗口扩展子模型和所述深度学习子模型在所述源图像上标定至少两个所述交叠窗口,具体包括:
从所述参考图像上识别出参考窗信息;
根据所述参考窗信息在所述源图像上定位至少一个第一候选窗口;
根据所述窗口扩展子模型将至少一个所述第一候选窗口扩展为对应的第二候选窗口;
根据所述深度学习子模型在所述第二候选窗口内标定至少两个所述交叠窗口。
4.根据权利要求3所述图像处理方法,其特征在于,所述窗口扩展子模型包括边界扩张函数、最短路径检测函数和近距窗融合函数;
根据所述窗口扩展子模型将至少一个所述第一候选窗口扩展为对应的第二候选窗口,具体包括:
根据所述边界扩张函数对至少一个所述第一候选窗口在所述源图像上的边界进行扩张,得到至少一个扩张窗口;
当所述扩张窗口的个数为一个时,将一个所述扩张窗口确定为所述第二候选窗口;
当所述扩张窗口的个数为至少两个时,根据所述最短路径检测函数检验至少两个所述扩张窗口是否属于呈相近分布在所述源图像上的近距窗组,若否,则分别将各个所述扩张窗口确定为所述第二候选窗口,若是,则根据所述近距窗融合函数将所述近距窗组合并为所述第二候选窗口。
5.根据权利要求4所述图像处理方法,其特征在于,任一个所述第一候选窗口在所述源图像上的边界呈平行四边形,根据所述边界扩张函数对至少一个所述第一候选窗口在所述源图像上的边界进行扩张,得到至少一个扩张窗口,具体包括:
根据所述边界扩张函数分别将至少一个所述边界沿着所述源图像的横向扩张第一像素距离,以及将对应的所述边界沿着所述源图像的纵向扩张第二像素距离,得到至少一个所述扩张窗口;
当所述扩张窗口的个数为至少两个时,根据所述最短路径检测函数检验至少两个所述扩张窗口是否属于呈相近分布在所述源图像上的近距窗组,具体包括:
分别获取在各个所述扩张窗口内的中心点;
根据所述最短路径检测函数检验任意相邻两个所述中心点沿着所述源图像的横向分布的第一距离是否超过所述第一像素距离,以及检验对应的相邻两个所述中心点沿着所述源图像的纵向分布的第二距离是否超过所述第二像素距离;
当所述第一距离不超过所述第一像素距离或/和所述第二距离不超过所述第二像素距离时,则将对应的相邻两个所述中心点各自所属的所述扩张窗口确定为近距窗对;
当所述第一距离超过所述第一像素距离且所述第二距离超过所述第二像素距离时,则将对应的相邻两个所述中心点各自所属的所述扩张窗口确定为远距窗对;
在至少两个所述扩张窗口中,若每相邻两个所述中心点各自所属的所述扩张窗口均被确定为所述近距窗对时,则验证至少两个所述扩张窗口属于呈相近分布在所述源图像上的所述近距窗组,否则验证至少两个所述扩张窗口不属于呈相近分布在所述源图像上的所述近距窗组。
6.根据权利要求1-5任一项所述图像处理方法,其特征在于,所述窗口融合模型包括窗口检验子模型和窗口外接子模型;
根据所述窗口融合模型检验至少两个所述交叠窗口是否重复标定在所述源图像局部的像素块,若否,则免合并至少两个所述交叠窗口,若是,则将至少两个所述交叠窗口合并为一个融合窗口,具体包括:
根据所述窗口检验子模型检验至少两个所述交叠窗口是否重复标定所述像素块,若否,则保持各个所述交叠窗口不变,若是,则根据所述窗口外接子模型在所述源图像上分别标定分布在各个所述交叠窗口外围的最小外接窗口,并将所述最小外接窗口作为所述融合窗口,以及去除分布在所述融合窗口内的各个所述交叠窗口。
7.根据权利要求6所述图像处理方法,其特征在于,根据所述窗口检验子模型检验至少两个所述交叠窗口是否重复标定所述像素块,具体包括:
从至少两个所述交叠窗口中分别获得一个第一窗口以及与所述第一窗口重叠的至少一个第二窗口;
计量所述第一窗口与所有所述第二窗口之间的重叠度;
检验所述重叠度是否超过预设重叠临界值,若否,则验证所述第一窗口和各个所述第二窗口分别独自标定所述像素块,若是,则验证所述第一窗口和各个所述第二窗口重复标定所述像素块。
8.一种图像区域定位装置,其特征在于,包括:
读取模块,用于分别读取图像识别模型、窗口融合模型和源图像;
标定模块,用于根据所述图像识别模型在所述源图像上标定相互重叠的至少两个交叠窗口;
去重模块,用于根据所述窗口融合模型检验至少两个所述交叠窗口是否重复标定在所述源图像局部的像素块,若否,则免合并至少两个所述交叠窗口,若是,则将至少两个所述交叠窗口合并为一个融合窗口。
9.一种图像处理设备,其特征在于,包括:存储器和与所述存储器耦合的处理器,所述存储器存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述图像处理方法所执行的操作步骤。
10.一种计算机可读存储介质,其特征在于,被配置为可与图像处理设备通信且存储有至少一条指令或至少一段程序或代码集或指令集,所述指令或所述程序或所述代码集或所述指令集由所述图像处理设备读取并执行以实现如权利要求1至7任一项所述图像处理方法所执行的操作步骤。
CN201910940403.7A 2019-09-30 2019-09-30 一种图像处理方法、装置、设备和计算机可读存储介质 Active CN110706263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940403.7A CN110706263B (zh) 2019-09-30 2019-09-30 一种图像处理方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940403.7A CN110706263B (zh) 2019-09-30 2019-09-30 一种图像处理方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110706263A true CN110706263A (zh) 2020-01-17
CN110706263B CN110706263B (zh) 2023-06-06

Family

ID=69197353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940403.7A Active CN110706263B (zh) 2019-09-30 2019-09-30 一种图像处理方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110706263B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221949A1 (zh) * 2022-05-18 2023-11-23 阿里云计算有限公司 一种模型调度方法、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268586A (zh) * 2013-04-27 2013-08-28 电子科技大学 一种基于热扩散理论的窗融合方法
CN106204644A (zh) * 2016-07-01 2016-12-07 屈桢深 一种基于视频的目标长期跟踪方法
CN106650606A (zh) * 2016-10-21 2017-05-10 江苏理工学院 人脸图像的匹配及处理方法、人脸图像模型构建系统
US20170140526A1 (en) * 2015-11-18 2017-05-18 Nuctech Company Limited Methods and systems for inspecting goods
CN108062775A (zh) * 2017-12-15 2018-05-22 成都唐源电气股份有限公司 一种接触网悬挂部件快速定位方法
CN109033172A (zh) * 2018-06-21 2018-12-18 西安理工大学 一种深度学习与近似目标定位的图像检索方法
US20190035100A1 (en) * 2017-07-27 2019-01-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268586A (zh) * 2013-04-27 2013-08-28 电子科技大学 一种基于热扩散理论的窗融合方法
US20170140526A1 (en) * 2015-11-18 2017-05-18 Nuctech Company Limited Methods and systems for inspecting goods
CN106204644A (zh) * 2016-07-01 2016-12-07 屈桢深 一种基于视频的目标长期跟踪方法
CN106650606A (zh) * 2016-10-21 2017-05-10 江苏理工学院 人脸图像的匹配及处理方法、人脸图像模型构建系统
US20190035100A1 (en) * 2017-07-27 2019-01-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN108062775A (zh) * 2017-12-15 2018-05-22 成都唐源电气股份有限公司 一种接触网悬挂部件快速定位方法
CN109033172A (zh) * 2018-06-21 2018-12-18 西安理工大学 一种深度学习与近似目标定位的图像检索方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NIKOLAOS DIMITRIOU, ET.AL: "Motion segmentation via overlapping temporal windows", 《2013 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
SHAOQING REN, ET.AL: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZEJUN ZHANG, ET.AL: "SAR Image Segmentation Using Hierarchical Region Merging With Orientated Edge Strength Weighted Kuiper’s Distance", 《IEEE ACCESS》 *
张春春等: "基于图像处理的接触网定位线夹目标检测", 《铁道科学与工程学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221949A1 (zh) * 2022-05-18 2023-11-23 阿里云计算有限公司 一种模型调度方法、设备及存储介质

Also Published As

Publication number Publication date
CN110706263B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN108090456B (zh) 识别车道线模型的训练方法、车道线识别方法及装置
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108364253B (zh) 车辆定损方法、系统以及电子设备
CN109002795B (zh) 车道线检测方法、装置及电子设备
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
CN110598512B (zh) 一种车位检测方法及装置
US10963711B2 (en) Apparatus, system and method for recognizing object of vehicle
CN112598922A (zh) 车位检测方法、装置、设备及存储介质
CN110569693B (zh) 车体颜色识别方法及装置
CN116824516B (zh) 一种涉路施工安全监测及管理系统
CN113780183A (zh) 一种共享车辆的规范停车确定方法、装置及计算机设备
CN114255233A (zh) 散斑图的质量评价方法、装置、电子设备和存储介质
CN109508571B (zh) 一种条空定位方法、装置、电子设备及存储介质
CN111354038B (zh) 锚定物检测方法及装置、电子设备及存储介质
CN110706263B (zh) 一种图像处理方法、装置、设备和计算机可读存储介质
US11275963B2 (en) Image identification apparatus, image identification method, and non-transitory computer-readable storage medium for storing image identification program
KR102260556B1 (ko) 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치
CN115661131B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN116958604A (zh) 基于输电线路图像匹配方法、装置、介质及设备
CN111126109B (zh) 一种车道线识别方法、装置和电子设备
CN110689556A (zh) 跟踪方法、装置及智能设备
CN110689481A (zh) 车辆种类识别方法及装置
CN114299533A (zh) 基于人工智能的电网接线图元件和线路识别系统及方法
CN115393247A (zh) 一种图像处理方法、基站馈线检测方法及相关装置
CN114120309A (zh) 一种仪表读数识别方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant