CN112633158A - 一种输电线路走廊车辆识别方法、装置、设备和存储介质 - Google Patents
一种输电线路走廊车辆识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112633158A CN112633158A CN202011531650.0A CN202011531650A CN112633158A CN 112633158 A CN112633158 A CN 112633158A CN 202011531650 A CN202011531650 A CN 202011531650A CN 112633158 A CN112633158 A CN 112633158A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- feature
- layer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000005540 biological transmission Effects 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 4
- 101100041593 Arabidopsis thaliana IREG2 gene Proteins 0.000 description 3
- 101000637813 Homo sapiens Solute carrier family 40 member 1 Proteins 0.000 description 3
- 102100032008 Solute carrier family 40 member 1 Human genes 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种输电线路走廊车辆识别方法、装置、设备和存储介质,包括:获取待识别卫星图像;将待识别卫星图像输入到预设的多尺度目标检测模型;多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;通过注意力设置部分对待识别卫星图像进行注意力设置处理,生成注意力图像;通过特征提取部分从注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;通过目标识别部分根据特征金字塔,识别待识别卫星图像所对应的目标车辆位置,从而有效提高复杂背景下的卫星图像的车辆识别准确率。
Description
技术领域
本发明涉及车辆识别技术领域,尤其涉及一种输电线路走廊车辆识别方法、装置、设备和存储介质。
背景技术
在电网人员传统的日常巡检中,由于输电线路走廊区域不仅分布面广,而且环境复杂,导致巡检效率较低,有效性不足。
而随着现代遥感技术的发展和多样化的遥感图像数据的出现,能够方便地获取所需要的卫星影像数据。卫星影像涵盖区域广、光谱信息丰富、分辨率高,可以分辨出房屋、道路、河流、沟渠、池塘等目标,通过卫星影像进行巡检,是建立广域、实时、精确的电网监测体系的重要方法。而随着人工智能技术飞速发展,尤其是基于卷积神经网络的深度学习算法,使得机器代替人,进行一些特定目标的识别成为可能。其中电力巡检的重点之一在于对电网的电力设施可能构成严重威胁的项目施工进行识别,例如施工车辆的进出。
而现有的施工车辆识别方法通常是基于遥感图像中已有的矢量掩码提取道路区域,以Ostu阈值方法分割道路区域车辆,最后利用车辆形状特征对车辆进行检测。该方法主要依赖于人工设计的特征,数据集较少,通用性较低,同时由于卫星影像容易受到环境影响,背景部分较为复杂,而施工车辆通常在卫星影像中面积占比较低,进而导致车辆识别准确率较低。
发明内容
本发明提供了一种输电线路走廊车辆识别方法、装置、设备和存储介质,解决了现有技术中目标样本较少,通用性较低,卫星图像的背景较为复杂,车辆占比较低所导致的车辆识别准确率低的技术问题。
本发明提供的一种输电线路走廊车辆识别方法,包括:
获取待识别卫星图像;
将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
可选地,在所述获取待识别卫星图像的步骤之前,还包括:
获取训练图像;
对所述训练图像进行数据增强,生成数据增强图像;
采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
可选地,所述通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像的步骤,包括:
对所述待识别卫星图像进行卷积,生成待处理图像;
采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
可选地,所述通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置的步骤,包括:
按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
本发明还提供了一种输电线路走廊车辆识别装置,包括:
图像获取模块,用于获取待识别卫星图像;
图像输入模块,用于将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
第一调用模块,用于通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
第二调用模块,用于通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
第三调用模块,用于通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
可选地,还包括:
训练图像获取模块,用于获取训练图像;
数据增强模块,用于对所述训练图像进行数据增强,生成数据增强图像;
训练模块,用于采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
可选地,所述第一调用模块包括:
卷积子模块,用于对所述待识别卫星图像进行卷积,生成待处理图像;
通道注意力处理子模块,用于采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
尺寸注意力处理子模块,用于采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
可选地,所述第三调用模块包括:
上采样操作执行子模块,用于按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
下采样操作执行子模块,用于按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
融合子模块,用于在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
识别子模块,用于根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
本发明还提供了一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述任一项所述的输电线路走廊车辆识别方法的步骤。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序所述计算机程序被所述处理器执行时实现如上述任一项所述的输电线路走廊车辆识别方法。
从以上技术方案可以看出,本发明具有以下优点:
本发明通过获取待识别卫星图像,将待识别卫星图像输入到多尺度目标检测模型中,以其中的注意力设置部分确定待识别卫星图像的关注区域,生成注意力图像,再通过特征提取部分从注意力图像中在不同尺度分别提取对应的特征图像,组合所得到的多个尺度的特征图像以得到特征金字塔,最后通过目标识别部分根据特征金字塔进行识别,以确定待识别卫星图像所对应的目标车辆位置。从而解决现有技术中目标样本较少,通用性较低,卫星图像的背景较为复杂,车辆占比较低所导致的车辆识别准确率低的技术问题,有效提高复杂背景下的卫星图像的车辆识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种输电线路走廊车辆识别方法的步骤流程图;
图2为本发明实施例二提供的一种输电线路走廊车辆识别方法的步骤流程图;
图3为本发明实施例的一种注意力设置部分的步骤流程图;
图4为本发明实施例三提供的一种多尺度目标检测模型的模型结构图;
图5为本发明实施例四提供的一种输电线路走廊车辆识别装置的结构框图。
具体实施方式
本发明实施例提供了一种输电线路走廊车辆识别方法、装置、设备和存储介质,用于解决现有技术中目标样本较少,通用性较低,卫星图像的背景较为复杂,车辆占比较低所导致的车辆识别准确率低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例一提供的一种输电线路走廊车辆识别方法的步骤流程图。
本发明提供的一种输电线路走廊车辆识别方法,包括:
步骤101,获取待识别卫星图像;
待识别卫星图像指的是各种人造地球卫星在运行过程中,通过照相机、电视摄象机、多光谱扫描仪等设备,对地面地物进行摄影或扫描所获得的图象资料。
在本发明实施例中,通过获取待识别卫星图像,基于待识别卫星图像的涵盖区域广、光谱信息丰富、分辨率高,可以分辨出房屋、道路、河流、沟渠、池塘等性质,以此作为车辆识别的基础。
步骤102,将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
在本实施例中,由于获取到待识别卫星图像的拍摄角度、地貌场景变化以及天气变化等因素影响,待识别卫星的背景分布较为复杂,而施工车辆所占面积较小,因此可以将待识别卫星图像输入到预设的多尺度目标检测模型,通过其注意力设置部分、特征提取部分和目标识别部分依次对待识别卫星图像进行处理,以得到目标车辆位置。
步骤103,通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
当所述待识别卫星图像输入到预设的多尺度目标检测模型,为进一步节省计算资源,可以通过注意力设置部分对待识别卫星图像进行注意力设置处理,以在待识别卫星图像中设置重点关注区域,生成注意力图像。
步骤104,通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
在获取到注意力图像后,由于目标车辆的占比依然较小,为提高识别精度,可以通过特征提取部分从注意力图像中分别提取多个不同尺度的特征图像,以此构建得到特征金字塔,从而进一步增强注意力图像的语义特征信息。
步骤105,通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
在得到特征金字塔后,通过目标识别部分根据特征金字塔,以此为基础进行目标车辆位置的识别。
在本发明实时例中,通过获取待识别卫星图像,将待识别卫星图像输入到多尺度目标检测模型中,以其中的注意力设置部分确定待识别卫星图像的关注区域,生成注意力图像,再通过特征提取部分从注意力图像中在不同尺度分别提取对应的特征图像,组合所得到的多个尺度的特征图像以得到特征金字塔,最后通过目标识别部分根据特征金字塔进行识别,以确定待识别卫星图像所对应的目标车辆位置。从而解决现有技术中目标样本较少,通用性较低,卫星图像的背景较为复杂,车辆占比较低所导致的车辆识别准确率低的技术问题,有效提高复杂背景下的卫星图像的车辆识别准确率。
请参阅图2,图2为本发明实施例二提供的一种输电线路走廊车辆识别方法的步骤流程图。
本发明提供的一种输电线路走廊车辆识别方法,包括:
步骤201,获取训练图像;
在本发明实施例中,训练图像可以为已标注目标车辆位置的卫星图像,以便于对生成的多尺度目标检测模型的训练程度进行检验。
步骤202,对所述训练图像进行数据增强,生成数据增强图像;
mix up是一种运用在计算机视觉中的对图像进行混类增强的算法,它可以将不同类之间的图像进行混合,从而扩充数据集。
可选地,训练图像可以包括多个,当训练图像较少时,可以采用mix up技术进行数据增强,利用线性插值得到数据增强图像,令(xn,yn)是插值生成的数据增强图像,(xi,yi)和(xj,yj)是从多个训练图像中随机选取的两个图像数据,则采用mix up生成数据增强图像的过程可以如下公式所示:
(xn,yn)=λ(xi,yi)+(1-λ)(xj,yj)
式中λ的取值范围介于0到1,i和j均为正整数。
在具体实现中,数据增强图像可以通过含有施工车辆的图像和背景图像进行融合生成。
步骤203,采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
在获取到数据增强图像后,可以依次采用数据增强图像对预设的目标检测模型进行训练,不断调整目标检测模型的模型参数,以提高目标检测的准确率,当其准确率大于预定阈值时,训练完毕生成多尺度目标检测模型。
其中预定阈值可以设置为90%、95%,或者由技术人员自行设定,本发明实施例对此不作限制。
进一步地,本发明实施例中的目标检测模型可以采用RetinaNet进行改进所得到,一方面RetinaNet模型中的FPN操作采用双向FPN操作。另一方面骨干网络采用ResNet网络,在网络的浅层结构中加入通道注意力模块和空间注意力模块。
步骤204,获取待识别卫星图像;
步骤205,将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
在本发明实施例中,步骤204-205的具体实现过程与上述步骤101-102类似,在此不再赘述。
步骤206,通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
在本发明实施例中,步骤206还可以包括以下子步骤:
对所述待识别卫星图像进行卷积,生成待处理图像;
采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
请参阅图3,图3示出了本发明实施例的一种注意力设置部分的步骤流程图。其中,包括通道注意力模块和空间注意力模块。
在本发明实施例中,待识别卫星图像会由(R,G,B)三通道表示出来,为获取到待识别卫星图像的通道注意力图,在经过不同的卷积核之后,每一个通道会生成新的信号,比如图片特征的每个通道使用64核卷积,就会产生64个新通道的矩阵(H,W,64),H,W分别表示图片特征的高度和宽度。既然每个信号都可以被分解成核函数上的分量,产生的新的64个通道对于关键信息的贡献肯定有多有少,可以为每个通道上的信号都增加一个权重,来代表该通道与关键信息的相关度,这个权重越大,则表示相关度越高,注意力图像的生成过程与此类似。
例如,对待识别卫星图像卷积后所得到的待处理图像为I∈RC×H×W,先经过采用预设的通道权重矩阵处理后获得待处理图像的通道注意力图Mc∈RC×1×1,再采用预设的尺寸权重矩阵与所述获得注意力图像Ms∈R1×H×W,I″是最终的输出,表达如下:
步骤207,通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
在本发明实施例中,通过ResNet50网络进行特征提取,以得到多个不同尺度的特征图像,以多个特征图像按照尺度大小进行排序,得到特征金字塔。
步骤208,通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
可选地,步骤208可以包括以下子步骤:
按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
在本发明实施中,所生成的特征金字塔中,由于顶层特征包含的语义信息较多,可以对特征金字塔的每层所对应的第一特征图像逐层进行上采样,例如可以通过从最顶层的特征图逐层反卷积得到,反卷积将顶层特征图的尺寸还原之外,还可以还原顶层提取到的语义信息,这些信息忽略了图像中的背景类,并将前景物体向对应的位置还原,在每层上采样之后,输出对应层的第二特征图;而为了增强定位信息,可以从特征金字塔的底层特征自底向上传递,底层特征中包含更多位置信息,以此增强了特征金字塔的位置信息,在所述特征金字塔每层分别融合对应层得到的第二特征图和第三特征图,从而生成各层对应的目标特征图。从目标特征图中识别得到对应的目标车辆位置。
在本发明实时例中,通过获取待识别卫星图像,将待识别卫星图像输入到多尺度目标检测模型中,以其中的注意力设置部分确定待识别卫星图像的关注区域,生成注意力图像,再通过特征提取部分从注意力图像中在不同尺度分别提取对应的特征图像,组合所得到的多个尺度的特征图像以得到特征金字塔,最后通过目标识别部分根据特征金字塔进行识别,以确定待识别卫星图像所对应的目标车辆位置。从而解决现有技术中目标样本较少,通用性较低,卫星图像的背景较为复杂,车辆占比较低所导致的车辆识别准确率低的技术问题,有效提高复杂背景下的卫星图像的车辆识别准确率。
请参阅图4,图4示出了本发明实施例三的一种多尺度目标检测模型的模型结构图。
本发明实施例提供的一种多尺度目标检测模型,包括:卷积模块Conv64,最大池化模块max pool,注意力模块,特征提取层bottleneck1、bottleneck2、bottleneck3、bottleneck4和bottleneck5以及特征融合部分,为便于理解,特征融合部分中的特征金字塔分为相同的FPN1和FPN2。
其中,特征提取层可以采用ResNet50进行特征提取,包括但不限于bottleneck1-5,注意力模块包括通道注意力模块和空间注意力模块。
当输入了待识别卫星图像后,可以通过卷积模块Conv64和最大池化模块max pool进行处理,以得到待处理图像,经注意力模块处理后得到注意力图,经ResNet50对注意力图进行特征提取,得到特征图1-5所构成的特征金字塔FPN1以及串联的FPN2,通过对特征金字塔FPN1自顶而下的上采样操作、对特征金字塔FPN2自底而上的下采样操作以及横向连接,得到特征图6-10进行目标车辆的类别预测和位置预测。
请参阅图5,图5示出了本发明实施例四的一种输电线路走廊车辆识别装置的结构框图。
本发明实施例还提供了一种输电线路走廊车辆识别装置,包括:
图像获取模块501,用于获取待识别卫星图像;
图像输入模块502,用于将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
第一调用模块503,用于通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
第二调用模块504,用于通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
第三调用模块505,用于通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
可选地,还包括:
训练图像获取模块,用于获取训练图像;
数据增强模块,用于对所述训练图像进行数据增强,生成数据增强图像;
训练模块,用于采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
可选地,所述第一调用模块503包括:
卷积子模块,用于对所述待识别卫星图像进行卷积,生成待处理图像;
通道注意力处理子模块,用于采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
尺寸注意力处理子模块,用于采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
可选地,所述第三调用模块505包括:
上采样操作执行子模块,用于按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
下采样操作执行子模块,用于按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
融合子模块,用于在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
识别子模块,用于根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
本发明实施例还提供了一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述任一实施例所述的输电线路走廊车辆识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序所述计算机程序被所述处理器执行时实现如上述任一实施例所述的输电线路走廊车辆识别方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种输电线路走廊车辆识别方法,其特征在于,包括:
获取待识别卫星图像;
将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
2.根据权利要求1所述的输电线路走廊车辆识别方法,其特征在于,在所述获取待识别卫星图像的步骤之前,还包括:
获取训练图像;
对所述训练图像进行数据增强,生成数据增强图像;
采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
3.根据权利要求1所述的输电线路走廊车辆识别方法,其特征在于,所述通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像的步骤,包括:
对所述待识别卫星图像进行卷积,生成待处理图像;
采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
4.根据权利要求1-3任一项所述的输电线路走廊车辆识别方法,其特征在于,所述通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置的步骤,包括:
按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
5.一种输电线路走廊车辆识别装置,其特征在于,包括:
图像获取模块,用于获取待识别卫星图像;
图像输入模块,用于将所述待识别卫星图像输入到预设的多尺度目标检测模型;所述多尺度目标检测模型包括注意力设置部分、特征提取部分和目标识别部分;
第一调用模块,用于通过所述注意力设置部分对所述待识别卫星图像进行注意力设置处理,生成注意力图像;
第二调用模块,用于通过所述特征提取部分从所述注意力图像中分别提取多个不同尺度的特征图像,得到特征金字塔;
第三调用模块,用于通过所述目标识别部分根据所述特征金字塔,识别所述待识别卫星图像所对应的目标车辆位置。
6.根据权利要求5所述的输电线路走廊车辆识别装置,其特征在于,还包括:
训练图像获取模块,用于获取训练图像;
数据增强模块,用于对所述训练图像进行数据增强,生成数据增强图像;
训练模块,用于采用所述数据增强图像对预设的目标检测模型进行训练,生成多尺度目标检测模型。
7.根据权利要求5所述的输电线路走廊车辆识别装置,其特征在于,所述第一调用模块包括:
卷积子模块,用于对所述待识别卫星图像进行卷积,生成待处理图像;
通道注意力处理子模块,用于采用预设的通道权重矩阵对所述待处理图像进行处理,生成所述待处理图像的通道注意力图;
尺寸注意力处理子模块,用于采用预设的尺寸权重矩阵对所述通道注意力图进行处理,生成注意力图像。
8.根据权利要求5-7任一项所述的输电线路走廊车辆识别装置,其特征在于,所述第三调用模块包括:
上采样操作执行子模块,用于按照自顶向下的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层上采样操作,在所述特征金字塔每层分别输出第二特征图;
下采样操作执行子模块,用于按照自底向上的顺序,对所述特征金字塔每层所对应的第一特征图执行逐层下采样操作,在所述特征金字塔每层分别生成第三特征图;
融合子模块,用于在所述特征金字塔每层分别融合所述第二特征图和所述第三特征图,生成目标特征图;
识别子模块,用于根据所述目标特征图识别所述待识别卫星图像所对应的目标车辆位置。
9.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-4任一项所述的输电线路走廊车辆识别方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时实现如权利要求1-4任一项所述的输电线路走廊车辆识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011531650.0A CN112633158A (zh) | 2020-12-22 | 2020-12-22 | 一种输电线路走廊车辆识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011531650.0A CN112633158A (zh) | 2020-12-22 | 2020-12-22 | 一种输电线路走廊车辆识别方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112633158A true CN112633158A (zh) | 2021-04-09 |
Family
ID=75322039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011531650.0A Pending CN112633158A (zh) | 2020-12-22 | 2020-12-22 | 一种输电线路走廊车辆识别方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633158A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385889A (zh) * | 2023-06-07 | 2023-07-04 | 国网电力空间技术有限公司 | 基于铁路识别的电力巡检方法、装置、电子设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108364023A (zh) * | 2018-02-11 | 2018-08-03 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和系统 |
CN110197167A (zh) * | 2019-06-05 | 2019-09-03 | 清华大学深圳研究生院 | 一种视频动作迁移方法 |
CN110610129A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种基于自注意力机制的深度学习人脸识别系统及方法 |
CN110688883A (zh) * | 2019-01-14 | 2020-01-14 | 成都通甲优博科技有限责任公司 | 车辆和行人检测方法及装置 |
CN111160293A (zh) * | 2019-12-31 | 2020-05-15 | 珠海大横琴科技发展有限公司 | 基于特征金字塔网络的小目标船只检测方法及系统 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111738110A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于多尺度注意力机制的遥感图像车辆目标检测方法 |
CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
-
2020
- 2020-12-22 CN CN202011531650.0A patent/CN112633158A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108364023A (zh) * | 2018-02-11 | 2018-08-03 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和系统 |
CN110688883A (zh) * | 2019-01-14 | 2020-01-14 | 成都通甲优博科技有限责任公司 | 车辆和行人检测方法及装置 |
CN110197167A (zh) * | 2019-06-05 | 2019-09-03 | 清华大学深圳研究生院 | 一种视频动作迁移方法 |
CN110610129A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种基于自注意力机制的深度学习人脸识别系统及方法 |
CN111160293A (zh) * | 2019-12-31 | 2020-05-15 | 珠海大横琴科技发展有限公司 | 基于特征金字塔网络的小目标船只检测方法及系统 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111738110A (zh) * | 2020-06-10 | 2020-10-02 | 杭州电子科技大学 | 基于多尺度注意力机制的遥感图像车辆目标检测方法 |
CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385889A (zh) * | 2023-06-07 | 2023-07-04 | 国网电力空间技术有限公司 | 基于铁路识别的电力巡检方法、装置、电子设备 |
CN116385889B (zh) * | 2023-06-07 | 2023-09-19 | 国网电力空间技术有限公司 | 基于铁路识别的电力巡检方法、装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
CN108510504B (zh) | 图像分割方法和装置 | |
CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
CN111814771B (zh) | 图像处理的方法及装置 | |
CN110246181A (zh) | 基于锚点的姿态估计模型训练方法、姿态估计方法和系统 | |
Park et al. | Biologically inspired saliency map model for bottom-up visual attention | |
CN111931686B (zh) | 一种基于背景知识增强的视频卫星目标跟踪方法 | |
CN114943893B (zh) | 一种土地覆盖分类的特征增强方法 | |
CN112419333B (zh) | 一种遥感影像自适应特征选择分割方法及系统 | |
CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 | |
CN113628180B (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN110503083A (zh) | 一种关键点检测方法、装置及电子设备 | |
CN115841629A (zh) | 一种基于卷积神经网络的sar图像舰船检测方法 | |
CN111626134A (zh) | 一种基于隐密度分布的密集人群计数方法、系统及终端 | |
CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
CN112633158A (zh) | 一种输电线路走廊车辆识别方法、装置、设备和存储介质 | |
CN117351360A (zh) | 一种基于注意力机制改进的遥感图像道路提取方法 | |
CN112926426A (zh) | 基于监控视频的船舶识别方法、系统、设备及存储介质 | |
CN117392508A (zh) | 一种基于坐标注意力机制的目标检测方法和装置 | |
CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
CN117893744A (zh) | 基于改进边界引导上下文聚合网络的遥感图像分割方法 | |
CN116310832A (zh) | 遥感图像处理方法、装置、设备、介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |
|
RJ01 | Rejection of invention patent application after publication |