CN114241280A - 一种主站调度系统后台画面图像的动态识别方法 - Google Patents

一种主站调度系统后台画面图像的动态识别方法 Download PDF

Info

Publication number
CN114241280A
CN114241280A CN202210164311.6A CN202210164311A CN114241280A CN 114241280 A CN114241280 A CN 114241280A CN 202210164311 A CN202210164311 A CN 202210164311A CN 114241280 A CN114241280 A CN 114241280A
Authority
CN
China
Prior art keywords
feature
data
characteristic
spectrum
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210164311.6A
Other languages
English (en)
Other versions
CN114241280B (zh
Inventor
钟志明
汪杰
段孟雍
李波
郭志军
吴钟飞
李祺威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Dongguan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210164311.6A priority Critical patent/CN114241280B/zh
Publication of CN114241280A publication Critical patent/CN114241280A/zh
Application granted granted Critical
Publication of CN114241280B publication Critical patent/CN114241280B/zh
Priority to PCT/CN2023/077502 priority patent/WO2023160557A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像动态识别技术领域，公开了主站调度系统后台画面图像的动态识别方法，包括：获取后台画面图像传入骨干卷积神经网络提取特征激活图；对所述原始特征数据采用数据增广策略增加原始特征数据训练样本的多样性，获取训练样本的数据连续帧，根据数据帧数设计特征谱流；通过计算所述相邻数据帧数之间特征谱流获取融合特征，提取短时运动特征；基于所述短时运动特征采用数据交换策略模拟长时运动特征获取动态图像。本发明利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，降低了算法的复杂程度，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。

Description

一种主站调度系统后台画面图像的动态识别方法
技术领域
本发明实施例涉及图像动态识别技术领域，具体涉及一种主站调度系统后台画面图像的动态识别方法。
背景技术
现有模式下主站调度系统已经应用到各个方面，调度环节肩负着整个主站系统的安全运行与管理，其运行水平的高低是智能主站信息化建设的一个重要表征，但是现有的调度中心和主站的自动化系统各自遵循不同的标准体系，在主站调度系统里需对后台画面图像进行识别处理后同步至其他系统。
现有的主站调度系统在处理后台图像上存在以下缺陷：
现有的图像识别方法采用双流法在时间流分支上常采用 RGB 差异作为输入，作为空间特征的补充，时间流可以作为图像的时域信息，但是算法复杂度高，图像的帧间 RGB差异几乎为零，会使其丧失对运动特征的判别性，识别精度不高。
通过使用五个二维卷积层作为特征提取模块，分别对光流和单帧进行特征提取，而在融合三维卷积的双流网络中，则通过时间维度上的卷积和池化来筛选时域上的特征，无法精确的体现图像中物体的运动特性，而且随着网络数据的增加还存在计算量过大的问题。
发明内容
为此，本发明实施例提供一种主站调度系统后台画面图像的动态识别方法，采用二维卷积对图像两分支的主干网络进行特征提取，随着网
络的加深，对特征谱和特征谱流施以反复的二维卷积，利用数据交换策略更好地模拟长时运动特征，以解决现有技术中仅针对时间维度上的卷积和池化的时序特征导致的计算复杂，且精确度低的问题。
为了实现上述目的，本发明的实施方式提供如下技术方案：
一种主站调度系统后台画面图像的动态识别方法，包括以下步骤：
步骤100、获取后台画面图像，将所述后台画面图像传入骨干卷积神经网络中提取特征激活图，将所述特征激活图作为输入图像信息的原始特征数据；
步骤200、采用数据增广策略，对所述原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用
Figure 818981DEST_PATH_IMAGE001
的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据所述数据帧数设计特征谱流；
步骤300、计算相邻的所述数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
步骤400、基于所述短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像。
可选地，所述步骤100包括：
步骤101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到
Figure 736122DEST_PATH_IMAGE002
特征激活图；其中，
Figure 952077DEST_PATH_IMAGE003
是特征激活图的通道数量，
Figure 347286DEST_PATH_IMAGE004
和
Figure 161659DEST_PATH_IMAGE005
分别是特征激活图空间尺寸的高度和宽度；
步骤102、选定所述特征激活图，沿竖直方向将所述特征激活图平均地划分为
Figure 921804DEST_PATH_IMAGE006
部分，获得水平特征激活图区域；其中，
Figure 188838DEST_PATH_IMAGE006
表示图片中物体水平区域划分的区域数量；
步骤103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到
Figure 325421DEST_PATH_IMAGE006
个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
步骤104、使用
Figure 994300DEST_PATH_IMAGE006
个局部特征区域的特征向量监督全局特征，获取全部原始特征数据。
可选地，所述步骤103还包括：
根据所述特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，采用数据增广策略，对输出的特征图增加原始特征数据，训练样本的多样性。
可选地，所述步骤200包括：
对所述训练样本在空间分支网络上，使用
Figure 987663DEST_PATH_IMAGE001
的二维卷积的方法对单帧图像提取空域特征；
在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
可选地，所述数据交换包括：
将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，将两分支在最后一层进行特征融合，确定图像特征谱。
可选地，在步骤200中，根据所述数据帧数设计特征谱流
Figure 679676DEST_PATH_IMAGE007
表达式为：
Figure 416688DEST_PATH_IMAGE008
其中
Figure 940073DEST_PATH_IMAGE009
、
Figure 806136DEST_PATH_IMAGE010
、
Figure 47761DEST_PATH_IMAGE011
、
Figure 322885DEST_PATH_IMAGE012
代表的是第
Figure 966356DEST_PATH_IMAGE013
帧、第t+1帧、第t+30帧、第t+31帧卷积得到的特征谱，
Figure 301522DEST_PATH_IMAGE014
、
Figure 968127DEST_PATH_IMAGE015
是第
Figure 46941DEST_PATH_IMAGE016
帧、第t+31帧得到的特征谱空间卷积的结果，
Figure 544918DEST_PATH_IMAGE017
是计算得到的特征谱流。
可选地，所述步骤300包括：
将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征。
可选地，所述步骤300包括：
步骤301、对时间分支特征谱
Figure 316565DEST_PATH_IMAGE009
做空间全局池化，得到特征谱尺寸为
Figure 204887DEST_PATH_IMAGE018
的运动形态特征
Figure 87392DEST_PATH_IMAGE019
；其中，
Figure 439876DEST_PATH_IMAGE020
表示输入时间分支特征谱
Figure 382424DEST_PATH_IMAGE021
的时间长度，
Figure 820359DEST_PATH_IMAGE022
表示每帧的宽和高，
Figure 178659DEST_PATH_IMAGE023
是每帧图像的通道数；
步骤302、使用
Figure 651229DEST_PATH_IMAGE024
的卷积核对通道数进行缩小，再使用一个
Figure 764678DEST_PATH_IMAGE025
的卷积核对通道数进行放大获取通道间的相关性；
步骤303、使用 Sigmoid 函数对特征谱
Figure 689909DEST_PATH_IMAGE026
进行归一化，得到运动形态融合特征
Figure 914217DEST_PATH_IMAGE027
，所述融合特征
Figure 417792DEST_PATH_IMAGE028
的表达式为：
Figure 702142DEST_PATH_IMAGE029
其中
Figure 114669DEST_PATH_IMAGE030
和
Figure 142668DEST_PATH_IMAGE031
为两个
Figure 324251DEST_PATH_IMAGE032
的卷积核，
Figure 513924DEST_PATH_IMAGE033
为空间全局平均池化层，
Figure 351430DEST_PATH_IMAGE034
表示Sigmoid函数的系数。
可选地，所述步骤400包括
Figure 917540DEST_PATH_IMAGE035
步骤401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
步骤402、将空间分支的特征谱通过
Figure 219208DEST_PATH_IMAGE036
卷积和
Figure 579783DEST_PATH_IMAGE037
卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
步骤403、依据时序移动残差通过融合数据模拟运动特征。
可选地，所述步骤403包括：
将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
使用
Figure 966902DEST_PATH_IMAGE038
的伪三维卷积对输入特征谱进行卷积，弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
本发明的实施方式具有如下优点：
本实施方式中主站调度系统后台画面图像的动态识别方法，利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，激发了原始数据帧中的运动敏感信息，以降低算法的复杂程度，完成运动建模，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施方式中的图像动态识别方法的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种主站调度系统后台画面图像的动态识别方法，本实施方式利用图像中特征谱流作为相邻数据帧之间特征谱级别的差异表示，通过对特征谱的二维卷积和残差连接操作，激发了原始数据帧中的运动敏感信息，以降低算法的复杂程度，完成运动建模，采用特征融合方法使融合特征具有更好的时空表征能力，有效提高了行为识别的正确率。
具体包括以下步骤：
S1、获取后台画面图像，将后台画面图像传入骨干卷积神经网络中提取特征激活图，将特征激活图作为输入图像信息的原始特征数据；
S2、采用数据增广策略，对原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用
Figure 274386DEST_PATH_IMAGE039
的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据数据帧数设计特征谱流；
S3、计算相邻的数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
S4、基于短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像。
在步骤S1中，通过骨干卷积神经网络对每个输入图像进行分类获取原始特征数据，原始特征数据具体实施步骤为：
S101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到
Figure 164982DEST_PATH_IMAGE040
特征激活图；其中，
Figure 962036DEST_PATH_IMAGE041
是特征激活图的通道数量，
Figure 570872DEST_PATH_IMAGE042
和
Figure 744365DEST_PATH_IMAGE043
分别是特征激活图空间尺寸的高度和宽度；
S102、选定特征激活图，沿竖直方向将特征激活图平均地划分为
Figure 692729DEST_PATH_IMAGE044
部分，获得水平特征激活图区域；其中，
Figure 660685DEST_PATH_IMAGE044
表示图片中物体水平区域划分的区域数量；
S103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到
Figure 756817DEST_PATH_IMAGE044
个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
S104、使用
Figure 468421DEST_PATH_IMAGE044
个局部特征区域的特征向量监督全局特征，获取全部原始特征数据；
本实施例中，全局平均特征为骨干卷积网络输出的全局特征用于表示整个图像的总体特征，
Figure 333609DEST_PATH_IMAGE044
个局部特征用于表示图像不同区域的局部特征。
在步骤S103中，根据特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，根据输出的特征图采用数据增广策略增加原始特征数据训练样本的多样性。
本实施例中，数据增广策略利用LabelImg 图像标注工具对每幅图像中重点目标的真值框进行标注，得到包含目标中心点在图像中的位置以及所标注目标的宽度和高度的数据文件。
在步骤S2中，对训练样本在空间分支网络上，使用
Figure 908685DEST_PATH_IMAGE045
的二维卷积的方法对单帧图像提取空域特征，在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
数据交换将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，两分支在最后一层进行特征融合，确定图像特征谱。
本实施例中，将时间分支和空间分支分为两部分，通过数据交换操作和特征谱流这一输入形式，时空域特征融合贯穿于整个训练的过程中，而不是只在最后一层进行，为了实现时空域特征融合，在空间分支网络上，使用二维卷积的方法对单帧图像提取空域特征，在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换，数据交换是将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，两分支还在最后一层进行特征融合，进而得到行为识别的最终结果。
在步骤S2中，依据图像特征谱使用
Figure 492113DEST_PATH_IMAGE046
的二维卷积对输入的数据连续帧进行降维获取数据帧数，根据数据帧数设计特征谱数量，得到当前层的特征谱流，其表达式为：
Figure 741828DEST_PATH_IMAGE008
其中
Figure 727102DEST_PATH_IMAGE009
、
Figure 36861DEST_PATH_IMAGE010
、
Figure 45268DEST_PATH_IMAGE011
、
Figure 98675DEST_PATH_IMAGE012
代表的是第
Figure 938455DEST_PATH_IMAGE013
帧、第t+1帧、第t+30帧、第t+31帧卷积得到的特征谱，
Figure 419114DEST_PATH_IMAGE014
、
Figure 649239DEST_PATH_IMAGE015
是第
Figure 506336DEST_PATH_IMAGE016
帧、第t+31帧得到的特征谱空间卷积的结果，
Figure 200623DEST_PATH_IMAGE017
是计算得到的特征谱流。
本实施例中，采用双流卷积网络的时间分支与空间分支进行数据交换，共同构成行为识别网络，二维卷积用来提取空间特征谱，在时间分支运动信息上建模，对输入的连续帧进行降维，根据输入的帧数来设计特征谱的数量，进而确定通道降维的参数，采用二维卷积将第一帧特征谱与后续残差运动信息拼接合并在一起，得到当前层的特征谱流，并反复叠加局部卷积，加强时间域的联系。
本实施例中，采用特征谱流进行时间建模，在特征谱流和单帧流之间进行数据交换操作，而不只是在最后的卷积层进行融合，通过这两个方面的改进，增强了网络对时空域特征的融合能力，提升了对动态图像行为识别的精度。
将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征，具体实施步骤如下：
S301、对时间分支特征谱
Figure 852184DEST_PATH_IMAGE047
做空间全局池化，得到特征谱尺寸为
Figure 835183DEST_PATH_IMAGE048
的运动形态特征
Figure 230393DEST_PATH_IMAGE049
，其中
Figure 779186DEST_PATH_IMAGE050
表示输入时间分支特征谱
Figure 867227DEST_PATH_IMAGE051
的时间长度，
Figure 134261DEST_PATH_IMAGE022
表示每帧的宽和高，
Figure 769379DEST_PATH_IMAGE052
是每帧图像的通道数；
S302、使用
Figure 172679DEST_PATH_IMAGE053
的卷积核对通道数进行缩小，再使用一个
Figure 431622DEST_PATH_IMAGE054
的卷积核对通道数进行放大获取通道间的相关性；
S303、使用 Sigmoid 函数对特征谱
Figure 185951DEST_PATH_IMAGE009
进行归一化，得到运动形态融合特征
Figure 922963DEST_PATH_IMAGE055
，融合特征
Figure 384031DEST_PATH_IMAGE055
的表达式为：
Figure 813876DEST_PATH_IMAGE056
其中
Figure 789922DEST_PATH_IMAGE057
和
Figure 330625DEST_PATH_IMAGE058
为两个
Figure 974096DEST_PATH_IMAGE059
的卷积核，
Figure 246945DEST_PATH_IMAGE033
为空间全局平均池化层，
Figure 975867DEST_PATH_IMAGE060
表示Sigmoid函数的系数。
本实施例中，特征谱流具有以下两个显著优点：第一，光流需要花费大量的计算时间，而特征谱流使用二维卷积得到，计算量大大减小；第二，光流最终只是与单帧预测结果加权平均或者直接求和，在时序建模上略显薄弱，而特征谱流的时序建模是持续的，随着特征谱流分支网络的深入，即可以获得低层的短时运动特征，也可以获得高层的长时运动特征，相比于 RGB 差异图像，由于存在额外的二维卷积操作，特征谱流在特征表达能力上更胜一筹，同时也避免了部分准静态行为带来的 RGB 差异输入无效的问题。
在步骤S4中，依据融合特征
Figure 54681DEST_PATH_IMAGE027
采用数据交换策略模拟模拟长时运动特征，其步骤如下：
S401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
S402、再将空间分支的特征谱通过
Figure 552658DEST_PATH_IMAGE045
卷积和
Figure 58726DEST_PATH_IMAGE061
卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
S403、依据时序移动残差通过融合数据模拟运动特征。
本实施例中，采用了数据交换策略，将其用于基于特征谱流的双流网络中，能够获得更优的时空融合效果。
在步骤S403中，时序移动残差具体实现步骤为：
将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
使用
Figure 212627DEST_PATH_IMAGE062
的伪三维卷积对输入特征谱进行卷积弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
本实施例中，采用时序移动残差提取时空自融合特征，进行行为识别，时序移动残差主要通过时间通道移动和残差连接的操作实现了不产生额外计算量的时间建模和时空域自融合。
本实施例中，采用5个
Figure 95132DEST_PATH_IMAGE062
的伪三维卷积层只在第 1 层和第 5 层使用了两次时序移动残差，目的是减小内存消耗，这两个时序移动残差分别用来进行低层和高层的时间建模，时序移动残差可以得到时空自融合特征，进而得到行为识别结果。
因此作为本发明的另一创新点，本实施方式基于图像识别的时间位移的时序残差，在没有带来额外的计算复杂度的情况下对运动特征进行提取，实现了时域建模，有效降低模型部署的难度。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种主站调度系统后台画面图像的动态识别方法，其特征在于，包括以下步骤：
步骤100、获取后台画面图像，将所述后台画面图像传入骨干卷积神经网络中提取特征激活图，将所述特征激活图作为输入图像信息的原始特征数据；
步骤200、采用数据增广策略，对所述原始特征数据增加原始特征数据，训练样本的多样性，获取训练样本的数据连续帧；使用
Figure 381820DEST_PATH_IMAGE001
的二维卷积对输入的数据连续帧进行降维，获取数据帧数，根据所述数据帧数设计特征谱流；
步骤300、计算相邻的所述数据帧数之间的特征谱流，获取融合特征，对运动建模及提取短时运动特征；
步骤400、基于所述短时运动特征，采用数据交换策略模拟长时运动特征，获取动态图像。
2.根据权利要求1所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤100包括：
步骤101、使用ResNet50网络作为骨干卷积网络，从最后一个卷积层中提取数据特征点，得到
Figure 324369DEST_PATH_IMAGE002
特征激活图；其中，
Figure 699986DEST_PATH_IMAGE003
是特征激活图的通道数量，
Figure 120603DEST_PATH_IMAGE004
和
Figure 593173DEST_PATH_IMAGE005
分别是特征激活图空间尺寸的高度和宽度；
步骤102、选定所述特征激活图，沿竖直方向将所述特征激活图平均地划分为
Figure 441043DEST_PATH_IMAGE006
部分，获得水平特征激活图区域；其中，
Figure 366274DEST_PATH_IMAGE007
表示图片中物体水平区域划分的区域数量；
步骤103、将全局平均特征分别应用于每一个水平特征激活图区域上，得到
Figure 590582DEST_PATH_IMAGE008
个局部特征，每个局部特征表示为一个通道数为Ｃ的特征向量；
步骤104、使用
Figure 855341DEST_PATH_IMAGE009
个局部特征区域的特征向量监督全局特征，获取全部原始特征数据。
3.根据权利要求2所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤103还包括：
根据所述特征向量检测识别原始特征数据，通过多个卷积层和池化层形成特征图，采用数据增广策略，对输出的特征图增加原始特征数据，训练样本的多样性。
4.根据权利要求3所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤200包括：
对所述训练样本在空间分支网络上，使用
Figure 139692DEST_PATH_IMAGE010
的二维卷积的方法对单帧图像提取空域特征；
在时间分支网络上，先通过帧序列计算得到特征谱流，随后对特征谱流进行二维卷积，在每个卷积层之后，对两分支的数据进行数据交换。
5.根据权利要求4所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述数据交换包括：
将时间分支网络卷积层得到的特征谱加在空间分支网络上，将空间分支网络的结果用于计算下一个特征谱流，将两分支在最后一层进行特征融合，确定图像特征谱。
6.根据权利要求5所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，在步骤200中，根据所述数据帧数设计特征谱流，表达式为：
Figure 552219DEST_PATH_IMAGE011
其中
Figure 314638DEST_PATH_IMAGE012
、
Figure 496221DEST_PATH_IMAGE013
、
Figure 387691DEST_PATH_IMAGE014
、
Figure 287514DEST_PATH_IMAGE015
代表的是第
Figure 853625DEST_PATH_IMAGE016
帧、第t+1帧、第t+30帧、第
Figure 827397DEST_PATH_IMAGE017
帧卷积得到的特征谱，
Figure 453550DEST_PATH_IMAGE018
、
Figure 840669DEST_PATH_IMAGE019
是第
Figure 882575DEST_PATH_IMAGE020
帧、第t+31帧得到的特征谱空间卷积的结果，
Figure 38750DEST_PATH_IMAGE021
是计算得到的特征谱流。
7.根据权利要求6所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤300包括：
将对应的特征谱流使用二维卷积对两分支的主干网络进行特征提取，对特征谱和特征谱流进行反复的二维卷积，并计算相邻数据帧数之间特征谱流的融合特征。
8.根据权利要求7所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤300包括：
步骤301、对时间分支特征谱
Figure 835804DEST_PATH_IMAGE022
做空间全局池化，得到特征谱尺寸为
Figure 444640DEST_PATH_IMAGE023
的运动形态特征
Figure 618133DEST_PATH_IMAGE024
；其中
Figure 628814DEST_PATH_IMAGE025
表示输入时间分支特征谱
Figure 534453DEST_PATH_IMAGE026
的时间长度，
Figure 630585DEST_PATH_IMAGE027
表示每帧的宽和高，
Figure 76610DEST_PATH_IMAGE028
是每帧图像的通道数；
步骤302、使用
Figure 649455DEST_PATH_IMAGE029
的卷积核对通道数进行缩小，再使用一个
Figure 788312DEST_PATH_IMAGE030
的卷积核对通道数进行放大获取通道间的相关性；
步骤303、使用 Sigmoid 函数对特征谱
Figure 371740DEST_PATH_IMAGE022
进行归一化，得到运动形态融合特征
Figure 621456DEST_PATH_IMAGE031
，所述融合特征
Figure 606729DEST_PATH_IMAGE032
的表达式为：
Figure 854171DEST_PATH_IMAGE033
其中
Figure 924895DEST_PATH_IMAGE034
和
Figure 978302DEST_PATH_IMAGE035
为两个
Figure 818082DEST_PATH_IMAGE036
的卷积核，
Figure 298742DEST_PATH_IMAGE037
为空间全局平均池化层，
Figure 528866DEST_PATH_IMAGE038
表示Sigmoid函数的系数。
9.根据权利要求7所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤400包括：
步骤401、将时间分支的特征谱流与空间分支的特征谱逐点相加，实现时间特征与空间特征的第一次融合；
步骤402、将空间分支的特征谱通过
Figure 385963DEST_PATH_IMAGE039
卷积和
Figure 80250DEST_PATH_IMAGE040
卷积，分别实现变形和高层特征抽象，在时间分支的每个卷积层之后，多次计算相邻数据帧的残差；
步骤403、依据时序移动残差通过融合数据模拟运动特征。
10.根据权利要求9所述的一种主站调度系统后台画面图像的动态识别方法，其特征在于，所述步骤403包括：
将不同数据帧数之间的通道进行平移置换，使得每一层特征谱都有相邻帧的通道值融合，获取基于特征谱的时域信息；
依据时域信息将特征谱按时间维度进行分组，在每组中分别进行通道的平移操作；
使用
Figure 731811DEST_PATH_IMAGE041
的伪三维卷积对输入特征谱进行卷积，弥补平移操作后的空白数据帧，利用残差在时序上构建时域模型长时运动特征。
CN202210164311.6A 2022-02-23 2022-02-23 一种主站调度系统后台画面图像的动态识别方法 Active CN114241280B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210164311.6A CN114241280B (zh) 2022-02-23 2022-02-23 一种主站调度系统后台画面图像的动态识别方法
PCT/CN2023/077502 WO2023160557A1 (zh) 2022-02-23 2023-02-21 一种主站调度系统后台画面图像的动态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210164311.6A CN114241280B (zh) 2022-02-23 2022-02-23 一种主站调度系统后台画面图像的动态识别方法

Publications (2)

Publication Number Publication Date
CN114241280A true CN114241280A (zh) 2022-03-25
CN114241280B CN114241280B (zh) 2022-05-27

Family

ID=80747765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210164311.6A Active CN114241280B (zh) 2022-02-23 2022-02-23 一种主站调度系统后台画面图像的动态识别方法

Country Status (2)

Country Link
CN (1) CN114241280B (zh)
WO (1) WO2023160557A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法
WO2023160557A1 (zh) * 2022-02-23 2023-08-31 广东电网有限责任公司东莞供电局 一种主站调度系统后台画面图像的动态识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803932A (zh) * 2017-03-31 2017-06-06 合肥安达创展科技股份有限公司 一种利用动态识别技术和影像融合技术互动演示的方法
CN107169401A (zh) * 2017-02-10 2017-09-15 北京交通大学 基于轨道视觉特征谱的轨道入侵物检测方法
CN112200111A (zh) * 2020-10-19 2021-01-08 厦门大学 一种全局与局部特征融合的遮挡鲁棒行人重识别方法
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6509027B2 (ja) * 2015-05-12 2019-05-08 キヤノン株式会社 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
CN114241280B (zh) * 2022-02-23 2022-05-27 广东电网有限责任公司东莞供电局 一种主站调度系统后台画面图像的动态识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169401A (zh) * 2017-02-10 2017-09-15 北京交通大学 基于轨道视觉特征谱的轨道入侵物检测方法
CN106803932A (zh) * 2017-03-31 2017-06-06 合肥安达创展科技股份有限公司 一种利用动态识别技术和影像融合技术互动演示的方法
CN112200111A (zh) * 2020-10-19 2021-01-08 厦门大学 一种全局与局部特征融合的遮挡鲁棒行人重识别方法
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAN LI 等: "TEA: Temporal Excitation and Aggregation for Action Recognition", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446348A (zh) * 2020-12-08 2021-03-05 电子科技大学 一种基于特征谱流的行为识别方法
CN112446348B (zh) * 2020-12-08 2022-05-31 电子科技大学 一种基于特征谱流的行为识别方法
WO2023160557A1 (zh) * 2022-02-23 2023-08-31 广东电网有限责任公司东莞供电局 一种主站调度系统后台画面图像的动态识别方法

Also Published As

Publication number Publication date
WO2023160557A1 (zh) 2023-08-31
CN114241280B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN114241280B (zh) 一种主站调度系统后台画面图像的动态识别方法
CN102567727B (zh) 一种背景目标替换方法和装置
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN113298818A (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
Tian et al. Multiscale building extraction with refined attention pyramid networks
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN112861729A (zh) 一种基于伪深度图引导的实时深度补全方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN114038006A (zh) 一种抠图网络训练方法及抠图方法
CN113554032A (zh) 基于高度感知的多路并行网络的遥感图像分割方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN113449735A (zh) 一种超像素分割的语义分割方法及装置
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN115484410A (zh) 基于深度学习的事件相机视频重建方法
CN110163294A (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
CN113808031A (zh) 一种基于LSK-FNet模型的图像修复方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN116596966A (zh) 一种基于注意力和特征融合的分割与跟踪方法
CN115393231A (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
CN114708173A (zh) 图像融合方法、计算机程序产品、存储介质及电子设备
CN113487530A (zh) 一种基于深度学习的红外与可见光融合成像方法
CN113936034A (zh) 一种结合帧间光流的表观运动联合弱小运动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant