CN113902919A - 一种基于双流网络的目标检测方法及系统 - Google Patents

一种基于双流网络的目标检测方法及系统 Download PDF

Info

Publication number
CN113902919A
CN113902919A CN202111080329.XA CN202111080329A CN113902919A CN 113902919 A CN113902919 A CN 113902919A CN 202111080329 A CN202111080329 A CN 202111080329A CN 113902919 A CN113902919 A CN 113902919A
Authority
CN
China
Prior art keywords
image
feature
image data
neural network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111080329.XA
Other languages
English (en)
Inventor
金淼
张军
周峰
殷小东
雷民
陈习文
卢冰
陈卓
王斯琪
周玮
汪泉
付济良
王旭
齐聪
郭子娟
聂高宁
余雪芹
刘俊
朱赤丹
郭鹏
赵世杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI filed Critical State Grid Corp of China SGCC
Priority to CN202111080329.XA priority Critical patent/CN113902919A/zh
Publication of CN113902919A publication Critical patent/CN113902919A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双流网络的目标检测方法及系统，包括：获取第一图像数据和第二图像数据；根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；根据所述融合数据进行边框回归和分类，以确定检测目标。本发明的方法通过双流网络技术对电力作业人员的电力作业装备进行识别，包括安全帽，工作服，工作手套等，确定电力作业装备的佩戴情况，从而提高作业的安全性，为现场作业安全风险的事前预警提供可能；通过检测图像优化可以提高检测的效率，减少计算量。

Description

一种基于双流网络的目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，并且更具体地，涉及一种基于双流网络的目标检测方法及系统。
背景技术
电力作业现场的关键目标检测本质上是作业现场的安全防护装置作为安全风险判断基础，利用计算机对现场作业人员的安全防护装置进行自主识别和判断，从而做到电力现场风险实时监控、及时预警、事后迅速追踪锁定。其核心为目标检测技术。
近年来随着人工智能技术的加速，该技术研究及应用在2010年后呈高速发展态势，其主要涉及2大类方法有：基于传统图像处理的目标检测方法，主要是视频处理、特征提取、模式分类与识别等关键技术步骤，实现现场视觉信息的分析；基于图像采集设备获取相关图像，通过在线或者离线的方式对数据进行去噪等预处理，并进行特征提取、特征选择等操作，最后选择合理的分类器进行训练，然后通过实际采集的图像信息对识别算法进行验证。随着计算机科学的发展，利用计算机实现目标检测越来越多的应用于各个行业，在电力领域的行为识别成为电力现场安全管控智能化建设的重要落地途径。
近年，电力行业大力推进信息技术与安全生产融合，积极采用智能安全工器具、视频监控、图像分析等先进技术，提升现场安全技防水平。电力安全生产风险管控平台为智能安全管控提供良好的数据基础。
发明内容
本发明提出一种基于双流网络的目标检测方法及系统，以解决如何对电力作业场景下的目标进行检测，以用于为现场作业安全风险进行预警的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种基于双流网络的目标检测方法，所述方法包括：
获取第一图像数据和第二图像数据；
根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；
对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；
根据所述融合数据进行边框回归和分类，以确定检测目标。
优选地，其中所述获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
优选地，其中所述根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
优选地，其中所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
优选地，其中所述对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure BDA0003263734740000031
X＝vec(ε(I))∈RMN*1，
Figure BDA0003263734740000032
Figure BDA0003263734740000033
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
根据本发明的另一个方面，提供了一种基于双流网络的目标检测系统，所述系统包括：
图像数据获取模块，用于获取第一图像数据和第二图像数据；
特征提取模块，用于根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；
特征融合模块，用于对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；
检测目标确定模块，用于根据所述融合数据进行边框回归和分类，以确定检测目标。
优选地，其中所述图像数据获取模块，获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
优选地，其中所述特征提取模块，根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
优选地，其中所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
优选地，其中所述特征融合模块，对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure BDA0003263734740000041
X＝vec(ε(I))∈RMN*1，
Figure BDA0003263734740000042
Figure BDA0003263734740000043
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
本发明提供了一种基于双流网络的目标检测方法及系统，包括：获取第一图像数据和第二图像数据；根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；根据所述融合数据进行边框回归和分类，以确定检测目标。本发明的方法通过双流网络技术对电力作业人员的电力作业装备进行识别，包括安全帽，工作服，工作手套等，确定电力作业装备的佩戴情况，从而提高作业的安全性，为现场作业安全风险的事前预警提供可能；通过检测图像优化可以提高检测的效率，减少计算量。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为根据本发明实施方式的基于双流网络的目标检测方法100的流程图；
图2为根据本发明实施方式的基于双流网络的目标检测方法的原理图；
图3为根据本发明实施方式的基于双流网络的目标检测系统300的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的基于双流网络的目标检测方法100的流程图。如图1所示，本发明实施方式提供的基于双流网络的目标检测方法，通过双流网络技术对电力作业人员的电力作业装备进行识别，包括安全帽，工作服，工作手套等，确定电力作业装备的佩戴情况，从而提高作业的安全性，为现场作业安全风险的事前预警提供可能；通过检测图像优化可以提高检测的效率，减少计算量。本发明实施方式提供的基于双流网络的目标检测方法100，从步骤101处开始，在步骤101获取第一图像数据和第二图像数据。
优选地，其中所述获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
在本发明中，收集电力作业现场图像数据，获取初始的图像数据集，然后对初始的图像数据集中的图像数据进行处理，得到RGB图像数据集和HSV图像数据集。其中，通过摄像头采集图像，将RBG图像预处理为HSV图像。HSV图像数据集是利用摄像设备获取的RGB图像经过图像处理之后生成的。具体地，使用opencv图像处理库函数读取50000张RGB图像数据，然后再使用颜色空间转换库函数，将RGB图像转换为HSV图像，从而得到b＝50000张HSV图像。
在步骤102，根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征。
优选地，其中所述根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
优选地，其中所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
结合图2所示，在本发明中，将RGB图像数据和HSV图像数据输入到特征提取网络(双流神经网络模型)中分别进行特征提取，根据电力作业场景特性，特征提取网络设置为双流并行结构，充分利用特征，通过两个网络分支，分别提取RGB图像特征和HSV图像特征。具体地，在特征提取时，将RGB图像数据和HSV图像数据分别输入到特征提取网络中进行特征提取，特征提取网络具有x＝13个卷积层,y＝4个池化层和z＝3个全连接层，根据电力作业场景特性，特征提取网络设置为双流并行结构，充分利用特征，通过两个网络分支，分别提取RGB图像特征和HSV图像特征，然后使用RPN网络生成候选区域，最后使用ROI池化，将生成的候选区域归一化，统一大小，确定最终的第一图像特征和第二图像特征。其中，在训练时，特征提取网络模型的初始学习率设置为0.001，batch大小设置为256(即一次迭代样本数)，迭代次数设置为20000。
在步骤103，对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据。
优选地，其中所述对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure BDA0003263734740000071
X＝vec(ε(I))∈RMN*1，
Figure BDA0003263734740000072
Figure BDA0003263734740000073
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
在本发明中，基于双线性池化进行特征数据融合。双线性池化操作是对于图像在同一位置的两个特征，按照如下公式进行特征融合，包括：
z＝y/||y||2∈RMN*1，
Figure BDA0003263734740000081
X＝vec(ε(I))∈RMN*1，
Figure BDA0003263734740000082
Figure BDA0003263734740000083
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
在本发明中，在进行特征融合时，M，N为通道数，M＝3，N＝3，L代表特征位置，I代表图像，fA和fB代表特征，fA代表是RGB图像的特征，fB代表是HSV图像的特征，fA和fB相乘得到矩阵b和协方差矩阵ε(I)：
Figure BDA0003263734740000084
此时，协方差矩阵ε(I)则为线性融合向量x，然后对x进行矩阵归一化操作和L2归一化操作后，在通过sign函数操作后，就得到融合后的特征Z。
在步骤104，根据所述融合数据进行边框回归和分类，以确定检测目标。
在本发明中，确定融合数据后，再进行边框回归和分类操作，以实现特征的分类，从而确定检测目标。
本发明提供的基于双流网络的电力作业场景下目标检测方法，通过一个基于卷积神经网络的双流神经网络模型，能够对电力作业人员的安全防护装置进行识别，包括安全帽，工作服，工作手套等目标，能够为现场作业安全风险的事前预警提供可能。
图3为根据本发明实施方式的基于双流网络的目标检测系统300的结构示意图。如图3所示，本发明实施方式提供的基于双流网络的目标检测系统300，包括：图像数据获取模块301、特征提取模块302、特征融合模块303和检测目标确定模块304。
优选地，所述图像数据获取模块301，用于获取第一图像数据和第二图像数据。
优选地，其中所述图像数据获取模块301，获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
优选地，所述特征提取模块302，用于根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征。
优选地，其中所述特征提取模块302，根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
优选地，其中所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
优选地，所述特征融合模块303，用于对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据.
优选地，其中所述特征融合模块303，对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure BDA0003263734740000101
X＝vec(ε(I))∈RMN*1，
Figure BDA0003263734740000102
Figure BDA0003263734740000103
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
优选地，所述检测目标确定模块304，用于根据所述融合数据进行边框回归和分类，以确定检测目标。
本发明的实施例的基于双流网络的目标检测系统300与本发明的另一个实施例的基于双流网络的目标检测方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于双流网络的目标检测方法，其特征在于，所述方法包括：
获取第一图像数据和第二图像数据；
根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；
对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；
根据所述融合数据进行边框回归和分类，以确定检测目标。
2.根据权利要求1所述的方法，其特征在于，所述获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
4.根据权利要求1所述的方法，其特征在于，所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure FDA0003263734730000021
X＝vec(ε(I))∈RMN*1，
Figure FDA0003263734730000022
Figure FDA0003263734730000023
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
6.一种基于双流网络的目标检测系统，其特征在于，所述系统包括：
图像数据获取模块，用于获取第一图像数据和第二图像数据；
特征提取模块，用于根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征；
特征融合模块，用于对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据；
检测目标确定模块，用于根据所述融合数据进行边框回归和分类，以确定检测目标。
7.根据权利要求6所述的系统，其特征在于，所述图像数据获取模块，获取第一图像数据和第二图像数据，包括：
利用opencv图像处理库函数读取第一图像数据，并使用颜色空间转换库函数进行转换，以将所述第一图像数据转换为所述第二图像数据；
其中，所述第一图像数据为RGB图像数据，所述第二图像数据为HSV图像数据。
8.根据权利要求6所述的系统，其特征在于，所述特征提取模块，根据所述第一图像和第二图像，利用训练好的基于卷积神经网络的双流神经网络模型进行特征提取，以获取第一图像特征和第二图像特征，包括：
将第一图像数据和第二图像数据分别输入到训练好的基于卷积神经网络的双流神经网络模型中进行特征提取，并使用RPN网络生成候选区域，使用ROI对所述候选区域进行池化处理，以将所述候选区域归一化为预设大小，确定第一图像特征和第二图像特征。
9.根据权利要求6所述的系统，其特征在于，所述训练好的基于卷积神经网络的双流神经网络模型包括：卷积层、池化层和全连接层，在进行训练时，设置初始学习率为0.001，依次迭代样本数为256，迭代次数设置为20000。
10.根据权利要求6所述的系统，其特征在于，所述特征融合模块，对所述第一图像特征和第二图像特征进行特征融合，以获取融合数据，包括：
z＝y/||y||2∈RMN*1，
Figure FDA0003263734730000031
X＝vec(ε(I))∈RMN*1，
Figure FDA0003263734730000032
Figure FDA0003263734730000033
其中，Z为融合数据；RM*N表示通道数MN的特征层；RMN*1表示通道数MN*1的特征层；M为fA特征的通道数；N为fB特征的通道数；y为数学变量，表示对x进行有符号的平方根操作；x为数学变量，表示双线性向量；ε(I)为线性融合向量；L表示特征位置；I代表图像；fA和fB分别为第一图像特征和第二图像特征。
CN202111080329.XA 2021-09-15 2021-09-15 一种基于双流网络的目标检测方法及系统 Pending CN113902919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111080329.XA CN113902919A (zh) 2021-09-15 2021-09-15 一种基于双流网络的目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111080329.XA CN113902919A (zh) 2021-09-15 2021-09-15 一种基于双流网络的目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN113902919A true CN113902919A (zh) 2022-01-07

Family

ID=79028347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111080329.XA Pending CN113902919A (zh) 2021-09-15 2021-09-15 一种基于双流网络的目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113902919A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550298A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 短视频的动作识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062303A (zh) * 2019-12-12 2020-04-24 深圳市捷顺科技实业股份有限公司 图像处理方法、系统及计算机存储介质
CN111626176A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种遥感图像的地物目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062303A (zh) * 2019-12-12 2020-04-24 深圳市捷顺科技实业股份有限公司 图像处理方法、系统及计算机存储介质
CN111626176A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种遥感图像的地物目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王时威: ""基于深度学习的电力作业异常行为识别系统的设计与实现"", 《中国知网》, 15 August 2021 (2021-08-15), pages 3 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550298A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 短视频的动作识别方法及系统

Similar Documents

Publication Publication Date Title
Racki et al. A compact convolutional neural network for textured surface anomaly detection
Tao et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN108269250A (zh) 基于卷积神经网络评估人脸图像质量的方法和装置
CN111598066A (zh) 一种基于级联预测的安全帽佩戴识别方法
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN112613454A (zh) 一种电力基建施工现场违章识别方法及系统
CN107978110A (zh) 基于图像匹配的电子围栏智能在位识别系统及识别方法
Chiu et al. A novel directional object detection method for piled objects using a hybrid region-based convolutional neural network
CN114937232A (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
CN116630668A (zh) 一种快速轻量级的安全帽佩戴异常识别方法
CN113902919A (zh) 一种基于双流网络的目标检测方法及系统
CN114241522A (zh) 现场作业安全穿戴识别方法、系统、设备及存储介质
Heda et al. Performance evaluation of YOLOv3, YOLOv4 and YOLOv5 for real-time human detection
CN114067273A (zh) 一种夜间机场航站楼热成像显著人体分割检测方法
CN116258715B (zh) 一种粉尘回收方法、装置及电子设备
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN117392565A (zh) 一种无人机电力巡检缺陷自动识别方法
CN117152844A (zh) 基于计算机视觉的高完整性工人施工姿态检测方法及系统
Dai et al. Cascade centernet: Robust object detection for power line surveillance
Nan et al. Safety Helmet Detection Dynamic Model Based on the Critical Area Attention Mechanism
Frick et al. Active Learning for Imbalanced Civil Infrastructure Data
CN117975372B (zh) 一种基于YOLOv8和Transformer编码器相结合的工地安全检测系统及方法
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
Xu et al. Lightweight fusion channel attention convolutional neural network for helmet recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination