CN116453010A - 基于光流rgb双路特征海洋生物目标检测方法及系统 - Google Patents

基于光流rgb双路特征海洋生物目标检测方法及系统 Download PDF

Info

Publication number
CN116453010A
CN116453010A CN202310232231.4A CN202310232231A CN116453010A CN 116453010 A CN116453010 A CN 116453010A CN 202310232231 A CN202310232231 A CN 202310232231A CN 116453010 A CN116453010 A CN 116453010A
Authority
CN
China
Prior art keywords
optical flow
frame
rgb
target
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310232231.4A
Other languages
English (en)
Other versions
CN116453010B (zh
Inventor
莫敏玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Fish Technology Guangdong Co ltd
Original Assignee
Rainbow Fish Technology Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Fish Technology Guangdong Co ltd filed Critical Rainbow Fish Technology Guangdong Co ltd
Priority to CN202310232231.4A priority Critical patent/CN116453010B/zh
Publication of CN116453010A publication Critical patent/CN116453010A/zh
Application granted granted Critical
Publication of CN116453010B publication Critical patent/CN116453010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于光流RGB双路特征海洋生物目标检测方法及系统，包括：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，通过光流计算获取检测目标海域光流数据；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。

Description

基于光流RGB双路特征海洋生物目标检测方法及系统
技术领域
本发明涉及光流视频双路特征智能检测技术领域，具体涉及基于光流RGB双路特征海洋生物目标检测方法及系统。
背景技术
现阶段，海洋资源开发时，海洋环境和生态保护愈发重要；海上生物目标如海鸟飞行生物等经常以高速运动形式出现，导致普通视频中出现动态模糊现象，进而导致基于单帧RGB数据的海洋生物目标检测算法性能较差；其中如何通过海上影像数据进行生物目标监测、如何选择目标海域及如何设置海洋生物高速运动视频监控设备尚待提高，如何在视频影像中检测生物目标来记录生物目标出现的数量和频次问题尚待进一步解决；因此，有必要提出基于光流RGB双路特征海洋生物目标检测方法及系统，以至少部分地解决现有技术中存在的问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明；本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
为至少部分地解决上述问题，本发明提供了基于光流RGB双路特征海洋生物目标检测方法，包括：
S100：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
S200：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
S300：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
S400：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
优选的，S100包括：
S101：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
S102：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
S103：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
优选的，S200包括：
S201：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
S202：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
S203：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
优选的，S300包括：
S301：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
S302：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
S303：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
优选的，S400包括：
S401：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
S402：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
S403：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
本发明提供了基于光流RGB双路特征海洋生物目标检测系统，包括：
海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
视频数据转换筛选分系统：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
双路特征数据处理分系统：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
海洋生物目标检测分系统：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
优选的，所述海洋生物高速监控分系统包括：
海洋生物海域选取子系统：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
高速运动摄像防撞子系统：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
检测海域数据采集子系统：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
优选的，所述视频数据转换筛选分系统包括：
视频数据帧转换子系统：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
检测对象帧数据选择子系统：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
光流数据计算子系统：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
优选的，所述双路特征数据处理分系统包括：
光流RGB双路编解码子系统：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
光流数据处理子系统：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
RGB目标候选框输出子系统：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出RGB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
优选的，所述海洋生物目标检测分系统包括：
参考帧双路融合子系统：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
候选框选取偏移运算子系统：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
均值处理检测输出子系统：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
相比现有技术，本发明至少包括以下有益效果：
本发明提供了基于光流RGB双路特征海洋生物目标检测方法及系统，利用在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果；本发明主要包含一个神经网络框架，主要包含一个处理光流特征的支路和一个处理RGB特征处理支路，以及最后的融合处理；其中光流编码器模块和光流解码器模块及RGB编码器模块和RGB解码器模块包括：ResNet、DarkNet、VGG、fully-connectedNetwork；本发明通过在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果；本发明能够通过视频光流数据预测目标候选框在时间维度的变化，与关键帧前后的参考帧预测的候选框数据结合，显著提升整体性能。
本发明所述的基于光流RGB双路特征海洋生物目标检测方法及系统，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明所述的基于光流RGB双路特征海洋生物目标检测系统框架图。
图2为本发明所述的基于光流RGB双路特征海洋生物目标检测方法一个实施例图。
图3为本发明所述的基于光流RGB双路特征海洋生物目标检测方法另一实施例图。
具体实施方式
下面结合附图以及实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施；如图1-图3所示，本发明提供了基于光流RGB双路特征海洋生物目标检测方法，包括：
S100：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
S200：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
S300：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
S400：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
上述技术方案的工作原理及效果为：本发明提供了基于光流RGB双路特征海洋生物目标检测方法，包括：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果；本发明主要包含一个神经网络框架，如图1所示，主要包含一个处理光流特征的支路和一个处理RGB特征处理支路，以及最后的融合处理；其中光流编码器模块和光流解码器模块及RGB编码器模块和RGB解码器模块包括：ResNet、DarkNet、VGG、fully-connectedNetwork；本发明通过在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果；本发明能够通过视频光流数据预测目标候选框在时间维度的变化，与关键帧前后的参考帧预测的候选框数据结合，显著提升整体性能。
在一个实施例中，S100包括：
S101：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
S102：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
S103：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
上述技术方案的工作原理及效果为：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据；能够选择更加合理的海洋生物分布海域；对高速运动视频监控设备的监控镜头进行防撞防冲击保护，大幅增加高速运动视频监控设备在海洋高湿度及腐蚀冲击环境中的适应性。
在一个实施例中，S200包括：
S201：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
S202：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
S203：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
上述技术方案的工作原理及效果为：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据；按照视频转换帧间隔时间抽取视频帧图像能够获得更加全面的视频帧图像；使检测对象关键帧设置更合理；大幅提高转换筛选效率。
在一个实施例中，S300包括：
S301：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
S302：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
S303：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
上述技术方案的工作原理及效果为：根据光流特征及RGB特征，建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1；能够进行适应性更广泛的神经网络特征提取，数据处理的效率大幅提高。
在一个实施例中，S400包括：
S401：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
S402：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
S403：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
上述技术方案的工作原理及效果为：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果；通过融合RGB支路和光流支路在关键帧以外参考帧上的结果，并进行候选框选取偏移运算，计算光流候选框参数；输出高速运动状态的防模糊无丢帧海洋生物目标检测结果；
取RGB支路的第k帧结果；并融合RGB支路和光流支路在关键帧以外的参考帧上的结果，通过RGB支路和光流支路k-1帧参数集合结果推导公式计算光流候选框第k-1帧参数集合及光流候选框第k-2帧参数集合：
Bk-1＝xk-1,yk-1,hk-1,wk-1,clsk-1,confk-1+(Δxk-1,Δyk-1,Δhk-1,Δwk-1)
＝xk-1+Δxk-1,yk-1+Δyk-1,hk-1Δhk-1,wk-1+Δwk-1,clsk-1,confk-1
Bk-2＝xk-2,yk-2,hk-2,wk-2,clsk-1,confk-1+(Δxk-2,Δyk-2,Δhk-2,Δwk-2)
+Δxk-1,Δyk-1,Δhk-1,Δwk-1
其中，Bk-1代表光流候选框第k-1帧参数集合，Bk-2代表光流候选框第k-2帧参数集合，xk-1代表光流候选框中心坐标第k-1帧x轴向坐标值，yk-1代表光流候选框中心坐标第k-1帧y轴向坐标值，hk-1代表光流候选框中心坐标第k-1帧高度值，wk-1代表光流候选框中心坐标第k-1帧宽度值，clsk-1代表光流类别第k-1帧类别数值，confk-1代表光流类别第k-1帧置信度值，Δxk-1代表光流候选框中心坐标第k-1帧x轴向变化值，Δyk-1代表光流候选框中心坐标第k-1帧y轴向变化值，Δhk-1代表光流候选框高度第k-1帧变化值，Δwk-1代表光流候选框宽度第k-1帧变化值，xk-2代表光流候选框中心坐标第k-2帧x轴坐标值，yk-2代表光流候选框中心坐标第k-2帧y轴向坐标值，hk-2代表光流候选框高度第k-2帧高度值，wk-2代表光流候选框宽度第k-2帧宽度值，Δxk-2代表光流候选框中心坐标第k-2帧x轴向变化值，Δyk-2代表光流候选框中心坐标第k-2帧y轴向变化值，Δhk-2代表光流候选框高度第k-2帧变化值，Δwk-2代表光流候选框宽度第k-2帧变化值；所述变化以检测对象参考帧作为基准参照对比，相对于上一帧的变化；得到一组光流候选框组：
(Bk-n,Bk-n+1,…Bk-2，Bk-1,Bk,…,Bk+n)；其中，Bk-n代表光流候选框第k-n帧参数集合，
Bk-n+1代表光流候选框第k-n+1帧参数集合，Bk代表光流候选框第k帧参数集合，Bk+n代表光流候选框第k+n帧参数集合，B0代表光流候选框参考帧参数集合，除B0外，其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
公式中计算候选框位置参数和形状参数(x1,y1,h1,w1)(x2,y2,h2,w2)，对于置信度conf和类别cls则直接保留RGB支路输出的原数据；
最后，对光流候选框组(Bk-n,Bk-n+1,…Bk-2，Bk-1,Bk,…,Bk+n)求均值：
其中，代表光流候选框组中光流候选框参数集合累加均值，Bi代表光流候选框组中第i组光流候选框参数集合；对/>进行后处理，输出目标检测结果；能够通过视频光流数据预测目标候选框在时间维度的变化，与关键帧前后的参考帧预测的候选框数据结合，显著提升整体性能。
本发明提供了基于光流RGB双路特征海洋生物目标检测系统，包括：
海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
视频数据转换筛选分系统：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
双路特征数据处理分系统：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
海洋生物目标检测分系统：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
上述技术方案的工作原理及效果为：本发明提供了基于光流RGB双路特征海洋生物目标检测系统，包括：海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；视频数据转换筛选分系统：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；双路特征数据处理分系统：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；海洋生物目标检测分系统：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果；本发明主要包含一个神经网络框架，如图1所示，主要包含一个处理光流特征的支路和一个处理RGB特征处理支路，以及最后的融合处理；其中光流编码器模块和光流解码器模块及RGB编码器模块和RGB解码器模块包括：ResNet、DarkNet、VGG、fully-connectedNetwork；本发明能够通过视频光流数据预测目标候选框在时间维度的变化，与关键帧前后的参考帧预测的候选框数据结合，显著提升整体性能。
在一个实施例中，所述海洋生物高速监控分系统包括：
海洋生物海域选取子系统：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
高速运动摄像防撞子系统：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
检测海域数据采集子系统：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
上述技术方案的工作原理及效果为：通过海洋生物分布海域数据，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据；所述海洋生物高速监控分系统包括：海洋生物海域选取子系统：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；高速运动摄像防撞子系统：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；检测海域数据采集子系统：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据；能够选择更加合理的海洋生物分布海域；对高速运动视频监控设备的监控镜头进行防撞防冲击保护，大幅增加高速运动视频监控设备在海洋高湿度及腐蚀冲击环境中的适应性。
在一个实施例中，所述视频数据转换筛选分系统包括：
视频数据帧转换子系统：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
检测对象帧数据选择子系统：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
光流数据计算子系统：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
上述技术方案的工作原理及效果为：所述视频数据转换筛选分系统包括：视频数据帧转换子系统：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；检测对象帧数据选择子系统：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；光流数据计算子系统：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据；按照视频转换帧间隔时间抽取视频帧图像能够获得更加全面的视频帧图像；使检测对象关键帧设置更合理；大幅提高转换筛选效率。
在一个实施例中，所述双路特征数据处理分系统包括：
光流RGB双路编解码子系统：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
光流数据处理子系统：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
RGB目标候选框输出子系统：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出RGB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
上述技术方案的工作原理及效果为：所述双路特征数据处理分系统包括：光流RGB双路编解码子系统：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；光流数据处理子系统：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；RGB目标候选框输出子系统：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出RGB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1；能够进行适应性更广泛的神经网络特征提取，数据处理的效率大幅提高。
在一个实施例中，所述海洋生物目标检测分系统包括：
参考帧双路融合子系统：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
候选框选取偏移运算子系统：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
均值处理检测输出子系统：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
上述技术方案的工作原理及效果为：所述海洋生物目标检测分系统包括：参考帧双路融合子系统：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；候选框选取偏移运算子系统：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；均值处理检测输出子系统：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果；
取RGB支路的第k帧结果；并融合RGB支路和光流支路在关键帧以外的参考帧上的结果，通过RGB支路和光流支路k-1帧参数集合结果推导公式计算光流候选框第k-1帧参数集合及光流候选框第k-2帧参数集合：
Bk-1＝xk-1,yk-1,hk-1,wk-1,clsk-1,confk-1+(Δxk-1,Δyk-1,Δhk-1,Δwk-1)
＝xk-1+Δxk-1,yk-1+Δyk-1,hk-1Δhk-1,wk-1+Δwk-1,clsk-1,confk-1
Bk-2＝xk-2,yk-2,hk-2,wk-2,clsk-1,confk-1+(Δxk-2,Δyk-2,Δhk-2,Δwk-2)
+Δxk-1,Δyk-1,Δhk-1,Δwk-1
其中，Bk-1代表光流候选框第k-1帧参数集合，Bk-2代表光流候选框第k-2帧参数集合，xk-1代表光流候选框中心坐标第k-1帧x轴向坐标值，yk-1代表光流候选框中心坐标第k-1帧y轴向坐标值，hk-1代表光流候选框中心坐标第k-1帧高度值，wk-1代表光流候选框中心坐标第k-1帧宽度值，clsk-1代表光流类别第k-1帧类别数值，confk-1代表光流类别第k-1帧置信度值，Δxk-1代表光流候选框中心坐标第k-1帧x轴向变化值，Δyk-1代表光流候选框中心坐标第k-1帧y轴向变化值，Δhk-1代表光流候选框高度第k-1帧变化值，Δwk-1代表光流候选框宽度第k-1帧变化值，xk-2代表光流候选框中心坐标第k-2帧x轴坐标值，yk-2代表光流候选框中心坐标第k-2帧y轴向坐标值，hk-2代表光流候选框高度第k-2帧高度值，wk-2代表光流候选框宽度第k-2帧宽度值，Δxk-2代表光流候选框中心坐标第k-2帧x轴向变化值，Δyk-2代表光流候选框中心坐标第k-2帧y轴向变化值，Δhk-2代表光流候选框高度第k-2帧变化值，Δwk-2代表光流候选框宽度第k-2帧变化值；所述变化以检测对象参考帧作为基准参照对比，相对于上一帧的变化；得到一组光流候选框组：
(Bk-n,Bk-n+1,…Bk-2，Bk-1,Bk,…,Bk+n)；其中，Bk-n代表光流候选框第k-n帧参数集合，
Bk-n+1代表光流候选框第k-n+1帧参数集合，Bk代表光流候选框第k帧参数集合，Bk+n代表光流候选框第k+n帧参数集合，B0代表光流候选框参考帧参数集合，除B0外，其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
公式中计算候选框位置参数和形状参数(x1,y1,h1,w1)(x2,y2,h2,w2)，对于置信度conf和类别cls则直接保留RGB支路输出的原数据；
最后，对光流候选框组(Bk-n,Bk-n+1,…Bk-2，Bk-1,Bk,…,Bk+n)求均值：
其中，代表光流候选框组中光流候选框参数集合累加均值，Bi代表光流候选框组中第i组光流候选框参数集合；对/>进行后处理，输出目标检测结果；能够通过视频光流数据预测目标候选框在时间维度的变化，与关键帧前后的参考帧预测的候选框数据结合，显著提升整体性能。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节与这里示出与描述的图例。

Claims (10)

1.基于光流RGB双路特征海洋生物目标检测方法，其特征在于，包括：
S100：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
S200：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
S300：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
S400：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
2.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S100包括：
S101：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
S102：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
S103：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
3.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S200包括：
S201：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
S202：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
S203：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
4.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S300包括：
S301：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
S302：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
S303：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出GB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
5.如权利要求1所述的基于光流RGB双路特征海洋生物目标检测方法，其特征在于，S400包括：
S401：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
S402：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；
计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
S403：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
6.基于光流RGB双路特征海洋生物目标检测系统，其特征在于，包括：
海洋生物高速监控分系统：在检测目标海域设置海洋生物高速运动视频监控设备，获取检测目标海域视频数据；
视频数据转换筛选分系统：将检测目标海域视频数据转换为帧数据，筛选转换检测对象关键帧及检测对象参考帧，通过光流计算获取检测目标海域光流数据；
双路特征数据处理分系统：建立光流支路及RGB支路；通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；
海洋生物目标检测分系统：融合RGB支路和光流支路在关键帧以外的参考帧上的结果，构建海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行后处理，输出海洋生物目标检测结果。
7.如权利要求6所述的基于光流RGB双路特征海洋生物目标检测系统，其特征在于，所述海洋生物高速监控分系统包括：
海洋生物海域选取子系统：通过海洋生物分布海域数据，设置海洋生物分布密集度区间，选取海洋生物密集度达到海洋生物分布密集度区间海域作为检测目标海域；
高速运动摄像防撞子系统：在高速运动视频监控设备的监控镜头外设置海洋生物高速运动防撞膜，获取海洋生物高速运动视频监控设备，在检测目标海域设置海洋生物高速运动视频监控设备；海洋生物高速运动防撞膜包括：外层钢化膜、海洋气候防腐蚀镜片膜及弹性高分子内层；
检测海域数据采集子系统：通过海洋生物高速运动视频监控设备拍摄检测目标海域视频，获取检测目标海域视频数据。
8.如权利要求6所述的基于光流RGB双路特征海洋生物目标检测系统，其特征在于，所述视频数据转换筛选分系统包括：
视频数据帧转换子系统：按照检测目标海域视频数据摄录频率设置视频转换帧间隔时间，按照视频转换帧间隔时间抽取视频帧图像，将检测目标海域视频数据转换为帧数据；
检测对象帧数据选择子系统：筛选转换检测对象关键帧及检测对象参考帧；选择检测对象帧第k帧为检测对象关键帧；检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧为检测对象参考帧；第k-n帧到第k+n帧的RGB数据作为检测目标海域视频数据；
光流数据计算子系统：根据检测对象关键帧前第k-n帧及检测对象关键帧后第k+n帧，通过光流计算获取检测目标海域光流数据。
9.如权利要求6所述的基于光流RGB双路特征海洋生物目标检测系统，其特征在于，所述双路特征数据处理分系统包括：
光流RGB双路编解码子系统：建立光流支路及RGB支路；光流支路包括：光流特征编码模块和光流特征解码模块；光流特征编码模块包括：光流卷积神经网络特征提取器或光流循环神经网络特征提取器；光流特征解码模块包括：光流卷积神经网络特征解码器或光流循环神经网络特征解码器；RGB支路包括：RGB特征编码模块和RGB特征解码模块；RGB特征编码模块包括：RGB卷积神经网络特征提取器或RGB循环神经网络特征提取器；
光流数据处理子系统：通过光流支路的光流特征编码模块和光流特征解码模块进行光流数据处理，获取光流目标候选框在下一帧变化参数；光流目标候选框在下一帧变化参数包括：光流候选框中心坐标变化Δx、光流候选框中心坐标变化Δy、光流候选框高度变化Δh和光流候选框宽度变化Δw；
RGB目标候选框输出子系统：通过RGB支路的RGB特征编码模块和RGB特征解码模块进行视频数据处理，获取RGB目标候选框参数；视频数据经RGB特征编码模块和RGB特征解码模块后，在每帧和每个网格点上输出RGB目标候选框参数；RGB目标候选框参数包括：RGB目标候选框中心x1坐标，RGB目标候选框中心y1坐标、RGB目标候选框高度h1、RGB目标候选框宽度w1、RGB目标候选框置信度conf1和RGB目标候选框类别cls1。
10.如权利要求6所述的基于光流RGB双路特征海洋生物目标检测系统，其特征在于，所述海洋生物目标检测分系统包括：
参考帧双路融合子系统：取RGB支路的第k帧结果；融合RGB支路和光流支路在关键帧以外参考帧上的结果；
候选框选取偏移运算子系统：通过RGB支路和光流支路k-1帧结果推导，得到一组候选框；其他候选框均为从参考帧由光流支路偏移计算得到的关键帧候选框猜测；计算光流候选框参数；光流候选框参数包括：光流候选框中心x2坐标、光流候选框中心y2坐标、光流候选框高度h2、光流候选框宽度w2；对于光流置信度conf2和光流类别cls2则直接保留RGB支路输出的原RGB目标候选框置信度conf1和RGB目标候选框类别cls1数据；构建海洋生物目标检测神经网络框架；
均值处理检测输出子系统：通过海洋生物目标检测神经网络框架，对候选框组求均值，并对均值进行阈值后处理及非极大值抑制后处理，输出高速运动状态的防模糊无丢帧海洋生物目标检测结果。
CN202310232231.4A 2023-03-13 2023-03-13 基于光流rgb双路特征海洋生物目标检测方法及系统 Active CN116453010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310232231.4A CN116453010B (zh) 2023-03-13 2023-03-13 基于光流rgb双路特征海洋生物目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310232231.4A CN116453010B (zh) 2023-03-13 2023-03-13 基于光流rgb双路特征海洋生物目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN116453010A true CN116453010A (zh) 2023-07-18
CN116453010B CN116453010B (zh) 2024-05-14

Family

ID=87129233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310232231.4A Active CN116453010B (zh) 2023-03-13 2023-03-13 基于光流rgb双路特征海洋生物目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116453010B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107188A1 (zh) * 2015-12-25 2017-06-29 中国科学院深圳先进技术研究院 视频分类快速识别的方法及装置
CN108470077A (zh) * 2018-05-28 2018-08-31 广东工业大学 一种视频关键帧提取方法、系统及设备和存储介质
CN109389035A (zh) * 2018-08-30 2019-02-26 南京理工大学 基于多特征和帧置信分数的低延迟视频动作检测方法
CN109447014A (zh) * 2018-11-07 2019-03-08 东南大学-无锡集成电路技术研究所 一种基于双通道卷积神经网络的视频在线行为检测方法
CN113936034A (zh) * 2021-09-28 2022-01-14 北京航空航天大学 一种结合帧间光流的表观运动联合弱小运动目标检测方法
KR20220040063A (ko) * 2020-09-23 2022-03-30 연세대학교 산학협력단 불확실성 기반의 배경 모델링을 통한 약한 지도 학습 기반의 행동 프레임 검출 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107188A1 (zh) * 2015-12-25 2017-06-29 中国科学院深圳先进技术研究院 视频分类快速识别的方法及装置
CN108470077A (zh) * 2018-05-28 2018-08-31 广东工业大学 一种视频关键帧提取方法、系统及设备和存储介质
CN109389035A (zh) * 2018-08-30 2019-02-26 南京理工大学 基于多特征和帧置信分数的低延迟视频动作检测方法
CN109447014A (zh) * 2018-11-07 2019-03-08 东南大学-无锡集成电路技术研究所 一种基于双通道卷积神经网络的视频在线行为检测方法
KR20220040063A (ko) * 2020-09-23 2022-03-30 연세대학교 산학협력단 불확실성 기반의 배경 모델링을 통한 약한 지도 학습 기반의 행동 프레임 검출 장치 및 방법
CN113936034A (zh) * 2021-09-28 2022-01-14 北京航空航天大学 一种结合帧间光流的表观运动联合弱小运动目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHUNYAO ZHANG等: "Video Object Detection Base on RGB and Optical Flow Analysis", 2019 2ND CHINA SYMPOSIUM ON COGNITIVE COMPUTING AND HYBRID INTELLIGENCE (CCHI), pages 200 - 204 *
周育新;白宏阳;李伟;郭宏伟;徐啸康: "基于关键帧的轻量化行为识别方法研究", 仪器仪表学报, no. 007, pages 196 - 204 *
尉婉青;禹晶;史薪琪;肖创柏: "双光流网络指导的视频目标检测", 中国图象图形学报, no. 010, 31 December 2021 (2021-12-31) *
张聪聪;何宁: "基于关键帧的双流卷积网络的人体动作识别方法", 南京信息工程大学学报(自然科学版), no. 006, 31 December 2019 (2019-12-31) *

Also Published As

Publication number Publication date
CN116453010B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN109903372B (zh) 深度图超分辨率补全方法及高质量三维重建方法与系统
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN102098440B (zh) 针对摄像机抖动下运动目标检测的电子稳像方法及系统
CN108009529B (zh) 一种基于特征根和流体力学的森林火灾烟视频目标检测方法
JP2006260527A (ja) 画像マッチング方法およびこれを用いた画像補間方法
CN111160210A (zh) 一种基于视频的水流速检测方法及系统
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN106372598A (zh) 一种基于图像特征检测的消除视频旋转和抖动的稳像方法
Patil et al. End-to-end recurrent generative adversarial network for traffic and surveillance applications
CN110969656A (zh) 一种基于机载设备激光光束光斑大小的检测方法
CN113899349B (zh) 海浪参数检测方法、设备及存储介质
CN113743357B (zh) 视频表征自监督对比学习方法和装置
Wofk et al. Monocular Visual-Inertial Depth Estimation
CN116453010B (zh) 基于光流rgb双路特征海洋生物目标检测方法及系统
Hou et al. Joint learning of image deblurring and depth estimation through adversarial multi-task network
Ljubičić et al. SSIMS-Flow: Image velocimetry workbench for open-channel flow rate estimation
CN105303544A (zh) 一种基于最小边界距离的视频拼接方法
CN116523790A (zh) 一种sar图像去噪优化方法、系统和存储介质
CN115546072B (zh) 一种图像畸变矫正方法
CN1328699C (zh) 特征点选择方法和装置、运动向量估计和图像显示装置
CN113793472B (zh) 基于特征深度聚合网络的图像型火灾探测器位姿估计方法
CN115564805A (zh) 一种运动目标检测方法
CN113542588A (zh) 一种基于视觉显著性的抗干扰电子稳像方法
US8280227B2 (en) Caption removal method for digital video editing system
Wang et al. Research on traditional and deep learning strategies based on optical flow estimation-a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant