CN111627047A - 水下鱼类动态视觉序列运动目标检测方法 - Google Patents
水下鱼类动态视觉序列运动目标检测方法 Download PDFInfo
- Publication number
- CN111627047A CN111627047A CN202010428204.0A CN202010428204A CN111627047A CN 111627047 A CN111627047 A CN 111627047A CN 202010428204 A CN202010428204 A CN 202010428204A CN 111627047 A CN111627047 A CN 111627047A
- Authority
- CN
- China
- Prior art keywords
- underwater fish
- image
- value
- frame image
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 83
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 32
- 238000012417 linear regression Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 9
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种水下鱼类动态视觉序列运动目标检测方法，包括步骤：S1：获取水下鱼类视频数据集；S2：对水下鱼类视频数据集进行预处理，获得预处理视频帧图像集；S3：利用GMG背景去除算法提取预处理视频帧图像集中各预处理视频帧图像的前景；S4：利用LBP算法提取获得前景图像集的纹理特征集，并对前景图像集进行灰度值特征提取获得灰度特征集；S5：分别利用纹理特征集和灰度特征集对PLS分类器进行训练；S6：利用最优PLS分类器对水下鱼视频序列进行目标检测。本发明的一种水下鱼类动态视觉序列运动目标检测方法，可实现对水下鱼类目标的快速检测，并可减少传统方法人工检测以及深度学习中的大量人工标记。
Description
技术领域
本发明涉及视频目标检测领域，尤其涉及一种水下鱼类动态视觉序列运动目标检测方法。
背景技术
相对于静止图像，运动的视频能够传递给人们更完整和丰富的信息。基于视频的运动目标跟踪和识别技术是数字视频处理领域中一个极其重要的方面，在人们的生活及人工智能体系中发挥着巨大的作用，因此受到国内外学者的普遍关注和重视。
目前，运动目标的检测算法已经比较成熟，经典的检测算法主要分为三种，分别是帧间差分法(Frame Difference)，背景差分法(Background Subtraction)和光流法(Optical Flow)。其中帧间差分法提取的是目标的边界信息，对场景内的光线变化不敏感，算法复杂度低，易于实时处理，但是对目标运动方式比较敏感，并且容易产生空洞和“双影”的检测结果。背景差分法相比帧间差分法而言，算法的复杂度适中，实时性好，并且具有更高的抗干扰性，检测的准确度更高，但它对长时间光线变化敏感。光流法是通过计算光流并对光流图像进行分割来检测运动目标的，它可以得到运动目标的三维形状以及深度信息，但是它的算法复杂度大、实时性不高，而且需要特定的硬件支持。由于这三种算法都有各自的优缺点和使用范围，国内外的众多学者在经典算法的基础上提出了改进，使目标检测的准确性更高。Huang等人提出了一种融合区域纹理与背景消除的运动目标检测算法，该算法可以抵御阴影以及光线变化对检测结果产生的影响，快速的在视频图像中分割出运动目标。Li等人将改进的背景差分法与帧间差分法相结合，采用双动态阈值检测运动目标，增加了检测系统的鲁棒性和抗干扰性能。
①帧间差分法：
摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。
帧间差分法(Temporal Difference)就是借鉴了上述思想。由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。
②背景差分法：
对于一个稳定的监控场景而言，在没有运动目标，光照没有变化的情况下，视频图像中各个像素点的灰度值是符合随机概率分布的。由于摄像机在采集图像的过程中，会不可避免地引入噪声，这些灰度值以某一个均值为基准线，在附近做一定范围内的随机振荡，这种场景就是所谓的“背景”。
背景差分(Background subtraction)是当前运动目标检测技术中应用较为广泛的一类方法，它的基本思想和帧间差分法相类似，都是利用不同图像的差分运算提取目标区域。不过与帧间差分法不同的是，背景减法不是将当前帧图像与相邻帧图像相减，而是将当前帧图像与一个不断更新的背景模型相减，在差分图像中提取运动目标。
背景减法计算较为简单，由于背景图像中没有运动目标，当前图像中有运动目标，将两幅图像相减，显然可以提取出完整的运动目标，解决了帧间差分法提取的目标内部含有“空洞”的问题。
利用背景减法实现目标检测主要包括四个环节：背景建模，背景更新，目标检测，后期处理。其中，背景建模和背景更新是背景减法中的核心问题。背景模型建立的好坏直接影响到目标检测的效果。所谓背景建模，就是通过数学方法，构建出一种可以表征“背景”的模型。
③光流法：
光流法(Optical Flow)是用来表征图像中像素点的灰度值发生变化趋势的瞬时速度场。在现实世界中，目标的运动通常是通过视频流中各个像素点灰度分布的变化表征的。美国学者Horn和Schunck在1981年提出了光流场的计算方法，他们在两帧图像的灰度变化和时间间隔都很小的前提下，推导出了光流的基本约束方程，从而奠定了光流场计算的理论知识。
利用光流场法实现目标检测的基本思想是：首先计算图像中每一个像素点的运动向量，即建立整幅图像的光流场。如果场景中没有运动目标，则图像中所有像素点的运动向量应该是连续变化的；如果有运动目标，由于目标和背景之间存在相对运动，目标所在位置处的运动向量必然和邻域(背景)的运动向量不同，从而检测出运动目标。
通过计算光流场得到的像素运动向量是由目标和摄像机之间的相对运动产生的。因此该类检测方法可以适用于摄像机静止和运动两种场合。但是光流场的计算过于复杂，而且在实际情况中，由于光线等因素的影响，目标在运动时，其表面的亮度并不是保持不变的，这就不满足光流基本约束方程的假设前提，导致计算会出现很大的误差。
目前，许多在陆地上比较成熟的一些视觉技术并不能很好地适用于水下环境，这是由于水下环境比陆地环境更加复杂多变，并且水下视频拍摄环境恶劣，光线的散射以及水体对光线的吸收，导致视频的质量不高，模糊不清，甚至很难辨认，使得目标检测任务变得更加困难。如何对这类型动态水下视频进行目标检测，是目前图像识别研究的热点问题。
发明内容
针对上述现有技术中的不足，本发明提供一种水下鱼类动态视觉序列运动目标检测方法，可实现对水下鱼类目标的快速检测，并可减少传统方法人工检测以及深度学习中的大量人工标记，提高检测效率并降低人工工作量。
为了实现上述目的，本发明提供一种水下鱼类动态视觉序列运动目标检测方法，包括步骤：
S1：获取一水下鱼类视频数据集；
S2：对所述水下鱼类视频数据集进行预处理，获得一预处理视频帧图像集，所述预处理视频帧图像集包括多个预处理视频帧图像；
S3：利用GMG背景去除算法提取所述预处理视频帧图像集中各所述预处理视频帧图像的前景，获得各所述预处理视频帧图像的前景图像，所述前景图像形成一前景图像集；
S4：利用LBP算法提取获得所述前景图像集的一纹理特征集，所述纹理特征集包括多个纹理特征向量，并对所述前景图像集进行灰度值特征提取获得一灰度特征集，所述灰度特征集包括多个灰度特征向量；
S5：分别利用所述纹理特征集和所述灰度特征集对一PLS分类器进行训练，获得一最优PLS分类器；
S6：利用所述最优PLS分类器对一水下鱼视频序列进行目标检测。
优选地，所述S1步骤中：使用水下摄像头拍摄获得所述水下鱼类视频数据集，所述水下鱼类视频数据集包括白天视频数据和夜晚视频数据；在拍摄所述夜晚视频数据时添加白光照明。
优选地，所述S2步骤进一步包括步骤：
S21：将所述水下鱼类视频数据集转换成帧，获得一帧图像集，所述帧图像集包括多个RGB格式的帧图像；
S22：将每一所述帧图像转换成HIS格式图像，所述HIS格式图像包括一色调值、一饱和度值和一亮度值；
S23：提取每一所述HIS格式图像的所述亮度值并并利用一中值滤波器对所述亮度值去除噪声；
S24：将去除噪声后的所述亮度值替换对应所述HIS格式图像中的原所述亮度值，获得所述预处理视频帧图像和所述预处理视频帧图像集。
优选地，所述中值滤波器的输出采用对比度有限的自适应直方图均衡算法。
优选地，将所述RGB格式的帧图像转换成HIS格式图像满足公式：
其中，R所述帧图像的红颜色值，G为所述帧图像的绿颜色值，B为所述帧图像的蓝颜色值；H为所述色调值，S为所述饱和度值，I为所述亮度值。
优选地，所述灰度特征向量包括所述前景图像所有像素的灰度值、最小值、标准差、平均值和最大值。
优选地，利用公式(4)获得所述灰度值：
FI1(x，y)＝HI(x，y) (4)；
其中，FI1(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的灰度值；I(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的亮度值；
利用公式(5)获得所述最小值：
FI2(x，y)＝HI(x，y)-min{HI(s，t)} (5)；
(s，t)εS9 x，y；
其中，FI2(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的最小值；S9 x，y表示目标S的灰度重心坐标；(s，t)表示S9 x，y中横坐标为s纵坐标为t的坐标点；I(s，t)表示S9 x，y中坐标点(s，t)所对应的亮度值；
利用公式(6)获得所述标准差：
FI3(x，y)＝std{H1(s，t)} (6)；
(s，t)εS9 x，y；
其中，FI3(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的标准差；
利用公式(7)获得所述平均值：
FI4(x，y)＝HI(x，y)-mean{HI(s，t)} (7)；
(s，t)εS9 x，y；
其中，FI4(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的平均值；
利用公式(8)获得所述最大值：
FI5(x，y)＝max{HI(s，t)-HI(x，y)} (8)；
(s，t)εS9 x，y；
其中，F15(x，y)表示在所述前景图像的像素坐标系中坐标为(x，y)的像素所对应的最大值。
优选地，所述PLS分类器满足公式(9)：
A＝B·β+ε (9)；
其中，A表示具有分类度量的向量，B表示特征向量，β表示线性回归系数，ε表示残余向量。
优选地，所述S5步骤中，将分别所述纹理特征集和所述灰度特征集代入所述特征向量B对所述PLS分类器进行训练，得到最优的所述线性回归系数β；将带有最优的所述线性回归系数β的所述PLS分类器作为所述最优PLS分类器。
优选地，所述S6步骤中，利用所述最优PLS分类器每隔5帧对所述水下鱼视频序列进行目标检测。
本发明由于采用了以上技术方案，使其具有以下有益效果：
本发明的一种水下鱼类动态视觉序列运动目标检测方法，可实现对水下鱼类目标的快速检测，并可减少传统方法人工检测以及深度学习中的大量人工标记，提高检测效率并降低人工工作量；并具有检测精度高和检测质量稳定的优点。
附图说明
图1为本发明实施例的水下鱼类动态视觉序列运动目标检测方法的原理图。
具体实施方式
下面根据附图1，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。
请参阅图1，本发明实施例的一种水下鱼类动态视觉序列运动目标检测方法，包括步骤：
S1：获取一水下鱼类视频数据集。
本实施例中，使用水下摄像头拍摄获得水下鱼类视频数据集，水下鱼类视频数据集包括白天视频数据和夜晚视频数据；在拍摄夜晚视频数据时添加白光照明。水下视频共计270分钟，大小为11.1G。
该数据集包含不同的视频序列，在不同的环境位置由高分辨率摄像机捕获。本数据集中输入的视频序列包括白天环境条件和夜晚环境条件。通过不同的视频序列以及白天夜晚混合的视频序列来验证和比较本发明实施例的性能。
由于在相邻几帧图像中目标运动一般不会发生太大的变化，因此没必要对每一帧都进行目标检测。而本实施例采取的策略是每隔5帧进行一次检测，这样做既保证了检测的精确率，同时也加快了目标检测的总体速度。
S2：对水下鱼类视频数据集进行预处理，获得一预处理视频帧图像集，预处理视频帧图像集包括多个预处理视频帧图像。
其中，S2步骤进一步包括步骤：
S21：将水下鱼类视频数据集转换成帧，获得一帧图像集，帧图像集包括多个RGB格式的帧图像；
S22：将每一帧图像转换成HIS格式图像，HIS格式图像包括一色调值、一饱和度值和一亮度值；
S23：提取每一HIS格式图像的亮度值并并利用一中值滤波器对亮度值去除噪声；
S24：将去除噪声后的亮度值替换对应HIS格式图像中的原亮度值，获得预处理视频帧图像和预处理视频帧图像集。
其中，为了提高对比度，中值滤波器的输出采用对比度有限的自适应直方图均衡算法。
另外，将RGB格式的帧图像转换成HIS格式图像满足公式：
其中，R帧图像的红颜色值，G为帧图像的绿颜色值，B为帧图像的蓝颜色值；H为色调值，S为饱和度值，I为亮度值。
S3：利用GMG背景去除算法提取预处理视频帧图像集中各预处理视频帧图像的前景，获得各预处理视频帧图像的前景图像，前景图像形成一前景图像集。
在背景去除的工作中，需要对视频帧进行前景和背景的图像分割，前景区域的提取是通过时间图像分析和背景去除处理相结合来完成的。利用背景去除方法检测水下运动鱼类目标，目的是将视频中运动物体的前景区域从背景区域中分离出来。通过背景去除方法和时间差分方法，可以克服其他算法时间复杂度较高的缺点和局限性。背景去除时使用输入的视频序列，通过找出帧当前像素与背景参考帧像素的差来检测帧内的运动对象。通常使用第一帧作为参考帧，然后按固定时间更新。而时间差分则是对视频连续帧中像素特征的差分。
本实施例中背景去除方法采用GMG背景去除算法，此算法结合了静态背景图像估计和每个像素的贝叶斯分割。首先，时间分析是通过比较两个连续的帧的时间t来执行的。设vt为视频序列中的t时间点，s＝(s，y)点为该像素的特征向量。由贝叶斯规则，vt后验概率P(C|vt，s)为：
P(vt|s)＝∑P(vt|C，s)P(C|s) (11)；
其中，C表示前景值或背景值，根据贝叶斯策论，对比后验概率为P(b|vt，s)，如果满足：
P(b|vt，s)＞P(f|vt，s) (12)；
则把vt分类为背景，将公式(10)和公式(11)代入公式(12)中得到：
2P(vt|b，s)P(b|s)＞P(vt|s) (13)；
其中，b表示已知背景像素的特征向量。
根据当前像素的三个概率P(b|s)，P(vt|b，s)和P(vt|s)来确定该像素是否为背景。
S4：利用LBP算法提取获得前景图像集的一纹理特征集，纹理特征集包括多个纹理特征向量，并对前景图像集进行灰度值特征提取获得一灰度特征集，灰度特征集包括多个灰度特征向量。
特征提取过程的目标是用一些对分类过程有用的可量化信息来表示一个像素。在本实施例中，选择了以下特征向量集。
(1)、使用LBP的纹理特征：使用局部二值模式(LBP)算法提取基于纹理的特征，获得纹理特征集。
利用局部二值模式(LBP)提取了24个基于纹理的特征。LBP是用于图像处理和机器学习的强大特征描述符之一。对比其他纹理特征，LBP特征的计算复杂度非常低。
该算法的关键是在获得的前景区域中为每个像素放置一个标签。这是通过计算像素的局部邻域内点P和半径r的数量得到的。计算中心像素的强度值，并选择该值作为参考。根据这个参考值，邻域像素是形成二值模式的阈值。最后，通过将每个像素的二进制模式相加，并以2为幂进行加权，计算出LBP标签FLBP。
FLBP＝∑(Ip-Ic)2P (14)；
其中，Ip表示邻域像素的灰度值，Ic表示中心像素的灰度值，P表示半径为r的圆上的样本数；f(x)表示符号函数。
从每个LBP模式计算出六个统计特征，如均值、标准差、中位数、熵、偏度和峰度。对r＝1、2、3、4的4个不同的半径进行此步骤，共得到24个特征。
(2)、灰度特征：提取基于前景对象灰度的5个不同特征。
背景对象的灰度为输入序列的分类提供了更有意义的特征。考虑到这一信息，从前景对象中提取了一组灰度特征。设Sx，y为窗口在像素(x，y)上运行的坐标集。
本实施例中，灰度特征向量包括前景图像所有像素的灰度值、最小值、标准差、平均值和最大值。
利用公式(4)获得灰度值：
F11(x，y)＝HI(x，y) (4)；
其中，FI1(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的灰度值；I(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的亮度值；
利用公式(5)获得最小值：
FI2(x，y)＝HI(x，y)-min{HI(s，t)} (5)；
(s，t)εS9 x，y；
其中，FI2(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的最小值；S9 x，y表示目标S的灰度重心坐标；(s，t)表示S9 x，y中横坐标为s纵坐标为t的坐标点；I(s，t)表示S9 x，y中坐标点(s，t)所对应的亮度值；
利用公式(6)获得标准差：
FI3(x，y)＝std{HI(s，t)} (6)；
(s，t)εS9 x，y；
其中，FI3(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的标准差；
利用公式(7)获得平均值：
FI4(x，y)＝HI(x，y)-mean{HI(s，t)} (7)；
(s，t)εS9 x，y；
其中，FI4(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的平均值；
利用公式(8)获得最大值：
FI5(x，y)＝max{HI(s，t)-HI(x，y)} (8)；
(s，t)εS9 x，y；
其中，FI5(x，y)表示在前景图像的像素坐标系中坐标为(x，y)的像素所对应的最大值。
水下视频由于光照反射、折射和水体流动等原因，以及夜晚视频光照条件不理想，将导致视频仅使用背景去除进行目标检测会有较大的误差，有时会将动态的折射光线判定为运动目标物体，所以需要在数据预处理基础上进行LBP和灰度值特征提取，保证检测出来的结果为需要检测的目标物体。
S5：分别利用纹理特征集和灰度特征集对一PLS分类器进行训练，获得一最优PLS分类器。
将提取的LBP和灰度特征组合成特征向量。为了将输入的视频序列分类为不同的类别，将这些特征向量应用到分类器算法中。本实施例中选择了将特征向量应用到偏最小二乘法(PLS)分类器中进行目标检测。
该分类器在不同分类之间具有低偏差和高方差。本文采用一种阈值可调的线性回归PLS分类器。选择该分类器的主要原因是它提供了较高的精度，避免了过拟合问题。
本实施例中，PLS分类器满足公式(9)：
A＝B·β+ε (9)；
其中，A表示具有分类度量的向量，B表示特征向量，β表示线性回归系数，ε表示残余向量。
本实施例中，将分别纹理特征集和灰度特征集代入特征向量B对PLS分类器进行训练，得到最优的线性回归系数β；将带有最优的线性回归系数β的PLS分类器作为最优PLS分类器。
S6：利用最优PLS分类器每隔5帧对一水下鱼视频序列进行目标检测。
将本发明实施例的一种水下鱼类动态视觉序列运动目标检测方法，在水下环境视频序列上进行测试。具体选择水下环境拍摄的白天视频和夜晚视频进行验证和比较，同时考虑了不同场景条件下的视频帧序列。本实施例的算法的检测是在Intel(R)Core(TM)i5-8500CPU@3.00GHz处理器上使用OpenCV+Pycharm+Python3.6运行的。通过计算精度、检测率(DR)、误检率(FAR)和计算时间，获得了本文工作的定量性能。
式中：TP为准确数(True Positive)，FP为误报数(False Positive)，FN为漏报数(False Negative)准确率表示检测到的与移动物体相对应的像素的数量。误报率表示检测到的不符合移动对象的像素数量，漏报率表示未检测到的移动对象像素。
(1)使用PLS分类器目标检测结果
为了测试本实施例的针对水下环境鱼类的目标检测方法，查看最终的水下鱼类目标检测效果，以及验证本实施例提出方法进行目标检测最终结果的有效性以及准确性，本实施例通过上述评测指标，对实验结果中的数据进行了包括精度、检测率和错检率等各项指标的分析，本实施例中，PLS分类器对不同序列的目标检测实验结果如表1所示。
表1、PLS分类器对输入序列进行目标检测实验结果表
从实验结果可以看出，由于夜晚视频和混合视频光照条件较差，水下鱼类的目标检测精度略有下降，但总体检测精度依然保持92％以上。
(2)未经过数据预处理数据目标检测结果
对未经过数据预处理的数据集同样利用PLS分类器对输入序列进行目标检测，实验结果如表2所示。
表2、PLS分类器对未处理序列进行目标检测实验结果表
从数据未经过处理的对比实验结果可以看出，在原始数据集经过数据预处理后，在目标检测结果的精度上有很大的提升，尤其是在夜晚视频的目标检测效果上精度上升了10％，有明显的提升。
(3)使用HOG特征目标检测结果
为了验证本实施例的特征提取方法是否效果最佳，本实施例在原本实验数据集的预处理基础上，特征提取采用方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，将提取的特征应用到PSL分类器算法中，进行目标检测，使用HOG特征的PLS分类器进行目标检测的实验结果如表3所示。
表3、使用HOG特征应用到PLS分类器进行目标检测实验结果表
从实验结果可以看出使用HOG特征应用到PLS分类器进行目标检测得到实验精度与使用LBP+灰度特征应用到PLS分类器进行目标检测得到实验精度相比有明显的下降，这主要是因为HOG特征主要偏重用于行人检测，可以更好地分析人体的一些细微肢体动作，但对水下视频中运动的目标鱼类，效果相比检测行人就略微下降。
(4)使用SVM和PNN分类器目标检测结果
在实验结果基础上，本实施例还将实验数据输入到支持向量机(Support VectorMachine,SVM)和概率神经网络(Probabilistic Neural Network，PNN)两种分类器中进行目标检测，并与本实施例使用的PLS分类器在精度、检测率、错检率以及检测时间等指标上做了对比。SVM分类器对不同序列的分类实验结果如表4所示。
表4、使用SVM分类器对输入序列进行目标检测实验结果表
PNN分类器对不同序列的分类实验结果如表5所示。
表5、PNN分类器对输入序列进行目标检测实验结果表
从使用SVM和PNN两种分类器的目标检测结果可以看出，运用本实施例方法处理过后的数据集进行目标检测，精度普遍都可以达到83％以上，计算时间相差不大。对比三种分类器的目标检测结果，三种分类器对于白天视频的目标检测效果比较好，夜晚视频和混合视频由于光线和水面折射的原因，精度略有下降。从总体精度可以看出，本实施例使用的PLS分类器的目标检测精度普遍比SVM和PNN分类器检测的精度高出10％。
以上结合附图实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
Claims (10)
1.一种水下鱼类动态视觉序列运动目标检测方法，包括步骤：
S1：获取一水下鱼类视频数据集；
S2：对所述水下鱼类视频数据集进行预处理，获得一预处理视频帧图像集，所述预处理视频帧图像集包括多个预处理视频帧图像；
S3：利用GMG背景去除算法提取所述预处理视频帧图像集中各所述预处理视频帧图像的前景，获得各所述预处理视频帧图像的前景图像，所述前景图像形成一前景图像集；
S4：利用LBP算法提取获得所述前景图像集的一纹理特征集，所述纹理特征集包括多个纹理特征向量，并对所述前景图像集进行灰度值特征提取获得一灰度特征集，所述灰度特征集包括多个灰度特征向量；
S5：分别利用所述纹理特征集和所述灰度特征集对一PLS分类器进行训练，获得一最优PLS分类器；
S6：利用所述最优PLS分类器对一水下鱼视频序列进行目标检测。
2.根据权利要求1所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述S1步骤中：使用水下摄像头拍摄获得所述水下鱼类视频数据集，所述水下鱼类视频数据集包括白天视频数据和夜晚视频数据；在拍摄所述夜晚视频数据时添加白光照明。
3.根据权利要求2所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述S2步骤进一步包括步骤：
S21：将所述水下鱼类视频数据集转换成帧，获得一帧图像集，所述帧图像集包括多个RGB格式的帧图像；
S22：将每一所述帧图像转换成HIS格式图像，所述HIS格式图像包括一色调值、一饱和度值和一亮度值；
S23：提取每一所述HIS格式图像的所述亮度值并并利用一中值滤波器对所述亮度值去除噪声；
S24：将去除噪声后的所述亮度值替换对应所述HIS格式图像中的原所述亮度值，获得所述预处理视频帧图像和所述预处理视频帧图像集。
4.根据权利要求3所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述中值滤波器的输出采用对比度有限的自适应直方图均衡算法。
5.根据权利要求3所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，将所述RGB格式的帧图像转换成HIS格式图像满足公式：
其中，R所述帧图像的红颜色值，G为所述帧图像的绿颜色值，B为所述帧图像的蓝颜色值；H为所述色调值，S为所述饱和度值，I为所述亮度值。
6.根据权利要求3所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述灰度特征向量包括所述前景图像所有像素的灰度值、最小值、标准差、平均值和最大值。
7.根据权利要求6所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，利用公式(4)获得所述灰度值：
FI1(x,y)＝HI(x,y) (4)；
其中，FI1(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的灰度值；I(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的亮度值；
利用公式(5)获得所述最小值：
FI2(x,y)＝HI(x,y)-min{HI(s,t)} (5)；
(s,t)εS9 x,y；
其中，FI2(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的最小值；S9 x,y表示目标S的灰度重心坐标；(s,t)表示S9 x,y中横坐标为s纵坐标为t的坐标点；I(s,t)表示S9 x,y中坐标点(s,t)所对应的亮度值；
利用公式(6)获得所述标准差：
FI3(x,y)＝std{HI(s,t)} (6)；
(s,t)εS9 x,y；
其中，FI3(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的标准差；
利用公式(7)获得所述平均值：
FI4(x,y)＝HI(x,y)-mean{HI(s,t)} (7)；
(s,t)εS9 x,y；
其中，FI4(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的平均值；
利用公式(8)获得所述最大值：
FI5(x,y)＝max{HI(s,t)-HI(x,y)} (8)；
(s,t)εS9 x,y；
其中，FI5(x,y)表示在所述前景图像的像素坐标系中坐标为(x,y)的像素所对应的最大值。
8.根据权利要求3所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述PLS分类器满足公式(9)：
A＝B·β+ε (9)；
其中，A表示具有分类度量的向量，B表示特征向量，β表示线性回归系数，ε表示残余向量。
9.根据权利要求8所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述S5步骤中，将分别所述纹理特征集和所述灰度特征集代入所述特征向量B对所述PLS分类器进行训练，得到最优的所述线性回归系数β；将带有最优的所述线性回归系数β的所述PLS分类器作为所述最优PLS分类器。
10.根据权利要求9所述的水下鱼类动态视觉序列运动目标检测方法，其特征在于，所述S6步骤中，利用所述最优PLS分类器每隔5帧对所述水下鱼视频序列进行目标检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010428204.0A CN111627047B (zh) | 2020-05-20 | 2020-05-20 | 水下鱼类动态视觉序列运动目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010428204.0A CN111627047B (zh) | 2020-05-20 | 2020-05-20 | 水下鱼类动态视觉序列运动目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111627047A true CN111627047A (zh) | 2020-09-04 |
| CN111627047B CN111627047B (zh) | 2023-06-16 |
Family
ID=72260870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010428204.0A Active CN111627047B (zh) | 2020-05-20 | 2020-05-20 | 水下鱼类动态视觉序列运动目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111627047B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112394356A (zh) * | 2020-09-30 | 2021-02-23 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902972A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 一种水面移动平台视觉系统图像分析处理方法 |
| CN106096523A (zh) * | 2016-06-02 | 2016-11-09 | 王玉德 | 一种视频图像序列中运动目标的检出与异常行为分析算法 |
| CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN110782477A (zh) * | 2019-10-10 | 2020-02-11 | 重庆第二师范学院 | 基于序列图像的运动目标快速检测方法、计算机视觉系统 |
-
2020
- 2020-05-20 CN CN202010428204.0A patent/CN111627047B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103902972A (zh) * | 2014-03-21 | 2014-07-02 | 哈尔滨工程大学 | 一种水面移动平台视觉系统图像分析处理方法 |
| CN106096523A (zh) * | 2016-06-02 | 2016-11-09 | 王玉德 | 一种视频图像序列中运动目标的检出与异常行为分析算法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN106846359A (zh) * | 2017-01-17 | 2017-06-13 | 湖南优象科技有限公司 | 基于视频序列的运动目标快速检测方法 |
| CN110782477A (zh) * | 2019-10-10 | 2020-02-11 | 重庆第二师范学院 | 基于序列图像的运动目标快速检测方法、计算机视觉系统 |
Non-Patent Citations (2)
| Title |
|---|
| XIAOSONG LAN: "A Dynamic Online Background Modeling Framework", 《IEEE》 * |
| 黄冬梅: "考虑空间相关性的半监督局部保持投影的高光谱图像特征提取", 《激光与光电子学进展》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112394356A (zh) * | 2020-09-30 | 2021-02-23 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
| CN112394356B (zh) * | 2020-09-30 | 2024-04-02 | 桂林电子科技大学 | 一种基于U-Net的小目标无人机检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111627047B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230289979A1 (en) | A method for video moving object detection based on relative statistical characteristics of image pixels | |
| Yi et al. | Moving object detection based on running average background and temporal difference | |
| CN108268859A (zh) | 一种基于深度学习的人脸表情识别方法 | |
| Cheng et al. | Scene analysis for object detection in advanced surveillance systems using Laplacian distribution model | |
| CN113537099B (zh) | 一种公路隧道火灾烟雾动态检测方法 | |
| CN110059634B (zh) | 一种大场景人脸抓拍方法 | |
| CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
| JP2012053756A (ja) | 画像処理装置及び画像処理方法 | |
| Luque et al. | An ART-type network approach for video object detection. | |
| Liao et al. | An edge-based approach to improve optical flow algorithm | |
| Zhao et al. | Research of fire smoke detection algorithm based on video | |
| CN111627047B (zh) | 水下鱼类动态视觉序列运动目标检测方法 | |
| Nosheen et al. | Efficient Vehicle Detection and Tracking using Blob Detection and Kernelized Filter | |
| CN112487926A (zh) | 一种基于时空图卷积网络的景区投喂行为识别方法 | |
| Zhou et al. | Dynamic background subtraction using spatial-color binary patterns | |
| CN110502968B (zh) | 基于轨迹点时空一致性的红外弱小运动目标的检测方法 | |
| Khashman | Automatic detection, extraction and recognition of moving objects | |
| Yoo et al. | A moving object detection algorithm for smart cameras | |
| Li et al. | Image object detection algorithm based on improved Gaussian mixture model | |
| Li et al. | Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze | |
| Wang et al. | Research on machine vision technology based detection and tracking of objects on video image | |
| Hu et al. | A new method of moving object detection and shadow removing | |
| Pojage et al. | Review on automatic fast moving object detection in video of surveillance system | |
| Yuan et al. | A Smoke Recognition Method Combined Dynamic Characteristics and Color Characteristics of Large Displacement Area | |
| Li et al. | Multi-object tracking based on improved mean-shift algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |