CN111582074A - 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 - Google Patents

一种基于场景深度信息感知的监控视频树叶遮挡检测方法 Download PDF

Info

Publication number
CN111582074A
CN111582074A CN202010327043.6A CN202010327043A CN111582074A CN 111582074 A CN111582074 A CN 111582074A CN 202010327043 A CN202010327043 A CN 202010327043A CN 111582074 A CN111582074 A CN 111582074A
Authority
CN
China
Prior art keywords
image
channel
scene depth
layer
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010327043.6A
Other languages
English (en)
Inventor
郭峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui HDRefine Information Technology Co ltd
Original Assignee
Anhui HDRefine Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui HDRefine Information Technology Co ltd filed Critical Anhui HDRefine Information Technology Co ltd
Priority to CN202010327043.6A priority Critical patent/CN111582074A/zh
Publication of CN111582074A publication Critical patent/CN111582074A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明公开了一种基于场景深度信息感知的监控视频树叶遮挡检测方法，属于监控视频的智能分析技术领域，包括如下步骤：采集监控视频当前帧，获得二维三通道彩色图像I；计算图像I对应的单通道光透射率图像T，图像T的每一个像素值对应图像I中每一个像素对于光的透射率；根据光透射率图像T计算图像I对应的单通道场景深度图像D，图像D中的每一个像素反应图像I中每一个像素对应的物体距离监控摄像机镜头的远近。本发明通过由单目监控摄像机获取的二维图像中快速的计算出对应的真实场景深度信息；计算并利用了场景深度信息，能够有效区分当前监控画面是否存在树叶和是否存在树叶遮挡两种情况，降低由于画面中存在远景树叶造成的误警。

Description

一种基于场景深度信息感知的监控视频树叶遮挡检测方法
技术领域
本发明涉及一种监控视频树叶遮挡检测方法，特别是涉及一种基 于场景深度信息感知的监控视频树叶遮挡检测方法，属于监控视频的 智能分析技术领域。
背景技术
目前存在一个常见的问题是树叶遮挡，导致现有的监控视频树叶 遮挡检测方法主要有两大类：一类是利用时序运动信息，即认为树叶 在监控场景下存在时序运动的特点，通过运动前背景建模的方式获得 树叶候选区域，随后提取颜色、纹理等特征利用支持向量机等分类器 进行建模，从而实现树叶遮挡的检测。然而，由于这类方法依赖于树 叶运动，导致对于无风天气以及大块树叶近距离遮挡镜头两种情形无 法有效检测。另一类是直接截取视频流中的一帧作为处理对象，利用 传统局部二值模式或梯度方向直方图方法提取特征，随后利用随机森 林或支持向量机作为分类器训练有无树叶遮挡的二分类模型。随着深 度学习技术的发展，也有一些研究工作尝试将特征提取与分类器用一 个统一的卷积神经网络进行端到端的训练，虽然上述方法在特定的场 景下取得了一定的效果，但从前述分析可知，现有方法实际检测的是 当前监控画面是否存在树叶，而不是检测是否存在树叶遮挡。
发明内容
本发明的主要目的是为了解决现有技术的不足，而提供一种基于 场景深度信息感知的监控视频树叶遮挡检测方法。
本发明的目的可以通过采用如下技术方案达到：
一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特 征在于，包括如下步骤：
步骤1：采集监控视频当前帧，获得二维三通道彩色图像I；
步骤2：计算图像I对应的单通道光透射率图像T，图像T的每 一个像素值对应图像I中每一个像素对于光的透射率；
步骤3：根据光透射率图像T计算图像I对应的单通道场景深度 图像D，图像D中的每一个像素反应图像I中每一个像素对应的物体 距离监控摄像机镜头的远近；
步骤4：将图像G与图像D级联为双通道图像X；
步骤5：设计具有自适应特征图注意力机制的卷积神经网络将此 双通道图像X进行有无树叶遮挡二分类模型训练，进而判断出当前监 控画面是否被树叶遮挡。
优选的，在步骤1中，获取视频流采用RTSP方式，并根据监控 摄像头IP地址获得当前监控画面二维三通道彩色图像，记为I。
优选的，步骤2包括：
利用已有的暗通道先验去雾算法中的方法计算图像I的暗通道 图像J，计算公式为
Figure BDA0002463592520000021
其中c表示彩色图像I的三个通道的编号，Ω(x)表示以像素x 为中心的矩形窗口内的所有像素；
即上式公式意义为：一个像素位置对应的暗通道值为以其为中心 的临近矩形内所有位置的像素的三个颜色通道里值最小的一个；
计算图像I所对应真实监控场景的大气光强度值A，计算步骤为： 首先将暗通道图像J的所有像素之进行排序，取其前千分之一像素值 对应的位置在原始彩色图像I相同位置的像素值作为集合，随后计算 该集合像素值的平均值作为大气光强度值A；
计算图像I的粗略光透射率图像T‘，
计算公式如下：
Figure BDA0002463592520000031
其中，Ic表示原始彩色图像的三颜色通道索引，Ac表示由上述步 骤2在原始彩色图像I的不同颜色通道上计算得到的不同大气光强度 值，w为修正因子超参数，取值范围为[0，1]。
根据粗略光透射率图像T‘计算精细光透射率图T；具体步骤为： 首先将图像I进行颜色空间转换得到单通道灰度图像G，以G作为引 导图像对图像T‘进行导向滤波得到精细光透射率图T。
优选的，在步骤3中，由光透射率图像T获得场景深度图像D 的计算公式为：
Figure BDA0002463592520000032
其中β是动态大气散射系数。
优选的，在步骤4中，将图像G与图像D级联为双通道图像X， 融合方法为在通道维度将两幅图像处于相同空间位置的像素进行拼 接。
优选的，所述步骤5的重点是本发明设计了一种具有自适应特征 图注意力机制的卷积神经网络，其可有效处理含有场景深度信息的双 通道图像X，主要步骤如下：
设计一个总体来看是由5个卷积层和两个全连接层组成的轻量 级卷积神经网络；
前三个卷积层将原始图像灰度信息与场景深度信息两种不同模 态的信息进行融合，具体包含一个3x3分离卷积层、一个1x1卷积 层和一个3x3普通卷积层；
每层的计算步骤如下：
设图像X的维度为H×W×2，H表示图像的高，W表示图像的宽， 2表示图像的原始灰度图和场景深度图两个通道，记为x1和x2；
则第一个3x3的分离卷积层计算方式为：定义两个3x3的卷积 核，分别记为k11、k12，k11、k12分别和图像X的两个通道进行卷积 并经过一个非线性映射层得到特征图f11(x1)和f12(x2)，即f11(x1)＝ ReLU(x1★k11)，f12(x2)＝ReLU(x2★k12)，其中★为卷积符号， ReLU为非线性映射函数；
第二个1x1的卷积层利用1x1的卷积核对第一层得到的结果进 行通道维度的融合，即对于特征图的每一个空间位置同时融合原始图 像灰度特征与场景深度特征，并通过N，N≥3个1x1卷积核实现升 维；
第三个3x3普通卷积层通过普通的多组3x3的卷积核实现对第 二层的得到的通道融合的特征进一步根据特征图的每一个位置的上 下文进行语义特征提取，这一步中得到的特征图同样经过ReLU函数 进行非线性映射；
优选的，针对整个卷积神经网络的第3、4和5三个卷积层，设 计了一种特征图根据上下文信息自适应调整的自注意力机制，具体计 算步骤如下：
在每一个卷积层输出的特征图之后、非线性映射函数ReLU之前， 加上一层可学习的特征调整层，若卷积层输出的特征图F的维度是 h×w×n，其中h和w分别代表图像的高、宽，n表示特征图的个数；
自适应调整层AdaptFM的计算方法为：将n个3x3的可学习的 卷积核分成n组，每组具有一个3x3的卷积核，每组卷积核与特征图 F的一个特征图进行卷积输出特征自适应调整之后的特征图，即 AdaptFM(F)的维度依然为h×w×n，但其对特征图F的每一个维度的特征都进行了自适应调整。
作为非线性映射ReLU函数的输入特征为F+AdaptFM(F)，即具 有自适应特征调整能力的卷积层的完整输出特征为ReLU(F+ AdaptFM(F))。
最后通过两个同样具有ReLU非线性映射函数的全连接层获得最 终的特征，并利用Softmax函数进行是否存在树叶遮挡分类判断，标 注数据进行卷积神经网络训练，损失函数采用传统交叉熵损失函数。
本发明的有益技术效果：按照本发明的基于场景深度信息感知的 监控视频树叶遮挡检测方法，由单目监控摄像机获取的二维图像中快 速的计算出对应的真实场景深度信息；计算并利用了场景深度信息， 能够有效区分当前监控画面是否存在树叶和是否存在树叶遮挡两种 情况，降低由于画面中存在远景树叶造成的误警。
附图说明
图1为本发明背景技术中关于监控视频当前画面是否有树叶概 念示意图；
图2为本发明背景技术中关于监控视频当前画面是否存在树叶 遮挡概念示意图；
图3为本发明的主要实施步骤流程图；
图4为本发明提出的场景深度图计算步骤流程图；
图5为本发明设计的卷积神经网络结构图；
图6为本发明设计的具有基于注意力机制的含有自适应特征调 整模块的卷积层示意图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结 合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式 不限于此。
如图1-图6所示，本实施例提供的基于场景深度信息感知的监控 视频树叶遮挡检测方法，其特征在于，包括如下步骤：
步骤1：采集监控视频当前帧，获得二维三通道彩色图像I；
步骤2：计算图像I对应的单通道光透射率图像T，图像T的每 一个像素值对应图像I中每一个像素对于光的透射率；
步骤3：根据光透射率图像T计算图像I对应的单通道场景深度 图像D，图像D中的每一个像素反应图像I中每一个像素对应的物体 距离监控摄像机镜头的远近；
步骤4：将图像G与图像D级联为双通道图像X；
步骤5：设计具有自适应特征图注意力机制的卷积神经网络将此 双通道图像X进行有无树叶遮挡二分类模型训练，进而判断出当前监 控画面是否被树叶遮挡。
在步骤1中，获取视频流采用RTSP方式，并根据监控摄像头IP 地址获得当前监控画面二维三通道彩色图像，记为I。
步骤2包括：
利用已有的暗通道先验去雾算法中的方法计算图像I的暗通道 图像J，计算公式为
Figure BDA0002463592520000061
其中c表示彩色图像I的三个通道的编号，Ω(x)表示以像素x 为中心的矩形窗口内的所有像素；
即上式公式意义为：一个像素位置对应的暗通道值为以其为中心 的临近矩形内所有位置的像素的三个颜色通道里值最小的一个；
计算图像I所对应真实监控场景的大气光强度值A，计算步骤为： 首先将暗通道图像J的所有像素之进行排序，取其前千分之一像素值 对应的位置在原始彩色图像I相同位置的像素值作为集合，随后计算 该集合像素值的平均值作为大气光强度值A；
计算图像I的粗略光透射率图像T‘，
计算公式如下：
Figure BDA0002463592520000071
其中，Ic表示原始彩色图像的三颜色通道索引，Ac表示由上述步 骤2在原始彩色图像I的不同颜色通道上计算得到的不同大气光强度 值，w为修正因子超参数，取值范围为[0，1]。
根据粗略光透射率图像T‘计算精细光透射率图T；具体步骤为： 首先将图像I进行颜色空间转换得到单通道灰度图像G，以G作为引 导图像对图像T‘进行导向滤波得到精细光透射率图T。
在步骤3中，由光透射率图像T获得场景深度图像D的计算公 式为：
Figure BDA0002463592520000072
其中β是动态大气散射系数。
在步骤4中，将图像G与图像D级联为双通道图像X，融合方法 为在通道维度将两幅图像处于相同空间位置的像素进行拼接。
步骤5的重点是本发明设计了一种具有自适应特征图注意力机 制的卷积神经网络，其可有效处理含有场景深度信息的双通道图像X， 主要步骤如下：
设计一个总体来看是由5个卷积层和两个全连接层组成的轻量 级卷积神经网络；
前三个卷积层将原始图像灰度信息与场景深度信息两种不同模 态的信息进行融合，具体包含一个3x3分离卷积层、一个1x1卷积 层和一个3x3普通卷积层；
每层的计算步骤如下：
设图像X的维度为H×W×2，H表示图像的高，W表示图像的宽， 2表示图像的原始灰度图和场景深度图两个通道，记为x1和x2；
则第一个3x3的分离卷积层计算方式为：定义两个3x3的卷积 核，分别记为k11、k12，k11、k12分别和图像X的两个通道进行卷积 并经过一个非线性映射层得到特征图f11(x1)和f12(x2)，即f11(x1)＝ ReLU(x1★k11)，f12(x2)＝ReLU(x2★k12)，其中★为卷积符号， ReLU为非线性映射函数；
第二个1x1的卷积层利用1x1的卷积核对第一层得到的结果进 行通道维度的融合，即对于特征图的每一个空间位置同时融合原始图 像灰度特征与场景深度特征，并通过N，N≥3个1x1卷积核实现升 维；
第三个3x3普通卷积层通过普通的多组3x3的卷积核实现对第 二层的得到的通道融合的特征进一步根据特征图的每一个位置的上 下文进行语义特征提取，这一步中得到的特征图同样经过ReLU函数 进行非线性映射；
针对整个卷积神经网络的第3、4和5三个卷积层，设计了一种 特征图根据上下文信息自适应调整的自注意力机制，具体计算步骤如 下：
在每一个卷积层输出的特征图之后、非线性映射函数ReLU之前， 加上一层可学习的特征调整层，若卷积层输出的特征图F的维度是 h×w×n，其中h和w分别代表图像的高、宽，n表示特征图的个数；
自适应调整层AdaptFM的计算方法为：将n个3x3的可学习的 卷积核分成n组，每组具有一个3x3的卷积核，每组卷积核与特征图 F的一个特征图进行卷积输出特征自适应调整之后的特征图，即 AdaptFM(F)的维度依然为h×w×n，但其对特征图F的每一个维度的特征都进行了自适应调整。
作为非线性映射ReLU函数的输入特征为F+AdaptFM(F)，即具 有自适应特征调整能力的卷积层的完整输出特征为ReLU(F+ AdaptFM(F))。
最后通过两个同样具有ReLU非线性映射函数的全连接层获得最 终的特征，并利用Softmax函数进行是否存在树叶遮挡分类判断，标 注数据进行卷积神经网络训练，损失函数采用传统交叉熵损失函数。
实施例1：
本实施例的整体步骤流程图如图2所示。
S1、采集监控视频当前帧，获得二维三通道彩色图像I；
具体步骤为：利用RTSP协议连接指定IP摄像机获取实时视频 流，并利用开源计算机视觉处理库OpenCV截取当前画面作为待处理 图像，即I，这里的I是具有R、G、B三个通道的彩色图像且分辨率 固定为240×320。
S2、计算图像I对应的单通道光透射率图像T，图像T的每一个 像素值对应图像I中每一个像素对于光的透射率；
如图3所示，具体步骤为：
S21：利用已有的暗通道先验去雾算法中的方法计算图像I的暗 通道图像J：
计算公式为
Figure BDA0002463592520000091
其中c表示彩色图像I的三个通道的编号，Ω(x)表示以像素x 为中心的矩形窗口内的所有像素；即上式公式意义为：一个像素位置 对应的暗通道值为以其为中心的临近矩形内所有位置的像素的三个 颜色通道里值最小的一个。
S22：计算图像I所对应真实监控场景的大气光强度值A。
计算步骤为：首先将暗通道图像J的所有像素之进行排序，取其 前千分之一像素值对应的位置在原始彩色图像I相同位置的像素值 作为集合，随后计算该集合像素值的平均值作为大气光强度值A。注 意由于原始图像I具有三个不同的颜色通道，在同一像素位置三个颜 色通道的取值一般不同，因此需要对图像I的每一个颜色通道分别计 算对应的大气光强度值A。
S23：根据原始彩色图像I和上一步得到的大气光强度值计算图 像I的粗略光透射率图像T‘。
计算公式如下：
Figure BDA0002463592520000101
其中，Ic表示原始彩色图像的三颜色通道索引，Ac表示由上述步 骤S2在原始彩色图像I的不同颜色通道上计算得到的不同大气光强 度值。w为修正因子超参数，取值范围为[0，1]。
S24：根据粗略光透射率图像T‘和原始彩色图像I计算精细光透 射率图T。
具体步骤为：首先将图像I进行颜色空间转换得到单通道灰度图 像G，以G作为引导图像对图像T‘进行导向滤波得到精细光透射率 图T。
S3、根据光透射率图像T计算图像I对应的单通道场景深度图像 D，图像D中的每一个像素反应图像I中每一个像素对应的物体距离 监控摄像机镜头的远近；
具体计算步骤和公式为：由光透射率图像T获得场景深度图像D 的计算公式为：
Figure BDA0002463592520000102
其中β是动态大气散射系数。图像D为单 通道图像，分辨率为240×320。
S4、将图像G与图像D级联为双通道图像X；具体做法为：在通 道维度将两幅图像处于相同空间位置的像素进行拼接，即空间位置不 变，增加通道维度。双通道图像X的分辨率为240×320×2。
S5、设计具有自适应特征图注意力机制的卷积神经网络将此双通 道图像X进行有无树叶遮挡二分类模型训练，进而判断出当前监控画 面是否被树叶遮挡。
首先对网络结构进行构建，包含以下步骤：
S51、如图4所示，设计一个总体来看是由5个卷积层和两个全 连接层组成的轻量级卷积神经网络；
S52、前三个卷积层将原始图像灰度信息与场景深度信息两种不 同模态的信息进行融合，具体包含一个3x3分离卷积层、一个1x1卷 积层和一个3x3普通卷积层；每层的计算步骤如下：
设图像X的维度为H×W×2，H表示图像的高，W表示图像的宽， 2表示图像的原始灰度图和场景深度图两个通道，记为x1和x2，在本 实施例中，H和W的值分别为240和320。则第一个3x3的分离卷积 层计算方式为：定义两个3x3的卷积核，分别记为k11、k12，k11、k12分别和图像X的两个通道进行卷积并经过一个非线性映射层得到特 征图f11(x1)和f12(x2)，即f11(x1)＝ReLU(x1★k11)，f12(x2)＝ ReLU(x2★k12)，其中★为卷积符号，ReLU为非线性映射函数。
第二个1x1的卷积层利用1x1的卷积核对第一层得到的结果进行 通道维度的融合，即对于特征图的每一个空间位置同时融合原始图像 灰度特征与场景深度特征，并通过N，N≥3个1x1卷积核实现升维， 在本实施例中N＝12。
第三个3x3普通卷积层通过普通的多组3x3的卷积核实现对第二 层的得到的通道融合的特征进一步根据特征图的每一个位置的上下 文进行语义特征提取，这一步中得到的特征图同样经过ReLU函数进 行非线性映射。
S53、为了获得更好的特征表示能力，针对整个卷积神经网络的 第3、4、5三个卷积层，本发明设计了一种特征图根据上下文信息自 适应调整的自注意力机制，如图5所示，具体计算步骤如下：
在每一个卷积层输出的特征图之后、非线性映射函数ReLU之前， 加上一层可学习的特征调整层。若卷积层输出的特征图F的维度是 h×w×n，其中h和w分别代表图像的高、宽，n表示特征图的个数， 自适应调整层AdaptFM的计算方法为：将n个3x3的可学习的卷积核分成n组，每组具有一个3x3的卷积核，每组卷积核与特征图F 的一个特征图进行卷积输出特征自适应调整之后的特征图，即 AdaptFM(F)的维度依然为h×w×n，但其对特征图F的每一个维度的 特征都进行了自适应调整。
作为非线性映射ReLU函数的输入特征为F+AdaptFM(F)，即 具有本发明设计的具有自适应特征调整能力的卷积层的完整输出特 征为ReLU(F+AdaptFM(F))。
S54、最后通过两个同样具有ReLU非线性映射函数的全连接层 获得最终的特征，并利用Softmax函数进行是否存在树叶遮挡分类判 断，损失函数采用传统交叉熵损失函数。
在网络构建定义完成之后，即根据标注数据对网络进行训练，获 得最优参数，从而达到对测试视频是否存在树叶遮挡进行有效检测， 主要步骤为：
S55、标注训练数据。采集大量的监控视频数据，将获得的图片 人工标注为存在树叶遮挡和不存在树叶遮挡两大类。
S66、利用随机梯度下降法进行参数训练，在训练时为了增强模 型的鲁棒性，对于训练数据采用随机仿射变换的方式进行数据增强。 通过该方法，能够实现快速准确的监控视频树叶遮挡检测。
综上所述，在本实施例中，按照本实施例的基于场景深度信息感 知的监控视频树叶遮挡检测方法，本实施例提供的基于场景深度信息 感知的监控视频树叶遮挡检测方法，由单目监控摄像机获取的二维图 像中快速的计算出对应的真实场景深度信息；计算并利用了场景深度 信息，能够有效区分当前监控画面是否存在树叶和是否存在树叶遮挡 两种情况，降低由于画面中存在远景树叶造成的误警。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并 不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围 内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本 发明的保护范围。

Claims (7)

1.一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，包括如下步骤：
步骤1：采集监控视频当前帧，获得二维三通道彩色图像I；
步骤2：计算图像I对应的单通道光透射率图像T，图像T的每一个像素值对应图像I中每一个像素对于光的透射率；
步骤3：根据光透射率图像T计算图像I对应的单通道场景深度图像D，图像D中的每一个像素反应图像I中每一个像素对应的物体距离监控摄像机镜头的远近；
步骤4：将图像G与图像D级联为双通道图像X；
步骤5：设计具有自适应特征图注意力机制的卷积神经网络将此双通道图像X进行有无树叶遮挡二分类模型训练，进而判断出当前监控画面是否被树叶遮挡。
2.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，在步骤1中，获取视频流采用RTSP方式，并根据监控摄像头IP地址获得当前监控画面二维三通道彩色图像，记为I。
3.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，步骤2包括：
利用已有的暗通道先验去雾算法中的方法计算图像I的暗通道图像J，计算公式为
Figure FDA0002463592510000011
其中c表示彩色图像I的三个通道的编号，Ω(x)表示以像素x为中心的矩形窗口内的所有像素；
即上式公式意义为：一个像素位置对应的暗通道值为以其为中心的临近矩形内所有位置的像素的三个颜色通道里值最小的一个；
计算图像I所对应真实监控场景的大气光强度值A，计算步骤为：首先将暗通道图像J的所有像素之进行排序，取其前千分之一像素值对应的位置在原始彩色图像I相同位置的像素值作为集合，随后计算该集合像素值的平均值作为大气光强度值A；
计算图像I的粗略光透射率图像T‘，
计算公式如下：
Figure FDA0002463592510000021
其中，Ic表示原始彩色图像的三颜色通道索引，Ac表示由上述步骤2在原始彩色图像I的不同颜色通道上计算得到的不同大气光强度值，w为修正因子超参数，取值范围为[0，1]。
根据粗略光透射率图像T‘计算精细光透射率图T；具体步骤为：首先将图像I进行颜色空间转换得到单通道灰度图像G，以G作为引导图像对图像T‘进行导向滤波得到精细光透射率图T。
4.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，在步骤3中，由光透射率图像T获得场景深度图像D的计算公式为：
Figure FDA0002463592510000022
其中β是动态大气散射系数。
5.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，在步骤4中，将图像G与图像D级联为双通道图像X，融合方法为在通道维度将两幅图像处于相同空间位置的像素进行拼接。
6.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，所述步骤5的重点是本发明设计了一种具有自适应特征图注意力机制的卷积神经网络，其可有效处理含有场景深度信息的双通道图像X，主要步骤如下：
设计一个总体来看是由5个卷积层和两个全连接层组成的轻量级卷积神经网络；
前三个卷积层将原始图像灰度信息与场景深度信息两种不同模态的信息进行融合，具体包含一个3x3分离卷积层、一个1x1卷积层和一个3x3普通卷积层；
每层的计算步骤如下：
设图像X的维度为H×W×2，H表示图像的高，W表示图像的宽，2表示图像的原始灰度图和场景深度图两个通道，记为x1和x2；
则第一个3x3的分离卷积层计算方式为：定义两个3x3的卷积核，分别记为k11、k12，k11、k12分别和图像X的两个通道进行卷积并经过一个非线性映射层得到特征图f11(x1)和f12(x2)，即f11(x1)＝ReLU(x1★k11)，f12(x2)＝ReLU(x2★k12)，其中★为卷积符号，ReLU为非线性映射函数；
第二个1x1的卷积层利用1x1的卷积核对第一层得到的结果进行通道维度的融合，即对于特征图的每一个空间位置同时融合原始图像灰度特征与场景深度特征，并通过N，N≥3个1x1卷积核实现升维；
第三个3x3普通卷积层通过普通的多组3x3的卷积核实现对第二层的得到的通道融合的特征进一步根据特征图的每一个位置的上下文进行语义特征提取，这一步中得到的特征图同样经过ReLU函数进行非线性映射。
7.如权利要求1所述的一种基于场景深度信息感知的监控视频树叶遮挡检测方法，其特征在于，针对整个卷积神经网络的第3、4和5三个卷积层，设计了一种特征图根据上下文信息自适应调整的自注意力机制，具体计算步骤如下：
在每一个卷积层输出的特征图之后、非线性映射函数ReLU之前，加上一层可学习的特征调整层，若卷积层输出的特征图F的维度是h×w×n，其中h和w分别代表图像的高、宽，n表示特征图的个数；
自适应调整层AdaptFM的计算方法为：将n个3x3的可学习的卷积核分成n组，每组具有一个3x3的卷积核，每组卷积核与特征图F的一个特征图进行卷积输出特征自适应调整之后的特征图，即AdaptFM(F)的维度依然为h×w×n，但其对特征图F的每一个维度的特征都进行了自适应调整。
作为非线性映射ReLU函数的输入特征为F+AdaptFM(F)，即具有自适应特征调整能力的卷积层的完整输出特征为ReLU(F+AdaptFM(F))。
最后通过两个同样具有ReLU非线性映射函数的全连接层获得最终的特征，并利用Softmax函数进行是否存在树叶遮挡分类判断，标注数据进行卷积神经网络训练，损失函数采用传统交叉熵损失函数。
CN202010327043.6A 2020-04-23 2020-04-23 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 Withdrawn CN111582074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010327043.6A CN111582074A (zh) 2020-04-23 2020-04-23 一种基于场景深度信息感知的监控视频树叶遮挡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010327043.6A CN111582074A (zh) 2020-04-23 2020-04-23 一种基于场景深度信息感知的监控视频树叶遮挡检测方法

Publications (1)

Publication Number Publication Date
CN111582074A true CN111582074A (zh) 2020-08-25

Family

ID=72111692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010327043.6A Withdrawn CN111582074A (zh) 2020-04-23 2020-04-23 一种基于场景深度信息感知的监控视频树叶遮挡检测方法

Country Status (1)

Country Link
CN (1) CN111582074A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112836711A (zh) * 2021-03-05 2021-05-25 上海有个机器人有限公司 机器人的摄像机构自检方法、电子设备及存储介质
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统
CN117011288A (zh) * 2023-09-27 2023-11-07 勤源(江苏)科技有限公司 视频质量诊断方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365476A (zh) * 2020-11-13 2021-02-12 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112365476B (zh) * 2020-11-13 2023-12-08 南京信息工程大学 一种基于双通路深度网络的雾天能见度检测方法
CN112836711A (zh) * 2021-03-05 2021-05-25 上海有个机器人有限公司 机器人的摄像机构自检方法、电子设备及存储介质
CN112927262A (zh) * 2021-03-22 2021-06-08 瓴盛科技有限公司 一种基于视频的相机镜头遮挡检测方法及系统
CN117011288A (zh) * 2023-09-27 2023-11-07 勤源(江苏)科技有限公司 视频质量诊断方法及系统
CN117011288B (zh) * 2023-09-27 2024-02-20 勤源(江苏)科技有限公司 视频质量诊断方法及系统

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
WO2020192483A1 (zh) 图像显示方法和设备
CN106845487B (zh) 一种端到端的车牌识别方法
CN108615226B (zh) 一种基于生成式对抗网络的图像去雾方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN107133943A (zh) 一种防震锤缺陷检测的视觉检测方法
Yang et al. Single image haze removal via region detection network
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111539343B (zh) 一种基于卷积注意力网络的黑烟车检测方法
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN110097522B (zh) 一种基于多尺度卷积神经网络的单幅户外图像去雾方法
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN110503609A (zh) 一种基于混合感知模型的图像去雨方法
CN111815529B (zh) 一种基于模型融合和数据增强的低质图像分类增强方法
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200825