CN110880184B - 一种基于光流场进行摄像头自动巡检的方法及装置 - Google Patents
一种基于光流场进行摄像头自动巡检的方法及装置 Download PDFInfo
- Publication number
- CN110880184B CN110880184B CN201910946266.8A CN201910946266A CN110880184B CN 110880184 B CN110880184 B CN 110880184B CN 201910946266 A CN201910946266 A CN 201910946266A CN 110880184 B CN110880184 B CN 110880184B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- module
- image
- flow field
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007689 inspection Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000000428 dust Substances 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于光流场进行摄像头自动巡检的方法及装置。本发明属于摄像头自动巡检领域，尤其涉及使用光流场技术实现自动检测摄像头状态相对于基准状态是否变化的方法及装置。该方法包括以下步骤：步骤1，采集基准图像；步骤2，预处理基准图像；步骤3，生成基准图像光流场;步骤4，生成基准图像光流场二值模;步骤5，采集目标图像;步骤6，预处理目标图像;步骤7，生成目标图像光流场;步骤8，生成目标图像光流场二值模;步骤9，生成匹配图像光流场;步骤10，生成匹配图像光流场二值模;步骤11，判断摄像头镜头状态。本发明实现了摄像头状态的自动巡检，对光照，灰尘、摄像头视野内场景变动有较好鲁棒性。
Description
技术领域
本发明属于摄像头自动巡检领域，尤其涉及使用光流场技术实现自动检测摄像头巡检时状态相对于基准状态是否变化的方法及装置。
背景技术
摄像头在各种场景中被越来越多的广泛使用，如安防、监控、工业控制、工业测量、体育测试、水质分析等。摄像头如果发生镜头严重积灰、镜头被异物盖住，将对图像质量产生影响；如果镜头方向发生改变、镜头焦距发生改变，则将对图像的视野产生影响，我们将这些变化统称为摄像头状态的改变，这些改变均会影响作业结果。所以摄像头巡检是周期性需要实施的工作，以保证摄像头状态和基准（或期望）状态一致。
传统的摄像头巡检采用的是人工巡检、手工纸介质记录的工作方式，这种巡检方式存在着诸多缺陷：依赖巡检人员的主动性，缺乏监督机制，容易出现漏检、巡检不到位等情况;摄像头出现问题从发现到解决的处理周期过长、手工记录的巡检结果容易出错;无法及时反馈现场情况；尤其对目标状态和基准状态是否相同没有一致的判断标准，依赖于巡检人员的素质和经验。
本发明的目的在于实现摄像头状态巡检的自动化，使用光流场技术对巡检时刻摄像头成像图像和基准时刻摄像头成像图像进行光流场提取和比对，实现摄像头状态的自动巡检。
发明内容
本发明的内容在于使用光流场技术对巡检时刻摄像头成像图像和基准时刻摄像头成像图像进行光流场提取和比对，实现摄像头状态的自动巡检。
本发明所使用的光流场模型是一个和原始图像大小相等的双通道图像，每个像素描述的是当前帧图像相对于前一帧图像的像素的光流的速度大小u和速度方向v，所以光流场是一个由光流向量(u,v)组成的双通道数组。
本发明采用以下技术方案实现。
一种基于光流场进行摄像头自动巡检的方法，包括：
步骤1，采集基准图像：在认为摄像头镜头状态（镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物）是正确的时刻，采集相邻两帧图像Frame1和Frame2。并认为该时刻的摄像头镜头状态是基准状态，Frame1和Frame2是基准图像。
步骤2，预处理基准图像：对基准图像Frame1和Frame2进行灰度化和两层金字塔降采样预处理，目的是对图像进行降噪和平滑，恢复图像形态特征，减小图像大小，降低图像分辨率，提高光流场计算效率，并使图像满足光流场计算的前提假设要求：连续的两帧图像之间目标对象的像素的灰度值不改变，从而使得光流场计算结果平滑。
步骤2.1，对图像进行灰度化：使用灰度化模型对图像进行灰度化计算,分别求得基准图像Frame1和Frame2的灰度图Gray1和Gray2。
步骤2.2，对图像进行滤波：使用滤波器对灰度图Gray1和Gray2进行降噪和平滑计算, 得到新的灰度图GrayFilter1和GrayFilter2。
步骤2.3，对图像进行降采样：使用图像降采样模型对灰度图GrayFilter1和GrayFilter2进行降采样，得到降维灰度图GrayDownSampling1和GrayDownSampling2。可以对图像进行多次降采样获得合适维度的降维灰度图。
步骤3，生成基准图像光流场：基于两帧降维灰度图GrayDownSampling1和GrayDownSampling2，使用光流算法计算和生成两帧基准图像之间的稠密光流场DenseOpticalFlow12。光流场的每一个点为一个光流矢量(u,v)，u为水平方向光流速度，v为垂直方向光流速度。
步骤4，生成基准图像光流场二值模：基于稠密光流场DenseOpticalFlow12的光流矢量生成光流场的二值模。
步骤4.1，生成光流场灰度模：基于稠密光流场DenseOpticalFlow12的光流矢量的水平分量u和垂直分量v逐点计算，生成光流场的灰度模GrayMask12。
步骤4.2，生成光流场二值模：使用二值化模型对光流场灰度模GrayMask12进行点计算二值化，生成光流场二值模BinaryMask12。
步骤5，采集目标图像：采集巡检时刻的相邻两帧目标图像Frame3和Frame4。
步骤6，预处理目标图像：使用步骤2的方法对目标图像Frame3和Frame4进行灰度化和两层金字塔降采样预处理，分别得到降维灰度图GrayDownSampling3和GrayDownSampling4。
步骤7，生成目标图像光流场：使用步骤3方法对降维灰度图GrayDownSampling3和GrayDownSampling4进行计算，求得两帧目标图像之间的稠密光流场DenseOpticalFlow34。
步骤8，生成目标图像光流场二值模：使用步骤4方法对稠密光流场DenseOpticalFlow34进行计算，生成目标图像光流场二值模BinaryMask34。
步骤9，生成匹配图像光流场：计算和生成基准图像和目标图像之间的稠密光流场。使用步骤3方法对步骤2 求得的降维灰度图GrayDownSampling1和GrayDownSampling2任选一帧，步骤6求得的降维灰度图GrayDownSampling3和GrayDownSampling4任选一帧进行计算，生成基准图像和目标图像之间的稠密光流场DenseOpticalFlow13，称为匹配图像稠密光流场。
步骤10，生成匹配图像光流场二值模：使用步骤4方法对步骤9生成的匹配图像稠密光流场DenseOpticalFlow13进行计算，生成匹配图像光流场二值模BinaryMask13。
步骤11，判断摄像头镜头状态：此步骤用于检测目标图像（巡检时刻）相对于基准图像（基准时刻）摄像头镜头状态是否改变。
将步骤4生成的基准光流场二值模BinaryMask12和步骤8生成的目标图像光流场二值模BinaryMask34进行相与计算，生成二值参考模BinaryMaskRefer = BinaryMask12 &BinaryMask34。
将步骤10生成的匹配图像光流场二值模BinaryMask13和上述生成的二值参考模BinaryMaskRefer进行相与计算，生成二值判断模BinaryMaskResult = BinaryMask13 &BinaryMaskRefer。
统计计算二值判断模BinaryMaskResult所有点的平均值m，如果m大于设定阈值，则认为巡检时刻相对于基准时刻摄像头镜头状态已发生变化。
一种基于光流场进行摄像头自动巡检的装置，包括：
模块1，采集图像模块：用于采集基准图像和目标图像，图像是相邻两帧成对采集。
模块2，预处理图像模块：用于对图像进行灰度化和两层金字塔降采样预处理：使用灰度化模型对图像进行灰度化，使用滤波器对图像进行降噪和平滑计算，使用降采样模型对图像进行降采样，生成降维的预处理灰度图。
模块2.1，图像灰度化模块：使用灰度化模型对图像进行灰度化计算。
模块2.2，图像滤波模块：使用滤波器对图像进行降噪和平滑计算。
模块2.3，图像降采样模块：使用图像降采样模型对图像进行降采样。
模块3，生成图像光流场模块：使用光流算法计算和生成两帧图像之间的稠密光流场。
模块4，生成图像光流场二值模模块：基于稠密光流场的光流矢量生成光流场的二值模。
模块4.1，生成光流场灰度模模块：基于稠密光流场的光流矢量生成光流场的灰度模。
模块4.2，生成光流场二值模模块：使用二值化模型对光流场灰度模进行二值化，生成光流场二值模。
模块5，计算控制调度模块：本模块为装置总控模块，调度个模块的调用计算。模块功能为：
(1)、在认为摄像头镜头状态（镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物）是正确的时刻，调用模块1采集相邻两帧基准图像。
(2)、在巡检时刻，调用模块1采集相邻两帧目标图像。
(3)、调用模块2，对两帧基准图像和两帧目标图像进行预处理。
(4)、调用模块3，生成两帧基准图像的稠密光流场，生成两帧目标图像的稠密光流场。
(5)、选择基准图像两帧中的任一帧图像，选择目标图像图两帧中的任一帧图像，这两帧图像称为匹配图像，依次调用模块2和模块3，生成这两帧匹配图像的稠密光流场。
(6)、调用模块4，生成基准图像的光流场二值模，目标图像的光流场二值模，匹配图像的光流场二值模。
模块6，判断摄像头镜头状态模块：此模块用于检测目标图像相对于基准图像摄像头镜头状态是否改变。对基准图像光流场二值模，目标图像光流场二值模，匹配图像光流场二值模进行模型分析，输出巡检时刻相对于基准时刻摄像头镜头状态是否发生变化。
本发明实现了摄像头状态的自动巡检，对光照，灰尘、摄像头视野内场景变动有较好鲁棒性。摄像头的状态包括镜头严重积灰、镜头被异物盖住、镜头方向改变、镜头焦距改变等状态。
附图说明
图1示出了本发明实施例提供的一种基于光流场进行摄像头自动巡检的方法的流程示意图。
图2示出了本发明实施例提供的一种基于光流场进行摄像头自动巡检的装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本实施例公开了一种基于稠密光流场进行摄像头自动巡检的方法。本实施例的假设场景为摄像头安装在户外操场上用于智能化的体育测试。在智能化的体育测试中，需要对项目进行距离、动作等的精确计算，所以摄像头安装并调试完成后，对摄像头镜头的方向和焦距不能做改变，同时如果摄像头镜头上覆盖异物，也会对测试结果造成影响。本实施例方法分析摄像头镜头状态是否发生变化。
本实施例方法请参考图1，包括：
步骤S101，采集基准图像：在认为摄像头镜头状态（镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物）是正确的时刻，采集相邻两帧图像Frame1和Frame2。并认为该时刻的摄像头镜头状态是基准状态，Frame1和Frame2是基准图像。
步骤S102，预处理基准图像：对基准图像Frame1和Frame2进行灰度化和两层金字塔降采样预处理，目的是对图像进行降噪和平滑，恢复图像形态特征，减小图像大小，降低图像分辨率，提高光流场计算效率，并使图像满足光流场计算的前提假设要求：连续的两帧图像之间目标对象的像素的灰度值不改变，从而使得光流场计算结果平滑。
步骤S102.1，对图像进行灰度化：使用加权平均灰度化模型对图像进行灰度化计算。模型为：
(1)
其中R(x,y)，G(x,y)，B(x,y)为图像像素点(x,y)在RGB空间的红、绿、蓝三种颜色分量，Gray(x,y)为该像素点灰度化计算后的灰度值。分别求得基准图像Frame1和Frame2的灰度图Gray1和Gray2。
步骤S102.2，对图像进行滤波：使用高斯滤波器对图像进行高斯平滑卷积计算。
使用方差为1、维数为3并归一化的高斯核矩阵分别对灰度图Gray1和Gray2进行高斯平滑卷积计算，得到灰度图GrayFilter1和GrayFilter2。
使用的高斯核矩阵为：
(2)
步骤S102.3，对图像进行降采样：使用图像降采样模型对图像进行降采样。
分别对灰度图GrayFilter1和GrayFilter2进行隔行和隔列的降采样，删除图像的偶数行与列，得到降维灰度图GrayDownSampling1和GrayDownSampling2。
可以对图像进行多次降采样获得合适维度的降维灰度图。
步骤S103，生成基准图像光流场：使用Farneback光流算法计算和生成两帧基准图像之间的稠密光流场。
将步骤S102.3求得的两帧降维灰度图GrayDownSampling1和GrayDownSampling2中每个像素点的值进行泰勒级数展开分解，使用最小二乘法求得两帧之间的双通道稠密光流场DenseOpticalFlow12。具体方法为：
记 I为像素点(x,y)在t时刻的值，记t时刻当前帧像素点值为I(x,y,t) ，下一帧像素点为。对/>按泰勒级数展开分解得到：
(3)
在步骤S102图像被预处理后，图像已满足光流的假设条件，在连续的两帧图像之间的目标对象的像素的灰度值不改变，即有：
(4)
同时， 为高阶无穷小，所以有：
(5)
变化得到：
(6)
记：
(7)
则有：
(8)
光流场的每一个点为一个光流矢量(u,v)，u为水平方向光流速度，v为垂直方向光流速度。
步骤S104，生成基准图像光流场二值模：基于稠密光流场的光流矢量生成光流场的二值模。
步骤S104.1，生成光流场灰度模：基于光流场的光流矢量的水平分量u和垂直分量v，计算光流场的灰度模。
具体计算模型方法为：
(9)
计算出稠密光流场DenseOpticalFlow12的灰度模GrayMask12。
步骤S104.2，生成光流场二值模：使用二值化模型对光流场灰度模进行二值化，生成光流场二值模。
引入模阈值MaskThresh = 0.6。
遍历GrayMask12的每个值，大于模阈值MaskThresh的值改为0（黑色），小于模阈值MaskThresh的值改为1（白色），即生成一个光流场的二值模BinaryMask12。本步骤中得到的光流场二值模用于检测和消除场景内的不稳定运动。
步骤S105，采集目标图像：采集巡检时刻的相邻两帧目标图像Frame3和Frame4。
步骤S106，预处理目标图像：使用步骤S102的方法对目标图像Frame3和Frame4进行灰度化和两层金字塔降采样预处理，分别得到降维灰度图GrayDownSampling3和GrayDownSampling4。
步骤S107，生成目标图像光流场：使用步骤S103方法对降维灰度图GrayDownSampling3和GrayDownSampling4进行计算，求得两帧目标图像之间的稠密光流场DenseOpticalFlow34。
步骤S108，生成目标图像光流场二值模：使用步骤S104方法对稠密光流场DenseOpticalFlow34进行计算，生成目标图像光流场二值模BinaryMask34。
步骤S109，生成匹配图像光流场：计算和生成基准图像和目标图像之间的稠密光流场。
使用步骤S103方法对步骤S102 求得的降维灰度图GrayDownSampling1、步骤S106求得的降维灰度图GrayDownSampling3进行计算，生成基准图像Frame1和目标图像Frame3两帧之间的稠密光流场DenseOpticalFlow13，称为匹配图像稠密光流场。
步骤S110，生成匹配图像光流场二值模：使用步骤S104方法对步骤S109生成的匹配图像稠密光流场DenseOpticalFlow13进行计算，生成匹配图像光流场二值模BinaryMask13。
步骤S111，判断摄像头镜头状态：此步骤用于检测目标图像（巡检时刻）相对于基准图像（基准时刻）摄像头镜头状态是否改变。
将步骤S104生成的基准光流场二值模BinaryMask12和步骤S108生成的目标图像光流场二值模BinaryMask34相与，生成二值参考模BinaryMaskRefer：
BinaryMaskRefer = BinaryMask12 & BinaryMask34 (10)
将步骤S110生成的匹配图像光流场二值模BinaryMask13和上述生成的二值参考模BinaryMaskRefer相与，生成二值判断模BinaryMaskResult：
BinaryMaskResult = BinaryMask13 & BinaryMaskRefer (11)
统计计算二值判断模BinaryMaskResult所有点的简单算术平均值m：
m=[1⋯1]*BinaryMaskResult*[1⋯1]T (12)
如果m > MaskThersh，则认为巡检时刻相对于基准时刻摄像头镜头状态已发生变化。
本发明实施例，不对图像进行灰度化模型进行限定，优选的，为加权平均灰度化模型。
本发明实施例，不对图像滤波模型进行限定，优选的，为高斯滤波模型。
本发明实施例，不对图像降采样模型进行限定，优选的，为删除隔行和隔列的降采样模型。
本发明实施例，不对图像光流场计算模型进行限定，优选的，为Farneback稠密光流场计算模型。
本发明实施例，不对光流场灰度模模型进行限定，优选的，为勾股模型。
本发明实施例，不对光流场二值模模型进行限定，优选的，为与计算模型。
本发明实施例，不对光流场二值判断模平均值模型进行限定，优选的，为简单算术平均值计算模型。
本发明实施例，不对光流场二值模模型中的模阈值进行限定，本实施例使用了经验值。
本发明实施例，不对参与计算匹配图像光流场二值模的图像进行限定，可以是基准图像中的任一帧图像和目标图像中的任一帧图像。
本实施例还公开了一种基于光流场进行摄像头自动巡检的装置，请参考图2，包括：
模块S201，采集图像模块：用于采集基准图像和目标图像，图像是相邻两帧成对采集。
模块S202，预处理图像模块：用于对图像进行灰度化和两层金字塔降采样预处理：使用加权平均灰度化模型对图像进行灰度化，使用高斯滤波器对图像进行高斯平滑卷积计算，使用隔行隔列降采样模型对图像进行降采样，生成降维的预处理灰度图。
模块S202.1，图像灰度化模块：使用加权平均灰度化模型对图像进行灰度化计算。
模块S202.2，图像滤波模块：使用高斯滤波器对图像进行高斯平滑卷积计算。
模块S202.3，图像降采样模块：使用隔行隔列图像降采样模型对图像进行降采样。
模块S203，生成图像光流场模块：使用Farneback光流算法计算和生成两帧图像之间的稠密光流场。
模块S204，生成图像光流场二值模模块：用于基于稠密光流场的光流矢量生成光流场的二值模。
模块S204.1，生成光流场灰度模模块：基于稠密光流场的光流矢量生成光流场的灰度模。
模块S204.2，生成光流场二值模模块：使用二值化模型对光流场灰度模进行二值化，生成光流场二值模。
模块S205，计算控制调度模块：本模块为装置总控模块，调度个模块的调用计算。模块功能为：
(1)、在认为摄像头镜头状态（镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物）是正确的时刻，调用模块S201采集相邻两帧基准图像。
(2)、在巡检时刻，调用模块S201采集相邻两帧目标图像。
(3)、调用模块S202，对两帧基准图像和两帧目标图像进行预处理。
调用模块S203，生成两帧基准图像的稠密光流场，生成两帧目标图像的稠密光流场。
(4)、选择基准图像中的一帧预处理图像，选择目标图像图中的一帧预处理图像，这两帧图像称为匹配图像。调用模块S203，生成这两帧匹配图像的稠密光流场。
(5)、调用模块S204，生成基准图像的光流场二值模，目标图像的光流场二值模，匹配图像的光流场二值模。
模块S206，判断摄像头镜头状态模块：此模块用于检测目标图像相对于基准图像摄像头镜头状态是否改变。对基准图像光流场二值模，目标图像光流场二值模，匹配图像光流场二值模进行模型分析，输出巡检时刻相对于基准时刻摄像头镜头状态是否发生变化。
本实施例不对摄像头场景类型做限定，在未作特别申明的情况下，具体的场景类型对本实施例的技术方案不构成限制，应当理解为便于本领域技术人员理解技术方案而举的示例。
本领域内的技术人员应明白，本发明的实施例可提供为方法及装置。本发明是参照本发明实施例的方法及装置的流程图和结构示意图来描述的。
显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (3)
1.一种基于光流场进行摄像头自动巡检的方法，其特征在于：步骤1，在摄像头镜头状态是正确的时刻采集相邻的两帧图像Frame1和Frame2，其中Frame1和Frame2是基准图像，所述摄像头镜头状态包括镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物；步骤2，对基准图像Frame1和Frame2进行灰度化和金字塔降采样预处理，获得降维灰度图GrayDownSampling1和GrayDownSampling2；步骤3，基于所述降维灰度图GrayDownSampling1和GrayDownSampling2，使用光流算法计算和生成两帧基准图像之间的稠密光流场DenseOpticalFlow12，稠密光流场的每一个点为一个光流矢量(u ,v)，u为水平方向光流速度，v为垂直方向光流速度; 步骤4，基于所述稠密光流场DenseOpticalFlow12的光流矢量生成基准图像光流场二值模BinaryMask12;步骤5，采集巡检时刻的相邻两帧图像Frame3和Frame4，Frame3和Frame4是目标图像;步骤6，对所述目标图像Frame3和Frame4进行灰度化和金字塔降采样预处理，获得降维灰度图GrayDownSampling3和GrayDownSampling4;步骤7，基于所述降维灰度图GrayDownSampling3和GrayDownSampling4，使用光流算法计算和生成两帧目标图像之间的稠密光流场DenseOpticalFlow34;步骤8，对所述稠密光流场DenseOpticalFlow34的光流矢量进行计算，生成目标图像光流场二值模BinaryMask34;步骤9，任选一帧所述基准图像和一帧所述目标图像，对这两帧图像进行计算，生成所述基准图像和所述目标图像之间的匹配稠密光流场DenseOpticalFlow13;步骤10，对所述匹配稠密光流场DenseOpticalFlow13的光流矢量进行计算，生成匹配图像光流场二值模BinaryMask13;步骤11，检测所述目标图像相对于所述基准图像摄像头镜头状态是否改变；将基准图像光流场二值模BinaryMask12和目标图像光流场二值模BinaryMask34进行计算，生成二值参考模BinaryMaskRef，所述目标图像为巡检时刻采集的图像，所述基准图像为基准时刻采集的图像；将所述匹配图像光流场二值模BinaryMask13和所述二值参考模BinaryMaskRefer进行计算，生成二值判断模BinaryMaskResult；统计计算所述二值判断模BinaryMaskResult的平均值m，如果m大于设定阈值，则认为巡检时刻相对于基准时刻摄像头镜头状态已发生变化。
2.根据权利要求1所述的一种基于光流场进行摄像头自动巡检的方法，其特征在于：所述降维灰度图满足光流场计算的假设要求：连续的两帧图像之间目标对象的像素的灰度值不改变。
3.一种基于光流场进行摄像头自动巡检的装置，其特征在于：
模块1，采集图像模块：用于采集基准图像和目标图像，图像是相邻两帧成对采集；
模块2，预处理图像模块：用于对图像进行灰度化和两层金字塔降采样预处理，使用灰度化模型对图像进行灰度化，使用滤波器对图像进行降噪和平滑计算，使用降采样模型对图像进行降采样，生成降维的预处理灰度图；
模块2 .1，图像灰度化模块：使用灰度化模型对图像进行灰度化计算；
模块2 .2，图像滤波模块：使用滤波器对图像进行降噪和平滑计算；
模块2 .3，图像降采样模块：使用图像降采样模型对图像进行降采样；
模块3，生成图像光流场模块：使用光流算法计算和生成两帧图像之间的稠密光流场；
模块4，生成图像光流场二值模模块：基于稠密光流场的光流矢量生成光流场的二值模；
模块4 .1，生成光流场灰度模模块：基于稠密光流场的光流矢量生成光流场的灰度模；
模块4 .2，生成光流场二值模模块：使用二值化模型对光流场灰度模进行二值化，生成光流场二值模；
模块5，计算控制调度模块：本模块为装置总控模块，调度个模块的调用计算，模块功能为：
步骤一、在认为摄像头镜头状态是正确的时刻，调用模块1采集相邻两帧基准图像Frame1、Frame2，所述摄像头镜头状态包括镜头方向、镜头焦距、镜头清洁、镜头没有覆盖异物；
步骤二、在巡检时刻，调用模块1采集相邻两帧目标图像Frame3、Frame4；
步骤三、调用模块2，对基准图像Frame1和Frame2进行灰度化和金字塔降采样预处理，获得降维灰度图GrayDownSampling1和GrayDownSampling2；对所述目标图像Frame3和Frame4进行灰度化和金字塔降采样预处理，获得降维灰度图GrayDownSampling3和GrayDownSampling4；
步骤四、调用模块3，基于所述降维灰度图GrayDownSampling1和GrayDownSampling2，使用光流算法计算和生成两帧基准图像之间的稠密光流场DenseOpticalFlow12；基于所述降维灰度图GrayDownSampling3和GrayDownSampling4，使用光流算法计算和生成两帧目标图像之间的稠密光流场DenseOpticalFlow34；
步骤五、任选一帧所述基准图像和一帧所述目标图像，依次调用模块2和模块3对这两帧图像进行计算，生成所述基准图像和所述目标图像之间的匹配稠密光流场DenseOpticalFlow13；
步骤六、调用模块4，基于所述稠密光流场DenseOpticalFlow12的光流矢量生成基准图像光流场二值模BinaryMask12；对所述稠密光流场DenseOpticalFlow34的光流矢量进行计算，生成目标图像光流场二值模BinaryMask34；对所述匹配稠密光流场DenseOpticalFlow13的光流矢量进行计算，生成匹配图像光流场二值模BinaryMask13；
步骤七、调用模块6，判断摄像头镜头状态模块：此模块用于检测目标图像相对于基准图像摄像头镜头状态是否改变；检测所述目标图像相对于所述基准图像摄像头镜头状态是否改变；将基准图像光流场二值模BinaryMask12和目标图像光流场二值模BinaryMask34进行计算，生成二值参考模BinaryMaskRef，所述目标图像为巡检时刻采集的图像，所述基准图像为基准时刻采集的图像；将所述匹配图像光流场二值模BinaryMask13和所述二值参考模BinaryMaskRefer进行计算，生成二值判断模BinaryMaskResult；统计计算所述二值判断模BinaryMaskResult的平均值m，如果m大于设定阈值，则认为巡检时刻相对于基准时刻摄像头镜头状态已发生变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910946266.8A CN110880184B (zh) | 2019-10-03 | 2019-10-03 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910946266.8A CN110880184B (zh) | 2019-10-03 | 2019-10-03 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110880184A CN110880184A (zh) | 2020-03-13 |
| CN110880184B true CN110880184B (zh) | 2023-07-21 |
Family
ID=69728192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910946266.8A Active CN110880184B (zh) | 2019-10-03 | 2019-10-03 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110880184B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111741187B (zh) * | 2020-06-08 | 2022-08-26 | 北京小米松果电子有限公司 | 图像处理方法、装置及存储介质 |
| CN111756730B (zh) * | 2020-06-23 | 2021-05-11 | 浙江华络通信设备有限公司 | 一种支持巡检的融合通信调度系统及其实现方法 |
| CN111757100B (zh) * | 2020-07-14 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 相机运动变化量的确定方法、装置、电子设备和介质 |
| CN116722785B (zh) * | 2023-06-26 | 2024-02-23 | 北京积加科技有限公司 | 一种电机转动方向自动校准方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225241A (zh) * | 2015-09-25 | 2016-01-06 | 广州极飞电子科技有限公司 | 无人机深度图像的获取方法及无人机 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN107067595A (zh) * | 2017-04-28 | 2017-08-18 | 南京国电南思科技发展股份有限公司 | 一种指示灯的状态辨识方法、装置及电子设备 |
| CN107564062A (zh) * | 2017-08-16 | 2018-01-09 | 清华大学 | 位姿异常检测方法及装置 |
| CN107967440A (zh) * | 2017-09-19 | 2018-04-27 | 北京工业大学 | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 |
| CN108022261A (zh) * | 2017-11-01 | 2018-05-11 | 天津大学 | 一种改进的光流场模型算法 |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109218614A (zh) * | 2018-09-21 | 2019-01-15 | 深圳美图创新科技有限公司 | 一种移动终端的自动拍照方法及移动终端 |
| CN109313018A (zh) * | 2016-06-08 | 2019-02-05 | 索尼公司 | 成像控制装置和方法、以及车辆 |
| CN109544520A (zh) * | 2018-11-09 | 2019-03-29 | 福建和盛高科技产业有限公司 | 一种视频图像扭曲自动检测方法 |
| CN109766867A (zh) * | 2019-01-22 | 2019-05-17 | 长沙智能驾驶研究院有限公司 | 车辆运行状态确定方法、装置、计算机设备和存储介质 |
| CN109887011A (zh) * | 2017-12-06 | 2019-06-14 | 中国科学院宁波材料技术与工程研究所 | 视频稳像方法及装置 |
-
2019
- 2019-10-03 CN CN201910946266.8A patent/CN110880184B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225241A (zh) * | 2015-09-25 | 2016-01-06 | 广州极飞电子科技有限公司 | 无人机深度图像的获取方法及无人机 |
| CN105427308A (zh) * | 2015-11-20 | 2016-03-23 | 中国地质大学（武汉） | 一种稀疏和稠密特征匹配结合的图像配准方法 |
| CN109313018A (zh) * | 2016-06-08 | 2019-02-05 | 索尼公司 | 成像控制装置和方法、以及车辆 |
| CN107067595A (zh) * | 2017-04-28 | 2017-08-18 | 南京国电南思科技发展股份有限公司 | 一种指示灯的状态辨识方法、装置及电子设备 |
| CN107564062A (zh) * | 2017-08-16 | 2018-01-09 | 清华大学 | 位姿异常检测方法及装置 |
| CN107967440A (zh) * | 2017-09-19 | 2018-04-27 | 北京工业大学 | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 |
| CN108022261A (zh) * | 2017-11-01 | 2018-05-11 | 天津大学 | 一种改进的光流场模型算法 |
| CN109887011A (zh) * | 2017-12-06 | 2019-06-14 | 中国科学院宁波材料技术与工程研究所 | 视频稳像方法及装置 |
| CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
| CN109218614A (zh) * | 2018-09-21 | 2019-01-15 | 深圳美图创新科技有限公司 | 一种移动终端的自动拍照方法及移动终端 |
| CN109544520A (zh) * | 2018-11-09 | 2019-03-29 | 福建和盛高科技产业有限公司 | 一种视频图像扭曲自动检测方法 |
| CN109766867A (zh) * | 2019-01-22 | 2019-05-17 | 长沙智能驾驶研究院有限公司 | 车辆运行状态确定方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "GeoNet:Unsupervised Learning of Dense Depth,Optical Flow and Camera Pose";Zhichao Yin;《CVPR》;全文 * |
| 基于图像弱检测器的飞机起降过程追踪方法;隋运峰等;《计算机应用》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110880184A (zh) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880184B (zh) | 一种基于光流场进行摄像头自动巡检的方法及装置 | |
| CN102368821B (zh) | 一种噪声强度自适应的视频去噪方法和系统 | |
| CN111368771A (zh) | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 | |
| TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
| CN112149543B (zh) | 一种基于计算机视觉的建筑扬尘识别系统与方法 | |
| CN110751630B (zh) | 基于深度学习的输电线路异物检测方法、装置及介质 | |
| CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
| CN109359593B (zh) | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 | |
| CN113706566B (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
| CN113155032A (zh) | 一种基于动态视觉传感器dvs的建筑物结构位移测量方法 | |
| CN104299234B (zh) | 视频数据中雨场去除的方法和系统 | |
| CN117269193B (zh) | 合成革表观质量智能化检测方法 | |
| CN112560574A (zh) | 河流黑水排放检测方法及应用其的识别系统 | |
| CN115615998B (zh) | 一种圆形磁芯侧面缺陷检测装置及其方法 | |
| CN111582076A (zh) | 一种基于像素运动智能感知的画面冻结检测方法 | |
| KR100825504B1 (ko) | 카메라를 이용한 인터페이스 장치 및 방법 | |
| KR100649384B1 (ko) | 저조도 환경에서의 영상특징 추출방법 | |
| US11631183B2 (en) | Method and system for motion segmentation | |
| CN116033119A (zh) | 基于视频图像识别的高低压线路强放电监测系统及方法 | |
| Zhao et al. | An improved VIBE algorithm for fast suppression of ghosts and static objects | |
| KR101158728B1 (ko) | 실시간 전경 영상 검출시스템 및 방법 | |
| CN111797761B (zh) | 一种三阶段烟雾检测系统、方法及可读介质 | |
| Chaiyawatana et al. | Robust object detection on video surveillance | |
| CN111583341A (zh) | 云台像机移位检测方法 | |
| Takahara et al. | Making background subtraction robust to various illumination changes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |