CN109271873A - 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法 - Google Patents

抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法 Download PDF

Info

Publication number
CN109271873A
CN109271873A CN201810964396.XA CN201810964396A CN109271873A CN 109271873 A CN109271873 A CN 109271873A CN 201810964396 A CN201810964396 A CN 201810964396A CN 109271873 A CN109271873 A CN 109271873A
Authority
CN
China
Prior art keywords
camera
image
river
distance
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810964396.XA
Other languages
English (en)
Other versions
CN109271873B (zh
Inventor
单森华
戴诗琪
吴闽帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Four Creation Technology Ltd Co
Original Assignee
Four Creation Technology Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Four Creation Technology Ltd Co filed Critical Four Creation Technology Ltd Co
Priority to CN201810964396.XA priority Critical patent/CN109271873B/zh
Publication of CN109271873A publication Critical patent/CN109271873A/zh
Application granted granted Critical
Publication of CN109271873B publication Critical patent/CN109271873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法，S1摄像头实时采集视频帧图像；S2根据摄像头采集的视频帧图像，判断摄像头是发生移动，若摄像头发生移动，记录下摄像头移动前的视频帧图像及其河道标注信息；S3摄像头停止移动，记录当前视频帧图像；S4分别对图像和图像进行处理，得到特征提取的候选点；S5:生成对应的SURF特征描述算子；S6:采用FLANN快速最近邻搜索算法得到侯选特征匹配对；S7:排除由于图像遮挡等因素产生的错误匹配对，得到最优特征匹配对；S8:通过最优特征匹配对计算出图像到图像的透视变换矩阵M；S9:对河道标注信息做同样的透视变换，修正河道；S10:根据修正结果判断摄像头是否偏离河道。

Description

抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法
技术领域
本发明涉及一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法。
背景技术
随着社会科技和经济的飞速发展，环境问题的困扰也日益严重，许多城市出现了垃圾成河的现象，针对河道的抛垃圾行为检测将发挥极其重要的作用，在促进社会文明发展方面具有重要的现实意义。对基于计算机视觉的河道抛垃圾行为的视频检测的实现，河道信息标注的准确性将直接影响检测的精度，但在现实中由于工作人员的操作需要或环境因素，用于监测的摄像头无法避免产生移动，因此需要对摄像机移动后的河道标注信息进行修正，当前方案对摄像机设备的要求较高，单个场景需要多个摄像头，获取摄像机的内外参数，不利于在现实中推广。
发明内容
有鉴于此，本发明的目的在于提供一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法，只需要单个摄像头即可实时地修正摄像头移动后的标注信息偏差。
为实现上述目的，本发明采用如下技术方案：
一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,包括以下步骤：
步骤S1:摄像头实时采集视频帧图像；
步骤S2:根据摄像头采集的视频帧图像，判断摄像头是发生移动，若未产生移动，则进行拋垃圾行为的检测；若摄像头发生移动，则暂停抛垃圾行为的检测，并记录下摄像头移动前的视频帧图像srcImage及其河道标注信息，然后进行步骤S3；
步骤S3:根据摄像头采集的视频帧图像，判断摄像头是停止移动，若摄像头仍在移动，则继续判断直至摄像头停止移动；若摄像头停止移动，记录当前视频帧图像dstImage，然后进行步骤S4:
步骤S4:分别对图像srcImage和图像dstImage进行处理，得到特征提取的候选点；
步骤S5:根据图像srcImage和图像dstImage的特征提取的候选点，生成对应的SURF特征描述算子；
步骤S6:采用FLANN快速最近邻搜索算法对图像srcImage和图像dstImage的特征提取的候选点处理，得到侯选特征匹配对；
步骤S7:排除由于图像遮挡等因素产生的错误匹配对，得到最优特征匹配对；
步骤S8:通过所有的最优特征匹配对计算出图像srcImage到图像dstImage的透视变换矩阵M；
步骤S9:对河道标注信息做同样的透视变换，修正河道riverDsti；
步骤S10:根据修正结果判断摄像头是否偏离河道，若未偏离河道则重新启动抛垃圾行为检测；若偏离则提示用户调整摄像头。
进一步的，所述步骤S4具体为：
步骤S41:首先对图像进行高斯滤波，去除噪声；
步骤S42:然后构建hessian矩阵，对经过高斯滤波的输入图像f(x,y)，其hessian矩阵为：
步骤S43:将经过Hessian矩阵处理的每个像素点与它邻域的像素点进行比较，取得极大值的像素点即表示比周围像素更亮或更暗的关键点，为侯选特征点；
步骤S44:再滤除部分能量较弱或错误定位的关键点，生成最终的特征提取的候选点。
进一步的，步骤S5具体包括：
步骤S51:遍历图像srcImage和图像dstImage的特征提取候选点，统计其圆形邻域内的Haar小波特征；
步骤S52:在每个候选点周围提取20×20大小的像素区域，将其划分为4×4的矩形区域，即每个子矩形区域尺寸为5×5；
步骤S53:统计每个子矩形区域的像素点在水平方向和垂直方向的Haar小波特征，包括水平方向值∑dx、水平方向绝对值∑|dx|、垂直方向值∑dy、垂直方向绝对值∑|dy|，这四个值生成特征点的SURF特征描述算子，该描述算子为4×4×4维的特征向量。
进一步的，步骤S6具体为：
步骤S61:对图像srcImage和图像dstImage的特征点使用FLANN快速最近邻搜索算法，找到图像srcImage在图像dstImage中特征值具有最小距离distance的匹配点对(msrc，mdst)；
步骤S62:对所有的匹配点对的distance计算出最小的距离distMin，设置阈值T＝μ×distMin，若(msrc，mdst)的距离distance小于阈值T，则该特征点对作为侯选匹配对。
进一步的，步骤S7具体为：取图像srcImage中的侯选匹配点msrc，比较其与图像dstImage中的最近邻点mdst的距离distance和与次近邻点m'dst的距离distance'，若distance除以distance'的比率ratio小于阈值K，则匹配点对(msrc，mdst)为最优匹配特征对。
进一步的，所述视变换矩阵M：
其中表示线性变换，[a13 a23]T表示平移变换，[a31 a32]表示透视变换。
进一步的，所述修正河道riverDsti：
本发明与现有技术相比具有以下有益效果：
1.本发明利用摄像头移动前后监控视频图像中的相同关键点特征信息，计算移动前后的图像映射关系，只需要单个摄像头即可实时地修正摄像头移动后的河道标注信息偏差。
2.本发明有效解决了摄像头产生移动后的河道标注信息偏差的问题，进一步提高了系统的实时性和准确率，避免了由于摄像头移动而产生的抛垃圾行为的误检和漏检。
附图说明
图1是本发明流程原理图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法，包括以下步骤：
(1)对传入的视频帧图像判断摄像头是否发生移动，若摄像头未产生移动，则进行抛垃圾行为的检测；若摄像头发生移动，则暂停抛垃圾行为的检测，并记录下摄像头移动前的视频帧图像srcImage及其河道标注信息，转到步骤(2)；
(2)继续传入视频帧图像，判断摄像头是否停止移动，若摄像头仍在移动，则继续判断直至摄像头停止移动；若摄像头停止移动，记录当前视频帧图像dstImage，转到步骤(3)；
(3)分别对图像srcImage和图像dstImage进行处理，首先对图像进行高斯滤波，去除噪声，然后构建hessian矩阵，对经过高斯滤波的输入图像f(x,y)，其hessian矩阵为：
将经过Hessian矩阵处理的每个像素点与它邻域的像素点进行比较，取得极大值的像素点即表示比周围像素更亮或更暗的关键点，为侯选特征点，再滤除部分能量较弱或错误定位的关键点，生成最终的特征提取的候选点；
(4)对每个特征点，统计其圆形邻域内的Haar小波特征，然后在特征点周围提取20×20大小的像素区域，将其划分为4×4的矩形区域，即每个子矩形区域尺寸为5×5，统计每个子区域的像素点在水平方向和垂直方向的Haar小波特征，包括水平方向值∑dx、水平方向绝对值∑|dx|、垂直方向值∑dy、垂直方向绝对值∑|dy|，这四个值生成特征点的SURF(Speeded Up Robust Features加速稳健特征)特征描述算子，该描述算子为4×4×4维的特征向量；
(5)对图像srcImage和图像dstImage的特征点使用FLANN快速最近邻搜索算法，找到图像srcImage在图像dstImage中特征值具有最小距离distance的匹配点对(msrc，mdst)，对所有的匹配点对的distance计算出最小的距离distMin，设置阈值T＝μ×distMin，若(msrc，mdst)的距离distance小于阈值T，则该特征点对作为侯选特征匹配对；
(6)为进一步排除由于图像遮挡等因素产生的错误匹配对，取图像srcImage中的侯选匹配点msrc，比较其与图像dstImage中的最近邻点mdst的距离distance和与次近邻点m'dst的距离distance'，若distance除以distance'的比率ratio小于阈值K，则匹配点对(msrc，mdst)为最优特征匹配对；
(7)通过所有的最优特征匹配对计算出图像srcImage到图像dstImage的透视变换矩阵M，M为3×3矩阵，如式(2)所示：
其中表示线性变换，[a13 a23]T表示平移变换，[a31 a32]表示透视变换；
(8)对河道标注信息做同样的透视变换，修正河道riverDsti：
(9)根据修正结果判断摄像头是否偏离河道，若未偏离河道则重新启动抛垃圾行为检测；若偏离则提示用户调整摄像头，待用户调整摄像头后跳转到步骤(1)。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：包括以下步骤：
步骤S1:摄像头实时采集视频帧图像；
步骤S2:根据摄像头采集的视频帧图像，判断摄像头是发生移动，若未产生移动，则进行拋垃圾行为的检测；若摄像头发生移动，则暂停抛垃圾行为的检测，并记录下摄像头移动前的视频帧图像srcImage及其河道标注信息，然后进行步骤S3；
步骤S3:根据摄像头采集的视频帧图像，判断摄像头是停止移动，若摄像头仍在移动，则继续判断直至摄像头停止移动；若摄像头停止移动，记录当前视频帧图像dstImage，然后进行步骤S4:
步骤S4:分别对图像srcImage和图像dstImage进行处理，得到特征提取的候选点；
步骤S5:根据图像srcImage和图像dstImage的特征提取的候选点，生成对应的SURF特征描述算子；
步骤S6:采用FLANN快速最近邻搜索算法对图像srcImage和图像dstImage的特征提取的候选点处理，得到侯选特征匹配对；
步骤S7:排除由于图像遮挡等因素产生的错误匹配对，得到最优特征匹配对；
步骤S8:通过所有的最优特征匹配对计算出图像srcImage到图像dstImage的透视变换矩阵M；
步骤S9:对河道标注信息做同样的透视变换，修正河道riverDsti；
步骤S10:根据修正结果判断摄像头是否偏离河道，若未偏离河道则重新启动抛垃圾行为检测；若偏离则提示用户调整摄像头。
2.根据权利要求1所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：所述步骤S4具体为：
步骤S41:首先对图像进行高斯滤波，去除噪声；
步骤S42:然后构建hessian矩阵，对经过高斯滤波的输入图像f(x,y)，其hessian矩阵为：
步骤S43:将经过Hessian矩阵处理的每个像素点与它邻域的像素点进行比较，取得极大值的像素点即表示比周围像素更亮或更暗的关键点，为侯选特征点；
步骤S44:再滤除部分能量较弱或错误定位的关键点，生成最终的特征提取的候选点。
3.根据权利要求1所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：步骤S5具体包括：
步骤S51:遍历图像srcImage和图像dstImage的特征提取候选点，统计其圆形邻域内的Haar小波特征；
步骤S52:在每个候选点周围提取20×20大小的像素区域，将其划分为4×4的矩形区域，即每个子矩形区域尺寸为5×5；
步骤S53:统计每个子矩形区域的像素点在水平方向和垂直方向的Haar小波特征，包括水平方向值∑dx、水平方向绝对值∑|dx|、垂直方向值∑dy、垂直方向绝对值∑|dy|，这四个值生成特征点的SURF特征描述算子，该描述算子为4×4×4维的特征向量。
4.根据权利要求1所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：步骤S6具体为：
步骤S61:对图像srcImage和图像dstImage的特征点使用FLANN快速最近邻搜索算法，找到图像srcImage在图像dstImage中特征值具有最小距离distance的匹配点对(msrc，mdst)；
步骤S62:对所有的匹配点对的distance计算出最小的距离distMin，设置阈值T＝μ×distMin，若(msrc，mdst)的距离distance小于阈值T，则该特征点对作为侯选匹配对。
5.根据权利要求4所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：步骤S7具体为：取图像srcImage中的侯选匹配点msrc，比较其与图像dstImage中的最近邻点mdst的距离distance和与次近邻点m'dst的距离distance'，若distance除以distance'的比率ratio小于阈值K，则匹配点对(msrc，mdst)为最优匹配特征对。
6.根据权利要求5所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：所述视变换矩阵M：
其中表示线性变换，[a13 a23]T表示平移变换，[a31 a32]表示透视变换。
7.根据权利要求6所述的抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,其特征在于：所述修正河道riverDsti：
CN201810964396.XA 2018-08-23 2018-08-23 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法 Active CN109271873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810964396.XA CN109271873B (zh) 2018-08-23 2018-08-23 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810964396.XA CN109271873B (zh) 2018-08-23 2018-08-23 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法

Publications (2)

Publication Number Publication Date
CN109271873A true CN109271873A (zh) 2019-01-25
CN109271873B CN109271873B (zh) 2021-09-14

Family

ID=65154071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810964396.XA Active CN109271873B (zh) 2018-08-23 2018-08-23 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法

Country Status (1)

Country Link
CN (1) CN109271873B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
CN102982537A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种检测场景变换的方法和系统
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN107657623A (zh) * 2017-08-28 2018-02-02 北京工业大学 一种用于无人机的河道线检测系统与方法
CN109146963A (zh) * 2017-06-13 2019-01-04 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881100A (zh) * 2012-08-24 2013-01-16 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
CN102982537A (zh) * 2012-11-05 2013-03-20 安维思电子科技（广州）有限公司 一种检测场景变换的方法和系统
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
CN106534616A (zh) * 2016-10-17 2017-03-22 北京理工大学珠海学院 一种基于特征匹配与运动补偿的视频稳像方法及系统
CN109146963A (zh) * 2017-06-13 2019-01-04 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
CN107657623A (zh) * 2017-08-28 2018-02-02 北京工业大学 一种用于无人机的河道线检测系统与方法

Also Published As

Publication number Publication date
CN109271873B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US11102417B2 (en) Target object capturing method and device, and video monitoring device
CN102713938B (zh) 用于均匀和非均匀照明变化中的改善的特征检测的尺度空间正规化技术
US20150326833A1 (en) Image processing method, image processing device and monitoring system
EP1901228A1 (en) Image processor
CN110148223B (zh) 三维地理场景模型中监控视频目标浓缩表达方法及系统
CN111144213B (zh) 一种对象检测方法和相关设备
JP2013065304A (ja) 高速障害物検出
CN113192646B (zh) 目标检测模型构建方法及不同目标间距离监控方法、装置
EP4116462A3 (en) Method and apparatus of processing image, electronic device, storage medium and program product
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
CN110705530B (zh) 双目活体识别同一人脸框的方法、装置、设备及存储介质
CN102855465B (zh) 一种移动物体的跟踪方法
CN106023261B (zh) 一种电视视频目标跟踪的方法及装置
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
US20170103536A1 (en) Counting apparatus and method for moving objects
CN112581374A (zh) 散斑亚像素中心提取方法、系统、设备及介质
CN111950518B (zh) 一种用于暴力行为识别的视频图像增强方法
CN109919957A (zh) 一种基于动态视觉传感器的角点检测方法
CN114565952A (zh) 行人轨迹生成方法、装置、设备和存储介质
WO2020095644A1 (ja) 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体
CN109271873A (zh) 抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法
CN115880643A (zh) 一种基于目标检测算法的社交距离监测方法和装置
CN114549613A (zh) 基于深度超分辨率网络的结构位移测量方法及装置
CN110674778B (zh) 一种高分辨视频图像目标检测方法及装置
CN106951831A (zh) 一种基于深度摄像机的行人检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant