CN114004886B - 一种分析图像高频稳定点的相机移位判别方法及系统 - Google Patents

一种分析图像高频稳定点的相机移位判别方法及系统 Download PDF

Info

Publication number
CN114004886B
CN114004886B CN202111274958.6A CN202111274958A CN114004886B CN 114004886 B CN114004886 B CN 114004886B CN 202111274958 A CN202111274958 A CN 202111274958A CN 114004886 B CN114004886 B CN 114004886B
Authority
CN
China
Prior art keywords
camera
current frame
points
image
frequency stable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111274958.6A
Other languages
English (en)
Other versions
CN114004886A (zh
Inventor
于艳玲
张文风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cosco Shipping Technology Co Ltd
Original Assignee
Cosco Shipping Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cosco Shipping Technology Co Ltd filed Critical Cosco Shipping Technology Co Ltd
Priority to CN202111274958.6A priority Critical patent/CN114004886B/zh
Publication of CN114004886A publication Critical patent/CN114004886A/zh
Application granted granted Critical
Publication of CN114004886B publication Critical patent/CN114004886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种分析图像高频稳定点的相机移位判别方法及系统，该方法依次包括实时视频图像获取步骤、图像预处理步骤、高频稳定特征点统计步骤、当前帧特征点分析步骤和相机移位判断步骤，通过实时视频图像获取步骤获取实时视频图像，再由图像预处理步骤基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点，然后通过统计特征点的出现频率，得出高频稳定特征点坐标，进行统计、分析、判断，准确得出相机移位状态，为需要用到相机移位检测的情况提供了准确高效地判别，提升视频检测算法正确率。

Description

一种分析图像高频稳定点的相机移位判别方法及系统
技术领域
本发明涉及智能交通技术领域，具体涉及一种分析图像高频稳定点的相机移位判别方法及系统。
背景技术
在交通领域，视频交通事件检测器的应用已经非常普及，随着深度学习算法对于图像的处理的成熟，将深度学习技术运用于公路视频监控领域，使得视频交通事件检测器成为更准确、智能、高效的视频分析系统。
视频交通事件检测器包含了检测公路停车、逆行、抛落物、行人、拥堵等等事件。但是现在交通领域为了更加方便的进行监控，使用的相机绝大多数为云台相机或者球机，这就造成了视频交通事件检测器在运行时由于相机移位导致检测错误，产生误报警，于是就有了对相机移位检测算法的需求。
传统的基于视频图像的相机移位检测算法，通过直接对比前后两张图片的特征点进行移位判断，受到画面实时光线、天气、能见度，尤其是视频中移动目标的干扰影响，导致检测结果偏差较大。它的偏差会导致后续的各种事件等检测的较大误差产生，所以无法在实际项目中应用。
另外就是通过深度学习算法判断相机移位。深度识别算法可以去识别公路上的固定目标，而公路上基本都会存在的固定目标就是车道线。那么使用深度学习算法识别车道线也是一种用于判别相机移位的算法，比如实例分割(mask rcnn)。但是此算法的缺点在于识别算法复杂度较高，每秒钟2-3帧的处理能力，相对于yolov5的30帧左右的处理能力而言，硬件成本较高。
但是，深度学习的出现使得计算机能够像人类一样较精准的识别车辆、行人等物体，完全排除了光线、抖动等干扰。深度学习技术识别出的目标可以精准的减少移动目标对相机移位检测算法的干扰，在此基础上，基于图像识别的特征点检测就有了发挥余地。
发明内容
本发明针对现有的相机移位检测算法检测偏差大导致智能交通视频事件检测误报警的问题，本发明提供了一种分析图像高频稳定点的相机移位判别方法，通过统计特征点的出现频率，得出高频稳定特征点坐标，进行统计、分析、判断，准确得出相机移位状态，提高了检测效率。本发明还涉及一种分析图像高频稳定点的相机移位判别系统。
本发明的技术方案如下：
一种分析图像高频稳定点的相机移位判别方法，其特征在于，依次包括实时视频图像获取步骤、图像预处理步骤、高频稳定特征点统计步骤、当前帧特征点分析步骤和相机移位判断步骤，
通过实时视频图像获取步骤获取实时视频图像，再由图像预处理步骤基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点；
高频稳定特征点统计步骤，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标；
当前帧特征点分析步骤，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；
相机移位判断步骤，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
优选地，所述图像预处理步骤针对视频图像中的移动目标利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别刚体或非刚体移动目标，对所有移动目标的特征点坐标设置图像掩膜，去除无效特征点；针对视频图像中的固定目标利用特征点所属目标的稳定特性，对稳定目标的特征点坐标设置图像掩膜，去除无效特征点。
优选地，所述高频稳定特征点统计步骤计算出单帧图像的多个最强特征点，还进行各最强特征点的像素间距判断，保留像素间距大于像素间距阈值的各最强特征点并记录相应坐标。
优选地，所述相机移位判断步骤在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且达到一定次数时则判断当前帧为未移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
优选地，所述相机移位判断步骤在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且未达到一定次数时，以及在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且未达到一定次数时，均判断为干扰，结束当前帧处理。
优选地，所述相机移位判断步骤判断当前帧为移位状态时，再判断相机历史状态是否移位，当相机历史状态未移位时，更新相机历史状态为移位，当相机历史状态为移位时，当前帧处理结束；
判断当前帧为未移位状态时，再判断相机历史状态是否移位，当相机历史状态移位时，更新相机历史状态为未移位，当相机历史状态为未移位时，当前帧处理结束。
一种分析图像高频稳定点的相机移位判别系统，其特征在于，包括依次连接的实时视频图像获取模块、图像预处理模块、高频稳定特征点统计模块、当前帧特征点分析模块和相机移位判断模块，
通过实时视频图像获取模块获取实时视频图像，再由图像预处理模块基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点；
高频稳定特征点统计模块，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标；
当前帧特征点分析模块，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；
相机移位判断模块，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
优选地，所述图像预处理模块针对视频图像中的移动目标利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别刚体或非刚体移动目标，对所有移动目标的特征点坐标设置图像掩膜，去除无效特征点；针对视频图像中的固定目标利用特征点所属目标的稳定特性，对稳定目标的特征点坐标设置图像掩膜，去除无效特征点。
优选地，所述相机移位判断模块判断当前帧为移位状态时，再判断相机历史状态是否移位，当相机历史状态未移位时，更新相机历史状态为移位，当相机历史状态为移位时，当前帧处理结束；
所述相机移位判断模块在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且达到一定次数时则判断当前帧为未移位状态，再判断相机历史状态是否移位，当相机历史状态移位时，更新相机历史状态为未移位，当相机历史状态为未移位时，当前帧处理结束。
优选地，所述相机移位判断模块在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且未达到一定次数时，以及在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且未达到一定次数时，均判断为干扰，结束当前帧处理。
本发明的有益效果为：
本发明提供了一种分析图像高频稳定点的相机移位判别方法，在获取实时视频图像后，进行图像预处理，去除干扰目标，对于移动的干扰目标和不随相机移位而改变的固定干扰目标都为无效特征点，基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点，为后续特征点统计的准确率，即使用深度学习的目标检测结果信息，不受移动目标干扰，环境适用性好，在检测准确率、检测效率方面都有所提高。高频稳定特征点统计步骤，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标；当前帧特征点分析步骤，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；相机移位判断步骤，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。本发明提供的方法包含了人工智能目标识别技术，图像特征点检测技术，特征点高频稳定点分析技术，首先把深度学习目标检测结果记忆其它固定区域作为掩膜，对图像进行预处理，然后对预处理后的图像做特征点检测，再统计、分析所有像素的高频稳定特征点，逐帧进行判断、分析、统计，准确得出相机移位状态，分析了图像的高频稳定特征点，使得特殊因素干扰较弱，判别方法准确性高，提高了检测效率。能够准确判断如云台相机或者球机等相机是否转动离开预置位，解决了相机移位导致的智能交通视频事件检测误报警问题，同时也为其它需要用到相机移位检测结果的情况提供了一种判别方法。
本发明还涉及一种分析图像高频稳定点的相机移位判别系统，该系统与上述的分析图像高频稳定点的相机移位判别方法相对应，可理解为是一种实现分析图像高频稳定点的相机移位判别方法的系统，包括依次连接的实时视频图像获取模块、图像预处理模块、高频稳定特征点统计模块、当前帧特征点分析模块和相机移位判断模块，各模块协同工作，通过统计特征点的出现频率，得出高频稳定特征点坐标，进行统计、分析、判断，准确得出相机移位状态，提高了检测效率。与传统技术相比，本发明使用了深度学习的目标检测结果信息，不受移动目标干扰，环境适用性好；分析了图像的高频稳定特征点，消弱了特殊因素对算法的干扰。在检测准确率、检测效率方面都有所提高。可以用于智能交通项目中的相机移位检测，为需要用到相机移位检测(比如视频事件检测算法)的情况提供了准确高效地判别，提升视频检测算法正确率。
附图说明
图1是本发明分析图像高频稳定点的相机移位判别方法的流程图。
图2是分析图像高频稳定点的相机移位判别方法的优选流程图。
图3为图像预处理步骤深度学习目标识别结果示意图。
图4为图像预处理步骤去除干扰目标后的特征点结果图。
图5为周期时长内所有最强特征点统计结果示意图。
图6为最强特征点按照出现频率排序的柱状图。
图7为统计出的高频稳定特征点示意图。
图8a为当前帧最强特征点示意图，图8b为当前帧击中高频稳定特征点坐标示意图。
具体实施方式
下面结合附图对本发明进行说明。
本发明涉及一种分析图像高频稳定点的相机移位判别方法，其流程图如图1所示，包括：
一、实时视频图像获取步骤：获取实时视频图像，实施例可选用的是高速公路监控视频。视频画面中包含路面、植物、天空、车辆、行人等。
二、图像预处理步骤：基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点，从而去除干扰目标。
优选将干扰目标分为三个种类：
1、移动的刚体目标。比如车辆，由车窗、轮胎等拼凑而成，使得图片中的车辆画面包含了很多特征点，而这些特征点随着车辆的移动产生变化，并不是视频画面上的固定特征点；
2、移动的非刚体目标。比如行人，行人身上的特征点不仅随着自身位置移动而改变，还随着自身动作变化而变化甚至丢失；
3、不随相机移位而改变的固定目标。比如叠加字符等。叠加字符基本都在固定位置，而且由于汉字的颜色、转折很多，导致字体上特征点尤其明显，但是这些特征点不会随着相机的移位而变化。
这些车辆、行人、字符上的特征点都是无效特征点，必须去除。去除步骤如图2所示：
去除车辆、行人等路面移动目标，AI检测车辆等刚体移动目标，AI检测行人等非刚体移动目标，并对所有目标坐标设置图像掩膜。具体地，利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别锁定车辆、行人等移动目标，如图3所示的深度学习目标识别结果。对所有移动目标的坐标进行一定范围的扩大，防止阴影等干扰，在图片的这些坐标区域设置掩膜，去除无效特征点，得到预处理后的图片；如图4所示的去除干扰目标后的特征点结果图，车辆这些移动目标即为干扰目标，车辆上的无效特征点已去除。
去除叠加字符等固定目标，利用特征点所属目标的稳定特性，手动获取到字符叠加区域的坐标，在这些坐标区域设置图像掩膜，去除无效特征点，得到预处理后的图片。
三、高频稳定特征点统计步骤，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标。具体地，如图2所示优选流程，包括：
1、对预处理后的图像进行特征点检测
对设置好掩膜的图片进行整张图片的特征点检测，这里选用角点检测。计算出A(A可以从几百到几千之间，比如600)个最强特征点，同时要确保任意两个最强特征点的间距大于一定像素(即各最强特征点的像素间距大于像素间距阈值，像素间距阈值比如设置为10)，以防止某些近距离类似特征点的聚集；然后记录计算出的这A个最强特征点坐标，在后续步骤中需要用到此记录。
2、统计高频稳定特征点
单帧图像计算出的最强特征点不具有普适性，所以要选取一定周期内的稳定特征点才具有可参考性。
1)对步骤1记录下的A个最强特征点坐标，进行一定周期时长T内统计，如图5所示的周期时长T内所有最强特征点统计结果；
2)对所有最强特征点坐标统计其出现频率，可以按照出现频率排序，如图6所示的排序柱状图；
3)取出现频率最高的前B(B<A，比如500)个特征点作为标准；如图7所示统计出的高频稳定特征点示意图；
4)清理掉出现频率较低的特征点；
5)清理掉一定时长内未出现的特征点。
四、当前帧特征点分析步骤，将记录的A当前帧最强特征点坐标和B个高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；图8a为当前帧最强特征点示意图，图8b为当前帧击中高频稳定特征点坐标示意图，当前帧最强特征点击中高频稳定点的个数低于比例阈值P(0<P<1，优选0.5，下同)则当前帧可能处于移位状态。
五、相机移位判断步骤，在当前帧最强特征点击中高频稳定特征点的比例小于P且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。具体地，如图2所示优选流程，包括判断相机是否移位和判断相机是否恢复：
先进行当前帧最强特征点击中高频稳定特征点的比例判断，即击中比例>P判断，当为否时，即击中比例≤P，即为低比例，累加低比例次数，当低比例次数>m时，判断当前帧为移位状态；当低比例次数未达到m时，认为是偶尔出现的某几帧特征点击中个数比例小于P，考虑是受到某些干扰影响，不做处理(即结束当前帧处理)；只有当击中坐标个数比例小于P，且达到一定次数m，则判断当前帧为移位状态，然后读取判断相机历史状态，如果相机历史状态为未移位状态，则此时更新相机状态为移位，如果相机历史状态为移位时，当前帧处理结束。
当击中比例>P判断为是时，即为高比例，进入另一支路，累加高比例次数，当高比例次数>m时，判断当前帧为未移位状态；当高比例次数未达到m时，认为是偶尔出现的某几帧特征点击中个数比例大于P，考虑是受到某些干扰影响，不做处理(即结束当前帧处理)；只有当击中坐标个数比例大于P，且达到一定次数m，则判断当前帧为未移位状态，然后读取判断相机历史状态，如果相机历史状态为移位状态，则此时更新相机状态为未移位，如果相机历史状态为未移位时，当前帧处理结束。
六、当前帧检测完毕后，继续下一帧的图片检测，帧间隔可适当拉长，减少算法处理计算压力。
七、能见度不足对相机移位检测的影响
当视频图像受大雾等影响，导致能见度不足时，步骤(三)的检测结果，即当前帧最强特征点少于阈值C，说明画面模糊，视频能见度不足，此时不判断相机移位。
以上为分析图像高频稳定点的相机移位判别方法的全部过程，与传统视频图像处理算法相比，本发明使用了深度学习的目标检测结果信息，不受移动目标干扰，环境适用性好，在检测准确率、检测效率方面都有所提高。而且，分析了图像的高频稳定点，使得特殊因素对算法的干扰较弱，判别方法准确性高。
本发明还涉及一种分析图像高频稳定点的相机移位判别系统，该系统与上述的分析图像高频稳定点的相机移位判别方法相对应，可理解为是一种实现分析图像高频稳定点的相机移位判别方法的系统，包括依次连接的实时视频图像获取模块、图像预处理模块、高频稳定特征点统计模块、当前帧特征点分析模块和相机移位判断模块，各模块协同工作，参考图2，也可以说是工作原理图。
通过实时视频图像获取模块获取实时视频图像，再由图像预处理模块基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点。进一步地，图像预处理模块针对视频图像中的移动目标利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别刚体或非刚体移动目标，对所有移动目标的特征点坐标设置图像掩膜，去除无效特征点；针对视频图像中的固定目标利用特征点所属目标的稳定特性，对稳定目标的特征点坐标设置图像掩膜，去除无效特征点，去除干扰。
高频稳定特征点统计模块，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标。
当前帧特征点分析模块，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例。
相机移位判断模块，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值P且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态，可参考图2所示支路。相机移位判断模块判断当前帧为移位状态时，再判断相机历史状态是否移位，当相机历史状态未移位时，更新相机历史状态为移位，当相机历史状态为移位时，当前帧处理结束。在当前帧最强特征点击中高频稳定特征点的比例大于P且达到一定次数时则判断当前帧为未移位状态，再判断相机历史状态是否移位，当相机历史状态移位时，更新相机历史状态为未移位，当相机历史状态为未移位时，当前帧处理结束。在当前帧最强特征点击中高频稳定特征点的比例小于P且未达到一定次数时，以及在当前帧最强特征点击中高频稳定特征点的比例大于P且未达到一定次数时，均判断为干扰，结束当前帧处理。
本发明能够解决图像处理算法中对摄像机移位的判断，解决相机移位导致的智能交通视频事件检测误报警问题，同时也为其它需要用到相机移位检测结果的情况提供了一种判别方式。本发明用深度学习技术提供的目标识别算法等对图像做预处理，利用基于图像识别的特征点检测算法，通过统计、分析图像的高频特征点，实现了一种相机移位的准确判别。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。

Claims (10)

1.一种分析图像高频稳定点的相机移位判别方法，其特征在于，依次包括实时视频图像获取步骤、图像预处理步骤、高频稳定特征点统计步骤、当前帧特征点分析步骤和相机移位判断步骤，
通过实时视频图像获取步骤获取实时视频图像，再由图像预处理步骤基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点；
高频稳定特征点统计步骤，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标；
当前帧特征点分析步骤，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；
相机移位判断步骤，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
2.根据权利要求1所述的分析图像高频稳定点的相机移位判别方法，其特征在于，所述图像预处理步骤针对视频图像中的移动目标利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别刚体或非刚体移动目标，对所有移动目标的特征点坐标设置图像掩膜，去除无效特征点；针对视频图像中的固定目标利用特征点所属目标的稳定特性，对稳定目标的特征点坐标设置图像掩膜，去除无效特征点。
3.根据权利要求1所述的分析图像高频稳定点的相机移位判别方法，其特征在于，所述高频稳定特征点统计步骤计算出单帧图像的多个最强特征点，还进行各最强特征点的像素间距判断，保留像素间距大于像素间距阈值的各最强特征点并记录相应坐标。
4.根据权利要求1所述的分析图像高频稳定点的相机移位判别方法，其特征在于，所述相机移位判断步骤在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且达到一定次数时则判断当前帧为未移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
5.根据权利要求4所述的分析图像高频稳定点的相机移位判别方法，其特征在于，所述相机移位判断步骤在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且未达到一定次数时，以及在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且未达到一定次数时，均判断为干扰，结束当前帧处理。
6.根据权利要求4所述的分析图像高频稳定点的相机移位判别方法，其特征在于，所述相机移位判断步骤判断当前帧为移位状态时，再判断相机历史状态是否移位，当相机历史状态未移位时，更新相机历史状态为移位，当相机历史状态为移位时，当前帧处理结束；
判断当前帧为未移位状态时，再判断相机历史状态是否移位，当相机历史状态移位时，更新相机历史状态为未移位，当相机历史状态为未移位时，当前帧处理结束。
7.一种分析图像高频稳定点的相机移位判别系统，其特征在于，包括依次连接的实时视频图像获取模块、图像预处理模块、高频稳定特征点统计模块、当前帧特征点分析模块和相机移位判断模块，
通过实时视频图像获取模块获取实时视频图像，再由图像预处理模块基于视频图像中的特征点所属目标的特性采用掩膜技术去除无效特征点；
高频稳定特征点统计模块，采用角点检测算法对预处理后的图像进行特征点检测，计算出单帧图像的多个最强特征点并记录各单帧最强特征点坐标，然后在一定周期内对所述多个最强特征点坐标统计其出现频率，统计出现频率最高的若干最强特征点作为高频稳定特征点并记录各高频稳定特征点坐标；
当前帧特征点分析模块，将记录的多个当前帧最强特征点坐标和若干高频稳定特征点坐标进行对比，计算当前帧最强特征点击中高频稳定特征点的比例；
相机移位判断模块，在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且达到一定次数时则判断当前帧为移位状态，并结合相机历史状态是否移位来判断是否恢复相机移位状态。
8.根据权利要求7所述的分析图像高频稳定点的相机移位判别系统，其特征在于，所述图像预处理模块针对视频图像中的移动目标利用特征点所属目标的变化特性，以人工智能技术为核心，采用Yolov5深度学习算法进行移动目标的打标、训练，借助经过训练的目标识别模型识别刚体或非刚体移动目标，对所有移动目标的特征点坐标设置图像掩膜，去除无效特征点；针对视频图像中的固定目标利用特征点所属目标的稳定特性，对稳定目标的特征点坐标设置图像掩膜，去除无效特征点。
9.根据权利要求7所述的分析图像高频稳定点的相机移位判别系统，其特征在于，所述相机移位判断模块判断当前帧为移位状态时，再判断相机历史状态是否移位，当相机历史状态未移位时，更新相机历史状态为移位，当相机历史状态为移位时，当前帧处理结束；
所述相机移位判断模块在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且达到一定次数时则判断当前帧为未移位状态，再判断相机历史状态是否移位，当相机历史状态移位时，更新相机历史状态为未移位，当相机历史状态为未移位时，当前帧处理结束。
10.根据权利要求7或9所述的分析图像高频稳定点的相机移位判别系统，其特征在于，所述相机移位判断模块在当前帧最强特征点击中高频稳定特征点的比例小于比例阈值且未达到一定次数时，以及在当前帧最强特征点击中高频稳定特征点的比例大于比例阈值且未达到一定次数时，均判断为干扰，结束当前帧处理。
CN202111274958.6A 2021-10-29 2021-10-29 一种分析图像高频稳定点的相机移位判别方法及系统 Active CN114004886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111274958.6A CN114004886B (zh) 2021-10-29 2021-10-29 一种分析图像高频稳定点的相机移位判别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111274958.6A CN114004886B (zh) 2021-10-29 2021-10-29 一种分析图像高频稳定点的相机移位判别方法及系统

Publications (2)

Publication Number Publication Date
CN114004886A CN114004886A (zh) 2022-02-01
CN114004886B true CN114004886B (zh) 2024-04-09

Family

ID=79925401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111274958.6A Active CN114004886B (zh) 2021-10-29 2021-10-29 一种分析图像高频稳定点的相机移位判别方法及系统

Country Status (1)

Country Link
CN (1) CN114004886B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014042514A2 (en) * 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109887281A (zh) * 2019-03-01 2019-06-14 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及系统
CN111832492A (zh) * 2020-07-16 2020-10-27 平安科技（深圳）有限公司 静态交通异常的判别方法、装置、计算机设备及存储介质
CN112967341A (zh) * 2021-02-23 2021-06-15 湖北枫丹白露智慧标识科技有限公司 基于实景图像的室内视觉定位方法、系统、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054881B2 (en) * 2008-12-22 2011-11-08 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014042514A2 (en) * 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109887281A (zh) * 2019-03-01 2019-06-14 北京云星宇交通科技股份有限公司 一种监控交通事件的方法及系统
CN111832492A (zh) * 2020-07-16 2020-10-27 平安科技（深圳）有限公司 静态交通异常的判别方法、装置、计算机设备及存储介质
CN112967341A (zh) * 2021-02-23 2021-06-15 湖北枫丹白露智慧标识科技有限公司 基于实景图像的室内视觉定位方法、系统、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于两步位操作匹配的实时目标识别跟踪算法;曹建;谢晓方;付霖宇;梁捷;;弹箭与制导学报;20130415(02);131-134+138 *
基于机器视觉的交通事件检测方法的研究;苑玮琦;谢昌隆;;计算机仿真;20131015(10);205-209 *

Also Published As

Publication number Publication date
CN114004886A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
Bas et al. Automatic vehicle counting from video for traffic flow analysis
CN101872546B (zh) 一种基于视频的过境车辆快速检测方法
US9292750B2 (en) Method and apparatus for detecting traffic monitoring video
EP1796043B1 (en) Object detection
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
CN107688764B (zh) 检测车辆违章的方法及装置
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN110298300B (zh) 一种检测车辆违章压线的方法
EP0807914A1 (en) Traffic flow monitor apparatus
CN108021856B (zh) 车辆尾灯识别方法、装置及车辆
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
CN112509315B (zh) 一种基于视频分析的交通事故检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN111507237A (zh) 一种应用在高速公路上基于视频的异常事件检测方法与装置
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN111781600A (zh) 一种适用于信号交叉口场景的车辆排队长度检测方法
CN108520528B (zh) 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
Furuya et al. Road intersection monitoring from video with large perspective deformation
CN115393803A (zh) 车辆违规检测方法、装置及系统、存储介质
CN111105619A (zh) 一种路侧逆向停车的判断方法及装置
CN114332781A (zh) 一种基于深度学习的智能车牌识别方法及系统
Balisavira et al. Real-time object detection by road plane segmentation technique for ADAS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant