CN106778890A - 基于sift匹配的云台相机姿态变化检测方法 - Google Patents

基于sift匹配的云台相机姿态变化检测方法 Download PDF

Info

Publication number
CN106778890A
CN106778890A CN201611231167.4A CN201611231167A CN106778890A CN 106778890 A CN106778890 A CN 106778890A CN 201611231167 A CN201611231167 A CN 201611231167A CN 106778890 A CN106778890 A CN 106778890A
Authority
CN
China
Prior art keywords
camera
image
sift
head camera
attitudes vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611231167.4A
Other languages
English (en)
Inventor
林冰仙
石林
徐长禄
周良辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN201611231167.4A priority Critical patent/CN106778890A/zh
Publication of CN106778890A publication Critical patent/CN106778890A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开一种基于SIFT匹配的云台相机姿态变化检测方法，依次包括：图像提取、SIFT匹配、求距离图像中心最近匹配点对、计算相对偏移量dr和dc以及确定云台相机姿态变化程度等步骤。本发明利用从云台相机拍摄的视频中提取的任意两帧图像，基于计算机图像学中SIFT匹配算法寻找两张图像之间的匹配点对，从而计算距离图像中心最近匹配点对的相对偏移量，再利用匹配点对的相对偏移量判断云台相机在拍摄这两幅图像的时刻，相机姿态的变化程度。

Description

基于SIFT匹配的云台相机姿态变化检测方法
技术领域
本发明涉及视频GIS、公共安全和计算机图形学等技术，具体涉及一种基于SIFT匹配的云台相机姿态变化检测方法。
背景技术
随着社会经济和科学技术的发展，近年来，人们对安全技术防范的要求越来越高。上个世纪八十年代末至今，随着各种新型安保观念的引入，数字视频监控系统在社会各行业、各部门的安全防范领域得到了广泛应用，视频监控技术在公共安全领域发挥了重要作用(范建福.视频监控技术的现状及发展[J].中国市场,2015,11:201-202.)。
随着摄像机技术的发展，视频监控系统所采用的监控摄像头由模拟摄像头向数字摄像头转变，现在的视频监控系统中基本都采用高清晰度的数字摄像头。目前的视频监控系统多采用一个固定的摄像头对某个场景进行监控。对于范围较大的区域，如机场、海关、广场、火车站等，单个摄像头往往无法覆盖整个区域(杨建国.论视频监控的犯罪预防功能及犯罪侦查价值[J].犯罪研究,2011,01:64-74.)。在实际应用中，可以采用两种方法解决大范围的视频监控问题：一种方法是利用多个固定的摄像头覆盖整个监控区域；另一种方法是利用一个安装在固定云台上的、可以按照控制指令左右上下转动的云台相机来监控整个区域，该云台相机在监控区域内按照控制指令转动、重复扫描。与第一种方法中的固定摄像头相比，云台相机可以按照控制指令灵活转动，可以覆盖更大的区域，是当前视频监控系统中广泛采用的主流摄像头。
云台相机可以按照控制指令灵活转动，但也会因为人为因素或自然因素，导致相机姿态发生变化，相机的覆盖区域发生改变，造成监控盲区。视频监控技术在公共安全领域的广泛应用带来了监控摄像头数量迅猛增长，如果云台相机姿态发生变化时，这么多摄像头仅仅依靠人工检测，管理部门不可能做到及时发现，进行检修。
确定相机姿态变化，可以通过摄像机标定技术准确求解，相机标定可以得到相机的旋转角、俯仰角。然而传统的相机标定方法需要利用特定的标定块，在实际使用过程中，常需要重复定标，既不经济也费时，标定的精度也依赖于定标的精确程度。依赖于固定标志物的传统标定方法难以适用于云台相机的自动化标定，自标定方法不失为一种选择，它不需要标定块，仅需要不同视角下的一系列图像，但是要求这一系列图像中具有相同的特征点，并构建这些特征点在不同图像中的对应关系，要求极高的图像识别技术，实现困难。
总之，随着视频监控系统在社会公共安全领域中发挥越来越重要的作用，云台相机广泛应用，及时检测到云台相机姿态发生变化，是及时检修、并确保社会公共安全的前提。但是现有的传统的相机标定方法和自标定方法并不能十分恰当地应用于云台相机姿态变化检测。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于SIFT匹配的云台相机姿态变化检测方法，本发明基于云台相机拍摄的两张图像和SIFT匹配算法，确定云台相机姿态变化，从而解决自动检测云台相机姿态变化的问题。
技术方案：本发明一种基于SIFT匹配的云台相机姿态变化检测方法，依次包括以下步骤：
(1)图像提取：从云台相机拍摄的视频中提取两帧图像；
(2)SIFT匹配：对步骤(1)中提取的两帧图像进行SIFT匹配；
(3)求距离图像中心最近匹配点对：根据SIFT匹配结果，计算离图像中心最近匹配点对在两张图像中的坐标；
(4)计算行向相对偏移量dr和列向相对偏移量dc；
(5)确定云台相机的姿态变化程度，根据相对偏移量dr和dc，确定相机姿态变化程度。
进一步的，所述步骤(1)具体方法为：从待检测的云台相机拍摄的视频中，提取某两个时刻该相机拍摄的两帧图像；其中，两帧图像的来源是为：云台相机拍摄并存储在磁盘等外部存储设备上的历史视频，或者是云台相机实时拍摄的两个连续时刻的图像。
进一步的，所述步骤(2)具体方法为：利用计算机视觉中的SIFT匹配算法，对步骤(1)中提取的两帧图像做匹配，寻找两张图像中的对应点对以及对应点分别在两张图像中的图像坐标；其中，同一空间目标点在两张图像中的像点，即为一组对应点。
进一步的，所述步骤(3)具体过程是：假设两张图像的分辨率都为hr×hc，hr为图像行向像素，hc为图像列向像素，则第一张图像中心点在图像坐标系中的坐标为O(hr/2，hc/2)，根据步骤(2)中SIFT匹配的结果，找到匹配点对中距离第一张图像中心O最近点P1(r1，c1)，及P1在第二张图像中的对应点P2(r2，c2)。
进一步的，所述步骤(4)具体包括：根据匹配点对P1(r1，c1)和P2(r2，c2)计算相机相对偏移量，行向相对偏移量dr＝r2-r1，列向相对偏移量dc＝c2-c1。
进一步的，所述步骤(5)中，根据相对偏移量dr和dc的正负号及数值大小来确定云台相机姿态的变化的具体过程为：
dr的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在竖直方向上的俯仰方向是向上还是向下，dc的数值表征俯仰程度的大小；dc的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在水平方向上偏移方向是向左还是向右，dr的数值表征偏移程度的大小；比值2*dr/hr定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在竖直方向上偏移量大小；比值2*dc/hc定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在水平方向上俯仰程度大小；2*dr/hr和2*dc/hc的比值越接近1，偏移程度越大；2*dr/hr和2*dc/hc的比值为0时，相对偏移量为0，则相机无偏移；
其中，图像的分辨率为hr×hc，hr为图像行向像素，hc为图像列向像素。
有益效果：本发明只从相机拍摄的视频中提取图像，基于SIFT匹配和计算水平方向及竖直方向上的偏移量，从而确定相机姿态的变化，该确定过程中输入数据只有相机拍摄的两帧视频，整个过程完全实现了自动操控，无需人工干预就可确定相机偏移程。
附图说明
图1为实施例1的流程图；
图2为实施例1中图像提取结果示意图；
图3为实施例1中SIFT匹配结果示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
为便于进一步理解本发明，此处作以下说明：
SIFT(Scale-invariant feature transform，尺度不变特征转换)匹配，是指David Lowe于1999年提出、2004年完善总结的一种计算机视觉的算法。SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。该算法主要包括两个阶段：第一个阶段是SIFT特征的生成，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关；第二阶段是SIFT特征向量的匹配，特征点向量相似的SIFT特征匹配到一起。
对应点是指，因云台相机姿态可能变化，拍摄的两张图像中，同一空间目标点在图像中的像点及像点位置(图像坐标)不同，但它们对应于同一个空间目标，这样的点就称为对应点。
实施例1：
如图1所示，实施例1的一种基于SIFT匹配的云台相机姿态变化检测方法，依次包括以下步骤：
(1)如图2所示，从待检测的云台相机拍摄的视频中，提取某两个时刻该相机拍摄的两帧图像；其中，两帧图像的来源是为：云台相机拍摄并存储在磁盘等外部存储设备上的历史视频，或者是云台相机实时拍摄的两个连续时刻的图像；
(2)SIFT匹配：利用计算机视觉中的SIFT匹配算法，对步骤(1)中提取的两帧图像做匹配，寻找两张图像中的对应点对以及对应点分别在两张图像中的图像坐标，匹配结果如图3所示；
(3)求距离图像中心最近匹配点对：本实施例中，两张图像的分辨率都为720×405，720为图像行向像素，405为图像列向像素，则第一张图像中心点在图像坐标系中的坐标为O(360，202.5)，根据步骤(2)中SIFT匹配的结果，找到匹配点对中距离第一张图像中心O最近点P1(211，423)，及P1在第二张图像中的对应点P2(217，276)；
(4)根据匹配点对P1和P2计算相机相对偏移量，行向相对偏移量dr＝r2-r1＝6，列向相对偏移量dc＝c2-c1＝-147
(5)根据相对偏移量dr和dc的正负号及数值大小来确定云台相机姿态的变化：本实施例中，dr>0，相机在竖直方向上向上偏移；dc<0，相机在水平方向上向右偏移；2*dr/hr＝2*6/405＝0.0296，相机在竖直方向上偏移很小；2*dc/hc＝2*(-147)/720＝-0.4083，相机在水平方向偏移较大。
这一结果可以从提取的两张图像中直观地验证。
实施例1的结果，进一步表明本发明只需要利用从PTZ相机拍摄的视频中提取的两帧图像作为输入数据，就可以计算任意两个时刻，PTZ相机相对姿态变化程度，整个过程都实现了自动计算，无需人工干预，对于数量巨大的监控摄像头，本发明可解决自动实时检测的问题。

Claims (6)

1.一种基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：依次包括以下步骤：
(1)图像提取：从云台相机拍摄的视频中提取两帧图像；
(2)SIFT匹配：对步骤(1)中提取的两帧图像进行SIFT匹配；
(3)求距离图像中心最近匹配点对：根据SIFT匹配结果，计算离图像中心最近匹配点对在两张图像中的坐标；
(4)计算行向相对偏移量dr和列向相对偏移量dc；
(5)确定云台相机的姿态变化程度，根据相对偏移量dr和dc，确定相机姿态变化程度。
2.根据权利要求1所述的基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：所述步骤(1)具体方法为：从待检测的云台相机拍摄的视频中，提取某两个时刻该相机拍摄的两帧图像；其中，两帧图像的来源是为：云台相机拍摄并存储在磁盘等外部存储设备上的历史视频，或者是云台相机实时拍摄的两个连续时刻的图像。
3.根据权利要求1所述的基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：所述步骤(2)具体方法为：利用计算机视觉中的SIFT匹配算法，对步骤(1)中提取的两帧图像做匹配，寻找两张图像中的对应点对以及对应点分别在两张图像中的图像坐标；其中，同一空间目标点在两张图像中的像点，即为一组对应点。
4.根据权利要求1所述的基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：所述步骤(3)具体过程是：假设两张图像的分辨率都为hr×hc，hr为图像行向像素，hc为图像列向像素，则第一张图像中心点在图像坐标系中的坐标为O(hr/2，hc/2)，根据步骤(2)中SIFT匹配的结果，找到匹配点对中距离第一张图像中心O最近点P1(r1，c1)，及P1在第二张图像中的对应点P2(r2，c2)。
5.根据权利要求1所述的基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：所述步骤(4)具体包括：根据匹配点对P1(r1，c1)和P2(r2，c2)计算相机相对偏移量，行向相对偏移量dr＝r2-r1，列向相对偏移量dc＝c2-c1。
6.根据权利要求1所述的基于SIFT匹配的云台相机姿态变化检测方法，其特征在于：所述步骤(5)中，根据相对偏移量dr和dc的正负号及数值大小来确定云台相机姿态的变化的具体过程为：
dr的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在竖直方向上的俯仰方向是向上还是向下，dc的数值表征俯仰程度的大小；dc的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在水平方向上偏移方向是向左还是向右，dr的数值表征偏移程度的大小；
比值2*dr/hr定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在竖直方向上偏移量大小；比值2*dc/hc定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在水平方向上俯仰程度大小；2*dr/hr和2*dc/hc的比值越接近1，偏移程度越大；2*dr/hr和2*dc/hc的比值为0时，相对偏移量为0，则相机无偏移；
其中，图像的分辨率为hr×hc，hr为图像行向像素，hc为图像列向像素。
CN201611231167.4A 2016-12-28 2016-12-28 基于sift匹配的云台相机姿态变化检测方法 Pending CN106778890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611231167.4A CN106778890A (zh) 2016-12-28 2016-12-28 基于sift匹配的云台相机姿态变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611231167.4A CN106778890A (zh) 2016-12-28 2016-12-28 基于sift匹配的云台相机姿态变化检测方法

Publications (1)

Publication Number Publication Date
CN106778890A true CN106778890A (zh) 2017-05-31

Family

ID=58921154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611231167.4A Pending CN106778890A (zh) 2016-12-28 2016-12-28 基于sift匹配的云台相机姿态变化检测方法

Country Status (1)

Country Link
CN (1) CN106778890A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024793A1 (zh) * 2017-07-31 2019-02-07 腾讯科技（深圳）有限公司 增强现实显示的方法、姿态信息的确定方法及装置
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
WO2020181506A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、装置及系统
CN112597895A (zh) * 2020-12-22 2021-04-02 北京百度网讯科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
WO2023207276A1 (zh) * 2022-04-29 2023-11-02 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置
CN103927738A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种大间距模式下基于双目视觉图像的行星车定位方法
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN105354813A (zh) * 2014-08-18 2016-02-24 杭州海康威视数字技术股份有限公司 驱动云台生成拼接图像的方法及装置
CN105551032A (zh) * 2015-12-09 2016-05-04 国网山东省电力公司电力科学研究院 一种基于视觉伺服的杆塔图像采集系统及其方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
CN102708370A (zh) * 2012-05-17 2012-10-03 北京交通大学 一种多视角图像前景目标提取方法及装置
CN103927738A (zh) * 2014-01-10 2014-07-16 北京航天飞行控制中心 一种大间距模式下基于双目视觉图像的行星车定位方法
CN105354813A (zh) * 2014-08-18 2016-02-24 杭州海康威视数字技术股份有限公司 驱动云台生成拼接图像的方法及装置
CN104537659A (zh) * 2014-12-23 2015-04-22 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN105551032A (zh) * 2015-12-09 2016-05-04 国网山东省电力公司电力科学研究院 一种基于视觉伺服的杆塔图像采集系统及其方法
CN106125744A (zh) * 2016-06-22 2016-11-16 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
屠礼芬等: "一种适应相机抖动的运动目标检测方法", 《电子与信息学报》 *
禹旺勋等: "基于主动视觉的摄像机线性自标定方法", 《价值工程》 *
金立军等: "基于航拍视频的输电线走廊危险地物检测技术", 《系统仿真学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019024793A1 (zh) * 2017-07-31 2019-02-07 腾讯科技（深圳）有限公司 增强现实显示的方法、姿态信息的确定方法及装置
US11222442B2 (en) 2017-07-31 2022-01-11 Tencent Technology (Shenzhen) Company Limited Method for augmented reality display, method for determining pose information, and apparatuses
US11763487B2 (en) 2017-07-31 2023-09-19 Tencent Technology (Shenzhen) Company Limited Method for augmented reality display, method for determining pose information, and apparatuses
CN109522896A (zh) * 2018-11-19 2019-03-26 武汉科技大学 基于模板匹配与双自由度云台相机的仪表搜寻方法
WO2020181506A1 (zh) * 2019-03-12 2020-09-17 深圳市大疆创新科技有限公司 一种图像处理方法、装置及系统
CN112597895A (zh) * 2020-12-22 2021-04-02 北京百度网讯科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
WO2023207276A1 (zh) * 2022-04-29 2023-11-02 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106778890A (zh) 基于sift匹配的云台相机姿态变化检测方法
Zhu et al. Fast visual tracking with siamese oriented region proposal network
US10937185B2 (en) System and method to detect articulate body pose
EP2120211B1 (en) Marker generating system and method
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
JP4040651B2 (ja) カメラ揺れ補正方法および画像システム
CN108053382B (zh) 一种视觉特性去雾稳像探测系统
WO2014010174A1 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
Kruthiventi et al. Low-light pedestrian detection from RGB images using multi-modal knowledge distillation
Hu et al. A simultaneous multi-object zooming system using an ultrafast pan-tilt camera
JP2007188294A (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
JPH1023322A (ja) カメラ揺れ補正方法および画像監視システム
Xiao et al. 3D-assisted coarse-to-fine extreme-pose facial landmark detection
CN113870307A (zh) 一种基于帧间信息的目标检测方法及装置
Chen et al. Saliency-context two-stream convnets for action recognition
Chunxian et al. Hybrid video stabilization for mobile vehicle detection on SURF in aerial surveillance
Li et al. A Gesture Recognition Framework Based on Multi-frame Super-resolution Image Sequence
RU2788301C1 (ru) Способ распознавания объектов в системе видеонаблюдения
Tian et al. Binocular vision system design and its active object tracking
CN113033349B (zh) 行人重识别的俯视图像选取方法、存储介质和电子设备
Zhao et al. An improved TLD algorithm based on Kalman filter and SURF feature matching
JP7262689B1 (ja) 情報処理装置、生成方法、及び生成プログラム
CN112257684B (zh) 一种基于实时视频流的跨摄像头全局行人跟踪方法
Barrowclough et al. Real-time processing of high resolution video and 3D model-based tracking in remote tower operations
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531

RJ01 Rejection of invention patent application after publication