CN113989124B - 一种提升云台摄像机定位精度的系统及其控制方法 - Google Patents

一种提升云台摄像机定位精度的系统及其控制方法 Download PDF

Info

Publication number
CN113989124B
CN113989124B CN202111608415.3A CN202111608415A CN113989124B CN 113989124 B CN113989124 B CN 113989124B CN 202111608415 A CN202111608415 A CN 202111608415A CN 113989124 B CN113989124 B CN 113989124B
Authority
CN
China
Prior art keywords
camera
pan
image
tilt
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111608415.3A
Other languages
English (en)
Other versions
CN113989124A (zh
Inventor
殷锐
沈熠能
袁建涛
程平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou City University
Original Assignee
Hangzhou City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou City University filed Critical Hangzhou City University
Priority to CN202111608415.3A priority Critical patent/CN113989124B/zh
Publication of CN113989124A publication Critical patent/CN113989124A/zh
Application granted granted Critical
Publication of CN113989124B publication Critical patent/CN113989124B/zh
Priority to GB2303908.4A priority patent/GB2619136A/en
Priority to PCT/CN2022/139161 priority patent/WO2023125028A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种提升云台摄像机定位精度的控制方法，包括步骤：首先进行初始化；算平台的显示屏幕上显示出应用场景的全景图，用户在应用场景的全景图中选择其感兴趣的区域，将感兴趣区域的图像保存为目标图像，用户在多个目标图像中选择一个目标图像作为待转向的目标。本发明的有益效果是：从软件层面进行控制，无需对传统摄像头的硬件部分进行修改，即使摄像头转动轴不精确也可通过软件操作精确定位目标，无需更换摄像头设备，故可以极大的节约硬件部署成本，还延长了硬件摄像头的使用寿命。本发明允许用户根据实际情况对全景构造与匹配算法的速度与精度进行平衡，灵活性强。

Description

一种提升云台摄像机定位精度的系统及其控制方法
技术领域
本发明属于远程监控系统中的计算机视觉技术领域，尤其涉及一种提升云台摄像机定位精度的系统及其控制方法。
背景技术
纵观国内外城市安全，监控设备的运用已经渗透到各行各业，我国政府持续地加大在监控安全的人力、物力和财力投入，为建设“和谐社会、平安城市”的口号而努力。但是传统的监控摄像机为枪型摄像机，其监控位置固定，导致监控范围有限。为解决此问题，出现了云台摄像机。监控人员可以通过操作键盘来调节云台摄像机转动，并且多数云台摄像头提供预置点功能来实现安全防卫。预置点功能是云台摄像机保存当前电机的机械位置，用户可以在任意位置重新转向该位置。预置点通过记录下云台的俯仰角、偏转角，镜头的焦距、相机的光圈、曝光、白平衡等拍照参数，储存在相机内部的SD卡上，并被赋予一个编号以供用户索引。用户可以让相机根据指定编号的预置点，将自身拍照参数恢复到预置点记录的参数值，以实现拍摄预定区域的画面，预置点功能极大地方便了监控人员进行检查。
然而，预置点功能需要手动进行配置，其以机械位置作为转向标准的方法，决定了预置点功能并不能对现场环境做完备的覆盖，当监控人员想要查看出预置点以外的区域就需要手动控制云台转动，这就对监控人员实时掌握现场情况造成了阻碍。其外，由于电机长期运转导致的机械老化，预置点功能在长期使用后，往往不再能准确地旋转到用户感兴趣/关注的区域。另外，由于摄像头转轴的老化，导致传统机械转动方法在摄像头使用一段周期后，转动至用户关注点位置时不再准确，需要频繁更换摄像头，增加了硬件成本。
发明内容
本发明的目的是克服现有技术中的不足，提供一种提升云台摄像机定位精度的系统及其控制方法。
这种提升云台摄像机定位精度的控制方法，包括如下步骤：
步骤101、首先进行初始化：计算平台和云台摄像机均上电，等待计算平台和云台摄像机自检完成后，计算平台基于OpenCV中的ffmpeg库来逐帧调取云台摄像机的网络视频流序列；然后计算平台控制云台摄像机采集所有应用场景的图像信息，并基于成熟的图像拼接方法，构造应用场景的360度全景图；使得监控人员能瞬间了解场景的大致情况；
步骤102、计算平台的显示屏幕上显示出应用场景的全景图，用户在应用场景的全景图中选择其感兴趣的区域，将感兴趣区域的图像保存为目标图像，用户在多个目标图像中选择一个目标图像作为待转向的目标；
步骤103、粗略查找：计算平台接收用户提供的目标图像， FLANN匹配算法获得目标图像与当前图像的坐标，计算目标图像与当前图像的坐标差值；若坐标差值不满足阈值条件，则根据坐标差值决定云台摄像机的转动方向与转动距离，并控制云台摄像机按所得转动方向与转动距离进行转动；若坐标差值满足阈值条件，则不进行转动；重复执行步骤103，直至所得目标图像与当前图像的坐标差值满足阈值条件；
步骤104、精确寻找：此时当前视频帧与目标图像接近但没有完全匹配，FLANN匹配算法在这样的情况下无法完成像素级的精确匹配功能；计算平台选取两张位置相距较近且与目标图像匹配点距离近的图像，提取特征点；利用透视变换方法将两张图像在同一坐标系中进行拼接，获得精确的横坐标差值
Figure DEST_PATH_IMAGE001
和精确的纵坐标差值
Figure 670919DEST_PATH_IMAGE002
；若横坐标差值和纵坐标差值满足阈值条件，则计算平台通过云台摄像机的串口发送控制命令，云台摄像机根据计算出的精确距离和方向持续转动，转动时间为一个固定时间窗长
Figure DEST_PATH_IMAGE003
；若横坐标差值和纵坐标差值不满足阈值条件，则重复步骤104，直至两张图像的距离小于设定的阈值
Figure 269390DEST_PATH_IMAGE004
时，结束图像匹配；精准定位并输出待识别目标所在位置的经纬度，供控制电路将摄像机转动至用户选择的目标区域。
作为优选，步骤101中云台摄像机为适配网络视频协议如RTSP（Real TimeStreaming Protocol）协议的常规摄像头；计算平台与云台摄像机通过有线或无线的方式通信。
作为优选，步骤101中计算平台控制云台摄像机采集所有应用场景的图像信息的具体方式为：
计算平台通过云台摄像机的串口发送控制转动命令，摄像机向左或者向右转动一个固定时间窗长
Figure DEST_PATH_IMAGE005
后停止；在不同的场景下，用户调节平衡因子
Figure 21446DEST_PATH_IMAGE006
来平衡全景图片生成的速度与成功率，平衡公式为：
Figure DEST_PATH_IMAGE007
（1）
上式中，
Figure 47171DEST_PATH_IMAGE008
表示的是拼接成功率，
Figure DEST_PATH_IMAGE009
表示一个固定时间段，
Figure 514536DEST_PATH_IMAGE010
为固定时间窗长；当
Figure DEST_PATH_IMAGE011
时，获取图像的速度最快，成功率最低；当
Figure 916699DEST_PATH_IMAGE012
时，获取图像的速度最慢，成功率最高；用户可以根据目标场景与特定需求对平衡因子进行调整；
在一次转动停止后，计算平台提取实时的视频帧，并将该视频帧保存为图片；摄像机持续提取视频帧并保存为图片，直到所有的工作场景信息均被摄像机保存至计算平台。
作为优选，步骤101中图像拼接方法为基于OpenCV中的Stitching方法，计算平台使用保存的场景信息图像进行拼接，形成应用场景的全景图。
作为优选，步骤103具体包括以下步骤：
步骤103-1、计算平台接收到用户提供的目标图像后，基于FLANN匹配算法，将目标图像与全景图像进行匹配，FLANN匹配算法返回所有特征相匹配的目标点坐标
Figure DEST_PATH_IMAGE013
；比对相邻的两个目标点坐标，若相邻两个目标点坐标的距离超过原图的长度或宽度，则将该目标点重新定义成不匹配点；
步骤103-2、遍历所有匹配点，找出匹配点所在区域的四个顶点： x轴最小与y轴最小点
Figure 788840DEST_PATH_IMAGE014
、x轴最小与y轴最大点
Figure DEST_PATH_IMAGE015
、x轴最大与y轴最小点
Figure 985466DEST_PATH_IMAGE016
、x轴最大与y轴最大点
Figure DEST_PATH_IMAGE017
；若匹配点所在区域的宽度或长度大于原图大小，则舍弃x轴或y轴最边上的两个匹配点，重新构造四个顶点，直到图片尺寸小于等于云台摄像机获取的图片尺寸；对于x轴，若
Figure 677479DEST_PATH_IMAGE018
大于原图的宽度，则在匹配的目标点坐标
Figure 883332DEST_PATH_IMAGE019
中丢弃x轴坐标中含有
Figure DEST_PATH_IMAGE020
的所有坐标；对于y轴，若
Figure 609980DEST_PATH_IMAGE021
-
Figure DEST_PATH_IMAGE022
大于原图的长度，则在匹配的目标点坐标
Figure 243086DEST_PATH_IMAGE023
中丢弃y轴坐标中含有
Figure 953553DEST_PATH_IMAGE021
、
Figure 963098DEST_PATH_IMAGE022
的所有坐标；
最后根据四个顶点计算出匹配图像的中点
Figure DEST_PATH_IMAGE024
：
Figure 809831DEST_PATH_IMAGE025
（2）
Figure DEST_PATH_IMAGE026
（3）
步骤103-3、计算平台读取当前视频帧，将当前帧和目标图像分别与应用场景的全景图作比对，得出当前图像匹配中点
Figure 82680DEST_PATH_IMAGE027
与目标图像匹配中点
Figure DEST_PATH_IMAGE028
；
步骤103-4、根据当前图像匹配中点与目标图像匹配中点在x轴方向的距离
Figure 11935DEST_PATH_IMAGE029
以及在y轴方向的距离
Figure DEST_PATH_IMAGE030
，来决定摄像机的转动方向；计算平台通过云台摄像机的串口进行发送控制命令，使云台摄像机以速度
Figure 294011DEST_PATH_IMAGE031
持续转动，摄像机每次的转动时间为一个固定时间窗长
Figure DEST_PATH_IMAGE032
；转动一次完成后，计算平台再次读取当前视频帧，重新计算匹配图像的中点以及与目标图像的之间的坐标差值，若坐标差值大于等于预设的精度阈值
Figure 729672DEST_PATH_IMAGE033
，则重复步骤103-1至步骤103-4，直到两匹配中点的距离小于设定阈值
Figure DEST_PATH_IMAGE034
。
作为优选，步骤103和步骤104中提出的粗略查找和精细查找中，自定义设定转动时间窗口
Figure 704581DEST_PATH_IMAGE035
，以达到速度与精准率的平衡：
Figure 124061DEST_PATH_IMAGE036
（4）
Figure DEST_PATH_IMAGE037
（5）
上式中，
Figure 209829DEST_PATH_IMAGE038
，用于辅助用户灵活调整门限值；当
Figure DEST_PATH_IMAGE039
时，此时系统在粗略查找阶段追求速度，
Figure 31154DEST_PATH_IMAGE040
达到最大值，意味着每次旋转时间长，计算次数少，匹配速度快，但是可能出现转向过度等问题；而在精确匹配阶段追求准确率，
Figure DEST_PATH_IMAGE041
达到最小值，意味着每次旋转时间短，计算次数多，匹配速度慢，但是匹配精准率高，失败率低。其中，需要特别注意的是，当
Figure 911386DEST_PATH_IMAGE042
时，
Figure 83741DEST_PATH_IMAGE043
和
Figure DEST_PATH_IMAGE044
不会直接降为0，此时
Figure 707620DEST_PATH_IMAGE045
,其中
Figure DEST_PATH_IMAGE046
为设定的最小转动时间窗口。
作为优选，步骤103和步骤104中计算平台控制云台摄像机按所得转动方向与转动距离进行转动，转动方向有以下8种情况：
当
Figure 383452DEST_PATH_IMAGE047
时，云台摄像机以速度
Figure DEST_PATH_IMAGE048
向右转动；
当
Figure 697235DEST_PATH_IMAGE049
时，云台摄像机以速度
Figure 356886DEST_PATH_IMAGE048
向左转动；
当
Figure DEST_PATH_IMAGE050
时，云台摄像机以速度
Figure 784456DEST_PATH_IMAGE048
向上转动；
当
Figure 580374DEST_PATH_IMAGE051
，云台摄像机以速度
Figure 333566DEST_PATH_IMAGE048
时向下转动；
当
Figure 214935DEST_PATH_IMAGE052
时，云台摄像机以速度
Figure 977354DEST_PATH_IMAGE048
向右上方转动；
当
Figure DEST_PATH_IMAGE053
时，云台摄像机以速度
Figure 362199DEST_PATH_IMAGE048
向右下方转动；
当
Figure 286293DEST_PATH_IMAGE054
时，云台摄像机以速度
Figure 654957DEST_PATH_IMAGE048
向左上方转动；
当
Figure DEST_PATH_IMAGE055
时，云台摄像机以速度
Figure 424330DEST_PATH_IMAGE048
向左下方转动；
Figure 194840DEST_PATH_IMAGE056
，
Figure DEST_PATH_IMAGE057
为预设的精度阈值
Figure 758677DEST_PATH_IMAGE058
或
Figure DEST_PATH_IMAGE059
；在粗略查找时，当摄像头的坐标与目标坐标的差值小于等于
Figure 349058DEST_PATH_IMAGE060
时，停止粗略查找；在精确匹配时，当摄像头的坐标与目标坐标的差值小于等于
Figure 453280DEST_PATH_IMAGE059
时，停止精确匹配。
这种提升云台摄像机定位精度系统，包括：
云台摄像机，用于旋转摄像；
蓄电池模块和电源模块，用于向计算平台和云台摄像机供电；
计算平台，用于与云台摄像机通信并控制云台摄像机转动，包括：
用于逐帧调取云台摄像机的网络视频流序列和接收用户提供的目标图像的信息接收装置，
用于控制云台摄像机采集所有应用场景的图像信息和控制云台摄像机进行转动的控制装置，
用于显示应用场景并供用户选择目标图像的显示装置，
用于进行图像特征提取和图像拼接，并获取目标图像和当前图像的坐标差值的数据处理装置，
用于将实时提取的视频帧保存为图片的数据存储装置。
本发明的有益效果是：
针对现有技术中的预置点功能需要手动进行配置和摄像头转轴的老化需要频繁更换摄像头的问题，本发明提出了一种提升云台摄像机定位精度的系统及其控制方法，该系统通过对用户关心的场景构建全景图像，更清楚地把握整个场景的信息；并依据此全景图像，与用户提供给匹配算法的目标图像、当前摄像机监控图像比对，算法控制摄像机能从任意位置准确、清晰地转向用户提供的目标图像位置处，完成对感兴趣区域的监控。解决了传统预置点功能不方便、不准确的问题，使得监控系统更加科学化。
此外，本发明的方法从软件层面进行控制，无需对传统摄像头的硬件部分进行修改，即使摄像头转动轴不精确也可通过软件操作精确定位目标，无需更换摄像头设备，故可以极大的节约硬件部署成本，还延长了硬件摄像头的使用寿命。本发明允许用户根据实际情况对全景构造与匹配算法的速度与精度进行平衡，灵活性强。
附图说明
图1为本发明所应用的一种提升云台摄像机定位精度的系统架构示意图。
图2为本发明所提供的一种提升云台摄像机定位精度的系统控制方法的工作流程图。
图3为本发明所提供的匹配目标图像坐标第一阶段示意图。
图4为本发明所提供的匹配目标图像坐标第二阶段示意图。
图5为本发明实施例中在校园室外环境中对不同目标图像测试的结果图。
图6为本发明实施例中在校园室内环境中对不同目标图像测试的结果图。
图7为本发明实施例中在近似工厂室内环境中对不同目标图像测试的结果图。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
实施例一
本申请实施例一提供了一种如图1所示提升云台摄像机定位精度的系统，包括：云台摄像机、计算平台、电源模块和蓄电池；云台摄像机，用于旋转摄像；蓄电池模块和电源模块，用于向计算平台和云台摄像机供电；计算平台，用于与云台摄像机通信并控制云台摄像机转动，包括：用于逐帧调取云台摄像机的网络视频流序列和接收用户提供的目标图像的信息接收装置，用于控制云台摄像机采集所有应用场景的图像信息和控制云台摄像机进行转动的控制装置，用于显示应用场景并供用户选择目标图像的显示装置，用于进行图像特征提取和图像拼接，并获取目标图像和当前图像的坐标差值的数据处理装置，用于将实时提取的视频帧保存为图片的数据存储装置。
实施例二
在实施例一的基础上，本申请实施例二提供了实施例一中提升云台摄像机定位精度的系统控制方法的工作流程图，如图2所示，
基于常用且正常运行的计算平台，并且利用FLANN算法以及图像透视变换方法结合的云台摄像机高精度匹配方法；云台摄像机持续与环境进行交互，并且传输网络视频流至计算平台，计算平台在屏幕上给予显示，用户选择其感兴趣的区域，并将该区域的图像提供给匹配算法，随后匹配算法控制摄像机精确转向用户感兴趣的区域。
本发明的控制方法包括步骤101至步骤104。具体过程请参见以下详细介绍。
101、图像拼接构造全景图。
具体的，计算平台通过云台摄像机的串口进行发送控制转动命令，使摄像机向左（或者向右，视具体工作场景情况而定）转动一个固定时间窗长
Figure DEST_PATH_IMAGE061
后停止。
Figure 544208DEST_PATH_IMAGE062
是一个固定时间段，而
Figure 810105DEST_PATH_IMAGE063
是平衡因子，在不同的场景下，用户可以调节
Figure DEST_PATH_IMAGE064
以平衡全景图片生成的速度与成功率，平衡公式可表达为：
Figure 622203DEST_PATH_IMAGE065
（1）
其中
Figure DEST_PATH_IMAGE066
表示的是拼接成功率。当
Figure 998958DEST_PATH_IMAGE067
时，意味着获取图像的速度最快，但是相对的成功率也最低。当
Figure DEST_PATH_IMAGE068
时，意味着获取图像的速度最慢，但是相对的成功率也最高。用户可以根据目标场景与特定需求对平衡因子进行调整。
在一次转动停止后计算平台提取实时的视频帧，并在计算平台保存该图片。摄像机持续此动作，直到所需要全部的工作场景信息已被摄像机保存至计算平台。随后基于OpenCV中的Stitching方法，计算平台使用保存的场景信息图像进行拼接，形成全景图片。
102、用户选定感兴趣区域。
具体的，计算平台将全景图像提供给用户，用户可以提前将工作场景中的任一区域作为感兴趣区域，并将感兴趣区域的图像保存为目标图像，随后，用户可以在多个目标图像中选择一个目标图像作为需要转向的目标。
103、粗略寻找：FLANN算法获得目标与当前图像的坐标，且根据坐标差值，控制摄像头转动。再次计算坐标差值，若不满足阈值条件则重复步骤103，直到满足阈值条件。
具体的，计算平台接收到用户目标图像后，基于FLANN匹配算法，将目标图像与全景图像进行匹配。FLANN会返回所有特征相匹配的目标点坐标
Figure 947322DEST_PATH_IMAGE069
。首先，考虑到工业场景下会有许多类似的设备或物品等，FLANN很容易将两个相距较远但特征类似的特征点匹配起来。此时，本方法比对相邻的两点，若距离超过原图的长度（或宽度），则将该点重新定义成不匹配点。然后，遍历所有匹配点，找出四个顶点，即x轴最小与y轴最小点
Figure DEST_PATH_IMAGE070
、x轴最小与y轴最大点
Figure 118540DEST_PATH_IMAGE071
、x轴最大与y轴最小点
Figure DEST_PATH_IMAGE072
、x轴最大与y轴最大点
Figure 417935DEST_PATH_IMAGE073
。若宽度或长度大于原图大小，则舍弃x轴（或y轴）最边上两个匹配点，重新构造四个顶点，直到图片大小小于等于摄像机图片大小。最后根据四个顶点计算出匹配图像的中点
Figure DEST_PATH_IMAGE074
：
Figure 801643DEST_PATH_IMAGE075
（2）
Figure DEST_PATH_IMAGE076
（3）
进一步的，查找阶段先进行粗略查找。计算平台读取当前视频帧，将当前帧和目标图像分别与全景图片作比对，得出当前图像匹配中点
Figure 870093DEST_PATH_IMAGE077
与目标图像匹配中点
Figure DEST_PATH_IMAGE078
；根据两点x轴的距离
Figure 946633DEST_PATH_IMAGE079
以及y轴的距离
Figure 264482DEST_PATH_IMAGE080
，来决定摄像机的转动方向。
计算平台通过云台摄像机的串口进行发送控制命令，使摄像机以速度
Figure 3547DEST_PATH_IMAGE081
持续转动，转动方向有以下8种情况：
当
Figure DEST_PATH_IMAGE082
时向右转动；
当
Figure 192083DEST_PATH_IMAGE083
时向左转动；
当
Figure DEST_PATH_IMAGE084
时向上转动；
当
Figure 439525DEST_PATH_IMAGE085
时向下转动；
当
Figure DEST_PATH_IMAGE086
时向右上方转动；
当
Figure 713511DEST_PATH_IMAGE087
时向右下方转动；
当
Figure 235759DEST_PATH_IMAGE088
时向左上方转动；
当
Figure DEST_PATH_IMAGE089
时向左下方转动；
其中，
Figure 278802DEST_PATH_IMAGE090
是预设的精度阈值
Figure DEST_PATH_IMAGE091
其中之一。
在该阶段，摄像机每次的转动时间为一个固定时间窗长
Figure 228303DEST_PATH_IMAGE092
。转动一次完成后，计算平台再次读取当前视频帧，重新计算匹配图像的中点以及与目标图像的之间的坐标差值，若不满足预设的精度阈值，则重复该粗略阶段的操作，直到两匹配中点的距离小于设定阈值
Figure DEST_PATH_IMAGE093
。
104，精确寻找：提取特征点，并做图像透视变换获得精确坐标差值，且根据坐标差值，控制摄像头转动。再次计算坐标差值，若不满足阈值条件则重复步骤104，直到满足阈值条件。
具体的，当前视频帧与目标图像接近但没有完全匹配，FLANN在这样的情况下无法完成像素级的精确匹配功能。计算平台提取两张图像的特征点，由于图片相距较近，匹配点距离近，利用透视变化可以将两张图像同一坐标系中进行拼接，从而获得精确的距离
Figure 458427DEST_PATH_IMAGE094
。计算平台通过云台摄像机的串口进行发送控制命令，使摄像机根据计算出的精确距离和方向持续转动，转动时间为一个固定时间窗长
Figure DEST_PATH_IMAGE095
；重复该步骤，直到两图像的距离小于设定的阈值
Figure 253208DEST_PATH_IMAGE096
时匹配方法结束。
在103和104中提出的粗略查找和精细查找的两阶段方法中，两个阶段的转动时间窗口
Figure DEST_PATH_IMAGE097
可以进行自定义设定，以达到速度与精准率的平衡：
Figure 150757DEST_PATH_IMAGE098
（4）
Figure DEST_PATH_IMAGE099
（5）
其中，
Figure 271160DEST_PATH_IMAGE100
，参数可以辅助用户灵活调整门限值。当
Figure DEST_PATH_IMAGE101
时，此时系统在粗略匹配阶段追求速度，
Figure 251230DEST_PATH_IMAGE040
达到最大值，意味着每次旋转时间长，计算次数少，匹配速度快，但是可能出现转向过度等问题，而系统在精确匹配阶段追求准确率，
Figure 380860DEST_PATH_IMAGE102
达到最小值，意味着每次旋转时间短，计算次数多，匹配速度慢，但是匹配精准率高，失败率低。其中，需要特别注意的是，当
Figure DEST_PATH_IMAGE103
时，
Figure 867336DEST_PATH_IMAGE104
和
Figure DEST_PATH_IMAGE105
不会直接降为0，此时
Figure 893061DEST_PATH_IMAGE106
,其中
Figure 894515DEST_PATH_IMAGE107
为系统设定的最小转动时间窗口。
如图3，利用FLANN算法进行目标图像与当前图像第一阶段的匹配，计算得出目标图像的中点
Figure 562256DEST_PATH_IMAGE108
与当前图像的中点
Figure 434397DEST_PATH_IMAGE109
，并且进一步计算出中点之间的差值。如果该差值的横纵坐标大于阈值
Figure 427761DEST_PATH_IMAGE110
，则需要对摄像机进行调整，方法是当计算平台正常时，通过串口向摄像机发送旋转指令，使其向目标区域旋转，默认系统工作在高精度设置，即
Figure 650932DEST_PATH_IMAGE103
；当差值小于阈值
Figure 856786DEST_PATH_IMAGE111
时，计算平台通过串口向摄像机发送停止指令；若差值开始便没有超出阈值
Figure 114592DEST_PATH_IMAGE111
，则摄像机静止。
如图4，在完成第一阶段的匹配后，当前图像与目标图像接近但没有完全精确匹配，在第二阶段中，利用FLANN获得的匹配特征点，构造图像透视变换，以获得两图之间精确的距离
Figure 278857DEST_PATH_IMAGE112
。旋转的方法与第一阶段一样。最终将摄像头转向至目标图像处，误差不超过阈值
Figure 723744DEST_PATH_IMAGE113
。
如图5、图6、图7，在正常天气的校园环境室内，校园室外环境和近似工厂室内环境下分别进行一百次测试，每十次测试后换一个目标图像，测试成功率分别为99%，100%和100%，充分说明了本发明提出的方法在多种情况下以及不同目标图像下能够进行精确匹配，能够极大地提升监控人员的工作效率。

Claims (7)

1.一种提升云台摄像机定位精度的控制方法，其特征在于，包括如下步骤：
步骤101、首先进行初始化：计算平台和云台摄像机均上电，等待计算平台和云台摄像机自检完成后，计算平台基于ffmpeg库来逐帧调取云台摄像机的网络视频流序列；然后计算平台控制云台摄像机采集所有应用场景的图像信息，并基于图像拼接方法，构造应用场景的全景图；
步骤102、计算平台的显示屏幕上显示出应用场景的全景图，用户在应用场景的全景图中选择其感兴趣的区域，将感兴趣区域的图像保存为目标图像，用户在多个目标图像中选择一个目标图像作为待转向的目标；
步骤103、粗略查找：计算平台接收用户提供的目标图像， FLANN匹配算法获得目标图像与当前图像的坐标，计算目标图像与当前图像的坐标差值；若坐标差值不满足阈值条件，则根据坐标差值决定云台摄像机的转动方向与转动距离，并控制云台摄像机按所得转动方向与转动距离进行转动；若坐标差值满足阈值条件，则不进行转动；重复执行步骤103，直至所得目标图像与当前图像的坐标差值满足阈值条件；
步骤103-1、计算平台接收到用户提供的目标图像后，基于FLANN匹配算法，将目标图像与全景图像进行匹配，FLANN匹配算法返回所有特征相匹配的目标点坐标
Figure 500517DEST_PATH_IMAGE001
；比对相邻的两个目标点坐标，若相邻两个目标点坐标的距离超过原图的长度或宽度，则将该目标点重新定义成不匹配点；
步骤103-2、遍历所有匹配点，找出匹配点所在区域的四个顶点： x轴最小与y轴最小点
Figure 883088DEST_PATH_IMAGE002
、x轴最小与y轴最大点
Figure 892632DEST_PATH_IMAGE003
、x轴最大与y轴最小点
Figure 585038DEST_PATH_IMAGE004
、x轴最大与y轴最大点
Figure 982522DEST_PATH_IMAGE005
；若匹配点所在区域的宽度或长度大于原图大小，则舍弃x轴或y轴最边上的两个匹配点，重新构造四个顶点，直到图片尺寸小于等于云台摄像机获取的图片尺寸；对于x轴，若
Figure 321230DEST_PATH_IMAGE006
大于原图的宽度，则在匹配的目标点坐标
Figure 462362DEST_PATH_IMAGE007
中丢弃x轴坐标中含有
Figure 429181DEST_PATH_IMAGE008
的所有坐标；对于y轴，若
Figure 512412DEST_PATH_IMAGE009
-
Figure 259788DEST_PATH_IMAGE010
大于原图的长度，则在匹配的目标点坐标
Figure 548818DEST_PATH_IMAGE001
中丢弃y轴坐标中含有
Figure 635723DEST_PATH_IMAGE009
、
Figure 615487DEST_PATH_IMAGE010
的所有坐标；
最后根据四个顶点计算出匹配图像的中点
Figure 912476DEST_PATH_IMAGE011
：
Figure 880563DEST_PATH_IMAGE012
（2）
Figure 87554DEST_PATH_IMAGE013
（3）
步骤103-3、计算平台读取当前视频帧，将当前帧和目标图像分别与应用场景的全景图作比对，得出当前图像匹配中点
Figure 263320DEST_PATH_IMAGE014
与目标图像匹配中点
Figure 234556DEST_PATH_IMAGE015
；
步骤103-4、根据当前图像匹配中点与目标图像匹配中点在x轴方向的距离
Figure 521181DEST_PATH_IMAGE016
以及在y轴方向的距离
Figure 395727DEST_PATH_IMAGE017
，来决定摄像机的转动方向；计算平台通过云台摄像机的串口进行发送控制命令，使云台摄像机以速度
Figure 539133DEST_PATH_IMAGE018
持续转动，摄像机每次的转动时间为一个固定时间窗长
Figure 594DEST_PATH_IMAGE019
；转动一次完成后，计算平台再次读取当前视频帧，重新计算匹配图像的中点以及与目标图像的之间的坐标差值，若坐标差值大于等于预设的精度阈值
Figure 90910DEST_PATH_IMAGE020
，则重复步骤103-1至步骤103-4，直到两匹配中点的距离小于设定阈值
Figure 6914DEST_PATH_IMAGE020
；
步骤104、精确寻找：计算平台选取两张位置相距较近且与目标图像匹配点距离近的图像，提取特征点；利用透视变换方法将两张图像在同一坐标系中进行拼接，获得精确的横坐标差值
Figure 9636DEST_PATH_IMAGE021
和精确的纵坐标差值
Figure 706196DEST_PATH_IMAGE022
；若横坐标差值和纵坐标差值满足阈值条件，则计算平台通过云台摄像机的串口发送控制命令，云台摄像机根据计算出的精确距离和方向持续转动，转动时间为一个固定时间窗长
Figure 380629DEST_PATH_IMAGE023
；若横坐标差值和纵坐标差值不满足阈值条件，则重复步骤104，直至两张图像的距离小于设定的阈值
Figure 479035DEST_PATH_IMAGE024
时，结束图像匹配；精准定位并输出待识别目标所在位置的经纬度，供控制电路将摄像机转动至用户选择的目标区域。
2.根据权利要求1所述提升云台摄像机定位精度的控制方法，其特征在于：步骤101中云台摄像机为适配网络视频协议的摄像头；计算平台与云台摄像机通过有线或无线的方式通信。
3.根据权利要求1所述提升云台摄像机定位精度的控制方法，其特征在于，步骤101中计算平台控制云台摄像机采集所有应用场景的图像信息的具体方式为：
计算平台通过云台摄像机的串口发送控制转动命令，摄像机向左或者向右转动一个固定时间窗长
Figure 574030DEST_PATH_IMAGE025
后停止；在不同的场景下，用户调节平衡因子
Figure 774198DEST_PATH_IMAGE026
来平衡全景图片生成的速度与成功率，平衡公式为：
Figure 940737DEST_PATH_IMAGE027
（1）
上式中，
Figure 942585DEST_PATH_IMAGE028
表示的是拼接成功率，
Figure 536377DEST_PATH_IMAGE029
表示一个固定时间段，
Figure 879634DEST_PATH_IMAGE030
为固定时间窗长；当
Figure 866176DEST_PATH_IMAGE031
时，获取图像的速度最快，成功率最低；当
Figure 470332DEST_PATH_IMAGE032
时，获取图像的速度最慢，成功率最高；
在一次转动停止后，计算平台提取实时的视频帧，并将该视频帧保存为图片；摄像机持续提取视频帧并保存为图片，直到所有的工作场景信息均被摄像机保存至计算平台。
4.根据权利要求3所述提升云台摄像机定位精度的控制方法，其特征在于：步骤101中图像拼接方法为基于OpenCV中的Stitching方法，计算平台使用保存的场景信息图像进行拼接，形成应用场景的全景图。
5.根据权利要求1所述提升云台摄像机定位精度的控制方法，其特征在于，步骤103和步骤104中提出的粗略查找和精细查找中，自定义设定转动时间窗口
Figure 484294DEST_PATH_IMAGE033
：
Figure 642742DEST_PATH_IMAGE034
（4）
Figure 88767DEST_PATH_IMAGE035
（5）
上式中，
Figure 501425DEST_PATH_IMAGE036
，用于辅助用户灵活调整门限值；当
Figure 499337DEST_PATH_IMAGE037
时，
Figure 131700DEST_PATH_IMAGE038
达到最大值，每次旋转时间长，计算次数少，匹配速度快；当
Figure 443733DEST_PATH_IMAGE039
时，
Figure 163427DEST_PATH_IMAGE040
,其中
Figure 20656DEST_PATH_IMAGE041
为设定的最小转动时间窗口。
6.根据权利要求1所述提升云台摄像机定位精度的控制方法，其特征在于，步骤103和步骤104中计算平台控制云台摄像机按所得转动方向与转动距离进行转动，转动方向有以下8种情况：
当
Figure 950435DEST_PATH_IMAGE042
时，云台摄像机以速度
Figure 49846DEST_PATH_IMAGE018
向右转动；
当
Figure 624047DEST_PATH_IMAGE043
时，云台摄像机以速度
Figure 167024DEST_PATH_IMAGE018
向左转动；
当
Figure 272514DEST_PATH_IMAGE044
时，云台摄像机以速度
Figure 723087DEST_PATH_IMAGE018
向上转动；
当
Figure 743607DEST_PATH_IMAGE045
，云台摄像机以速度
Figure 864009DEST_PATH_IMAGE018
时向下转动；
当
Figure 971643DEST_PATH_IMAGE046
时，云台摄像机以速度
Figure 914322DEST_PATH_IMAGE018
向右上方转动；
当
Figure 322170DEST_PATH_IMAGE047
时，云台摄像机以速度
Figure 456217DEST_PATH_IMAGE018
向右下方转动；
当
Figure 457671DEST_PATH_IMAGE048
时，云台摄像机以速度
Figure 453309DEST_PATH_IMAGE018
向左上方转动；
当
Figure 466395DEST_PATH_IMAGE049
时，云台摄像机以速度
Figure 522076DEST_PATH_IMAGE018
向左下方转动；
Figure 10826DEST_PATH_IMAGE050
，
Figure 62352DEST_PATH_IMAGE051
为预设的精度阈值
Figure 179213DEST_PATH_IMAGE052
或
Figure 422106DEST_PATH_IMAGE053
；在粗略查找时，当摄像头的坐标与目标坐标的差值小于等于
Figure 194890DEST_PATH_IMAGE020
时，停止粗略查找；在精确匹配时，当摄像头的坐标与目标坐标的差值小于等于
Figure 470014DEST_PATH_IMAGE054
时，停止精确匹配。
7.一种如权利要求1所述控制方法的提升云台摄像机定位精度系统，其特征在于，包括：
云台摄像机，用于旋转摄像；
蓄电池模块和电源模块，用于向计算平台和云台摄像机供电；
计算平台，用于与云台摄像机通信并控制云台摄像机转动，包括：
用于逐帧调取云台摄像机的网络视频流序列和接收用户提供的目标图像的信息接收装置，
用于控制云台摄像机采集所有应用场景的图像信息和控制云台摄像机进行转动的控制装置，
用于显示应用场景并供用户选择目标图像的显示装置，
用于进行图像特征提取和图像拼接，并获取目标图像和当前图像的坐标差值的数据处理装置，
用于将实时提取的视频帧保存为图片的数据存储装置。
CN202111608415.3A 2021-12-27 2021-12-27 一种提升云台摄像机定位精度的系统及其控制方法 Active CN113989124B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111608415.3A CN113989124B (zh) 2021-12-27 2021-12-27 一种提升云台摄像机定位精度的系统及其控制方法
GB2303908.4A GB2619136A (en) 2021-12-27 2022-12-15 System for improving positioning precision of pan-tilt camera and control method therefor
PCT/CN2022/139161 WO2023125028A1 (zh) 2021-12-27 2022-12-15 一种提升云台摄像机定位精度的系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111608415.3A CN113989124B (zh) 2021-12-27 2021-12-27 一种提升云台摄像机定位精度的系统及其控制方法

Publications (2)

Publication Number Publication Date
CN113989124A CN113989124A (zh) 2022-01-28
CN113989124B true CN113989124B (zh) 2022-04-19

Family

ID=79734413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111608415.3A Active CN113989124B (zh) 2021-12-27 2021-12-27 一种提升云台摄像机定位精度的系统及其控制方法

Country Status (3)

Country Link
CN (1) CN113989124B (zh)
GB (1) GB2619136A (zh)
WO (1) WO2023125028A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989124B (zh) * 2021-12-27 2022-04-19 浙大城市学院 一种提升云台摄像机定位精度的系统及其控制方法
CN115063452B (zh) * 2022-06-13 2024-03-26 中国船舶重工集团公司第七0七研究所九江分部 一种针对海上目标的云台摄像头跟踪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100919247B1 (ko) * 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
US8842162B2 (en) * 2012-08-16 2014-09-23 Nice-Systems Ltd Method and system for improving surveillance of PTZ cameras
CN103607540B (zh) * 2013-12-02 2017-04-12 南京南自信息技术有限公司 一种云台摄像机预置位精度提高方法
CN105812724A (zh) * 2014-12-31 2016-07-27 浙江大华技术股份有限公司 一种全景云台的控制方法及系统
KR20180086048A (ko) * 2017-01-20 2018-07-30 한화에어로스페이스 주식회사 카메라 및 카메라의 영상 처리 방법
CN108574825B (zh) * 2017-03-10 2020-02-21 华为技术有限公司 一种云台摄像机的调整方法和装置
CN109493278A (zh) * 2018-10-24 2019-03-19 北京工业大学 一种基于sift特征的大场景图像拼接系统
CN113989124B (zh) * 2021-12-27 2022-04-19 浙大城市学院 一种提升云台摄像机定位精度的系统及其控制方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法

Also Published As

Publication number Publication date
GB2619136A (en) 2023-11-29
WO2023125028A1 (zh) 2023-07-06
CN113989124A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113989124B (zh) 一种提升云台摄像机定位精度的系统及其控制方法
CN103873758B (zh) 全景图实时生成的方法、装置及设备
EP3017590A1 (en) A method, apparatus and system for image processing
CN109982029B (zh) 一种摄像机监控场景自动调节方法及装置
JP2023509137A (ja) パノラマ３次元画像をキャプチャ及び生成するシステム及び方法
CN108495085A (zh) 一种基于活动目标检测的球机自动跟踪控制方法及系统
CN102929084B (zh) 投影机转动投影和自动调试图像成像系统及其成像方法
CN111862620B (zh) 一种图像融合处理方法及装置
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN113273172A (zh) 全景拍摄方法、装置、系统及计算机可读存储介质
WO2021031159A1 (zh) 比赛拍摄方法、电子设备、无人机与存储介质
CN109495626A (zh) 一种用于便携式移动通讯设备的拍摄辅助装置及系统
CN111614951B (zh) 一种一体化云台摄像机的光轴校准设备及方法
CN113949814B (zh) 一种枪球联动抓拍方法、装置、设备及介质
CN110933297B (zh) 智能摄影系统的摄影控制方法、装置、存储介质及系统
CN115471573A (zh) 基于三维重建的变电站云台相机的预置位偏移纠正方法
CN108540720B (zh) 一种用于子弹时间自动选取最优图像的系统及方法
JP2008227918A (ja) 撮像装置
JP2005175970A (ja) 撮像システム
WO2021258249A1 (zh) 图像获取方法、电子设备和可移动设备
CN106488128B (zh) 一种自动拍照的方法及装置
JP3615867B2 (ja) 自動撮影カメラシステム
CN112702513A (zh) 一种双光云台协同控制方法、装置、设备及存储介质
WO2020114189A1 (zh) 数据集采集器
CN111741210A (zh) 一种基于固定场景的快速自动聚焦的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant