CN105516661B - 鱼眼相机与ptz相机相结合的主从目标监控方法 - Google Patents

鱼眼相机与ptz相机相结合的主从目标监控方法 Download PDF

Info

Publication number
CN105516661B
CN105516661B CN201510905801.7A CN201510905801A CN105516661B CN 105516661 B CN105516661 B CN 105516661B CN 201510905801 A CN201510905801 A CN 201510905801A CN 105516661 B CN105516661 B CN 105516661B
Authority
CN
China
Prior art keywords
camera
ptz
target
image
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510905801.7A
Other languages
English (en)
Other versions
CN105516661A (zh
Inventor
吴健辉
商橙
罗朝明
张国云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510905801.7A priority Critical patent/CN105516661B/zh
Publication of CN105516661A publication Critical patent/CN105516661A/zh
Application granted granted Critical
Publication of CN105516661B publication Critical patent/CN105516661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明公开了一种鱼眼相机与PTZ相机相结合的主从目标监控系统及方法，其特征在于：包括有鱼眼相机、PTZ相机以及处理主机；所述鱼眼相机为主监控相机；所述PTZ相机为从监控相机。本发明中主监控相机采用鱼眼相机，实现单机半球空间的无缝监控和运动目标检测；从相机采用PTZ相机，实现对特定目标的高分辨率指向性成像。本发明充分集成了鱼眼相机监控范围大的优点，同时通过PTZ相机指向性二次成像克服鱼眼相机由于巨大的畸变导致的图像严重变形和分辨率低的缺点，二者互为补充，实现真正意义上的单系统半球空间无缝监控功能。

Description

鱼眼相机与PTZ相机相结合的主从目标监控方法
技术领域
本发明涉及一种超大范围目标监控系统，特别是一种鱼眼相机与PTZ相机相结合的单系统超大范围无缝主从目标智能监控系统及方法。
背景技术
随着现代社会持续工业化发展和经济的飞速增长，人们生活水平逐渐提高，安全意识也越来越强，因此对居住和工作生活的环境的安全提出了更多要求。近年来，随着视频监控技术的发展，大家越来越认识到视频监控技术在生活中的重要性。视频监控技术在道路交通、银行、小区等重点安全监控区域的广泛应用，有效的震慑了各种潜在的违法犯罪，保障了人们的生活安全。但是现有的监控系统大部分还处于视频存储和回放阶段，缺乏智能分析功能，同时普通的监控用成像镜头视野较小，很难实现无缝视频监控功能，多点布局的模式虽然能实现对关键区域的无缝监控，但结构复杂，成本高，保养维护困难。而采用单纯的超大视角鱼眼镜头，虽然能实现单镜头180°甚至以上的区域监控，但由于畸变严重，在后期的智能分析处理中存在稳定性和可靠性差的问题。因此设计一种具备结构简单、超大范围视频智能监控、以及对监控区域目标进行稳定跟踪和识别的高可靠性智能视频监控系统，在满足人们对安全需求的同时，将会带来良好的社会效益和经济效益。
发明内容
本发明目的在于提供一种硬件结构简单，算法复杂性较低，具有良好的目标检测稳定性和可靠性，利用鱼眼相机与PTZ相机相结合的主从目标智能监控系统及方法，从而单系统实现超大范围空间无缝智能监控及对监控区域运动目标的稳定跟踪与分析功能。
本发明采用的技术方案是：一种鱼眼相机与PTZ相机相结合的主从目标监控系统，其特征在于：包括有鱼眼相机、PTZ相机以及处理主机；所述鱼眼相机为主监控相机，进行超大范围半球空间内的实时鱼眼图像采集；所述处理主机包括如下模块：鱼眼监控图像预处理模块，鱼眼图像中运动目标检测模块，运动目标PTZ参数计算模块，目标PTZ参数空间映射及输出模块， PTZ图像处理模块，鱼眼监控视频与PTZ图像合成及输出模块；PTZ相机为从监控相机，根据处理机输出的PTZ参数进行快速响应，实现对运动目标的指向性高分辨率二次成像，并将采集的PTZ目标图像输入到处理主机。
本发明的鱼眼相机和PTZ相机采用上下安装的方式，处理主机可以安放于PTZ相机下方，为便携式，也可以集中放置于控制中心，为固定式。
一种鱼眼相机与PTZ相机相结合的主从目标监控方法，其特征在于：包括如下过程：鱼眼相机为主监控相机，进行监控区域的图像实时采集，并将监控图像传送到处理主机；处理主机对输入的鱼眼图像进行预处理，并执行鱼眼图像中的运动目标检测；对检测到的运动目标，计算其在鱼眼图像空间的PTZ参数；将PTZ参数从鱼眼图像空间映射到PTZ图像空间，并输出给PTZ相机；PTZ相机根据PTZ参数进行快速响应，指向目标进行高分辨率二次成像，并将将成像结果传回给处理主机；⑹处理主机对PTZ图像进行进一步的分析和处理，并将目标的识别结果和属性参数进行输出和存储；同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成，并输出到显示器进行实时显示。
本发明利用鱼眼相机能实现单机180°半球空间的无缝监控和PTZ相机快速指向性成像的特点，实现单系统超大范围无缝智能视频监控，降低成本和系统复杂性；采用处理主机对鱼眼相机监控图像进行直接处理，确保实时性和无损信息处理，提高鱼眼图像中目标检测的准确性和稳定性。对鱼眼监控相机中检测出的目标，首先在鱼眼图像空间中计算出该目标的P’T’Z’参数，然后通过参数映射将P’T’Z’参数从鱼眼图像坐标空间映射到PTZ图像空间并输出给PTZ相机；PTZ相机根据目标映射的PTZ参数，迅速、准确的调整方位角P、俯仰角T和成像焦距Z实现对该目标的高分辨率指向性成像；对PTZ从相机拍摄的目标高分辨率图像进处理，对目标进行稳定跟踪和识别，并进行结果存储和输出。
本发明中主监控相机采用鱼眼相机，充分利用了鱼眼相机单镜头180°超大视场角特点，实现单机半球空间的无缝监控和运动目标检测，从而减少监控相机数量，降低成本和系统复杂性；从相机采用PTZ相机，充分利用PTZ相机方位角、俯仰角以及焦距可控的特点，实现对特定目标的高分辨率指向性成像。本发明充分集成了鱼眼相机监控范围大的优点，同时通过PTZ相机指向性二次成像克服鱼眼相机由于巨大的畸变导致的图像严重变形和分辨率低的缺点，二者互为补充，实现真正意义上的单系统半球空间无缝监控功能。
附图说明
图1是本发明的结构示意图；
图2是本发明处理主机的结构示意图；
图3是本发明的工作流程图；
图中，1是鱼眼相机，2是PTZ相机，3是处理主机，4是显示器，5是输入键盘，6是支架，7是鱼眼监控图像预处理模块，8是运动目标检测模块，9是目标PTZ参数计算模块，10是目标PTZ空间映射及输出模块，11是PTZ图像处理模块，12是鱼眼监控视频与PTZ图像合成及输出模块。
具体实施方式
下面结合附图对本发明进行详细说明，
由图1、2可知，本发明的硬件系统包括有鱼眼相机，PTZ相机以及控制两相机的处理主机，其中鱼眼相机为主监控相机，进行单机半球空间无缝实时成像并将视频输入处理主机；处理主机包括如下模块：鱼眼监控图像预处理模块，运动目标检测模块，目标PTZ参数计算模块，目标PTZ参数空间映射及输出模块，PTZ图像处理模块，鱼眼监控视频与PTZ图像合成及输出模块；处理主机通过检测鱼眼监控视频中的运动目标，计算出目标的PTZ参数并进行参数映射后，再将参数传递给PTZ相机；PTZ相机为从监控相机，根据处理主机输出的PTZ参数进行快速响应，指向目标进行高分辨率二次成像并将PTZ图像输入到处理主机，处理主机通过对PTZ图像的处理，可以实现对目标的稳定跟踪和识别，并对结果进行存储和输出；处理主机通过对输入的鱼眼监控视频和PTZ高分辨率目标图像进行合成，输出到显示器进行显示；输入键盘用于对处理系统的参数进行设置。
图3展示了本发明运作时的工作流程，主要包括鱼眼相机图像处理、目标PTZ参数计算及映射、PTZ相机成像及PTZ图像处理。具体如下：鱼眼相机为主监控相机，进行监控区域的图像实时采集，并将监控图像传送到处理主机；处理主机对输入的鱼眼图像进行预处理，并执行鱼眼图像中的运动目标检测；对检测到的运动目标，计算其在鱼眼图像空间的PTZ参数；将PTZ参数从鱼眼图像空间映射到PTZ图像空间，并输出给PTZ相机；PTZ相机根据PTZ参数进行快速响应，指向目标进行高分辨率二次成像，并将将成像结果传回给处理主机；⑹处理主机对PTZ图像进行进一步的分析和处理，并将目标的识别结果和属性参数进行输出和存储；同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成，并输出到显示器进行实时显示。
本发明的鱼眼视频图像预处理模块采用鱼眼图像直接处理方法，通过引入畸变参数对畸变图像各个不同位置的进行处理，为下一步运动目标检测做准备。
本发明的鱼眼图像中运动目标检测首先是采用背景差方法获取运动点团；第二是对提取的运动点团进行判定，将属于真正运动目标的点团进行标记提取，同时排除各种干扰点团。
本发明的鱼眼图像中PTZ参数计算采用数据拟合方式来处理，首先对实验用鱼眼镜头进行标定，采用物理参数分离标定法对鱼眼镜头视觉系统的光学中心坐标、虚拟成像距离、x轴和y轴方向上的径向畸变参数进行标定，然后通过实验得到一组包含鱼眼图像中目标的位置与对应的PTZ相机的方位角、俯仰角和缩放系数的数据值，最后通过数据拟合的方法来获得鱼眼图像中目标位置与对应的PTZ相机的方位角、俯仰角、缩放系数之间的近似关系。根据这个关系，给定一个跟踪目标在鱼眼图像中的位置，就可以计算出对应的PTZ相机运动参数。
本发明的PTZ参数映射方法结合了鱼眼相机与PTZ相机的安装位置特点，鱼眼相机与PTZ相机垂直安装在同一根轴上，目标在同一个平面上运动，那么PTZ相机的水平旋转轴和鱼眼相机的光轴均垂直于该平面，从而将PTZ参数从鱼眼图像空间映射到PTZ图像空间。
本发明的PTZ图像处理主要包括PTZ图像预处理、目标属性计算和目标识别等功能，目标属性包括目标的运动速度、方位、大小及轨迹等，目标识别则是在目标属性基础上的进一步处理，给出该运动目标的识别结果，并将属性和识别结果进行存储和输出。
本发明的鱼眼视频图像和PTZ图像合成即将PTZ图像叠加在鱼眼视频图像上，以视频的形式输出到显示器进行显示，方便实时查看，叠加的方式可以根据需要进行灵活处理。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (3)

1.一种鱼眼相机与PTZ相机相结合的主从目标监控方法，其特征在于：包括有鱼眼相机、PTZ相机以及处理主机；所述鱼眼相机为主监控相机，进行图像实时采集；所述处理主机包括如下模块：鱼眼监控图像预处理模块，运动目标检测模块，目标PTZ参数计算模块，目标PTZ参数空间映射和输出模块，PTZ图像处理模块，鱼眼监控视频与PTZ图像合成及输出模块；所述PTZ相机为从监控相机，根据处理主机输出的PTZ参数进行快速响应，实现对运动目标的二次高分辨率成像并将PTZ图像传回处理主机；所述主从目标监控方法包括如下过程：鱼眼相机为主监控相机，进行监控区域的图像实时采集，并将实时采集的鱼眼相机监控图像传送到处理主机；处理主机对输入的所述鱼眼相机监控图像进行预处理，并执行所述鱼眼相机监控图像中的运动目标检测；对检测到的运动目标，计算其在鱼眼相机监控图像空间的PTZ参数；将所述PTZ参数从所述鱼眼相机监控图像映射到PTZ图像空间，并输出给PTZ相机； PTZ相机根据所述PTZ参数进行快速响应，指向目标进行高分辨率二次成像，并将将成像结果传回给处理主机；⑹所述处理主机对PTZ图像进行进一步的分析和处理，并将目标的识别结果和属性参数进行输出和存储；同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成，并输出到显示器进行实时显示；
其中：所述预处理采用鱼眼图像直接处理方法，通过引入畸变参数对畸变图像各个不同位置的进行处理，为下一步运动目标检测做准备；
所述检测运动目标首先是采用背景差方法获取运动点团；第二是对提取的运动点团进行判定，将属于真正运动目标的点团进行标记提取，同时排除各种干扰点团；
鱼眼图像中PTZ参数计算采用数据拟合方式来处理，首先对实验用鱼眼镜头进行标定，采用物理参数分离标定法对鱼眼镜头视觉系统的光学中心坐标、虚拟成像距离、x轴和y轴方向上的径向畸变参数进行标定，然后通过实验得到一组包含鱼眼图像中目标的位置与对应的PTZ相机的方位角、俯仰角和缩放系数的数据值，最后通过数据拟合的方法来获得鱼眼图像中目标位置与对应的PTZ相机的方位角、俯仰角、缩放系数之间的近似关系。
2.根据权利要求1所述的主从目标监控方法，其特征在于：鱼眼相机和PTZ相机采用上下同轴安装的方式，采用一体化处理主机。
3.根据权利要求1所述的主从目标监控方法，其特征在于：所述预处理采用鱼眼图像直接处理方法，通过引入畸变参数对畸变图像各个不同位置的进行处理，为下一步运动目标检测做准备。
CN201510905801.7A 2015-12-10 2015-12-10 鱼眼相机与ptz相机相结合的主从目标监控方法 Active CN105516661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510905801.7A CN105516661B (zh) 2015-12-10 2015-12-10 鱼眼相机与ptz相机相结合的主从目标监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510905801.7A CN105516661B (zh) 2015-12-10 2015-12-10 鱼眼相机与ptz相机相结合的主从目标监控方法

Publications (2)

Publication Number Publication Date
CN105516661A CN105516661A (zh) 2016-04-20
CN105516661B true CN105516661B (zh) 2019-03-29

Family

ID=55724256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510905801.7A Active CN105516661B (zh) 2015-12-10 2015-12-10 鱼眼相机与ptz相机相结合的主从目标监控方法

Country Status (1)

Country Link
CN (1) CN105516661B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106161964A (zh) * 2016-08-31 2016-11-23 宇龙计算机通信科技(深圳)有限公司 一种拍照方法和装置
CN107730438A (zh) * 2017-08-23 2018-02-23 广州市九安光电技术股份有限公司 一种基于鱼眼镜头的动态物体跟踪方法和系统
KR102193984B1 (ko) * 2019-05-31 2020-12-22 주식회사 아이디스 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
CN110555888B (zh) * 2019-08-22 2022-10-04 浙江大华技术股份有限公司 主从相机标定方法、存储装置、计算机设备及其系统
CN113674138B (zh) * 2020-05-14 2023-09-01 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN101794448A (zh) * 2010-04-07 2010-08-04 上海交通大学 主从摄像机系统的全自动标定方法
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置
CN103729839B (zh) * 2013-11-21 2018-12-25 新奥特（北京）视频技术有限公司 一种基于传感器的室外摄像机跟踪的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
CN101794448A (zh) * 2010-04-07 2010-08-04 上海交通大学 主从摄像机系统的全自动标定方法
CN101969548A (zh) * 2010-10-15 2011-02-09 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法

Also Published As

Publication number Publication date
CN105516661A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105516661B (zh) 鱼眼相机与ptz相机相结合的主从目标监控方法
CA3100569C (en) Ship identity recognition method base on fusion of ais data and video data
US10930151B2 (en) Roadside parking management method, device, and system based on multiple cameras
CN101465033B (zh) 一种自动追踪识别系统及方法
CN109657575B (zh) 室外施工人员智能视频跟踪算法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN101969548B (zh) 基于双目摄像的主动视频获取方法及装置
CN201278180Y (zh) 一种自动追踪识别系统
WO2018217663A1 (en) Image capture direction recognition method and server, surveillance method and system and image capture device
CN105205785B (zh) 一种可定位的大型车辆运行管理系统及其运行方法
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN104378582A (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN105306892B (zh) 一种证据链形式的船舶视频的生成及显示方法
CN112785628B (zh) 一种基于全景视角检测跟踪的轨迹预测方法及系统
CN105611244A (zh) 一种基于球机监控视频的机场外来异物检测方法
CN105059190B (zh) 基于视觉的汽车开门碰撞预警装置及方法
CN102819847A (zh) 基于ptz移动摄像头的运动轨迹提取方法
CN102043964A (zh) 基于云台摄像头的飞行器起降跟踪算法及跟踪系统
CN109445453A (zh) 一种基于OpenCV的无人机实时压缩跟踪方法
Wang et al. An overview of 3d object detection
CN107124581A (zh) 摄像机运行状态和嫌疑目标在电子地图上实时显示系统
CN113850137A (zh) 一种输电线路图像在线监测方法、系统及设备
CN102291568A (zh) 一种大视场智能化视频监控系统的加速处理方法
CN112801184A (zh) 一种云跟踪方法、系统及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant