CN105516661A - 鱼眼相机与ptz相机相结合的主从目标监控系统及方法 - Google Patents
鱼眼相机与ptz相机相结合的主从目标监控系统及方法 Download PDFInfo
- Publication number
- CN105516661A CN105516661A CN201510905801.7A CN201510905801A CN105516661A CN 105516661 A CN105516661 A CN 105516661A CN 201510905801 A CN201510905801 A CN 201510905801A CN 105516661 A CN105516661 A CN 105516661A
- Authority
- CN
- China
- Prior art keywords
- camera
- ptz
- target
- image
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种鱼眼相机与PTZ相机相结合的主从目标监控系统及方法,其特征在于:包括有鱼眼相机、PTZ相机以及处理主机;所述鱼眼相机为主监控相机;所述PTZ相机为从监控相机。本发明中主监控相机采用鱼眼相机,实现单机半球空间的无缝监控和运动目标检测;从相机采用PTZ相机,实现对特定目标的高分辨率指向性成像。本发明充分集成了鱼眼相机监控范围大的优点,同时通过PTZ相机指向性二次成像克服鱼眼相机由于巨大的畸变导致的图像严重变形和分辨率低的缺点,二者互为补充,实现真正意义上的单系统半球空间无缝监控功能。
Description
技术领域
本发明涉及一种超大范围目标监控系统,特别是一种鱼眼相机与PTZ相机相结合的单系统超大范围无缝主从目标智能监控系统及方法。
背景技术
随着现代社会持续工业化发展和经济的飞速增长,人们生活水平逐渐提高,安全意识也越来越强,因此对居住和工作生活的环境的安全提出了更多要求。近年来,随着视频监控技术的发展,大家越来越认识到视频监控技术在生活中的重要性。视频监控技术在道路交通、银行、小区等重点安全监控区域的广泛应用,有效的震慑了各种潜在的违法犯罪,保障了人们的生活安全。但是现有的监控系统大部分还处于视频存储和回放阶段,缺乏智能分析功能,同时普通的监控用成像镜头视野较小,很难实现无缝视频监控功能,多点布局的模式虽然能实现对关键区域的无缝监控,但结构复杂,成本高,保养维护困难。而采用单纯的超大视角鱼眼镜头,虽然能实现单镜头180°甚至以上的区域监控,但由于畸变严重,在后期的智能分析处理中存在稳定性和可靠性差的问题。因此设计一种具备结构简单、超大范围视频智能监控、以及对监控区域目标进行稳定跟踪和识别的高可靠性智能视频监控系统,在满足人们对安全需求的同时,将会带来良好的社会效益和经济效益。
发明内容
本发明目的在于提供一种硬件结构简单,算法复杂性较低,具有良好的目标检测稳定性和可靠性,利用鱼眼相机与PTZ相机相结合的主从目标智能监控系统及方法,从而单系统实现超大范围空间无缝智能监控及对监控区域运动目标的稳定跟踪与分析功能。
本发明采用的技术方案是:一种鱼眼相机与PTZ相机相结合的主从目标监控系统,其特征在于:包括有鱼眼相机、PTZ相机以及处理主机;所述鱼眼相机为主监控相机,进行超大范围半球空间内的实时鱼眼图像采集;所述处理主机包括如下模块:鱼眼监控图像预处理模块,鱼眼图像中运动目标检测模块,运动目标PTZ参数计算模块,目标PTZ参数空间映射及输出模块,PTZ图像处理模块,鱼眼监控视频与PTZ图像合成及输出模块;PTZ相机为从监控相机,根据处理机输出的PTZ参数进行快速响应,实现对运动目标的指向性高分辨率二次成像,并将采集的PTZ目标图像输入到处理主机。
本发明的鱼眼相机和PTZ相机采用上下安装的方式,处理主机可以安放于PTZ相机下方,为便携式,也可以集中放置于控制中心,为固定式。
一种鱼眼相机与PTZ相机相结合的主从目标监控方法,其特征在于:包括如下过程:鱼眼相机为主监控相机,进行监控区域的图像实时采集,并将监控图像传送到处理主机;处理主机对输入的鱼眼图像进行预处理,并执行鱼眼图像中的运动目标检测;对检测到的运动目标,计算其在鱼眼图像空间的PTZ参数;将PTZ参数从鱼眼图像空间映射到PTZ图像空间,并输出给PTZ相机;PTZ相机根据PTZ参数进行快速响应,指向目标进行高分辨率二次成像,并将将成像结果传回给处理主机;⑹处理主机对PTZ图像进行进一步的分析和处理,并将目标的识别结果和属性参数进行输出和存储;同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成,并输出到显示器进行实时显示。
本发明利用鱼眼相机能实现单机180°半球空间的无缝监控和PTZ相机快速指向性成像的特点,实现单系统超大范围无缝智能视频监控,降低成本和系统复杂性;采用处理主机对鱼眼相机监控图像进行直接处理,确保实时性和无损信息处理,提高鱼眼图像中目标检测的准确性和稳定性。对鱼眼监控相机中检测出的目标,首先在鱼眼图像空间中计算出该目标的P’T’Z’参数,然后通过参数映射将P’T’Z’参数从鱼眼图像坐标空间映射到PTZ图像空间并输出给PTZ相机;PTZ相机根据目标映射的PTZ参数,迅速、准确的调整方位角P、俯仰角T和成像焦距Z实现对该目标的高分辨率指向性成像;对PTZ从相机拍摄的目标高分辨率图像进处理,对目标进行稳定跟踪和识别,并进行结果存储和输出。
本发明中主监控相机采用鱼眼相机,充分利用了鱼眼相机单镜头180°超大视场角特点,实现单机半球空间的无缝监控和运动目标检测,从而减少监控相机数量,降低成本和系统复杂性;从相机采用PTZ相机,充分利用PTZ相机方位角、俯仰角以及焦距可控的特点,实现对特定目标的高分辨率指向性成像。本发明充分集成了鱼眼相机监控范围大的优点,同时通过PTZ相机指向性二次成像克服鱼眼相机由于巨大的畸变导致的图像严重变形和分辨率低的缺点,二者互为补充,实现真正意义上的单系统半球空间无缝监控功能。
附图说明
图1是本发明的结构示意图;
图2是本发明处理主机的结构示意图;
图3是本发明的工作流程图;
图中,1是鱼眼相机,2是PTZ相机,3是处理主机,4是显示器,5是输入键盘,6是支架,7是鱼眼监控图像预处理模块,8是运动目标检测模块,9是目标PTZ参数计算模块,10是目标PTZ空间映射及输出模块,11是PTZ图像处理模块,12是鱼眼监控视频与PTZ图像合成及输出模块。
具体实施方式
下面结合附图对本发明进行详细说明,
由图1、2可知,本发明的硬件系统包括有鱼眼相机,PTZ相机以及控制两相机的处理主机,其中鱼眼相机为主监控相机,进行单机半球空间无缝实时成像并将视频输入处理主机;处理主机包括如下模块:鱼眼监控图像预处理模块,运动目标检测模块,目标PTZ参数计算模块,目标PTZ参数空间映射及输出模块,PTZ图像处理模块,鱼眼监控视频与PTZ图像合成及输出模块;处理主机通过检测鱼眼监控视频中的运动目标,计算出目标的PTZ参数并进行参数映射后,再将参数传递给PTZ相机;PTZ相机为从监控相机,根据处理主机输出的PTZ参数进行快速响应,指向目标进行高分辨率二次成像并将PTZ图像输入到处理主机,处理主机通过对PTZ图像的处理,可以实现对目标的稳定跟踪和识别,并对结果进行存储和输出;处理主机通过对输入的鱼眼监控视频和PTZ高分辨率目标图像进行合成,输出到显示器进行显示;输入键盘用于对处理系统的参数进行设置。
图3展示了本发明运作时的工作流程,主要包括鱼眼相机图像处理、目标PTZ参数计算及映射、PTZ相机成像及PTZ图像处理。具体如下:鱼眼相机为主监控相机,进行监控区域的图像实时采集,并将监控图像传送到处理主机;处理主机对输入的鱼眼图像进行预处理,并执行鱼眼图像中的运动目标检测;对检测到的运动目标,计算其在鱼眼图像空间的PTZ参数;将PTZ参数从鱼眼图像空间映射到PTZ图像空间,并输出给PTZ相机;PTZ相机根据PTZ参数进行快速响应,指向目标进行高分辨率二次成像,并将将成像结果传回给处理主机;⑹处理主机对PTZ图像进行进一步的分析和处理,并将目标的识别结果和属性参数进行输出和存储;同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成,并输出到显示器进行实时显示。
本发明的鱼眼视频图像预处理模块采用鱼眼图像直接处理方法,通过引入畸变参数对畸变图像各个不同位置的进行处理,为下一步运动目标检测做准备。
本发明的鱼眼图像中运动目标检测首先是采用背景差方法获取运动点团;第二是对提取的运动点团进行判定,将属于真正运动目标的点团进行标记提取,同时排除各种干扰点团。
本发明的鱼眼图像中PTZ参数计算采用数据拟合方式来处理,首先对实验用鱼眼镜头进行标定,采用物理参数分离标定法对鱼眼镜头视觉系统的光学中心坐标、虚拟成像距离、x轴和y轴方向上的径向畸变参数进行标定,然后通过实验得到一组包含鱼眼图像中目标的位置与对应的PTZ相机的方位角、俯仰角和缩放系数的数据值,最后通过数据拟合的方法来获得鱼眼图像中目标位置与对应的PTZ相机的方位角、俯仰角、缩放系数之间的近似关系。根据这个关系,给定一个跟踪目标在鱼眼图像中的位置,就可以计算出对应的PTZ相机运动参数。
本发明的PTZ参数映射方法结合了鱼眼相机与PTZ相机的安装位置特点,鱼眼相机与PTZ相机垂直安装在同一根轴上,目标在同一个平面上运动,那么PTZ相机的水平旋转轴和鱼眼相机的光轴均垂直于该平面,从而将PTZ参数从鱼眼图像空间映射到PTZ图像空间。
本发明的PTZ图像处理主要包括PTZ图像预处理、目标属性计算和目标识别等功能,目标属性包括目标的运动速度、方位、大小及轨迹等,目标识别则是在目标属性基础上的进一步处理,给出该运动目标的识别结果,并将属性和识别结果进行存储和输出。
本发明的鱼眼视频图像和PTZ图像合成即将PTZ图像叠加在鱼眼视频图像上,以视频的形式输出到显示器进行显示,方便实时查看,叠加的方式可以根据需要进行灵活处理。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述,并非对本发明构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域中工程技术人员对本发明的技术方案作出的各种变型和改进,均应落入本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。
Claims (6)
1.一种鱼眼相机与PTZ相机相结合的主从目标监控系统及方法,其特征在于:包括有鱼眼相机、PTZ相机以及处理主机;所述鱼眼相机为主监控相机,进行图像实时采集;所述处理主机包括如下模块:鱼眼监控图像预处理模块,运动目标检测模块,目标PTZ参数计算模块,目标PTZ参数空间映射和输出模块,PTZ图像处理模块,鱼眼监控视频与PTZ图像合成及输出模块;所述PTZ相机为从监控相机,根据处理主机输出的PTZ参数进行快速响应,实现对运动目标的二次高分辨率成像并将PTZ图像传回处理主机。
2.根据权利要求1所述的主从目标监控系统,其特征在于:鱼眼相机和PTZ相机采用上下安装的方式,处理主机安放于PTZ相机下方。
3.根据权利要求1所述的主从目标监控系统,其特征在于:鱼眼相机和PTZ相机采用上下安装的方式,处理主机集中放置于控制中心。
4.如权利要求1所述鱼眼相机与PTZ相机相结合的主从目标监控方法,其特征在于:包括如下过程:鱼眼相机为主监控相机,进行监控区域的图像实时采集,并将监控图像传送到处理主机;处理主机对输入的鱼眼图像进行预处理,并执行鱼眼图像中的运动目标检测;对检测到的运动目标,计算其在鱼眼图像空间的PTZ参数;将PTZ参数从鱼眼图像空间映射到PTZ图像空间,并输出给PTZ相机;PTZ相机根据PTZ参数进行快速响应,指向目标进行高分辨率二次成像,并将将成像结果传回给处理主机;⑹处理主机对PTZ图像进行进一步的分析和处理,并将目标的识别结果和属性参数进行输出和存储;同时处理主机对鱼眼视频和PTZ高分辨率目标图像进行合成,并输出到显示器进行实时显示。
5.根据权利要求4所述的主从目标监控方法,其特征在于:所述预处理采用鱼眼图像直接处理方法,通过引入畸变参数对畸变图像各个不同位置的进行处理,为下一步运动目标检测做准备。
6.根据权利要求4所述的主从目标监控方法,其特征在于:所述检测运动目标首先是采用背景差方法获取运动点团;第二是对提取的运动点团进行判定,将属于真正运动目标的点团进行标记提取,同时排除各种干扰点团。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510905801.7A CN105516661B (zh) | 2015-12-10 | 2015-12-10 | 鱼眼相机与ptz相机相结合的主从目标监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510905801.7A CN105516661B (zh) | 2015-12-10 | 2015-12-10 | 鱼眼相机与ptz相机相结合的主从目标监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105516661A true CN105516661A (zh) | 2016-04-20 |
CN105516661B CN105516661B (zh) | 2019-03-29 |
Family
ID=55724256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510905801.7A Active CN105516661B (zh) | 2015-12-10 | 2015-12-10 | 鱼眼相机与ptz相机相结合的主从目标监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105516661B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730438A (zh) * | 2017-08-23 | 2018-02-23 | 广州市九安光电技术股份有限公司 | 一种基于鱼眼镜头的动态物体跟踪方法和系统 |
WO2018040443A1 (zh) * | 2016-08-31 | 2018-03-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法和装置 |
CN110555888A (zh) * | 2019-08-22 | 2019-12-10 | 浙江大华技术股份有限公司 | 主从相机标定方法、存储装置、计算机设备及其系统 |
EP3745718A1 (en) * | 2019-05-31 | 2020-12-02 | Idis Co., Ltd. | Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system |
CN113674138A (zh) * | 2020-05-14 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060204037A1 (en) * | 2004-11-30 | 2006-09-14 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
CN201248107Y (zh) * | 2008-04-30 | 2009-05-27 | 深圳市飞瑞斯科技有限公司 | 主从式摄像机智能视频监控系统 |
CN101707671A (zh) * | 2009-11-30 | 2010-05-12 | 杭州普维光电技术有限公司 | 一种全景摄像机与ptz摄像机联动控制方法和装置 |
CN101794448A (zh) * | 2010-04-07 | 2010-08-04 | 上海交通大学 | 主从摄像机系统的全自动标定方法 |
CN101969548A (zh) * | 2010-10-15 | 2011-02-09 | 中国人民解放军国防科学技术大学 | 基于双目摄像的主动视频获取方法及装置 |
CN102148965A (zh) * | 2011-05-09 | 2011-08-10 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
CN102291569A (zh) * | 2011-07-27 | 2011-12-21 | 上海交通大学 | 双摄像机自动协同多目标鹰眼观测系统及其观测方法 |
CN103729839A (zh) * | 2013-11-21 | 2014-04-16 | 新奥特(北京)视频技术有限公司 | 一种基于传感器的室外摄像机跟踪的方法及系统 |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
-
2015
- 2015-12-10 CN CN201510905801.7A patent/CN105516661B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060204037A1 (en) * | 2004-11-30 | 2006-09-14 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
CN201248107Y (zh) * | 2008-04-30 | 2009-05-27 | 深圳市飞瑞斯科技有限公司 | 主从式摄像机智能视频监控系统 |
CN101707671A (zh) * | 2009-11-30 | 2010-05-12 | 杭州普维光电技术有限公司 | 一种全景摄像机与ptz摄像机联动控制方法和装置 |
CN101794448A (zh) * | 2010-04-07 | 2010-08-04 | 上海交通大学 | 主从摄像机系统的全自动标定方法 |
CN101969548A (zh) * | 2010-10-15 | 2011-02-09 | 中国人民解放军国防科学技术大学 | 基于双目摄像的主动视频获取方法及装置 |
CN102148965A (zh) * | 2011-05-09 | 2011-08-10 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
CN102291569A (zh) * | 2011-07-27 | 2011-12-21 | 上海交通大学 | 双摄像机自动协同多目标鹰眼观测系统及其观测方法 |
CN103729839A (zh) * | 2013-11-21 | 2014-04-16 | 新奥特(北京)视频技术有限公司 | 一种基于传感器的室外摄像机跟踪的方法及系统 |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018040443A1 (zh) * | 2016-08-31 | 2018-03-08 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法和装置 |
CN107730438A (zh) * | 2017-08-23 | 2018-02-23 | 广州市九安光电技术股份有限公司 | 一种基于鱼眼镜头的动态物体跟踪方法和系统 |
EP3745718A1 (en) * | 2019-05-31 | 2020-12-02 | Idis Co., Ltd. | Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system |
US11153495B2 (en) | 2019-05-31 | 2021-10-19 | Idis Co., Ltd. | Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system |
CN110555888A (zh) * | 2019-08-22 | 2019-12-10 | 浙江大华技术股份有限公司 | 主从相机标定方法、存储装置、计算机设备及其系统 |
CN113674138A (zh) * | 2020-05-14 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及系统 |
CN113674138B (zh) * | 2020-05-14 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105516661B (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10930151B2 (en) | Roadside parking management method, device, and system based on multiple cameras | |
Wang et al. | Performance and challenges of 3D object detection methods in complex scenes for autonomous driving | |
CN105516661A (zh) | 鱼眼相机与ptz相机相结合的主从目标监控系统及方法 | |
CN112085003B (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
CN101465033B (zh) | 一种自动追踪识别系统及方法 | |
CN201278180Y (zh) | 一种自动追踪识别系统 | |
CN104243935B (zh) | 基于视频识别的机场场监系统目标监控方法 | |
CN105205785A (zh) | 一种可定位的大型车辆运行管理系统及其运行方法 | |
CN105306892B (zh) | 一种证据链形式的船舶视频的生成及显示方法 | |
CN105611244A (zh) | 一种基于球机监控视频的机场外来异物检测方法 | |
CN104751119A (zh) | 基于信息融合的行人快速检测跟踪方法 | |
CN111681283B (zh) | 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法 | |
CN107124581A (zh) | 摄像机运行状态和嫌疑目标在电子地图上实时显示系统 | |
CN103905824A (zh) | 视频语义检索与压缩同步的摄像系统与方法 | |
CN109798873A (zh) | 一种立体视觉光学定位系统 | |
Wei et al. | Street object detection/tracking for AI city traffic analysis | |
Shi et al. | Cobev: Elevating roadside 3d object detection with depth and height complementarity | |
CN113743286A (zh) | 一种多源信号融合的目标监测系统及方法 | |
Cao et al. | Accelerating Point-Voxel Representation of 3-D Object Detection for Automatic Driving | |
CN109686104B (zh) | 一种车辆超高检测方法 | |
CN110808632B (zh) | 一种变电站作业安全管控系统 | |
CN114463832A (zh) | 一种基于点云的交通场景视线追踪方法及系统 | |
Ghaffar et al. | SimplestNet-Drone: An efficient and Accurate Object Detection Algorithm for Drone Aerial Image Analytics | |
Qin et al. | An improved deep learning algorithm for obstacle detection in complex rail transit environments | |
Cao et al. | Improved YOLOv5s Network for Traffic Object Detection with Complex Road Scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |