CN107948946B - 一种工业场所高精度人员定位球型摄像机跟踪方法 - Google Patents
一种工业场所高精度人员定位球型摄像机跟踪方法 Download PDFInfo
- Publication number
- CN107948946B CN107948946B CN201711096694.3A CN201711096694A CN107948946B CN 107948946 B CN107948946 B CN 107948946B CN 201711096694 A CN201711096694 A CN 201711096694A CN 107948946 B CN107948946 B CN 107948946B
- Authority
- CN
- China
- Prior art keywords
- camera
- dome camera
- coordinate system
- calculating
- world coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种工业场所高精度人员定位球型摄像机跟踪方法,包括如下步骤:1)获取监视目标的特征信息;2)获取监视目标在世界坐标系的位置Pw;3)将世界坐标系坐标Pw转换为摄像机坐标系坐标Pc;4)计算得到球型摄像机水平、垂直角度;5)计算球型摄像机变倍数值;6)计算控制球型摄像机的PTZ控制参数;7)PTZ控制纠偏。优点:1、使普通球型摄像机实现了智能分析球机对监视目标的实时跟踪,保证工业场所监视目标安全,降低成本。2、小范围进一步纠偏,处理定位技术的“漂移”问题,提高了整体定位精度。
Description
技术领域
本发明涉及的是一种工业场所高精度人员定位球型摄像机跟踪方法,属于计算机识别定位领域。
背景技术
随着视频监控技术的发展,工业电视系统在电力、石油、化工等工业领域得到了广泛应用。工业电视系统在作业实时监控,人身安全保证方面起到重要的作用,同时也为事故追溯提供视频证据。但是,无论是固定摄像机还是球型摄像机,视角有限,看的广与看的清难以同时兼顾,问题往往出现在摄像机无法兼顾的地方,单纯采用计算机视觉分析跟踪技术的摄像机成本高,而且跟踪准确性不高,无法实时调节摄像机PTZ参数,亟需一种技术让摄像机“知道”所监视人员的实时位置信息。
近年来,室内定位技术得到了长足发展,室内定位技术的实用化为解决这一问题提供了良好的契机。本文提出了一种通过球型摄像机结合高精度定位实现工业场所摄像机实时跟踪的方法,同时由于室内定位技术容易受到室内环境影响,主要为多径传播、非视距传播两个方面因素,定位存在“漂移”现象,本文提出了通过视频分析算法对定位的偏差进行纠偏,提高摄像机监视的准确性。
发明内容
本发明提出的是一种工业场所高精度人员定位球型摄像机跟踪方法,其目的旨在实现工业环境下对工作人员定位并通过球型摄像机根据定位位置跟踪监视、录像,通过视频分析算法对定位的偏差进行纠偏。
本发明的技术解决方案:
本发明是一种工业场所高精度人员定位球型摄像机跟踪方法,包括如下步骤:
1)获取监视目标的特征信息:利用固定摄像机,通过定位信息判断监视目标到达固定摄像机视野,通过背景建模运动检测获取正样本监视目标和负样本背景的图像片;利用Johnson-Lindenstrauss理论,通过稀疏测量矩阵对多尺度图像特征进行降维,训练朴素贝叶斯分类器;
2)获取监视目标在世界坐标系的位置Pw,用滤波算法进行更新,减少因噪声带来的误差;
3)将世界坐标系坐标Pw转换为摄像机坐标系坐标Pc;
4)通过反三角函数,计算球型摄像机水平、垂直角度;
6)将球型摄像机水平、垂直转动角度,焦距归一化到-1~1,计算控制球型摄像机的PTZ控制参数,并控制球型摄像机转动;
7)通过在球型摄像机中心周围选取样本并用朴素贝叶斯分类器进行分类匹配,计算球型摄像机中监视目标距中心的偏移,并设定误差范围δ,偏移在误差范围δ内,计算水平、垂直偏移,并控制球型摄像机运动进行纠偏;偏移超过误差范围δ,回到步骤2重新获取监视目标世界坐标系中的坐标Pw,并重复步骤2-7。
优点:
1、使普通球型摄像机实现了智能分析球机对监视目标的实时跟踪,保证工业场所监视目标安全,降低成本。
2、小范围进一步纠偏,处理定位技术的“漂移”问题,提高了整体定位精度。
附图说明
附图1是一种工业场所高精度人员定位球型摄像机跟踪方法的流程图;
附图2是世界坐标系中的一点变换到摄像机坐标系的示意图。
具体实施方式
1、工业场所高精度人员定位球型摄像机跟踪方法,包括如下步骤:
1)获取监视目标的特征信息:利用固定摄像机,通过定位信息判断监视目标到达固定摄像机视野,通过背景建模运动检测获取正样本监视目标和负样本背景的图像片;利用Johnson-Lindenstrauss理论,通过稀疏测量矩阵对多尺度图像特征进行降维,训练朴素贝叶斯分类器;
2)获取监视目标在世界坐标系的位置Pw,用滤波算法进行更新,减少因噪声带来的误差;
3)将世界坐标系坐标Pw转换为摄像机坐标系坐标Pc;
4)通过反三角函数,计算球型摄像机水平、垂直角度;
6)将球型摄像机水平、垂直转动角度,焦距归一化到-1~1,计算控制球型摄像机的PTZ控制参数,并控制球型摄像机转动;
7)通过在球型摄像机中心周围选取样本并用朴素贝叶斯分类器进行分类匹配,计算球型摄像机中监视目标距中心的偏移,并设定误差范围δ,偏移在误差范围δ内,计算水平、垂直偏移,并控制球型摄像机运动进行纠偏;偏移超过误差范围δ,回到步骤2重新获取监视目标世界坐标系中的坐标Pw,并重复步骤2-7。
步骤2中所述滤波算法是卡尔曼滤波算法,包括如下算法步骤:
所述步骤3将世界坐标系坐标Pw转换为摄像机坐标系坐标Pc包括如下步骤:
a)被定位人员在世界坐标系中的位置为Pw,将转换为摄像机坐标系中的坐标Pc:
下面结合附图进一步说明本发明的技术方案。
对比附图1,首先获取监视目标特征信息,然后获取特征目标世界坐标系位置,使用滤波算法更新位置后将世界坐标系转换到摄像机坐标系,再通过反三角函数求球型摄像机水平、垂直角度,求得变倍函数后计算球机PTZ控制参数,采用PTZ控制,计算图像偏移,如果小于定位误差,PTZ控制纠偏,定位完成,如果大于定位误差,重新获取特征目标世界坐标系位置,然后重复以上步骤。
对比附图2,坐标系中的一点的世界坐标系坐标Pw变换到摄像机坐标系坐标Pc。
实施例1
一种工业场所高精度人员定位球型摄像机跟踪方法,包括如下步骤:
1)获取监视目标的特征信息,本文给出的一个实例是通过工业场所入口处的固定摄像机,通过定位信息和运动检测双重条件判断所监视目标,获取若干张监视目标(正样本)和背景(负样本)的图像片,然后对他们进行多尺度变换,再通过一个稀疏测量矩阵对多尺度图像特征进行降维,训练朴素贝叶斯分类器;
2)获取监视目标在世界坐标系的位置Pw,并用相应的滤波算法进行更新,以减少因噪声带来的误差,本文给出的实例采用卡尔曼滤波算法进行更新,具体步骤如式(1)-(5);
2.1 由上一时刻的状态 加上外界输入 预测当前状态,其中,A为状态转移矩阵,B为输入控制矩阵;
2.2 预测过程增加新的不确定性Q,加上之前的不确定性 ,其中P为误差矩阵,Q为预测噪声协方差矩阵;
2.3 由预测结果的不确定性和观测结果的不确定性计算卡尔曼增益;
2.4 对预测结果和观测结果做加权平均,得到当前时刻的状态估计;
2.5 更新,代表本次状态估计的不确定性
3)将世界坐标系坐标转换为摄像机坐标系坐标,如图2;
被定位人员在世界坐标系中的位置为Pw,将转换为摄像机坐标系中的坐标Pc;
通过旋转和平移两种操作,得到摄像机坐标系值
式(7)中又可以写成式(8)形式;
式(8)中旋转矩阵与平移矩阵又可以写为式(9)形式;
4)求得Pc坐标后,通过反三角函数,计算得到球型摄像机水平、垂直角度;
5)根据监视目标的距离与焦距的关系,求得变倍数值。其中f为焦距,D为物体到摄像机的距离,h为传感器高度,H为被跟踪人员占画面的高度;
6)将球型摄像机水平、垂直转动角度,焦距归一化到-1~1范围,计算到控制球型摄像机的PTZ控制参数,并控制球型摄像机转动;
7)通过图像匹配算法,取得球型摄像机中监视目标距中心的偏移。如在设定好的定位误差δ范围内,计算水平、垂直偏移,并控制球型摄像机运动进行纠偏;如超过定位误差δ,则重新获取监视目标世界坐标系中的坐标。
本文给出一个实例是我们在球型摄像机图像中心的周围采样n个扫描窗口,通过稀疏测量矩阵对其降维,提取特征,然后用训练好的朴素贝叶斯分类器进行分类,分类分数最大的窗口就认为是监视目标窗口。
Claims (3)
1.工业场所高精度人员定位球型摄像机跟踪方法,其特征在于包括如下步骤:
1)获取监视目标的特征信息:利用固定摄像机,通过定位信息判断监视目标到达固定摄像机视野,通过背景建模运动检测获取正样本监视目标和负样本背景的图像片;利用Johnson-Lindenstrauss理论,通过稀疏测量矩阵对多尺度图像特征进行降维,训练朴素贝叶斯分类器;
2)获取监视目标在世界坐标系的位置Pw,用滤波算法进行更新,减少因噪声带来的误差;
3)将世界坐标系坐标Pw转换为摄像机坐标系坐标Pc;
4)通过反三角函数,计算球型摄像机水平、垂直角度;
6)将球型摄像机水平、垂直转动角度,焦距归一化到-1~1,计算控制球型摄像机的PTZ控制参数,并控制球型摄像机转动;
7)通过在球型摄像机中心周围选取样本并用朴素贝叶斯分类器进行分类匹配,计算球型摄像机中监视目标距中心的偏移,并设定误差范围δ,偏移在误差范围δ内,计算水平、垂直偏移,并控制球型摄像机运动进行纠偏;偏移超过误差范围δ,回到步骤2重新获取监视目标世界坐标系中的坐标Pw,并重复步骤2-7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711096694.3A CN107948946B (zh) | 2017-11-09 | 2017-11-09 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711096694.3A CN107948946B (zh) | 2017-11-09 | 2017-11-09 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107948946A CN107948946A (zh) | 2018-04-20 |
CN107948946B true CN107948946B (zh) | 2020-06-02 |
Family
ID=61934624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711096694.3A Active CN107948946B (zh) | 2017-11-09 | 2017-11-09 | 一种工业场所高精度人员定位球型摄像机跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107948946B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898122A (zh) * | 2018-07-03 | 2018-11-27 | 河南亚视软件技术有限公司 | 一种智能人脸识别方法 |
CN109034104A (zh) * | 2018-08-15 | 2018-12-18 | 罗普特(厦门)科技集团有限公司 | 一种场景标签定位方法以及装置 |
CN112949466B (zh) * | 2021-02-26 | 2022-11-22 | 重庆若上科技有限公司 | 视频ai烟尘污染源识别与定位方法 |
CN113838095B (zh) * | 2021-08-30 | 2023-12-29 | 天津港集装箱码头有限公司 | 基于速度控制的人员跟踪球机控制方法 |
CN115713565A (zh) * | 2022-12-16 | 2023-02-24 | 盐城睿算电子科技有限公司 | 一种双目伺服相机目标定位方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7231063B2 (en) * | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
CN101902616A (zh) * | 2009-06-01 | 2010-12-01 | 金三立视频科技(深圳)有限公司 | 视频监控快速立体定位方法 |
CN103761514A (zh) * | 2014-01-26 | 2014-04-30 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
CN105006003A (zh) * | 2015-07-09 | 2015-10-28 | 北京航空航天大学 | 基于随机投影蕨的实时目标跟踪算法 |
CN105718862A (zh) * | 2016-01-15 | 2016-06-29 | 北京市博汇科技股份有限公司 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
CN106097393A (zh) * | 2016-06-17 | 2016-11-09 | 浙江工业大学 | 一种基于多尺度与自适应更新的目标跟踪方法 |
-
2017
- 2017-11-09 CN CN201711096694.3A patent/CN107948946B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7231063B2 (en) * | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
CN101902616A (zh) * | 2009-06-01 | 2010-12-01 | 金三立视频科技(深圳)有限公司 | 视频监控快速立体定位方法 |
CN103761514A (zh) * | 2014-01-26 | 2014-04-30 | 公安部第三研究所 | 基于广角枪机和多球机实现人脸识别的系统及方法 |
CN105006003A (zh) * | 2015-07-09 | 2015-10-28 | 北京航空航天大学 | 基于随机投影蕨的实时目标跟踪算法 |
CN105718862A (zh) * | 2016-01-15 | 2016-06-29 | 北京市博汇科技股份有限公司 | 一种单摄像头教师自动跟踪方法、装置及录播系统 |
CN106097393A (zh) * | 2016-06-17 | 2016-11-09 | 浙江工业大学 | 一种基于多尺度与自适应更新的目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107948946A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107948946B (zh) | 一种工业场所高精度人员定位球型摄像机跟踪方法 | |
CN102819847A (zh) | 基于ptz移动摄像头的运动轨迹提取方法 | |
KR101737950B1 (ko) | 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 | |
CN111027462A (zh) | 跨多摄像头的行人轨迹识别方法 | |
Momeni-k et al. | Height estimation from a single camera view | |
CN112085003A (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
CN114454174B (zh) | 机械臂动作捕捉方法、介质、电子设备及系统 | |
CN113253289A (zh) | 基于激光雷达与视觉结合的无人机探测跟踪系统实现方法 | |
Kim et al. | Real-time rotational motion estimation with contrast maximization over globally aligned events | |
JP2015135274A (ja) | 移動体追尾装置及び、移動体追尾方法 | |
CN111967323B (zh) | 一种基于深度学习算法的电力带电作业安全检测方法 | |
CN115958609B (zh) | 基于智能机器人自动控制系统的指令数据安全预警方法 | |
Yang et al. | Moving target tracking and measurement with a binocular vision system | |
CN110516613B (zh) | 一种第一视角下的行人轨迹预测方法 | |
Chen et al. | The evaluation of the gaussian mixture probability hypothesis density approach for multi-target tracking | |
CN113989335A (zh) | 一种对厂房内工人自动定位的方法 | |
Tiefenbacher et al. | Off-the-shelf sensor integration for mono-SLAM on smart devices | |
Kawaguchi et al. | Accuracy evaluation of hand motion measurement using 3D range image sensor | |
Hu et al. | Tightly Coupled Visual-Inertial-UWB Indoor Localization System with Multiple Position-Unknown Anchors | |
Jeon et al. | Quaternion-Based Iterative Extended Kalman Filter for Sensor Fusion of Vision Sensor and IMU in 6-DOF Displacement Monitoring | |
Khosravi et al. | Trackerbot: A robotic surveillance system based on stereo-vision and artificial neural networks | |
Bayer et al. | On construction of a reliable ground truth for evaluation of visual slam algorithms | |
Niu et al. | An accurate and robust visual-inertial positioning method | |
Yunus et al. | Multiple Detections Application for Indoor Tracking Using PIR Sensor and Kalman Filter | |
Yu et al. | Camera external self-calibration for intelligent vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |