CN110991383B - 一种多相机联合的周界区域人员定位方法 - Google Patents
一种多相机联合的周界区域人员定位方法 Download PDFInfo
- Publication number
- CN110991383B CN110991383B CN201911279375.5A CN201911279375A CN110991383B CN 110991383 B CN110991383 B CN 110991383B CN 201911279375 A CN201911279375 A CN 201911279375A CN 110991383 B CN110991383 B CN 110991383B
- Authority
- CN
- China
- Prior art keywords
- dimensional map
- camera
- points
- area
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种多相机联合的周界区域人员定位方法，包括如下步骤：对整个场景区域进行完整三维建图；对三维地图和场景区域内的各个点位的相机拍摄的场景图进行对应点位标定，获得各个点位的相机画面到三维地图的水平映射之间的单应性矩阵；利用神经网络算法对各个不同点位的相机实时拍摄的画面内的人员进行关键点检测；根据关键点在相机画面内的位置，通过单应性矩阵，将关键点映射回三维地图的水平映射平面上；对映射回三维地图的关键点进行匹配合并，以合并后的区域的中心作为人员对应的三维位置点。本发明具有高准确度、高鲁棒性，对任意形状大小的周界区域均可适用，在室内、室外环境中都能进行准确定位。
Description
技术领域
本发明属于图像处理与机器学习领域，特别涉及一种多相机联合的周界区域人员定位方法。
背景技术
周界区域的人员定位在周界防范中起到了至关重要的作用，对人员的准确定位，可以有效的掌握区域内的人员动态，对区域内的安全进行有效监管，目前的周界区域人员定位常采用红外传感器、激光雷达、可佩带传感器等进行有效的人员定位，但是红外传感器、激光雷达设备成本高，而可佩带传感器覆盖范围小，超过一定范围精度下降严重。所以一个成本低，精度高的周界区域人员定位方法在目前的周界防范中是有重要意义的。
中国专利201710966928.9，基于红外和可见光融合的变电站作业对象和目标定位方法，包括以下步骤：利用变电站现场部署的可见光和红外传感器系统，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。分三个阶段进行：基于三维场景和多光谱图像融合的动态目标检测识别、基于多目相机的目标定位和基于三维场景的目标跟踪。该方法采用红外传感器和多目相机相结合的方式进行人员定位，设备成本高，通过序列图像中相邻帧之间的差分进行运动目标检测和定位受场景中的人员限制。当人员较多并发生一定的遮挡时，精度会受严重影响。
中国专利201610772706.9，基于变电站景深图像识别的人员室内惯性定位方法，利用三维景深摄像头快速进行场景扫描建模；对关键位置进行图像采集，利用图像识别软件算法进行前端图像预识别，将图像信息转换为点阵数据，连接后台服务器获取精准定位坐标，通过惯性导航算法，利用陀螺仪和加速度传感器辅助进行现场人员定位，该方法采用三维景深摄像头，设备成本高，采用特征匹配的方法进行图像识别对人员的定位精度低。
现有的周界区域人员定位方法往往采用红外传感器、激光雷达、三维景深摄像头、可携带传感器等，在设备成本高的同时，覆盖区域受限，无法在很大的一块区域内进行定位，同时存在视野盲区。
发明内容
发明目的：为解决目前周界区域人员定位无法同时兼顾设备成本、定位精度与覆盖区域的问题，提供一种多相机联合的周界区域人员定位方法，通过分布在多个不同点位的普通单目相机进行联合实现全区域的覆盖，同时大大降低了设备成本且保证定位精度。
技术方案：一种多相机联合的周界区域人员定位方法，包括如下步骤：
步骤1：对整个场景区域进行完整三维建图，获得所述场景区域的三维地图；
步骤2：对所述三维地图和所述场景区域内的各个点位的相机拍摄的场景图进行对应点位标定，获得各个点位的相机画面到所述三维地图的水平映射之间的单应性矩阵；所述相机为单目相机；
步骤3：通过所述单应性矩阵来实现在所述三维地图的水平映射上划定一块周界区域时，各个点位的相机画面中同时相应的产生与划定的周界区域匹配的区域；
步骤4：利用神经网络算法对各个不同点位的相机实时拍摄的画面内的人员进行关键点检测；
步骤5：根据所述关键点在相机画面内的位置，通过各个点位的相机与所述三维地图的水平映射之间的单应性矩阵，将所述关键点映射回三维地图的水平映射平面上；
步骤6：对映射回所述三维地图的关键点进行匹配合并，以合并后的区域的中心作为人员对应的三维位置点。
进一步的，所述步骤2包括如下具体步骤：
步骤2a：取所述场景区域中明显物体作为参照物，所述参照物需同时出现在所述三维地图和各个点位的相机画面中；
步骤2b：通过对所述参照物在各个点位的相机画面中的位置和在所述三维地图中的水平映射位置进行计算，获得各个点位的相机画面到所述三维地图的水平映射之间的单应性矩阵。
进一步的，所述步骤6中，根据每一个关键点的高斯分布，对属于同一个人员的不同点位相机下的映射回所述三维地图的关键点进行合并，以合并后的区域的中心作为人员对应的三维位置点。
有益效果：(1)极大降低了现在周界防范中人员定位的设备成本，无需采用红外传感器，深度相机等设备，只需采用普通的单目相机。(2)通过多点位相机的联合，覆盖范围大，无死角。(3)续航能力强，可以一直使用，避免了携带式定位传感器只能短时间使用的问题。(4)通过神经网络的人员关键点检测和二维图像与三维地图之间的融合使用，确保了定位的鲁棒性和精度。
附图说明
图1是本发明实现多相机联合的周界区域人员定位方法的整体流程图；
图2是相机画面和三维地图之间标定的流程图；
图3是三维地图周界区域和各个场景相机匹配区域之间的示例图；
图4是采用神经网络进行人员关键点检测流程图；
图5是三维地图水平映射上的人员点位匹配合并的流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示，一种多相机联合的周界区域人员定位方法，依托于多相机联合的全场景覆盖、精准的场景三维地图以及神经网络强大的识别能力，能在对室内外任意形状大小的周界区域进行精准的人员定位，包括如下步骤：
步骤1：对整个场景区域进行完整三维建图，获得场景区域的三维地图。具体的，在现实场景中，采用三维激光对整个场景区域进行完全扫描，获得整个场景的三维地图，覆盖每一个位置。
步骤2：对三维地图和场景区域内的各个点位的相机拍摄的场景图进行对应点位标定，获得各个点位的相机画面到三维地图的水平映射之间的单应性矩阵。其中，相机为单目相机，布设场景区域中，各相机区仅需覆盖需要监控的对应区域即可。如图2所示，包括如下具体步骤：
步骤2a：取场景区域中明显物体作为参照物，参照物需同时出现在三维地图和各个点位的相机画面中。该步骤只需进行一次即可，目的是为了获取三维地图的水平映射和不同点位相机画面之间的映射关系，因为是人为标定过程，所以可以保证参照物一定会出现在各个相机画面之中。
步骤2b：通过对参照物在各个点位的相机画面中的位置和在三维地图中的水平映射位置进行计算，获得各个点位的相机画面到三维地图的水平映射之间的单应性矩阵。其中，通过操作数据交互来获取相机画面中点为的具体位置信息，为了提交操作精度，对应的点位可以通过鼠标交互多次选择后对位置进行拟合，通过拟合后的坐标位置来计算单应性矩阵，使得映射矩阵更加准确。
步骤3：如图3所示，通过各个相机画面到三维地图的水平映射之间的单应性矩阵，在三维地图的水平映射上选定任意形状大小的周界区域，将区域的边界点映射回相机画面进行连接，即可在各个相机画面中绘制出对应的周界区域，如图3所示，图中H1，H2，H3即为不同的单应性矩阵，对应于不同图像之间的转换关系。
步骤4：利用神经网络算法对各个不同点位的相机实时拍摄的画面内的人员进行关键点检测。如图4所示，将各个点位相机的画面图片送入预训练好的姿态检测网络，获得每个点位相机画面内每个人员的身体关键点，例如脚踝点，并输出对应的画面内的位置坐标。
步骤5：根据关键点在相机画面内的位置，通过各个点位的相机与三维地图的水平映射之间的单应性矩阵，将关键点映射回三维地图的水平映射平面上。
步骤6：因为点位之间可能存在一定的误差，所以不能保证不同相机内同一个人的关键点映射回三维地图上时完全重合，因此根据每一个关键点的高斯分布，对属于同一个人员的不同点位相机下的映射回所述三维地图的关键点进行合并，以合并后的区域的中心作为人员对应的三维位置点，如图5所示。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种多相机联合的周界区域人员定位方法，其特征在于，包括如下步骤：
步骤1：对整个场景区域进行完整三维建图，获得所述场景区域的三维地图；
步骤2：对所述三维地图和所述场景区域内的各个点位的相机拍摄的场景图进行对应点位标定，获得各个点位的相机画面到所述三维地图的水平映射之间的单应性矩阵；所述相机为单目相机；
步骤3：通过所述单应性矩阵来实现在所述三维地图的水平映射上划定一块周界区域时，各个点位的相机画面中同时相应的产生与划定的周界区域匹配的区域；
步骤4：利用神经网络算法对各个不同点位的相机实时拍摄的画面内的人员进行关键点检测；
步骤5：根据所述关键点在相机画面内的位置，通过各个点位的相机与所述三维地图的水平映射之间的单应性矩阵，将所述关键点映射回三维地图的水平映射平面上；
步骤6：对映射回所述三维地图的关键点进行匹配合并，以合并后的区域的中心作为人员对应的三维位置点。
2.根据权利要求1所述的多相机联合的周界区域人员定位方法，其特征在于，所述步骤2包括如下具体步骤：
步骤2a：取所述场景区域中明显物体作为参照物，所述参照物需同时出现在所述三维地图和各个点位的相机画面中；
步骤2b：通过对所述参照物在各个点位的相机画面中的位置和在所述三维地图中的水平映射位置进行计算，获得各个点位的相机画面到所述三维地图的水平映射之间的单应性矩阵。
3.根据权利要求1所述的多相机联合的周界区域人员定位方法，其特征在于，所述步骤6中，根据每一个关键点的高斯分布，对属于同一个人员的不同点位相机下的映射回所述三维地图的关键点进行合并，以合并后的区域的中心作为人员对应的三维位置点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911279375.5A CN110991383B (zh) | 2019-12-13 | 2019-12-13 | 一种多相机联合的周界区域人员定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911279375.5A CN110991383B (zh) | 2019-12-13 | 2019-12-13 | 一种多相机联合的周界区域人员定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991383A CN110991383A (zh) | 2020-04-10 |
| CN110991383B true CN110991383B (zh) | 2023-10-24 |
Family
ID=70093148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911279375.5A Active CN110991383B (zh) | 2019-12-13 | 2019-12-13 | 一种多相机联合的周界区域人员定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991383B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
| CN108198223A (zh) * | 2018-01-29 | 2018-06-22 | 清华大学 | 一种激光点云与视觉图像映射关系快速精确标定方法 |
| CN109752003A (zh) * | 2018-12-26 | 2019-05-14 | 浙江大学 | 一种机器人视觉惯性点线特征定位方法及装置 |
| CN110163064A (zh) * | 2018-11-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
| CN110335317A (zh) * | 2019-07-02 | 2019-10-15 | 百度在线网络技术（北京）有限公司 | 基于终端设备定位的图像处理方法、装置、设备和介质 |
| CN110443199A (zh) * | 2019-08-06 | 2019-11-12 | 暨南大学 | 一种基于二维几何轮廓的点云姿态识别方法 |
-
2019
- 2019-12-13 CN CN201911279375.5A patent/CN110991383B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
| CN108198223A (zh) * | 2018-01-29 | 2018-06-22 | 清华大学 | 一种激光点云与视觉图像映射关系快速精确标定方法 |
| CN110163064A (zh) * | 2018-11-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
| CN109752003A (zh) * | 2018-12-26 | 2019-05-14 | 浙江大学 | 一种机器人视觉惯性点线特征定位方法及装置 |
| CN110335317A (zh) * | 2019-07-02 | 2019-10-15 | 百度在线网络技术（北京）有限公司 | 基于终端设备定位的图像处理方法、装置、设备和介质 |
| CN110443199A (zh) * | 2019-08-06 | 2019-11-12 | 暨南大学 | 一种基于二维几何轮廓的点云姿态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991383A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
| US20190188533A1 (en) | Pose estimation | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| Treible et al. | Cats: A color and thermal stereo benchmark | |
| US9165190B2 (en) | 3D human pose and shape modeling | |
| CN104021538B (zh) | 物体定位方法和装置 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
| CN111028271B (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| Momeni-k et al. | Height estimation from a single camera view | |
| EP2476999B1 (en) | Method for measuring displacement, device for measuring displacement, and program for measuring displacement | |
| CN111445531A (zh) | 一种多目相机导航方法、装置、设备及存储介质 | |
| CN110796032A (zh) | 基于人体姿态评估的视频围栏及预警方法 | |
| CN108876823B (zh) | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 | |
| CN111399634A (zh) | 一种手势引导物体识别的方法及装置 | |
| Fahn et al. | A high-definition human face tracking system using the fusion of omni-directional and PTZ cameras mounted on a mobile robot | |
| WO2019191537A1 (en) | Pose estimation using radio frequency signals | |
| CN110276379A (zh) | 一种基于视频图像分析的灾情信息快速提取方法 | |
| Song et al. | Calibration of event-based camera and 3d lidar | |
| CN117274378A (zh) | 基于ai视觉融合三维场景的室内定位系统及方法 | |
| Ibisch et al. | Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage | |
| CN110991383B (zh) | 一种多相机联合的周界区域人员定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |