CN115052109B - 一种基于多类型相机的目标定位方法及系统 - Google Patents

一种基于多类型相机的目标定位方法及系统 Download PDF

Info

Publication number
CN115052109B
CN115052109B CN202210977659.7A CN202210977659A CN115052109B CN 115052109 B CN115052109 B CN 115052109B CN 202210977659 A CN202210977659 A CN 202210977659A CN 115052109 B CN115052109 B CN 115052109B
Authority
CN
China
Prior art keywords
target
camera
coordinate system
pan
fixed monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210977659.7A
Other languages
English (en)
Other versions
CN115052109A (zh
Inventor
陈振
和海渔
刘向东
徐佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210977659.7A priority Critical patent/CN115052109B/zh
Publication of CN115052109A publication Critical patent/CN115052109A/zh
Application granted granted Critical
Publication of CN115052109B publication Critical patent/CN115052109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多类型相机的目标定位方法及系统，涉及视频监控和机器人视觉领域，该方法包括当周界入侵检测系统检测到入侵目标时，获取入侵目标在固定式监控相机坐标系下的齐次坐标，并基于此齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算挂轨式巡逻机器人的移动距离和云台相机的旋转角度，当到达所需位置时，基于固定式监控相机拍摄的入侵目标图像和云台相机拍摄的入侵目标图像，确定在云台相机下的入侵目标位置，进而调整挂轨式巡逻机器人的移动距离和云台相机的旋转角度，以得到在云台相机下的最佳入侵目标位置。本发明能够保证云台相机与固定式监控摄像头存在重叠视域，实现多类型相机的目标定位。

Description

一种基于多类型相机的目标定位方法及系统
技术领域
本发明涉及视频监控和机器人视觉领域，特别是涉及一种基于多类型相机的目标定位方法及系统。
背景技术
目前，传统安防系统主要依赖“人防”、“技防”和“物防”。“人防”，即以安保人员定期巡逻检查为主；“技防”主要以固定式监控摄像头搭配智能算法远程视频监控为主，典型的如“周界入侵检测系统”等；“物防”主要是以外墙、铁丝护网、围栏等实物的安防措施。
近些年人工智能、大数据、云计算、物联网等前沿技术迎来了爆发式的发展，使它们适应众多的场景和胜任更多的决策性任务，而不是局限于一些单一重复性的工作。为了满足现代化智能安防的需求，“机器人＋安防”的方案由此提出，即采用周界入侵检测系统监控沿线全线范围的入侵事件，由挂轨式巡逻机器人弥补固定式监控摄像头的视角死区，并提供固定式监控摄像头所不具备的感知手段。
在行人或异物周界入侵的场景下，沿线固定式监控摄像头存在重叠视域，通过特征匹配等方法实现目标交接，持续跟踪感兴趣目标。而挂轨式巡逻机器人一直处于巡线状态，无法保证与固定式监控摄像头存在重叠视域，因此如何在该场景下实现目标交接是实现机器人应用的必要前提。
发明内容
本发明的目的是提供一种基于多类型相机的目标定位方法及系统，保证云台相机与固定式监控摄像头存在重叠视域，实现多类型相机的目标定位。
为实现上述目的，本发明提供了如下方案：
一种基于多类型相机的目标定位方法，包括：
当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机；
根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度；
当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像；所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置；
基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
一种基于多类型相机的目标定位系统，包括：
齐次坐标确定模块，用于当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机；
移动位置确定模块，用于根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度；
入侵目标图像获取模块，用于当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像；所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置；
最佳入侵目标位置确定模块，用于基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于多类型相机的目标定位方法及系统，首先确定出了固定式监控相机坐标系到云台相机坐标系的变换矩阵，在此基础上，以保证云台相机与固定式监控摄像头存在重叠视域为目的，确定挂轨式巡逻机器人的移动距离和云台相机的旋转角度，实现多类型相机的目标定位，保障安防系统的安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明巡逻场景设备示意图；
图2为本发明多坐标系示意图；
图3为本发明固定式监控相机坐标系到云台相机坐标系的变换矩阵的确定原理图；
图4为本发明入侵目标空间位置图；
图5为本发明一种基于多类型相机的目标定位方法的流程图；
图6为本发明一种基于多类型相机的目标定位系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1所示，沿巡逻场景的外围护栏是由多根立柱11组成，且每根立柱11的顶端均安装有监控相机12；外围护栏架设有机器人轨道13，挂轨式巡逻机器人14在机器人轨道13上移动，监控相机12高出机器人轨道13一定距离以获得最佳视野；挂轨式巡逻机器人14下部装有二维的云台相机15。
以其中某个固定式监控相机为例，说明本实施例的具体实施细节。
首先对固定式监控相机坐标系和云台相机坐标系进行标定。
其次在轨道坐标系下，将挂轨式巡逻机器人停靠于某一初始位置
Figure 831398DEST_PATH_IMAGE001
。一般情况下，将初始位置
Figure 321154DEST_PATH_IMAGE001
设在固定式监控相机的正下方，使得固定式监控相机和云台相机处于同一垂线，即固定式监控相机的坐标为
Figure 865268DEST_PATH_IMAGE002
，
Figure 137987DEST_PATH_IMAGE003
为固定式监控相机与轨道的距离，云台相机的坐标为-
Figure 474159DEST_PATH_IMAGE004
，
Figure 541341DEST_PATH_IMAGE005
为云台相机与轨道的距离。
接着调整云台相机的转角，使得云台相机的朝向为轨道方向，设固定式监控相机坐标系为
Figure 488263DEST_PATH_IMAGE006
，云台相机坐标系为
Figure 626989DEST_PATH_IMAGE007
，轨道坐标系为
Figure 693034DEST_PATH_IMAGE008
以及世界坐标系
Figure 993434DEST_PATH_IMAGE009
，四者关系如图2所示。
然后将标定靶固定于某一处位置，使得在固定式监控相机和云台相机的成像空间内都能清晰可见标定靶。在成像空间内利用世界坐标系下角点坐标不变的特征，可以得到固定式监控相机坐标系到云台相机坐标系的变换矩阵，原理如图3所示。其中，
Figure 501688DEST_PATH_IMAGE010
是在世界坐标系中标定靶的坐标，
Figure 834318DEST_PATH_IMAGE011
为固定式监控相机相平面中
Figure 82766DEST_PATH_IMAGE010
的成像点，
Figure 491750DEST_PATH_IMAGE012
为云台相机相平面中
Figure 91228DEST_PATH_IMAGE010
的成像点。
现在需要求得固定式监控相机、云台相机到世界坐标系的旋转平移矩阵。设世界坐标系内标定靶的齐次坐标为
Figure 729731DEST_PATH_IMAGE013
，则在固定式监控相机坐标系下的齐次坐标为：
Figure 35947DEST_PATH_IMAGE014
（1）；
其中，
Figure 819095DEST_PATH_IMAGE015
为固定式监控相机坐标系到世界坐标系的旋转平移矩阵，通过相机标定可方便获得，
Figure 577973DEST_PATH_IMAGE016
为固定式监控相机坐标系中，齐次坐标下的比例系数，
Figure 268717DEST_PATH_IMAGE017
为固定式监控相机像素坐标系下标定靶的齐次坐标，
Figure 695019DEST_PATH_IMAGE018
为固定式监控相机的内参矩阵，即
Figure 445807DEST_PATH_IMAGE019
（2）；
其中，f为相机焦距，dx，dy分别为x、y方向单个像素与世界坐标系长度单位的换算系数，
Figure 697840DEST_PATH_IMAGE020
，
Figure 192275DEST_PATH_IMAGE021
为光轴与相平面交点的像素坐标。
Figure 269821DEST_PATH_IMAGE015
为固定式监控相机坐标系到世界坐标系的旋转平移矩阵，即
Figure 598034DEST_PATH_IMAGE022
（3）；
其中，
Figure 862662DEST_PATH_IMAGE023
为固定式监控相机坐标系到世界坐标系的旋转矩阵，
Figure 36155DEST_PATH_IMAGE024
为固定式监控相机坐标系到世界坐标系的平移矩阵。
对于云台相机来说，同理可得，
Figure 968208DEST_PATH_IMAGE025
（4）；
其中
Figure 795218DEST_PATH_IMAGE026
为云台相机坐标系到世界坐标系的旋转平移矩阵，
Figure 688088DEST_PATH_IMAGE027
为云台相机中，齐次坐标下的比例系数，
Figure 789905DEST_PATH_IMAGE028
为云台相机坐标系下标定靶角点的齐次坐标，
Figure 445971DEST_PATH_IMAGE029
为云台相机内参矩阵，可以通过标定得到。则
Figure 975041DEST_PATH_IMAGE030
（5）；
其中，-1表示矩阵的逆；设世界坐标系、云台相机坐标系以及轨道坐标系重合，即
Figure 355207DEST_PATH_IMAGE007
、
Figure 260715DEST_PATH_IMAGE008
和
Figure 511568DEST_PATH_IMAGE009
为同一坐标系，那么上式可化简为：
Figure 742698DEST_PATH_IMAGE031
（6）；
Figure 79001DEST_PATH_IMAGE032
为固定式监控相机坐标系到轨道坐标系的旋转平移矩阵。
Figure 257042DEST_PATH_IMAGE033
（7）；
其中，
Figure 221456DEST_PATH_IMAGE034
表示矩阵的伪逆。
在得到固定式监控相机坐标系到轨道坐标系的旋转平移矩阵后，根据挂轨式巡逻机器人沿轨道的移动距离和云台相机的转角关系，可以得到任一时刻云台相机坐标系与轨道坐标系的变换关系。
设任意时刻挂轨式巡逻机器人处于轨道
Figure 826749DEST_PATH_IMAGE035
的位置，该时刻云台相机相对于轨道坐标系较初始时刻的x，y轴的转角为
Figure 515263DEST_PATH_IMAGE036
，那么任意时刻由固定式监控相机坐标系到云台相机坐标系的变换矩阵
Figure 28152DEST_PATH_IMAGE037
为：
Figure 581494DEST_PATH_IMAGE038
（8）；
Figure 29792DEST_PATH_IMAGE039
（9）。
Figure 730901DEST_PATH_IMAGE040
为t时刻固定式监控相机坐标系到轨道坐标系的旋转矩阵，
Figure 985165DEST_PATH_IMAGE041
为t时刻固定式监控相机坐标系到轨道坐标系的平移矩阵。
当周界入侵检测系统检测到入侵目标时，通过对比入侵目标尺寸和知识库中样本目标的典型尺寸，确定出入侵目标类型信息，估算入侵目标与固定式监控相机的距离。设该入侵目标在固定式监控相机坐标系下的齐次坐标为
Figure 596275DEST_PATH_IMAGE042
，像素坐标系下的齐次坐标为
Figure 808950DEST_PATH_IMAGE043
，在云台相机坐标系下的齐次坐标为
Figure 872721DEST_PATH_IMAGE044
，则有以下关系成立。
Figure 213833DEST_PATH_IMAGE045
（10）；
其中，含有9个未知数，分别为
Figure 335242DEST_PATH_IMAGE016
、
Figure 656502DEST_PATH_IMAGE046
、
Figure 676410DEST_PATH_IMAGE047
、
Figure 334794DEST_PATH_IMAGE048
、
Figure 779550DEST_PATH_IMAGE049
、
Figure 802870DEST_PATH_IMAGE035
、
Figure 434709DEST_PATH_IMAGE050
、
Figure 105905DEST_PATH_IMAGE051
、
Figure 546113DEST_PATH_IMAGE052
，其中，
Figure 943596DEST_PATH_IMAGE016
可通过查询知识库获得该种类型入侵目标的典型尺寸，并通过小孔成像原理估算得到，
Figure 531573DEST_PATH_IMAGE046
、
Figure 531759DEST_PATH_IMAGE047
可通过周界入侵检测系统直接获得入侵目标的像素坐标。另外，根据挂轨式巡逻机器人自身配置、相机分辨率、目标属性以及当前路段的位置等相关信息可以给定一个目标最佳观测距离，在本实施例中，设定挂轨式巡逻机器人与入侵目标的直线距离为
Figure 888791DEST_PATH_IMAGE053
米，且应当使得目标点处于成像平面的中心以获得最大成像空间，位置关系如图4所示，则可设
Figure 191596DEST_PATH_IMAGE050
=0、
Figure 63606DEST_PATH_IMAGE054
、
Figure 70745DEST_PATH_IMAGE055
。求解公式（10）即可得到挂轨式巡逻机器人的移动距离
Figure 282283DEST_PATH_IMAGE035
和云台相机的转角
Figure 343606DEST_PATH_IMAGE048
、
Figure 578278DEST_PATH_IMAGE049
。
通过上述位置转换关系，即可与固定式监控相机形成重叠视域，在重叠视域中进行目标匹配，以完成目标交接，同样的，由云台相机到固定式监控相机的目标交接可由上述计算过程的逆运算得到。
本实施例提供的一种基于多类型相机的目标定位方法，如图5所示，包括：
步骤100：当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机。
此步骤100具体包括：
当周界入侵检测系统检测到入侵目标时，通过对比入侵目标尺寸和知识库中样本目标的典型尺寸，确定出入侵目标类型信息，估算出入侵目标与固定式监控相机的距离，进而确定所述入侵目标在固定式监控相机坐标系下的齐次坐标。
步骤200：根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算挂轨式巡逻机器人的移动距离和云台相机的旋转角度。
此步骤200具体包括：
根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，确定所述入侵目标在固定式监控相机像素坐标系下的齐次坐标；
确定挂轨式巡逻机器人与入侵目标的目标直线距离；
基于所述目标直线距离、所述入侵目标在固定式监控相机像素坐标系下的齐次坐标、以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算挂轨式巡逻机器人的移动距离和云台相机的旋转角度。
其计算应用的公式参见公式（10）、（8）和（7）。
其中，t时刻所述固定式监控相机坐标系到云台相机坐标系的变换矩阵为：
Figure 857950DEST_PATH_IMAGE056
；
其中，
Figure 986312DEST_PATH_IMAGE057
为固定式监控相机坐标系到轨道坐标系的旋转平移矩阵；
Figure 896499DEST_PATH_IMAGE058
为t时刻固定式监控相机坐标系到云台相机坐标系的旋转平移矩阵；
Figure 946364DEST_PATH_IMAGE059
为挂轨式巡逻机器人的移动距离；
Figure 826464DEST_PATH_IMAGE060
为所述云台相机相对于轨道坐标系x轴的旋转角度；
Figure 747015DEST_PATH_IMAGE061
为所述云台相机相对于轨道坐标系y轴的旋转角度。
步骤300：当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像。所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置。
步骤400：基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
所述基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，具体包括：
基于所述固定式监控相机拍摄的入侵目标图像和入侵目标类型信息，确定入侵目标颜色特征直方图模型和背景颜色特征直方图模型；
基于入侵目标颜色特征直方图模型和背景颜色特征直方图模型，对所述云台相机拍摄的入侵目标图像进行区域，确定掩膜图；
基于所述掩膜图和SIFT特征，确定在所述云台相机下的入侵目标位置。
入侵目标匹配过程是将颜色外观模型和SIFT特征结合，以实现实时入侵目标交接。实现过程如下。
先将当前入侵目标的彩色图像从RGB颜色空间映射到颜色名称（Color Name）空间，设映射函数为：
Figure 562524DEST_PATH_IMAGE062
（11）；
在颜色名称空间下，建立入侵目标颜色特征直方图模型
Figure 636703DEST_PATH_IMAGE063
，为：
Figure 992598DEST_PATH_IMAGE064
（12）；
同时建立背景颜色特征直方图模型
Figure 298814DEST_PATH_IMAGE065
，
Figure 754066DEST_PATH_IMAGE066
表示
Figure 575261DEST_PATH_IMAGE067
处像素映射为颜色名称后属于何种颜色名称，
Figure 426DEST_PATH_IMAGE068
为与搜索窗尺寸相等的汉宁窗滤波器。
在云台相机的图像中心设置局部搜索窗，在局部搜索窗内估计入侵目标存在的概率分布
Figure 98832DEST_PATH_IMAGE069
，为：
Figure 318461DEST_PATH_IMAGE070
（13）；
进而得到入侵目标概率分布图
Figure 626951DEST_PATH_IMAGE071
，设定阈值
Figure 262332DEST_PATH_IMAGE072
以对入侵目标概率分布图
Figure 91877DEST_PATH_IMAGE071
进行0-1二值化，得到掩膜图
Figure 154511DEST_PATH_IMAGE073
。将掩膜图
Figure 684718DEST_PATH_IMAGE073
与云台相机图像中局部搜索窗内的图像进行点乘，得到精简后的局部搜索窗图像。在精简后的局部搜索窗内提取SIFT特征并利用RANSAC算法筛选关键点，进而得到在云台相机下的入侵目标位置，进而完成目标交接。
进一步地，本实施例提供的方法，还包括：
根据所述入侵目标在云台相机坐标系下的齐次坐标，以及云台相机坐标系到固定式监控相机坐标系的变换矩阵，确定在所述固定式监控相机下的入侵目标位置。
其中，云台相机坐标系到固定式监控相机坐标系的变换矩阵为固定式监控相机坐标系到云台相机坐标系的变换矩阵的逆矩阵。
实施例二
如图6所示，本实施例提供的一种基于多类型相机的目标定位系统，包括：
齐次坐标确定模块1，用于当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机。
移动位置确定模块2，用于根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度。
入侵目标图像获取模块3，用于当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像；所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置。
最佳入侵目标位置确定模块4，用于基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
进一步地，还包括：入侵目标位置更新模块，用于根据所述入侵目标在云台相机坐标系下的齐次坐标，以及云台相机坐标系到固定式监控相机坐标系的变换矩阵，确定在所述固定式监控相机下的入侵目标位置。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于多类型相机的目标定位方法，其特征在于，包括：
当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机；
根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度；
当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像；所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置；
基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
2.根据权利要求1所述的一种基于多类型相机的目标定位方法，其特征在于，所述当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标，具体包括：
当周界入侵检测系统检测到入侵目标时，通过对比入侵目标尺寸和知识库中样本目标的典型尺寸，确定入侵目标类型信息，估算出所述入侵目标与固定式监控相机的距离，进而确定所述入侵目标在固定式监控相机坐标系下的齐次坐标。
3.根据权利要求1所述的一种基于多类型相机的目标定位方法，其特征在于，所述根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，具体包括：
根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，确定所述入侵目标在固定式监控相机像素坐标系下的齐次坐标；
确定所述挂轨式巡逻机器人与所述入侵目标的目标直线距离；
基于所述目标直线距离、所述入侵目标在固定式监控相机像素坐标系下的齐次坐标、以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度。
4.根据权利要求3所述的一种基于多类型相机的目标定位方法，其特征在于，t时刻所述固定式监控相机坐标系到云台相机坐标系的变换矩阵为：
Figure 943906DEST_PATH_IMAGE001
；
其中，
Figure 546926DEST_PATH_IMAGE002
为固定式监控相机坐标系到轨道坐标系的旋转平移矩阵；
Figure 987134DEST_PATH_IMAGE003
为t时刻固定式监控相机坐标系到云台相机坐标系的旋转平移矩阵；
Figure 384617DEST_PATH_IMAGE004
为挂轨式巡逻机器人的移动距离；
Figure 910277DEST_PATH_IMAGE005
为所述云台相机相对于轨道坐标系x轴的旋转角度；
Figure 316987DEST_PATH_IMAGE006
为所述云台相机相对于轨道坐标系y轴的旋转角度。
5.根据权利要求2所述的一种基于多类型相机的目标定位方法，其特征在于，所述基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，具体包括：
基于所述固定式监控相机拍摄的入侵目标图像和所述入侵目标类型信息，确定入侵目标颜色特征直方图模型和背景颜色特征直方图模型；
基于入侵目标颜色特征直方图模型和背景颜色特征直方图模型，对所述云台相机拍摄的入侵目标图像进行区域，确定掩膜图；
基于所述掩膜图和SIFT特征，确定在所述云台相机下的入侵目标位置。
6.根据权利要求5所述的一种基于多类型相机的目标定位方法，其特征在于，所述基于入侵目标颜色特征直方图模型和背景颜色特征直方图模型，对所述云台相机拍摄的入侵目标图像进行区域，确定掩膜图，具体包括：
基于入侵目标颜色特征直方图模型和背景颜色特征直方图模型，对所述云台相机拍摄的入侵目标图像进行区域，得到入侵目标概率分布图；
对所述入侵目标概率分布图进行二值化处理，得到掩膜图。
7.根据权利要求5所述的一种基于多类型相机的目标定位方法，其特征在于，基于所述掩膜图和SIFT特征，确定在所述云台相机下的入侵目标位置，具体包括：
基于所述掩膜图对所述云台相机拍摄的入侵目标图像进行处理，得到处理后的入侵目标图像；
对处理后的入侵目标图像进行SIFT特征提取；
基于提取得到的SIFT特征和RANSAC算法筛选入侵目标关键点；
基于筛选得到的入侵目标关键点，确定在所述云台相机下的入侵目标位置。
8.根据权利要求5所述的一种基于多类型相机的目标定位方法，其特征在于，还包括：根据所述入侵目标在云台相机坐标系下的齐次坐标，以及云台相机坐标系到固定式监控相机坐标系的变换矩阵，确定在所述固定式监控相机下的入侵目标位置。
9.一种基于多类型相机的目标定位系统，其特征在于，包括：
齐次坐标确定模块，用于当周界入侵检测系统检测到入侵目标时，获取所述入侵目标在固定式监控相机坐标系下的齐次坐标；所述固定式监控相机安装在立柱的顶端；挂轨式巡逻机器人安装在垂直于所述立柱的轨道上；所述挂轨式巡逻机器人下部装有云台相机；
移动位置确定模块，用于根据所述入侵目标在固定式监控相机坐标系下的齐次坐标，以及固定式监控相机坐标系到云台相机坐标系的变换矩阵，计算所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度；
入侵目标图像获取模块，用于当所述挂轨式巡逻机器人移动至第一指定位置且所述云台相机按照旋转至第二指定位置时，获取所述云台相机拍摄的入侵目标图像；所述第一指定位置为所述挂轨式巡逻机器人按照所述移动距离移动后所在的位置；所述第二指定位置为所述云台相机按照所述旋转角度旋转后所在的位置；
最佳入侵目标位置确定模块，用于基于所述固定式监控相机拍摄的入侵目标图像和所述云台相机拍摄的入侵目标图像，确定在所述云台相机下的入侵目标位置，并基于所述云台相机下的入侵目标位置，调整所述挂轨式巡逻机器人的移动距离和所述云台相机的旋转角度，以得到在所述云台相机下的最佳入侵目标位置。
10.根据权利要求9所述的一种基于多类型相机的目标定位系统，其特征在于，还包括：入侵目标位置更新模块，用于根据所述入侵目标在云台相机坐标系下的齐次坐标，以及云台相机坐标系到固定式监控相机坐标系的变换矩阵，确定在所述固定式监控相机下的入侵目标位置。
CN202210977659.7A 2022-08-16 2022-08-16 一种基于多类型相机的目标定位方法及系统 Active CN115052109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210977659.7A CN115052109B (zh) 2022-08-16 2022-08-16 一种基于多类型相机的目标定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210977659.7A CN115052109B (zh) 2022-08-16 2022-08-16 一种基于多类型相机的目标定位方法及系统

Publications (2)

Publication Number Publication Date
CN115052109A CN115052109A (zh) 2022-09-13
CN115052109B true CN115052109B (zh) 2022-11-29

Family

ID=83166373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210977659.7A Active CN115052109B (zh) 2022-08-16 2022-08-16 一种基于多类型相机的目标定位方法及系统

Country Status (1)

Country Link
CN (1) CN115052109B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340651A (zh) * 2011-07-28 2012-02-01 上海高位安全网络管理有限公司 移动式巡逻监视系统
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN107169401A (zh) * 2017-02-10 2017-09-15 北京交通大学 基于轨道视觉特征谱的轨道入侵物检测方法
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
CN109872483A (zh) * 2019-02-22 2019-06-11 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种入侵警戒光电监测系统及方法
EP3518063A1 (en) * 2018-01-25 2019-07-31 Nokia Technologies Oy Combined video display and gimbal control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340651A (zh) * 2011-07-28 2012-02-01 上海高位安全网络管理有限公司 移动式巡逻监视系统
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
CN107169401A (zh) * 2017-02-10 2017-09-15 北京交通大学 基于轨道视觉特征谱的轨道入侵物检测方法
EP3518063A1 (en) * 2018-01-25 2019-07-31 Nokia Technologies Oy Combined video display and gimbal control
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
CN109872483A (zh) * 2019-02-22 2019-06-11 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种入侵警戒光电监测系统及方法

Also Published As

Publication number Publication date
CN115052109A (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN109460740B (zh) 基于ais与视频数据融合的船舶身份识别方法
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
CN105611244B (zh) 一种基于球机监控视频的机场外来异物检测方法
US9286678B2 (en) Camera calibration using feature identification
CN109598794B (zh) 三维gis动态模型的构建方法
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
CN107038683B (zh) 运动目标的全景成像方法
CN115439424A (zh) 一种无人机航拍视频图像智能检测方法
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
Li et al. Panoramic image mosaic technology based on sift algorithm in power monitoring
CN111783675A (zh) 基于车辆语义感知的智慧城市视频自适应hdr控制方法
CN112637519A (zh) 多路4k准实时拼接视频的全景拼接算法
CN111161305A (zh) 无人机智能识别追踪方法及系统
CN114511592A (zh) 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统
CN115052109B (zh) 一种基于多类型相机的目标定位方法及系统
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
CN113743380A (zh) 一种基于视频图像动态监测的主动跟踪方法
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置
CN111291609A (zh) 一种机场围界巡检机器人动态背景目标检测方法
CN106780312B (zh) 基于sift匹配的图像空间与地理场景自动映射方法
CN116912517B (zh) 相机视野边界的检测方法及装置
CN113536846B (zh) 一种跨摄像头人员追踪智能分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant