CN111640141B - 一种基于热成像的低慢目标定位跟踪方法 - Google Patents
一种基于热成像的低慢目标定位跟踪方法 Download PDFInfo
- Publication number
- CN111640141B CN111640141B CN202010434404.7A CN202010434404A CN111640141B CN 111640141 B CN111640141 B CN 111640141B CN 202010434404 A CN202010434404 A CN 202010434404A CN 111640141 B CN111640141 B CN 111640141B
- Authority
- CN
- China
- Prior art keywords
- photoelectric
- thermal imaging
- target
- moving target
- turntable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001931 thermography Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 102220153936 rs201718910 Human genes 0.000 description 1
- 102220170903 rs61737298 Human genes 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于热成像的低慢目标定位跟踪方法，本方法基于两台标定好的光电转台及运动目标与光电转台的几何关系计算运动目标的三维坐标信息，从而实现运动目标的定位跟踪，本方法易于实施，准确性高。
Description
技术领域
本发明涉及一种基于热成像的低慢目标定位跟踪方法，属于飞行目标跟踪技术领域。
背景技术
温度超过绝对零度即-273℃的所有物体都会辐射热，也就是常说的热辐射，热成像就是借助于目标的热辐射以得到其热图的一项技术，所得到的热图像是一张不同灰度的图片，可以量化目标的热变化。
随着近些年以无人机为代表的低慢目标数量的不断增长，尤其是消费级无人机的市场井喷，其带来的黑飞、恐怖活动威胁等安全防控问题日益突出，如2017年重庆机场大面积停飞的无人机干扰事件等。不但造成了恶劣的社会影响，而且也威胁着社会安全。
为了解决这个问题，相应的无人机反制系统应运而生。这些系统一般包括目标探测、锁定和跟踪、干扰或捕获、毁伤等部分，目标探测一般采用雷达或频谱探测仪，锁定和跟踪一般采用光电设备，干扰一般采用无线电干扰设备实现，捕获通过无人机飞近射网实现，毁伤一般采用远距离激光照射实现。这三个部分相辅相成，前一部分为后一部分服务，锁定和跟踪部分除了用于目标观察，主要还是为干扰、捕获、毁伤提供准确的目标方位。为了获得准确的目标三维坐标，有些系统通过使用激光测距机测算目标距离，但由于目标小、距离远，而且是活动的，尤其还存在急停、急转等情况，使得测距机很难将激光对准目标，因此难以实时提供目标的准确三维坐标。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于热成像的低慢目标定位跟踪系统，不需要激光测距，通过两台光电转台和相应的方位信息就能准确获得目标的三维坐标信息。
为了解决所述技术问题，本发明采用的技术方案是：一种基于热成像的低慢目标定位跟踪方法，包括以下步骤：
S01)、将两台光电转台固定，记录两台光电转台各自位置的经纬度、海拔高度以及两台光电转台之间的距离，并进行统一指北标定；
S02)、将光电转台热成像摄像机采集的视频图像数字化；
S03)、利用帧间差分法检测出图像中运动目标的大致位置，并结合轮廓检测算法，确定当前帧图像中运动目标的准确位置；
S04)、根据运动目标在热成像摄像机图像中的位置以及热成像镜头的视场角计算出运动目标偏离光电转台中心的角度，再结合光电转台的水平转角、俯仰转角，计算出以光电转台为原点，运动目标和水平面的夹角；
S05)、根据两台光电转台的水平转角、转台之间的距离以及海拔高度差，计算出光电转台到运动目标在水平面投影的距离，进一步计算出光电转台到运动目标的距离及运动目标相对于水平面的高度；
S06)、根据已知的光电转台经纬度和海拔高度，结合计算出的光电转台到运动目标的距离及运动目标相对于水平面的高度，可以计算出运动目标的经纬度和海拔高度，得到目标的空间位置。
进一步的，步骤S02中，视频图像数字化的格式是YUV。
进一步的，在进行帧间差分前，从YUV数据中把Y信号分离出来，得到仅含有Y信号分量的Y数据，使用帧间差分对Y数据进行运动目标加测。
进一步的，两台光电转台在同一或者不同水平面上。
本发明的有益效果：本发明基于两台标定好的光电转台及运动目标与光电转台的几何关系计算运动目标的三维坐标信息，从而实现运动目标的定位跟踪，本方法易于实施，准确性高。
附图说明
图1为本方法的流程图；
图2为帧间差分流程图；
图3为计算运动目标偏移光电转台中心角度的示意图；
图4为计算运动目标三维坐标的数学模型。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种基于热成像的低慢目标定位跟踪方法，如图1所示，包括以下步骤：
S01)、将两台装有热成像摄像机的光电转台进行固定，两台光电转台可以在同一水平面，也可以在不同水平面，本实施例以不在同一水平面为例，假设两台光电转台分别为光电转台A和光电转台B。固定后分别记录A和B的经纬度、海拔高度以及A和B之间的直线距离。为了使两台光电转台转角一致，还需要对光电转台进行指北标定，将正北标定为零点。
S02)、将光电转台热成像摄像机采集的视频图像数字化，为了方便处理，视频图像数字化的格式是YUV。对于监控设备，如摄像机采集的视频首先进行数字化，可以方便后续的处理，数字化的图像非常容易变换成位图或者二值化而变成黑白图片。
YUV是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R－Y(即U)、B－Y(即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。由于亮度信号Y与其它信号可以分离，其后续处理将会非常方便。
S03)、为提高算法运行效率，将YUV数据中的Y信号分量分离出来，进一步减少数据运算量；
S04)、如图2所示，使用帧间差分法对Y数据进行运动目标检测，假设连续的三帧图像分别为Y1，Y2，Y3，计算相邻两帧的图像差Y21与Y32，其中Y21＝Y2-Y1，Y32＝Y3-Y2，再将Y21与Y32进行二值化，取二值化阈值为T，将大于T的像素置1，小于等于T的像素置0，得到二值化后的Y’21与Y’32，再将Y’21与Y’32做逻辑与运算，得到的二值图像Y321，图像中值为1的像素即为运动目标位置，最后对图像做连通域检测，确定目标空间位置；
S05)、如图3所示，假设B为光电转台，C点为运动目标，E为热成像摄像机图像最左侧垂直方向上的中点，F为图像最右侧垂直方向上的中点，则在已知热成像摄像机水平视场角∠EBF以及C点相对图像中心线BO点的水平偏移CM的情况下，很容易求得C点的相对中心线BO的水平偏移角∠CBM：
类似的可求得C点的垂直偏移角∠CBN。
光电转台的方位角是指图像中心线BO在水平方向上与正北之间的夹角，光电转台的俯仰角是指图像中心线BO在垂直方向上与水平面之间的夹角，在转台进行水平安装及正北校正后，通过读转台里的水平和垂直编码器的值可知光电转台的方位角及俯仰角，再结合上述求出的C点相对于图像中心线BO的水平角∠CBM和垂直偏移角∠CBN，最终求出运动目标C点与转台B之间的方位角及俯仰角，即根据C点在图像中心点O的左边或右边，光电转台方位角减去或加上∠CBM，求出运动目标C点与转台B之间的方位角，根据C点在图像中心点O的上面或下面，光电转台俯仰角加上或减去∠CBN，求出运动目标C点与转台B之间的俯仰角。结合图4，对于光电转台B来说，C’为运动目标C在设备B点所在水平面的投影点，目标C的俯仰角即为∠CBC'。
S06)、根据已知的光电转台经纬度和海拔高度，结合计算出的光电转台到运动目标的距离及运动目标相对于水平面的高度，可以计算出运动目标的经纬度和海拔高度，得到目标的空间位置。
如图4所示，假设光电转台A位置高于光电转台B，AA'为高出的距离，A'为设备A在设备B水平面上的投影点，C'为运动目标C在设备B水平面上的投影点。面A'C'B为水平面，因为光电转台A、B是固定安装的，因此AB的距离和AA'的高度是已知的，由此可求出的A'B长度。
因为光电转台都进行了正北标定，因此A'B与正北之间的夹角是已知的，再根据目标C相对于转台A的正北方位角也是已知的，即C'A'与正北之间的夹角是已知的，即可求出∠BA'C'。类似的，可求出∠A'BC'，则∠A'C'B＝360°—∠BA'C'—∠A'BC'，进一步可求出BC'长度：
结合步骤S05步求出的∠CBC'，最终求出CC'长度即目标相对于设备B的高度和BC长度即目标和设备B之间的距离；
S07)、根据已知的光电转台B的经纬度及海拔高度，利用成熟的目标位置解算算法，求出运动目标C的三维坐标。
本发明基于两台标定好的光电转台及运动目标与光电转台的几何关系计算运动目标的三维坐标信息，从而实现运动目标的定位跟踪，本方法易于实施，准确性高。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改机和替换，属于本发明的保护范围。
Claims (4)
1.一种基于热成像的低慢目标定位跟踪方法，其特征在于：包括以下步骤：
S01）、将两台光电转台固定，记录两台光电转台各自位置的经纬度、海拔高度以及两台光电转台之间的距离，并进行统一指北标定；
S02）、将光电转台热成像摄像机采集的视频图像数字化；
S03）、利用帧间差分法检测出图像中运动目标的大致位置，并结合轮廓检测算法，确定当前帧图像中运动目标的准确位置；
S04）、根据运动目标在热成像摄像机图像中的位置以及热成像镜头的视场角计算出运动目标偏离光电转台中心的角度，再结合光电转台的水平转角、俯仰转角，计算出以光电转台为原点，运动目标和水平面的夹角；
S05）、根据两台光电转台的水平转角、转台之间的距离以及海拔高度差，计算出光电转台到运动目标在水平面投影的距离，进一步计算出光电转台到运动目标的距离及运动目标相对于水平面的高度；
S06）、根据已知的光电转台经纬度和海拔高度，结合计算出的光电转台到运动目标的距离及运动目标相对于水平面的高度，可以计算出运动目标的经纬度和海拔高度，得到目标的空间位置。
2.根据权利要求1所述的基于热成像的低慢目标定位跟踪方法，其特征在于：步骤S02中，视频图像数字化的格式是YUV。
3.根据权利要求2所述的基于热成像的低慢目标定位跟踪方法，其特征在于：在进行帧间差分前，从YUV数据中把Y信号分离出来，得到仅含有Y信号分量的Y数据，使用帧间差分对Y数据进行运动目标加测。
4.根据权利要求1所述的基于热成像的低慢目标定位跟踪方法，其特征在于：两台光电转台在同一或者不同水平面上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434404.7A CN111640141B (zh) | 2020-05-20 | 2020-05-20 | 一种基于热成像的低慢目标定位跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434404.7A CN111640141B (zh) | 2020-05-20 | 2020-05-20 | 一种基于热成像的低慢目标定位跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640141A CN111640141A (zh) | 2020-09-08 |
| CN111640141B true CN111640141B (zh) | 2023-10-24 |
Family
ID=72331514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010434404.7A Active CN111640141B (zh) | 2020-05-20 | 2020-05-20 | 一种基于热成像的低慢目标定位跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640141B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112268523A (zh) * | 2020-10-09 | 2021-01-26 | 华中科技大学鄂州工业技术研究院 | 一种激光三维测量装置及测量方法 |
| CN112835021B (zh) * | 2020-12-31 | 2023-11-14 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置、系统及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795400A (zh) * | 2010-03-16 | 2010-08-04 | 上海复控华龙微系统技术有限公司 | 一种婴幼儿主动跟踪监护的方法及其实现系统 |
| CN102455425A (zh) * | 2010-10-20 | 2012-05-16 | 银河港(北京)技术有限公司 | 一种全视景光电雷达及利用地面目标图像定位的扫描方法 |
| CN104065925A (zh) * | 2013-07-22 | 2014-09-24 | 南通大学 | 功耗低的基于dsp的相关跟踪方法 |
| CN105953771A (zh) * | 2016-06-14 | 2016-09-21 | 西安中科光电精密工程有限公司 | 一种主动式经纬仪系统及测量方法 |
| CN106204633A (zh) * | 2016-06-22 | 2016-12-07 | 广州市保伦电子有限公司 | 一种基于计算机视觉的学生跟踪方法和装置 |
| WO2017000765A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技（杭州）有限公司 | 一种目标跟踪装置及目标跟踪方法 |
| CN106941600A (zh) * | 2015-12-29 | 2017-07-11 | 哈尔滨恒誉名翔科技有限公司 | 一种目标跟踪系统 |
| CN109212545A (zh) * | 2018-09-19 | 2019-01-15 | 长沙超创电子科技有限公司 | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7239719B2 (en) * | 2003-08-22 | 2007-07-03 | Bbn Technologies Corp. | Automatic target detection and motion analysis from image data |
-
2020
- 2020-05-20 CN CN202010434404.7A patent/CN111640141B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101795400A (zh) * | 2010-03-16 | 2010-08-04 | 上海复控华龙微系统技术有限公司 | 一种婴幼儿主动跟踪监护的方法及其实现系统 |
| CN102455425A (zh) * | 2010-10-20 | 2012-05-16 | 银河港(北京)技术有限公司 | 一种全视景光电雷达及利用地面目标图像定位的扫描方法 |
| CN104065925A (zh) * | 2013-07-22 | 2014-09-24 | 南通大学 | 功耗低的基于dsp的相关跟踪方法 |
| WO2017000765A1 (zh) * | 2015-06-30 | 2017-01-05 | 芋头科技（杭州）有限公司 | 一种目标跟踪装置及目标跟踪方法 |
| CN106941600A (zh) * | 2015-12-29 | 2017-07-11 | 哈尔滨恒誉名翔科技有限公司 | 一种目标跟踪系统 |
| CN105953771A (zh) * | 2016-06-14 | 2016-09-21 | 西安中科光电精密工程有限公司 | 一种主动式经纬仪系统及测量方法 |
| CN106204633A (zh) * | 2016-06-22 | 2016-12-07 | 广州市保伦电子有限公司 | 一种基于计算机视觉的学生跟踪方法和装置 |
| CN109212545A (zh) * | 2018-09-19 | 2019-01-15 | 长沙超创电子科技有限公司 | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640141A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10234873B2 (en) | Flight device, flight control system and method | |
| CN111640141B (zh) | 一种基于热成像的低慢目标定位跟踪方法 | |
| CN102693603B (zh) | 一种基于双光谱的森林防火智能监控系统 | |
| CN107917695B (zh) | 一种基于图像识别技术的房屋倾斜监测方法 | |
| CN109212545A (zh) | 基于主动视觉的多信源目标跟踪测量系统及跟踪方法 | |
| CN110632589B (zh) | 一种雷达光电信息融合技术 | |
| CN104754302A (zh) | 一种基于枪球联动系统的目标检测跟踪方法 | |
| CN107580163A (zh) | 一种双镜头黑光摄像机 | |
| WO2020000369A1 (en) | Multimodal imaging sensor calibration method for accurate image fusion | |
| CN105741261B (zh) | 一种基于四摄像头的平面多目标定位方法 | |
| CN107038714B (zh) | 多型视觉传感协同目标跟踪方法 | |
| KR20190076188A (ko) | Lwir 및 swir를 이용한 융합 듀얼 ir 카메라 및 영상융합 알고리즘 | |
| CN110858892A (zh) | 岸岛观测系统 | |
| CN113411501A (zh) | 基于嵌入式及双光谱成像的无人机载电力巡检方法及系统 | |
| CN114973028A (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN117173601B (zh) | 光伏电站阵列热斑识别方法和系统 | |
| CN113743286A (zh) | 一种多源信号融合的目标监测系统及方法 | |
| Savoy et al. | Geo-referencing and stereo calibration of ground-based whole sky imagers using the sun trajectory | |
| US20130235198A1 (en) | Image processing | |
| CN106131482A (zh) | 无人载体光电系统目标捕获系统及方法 | |
| CN212989654U (zh) | 一种光电雷达一体化指向器 | |
| CN109447984B (zh) | 一种基于图像处理的抗干扰滑坡监测方法 | |
| WO2021124657A1 (ja) | カメラシステム | |
| CN103986917A (zh) | 多视角热像监控系统 | |
| CN111932818A (zh) | 一种复合型图像火灾探测器及其探测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |