CN113411478B - 一种用于空中光电监视系统的跨探测器多视窗漫游方法 - Google Patents

一种用于空中光电监视系统的跨探测器多视窗漫游方法 Download PDF

Info

Publication number
CN113411478B
CN113411478B CN202110671255.0A CN202110671255A CN113411478B CN 113411478 B CN113411478 B CN 113411478B CN 202110671255 A CN202110671255 A CN 202110671255A CN 113411478 B CN113411478 B CN 113411478B
Authority
CN
China
Prior art keywords
detector
window
field
view
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110671255.0A
Other languages
English (en)
Other versions
CN113411478A (zh
Inventor
刘国栋
张卫国
庞澜
范鹏程
徐晓枫
黄维东
韩琪
宁路锐
何鹏
施道云
吴英春
惠进
王马强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian institute of Applied Optics
Original Assignee
Xian institute of Applied Optics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian institute of Applied Optics filed Critical Xian institute of Applied Optics
Priority to CN202110671255.0A priority Critical patent/CN113411478B/zh
Publication of CN113411478A publication Critical patent/CN113411478A/zh
Application granted granted Critical
Publication of CN113411478B publication Critical patent/CN113411478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明空基光电监视领域，公开了一种用于空中光电监视系统的跨探测器多视窗漫游方法，多个高分辨率探测器重叠区域大于单个视窗的大小，通过多个高分辨率探测器重叠区域的无拼接过渡，完成视窗的无缝漫游。在跨视场拼接时，由于没有采用拼接的方式，避免了视窗拼接时的错位、接缝现象，同时节省了计算资源，提高了系统的实时性，该方法可以向多个用户提供侦察监视视频，满足大范围高清监视需求。

Description

一种用于空中光电监视系统的跨探测器多视窗漫游方法
技术领域
本发明属于空基光电监视技术领域，涉及一种用于大范围高分辨率高实时性光电系统的多路视窗跨探测器实时漫游方法，该方法可以向多个用户实时提供侦察监视视频，满足大范围高清监视需求。
背景技术
军事作战越来越依赖于持久的监视以期获得作战战区内的详细信息。持久性、广域成像监视、高分辨率已成为对光电成像装备能力的新需求。传统的高分辨率目标侦察光电设备视场角小，难以在广泛区域内展开实时侦察监视，而广角相机的分辨率通常较低不足以识别目标，已不能满足现代战争对情报的全面性、准确性、快速性要求。为此，需要发展具有非常宽广的覆盖范围，且分辨率还要满足目标识别与精确跟踪的要求的大范围高分辨率光电监视系统。对于任何机载光电系统，无线数据链带宽和传输速率总是限制系统性能发挥的瓶颈。大范围高分辨率光电监视系统可以覆盖广大区域，即使所有图像可以完全传输至地面站，一个操作者也无法关注全部图像，因此其必然是多用户系统。为每一个用户开一个视窗，不仅可以减轻操作者压力，还可以减轻数据链压力。每个视窗中都可以实现缩放、漫游、跟踪等功能，系统具有视窗数量多、功能多、各视窗功能独立的特点。
目前大范围高分辨率光电监视系统多是基于多个探测器视场拼接的原理，传统的视窗漫游方法多是针对单幅图像或者单个传感器，不能满足在多个探测器视场拼接的情况下的漫游需求。
发明内容
(一)发明目的
本发明的目的是：为满足基于多个相机视场拼接的空基成像监视系统为多个用户提供监视视窗进行监视的需求，提供一种跨探测器小视窗漫游方法，通过多个大面阵传感器重叠区域的无拼接过渡，完成视窗的无缝漫游。
(二)技术方案
为了解决上述技术问题，本发明提供一种用于空中光电监视系统的跨探测器多视窗漫游方法，包括以下步骤：
步骤一：结合现有光学设计能力和后端电路处理能力选用多个例如5K×4K等大小的大面阵探测器，矩阵型排列形成对地面区域的大范围高分辨率监视，重叠区域大于640×480像素，即1个视窗的大小；选择一个大视场探测器，覆盖探测器阵列的整个视场。
步骤二：预先对各个探测器像素坐标进行配准。采用常规的选取特征目标的配准方法，将子探测器像素坐标统一到同一平面坐标系，形成整体像素坐标。
步骤三：操作员在地面控制站显示屏画面上点选要开窗的位置，地面控制站将开窗位置的屏幕坐标映射到像素坐标，并向光电设备请求下传该区域的视频数据。
步骤四：光电设备接收开窗指令在相应位置进行开窗。
步骤五：操作员通过地面操纵杆向光电设备发送开窗位置偏差值，控制视窗在全局视场内漫游。
步骤六：当视窗完全进入多个探测器的重叠视场区域后，光电设备根据目标运动趋势，预测视窗将要进入的探测器视场位置，并从该探测器获取视频；完成视窗数据从一个探测器过渡到另外一个探测器，不需要拼接；完成对目标的跨探测器跟踪。
(三)有益效果
上述技术方案所提供的用于空中光电监视系统的跨探测器多视窗漫游方法，具有以下有益效果：
(1)舍弃传统的图像拼接算法，通过多个大面阵传感器重叠区域的无拼接过渡，完成视窗的无缝漫游。传统图像拼接算法拼接形成的视窗有错位、接缝的现象；由于舍弃了拼接算法，提高了光电设备的实时性差并节省了计算资源。
(2)采用一套光电设备实现对多个目标的自动/手动跟踪，利用滑动开窗方式替代伺服机构，实现跟踪闭环。
(3)各视窗功能独立，相当于为每个用户有一个无人机专门为其服务，可应用于城市作战、反恐、边境监控、对空探测等领域。
附图说明
图1是空中大范围高分辨率光电监视系统的工作场景示意图。
图2是空中大范围高分辨率光电监视系统的组成示意图。
图3是各探测器坐标配准示意图。
图4是视窗跨探测器漫游示意图。
图5是本发明方法的步骤流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
参照图5所示，本发明用于空中光电监视系统的跨探测器多视窗漫游方法包括以下步骤：
步骤一：如图1所示，空中大范围高分辨率光电监视系统通过对地面广大区域成像进行监视，采用了多个高分辨率探测器视场拼接(以16个5184×3888像素的探测器为例)的方法。图像数据量大无法全部实时下传、覆盖范围广一个用户监视困难，因此需要开启多个小视窗下传至地面显控台供多个用户使用。如图2所示，16个高分辨率探测器(可扩展)视场拼接形成更大的视场，大视场探测器覆盖16个高分辨率探测器的视场，开启的视窗大小为640×480像素，开启个数在8个以上。安装时使16高分辨率探测器视场重叠区域大于640×480，若重叠区域小于一个视窗的大小则视场从1个探测器漫游至另外一个探测器时需要这两个探测器图像的拼接，会造成处理资源消耗及图像拼接带来的一系列问题。选择一个5184×3888分辨率的大视场探测器覆盖16个探测器阵列的整个视场。
步骤二：对16个高分辨率探测器、1个大视场探测器像素坐标进行配准。
选择大视场探测器和其中一个高分辨率探测器视场中的同一个目标，分别记录下其在大视场探测器中的像素坐标(a,b)、高分辨率探测器中的像素坐标(ac,bc)。整体坐标系以大视场高分辨率坐标原点为原点，因采用4×4的阵列，大视场探测器像素坐标(xa,ya)与整体坐标系(X,Y)的对应关系约为(X,Y)＝(4xa,4ya)。此高分辨率探测器(x,y)与整体坐标系(X,Y)的对应关系为(X,Y)＝(4a-ac+x,4b-bc+y)，从而得出此高分辨率探测器在整体坐标系中的坐标范围为(4a-ac,4b-bc)至(4a-ac+5184,4b-bc+3888)，用此方法依次计算出其他高分辨率探测器在整体坐标系中的坐标范围及对应关系。如图3所示。
步骤三：大视场探测器形成全局图像，图像经压缩后下传至全局图像显控台进行显示。操作员在全局图像显控台视频图像上点选要开视窗的位置，显控台软件获取鼠标位置进而依据常规屏幕坐标转像素坐标的方法，获取此位置的在大视场探测器中的像素坐标(a1,b1)，根据步骤二的映射关系，可得此位置的整体坐标(X1,Y1)＝(4a1,4b1)，进而得出其所在高分辨率探测器的坐标位置。
步骤四：图像处理单元以此位置为中心从对应高分辨率探测器选取640×480大小的视窗，视窗压缩后传至视窗显控台进行实时显示。
步骤五：操作员在视窗操控台通过按键或操杆控制视窗漫游，改变其观察区域，像素位移量(ΔX1,ΔY1)上传至图像处理单元，图像处理单元在(X1+ΔX1,Y1+ΔY1)处开启视窗。以此类推，通过地面操控台持续发指令控制视窗在全局视场内漫游。
步骤六：如图4所示，视窗在漫游时会从一个高分辨率探测器视场过渡到另外一个探测器视场由于两个高分辨率探测器的重叠区域大于视窗的大小，因此过渡时只需从将要进入的高分辨率探测器视场内获取视窗数据，不需要拼接。只需要根据视窗移动趋势切换视窗数据源。
按照以上步骤，实现其他视窗的开启及漫游。
由上述技术方案可以看出，本发明具有以下显著特点：
(1)采用1个大视场角探测器覆盖所有探测器阵列的视场，以其像素坐标为基准，将各探测器像素坐标映射到统一的整体坐标系，视窗漫游时以整体坐标系为基础来获取视窗视频。
(2)同时为了考虑机上有限资源的限制和实时性的需求，通过增大探测器重叠区域，使视窗跨探测器漫游时不需要拼接，避免了传统图像拼接算法拼接形成的错位、接缝现象。
(3)在跨视场拼接时，由于没有采用拼接方式，避免了视窗拼接时的错位、接缝现象，同时节省了计算资源，提高了系统的实时性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，包括以下步骤：
步骤一：选用多个面阵探测器，矩阵型排列形成对地面区域的监视，重叠区域大于640×480像素；选择一个视场探测器，覆盖探测器阵列的整个视场；
步骤二：对各个探测器像素坐标进行配准；
步骤三：操作员在地面控制站显示屏画面上点选要开窗的位置，地面控制站将开窗位置的屏幕坐标映射到探测器像素坐标，并向光电监视系统请求下传该区域的视频数据；
步骤四：光电监视系统接收开窗指令在相应位置进行开窗；
步骤五：操作员通过地面操纵杆向光电监视系统发送开窗位置偏差值，控制视窗在全局视场内漫游；
步骤六：当视窗完全进入多个探测器的重叠视场区域后，光电监视系统根据目标运动趋势，预测视窗将要进入的探测器视场位置，并从该探测器获取视频；完成视窗数据从一个探测器过渡到另外一个探测器，不需要拼接，完成对目标的跨探测器跟踪。
2.如权利要求1所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤一中，面阵探测器采用5K×4K等大小的大面阵高分辨率探测器。
3.如权利要求2所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤一中，采用16个高分辨率探测器视场拼接，开启的视窗大小为640×480像素，开启个数在8个以上；安装时使16高分辨率探测器视场重叠区域大于640×480，选择一个5K×4K分辨率的大视场探测器覆盖16个高分辨率探测器阵列的整个视场。
4.如权利要求3所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤二中，对16个高分辨率探测器、1个大视场探测器像素坐标进行配准，采用选取特征目标的配准方法，将各探测器像素坐标统一到同一平面坐标系，形成整体像素坐标。
5.如权利要求4所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤二中，选择大视场探测器和其中一个高分辨率探测器视场中的同一个目标，分别记录下其在大视场探测器中的像素坐标(a,b)、高分辨率探测器中的像素坐标(ac,bc)；整体坐标系以大视场高分辨率坐标原点为原点，因采用4×4的阵列，大视场探测器像素坐标(xa,ya)与整体坐标系(X,Y)的对应关系为(X,Y)＝(4xa,4ya)；此高分辨率探测器(x,y)与整体坐标系(X,Y)的对应关系为(X,Y)＝(4a-ac+x,4b-bc+y)，从而得出此高分辨率探测器在整体坐标系中的坐标范围为(4a-ac,4b-bc)至(4a-ac+5184,4b-bc+3888)，用此方法依次计算出其他高分辨率探测器在整体坐标系中的坐标范围及对应关系。
6.如权利要求5所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤三中，大视场探测器形成全局图像，图像经压缩后下传至全局图像显控台进行显示；操作员在全局图像显控台视频图像上点选要开视窗的位置，显控台软件获取鼠标位置进而依据常规屏幕坐标转像素坐标的方法，获取此位置在大视场探测器中的像素坐标(a1,b1)，根据步骤二的映射关系，得到此位置的整体坐标(X1,Y1)＝(4a1,4b1)，进而得出其所在高分辨率探测器的坐标位置。
7.如权利要求6所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤四中，图像处理单元以此位置为中心从对应高分辨率探测器选取640×480大小的视窗，视窗压缩后传至视窗显控台进行实时显示。
8.如权利要求7所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤五中，操作员在视窗操控台通过按键或操杆控制视窗漫游，改变其观察区域，像素位移量(ΔX1,ΔY1)上传至图像处理单元，图像处理单元在(X1+ΔX1,Y1+ΔY1)处开启视窗；以此类推，通过地面操控台持续发指令控制视窗在全局视场内漫游。
9.如权利要求8所述的用于空中光电监视系统的跨探测器多视窗漫游方法，其特征在于，所述步骤六中，视窗在漫游时从一个高分辨率探测器视场过渡到另外一个高分辨率探测器视场，过渡时从将要进入的高分辨率探测器视场内获取视窗数据，不需要拼接，根据视窗移动趋势切换视窗数据源。
10.如权利要求1-9中任一项所述的用于空中光电监视系统的跨探测器多视窗漫游方法在空基光电监视技术领域中的应用。
CN202110671255.0A 2021-06-17 2021-06-17 一种用于空中光电监视系统的跨探测器多视窗漫游方法 Active CN113411478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110671255.0A CN113411478B (zh) 2021-06-17 2021-06-17 一种用于空中光电监视系统的跨探测器多视窗漫游方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110671255.0A CN113411478B (zh) 2021-06-17 2021-06-17 一种用于空中光电监视系统的跨探测器多视窗漫游方法

Publications (2)

Publication Number Publication Date
CN113411478A CN113411478A (zh) 2021-09-17
CN113411478B true CN113411478B (zh) 2022-11-04

Family

ID=77684868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110671255.0A Active CN113411478B (zh) 2021-06-17 2021-06-17 一种用于空中光电监视系统的跨探测器多视窗漫游方法

Country Status (1)

Country Link
CN (1) CN113411478B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN112102372A (zh) * 2020-09-16 2020-12-18 上海麦图信息科技有限公司 一种针对机场地面对象的跨摄像头轨迹跟踪系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043466A (ja) * 2005-08-03 2007-02-15 Mitsubishi Electric Corp 画像合成装置並びに多カメラ監視システム
CN101806748B (zh) * 2010-03-25 2011-11-23 哈尔滨工业大学 太赫兹二维面阵扫描成像方法及实现该方法的成像系统
CN106295594B (zh) * 2016-08-17 2019-10-15 北京大学 一种基于动态路径树的跨摄像头目标跟踪方法及装置
CN106454283B (zh) * 2016-12-14 2019-05-07 中国人民解放军陆军工程大学 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
US20180308243A1 (en) * 2017-03-28 2018-10-25 Irvine Sensors Corporation Cognitive Tracker -- Appliance For Enabling Camera-to-Camera Object Tracking in Multi-Camera Surveillance Systems
CN108076297A (zh) * 2017-12-22 2018-05-25 湖南源信光电科技股份有限公司 基于Kalman滤波与Camshift算法结合的目标跟踪算法的摄像机系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010130A (zh) * 2014-05-05 2014-08-27 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN112102372A (zh) * 2020-09-16 2020-12-18 上海麦图信息科技有限公司 一种针对机场地面对象的跨摄像头轨迹跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Panoramic video stitching in multi-camera surveillance system;Bin He;《2010 25th International Conference of Image and Vision Computing》;20201109;全文 *
多通道复合式光学成像系统中运动点目标的自动检测;屈有山;《光子学报》;20040425;全文 *

Also Published As

Publication number Publication date
CN113411478A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN109655825B (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
KR100663483B1 (ko) 전방향 카메라를 이용한 무인 감시 방법 및 장치
US8180107B2 (en) Active coordinated tracking for multi-camera systems
Leininger et al. Autonomous real-time ground ubiquitous surveillance-imaging system (ARGUS-IS)
US20200195908A1 (en) Apparatus and method for focal length adjustment and depth map determination
US8369399B2 (en) System and method to combine multiple video streams
US7583815B2 (en) Wide-area site-based video surveillance system
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
US7082209B2 (en) Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
US9418299B2 (en) Surveillance process and apparatus
US7746391B2 (en) Resolution proportional digital zoom
CN113838098B (zh) 一种针对远距离高速运动目标的智能跟踪拍摄系统
US20160379079A1 (en) System, apparatus, method, and computer readable storage medium for extracting information
CN108769550B (zh) 一种基于dsp的图像显著分析系统及方法
CN109636763A (zh) 一种智能复眼监控系统
US11570384B2 (en) Image sensor employing varied intra-frame analog binning
KR20110044101A (ko) 듀얼 카메라를 이용한 실시간 감시장치
CN103544696B (zh) 一种用于fpga实现的缝合线实时查找方法
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
US7659906B2 (en) Airborne real time image exploitation system (ARIES)
US10546386B2 (en) Remote detecting and tracking of objects
CN113411478B (zh) 一种用于空中光电监视系统的跨探测器多视窗漫游方法
RU2298150C2 (ru) Мультиспектральный комплекс для авиасъемки наземных объектов и способ съемки
US10477104B1 (en) Image sensor selection in a multiple image sensor device
KR101997799B1 (ko) 관심영역 연관 영상 제공시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant