CN111246174A - 基于视频的远程塔台智能望远镜实现方法及系统 - Google Patents

基于视频的远程塔台智能望远镜实现方法及系统 Download PDF

Info

Publication number
CN111246174A
CN111246174A CN202010066900.1A CN202010066900A CN111246174A CN 111246174 A CN111246174 A CN 111246174A CN 202010066900 A CN202010066900 A CN 202010066900A CN 111246174 A CN111246174 A CN 111246174A
Authority
CN
China
Prior art keywords
airplane
ball machine
camera
tracking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010066900.1A
Other languages
English (en)
Other versions
CN111246174B (zh
Inventor
姚辉
吴敏
王凯
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute of CAAC
Original Assignee
Second Research Institute of CAAC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute of CAAC filed Critical Second Research Institute of CAAC
Priority to CN202010066900.1A priority Critical patent/CN111246174B/zh
Publication of CN111246174A publication Critical patent/CN111246174A/zh
Application granted granted Critical
Publication of CN111246174B publication Critical patent/CN111246174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于视频的远程塔台智能望远镜实现方法及系统，该系统包括：设置于塔台的第一枪机与第二枪机、多个摄像机拼接融合而成的全景拼接摄像机和第一球机；设置于飞机跑道端头的第二球机和第三球机；第一球机用于起降飞机在跑道、滑行道以及机坪上的自动跟踪；第一枪机和第二枪机用于跑道两端给定区域的监视，实时检测该给定区域中出现的目标；第二球机和第三球机用于五边区域至给定区域的自动跟踪；全景拼接摄像机用于包含跑道、滑行道以及机坪在内的机场场面实时全景画面监视。本发明通过设置在塔台及设置于跑道给定区域端头的球机的接力跟踪，实现了飞机在起飞和下降过程中的全程自动跟踪，进而实现了智能望远镜的机场管控。

Description

基于视频的远程塔台智能望远镜实现方法及系统
技术领域
本发明涉及远程塔台，以及与其类似的数字塔台、集成塔台、机坪管制塔台等，尤其涉及一种基于视频的远程塔台智能望远镜实现方法及系统。
背景技术
远程塔台是利用智能视频技术、远程通信技术，将机场塔台的指挥，搬离到远端进行的一种解决方案。它可在远端对多个机场同时进行指挥和管理，对于偏远地区的小机场，大多数每天只有少数几个航班，利用该方式，能大大降低人力成本，减缓当前管制员供不应求的局面,使小机场也能配备训练有素、管制经验丰富的管制员，这也能很大程度提高运行安全和运行效率。因此，远程塔台近些年在国内外都得到了积极关注和重点运用。
远程塔台在具体实施中：利用全景拼接融合技术，获取全景视频，通过专网，将实时视频数据传输给远端管制员，全景视频能很好替代管制员在实际塔台中用肉眼查看场面的过程；与全景视频的传输相似，物理塔台上的一些其它系统，如内话、GPS时钟、场监、电子进程单等系统，都可利用专网，传输给远端的管制员，管制员在远端利用这些系统对当地机场进行实时指挥和管理。
在机场塔台的指挥中，望远镜也是必配设备，用于查看远离塔台，肉眼不能很好查看的目标，特别是用于五边区域、跑道端头飞机的起降监视，因此，远程塔台系统要得到实际运用，方便管制员使用的望远镜功能也必须得到实现。
远程塔台的实际运用中，常碰见如下两个问题：全景视频通常安装在塔台或附近相对较高的位置，当其覆盖到机坪、跑滑区域的监视后，通常不能看到五边上起降的飞机；当两个航班的下降时间相近，存在航班在五边上排队下降的情况。
发明内容
为至少在一定程度上克服现有技术中的上述问题，本发明提供一种基于视频的远程塔台智能望远镜实现方法及系统。
第一方面，本发明公开了一种基于视频的远程塔台智能望远镜实现系统，包括：
设置于塔台的第一枪机与第二枪机、多个摄像机拼接融合而成的全景拼接摄像机和第一球机；以及
设置于飞机跑道端头的第二球机和第三球机；其中
所述第一球机用于起降飞机在跑道、滑行道以及机坪上的自动跟踪；
所述第一枪机和所述第二枪机用于跑道两端给定区域的监视，实时检测该给定区域中出现的目标；
第二球机和第三球机用于五边区域至所述给定区域的自动跟踪；
所述全景拼接摄像机用于包含跑道、滑行道以及机坪在内的机场场面实时全景画面监视。
进一步地，上述智能望远镜实现系统中，所述第二球机和所述第三球机内均配置有跟踪目标确定模块，用于：
依据飞机进入所述五边区域对准跑道下降时确定的下滑角，以及手动提取的飞机初始位置，确定飞机的下降的函数表达式；
基于自动检测，获取五边区域中多个飞机位置，每一所述飞机位置包括横坐标和纵坐标；
将每一飞机位置的横坐标带入所述函数表达式，根据获得的函数值与所述飞机位置的纵坐标之间差值，选择跟踪目标。
进一步地，上述智能望远镜实现系统中，所述第一球机内配置有调整模块，所述调整模块用于调整在跑道上滑行的飞机处于视频管控的视频画面内；所述调整模块用于：
在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度；
基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标；
基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标；
基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
第二方面，本发明提供了一种基于视频的远程塔台智能望远镜实现方法，该方法基上述任一智能望远镜实现系统，包括对飞机起飞和降落过程的目标检测与跟踪。
进一步地，上述基于视频的远程塔台智能望远镜实现方法中，飞机起飞过程的目标检测和跟踪包括：
在所述第一枪机和/或第二枪机发现飞机起飞时，通过所述第一球机确定追踪目标，采用单目标跟踪算法，对追踪目标进行全程管控；并且，
调整所述第一球机所在云台的角度，使跟踪目标位于所述第一球机的视频图像中央。
进一步地，上述基于视频的远程塔台智能望远镜实现方法中，飞机降落过程的目标检测与跟踪包括如下步骤：
控制所述第一枪机和所述第二枪机对准所述跑道两端的所述给定区域，进行目标检测；
控制所述第二球机和所述第三球机对准所述给定区域对应的五边区域，进行目标检测；
当所述第二球机和所述第三球机中出现目标飞机，且该目标飞机在对应的视频图像中所占像素比超过给定阈值，则，获取跟踪初始化所需的初始化矩形框；
所述第二球机和所述第三球机停止目标检测操作，启动跟踪目标飞机下降的操作；
当目标飞机从所述五边区域中下降至跑道的所述给定区域后，所述第一枪机和所述第二枪机检测所述目标飞机；
所述第一枪机和所述第二枪机联动所述第一球机，使所述第一球机归位于跑道的所述给定区域，并运行球机检测操作；
所述第二球机和所述第三球机停止目标飞机的跟踪，并且，归位至所述五边区域，运行目标检测操作；
在所述第一球机的视频画面中的飞机所占的像素超过给定阈值时，获取目标跟踪所需的初始化矩形框；
停止所述第一球机检测操作，启动第一球机跟踪操作，进行接力跟踪。
进一步地，上述基于视频的远程塔台智能望远镜实现方法中，所述第二球机和所述第三球机对准所述给定区域对应的五边区域，进行目标检测时，启动所述跟踪目标确定模块，执行以下操作：
依据飞机进入所述五边区域对准跑道下降时确定的下滑角，以及手动提取的飞机初始位置，确定飞机的下降的函数表达式；
基于自动检测，获取五边区域中多个飞机位置，每一所述飞机位置包括横坐标和纵坐标；
将每一飞机位置的横坐标带入所述函数表达式，根据获得的函数值与所述飞机位置的纵坐标之间差值，选择跟踪目标。
进一步地，上述基于视频的远程塔台智能望远镜实现方法中，在启动第一球机进行跟接力跟踪时，还包括：
基于所述第一球机内的调整模块调整在跑道上滑行的飞机处于视频管控的视频画面内，包括如下步骤：
在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度；
基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标；
基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标；
基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
第三方面，本发明还公开了一种控制设备，所述控制设备包括：
至少一个处理装置；以及，
与所述至少一个处理装置通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理装置执行的指令，所述指令被所述至少一个处理装置执行，以使所述至少一个处理装置能够执行前述任一项所述的基于视频的远程塔台智能望远镜实现方法。
从上述分析可以看出，本发明实施例中，通过设置在塔台的两个球机，以及设置于跑道给定区域端头的两个球机的接力跟踪，配合设置在塔台的枪机，实现了飞机在起飞和下降过程中的全程自动跟踪，进而实现了智能望远镜的机场管控。
并且，避免了现有技术中，由于全景视频摄像机由于安装在塔台或附近相对较高的位置，当覆盖到机坪、跑滑区域的监视后，不能看到五边区域上起降的飞机的缺陷。
进一步的技术方案中，本发明还利用飞机在五边区域下降时的下滑角固定来确定需要跟踪目标，结合飞机自身所带的位置信息来解决现有技术中在飞机于五边区域下降过程中跟踪目标丢失的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明基于视频的远程塔台智能望远镜实现系统的示意图；
图2为飞机在进入五边区域对准跑道下降时，其固定下滑角α沿下滑线行进的示意图；
图3为本发明基于视频的远程塔台智能望远镜实现方法中，对飞机下降进行监控步骤的流程图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是不应当受这些术语限制。使用这些术语仅仅是为了将彼此进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一枪机可以被称为第二枪机，并且类似地第二枪机可以被称为第一枪机。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
图1为本发明基于视频的远程塔台智能望远镜实现系统的示意图。
本实施例基于视频的远程塔台智能望远镜实现系统包括：设置于塔台的第一枪机10与第二枪机40、多个摄像机拼接融合而成的全景拼接摄像机20和第一球机30。
该实施例还包括设置于飞机跑道端头的第二球机50和第三球机60；其中，第一球机30用于起降飞机在跑道、滑行道以及机坪上的自动跟踪。第一枪机10和第二枪机40用于跑道两端给定区域(图中跑道画斜线部分的区域)的监视，实时检测该给定区域中出现的目标。第二球机和50第三球机60用于五边区域至给定区域的自动跟踪。全景拼接摄像机20用于包含跑道、滑行道以及机坪在内的机场场面实时全景画面监视。其中，五边区域，是指飞机起降五边飞行的第五边，即对准跑道下降或者从跑道离地起飞的线路。
本实施例通过设置在塔台的两个球机，以及设置于跑道给定区域端头的两个球机的接力跟踪，配合设置在塔台的枪机，实现了飞机在起飞和下降过程中的全程自动跟踪，进而实现了智能望远镜的机场管控。
采用球机进行接力跟踪时，球机对给定目标的自动跟踪，利用单目标跟踪算法，如TLD、KCF、深度学习等，对球机中目标进行实时跟踪，找出目标在该画面中的像素位置。
在一些实施例中，效果好的单目标跟踪算法，需要手动画框进行初始化，之后再运用单目标跟踪算法进行自动跟踪。
在另一些优选的实施例中，可以在上述单目标跟踪算法的基础上，增加一个模块，该模块实现飞机的自动检测，用于替换手动画框的初始化工作，从而实现起飞、降落、滑行的全自动跟踪。自动检测检测算法可使用类似于混合高斯背景差、DPM等传统方法，也可以使用类似yolo3、Faster R-CNN等基于深度学习的检测算法。
在另外一个优选的实施例中，第二球机50和第三球机60内均配置有跟踪目标确定模块，该跟踪目标模块用于实现如下操作：
依据飞机进入所述五边区域对准跑道下降时确定的下滑角，以及手动提取的飞机初始位置，确定飞机的下降的函数表达式；基于自动检测，获取五边区域中多个飞机位置，每一所述飞机位置包括横坐标和纵坐标；将每一飞机位置的横坐标带入所述函数表达式，根据获得的函数值与所述飞机位置的纵坐标之间差值，选择跟踪目标。
下面对跟踪目标模块做进一步地说明。
远程塔台机场在某些情况，比如飞行训练，或者特殊情况的军事使用，会出现五边区域同时有多个航班的情况，参照图2，由于各航班离摄像机的距离都较远，因此，通常在一个景深范围内，且在视频画面上的尺寸相近，对于这些情况，如何确定具体跟踪哪个航班需要解决。通过上述说明可以看出，在一个实施例中该，可以利用飞机在五边区域下降时，下滑角固定的特点，通过简单的像素位置判断来区分出前序航班。
飞机(图2中黑色圆点)在进入五边区域后，对准跑道下降时，会有固定下滑角α，沿着图2中的下滑线(图2中直角三角形的斜边)行进。
在一个实施例如规定：图像左上角为坐标原点，水平向右为x轴，垂直向下为y轴，图2中的向下倾斜的下滑线可以表示为：
y＝kx+b (1)
k＝tan α (2)
其中，α为飞机的下滑角，为常数；b也为常数，可通过抓图，手动提取飞机的位置(x0，y0)计算得到。
利用自动检测模块，检测出多个飞机位置，假设检测出4个飞机，其坐标位置分别设为：(x1，y1),(x2，y2),(x3，y3),(x4，y4)，将上述位置带入公式(2)，得到y1′,y2′,y3′,y4′，然后计算|yi′-yi|，i＝1，2，3,4，当绝对值小于某个阈值的飞机为下滑线上的飞机，如果下滑线上有多个飞机，先跟踪横坐标x较小的飞机。
在另一实施例中，所述第一球机内配置有调整模块，调整模块用于调整在跑道上滑行的飞机处于视频管控的视频画面内；调整模块用于进行如下步骤：
步骤1，在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度
具体实施时，可以利用机场已有系统，如：场面监视雷达系统、飞机上应答系统等，获取飞机的当前经纬度位置。
步骤2，基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标。
其中，第三映射关系的建立为：可将全景拼接所用的各单路摄像机上的飞机经纬度位置转化为相应摄像机的像素坐标位置，具体的说，利用经纬度测量设备，比如RTK，获取各单路摄像机上像素坐标位置与经纬度的对应数据对，利用获取的数据对，通过最小二乘法，即可计算出经纬度位置转像素位置的单应转换关系。
步骤3，基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标。
其中，第二映射关系为：对于全景拼接摄像机的各单路摄像机上的任意像素位置，可得到在全景画面上的像素位置，利用全景拼接算法中的投影关系即可得到。
步骤4，基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
也就是说，利用第一映射关系，对于全景画面上任意像素位置(m,n)，可得到云台的转动角度，使(m,n)点位的信息位于云台摄像机的画面正中央。
下面，对全景画面与所述第一球机上的像素坐标的第一映射关系做出说明。
在一个实施例中，第一映射关系可用如下方式建立：找全景画面上的5个固定点，5个点分别为全景画面的上下左右4个角点和画面中心点，转动云台，使这5个点分别出现在球机的画面正中央，分别记下球机在这些点位下的角度信息。因为，全景画面通常都安装在塔台及其附近位置，离跑道距离较远，所以利用全景画面上任意像素位置(m，n)与全景画面中心点同4个顶点的比例关系可计算出云台的转动角度。
如再次出现跟踪物体滑出视频画面，重复步骤1到步骤4。
需要再次强调的是，调整模块只是用在当飞机目标丢失后，使飞机目标重新出现在第一球机的视频画面内的情形下启用的。
如果目标本身就在第一球机的视频画面内，则利用跟踪目标模块得出的位置信息来计算第一球机或者其承载的云台所需的转动位置。
换句话说，第一球机内置的跟踪目标模块和调整模块两个模块，当目标丢失后，用调整模块使目标重新出现在第一球机的视频画面内，当目标处于第一球机的视频范围内，则用跟踪目标模块进行转动调整即可。
在飞机起降过程中，本发明基于视频的远程塔台智能望远镜实现系统还包括跟踪目标与球机(包括第一球机、第二球机和第三球机)联动。通过联动使被跟踪的目标始终位于球机画面正中央，具体方法为：利用单目标跟踪算法得到目标在视频画面中的像素位置，通过该位置与画面正中央像素位置的差，计算出球机或者装有球机的云台的转动角度，驱使云台转动，使目标位于画面正中央。
对于飞机起飞过程的监控，由于会从机坪开始进行跟踪，而机坪存在多个飞机，因此，需由用户确定跟踪目标，即跟踪所需的初始化框由用户手动完成，初始化后，启动第一球机进行跟踪，即可对起飞飞机进行全程自动跟踪，实现起飞飞机的全程智能望远镜功能。
对于飞机降落过程监控，可以参照图3所示，包括如下步骤：
(1)第一枪机/第二枪机对准跑道给定区域，进行目标检测；
(2)第二球机/第三球机对准五边区域，运行目标检测；
(3)第二球机/第三球机中出现飞机，且飞机所占像素比超过规定阈值，获取跟踪所需初始化矩形框；其中，飞机所占像素比为：检测出的飞机会有一个矩形框，矩形框宽高和图像宽高的比为飞机所占像素比，这个像素比值超过给定阈值时，确获取跟踪所需初始化矩形框。
(4)停止第二球机/第三球机的目标检测，启动第二球机/第三球机跟踪下降飞机。
如上所述，远程塔台机场在某些情况，比如飞行训练，或者特殊情况的军事使用，会出现五边区域同时有多个航班的情况，参照图2，由于各航班离摄像机的距离都较远，因此，通常在一个景深范围内，且在视频画面上的尺寸相近，对于这些情况，如何确定具体跟踪哪个航班需要解决。通过上述说明可以看出，在一个实施例中该，可以利用飞机在五边区域下降时，下滑角固定的特点，通过简单的像素位置判断来区分出前序航班。
飞机(图2中黑色圆点)在进入五边区域后，对准跑道下降时，会有固定下滑角α，沿着图2中的下滑线(图2中直角三角形的斜边)行进。
在一个实施例如规定：图像左上角为坐标原点，水平向右为x轴，垂直向下为y轴，图2中的下滑线可以表示为：
y＝kx+b (1)
k＝tan α (2)
其中，α为飞机的下滑角，为常数；b也为常数，可通过抓图，手动提取飞机的位置(x0，y0)计算得到。
利用自动检测模块，检测出多个飞机位置，假设检测出4个飞机，其坐标位置分别设为：(x1，y1),(x2，y2),(x3，y3),(x4，y4)，将上述位置带入公式(2)，得到y1′,y2′,y3′,y4′，然后计算|yi′-yi|，i＝1，2，3，4，当绝对值小于某个阈值的飞机为下滑线上的飞机，如果下滑线上有多个飞机，先跟踪横坐标x较小的飞机。
(5)下降飞机，进入跑道给定区域，第一枪机/第二枪机检测到该目标；
(6)第一枪机/第二枪机联动第一球机，使其归位到跑道的给定区域，并运行第一球机检测。
第一球机内配置有调整模块，调整模块用于调整在跑道上滑行的飞机处于视频管控的视频画面内；调整模块用于进行如下步骤：
步骤1，在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度
具体实施时，可以利用机场已有系统，如:场面监视雷达系统、飞机上应答系统等，获取飞机的当前经纬度位置。
步骤2，基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标。
其中，第三映射关系的建立为：可将全景拼接所用的各单路摄像机上的飞机经纬度位置转化为相应摄像机的像素坐标位置，具体的说，利用经纬度测量设备，比如RTK，获取各单路摄像机上像素坐标位置与经纬度的对应数据对，利用获取的数据对，通过最小二乘法，即可计算出经纬度位置转像素位置的单应转换关系。
步骤3，基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标。
其中，第二映射关系为：对于全景拼接摄像机的各单路摄像机上的任意像素位置，可得到在全景画面上的像素位置，利用全景拼接算法中的投影关系即可得到。
步骤4，基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
也就是说，利用第一映射关系，对于全景画面上任意像素位置(m,n)，可得到云台的转动角度，使(m,n)点位的信息位于云台摄像机的画面正中央。
需要补充说明的是，调整模块只是用在当飞机目标丢失后，使飞机目标重新出现在第一球机的视频画面内的情形下启用的。
如果目标本身就在第一球机的视频画面内，则利用跟踪目标模块得出的位置信息来计算第一球机或者其承载的云台所需的转动位置。
换句话说，第一球机内置的跟踪目标模块和调整模块两个模块，当目标丢失后，用调整模块使目标重新出现在第一球机的视频画面内，当目标处于第一球机的视频范围内，则用跟踪目标模块进行转动调整即可。
(7)停止第二球机/第三球机目标跟踪，第二球机/第三球机归位到五边区域，进行目标检测。
(8)第一球机中飞机所占像素比超过规定阈值，获取跟踪所需初始化矩形框；
(9)停止第一球机检测模块，启动第一球机的跟踪，进行接力跟踪；
(10)循环步骤(2)到步骤(9)。
球机归位通过设置预置位的方式实现，即，事先设置好第一球机在跑道给定区域或第二球机/第三球机在五边区域的位置、焦距、缩放尺寸等参数。
另外，本发明还公开了一种控制设备，控制设备包括：至少一个处理装置；以及，与所述至少一个处理装置通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理装置执行的指令，所述指令被所述至少一个处理装置执行，以使所述至少一个处理装置能够执行前述任一项所述的基于视频的远程塔台智能望远镜实现方法。
由于上文已经对基于视频的远程塔台智能望远镜实现方法做了说明，在此不再赘述。相关之处互相参照即可。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于视频的远程塔台智能望远镜实现系统，其特征在于，包括：
设置于塔台的第一枪机与第二枪机、多个摄像机拼接融合而成的全景拼接摄像机和第一球机；以及
设置于飞机跑道端头的第二球机和第三球机；其中
所述第一球机用于起降飞机在跑道、滑行道以及机坪上的自动跟踪；
所述第一枪机和所述第二枪机用于跑道两端给定区域的监视，实时检测该给定区域中出现的目标；
第二球机和第三球机用于五边区域至所述给定区域的自动跟踪；
所述全景拼接摄像机用于包含跑道、滑行道以及机坪在内的机场场面实时全景画面监视。
2.根据权利要求1所述的智能望远镜实现系统，其特征在于，
所述第二球机和所述第三球机内均配置有跟踪目标确定模块，用于：
依据飞机进入所述五边区域对准跑道下降时确定的下滑角，以及手动提取的飞机初始位置，确定飞机的下降的函数表达式；
基于自动检测，获取五边区域中多个飞机位置，每一所述飞机位置包括横坐标和纵坐标；
将每一飞机位置的横坐标带入所述函数表达式，根据获得的函数值与所述飞机位置的纵坐标之间差值，选择跟踪目标。
3.根据权利要求2所述的智能望远镜实现系统，其特征在于，
所述第一球机内配置有调整模块，所述调整模块用于调整在跑道上滑行的飞机处于视频管控的视频画面内；所述调整模块用于：
在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度；
基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标；
基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标；
基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
4.一种基于视频的远程塔台智能望远镜实现方法，其特征在于，该方法基于如权利要求1所述的智能望远镜实现系统，包括对飞机起飞和降落过程的目标检测与跟踪。
5.根据权利要求4所述的基于视频的远程塔台智能望远镜实现方法，其特征在于，飞机起飞过程的目标检测和跟踪包括：
在所述第一枪机和/或第二枪机发现飞机起飞时，通过所述第一球机确定追踪目标，采用单目标跟踪算法，对追踪目标进行全程管控；并且，
调整所述第一球机所在云台的角度，使跟踪目标位于所述第一球机的视频图像中央。
6.根据权利要求4所述的基于视频的远程塔台智能望远镜实现方法，其特征在于，飞机降落过程的目标检测与跟踪包括如下步骤：
控制所述第一枪机和所述第二枪机对准所述跑道两端的所述给定区域，进行目标检测；
控制所述第二球机和所述第三球机对准所述给定区域对应的五边区域，进行目标检测；
当所述第二球机和所述第三球机中出现目标飞机，且该目标飞机在对应的视频图像中所占像素比超过给定阈值，则，获取跟踪初始化所需的初始化矩形框；
所述第二球机和所述第三球机停止目标检测操作，启动跟踪目标飞机下降的操作；
当目标飞机从所述五边区域中下降至跑道的所述给定区域后，所述第一枪机和所述第二枪机检测所述目标飞机；
所述第一枪机和所述第二枪机联动所述第一球机，使所述第一球机归位于跑道的所述给定区域，并运行球机检测操作；
所述第二球机和所述第三球机停止目标飞机的跟踪，并且，归位至所述五边区域，运行目标检测操作；
在所述第一球机的视频画面中的飞机所占的像素超过给定阈值时，获取目标跟踪所需的初始化矩形框；
停止所述第一球机检测操作，启动第一球机跟踪操作，进行接力跟踪。
7.根据权利要求6所述的基于视频的远程塔台智能望远镜实现方法，其特征在于，
所述第二球机和所述第三球机对准所述给定区域对应的五边区域，进行目标检测时，启动所述跟踪目标确定模块，执行以下操作：
依据飞机进入所述五边区域对准跑道下降时确定的下滑角，以及手动提取的飞机初始位置，确定飞机的下降的函数表达式；
基于自动检测，获取五边区域中多个飞机位置，每一所述飞机位置包括横坐标和纵坐标；
将每一飞机位置的横坐标带入所述函数表达式，根据获得的函数值与所述飞机位置的纵坐标之间差值，选择跟踪目标。
8.根据权利要求7所述的基于视频的远程塔台智能望远镜实现方法，其特征在于，在启动第一球机进行跟接力跟踪时，还包括：
基于所述第一球机内的调整模块调整在跑道上滑行的飞机处于视频管控的视频画面内，包括如下步骤：
在所述第一球机的视频画面内丢失跟踪目标时，获取飞机的当前经纬度；
基于该飞机当前的经纬度，以及，飞机的经纬度与全景拼接摄像机上的像素坐标之间的第三映射关系，确定该飞机在所述全景拼接摄像机的像素坐标；
基于全景拼接摄像机上的像素坐标与全景画面像素坐标之间的第二映射关系，将所述全景拼接摄像机上的像素坐标转化为所述全景拼接摄像机所拍摄的全景画面中的像素坐标；
基于所述全景画面中的像素坐标，以及，所述全景画面与所述第一球机上的像素坐标的第一映射关系，计算出第一球机需要转动的角度，所述角度用于作为云台转动的依据，使跑道上的飞机处于第一球机跟踪的视频画面上，持续进行自动跟踪。
9.一种控制设备，其特征在于，所述控制设备包括：
至少一个处理装置；以及，
与所述至少一个处理装置通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理装置执行的指令，所述指令被所述至少一个处理装置执行，以使所述至少一个处理装置能够执行前述权利要求5至9中任一项所述的基于视频的远程塔台智能望远镜实现方法。
CN202010066900.1A 2020-01-20 2020-01-20 基于视频的远程塔台智能望远镜实现方法及系统 Active CN111246174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010066900.1A CN111246174B (zh) 2020-01-20 2020-01-20 基于视频的远程塔台智能望远镜实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010066900.1A CN111246174B (zh) 2020-01-20 2020-01-20 基于视频的远程塔台智能望远镜实现方法及系统

Publications (2)

Publication Number Publication Date
CN111246174A true CN111246174A (zh) 2020-06-05
CN111246174B CN111246174B (zh) 2021-07-13

Family

ID=70876257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010066900.1A Active CN111246174B (zh) 2020-01-20 2020-01-20 基于视频的远程塔台智能望远镜实现方法及系统

Country Status (1)

Country Link
CN (1) CN111246174B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203058A (zh) * 2020-10-10 2021-01-08 深圳市卓层天气服务有限公司 通航塔台的监控方法、装置、计算机可读介质及电子设备
CN112383711A (zh) * 2020-11-10 2021-02-19 中国民用航空总局第二研究所 一体式远程塔台全景智能追踪装置及方法
CN113286080A (zh) * 2021-05-18 2021-08-20 中国民用航空总局第二研究所 场面监视系统与视频的联动跟踪和增强显示方法和装置
CN113628479A (zh) * 2021-08-16 2021-11-09 成都民航空管科技发展有限公司 一种基于视频的塔台管制信息融合系统及方法
CN113691775A (zh) * 2021-08-16 2021-11-23 成都民航空管科技发展有限公司 一种航空器智能追踪系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946528A (zh) * 2012-12-14 2013-02-27 安徽水天信息科技有限公司 基于全景点智能视频监控的机场跑道监控系统
CN103929624A (zh) * 2014-04-29 2014-07-16 金三立视频科技（深圳）有限公司 枪机、球机协同跟踪监控方法
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN106327921A (zh) * 2016-08-30 2017-01-11 福建福光股份有限公司 基于飞机航线和可视化数据融合的起落架安全监控方法
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法
EP3534353A1 (en) * 2018-02-28 2019-09-04 Honeywell International Inc. Methods and systems for providing visually automated in-cockpit aircraft docking guidance with use of airport moving map applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946528A (zh) * 2012-12-14 2013-02-27 安徽水天信息科技有限公司 基于全景点智能视频监控的机场跑道监控系统
CN103929624A (zh) * 2014-04-29 2014-07-16 金三立视频科技（深圳）有限公司 枪机、球机协同跟踪监控方法
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN106327921A (zh) * 2016-08-30 2017-01-11 福建福光股份有限公司 基于飞机航线和可视化数据融合的起落架安全监控方法
EP3534353A1 (en) * 2018-02-28 2019-09-04 Honeywell International Inc. Methods and systems for providing visually automated in-cockpit aircraft docking guidance with use of airport moving map applications
CN109670462A (zh) * 2018-12-24 2019-04-23 北京天睿空间科技股份有限公司 基于定位信息的航空器跨全景持续跟踪方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203058A (zh) * 2020-10-10 2021-01-08 深圳市卓层天气服务有限公司 通航塔台的监控方法、装置、计算机可读介质及电子设备
CN112203058B (zh) * 2020-10-10 2024-03-01 深圳市卓层技术有限公司 通航塔台的监控方法、装置、计算机可读介质及电子设备
CN112383711A (zh) * 2020-11-10 2021-02-19 中国民用航空总局第二研究所 一体式远程塔台全景智能追踪装置及方法
CN113286080A (zh) * 2021-05-18 2021-08-20 中国民用航空总局第二研究所 场面监视系统与视频的联动跟踪和增强显示方法和装置
CN113628479A (zh) * 2021-08-16 2021-11-09 成都民航空管科技发展有限公司 一种基于视频的塔台管制信息融合系统及方法
CN113691775A (zh) * 2021-08-16 2021-11-23 成都民航空管科技发展有限公司 一种航空器智能追踪系统和方法
CN113628479B (zh) * 2021-08-16 2022-11-04 成都民航空管科技发展有限公司 一种基于视频的塔台管制信息融合系统及方法

Also Published As

Publication number Publication date
CN111246174B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN111246174B (zh) 基于视频的远程塔台智能望远镜实现方法及系统
CN109765930B (zh) 一种无人机视觉导航系统
CN108965809B (zh) 雷达引导的视频联动监控系统及控制方法
KR102067136B1 (ko) 맵핑드론을 이용한 건설공사 관리 시스템
Thurrowgood et al. A biologically inspired, vision‐based guidance system for automatic landing of a fixed‐wing aircraft
CN107247458A (zh) 无人机视频图像目标定位系统、定位方法及云台控制方法
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN104168455A (zh) 一种空基大场景摄像系统及方法
CN106444837A (zh) 一种无人机避障方法及系统
CN105182992A (zh) 无人机的控制方法、装置
CN112162565B (zh) 一种基于多机协同作业的不间断自主杆塔巡检方法
CN105527969B (zh) 一种基于无人机的山地植被垂直带调查监测方法
CN112068539A (zh) 一种风电机组叶片无人机自动驾驶巡检方法
US11021246B2 (en) Method and system for capturing images of asset using unmanned aerial vehicles
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN106231191A (zh) 全自动空中全景数据采集系统、方法及控制终端
CN106781709A (zh) 一种飞机着陆监视引导系统
KR20140030610A (ko) 지상 감시장비와 연동된 무인기를 이용한 감시 방법
CN105676884A (zh) 一种红外热成像搜索跟踪瞄准的装置及方法
JP2020138681A (ja) 無人飛行体の制御システム
CN111382971A (zh) 一种无人机多点自动配送方法及装置
CN107544481A (zh) 一种无人机巡视控制方法、装置及系统
KR102288346B1 (ko) 무인비행체 자동 정밀 착륙 시스템 및 방법
CN111857188A (zh) 一种空中远距离目标跟拍系统和方法
KR20190065016A (ko) 회전익기의 조종 보조 장치, 연관된 디스플레이, 및 대응하는 조종 보조 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant