CN110543800A - 用于吊舱的目标识别跟踪方法、装置和吊舱 - Google Patents

用于吊舱的目标识别跟踪方法、装置和吊舱 Download PDF

Info

Publication number
CN110543800A
CN110543800A CN201810525970.1A CN201810525970A CN110543800A CN 110543800 A CN110543800 A CN 110543800A CN 201810525970 A CN201810525970 A CN 201810525970A CN 110543800 A CN110543800 A CN 110543800A
Authority
CN
China
Prior art keywords
target
image data
tracking
pod
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810525970.1A
Other languages
English (en)
Other versions
CN110543800B (zh
Inventor
张文凯
刘艳光
巴航
郝尚荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810525970.1A priority Critical patent/CN110543800B/zh
Publication of CN110543800A publication Critical patent/CN110543800A/zh
Application granted granted Critical
Publication of CN110543800B publication Critical patent/CN110543800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供了一种用于吊舱的目标识别跟踪方法、装置和吊舱，涉及吊舱领域。该方法包括：接收吊舱摄像装置采集的图像数据；基于待检目标信息识别图像数据中的目标；根据目标在图像数据中的坐标位置锁定并跟踪目标。本公开吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率。

Description

用于吊舱的目标识别跟踪方法、装置和吊舱
技术领域
本公开涉及吊舱领域，尤其涉及一种用于吊舱的目标识别跟踪方法、装置和吊舱。
背景技术
机载光电平台(又称光电吊舱)是一种集成了光电传感器载荷、光电转塔平台、跟踪模块、位置解算模块等多个系统一体的复杂系统，一般作为配套载荷，挂载在有人机或者无人机上，在配套相关的图传、数传电台及地面设备，完成如侦查与目标跟踪等任务。
吊舱技术逐渐应用到民用领域，如安防巡检、目标侦查与跟踪、抢险救灾侦查、远程救援、甚至地质勘查、测绘遥感等领域。其中，光电吊舱基本的任务作业模式为：吊舱采集到图像后，将图像下传到地面站，地面站操控人员，通过观察吊舱传回来的画面，从中寻找到目标，发现目标后凝视跟踪，标注目标的像素值。操控人员通过摇杆，控制光电吊舱进行姿态调整，将目标移动到视频中间的矩形框内，然后变换焦距，进行凝视，按下确认跟踪键，正式进行跟踪。
发明内容
相关技术中，目标识别全靠人眼，没有自主检测目标环节，人眼长时间聚焦视频容易疲劳，导致出现漏检和不适等情况；另外，目标识别全靠图传，如果图像传输信号不佳导致传输时延大和中断等情况，会导致任务失败。
本公开要解决的一个技术问题是提供一种用于吊舱的目标识别跟踪方法、装置和吊舱，能够提高目标识别跟踪效率。
根据本公开一方面，提出一种用于吊舱的目标识别跟踪方法，包括：接收吊舱摄像装置采集的图像数据；基于待检目标信息识别图像数据中的目标；根据目标在图像数据中的坐标位置锁定并跟踪目标。
可选地，该方法还包括：将坐标位置信息发送至地面控制站，以便监测人员进行目标确认；接收到地面控制站发送的目标确认消息后，锁定并跟踪目标。
可选地，该方法还包括：若确定目标丢失，则将标志位设置为丢失状态，并对目标进行重新识别。
可选地，该方法还包括：接收包含待检目标的训练图像数据集；对训练图像数据集进行标注；将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对深度学习模型进行训练；基于深度学习模型识别图像数据中的目标。
可选地，该方法还包括：根据坐标位置信息计算脱靶量；将脱靶量信息发送给吊舱，以便吊舱根据脱靶量信息调整姿态，以使目标位于摄像装置的视野中心。
可选地，目标检测线程接收调度线程发送的图像数据，基于待检目标信息识别图像数据中的目标，并将目标在图像数据中的坐标位置和标志位发送至调度线程；调度线程启动目标跟踪线程，并将图像数据和坐标位置信息发送至目标跟踪线程；目标跟踪线程根据目标在图像数据中的坐标位置锁定并跟踪目标。
根据本公开的另一方面，还提出一种用于吊舱的目标识别跟踪装置，包括：目标检测模块，用于接收吊舱摄像装置采集的图像数据，基于待检目标信息识别图像数据中的目标；目标跟踪模块，用于根据目标在图像数据中的坐标位置锁定并跟踪待检目标。
可选地，目标检测模块还用于将坐标位置信息发送至地面控制站，以便监测人员进行目标确认；目标跟踪模块还用于接收到地面控制站发送的目标确认消息后，锁定并跟踪目标。
可选地，目标跟踪模块还用于若确定待检目标丢失，则将标志位设置为丢失状态，并将标志位发送至目标检测模块；目标检测模块用于重新识别目标。
可选地，目标检测模块还用于接收包含待检目标的训练图像数据集，对训练图像数据集进行标注，将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对深度学习模型进行训练，基于深度学习模型识别图像数据中的目标。
可选地，目标跟踪模块还用于根据坐标位置信息计算脱靶量，将脱靶量信息发送给吊舱，以便吊舱根据脱靶量信息调整姿态，以使目标位于摄像装置的视野中心。
可选地，目标检测模块用于接收调度线程发送的图像数据，基于待检目标信息识别图像数据中的目标，并将目标在图像数据中的坐标位置和标志位发送至调度线程，以便调度线程启动目标跟踪线程；目标跟踪模块还用于接收调度线程发送的图像数据和坐标位置信息，根据目标在图像数据中的坐标位置锁定并跟踪目标。
根据本公开的另一方面，还提出一种吊舱，包括上述的用于吊舱的目标识别跟踪装置。
根据本公开的另一方面，还提出一种用于吊舱的目标识别跟踪装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的用于吊舱的目标识别跟踪方法。
根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的用于吊舱的目标识别跟踪方法的步骤。
与相关技术相比，本公开实施例中吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开用于吊舱的目标识别跟踪方法的一个实施例的流程示意图。
图2为本公开用于吊舱的目标识别跟踪方法的另一个实施例的流程示意图。
图3为本公开用于吊舱的目标识别跟踪方法的再一个实施例的流程示意图。
图4为本公开用于吊舱的目标识别跟踪装置的一个实施例的结构示意图。
图5为本公开用于吊舱的目标识别跟踪装置的另一个实施例的结构示意图。
图6为本公开用于吊舱的目标识别跟踪装置的再一个实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
图1为本公开用于吊舱的目标识别跟踪方法的一个实施例的流程示意图。
在步骤110，接收吊舱摄像装置采集的图像数据。例如，在飞机飞行过程中，吊舱摄像装置可以实时拍摄视频或图像。
在步骤120，基于待检目标信息识别图像数据中的目标。其中，可以将要检测或者巡检的目标或类型输入到目标检测模块，目标检测模块接收到图像数据后，对每一帧数据进行检测，或者按照一定的频率抽帧，并对抽取的数据进行检测，识别图像中是否存在要检测的目标。随着飞机推进，当目标出现在一帧图像上时，目标检测模块会检测到该目标的存在，并可以标注该目标在该帧图像中的位置。
在步骤130，根据目标在图像数据中的坐标位置锁定并跟踪目标。
在该实施例中，吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率。
在本公开的另一个实施例中，若确定目标丢失，则将标志位设置为丢失状态，并对目标进行重新识别。其中，标志位用于标识目标当前状态，例如，可以设置目标丢失状态为0，目标跟踪状态为1等。在进行目标跟踪过程中，由于遮挡或者目标超出摄像装置视野，会造成目标丢失，此时，目标跟踪模块会输出目标丢失信号，例如标志位为0，此时，目标检测模块会重新对目标进行重新识别。如此循环，直到任务结束。
在该实施例中，在目标丢失时，能够及时对目标进行重新识别，进一步提高目标识别跟踪效率。
图2为本公开用于吊舱的目标识别跟踪方法的另一个实施例的流程示意图。
在步骤210，接收待检目标信息和吊舱摄像装置采集的图像数据。其中，待检目标信息可以为目标名称、类型等。
在步骤220，基于深度学习模型识别图像数据中的目标。其中，目标检测模块可以先对深度学习模型进行训练，例如，目标检测模块接收到包含待检目标的训练图像数据集后，对训练图像数据集进行标注，将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对深度学习模型进行训练。
其中，训练图像数据集可以通过公开数据集、购买第三方数据集以及自己采集数据等获得。该实施例可以采用有监督学习的方法，先对训练图像数据集进行标注，再选择合适的学习规则和神经网络去训练。其中，可以根据实际的检测目标和场景，选择合适的神经网络模型，例如，考虑到自主检测算法实时运行在嵌入式平台上，对系统的性能要求不太高，同时，又需要满足检测帧率的要求，因此，可以选择轻量级的mobilenet作为主网络进行训练。选择好神经网络后，通过选择合适的框架如caffe等，将标注好的数据输入神经网络进行训练。其中，在训练过程中，可以穿插测试数据集对网络模型进行测试，对比效果，经过一段时间训练后得符合预期的神经网络模型。将训练好的模型进行封装，可以作为一个子模块，当输入一帧图像后，可以输出检测目标。
该实施例中，目标检测与目标跟踪对帧率的要求是不一样的，目标跟踪需要保证视觉上的连贯性，如果低于13帧/s，就会有明显的卡顿感，一般要求20帧以上，而目标检测不需要对视频的每帧都进行处理，考虑到目标在视频范围内不会有特别大的变动，因此只要在几帧之间发现目标即可。通过测试，利用轻量级的mobilenet作为主网络，延时在130ms左右，帧率在8hz左右，对于目标检测来说，基本上是够用。
在步骤230，确定目标在图像数据中的坐标位置。
在步骤240，将目标在图像数据中的坐标位置发送至地面控制站，以便监测人员进行目标确认。
在步骤250，接收到地面控制站发送的目标确认消息后，根据目标在图像数据中的坐标位置锁定并跟踪目标。
对于光电吊舱目标检测的实际需求来说，若仅通过自主识别，识别准确率还是较低的，因此，还可以增加人为识别过程，对图像中的目标进行标注后，将图像或者目标在图像数据中的坐标位置传输至地面控制站，提示地面监测人员进行判别确认，若监测人员确认要追踪的目标后，则点击确认，此时确认信号会传递给目标跟踪模块进行目标跟踪。
在步骤260，根据坐标位置信息计算脱靶量。其中，脱靶量即目标位置与图像中心位置的偏移值。
在步骤270，将脱靶量信息发送给吊舱，以便吊舱根据脱靶量信息调整姿态，以使目标位于摄像装置的视野中心。吊舱根据脱靶量信息可以调整自身的角度和方向，使得目标靠近吊舱摄像装置的视野中心。
在步骤280，判断目标是否丢失，若是，则执行步骤220，执行步骤290。
在步骤290，持续跟踪。
在该实施例中，基于深度学习模型识别目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像输出链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率，使得识别过程更加智能化。另外，增加人在环路的设计，进一步提高了目标检测准确率，由于地面人员不用时时刻刻的盯着视频对地面目标进行搜索，只需要在收到目标确认提醒后，点击确认或者放弃即可，降低了人力成本。
图3为本公开用于吊舱的目标识别跟踪方法的再一个实施例的流程示意图。该实施例中，目标识别跟踪过程通过多线程技术实现，调度线程会启动吊舱视频读取线程、目标检测线程以及目标跟踪线程。
在步骤310，调度线程启动吊舱视频读取线程。
在步骤320，吊舱视频读取线程以一定频率读取吊舱摄像头采集的每一帧图像数据，并将其放在一个队列中。
在步骤330，调度线程启动目标检测线程。其中，目标检测线程启动时间稍长。
在步骤340，调度线程将队列中的图像数据传输至目标检测线程。
在步骤350，目标检测线程识别图像数据中的目标。例如，目标检测线程对每一帧图像进行检测，当连续至少3帧(或5帧)图像中检测到目标时，即认为已经检测到目标。
在步骤360，目标检测线程将目标在图像数据中的坐标位置和检测成功标志位发送至调度线程。其中，为了增加可靠性，当目标检测线程检测到连续多帧图像中均有该目标后，则将最后一帧中目标在图像数据中的坐标位置发送至调度线程。
在步骤370，调度线程根据检测成功标志位启动目标跟踪线程，将图像数据和坐标位置信息发送至目标跟踪线程。此时，可以关闭目标检测线程，目标检测线程停止检测，等待新的触发信号。
在步骤380，目标跟踪线程根据目标在图像数据中的坐标位置锁定并跟踪目标。目标跟踪线程将坐标位置信息作为输入，以此来确认需要跟踪的具体目标。
在步骤390，目标跟踪线程确定目标丢失，则向调度线程发送目标丢失标志位。
在步骤3100，调度线程在没有收到任务结束指令情况下，重新启动目标检测线程。如此循环，实现对目标的持续检测和跟踪。此时，可以关闭目标跟踪线程。
在该实施例中，吊舱视频读取线程、目标检测线程以及目标跟踪线程由同一个调度线程进行调度，由于吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率，使得目标识别跟踪更加智能化。
图4为本公开用于吊舱的目标识别跟踪装置的一个实施例的结构示意图。该装置包括目标检测模块410和目标跟踪模块420。
目标检测模块410用于接收吊舱摄像装置采集的图像数据，基于待检目标信息识别图像数据中的目标。目标检测模块接收到图像数据后，对每一帧数据进行检测，或者按照一定的频率抽帧，并对抽取的数据进行检测，识别图像中是否存在要检测的目标。随着飞机推进，当目标出现在一帧图像上时，目标检测模块会检测到该目标的存在，并可以标注该目标在该帧图像中的位置。
目标跟踪模块420用于根据目标在图像数据中的坐标位置锁定并跟踪待检目标。
在该实施例中，吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率。
在本公开的另一个实施例中，目标跟踪模块420还用于若确定待检目标丢失，则将标志位设置为丢失状态，并将标志位发送至目标检测模块410，目标检测模410重新识别待检目标。其中，标志位用于标识目标当前状态，例如，可以设置目标丢失状态为0，目标跟踪状态为1等。在进行目标跟踪过程中，由于遮挡或者目标超出摄像装置视野，会造成目标丢失，此时，目标跟踪模块会输出目标丢失信号，例如标志位为0，此时，目标检测模块会重新对目标进行重新识别。如此循环，直到任务结束。
在该实施例中，在目标丢失时，能够及时对目标进行重新识别，进一步提高目标识别跟踪效率。
在本公开的另一个实施例中，目标检测模块410还用于将坐标位置信息发送至地面控制站，以便监测人员进行目标确认。
目标跟踪模块420还用于接收到地面控制站发送的目标确认消息后，锁定并跟踪目标。
在该实施例中，增加人为识别过程，对图像中的目标进行标注后，将图像或者目标在图像数据中的坐标位置传输至地面控制站，提示地面监测人员进行判别确认，若监测人员确认要追踪的目标后，则点击确认，此时确认信号会传递给目标跟踪模块进行目标跟踪，进一步提高了目标检测准确率。另外，由于地面人员不用时时刻刻的盯着视频对地面目标进行搜索，只需要在收到目标确认提醒后，点击确认或者放弃即可，降低了人力成本。
在本公开的另一个实施例中，目标检测模块410还用于接收包含待检目标的训练图像数据集，对训练图像数据集进行标注，将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对深度学习模型进行训练，基于深度学习模型识别图像数据中的目标。
其中，训练图像数据集可以通过公开数据集、购买第三方数据集以及自己采集数据等获得。该实施例可以采用有监督学习的方法，先对训练图像数据集进行标注，再选择合适的学习规则和神经网络去训练。其中，可以根据实际的检测目标和场景，选择合适的神经网络模型，例如，考虑到自主检测算法实时运行在嵌入式平台上，对系统的性能要求不太高，同时，又需要满足检测帧率的要求，因此，可以选择轻量级的mobilenet作为主网络进行训练。选择好神经网络后，通过选择合适的框架如caffe等，将标注好的数据输入神经网络进行训练。其中，在训练过程中，可以穿插测试数据集对网络模型进行测试，对比效果，经过一段时间训练后得符合预期的神经网络模型。将训练好的模型进行封装，可以作为一个子模块，当输入一帧图像后，可以输出检测目标。
在本公开的另一个实施例中，目标跟踪模块420还用于根据坐标位置信息计算脱靶量，将脱靶量信息发送给吊舱，以便吊舱根据脱靶量信息调整姿态，以使目标位于摄像装置的视野中心。吊舱根据脱靶量信息可以调整自身的角度和方向，使得目标靠近吊舱摄像装置的视野中心。
在本公开的另一个实施例中，目标检测模块410和目标跟踪模块420由同一个调度器进行调度。
目标检测模块410用于接收调度线程发送的图像数据，基于待检目标信息识别图像数据中的目标，并将目标在图像数据中的坐标位置和标志位发送至调度线程，以便调度线程启动目标跟踪线程。
其中，调度线程将吊舱摄像头采集的每一帧图像数据放在队列中，目标检测模块中的目标检测线程启动后，调度线程将队列中的图像数据传输至目标检测线程。目标检测线程对每一帧图像进行检测，当连续至少3帧(或5帧)图像中检测到目标时，即认为已经检测到目标。为了增加可靠性，当目标检测线程检测到连续多帧图像中均有该目标后，则将最后一帧中目标在图像数据中的坐标位置发送至调度线程。
目标跟踪模块420还用于接收调度线程发送的图像数据和坐标位置信息，根据目标在图像数据中的坐标位置锁定并跟踪目标。
其中，若目标跟踪模块420确定目标丢失，则向调度线程发送目标丢失标志位，调度线程在没有收到任务结束指令情况下，重新启动目标检测线程。如此循环，实现对目标的持续检测和跟踪。此时，可以关闭目标跟踪线程。
在该实施例中，目标检测模块和目标跟踪模块由同一个调度器进行调度，由于吊舱无需将图像数据传输至地面站，由操作员寻找目标，而是在接收到图像数据后，自主识别图像数据中的目标，并根据目标在图像数据中的坐标位置锁定并跟踪目标，能够避免因图像传输链路不稳定或者地面操作人员疲劳等因素导致的跟踪任务失败，提高了目标识别跟踪效率，使得目标识别跟踪更加智能化。
在本公开的另一个实施例中，还公开了一种吊舱，该吊舱可以为光电吊舱，包括上述实施例中的用于吊舱的目标识别跟踪装置。
图5为本公开用于吊舱的目标识别跟踪装置的另一个实施例的结构示意图。该装置包括存储器510和处理器520，其中：
存储器510可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、2、3所对应实施例中的指令。处理器520耦接至存储器510，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器520用于执行存储器中存储的指令。
在一个实施例中，还可以如图6所示，该装置600包括存储器610和处理器620。处理器620通过BUS总线630耦合至存储器610。该装置600还可以通过存储接口640连接至外部存储装置650以便调用外部数据，还可以通过网络接口660连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，提高了目标识别跟踪效率。
在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2、3所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (15)

1.一种用于吊舱的目标识别跟踪方法，包括：
接收吊舱摄像装置采集的图像数据；
基于待检目标信息识别所述图像数据中的目标；
根据所述目标在所述图像数据中的坐标位置锁定并跟踪所述目标。
2.根据权利要求1所述的用于吊舱的目标识别跟踪方法，还包括：
将所述坐标位置信息发送至地面控制站，以便监测人员进行目标确认；
接收到所述地面控制站发送的目标确认消息后，锁定并跟踪所述目标。
3.根据权利要求1所述的用于吊舱的目标识别跟踪方法，还包括：
若确定所述目标丢失，则将标志位设置为丢失状态，并对所述目标进行重新识别。
4.根据权利要求1-3任一所述的用于吊舱的目标识别跟踪方法，还包括：
接收包含待检目标的训练图像数据集；
对所述训练图像数据集进行标注；
将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对所述深度学习模型进行训练；
基于所述深度学习模型识别所述图像数据中的目标。
5.根据权利要求1-3任一所述的用于吊舱的目标识别跟踪方法，还包括：
根据所述坐标位置信息计算脱靶量；
将脱靶量信息发送给吊舱，以便所述吊舱根据所述脱靶量信息调整姿态，以使所述目标位于摄像装置的视野中心。
6.根据权利要求1所述的用于吊舱的目标识别跟踪方法，其中，
目标检测线程接收调度线程发送的图像数据，基于待检目标信息识别所述图像数据中的目标，并将所述目标在所述图像数据中的坐标位置和标志位发送至调度线程；
所述调度线程启动目标跟踪线程，并将所述图像数据和所述坐标位置信息发送至所述目标跟踪线程；
所述目标跟踪线程根据所述目标在所述图像数据中的坐标位置锁定并跟踪所述目标。
7.一种用于吊舱的目标识别跟踪装置，包括：
目标检测模块，用于接收吊舱摄像装置采集的图像数据，基于待检目标信息识别所述图像数据中的目标；
目标跟踪模块，用于根据所述目标在所述图像数据中的坐标位置锁定并跟踪所述待检目标。
8.根据权利要求7所述的用于吊舱的目标识别跟踪装置，其中，
所述目标检测模块还用于将所述坐标位置信息发送至地面控制站，以便监测人员进行目标确认；
所述目标跟踪模块还用于接收到所述地面控制站发送的目标确认消息后，锁定并跟踪所述目标。
9.根据权利要求7所述的用于吊舱的目标识别跟踪装置，其中，
所述目标跟踪模块还用于若确定所述待检目标丢失，则将标志位设置为丢失状态，并将标志位发送至所述目标检测模块；
所述目标检测模块用于重新识别所述目标。
10.根据权利要求7-9任一所述的用于吊舱的目标识别跟踪装置，其中，
所述目标检测模块还用于接收包含待检目标的训练图像数据集，对所述训练图像数据集进行标注，将训练图像数据集作为深度学习模型的输入参数，将待检目标以及待检目标在训练图像数据中的位置信息作为深度学习模型的输出参数，对所述深度学习模型进行训练，基于所述深度学习模型识别所述图像数据中的目标。
11.根据权利要求7-9任一所述的用于吊舱的目标识别跟踪装置，其中，
所述目标跟踪模块还用于根据所述坐标位置信息计算脱靶量，将脱靶量信息发送给吊舱，以便所述吊舱根据所述脱靶量信息调整姿态，以使所述目标位于摄像装置的视野中心。
12.根据权利要求7所述的用于吊舱的目标识别跟踪装置，其中，
所述目标检测模块用于接收调度线程发送的图像数据，基于待检目标信息识别所述图像数据中的目标，并将所述目标在所述图像数据中的坐标位置和标志位发送至所述调度线程，以便所述调度线程启动目标跟踪线程；
所述目标跟踪模块还用于接收所述调度线程发送的所述图像数据和所述坐标位置信息，根据所述目标在所述图像数据中的坐标位置锁定并跟踪所述目标。
13.一种吊舱，包括权利要求7-12任一所述的用于吊舱的目标识别跟踪装置。
14.一种用于吊舱的目标识别跟踪装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至6任一项所述的用于吊舱的目标识别跟踪方法。
15.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至6任一项所述的用于吊舱的目标识别跟踪方法的步骤。
CN201810525970.1A 2018-05-29 2018-05-29 用于吊舱的目标识别跟踪方法、装置和吊舱 Active CN110543800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810525970.1A CN110543800B (zh) 2018-05-29 2018-05-29 用于吊舱的目标识别跟踪方法、装置和吊舱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810525970.1A CN110543800B (zh) 2018-05-29 2018-05-29 用于吊舱的目标识别跟踪方法、装置和吊舱

Publications (2)

Publication Number Publication Date
CN110543800A true CN110543800A (zh) 2019-12-06
CN110543800B CN110543800B (zh) 2023-08-08

Family

ID=68700842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810525970.1A Active CN110543800B (zh) 2018-05-29 2018-05-29 用于吊舱的目标识别跟踪方法、装置和吊舱

Country Status (1)

Country Link
CN (1) CN110543800B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111860461A (zh) * 2020-08-05 2020-10-30 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN111924117A (zh) * 2020-08-14 2020-11-13 西安应用光学研究所 一种光电吊舱内置光学传感器波段自主切换方法
CN112764433A (zh) * 2020-12-25 2021-05-07 湖北航天飞行器研究所 一种基于深度学习的无人机载火箭残骸搜寻装置及方法
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN114779833A (zh) * 2022-03-03 2022-07-22 沃飞长空科技(成都)有限公司 光电吊舱视线轴控制方法、装置、光电吊舱及存储介质
CN117676077A (zh) * 2023-10-31 2024-03-08 中国人民解放军32806部队 一种基于有限状态机的无人机视觉目标跟踪系统与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833099A (zh) * 2010-05-25 2010-09-15 广州科易光电技术有限公司 直升机巡检电力线路的锁定跟踪方法
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
US20150219426A1 (en) * 2013-03-14 2015-08-06 Lockheed Martin Corporation System, method, and computer program product for indicating hostile fire
CN106454209A (zh) * 2015-08-06 2017-02-22 航天图景（北京）科技有限公司 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833099A (zh) * 2010-05-25 2010-09-15 广州科易光电技术有限公司 直升机巡检电力线路的锁定跟踪方法
CN102724482A (zh) * 2012-06-18 2012-10-10 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
US20150219426A1 (en) * 2013-03-14 2015-08-06 Lockheed Martin Corporation System, method, and computer program product for indicating hostile fire
CN106454209A (zh) * 2015-08-06 2017-02-22 航天图景（北京）科技有限公司 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN107729808A (zh) * 2017-09-08 2018-02-23 国网山东省电力公司电力科学研究院 一种用于输电线路无人机巡检的图像智能采集系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浙江省科学技术情报学会: "《科技情报探索与实践》", 31 October 2008, 上海科学技术文献出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814734B (zh) * 2020-07-24 2024-01-26 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111860461A (zh) * 2020-08-05 2020-10-30 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN111860461B (zh) * 2020-08-05 2024-02-27 西安应用光学研究所 一种光电吊舱内置光学传感器自主变焦方法
CN111924117A (zh) * 2020-08-14 2020-11-13 西安应用光学研究所 一种光电吊舱内置光学传感器波段自主切换方法
CN111924117B (zh) * 2020-08-14 2024-04-09 西安应用光学研究所 一种光电吊舱内置光学传感器波段自主切换方法
CN112764433A (zh) * 2020-12-25 2021-05-07 湖北航天飞行器研究所 一种基于深度学习的无人机载火箭残骸搜寻装置及方法
CN113415433B (zh) * 2021-07-30 2022-11-29 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN113415433A (zh) * 2021-07-30 2021-09-21 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN114280978A (zh) * 2021-11-29 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN114280978B (zh) * 2021-11-29 2024-03-15 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的跟踪解耦合控制方法
CN114779833A (zh) * 2022-03-03 2022-07-22 沃飞长空科技(成都)有限公司 光电吊舱视线轴控制方法、装置、光电吊舱及存储介质
CN117676077A (zh) * 2023-10-31 2024-03-08 中国人民解放军32806部队 一种基于有限状态机的无人机视觉目标跟踪系统与方法

Also Published As

Publication number Publication date
CN110543800B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110543800A (zh) 用于吊舱的目标识别跟踪方法、装置和吊舱
US10366586B1 (en) Video analysis-based threat detection methods and systems
US10424130B2 (en) System and methods for drone-based vehicle status determination
CN107148777B (zh) 智能巡逻设备、云端控制装置及巡逻方法、控制方法
CN107871114B (zh) 一种推送目标人员跟踪信息的方法、装置及系统
CN108064394B (zh) 一种安检物品的检测方法、装置及电子设备
WO2018053847A1 (zh) 一种智能库存管理系统、服务器、方法、终端和程序产品
US10710244B2 (en) Robot control using gestures
CN109358648B (zh) 无人机自主飞行的方法、装置以及无人机
US10037466B2 (en) Video processing apparatus, video processing method, and video processing program
CN107830767B (zh) 基于远程控制的无人机反制方法及介质
US20140003710A1 (en) Unsupervised learning of feature anomalies for a video surveillance system
US20170032175A1 (en) Unmanned aerial vehicle detection method and unmanned aerial vehicle using same
US11111785B2 (en) Method and device for acquiring three-dimensional coordinates of ore based on mining process
US11320269B2 (en) Information processing apparatus, information processing method, and information processing program
KR20200065316A (ko) 스마트 드론을 사용한 재난 상황 대응 시스템 및 방법
EP3689743A1 (en) Augmented weight sensing for aircraft cargo handling systems
CN114220157A (zh) 无人机配送中基于人脸转正和人脸识别的收货人识别方法
CN110751270A (zh) 一种无人机电线故障检测方法、系统及设备
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
CN115100595A (zh) 一种安全隐患检测方法、系统、计算机设备和存储介质
CN111966126A (zh) 无人机巡逻方法、装置及无人机
CN113505704A (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN111985326A (zh) 数据处理方法、装置、电子设备和存储介质
US20130049926A1 (en) Image recognition in passive rfid devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant