CN109154815A - 最高温度点跟踪方法、装置和无人机 - Google Patents

最高温度点跟踪方法、装置和无人机 Download PDF

Info

Publication number
CN109154815A
CN109154815A CN201780029128.2A CN201780029128A CN109154815A CN 109154815 A CN109154815 A CN 109154815A CN 201780029128 A CN201780029128 A CN 201780029128A CN 109154815 A CN109154815 A CN 109154815A
Authority
CN
China
Prior art keywords
highest temperature
coordinate
temperature point
image
infrared camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780029128.2A
Other languages
English (en)
Other versions
CN109154815B (zh
Inventor
翁超
王铭熙
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109154815A publication Critical patent/CN109154815A/zh
Application granted granted Critical
Publication of CN109154815B publication Critical patent/CN109154815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Radiation Pyrometers (AREA)
  • Studio Devices (AREA)

Abstract

一种最高温度点跟踪方法、装置和无人机，此方法包括：获取红外相机感测的图像中最高温度点的第一坐标，根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。因此使得红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。

Description

最高温度点跟踪方法、装置和无人机
技术领域
本发明实施例涉及无人机技术领域，尤其涉及一种最高温度点跟踪方法、装置和无人机。
背景技术
无人机上设置有云台，而且云台上可以搭载有相机，相机可以用于拍摄画面。因此，无人机在飞行过程中，无人机可以将相机拍摄到的画面输出给控制终端，控制终端在图形用户界面上显示相机拍摄到的画面。其中，云台上搭载的相机可以为红外相机，红外相机可以感测其拍摄到的画面中各物体的热力学温度，由于红外相机拍摄到的画面中各物体的热力学温度可能不同，因此，在控制终端上显示的红外图像中的各物体的颜色的深度也会不同，其中，若物体的温度越高，画面中该物体的颜色越深，因此，通过无人机上搭载的红外相机拍摄到的画面可以用于帮助消防员定位房屋中的火源、检测农作物健康、以及与警犬一起进行搜救行动等。但是在一些应用场景中，需要在画面的中心位置实时显示画面的最高温度点，由于无人机在飞行过程中或者拍摄到的画面存在动态的物体，这会使得最高温度点的位置发生变化，可能会造成最高温度点并未处于拍摄画面的中心位置上。
发明内容
本发明实施例提供一种最高温度点跟踪方法、装置和无人机，用于实现跟踪最高温度点拍摄，使得最高温度点位于图像的目标位置。
第一方面，本发明实施例提供一种最高温度点跟踪方法，包括：
获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；
根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；
根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
第二方面，本发明实施例提供一种最高温度点跟踪装置，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现：
获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；
根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；
根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
第三方面，本发明实施例提供一种无人机，包括：机体、云台、红外相机以及如第一方面本发明实施例所述的最高温度点跟踪装置；所述云台与所述机体连接；所述云台用于搭载所述红外相机；
所述最高温度点跟踪装置分别与所述云台和所述红外相机通信连接。
第四方面，本发明实施例提供一种芯片，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面本发明实施例所述的最高温度点跟踪方法。
第五方面，本发明提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现如第一方面本发明实施例所述的最高温度点跟踪方法。
本发明实施例提供的最高温度点跟踪方法、装置和无人机，通过获取红外相机感测的图像中最高温度点的第一坐标，根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。因此使得红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明的实施例的无人飞行系统100的示意性架构图；
图2为本发明一实施例提供的最高温度点跟踪方法的流程图；
图3为本发明另一实施例提供的最高温度点跟踪方法的流程图；
图4为本发明另一实施例提供的最高温度点跟踪方法的流程图；
图5为本发明一实施例提供的最高温度点跟踪装置的结构示意图；
图6为本发明另一实施例提供的最高温度点跟踪装置的结构示意图；
图7为本发明一实施例提供的无人机的结构示意图；
图8为本发明另一实施例提供的无人机的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供了最高温度点跟踪方法、装置和无人机。无人机可以是旋翼飞行器(rotorcraft)，例如，由多个推动装置通过空气推动的多旋翼飞行器，本发明的实施例并不限于此。
图1是根据本发明的实施例的无人飞行系统100的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。
无人飞行系统100可以包括无人飞行器110、云台120、显示设备130和控制装置140。其中，无人飞行器110可以包括动力系统150、飞行控制系统160和机架。无人飞行器110可以与控制装置140和显示设备130进行无线通信。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人飞行器110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人飞行器110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人飞行器110的飞行提供动力，该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中，无人飞行器110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人飞行器的姿态信息，即无人飞行器110在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。飞行控制器161用于控制无人飞行器110的飞行，例如，可以根据传感系统162测量的姿态信息控制无人飞行器110的飞行。应理解，飞行控制器161可以按照预先编好的程序指令对无人飞行器110进行控制，也可以通过响应来自控制装置140的一个或多个控制指令对无人飞行器110进行控制。
云台120可以包括电机122。云台用于携带成像装置123。飞行控制器161可以通过电机122控制云台120的运动。可选地，作为另一实施例，云台120还可以包括控制器，用于通过控制电机122来控制云台120的运动。应理解，云台120可以独立于无人飞行器110，也可以为无人飞行器110的一部分。应理解，电机122可以是直流电机，也可以是交流电机。另外，电机122可以是无刷电机，也可以是有刷电机。还应理解，云台可以位于无人飞行器的顶部，也可以位于无人飞行器的底部。
成像装置123例如可以是照相机或摄像机等用于捕获图像的设备，成像装置123可以与飞行控制器通信，并在飞行控制器的控制下进行拍摄。本实施例的成像装置123至少包括感光元件，该感光元件例如为互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)传感器或电荷耦合元件(Charge-coupled Device，CCD)传感器。
显示设备130位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，并且可以用于显示无人飞行器110的姿态信息。另外，还可以在显示设备130上显示成像装置拍摄的图像。应理解，显示设备130可以是独立的设备，也可以集成在控制装置140中。
控制装置140位于无人飞行系统100的地面端，可以通过无线方式与无人飞行器110进行通信，用于对无人飞行器110进行远程操纵。
应理解，上述对于无人飞行系统各组成部分的命名仅是出于标识的目的，并不应理解为对本发明的实施例的限制。
图2为本发明一实施例提供的最高温度点跟踪方法的流程图，如图2所示，本实施例的方法可以包括：
S201、获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像。
本实施例可以通过红外相机采集图像，并且红外相机在采集图像时可以感测该图像中的温度，有些地方温度高，有些地方温度低，这些温度中存在最高温度，将温度为该最高温度的位置称为最高温度点，并获取该最高温度点的坐标，此处将获取的图像中最高温度点的坐标称为第一坐标。
S202、根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。
S203、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
本实施例中，根据上述图像中最高温度点的第一坐标，以及该图像中目标位置的坐标，确定云台的旋转角度，该云台上搭载有红外相机，然后根据该旋转角度，控制云台旋转，例如：控制该云台旋转上述旋转角度，由于红外相机搭载在云台上，云台的旋转带动红外相机的旋转，这样可以将红外相机调整至该红外相机采集的图像中最高温度点位于该目标位置。
本实施例中，通过获取红外相机感测的图像中最高温度点的第一坐标，根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。因此使得红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。
在一些实施例中，在执行上述S203之后，还在显示界面显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。用户通过显示界面显示的图像的目标位置可以准确确定最高温度点。
在一些实施例中，上述目标位置为图像的正中心。这样使用者在观察最高温度点时，只需观察图像的正中心位置就即快速且一目了然地获知最高温度点。
图3为本发明另一实施例提供的最高温度点跟踪方法的流程图，如图3所示，本实施例的方法可以包括：
S301、获取红外相机感测的图像中最高温度点的第一坐标以及温度，所述图像为所述红外相机采集的图像。
本实施例中，不仅获取红外相机感测的图像中最高温度点的坐标(即第一坐标)，还获取该红外相机感测的该最高温度点的温度。相应地，S202的一种实现方式包括如下S302-S303。
S302、根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标。
S303、根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。
本实施例中，根据该最高温度点的温度以及该最高温度点的第一坐标，可以确定最高温度点的期望坐标，即期望最高温度点的坐标。然后根据最高温度点的期望坐标以及图像中目标位置的坐标，确定云台的旋转角度。
其中，根据一个坐标和另一个坐标，从一个坐标位置处旋转至另一个坐标位置的具体过程可以参见现有技术中的相关描述，此处不再赘述。
S304、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
本实施例中，S304的具体实现过程可以参见图2所示实施例中的相关描述，此处不再赘述。
本实施例中，通过获取红外相机感测的图像中最高温度点的第一坐标以及温度，然后根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标，以及根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，再根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。由于本实施例可以预先确定最高温度点的期望坐标，然后调整云台，以便红外相机将最高温度点拍摄到图像中的目标位置，实现了红外相机自动跟踪最高温度点拍摄，无论最高温度点如何变化，最高温度点将处于红外相机采集的图像中的目标位置，便于使用者观察最高温度点。
在一些实施例中，上述S302的一种可能的实现方式为：以上述图像为当前帧图像为例，在获取到红外相机感测的当前帧图像中最高温度点的温度后，判断该红外相机感测的最高温度点的温度是否位于最高温度置信区间，如果该红外相机感测的最高温度点的温度位于该最高温度置信区内，则可以通过两种实现方案来确定期望坐标。
其中，一种方案为：确定该当前帧图像中该最高温度点的第一坐标为最高温度点的期望坐标。即最高温度点的期望坐标等于该第一坐标。
另一种方案为：根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的N帧图像中最高温度点的第一坐标，确定所述期望坐标。其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
例如：当前帧图像为第T帧图像，则根据红外相机感测出的第T-N帧图像、第T-(N-1)帧图像、...、第T-1帧图像、第T帧图像中最高温度点的坐标，确定最高温度点的期望坐标，而且第T-N帧图像、第T-(N-1)帧图像、...、第T-1帧图像、第T帧图像中最高温度点的温度均位于最高温度置信区间内。
可选地，若第T-(N-1)帧图像中最高温度点的温度未处于最高温度置信区间内，且第T-(N+1)帧图像中最高温度点的温度处于最高温度置信区间内，则当前帧之前的N帧图像为：第T-(N+1)帧图像、第T-N帧图像、第T-(N-2)帧图像、...、第T-1帧图像、第T帧图像。下述的当前帧之前的K帧图像中最高温度点的温度位于最高温度置区间内也可以参见此处描述。
其中，确定帧图像中最高温度点的温度是否位于最高温度置信区间主要是通过判断该帧图像中最高温度点的温度以及该帧图像之前的K帧图像中最高温度点的温度之间的方差或者标准差是否小于预设值来实现。其中，若当前帧图像为第T帧图像，则当前帧之前的K帧图像为第T-K帧图像、第T-(K-1)帧图像、...、第T-1帧图像。
以判断当前帧图像中最高温度点的温度是否位于最高温度置信区间为例，其它帧图像类似，此处不再赘述。
判断该当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的方差是否小于预设值，若当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的方差小于预设值，则认为当前帧图像中最高温度点的温度处于最高温度置信区间内；若当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的方差大于或等于预设值，则认为当前帧图像中最高温度点的温度未处于最高温度置信区间内。或者，
判断该当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的标准差是否小于预设值，若当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的标准差小于预设值，则认为当前帧图像中最高温度点的温度处于最高温度置信区间内；若当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间(即K+1个温度)的标准差大于或等于预设值，则认为当前帧图像中最高温度点的温度未处于最高温度置信区间内。
其中，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的N帧图像中最高温度点的第一坐标，确定所述期望坐标的实现方式可以包括如下几种，但本实施例并不限于此。
在一种可能的实现方式中，对当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标(即这N+1个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。
在另一种可能的实现方式中，根据当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标(即这N+1个坐标)的平均值确定为期望坐标。
在另一种可能的实现方式中，根据当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧图像中最高温度点的第一坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标(即这N+1个坐标)的加权平均值确定为期望坐标。
在一些实施例中，若当前帧图像中最高温度点的温度不位于最高温度置信区间时，则确定上一次确定的期望坐标为当前的期望坐标，即确定上一次确定的期望坐标为S302中所需确定的期望坐标。
图4为本发明另一实施例提供的最高温度点跟踪方法的流程图，如图4所示，本实施例的方法可以包括：
S401、获取红外相机感测的图像中最高温度点的第一坐标以及温度，所述图像为所述红外相机采集的图像。
本实施例中，S401的具体实现过程可以参见如图3所示实施例中的相关描述，此处不再赘述。
S402、根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标。
其中，S401与S402的执行顺序不分先后。
本实施例中，根据视觉追踪，可以确定红外相机采集的图像中预期最高温度点，从而可以确定该预期最高温度点的坐标，其中，通过视觉追踪确定的预期最高温度点的坐标称为第二坐标。
在一些实施例中，在执行S402之前，还获取预期最高温度点的码流特征。相应地，S402的一种可能的实现方式可以包括：S4021和S4022。
S4021、获取所述红外相机采集的图像的红外码流。
S4022、根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。
本实施例中，上述获取的预期最高温度点的码流特征可以是红外码流特征。本实施例可以获取图像的红外码流，该图像为红外相机采集的图像，然后根据上述预期最高温度点的码流特征，对该图像的红外码流进行视觉追踪，从而可以确定该图像中预期最高温度点的第二坐标。
其中，视觉追踪的具体实现过程可以参见现有技术中的相关描述，此处不再赘述。
其中，该码流特征可以是实时获取的，也可以是预先存储在存储器中的。
其中，实时获取码流特征的一种实现方式为：根据前M次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征，M为大于或等于1的整数。其中，在确定期望坐标之后，图像中该期望坐标对应的最高温度点的码流特征也可以获得，然后根据前M次确定的期望坐标对应的最高温度点的码流特征，确定当前的预期最高温度点的码流特征。
S403、根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。
本实施例中，根据红外相机感测的最高温度点的温度，以及最高温度点的第一坐标以及通过视觉追踪获得的预期最高温度点的第二坐标，确定最高温度点的期望坐标。
在一些实施例中，上述S403的一种可能的实现方式为：以上述图像为当前帧图像为例，在获取到红外相机感测的当前帧图像中最高温度点的温度后，判断该红外相机感测的最高温度点的温度是否位于最高温度置信区间，如果该红外相机感测的最高温度点的温度位于该最高温度置信区内，则可以通过两种实现方案来确定期望坐标。
其中，一种方案为：根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标。
其中，此方案的实现方式可以包括如下几种，但本实施例并不限于此。
在一种可能的实现方式中，对当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标，进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。
在另一种可能的实现方式中，根据当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)的平均值确定为期望坐标。
在另一种可能的实现方式中，当前帧图像中最高温度点的第一坐标和该当前帧图像中预期最高温度点的第二坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的当前帧图像中最高温度点的坐标以及通过视觉跟踪获得的当前帧图像中预期温度点的坐标(即这两个坐标)的加权平均值确定为期望坐标。
其中，另一种方案为：根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及当前帧之前的N帧图像中最高温度点的第一坐标和所述当前帧之前的N帧图像中预期最高温度点的第二坐标，确定所述期望坐标。其中，所述当前帧之前的N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
其中，此方案的实现方式可以包括如下几种，但本实施例并不限于此。
在一种可能的实现方式中，对当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧之前的N帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标，进行最小二乘法运算，获得所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-N帧图像中预期温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-(N-1)帧图像中预期温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-1帧图像中预期温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T帧图像中预期温度点的坐标(即这2*(N+1)个坐标)进行最小二乘法运算，将运算结果确定为期望坐标。
在另一种可能的实现方式中，根据当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧之前的N帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标的平均值，确定所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-N帧图像中预期温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-(N-1)帧图像中预期温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-1帧图像中预期温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T帧图像中预期温度点的坐标(即这2*(N+1)个坐标)的平均值确定为期望坐标。
在另一种可能的实现方式中，根据当前帧之前的N帧图像中最高温度点的第一坐标以及当前帧之前的N帧图像中预期最高温度点的第二坐标、当前帧图像中最高温度点的第一坐标和当前帧图像中预期最高温度点的第二坐标的加权平均值，确定所述期望坐标。例如：将红外相机感测出的第T-N帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-N帧图像中预期温度点的坐标、红外相机感测出的第T-(N-1)帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-(N-1)帧图像中预期温度点的坐标、...、红外相机感测出的第T-1帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T-1帧图像中预期温度点的坐标、红外相机感测出的第T帧图像中最高温度点的坐标以及通过视觉跟踪获得的第T帧图像中预期温度点的坐标(即这2*(N+1)个坐标)的加权平均值确定为期望坐标。
其中，确定帧图像中最高温度点的温度是否位于最高温度置信区间可以是通过判断该帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间的方差或者标准差是否小于预设值来实现。具体过程可以参见上述实施例中的描述，此处不再赘述。
在一些实施例中，若当前帧图像中最高温度点的温度不位于最高温度置信区间时，则确定上一次确定的期望坐标为当前的期望坐标，即确定上一次确定的期望坐标为S302中所需确定的期望坐标。
S404、根据所述期望坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度。
S405、根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
本实施例中，S404和S405的具体实现过程可以参见图3所示实施例的相关描述，此处不再赘述。
本实施例中，通过红外相机感测的帧图像中最高温度点的温度和坐标，以及通过视觉追踪获得帧图像中最高温度点的坐标，并根据上述参数来确定最高温度点的期望坐标更加接近实际的最高温度点，以保证下一帧图像中的最高温度点实时显示在图像的目标位置。
本发明实施例中还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图2-图4及其对应实施例中的最高温度点跟踪方法的部分或全部步骤。
图5为本发明一实施例提供的最高温度点跟踪装置的结构示意图，如图5所示，本实施例的最高温度点跟踪装置500可以包括：存储器501和处理器502。处理器502可以是中央处理单元(Central Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器501，用于存储程序指令；
所述处理器502，用于调用所述存储器501中存储的所述程序指令以实现：
获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；
根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；
根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
在一些实施例中，所述处理器502，还用于：获取红外相机感测的图像中最高温度点的温度；
所述处理器502在根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度时，具体用于：根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标；以及根据所述期望坐标及所述图像中目标位置的坐标，确定所述云台的旋转角度。
在一些实施例中，所述处理器502，具体用于：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，确定所述当前帧图像中最高温度点的第一坐标为所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的当前帧之前的N帧图像中最高温度点的第一坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
在一些实施例中，所述处理器502还用于在根据所述最高温度点的温度和第一坐标，确定最高温度点的期望坐标之前，根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标；
所述处理器502在根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标时，具体用于：根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。
在一些实施例中，所述处理器502还用于在根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标之前，获取预期最高温度点的码流特征；
所述处理器502在根据视觉追踪，确定红外相机采集的图像中最高温度点的第二坐标时，具体用于：获取所述红外相机采集的图像的红外码流；以及根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。
在一些实施例中，所述处理器502，具体用于：根据前M次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征；所述M为大于或等于1的整数。
在一些实施例中，所述处理器502，具体用于：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及当前帧之前的N帧图像中最高温度点的第一坐标和所述当前帧之前的N帧图像中预期最高温度点的第二坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
在一些实施例中，所述处理器502，还用于在所述当前帧图像中最高温度点的温度不位于最高温度置信区间时，确定上一次确定的期望坐标为当前的期望坐标。
在一些实施例中，所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间，包括：
在所述当前帧图像中最高温度点的温度以及当前帧之前的K帧图像中最高温度点的温度之间的方差或者标准差小于预设值时，所述当前帧图像中最高温度点的温度位于最高温度置信区间；
其中，所述K帧图像为最高温度点的温度位于最高温度置信区间内的连续的K帧图像，所述K为大于或等于1的整数。
在一些实施例中，所述处理器502，具体用于：
对所述至少两个坐标进行最小二乘法运算，获得所述期望坐标；或者，
根据所述至少两个坐标的平均值，确定所述期望坐标；或者，
根据所述至少两个坐标的加权平均值，确定所述期望坐标；
其中，所述至少两个坐标包括至少两个第一坐标，或者，所述至少两个坐标包括至少一个第一坐标和至少一个第二坐标。
在一些实施例中，所述目标位置为所述图像的正中心。
本实施例的装置，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明另一实施例提供的最高温度点跟踪装置的结构示意图，如图6所示，本实施例的最高温度点跟踪装置500在图5所示实施例的基础上，还可以包括：显示界面503。
显示界面503，用于在所述处理器502根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置之后，显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。
本实施例的装置，可以用于执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本发明一实施例提供的无人机的结构示意图，如图7所示，本实施例的无人机1000包括：最高温度点跟踪装置500、机体600、云台700和红外相机800。所述云台700与所述机体600连接；所述云台700用于搭载所述红外相机800。所述最高温度点跟踪装置500分别与所述云台700和所述红外相机800通信连接。
其中，所述最高温度点跟踪装置500可以采用图5或图6所示实施例的结构，其对应地，可以执行本发明上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本发明另一实施例提供的无人机的结构示意图，如图8所示，本实施例的无人机1000在图7所示实施例的基础上还可以包括：显示装置900；其中，所述显示装置900与所述红外相机800通信连接；
所述显示装置900，用于显示所述红外相机800采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。
需要说明的是，该最高温度点跟踪装置500可以属于无人机1000的飞行控制系统的一部分，或者，该最高温度点跟踪装置500属于无人机1000地面端的控制设备的一部分。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：只读内存(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (26)

1.一种最高温度点跟踪方法，其特征在于，包括：
获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；
根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；
根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取红外相机感测的图像中最高温度点的温度；
所述根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度，包括：
根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标；
根据所述期望坐标及所述图像中目标位置的坐标，确定所述云台的旋转角度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述最高温度点的温度和第一坐标，确定最高温度点的期望坐标，包括：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，确定所述当前帧图像中最高温度点的第一坐标为所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的所述当前帧之前的N帧图像中最高温度点的第一坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
4.根据权利要求2所述的方法，其特征在于，所述根据所述最高温度点的温度和第一坐标，确定最高温度点的期望坐标之前，还包括：
根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标；
所述根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标，包括：
根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。
5.根据权利要求4所述的方法，其特征在于，所述根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标之前，还包括：
获取预期最高温度点的码流特征；
所述根据视觉追踪，确定红外相机采集的图像中最高温度点的第二坐标，包括：
获取所述红外相机采集的图像的红外码流；
根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。
6.根据权利要求5所述的方法，其特征在于，所述获取预期最高温度点的码流特征，包括：
根据前M次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征；所述M为大于或等于1的整数。
7.根据权利要求4-6任意一项所述的方法，其特征在于，所述根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标，包括：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及所述当前帧之前的N帧图像中最高温度点的第一坐标和所述当前帧之前的N帧图像中预期最高温度点的第二坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
8.根据权利要求3或7所述的方法，其特征在于，还包括：
在所述当前帧图像中最高温度点的温度不位于最高温度置信区间时，确定上一次确定的期望坐标为当前的期望坐标。
9.根据权利要求3或7或8所述的方法，其特征在于，所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间，包括：
在所述当前帧图像中最高温度点的温度以及所述当前帧之前的K帧图像中最高温度点的温度之间的方差或者标准差小于预设值时，所述当前帧图像中最高温度点的温度位于最高温度置信区间；
所述K帧图像为最高温度点的温度位于最高温度置信区间内的连续的K帧图像，所述K为大于或等于1的整数。
10.根据权利要求3或7-9任意一项所述的方法，其特征在于，根据至少两个坐标，确定期望坐标，包括：
对所述至少两个坐标进行最小二乘法运算，获得所述期望坐标；或者，
根据所述至少两个坐标的平均值，确定所述期望坐标；或者，
根据所述至少两个坐标的加权平均值，确定所述期望坐标；
其中，所述至少两个坐标包括至少两个第一坐标，或者，所述至少两个坐标包括至少一个第一坐标和至少一个第二坐标。
11.根据权利要求1-10任意一项所述的方法，其特征在于，所述根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置之后，还包括：
在显示界面显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。
12.根据权利要求1-11任意一项所述的方法，其特征在于，所述目标位置为所述图像的正中心。
13.一种最高温度点跟踪装置，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序指令；
所述处理器，用于调用所述存储器中存储的所述程序指令以实现：
获取红外相机感测的图像中最高温度点的第一坐标；所述图像为所述红外相机采集的图像；
根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度；
根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置。
14.根据权利要求13所述的装置，其特征在于，所述处理器，还用于：获取红外相机感测的图像中最高温度点的温度；
所述处理器在根据所述最高温度点的第一坐标及所述图像中目标位置的坐标，确定搭载所述红外相机的云台的旋转角度时，具体用于：根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标；以及根据所述期望坐标及所述图像中目标位置的坐标，确定所述云台的旋转角度。
15.根据权利要求14所述的装置，其特征在于，所述处理器，具体用于：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，确定所述当前帧图像中最高温度点的第一坐标为所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标，以及所述红外相机感测的所述当前帧之前的N帧图像中最高温度点的第一坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
16.根据权利要求14所述的装置，其特征在于，所述处理器还用于在根据所述最高温度点的温度和第一坐标，确定最高温度点的期望坐标之前，根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标；
所述处理器在根据所述最高温度点的温度和所述第一坐标，确定最高温度点的期望坐标时，具体用于：根据所述最高温度点的温度、所述第一坐标以及所述预期最高温度点的第二坐标，确定最高温度点的期望坐标。
17.根据权利要求16所述的装置，其特征在于，所述处理器还用于在根据视觉追踪，确定红外相机采集的图像中预期最高温度点的第二坐标之前，获取预期最高温度点的码流特征；
所述处理器在根据视觉追踪，确定红外相机采集的图像中最高温度点的第二坐标时，具体用于：获取所述红外相机采集的图像的红外码流；以及根据所述码流特征对所述红外码流进行视觉追踪，确定所述第二坐标。
18.根据权利要求17所述的装置，其特征在于，所述处理器，具体用于：根据前M次确定的期望坐标对应的最高温度点的码流特征，确定预期最高温度点的码流特征；所述M为大于或等于1的整数。
19.根据权利要求16-18任意一项所述的装置，其特征在于，所述处理器，具体用于：
在所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述红外相机感测的当前帧图像中最高温度点的第一坐标以及所述当前帧图像中预期最高温度点的第二坐标，确定所述期望坐标；或者，
在所述当前帧图像中最高温度点的温度位于最高温度置信区间时，根据所述当前帧图像中最高温度点的第一坐标和所述当前帧图像中预期最高温度点的第二坐标，以及所述当前帧之前的N帧图像中最高温度点的第一坐标和所述当前帧之前的N帧图像中预期最高温度点的第二坐标，确定所述期望坐标；
其中，所述N帧图像为最高温度点的温度位于最高温度置信区间内的连续的N帧图像，所述N为大于或等于1的整数。
20.根据权利要求15或19所述的装置，其特征在于，所述处理器，还用于在所述当前帧图像中最高温度点的温度不位于最高温度置信区间时，确定上一次确定的期望坐标为当前的期望坐标。
21.根据权利要求15或19或20所述的装置，其特征在于，所述红外相机感测的当前帧图像中最高温度点的温度位于最高温度置信区间，包括：
在所述当前帧图像中最高温度点的温度以及所述当前帧之前的K帧图像中最高温度点的温度之间的方差或者标准差小于预设值时，所述当前帧图像中最高温度点的温度位于最高温度置信区间；
其中，所述K帧图像为最高温度点的温度位于最高温度置信区间内的连续的K帧图像，所述K为大于或等于1的整数。
22.根据权利要求15或17-21任意一项所述的装置，其特征在于，所述处理器，具体用于：
对所述至少两个坐标进行最小二乘法运算，获得所述期望坐标；或者，
根据所述至少两个坐标的平均值，确定所述期望坐标；或者，
根据所述至少两个坐标的加权平均值，确定所述期望坐标；
其中，所述至少两个坐标包括至少两个第一坐标，或者，所述至少两个坐标包括至少一个第一坐标和至少一个第二坐标。
23.根据权利要求13-22任意一项所述的装置，其特征在于，所述目标位置为所述图像的正中心。
24.根据权利要求13-23任意一项所述的装置，其特征在于，还包括：
显示界面，用于在所述处理器根据所述旋转角度，控制所述云台旋转以调整所述红外相机采集的图像中最高温度点位于所述目标位置之后，显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。
25.一种无人机，其特征在于，包括：机体、云台、红外相机以及如权利要求13-23任意一项所述的最高温度点跟踪装置；所述云台与所述机体连接；所述云台用于搭载所述红外相机；
所述最高温度点跟踪装置分别与所述云台和所述红外相机通信连接。
26.根据权利要求25所述的无人机，其特征在于，还包括：显示装置；所述显示装置与所述红外相机通信连接；
所述显示装置，用于显示所述红外相机采集的图像，其中，所述图像中最高温度点位于所述图像的所述目标位置。
CN201780029128.2A 2017-11-30 2017-11-30 最高温度点跟踪方法、装置和无人机 Active CN109154815B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113800 WO2019104583A1 (zh) 2017-11-30 2017-11-30 最高温度点跟踪方法、装置和无人机

Publications (2)

Publication Number Publication Date
CN109154815A true CN109154815A (zh) 2019-01-04
CN109154815B CN109154815B (zh) 2022-06-21

Family

ID=64802994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780029128.2A Active CN109154815B (zh) 2017-11-30 2017-11-30 最高温度点跟踪方法、装置和无人机

Country Status (4)

Country Link
US (2) US11153494B2 (zh)
EP (1) EP3671681A4 (zh)
CN (1) CN109154815B (zh)
WO (1) WO2019104583A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141816A (zh) * 2019-04-23 2019-08-20 上海中备实业公司 一种用于消防车的智能灭火设备和灭火方法
CN110824295A (zh) * 2019-10-22 2020-02-21 广东电网有限责任公司 一种基于三维图形的红外热像故障定位方法
CN111678558A (zh) * 2020-07-31 2020-09-18 国网四川省电力公司成都供电公司 一种应用于充油设备的红外热成像油位、温度监测系统及方法
CN112154450A (zh) * 2019-11-13 2020-12-29 深圳市大疆创新科技有限公司 识别方法、测温方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489348A (zh) * 2020-11-12 2021-03-12 华能新华发电有限责任公司 一种基于无人机的煤场温度智能检测预警方法
CN113834572B (zh) * 2021-08-26 2023-05-12 电子科技大学 一种无人机非制冷型热像仪测温结果漂移去除方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238414A1 (en) * 2003-08-05 2006-10-26 Miyamoto Ryan Y Microwave self-phasing antenna arrays for secure data transmission & satellite network crosslinks
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
CN102831620A (zh) * 2012-08-03 2012-12-19 南京理工大学 基于多假设跟踪数据关联的红外弱小目标搜索跟踪方法
US20130242091A1 (en) * 2012-03-19 2013-09-19 Dong Kwon Park Method for sensing fire and transferring fire information
CN105049733A (zh) * 2015-08-28 2015-11-11 罗永进 一种定位拍摄辅助装置及方法
CN204822071U (zh) * 2015-07-03 2015-12-02 广西大学 多功能共轴双旋翼四轴飞行器
CN105212418A (zh) * 2015-11-05 2016-01-06 北京航天泰坦科技股份有限公司 基于红外夜视功能的增强现实智能头盔研制
US20160171330A1 (en) * 2014-12-15 2016-06-16 Reflex Robotics, Inc. Vision based real-time object tracking system for robotic gimbal control
CN105718895A (zh) * 2016-01-22 2016-06-29 张健敏 一种基于视觉特征的无人机
CN106029501A (zh) * 2014-12-23 2016-10-12 深圳市大疆创新科技有限公司 Uav全景成像
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN107003386A (zh) * 2015-10-20 2017-08-01 深圳市大疆创新科技有限公司 一种卫星导航测姿方法和装置及无人机
US20170299771A1 (en) * 2016-04-13 2017-10-19 Northrop Grumman Systems Corporation UAVs FOR THE DETECTION AND TRACKING OF INTENSE TORNADOES

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4189747A (en) * 1967-09-15 1980-02-19 Hughes Aircraft Company Infrared tracking system
US5062586A (en) * 1990-05-17 1991-11-05 Electronics & Space Corporation Missile tracking, guidance and control apparatus
DE4135260C1 (zh) * 1991-10-25 1993-02-25 Bodenseewerk Geraetetechnik Gmbh, 7770 Ueberlingen, De
US5342051A (en) * 1992-10-30 1994-08-30 Accu-Sport International, Inc. Apparatus and method for tracking the flight of a golf ball
JP3346189B2 (ja) * 1996-10-24 2002-11-18 トヨタ自動車株式会社 車両運動量検出装置
US5960097A (en) * 1997-01-21 1999-09-28 Raytheon Company Background adaptive target detection and tracking with multiple observation and processing stages
US5918305A (en) * 1997-08-27 1999-06-29 Trw Inc. Imaging self-referencing tracker and associated methodology
DE19756763A1 (de) * 1997-12-19 1999-06-24 Bodenseewerk Geraetetech Suchkopf für zielverfolgende Flugkörper
CN101622630B (zh) * 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
FR2895924B1 (fr) * 2006-01-10 2009-09-25 Valeo Electronique Sys Liaison Procede de brasage entre eux d'au moins deux organes empiles
CA2546758C (en) * 2006-05-12 2009-07-07 Alberta Research Council Inc. A system and a method for detecting a damaged or missing machine part
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
CN101046908A (zh) * 2007-05-08 2007-10-03 中国科学院上海技术物理研究所 基于红外相机的森林火情动态监测报警系统
US20100157056A1 (en) * 2007-05-20 2010-06-24 Rafael Advanced Defense Systems Ltd. Tracking and imaging data fusion
US8199198B2 (en) * 2007-07-18 2012-06-12 Delphi Technologies, Inc. Bright spot detection and classification method for a vehicular night-time video imaging system
EP3836539B1 (en) * 2007-10-10 2024-03-13 Gerard Dirk Smits Image projector with reflected light tracking
US8946606B1 (en) * 2008-03-26 2015-02-03 Arete Associates Determining angular rate for line-of-sight to a moving object, with a body-fixed imaging sensor
US9310191B1 (en) * 2008-07-08 2016-04-12 Bae Systems Information And Electronic Systems Integration Inc. Non-adjustable pointer-tracker gimbal used for directed infrared countermeasures systems
US8294560B2 (en) * 2009-07-20 2012-10-23 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for identifying threats using multiple sensors in a graphical user interface
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US10178290B2 (en) * 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
US20110304737A1 (en) * 2010-06-15 2011-12-15 Flir Systems, Inc. Gimbal positioning with target velocity compensation
EP2474808A1 (de) * 2011-01-10 2012-07-11 Leica Geosystems AG Geodätisches Vermessungsgerät mit thermographischer Kamera
CN102182137A (zh) * 2011-02-25 2011-09-14 广州飒特电力红外技术有限公司 路面缺陷检测系统及方法
US9930298B2 (en) * 2011-04-19 2018-03-27 JoeBen Bevirt Tracking of dynamic object of interest and active stabilization of an autonomous airborne platform mounted camera
TW201249713A (en) * 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
CN102280005B (zh) * 2011-06-09 2014-10-29 广州飒特红外股份有限公司 基于红外热成像技术的森林防火预警系统及方法
US20130021475A1 (en) * 2011-07-21 2013-01-24 Canant Ross L Systems and methods for sensor control
US9000371B2 (en) * 2011-08-26 2015-04-07 Custom Scene Technology, Inc. Camera, computer program and method for measuring thermal radiation and thermal rates of change
US20170073070A1 (en) * 2013-02-06 2017-03-16 Zhou Tian Xing Amphibious vertical takeoff and landing unmanned device with artificial intelligence (AI) and method and system for managing a crisis environment and controlling one or more targets
US9071732B2 (en) * 2013-03-15 2015-06-30 Tolo, Inc. Distortion correcting sensors for diagonal collection of oblique imagery
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9603527B2 (en) * 2014-07-31 2017-03-28 Chung Hua University Person positioning and health care monitoring system
US20160214713A1 (en) * 2014-12-19 2016-07-28 Brandon Cragg Unmanned aerial vehicle with lights, audio and video
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
CN106558181B (zh) * 2015-09-28 2019-07-30 东莞前沿技术研究院 火灾监测方法和装置
CN205177061U (zh) * 2015-11-14 2016-04-20 深圳市易特科信息技术有限公司 用于火灾救援的无人机预警系统
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
US20180204331A1 (en) * 2016-07-21 2018-07-19 Gopro, Inc. Subject tracking systems for a movable imaging system
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN106297142B (zh) * 2016-08-17 2018-09-11 云南电网有限责任公司电力科学研究院 一种无人机山火勘探控制方法及系统
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
JP6478177B2 (ja) * 2016-11-18 2019-03-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像システム、移動体、制御方法、およびプログラム
US10269133B2 (en) * 2017-01-03 2019-04-23 Qualcomm Incorporated Capturing images of a game by an unmanned autonomous vehicle
US10599161B2 (en) * 2017-08-08 2020-03-24 Skydio, Inc. Image space motion planning of an autonomous vehicle
IL254460B2 (en) * 2017-09-12 2024-01-01 Israel Aerospace Ind Ltd Active household head
US10809064B2 (en) * 2018-02-08 2020-10-20 Raytheon Company Image geo-registration for absolute navigation aiding using uncertainy information from the on-board navigation system
US10996683B2 (en) * 2018-02-09 2021-05-04 Skydio, Inc. Aerial vehicle touchdown detection
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
US11740630B2 (en) * 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
US10679054B2 (en) * 2018-09-04 2020-06-09 International Business Machines Corporation Object cognitive identification solution
US11472550B2 (en) * 2018-10-03 2022-10-18 Sarcos Corp. Close proximity countermeasures for neutralizing target aerial vehicles
US11697497B2 (en) * 2018-10-03 2023-07-11 Sarcos Corp. Aerial vehicles having countermeasures deployed from a platform for neutralizing target aerial vehicles
US11440656B2 (en) * 2018-10-03 2022-09-13 Sarcos Corp. Countermeasure deployment system facilitating neutralization of target aerial vehicles

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060238414A1 (en) * 2003-08-05 2006-10-26 Miyamoto Ryan Y Microwave self-phasing antenna arrays for secure data transmission & satellite network crosslinks
CN101419055A (zh) * 2008-10-30 2009-04-29 北京航空航天大学 基于视觉的空间目标位姿测量装置和方法
US20130242091A1 (en) * 2012-03-19 2013-09-19 Dong Kwon Park Method for sensing fire and transferring fire information
CN102831620A (zh) * 2012-08-03 2012-12-19 南京理工大学 基于多假设跟踪数据关联的红外弱小目标搜索跟踪方法
US20160171330A1 (en) * 2014-12-15 2016-06-16 Reflex Robotics, Inc. Vision based real-time object tracking system for robotic gimbal control
CN106029501A (zh) * 2014-12-23 2016-10-12 深圳市大疆创新科技有限公司 Uav全景成像
CN204822071U (zh) * 2015-07-03 2015-12-02 广西大学 多功能共轴双旋翼四轴飞行器
CN105049733A (zh) * 2015-08-28 2015-11-11 罗永进 一种定位拍摄辅助装置及方法
CN107003386A (zh) * 2015-10-20 2017-08-01 深圳市大疆创新科技有限公司 一种卫星导航测姿方法和装置及无人机
CN105212418A (zh) * 2015-11-05 2016-01-06 北京航天泰坦科技股份有限公司 基于红外夜视功能的增强现实智能头盔研制
CN105718895A (zh) * 2016-01-22 2016-06-29 张健敏 一种基于视觉特征的无人机
US20170299771A1 (en) * 2016-04-13 2017-10-19 Northrop Grumman Systems Corporation UAVs FOR THE DETECTION AND TRACKING OF INTENSE TORNADOES
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUIS MERINO等: "A Cooperative Perception System for Multiple UAVs:Application to Automatic Detection of Forest Fires", 《JOURNAL OF FIELD ROBOTICS》 *
ZDENEK HURAK，MARTIN REZAC: "Image-Based Pointing and Tracking for Inertially Stabilized Airborne Camera Platform", 《IEEE TRANSACTIONS ON CONTROL SYSTEMS TECHNOLOGY》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141816A (zh) * 2019-04-23 2019-08-20 上海中备实业公司 一种用于消防车的智能灭火设备和灭火方法
CN110824295A (zh) * 2019-10-22 2020-02-21 广东电网有限责任公司 一种基于三维图形的红外热像故障定位方法
CN110824295B (zh) * 2019-10-22 2021-08-31 广东电网有限责任公司 一种基于三维图形的红外热像故障定位方法
CN112154450A (zh) * 2019-11-13 2020-12-29 深圳市大疆创新科技有限公司 识别方法、测温方法、设备及存储介质
WO2021092815A1 (zh) * 2019-11-13 2021-05-20 深圳市大疆创新科技有限公司 识别方法、测温方法、设备及存储介质
CN111678558A (zh) * 2020-07-31 2020-09-18 国网四川省电力公司成都供电公司 一种应用于充油设备的红外热成像油位、温度监测系统及方法

Also Published As

Publication number Publication date
EP3671681A4 (en) 2020-08-26
WO2019104583A1 (zh) 2019-06-06
US11798172B2 (en) 2023-10-24
CN109154815B (zh) 2022-06-21
EP3671681A1 (en) 2020-06-24
US11153494B2 (en) 2021-10-19
US20200280682A1 (en) 2020-09-03
US20220038633A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN109154815B (zh) 最高温度点跟踪方法、装置和无人机
CN109074168B (zh) 无人机的控制方法、设备和无人机
WO2019227289A1 (zh) 延时拍摄控制方法和设备
CN110651466A (zh) 可移动平台的拍摄控制方法和设备
CN110892731B (zh) 视频播放速度控制方法及系统、控制终端和可移动平台
CN109032184B (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制系统
WO2020172800A1 (zh) 可移动平台的巡检控制方法和可移动平台
WO2021217371A1 (zh) 可移动平台的控制方法和装置
WO2020019260A1 (zh) 磁传感器校准方法、控制终端以及可移动平台
CN108450032B (zh) 飞行控制方法和装置
US20210229810A1 (en) Information processing device, flight control method, and flight control system
CN113795805A (zh) 无人机的飞行控制方法和无人机
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
CN109154834A (zh) 无人机的控制方法、装置和系统
CN110679127A (zh) 无人机的数据处理方法和设备
CN113632037B (zh) 可移动平台的控制方法和设备
US20200027238A1 (en) Method for merging images and unmanned aerial vehicle
CN111712861A (zh) 遥控设备的控制方法和遥控设备
WO2020062255A1 (zh) 拍摄控制方法和无人机
WO2020042186A1 (zh) 可移动平台的控制方法、可移动平台、终端设备和系统
CN111433819A (zh) 目标场景三维重建方法、系统及无人机
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
CN116745722A (zh) 无人机的控制方法、装置、无人机及存储介质
CN112154477A (zh) 图像处理方法、装置和可移动平台
WO2020150974A1 (zh) 拍摄控制方法、可移动平台与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant