CN117930981A - 一种无人机眼动控制方法、装置及系统 - Google Patents

一种无人机眼动控制方法、装置及系统 Download PDF

Info

Publication number
CN117930981A
CN117930981A CN202410123945.6A CN202410123945A CN117930981A CN 117930981 A CN117930981 A CN 117930981A CN 202410123945 A CN202410123945 A CN 202410123945A CN 117930981 A CN117930981 A CN 117930981A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
target object
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410123945.6A
Other languages
English (en)
Inventor
杨民强
王金涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN202410123945.6A priority Critical patent/CN117930981A/zh
Publication of CN117930981A publication Critical patent/CN117930981A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种无人机眼动控制方法、装置及系统，属于无人机领域。该方法应用于控制设备中，控制设备分别与无人机和眼动采集设备进行通信连接，控制设备用于显示无人机拍摄的环境图像，眼动采集设备用于采集无人机操作者注视环境图像时的眼动数据，该方法包括：获取无人机拍摄的环境图像和眼动采集设备采集的无人机操作者的眼动数据；基于眼动数据，确定无人机操作者在环境图像中所注视的目标对象；控制无人机瞄准目标对象。由此可见，本申请在控制无人机时，不需要无人机操作者手动操作控制设备，而是通过分析无人机操作者的眼动数据来确定无人机操作者感兴趣的目标对象，并控制无人机自动瞄准目标对象，提高了无人机瞄准目标对象的准确度和速度。

Description

一种无人机眼动控制方法、装置及系统
技术领域
本申请涉及无人机技术领域，尤其涉及一种无人机眼动控制方法、装置及系统。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器，具有体积小、造价低、使用方便、对环境要求低、环境生存能力较强等优点，因此，无人机在多个领域均得到了广泛应用，例如军事、航拍、物流等。
相关技术中，无人机瞄准目标的过程为：无人机操作者观看无人机拍摄的环境图像，并从环境图像中确定感兴趣的目标对象。然后，基于目标对象在环境图像中的位置，手动操作无人机遥控器上的推杆，以调整无人机的飞行姿态，从而使得无人机能够瞄准该目标对象，即该目标对象位于无人机所拍摄的环境图像的中心位置。
然而，上述无人机瞄准目标依赖于无人机操作者的操作能力，对于无人机操作新手而言，操作比较困难，难以控制无人机及时有效地瞄准目标对象。
发明内容
本申请提供了一种无人机眼动控制方法、装置及系统，能够提高无人机瞄准目标的准确性。所述技术方案如下：
第一方面，提供了一种无人机眼动控制方法，应用于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述方法包括：
获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；
基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；
控制所述无人机瞄准所述目标对象。
可选地，所述眼动数据包括所述无人机操作者注视所述环境图像时的视野图像，以及所述无人机操作者在所述视野图像中的注视点，所述视野图像包括在所述控制设备中显示的所述环境图像；
所述基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象，包括：
对所述环境图像进行对象检测，确定所述环境图像包括的至少一个检测对象，以及所述至少一个检测对象在所述环境图像中的第一图像位置；
基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
可选地，所述基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：
对所述至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定所述至少一个检测对象在所述视野图像中分别对应的第二图像位置；
基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
可选地，所述基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：
以第一检测对象的第二图像位置为中心点，按照目标尺寸对所述第一检测对象在所述视野图像中的局部图像区域向四周进行扩展，得到包含所述第一检测对象的扩充图像区域；其中，所述第一检测对象为所述至少一个检测对象中的任意一个；
若所述注视点位于所述扩充图像区域内，且所述注视点与所述第一检测对象的第二图像位置之间的距离最小，则将所述第一检测对象确定为所述无人机操作者所注视的目标对象。
可选地，所述控制所述无人机瞄准所述目标对象，包括：
确定所述目标对象的第一图像位置与所述环境图像的图像中心点之间的相对距离，所述图像中心点指示所述无人机当前瞄准点；
若所述相对距离大于距离阈值，则基于所述相对距离，计算所述无人机瞄准所述目标对象时的第一偏航角和第一俯仰角；
基于所述第一偏航角和第一俯仰角，控制所述无人机瞄准所述目标对象。
可选地，该方法还包括：
若所述相对距离小于所述距离阈值，则确定所述无人机已瞄准所述目标对象。
可选地，所述控制所述无人机瞄准所述目标对象，包括：
获取上一调整周期内计算的所述无人机瞄准所述目标对象时的第一偏航角调整值和第一俯仰角调整值；
获取所述无人机在所述上一调整周期内按照所述第一偏航角调整值和所述第一俯仰角调整值，瞄准所述目标对象时的实际偏航角调整值和实际俯仰角调整值；
基于所述第一偏航角调整值和所述实际偏航角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二偏航角调整值；
基于所述第一俯仰角调整值和所述实际俯仰角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二俯仰角调整值。
可选地，该方法还包括：
若所述第二偏航角调整值小于第一角度阈值，和/或，所述第二俯仰角调整值小于第二角度阈值，则确定所述无人机已瞄准所述目标对象。
第二方面，提供了一种无人机控制装置，所述无人机控制装置具有实现上述第一方面中无人机控制方法行为的功能。所述无人机控制装置包含于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述装置包括：
数据获取模块，用于获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；
目标确定模块，用于基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；
控制模块，用于控制所述无人机瞄准所述目标对象。
可选地，所述眼动数据包括所述无人机操作者注视所述环境图像时的视野图像，以及所述无人机操作者在所述视野图像中的注视点，所述视野图像包括在所述控制设备中显示的所述环境图像；
所述目标确定模块，包括：
图像检测单元，用于对所述环境图像进行对象检测，确定所述环境图像包括的至少一个检测对象，以及所述至少一个检测对象在所述环境图像中的第一图像位置；
目标确定单元，用于基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
可选地，所述目标确定单元，包括：
坐标转换子单元，用于对所述至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定所述至少一个检测对象在所述视野图像中分别对应的第二图像位置；
目标确定子单元，用于基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
可选地，所述目标确定子单元，具体用于：
以第一检测对象的第二图像位置为中心点，按照目标尺寸对所述第一检测对象在所述视野图像中的局部图像区域向四周进行扩展，得到包含所述第一检测对象的扩充图像区域；其中，所述第一检测对象为所述至少一个检测对象中的任意一个；
若所述注视点位于所述扩充图像区域内，且所述注视点与所述第一检测对象的第二图像位置之间的距离最小，则将所述第一检测对象确定为所述无人机操作者所注视的目标对象。
可选地，所述控制模块，具体用于：
确定所述目标对象的第一图像位置与所述环境图像的图像中心点之间的相对距离，所述图像中心点指示所述无人机当前瞄准点；
若所述相对距离大于距离阈值，则基于所述相对距离，计算所述无人机瞄准所述目标对象时的第一偏航角和第一俯仰角；
基于所述第一偏航角和第一俯仰角，控制所述无人机瞄准所述目标对象。
可选地，所述控制模块，还用于：
若所述相对距离小于所述距离阈值，则确定所述无人机已瞄准所述目标对象。
可选地，所述控制模块，具体用于：
获取上一调整周期内计算的所述无人机瞄准所述目标对象时的第一偏航角调整值和第一俯仰角调整值；
获取所述无人机在所述上一调整周期内按照所述第一偏航角调整值和所述第一俯仰角调整值，瞄准所述目标对象时的实际偏航角调整值和实际俯仰角调整值；
基于所述第一偏航角调整值和所述实际偏航角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二偏航角调整值；
基于所述第一俯仰角调整值和所述实际俯仰角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二俯仰角调整值。
可选地，所述控制模块，还用于：
若所述第二偏航角调整值小于第一角度阈值，和/或，所述第二俯仰角调整值小于第二角度阈值，则确定所述无人机已瞄准所述目标对象。
第三方面，提供了一种无人机控制系统，所述无人机控制系统包括无人机、眼动采集设备和控制设备，所述控制设备分别与所述无人机和所述眼动采集设备进行通信连接；
所述无人机，用于拍摄环境图像；
所述眼动采集设备，用于采集无人机操作者注视所述环境图像时的眼动数据；
所述控制设备，用于显示所述无人机拍摄的环境图像，并执行上述第一方面所述的无人机控制方法的步骤
第四方面，本申请提供了一种计算机设备，所述设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的无人机控制方法的步骤。
第五方面，本申请提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机控制方法的步骤。
第六方面，本申请提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无人机控制方法的步骤。
本申请提供的技术方案至少可以达到以下有益效果：
本申请提供了一种无人机控制方法，控制设备分别与无人机和眼动采集设备进行通信连接，控制设备用于显示无人机拍摄的环境图像，眼动采集设备则采集无人机操作者注视该环境图像时的眼动数据。在执行本申请提供的无人机控制方法时，控制设备可以分别获取无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，然后根据眼动数据确定无人机操作者在环境图像中所注视的目标对象，进而控制无人机瞄准目标对象。由此可见，本申请实施例在控制无人机时，不需要无人机操作者手动操作控制设备，而是通过采集无人机操作者的眼动数据，来分析确定该无人机操作者感兴趣的目标对象，并控制无人机瞄准该目标对象。如此，不仅可以实现无人机自动瞄准目标对象，还提高了无人机瞄准目标对象的准确度，以及瞄准目标对象时的响应速度。
附图说明
图1是本申请实施例提供的一种无人机控制系统的架构示意图；
图2是本申请实施例提供的一种控制设备的结构示意图；
图3是本申请实施例提供的一种无人机控制方法的流程示意图；
图4是本申请实施例提供的一种视野图像和环境图像之间的坐标转换关系示意图；
图5是本申请实施例提供的一种检测对象的扩充图像区域的示意图；
图6是本申请实施例提供的一种偏航角和俯仰角的示意图；
图7是本申请实施例提供的一种无人机控制装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，下面将结合附图及实施例，对本申请的技术方案做进一步详细说明。
在对本申请实施例提供的无人机控制方法进行解释说明之前，先对本申请实施例的应用背景、所涉及的无人机控制系统的系统架构，以及实施环境进行介绍。
无人机具有体积小、造价低、使用方便、对环境要求低、环境生存能力较强等优点，因此，在多个领域均得到了广泛应用，例如军事、航拍、物流等。通常，无人机控制是通过无人机操作者手动操作无人机遥控器上的推杆，来调整无人机的飞行位姿，使得无人机可以瞄准感兴趣的目标对象。其中，无人机瞄准目标的准确性、快速性等能力，完全依赖于无人机操作者的操作能力，对于无人机操作新手而言，操作比较困难，难以控制无人机及时有效地瞄准目标对象。
基于此，本申请实施例提供了一种无人机控制方法，在与无人机通信连接的控制设备显示无人机拍摄的环境图像的过程中，通过眼动采集设备获取无人机操作者注视该环境图像时的眼动数据，并通过分析眼动数据确定无人机操作者在该环境图像中所注视的目标对象，从而控制无人机瞄准该目标对象。如此，在控制无人机瞄准目标对象过程中，无需无人机操作者手动操作控制设备，且控制设备可以通过分析无人机操作者的眼动数据，自动控制无人机快速有效的瞄准该无人机操作者所感兴趣的目标对象。
接下来，对本申请实施例涉及的无人机控制系统进行介绍。
参见图1，本申请实施例可以应用在图1所示的无人机控制系统中，该无人机控制系统包括：无人机100、控制设备200和眼动采集设备300，控制设备200分别于无人机100、眼动采集设备300进行通信连接。
在上述无人机控制系统中，无人机用于拍摄环境图像；控制设备用于显示无人机拍摄的环境图像，眼动采集设备用于采集无人机操作者注视环境图像时的眼动数据。基于此，控制设备在获取到无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据后，即可按照本申请实施例提供的无人机控制方法，来控制无人机自动瞄准无人机操作者当前感兴趣的目标对象。
其中，眼动数据包括无人机操作者注视控制设备上所显示的环境图像时的视野图像，以及无人机操作者在视野图像中的注视点，视野图像包括控制设备中所显示的环境图像。换言之，眼动采集设备不仅用于采集无人机操作者所注视的图像，还用于采集无人机操作者本身眼球的运动轨迹，以分析该无人机操作者在该图像中的注视点。其中，注视点描述的是该无人机操作者的目光在其所注视的图像中对准的像素点。
作为一个示例，眼动采集设备可以为眼动仪，随着眼动数据采集技术的发展，该眼动采集设备也可以为其他能够采集无人机操作者眼动数据的设备，本申请实施例对其具体类型不做限定。
应该理解的是，在无人机操作者控制无人机的过程中，无人机操作者通常位于该控制设备周边，以能够完整的看到控制设备上所显示的无人机拍摄的环境图像，并通过该环境图像了解无人机在环境中的飞行位姿，以及环境中存在人物、地标建筑等，从而对无人机的飞行位姿进行调整。
其中，无人机的飞行位姿可以包括无人机的飞行高度、飞行位置(比如经纬度信息)、偏航角、俯仰角、横滚角等，本申请实施例对此不做限制。
需要说明的是，在执行本申请实施例提供的无人机控制方法时，上述控制设备可以为具备图像显示、计算处理、通信能力的单个设备，也可以为多个设备的组合，本申请实施例对此不做限制。
在一种可能的实现方式中，上述控制设备200包括无人机遥控器和移动终端，且无人机遥控器与移动终端进行通信连接。其中，无人机遥控器与无人机进行通信连接，移动终端与眼动采集设备进行通信连接。
作为一个示例，无人机遥控器可以为控制手柄，移动终端可以为智能手机等具有显示屏，能够显示无人机拍摄的环境图像的移动电子设备。
其中，无人机遥控器接收无人机拍摄的环境图像，并将无人机拍摄的环境图像发送给移动终端进行显示；眼动采集设备采集无人机操作者注视移动终端上显示的环境图像时的眼动数据，并将采集的眼动数据也发送给移动终端；移动终端基于该无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，执行本申请实施例所提供的无人机控制方法。
在此实现方式中，无需对原始的无人机遥控器进行修改，只需保证该无人机遥控器可以通过有线连接或无线连接的方式与移动终端建立连接即可。如此，对无人机原始遥控器要求较低，不会对本申请实施方案的使用场景构成限制。
在另一种可能的实现方式中，上述控制设备200包括无人机遥控器、移动终端和计算机设备，且无人机遥控器与移动终端进行通信连接，移动终端与计算机设备进行通信连接；同时，无人机遥控器与无人机通信连接，眼动采集设备与计算机设备通信连接。
作为一个示例，无人机遥控器可以为控制手柄，移动终端可以为智能手机等具有显示屏，能够显示无人机拍摄的环境图像的移动电子设备。计算机设备可以为终端设备或服务器，终端设备可以但不限于为各种个人计算机、笔记本电脑、平板电脑、便携式可穿戴设备等；服务器可以但不限于为至少一个独立服务器、分布式服务器、云服务器、服务器集群、数据中心等。
其中，无人机遥控器接收无人机拍摄的环境图像，并将无人机拍摄的环境图像发送给移动终端进行显示，同时将该环境图像发送给计算机设备，或者由移动终端将该环境图像转发给计算机设备；眼动采集设备采集无人机操作者注视移动终端上显示的环境图像时的眼动数据，并将采集的眼动数据发送给计算机设备。计算机设备基于该无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，执行本申请实施例所提供的无人机控制方法。
在此实现方式中，考虑到无人机拍摄的环境图像是实时传输的，在执行本申请实施例所提供的无人机控制方法时，需要处理大量的图像数据和眼动数据，因此，为提高数据处理效率，可以将数据计算处理部分放在独立的计算机设备中来完成，从而提高无人机控制时的响应速度和瞄准目标的准确度。
应该理解的是，上述控制设备仅仅采用两种实现方式进行举例说明，并不构成对控制设备具体实现方式的限制。且随着新应用场景和新控制设备的出现，本申请的技术方案在面对相同的技术问题时也同样适用。
例如，当上述无人机替换为球机等监控设备时，也可以通过采集用户观看该监控设备采集的监控视频/监控图像时的眼动数据，确定用户在该监控视频/监控图像中感兴趣的目标对象，从而控制球机对该目标对象进行持续跟踪。
最后，对本申请实施例的实施环境进行介绍。
参见图2，图2是本申请实施例提供了一种控制设备的结构示意图，该控制设备200包括至少一个处理器210、通信总线220、存储器230以及至少一个通信接口240。
处理器210可以是一个通用中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、微处理器、或者可以是一个或多个用于实现本申请方案的集成电路，例如，专用集成电路(Application-Specific Integrated Circuit，ASIC)，可编程逻辑器件(Programmable Logic Device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，现场可编程逻辑门阵列(Field-Programmable Gate Array，FPGA)，通用阵列逻辑(Generic Array Logic，GAL)或其任意组合。
通信总线220用于在上述组件之间传送信息。通信总线220可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器230可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，也可以是随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其它类型的动态存储设备，还可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备，或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。
可选地，存储器230可以是独立存在，并通过通信总线220与处理器210相连接；存储器230也可以和处理器210集成在一起。
通信接口240用于与其它设备或通信网络通信。通信接口240包括有线通信接口，还可以包括无线通信接口。其中，有线通信接口例如可以为以太网接口。以太网接口可以是光接口，电接口或其组合。无线通信接口可以为无线局域网(Wireless Local AreaNetworks，WLAN)接口、蜂窝网络通信接口或其组合等。
可选地，处理器210可以包括一个或多个CPU。控制设备200可以包括多个处理器。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。
需要说明的是，这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
在一些实施例中，控制设备200还可以包括输出设备和输入设备。输出设备和处理器210通信，可以以多种方式来显示信息。例如，输出设备可以是液晶显示器(LiquidCrystal Display，LCD)、发光二级管(Light Emitting Diode，LED)显示设备、阴极射线管(Cathode Ray Tube，CRT)显示设备或投影仪(projector)等。输入设备和处理器210通信，可以以多种方式接收用户的输入。例如，输入设备可以是鼠标、键盘、触摸屏设备或传感设备等。
在一些实施例中，存储器230用于存储执行本申请方案的计算机程序，处理器210可以执行存储器230中存储的计算机程序。例如，该控制设备200可以通过处理器210以及存储器230中的计算机程序，来实现下文图3实施例所提供的无人机控制方法。
请参见图3，图3是本申请实施例提供的一种无人机目标瞄准方法的流程图，以该方法应用于上述控制设备200进行举例说明，该方法包括如下步骤。
步骤310：获取无人机拍摄的环境图像和眼动采集设备采集的无人机操作者的眼动数据。
其中，环境图像可以为无人机坐标系下拍摄的二维图像。在无人机与控制设备通信连接的情况下，无人机可以向控制设备实时传输拍摄的环境图像。
在本申请实施例中，无人机还可以实时向控制设备传输该无人机当前时刻的姿态信息，该姿态信息至少包括无人机当前时刻的偏航角和俯仰角。其中，偏航角(yaw)为无人机在水平方向上的角度偏移值；俯仰角(pitch)为无人机当前在垂直方向上角度偏移值。
作为一个示例，以无人机机身的质心为原点建立坐标系，该坐标系包括X轴、Y轴及Z轴，X轴、Y轴彼此垂直且构成面与水平面重合，Z轴垂直于水平面。上述俯仰角是指机身围绕X轴旋转的角度，即可以是机身与穿过其质心的水平面之间的夹角，当机身与水平面重合时，对应的俯仰角为0度；可以根据预先设置的规则，当机身的机头位于穿过机身质心的水平面之上时，对应的俯仰角为正值，当机身的机头位于穿过机尾的水平面之下时，对应的俯仰角为负值。进一步地，俯仰角的范围可以为[-90°，90°]。上述偏航角是指机身是围绕Z轴旋转的角度，可以约定向机身右侧转动时偏航角为正值，向机身左侧转动时时偏航角为负值。其中，偏航角的范围可以为[-180°，180°]。
应该理解的是，上述建立坐标系的方式，以及偏航角和俯仰角的范围仅以上述规则进行举例，在具体实施时，也可以采用其他规则建立坐标系，并定义偏航角和俯仰角的取值范围，本申请实施例对此不做限制。
如前文说明，眼动采集设备所采集的无人机操作者的眼动数据包括：无人机操作者注视该环境图像时的视野图像，以及该无人机操作者在该视野图像中的注视点，基于此，该视野图像必然包括在控制设备中所显示的环境图像。
其中，注视点也可以理解为无人机操作者的目光在视野图像中的对准点，该注视点可以指示无人机操作者在该视野图像中所注视的一个局部图像区域，该局部图像区域包括多个像素点，且这些像素点描述一个或多个对象。
步骤320：基于眼动数据，确定无人机操作者在环境图像中所注视的目标对象。
也即是，本申请实施例是基于无人机操作者的眼动数据，自动分析无人机操作者在无人机拍摄的环境图像中所注视的目标对象，进而通过下述步骤330来控制无人机自动瞄准目标对象，无需用户手动操作，且可以快速有效地实现目标瞄准。
在一些实施例中，上述步骤320的实现过程可以包括以下步骤：
(1)对环境图像进行对象检测，确定该环境图像包括的至少一个检测对象，以及该至少一个检测对象在环境图像中的第一图像位置。
其中，至少一个检测对象可以是环境图像中包括的人物、地标建筑等，且该至少一个检测对象的数量可以为一个，也可以为多个，本申请实施例对此均不做限制。当然，该至少一个检测对象的类型可以相同，比如，该至少一个检测对象包括三个人物；该至少一个检测对象的类型也可以不同，比如，至少一个检测对象包括三个人物和两个地标建筑物，本申请实施例对此也不做显示。
在一种可能的实现方式中，对环境图像进行对象检测的实现方式可以为：采用训练好的神经网络模型、目标检测算法等，对该环境图像进行检测，以识别出该环境图像中包括的至少一个检测对象，并输出该至少一个检测对象在该环境图像中的第一图像位置。
其中，神经网络模型可以为YOLO系列的目标检测模型，其具体的图像检测过程可以参见相关现有技术。以采用神经网络模型进行对象检测为例，基于训练好的神经网络模型，将环境图像输入至该神经网络模型中，通过该神经网络模型输出该环境图像中包括的至少一个检测对象，以及该至少一个检测对象在该环境图像中的第一图像位置。其中，每个检测对象对应一个第一图像位置。
在一些实施例中，神经网络模型在识别出环境图像中存在的至少一个检测对象后，可以采用边界框标记出每个检测对象对应的局部图像区域，该局部图像区域即为检测对象在该环境图像中的第一图像位置。
基于此，每个检测对象在环境图像中的第一图像位置可以包括标记该检测对象的边界框上，位于对角线位置上的两个像素点的图像坐标，通过这两个图像坐标，可以唯一确定一个检测对象在该环境图像中所处的局部图像区域。
作为一个示例，检测对象的第一图像位置包括标记该检测对象的边界框上，左上角像素点的图像坐标和右下角像素点的图像坐标；或者，检测对象的第一图像位置包括标记该检测对象的边界框上右上角像素点的图像坐标和左下角像素点的图像坐标。
需要说明的是，采用不同的神经网络模型或目标检测算法等，对环境图像进行对象检测时，也可以采用其他方式确定检测对象在环境图像中的第一图像位置，本申请实施例对此不做限制。例如，在环境图像中确定检测对象所处的局部图像区域时，该检测对象的第一图像位置也可以包括该局部图像区域的中心点的图像坐标，也即是，上述标记该检测对象的边界框的中心点的图像坐标。
(2)基于至少一个检测对象的第一图像位置和注视点，从该至少一个检测对象中确定无人机操作者所注视的目标对象。
需要说明的是，注视点可以为无人机操作者的目光在视野图像中对焦的像素点的图像坐标，而各检测对象的第一图像位置是基于环境图像确定的，检测对象的第一图像位置和注视点不属于同一个图像坐标系。而且，考虑到控制设备在显示环境图像时，屏幕可能会存在反光问题，导致视野图像中该环境图像的清晰度，相比无人机拍摄的环境图像本身而言较差。因此，即使视野图像和环境图像的图像内容完全相同，但对应像素点的图像坐标之间可能会存在偏差。
基于此，为提高确定目标对象的准确度，本申请实施例可以先将各检测对象第一图像位置和注视点调整到同一图像坐标系中，然后在同一图像坐标系下分析注视点和各检测对象之间的位置关系。考虑到注视点可以反映无人机操作者目光所关注的图像区域，且注视点位于视野图像中，因此，可以将各检测对象的第一图像位置转换到该视野图像的图像坐标系中，再分析注视点和各检测对象之间的位置关系，在不改变注视点的图像坐标的情况下，确定无人机操作者所注视的目标对象。
在一种可能的实现方式，对至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定该至少一个检测对象在视野图像中分别对应的第二图像位置；基于该至少一个检测对象的第二图像位置和注视点之间的位置关系，从该至少一个检测对象中确定无人机操作者所注视的目标对象。
应该理解的是，第一图像位置和第二图像位置一一对应，且一个第一图像位置和对应的一个第二图像位置描述的是同一个检测对象。如前文说明，当第一图像位置包括两个像素点的图像坐标时，经过图像坐标系转换处理后得到的第二图像位置也对应包括两个像素点的图像坐标。例如，第二图像位置包括检测对象在视野图像所处的局部图像区域的左上角像素点的图像坐标和右下角像素点的图像坐标。同理，当第一图像位置包括一个像素点的图像坐标时，经过图像坐标系转换处理后得到的第二图像位置也对应包括一个像素点的图像坐标，即第二图像位置包括检测对象在视野图像所处的局部图像区域的中心点的图像坐标。
作为一个示例，参见图4，假设无人机拍摄的环境图像中，检测对象C的第一图像位置包括标记该检测对象C的边界框的左上角像素点的图像坐标(x5，y5)和右下角像素点的图像坐标(x6，y6)，且已知该环境图像宽度为Vu，图像高度为Uu。在眼动采集设备所采集的视野图像中，假设该视野图像所包括的环境图像在水平方向上的图像宽度为Ve，在垂直方向上的图像高度为Ue，且已知该视野图像所包括的环境图像中左上角像素点的图像坐标(x1，y1)，以及右下角像素点的图像坐标(x2，y2)。
其中，在数字图像中，图像宽度为水平方向的像素点数量与像素点大小的乘积，图像高度为垂直方向的像素点数量与像素点大小的乘积。在数字图像中，像素点的大小通常是不变的，并且由图像的分辨率和颜色深度决定。
基于此，可以通过下述公式(1)和(2)对检测对象C的第一图像位置进行图像坐标系转换处理，以确定测对象C在视野图像中的第二图像位置。
在上述公式中，检测对象C的第二图像位置包括环境图像中标记该检测对象C的边界框的左上角像素点在视野图像中对应的图像坐标(x3，y3)，以及标记该检测对象C的边界框的右下角像素点，在视野图像中对应的图像坐标(x4，y4)。
以此类推，对环境图像中的每个检测对象的第一图像位置均进行图像坐标系转换处理，以确定每个检测对象在视野图像中对应的第二图像位置。此时，各检测对象的第二图像位置和注视点即属于同一图像坐标系，因此，可以在视野图像中根据各检测对象的第二图像位置和注视点之间的位置关系，确定无人机操作者所注视的目标对象。
需要说明的是，对于每个检测对象，判断其是否为无人机操作者所注视的目标对象时，实现过程是类似的，接下来以第一检测对象为例，对判断该第一检测对象是否为目标对象的实现过程进行解释说明。其中，第一检测对象为至少一个检测对象中的任意一个。
在一种可能的实现方式中，以第一检测对象的第二图像位置为中心点，按照目标尺寸对该第一检测对象在视野图像中的局部图像区域向四周进行扩展，得到包含该第一检测对象的扩充图像区域；若注视点位于该扩充图像区域内，且注视点与第二图像位置之间的距离最小，则将该第一检测对象确定为无人机操作者所注视的注视对象。
其中，目标尺寸可以为预先设置的任意尺度值，比如目标尺寸为5个像素点大小的图像距离，本申请实施例对此不做限制。而且，在对第一检测对象的位置区域向四周进行扩展时，其在各个方向上的扩展尺寸可以相同，也可以不同，本申请实施例对此也不做限制。
也即是，按照上述方式，确定每个检测对象在视野图像中对应的扩充图像区域，若注视点与某一检测对象的扩充图像区域、第二图像位置之间的位置关系满足上述条件时，将该检测对象确定为目标对象。
作为一个示例，假设第一检测对象为上述图4所示的检测对象C，检测对象C的第二图像位置包括图像坐标(x3，y3)和图像坐标(x4，y4)，则以该检测对象C的第二图像位置为中心，以x3和x4的差值作为第一扩展尺寸，以对该第一检测对象的局部图像区域在水平方向上进行区域拓展；同理，以y3和y4的差值作为第二扩展尺寸，以对该第一检测对象的局部图像区域在垂直方向上进行区域拓展，得到如图5所示的扩充图像区域。
其中，在图5所示的扩充图像区域中，第一检测对象的局部图像区域位于中心，周围包括扩充后得到的八个区域，即区域1-区域8。基于第一检测对象的扩充图像区域和注视点之间的位置关系，确定该第一检测对象是否为目标对象的实现过程可以几种情况：
第一种情况：若注视点位于第一检测对象的局部图像区域内，即位于图像坐标(x3，y3)和图像坐标(x4，y4)限定的区域内，则确定该第一检测对象为目标对象。
第二种情况：若注视点位于第一检测对象的边界框的相邻区域内(即图5中所示的区域1、区域2、区域3、区域4)，则计算该注视点与该边界框之间的第一距离。在至少一个检测对象中，若该第一检测对象对应的第一距离最小，则确定该第一检测对象为目标对象。
如图5所示的，当注视点位于区域3中时，需要计算该注视点与第一检测对象的边界框上右侧边界线之间的距离，以确定该第一检测对象是否为目标对象。
第三种情况：若注视点位于第一检测对象的边界框的四个顶角区域内(即图5中所示的区域5、区域6、区域7、区域8)，则计算注视点与该边界框上距离最近的目标顶角之间的第二距离。在至少一个检测对象中，若该第一检测对象对应的第二距离最小，则确定该第一检测对象为目标对象。
需要说明的是，上述获取扩充图像区域的方式仅是一种示例说明。当第一检测对象的第二图像位置包括一个像素点的图像坐标时，也可以采用该图像坐标为中心点，按照目标尺寸对该第一检测对象在视野图像中的局部图像区域向四周进行扩展，得到扩充图像区域。在目标尺寸为一定值的情况下，该扩充图像区域为一个圆形的图像区域。也即是，本申请实施例对确定扩充图像区域的具体实现过程不做限制。
在上述方式中，先对第一检测对象在视野图像中的局部图像区域进行扩展，得到的扩充图像区域可以包含该第一检测对象的全部且完整的图像信息，在一定程度上，也可以弥补对象检测阶段确定图像位置，以及进行图像坐标系转换处理时引入的误差，从而提高了在视野图像中确定各检测对象的局部图像区域的准确性。进一步地，基于该扩充图像区域和注视点之间的位置关系，可以准确确定无人机操作者注视的目标对象。
步骤330：控制无人机瞄准目标对象。
在确定无人机操作者在环境图像中所注视的目标对象后，即可根据该目标对象在环境图像中的第一图像位置，计算无人机瞄准该目标对象时的偏航角和俯仰角(即目标值)，或者无人机瞄准该目标对象时的偏航角调整值和俯仰角调整值，从而控制无人机瞄准目标对象。
在一种可能的实现方式中，上述步骤330的实现过程可以为：确定目标对象的第一图像位置与环境图像的图像中心点之间的相对距离，图像中心点指示无人机当前瞄准点；若该相对距离大于距离阈值，则基于该相对距离，确定无人机瞄准目标对象时的第一偏航角和第一俯仰角；基于该第一偏航角和第一俯仰角，控制无人机瞄准目标对象。
其中，目标对象的第一图像位置包括该目标对象在环境图像中对应的局部图像区域的中心点坐标。相对距离包括水平方向上的相对距离Δx，以及垂直方向上的相对距离Δy。
作为一个示例，参见图6所示的成像平面图，O点为图像中心点，P点为目标对象的图像坐标，Δx、Δy分别是图像中心点和目标对象之间的相对距离，Oc是无人机(也即是无人机上搭载的摄像机)的中心。则无人机的第一偏航角αx和第一俯仰角αy的可以通过下述公式(3)和(4)确定。
在上述公式中，f为无人机相机的焦距、dx和dy分别为单个像素点在水平和垂直方向上的实际长度，nx和ny分别为水平和垂直方向上的像素数量，errx和erry为误差项。
其中，errx和erry是由于相机失真以及位置距离误差造成的，在无人机的姿态调整过程中，errx和erry会逐渐减小，使得偏移角度逐渐逼近真实值。
进一步地，在确定第一偏航角和第一俯仰角后，控制设备即可向无人机发送姿态调整指令，并在该姿态调整指令中携带第一偏航角和第一俯仰角，以指示无人机按照该第一偏航角和第一俯仰角，调整自身的飞行姿态，以瞄准目标对象。
当然，由于存在相机失真和位置距离等误差，无人机按照该第一偏航角和第一俯仰角调整飞行姿态后，其可能无法一次瞄准目标对象。基于此，可以根据无人机调整飞行姿态后反馈的环境图像，继续按照上述逻辑进行调整，直至无人机瞄准目标对象。
由于环境图像的图像中心点指示无人机当前瞄准点，因此，可以根据无人机拍摄的环境图像中目标对象的第一图像位置与图像中心点之间的相对距离，判断无人机是否瞄准目标对象。
作为一个示例，若目标对象的第一图像位置与环境图像的图像中心点之间的相对距离大于距离阈值，则确定无人机尚未瞄准目标对象，需要按照上述计算逻辑，继续计算无人机的第一偏航角和第一俯仰角，以指示无人机调整飞行姿态。若目标对象的第一图像位置坐标与环境图像的图像中心点之间的相对距离小于距离阈值，则确定无人机已瞄准目标对象。
其中，距离阈值为预先设置的任意数值，比如，距离阈值为图像中3个像素点对应的像距离值，本申请实施例对此不做限制。
在另一种可能的实现方式中，上述步骤330的实现过程可以为：获取上一调整周期内确定的无人机瞄准目标对象时的第一偏航角调整值和第一俯仰角调整值；获取无人机在上一调整周期内基于第一偏航角调整值和第一俯仰角调整值，瞄准目标对象时的实际偏航角调整值和实际俯仰角调整值；基于第一偏航角调整值和实际偏航角调整值，确定当前调整周期内无人机瞄准目标对象时的第二偏航角调整值；基于第一俯仰角调整值和实际俯仰角调整值，确定当前调整周期内无人机瞄准目标对象时的第二俯仰角调整值。
其中，若第二偏航角调整值小于第一角度阈值，和/或，第二俯仰角调整值小于第二角度阈值，则确定无人机已瞄准所述目标对象。反之，若第二偏航角调整值大于或等于第一角度阈值，和/或，第二俯仰角调整值大于或等于第二角度阈值，则表示无人机还未瞄准目标对象，需要按照上述调整逻辑继续控制无人机调整飞行姿态。
其中，第一角度阈值和第二角度阈值为预先设置的任意数值，比如3°、5°等，本申请实施例对此不做限制。
可选地，在控制无人机瞄准目标对象的过程中，控制设备可以记录和存储每个调整周期内计算的偏航角调整值和俯仰角调整值，并获取无人机在每个调整周期内调整姿态时的实际偏航角调整值和实际俯仰角调整值。
在一些实施例中，获取到上一调整周期内计算的第一偏航角调整值和第一俯仰角调整值，以及无人机的实际偏航角调整值和实际俯仰角调整值之后，控制设备可以采用增量式比例积分微分的方式计算当前调整周期内的第二偏航角调整值和第二俯仰角调整值。
其中，采用采用增量式比例积分微分算法计算当前调整周期内的第二偏航角调整值Δαx和第二俯仰角调整值Δαy时，可以通过下述公式(5)和(6)来计算。
Δαx＝Kp1(Ex0-Ex1)+KI1(Ex0)+KD1(Ex0-2Ex1+Ex2) (5)
Δαy＝Kp2(Ey0-Ey1)+KI2(Ey0)+KD2(Ey0-2Ey1+Ey2) (6)
在上述公式中，Kp1、Kp2、KI1、KI2、KD1、KD2为比例系数，为预先设置的数值。在增量式比例积分微分算法中，Ex0为当前调整周期的计算误差，Ex1为上一调整周期的计算误差，Ex2为上上次调整周期的计算误差。其中，Ex0＝Vtx-Vfx，Ey0＝Vty-Vfy，Vtx和Vty为上一调整周期内，计算的无人机在水平方向和垂直方向上需要调整的角度值(即上一调整周期的Δαx和Δαy)，Vfx和Vfy分别为上一调整周期内，无人机反馈的在水平方向和垂直方向上实际调整的角度值。
如此，在确定第二偏航角调整值和第二俯仰角调整值后，即可向无人机发送姿态调整指令，并在该姿态调整指令中携带第二偏航角调整值和第二俯仰角调整值，以指示无人机按照该第二偏航角调整值和第二俯仰角调整值，调整自身的飞行姿态，以瞄准目标对象。同理，上述调整过程可以循环执行，直至无人机瞄准目标对象。
需要说明的是，本申请实施例仅以增量式比例积分微分算法进行举例说明，也可以采用其他算法计算当前调整周期内的调整值，本申请实施例对此不做限制。
综上所述，在本申请实施例中，控制设备分别与无人机和眼动采集设备进行通信连接，以显示无人机拍摄的环境图像，而眼动采集设备则采集无人机操作者注视该环境图像时的眼动数据。基于此，控制设备可以分别获取无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，然后，根据眼动数据确定无人机操作者在环境图像中所注视的目标对象，进而控制无人机瞄准目标对象。由此可见，本申请实施例在控制无人机时，无需操作者手动操作控制设备，而是通过采集操作者的眼动数据，来分析操作者想要无人机瞄准的目标对象，如此，不仅可以实现目标对象的自动瞄准，还提高了无人机瞄准目标对象时的准确度，以及瞄准目标对象时的响应速度。
图7是本申请实施例提供的一种无人机控制装置的结构示意图，该无人机控制装置700可以由软件、硬件或者两者的结合实现成为的控制设备的部分或者全部，该控制设备可以为图2所示的设备。参见图7，该无人机控制装置包括：数据获取模块710、目标确定模块720和控制模块730。
数据获取模块710，用于获取无人机拍摄的环境图像和眼动采集设备采集的无人机操作者的眼动数据；
目标确定模块720，用于基于眼动数据，确定无人机操作者在环境图像中所注视的目标对象；
控制模块730，用于控制无人机瞄准目标对象。
可选地，眼动数据包括无人机操作者注视环境图像时的视野图像，以及无人机操作者在视野图像中的注视点，视野图像包括在控制设备中显示的环境图像；
目标确定模块720，包括：
图像检测单元，用于对环境图像进行对象检测，确定环境图像包括的至少一个检测对象，以及至少一个检测对象在环境图像中的第一图像位置；
目标确定单元，用于基于至少一个检测对象的第一图像位置和注视点，从至少一个检测对象中确定无人机操作者所注视的目标对象。
可选地，目标确定单元，包括：
坐标转换子单元，用于对至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定至少一个检测对象在视野图像中分别对应的第二图像位置；
目标确定子单元，用于基于至少一个检测对象的第二图像位置和注视点之间的位置关系，从至少一个检测对象中确定无人机操作者所注视的目标对象。
可选地，目标确定子单元，具体用于：
以第一检测对象的第二图像位置为中心点，按照目标尺寸对第一检测对象在视野图像中的局部图像区域向四周进行扩展，得到包含第一检测对象的扩充图像区域；其中，
第一检测对象为至少一个检测对象中的任意一个；
若注视点位于扩充图像区域内，且注视点与第一检测对象的第二图像位置之间的距离最小，则将第一检测对象确定为无人机操作者所注视的目标对象。
可选地，控制模块730，具体用于：
确定目标对象的第一图像位置与环境图像的图像中心点之间的相对距离，图像中心点指示无人机当前瞄准点；
若相对距离大于距离阈值，则基于相对距离，计算无人机瞄准目标对象时的第一偏航角和第一俯仰角；
基于第一偏航角和第一俯仰角，控制无人机瞄准目标对象。
可选地，控制模块730，还用于：
若相对距离小于距离阈值，则确定无人机已瞄准目标对象。
可选地，控制模块730，具体用于：
获取上一调整周期内计算的无人机瞄准目标对象时的第一偏航角调整值和第一俯仰角调整值；
获取无人机在上一调整周期内按照第一偏航角调整值和第一俯仰角调整值，瞄准目标对象时的实际偏航角调整值和实际俯仰角调整值；
基于第一偏航角调整值和实际偏航角调整值，确定当前调整周期内无人机瞄准目标对象时的第二偏航角调整值；
基于第一俯仰角调整值和实际俯仰角调整值，确定当前调整周期内无人机瞄准目标对象时的第二俯仰角调整值。
可选地，控制模块730，还用于：
若第二偏航角调整值小于第一角度阈值，和/或，第二俯仰角调整值小于第二角度阈值，则确定无人机已瞄准目标对象。
在本申请实施例中，无人机控制装置可以分别获取无人机拍摄的环境图像，以及眼动采集设备采集的无人机操作者的眼动数据，然后，根据眼动数据确定无人机操作者在环境图像中所注视的目标对象，进而控制无人机瞄准目标对象。由此可见，本申请实施例在控制无人机时，无需操作者手动操作控制设备，而是通过采集操作者的眼动数据，来分析操作者想要无人机瞄准的目标对象，如此，不仅可以实现目标对象的自动瞄准，还提高了无人机瞄准目标对象时的准确度，以及瞄准目标对象时的响应速度。
需要说明的是：上述实施例提供的无人机控制装置在控制无人机瞄准无人机操作者感兴趣的目标对象时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的无人机控制装置与无人机控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
应当理解的是，本文提及的“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本申请实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上仅为本申请实施例的具体实施方式，并不用于限定本申请实施例的保护范围。凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (10)

1.一种无人机眼动控制方法，其特征在于，应用于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述方法包括：
获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；
基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；
控制所述无人机瞄准所述目标对象。
2.如权利要求1所述的方法，其特征在于，所述眼动数据包括所述无人机操作者注视所述环境图像时的视野图像，以及所述无人机操作者在所述视野图像中的注视点，所述视野图像包括在所述控制设备中显示的所述环境图像；
所述基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象，包括：
对所述环境图像进行对象检测，确定所述环境图像包括的至少一个检测对象，以及所述至少一个检测对象在所述环境图像中的第一图像位置；
基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
3.如权利要求2所述的方法，其特征在于，所述基于所述至少一个检测对象的第一图像位置和所述注视点，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：
对所述至少一个检测对象的第一图像位置进行图像坐标系转换处理，以确定所述至少一个检测对象在所述视野图像中分别对应的第二图像位置；
基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象。
4.如权利要求3所述的方法，其特征在于，所述基于所述至少一个检测对象的第二图像位置和所述注视点之间的位置关系，从所述至少一个检测对象中确定所述无人机操作者所注视的目标对象，包括：
以第一检测对象的第二图像位置为中心点，按照目标尺寸对所述第一检测对象在所述视野图像中的局部图像区域向四周进行扩展，得到包含所述第一检测对象的扩充图像区域；其中，所述第一检测对象为所述至少一个检测对象中的任意一个；
若所述注视点位于所述扩充图像区域内，且所述注视点与所述第一检测对象的第二图像位置之间的距离最小，则将所述第一检测对象确定为所述无人机操作者所注视的目标对象。
5.如权利要求1-4任一项所述的方法，其特征在于，所述控制所述无人机瞄准所述目标对象，包括：
确定所述目标对象的第一图像位置与所述环境图像的图像中心点之间的相对距离，所述图像中心点指示所述无人机当前瞄准点；
若所述相对距离大于距离阈值，则基于所述相对距离，计算所述无人机瞄准所述目标对象时的第一偏航角和第一俯仰角；
基于所述第一偏航角和第一俯仰角，控制所述无人机瞄准所述目标对象。
6.如权利要求5所述的方法，其特征在于，所述方法还包括：
若所述相对距离小于所述距离阈值，则确定所述无人机已瞄准所述目标对象。
7.如权利要求1-4任一项所述的方法，其特征在于，所述控制所述无人机瞄准所述目标对象，包括：
获取上一调整周期内计算的所述无人机瞄准所述目标对象时的第一偏航角调整值和第一俯仰角调整值；
获取所述无人机在所述上一调整周期内按照所述第一偏航角调整值和所述第一俯仰角调整值，瞄准所述目标对象时的实际偏航角调整值和实际俯仰角调整值；
基于所述第一偏航角调整值和所述实际偏航角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二偏航角调整值；
基于所述第一俯仰角调整值和所述实际俯仰角调整值，确定当前调整周期内所述无人机瞄准所述目标对象时的第二俯仰角调整值。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
若所述第二偏航角调整值小于第一角度阈值，和/或，所述第二俯仰角调整值小于第二角度阈值，则确定所述无人机已瞄准所述目标对象。
9.一种无人机控制装置，其特征在于，包含于控制设备中，所述控制设备分别与无人机和眼动采集设备进行通信连接，所述控制设备用于显示所述无人机拍摄的环境图像，所述眼动采集设备用于采集无人机操作者注视所述环境图像时的眼动数据，所述装置包括：
数据获取模块，用于获取所述无人机拍摄的环境图像和所述眼动采集设备采集的所述无人机操作者的眼动数据；
目标确定模块，用于基于所述眼动数据，确定所述无人机操作者在所述环境图像中所注视的目标对象；
控制模块，用于控制所述无人机瞄准所述目标对象。
10.一种无人机控制系统，其特征在于，所述无人机控制系统包括无人机、眼动采集设备和控制设备，所述控制设备分别与所述无人机和所述眼动采集设备进行通信连接；
所述无人机，用于拍摄环境图像；
所述眼动采集设备，用于采集无人机操作者注视所述环境图像时的眼动数据；
所述控制设备，用于显示所述无人机拍摄的环境图像，并执行如权利要求1-8任一项所述的无人机控制方法的步骤。
CN202410123945.6A 2024-01-30 2024-01-30 一种无人机眼动控制方法、装置及系统 Pending CN117930981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410123945.6A CN117930981A (zh) 2024-01-30 2024-01-30 一种无人机眼动控制方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410123945.6A CN117930981A (zh) 2024-01-30 2024-01-30 一种无人机眼动控制方法、装置及系统

Publications (1)

Publication Number Publication Date
CN117930981A true CN117930981A (zh) 2024-04-26

Family

ID=90750588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410123945.6A Pending CN117930981A (zh) 2024-01-30 2024-01-30 一种无人机眼动控制方法、装置及系统

Country Status (1)

Country Link
CN (1) CN117930981A (zh)

Similar Documents

Publication Publication Date Title
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US11042723B2 (en) Systems and methods for depth map sampling
CN112567201B (zh) 距离测量方法以及设备
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
US10086955B2 (en) Pattern-based camera pose estimation system
CN112894832A (zh) 三维建模方法、装置、电子设备和存储介质
CN112444242B (zh) 一种位姿优化方法及装置
US10451403B2 (en) Structure-based camera pose estimation system
CN111586360A (zh) 一种无人机投影方法、装置、设备及存储介质
US20190164310A1 (en) Camera registration in a multi-camera system
US20200012756A1 (en) Vision simulation system for simulating operations of a movable platform
CN111307291B (zh) 基于无人机的地表温度异常检测和定位方法、装置及系统
US9858669B2 (en) Optimized camera pose estimation system
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN109765936A (zh) 移动终端的定位和控制方法、装置及无人机
Eynard et al. Real time UAV altitude, attitude and motion estimation from hybrid stereovision
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
US20230244227A1 (en) Data processing method, control apparatus and storage medium
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
CN116486290A (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
CN109323691B (zh) 一种定位系统以及定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination