CN115550549A - 一种基于无人机的智能感兴趣区域鹰眼观测方法 - Google Patents

一种基于无人机的智能感兴趣区域鹰眼观测方法 Download PDF

Info

Publication number
CN115550549A
CN115550549A CN202211127459.9A CN202211127459A CN115550549A CN 115550549 A CN115550549 A CN 115550549A CN 202211127459 A CN202211127459 A CN 202211127459A CN 115550549 A CN115550549 A CN 115550549A
Authority
CN
China
Prior art keywords
target
image
aerial vehicle
unmanned aerial
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211127459.9A
Other languages
English (en)
Inventor
刘宝锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Shilian Technology Co ltd
Original Assignee
Suzhou Shilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Shilian Technology Co ltd filed Critical Suzhou Shilian Technology Co ltd
Priority to CN202211127459.9A priority Critical patent/CN115550549A/zh
Publication of CN115550549A publication Critical patent/CN115550549A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于无人机的智能感兴趣区域鹰眼观测方法，包括以下步骤：步骤一：利用无人机相机对目标区域进行拍摄，并将无人机拍摄的实时图像传输，选取期望观测的目标图像；步骤二：使用图像跟踪算法跟踪步骤一中选取的目标图像；步骤三：根据目标图像的中心与无人机拍摄图像中心的偏差，使得目标图像始终处在无人机拍摄图像的中心位置；步骤四：控制无人机的相机，对被观察目标进行放大，使得目标图像中心始终位于无人机拍摄图像的中心位置；步骤五：当目标图像占无人机拍摄图像的2/3时，询问用户目标图像是否足够清晰，供用户进一步选择更精细的期望观测目标；步骤六：重复步骤四和步骤五，直到用户获得满意的清晰影像。

Description

一种基于无人机的智能感兴趣区域鹰眼观测方法
技术领域
本发明涉及智能观测技术领域，更具体地说，本发明涉及一种基于无人机的智能感兴趣区域鹰眼观测方法。
背景技术
无人机在巡检或观测时，对感兴趣或重点目标需要在成像上做出针对性的处理，如拍摄出高分辨率的目标照片。无人机巡检，特别在使用高倍光学相机观测远距离目标时，主要有以下难点：
1.通常感兴趣目标的成像区域非常小，初始时甚至只能看到期望观测目标所附着大目标的图像；
2.无人机与被观测目标处于相对运动的状态；
3.人工操作和控制飞机持续观测目标难度极大；
因此，如何控制无人机，获取期望观测目标的清晰和持续的影像，是一个难题。为了实现持续获取被观察目标的清晰影像，本发明提供了一种无人机感兴趣目标的鹰眼观测方法。
发明内容
本发明的目的在于提供一种基于无人机的智能感兴趣区域鹰眼观测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于无人机的智能感兴趣区域鹰眼观测方法，包括以下步骤：
步骤一：利用无人机相机对目标区域进行拍摄，并将无人机拍摄的实时图像传输，在实时传输的图像中，选取期望观测的目标图像；
步骤二：使用图像跟踪算法跟踪步骤一中选取的目标图像，不断得到每个时刻目标图像的位置和尺寸；
步骤三：根据目标图像的中心与无人机拍摄图像中心的偏差，利用PID算法控制机载相机云台和无人机飞行，使得目标图像始终处在无人机拍摄图像的中心位置；
步骤四：控制无人机的相机，对被观察目标进行放大，在放大过程中，不断的跟踪期望观测的目标图像，根据被观测的目标图像的中心与无人机拍摄图像中心的偏差，使用PID算法控制云台及无人机飞行，使得目标图像中心始终位于无人机拍摄图像的中心位置；
步骤五：当目标图像占无人机拍摄图像的2/3时，询问用户目标图像是否足够清晰，供用户进一步选择更精细的期望观测目标；
步骤六：重复步骤四和步骤五，直到用户获得满意的清晰影像；
步骤七：通过追踪算法和PID算法，使得目标图像始终处于无人机成像的中心位置，得到感兴趣区域的清晰图像。
在一个优选的实施方式中，所述步骤二中图像跟踪算法处理时包括以下步骤：
S1：根据前一帧的目标位置和区域，选择当前帧目标候选区域图像，并提取当前帧目标候选区域的图像特征；
S2：根据S1中提取的图像特征和当前帧图像的目标模型所训练的相关滤波器,计算当前帧目标候选区域的响应矩阵；
S3：在当前帧目标候选区域的响应矩阵包含的响应值中，选取最大响应值，并基于选取的最大响应值的位置确定当前帧图像的目标位置和区域。
在一个优选的实施方式中，所述当前帧图像的目标模型是基于前一帧图像的目标区域训练得到的。
在一个优选的实施方式中，所述步骤三中偏差et＝(Δxt,Δyt)，其中：
Figure BDA0003849495950000021
Figure BDA0003849495950000022
目标图像的中心坐标为
Figure BDA0003849495950000031
无人机拍像图像中心为(WI,HI)。
在一个优选的实施方式中，根据t时刻的偏差et，通过如下数字PID算法：
Figure BDA0003849495950000032
Kp，Ki，Kd为PID控制参数，根据t时间的控制变量μ(t)，控制机载相机云台和无人机飞行，使得期望观测目标图像始终处在无人机拍像图像的中心。
在一个优选的实施方式中，所述步骤一中期望观测目标是从当前无人机拍摄画面中选取的，选取用户感兴趣目标作为期望观测目标，当目标较远时，当前成像区域特别小时，可以选择目标所附着的大目标作为初始一级目标；当目标图像在无人机成像区域可以作为追踪目标时，可以切换到目标图像。
本发明的技术效果和优点：
本发明提供的一种基于无人机的智能感兴趣区域鹰眼观测方法，采用分级鹰眼观测，在无人机相机通过光学变焦放大目标时，期望观测目标图像会越来越大，并利用图像跟踪算法和PID算法对目标图像进行分析，并控制无人机相机机台与无人机的飞行，使得目标图像始终位于无人机拍摄图像的中心位置，通过不断对目标图像的放大，最终用户确认清晰的目标图像，所以能够对感兴趣或重点区域进行鹰眼分级式观测，获得更清晰的目标图像。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的流程图。
具体实施方式
下面将结合本发明中的实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供如下技术方案：一种基于无人机的智能感兴趣区域鹰眼观测方法，包括以下步骤：
步骤一：利用无人机相机对目标区域进行拍摄，并将无人机拍摄的实时图像传输，在实时传输的图像中，选取期望观测的目标图像；
具体的无人机使用相机拍像到实时画面后，通过图像传输系统，将画面发送到终端进行显示，从终端显示图像中，选取期望观测目标的图像；
步骤二：使用图像跟踪算法跟踪步骤一中选取的目标图像，不断得到每个时刻目标图像的位置和尺寸；
具体的为了获取期望观测目标的图像，在后续视频中图像中的位置和尺寸，需要以该区域的图像为目标，对其进行跟踪；在本实施例中，使用相关滤波加目标颜色直方图的跟踪算法，获取目标图像在无人机拍摄图像的位置和尺寸；
步骤三：根据目标图像的中心与无人机拍摄图像中心的偏差，利用PID算法控制机载相机云台和无人机飞行，使得目标图像始终处在无人机拍摄图像的中心位置；
步骤四：控制无人机的相机，对被观察目标进行放大，在放大过程中，不断的跟踪期望观测的目标图像，根据被观测的目标图像的中心与无人机拍摄图像中心的偏差，使用PID算法控制云台及无人机飞行，使得目标图像中心始终位于无人机拍摄图像的中心位置；
具体的连续跟踪获取期望观测目标图像在无人机拍摄图像的位置和尺寸后，根据期望观测目标中心坐标，与图像中心坐标的差，使用PID控制，不断调整无人机的姿态和位置，使得期望观测目标图像中心位于无人机拍摄图像的中心；然后逐渐调整无人机相机焦距，对目标进行逐渐放大，在调整相机焦距的过程中，继续控制无人机姿态和位置，使得期望观测目标图像中心始终位于无人机拍摄图像的中心；
步骤五：当目标图像占无人机拍摄图像的2/3时，询问用户目标图像是否足够清晰，供用户进一步选择更精细的期望观测目标；
步骤六：重复步骤四和步骤五，直到用户获得满意的清晰影像；
步骤七：通过追踪算法和PID算法，使得目标图像始终处于无人机成像的中心位置，得到感兴趣区域的清晰图像；
具体的在无人机相机通过光学变焦放大目标时，期望观测目标图像会越来越大，从而获取更多目标的细节信息；为了获取精准的目标清晰图像，采用分级鹰眼观测，重新让用户确认/选择观测目标，并进行目标跟踪-对准-放大，直到得到用户满意的图像。
在一个优选的实施方式中，所述步骤二中图像跟踪算法处理时包括以下步骤：
S1：根据前一帧的目标位置和区域，选择当前帧目标候选区域图像，并提取当前帧目标候选区域的图像特征；
S2：根据S1中提取的图像特征和当前帧图像的目标模型所训练的相关滤波器,计算当前帧目标候选区域的响应矩阵；
S3：在当前帧目标候选区域的响应矩阵包含的响应值中，选取最大响应值，并基于选取的最大响应值的位置确定当前帧图像的目标位置和区域。在一个优选的实施方式中，所述当前帧图像的目标模型是基于前一帧图像的目标区域训练得到的。
在一个优选的实施方式中，所述步骤三中偏差et＝(Δxt,Δyt)，其中：
Figure BDA0003849495950000051
Figure BDA0003849495950000052
目标图像的中心坐标为
Figure BDA0003849495950000061
无人机拍像图像中心为(WI,HI)。
在一个优选的实施方式中，根据t时刻的偏差et，通过如下数字PID算法：
Figure BDA0003849495950000062
Kp，Ki，Kd为PID控制参数，根据t时间的控制变量μ(t)，控制机载相机云台和无人机飞行，使得期望观测目标图像始终处在无人机拍像图像的中心。
在一个优选的实施方式中，所述步骤一中期望观测目标是从当前无人机拍摄画面中选取的，选取用户感兴趣目标作为期望观测目标，例如无人机巡检过程中的山火，风车，建筑等，当目标较远时，当前成像区域特别小时，可以选择目标所附着的大目标作为初始一级目标；当目标图像在无人机成像区域可以作为追踪目标时，可以切换到目标图像。
所以本发明采用分级鹰眼观测，在无人机相机通过光学变焦放大目标时，期望观测目标图像会越来越大，并利用图像跟踪算法和PID算法对目标图像进行分析，并控制无人机相机机台与无人机的飞行，使得目标图像始终位于无人机拍摄图像的中心位置，通过不断对目标图像的放大，最终用户确认清晰的目标图像，所以能够对感兴趣或重点区域进行鹰眼分级式观测，获得更清晰的目标图像。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：包括以下步骤：
步骤一：利用无人机相机对目标区域进行拍摄，并将无人机拍摄的实时图像传输，在实时传输的图像中，选取期望观测的目标图像；
步骤二：使用图像跟踪算法跟踪步骤一中选取的目标图像，不断得到每个时刻目标图像的位置和尺寸；
步骤三：根据目标图像的中心与无人机拍摄图像中心的偏差，利用PID算法控制机载相机云台和无人机飞行，使得目标图像始终处在无人机拍摄图像的中心位置；
步骤四：控制无人机的相机，对被观察目标进行放大，在放大过程中，不断的跟踪期望观测的目标图像，根据被观测的目标图像的中心与无人机拍摄图像中心的偏差，使用PID算法控制云台及无人机飞行，使得目标图像中心始终位于无人机拍摄图像的中心位置；
步骤五：当目标图像占无人机拍摄图像的2/3时，询问用户目标图像是否足够清晰，供用户进一步选择更精细的期望观测目标；
步骤六：重复步骤四和步骤五，直到用户获得满意的清晰影像；
步骤七：通过追踪算法和PID算法，使得目标图像始终处于无人机成像的中心位置，得到感兴趣区域的清晰图像。
2.根据权利要求1所述的一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：所述步骤二中图像跟踪算法处理时包括以下步骤：
S1：根据前一帧的目标位置和区域，选择当前帧目标候选区域图像，并提取当前帧目标候选区域的图像特征；
S2：根据S1中提取的图像特征和当前帧图像的目标模型所训练的相关滤波器,计算当前帧目标候选区域的响应矩阵；
S3：在当前帧目标候选区域的响应矩阵包含的响应值中，选取最大响应值，并基于选取的最大响应值的位置确定当前帧图像的目标位置和区域。
3.根据权利要求2所述的一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：所述当前帧图像的目标模型是基于前一帧图像的目标区域训练得到的。
4.根据权利要求1所述的一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：所述步骤三中偏差et＝(Δxt,Δyt)，其中：
Figure FDA0003849495940000021
Figure FDA0003849495940000022
目标图像的中心坐标为
Figure FDA0003849495940000023
无人机拍像图像中心为(WI,HI)。
5.根据权利要求4所述的一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：根据t时刻的偏差et，通过如下数字PID算法：
Figure FDA0003849495940000024
Kp，Ki，Kd为PID控制参数，根据t时间的控制变量μ(t)，控制机载相机云台和无人机飞行，使得期望观测目标图像始终处在无人机拍像图像的中心。
6.根据权利要求1所述的一种基于无人机的智能感兴趣区域鹰眼观测方法，其特征在于：所述步骤一中期望观测目标是从当前无人机拍摄画面中选取的，选取用户感兴趣目标作为期望观测目标，当目标较远时，当前成像区域特别小时，可以选择目标所附着的大目标作为初始一级目标；当目标图像在无人机成像区域可以作为追踪目标时，可以切换到目标图像。
CN202211127459.9A 2022-09-16 2022-09-16 一种基于无人机的智能感兴趣区域鹰眼观测方法 Pending CN115550549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211127459.9A CN115550549A (zh) 2022-09-16 2022-09-16 一种基于无人机的智能感兴趣区域鹰眼观测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211127459.9A CN115550549A (zh) 2022-09-16 2022-09-16 一种基于无人机的智能感兴趣区域鹰眼观测方法

Publications (1)

Publication Number Publication Date
CN115550549A true CN115550549A (zh) 2022-12-30

Family

ID=84727578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211127459.9A Pending CN115550549A (zh) 2022-09-16 2022-09-16 一种基于无人机的智能感兴趣区域鹰眼观测方法

Country Status (1)

Country Link
CN (1) CN115550549A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861860A (zh) * 2023-02-24 2023-03-28 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111932588A (zh) * 2020-08-07 2020-11-13 浙江大学 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
KR102292117B1 (ko) * 2021-02-23 2021-08-20 (주)필라넷 드론 관제 시스템 및 이를 이용한 드론 탐지 및 식별 방법
CN114419095A (zh) * 2021-12-13 2022-04-29 深圳先进技术研究院 车机协同目标丢失跟踪方法、装置、设备及其存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN109445453A (zh) * 2018-09-12 2019-03-08 湖南农业大学 一种基于OpenCV的无人机实时压缩跟踪方法
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111932588A (zh) * 2020-08-07 2020-11-13 浙江大学 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
KR102292117B1 (ko) * 2021-02-23 2021-08-20 (주)필라넷 드론 관제 시스템 및 이를 이용한 드론 탐지 및 식별 방법
CN114419095A (zh) * 2021-12-13 2022-04-29 深圳先进技术研究院 车机协同目标丢失跟踪方法、装置、设备及其存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861860A (zh) * 2023-02-24 2023-03-28 杭州靖安科技有限公司 一种无人机的目标跟踪定位方法和系统

Similar Documents

Publication Publication Date Title
US10264189B2 (en) Image capturing system and method of unmanned aerial vehicle
CN105187723B (zh) 一种无人飞行器的摄像处理方法
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN102148965B (zh) 多目标跟踪特写拍摄视频监控系统
CN107659774A (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
KR101796258B1 (ko) 소형 무인비행체를 이용한 비전 기반의 구조물 안정성 검사 방법
CN106530239B (zh) 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法
CN101276415A (zh) 用多定焦摄像机实现多分辨率图像采集的装置和方法
CN110784653A (zh) 基于飞行时间的动态对焦方法及其摄像装置
CN107123090A (zh) 一种基于图像拼接技术的自动合成农田全景图系统及方法
CN102231799A (zh) 一种ptz摄像机瞬时光学就位系统及其方法
WO2021212445A1 (zh) 拍摄方法、可移动平台、控制设备和存储介质
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN113391644B (zh) 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN115550549A (zh) 一种基于无人机的智能感兴趣区域鹰眼观测方法
CN108965689A (zh) 无人机拍摄方法及装置、无人机和地面控制装置
CN108347577B (zh) 一种成像系统和方法
CN115578662A (zh) 无人机前端图像处理方法、系统、存储介质及设备
CN116894936A (zh) 基于无人机视觉的海上目标识别定位方法及系统
CN110351483A (zh) 一种多镜头自适应变焦无人机监控平台及控制方法
JP2006054830A (ja) 画像圧縮通信方法及び装置
CN110430400A (zh) 一种双目可运动摄像机的地平面区域检测方法
WO2022055424A3 (zh) 视频拍摄方法、装置、设备及存储介质
CN113657233A (zh) 一种基于计算机视觉的无人机森林火灾烟雾探测方法
WO2021168707A1 (zh) 对焦方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination