CN115357052A - 一种无人机自动探索视频画面中兴趣点的方法及系统 - Google Patents

一种无人机自动探索视频画面中兴趣点的方法及系统 Download PDF

Info

Publication number
CN115357052A
CN115357052A CN202211276179.4A CN202211276179A CN115357052A CN 115357052 A CN115357052 A CN 115357052A CN 202211276179 A CN202211276179 A CN 202211276179A CN 115357052 A CN115357052 A CN 115357052A
Authority
CN
China
Prior art keywords
preset
aerial vehicle
unmanned aerial
calculating
explored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211276179.4A
Other languages
English (en)
Other versions
CN115357052B (zh
Inventor
任芷锐
邓刚林
严雪飞
胡冬
程亮
曹亚兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuya Intelligent Technology Taicang Co ltd
Original Assignee
Fuya Intelligent Technology Taicang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuya Intelligent Technology Taicang Co ltd filed Critical Fuya Intelligent Technology Taicang Co ltd
Priority to CN202211276179.4A priority Critical patent/CN115357052B/zh
Publication of CN115357052A publication Critical patent/CN115357052A/zh
Application granted granted Critical
Publication of CN115357052B publication Critical patent/CN115357052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明公开了一种无人机自动探索视频画面中兴趣点的方法及系统，包括：根据预设兴趣点生成预设信息，且传输给待探索无人机；根据预设视场角度、预设值生成预设数据；计算待探索无人机相对坐标系中的位置坐标，进而形成真实坐标，计算预设兴趣点与预设光心之间的俯仰角和偏航角；调整待探索无人机，且记录预设范围的影像数据，计算第一经纬坐标，根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；使待探索无人机飞向第二经纬坐标位置，特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，若误差不处于预设范围，则重新探索。本发明无人机自动探索视频画面中兴趣点的方法，能够让无人机前往指定兴趣点自动化探索。

Description

一种无人机自动探索视频画面中兴趣点的方法及系统
技术领域
本发明属于无人机探索领域，特别涉及一种无人机自动探索视频画面中兴趣点的方法及系统。
背景技术
随着技术的发展，无人机逐渐跳脱了单单被用作玩具的用途，开始出现在人类社会生产生活的各方面，在巡检、安防、救灾、航拍等领域也大有作为；但是早期各场景中，无人机的实际作业基本离不开人为遥控或规划干预，而当今爆发增长的需求下，无人机自动化的程度和速度很大程度上决定了其在各行各业的发展潜力。
在无人机探索兴趣点的任务中，多数情况是依靠人工预先记录目标点坐标位置以及方位，输入给无人机使其前往完成的；使用这种方法，不仅人工成本高，而且依赖飞手自身能力及经验来规划航线，而且一旦航线既定，灵活性就很低，一旦目标物变化，就需要重新进行记录，耗时耗力，没有可变性；
其他，还有利用双目相机或激光雷达等进行实时或离线建图，结合路径规划的方法，让无人机自主锁定兴趣点并接近的方法；这类方法虽然提升了无人机作业的自主性，但是对设备要求较高，一般都需要配置价格高昂的外部挂载，增加了无人机负载压力，而且对机载算力要求较高，而且对于一般场景，进行高精度建图也往往有些大材小用。
因此，目前亟需一种通过实时计算和调整让无人机自动接近和观察指定兴趣点位置的无人机自动探索方法。
发明内容
发明目的：为了克服以上不足，本发明的目的是提供一种无人机自动探索视频画面中兴趣点的方法及系统，其通过实时计算和调整，能够让无人机自动接近并观察兴趣点位置，其准确度高，灵活性和实时性强，能够降低人工成本，且能够降低对作业人员的依赖。
为解决上述技术问题，本发明提供了一种无人机自动探索视频画面中兴趣点的方法，包括：
步骤S1：根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机；
步骤S2：根据预设参数计算预设视场角度，且记录待探索无人机的预设值，进而根据预设视场角度、预设值生成预设数据；
步骤S3：根据预设数据计算待探索无人机相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；
步骤S4：根据俯仰角和偏航角调整待探索无人机的航向、待探索无人机云台的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；
步骤S5：根据预设信息计算待探索无人机与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
步骤S6：使待探索无人机飞向第二经纬坐标位置，进而将影像数据与移动后的无人机云台的实时影像进行特征点匹配，判断误差是否处于预设范围；
步骤S7：若是，则探索完成，返回预设位置，若否，则返回步骤S2，重新进行预设兴趣点探索。
优选地，根据预设参数计算预设视场角度的方法为：
步骤S20：根据待探索无人机云台的相机参数和相机变焦放大倍数计算水平视场角度：
Figure 142786DEST_PATH_IMAGE001
；
步骤S21：根据待探索无人机云台的相机参数和相机变焦放大倍数计算垂直视场角度：
Figure 948194DEST_PATH_IMAGE002
。
优选地，根据预设数据计算待探索无人机相对坐标系中的位置坐标的方法为：
步骤S30：根据水平视场角度、垂直视场角度、待探索无人机云台的俯仰角、无人机高度，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：
步骤S31：根据四个顶点在图像坐标系中的坐标，计算在以待探索无人机为原点的相对坐标系中的坐标。
优选地，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标的方法为：
步骤S300：计算第一角度：
Figure 98683DEST_PATH_IMAGE003
，其中，
Figure 430570DEST_PATH_IMAGE004
为待探索无人机云台的俯仰角；
步骤S301：计算第二角度：
Figure 578786DEST_PATH_IMAGE005
；
步骤S302：在
Figure 464964DEST_PATH_IMAGE006
，且
Figure 419145DEST_PATH_IMAGE007
时，计算
Figure 589226DEST_PATH_IMAGE008
轴最远值：
Figure 642764DEST_PATH_IMAGE009
,
其中，
Figure 750660DEST_PATH_IMAGE010
为无人机相对高度，且计算
Figure 649477DEST_PATH_IMAGE008
轴最近值：
Figure 205223DEST_PATH_IMAGE011
；
步骤S303：计算第三角度：
Figure 570607DEST_PATH_IMAGE012
，计算第四角度：
Figure 618329DEST_PATH_IMAGE013
，计算第五角度：
Figure 773367DEST_PATH_IMAGE014
，计算第六角度：
Figure 895472DEST_PATH_IMAGE015
；
步骤S304：计算
Figure 743343DEST_PATH_IMAGE016
轴最远值：
Figure 91410DEST_PATH_IMAGE017
，计算
Figure 925505DEST_PATH_IMAGE016
轴最近值：
Figure 924685DEST_PATH_IMAGE018
；
步骤S305：计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：
Figure 428609DEST_PATH_IMAGE019
、
Figure 185344DEST_PATH_IMAGE020
、
Figure 885447DEST_PATH_IMAGE021
、
Figure 286603DEST_PATH_IMAGE022
。
优选地，计算形成预设兴趣点相对待探索无人机的真实坐标的方法为：
步骤S306：计算图像坐标系中的坐标到无人机相对坐标系中的坐标的单应性矩阵H：
Figure 86063DEST_PATH_IMAGE023
,
将上面的矩阵展开成方程的形式：
Figure 454728DEST_PATH_IMAGE024
Figure 365046DEST_PATH_IMAGE025
Figure 89551DEST_PATH_IMAGE026
；
步骤S307：根据单应性矩阵H，将预设兴趣点在图像坐标系中的坐标转换到待探索无人机的相对坐标系中，形成预设兴趣点相对待探索无人机的真实坐标：
Figure 450125DEST_PATH_IMAGE027
；其中，
Figure 915872DEST_PATH_IMAGE028
为预设兴趣点在图像坐标系中的坐标。
优选地，计算预设兴趣点与预设光心之间的俯仰角和偏航角的方法为：
步骤S30：计算预设兴趣点与预设光心之间的俯仰角：
Figure 505248DEST_PATH_IMAGE029
步骤S31：计算预设兴趣点与预设光心之间的偏航角：
Figure 333527DEST_PATH_IMAGE030
。
优选地，计算预设兴趣点的第一经纬坐标的方法为：
步骤S40：将预设兴趣点的相对坐标系
Figure 474789DEST_PATH_IMAGE031
转换为大地坐标系
Figure 568778DEST_PATH_IMAGE032
：
Figure 820899DEST_PATH_IMAGE033
Figure 503684DEST_PATH_IMAGE034
,
其中，
Figure 160056DEST_PATH_IMAGE035
为待探索无人机的航向角；
步骤S41：将大地坐标系
Figure 990609DEST_PATH_IMAGE032
转化为第一经纬坐标：
Figure 46420DEST_PATH_IMAGE036
Figure 311007DEST_PATH_IMAGE037
,
其中，
Figure 918706DEST_PATH_IMAGE038
为待探索无人机当前的GPS坐标，
Figure 111921DEST_PATH_IMAGE039
为地球半径。
优选地，计算最终探索位置的第二经纬坐标的方法为：
步骤S50：计算待探索无人机与预设兴趣点的水平距离：
Figure 846790DEST_PATH_IMAGE040
；
步骤S51：计算预设兴趣点与待探索无人机的距离：
Figure 504167DEST_PATH_IMAGE041
；
步骤S52：计算最终探索位置与待探索无人机的距离：
Figure 236762DEST_PATH_IMAGE042
,
计算
Figure 245169DEST_PATH_IMAGE043
与
Figure 252571DEST_PATH_IMAGE044
的比例：
Figure 436559DEST_PATH_IMAGE045
；
步骤S53：计算最终探索位置相对待探索无人机的位置：
Figure 854902DEST_PATH_IMAGE046
，
Figure 101337DEST_PATH_IMAGE047
。
本发明还提供一种无人机自动探索视频画面中兴趣点的系统，包括：
兴趣标识模块，用于根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机；
数据计算模块，用于根据预设参数计算预设视场角度，且记录待探索无人机的预设值，进而根据预设视场角度、预设值生成预设数据；根据预设数据计算待探索无人机相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；根据俯仰角和偏航角调整待探索无人机的航向、待探索无人机云台的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；根据预设信息计算待探索无人机与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
飞行控制模块，用于使待探索无人机飞向第二经纬坐标位置；
误差判断模块，将影像数据与移动后的无人机云台的实时影像进行特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，返回预设位置，若误差不处于预设范围，则重新进行预设兴趣点探索。
优选地，还包括：
无人机，其包括激光测距模块，通过激光测距模块获取无人机距离地面的高度值；
无人机云台，其包括摄像模块，通过摄像模块摄取影像。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明所述的一种无人机自动探索视频画面中兴趣点的方法，通过预设兴趣点在图像中的坐标，然后利用已知的相机参数，结合无人机的经纬高位置坐标，或者激光测距的数值，计算得出目标在真实世界的经纬度，然后根据设定的最终观察角度和无人机高度来确定无人机最终观察位置，通过三维直线飞行的方式令无人机自动前往进行探索；
2、能够将无人机的自动探索流程进行闭环的多次识别，进而通过微调使得结果处于设定的误差范围内，提高探索结果的精确度、可复用性、鲁棒性，且提高无人机的灵活性、实时性、可变性；
3、能够让无人机自主计算预设兴趣点的位置，进而自动前往探索，进一步降低了人工成本以及对作业人员的依赖。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的自动探索视频画面中兴趣点方法的流程图。
图2是本发明的计算预设视场角度方法的流程图。
图3是本发明的计算预设兴趣点与预设光心俯仰角、偏航角方法的流程图。
图4是本发明的计算第一经纬坐标方法的流程图。
图5是本发明的计算第二经纬坐标方法的流程图。
图6是本发明的计算四个顶点坐标方法的流程图。
图7是本发明的计算待探索无人机真实坐标方法的流程图。
图8是本发明的自动探索视频画面中兴趣点系统的连接示意图。
图9是本发明的待探索无人机云台摄取的区域影像的示意图。
图10是本发明的区域影像标记预设兴趣点的示意图。
图11是本发明的待探索无人机前往预设兴趣点的示意图。
说明书附图标记说明：10、兴趣标识模块，11、数据计算模块，12、飞行控制模块，13、误差判断模块，14、无人机，15、无人机云台，140、激光测距模块，150、摄像模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
实施例一
参照图1-图5、图9-图11所示，本发明提供一种无人机自动探索视频画面中兴趣点的方法的实施例，包括以下步骤：
步骤S1：根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机14；
在步骤S1中，具体的，所述预设影像在本实施例中参考，待探索无人机14在空中悬停时，待探索无人机云台15实时回传的视频画面；所述预设兴趣点在本实施例中参考，作业人员从视频画面中选取需要探索的画面坐标系的坐标位置，所述预设兴趣点在本实施例中，由作业人员通过终端设备点击选取或画圈选取；所述预设信息包括预设兴趣点所在的画面坐标系的坐标位置、待探索无人机14的期望高度、待探索无人机云台15俯仰角度。
步骤S2：根据预设参数计算预设视场角度，且记录待探索无人机14的预设值，进而根据预设视场角度、预设值生成预设数据；
在步骤S2中，具体的，所述预设参数在本实施例中参考，待探索无人机云台15的相机参数、相机变焦放大倍数；所述预设视场角度在本实施例中参考：水平视场角度、垂直视场角度；
在本实施例中，参考图2所示，计算预设视场角度的方法为：
步骤S20：根据待探索无人机云台15的相机参数和相机变焦放大倍数计算水平视场角度：
Figure 364960DEST_PATH_IMAGE048
；
步骤S21：根据待探索无人机云台15的相机参数和相机变焦放大倍数计算垂直视场角度：
Figure 544399DEST_PATH_IMAGE049
。
其中，所述预设值包括当前待探索无人机14的GPS（Global Positioning System，全球定位系统）/RTK（Real-time kinematic，实时动态）的相对高度、待探索无人机云台15的俯仰角度、待探索无人机14在大地坐标系的航向角以及经纬度，其中，所述待探索无人机14的GPS/RTK的相对高度，能够更换为：
利用激光测距数值、待探索无人机云台15的俯仰角度，计算待探索无人机14距离地面的高度：
Figure 399223DEST_PATH_IMAGE050
。
步骤S3：根据预设数据计算待探索无人机14相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机14的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；
在步骤S3中，具体的，所述预设数据包括水平视场角度、垂直视场角度、待探索无人机云台15的俯仰角度、待探索无人机14距离地面的高度计算待探索无人机14相对坐标系中的位置坐标，计算预设影像中地面投影范围的四个顶点在图像中的坐标；所述预设光心在本实施例中参考待探索无人机云台的光心；
进而根据四个顶点在图像坐标系中的坐标，计算在以待探索无人机14为原点的相对坐标系中的坐标；
进而计算图像坐标系坐标到无人机14相对坐标系坐标的单应性H矩阵，通过H矩阵，将预设兴趣点在图像坐标系的坐标转换到待探索无人机14的相对坐标系中，获得预设兴趣点在真实世界相对待探索无人机14的真实坐标；
同时，参考图3所示，计算预设兴趣点与预设光心之间的俯仰角和偏航角，具体计算步骤为：
步骤S30：计算预设兴趣点与预设光心之间的俯仰角：
Figure 867376DEST_PATH_IMAGE029
步骤S31：计算预设兴趣点与预设光心之间的偏航角：
Figure 606793DEST_PATH_IMAGE030
,
其中，预设兴趣点的相对坐标为
Figure 93269DEST_PATH_IMAGE051
。
步骤S4：根据俯仰角和偏航角调整待探索无人机14的航向、待探索无人机云台15的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；
在步骤S4中，具体在调整待探索无人机14的航向、待探索无人机云台15的俯仰角时，实时将预设兴趣点保持在摄取画面的中央；所述预设范围在本实施例参考360*360像素，具体所述预设范围由作业人员根据实际作业需求进行设定；
其中，参考图4所示，所述第一经纬坐标的计算方法为：
步骤S40：将预设兴趣点的相对坐标系
Figure 135305DEST_PATH_IMAGE031
转换为大地坐标系
Figure 746546DEST_PATH_IMAGE032
：
Figure 883130DEST_PATH_IMAGE033
Figure 771582DEST_PATH_IMAGE034
,
其中，
Figure 109154DEST_PATH_IMAGE035
为待探索无人机14的航向角；
步骤S41：将大地坐标系
Figure 597904DEST_PATH_IMAGE032
转化为第一经纬坐标：
Figure 593690DEST_PATH_IMAGE036
Figure 726862DEST_PATH_IMAGE037
,
其中，
Figure 625548DEST_PATH_IMAGE052
为待探索无人机14当前的GPS坐标，
Figure 290010DEST_PATH_IMAGE053
为地球半径。
步骤S5：根据预设信息计算待探索无人机14与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
在步骤S5中，具体的，参考图5所示，计算最终探索位置的第二经纬坐标的步骤为：
步骤S50：计算待探索无人机14与预设兴趣点的水平距离：
Figure 174920DEST_PATH_IMAGE054
；
步骤S51：计算预设兴趣点与待探索无人机14的距离：
Figure 287233DEST_PATH_IMAGE055
；
步骤S52：计算最终探索位置与待探索无人机14的距离：
Figure 45235DEST_PATH_IMAGE056
,
计算
Figure 118365DEST_PATH_IMAGE057
与
Figure 666021DEST_PATH_IMAGE058
的比例：
Figure 773785DEST_PATH_IMAGE045
；
步骤S53：计算最终探索位置相对待探索无人机14的位置：
Figure 765006DEST_PATH_IMAGE046
，
Figure 59852DEST_PATH_IMAGE047
。
步骤S6：使待探索无人机14飞向第二经纬坐标位置，进而将影像数据与移动后的无人机云台15的实时影像进行特征点匹配，判断误差是否处于预设范围；
在步骤S6中，以同时调整水平和高度的三维飞行的方式使待探索无人机14飞向第二经纬坐标位置、待探索无人机14的期望高度，同时，实时调整无人机云台15使得预设兴趣点一直在画面中央；
在抵达第二经纬坐标位置、待探索无人机14的期望高度后，根据步骤S4中的影像数据、移动后的无人机云台15实时画面，进行特征点匹配；所述预设范围在本实施例中参考预设兴趣点中心与光心的两个角度差异小于±2度，具体所述预设范围由作业人员根据实际作业需求设定。
步骤S7：若是，则探索完成，返回预设位置，若否，则返回步骤S2，重新进行预设兴趣点探索。
在步骤S7中，所述预设位置即指无人机14初始空中悬停的位置。
其中，本实施例的一种无人机自动探索视频画面中兴趣点的方法，适用于具备摄像模块150和无人机14位置信息的无人机14来执行和使用。
实施例二
参照图6-图7所示，实施例二与实施例一基本相同，其中不同之处在于：
优选地，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标的方法为：
步骤S300：计算第一角度：
Figure 411199DEST_PATH_IMAGE059
，其中，
Figure 107891DEST_PATH_IMAGE060
为圆周率，
Figure 738855DEST_PATH_IMAGE061
为待探索无人机云台15的俯仰角；
步骤S301：计算第二角度：
Figure 380051DEST_PATH_IMAGE062
；
步骤S302：在
Figure 754663DEST_PATH_IMAGE063
，且
Figure 571441DEST_PATH_IMAGE064
时，计算
Figure 356994DEST_PATH_IMAGE008
轴最远值：
Figure 501799DEST_PATH_IMAGE009
,
其中，
Figure 335894DEST_PATH_IMAGE010
为无人机14相对高度，且计算
Figure 866232DEST_PATH_IMAGE008
轴最近值：
Figure 573419DEST_PATH_IMAGE065
；
步骤S303：计算第三角度：
Figure 595733DEST_PATH_IMAGE012
，计算第四角度：
Figure 272398DEST_PATH_IMAGE013
，计算第五角度：
Figure 673555DEST_PATH_IMAGE014
，计算第六角度：
Figure 473015DEST_PATH_IMAGE015
；
步骤S304：计算
Figure 841679DEST_PATH_IMAGE066
轴最远值：
Figure 751997DEST_PATH_IMAGE067
，计算
Figure 273240DEST_PATH_IMAGE016
轴最近值：
Figure 305918DEST_PATH_IMAGE018
；
步骤S305：计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：
Figure 302824DEST_PATH_IMAGE019
、
Figure 361041DEST_PATH_IMAGE020
、
Figure 720478DEST_PATH_IMAGE021
、
Figure 940369DEST_PATH_IMAGE022
。
其中，具体所述第一角度、第二角度、第三角度、第四角度、第五角度、第六角度由作业人员根据实际作业需求设定；作业人员根据实际作业需求，自定义待探索无人机14的最远飞行距离，对待探索无人机14进行约束。
优选地，计算形成预设兴趣点相对待探索无人机14的真实坐标的方法为：
步骤S306：计算图像坐标系中的坐标到无人机14相对坐标系中的坐标的单应性矩阵H：
首先，利用单应性矩阵表示点之间的映射关系，即：
Figure 893413DEST_PATH_IMAGE023
,
将上面的矩阵展开成方程的形式：
Figure 535747DEST_PATH_IMAGE024
Figure 890636DEST_PATH_IMAGE025
Figure 547007DEST_PATH_IMAGE068
；
步骤S307：根据单应性矩阵H，将预设兴趣点在图像坐标系中的坐标转换到待探索无人机14的相对坐标系中，形成预设兴趣点相对待探索无人机14的真实坐标：
Figure 377560DEST_PATH_IMAGE027
；其中，
Figure 433372DEST_PATH_IMAGE028
为预设兴趣点在图像坐标系中的坐标。
实施例三
参照图1-图11所示，本发明还提供一种无人机自动探索视频画面中兴趣点的系统的实施例，使用所述的一种无人机自动探索视频画面中兴趣点的方法对预设影像的预设兴趣点进行自动探索，包括：
兴趣标识模块10，用于根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机14；
数据计算模块11，用于根据预设参数计算预设视场角度，且记录待探索无人机14的预设值，进而根据预设视场角度、预设值生成预设数据；根据预设数据计算待探索无人机14相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机14的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；根据俯仰角和偏航角调整待探索无人机14的航向、待探索无人机云台15的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；根据预设信息计算待探索无人机14与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
飞行控制模块12，用于使待探索无人机14飞向第二经纬坐标位置；
误差判断模块13，将影像数据与移动后的无人机14记录的实时影像进行特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，返回预设位置，若误差不处于预设范围，则重新进行预设兴趣点探索；
无人机14，其包括激光测距模块140，通过激光测距模块140获取无人机14距离地面的高度值；
无人机云台15，其包括摄像模块150，通过摄像模块150摄取影像。
其中，所述摄像模块150包括但不仅限于单目相机、多目相机，具体由作业人员根据实际作业需求设定；所述激光测距模块140包括但不仅限于单线激光测距仪、多线激光测距仪，具体由作业人员根据实际作业需求设定。
实施例四
本发明还提供一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现所述的一种无人机自动探索视频画面中兴趣点的方法。
本发明还提供一种计算机，包括所述的一种计算机介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备系统、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种无人机自动探索视频画面中兴趣点的方法，其特征在于，包括以下步骤：
步骤S1：根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机（14）；
步骤S2：根据预设参数计算预设视场角度，且记录待探索无人机（14）的预设值，进而根据预设视场角度、预设值生成预设数据；
步骤S3：根据预设数据计算待探索无人机（14）相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机（14）的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；
步骤S4：根据俯仰角和偏航角调整待探索无人机（14）的航向、待探索无人机云台（15）的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；
步骤S5：根据预设信息计算待探索无人机（14）与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
步骤S6：使待探索无人机（14）飞向第二经纬坐标位置，进而将影像数据与移动后的无人机云台（15）的实时影像进行特征点匹配，判断误差是否处于预设范围；
步骤S7：若是，则探索完成，返回预设位置，若否，则返回步骤S2，重新进行预设兴趣点探索。
2.根据权利要求1所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，根据预设参数计算预设视场角度的方法为：
步骤S20：根据待探索无人机云台（15）的相机参数和相机变焦放大倍数计算水平视场角度：
Figure 923943DEST_PATH_IMAGE001
；
步骤S21：根据待探索无人机云台（15）的相机参数和相机变焦放大倍数计算垂直视场角度：
Figure 626451DEST_PATH_IMAGE002
。
3.根据权利要求2所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，根据预设数据计算待探索无人机（14）相对坐标系中的位置坐标的方法为：
步骤S30：根据水平视场角度、垂直视场角度、待探索无人机云台（15）的俯仰角、无人机（14）高度，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：
步骤S31：根据四个顶点在图像坐标系中的坐标，计算在以待探索无人机（14）为原点的相对坐标系中的坐标。
4.根据权利要求3所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标的方法为：
步骤S300：计算第一角度：
Figure 974387DEST_PATH_IMAGE003
，其中，
Figure 510673DEST_PATH_IMAGE004
为圆周率，
Figure 780111DEST_PATH_IMAGE005
为待探索无人机云台（15）的俯仰角；
步骤S301：计算第二角度：
Figure 473261DEST_PATH_IMAGE006
；
步骤S302：在
Figure 488753DEST_PATH_IMAGE007
，且
Figure 382890DEST_PATH_IMAGE008
时，计算
Figure 998679DEST_PATH_IMAGE009
轴最远值：
Figure 918356DEST_PATH_IMAGE010
,
其中，
Figure 834360DEST_PATH_IMAGE011
为无人机（14）相对高度，且计算
Figure 712448DEST_PATH_IMAGE009
轴最近值：
Figure 222058DEST_PATH_IMAGE012
；
步骤S303：计算第三角度：
Figure 460272DEST_PATH_IMAGE013
，计算第四角度：
Figure 981515DEST_PATH_IMAGE014
，计算第五角度：
Figure 279772DEST_PATH_IMAGE015
，计算第六角度：
Figure 11099DEST_PATH_IMAGE016
；
步骤S304：计算
Figure 803736DEST_PATH_IMAGE017
轴最远值：
Figure 897594DEST_PATH_IMAGE018
，计算
Figure 914223DEST_PATH_IMAGE017
轴最近值：
Figure 867267DEST_PATH_IMAGE019
；
步骤S305：计算预设影像中地面投影范围的四个顶点在图像坐标系中的坐标：
Figure 509601DEST_PATH_IMAGE020
、
Figure 864490DEST_PATH_IMAGE021
、
Figure 278720DEST_PATH_IMAGE022
、
Figure 109272DEST_PATH_IMAGE023
。
5.根据权利要求1所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，计算形成预设兴趣点相对待探索无人机（14）的真实坐标的方法为：
步骤S306：计算图像坐标系中的坐标到无人机（14）相对坐标系中的坐标的单应性矩阵H：
Figure 243713DEST_PATH_IMAGE024
,
将上面的矩阵展开成方程的形式：
Figure 984267DEST_PATH_IMAGE025
Figure 591966DEST_PATH_IMAGE026
Figure 254022DEST_PATH_IMAGE027
步骤S307：根据单应性矩阵H，将预设兴趣点在图像坐标系中的坐标转换到待探索无人机（14）的相对坐标系中，形成预设兴趣点相对待探索无人机（14）的真实坐标：
Figure 192153DEST_PATH_IMAGE028
；其中，
Figure 911848DEST_PATH_IMAGE029
为预设兴趣点在图像坐标系中的坐标。
6.根据权利要求5所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，计算预设兴趣点与预设光心之间的俯仰角和偏航角的方法为：
步骤S30：计算预设兴趣点与预设光心之间的俯仰角：
Figure 644443DEST_PATH_IMAGE030
步骤S31：计算预设兴趣点与预设光心之间的偏航角：
Figure 652850DEST_PATH_IMAGE031
。
7.根据权利要求1所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，计算预设兴趣点的第一经纬坐标的方法为：
步骤S40：将预设兴趣点的相对坐标系
Figure 50464DEST_PATH_IMAGE032
转换为大地坐标系
Figure 109818DEST_PATH_IMAGE033
：
Figure 262582DEST_PATH_IMAGE034
Figure 430389DEST_PATH_IMAGE035
,
其中，
Figure 241482DEST_PATH_IMAGE036
为待探索无人机（14）的航向角；
步骤S41：将大地坐标系
Figure 873451DEST_PATH_IMAGE033
转化为第一经纬坐标：
Figure 869220DEST_PATH_IMAGE037
Figure 134111DEST_PATH_IMAGE038
，
其中，
Figure 873528DEST_PATH_IMAGE039
为待探索无人机（14）当前的GPS坐标，
Figure 360004DEST_PATH_IMAGE040
为地球半径。
8.根据权利要求7所述的一种无人机自动探索视频画面中兴趣点的方法，其特征在于，计算最终探索位置的第二经纬坐标的方法为：
步骤S50：计算待探索无人机（14）与预设兴趣点的水平距离：
Figure 402040DEST_PATH_IMAGE041
；
步骤S51：计算预设兴趣点与待探索无人机（14）的距离：
Figure 278861DEST_PATH_IMAGE042
；
步骤S52：计算最终探索位置与待探索无人机（14）的距离：
Figure 149865DEST_PATH_IMAGE043
,
计算
Figure 14880DEST_PATH_IMAGE044
与
Figure 618031DEST_PATH_IMAGE045
的比例：
Figure 575622DEST_PATH_IMAGE046
；
步骤S53：计算最终探索位置相对待探索无人机（14）的位置：
Figure 188000DEST_PATH_IMAGE047
，
Figure 930960DEST_PATH_IMAGE048
。
9.一种无人机自动探索视频画面中兴趣点的系统，其特征在于，包括：
兴趣标识模块（10），用于根据实时预设影像中标记的预设兴趣点，生成预设信息，且将预设信息传输给待探索无人机（14）；
数据计算模块（11），用于根据预设参数计算预设视场角度，且记录待探索无人机（14）的预设值，进而根据预设视场角度、预设值生成预设数据；根据预设数据计算待探索无人机（14）相对坐标系中的位置坐标，根据位置坐标进行预设兴趣点的坐标转换，形成预设兴趣点相对待探索无人机（14）的真实坐标，同时计算预设兴趣点与预设光心之间的俯仰角和偏航角；根据俯仰角和偏航角调整待探索无人机（14）的航向、待探索无人机云台（15）的俯仰角，进而记录以预设兴趣点为中心向四周扩散预设范围的影像数据，进而计算预设兴趣点的第一经纬坐标；根据预设信息计算待探索无人机（14）与预设兴趣点的水平距离，进而根据第一经纬坐标、水平距离计算最终探索位置的第二经纬坐标；
飞行控制模块（12），用于使待探索无人机（14）飞向第二经纬坐标位置；
误差判断模块（13），将影像数据与移动后的无人机云台（15）的实时影像进行特征点匹配，判断误差范围；若误差处于预设范围，则探索完成，返回预设位置，若误差不处于预设范围，则重新进行预设兴趣点探索。
10.根据权利要求9所述的一种无人机自动探索视频画面中兴趣点的系统，其特征在于，还包括：
无人机（14），其包括激光测距模块（140），通过激光测距模块（140）获取无人机（14）距离地面的高度值；
无人机云台（15），其包括摄像模块（150），通过摄像模块（150）摄取影像。
CN202211276179.4A 2022-10-19 2022-10-19 一种无人机自动探索视频画面中兴趣点的方法及系统 Active CN115357052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276179.4A CN115357052B (zh) 2022-10-19 2022-10-19 一种无人机自动探索视频画面中兴趣点的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276179.4A CN115357052B (zh) 2022-10-19 2022-10-19 一种无人机自动探索视频画面中兴趣点的方法及系统

Publications (2)

Publication Number Publication Date
CN115357052A true CN115357052A (zh) 2022-11-18
CN115357052B CN115357052B (zh) 2022-12-27

Family

ID=84007855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276179.4A Active CN115357052B (zh) 2022-10-19 2022-10-19 一种无人机自动探索视频画面中兴趣点的方法及系统

Country Status (1)

Country Link
CN (1) CN115357052B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543141A (zh) * 2022-12-16 2023-08-04 无锡恺韵来机器人有限公司 一种基于声信号与图像融合的无人机识别与定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN111968128A (zh) * 2020-07-10 2020-11-20 北京航空航天大学 一种基于图像标记的无人机视觉姿态和位置解算方法
CN112799422A (zh) * 2021-04-06 2021-05-14 众芯汉创（北京）科技有限公司 一种用于电力巡检的无人机飞行控制方法及装置
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN114900609A (zh) * 2022-04-29 2022-08-12 北京数字绿土科技股份有限公司 一种无人机的自动化拍摄控制方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN111968128A (zh) * 2020-07-10 2020-11-20 北京航空航天大学 一种基于图像标记的无人机视觉姿态和位置解算方法
CN112799422A (zh) * 2021-04-06 2021-05-14 众芯汉创（北京）科技有限公司 一种用于电力巡检的无人机飞行控制方法及装置
CN113850126A (zh) * 2021-08-20 2021-12-28 武汉卓目科技有限公司 一种基于无人机的目标检测和三维定位方法和系统
CN114900609A (zh) * 2022-04-29 2022-08-12 北京数字绿土科技股份有限公司 一种无人机的自动化拍摄控制方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543141A (zh) * 2022-12-16 2023-08-04 无锡恺韵来机器人有限公司 一种基于声信号与图像融合的无人机识别与定位方法

Also Published As

Publication number Publication date
CN115357052B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN106767706B (zh) 一种无人机勘查交通事故现场的航拍图像采集方法及系统
EP3825954A1 (en) Photographing method and device and unmanned aerial vehicle
CN107514993A (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
CN107492069B (zh) 基于多镜头传感器的图像融合方法
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
CN101919235A (zh) 正射影像图像的生成方法以及摄影装置
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN111436208A (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
CN115014361B (zh) 航线规划方法、装置及计算机存储介质
WO2019230604A1 (ja) 検査システム
CN115357052B (zh) 一种无人机自动探索视频画面中兴趣点的方法及系统
CN110853142A (zh) 基于无人机拍摄的机场净空三维模型构建方法及装置
CN114900609B (zh) 一种无人机的自动化拍摄控制方法和系统
CN108801225A (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
JP5669438B2 (ja) 対象管理画像生成装置及び対象管理画像生成プログラム
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
WO2020198963A1 (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
CN115046531A (zh) 一种基于无人机的杆塔测量方法、电子平台和存储介质
WO2021134715A1 (zh) 一种控制方法、设备、无人机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant