CN109974688A - 通过无人机定位的方法及终端 - Google Patents

通过无人机定位的方法及终端 Download PDF

Info

Publication number
CN109974688A
CN109974688A CN201910166845.0A CN201910166845A CN109974688A CN 109974688 A CN109974688 A CN 109974688A CN 201910166845 A CN201910166845 A CN 201910166845A CN 109974688 A CN109974688 A CN 109974688A
Authority
CN
China
Prior art keywords
coordinate
target point
cos
sin
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910166845.0A
Other languages
English (en)
Inventor
朱骅
温杰峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Science And Technology Ltd Of Flying Horse Robot
Original Assignee
Shenzhen Science And Technology Ltd Of Flying Horse Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Science And Technology Ltd Of Flying Horse Robot filed Critical Shenzhen Science And Technology Ltd Of Flying Horse Robot
Priority to CN201910166845.0A priority Critical patent/CN109974688A/zh
Publication of CN109974688A publication Critical patent/CN109974688A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种通过无人机定位的方法及终端，属于无人机技术领域。其中，该方法包括：获取无人机的飞行数据和拍摄数据，以及获取无人机拍摄的目标点的视频并播放视频，若检测到在视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和拍摄数据，计算该视频当前帧图像的四个角点的地理坐标，按照该无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在该播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标，获取该目标点的像素坐标，并根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标，若再次检测到在该播放界面上对该目标点上的该预设操作，则通过预设的加权算法，对该目标点的地理坐标进行加权计算。上述通过无人机定位的方法及终端，可提高对目标点的定位精度。

Description

通过无人机定位的方法及终端
技术领域
本发明属于无人机技术领域，尤其涉及一种通过无人机定位的方法及终端。
背景技术
随着无人机技术的不断成熟，无人机在军事行动中使用越来越多，各种新的应用模式也不断涌现。在采用轻小型电动无人机对敏感目标进行快速识别和定位后，无人机能够快速飞抵目标区域，进行准确的目标坐标获取，回传给炮兵部队，生成射击诸元，供炮兵进行射击瞄准，有效提高弹药的费效比。
目前主流的无人机目标定位是采用视频摄像机和激光测距仪组合的方式，无人机拍摄的视频抽帧，结合激光测距仪测量的目标距离、摄像机的姿态计算目标的地理坐标信息。这种方法存在的主要问题是激光测距仪易受干扰，测量目标精度较低，大约在20m到30m范围。
发明内容
本发明实施例提供一种通过无人机定位的方法及终端，通过无人机的飞行数据和拍摄数据，对无人机拍摄的目标点进行定位，解决定位精度低的技术问题。
本发明实施例提供了一种通过无人机定位的方法，包括：
获取无人机的飞行数据和拍摄数据，以及获取所述无人机拍摄的目标点的视频，并播放所述视频；
若检测到在所述视频的播放界面上对所述目标点上的预设操作，则根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的地理坐标；
按照所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽比例，以及所述四个角点的地理坐标，将所述视频图像在所述播放界面上的四个边界点的显示坐标转换为所述四个边界点的地理坐标；
获取所述目标点的像素坐标，并根据所述像素坐标、所述长宽比例和所述四个边界点的地理坐标，计算所述目标点的地理坐标；
若再次检测到在所述播放界面上对所述目标点上的所述预设操作，则通过预设的加权算法，对所述目标点的地理坐标进行加权计算，得到所述目标点的最终地理坐标。
本发明实施例还提供了一种终端，包括：
获取模块，用于获取无人机的飞行数据和拍摄数据，以及获取所述无人机拍摄的目标点的视频；
播放模块，用于播放所述视频；
第一计算模块，用于若检测到在所述视频的播放界面上对所述目标点上的预设操作，则根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的地理坐标；
第二计算模块，用于按照所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽比例，以及所述四个角点的地理坐标，将所述视频图像在所述播放界面上的四个边界点的显示坐标转换为所述四个边界点的地理坐标；
所述获取模块，还用于获取所述目标点的像素坐标；
第三计算模块，用于根据所述像素坐标、所述长宽比例和所述四个边界点的地理坐标，计算所述目标点的地理坐标；
第四计算模块，用于若再次检测到在所述播放界面上对所述目标点上的所述预设操作，则通过预设的加权算法，对所述目标点的地理坐标进行加权计算，得到所述目标点的最终地理坐标。
本发明实施例中，获取无人机的飞行数据和拍摄数据，以及无人机拍摄的目标点的视频，并播放该视频，若检测到在该视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点的地理坐标，进一步，按照无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标，获取该目标点的像素坐标，并根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标，经过对在该播放界面上的图像的操作，以及上述对无人机拍摄的视频的图像帧的四个角点坐标，与该视频在播放界面上的图像帧的四个边界坐标的转换，得到该播放界面上的图像帧中该目标点的实际地理坐标，若再次检测到在该播放界面上对该目标点上的该预设操作，则通过预设的加权算法，对该目标点的地理坐标进行加权计算，得到该目标点更精确的最终地理坐标，不需要测距仪，即可确认该目标点的坐标，提高坐标获取的便捷性，并且不受干扰，确认的该目标点的坐标精度较高。
附图说明
图1是本发明一实施例提供的通过无人机定位的方法的实现流程示意图；
图2是无人机的摄像机的长边和短边与无人机飞行方向的关系示意图；
图3是无人机的摄像机绕机体坐标系的X轴旋转0度和45度所拍摄的两个脚印图；
图4是无人机的摄像机绕机体坐标系的X轴旋转0度和45度所拍摄的两个脚印图，以及摄像机绕机体坐标系的Z轴旋转45度和90度所拍摄的两个脚印图；
图5是目标点的位置从显示器坐标系映射为地理坐标系的转换关系图；
图6是本发明一实施例提供的终端的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明一实施例提供的通过无人机定位的方法的实现流程示意图，该方法可应用于终端中，终端可包括：智能手机、平板电脑等可在移动中使用的电子装置以及PC(personal computer)机等非移动中使用的电子装置。该终端具体可以是地面站，即与无人机保持通信的地面设备，该终端中，内置客户端，该客户端具体可以是定位软件，该客户端用于定位无人机拍摄的视频中的目标点的位置。无人机起飞到达目标区域之后，进入目标点盘旋模式，该目标点即为待测量地理坐标的点，无人机开始在目标区域上空盘旋。地面站操作员在该终端显示的视频界面中可以看到该目标点，点击“测算坐标”或“锁定目标”等用于锁定当前视屏画面的按钮后，地面站中的客户端会锁定当前视频画面，鼠标左键点击该目标点，开始计算该目标点的地理坐标，该地理坐标为无人机的相对坐标，以无人机位置为原点，x轴指向北向，y轴指向东向，单位为米。并存储计算得到的该目标点的地理坐标。在无人机盘旋飞行过程中，不断拍摄并回传视频给地面站，在地面站播放，该操作员可多次使用鼠标左键点击该目标点，地面站客户端会自动通过加权平均的累加计算，使该目标点的地理坐标的测算精度逐步收敛，可达到5m到10m的精度。
如图1所示，该方法主要包括以下步骤：
S101、获取无人机的飞行数据和拍摄数据，以及获取该无人机拍摄的目标点的视频，并播放该视频；
在机体坐标系中，无人机的飞行方向为X轴正方向，机翼左侧为Y轴正方向，竖直向上为Z轴正方向。
摄像机安装在无人机云台上，摄像机的长边(即摄像机的coms的长边)沿飞行方向，短边垂直于飞行方向，如图2所示。
摄像机摆动角度，即摄像机的偏转角为omega(简称o)，该偏转角o绕X轴逆时针旋转为正，o＝0时摄像机竖直向下拍摄。具体参见图3，图3为该偏向角绕X轴旋转的脚印图，其中，矩形为o＝0°时的脚印图，梯形为o＝45°时的脚印图，纵轴表示y轴，纵轴上的0表示y轴原点；横轴表示x轴，横轴上的0表示x轴原点，该矩形和该梯形在横向上均以x轴原点为对称点。
该无人机的航向角为kappa(简称k)，该航向角k绕Z轴顺时针方向旋转为正，其中，k＝0°时机头向北，k＝90°时机头向东。如图4所示，梯形10为摄像机的偏转角o＝45°时的脚印图，梯形20为航向角k＝45°时的脚印图，梯形30为航向角k＝90°时的脚印图。
无人机的飞行数据包括：该无人机的航向角k；
无人机的拍摄数据包括：该无人机上摄像机的焦距f(focus)，该摄像机的偏转角o，该摄像机的像元尺寸pix，该摄像机拍摄的图像宽度imgW和图像高度imgH。
地面站获取无人机回传的该目标点的视频，并播放该视频。
S102、若检测到在该视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点的地理坐标；
在该视频的播放界面上，当检测到有用户(即地面站操作员)使用鼠标左键点击该目标点时，由于之前地面站操作员在地面站显示的视频界面中看到该目标时，点击“测算坐标”或“锁定目标”等按钮后，锁定当前视频画面。进一步地，当前视频画面根据该无人机的航向角k和无人机的相对航高H，该无人机上摄像机的焦距f，该摄像机的偏转角o，该摄像机的像元尺寸pix，该摄像机拍摄的图像宽度w和图像高度h(图像宽度也即影像宽度，图像高度也即影像高度)，计算该视频当前帧图像的四个角点的地理坐标。具体地，该四个角点分别为角点A(Xa，Ya)，角点B(Xb，Yb)，角点C(Xc，Yc)和角点D(Xd，Yd)，则该四个角点的坐标计算公式分别如下：
首先，根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点(即A、B、C、D)的像素值：
Xa＝(fp×(imgH×cos(o)×sin(k)-imgW×cos(k)+2×fp×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Ya＝(fp×(imgW×sin(k)+imgH×cos(k)×cos(o)+2×fp×cos(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Xb＝(fp×(imgW×cos(k)+imgH×cos(o)×sin(k)+2×fp×sin(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Yb＝(fp×(imgH×cos(k)×cos(o)-imgW×sin(k)+2×fp×cos(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Xc＝(fp×(imgW×cos(k)-imgH×cos(o)×sin(k)+2×fp×sin(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Yc＝-(fp×(imgW×sin(k)+imgH×cos(k)×cos(o)-2×fp×cos(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Xd＝-(fp×(imgW×cos(k)+imgH×cos(o)×sin(k)-2×fp×sin(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Yd＝(fp×(imgW×sin(k)-imgH×cos(k)×cos(o)+2×fp×cos(k)×sin(o))(2×fp×cos(o)+imgH×sin(o))。
进一步地，计算该无人机的地面采样间隔GSD(Ground Sampling Distance)：
GSD＝H×pix/fbcus/1000
其中，fp为焦距(单位：像素)，fp＝focus/pix×1000，focus为该摄像机焦距(单位：毫米)，pix为该摄像机的像元尺寸；imgH为该图像高度，imgW为该图像宽度；o为该摄像机的偏转角，k为该无人机的航向角，H为该无人机的相对航高(单位：米)
优选地，像元尺寸pix＝2.883Um(微米)；图像宽度imgW＝1920像素；图像高度imgH＝1080像素；焦距f(focus)为4.9～49Mm(毫米)；摄像机的偏转角o为0～45度；该航向角k为0～360度。
最后，将计算得到的该视频当前帧图像的四个角点的像素值与该地面采样间隔相乘，得到该视频当前帧图像的四个角点(A、B、C、D)的地理坐标。
S103、按照该无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在该播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标；
该无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，即该摄像机cmos尺寸和显示器图像显示尺寸的比例，例如拍摄图像帧的分辨率为1920*1080，显示屏的分辨率为1280*1080，此二者的比例。一般为了避免转换时丢失拍摄图像的精度，该长宽比例是1：1。
S104、获取该目标点的像素坐标，并根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标。
当检测到该目标点上有点击操作时，记录该目标点在显示坐标系中的像素坐标(x1、y1)，该显示坐标系的原点为所述播放界面的左上角顶点，所述左上角顶点向右为X轴正方向，向下为Y轴正方向。该像素坐标可以通过微软Visual studio的库函数获取。
按照该像素坐标对应的该无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，计算该目标点在该播放界面上的地理坐标，若该比例为1:1，则该目标点在该播放界面上的地理坐标则与该像素坐标相同。
由于拍摄图像在地面站显示为矩形，而其角点脚印图是梯形，所以映射完成后，必须对其双线性插值计算，反向算出当前图像上的点对应的实际坐标位置。目标点的位置从显示器坐标系映射为地理坐标系的转换关系图如图5所示，图5中，P点为该目标点。E1、E2为用于线插值的点。
具体地，将该目标点在该播放界面上的四个边界点上的地理坐标进行双线性插值计算，得到该目标点的实际地理坐标：
第一步，将四个边界点中的左上边界点A点和右上边界点B点在X轴方向进行插值计算，得到第一插值点E1的坐标(E1x，E1y)：
E1x＝Xb×(x1/imgW)+Xa×(1-x1/imgW)
E1y＝Yb×(y1/imgH)+Ya×(1-y1/imgH)
其中，Xa、Ya为图5中A点的地理坐标，也即前述视频当前帧图像中角点A的地理坐标；Xb、Yb为图5中B点的地理坐标，也即前述视频当前帧图像中角点B的地理坐标；x1是该像素坐标的横坐标，y1是该像素坐标的纵坐标；imgW为图像宽度，imgH为图像高度。
第二步：将四个边界点中的左下边界点C点和右下边界点D点在X轴方向进行插值计算，计算第二插值点E2的坐标(E2x，E2y)：
E2x＝Xd×(x1/imgW)+Xc×(1-x1/imgW)
E2y＝Yd×(y1/imgH)+Yc×(1-y1/imgH)
其中，Xc、Yc为图5中C点的地理坐标，也即前述视频当前帧图像中角点C的地理坐标；Xd、Yd为图5中D点的地理坐标，也即前述视频当前帧图像中角点B的地理坐标；x1是该像素坐标的横坐标，y1是该像素坐标的纵坐标；imgW为图像宽度，imgH为图像高度；
第三步：将E1点和E2点在Y轴方向进行插值计算，得到该目标点P的坐标：
Px＝E2x×(x1/imgW)+E1x×(1-x1/imgW)
Py＝E2y×(y1/imgH)+E1y×(1-y1/imgH)
其中，E1x、E1y为E1点坐标；E2x、E2y为E2点坐标；x1是该像素坐标的横坐标，y1是该像素坐标的纵坐标；imgW为图像宽度，imgH为图像高度。
S105、若再次检测到在该播放界面上对该目标点上的该预设操作，该预设操作为点击，则将该目标点的地理坐标通过预设的加权平均计算，得到该目标点的最终地理坐标。
进行上述加权平均计算，使得该目标点的地理坐标值随着该预设操作次数的增加不断收敛，该地理坐标值逐步接近真值。
每当在该目标点上检测到一次点击时，该目标点的计算权值便增加一次变量，权值f的计算公式为：
fn＝f(n-1)+Δf
n为正整数，优选地，权值变量Δf＝0.1。
该目标点的加权计算公式为：
n、i均为正整数。
具体地：当对该目标点第一次点击时，该目标点的坐标权值为：
Px1＝f1Px1
Py1＝f1Py1
其中，f1＝1；n＝1；i＝1。
进一步地，当对该目标点第二次点击时，该目标点的坐标权值为：
Px2＝(f1Px1+f2Px2)/(f1+f2)
Py2＝(f1Py1+f2Py2)/(f1+f2)
其中，f1＝1；n＝2。
地面站操作员在视频界面第1次点击该目标点，经过计算得到该目标点的地理坐标P1(Px1，Py1)，第2次，第3次…第n次(n>0)计算得到的该目标点的最终地理坐标分别为P2(Px2，Py2)，P3(Px3，Py3)，…Pn(Pxn，Pyn)。经过多次飞行试验，大约在点击10次目标之后，测算的最终坐标与实际坐标值的偏差在5m～10m的范围内，进一步提高定位的精确性。
本实施例中，获取无人机的飞行数据和拍摄数据，以及无人机拍摄的目标点的视频，并播放该视频，若检测到在该视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点的地理坐标，进一步，按照无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标，获取该目标点的像素坐标，并根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标，经过对在该播放界面上的图像的操作，以及上述对无人机拍摄的视频的图像帧的四个角点坐标，与该视频在播放界面上的图像帧的四个边界坐标的转换，得到该播放界面上的图像帧中该目标点的实际地理坐标，若再次检测到在该播放界面上对该目标点上的该预设操作，则通过预设的加权算法，对该目标点的地理坐标进行加权计算，得到该目标点的最终地理坐标，不需要测距仪，即可确认该目标点的坐标，提高坐标获取的便捷性，并且不受干扰，确认的该目标点的坐标精度较高。
请参阅图6，图6是本发明一实施例提供的终端结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图6示例的终端，是前述图1所示实施例提供的通过无人机定位的方法中的终端。该终端主要包括：
获取模块601，用于获取无人机的飞行数据和拍摄数据，以及获取该无人机拍摄的目标点的视频；
播放模块602，用于播放该视频；
第一计算模块603，用于若检测到在该视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点的地理坐标；
第二计算模块604，用于按照该无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在该播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标；
获取模块601，还用于获取该目标点的像素坐标；
第三计算模块605，用于根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标。
第四计算模块606，用于若再次检测到在该播放界面上对该目标点上的该预设操作，则通过预设的加权算法，对该目标点的地理坐标进行加权计算，得到该目标点的最终地理坐标。
进一步地，获取模块601，还用于检测到对该目标点的点击操作时，记录该目标点在显示坐标系中的像素坐标，该显示坐标系的原点为该播放界面的左上角顶点，该左上角顶点向右为X轴正方向，向下为Y轴正方向；
第三计算模块605，还用于按照该像素坐标的该长宽比例，计算该目标点的该四个边界点的地理坐标；并将该目标点的该四个边界点的地理坐标进行双线性插值计算，得到该目标点的四个边界点的实际地理坐标。
该终端还进一步包括：
锁定模块607，用于当检测到测算坐标或锁定坐标的按钮被触发后，锁定该视频的当前播放画面。
本实施例未尽之细节，请参阅前述图1所示实施例的描述，此处不再赘述。
需要说明的是，以上图6示例的终端的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。
本实施例中，获取无人机的飞行数据和拍摄数据，以及无人机拍摄的目标点的视频，并播放该视频，若检测到在该视频的播放界面上对该目标点上的预设操作，则根据该飞行数据和该拍摄数据，计算该视频当前帧图像的四个角点的地理坐标，进一步，按照无人机拍摄图像帧的分辨率与该图像帧显示的分辨率的长宽比例，以及该四个角点的地理坐标，将该视频图像在播放界面上的四个边界点的显示坐标转换为该四个边界点的地理坐标，获取该目标点的像素坐标，并根据该像素坐标、该长宽比例和该四个边界点的地理坐标，计算该目标点的地理坐标，经过对在该播放界面上的图像的操作，以及上述对无人机拍摄的视频的图像帧的四个角点坐标，与该视频在播放界面上的图像帧的四个边界坐标的转换，得到该播放界面上的图像帧中该目标点的实际地理坐标，若再次检测到在该播放界面上对该目标点上的该预设操作，则通过预设的加权算法，对该目标点的地理坐标进行加权计算，得到该目标点更精确的最终地理坐标，不需要测距仪，即可确认该目标点的坐标，提高坐标获取的便捷性，并且不受干扰，确认的该目标点的坐标精度较高。
进一步的，在硬件结构上，该终端包括：
至少一个输入设备以及至少一个输出设备。
上述存储器、处理器、输入设备以及输出设备，通过总线连接。
其中，输入设备具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备具体可为显示屏。
存储器可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器用于存储一组可执行程序代码，处理器与存储器耦合。
进一步的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是前述实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1所示实施例中描述的通过无人机定位的方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的多个实施例中，应该理解到，所揭露的方法、终端，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的通过无人机定位的方法及终端的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种通过无人机定位的方法，其特征在于，所述方法包括：
获取无人机的飞行数据和拍摄数据，以及获取所述无人机拍摄的目标点的视频，并播放所述视频；
若检测到在所述视频的播放界面上对所述目标点上的预设操作，则根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的地理坐标；
按照所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽此例，以及所述四个角点的地理坐标，将所述视频图像在所述播放界面上的四个边界点的显示坐标转换为所述四个边界点的地理坐标；
获取所述目标点的像素坐标，并根据所述像素坐标、所述长宽比例和所述四个边界点的地理坐标，计算所述目标点的地理坐标；
若再次检测到在所述播放界面上对所述目标点上的所述预设操作，则通过预设的加权算法，对所述目标点的地理坐标进行加权计算，得到所述目标点的最终地理坐标。
2.如权利要求1所述的方法，其特征在于，所述飞行数据包括：所述无人机的航向角和相对航高；所述拍摄数据包括：所述无人机的摄像机焦距，所述摄像机的偏转角，所述摄像机的像元尺寸，所述摄像机拍摄的图像宽度和图像高度，则所述根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的地理坐标包括：
根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的像素值；
Xa＝(fp×(imgH×cos(o)×sin(k)-imgW×cos(k)+2×fp×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Ya＝(fp×(imgW×sin(k)+imgH×cos(k)×cos(o)+2×fp×cos(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Xb＝(fp×(imgW×cos(k)+imgH×cos(o)×sin(k)+2×fp×sin(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Yb＝(fp×(imgH×cos(k)×cos(o)-imgW×sin(k)+2×fp×cos(k)×sin(o))/(2×fp×cos(o)-imgH×sin(o))；
Ｘc＝(fp×(imgW×cos(k)-imgH×cos(o)×sin(k)+2×fp×sin(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Yc＝-(fp×(imgW×sin(k)+imgH×cos(k)×cos(o)-2×fp×cos(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Xd＝-(fp×(imgW×cos(k)+imgH×cos(o)×sin(k)-2×fp×sin(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
Yd＝(fp×(imgW×sin(k)-imgH×cos(k)×cos(o)+2×fp×cos(k)×sin(o))/(2×fp×cos(o)+imgH×sin(o))；
其中，fp为所述摄像机以像素为单位的焦距，fp＝focus/pix×1000，focus为所述摄像机以毫米为单位的焦距，pix为所述摄像机的像元尺寸，imgH为所述图像高度，imgW为所述图像宽度，o为所述摄像机的偏转角，k为所述无人机的航向角；
计算所述无人机的地面采样间隔GSD；
GSD＝H×pix/focus/1000
其中，H为所述相对航高；
将计算得到的所述视频当前帧图像的四个角点的像素值与所述地面采样间隔相乘，得到所述视频当前帧图像的四个角点的地理坐标。
3.如权利要求1或2所述的方法，其特征在于，所述通过预设的加权算法，对所述目标点的地理坐标进行加权计算，得到所述目标点的最终地理坐标包括：
预设的加权公式为：
fn＝f(n-1)+Δf
其中，fn表示对所述目标点进行第n次所述预设操作时的权值；Δf为权值变量。
根据所述加权公式计算所述目标点的最终地理坐标：
其中，n、i均为正整数。
4.如权利要求1所述的方法，其特征在于，所述按照所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽比例，以及所述四个角点的地理坐标，将所述视频图像在所述播放界面上的四个边界点的显示坐标转换为所述四个边界点的地理坐标包括：
所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽比例为1:1，则所述视频图像在所述播放界面上的四个边界点的显示坐标为所述四个角点的地理坐标。
5.如权利要求1所述的方法，其特征在于，所述获取所述目标点的像素坐标，并根据所述像素坐标、所述长宽比例和所述四个边界点的地理坐标，计算所述目标点的地理坐标包括：
检测到对所述目标点的点击操作时，记录所述目标点在显示坐标系中的像素坐标，所述显示坐标系的原点为所述播放界面的左上角顶点，所述左上角顶点向右为X轴正方向，向下为Y轴正方向；
按照所述像素坐标的所述长宽比例，计算所述目标点的所述四个边界点的地理坐标；
将所述目标点的所述四个边界点的地理坐标进行双线性插值计算，得到所述目标点的四个边界点的实际地理坐标。
6.如权利要求5所述的方法，其特征在于，所述将所述目标点的所述四个边界点的地理坐标进行双线性插值计算，得到所述目标点的四个边界点的实际地理坐标包括：
将所述四个边界点中的左上和右上两个边界点在X轴方向上进行插值计算，得到第一插值点E1的坐标，计算公式为：
E1x＝Xb×(x1/imgW)+Xa×(1-x1/imgW)
E1y＝Yb×(y1/imgH)+Ya×(1-y1/imgH)
其中，Xa、Ya为四个边界点中的左上边界点的地理坐标；Xb、Yb为四个边界点中的右上边界点的地理坐标；x1是所述像素坐标的横坐标，y1是所述像素坐标的纵坐标；imgW为所述图像宽度，imgH为所述图像高度；
将所述四个边界点中的左下和右下两个边界点在X轴方向上进行插值计算，得到第二插值点E2，计算公式为：
E2x＝Xd×(x1/imgW)+Xc×(1-x1/imgW)
E2y＝Yd×(y1/imgH)+Yc×(1-y1/imgH)
其中，Xc、Yc为四个边界点中的左下边界点的地理坐标；Xd、Yd为四个边界点中的右下边界点的地理坐标；x1是所述像素坐标的横坐标，y1是所述像素坐标的纵坐标；imgW为所述图像宽度，imgH为所述图像高度；
将所述第一插值点和所述第二插值点在Y轴方向进行插值计算，得到所述目标点的坐标P，计算公式为：
Px＝E2x×(x1/imgW)+E1x×(1-x1/imgW)
Py＝E2y×(y1/imgH)+E1y×(1-y1/imgH)
其中，E1x、E1y为第一插值点E1的坐标；E2x、E2y为第二插值点E2的坐标；x1是所述像素坐标的横坐标，y1是所述像素坐标的纵坐标；imgW为所述图像宽度，imgH为所述图像高度。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
当检测到测算坐标或锁定坐标的按钮被触发后，锁定所述视频的当前播放画面。
8.一种终端，其特征在于，包括：
获取模块，用于获取无人机的飞行数据和拍摄数据，以及获取所述无人机拍摄的目标点的视频；
播放模块，用于播放所述视频；
第一计算模块，用于若检测到在所述视频的播放界面上对所述目标点上的预设操作，则根据所述飞行数据和所述拍摄数据，计算所述视频当前帧图像的四个角点的地理坐标；
第二计算模块，用于按照所述无人机拍摄图像帧的分辨率与所述图像帧显示的分辨率的长宽比例，以及所述四个角点的地理坐标，将所述视频图像在所述播放界面上的四个边界点的显示坐标转换为所述四个边界点的地理坐标；
所述获取模块，还用于获取所述目标点的像素坐标；
第三计算模块，用于根据所述像素坐标、所述长宽比例和所述四个边界点的地理坐标，计算所述目标点的地理坐标；
第四计算模块，用于若再次检测到在所述播放界面上对所述目标点上的所述预设操作，则通过预设的加权算法，对所述目标点的地理坐标进行加权计算，得到所述目标点的最终地理坐标。
9.如权利要求8所述的终端，其特征在于，所述获取模块，还用于检测到对所述目标点的点击操作时，记录所述目标点在显示坐标系中的像素坐标，所述显示坐标系的原点为所述播放界面的左上角顶点，所述左上角顶点向右为X轴正方向，向下为Y轴正方向；
所述第三计算模块，还用于按照所述像素坐标的所述长宽比例，计算所述目标点的所述四个边界点的地理坐标；
将所述目标点的所述四个边界点的地理坐标进行双线性插值计算，得到所述目标点的四个边界点的实际地理坐标。
10.如权利要求9所述的终端，其特征在于，所述终端还包括：
锁定模块，用于当检测到测算坐标或锁定坐标的按钮被触发后，锁定所述视频的当前播放画面。
CN201910166845.0A 2019-03-06 2019-03-06 通过无人机定位的方法及终端 Pending CN109974688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910166845.0A CN109974688A (zh) 2019-03-06 2019-03-06 通过无人机定位的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910166845.0A CN109974688A (zh) 2019-03-06 2019-03-06 通过无人机定位的方法及终端

Publications (1)

Publication Number Publication Date
CN109974688A true CN109974688A (zh) 2019-07-05

Family

ID=67078002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910166845.0A Pending CN109974688A (zh) 2019-03-06 2019-03-06 通过无人机定位的方法及终端

Country Status (1)

Country Link
CN (1) CN109974688A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN112584048A (zh) * 2020-12-15 2021-03-30 广州极飞科技有限公司 信息处理方法、装置、系统、无人设备和计算机可读存储介质
CN115439528A (zh) * 2022-04-26 2022-12-06 亮风台（上海）信息科技有限公司 一种获取目标对象的图像位置信息的方法与设备
CN117612046A (zh) * 2024-01-23 2024-02-27 青岛云世纪信息科技有限公司 一种基于ai和gis交互实现目标区域地物识别的方法和系统
CN117743613A (zh) * 2023-12-22 2024-03-22 青岛云世纪信息科技有限公司 更新无人机视频帧中地物名称的方法及系统、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282633A (zh) * 2018-01-09 2018-07-13 深圳飞马机器人科技有限公司 无人机实时视频图像坐标指示方法、系统和终端
CN108759788A (zh) * 2018-03-19 2018-11-06 深圳飞马机器人科技有限公司 无人机影像定位定姿方法及无人机
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282633A (zh) * 2018-01-09 2018-07-13 深圳飞马机器人科技有限公司 无人机实时视频图像坐标指示方法、系统和终端
CN108759788A (zh) * 2018-03-19 2018-11-06 深圳飞马机器人科技有限公司 无人机影像定位定姿方法及无人机
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
邵长斌: "基于神经网络的人脸识别技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈大力: "数字图像处理中去噪算法的研究", 《中国博士学位论文全文数据库信息科技辑》 *
陈潇君: "海关码头智能视频监控系统关键技术的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN112584048A (zh) * 2020-12-15 2021-03-30 广州极飞科技有限公司 信息处理方法、装置、系统、无人设备和计算机可读存储介质
CN112584048B (zh) * 2020-12-15 2022-11-08 广州极飞科技股份有限公司 信息处理方法、装置、系统、无人设备和计算机可读存储介质
CN115439528A (zh) * 2022-04-26 2022-12-06 亮风台（上海）信息科技有限公司 一种获取目标对象的图像位置信息的方法与设备
CN117743613A (zh) * 2023-12-22 2024-03-22 青岛云世纪信息科技有限公司 更新无人机视频帧中地物名称的方法及系统、电子设备
CN117612046A (zh) * 2024-01-23 2024-02-27 青岛云世纪信息科技有限公司 一种基于ai和gis交互实现目标区域地物识别的方法和系统
CN117612046B (zh) * 2024-01-23 2024-04-26 青岛云世纪信息科技有限公司 一种基于ai和gis交互实现目标区域地物识别的方法和系统

Similar Documents

Publication Publication Date Title
CN109974688A (zh) 通过无人机定位的方法及终端
CN110296691A (zh) 融合imu标定的双目立体视觉测量方法与系统
EP2847741B1 (en) Camera scene fitting of real world scenes for camera pose determination
US8098958B2 (en) Processing architecture for automatic image registration
CN107886531B (zh) 一种基于激光测距以及物方匹配的虚拟控制点获取方法
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
WO2007133620A2 (en) System and architecture for automatic image registration
CN106885585B (zh) 一种基于光束法平差的星载摄影测量系统一体化检校方法
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
AU2017344761B2 (en) An image synthesis system
CN108830811A (zh) 一种飞行参数与相机内参相结合的航空影像实时校正方法
CN113415433B (zh) 基于三维场景模型的吊舱姿态修正方法、装置和无人机
CN104361563B (zh) 基于gps的高光谱遥感图像几何精校正方法
US20190244391A1 (en) An aerial camera boresight calibration system
CN108282633A (zh) 无人机实时视频图像坐标指示方法、系统和终端
CN108663043A (zh) 基于单个相机辅助的分布式pos主子节点相对位姿测量方法
AU2022231762B2 (en) A bundle adjustment system
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN112461204B (zh) 卫星对动态飞行目标多视角成像联合计算航行高度的方法
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
CN109341685B (zh) 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法
CN108447100A (zh) 一种机载三线阵ccd相机的偏心矢量和视轴偏心角标定方法
CN102706330B (zh) 空间相机对地面异形条带目标拍摄的方法
Jacobsen Calibration of optical satellite sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705