CN111930139B - 基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 - Google Patents
基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111930139B CN111930139B CN202010646839.8A CN202010646839A CN111930139B CN 111930139 B CN111930139 B CN 111930139B CN 202010646839 A CN202010646839 A CN 202010646839A CN 111930139 B CN111930139 B CN 111930139B
- Authority
- CN
- China
- Prior art keywords
- flight
- image
- determining
- frames
- video images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 193
- 238000005457 optimization Methods 0.000 title claims abstract description 68
- 230000006870 function Effects 0.000 claims abstract description 102
- 230000008569 process Effects 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 10
- 230000002146 bilateral effect Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003707 image sharpening Methods 0.000 description 8
- 230000005855 radiation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
本发明公开了一种基于全局优化法高精度确定飞行轨迹的方法、装置及电子设备。该方法包括：获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；根据所述N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，所述拟合函数至少包括一个多项式，所述多项式的至少一项为自然常数的指数函数；利用所述拟合函数进行曲线拟合，确定所述飞行装置的飞行轨迹曲线。实现了高精度确定飞行装置的飞行轨迹，减少了确定飞行装置飞行轨迹所需的成本及飞行装置的额外重量的增加。
Description
技术领域
本发明涉及导航定位技术领域，特别涉及一种基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备。
背景技术
目前，飞行装置例如无人飞行器在很多领域都有十分重要的作用，而如何准确获取飞行装置的飞行轨迹，对于更好的应用飞行装置是十分重要的。
相关技术中，通常通过在飞行装置上安装惯性导航装置或者卫星定位系统来实时记录飞行装置的位置信息，以获取飞行装置的飞行轨迹。但是，由于惯性导航装置或者卫星定位系统的重量较大，会增加飞行装置的重量，因此这种在飞行装置上安装惯性导航装置或者卫星定位系统以获取飞行装置的飞行轨迹的方式不利于飞行装置的飞行，且由于惯性导航装置或者卫星定位系统的成本较高，因此这种方式还会导致确定飞行轨迹所需的成本较高。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于全局优化法高精度确定飞行轨迹的方法，解决了相关技术中飞行装置的飞行轨迹确定方法的成本高、且因增加飞行装置的重量而影响飞行装置的飞行的技术问题。
本发明的第二个目的在于提出一种基于全局优化法高精度确定飞行轨迹的装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种基于全局优化法高精度确定飞行轨迹的方法，包括以下步骤：获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；根据所述N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，所述拟合函数至少包括一个多项式，所述多项式的至少一项为自然常数的指数函数；利用所述拟合函数进行曲线拟合，确定所述飞行装置的飞行轨迹曲线。
为达到上述目的，本发明第二方面实施例提出了一种基于全局优化法高精度确定飞行轨迹的装置，包括：第一获取模块，用于获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；第一确定模块，用于确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；第二确定模块，用于根据所述N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，所述拟合函数至少包括一个多项式，所述多项式的至少一项为自然常数的指数函数；第三确定模块，用于利用所述拟合函数进行曲线拟合，确定所述飞行装置的飞行轨迹曲线。
为达到上述目的，本发明第三方面实施例提出了一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现本发明第一方面实施例所述的基于全局优化法高精度确定飞行轨迹的方法。
为达到上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的基于全局优化法高精度确定飞行轨迹的方法。
本发明实施例的技术方案，具有如下有益效果：
实现了基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于全局优化法高精度确定飞行轨迹的方法的流程图；
图2为根据本发明一个实施例的直方图均衡化示意图；
图3为根据本发明一个实施例的图像卷积运算原理示意图；
图4为根据本发明一个实施例的共线条件示意图；
图5为根据本发明一个实施例的直接线性变换原理示意图；
图6为根据本发明一个实施例的模板匹配分类方法的示例图；
图7为根据本发明另一个实施例的基于全局优化法高精度确定飞行轨迹的方法的流程图；
图8为根据本发明一个实施例的基于全局优化法高精度确定飞行轨迹的装置的结构示意图；以及
图9为根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
可以理解的是，相关技术中，通常通过在飞行装置上安装惯性导航装置或者卫星定位系统来实时记录飞行装置的位置信息，以获取飞行装置的飞行轨迹。但是，由于惯性导航装置或者卫星定位系统的重量较大，会增加飞行装置的重量，因此这种在飞行装置上安装惯性导航装置或者卫星定位系统以获取飞行装置的飞行轨迹的方式不利于飞行装置的飞行，且由于惯性导航装置或者卫星定位系统的成本较高，因此这种方式还会导致确定飞行轨迹所需的成本较高。
本申请针对上述问题，提出一种基于全局优化法高精度确定飞行轨迹的方法，在获取飞行装置在飞行过程中拍摄的分别对应N个时间点的N帧视频图像后，可以确定飞行装置在飞行过程中获取的多帧视频图像分别对应的摄影中心空间位置信息，进而根据多帧视频分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，拟合函数至少包括一个多项式，多项式的至少一项为自然常数的指数函数，再利用拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线。由此，实现了基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
首先对本申请涉及的几个坐标系进行简单说明。
像平面坐标系，为像点在像平面内位置的平面直角坐标系，其坐标原点通常为图像的中心点。
像空间坐标系，为像点在像方空间位置的空间直角坐标系，其坐标原点可以根据需要设置。
物方空间坐标系，为物体在测量员指定空间的坐标系，比如地面、其他参照物等，其坐标原点可以根据需要设置。
下面结合附图来描述本发明实施例的基于全局优化法高精度确定飞行轨迹的方法、装置、电子设备和计算机可读存储介质。
首先结合图1，对本申请提供的基于全局优化法高精度确定飞行轨迹的方法进行说明。图1为根据本发明一个实施例的基于全局优化法高精度确定飞行轨迹的方法的流程图。
如图1所示，本发明实施例的基于全局优化法高精度确定飞行轨迹的方法，可以包括以下步骤：
步骤101，获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数。
具体的，本申请提供的基于全局优化法高精度确定飞行轨迹的方法，可以由本申请提供的基于全局优化法高精度确定飞行轨迹的装置，以下简称飞行轨迹确定装置执行，其中，飞行轨迹确定装置可以被配置在电子设备中，以通过较低的成本及额外重量增加，高精度确定飞行装置的飞行轨迹。其中，电子设备，可以是任意能够进行数据处理的硬件设备，比如手机、电脑等。可以理解的是，飞行轨迹确定装置可以被配置在飞行装置的控制器中，也可以被配置在飞行装置的地面指挥中心中，本申请对此不作限制。
具体的，飞行装置中可以配置摄像机，以在飞行装置飞行过程中，拍摄不同时间点分别对应的视频图像。在示例性实施例中，摄像机可以被配置在飞行装置的前方，本申请对摄像机在飞行装置中的设置位置不作限制。
在示例性实施例中，摄像机可以在飞行装置飞行过程中，拍摄视频影像，并将视频影像发送至飞行轨迹确定装置，然后由飞行轨迹确定装置对飞行装置在飞行过程中拍摄的视频影像进行解帧处理，以获取N帧视频图像。
即，步骤101具体可以包括：
步骤101a，获取飞行装置在飞行过程中拍摄的视频影像。
步骤101b，对视频影像进行解帧处理，以获取N帧视频图像。
需求说明的是，在实际应用中，N的大小可以根据需要设置，比如，为了提高飞行装置的飞行轨迹的准确性，可以利用较多的视频图像对应的摄像中心空间位置信息，进行曲线拟合，以提高确定的飞行装置的飞行轨迹曲线的准确性，此时，可以设置N的值较大。
步骤102，利用图像增强技术和/或图像去噪技术，对N帧视频图像进行预处理。
可以理解的是，在利用N帧视频图像进行后续处理之前，可以先对N帧视频图像进行预处理，以提高N帧视频图像的辐射质量。当然，也可以不进行预处理，直接利用拍摄的N帧视频图像进行后续飞行轨迹的确定，本申请对此不作限制。
下面首先对利用图像增强技术，对N帧视频图像进行预处理的过程进行说明。
在示例性实施例中，图像增强技术，可以包括图像灰度变换技术、直方图均衡化技术、图像锐化技术、白平衡处理技术等。本申请以图像灰度变换技术、直方图均衡化技术、图像锐化技术为例进行说明。
图像灰度变换技术：
灰度变换可使图像动态范围增大，对比度得到扩展，使图像清晰、特征明显，是图像增强的重要手段之一。它主要利用图像的点运算来修正像素灰度，由输入像素点的灰度值确定相应输出像素点的灰度值，可以看作是“从像素到像素”的变换操作，不改变图像内的空间关系。
像素灰度级的改变是根据输入图像f'(x',y')灰度值和输出图像g1(x',y')灰度值之间的转换函数g1(x',y')＝T[f'(x',y')]进行的。其中转换函数有多种形式，本申请实施例中，可以通过线性变换的方法来进行变换，如下面公式(1)所示：
g1(x',y')＝T[f'(x',y')]＝A'*f'(x',y')+B' (1)
其中，公式(1)中参数A'为线性函数的斜率，B'为线性函数在y轴的截距,f'(x',y')表示输入图像的灰度,g1(x',y')表示输出图像的灰度。
在本申请实施例中，对于N帧视频图像中的每一帧图像，可以将该帧视频图像中的各像素的灰度值，代入公式(1)中，以得到该帧视频图像处理后的各像素的灰度值，对各帧视频图像进行相同操作，即可实现对N帧视频图像的灰度变换。
通过对N帧视频图像利用图像灰度变换技术进行预处理，可以使各帧视频图像的动态范围增大，对比度得到扩展，使各帧视频图像清晰、特征明显，提高了各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
直方图均衡化技术：
直方图均衡化是通过灰度变换将一幅图像转换为另一幅具有均衡化的直方图，即在每个灰度级上都具有相同的像素点数的过程。
其中，图像直方图，可以表示图像中像素灰度值的分布情况。通常，为了使图像变得清晰，增大反差，凸显图像细节，需要如图2所示，使图像灰度的分布从暗到亮大致均匀。直方图均衡技术就是把直方图分布不均匀的图像(例如图2上方所示的大部分像素灰度集中分布在某一段的图像)经过一种函数变换，使之成为一幅具有均匀灰度分布的新图像，其灰度直方图的动态范围扩大的技术。其中，用于直方图均衡化的变换函数不是统一的，它是输入图像直方图的积分，即累积分布函数。
设灰度变换s'＝f'(r')为斜率有限的非减连续可微函数，它将输入图像Ii'(x',y')转换为输出图像Io'(x',y')，输入图像的直方图为Hi'(r')，输出图像的直方图为Ho'(s')，则根据直方图的含义，经过灰度变换后对应的小面积元相等，即Ho'(s')与Hi'(r')之间存在如公式(2)所示的关系。
Ho'(s')ds'＝Hi'(r')dr' (2)
根据上述分析可得最后的直方图均衡化过程中映射关系式S'k为如公式(3)所示的形式。
其中，n'为图像中像素的总和，n'j是当前灰度级的像素个数，L是图像中可能的灰度级总数。
在本申请实施例中，利用公式(3)，即可对N帧视频图像分别进行直方图均衡化，从而得到处理后的N帧视频图像。其中，处理后的N帧视频图像中，每帧视频图像的灰度分布从暗到亮大致均匀，处理后的N帧视频图像更清晰，图像灰度反差度增大，细节得到增强，提高了各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
图像锐化技术：
图像锐化的目的是为了使图像的边缘、轮廓线以及图像的细节变的清晰，经过平滑的图像变得模糊的根本原因是因为图像受到了平均或积分运算，因此对其进行逆运算(如微分运算)就可以使图像变的清晰。因此，本申请通过对N帧视频图像分别进行例如微分运算，以使处理后的N帧视频图像更清晰。
在示例性实施例中，可以采用高通滤波和空域微分法进行图像锐化。
可以理解的是，对于高通滤波法进行图像锐化，由于图像的边缘或线条的细节(边缘)部分与图像频谱的高频分量相对应，因此采用高通滤波让高频分量顺利通过，并适当抑制中低频分量，可以使图像的细节变得清楚，实现图像的锐化。
在示例性实施例中，可以基于拉普拉斯算子实现图像锐化。具体的，采用的微分算子可以为拉普拉斯算子，它是一个二维二阶微分算子,而且无方向性，如公式(4)所示。
例如，3×3的拉普斯卷积模板可以为:
在本申请实施例中，通过下面的公式(6)，对N帧视频图像分别进行拉普拉斯运算即可得到锐化后的N帧视频图像。
其中，f'(x',y')为锐化处理前的视频图像，h'(x',y')为锐化处理后的视频图像。
通过锐化处理后的N帧视频图像中，每帧视频图像的图像边缘更清晰，提高了各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
下面对利用图像去噪技术，对N帧视频图像进行预处理的过程进行说明。
在示例性实施例中，可以通过中值滤波技术、高斯滤波技术、双边滤波技术等技术，对N帧视频图像进行去噪处理。
中值滤波技术：
中值滤波技术是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把图像中一点的值用该点的一个邻域中各点的值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。
具体实现时，可以用某种结构的二维滑动模板扫描每帧视频图像中的每一个像素，将该帧视频图像中被模板覆盖的像素按照像素值的大小进行排序，生成单调上升或下降的二维数据序列，从而将二维数据序列中的中值作为该帧视频图像中与模板中心像素点对应的像素点的值。
其中，二维中值滤波可以表示为如公式(7)所示的形式：
g2(x',y')＝med{f'(x'-k',y'-l'),(k',l'∈W)} (7)
其中，f'(x',y')为原始视频图像，g2(x',y')处理后的视频图像。W为二维滑动模板，k'、l'分别为二维滑动模板中的像素的行号和列号。其中，二维滑动模板可以为3*3或5*5等区域。另外，二维滑动模板的形状可以为线状，圆形，十字形，圆环形等，本申请对此不作限制。
通过对N帧视频图像利用中值滤波技术进行预处理，可以使各帧视频图像处理后像素灰度值过渡明显平滑化，提高各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
高斯滤波技术：
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。其中，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。
具体的，利用高斯滤波进行图像处理时，如图3所示，可以用一个模板(或称为卷积、掩模)(图3中的B1)扫描待处理图像(图3中的A1)中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代待处理图像中与模板中心像素点(B1中的五角星所在的像素点)对应的像素点的值。
具体实现时，以对N帧视频图像中一帧视频图像进行预处理为例，可以首先对待处理的视频图像进行平滑滤波，其滤波函数根据人类视觉特性可以确定为如公式(8)所示的高斯函数G(x',y')。
其中，G(x',y')是一个圆对称函数，其平滑的作用是可通过σ来控制的。
然后，如图3所示，可以按照公式(9)所示的方式，将图像G(x',y')(即图3中的B1)与待处理的视频图像f'(x',y')(即图3中的A1)进行卷积，即可得到处理后的平滑的视频图像g3(x',y')。
g3(x',y')＝f'(x',y')*G(x',y') (9)
通过上述方式，即可实现基于高斯算子的图像滤波，处理后的视频图像像素灰度值过渡平滑且像素连续部分未有中断，提高了各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
双边滤波技术：
双边滤波是一种可以保边去噪的滤波器，由于滤波器由两个函数构成，因此可以达到保边去噪的效果。
双边滤波器的其中一个函数是由几何空间距离决定滤波器系数，另一个函数由像素差值决定滤波器系数。双边滤波器的好处是可以做边缘保存，相比会较明显的模糊边缘、对于高频细节的保护效果并不明显的维纳滤波或者高斯滤波来降噪，双边滤波器比高斯滤波多了一个高斯方差，双边滤波器是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。
具体的，双边滤波的边缘保持特性可以通过在卷积的过程中组合空域函数和值域核函数来实现。
通过对N帧视频图像利用双边滤波进行预处理，可以使各帧视频图像处理后像素灰度值过渡平缓化且边缘特征保留良好，提高各帧视频图像的辐射质量，为后续准确确定各帧视频图像对应的摄影中心空间位置信息奠定了基础。
需要说明的是，本申请实施例中，对各帧视频图像进行预处理时，可以仅对各帧视频图像进行图像增强处理，或者仅对各帧视频图像进行图像去噪处理，或者，也可以同时对各帧视频图像进行图像增强处理和图像去噪处理，另外，可以根据需要选择任意图像增强处理技术实现图像增强，或者根据需要选择任意图像去噪处理技术实现图像去噪，本申请对此不作限制。
步骤103，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息。
需要说明的是，此处及后续步骤中的N帧视频图像为预处理后的N帧视频图像。
其中，摄影中心空间位置信息，用于表征摄影光束在摄影瞬间的空间位置，其可以包括摄影中心在某一空间直角坐标系中的三维坐标值(Xs，Ys，Zs)，即三个方向分别对应的坐标值。
具体的，可以通过多种方式，确定N帧视频中每帧视频图像对应的摄影中心空间位置信息。
示例性的，可以利用直接线性变换模型，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息。相应的，在步骤103之前，还可以包括：根据面阵视频图像中心投影的特点，建立直接线性变换模型。
可以理解的是，面阵视频图像具有中心投影的特点，本申请实施例中，可以基于面阵视频图像中心投影的特点，建立直接线性变换模型，从而利用直接线性变换模型，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息。关于中心投影的知识，可以参考相关技术中的描述，本申请对此不作赘述。
需要说明的是，对于一帧视频图像，该视频图像的摄影中心空间位置信息，即为飞行装置中配置的摄像机在拍摄该视频图像时的空间位置信息，也即飞行装置星历记录的该帧视频图像对应时刻飞行装置在空间直角坐标系中的空间位置信息。
可以理解的是，本申请中的直接线性变换模型的建立，是基于共线条件。其中，共线条件是中心投影构想的数学基础，也是各种摄影测量处理方法的重要基础理论，例如单像空间后方交会，双像空间前方交会以及光书法区域网平差等一系列问题的原理，都是以共线条件作为出发点的，只是随着所处理的问题的具体情况不同，共线条件的表达形式和使用方法也有所不同。
下面首先对共线条件的原理及得到共线条件方程式的过程进行说明。需要说明的是，在本申请此过程中涉及的(x，y)为像点的坐标仪坐标，(x0，y0)为像主点即图像的中心点的坐标仪坐标，(x0，y0，f)为图像的内方位元素，(XS,YS,ZS)为摄影中心的物方空间坐标，(X,Y,Z)为像点对应的物方点的物方空间坐标，(XA，YA，ZA)为物方点的物方空间坐标，(ai，bi，ci)，(i＝1,2,3)为图像的3个外方位角元素组成的9个方向余弦，(Δx,Δy)为系统误差改正数，其包含ds、dβ。
如图4所示，S为摄影中心，假设在某一规定的物方空间坐标系中其坐标为(Xs,Ys,Zs)，A为任一物方空间点，它的物方空间坐标为(XA,YA,ZA)。a为A在图像上的构像，相应的像空间坐标和像空间辅助坐标分别为(x,y,-f)和(X,Y,Z)。摄影时S、A、a三点位于一条直线上，那么像点a的像空间辅助坐标(X,Y,Z)与物方点A的物方空间坐标(XA,YA,ZA)直接有以下关系：
由上式(10)可知，像空间坐标与像空间辅助坐标有如公式(11)所示的关系：
将上式(11)展开为：
再将上式(12)带入式(10)中，并考虑到像主点的坐标(x0，y0)，即可得到下面的公式(13)和(14)。
上式(13)和(14)即为共线条件方程式。
可以理解的是，直接线性变换解法是建立像点坐标仪坐标和相应物点物方空间坐标之间直接的线性关系的算法。其中，坐标仪坐标是指坐标仪上坐标的直接读数，也即无需换算到以像主点为原点的坐标仪上的坐标读数。
直接线性变换解法，因无需内方位元素和外方位元素的初始近似值，故特别适用于非量测相机所摄影像的摄影测量处理。近景摄影测量经常使用各类非量测相机，诸如普通相机，高速摄影(像)机等等，故此算法成为近景摄影测量的重要组成部分。
直接线性变换解法，原则上是从共线条件方程式演绎而来。
根据共线条件方程式(13)和(14)，如图5所示，当把非量测相机所摄的一帧图像安置在某空间坐标系上，上式(13)和(14)演变为下式(15)和(16)。
公式(15)和(16)中的系统误差改正数(Δx,Δy)假设暂时仅包含坐标系不垂直性误差dβ和比例尺不一误差ds引起的线性误差改正数部分。坐标仪坐标系c-xy是非直角坐标系，其两坐标轴间的不垂直度为dβ。以像主点o为原点有两个坐标系，分别是直角坐标系和非直角坐标系o-xy。像主点o的坐标为(x0,y0)。某像点p'在非直角坐标系o-xy中的坐标为(om2,om′1)，此坐标受dβ和ds的影响而包含线性误差。与点p'对应的点p是理想位置，它在直角坐标系/>中的坐标/>不含误差。这里/>
假设x方向无比例尺误差(该方向比例尺归化系数为1)，而y方向比例尺归化系数为1+ds。此时x方向像片主距若为fx，则y方向像片主距fy为：
其中，比例尺不一误差ds可以认为是所用坐标仪x轴和y轴的单位长度不一以及摄影材料的不均匀变形等因素引起的；而不正交性误差dβ可以认为是所使用坐标仪x轴和y轴的不垂直性等因素引起的。
这样，线性误差改正数Δx与Δy为：
Δx＝(1+ds)(y-y0)sindβ≈(y-y0)sindβ (18)
Δy＝[(1+ds)cosdβ-1](y-y0)≈(y-y0)ds (19)
这时，只包含线性误差改正数的共线条件方程式取形式为公式(20)所示的形式。
l4＝-(l1Xs+l2Ys+l3Zs)
l8＝-(l5Xs+l6Ys+l7Zs)
其中，r1＝-(a1XS+b1YS+c1ZS)，r2＝-(a2XS+b2YS+c2ZS)，r3＝-(a3XS+b3YS+c3ZS)。
综上，我们可以导出直接线性变换解法的基本关系式：
其中，公式(21)为直接线性变换模型的方程式，l1、l2……l11为直接线性变换模型的方程系数。
根据l1、l2……l11的表达式(20)和(21)，可以解出该图像的方向余弦(a3,b3,c3,a2)的值，如公式(22)所示。
进而可以求出该图像的外方位元素：
总之，对于一帧图像，解得l1、l2……l11系数之后，即可依据上述各关系式解求相应图像的11个独立的参数，其中，这11个参数包括3个内方位元素(x0,y0,fx)，6个外方位元素(XS,YS,ZS,ω,κ)以及不正交角度dβ和比例尺不一系数ds。而图像的y向主距fy不是独立参数，因它是fx与ds的函数，故此不需要独立的解算，可以通过其他参数进行解算得出。
可以理解的是，直接线性变换解法也可以看作是一种以共线条件方程式为理论基础的摄影测量解析处理方法。之所以称为直接线性变换解法，是因为它建立了坐标仪坐标(x,y)和物方空间坐标(X,Y,Z)之间的直接的和线性的关系式。
直接线性变换可以看作是“变通的空间后方交会-前方交会”解法，其“后方交会”用以解算l1、l2……l11系数，其前方交会用以解算物方空间坐标(X,Y,Z)。
在本申请实施例中，直接线性变换模型可以应用于任意帧视频图像，以确定任意帧视频图像对应的摄影中心空间位置信息。
在本申请实施例中，建立直接线性变换模型的各方程式后，可以利用直接线性变换模型，依次确定N帧视频图像中每一帧视频图像对应的摄影中心空间位置信息，直至确定出所有帧的视频图像分别对应的摄影中心空间位置信息。
具体的，针对每帧视频图像，可以先提取该帧视频图像中的特征点，然后获取特征点在像平面坐标系中的像方坐标，进而再通过直接线性变换模型进行解算求得直接线性变换模型的方程系数，再通过方程系数求解该帧视频图像对应的6个外方位元素，从而将6个外方位元素中的(XS,YS,ZS)作为摄影中心空间位置信息。
下面对利用直接线性变换模型，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息的具体过程进行说明。
具体的，步骤103可以通过以下步骤103a-103d实现。
步骤103a，针对N帧视频图像中每帧视频图像，提取每帧视频图像中的特征点。
其中，提取的每帧视频图像中的特征点，为该帧视频图像和与其相邻的时间点对应的视频图像具有相同特征的特征点。
可以理解的是，由于飞行装置飞行过程中，飞行装置上配置的摄影机拍摄的景物是时刻变化的，而时间点间隔时间越大，景物变化程度越大，因此，相邻几个时间点分别对应的视频图像可能具有较多的具有相同特征的特征点，时间点相隔较远的视频图像可能具有较少的具有相同特征的特征点，即时间点间隔时间越大，时间点对应的视频图像具有的相同特征的特征点的数量越少。
在示例性实施例中，可以通过模板匹配分类方法、几何分类器、人工神经网络分类器、支持向量机分类器等方法提取每帧视频图像中的特征点，本申请以通过模板匹配分类方法为例进行说明。
其中，将待识别图像的特征向量，与已训练和建立在模板中的各样本的特征向量或者一类模板的特征评价值进行对比和计算，得到最相似模板的样本以进行分类的方法就是模板匹配分类法。
模板匹配分类法将未知图像即待识别图像和一个标准图像相比，看它们是否相同或计算其相似程度。模板匹配分类器将训练样本集合的每个样本都作为标准模板，用待识别图像与每个模板进行比较，找出最相似、最接近的标准模板，将标准模板中的最近类别作为识别结果的类别。在分类过程中，任何一个待识别图像都要与已有模板比较其相似度，或者每一个待识别图像的特征与各类模板的特征值的平均值相比较，以找出最相似的模板。
如图6所示，设模板为T1(m1,n1),其大小为M1×M1；待比较图像为S1(m1,n1)，其大小为N1×N1，且N1≥M1。将模板T1叠放在待比较图像S1上平移，模板覆盖下的区域称为子图S1i',j'，i',j'为模板左上角像素点在图像S1中的坐标，称为参考点，可以看到：1≤i',j'≤N-M+1。
现在可以比较T1和S1i',j'的内容，若两者一致，则差为零。在示例性实施例中，可以采用下述公式(24)来描述其相似程度(相似性)D(i',j')。
因此，可以用下式(25)的相关系数R(i',j')作为相似性量度：
利用上式(24)或(25)可对每一个待比较图像的特征与各类模板的特征值的平均值相比较，以找出最相似的模板，实现匹配。
在本申请实施例中，可以通过上述类似方式，将每一帧视频图像和与其相邻时间点对应的视频图像进行比较，然后根据相似度与预设相似阈值的大小，提取相似度大于预设阈值的点作为各帧视频图像的特征点。
其中，相似阈值的大小可以根据需要设置。
可以理解的是，相似阈值设置的越小，提取的各帧视频图像的特征点越多，相似阈值设置的越大，提取的各帧视频图像的特征点越少，因此，可以通过设置相似阈值的大小，得到所需数量的特征点。
步骤103b，获取特征点在像平面坐标系中的像方坐标。
步骤103c，将特征点作为控制点，根据特征点在像平面坐标系中的像方坐标，确定控制点在物方空间坐标系中的物方坐标。
步骤103d，根据特征点在像平面坐标系中的像方坐标和控制点在物方空间坐标系中的物方坐标，利用直接线性变换模型，确定视频图像对应的摄影中心空间位置信息。
具体的，提取各帧视频图像的特征点后，即可根据各特征点在对应视频图像中的位置，确定各特征点在各帧视频图像中的像方坐标。具体实现时，对于一帧视频图像，获取各特征点在像平面坐标系中的像方坐标后，即可将特征点作为控制点，然后根据特征点在像平面坐标系中的像方坐标，确定控制点在物方空间坐标系中的物方坐标，通过将多个特征点在像平面坐标系中的像方坐标和在物方空间坐标系中的物方坐标，代入公式(20)和(21)中，可以解算求得l1、l2……l11的值，然后，根据l1、l2……l11的值，及公式(22)和(23)，即可解算出外方位元素和内方位元素等11个参数，进而可以将外方位元素中的(XS,YS,ZS)作为摄影中心空间位置信息。
需要说明的是，在传统空间后方交会的解法中，如欲同时解求外方位元素和内方位元素，则严格禁止所用控制点布设在同一平面内，否则会引起解的不稳定。相类似地，本申请中利用直接线性变换模型，解算摄影中心空间位置信息时，由于是一起解求外方位元素和内方位元素，因而也要求控制点不能布设在任意方位的一个平面上。
在本申请实施例中，利用直接线性变换模型，解算摄影中心空间位置信息时，要求布控有六个以上的控制点，且这些控制点不能布置在一个平面(任意方位的平面)上，以避免解算结果的不确定性。在示例性实施例中，可以均匀地布置控制点，使他们环绕被测目标，并且使各控制点在图像上的构像范围越大越好。
步骤104，根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数。
步骤105，利用拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线。
具体实现时，确定了N帧视频图像分别对应的摄影中心空间位置信息，即确定了N个摄影中心空间位置信息后，即可利用N个摄影中心空间位置信息，进行曲线拟合，以确定飞行装置的飞行轨迹曲线。由于N帧视频图像分别对应一个时间点，因此，可以根据N帧视频图像分别对应的时间点，及N帧视频图像分别对应的摄影中心空间位置信息，进行曲线拟合，确定以飞行装置飞行时的时间参数t为自变量，飞行装置的空间位置参数为因变量的飞行轨迹曲线函数。
具体实现时，可以根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行曲线拟合，确定飞行装置的飞行轨迹曲线。
在示例性实施例中，可以通过麦夸特法(Levenberg-Marquardt)及通用全局优化法进行自动最佳拟合函数匹配，得到最优的拟合函数形式，再利用最优的拟合函数进行曲线拟合，求解拟合函数的系数，以确定飞行装置的飞行轨迹曲线。
通过麦夸特法及通用全局优化法进行最佳拟合函数匹配可以得到一系列的拟合函数形式，本申请实施例以多项式的形式为例进行说明。其中，拟合函数可以包括三个多项式，其中每个多项式以飞行装置飞行的时间参数t为自变量，以飞行装置在空间直角坐标系对应的一个方向对应的坐标值为因变量。其中，至少一个多项式的至少一项可以为自然常数e的指数函数，比如为et。
在示例性实施例中，通过麦夸特法及通用全局优化法进行最佳拟合函数匹配得到的拟合函数形式可以为公式(26)-(28)的形式。
x3”＝px1+px2t2+px3t0.5+px4e-t (26)
y3”＝py1+py2t+py3t2+py4t0.5+py5et (27)
z3”＝pz1+pz2t+pz3t1.5+pz4t2+pz5t2.5 (28)
其中，px1、px2、px3、……pz3、pz4、pz5等分别为多项式的系数，t为飞行装置飞行的时间参数，x3”、y3”、z3”分别为飞行装置在空间直角坐标系的三个方向对应的坐标值。
另外，也可以通过其它方式，确定飞行装置的飞行轨迹曲线。比如，可以根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用多项式拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线。
可以理解的是，飞行装置飞行过程中拍摄的N帧视频图像分别对应一个时间点，而N帧视频图像分别对应的摄影中心空间位置信息，包括摄影中心在某一空间直角坐标系中的三维坐标值(Xs，Ys，Zs)，即三个方向分别对应的坐标值，其中，Xs、Ys、Zs分别表征飞行装置在三个方向上的坐标值。那么，本申请实施例中，在利用多项式拟合方法进行曲线拟合时，多项式拟合函数可以包括三个多项式，其中每个多项式以飞行装置飞行的时间参数t为自变量，飞行装置在空间直角坐标系对应的一个方向对应的坐标值为因变量。
在示例性实施例中，可以根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，通过一般多项式拟合法，求解出多项式各项系数，从而确定飞行装置的飞行轨迹曲线的函数式。
其中，以三次多项式为例，一般多项式拟合的拟合函数可以为公式(29)-(31)所示形式。
x1”＝px1+px2t+px3t2+px4t3 (29)
y1”＝py1+py2t+py3t2+py4t3 (30)
z1”＝pz1+pz2t+pz3t2+pz4t3 (31)
其中，px1、px2、px3、px4、py1、py2、py3、py4、pz1、pz2、pz3、pz4等分别为一般多项式的系数，t为飞行装置飞行的时间参数，x1”、y1”、z1”分别为飞行装置在空间直角坐标系的三个方向对应的坐标值。
在示例性实施例中，也可以根据N帧视频图像分别对应的摄影中心空间位置信息，通过切比雪夫多项式拟合法，求解出多项式各项系数，从而确定飞行装置的飞行轨迹曲线的函数式。
其中，以六次多项式为例，切比雪夫多项式拟合的拟合函数可以为公式(32)-(34)所示形式。
x2”＝px1+px2t+px3t2+px4t3+px5t4+px6t5+px7t6 (32)
y2”＝py1+py2t+py3t2+py4t3+py5t4+py6t5+py7t6 (33)
z2”＝pz1+pz2t+pz3t2+pz4t3+pz5t4+pz6t5+pz7t6 (34)
其中，px1、px2、px3、……pz5、pz6、pz7等分别为切比雪夫多项式的系数，t为飞行装置飞行的时间参数，x2”、y2”、z2”分别为飞行装置在空间直角坐标系的三个方向对应的坐标值。
具体的根据N帧视频图像分别对应的摄影中心空间位置信息，进行曲线拟合的过程，可以参考相关技术中的描述，本申请对此不作赘述。
可以理解的是，本申请实施例中，确定了飞行装置的飞行轨迹曲线后，还可以根据飞行轨迹曲线，确定飞行装置的落点位置信息。即，在步骤105之后，还可以包括：
步骤106，获取飞行装置的落点时间。
步骤107，根据落点时间及飞行轨迹曲线，确定飞行装置的落点位置信息。
具体的，在飞行装置飞行过程中，可以实时获取飞行装置的飞行速度及飞行距离，从而根据飞行装置的飞行速度及飞行距离，估计飞行装置的落点时间。
估计出飞行装置的落点时间后，即可将落点时间代入飞行轨迹曲线的曲线函数中，以确定飞行装置的落点位置信息。
本申请提供的基于全局优化法高精度确定飞行轨迹的方法，首先获取飞行装置在飞行过程中拍摄的分别对应N个时间点的N帧视频图像，然后利用图像增强技术和/或图像去噪技术，对N帧视频图像进行预处理，再利用直接线性变换模型，确定预处理后的N帧视频图像中每帧视频图像对应的摄影中心空间位置信息，再针对N帧视频图像中每帧视频图像，提取每帧视频图像中的特征点，再根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，并利用拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线，再获取飞行装置的落点时间，进而根据落点时间及飞行轨迹曲线，确定飞行装置的落点位置信息。由此，实现了基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，进而确定飞行装置的落点位置信息，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
下面结合图7，对本申请提供的基于全局优化法高精度确定飞行轨迹的方法进行说明。图7为根据本发明另一个实施例的基于全局优化法高精度确定飞行轨迹的方法的流程图。
如图7所示，本发明实施例的基于全局优化法高精度确定飞行轨迹的方法，还可以包括以下步骤：
步骤201，获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数。
具体的，飞行装置中可以配置摄像机，以在飞行装置飞行过程中，拍摄不同时间点分别对应的视频图像。在示例性实施例中，摄像机可以被配置在飞行装置的前方，本申请对摄像机在飞行装置中的设置位置不作限制。
在示例性实施例中，摄像机可以在飞行装置飞行过程中，拍摄视频影像，并将视频影像发送至飞行轨迹确定装置，然后由飞行轨迹确定装置对飞行装置在飞行过程中拍摄的视频影像进行解帧处理，以获取N帧视频图像。
步骤202，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息，其中，摄影中心空间位置信息包括摄影中心在空间直角坐标系的三个方向分别对应的坐标值。
在本申请实施例中，可以基于面阵视频图像中心投影的特点，建立直接线性变换模型，从而利用直接线性变换模型，确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息。
其中，摄影中心空间位置信息，用于表征摄影光束在摄影瞬间的空间位置，其可以包括摄影中心在某一空间直角坐标系中的三维坐标值(XS,YS,ZS)。
具体的，针对N帧视频图像中每帧视频图像，可以提取该帧视频图像的特征点，然后根据各特征点在对应视频图像中的位置，确定各特征点在该帧视频图像中的像方坐标。具体实现时，对于一帧视频图像，获取各特征点在像平面坐标系中的像方坐标后，即可将特征点作为控制点，然后根据特征点在像平面坐标系中的像方坐标，确定控制点在物方空间坐标系中的物方坐标，通过将多个特征点在像平面坐标系中的像方坐标和在物方空间坐标系中的物方坐标，代入公式(20)和(21)所示的直接线性变换模型的方程式中，可以解算求得l1、l2……l11的值，然后，根据l1、l2……l11的值，及公式(22)和(23)，即可解算出外方位元素和内方位元素，进而可以将外方位元素中的(XS,YS,ZS)作为摄影中心空间位置信息。
步骤203，根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，拟合函数至少包括一个多项式，多项式的至少一项为自然常数的指数函数。
步骤204，利用拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线。
具体的，确定了N帧视频图像分别对应的摄影中心空间位置信息，即确定了N个摄影中心空间位置信息后，即可利用N个摄影中心空间位置信息，进行曲线拟合，以确定飞行装置的飞行轨迹曲线，由于N帧视频图像分别对应一个时间点，因此，根据N帧视频图像分别对应的摄影中心空间位置信息确定的飞行轨迹曲线的曲线函数，是以时间参数t为自变量，飞行装置的空间位置参数为因变量的曲线函数。
具体实现时，可以根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行曲线拟合，确定飞行装置的飞行轨迹曲线。
在示例性实施例中，可以通过麦夸特法(Levenberg-Marquardt)及通用全局优化法进行自动最佳拟合函数匹配，得到最优的拟合函数形式，再利用最优的拟合函数进行曲线拟合，求解拟合函数的系数，以确定飞行装置的飞行轨迹曲线。
通过麦夸特法及通用全局优化法进行最佳拟合函数匹配可以得到一系列的拟合函数形式，本申请实施例以多项式的形式为例进行说明。其中，拟合函数可以包括三个多项式，其中每个多项式以飞行装置飞行的时间参数t为自变量，以飞行装置在空间直角坐标系对应的一个方向对应的坐标值为因变量。其中，至少一个多项式的至少一项可以为自然常数e的指数函数，比如为et。
在示例性实施例中，通过麦夸特法及通用全局优化法进行最佳拟合函数匹配得到的拟合函数形式可以为公式(26)-(28)的形式。
需要说明的是，本发明实施例的基于全局优化法高精度确定飞行轨迹的方法中未披露的细节，请参照本发明上述实施例的基于全局优化法高精度确定飞行轨迹的方法中所披露的细节，这里不再赘述。
本申请提供的基于全局优化法高精度确定飞行轨迹的方法，首先获取飞行装置在飞行过程中拍摄的分别对应N个时间点的N帧视频图像，然后确定飞行装置在飞行过程中获取的多帧视频图像分别对应的摄影中心空间位置信息，进而根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，拟合函数至少包括一个多项式，多项式的至少一项为自然常数的指数函数。由此，实现了基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
图8为根据本发明一个实施例的基于全局优化法高精度确定飞行轨迹的装置的结构示意图。
如图8所示，本发明实施例的基于全局优化法高精度确定飞行轨迹的装置100，包括第一获取模块11、第一确定模块12、第二确定模块13和第三确定模块14。
其中，第一获取模块11，用于获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；
第一确定模块12，用于确定N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；
第二确定模块13，用于根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，拟合函数至少包括一个多项式，多项式的至少一项为自然常数的指数函数；
第三确定模块14，用于利用拟合函数进行曲线拟合，确定飞行装置的飞行轨迹曲线。
具体的，本申请提供的基于全局优化法高精度确定飞行轨迹的装置，简称飞行轨迹确定装置，可以执行本申请提供的基于全局优化法高精度确定飞行轨迹的方法。其中，飞行轨迹确定装置可以被配置在电子设备中，以通过较低的成本及额外重量增加，高精度确定飞行装置的飞行轨迹。其中，电子设备，可以是任意能够进行数据处理的硬件设备，比如手机、电脑等。可以理解的是，飞行轨迹确定装置可以被配置在飞行装置的控制器中，也可以被配置在飞行装置的地面指挥中心中，本申请对此不作限制。
在本发明的一个实施例中，拟合函数为以下多项式形式：
x3”＝px1+px2t2+px3t0.5+px4e-t
y3”＝py1+py2t+py3t2+py4t0.5+py5et
z3”＝pz1+pz2t+pz3t1.5+pz4t2+pz5t2.5
其中，px1、px2、px3、px4、py1、py2、py3、py4、py5、pz1、pz2、pz3、pz4、pz5分别为多项式的系数，t为飞行装置飞行的时间参数，x3”、y3”、z3”分别为飞行装置在空间直角坐标系的各方向对应的坐标值。
在本发明的一个实施例中，上述飞行轨迹确定装置，还可以包括：
第二获取模块，用于获取飞行装置的落点时间；
第四确定模块，用于根据落点时间及飞行轨迹曲线，确定飞行装置的落点位置信息。
在本发明的一个实施例中，上述第一确定模块，具体用于：
针对N帧视频图像中每帧视频图像，提取每帧视频图像中的特征点；
获取特征点在像平面坐标系中的像方坐标；
将特征点作为控制点，根据特征点在像平面坐标系中的像方坐标，确定控制点在物方空间坐标系中的物方坐标；
根据特征点在像平面坐标系中的像方坐标和控制点在物方空间坐标系中的物方坐标，利用直接线性变换模型，确定视频图像对应的摄影中心空间位置信息。
需要说明的是，本发明实施例的基于全局优化法高精度确定飞行轨迹的装置中未披露的细节，请参照本发明上述实施例的基于全局优化法高精度确定飞行轨迹的方法中所披露的细节，这里不再赘述。
本申请提供的基于全局优化法高精度确定飞行轨迹的装置，首先获取飞行装置在飞行过程中拍摄的分别对应N个时间点的N帧视频图像，然后确定飞行装置在飞行过程中获取的多帧视频图像分别对应的摄影中心空间位置信息，进而根据N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，拟合函数至少包括一个多项式，多项式的至少一项为自然常数的指数函数。由此，实现了基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
为了实现上述实施例，本发明还提出一种电子设备200，如图9所示，该电子设备200包括存储器21、处理器22。其中，处理器22通过读取存储器21中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现上述基于全局优化法高精度确定飞行轨迹的方法。
本发明实施例的电子设备，通过处理器执行存储在存储器上的计算机程序，能够实现基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述基于全局优化法高精度确定飞行轨迹的方法。
本发明实施例的计算机可读存储介质，通过存储计算机程序并被处理器执行，能够实现基于飞行装置在飞行过程中拍摄的视频图像，利用全局优化法高精度确定飞行装置的飞行轨迹，由于仅需增加摄像机即可实现，而摄像机成本低、重量轻，从而减少了确定飞行装置飞行轨迹所需的成本，且减少了飞行装置的额外重量的增加。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种基于全局优化法高精度确定飞行轨迹的方法，其特征在于，包括：
获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；
确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；
根据所述N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，所述拟合函数至少包括一个多项式，所述多项式的至少一项为自然常数的指数函数；
利用所述拟合函数进行曲线拟合，确定所述飞行装置的飞行轨迹曲线；
其中，通过麦夸特法及通用全局优化法进行自动最佳拟合函数匹配，确定拟合函数；
所述拟合函数为以下多项式形式：
x3”＝px1+px2t2+px3t0.5+px4e-t
y3”＝py1+py2t+py3t2+py4t0.5+py5et
z3”＝pz1+pz2t+pz3t1.5+pz4t2+pz5t2.5
其中，px1、px2、px3、px4、py1、py2、py3、py4、py5、pz1、pz2、pz3、pz4、pz5分别为多项式的系数，t为所述飞行装置飞行的时间参数，x3”、y3”、z3”分别为所述飞行装置在空间直角坐标系的各方向对应的坐标值。
2.如权利要求1所述的方法，其特征在于，所述确定所述飞行装置的飞行轨迹曲线之后，还包括：
获取所述飞行装置的落点时间；
根据所述落点时间及所述飞行轨迹曲线，确定所述飞行装置的落点位置信息。
3.如权利要求1-2任一所述的方法，其特征在于，所述确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息，包括：
针对所述N帧视频图像中每帧视频图像，提取所述每帧视频图像中的特征点；
获取所述特征点在像平面坐标系中的像方坐标；
将所述特征点作为控制点，根据所述特征点在像平面坐标系中的像方坐标，确定所述控制点在物方空间坐标系中的物方坐标；
根据所述特征点在像平面坐标系中的像方坐标和所述控制点在物方空间坐标系中的物方坐标，利用直接线性变换模型，确定所述视频图像对应的摄影中心空间位置信息。
4.一种基于全局优化法高精度确定飞行轨迹的装置，其特征在于，包括：
第一获取模块，用于获取飞行装置在飞行过程中拍摄的N帧视频图像，其中，每帧视频图像对应一个时间点，N为大于1的正整数；
第一确定模块，用于确定所述N帧视频图像中每帧视频图像对应的摄影中心空间位置信息；
第二确定模块，用于根据所述N帧视频图像分别对应的时间点及分别对应的摄影中心空间位置信息，利用全局优化法进行拟合函数匹配，确定拟合函数，其中，所述拟合函数至少包括一个多项式，所述多项式的至少一项为自然常数的指数函数；
第三确定模块，用于利用所述拟合函数进行曲线拟合，确定所述飞行装置的飞行轨迹曲线；
其中，通过麦夸特法及通用全局优化法进行自动最佳拟合函数匹配，确定拟合函数；
所述拟合函数为以下多项式形式：
x3”＝px1+px2t2+px3t0.5+px4e-t
y3”＝py1+py2t+py3t2+py4t0.5+py5et
z3”＝pz1+pz2t+pz3t1.5+pz4t2+pz5t2.5
其中，px1、px2、px3、px4、py1、py2、py3、py4、py5、pz1、pz2、pz3、pz4、pz5分别为多项式的系数，t为所述飞行装置飞行的时间参数，x3”、y3”、z3”分别为所述飞行装置在空间直角坐标系的各方向对应的坐标值。
5.如权利要求4所述的装置，其特征在于，还包括：
第二获取模块，用于获取所述飞行装置的落点时间；
第四确定模块，用于根据所述落点时间及所述飞行轨迹曲线，确定所述飞行装置的落点位置信息。
6.如权利要求4-5任一所述的装置，其特征在于，所述第一确定模块，具体用于：
针对所述N帧视频图像中每帧视频图像，提取所述每帧视频图像中的特征点；
获取所述特征点在像平面坐标系中的像方坐标；
将所述特征点作为控制点，根据所述特征点在像平面坐标系中的像方坐标，确定所述控制点在物方空间坐标系中的物方坐标；
根据所述特征点在像平面坐标系中的像方坐标和所述控制点在物方空间坐标系中的物方坐标，利用直接线性变换模型，确定所述视频图像对应的摄影中心空间位置信息。
7.一种电子设备，其特征在于，包括存储器、处理器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-3中任一所述的基于全局优化法高精度确定飞行轨迹的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的基于全局优化法高精度确定飞行轨迹的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646839.8A CN111930139B (zh) | 2020-07-07 | 2020-07-07 | 基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010646839.8A CN111930139B (zh) | 2020-07-07 | 2020-07-07 | 基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111930139A CN111930139A (zh) | 2020-11-13 |
| CN111930139B true CN111930139B (zh) | 2024-01-05 |
Family
ID=73312262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010646839.8A Active CN111930139B (zh) | 2020-07-07 | 2020-07-07 | 基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930139B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016882A (zh) * | 2017-01-18 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种低空域的无人机冲突避免系统及方法 |
| CN107146236A (zh) * | 2017-04-21 | 2017-09-08 | 武汉大学 | 视频卫星的点状运动目标状态估计方法及系统 |
| CN107607091A (zh) * | 2017-08-31 | 2018-01-19 | 中国电力科学研究院 | 一种测量无人机飞行航迹的方法 |
| CN109115218A (zh) * | 2018-07-06 | 2019-01-01 | 航天星图科技（北京）有限公司 | 一种无地面控制点的遥感影像定位方法 |
| KR101964001B1 (ko) * | 2018-02-14 | 2019-03-29 | 동국대학교 산학협력단 | 하늘 이미지 기반의 드론 비행 경로 생성 방법 및 장치 |
| CN109540113A (zh) * | 2018-12-26 | 2019-03-29 | 中国人民解放军战略支援部队信息工程大学 | 一种全站仪及其星图识别方法 |
| CN110044212A (zh) * | 2019-03-12 | 2019-07-23 | 西安电子科技大学 | 基于视觉测量信息的旋翼无人机抓捕回收方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100376962B1 (ko) * | 2000-08-21 | 2003-03-26 | 한국과학기술원 | 선형 푸시브룸센서에서 촬영한 스테레오 영상의 에피폴라특성곡선 추출방법 |
-
2020
- 2020-07-07 CN CN202010646839.8A patent/CN111930139B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016882A (zh) * | 2017-01-18 | 2017-08-04 | 中国南方电网有限责任公司超高压输电公司广州局 | 一种低空域的无人机冲突避免系统及方法 |
| CN107146236A (zh) * | 2017-04-21 | 2017-09-08 | 武汉大学 | 视频卫星的点状运动目标状态估计方法及系统 |
| CN107607091A (zh) * | 2017-08-31 | 2018-01-19 | 中国电力科学研究院 | 一种测量无人机飞行航迹的方法 |
| KR101964001B1 (ko) * | 2018-02-14 | 2019-03-29 | 동국대학교 산학협력단 | 하늘 이미지 기반의 드론 비행 경로 생성 방법 및 장치 |
| CN109115218A (zh) * | 2018-07-06 | 2019-01-01 | 航天星图科技（北京）有限公司 | 一种无地面控制点的遥感影像定位方法 |
| CN109540113A (zh) * | 2018-12-26 | 2019-03-29 | 中国人民解放军战略支援部队信息工程大学 | 一种全站仪及其星图识别方法 |
| CN110044212A (zh) * | 2019-03-12 | 2019-07-23 | 西安电子科技大学 | 基于视觉测量信息的旋翼无人机抓捕回收方法 |
Non-Patent Citations (5)
| Title |
|---|
| 噪声预测点到飞行轨迹的最短距离测算;刘洲;蔡良才;邵斌;陈黎明;杜宜霖;;科学技术与工程(第15期);全文 * |
| 基于单站测量的武器轨迹测量技术研究;胡国星;冯曼;;中国科技信息(第07期);全文 * |
| 基于视频图像与直接线性变换理论的车辆运动信息重构;韩学源;金先龙;张晓云;苗新强;;汽车工程(第12期);全文 * |
| 无人机影像物方多视匹配算法;于英;张永生;薛武;莫德林;;中国图象图形学报(第01期);全文 * |
| 高速摄像在起落架载荷测试中的应用;左益宏;何红丽;冯巧宁;田伟峰;;光电技术应用;第26卷(第03期);参见第82-84页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111930139A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN110458877B (zh) | 基于仿生视觉的红外与可见光信息融合的导航方法 | |
| CN111414798A (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US7747106B2 (en) | Method and system for filtering, registering, and matching 2.5D normal maps | |
| EP2686827A1 (en) | 3d streets | |
| CN111524194B (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
| CN111951295B (zh) | 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备 | |
| CN107274441B (zh) | 一种高光谱图像的波段校准方法和系统 | |
| US10628925B2 (en) | Method for determining a point spread function of an imaging system | |
| CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 | |
| Kurmi et al. | Pose error reduction for focus enhancement in thermal synthetic aperture visualization | |
| CN112200848A (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
| CN114998773A (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
| CN112525145B (zh) | 一种飞机降落相对姿态动态视觉测量方法及系统 | |
| CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
| CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN111930139B (zh) | 基于全局优化法高精度确定飞行轨迹的方法、装置和电子设备 | |
| CN112927251A (zh) | 基于形态学的场景稠密深度图获取方法、系统及装置 | |
| CN111951331B (zh) | 基于视频图像的飞行装置精准定位方法、装置和电子设备 | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN109754435B (zh) | 一种基于小靶标模糊图像的摄像机在线标定方法 | |
| EP2879090B1 (en) | Aligning ground based images and aerial imagery | |
| CN114565653B (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 | |
| WO2020100111A1 (en) | Methods and systems for evaluating the size of a garment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |