CN104168455B - 一种空基大场景摄像系统及方法 - Google Patents

一种空基大场景摄像系统及方法 Download PDF

Info

Publication number
CN104168455B
CN104168455B CN201410390109.0A CN201410390109A CN104168455B CN 104168455 B CN104168455 B CN 104168455B CN 201410390109 A CN201410390109 A CN 201410390109A CN 104168455 B CN104168455 B CN 104168455B
Authority
CN
China
Prior art keywords
unmanned aerial
rotor unmanned
aerial vehicle
camera
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410390109.0A
Other languages
English (en)
Other versions
CN104168455A (zh
Inventor
刘皓挺
王巍
王学锋
于文鹏
王军龙
蓝天
马建立
付铁刚
孙媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aerospace Times Electronics Corp
Original Assignee
China Aerospace Times Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aerospace Times Electronics Corp filed Critical China Aerospace Times Electronics Corp
Priority to CN201410390109.0A priority Critical patent/CN104168455B/zh
Publication of CN104168455A publication Critical patent/CN104168455A/zh
Application granted granted Critical
Publication of CN104168455B publication Critical patent/CN104168455B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种空基大场景摄像系统及方法,所述的系统由多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统组成。本发明通过在多个多旋翼无人机下加挂相机的方式,控制多个多旋翼无人机进行编队飞行,在近地面空间实现多飞行器的合理位置布局,并实时将各无人机所拍摄的图像传回到地面;地面图像数据处理与显示终端子系统接收图像数据,并采用图像分析与机器视觉技术将各旋翼无人机拍摄到的图像进行投影变换与拼接处理,最终形成对远距离大场景景象的二维拼接。该系统较为适合于进行各类军事演习、打靶射击时大场景的重建与弹着点的观测与测量。

Description

一种空基大场景摄像系统及方法
技术领域
本发明涉及一种空基大场景摄像系统及方法。
背景技术
在进行各类军事演习、武器系统的打靶试验时,需要采用摄影记录的方式对演习的态势、关键事件进行记录,以便实现事后的分析与处理。采用单摄像机拍摄的方式,由于受相机视场的约束,很难兼顾拍摄图像的细节与拍摄视场范围的要求;而采用传统的地面安放相机拍摄方式,即所谓的“陆基”平台拍摄方式,由于拍摄视角较低,所能拍摄到的距离和视场范围也极其有限,若需要对典型事件进行拍摄和记录,在这种情况下很难确定和控制拍摄相机的姿态。
发明内容
本发明针对单个相机拍摄视场有限、采用地面放置拍摄方式拍摄视角偏低等不足,提出了一种采用多个多旋翼无人机组编队飞行拍摄的空基大场景摄像系统及方法,实现了对大场景的拼接,当相机距被拍摄目标的距离达1公里到3公里之间时,拍摄视场能够达到几十米到几百米范围,有效提高了拍摄的视觉效果,并为后续的大场景图像分析提供了可能。
本发明包括如下技术方案:
一种空基大场景摄像系统,包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统,其中:
多旋翼无人机组子系统由多个多旋翼无人机、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成;在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端;多旋翼无人机为4旋翼、6旋翼或8旋翼的无人机飞行器,多旋翼无人机采用电池供电,连续飞行时间不小于30分钟;两自由度旋转运动长焦距相机能够实现俯仰-5°~185°、偏航0°~300°角度范围的转动,相机采用能进行远距离拍摄的长焦相机;GPS授时模块用于获取相机拍摄时的时间信息,授时精度不大于0.5毫秒;空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令,并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统;
多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成;地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信,控制、监控各多旋翼无人机的正常飞行;便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划,同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控;
地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成;地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据;图像处理工作站用于进行图像的投影变换及拼接处理;液晶显示器用于显示拍摄场景的拼接结果。
在每个多旋翼无人机上安装微压差风速风向传感器,用来测量当前无人机正面的风速与风向;多旋翼无人机根据微压差风速风向传感器测量的风速、风向进行悬停控制。
两自由度旋转运动长焦距相机为可见光相机或近红外相机。
利用上述空基大场景摄像系统进行摄像的方法,其特征在于,实现步骤如下:
(1)根据拍摄任务的需求,确定参与拍摄任务无人机的数量及编队队形;按照确定的编队队形,由预定飞行位置从高到低的方式依次放飞各个多旋翼无人机,由多旋翼无人机飞行地面控制子系统控制各个多旋翼无人机飞行到预定飞行位置并在空中实现悬停,逐步构建飞行编队;
(2)旋翼无人机飞行地面控制子系统通过向各个多旋翼无人机发送控制指令调节各个多旋翼无人机的相机的俯仰和偏航角的大小,使得各个多旋翼无人机的相机指向并覆盖待拍摄区域,且在水平方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容,在竖直方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容;重合内容的大小必须保证能够提取出至少4对的对应匹配的图像特征点;
(3)每个多旋翼无人机的相机进行图像数据采集,同时根据GPS授时模块采集拍摄时的时间信息,将各个多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包通过空中无线数据收发终端发送至地面图像数据处理与显示终端子系统;
(4)地面图像数据处理与显示终端子系统对从每个多旋翼无人机接收到的数据包进行处理,将相同时间信息对应的图像归为一组获得按照时间顺序排列的多个图像组,每个图像组的相邻两幅图像具有重叠;对每个图像组利用投影变换及拼接处理方法实现大场景图像的二维拼接。
多个多旋翼无人机的编队队形采用矩形飞行编队或者三角形飞行编队。
采用IEEE802.11G的无线网络传输协议,并按照MPEG4的压缩格式,将各个多旋翼无人机的相机每一帧拍摄的图像及其对应的拍摄时间信息组成数据包。
采用8参数的投影变换模型实现大场景图像的二维拼接。
对相邻两幅具有重叠的图像,进行拼接的步骤如下:
(1)对相邻两幅具有重叠的图像提取SIFT特征点;
(2)采用RANSAC算法进行各个SIFT特征点之间匹配点的搜索,共获得n个对应的匹配点;
(3)根据n个对应的匹配点的坐标,利用最小二乘法计算投影变换模型的参数H;计算公式为:H=(ATA)-1ATb,
H=[h0 h1...h7]T,h0 h1...h7为投影变换模型的8个参数;
其中,
(xi,yi)、分别为第i个匹配点在相邻两幅具有重叠的图像中的像素坐标,i=1至n;
(4)将相邻两幅具有重叠的图像中的一幅图像的每一个像素坐标按照如下公式映射到另一幅图像之中,实现对图像的拼接;
x与y为所述一幅图像的每一个像素坐标,为映射到另一幅图像后的每一个像素坐标。
单个多旋翼无人机的空中悬停控制是通过基于径向基神经网络的控制方式实现无人机在当前近地面风速风向条件下稳定的悬停,具体方法如下:将微压差风速风向传感器获得的风速、风向输入至径向基神经网络,径向基神经网络根据训练数据计算各旋翼的目标转动速度、以及多旋翼无人机的目标姿态角;然后将无人机的各旋翼的转动速度控制至目标转动速度;将无人机的姿态角控制至目标姿态角。
本发明与现有技术相比有益效果为:
(1)本发明设计了一种用于室外大场景拍摄的空基摄影方法,该方法通过拼接多个相机拍摄的场景图像,能够同时兼顾相机拍摄的细节及拍摄的视场大小,有效拓展了空基拍摄的可靠性和应用范围。
(2)本发明所设计的多旋翼无人机的空基摄影平台,实现近地面的拍摄功能,与高分辨率遥感卫星拍摄和飞机高空航拍技术相比,由于采用多旋翼无人机系统进行拍摄,具有拍摄稳定、系统成本低、使用方便灵活的特点。
(3)本发明所设计的系统,采用一种基于径向基神经网络的多旋翼无人机悬停控制方法,提高了无人机在复杂近地面风中飞行悬停的稳定性,降低了地面人员控制与操作的复杂度。
(4)本发明所设计系统,采用将多个无人机挂载相机拍摄的图像送回地面进行拼接的方式记录大场景的变化,通过GPS授时保证多个无人机拍摄的同步,可实现对大场景瞬时动态变化的全记录;而采用单台相机连续拍摄场景,再采将连续拍摄各帧图像采用图像处理技术进行拼接的技术无法记录到场景瞬时动态变化的情况。
附图说明
图1为本发明系统示意图;
图2为本发明所设计的无人机拍摄模式下有效视场的计算方法原理图;
图3为本发明所提的以6个多旋翼无人机为例的编队方案的正视图示意图,图3(a)为矩形编队形式,图3(b)、图3(c)分别为三角形编队形式;
图4为一种基于径向基神经网络的多旋翼无人机悬停控制计算原理示意图。
具体实施方式
“大场景摄像”是指当相机距被拍摄目标的距离达1公里到3公里之间,拍摄视场要求在几十米到几百米范围的拍摄情况。
如图1所示,本发明的空基大场景摄像系统包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统,其中:
多旋翼无人机组子系统由多个多旋翼无人机、微压差风速风向传感器、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成;在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端;多旋翼无人机可选用4旋翼、6旋翼或8旋翼的无人机飞行器,多旋翼无人机采用电池供电,连续飞行时间不小于30分钟;两自由度旋转运动长焦距相机能够实现俯仰-5°~185°、偏航0°~300°角度范围的转动,相机采用能进行远距离拍摄的长焦相机;GPS授时模块用于获取相机拍摄时的时间信息,授时精度不大于0.5毫秒;空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令,并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统;
多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成;地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信,控制、监控各多旋翼无人机的正常飞行;便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划,同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控;
地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成;地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据;图像处理工作站用于进行图像的投影变换及拼接处理;液晶显示器用于显示拍摄场景的拼接结果。
在每个多旋翼无人机上安装微压差风速风向传感器,用来测量当前无人机正面的风速与风向;多旋翼无人机根据微压差风速风向传感器测量的风速、风向进行悬停控制。相机的焦距一般大于60毫米,系统最大载重不低于5公斤,最大飞行高度为20米,实际飞行高度一般为15米到20米之间。
在根据拍摄任务进行相机的选择时,本发明所述系统可单独采用可见光相机,或单独采用近红外相机、或同时采用近红外相机和可见光相机组合拍摄的方式进行拍摄。采用近红外相机进行拍摄可以有效抑制复杂室外环境光线的影响。
本发明方法实现如下:
(1)进行多旋翼无人机的编队设计与飞行路径规划。
本发明采用线性摄像机模型进行相机拍摄视场与视角的估计。对于线性摄像机模型,根据成像原理,如果已知空间任一点P的坐标,其对应的图像坐标可以通过线性摄像机模型近似表示,即假设任意点P(xc,yc,zc)在图像坐标系中的投影位置p(x,y)是图像平面和通过光心O与P连线的交点,摄像机成像平面坐标系与摄像机坐标系间的转换关系可表示为式(1)与式(2)。
上式中,f为相机的焦距,对于远距离拍摄任务,相机的焦距一般应大于60毫米;(x,y)是空间任意点P在成像平面的坐标,P(xc,yc,zc)是空间点P在摄像机坐标系中的坐标。
由上述关系不难看出,对于选定的拍摄相机,当成像面大小确定后,相机焦距越大,则视场越小,拍摄距离越远。因此,如果多旋翼无人机加挂的相机一旦选定,相机的像元尺寸(xs,ys)便确定;而根据拍摄距离zc的要求可大致选定相机的焦距f,则由式(1)与(2)关系,可以得到单个相机实际拍摄的视场大小为xcs×ycs,其中xcs=xs×zc/f,ycs=ys×zc/f。此时计算的视场大小xcs×ycs为距光心距离为zc时成像面的大小,而该平面与地面呈一定的夹角。
在确定完单个相机拍摄的视场大小之后,需要确定参加拍摄任务的多旋翼无人机的个数及其飞行路径。为了简单起见,设定所有的多旋翼无人机均采用同样类型的相机系统,且各个相机的焦距设定为大小相同的固定值。因此,当摄像机拍摄视场的大小确定后,可根据需要拍摄场景的大小计算所需多旋翼无人机的个数。
假设拍照时首先需要保证被拍摄目标落入图像中心位置处,且保证相机中心(光心与成像面的交点)拍摄的最清晰,不妨设相机平面像元大小尺寸为x0×y0(水平×高低),相机焦距为f。如图2中所示,图(a)为相机拍摄锥面示意图,O0为相机光心,OCCD为通过光心O0与CCD像元面垂直的交点,不难看出该点一般为CCD像元面的几何中心,OIMG为空间某处的拍摄成像面;图(b)与图(c)为相机拍摄范围原理图,图(b)为三维示意图,图(c)为侧视图。假设相机光心O0与地面的交点O1之间的距离可测,即O0O1已知,O1为相机所拍摄的落入相机最中心的图像内容,由前面的描述可知该点在相机中成像最为清晰。根据小孔成像原理,CD垂直于O0O1,可以推知O1C的距离为:
O1C=0.5×y0×O0O1/f (3)
则可知相机当前的视场角θ为:
θ=arctan(O1C/O0O1) (4)
假设相机在空间的飞行高度已知,即O0O已知,且O0O垂直于地面;可以得到通过相机光心的光轴与地面垂线间的夹角α:
α=arcos(O0O/O0O1) (5)
最终,根据上述关系可以计算得到AO1的距离:
AO1=OO1-OA=O0O1×sinα-O0O×tan(α-θ) (6)
在相机光轴O0O1的延长线上定义相机的有效拍摄距离O0O3,即可得到新的距离长度O1O3。O0O3表示当要求当被拍摄目标距离相机光心为O0O3时,1米大小的目标在相机光心成像的大小不小于多少个像素。假设O1O3可以通过相机的成像要求估计出来,且有O1O3=O0O3-O0O1,根据O3B垂直于O0O3,则可以计算出O1B的长度为:
O1B=O1O3/sinα (7)
可知相机的竖直方向的成像距离AB为:
AB=AO1+O1B=O0O1×sinα-O0O×tan(α-θ)+O1O3/sinα (8)
对于相机水平方向的有效成像范围,设点A在光轴O0O1上的投影点为O2,即AO2垂直于O0O1,O0O2=O0O1-AO1×sinα,又有BO3垂直于O0O3,根据相机小孔成像原理可得:
P1P4=x0×O0O2/f (9)
P2P3=x0×O0O3/f (10)
因此,最终的有效拍摄面积(梯形的面积)为:
S=0.5×(P1P4+P2P3)×AB=
0.5×(x0×O0O2/f+x0×O0O3/f)×(O0O1×sinα-O0O×tan(α-θ)+O1O3/sinα) (11)
最终,比如需要拍摄的场景大小为W×H,则用W×H除以单个无人机拍摄视场的大小S,即用W/(0.5×(P1P4+P2P3))=n1,H/AB=n2,将得到的计算结果n1与n2取整数便为认为是参与拍摄任务的无人机的基本数量;而考虑到多个无人机的视场图像还需要具有重合的内容,因此可在上述计算结果的基础上,适时的增加几台无人机用来确定最终无人机的个数。
在实现多无人机编队飞行时,如图3所示,由于多旋翼无人机飞行稳定性高,在近地面气流较小的情况下,可实现一定程度的空间悬停,因此一般可控制多个多旋翼无人机在空间组成自上而下的共面拍摄编队进行远距离场景的拍摄,比如可组成图3(a)中的矩形飞行编队或图3(b)与(c)中的三角形飞行编队等。图3中的圆圈代表一个多旋翼无人机的正视图,多个圆圈则组成了多个多旋翼无人机飞行编队的正视图。如图1中所示,采用矩形飞行编队进行拍摄时,所有相机拍摄覆盖区域的形状也近似接近于一个矩形编队,这种拍摄模式较为适合于对规则的区域进行监控,如实现矩形或圆形区域的观察与拍摄。类似地,采用三角形编队飞行进行拍摄时,则较为适合完成特殊三角形地形或要求的拍摄任务。
(2)控制多个多旋翼无人机进行编队悬停飞行。
控制多个多旋翼无人机组成编队时,一般按照预先编排的编队队形,由预定飞行位置从高到低的方式依次放飞各个多旋翼无人机,逐步构建飞行编队。如图3中所示,如果假设靠近示意图的上端的位置比下端的位置离地距离高,则放飞无人机时,可按照图3中从1至6的顺序顺次放飞无人机。放飞时,待前一个无人机在空中实现悬停后,再依次放飞后续的无人机。
在控制单个无人机实现空中悬停时,由于野外环境下低空风(包括大气紊流、垂直剪切风等)会对多旋翼无人机的飞行悬停造成较大的影响,因此本系统对单个多旋翼无人机进行悬停控制时,采用如图4中所示的一种径向基函数神经网络进行无人机的控制方法。与其它传统的控制方式相比,径向基函数神经网络具有智能化程度高、预测精度高、泛化能力强、计算速度快等优点。假设多旋翼无人机的旋翼个数为N,多旋翼无人机在悬停过程中,一般所涉及的状态变量包括:各旋翼的旋转速度wi,i=1,2,…,N(假设各个旋翼的旋转速度相同,即有w1=w2=wi=…=wN)、无人机的俯仰、偏航、滚转姿态角ψ、β、φ等。无人机的悬停控制,就是根据当前的风速s、风向d(可以取为当前风向与无人机正面的夹角)来确定无人机各旋翼的转速和俯仰偏航滚转角。因此,采用径向基函数神经网络进行多旋翼无人机的悬停控制时,网络的训练样本为[s d]T,网络的监督样本分别为[wi]T、[ψ]T、[β]T、[φ]T,i=1,2,…,N。径向基函数神经网络训练数据的获取是通过在风洞中做真实飞行试验进行收集。基于径向基神经网络的控制方式实现无人机在当前近地面风速风向条件下稳定的悬停控制方法如下:将微压差风速风向传感器获得的风速、风向输入至径向基神经网络,径向基神经网络根据训练数据计算各旋翼的目标转动速度、以及多旋翼无人机的目标姿态角;然后利用无人机姿态控制机构将无人机的各旋翼的转动速度控制至目标转动速度;将无人机的姿态角控制至目标姿态角。通过上述径向基函数神经网络的应用,可以有效提高多旋翼无人机在复杂低空风中飞行的稳定性和安全性。
当确定各个多旋翼无人机之间的悬停距离时,旋翼无人机飞行地面控制子系统通过向各个多旋翼无人机发送控制指令调节各个多旋翼无人机的相机的俯仰和偏航角的大小,使得各个多旋翼无人机的相机指向并覆盖待拍摄区域,且在水平方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容,在竖直方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容;重合内容的大小必须保证在重叠图像中能够提取出至少4对的对应匹配的图像特征点,即匹配点。图像的匹配点一般选取为SIFT(Scale InvariantFeature Transform)特征点。SIFT特征点是图像处理领域被实践证明了的描述图像内容鲁棒性最佳的特征描述方法之一,与其他诸如SUSAN角点等的特征点相比,SIFT特征点具有尺度、旋转、缩放等不变特性的特点。使用SIFT特征点描述图像特征可以有效提高图像匹配的正确率。
(3)利用多个多旋翼无人机系统进行数据的采集与传输。
当各多旋翼无人机的悬停及编队飞行达到稳定状态后,可利用无人机下端加挂的相机进行图像数据的采集;安装在无人机上的GPS授时模块通过获取GPS卫星提供的精确时间点信息,对每一帧采集到的图像标记其精确的采集时间;在实现对图像的拍摄及时间点获取的同时,多旋翼无人机系统上安装的空中无线数据收发终端,采用IEEE802.11G的无线网络传输协议,并按照MPEG4的压缩格式,将时间信息和图像数据组成数据包传输回地面图像数据处理与显示终端子系统。该种无线传输方法优点在于其基本能满足大小为702×576以内的图像每秒25帧左右的传输速度。如果图像的尺寸越大,则每秒传输的帧数相应的变小。
(4)地面计算机进行图像的拼接。
地面图像数据处理与显示终端子系统对从每个多旋翼无人机接收到的数据包进行处理,将相同时间信息对应的图像归为一组获得按照时间顺序排列的多个图像组,每个图像组的相邻两幅图像具有重叠;对每个图像组利用投影变换及拼接处理方法实现大场景图像的二维拼接。
优选地本发明采用8参数的投影变换模型来进行图像的拼接。由于相机的焦距与拍摄距离相比非常小,所拍摄的图像近似可以看作是平面或柱面的图像,因此可以采用式(12)中的投影变换模型来描述两台相机之间的成像关系。经过对式(12)的整理,两台相机间的投影变换模型又可写为式(13)与式(14)。
其中,h0 h1...h7为投影变换模型的8个参数,(x,y,1)、为相邻两幅图像间的对应匹配点的像素坐标,x与y为一幅图像的像素坐标,为另一幅图像的像素坐标,w为缩放参数。
在进行图像拼接时,首先对各个相机拍摄的图像提取SIFT特征点;其次,采用RANSAC(RANdom SAmple Consensus)算法进行各个特征点之间匹配点的搜索,共获得n个对应的匹配点;再次,根据n个对应的匹配点的坐标,利用最小二乘法计算投影变换模型的参数H;计算公式为:
H=(ATA)-1ATb,
H=[h0 h1...h7]T,h0 h1...h7为投影变换模型的8个参数;
其中,
(xi,yi)、分别为第i个匹配点在相邻两幅具有重叠的图像中的像素坐标,i=1至n;
上述计算过程建立了两幅图像间的投影变换关系,因此当进行图像拼接时,可以以一幅图像为基准图像,按照式(13)-(14)中计算得到的投影变换关系,将一幅图像的每一个像素按照上述关系映射到另一幅图像之中,实现对图像的拼接。当进行多幅图像的拼接时,首先根据具有重合内容的图像建立两两图像间的投影变换关系并进行拼接计算,再根据上述方法对图像间重合的部分进行投影变换计算,反复重复计算,直至所有的图像合并为一幅图像。上述采用的8参数投影变换模型进行图像拼接的方法与其它更为复杂的图像拼接计算方法相比具有计算速度快、数据利用率高等的优点。
应用示例
大场景视频拍摄系统在常规武器试验靶场具有广泛的用途。以某型迫击炮射击任务为例,该型迫击炮炮弹重约3公斤,射击出膛速度和炮弹落速约为200米/秒,迫击炮的射程大于2500米。根据公式(1)与(2)可知,单个摄像机拍摄的场景越大则图像分辨率越低,即图像细节越不清晰。由于进行该型迫击炮射击试验时射击距离较远且炮弹弹丸破坏力较大,需要采用摄像的方式对打靶过程进行记录以便后续的分析。迫击炮炮弹在落地的瞬间大多数情况下会发生爆炸,但在少数情况下炮弹不会发生爆炸而直接钻入地下,即出现所谓的“未爆弹”的情况。未爆弹一般钻入地下一定深度后很难被搜索到,这给靶场弹着区的维护留下各种隐患,因此有必要对射击过程进行精细的拍摄记录,为未爆弹的搜寻与回收提供依据。
为了实现上述拍摄任务,假定相机布置在82毫米迫击炮射击方向的垂直位置处,多个相机均指向同一片弹着区域。假设相机光心距弹着区的拍摄距离为1500米,要求进行极限拍摄时1米大小的物体在像平面至少呈现约6个像素,不难看出此时的极限拍摄距离是目标距光心1835米,同样,当1米的目标距相机光心1500米时,容易计算出目标在相平面呈现约7个像素。根据该型迫击炮多次多落点射击试验的落点散布范围,一般观察覆盖区域范围可取为1600米×180米。因此在进行射击拍摄时,如果采用单个相机进行拍摄,若单个相机有效成像面大小为800×600,单个像素的实际尺寸为0.00613毫米,若要保证拍摄的清晰度,相机的焦距可选定为67.5毫米,则根据公式(1)与(2)可知,若单个无人机飞行高度为20米,无人机光心距拍摄点距离为1500米,此时单个相机能够拍摄的范围约为0.5×(35.8米+133.32米)×1360.3米=1360.3米×84.56米,无法覆盖所有的弹着区弹丸散布范围。为了覆盖1600米×180米的拍摄范围,根据本发明所提方法,需要至少(1600×180)/(1360.3×84.56)≈1×2(高低×水平)台相机,又考虑到相机与相机拍摄的区域范围必须有重合的部分,所需相机的个数可以近似确定为(1+1)×(2+1)=2×3台。此时可采用2×3矩形编队的形式进行空基的射击区域拍摄。
在进行无人机编队飞行时,由上述分析可知需要构建2×3阵列的无人机飞行编队,如果无人机的最大飞行高度为20米,则一种无人机放飞的方案是:首先按照空间位置的高低,自左到右放飞位置高的3台无人机,可以设定位置高的无人机飞行高度为20米;其次,可以自左到右放飞位置较低的3台无人机,可以设定其飞行高度为18米。各无人机在实现空中悬停飞行时,采用径向基函数神经网络的控制方式进行飞行控制。当各无人机在空中实现悬停后,通过地面发送控制指令至无人机,调整各个无人机上连接相机的两自由度云台系统,保证任意一台相机总与其它另一台相机拍摄的内容有重合的部分,且所有相机拍摄的内容的拼接结果能够基本覆盖弹着区1600米×180米的范围。
在实现上述悬停及拍摄参数设定后,可采用IEEE802.11G的无线通信协议,将大小为800×600的图像采用MPEG4的压缩格式传回地面的地面图像数据处理与显示终端子系统计算机中。传输速率基本大于每秒15帧,完全满足实弹射击的拍摄任务要求。最终,地面的地面图像数据处理与显示终端子系统计算机采用8参数的投影变换模型来实现图像的拼接与显示。
在过去执行打靶试验拍摄任务时,一方面由于拍摄相机均放置在地面,相机的视角较低,无法有效拍摄到远距离的场景细节变化情况;另一方面,采用单个相机拍摄的方式,由于迫击炮落点分布范围较大,单台相机无法兼顾拍摄质量与拍摄范围两个指标的要求,因此工程人员很难在试验前确定单台相机的拍摄指向。通过本发明的系统,实现了对感兴趣区域的瞬时同步拍摄,能够抓拍到未爆弹落地瞬间的图像数据,并采用图像拼接技术将各个相机拍摄到的图像进行了拼接,为未爆弹的搜索提供了有效依据。
本发明未详细说明部分属本领域技术人员公知常识。

Claims (2)

1.利用空基大场景摄像系统对打靶试验进行摄像的方法,可实现对大场景瞬时动态变化的全记录,大场景摄像是指当相机距被拍摄目标的距离达1公里到3公里之间,拍摄视场要求在几十米到几百米范围的拍摄情况;
所述的空基大场景摄像系统包括多旋翼无人机组子系统、多旋翼无人机飞行地面控制子系统、地面图像数据处理与显示终端子系统,其中:
多旋翼无人机组子系统由多个多旋翼无人机、两自由度旋转运动长焦距相机、GPS授时模块、空中无线数据收发终端组成;在每个多旋翼无人机上安装两自由度旋转运动长焦距相机、GPS授时模块和空中无线数据收发终端;多旋翼无人机为4旋翼、6旋翼或8旋翼的无人机飞行器,多旋翼无人机采用电池供电,连续飞行时间不小于30分钟;两自由度旋转运动长焦距相机能够实现俯仰-5°~185°、偏航0°~300°角度范围的转动,相机采用能进行远距离拍摄的长焦相机;GPS授时模块用于获取相机拍摄时的时间信息,授时精度不大于0.5毫秒;空中无线数据收发终端用于接收多旋翼无人机飞行地面控制子系统发送的飞行控制指令,并将多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包发送至地面图像数据处理与显示终端子系统;
多旋翼无人机飞行地面控制子系统由地面第一无线数据收发终端和便携式计算机组成;地面第一无线数据收发终端用于和各个多旋翼无人机进行数据通信,控制、监控各多旋翼无人机的正常飞行;便携式计算机用于根据拍摄任务需求在多旋翼无人机执行飞行任务前进行各个多旋翼无人机飞行编队和路径的规划,同时在多旋翼无人机执行飞行任务时进行各个无人机工作状态的实时监控;
地面图像数据处理与显示终端子系统由地面第二无线数据收发终端、图像处理工作站及液晶显示器组成;地面第二无线数据收发终端用于接收多个多旋翼无人机传回的含有时间信息的图像数据;图像处理工作站用于进行图像的投影变换及拼接处理;液晶显示器用于显示拍摄场景的拼接结果;
其特征在于,利用空基大场景摄像系统进行摄像的实现步骤如下:
(1)根据拍摄任务的需求,确定参与拍摄任务无人机的数量及编队队形;按照确定的编队队形,由预定飞行位置从高到低的方式依次放飞各个多旋翼无人机,由多旋翼无人机飞行地面控制子系统控制各个多旋翼无人机飞行到预定飞行位置并在空中实现悬停,逐步构建飞行编队;
设定所有的多旋翼无人机均采用同样类型的相机系统,且各个相机的焦距设定为大小相同的固定值;假设需要拍摄的场景大小为W×H,则用W×H除以单个无人机拍摄视场的大小S,即W×H/S=(W×AB/S)×(H/AB)=n1×n2
将计算结果的中间变量n1与n2取整数便为认为是得到了所需参与拍摄任务的无人机的基本数量;其中n1=W×AB/S,n2=H/AB,S=0.5×(x0×(O0O1-(O0O1×sinα-O0O×tan(α-θ))×sinα)/f+x0×O0O3/f)×AB,AB=O0O1×sinα-O0O×tan(α-θ)+(O0O3-O0O1)/sinα,AB为相机成像面在地面投影的有效拍摄梯形的高,f为相机焦距,O0O1为相机光心O0与地面的交点O1之间的距离,θ为相机当前的视场角:θ=arctan((0.5×y0×O0O1/f)/O0O1);O0O为相机在空间的飞行高度,α为相机光心的光轴与地面垂线间的夹角:α=arcos(O0O/O0O1);x0×y0为相机平面像元大小尺寸;当1米大小的目标在相机光心成像的大小不小于多少个像素时,被拍摄目标与相机光心的距离为O0O3
(2)旋翼无人机飞行地面控制子系统通过向各个多旋翼无人机发送控制指令调节各个多旋翼无人机的相机的俯仰和偏航角的大小,使得各个多旋翼无人机的相机指向并覆盖待拍摄区域,且在水平方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容,在竖直方向上相邻两个多旋翼无人机拍摄的图像具有一定的重合内容;重合内容的大小必须保证能够提取出至少4对的对应匹配的图像特征点;
(3)每个多旋翼无人机的相机进行图像数据采集,同时根据GPS授时模块采集拍摄时的时间信息,将各个多旋翼无人机的相机每一帧拍摄的图像及对应的拍摄时的时间信息组成数据包通过空中无线数据收发终端发送至地面图像数据处理与显示终端子系统;
(4)地面图像数据处理与显示终端子系统对从每个多旋翼无人机接收到的数据包进行处理,将相同时间信息对应的图像归为一组获得按照时间顺序排列的多个图像组,每个图像组的相邻两幅图像具有重叠;对每个图像组利用投影变换及拼接处理方法实现大场景图像的二维拼接;
对相邻两幅具有重叠的图像,进行拼接的步骤如下:
(4.1)对相邻两幅具有重叠的图像提取SIFT特征点;
(4.2)采用RANSAC算法进行各个SIFT特征点之间匹配点的搜索,共获得n个对应的匹配点;
(4.3)根据n个对应的匹配点的坐标,利用最小二乘法计算投影变换模型的参数H;计算公式为:H=(ATA)-1ATb,H=[h0 h1 ... h7]T,h0 h1 ... h7为投影变换模型的8个参数;
其中,
(xi,yi)、分别为第i个匹配点在相邻两幅具有重叠的图像中的像素坐标,i=1至n;
(4.4)将相邻两幅具有重叠的图像中的一幅图像的每一个像素坐标按照如下公式映射到另一幅图像之中,实现对图像的拼接;
x与y为所述一幅图像的每一个像素坐标,为映射到另一幅图像后的每一个像素坐标。
2.根据权利要求1所述的方法,其特征在于,单个多旋翼无人机的空中悬停控制是通过基于径向基神经网络的控制方式实现无人机在当前近地面风速风向条件下稳定的悬停,具体方法如下:将微压差风速风向传感器获得的风速、风向输入至径向基神经网络,径向基神经网络根据训练数据计算各旋翼的目标转动速度、以及多旋翼无人机的目标姿态角;然后将无人机的各旋翼的转动速度控制至目标转动速度;将无人机的姿态角控制至目标姿态角。
CN201410390109.0A 2014-08-08 2014-08-08 一种空基大场景摄像系统及方法 Expired - Fee Related CN104168455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410390109.0A CN104168455B (zh) 2014-08-08 2014-08-08 一种空基大场景摄像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410390109.0A CN104168455B (zh) 2014-08-08 2014-08-08 一种空基大场景摄像系统及方法

Publications (2)

Publication Number Publication Date
CN104168455A CN104168455A (zh) 2014-11-26
CN104168455B true CN104168455B (zh) 2018-03-09

Family

ID=51912060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410390109.0A Expired - Fee Related CN104168455B (zh) 2014-08-08 2014-08-08 一种空基大场景摄像系统及方法

Country Status (1)

Country Link
CN (1) CN104168455B (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924190A (zh) * 2015-06-23 2018-04-17 阿肯技术公司 用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的系统
CN105116908B (zh) * 2015-07-20 2018-05-29 清华大学 无人机视觉编队协同的通信方法
CN105319969A (zh) * 2015-07-27 2016-02-10 李翔宇 无人机协同对地覆盖系统
CN107208836B (zh) * 2015-09-16 2019-09-06 深圳市大疆灵眸科技有限公司 用于支持具有不同效果的摄影术的系统和方法
CN106165388B (zh) * 2015-11-25 2018-06-12 深圳市大疆灵眸科技有限公司 航拍跟焦控制系统、航拍跟焦控制方法及飞行器
CN105472247B (zh) * 2015-12-25 2019-03-01 江勇 一种基于无人驾驶飞行器上的多路图形图像处理系统及方法
CN208401845U (zh) * 2015-12-31 2019-01-18 沈玮 用于促进无人驾驶飞行工具网络的系统
CN105836125A (zh) * 2016-03-18 2016-08-10 王正作 一种无人机航拍控制方法
CN105573335A (zh) * 2016-03-18 2016-05-11 王正作 一种无人机航拍控制系统
CN105744231A (zh) * 2016-03-18 2016-07-06 普宙飞行器科技(深圳)有限公司 无人机移动直播方法及无人机移动直播系统
CN107547792B (zh) * 2016-06-29 2020-02-14 常州市测绘院 一种车载移动影像采集系统
CN106094876A (zh) * 2016-07-04 2016-11-09 苏州光之翼智能科技有限公司 一种无人机目标锁定系统及其方法
CN106290246A (zh) * 2016-08-09 2017-01-04 上海禾赛光电科技有限公司 无需gps的无人机的地面定位装置及气体遥测系统
CN106375713B (zh) * 2016-08-30 2019-05-14 浙江东鼎电子股份有限公司 一种视频监控智能化天网系统及其工作方法
CN106375725B (zh) * 2016-09-20 2019-04-26 山东士森集成科技有限公司 一种基于人脸识别的智能视频监控系统
CN106454228A (zh) * 2016-09-20 2017-02-22 朱海燕 一种基于人脸识别的视频监控智能化天网系统
CN106708090A (zh) * 2016-12-23 2017-05-24 四川九洲电器集团有限责任公司 一种无人机机群系统
CN106791682A (zh) * 2016-12-31 2017-05-31 四川九洲电器集团有限责任公司 一种获得场景图像的方法及设备
CN109690439A (zh) * 2017-02-27 2019-04-26 深圳市大疆创新科技有限公司 无人机控制方法及系统
CN106814752A (zh) * 2017-03-21 2017-06-09 广东容祺智能科技有限公司 一种基于无人机集群的全天候城市监控系统
CN107608376A (zh) * 2017-09-16 2018-01-19 北京神鹫智能科技有限公司 一种基于无人机的环境监察系统
CN107544541B (zh) * 2017-09-18 2020-12-11 南方科技大学 一种无人机控制方法及系统
JP6943741B2 (ja) * 2017-11-29 2021-10-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN107943096A (zh) * 2017-12-31 2018-04-20 天津津彩物联科技有限公司 一种多无人机智能重建地形的分布式计算框架
CN108419052B (zh) * 2018-03-28 2021-06-29 深圳臻迪信息技术有限公司 一种多台无人机全景成像方法
CN108710288A (zh) * 2018-04-19 2018-10-26 东华大学 基于风速预测的旋翼飞行器空中悬停防漂移的控制方法
CN108810487A (zh) * 2018-07-02 2018-11-13 重庆电力高等专科学校 一种无人机图像采集信息分类的数据对接记录系统
CN109767387A (zh) * 2018-12-26 2019-05-17 北京木业邦科技有限公司 一种基于无人机的森林图像获取方法及装置
JP7274726B2 (ja) * 2019-01-31 2023-05-17 株式会社RedDotDroneJapan 撮影方法
CN110312085A (zh) * 2019-06-06 2019-10-08 武汉易科空间信息技术股份有限公司 基于多个无人机航拍技术的图像融合方法及系统
WO2020258243A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
CN110879607A (zh) * 2019-09-27 2020-03-13 哈尔滨理工大学 一种基于多无人机编队协同探测的海上风电叶片检测方法
CN112712462A (zh) * 2019-10-24 2021-04-27 上海宗保科技有限公司 一种基于图像拼接的无人机图像采集系统
CN112771842A (zh) * 2020-06-02 2021-05-07 深圳市大疆创新科技有限公司 成像方法、成像装置、计算机可读存储介质
CN111709949A (zh) * 2020-08-19 2020-09-25 武汉精测电子集团股份有限公司 户外显示屏检测修复方法、装置、设备及存储介质
CN112019757B (zh) * 2020-10-15 2021-03-02 深圳眸瞳科技有限公司 无人机协同摄影方法、装置、计算机设备和存储介质
CN112365673B (zh) * 2020-11-12 2022-08-02 光谷技术有限公司 一种林区火势监控系统和方法
CN112783202A (zh) * 2020-12-28 2021-05-11 西北工业大学 一种基于万向节摄像机单元的旋翼无人机的飞行控制系统及方法
CN112948616B (zh) * 2021-01-25 2022-08-12 上海微亿智造科技有限公司 用于飞拍过程中拍摄位点搜寻的方法和系统
CN113552382A (zh) * 2021-07-26 2021-10-26 浙江中控技术股份有限公司 风速风向测量方法、装置及系统
CN114020029B (zh) * 2021-11-09 2022-06-10 深圳大漠大智控技术有限公司 一种针对集群的航拍航线自动生成方法、装置及相关组件
CN117710653A (zh) * 2023-12-18 2024-03-15 中国人民解放军国防科技大学 无人机视频感兴趣区域选择与回传融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819677A (zh) * 2010-04-12 2010-09-01 中国科学院长春光学精密机械与物理研究所 多传感器图像融合处理系统
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN102967297A (zh) * 2012-11-23 2013-03-13 浙江大学 空间可移动视觉传感器阵列系统及图像信息融合方法
CN203350719U (zh) * 2013-07-03 2013-12-18 广州地理研究所 一种单旋翼微型无人机多光谱遥感系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102190081B (zh) * 2010-03-04 2013-09-04 南京航空航天大学 基于视觉的飞艇定点鲁棒控制方法
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
CN102929288B (zh) * 2012-08-23 2015-03-04 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法
CN102968777B (zh) * 2012-11-20 2015-01-14 河海大学 一种基于重叠区域sift特征点的图像拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819677A (zh) * 2010-04-12 2010-09-01 中国科学院长春光学精密机械与物理研究所 多传感器图像融合处理系统
CN102510011A (zh) * 2011-10-24 2012-06-20 华北电力大学 基于微型多旋翼无人直升机的电力杆塔智能巡检方法
CN102967297A (zh) * 2012-11-23 2013-03-13 浙江大学 空间可移动视觉传感器阵列系统及图像信息融合方法
CN203350719U (zh) * 2013-07-03 2013-12-18 广州地理研究所 一种单旋翼微型无人机多光谱遥感系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于SIFT特征点的无人机影像拼接方法研究》;何敬等;《光电工程》;20110215;第38卷(第2期);正文第2.1-2.3部分 *

Also Published As

Publication number Publication date
CN104168455A (zh) 2014-11-26

Similar Documents

Publication Publication Date Title
CN104168455B (zh) 一种空基大场景摄像系统及方法
JP7260269B2 (ja) 航空非破壊検査用の測位システム
CN106454209B (zh) 基于时空信息融合技术的无人机应急快反数据链系统及方法
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
JP5947634B2 (ja) 航空写真撮像方法及び航空写真撮像システム
US9641810B2 (en) Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US10852723B2 (en) Unmanned aerial vehicle swarm photography
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
JP2006027331A (ja) 無人飛行体を利用した航空映像情報の収集方法
Ahmad et al. Digital aerial imagery of unmanned aerial vehicle for various applications
CN106990791A (zh) 一种输电线路杆塔的三维建模系统及方法
JP7153306B2 (ja) 検出対象位置特定システム
CN109035294B (zh) 一种运动目标的图像提取系统及方法
CN203845021U (zh) 飞行器全景航拍装置系统
KR101348797B1 (ko) 지피에스(gps)와 아이엔에스(ins)를 이용한 초정밀 항공촬영 장치
CN108545192A (zh) 无人机投弹系统及方法
KR102243810B1 (ko) 헬리캠의 실시간 촬영 영상에 위치 및 속성 정보를 자막으로 생성하는 방법 및 시스템
Jędrasiak et al. The prototype of gyro-stabilized UAV gimbal for day-night surveillance
CN110316376A (zh) 一种用于探测矿井火灾的无人机
KR101796478B1 (ko) 360도 영상 촬영이 가능한 무인비행체
JP6482856B2 (ja) 監視システム
CN116952081B (zh) 灭火弹落点参数图像空中监测系统及监测方法
CN205594455U (zh) 一种输电线路杆塔的三维建模系统
CN208775019U (zh) 无人机投弹系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180309

CF01 Termination of patent right due to non-payment of annual fee