CN114659501A - 一种对摄像机的参数处理方法、装置及图像处理设备 - Google Patents

一种对摄像机的参数处理方法、装置及图像处理设备 Download PDF

Info

Publication number
CN114659501A
CN114659501A CN202210361529.0A CN202210361529A CN114659501A CN 114659501 A CN114659501 A CN 114659501A CN 202210361529 A CN202210361529 A CN 202210361529A CN 114659501 A CN114659501 A CN 114659501A
Authority
CN
China
Prior art keywords
camera
image
type
aircraft
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210361529.0A
Other languages
English (en)
Inventor
梁家斌
张明磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202210361529.0A priority Critical patent/CN114659501A/zh
Publication of CN114659501A publication Critical patent/CN114659501A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种对摄像机的参数处理方法、装置及图像处理设备，所述摄像机挂在在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像。其中，参数处理方法可包括：获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参。采用本发明实施例可可以得到准确的摄像机内参，从而提高正射影像精度。

Description

一种对摄像机的参数处理方法、装置及图像处理设备
技术领域
本发明涉及通信技术领域，尤其涉及一种对摄像机的参数处理方法、装置及图像处理设备。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，无人机最初被设计用于战争中，随着信息时代的发展，更多先进的信息处理与通信技术被应用在无人机中，使得无人机应用的领域不断增多。目前，无人机可以应用在航拍、微型自拍、新闻报道、电力巡检、影视拍摄等诸多领域。
其中，无人机应用在航拍领域中，可以基于摄影测量原理将大量单张无人机采集到的航空影像制作为具有可测量特征的正射影像。制作正射影像的主要原理是利用图像处理算法计算无人机拍摄的各个照片的拍摄位姿，然后利用图像融合算法把照片融合为一张正射影像。在利用图像处理算法计算各个照片的拍摄位姿时必不可少的计算参数包括摄像机内参。
因此，如何确定摄像机内参以便于更好地实现诸如正射影像的拍摄和制作等功能成为研究的热点。
发明内容
本发明实施例提供了一种对摄像机的参数处理方法、装置及图像处理设备，可以得到较为准确的摄像机内参。
第一方面，本发明实施例提供了一种对摄像机的参数处理方法，其特征在于，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述方法包括：
获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；
根据所述环境图像集合中的所述第一类图像和第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的像主点图像位置。
第二方面，本发明实施例提供了另一种对摄像机的参数处理方法，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述方法包括：
获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
第三方面，本发明实施例提供了一种对摄像机的参数处理装置，包括：
获取单元，用于获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；
处理单元，用于根据所述环境图像集合中的所述第一类图像和第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的像主点图像位置。
第四方面，本发明实施例提供了另一种对摄像机的参数处理装置，包括：
获取单元，用于获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
处理单元，用于根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
第五方面，本发明实施例提供了一种图像处理设备，所述图像处理设备用于对摄像机的参数进行处理，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，图像处理设备包括存储器和处理器，存储器和处理器相连接，存储器存储有计算机程序，计算机程序包括程序指令，处理器调用所述程序指令时用于执行：
获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；
根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的像主点图像位置。
第六方面，本发明实施提供了另一种图像处理设备，图像处理设备用于对摄像机的参数进行处理，摄像机挂载在飞行器上，摄像机用于拍摄飞行器下方环境的环境图像，图像处理设备包括处理器和存储器，处理器和存储器相连，存储器存储有计算机程序，计算机程序包括程序指令，处理器调用程序指令时用于执行：
获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
相应的，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有第一计算机程序指令，该第一计算机程序指令被执行时用于实现上述的第一方面所述的对摄像机的参数处理方法；或者，该计算机存储介质存储有第二计算机程序指令，该第二计算机程序指令被执行时用于实现上述第二方面所述的对摄像机的采纳数处理方法。
本发明实施例通过对摄像机进行不同的拍摄处理，再通过环境图像集合计算得到摄像机的内参，避免了利用空中三角测量算法、运动恢复结构SFM算法以及其他基于优化迭代算法求解摄像机的内参时陷入非真值最优解的情况，可以得到较为准确的相关的摄像机内参。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种对摄像机的参数处理方法的场景图；
图1b为本发明实施例提供的一种飞行器的飞行航线俯视图；
图2为本发明实施例提供的一种对摄像机的参数处理方法的流程示意图；
图3a为本发明实施例提供的一种计算摄像机的像主点的示意图；
图3b为本发明实施例提供的另一种计算摄像机的像主点的示意图；
图4为本发明实施提供的另一种对摄像机的参数处理方法的流程示意图；
图5a为本发明实施例提供的一种摄像机的拍摄角度为参考角度的侧视图；
图5b为本发明实施例提供的一种摄像机的拍摄角度为参考角度的俯视图；
图6a为本发明实施例提供的一种计算摄像机的焦距的示意图；
图6b为本发明实施例提供的另一种计算摄像机的焦距的示意图；
图7为本发明实施例提供的一种对摄像机的参数处理装置的结构示意图；
图8为本发明实施例提供的另一种对摄像机的参数处理装置的结构示意图；
图9为本发明实施例提供的一种图像处理设备的结构示意图；
图10为本发明实施例提供的另一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提出一种对摄像机的参数处理方法，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述参数处理方法可由图像处理设备执行。在一个实施例中，所述图像处理设备可挂载于飞行器上，或者所述图像处理设备也可以是通过无线等方式与飞行器连接的地面设备，所述图像处理设备可指能够对摄像机所拍摄的多张环境图像进行处理，从而生成正射影像的智能设备，或者所述图像处理设备也可以指带有图像处理功能的摄像机。
在一个实施例中，通过本发明实施例的参数处理方法可以得到准确的摄像机内参，基于所述摄像机内参和所述摄像机拍摄到的环境图像，可生成较高精度的正射影像，从而提高了基于正射影像生成的数字地表模型精度。
在一个实施例中，参考图1a，为本发明实施例提供的一种利用飞行器采集环境图像并生成正射影像的示意图，如图1a所示，在采集制作正射影像的多张环境图像时，飞行器需要在指定区域上空呈预设的航线飞行，按一定重叠率拍摄图片，假设预定的航线为之字型航线，图1b为飞行器按照之字型航线飞行的的俯视图。图像处理设备对摄像机所拍摄的多张环境图像进行处理，得到正射影像，其主要原理是图像处理设备计算各个环境图像的拍摄位姿，然后利用图像融合算法把多张环境图像融合成一张可以测量地理信息的正射影像。
在一个实施例中，在计算各个环境图像的拍摄位姿时，必不可少的需要获取摄像机在拍摄各个环境图像时的摄像机的内参和地理坐标系。其中，所述摄像机的内参可以是图像处理设备利用空中三角测量算法对摄像机拍摄到的环境图像进行计算确定、或者也可以利用SFM(Structure-From-Motion，运动恢复结构)算法对摄像机拍摄到的环境图像进行计算确定、或者利用其他的基于迭代优化的算法对摄像机拍摄到的环境图像进行处理而得到。而所述地理坐标系是指绝对地理坐标系，由于用于采集制作正射影像的环境图像的飞行器中搭载了高精度的RTK(Real-time kinematic，实时动态差分)模块，这样一来，飞行器拍摄到的每张环境图像中记录了飞行器所在的具体地理位置，根据环境图像中记录的地理位置便可获取到绝对地理坐标系(将搭载了RTK模块的飞行器称为免相控飞行器)。在一个实施例中，摄像机的内参包括摄像机的焦距、和/或摄像机的像主点图像位置。像主点图像位置是指摄像机的镜头主光轴与像平面(也即感光元件)的交点，在感光元件固定不变时，确定了摄像机的镜头主光轴便可确定像主点图像位置。焦距是指光心与感光元件之间的距离，在感光元件固定不变时，确定了光心便可得到摄像机的焦距。
在一个实施例中，为了获取到准确的摄像机内参，进而准确的计算出各个环境图像的拍摄位姿，提高正射影像的精度，本发明实施例在图1a所示的示意图中，飞行器在沿着之字型航线飞行时，可通过控制云台等方法控制摄像头在拍摄飞行器下方环境图像时，摄像头中的感光元件方向不断变化，也即在飞行器沿着之字型航线飞行来采集用于制作正射影像的环境图像时，要保证所采集到的环境图像是摄像机在感光元件处于不同方向的情况下拍摄的。
请参见图2，为本发明实施例提供的一种对摄像机的参数处理方法，通过如图2所示的参数处理方法可计算得到摄像机的像主点图像位置，再根据摄像机的像主点图像位置和多张环境图像中的地理位置(或称作绝对地理坐标系)将多张环境图像制作成可测量的正射影像。
在获取摄像机的像主点图像位置过程中，首先在S201中获取环境图像集合。所述环境图像集合中包括第一类图像和至少两张第二类图像，所述第一类图像和第二类图像均为所述摄像机拍摄到的飞行器下方环境图像，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同。举例来说，由图1b可以看出的，所述飞行器在相邻的航线段，即A航线段和B航线段上飞行时，感光元件上方的方向不同，此时摄像机拍摄到的飞行器下方环境的环境图像可分别称为为第一类图像和第二类图像。
在一个实施例中，第一类图像和第二类图像可以看作是摄像机中感光元件处于不同方向时拍摄的环境图像。如图1b中所示，当飞行器沿着A航线飞行时，感光元件上方可与飞行器的飞行方向相同，此时摄像机拍摄的环境图像可以称为第一类图像；当飞行器调转机头沿着B航线飞行时，感光元件方向也随着变化，可以将感光元件在水平方向上调整180度，使得感光元件上方又变为与飞行器在B航线上的飞行方向相同如图1b，或者将感光元件在水平方向上调整其他角度比如90度、120度等，使得感光元件上方与B航线之间成一定夹角，此时摄像机拍摄到的环境图像可以称为第二类图像。
在设置飞行器的飞行航线时，一方面可以考虑正射影像的相关拍摄需求，需要保证在飞行航线的一些不同航段上拍摄的环境图像有一定的重叠区域，另一方面可以考虑飞行器避障功能一般采用的前向避障，因此，需要保证飞行器的机头方向与飞行方向相同或基本相同，至少保证飞行方向和机头方向的夹角在预设的角度阈值内，即：在飞行器中配置的障碍识别模块一般配置在飞行器机头处，保持飞行器以机头在前机尾在后的方式沿着航线飞行，可以使得飞行器及时识别并回避障碍，保证飞行器飞行安全。这样既可以满足正射影像的相关拍摄需求，也保证了飞行器的避障功能的实现。该飞行航线就例如可以是图1b的航线A。
在一个实施例中，所述S201表明在计算摄像机的像主点图像位置前，首先要获取至少三张感光元件在不同方向上拍摄的环境图像。在其他实施例中，图像处理设备可以获取感光元件在不同方向上拍摄的所有第一类图像和所有第二类图像作为依据，计算摄像机的内参。
在一个实施例中，在选择第一类图像和第二类图像时，要保证第一类图像和第二类图像中至少包括一个相同物体，比如飞行器下方环境中有一座大桥，选择的第一类图像和第二类图像中都包括所述大桥。在一个实施例中，选择第一类图像和第二类图像的方式可以为：获取感光元件处于第一方向时，摄像机拍摄到的所有第一类环境图像；以及获取感光元件处于第二方向时，摄像机拍摄到的所有第二类环境图像；从所述第一环境图像中选取至少一张包括目标物体的图像作为第一类图像，并从所述第二类环境图像中选取至少两张包括目标物体的图像作为第二类图像。或者，从第一环境图像中选取至少两张包括目标物体的图像作为第一类图像，从所述第二类环境图像中选取至少一张包括目标物体的图像作为第二类图像。
在一个实施例中，图2所示的参数处理方法中，所述摄像头可以是通过云台挂载在所述飞行器上的，在飞行器飞行的过程中，可通过控制云台转动，使得云台在转动前后，所述摄像机采用不同的感光元件方向拍摄环境图像。
在一个实施例中，控制云台转动可以是当飞行器在预设的飞行航线上飞行到目标航点时控制云台转动。也即，可以预先在飞行器的预设的飞行航线上设置多个目标航点，当飞行器飞行到目标航点时，控制云台转动，以保证在目标航点前后，摄像机采用不同的感光元件方向来拍摄飞行器下方环境的图像。
再一个实施例中，控制云台转动还可以是按照预设的时间间隔在所述预设的飞行航线上控制所述云台转动。其中，时间间隔可以是有规律的时间间隔，比如各个时间间隔之间构成等比数列，或者各个时间间隔之间构成等差数列，或者各个时间间隔相同，比如各个时间间隔均为10分钟，也即飞行器每飞行10分钟就控制云台转动；或者，时间间隔可以是无规律的、随机的时间间隔，比如第一次时间间隔可以是5分钟，第二次时间间隔可以是8分钟，第三次时间间隔可以是2分钟。
在一个实施例中，所述在预设的飞行航线的目标航点上控制所述云台转动，其中，目标航点包括预设的飞行航线上指定的航点，或者所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。在一个实施例中，目标航点包括预设的飞行航线上指定的航点，可以指随机在预设的飞行航线上确定某些点作为目标航点。在一个实施例中，如果目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的点，按照预设的确认规则从所述预设的飞行航线上确定目标航点可包括：按照预设的距离间隔从预设的飞行航线上确定目标航点。其中，距离间隔可以是有规律的距离间隔，也可以是无规律的距离间隔。比如，假设各个距离间隔相同，均为500米，则在预设的飞行航线上每隔500米设置一个目标航点；假设距离间隔依次为500米，2000米，800米，则在预设的飞行航线上依次在500米处、2500米处以及3300米处设置目标航点。
在一个实施例中，可以根据飞行器下方的环境来确定用于确定目标航点的确认规则，或者可以根据飞行器的性能和飞行状态来确定所述确认规则。在其他实施例中，还可以根据其他因素来确定所述确认规则，本发明实施例中不做具体限定。
在一个实施例中，本发明实施例中所述控制云台转动的规则可以为：保证摄像机的感光元件上方与飞行器的飞行方向垂直(如图1b)或者，在其他实施例中，调整规则也可以是保证摄像机的感光元件上方与飞行器的飞行方向成预设夹角，比如90度或者120度等，可以根据实际情况设定调整的夹角角度，本发明实施例中不做限定。
举例来说，假设图1a所示的示意图中，本发明实施例中飞行器在采集环境图像时可以是按照预设的飞行航线飞行的，比如之字型，当检测到飞行器飞行到飞行航线上的目标航点时或者检测到飞行器飞行了预设时间间隔时，通过控制云台转动调整摄像机的感光元件方向。
在图2所示对摄像机的参数处理中，图像处理设备从摄像机拍摄的环境图像中获取到环境图像集合之后，在S202中根据所述环境图像集合中的所述第一类图像和第二类图像上的目标相方点，计算得到摄像机的内参。其中，所述目标相方点为所述飞行器下方环境中目标物体在所述第一类图像和所述第二类图像上的图像点。
在一个实施例中，第一类图像上的目标相方点和第二类图像上的目标相方点可以理解为一对相关的相方点，所述相关的相方点是针对某个目标物体，在摄像机拍摄的第一类图像和第二类图像中都拍摄到了该目标物体，该目标物体在第一类图像和第二类图像中都有对应的相方点，称第一类图像上目标物体对应的相方点与第二类图像上目标物体对应的相方点为一对相关的相方点。
在一个实施例中，图像处理设备可以利用空中三角测量算法计算摄像机的内参。空中三角测量算法主要是利用飞行器拍摄到的各个环境图像内在的集合特性，获取少量的野外控制点，在室内进行控制点加密，求得加密点的高程和平面位置的测量方法。也即利用连续拍摄到的具有一定重叠的航拍影像，依据少量野外控制点，以摄影测量方法建立同实地相应的航线模型或区域网模型，从而获取加密点的平面坐标和高程，主要用于测地形图。在本发明实施例中，利用空中三角测量算法计算摄像机的内参也即确定空中三角测量算法自标定的摄像机的内参，然后基于摄像机的内参和各个环境图像中重叠部分即可计算各个环境图像的拍摄位姿。在其他实施例中，图像处理设备还可以利用SFM算法或其他基于迭代优化的算法来计算得到摄像机的内参。在本发明实施例中，以利用空中三角测量算法计算摄像机的内参为例，利用图2或图4所述的对摄像机的参数处理方法来描述计算得到摄像机的内参的原理。对于其他算法，其计算原理可参考空中三角测量算法的计算原理，在本发明实施例中不一一描述。
在本发明实施例中，飞行器在按照预设的飞行航线上飞行时，控制云台转动，以保证感光元件方向不断变化，然后获取摄像机的感光元件在不同方向上拍摄的第一类图像和第二类图像，并基于所述第一类图像和第二类图像上的目标相方点，利用空中三角测量算法计算摄像机的内参时，可以准确的计算得到摄像机的目标主光轴，进而根据目标主光轴和感光元件可确定出摄像机中的像主点图像位置。
如果飞行器在按照预设的飞行航线飞行时，保证感光元件方向始终不变，此时获取到的环境图像集合中只包括第一类图像或者只包括第二类图像，基于此时的第一类图像或者第二类图像上的目标相方点，利用空中三角测量算法计算摄像机内参时可计算得到多个主光轴，不能准确的确定哪条主光轴是目标主光轴，从而也就不能准确的确定摄像机的像主点图像位置，摄像机的内参不准确会导致最后生成的正射影像存在误差。
换句话说，飞行器沿着预设的航线飞行以采集环境图像时，如果在预设的航线的所有航线段上摄像机的感光元件方向统一朝向并在统一高度，在计算摄像机的像主点图像位置时，会得到多个摄像机的像主点图像位置，导致计算得到的各个环境图像的拍摄位姿在水平方向产生偏差，从而导致正射影像在水平方向的绝对精度上产生系统性误差。
参考图3a，为本发明实施例提供的一种飞行器在预设的航线上飞行时，感光元件方向始终不变的情况下，计算摄像机的像主点图像位置的示意图。在图3a中301a是指摄像机中的感光元件，A和B分别为第二类图像上的目标相方点，C为第一类图像上的目标相方点，第二类图像和第一类图像是摄像机的感光元件在同一方向上拍摄的环境图像。假设摄像机的主光轴为302a，在第二类图像和第一类图像中，都有一条通过主光轴和目标相方点的光路汇聚在物方点1a，也就是说当主光轴为302a时，存在一个物方点使得投影刚好和三个目标相方点重叠，符合摄像机的投影模型。像主点为摄像机的主光轴与感光元件的交点，因此，在假设302a为主光轴的情况下，确定出一个像主点O。
若假设主光轴为303a，从图3a中不难看出，在下方环境中仍然存在一个物方点2a，使得通过主光轴303a和三个目标相方点的光路相交于该点，此种情况也符合摄像机的投影模型，因此，根据主光轴303a可确定摄像机的像主点为O’。由此可见，在图3a中，在飞行器在预设的飞行航线上飞行过程中，如果感光元件方向始终保持不变，则基于第一类图像和第二类图像上的目标相方点，可计算得到至少两个摄像机的像主点图像位置，图像处理设备无法确定选择两个像主点图像位置中哪个像主点图像位置作为正确的摄像机的像主点图像位置，如果选择了错误的像主点图像位置作为摄像机的内参就会导致最终生成的正射影像在水平方向上产生偏移。
参考图3b为本发明实施例提供的一种飞行器在预设的飞行航线上飞行时，感光元件方向变化的情况下，计算摄像机的像主点图像位置的示意图。在图3b中301b是指摄像机中的感光元件，A和B分别为两个第二类图像上的目标相方点，C为第一类图像上的目标相方点，第二类图像和第一类图像是在感光元件方向不同的情况下摄像机拍摄的环境图像。在图3b中，若假设主光轴为302b时，通过主光轴和三个目标相方点的三条光路可汇聚在物方点1b处，符合摄像机的投影模型，此时根据主光轴302b和感光元件确定的像主点图像位置为O。若假设主光轴为303b时，由图3b中可以看出，通过两个第二类图像上的目标相方点与主光轴303b的光路相交于物方点2b，在此种情况下，如果将物方点2b投影到第一类图像上，得到的在第一类图像上的与物方点2b对应的目标相方点不是C，而变成了C’，这样不符合摄像机的投影模型，也就说明此时的主光轴是错误的。由此可见，通过图3b中可唯一确定出一个主光轴302b，根据主光轴302b确定出的像主点图像位置O即为摄像机正确的摄像机的内参。
综上所述，采用本发明实施例中对摄像机的参数处理方法，即飞行器在预设的飞行航向上飞行时，通过调整摄像机拍摄环境图像时感光元件的方向，可以计算得到较为准确的摄像机的像主点图像位置，提高了正射影像在水平方向上的精度。
在图2所示的实施例中，从摄像机拍摄的环境图像中选取第一类图像和至少两张第二类图像，组成环境图像集合，其中，摄像机在拍摄第一类图像和第二类图像时所采用的感光元件的方向不相同。在获取到环境图像集合之后，根据环境图像集合中的第一类图像和第二类图像上目标相方点计算得到摄像机事务像主点图像位置，由于第一类图像和第二类图像是在感光元件处于不同方向上拍摄的，因此避免了计算得到多个像主点图像位置的情况，可以得到较为准确的摄像机的像主点图像位置，从而提高了正射影像在水平方向上的精度。
采用图2所示的对摄像机的参数处理方法，可以提高正射影像在水平方向上的精度，在实际应用中，如果为了使得正射影像绝对精确，不仅要保证正射影像在水平方向上的精度，还需要提高正射影像的高程精度。
参考图4，为本发明实施例提供的另一种对摄像机的参数处理方法，如图4所示的对摄像机的参数处理方法可以使得摄像机在拍摄飞行器下方的环境图像时，在竖直方向倾斜一定角度，保证计算的摄像机的焦距的准确性。
在利用图4所示的方法计算摄像机的焦距时，首先在S401中获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且参考角度大于零度；或者所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同。其中，此处所述的第一类图像和第二类图像与图2所示的实施例中的第一类图像和第二类图像不相同。
在一个实施例中，所述S401表明在摄像机拍摄飞行器下方的环境图像时，需要保证摄像机与竖直方向成一定夹角。如果第一类图像和第二类图像是摄像机在竖直方向上的拍摄角度保持不变(摄像机在竖直方向上的拍摄角度始终为参考角度)情况下拍摄的，所述参考角度应该为不等于零度的任意角度。其中，参考角度可以是随机选取的，也可以是预先设置的。
在一个实施例中，如果摄像机是通过云台挂载在所述飞行器上的，若所述摄像机拍摄第一类图像和第二类图像时在竖直方向上的拍摄角度不相同，图像处理设备可以在飞行器飞行过程中，控制云台转动，使得云台转动前后所述摄像机在竖直方向上的拍摄角度不相同。也即，在飞行器飞行过程中，通过控制云台转动实现摄像机在拍摄第一类图像和第二类图像时，在竖直方向上的拍摄角度不相同。
在一个实施例中，飞行器是按照预设的飞行航线飞行的，所述控制云台转动可以是在所述预设的飞行航线上的目标航点上控制云台转动，也即当飞行器飞行到预设的飞行航线上的目标航点时，则控制云台转动。在一个实施中，所述目标航点可以是预先指定的航点，也即目标航点可以随机在预设的飞行航线上选取的一些航点；或者目标航点也可以是按照预设的确认规则从所述预设的飞行航线上确定的航点。
在一个实施例中，所述在预设的飞行航线上的目标航点上控制云台转动，包括：在所述目标航点上，按照预设的角度间隔控制所述云台转动。也即，预先设置一个角度间隔，比如10度，当所述飞行器每次飞行到一个目标航点时，都控制云台在当前角度基础上转动10度；或者，在其他实施例中，可以先获取所述预设的飞行航线上目标航点的数量，然后为每个目标航点设置一个转动角度，当到达目标航点处时，确定与该目标航点对应的转动角度，按照该转动角度控制云台转动。假设，预设的飞行航线上目标航点数为2个，设置云台第一次转动的转动角度为10度，云台第二次转动的转动角度为20度，当飞行器飞行到第一个目标航点处时，确定与该目标航点对应的转动角度为10度，则控制云台在当前角度基础上转动10度。
在一个实施例中，预设的确认规则可以是距离间隔，按照预设的确认规则从所述预设的飞行航线上确定航点的方式可以为：预先设置各个距离间隔；然后在每个距离间隔到达时，在所述飞行航线上设置一个目标航点。所述距离间隔可以是有规律的间隔，比如各个距离间隔相同，均为1000米，则表示每隔1000米就在预设的飞行航线上设置一个目标航点；再如，各个距离间隔不相同，各个距离间隔之间可以成等差数列，比如第一个距离间隔为500米，第二个距离间隔为1000米，第三个距离间隔为1500米...以此类推设置多个距离间隔，在每个距离间隔处设置一个目标航点。在一个实施例中，距离间隔可以是无规律设置的，比如第一距离间隔可以为100米，第二个距离间隔可以为350米，第三个距离间隔可以为860米等。在一个实施例中，在实际应用中，可以依据飞行器的性能和所处环境状态来确定用于设定目标航点的确认规则。
再一个实施例中，飞行器是按照预设的飞行航线飞行的，所述控制云台转动可以是按照预设的时间间隔在所述预设的飞行航线上控制云台转动。在一个实施例中，所述按照预设的时间间隔在所述预设的飞行航线上控制云台转动的实施方式可以是：设置飞行器在预设的飞行航线飞行过程中，每隔5分钟便控制云台转动一次。
再一个实施例中，所述按照预设的时间间隔在所述预设的飞行航线上控制云台转动时还可以是：首先确定飞行器在预设的飞行航线的飞行过程中需要控制云台转动的次数；然后在为每一次转动设置一个时间间隔，这样一来，当某一次时间间隔到达时，便控制云台转动。比如，假设确定了飞行器在预设的飞行航线飞行过程中需要控制云台转动2次，假设设置第一次控制云台转动的时间间隔为5分钟，第二次控制云台转动的时间为30分钟，也就是说当飞行器上的计时模块检测到飞行器已经开始飞行了5分钟，则控制云台转动一次，然后计时模块可清零重新开始计时，到检测到距离第一次转动云台已经过去30分钟时，控制云台再次转动。
在图4所示的参数处理方法中，在获取到第一类图像和第二类图像之后，图像处理设备在S402中根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到摄像机的内参。此处所述摄像机的内参可包括摄像机的焦距。
在一个实施例中，所述S402的实现方式可以是图像处理设备利用空中三角测量算法基于所述第一类图像和所述第二类图像计算得到所述摄像机的内参。
在一个实施例中，如果摄像机在拍摄第一类图像和第二类图像时，在竖直方向上的拍摄角度相同，均为参考角度且参考角度为零度，此时在利用空中三角算法计算摄像机的内参时，不能准确的确定出摄像机的焦距，从而导致生成的正射影像存在高程误差。如果采用广角镜头使得摄像机拍摄朝向与竖直方向成一定夹角，如图5a侧视图和俯视图5b所示，再利用空中三角测量算法基于第一类图像或者第二类图像，可计算得到准确的摄像机焦距。或者，再一个实施例中，如果摄像机在拍摄第一类图像和第二类图像时，摄像机在竖直方向上的拍摄角度相同，均为参考角度且参考角度不等于零度时，也可以基于此时的第一类图像和第二类图像得到准确的摄像机焦距。
下面举例来说明，当摄像机在拍摄第一类图像和第二类图像时，摄像机在竖直方向上的拍摄角度相同，均为参考角度且参考角度为零度的情况下为何不能得到准确的摄像机的焦距，以及当摄像机在拍摄第一类图像和第二类图像时，摄像机在竖直方向上的拍摄角度不相同的情况下，为何能够得到准确的摄像机焦距。
举例来说，图6a为本发明实施例提供的一种摄像机拍摄第一类图像和第二类图像时在竖直方向上的拍摄角度均为参考角度且参考角度为零度时，计算摄像机的焦距的示意图。在图6a中，601a为感光元件，A和B为第二类图像上的目标相方点，C为第一类图像上的目标相方点，此处的第一类图像和第二类图像为所述摄像机在竖直方向上的拍摄角度为零度时，摄像机所拍摄的环境图像。若假设602a为光心时，通过光心602a和三个目标相方点的光路相交于物方点1a，符合摄像机的投影模型，说明光心602a可以为摄像机的光心，光心602a到感光元件601a的距离f表示摄像机的焦距。
若假设603a为光心时，由图6a中可知，通过光心603a和三个目标相方点的光路仍能相交于物方点2a，也符合摄像机的投影模型，说明光心603a也可以是摄像机的光心，光心603a到感光元件601a的距离f’表示摄像机的焦距。由此可知，如果摄像机拍摄第一类图像和第二类图像时在竖直方向上的拍摄角度均为参考角度，且参考角度为零度时，则至少可得到两个摄像机的焦距，不能准确的从至少两个焦距中选择出哪个是正确的摄像机的焦距，如果一旦选择了错误的摄像机的焦距，会导致正射影像在高程上出现误差。
参考图6b，为本发明实施例提供的一种摄像机拍摄第一类图像和第二类图像时在竖直方向上的拍摄角度不相同，计算摄像机的焦距的示意图。在图6b中，601b为感光元件，A和B为第二类图像上的目标相方点，C为第一类图像上的目标相方点，第一类图像和第二类图像时在摄像机在竖直方向上的拍摄角度不相同时，摄像机所拍摄的环境图像。比如，第一类图像可以是当摄像机在竖直方向上的拍摄角度为10°时，拍摄的环境图像；第二类图像可以是当摄像机在竖直方向上的拍摄角度为35°时，拍摄的环境图像。若假设602b为光心，则通过光心602b和三个目标点的三条光路可以汇聚于物方点1b，符合摄像机的投影模型，说明602b是摄像机的光心，进一步的将光心602b与感光平面601b之间的距离作为摄像机的焦距f。
在图6b中若假设603b为光心，通过光心603b和第二类图像上的两个目标相方点的两条光路可以相较于物方点2b，但是物方点2b投影到目标图像上的相方点为C’，与第一类图像上的目标相方点不相同，这种现象不符合摄像机的投影模型，因此可确定光心603b不是摄像机的光心。同理的，对于通过除了光心602b之外的其他光心确定的物方点都不满足摄像机的投影模型，在此不一一列出。综上所述，在图6b中有且只有一个光心602b满足投影模型，因此将光心602b与感光元件的距离f作为摄像机的焦距。
综上所述，本发明实施例中当摄像机在拍摄第一类图像和第二类图像时，设置摄像机在竖直方向上的拍摄角度不相同，避免了计算出多个摄像机的焦距，可较为准确的确定出摄像机的焦距，从而提高了生成的正射影像高程精度。
通过具体实测发现，如果利用图2所示的对摄像机的参数处理方法，计算摄像机的像主点图像位置，基于所述像主点图像位置生成正射影像，可使得正射影像的水平方向精度提高了8厘米左右。也即，如果摄像机在拍摄第一类图像和第二类图像时采用的感光元件方向不相同，再基于第一类图像和第二类图像并利用空三或者SFM算法计算摄像机的像主点图像位置，然后基于该像主点图像位置生成的正射影像，在水平方向精度提高了8厘米左右。如果利用图4所示的对摄像机的参数处理方法，计算摄像机的焦距，基于所述焦距生成正射影像，可使得正射影像高程精度提高了2厘米左右。也即，如果摄像机在拍摄第一类图像和第二类图像时在竖直方向上的拍摄角度不相同，或者角度相同且不等于零，再基于所述第一类图像和所述第二类图像并可利用空三或者SFM等算法计算摄像机的焦距，然后基于该焦距生成的正射影像，在高程上的精度提高了2厘米左右。
在实际应用中，可以根据对正射影像的精度要求，选择采用图2或图4的对摄像机的参数处理方法来计算所述摄像机的内参，再基于所述摄像机的内参生成正射影像。如果在实际中使用正射影像时主要要求水平方向上的精度，则可使用图2所示的对摄像机的参数处理方法生成正射影像；如果在实际应用中使用正射影像时主要要求高程精度，则可使用图4所示的对摄像机的参数处理方法生成正射影像。
在图4所示的本发明实施例中，从摄像机拍摄的环境图像中选取第一类图像和至少两张第二类图像组成环境图像集合，其中摄像机在拍摄第一类图像和第二类图像时摄像机在竖直方向上的拍摄角度不相同，或者摄像机在竖直方向上的拍摄角度为大于零度的参考角度。在获取到图像环境集合之后，根据第一类图像和第二类图像上的目标相方点计算得到摄像机的内参，由于第一类图像和第二类图像是摄像机在竖直方向上的拍摄角度不相同情况下拍摄的，或者是在摄像机在竖直方向上的拍摄角度相同但不为零度的情况下拍摄的，因此避免了计算得到多个摄像机的焦距的情况，可以得到准确的摄像机的焦距，从而提高正射影像在高程上的精度。
基于上述方法实施例的描述，在一个实施例中，本发明实施例还提供了一种如图7所示的对摄像机的参数处理装置，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述对摄像机的参数处理装置可以配置于所述摄像机中，也可以配置于所述飞行器上，该参数处理装置可包括获取单元701和处理单元702：
获取单元701，用于获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；
处理单元702，用于根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的像主点图像位置。
在一个实施例中，所述摄像机是通过云台挂载在所述飞行器上的，所述处理单元702还用于：在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机采用不同的感光元件方向拍摄环境图像。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，所述处理单元702用于控制云台转动的实施方式可以为：在所述预设的飞行航线的目标航点上控制所述云台转动。
在一个实施例中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，所述处理单元702用于控制云台转动的实施方式为：按照预设的时间间隔在所述预设的飞行航线上控制所述云台转动。
在一个实施例中，所述摄像机包括广角镜头。在一个实施例中，所述处理单元702在用于根据在所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参的实施方式为：采用空中三角测量算法计算得到所述摄像机的内参。
在一个实施例中，所述处理单元702还用于根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
请参见图8，为本发明实施例提供的另一种对摄像机的参数处理装置，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述对摄像机的参数处理装置可以配置于所述摄像机中，也可以配置于所述飞行器上，该参数处理装置可包括获取单元801和处理单元802：
获取单元801，获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
处理单元802，根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
在一个实施例中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同，所述摄像机是通过云台挂载在所述飞行器上的，所述处理单元802还用于：在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机在竖直方向上的拍摄角度不相同。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，所述处理单元802用于控制云台转动的实施方式为：在所述预设的飞行航线上的目标航点上控制所述云台转动。在一个实施例中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，所述处理单元802用于控制云台转动的实施方式为：按照预设的时间间隔在所述预设的飞行航线上控制云台转动。
在一个实施例中，所述在所述预设的飞行航线上的目标航点上控制所述云台转动，包括：在所述目标航点上，按照预设的角度间隔控制所述云台转动。在一个实施例中，所述摄像机包括广角镜头。
在一个实施例中，所述处理单元802用于根据所述环境图像集合中的第一类图像和所述第二类图像上的目标相方点，计算的到摄像机的内参的实施方式为：采用空中三角测量算法计算得到所述摄像机的内参。
在一个实施例中，所述处理单元802还用于根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
请参见图9，为本发明实施例提供的一种图像处理设备的结构示意图，如图9所示的图像处理设备用于对摄像机的参数进行处理，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述图像不合理设备可包括处理器901和存储器902，所述处理器901和所述存储器902通过总线903连接，所述存储器902用于存储程序指令。
所述存储器902可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储器902也可以包括非易失性存储器(non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器902还可以包括上述种类的存储器的组合。
所述处理器901可以是中央处理器(Central Processing Unit，CPU)。所述处理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器901也可以为上述结构的组合。
本发明实施例中，所述存储器902用于存储计算机程序，所述计算机程序包括程序指令，处理器901用于执行存储器902存储的程序指令，用来实现上述图2所示的实施例中的相应方法的步骤。
在一个实施例中，所述处理器用于执行存储器902存储的程序指令，用来实现上述图2所示的实施例中的相应方法时，所述处理器901被配置用于调用所述程序指令时执行：获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，所述摄像机拍摄所述第一类图像和所述第二类图像时采用的感光元件方向不同；根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；其中，计算得到的内参包括所述摄像机的像主点图像位置。
在一个实施例中，所述摄像机是通过云台挂载在所述飞行器上的，所述处理器901被配置调用所述程序指令时还执行：在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机采用不同的感光元件方向拍摄环境图像。
在一个实施例中，飞行器是按照预设的飞行航线飞行，所述处理器901被配置调用所述程序指令时执行控制云台转动的实施方式为：在所述预设的飞行航线的目标航点上控制所述云台转动。在一个实施例中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
在一个实施例中，飞行器是按照预设的飞行航线飞行，所述处理器901被配置调用所述程序指令时执行控制云台转动的实施方式为：按照预设的时间间隔在所述预设的飞行航线上控制所述云台转动。
在一个实施例中，所述摄像机包括广角镜头。在一个实施例中，所述处理器901被配置调用所述程序指令时还执行：采用空中三角测量算法计算得到所述摄像机的内参。
在一个实施例中，所述处理器901被配置调用所述程序指令时还执行：根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
请参见图10，为本发明实施例提供的另一种图像处理设备的结构示意图，如图10所示的图像处理设备用于对摄像机的参数进行处理，所述摄像机挂载在飞行器上，所述摄像机用于拍摄所述飞行器下方环境的环境图像，所述图像处理设备可包括处理器1001和存储器1002，所述处理器1001和所述存储器1002通过总线1003连接，所述存储器1002用于存储程序指令。
所述存储器1002可以包括易失性存储器，如随机存取存储器RAM；存储器1002也可以包括非易失性存储器，如快闪存储器；存储器1002还可以包括上述种类的存储器的组合。
所述处理器1001可以是中央处理器CPU。所述处理器1001还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路ASIC，可编程逻辑器件PLD等。该PLD可以是现场可编程逻辑门阵列FPGA，通用阵列逻辑GAL等。所述处理器1001也可以为上述结构的组合。
本发明实施例中，所述存储器1002用于存储计算机程序，所述计算机程序包括程序指令，处理器1001用于执行存储器1002存储的程序指令，用来实现上述图4所示的实施例中的相应方法的步骤。
本发明实施例中，所述处理器用于执行存储器1002存储的程序指令，用来实现上述图4所示的实施例中的相应方法时，所述处理器1001被配置用于调用所述程序指令时执行：获取环境图像集合，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；其中，计算得到的内参包括所述摄像机的焦距。
在一个实施例中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同，所述摄像机是通过云台挂载在所述飞行器上的，所述处理器1001被配置调用所述程序指令时还执行：在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机在竖直方向上的拍摄角度不相同。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，处理器1001被配置调用所述程序指令时执行控制云台转动的实施方式为：在所述预设的飞行航线上的目标航点上控制所述云台转动。在一个实施例中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
在一个实施例中，所述飞行器是按照预设的飞行航线飞行，处理器1001被配置调用所述程序指令时执行控制云台转动的实施方式为：按照预设的时间间隔在所述预设的飞行航线上控制云台转动。
在一个实施例中，所述处理器1001被配置调用所述程序指令时执行在所述预设的飞行航线上的目标航点上控制所述云台转动的实施方式为：在所述目标航点上，按照预设的角度间隔控制所述云台转动。
在一个实施例中，所述摄像机包括广角镜头。在一个实施例中，所述处理器1001被配置调用所述程序指令时还执行：采用空中三角测量算法计算得到所述摄像机的内参。在一个实施例中，所述处理器1001被配置调用所述程序指令时还执行：根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (12)

1.一种对摄像机的参数处理方法，其特征在于，所述摄像机挂载在飞行器上，所述方法包括：
获取环境图像集合，所述环境图像集合是所述飞行器按照预设的飞行航线飞行时所述摄像机拍摄得到的，所述环境图像集合中包括第一类图像和第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
利用空中三角测量算法基于所述第一类图像和所述第二类图像计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
2.如权利要求1所述的方法，其特征在于，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同，所述摄像机是通过云台挂载在所述飞行器上的，所述方法还包括：
在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机在竖直方向上的拍摄角度不相同。
3.如权利要求2所述的方法，其特征在于，所述控制所述云台转动包括：
在所述预设的飞行航线的目标航点上控制所述云台转动；
其中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
4.如权利要求2所述的方法，其特征在于，所述控制所述云台转动包括：按照预设的时间间隔在所述预设的飞行航线上控制所述云台转动。
5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
6.一种对摄像机的参数处理方法，其特征在于，所述摄像机挂载在飞行器上，所述方法包括：
获取环境图像集合，所述环境图像集合是所述飞行器按照预设的飞行航线飞行时所述摄像机拍摄得到的，所述环境图像集合中包括第一类图像和至少两张第二类图像，其中，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度为参考角度，且所述参考角度大于零度；或者，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同；
根据所述环境图像集合中的所述第一类图像和所述第二类图像上的目标相方点，计算得到所述摄像机的内参；
其中，计算得到的内参包括所述摄像机的焦距。
7.如权利要求6所述的方法，其特征在于，所述摄像机拍摄所述第一类图像和所述第二类图像时在竖直方向上的拍摄角度不相同，所述摄像机是通过云台挂载在所述飞行器上的，所述方法还包括：
在所述飞行器飞行的过程中，控制所述云台转动，使得在云台转动前后所述摄像机在竖直方向上的拍摄角度不相同。
8.如权利要求7所述的方法，其特征在于，所述控制云台转动包括：
在所述预设的飞行航线上的目标航点上控制所述云台转动；
其中，所述目标航点包括所述预设的飞行航线上指定的航点；或者，所述目标航点包括按照预设的确认规则从所述预设的飞行航线上确定的航点。
9.如权利要求7所述的方法，其特征在于，所述控制云台转动包括：按照预设的时间间隔在所述预设的飞行航线上控制云台转动。
10.如权利要求6-9所述的方法，其特征在于，所述方法还包括：
根据计算得到的所述摄像机的内参和拍摄到的环境图像，生成数字地表模型。
11.一种图像处理设备，其特征在于，所述图像处理设备用于对摄像机的参数进行处理，所述摄像机挂载在飞行器上，所述图像处理设备包括处理器和存储器，所述处理器和所述存储器相连，所述存储器存储有计算机程序，所述计算机程序包括程序指令，所述处理器调用所述程序指令时用于执行如权利要求1-5任一项所述的对摄像机的参数处理方法。
12.一种图像处理设备，其特征在于，所述图像处理设备用于对摄像机的参数进行处理，所述摄像机挂载在飞行器上，所述图像处理设备包括处理器和存储器，所述处理器和所述存储器相连，所述存储器存储有计算机程序，所述计算机程序包括程序指令，所述处理器调用所述程序指令时用于执行如权利要求6-10任一项所述的对摄像机的参数处理方法。
CN202210361529.0A 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备 Withdrawn CN114659501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361529.0A CN114659501A (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201880037465.0A CN110720023B (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备
PCT/CN2018/107417 WO2020061771A1 (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备
CN202210361529.0A CN114659501A (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880037465.0A Division CN110720023B (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备

Publications (1)

Publication Number Publication Date
CN114659501A true CN114659501A (zh) 2022-06-24

Family

ID=69208803

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880037465.0A Active CN110720023B (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备
CN202210361529.0A Withdrawn CN114659501A (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880037465.0A Active CN110720023B (zh) 2018-09-25 2018-09-25 一种对摄像机的参数处理方法、装置及图像处理设备

Country Status (3)

Country Link
US (1) US20210201534A1 (zh)
CN (2) CN110720023B (zh)
WO (1) WO2020061771A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802121B (zh) * 2021-01-14 2023-09-05 杭州海康威视数字技术股份有限公司 监控相机的标定方法
WO2023115342A1 (zh) * 2021-12-21 2023-06-29 深圳市大疆创新科技有限公司 一种带状目标的无人机航测方法、装置、系统及存储介质
CN116363315B (zh) * 2023-04-04 2023-11-21 中国农业大学 植物三维结构的重建方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554575B2 (en) * 2005-10-28 2009-06-30 Seiko Epson Corporation Fast imaging system calibration
CN101876532B (zh) * 2010-05-25 2012-05-23 大连理工大学 测量系统中的摄像机现场标定方法
CN103854291B (zh) * 2014-03-28 2017-08-29 中国科学院自动化研究所 四自由度双目视觉系统中的摄像机标定方法
US9846811B2 (en) * 2014-04-24 2017-12-19 Conduent Business Services, Llc System and method for video-based determination of queue configuration parameters
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN106197422B (zh) * 2016-06-27 2019-09-03 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN207182100U (zh) * 2017-05-22 2018-04-03 埃洛克航空科技（北京）有限公司 一种用于固定翼无人机的双目视觉避障系统

Also Published As

Publication number Publication date
CN110720023B (zh) 2022-04-29
WO2020061771A1 (zh) 2020-04-02
CN110720023A (zh) 2020-01-21
US20210201534A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US11086324B2 (en) Structure from motion (SfM) processing for unmanned aerial vehicle (UAV)
CN109952755B (zh) 飞行路径生成方法、飞行路径生成系统、飞行体以及记录介质
JP7037302B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
WO2020014909A1 (zh) 拍摄方法、装置和无人机
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
JP7251474B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
CN110720023B (zh) 一种对摄像机的参数处理方法、装置及图像处理设备
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
WO2022011623A1 (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
WO2019104641A1 (zh) 无人机、其控制方法以及记录介质
CN110706447B (zh) 灾情位置的确定方法、装置、存储介质及电子装置
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
US20210264666A1 (en) Method for obtaining photogrammetric data using a layered approach
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
JP2018146524A (ja) 測量システム
CN113984019A (zh) 测量系统、测量方法以及测量用程序
WO2023115342A1 (zh) 一种带状目标的无人机航测方法、装置、系统及存储介质
KR20230025260A (ko) 드론을 이용한 ｔｍ 좌표 기반의 유량 측정 장치 및 방법
WO2020237422A1 (zh) 航测方法、飞行器及存储介质
KR102578056B1 (ko) 비행체를 이용한 항공 사진 측량용 촬영 장치 및 방법
WO2019127192A1 (zh) 图像处理方法和设备
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
Reich et al. Filling the Holes: potential of UAV-based photogrammetric façade modelling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220624