CN109477716A - 姿态估计装置、姿态估计方法和观测系统 - Google Patents

姿态估计装置、姿态估计方法和观测系统 Download PDF

Info

Publication number
CN109477716A
CN109477716A CN201680086109.9A CN201680086109A CN109477716A CN 109477716 A CN109477716 A CN 109477716A CN 201680086109 A CN201680086109 A CN 201680086109A CN 109477716 A CN109477716 A CN 109477716A
Authority
CN
China
Prior art keywords
data
attitude
coordinate
distance measurement
point distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680086109.9A
Other languages
English (en)
Inventor
日野百代
前原秀明
平谦二
加藤纯雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109477716A publication Critical patent/CN109477716A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/22—Compound rotorcraft, i.e. aircraft using in flight the features of both aeroplane and rotorcraft
    • B64C27/28—Compound rotorcraft, i.e. aircraft using in flight the features of both aeroplane and rotorcraft with forward-propulsion propellers pivotable to act as lifting rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

姿态估计装置(30)具有：数据取得部(32)，其取得观测数据；测距点坐标计算部(33A)，其使用测位数据、测距数据、实际姿态数据和表示飞行体的姿态的未知参数的估计值，计算测地坐标系下的测距点的测地坐标；图像坐标计算部(33B)，其对测地坐标实施从测地坐标系到图像坐标系的投影转换，计算投影点坐标；图像匹配部(34)，其执行从摄像图像组选择出的第1摄像图像与第2摄像图像之间的图像匹配，检测第1摄像图像中出现的该测距点的图像坐标；以及姿态估计部(35)，其对估计值进行校正，以使投影点坐标与图像坐标之间的差分的大小变小。

Description

姿态估计装置、姿态估计方法和观测系统
技术领域
本发明涉及估计搭载有观测设备的航空器等飞行体的飞行姿态的技术。
背景技术
为了从上空进行地表或构造物等地物(位于地面上的物体)的测量或调查，有时使用搭载有摄像机和激光测距仪等观测设备的飞行体。使用这种飞行体的测量系统例如公开在专利文献1(日本特开2014-145762号公报)中。
在航空激光测量的情况下，需要取得飞行体的当前位置的技术和检测飞行体的飞行姿态(例如滚动方向、俯仰方向、偏航方向的角度)的技术。例如，能够使用GNSS(GlobalNavigation Satellite System：全球导航卫星系统)装置取得飞行体的当前位置。GNSS装置能够在搭载于飞行体的状态下按照一定周期从GNSS卫星接收电波，对该接收电波进行分析，检测该飞行体的当前位置。并且，能够使用惯性计测装置(Inertial MeasurementUnit：IMU)检测飞行体的飞行姿态。但是，IMU非常昂贵，而且其搬运存在一定的限制，其处理需要注意，因此，存在能够搭载IMU的飞行体的种类受到限定这样的课题。在构成为维持较高测定精度的IMU的情况下，其重量比较重(例如4kg～20kg左右)，因此，很难在可装载重量(例如可装载重量2.5kg～3.5kg左右)受到限制的飞行体(例如无线远程操纵的小型无人直升机)搭载该IMU。
专利文献1公开的测量系统没有使用IMU，而是通过执行使用从2个以上的不同位置拍摄到的多个摄像图像的捆绑计算，估计飞行姿态。通过被称作稳定器的姿态稳定机构支承该测量系统中的测量用摄像机，因此，能够确保拍摄方向为铅直向下而不依赖于飞行中的飞行体的姿态。
现有技术文献
专利文献
专利文献1：日本特开2014-145762号公报(例如图1、图3和图20以及段落0152～0160)
发明内容
发明要解决的课题
在专利文献1公开的测量系统中，需要将使测量用摄像机的拍摄方向始终维持成铅直向下的姿态稳定机构搭载于飞行体，因此，存在测量系统的结构复杂这样的课题。并且，仅使用摄像图像估计飞行体的姿态，因此，其估计精度存在极限。
鉴于上述情况，本发明的目的在于，提供能够通过简单的结构高精度地估计飞行体的姿态的姿态估计装置、姿态估计方法和观测系统。
用于解决课题的手段
本发明的一个方式的姿态估计装置与观测装置协作进行动作，该观测装置包含输出表示测地坐标系下的飞行体的位置的测位数据的测位部、计测从所述飞行体到地面的测距点的距离和相对于该测距点的角度方向并输出测距数据的测距部、在搭载于所述飞行体的状态下从多个摄像位置拍摄该测距点并输出摄像图像组的摄像部、以及检测以重力方向为基准的该飞行体的姿态并输出实际姿态数据的姿态传感器，其特征在于，所述姿态估计装置具有：数据取得部，其从所述观测装置取得所述测位数据、所述测距数据、所述实际姿态数据和所述摄像图像组；测距点坐标计算部，其使用所述测位数据、所述测距数据、所述实际姿态数据和表示所述飞行体的姿态的未知参数的估计值，计算表示所述测地坐标系下的该测距点的位置的测地坐标；图像坐标计算部，其对所述测地坐标实施从所述测地坐标系到图像坐标系的投影转换，计算投影点坐标；图像匹配部，其执行从所述摄像图像组选择出的第1摄像图像与第2摄像图像之间的图像匹配，检测所述第1摄像图像中出现的该测距点的图像坐标；以及姿态估计部，其对所述估计值进行校正，以使所述投影点坐标与所述图像坐标之间的差分的大小变小。
本发明的另一个方式的观测系统的特征在于，具有所述观测装置和所述姿态估计装置。
发明效果
根据本发明，能够通过简单的结构高精度地估计飞行体的姿态。
附图说明
图1是示出本发明的实施方式1的观测系统的概略结构的框图。
图2是示出实施方式1的飞行体的一例的概略立体图。
图3是示出实施方式1的飞行路线设定装置的概略结构的框图。
图4A和图4B是概略地示出实施方式1的飞行路线设定装置的硬件结构例的框图。
图5是示出实施方式1的飞行路线设定处理的步骤的一例的流程图。
图6是以表形式示出实施方式1的路线数据的一例的图。
图7是用于说明由路线数据确定的飞行路线的图。
图8是用于说明飞行路线的另一例的图。
图9是实施方式1的观测装置中的激光测距部、右摄像机和左摄像机的结构例的立体图。
图10A是图9所示的观测装置的主视图，图10B是图9所示的观测装置的俯视图，图10C是图9所示的观测装置的右侧视图。
图11是以表形式示出时刻t＝0、1、2、3的激光测距部的照射基准点RP的三维坐标的例子的图。
图12A～图12C是示出时刻t＝0的激光测距部、右摄像机和左摄像机的位置坐标的曲线图。
图13A～图13C是示出时刻t＝1的激光测距部、右摄像机和左摄像机的位置坐标的曲线图。
图14A～图14C是示出时刻t＝2的激光测距部、右摄像机和左摄像机的位置坐标的曲线图。
图15A～图15C是示出时刻t＝3的激光测距部、右摄像机和左摄像机的位置坐标的曲线图。
图16A是以表形式示出由激光测距部得到的照射角度和测定距离的数值例的图，图16B是示出图16A所示的照射角度与测定距离之间的关系的曲线图。
图17是示出时刻t＝0、1、2的右摄像机图像和左摄像机图像的例子的图。
图18是示出实施方式1的姿态估计装置的概略结构的框图。
图19A和图19B是概略地示出实施方式1的姿态估计装置的硬件结构例的框图。
图20是概略地示出实施方式1的姿态估计处理的步骤的一例的流程图。
图21A是概略地示出时刻t＝t0、t1的实施方式1的观测装置的配置的图，图21B是示出在时刻t＝t0、t1分别取得的摄像图像的例子的图，图21C是概略地示出时刻t＝t0、t1的观测装置与测距点之间的位置关系的图。
图22A是示出在时刻t＝t0、t1分别取得的摄像图像的另一例的图，图22B是概略地示出时刻t＝t0、t1的观测装置与测距点之间的位置关系的图。
图23A和图23B是以表形式示出实施方式1的观测结果和计算结果的数值例的图。
图24是以表形式示出实施方式1的另一个观测结果和计算结果的数值例的图。
图25是以表形式示出图像坐标的数值例的图。
图26是示出误差向量的计算例的图。
图27是示出计划矩阵的一例的图。
图28是示出校正向量的计算例的图。
图29是以表形式示出时刻t＝0.00～3.00的姿态角的计算结果的图。
图30是示出本发明的实施方式2的观测系统的概略结构的框图。
图31是示出实施方式2的姿态估计装置的概略结构的框图。
图32是示出实施方式2的飞行路线设定装置的概略结构的框图。
具体实施方式
下面，参照附图对本发明的各种实施方式进行详细说明。另外，附图全体中标注有相同标号的结构要素具有相同结构和相同功能。
实施方式1
图1是示出本发明的实施方式1的观测系统1的概略结构的框图。如图1所示，该观测系统1构成为具有在搭载于作为飞行体的航空器2的状态下使用的观测装置10、存储由该观测装置10得到的观测数据的存储器17、根据该观测数据估计航空器2的飞行姿态(飞行中的姿态)的姿态估计装置30、以及设定航空器2的飞行路线的飞行路线设定装置40。能够通过以重力方向为基准的3个旋转角的组合来确定某个瞬间的航空器2的姿态状态。例如，能够通过作为航空器2的滚动方向、俯仰方向和偏航方向的姿态角的滚动角、俯仰角和偏航角这3个旋转角的组合来确定航空器2的姿态状态。
另外，本实施方式的姿态估计装置30和飞行路线设定装置40与航空器2在物理上分离而分别设置，但是不限于此。姿态估计装置30和飞行路线设定装置40中的一方或双方也可以搭载于航空器2。
航空器2具有产生该航空器2的推力(推进力)的推力产生机构22、存储器17、以及使用该存储器17中存储的数据对推力产生机构22的动作进行控制的飞行控制装置21。航空器2可以是由该航空器2中搭乘的飞行员操纵的有人航空器，或者，也可以是无人航空器(Unmanned Aerial Vehicle：UAV)。推力产生机构22具有用于构成固定翼机或旋转翼机的螺旋桨、转子或喷气式发动机等推力产生源。飞行控制装置21通过控制推力产生机构22，能够自动控制机体的位置和姿态，通过按照存储器17中存储的路线数据(确定飞行路线的数据)对推力产生机构22进行控制，能够控制机体的速度、进路和姿态。通过飞行路线设定装置40设定路线数据。飞行路线设定装置40的结构容后再述。
作为存储器17，例如能够使用SD(Secure Digital：安全数字)存储卡等便携式的非易失性存储器即移动记录介质。存储器17不仅用于存储路线数据，还用于存储由观测装置10得到的观测数据(摄像图像组、测距数据、测位数据和实际姿态数据)和观测装置10中的数据取得周期。
图2是示出航空器2的结构例的立体图。图2所示的航空器2是具有机体20和安装在该机体20的周缘部的多个推力产生器22A～22F的无人航空器(UAV)。虽然没有图示，但是，在机体20安装有图1所示的观测装置10、存储器17和飞行控制装置21。推力产生器22A～22F分别由旋转翼(转子)构成。飞行控制装置21能够使航空器2沿着由从存储器17读出的路线数据确定的飞行路线飞行。即，飞行控制装置21通过按照该路线数据单独控制推力产生器22A～22F的动作，能够使航空器2沿着图2的Z轴方向上升或下降，或者沿着X-Y面中的任意方向以指定的飞行速度水平移动，或者在空中静止(悬停)指定的时间。观测装置10安装在机体20的下部，以能够观测铅直下方(Z轴正方向)。
如图1所示，观测装置10构成为具有对地面进行拍摄的摄像部11、测定从航空器2到地面的一个或多个测距点的距离和它们的角度方向的激光测距部13、利用多个GNSS(Global Navigation Satellite System：全球导航卫星系统)卫星对观测装置10的当前位置进行测位的GNSS测位部14、检测以重力方向为基准的航空器2的姿态并输出实际姿态数据的姿态传感器15、以及对这些摄像部11、激光测距部13、GNSS测位部14和姿态传感器15各自的动作进行控制的观测控制部16。
摄像部11具有作为第1摄像部的左摄像机12L和作为第2摄像部的右摄像机12R。左摄像机12L和右摄像机12R分别例如由具有光学镜头和固体摄像元件的数字摄像机构成即可。作为固体摄像元件，可举出CCD(Charge-Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器。右摄像机12R和左摄像机12L的配置例容后再述。观测控制部16将由摄像部11拍摄到的各摄像图像与观测日期时间(摄像日期时间)关联起来存储在存储器17中。
观测控制部16控制左摄像机12L和右摄像机12R，按照存储器17中存储的预定的每个数据取得周期即摄像周期(例如按照每1秒)执行地表的摄像。关于摄像周期，能够在航空器2实际飞行前，由用户使用飞行路线设定装置40设定该摄像周期的值。
激光测距(Laser Ranging)部13一边改变照射角度一边朝向作为测量对象的地表照射激光束，从该地表的一个或多个测距点分别接收反射激光束。激光测距部13能够根据该受光结果，计测从观测装置10的基准点(具体而言为激光测距部13的照射基准点)到各测距点的距离L，并且计测表示相对于该各测距点的角度方向的照射角度θ。激光测距部13例如按照TOF(Time of Flight：飞行时间)方式计测从朝向各测距点射出激光束的时点到反射激光束返回来的时点的传播时间，根据该计测结果计测与各测距点之间的距离L和照射角度θ即可。照射角度θ是计测与预定的特定方向之间的角度。观测控制部16将表示与各测距点之间的距离L和照射角度θ的测距数据与观测日期时间(测距日期时间)关联起来存储在存储器17中。
GNSS测位部14从多个GNSS卫星接收GNSS(全球导航卫星系统)的导航信号，根据该导航信号对测地坐标系下的观测装置10的当前位置(具体而言为激光测距部13的照射基准点的当前位置)进行测位。表示该测位结果的测位数据被输出到观测控制部16。测地坐标系例如能够使用WGS(World Geodetic System：世界大地测量系统)-84坐标系或ITRF(International Terrestrial Reference Frame：国际陆地参照基准)坐标系，但是不限于此。作为GNSS，例如能够利用美国运用的GPS(Global Positioning System：全球定位系统)、俄罗斯联邦运用的GLONASS(GLObal NAvigation Satellite System：格洛纳斯)、欧盟运用的Galileo系统或日本运用的QZSS(Quasi-Zenith Satellite System：准天顶卫星系统)。观测控制部16将该测位数据与观测时刻(测位时刻)关联起来存储在存储器17中。
观测控制部16能够控制GNSS测位部14，按照存储器17中存储的预定的每个数据取得周期即测位周期(例如按照每1秒)执行测位。关于测位周期，能够在航空器2实际飞行前，由用户使用飞行路线设定装置40设定测位周期的值。观测控制部16也可以按照与上述摄像周期同步的测位周期使GNSS测位部14执行测位。
另外，设GNSS测位部14的测位基准点与激光测距部13的照射基准点之间的差相对于GNSS测位部14的测定精度在容许范围内。即，视为GNSS测位部14的测位基准点配置在与激光测距部13的照射基准点相同的位置。在本实施方式中，激光测距部13的照射基准点的位置视为观测装置10的位置。
姿态传感器15检测作为静态加速度的重力加速度的方向即重力方向，检测该重力方向与该姿态传感器15的基准方向之间的角度信息作为实际姿态数据。具体而言，姿态传感器15能够检测绕航空器2的行进方向(即X轴方向)的旋转角即滚动角以及绕与该行进方向和重力方向(即Z轴方向)双方垂直的Y轴方向的旋转角即俯仰角的组合，作为实际姿态数据。这种姿态传感器15例如可以是单体能够检测2个旋转角的双轴式重力方向传感器，或者也可以是2个单轴式重力方向传感器的组合。这里，双轴式加速度传感器的2个基准轴或2个单轴式加速度传感器的组合的2个基准轴被配置成相互以90度交叉。并且，双轴式重力方向传感器或单轴式重力方向传感器例如能够由压电电阻型或静电电容型加速度传感器构成，也可以构成为MEMS(Micro Eletro Mechanical Systems：微机电系统)器件。
本实施方式的航空器2按照由预先设定的路线数据确定的每个周期进行悬停。在该悬停时，姿态传感器15检测航空器2的滚动角和俯仰角的组合作为实际姿态数据。观测控制部16将该实际姿态数据与观测日期时间(检测日期时间)关联起来存储在存储器17中。在航空器2从水平状态倾斜时，绕X轴方向的滚动角、绕Y轴方向的俯仰角和绕Z轴方向的偏航角这3种姿态角中的至少一个姿态角成为非零的值。为了确定某个时刻的航空器2的完全的姿态状态，不仅需要取得滚动角和俯仰角，还需要取得偏航角。如后所述，由姿态估计装置30估计该偏航角。
接着，对飞行路线设定装置40的结构进行说明。图3是示出本发明的实施方式1的飞行路线设定装置40的概略结构的框图。
如图3所示，飞行路线设定装置40具有输入输出接口部(输入输出I/F部)41、输入数据处理部42、路线数据生成部43和存储器接口部(存储器I/F部)44。输入输出接口部41与操作输入部46和显示部47连接。在存储器接口部44拆装自如地装配有作为移动记录介质的存储器17。
操作输入部46检测用户的操作输入，将该检测到的操作输入输出到输入输出接口部41。操作输入部46是具有受理用户的操作输入的输入按钮或输入键的输入器件。例如，能够使用键盘或鼠标或触摸面板等指示器件作为操作输入部46。输入输出接口部41能够将该操作输入作为指示航空器2的飞行路线或上述数据取得周期的设定数据供给到输入数据处理部42。并且，输入数据处理部42还能够使显示部47显示设定用画面。用户能够一边视觉辨认该设定用画面，一边对操作输入部46进行操作而输入设定数据。显示部47例如由液晶显示面板或有机EL显示面板等图像显示器件构成即可。
输入数据处理部42受理指示飞行路线或数据取得周期的设定数据时，对该设定数据进行解释，将该解释结果输出到路线数据生成部43。路线数据生成部43根据该解释结果生成确定航空器2的飞行路线的路线数据，或者生成确定数据取得周期的周期数据。存储器接口部44将该路线数据或该周期数据存储在存储器17中。在存储器17中存储路线数据或周期数据后，用户能够从飞行路线设定装置40取下该存储器17而装配到该航空器2。
上述飞行路线设定装置40的硬件结构例如能够通过工作站或主帧等CPU(CentralProcessing Unit：中央处理单元)内置的计算机实现。或者，飞行路线设定装置40的硬件结构也可以通过DSP(Digital Signal Processor：数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit：面向特定用途的集成电路)或FPGA(Field-ProgrammableGate Array：现场可编程门阵列)或它们的组合等LSI(Large Scale Integrated circuit：大规模集成电路)实现。
图4A是示出飞行路线设定装置40的硬件结构例即信息处理装置40S的概略结构的框图。如图4A所示，信息处理装置40S构成为具有包含CPU60c的处理器60、存储器接口电路(存储器I/F电路)61、用作处理器60的作业用存储器的RAM(Random Access Memory：随机存取存储器)62、存储软件和固件中的一方或双方的计算机程序的非易失性存储器63、与操作输入部46连接的输入接口电路(输入I/F电路)64A、以及与显示部47连接的显示接口电路(显示I/F电路)64B。该信息处理装置40S的结构要素60～63、64A、64B经由总线电路等信号线路65而相互连接。存储器接口电路61是实现图3的存储器接口部44的功能的电路，输入接口电路64A和显示接口电路64B是实现图3的输入输出接口部41的功能的电路。
处理器60能够从非易失性存储器63读出并执行软件或固件或它们的组合即计算机程序，由此实现图3的输入数据处理部42和路线数据生成部43的功能。作为非易失性存储器63，例如能够使用ROM(Read Only Memory：在只读存储器)、闪存、EPROM(ErasableProgrammable ROM：可擦可编程只读存储器)、EEPROM(Electrically EPROM：电可擦可编程只读存储器)、磁盘或光盘，但是不限于此。
图4B是示出飞行路线设定装置40的另一个硬件结构例即信息处理装置40H的概略结构的框图。如图4B所示，信息处理装置40H构成为具有DSP、ASIC或FPGA等专用硬件的处理电路66、存储器接口电路(存储器I/F电路)67、与操作输入部46连接的输入接口电路(输入I/F电路)68A、以及与显示部47连接的显示接口电路(显示I/F电路)68B。该信息处理装置40H的结构要素66、67、68A、68B经由总线电路等信号线路69而相互连接。存储器接口电路67是实现图3的存储器接口部44的功能的电路，输入接口电路68A和显示接口电路68B是实现图3的输入输出接口部41的功能的电路。处理电路66实现输入数据处理部42和路线数据生成部43的功能。
接着，以下参照图5对上述飞行路线设定装置40的动作例进行说明。图5是概略地示出实施方式1的飞行路线设定处理的步骤的一例的流程图。
参照图5，输入数据处理部42待机到从操作输入部46经由输入输出接口部41输入设定数据为止(步骤ST1：否)。在输入设定数据时(步骤ST1：是)，输入数据处理部42对该输入的设定数据进行解释(步骤ST2)。该解释结果被供给到路线数据生成部43。用户能够输入规定格式的设定命令作为设定数据。输入数据处理部42在解释成未输入设定结束命令的情况下(步骤ST3：否)，使显示部47显示“请输入下一个设定数据”等进一步提示输入的消息(步骤ST4)。然后，输入数据处理部42执行步骤ST1。
例如，当指示在日期“2015年12月24日”的时刻“21时56分30秒”通过由纬度“35度21分14.572秒”和经度“139度31分52.676秒”指定的地点的情况下，用户能够输入以下的例1的通过命令(双引号除外)作为设定命令。纬度和经度的表述基于WGS-84坐标系。
例1：“35.354048、139.531299、2015/12/24/21：56：30”
并且，当指示在日期“2015年12月24日”的时刻“21时56分30秒”在由纬度“35度21分14.572秒”和经度“139度31分52.676秒”指定的地点悬停“10秒”的情况下，用户能够输入以下的例2的悬停命令(双引号除外)作为设定命令。
例2：“35.354048、139.531299、2015/12/24/21：56：30 10secHov”
并且，在将右摄像机图像的数据取得周期(取得间隔)设定成1秒的情况下，用户能够输入以下的例3的数据取得间隔设定命令(双引号除外)。
例3：“Set RightCamera Interval 1sec”
然后，用户能够输入以下的例4的设定结束命令(双引号除外)。
例4：“END”
在输入数据处理部42解释成输入了设定结束命令的情况下(步骤ST3：是)，路线数据生成部43根据设定结束命令以外的已输入设定命令生成路线数据(步骤ST5)，将该路线数据经由存储器接口部44存储在存储器17中(步骤ST6)。另外，在输入了数据取得间隔设定命令的情况下，在步骤ST5中生成周期数据，在步骤ST6中将该周期数据存储在存储器17中。至此，飞行路线设定处理完成。
图6是以表形式示出路线数据的内容的一例的图。如图6所示，路线数据是按照每1件由“地点ID(地点标识符)”、“纬度”、“经度”、“日期”和“时刻”构成的记录的集合。图7是用于说明图6的表所示的从地点A1到地点A5的飞行路线的图。在图7的例子中，航空器2在2016年yy月zz日的10时30分30秒在地点A1的上空出发。然后，航空器2在10时31分30秒到达地点A2的上空，悬停从10时31分30秒到10时32分00秒的30秒。接着，航空器2在10时32分00秒在地点A2的上空出发。然后，航空器2在10时34分00秒通过地点A3的上空并转弯，朝向地点A4的上空飞行。航空器2在10时36分00秒通过地点A4的上空并转弯，朝向地点A5的上空飞行。然后，航空器2在10时38分00秒到达地点A5的上空。地点A1～A5的各地点是由“纬度”和“经度”指定的点。
并且，路线数据生成部43根据指定的飞行路线自动计算地点间的各区间内的航空器2的飞行速度。路线数据生成部43能够将指定各区间内的该飞行速度的数据作为路线数据的一部分存储在存储器17中。
另外，在图7的例子中，航空器2的飞行路径是直线路径，但是不限于此。例如，路线数据生成部43也可以通过多项式近似来计算连接多个地点的曲线路径。通过设定曲线路径，能够防止航空器2的急转弯，因此，能够减轻航空器2的姿态控制的负荷。
并且，如果用户输入表示多个地点的坐标数据和计测开始时间，则路线数据生成部43还能够根据该坐标数据和该计测开始时间自动生成路线数据。该情况下，优选路线数据生成部43生成该路线数据，以在最短时间内完成计测，并且实现较高的计测精度。图8是概略地示出由自动生成的路线数据确定的飞行路线的一例的图。在输入了表示附图右下方的计测开始地点SP、附图左下方的通过地点、附图右上方的通过地点和附图左上方的计测结束地点EP这4个地点的坐标数据和计测开始时间的情况下，自动生成该路线数据。
在图8的例子中，飞行路线用带箭头的粗线表示。如图8所示，航空器2在计测开始地点SP与附图左侧(西侧)的通过地点之间的第1飞行路线上从东侧朝向西侧沿着单轴方向飞行后，在与该第1飞行路线并行且在北侧相邻的第2飞行路线上从西侧朝向东侧沿着单轴方向飞行。这里，航空器2在第1飞行路线和第2飞行路线上分别飞行时的测距用激光束的扫描范围用图案相互不同的阴影表示。如图8所示，航空器2在第1飞行路线上飞行时的测距用激光束的扫描范围和航空器2在第1飞行路线上飞行时的测距用激光束的扫描范围相互重叠。由此，激光测距部13能够以较高的计测精度生成测距数据。
并且，如图8所示，航空器2在接近计测开始地点SP的通过地点与附图上侧(北侧)的通过地点之间的第3飞行路线上从南侧朝向北侧沿着单轴方向飞行后，在与该第3飞行路线并行且在西侧相邻的第4飞行路线上从北侧朝向南侧沿着单轴方向飞行。然后，航空器2在与第4飞行路线并行且在西侧相邻的第5飞行路线上从南侧朝向北侧沿着单轴方向飞行，在与该第5飞行路线并行且在西侧相邻的第6飞行路线上从北侧朝向南侧沿着单轴方向飞行。然后，航空器2在与第6飞行路线并行且在西侧相邻的第7飞行路线上从南侧朝向北侧沿着单轴方向飞行到计测结束地点EP。此时，航空器2在第3飞行路线和第4飞行路线上飞行时的测距用激光束的扫描范围相互重叠，航空器2在第4飞行路线和第5飞行路线上飞行时的测距用激光束的扫描范围也相互重叠，航空器2在第5飞行路线和第6飞行路线上飞行时的测距用激光束的扫描范围也相互重叠。
这样，路线数据生成部43生成路线数据，使得与相互相邻的飞行路线分别对应的测距用激光束的扫描范围相互重叠，因此，激光测距部13能够多次测定重叠的扫描范围内的与各测距点之间的距离L和角度方向θ。由此，激光测距部13能够根据该测定结果例如对该测定结果进行平均，由此生成误差较小的测距数据。并且，如图8所示，生成在东西方向上重叠的扫描范围和在南北方向上重叠的扫描范围，因此，能够生成东西方向的误差较小的测距数据，还能够生成南北方向的误差较小的测距数据。特别地，关于在东西方向和南北方向双方中重叠的扫描范围内的测距点，能够生成在东西方向和南北方向双方中误差较小的测距数据。
接着，对图1所示的观测装置10的结构进行说明。图9是概略地示出观测装置10中的由激光测距部13和摄像部11构成的单元的结构例的立体图。
如图9所示，激光测距部13具有照射基准点RP，朝向铅直下方(Z轴正方向)的地面出射激光束。本实施方式的激光测距部13能够使激光束在与航空器2的行进方向(即X轴方向)和Z轴方向双方垂直的Y轴方向上进行扫描。右摄像机12R和左摄像机12L配置在关于照射基准点RP在几何学上相互对称的位置，并且，配置成能够拍摄铅直下方的地面。右摄像机12R与从激光测距部13向Y轴负方向延伸的臂19R的一端部连接，左摄像机12L与从激光测距部13向Y轴正方向延伸的臂19L的一端部连接。例如，右摄像机12R配置在从激光测距部13的照射基准点RP向Y轴负方向分开1米的位置，左摄像机12L配置在从照射基准点RP向Y轴正方向分开1米的位置即可。
图10A是从X轴正方向观察时的由激光测距部13和摄像部11构成的单元的概略结构图，图10B是从Z轴负方向观察时的该单元的概略结构图，图10C是从Y轴正方向观察时的该单元的概略结构图。图10A所示的激光测距部13对地面的测距点Kp照射激光束，从该测距点Kp接收反射激光束。激光测距部13能够计测照射基准点RP与测距点Kp之间的距离L，并且计测照射基准点RP与测距点Kp之间的线段与Y轴正方向所成的角度作为照射角度θ。激光测距部13能够使从X轴正方向观察时以照射基准点RP为中心的照射角度θ顺时针地按照每18度变化，利用激光束对地面进行扫描。另外，从照射基准点RP向铅直下方(Y轴正方向)照射激光束时的照射角度θ为90度。
在本实施方式中，假设航空器2的位置与照射基准点RP的位置相同。由此，在航空器2向X轴正方向飞行时，激光测距部13、右摄像机12R和左摄像机12L也向X轴正方向飞行。图11是以表形式示出伴随着航空器2的飞行的激光测距部13的照射基准点RP的位置坐标(XO、YO、ZO)的一例的图。图11的表示出航空器2沿着X轴正方向以一定速度飞行3秒时的位置。在图11的表中，示出时刻t＝0、1、2、3(单位：秒)的各个照射基准点RP的位置坐标(XO、YO、ZO)的坐标值。另外，位置坐标(XO、YO、ZO)是应该根据GNSS测位部14的测位结果计算的测位坐标，但是，为了便于说明，图11的表所示的坐标值XO、YO、ZO是以时刻t＝0的位置坐标为基准的值(单位：米)。
图12A、图12B和图12C是示出与图11所示的时刻t＝0的照射基准点RP的位置坐标对应的右摄像机12R、左摄像机12L和激光测距部13各自的位置的曲线图。并且，图13A、图13B和图13C是示出与图11所示的时刻t＝1的照射基准点RP的位置坐标对应的右摄像机12R、左摄像机12L和激光测距部13各自的位置的曲线图，图14A、图14B和图14C是示出与图11所示的时刻t＝2的照射基准点RP的位置坐标对应的右摄像机12R、左摄像机12L和激光测距部13各自的位置的曲线图，图15A、图15B和图15C是示出与图11所示的时刻t＝2的照射基准点RP的位置坐标对应的右摄像机12R、左摄像机12L和激光测距部13各自的位置的曲线图。图12A、图13A、图14A和图15A示出X-Z面中的位置坐标，图12B、图13B、图14B和图15B示出Y-Z面中的位置坐标，图12C、图13C、图14C和图15C示出X-Y面中的位置坐标。这里，右摄像机12R的位置是右摄像机12R的投影中心的位置，用三角形的记号表示。左摄像机12L的位置是左摄像机12L的投影中心的位置，用四边形的记号表示。而且，激光测距部13的位置是照射基准点RP的位置，用圆形记号表示。
在时刻t＝0，如图12A～图12C所示，右摄像机12R、激光测距部13和左摄像机12L沿着Y轴方向排列。在时刻t＝1，如图13A～图13C所示，右摄像机12R、激光测距部13和左摄像机12L向X轴正方向行进1米，同时向Y轴正方向移位0.5米。在时刻t＝2，如图14A～图14C所示，右摄像机12R、激光测距部13和左摄像机12L进一步向X轴正方向行进1米，同时向Z轴负方向移位0.5米。然后，在时刻t＝3，如图15A～图15C所示，右摄像机12R、激光测距部13和左摄像机12L进一步向X轴正方向行进1米，同时向Y轴负方向移位0.5米，并且向Z轴负方向移位0.5米。由此，时刻t＝3的Z轴方向的位置返回到时刻t＝0的Z轴方向的位置。
在实际的飞行环境下，即使意图沿着X-Y面的水平飞行，航空器2由于风等外在因素的影响也很难进行水平飞行。例如，航空器2可能在绕X轴的滚动方向、绕Y轴的俯仰方向和绕Z轴的偏航方向上分别倾斜的状态下飞行。
接着，图16A和图16B是示出伴随着航空器2的飞行的激光测距部13的测定结果(距离L和照射角度θ)的例子的图。图16A是以表形式示出时刻t＝0.00～2.15(单位：秒)的期间内的激光测距部13的测定结果的变化的图，图16B是以曲线图示出时刻t＝0.00～2.15的期间内的激光测距部13的测定结果的变化的图。在图16B中，白色三角形的记号表示在时刻t＝0.00～0.15计测出的距离L和照射角度θ，黑色三角形的记号表示在时刻t＝1.00～1.15计测出的距离L和照射角度θ，白色四边形的记号表示在时刻t＝2.00～2.15计测出的距离L和照射角度θ。
如图16A所示，激光测距部13的测定结果按照每一次测定将测定的时刻t、照射角度θ和距离L的组合作为1个记录存储在存储器17中。在图16A的例子中，在1秒内进行4次测定。
右摄像机12R和左摄像机12L分别能够例如按照每1秒将铅直下方的地面的矩形范围作为摄像范围进行拍摄。图17是示出时刻t＝0、1、2(单位：秒)的摄像图像组的例子的图。在时刻t＝0，拍摄到右摄像机图像R0和左摄像机图像L0，在时刻t＝1，拍摄到右摄像机图像R1和左摄像机图像L1，在时刻t＝2，拍摄到右摄像机图像R2和左摄像机图像L2。这种摄像图像组存储在存储器17中。
接着，对图1所示的姿态估计装置30的结构进行说明。图18是示出本发明的实施方式1的姿态估计装置30的概略结构的框图。
如图18所示，姿态估计装置30具有存储器接口部(存储器I/F部)31、数据取得部32、坐标计算部33、图像匹配部34和姿态估计部35。坐标计算部33具有测距点坐标计算部33A和图像坐标计算部33B。在存储器接口部31拆装自如地装配有作为移动记录介质的存储器17。
数据取得部32从存储器17经由存储器接口部31取得包含测位数据、测距数据、实际姿态数据和摄像图像组的观测数据。在本实施方式中，姿态估计装置30不与观测装置10直接连接。因此，为了使数据取得部32取得观测数据，用户需要从航空器2取下存储器17，将该取下的存储器17装配到姿态估计装置30。另外，后述的实施方式2的姿态估计装置30A能够通过无线通信从观测装置10A取得观测数据。
测距点坐标计算部33A能够使用该观测数据中的测位数据、测距数据、实际姿态数据以及表示航空器2的姿态的未知参数的估计值，计算WGS-84坐标系等测地坐标系下的一个或多个测距点的位置坐标(以下也称作“测地坐标”)。现在，设利用Q(p)＝[XG、YG、ZG]T表示第p个测距点的测地坐标的三维向量。这里，上标T是表示矩阵的转置的记号。测距点坐标计算部33A例如能够按照下式(1)计算第p个测距点的测地坐标Q(p)。
这里，[XO、YO、ZO]T是表示根据测位数据计算出的照射基准点RP的位置坐标的三维位置向量。并且，D是以照射基准点RP为基准根据测距数据计算出的测距点的相对位置向量。换言之，相对位置向量D是表示以照射基准点RP为原点的测距点的位置坐标的向量。测距点坐标计算部33A例如能够按照下式(2)计算相对位置向量D。
D＝[0，L cosθ，L sinθ]T (2)
并且，在上式(1)中，M(ω)是使三维坐标绕X轴方向旋转了旋转角ω的旋转矩阵，是使三维坐标绕Y轴方向旋转了旋转角的旋转矩阵，M(κ)是使三维坐标绕Z轴方向旋转了旋转角κ的旋转矩阵。这些旋转矩阵M(ω)、M(κ)例如能够通过下式(3)表现。
在不存在用于计算测位坐标Q(p)的时刻t的旋转角ω、κ的情况下，测距点坐标计算部33A使用摄像时刻t＝ti的旋转角ωi、κi和其他摄像时刻t＝tj(i≠j)的旋转角ωj、κj对摄像时刻ti、tj之间的时刻t的旋转角ω、κ进行插值。例如，测距点坐标计算部33A能够通过下式(3a)对旋转角ω、κ进行插值。
在上式(3a)中，r是插值系数，例如通过下式(3b)给出。
这里，Δt是采样间隔(＝|ti-tj|)，floor(x)是对实数x给出x以下的最大整数的取整函数。
旋转角ω对应于绕X轴方向的滚动角，旋转角对应于绕Y轴的俯仰角，旋转角κ对应于绕Z轴的偏航角。在航空器2倾斜时，绕X轴方向的滚动角、绕Y轴的俯仰角和绕Z轴的偏航角这3种姿态角中的至少一个姿态角成为非零的值。由于该航空器2的倾斜，根据测距数据计算出的相对位置向量D产生误差。旋转矩阵M(ω)、M(κ)对由于航空器2的倾斜而引起的相对位置向量D的误差进行校正。
如上所述，本实施方式的姿态传感器15能够检测表示航空器2的姿态的滚动角和俯仰角的组合作为实际姿态数据，但是未检测偏航角。由此，在检测到一定精度的实际姿态数据的情况下，测距点坐标计算部33A能够根据该实际姿态数据得知确定旋转矩阵M(ω)、的旋转角ω、但是确定旋转矩阵M(κ)的旋转角κ是未知参数。该情况下，测距点坐标计算部33A将旋转角κ的估计值的初始值设定成0度。由此，测距点坐标计算部33A能够按照上式(1)计算各测距点的测地坐标Q(p)。
另一方面，在未检测到实际姿态数据的情况下或实际姿态数据的检测精度较低的情况下，旋转角ω、κ全部成为未知参数。在未检测到实际姿态数据的情况下，测距点坐标计算部33A将旋转角ω、κ的估计值的初始值全部设定成0度。另一方面，在实际姿态数据的检测精度较低的情况下，测距点坐标计算部33A将旋转角ω、的估计值的初始值设定成基于该实际姿态数据的值，将旋转角κ的估计值的初始值设定成0度。由此，测距点坐标计算部33A能够按照上式(1)计算各测距点的测地坐标Q(p)。如后所述，根据非线性最小二乘法计算针对这些未知参数的估计值的校正值。
图像坐标计算部33B针对各测距点对测地坐标Q(p)实施从测地坐标系到右摄像机12R的投影面坐标系(图像坐标系)的第1投影转换，计算作为二维图像坐标的第1投影点坐标SR，并且，针对各测距点对测地坐标Q(p)实施从测地坐标系到左摄像机12L的投影面坐标系(图像坐标系)的第2投影转换，计算作为二维图像坐标的第2投影点坐标SL。这些第1投影转换和第2投影转换的详细情况容后再述。
图像匹配部34执行从摄像图像组选择出的2个摄像图像(第1摄像图像和第2摄像图像)之间的图像匹配，检测这2个摄像图像的一方中出现的测距点的图像坐标。
姿态估计部35计算针对上述未知参数的估计值的校正量，以使由图像匹配部34检测到的图像坐标和与其对应的投影点坐标SL或SR之间的差分的大小变小。这里，姿态估计部35能够根据后述的非线性最小二乘法计算该校正量。姿态估计部35能够使用该校正量对未知参数的估计值进行校正。
上述姿态估计装置30的硬件结构例如能够通过工作站或主帧等CPU内置的计算机实现。或者，姿态估计装置30的硬件结构也可以通过DSP、ASIC或FPGA或它们的组合等LSI实现。
图19A是示出姿态估计装置30的硬件结构例即信息处理装置30S的概略结构的框图。如图19A所示，信息处理装置30S构成为具有包含CPU50c的处理器50、存储器接口电路(存储器I/F电路)51、用作处理器50的作业用存储器的RAM52、以及存储软件和固件中的一方或双方的计算机程序的非易失性存储器53。该信息处理装置30S的结构要素50～53经由总线电路等信号线路54而相互连接。存储器接口电路51是实现图18的存储器接口部31的功能的电路。处理器50能够从非易失性存储器53读出并执行软件或固件或它们的组合即计算机程序，由此实现图18的数据取得部32、坐标计算部33、图像匹配部34和姿态估计部35的功能。作为非易失性存储器53，例如能够使用ROM、闪存、EPROM、EEPROM、磁盘或光盘，但是不限于此。
图19B是示出姿态估计装置30的另一个硬件结构例即信息处理装置30H的概略结构的框图。如图19B所示，信息处理装置30H具有DSP、ASIC或FPGA等专用硬件的处理电路56、存储器接口电路(存储器I/F电路)57。这些处理电路56和存储器接口电路57经由总线电路等信号线路58而相互连接。存储器接口电路57是实现图18的存储器接口部31的功能的电路。处理电路56实现图18的数据取得部32、坐标计算部33、图像匹配部34和姿态估计部35的功能。
另外，也可以是数据取得部32、坐标计算部33、图像匹配部34和姿态估计部35的功能的一部分通过专用硬件实现，并且，其功能的另一部分通过软件或固件实现。例如，也可以是，数据取得部32的功能通过专用硬件的处理电路实现，并且，坐标计算部33、图像匹配部34和姿态估计部35的功能通过包含CPU的处理器实现。
接着，以下参照图20对上述姿态估计装置30的动作例进行说明。图20是概略地示出实施方式1的姿态估计处理的步骤的一例的流程图。
参照图20，首先，数据取得部32取得包含测位数据、测距数据、实际姿态数据和摄像图像组的观测数据(步骤ST11)。如上所述，实际姿态数据是航空器2倾斜时表示非零的姿态角的数据。图21A～图21C是示出航空器2未倾斜时的摄像图像IMG0、IMG1与测距点Kp之间的关系的例子的图，图22A和图22B是示出航空器2倾斜时的摄像图像IMG0、IMG1与测距点Kp之间的关系的例子的图。图21A示出时刻t0、t1的右摄像机12R和左摄像机12L的配置例，图21B示出在时刻t0由左摄像机12L拍摄到的左摄像机图像IMG0和在时刻t1由右摄像机12R拍摄到的右摄像机图像IMG1。图21C是概略地示出时刻t0、t1的右摄像机12R和左摄像机12L与测距点Kp之间的位置关系的图。在航空器2未倾斜时，如图21B所示，在左摄像机图像IMG0和右摄像机图像IMG1中出现表示相同测距点Kp的测距点像80、81。另一方面，如图22B所示，在时刻t1航空器2倾斜时，在右摄像机图像IMG1中，如图22A所示，在从图21B的测距点像81的位置向右方移位Δu的位置出现测距点像82。
在步骤ST11之后，坐标计算部33中的测距点坐标计算部33A确定作为未知参数的未知姿态角，对针对该未知姿态角的估计值的校正量进行初始化(步骤ST12)。具体而言，测距点坐标计算部33A能够将未知姿态角的估计值全部初始化成0度。例如，在时刻t0仅滚动角、俯仰角和偏航角中的偏航角未知且在时刻t1滚动角、俯仰角和偏航角全部未知的情况下，时刻t0的偏航角以及时刻t1的滚动角、俯仰角和偏航角成为未知姿态角，因此，测距点坐标计算部33A能够将这些未知姿态角的估计值设定成初始值(0度)。
接着，测距点坐标计算部33A根据测位数据、测距数据、实际姿态数据和未知的姿态角的估计值，计算测地坐标系下的各测距点的位置坐标即测地坐标Q(p)(步骤ST13)。测地坐标Q(p)的计算方法如上所述。
接着，图像坐标计算部33B对各测距点的测地坐标Q(p)执行从测地坐标系到右摄像机12R的投影面坐标系的第1投影转换，计算作为二维图像坐标的第1投影点坐标(步骤ST14)，进而，对各测距点的测地坐标Q(p)执行从测地坐标系到左摄像机12L的投影面坐标系的第2投影转换，计算作为二维图像坐标的第2投影点坐标(步骤ST15)。
在步骤ST14、ST15中，具体而言，首先，图像坐标计算部33B从摄像图像组中选择在摄像时刻t＝ti拍摄到的左摄像机图像和在摄像时刻t＝tj(i≠j)拍摄到的右摄像机图像的对。摄像时刻ti、tj以摄像图像的采样间隔(数据取得周期)相互分开。下面，将该对的选择称作配对。并且，将该右摄像机图像称作第1摄像图像，将该左摄像机图像称作第2摄像图像。为了便于说明，在本实施方式中，设摄像部11以1秒间隔拍摄测距点。在本实施方式中，摄像时刻ti、tj是相互不同的时刻，但是不限于此，也可以是相同时刻。并且，在本实施方式中，选择左摄像机图像和右摄像机图像的对，但是不限于此，也可以选择在相互不同的时刻从不同的位置拍摄到的2张左摄像机图像的对、或在相互不同的时刻从不同的位置拍摄到的2张右摄像机图像的对。通过使用这种摄像图像的对，能够在航空器2的姿态估计中利用与航空器2的姿态对应的图像上的被摄体的变化。换言之，在航空器2的姿态估计中利用与航空器2的姿态对应的图像上的被摄体的变化，因此，可以不使用左摄像机12L和右摄像机12R的视野稳定用的稳定器。
接着，图像坐标计算部33B按照下式(4L)将测地坐标Q(p)转换成以左摄像机12L的投影中心为基准的相对位置向量CLi (p)，按照下式(4R)将测地坐标Q(p)转换成以右摄像机12R的投影中心为基准的相对位置向量CRj (p)。
这里，确定旋转矩阵M(-ωi)、M(-κi)的-ωi、-κi分别是与摄像时刻t＝ti的滚动角、俯仰角和偏航角(包含未知姿态角的估计值)对应的量。并且，QL(ti)是摄像时刻ti的左摄像机12L的投影中心坐标，QR(tj)是时刻tj的右摄像机12R的投影中心坐标。投影中心坐标QL(ti)、QR(tj)通过下式(5L)、(5R)给出。
这里，RLC是左摄像机12L的投影中心的相对位置向量，RRC是右摄像机12R的投影中心的相对位置向量。例如，相对位置向量RLC、RRC通过下式(6)给出。
RLC＝[0.0，-1.0，0.0]T，RRC＝[0.0，+1.0，0.0]T (6)
然后，图像坐标计算部33B使用上述相对位置向量CLi (p)、CRj (p)，按照下式(7)计算第1投影点坐标SR (p)和第2投影点坐标SL (p)。
这里，f是左摄像机12L和右摄像机12R的焦距。
在上述步骤ST14、ST15之后，图像匹配部34在成对的第1摄像图像(右摄像机图像)与第2摄像图像(左摄像机图像)之间执行图像匹配，检测第1摄像图像中出现的各测距点的图像坐标(步骤ST16)。具体而言，图像匹配部34从第2摄像图像中提取由第2投影点坐标指定的局部区域图像作为模板图像，在该模板图像与第1摄像图像之间执行公知的模板匹配法，由此检测第1摄像图像中出现的各测距点的图像坐标即可。
下面，将第p个测距点的图像坐标的x坐标值表示为SCANx(xLi (p)、yLi (p))，将该图像坐标的y坐标值表示为SCANy(xLi (p)、yLi (p))。这里，(xLi (p)、yLi (p))是第p个测距点的第2投影点坐标。
接着，姿态估计部35针对未知姿态角的估计值，计算减小第1投影点坐标与图像坐标之间的差分的大小的校正量(步骤ST17)。具体而言，使用非线性最小二乘法计算校正量即可。非线性最小二乘法容后再述。接着，姿态估计部35使用校正量对未知姿态角的估计值进行校正(步骤ST18)。然后，在步骤ST12～ST18的重复次数未达到规定次数的情况下(步骤ST19：否)，姿态估计部35使处理转移到步骤ST12。在步骤ST12～ST18重复一定次数时，未知姿态角的估计值由于校正而收敛。在步骤ST12～ST18的重复次数达到规定次数的情况下(步骤ST19：是)，姿态估计部35将包含未知姿态角的估计值和实际姿态数据的姿态数据输出到存储器接口部31(步骤ST20)。存储器接口部31将该姿态数据存储在存储器17中。至此，姿态估计处理结束。
接着，对实施方式1的非线性最小二乘法进行说明。在未知姿态角α0、α1、...、αN为N+i个时，未知姿态角向量α通过下式(8)给出。
α＝[α0，α1，…，αN]T＝αC+Δα (8)
这里，αC是由未知姿态角的估计值构成的估计值向量。并且，Δα是针对估计值向量αC的校正量(校正向量)，通过下式(9)给出。
Δα＝[δα0，δα1，…，δαN]T (9)
这里，利用下式(10)、(11)定义表示第p个测距点的图像坐标与第1投影点坐标之间的差分的观测函数Fxij (p)(α)、Fyij (p)(α)。
Fxij (p)(α)＝SCANx(xLi (p)，yLi (p))-xRj (p) (10)
Fyij (p)(α)＝SCANy(xLi (p)，yLi (p))-yRj (p) (11)
此时，能够通过非线性最小二乘法构成下式(12)、(13)的一组观测方程式。
这里，对右边第1项标注的下标αC意味着代入估计值向量αC的值。并且，左边的vxij (p)、vyij (p)是残差。
能够通过(i，i)的组来指定第1摄像图像和第2摄像图像的对。由此，关于(i，j)＝(0，1)、(1，2)、(2，3)、...，能够分别构成观测方程式(10)、(11)。现在，能够利用下式(14)定义残差向量V，利用下式(15)定义误差向量w。
V＝[vx01 (0)，vy01 (0)，vx01 (1)，vy01 (1)，…，vx01 (N)，vy01 (N)，vx12 (0)，vy12 (0)，vx12 (1)，vv12 (1)，…]T (14)
并且，能够利用下式(16)定义估计值向量αC中的计划矩阵Φ。
此时，观测方程式的组能够通过下式(17)表现。
V＝Φ·Aα-w (17)
使残差向量V的平方和VT·V最小的校正向量Δα如下式(18)所示。
Δα＝(ΦTΦ)-1(ΦTw) (18)
因此，姿态估计部35能够在上述步骤ST17中，按照式(18)计算校正向量Δα，在上述步骤ST18中，按照上式(8)校正估计值。
例如，在给出α0＝κ1(时刻t1)、α1＝ω2(时刻t2)、α3＝κ2(时刻t2)作为未知姿态角时，校正向量Δα通过下式(19)表现。
Δα＝[δκ1，δω2，δφ2，δκ2]T (19)
此时，未知的姿态角向量α通过下式(20)给出。
α＝αC+Δα＝[<κ1>+δκ1，<ω2>+δω2，<φ2>+δφ2，<κ2>+δκ2]T (20)
这里，<κ1>、<ω2>、<κ2>是估计值向量αC的元素。并且，此时的观测方程式如下式(21)、(22)所示。
进而，能够根据这些观测方程式(21)、(22)构成下式(23)的计划矩阵Φ。
图23A是示出根据上式(1)计算出的第0个～第11个测距点的各测距点的测地坐标(XG、YG、ZG)的数值例(p为测距点编号)的表，图23B是示出根据上式(5L)、(5R)计算出的投影中心坐标(XL、YL、ZL)、(XR、YR、ZR)的数值例的表。在时刻t0＝0.0、t1＝1.0、t2＝2.0、t3＝3.0的各个时刻，拍摄到右摄像机图像和左摄像机图像。并且，图24是示出根据上式(7)计算出的第1投影点坐标(xR、yR)和第2投影点坐标(xL、yL)的数值例的表。而且，图25是示出图像坐标(SCANx(xLi、yLi)、SCANy(xLi、yLi))的数值例的图。在给出α0＝κ1(时刻t1)、α1＝ω2(时刻t2)、(时刻t2)、α3＝κ2(时刻t2)时，能够使用这些图23A、23B、图24和图25所示的数值，分别计算图26的误差向量w、图27的计划矩阵Φ、图28的校正向量Δα。并且，如图29所示，确认可得到时刻t＝0.00、1.00、2.00、3.00的姿态数据。
另外，在由不同位置的摄像机拍摄到的图像间探索对应点而取得与观测对象之间的距离和进深信息等三维信息的立体图像处理，有被称作固定立体的方法和被称作移动立体的方法。固定立体是隔开间隔配置2个摄像机进行摄像的方法。时刻ti的左摄像机图像和时刻tj的右摄像机图像的配对相当于固定立体。并且，移动立体是使摄像机飞行而从不同拍摄位置进行拍摄的方法。时刻ti的摄像机图像和时刻tj的摄像机图像的配对相当于移动立体。
并且，在此前的说明中，示出了利用左摄像机12L和右摄像机12R的结构，但是，也可以是1台摄像机。该情况下，使用时刻ti的摄像机图像和时刻tj的摄像机图像的对即可。
进而，在上文中，未知参数是每个时刻的姿态角的3个参数中的任意一方，但是，也可以是加上航空器2的三维位置坐标的6个参数，还可以包含焦距f等内部参数。
如以上说明的那样，实施方式1的观测系统1着眼于在不同摄像位置分别拍摄到的图像间的对应点的坐标根据航空器2的姿态而偏移，能够对未知姿态角的估计值进行校正，以使这些坐标的差分的大小变小。因此，不使用IMU或稳定器，也能够高精度地估计航空器2的姿态。
另外，在实施方式1中，设旋转角κ的估计值的初始值为0度来执行坐标计算，但是，还能够根据由GNSS测位部14测定出的测位坐标的时间序列得到旋转角κ的近似解。由此，可以将旋转角κ的估计值的初始值设定成该近似解。
进而，在实施方式1的观测系统1中，作为移动记录介质的存储器17搭载于航空器2中进行使用。这样，通过使用在航空器2的飞行中蓄积于存储器17的观测数据，能够在飞行结束后估计航空器2的姿态角，能够使用估计出的姿态角对测量结果进行校正。
实施方式2
接着，对本发明的实施方式2进行说明。图30是示出本发明的实施方式2的观测系统1A的概略结构的框图。如图30所示，该观测系统1A构成为具有包含观测装置10A、存储器17、飞行控制装置21和推力产生机构22的航空器2A；姿态估计装置30A；以及飞行路线设定装置40A。
除了具有无线通信部18这点以外，搭载于航空器2A的观测装置10A的结构与上述实施方式1的观测装置10的结构相同。无线通信部18具有在与姿态估计装置30A和飞行路线设定装置40A之间执行无线通信而发送接收路线数据和观测数据等数据的功能。
图31是示出实施方式2的姿态估计装置30A的概略结构的框图。除了代替图18的存储器接口部31而具有无线接口部(无线I/F部)31WL这点以外，该姿态估计装置30A的结构与上述实施方式1的姿态估计装置30的结构相同。无线接口部31WL具有在与图30所示的观测装置10A的无线通信部18之间进行无线通信的功能，因此，能够从无线通信部18接收上述观测数据等数据，向无线通信部18发送由姿态估计部35生成的姿态数据。
图32是示出实施方式2的飞行路线设定装置40A的概略结构的框图。除了代替图3的存储器接口部44而具有无线接口部(无线I/F部)44WL这点以外，该飞行路线设定装置40A的结构与上述实施方式1的飞行路线设定装置40的结构相同。无线接口部44WL具有在与图30所示的观测装置10A的无线通信部18之间进行无线通信的功能，因此，能够向无线通信部18发送由路线数据生成部43生成的路线数据和周期数据。观测控制部16能够使用由无线通信部18接收到的该周期数据对摄像部11、激光测距部13、GNSS测位部14和姿态传感器15进行控制。
并且，观测控制部16将由无线通信部18接收到的该路线数据存储在存储器17中。飞行控制装置21能够按照该路线数据对航空器2的速度、进路和姿态进行控制。因此，飞行路线设定装置40A不使用存储器17，也能够向飞行中的航空器2A实时供给路线数据，对航空器2进行远程控制。
以上参照附图叙述了本发明的各种实施方式，但是，这些实施方式是本发明的例示，还能够采用这些实施方式以外的各种方式。另外，能够在本发明的范围内进行上述实施方式1、2的自由组合、各实施方式的任意结构要素的变形或各实施方式的任意结构要素的省略。
产业上的可利用性
本发明的姿态估计装置、观测系统和姿态估计方法能够高精度地估计搭载有观测设备的飞行体的姿态，因此，例如能够应用于测量系统和UAV用的导航(navigation)系统。
标号说明
1、1A：观测系统；2、2A：航空器；10、10A：观测装置；11：摄像部；12L：左摄像机；12R：右摄像机；13：激光测距部；14：GNSS测位部；15：姿态传感器；16：观测控制部；17：存储器；18：无线通信部；19R、19L：臂；20：机体；21：飞行控制装置；22：推力产生机构；22A～22F：推力产生器；30、30A：姿态估计装置；30S：信息处理装置；30H：信息处理装置；31：存储器接口部(存储器I/F部)；31WL：无线接口部(无线I/F部)；32：数据取得部；33：坐标计算部；33A：测距点坐标计算部；33B：图像坐标计算部；34：图像匹配部；35：姿态估计部；40、40A：飞行路线设定装置；40S：信息处理装置；40H：信息处理装置；41：输入输出接口部(输入输出I/F部)；42：输入数据处理部；43：路线数据生成部；44：存储器接口部(存储器I/F部)；44WL：无线接口部(无线I/F部)；46：操作输入部；47：显示部；50：处理器；50c：CPU；51：存储器接口电路(存储器I/F电路)；52：RAM；53：非易失性存储器；54：信号线路；56：处理电路；57：存储器接口电路(存储器I/F电路)；58：信号线路；60：处理器；60c：CPU；61：存储器接口电路(存储器I/F电路)；61：存储器I/F电路；62：RAM；63：非易失性存储器；64A：输入接口电路(输入I/F电路)；64B：显示接口电路(显示I/F电路)；65：信号线路；66：处理电路；67：存储器I/F电路；68A：输入接口电路(输入I/F电路)；68B：显示接口电路(显示I/F电路)；69：信号线路。

Claims (18)

1.一种姿态估计装置，其与观测装置协作进行动作，该观测装置包含输出表示测地坐标系下的飞行体的位置的测位数据的测位部、计测从所述飞行体到地面的测距点的距离和相对于该测距点的角度方向并输出测距数据的测距部、在搭载于所述飞行体的状态下从多个摄像位置拍摄该测距点并输出摄像图像组的摄像部、以及检测以重力方向为基准的该飞行体的姿态并输出实际姿态数据的姿态传感器，其特征在于，所述姿态估计装置具有：
数据取得部，其从所述观测装置取得所述测位数据、所述测距数据、所述实际姿态数据和所述摄像图像组；
测距点坐标计算部，其使用所述测位数据、所述测距数据、所述实际姿态数据和表示所述飞行体的姿态的未知参数的估计值，计算表示所述测地坐标系下的该测距点的位置的测地坐标；
图像坐标计算部，其对所述测地坐标实施从所述测地坐标系到图像坐标系的投影转换，计算投影点坐标；
图像匹配部，其执行从所述摄像图像组选择出的第1摄像图像与第2摄像图像之间的图像匹配，检测所述第1摄像图像中出现的该测距点的图像坐标；以及
姿态估计部，其对所述估计值进行校正，以使所述投影点坐标与所述图像坐标之间的差分的大小变小。
2.根据权利要求1所述的姿态估计装置，其特征在于，
所述测距点坐标计算部、所述图像坐标计算部、所述图像匹配部和所述姿态估计部根据非线性最小二乘法，反复执行计算所述测地坐标的处理、计算所述投影点坐标的处理、检测所述图像坐标的处理和校正所述估计值的处理。
3.根据权利要求2所述的姿态估计装置，其特征在于，
所述第1摄像图像和所述第2摄像图像是在相互不同的第1摄像时刻和第2摄像时刻分别拍摄到的图像。
4.根据权利要求3所述的姿态估计装置，其特征在于，
所述摄像部具有配置在相互不同的位置的第1摄像部和第2摄像部，所述第1摄像部输出所述第1摄像图像，所述第2摄像部输出所述第2摄像图像。
5.根据权利要求1所述的姿态估计装置，其特征在于，
所述测位部从构成全球导航卫星系统的多个卫星接收导航信号，对该导航信号进行分析，生成所述测位数据。
6.根据权利要求1所述的姿态估计装置，其特征在于，
所述测距部对所述测距点照射激光束，从所述测距点接收反射激光束，测定所述距离和所述角度方向。
7.一种观测系统，其特征在于，所述观测系统具有：
观测装置，其包含输出表示测地坐标系下的飞行体的位置的测位数据的测位部、计测从所述飞行体到地面的测距点的距离和相对于该测距点的角度方向并输出测距数据的测距部、在搭载于所述飞行体的状态下从多个摄像位置拍摄该测距点并输出摄像图像组的摄像部、以及检测以重力方向为基准的该飞行体的姿态并输出实际姿态数据的姿态传感器；以及
姿态估计装置，其与所述观测装置协作进行动作，
所述姿态估计装置包含：
数据取得部，其从所述观测装置取得所述测位数据、所述测距数据、所述实际姿态数据和所述摄像图像组；
测距点坐标计算部，其使用所述测位数据、所述测距数据、所述实际姿态数据和表示所述飞行体的姿态的未知参数的估计值，计算表示所述测地坐标系下的该测距点的位置的测地坐标；
图像坐标计算部，其对所述测地坐标实施从所述测地坐标系到图像坐标系的投影转换，计算投影点坐标；
图像匹配部，其执行从所述摄像图像组选择出的第1摄像图像与第2摄像图像之间的图像匹配，检测所述第1摄像图像中出现的该测距点的图像坐标；以及
姿态估计部，其对所述估计值进行校正，以使所述投影点坐标与所述图像坐标之间的差分的大小变小。
8.根据权利要求7所述的观测系统，其特征在于，
所述测距点坐标计算部、所述图像坐标计算部、所述图像匹配部和姿态估计部根据非线性最小二乘法，反复执行计算所述测地坐标的处理、计算所述投影点坐标的处理、检测所述图像坐标的处理和校正所述估计值的处理。
9.根据权利要求7所述的观测系统，其特征在于，
所述观测系统还具有飞行路线设定装置，该飞行路线设定装置用于设定所述飞行体的飞行路线，
所述飞行路线设定装置包含：
输入数据处理部，其受理指示所述飞行路线的输入数据；以及
路线数据生成部，其根据由所述输入数据处理部受理的该输入数据，生成确定所述飞行路线的路线数据，
所述飞行体具有飞行控制装置，该飞行控制装置使所述飞行体沿着由所述路线数据确定的该飞行路线飞行。
10.根据权利要求9所述的观测系统，其特征在于，
所述飞行路线设定装置还包含输入接口部，该输入接口部与检测用户的操作输入的操作输入部连接，
所述输入接口部将由所述操作输入部检测到的操作输入作为所述输入数据供给到所述输入数据处理部。
11.根据权利要求9所述的观测系统，其特征在于，
所述飞行路线设定装置还具有存储器接口部，该存储器接口部将所述路线数据存储在记录介质中。
12.根据权利要求9所述的观测系统，其特征在于，
所述飞行路线设定装置还具有无线接口部，该无线接口部无线发送所述路线数据，
所述飞行体具有：
无线通信部，其从所述无线接口部接收所述路线数据；以及
飞行控制装置，其使所述飞行体沿着由所述无线通信部接收到的该路线数据确定的该飞行路线飞行。
13.根据权利要求7所述的观测系统，其特征在于，
所述观测装置还具有无线通信部，该无线通信部无线发送包含所述测位数据、所述测距数据、所述实际姿态数据和所述摄像图像组的观测数据，
所述姿态估计装置还具有无线接口部，该无线接口部从所述无线通信部接收该观测数据。
14.根据权利要求9所述的观测系统，其特征在于，
所述测距部利用激光束扫描所述地面，从所述测距点接收反射激光束，测定所述距离和所述角度方向。
15.根据权利要求14所述的观测系统，其特征在于，
所述飞行控制装置使所述飞行体在由所述路线数据确定的第1飞行路线上沿着规定方向自动飞行后，使所述飞行体在与所述第1飞行路线并行的第2飞行路线上沿着与所述规定方向相反的方向自动飞行，
所述飞行体在所述第1飞行路线上飞行时的所述激光束的扫描范围和所述飞行体在所述第2飞行路线上飞行时的所述激光束的扫描范围相互重叠。
16.根据权利要求15所述的观测系统，其特征在于，
所述规定方向是单轴方向。
17.一种姿态估计方法，在与观测装置协作进行动作的姿态估计装置中执行该姿态估计方法，该观测装置包含输出表示测地坐标系下的飞行体的位置的测位数据的测位部、计测从所述飞行体到地面的测距点的距离和相对于该测距点的角度方向并输出测距数据的测距部、在搭载于所述飞行体的状态下从多个摄像位置拍摄该测距点并输出摄像图像组的摄像部、以及检测以重力方向为基准的该飞行体的姿态并输出实际姿态数据的姿态传感器，其特征在于，所述姿态估计方法具有以下步骤：
从所述观测装置取得所述测位数据、所述测距数据、所述实际姿态数据和所述摄像图像组；
使用所述测位数据、所述测距数据、所述实际姿态数据和表示所述飞行体的姿态的未知参数的估计值，计算表示所述测地坐标系下的该测距点的位置的测地坐标；
对所述测地坐标实施从所述测地坐标系到图像坐标系的投影转换，计算投影点坐标；
执行从所述摄像图像组选择出的第1摄像图像与第2摄像图像之间的图像匹配，检测所述第1摄像图像中出现的该测距点的图像坐标；以及
对所述估计值进行校正，以使所述投影点坐标与所述图像坐标之间的差分的大小变小。
18.根据权利要求17所述的姿态估计方法，其特征在于，
根据非线性最小二乘法，反复执行计算所述测地坐标的相应步骤、计算所述投影点坐标的相应步骤、检测所述图像坐标的相应步骤和校正所述估计值的相应步骤。
CN201680086109.9A 2016-06-02 2016-06-02 姿态估计装置、姿态估计方法和观测系统 Pending CN109477716A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/066444 WO2017208424A1 (ja) 2016-06-02 2016-06-02 姿勢推定装置、姿勢推定方法及び観測システム

Publications (1)

Publication Number Publication Date
CN109477716A true CN109477716A (zh) 2019-03-15

Family

ID=60479233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086109.9A Pending CN109477716A (zh) 2016-06-02 2016-06-02 姿态估计装置、姿态估计方法和观测系统

Country Status (4)

Country Link
US (1) US11099030B2 (zh)
JP (1) JP6430073B2 (zh)
CN (1) CN109477716A (zh)
WO (1) WO2017208424A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112128055A (zh) * 2019-09-27 2020-12-25 青岛航天半导体研究所有限公司 基于陀螺仪自动导航系统的发电控制方法
CN114839196A (zh) * 2022-07-01 2022-08-02 中国标准化研究院 一种基于计算机视觉的无接触式质量测量研究方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6707098B2 (ja) * 2018-01-31 2020-06-10 田中　成典 三次元モデル生成システム
CN108399641B (zh) * 2018-03-12 2019-10-11 北京华捷艾米科技有限公司 重新检测地面的判定方法及装置
US11426059B2 (en) * 2018-06-02 2022-08-30 Ankon Medical Technologies (Shanghai) Co., Ltd. Control system for capsule endoscope
CN112880661B (zh) * 2021-01-11 2022-11-11 北京中科宇航技术有限公司 一种垂直降落飞行器的位置姿态测量方法及装置
US20220390964A1 (en) * 2021-06-04 2022-12-08 Thomas Andrew Youmans Cloud & hybrid-cloud flight vehicle & robotic control system ai & ml enabled cloud-based software & data system method for the optimization and distribution of flight control & robotic system solutions and capabilities
CN115016524B (zh) * 2022-08-10 2022-10-21 东方空间技术(北京)有限公司 一种飞行器控制方法、系统、计算机设备及可读存储介质
CN115218928B (zh) * 2022-08-11 2023-05-26 湖南科天健光电技术有限公司 校准方法、测量待测目标的方法、装置、系统及飞行系统
CN116430427B (zh) * 2023-06-12 2023-08-25 湖南中车时代通信信号有限公司 铁路区间信号设备坐标自动获取方法、系统及存储介质
CN116576850B (zh) * 2023-07-12 2023-10-20 北京集度科技有限公司 一种位姿确定方法、装置、计算机设备及存储介质
CN117245671A (zh) * 2023-11-03 2023-12-19 深圳市华赛睿飞智能科技有限公司 一种基于机器人的位姿估计方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012225706A (ja) * 2011-04-18 2012-11-15 Aero Asahi Corp 航空レーザ測量システム
JP2013030851A (ja) * 2011-07-26 2013-02-07 Kokusai Kogyo Co Ltd 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
CN103492967A (zh) * 2011-04-14 2014-01-01 赫克斯冈技术中心 用于控制无人飞行器的系统和方法
CN103791905A (zh) * 2012-10-30 2014-05-14 雅马哈株式会社 姿态估计方法和装置
US20160076892A1 (en) * 2014-03-24 2016-03-17 SZ DJI Technology Co., Ltd Methods and systems for determining a state of an unmanned aerial vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08268393A (ja) 1995-03-29 1996-10-15 Toshiba Tesco Kk 駐機位置指示装置のキャリブレーション方法
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
JP2003075152A (ja) * 2001-09-07 2003-03-12 Starlabo Corp 航空機搭載撮像装置および航空撮像データ処理装置
JP2004177252A (ja) 2002-11-27 2004-06-24 Nippon Telegr & Teleph Corp <Ntt> 姿勢計測装置および方法
JP2007240506A (ja) 2006-03-06 2007-09-20 Giyourin Cho ３次元形状と３次元地形計測法
JP2013096745A (ja) 2011-10-28 2013-05-20 Hokuriku Kosoku Co Ltd 三次元モデルの作成方法
GB2501684B (en) * 2012-04-30 2018-12-12 2D3 Ltd Collaborative sighting
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
JP6135972B2 (ja) 2012-10-29 2017-05-31 国際航業株式会社 標定方法、標定プログラム、及び標定装置
JP5561843B1 (ja) 2013-01-07 2014-07-30 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 制御装置、測量システム、プログラム及び記録媒体並びに計測方法
WO2015194865A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2015194864A1 (ko) * 2014-06-17 2015-12-23 (주)유진로봇 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492967A (zh) * 2011-04-14 2014-01-01 赫克斯冈技术中心 用于控制无人飞行器的系统和方法
JP2012225706A (ja) * 2011-04-18 2012-11-15 Aero Asahi Corp 航空レーザ測量システム
JP2013030851A (ja) * 2011-07-26 2013-02-07 Kokusai Kogyo Co Ltd 光軸方向特定方法、光軸方向特定装置、及び光軸方向特定プログラム
CN103791905A (zh) * 2012-10-30 2014-05-14 雅马哈株式会社 姿态估计方法和装置
US20160076892A1 (en) * 2014-03-24 2016-03-17 SZ DJI Technology Co., Ltd Methods and systems for determining a state of an unmanned aerial vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112128055A (zh) * 2019-09-27 2020-12-25 青岛航天半导体研究所有限公司 基于陀螺仪自动导航系统的发电控制方法
CN114839196A (zh) * 2022-07-01 2022-08-02 中国标准化研究院 一种基于计算机视觉的无接触式质量测量研究方法

Also Published As

Publication number Publication date
US20190293450A1 (en) 2019-09-26
JP6430073B2 (ja) 2018-11-28
JPWO2017208424A1 (ja) 2018-11-01
WO2017208424A1 (ja) 2017-12-07
US11099030B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
CN109477716A (zh) 姿态估计装置、姿态估计方法和观测系统
KR100556103B1 (ko) 자동촬영시스템을 이용한 항공촬영방법
CN105928498B (zh) 提供关于对象的信息的方法、大地测绘系统、存储介质
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
KR100761011B1 (ko) 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
CN102840852B (zh) 航空摄影图像拾取方法和航空摄影图像拾取装置
CN109461190A (zh) 测量数据处理装置及测量数据处理方法
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP2008304260A (ja) 画像処理装置
KR102075028B1 (ko) 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
CN102575933A (zh) 地图图像综合数据库生成系统以及地图图像综合数据库生成程序
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
CN110108984A (zh) 电力巡线激光雷达系统多传感器的空间关系同步方法
KR20170094030A (ko) 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법
KR100556104B1 (ko) Ｇｐｓ／ｉｎｓ 비행선을 이용한 항공측량방법
Lo et al. The direct georeferencing application and performance analysis of uav helicopter in gcp-free area
KR100560699B1 (ko) 모형항공촬영시스템 및 ｇｐｓ/ｉｎｓ 시스템을 이용한3차원 가상현실 수치지도의 제작방법
WO2018214401A1 (zh) 移动平台、飞行体、支持装置、便携式终端、摄像辅助方法、程序以及记录介质
CN108253942B (zh) 一种提高倾斜摄影测量空三质量的方法
CN102721410A (zh) 一种基于gps/imu定位定向技术的海岛空中三角测量方法
JP2019191684A (ja) 被検査構造体の検査システム
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP2020071580A (ja) 情報処理装置、飛行制御方法及び飛行制御システム
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
CN114509071B (zh) 一种风洞试验模型姿态测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220311

AD01 Patent right deemed abandoned