CN107466385B - 一种云台控制方法及系统 - Google Patents

一种云台控制方法及系统 Download PDF

Info

Publication number
CN107466385B
CN107466385B CN201680010630.4A CN201680010630A CN107466385B CN 107466385 B CN107466385 B CN 107466385B CN 201680010630 A CN201680010630 A CN 201680010630A CN 107466385 B CN107466385 B CN 107466385B
Authority
CN
China
Prior art keywords
image
reference object
straight line
angle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680010630.4A
Other languages
English (en)
Other versions
CN107466385A (zh
Inventor
毛成林
暴林超
胡攀
曹子晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Osmo Technology Co Ltd
Original Assignee
SZ DJI Osmo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Osmo Technology Co Ltd filed Critical SZ DJI Osmo Technology Co Ltd
Publication of CN107466385A publication Critical patent/CN107466385A/zh
Application granted granted Critical
Publication of CN107466385B publication Critical patent/CN107466385B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种云台控制方法及系统，所述云台控制方法包括：获取云台承载的图像传感器拍摄的图像(101)；从所述图像中提取参照物(102)；根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角(103)；根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态(104)。能够有效减少图像传感器的歪脖子现象。

Description

一种云台控制方法及系统
技术领域
本发明涉及航拍技术领域，尤其涉及的是一种云台控制方法及系统。
背景技术
用于航拍的无人机通常包括机身、云台和相机，在无人机的飞行过程中通常要求飞行姿态保持平衡，在航拍过程中通常也要求云台调整相机姿态至平衡。无人机的飞控通过融合各种传感器检测的姿态数据，估计出姿态，从而控制姿态的平衡。同样，云台也估计自身的姿态，云台按照一定频率获取飞控的姿态数据，用以校正自身估计的姿态。因此，当飞控或者云台的姿态数据估计错误时，相机就会受到错误的姿态调整，导致出现相机在俯仰角方向和滚转角方向倾斜的现象，俗称“歪脖子”现象，由于相机出现歪脖子现象，从而导致航拍的照片/视频发生变形。
为了在保证无人机飞行的安全系数不减小的前提下，同时提高航拍的质量，同时增加无人机飞行的安全系数，人们提出在无人机航拍照片上检测水平线，通过保证水平线水平，从而反馈调节云台和机身的姿态。
发明内容
云台控制方法及系统，能够解决现有技术中检测水平线的精度较低导致航拍质量不高的问题。
第一方面提供一种云台控制的方法，云台搭载图像传感器，可通过云台控制系统控制云台的姿态，从而控制图像传感器的姿态，所述方法包括：
获取云台承载的图像传感器拍摄的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角；
根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态。
在一些可能的设计中，所述从所述图像中提取参照物，包括：
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
在一些可能的设计中，当所述特征为直线时，所述确定所述特征的特征值，包括：
确定所述直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
在一些可能的设计中，所述根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物，包括：
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
在一些可能的设计中，从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物，包括：
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
在一些可能的设计中，所述从所述图像中提取参照物之前，所述方法还包括：
获取姿态传感器检测到的所述图像传感器拍摄所述图像时的姿态角；
根据所述图像传感器拍摄所述图像时的姿态角，对所述图像进行投影变换。
在一些可能的设计中，所述姿态角包括俯仰角和横滚角，所述根据所述图像传感器拍摄所述图像时的姿态角，对所述图像进行投影变换，包括：
根据所述图像传感器拍摄所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述图像传感器拍摄所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
在一些可能的设计中，从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
在一些可能的设计中，所述根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角，包括：
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵，所述特定方向可包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项；
将所述旋转矩阵分解，获得所述图像传感器的偏移姿态角。
在一些可能的设计中，所述确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换。
在一些可能的设计中，所述根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态，包括：
控制所述云台的动力装置调整所述图像传感器的姿态，以使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
在一些可能的设计中，从所述图像中提取参照物之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
在一些可能的设计中，所述云台安装在可移动物体上，所述确定当前的拍摄场景，至少包括以下之一：
根据所述图像的内容确定所述拍摄场景；
根据拍摄所述图像时的位置信息确定所述拍摄场景。
在一些可能的设计中，所述图像包括至少两张图像，所述从所述图像中提取参照物；根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
在一些可能的设计中，所述方法还包括：
当确定所述偏移姿态角大于预设角度阈值时发出提醒信号。
在一些可能的设计中，所述云台可用于安装在可移动物体上。
所述可移动物体包括无人机、手持设备。
第二方面提供一种云台控制系统，具有实现对应于上述第一方面提供的云台控制的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述云台控制系统包括至少一个处理器；所述处理器用于：
获取云台承载的图像传感器拍摄的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角；
根据所述偏移姿态角，调整所述云台的姿态，以调整所述图像传感器的姿态。
在一些可能的设计中，所述处理器具体用于:
所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
在一些可能的设计中，所述特征包括直线、规则曲线、或者点中的至少一项。
在一些可能的设计中，所述处理器在所述特征为直线时，具体用于:
确定所述直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
在一些可能的设计中，所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
在一些可能的设计中，所述处理器具体用于:
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
在一些可能的设计中，所述云台控制系统还包括姿态传感器,所述姿态传感器用于检测所述图像传感器拍摄所述图像时的姿态角；
所述处理器与所述姿态传感器通信连接，用于根据所述姿态传感器检测到的所述姿态角,对所述图像进行投影变换。
在一些可能的设计中，所述姿态角包括俯仰角和横滚角，所述处理器具体用于:
根据所述图像传感器拍摄所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述图像传感器拍摄所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
在一些可能的设计中，所述处理器从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，还用于：
对所述图像进行畸变校正。
在一些可能的设计中，所述处理器具体用于:
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述图像传感器的偏移姿态角。
在一些可能的设计中，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
在一些可能的设计中，所述处理器在确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换。
在一些可能的设计中，所述处理器具体用于：
控制所述云台的动力装置调整所述图像传感器的姿态，以使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
在一些可能的设计中，所述处理器从所述图像中提取所述参照物之前,还用于：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
在一些可能的设计中，所述云台安装在可移动物体上，所述处理器具体用于执行以下之一：
根据所述图像的内容确定所述拍摄场景；
根据拍摄所述图像时的位置信息确定所述拍摄场景。
在一些可能的设计中，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
第三方面提供一种云台，所述云台包括：
如第二方面所述的云台控制系统；
动力装置，所述动力装置与所述云台控制系统中的处理器通信连接。
在一些可能的设计中，所述云台还包括图像传感器，所述处理器还用于通过控制所述动力装置调整所述云台的姿态，以调整所述云台上的图像传感器的姿态。
在一些可能的设计中，所述云台可用于安装在可移动物体上。
在一些可能的设计中，所述可移动物体包括无人机、手持设备。
以下第三方面和第五方面提供的实施例，主要从电子云台控制的角度来描述一种电子图像增稳系统控制方法及系统，第四方面中，所述方法包括：
获取图像传感器上捕捉区域内的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
根据所述偏移姿态角，调整所述捕捉区域的位置。
在一些可能的设计中，所述从所述图像中提取参照物，包括：
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
在一些可能的设计中，当所述特征为直线时，所述确定所述特征的特征值，包括：
确定所述直线集合中直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
在一些可能的设计中，所述根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物，包括：
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
在一些可能的设计中，所述从所述直线中筛选出特征值大于预设阈值的直线作为所述参照物，包括：
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述目标直线。
在一些可能的设计中，所述从所述图像中提取参照物之前，所述方法还包括：
根据所述捕捉区域捕捉所述图像时所对应的视角的姿态角，对所述图像进行投影变换。
在一些可能的设计中，所述姿态角包括俯仰角和横滚角，所述根据所述捕捉区域捕捉所述图像时所对应的视角的姿态角，对所述图像进行投影变换，包括：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
在一些可能的设计中，所述从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
在一些可能的设计中，所述根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角，包括：
计算所述参照物在所述预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述捕捉区域对应的视角的偏移姿态角。
其中，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
在一些可能的设计中，所述确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。
在一些可能的设计中，所述根据所述偏移姿态角，调整所述捕捉区域的位置，包括：
控制所述云台的调整所述捕捉区域的位置，以使得调整后的所述捕捉区域内的图像中的参照物和所述特定方向一致。
在一些可能的设计中，所述从所述图像中提取参照物之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
在一些可能的设计中，所述图像包括至少两张图像，所述从所述图像中提取参照物；根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
第五方面提供一种电子图像增稳系统控制系统，具有实现对应于上述第四方面提供的电子图像增稳系统控制的方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。
一种可能的设计中，所述控制系统包括至少一个处理器，所述至少一个处理器用于：
获取图像传感器上捕捉区域内的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
根据所述偏移姿态角，调整所述捕捉区域的位置。
一种可能的设计中，所述处理器具体用于:
所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
一种可能的设计中,所述处理器在所述特征为直线时，具体用于:
确定所述直线集合中直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
一种可能的设计中,所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
一种可能的设计中，所述处理器具体用于:
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述目标直线。
一种可能的设计中,所述控制系统还包括姿态传感器,所述姿态传感器用于检测所述捕捉区域捕捉所述图像时所对应的视角的姿态角；
所述处理器还用于根据所述姿态传感器检测到的所述姿态角,对所述图像进行投影变换。
一种可能的设计中，所述姿态角包括俯仰角和横滚角，所述处理器具体用于：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
一种可能的设计中，所述处理器从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，还用于：
对所述图像进行畸变校正。
一种可能的设计中，所述处理器在确定所述图像中参照物在预设坐标系中的位置信息之前，还用于:
计算所述参照物在所述预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述捕捉区域对应的视角的偏移姿态角。
一种可能的设计中，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
一种可能的设计中，所述处理器确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于：
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。
一种可能的设计中，所述处理器具体用于：
根据所述偏移姿态角控制所述捕捉区域的位置的调整，以使得调整后的所述捕捉区域内的图像中的参照物和所述特定方向一致。
一种可能的设计中，所述提取所述图像在预设方向上的直线集合之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
一种可能的设计中，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
第六方面提供一种云台控制的方法，所述方法包括：
检测用户进入姿态调整模式的第一输入；
响应于所述第一输入，进入所述姿态调整模式，显示所述云台承载的图像传感器拍摄的图像和显示拍摄所述图像时姿态传感器检测到的特定方向上的基准线；
获取用户对所述图像或所述基准线的操作；
响应于所述操作，调整所述云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行。
在一些可能的设计中，所述响应于所述第一输入之后，所述获取用户对所述图像的操作之前，所述方法还包括：
获取用户的第二输入，响应于所述第二输入，从所述图像中提取所述参照物，并在所述图像上凸显所述参照物。
在一些可能的设计中，所述操作包括旋转和/或倾斜。
在一些可能的设计中，所述方法还包括：
根据所述操作，确定所述参照物在预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述基准线相对于所述参照物的偏移姿态角；
根据所述偏移姿态角调整所述云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行。
在一些可能的设计中，所述操作还包括：平移、放大、缩小中的至少一项。
在一些可能的设计中，在响应于所述第一输入之后，获取用户对所述图像或所述基准线的操作之前，所述方法还包括：
对所述图像进行投影变换。
在一些可能的设计中，在对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
相较于现有技术，本发明提供的方案中，从图像传感器拍摄的图像中，确定图像中参照物在预设坐标系中的位置信息，然后根据所述位置信息，确定所述图像传感器的偏移姿态角，根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态，可以避免出现图像传感器的歪脖子现象。
附图说明
图1为本发明实施例中云台控制方法的一种流程图；
图2为本发明实施例中图像传感器拍摄的海平面示意图；
图3为本发明实施例中从拍摄的建筑物中提取参照物的示意图；
图4为本发明实施例中将多条直线拟合为一条直线的示意图；
图5为本发明实施例中根据提取的边缘直线得到水平线的示意图；
图6为本发明实施例中调整基准线的示意图；
图7为本发明实施例中云台控制系统的一种结构示意图；
图8为本发明实施例中电子图像增稳系统控制方法的一种流程示意图；
图9为本发明实施例中电子图像增稳系统控制系统的一种结构示意图；
图10为本发明实施例中云台控制方法的另一种流程图；
图11为本发明实施例中云台控制方法的一种应用场景示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本文中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本文中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本发明实施例方案的目的。
本发明实施例提供了一种云台控制方法、电子图像增稳系统控制方法及系统，用于航拍技术领域，能够解决现有技术中现有机制中拍摄装置的歪脖子的问题。以下进行详细说明。
为解决上述技术问题，本发明实施例主要提供以下技术方案：
1、获取图像传感器拍摄的图像，提取图像中参考直线。
2、计算参考直线在预设坐标系中的坐标。
3、根据计算出的坐标计算图像传感器相对于水平面的偏移姿态角。
4、根据计算的偏移姿态角去修正云台的姿态，从而修正搭载在云台上的图像传感器的姿态。
请参照图1，以下从机械云台的角度对本发明提供一种云台控制方法进行举例说明，所述方法包括：
101、获取所述云台承载的图像传感器拍摄的图像。
102、从所述图像中提取参照物。
可通过下述步骤a-c从所述图像中提取所述参照物：
步骤a、提取所述图像中的特征。
其中，所述特征可包括直线、规则曲线、规则图形或者点中的至少一项。当特征为直线时，则是提取图像中满足预设条件的直线集合。在提取满足预设条件的直线集合时，可通过提取所述参照物的边缘信息，采用直线检测算法从所述边缘信息中提取水平方向上的直线集合，或者提取竖直方向上的直线集合，具体的提取方式本发明不作限定。
步骤b、确定所述特征的特征值。
当特征为直线时，则是确定所述直线集合中每条直线的特征值。
步骤c、根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
例如特征为直线时，图2为一个海平面的拍摄图像，其中，图2中标号201所示的区域表示天空，图2中标号202所示的实线表示拍摄到的海平面(相当于检测到的水平线)，图2中标号203所示的虚线为预先设定的特定方向上的直线，例如为水平线，图2中标号204所示的区域表示海。由此，可根据所述直线的特征值，从直线集合中确定特征值满足预设筛选规则的直线作为参照物，例如根据直线的特征值确定特定方向上的目标直线为参照物。
其中，特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。所述预设方向可根据实际的拍摄场景、图像的参照物等来选择，例如，在拍摄场景为自然场景，参照物为海平面时，预设方向可以是水平方向，又例如，在该拍摄场景下，参照物有多个，例如包括海平面和近景的船或建筑，也可以远景的建筑，只要能作为参照物即可，那么这种情况下，对于拍摄的图像中的多个参照物来说，预设方向有多个，例如可以同时包括水平方向和垂直方向，在确定直线集合中直线的特征值后，可以分别筛选出水平方向上的直线、以及垂直方向上的直线，然后结合这两个方向上得到的直线，分别计算出接近真实水平线的目标水平线。
103、根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
其中，预设坐标系是指交互界面上预定义的坐标系，可以是二维、三维等任意坐标系，为了节省计算资源，可以以所述图像长边和宽边分别作为二维坐标系(如图3中标号1所示的二维坐标系)的两个相互垂直的轴。也可以把垂直于所述图像的方向作为第三个轴，形成三维坐标系(如图5中标号2所示的三维坐标系)。
另外，可通过计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵，然后将所述旋转矩阵分解，即可获得所述图像传感器的偏移姿态角，该偏移姿态角包括俯仰角和横滚角。
104、根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态。
具体来说，可通过控制所述云台的动力装置来调整所述图像传感器的姿态，从而使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
可选的，所述云台搭载飞行设备时，还可以将所述偏移姿态角返回给所述飞行设备和云台，所述偏移姿态角用于所述飞行设备修正自身的姿态，以及用于所述云台修正自身的姿态。
另外，如果该云台搭载的可移动物体为飞行设备时，当确定所述偏移姿态角大于预设角度阈值时，还可以发出提醒信号，以便及时的调整到适合飞行的姿态。其中，可移动物体包括地面端移动的搭载图像传感器的取景设备、搭载图像传感器的手持云台、或搭载图像传感器的飞行设备等。
本发明实施例中，从图像传感器拍摄的图像中，确定图像中参照物在预设坐标系中的位置信息，然后根据所述位置信息，确定所述图像传感器的偏移姿态角，根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态，可以避免出现图像传感器的歪脖子现象。
可选的，在一些发明实施例中，所述图像包括至少两张图像，所述从所述图像中提取参照物，根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
可选的，在一些发明实施例中，当所述特征为直线时，确定所述直线集合中直线的特征值，包括：
计算所述直线集合中直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。可以仅计算灰度、颜色、均匀性或角度中的任一项，也可以计算其中的两项以上，具体可根据设备的处理能力或要求的精度决定，具体本文不作限定。举例来说，如图2所示的图像中，标号202所示的实线为要计算特征值的直线，计算特征值时，可以计算直线202两侧区域(包括标号201所示的区域和标号204所示的区域)的灰度、颜色、均匀性，以及直线202的角度(俯仰角、横滚角和偏航角)，最终得到直线202的特征值，当然也还可以计算图2中其他的直线的特征值，方法类似，不再赘述。
其中，所述灰度可根据所述满足预设条件的直线两侧区域的灰度均值得到，例如可通过下述公式得到：
G＝(E1-E2)2，其中，G代表灰度，E1表示水平线上方区域灰度均值，E2表示水平线下方区域灰度均值。
所述颜色可根据所述满足预设条件的直线两侧区域的蓝色分量均值得到，例如可通过下述公式得到：
B＝(F1-F2)2，其中，B代表蓝色分量，F1表示水平线上方区域蓝色分量均值-F2表示水平线下方区域蓝色均值。
所述均匀性根据所述满足预设条件的直线上像素点的灰度均值、所述满足预设条件的直线上像素点的梯度均值、所述满足预设条件的直线上像素点的灰度方差、以及所述满足预设条件的直线上像素点的梯度方差得到，例如可通过下述公式得到：
H＝(E3+E4)/(COV1水平线像素灰度方差+COV2水平线像素梯度方差)，其中，H为均匀性，E3表示水平线像素灰度均值+E4表示水平线像素梯度均值，COV1表示水平线像素灰度方差+COV2表示水平线像素梯度方差。
可选的，为进一步减少针对非必要的直线的特征值计算，提高运算效率，可通过缩小需要计算特征值的直线的范围，例如去掉一些不合格的直线，还可以先从直线集合中挑选出一部分满足预设条件的直线，然后计算这些满足预设条件的直线的特征值，可进一步减少不必要的计算，提高检测目标水平线的精度，相应的可以减少拍摄装置的歪脖子现象。例如，可设直线的参数包括直线的长度、直线的俯仰角和直线的横滚角，那么在提取图像在水平方向上的直线集合时，可以设定一个角度阈值，即仅挑选与水平面的夹角在角度阈值内的直线用于计算水平线。
其中，所述预设条件至少包括以下项之一：
直线的长度大于第一阈值；
直线的俯仰角大于第二阈值；
直线的滚转角大于第三阈值。
相应的，在提取出满足预设条件的直线集合后，根据所述特征值和预设筛选规则，确定所述直线集合中特定方向(如图2中标号203所示的虚线)上的目标直线(如图2中标号202所示的实线)，包括：
根据所述灰度、所述颜色和所述梯度中的至少一个，以及所述预设筛选规则从所述满足预设条件的直线中，筛选出特征值大于预设阈值的直线作为目标直线，所述预设筛选规则包括筛选公式，所述筛选公式至少包括灰度、颜色和梯度中的至少一个，以及与特征值对应的特征值系数，特征值系数为常量，特征值的特征值参数可根据所述图像的图像特征和/或所述拍摄装置的预设选择配置选择，例如筛选公式可以是：F＝p1*G+p2*B+p3*H，其中p1、p2、p3依次为G、B、H的特征值参数，筛选公式还可以是基于此处给出的公式的变形，本发明不作限定。
可选的，由于可以筛选出多个特征值大于预设阈值的直线，每个特征值大于预设阈值的直线可作为所述目标直线，只是精度不一而已。因此，在这基础上，为进一步提高目标直线的精准度，还可以对特征值大于预设阈值的直线(如图4中标号402所示的加粗直线)中的每条直线进行曲线拟合，得到一条理论直线(如图4中标号403所示的虚线)，将所述理论直线作为所述目标直线。
可选的，曲线拟合的方式可以包括最小二乘法、范数约束法等算法。计算预设方向的目标直线主要分计算水平线和竖直线两种应用场景：
1、目标直线为目标水平线时。
先计算出每条竖直方向(如图5所示，标号501表示竖直方向)上的直线两侧区域的颜色统计直方图，然后根据每条水平方向上的直线两侧区域的颜色统计直方图，筛选出满足天地颜色差异的直线(如图5中标号502所示的加粗的边缘直线)，将满足天地颜色差异的直线作为所述目标水平线。
在满足天地颜色差异的直线有多条时，还可以对满足天地颜色差异的直线中的每条直线进行曲线拟合，得到一条理论水平线(如图5中标号503所示的直线)，将所述理论水平线作为所述目标水平线。当曲线拟合采用最小二乘法时，通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行时误差最小的直线，该直线即为：与满足天地颜色差异的直线中的每条直线同时正交时误差最小的直线，可以将与每条直线同时正交时误差最小的直线作为目标水平线。
2、目标直线为目标竖直线时。
可以对特征值大于预设阈值的直线(如图4中标号402所示的加粗直线)中的每条直线进行曲线拟合，得到一条理论竖直直线(如图4中标号403所示的虚线)，将所述理论竖直直线作为所述目标竖直线。当通过最小二乘法进行曲线拟合时，获得与特征值大于所述预设阈值的直线中的每条直线同时平行时误差最小的直线，该直线即为：通过最小二乘法计算出与特征值大于预设阈值的直线中的每条直线同时正交时误差最小的直线，从而将与特征值大于预设阈值的直线中的每条直线同时正交时误差最小的直线作为所述目标竖直线。
可选的，在一些发明实施例中，可能由于姿态的变化，图像传感器捕捉到的图像会存在一些变形，并不能完整的呈现图像对应的实物的形状，如果直接根据变形了的图像进行偏移姿态角的计算，可能存在一些误差，所以在计算偏移姿态角之前，还可以将图像传感器捕捉到的图像进行一些变换，使得变换后的图像与真实的实物更接近些，从而可以减少计算偏移姿态角的误差。具体过程如下：
确定所述图像中参照物在预设坐标系中的位置信息之前，获取姿态传感器检测到的所述图像传感器的姿态角；
根据所述图像传感器拍摄所述图像时的姿态角，对所述图像进行投影变换，通过投影变换使得云台的俯仰角、横滚角和/或偏航角均趋近于0，从而消除图像的透视效果。
可选的，确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换，通过逆投影变换后，可以将参照物还原到真实的形状。另外，若是针对上述目标水平线进行逆投影，则是将计算出来的理论目标水平线还原到真实的水平线。
举例来说，在特定方向为水平方向时，目标直线为目标竖直线，在使用投影变换后的参照物的位置信息计算偏移姿态角时，还需要将经过投影变换后得到的目标直线进行逆投影变换，以得到初始的图像对应的真实目标直线，具体如下：
根据所述目标直线在所述预设坐标系中的位置信息,将所述目标直线进行逆投影变换；
计算逆投影变换后的所述目标直线相对于所述水平方向的旋转矩阵；
将所述旋转矩阵分解为所述偏移姿态角，偏移姿态角包括俯仰角和/或横滚角。
下述以针对竖直方向上的直线进行投影变换为例，由于相机的畸变以及相机镜头拍摄时在俯仰角方向和横滚角方向上存在一定的角度偏移，所以在拍摄建筑物时，拍摄的图像中建筑物在竖直方向上的竖直边缘直线很大可能不是完全竖直的，而是相对于竖直方向有一定的角度偏差，如图3所示。如果直接以该建筑物的竖直边缘直线(如图3中标号302所示的加粗直线)作为目标直线进行偏移姿态角的计算，必然存在一定的误差。所以，在计算偏移姿态角之前，需要将该建筑物的竖直边缘直线进行投影变换，使得投影变换后的边缘直线大致与竖直平面趋近平行。当然，理想状态是，投影变换后的竖直边缘直线的俯仰角θ和横滚角Φ均为0的情况，这种情况下，竖直边缘直线基本和水平线是垂直。
可选的，在一些发明实施例中，由于图像传感器捕捉的图像可能存在畸变现象，如果不对图像进行畸变校正，最终计算出来的偏移姿态角会存在较大的误差，甚至不准确。所以在计算偏移姿态角之前还需要对畸变的图像进行畸变校正，具体可以是在提取所述参照物在所述预设方向上的直线集合之前，或者在将所述参照物投影变换之后，或者将参照物投影变换之前，还需要进行畸变校正的对象进行畸变校正，得到畸变图像，其中，所述需要畸变校正的对象包括所述图像、或投影变换后的所述图像，或所述参照物或投影变换后的所述参照物。
可选的，上述对图像进行畸变校正的过程，可通过下述步骤A-D实现：
A、获取所述姿态传感器检测到的所述云台的俯仰角和横滚角，其中，姿态传感器是基于微电子机械系统技术的高性能三维运动姿态测量系统，包含三轴陀螺仪、三轴加速度计(即惯性测量单元)及三轴电子罗盘等辅助运动传感器。
B、根据所述俯仰角计算得到第一旋转矩阵，以及根据所述横滚角计算得到第二旋转矩阵。
其中，第一旋转矩阵R1可以是：
Figure BDA0001381023130000201
θ为俯仰角
第二旋转矩阵R2可以是：
Figure BDA0001381023130000202
Φ为横滚角。
需要说明的是，第一旋转矩阵和第二旋转矩阵还可以是其他公式，可以是基于上述给出的公式的变形，具体本发明实施例不作限定。
C、将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵。
其中，整体旋转矩阵R＝R2*R1，或者R＝R1*R2，相乘的的顺序由云台的机械关节角转动的顺序决定，若机械关节角先转俯仰角、后转横滚角，则R＝R2*R1；若机械关节角先转横滚角、后转俯仰角，则R＝R1*R2。
D、根据所述整体旋转矩阵的逆矩阵和所述拍摄装置的内参矩阵对所述参照物或所述畸变图像上的像素点的第一坐标进行坐标变换，得到坐标变换后的像素点的第二坐标。
可选的，还可以根据畸变函数对所述第二坐标进行畸变，得到所述畸变图像，所述畸变图像包括畸变后得到的第三坐标对应的像素点。
或者，可以同时对图像进行投影变换、畸变校正，还可以根据畸变函数对投影变换的所述参照物的像素点的坐标进行畸变，得到畸变后的所述参照物。
举例来说，假设参照物上的像素点的坐标为(u,v)，相机的内参矩阵为K，畸变参数为(k1，k2，p1，p2，k3)，那么投影变换后的参照物上的像素点的坐标为(u’，v’)，则坐标(u，v)，相机的内参矩阵K、畸变参数(k1，k2，p1，p2，k3)，以及坐标(u’，v’)之间的关系如下述公式：
Figure BDA0001381023130000211
u′＝x/z (2)
v′＝y/z (3)
其中，F为畸变函数，假设未畸变坐标为(x1，y1)，畸变后坐标为(x2，y2)，通过计算得到x2和y2：
r2＝x12+y12
x2＝x1*(1+k1*r2+k2*r4+k3*r6)+2*p1*x1*y1+p2*(r2+2*x12)
y2＝y1*(1+k1*r2+k2*r4+k3*r6)+2*p2*x1*y1+p1*(r2+2*y12)
可选的，在一些发明实施例中，获取的图像可以是多张图像，这多张图像可以是拍摄的单张图像，也可以是从图像传感器捕捉的视频中截取的多张图像。可以分别提取每张图像中的参照物，然后将这多张图像中的参照物进行拟合，得到一个拟合参照物，最后确定所述拟合参照物相对于所述预设方向的位置信息。具体确定拟合参照物的位置信息可参考单张图像的位置信息的获取方式，具体此处不再赘述。
可选的，在一些发明实施例中，在提取所述图像在特定方向上的直线集合之前，还可以先确定当前的拍摄场景，然后直接切换到该拍摄场景下的姿态角计算模式，所述拍摄场景可包括自然场景或建筑场景。例如可以根据所述图像的内容确定所述拍摄场景，或者根据所述可移动物体当前的位置信息确定所述拍摄场景，以下分别进行说明：
1、根据所述图像的内容确定所述拍摄场景。
当所述图像中超过第一比例的内容为自然景象时，确定所述拍摄场景为自然场景；
当所述图像中超过第二比例的内容为建筑时，确定所述拍摄场景为建筑场景。
2、根据所述可移动物体当前的位置信息确定所述拍摄场景。
根据所述位置信息确定对应地面端的物理区域包括标志性建筑时，确定所述拍摄场景为建筑场景，并提示给所述拍摄装置。
可选的，在一些发明实施例中，所述可移动物体为飞行设备，在所述拍摄场景为自然场景时，所述根据所述可移动物体当前的位置信息确定所述拍摄场景，包括：
若所述飞行设备当前的飞行高度高于第四阈值，则确定当前的自然场景为所述飞行设备的预设自然场景，确定当前的自然场景为有效场景；
若所述飞行设备当前的飞行高度低于所述第五阈值，则确定当前的自然场景在所述预设自然场景之外，则提示当前的拍摄场景为无效场景。
可选的，在一些发明实施例中，所述可移动物体为飞行设备，所述飞行设备包括导航交互界面，所述根据所述可移动物体当前的位置信息确定所述拍摄场景，包括：
根据所述飞行设备当前在所述导航交互界面的位置信息，确定在所述位置信息的预设范围内是否存在特定建筑，所述特定建筑为建筑高度高于第六阈值的建筑，或者为地标性的建筑；
若存在特定建筑，则确定所述拍摄场景为所述拍摄装置的预设建筑场景，所述预设建筑场景为飞行高度低于第七阈值的低空城市场景；
若不存在特定建筑，且所述位置信息对应的物理区域为城市区域，则确定所述拍摄场景为飞行高度高于第八阈值的高空城市场景；
若不存在特定建筑，且所述位置信息对应的物理区域为非城市区域，则确定所述拍摄场景为所述拍摄装置的预设自然场景。
可选的，在一些发明实施例中，可移动物体还可以通过学习的模式，更新内置的预设建筑场景，以适应多变、多元化的建筑场景，具体为：
当确定所述图像中存在第一特定建筑，且所述第一特定建筑在所述预设建筑场景之外，则将所述第一特定建筑的建筑场景记录在所述预设建筑场景中，用于获取到新的图像后，自动切换到所述第一特定建筑的建筑场景对应的计算模式，以根据所述计算模式计算出所述目标水平线。
上述图1所对应的实施例对本发明中的云台控制方法进行描述，以下对执行上述云台控制方法的云台控制系统进行说明，参阅图7，所述云台控制系统包括至少一个处理器，所述至少一个处理器用于：
获取云台承载的图像传感器拍摄的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角；
根据所述偏移姿态角，调整所述云台的姿态，以调整所述图像传感器的姿态。
可选的，在一些发明实施例中，所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
可选的，在一些发明实施例中，所述处理器在所述特征为直线时，具体用于:
计算直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
可选的，在一些发明实施例中，所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述目标直线。
可选的，在一些发明实施例中，所述处理器具体用于:
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
可选的，在一些发明实施例中，所述云台控制系统还包括姿态传感器,所述姿态传感器与所述处理器通信连接,所述姿态传感器用于检测所述图像传感器拍摄所述图像时的姿态角；
所述处理器还用于根据所述姿态传感器检测到的姿态角,对所述图像进行投影变换。
可选的，在一些发明实施例中，所述姿态角包括俯仰角和横滚角，所述处理器具体用于:
根据所述图像传感器拍摄所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述图像传感器拍摄所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
可选的，在一些发明实施例中，所述处理器在所述图像中提取参照物之前，或者对所述图像进行投影变换之前，还用于:
对需要进行畸变校正的对象进行畸变校正，得到畸变图像，所述需要畸变校正的对象包括所述图像、投影变换后的所述图像、或所述参照物或投影变换后的所述参照物。
可选的，在一些发明实施例中，所述处理器具体用于:
所述处理器具体用于:
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述图像传感器的偏移姿态角。
其中，特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
可选的，在一些发明实施例中，所述处理器在确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换。
可选的，在一些发明实施例中，所述处理器具体用于：
控制所述云台的动力装置调整所述图像传感器的姿态，以使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
可选的，在一些发明实施例中，所述提取所述图像在预设方向上的直线集合之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
可选的，在一些发明实施例中，所述云台安装在可移动物体上，所述处理器具体用于执行以下之一：
根据所述图像的内容确定所述拍摄场景；
根据拍摄所述图像时的位置信息确定所述拍摄场景。
可选的，在一些发明实施例中，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
本发明实施例还提供一种云台，所述云台包括：
如图7中所示的云台控制系统；
动力装置，所述动力装置与所述云台控制系统通信连接；
其中，所述云台控制系统用于通过控制所述动力装置调整所述云台的姿态，以调整所述云台搭载的图像传感器的姿态。所述动力装置包括至少一个电机。
下面从电子云台的角度对本申请中的电子图像增稳系统控制方法进行描述，参阅图8，所述方法包括：
801、获取图像传感器上捕捉区域内的图像；
802、从所述图像中提取参照物；
803、根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
804、根据所述偏移姿态角，调整所述捕捉区域的位置。
具体来说，根据所述偏移姿态角可以控制所述捕捉区域的位置的调整，以使得调整后的所述捕捉区域内的图像中的参照物和特定方向一致。
本发明实施例中，从捕捉区域内的图像中，确定图像中参照物在预设坐标系中的位置信息，然后根据所述位置信息，确定所述捕捉区域的偏移姿态角，根据所述偏移姿态角，通过所述云台调整所述捕捉区域的位置，可以避免出现图像传感器的歪脖子现象。
可选的，在一些发明实施例中，所述从所述图像中提取参照物，包括：
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
可选的，在一些发明实施例中，当所述特征为直线时，所述确定所述特征的特征值，包括：
计算直线两侧区域的灰度、直线两侧区域的颜色和直线的均匀性三者中的至少一项。
可选的，在一些发明实施例中，根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物，包括：
从所述直线集合中筛选出特征值大于预设阈值的直线作为所述目标直线。
可选的，在一些发明实施例中，所述从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物，包括：
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行时误差最小的直线作为所述参照物。
可选的，在一些发明实施例中，从所述图像中提取参照物之前，所述方法还包括：
获取所述捕捉区域捕捉所述图像时所对应的视角的姿态角；
根据所述视角的姿态角，对所述图像进行投影变换，投影变换的变换参数本发明不作限定。
可选的，在一些发明实施例中，所述姿态角包括俯仰角和横滚角，所述根据所述捕捉区域捕捉所述图像时所对应的视角的姿态角，对所述图像进行投影变换，包括：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
可选的，在一些发明实施例中，从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，所述方法还包括：
对需要进行畸变校正的对象进行畸变校正，得到畸变图像，所述需要畸变校正的对象包括所述图像、或投影变换后的所述图像，或所述参照物或投影变后的所述参照物。
可选的，在一些发明实施例中，所述确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。；
计算逆投影变换后的所述参照物相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，从而得到为所述捕捉区域对应的视角的偏移姿态角。
可选的，在一些发明实施例中，所述提取所述图像在预设方向上的直线集合之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
可选的，在一些发明实施例中，所述图像包括至少两张图像，所述确定所述图像中参照物在预设坐标系中的位置信息，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
上述图8所对应的实施例对本发明中的电子图像增稳系统控制方法进行描述，以下对执行上述电子图像增稳系统控制方法的电子图像增稳系统控制系统进行说明，电子图像增稳系统控制系统为电子云台的控制系统，电子云台为相对于普通云台而言的一种新型集成云台，通过程序设置，在相机内部控制镜头的视角和变焦。参阅图9，所述控制系统包括至少一个处理器，所述至少一个处理器用于：
获取图像传感器上捕捉区域内的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
根据所述偏移姿态角，调整所述捕捉区域的位置，即根据所述偏移姿态角控制所述捕捉区域的位置的调整，从而使得调整后的所述捕捉区域内的图像中的参照物和特定方向一致，可选的，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
可选的，在一些发明实施例中，所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
其中，所述特征包括直线、规则曲线、或者点中的至少一项。
可选的，在一些发明实施例中，当所述特征为直线时，所述处理器具体用于:
计算直线两侧区域的灰度、直线两侧区域的颜色和直线的均匀性三者中的至少一项。
可选的，在一些发明实施例中，所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
可选的，在一些发明实施例中，所述处理器具体用于:
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
可选的，在一些发明实施例中，所述控制系统还包括姿态传感器,所述姿态传感器用于检测所述捕捉区域捕捉所述图像时所对应的视角的姿态角；
所述处理器还用于根据所述所述捕捉区域捕捉所述图像时所对应的视角的所述姿态角,对所述图像进行投影变换。
所述姿态角包括俯仰角和横滚角，对所述图像进行投影变换的具体过程如下：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
可选的，在一些发明实施例中，所述处理器在确定所述参照物在预设坐标系中的位置信息之前，还用于:
计算所述参照物在所述预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述捕捉区域对应的视角的偏移姿态角。
可选的，在一些发明实施例中，所述处理器在提取所述参照物在所述预设方向上的直线集合之前，或者所述将所述参照物投影变换之后，还用于:
对需要进行畸变校正的图像进行畸变校正，得到畸变图像，所述需要畸变校正的图像包括所述图像，或投影变换后的所述图像，或所述参照物或投影变换后的所述参照物。
可选的，在一些发明实施例中，所述处理器确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于:
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。
可选的，在一些发明实施例中，所述提取所述图像在预设方向上的直线集合之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
可选的，在一些发明实施例中，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
下面从用户交互的角度对本申请中的云台控制方法进行描述，参阅图10，所述方法包括：
1001、检测用户进入姿态调整模式的第一输入。
该第一输入可以是：云台振动幅度大于某个定值、云台朝某个方向的旋转次数大于一定次数、用户通过物理按键输入、用户通过点击交互界面上的虚拟按钮、或者通过点击交互界面上的某个应用等方式，具体的进入姿态调整模式的方式本发明不作限定。
1002、响应于所述第一输入，进入所述姿态调整模式，显示所述云台承载的图像传感器拍摄的图像和显示拍摄所述图像时姿态传感器检测到的特定方向上的基准线。
1003、获取用户对所述图像或所述基准线的操作。
其中，所述操作可包括旋转和/或倾斜。
该操作还可以包括平移、放大、缩小中的至少一项。
1004、响应于所述操作，调整云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行。
当所述操作为旋转时，如图6所示，通过旋转基准线(如图6中所示的602)，以调整云台的横滚角，从而调整图像传感器的横滚角。
当所述操作为倾斜时，如图6所示，通过倾斜基准线(如图6中所示的602)，以调整云台的俯仰角θ和/或偏航角Φ，从而调整图像传感器的俯仰角θ和/或偏航角Φ。
举例来说，图6中，图6中所示的601为特定方向，图6中所示的602为基准线，图6中所示的603为建筑物上的边缘直线，图6中所示的604为调整后的基准线。当操作包括旋转和倾斜时，可同时对基准线602进行旋转和倾斜调整，调整后的基准线为604，由图6可看出，调整后的基准线604与边缘直线603平行。
当所述参照物与所述基准线的距离大于预设距离时，即使调整了基准线或参照物的姿态，仍然有可能因为距离太远或图像中的干扰像素较多，也会导致在判断基准线和参照物是否平行时造成一定干扰，甚至并未达到完全平行的目的。所以需要缩短基准线和参照物之间的距离，则所述操作可为平移，通过平移所述基准线，可以所述基准线与所述参照物的距离在所述预设距离内，便于基准线和参照物比对，从而更直观的调整基准线或参照物，一定程度上，调整的精度也会提高，使得参照物和基准线的各个方向的夹角趋近于0。
当参照物或基准线在图像上并不显著时，或者参照物较小或边缘不够清晰等因素，可能会造成调整参照物和基准线的相对平行的位置时，会存在较大误差，所以需要将参照物或基准线变得更为醒目些，便于比对相对位置，例如可以通过将基准线或参照物的颜色变亮、加粗或者增加背景色等处理手段。比较常用的方法是通过放大，相应的，所述操作为放大时，可将参照物放大至能够直观的与基准线进行比对，当然，若是放大后的参照物与基准线之间存在较多影响比对的媒体内容时，或者放大后的参照物与基准线相距较远不便于比对调整时，还可以通过平移基准线或者平移参照物使得基准线和参照物之间的距离在预设距离内，从而可以进行更有效的比对。
本发明实施例中，从图像传感器拍摄的图像中，确定图像中参照物在预设坐标系中的位置信息，然后根据所述位置信息，确定所述图像传感器的偏移姿态角，根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态，可以避免出现图像传感器的歪脖子现象。
当确定所述偏移姿态角大于预设角度阈值时，还可以发出提醒信号。
可选的，在一些发明实施例中，在响应于所述第一输入之后，获取用户对所述图像的操作之前，所述方法还包括：
获取用户的第二输入，响应于所述第二输入，从所述图像中提取所述参照物，并在所述图像上凸显所述参照物，该第二输入可以是：用户通过物理按键输入、用户通过点击交互界面上的虚拟按钮、或者通过点击交互界面上的某个应用、滑动、在交互界面上的驻留时长超过某个时间阈值时的响应等方式，相应第二输入提取参照物时，可以是采用手动提取的方式，例如手动抠图，绘制区域后以勾选并提取出参照物(可以是绘制区域后离开屏幕，或者长按显示下拉菜单，在下拉菜单中选择“提取”等方式)，也可以是自动提取的方式，具体的方式本发明不作限定。
可选的，在一些发明实施例中，所述方法还包括：
根据所述操作，确定所述参照物在预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述基准线相对于所述参照物要调整的偏移姿态角；
根据所述偏移姿态角调整所述云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行。
可选的，在一些发明实施例中，在响应于所述第一输入之后，获取用户对所述图像或所述基准线的操作之前，所述方法还包括：
对所述图像进行投影变换，通过投影变换可以对所拍摄的变形的图像进行修正，以还原该图像对应的真实的实物形状，一定程度上，通过结合基准线和投影变换后的图像，能够更准确的调整当前图像传感器的姿态，使得姿态传感器检测到的图像传感器的姿态的误差更小，相应的，也提高后续拍摄新的图像的质量。
可选的，在一些发明实施例中，有时可能因为长期未调试图像传感器的姿态，或者拍摄者拍摄图像时存在抖动等因素，会导致所拍摄的图像存在较为严重的畸变，如果直接使用畸变的图像来对图像传感器的姿态进行调整，那么由于图像本身存在较大误差，所以，极大可能无法将图像传感器的姿态调整到最优，更有可能会进行错误的调整，使得图像传感器所拍摄的图像的质量更加低。为解决在对所述图像进行投影变换之前，还可以对拍摄的图像进行畸变校正，具体过程如下：
对所述图像进行畸变校正。
可选的，在一些发明实施例中，在低空对城市进行拍摄时，拍摄的图像中会包含各种高度、形状的建筑物，所以在选择参照物(例如最高、形状较为规则的大厦)后，为便于结合基准线进行比对以及进行相应的调整，还可以提取该参照物的特征，然后将提取到的特征与基准线进行比对、调整等操作，具体实现过程如下：
获取用户对所述参照物的操作，响应于该操作，提取所述参照物的特征，所述特征至少包括规则曲线、至少一个点、平面或参照物上的直线中的一项。
例如，该特征为参照物上的直线时，还可以提取所述图像中特定方向如图4中标号401所示的箭头方向)上的直线集合(如图4中标号402所示的6条加粗的边缘直线)，然后对这6条加粗直线拟合成一条直线(例如图4中标号403所示的虚线)确定所述直线集合中直线的特征值，并根据所述直线的特征值和预设筛选规则，从所述直线集合中确定所述特定方向上的目标直线。可选的，可以从特征值大于预设阈值的直线中，选择与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线为参照物的特征。
又例如，如图6所示，加粗的边缘直线(如图6中标号602所示的加粗直线)则是特定方向上的目标直线，特征为参照物的边缘直线，那么，所述响应于所述第一操作，至少包括以下之一：
根据所述边缘直线在预设坐标系中的位置信息，旋转所述基准线调整所述基准线的横滚角，使得所述基准线与所述边缘直线平行，以控制云台的横滚角。
相对于所述边缘直线倾斜所述基准线调整所述基准线的俯仰角和/或偏航角，以使所述基准线与所述边缘直线平行，以控制云台的俯仰角或偏航角。
或者，相对于所述边缘直线倾斜所述基准线，以使所述基准线与所述边缘直线垂直，以控制云台的俯仰角或偏航角。
又例如，该特征为参照物上的某个平面时，可以通过调整该平面或上述基准线的姿态，使得基准线与该平面平行，从而调整云台的姿态、图像传感器的姿态。
为便于理解，以下以一具体应用场景对本发明实施例中的云台控制方法进行举例说明，机械云台搭载无人机和相机，机械云台包括云台控制系统，如图11所示，相机在空中拍摄到图像后，云台控制系统获取该图像，根据该图像的内容或者无人机当前的位置确定拍摄场景，然后进入拍摄场景对应的偏移姿态角计算模式，例如，拍摄场景为自然场景时，先采用霍夫变换从图像中提取合适的直线，这些直线与水平面的夹角在预设的角度阈值内，然后提取这些直线的特征值，将每条直线的特征值进行融合，得到融合特征，然后从这些直线中筛选出融合特征最大的直线作为水平线，然后根据该水平线计算偏移姿态角，根据偏移姿态角修正云台的姿态，以修正相机的姿态。
又例如，拍摄场景为建筑场景时，可以先对拍摄的图像进行畸变校正，然后采用霍夫变换从校正后的图像中提取合适的直线，这些直线与竖直平面的夹角在预设的角度阈值内，然后提取这些直线的特征值，根据特征值和预设筛选规则选择满足天地颜色的直线，然后采用最小二乘法计算出与每条满足天地颜色的直线同时正交时，误差最小的直线作为理论水平线，然后将理论水平线进行逆投影变换，得到真实的水平线，然后根据该真实的水平线计算偏移姿态角，根据偏移姿态角修正云台的姿态，以修正相机的姿态。
本发明还提供一种计算机存储介质，该介质存储有程序，该程序执行时包括上述云台控制系统执行云台控制方法，或电子图像增稳系统控制系统执行上述电子图像增稳系统控制方法中的部分或者全部步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文简称：ROM)、随机存取存储器(英文全称：Random Access Memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (66)

1.一种云台控制方法，其特征在于，所述方法包括：
获取云台承载的图像传感器拍摄的图像；
根据所述图像传感器拍摄所述图像时的姿态角，对所述图像进行投影变换；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角；
根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态；
所述姿态角包括俯仰角和横滚角，所述根据所述图像传感器拍摄所述图像时的姿态角，对所述图像进行投影变换，包括：
根据所述图像传感器拍摄所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述图像传感器拍摄所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
2.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取参照物，包括：
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
3.根据权利要求2所述的方法，其特征在于，所述特征包括直线、规则曲线、或者点中的至少一项。
4.根据权利要求3所述的方法，其特征在于，当所述特征为直线时，所述确定所述特征的特征值，包括：
确定所述直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
5.根据权利要求4所述的方法，其特征在于，所述根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物，包括：
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
6.根据权利要求5所述的方法，其特征在于，所述从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物，包括：
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
8.根据权利要求1所述的方法，其特征在于，所述根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角，包括：
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述图像传感器的偏移姿态角。
9.根据权利要求8所述的方法，其特征在于，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
10.根据权利要求8或9所述的方法，其特征在于，所述确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换。
11.根据权利要求10所述的方法，其特征在于，所述根据所述偏移姿态角，通过所述云台调整所述图像传感器的姿态，包括：
控制所述云台的动力装置调整所述图像传感器的姿态，以使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
12.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取参照物之前，所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
13.根据权利要求12所述的方法，其特征在于，所述确定当前的拍摄场景，至少包括以下之一：
根据所述图像的内容确定所述拍摄场景；
根据拍摄所述图像时的位置信息确定所述拍摄场景。
14.根据权利要求1所述的方法，其特征在于，所述图像包括至少两张图像，所述从所述图像中提取参照物；根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当确定所述偏移姿态角大于预设角度阈值时发出提醒信号。
16.根据权利要求1所述的方法，其特征在于，所述云台可用于安装在可移动物体上。
17.根据权利要求16所述的方法，其特征在于，所述可移动物体包括无人机、手持设备。
18.一种云台控制系统，其特征在于，所述云台控制系统包括至少一个处理器，所述处理器用于：
获取云台承载的图像传感器拍摄的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角；
根据所述偏移姿态角，调整所述云台的姿态，以调整所述图像传感器的姿态；
所述云台控制系统还包括姿态传感器, 所述姿态传感器与所述处理器通信连接，所述姿态传感器用于检测所述图像传感器拍摄所述图像时的姿态角;
所述处理器还用于根据所述姿态传感器检测到的所述姿态角,对所述图像进行投影变换；
所述姿态角包括俯仰角和横滚角，所述处理器具体用于:
根据所述图像传感器拍摄所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述图像传感器拍摄所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
19.根据权利要求18所述的云台控制系统，其特征在于，所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物。
20.根据权利要求19所述的云台控制系统,其特征在于, 所述特征包括直线、规则曲线、或者点中的至少一项。
21.根据权利要求20所述的云台控制系统,其特征在于, 所述处理器在所述特征为直线时，具体用于:
确定直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
22.根据权利要求21所述的云台控制系统,其特征在于, 所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
23.根据权利要求22所述的云台控制系统,其特征在于, 所述处理器具体用于:
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
24.根据权利要求18至23中任一项所述的云台控制系统，其特征在于，所述处理器从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，还用于：
对所述图像进行畸变校正。
25.根据权利要求24所述的云台控制系统，其特征在于，所述处理器具体用于:
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述图像传感器的偏移姿态角。
26.根据权利要求25所述的云台控制系统，其特征在于，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
27.根据权利要求25或26所述的云台控制系统，其特征在于，所述处理器在确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于：
根据所述图像传感器拍摄所述图像时的姿态角，对所述参照物进行逆投影变换。
28.根据权利要求27所述的云台控制系统，其特征在于，所述处理器具体用于：
控制所述云台的动力装置调整所述图像传感器的姿态，以使得调整后的所述图像传感器拍摄的图像中的参照物和所述特定方向一致。
29.根据权利要求18所述的云台控制系统，其特征在于，所述处理器从所述图像中提取所述参照物之前,还用于：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
30.根据权利要求29所述的云台控制系统，其特征在于，所述处理器具体用于执行以下之一：
根据所述图像的内容确定所述拍摄场景；
根据拍摄所述图像时的位置信息确定所述拍摄场景。
31.根据权利要求18所述的云台控制系统，其特征在于，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述图像传感器的偏移姿态角。
32.一种云台，其特征在于，所述云台包括：
权利要求18~31任一项所述的云台控制系统；
动力装置，所述动力装置与所述云台控制系统中的处理器通信连接。
33.根据权利要求32所述的云台，其特征在于，所述云台还包括图像传感器，所述处理器还用于通过控制所述动力装置调整所述云台的姿态，以调整所述云台上的图像传感器的姿态。
34.根据权利要求33所述的云台，其特征在于，所述云台可用于安装在可移动物体上。
35.根据权利要求34所述的云台，其特征在于，所述可移动物体包括无人机、手持设备。
36.一种电子图像增稳系统控制方法，其特征在于，所述方法包括：
获取图像传感器上捕捉区域内的图像；
根据所述捕捉区域捕捉所述图像时所对应的视角的姿态角，对所述图像进行投影变换；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
根据所述偏移姿态角，调整所述捕捉区域的位置；
所述姿态角包括俯仰角和横滚角，所述根据所述捕捉区域捕捉所述图像时所对应的视角的姿态角，对所述图像进行投影变换，包括：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
37.根据权利要求36所述的方法，其特征在于，所述从所述图像中提取参照物，包括：
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
38.根据权利要求37所述的方法，其特征在于，所述特征包括直线、规则曲线、或者点中的至少一项。
39.根据权利要求38所述的方法，其特征在于，当所述特征为直线时，所述确定所述特征的特征值，包括：
确定直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
40.根据权利要求39所述的方法，其特征在于，所述根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征作为所述参照物，包括：
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
41.根据权利要求40所述的方法，其特征在于，所述从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物，包括：
通过最小二乘法获得与特征值大于所述预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为所述参照物。
42.根据权利要求36-41中任一项所述的方法，其特征在于，所述从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
43.根据权利要求36所述的方法，其特征在于，所述根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角，包括：
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述捕捉区域对应的视角的偏移姿态角。
44.根据权利要求43所述的方法，其特征在于，所述特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
45.根据权利要求44所述的方法，其特征在于，所述确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，所述方法还包括：
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。
46.根据权利要求45所述的方法，其特征在于，所述根据所述偏移姿态角，调整所述捕捉区域的位置，包括：
根据所述偏移姿态角调整所述捕捉区域的位置，以使得调整后的所述捕捉区域内的图像中的参照物和所述特定方向一致。
47.根据权利要求36所述的方法，其特征在于，所述从所述图像中提取参照物之前,所述方法还包括：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
48.根据权利要求36所述的方法，其特征在于，所述图像包括至少两张图像，所述从所述图像中提取参照物；根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角，包括：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
49.一种电子图像增稳系统控制系统，其特征在于，所述控制系统包括至少一个处理器，所述至少一个处理器用于：
获取图像传感器上捕捉区域内的图像；
从所述图像中提取参照物；
根据所述参照物在预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角；
根据所述偏移姿态角，调整所述捕捉区域的位置；
所述控制系统还包括姿态传感器,所述姿态传感器用于检测所述捕捉区域捕捉所述图像时所对应的视角的姿态角;
所述处理器还用于根据所述姿态传感器检测到的所述姿态角,对所述图像进行投影变换；
所述姿态角包括俯仰角和横滚角，所述处理器具体用于：
根据所述捕捉区域捕捉所述图像时的俯仰角计算得到第一旋转矩阵，以及根据所述捕捉区域捕捉所述图像时的横滚角计算得到第二旋转矩阵；
将所述第一旋转矩阵和所述第二旋转矩阵相乘，得到整体旋转矩阵；
根据所述整体旋转矩阵，对所述图像上的像素点的坐标进行坐标变换。
50.根据权利要求49所述的控制系统，其特征在于，所述处理器具体用于:
提取所述图像中的特征；
确定所述特征的特征值；
根据所述特征的特征值，从所述特征中确定特征值满足预设筛选规则的特征为所述参照物。
51.根据权利要求50所述的控制系统,其特征在于, 所述特征包括直线、规则曲线、或者点中的至少一项。
52.根据权利要求51所述的控制系统,其特征在于, 所述处理器在所述特征为直线时，具体用于:
确定直线集合中直线两侧区域的灰度、直线两侧区域的颜色、直线的均匀性、或者直线的角度中的至少一项。
53.根据权利要求52所述的控制系统,其特征在于, 所述处理器具体用于:
从特征为直线的所述特征中筛选出特征值大于预设阈值的直线作为所述参照物。
54.根据权利要求52所述的控制系统,其特征在于, 所述处理器具体用于:
通过最小二乘法获得与特征值大于预设阈值的直线中的每条直线同时平行或者垂直时误差最小的直线作为目标直线。
55.根据权利要求49至54中任一项所述的控制系统，其特征在于，所述处理器从所述图像中提取参照物之前，或者对所述图像进行投影变换之前，还用于：
对所述图像进行畸变校正。
56.根据权利要求49所述的控制系统，其特征在于，所述处理器在确定所述图像中参照物在预设坐标系中的位置信息之前，还用于:
计算所述参照物在所述预设坐标系中相对于特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述捕捉区域对应的视角的偏移姿态角。
57.根据权利要求56所述的控制系统，其特征在于，特定方向包括由姿态传感器检测到的水平方向、垂直方向、或者预设方向中的至少一项。
58.根据权利要求57所述的控制系统，其特征在于，所述处理器确定所述参照物在预设坐标系中相对于特定方向的旋转矩阵之前，还用于：
根据所述捕捉区域在捕捉所述图像时所对应的视角的姿态角，对所述参照物进行逆投影变换。
59.根据权利要求58所述的控制系统，其特征在于，所述处理器具体用于：
根据所述偏移姿态角控制所述捕捉区域的位置的调整，以使得调整后的所述捕捉区域内的图像中的参照物和所述特定方向一致。
60.根据权利要求49所述的控制系统，其特征在于，所述提取所述图像在预设方向上的直线集合之前,所述处理器还用于：
确定当前的拍摄场景，所述拍摄场景包括自然场景或建筑场景。
61.根据权利要求49所述的控制系统，其特征在于，所述图像包括至少两张图像，所述处理器具体用于：
提取所述至少两张图像中的参照物；
将所述至少两张图像中的参照物进行拟合，得到拟合参照物；
根据所述拟合参照物在所述预设坐标系中的位置信息，确定所述捕捉区域对应的视角的偏移姿态角。
62.一种云台控制方法，其特征在于，所述方法包括：
检测用户进入姿态调整模式的第一输入；
响应于所述第一输入，进入所述姿态调整模式，显示所述云台承载的图像传感器拍摄的图像和显示拍摄所述图像时姿态传感器检测到的特定方向上的基准线；
对所述图像进行投影变换；
获取用户对所述图像或所述基准线的操作；
响应于所述操作，调整所述云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行；
所述方法还包括：
根据所述操作，确定所述参照物在预设坐标系中相对于所述特定方向的旋转矩阵；
将所述旋转矩阵分解，获得所述基准线相对于所述参照物的偏移姿态角；
根据所述偏移姿态角调整所述云台的姿态，以调整所述图像传感器的姿态，使得所述图像中的参照物与所述基准线平行。
63.根据权利要求62所述的方法，其特征在于，所述响应于所述第一输入之后，所述获取用户对所述图像的操作之前，所述方法还包括：
获取用户的第二输入，响应于所述第二输入，从所述图像中提取所述参照物，并在所述图像上凸显所述参照物。
64.根据权利要求63所述的方法，其特征在于，所述操作包括旋转和/或倾斜。
65.根据权利要求62所述的方法，其特征在于，所述操作还包括：平移、放大、缩小中的至少一项。
66.根据权利要求62所述的方法，其特征在于，在对所述图像进行投影变换之前，所述方法还包括：
对所述图像进行畸变校正。
CN201680010630.4A 2016-08-03 2016-08-03 一种云台控制方法及系统 Expired - Fee Related CN107466385B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/093062 WO2018023492A1 (zh) 2016-08-03 2016-08-03 一种云台控制方法及系统

Publications (2)

Publication Number Publication Date
CN107466385A CN107466385A (zh) 2017-12-12
CN107466385B true CN107466385B (zh) 2021-06-01

Family

ID=60545960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010630.4A Expired - Fee Related CN107466385B (zh) 2016-08-03 2016-08-03 一种云台控制方法及系统

Country Status (4)

Country Link
US (1) US10871258B2 (zh)
EP (1) EP3495907A4 (zh)
CN (1) CN107466385B (zh)
WO (1) WO2018023492A1 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727023A (zh) * 2017-01-24 2021-11-30 深圳市大疆灵眸科技有限公司 云台的控制方法和系统以及计算机可读存储介质
CN110603533A (zh) 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
WO2019119215A1 (zh) * 2017-12-18 2019-06-27 深圳市大疆灵眸科技有限公司 云台控制方法、可移动物体、存储装置、云台控制系统和云台
CN108298101B (zh) * 2017-12-25 2020-03-24 上海歌尔泰克机器人有限公司 云台旋转的控制方法及装置、无人机
WO2019134154A1 (zh) 2018-01-06 2019-07-11 深圳市大疆创新科技有限公司 非正交云台的控制方法及其云台和存储装置
CN110320934B (zh) * 2018-03-27 2022-11-22 杭州海康机器人技术有限公司 云台控制方法、装置、云台及移动设备
EP3786757B1 (en) * 2018-04-25 2022-09-21 SZ DJI Technology Co., Ltd. Camera stabilizer position correction method and device
CN110382358A (zh) * 2018-04-27 2019-10-25 深圳市大疆创新科技有限公司 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
CN110637266A (zh) * 2018-04-28 2019-12-31 深圳市大疆创新科技有限公司 云台的控制方法和云台
CN108401115A (zh) * 2018-04-28 2018-08-14 北京心领神绘科技有限公司 一种便携图像采集终端的自动修正采集装置及方法
CN108549399B (zh) * 2018-05-23 2020-08-21 深圳市道通智能航空技术有限公司 飞行器偏航角修正方法、装置及飞行器
WO2019227410A1 (zh) * 2018-05-31 2019-12-05 深圳市大疆创新科技有限公司 姿态转换方法、姿态显示方法及云台系统
CN110431507A (zh) * 2018-05-31 2019-11-08 深圳市大疆创新科技有限公司 一种云台控制方法及云台
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术（北京）有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
CN109120854B (zh) * 2018-10-09 2020-10-23 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN109523761B (zh) * 2018-10-09 2021-07-20 上海电力学院 基于图像捕捉的变电站周界激光围栏位置校正系统及方法
WO2020087354A1 (zh) * 2018-10-31 2020-05-07 深圳市大疆创新科技有限公司 竖向增稳机构及其控制方法以及可移动设备
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
WO2020107284A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 云台的模式切换方法、装置、可移动平台及存储介质
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CN109658862B (zh) * 2018-12-28 2021-11-02 卡莱特云科技股份有限公司 一种led箱体亮色度校正方法及校正系统
CN111316187B (zh) 2019-04-29 2024-06-14 深圳市大疆创新科技有限公司 一种云台的控制方法、云台及云台拍摄装置
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11200677B2 (en) * 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
WO2021102914A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 轨迹复演方法、系统、可移动平台和存储介质
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN111246094B (zh) * 2020-01-17 2021-10-08 高新兴科技集团股份有限公司 云台、云台偏移补偿矫正方法、计算机存储介质及设备
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
WO2021243205A1 (en) * 2020-05-29 2021-12-02 Motion2Ai Method and system for geo-semantic recognition of structural object
CN111654634B (zh) * 2020-06-24 2022-02-08 杭州海康威视数字技术股份有限公司 确定摄像机中机芯组件和云台组件倾斜的方法、摄像机
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
CN112261262B (zh) * 2020-10-21 2022-06-17 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质
CN112637497B (zh) * 2020-12-21 2022-04-01 维沃移动通信有限公司 拍摄控制方法、装置和电子设备
CN112346485B (zh) * 2020-12-24 2021-05-25 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种光电跟踪控制方法、系统、电子设备及存储介质
CN112990117B (zh) * 2021-04-21 2021-08-17 智道网联科技(北京)有限公司 基于智能驾驶系统的安装数据处理方法及装置
CN113313945A (zh) * 2021-05-31 2021-08-27 上海智能网联汽车技术中心有限公司 基于传感器数据进行姿态自适应调节的智能网联系统和方法
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113766121B (zh) * 2021-08-10 2023-08-08 国网河北省电力有限公司保定供电分公司 基于四足机器人的保持图像稳定的装置和方法
CN113361508B (zh) * 2021-08-11 2021-10-22 四川省人工智能研究院(宜宾) 一种基于无人机-卫星的跨视角地理定位方法
KR20230054165A (ko) * 2021-10-15 2023-04-24 한화에어로스페이스 주식회사 감시 시스템에서 표적을 연동을 이용하여 표적을 탐지하기 위한 장치 및 방법
CN114295062A (zh) * 2021-12-31 2022-04-08 崇辉半导体(深圳)有限公司 一种连续电镀生产线的料带片长检测系统
CN114565677B (zh) * 2022-01-14 2023-07-28 浙江大华技术股份有限公司 一种定位纠偏方法、监控设备和计算机可读存储介质
CN115190237B (zh) * 2022-06-20 2023-12-15 亮风台（上海）信息科技有限公司 一种确定承载设备的转动角度信息的方法与设备
CN115793698A (zh) * 2023-02-07 2023-03-14 北京四维远见信息技术有限公司 自动姿态控制系统和方法
CN117406777B (zh) * 2023-11-17 2024-03-19 广州源颢工程信息技术有限公司 用于水利测绘的无人机云台智能控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166239A (zh) * 2006-10-19 2008-04-23 罗伯特·博世有限公司 提高可重复性的图像处理系统与方法
JP2013062879A (ja) * 2012-12-19 2013-04-04 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
CN103697883A (zh) * 2014-01-07 2014-04-02 中国人民解放军国防科学技术大学 一种基于天际线成像的飞行器水平姿态确定方法
CN105513072A (zh) * 2015-12-05 2016-04-20 中国航空工业集团公司洛阳电光设备研究所 一种云台校正方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2815914B1 (fr) * 2000-10-27 2003-01-03 Valeo Vision Dispositif de correction automatique de l'orientation en site d'un projecteur de vehicule automobile
JP2002188917A (ja) * 2000-12-22 2002-07-05 Fuji Heavy Ind Ltd 飛行体の姿勢角検出装置
JP4328551B2 (ja) * 2003-03-05 2009-09-09 富士重工業株式会社 撮像姿勢制御装置
JP4253239B2 (ja) * 2003-10-07 2009-04-08 富士重工業株式会社 画像認識を用いた航法装置
FR2861690B1 (fr) * 2003-11-04 2006-04-07 Eads Astrium Sas Controle d'attitude de satellites en particulier agiles a nombre reduit de gyrodynes
CN100451544C (zh) * 2004-03-15 2009-01-14 清华大学 一种基于视频图像测量飞行器姿态参数的方法
JP2007173966A (ja) * 2005-12-19 2007-07-05 Sony Corp 撮像装置及びその画像データ処理方法
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
CN100446568C (zh) * 2006-09-15 2008-12-24 杭州华三通信技术有限公司 视频监控设备及方法
JP2009115621A (ja) * 2007-11-06 2009-05-28 Toshiba Corp 移動体画像追尾装置
US20150331159A1 (en) * 2008-11-17 2015-11-19 Faro Technologies, Inc. Markings on glass cube-corner retroreflector and method of measuring retroreflector orientation
US8380473B2 (en) * 2009-06-13 2013-02-19 Eric T. Falangas Method of modeling dynamic characteristics of a flight vehicle
JP5812633B2 (ja) * 2011-03-14 2015-11-17 三菱重工業株式会社 航空機の制御システム、航空機、航空機の制御プログラム、及び航空機の制御方法
KR102003776B1 (ko) * 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105100724B (zh) * 2015-08-13 2018-06-19 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法
CN105430331A (zh) * 2015-11-13 2016-03-23 浙江宇视科技有限公司 调整监控图像显示方向的方法和装置
CN105644785B (zh) * 2015-12-31 2017-06-27 哈尔滨工业大学 一种基于光流法和地平线检测的无人机着陆方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101166239A (zh) * 2006-10-19 2008-04-23 罗伯特·博世有限公司 提高可重复性的图像处理系统与方法
JP2013062879A (ja) * 2012-12-19 2013-04-04 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
CN103697883A (zh) * 2014-01-07 2014-04-02 中国人民解放军国防科学技术大学 一种基于天际线成像的飞行器水平姿态确定方法
CN105513072A (zh) * 2015-12-05 2016-04-20 中国航空工业集团公司洛阳电光设备研究所 一种云台校正方法

Also Published As

Publication number Publication date
WO2018023492A1 (zh) 2018-02-08
EP3495907A4 (en) 2019-10-23
US10871258B2 (en) 2020-12-22
EP3495907A1 (en) 2019-06-12
CN107466385A (zh) 2017-12-12
US20190178436A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN107466385B (zh) 一种云台控制方法及系统
US10942529B2 (en) Aircraft information acquisition method, apparatus and device
US10594941B2 (en) Method and device of image processing and camera
CN107223330B (zh) 一种深度信息获取方法、装置及图像采集设备
CN110799921A (zh) 拍摄方法、装置和无人机
CN109313799B (zh) 图像处理方法及设备
WO2020107372A1 (zh) 拍摄设备的控制方法、装置、设备及存储介质
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
KR20150113889A (ko) 화상처리장치, 화상처리방법 및 기억매체
CN111355884B (zh) 监控方法、装置、系统、电子设备及存储介质
CN112154649A (zh) 航测方法、拍摄控制方法、飞行器、终端、系统及存储介质
CN110022444A (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
WO2020014987A1 (zh) 移动机器人的控制方法、装置、设备及存储介质
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
US20230025058A1 (en) Image rectification method and device, and electronic system
CN113409391A (zh) 视觉定位方法及相关装置、设备和存储介质
CN110337668B (zh) 图像增稳方法和装置
CN115564842A (zh) 双目鱼眼相机的参数标定方法、装置、设备及存储介质
EP3189493A1 (en) Depth map based perspective correction in digital photos
CN112640419A (zh) 跟随方法、可移动平台、设备和存储介质
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
WO2019205103A1 (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
CN103856705A (zh) 一种图像矫正方法和系统
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210601