CN110800282B - 云台调整方法、云台调整设备、移动平台及介质 - Google Patents

云台调整方法、云台调整设备、移动平台及介质 Download PDF

Info

Publication number
CN110800282B
CN110800282B CN201880038409.9A CN201880038409A CN110800282B CN 110800282 B CN110800282 B CN 110800282B CN 201880038409 A CN201880038409 A CN 201880038409A CN 110800282 B CN110800282 B CN 110800282B
Authority
CN
China
Prior art keywords
image frame
shooting
current
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038409.9A
Other languages
English (en)
Other versions
CN110800282A (zh
Inventor
周游
刘洁
叶长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202110768639.4A priority Critical patent/CN113473025A/zh
Publication of CN110800282A publication Critical patent/CN110800282A/zh
Application granted granted Critical
Publication of CN110800282B publication Critical patent/CN110800282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Studio Devices (AREA)

Abstract

一种云台调整方法、云台调整设备、移动平台及存储介质，该云台调整方法应用于移动平台，该移动平台配置有云台和摄像组件，该云台调整方法包括：获取参考图像帧序列，以及在拍摄所述参考图像帧序列时所述移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；在图像复拍的过程中，根据所述参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整所述云台；获取当前图像帧；根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。

Description

云台调整方法、云台调整设备、移动平台及介质
技术领域
本发明涉及电子技术领域，尤其涉及一种云台调整方法、云台调整设备、移动平台及存储介质。
背景技术
在影像制作的拍摄过程中，为了拍摄同一个场景，通常需要重复拍摄多次以获取最好的拍摄图像，重复拍摄同一个场景的过程可以简称为图像复拍。在每次图像复拍的过程中，云台会根据样片的拍摄轨迹所对应的角度参数进行角度变换，以使得云台上所固定的摄像机可以对该场景进行拍摄，所谓的云台是一种安装、固定摄像机的支撑设备。实践表明，在每次复拍的过程中，通常存在拍摄时间、拍摄轨迹以及场景中的各拍摄对象的位置等差异，若云台只根据样片的拍摄轨迹所对应的角度参数进行角度变换，则会导致摄像机的拍摄效果较差。因此，如何在拍摄过程中对云台进行调整成为了研究热点。
发明内容
本发明实施例提供了一种云台调整方法、云台调整设备、移动平台以及存储介质，可自动对云台进行有效的调整。
一方面，本发明实施例提供了一种云台调整方法，该云台调整方法应用于移动平台，该移动平台配置有云台和摄像组件，该云台调整方法包括：
获取参考图像帧序列，以及在拍摄所述参考图像帧序列时所述移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；
在图像复拍的过程中，根据所述参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整所述云台；
获取当前图像帧；
根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。
另一方面，本发明实施例提供了一种云台调整设备，该云台调整设备包括：存储器和处理器，其中，所述存储器用于存储程序指令；所述处理器被配置用于调用所述程序指令，执行如下步骤：
获取参考图像帧序列，以及在拍摄所述参考图像帧序列时所述移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；
在图像复拍的过程中，根据所述参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整所述云台；
获取当前图像帧；
根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。
再一方面，本发明实施例提供了一种移动平台，该移动平台包括：
摄像组件，用于拍摄图像；
云台，用于控制所述摄像组件的朝向；
机身；
动力系统、安装在所述机身上，用于为所述移动平台提供动力；
以及如上述的云台调整设备。
再一方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时用于实现上述的云台调整方法。
本发明实施例可以获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹；在图像复拍过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台；获取当前图像帧；根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。由此可见，上述的云台调整过程中，可以先根据参考拍摄轨迹对云台进行粗调整，在拍摄轨迹发生微小变化时，可以根据当前图像帧和之前拍摄的参考图像帧序列确定调整控制量，并在粗调整的基础上再次根据调整控制量调整云台，从而使得整个复拍过程更加流畅快捷，使得图像复拍得到的图像帧序列满足用户需求，从而减少复拍次数，提高复拍效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种云台调整方法的应用场景图；
图1b是本发明实施例提供的另一种云台调整方法的应用场景图；
图2是本发明实施例提供的一种云台调整方法的流程示意图；
图3是本发明另一实施例提供的一种云台调整方法的流程示意图；
图4是本发明实施例提供的一种拍摄轨迹的示意图；
图5是本发明另一实施例提供的一种拍摄轨迹的示意图；
图6是本发明实施例提供的一种云台调整设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提出了一种云台调整方法，该云台调整方法可以应用在移动平台中，该移动平台配置有云台和摄像组件，所谓的云台是一种安装或者固定摄像组件的支撑设备。因此，移动平台所配置的摄像组件可以固定在云台上，云台的朝向与摄像组件的朝向相同。其中，此处的移动平台包括但不限于：无人机、云台摄像机；所谓的云台摄像机是指带有云台的摄像机，可控制摄像机从多个角度进行拍摄。本发明实施例所提出的云台调整方法还涉及带有拍摄预览功能的设备，例如：带有前置摄像机的相机显示屏、连接无人机、影像增稳系统的智能设备，等等。本发明实施例所提出的云台调整方法可以实现在基于参考图像帧序列进行图像复拍的过程中，对云台进行调整，以使得云台上所固定的摄像组件可以对场景进行更好的拍摄，提高拍摄效果。
在图像复拍之前，需要拍摄一次样片，所述样片是指对目标场景进行第一次拍摄所得到的图像帧序列。拍摄样片的主要目的为：确定大致的目标场景，机位、构图；其中，目标场景是指包括一个或多个待拍摄的目标对象的场景，机位是指摄像组件的拍摄位置(包括拍摄角度)，构图(又可称为取景)是指拍摄者在一定的空间范围内，对要表达的形象进行组织安排，形成形象的部分和整体之间，形象空间之间的特定的结构、形式。在拍摄样片的过程中，还可通过视觉系统记录拍摄样片时移动平台移动所形成的拍摄轨迹，此处的视觉系统可以为：下视视觉定位系统的VIO(Visual Inertial Odometry，视觉惯性里程计算法)。需要说明的是，拍摄轨迹和样片通过物理时间轴线可以一一对应，拍摄轨迹中的任一个拍摄位置均对应着云台的一个角度参数，该角度参数可表明云台在该位置时的角度，即摄像组件在该位置时的拍摄角度。
在拍摄好样片之后，可以进行一次或多次的图像复拍。在后续的图像复拍的过程中，移动平台可以获取参考图像帧序列以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹，该参考图像帧序列包括至少两帧参考图像帧，且各参考图像帧按照拍摄时间的先后顺序依次排列；该参考图像帧序列可以是图像复拍前所拍摄的样片，也可以是在当前图像复拍(或称为本次图像复拍)之前的历史图像复拍所拍摄的图像帧序列，例如当前图像复拍是第5次复拍，那么参考图像帧序列可以是第2次、第3次或者第4次等历史图像复拍所拍摄的图像帧序列。移动平台可以根据该参考拍摄轨迹进行移动；由于参考拍摄轨迹中的任一个拍摄位置均对应着云台的一个角度参数，因此在移动平台的移动过程中，还可以根据该参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台。例如，根据参考拍摄轨迹预估的拍摄角度为120度，那么可以将云台的角度调整至120度，如图1a所示。
由于每次图像复拍的过程中，通常存在拍摄时间、拍摄轨迹以及目标场景中的各目标对象的位置等差异，因此为了更好地进行图像复拍，移动平台还可获取当前图像帧，根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量再次调整云台。例如，调整控制量包括：拍摄角度为125度，那么可以再次调整云台，以使得云台的角度为125度，如图1b所示。
由此可见，上述的云台调整过程中，可以先根据参考拍摄轨迹对云台进行粗调整，在拍摄轨迹、拍摄时间以及目标场景中的各目标对象的位置发生微小变化时，可以根据当前图像帧和之前拍摄的参考图像帧序列确定调整控制量，并在粗调整的基础上再次根据调整控制量调整云台，从而使得整个复拍过程更加流畅快捷，使得图像复拍得到的图像帧序列满足用户需求，从而减少复拍次数，提高复拍效率。
基于上述描述，本发明实施例提出了一种云台调整方法，该云台调整方法可应用于移动平台，该移动平台配置有云台和摄像组件。请参见图2，该云台调整方法可以包括如下步骤S201-S204：
S201，获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹。
参考图像帧序列可以包括至少两帧参考图像帧，各参考图像帧可以按照拍摄时间的先后顺序依次排列。在一种实施方式中，在获取参考图帧序列时，可以获取图像复拍前所拍摄的样片，并将该样片作为参考图像帧序列。再一种实施方式中，在获取参考图像帧序列时，可以获取在当前图像复拍(或称为本次图像复拍)之前的历史图像复拍所拍摄的图像帧序列，并将历史图像复拍所拍摄的图像帧序列作为参考图像帧序列。
由于在每次图像复拍的过程中，可通过VIO记录拍摄图像帧序列时移动平台移动所形成的拍摄轨迹。因此还可获取VIO记录的在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹，该参考拍摄轨迹中的任一个拍摄位置均对应着云台的一个角度参数，该角度参数可表明云台在该位置时的角度(或者朝向)。由前述可知，摄像组件是固定在云台上的，因此云台的角度(或朝向)与摄像组件的拍摄角度是一致的，即该角度参数也可表明摄像组件的拍摄角度。云台的角度变换的同时，摄像组件的拍摄角度也会随着云台的角度变换而发生变换。
S202，在图像复拍的过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台。
在图像复拍的过程中，移动平台根据参考拍摄轨迹进行移动，移动平台上所配置的云台的位置也随之发生变化。因此，可以实时性或周期性地确定云台的所在位置，并获取在参考拍摄轨迹中，该云台的所在位置所对应的云台的目标角度参数。在获取到云台的目标角度参数之后，可以根据该目标角度参数预估拍摄角度。具体的，可以将目标角度参数所表示的角度作为预估的拍摄角度，例如，目标角度参数为“90，60”，该目标角度参数所表示的角度为“垂直方向90度，水平方向60度”，那么预估的拍摄角度为“垂直方向90度，水平方向60度”。
由于摄像组件是固定在云台上的，因此可以通过调整云台的角度来调整摄像组件的拍摄角度。因此，在确定了预估的拍摄角度之后，可以根据预估的拍摄角度调整云台，将云台的角度调整至预估的拍摄角度。
S203，获取当前图像帧。
此处的当前图像帧是指基于预设的图像采样规则从摄像组件拍摄的图像集合中所采样得到的图像帧，所述图像采样规则包括：采样得到的当前图像帧与上一次采样得到的图像帧之间的差异像素的数量在预设区间内。其中，差异像素是指当前图像帧与上一次采样得到的图像帧之间的不同像素，预设区间的取值可以根据经验值或者业务需求设置。实践表明，若将与上一次采样得到的图像帧之间的差异像素的数量较少的图像帧作为当前图像帧，容易导致步骤S204的计算量较大；若将与上一次采样得到的图像帧之间的差异像素的数量较多的图像帧作为当前图像帧，容易导致步骤S204的准确性较低。因此，本发明实施例在获取当前图像帧时，是将与上一次采样得到的图像帧之间的差异像素的数量在预设区间内的图像帧作为当前图像帧，从而降低步骤S204的计算量且提高步骤S204的准确性。
相应的，获取当前图像帧的具体实施方式可以是：先获取摄像组件拍摄的图像集合，该图像集合中包括至少一帧图像；摄像组件可以实时进行图像拍摄，并将拍摄到的图像帧添加至图像集合中，即图像集合是实时更新的。然后，根据预设的图像采样规则从图像集合中采样得到当前图像帧，采样得到的当前图像帧可以是最新添加至图像集合中的图像帧。例如，图像集合中包括图像帧a、图像帧b以及图像帧c，摄像组件又拍摄到图像帧d，并将图像帧d添加至图像集合中，此时最新添加至图像集合中的图像帧为图像帧d。由于图像帧d与上一次采样得到的图像帧之间的差异像素的数量在预设区间内，因此可以将图像帧d作为当前图像帧。
S204，根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。
在根据当前图像帧和参考图像帧序列确定云台的调整控制量时，可以根据当前图像帧和参考图像帧序列进行图像配准，根据图像配准结果确定云台的调整控制量，该调整控制量可以包括云台的第一角度参数和第二角度参数。其中，第一角度参数为云台在水平方向上的角度参数，第二角度参数为云台在垂直方向上的角度参数。
在一种实施方式中，在根据当前图像帧和参考图像帧序列确定云台的调整控制量之前，还可以根据VIO所记录的在拍摄该当前图像帧时，移动平台移动所形成的当前拍摄轨迹，以及IMU(Inertial Measurement Unit，惯性测量单元)和电子罗盘的测量值判断当前拍摄轨迹和参考拍摄轨迹之间的差异是否满足预设条件。若满足，则执行当前图像帧和参考图像帧序列确定云台的调整控制量的步骤；若不满足，则对云台的朝向进行校正，此处的云台的朝向可以理解成云台的角度。
本发明实施例可以获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹；在图像复拍过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台；获取当前图像帧；根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。由此可见，上述的云台调整过程中，可以先根据参考拍摄轨迹对云台进行粗调整，在拍摄轨迹发生微小变化时，可以根据当前图像帧和之前拍摄的参考图像帧序列确定调整控制量，并在粗调整的基础上再次根据调整控制量调整云台，从而使得整个复拍过程更加流畅快捷，使得图像复拍得到的图像帧序列满足用户需求，从而减少复拍次数，提高复拍效率。
基于上述描述，本发明实施例提出了一种云台调整方法，该云台调整方法可应用于移动平台，该移动平台配置有云台和摄像组件。请参见图3，该云台调整方法可以包括如下步骤S301-S307：
S301，获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹，该参考图像帧序列包括至少两帧参考图像帧。
具体的，从摄像组件处获取参考图像帧序列。为了减少传输的数据量，提高传输效率，本发明实施例可以对摄像组件拍摄到的参考图像帧序列进行压缩处理以得到图像压缩包，从摄像组件处获取该图像压缩包，从而提高获取效率。此处的图像压缩包中可以包括I帧和P帧，其中，I帧又可称为内部画面，是指压缩处理的第一个帧，I帧可以理解成基于摄像组件拍摄到的原始图像进行压缩的帧；P帧是指根据本帧和相邻的前一帧(I帧或者P帧)的不同点来压缩本帧数据所得到的帧，P帧可以理解成基于摄像组件拍摄到的原始图像和前一帧图像之间的图像差异进行压缩的帧。
S302，若检测到图像复拍的开始指令，则确定图像复拍的初始位置，该初始位置作为当前拍摄轨迹的起始位置。
此处的初始位置可以根据参考拍摄轨迹中的任意拍摄位置确定，即可以从任意拍摄位置进行图像复拍，提高了图像复拍的灵活性以及兼容性。例如：可以选取参考拍摄轨迹中的起始拍摄位置作为所述初始位置，即此时的当前拍摄轨迹的起始位置与参考拍摄轨迹的起始拍摄位置相同或相近；还可以选取距离参考拍摄轨迹中的起始拍摄位置预设距离的拍摄位置作为所述起始位置，即此时的当前拍摄轨迹的起始位置与参考拍摄轨迹的起始拍摄位置之间的距离等于预设距离；还可以选取参考拍摄轨迹中的中点拍摄位置作为所述起始位置，即此时的当前拍摄轨迹的起始位置与参考拍摄轨迹的中点拍摄位置相同或相近，等等。
在进行图像复拍时，可以将移动平台放置在初始位置，并调整好大致与拍摄参考图像帧序列时相同的机位朝向，即调整云台的角度以使得调整后的云台的角度与之前拍摄参考图像帧序列时云台的角度大致相同。然后进入重录模式，拍摄者可以点击用户界面中的重录功能按钮以开启重录模式。相应的，图像复拍的开始指令可以包括：用户的点击指令，即当检测到拍摄者的点击指令时，则确定检测到图像复拍的开始指令。可选的，图像复拍的开始指令还可包括：按压指令、语音指令，等等。在检测到图像复拍的开始指令后，可以通过IMU惯性测量单元或者电子罗盘等测量装置确定图像复拍的初始位置。
S303，根据初始位置从参考图像帧序列中获取基准图像帧，该基准图像帧所对应的拍摄位置与初始位置相对应。
具体的，可以先根据初始位置从参考拍摄轨迹中确定相对应的参考起始位置，例如，初始位置与参考拍摄轨迹的起始拍摄位置相同或相近，那么参考起始位置为参考拍摄轨迹的起始拍摄位置；又如，初始位置与参考拍摄轨迹的中点拍摄位置相同或相近，那么参考起始位置为参考拍摄轨迹中的中点拍摄位置，等等。然后将参考图像帧序列中在参考起始位置处或者附近拍摄得到的一帧或多帧图像帧均作为基准图像帧，即基准图像帧的数量可以不止一帧；此处的基准图像帧可以是I帧。在一个实施例中，该基准图像帧还可以是IDR帧，所谓的IDR帧是第一个首个I帧。
S304，若基准图像帧和在初始位置拍摄到的初始图像帧进行图像配准成功，则开始图像复拍。
由于初始位置可能与基准图像帧所对应的拍摄位置存在偏差，和/或开始拍摄时的云台的角度也存在偏差，从而导致当前图像复拍所拍摄到的图像帧与参考图像帧序列有偏差。因此，为了避免该偏差，提高拍摄的准确性，本发明实施在获取到基准图像帧之后，可以将基准图像帧和摄像组件在初始位置拍摄到的实时的初始图像帧进行图像配准。具体的，在图像配准的过程中，云台可以左右和/或上下轻微摆动扫描，摄像组件随着云台的轻微摆动可以实时获取初始图像帧，并将初始图像帧与基准图像帧进行图像配准。若图像配准成功，则可以直接进行图像复拍。可选的，若图像配准成功，则可以在用户界面显示一个“开始”的提示框；若检测到拍摄者点击该“开始”的提示框的点击指令，则开始图像复拍。需要说明的是，图像配准成功是指：可以在各基准图像帧中找到与初始图像帧最匹配的目标基准图像帧。
通常，图像可以包括多个特征点，该特征点是指图像中具有鲜明特性并能够有效反映图像本质特征且可标识图像中目标对象的点。特征点可由两部分构成：关键点(Keypoint)和描述子(Descriptor)：关键点指的是该特征点在图像中的位置，可具有方向、尺度等信息；描述子通常是一个向量，用于描述关键点周围像素的信息。因此，在进行图像匹配时，可以先采用特征点描述算法分别提取初始图像帧(用IR表示)和基准图像帧(用IT表示)中的特征点及描述子，此处的特征点描述算法可以包括但不限于：SIFT(Scale-invariant feature transform，尺度不变特征转换)算法、SURF(Speeded up robustfeatures，加速鲁棒特征)算法，ORB(Oriented FAST and rotated BRIEF)算法，等等。其次，根据初始图像帧中的描述子和基准图像帧中的描述子进行特征点匹配，得到匹配结果，该匹配结果中包括各基准图像帧与初始图像帧之间的匹配度；然后，根据匹配结果查找与初始图像帧最匹配的目标基准图像帧，并剔除异常点(outlier点)。可选的，可以采用RANSAC(Random sample consensus)和/或Epipolar constraint(极线约束)方法剔除异常点。
其中，在根据匹配结果查找与初始图像帧最匹配的目标基准图像帧的过程中，可以将最大匹配度所对应的基准图像帧作为目标基准图像帧。在一个实施例中，为了避免误匹配的情况，还可以采用unique ratio的方法来验证目标基准图像帧是否为与初始图像帧最匹配(或称为第一匹配)的基准图像帧；若是，则确定图像配准成功。其中，unique ratio的方法的原理如下：用d1表示各基准图像帧中与初始图像帧最匹配的基准图像帧(即目标基准图像帧)之间的匹配度，该最匹配的基准图像帧为各基准图像帧中与初始图像帧之间的匹配度最大的基准图像帧；用d2表示各基准图像帧中与初始图像帧次匹配(或称为第二匹配)的基准图像帧之间的匹配度，次匹配的基准图像帧为各基准图像帧中与初始图像帧之间的匹配度第二大的基准图像帧。设置一个预设比值Td，该预设比值的取值可以根据实际需要设定调整，是一个工程经验值；若d1和d2满足式1.1，则确定目标基准图像帧为与初始图像帧最匹配的基准图像帧。
Figure BDA0002310546910000101
S305，在图像复拍的过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台。
S306，获取当前图像帧。
获取摄像组件拍摄的图像集合，该图像集合中包括至少一帧图像；根据预设的图像采样规则从图像集合中采样得到当前图像帧，所述图像采样规则包括：采样得到的当前图像帧与上一次采样得到的图像帧之间的差异像素的数量在预设区间内。
在一个实施例中，还可以获取在拍摄当前图像帧时，移动平台移动所形成的当前拍摄轨迹；判断参考拍摄轨迹与当前拍摄轨迹之间的差异是否满足预设条件；若参考拍摄轨迹与当前拍摄轨迹之间的差异满足预设条件，则执行根据当前图像帧和参考图像帧序列确定云台的调整控制量的步骤，即执行步骤S307。再一个实施例中，若参考拍摄轨迹与当前拍摄轨迹之间的差异不满足预设条件，则根据当前采样位置和历史参考位置计算云台的目标朝向。具体的，可以根据当前采样位置和历史参考位置计算云台的偏移角度，并根据偏移角度计算云台的目标朝向。可选的，还可以根据当前采样位置和当前参考位置计算云台的目标朝向。在计算得到目标朝向之后，可以根据目标朝向对云台进行朝向校正。若朝向校正后的云台可以在一定程度上对准目标对象，则此时的摄像组件可以在一定程度上准确地拍摄目标对象，并可以执行步骤S307；若朝向校正后的云台无法在一定程度上对准目标对象，则表明校正失败。
其中，判断参考拍摄轨迹与当前拍摄轨迹之间的差异是否满足预设条件的具体实施方式可以包括如下步骤s11-s14：
s11，将当前图像帧所对应的采样位置作为当前采样位置，将上一次采样得到的图像帧所对应的采样位置作为历史采样位置。
s12，根据当前采样位置从参考拍摄轨迹中确定当前参考位置，以及根据历史采样位置从参考拍摄轨迹中确定历史参考位置。
在一种实施方式中，由于在当前图像复拍的过程中，移动平台是根据参考拍摄轨迹进行移动从而形成当前拍摄轨迹的，因此参考拍摄轨迹中的位置信息和当前拍摄轨迹中的位置信息具有一一对应的位置对应关系。可以根据该位置对应关系从参考拍摄轨迹中确定与当前采样位置相对应的当前参考位置；以及根据该位置对应关系从参考拍摄轨迹中确定与历史采样位置相对应的历史参考位置。
再一种实施方式中，可以根据当前采样位置所对应的当前图像帧、历史采样位置所对应的上一次采样得到的图像帧以及预设的图像采样规则从参考图像帧序列中确定第一参考图像帧和第二参考图像帧；将第一图像帧所对应的拍摄位置作为当前参考位置，将第二图像帧所对应的拍摄位置作为历史参考位置。其中，第一参考图像帧和第二参考图像帧满足如下条件：第一参考图像帧与当前图像帧匹配，第二参考图像帧与所述上一次采样得到的图像帧匹配。可选的，第一参考图像帧和第二参考图像帧还可满足：第一参考图像帧与第二参考图像帧之间的差异像素的数量在预设区间内。
s13，根据当前采样位置和历史采样位置确定第一移动方向，以及根据当前参考位置和历史参考位置确定第二移动方向。
可以计算当前采样位置和历史采样位置之间的连线与预设水平线所形成的第一夹角，并将第一夹角作为第一移动方向；计算当前参考位置和历史参考位置之间的连线与预设水平线所形成的第二夹角，并将第二夹角作为第二移动方向。如图4所示，设历史采样位置为A’、当前采样位置为B’，计算A’与B’之间的连线(用实线表示)与预设水平线所形成的第一夹角为α，那么第一移动方向为α；设历史参考位置为A、当前参考位置为B，计算A与B之间的连线(用虚线表示)与预设水平线所形成的第一夹角为β，那么第二移动方向为β。
s14，根据第一移动方向和第二移动方向判断参考拍摄轨迹与当前拍摄轨迹之间的差异是否满足预设条件。
具体的，若第一移动方向和第二移动方向之间的差值小于预设阈值，则确定参考拍摄轨迹与当前拍摄轨迹之间的差异满足预设条件；如图4所示，此时的参考拍摄轨迹与当前拍摄轨迹之间的差异满足预设条件，可以执行根据当前图像帧和参考图像帧序列确定云台的调整控制量的步骤。若第一移动方向和第二移动方向之间的差值大于或等于预设阈值，则确定参考拍摄轨迹与所当前拍摄轨迹之间的差异不满足预设条件；如图5所示，此时的参考拍摄轨迹与当前拍摄轨迹之间的差异不满足预设条件，则需要对云台进行朝向校正。预设阈值可以根据实际需求或者经验值设置。
S307，根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。
具体的，可以根据当前图像帧和参考图像帧序列进行图像配准；根据图像配准结果确定云台的调整控制量。此处的调整控制量可以包括云台的第一角度参数(用
Figure BDA0002310546910000121
表示)和第二角度参数(用θ表示)。其中，第一角度参数为云台在水平方向上的角度参数，第二角度参数为云台在垂直方向上的角度参数。
其中，根据当前图像帧和参考图像帧序列进行图像配准的具体实施方式可以包括如下步骤s21-s23：
s21，确定当前拍摄轨迹的起始位置，并计算当前采样位置与起始位置之间的路径长度。
s22，根据路径长度和参考拍摄轨迹从参考图像帧序列中确定关键图像帧集合，该关键图像帧集合中包括至少两帧关键图像帧。
具体的，可以确定参考拍摄轨迹的总路径和总时长。需要说明的是，由前述可知，当前拍摄轨迹的起始位置(即初始位置)可以根据参考拍摄轨迹中的任意拍摄位置确定，因此，此处的参考拍摄轨迹的总路径是指：参考拍摄轨迹中的参考起始位置与参考拍摄轨迹中的终点拍摄位置之间的路径，参考起始位置是指参考拍摄轨迹中与当前拍摄轨迹的起始位置相对应的拍摄位置。例如，当前拍摄轨迹的起始位置是根据参考拍摄轨迹中的起始拍摄位置确定的，那么参考起始位置为参考拍摄轨迹中的起始拍摄位置；又如，当前拍摄轨迹的起始位置是根据参考拍摄轨迹中的中点拍摄位置确定的，那么参考起始位置为参考拍摄轨迹中的中点拍摄位置，等等。相应的，参考拍摄轨迹的总时长是指：参考拍摄轨迹中的参考起始位置所对应的拍摄时间与参考拍摄轨迹中的终点拍摄位置所对应的拍摄时间之间的时长。
在确定了参考拍摄轨迹的总路径和总时长之后，可以根据路径长度、参考拍摄轨迹的总路径和总时长，计算当前图像帧的拍摄时间。具体的，可以计算路径长度和参考拍摄轨迹的总路径之间的路径比值；将路径比值和参考拍摄轨迹的总时长的乘积作为当前图像帧的拍摄时间。设路径长度为Ic，参考拍摄轨迹的总路径为Id，参考拍摄轨迹的总时长为T，那么当前图像帧的拍摄时间tc为：tc＝(Ic/Id)T。
然后根据当前图像帧的拍摄时间从参考图像帧序列中确定关键图像帧集合，该关键图像帧集合中的各关键图像帧的拍摄时间与当前图像帧的拍摄时间之间的时间差小于预设差值，该预设差值的取值可以根据实际的业务需求或者经验值设置。具体的，可以获取参考图像帧序列中的各参考图像帧的拍摄时间，并计算各参考图像帧的拍摄时间与当前图像帧的拍摄时间之间的时间差，将时间差小于预设差值所对应的参考图像帧作为关键图像帧并添加至关键图像帧集合中。
s23，将当前图像帧和关键图像帧集合中的各关键图像帧进行图像配准。
具体的，可以采用SIFT算法等特征点描述算法分别提取当前图像帧和各关键图像帧中的特征点及描述子；根据当前图像帧中的描述子和各关键图像帧中的描述子进行特征点匹配，得到图像配准结果。
其中，图像配准结果包括关键图像帧集合中的各关键图像帧与当前图像帧的匹配度。相应的，根据图像配准结果确定云台的调整控制量的具体实施方式可以包括如下步骤s31-s32：
s31，根据图像配准结果从关键图像帧集合中确定目标图像帧，目标图像帧为关键图像帧集合中匹配度最大的关键图像帧。
具体的，可以根据图像配准结果从关键图像帧集合中选取最大匹配度所对应的关键图像帧作为目标图像帧。在一个实施例中，为了避免噪声引起的误匹配，提高目标图像帧的准确性，在根据图像配准结果从关键图像帧集合中确定目标图像帧时，还可以根据图像配准结果从关键图像帧集合中确定最大匹配度所对应的第一关键图像帧，以及次大匹配度所对应的第二关键图像帧，此处的最大匹配又可称为第一大匹配度，次大匹配度又可称为第二大匹配度。计算第一关键图像帧与第二关键图像帧之间的匹配度比值；若匹配度比值大于预设比值，则将第一关键图像帧确定为目标图像帧，该预设比值可以根据实际需要设定调整，可以是一个工程经验值。可选的，还可以计算第一关键图像帧与第二关键图像帧之间的匹配度差值，若匹配度差值大于预设阈值，则将第一关键图像帧确定为目标图像帧，该预设阈值可以根据实际需要设定调整，可以是一个工程经验值。
可选的，在确定目标图像帧之后，还可以采用Epipolar constraint方法和/或RANSAC方法剔除目标图像帧的异常点，以便于提高后续计算角度差异的准确性。
s32，计算目标图像帧和当前图像帧之间的角度差异，并将角度差异作为云台的调整控制量。
具体的，在计算目标图像帧和当前图像帧之间的角度差异时，可以先根据目标图像帧和当前图像帧建立目标函数，该目标函数包括图像比例参数(s)和像素偏移参数(Δp)。目标函数f(x)可以如式1.2所示：
Figure BDA0002310546910000141
Figure BDA0002310546910000142
表示的是当前图像帧上的第i个点，
Figure BDA0002310546910000143
表示的是目标图像帧上对应匹配的第i个点；
Figure BDA0002310546910000144
表示的是：
Figure BDA0002310546910000145
移动了Δp(Δu,Δv)(行、列像素)后，经过图像比例参数s的变换后，与
Figure BDA0002310546910000146
的差值。
其次，可以按照减小目标函数的值的原则，优化目标函数以确定图像比例参数的图像比例值和像素偏移参数的像素偏移值，如式1.3所示。
Figure BDA0002310546910000151
Figure BDA0002310546910000152
表示的是通过优化目标函数的方法求取目标函数f(x)的最小值。在具体实施过程中，可以通过调整s和Δp的值以优化目标函数。在一个实施例中，优化后的目标函数的值满足最小化条件；图像比例值为满足最小化条件时的目标函数中的图像比例参数的取值，即s的取值，像素偏移值为满足最小化条件时的目标函数中的像素偏移参数的取值，即Δp的值。
然后，可以获取摄像组件的内参以及图像分辨率，并根据内参、图像分辨率和图像位移值计算目标图像帧和当前图像帧之间的角度差异，角度差异包括第一角度参数
Figure BDA0002310546910000157
和第二角度参数θ。具体的计算过程如下：
i.根据出厂标定或是厂商提供的摄像组件的内参(Fov)以及图像分辨率，计算hFov和vFov:
Figure BDA0002310546910000153
Figure BDA0002310546910000154
其中，Fov(field of view)为摄像组件sensor对角线的Fov；
hFov(horizontal field of view)为水平方向上的Fov；
vFov(vertical field of view)为垂直方向上的Fov；
w为分辨率中的画幅宽(像素)，h为分辨率中的画幅高(像素)，w和h的比值一般是16:9或者4:3，比如1920*1080。
ii.根据图像位移值Δp(Δu,Δv)计算第一角度参数
Figure BDA0002310546910000158
和第二角度参数θ：
Figure BDA0002310546910000155
Figure BDA0002310546910000156
再一个实施例中，若接收到调整指令，则根据调整指令对云台进行调整。在一种应用场景中，拍摄者可以根据实际的场景需求调整构图以及机位，并输入调整指令以在参考图像帧序列的基础上修正云台的朝向。在接收到拍摄者的调整指令后，可以根据调整指令对参考图像帧序列进行调整，并将调整后的参考图像帧序列作为新的参考图像帧序列以覆盖调整前的参考图像帧序列。在后续的云台调整过程中，则会根据新的参考图像帧序列对云台进行调整。由此可见，在后续的图像复拍时，参考图像帧序列是经过调整迭代的，与之前拍摄的参考图像帧序列不完全一样，参考图像帧序列是在不断调整迭代中更新的。
再一种应用场景中，拍摄者可以根据云台的当前朝向输入调整指令。在接收到拍摄者的调整指令后，可以根据该调整指令直接对云台进行调整。
本发明实施例可以获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹；在图像复拍过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台；获取当前图像帧；根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。由此可见，上述的云台调整过程中，可以先根据参考拍摄轨迹对云台进行粗调整，在拍摄轨迹发生微小变化时，可以根据当前图像帧和之前拍摄的参考图像帧序列确定调整控制量，并在粗调整的基础上再次根据调整控制量调整云台，从而使得整个复拍过程更加流畅快捷，使得图像复拍得到的图像帧序列满足用户需求，从而减少复拍次数，提高复拍效率。
基于上述方法实施例的描述，在一种实施方式中，本发明实施例提供了一种如图6所示的云台调整设备的结构示意图，如图6所示的云台调整设备可以至少包括：存储器101和处理器102，其中，所述存储器101用于存储程序指令；所述处理器102被配置用于调用执行所述程序指令。
在一种实施方式中，该处理器102可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器，即微处理器或者任何常规的处理器，例如：数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，等等。
该存储器101可以包括只读存储器和随机存取存储器，并向处理器102提供指令和数据。因此，在此对于处理器102和存储器101不作限定。
在一个实施例中，所述存储器101用于存储程序指令；所述处理器102被配置用于调用所述程序指令，执行如下步骤：
获取参考图像帧序列，以及在拍摄所述参考图像帧序列时所述移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；
在图像复拍的过程中，根据所述参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整所述云台；
获取当前图像帧；
根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。
在一种实施方式中，在获取当前图像帧时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
获取所述摄像组件拍摄的图像集合，所述图像集合中包括至少一帧图像；
根据预设的图像采样规则从所述图像集合中采样得到当前图像帧，所述图像采样规则包括：采样得到的当前图像帧与上一次采样得到的图像帧之间的差异像素的数量在预设区间内。
再一种实施方式中，所述处理器102还被配置用于调用所述程序指令，执行如下步骤：
获取在拍摄所述当前图像帧时，所述移动平台移动所形成的当前拍摄轨迹；
判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件；
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件，则执行根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量的步骤。
再一种实施方式中，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件，则根据所述当前采样位置和所述历史参考位置计算所述云台的目标朝向；
根据所述目标朝向对所述云台进行朝向校正。
再一种实施方式中，在判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
将所述当前图像帧所对应的采样位置作为当前采样位置，将上一次采样得到的图像帧所对应的采样位置作为历史采样位置；
根据所述当前采样位置从所述参考拍摄轨迹中确定当前参考位置，以及根据所述历史采样位置从所述参考拍摄轨迹中确定历史参考位置；
根据所述当前采样位置和所述历史采样位置确定第一移动方向，以及根据所述当前参考位置和所述历史参考位置确定第二移动方向；
根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件。
再一种实施方式中，在根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
若所述第一移动方向和所述第二移动方向之间的差值小于预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件；
若所述第一移动方向和所述第二移动方向之间的差值大于或等于所述预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件。
再一种实施方式中，在根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
根据所述当前图像帧和所述参考图像帧序列进行图像配准；
根据图像配准结果确定所述云台的调整控制量。
再一种实施方式中，在根据所述当前图像帧和所述参考图像帧序列进行图像配准时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
确定所述当前拍摄轨迹的起始位置，并计算当前采样位置与所述起始位置之间的路径长度；
根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中包括至少两帧关键图像帧；
将所述当前图像帧和所述关键图像帧集合中的各关键图像帧进行图像配准。
再一种实施方式中，在根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
确定所述参考拍摄轨迹的总路径和总时长；
根据所述路径长度、所述参考拍摄轨迹的总路径和所述总时长，计算所述当前图像帧的拍摄时间；
根据所述当前图像帧的拍摄时间从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中的各关键图像帧的拍摄时间与所述当前图像帧的拍摄时间之间的时间差小于预设差值。
再一种实施方式中，所述图像配准结果包括所述关键图像帧集合中的各关键图像帧与所述当前图像帧的匹配度；在根据图像配准结果确定所述云台的调整控制量时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
根据图像配准结果从所述关键图像帧集合中确定目标图像帧，所述目标图像帧为所述关键图像帧集合中匹配度最大的关键图像帧；
计算所述目标图像帧和所述当前图像帧之间的角度差异，并将所述角度差异作为所述云台的调整控制量。
再一种实施方式中，在根据图像配准结果从所述关键图像帧集合中确定目标图像帧时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
根据所述图像配准结果从所述关键图像帧集合中确定最大匹配度所对应的第一关键图像帧，以及次大匹配度所对应的第二关键图像帧；
计算所述第一关键图像帧与所述第二关键图像帧之间的匹配度比值；
若所述匹配度比值大于预设比值，则将所述第一关键图像帧确定为目标图像帧。
再一种实施方式中，在计算所述目标图像帧和所述当前图像帧之间的角度差异时，所述处理器102被配置用于调用所述程序指令，执行如下步骤：
根据所述目标图像帧和所述当前图像帧建立目标函数，所述目标函数包括图像比例参数和像素偏移参数；
按照减小所述目标函数的值的原则，优化所述目标函数以确定所述图像比例参数的图像比例值和所述像素偏移参数的像素偏移值；
获取所述摄像组件的内参以及图像分辨率，并根据所述内参、所述图像分辨率和所述图像位移值计算所述目标图像帧和所述当前图像帧之间的角度差异。
再一种实施方式中，优化后的目标函数的值满足最小化条件；
所述图像比例值为满足所述最小化条件时的目标函数中的图像比例参数的取值，所述像素偏移值为满足所述最小化条件时的目标函数中的像素偏移参数的取值。
再一种实施方式中，所述处理器102被配置还用于调用所述程序指令，执行如下步骤：
若检测到图像复拍的开始指令，则确定图像复拍的初始位置，所述初始位置作为所述当前拍摄轨迹的起始位置；
根据所述初始位置从所述参考图像帧序列中获取基准图像帧，所述基准图像帧所对应的拍摄位置与所述初始位置相对应；
若所述基准图像帧和在所述初始位置拍摄到的初始图像帧进行图像配准成功，则开始图像复拍。
再一种实施方式中，所述初始位置根据所述参考拍摄轨迹中的任意拍摄位置确定。
再一种实施方式中，所述处理器102被配置还用于调用所述程序指令，执行如下步骤：
若接收到调整指令，则根据所述调整指令对所述云台进行调整。
本发明实施例可以获取参考图像帧序列，以及在拍摄参考图像帧序列时移动平台移动所形成的参考拍摄轨迹；在图像复拍过程中，根据参考拍摄轨迹预估拍摄角度，并根据预估的拍摄角度调整云台；获取当前图像帧；根据当前图像帧和参考图像帧序列确定云台的调整控制量，并根据调整控制量调整云台。由此可见，上述的云台调整过程中，可以先根据参考拍摄轨迹对云台进行粗调整，在拍摄轨迹发生微小变化时，可以根据当前图像帧和之前拍摄的参考图像帧序列确定调整控制量，并在粗调整的基础上再次根据调整控制量调整云台，从而使得整个复拍过程更加流畅快捷，使得图像复拍得到的图像帧序列满足用户需求，从而减少复拍次数，提高复拍效率。
基于上述描述，本发明实施例还提供了一种移动平台，该移动平台可以至少包括：摄像组件，用于拍摄图像；云台，用于控制摄像组件的朝向；机身；动力系统，安装在机身上，用于为移动平台提供动力；以及上述实施例的云台调整设备。
在一个实施例中，所述移动平台包括以下任一种：无人机或者云台摄像机。
本实施例提供的移动平台其执行方式和有益效果与前述实施例提供的云台调整设备类似，在这里不再赘述。
需要说明的是，上述描述的移动平台和云台调整设备的具体工作过程，可以参考前述各个实施例中的相关描述，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。即本发明实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，该计算机程序指令适于由处理器加载并执行如图2或图3所示的云台调整方法。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (32)

1.一种云台调整方法，所述云台调整方法应用于移动平台，所述移动平台配置有云台和摄像组件，其特征在于，包括：
获取参考图像帧序列，以及在拍摄所述参考图像帧序列时所述移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；
在图像复拍的过程中，确定云台的所在位置，获取所述参考拍摄轨迹中所述云台的所在位置对应的云台的目标角度参数，根据所述目标角度参数预估拍摄角度，并根据预估的拍摄角度调整所述云台；
获取当前图像帧；
根据所述当前图像帧和所述参考图像帧序列进行图像配准，根据图像配准结果确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。
2.如权利要求1所述的方法，其特征在于，所述获取当前图像帧，包括：
获取所述摄像组件拍摄的图像集合，所述图像集合中包括至少一帧图像；
根据预设的图像采样规则从所述图像集合中采样得到当前图像帧，所述图像采样规则包括：采样得到的当前图像帧与上一次采样得到的图像帧之间的差异像素的数量在预设区间内。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
获取在拍摄所述当前图像帧时，所述移动平台移动所形成的当前拍摄轨迹；
判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件；
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件，则执行所述根据所述当前图像帧和所述参考图像帧序列进行图像配准，根据图像配准结果确定所述云台的调整控制量的步骤。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件，则根据所述当前采样位置和历史参考位置计算所述云台的目标朝向；
根据所述目标朝向对所述云台进行朝向校正。
5.如权利要求3所述的方法，其特征在于，所述判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件，所述方法还包括：
将所述当前图像帧所对应的采样位置作为当前采样位置，将上一次采样得到的图像帧所对应的采样位置作为历史采样位置；
根据所述当前采样位置从所述参考拍摄轨迹中确定当前参考位置，以及根据所述历史采样位置从所述参考拍摄轨迹中确定历史参考位置；
根据所述当前采样位置和所述历史采样位置确定第一移动方向，以及根据所述当前参考位置和所述历史参考位置确定第二移动方向；
根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件，包括：
若所述第一移动方向和所述第二移动方向之间的差值小于预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件；
若所述第一移动方向和所述第二移动方向之间的差值大于或等于所述预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件。
7.如权利要求3所述的方法，其特征在于，所述根据所述当前图像帧和所述参考图像帧序列进行图像配准，包括：
确定所述当前拍摄轨迹的起始位置，并计算当前采样位置与所述起始位置之间的路径长度；
根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中包括至少两帧关键图像帧；
将所述当前图像帧和所述关键图像帧集合中的各关键图像帧进行图像配准。
8.如权利要求7所述的方法，其特征在于，所述根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合，包括：
确定所述参考拍摄轨迹的总路径和总时长；
根据所述路径长度、所述参考拍摄轨迹的总路径和所述总时长，计算所述当前图像帧的拍摄时间；
根据所述当前图像帧的拍摄时间从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中的各关键图像帧的拍摄时间与所述当前图像帧的拍摄时间之间的时间差小于预设差值。
9.如权利要求7所述的方法，其特征在于，所述图像配准结果包括所述关键图像帧集合中的各关键图像帧与所述当前图像帧的匹配度；所述根据图像配准结果确定所述云台的调整控制量，包括：
根据图像配准结果从所述关键图像帧集合中确定目标图像帧，所述目标图像帧为所述关键图像帧集合中匹配度最大的关键图像帧；
计算所述目标图像帧和所述当前图像帧之间的角度差异，并将所述角度差异作为所述云台的调整控制量。
10.如权利要求9所述的方法，其特征在于，所述根据图像配准结果从所述关键图像帧集合中确定目标图像帧，包括：
根据所述图像配准结果从所述关键图像帧集合中确定最大匹配度所对应的第一关键图像帧，以及次大匹配度所对应的第二关键图像帧；
计算所述第一关键图像帧与所述第二关键图像帧之间的匹配度比值；
若所述匹配度比值大于预设比值，则将所述第一关键图像帧确定为目标图像帧。
11.如权利要求9所述的方法，其特征在于，所述计算所述目标图像帧和所述当前图像帧之间的角度差异，包括：
根据所述目标图像帧和所述当前图像帧建立目标函数，所述目标函数包括图像比例参数和像素偏移参数；
按照减小所述目标函数的值的原则，优化所述目标函数以确定所述图像比例参数的图像比例值和所述像素偏移参数的像素偏移值；
获取所述摄像组件的内参以及图像分辨率，并根据所述内参、所述图像分辨率和图像位移值计算所述目标图像帧和所述当前图像帧之间的角度差异。
12.如权利要求11所述的方法，其特征在于，优化后的目标函数的值满足最小化条件；
所述图像比例值为满足所述最小化条件时的目标函数中的图像比例参数的取值，所述像素偏移值为满足所述最小化条件时的目标函数中的像素偏移参数的取值。
13.如权利要求3所述的方法，其特征在于，所述方法还包括：
若检测到图像复拍的开始指令，则确定图像复拍的初始位置，所述初始位置作为所述当前拍摄轨迹的起始位置；
根据所述初始位置从所述参考图像帧序列中获取基准图像帧，所述基准图像帧所对应的拍摄位置与所述初始位置相对应；
若所述基准图像帧和在所述初始位置拍摄到的初始图像帧进行图像配准成功，则开始图像复拍。
14.如权利要求13所述的方法，其特征在于，所述初始位置根据所述参考拍摄轨迹中的任意拍摄位置确定。
15.如权利要求1-14任一项所述的方法，其特征在于，所述方法还包括：
若接收到调整指令，则根据所述调整指令对所述云台进行调整。
16.一种云台调整设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：
获取参考图像帧序列，以及在拍摄所述参考图像帧序列时移动平台移动所形成的参考拍摄轨迹，所述参考图像帧序列包括至少两帧参考图像帧；
在图像复拍的过程中，确定云台的所在位置，获取所述参考拍摄轨迹中所述云台的所在位置对应的云台的目标角度参数，根据所述目标角度参数预估拍摄角度，并根据预估的拍摄角度调整所述云台；
获取当前图像帧；
根据所述当前图像帧和所述参考图像帧序列进行图像配准，根据图像配准结果确定所述云台的调整控制量，并根据所述调整控制量调整所述云台。
17.如权利要求16所述的云台调整设备，其特征在于，在获取当前图像帧时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
获取摄像组件拍摄的图像集合，所述图像集合中包括至少一帧图像；
根据预设的图像采样规则从所述图像集合中采样得到当前图像帧，所述图像采样规则包括：采样得到的当前图像帧与上一次采样得到的图像帧之间的差异像素的数量在预设区间内。
18.如权利要求17所述的云台调整设备，其特征在于，所述处理器被配置用于调用所述程序指令，执行如下步骤：
获取在拍摄所述当前图像帧时，所述移动平台移动所形成的当前拍摄轨迹；
判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件；
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件，则执行根据所述当前图像帧和所述参考图像帧序列确定所述云台的调整控制量的步骤。
19.如权利要求18所述的云台调整设备，其特征在于，所述处理器被配置用于调用所述程序指令，执行如下步骤：
若所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件，则根据所述当前采样位置和历史参考位置计算所述云台的目标朝向；
根据所述目标朝向对所述云台进行朝向校正。
20.如权利要求18所述的云台调整设备，其特征在于，在判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
将所述当前图像帧所对应的采样位置作为当前采样位置，将上一次采样得到的图像帧所对应的采样位置作为历史采样位置；
根据所述当前采样位置从所述参考拍摄轨迹中确定当前参考位置，以及根据所述历史采样位置从所述参考拍摄轨迹中确定历史参考位置；
根据所述当前采样位置和所述历史采样位置确定第一移动方向，以及根据所述当前参考位置和所述历史参考位置确定第二移动方向；
根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件。
21.如权利要求20所述的云台调整设备，其特征在于，在根据所述第一移动方向和所述第二移动方向判断所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异是否满足预设条件时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
若所述第一移动方向和所述第二移动方向之间的差值小于预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异满足预设条件；
若所述第一移动方向和所述第二移动方向之间的差值大于或等于所述预设阈值，则确定所述参考拍摄轨迹与所述当前拍摄轨迹之间的差异不满足预设条件。
22.如权利要求18所述的云台调整设备，其特征在于，在根据所述当前图像帧和所述参考图像帧序列进行图像配准时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
确定所述当前拍摄轨迹的起始位置，并计算当前采样位置与所述起始位置之间的路径长度；
根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中包括至少两帧关键图像帧；
将所述当前图像帧和所述关键图像帧集合中的各关键图像帧进行图像配准。
23.如权利要求22所述的云台调整设备，其特征在于，在根据所述路径长度和所述参考拍摄轨迹从所述参考图像帧序列中确定关键图像帧集合时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
确定所述参考拍摄轨迹的总路径和总时长；
根据所述路径长度、所述参考拍摄轨迹的总路径和所述总时长，计算所述当前图像帧的拍摄时间；
根据所述当前图像帧的拍摄时间从所述参考图像帧序列中确定关键图像帧集合，所述关键图像帧集合中的各关键图像帧的拍摄时间与所述当前图像帧的拍摄时间之间的时间差小于预设差值。
24.如权利要求22所述的云台调整设备，其特征在于，所述图像配准结果包括所述关键图像帧集合中的各关键图像帧与所述当前图像帧的匹配度；在根据图像配准结果确定所述云台的调整控制量时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
根据图像配准结果从所述关键图像帧集合中确定目标图像帧，所述目标图像帧为所述关键图像帧集合中匹配度最大的关键图像帧；
计算所述目标图像帧和所述当前图像帧之间的角度差异，并将所述角度差异作为所述云台的调整控制量。
25.如权利要求24所述的云台调整设备，其特征在于，在根据图像配准结果从所述关键图像帧集合中确定目标图像帧时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
根据所述图像配准结果从所述关键图像帧集合中确定最大匹配度所对应的第一关键图像帧，以及次大匹配度所对应的第二关键图像帧；
计算所述第一关键图像帧与所述第二关键图像帧之间的匹配度比值；
若所述匹配度比值大于预设比值，则将所述第一关键图像帧确定为目标图像帧。
26.如权利要求24所述的云台调整设备，其特征在于，在计算所述目标图像帧和所述当前图像帧之间的角度差异时，所述处理器被配置用于调用所述程序指令，执行如下步骤：
根据所述目标图像帧和所述当前图像帧建立目标函数，所述目标函数包括图像比例参数和像素偏移参数；
按照减小所述目标函数的值的原则，优化所述目标函数以确定所述图像比例参数的图像比例值和所述像素偏移参数的像素偏移值；
获取所述摄像组件的内参以及图像分辨率，并根据所述内参、所述图像分辨率和图像位移值计算所述目标图像帧和所述当前图像帧之间的角度差异。
27.如权利要求26所述的云台调整设备，其特征在于，优化后的目标函数的值满足最小化条件；
所述图像比例值为满足所述最小化条件时的目标函数中的图像比例参数的取值，所述像素偏移值为满足所述最小化条件时的目标函数中的像素偏移参数的取值。
28.如权利要求18所述的云台调整设备，其特征在于，所述处理器被配置还用于调用所述程序指令，执行如下步骤：
若检测到图像复拍的开始指令，则确定图像复拍的初始位置，所述初始位置作为所述当前拍摄轨迹的起始位置；
根据所述初始位置从所述参考图像帧序列中获取基准图像帧，所述基准图像帧所对应的拍摄位置与所述初始位置相对应；
若所述基准图像帧和在所述初始位置拍摄到的初始图像帧进行图像配准成功，则开始图像复拍。
29.如权利要求28所述的云台调整设备，其特征在于，所述初始位置根据所述参考拍摄轨迹中的任意拍摄位置确定。
30.如权利要求16-29任一项所述的云台调整设备，其特征在于，所述处理器被配置还用于调用所述程序指令，执行如下步骤：
若接收到调整指令，则根据所述调整指令对所述云台进行调整。
31.一种移动平台，其特征在于，包括：
摄像组件，用于拍摄图像；
云台，用于控制所述摄像组件的朝向；
机身；
动力系统、安装在所述机身上，用于为所述移动平台提供动力；
以及如权利要求16-30任一项所述的云台调整设备。
32.如权利要求31所述的移动平台，其特征在于，所述移动平台包括以下任一种：无人机或者云台摄像机。
CN201880038409.9A 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质 Active CN110800282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110768639.4A CN113473025A (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/116439 WO2020102976A1 (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110768639.4A Division CN113473025A (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质

Publications (2)

Publication Number Publication Date
CN110800282A CN110800282A (zh) 2020-02-14
CN110800282B true CN110800282B (zh) 2021-07-27

Family

ID=69425420

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110768639.4A Withdrawn CN113473025A (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质
CN201880038409.9A Active CN110800282B (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110768639.4A Withdrawn CN113473025A (zh) 2018-11-20 2018-11-20 云台调整方法、云台调整设备、移动平台及介质

Country Status (3)

Country Link
US (2) US11892812B1 (zh)
CN (2) CN113473025A (zh)
WO (1) WO2020102976A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473025A (zh) * 2018-11-20 2021-10-01 深圳市大疆创新科技有限公司 云台调整方法、云台调整设备、移动平台及介质
CN112492215B (zh) * 2020-12-09 2022-04-12 维沃移动通信有限公司 拍摄控制方法、装置和电子设备
CN112866583B (zh) * 2020-12-30 2022-06-21 深圳追一科技有限公司 数据采集系统、方法、装置、电子设备及存储介质
CN117044218A (zh) * 2021-03-25 2023-11-10 深圳市大疆创新科技有限公司 可移动平台及其组件的控制方法、装置
CN113411547B (zh) * 2021-06-17 2023-06-16 浙江大华技术股份有限公司 一种云台的位置校正方法及装置
WO2023272596A1 (zh) * 2021-06-30 2023-01-05 深圳市大疆创新科技有限公司 云台系统处理方法、装置及云台系统
CN113727022B (zh) * 2021-08-30 2023-06-20 杭州申昊科技股份有限公司 巡检图像的采集方法及装置、电子设备、存储介质
CN114491993B (zh) * 2022-01-11 2023-04-14 深圳快造科技有限公司 数据处理方法、装置、服务器及存储介质
CN115026840B (zh) * 2022-08-10 2022-12-16 艾斯特国际安全技术（深圳）有限公司 自动校准方法、机械手及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN105554394A (zh) * 2016-01-27 2016-05-04 努比亚技术有限公司 一种拍摄方法及装置
CN107077152A (zh) * 2016-11-30 2017-08-18 深圳市大疆创新科技有限公司 控制方法、设备、系统、无人机和可移动平台
CN107370941A (zh) * 2017-06-29 2017-11-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN107807659A (zh) * 2017-10-24 2018-03-16 北京臻迪科技股份有限公司 一种无人机飞行控制方法及装置
CN108475074A (zh) * 2017-04-10 2018-08-31 深圳市大疆创新科技有限公司 云台随动控制方法及控制设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
CN102122172B (zh) * 2010-12-31 2013-03-13 中国科学院计算技术研究所 机器运动控制的摄像系统及其控制方法
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
KR101515847B1 (ko) * 2014-08-06 2015-05-04 스타십벤딩머신 주식회사 Nui 장치에 의해 수집된 동작정보의 보정 방법 및 장치
US20160292865A1 (en) * 2015-04-02 2016-10-06 Sportvision, Inc. Automated framing and selective discard of parts of high resolution videos of large event space
WO2018032436A1 (zh) * 2016-08-17 2018-02-22 深圳市大疆灵眸科技有限公司 云台控制方法、装置、存储介质以及无人机
WO2019084719A1 (zh) * 2017-10-30 2019-05-09 深圳市大疆创新科技有限公司 图像处理方法及无人机
CN108111752A (zh) * 2017-12-12 2018-06-01 北京达佳互联信息技术有限公司 视频拍摄方法、装置及移动终端
CN113473025A (zh) * 2018-11-20 2021-10-01 深圳市大疆创新科技有限公司 云台调整方法、云台调整设备、移动平台及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860732A (zh) * 2010-06-04 2010-10-13 天津市亚安科技电子有限公司 一种控制云台摄像机自动跟踪目标的方法
CN105554394A (zh) * 2016-01-27 2016-05-04 努比亚技术有限公司 一种拍摄方法及装置
CN107077152A (zh) * 2016-11-30 2017-08-18 深圳市大疆创新科技有限公司 控制方法、设备、系统、无人机和可移动平台
CN108475074A (zh) * 2017-04-10 2018-08-31 深圳市大疆创新科技有限公司 云台随动控制方法及控制设备
CN107370941A (zh) * 2017-06-29 2017-11-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN107807659A (zh) * 2017-10-24 2018-03-16 北京臻迪科技股份有限公司 一种无人机飞行控制方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A review of visual inertial odometry from filtering and optimisation perspectives》;Jianjun Gui等;《Advanced Robotics》;20150930;第1289-1301页 *

Also Published As

Publication number Publication date
CN110800282A (zh) 2020-02-14
CN113473025A (zh) 2021-10-01
WO2020102976A1 (zh) 2020-05-28
US11892812B1 (en) 2024-02-06
US20240152108A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
CN110800282B (zh) 云台调整方法、云台调整设备、移动平台及介质
CN107223330B (zh) 一种深度信息获取方法、装置及图像采集设备
JP4653235B2 (ja) フレーム選択を用いるパノラマ画像の構成
US9558543B2 (en) Image fusion method and image processing apparatus
CN101662587B (zh) 摄像装置及其跟踪方法
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP6727791B2 (ja) 追尾制御装置および追尾制御方法、撮像装置
JP4858263B2 (ja) ３次元計測装置
JP6087671B2 (ja) 撮像装置およびその制御方法
CN110969097A (zh) 监控目标联动跟踪控制方法、设备及存储装置
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
US10652521B2 (en) Stereo camera and image pickup system
WO2017128750A1 (zh) 一种图像采集方法和图像采集装置
CN109598764A (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN110337668B (zh) 图像增稳方法和装置
CN110049237A (zh) 摄像头防抖方法、装置、电子设备和计算机存储介质
CN109951641A (zh) 图像拍摄方法和装置、电子设备、计算机可读存储介质
CN113875219A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN114943773A (zh) 相机标定方法、装置、设备和存储介质
CN111246100A (zh) 防抖参数的标定方法、装置和电子设备
CN111279352A (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
US20130083963A1 (en) Electronic camera
CN114208153B (zh) 不使用防抖的多重拍摄图像捕获
CN117896621B (zh) 云台的拍摄轨迹记录方法、装置、设备及存储介质
CN115499596B (zh) 一种处理图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant