CN107924567A - 构建光流场的系统和方法 - Google Patents

构建光流场的系统和方法 Download PDF

Info

Publication number
CN107924567A
CN107924567A CN201580081672.2A CN201580081672A CN107924567A CN 107924567 A CN107924567 A CN 107924567A CN 201580081672 A CN201580081672 A CN 201580081672A CN 107924567 A CN107924567 A CN 107924567A
Authority
CN
China
Prior art keywords
imaging device
movement
scene
mobile platform
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580081672.2A
Other languages
English (en)
Inventor
武燕楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107924567A publication Critical patent/CN107924567A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Abstract

一种用于构建光流场的系统(300)及其制造和使用方法(200)。所述系统(300)能够构建与选定视频帧相对应的所述光流场。所述光流场能够基于具有成像装置(116)的移动平台(110)的第一运动和所述成像装置(116)的状态来构建。所述第一运动和所述状态能够使用传感器的测量结果来确定，所述传感器安装在所述移动平台(110)和/或安装在所述移动平台(110)上的所述成像装置(116)上。所述第一运动能够包括所述移动平台(110)的第一旋转、水平移动以及竖直移动。所述状态能够包括相对于所述移动平台(110)的所述成像装置(116)的旋转和/或所述成像装置(116)的朝向。所述系统(300)能够有利地应用于广泛的视频应用，包括涉及移动平台(110)诸如无人飞行器的视频应用。

Description

构建光流场的系统和方法
版权声明
本专利文件的一部分披露内容包括受版权保护的材料。版权所有者并不反对任何人对本专利文件或本专利披露按照其在专利和商标局专利文件或记录中出现那样进行复制再现，但无论如何在其他情况下保留所有版权权利。
领域
所披露的实施方式总体涉及借由与移动平台相关联的成像装置进行视频成像，并且更具体地涉及用于通过确定移动平台的运动和成像装置的状态来构建选定视频帧的光流场的系统和方法。
背景
在视频压缩技术领域中，光流场可以用于展示视频帧内所有像素的运动方向和速度信息。光流场提供的这些信息对于压缩视频或解码已压缩视频非常有用，因为这些信息能够有助于减少搜索一个帧的来自相邻帧的每个像素所需的工作量。
在传统技术中，通常凭借通过捕捉的静态或视频图像进行估计来获得光流场。这些方法涉及复杂的算法并且耗时。此外，这些方法可能涉及纹理分解等技术，这使得其不适用于诸如空中视频成像应用等实时应用。
鉴于前述内容，需要能够以快捷又具有成本效益的方式构建光流场的成像系统和方法。
发明内容
根据在此披露的第一方面，提出了一种用于构建光流场的方法，该方法包括：
获取具有成像装置的移动平台的第一运动；
获得该成像装置相对于该移动平台的状态；以及
基于该移动平台的该第一运动和该成像装置的该状态构建帧的相应光流场。
在所披露方法的一个示例性实施方式中，获取该第一运动包括确定该移动平台的第一旋转、在水平方向上的第一移动以及在竖直方向上的第二移动中的至少一项。
在所披露方法的另一个示例性实施方式中，获得该状态包括确定该成像装置的第二运动和位置中的至少一项。
在所披露方法的另一个示例性实施方式中，确定该成像装置的该第二运动和该位置中的该至少一项包括确定该成像装置的变焦、在水平方向上的第一旋转以及在竖直方向上的第二旋转中的至少一项。
在所披露方法的另一个示例性实施方式中，确定该成像装置的该第二运动和该位置中的该至少一项包括获取该成像装置的朝向和倾角中的至少一项。
在所披露方法的另一个示例性实施方式中，获取包括经由安置在该移动平台上的一个或多个第一传感器获取该第一运动。
在所披露方法的另一个示例性实施方式中，构建包括使预归类光流场与该移动平台的该第一运动和/或该成像装置的该状态的已分类场景相关联。
所披露方法的示例性实施方式还包括基于该移动平台的该第一运动和该成像装置的该状态将该移动平台和该成像装置的这些场景分类。
在所披露方法的另一个示例性实施方式中，将这些场景分类还包括将该移动平台的该第一运动和该成像装置的该状态的这些场景定义成预定义基本场景。
在所披露方法的另一个示例性实施方式中，该移动平台是无人飞行器(UAV)。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使旋转视角与第一基本场景相关联。
在所披露方法的另一个示例性实施方式中，使该旋转视角相关联包括使预定视角相关联，在该预定视角中，在帧的外部部分处的运动显著地快于在该帧的内部部分处的运动。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第一基本场景定义为：当该成像装置正在与水平面正交的方向上拍摄并且该UAV正在与该水平面平行的平面中旋转时。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使侧向移动视角与第二基本场景相关联。
在所披露方法的另一个示例性实施方式中，使该侧向移动视角相关联包括使预定视角相关联，在该预定视角中，该帧的所有物体都沿着曲线路径移动。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第二基本场景定义为：当该成像装置正在与水平面平行的方向上拍摄并且该UAV或该成像装置正在与该水平面平行的平面中旋转时。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使放大视角与第三基本场景相关联。
在所披露方法的另一个示例性实施方式中，使该放大视角相关联包括使预定视角相关联，在该预定视角中，远离帧的中心的点比在该中心的点移动得更快并且正在从该帧中出来。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第三基本场景定义为：当在放大的同时或在该UAV朝向地面移动的同时该成像装置正在与该水平面正交的方向上拍摄时。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使缩小视角与第四基本场景相关联。
在所披露方法的另一个示例性实施方式中，使该缩小视角相关联包括使预定视角相关联，在该预定视角中，远离帧的中心的点比在该中心的点移动得更快并且正在进入帧中。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第四基本场景定义为：当在缩小的同时或在该UAV移动远离地面的同时该成像装置正在与该水平面正交的方向上拍摄时。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使直线移动视角与第五基本场景相关联。
在所披露方法的另一个示例性实施方式中，使该直线移动视角相关联包括使预定视角相关联，在该预定视角中，该运动对于该帧内的所有像素是全局的，但是在该帧的上部部分处的像素相对静止并且在该帧的下部部分处的邻近物体上的像素移动得相对更快。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第五基本场景定义为：当该成像装置正在与该水平面成某个角度的方向上拍摄并且该UAV正以某个速度移动时。
在所披露方法的另一个示例性实施方式中，该UAV正在该成像装置拍摄所处的方向上移动。
在所披露方法的另一个示例性实施方式中，使该直线移动视角相关联包括按照深度和/或按照定域性确定远距物体，并且
其中在该帧的上部部分上的这些物体通常被确定为远距物体并且具有相似深度的物体被确定为邻近物体。
在所披露方法的另一个示例性实施方式中，构建这些相应光流场包括使全局运动视角与第六基本视角相关联。
在所披露方法的另一个示例性实施方式中，使该全局运动视角相关联包括使预定视角相关联，在该预定视角中，该成像装置以超快速全局恒定速度移动。
在所披露方法的另一个示例性实施方式中，定义这些场景包括将该第六基本场景定义为：当该UAV正保持静止并且该相机正在与该水平面垂直的平面中旋转时。
在所披露方法的另一个示例性实施方式中，将场景分类还包括组合这些预定义基本场景以产生组合场景；以及组合这些相应光流场以产生相应的组合光流场。
在所披露方法的另一个示例性实施方式中，使这些光流场相关联包括使该相应的组合光流场与该组合场景相关联。
在所披露方法的另一个示例性实施方式中，将场景分类还包括通过至少一个学习过程定义这些场景以产生习得场景并且定义相应的习得光流场。
在所披露方法的另一个示例性实施方式中，使这些光流场相关联还包括使这些习得场景处的这些相应的习得光流场相关联。
根据在此披露的第二方面，提出了一种用于选择帧的光流场的方法，该方法包括基于根据上述实施方式中的任一实施方式所述的场景选择相应光流场，
其中该场景包括移动平台的第一运动和与该移动平台耦合的成像装置的状态。
根据在此披露的另一方面，提出了一种成像系统，该成像系统被配置用于根据上述实施方式中的任一实施方式执行构建帧的光流场。
根据在此披露的另一方面，提出了一种用于构建光流场的成像系统，该成像系统包括：
移动平台；以及
成像装置，其与该移动平台相关联，
其中该移动平台和/或该成像装置被配置用于根据上述实施方式中的任一实施方式构建帧的光流场。
在所披露的系统的示例性实施方式中，该移动平台和/或该成像装置包括用于构建该帧的该光流场的处理器。
根据在此披露的另一方面，提出了一种包括指令的计算机程序产品，这些指令用于根据上述实施方式中的任一实施方式选择帧的光流场。
根据在此披露的另一方面，提出了一种用于构建光流场的方法，该方法包括：
获取移动平台的第一运动和/或附接到该移动平台的成像装置的第二运动中的至少一项；
获得成像装置相对于该移动平台的位置；以及
基于该第一运动、该第二运动和该位置中的至少一项构建帧的相应光流场。
在所披露的方法的一个示例性实施方式中，获取包括经由与该移动平台或该成像装置相关联的一个或多个运动传感器获取该第一运动和该第二运动中的该至少一项。
根据在此披露的另一方面，提出了一种用于构建光流场的设备，该设备包括处理器，该处理器被配置用于：
获取具有成像装置的移动平台的第一运动；
获得该成像装置相对于该移动平台的状态；并且
基于该移动平台的该第一运动和该成像装置的该状态构建帧的相应光流场。
在所披露设备的一个示例性实施方式中，该处理器被配置用于确定该移动平台的第一旋转、在水平方向上的第一移动以及在竖直方向上的第二移动中的至少一项。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于确定该成像装置的第二运动和位置中的至少一项。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于确定该成像装置的变焦、在水平方向上的第一旋转以及在竖直方向上的第二旋转中的至少一项。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于获取该成像装置的朝向和倾角中的至少一项。
所披露设备的示例性实施方式还包括一个或多个第一传感器，其安置在该移动平台上以用于获取该移动平台的该第一运动。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使预归类光流场与该移动平台的该第一运动和/或该成像装置的该状态的已分类场景相关联。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于基于该移动平台的该第一运动和该成像装置的该状态将该移动平台和该成像装置的这些场景分类。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于将该移动平台和该成像装置的该状态的这些场景定义成预定义基本场景。
在所披露设备的另一个示例性实施方式中，该移动平台是无人飞行器(UAV)。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使旋转视角与第一基本场景相关联。
在所披露设备的另一个示例性实施方式中，该旋转视角包括：在帧的外部部分处的运动显著地快于在该帧的内部部分处的运动。
在所披露设备的另一个示例性实施方式中，该第一基本场景被定义为：当该成像装置正在与水平面正交的方向上拍摄并且该UAV正在与该水平面平行的平面中旋转时。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使侧向移动视角与第二基本场景相关联。
在所披露设备的另一个示例性实施方式中，该侧向移动视角包括：该帧的所有物体都沿着曲线路径移动。
在所披露设备的另一个示例性实施方式中，该第二基本场景被定义为：当该成像装置正在与水平面平行的方向上拍摄并且该UAV或该成像装置正在与该水平面平行的平面中旋转时。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使放大视角与第三基本场景相关联。
在所披露设备的另一个示例性实施方式中，该第三基本场景被定义为：当在放大的同时或在该UAV朝向地面移动的同时该成像装置正在与该水平面正交的方向上拍摄时。
在所披露设备的另一个示例性实施方式中，该放大视角包括：远离帧的中心的点比在该中心的点移动得更快并且正在从该帧中出来。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使缩小视角与第四基本场景相关联。
在所披露设备的另一个示例性实施方式中，该缩小视角包括：远离帧的中心的点比在该中心的点移动得更快并且正在进入帧中。
在所披露设备的另一个示例性实施方式中，该第四基本场景被定义为：当在缩小的同时或在该UAV移动远离地面的同时该成像装置正在与该水平面正交的方向上拍摄时。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使直线移动视角与第五基本场景相关联。
在所披露设备的另一个示例性实施方式中，该直线移动视角包括：该运动对于该帧内的所有像素是全局的，但是在该帧的上部部分处的这些像素相对静止并且在该帧的下部部分处的邻近物体上的这些像素移动地相对更快。
在所披露设备的另一个示例性实施方式中，该第五基本场景被定义为：当该成像装置正在与该水平面成某个角度的方向上拍摄并且该UAV正以某个速度移动时。
在所披露设备的另一个示例性实施方式中，该UAV正在该成像装置拍摄所处的方向上移动。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于按照深度和/或按照定域性确定远距物体以用于使该直线移动视角相关联，并且
其中在该帧的上部部分上的这些物体通常被确定为远距物体并且具有相似深度的物体被确定为邻近物体。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于使全局运动视角与第六基本视角相关联。
在所披露设备的另一个示例性实施方式中，该全局运动视角包括：该成像装置以超快速全局恒定速度移动。
在所披露设备的另一个示例性实施方式中，该第六基本场景被定义为：当该UAV正保持静止并且该相机正在与该水平面垂直的平面中旋转时。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于组合这些预定义基本场景以产生组合场景并且组合这些相应光流场以产生相应的组合光流场。
在所披露设备的另一个示例性实施方式中，这些相应的组合光流场与这些组合场景相关联。
在所披露设备的另一个示例性实施方式中，该处理器被配置用于通过至少一个学习过程定义这些场景以产生习得场景并且定义相应的习得光流场。
附图简要说明
图1是示出了一种用于构建光流场的示例性方法的实施方式的示例性顶级框图。
图2是示出了实施图1的方法的航空视频成像系统的实施方式的示例性示意图，该航空视频成像系统由安装在移动平台上的成像装置组成。
图3是示出了图2的航空视频成像系统的一个替代实施方式的示例图，其中示出了该成像装置的旋转。
图4是示出了图2的航空视频成像系统的另一个替代实施方式的示例图，其中示出了该移动平台的运动。
图5是示出了图1的方法的实施方式的示例性框图，其中该方法包括构建相应光流场。
图6是示出了图5的方法的替代实施方式的示例性框图，其中该方法包括构建传感器参数的场景的不同类别的途径。
图7是示出了图7的方法的替代实施方式的示例性框图，其中示出了场景类别。
图8是示示出了图5的方法的替代实施方式的例性框图，其中该方法根据场景类别使光流场的相应视角相关联。
图9是示出了图8的方法的替代实施方式的示例性框图，其中该方法包括选择相应光流场。
图10是示例性框架图，示出了图7的传感器参数的第一基本场景的旋转视角的实施方式。
图11是示例性框架图，示出了图7的传感器参数的第二基本场景的侧向移动视角的实施方式。
图12是示例性框架图，示出了图7的传感器参数的第三基本场景的放大视角的实施方式。
图13是示例性框架图，示出了图7的传感器参数的第五基本场景的直线移动视角的实施方式。
图14是示例性框架图，示出了图7的传感器参数的第六基本场景的全局运动视角的实施方式。
图15是示例性布局图，示出了图2的航空视频成像系统的控制台的实施方式。
图16是成像系统的实施方式的示例性框图，其中图1的方法利用传感器和预构建光流场来实施。
图17是示出了图16的系统的替代实施方式的示例性框图，其中该系统包括成像装置和用于检测该成像装置的状态的传感器。
应注意的是，附图不是按比例绘制的，并且出于说明的目的，贯穿这些附图，具有相似结构或功能的元件总体上用类似的参考号表示。还应当注意的是，附图仅旨在帮助描述优选实施方式。附图并不展示所描述的实施方式的每个方面并且不限制本披露的范围。
优选实施方式的详细说明
由于目前可用的构建光流场的系统复杂、昂贵、应用有限并且不能胜任实时视频成像应用，一种能够基于移动平台的运动和与该移动平台相关联的成像装置的状态来选择的光流场构建系统和方法可以证明是令人期望的并且为成像应用诸如航空视频成像提供了基础。根据在图1中所披露的实施方式，可以实现此结果。
图1示出了用于基于移动平台110的第一运动和成像装置116的状态(共同地在图2中展示)构建光流场的方法200的示例性实施方式。如图1所示，在222中，可以经由移动平台110获取移动平台的110的第一运动。该第一运动可包括移动平台110的移动和第一旋转中的至少一项并且能够以任何适合的方式获取。用于在222中获取移动平台110的该第一运动的一种适合的方式包括经由与移动平台110相关联的一个或多个运动传感器(在图16和图17中展示)获取该第一运动。将参考图2展示和描述关于该第一运动的细节。在一些示例性实施方式中，在222中，可以经由可为了确定该第一运动之外的目的而已经安装在该移动平台110上的某些传感器来获取该第一运动。将参考图2-9以附加细节展示和描述这些传感器参数。
在226中，可以获得成像装置116相对于移动平台110的状态。该状态是相对于移动平台110的并且包括成像装置116的第二运动和成像装置116相对于移动平台110的相对位置。该第二运动可包括成像装置的116的第二旋转(或水平旋转)120和/或第三旋转(或竖直旋转)122。将参考图4以附加细节展示和描述成像装置116该第二运动。成像装置116的该相对位置也可包括水平朝向和/或倾角。也将参考图4详细展示和描述成像装置116的该相对位置。
在228中，可基于移动平台110的该第一运动和/或成像装置116的该状态构建选定帧的相应光流场。在示例性实施方式中，移动平台110的该第一运动和/或成像装置116的该状态可被归类到不同场景的目录中。对于每个场景，可以预构建相应光流场。在228中，当场景被确定时，可以选择相应光流场。将参考图11-19详细展示和描述光流场的预构建和选择的示例。
虽然被展示和描述为基于移动平台110的该第一运动和成像装置116的该状态构建相应光流场，但是可以使用其他适合的信息来构建相应光流。这种信息可以包括但不限于移动平台110和/或成像装置116的其他运动或状态。
参考图2，航空视频成像系统100被示出为具有成像装置116。航空视频成像系统100可以是安装在移动平台110(如无人飞行器(UAV))上的摄像机。在图2中，成像装置116可以经由安装支架112和露台(例如云台117)而安装到移动平台110上。成像装置116可以配备有镜头118，该镜头118可以被配置用于围绕第一轴线130做出第一旋转120(或竖直旋转)，并且围绕第二轴线131做出第二旋转122(或水平旋转)。竖直旋转120和/或第二旋转122可以是相对于移动平台110的。第一轴线130和第二轴线131可以相互正交，并且轴线130、131中的每一条轴线可以与第三轴线132正交，该第三轴线132延伸穿过镜头118的中心线。第一旋转120和第二旋转122的旋转角度可以包括任何适合的角度并且优选地至少大于第一阈值角度(未示出)。
图2展示了成像装置116的状态，该状态可以包括成像装置116的位置和第二运动。在图2中，成像装置116的位置可以包括例如两个角度，这两个角度包括相对于第三轴线132的水平朝向(未示出)和倾角Ω。该水平旋转角度可以是相对于第二轴线131的水平旋转(第二旋转)120的结果。该倾角Ω可以是成像装置116从第三轴线132开始具有倾角Ω的竖直旋转(第三旋转)122的结果。成像装置116可以借由安装在安装支架112上的云台117来进行这样的旋转120、122。换言之，镜头118可以被配置用于水平地和/或竖直地做出角度旋转，旋转120、122可以引起成像装置116相对于移动平台110的水平角和/或倾角Ω。将参考图4在以下附加细节中描述成像装置116的示例性旋转。
在图2中，移动平台110可以包括用于保护成像装置116的壳体114。壳体114有利地可以为成像装置116提供足够的空间以自由地做出第二旋转120和/或第三旋转122。壳体114可选地可以是透明的，以使得成像装置116能够透过壳体114捕捉图像。此外，壳体114可以限定开口(未示出)，成像装置116可以透过这些开口捕捉预确定场景的图像。可以以任何尺寸、任何形状和/或任何空间提供壳体114，只要能够透过其开口捕捉图像并且允许成像装置116如参考图2和图3所描述做出自由旋转即可。
虽然仅为了说明的目的而参考图2被展示和描述为壳体形状，但壳体114可以是任何结构布置，包括但不限于支架、腿、杆和/或任何其他类型的支撑元件。
图3示出了移动平台110(在图2中展示)相对于物体(未示出)(例如地面上的物体)的第一运动。在图3中，该第一运动可以包括沿着多达三条轴线在多达六个方向上的移动，即沿x轴向前和向后150、沿y轴向左和向右152、和/或沿z轴154向上和向下。z轴可以与图2中的第二轴线131同轴或平行于第二轴线131。成像装置116(在图2中展示)随移动平台110一起移动。移动平台110在方向150、152、154中任一个方向上的移动可以借由将参考图15更详细描述的任何适当控制器来进行。
备选地和/或此外，如图3所示，除上述移动150、152、154之外，移动平台110的该第一运动可包括在平行于水平面(未示出)的平面上围绕z轴的第一旋转124。当移动平台110旋转时，成像装置116随着移动平台110移动。移动平台110在以下情况时可以被认为是在平行于该水平面的平面内：该平面与该水平面之间的角度小于十度(10°)。第一运动150、152、154、124中的每一个运动可以由与移动平台110相关联的移动传感器(未示出)测量和/或提供。将参考图16在下文展示和描述关于移动平台110的该第一运动的附加细节。虽然仅为了说明的目的而参考图3被展示和描述为具有三个移动150、152、154和一个第一旋转124，但移动平台110可以以任何所希望的方式移动，并且这些移动可以由这些传感器测量。
图4示出了示例性平面关系、图2的成像装置116的第二旋转120和第三旋转122。图4示出了移动平台平面140、可以平行于平面140的水平镜头平面142、以及竖直平面144，该竖直平面144可垂直于移动平台平面140和水平镜头平面142两者。移动平台平面140可以是例如由无人飞行器(“UAV”)的螺旋桨限定的平面。水平镜头平面142可以是当镜头118在平行于移动平台平面140的方向上拍摄时由镜头118限定的平面。此外，第一轴线130(在图2中展示)可以在水平镜头平面142中延伸并且垂直于竖直平面144，并且第二轴线131(在图2中展示)可以垂直于平面140、142两者。第二轴线131可以在竖直平面144中延伸，该竖直平面144可以随着成像装置116(在图2中展示)的旋转而围绕第二轴线131旋转。
图4展示了成像装置116的两个旋转，即第二旋转120和第三旋转122。如图4所示，第二旋转120可以围绕第一轴线130发生在竖直平面144中，并且第三旋转122可以围绕第二轴线131发生在水平面142中，该第二轴线131可垂直于第一轴线130。此外，第二旋转120可以具有至少第一阈值角度(未示出)，并且第三旋转122可以具有至少第二阈值角度(未示出)。
如以上参考图2所展示和描述的，第二旋转120和第三旋转122可以经由云台117执行，该云台117可以是与移动平台110相关联的安装支架112的一部分。在优选实施方式中，云台117可以可控制地围绕这两条轴线130、131旋转。云台117的第二旋转120和第三旋转122两者可以由与云台117和/或成像装置116相关联的运动传感器(在图17中展示)测量和提供。虽然被展示和描述成具有仅两个旋转120、122，但成像装置116可以执行其他动作(未示出)，包括但不限于放大和缩小。一个或多个传感器可以测量这些动作并且向系统100提供测量数据。
此外，成像装置116的该状态可以包括如参考图2所展示和描述的两个位置。当成像装置116的中心线132在相对于水平镜头平面142具有十度(±10°)以内的角度的方向上时，成像装置116可以被认为是在水平地拍摄，并且当成像装置116的中心线132在相对于水平镜头平面142具有大于八十度(80°)且小于一百度(100°)的角度的方向上时，成像装置116可以被认为是在朝向地面拍摄。
图3和图4的移动平台110的该第一运动和成像装置116的该状态可以基于经由相关传感器参数获取的数据被归类到不同场景的目录中。
图5将方法200展示为包括在210中将移动平台110和成像装置116(共同地在图2中展示)的场景分类，之后在250中构建相应光流场。在210中，可将这些场景分类到如图7和图8中所展示和描述的类别中。这些分类可以基于移动平台110的第一运动和成像装置116的状态进行。在250中，根据这些已分类场景，可以构建相应光流场并且将其与每个场景相关联。
虽然被展示和描述为在构建每个场景的相应光流场之前将移动平台110和成像装置116的场景分类，但也可以在将移动平台110和成像装置116的场景分类之前构建光流场。在后一种情况下，可以在针对每个光流场计算出移动平台110和成像装置116的场景之前基于该光流场的特性构建这些光流场。
图6展示了方法200的另一个替代实施方式，其中示出了在210中将移动平台110和成像装置116(共同地在图2中展示)的场景分类的三种途径。在图6中，在212中，可以定义移动平台110和成像装置116的多个场景。这些场景可以是反映移动平台110的该第一运动和/或成像装置116的该状态的预定义基本场景。
如以上参考图3和图4所描述的，这些场景反映移动平台110的该第一运动和/或成像装置116的该状态。与移动平台110和/或成像装置116相关联的传感器(未示出)测量该第一运动和该状态，包括移动平台110和/或成像装置116的移动和旋转120、122、150、152、154、124。在一些预定义基本场景中，该第一运动和/或状态是现实操作中常见的，并且这些相应的光流场可以在212中预定义。
在214中，将这些场景分类的另一种途径可以包括组合两个或更多个预定义基本场景。可以组合这些预定义基本场景以生成一个或多个组合场景类别。当组合这些预定义基本场景时，可以对这些相应光流场的组合应用矢量运算。例如，当组合两个预定义基本场景时，可以应用矢量叠加。
在216中，可以通过学习过程创建新的场景类别。新创建的类别可以包括在存储在存储装置(诸如存储器290)(在图16中展示)中的场景中。该存储装置可以是数据库或任何类型的数据存储结构。该学习过程可以包括手动过程和/或自动过程。如果引入手动过程，则可以采用记录系统来使得能够手动选择并创建习得场景。此外，在216中这些新选择的和/或创建的习得场景可以与相应光流场相关联。
虽然仅是为了图示的目的而被展示和描述为以三种途径按照212、214和216的顺序将这些场景分类，但可以应用其他适合的途径和/或其他顺序将这些场景分类。
图7示出了已分类的图6场景的示例性结构，其中这些场景可以被分类到三个类别：预定义基本场景720；组合基本场景740和习得场景760。如图7所示，可以包含移动平台110和成像装置116的六个预定义基本场景，包括第一基本场景721、第二基本场景723、第三基本场景725、第四基本场景727、第五基本场景728以及第六基本场景729。
在图7中，第一基本场景721可以被定义为：当移动平台110正在平行于该水平面的平面中旋转并且成像装置116正在与该水平面正交的方向上拍摄时。第二基本场景723可以被定义为：当成像装置116正在与水平面平行的方向上拍摄并且移动平台110或成像装置116正在与该水平面平行的平面中旋转时。第三基本场景725可以被定义为：当在放大的同时或在移动平台110朝向地面移动的同时成像装置116正在与该水平面正交的方向上拍摄时。第四基本场景727可以被定义为：当在缩小的同时或在移动平台110移动远离地面的同时正成像装置116在与该水平面正交的方向上拍摄时。第五基本场景728可以被定义为：当成像装置116正在与该水平面成某个角度的方向上拍摄并且移动平台110正以某个速度移动时。第六基本场景729可以被定义为：当移动平台110正保持静止并且成像装置116正在与该水平面垂直的平面中旋转时。
在图7中，预定义基本场景720的组合在740中示出。组合场景可以由两个或更多个预定义基本场景720的任何组合组成。组合场景也可以包含一个或多个组合场景740和/或一个或多个习得场景760。
图7还示出了一类学习场景760，它可以是在如参考图6所描述的一系列操作中习得的任何场景。习得场景可以立刻和/或在预定的稍后时间被包括在工作集中。
虽然仅是为了图示的目的而参考图7被展示和描述为包括三个场景类别和六个预定义基本场景720，但可以如所期望地包括任何适合数量的传感器参数的场景类别和/或预定义基本场景720。
图8示出了方法200的替代实施方式。转向图8，在228中示出了一种用于构建相应光流场的方式。在810中，可以定义移动平台110和成像装置116的基本场景720(在图7中展示)。光流场的相应视角可以与每一个预定义基本场景720相关联。
在811中，对于第一基本场景，在812中，使相应旋转视角相关联，将参考图10在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，成像装置116正在与水平面正交的方向上拍摄并且移动平台110正在与该水平面平行的平面中旋转。
在813中，对于第二基本场景，在814中，使相应侧向移动视角相关联，将参考图11在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，成像装置116正在与水平面平行的方向上拍摄并且移动平台110或成像装置116正在与该水平面平行的平面中旋转。
在815中，对于第三基本场景，在816中，使相应放大视角相关联，将参考图12在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，在放大的同时或在移动平台110朝向地面移动的同时成像装置116正在与该水平面正交的方向上拍摄。
在817中，对于第四基本场景，在818中，使相应缩小视角，将参考图12在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，在缩小的同时或在移动平台110移动远离地面的同时成像装置116正在与该水平面正交的方向上拍摄。
在819中，对于第五基本场景，在820中，使相应直线移动视角相关联，将参考图13在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，成像装置116正在与该水平面成某个角度的方向上拍摄并且移动平台110正以某个速度移动。
在821中，对于第六基本场景，在822中，使相应全局运动视角相关联，将参考图14在以下附加细节中描述该视角。如参考图7所描述的，在这个场景中，移动平台110正保持静止并且成像装置116正在与该水平面垂直的平面中旋转。
图9展示了图5的方法200的示例性实施方式。在图9中，附加程序910被引入到方法200的过程中。在910中，基于传感器参数的场景选择并返回相应光流场。如参考图7所描述的，已分类的场景包括这些预定义基本场景、这些组合基本场景和这些习得场景。作为示例性示例，参考图8描述了预定义基本的相应关系。
在910中，当已归类的场景被确定时，可选择与该场景相关联的光流场以用于图像处理的目的(诸如视频压缩)。
现在参照图10，以相应光流场示出了作为图8的第一基本场景811的帧715的旋转视角716的实施方式。如参考图8所描述的，第一预定义基本场景811由两个条件构成：第一，移动平台110(在图2中展示)的第一运动由在与该水平面平行的平面中进行旋转构成，如参考图3、图4、图7以及图8所描述，并且第二，成像装置116(在图2中展示)的状态由在与水平面正交的平面中进行拍摄的位置构成。当第一预定义基本场景811的这两个条件得到满足时，方法200(在图9中展示)可以选择图10的相应旋转视角716。在旋转视角716中，帧的所有矢量可以围绕中心点710循环，其中在外部部分处的像素(例如714)可以比在该帧715的内部部分处的像素(例如712)移动得快得多。
如图10所示，在旋转视角716中，在最外侧部分(例如部分714)中的像素围绕中心710移动得最快，并且在最内侧部分(例如部分712)中的像素移动得较慢。其他部分中的像素的移动速度取决于像素到中心710的距离。
参照图11，以相应光流场示出了作为图8的第二预定义基本场景813的帧730的侧向移动视角731的实施方式。如参考图8所描述的，第二预定义基本场景813可以由两个条件构成：第一，移动平台110的第一运动或成像装置116的第二运动(共同地在图2中展示)由在与该水平面平行的平面中进行旋转构成，如参考图3、图4、图7以及图8所描述，并且第二，成像装置116的该位置由在与水平面平行的方向上进行拍摄构成。当第二预定义基本场景813的这两个条件得到满足时，方法200(在图9中展示)可以选择相应的侧向移动视角731。在侧向移动视角731中，帧730中的所有矢量(例如732和734)可以遵循弯曲路径移动。代表帧730的像素运动的矢量遍及帧730可以是一致的。
如图11所示，帧730中的这些像素可以被认为在帧730的任何一个部分内在方向和大小上都是完全相同或相似的。在帧730的任何两个部分之间，这些矢量可以在大小上完全相同或相似但在方向上不同。
参照图12，以相应光流场示出了作为图8的第三预定义基本场景815的帧750的放大视角751的实施方式。如参考图8所描述的，第三预定义基本场景815由两个条件构成：第一，成像装置116的位置由在与该水平面正交的方向上进行拍摄构成，并且第二，成像装置116的第二运动由放大构成或移动平台110的第一运动由朝向地面移动构成，如参考图3、图4、图7以及图8所描述。当第三预定义基本场景815的这两个条件得到满足时，方法200(在图9中展示)可以选择图12的相应放大视角751。在相应放大视角751中，远离中心点710的像素可以比更靠近中心点710的那些像素移动得更快。帧750中的所有像素可以朝外辐射。
与图12具有微小变化，可以相应光流场示出作为图8中的第四预定义基本场景817的帧750的缩小视角753(未示出)的实施方式。如参考图8所描述的，第四预定义基本场景817由两个条件构成：第一，成像装置116的位置由在与该水平面正交的方向上进行拍摄构成，并且第二，成像装置116的第二运动由缩小构成或移动平台110的第一运动由移动远离地面构成，如参考图3、图4、图7以及图8所描述。像放大视角751一样，在缩小视角751中，远离中心点710的像素可以比更靠近中心点710的那些像素移动得更快。不同于放大视角751，在缩小视角753中，帧750中的像素来自帧750之外并且可朝内辐射。
如图12所示，在外部部分中的像素(例如754)围绕中心710移动地最快，并且在内部部分中的像素(例如752)移动地较慢。在放大视角751中的像素的移动速度取决于该像素到中心710的距离。当成像装置116放大时，这些像素从中心点710进入帧750并且从最内侧部分向外朝向外部部分移动并且移动到帧750之外。当成像装置116缩小时，这些像素从外部进入帧750、到达最外侧部分并且到达内部部分，在中心点710处消失。
现在参照图13，以相应光流场示出了作为图8中的第五预定义基本场景819的帧770的直线移动视角771的实施方式。如参考图8所描述的，第五预定义基本场景819由两个条件构成：第一，成像装置116的位置由在与该水平面具有某个角度Ω的方向上进行拍摄构成，并且第二，移动平台110的第二运动由以某个速度移动构成，如参考图3、图4、图7以及图8所描述。当第五预定义基本场景819的这两个条件得到满足时，方法200(在图10中展示)可以选择图13的相应直线移动视角771。
在直线移动视角771中，代表某些远距离物体的在帧770的上部部分处的像素可以相对静止，并且代表更近的视角或物体的在帧770的下部部分处的像素可以，相对快地移动，如图13所展示。此外，这个场景代表移动平台110正飞行远离时的视角。
如图13所示，在直线移动视角771中，在上部部分中的像素可以是几乎静止的，因为它们代表远距物体，并且在下部部分中，下部部分的像素可以比上部部分的像素移动得快得多。在下部部分中的这些像素可以成角度地从帧的上部部分向下部部分移动并且移动到帧770之外，如图13所展示。
参照图14，以相应光流场示出了作为第六预定义基本场景821的帧790的全局运动视角791的实施方式。如参考图8所描述的，第六预定义基本场景821由两个条件构成：第一，移动平台110的第一运动由保持静止构成，并且第二，成像装置116的第二运动由在与该水平面垂直的平面中进行旋转(其大于第一阈值)构成，如参考图3、图4、图7以及图8所描述。当第六预定义基本场景821的这两个条件得到满足时，方法200(在图10中展示)选择图14的相应全局运动视角791。在全局运动视角791中，帧790中的像素可以全局地在一个方向上移动，例如，以由速度矢量(例如792和794)所代表的运动从帧的上部部分移动到帧的下部部分，并且从帧790的下部部分移动到该帧之外。
在这个场景821中，所有矢量具有完全相同或相似的方向和大小，例如矢量792和794。因此，帧790的这些像素可以被看作是具有横跨帧790的全局运动。
图15示出了执行UAV 110(在图2中展示)的移动的示例性控制台800。如图15所示，控制台800可以由一个或多个操纵杆810、820和一个电源开关830构成。操纵杆810、820借由如图15中所表明的俯仰、偏航、油门和/或横滚动作控制UAV 110执行移动。此外和/或备选地，控制台800可以具有另一套控件(图15中未示出)，这套控件执行成像装置116(在图2中展示)的动作，或成像装置116可以用单独的控制台(未示出)来控制。该单独控制台例如可以是在手机上运行的移动app。
控制台800可以是任何类型的，包括像图15所示那样的游戏控制台、遥控器以及在计算机、手机、平板计算机以及任何其他移动平台上运行的可以执行控制功能的任何app，这些控制功能控制UAV 110和/或成像装置116的功能。
图16示出了成像系统300的示例性实施方式，其中移动平台110的该第一运动和成像装置111的该状态可以用于构建相应光流场。成像系统300可以包括用于移动平台110的该第一运动的一个或多个第一传感器和用于成像装置116的该状态的一个或多个第二传感器。这些第一传感器和第二传感器中的至少一者可以与如图16所示的处理器280相关联。如以上参考图3和图4所展示和描述的，第一旋转传感器251测量平台110围绕第一轴线131的旋转。第一旋转传感器251可以是惯性测量单元(“IMU”)。备选地和/或此外，该第一运动的第一移动传感器252和第二移动传感器253可以经由同一IMU实现或经由其他速度装置实现。
第一传感器251-253中的每一个传感器可以向处理器280提供移动平台110的第一运动的测量结果，这些测量结果能够被用作选择预归类光流场111的基础。在示例性实施方式中，第一运动的测量结果可以与用于成像装置116的第二传感器(包括位置传感器310和第二运动传感器320)中的至少一者的测量结果相组合。
虽然仅是为了图示的目的而被展示和描述为将用于移动平台110的该第一运动的第一传感器251-253与成像装置116的第二传感器310、320相关联，但其他合适的运动和状态测量也可以与处理器280相关联以用于选择光流场。在某种程度上换言之，处理器280可与多个合适的传感器相关联，这些传感器可以包括用于移动平台110的该第一运动的第一传感器和成像装置116的该状态的第二传感器中的至少一者。
如图16所示，处理器280可与存储器290相关联。存储器290的示例可以包括随机存取存储器(“RAM”)、静态RAM、动态RAM、只读存储器(“ROM”)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存、安全数字(“SD”)卡等。存储器290可用于存储预加载数据，包括但不限于预归类场景和相应光流场111。处理器280可以基于经由用于第一运动的第一传感器和用于成像装置116的状态的第二传感器所获取的移动平台110的第一运动确定场景。在示例性实施方式中，当场景与预归类场景之一匹配时，处理器280可以选择相应光流场。
处理器280可以包括任何可商购的图形芯片，所述芯片可在目前可获得的视频设备中使用。例如，处理器280可以是专门制造用于成像装置111的定制设计的图形芯片。处理器280可以包括一个或多个附加芯片或被配置成用于与该一个或多个附加芯片通信，该一个或多个附加芯片用于加速2D(或3D)场景或其他图形的渲染、MPEG-2/MPEG-4解码、TV输出或连接多个显示器的能力。此外和/或备选地，处理器280可包括一个或多个通用微处理器(例如，单核和/或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
处理器280可以可操作地连接到用于移动平台110的该第一运动的这些第一传感器和用于成像装置116的该状态的这些第二传感器以用于确定场景并且选择相应光流场111。处理器280与第一传感器和第二传感器之间的连接可以是有线和/或无线链路。处理器280可以被配置用于执行在此描述的方法100中的任何方法，包括但不限于涉及图像处理的多种操作。在一些实施方式中，处理器280可包括专用硬件以用于处理涉及图像处理的具体操作。
在一些其他实施方式中，存储器290可用于存储软件产品，该软件产品被编程以便执行在此描述的方法中的任何方法，包括但不限于涉及图像处理的多种操作。
图17示出了系统300的示例性实施方式，其中用于成像装置116(在图2中展示)的状态的第二传感器被展示为包括成像装置116的位置传感器310和第二运动传感器320。在图17中，成像装置116的位置传感器310可以包括用于测量成像装置116的水平朝向的朝向传感器312和用于检测成像装置116的倾角(共同地在图4中展示)的角度传感器314。朝向传感器312和角度传感器314可以是与云台117(在图2中展示)相关联的至少一个传感器。
虽然仅为了说明的目的而被展示和描述为具有朝向传感器312和角度传感器314，但是可以采用其他合适的传感器来检测成像装置116的位置310。
成像装置116的第二运动传感器320可以包括变焦传感器322、第二旋转传感器324以及第三旋转传感器326。变焦传感器322可以包括与成像装置116相关联以用于检测放大运动和/或缩小运动的至少一个传感器。第二旋转传感器324和第三旋转传感器326可以包括与云台117相关联以检测成像装置116的水平旋转和竖直旋转的一个或多个运动传感器。
虽然仅为了说明的目的而被展示和描述为具有变焦传感器322和旋转传感器324、326，但是可以采用其他合适的传感器来检测成像装置116的第二运动320。
所描述的实施方式可以经受各种修改和替代形式，并且其具体示例已经通过举例在附图中示出并在此进行了详细描述。然而应当理解的是，所描述的这些实施方式并不局限于所披露的特定形式或方法，而是相反，本披露是要覆盖所有修改、等效方案和替代方案。

Claims (74)

1.一种用于构建光流场的方法，包括：
获取具有成像装置的移动平台的第一运动；
获得所述成像装置相对于所述移动平台的状态；以及
基于所述移动平台的所述第一运动和所述成像装置的所述状态构建帧的相应光流场。
2.如权利要求1所述的方法，其中所述获取所述第一运动包括确定所述移动平台的第一旋转、在水平方向上的第一移动以及在竖直方向上的第二移动中的至少一项。
3.如权利要求1或权利要求2所述的方法，其中所述获得所述状态包括确定所述成像装置的第二运动和位置中的至少一项。
4.如权利要求3所述的方法，其中所述确定所述成像装置的所述第二运动和所述位置中的所述至少一项包括确定所述成像装置的变焦、在水平方向上的第一旋转以及在竖直方向上的第二旋转中的至少一项。
5.如权利要求4所述的方法，其中所述确定所述成像装置的所述第二运动和所述位置中的所述至少一项包括获取所述成像装置的朝向和倾角中的至少一项。
6.如权利要求1-5中任一项所述的方法，其中所述获取包括经由安置在所述移动平台上的一个或多个第一传感器获取所述第一运动。
7.如权利要求1-6中任一项所述的方法，其中所述构建包括使预归类光流场与所述移动平台的所述第一运动和/或所述成像装置的所述状态的分类场景相关联。
8.如权利要求7所述的方法，还包括基于所述移动平台的所述第一运动和所述成像装置的所述状态将所述移动平台和所述成像装置的所述场景分类。
9.如权利要求8所述的方法，其中所述将所述场景分类还包括将所述移动平台的所述第一运动和所述成像装置的所述状态的所述场景定义成预定义基本场景。
10.如权利要求9所述的方法，其中所述移动平台是无人飞行器(UAV)。
11.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使旋转视角与第一基本场景相关联。
12.如权利要求11所述的方法，其中所述使所述旋转视角相关联包括使预定视角相关联，在所述预定视角中，在帧的外部部分处的运动显著快于在所述帧的内部部分处的运动。
13.如权利要求12所述的方法，其中所述定义所述场景包括将所述第一基本场景定义为：当所述成像装置正在与水平面正交的方向上拍摄并且所述UAV正在与所述水平面平行的平面中旋转时。
14.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使侧向移动视角与第二基本场景相关联。
15.如权利要求14所述的方法，其中所述使所述侧向移动视角相关联包括使预定视角相关联，在所述预定视角中，所述帧的所有物体都沿着曲线路径移动。
16.如权利要求15所述的方法，其中所述定义所述场景包括将所述第二基本场景定义为：当所述成像装置正在与水平面平行的方向上拍摄并且所述UAV或所述成像装置正在与所述水平面平行的平面中旋转时。
17.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使放大视角与第三基本场景相关联。
18.如权利要求17所述的方法，其中，所述使所述放大视角相关联包括使预定视角相关联，在所述预定视角中，远离帧的中心的点比在所述中心的点移动得更快并且正在从所述帧中出来。
19.如权利要求18所述的方法，其中所述定义所述场景包括将所述第三基本场景定义为：当在放大的同时或在所述UAV正朝向地面移动的同时，所述成像装置正在与所述水平面正交的方向上拍摄时。
20.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使缩小视角与第四基本场景相关联。
21.如权利要求20所述的方法，其中所述使所述缩小视角相关联包括使预定视角相关联，在所述预定视角中，远离帧的中心的点比在所述中心的点移动得更快并且正在进入所述帧中。
22.如权利要求21所述的方法，其中所述定义所述场景包括将所述第四基本场景定义为：当在缩小的同时或在所述UAV移动远离地面的同时，所述成像装置正在与所述水平面正交的方向上拍摄时。
23.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使直线移动视角与第五基本场景相关联。
24.如权利要求23所述的方法，其中所述使所述直线移动视角相关联包括使预定视角相关联，在所述预定视角中，所述运动对于所述帧内的所有像素是全局的，但是在所述帧的上部部分处的像素是相对静止的并且在所述帧的下部部分处的邻近物体上的像素移动得相对更快。
25.如权利要求24所述的方法，其中所述定义所述场景包括将所述第五基本场景定义为：当所述成像装置正在与所述水平面成某个角度的方向上拍摄并且所述UAV正以某个速度移动时。
26.如权利要求25所述的方法，其中所述UAV正在所述成像装置拍摄所处的方向上移动。
27.如权利要求26所述的方法，其中所述使所述直线移动视角相关联包括按照深度和/或按照定域性确定远距物体，并且
其中在所述帧的上部部分上的所述物体通常被确定为远距物体而具有相似深度的物体被确定为邻近物体。
28.如权利要求1-10中任一项所述的方法，其中所述构建所述相应光流场包括使全局运动视角与第六基本视角相关联。
29.如权利要求28所述的方法，其中，所述使所述全局运动视角相关联包括使预定视角相关联，在所述预定视角中，所述成像装置以超快速全局恒定速度移动。
30.如权利要求29所述的方法，其中所述定义所述场景包括将所述第六基本场景定义为：当所述UAV正保持静止并且所述相机正在与所述水平面垂直的平面中旋转时。
31.如权利要求30所述的方法，其中所述将场景分类还包括组合所述预定义基本场景以产生组合场景；以及组合所述相应光流场组合以产生相应的组合光流场。
32.如权利要求31所述的方法，其中所述使所述光流场相关联包括使所述相应的组合光流场与所述组合场景相关联。
33.如权利要求11至32中任一项所述的方法，其中所述将场景分类还包括通过至少一个学习过程定义所述场景以产生习得场景并且定义相应的习得光流场。
34.如权利要求33所述的方法，其中所述使所述光流场相关联还包括使所述学习场景处的所述相应的习得光流场相关联。
35.一种选择帧的光流场的方法，包括基于根据权利要求11至34中任一项所述的场景选择相应光流场，
其中所述场景包括移动平台的第一运动和与所述移动平台耦合的成像装置的状态。
36.一种成像系统，被配置用于根据权利要求35执行所述构建帧的所述光流场。
37.一种用于构建光流场的成像系统，包括：
移动平台；以及
成像装置，其与所述移动平台相关联，
其中所述移动平台和/或所述成像装置被配置用于根据权利要求11至34中的任一项构建帧的所述光流场。
38.如权利要求37所述的成像系统，其中所述移动平台和/或所述成像装置包括用于构建所述帧的所述光流场的处理器。
39.一种计算机程序产品，包括指令，所述指令用于根据权利要求35选择所述帧的光流场。
40.一种用于构建光流场的方法，包括：
获取移动平台的第一运动和/或附接到所述移动平台的成像装置的第二运动中的至少一项；
获得成像装置相对于所述移动平台的位置；以及
基于所述第一运动、所述第二运动和所述位置中的至少一项构建帧的相应光流场。
41.如权利要求40所述的方法，其中所述获取包括经由与所述移动平台或所述成像装置相关联的一个或多个运动传感器获取所述第一运动和所述第二运动中的所述至少一项。
42.一种用于构建光流场的设备，包括处理器，所述处理器被配置用于：
获取具有成像装置的移动平台的第一运动；
获得所述成像装置相对于所述移动平台的状态；以及
基于所述移动平台的所述第一运动和所述成像装置的所述状态构建帧的相应光流场。
43.如权利要求42所述的设备，其中所述处理器被配置用于确定所述移动平台的第一旋转、在水平方向上的第一移动以及在竖直方向上的第二移动中的至少一项。
44.如权利要求42或权利要求43所述的设备，其中所述处理器被配置用于确定所述成像装置的第二运动和位置中的至少一项。
45.如权利要求44所述的设备，其中所述处理器被配置用于确定所述成像装置的变焦、在水平方向上的第一旋转以及在竖直方向上的第二旋转中的至少一项。
46.如权利要求45所述的设备，其中所述处理器被配置用于获取所述成像装置的朝向和倾角中的至少一项。
47.如权利要求42-46中任一项所述的设备，还包括一个或多个第一传感器，其安置在所述移动平台上以用于获取所述移动平台的所述第一运动。
48.如权利要求42-47中任一项所述的设备，其中所述处理器被配置用于使预归类光流场与所述移动平台的所述第一运动和/或所述成像装置的所述状态的已分类场景相关联。
49.如权利要求48所述的设备，其中所述处理器被配置用于基于所述移动平台的所述第一运动和所述成像装置的所述状态将所述移动平台和所述成像装置的所述场景分类。
50.如权利要求49所述的设备，其中所述处理器被配置用于将所述移动平台和所述成像装置的所述状态的所述场景定义成预定义基本场景。
51.如权利要求50所述的设备，其中所述移动平台是无人飞行器(UAV)。
52.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使旋转视角与第一基本场景相关联。
53.如权利要求52所述的设备，其中所述旋转视角包括：在帧的外部部分处的运动显著快于在所述帧的内部部分处的运动。
54.如权利要求53所述的设备，其中所述第一基本场景被定义为：当所述成像装置正在与水平面正交的方向上拍摄并且所述UAV正在与所述水平面平行的平面中旋转时。
55.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使侧向移动视角与第二基本场景相关联。
56.如权利要求55所述的设备，其中所述侧向移动视角包括：所述帧的所有物体都沿着曲线路径移动。
57.如权利要求56所述的设备，其中所述第二基本场景被定义为：当所述成像装置正在与水平面平行的方向上拍摄并且所述UAV或所述成像装置正在与所述水平面平行的平面中旋转时。
58.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使放大视角与第三基本场景相关联。
59.如权利要求58所述的设备，其中所述第三基本场景被定义为：当在放大的同时或在所述UAV朝向地面移动的同时所述成像装置正在与所述水平面正交的方向上拍摄时。
60.如权利要求59所述的设备，其中所述放大视角包括：远离帧的中心的点比在所述中心的点移动得更快并且正在从所述帧中出来。
61.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使缩小视角与第四基本场景相关联。
62.如权利要求61所述的设备，其中所述缩小视角包括：远离帧的中心的点比在所述中心的点移动得更快并且正在进入所述帧中。
63.如权利要求62所述的设备，其中所述第四基本场景被定义为：当在缩小的同时或在所述UAV移动远离地面的同时所述成像装置正在与所述水平面正交的方向上拍摄时。
64.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使直线移动视角和第五基本场景相关联。
65.如权利要求64所述的设备，其中所述直线移动视角包括：所述运动对于所述帧内的所有像素是全局的，但是在所述帧的上部部分处的像素相对静止而在所述帧的下部部分的邻近物体上的像素移动得相对更快。
66.如权利要求65所述的设备，其中所述第五基本场景被定义为：当所述成像装置正在与所述水平面成某个角度的方向上拍摄并且所述UAV正以某个速度移动时。
67.如权利要求66所述的设备，其中所述UAV正在所述成像装置拍摄所处的方向上移动。
68.如权利要求67所述的设备，其中所述处理器被配置用于按照深度和/或按照定域性确定远距物体以用于使所述直线移动视角相关联，并且
其中在所述帧的上部部分上的所述物体通常被确定为远距物体而具有相似深度的物体被确定为邻近物体。
69.如权利要求42-51中任一项所述的设备，其中所述处理器被配置用于使全局运动视角与第六基本场景相关联。
70.如权利要求69所述的设备，其中所述全局运动视角包括：所述成像装置以超快速全局恒定速度移动。
71.如权利要求70所述的设备，其中所述第六基本场景被定义为：当所述UAV正保持静止并且所述相机正在与所述水平面垂直的平面中旋转时。
72.如权利要求71所述的设备，其中所述处理器被配置用于组合所述预定义基本场景以产生组合场景，并且组合所述相应光流场以产生相应的组合光流场。
73.如权利要求72所述的设备，其中所述相应的组合光流场与所述组合场景相关联。
74.如权利要求73所述的设备，其中所述处理器被配置用于通过至少一个学习过程定义所述场景以产生习得场景并且定义相应的习得光流场。
CN201580081672.2A 2015-07-31 2015-07-31 构建光流场的系统和方法 Pending CN107924567A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085760 WO2017020182A1 (en) 2015-07-31 2015-07-31 System and method for constructing optical flow fields

Publications (1)

Publication Number Publication Date
CN107924567A true CN107924567A (zh) 2018-04-17

Family

ID=57942155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580081672.2A Pending CN107924567A (zh) 2015-07-31 2015-07-31 构建光流场的系统和方法

Country Status (5)

Country Link
US (2) US10321153B2 (zh)
EP (1) EP3329461B1 (zh)
JP (1) JP6240328B2 (zh)
CN (1) CN107924567A (zh)
WO (1) WO2017020182A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10612951B2 (en) * 2017-05-31 2020-04-07 Pixart Imaging Inc. Optical flow sensor, methods, remote controller device, and rotatable electronic device
WO2020013525A1 (en) * 2018-07-11 2020-01-16 Samsung Electronics Co., Ltd. In-vehicle infotainment system communicating with unmanned aerial vehicle and method of operating the same
KR102609467B1 (ko) * 2023-06-29 2023-12-04 주식회사 네스앤텍 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137996A (zh) * 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US20090225300A1 (en) * 2007-03-05 2009-09-10 Geoffrey Louis Barrows Translational Optical Flow Sensor
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
US20120197461A1 (en) * 2010-04-03 2012-08-02 Geoffrey Louis Barrows Vision Based Hover in Place
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257209A (en) * 1990-06-26 1993-10-26 Texas Instruments Incorporated Optical flow computation for moving sensors
EP1506471A2 (en) * 2002-05-17 2005-02-16 Sarnoff Corporation Method and apparatus for determining optical flow
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
KR101133753B1 (ko) * 2004-07-26 2012-04-09 삼성전자주식회사 감지 소자를 내장한 액정 표시 장치
US7454038B1 (en) * 2004-11-18 2008-11-18 Adobe Systems Incorporated Using directional weighting functions while computing optical flow through belief propagation
US7760911B2 (en) * 2005-09-15 2010-07-20 Sarnoff Corporation Method and system for segment-based optical flow estimation
US8031777B2 (en) 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression
US20100079605A1 (en) 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US20120033896A1 (en) * 2010-08-08 2012-02-09 Geoffrey Louis Barrows Visual Motion Processing with Offset Downsampling
US9445089B2 (en) 2011-03-09 2016-09-13 Nippon Telegraph And Telephone Corporation Video encoding device, video encoding method and video encoding program
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN103913588B (zh) * 2014-04-10 2016-06-22 深圳市大疆创新科技有限公司 无人飞行器的飞行参数的测量方法及装置
JP6391694B2 (ja) * 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
US20170253330A1 (en) * 2016-03-04 2017-09-07 Michael Saigh Uav policing, enforcement and deployment system
US10955838B2 (en) * 2016-09-26 2021-03-23 Dji Technology, Inc. System and method for movable object control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137996A (zh) * 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
US20090225300A1 (en) * 2007-03-05 2009-09-10 Geoffrey Louis Barrows Translational Optical Flow Sensor
US20120197461A1 (en) * 2010-04-03 2012-08-02 Geoffrey Louis Barrows Vision Based Hover in Place
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO SUN 等: "Moving Objects Detection for Mobile Mapping", 《PROCEEDINGS OF THE 2008 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *

Also Published As

Publication number Publication date
JP2017529709A (ja) 2017-10-05
WO2017020182A1 (en) 2017-02-09
EP3329461A1 (en) 2018-06-06
US20170188046A1 (en) 2017-06-29
EP3329461B1 (en) 2021-04-07
US20190273945A1 (en) 2019-09-05
EP3329461A4 (en) 2018-07-25
US10904562B2 (en) 2021-01-26
US10321153B2 (en) 2019-06-11
JP6240328B2 (ja) 2017-11-29

Similar Documents

Publication Publication Date Title
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
KR102296267B1 (ko) 3d 공간에서의 포즈 추정
CN107113376B (zh) 一种图像处理方法、装置及摄像机
EP2993894B1 (en) Image capturing method and electronic apparatus
US10904562B2 (en) System and method for constructing optical flow fields
JP7277085B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018180655A5 (zh)
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
WO2020215858A1 (zh) 基于虚拟环境的物体构建方法、装置、计算机设备及可读存储介质
CN107844190B (zh) 基于虚拟现实vr设备的图像展示方法及装置
KR102374404B1 (ko) 콘텐트를 제공하기 위한 디바이스 및 방법
CN111815781A (zh) 增强现实数据呈现方法、装置、设备和计算机存储介质
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
US20140333722A1 (en) Apparatus and method of processing depth image using relative angle between image sensor and target object
US20160381257A1 (en) Sphere panorama image capturing device
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
CN109785439A (zh) 人脸素描图像生成方法及相关产品
Chew et al. Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization
WO2017160381A1 (en) System for georeferenced, geo-oriented real time video streams
KR20200100168A (ko) 정보 처리 장치, 기록 매체, 정보 처리 시스템 및 표시 방법
CN110930303A (zh) 全景图形成方法及系统
US11301968B1 (en) Systems and methods for removing transient elements in images
CN110933295B (zh) 拍摄方法、装置、电子设备及可读存储介质
US11282280B2 (en) Method and system for node vectorisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180417