CN112868049B - 使用基于贴片的投影相关性进行高效自运动估计 - Google Patents

使用基于贴片的投影相关性进行高效自运动估计 Download PDF

Info

Publication number
CN112868049B
CN112868049B CN201980066954.3A CN201980066954A CN112868049B CN 112868049 B CN112868049 B CN 112868049B CN 201980066954 A CN201980066954 A CN 201980066954A CN 112868049 B CN112868049 B CN 112868049B
Authority
CN
China
Prior art keywords
image
edge
detected
local
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066954.3A
Other languages
English (en)
Other versions
CN112868049A (zh
Inventor
安德拉斯·霍瓦特
尚卡尔·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN112868049A publication Critical patent/CN112868049A/zh
Application granted granted Critical
Publication of CN112868049B publication Critical patent/CN112868049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种用于提高自运动估计的计算效率的方法，包括：检测一对连续图像；并且估计对图像帧之间的运动进行最佳建模的二维平移向量和旋转角度。该对图像被各自划分为重叠的图像贴片，然后使用高效的投影相关性方法来估计每个图像贴片的局部二维平移向量。来自所有贴片的平移向量形成向量场，然后使用切尾均值方法稳健且高效地估计对检测器的自运动进行最佳建模的二维平移和旋转角度，其中的检测器可以是相机。

Description

使用基于贴片的投影相关性进行高效自运动估计
相关申请的交叉引用
本申请涉及并要求于2018年10月16日提交的美国临时专利申请No. 62/746,123的权益，该美国申请通过引用并入本文，如同在此完全阐述一样。本申请还涉及并要求于2019年8月6日提交的美国非临时专利申请No. 16/532,970的优先权，该美国申请通过引用并入本文，如同在此完全阐述一样。
关于联邦资金的声明
这项发明是在美国政府的支持下完成的。美国政府在本发明中具有某些权利。
技术领域
本公开涉及图像中的自运动估计和特征检测。
背景技术
用于自运动估计的现有技术方法通常涉及跨图像的持续特征的检测，诸如D.Lowe在如下文献中所描述的：“Distinctive Image Features from Scale-InvariantKeypoints(来自尺度不变关键点的独特图像特征)”，IJCV，60(2) 第91-110页，2004年，该文献通过引用并入本文并使用尺度不变特征变换 (SIFT)进行描述，以及H.Bay、A.Ess、T.Tuytelaars和L.Van Gool在如下文献中所描述的方法：“Speeded-Up Robust Features(加速的鲁棒特征)”，欧洲计算机视觉会议进展，2006年，该文献通过引用结合于此。这些现有技术的方法对于检测是计算密集的，并且由于照明的变化、变化的天气条件或遮挡，特征可能不会在图像上持续。这些特征通常使用随机抽样技术与下一个图像帧中的相应特征相匹配，随机抽样技术例如RANSAC(随机抽样一致性)，如 M.Fischler和R.Bolles在如下文献中所描述：“Random Sample Consensus:A Paradigm for Model Fitting withApplications to Image Analysis and Automated Cartography(随机样本一致性：应用于图像分析和自动制图的模型拟合范式)”， Communications of the ACM(美国计算机学会通讯)，第24卷，第6期，第381-395 页，1981年，其通过引用结合于此。这种随机抽样方法在理论上保证在给定足够的随机抽样的情况下鲁棒地估计运动模型，通常需要太多的随机抽样，以便对于低功率平台(如无人驾驶的自主车辆)实时可计算地处理。
另一种基于傅里叶-梅林(Fourier-Mellin，F-M)变换的“整体”自运动方法，利用谱域中几何变换的特性，有效地估计场景的运动模型。然而，该方法需要计算整个图像的二维(2-D)傅里叶变换，这是计算上昂贵的操作，并且其对于一般方法中的异常值不是鲁棒的。虽然基于F-M的方法可以变得更为鲁棒，使用诸如随机抽样或切尾均值(trimmed-mean)方法的技术，这些技术增加了已经很高的计算成本，并使在低功耗平台上的实时操作变得不可行。
所需要的是用于自运动估计的计算上高效的装置和方法。本公开的实施例满足了这些和其他需要。
发明内容
在本文公开的第一实施例中，一种用于提高自运动估计的计算效率的方法，该方法包括：检测第一图像；检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；根据所述第一图像形成第一边缘检测图像；根据所述第二图像形成第二边缘检测图像；将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；根据所述局部平移向量集合确定旋转中心；使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。
在本文公开的另一实施例中，一种用于提高移动平台的自运动估计的计算效率的装置，该装置包括：安装在平台上的相机，该相机检测第一图像并检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；以及耦合到所述相机的处理器，该处理器被配置为：根据所述第一图像形成第一边缘检测图像；根据所述第二图像形成第二边缘检测图像；将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合；通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；根据所述局部平移向量集合确定旋转中心；使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；并且通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。
在本文公开的又一实施例中，一种用于提高自运动估计的计算效率的方法，该方法包括：利用移动检测器检测一对连续图像；对该对连续图像进行边缘检测；将该对经过边缘检测的连续图像中的每一个划分成对应图像贴片；使用对应图像贴片的投影相关性来估计每个对应图像贴片之间的局部二维平移向量；使用每个对应图像贴片之间的局部二维平移向量和切尾均值来导出旋转角度和二维平移向量，从而估计所述检测器的自运动。
从下面的详细描述和附图中，这些和其他特征和优点将变得更加明显。在附图和说明书中，附图标记表示各种特征，贯穿附图和说明书，相同的标记表示相同的特征。
附图说明
图1A和图1C示出了来自成像器的示例性连续图像对，并且图1B和图 1D分别示出了根据本公开的其对应的边缘图像；
图2A和图2B示出了根据本公开的图1B的分别在X轴和Y轴上的投影边缘图的示例，并且图2C和图2D示出了图1D的分别在X轴和Y轴上的投影边缘图的示例；
图3示出了根据本公开的平移向量集合的示例；
图4A和图4B示出了示例性定性结果，图4A示出了在根据现有技术使用单个全局平移进行变换之后的当前帧与先前帧的差分，图4B示出了在使用根据本公开的基于贴片的方法进行变换之后的当前帧与先前帧之间的示例性差分；
图5示出了将基于现有技术傅里叶-梅林(F-M)变换的方法与根据本公开的自运动估计进行比较的示例性定量结果，以蓝色示出了使用现有技术基于 F-M的方法的2200个仿真中的每一个的旋转角度误差，并且以红色示出了使用根据本公开的自运动估计的2200个仿真中的每一个的旋转角度误差；
图6示出了从图5过滤掉来自现有技术基于傅里叶-梅林(F-M)的方法的大误差的示例性定量结果，用蓝色示出使用现有技术基于F-M的方法的 2200个仿真中的每一个的旋转角度误差，用红色示出使用根据本公开的自运动估计的2200个仿真中的每一个的旋转角度误差；以及
图7A示出了当前边缘检测图像的示例性重叠图像贴片，图7B示出了根据本公开的先前边缘检测图像的示例性重叠图像贴片。
具体实施方式
在以下描述中，阐述许多特定细节以清楚地描述本文所公开的各种特定实施例。然而，本领域技术人员将理解，可在不具有下文论述的所有特定细节的情况下实践本发明。在其他情况下，没有描述公知的特征，以免混淆本发明。
本公开的发明从移动相机获取一对连续图像，并估计对图像帧之间的相机运动进行最佳建模的2-D平移向量和旋转角度。这种“自运动估计”是通过以下方式执行的：将该对图像分成重叠贴片的网格；使用高效的投影相关性方法来估计每个图像贴片的局部2-D平移向量；将来自所有图像贴片的向量分组在一起以获得向量场；然后使用切尾均值方法来稳健且高效地估计对相机运动进行最佳建模的2-D平移和旋转角度。
通过将贴片内的运动建模为2-D平移，本公开的发明比基于特征检测和/ 或随机抽样(RANSAC)的现有技术方法更高效地执行整个图像的自运动估计，其中基于特征检测的方法如D.Lowe在如下文献中所描述：“Distinctive Image Features from Scale-Invariant Keypoints(来自尺度不变关键点的独特图像特征)”，IJCV，60(2)第91-110页，2004年，基于随机抽样(RANSAC)的方法如M.Fischler和R.Bolles在如下文献中所描述：“Random Sample Consensus: A Paradigm for Model Fitting with Applications toImage Analysis and Automated Cartography(随机样本一致性：应用于图像分析和自动制图的模型拟合范式)”， Communications of the ACM(美国计算机学会通讯)，第24卷第6期，第381-395 页，1981年，这些文献通过引用合并于此。
将用于估计局部2-D平移向量的投影相关性应用于贴片，所述贴片例如可以是具有256×256像素的贴片，并且将2-D图像匹配问题简化为向量之间的 1-D相关性问题。尽管其计算效率，基于贴片的方法也是高度鲁棒的，使得能够估计整个图像的正确旋转角度和正确平移向量，而不管违反全局运动模型的场景中移动的对象以及具有粗大误差的各个局部平移向量如何。
本发明提供的改进的自运动估计直接实现了改进的自动控制和改进的高级处理性能。例如，将本发明与陀螺仪或类似控制系统一起使用，本发明可用于将对象或目标保持在视场的中心，而不管相机的运动如何。可替代地，本发明可以用在用于多个对象的广域检测和识别的图像处理流水线中。本发明提供的改进的自运动估计导致对图像处理流水线的改进的运动通道输入，这导致对运动不同于相机运动的对象的更精确的检测和识别。
本发明的基于贴片的投影相关性方法不依赖于特征检测和匹配，而是从图像贴片中的所有像素高效地估计局部平移向量。与基于特征的方法相比，这使得本发明能够更鲁棒地应对光照、天气条件和遮挡的变化。在付诸实践中，已经看到所估计的局部2-D平移向量彼此显著一致，从而能够使用重量更轻、计算上更高效的鲁棒估计方法，该方法例如可以是整个图像的运动模型的切尾均值。
对一对连续的图像帧进行以下实际假设，以便高效且有效地估计这两个帧之间的相机的自运动。
首先，假设连续图像仅在2-D旋转和平移方面不同。也就是说，尺度的变化以及3-D透视效果可以忽略不计。
第二，假定连续图像之间的最大平移量是已知的。在实践中，这可以根据平台的速度和方位来计算，例如空中平台的速度及其到地面的距离。
第三，假定连续图像之间的最大旋转量是已知的。根据经验观察，当连续图像之间的旋转角度小于20度时，本发明能够有效地工作。这对于从具有足够帧速率(例如大于30帧/秒的帧速率)的相机捕获的连续图像帧是合理的假设。
第四，假设旋转围绕图像上的已知点而发生。例如，在付诸实践中，已经假设旋转是围绕光学中心点。
如图1A和图1C所示的连续输入图像首先分别被变换成如图1B和图1D 所示的边缘图像。例如，如图1C所示的当前图像C(x，y)被变换为如图1D所示的边缘图像，并且如图1A所示的先前图像P(x，y)被变换为如图1B所示的边缘图像。为了将图像变换为边缘图像，使用边缘算子E(·)。边缘算子可以是使用图像梯度的边缘检测方法，例如如下文献所描述的：R.Gonzalez和 R.Woods在Digital Image Processing(数字图像处理)，Addison Wesley(艾迪生韦斯利出版社)，1992年，第414-428页，其通过引用并入本文中并且已经在实践中使用。可替换地，可以使用例如如下文献所描述的边缘检测方法： J.Canny，“AComputational Approach To Edge Detection(边缘检测的计算方法)”，IEEETrans.Pattern Analysis and Machine Intelligence(IEEE模式分析和机器智能汇刊)，8(6)：679-698，1986年，其通过引用结合于此。边缘算子E (·)的应用产生了稀疏表示，这有助于计算并使识别该域中的旋转变得更容易。
然后边缘图像，例如图1B和图1D中的边缘图像，被划分为可以重叠并可以沿着预定义网格的贴片。在付诸实践中，使用了规则网格；然而，可以在任何位置使用贴片进行测量。在一个示例中，边缘图像可以具有高清晰度(HD) 分辨率。例如，图1B和图1D的边缘图像可以具有1080x1920像素的大小，例如在图7A所示的当前边缘图像和在图7B中所示的先前边缘图像11中所示。图像贴片，例如图7A中的图像贴片12和14以及图7B中的图像贴片13 和15可以具有256x256像素的尺寸，在图像贴片之间具有64x64像素的跨距(stride)，使得图像贴片在x方向上具有75％的重叠或192个像素的重叠并且在y方向上具有75％的重叠或192个像素的重叠，如图7A和图7B中所示。在该示例中，先前帧边缘(图1B)和当前帧边缘(图1D)双方都在1080 x1920像素的高清晰度(HD)分辨率图像上各具有13x27网格的图像贴片或 351个图像贴片的集合。这两个集合内的贴片可根据其在较大图像内的对应偏移而成对。
接下来，计算从先前帧和当前帧的边缘图像获得的对应图像贴片对之间的相对位移。这产生了例如从图1B和图1D的边缘图像获得的338对边缘图像贴片或网格位置中的每一个的局部平移向量。图3中示出了所得平移向量集合的示例。
通过针对先前图像贴片中的一个(例如图7B中所示的图像贴片15)分别如图2A和图2B所示或者针对当前图像贴片中的一个(例如图7A中所示的图像贴片14)分别如图2C和图2D计算边缘检测的图像贴片在X轴和Y轴上的投影之间的相关性，来估计每个图像贴片对的局部平移向量。
对于每个图像贴片，计算图像贴片(例如对于图1B的边缘图)的水平x 投影和垂直y投影，分别如图2A和图2B中所示。对于贴片Pk，该贴片的水平投影和垂直投影由以下公式定义，其中Vpk，Hpk，是来自先前边缘图像的第k′个贴片的垂直投影和水平投影，并且Vck，Hck是来自当前边缘图像的对应的第 k，个贴片Ck的垂直投影和水平投影。
Figure BDA0003013992730000071
Vck(y)＝∑xE(Ck(x，y))Hck(x)＝∑yE(Ck(x，y))。
可以通过使用J.P.Lewis在如下文献中描述的方法来优化贴片的投影计算：Fasttemplate matching(快速模板匹配).Proc.Vision Interface(视觉接口进展)，第120-123页(1995年)，该文献通过引用结合于此。通过从积分图像中索引出四个点，可以获得积分图像中的矩形区域的总和，而无需明确地对每个元素求和。
对于当前图像和先前图像两者，导出来自积分图像的任何矩形区域或图像贴片处的水平边缘X投影和垂直边缘Y投影，对于例如图7B中所示的图像贴片15的一个先前图像贴片，分别如图2A和图2B中所示，或者对于例如图 7A中所示的图像贴片14的一个当前图像贴片，如图2C和图2D中所示。然后估计使得当前图像和先前图像中对应图像贴片的X轴向量和Y轴向量之间的相关性最大化的2-D平移。计算当前图像和先前图像中的对应图像贴片之间的相关性，例如图7A所示的当前图像10中的图像贴片14与图7B所示的先前图像11中的对应图像贴片15之间的相关性。更具体地，将2-D平移估计为使投影向量之间的L1差最小化的向量：
Figure BDA0003013992730000081
SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项。对应于 SVk的是最小化偏移iVk，并且对应于SHk的是偏移iHk。这些偏移是第k′个贴片偏移的二维(2-D)局部平移向量的分量。2D平移向量为(iHk，iVk)。根据局部平移估计的完整集合，对于所有贴片k对，可以显示向量场，如图3所示，向量场在每个点20处包含以第k′个位置为中心的图像贴片的所计算的移位向量。例如，可以存在图3的示例中所示的13*27＝351个点。
基于上面的第四个假设，假设旋转中心是已知的。然而，可替换地，可以使用诸如八点算法的方法根据向量场估计旋转中心，八点算法如以下文献中所描述的，R.Hartley“In Defense of the Eight-Point Algorithm(保护八点算法)”， IEEE Trans.onPattern Anal.And Mach.Int.(PAMI)，第19卷，第6期，第 580-593页，1997年，其通过引用结合于此。
给定旋转中心，在每个点处估计局部旋转，通过从旋转中心指向图像贴片的中心或通过从旋转中心指向局部平移向量的末端来计算每对对应图像贴片的2-D平移向量之间的角度。
基于该局部角度数据和局部平移向量，可以估计图像的全局旋转。构造包含每个网格贴片处的估计旋转的矩阵。对于每个网格贴片，由于透视失真、图像中的周期性结构、噪声、移动对象和测量误差，旋转值可能不相同。然而，由于这些异常值是由噪声和其他因素引起的，这些异常值导致测量值的非相干集合，并且最大相干集合将提供全局旋转角度的最稳健估计。给定具有HD分辨率(1080x1920像素)的输入图像序列，并且如上所述，对于大多数场景，对于具有13x27网格贴片的75％像素重叠的256x256像素贴片计算向量场，超过一半的局部旋转估计彼此一致，即使在具有许多移动对象、周期性结构和不可忽略的透视失真的序列中也是如此。
为了滤出异常值并识别最大集合，可使用切尾均值计算来丢弃较低30％和较高30％的分布，切尾均值计算如P.Huber在如下文献中所述：Robust Statistics(稳健统计学)，John Wiley&Son，Inc.(约翰威立出版有限公司)，纽约(1981年)，其通过引用并入本文(参见第9页第1.3节)。(参见第 9 页第1.3节)在实践中，剩余的40％总是属于实际旋转值，并且该集合的平均值相当好地估计了原始旋转。可替代地，可以使用抽样方法，例如RANSAC，如M.Fischler和R.Bolles在如下文献所描述：“Random Sample Consensus：AParadigm for Model Fitting with Applications to Image Analysis and AutomatedCartography(随机样本一致性：应用于图像分析和自动制图的模型拟合范式)”，Communications of the ACM(美国计算机学会通讯)，第24卷，第6期，第 381-395页，1981年，其通过引用结合于此。这样的方法更稳健，容忍更大百分比的异常值，但是需要大量的样本和模型拟合来找到具有高度一致性的运动模型。在付诸实践中，已经观察到向量场中的异常值的比例相对较小，这表明诸如RANSAC的计算上密集的方法是不必要的。
一旦确定了全局旋转角度，就可以计算出与每个k位移向量(iHk，iVk)相对应的比例旋转向量。从其对应的位移向量减去每个旋转向量，获得没有来自旋转的失真的新位移向量集合。最后一步是获得整个图像的最终位移(iH，i)，其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转校正的位移向量。
在付诸实践中，与其他自运动估计方法相比，本发明的自运动估计性能被定性和定量地评估。在所有的付诸实践的示例中，连续帧之间的“地面真实”运动被视为图像的单个全局旋转。对于本领域普通技术人员来说，将本发明应用于具有类似性能结果的旋转和平移两者的场景将是显而易见的。
将本发明的性能与估计整个图像的单个全局平移的方法进行比较。对于每种方法，对于来自Neovision2数据集的一对连续图像帧，图4A和图4B显示当前图像和先前图像之间的差，该差已经被变换或校正用于平移。在图4A和图4B中，对于两个图像估计单个全局平移，即使在两个帧之间存在一些旋转。在图4B中，根据本发明，通过用局部平移向量使每个贴片平移来对帧之间的旋转进行建模。如图4A所示，估计单个全局平移的现有技术方法不能处理旋转，并且差分图像因此具有朝向图像的右边缘越来越高的值，因为在这些区域中旋转较大。另一方面，使用本发明将局部平移应用于每个图像贴片，导致在飞机和建筑物的边缘处的非常少的高强度点，如图4B所示，表示使用本发明的像素的变换具有优异的性能。
使用从Neovision2 Heli数据集随机选择的22个图像定量地测量本发明的性能。因为在该数据集中不知道连续帧之间的地面真实自运动，所以每个随机选择的图像被综合地旋转和平移。对于每个随机选择的图像，用不同的随机生成的旋转角度和2-D平移向量重复实验100次，总共2200次实验。用四种不同类型的边缘处理重复这2200个实验，包括简单地保留原始强度图像的边缘处理。在图5和图6中，标记如下：“2D梯度”关于计算二维图像强度斜率的滤波器；“1D梯度”关于计算x或y方向之一的斜率的滤波器(与投影方向正交计算)；“边缘”关于Sobel边缘滤波器；以及“强度”关于直接使用图像强度的情况。在这些实验中，估计旋转的平均旋转角度误差(均方根误差) 为0.27度，最大误差为0.72度。本发明的性能表明本发明是相当稳健的，并且可以在实践中应用于估计来自空中平台的视频中的图像旋转。
将结果与如下文献所描述的基于现有技术傅里叶-梅林(F-M)变换的自运动估计方法进行比较：Wang,X.R.和Y.Ding，“An Image Registration Algorithm Based onFourier-Mellin Transform and Feature Point Matching(基于傅里叶-梅林变换和特征点匹配的图像配准算法)”，Multimedia,Communication and Computing Application:Proceedings of the 2014International Conference on Multimedia,Communicationand Computing Application(MCCA 2014)(多媒体、通信与计算应用：2014年国际多媒体、通信与计算应用会议论文集 (MCCA2014))，中国厦门，2014年10月16-17日，CRC出版社，(2015)，其通过引用结合于此，并且其是用于根据一对连续图像帧来估计旋转、平移和缩放自运动的谱方法。图5中用蓝色示出了使用基于F-M的自运动估计方法的2200个仿真的误差。基于F-M的自运动估计方法的平均均方根误差为17 度。这很可能是因为，当图像之间的运动较大时，FM变换对于可能由场景中的运动对象引起的异常运动并不稳健。图5中用红色还示出了使用本发明的 2200次仿真的误差，但由于现有技术的基于F-M的方法的粗大误差，这些误差不容易看到。
本发明和基于FM的方法的旋转角度误差在许多情况下是可比较的，但是偶尔，F-M变换给出极差的自运动估计，如图5中的大误差30，即蓝色尖峰所示。在实际应用中，可以滤除这些大的误差，因为可以加强连续帧之间的运动的时间平滑性。例如，假设图像不能从一个帧上下颠倒到另一个帧。
为了对现有技术的基于F-M的方法使用时间平滑方法进行比较，在图6 中已经消除了图5中的基于F-M的方法的旋转角度误差大于10度的粗大误差。然而，即使利用该滤波，现有技术的基于F-M的方法的均方根误差(RMSE) 为1.8311度，并且最高误差为5.4945度，如图6中蓝色所示。同时，本发明不需要过滤粗大误差，结果如图6中红色所示。注意，可以将更稳健的技术结合到傅里叶-梅林变换方法中，但这将需要显著增加计算量，使得该方法对于计算能力有限的自主平台不可行。
根据专利法的要求描述了本发明，本领域的技术人员将理解如何对本发明进行改变和变型，以满足其特定的要求或条件。可以在不背离如本文所公开的本发明的范围和精神的情况下进行这样的改变和变型。
上述示例性和优选实施例的详细描述是用于说明目的和根据法律要求进行公开。其并非旨在穷举或将本发明限制于所描述的(多个)精确形式，而是仅使本领域技术人员能够理解本发明如何适合于特定用途或实施。变型和变化的可能性对于本领域技术人员将是显而易见的。对可能具有包括公差、特征尺寸、特定操作条件、工程规范等的示例性实施例的描述并不意图进行限制，并且其可以在实施方式之间变化或者随着对现有技术的改变而变化，并且不应当由此暗示限制。申请人已经针对当前的现有技术进行了本公开，但是也考虑了改进，并且在未来的调整可以考虑这些改进，即根据当时的现有技术。本发明的范围由权利要求书限定为书面的和可适用的等同范围。除非明确说明，否则以单数形式提及权利要求元件并不意味着“一个且仅一个”。此外，本公开中的元件、部件或方法或工艺步骤都不旨在对于公众是专用的，而不管所述元件、组件或步骤是否在权利要求书中明确地陈述。本文中的任何权利要求要素都不应被解释为按照35 U.S.C.第112节，第六段中所规定的内容，除非该要素是使用短语“用于…的装置(means for…)”来明确地陈述的，并且本文件中的任何方法或工艺步骤都不得根据这些规定解释，除非该一个或多个步骤是使用短语“包括以下(多个)步骤…(comprising the step(s)of....)”来明确陈述的。
概念
已经公开了至少以下概念。
概念1.一种用于提高自运动估计的计算效率的方法，该方法包括：
检测第一图像；
检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；
根据所述第一图像形成第一边缘检测图像；
根据所述第二图像形成第二边缘检测图像；
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；
根据所述局部平移向量集合确定旋转中心；
使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；
通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及
通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。
概念2.根据概念1所述的方法，其中，
计算所述相应的第一边缘检测图像贴片在第一相应水平轴和第一相应垂直轴上的投影与所述相应的第二边缘检测图像贴片在第二相应水平轴和第二相应垂直轴上的投影之间的相关性，进一步包括：
针对每个第一边缘检测图像贴片Pk计算水平投影和垂直投影
VPk(y)＝∑xE(Pk(x，y))HPk(x)＝∑yE(Pk(x，y))；以及
针对每个第二边缘检测图像贴片Ck计算水平投影和垂直投影
VCk(y)＝∑xE(Ck(x，y))HCk(x)＝∑yE(Ck(x，y))；
其中，Vpk，Hpk是来自先前边缘图像的第k个贴片的垂直y投影和水平x 投影，并且
其中，Vck，Hck是来自当前边缘图像的对应的第k个贴片Ck的垂直y投影和水平x投影。
概念3.根据概念1或2所述的方法，其中，
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合，进一步包括：
通过计算
Figure BDA0003013992730000131
使投影之间的L1差最小化，
其中，SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项；
其中，对应于SVk的是最小化偏移iVk；
其中，对应于SHk的是最小水平偏移iHk；
其中，这些最小化垂直偏移和最小化水平偏移是第k′个贴片的二维(2-D) 局部平移向量的分量。
概念4.根据概念1、2或3所述的方法，其中，使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度包括：
通过从所述旋转中心指向图像贴片的中心或通过从所述旋转中心指向所述局部平移向量的末端来计算每对对应图像贴片的二维平移向量之间的角度。
概念5.根据概念1、2、3或4所述的方法，其中，通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动包括：
确定所述第二图像的水平位移和垂直位移(iH，iV)；
其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，并且
其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转而校正的局部平移向量。
概念6.根据概念1、2、3、4或5所述的方法，其中，检测所述第一图像和检测所述第二图像包括使用移动相机或摄像机。
概念7.根据概念1、2、3、4、5或6所述的方法，其中，根据所述第一图像形成第一边缘检测图像和根据所述第二图像形成第二边缘检测图像包括使用边缘算子。
概念8.根据概念1、2、3、4、5、6或7所述的方法，其中，
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合包括将所述第一边缘检测图像划分为重叠的第一边缘检测图像贴片的第一集合；并且
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合包括将所述第二边缘检测图像划分为重叠的第二边缘检测图像贴片的第二集合。
概念9.根据概念1、2、3、4、5、6、7或8所述的方法，其中：
所述第一图像与所述第二图像之间的尺度变化是可忽略的。
概念10.根据概念1、2、3、4、5、6、7、8或9所述的方法，其中：
所述第一图像与所述第二图像之间的三维透视效果是可忽略的。
概念11.根据概念1、2、3、4、5、6、7、8、9或10所述的方法，所述方法还包括：
根据用于检测所述第一图像和所述第二图像的平台的速度来导出所述第一图像与所述第二图像之间的最大平移量。
概念12.根据概念1、2、3、4、5、6、7、8、9、10或11所述的方法，所述方法还包括：
使用大于30帧/秒的帧速率来检测所述第一图像并且检测所述第二图像。
概念13.根据概念1、2、3、4、5、6、7、8、9、10、11或12所述的方法，其中：
所述第一图像与所述第二图像之间的全局旋转角度小于20度。
概念14.根据概念1、2、3、4、5、6、7、8、9、10、11、12或13所述的方法，其中：
所述第一图像与所述第二图像之间的所述旋转中心在光学中心点附近。
概念15.一种用于提高移动平台的自运动估计的计算效率的装置，该装置包括：
安装在平台上的相机，该相机检测第一图像并检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；以及
耦合到所述相机的处理器，该处理器被配置为：
根据所述第一图像形成第一边缘检测图像；
根据所述第二图像形成第二边缘检测图像；
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合；
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；
根据所述局部平移向量集合确定旋转中心；
使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；
通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；并且
通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。
概念16.根据概念15所述的装置，其中，
计算所述相应的第一边缘检测图像贴片在第一相应水平轴和第一相应垂直轴上的投影与所述相应的第二边缘检测图像贴片在第二相应水平轴和第二相应垂直轴上的投影之间的相关性，进一步包括：
针对每个第一边缘检测图像贴片Pk计算水平投影和垂直投影
VPk(y)＝∑xE(Pk(x，y))HPk(x)＝∑yE(Pk(x，y))；以及
针对每个第二边缘检测图像贴片Ck计算水平投影和垂直投影
VCk(y)＝∑xE(Ck(x，y))HCk(x)＝∑yE(Ck(x，y))；
其中，Vpk，Hpk是来自先前边缘图像的第k个贴片的垂直y投影和水平x 投影，并且
其中，Vck，Hck是来自当前边缘图像的对应的第k个贴片Ck的垂直y投影和水平x投影。
概念17.根据概念15或16所述的装置，其中，
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合，进一步包括：
通过计算
Figure BDA0003013992730000161
使投影之间的L1差最小化：
其中，SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项；
其中，对应于SVk的是最小化偏移iVk；
其中，对应于SHk的是最小水平偏移iHk；
其中，这些最小化垂直偏移和最小化水平偏移是第k′个贴片的二维(2-D) 局部平移向量的分量。
概念18.根据概念15、16或17所述的装置，其中，使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度包括：
通过从所述旋转中心指向图像贴片的中心或通过从所述旋转中心指向所述局部平移向量的末端来计算每对对应图像贴片的二维平移向量之间的角度。
概念19.根据概念15、16、17或18所述的装置，其中，通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动包括：
确定所述第二图像的水平位移和垂直位移(iH，iV)；
其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，；并且
其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转而校正的局部平移向量。
概念20.根据概念15、16、17、18或19所述的装置，其中，检测所述第一图像和检测所述第二图像包括使用移动相机或摄像机。
概念21.根据概念15、16、17、18、19或20所述的装置，其中，根据所述第一图像形成第一边缘检测图像和根据所述第二图像形成第二边缘检测图像包括使用边缘算子。
概念22.根据概念15、16、17、18、19、20或21所述的装置，其中，
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合包括将所述第一边缘检测图像划分为重叠的第一边缘检测图像贴片的第一集合；并且
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合包括将所述第二边缘检测图像划分为重叠的第二边缘检测图像贴片的第二集合。
概念23.根据概念15、16、17、18、19、20、21或22所述的装置，其中，所述相机具有大于30帧/秒的帧速率来检测所述第一图像并且检测所述第二图像。
概念24.一种用于提高自运动估计的计算效率的方法，该方法包括：
利用移动检测器检测一对连续图像；
对该对连续图像进行边缘检测；
将该对经过边缘检测的连续图像中的每一个划分成对应图像贴片；
使用对应图像贴片的投影相关性来估计每个对应图像贴片之间的局部二维平移向量；
使用每个对应图像贴片之间的局部二维平移向量和切尾均值来导出旋转角度和二维平移向量，从而估计所述检测器的自运动。
概念25.根据概念24所述的方法，其中，将该对经过边缘检测的连续图像中的每一个划分成对应图像贴片包括：
将该对经过边缘检测的连续图像中的每一个划分成对应重叠图像贴片。

Claims (19)

1.一种用于提高自运动估计的计算效率的方法，该方法包括：
检测第一图像；
检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；
根据所述第一图像形成第一边缘检测图像；
根据所述第二图像形成第二边缘检测图像；
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；
根据所述局部平移向量集合确定旋转中心；
使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；
通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及
通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动，
其中，
通过计算所述相应的第一边缘检测图像贴片在第一相应水平轴和第一相应垂直轴上的投影与所述相应的第二边缘检测图像贴片在第二相应水平轴和第二相应垂直轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合，进一步包括：
针对每个第一边缘检测图像贴片Pk计算水平投影和垂直投影
VPk(y)＝∑xE(Pk(x，y)) HPk(x)＝∑yE(Pk(x，y))；以及
针对每个第二边缘检测图像贴片Ck计算水平投影和垂直投影
VCk(y)＝∑xE(Ck(x，y)) HCk(x)＝∑yE(Ck(x，y))；
其中，Vpk，Hpk是来自先前边缘图像的第k个贴片的垂直y投影和水平x投影，并且
其中，Vck，Hck是来自当前边缘图像的对应的第k个贴片Ck的垂直y投影和水平x投影；并且
通过计算
Figure FDA0003503221520000021
使投影之间的L1差最小化，
其中，SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项；
其中，对应于SVk的是最小化偏移iVk；
其中，对应于SHk的是最小水平偏移iHk；
其中，这些最小化垂直偏移和最小化水平偏移是第k′个贴片的二维(2-D)局部平移向量的分量。
2.根据权利要求1所述的方法，其中，使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度包括：
通过从所述旋转中心指向图像贴片的中心或通过从所述旋转中心指向所述局部平移向量的末端来计算每对对应图像贴片的二维平移向量之间的角度。
3.根据权利要求1所述的方法，其中，通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动包括：
确定所述第二图像的水平位移和垂直位移(iH，iV)；
其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，并且
其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转而校正的局部平移向量。
4.根据权利要求1所述的方法，其中，检测所述第一图像和检测所述第二图像包括使用移动相机或摄像机。
5.根据权利要求1所述的方法，其中，根据所述第一图像形成第一边缘检测图像和根据所述第二图像形成第二边缘检测图像包括使用边缘算子。
6.根据权利要求1所述的方法，其中，
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合包括将所述第一边缘检测图像划分为重叠的第一边缘检测图像贴片的第一集合；并且
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合包括将所述第二边缘检测图像划分为重叠的第二边缘检测图像贴片的第二集合。
7.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的尺度变化是可忽略的。
8.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的三维透视效果是可忽略的。
9.根据权利要求1所述的方法，所述方法还包括：
根据用于检测所述第一图像和所述第二图像的平台的速度来导出所述第一图像与所述第二图像之间的最大平移量。
10.根据权利要求1所述的方法，所述方法还包括：
使用大于30帧/秒的帧速率来检测所述第一图像并且检测所述第二图像。
11.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的全局旋转角度小于20度。
12.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的所述旋转中心在光学中心点附近。
13.一种用于提高移动平台的自运动估计的计算效率的装置，该装置包括：
安装在平台上的相机，该相机检测第一图像并检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；以及
耦合到所述相机的处理器，该处理器被配置为：
根据所述第一图像形成第一边缘检测图像；
根据所述第二图像形成第二边缘检测图像；
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合；
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；
根据所述局部平移向量集合确定旋转中心；
使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；
通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；并且
通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动，
其中，
通过计算所述相应的第一边缘检测图像贴片在第一相应水平轴和第一相应垂直轴上的投影与所述相应的第二边缘检测图像贴片在第二相应水平轴和第二相应垂直轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合，进一步包括：
针对每个第一边缘检测图像贴片Pk计算水平投影和垂直投影
VPk(y)＝∑xE(Pk(x，y)) HPk(x)＝∑yE(Pk(x，y))；以及
针对每个第二边缘检测图像贴片Ck计算水平投影和垂直投影
VCk(y)＝∑xE(Ck(x，y)) HCk(x)＝∑yE(Ck(x，y))；
其中，Vpk，Hpk是来自先前边缘图像的第k个贴片的垂直y投影和水平x 投影，并且
其中，Vck，Hck是来自当前边缘图像的对应的第k个贴片Ck的垂直y投影和水平x投影；并且
通过计算
Figure FDA0003503221520000051
使投影之间的L1差最小化：
其中，SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项；
其中，对应于SVk的是最小化偏移iVk；
其中，对应于SHk的是最小水平偏移iHk；
其中，这些最小化垂直偏移和最小化水平偏移是第k′个贴片的二维(2-D)局部平移向量的分量。
14.根据权利要求13所述的装置，其中，使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度包括：
通过从所述旋转中心指向图像贴片的中心或通过从所述旋转中心指向所述局部平移向量的末端来计算每对对应图像贴片的二维平移向量之间的角度。
15.根据权利要求13所述的装置，其中，通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动包括：
确定所述第二图像的水平位移和垂直位移(iH，iV)；
其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，并且
其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转而校正的局部平移向量。
16.根据权利要求13所述的装置，其中，检测所述第一图像和检测所述第二图像包括使用移动相机或摄像机。
17.根据权利要求13所述的装置，其中，根据所述第一图像形成第一边缘检测图像和根据所述第二图像形成第二边缘检测图像包括使用边缘算子。
18.根据权利要求13所述的装置，其中，
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合包括将所述第一边缘检测图像划分为重叠的第一边缘检测图像贴片的第一集合；并且
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合包括将所述第二边缘检测图像划分为重叠的第二边缘检测图像贴片的第二集合。
19.根据权利要求13所述的装置，其中，所述相机具有大于30帧/秒的帧速率来检测所述第一图像并且检测所述第二图像。
CN201980066954.3A 2018-10-16 2019-08-07 使用基于贴片的投影相关性进行高效自运动估计 Active CN112868049B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862746123P 2018-10-16 2018-10-16
US62/746,123 2018-10-16
US16/532,970 2019-08-06
US16/532,970 US10776928B1 (en) 2018-10-16 2019-08-06 Efficient egomotion estimation using patch-based projected correlation
PCT/US2019/045534 WO2020081145A1 (en) 2018-10-16 2019-08-07 Efficient egomotion estimation using patch based projected correlation

Publications (2)

Publication Number Publication Date
CN112868049A CN112868049A (zh) 2021-05-28
CN112868049B true CN112868049B (zh) 2022-07-01

Family

ID=70284024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066954.3A Active CN112868049B (zh) 2018-10-16 2019-08-07 使用基于贴片的投影相关性进行高效自运动估计

Country Status (4)

Country Link
US (1) US10776928B1 (zh)
EP (1) EP3867874A4 (zh)
CN (1) CN112868049B (zh)
WO (1) WO2020081145A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009801A1 (en) * 2018-07-01 2020-01-09 Google Llc Analysis and visualization of subtle motions in videos

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
EP2701093A1 (en) * 2012-08-20 2014-02-26 Honda Research Institute Europe GmbH Sensing system and method for detecting moving objects
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法
CN108605113A (zh) * 2016-05-02 2018-09-28 赫尔实验室有限公司 根据使用航空摄像头所拍摄的视频针对自运动的有效混合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616807B2 (en) * 2005-02-24 2009-11-10 Siemens Corporate Research, Inc. System and method for using texture landmarks for improved markerless tracking in augmented reality applications
US9959595B2 (en) 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US10719727B2 (en) 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
JP6487718B2 (ja) * 2015-03-02 2019-03-20 日本放送協会 不快度推定装置及び不快度推定プログラム
CN104917931B (zh) * 2015-05-28 2018-03-02 京东方科技集团股份有限公司 运动图像补偿方法及装置、显示装置
DE102016104732A1 (de) 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2701093A1 (en) * 2012-08-20 2014-02-26 Honda Research Institute Europe GmbH Sensing system and method for detecting moving objects
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
CN106030614A (zh) * 2014-04-22 2016-10-12 史內普艾德有限公司 基于对一台摄像机所拍摄的图像的处理来控制另一台摄像机的系统和方法
CN108605113A (zh) * 2016-05-02 2018-09-28 赫尔实验室有限公司 根据使用航空摄像头所拍摄的视频针对自运动的有效混合方法

Also Published As

Publication number Publication date
CN112868049A (zh) 2021-05-28
EP3867874A1 (en) 2021-08-25
WO2020081145A1 (en) 2020-04-23
US10776928B1 (en) 2020-09-15
EP3867874A4 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
Bang et al. UAV-based automatic generation of high-resolution panorama at a construction site with a focus on preprocessing for image stitching
KR101175097B1 (ko) 파노라마 영상 생성 방법
US9426444B2 (en) Depth measurement quality enhancement
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
US7187809B2 (en) Method and apparatus for aligning video to three-dimensional point clouds
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
US9400939B2 (en) System and method for relating corresponding points in images with different viewing angles
Rashidi et al. Optimized selection of key frames for monocular videogrammetric surveying of civil infrastructure
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
WO2004001672A1 (en) Digital image edge detection and road network tracking method and system
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
Phuc Truong et al. Registration of RGB and thermal point clouds generated by structure from motion
US10346949B1 (en) Image registration
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
Recky et al. Façade segmentation in a multi-view scenario
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
Cao et al. Self-calibration from turn-table sequences in presence of zoom and focus
CN110909620A (zh) 车辆检测方法、装置、电子设备及存储介质
CN112868049B (zh) 使用基于贴片的投影相关性进行高效自运动估计
CN111260735B (zh) 一种单次拍摄的lidar与全景相机的外参数标定方法
van de Wouw et al. Hierarchical 2.5-d scene alignment for change detection with large viewpoint differences
CN112991388B (zh) 基于光流跟踪预测和凸几何距离的线段特征跟踪方法
Bazin et al. An original approach for automatic plane extraction by omnidirectional vision
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
CN114549650A (zh) 相机标定方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant