CN109727285A - 使用边缘图像的位置和姿态确定方法和系统 - Google Patents

使用边缘图像的位置和姿态确定方法和系统 Download PDF

Info

Publication number
CN109727285A
CN109727285A CN201811275984.9A CN201811275984A CN109727285A CN 109727285 A CN109727285 A CN 109727285A CN 201811275984 A CN201811275984 A CN 201811275984A CN 109727285 A CN109727285 A CN 109727285A
Authority
CN
China
Prior art keywords
image
edge
camera
ray
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811275984.9A
Other languages
English (en)
Other versions
CN109727285B (zh
Inventor
M.R.埃尔格斯马
B.摩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN109727285A publication Critical patent/CN109727285A/zh
Application granted granted Critical
Publication of CN109727285B publication Critical patent/CN109727285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G01C11/10—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken using computers to control the position of the pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了使用边缘图像的位置和姿态确定方法和系统。提供了确定关于对象的位置和姿态中的至少一个的方法。所述方法包括利用至少一个相机来捕获对象的至少两个图像。每个图像是在关于对象的不同位置处被捕获的。将图像转换为边缘图像。通过使用捕获至少两个图像所在的位置来将对象的边缘图像转换为对象的三维边缘图像。定位至少两个三维边缘图像中的重叠边缘像素以标识重叠点。在证据网格中建立所标识的重叠点的三维边缘候选点图像。将证据网格中的三维候选边缘图像与对象的模型进行比较，来确定关于对象的当时位置和姿态中的至少一个。

Description

使用边缘图像的位置和姿态确定方法和系统
背景技术
基于添加计算机的系统的导航具有许多应用。在目的地附近，使用这类系统的一些交通工具可能需要知道其相对于目的地的精确三维位置和取向。例如，位于其目的地附近的航空电子交通工具（诸如无人驾驶飞行器（UAV）或导弹）需要知道其相对于其目的地的精确三维位置和取向，所述目的地可以是建筑物或其他结构。当前的解决方案使用GPS和惯性测量单元（IMU）的组合。然而，由GPS和IMU提供的解决方案可能不足够精确。最近，已经尝试使用目的地的相机图像和运动恢复结构算法（Structure-From-Motion algorithms）来得到更精确的三维位置和取向。然而，运动恢复结构算法对于需要快速确定的许多应用而言太慢，并因此具有有限的应用。
发明内容
以下概述是作为举例而非作为限制做出的。仅提供它来辅助读者理解所描述的主题的一些方面。实施例实现基于图像的算法，该基于图像的算法足够快以在几秒钟内计算交通工具的3D位置/旋转。
在一个实施例中，提供一种确定关于对象的位置和姿态中的至少一个的方法。所述方法包括利用至少一个相机来捕获对象的至少两个图像。每个图像是在关于对象的不同位置处被捕获的。将图像转换为边缘图像。通过使用捕获至少两个图像所在的位置来将对象的边缘图像转换为对象的三维边缘图像。定位至少两个三维边缘图像中的重叠边缘像素以标识重叠点。在证据网格中建立所标识的重叠点的三维边缘候选点图像。将证据网格中的三维候选边缘图像与对象的模型进行比较，来确定关于对象的当时位置和姿态中的至少一个。
在另一个示例实施例中，提供另一种确定交通工具关于对象的位置的方法。所述方法包括在第一位置处在第一时间利用交通工具的相机捕获对象的第一二维（2D）图像。将第一2D图像转换为第一2D边缘图像。计算第一组射线，该第一组射线从相机的镜头延伸穿过第一2D边缘图像中的边缘到具有多个体素的三维（3D）证据网格中。在第二位置处在第二时间利用相机捕获对象的至少第二2D图像。将至少第二2D图像转换为至少第二2D边缘图像。计算至少第二组射线，该至少第二组射线从相机的镜头延伸穿过至少第二2D边缘图像中的边缘到3D证据网格中。确定3D证据网格内的候选点。候选点是包含来自第一组射线的射线和来自至少第二组射线的至少一条射线的体素。将候选点与对象的3D模型进行比较。基于比较至少确定交通工具关于对象的位置。
在又一个实施例中，提供一种包括至少一个交通工具位置确定设备、至少一个相机、至少一个存储器以及控制器的交通工具。至少一个存储器用于存储操作指令、三维证据网格和对象的模型。控制器与至少一个交通工具位置确定设备、至少一个相机和至少一个存储器进行通信。控制器被配置为引起至少一个相机捕获对象的至少两个图像，其中每个图像是在关于对象的不同位置处被捕获的。控制器还被配置为实现操作指令以将所捕获的图像转换为边缘图像，并且在将对象的边缘图像转换为三维证据网格中的对象的三维边缘图像中，使用捕获至少两个图像所在的位置。控制器还被配置为实现操作指令以定位证据网格内的体素，所述体素指示三维边缘图像之间在空间中的重叠。控制器还被配置为实现操作指令以将三维证据网格中指示空间中的重叠的体素与对象的模型进行比较，来确定关于对象的当时位置和姿态中的至少一个。
附图说明
当鉴于详细描述和所附附图考虑时，可以更容易地理解实施例并且其另外的优点和用途将更容易清楚，其中：
图1是根据一个示例性实施例的位置和姿态确定系统；
图2是根据一个示例性实施例的图示了如何利用图1的位置和姿态确定系统来创建三维边缘图像的概览；
图3图示了根据一个示例性实施例的包括证据网格内的对象的CAD模型的仿真；
图4图示了根据一个示例性实施例的位置和姿态确定系统仿真；
图5是根据一个示例性实施例的三维FFT关联的图示；
图6图示了一个示例性实施例的关于对象的位置和姿态确定流程图。
根据惯例，各种描述的特征未按比例绘制，而是为强调与所描述主题相关的具体特征而绘制。参考字符贯穿各图和文本标示同样的要素。
具体实施方式
在以下详细描述中，参考形成详细描述的部分的附图，并且在附图中通过图示的方式示出了其中可以实践本发明的具体实施例。足够详细地描述了这些实施例以使本领域技术人员能够实践实施例，并且要理解，可以利用其他实施例，并且可以在不脱离本发明的精神和范围的情况下做出改变。因此，不要将以下详细描述当作限制意义，并且本发明的范围仅由权利要求及其等同物限定。
实施例提供包括基于图像的算法的位置定位系统，所述基于图像的算法足够快以在几秒钟内计算交通工具关于对象的三维（3D）位置/姿态（旋转）。实施例的基于边缘的运动恢复结构算法通过首先将相机图像转换为边缘图像，然后仅基于包含最重要信息的边缘像素进行计算来显著地减少算法运行时间。仅将算法应用于边缘图像导致对于解决方案的快速处理时间。在实施例中，使用至少一个交通工具定位设备（诸如但不限于GPS、IMU、视觉辅助导航系统等）来将穿出每个二维（2D）图像到3D空间中的射线组合以确定位置和姿态解决方案。由于用于确定位置/姿态解决方案的交通工具定位设备在拍摄若干图像的短时间期间不会漂移太多，因此来自若干图像中的边缘像素的射线的组合提供在3D惯性空间中对象边缘（诸如建筑物和结构边缘）的3D位置处的射线的相交。通过在这类边缘点的3D证据网格中建立起候选点（下面详细讨论），然后将候选点3D边缘地图与3D存储的对象的3D模型进行关联，实施例得到交通工具相对于图像中的对象的相对位置/姿态。在可替代实施例中，将存储的对象的3D边缘图像投影到2D相机帧中。然后在存储的图像边缘上执行与当前照片图像边缘的关联。
参考图1，图示了示例实施例的具有位置和姿态确定系统100的交通工具102。如图1图示的，位置和姿态确定系统100包括控制器104和存储器106。示例位置和姿态确定系统100还包括诸如GPS 108、IMU系统110和视觉辅助导航系统107之类的交通工具位置确定设备。该示例中的位置和姿态确定系统100还包括雷达112（其也可以用作位置确定设备）、交通工具控制系统114和具有镜头121-1至121-n（总地指定为121）的至少一个相机120-1至120-n（总地指定为120）。在一个实施例中，控制器104基于由GPS 108、IMU 110、视觉辅助导航系统107、雷达112和相机120中的至少一个所接收的信息，来经由交通工具控制系统114控制交通工具102的定向操作。在实施例中，至少一个相机120可以是常规图像相机、推断相机或任何其他类型的图像产生相机。此外，至少一个相机120可以是两种或更多种不同类型的相机。此外，由于实施例仅处理可用的边缘信息而无论图像的类型如何，因此在实施例中可以使用来自不同类型的相机的图像。例如，系统可以实现常规图像相机（用于在条件允许时使用）和用于条件恶化（夜晚、烟雾、沙尘暴等）时的推断相机两者，并且如果用于交通工具102的位置/姿态解决方案需要，可以在实施例中使用不同类型的图像的混合。
一般而言，控制器104可以包括微处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场程序门阵列（FPGA）或等同的分立或集成逻辑电路中的任何一个或多个。在一些示例实施例中，控制器104可以包括多个组件，诸如一个或多个微处理器、一个或多个控制器、一个或多个DSP、一个或多个ASIC、一个或多个FPGA以及其他分立或集成逻辑电路的任何组合。本文归于控制器104的功能可以体现为软件、固件、硬件或其任何组合。存储器106可以包括计算机可读指令，当所述计算机可读指令由控制器104执行时，提供位置/姿态系统的功能。这类指令可以包括下面详细讨论的基于边缘的运动恢复结构算法的功能。可以将计算机可读指令编码在存储器106内。存储器106可以包括计算机可读存储介质，所述计算机可读存储介质包括任何易失性、非易失性、磁性、光学或电介质，诸如但不限于随机存取存储器（RAM）、只读存储器（ROM）、非易失性RAM（NVRAM）、电可擦可编程ROM（EEPROM）、闪速存储器或任何其他类型的存储介质。
图2图示了利用示例实施例的位置和姿态确定系统100来创建3D边缘图像的概览。在图2的示例中，交通工具关于对象（其在该示例中是建筑物）的位置要由上文讨论的至少一个交通工具位置确定设备来确定。交通工具轨线沿着路径202。沿着路径202，在某些时间，通过相机120的镜头121拍摄图像。在该图示中，在t1、在路径位置202-1处拍摄建筑物（该示例中的对象）的第一图像，并且在t2、在路径位置202-2处拍摄建筑物的第二图像。将图像转换为2D边缘图像204-1和204-2。如所图示的，在2D边缘图像204-1和204-2中仅使用建筑物边缘211-1和211-2。实施例从已知相机位置202-1和202-2处的该组2D边缘图像204-1和204-2来构建建筑物的3D体素地图210。体素表示3D空间中网格上的值。通过使用GPS和IMU位置和旋转信息来组合被计算为从相机的镜头202-1和202-2的位置延伸穿出相应2D边缘图像204-1和204-2的建筑物边缘211-1和211-2到3D空间中的射线，来构建3D体素地图210。在图2的示例中，被计算为从镜头位置202-1延伸、在边缘点214a（其是边缘图像211-1中的至少一个像素）处穿过图像204-1的射线212a 与从镜头位置202-2延伸、在边缘点218a处穿过图像204-2的射线216a在3D体素模型相交点220a处相交。此外，被计算为从镜头位置202-1延伸并且在边缘点214b处穿过图像204-1的射线212b与从镜头位置202-2延伸并且在边缘点218a处穿过图像204-2的射线216b在3D体素模型相交点220b处相交。体素模型相交点220a和220b用于定位建筑物的边缘。通过三角测量方法，可以确定到点的范围。在使用中，多条射线用于开发和定位建筑物210的3D体素模型中的边缘。在实施例中，由控制器104来实现沿着每条射线的每个3D体素处的增量计数器，所述每条射线形成穿过每个2D边缘像素的线。具有高计数的3D体素发生在3D边缘处的射线相交处。此外，在一些实施例中，使用多于两个图像来创建3D边缘图像（3D体素模型）。
在实施例中，经由存储在存储器中的对象的3D模型来确认经由射线的相交的边缘检测。例如，这参考图3进一步被解释。图3图示了包括桥302的CAD模型的仿真，所述桥302是交通工具正试图找到它关于其的位置/姿态的对象。桥302的CAD仿真被包含在存储器106中形成的证据网格310内。在图3中，网格310表示为线框3D盒。网格310被分成多个小立方体（未示出）。每个立方体表示一个体素。如上文所讨论的，至少两个图像304-1和304-2用于设置体素中的信息。
图4图示了示例实施例的位置和姿态确定系统仿真300。位置和姿态确定系统仿真300图示了第一时间从相应相机120的镜头121的位置延伸穿过桥的2D图像304-1的边缘到证据网格310中的射线306，和第二时间从相应相机120的镜头121的位置延伸穿过桥的2D图像304-2的边缘到证据网格310中的射线308。针对边缘的候选点320是射线306和308在证据网格310中交叉所在的位置。在图4中，候选点320被图示为交叉。将选择值分配给与候选点320相关联的体素。候选点只是可能构成桥的边缘的潜在点，不保证候选点事实上就是边缘。例如，如图4中所图示的，很多候选点是错误的候选点，尤其是在其中没有边缘的桥的CAD绘图表示下。
即使可能存在很多错误的候选点，仍然可以通过围绕桥302的CAD绘图移位以对齐最佳匹配来确定交通工具关于桥的位置和姿态。在一个实施例中，以快速傅里叶变换（FFT）的使用来完成该比较对准。此外，在一个实施例中使用3D FFT，并且在另一个实施例中使用6D FFT。参考图5，图示了3D FFT关联400示例。图5的示例通过在东、北和高度方向上的可能移位的3D空间图示了五个切片402-1至402-5。那些是CAD绘图相对于候选点320的移位。对齐得越好，切片402-1至402-n中的阴影越浅。切片402-1至402-n中的一个切片中的最浅阴影表示正确的峰值404。正确的峰值404是该示例中正确地将CAD绘图与候选点320对齐的在东、北和高度方向上的移位。在该示例中，在切片402-3中找到正确的峰值404。所以FFT算法搜遍3D值阵列并找到正确的峰值404，所述正确的峰值404确认将交通工具与桥对准所需要的移位。根据该信息，可以确定交通工具关于桥的位置/姿态。3D关联图中的峰值是当前估计的3D位置与真实3D位置之间的3D偏移。所以，通过将该3D偏移添加到对交通工具的位置的当前估计中，我们得到对交通工具的3D位置的改进估计。
由于与两个图像相关联的射线之间的角度将是不同的（这是因为图像中的视场是不同的），所以有足够的信息来得到3D深度透视图而不必左右操控交通工具来拍摄图像。这在交通工具的导弹示例中是重要的，其中可能难以将交通工具操控到不同的取向来捕获图像。
参考图6，图示了示例性实施例的关于对象的位置和姿态确定流程图500。关于对象的位置和姿态确定流程图500呈现为一系列块或步骤。虽然在该示例中以特定的相继顺序来呈现块，但是它们可以以不同的顺序发生。因此，实施例不限于块发生的特定顺序。在块（502）处，在存储器106中创建3D证据网格。3D证据网格使用如上文所描述的许多小立方体“体素”来表示3D空间区域。例如，东西100米、南北100米和高50米的空间区域可以被分成大小为一米乘一米乘一米的100*100*50个体素。3D证据网格存储针对每个体素的信息，该信息指示该体素是否包含3D对象的边缘的部分。
关于对象的位置和姿态确定流程图500在块（504）处存储3D模型，所述3D模型诸如但不限于3D证据网格中的CAD模型。在块（506）处，由交通工具的相机120捕获对象的2D图像。如果这是捕获的第一图像，则它将在时间t1被捕获。在块（508）处确定在捕获2D图像时捕获对象的图像的相机120的镜头121的位置。可以由交通工具102的GPS 108、IMU 110或其他位置确定设备来提供捕获图像所在的位置。在块（510）处，将捕获的对象的2D图像转换为2D边缘图像。2D边缘图像仅包含对象的边缘。将2D图像转换为2D边缘图像的边缘检测器算子的示例是本领域中已知的Canny边缘检测器算子。然而，可以使用其他类型的边缘检测算子。
在块（512）处，计算从确定位置处的镜头121延伸穿过2D边缘图像中的边缘（边缘像素）到3D证据网格310中的射线。证据网格中射线穿透的每个体素具有存储在其中的与在t1拍摄的图像相关联的“1”值。在该示例流程图500中，然后在块（514）处确定这是否是捕获的第一图像。如果它是捕获的第一图像，则该过程在块（506）处继续在t2捕获另一2D图像，在块（510）处将该2D图像转换为2D边缘图像并且在块（512）处仿真相关联的射线。证据网格中射线穿透的每个体素具有存储在其中的与在t2拍摄的图像相关联的“2”值。
如果在块（514）处确定已经捕获多于一个图像，则该过程在其中确定候选点320的块（516）处继续。如上文所讨论的，候选点320是将包括“1”值和“2”值两者的体素，包括“1”值和“2”值两者指示针对在t1和t2拍摄的图像两者而计算的射线在该体素处相交。候选点320具有作为对象的边缘的高概率。然后在块518处，将候选点与对象的3D模型进行比较。如上文所讨论的，在实施例中，FFT（3D FFT或6D FFT）用于将候选点320与3D模型进行关联。基于比较，可以在块（520）处确定交通工具关于对象的位置，并且可以在块（522）处确定交通工具关于对象的姿态。
在一个示例实施例中，如块（524）中所图示的，所获得的有关于位置和姿态的信息用于确定交通工具是否需要调整其当前行进路径。如果不需要调整，则该过程在块（506）处继续捕获另一图像来处理。此外，在该示例中，如果如在块（524）处所确定的需要行进路径中的调整，则完成行进路径中的调整，并且然后该过程在块（506）处进一步继续捕获要处理的另一图像。因此，在实施例中，在交通工具沿着路径行进时，该过程继续在不同时间捕获图像并处理位置和姿态，直到其任务完成。
示例实施例
示例1是一种确定关于对象的位置和姿态中的至少一个的方法。所述方法包括利用至少一个相机来捕获对象的至少两个图像。每个图像是在关于对象的不同位置处被捕获的。将图像转换为边缘图像。通过使用捕获所述至少两个图像所在的位置来将对象的边缘图像转换为对象的三维边缘图像。定位至少两个三维边缘图像中的重叠边缘像素以标识重叠点。在证据网格中建立所标识的重叠点的三维边缘候选点图像。将证据网格中的三维候选边缘图像与对象的模型进行比较，来确定关于对象的当时位置和姿态中的至少一个。
示例2包括示例1的方法，其中将三维候选边缘图像与对象的模型进行比较来确定关于对象的当时位置和姿态中的至少一个还包括应用关联技术来确定关于对象的当时位置。
示例3包括示例2的方法，其中应用关联技术包括应用三维快速傅里叶变换关联和应用六维快速傅里叶变换关联中的一个来确定位置和姿态两者。
示例4包括示例1-3中任何示例的方法，还包括通过使用全球定位系统、视觉辅助导航系统和惯性测量系统中的至少一个，来确定捕获所述至少两个图像所在的位置。
示例5包括示例1-4中任何示例的方法，其中在将对象的边缘图像转换为对象的三维边缘图像中使用捕获所述至少两个图像所在的位置还包括：计算从拍摄所述至少两个图像的所述至少一个相机的镜头的位置延伸穿过相应边缘图像的边缘到三维证据网格中的射线。
示例6包括示例1-5中任何示例的方法，还包括基于关于对象的当时位置和姿态中的至少一个的至少一个确定来调整交通工具的行进路径。
示例7包括一种确定交通工具关于对象的位置的方法。所述方法包括在第一位置处在第一时间利用交通工具的相机捕获对象的第一二维（2D）图像。将第一2D图像转换为第一2D边缘图像。计算第一组射线，该第一组射线从相机的镜头延伸穿过第一2D边缘图像中的边缘到具有多个体素的三维（3D）证据网格中。在第二位置处在第二时间利用相机捕获对象的至少第二2D图像。将至少第二2D图像转换为至少第二2D边缘图像。计算至少第二组射线，该至少第二组射线从相机的镜头延伸穿过至少第二2D边缘图像中的边缘到3D证据网格中。确定3D证据网格内的候选点。候选点是包含来自第一组射线的射线和来自至少第二组射线的至少一条射线的体素。将候选点与对象的3D模型进行比较。基于比较至少确定交通工具关于对象的位置。
示例8包括示例7的方法，还包括基于候选点与3D模型的比较来确定交通工具关于对象的姿态。
示例9包括示例7-8中任何示例的方法，还包括基于所确定的交通工具关于对象的姿态来调整交通工具的姿态。
示例10包括示例7-9中任何示例的方法，还包括利用全球定位系统、视觉辅助导航系统和惯性测量系统中的至少一个来确定交通工具的第一位置和第二位置。
示例11包括示例7-10中任何示例的方法，其中将候选点与对象的3D模型进行比较还包括应用快速傅里叶变换关联。
示例12包括示例11的方法，其中快速傅里叶变换关联是3D快速傅里叶变换和六维快速傅里叶变换中的一个。
示例13包括示例7-12中任何示例的方法，还包括在3D证据网格内存储3D模型。
示例14包括示例7-13中任何示例的方法，还包括基于所确定的交通工具关于对象的位置来调整交通工具的行进路径。
示例15是一种包括至少一个交通工具位置确定设备、至少一个相机、至少一个存储器以及控制器的交通工具。所述至少一个存储器用于存储操作指令、三维证据网格和对象的模型。控制器与所述至少一个交通工具位置确定设备、所述至少一个相机和所述至少一个存储器进行通信。控制器被配置为引起所述至少一个相机捕获对象的至少两个图像，其中每个图像是在关于对象的不同位置处被捕获的。控制器还被配置为实现操作指令以将所捕获的图像转换为边缘图像，并且在将对象的边缘图像转换为三维证据网格中的对象的三维边缘图像中，使用捕获所述至少两个图像所在的位置。控制器还被配置为实现操作指令以定位证据网格内的体素，所述体素指示三维边缘图像之间在空间中的重叠。控制器还被配置为实现操作指令以将三维证据网格中指示空间中的重叠的体素与对象的模型进行比较，来确定关于对象的当时位置和姿态中的至少一个。
示例16包括示例15的交通工具，还包括被配置为控制交通工具操作的交通工具控制部。控制器还被配置为实现操作指令以引导交通工具控制部至少部分地基于所确定的关于对象的当时位置和姿态中的至少一个来控制交通工具。
示例17包括示例15-16中任何示例的交通工具，其中所述至少一个交通工具位置确定设备是全球定位系统、视觉辅助导航系统和惯性测量系统中的至少一个。
示例18包括示例15-17中任何示例的交通工具，其中控制器被配置为实现操作指令以将三维证据网格中指示空间中的重叠的体素与对象的模型进行比较来确定关于对象的当时位置和姿态中的至少一个还包括：控制器应用快速傅里叶变换关联。
示例19包括示例18的交通工具，其中快速傅里叶变换关联是3D快速傅里叶变换和六维快速傅里叶变换中的一个。
示例20包括示例15-19中任何示例的交通工具，其中控制器还被配置为实现操作指令以计算从所述至少一个相机的镜头的位置延伸穿过相应边缘图像的边缘到三维证据网格中的射线。
虽然本文已说明和描述了具体实施例，但本领域普通技术人员将领会，为达到相同目的而计划的任何布置可以替代示出的具体实施例。本申请意图涵盖本发明的任何改编或变型。因此，清楚地意图本发明仅受权利要求及其等同物限制。

Claims (3)

1.一种确定关于对象的位置和姿态中的至少一个的方法，所述方法包括：
利用至少一个相机（120）捕获对象的至少两个图像（304-1,304-2），每个图像（304-1,304-2）是在关于对象的不同位置处被捕获的；
将图像转换为边缘图像（204-1,204-2）；
在将对象（302）的边缘图像（204-1,204-2）转换为对象的三维边缘图像（210）中，使用捕获所述至少两个图像（304-1,304-2）所在的位置；
定位至少两个三维边缘图像中的重叠边缘像素以标识重叠点（320）；
在证据网格（310）中建立所标识的重叠点的三维边缘候选点图像；以及
将证据网格(310)中的三维候选边缘图像与对象的模型(302)进行比较，来确定关于对象的当时位置和姿态中的至少一个。
2.一种确定交通工具关于对象的位置的方法，所述方法包括：
在第一位置 (202-1)处在第一时间利用交通工具的相机（120）捕获对象的第一二维（2D）图像；
将第一2D图像转换为第一2D边缘图像 (204-1, 304-1)；
计算第一组射线(306)，所述第一组射线 (306) 从相机（120）的镜头（121）延伸穿过第一2D边缘图像 (204-1, 304-1)中的边缘到具有多个体素 (512)的三维（3D）证据网格(310) 中；
在第二位置(202-2)处在第二时间利用相机（120）捕获对象的至少第二2D图像；
将至少第二2D图像转换为至少第二2D边缘图像(204-1, 304-2)；
计算至少第二组射线（308），所述至少第二组射线（308）从相机的镜头延伸穿过至少第二2D边缘图像(304-2)中的边缘到3D证据网格（310）中；
确定3D证据网格（310）内的候选点（320），候选点（320）是包含来自第一组射线（306）的射线和来自至少第二组射线（308）的至少一条射线的体素；
将候选点（320）与对象的3D模型（302）进行比较；以及
基于比较至少确定交通工具关于对象的位置（520）。
3.一种交通工具，包括：
至少一个交通工具位置确定设备(107, 108, 110)；
至少一个相机（120）；
至少一个存储器（106），用于存储操作指令、三维证据网格和对象的模型；以及
控制器（104），其与所述至少一个交通工具位置确定设备、所述至少一个相机（120）和所述至少一个存储器（106）进行通信，控制器（104）被配置为引起所述至少一个相机（120）捕获对象的至少两个图像，其中每个图像是在关于对象的不同位置处被捕获的，控制器（104）还被配置为实现操作指令以将所捕获的图像转换为边缘图像，并且在将对象的边缘图像转换为三维证据网格中的对象的三维边缘图像中，使用捕获所述至少两个图像所在的位置，控制器（104）还被配置为实现操作指令以定位证据网格（310）内的体素，所述体素指示三维边缘图像之间在空间中的重叠，控制器还被配置为实现操作指令以将三维证据网格中指示空间中的重叠的体素与对象的模型进行比较，来确定关于对象（522）的当时位置（520）和姿态中的至少一个。
CN201811275984.9A 2017-10-31 2018-10-30 使用边缘图像的位置和姿态确定方法和系统 Active CN109727285B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/799444 2017-10-31
US15/799,444 US10607364B2 (en) 2017-10-31 2017-10-31 Position and attitude determination method and system using edge images

Publications (2)

Publication Number Publication Date
CN109727285A true CN109727285A (zh) 2019-05-07
CN109727285B CN109727285B (zh) 2021-08-17

Family

ID=64331605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811275984.9A Active CN109727285B (zh) 2017-10-31 2018-10-30 使用边缘图像的位置和姿态确定方法和系统

Country Status (3)

Country Link
US (1) US10607364B2 (zh)
EP (1) EP3509036B1 (zh)
CN (1) CN109727285B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882601A (zh) * 2020-07-23 2020-11-03 杭州海康威视数字技术股份有限公司 定位方法、装置及设备
CN113129361A (zh) * 2020-01-14 2021-07-16 北京地平线机器人技术研发有限公司 一种可移动设备的位姿确定方法及装置
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563438B (zh) * 2017-08-31 2019-08-30 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN113028993B (zh) * 2021-03-29 2021-11-05 深圳市博瑞生物科技有限公司 一种用于描述微滴式数字pcr液滴相对位置的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020164067A1 (en) * 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
US8569669B2 (en) * 2010-03-24 2013-10-29 Lfk-Lenkflugkoerpersysteme Gmbh Navigation method for a missile
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740942B2 (en) 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020164067A1 (en) * 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
US8569669B2 (en) * 2010-03-24 2013-10-29 Lfk-Lenkflugkoerpersysteme Gmbh Navigation method for a missile
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129361A (zh) * 2020-01-14 2021-07-16 北京地平线机器人技术研发有限公司 一种可移动设备的位姿确定方法及装置
CN113129361B (zh) * 2020-01-14 2024-03-15 北京地平线机器人技术研发有限公司 一种可移动设备的位姿确定方法及装置
CN111882601A (zh) * 2020-07-23 2020-11-03 杭州海康威视数字技术股份有限公司 定位方法、装置及设备
CN111882601B (zh) * 2020-07-23 2023-08-25 杭州海康威视数字技术股份有限公司 定位方法、装置及设备
CN115727854A (zh) * 2022-11-28 2023-03-03 同济大学 一种基于bim结构信息的vslam定位方法

Also Published As

Publication number Publication date
CN109727285B (zh) 2021-08-17
US20190130595A1 (en) 2019-05-02
EP3509036A1 (en) 2019-07-10
EP3509036B1 (en) 2023-09-06
US10607364B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
CN109727285A (zh) 使用边缘图像的位置和姿态确定方法和系统
US11151741B2 (en) System and method for obstacle avoidance
EP2615580B1 (en) Automatic scene calibration
JP6225889B2 (ja) 車両位置推定装置及びプログラム
US11908163B2 (en) Multi-sensor calibration system
WO2020228694A1 (zh) 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
WO2021035731A1 (zh) 无人飞行器的控制方法、装置及计算机可读存储介质
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
JP2014139538A (ja) 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム
US20240095960A1 (en) Multi-sensor calibration system
CN113240734B (zh) 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN107741233A (zh) 一种三维室外地图的构建方法
CN113763569A (zh) 一种在三维仿真中使用的图像标注方法及装置、电子设备
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
US20220277480A1 (en) Position estimation device, vehicle, position estimation method and position estimation program
CN106682584B (zh) 无人机障碍物检测方法及装置
CN106940185A (zh) 一种基于深度摄像机的移动机器人定位和导航方法
CN105959529B (zh) 一种基于全景相机的单像自定位方法及系统
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
Liu et al. 6-DOF motion estimation using optical flow based on dual cameras
Wu et al. Vision-and-Lidar based real-time outdoor localization for unmanned ground vehicles without GPS
Walker et al. Accurate pose determination for autonomous vehicle navigation
JP7564742B2 (ja) 情報処理装置及び情報処理方法
Jende et al. A Guided Registration Strategy Employing Virtual Planes To Overcome Non-Standard Geometries–Using The Example Of Mobile Mapping And Aerial Oblique Imagery
WO2023070441A1 (zh) 可移动平台的定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant