CN109716060A - 通过事件相机利用地表的车辆定位 - Google Patents

通过事件相机利用地表的车辆定位 Download PDF

Info

Publication number
CN109716060A
CN109716060A CN201780056365.8A CN201780056365A CN109716060A CN 109716060 A CN109716060 A CN 109716060A CN 201780056365 A CN201780056365 A CN 201780056365A CN 109716060 A CN109716060 A CN 109716060A
Authority
CN
China
Prior art keywords
earth
event
change
camera
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780056365.8A
Other languages
English (en)
Inventor
安东尼·艾希布鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Machinery Co Ltd
Original Assignee
Vision Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Machinery Co Ltd filed Critical Vision Machinery Co Ltd
Publication of CN109716060A publication Critical patent/CN109716060A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种用于估计车辆诸如汽车或列车的位置的方法，该方法包括：从事件相机对相对于车辆移动的地表的观察获得更改事件，更改事件由相对于车辆移动的地表产生(402)；从获得的更改事件确定地表的标记(403)；以及使用该标记估计位置(406‑412)。可处理更改事件以生成地表片区的第1不变量表示以用作标记(403)。替代性地，表示片区的范围测量值可用作标记。构建包括地表片区的表示的地图，包括片区的位置(404)。随后测量相同的地表片区(406)，由此获得更改事件的序列，更改事件经过处理以生成第2表示(407)。第2表示与第1不变量表示的地图匹配(410)。基于匹配确定地表上车辆的位置(412)。

Description

通过事件相机利用地表的车辆定位
技术领域
本发明涉及用于估计车辆位置的方法和系统。
背景技术
高度自主车辆需要确定其相对于道路的位置。全球导航卫星系统(诸如GPS(全球定位系统)和GLONASS(全球导航卫星系统))具有米数量级的分辨率，不够准确。存在各种增强方案，诸如RTK(实时动态)和差分GPS，但这些方案需要基于地表的另外基础设施。
有时也需要非自主车辆的准确位置。例如在铁路行业，使用测量列车检查轨道的几何形状并检测故障，以确保安全可靠的运营。这些列车需要以高准确度报告这些问题的位置。
即使全球导航卫星系统改善自主和非自主车辆，也可能经常遇到卫星技术不工作的情况(例如在隧道中)。
通过向车辆提供其位置的更准确信息，可更精确地确定车辆在道路或轨道表面上的情况。如SAE(汽车工程师学会)标准J3016所定义，车辆定位对于自主驾驶至关重要，因为它自然地告知涉及导航和当前车辆位置的任何决策，最终实现更好的决策和改善的安全性。
然而，问题在于该位置的准确度(尤其是在高速情况下以及可变环境光照/条件下)。对于某些自动化任务或在需要报告位置的精度时，在数厘米或数毫米内知道车辆的位置将是有用的。这无法通过标准GPS实现，并且在上方没有清晰卫星视线的城市环境中通常根本不能实现。
因此，问题的现有解决方法促进了GPS、里程计和构建邻近路旁环境的完整3D(3维)模型的其他传感器的融合。
当今技术水平的自主车辆以及其他非自主车辆系统通过将由车载传感器捕获的大型3D结构与由调查车辆提前捕获的大型3D结构(“之前地图”)加以比较来确定车辆位置。在一些情况下，每辆车也用作调查车辆并且“之前地图”被持续的更新。大型结构通常为建筑物和可使用移动车辆上的车载传感器感测的其他大型固定物体。用于定位的车载传感器可包括LiDAR(光探测及测距)(诸如就谷歌无人驾驶汽车而言)、单目相机系统或3D相机(诸如就Oxford Robotcar而言)。
这些车载传感器，诸如LiDAR和立体测量仪，本身昂贵、笨重、复杂，耗电，并且复杂而难以解释。具体地讲，LiDAR容易遭受入侵(已经有在人用激光棒照射在传感器上时，LiDAR不正确地看见物体的报告)或者可能受外部因素的影响(已经存在靠近车辆上的LiDAR装置彼此干扰的一些担忧)。
EP 2887009 A1( Zürich,ETH Zürich)披露了一种使用空间结构化光和动态视觉传感器重构表面(3D扫描)的方法。此3D扫描仪设置用在移动机器人上，通过允许机器人检测和避免障碍物来导航。
EP 2887009 A1涉及测量地形表面。这本身不足以确定位置。
EP 2887009 A1使用脉冲激光平面和事件相机来测量地形。它通过引入具有随时间变化强度的光源利用事件相机对变化做出响应的属性。系统经过
专门设计来测量由于该变化强度光源引起的视觉变化，并且借此来确定地形的几何形状。相机沿着激光平面与地形表面的相交线检测事件。激光脉冲的速率限制了可在给定速度下测量地形的空间分辨率。它们最高达500Hz地做出报告工作。它们建议通过更强的激光可得到更高的频率，但这将对功率要求和(眼睛)安全产生实际影响。即使在相对较低的30mph车速下(约13米/秒)，如果是以500Hz的频率捕获数据，表面将在激光脉冲之间移动260mm。道路表面的特征为约0.1mm至10mm并且将完全丢失。
EP 2887009 A1的系统将通过激光的若干脉冲测量的数据平均。这意味着地形在扫描过程期间(大致)固定并且不可用于确定高速移动车辆上的地形(并且随后不可用于通过匹配地形来确定位置)。
EP 2887009 A1的系统通过聚合多个数据“行”构建表面模型，其中每个数据行通过表面上相同位置的多个激光脉冲而确定。为了“扫描”表面，表面被置于以受控的速度(1.94cm/s)移动的滑撬上。为了基于测量和匹配地形来确定车辆的位置，无法使用滑撬控制移动。EP 2887009 A1讨论了无法使用滑撬的实际应用问题并建议了一些解决方案，但没有深入到细节或测试这些理念。
此外，EP 2887009 A1没有披露如何捕获和处理3D数据以提取特征，也没有披露此类特征如何用于匹配。
一般来讲，对于依靠使环境的完整3D数据进行匹配(并因此定位)的解决方法，将产生问题。不仅这种匹配是难题，首先采集数据也是艰巨的任务，其随后的响应于变化的动态元素的存储和更新也十分困难。另外的挑战在于可靠高效的匹配需要从存储的3D环境数据中去除非固定元素，诸如人员和其他车辆。对于许多乡村情况，通常排除该方法的因素是在乡村环境中缺少固定的大型3D结构。
US 20140005932(Southwest Research Institute)披露了一种用于估计物体的位置和运动的系统和方法。获得道路表面的图像并且从该图像提取第一组特征。针对匹配第一组特征的第二组特征搜索地图数据库，并且从地图数据库检索地理位置数据，其中地理位置与第二组特征相关联。基于检索到的地理位置估计位置。将选定时间段内存在于两个或更多个图像中的提取特征的位置进行比较，可以类似的方式估计物体的运动，诸如行进的距离、行进的路径和/或速度。
在US 20140005932的系统中，车辆移动造成的模糊问题通过用闪光灯照亮道路表面得到解决。这基本上停止了表面的快速运动并允许捕获图像；在没有闪光灯的情况下，图像将因快速移动而完全模糊。然而，这要求高功率使用、易碎的部件和高速相机。该方法在相对较低速度下工作，使用高功率并且具有高计算力。
US 20140005932没有披露如何捕获和处理3D数据以提取特征，也没有披露此类特征如何用于匹配。
发明内容
希望确定车辆相对于地表或道路的位置，以便例如进行自主导航，同时显著降低成本、大小、功率要求和复杂度，并且同时改善定位精度和准确度，例如从厘米提高至毫米，尤其是在高速下的精度和准确度。
根据本发明的第一方面，提供一种用于估计车辆位置的方法，该方法包括：
(a)从事件相机对相对于车辆移动的地表的观察获得更改事件，更改事件由相对于车辆移动的地表产生；
(b)从获得的更改事件确定地表的标记；以及
(c)使用该标记估计位置。
优选地，地表的标记表征具有50mm或更短波长的地表纹理。
优选地，更改事件包括序列。
优选地，方法还包括使用与事件相机的观察相对应的运动数据来生成以空间组织的更改事件的集合以用作标记的步骤。
优选地，方法还包括使用与事件相机的观察相对应的时间数据来生成以时间组织的更改事件的集合以用作标记的步骤。
优选地，方法还包括在事件相机的视野中用电磁辐射照射地表。
优选地，电磁辐射为结构化的。
优选地，方法还包括基于事件相机对结构化电磁辐射照射的地表的观察确定表示地表的范围测量值的步骤。
优选地，方法还包括聚合确定的范围测量值以生成表示地表片区的范围测量值集合来用作标记的步骤。
优选地，方法还包括使用与事件相机的观察相对应的运动数据来将确定的范围测量值组合成地表片区的以空间组织的范围测量值集合来用作标记的步骤。
替代性地，方法还包括使用与事件相机的观察相对应的时间数据来将确定的范围测量值组合成地表片区的以时间组织的范围测量值集合来用作标记的步骤。
作为确定范围测量值的替代方案，方法还可包括处理更改事件以生成不变量表示而用作标记的步骤。
优选地，不变量表示已经使用机器学习技术自动确定。
替代性地，处理更改事件的步骤包括将更改事件集成到具有不变量属性的表示中。
替代性地，处理更改事件的步骤包括使用时空滤波器以在获得具有定义的空间和时间属性的更改事件序列时生成响应，以便生成不变量表示。
替代性地，不变量表示包括更改事件的正交地图。
优选地，处理更改事件的步骤包括将获得的更改事件从本地事件相机坐标映射到正交地图坐标，以便生成正交地图。
优选地，获得的更改事件的映射包括确定事件相机的运动估计。
优选地，使用估计光学流确定估计。
优选地，方法还包括将事件相机定位在车辆下方的步骤。
优选地，事件相机的操作高度相对于存在于地表的特征规模以及用于解析事件相机的光学系统确定。
优选地，事件相机的光学系统经过优化，通过校准最小化径向畸变和其他像差的影响。
优选地，通过选择壳体材料和机械装置，保持事件相机的光学系统洁净。
优选地，方法包括重复地表观察并通过从具有相关联位置信息的之前观察搜索标记来估计位置的步骤。
根据本发明的第二方面，提供一种用于估计车辆位置的系统，该系统包括：
事件相机；以及
处理器，该处理器被配置成：
(a)从事件相机对相对于车辆移动的地表的观察获得更改事件，更改事件由相对于车辆移动的地表产生；
(b)从获得的更改事件确定地表的标记；以及
(c)使用该标记估计位置。
优选地，地表的标记表征具有50mm或更短波长的地表纹理。
优选地，更改事件包括序列。
优选地，处理器还被配置成使用与事件相机的观察相对应的运动数据来生成以空间组织的更改事件的集合。
优选地，处理器还被配置成使用与事件相机的观察相对应的时间数据来生成以时间组织的更改事件的集合。
优选地，系统还包括用于在事件相机的视野中用电磁辐射照射地表的照明源。
优选地，电磁辐射为结构化的。
优选地，处理器还被配置成用于基于事件相机对结构化电磁辐射照射的地表的观察确定表示地表的范围测量值。
优选地，处理器还被配置成用于聚合确定的范围测量值来生成表示地表片区的范围测量值集合。
优选地，处理器还被配置成使用与事件相机的观察相对应的运动数据来将确定的范围测量值组合成表示地表片区的以空间组织的范围测量值集合。
替代性地，处理器还被配置成使用与事件相机的观察相对应的时间数据来将确定的范围测量值组合成表示地表片区的以时间组织的范围测量值集合。
优选地，处理器还被配置成用于处理更改事件以生成不变量表示。
优选地，不变量表示已经使用机器学习技术自动确定。
替代性地，处理器被配置成通过将更改事件集成到具有不变量属性的表示中来处理更改事件。
替代性地，处理器被配置成使用时空滤波器来处理更改事件以在获得具有定义的空间和时间属性的更改事件的序列时生成响应，以便生成不变量表示。
替代性地，不变量表示包括更改事件的正交地图。
优选地，处理器被配置成通过将获得的更改事件从本地事件相机坐标映射到正交地图坐标来处理更改事件，以便生成正交地图。
优选地，处理器被配置成通过确定事件相机的运动估计来映射获得的更改事件。
优选地，处理器被配置成使用光学流来确定估计。
优选地，事件相机定位在车辆下方。
优选地，处理器被配置成在从地表的观察获得更改事件之后通过从具有相关联位置信息的之前观察搜索标记来估计位置。
根据本发明的第三方面，提供一种计算机程序产品，该产品包括用于估计车辆位置的机器可读指令的一个或多个序列，这些指令能够致使一个或多个处理器执行根据第一方面的方法。
优选地，根据第一、第二或第三方面的地表为道路表面。
优选地，根据第一、第二或第三方面的地表为铁路轨枕表面。
附图说明
现在将仅以举例的方式参考附图描述本发明的实施例，在这些附图中：
图1以示意性形式示出了根据本发明的实施例的使用结构化光源估计车辆位置的系统。
图2以示意性形式示出了根据本发明的实施例的使用结构化光源估计车辆位置的方法。
图3以示意性形式示出了根据本发明的实施例的使用简单光源估计车辆位置的系统。
图4以示意性形式示出了根据本发明的实施例的使用通过更改事件确定的不变量表示来估计车辆位置的方法。
图5以示意性形式示出了根据本发明的实施例的使用光学流估计将事件从本地事件相机坐标映射到正交地图坐标。
具体实施方式
发明人设计了确定车辆位置的方式，与传统解决方法相比，该方式不仅成本较低(批量制造时)、更加紧凑、更加谨慎并且更加有效。它还以毫米准确度确定位置并且可在实际车辆速度下工作。其他优点包括对于环境因素稳健、采集映射数据更简单、所需映射更少、功耗和处理要求更低。
在下述实施例中，示例地表为道路表面。在自主车辆的情况下，道路表面是尤其重要的地表，因为道路表面通常形成网络，使得自主车辆能够在大范围地理区域上行驶。
在一个实施例中，观察车辆下方的道路表面片区以获得标记，从而唯一地确定车辆的位置。可使用具有激光结构化光源的激光扫描仪，其可用能够在车辆速度下工作的方式从道路表面捕获范围测量值。该实施例使用反应可比传统相机快得多的特殊类型相机，也被称为“事件相机”或“动态视觉传感器”。传统相机是同步的并且以特定帧率运行，而事件相机通常是异步的，一旦观察到强度变化，每个像素独立地反应。
地表片区可通过其结构和其外观来表征。地表纹理诸如道路表面纹理包括其结构和/或外观。
地表片区的结构可通过大量属性诸如其波长和平均深度来表征。在道路的情况下，这些属性是道路建设的有意副产品并且与期望的效果直接相关，这些效果诸如改善的道路牵引力、降噪和水分散；并且也与不太期望的效果直接相关，诸如滚动阻力和轮胎磨损。宏观结构定义为具有0.5mm至50mm的波长，并且由从沥青粘结基质突起的分等级的聚集体颗粒的结构形成。这些颗粒的单个尺寸、形状、姿态和分散以及将它们组合并压紧成路面的方式产生表面特征的唯一排布。
地表片区也可通过其外观来表征。外观为所用材料的属性(颜色)以及地表的结构与光的相互作用(阴影和着色)。分等级的聚集体和沥青粘结基质的外观也可具有变化，波长为与结构相称的0.5mm至50mm。
在一个实施例中，使用采用事件相机和激光平面的传感器配置，该传感器配置可以比传统LiDAR快得多的速度捕获范围测量值，因此能够使用小型结构进行车辆位置估计，具体地讲是车辆沿其行驶的地表的细小结构。
在本文中，电磁辐射被称为光。光可为可见或不可见的。
在参考下面图1和图2描述的实施例中，与图3和图4相反，光源为“结构化的”，具有例如薄光平面的形状。在这种情况下，事件相机观察光平面和表面的交汇处的事件。如果平面的几何形状相对于事件相机已知(这可通过设备的设计或校准来确定)，则可明确地确定每个事件的范围测量值。这些范围测量值提供用于通过匹配或索引进行搜索的信息。
激光扫描仪系统的校准方法已为人们所熟知并且通常涉及捕获与激光平面相交的2D或3D校准目标的一个或多个图像。存在各种校准模型，诸如：(1)直接校准，其中每个相机像素上的范围存储为查找表；(2)平面投影模型，其中每个相机像素上的范围呈现为从相机图像平面到激光平面的平面投影；以及(3)包括相机模型和平面模型的相机平面模型，其中相机模型限定每个像素的光线，平面模型表示平面相对于相机的位置，使得每个像素上的范围通过光线和平面的交汇处确定。
参考图1，示出了用于使用结构化光源估计车辆位置的系统。用于精确定位车辆的系统基于捕获和匹配地表的细小结构、如图1(b)中所示的采集之间拆分以及如图1(d)中所示的定位。
图1(a)示出车辆，在该实例中车辆为汽车或列车102。车辆在诸如道路或轨枕(没有示出铁轨)的地表104上行驶。车辆具有采集装置106，采集装置的操作由图1(b)示出。
如图1(b)所示，以速度108沿着地表104的运动由激光平面110照明。处理器112激活激光源114。在这个和其他实施例中，处理器可为单个中央处理单元或跨多个处理单元分布。替代性地，激光可只是“开启”而并不一定由处理器控制。输出激光束(任选地)由镜115反射并穿过柱面透镜116，形成激光平面，从而在地表上形成条带118，其中激光平面110被地表104分散。由于地表的相对运动导致激光条带118的观察穿过事件相机的像素，更改事件由具有视野122的采集装置106中的事件相机120瞬时生成。更改事件由处理器112处理以估计事件相机中观察到的激光条带的位置，例如通过识别与观察到的穿过事件相机像素的激光条带一致的一系列先+极性后-极性事件来估计。跨事件相机像素观察到的激光条带限定范围测量值(使用描述相机和激光平面的几何形状的校准数据)，并且范围测量值通过处理器112与诸如由加速度计提供的运动信息集成，以生成地面的范围模型126，如图1(c)中所示。因此，使用加速度计或运动数据的其他源将使用事件相机/激光系统获得的范围测量值组合成表示地表的范围模型126。运动信息的源包括加速度计和来自车辆车轮的里程计数据的源，或用于确定读数之间的传感器的相对运动的任何装置。范围模型126可为稀疏的(其可包含孔)，因为例如由激光照射的地表的部分对于事件相机不可见，以及/或者例如地表的部分没有变化并且不生成更改事件。
这样，与事件相机的观察相对应的运动数据用于生成以空间组织的范围测量值集合。
在另外的实施例中，运动信息可能不可用，并且构造了范围模型，其中与正在收集的范围测量值的线正交的轴表示时间(该轴通常表示运动的方向而非大小)。因此，与事件相机的观察相对应的时间数据用于生成以时间组织的范围测量值集合。为了有利于匹配稍后采集的范围测量值集合，可能需要将范围模型调整为不同的合并频率或者弯曲范围模型以适应速度和方向方面的差异。该操作可通过向时间数据应用空间映射来消除。
为了减少未在观察到的激光条带上形成的事件的检测，事件相机可安装有调谐至激光频率的光学滤波器。也可将该滤波器调谐至激光的偏振。也可使用在处理器上运行的软件滤出未在观察到的激光条带上形成的事件。例如，观察到的激光条带的图像位置可通过对事件位置绘制直方图然后拒绝对直方图的峰没有贡献的事件来估计。可能优选的是使用不是天然存在于环境中的激光的频率以进一步减少不需要的事件。
参考图1(d)，使用GPS和/或里程计数据132估计地表130上的初始位置128。范围测量值通过得自地表的观察的更改事件数据确定，用于通过使用从在车辆位置作为地表标记的更改事件确定的范围测量值确定改善的位置134。通过在靠近初始位置128的区域搜索之前捕获并存储在地图136中的范围测量值，这些范围测量值与之前在相同位置捕获的范围测量值匹配。
可使用用于匹配范围测量值的各种方法。一些方法直接作用于范围测量值，例如熟知的迭代最近点(ICP)算法。其他方法处理范围测量值以提取特征并使用这些特征执行匹配。基于特征的匹配的常见技术是RANSAC(随机样本一致性)算法及其变体。基于提取特征的初始匹配可通过应用ICP和基于拟合误差认定为良好或不良匹配的改善匹配进一步改善。
特征和后续定位的匹配可使用也称为Monte Carlo定位的粒子滤波器定位完成。粒子滤波器在存储的模型与新采集的数据之间维持一组可能的匹配。对每个粒子进行拟合良好性评估，采用策略来废弃不良拟合的粒子并生成新的替换粒子。粒子滤波器定位的优点是通过使用早前匹配结果和运动估计提供有效而高效的方式来优化匹配。
在运动信息对于构建范围模型不可用的一个实施例中，可沿着运动方向的轴相对于表示相同位置的一个范围模型拉伸或扭曲另一个范围模型。需要匹配算法来确定一个(相对简单线性拉伸)或多个(针对更复杂的扭曲)另外的参数来说明该拉伸或扭曲。
与用于匹配一样，也可将标记用作所存储的[标记，位置数据]对的关联阵列中的索引。匹配使用逐一比较，索引将标记用作访问关联阵列中的值的关键。这可使用散列法实施。这取决于导致一致和唯一散列值的标记的量化，因此从相同准确物理点采样的相同输入数据将在捕获期间具有保证的不变性以生成该相同的散列值。
匹配和索引都是搜索的实例。
参考图2，使用结构化光估计车辆位置以复原范围模型的方法的步骤为：
202：使用事件相机(动态视觉传感器)和结构化光(例如投影在地表上的激光平面)测量地表片区的结构。更改事件的序列源自从相对于车辆移动的地表发散的激光条带的事件相机的观察。因此生成更改事件，以响应车辆中事件相机跨地表的运动。在说明书和权利要求中，“源自”应当解释为后果的含义。更改事件存储在存储器中。如上所述，处理更改事件以使用激光平面相对于事件相机的已知校准位置来确定范围测量值。使用加速度计(和/或运动信息的其他源)将使用事件相机/激光系统获得的范围测量值组合成被存储为范围模型的范围测量值集合。组合运动信息的目的在于在空间上组织范围模型观察，与在时间上组织相反，这有利于捕获速度的不变性以及简化匹配。
204：构建包括地表片区的范围模型的地表的地图，包括片区的位置。地图是常见坐标系中信息的空间组织，在该实例中是具有位置注释的标记的集合。
206：使用事件相机(动态视觉传感器)和结构化光(例如投影在地表上的激光平面)测量相同地表片区的结构。因此从事件相机对相对于车辆移动的相同地表片区的观察获得更改事件的序列。同样，处理更改事件以使用激光平面相对于事件相机的已知位置来确定范围测量值。使用加速度计(和/或运动信息的其他源)将使用事件相机/激光系统获得的范围测量值组合成被存储为范围模型的范围测量值集合。
208：任选地，使用GPS和/或里程计数据确定初始位置。
210：将在步骤206中生成的范围模型与在步骤202和204中构建的地表的地图匹配。这可使用来自步骤208的初始位置(如果可用)来限制在地图中靠近初始位置的地方搜索范围模型。
212：基于匹配确定车辆在地表上的位置。
使用衍生自事件相机更改事件的范围模型作为车辆位置处的地表的标记，由此将地表的细小结构用于估计位置。该表面在典型的车辆速度下非常快速地移动，并且该问题通过用事件相机捕获地表结构的相对移动得以解决。
该实施例的优点在于因为照明受控，更改事件的序列对于相同表面上的两个后续穿越是一致的，因为照明是一致的，从而避免了不同的着色和阴影。此外，系统在黑暗中工作良好。
在另一个实施例中，可处理范围模块以提取范围模型特征。特征可例如在范围模型曲线的极值点或拐点处定义，并且特征可描述局部几何形状。范围模型特征可随后用作车辆位置处地表的标记。
在另一个实施例中，可使用不同的光源。简单光源是足够明亮的非结构化(例如均匀)光源，使得通过事件相机观察到的地表的外观主要取决于该光而非外部光。这可通过以下方式进一步改善：(1)选择采集装置的位置，诸如在车辆下方，以减少外部光，或者(2)使用特定波长的光源并在事件相机前方设置滤波器以排除其他波长(例如近红外光)。
事件相机的操作高度可相对于存在于地表的特征规模以及用于解析事件相机的光学系统确定。
事件相机的光学系统可经过优化，通过校准最小化径向畸变和其他像差的影响。通过选择壳体材料和机械装置，可保持事件相机的光学系统洁净。
随着车辆移动，相机前方的表面更改，这会在事件相机中生成更改事件(因为任何像素强度的增大或减小超出阈值)。更改事件的序列用于构建用作车辆位置标记的不变量表示。更改事件取决于3D地表结构(因为通过像素查看的强度由于着色和阴影而取决于结构)和地表外观(由于其材料属性)。因为车辆接近角(在车道内)受到很大约束，所以表面通常非常类似。
参考图3，示出了用于使用简单光源估计车辆位置的系统。用于精确定位车辆的系统基于使用图3(b)中所示的采集捕获地表上的细小结构和外观。与图1中所示的那些一样的特征具有相同的附图标记。
图3(a)示出车辆，在该实例中车辆为汽车或列车102。车辆在诸如道路或轨枕(没有示出铁轨)的地表104上行驶。车辆具有采集装置306，采集装置的操作由图3(b)示出。
如图3(b)所示，以速度108沿着地表104的运动由发散光束310照明。处理器112激活简单光源314。替代性地，简单光源可只是“开启”而并不一定由处理器控制。输出发散光束在地表上形成照明区域318，其中发散光束310通过地表104发散。由于地表的运动导致照明区域318的观察穿过事件相机的像素，更改事件由具有视野122的采集装置306中的事件相机120瞬时生成。
参考图4，使用从更改事件确定的不变量表示估计车辆位置的方法的步骤为：
402：使用事件相机观察地表片区。这生成源自相对于车辆移动的地表的更改事件的序列。
403：处理更改事件的序列以生成存储在存储器中的第1不变量表示。
404：构建包括地表片区的第1不变量表示的地图，包括片区的位置。
406：测量相同的地表片区，由此事件相机对从相对于车辆移动的相同地表片区的观察获得更改事件的序列。
407：处理更改事件的序列以生成第2不变量表示。
408：任选地，使用GPS和/或里程计数据确定初始位置。
410：将通过步骤406中生成的更改事件确定的第2不变量表示与通过步骤402、403和404中的更改事件确定的第1不变量表示的地图匹配。这可使用来自步骤408的初始位置来限制在地图中靠近初始位置的地方搜索第1不变量表示。
412：基于匹配确定车辆在地表上的位置。
同样，使用更改事件作为车辆位置处的地表的标记，由此将地表的细节用于估计位置。该表面在典型的车辆速度下非常快速地移动，并且该问题通过用事件相机捕获地表结构和/或外观的相对移动得以解决。
我们现在描述更改事件数据的序列以及这可如何用于创建不变量表示。每个事件具有像素位置、时间戳和极性(例如，如果变得更亮则为+，如果变得更暗则为-)。单个“原始”事件在没有一些处理的情况下不太可能用于匹配，因为除非相机在完全相同的照明和相同的速度下遵循完全相同的轨线，否则事件的位置和相对时间将不同。事件因此被处理，以生成适合通过匹配或索引进行搜索的“不变量”表示。不变量是指在输入中给定特定更改(例如照明和速度)的情况下具有不变化的属性的表示。
在一个实施例中，该不变量表示没有进行明确定义，而是使用机器学习技术从实例中自动确定不变量表示。学习可受到监控，其中用于训练的事件数据中的特征被标记，或者学习可受到监控，其中未标记用于训练的事件数据。也可存在控制信号，在这种情况下可使用机器学习的第3形式(即强化学习)。
在另一个实施例中，多个事件明确集成到具有可匹配的不变量属性的更大表示中。例如，可在短时间段内聚合事件以生成特征。
在另一个实施例中，使用了时空滤波器，该滤波器在观察到具有特定空间/时间属性的事件序列时生成响应。这些滤波器的输出是用于通过匹配或索引进行搜索的不变量表示。
在另一个实施例中，不变量表示是更改事件的正交地图。假设地表为平面并用经已知校准的事件相机已知高度查看，从而允许事件从透视坐标映射到直角坐标。使用光学流估计事件相机的运动。可通过更改事件估计运动，这些更改事件源自相对于车辆移动的地表。
使用光学流直接通过更改事件估计运动的合适实例描述于“SimultaneousOptical Flow and Intensity Estimation From an Event Camera”(通过事件相机同时估计光学流和强度)(Patrick Bardow、Andrew J.Davison、Stefan Leutenegger；IEEE计算机视觉和模式识别会议(CVPR)，2016年，第884-892页)。光学流可被定义为两个时间接近的强度图像之间的对应场，例如每个像素估计两个参数，一帧与下一帧之间的水平和垂直位移。使用光学流通过更改事件估计运动的另一种方式是通过在一个时间段内累积事件并使用应用于连续事件图像的光学流的传统方法来形成事件图像。
通过使用光学流估计将事件从本地事件相机坐标映射到正交地图坐标，即可确定正交地图。存储在地图中的值源于更改事件，例如通过在正交地图中的每个点处计算更改事件的极性平均值。地图可存储为离散稀疏阵列。这在图5中示出。应当注意，每个事件可发生在不同时间点并存在于自己的本地事件相机坐标系中。
参考图5，标记为n-2至n+2的方块表示在事件相机坐标中各个时间点处移动事件相机的视图。每个视图具有通过圆和两个轴描绘的坐标系。光学流是跟踪坐标系移动的到的转化序列。特征502是发生在位于视图n中的时间n的更改事件。视图n被映射到正交地图504。特征508是映射到正交地图的更改事件502。虚线方块506描绘视图n相对于正交地图504的位置。
在另一个实施例中，通过事件相机观察地表，但没有引入受控或通电的灯，而是利用自然环境照明。
本发明的实施例提供一种传感器，该传感器成本显著更低(批量制造时)，能够在高速下工作，对环境照明具有稳健性，并且具有更低的功率和更低的处理要求，用于捕获底层地表片区的详细结构和/或外观。仅包含车辆下方的地表(而非捕获多得多的环境元素的其他解决方法)的地图可用于执行准确定位。此类地图包括更少的数据，在乡村和城市环境中都适用，并且能够提供极精确的位置。
存在各种优点。批量制造采集装置的成本可小于LiDAR。
给定所解析表面的标度的情况下，定位准确度比传统系统高得多(将准确度从米或厘米提高到毫米)。
传感器紧凑得多并且可直接安装在车辆上，因为它仅需要地表视图而非整个环境。
只要有可见、稳定的地表，系统就可工作。即使表面部分封闭，由于在缺乏数据时匹配/表示十分稳健，该解决方法仍然有效。现有系统依靠在城市中心之外可能不存在的固定大型结构。一些实施例因为地面的有源照明在黑暗中有效，例如通过激光平面或发散光源。
已知系统需要环境的复杂3D地图，这些地图可能包含在匹配算法中需要清理或忽略的大量无关数据(行人、车辆、植物)。
实施例使用简单的自上而下的地表视图，简化了所需的捕获、存储和处理。
位置可为(但不限于)特定地点或位置。位置数据可指表示全局坐标系(例如GPS坐标)中位置的数据。位置数据也可指表示本地或相对坐标系中位置的数据，例如以道路为中心的坐标系，其中数据直接表示道路上的位置，或以铁轨为中心的坐标系，其中数据直接表示铁路上的位置。位置数据还可指存储在某个位置处于并且可在该位置处访问并且不一定是该位置的描述的数据。
术语“标记”可指但不限于可用来识别某些东西的不同图案、产品或特征。
术语“地表”可指但不限于车辆可沿其行驶的任何地表，包括例如道路、铁路轨枕(在铁轨之外或之间)、人行道、停车场、机场或海港地表以及工业生产基地中的地表。
本发明的实施例可使用包括一个或多个机器可读指令的序列的计算机程序实施，机器可读指令用于描述上文所述的估计车辆位置的方法。该计算机程序可在例如车辆内的可编程数据处理装置中执行。还可提供其上存储有此类计算机程序的数据存储介质(例如半导体存储器、磁盘或光盘)。

Claims (47)

1.一种用于估计车辆位置的方法，该方法包括：
(a)从事件相机对相对于该车辆移动的地表的观察获得更改事件，这些更改事件由相对于该车辆的该地表移动产生；
(b)从所获得的更改事件确定该地表的标记；以及
(c)使用该标记估计该位置。
2.根据权利要求1所述的方法，其中该地表的标记表征具有50mm或更短波长的地表纹理。
3.根据权利要求1或权利要求2所述的方法，其中这些更改事件包括序列。
4.根据前述权利要求中任一项所述的方法，还包括使用与该事件相机的观察相对应的运动数据来生成以空间组织的这些更改事件的集合以用作该标记的步骤。
5.根据前述权利要求中任一项所述的方法，还包括使用与该事件相机的观察相对应的时间数据来生成以时间组织的这些更改事件的集合以用作该标记的步骤。
6.根据前述权利要求中任一项所述的方法，还包括在该事件相机的视野中用电磁辐射照射该地表。
7.根据权利要求6所述的方法，其中该电磁辐射为结构化的。
8.根据权利要求7所述的方法，还包括基于该事件相机对结构化电磁辐射照射的该地表的观察确定表示该地表的范围测量值的步骤。
9.根据权利要求8所述的方法，还包括聚合所确定的范围测量值以生成表示该地表的片区的范围测量值集合来用作标记的步骤。
10.根据权利要求8或权利要求9所述的方法，还包括使用与该事件相机的观察相对应的运动数据来将所确定的范围测量值组合成表示该地表的片区的以空间组织的范围测量值集合来用作该标记的步骤。
11.根据权利要求8或权利要求9所述的方法，还包括使用与该事件相机的观察相对应的时间数据来将所确定的范围测量值组合成表示该地表的片区的以时间组织的范围测量值集合来用作该标记的步骤。
12.根据权利要求1至7中任一项所述的方法，还包括处理这些更改事件以生成不变量表示来用作该标记的步骤。
13.根据权利要求12所述的方法，其中已经使用机器学习技术自动确定该不变量表示。
14.根据权利要求12所述的方法，其中处理这些更改事件的步骤包括将这些更改事件集成到具有不变量属性的表示中。
15.根据权利要求12所述的方法，其中处理这些更改事件的步骤包括使用时空滤波器来在获得了具有定义的空间和时间属性的更改事件序列时生成响应，以便生成该不变量表示。
16.根据权利要求12所述的方法，其中该不变量表示包括更改事件的正交地图。
17.根据权利要求16所述的方法，其中处理这些更改事件的步骤包括将所获得的更改事件从本地事件相机坐标映射到正交地图坐标，以便生成该正交地图。
18.根据权利要求17所述的方法，其中所获得的更改事件的该映射包括确定该事件相机的运动估计。
19.根据权利要求18所述的方法，其中使用光学流确定该估计。
20.根据任一前述权利要求所述的方法，还包括将该事件相机定位在该车辆下方的步骤。
21.根据任一前述权利要求所述的方法，包括重复对该地表的这些观察并通过从具有相关联位置信息的之前观察搜索标记来估计该位置的步骤。
22.一种用于估计车辆位置的系统，该系统包括：
事件相机；以及
处理器，该处理器被配置成：
(a)从该事件相机对相对于该车辆移动的地表的观察获得更改事件，这些更改事件由相对于该车辆的该地表移动产生；
(b)从所获得的更改事件确定该地表的标记；以及
(c)使用该标记估计该位置。
23.根据权利要求22所述的系统，其中该地表的该标记表征具有50mm或更短波长的地表纹理。
24.根据权利要求22或权利要求23所述的系统，其中这些更改事件包括序列。
25.根据权利要求22至24中任一项所述的系统，其中该处理器还被配置成使用与该事件相机的观察相对应的运动数据来生成以空间组织的这些更改事件的集合。
26.根据权利要求22至25中任一项所述的系统，其中该处理器还被配置成使用与该事件相机的观察相对应的时间数据来生成以时间组织的这些更改事件的集合。
27.根据权利要求22至26中任一项所述的系统，还包括用于在该事件相机的视野中用电磁辐射照射该地表的照明源。
28.根据权利要求27所述的系统，其中该电磁辐射为结构化的。
29.根据权利要求28所述的系统，其中该处理器还被配置成用于基于该事件相机对该结构化电磁辐射照射的该地表的观察确定表示该地表的范围测量值。
30.根据权利要求29所述的系统，其中该处理器还被配置成用于聚合所确定的范围测量值以生成表示该地表的片区的范围测量值的集合。
31.根据权利要求29或权利要求30所述的系统，其中该处理器还被配置成使用与该事件相机的观察相对应的运动数据来将所确定的范围测量值组合成表示该地表的片区的以空间组织的范围测量值的集合。
32.根据权利要求29或权利要求30所述的系统，其中该处理器还被配置成使用与该事件相机的观察相对应的时间数据来将所确定的范围测量值组合成表示该地表的片区的以时间组织的范围测量值的集合。
33.根据权利要求22至28中的任一项所述的系统，其中该处理器还被配置成用于处理这些更改事件以生成不变量表示。
34.根据权利要求33所述的系统，其中已经使用机器学习技术自动确定该不变量表示。
35.根据权利要求33所述的系统，其中该处理器被配置成通过将这些更改事件集成到具有不变量属性的表示中来处理这些更改事件。
36.根据权利要求33所述的系统，其中该处理器被配置成使用时空滤波器来处理这些更改事件以在获得具有定义的空间和时间属性的更改事件的序列时生成响应，以便生成该不变量表示。
37.根据权利要求33所述的系统，其中该不变量表示包括更改事件的正交地图。
38.根据权利要求37所述的系统，其中该处理器被配置成通过将所获得的更改事件从本地事件相机坐标映射到正交地图坐标来处理这些更改事件，以便生成该正交地图。
39.根据权利要求38所述的系统，其中该处理器被配置成通过确定该事件相机的运动估计来映射所获得的更改事件。
40.根据权利要求39所述的系统，其中该处理器被配置成使用光学流来确定该估计。
41.根据权利要求22至40中任一项所述的系统，其中该事件相机定位在该车辆下方。
42.根据权利要求22至41中任一项所述的系统，其中该处理器被配置成在从对该地表的观察获得这些更改事件时，通过从具有相关联位置信息的之前观察搜索标记来估计该位置。
43.根据权利要求1至21中任一项所述的方法，其中该地表为道路表面。
44.根据权利要求1至21中任一项所述的方法，其中该地表为铁路轨枕表面。
45.一种计算机程序产品，该计算机程序产品包括用于估计车辆位置的机器可读指令的一个或多个序列，这些指令被适配成致使一个或多个处理器执行根据权利要求1至21或43至44中任一项所述的方法。
46.根据权利要求22至42中任一项所述的系统，其中该地表为道路表面。
47.根据权利要求22至42中任一项所述的系统，其中该地表为铁路轨枕表面。
CN201780056365.8A 2016-07-19 2017-07-19 通过事件相机利用地表的车辆定位 Pending CN109716060A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1612528.8 2016-07-19
GBGB1612528.8A GB201612528D0 (en) 2016-07-19 2016-07-19 Vehicle localisation using the ground or road surface
PCT/GB2017/052131 WO2018015754A1 (en) 2016-07-19 2017-07-19 Vehicle localisation using the ground surface with an event camera

Publications (1)

Publication Number Publication Date
CN109716060A true CN109716060A (zh) 2019-05-03

Family

ID=56890509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056365.8A Pending CN109716060A (zh) 2016-07-19 2017-07-19 通过事件相机利用地表的车辆定位

Country Status (5)

Country Link
US (2) US11365966B2 (zh)
EP (1) EP3488181A1 (zh)
CN (1) CN109716060A (zh)
GB (1) GB201612528D0 (zh)
WO (1) WO2018015754A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123386A (zh) * 2019-12-19 2020-05-08 中国空间技术研究院 一种基于动态视觉传感器的偏振成像探测装置及探测方法
CN111798513A (zh) * 2020-06-16 2020-10-20 武汉大学 一种基于事件相机的合成孔径成像方法及系统
CN112449164A (zh) * 2019-09-04 2021-03-05 施蒂尔有限公司 用于对车辆定位的方法以及用于执行该方法的车辆
CN113296139A (zh) * 2021-05-27 2021-08-24 桂林电子科技大学 一种自适应图像光流与rtk融合测姿方法
US20220283588A1 (en) * 2021-03-02 2022-09-08 Kabushiki Kaisha Toyota Jidoshokki Autonomous vehicle and self-location estimating method in autonomous vehicle
CN116221231A (zh) * 2023-05-09 2023-06-06 湖南奥通智能研究院有限公司 一种高精度油缸位移检测方法及液压油缸

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10647282B2 (en) * 2017-11-06 2020-05-12 Magna Electronics Inc. Vehicle vision system with undercarriage cameras
FR3078224B1 (fr) * 2018-02-16 2020-02-07 Renault S.A.S Methode de surveillance d’un environnement de vehicule automobile en stationnement comprenant une camera asynchrone
WO2019183393A1 (en) * 2018-03-21 2019-09-26 Lei Zhou Controlling movement of an automated guided vehicle
FR3091249B1 (fr) * 2018-12-27 2023-10-06 Renault Sas Procédé et dispositif de détermination du positionnement d’un véhicule automobile dans une voie de circulation
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11302345B2 (en) * 2020-05-06 2022-04-12 Here Global B.V. Method, apparatus, and computer program product for vehicle localization via frequency audio features
US11270137B2 (en) 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
JP2022089308A (ja) * 2020-12-04 2022-06-16 株式会社豊田自動織機 自律走行システム
CN114623822B (zh) * 2022-05-12 2022-08-02 东南大学 基于惯性约束的多波束水下地形组合匹配方法
CN115996320B (zh) * 2023-03-22 2023-06-16 深圳市九天睿芯科技有限公司 事件相机自适应阈值调整方法、装置、设备及存储介质
DE102023003487B3 (de) 2023-08-24 2024-07-18 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Kalibrierung einer Kamera

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862521B1 (en) * 2003-01-29 2005-03-01 Trimble Navigation Limited Method for inferring useful information from position-related vehicular events
KR20070030862A (ko) * 2007-01-15 2007-03-16 김종우 원격모니터링 및 제어 가능한 차량용 보안 및 관리 시스템및 방법
US20070257782A1 (en) * 2006-05-08 2007-11-08 Drivecam, Inc. System and Method for Multi-Event Capture
CN101578603A (zh) * 2006-11-14 2009-11-11 谷歌公司 事件搜索
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
CN101860731A (zh) * 2010-05-20 2010-10-13 杭州普维光电技术有限公司 视频信息处理方法、系统及服务器
CN101952688A (zh) * 2008-02-04 2011-01-19 电子地图北美公司 用于与传感器检测到的对象进行地图匹配的方法
US8200049B2 (en) * 2009-05-14 2012-06-12 Celight, Inc. Optical sensor for detecting and localizing events
US20130085642A1 (en) * 2011-09-30 2013-04-04 Honda Research Institute Europe Gmbh Analyzing road surfaces
US20140005932A1 (en) * 2012-06-29 2014-01-02 Southwest Research Institute Location And Motion Estimation Using Ground Imaging Sensor
CN104005325A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 基于深度和灰度图像的路面裂缝检测装置和方法
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
CN104973092A (zh) * 2015-05-04 2015-10-14 上海图甲信息科技有限公司 一种基于里程和图像测量的铁轨路基沉降测量方法
US20160014435A1 (en) * 2014-07-11 2016-01-14 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
CN105270306A (zh) * 2014-06-06 2016-01-27 福特全球技术公司 集成有推动件的车辆护板
US20160078321A1 (en) * 2014-09-16 2016-03-17 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US20160096477A1 (en) * 2014-10-07 2016-04-07 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
US20160140718A1 (en) * 2014-11-19 2016-05-19 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle position estimation device, method and computer readable recording medium

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02287182A (ja) * 1989-04-28 1990-11-27 Nissan Motor Co Ltd 超音波ドップラ方式対地速度計
DE69432465T2 (de) * 1993-06-29 2004-04-01 Omron Corp. Objekt Unterscheider ( Oberfläche einer Strasse )
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5999866A (en) 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
US6988660B2 (en) 1999-06-07 2006-01-24 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) based camera system for producing high-resolution 3-D images of moving 3-D objects
CA2278108C (en) 1999-07-20 2008-01-29 The University Of Western Ontario Three-dimensional measurement method and apparatus
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US7082209B2 (en) * 2000-08-31 2006-07-25 Hitachi Kokusai Electric, Inc. Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
DE10323915A1 (de) 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
JP3728511B2 (ja) 2003-07-07 2005-12-21 国立大学法人名古屋大学 移動式３次元構造測定装置
FR2890477B1 (fr) 2005-09-02 2009-10-16 Imra Europ Sas Methode et dispositif d'evaluation de la position d'un vehicule dans son environnement
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
CN101566471B (zh) 2007-01-18 2011-08-31 上海交通大学 基于地面纹理的智能车视觉全局定位方法
US7872764B2 (en) * 2007-10-16 2011-01-18 Magna Electronics Inc. Machine vision for predictive suspension
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
PL2438397T3 (pl) 2009-06-01 2019-05-31 Dentsply Sirona Inc Sposób i urządzenie do trójwymiarowej detekcji powierzchni z dynamiczną ramką odniesienia
WO2011139734A2 (en) 2010-04-27 2011-11-10 Sanjay Nichani Method for moving object detection using an image sensor and structured light
JP5449572B2 (ja) * 2010-12-24 2014-03-19 株式会社日立製作所 路面形状認識装置及びそれを利用した自律移動装置
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
GB201204657D0 (en) * 2011-11-18 2012-05-02 Tomtom North America Inc Methods for providing 3D building information
CN202885828U (zh) 2012-08-20 2013-04-17 山东大学 一种激光影像定位导航装置
US8949024B2 (en) 2012-10-25 2015-02-03 Massachusetts Institute Of Technology Vehicle localization using surface penetrating radar
FR3002083B1 (fr) * 2013-02-12 2015-03-13 Commissariat Energie Atomique Structure photovoltaique pour chaussee.
RU2526793C1 (ru) 2013-05-07 2014-08-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Сибирская государственная геодезическая академия" (ФГБОУ ВПО "СГГА") Способ определения состояния поверхности покрытия автомобильной дороги по ее геометрическим параметрам
KR20150012384A (ko) 2013-07-25 2015-02-04 주식회사 솔루팜 도로 표면상의 포트홀 측정 시스템 및 방법
DE102014001691A1 (de) 2014-02-07 2015-08-13 Audi Ag Verfahren zum Betrieb eines aktiven Fahrwerksystems eines Kraftfahrzeugs und Kraftfahrzeug
US10302424B2 (en) 2014-05-29 2019-05-28 Northwestern University Motion contrast depth scanning
DE102014210770A1 (de) 2014-06-05 2015-12-17 Conti Temic Microelectronic Gmbh Verfahren und system zur bestimmung einer fahrzeugposition eines fahrzeuges
EP3048557B1 (de) * 2015-01-20 2019-09-25 Aptiv Technologies Limited Verfahren zum Ermitteln einer Lage eines Fahrzeugmerkmals
US9626763B1 (en) * 2015-02-25 2017-04-18 Lytx, Inc. Pothole detection
US10489681B2 (en) * 2015-04-15 2019-11-26 Stmicroelectronics S.R.L. Method of clustering digital images, corresponding system, apparatus and computer program product
DE102015208442A1 (de) 2015-05-06 2016-11-10 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor
US10013617B2 (en) 2015-12-03 2018-07-03 Gm Global Technology Operations Snow covered path of travel surface condition detection
US20180321142A1 (en) * 2017-05-05 2018-11-08 Magna Electronics Inc. Road surface detection system

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862521B1 (en) * 2003-01-29 2005-03-01 Trimble Navigation Limited Method for inferring useful information from position-related vehicular events
US20070257782A1 (en) * 2006-05-08 2007-11-08 Drivecam, Inc. System and Method for Multi-Event Capture
CN101578603A (zh) * 2006-11-14 2009-11-11 谷歌公司 事件搜索
KR20070030862A (ko) * 2007-01-15 2007-03-16 김종우 원격모니터링 및 제어 가능한 차량용 보안 및 관리 시스템및 방법
CN101842808A (zh) * 2007-11-16 2010-09-22 电子地图有限公司 用于产生车道信息的方法及设备
CN101952688A (zh) * 2008-02-04 2011-01-19 电子地图北美公司 用于与传感器检测到的对象进行地图匹配的方法
US8200049B2 (en) * 2009-05-14 2012-06-12 Celight, Inc. Optical sensor for detecting and localizing events
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
CN101860731A (zh) * 2010-05-20 2010-10-13 杭州普维光电技术有限公司 视频信息处理方法、系统及服务器
US20130085642A1 (en) * 2011-09-30 2013-04-04 Honda Research Institute Europe Gmbh Analyzing road surfaces
US20140005932A1 (en) * 2012-06-29 2014-01-02 Southwest Research Institute Location And Motion Estimation Using Ground Imaging Sensor
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
CN105270306A (zh) * 2014-06-06 2016-01-27 福特全球技术公司 集成有推动件的车辆护板
CN104005325A (zh) * 2014-06-17 2014-08-27 武汉武大卓越科技有限责任公司 基于深度和灰度图像的路面裂缝检测装置和方法
US20160014435A1 (en) * 2014-07-11 2016-01-14 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
US20160078321A1 (en) * 2014-09-16 2016-03-17 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US20160096477A1 (en) * 2014-10-07 2016-04-07 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
US20160140718A1 (en) * 2014-11-19 2016-05-19 Kabushiki Kaisha Toyota Chuo Kenkyusho Vehicle position estimation device, method and computer readable recording medium
CN104973092A (zh) * 2015-05-04 2015-10-14 上海图甲信息科技有限公司 一种基于里程和图像测量的铁轨路基沉降测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAGATANI, K; TACHIBANA, S; SOFUE, M; 等.: "Improvement of odometry for omnidirectional vehicle using optical flow information", 《2000 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2000), VOLS 1-3, PROCEEDINGS》 *
NAGATANI, K; TACHIBANA, S; SOFUE, M; 等.: "Improvement of odometry for omnidirectional vehicle using optical flow information", 《2000 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2000), VOLS 1-3, PROCEEDINGS》, 31 December 2000 (2000-12-31), pages 468 - 473 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449164A (zh) * 2019-09-04 2021-03-05 施蒂尔有限公司 用于对车辆定位的方法以及用于执行该方法的车辆
CN112449164B (zh) * 2019-09-04 2024-04-30 施蒂尔有限公司 用于对车辆定位的方法以及用于执行该方法的车辆
CN111123386A (zh) * 2019-12-19 2020-05-08 中国空间技术研究院 一种基于动态视觉传感器的偏振成像探测装置及探测方法
CN111798513A (zh) * 2020-06-16 2020-10-20 武汉大学 一种基于事件相机的合成孔径成像方法及系统
US20220283588A1 (en) * 2021-03-02 2022-09-08 Kabushiki Kaisha Toyota Jidoshokki Autonomous vehicle and self-location estimating method in autonomous vehicle
US11681297B2 (en) * 2021-03-02 2023-06-20 Southwest Research Institute Autonomous vehicle and self-location estimating method in autonomous vehicle
CN113296139A (zh) * 2021-05-27 2021-08-24 桂林电子科技大学 一种自适应图像光流与rtk融合测姿方法
CN116221231A (zh) * 2023-05-09 2023-06-06 湖南奥通智能研究院有限公司 一种高精度油缸位移检测方法及液压油缸
CN116221231B (zh) * 2023-05-09 2023-08-15 湖南奥通智能研究院有限公司 一种高精度油缸位移检测方法及液压油缸

Also Published As

Publication number Publication date
US20220290979A1 (en) 2022-09-15
US11365966B2 (en) 2022-06-21
WO2018015754A1 (en) 2018-01-25
GB201612528D0 (en) 2016-08-31
EP3488181A1 (en) 2019-05-29
WO2018015754A9 (en) 2018-02-22
US20190265038A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN109716060A (zh) 通过事件相机利用地表的车辆定位
CN106570454B (zh) 基于移动激光扫描的行人交通参数提取方法
Guan et al. Use of mobile LiDAR in road information inventory: A review
Guan et al. Automated road information extraction from mobile laser scanning data
Chen et al. Gaussian-process-based real-time ground segmentation for autonomous land vehicles
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
Cabo et al. An algorithm for automatic detection of pole-like street furniture objects from Mobile Laser Scanner point clouds
Hu et al. Road centerline extraction in complex urban scenes from LiDAR data based on multiple features
Manandhar et al. Auto-extraction of urban features from vehicle-borne laser data
Yao et al. Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis
CN106199558A (zh) 障碍物快速检测方法
Abuhadrous et al. Digitizing and 3D modeling of urban environments and roads using vehicle-borne laser scanner system
TWI651686B (zh) 一種光學雷達行人偵測方法
CN109145677A (zh) 障碍物检测方法、装置、设备及存储介质
Steinhauser et al. Motion segmentation and scene classification from 3D LIDAR data
CN102073863A (zh) 基于深度指纹获取远距离视频监控目标特征尺寸的方法
Nagy et al. 3D CNN-based semantic labeling approach for mobile laser scanning data
JP6465421B1 (ja) 構造物変状検出装置
Schlichting et al. Vehicle localization by lidar point correlation improved by change detection
Potó et al. Laser scanned point clouds to support autonomous vehicles
Keen et al. Drive on pedestrian walk. tuk campus dataset
Dehbi et al. Improving gps trajectories using 3d city models and kinematic point clouds
KR20230109406A (ko) 열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법
CN115079198A (zh) 利用lidar传感器跟踪物体的方法和装置以及存储执行该方法的程序的记录介质
Huang et al. Ground filtering algorithm for mobile LIDAR using order and neighborhood point information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination