CN115516337A - 使用lidar的交通测位系统和方法 - Google Patents

使用lidar的交通测位系统和方法 Download PDF

Info

Publication number
CN115516337A
CN115516337A CN202080086328.3A CN202080086328A CN115516337A CN 115516337 A CN115516337 A CN 115516337A CN 202080086328 A CN202080086328 A CN 202080086328A CN 115516337 A CN115516337 A CN 115516337A
Authority
CN
China
Prior art keywords
image
images
vehicle
path
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086328.3A
Other languages
English (en)
Inventor
R·汉佐
D·麦斯威尔
S·Y·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Piper Networks Inc
Original Assignee
Piper Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Piper Networks Inc filed Critical Piper Networks Inc
Publication of CN115516337A publication Critical patent/CN115516337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

提供使用LIDAR的交通测位系统和方法。在一些实施例中，计算机实施的方法包括接收从路径上的运载工具捕获的3D图像；将3D图像变换为第一2D图像；以及确定运载工具沿路径的位置，其包括：将第一2D图像与多个第二2D图像进行比较，该多个第二2D图像各自在沿路径的相应已知位置处捕获，基于比较选择第二2D图像中的一个或多个，以及基于捕获第二2D图像中的所选择的一个或多个所处的已知位置确定运载工具沿路径的位置。可以利用安装在运载工具上的LIDAR单元捕获LIDAR数据来捕获3D图像。

Description

使用LIDAR的交通测位系统和方法
相关申请的交叉引用
本申请要求于2019年10月21日提交的题为“LIDAR RTLS PROJECT”的美国临时专利申请No.62/924,017和于2019年12月9日提交的题为“TRANSIT LOCATION SYSTEMS ANDMETHODS USING LIDAR”的美国临时专利申请No.62/945,785的优先权，其公开内容通过整体引用并入本文。
背景技术
本公开总体涉及运输智能，并且更具体地涉及用于识别交通位置的系统和方法。
发明内容
本公开的实施例提供用于跟踪与运输运载工具有关的信息的系统和方法。例如，本公开的一些实施例提供一种用于从沿运载工具路径行进的运载工具增强位置和数据收集的系统。例如，运载工具可以是轻轨列车、通勤列车、货运列车、汽车、飞机、轮船、太空运载工具、滑雪吊椅、缆车或本领域已知的其他运输形式。运输路径可以是相应运载工具沿其移动的任何路径，诸如列车轨道、道路、运河或航道、跑道、航空道或本领域已知的其他运载工具路径。
该方法可以包括从运载工具正在行进的路径上的运载工具捕获3D图像。运载工具可以采用光探测和测距(LIDAR)技术来生成路径的3D图像。在一个实施例中，LIDAR单元安装在地铁列车上以捕获地铁隧道的图像。
计算机可以用于处理收集的LIDAR数据以确定运载工具的方位。计算机可以位于运载工具上。对于每个3D图像，计算机接收LIDAR数据，并将3D图像变换为2D图像。可以将2D图像与先前在沿路径的已知位置处捕获的参考2D图像进行比较。基于该比较，计算机可以选择与捕获的2D图像最相似的一个或多个参考2D图像。可以基于捕获所选择的参考2D图像所处的位置来确定运载工具在路径上的位置。
在一些实施例中，2D图像是颜色空间中的彩色图像。例如，颜色空间可以是HSV颜色空间。然而，可以使用其他颜色空间。在这些实施例中，将3D图像变换为2D图像可以包括将3D图像中每个点的捕获的数据转换为2D图像中的对应的点的颜色空间中的颜色数据。在LIDAR数据的情况下，每个点的捕获的数据包括距离值和反射率值，并且将点的捕获的数据转换可以包括将该点的距离值映射到颜色空间的第一分量的值，并将该点的反射率值映射到颜色空间的第二分量的值。在HSV颜色空间的示例中，距离值可以映射到H值，并且反射率值可以映射到V值。
一些实施例包括消除参考2D图像中的捕获的2D图像之间的假阳性匹配。在这些实施例中，在确定运载工具沿路径的位置之前，取消选择匹配的2D图像中的一个或多个作为假阳性匹配。
在一些实施例中，将捕获的2D图像与参考2D图像进行比较采用关键点和描述符的使用。在这些实施例中，从捕获的2D图像和参考2D图像的每一个中提取多个关键点，并且基于关键点为2D图像中的每一个生成相应描述符。
本文公开的系统和/或方法的这些和其他目的、特征和特性，以及结构的相关元件的操作和功能的方法以及部件和制造经济性的组合，在参考附图考虑以下描述和所附权利要求后将变得更加明显，所有附图形成本说明书的一部分，其中相同的附图标记在各个图中指定对应的部分。然而，应明确理解，附图仅用于说明和描述的目的，并不旨在作为对本发明的限制的定义。如在说明书和权利要求书中使用的，除非上下文另有明确规定，单数形式的“一”、“一个”和“该/所述”包括复数指示物。
附图说明
参考以下附图详细描述了根据一个或多个各种实施例的本文所公开的技术。附图仅出于说明目的而提供并且仅描绘所公开技术的典型或示例实施例。提供这些附图是为了方便读者理解所公开的技术，而不应被认为是对其广度、范围或适用性的限制。应当注意，为了清楚和便于说明，这些图不一定按比例绘制。
图1图示根据所公开技术的实施例的用于轨道上的列车的测位(location)系统。
图2图示根据所公开技术的实施例的用于测绘(surveying)列车轨道的过程。
图3图示根据所公开技术的实施例的用于确定运载工具在路径上的位置的过程。
图4图示由地铁隧道内的地铁列车捕获的3D LIDAR图像。
图5示出根据所公开技术的实施例生成的示例2D图像。
图6示出已经使用SIFT算法处理的示例室外图像。
图7示出一对相似图像，其示出匹配的关键点。
图8示出图示若干相似图像与捕获的图像的匹配质量的图表。
图9示出在应用变换矩阵后的图8的图表。
图10示出按顺序排列的图8的匹配的图像的图表。
图11图示可以用于实施所公开技术的实施例的各种特征的示例计算系统。
附图并非旨在穷举或将本发明限制为所公开的精确形式。应当理解，本发明可以通过修改和变更来实践，并且所公开的技术仅受权利要求及其等同物的限制。
具体实施方式
本公开的实施例提供用于使用LIDAR技术沿路径对运载工具测位的系统和方法。为了清楚和简洁，在以下描述中，运载工具和路径被描述为列车和轨道。然而，所公开的技术可以用于沿任何路径对任何运载工具测位。此外，所公开的技术不限于LIDAR，并且可以与以距离和反射率的形式捕获3D数据的任何技术一起使用。
根据所公开的实施例，安装在列车上的LIDAR单元捕获3D图像，并使用3D图像来确定列车沿其轨道的位置。在常规方法中，将捕获的3D图像与先前在沿轨道的已知位置处捕获的参考3D图像进行比较。然而，快速比较3D图像所需的计算量非常大，以至于计算机执行比较所需的功率超过标准地铁列车上可用的功率。所公开的实施例采用不同的方法。
在所公开的实施例中，3D图像被转换为2D图像，并且2D图像被比较。比较2D图像所需的功率完全在标准地铁列车的能力内。因此，执行本文所描述的技术的计算机可以位于列车上。
所公开技术的实施例可以具有额外的优点。特别地，所公开的测位系统不需要路边装备。也就是说，确定列车的位置所需的所有装备都可以位于列车上或列车内。由于路边装备涉及大量安设和维护成本，因此该特征大大降低了操作测位系统的成本。
图1图示根据所公开技术的实施例的用于轨道104上的列车102的测位系统100。但如上所述，该技术也可以用于在其他路径上对其他运载工具测位。
参考图1，列车102可以位于轨道104上。列车可以正在行进或静止。例如，测位系统100可已用于在列车102首次通电时确定静止列车102的位置。作为另一示例，测位系统100可以用于在列车102沿轨道104行进时确定列车102的位置。
测位系统100可以包括LIDAR传感器106。LIDAR传感器106可以安设在列车102外侧的任何位置处，例如列车102的前部或后部。LIDAR传感器106可以收集3D图像，例如根据常规技术。例如，LIDAR传感器106可以包括具有以多个角度布置的多个波束(beam)的旋转传感器。在其他示例中，LIDAR传感器106可以包括具有旋转镜以形成多个波束的固定传感器。然而，可以使用任何LIDAR技术来实施LIDAR传感器106。
测位系统100可以包括计算机108。在一些实施例中，计算机108可以实施为专用计算机，例如经优化以执行本文所描述的计算，和/或经加固以承受列车102的操作环境。在其他实施例中，计算机108可以实施为通用计算机。
测位系统100可以包括描述符/位置数据库110。数据库110可以包括从先前沿轨道104在已知位置捕获的LIDAR图像生成的描述符。例如，在测绘模式中，可以采用测位系统100来生成数据库110。在测绘模式中，系统100可以包括方位传感器(未示出)以提供由LIDAR传感器106捕获的每个3D图像的位置。系统100将每个3D图像变换为2D图像，生成2D图像的描述符，并将描述符和位置存储在数据库110中。然后，在数据库110被填充之后，测位系统100可以在测位模式下操作，以基于由LIDAR传感器106捕获的图像以及存储在数据库110中的描述符和位置来确定列车102的位置，例如，如下文详细描述的。
可以以任何方式使用由测位系统100生成的位置。例如，测位系统100可以包括车载显示器112以显示列车102的操作员的位置。显示器112可以示出轨道系统的交互式地图，以及列车102的当前方位的指示符。作为另一个示例，测位系统可以包括车载发射器114以将位置传输到列车102之外的系统。例如，可以将位置传输到中央控制系统，以用于控制在轨道104上行进的多个列车。
图2图示根据所公开技术的实施例的用于测绘列车轨道104的过程200。尽管以特定顺序描述过程200的元素，但应当理解，在各种实施例中，步骤可以被省略、以其他顺序执行、同时执行等。
在测绘期间，列车102沿着轨道104行进。列车可以包括LIDAR传感器106，例如如图1所示。在202处，随着列车102沿着轨道104行进，LIDAR传感器106可以收集3D图像和位置。例如，列车102可以以恒定的速度速率沿着轨道104行进，同时LIDAR传感器106以规则的间隔收集3D图像。列车102可包括专用定位系统以确定其沿轨道104的位置。任何定位系统都可以用于此目的。定位系统可以针对收集的每个3D图像确定列车102沿轨道104的位置。
在204处，计算机108可以将每个3D图像变换为2D图像，例如，如下文详细描述的。在206处，计算机108可以为每个2D图像生成描述符，也如下文详细描述的。在208处，计算机108可以将描述符和位置存储在数据库110中。例如，计算机108可以将描述符和位置存储为表格，其中每个描述符与其位置相关联。一旦测绘完成，数据库110可以用于确定列车102沿轨道104的位置。
图3图示根据所公开技术的实施例的用于确定运载工具在路径上的位置的过程300。尽管以特定顺序描述过程300的元素，但应当理解，在各种实施例中，步骤可以被省略、以其他顺序执行、同时执行等。
例如，过程300可以用于确定沿轨道104行进的列车102的位置，如图1的示例中所示。该过程300可以采用根据图2的示例生成的数据库110。参考图3，过程300可以包括在302处从路径上的运载工具捕获3D图像。在图1的示例中，LIDAR传感器106可以从列车102捕获3D图像。3D图像可以包括轨道104、列车102的周围环境等。例如，对于地面列车102，周围环境可以包括树木、建筑物、标志等。对于地铁列车102，周围环境可以包括隧道壁、地铁基础设施、地铁站台等。
图4示出地铁隧道内的地铁列车捕获的3D LIDAR图像。在图4中，白色方块表示穿过LIDAR传感器并平行于列车的前部的竖直平面。通过每个LIDAR波束的反射收集的数据可以看作是图4中的单独曲线。
再次参考图3，过程300可以包括在304处将3D图像变换为2D图像。在一些实施例中，2D图像是颜色空间中的彩色图像。在其他实施例中，可以使用其他2D图像。
3D LIDAR图像中的每个点可以包含4条数据。数据可以包括围绕LIDAR传感器的竖直轴线的角度θ。在一些实施例中，角度θ可以以0.2°的分辨率在0到360的范围内表达。数据可以包括波束数b。在一些实施例中，LIDAR传感器包括32个波束，并且波束数b可以表达为0到31范围内的整数值。数据可以包括与单元的距离δ。在一些实施例中，该距离可以表达为16位数，增量为1cm。距离δ＝0可以指示没有检测到波束的反射。这可以发生在反射表面超出传感器范围、反射表面完全吸收LIDAR波束、反射表面将LIDAR波束完全反射离开LIDAR传感器等情况下。数据可以包括返回的信号强度R，也称为“反射率”。反射率R可以用任意单位表达为8位数。
在一些实施例中，每个LIDAR图像是使用2次LIDAR扫描生成的。第一扫描用于确定最小非零距离δmin和最大非零距离δmax，以及最小非零反射率Rmin和最大非零反射率Rmax。在第二扫描中，每个距离和反射率在第一扫描中确定的最小值和最大值内被归一化，并且例如根据等式(1)和(2)被钳制(clamp)在0-1(含)的范围内。
δnorm＝clamp((δ-δmin)/(δmax-δmin)，0，1) (1)
Rnorm＝clamp((R-Rmin)/(Rmax-Rmin)，0，1) (2)
该方法表示线性动态测距的一种形式。在一些情况下，采用非线性动态测距也可以有所帮助。例如，该技术可以用于增强特定范围内的差分距离，夸大有助于图像匹配目的的特征。
接下来，可以将归一化的距离和反射率转换为颜色空间中的颜色。例如，最常见的颜色空间之一是具有三个8位颜色通道的RGB，每个通道的值范围为0-255。由于这种颜色空间的流行，存在许多图像处理软件库，特别是包括可以用于所公开技术的实施例中的许多特征提取算法。在LIDAR数据中，可以说距离远比反射率重要。但在RGB颜色空间中，距离被映射到多个颜色分量。这种映射可能会将相似的距离表示为非常不同的颜色，从而导致结果图像中的突然不连续性。
另一个常见的颜色空间是HSV。使用HSV颜色空间的一个优点是距离和反射率可以映射到分开的颜色空间分量。在一些实施例中，可以将归一化的距离和归一化的反射率转换为HSV颜色空间的分量值，例如根据等式(3)到(5)。
H＝360xδnorm (3)
S＝1 (4)
V＝Rnorm (5)
在一些实施例中，可以直接处理HSV颜色空间数据以获得关键点和描述符。在其他实施例中，HSV颜色空间数据可以在该过程之前被转换为RGB颜色空间数据，例如以利用现有的算法库用于RGB颜色空间中的特征识别。在这些实施例中的一些实施例中，在从HSV颜色空间转换到RGB颜色空间之前，可以根据等式(6)增强低V值。
V＝Rnorm 0.2 (6)
使用这种技术，非常近的物体呈红色，随着距离的增加，显示为橙色，然后是黄色，然后是绿色，然后是蓝色，紫色，然后变回红色，与距离成比例。每个像素的亮度指示反射率，较亮的像素指示比较暗的像素更高的反射率。距离的突然变化表现为色调(hue)的突然变化，而距离的平滑变化表现为色调的平滑变化。反射率比其附近的周围环境显著小的物体保留其色调，但显得更暗。
如上所述，对于图像中的某些位置，可能无法收集数据，从而导致不希望的单像素“洞”。在一些实施例中，可以将过滤器应用于那些像素以对图像进行“去斑”。例如，可以将简单的中值过滤器应用于像素。
图5示出根据所公开技术的实施例生成的示例2D图像。示例图像高32像素，每个LIDAR波束有一条扫描线。示例图像宽595像素，表示大约119度的水平范围。该图像表示向左弯曲的一段地铁隧道。图像中心附近的暗斑点示出隧道后退到远处。暗斑点附近的黄色斑点表示路边结构，诸如信号、缆线甚至碎片。仔细观察，可以看到两条地铁列车轨道，列车位于左侧轨道上。还可以看到隧道的壁是弯曲的，并且隧道右侧有一条凸起的人行道。该图像包括水平线，这是伪影，可以通过更好地校准LIDAR传感器来纠正它。
再次参考图3，过程300可以包括在306处将2D图像与多个参考2D图像进行比较，每个参考2D图像在沿路径的相应已知位置处被捕获。根据该技术，与捕获的图像最相似的(一个或多个)参考图像的位置指示运载工具沿路径的位置。
在所公开的实施例中，不是直接比较2D图像，而是比较2D图像的提取的特征。在一些实施例中，从每个2D图像中提取多个关键点。然后基于提取的关键点为每个2D图像生成描述符。描述符可以包括关键点，并且还可以包括关于围绕每个关键点的图像的附加信息。例如，该信息可以描述灰度值在每个关键点周围八个不同方向上的梯度。通过比较它们的描述符，可以将捕获的2D图像与参考2D图像进行比较。
存在用于提取关键点和描述符的若干流行算法。开源软件包OpenCV包括若干此类算法。示例特征提取算法包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)算法、定向快速和旋转简要(ORB)算法以及KAZE、AKAZE和BRISK算法。这些算法具有不同的行为，并专注于不同的图像特征。例如，BRISK是角点检测器，而SIFT、SURF和KAZE是斑点检测器。这些算法中的大多数都具有可以调整以“微调”这些行为的参数。
这些算法也有不同的执行时间。表1针对这些算法中的若干种列出了处理9021个户外图像的执行时间，包括总执行时间和每个图像的平均时间。
算法 总时间(秒) 每个图像的平均时间(秒)
BRISK 60.64187288284302 0.0067223005
SIFT 54.89843988418579 0.00608562685
SURF 17.822772979736328 0.00197569814
KAZE 140.67809510231018 0.01559451226
表1
图6示出已经使用SIFT算法处理的示例室外图像。在图6中，亮圈指示SIFT算法提取的关键点。
再次参考图3，过程300可以包括在308基于比较选择一个或多个参考2D图像。例如，可以使用上述算法中的一个或多个来实施比较和匹配。这些算法可以产生指示匹配质量的值。
在一些情况下，捕获的图像可以与多个预处理图像很好地匹配。在这种情况下，可以使用多个匹配的图像来确定列车的位置。例如，如果前两个匹配在位置上相邻，一个匹配75％，并且另一个匹配50％，那么列车的位置在这些图像的位置之间，并且可能更接近前图像的位置。诸如加权函数、插值等技术可以用于基于这些多个图像确定列车的位置。作为另一个示例，可以通过从匹配的关键点生成变换矩阵来计算列车的方位。
图7示出一对相似的图像，该相似的图像示出匹配的关键点。请注意，一个图像直接示出在另一个图像的上方，并且匹配的关键点以相同的颜色示出，并与该颜色的线相连。图7中的匹配是使用SIFT算法利用蛮力K最近邻(BFKNN)匹配器生成的。
图8示出图示若干相似图像与捕获的图像的匹配质量的图表。每个匹配的质量由以像素为单位的距离指示，较少的像素指示较好的匹配。捕获的图像具有图像ID＝8360，并且因此具有零像素的距离，如图8所示。图像ID指示拍摄图像的顺序。因此，与捕获的图像最近的近邻是图像8359和8361。从图8可以看出，虽然这些是良好的匹配，但它们并不是最佳的匹配。在图8中，最佳的匹配实际上是假阳性。
再次参考图3，过程300可以包括在310处在确定运载工具的位置之前取消选择所选择的参考2D图像中的一个作为假阳性匹配。如下文详细描述的，可以单独或组合使用许多技术来消除假阳性匹配。这些和其他技术可以单独或组合使用，以减少所选择的参考2D图像的集合。
过程300可以包括在312处基于捕获所选择的(一个或多个)参考2D图像所处的(一个或多个)已知位置确定运载工具沿路径的位置。例如，如果仅一个2D参考图像被选择为与捕获的图像匹配，则该2D图像的位置可以用作运载工具的位置。如果多个参考2D图像被选择为与捕获的图像匹配，则选择的参考2D图像的位置可以用于确定运载工具的位置，例如使用插值或其他类似技术(例如，如本文所描述的)。
一种用于消除假阳性的技术是使用变换矩阵，如下面详细描述的。图9示出应用变换矩阵后的图8的图表。如图9可以看出的，剩下的唯一匹配是最接近捕获的图像的两个匹配，即8359和8361。所有的假阳性匹配已经被消除。也可以在图9中看出，图像8361比图像8359匹配好得多。
用于消除假阳性的另一种技术是按顺序排列参考图像，并找到匹配索引的全局最小值。图10示出按顺序排列的图8的匹配的图像的图表。在图10中，暗灰色条指示匹配的图像，亮灰色条指示根本不匹配。如图10所示，在捕获的图像8360附近存在全局最小值。另一个最小值存在于8350，但因为附近的图像匹配不佳或根本不匹配，可以丢弃。在图10中可以看到的另一个特征是，所捕获的图像8360的四个图像内的所有图像都表现出某种程度的匹配。此特征可以用于消除假阳性，例如通过取消选择全局最小值处的±n个匹配的图像的窗口外的图像。
用于消除假阳性匹配的另一种技术是简单地取消选择列车不可能出现的位置的匹配。诸如列车的运载工具具有高度受限的行为这一事实有助于该技术。它们在速度和加速度上受到限制，不能自发切换轨道，不能瞬间掉头，等。这些技术可以单独使用或组合使用，以消除多个假阳性匹配。
如上所述，可以使用变换矩阵消除假阳性匹配。现在详细描述该技术。两个图像之间匹配的点可以用于产生变换矩阵，其以数学方式对一个图像相对于另一个图像的失真进行编码。例如，鸟的大图片可以匹配类似大小的整体图像(但其中嵌入了鸟的较小图像)。产生的变换矩阵将反映鸟的缩放比例。
但在当前示例中，由于捕获的图像和参考图像是从列车上的同一位置获取的，并且对于轨道上的同一位置应该非常相似，所以变换矩阵应该非常接近单位矩阵。在实践中，变换矩阵不太可能完全是单位矩阵，因为对于两个图像，列车不太可能处于完全相同的位置和姿态。也就是说，列车可能会左右摇晃、轻微弹跳等。
诸如OpenCV的开源库提供用于生成这些变换矩阵的算法。变换矩阵和单位矩阵之间的差异的量化和阈值化可以用于消除错误图像。一种这样的技术是采用变换矩阵和单位矩阵之间的SSD(距离平方和)。表2示出针对两种不同类型的变换矩阵(即单应(homography)矩阵和基本(essential)矩阵)从1000个图像的样本中提取SSD的结果。
方法 单应矩阵 基本矩阵
Avg.Adj 1.51 1.27
未匹配 17 0
错误百分比 9.76％ 5.10％
时间(秒) 46.89 54.16
表2
在表2中，Avg.Adj表示图像ID距真实情况(即正确图像)的平均SSD。对于单应矩阵示例，最接近的匹配是距离真实情况平均大约1.51个图像。对于基本矩阵示例，最接近的匹配是距离真实情况平均大约1.27个图像。
“未匹配”是接收的未匹配的图像数。对于单应矩阵示例，在1000个样本图像中，17个没有最接近的匹配。对于基本矩阵示例，每个样本图像都有匹配。
“错误百分比”是其中最接近匹配在距真实情况±2个图像之外的图像数。对于单应矩阵示例，在1000个样本图像中，有9.76％在距真实情况±2个图像之外。对于基本矩阵示例，5.10％的样本图像在距真实情况±2个图像之外。
在了解基本矩阵和单应矩阵之间的差异的情况下，可以更好地理解表2中的一些数据。单应矩阵至少需要4个关键点来计算，并且这些关键点必须彼此共面。例如，明信片的四个点存在于同一平面上，无论纸张如何定位，它们都是共面的。因此，即使每张照片的相机不同，单应矩阵方法也可以轻松识别连续照片阵列中的明信片。
基本矩阵是单应矩阵的更广义形式。单应矩阵将共面图像空间点相关，而基本矩阵将图像中的任何一组点与同一相机拍摄的另一个图像中的点相关。继续明信片示例，基本矩阵方法可以只要使用的相机相同，就可以轻松识别哪些照片是相同的(关于明信片的方位及其周围环境)。
由于这些原因，基本矩阵方法更适合与所公开的技术一起使用。表2中的结果证实了这一结论。虽然每个图像多花7.27ms的时间(因为表2描述了处理1000个图像的时间)，但基本矩阵方法具有较低的Avg.Adj数，没有错过的匹配，并且错误百分比低4.66％。
如果以足够高的密度捕获测绘图像，则正确位置附近的图像应该与测试图像紧密匹配，但对于更远的图像则不太匹配。如果找到与图像的强匹配，但相邻图像匹配不佳或根本不匹配，则可能怀疑匹配的质量。如上所述，这些情况可以使用变换矩阵来解决。
除了消除假阳性匹配之外，还希望防止假阴性匹配。防止假阴性匹配的技术包括收集替代图像和删除过时的图像。图像匹配不佳或根本不匹配，有若干可能的原因。这些可以包括另一个列车的存在、临时建筑、新的碎片、天气条件、树木的季节性外观、新建或现在不存在的建筑物等。
为了解决这些情况，所描述的技术可以保存图像以及可以有助于确定图像位置的信息。该信息可以包括最佳猜测位置，其基于系统上一次计算有效位置的时间、系统下一次计算有效位置的时间以及这些时间与获取图像时间之间的时间和速度。然后可以离线处此类图像，并将其添加为其位置的附加可能候选图像。如果对于一位置有多个图像，系统可以收集有关哪些图像效果最好的信息。如果一个图像在设定的时间段内表现不佳，它可以因为过时而被消除。可以为一个位置维持多个图像。
该系统可以单独或组合采用若干附加技术来改进系统的结果。一种这样的技术采用附加定位系统，其只需要提供粗略的、低质量的位置信息。这些近似位置可以用于消除除用于比较的一小子集的参考图像之外的所有参考图像，以与捕获的图像进行比较，从而大大改进系统的性能。
另一种技术采用列车的大致位置的知识来选择合适的算法和/或参数来匹配图像。可以基于列车的最后已知方位、通过上述附加定位系统等来确定列车的大致位置。例如，某些算法和/或参数在隧道中可以比在室外更有效。当知道列车在隧道中时，可以选择这些算法和/或参数。可以使用离线处理来进行这些确定，例如通过参数的模拟退火(simulated annealing)来确定对于每个算法对于每个轨道区域的最佳设置。
在一些情况下，列车的大致位置可以是未知的，例如当列车在灾难性断电后首次通电时。为了解决这些情况，可以为每个图像存储多个描述符，例如包括良好用于提供高度准确的位置的第一描述符以及不提供那么高的准确度但擅长提供大致位置的第二描述符。在通电时，系统可以采用第二描述符来确定列车的大致位置。然后系统可以使用大致位置来选择算法和/或参数，然后可以将其与第一描述符一起使用以获得列车的准确位置。
用于防止假阳性匹配的另一种技术涉及掩蔽图像的一部分。在实践中，图像的某些部分可以生成对匹配无用的关键点。例如，铁路枕木可以生成许多关键点。但由于铁路枕木几乎在每个图像中表现相同，因此这些关键点可以对图像匹配无用。因此，在生成关键点之前掩蔽图像中的铁路枕木可以改进系统的性能。
所公开的技术生成的位置有很多用途。例如，运载工具在路径上的位置可以用于管理这些运载工具的时间表。这些位置可以用于警告驾驶员路径上的状况，甚至路径上存在工人。设想了许多其他应用。
附录A展示了处理隧道内拍摄的一组图像的结果。
附录B展示了处理户外拍摄的一组图像的结果。
如将理解的，本文描述的方法可以使用具有存储在有形介质上的机器可执行指令的计算系统来执行。指令自主地或者在来自操作员的输入的帮助下可执行以执行该方法的每个部分。
本领域技术人员将理解，本文所描述的公开实施例仅作为示例，并且将存在许多变化。本发明仅由权利要求限制，权利要求涵盖本文描述的实施例以及对本领域技术人员显而易见的变体。此外，应当理解，本文任一实施例中所示或描述的结构特征或方法步骤也可以用于其他实施例中。
如本文所用，术语逻辑电路和部件可以描述可以根据本文公开的技术的一个或多个实施例执行的给定功能单元。如本文所使用的，可以利用任何形式的硬件、软件或其组合来实施逻辑电路或部件。例如，可以实施一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑部件、软件例程或其他机构来组成部件。在实施方式中，本文描述的各种部件可以实施为分立的部件，或者所描述的功能和特征可以在一个或多个部件之间部分或全部共享。换言之，如本领域普通技术人员在阅读本说明书后将显而易见的，本文描述的各种特征和功能可以在任何给定应用中实施，并且可以以各种组合和排列在一个或多个单独或共享部件中实施。即使功能的各种特征或元件可以单独描述或要求为分开的部件，本领域普通技术人员将理解这些特征和功能可以在一个或多个公共软件和硬件元素之间共享，并且这样的描述不应要求或暗示使用分开的硬件或软件部件来实施此类特性或功能。
在部件、逻辑电路或技术的部件全部或部分使用软件实施的情况下，在一个实施例中，这些软件元件可以被实施为与能够执行关于其描述的功能的计算或逻辑电路一起操作。按照该示例逻辑电路1100描述了各种实施例。在阅读了该描述之后，相关领域的技术人员将清楚如何使用其他逻辑电路或架构来实施该技术。
现在参考图11，计算系统1100可以表示例如在台式机、膝上型计算机和笔记本计算机中发现的计算或处理能力；手持计算设备(PDA、智能电话、手机、掌上电脑等)；大型机、超级计算机、工作站或服务器；或任何其他类型的专用或通用计算设备，如对于给定的应用程序或环境可以是可取的或适当的。逻辑电路1100还可以表示嵌入在给定设备内或以其他方式可用于给定设备的计算能力。例如，逻辑电路可以在其他电子设备中找到，例如数码相机、导航系统、蜂窝电话、便携式计算设备、调制解调器、路由器、WAP、终端和可以包括某种形式的处理能力的其他电子设备。
计算系统1100可以包括例如一个或多个处理器、控制器、控制部件或其他处理设备，诸如处理器1104。处理器1104可以使用通用或专用处理部件来实施，例如微处理器、控制器或其他控制逻辑。在所示示例中，处理器1104连接到总线1102，尽管可以使用任何通信介质来促进与逻辑电路1100的其他部件的交互或与外部通信。
计算系统1100还可以包括一个或多个存储器部件，这里简称为主存储器1108。例如，优选地，随机存取存储器(RAM)或其他动态存储器可以用于存储信息和要由处理器1104执行的指令。主存储器1108还可以用于在要由处理器1104执行的指令的执行期间存储临时变量或其他中间信息。逻辑电路1100同样可以包括耦合到总线1102的只读存储器(“ROM”)或其他静态存储设备，以用于存储用于处理器1104的静态信息和指令。
计算系统1100还可以包括一个或多个各种形式的信息存储机构1110，其可以包括例如介质驱动器1112和存储单元接口1120。介质驱动器1112可以包括支持固定或可移除存储介质1114的驱动器或其他机构。例如，可以提供硬盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)或其他可移除或固定介质驱动器。因此，存储介质1114可以包括例如硬盘、软盘、磁带、盒、光盘、CD或DVD，或由介质驱动器1112读取、写入或访问的其他固定或可移除介质。如这些示例所示，存储介质1114可以包括其中存储有计算机软件或数据的计算机可用存储介质。
在替代实施例中，信息存储机构1110可以包括其他类似的工具，以用于允许将计算机程序或其他指令或数据加载到逻辑电路1100中。这样的工具可以包括例如固定或可移除存储单元1122和接口1120。这种存储单元1122和接口1120的示例可以包括程序盒和盒接口、可移除存储器(例如，闪存或其他可移除存储器部件)和存储器插槽、PCMCIA插槽和卡，以及允许软件和数据从存储单元1122传递到逻辑电路1100的其他固定或可移除存储单元1122和接口1120。
逻辑电路1100还可以包括通信接口1124。通信接口1124可以用于允许在逻辑电路1100和外部设备之间传递软件和数据。通信接口1124的示例可以包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE 802.XX或其他接口)、通信端口(例如，USB端口、IR端口、RS232端口
Figure BDA0003690615000000141
接口或其他端口)或其他通信接口。经由通信接口1124传递的软件和数据通常可以承载在信号上，该信号可以是电子的、电磁的(包括光学的)或能够由给定的通信接口1124交换的其他信号。这些信号可以经由信道1128提供给通信接口1124。该信道1128可以承载信号并且可以使用有线或无线通信介质来实施。信道的一些示例可以包括电话线、蜂窝链路、RF链路、光学链路、网络接口、局域网或广域网以及其他有线或无线通信信道。
在本文档中，术语“计算机程序介质”和“计算机可用介质”通常用于指代诸如存储器1108、存储单元1120、介质1114和信道1128之类的介质。这些和其他各种形式的计算机程序介质或计算机可用介质可以涉及将一个或多个指令的一个或多个序列传送到处理设备以供执行。体现在介质上的此类指令通常被称为“计算机程序代码”或“计算机程序产品”(可以以计算机程序或其他分组的形式进行分组)。当被执行时，这样的指令可以使逻辑电路1100能够执行本文所讨论的所公开技术的特征或功能。
尽管图11描绘了计算机网络，但是应当理解，本公开不限于使用计算机网络进行操作，而是本公开可以在任何合适的电子设备中实践。因此，图11中描绘的计算机网络仅用于说明目的，并且因此不意味着在任何方面限制本公开。
尽管上面已经描述了所公开技术的各种实施例，但是应该理解它们只是作为示例而不是限制性的方式呈现的。同样，各种图可以描绘所公开技术的示例架构或其他配置，这样做是为了帮助理解可以被包括在所公开技术中的特征和功能。所公开的技术不限于图示的示例架构或配置，而是可以使用各种替代架构和配置来实施期望的特征。实际上，对于本领域技术人员而言，可以如何实施替代的功能、逻辑或物理分区和配置以实施本文公开的技术的期望特征将是显而易见的。此外，除了本文描述的那些之外，许多不同的组成部件名称可以应用于各种分区。
此外，关于流程图、操作描述和方法权利要求，除非上下文另有说明，否则本文呈现步骤的顺序不应强制实施各种实施例以在相同的顺序下执行所记载的功能。
尽管以上根据各种示例性实施例和实施方式描述了所公开的技术，但应当理解，在一个或多个单独实施例中描述的各种特征、方面和功能不限于它们对描述它们所使用的特定实施例的适用性，而是可以单独或以各种组合应用于所公开技术的其他实施例中的一个或多个，无论此类实施例是否被描述以及此类特征是否被呈现为所描述的实施例的一部分。因此，本文所公开的技术的广度和范围不应受到任何上述示例性实施例的限制。
除非另有明确说明，否则本文档中使用的术语和短语及其变体应解释为开放式而非限制性。作为前述的示例：术语“包括”应理解为意味着“包括但不限于”等；术语“示例”用于提供所讨论项目的示例性实例，而不是其详尽或限制性的列表；术语“一”或“一个”应理解为意味着“至少一个”、“一个或多个”等；并且诸如“常规”、“传统”、“正常”、“标准”、“已知”的形容词以及类似含义的术语不应被解释为将所描述的项目限制在给定的时间段或在给定时间可用的项目，而应理解为涵盖现在或将来任何时间可能可用或已知的常规、传统、正常或标准技术。同样，在本文档涉及本领域普通技术人员显而易见或已知的技术的情况下，此类技术涵盖本领域技术人员现在或将来任何时间显而易见或已知的技术。
在某些情况下，拓宽词语和短语(诸如“一个或多个”、“至少”、“但不限于”或其他类似短语)的存在不应被解读为意味着在没有这样的拓宽词的实例下意图或要求使用较窄的情况。使用术语“部件”并不暗示作为部件的一部分描述或要求保护的部件或功能都配置在公共包中。实际上，部件的任何或所有各部件，无论是控制逻辑还是其他部件，都可以组合在单个包中或分开维持，并且可以进一步分布在多个组或包中或跨多个位置分布。
此外，本文阐述的各种实施例是根据示例性框图、流程图和其他说明来描述的。如在阅读本文档后对于本领域普通技术人员将变得显而易见的，所示实施例及其各种替代方案可以在不限于所示示例的情况下实施。例如，框图及其随附的描述不应被解释为强制特定架构或配置。

Claims (27)

1.一种系统，其包括：
硬件处理器；以及
非暂时性机器可读存储介质，其编码有指令，所述指令由所述硬件处理器可执行以执行方法，所述方法包括：
接收从路径上的运载工具捕获的3D图像；
将所述3D图像变换为第一2D图像；以及
确定所述运载工具沿所述路径的位置，其包括：
将所述第一2D图像与多个第二2D图像进行比较，所述多个第二2D图像各自在沿所述路径的相应已知位置处被捕获，
基于所述比较，选择所述第二2D图像中的一个或多个，以及
基于捕获所述第二2D图像中的所选择的一个或多个所处的所述已知位置，确定所述运载工具沿所述路径的所述位置。
2.根据权利要求1所述的系统，所述方法进一步包括：
捕获所述3D图像。
3.根据权利要求2所述的系统，其中捕获所述3D图像包括：
利用安装在所述运载工具上的LIDAR单元捕获LIDAR数据。
4.根据权利要求1所述的系统，其中将所述3D图像变换为第一2D图像包括：
将所述3D图像中的点的LIDAR数据转换为所述第一2D图像中的对应的点的颜色空间中的颜色数据，其中每个所述第二2D图像包括多个点，所述多个点各自具有所述颜色空间中的颜色数据。
5.根据权利要求4所述的系统，其中所述3D图像中的每个点的所述LIDAR数据包括距离值和反射率值。
6.根据权利要求5所述的系统，其中将点的所述LIDAR数据转换包括：
将所述点的所述距离值映射到所述颜色空间的第一分量的值；以及
将所述点的所述反射率值映射到所述颜色空间的第二分量的值。
7.根据权利要求1所述的系统，所述方法进一步包括：
在确定所述运载工具的所述位置之前，取消选择所选择的第二2D图像中的一个或多个作为假阳性匹配。
8.根据权利要求1所述的系统，其中将所述第一2D图像与所述多个第二2D图像进行比较包括：
从所述第一2D图像和所述第二2D图像的每个中提取多个关键点；
基于相应关键点为所述第一2D图像和所述第二2D图像中的每个生成相应描述符；以及
将所述第一2D图像的所述描述符与每个所述第二2D图像的所述描述符进行比较。
9.根据权利要求1所述的系统，其中路径上的所述运载工具是轨道上的列车。
10.一种非暂时性机器可读存储介质，其编码有由计算部件的硬件处理器可执行的指令，所述机器可读存储介质包括使所述硬件处理器执行方法的指令，所述方法包括：
接收从路径上的运载工具捕获的3D图像；
将所述3D图像变换为第一2D图像；以及
确定所述运载工具沿所述路径的位置，其包括：
将所述第一2D图像与多个第二2D图像进行比较，所述多个第二2D图像各自在沿所述路径的相应已知位置处被捕获，
基于所述比较，选择所述第二2D图像中的一个或多个，以及
基于捕获所述第二2D图像中的所选择的一个或多个所处的所述已知位置，确定所述运载工具沿所述路径的所述位置。
11.根据权利要求10所述的非暂时性机器可读存储介质，所述方法进一步包括：
捕获所述3D图像。
12.根据权利要求11所述的非暂时性机器可读存储介质，其中捕获所述3D图像包括：
利用安装在所述运载工具上的LIDAR单元来捕获LIDAR数据。
13.根据权利要求10所述的非暂时性机器可读存储介质，其中将所述3D图像变换为第一2D图像包括：
将所述3D图像中的点的LIDAR数据转换为所述第一2D图像中的对应的点的颜色空间中的颜色数据，其中每个所述第二2D图像包括多个点，所述多个点各自具有所述颜色空间中的颜色数据。
14.根据权利要求13所述的非暂时性机器可读存储介质，其中所述3D图像中的每个点的所述LIDAR数据包括距离值和反射率值。
15.根据权利要求14所述的非暂时性机器可读存储介质，其中将点的所述LIDAR数据转换包括：
将所述点的所述距离值映射到所述颜色空间的第一分量的值；以及
将所述点的所述反射率值映射到所述颜色空间的第二分量的值。
16.根据权利要求10所述的非暂时性机器可读存储介质，所述方法进一步包括：
在确定所述运载工具的所述位置之前，取消选择所选择的第二2D图像中的一个或多个作为假阳性匹配。
17.根据权利要求10所述的非暂时性机器可读存储介质，其中将所述第一2D图像与所述多个第二2D图像进行比较包括：
从所述第一2D图像和所述第二2D图像中的每个中提取多个关键点；
基于相应关键点为所述第一2D图像和所述第二2D图像中的每个生成相应描述符；以及
将所述第一2D图像的所述描述符与每个所述第二2D图像的所述描述符进行比较。
18.根据权利要求10所述的非暂时性机器可读存储介质，其中路径上的所述运载工具是轨道上的列车。
19.一种计算机实施的方法，其包括：
接收从路径上的运载工具捕获的3D图像；
将所述3D图像变换为第一2D图像；以及
确定所述运载工具沿所述路径的位置，其包括：
将所述第一2D图像与多个第二2D图像进行比较，所述多个第二2D图像各自在沿所述路径的相应已知位置处被捕获，
基于所述比较，选择所述第二2D图像中的一个或多个，以及
基于捕获所述第二2D图像中的所选择的一个或多个所处的所述已知位置，确定所述运载工具沿所述路径的所述位置。
20.根据权利要求19所述的计算机实施的方法，进一步包括：
捕获所述3D图像。
21.根据权利要求20所述的计算机实施的方法，其中捕获所述3D图像包括：
利用安装在所述运载工具上的LIDAR单元捕获LIDAR数据。
22.根据权利要求19所述的计算机实施的方法，其中将所述3D图像变换为第一2D图像包括：
将所述3D图像中的点的LIDAR数据转换为所述第一2D图像中的对应的点的颜色空间中的颜色数据，其中每个所述第二2D图像包括多个点，所述多个点各自具有所述颜色空间中的颜色数据。
23.根据权利要求22所述的计算机实施的方法，其中所述3D图像中每个点的所述LIDAR数据包括距离值和反射率值。
24.根据权利要求23所述的计算机实施的方法，其中将点的所述LIDAR数据转换包括：
将所述点的所述距离值映射到所述颜色空间的第一分量的值；以及
将所述点的所述反射率值映射到所述颜色空间的第二分量的值。
25.根据权利要求19所述的计算机实施的方法，进一步包括：
在确定所述运载工具的所述位置之前，取消选择所选择的第二2D图像中的一个或多个作为假阳性匹配。
26.根据权利要求19所述的计算机实施的方法，其中将所述第一2D图像与所述多个第二2D图像进行比较包括：
从所述第一2D图像和所述第二2D图像中的每个中提取多个关键点；
基于相应关键点为所述第一2D图像和所述第二2D图像中的每个生成相应描述符；以及
将所述第一2D图像的所述描述符与每个所述第二2D图像的所述描述符进行比较。
27.根据权利要求19所述的计算机实施的方法，其中路径上的所述运载工具是轨道上的列车。
CN202080086328.3A 2019-10-21 2020-10-21 使用lidar的交通测位系统和方法 Pending CN115516337A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962924017P 2019-10-21 2019-10-21
US62/924,017 2019-10-21
US201962945785P 2019-12-09 2019-12-09
US62/945,785 2019-12-09
PCT/US2020/056714 WO2021081125A1 (en) 2019-10-21 2020-10-21 Transit location systems and methods using lidar

Publications (1)

Publication Number Publication Date
CN115516337A true CN115516337A (zh) 2022-12-23

Family

ID=75620293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086328.3A Pending CN115516337A (zh) 2019-10-21 2020-10-21 使用lidar的交通测位系统和方法

Country Status (7)

Country Link
US (2) US11474252B2 (zh)
EP (1) EP4049060A4 (zh)
JP (1) JP7473243B2 (zh)
CN (1) CN115516337A (zh)
AU (1) AU2020371624A1 (zh)
CA (1) CA3155482A1 (zh)
WO (1) WO2021081125A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
JP5333862B2 (ja) 2010-03-31 2013-11-06 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
US9443152B2 (en) * 2011-05-03 2016-09-13 Ionroad Technologies Ltd. Automatic image content analysis method and system
US8537338B1 (en) * 2011-08-24 2013-09-17 Hrl Laboratories, Llc Street curb and median detection using LIDAR data
US9052721B1 (en) 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
JP6335389B2 (ja) * 2015-05-20 2018-05-30 三菱電機株式会社 点群画像生成装置および表示システム
US11137255B2 (en) 2015-08-03 2021-10-05 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
CN108780154B (zh) 2016-03-14 2023-06-09 亿目朗欧洲股份有限公司 3d点云的处理方法
US11043026B1 (en) * 2017-01-28 2021-06-22 Pointivo, Inc. Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom
US10380890B2 (en) 2017-02-08 2019-08-13 Baidu Usa Llc Autonomous vehicle localization based on walsh kernel projection technique
US20200401617A1 (en) * 2019-06-21 2020-12-24 White Raven Ltd Visual positioning system
US11262759B2 (en) * 2019-10-16 2022-03-01 Huawei Technologies Co., Ltd. Method and system for localization of an autonomous vehicle in real time

Also Published As

Publication number Publication date
JP7473243B2 (ja) 2024-04-23
CA3155482A1 (en) 2021-04-29
US20210149055A1 (en) 2021-05-20
EP4049060A1 (en) 2022-08-31
WO2021081125A1 (en) 2021-04-29
EP4049060A4 (en) 2023-11-22
US20230044110A1 (en) 2023-02-09
JP2022553040A (ja) 2022-12-21
US11474252B2 (en) 2022-10-18
AU2020371624A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
US10706551B2 (en) Object motion mapping using panchromatic and multispectral imagery from single pass electro-optical satellite imaging sensors
US9483839B1 (en) Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
Mi et al. Research on regional clustering and two-stage SVM method for container truck recognition
KR101489984B1 (ko) 스테레오-영상 정합 및 변화 검출 시스템 및 방법
Yu et al. Automated detection of urban road manhole covers using mobile laser scanning data
CN103699905B (zh) 一种车牌定位方法及装置
Aeschliman et al. Tracking vehicles through shadows and occlusions in wide-area aerial video
CN112308883A (zh) 一种基于可见光和红外图像的多船舶融合跟踪方法
Lu et al. A high accurate vehicle speed estimation method
Feng et al. 3D feature point extraction from LiDAR data using a neural network
CN111238365A (zh) 基于立体视觉的地铁列车测距和定位方法及系统
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
Primdahl et al. Change detection from multiple camera images extended to non-stationary cameras
Krotosky et al. Multimodal stereo image registration for pedestrian detection
EP4287137A1 (en) Method, device, equipment, storage media and system for detecting drivable space of road
Rahaman et al. Lane detection for autonomous vehicle management: PHT approach
CN115516337A (zh) 使用lidar的交通测位系统和方法
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
CN114926508A (zh) 视野分界线确定方法、装置、设备及存储介质
Ren et al. SAR image matching method based on improved SIFT for navigation system
Tahoun et al. Satellite image matching and registration: A comparative study using invariant local features
Ganbold et al. Coarse-to-fine evolutionary method for fast horizon detection in maritime images
Fehlmann et al. Application of detection and recognition algorithms to persistent wide area surveillance
Huang et al. An efficient multi-threshold selection method for lane detection based on lidar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination