CN110929538A - 具有基准标记的对象定位器 - Google Patents

具有基准标记的对象定位器 Download PDF

Info

Publication number
CN110929538A
CN110929538A CN201910880671.4A CN201910880671A CN110929538A CN 110929538 A CN110929538 A CN 110929538A CN 201910880671 A CN201910880671 A CN 201910880671A CN 110929538 A CN110929538 A CN 110929538A
Authority
CN
China
Prior art keywords
marker
physical
computer
vehicle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910880671.4A
Other languages
English (en)
Inventor
阿尔贝托·加布里埃尔·里韦拉
特雅西·科杜里
罗米尔·沙哈
肖纳克·阿塔瓦尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110929538A publication Critical patent/CN110929538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1456Methods for optical code recognition including a method step for retrieval of the optical code determining the orientation of the optical code with respect to the reader and correcting therefore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了“具有基准标记的对象定位器”。通过检测在图像中检测到的标记,可以标识上面设有所述标记的物理对象。基于确定所述标记在物理世界中的位置,可以确定所述物理对象的位置和取向。

Description

具有基准标记的对象定位器
技术领域
本公开总体涉及交通工具传感器。
背景技术
各种传感器可以提供数据以在物理(即,现实世界)环境中检测和/或定位对象。例如,传感器诸如摄像机、激光雷达、雷达、超声波传感器等可以提供数据以检测对象并且预测对象的现实世界位置。然而,处理来自这些传感器的数据在计算上可能是昂贵的,即,在分析数据的计算机中可能消耗相对大量的有价值的处理器周期和/或存储器。此外,这样的传感器数据可能无法以期望的精度描述对象和/或其位置,例如,可能以不合理的误差或确定性余量提供了对象的维度(长度、宽度、高度等)。
发明内容
本文公开了一种方法,其包括:通过检测在图像中检测到的标记,标识上面设有所述标记的物理对象;以及基于确定所述标记的物理世界位置,确定所述物理对象在所述物理世界中的位置和取向。所述方法还可以包括将所述物理对象包括在物理环境的地图中。所述方法还可以包括基于所述地图来致动交通工具的部件。所述方法还可以包括确定所述对象的一部分距所述物理世界中的点的距离。所述取向可以包括俯仰、偏航和滚动。所述对象可以是交通工具。所述方法还可以包括检测在所述图像中的第二标记,并且除了所述标记在所述物理世界中的所述位置之外,还基于所述第二标记在所述物理世界中的位置来确定所述物理对象的所述位置或取向。所述图像可以是视频数据帧。所述方法还可以包括在通过确定所述标记来标识所述物理对象时检索所述物理对象的维度,并且部分地基于所述维度确定所述物理对象的所述位置和所述取向。所述方法还可以包括从所述图像确定在所述标记中的第一标志和第二标志之间的第一物理距离,并且部分地基于所述第一物理距离,随后确定所述标记距用于捕获所述图像的相机的第二物理距离。
一种计算机包括处理器和存储器。所述存储器可以存储指令,所述指令可由所述处理器执行以:通过检测在图像中检测到的标记,标识上面设有所述标记的物理对象;以及基于确定所述标记的物理世界位置,确定所述物理对象在所述物理世界中的位置和取向。所述指令还可以包括用于将所述物理对象包括在物理环境的地图中的指令。所述指令还可以包括用于基于所述地图来致动交通工具的部件的指令。所述指令还可以包括用于确定所述对象的一部分距所述物理世界中的点的距离的指令。所述取向可以包括俯仰、偏航和滚动。所述对象可以是交通工具。所述指令还可以包括用于以下的指令:检测在所述图像中的第二标记,并且除了所述标记在所述物理世界中的所述位置之外,还基于所述第二标记在所述物理世界中的位置来确定所述物理对象的所述位置或取向。所述图像可以是视频数据帧。所述指令还可以包括用于以下的指令:在通过确定所述标记来标识所述物理对象时检索所述物理对象的维度,并且部分地基于所述维度确定所述物理对象的所述位置和所述取向。所述指令还可以包括用于以下的指令:从所述图像确定在所述标记中的第一标志和第二标志之间的第一物理距离,并且部分地基于所述第一物理距离,随后确定所述标记距用于捕获所述图像的相机的第二物理距离。
附图说明
图1是示出用于定位具有标记的对象的示例系统的图。
图2A至图2C是示例标记的图示。
图3示出了在物理环境中定位目标的示例。
图4是相关于交通工具实施图1的系统的图示。
图5是用于相关于现实世界环境定位包括基准标记的对象的示例性过程的流程图。
具体实施方式
图1是示出用于定位具有标记110的目标对象(或目标)105的示例系统100的图,所述标记110有时也称为基准标记110,这是因为标记110被提供用作根据包括所述标记110的图像确定姿势和取向的参考。基于可以传输到计算机130的来自摄像机150的数据,计算机130可以确定目标105的维度和姿势(即,位置和取向),通常是相关于三维坐标系,例如,笛卡尔坐标系115而言的。为了确定目标105姿势,计算机130可以根据相机150数据标识基准标记110。通过解码基准标记110中的标识符,计算机130随后可以从数据存储装置135检索关于目标105的数据,通常包括标记110在目标105上的位置,以及目标105的维度。计算机130还可以被编程例如基于其中检测到目标105的环境的地图,提供目标105在环境中的位置。
本文讨论了示例实现方式,其中目标105是交通工具105v(参见图4),例如,陆地交通工具,诸如小汽车、卡车或摩托车。然而,目标105可以是现实世界即物理环境中的任何物理对象,例如家具、电子装置、诸如螺丝刀、锤子或钳子之类的工具、篮球等,仅举出了无数可能的示例中的几个示例。
计算机130包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质,并且存储指令,所述指令可由计算机130执行以便执行包括如本文所公开的各种操作。数据存储装置135可以是计算机130的存储器和/或可通信地耦接到计算机130(包括可能经由网络125进行的)的常规数据存储装置。
网络125可以是各种有线或无线通信机制中的一种或多种,包括有线(例如,电缆和光纤)和/或无线(例如,蜂窝、无线、卫星、微波和射频)通信机制中的任何期望组合,以及任何期望的网络拓扑(或当利用多种通信机制时的多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如,使用
Figure BDA0002205796520000041
低功耗
Figure BDA0002205796520000042
(BLE)、IEEE802.11、交通工具对交通工具(V2V)诸如专用短程通信(DSRC)等)、局域网(LAN)和/或广域网(WAN),包括互联网。
基准标记110可以是标识目标105的任何视觉图案。图2A、图2B和图2C仅示出了标记110的几个示例。例如,在图2A的实现方式中,基准标记110是所谓的快速响应(QR)码;众所周知,QR码可以用于编码可以在获取QR码的图像时被解码的标识符。然而,QR码提供了一定程度的复杂性,例如,允许比系统100可能需要的更多的变化和数据编码。图2B示出了具有更简单图案的示例,更简单图案通常将需要更少的处理和/或更少的处理时间来进行解码和/或分析。图2C示出了又一个示例标记110。通常,如图2A至图2C所示出,基准标记110可以包括其他标识视觉图案,例如,字母和/或数字的图案、条形码或其他形状、线条或标记(例如,可以设于交通工具105v上的公司徽标等中)。
在对象定位系统100中采用的每个基准标记110应当是相关于一类目标105和每个目标105上的标记110的位置为基本上唯一的。在本背景中,一类目标105表示具有基本相同的三维模型并且因此具有基本相同的维度的一个或多个目标105。因此,在一些实现方式中,一个基准标记110可以附着于多个目标105,只要多个目标105中的每一个属于同一类的目标105即可,然而其中每个基准标记110唯一地标识特定目标105的实现方式也是可能的。此外,两个或更多个标记110可以与目标105或一类目标105相关联,两个或更多个标记110中的每一个指定在目标105表面上的不同位置。因此,在一个示例中,相应的标记110可以设置在交通工具105v的前侧、后侧、左侧和/或右侧上,以允许相机152从目标105的各个视角检测标记110。
数据存储装置135通常包括多个数据记录,其中每个数据记录基本上由可以根据基准标记110解码的标识符唯一地标识。由标记110的标识符标识的每个数据记录包括关于目标105或一类目标105的数据,包括对目标105维度的描述。在本背景中,目标维度是目标105的三维描述,即,根据其数据,可以预测目标105将在物理环境中占据的空间。在本背景中,维度是沿线的可测量范围,例如长度、宽度和/或高度。目标105可以由规则的几何形状表示,诸如矩形实体(参见图1);在这个示例中,目标105的几何形状可以通过给出矩形实体的长度、宽度和高度来提供。由标记110标识符标识的数据记录可以替代地或另外地包括目标105的三维模型;可以根据目标105的姿势(如下所述进行确定的)结合三维模型来预测目标105将在物理环境中占据的空间。三维数据模型包括目标105的模型以及三维标记110,并且对目标105和标记110进行建模以表示在现实世界空间中的它们。用于标记110的记录通常还包括指定标记110在目标105的表面上的位置的数据,使得可以通过分析包括标记110的目标105的相机150图像来确定目标105的位置。
相机150可以提供数字图像,例如,作为采用压缩格式诸如MPEG等的视频帧。MPEG是指大体由国际标准组织/国际电工委员会运动图像专家组(MPEG)颁布的一组标准。来自相机150的视频数据中的每一帧可以是指定数量的像素宽乘指定数量的像素高。因此,可以定义用于视频图像帧的坐标系,例如,XY笛卡尔坐标系,例如,在帧的左上角具有原点。可以根据各种图像或图案识别技术在帧中标识标记110,并且随后可以如下进一步所述的确定标记110在帧中的坐标。
相机150可以以固定或静止的方式进行部署,即,具有根据预定规格固定的姿势。诸如目标105或相机150的对象的姿势表示取向(例如,俯仰、偏航和滚动)和位置(例如,指定坐标系中的位置的一组坐标,例如,X、Y、Z坐标)。相机150的预定姿势可以是用于在来自相机150的视频数据帧中标识标记110时确定标记110的姿势,即位置和取向的基础。
例如,一旦在相机150的数据帧中标识出标记110,例如,根据实现图案识别技术的计算机130中的编程,计算机130可以从数据存储装置130检索标记110的数据记录。现在参考图2,标记110的数据记录可以指定标记110的维度,例如长度和宽度,以及标记110中的特定标志111、112,例如,根据XY坐标系进行。
标记的标志111、112是标记110中的可标识形状或记号,例如标记110中的单独方形记号,其可由计算机130在标记的图像中进行标识。也就是说,计算机130可以标识表示特定标志111、112的标记110图像中的像素,例如,通过认出在标记110图像中的形状或形状组合进行。然后,可以例如通过使用毕达哥拉斯定理来确定标记110图像中的两个点的相应XY坐标之间的距离来确定在标记110图像中的第一标志111和第二标志112之间的例如以像素测量的欧几里德,即线性距离。
计算机130(或数据存储装置135)还可以存储指定距相机150的第一物理距离,即现实世界,即物理距离的表格等,所述第一物理距离由包括在标记110图像中的第一标志111和第二标志112之间的距离中的像素的相应数量指示。此外,标记110数据记录可以指定在标志111、112之间的第二物理距离,即物理欧几里德或线性距离。基于第一物理距离和第二物理距离,可以确定物理世界中标记110的位置。也就是说,可以根据标记110在关于物理世界的坐标系115中的XYZ坐标提供位置,其是例如根据包括毕达哥拉斯定理的欧几里德几何的原理确定的。
还可以根据标记110图像确定根据现实世界坐标系115的标记110的取向。例如,坐标系115可以定义XY、XZ和YZ平面。计算机110可以确定标记110中的两个点之间的线与XY、XZ和YZ平面中的每一个之间的相应角度。这些角度可以用于给出俯仰、偏航和滚动,即取向。在本文中应该给出术语俯仰、偏航和滚动的常规含义。例如,相关于诸如飞机或汽车的交通工具而言,俯仰是围绕横轴的旋转,偏航是围绕竖直轴的旋转,并且滚动是围绕纵轴的旋转(例如,交通工具的横轴、竖直轴和纵轴可以是或可以平行于XYZ坐标系中的相应X、Y和Z轴)。可以根据俯仰、偏航和滚动来指定诸如标记110或目标105的对象的取向。
图3示出了在物理环境中定位目标105的示例,具体地,确定标记110在地面300上方的高度H。在图3的示例中,地面300被表示为基本上是平面的,即三维坐标系115的XZ平面,但是当然在实践中,甚至是平坦道路的表面或其他地面也不会完全是平面的。高度H是在目标105的表面上的指定点305(例如,指定的XYZ坐标)与地面300上的点310(例如,另一个指定的XYZ坐标)之间的距离。如上面所解释的,可以相关于为物理环境的地图提供的三维坐标系115来确定目标105的位置和取向,即姿势。目标105点305坐标是相关于标记110确定的坐标,例如,点305可以是标记110的底部边缘的中点。如上面所解释的,标记110上的每个位置或点可以映射到目标105的表面上的位置或点,即三维坐标。然后可以通过绘制竖直线(例如,在图3的示例中,从点305到地面300的在坐标系115中平行于Y轴的线)来确定点310。
确定高度H,或更一般地,确定目标105的表面上的点或一组点距物理环境中的一个或多个其他点的距离可以具有各种应用。在一个示例中,当目标105是交通工具105v时,确定高度H对于确定交通工具105v和地面300之间的净空是有用的。例如,可以提供诸如城市中的道路、赛道等的道路的三维地图,并且相机150用于当交通工具105v正在道路上行驶时捕获交通工具105v(包括标记110)的图像。基于标记110在交通工具105v表面上的位置,包括标记110距交通工具105v的底部边缘的距离,随后可以确定高度H以确定交通工具105v距道路的距离或净空。同样地,可以确定诸如交通工具105v的目标105距其他对象的距离。例如,代替地面300,可以确定交通工具105v距一些其他对象诸如墙壁、建筑物、道路标志等的距离。
图4是相关于交通工具实施图1的系统的图示。相机150安装到基础设施元件140,即,固定的物理结构,相机150可以固定地安装到所述基础设施元件140(即,使得相机150不能移动或旋转)。基础设施元件140可以是任何合适的固定物理结构,诸如塔、杆、桥支柱、道路标志支撑件、建筑物的侧面等。在图4的示例中,在交通工具105v的表面上的相应位置上设有多个标记110,其中的每一个应当与不同的基本上唯一的标识符相关联,如上所述。因此,相机150可以能够从不同的视角来确定交通工具105v的维度和姿势。
此外,可以使用多于一个标记110来确定目标105,在这个示例中是交通工具105v、维度和/或姿势。例如,图4示出了在交通工具105v的前保险杠上的标记110。计算机130可以被编程为根据第一标记110确定第一交通工具105v姿势,并且根据第二标记110确定第二交通工具105v姿势。然后,可以根据第一姿势和第二姿势确定第一高度H和第二高度H。然后,计算机130可以求高度H的平均值,以提供交通工具105v距地面300的确定高度H。
图5是用于相关于现实世界环境定位包括基准标记的对象的示例性过程的流程图。可以根据计算机130中的编程来执行过程500,如上所述,相机150可以经由网络125提供数据。替代地,计算机130对于相机150来说可以是本地的,例如共同安装在基础设施元件140上、包括在相同的壳体中等。
过程500开始于框505,其中相机150接收图像数据帧,例如通常作为相继接收到的多个帧,即作为视频数据流中的一个帧。
接下来,在框510中,相机150例如根据常规的图像分析或图案识别技术分析接收的帧,以确定是否在接收的图像数据中检测到标记110。如上所述,相机150可能在图像数据帧中检测到多个标记110。如果检测到标记110,接下来则执行框515。否则,过程500则前往框540。
在框515中,计算机130例如根据如上所述的坐标系115确定三维空间中的标记110的坐标。例如,计算机130可以被编程为从标记110解码标记110标识符,并且例如从数据存储装置135检索包括关于标记110的数据的记录,如上所述。因此,计算机130可以标识标志111、112,如上所述,并且还可以确定标志111、112的三维空间中的坐标。此外,计算机130随后可以确定标记110的边缘、转角或任何点诸如点305的坐标。
接下来,在框520中,计算机130例如从数据存储装置135检索描述目标105的数据,在框515中检索到的标记110记录中指定和/或包括有所述目标105。通常,描述目标105的数据包括目标105的维度例如高度、宽度和长度。所述数据可以替代地或另外地包括三维模型。
接下来,在框525中,计算机130标识三维空间中的目标105的姿势。也就是说,计算机130根据如上所述的坐标系115中的XYZ坐标的一个或多个三元组来确定位置和取向。
接下来,在框530中,计算机130将目标105定位在物理环境的地图中。例如,地图可以具有与坐标系115相对应的坐标,从而允许缩放和定向目标105以放置在地图中。如上所述,可以确定目标105距地图中的点的距离,例如,交通工具105v的下边缘距地面300上的点310的距离。
接下来,在框535中,计算机130可以基于物理环境地图中的目标105姿势和/或位置的确定来采取一个或多个动作。例如,计算机130可以将数据存储在数据存储装置135中。替代地或另外地,计算机130可以例如经由网络25传输数据,例如传输回目标交通工具105v。然后,目标交通工具105v可以使用由计算机130传输的数据作为致动交通工具105v部件的基础。例如,如果交通工具105v的底部边缘与地面300之间的高度H高于或低于阈值,交通工具计算机则可以提供用于调整交通工具105v悬架的指令。类似地,如果确定交通工具105v遵循次优的行进路径,例如接近于障碍物诸如路沿或墙壁,交通工具计算机则可以致动交通工具105v的转向以修改交通工具105v的路径。
在框535或框510之后,在框540中,确定是否继续过程500。例如,可以关闭计算机130或相机150,可以接收输入以终止过程等。如果要继续所述过程,接下来则执行框505;否则,过程500在框540之后结束。
系统100可以在各种环境中使用。例如,在各种背景下,可以将一个或多个标记110放置在交通工具105上,如上所述。例如,交通工具105v可以是赛车,并且标记110可以用于定位在赛道上的交通工具105v。例如,交通工具105v相关于赛道的高度可能是赛车队特别感兴趣的。
在另一个示例中,要进行撞击测试的目标交通工具105v可以在指定的车身面板上配备有标记110。然后,可以在撞击测试期间当交通工具105v与障碍物碰撞时捕获视频图像。系统100可以相关于交通工具105v的其余部分提供对目标交通工具105v的车身面板的指定零件或甚至是撞击假人的位置和/或移动的准确或精确测量,这实质上将撞击基本上实时地映射到三维环境。有利地,系统100随后可以减少分析撞击测试所花费的时间并且提供额外的见解。类似地,可以在乘坐测试期间测量、定位、监测等交通工具105v的指定零件的移动。
在另一个示例中,观察到许多SLAM(同时定位和映射)系统使用点云数据来对环境以及环境中的对象和障碍物进行建模。点云通常由激光雷达传感器产生。系统100可以用于使用环境的已知表示来重建在交通工具105v环境中的对象和障碍物,其随后可以与标记(或多个标记)110相关联。有利地,可以提供仅需要来自相机,而不是更昂贵的激光雷达的感测输入的SLAM应用,这可以大大降低测试SLAM系统的复杂性和成本。
如本文所使用,副词“基本上”是指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。
通常,所描述的计算系统和/或装置可以采用许多计算机操作系统中的任何一种,包括但决不限于以下操作系统的各种版本和/或变体:Ford
Figure BDA0002205796520000111
应用、AppLink/SmartDevice Link中间软件、Microsoft
Figure BDA0002205796520000112
操作系统、Microsoft
Figure BDA0002205796520000113
操作系统、Unix操作系统(例如,加州红木岸区甲骨文公司发布的
Figure BDA0002205796520000114
操作系统)、纽约阿蒙克市的国际商业机器公司发布的AIX UNIX操作系统、Linux操作系统、加州库比蒂诺市苹果公司发布的Mac OSX和iOS操作系统、加拿大滑铁卢市黑莓有限公司发布的BlackBerry OS、以及谷歌公司和开放手机联盟开发的安卓操作系统、或者QNX软件系统公司提供的
Figure BDA0002205796520000115
CAR信息娱乐平台。计算装置的示例包括但不限于:机载交通工具计算机、计算机工作站、服务器、台式计算机、笔记本计算机、膝上型计算机、或手持式计算机、或某一其他计算系统和/或装置。
计算机和计算装置通常包括计算机可执行指令,其中所述指令可以由诸如上面列出的那些的一个或多个计算装置执行。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序编译或解译,所述编程语言和/或技术包括但不限于单独或组合的JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。通常,处理器(例如,微处理器)接收例如来自存储器、计算机可读介质等的指令并且执行这些指令,从而执行一个或多个过程,包括本文所述的过程中的一个或多个。可使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
存储器可以包括计算机可读介质(也被称为处理器可读介质),其包括参与提供可以由计算机(例如,由计算机的处理器)读取的数据(例如,指令)的任何非暂时性(例如,有形)介质。此类介质可采取许多形式,包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可以由一种或多种传输介质传输,所述传输介质包括同轴电缆、铜线和光纤,包括构成耦接到ECU的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带,或计算机可从中读取的任何其他介质。
数据库、数据仓或本文所述的其他数据存储装置可包括用于存储、访问和检索各种数据的各种机制,包括分层数据库、文件系统中的一组文件、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上提及的那些之一)的计算装置中,并且经由网络以各种方式中的任何一种或多种方式来访问。文件系统可以通过计算机操作系统进行访问,并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行存储过程的语言(诸如以上提及的PL/SQL语言)之外,RDBMS通常还采用结构化查询语言(SQL)。
在一些实例中,系统元件可以被实现为一个或多个计算装置(例如,服务器、个人计算机等)上的计算机可读指令(例如,软件),存储在与其相关联的计算机可读介质(例如,磁盘、存储器等)上。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文描述的功能的此类指令。
关于本文描述的介质、过程、系统、方法、启发等,应当理解,虽然此类过程等的步骤已被描述为按照某一有序的顺序发生,但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解,可以同时执行某些步骤,可以添加其他步骤,或者可以省略本文描述的某些步骤。换句话说,本文对过程的描述是为了示出某些实施例而提供,而决不应当将其理解为对权利要求进行限制。
因此,应理解,以上描述旨在是说明性的而非限制性的。在阅读以上描述时,除所提供的示例之外的许多实施例和应用对于本领域技术人员将是明显的。本发明的范围不应参考以上描述来确定,而应参考所附权利要求以及这些权利要求所享有的全部等同范围来确定。预期并意图本文所讨论的领域中将出现未来发展,并且所公开的系统和方法将合并到此类未来实施例中。总而言之,应理解,本发明能够进行修改和变化并且仅由所附权利要求限制。
除非本文作出相反的明确指示,否则权利要求中使用的所有术语旨在给出如本领域技术人员所理解的普通和通常的含义。具体地,除非权利要求叙述相反的明确限制,否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一者或多者。
根据本发明,提供了一种方法,其具有:通过检测在图像中检测到的标记,标识上面设有所述标记的物理对象;以及基于确定所述标记的物理世界位置,确定所述物理对象在所述物理世界中的位置和取向。
根据实施例,上述发明的特征还在于将所述物理对象包括在物理环境的地图中。
根据实施例,上述发明的特征还在于基于所述地图来致动交通工具的部件。
根据实施例,上述发明的特征还在于确定所述对象的一部分距所述物理世界中的点的距离。
根据实施例,所述取向包括俯仰、偏航和滚动。
根据实施例,所述对象是交通工具。
根据实施例,上述发明的特征还在于检测在所述图像中的第二标记,并且除了所述标记在所述物理世界中的所述位置之外,还基于所述第二标记在所述物理世界中的位置来确定所述物理对象的所述位置或取向。
根据实施例,所述图像是视频数据帧。
根据实施例,上述发明的特征还在于在通过确定所述标记来标识所述物理对象时检索所述物理对象的维度,并且部分地基于所述维度确定所述物理对象的所述位置和所述取向。
根据实施例,上述发明的特征还在于从所述图像确定在所述标记中的第一标志和第二标志之间的第一物理距离,并且部分地基于所述第一物理距离,随后确定所述标记距用于捕获所述图像的相机的第二物理距离。
根据本发明,提供了一种具有处理器和存储器的计算机,所述存储器存储指令,所述指令可由所述处理器执行以:通过检测在图像中检测到的标记,标识上面设有所述标记的物理对象;以及基于确定所述标记的物理世界位置,确定所述物理对象在所述物理世界中的位置和取向。
根据实施例,上述发明的特征还在于用于将所述物理对象包括在物理环境的地图中的指令。
根据实施例,上述发明的特征还在于用于基于所述地图来致动交通工具的部件的指令。
根据实施例,上述发明的特征还在于用于确定所述对象的一部分距所述物理世界中的点的距离的指令。
根据实施例,所述取向包括俯仰、偏航和滚动。
根据实施例,所述对象是交通工具。
根据实施例,上述发明的特征还在于用于以下的指令:检测在所述图像中的第二标记,并且除了所述标记在所述物理世界中的所述位置之外,还基于所述第二标记在所述物理世界中的位置来确定所述物理对象的所述位置或取向。
根据实施例,所述图像是视频数据帧。
根据实施例,上述发明的特征还在于用于以下的指令:在通过确定所述标记来标识所述物理对象时检索所述物理对象的维度,并且部分地基于所述维度确定所述物理对象的所述位置和所述取向。
根据实施例,上述发明的特征还在于用于以下的指令:从所述图像确定在所述标记中的第一标志和第二标志之间的第一物理距离,并且部分地基于所述第一物理距离,随后确定所述标记距用于捕获所述图像的相机的第二物理距离。

Claims (12)

1.一种方法,其包括:
通过检测在图像中检测到的标记,标识上面设有所述标记的物理对象;以及
基于确定所述标记的物理世界位置,确定所述物理对象在所述物理世界中的位置和取向。
2.如权利要求1所述的方法,其还包括将所述物理对象包括在物理环境的地图中。
3.如权利要求2所述的方法,其还包括基于所述地图来致动交通工具的部件。
4.如权利要求2所述的方法,其还包括确定所述对象的一部分距所述物理世界中的点的距离。
5.如权利要求1所述的方法,其中所述取向包括俯仰、偏航和滚动。
6.如权利要求1所述的方法,其中所述对象是交通工具。
7.如权利要求1所述的方法,其还包括检测在所述图像中的第二标记,并且除了所述标记在所述物理世界中的所述位置之外,还基于所述第二标记在所述物理世界中的位置来确定所述物理对象的所述位置或所述取向。
8.如权利要求1所述的方法,其中所述图像是视频数据帧。
9.如权利要求1所述的方法,其还包括在通过确定所述标记来标识所述物理对象时检索所述物理对象的维度,并且部分地基于所述维度确定所述物理对象的所述位置和所述取向。
10.如权利要求1所述的方法,其还包括从所述图像确定在所述标记中的第一标志和第二标志之间的第一物理距离,并且部分地基于所述第一物理距离,随后确定所述标记距用于捕获所述图像的相机的第二物理距离。
11.一种计算机,其被编程为执行权利要求1-10中的任一项所述的方法。
12.一种计算机可读介质,其存储程序指令,所述程序指令包括用于执行权利要求1-10中的任一项所述的方法的指令。
CN201910880671.4A 2018-09-20 2019-09-18 具有基准标记的对象定位器 Pending CN110929538A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/136,379 US11010919B2 (en) 2018-09-20 2018-09-20 Object locator with fiducial marker
US16/136,379 2018-09-20

Publications (1)

Publication Number Publication Date
CN110929538A true CN110929538A (zh) 2020-03-27

Family

ID=69725309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910880671.4A Pending CN110929538A (zh) 2018-09-20 2019-09-18 具有基准标记的对象定位器

Country Status (3)

Country Link
US (1) US11010919B2 (zh)
CN (1) CN110929538A (zh)
DE (1) DE102019125169A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113819B2 (en) * 2019-01-15 2021-09-07 Nvidia Corporation Graphical fiducial marker identification suitable for augmented reality, virtual reality, and robotics
EP3706076B1 (en) * 2019-03-07 2021-02-24 Siemens Healthcare GmbH Method and device to determine the dimensions and distance of a number of objects in an environment
DE102020111567A1 (de) * 2020-04-28 2021-10-28 Salamander Industrie-Produkte Gmbh Verfahren zum Auslegen eines Bauelements und Messsystem
US12115652B2 (en) * 2020-08-17 2024-10-15 Faro Technologies, Inc. Referencing pose manipulation system for marker based tracking of position measurement system
US11827203B2 (en) * 2021-01-14 2023-11-28 Ford Global Technologies, Llc Multi-degree-of-freedom pose for vehicle navigation
DE102021114265A1 (de) 2021-06-02 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Robotervorrichtung eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts und Verfahren
US20230419539A1 (en) * 2022-05-17 2023-12-28 Ford Global Technologies, Llc Vehicle pose management

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US8411086B2 (en) 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US9410827B2 (en) * 2012-10-09 2016-08-09 Pixameter Corp. Measurement using a calibration pattern
US10321117B2 (en) 2014-04-11 2019-06-11 Lucasfilm Entertainment Company Ltd. Motion-controlled body capture and reconstruction
EP3146729B1 (en) 2014-05-21 2024-10-16 Millennium Three Technologies Inc. System comprising a helmet, a multi-camera array and an ad hoc arrangement of fiducial marker patterns and their automatic detection in images
US10029577B2 (en) * 2016-06-15 2018-07-24 Qualcomm Incorporated Methods and apparatus for positioning a vehicle
US11119476B2 (en) * 2017-07-26 2021-09-14 Clearpath Robotics Inc. Systems and methods for monitoring a self driving vehicle

Also Published As

Publication number Publication date
US11010919B2 (en) 2021-05-18
DE102019125169A1 (de) 2020-03-26
US20200098131A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US11010919B2 (en) Object locator with fiducial marker
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11367212B2 (en) Vehicle pose detection with fiducial marker
CN110286389B (zh) 一种用于障碍物识别的栅格管理方法
US20180025640A1 (en) Using Virtual Data To Test And Train Parking Space Detection Systems
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
US11003182B2 (en) Vehicle monitoring and control infrastructure
US11951792B2 (en) Suspension component damage detection with marker
CN111652072A (zh) 轨迹获取方法、轨迹获取装置、存储介质和电子设备
CN108027974A (zh) 图像处理装置以及图像处理方法
CN106249267A (zh) 一种目标定位追踪方法和装置
CN108572354B (zh) 使用三维位置和速度的主设备控制
CN111105695A (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN112381873B (zh) 一种数据标注方法及装置
CN112967316B (zh) 一种面向3d多目标追踪的运动补偿优化方法及系统
US11710254B2 (en) Neural network object detection
US11288554B2 (en) Determination method and determination device
CN111947647B (zh) 一种视觉与激光雷达融合的机器人精准定位方法
CN110539748B (zh) 基于环视的拥堵跟车系统和终端
CN112462383A (zh) 定位移动对象
CN111126154A (zh) 路面元素的识别方法、装置、无人驾驶设备和存储介质
CN115937817A (zh) 一种目标检测方法、系统及挖掘机
US20220327320A1 (en) Neural network object identification
JP6670712B2 (ja) 自己位置推定装置、移動体及び自己位置推定方法
CN112258391A (zh) 一种基于道路交通标线的碎片化地图拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination