CN111587435A - 对象位置坐标确定 - Google Patents

对象位置坐标确定 Download PDF

Info

Publication number
CN111587435A
CN111587435A CN201780097055.0A CN201780097055A CN111587435A CN 111587435 A CN111587435 A CN 111587435A CN 201780097055 A CN201780097055 A CN 201780097055A CN 111587435 A CN111587435 A CN 111587435A
Authority
CN
China
Prior art keywords
image
position coordinates
coordinates
camera
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780097055.0A
Other languages
English (en)
Inventor
约万·米利沃耶·扎加亚茨
伊凡·武科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111587435A publication Critical patent/CN111587435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种系统，包括处理器和存储器。所述存储器存储可由所述处理器执行以从固定式相机接收图像的指令。所述存储器存储用于基于针对所述图像指定的位置坐标来确定所述图像中识别出的对象的位置坐标的指令。所述存储器存储用于基于所述对象位置坐标来操作车辆的指令。

Description

对象位置坐标确定
背景技术
车辆防撞系统可以使用车辆传感器数据和/或来自其他车辆的广播消息，以识别具有碰撞风险的对象并确定所识别对象的位置。但是，存在可能难以识别某些对象和/或不广播可以从中识别出碰撞风险的消息的难题。此外，当前的防撞技术依赖通常昂贵和/或难以实施的技术是一个难题。因此，提出用于为车辆识别碰撞风险对象的新的技术解决方案将是有益的，该新的技术解决方案有效地且高效地针对当前的技术未充分解决的对象提供了碰撞避免。
附图说明
图1是是朝向示例十字路口的示例性相机的图示。
图2示出了叠加在示例相机图像上的示例所存储位置坐标。
图3是在图1的相机处接收到的示例图像。
图4是用于确定在相机的视野中的对象的位置坐标的流程图。
图5是用于校准相机的示例性过程的流程图。
具体实施方式
引言
本文公开了一种包括处理器和存储器的系统。存储器存储可由处理器执行以从固定式相机接收图像的指令。存储器存储可由处理器执行以执行以下各项的指令：基于针对图像指定的位置坐标来确定图像中识别出的对象的位置坐标，以及基于对象位置坐标来操作车辆。
指令还可以包括用于基于在图像中的多个参考点中的每一个的所存储的位置坐标来确定对象位置坐标的指令。
指令还可以包括用于以下各项的指令：通过识别图像中与对象相关联的一个或多个投影点来确定对象位置坐标，以及基于所存储的位置坐标来确定所述对象位置坐标。
针对图像指定的位置坐标可以与所接收到的图像中的视觉特征相关联，该视觉特征是道路十字路口、建筑物、交通标志和校准标志之一。
指令还可以包括用于以下各项的指令：接收视觉特征的几何性质和视觉特征的位置坐标，基于所接收到的几何性质检测所接收到的相机图像中的视觉特征，并且通过使所接收到的位置坐标与所接收到的图像中的视觉特征的投影点关联来针对图像指定位置坐标。
校准标志可以是便携式标志，并且校准标志还可以包括GPS传感器和处理器，该处理器被编程为基于从校准标志的GPS传感器接收到的数据来发送校准标志的位置坐标。
指令还可以包括用于以下各项的指令：在确定图像中与参考位置相关联的投影点已经移动时，调整参考位置的预定位置坐标，并基于参考位置的经调整的位置坐标来确定对象位置坐标。
指令还可以包括用于基于相机位置和相机定向来确定针对图像指定的位置坐标的指令。
指令还可以包括用于基于所接收到的相机图像来确定对象的轨迹和速度中的至少一个的指令。
指令还可以包括用于通过基于所检测到的对象的位置坐标和车辆的轨迹致动车辆制动致动器来执行车辆操作的指令。
本文还公开了一种方法，包括：从固定式相机接收图像；基于针对图像指定的位置坐标，确定在图像中识别出的对象的位置坐标；以及基于对象位置坐标来操作车辆。
该方法还可以包括基于在图像中的多个参考点中的每一个的所存储的位置坐标来确定对象位置坐标。
该方法还可以包括：通过识别图像中与对象相关联的一个或多个投影点来确定对象位置坐标，以及基于所存储的位置坐标来确定对象位置坐标。
针对图像指定的位置坐标可以与所接收到的图像中的视觉特征相关联，该视觉特征是道路十字路口、建筑物、交通标志和校准标志之一。
该方法还可以包括：接收视觉特征的几何性质和视觉特征的位置坐标，基于所接收到的几何性质检测所接收到的相机图像中的视觉特征，以及通过使所接收到的位置坐标与所接收到的图像中的视觉特征的投影点关联来针对图像指定位置坐标。
该方法还可以包括基于从校准标志中包括的GPS传感器接收到的数据来发送校准标志的位置坐标，其中校准标志是便携式标志。
该方法还可以包括：在确定图像中与参考位置相关联的投影点已经移动时，调整参考位置的预定位置坐标，以及基于参考位置的经调整的位置坐标来确定对象位置坐标。
该方法还可以包括基于相机位置和相机定向来确定针对图像指定的位置坐标。
该方法还可以包括基于所接收到的相机图像来确定对象的轨迹和速度中的至少一个。
该方法还可以包括通过基于所检测到的对象的位置坐标和车辆的轨迹致动车辆制动致动器来执行车辆操作。
还公开了一种计算装置，其被编程为执行上述方法步骤中的任一者。
还公开了一种计算机程序产品，所述计算机程序产品包括存储指令的计算机可读介质，所述指令可由计算机处理器执行以执行上述方法步骤中的任一者。
系统元件
图1示出了具有视野130的相机100，其朝向包括十字路口120的示例区域。相机100是电子视觉传感器，其提供相机100的视野130的图像数据。相机100可以包括视觉图像传感器或视觉和红外图像传感器的组合。图像数据，即以预定格式可存储在存储器中的数字数据，例如可以包括像素以及与每个像素的图像属性(诸如色彩、光强度等)有关的指定值。在一个示例中，处理器110可以生成图像数据，例如，图像200(见图2)，其包括视野130的视觉表示，例如包括道路180a、180b的十字路口120、主车辆160、目标对象诸如建筑物、行人、交通信号灯标志等(在本文中统称为对象140)和/或对象车辆161。在图1所示的示例中，相机100朝向十字路口120的中心185。相机100可以安装在诸如停车场、人行横道、机场等各个位置，通常以预定方向来定向，即，平行于并穿过相机100的镜头230(见图2)的轴线位于距地面指定高度处，并且相对于竖直轴线和两根平轴线(例如，相对于地图方向诸如北、南、西、东确定)中的每一个来定向，以收集指定视野130中的图像200。
相机100通常是常规的数码相机，例如，可以包括处理器110、图像传感器和光学部件。相机100可以基于由图像传感器检测到的光信号(即，光)输出图像数据。处理器110可以被编程为检测所接收到的图像200中的对象，并确定所接收到的图像200中的对象(例如，车辆160)的位置坐标、速度等，如下面参考图2-图3所讨论的。
可以以多种已知的方式(例如，用电动马达和/或内燃发动机)来对车辆160、161提供动力。车辆160、161可以具有包括计算机171、致动器172、传感器173等的共同元件，如下文所述。在本文中明确地指代主车辆160和对象车辆161以捕获如本文所公开的相对于其评估和避免碰撞风险的主车辆160与一个或多个对象车辆161之间的区别，对象车辆161以及其他目标对象140被讨论作为目标对象，可以相对于所述目标对象为主车辆160评估和避免碰撞风险。
计算机171包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机执行以用于执行各种操作(包括如本文所公开的操作)的指令。计算机171可以以自主、半自主或非自主模式操作车辆160、161。出于本公开的目的，自主模式被定义为其中计算机控制车辆160、161的推进、制动和转向中的每一者的模式；在半自主模式中，计算机控制车辆160、161的推进、制动和转向中的一者或两者；在非自主模式中，人类操作员控制车辆160、161的推进、制动和转向。
计算机171可以包括编程以操作制动、推进(例如，通过控制内燃发动机、电动马达、混合发动机等中的一个或多个来控制车辆160、161的加速)、转向、气候控制、内部灯和/或外部灯等中的一个或多个。
车辆160、161可以包括一个或多个传感器，例如，相机、雷达、全球定位系统(GPS)装置等。例如，计算机171可以被编程为基于从车辆160、161中包括的GPS传感器接收到的数据来广播车辆160、161的位置坐标。例如，计算机171可以被编程为在基于所接收到的车辆160的位置坐标确定车辆160、161之间的距离小于预定阈值(例如，10米)时致动车辆161的制动致动器172。
车辆160、161可以包括致动器172，其经由可以根据已知的适当控制信号来致动各个车辆子系统的电路、芯片或其他电子部件来实现。致动器172可以用于控制车辆160、161的制动、加速和转向。
车辆160、161的计算机可以包括或者(例如，经由诸如下面进一步描述的通信总线等车辆网络)通信地耦接到一个以上处理器，所述处理器例如为在车辆中包括的用于监测和/或控制各种车辆控制器的控制器等，所述车辆控制器例如为动力传动系统控制器、制动控制器、转向控制器等。计算机171一般被布置成用于在车辆通信网络上进行通信，所述车辆通信网络诸如车辆中的总线，诸如为控制器局域网(CAN)等。
另外，计算机171可以被编程为通过无线通信网络与车辆161、移动装置、相机100和/或经由无线通信网络与诸如交通信号灯等装置进行通信。无线通信网络(其可以包括车辆对车辆(V对V)和/或车辆对基础设施(V对I)通信网络)包括车辆160、161、相机100、移动装置等可以彼此通信所借助的一个或多个结构，所述一个或多个结构包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制与任何所需的网络拓扑(或当利用多个通信机制时的多个拓扑)的任何所需组合。示例性V对V或V对I通信网络包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)、蜂窝V2X和/或广域网(WAN)，所述广域网包括因特网。
计算机171可以基于诸如行人对象140、其他车辆160、161、自行车等其他对象的位置和/或移动方向来致动车辆160、161。例如，例如通过致动车辆160、161的制动致动器172以进行制动。计算机171可以被编程为从另一车辆161等接收诸如全球定位系统(GPS)坐标等位置坐标。然而，诸如行人对象140、自行车等一些对象140可能缺少具有发送其位置的GPS传感器的装置。参考图1-图2，处理器110和/或主车辆160计算机171可以被编程为从固定式相机100接收图像200。处理器110可以基于针对图像200指定的位置坐标来确定在图像200中识别出的对象140(例如，行人对象140、对象车辆161等)的位置坐标。在一个示例中，车辆160的计算机171还可以被编程为基于对象140的所确定的位置坐标来操作车辆160。
本文中“固定式”旨在具有其简单且普通的含义，即，不移动或固定在某个位置处，例如在杆子上。因此，固定式相机100的视野130通常在相机100已经被安装(例如，在十字路口120处)后不改变，除非固定式相机100的位置和/或定向例如由技术人员相对于周围环境做出改变。
在本公开中，“位置坐标”意味着指定地面上的位置的坐标，例如，GPS位置坐标。例如，可以在具有预定原点(例如，在地面上)的参考多维笛卡尔坐标系中确定位置坐标。例如，位置坐标可以包括X,Y,Z坐标。X、Y和Z分别可以表示位置的纵向、横向和高度坐标。针对图像指定位置坐标意味着针对在固定式相机100处接收的图像200中包括的位置指定位置坐标。参考图2更详细讨论针对图像指定位置坐标。
处理器110可以被编程为通过基于所检测到的对象140(例如，对象车辆161)的位置坐标和对象车辆161的轨迹t1致动车辆160的制动致动器172来执行车辆160的操作，诸如转向、制动和/或推进。
轨迹，例如轨迹t1、t2、t3，在本公开的上下文中是指诸如对象车辆161、行人对象140、自行车对象140等对象的实际的、预期的和/或投影的移动路径，从对象140的当前位置开始并且在对象140的前方延伸至少预定距离，例如，5米。主车辆160的计算机171可以被编程为基于所确定的轨迹例如通过加速、制动和/或转向来致动主车辆160的致动器172以导航主车辆160。所检测到的对象140的相应轨迹可以包括地面例如道路180a、180b、人行道等上的曲线和/或直线。
处理器110可以被编程为基于所接收到的相机100图像200来确定对象140的轨迹和/或速度。例如，处理器110可以被编程为通过周期性地确定对象140的位置以绘制对象140的实际轨迹来确定对象140的轨迹。然后，可以基于所绘制的实际(例如，历史到当前时刻)轨迹，使用外推技术确定预期或预计的轨迹。
处理器110可以被编程为基于风险等级对对象140进行分类并且基于与所识别出的对象类别相关联的风险等级来执行车辆160的操作。风险等级是在预定范围内(例如，从1到10，或“高”、“中”和“低”等)的分配值。风险等级指示对人类和/或车辆160造成损害的风险。如示例表1中所示，人类和/或大对象(例如建筑物)可能会被分配较高的风险等级，因为与此类对象140的碰撞可能会对车辆160和/或人类造成与具有低风险等级的对象(诸如，道路中的坑洼或凸起)相比更大的损害。车辆160的计算机171可以被编程为引起动作，例如，转向、加速和/或制动，以基于与所确定的风险等级相关联的动作来防止与对象140的碰撞，例如，如表1中所示。
Figure BDA0002499875610000081
表1
在图2所示的一个示例中，可以指定固定式相机100的视野130内的各个点(在此称为参考点210)的位置坐标。尽管为了便于说明，图2示出了均匀分布的参考点210，但是参考点210可以以任何其他形式分布，例如，一些或全部可以是任意或随机分布的。处理器110可以被编程为基于图像200中所绘制参考点210中的每一个的所存储的位置坐标来确定例如对象车辆161、行人对象140等的位置坐标。参考点210的位置坐标可以存储在处理器110的存储器中，例如，如表2中所表示。在这里，术语“参考点”是指所接收到的图像200中可以由图像200中的高度和宽度坐标(例如，在具有预定原点(诸如拐角点240)的笛卡尔二维坐标系中)指定的点(例如，像素)。点(例如，参考点210d)的位置坐标包括该点相对于原点(诸如是拐角点240)的X'，Y'坐标。X'和Y'可以分别表示图像200位置中的点的纵向、横向坐标。在本上下文中，“参考位置”是指地面例如道路、人行道、建筑物、对象等上的点。参考位置220可以投影在所接收到的图像200中的参考点210d(或区域)上。针对用于对应于或投影到点210d的参考位置220，意味着穿过参考点210d和相机100的镜头230的线250也包括参考位置220(且反之亦然)。例如，对象车辆161的投影是图像200中的投影区域260。作为另一示例，行人对象140的投影是对象投影区域270。
Figure BDA0002499875610000091
表2
处理器110可以被编程为检测图像200中的对象140(例如，行人对象140、对象车辆161等)，并且通过识别图像200中与所检测到的对象140相关联的一个或多个投影点(例如，投影区域260、270)确定对象140的位置坐标。处理器110还可以被编程为通过查阅诸如图1所示的存储数据，基于例如多个参考点210的所存储的位置坐标来确定对象车辆161的位置坐标。处理器110可以被编程为识别与图像中车辆160的投影区域260邻近或重叠的三个或更多个参考点210a、210b、210c、210d，并且基于邻近投影区域260的所识别出的参考点210，使用三角测量、三边测量和/或插值技术来确定车辆160的位置坐标。在本上下文中，重叠意味着参考点210在对象车辆161的投影区域260上；邻近意味着参考点210比任何其他参考点210更靠近投影区域260。在一个示例中，处理器110可以被编程为基于所存储的位置坐标(例如，表2)确定图像200数据点中的每一个或所选定集合的位置坐标，例如，每个像素的位置坐标，并且将与图像200的像素中的每一个相关联的位置坐标存储在处理器110的存储器中。例如，存储了5(五)个参考点210，并且处理器110基于五个所存储的位置坐标来确定与图像200的每个像素相关联的相应参考位置。在这个示例中，因为确定了图像200中的每个像素或所选定像素集合的位置坐标，所以处理器110可以被编程为查找所检测到的对象140的位置坐标。
如上所述，多个参考点210的位置坐标可以存储在例如相机100的存储器中。下面参考图3描述用于确定参考点210的位置坐标的各种示例技术。在本上下文中，确定参考点210的位置坐标可以被称为“校准”。
图3示出了在安装在十字路口120处的相机100处接收到的示例图像300。为了校准相机100，即，确定图像300中的参考点210的位置坐标，处理器110可以被编程为使图像300中的参考点210与投影在相应参考点210上的参考位置的位置坐标关联。在一个示例中，参考位置可以与所接收到的图像300中的视觉特征(例如，对象140、校准标志190等)相关联。换句话说，通过检测所接收到的图像300中的视觉特征(诸如交通标志对象140)，可以确定图像300中的参考点210(即，视觉特征的投影区域260、270内的点)，并且可以使其与例如对象140、对象车辆161等的例如GPS位置坐标关联。
处理器110可以被编程为例如从远程计算机、处理器110的存储器等接收视觉特征(例如，交通标志对象140)的几何性质和视觉特征的位置坐标，以基于所接收到的几何性质来检测所接收到的图像300中的视觉特征。几何性质可以包括对象140、道路180a、180b等的信息，诸如尺寸、形状、图案等。处理器110可以被编程为通过使所接收到的位置坐标与例如所接收到的图像300中的视觉特征的投影区域260、270位置关联，将所接收到的位置坐标存储为用于图像300的指定位置坐标。处理器110可以被编程为从例如远程计算机接收视觉特征的几何性质，并检测所接收到的图像300中的视觉特征，例如，自行车对象140。另外地或可选地，处理器110可以被编程为将视觉特征的几何性质存储在处理器110的存储器中。处理器110然后可以确定图像300中的投影区域260、270的参考点，例如，中心、拐角、峰顶等，例如投影区域270的峰顶。“峰顶”是指对象离地面的最高点。处理器110然后可以确定具有坐标(X1’,Y1’)的例如图像300中交通标志对象140的峰顶的参考点210。处理器110可以使图像300的所确定的参考点(X1’,Y1’)与交通标志对象140的所接收到的GPS参考位置(X1,Y1,Z1)关联。X1’和Y1’表示图像300中的位置，例如以像素为单位，而X1、Y1和Z1是三维笛卡尔坐标系中的位置坐标。因此，处理器110可以存储位置坐标(X1,Y1,Z1)和参考点(X1’,Y1’)，例如以诸如表2的表格的形式。另外地或可选地，GPS位置坐标系可以用于确定地面上的位置等，其中可以用指定坐标的一对数字(例如，纬度和经度)来确定位置。
用于校准相机100的参考位置的另一示例技术可以包括使用校准标志190(见图1)。校准标志190可以是便携式标志，并且校准标志190还可以包括GPS传感器和具有处理器和存储器的计算装置。校准标志190的处理器可以被编程为基于从校准标志190的GPS传感器接收到的数据经由例如无线通信网络来发送校准标志190的位置坐标。校准标志190可以具有特定的视觉特征，诸如印刷图案。例如，处理器110可以被编程为检测例如在参考点(X2’,Y2’)处的图像300中的校准标志投影区域270的底角，并经由无线通信网络接收校准标志190的位置坐标(X2,Y2,Z2)。因此，有利地，通过将校准标志190移动到相机100的视野130内的多个位置，可以确定更多个参考点210中的三个。
作为用于校准相机100的另一示例技术，处理器110可以被编程为基于相机100的位置和相机100的定向来确定针对图像300指定的位置坐标。例如，处理器110可以被编程为从例如远程计算机和/或相机100的壳体中包括的一个或多个内部传感器等接收相机100的位置和定向。处理器110可以被编程为基于所接收到的相机100的位置、相机100的定向和/或相机100的光学性质来确定相机100的视野130内的一个或多个位置的位置坐标。光学性质可以包括焦点、视野130、相机100的镜头230的畸变特性等。
如上所述，相机100是固定的，但是由于诸如磨损、风等的各种原因，相机100的定向和/或位置可以改变。处理器110可以被编程为在确定图像200、300中与参考位置相关联的参考点210已经移动时，调整参考位置220的预定位置坐标。在本上下文中，“移动”意味着在校准时位置220相对于相机100的位置和/或定向的改变，即，确定由相机100接收到的图像200、300中的参考点210的位置坐标。处理器110还可以被编程为基于参考位置的经调整的位置坐标来确定对象140的位置坐标。
作为一个示例，处理器110可以被编程为将视觉特征(例如，交通标志对象140)的信息存储为参考位置220，并使其与作为参考点210的交通标志对象140的投影区域270关联。只要相机100是固定的并且交通标志140未被卸载和/或未在移动，图像300中的投影区域270不会移动。因此，处理器110可以被编程为通过将视觉特征的当前投影区域270与所存储的投影区域270进行比较来确定相机100是否已经移动。处理器110可以存储视觉特征数据，诸如交通标志140的几何特质信息。另外地，处理器110可以被编程为使所存储的视觉特征几何性质(例如形状、尺寸等)与参考点210关联。处理器110可以被编程为基于所存储的视觉特征数据来例如周期性地检测所接收到的图像300中的交通标志对象140，并确定图像300中的视觉特征的投影区域270的位置。处理器110可以被编程为在确定例如交通标志投影区域270的峰点已经从所存储的位置移开超过指定的距离(例如，一个像素)时调整参考位置。处理器110可以被编程为基于图像300中参考点210的移动后位置例如使用三角测量技术调整参考位置220和/或参考点210的所存储的位置坐标(例如，在诸如以上表2中所示的一组数据中)。
另外地或可选地，处理器110可以被编程为基于所检测到的车辆160和所检测到的车辆161的所接收到的位置坐标来确定(并且存储)经调整的参考位置和/或参考点210。换句话说，车辆160的计算机171可以被编程为基于从车辆160的GPS传感器173接收的数据来确定车辆160的位置，并广播车辆160的位置坐标。处理器110可以被编程为确定所接收的图像200中的车辆160的位置坐标，并存储图像200中车辆160的位置和例如经由无线通信网络从车辆160接收的相关联的GPS位置坐标。
在另一个示例中，两个或更多个相机100可以被安装在一个区域中。作为一个示例，第一相机100和第二相机100可以安装在图1的十字路口120处，例如，每个观察十字路口120的一部分(未示出)。相机100的视野130可以重叠。在一个示例中，第一相机100的处理器110可以从第二相机100接收图像数据，并基于从第一相机100和第二相机100接收到的图像数据来确定所检测到的对象140的位置、速度和/或轨迹。如上所述，处理器110可以被编程为基于包括车辆160的图像的多个图像来投影车辆160的轨迹t1。在具有多个相机100的这个示例中，当车辆160离开第一相机100的视野130并进入第二相机100的视野130时，例如第二相机100的处理器110可以被编程为基于来自第一相机100和第二相机100的图像的组合来确定对象车辆161的轨迹t1。
处理
图4是用于确定在相机100的视野130中的对象140的位置坐标的示例性过程400的流程图。例如，相机100的处理器110、远程计算机、车辆160的计算机171或其组合可以被编程为执行过程400的各框。
过程400开始于框410，其中处理器110从相机100接收图像数据。
在判定框415中，处理器110确定是否检测到对象140、车辆对象161等。例如，处理器110可以被编程为使用如上所述的图像处理技术来检测所接收到的图像数据中的对象140。处理器110可以被编程为至少部分地基于处理器110的存储器中存储的和/或从远程计算机接收的对象140的几何性质来检测对象140。如果处理器110确定已检测到对象140，则过程400进行到框420；否则，过程400返回到判定框415。
在框420中，处理器110确定所检测到的对象140(例如，行人对象140)的位置坐标。处理器110可以被编程为通过识别图像300中与所检测到的行人对象140相关联的投影区域270来确定对象140的位置坐标，以及基于所存储的参考位置坐标来确定行人对象140的位置坐标。处理器110可以被编程为基于所接收到的图像数据和参考位置的所存储的位置坐标来确定所检测到的行人对象140的速度和/或轨迹t3等。另外地，处理器110可以被编程为基于风险分类法来确定所检测到的对象的风险类别，例如，表1。
接下来，在框430中，处理器110操作车辆160，例如，致动车辆160的致动器172。在一个示例中，处理器110可以被编程为执行防撞操纵，包括通过基于所检测到的对象的位置坐标、速度和/或轨迹t3向车辆160、161的制动致动器172发送指令来执行车辆160的操作。在另一示例中，处理器110向车辆160发送例如行人对象140的位置坐标、速度和/或轨迹t3。因此，车辆160的计算机171可以被编程为基于从相机100的处理器110接收的信息来执行车辆160的操作。在又一示例中，处理器110可以被编程为经由无线通信网络广播所检测到的对象140的位置坐标、速度和/或轨迹。一些对象140可以广播它们的位置坐标，例如对象车辆161。在一个示例中，处理器110可以被编程为仅在基于经由无线通信网络接收到的信息确定例如所检测到的自行车对象140不广播其位置坐标时操作车辆160。另外地可选代地，处理器110和/或车辆160计算机171可以被编程为基于对象140的所确定的风险类别来操作车辆160。
接下来，在判定框440中，处理器110确定自从存储参考点210的位置坐标以来相机100是否已经移动。处理器110可以被编程为在确定与所接收到的图像中的参考点210相关联的视觉特征的至少投影与该投影的所存储的位置相比已经移动时，确定相机100已经移动。如果处理器110确定相机100已经移动，则过程400进行到框445；否则，过程400结束，或者可选地，返回到判定框405，但在图4中未示出。
在框445中，处理器110调整参考点210的位置坐标。处理器110可以被编程为确定相机100的移动，并基于相机100的所确定的移动来调整与参考点210相关联的参考位置(例如，参考位置220的位置坐标)。处理器110可以被编程为将经调整的参考位置和/或参考点210存储在例如相机100的存储器中。另外地或可选地，处理器110可以被编程为基于所检测到的车辆160和所检测到的车辆161的所接收到的位置坐标来存储经调整的参考位置和/或参考点210。
在框445后，过程400结束，或者可选地返回到判定框405，但为了说明的简便未在图4中示出。
图5是用于校准相机100的示例性过程500的流程图。例如，相机100的处理器110可以被编程为执行过程500的各框。
过程500开始于判定框510，其中处理器110确定是否接收到和/或存储了视觉特征的几何性质。处理器110可以被编程为例如经由无线通信网络从远程计算机接收视觉特征几何性质(其包括尺寸、形状等)和位置坐标。视觉特征可以是校准标志190、交通标志对象140等。如果处理器110确定接收到和/或存储了视觉特征数据，则过程500进行到判定框520；否则，过程500返回到判定框510。
在判定框520中，处理器110确定是否检测到视觉特征。处理器110可以被编程为基于所接收到的视觉特征几何性质来检测视觉特征，例如，校准标志190。例如，处理器110可以被编程为基于校准标志190的所接收到的尺寸、形状等来检测校准标志190。如果处理器110确定已检测到视觉特征，则过程500进行到框530；否则，过程500返回到判定框520。
在框530中，处理器110存储参考点210的所接收到的位置坐标。例如，处理器110可以被编程为将投影区域270和视觉特征的位置坐标存储在处理器110的存储器中的例如如表2所呈现的表中。另外地，处理器可以被编程为存储视觉特征的几何性质。因此，有利地，如果相机100移动，则处理器110可以被编程为基于视觉特征的所存储的几何性质来检测视觉特征并调整所存储的表，如上所述。
在框530之后，过程500结束，或者可选地返回到判定框510，但图5中未示出。
如本文所讨论的计算装置通常各自包括可由一个或多个计算装置(诸如上文所识别出的那些计算装置)执行并且用于执行上述过程的框或步骤的指令。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来存储和发送此类指令和其他数据。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。此类介质可以采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括动态随机存取存储器(DRAM)，所述动态随机存取存储器典型地构成主存储器。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH、EEPROM、任何其他存储器芯片或盒式磁带或者计算机可以读取的任何其他介质。
关于本文所描述的介质、过程、系统、方法等，应当理解，尽管已经将此类过程等的步骤描述为按照某个有序序列发生，但是此类过程可以通过以不同于本文描述的顺序的顺序执行所描述的步骤来实践。还应当理解，可以同时地执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例的目的而提供，而决不应当被解释为限制所公开的主题。
因此，应当理解，包括以上描述和附图以及以下权利要求的本公开意图是说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。本发明的范围不应当参考以上描述来确定，而应当参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。可以设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。

Claims (20)

1.一种系统，其包括处理器和存储器，所述存储器存储能够由所述处理器执行以执行以下各项的指令：
从固定式相机接收图像；
基于针对所述图像指定的位置坐标，确定所述图像中所识别出的对象的位置坐标；以及
基于所述对象位置坐标，操作车辆。
2.如权利要求1所述的系统，其中所述指令还包括用于基于在所述图像中的多个参考点中的每一个的所存储的位置坐标来确定所述对象位置坐标的指令。
3.如权利要求2所述的系统，其中所述指令还包括用于以下各项的指令：
通过识别所述图像中与所述对象相关联的一个或多个投影点来确定所述对象位置坐标；以及
基于所述存储的位置坐标确定所述对象位置坐标。
4.如权利要求1所述的系统，其中针对所述图像指定的所述位置坐标与所接收到的图像中的视觉特征相关联，所述视觉特征是道路十字路口、建筑物、交通标志和校准标志之一。
5.如权利要求4所述的系统，其中所述指令还包括用于以下各项的指令：
接收所述视觉特征的几何性质和所述视觉特征的位置坐标；
基于所接收到的几何性质检测所接收到的相机图像中的所述视觉特征；以及
通过使所接收到的位置坐标与所述接收到的图像中的所述视觉特征的投影点关联，针对所述图像指定位置坐标。
6.如权利要求4所述的系统，其中所述校准标志是便携式标志，并且所述校准标志还包括GPS传感器和第二处理器，所述第二处理器被编程为基于从所述校准标志的所述GPS传感器接收到的数据来发送所述校准标志的位置坐标。
7.如权利要求1所述的系统，其中所述指令还包括用于以下各项的指令：
在确定所述图像中与参考位置相关联的投影点已经移动时，调整所述参考位置的预定位置坐标；以及
基于所述参考位置的经调整的位置坐标，确定所述对象位置坐标。
8.如权利要求1所述的系统，其中所述指令还包括用于基于相机位置和所述相机的定向来确定针对所述图像指定的所述位置坐标的指令。
9.如权利要求1所述的系统，其中所述指令还包括用于基于所接收到的相机图像来确定所述对象的轨迹和速度中的至少一个的指令。
10.如权利要求1所述的系统，其中指令还包括用于通过基于所检测到的对象的所述位置坐标和所述车辆的轨迹致动车辆制动致动器来操作所述车辆的指令。
11.一种方法，其包括：
从固定式相机接收图像；
基于针对所述图像指定的位置坐标，确定所述图像中所识别出的对象的位置坐标；以及
基于所述对象位置坐标，操作车辆。
12.如权利要求11所述的方法，其还包括基于在所述图像中的多个参考点中的每一个的所存储的位置坐标来确定所述对象位置坐标。
13.如权利要求12所述的方法，其还包括：
通过识别所述图像中与所述对象相关联的一个或多个投影点来确定所述对象位置坐标；以及
基于所述存储的位置坐标确定所述对象位置坐标。
14.如权利要求11所述的方法，其中针对所述图像指定的所述位置坐标与所接收到的图像中的视觉特征相关联，所述视觉特征是道路十字路口、建筑物、交通标志和校准标志之一。
15.如权利要求14所述的方法，其还包括：
接收所述视觉特征的几何性质和所述视觉特征的位置坐标；
基于所接收到的几何性质检测所接收到的相机图像中的所述视觉特征；以及
通过使所接收到的位置坐标与所述接收到的图像中的所述视觉特征的投影点关联，针对所述图像指定位置坐标。
16.如权利要求14所述的方法，其还包括基于从所述校准标志中包括的GPS传感器接收到的数据来发送所述校准标志的位置坐标，其中所述校准标志是便携式标志。
17.如权利要求11所述的方法，其还包括：
在确定所述图像中与参考位置相关联的投影点已经移动时，调整所述参考位置的预定位置坐标；以及
基于所述参考位置的经调整的位置坐标，确定所述对象位置坐标。
18.如权利要求11所述的方法，其还包括基于相机位置和所述相机的定向来确定针对所述图像指定的所述位置坐标。
19.如权利要求11所述的方法，其还包括基于所接收到的相机图像来确定所述对象的轨迹和速度中的至少一个。
20.如权利要求11所述的方法，其还包括通过基于所检测到的对象的所述位置坐标和所述车辆的轨迹致动车辆制动致动器来执行所述车辆操作。
CN201780097055.0A 2017-11-21 2017-11-21 对象位置坐标确定 Pending CN111587435A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/062725 WO2019103721A2 (en) 2017-11-21 2017-11-21 Object location coordinate determination

Publications (1)

Publication Number Publication Date
CN111587435A true CN111587435A (zh) 2020-08-25

Family

ID=66631083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097055.0A Pending CN111587435A (zh) 2017-11-21 2017-11-21 对象位置坐标确定

Country Status (4)

Country Link
US (1) US11544868B2 (zh)
CN (1) CN111587435A (zh)
DE (1) DE112017008156T5 (zh)
WO (1) WO2019103721A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11255975B2 (en) * 2018-06-05 2022-02-22 Pony Ai Inc. Systems and methods for implementing a tracking camera system onboard an autonomous vehicle
US11267464B2 (en) * 2019-07-24 2022-03-08 Pony Ai Inc. System and method to distinguish between moving and static objects
US11941976B2 (en) * 2019-07-25 2024-03-26 Pony Ai Inc. System and method for sharing data collected from the street sensors
SE544405C2 (en) * 2020-09-30 2022-05-10 Scania Cv Ab Method and control arrangement for extrinsic calibration of a camera arranged at a vehicle
US11858507B2 (en) * 2021-01-13 2024-01-02 GM Global Technology Operations LLC Methods for cognitive situation awareness using an attention-based event structure

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511210A1 (de) * 1994-03-25 1995-09-28 Nippon Denso Co Hinderniswarnsystem für ein Fahrzeug
JPH11259658A (ja) * 1998-03-11 1999-09-24 Omron Corp 物体認識方法およびその方法を用いた物体認識装置，車輌認識方法，車輌認識装置
US20090129628A1 (en) * 2004-11-30 2009-05-21 Iee International Electronics & Engineering S.A. Method for determining the position of an object from a digital image
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20100214085A1 (en) * 2009-02-25 2010-08-26 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
US20100321489A1 (en) * 2009-06-23 2010-12-23 Xin Chen Determining Geographic Position Information from a Single Image
US20110040481A1 (en) * 2009-08-12 2011-02-17 Ford Global Technologies, Llc False event suppression for collision avoidance systems
US20110122257A1 (en) * 2009-11-25 2011-05-26 Honeywell International Inc. Geolocation of objects in an area of interest
KR20120137025A (ko) * 2011-06-10 2012-12-20 현대모비스 주식회사 차량의 충돌회피 제어방법
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP2000113396A (ja) 1998-09-30 2000-04-21 Nippon Signal Co Ltd:The 交差点における運転支援装置
US6995792B1 (en) 1999-09-30 2006-02-07 Casio Computer Co., Ltd. Camera with positioning capability
US7117090B2 (en) 2003-08-28 2006-10-03 Siemens Aktiengesellschaft Moving vehicle in cuboidal panorama
US20100100324A1 (en) 2008-10-22 2010-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Communication based vehicle-pedestrian collision warning system
US20140070934A1 (en) 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
KR101354049B1 (ko) 2012-10-30 2014-02-05 현대엠엔소프트 주식회사 무단횡단 보행자 정보 알림 시스템 및 그 방법
US9092984B2 (en) * 2013-03-14 2015-07-28 Microsoft Technology Licensing, Llc Enriching driving experience with cloud assistance
EP2821979A1 (en) 2013-07-01 2015-01-07 Nxp B.V. Active beacon for vulnerable road users
US10235884B2 (en) 2014-01-28 2019-03-19 The Curators Of The University Of Missouri Wireless beacon collision warning system
US11301685B2 (en) * 2015-04-02 2022-04-12 Sportsmedia Technology Corporation Automatic determination and monitoring of vehicles on a racetrack with corresponding imagery data for broadcast
US11125566B2 (en) 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
KR101881558B1 (ko) 2015-10-22 2018-07-24 성균관대학교산학협력단 노변기를 이용한 차량과 보행자 간의 충돌을 경고하는 방법
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US10955857B2 (en) * 2018-10-02 2021-03-23 Ford Global Technologies, Llc Stationary camera localization

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19511210A1 (de) * 1994-03-25 1995-09-28 Nippon Denso Co Hinderniswarnsystem für ein Fahrzeug
US5754099A (en) * 1994-03-25 1998-05-19 Nippondenso Co., Ltd. Obstacle warning system for a vehicle
JPH11259658A (ja) * 1998-03-11 1999-09-24 Omron Corp 物体認識方法およびその方法を用いた物体認識装置，車輌認識方法，車輌認識装置
US20090129628A1 (en) * 2004-11-30 2009-05-21 Iee International Electronics & Engineering S.A. Method for determining the position of an object from a digital image
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
US20100214085A1 (en) * 2009-02-25 2010-08-26 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
US20100321489A1 (en) * 2009-06-23 2010-12-23 Xin Chen Determining Geographic Position Information from a Single Image
US20110040481A1 (en) * 2009-08-12 2011-02-17 Ford Global Technologies, Llc False event suppression for collision avoidance systems
US20130120158A1 (en) * 2009-08-12 2013-05-16 Ford Global Technologies, Llc False Event Suppression for Collision Avoidance Systems
US20110122257A1 (en) * 2009-11-25 2011-05-26 Honeywell International Inc. Geolocation of objects in an area of interest
KR20120137025A (ko) * 2011-06-10 2012-12-20 현대모비스 주식회사 차량의 충돌회피 제어방법
CN103072537A (zh) * 2013-02-05 2013-05-01 湖南大学 基于红外图像处理的汽车防撞安全保护装置及保护方法
JP2016099941A (ja) * 2014-11-26 2016-05-30 日本放送協会 オブジェクト位置推定システム、及びそのプログラム
CN106651953A (zh) * 2016-12-30 2017-05-10 山东大学 一种基于交通指示牌的车辆位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUAN XU, ANQI ZHENG, XIAOTAO LI , JIAN SU: "A method to calibrate a camera using perpendicularity of 2D lines in the target observations", SCIENTIFIC REPORTS, vol. 6, 7 October 2016 (2016-10-07), pages 1 - 15 *
侯文佐;王大鸣;杨阳;: "基于LED光源的室内高精度成像定位新方法", 激光与光电子学进展, no. 06, 10 June 2016 (2016-06-10), pages 132 - 139 *

Also Published As

Publication number Publication date
US20200342620A1 (en) 2020-10-29
DE112017008156T5 (de) 2020-07-16
WO2019103721A2 (en) 2019-05-31
WO2019103721A3 (en) 2020-07-16
US11544868B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US11940539B2 (en) Camera-to-LiDAR calibration and validation
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN111587435A (zh) 对象位置坐标确定
JP2023153943A (ja) 検出された障壁に基づく車両のナビゲーション
EP2526508B1 (en) Traffic signal mapping and detection
US10325163B2 (en) Vehicle vision
US11835948B2 (en) Systems and methods for improving vehicle operations using movable sensors
US11295477B1 (en) Deep learning-based camera calibration
US11562572B2 (en) Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
JP2014203235A (ja) 運転制御装置
US20230334701A1 (en) Systems and methods for camera alignment using pre-distorted targets
GB2601024A (en) Identifying background features using LIDAR
CN111458723A (zh) 对象检测
US11551456B2 (en) Enhanced infrastructure
EP3903068B1 (en) Learned intersection map from long term sensor data
US20230403471A1 (en) Multiple position rolling shutter imaging device
US20240070915A1 (en) Maintaining intrinsic calibration of cameras with in-body image stabilization systems
US20230401745A1 (en) Systems and Methods for Autonomous Vehicle Sensor Calibration and Validation
US20230399015A1 (en) Systems and Methods for Autonomous Vehicle Sensor Calibration and Validation
US20240125617A1 (en) Aggregation of Data Representing Geographical Areas
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
CN117611666A (zh) 利用校准的传感器进行对象位置估计
WO2024081246A1 (en) Aggregation of data representing geographical areas
WO2024081330A1 (en) Rolling shutter compensation
CN113936058A (zh) 基于车辆的数据获取

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination