CN117710932A - 使用反射表面的对象检测 - Google Patents

Abstract

本公开提供了“使用反射表面的对象检测”。通过检测包括在包括在多个图像中的一个或多个图像中的反射表面来跟踪包括在反射表面中的对象，所述检测是通过确定所述反射表面在像素坐标中的位置并跟踪所述反射表面在所述多个图像中的位置来进行。所述对象的真实世界位置可以基于所述反射表面的属性来确定，所述属性包括几何类别、使到达反射表面与环境相关的外在性质、描述所述反射表面而不涉及所述环境的固有性质以及所述传感器的校准性质。

Description

使用反射表面的对象检测

技术领域

本公开涉及使用反射表面来检测对象的方法。

背景技术

图像可以由传感器获取并使用计算机进行处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个图像传感器获取图像，所述图像可以被处理以确定关于对象的数据。计算机可以使用从对象的图像中提取的数据来操作系统，包括车辆、机器人、安全系统和/或对象跟踪系统。

发明内容

如本文所述，车辆系统可以定位交通中的对象并确定避免与对象接触的车辆路径。所述系统可以辅助跟踪交通场景中的对象，包括确定对象轨迹。轨迹是包括速度(例如，速度和航向)的一组位置值。车辆中的计算机可以基于对象轨迹来确定用于操作车辆的避免与对象接触的车辆轨迹。本文将车辆系统描述为示例；然而，用于定位对象、确定轨迹和预测接触概率的技术可以应用于其他系统，包括空中无人机、水下无人机和水面无人机。还可以确定静止机器人的可移动部分的轨迹并将其与机器人周围的环境中的对象的轨迹进行比较，以避免对象与机器人的可移动部分之间的接触。

本文描述的技术通过确定包括在由包括在诸如车辆的系统中的传感器观察的反射表面中的对象的真实世界3D位置来增强对对象的真实世界位置的确定。传感器可以包括例如视频传感器、激光雷达传感器或雷达传感器，并且反射表面可以包括镜子、窗户、水坑或诸如车身面板的金属表面。通过确定在反射表面中观察到的对象的轨迹，可以针对在包括在车辆中的传感器的正常视野之外的对象预测车辆与对象之间的接触概率。通过确定在车辆传感器的正常视野之外的对象的接触概率，车辆可以具有更多的时间来校正车辆的轨迹以避免可能的接触。

可以基于反射表面的属性来确定包括在反射表面中的对象的真实世界位置，所述属性包括几何类别，所述几何类别是反射表面的使反射表面与环境相关的外在性质、描述反射表面而不涉及环境的固有性质以及所述传感器的校准性质。可以基于确定对象的多个真实世界位置并确定包括对象的预测位置、速度和方向的预测轨迹来确定对象的轨迹。可以基于来自包括在车辆中的传感器的数据来确定车辆的预测轨迹并且将对象轨迹与车辆轨迹进行比较以确定接触概率。

本文公开了一种方法，所述方法包括：从传感器获取多个图像；以及通过确定反射表面在像素坐标中的位置来检测包括在图像中的反射表面。包括在反射表面中的对象的多个真实世界对象位置可以基于反射表面的属性来确定，所述属性包括几何类别、使反射表面与环境相关的外在性质、描述反射表面而不涉及环境的固有性质以及所述传感器的校准性质。可以基于跟踪对象的多个真实世界位置来确定对象轨迹。可以基于多个真实世界位置、对象轨迹、传感器的位置和传感器的轨迹来确定对象与传感器之间的接触概率。对象与传感器之间的接触概率可以包括基于对象与传感器之间靠得最近的概率。传感器与对象之间的接触概率可以通过基于传感器的真实世界位置、速度和方向的传感器轨迹并且基于对象的真实世界位置、速度和方向来确定对象的轨迹而确定。

传感器可以包括在车辆中，并且对象与传感器之间的接触概率包括对象与车辆之间的接触概率。可以基于对象与车辆之间的接触概率来操作车辆。几何类别可以包括平面的、凸的、凹的和不规则的中的一者或多者，外在性质包括反射表面的位置、大小和取向，并且固有性质包括光学失真模型。传感器的校准性质可以包括传感器位置、传感器取向、传感器焦距和传感器比例。反射表面可以是镜子、水坑的表面、窗户和金属表面中的一者或多者。可以检测反射表面的多个位置，并且通过将多个图像输入到神经网络中来确定反射表面的几何类别、外在性质和固有性质。可以基于来自神经网络的输出和传感器的校准性质来确定反射表面的真实世界位置。可以通过将反射表面的真实世界位置输入到卡尔曼滤波器中来跟踪反射表面的真实世界位置。可以确定包括在反射表面中的感兴趣的区域，所述反射表面包括在包括对象的多个图像中。

还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种计算机，所述计算机被编程用于执行上述方法步骤中的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为从传感器获取多个图像并且通过确定反射表面在像素坐标中的位置来检测包括在图像中的反射表面。包括在反射表面中的对象的多个真实世界对象位置可以基于反射表面的属性来确定，所述属性包括几何类别、使反射表面与环境相关的外在性质、描述反射表面而不涉及环境的固有性质以及所述传感器的校准性质。可以基于跟踪对象的多个真实世界位置来确定对象轨迹。可以基于多个真实世界位置、对象轨迹、传感器的位置和传感器的轨迹来确定对象与传感器之间的接触概率。对象与传感器之间的接触概率可以包括基于对象与传感器之间靠得最近的概率。传感器与对象之间的接触概率可以通过基于传感器的真实世界位置、速度和方向的传感器轨迹并且基于对象的真实世界位置、速度和方向来确定对象的轨迹而确定。

所述指令可以包括用于在车辆中包括传感器的进一步指令，其中对象与传感器之间的接触概率包括对象与车辆之间的接触概率。可以基于对象与车辆之间的接触概率来操作车辆。几何类别可以包括平面的、凸的、凹的和不规则的中的一者或多者，外在性质包括反射表面的位置、大小和取向，并且固有性质包括光学失真模型。传感器的校准性质可以包括传感器位置、传感器取向、传感器焦距和传感器比例。反射表面可以是镜子、水坑的表面、窗户和金属表面中的一者或多者。可以检测反射表面的多个位置，并且通过将多个图像输入到神经网络中来确定反射表面的几何类别、外在性质和固有性质。可以基于来自神经网络的输出和传感器的校准性质来确定反射表面的真实世界位置。可以通过将反射表面的真实世界位置输入到卡尔曼滤波器中来跟踪反射表面的真实世界位置。可以确定包括在反射表面中的感兴趣的区域，所述反射表面包括在包括对象的多个图像中。

附图说明

图1是示例性交通基础设施系统的框图。

图2是交通场景的示例性图像的图示。

图3是示例性感兴趣的反射表面区域的图示。

图4是示例性交通场景的图示。

图5是包括对象轨迹的示例性交通场景的图示。

图6是确定对象轨迹的示例性过程的流程图。

图7是基于对象轨迹操作车辆的示例性过程的流程图。

具体实施方式

图1是可以包括交通基础设施节点105的交通基础设施系统100的框图，所述交通基础设施节点包括服务器计算机120和静止传感器122。系统100包括车辆110，所述车辆可在自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式下操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。

计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(即，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。

计算装置115可以包括多于一个计算装置(即，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(即，动力传动系统控制器112、制动控制器113、转向控制器114等))，或即经由如下面进一步描述的车辆通信总线通信地联接到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(即，包括车辆110中的总线，诸如控制器局域网络(CAN)等)通信；车辆110网络可另外或替代地包括诸如已知的有线或无线通信机制，即，以太网或其他通信协议。

计算装置115可经由车辆网络向车辆中的各种装置(即，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来在本公开中表示为计算装置115的装置之间通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。

另外，计算装置115可被配置用于通过车辆对基础设施(V2X)接口111经由网络130与远程服务器计算机120(即，云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件允许计算装置115经由诸如无线互联网或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2X接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、/>蓝牙低功耗(BLE)、超宽带(UWB)、对等通信、基于UWB的雷达、IEEE 802.11和/或其他有线和/或无线分组网络或技术)的处理器、存储器、收发器等。计算装置115可以被配置用于使用车辆对车辆(V2V)网络(即，根据包括蜂窝车辆对外界通信(C-V2X)、专用短程通信(DSRC)等，即在邻近车辆110之间在自组织网的基础上形成或通过基于基础设施的网络形成)来通过V2X(车辆对外界)接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便供以后检索并经由车辆通信网络和车辆对基础设施(V2X)接口111传输到服务器计算机120或用户移动装置160。

如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(即，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(即，来自传感器116的传感器数据、服务器计算机120等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过十字路口的十字路口(无信号灯)最短时间。

如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。计算装置115可以是或包括控制器，并且可以体现为ECU。

用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一者可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。

传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。

车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(即，客车、轻型货车等)。车辆110包括一个或多个传感器116、V2X接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。作为举例而非限制，传感器116可以包括例如测高仪、相机、LIDAR、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用于感测车辆110的操作环境，即，传感器116可检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(即，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。

车辆可以被配备为以自主、半自主或手动模式操作。半自主模式或完全自主模式意指车辆可以由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。出于本公开的目的，自主模式被定义为车辆推进(即，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或多者。在非自主模式下，这些都不由计算机控制。在半自主模式下，这些中的一些但并非全部由计算机控制。

交通基础设施节点105可以包括物理结构，诸如塔或其他支撑结构(即，杆子、可安装到桥梁支撑件的盒子、蜂窝电话塔、道路标志支撑件等)，基础设施传感器122以及服务器计算机120可安装、存储和/或容纳在所述物理结构上并且得以供电等。为了便于说明，在图1中示出一个交通基础设施节点105，但是系统100可以并且很可能将包括数十、数百或数千个交通基础设施节点105。交通基础设施节点105通常是静止的，即，固定到特定地理位置并且无法从所述位置移动。基础设施传感器122可以包括一个或多个传感器，诸如上文针对车辆110传感器116所描述的，即，激光雷达、雷达、相机、超声传感器等。基础设施传感器122是固定的或静止的。也就是说，每个传感器122安装到基础设施节点以便具有基本不移动且不改变的视野。

服务器计算机120通常具有与车辆110的V2X接口111和计算装置115共同的特征，并且因此将不进一步描述以避免冗余。尽管为了便于说明而未示出，但是交通基础设施节点105还包括电源，诸如电池、太阳能电池和/或与电网的连接。交通基础设施节点105的服务器计算机120和/或车辆110的计算装置115可接收传感器116、122的数据以监测一个或多个对象。在本公开的上下文中，“对象”是可以被车辆传感器116和/或基础设施传感器122检测到的物理(即，材料)结构或事物。

图2是交通场景的图像200的图示。当车辆110在道路204上操作时，可以通过所述车辆中所包括的传感器116来获取图像200。如上面关于图1所讨论的，车辆110可以包括获取关于车辆110周围的环境的数据的各种传感器，所述传感器包括摄像机、激光雷达、雷达、超声传感器等。车辆110中的计算装置115可以接收由传感器116获取的数据作为输入，并且处理所述数据以确定道路204和道路204上或附近的对象的位置。车辆110中的计算装置115可以使用软件程序(诸如深度神经网络)来跟踪车辆110周围的环境中的对象。在其他示例中，交通场景的图像200可以由服务器计算机120从包括在交通基础设施节点105中的传感器122获取。图像200可以被传送到车辆110中的计算装置115以进行处理以确定道路204和道路204上或附近的对象的位置，或者图像可以由服务器计算机120处理，并且处理的结果被传送到包括在车辆110中的计算装置115。

跟踪对象可以包括确定例如传感器数据(诸如多个图像)中的对象的真实世界位置，以及确定对象的轨迹。计算装置115可以确定车辆110的提议轨迹，并且将提议的车辆轨迹与对象轨迹进行比较以确定车辆与对象之间的接触概率。基于接触概率，计算装置115可以通过改变车辆110的提议速度和方向(包括使车辆110停止)来修正提议的车辆轨迹。当计算装置115已经确定与对象接触的概率足够低的车辆轨迹时，计算装置115可以控制车辆动力传动系统、车辆转向和车辆制动以在所确定的车辆轨迹上操作车辆。在大多数示例中，在计算装置115将在被跟踪对象附近操作车辆110之前，与对象接触的概率被确定为小于1％。

在图像200中，在道路204上行驶的车辆110可能正在接近十字路口206。通常，在包括在车辆110中的计算装置115上执行的程序仅检测和跟踪在传感器116的视线内可见的对象。传感器的视线是将传感器连接到环境中的点的直线。这适用于摄像机、激光雷达、雷达和超声传感器116。由于这种限制，无法跟踪从传感器116的视线之外的方向208接近十字路口206的对象。

本文讨论的技术通过检测车辆110周围的环境的图像200中的反射表面202并跟踪在反射表面202中可见的对象来增强对象跟踪。图像200用作传感器116数据的示例，然而，激光雷达、雷达和超声数据也可以被车辆周围环境中的适当表面反射。本文讨论的用于检测和跟踪视频图像200中的对象的技术也可以应用于激光雷达、雷达和超声数据。可以通过检测和跟踪反射表面202中的对象来确定真实世界坐标中的对象轨迹。反射表面202可以包括镜子，所述镜子被安装以向车辆110警告拐角周围的可能对象或其中对象可能在正常视线之外接近车辆110的其他交通情况。

反射表面202利用镜面反射来反射照射在表面上的光线。镜面反射是表面的光学性质，其中照射在表面上的光线以类似镜子的方式反射。在镜面反射中，出射反射角与相对于表面法向向量测量的入射的入射角相同。镜子在本文中用作反射表面202的示例，然而，反射表面202还可以包括窗户、水坑或者车辆或建筑物等上的其他反射表面。可以使用包括连续区域的通过镜面反射来反射光线的任何表面以检测和跟踪对象，如本文所述。窗户、水坑和光滑的反射表面(诸如车辆面板或建筑物面板)可以反射可以用于检测和跟踪对象的图像。

用于跟踪对象的水坑的示例可以是卡车挂车下方的反射在挂车后面行走的行人的图像的水坑。从车辆110中的传感器116获取数据的计算装置115可以使用本文描述的技术来检测和跟踪行人的运动并确定将预测行人将从挂车后面离开并且可能与车辆110的规划轨迹相交的轨迹。以类似的方式，当行人对车辆110不直接可见时，对商店窗户中的行人沿着道路的反射可以用于确定行人的轨迹。用于跟踪反射表面中的对象的技术可以通过在对象在包括在车辆110中的传感器116的视野中直接可见之前确定与对象的可能接触来增强车辆的操作。

图3是交通场景的图像300的图示，其中包括来自图2的反射表面202的感兴趣的区域302已经由在车辆110中的计算装置115上执行的图像处理软件确定。计算装置115可以将感兴趣的区域302之外的像素值设置为零以降低计算要求并避免与非反射图像数据混淆。可以训练深度神经网络以基于确定局部区域与其周围环境之间的对比度来确定包括图像200中的反射表面202的感兴趣的区域302。镜子的边缘将表现出通过将图像的像素与3×3像素邻域进行卷积以确定局部对比度并将局部对比度与基于多个分辨率的图像的周围区域确定的更一般非的局部对比度进行比较来确定的高度局部对比度。用于基于局部对比度定位图像中的反射表面的技术的描述可以在“我的镜子在哪里”，XinYang等人，ICCV，2019中找到。

可以训练神经网络以检测反射表面并区分不同类型的反射表面。例如，不同类型的反射表面包括镜子、水坑、窗户和包括车辆部分的反射金属表面。可以通过将图像数据输入到如上所讨论的神经网络并构建感兴趣的区域以包括检测到的反射表面来检测反射表面。可以基于从神经网络输出的位置和获取图像数据的传感器的外在和固有性质来确定反射表面的真实世界位置。例如，传感器的外在性质可以包括传感器相对于诸如道路的地平面的x、y和z位置以及传感器相对于x、y和z坐标的侧倾、俯仰和横摆取向。使用投影几何、传感器的外在性质和固有性质(诸如焦距和比例)，可以基于图像中的像素位置来确定反射表面的真实世界位置。

可以在以一系列时间步长获取的多个图像中检测反射表面，并且可以通过将从神经网络输出的位置输入到卡尔曼滤波器来跟踪由检测到的反射表面指示的感兴趣的区域的位置。卡尔曼滤波器可以通过将位置拟合到滤除位置测量中的噪声的曲线来提供对时间序列事件的位置的更准确的估计。以这种方式，通过将传感器的外在性质和固有性质应用于在真实世界位置中引入误差的像素位置的误差而引入到反射表面的位置中的误差可以通过卡尔曼滤波来滤除。

一旦确定了由反射表面指示的感兴趣的区域的位置，就可以确定反射表面的外在性质和固有性质。反射表面的外在性质描述了反射表面与环境和/或其他对象的一种或多种关系，并且可以包括相对于获取图像的车辆110在三维(3D)中的位置、大小和取向。反射表面在3D中的位置和取向可以包括距车辆110的距离、在道路上方的高度以及反射表面相对于车辆110的取向。

可以基于获取数据的传感器的校准性质来几何地确定反射表面的3D位置和取向。校准性质包括传感器的固有性质和外在性质。图像传感器的固有性质可以包括焦距，例如，来自图像传感器平面的光学器件或透镜的焦点中心与图像传感器的比例或大小之间的距离。外在性质包括图像传感器在诸如道路的支撑平面上方的高度和传感器的取向，例如图像传感器相对于车辆110的侧倾、俯仰和横摆。侧倾、俯仰和横摆是围绕相对于车辆坐标或诸如纬度、经度和海拔的全局坐标确定的x、y和z坐标轴测量的旋转。

替代地，也可以使用用于估计深度的神经网络，诸如MonoFlex或Kinematic 3D。Monoflex是用于检测单目视频图像中的3D对象的深度神经网络，并且可以在本申请的提交日起在github.com/zhangyp15/MonoFlex处找到。Kinematic 3D在“Kinematic3D ObjectDetection in Monoclular Video”，Brazil,G.,Pons-Moll,G.,Liu,X.,Schiele,B.,ECCV2020，计算机科学讲义，第12368卷，Springer,2020中进行了描述。这些神经网络可以确定一系列图像中的感兴趣的区域中的反射表面的距离、高度和取向。

反射表面的固有性质包括确定反射表面的几何类别，即几何描述或分类。反射表面的几何类别可以包括平面的、凹的、凸的或不规则的。不规则的几何类别包括可以具有比平面的、凹的或凸的更复杂的表面几何形状的反射表面，诸如车窗或车身面板。反射表面的几何类别可以通过上面关于反射表面的外在性质描述的经训练的神经网络来确定。一旦确定了反射表面的几何类别，就可以确定反射表面的光学失真参数。

光学失真模型包括描述反射表面的表面上的点的取向的参数。反射表面的表面取向确定光线将如何从表面反射。例如，反射表面可以被划分为多个连续区域，并且所述区域的取向是相对于反射表面的规范视图来说，例如从垂直于反射表面并以反射表面为中心的线笔直向下看。将反射表面的外在性质与反射表面的内在性质相结合允许诸如已知的计算机程序将来自传感器的射线投射到反射表面、从反射表面反射并将射线跟踪到空间中。可以基于针对反射表面的几何类别确定的查找表来确定光学失真参数。可以通过基于反射表面的几何类别设置计算机辅助设计(CAD)文件并分析CAD文件以确定由反射表面的表面上的连续区域的中心指示的多个点处的表面取向来确定查找表。所采样的点的密度可以确定对反射表面进行建模所用的分辨率。

基于反射表面的光学失真参数的射线跟踪可以与应用于包括反射表面的感兴趣的区域的对象检测相结合，以确定反射表面中可见的对象的位置。可以训练神经网络以检测由反射表面指示的感兴趣的区域中的对象。可以基于反射表面的几何类别、反射表面的外在参数、反射表面的固有参数和车辆动态来在真实世界坐标中确定在反射表面中检测到的对象的位置。最初在相对于感兴趣的区域的像素坐标中确定对象的位置。由于感兴趣的区域的像素坐标是相对于完整图像确定的，并且因为反射表面的外在参数(例如，相对于车辆传感器的距离、位置和取向)已经确定，因此反射表面的内在参数允许从车辆传感器到空间中原本对车辆传感器不可见的点执行光线跟踪。由于光线跟踪基于反射表面的光学失真性质是确定性的，并且假设在反射表面中检测到的对象与车辆在同一地平面或道路上，因此可以通过简单的投影几何形状来确定到对象的位置和距离。

由于车辆110的运动可以由包括在车辆110中的传感器116确定并传送到包括在车辆110中的计算装置115，因此可以相对于车辆110跟踪对象的运动。软件程序(诸如轨道成形器(2021年1月7日，“轨道成形器：用变换器进行多对象跟踪”，Meinardt,T.,Kirillov,A,Leal-Taixe,L.和Feichtenhofer,C.,arxiv.org/abs/2101.02702)或中心跟踪(2020年4月2日，“跟踪作为点的对象”，Zhou,X.,Koltun,V.,Krahenbuhl,P.,arxiv.org/abs/2004.01177))可以用于基于确定对象位置而相对于车辆跟踪对象的运动。

图4是交通场景400的图示，其示出了用于跟踪来自车辆110的对象410的技术。车辆110沿着轨迹404在道路402上行驶。轨迹是车辆110的多个预测位置，所述多个预测位置包括速度和取向(航向)。交通场景400中包括对象410，在该示例中，是具有骑行者和反射表面412的自行车。由于中间对象(在该示例中为建筑物408)，对象410对车辆110不直接可见。使用上面关于图3讨论的技术，车辆110中的计算装置115可以使用包括反射表面412的传感器116(在该示例中为摄像机)来获取图像。可以如上所述处理由传感器116获取的图像以确定反射表面412的外在性质和固有性质、包括反射表面412的感兴趣的区域以及包括在感兴趣的区域中的对象410的图像。可以使用反射表面412的外在性质和固有性质、传感器116的外在性质和固有性质以及对象410相对于图像的位置来处理对象410的图像以确定对象410的真实世界位置，尽管对于传感器116是不直接可见的。

图5是交通场景500的图示，其中包括在车辆110中的计算装置115已经从传感器116(在该示例中为摄像机)获取了多个图像。计算装置115已经使用关于图2和图3讨论的技术来确定对象410的多个位置，并且已经跟踪对象410以确定对象410的轨迹502，所述轨迹包括对象410的位置、速度和方向，如上面关于图3所讨论的。可以使用基于多个确定的位置来确定轨迹502的任何合适的技术。例如，用于基于多个确定的位置来确定轨迹502的技术可以包括将多项式函数拟合到确定的位置。多项式函数可以通过最小二乘技术拟合到所确定的位置，其中例如所确定的位置与多项式函数之间的欧几里德距离的平方和被最小化。假设记录了确定对象位置的时间，则连续位置之间的距离与速度成比例，并且多项式函数的切线指示方向。通过绘制车辆轨迹404和对象轨迹502，计算装置115可以确定车辆110和对象410是否被预测为同时占据同一点504，这意味着车辆110与对象410之间存在接触的可能性。

使用使用包括在车辆110中的传感器116(诸如GPS和IMU)确定的车辆110的当前位置、车辆110的预测轨迹、对象410的当前位置和如上面所讨论的基于跟踪对象410确定的对象410的轨迹，计算装置115可以确定车辆110和对象410将发生接触的概率。例如，如果车辆110的轨迹404和对象410的轨迹502指示它们将同时占据同一点504，则接触概率将为1。在未检测到对象410的示例中，接触概率将为0。在预测车辆110和对象410彼此经过而不接触的示例中，可以基于车辆110与对象410之间的最近距离来将接触概率设置为0与1之间的数字。

可以通过基于测量反射表面412中的对象410和车辆110的多个位置执行实验来以经验确定对象410和车辆110的位置的测量中包括的误差的概率分布，如本文所述。还可以基于确定计算中涉及的步骤中的误差来分析地估计误差的概率分布。这些误差包括传感器的固有性质和反射表面412的失真参数的误差，以及计算装置115的处理误差等。可以将对象410和车辆110的所确定的位置与真实世界测量的位置进行比较以确定误差的概率分布。测量的误差概率分布可以应用于最接近时的预测距离以预测接触概率。

计算装置115可以使用该数据来基于接触概率来确定车辆110的新轨迹404，所述新轨迹避免车辆110与对象410之间的接触。例如，大于0.9的概率可能导致计算装置115使车辆110停止，例如，以允许对象410经过车辆110而不发生接触。例如，在0.9与0.5之间的概率可能导致计算装置115使车辆110在轨迹404上减速以避免与对象410接近比一个车辆长度还近。小于0.5的概率可能导致轨迹404没有变化，因为车辆110未被预测为与对象410接近比一个车辆长度还近地通过。

图6是关于图1和图5描述的用于基于反射表面跟踪对象410的过程600的流程图。过程600可以由计算装置115的处理器实施：将从传感器116获取的图像作为输入、执行命令以及输出对象轨迹502。在过程600的一些示例中，图像可以替代地或另外由包括在交通基础设施节点105中的传感器122获取并且由服务器计算机120传送到计算装置115。过程600包括可以按所示次序执行的多个框。替代地或另外，过程600可以包括更少的框，或者可以包括以不同次序执行的框。

过程600开始于框602，其中由包括在车辆110中的传感器116获取多个图像。传感器116可以是例如图像或视频传感器、激光雷达传感器、雷达传感器或超声传感器。

在框604处，计算装置115使用如上面关于图3所讨论的局部对比度来检测在框602处获取的图像数据中的反射表面412，包括确定图像数据中的反射表面的像素位置。过程600还可以确定反射表面412的几何类别，如上面关于图3所讨论的，其中几何类别可以包括平面的、凸的、凹的或不规则的。感兴趣的区域和反射表面几何类别传递到框608。

在框606处，过程600接收包括在框604处确定的感兴趣的区域和反射表面几何类别中的图像数据作为输入，并且使用反射表面412的像素位置和包括如上面关于图3讨论的关于传感器116的固有数据和外在数据的校准数据来确定反射表面412相对于车辆110的3D位置和取向。感兴趣的区域之外的像素可以被设置为0以消除冲突的图像数据并降低计算要求。过程600根据如上面关于图3所讨论的反射表面202的输入的几何类别以及3D位置和取向来确定光学失真参数。

在框608处，过程600输入在框604和606处确定的反射表面412的3D位置、大小和取向、光学失真参数、感兴趣的区域和几何类别以及包括如上面讨论的关于传感器116的固有数据和外在数据的校准数据，并且确定对象410的真实世界3D位置。过程600可以在包括在感兴趣的区域中的图像数据中定位对象410，并且基于反射表面412的3D位置、大小和取向、反射表面412的光学失真参数以及如上面关于图3所讨论的传感器116的固有性质和外在性质来定位真实世界坐标中的对象410。

在框610处，过程600接收在框608处确定的对象410的多个真实世界位置和由计算装置115从车辆传感器116确定的车辆110的车辆动态。车辆动态包括由车辆传感器116确定的车辆110的当前真实世界位置，包括GPS和IMU数据以及车辆110的预测轨迹404。过程600预测对象410的轨迹502并预测如上面关于图5所讨论的车辆110与对象410之间的接触概率。

在框612处，过程600将接触概率输出到计算装置115。在框612之后，过程600结束。

图7是关于图1至图6描述的用于基于车辆110与对象410之间的接触概率来操作车辆110的过程700的流程图，所述接触概率是基于从反射表面412获得的数据。过程700可以由计算装置115的处理器来实施：将包括反射表面412的图像数据作为输入，执行命令，并且操作车辆110。过程700包括可按所示次序执行的多个框。替代地或另外，过程700可以包括更少的框，或者可以包括以不同次序执行的框。

在框702处，计算装置115从车辆110中包括的传感器116获取多个图像。过程700可以被实施为基于从传感器116(包括图像和视频传感器、激光雷达传感器、雷达传感器和超声传感器)获取的图像数据来操作系统，所述系统包括机器人和车辆110，包括空中无人机、水下无人机和水面无人机。

在框704处，过程700基于包括在反射表面412中的对象数据来跟踪对象410的真实世界位置，并且确定如上面关于图3至图6所讨论的对象410的轨迹502。

在框706处，过程700基于如上面关于图5和图6所讨论的车辆110的预测轨迹404和对象410的轨迹502来确定车辆110与对象410之间的接触概率。

在框708处，过程700基于车辆110与对象410之间的接触概率来操作车辆110。操作车辆110可以包括计算装置115向控制器112、113、114传输命令以控制车辆110动力传动系统、转向和制动中的一者或多者来更改车辆轨迹404。更改车辆轨迹404可以包括使车辆110停止、使车辆110减速或改变车辆110的方向以使车辆110避免与对象410接触或接近与所述对象接触。在框708之后，过程700结束。

诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文讨论的过程框可体现为计算机可执行命令。

计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：Java^TM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。通常，处理器(即，微处理器)接收即来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行包括本文所描述的过程中的一者或多者的一个或多个过程。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。

计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(即，由计算机的处理器)读取的数据(即，指令)的任何非暂时性(即，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、电线、无线通信，包括构成联接到计算机的处理器的系统总线的内部件。共同形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。

除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

术语“示例性”在本文中以表示示例的意义使用，即，“示例性小部件”的候选者应被解读为仅指代小部件的示例。

修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何形状、距离、测量值、值、确定、计算等有偏差。

在附图中，相同的附图标记指示相同的要素。另外，可改变这些要素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

根据本发明，提供了一种系统，所述系统具有：计算机，所述计算机包括处理器和存储器，所述存储器包括指令，所述指令可由处理器执行以：从传感器获取多个图像；通过确定反射表面在像素坐标中的位置来检测包括在图像中的反射表面；以及基于反射表面的属性来确定包括在反射表面中的对象的多个真实世界对象位置，所述属性包括几何类别、使反射表面与环境相关的外在性质、描述反射表面而不涉及环境的固有性质以及所述传感器的校准性质。

根据实施例，所述指令包括用于进行以下操作的进一步指令：基于跟踪对象的多个真实世界位置来确定对象轨迹。

根据实施例，所述指令包括用于进行以下操作的进一步指令：基于多个真实世界位置、对象轨迹、传感器的位置和传感器的轨迹来确定对象与传感器之间的接触概率。

根据实施例，对象与传感器之间的接触概率包括基于对象与传感器之间靠得最近的概率。

根据实施例，传感器与对象之间的接触概率通过基于传感器的真实世界位置、速度和方向的传感器轨迹并且基于对象的真实世界位置、速度和方向来确定对象的轨迹而确定。

根据实施例，传感器包括在车辆中，并且对象与传感器之间的接触概率包括对象与车辆之间的接触概率。

根据实施例，所述指令包括用于进行以下操作的进一步指令：基于对象与车辆之间的接触概率来操作车辆。

根据实施例，几何类别包括平面的、凸的、凹的和不规则的中的一者或多者，外在性质包括反射表面的位置、大小和取向，并且固有性质包括光学失真模型。

根据实施例，传感器的校准性质包括传感器位置、传感器取向、传感器焦距和传感器比例。

根据实施例，反射表面是镜子、水坑的表面、窗户和金属表面中的一者或多者。

根据实施例，检测反射表面的多个位置，并且通过将多个图像输入到神经网络中来确定反射表面的几何类别、外在性质和固有性质。

根据实施例，基于来自神经网络的输出和传感器的校准性质来确定反射表面的真实世界位置。

根据实施例，通过将反射表面的真实世界位置输入到卡尔曼滤波器中来跟踪反射表面的真实世界位置。

根据实施例，所述指令包括用于进行以下操作的进一步指令：确定包括在反射表面中的感兴趣的区域，所述反射表面包括在包括对象的多个图像中。

根据本发明，一种方法包括：从传感器获取多个图像；通过确定反射表面在像素坐标中的位置来检测包括在图像中的反射表面；以及基于反射表面的属性来确定包括在反射表面中的对象的多个真实世界位置，所述属性包括几何类别、使反射表面与环境相关的外在性质、描述反射表面而不涉及环境的固有性质以及所述传感器的校准性质。

在本发明的一个方面，所述方法包括基于对象的多个真实世界位置来确定对象轨迹。

在本发明的一个方面，所述方法包括：基于对象的多个真实世界位置、对象轨迹、传感器的位置和传感器的预测轨迹来确定对象与传感器之间的接触概率。

在本发明的一个方面，对象与传感器之间的接触概率包括基于对象与传感器之间靠得最近的概率。

在本发明的一个方面，传感器与对象之间的接触概率可以通过基于传感器的真实世界位置、速度和方向的传感器轨迹并且基于对象的真实世界位置、速度和方向来确定对象的轨迹而确定。

在本发明的一个方面，传感器包括在车辆中，并且对象与传感器之间的接触概率包括对象与车辆之间的接触概率。

Claims (15)

1.一种方法，其包括：

从传感器获取多个图像；

通过确定所述图像中包括的反射表面在像素坐标中的位置来检测所述反射表面；以及

基于所述反射表面的属性来确定包括在所述反射表面中的对象的多个真实世界对象位置，所述属性包括几何类别、使所述反射表面与环境相关的外在性质、描述所述反射表面而不涉及所述环境的固有性质以及所述传感器的校准性质。

2.如权利要求1所述的方法，其还包括基于跟踪所述对象的所述多个真实世界位置来确定对象轨迹。

3.如权利要求2所述的方法，其还包括基于所述多个真实世界位置、所述对象轨迹、所述传感器的位置和所述传感器的轨迹来确定所述对象与所述传感器之间的接触概率。

4.如权利要求3所述的方法，其中所述对象与所述传感器之间的所述接触概率包括基于所述对象与所述传感器之间靠得最近的概率。

5.如权利要求4所述的方法，其中所述传感器与所述对象之间的所述接触概率通过基于所述传感器的所述真实世界位置、所述速度和所述方向的所述传感器的所述轨迹并且基于所述对象的所述真实世界位置、所述速度和所述方向来确定所述对象的所述轨迹而确定。

6.如权利要求4所述的方法，其中所述传感器包括在车辆中，并且所述对象与所述传感器之间的所述接触概率包括所述对象与所述车辆之间的接触概率。

7.如权利要求6所述的方法，其还包括基于所述对象与所述车辆之间的所述接触概率来操作所述车辆。

8.如权利要求1所述的方法，其中所述几何类别包括平面的、凸的、凹的和不规则的中的一者或多者，所述外在性质包括所述反射表面的位置、大小和取向，并且所述固有性质包括光学失真模型。

9.如权利要求1所述的方法，其中所述传感器的所述校准性质包括传感器位置、传感器取向、传感器焦距和传感器比例。

10.如权利要求1所述的方法，其中所述反射表面是镜子、水坑的表面、窗户和金属表面中的一者或多者。

11.如权利要求1所述的方法，其中检测所述反射表面的多个位置，并且通过将所述多个图像输入到神经网络中来确定所述反射表面的所述几何类别、所述外在性质和所述固有性质。

12.如权利要求11所述的方法，其中基于来自所述神经网络的输出和所述传感器的所述校准性质来确定所述反射表面的所述真实世界位置。

13.如权利要求12所述的方法，其中通过将所述反射表面的所述真实世界位置输入到卡尔曼滤波器中来跟踪所述反射表面的所述真实世界位置。

14.如权利要求1所述的方法，其还包括确定包括在所述反射表面中的感兴趣的区域，所述反射表面包括在包括所述对象的所述多个图像中。

15.一种系统，其包括被编程为执行如权利要求1至14中任一项所述的方法的计算机。