CN115103791A - 用于雷达信号的噪声补偿的系统和方法 - Google Patents

Abstract

一种用于飞行器的监控系统，可包括图像传感器和雷达传感器。该系统可基于由图像传感器检测的信息对对应于由雷达传感器接收的回波雷达信号的雷达样本提供噪声补偿。系统可辨别由图像传感器捕集的图像中的一个或多个对象类别以及接着将辨别的对象类别转换成映射上的对应位置。系统可将雷达样本与映射上的位置相关联并且位于该位置处的任何对象类别可被辨别。系统可接着从映射选择对应于被辨别对象类别的噪声模式以及使用选择的噪声模式补偿雷达样本。

Description

用于雷达信号的噪声补偿的系统和方法

背景技术

飞行器在飞行期间可能遇到广泛多样的碰撞风险，比如碎片、其他飞行器、设备、建筑物、鸟、土地、和/或其他对象，其中任一种都可以引起对飞行器的破坏，对由飞行器运载的货物的破坏，和/或对飞行器中的乘客的伤害。因为对象可以从任何方向接近和冲击飞行器，所以可使用飞行器上的传感器检测对飞行器施加碰撞风险的对象以及警告飞行员检测到的碰撞风险。如果飞行器为自驾驶的，则可以由控制器使用指示飞行器周围的对象的传感器数据来避免与检测的对象的碰撞。

可用在飞行器上以检测可能与飞行器碰撞的对象的一种类别的传感器系统为无线电检测和测距(雷达)系统。雷达系统通过发送比如无线电波(或微波)的电磁波以及基于在雷达系统处被接收回来的反射无线电波(有时候称为雷达回波)确定对象(比如飞行器、建筑物或土地)的位置和速度来工作。在远离表面扫描时(例如，在飞行器起飞期间)或在平行于表面扫描时(例如，在飞行器在巡航海拔处飞行期间)雷达系统可有效地辨别对象。然而，在飞行器的雷达系统朝向表面扫描时(例如，在飞行器下降或着陆期间)，雷达系统辨别位于飞行器与表面之间的对象(例如，在海拔低于飞行器处飞行的无人机)的能力由于回波雷达信号中存在的噪声显著降低。雷达回波信号中的噪声由于表面上的地形和/或对象(有时候称为地面簇集物)引起的反射的原因发生。

在一些情境中，雷达回波信号中的由地面簇集物引起的噪声可具有足够大的幅度，使得即使在飞行器与表面之间实际上没有存在对象，但雷达系统错误地确定飞行器与表面之间存在对象。雷达系统对对象的错误检测可被称为主动错误(false positive)以及可以带来与飞行器的飞行路径的不需要的偏离。如果雷达系统在下降或着陆过程期间由于地面簇集物的存在制造了太多主动错误，则雷达系统的有用性在驾驶飞行器时显著降低。

因此，总体上期望允许补偿由地面簇集物引起的噪声和减少由雷达系统确定的主动错误的数量的方案。

附图说明

参考后面的附图可更好地理解本公开。附图的元件不一定相对彼此成比例，相反地将重点放在清楚地图示本公开的原理。

图1示出根据本公开的一些实施方式的具有飞行器监控系统的飞行器的立体图。

图2为示出根据本公开的一些实施方式的飞行器监控系统的多种部件的框图。

图3为示出根据本公开的一些实施方式的感测和避让元件的多种部件的框图。

图4为示意性地示出由根据本公开的一些实施方式的图像传感器捕集的图像的图。

图5为示意性地示出根据本公开的一些实施方式的基于图4的图像的对象类别的映射的图

图6为图示根据本公开的一些实施方式的用于处理传感器数据的方法的流程图。

图7为图示根据本公开的一些实施方式的用于处理来自图像传感器的传感器数据的方法的流程图。

图8为图示根据本公开的一些实施方式的用于处理来自雷达传感器的传感器数据的方法的流程图。

图9为示出根据本公开的一些实施方式的飞行器下降用于着陆的立体图。

具体实施方式

本公开总体上属于比如飞行器的交通工具系统，以及用于补偿由交通工具系统接收的雷达回波中的噪声的方法。雷达回波中的噪声可自发送的雷达信号从表面上的对象和纹理(例如，地面簇集物)反射离开产生。在一些实施方式中，飞行器包括具有用于感测飞行器周围的对象的存在以用于避免碰撞、导航或其他目的的传感器的飞行器监控系统。传感器中的至少一个为雷达系统的可发送和接收雷达信号的部分，以及传感器中的至少其他一个为比如摄像机的可捕集场景的图像的图像传感器，该图像传感器在与雷达信号相同的方向上定向使得关于雷达信号的场被包含在图像传感器的视场内。

飞行器监控系统可处理用于来自图像传感器的捕集的图像的图像数据以辨别捕集的图像中的一个或多个对象类别。依据图像的分辨率和/或系统的处理能力，对象类别的辨别可更整体化(例如，独木舟、水体、草地、建筑物，及其他)或更颗粒化(例如，松树、雨林、混凝土立面建筑物，及其他)。来自图像的辨别的对象类别可接着被转换成二维映射(map)，该二维映射提供用于来自捕集的图像的辨别的对象类别中的每一个的位置(例如，坐标)。

飞行器监控系统可接着使用映射上关于对象类别的信息以提供对由系统接收的回波雷达信号(或雷达样本)的噪声补偿。系统可确定发送的雷达信号被发送的位置以及将发送的雷达信号的位置与映射上的对应定位相关联。系统可接着确定是否有具体类别的对象位于用于发送的雷达信号的映射上的对应定位处。如果有具体类别的对象在映射上的对应定位处，则系统可接着选择对应于该具体对象类别的预定噪声模式以及使用选择的噪声模式补偿回波雷达信号中的噪声，该噪声可以自从该具体对象类别反射离开的发送的雷达信号产生。每个具体对象类别可具有具体噪声模式，该具体噪声模式对应于由发送的雷达信号从具体对象类别反射离开引入回波雷达信号中的噪声。用于具体对象类别的每个噪声模式可以与对于发送的雷达信号的具体入射角度、从具体对象类别离开的反射对应。如果与回波雷达信号相关的入射角度与对于选择的噪声模式的入射角度不匹配，则可以调整选择的噪声模式以顾及入射角度的差异，因为与具体对象类别相关的回波雷达信号中的噪声可基于入射角度变化。在一个实施方式中，在执行对回波雷达信号的补偿之前，可调整选择的噪声模式以顾及发送的雷达信号的入射角度。如果没有具体对象类别位于映射上的对应定位处，则系统可处理信号而不进行噪声补偿。系统可接着将经补偿的雷达信号(或未经补偿的雷达信号)提供至使用雷达信号(和其他传感器测量)以控制飞行器的飞行的飞行器飞行控制系统，飞行器飞行控制系统可以包括感测和避让系统。

图1示出根据本公开的一些实施方式的具有飞行器监控系统5的飞行器10的立体图。飞行器10可以为多种类别，但是在图1的实施方式中，飞行器10被示出为自主垂直起降(VTOL)飞行器10。飞行器10可以被配置用于运载多种类别的有效载荷(例如，乘客、货物，及其他)。此外，飞行器10可以为载人的或无人的，以及可以被配置成在来自多个源的控制之下操作。

在图1的实施方式中，飞行器10被配置为用于自驾驶(例如，自主)飞行。作为示例，飞行器10可以被配置成通过沿循到其目的地的预定路线(或飞行路径)执行自主飞行。飞行器监控系统5被配置成与飞行器10上的飞行控制器(图1中未示出)通信以在飞行期间控制飞行器10。在其他实施方式中，飞行器10可以被配置成在远程控制下——比如通过与远程飞行员无线(例如，无线电)通信——操作。可以使用多种其他类别的技术和系统控制飞行器10的操作。通过2018年11月16日提交的、名称为“Self-Piloted Aircraft forPassenger or Cargo Transportation(用于乘客或货物运送的自驾驶飞行器)”的美国专利申请No.16/302,263描述了示例的自驾驶飞行器，该申请通过参引结合于此。

飞行器10可具有用于监控飞行器10周围的空间的一个或多个雷达传感器20(作为一个或多个雷达系统的部分)以及用于提供相同空间的冗余感测或附加空间的感测的一个或多个传感器30。在一个实施方式中，传感器30可以包括用于检测对象的存在或获得飞行器外部的区域的二维图像的任何光学或非光学传感器。(例如，摄像机、光电(EO)传感器、红外(IR)传感器、雷达传感器、或其他传感器类别)。在其他实施方式中，飞行器10可以根据飞行器10的安全和有效操作的需要使用其他传感器、装置或系统。

每个传感器20、30可以具有视场(或观测场)25，视场25总体上涉及传感器20、30能够经过以感测对象的区域，不管使用的传感器的类别如何。此外，虽然图1中将视场(FOV)25显示为相当程度上的矩形或多边形的并且对于传感器20、30为相同情况，但是在不同实施方式中每个传感器20、30的FOV的形状和/或范围可以变化(请见例如图9)。在替换的实施方式中，安装在飞行器10上不同传感器20、30的性能(例如，视场、观测场、分辨率、缩放、信号强度，及其他)可以变化。例如，在传感器30包括多于一个的图像传感器(例如，摄像机)时，图像30的视场可以基于图像传感器30的性质(例如，镜头、焦距，及其他)而不同。在一些实施方式中，图像传感器30可以在固定的位置以便具有固定的视场，然而，在其他实施方式中，图像传感器30可以可控地移动(例如，安装在万向接头上)以便在不同时间监控不同视场。

传感器20、30可以感测传感器的相应视场或观测场25内的对象15的存在以及提供指示对应场内的任何对象15的位置的传感器数据。例如，如果图像传感器30包括摄像机，则摄像机可捕集场景的图像以及提供定义捕集的场景的数据。传感器数据可以接着由系统5处理以确定是否对象15在飞行器10的特定邻近地区内比如在飞行器10的飞行路径附近，以及将碰撞危险呈送至飞行器10。对象15可以为飞行器10在飞行期间可能遇到的多种类别，例如另一个飞行器(例如，无人机、飞机或直升机)、鸟、碎片、建筑物或土地，或假如飞行器10和对象15要是碰撞可能破坏飞行器10或影响飞行器10的飞行的任何其他多种类别的对象。图1中示出的对象15为具有具体尺寸和形状的单个对象15，但是将理解，对象15可以代表在对应场内任何位置处的一个或若干个对象，以及对象(一个或多个)15可以采取各种形状或尺寸中的任一种以及可以具有多种特征(例如，固定的或活动的，协作的或非协作的)。

尽管为了图示的方便在图1中示出了传感器20、30的每一者中的仅一个，但是可以使用任何数量的传感器20、30和任何数量的传感器类别。使用附加的传感器20、30可以扩展飞行器监控系统5可在其中检测对象的区域。总体上，将理解传感器20、30被布置成提供对飞行器10周围(大致球形)空间的全覆盖。对此，可以将传感器20、30放置在飞行器10的不同部分处(例如，顶部和底部、前部和后部，及其他)，以便各相应飞行器20、30获得关于围绕飞行器10的空间的不同部分的信息。在一个实施方式中，在由相应传感器20、30监控的区域内可以存在很小的重叠或没有重叠，或不留有任何未监控的区域(也就是，没有盲点存在)；然而，在其他实施方式中其他布置可以是有可能的。

飞行器监控系统5可以使用来自传感器20、30的关于任何感测的对象15的信息，比如对象15的位置、速度、和/或可能的分类(例如，对象为鸟、飞行器、碎片、建筑物，及其他)，以及关于飞行器10的信息，比如飞行器的当前操作条件(例如，空气速度、海拔、定向(比如俯仰、翻转、或偏航)、节流设置、可用电池电力、已知系统错误，及其他)、当前操作条件下飞行器的性能(例如，机动性)、天气、领空上的限制，及其他，以生成飞行器在其当前操作条件下能够飞行的一个或多个路径(包括现有路径的修正)。在一些实施方式中，这可以采取飞行器10可以安全地沿循以便避让检测的对象15的可能路径(或路径的范围)的形式。

图2为图示出根据本公开的一些实施方式的飞行器监控系统5的多种部件的框图。如图2所示，飞行器监控系统5可以包括感测和避让元件207、多个传感器20、30和飞行器控制系统225。尽管特定功能可以由飞行器监控系统5的多种部件执行，但是将理解，在一些实施方式中，这种功能可以由系统5的一个或多个部件执行。此外，在一些实施方式中，系统5的部件可以安置在飞行器10上或为其他方式安置，并且可以经由多种技术——包括有线(例如，传导)、光学或无线通信——与系统5的其他部件通信。此外，系统5可以包括图2中没有具体描绘的用于实现本文中描述的功能和总体上执行危险感测操作和飞行器控制的多种部件。

在一些实施方式中，如图2所示，感测和避让元件207可以联接至每个传感器20、30以处理来自传感器20、30的传感器数据以及将信号提供至飞行器控制系统225。感测和避让元件207可以为能够接收和处理来自传感器20、30的传感器数据的多种类别的装置。感测和避让元件207可以以硬件或硬件和软件/固件的组合实施。例如，感测和避让元件207可以包括一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、利用软件或固件编程的微处理器、或用于执行描述的功能的其他类别的电路。

飞行器监控系统5的感测和避让元件207可收集和解读来自传感器20、30的传感器数据以检测对象以及确定检测的对象对于飞行器是否为碰撞危险，以及，如果是则提供待由飞行器采取的行动建议以避免与感测的对象碰撞。在一个实施方式中，感测和避让元件207可将关于检测的对象的信息(比如对象的分类、海拔、位置信息，及其他)提供至路径规划系统(未具体示出)，该路径规划系统可以执行对这种数据(以及其他数据，例如，飞行规划数据(其中有土地和天气信息)和/或从飞行器控制系统接收的数据)的处理以生成对于待由飞行器控制系统225采取的行动的建议。将参考图3在下面更详细地描述感测和避让元件207的示例配置。

在一些实施方式中，飞行器控制系统225可以包括用于基于来自路径规划系统的指令控制飞行器10的操作(包括飞行器10的速度和路线)的多种部件(未具体示出)。例如，飞行器控制系统225可以包括推进力生成装置(例如，推进器)、飞行控制表面(例如，一个或多个副翼、襟翼、升降舵和方向舵)以及用于控制这种部件的一个或多个控制器和马达。飞行器控制系统225还可以包括用于获得关于飞行器部件的操作和飞行的信息的传感器和其他仪器。

图3描绘了根据本公开的一些实施方式的感测和避让元件207。如图3所示，感测和避让元件207可以包括一个或多个处理器310、内存320、数据接口330、局域接口340和收发器399。处理器310可以被配置成运行存储在内存320中的指令以便执行多种功能，比如处理来自传感器20、30的传感器数据。处理器310可以包括中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、FPGA、其他类别的处理硬件，或其任何组合。另外，处理器310可以包括任何数量的处理单元以提供更快速的处理速度和冗余。处理器310可以经由局域接口340通信联接至感测和避让元件207内的其他元件并驱动该其他元件，局域接口340可包括至少一个总线。数据接口330(例如，端口或引脚)可以将感测和避让元件207的部件与系统5的其他部件(比如传感器20、30)接合。为了在飞行器之间共享关于检测的对象和/或飞行器的路径的信息，可以使用收发器399来允许感测和避让元件207与其他飞行器通信。

如图3所示，感测和避让元件207可以包括感测和避让逻辑350、计算机视觉逻辑348和雷达逻辑355，它们中的每一个可以以硬件、软件、固件或其任何组合实施。在图3中，感测和避让逻辑350、计算机视觉逻辑348和雷达逻辑355以软件实施以及被存储在内存320中用于由至少一个处理器310运行。然而，在其他实施方式中，感测和避让逻辑350、计算机视觉逻辑348和雷达逻辑355的其他配置是可能的。

应注意，感测和避让逻辑350、计算机视觉逻辑348和雷达逻辑355在以软件实施时可在用于由可获取和运行指令的指令运行设备使用或与该指令运行设备连接的任何计算机可读介质上存储和传输。在这篇文件的上下文中，“计算机可读介质”可为可包含或存储代码用于由指令运行设备使用或与该指令运行设备连接的任何装置。

感测和避让逻辑350被配置成接收由传感器20、30感测和/或根据需要由计算机视觉逻辑348和/或雷达逻辑355处理的传感器数据343，在传感器数据343中检测任何对象的存在，如果需要则基于传感器数据343将任何检测的对象分类，评估在检测的对象(一个或多个)与飞行器10之间是否有碰撞风险，以及依据评估的碰撞风险和其他可用信息生成用于飞行器10的一个或多个路径。在一个实施方式中，感测和避让逻辑350被配置成基于比如对象的位置和速度的多种信息辨别碰撞危险。

在一些实施方式中，感测和避让逻辑350被配置成将检测的对象分类以便更好地评估检测的对象的可能飞行性能——比如速度和机动性——和危险风险。在这个方面，感测和避让元件207可以存储指示飞行器10在飞行期间可能遇到的多种类别的对象——比如，鸟或其他飞行器——的对象数据(未示出)。对于每个对象类别，对象数据定义一标签，可将该标签与传感器数据343比较以确定感测的对象与于对象类别对应的时间。

感测和避让逻辑350被配置成在新数据成为可用时动态地处理传感器数据343。作为示例，当感测和避让元件207从传感器20、30接收新数据时或当从计算机视觉逻辑348或雷达逻辑355生成新的处理的数据时，感测和避让逻辑350处理新的数据以及在可能需要的情况中更新任何之前制定的决定。因此，当感测和避让逻辑350从传感器20、30接收新的信息时，感测和避让逻辑350可以更新对象的位置、速度、威险包络，及其他。因此，传感器数据343可随情况改变重复地更新。

计算机视觉逻辑348可从传感器30接收传感器数据343以及利用模式识别、分区或边缘检测软件处理传感器数据343，以辨别可能存在于由传感器30捕集的场景图像中的对象的位置和类别。在一个实施方式中，传感器30可包括比如摄像机的一个或多个图像传感器，该图像传感器可包括一个或多个CCD(电荷耦合器件)和/或一个或多个主动像素传感器或CMOS(互补金属氧化物半导体)传感器。来自图像传感器30的场景图像可作为传感器数据343中的图像数据被存储在内存320中。在一个实施方式中，图像数据可以定义捕集的图像的帧。图像数据可以任何合适的文件格式存储，包括但不限于，PNG(便携式网络图形)、JPEG(联合图像专家组)、TIFF(标记图像文件格式)、MPEG(运动图像专家组)、WMV(Windows媒体视频)、QuickTime和GIF(图形交换格式)。

计算机视觉逻辑348可用于分析和处理来自图像传感器30的存储在传感器数据343中的图像数据。计算机视觉逻辑348可使用用以辨别或识别捕集的图像中存在的对象类别的模型、理论和其他技术从图像数据中提取信息。计算机视觉逻辑348可使用多种技术以辨别或识别对象类别，比如基于内容的图像检索、光学字符识别、二维码读取、形状识别、对象识别、模式识别和任何其他适合的辨别或识别技术。

在一个实施方式中，计算机视觉逻辑348可对图像数据执行后面的技术和/或处理中的一个或多个：预处理、特征提取、检测/分区；高级别处理；和决策制定。图像数据的预处理可涉及处理数据以确认数据为用于后续行动的合适的形式。预处理行动的一些示例可包括降噪和增强对比度。在图像数据已经被预处理以后，可浏览或分析图像数据以从图像数据提取各种复杂度的特征(例如，线、边缘、转角、点、纹理和/或形状)。接下来，在检测/分区步骤中，可制定关于为相关的以及要求附加处理的特征和/或区域的决策。图像数据的缩减的集合(作为检测/分区步骤的结果)的高级别处理涉及估算具体参数(例如，对象尺寸)以及将检测的对象分类成多个类别。最后，决策制定步骤制定识别检测的对象或表面纹理的决定或检测的对象或表面纹理未知的决定。

计算机视觉逻辑348可通过基于来自多个图像传感器30的图像数据处理从图像传感器30接收的单独图像和/或任何组合的或分组的图像来辨别存在于图像数据中的对象类别。在一实施方式中，计算机视觉逻辑348可通过辨别图像数据中的对象类别的轮廓或特征来辨别图像数据中的对象类别，接着将对象类别的识别的轮廓或特征与内存320中存储的信息比较，将关于特征和/或轮廓的信息与对象类别相关联。

在一个实施方式中，计算机视觉逻辑348可生成由图像传感器30捕集的图像中的区域的二维映射以及将该映射存储在映射数据344中。计算机视觉逻辑348可将来自图像数据和捕集的图像的识别的对象类别转换成映射上的对应位置，使得映射可提供用于场景中的可以反射发送的雷达信号的不同对象类别的位置。例如，图4示出由图像传感器30捕集的图像400。图4中示出的图像400可包括具有多颗树和/或其他相近植被的树木覆盖区域或树盖402、具有一个或多个山、山丘、山峰和/或其他相近地貌特征的山地区域404、具有一个或多个海洋、湖泊、池塘、河流、溪流和/或其他相近水体的水域406、以及具有一个或多个停机坪、跑道和/或用于飞行器着陆的其他相近区域的着陆区域408。在一个实施方式中，树木覆盖区域402、山地区域404、水域406和着陆区域408可由计算机视觉逻辑348辨别为图像400中的不同对象类别(例如，不同的表面纹理或单独的对象)。

计算机视觉逻辑348可从图像400得到辨别的对象类别以及创建图像400中的捕集的区域的映射，该映射提供用于辨别的对象类别的位置。例如，图5示出由计算机视觉逻辑348基于捕集的图像400创建的映射500。图5中示出的映射500可提供树木覆盖区域或森林402、山地区域404、水域406和着陆区域408的对应位置。映射500可使用定义的坐标系以辨别映射上的任何点。因此，对于映射500上示出的每个对象类别，可使用坐标系特定地辨别与对象类别相关的区域的外边缘上的点或该区域的对应内部部分内的点。如图5中所示，与映射500上示出的对象类别相关的每个区域可具有定义对象类别的位置的对应外形(或周界)和对象类别的外形或周界内的定义特定类别的对象的对应样式(或填充物)。如果计算机视觉逻辑348不能从图像400辨别对应于映射500的一定区域的对象类别，则映射500的那些区域可以被保留而没有指示物(例如，白色空间)或具有对应于确定没有辨别的对象类别的指示物。在另一个实施方式中，映射500可以以数据格式(例如，表格、数据库，及其他)存储一系列坐标和用于与坐标的每个集合相关的对象类别(或未辨别的对象类别)的对应数字标识符。

可使用雷达逻辑355处理由雷达传感器20接收的雷达回波。在一个实施方式中，雷达逻辑355可补偿从自不同对象类别(例如，树盖、草地区域、水体，及其他)反射离开的发送的雷达信号产生的雷达回波中的噪声(例如，地面簇集物)。不同对象类别中的每一个可将不同噪声标签引入回波中。来自不同对象类别的不同噪声标签是每个对象类别的不同特性的结果，这使得发送的雷达信号被对象类别以不同类别反射。此外，发送的雷达信号的入射角度可影响回波中由对象类别引入的噪声标签，其中发送的雷达信号的具有不同入射角度发送的雷达信号使得不同噪声标签由对象类别被引入回波中。也就是，实际上由一定的对象或对象组引入的噪声模式与为对象类别和雷达信号在对象或对象组上的入射角度相关的函数。雷达逻辑355可通过基于对象类别从内存320选择或确定适合的噪声模式提供对雷达回波的噪声补偿，基于入射角度调整噪声模式，以及接着使用被调整的噪声模式从回波在数学上移除噪声(例如，通过从回波减去被调整的噪声模式)。可由计算机视觉逻辑348辨别的对于不同对象类别中的每一个的噪声模式可被存储在内存中以及可与由对象类别引入至回波中的预期的噪声标签对应。通过从回波中减去噪声模式，可从回波中移除由对象类别引入至回波中的一些或全部噪声标签。在一个实施方式中，不论何时飞行器10朝向表面发送雷达信号(例如，当以巡航模式操作(例如在相对一致的海拔处飞行)以及试图将对象定位在飞行器10以下时或当以着陆模式操作(例如，从巡航海拔朝向表面下降)时)，都可使用雷达逻辑355对回波提供噪声补偿。

下面将参考图6至图8更详细地描述为了对自由飞行器10朝向表面发送雷达信号而产生的雷达回波提供噪声补偿的系统5的示例使用和操作。为了图示的目的，将假设飞行器10正朝向图9中示出的表面发送雷达信号。在一个实施方式中，飞行器10可以在以巡航模式或以着陆模式操作期间朝向表面发送雷达信号。然而，在其他实施方式，飞行器10可以在飞行器10的其他模式的操作中朝向表面发送雷达信号。

图6示出用于由感测和避让元件207处置传感器数据以控制飞行器的过程的实施方式。该过程通过利用计算机视觉逻辑348处理由图像传感器30提供的图像数据开始(步骤602)。接下来，利用雷达逻辑355处理自由雷达传感器20提供的多个雷达样本生成的雷达数据(步骤604)。如将在下面更详细地论说的，可使用由计算机视觉逻辑348生成的信息通过雷达逻辑355处理雷达数据中的雷达样本。来自雷达逻辑355的处理的雷达样本可接着由感测和避让逻辑350使用以控制飞行器(步骤606)。在一个实施方式中，感测和避让逻辑355可使用处理的雷达样本(或雷达数据)生成用于飞行器10的路径，该用于飞行器10的路径接着被提供至飞行器控制系统225。

图7示出用于处理来自图像传感器30的图像数据的过程的实施方式。在一个实施方式中，图7的过程可用来处理来自图6的过程的步骤602的图像数据，但是图7的过程还可以在其他实施方式中用来处理用于其他应用的图像数据。图7的过程可利用捕集与飞行器10的飞行相关的场景或目标区域的图像(步骤702)开始。参考图9，飞行器10可具有可捕集在虚线A内限定的FOV内的目标区域的图像的图像传感器30。捕集的图像可与图4中示出的图像400相近以及可在其中包括树木覆盖的区域402、山地区域404和水域406。

目标区域的捕集的图像可作为图像数据被存储在传感器数据343中。计算机视觉逻辑348可检索对应于目标区域的存储的图像数据以及辨别目标区域内的一个或多个对象类别(例如，比如树木的单个对象(或项目)或比如彼此靠近的一组相近项目(例如，从若干树木形成的树盖)的表面纹理)(步骤704)。如上面论说的，计算机视觉逻辑348可使用分区、模式识别、边缘检测和/或任何其他合适的图像处理技术以辨别图像内的对象类别。辨别的对象类别可接着被加标记(步骤706)以将来自图像数据的辨别的对象类别与于具体的对象类别对应。为辅助加标记的过程，内存320可存储使具体的对象类别与来自计算机视觉逻辑348的具体输出相关的信息。在一个实施方式中，内存320可存储关于飞行器10可能在飞行器10的对应飞行区域内遇到的每个对象类别的信息。一旦已辨别(或加标记)来自图像的全部对象类别，就可生成示出加标记的每个对象类别的位置的目标区域的映射(步骤708)。生成的映射可与图5中示出的映射500相近以及可在其中包括树木覆盖区域402、山地区域404和水域406在目标区域内的位置。每个加标记的对象类别可在映射中关于坐标系来限定，使得每个标记对象类别与坐标系中的多个坐标对应。此外，生成的映射还可指示目标区域的对象类别不能被识别和/或加标记的部分。一旦已经生成具有加标记的对象类别的位置的映射，就可将映射保存在映射数据340中。

图8为图示根据本公开的一些实施方式的用于处理来自雷达传感器20的雷达样本的方法的流程图。在一个实施方式中，图8的过程可用来处理从图6的过程的步骤6042的多个雷达样本生成的雷达数据，但是图8的过程还可以在其他实施方式中用来处理从用于其他应用的多个雷达样本生成的雷达图像数据。图8的过程可以雷达逻辑355获得具有利用加标记的对象类别的获得目标区域的映射的雷达逻辑355开始(步骤802)。雷达逻辑355可从映射数据344访问映射或计算机视觉逻辑348可将映射提供至雷达逻辑355。接下来，雷达逻辑355可获得雷达样本(步骤804)。参考图9，飞行器10可具有发送雷达信号902以及从目标区域的一部分接收发送的雷达信号的回波的雷达传感器20。发送的雷达信号902可被扫掠通过虚线B内限定的用于雷达传感器20的观测场(FOR)。由雷达传感器20接收的每个回波可由雷达传感器20测量以生成指示回波的雷达信号。雷达传感器20可将与雷达样本中的每个相关的数据(以及关于发送的雷达信号的对应于数据，比如发送的雷达信号相对于FOR B的定位以及对于发送的雷达信号的入射角度)作为雷达数据存储在传感器数据343中。

一旦雷达逻辑355获得雷达样本，雷达逻辑355就可接着试图从雷达样本移除可能存在于雷达样本中的、发送的雷达信号自表面上的一个或多个对象类别(例如，树木覆盖的区域402、山地区域404或水域406)——其有时候可被称为地面簇集物——反射离开产生的噪声。为了从雷达样本移除噪声，雷达逻辑355可以首先辨别可能正在将噪声引入至雷达样本中的对象类别。在辨别可能正在引入噪声的对象类别以后，雷达逻辑355可接着选择噪声模式，该噪声模式与由辨别的对象类别引入至雷达样本中的噪声对应。噪声补偿数据347可存储用于可以由计算机视觉逻辑348辨别的对象类别中的每个的噪声模式。此外，由于由辨别的对象类别引入至雷达样本中的噪声可基于发送的雷达信号的入射角度变化，因此雷达逻辑355还可调整存储在噪声补偿数据347中的噪声模式以顾及发送的雷达信号的入射角度的变化。在一个实施方式中，噪声模式的调整可与入射角度相关地执行。在另一个实施方式中，取代调整噪声模式以顾及入射角度，噪声补偿数据347可为一具体对象类别存储许多噪声模式，其中用于对象类别的不同噪声模式对应于不同入射角度。

返回参考图8，雷达逻辑355在获得雷达样本以后可接着将与雷达样本相关的定位信息(例如，产生雷达样本的发送的雷达信号的定位)与映射中的对应定位相关联(步骤806)。换言之，雷达逻辑355可将与雷达样本相关的位置信息转变成对应于映射的坐标系的定位信息(例如，坐标)。雷达逻辑355可接着确定是否映射上的与雷达样本相关的定位对应于映射上的可能已经将噪声引入至雷达样本中的加标记的对象类别的位置(步骤808)。在一个实施方式中，可将与雷达传感器20相关的FOR B同与图像传感器30相关的FOR A的位置相关联，使得与雷达样本相关的定位信息可对应于与映射相关的坐标系中的坐标。

如果雷达逻辑355从映射辨别对应于与雷达样本相关的定位的加标记的对象类别，则雷达逻辑355可接着从噪声补偿数据347选择用于被辨别的对象类别的对应噪声模式(或噪声标签)(步骤810)。在实施方式中，噪声补偿数据347可存储用于可以由计算机视觉逻辑348辨别的每个对象类别的对应噪声模式。雷达逻辑355可接着调整选择的噪声模式以顾及雷达样本中的噪声的变化(步骤812)，该变化可以因发送的雷达信号的入射角度或可以改变由对象类别引入的雷达样本中的噪声的其他条件而发生。雷达逻辑355可接着利用调整的噪声模式对雷达样本执行噪声补偿(步骤814)以及接着将补偿的雷达样本存储在内存320中(步骤822)。返回参考步骤808，如果雷达逻辑355不能从映射辨别对应于与发送的雷达信号(和雷达样本)相关的定位的加标记的对象类别，或如果映射指示未辨别或未知的对象类别对应于与雷达样本相关的定位，则雷达逻辑355可接着处理雷达样本而不进行噪声补偿(步骤820)以及接着存储处理的雷达样本(步骤822)。尽管已经参考单独雷达样本的处理描述了图8的过程，但是图8的过程可对于由雷达传感器20提供的每个雷达样本进行重复。来自雷达传感器20的每个雷达样本的处理允许从雷达样本移除对应于映射的不同区域处的不同对象类别的噪声。

基于辨别的对象或表面纹理从映射选择噪声模式允许雷达逻辑355从雷达样本移除与地面簇集物相关的噪声。在飞行器飞行时(例如，巡航或着陆)从雷达数据移除与地面簇集物相关的噪声可允许感测和避让逻辑350更好地辨别飞行器的路径中对象的存在，该辨别在其他情况中会已经被雷达样本中与地面簇集物相关的噪声阻挡。此外，通过移除雷达样本中与地面簇集物相关的噪声，感测和避让逻辑350可更准确地检测飞行器10的飞行路径中的对象以及提供飞行器10的更高效的飞行。

在另一个实施方式中，雷达逻辑355可基于飞行器10相对于飞行器10的已知飞行路径的位置和定向执行噪声补偿。雷达逻辑355可从一个或多个传感器30(例如，GPS传感器)或系统(例如，惯性导航系统(INS)和/或全球导航卫星系统(GNSS))接收用于飞行器10的位置和定向数据。雷达逻辑355可接着使用用于飞行器10的位置和定向信息以选择区域的预定映射以及从该预定映射辨别可以将噪声引入至雷达样本中的对象类别。在从预定映射辨别对象类别以后，雷达逻辑355可基于辨别的对象类别选择噪声模式以及基于发送的雷达信号的入射角度对选择的噪声模式执行对应的调整。内存320可将对应于飞行器10沿着其预期飞行路径的每个可能位置处的每个辨别的对象类别的噪声模式存储在噪声补偿数据347中。作为基于图像数据的噪声模式选择的附加或替换，可使用基于飞行器10的位置的噪声模式选择。

虽然本文中的附图可以示出方法步骤的具体次序，但是步骤的次序可以与描绘的不同。并且，可以同时地或部分同时地执行两个或更多个步骤。应理解，显明的实施方式仅通过示例的方式提供。在不背离本申请的范围的情况中，可以对实施方式的设计、操作条件和布置进行其他替换、修改、改变和省略。据此，本申请不限于特定实施方式，而是延伸至仍然落在本申请的范围内的多种修改。还应理解，本文中使用的词汇和术语仅为了说明的目的而不应被认为是限制性的。

前述仅为说明本公开的原理并且在不背离本公开的范围的情况中本领域技术人员可以进行多种修改。为了说明而不是限制的目的提出上面描述的实施方式。本公开还可采取本文中明确地描述的那些形式之外的许多形式。据此，重点在于本公开不限于明确公开的方法、系统和设备，而是旨在包括对其的变化和修改，这些变化和修改在随后的权利要求的精神之内。

作为进一步的示例，可以进行设备或过程参数(例如，尺寸、配置、部件、过程步骤次序，及其他)的变化，以进一步优化如本文中示出和描述的所提供的结构、装置和方法。在任何情况中，本文中描述的结构和装置以及相关的方法具有许多应用。因此，公开的主题不应限于本文中描述的任何单个实施方式，而是应在根据所附权利要求的广度和范围中理解。

Claims (12)

1.一种方法，包括：

利用交通工具上的至少一个图像传感器捕集场景的图像；

发送来自所述交通工具上的雷达传感器的雷达信号；

利用所述雷达传感器测量所述雷达信号的回波，从而提供多个雷达样本，其中所述多个雷达样本中的每一个指示来自所述场景中的相应点的雷达信号的测量的回波；

基于所捕集的图像，对所述雷达样本中的至少一个雷达样本辨别所述雷达信号指向的对象的类别；

选择与所辨别的对象的类别相关的预定噪声模式；和

基于所选择的预定噪声模式补偿所述雷达样本中的至少一个雷达样本。

2.根据权利要求1所述的方法，进一步包括：

确定所述至少一个雷达样本的入射角度；和

基于所确定的入射角度调整所述预定噪声模式。

3.根据权利要求1所述的方法，其中，辨别对象的类别包括：对对应于所捕集的图像的图像数据执行分区、模式识别或边缘检测中的至少一个。

4.一种用于从雷达样本移除噪声的方法，所述方法包括：

利用交通工具上的雷达传感器接收雷达回波，所述雷达传感器被配置成提供对应于所述雷达回波的雷达样本；

将所述雷达回波与映射的区域关联；

辨别由所述映射上的所述区域代表的地貌区内的至少一个对象的类别；

基于所辨别的对象类别选择噪声模式；和

基于所选择的噪声模式补偿所述雷达样本。

5.根据权利要求4所述的方法，进一步包括：

利用所述交通工具上的图像传感器捕集目标区域的图像；和

基于所捕集的图像定义所述映射。

6.根据权利要求4所述的方法，其中，补偿所述雷达样本包括：基于与所述雷达样本相关的入射角度调整所选择的噪声模式。

7.根据权利要求4所述的方法，其中，补偿所述雷达样本包括：将所述雷达样本与所选择的噪声模式在数学上相结合。

8.一种交通工具监控系统，包括：

至少一个图像传感器，其定位在交通工具上并且被配置成捕集目标区域的图像，所捕集的图像由图像数据定义；

至少一个雷达传感器，其定位在所述交通工具上并且被配置成接收来自所述目标区域的一部分的雷达回波，所述至少一个雷达传感器被配置成提供对应于所接收的雷达回波的雷达样本；和

至少一个处理器，其被配置成接收来自所述至少一个图像传感器的所述图像数据以及来自所述至少一个雷达传感器的所述雷达样本，所述至少一个处理器被配置成基于所述图像数据对从其接收雷达回波的所述目标区域的所述一部分辨别至少一个对象类别，以及基于所辨别的至少一个对象类别选择噪声模式，其中所述至少一个处理器被进一步配置成基于所选择的噪声模式执行对所述雷达样本的噪声补偿。

9.根据权利要求8所述的系统，其中，所述至少一个处理器被进一步配置成：基于与所述雷达回波相关的入射角度调整所选择的噪声模式。

10.根据权利要求8所述的系统，其中，所述至少一个处理器被进一步配置成：

将所述目标区域的所述一部分与映射上的坐标相关联；和

确定所辨别的至少一个对象类别是否位于所述坐标处。

11.根据权利要求8所述的系统，其中，所述至少一个处理器被进一步配置成：通过将所接收的雷达样本和所选择的噪声模式在数学上相结合来执行所述噪声补偿。

12.根据权利要求8所述的系统，进一步包括：被配置成基于所述雷达样本控制所述交通工具的操作的控制系统。

Images