CN114902308A - 用于检测表面状况的系统和方法 - Google Patents

Abstract

本公开总体上涉及用于通过使用不同偏振的多个图像来检测表面状况的系统和方法。根据本公开的系统捕获具有不同偏振的图像并且将所述图像进行比较以评估区域的表面状况，比如预期运载工具在其上着陆或以其他方式行进的跑道、着陆场、道路或滑行道。在一些情况下，可以检测并识别表面危险，比如覆盖所述区域的表面的水、冰或雪。可以使用用于指示所述表面状况的信息来作出控制决策以操作所述运载工具。

Description

用于检测表面状况的系统和方法

背景技术

在航空领域，起飞和着陆与飞行的其他部分相比较是相对危险的。与起飞和着陆相关联的一些风险可能是在跑道或着陆场上存在的表面危险，比如飞行员可能看不到的雪、冰或水。雪、冰或水可能导致飞机打滑或滑行，从而增加发生事故的机会。了解这样的状况允许飞行员或自动驾驶系统做出改变或采取预防措施以补偿这样的状况。然而，可能有时很难看到且辨别出这样的危险。

摄像机已经被用于努力促进对危险状况的检测。如果基于摄像机的系统在跑道或着陆场上检测到比如水或冰等表面危险状况，则可以警告或以其他方式通知飞行员存在表面危险。对于自主飞行器，基于摄像机的系统检测到的危险状况可以用于作出控制决策，以缓解或避免危险状况的影响。然而，基于摄像机的系统可能很难检测到至少一些危险状况。例如，在跑道上的水或冰通常是基本上透明的，并且因此可能很难被检测到。在这方面，冰或水允许光通过且从跑道或着陆场的表面反射。因此，在由摄像机捕获的图像中，被水或冰覆盖的跑道或着陆场的一部分可能看起来与跑道或着陆场的其他部分类似，因此难以使用分割或其他已知图像处理技术来检测跑道或着陆场上是否存在水或冰。

附图说明

可以参考以下附图更好地理解本公开。附图的元素不一定是相对于彼此按比例绘制的，而是重点在于清楚地展示了本公开的原理。此外，相似的附图标记在几个视图中标示相对应的零件。

图1是展示了使用示例性偏振传感器的运载工具的框图。

图2a至图2b是展示了示例性偏振滤光片的图式。

图3展示了两个偏振图像的示例性比较。

图4a是展示了用于检测危险表面状况的系统的示例性实施例的框图。

图4b是展示了用于检测危险表面状况的系统的另一示例性实施例的框图。

图5是展示了比如在图4a和图4b中描绘的控制器的示例性实施例的框图。

图6是展示了用于检测表面状况的示例性过程的框图。

图7是展示了用于检测危险表面状况的系统的示例性实施例的框图。

具体实施方式

本公开总体上涉及用于检测表面状况的系统和方法。根据本公开的一个实施例的系统安装在运载工具上或以其他方式定位在运载工具上，并且通过捕获、处理并分析不同偏振的多个图像来检测在所述运载工具外部的表面状况。在这方面，所述系统使用至少一个图像传感器来捕获外部区域(例如，道路、滑行道或着陆区，比如跑道或着陆场)的多个图像。至少一个图像的偏振与另一图像的偏振不同，并且将所述具有不同偏振的两个图像进行比较以提供比较图像。作为示例，可以使同一表面的两个图像正交偏振且相减，尽管可以在其他实施例中执行其他类型的偏振和比较。比如水、冰或雪等某些类型的表面状况可能在比较图像中具有某些特性或标志，因此有助于检测在比较图像中存在的这些表面状况。因此，可以分析比较图像以检测某些表面状况，比如对运载工具的操作可能有危险的表面状况。当检测到危险表面状况时，可以通知运载工具的使用者(例如，飞行员或驾驶员)，或者可以使用用于指示检测到的表面状况的信息来所述控制运载工具。

应注意，存在可以用于捕获不同偏振的图像的各种技术。作为示例，可以使用具有不同偏振配置的两个或更多个摄像机。在这方面，每个摄像机可以具有偏振滤光片，所述偏振滤光片对光进行滤光的方式与其他摄像机的偏振滤光片不同。例如，一个摄像机可以具有准许在第一方向(例如，垂直方向)上的光通过的滤光片，并且另一摄像机可以具有准许在正交于所述第一方向的方向(例如，水平方向)上的光通过的滤光片。在其他示例中，单个传感器可以用于捕获具有不同偏振的多个图像。例如，可以使用具有在进行连续拍摄时被移动、移除、替换或更换的偏振滤光片的摄像机。在另一示例中，可以将单个传感器与单个偏振滤光片一起使用，所述单个偏振滤光片向所述传感器提供多个偏振。

一旦系统检测到运载工具正行进或将行进的表面存在危险表面状况，所述系统就可以以各种方式警告使用者存在危险状况。例如，系统可以响应于检测到比如冰、雪或水等某种危险状况而激活指示灯或提供某个其他视觉警告。如果期望的话，可以向使用者输出音频警告，比如蜂鸣器或语音记录消息。在一些实施例中，由系统提供的输出可以提议某些使用者行动，比如某些类型的制动操纵或用于控制运载工具的操作的其他类型的操纵。在一些实施例中，系统可以使用关于表面状况的信息来预测使所述运载工具停住所需要的制动距离，并且所述系统可以输出用于指示制动距离和/或所述表面是否适合进行操作的信息。作为示例，系统可以将制动距离与跑道的长度进行比较，并且如果跑道不够长而无法执行安全制动操纵，则提供警告。所述系统还可以提供用于指示检测到的表面状况的位置的信息。例如，系统可以生成道路、跑道、滑行道或着陆场的图像并且在所述生成的图像上指示所检测到的危险的位置。

基于由系统检测到的表面状况，可以采取各种行动来控制运载工具的操作，无论这样的控制是由人类操作者(例如，飞行员或驾驶员)实施还是由控制系统实施(比如自主运载工具的情况)。作为示例，可以作出决策使运载工具改道远离危险表面状况。在这方面，可以响应于在着陆区检测到危险表面状况而作出决策使飞行器在不同位置处着陆。在另一示例中，可以控制运载工具以在到达系统检测到的危险表面状况之前使飞行器停住，或以其他方式控制(例如，操控)运载工具以避开危险表面状况。在其他实施例中，可以作出决策以基于表面状况来改变运载工具的操作特性(例如，防抱死制动阈值或制动方法)，等等。例如，对于飞行器，响应于检测到跑道上存在危险表面状况，可能在更大程度上依赖于反向推力和空气制动。在一些实施例中，在存在冰或雪的情况下，可以实施某些制动技术(例如，减小施加到一个或多个轮的制动力)以降低打滑或滑行的可能性。

在一些实施例中，所述系统可以被配置成从运载工具无线地发射用于指示检测到的表面状况的信息。例如，可以将用于指示在跑道或着陆场上的某些表面状况的类型和位置的信息报告给机场维修人员，他们可以试图移除或补偿表面状况。作为示例，维修人员可以在跑道上撒盐以融化检测到的冰。在另一示例中，可以将所述信息报告给其他运载工具以警告这些运载工具的其他飞行员、驾驶员或控制系统。可以使用所述信息来更新示出危险表面状况的地图。在其他实施例中，由所述系统提供的信息可以用于其他目的。

图1是展示了具有用于检测表面状况的示例性偏振传感器20的运载工具10的框图。运载工具10(在这种情况下是飞行器)在其机身(例如，机头)上配备有偏振传感器20，但在其他实施例中，传感器20可以定位在运载工具10上的其他位置处。传感器20具有可以指向比如着陆区100(例如，跑道或着陆场)等受关注区域的视场30，以用于评估在这样的区域处的表面状况。在传感器20的视场30内，可能存在各种潜在障碍物80、天空40、云50、表面标记90(例如，跑道、滑行道或道路标记)和表面危险70。图1中描绘的着陆区100是跑道，但在其他实施例中，可以将其他类型的着陆区100成像。表面标记90可以包括定位在着陆区100的表面上或表面中的灯、或者用油漆覆盖或以其他方式形成在着陆区100的表面上的线或其他类型的标记，以用于导引尝试在着陆区100上着陆或从着陆区100起飞的飞行员。

应注意，表面危险70通常是指任何表面状况或异常，如果运载工具在操作期间遇到所述表面状况，则所述任何表面状况或异常对运载工具10的安全操作都可能是危险。作为示例，表面危险70可能是在着陆区100的路面中的坑洞或者在着陆区100的表面上的冰、雪或水。

虽然在这个示例中运载工具10是飞机，但在其他实施例中，运载工具10可以是包括摩托车、汽车和卡车的任何类型。运载工具10还可以是其他类型的飞行器，比如直升机、无人机和垂直起降(VTOL)飞行器。此外，运载工具10可以由运载工具10上的使用者(例如，飞行员)控制，或者运载工具10的控制可以是自主的，比如由在运载工具上或在其他位置处的控制器控制。名称为“Self-Piloted Aircraft for Passenger or CargoTransportation(用于客运或货运的自动驾驶飞行器)”且于2018年11月16日提交的美国申请号16/302,263描述了示例性自主运载工具，所述美国申请以引用方式并入本文中。

虽然在运载工具10的机头处描绘了偏振传感器20，但所述偏振传感器可以放置在可观察到要评估的区域的任何地方(例如，在机翼上或者在机身的顶部或底部处)。作为示例，对于VTOL飞行器，传感器20可以定位在飞行器10下面以在起飞或着陆期间观察在飞行器正下方的区域。传感器20可以安装在固定位置中，或者所述传感器可以被安装成使得它可以移动(例如，向左、向右、向上和向下旋转)以允许图像传感器监视不同视域。另外，可以在运载工具10上使用任何数量的偏振传感器20。如下文将更详细地描述，偏振传感器20被配置成捕获偏振图像并且可以包括用于提供偏振光的一个或多个偏振滤光片。

图2a至图2b是展示了偏振滤光片的示例性效果的附图，所述偏振滤光片在这个示例中是线性偏振滤光片。如图2a中所示出的，非偏振光210进入线性偏振滤光片200。由滤光片200接收的光210是非偏振的，因为所述光由在随机方向上行进的波构成。滤光片200然后基于方向来过滤所述光210。在这方面，在某个方向或某个范围的方向上行进的光210通过滤光片200而无衰减，但在其他方向上行进的光被衰减。例如，随着光210进入垂直对齐的线性偏振滤光片200，在本文还被称为“垂直偏振滤光片”，所述光被过滤使得在垂直方向(即，y方向)上行进的光通过而无衰减。这样的光220可以被称为“垂直偏振光”。如果同一线性偏振滤光片200旋转了90度，则滤光片200成为水平对齐的线性偏振滤光片，在本文还被称为“水平偏振滤光片”，所述水平对齐的线性偏振滤光片允许在水平方向(即，x方向)上行进的光210通过而无衰减。当滤光片200在某个方向(例如，垂直或水平)上是偏振的使得在这样的方向(在下文被称为“偏振方向”)上行进的光通过而无衰减时，在其他方向上行进的光可能取决于其行进方向而被滤光片衰减。具体来说，在更接近偏振方向的方向上行进的光可能比在离偏振方向更远的方向上行进的光被较少衰减。实际上，从滤光片200的偏振方向正交偏振的光可以被完全过滤，或者换句话来说，被滤光片200彻底阻挡。

如本文所使用的，“偏振图像”是指偏振光的图像。作为示例，偏振图像可以通过以下方式来形成：使光通过偏振滤光片(比如垂直偏振滤光片或水平偏振滤光片)、并且然后由光学传感器(例如，摄像机)捕获以形成偏振图像。根据本公开的一些实施例，将在不同方向上偏振的光的图像进行比较以识别否则可能难以用肉眼看到的表面状况。

在这方面，光从不同类型的表面以不同方式反射。作为示例，光可能从比如可以用于跑道、滑行道、着陆场或道路的沥青反射，不同于从形成在沥青上的水或冰反射。这样的水或冰可能是基本上透明的，使得难以在非偏振图像中或用肉眼看到或识别水或冰。然而，通过将同一场景的以不同方式偏振的图像进行比较，可以强调水或冰的反射性质相对于沥青的反射性质的差异，由此有助于检测在沥青上是否存在水或冰。

为了更好地强调这些差异，可能期望比较中的图像的偏振方向尽可能地不同。作为示例，可以将正交偏振的两个图像(例如，水平偏振图像和垂直偏振图像)进行比较。然而，在其他实施例中，偏振差异可能较小或以其他方式不同。

应注意，存在可以用于执行以不同方式偏振的图像的比较的各种技术。在一些实施例中，可以通过减法来执行比较。作为示例，可以执行逐像素减法，使得将在一个图像中的像素从其他图像中的对应像素(例如，表示同一地理位置的像素)减去，从而产生“差分图像”，其中差分图像的每个像素值是在偏振图像的对应像素之间的差异。在其他实施例中，可以执行其他类型的比较。作为示例，可以对对应的像素值执行加法、乘法或其他类型的数学运算。

图3展示了正交偏振的两个偏振图像的示例性比较。为了参考，指示符340指示相应的偏振方向，所述偏振方向指示图像310相对于图像320的偏振是正交偏振的。当使所述图像相减时，所得图像的对象可能表现为褪色(例如，具有更小的差值)，因为在两个不同偏振下反射的光之间可能存在小差异。通过比较，其他对象可能表现为较少褪色(例如，具有更大的差值)，因为在两个不同偏振下反射的光之间可能存在更大差异。

作为示例，用于表示表面危险70(比如一片冰或一汪水)的像素的差异可能显著大于(或以其他方式不同于)用于表示着陆区100(比如跑道)的表面(例如，沥青)的像素的差异。因此，表面危险70可能表现为在差分图像330中相对于着陆区100被强调，由此有助于检测表面危险70。

此外，某些表面状况可能展现出某些图案或差值范围，使得有可能不仅检测是否存在表面状况而且识别表面状况的类型(并且因此识别危险的表面状况的危险性)。在这方面，某个类型的表面状况或危险可以在差分图像330中具有标志，所述标志可以被学习且然后用于识别在图像330中的表面状况的类型，或者换句话说，将所述表面状况分类。因此，系统可以使用差分图像330来不仅检测是否存在表面危险而且识别其类型。应注意，图3示出了两个偏振图像的比较，但在其他实施例中可以将任何数量的偏振图像进行比较(例如，相减)。

图4a是展示了用于检测表面危险的系统400的示例性实施例的框图。系统400包括用于提供偏振图像的多个偏振传感器405以及控制器430。在由图4a描绘的实施例中，每个偏振传感器405具有偏振滤光片410和光学传感器420。偏振滤光片410被配置成过滤非偏振光210以提供由光学传感器感测的偏振光。在这方面，光学传感器420被配置成捕获偏振图像420。因此，如上文所描述的，每个偏振滤光片410基于来自其对应滤光片410的偏振光来使光以不同方式偏振。作为示例，来自两个滤光片410的光可以是正交偏振的，使得一个传感器405可以捕获在第一方向上偏振的光(例如，水平偏振光)的图像，并且另一传感器405可以捕获在正交于所述第一方向的方向上偏振的光(例如，垂直偏振光)的图像。在其他示例中，可以使用其他类型的偏振。作为示例，一个偏振滤光片410可以提供线性偏振，并且另一偏振滤光片410可以提供圆形偏振或其他类型的偏振。在另一示例中，一个传感器405可以感测线性或圆形偏振光，且另一传感器405可以感测非偏振光。此外，传感器405可以感测线性偏振光、圆形偏振光、椭圆偏振光、或非偏振光的任何集合，只要被比较的图像的偏振有足够大的差异使得在评估所述图像时可识别一个或多个表面危险。

光学传感器420可以是摄像机、光检测器阵列、或用于捕获图像的其他类型的传感器。由这些光学传感器420捕获的图像被发送到控制器430，所述控制器将所述图像进行比较以检测表面状况(例如，表面危险)并且向输出界面440和/或飞行控制系统450提供用于指示检测到的表面状况的信息，如稍后将更详细地讨论的。

图4b描绘了用于检测表面危险的系统401的替代实施例。图4b的系统401使用单个偏振传感器405来提供以不同方式偏振的多个图像。存在可以用于实现这一点的各种技术。在一个实施例中，传感器的偏振滤光片410可以用于捕获一个偏振的图像，并且偏振滤光片410可以在获得下一个图像之前被旋转(例如，90度)，使得下一个图像相对于第一图像以不同方式偏振(例如，正交偏振)。在另一实施例中，滤光片410可以被配置成使得至少一些像素的偏振相对于其他像素的偏振是不同的。这可以采取由偏振滤光片的二维阵列所形成的透镜的形式，其中不同滤光片在提供不同偏振的分组中彼此相邻。在这样的示例中，和一个偏振相关联的像素可以与和不同偏振相关联的像素分开，以实质上将同一图像解耦成不同偏振的两个不同图像。然后可以将被解耦的图像进行比较以检测表面状况，如本文所描述的。在其他实施例中，用于提供以不同方式偏振的图像的其他技术也是可能的。

可以以各种方式实施控制器430，包括特定模拟硬件、运行软件的通用机器或它们的组合。图5是展示了控制器430的示例性实施例的框图。至少一个处理器570通过本地接口560(例如，串行总线)耦合到存储器510和有线或无线数据接口580(例如，以太网、USB、WiFi等)。存储器510包含使得处理器570能够执行包括控制逻辑540的功能的数据和指令，所述控制逻辑可以由处理器570执行以执行控制器的功能，如本文所描述的。存储器510可以被配置成存储：图像数据520，在本文被称为“捕获图像数据”，所述图像数据定义由偏振传感器405(图4a和图4b)捕获的图像；以及图像数据530，在本文被称为“比较图像数据”，所述图像数据用于指示在由捕获图像数据520定义的图像之间的比较。作为示例，控制器430可以使由捕获图像数据520定义的以不同方式偏振的图像相减以生成将存储在比较图像数据530中的差分图像。虽然控制器430被示出为与飞行控制系统450和输出界面440分开，但在一些实施例中，这些部件可以共享比如至少一个处理器570和存储器510的资源。在一些实施例中，可以由硬件执行所述图像比较(例如，图像相减)，并且可以将比较的结果传递到处理器570以用于进一步处理，比如用于分析以检测表面危险，如本文所描述的。

图6是展示了用于检测表面状况的示例性过程的框图。在步骤610处，控制器430通过偏振传感器405中的一个或多个获取同一场景(例如，着陆区100)的偏振图像。这包括如之前提到的不同偏振的至少两个图像(例如，两个或更多个正交偏振的图像)。在步骤620处，控制器430将所捕获的图像进行比较。所得的比较图像530可以呈差分图像340的形式，其中差分图像的每个像素指示在被比较的图像的对应像素之间的差异。

在步骤630处，针对表面状况评估所得图像。控制器430对比较图像530执行分割、识别和分类。在一些实施例中，可以对所捕获的原始图像520执行分割、识别和分类，并且与比较图像一起使用以对在视野范围内的对象、特征和危险进行进一步分割、识别和分类。分割还可以用于消除误报或改变对检测到的状况或危险的处理方式。例如，所得图像或原始图像的一部分可以被识别为不受关注的区域且然后被剔除，使得不对其进行分析来检测表面危险或其他类型的表面状况。作为示例，图像的一部分可以被识别为不应存在任何表面危险的天空。这样的部分可以被剔除，使得控制器430不对其进行进一步处理。

外部因素也可能影响表面状况的评估(例如，分类)。这样的外部因素可以包括位置、日期、所报告空气温度、所报告地面温度、物理特性等。可以通过比如全球定位系统(GPS)传感器等位置传感器来检测位置。作为示例，在评估表面状况时，控制器430可以检测具有类似于冰的标志的表面状况。然而，如果区域的表面温度高于在冰点以上的某个阈值，比如50华氏度，则例如控制器430可以被配置成避免将所述表面状况分类为冰。如果运载工具10位于具有高密度沼泽地的区域上方，则控制器420可以被配置成将很大比例的表面积被水覆盖的区域识别为“沼泽地”。然而，如果运载工具10位于已知没有沼泽地的区域上方，则控制器430可以避免将这样的区域识别为“沼泽地”。在其他示例中，外部因素可以用于以其他方式辅助表面状况的识别。

在评估表面状况时，可以检测某些表面危险，比如水、冰或雪。在这个过程期间可以检测到特征，比如存在路线显著对象(例如，道路、跑道或滑行道)。特征可以包括解释与对象相关联的符号和标记(例如，路标、灯、跑道标记、跑道标记等)。作为示例，跑道标记可以在所捕获的图像中被识别并且用于识别和定义对应跑道的边界。特征还可以广义地包括关于特性(例如，跑道的长度、场地的平坦度)的估计。可以基于所捕获的图像来确定这样的估计。作为示例，可以基于跑道在一个或多个所捕获图像中的长度来估计跑道的长度。在其他实施例中，跑道的长度可以是预定义的且存储在系统440中。作为示例，可以基于运载工具相对于跑道的位置来识别跑道，并且可以从存储器检索所识别跑道的长度。在其他实施例中，用于估计特征的特性的其他技术也是可能的。

危险和特征可以是相互关联的。例如，取决于表面状况与检测到的特征的关系，一些表面状况可以被分类为危险。作为示例，在一些实施例中，仅当冰覆盖运载工具的着陆区100(比如跑道、着陆场或路段)的某个百分比或某些区域时，冰才可以被识别为表面危险。作为示例，如果冰位于跑道的边缘附近但跑道的中心基本上没有冰，则冰可能不会对运载工具10的安全操作造成威胁，并且因此可能不被分类为危险。

在步骤640处，控制器430被配置成提供关于包括表面危险的表面状况的信息。将这个信息提供到输出界面440和飞行控制系统450。基于检测到的表面状况，可以执行一个或多个行动。

这些行动可以通过输出界面440的音频或视觉介质以提供信息、警告或警报的形式出现。在操作者控制的运载工具10中，这些警报可能以声音或灯的形式出现。例如，指示灯可以亮起以指示特定危险、危险类别或笼统地指示危险(例如，路面结冰灯、光滑状况灯或危险灯)。在一些实施例中，通过输出界面440，控制器430可以通过使用显示器(例如，用于显示文本、地图、增强现实或显示图像的抬头显示器或监视器，其中指示或突出显示危险位置)来指示表面危险的位置。在一些实施例中，这可以按以下形式来出现：在所捕获图像520中的一个上方显示比较图像530，或显示被确定为受关注的危险或其他东西的比较图像530的至少若干子集。在其他实施例中，受关注的危险或对象可以被突出显示、圈起或以其他方式来指示。

在一些实施例中，输出可以包括给飞行员或驾驶员的关于运载工具的操作的提议，比如对某些操纵的建议。作为示例，基于检测到的表面状况(包括危险)，控制器430可以被配置成检测运载工具10的制动距离并且向飞行员、驾驶员或其他使用者提供关于制动距离的信息。在这方面，制动距离通常是在执行制动操纵以使运载工具10停住时运载工具10所行进的距离。当跑道、道路或其他路径具有比如冰、雪或水等某些表面状况时，制动距离可能会更长。在一些情况下，控制器430可以存储针对不同类型的表面状况而指示运载工具10的预期制动距离的预定义数据，并且查找或以其他方式检索与检测到的表面状况类型相关联的制动距离。在其他实施例中，控制器430可以基于运载工具10的所测量的性能参数(比如运载工具的地面速度或由运载工具的传感器测量的其他参数)来计算制动距离。这样的计算可以考虑检测到的表面状况的类型。如果期望的话，则控制器430可以提供用于指示估计制动距离的输出，并且使用者可以基于这样的信息来作出控制决策，比如使运载工具10改道远离表面危险(例如，为运载工具10选择新的着陆位置或新路径)或者选择某个制动程序来使运载工具10减慢或停止。作为示例，响应于会增加正常制动程序的制动距离的不利表面状况，飞行员可以选择倾向于减小制动距离或者不太受检测到的表面状况影响的不同制动程序。作为示例，当在跑道上着陆时，如果在跑道上检测到比如冰或水等表面危险，则飞行员可以选择利用反向推进器。

在一些实施例中，控制器430可以被配置成将估计制动距离与可用于制动程序的跑道或其他路径的长度进行比较，并且在制动距离超过这样的长度或在这样的长度的某个范围内的情况下提供警告。例如，如果控制器430确定估计制动距离接近所述跑道或其他路径的长度，则控制器430可以提供警告，以向飞行员或其他使用者指示制动程序对于检测到的表面状况的类型可能是不安全的。

在一些实施例中，控制器430可以被配置成从运载工具无线地发射用于指示表面状况的信息。例如，可以向地图服务或其他运载工具发送关于表面危险的信息以警告其他驾驶员或飞行员存在所述表面危险，或可以向地勤人员发送这样的信息，所述地勤人员然后可以采取行动来缓解或移除检测到的表面危险。

在一些实施例中，输出到输出界面440的上文描述的类似信息还可以或替代性地可以输出到飞行控制系统450，所述飞行控制系统可以基于这样的信息自主控制运载工具10的操作。作为示例，飞行控制系统450可以自主控制运载工具10，所述飞行控制系统可以基于由系统400检测到的表面状况来控制运载工具10。作为示例，飞行控制系统450可以被配置成选择将要使用的适当制动操纵，如针对基于使用者的决策所描述的，或基于表面状况来决定是否放弃着陆或以其他方式使运载工具10改道。如果运载工具10是飞行器，则飞行控制系统450可以基于表面状况来选择或建议合适的着陆区域。

对于陆上运载工具，可以对道路、路肩、桥梁等等进行评估。可以基于表面状况(比如当要发起防抱死制动、在危险上有限制动或将制动限制于无危险区域时)来改变制动特性。可以调整行进路径以将轮胎定位在人行道或路径的无危险区段上。

在一些实施例中，偏振传感器20可以附接到枢转座架或可移动座架，从而允许传感器20在运载工具10正移动时追踪受关注的区域。在其他实施例中，多个传感器20可以用于扩展在运载工具10周围的其表面状况能够被监测到的区域。在发现运载工具10的着陆区100不合适、或出于某种原因而必须紧急着陆的情况下，传感器20可以帮助扫描在运载工具10周围的区域、以及通过向运载工具操作者或飞行控制系统450提供关于各种可能着陆区100的表面状况的附加信息来定位可能着陆区域。

在一些实施例中，控制器430被配置成基于检测到的表面危险来处理图像。例如，图7描绘了用于检测表面危险的系统700的示例性实施例。如由图7所示出的，系统700具有用于从由偏振传感器405捕获的同一场景捕获非偏振光210的图像的光学传感器720。控制器430可以向输出界面440或飞行控制系统450提供非偏振光的所捕获图像(在下文被称为“非偏振图像”)以用于处理或分析。作为示例，输出界面440可以向飞行员显示非偏振图像，所述飞行员可以查看这样的图像以作出决策来导引运载工具10，比如找到合适的着陆区或使运载工具转向到达期望的区域。飞行控制系统450可以分析非偏振图像以作出类似的控制决策来导引运载工具10。

对于某些类型(例如，分类)的表面危险，表面危险的光学性质可能会在非偏振图像中造成伪影，所述伪影可能导致在处理或分析这样的图像时出现错误。在一些实施例中，当控制器430从偏振图像检测到某个类型的表面危险时，如上文所描述的，控制器430可以被配置成移除或以其他方式调整非偏振图像中的检测到的表面危险，以努力防止所述表面危险影响所述非偏振图像的后续处理或分析。

在这方面，控制器430可以被配置成确定检测到的表面危险在偏振图像中的一个或多个中的位置，并且然后识别在所述非偏振图像中相同表面危险应当位于的对应位置。也就是说，在从偏振图像检测到某个类型的表面危险时，控制器430可以识别所述表面危险在所述非偏振图像中的位置并且然后移除或以其他方式调整在所述非偏振图像中在这样的位置处的像素。

应注意，存在可以用于移除或调整在表面危险的位置处的像素的各种技术。作为示例，可以用预定义像素值替换在这样的位置处的像素值。替代性地，在非偏振图像中靠近表面危险(例如，距所述表面危险不超过某个距离)的周围像素值可以被平均化或以其他方式组合，以生成要用于替换所述表面危险的像素值的新像素值。在其他实施例中，用于调整表面危险的像素值的其他技术也是可能的。此外，通过移除或以其他方式调整在非偏振图像中的某些类型的表面危险的像素值，可以防止由会以其他方式存在于非偏振图像中的伪影所引起的至少一些错误。应注意，在由图4b描绘的实施例中，类似技术可以用于调整非偏振图像的像素值。

前文仅仅说明本公开的原理并且本领域的技术人员可以在不背离本公开的范围的情况下做出各种修改。上文描述的实施例被呈现用于说明而非限制目的。本公开还可以采取除本文明确描述的形式以外的许多形式。因此，要强调的是，本公开不限于明确公开的方法、系统和装置，而是打算包括本公开的变型和修改，所述变型和修改在以下权利要求的精神内。

作为又一示例，可以做出装置或过程参数(例如，配置、部件、过程步骤顺序等)的变化以进一步优化所提供的结构、设备和方法，如本文所示出和描述的。在任何情况下，本文描述的结构和设备以及相关联方法具有许多应用。因此，所公开的主题不应受限于本文描述的任何单个实施例，而是应根据随附权利要求在广度和范围方面被解释。

Claims (22)

1.一种用于运载工具的系统，包括：

至少一个光学传感器；

至少一个偏振滤光片，所述至少一个偏振滤光片被定位成过滤由所述至少一个光学传感器接收的光使得所述至少一个光学传感器提供多个偏振图像，所述多个偏振图像包括至少具有第一偏振的第一图像以及具有不同于所述第一偏振的第二偏振的第二图像；以及

控制器，所述控制器被配置成将至少所述第一图像和所述第二图像进行比较以评估在所述运载工具外部的区域的表面状况，所述控制器进一步被配置成基于所述控制器对所述表面状况的评估来执行至少一个行动。

2.根据权利要求1所述的系统，其中所述至少一个光学传感器耦合到所述运载工具。

3.根据权利要求1所述的系统，其中所述控制器被配置成基于所述表面状况来为所述运载工具选择路径。

4.根据权利要求1所述的系统，其中所述运载工具是飞行器，并且其中所述控制器被配置成基于所述表面状况来为所述飞行器选择着陆区。

5.根据权利要求1所述的系统，其中所述运载工具是飞行器，并且其中所述区域是所述飞行器的着陆区或滑行道。

6.根据权利要求1所述的系统，其中所述运载工具是飞行器，并且其中所述控制器被配置成基于表面状况而自主地控制所述飞行器的飞行参数。

7.根据权利要求1所述的系统，其中所述控制器被配置成基于对所述表面状况的所述评估来向所述运载工具的使用者提供警告。

8.根据权利要求1所述的系统，其中所述控制器被配置成从所述第二图像减去所述第一图像以提供差分图像，其中所述控制器被配置成对所述差分图像执行分割以识别在所述差分图像内的对象，其中所述控制器进一步被配置成将所述对象中的至少一个识别并分类为表面危险，并且其中所述系统包括输出界面，所述输出界面被配置成提供用于指示所述表面危险的分类的输出。

9.根据权利要求1所述的系统，其中所述控制器被配置成基于所述评估来识别在所述区域内的表面危险并将所述表面危险分类以及提供用于指示所述表面危险的分类的信息。

10.根据权利要求9所述的系统，其中所述控制器被配置成接收非偏振图像，并且其中所述控制器基于所述表面危险的所述分类被配置成识别在所述非偏振图像中与所述表面危险相对应的位置并且调整在所识别位置处的像素值。

11.根据权利要求9所述的系统，进一步包括被配置成向所述运载工具的使用者输出所述信息的输出界面。

12.根据权利要求9所述的系统，进一步包括被配置成从所述运载工具无线地发射所述信息的无线通信设备。

13.根据权利要求9所述的系统，其中所述表面危险是包括以下项的群组中的至少一个：水、冰和雪。

14.根据权利要求1所述的系统，其中所述控制器被配置成基于对所述表面状况的所述评估来识别对于所述运载工具的至少一个表面危险，并且其中所述系统进一步包括被配置成基于由所述控制器识别的所述至少一个表面危险来向所述运载工具的使用者提供输出的输出界面。

15.根据权利要求14所述的系统，其中所述输出指示由所述控制器识别的表面危险的类型。

16.根据权利要求14所述的系统，其中所述控制器被配置成确定所述表面危险的位置，并且其中所述输出指示所述位置。

17.根据权利要求16所述的系统，其中所述输出定义所述区域的地图，并且其中所述地图指示所述表面危险的所述位置。

18.根据权利要求14所述的系统，其中所述输出指示所述运载工具的制动操纵。

19.根据权利要求14所述的系统，其中所述控制器被配置成基于由所述控制器识别的所述至少一个表面危险来确定所述运载工具的制动距离。

20.根据权利要求19所述的系统，其中所述运载工具是飞行器，其中所述区域包括跑道，并且其中所述控制器被配置成将所述制动距离与所述跑道的距离进行比较。

21.一种非暂时性计算机可读介质，包括在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作的指令：

接收由运载工具的至少一个光学传感器捕获的多个图像，所述多个图像包括具有第一偏振的第一图像以及具有不同于所述第一偏振的第二偏振的第二图像；

执行在所述第一图像与所述第二图像之间的比较；

基于所述比较来评估在所述运载工具外部的区域的表面状况；以及

基于控制器对所述表面状况的评估来执行至少一个行动。

22.一种用于在运载工具上使用的方法，包括：

用所述运载工具的至少一个光学传感器捕获多个图像，所述多个图像包括至少具有第一偏振的第一图像以及具有不同于所述第一偏振的第二偏振的第二图像；

用控制器将所述第一图像与所述第二图像进行比较；

用所述控制器基于所述比较来评估在所述运载工具外部的区域的表面状况；以及

基于所述评估来控制所述运载工具的移动或向所述运载工具上的使用者提供信息。

Images