CN109323674A - 用于混合离地间隙确定的设备和方法 - Google Patents

Abstract

一种用于确定结构的离地间隙的方法和设备。该方法包括：基于时间持久性来从第一反射点信息中去除由于噪声引起的反射点以及生成第二反射点信息，基于卷积神经网络从照相机的图像中提取视觉特征，将第二反射点信息投射到图像上，基于投射的第二反射点信息和图像来生成区域提示，这些区域提示指示路径上方的潜在水平结构，基于生成的区域提示检测路径上方的静止水平结构，以及基于投射的反射点信息和图像来确定地面和检测的静止水平结构之间的距离。

Description

用于混合离地间隙确定的设备和方法

引言

根据示例性实施例的设备和方法涉及检测水平结构在行进路径之上的离地间隙。更具体地说，根据示例性实施例的设备和方法涉及检测水平结构在行进路径之上的离地间隙，并且确定物体是否会通过所确定的离地间隙。

发明内容

一个或多个示例性实施例提供一种方法和设备，该方法和设备通过使用与路径相对应的图像信息和雷达信息来检测水平结构在行进路径之上的离地间隙。更具体地说，一个或多个示例性实施例提供一种方法和设备，该方法和设备可通过关联来自远程雷达的反射点信息与来自照相机的图像信息来确定车辆是否可在水平结构下方通过。

根据示例性实施例的一方面，提供一种用于确定结构的离地间隙的方法。该方法包括：基于时间持久性来从第一反射点信息中去除由于噪声引起的反射点以及生成第二反射点信息，基于卷积神经网络从照相机的图像中提取视觉特征，将第二反射点信息投射到图像上，基于投射的第二反射点信息和图像来生成区域提示，这些区域提示指示路径上方的潜在水平结构，基于生成的区域提示来检测路径上方的静止水平结构，以及基于投射的反射点信息和图像来确定地面和检测的静止水平结构之间的距离。

该方法可进一步包括：从雷达接收第一反射点信息，该雷达配置成在一定区域处发射无线电波并且基于发射的无线电波来生成该区域的第一反射点信息，以及从照相机接收图像，该照相机配置成捕获该区域的图像。

去除反射点可包括：确定噪声反射点在多次检测到的反射点信息中是否出现阈值次数，以及如果噪声反射在反射点信息中并不出现阈值次数，就从第一反射点信息中去除噪声反射点。

基于生成的区域提示来检测路径上方的静止水平结构可包括：从生成的区域提示中丢弃与移动物体相对应的区域提示。

基于生成的区域提示来检测路径上方的静止水平结构可进一步包括：基于除了丢弃的区域提示以外的剩余生成区域提示的尺寸来检测水平结构。

将第二反射点信息投射到照相机的图像上可包括：关联第二反射点信息的位置与图像上的位置。

根据卷积神经网络从照相机的图像中提取视觉特征可包括：将一组内核应用施加于输入图像，并且确定针对卷积响应输出的阈值。

该方法可进一步包括：从面向车辆正面区域的照相机中接收照相机的图像。

该方法可进一步包括：从远程雷达传感器中接收第一反射点信息。

根据另一示例性实施例的一方面，提供一种用于确定结构的离地间隙的设备。该设备包括：至少一个存储器，该至少一个存储器包括计算机可执行指令；以及至少一个处理器，该至少一个处理器配置成读取并执行计算机可执行指令。计算机可执行指令致使至少一个处理器：基于时间持久性来从第一反射点信息中去除由于噪声引起的反射点以及生成第二反射点信息，基于卷积神经网络从照相机的图像中提取视觉特征，将第二反射点信息投射到图像上，基于投射的第二反射点信息和图像来生成区域提示，这些区域提示指示路径上方的潜在水平结构，基于生成的区域提示来检测路径上方的静止水平结构，以及基于投射的反射点信息和图像来确定地面和检测的静止水平结构之间的距离。

该设备可进一步包括远程雷达、照相机以及计算机可执行指令，该远程雷达配置成在一定区域处发射无线电波并且基于发射的无线电波来生成该区域的第一反射点信息，该照相机配置成捕获该区域的图像，且这些计算机可执行指令可致使至少一个处理器从雷达接收第一反射点信息并且从照相机接收图像。

计算机可执行指令可致使至少一个处理器通过如下方式来去除由于噪声引起的反射点：确定噪声反射点在多次检测到的反射点信息中是否出现阈值次数，以及如果噪声反射在反射点信息中并不出现阈值次数，就从第一反射点信息中去除噪声反射点。

计算机可执行指令可致使至少一个处理器通过如下方式来基于生成的区域提示来检测路径上方的静止水平结构：从生成的区域提示中丢弃与移动物体相对应的区域提示。

计算机可执行指令可进一步致使至少一个处理器通过如下方式来基于生成的区域提示来检测路径上方的静止水平结构：基于除了丢弃的区域提示以外的剩余生成区域提示的尺寸来检测水平结构。

计算机可执行指令可进一步致使至少一个处理器通过如下方式来将第二反射点信息投射到照相机的图像上：关联第二反射点信息的位置与图像上的位置。

计算机可执行指令可进一步致使至少一个处理器通过如下方式来根据卷积神经网络从照相机的图像中提取视觉特征：将一组内核应用施加于输入图像，并且确定针对卷积响应输出的阈值。

计算机可执行指令可进一步致使至少一个处理器从面向车辆正面区域的照相机中接收照相机的图像。

计算机可执行指令可进一步致使至少一个处理器从远程雷达传感器接收第一反射点信息。

计算机可执行指令可进一步致使至少一个处理器通过如下方式来根据卷积神经网络从照相机的图像中提取视觉特征：将一组内核应用施加于输入图像，确定针对卷积响应输出的阈值以及缩放特征图大小。

从示例性实施例的具体实施方式和附图中，示例性实施例的其它目的、优点以及新特征会变得更为显而易见。

附图说明

图1示出根据示例性实施例的确定结构的离地间隙的设备的框图；

图2示出根据示例性实施例的确定结构的离地间隙的方法的流程图；

图3示出根据示例性实施例的一方面的区域提示的视图；以及

图4示出根据示例性实施例的一方面的离地间隙评估的流程图。

具体实施方式

现将参照附图的图1-4详细地描述确定结构的离地间隙的设备和方法，其中，类似的附图标记指代全文的类似元件。

以下公开内容会使得本领域技术人员能实践本发明的概念。然而，这里公开的示例性实施例仅仅是示例性的，且并不将本发明的概念限制于这里描述的示例性实施例。此外，每个示例性实施例的特征或方面的描述通常应被认为可用于其它示例性实施例的各方面。

还应理解的是，在这里陈述为第一元件“连接于”、“附连于”第二元件、“形成在”或“设置在”第二元件上的地方，第一元件可直接地连接于第二元件、直接地形成在或直接地设置在该第二元件上，或者可在第一元件和第二元件之间存在居间元件，除非陈述为第一元件“直接地”连接于、附连于第二元件、“直接地”形成在或设置在该第二元件上。此外，如果第一元件配置成向第二元件“发送”信息或者从该第二元件“接收”信息，第一元件可将信息直接地发送至第二元件或者从该第二元件接收信息，经由网络发送或接收信息，或者经由中间元件发送或接收信息，除非第一元件指示为将信息“直接地”发送至第二元件或者从该第二元件接收信息。

在整个公开内容中，所公开的一个或多个元件可组合为单个装置或者一个或多个装置。此外，各个元件可设置在单独的装置上。

诸如卡车的车辆可有时拉动能由车辆牵引的拖车。可由车辆牵引的一些拖车包括第五轮式、鹅颈式或低安装联接器型拖车。该车辆在其通过桥梁或高速公路立交桥下方时可在水平结构下方拉动这些拖车。通常，拖车的高度可高于车辆的高度。此外，可能无法容易地确定地面和在车辆路径之上运行的水平结构之间的离地间隙或距离。

为了解决上述问题，车辆的操作者可观察由一个或多个传感器提供的信息。这些传感器可包括超声传感器、雷达传感器以及图像传感器。来自传感器的信息可指示水平结构的离地间隙以及车辆和/或拖车的高度。此种信息可用于确定在水平结构下方是否存在足够的离地间隙，并且在水平结构和车辆或拖车之间可能发生碰撞的情况中警告操作者。

图1示出根据示例性实施例的用于确定结构的离地间隙的设备100的框图。如图1中所示，根据示例性实施例的用于确定结构的离地间隙的设备100包括控制器101、电源102、存储器103、输出器104、雷达传感器105、用户输入106、图像传感器107以及通信装置108。然而，用于确定结构的离地间隙的设备100并不限于前述配置，且可配置成包括额外的元件和/或省略一个或多个前述元件。用于确定结构的离地间隙的设备100可实施为车辆的一部分、实施为独立部件、实施为车载装置和车外装置之间的混合件或者实施在另一计算装置中。

控制器101控制用于确定结构的离地间隙的设备100的总体操作和功能。控制器101可控制用于确定结构的离地间隙的设备100的存储器103、输出器104、雷达传感器105、用户输入106、图像传感器107以及通信装置108的一个或多个。控制器101可包括来自处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固定部件的组合的一个或多个。

控制器101配置成将信号发送至用于确定结构的离地间隙的设备100的存储器103、输出器104、雷达传感器105、用户输入106、图像传感器107以及通信装置108的一个或多个和/或从前述部件接收信息。该信息可经由总线或网络发送和接收，或者可直接地从用于确定结构的离地间隙的设备100的存储器103、输出器104、雷达传感器105、用户输入106、图像传感器107以及通信装置108的一个或多个读取或者写入至前述部件。合适网络连接的示例包括控制器区域网(CAN)、面向媒体系统传输(MOST)、局域互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11的无线网络以及诸如以太网的其它合适连接。

电源102向用于确定结构的离地间隙的设备100的控制器101、存储器103、输出器104、雷达传感器105、用户输入106、图像传感器107以及通信装置108的一个或多个提供电力。电源102可包括来自电池、出口、电容器、太阳能电池、发电机、风能装置、交流器等的一种或多种。

存储器103配置成用于存储信号和检索由用于确定结构的离地间隙的设备100使用的信息。存储器103可由控制器101控制，以存储和检索从雷达传感器105或图像传感器107接收的信息。所存储的信息可包括由图像传感器107捕获的图像信息，包括关于视觉特征、物体、结构、物体移动等的信息。此外，所存储的信息还可包括由雷达传感器105捕获的信息，包括反射点信息和对应的定时信息。此外，所存储的信息还可包括用于识别物体、结构、视觉特征等的卷积神经网络。存储器103还可包括计算机指令，这些计算机指令配置成由处理器执行，以执行用于确定结构的离地间隙的设备100的功能。

存储器103可包括来自软盘、光盘、CD-ROM(致密盘-只读存储器)、磁-光盘、ROM(只读存储器)、RAM(随机访问存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁性或光学卡、闪存存储器、高速缓存存储器、以及任何类型的适合于存储机器可执行指令的介质/机器可读介质的一种或多种。

输出器104输出呈一种或多种形式的信息，这些形式包括：视觉、听觉和/或触觉形式。输出器104可由控制器101控制，以向用于确定结构的离地间隙的设备100的用户提供输出。输出器104可包括扬声器、音频装置、显示器、位于中心的显示器、平视显示器、挡风玻璃显示器、触觉反馈装置、振动装置、碰触反馈装置、轻击反馈装置、全息显示器、仪表灯、指示器灯等等中的一种或多种。

输出器104可输出通知，包括来自听觉通知、光通知和显示器通知的一种或多种。该通知可指示针对车辆或拖车存在足够的离地间隙，或者可指示并不存在足够的间隙且警告水平结构和车辆或拖车之间存在潜在的碰撞。此外，输出器104可输出示出车辆正面区域的图像，包括视觉特征、水平结构、离地间隙或移动物体的一种或多种。

雷达传感器105配置成发射无线电波，并且提供反射点信息和对应的定时信息。根据第一示例，雷达传感器105可以是远程雷达传感器。雷达传感器105可包括发射器或发射天线，该发射器或发射天线配置成发射来自无线电波、电磁波和微波的一种或多种。雷达传感器105还可包括接收器或接收天线，该接收器或接收天线配置成接收来自无线电波、电磁波和微波的一种或多种，这些无线电波、电磁波和微波反射出雷达传感器正面的路径中的物体或结构。在一个示例中，反射点信息可指示物体或结构的位置、物体或结构的速率或者距物体或结构的距离。

用户输入106配置成向用于确定结构的离地间隙的设备100提供信息和指令。用户输入106可用于将用户输入等提供给控制器101。用户输入106可包括来自触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、照相机、触控板、鼠标、触摸板等的一种或多种。用户输入106可配置成接收用户输入，以确认或撤销由输出器104输出的通知。用户输入106还可配置成接收用户输入，以指示车辆高度、拖车高度、所需的离地间隙。此外，用户输入106还可配置成接收输入，以启用或停用用于确定结构的离地间隙的设备100。

图像传感器107可包括来自多个传感器的一种或多种，这些传感器包括成像传感器、照相机、红外照相机、视频照相机以及激光雷达。图像传感器107可提供来自一个或多个面向正面的照相机或图像传感器的一个或多个图像，可分析这些图像，以识别视觉特征并且确定哪个视觉特征与在图像传感器107正面的路径上方的水平结构相对应。

此外，可由雷达传感器105或图像传感器107或其它车辆传感器提供其它类型的信息，例如红外图像、距物体、结构或车辆的距离、物体、结构或车辆的速度、物体、结构或车辆的速率、物体、结构或车辆的加速度、物体、结构或车辆的行进方向或者物体、结构或车辆的尺寸。在一个示例中，可使用图像传感器107的照相机的焦距、边缘和视觉特征检测和/或像素坐标和距离信息来分析由图像传感器107提供的图像，以确定物体、结构等的尺寸和位置。物体和结构在若干不同时刻处的若干图像中的尺寸和位置可由控制器101分析，以确定上文公开信息的其它信息类型。

通信装置108可由用于确定结构的离地间隙的设备100使用，以根据各种通信方法与各种类型的外部设备通信。通信装置108可用于发送/接收信息，包括来自雷达传感器105的反射点信息和定时信息、来自图像传感器107的诸如图像信息的信息以及其它类型的信息。

通信装置108可包括各种通信模块，例如来自远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或者无线通信模块的一种或多种。广播接收模块可包括地面广播接收模块，该地面广播接收模块包括用于接收地面广播信号的天线、解调器以及均衡器等等。NFC模块是这样的模块，该模块根据NFC方法与位于附近距离处的外部设备通信。GPS接收器是这样的模块，该模块从GPS卫星接收GPS信号并且检测当前位置。有线通信模块可以是这样的模块，该模块经由诸如局域网、控制器区域网(CAN)或外部网络的有限网络来接收信息。无线通信模块是这样的模块，该模块通过使用诸如IEEE802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议连接于外部网络，并且与外部网络通信。该无线通信模块可进一步包括移动通信模块，该移动通信模块访问移动通信网络并且根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee的各种移动通信标准提供通信。

根据示例性实施例，用于确定结构的离地间隙的设备100的控制器101可配置成：基于时间持久性来从第一反射点信息中去除由于噪声引起的反射点以及生成第二反射点信息，基于卷积神经网络从照相机的图像中提取视觉特征，将第二反射点信息投射到图像上，基于投射的第二反射点信息和图像来生成区域提示，这些区域提示指示路径上方的潜在水平结构，基于生成的区域提示来检测路径上方的静止水平结构，以及基于投射的反射点信息和图像来确定地面和检测的静止水平结构之间的距离。用于确定结构的离地间隙的设备100的控制器101还可配置成从雷达接收第一反射点信息和从照相机接收图像。

卷积运算可将一组小(例如，3x3)核心应用施加于输入图像。整流线性单元(ReLU)然后可将阈值施加于卷积响应输出。最大汇集运算可从2x2模板中选择最大数值，而特征图的此存按照1/2的系数缩放。卷积神经网络可产生一堆不同规格的特征图，下层可具有小感受野用以检测小物体，而较高的层可具有较大的感受野用以检测大物体。范围图(例如，将雷达反射点投射到图像平面上的图)与视觉特征图相联系。

用于确定结构的离地间隙的设备100的控制器101可配置成通过如下方式来去除反射点：确定噪声反射点在多次检测到的反射点信息中是否出现阈值次数，以及如果噪声反射在反射点信息中并不出现阈值次数或者预定持续时间，就从第一反射点信息中去除噪声反射点。

用于确定结构的离地间隙的设备100的控制器101可配置成通过如下方式来基于生成的区域提示来检测路径上方的静止水平结构：从生成的区域提示中丢弃与移动物体相对应的区域提示。

用于确定结构的离地间隙的设备100的控制器101可配置成通过如下方式来基于生成的区域提示来检测路径上方的静止水平结构：基于除了丢弃的区域提示以外的剩余生成区域提示的尺寸来检测水平结构。

控制器101还可配置成通过如下方式来将第二反射点信息投射到照相机的图像上：关联第二反射点信息的位置与图像上的位置。

控制器101还可配置成从面向车辆正面区域的照相机接收该照相机的图像，以及从远程雷达传感器接收第一反射点信息。

图2示出根据示例性实施例的拖车识别的方法的流程图。图2的方法可由用于确定结构的离地间隙的设备100执行，或者可作为指令编码到计算机可读介质中，这些指令能由计算机执行以执行该方法。

参照图2，基于时间持久性从第一反射点信息中去除由于噪声引起的反射点，并且在操作S210中生成第二反射点信息。在一个示例中，如果噪声反射点在反射点信息中出现的时间段短于预定阈值时间或者如果噪声反射点出现的扫描次数少于雷达的预定阈值扫描次数，将噪声反射点去除。

在操作S220中，从由照相机获取的图像中提取视觉特征。通过使用卷积神经网络以识别待提取的视觉特征来提取视觉特征。在操作S230中，第二反射点信息投射到图像上。在一个示例中，第二反射点信息投射到图像中的一定位置上，该位置对应于反射点信息的真实世界位置。

基于投射的第二反射点信息和图像，在操作S240中生成指示潜在水平结构的区域提示。在操作S250中，检测照相机前面路径上方的静止水平结构。然后，在操作S260中，基于投射的反射点信息和图像来确定地面和检测的静止水平结构之间的距离。

图3示出根据示例性实施例的一方面的区域提示的视图。参照图3，通过与图像中视觉特征相对应的矩形或轮廓来说明区域提示。

矩形301与照相机正面路径上方的检测的水平静止结构相对应。矩形302与移动物体相对应，这些移动物体能从区域提示移除，因为它们并不对应于照相机正面路径上方的水平静止结构。此外，矩形303对应于图像中可通过使用卷积神经网络检测到的所有视觉特征。

图4示出根据示例性实施例的一方面的离地间隙评估的流程图。

参照图4，视觉特征图401从照相机正面路径的图像中生成。分析范围图402，该范围图从通过雷达提供的信息或者反射点信息来确定。区域提示403然后基于范围图402生成。可通过在特征图中保持小区来检测区域提示，这些小区具有最强本地响应，并且与雷达反射点的出现相关联。通过使用区域提示403和视觉特征图401来执行区域提示汇集404。

使用卷积神经网络执行区域提示的分类405，以检测静止水平结构。然后，执行离地间隙评估406，以检测地面和静止水平结构之间的距离。

这里公开的过程、方法或算法能输送至处理装置、控制器或计算机/由该处理装置、控制器或计算机实施，该处理装置、控制器或计算机能包括任何现有的可编程电子控制装置或专用电子控制装置。类似地，过程、方法或算法能以许多形式存储为可被控制器或计算机执行的数据和指令，这些形式包括但不限于永久地存储在诸如ROM装置的不可写存储介质上的信息和可变地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质上的信息。这些过程、方法或算法也能在软件可执行对象中实施。替代地，这些过程、方法或算法能整体地或部分地使用合适的硬件部件来体现，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置，或者硬件、软件和固件部件的组合。

上文已参照附图描述了一个或多个示例性实施例。上文描述的示例性实施例应仅仅以描述性意义考虑且并非用于限制的目的。此外，可修改示例性实施例，而不会偏离由以下权利要求所限定的本发明概念的精神和范围。

Claims (10)

1.一种确定结构的离地间隙的设备，所述设备包括：

至少一个存储器，所述至少一个存储器包括计算机可执行指令；以及

至少一个处理器，所述至少一个处理器配置成读取并执行所述计算机可执行指令，所述计算机可执行指令致使所述至少一个处理器：

基于时间持久性从第一反射点信息中去除由于噪声引起的反射点，并且生成第二反射点信息；

基于卷积神经网络从照相机的图像中提取视觉特征；

将所述第二反射点信息投射到所述图像上；

基于所述投射的第二反射点信息和所述图像来生成区域提示，所述区域提示指示路径上方的潜在水平结构；

基于生成的区域提示来检测所述路径上方的静止水平结构；以及

基于所述投射的反射点信息和所述图像来确定所述地面和所述检测的静止水平结构之间的距离。

2.根据权利要求1所述的设备，进一步包括：

远程雷达，所述远程雷达配置成在一定区域处发射无线电波，并且基于所述发射的无线电波生成所述区域的第一反射点信息；以及

照相机，所述照相机配置成捕获所述区域的图像，

其中，所述计算机可执行指令致使所述至少一个处理器从所述雷达接收所述第一反射点信息，并且从所述照相机接收所述图像。

3.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下方式去除由于噪声引起的反射点：

确定噪声反射点在多次检测到的反射点信息中是否出现阈值次数，以及

如果所述噪声反射在所述反射点信息中并不出现所述阈值次数，则从所述第一反射点信息中去除所述噪声反射点。

4.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下方式来基于所述生成的区域提示来检测所述路径上方的所述静止水平结构：从所述生成的区域提示中丢弃与移动物体相对应的区域提示。

5.根据权利要求4所述的设备，其中，所述计算机可执行指令进一步致使所述至少一个处理器通过如下方式来基于所述生成的区域提示来检测所述路径上方的所述静止水平结构：基于除了所述丢弃的区域提示以外的剩余生成区域提示的尺寸来检测所述水平结构。

6.根据权利要求1所述的设备，其中，所述计算机可执行指令进一步致使所述至少一个处理器通过如下方式将所述第二反射点信息投射到所述照相机的所述图像上：关联所述第二反射点信息的位置与所述图像上的位置。

7.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下方式来根据卷积神经网络从所述照相机的所述图像中提取视觉特征：将一组内核应用施加于输入图像，以及确定针对卷积响应输出的阈值。

8.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器从面向车辆正面区域的照相机中接收所述照相机的图像。

9.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器从远程雷达传感器接收所述第一反射点信息。

10.根据权利要求1所述的设备，其中，所述计算机可执行指令致使所述至少一个处理器通过如下方式来根据卷积神经网络从所述照相机的所述图像中提取视觉特征：将一组内核应用施加于输入图像，确定针对卷积响应输出的阈值以及缩放特征图大小。