CN108027248A - 具有基于特征的定位和导航的工业车辆 - Google Patents

具有基于特征的定位和导航的工业车辆 Download PDF

Info

Publication number
CN108027248A
CN108027248A CN201680050822.8A CN201680050822A CN108027248A CN 108027248 A CN108027248 A CN 108027248A CN 201680050822 A CN201680050822 A CN 201680050822A CN 108027248 A CN108027248 A CN 108027248A
Authority
CN
China
Prior art keywords
skylight
response
gloomy
function
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680050822.8A
Other languages
English (en)
Inventor
M·贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Equipment Corp
Original Assignee
Crown Equipment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Equipment Corp filed Critical Crown Equipment Corp
Publication of CN108027248A publication Critical patent/CN108027248A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

提供了一种工业车辆，包括驱动机制、转向机制、车辆控制器、相机和导航模块。所述相机以通信方式耦合到所述导航模块，所述车辆控制器对来自所述导航模块的命令作出响应，且所述驱动机制和所述转向机制对来自所述车辆控制器的命令作出响应。所述相机配置成捕获包括细长天窗和吊灯的仓库吊顶的输入图像，所述细长天窗的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率，所述吊灯的特征在于图像强度改变的圆形对称速率。所述导航模块配置成区分开所述吊灯与所述天窗并向所述车辆控制器发送定位的命令，或基于有效吊顶灯识别、有效天窗识别或这两者而为所述工业车辆导航穿过所述仓库。

Description

具有基于特征的定位和导航的工业车辆
相关申请的交叉引用
本申请要求2015年9月4提交的第62/214,445(CRNZ 0057 MA)号和2015年9月16提交的第62/219,259(CRNZ 0057 M2)号美国临时申请的权益。
技术领域
本公开涉及用于提供照明不变特征检测的系统和方法，且更具体地说，涉及用于提供用于特征检测的照明不变功能的系统和方法。
背景技术
为了围绕行业环境移动物件，工人常常利用工业车辆，包含例如叉车、手动和电动机驱动托盘车和/或其它材料处置车辆。工业车辆可配置成自动化引导式车辆或导航穿过环境的手动引导式车辆。为了方便自动化引导或任何类型的车辆导航，工业车辆可适于在环境内进行定位。也就是说，工业车辆可调适有用于定位的传感器和处理器，即，确定环境内的工业车辆的位置并任选地确定工业车辆的姿势。传感器可配置成检测环境中的物件，且定位可取决于从此类检测到的目标提取的特征。在例如US PG Pub.第2016/0090281和2016/0011595号中描述了具有此性质的系统。
发明内容
根据本公开的一个实施例，提供一种工业车辆，包括驱动机制、转向机制、车辆控制器、相机和导航模块。所述相机以通信方式耦合到所述导航模块，所述车辆控制器对来自所述导航模块的命令作出响应，且所述驱动机制和所述转向机制对来自所述车辆控制器的命令作出响应。所述相机配置成捕获包括细长天窗和吊灯的仓库吊顶的输入图像，所述细长天窗的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率，所述吊灯的特征在于图像强度改变的圆形对称速率。所述导航模块配置成区分开所述吊灯与所述天窗，并向所述车辆控制器发送基于有效吊顶灯识别、有效天窗识别或这两者而为所述工业车辆导航穿过所述仓库的命令。
更具体地说，预期所述导航模块能够执行机器可读指令从所述仓库吊顶的所述输入图像产生高斯尺度空间金字塔，其中所述高斯尺度空间金字塔包括多个尺度空间图像。所述模块计算所述高斯尺度空间金字塔内的每个图像的海森响应的行列式，并将具有相同大小和结构的海森响应金字塔的行列式构建成所述高斯尺度空间金字塔。所述模块还计算所述高斯尺度空间金字塔内的每个图像的海森响应的迹，并将具有相同大小和结构的海森响应金字塔的迹构建成所述高斯尺度空间金字塔。所述模块利用海森响应金字塔的所述行列式以识别所述仓库吊顶的所述输入图像中的吊顶灯候选，并利用海森响应金字塔的所述迹以识别所述仓库吊顶的所述输入图像中的天窗候选。所述吊顶灯候选经受吊顶灯候选特征处理以识别所述仓库中的有效吊灯，且所述天窗候选经受天窗候选特征处理以识别所述仓库中的有效天窗。
预期能够通过执行应用于所述仓库吊顶的所述输入图像的一系列级联图像平滑操作来产生所述高斯尺度空间金字塔，并能够通过与二项滤波核心的卷积来近似所述高斯尺度空间金字塔。还预期能够通过以次取样操作补充所述系列级联图像平滑操作来产生所述高斯尺度空间金字塔。能够依据可用导航模块计算能力而条件性地实施所述补充性次取样操作。
能够基于与二阶偏导数滤波核心卷积的每个尺度空间图像而计算海森响应的所述行列式和海森响应的所述迹。还预期能够通过减去混合的二阶偏导数项来计算海森响应的所述行列式。海森响应的所述行列式抑制对物件的响应，所述物件的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率。
所述行列式响能够用于多尺度非最大抑制，其中局部极大值定位于包括尺度和空间维度的窗口内。在此状况下，能够应用绝对最小阈值以防止过多有噪声误报行列式响应。所述行列式响应能够用于用来移除没有可能对应于吊灯的候选点的对关键点进行滤波函数中。所述对关键点进行滤波函数能够利用候选点上的其它滤波器以检查凭经验设定的阈值。所述其它滤波器能够包括按其检测到关键点的尺度、关键点的空间位置、所述关键点位置处的海森响应的所述行列式的量值、机器学习分类器、或周围区域的海森响应值的平均迹。最后，预期所述行列式响应能够用于用来改进吊顶灯候选关键点的空间位置和尺度的改进关键点函数中。
所述迹响能够用于海森响应图像函数的总和大尺度迹中，所述海森响应图像函数用于将来自海森响应金字塔的迹的海森响应图像的一系列迹求和成海森响应图像的积分后迹。预期能够在海森响应金字塔的所述迹内搜索天窗区域。所述迹响应能够由海森响应函数的阈值积分后迹进一步处理，其中使海森响应的所述迹平滑并应用阈值。所述阈值能够是固定或非固定的。还预期海森响应的所述迹能够用于连接分量滤波函数中，所述连接分量滤波函数用于基于海森响应图像的二进制阈值积分后迹而提取连接分量并对连接分量进行滤波。所述连接分量滤波函数能够针对大小和高宽比进行滤波，以选择大体上矩形的区域。
根据本公开的另一实施例，所述导航模块配置成区分开所述吊灯与所述天窗，并向所述车辆控制器发送基于有效吊顶灯识别、有效天窗识别或这两者而穿过所述仓库定位所述工业车辆的命令。
附图说明
对本公开的具体实施例的以下详细描述在结合以下附图时可以最好地理解，在附图中用类似的参考数字指示类似的结构且在附图中：
图1描绘根据在本文中展示并描述的一个或多个实施例的用于基于环境的定位的车辆；
图2描绘根据在本文中展示并描述的一个或多个实施例的基于环境的定位的相机特征提取/顶灯特征提取的示范性算法的流程图；
图3示意性地描绘根据在本文中展示并描述的一个或多个实施例的展示三个天窗的输入图像；
图4A和4B示意性地描绘根据在本文中展示并描述的一个或多个实施例的展示多行天窗和多个圆形灯的输入图像和阈值图像；
图5描绘根据在本文中展示并描述的一个或多个实施例的用于对圆形灯和天窗的照明不变特征检测的示范性算法的流程图；
图6示意性地描绘根据在本文中展示并描述的一个或多个实施例的尺度空间金字塔；
图7示意性地描绘根据在本文中展示并描述的一个或多个实施例的多尺度非最大抑制；
图8A和8B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图4A和图4B的输入图像上重叠的检测到的特征候选；且
图9描绘根据在本文中展示并描述的一个或多个实施例的用于吊顶灯候选特征检测的示范性算法的流程图；且
图10描绘根据在本文中展示并描述的一个或多个实施例的用于天窗候选特征感兴趣区域检测的示范性算法的流程图；
图11描绘根据在本文中展示并描述的一个或多个实施例的用于天窗提取的示范性算法的流程图；
图12示意性地描绘根据在本文中展示并描述的一个或多个实施例的图3的输入图像上重叠的天窗图像上方的已定向限界框；
图13示意性地描绘根据在本文中展示并描述的一个或多个实施例的图3的输入图像上方重叠的天窗图像上方的轴线对准感兴趣区域；
图14A和14B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图3的输入图像上重叠的线段选择；
图15示意性地描绘根据在本文中展示并描述的一个或多个实施例的图3的输入图像上重叠的线段配对选择；
图16A和16B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图3的输入图像上重叠的中心线特征；
图17示意性地描绘根据在本文中展示并描述的一个或多个实施例的展示一行天窗的输入图像；
图18示意性地描绘根据在本文中展示并描述的一个或多个实施例的图17的输入图像的边缘线；
图19A和19B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图17的输入图像上重叠的边缘线和感兴趣区域；
图20描绘根据在本文中展示并描述的一个或多个实施例的用于提取点定位的示范性算法的流程图；
图21A和21B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图17的输入图像的横向边缘；
图22A和22B示意性地描绘根据在本文中展示并描述的一个或多个实施例的图21A和21B的横向边缘的可用边缘和不可用边缘；且
图23示意性地描绘根据在本文中展示并描述的一个或多个实施例的图17的输入图像上重叠的点定位。
具体实施方式
本文中所描述的实施例大体上涉及用于从顶灯提取特征的基于环境的定位(Environmental Based Localization，EBL)技术，顶灯包含但不限于天窗。EBL可用以定位和/或为工业车辆导航穿过建筑结构，例如仓库。合适地，顶灯可安装于建筑物的吊顶中或上。但是，在一些实施例中，顶灯还可或替代地通过合适的结构从吊顶或墙壁悬吊下来。在一些实施例中，相机可安装到导航穿过仓库的工业车辆(例如自动化引导式车辆或手动引导式车辆)。输入图像可以是在从图像提取到特征之前从相机捕获到的任何图像。
首先参考图1，车辆100可配置成导航穿过仓库110。车辆100可包括用于提升并移动载荷的工业车辆，例如叉车、前伸式叉车、堆高车、牵引车、托盘车、高/低车、堆高车、拖车装载机、侧向装载机、叉式起重机等等。工业车辆可配置成沿着期望路径自动地或手动地为仓库110的表面122导航。因此，可通过使一个或多个车轮124旋转来向前和向后引导车辆100。此外，可通过使一个或多个车轮124转向致使车辆100改变方向。视情况，车辆可包括用于控制车辆的功能的操作人员控件126，所述功能例如但不限于车轮124的速度、车轮124的定向等等。操作人员控件126可包括分配给车辆100的功能的控件，例如开关、按钮、杠杆、手柄、操作杆、输入/输出装置等等。应注意，如本文所使用的术语“导航”可以意味着控制车辆从一个地点到另一地点的移动。
车辆100可进一步包括用于捕获过顶图像的相机102。相机102可以是能够捕获物件的视觉外观并将视觉外观变换成图像的任何装置。因此，相机102可包括图像传感器，例如电荷耦合器、互补型金属氧化物半导体传感器或其功能等效物。在一些实施例中，车辆100可定位于仓库110内，并配置成捕获仓库110的吊顶112的过顶图像。为了捕获过顶图像，相机102可安装到车辆100并聚焦于吊顶112。出于定义和描述本公开的目的，如本文所使用的术语“图像”可以意味着检测到的物件的外观的表示。图像可与多种机器可读表示提供，例如JPEG、JPEG 2000、Exif、TIFF、原始图像格式、GIF、BMP、PNG、Netpbm格式、WEBP、光栅格式、矢量格式或适合于捕获过顶物件的任何其它格式。
仓库110的吊顶112可包括过顶灯，例如但不限于用于从吊顶112或大体上从在仓库中操作的车辆上方提供照明的吊灯114。吊灯114可包括大体上矩形的灯，例如天窗116、萤光灯等等；且可安装在吊顶或墙壁结构中或从其悬吊下来以便从上方提供照明。如本文所使用，术语“天窗”可意味着备有用于准入日光的大体上透光的介质的吊顶或房顶中的孔径，所述介质例如空气、玻璃、塑料等等。虽然天窗可呈多种形状和大小，但是本文中所描述的天窗可包含可或可不由梁或横梁分裂成一系列面板的“标准”长、大体上矩形的天窗。替代地，天窗可包括矩形或环形形状的更小的离散天窗，其大小类似于卧室窗口，即，约30英寸乘约60英寸(约73厘米乘约146厘米)。替代地或另外，吊灯114可包括大体上圆形的灯，例如圆形灯118、可包括看起来是单个物件的多个邻近的圆形灯的合并灯120等等。因此，过顶灯或“吊灯”包含自然光(例如日光)和人造光(例如电驱动)的来源。在一些实施例中，吊灯是圆形对称圆形灯且天窗是大体上细长的。就几何形状来说，圆形对称是可按任何任意角度旋转并自身映射的平面对象的一种类型的连续对称。
本文中所描述的实施例可包括以通信方式耦合到相机102的一个或多个处理器104。一个或多个处理器104可执行机器可读指令以自动实施本文中所描述的方法或功能中的任一个。用于存储机器可读指令的存储器106可以通信方式耦合到一个或多个处理器104、相机102或其任何组合。一个或多个处理器104可包括处理器、集成电路、微芯片、计算机、或能够执行机器可读指令或已配置成以类似于机器可读指令的方式执行功能的任何其它计算装置。存储器106可包括RAM、ROM、闪存、硬盘驱动器，或能够存储机器可读指令的任何非暂时性装置。
一个或多个处理器104和存储器106可与相机102成一体。替代地或另外，一个或多个处理器104和存储器106中的每一个可与车辆100成一体。此外，一个或多个处理器104和存储器106中的每一个可与车辆100和相机102分离。举例来说，服务器或移动计算装置可包括一个或多个处理器104、存储器106或这两者。应注意，在不脱离本公开的范围的情况下，一个或多个处理器104、存储器106与相机102可以是以通信方式彼此耦合的离散组件。因此，在一些实施例中，一个或多个处理器104的组件、存储器106的组件与相机102的组件可以物理方式彼此分离。如本文所使用的短语“以通信方式耦合”意味着组件能够彼此交换数据信号，例如通过导电介质交换电信号、通过空气交换电磁信号、通过光学波导交换光信号等等。
因此，本公开的实施例可包括以任一代(例如1GL、2GL、3GL、4GL或5GL)的任何编程语言编写的逻辑或算法。逻辑或算法可写入为可由处理器直接执行的机器语言，或可编译或汇编成机器可读指令并存储于机器可读媒体上的汇编语言、面向对象编程(object-oriented programming，OOP)、脚本语言、微码等。替代地或另外，逻辑或算法可以硬件描述语言(hardware description language，HDL)编写。另外，可通过现场可编程门阵列(field-programmable gate array，FPGA)配置或专用集成电路(application-specificintegrated circuit，ASIC)或其等效物实施逻辑或算法。
如上文提及，车辆100可包括或以与一个或多个处理器104通信方式耦合。因此，一个或多个处理器104可执行机器可读指令以操作或替换操作人员控件126的功能。机器可读指令可存储于存储器106上。因此，在一些实施例中，车辆100可由执行机器可读指令的一个或多个处理器104自动导航。在一些实施例中，当车辆100被导航时，车辆的位置可由EBL监视。
举例来说，基于车辆100的已定位位置，车辆100可沿着所期望路径沿着仓库110的表面122自动地导航到期望位置。在一些实施例中，车辆100可确定车辆100相对于仓库110的已定位位置。可通过比较图像数据与地图数据来执行对车辆100的已定位位置的确定。可在存储器106中本地存储可周期性地更新的地图数据或由服务器提供的地图数据等等。在给定已定位位置和期望位置的情况下，可针对车辆100确定行进路径。一旦行进路径已知，那么车辆100可沿着行进路径行进以为仓库110的表面122导航。具体地说，一个或多个处理器104可执行机器可读指令以执行EBL功能并操作车辆100。在一个实施例中，一个或多个处理器104可调整车轮124的转向并控制节流，以致使车辆100为表面122导航。
现参考图2，示意性地描绘完全相机特征提取(CFE)算法10的功能序列的流程图。应注意，虽然在描绘的实施例中，功能被列举和描绘为按特定顺序执行，但在替代次序中，在不脱离本公开的范围的情况下，可执行所述功能。此外，注意到，在不脱离本文中所描述的实施例的范围的情况下，可省略所述功能中的一个或多个。
同时参考图1到3，CFE算法10可包括预处理函数20，预处理函数20用于在对输入图像200执行其它功能之前处理吊顶112的输入图像200。输入图像200描绘为已捕获了包含对应于仓库110的天窗116的天窗116的帧。在一些实施例中，预处理函数20可包括用于从输入图像200移除透镜扭曲效应的函数。替代地或另外，可通过有意地使输入图像200曝光不足以便突出显示吊灯114来捕获输入图像200，吊灯114可包含天窗116。已发现低曝光可有助于减少反射和其它杂散假影，假影可使特征提取处理更复杂的且更不可靠。
CFE算法10可进一步包括用于从吊顶112的输入图像200检测低等级特征的特征检测函数22。特征检测函数22可利用一个或多个特征检测算法，例如最大稳定极值区域(maximally stable extremal region，MSER)算法，与大津法(Otsu's method)组合的阈值处理步骤以从图像提取原始特征(即灯)、利用差动图像的照明不变低等级特征检测器、或等效算法。原始低等级特征可由点、由限界框界定的连接像素区域等等组成，并指示用于进一步处理以确定对于定位足够的特征的候选位置。具体地说，从输入图像200检测到的特征可由定位过程利用以确定由相机102捕获的吊灯114的位置。举例来说，可从例如大体上圆形的灯等圆形照明特征提取质心。此外，对于更小天窗，可在单个图像帧内捕获更小天窗的完全范围。因此，根据大体上圆形的灯，可应用质心提取函数。另外地或替代性地，拐角130或点定位可从更长或更大的大体上矩形的灯提取，例如由通过屋顶结构分离的一系列面板组成的长天窗。
同时参考图1到3，在用以确定输入到处理圆形灯函数26、处理合并灯函数28和处理天窗函数30中的候选特征区域的特征检测函数22期间，当输入图像200中的仓库吊顶灯114的外观不具有类似亮度时，例如具有大津法的阈值处理等算法可能无法实现EBL目的。
例如大津法等某些特征检测过程22可根据最大化类别间(前后台像素类别)变异数而找到最优全局图像阈值。在作品《来自灰阶度直方图的阈值选择方法。(A thresholdselection method from gray-level histograms.)》Automatica，11(285-296)、23-27(1975)中完全描述了大津法。相对于在每个位点处手动固定阈值，这允许以某种程度的灵活性和稳固性选择全局图像阈值。
使用大津法以确定跨越EBL位点的阈值确保阈值将根据每个位点处的吊灯114的亮度而变化。此方法最适合于具有全部具有类似亮度的人造灯的位置。在存在照明强度的大的变化的位置中，例如与天窗116相同，另一方法可以是更准确的。具体地说，如果存在具有不同亮度等级的多种类型的照明，或所得全局图像阈值不适合于输入图像200的较暗淡部分且遗失EBL的合乎需要的特征，那么使用大津法或类似方法以提取特征可能没有那么最优。
再次参考图2和5，展示了CFE算法10。特征检测函数22可并入有包含照明不变特征检测60的过程。此步骤用以检测待传递到特征分类函数24和处理圆形灯函数26以及处理合并灯函数28和处理天窗函数30上的候选特征。通过将不同尺度处的特征候选检测为差图像空间中的局部极大值，利用差动图像的照明不变低等级特征检测器60能够克服图像强度阈值处理的缺点，例如在上方对于大津法解释的那些缺点。
同时参考图4A和图4B，吊顶112的输入图像500和502可被视为出于EBL目的而通过大津法加以处理。在图4A中，图像的左侧展示原始输入图像500，且右侧描绘通过大津法提取的特征，其中天窗116已由处理器完全忽略。在图4B中，右手侧区段展示原始输入图像502中的若干天窗116的存在，但是，在处理之后，仅检测到最亮天窗116，如图4B的右手侧中展示。天窗116是最困难形式的仓库照明114，这是因为照明等级随白天时间的推移和天气条件而显著地变化。此外，日光光亮度可跨越场景不均匀地扩散，从而甚至留下具有明亮区段和暗淡区段的单个天窗116。
同时参考图2和5，特征检测函数22可包括用于低等级特征检测的照明不变特征检测函数60。举例来说，可从天窗116或圆形灯118提取候选特征。照明不变特征检测函数60可使得EBL能够对于照明等级高度可变的天窗拥挤的位点稳固地运行。因此，而非依赖于双模系统，例如大津法，照明不变特征检测函数60可将出于不同尺度下的灯候选特征416与天窗候选特征426检测成差图像空间中的局部极大值。
现参考图5，示意性地描绘照明不变特征检测函数60的功能序列的流程图。应注意，虽然在描绘的实施例中，列举并按特定顺序执行功能，但在替代次序中，在不脱离本公开的范围的情况下，可执行所述功能。此外，注意到，在不脱离本文中所描述的实施例的范围的情况下，可省略所述功能中的一个或多个。替代地或另外，照明不变特征检测函数60可独立于CFE算法10而执行。举例来说，通过在不同时间处执行的等效处理、通过与CFE算法10不同的处理器或这两者，可提供在本文中更详细地描述的照明不变特征检测函数60的输入。
同时参考图4A、4B、5、6、9和10，照明不变特征检测函数60可包括构建金字塔函数402，金字塔函数402用于在对输入图像200执行其它功能之前通过照明不变特征检测算法60处理吊顶112的输入图像200。构建金字塔函数402运行一系列级联图像平滑和次取样操作以产生图6中展示的形式的高斯(Gaussian)尺度空间金字塔404，金字塔404在一些实施例中可以是近似的高斯空间金字塔。具有大尺度的图像是已更平滑的图像；高斯模糊是低通滤波器，因此具有更多平滑的图像仅保持粗略的大特征。尺度空间构造可不涉及次取样，但其可能对于低功率硬件上之实时实施方案是必需的。换句话说，可依据可用导航模块计算能力而条件性地实施补充性次取样操作。出于性能原因，亦可通过与二项滤波核心卷积来近似高斯平滑操作。所构建金字塔输出近似高斯尺度空间金字塔404，以通过照明不变特征检测算法60进行滤波和处理。
照明不变特征检测函数60可包括差动滤波406，差动滤波406用于分别针对吊灯114和天窗116计算具有尺度空间金字塔404的大小和结构的海森响应金字塔408、418的海森的行列式和迹。具体地说，差动滤波406形成响应金字塔408、418以区分开吊灯114与天窗116。差动滤波406从包括吊顶物件(吊灯114、天窗116)的仓库吊顶112的输入图像200取得近似高斯尺度空间金字塔404作为输入。应用差动滤波406以计算近似高斯尺度空间金字塔404内的每个图像的海森响应的行列式，以构建海森响应金字塔408的行列式。应用差动滤波406以计算近似高斯尺度空间金字塔404内的每个图像的海森响应的迹，以构建海森响应金字塔418的迹。计算响应金字塔408、418，使得它们与近似高斯尺度空间金字塔404具有相同大小和结构。响应金字塔408、418用以识别吊顶物件候选，即使用海森响应金字塔408的行列式以吊顶灯候选416并使用海森响应金字塔418的迹以找到天窗候选426。举例来说，吊顶灯候选经受吊顶灯候选特征处理以识别仓库110中的有效吊灯114。在另一实例中，天窗候选经受天窗候选特征处理以识别仓库110中的有效天窗116。海森响应的行列式抑制图像200中的细长结构，比如天窗116，并因此更适合于识别圆形对称特征，比如圆形吊灯114。海森响应的迹不抑制图像中的细长结构，并可用以识别图像200中的天窗116或其它类似细长特征。
应注意，通过构建金字塔函数402产生的尺度空间金字塔404中的每个尺度空间图像与二阶偏导数滤波核心卷积，如以下方程式中展示：
Lxx＝[1 -2 1]*L和和
根据方程式的第二阶偏导数核心，L是来自尺度空间金字塔404的尺度空间图像，且*指示滤波核心与L卷积以产生差图像。这三个差动图像的计算意味着海森矩阵已知，如下文所展示：
由此，根据以下方程式，可针对尺度空间金字塔404中的每个尺度空间图像而计算海森矩阵的尺度归一化行列式408和迹418响应：
TR＝σI(Lxx+Lyy)
在此处，需要当前尺度空间图像的高斯平滑的变异数σ2的乘法和标准偏差σ，以尺度归一化所得响应并考虑高度平滑图像中的值的减小量值。这允许直接比较来自相邻尺度图像的差动响应。减去行列式408中的混合二阶偏导数LXY项具有抑制对物件的响应的效果，所述物件的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率，即，长的物件，比如天窗116。圆形对称灯118在两个轴线中具有相同变化率并产生强烈的响应。出于此原因，海森响应的行列式408接着用以找到圆形灯候选特征416，如5图中展示。替代地或另外，海森的迹418对圆形对称斑点和更长的脊线类斑点两者作出响应，因此其可用以找到天窗候选区域。
同时参考图5、7和9，照明不变特征检测函数60可包括用于圆形灯118检测的多尺度非最大抑制函数410。在此处，检测类似于标准计算机视觉关注点检测器。具体地说，局部极大值定位于尺度和空间维度中的3×3×3窗口440内。因此，对于行列式图像每个像素532，抑制了相比于其在当前和邻近尺度图像中的3×3像素区域中的26个相邻者不是最大的所有点。图7说明此3×3×3窗口。应注意，为了清晰起见，尺度空间的金字塔实施方案中使用的次取样操作意味着如果更粗略尺度图像相邻者具有更小的大小/分辨率，那么准确的尺度相邻者无法被找到。此外，应用绝对最小阈值以防止过多有噪声误报响应。如图7中展示，如果窗口530中的局部最大值像素534相对于其相邻像素532在尺度和空间上最大，那么局部最大值像素534保持为海森响应的行列式中的局部最大值。
参考图9，照明不变特征检测函数60可包括用于移除没有可能对应于吊灯的候选点的对关键点进行滤波函数412，所述吊灯例如不满足阈值的吊灯。不管多尺度非最大抑制函数410，可返回许多候选点，如果阈值设定成过低并挑选暗淡的灯，那么可返回数百个候选点。有必要将此集合滤波直到有可能实际上对应于吊灯的那些候选点。具体地说，应注意，具有海森值的负迹的海森极大值的所有行列式在对应于暗背景上的表示灯的明亮斑点时保持，且具对应于暗斑点的有正值的行列式被移除。对关键点进行滤波函数412可接着使用候选点上的若干其它滤波器以检查凭经验设定的阈值。这些滤波器可包含检测到关键点、关键点的空间位置、关键点位置处的海森响应的行列式的量值、以及周围区域的海森值的某一平均迹。替代地或另外，可利用使用统计和机器学习技术的训练分类器。此分类器可将上文所描述的属性用作特征描述符，或替代地或另外，其可利用其它建立的特征描述符，例如哈尔类特征、梯度直方图等等。
参考图9，照明不变特征检测函数60可包括用于改进被相信是吊灯的关键点的空间位置和尺度的改进关键点函数414。具体地说，这可使用跨越x、y和尺度维度中的每一个的二次内插来完成，可从计算机视觉特征检测领域搜集所述维度的细节。改进关键点函数414输出吊顶灯候选特征416以由CFE算法10进一步处理。
参考图10，照明不变特征检测函数60可包括用于将来自迹响应金字塔418的一系列迹响应图像求和成积分后迹的海森图像函数420的总和大尺度迹，在所述迹内搜索天窗116区域。预期天窗检测可由跨尺度搜索组成，例如用以输出吊顶灯候选特征416的点/灯候选检测过程。确定尺度空间线或脊线比确定单点更复杂。多个粗略尺度迹图像(粗略尺度是因为天窗116一般是比圆形吊灯118大得多的特征)有助于考虑天窗大小的一些变化，并将剩余处理最终简化成单图像处理问题而非完整的金字塔418。
参考图10，照明不变特征检测函数60可包括用于进一步处理迹响应418的阈值积分后迹响应函数422。具体地说，迹响应418平滑并应用阈值。预期阈值可或可不固定。同时参考图8A、8B和10，照明不变特征检测函数60可包括用于提取连接分量并对连接分量进行滤波的连接分量滤波函数424。连接分量可从海森图像的二进制阈值积分后迹提取，并可针对大小和高宽比或其它合适的属性而进行滤波，以选择大体上矩形的区域。在一些实施例中，海森响应的迹用于连接分量滤波424函数中，所述连接分量滤波函数用于提取从海森响应图像的二进制阈值积分后迹提取的连接分量并对其进行滤波。
通过滤波标准的大体上矩形的区域可由已定向限界框感兴趣区域426表示，并将传递到现有处理天窗算法30和点定位提取算法40上。另外，可在滤波之后使用预期灯候选与天窗候选之间的额外验证或滤波以移除误报。图4A的输入图像500在图8A中展示为已由照明不变特征检测函数60处理。已按比不具有照明不变特征检测函数60的情况高得多的灵敏度检测到特征候选。同样地，图4B的输入图像502在图8B中展示为已由照明不变特征检测函数60处理。同样地，检测的灵敏度已对于特征候选增大。
同时参考图2、6和9，在特征检测函数22完成时，其可实施为照明不变特征检测器60，使低等级候选特征416和426可用，以例如由处理圆形灯函数26和处理天窗函数30进一步处理。在一些实施例中特征分类步骤24可用以进一步区分开对应于例如合并灯等其它吊顶灯类型114的低等级候选特征。另外地或替代性地，特征分类步骤24可用以将例如由反射引起的特征候选等不期望误报特征候选分类为噪声类，并在其后丢弃这些特征候选免于争用以用于进一步处理。特征分类步骤24可实施为使用统计和机器学习技术的训练分类器，并可并入有或与对于对关键点进行滤波函数412描述的分类器过程共存。
同时参考图3、10、11和12，示意性地描绘处理天窗函数30的功能序列的流程图。应注意，虽然在描绘的实施例中，列举并按特定顺序执行功能，但在替代次序中，在不脱离本公开的范围的情况下，可执行所述功能。到处理天窗函数30的输入可以是呈已定向限界矩形形式的天窗候选区426。天窗候选区426可由照明不变特征检测算法60定位。来自处理天窗函数30的输出可以是可由中心线特征组成和替代地或另外由天窗面板拐角130或点定位特征组成的天窗特征。这些天窗特征可最终形成向EBL定位算法的剩余部分报告的所述组特征54的部分，以确定仓库110内部的车辆100的位置。
同时参考图11到15，处理天窗函数30可包括用于将已定向限界框426变换成二进制边缘图像436的产生边缘图像函数32。已定向限界框是由照明不变特征检测算法60定位的天窗候选区426，并可按任何角度定向。产生边缘图像函数32可包括能够可重复地将限界框426变换成二进制边缘图像436的任何算法。在一个实施例中，轴线对准的限界框438适应于是如图11中所描绘的候选区域的已定向限界矩形426。轴线对准限界框438是含有已定向限界框426的四个拐角的最小轴线对准矩形。每个轴线对准的限界框438可用以将原始完全大小图像裁剪成一系列更小的图像；每个天窗候选区426一个图像。使用子图像而非完全大小图像有助于通过降低待在后续图像处理操作中处理的像素的数目来提高计算效率。每个子图像接着变换成二进制边缘图像436。二进制边缘图像436是用来输入到霍夫变换算法中的合适形式。边缘图像436使用坎尼(Canny)边缘检测算法来产生，但可使用用于产生二进制边缘图像436的等效方法来产生。
在一些实施例中，对边缘图像436的质量有益的是，从跨越输入图像200的相当大的比例延伸的天窗116检测到的的长限界框426在执行产生边缘图像函数32之前分裂成两个或更多个限界框426。举例来说，在坎尼边缘检测算法的状况下，如果跨越天窗116长度存在其显著的亮度变化，那么低和高阈值可能并不适合于产生良好边缘图像436。将大限界框426分裂成两个或更多个更小限界框提高产生边缘函数32中的后续处理的定位性。
同时参考图2、3和11，在一些实施例中，可使用例如索贝尔算子(Sobel operator)等一阶导数算子来在产生边缘图像32期间计算输入图像200的x和y梯度图像。这些梯度图像对于坎尼边缘检测算法是必需的，但替代地或另外，可用以在处理天窗函数30或CFE算法10的后续阶段中计算可保留以用于处理操作中的梯度量值和定向图像，处理操作包含但不限于滤波操作。举例来说，梯度量值和定向图像可用以推理出霍夫变换线提取函数34中检测到的的线的强度和方向，并在其中辅助移除不准确或以其它方式不期望的线。
同时参考图11到16A，处理天窗函数30可包括用于从二进制边缘图像436确定边缘线434的霍夫变换(Hough transform)线提取函数34。每个边缘图像436由霍夫变换线提取函数34处理以找到边缘线段434。对应于边缘图像436的天窗候选区426可用以有助于设置霍夫变换以预先处理提取函数34来沿着天窗116的纵向边缘返回边缘线434。具体地说，可计算天窗候选区426的更长边缘的角度，且围绕这个角度的受限制范围可在梯度定向图像中经阈值处理以产生二进制图像遮罩。遮罩可应用于二进制边缘图像436，以使得过于不类似于期望纵向边缘线的梯度定向的边缘上的像素被抑制，并不输入到霍夫变换。这会提高计算效率，这是因为在霍夫变换的表决阶段中存在更少的像素要处理，并另外例如通过抑制在与所需线大体上垂直的定向上的线来提高输出线的质量，由此降低在霍夫变换函数34之后对于其它线滤波阶段的需要。替代地或另外，可使用对天窗候选区426的定向角度的了解来设定在霍夫变换中表决通过的每个像素的角度范围，这还提高计算效率并有助于移除非想要线。图14A展示由霍夫变换以上文所描述的角度范围限制返回的线段的可能集合；应注意，尚未检测到天窗面板间隔处的大体上垂直的定向上的线段。此外，霍夫变换可仅设定成某一长度上方，例如候选区边界矩形426的长度的额定部分上方的返回线，如图14B中展示，其中已移除图14A的更短线。
处理天窗函数30可包括对天窗边缘函数36，对天窗边缘函数36将由霍夫变换线提取函数34提取的天窗边缘线段434视作输入，并针对每个天窗116选择可稍后用以确定中心线250的一对这些纵向边缘线段434。在一个实施例中，在图15中展示对天窗边缘函数36的结果。纵向边缘配对函数36将最强线434选作第一边缘，并接着试图定位角度和距离类似于天窗候选区域426的宽度的配对线段434。
已发现，此方法可能有时返回错误的结果；举例来说，如果图14B中的最右最长边缘分段434被视为第一边缘分段246，那么其可与沿着天窗的中间执行的一个大体上平行的线错误地匹配。由于例如引起如图14A到15中所见的天窗的断裂外观的等现象，例如闭塞，以及跨越110内的天窗116的观察到大小的差异，可能难以调谐参数以始终选择正确的第二配对边缘分段。在替代性实施例中，可假设已限界框436(也就是说，天窗候选区)是图像中的天窗位置的足够准确的指示符，并用以引导线段配对过程。具体地说，对于矩形已定向限界框426的更长边缘中的每一个，由霍夫变换线提取函数34提取的对应候选线段434可按距离以最近到最远的顺序分类，其中距离可定义为已定向限界框426的的长边缘的中点与穿过已定向限界框426的长边缘的中点且垂直于长边缘的线与当前候选线段434的相交点之间的距离。随后，对于天窗候选已定向限界框426的每个长边缘分段，相应优胜候选线段434可选为具有最小距离的线段。在离优胜线段的某一小距离阈值内存在多个线段434的状况下，可执行非最大抑制例程，所述例程使用在产生边缘图像函数32阶段处计算并保留的梯度量值图像，其中选择具有最大平均梯度量值或替代地或此外具有沿着线的最大渐增梯度量值的线段434。在此实施例中，纵向边缘配对函数36更有可能一致地选择并配对如图15中展示的最外部边缘分段。
同时参考图2、11和14A到16B，处理天窗函数30可包括中心线计算函数38，中心线计算函数38用于从由纵向边缘配对函数36选择的两个边缘线计算每个天窗116的中心线250。具体地说，如由边缘配对函数36选择的第一边缘线246和第二边缘线248可用以导出每个天窗116的中心线250。
可基于第一边缘线246和第二边缘线248而计算中心线250。为清楚起见，应注意，第一边缘线246和第二边缘线248和所得物中心线250中的每一个可指定为线段(图9B)或无限长线(图9A)。用于找到中心线的方法对于任一种状况类似——如果第一边缘线246和第二边缘线248提供为线段，那么它们可被外插并被视为无限长线。
同时参考图2、11、17和18，如上文详细描述，可提供具有天窗116的吊顶112的输入图像240。应注意，为了清晰起见，天窗116在图17和18中表示为检测到的原始天窗特征的边界。可分析输入图像240以确定天窗116的第一边缘线246和第二边缘线248。举例来说，CFE算法10，具体地说，一直到纵向边缘配对函数36的处理天窗函数30阶段，可用以从输入图像240提取第一边缘线246、第二边缘线248和相关联端点。第一边缘线246和第二边缘线248在图18中描绘为在天窗116上重叠。第一边缘线246和第二边缘线248可以是沿着天窗116纵向延伸的纵向边缘线段。当外插超出所描绘纵向分段时，第一边缘线246与第二边缘线248可在消失点252处汇聚，消失点252远离图17的输入图像240定位。具体地说，第一边缘线246可由与第一边缘线246对准的第一外插射线254扩展。第二边缘线248可由与第二边缘线248对准的第二外插射线256扩展。第一外插射线254和第二外插射线256中的每一个可至少扩展到消失点252，以表示第一边缘线246与第二边缘线248的汇聚。
天窗116的中心线250可安置于第一边缘线246与第二边缘线248之间。在一些实施例中，中心线250可表示为成角度地在第一边缘线246与第二边缘线248的消失点252处起源的连续线，所述角度平分第一边缘线246与第二边缘线248。具体地说，第一边缘线246与第二边缘线248可按角度相对于彼此定向。因此，中心线250的角度可以是从第一边缘线246或第二边缘线248测量的角度的约一半。应注意，在本文中提供第一外插射线254和第二外插射线256主要用于澄清消失点252的位置。因此，应理解，所描述实施例不必利用此类射线来确定消失点252。实际上，可以优选的是从第一边缘线246和第二边缘线248直接确定消失点252的位置。
同时参考图17到19A，如在上文以无限长线形式描述的天窗116中心线250可作为用以辅助车辆100的定位和替代地或另外辅助其导航的特征直接报告给EBL，或替代地或另外，可变换成中心线分段。参考图19A，第一边缘线段246的第一端点260和第二端点262可投射到图18中的中心线250的无限线表示上。类似地，第二边缘线段248的第一边缘点264和第二边缘点266可投射到中心线250上。可基于与消失点252的接近度而对第一边缘线246的已投射端点与第二边缘线248的已投射端点进行配对。具体地说，可配对并平均化最接近消失点252的已投射端点，在此状况下第一边缘线246的第一端点260和第二边缘线248的第一端点264的投射，以找到定界中心线分段250的一端的第一端点282。因此，可配对并平均化最远离消失点252的已投射端点，在此状况下第一边缘线246的第二端点262和第二边缘线248的第二端点266的投射，以找到定界中心线分段250的另一端的第二端点284。
参考图16B，针对图3中引入的实例图像200而展示上文对于中心线计算函数38所描述的过程的结果。可从已配对端点确定中心线250。具体地说，中心线250可以是由第一端点282和第二端点284分界的线段。可从第一边缘线246的第一端点260和第二边缘线248的第一端点264确定中心线250的第一端点282，如上文所提及，第一端点260与第一端点264可配对。可从第一边缘线246的第二端点262和第二边缘线248的第二端点266确定中心线250的第二端点284，第二端点262与第二端点266也可配对。在一些实施例中，可通过平均化第一边缘线246和第二边缘线248的端点的相应对中的每一个来确定中心线250的第一端点282和第二端点284。
同时参考图16A到16B，中心线250、第一边缘线246、第二边缘线248、对应霍夫坐标(用于无限长线)、对应端点(用于线段)或天窗候选区426中的每一个的其组合可与天窗116中的一个相关联，且EBL可用以提供用于为车辆导航的特征，或可由以通信方式耦合到EBL的显示器呈现。应注意，存在可根据由车辆导航的特定位点的CFE算法的每个函数而配置的数个参数(例如阈值)。因此，本文中所描述的实施例可进一步包含用于确定参数的精确值的校准阶段。
同时参考图1、17和19A，本文中所描述的实施例可用于具有各种类型和量的吊灯114的环境中。举例来说，仓库110的吊顶112可具有不充分数目个圆形灯118或合并灯120以用作用于导航的特征。举例来说，输入图像240可不包含任何圆形灯118或合并灯120。已发现EBL可能在配备有遗失从圆形灯118或合并灯120提取的互补点特征的特征集时已降低准确性。也就是说，从天窗116提取的中心线250可能不完全限制车辆100的定位并产生不准确的解决方案。举例来说，EBL可能不能够准确地确定车辆100沿着中心线250定位多远。
同时参考图1和11，天窗116可横跨吊顶112的区段并沿着列128大体上布置。在一些实施例中，可修改处理天窗函数30，使得除了从天窗116提取中心线特征作为EBL特征以外，处理天窗函数30还可进一步包括用于提取点定位特征的点定位函数40。举例来说，可从天窗116的拐角130提取点定位特征。点定位特征可使得EBL能够对于天窗拥挤的圆形灯稀少的位点准确地执行。因此，而非在确定之后将中心线特征250直接报告给EBL，处理天窗函数30可将中心线和边缘线特征用作输入来提取点定位特征。
现参考图20，示意性地描绘点定位函数40的功能序列的流程图。应注意，虽然在描绘的实施例中，列举并按特定顺序执行功能，但在替代次序中，在不脱离本公开的范围的情况下，可执行所述功能。具体地说，在一些实施例中，可能需要切换角度滤波函数306与长度滤波函数310的顺序。在一些实施例中，可在相交函数308之前执行角度滤波函数306。此外，注意到，在不脱离本文中所描述的实施例的范围的情况下，可省略所述功能中的一个或多个。具体地说，可省略角度滤波函数306、长度滤波函数310、或角度滤波函数306和长度滤波函数310两者。此外，注意到，在不脱离本文中所描述的实施例的范围的情况下，可省略感兴趣区域函数302。替代地或另外，可独立于CFE算法10和处理天窗函数30而执行点定位函数40。举例来说，可通过等效过程提供在本文中更详细地描述的点定位函数40的输入，在不同时间处，通过与点定位函数40不同的处理器，或这两者执行等效过程。
同时参考图11、19A和20，在步骤300处，点定位函数40可接收输入特征，例如第一边缘线246、第二边缘线248、天窗116的中心线250、或其组合。如上文所提及，第一边缘线246、第二边缘线248、中心线250中的每一个可提供为线段。因此，第一边缘线246可由第一端点260和第二端点262分界。第二边缘线248可由第一端点264和第二端点266分界。中心线250可由第一端点282和第二端点284分界。
同时参考图11、18和20，第一边缘线246、第二边缘线248和中心线250中的每一个可提供为线段。在一些实施例中，在执行中心线计算函数38之后，处理天窗函数30可提供第一边缘线246、第二边缘线248、中心线250和天窗116的消失点252。替代地或另外，第一边缘线246、第二边缘线248、中心线250和天窗116的消失点252可通过单独过程提供，并提供为直接输入。
同时参考图19A到20，点定位函数40可包括用于选择天窗116的用于确定点定位特征的可使用部分的感兴趣区域函数302。感兴趣区域函数302可用以提高点定位函数40的准确性和效率。举例来说，在具有相对高吊顶高度和多行长灯的位点中已发现，所提取中心线可能不符合跨越完整图像的等的中心。此类错误可由图像扭曲引起，图像扭曲是由于相机透镜、对用以计算所提取中心线的边缘分段的糟糕选择或这两者。此外，已发现，可通过以感兴趣区域函数302限制天窗116的面积来提高点定位函数40的准确性。
一般来说，感兴趣区域258可设定成与天窗116的可使用部分重合，即，由感兴趣区域258限界的区域包含天窗116的子集。在一些实施例中，可将中心线250用作参考来确定感兴趣区域258。具体地说，中心线250可用作用于确定感兴趣区域258的轴向基准。举例来说，感兴趣区域258可由与中心线250对准的轴线限界框产生，并由限界最大区域的第一边缘线246和第二边缘线248的端点分界。因此，感兴趣区域258可由第一边缘线246的第二端点262和第二边缘线248的第一端点264分界，使得感兴趣区域258的相对拐角被设定成第一边缘线246的第二端点262和第二边缘线248的第一端点264。
替代地或另外，可将中心线250用作参考来确定比感兴趣区域258更具限制性的感兴趣区域259。具体地说，中心线250的第一端点282和第二端点284可投射于第一边缘线246和第二边缘线248上以产生相交点286。视情况，可外插第一边缘线246和第二边缘线248以确定相交点286。因此，感兴趣区域259可由相交点286中的一个或多个分界。具体地说，感兴趣区域259的相对拐角可设定成相交点286中的任何两个，例如但不限于产生最大面积的相交点286、引起最小面积的相交点286、或致使相交点286中的每一个ui感兴趣区域259重合的相交点286。
同时参考图18和19B，可使用消失点252、第一边缘线246和第二边缘线248来确定感兴趣区域258。举例来说，可通过相对于消失点252计算第一边缘线246与第二边缘线248的端点之间的距离来确定感兴趣区域258。具体地说，第一边缘线246的第一端点260可比第一边缘线246的第二端点262更接近消失点252。第二边缘线248的第一端点264可比第二边缘线248的第二端点266更接近消失点252。
在一些实施例中，可在第一边缘线246与第二边缘线248的端点之间设定离消失点252的最大距离和离消失点252的最小距离的感兴趣区域258。具体地说，如图18中所描绘，第一边缘线246的第二端点262可以是第一边缘线246和第二边缘线248的离消失点252的最大距离的端点。第二边缘线248的第一端点264可以是第一边缘线246和第二边缘线248的离消失点252的最小距离的端点。因此，感兴趣区域258可由第一边缘线246的第二端点262和第二边缘线248的第一端点264分界。举例来说，感兴趣区域258可限界与天窗116重合的大体上矩形的区域，使得感兴趣区域258的相对拐角被设定成第一边缘线246的第二端点262和第二边缘线248的第一端点264。
再次参考图18到19B，感兴趣区域268可由第一边缘线246与第二边缘线248的重叠部分分界。一般来说，感兴趣区域268是本文中所描述的最具限制性的感兴趣区域。重叠部分可由第一边缘线246和第二边缘线248的端点界定。在一些实施例中，感兴趣区域268可由第一边缘线246和第二边缘线248的产生最小面积的端点所分界的轴线对准限界框界定。因此，感兴趣区域268可包含由第一边缘线246的第一端点260和第二边缘线248的第二端点266分界的重叠部分。
替代地或另外，可利用消失点252来确定感兴趣区域268。具体地说，第一边缘线246和第二边缘线248中的每一个可各自具有最接近消失点252的，近端点在图18中描绘为第一端点260和第一端点264。第一边缘线246和第二边缘线248中的每一个可具有最远离消失点252的远端点，远端点在图18中描绘为第一端点260和第一端点264。感兴趣区域268可由最远离消失点252的近端点和最接近消失点252的远端点分界。具体地说，如图18中所描绘，第一边缘线246的第一端点260可选为最远离消失点252的近端点。第二边缘线248的第二端点266可选为最接近消失点252的远端点。
同时参考图19B到21B，点定位函数40可包括用于从天窗116提取横向边缘270的横向线提取函数304。横向线提取函数304可包括本文中在上文描述的特征提取算法，例如但不限于霍夫变换。横向线提取函数304可配置成从天窗116提取相对于中心线250具有竖直分量的线段。也就是说，所提取线段的特征可在于具有与中心线250大体上正交的分量的矢量。举例来说，霍夫变换可与适当的参数一起应用以检测天窗116的横向边缘270。
在一些实施例中，与感兴趣区域258重合的横向边缘270可以是优选的。举例来说，横向线提取函数304可仅从感兴趣区域258内的天窗116的部分提取线。替代地或另外，横向线提取函数304可对感兴趣区域258外部的在上天窗116进行操作，并对所提取线进行滤波以仅获得与感兴趣区域258重合的横向边缘270。因此，与感兴趣区域258重合的天窗116的部分的横向边缘270可由横向线提取函数304检测到。应注意，为了清晰起见，横向边缘270被描绘为在图21A中的天窗116上重叠，且在图21B中单独地描绘横向边缘270。
同时参考图11、12、13、19B、20、21A和21B，在横向线提取函数304包括霍夫变换的实施例中，对应于输入到霍夫变换的二进制边缘图像436的天窗候选区域426可用以有助于设置霍夫变换以预先处理横向线提取函数304，来返回与中心线250大体上正交的横向边缘270。具体地说，此过程类似于用以有助于设置用于处理天窗函数30中包括的霍夫变换线提取函数34中的霍夫变换的过程，以进行预先处理来沿着天窗116的纵向边缘提取边缘线。如果梯度定向图像已被计算并保留于产生边缘图像函数32中，或替代地或另外通过单独过程提供并提供为直接输入，那么在天窗候选区426的更短边缘的角度周围居中的受限制角度范围可在梯度定向图像中经阈值处理以产生二进制图像遮罩。遮罩可应用于二进制边缘图像436，以使得大体上不类似于期望横向边缘线270的梯度定向的边缘上的像素被抑制，并不输入到霍夫变换。此提高横向线提取函数304的计算效率，这是因为在霍夫变换的表决阶段中存在更少的像素要处理，并另外例如通过抑制在与所需线大体上垂直的定向上的线来提高输出线的质量，由此降低在横向线提取函数304之后对于其它线滤波阶段的需要。替代地或另外，可使用对天窗候选区426的更短边缘的定向角度的了解来设定在霍夫变换中表决通过的每个像素的角度范围，这还提高计算效率并有助于移除非想要的线。应注意，在利用天窗候选区域426的角度以改善霍夫变换的以上描述中，替代地或另外，更限制性的感兴趣区域258、259或268中的一个的角度可替代地用以实现相同结果。
同时参考图11、12、13、20、22A和22B，在一些实施例中，横向线提取函数304可包括霍夫变换，且已通过产生边缘图像函数32或通过单独的过程使在梯度定向图像可用的实施例中，可预先处理横向线提取函数304以返回具有期望定向和质量的横向边缘270，以被视为用于后续处理的可用边缘272。替代地或另外，点定位函数40可包括用于将横向边缘270分类成可用边缘272和不可用边缘274的角度滤波函数306。具体地说，应注意，虽然横向线提取函数304可配置成主要检测大致垂直于中心线250的角度的范围内的横向边缘270，但是可能会检测到一些错误或不期望的线。因此，可希望从横向边缘270移除不可用的边缘274。不可用边缘274可以是相对于中心线250具有角度的横向边缘270，所述角度在所有横向边缘270的平均角度的任一侧上的受限制角度范围外部。替代地或另外，可用边缘272可以是相对于中心线250具有角度的横向边缘270，所述角度相对于中心线250在所有横向边缘270的平均角度的任一侧上的受限制角度范围内。应注意，为了清晰起见，横向边缘270被描绘为在图22A中的天窗116上重叠，且在图22B中单独地描绘横向边缘270。
同时参考图20和23，点定位函数40可包括相交函数308，相交函数308用于确定横向边缘270与第一边缘线246之间、横向边缘270与第二边缘线248之间或这两者的汇聚点。在横向边缘270分类为可用边缘272的实施例中，分类为可用边缘272的横向边缘270可用以确定汇聚点。可通过外插横向边缘270来确定汇聚点。具体地说，可通过以下操作来外插横向边缘270：沿着其长度扩展横向边缘270中的每一个至少直到外插与第一边缘线246、第二边缘线248或第一边缘线246和第二边缘线248两者相交为止。视情况，可外插第一边缘线246和第二边缘线248以确定相交点。可将汇聚点中的每一个选为点定位280。
同时参考图20、22A、22B和23，点定位函数40可包括用于基于长度比率而对横向边缘进行滤波的长度滤波函数310。长度滤波函数310可用以按期望程度移除不跨越天窗116的面板的横向边缘270。举例来说，每个横向边缘270可与对应汇聚点比较，即从横向边缘270确定的汇聚点。具体地说，可移除具有低于阈值水平的长度比率的任何横向边缘270，其中长度比率通过长度(横向边缘)：长度(汇聚点之间的跨度)的比得出。因此，点定位280可选自剩余横向边缘270的汇聚点，即，未移除的横向边缘270的汇聚点。应注意，长度滤波函数310用以确保没有点定位280选自短边缘276，即，从点定位280的考量移除分类为短边缘276的横向边缘270。
点定位函数40可包括用于向EBL报告经提取特征的特征报告函数312。具体地说，特征报告函数312可向EBL报告中心线250和点定位280以用于导航。具体地说，EBL可比较中心线250和点定位280与地图中的用于导航目的的对应特征。此外，对于点定位280的每个报告点对(即，从横向边缘270中的一个导出)，可添加表示点定位280位于暗(天窗116的面板之间)到明(天窗116的面板)像素还是明到暗像素的转变的旗标。旗标可用以提高EBL的准确性并降低邻近对点之间的混叠的几率。通过沿着中心线250扫描并平均化每个点定位280的任一侧上的一组点以检测其是暗还是明分块，可来实现对暗到明与明到暗转变的旗标标记。
此外，在一些实施例中，在将点定位280报告给EBL之前，可对剩余横向边缘270执行非最大抑制过程。非最大抑制函数的目的是在已从图像240中的单个物理天窗116面板边缘检测到多个横向边缘时选择单个横向边缘270。如果将横向边缘270按其离天窗中心线250的端点的距离分类，那么可界定非最大抑制窗口，使得对于每个剩余横向边缘270，在由窗口界定的距离内找到其它横向边缘270，可执行非最大抑制函数以仅选择最强边缘并抑制所有其它边缘。在一个实施例中，横向边缘270的强度可定义为经取样分块的平均像素强度之间的差，如上文所描述的用于设定表示边缘转变的性质的旗标横向边缘270的任一侧属于暗到明类型或明到暗类型。替代地或另外，如果梯度量值图像已由产生边缘图像函数22变得可用或由一些单独过程提供为直接输入，那么可从梯度量值图像直接推断强度。在此状况下，沿着横向边缘270的平均梯度量值，或替代地或另外，渐增梯度量值，可指示边缘线段的相对强度，其中更高的梯度量值表明沿着天窗116与背景吊顶112之间的物理边缘的更好配合。
同时参考图11、17、20和23，特征报告函数312可包括将旗标附接到每个点定位280的过程，从而指示包括点定位280的横向边缘270在图像240中处于暗到明边缘转变还是明到暗边缘转变上。如上文所描述，设定此旗标的一个可能方法可以是沿着扫描线平均化一组像素的像素强度，扫描线可包含中心线250，横向边缘270的任一侧和具有更高平均强度的侧可确定为明侧，且具有更短平均强度的侧可确定为暗侧。替代地或另外，在已在处理天窗函数30的产生边缘图像函数32中计算出梯度定向图像或由单独过程提供的实施例中，对横向边缘270和其相应点定位280处于暗到明还是明到暗转变上的决策可通过对沿着在梯度定向图像内形成横向边缘270的像素位置的梯度定向值简单查找和平均化得以实现。从x和y方向上的一阶导数图像计算梯度定向图像，且梯度定向的相角直接指示输入图像240的暗区域与明区域之间的转变方向。
同时参考图11、12、13、20和23，应注意，在不变更实施例的范围或结果的情况下，可替代地在点定位函数40内的不同阶段处执行包括在特征报告函数312内的过程，特征报告函数312用于确定横向边缘270和其点定位280属于暗到明类别还是明到暗等级类别。实际上，在一些实施例中可优选地将此计算执行为提取横向线函数304的部分。在此状况下，对天窗候选区426的更长边缘的角度的了解和两个横向边缘转变类别是具有九十度的此角度异相任一侧可用以阈值处理梯度定向图像以产生两个二进制图像遮罩。这些遮罩可应用于二进制边缘图像436以针对提取横向线函数304中使用的霍夫变换产生两个单独的已遮罩输入图像，其中已遮罩输入图像中的一个抑制过于不类似于暗到明横向边缘270的梯度定向的像素，并由此预先处理霍夫变换以返回具有暗到明类别的横向边缘270，且其它已遮罩输入图像抑制过于不类似于明到暗横向边缘270的梯度定向的像素，并由此预先处理霍夫变换以返回具有明到暗类别的横向边缘270。在此情境下，指示所提取横向边缘270是处于暗到明还是明到暗转变上的旗标可在提取横向线函数304中设定，且对于点定位函数40的剩余部分已知，且替代地或另外用以辅助点定位函数40内包括的任何后续函数内的其它处理。
同时参考图1和23，天窗116可由具有有限深度的仓库110的结构物件分离，例如天窗116之间的横梁。因此，结构物件可阻塞天窗116的真正拐角130，即，结构物件可定位于相机102与天窗116之间。在一些实施例中，EBL可优选地使用点定位280，相机102对于点定位280具有直的视线。因此，EBL可利用点定位280和相关联旗标以确定点定位280是有可能对应于天窗116的拐角130还是被遮挡。
同时参考图2和6，CFE算法10可包括用于从吊顶112的输入图像200提取来自圆形灯特征候选416的质心处理圆形灯函数26。在一个实施例中，圆形灯候选416可由特征检测函数22产生且由特征分类函数24滤波，特征检测函数22可包括和照明不变特征检测函数60。替代地或另外，圆形灯候选416可由单独过程作为直接输入提供。在一些实施例中，CFE算法10可包括处理合并灯函数28，以从已被标识为属于合并灯类别的低等级候选特征提取质心。由处理圆形灯函数26和处理合并灯28提取的质心特征可中心线特征250和点定位特征280与组合，且此集合或其任何子集可由报告特征步骤54报告给EBL，以用于辅助仓库110内的车辆100的定位或导航。在报告特征步骤54之前，CFE算法10可包括可移除所界定感兴趣区域外部的特征的通过感兴趣区域对特征进行滤波函数50。因此，可移除任何剩余特征，例如来自卡车桅杆的反射。此外，在将特征报告54公开给EBL之前，转换坐标系函数52可将特征坐标从图像处理帧(例如左上角中的原点)转换成EBL帧(例如图像的中心中的原点)。
现应理解，本文中所描述的实施例可用来利用照明不变特征检测来为工业车辆导航穿过仓库。此外，本文中所描述的实施例可在建筑物中具有特定用途，建筑物例如是圆形灯稀少或主要由天窗和自然照明源照亮的仓库。因此，本文中所描述的照明不变特征检测可用以提高仓库的环境效率。举例来说，在日照时期间，可以减少电的使用，这是因为可通过使用自然照明的天窗来为本文中所描述的工业车辆导航。此外，本文中所描述的实施例可通过使用照明不变特征检测来提高EBL的稳固性。此外，EBL的增大的稳固性可降低运营具有工业车辆的仓库的环境成本，即，可缓和由定位错误引起的里程，这可降低由工业车辆消耗的的功率和工业车辆的维护成本。
出于描述并界定本发明的目的，应注意，在本文中将本公开的主题的特性称作参数、变量或其它特性“的函数”并不意图表示所述特性排他地是所列出参数、变量或其它特性的函数。实际上，在本文中对是所列出参数、变量等的“函数”的参考意图是开放性的，使得所述特性可以是单个参数、变量等或多个参数、变量等的函数。
还应注意，在本文中对“至少一个”组件、元件等的叙述不应用以产生对冠词“一(a/an)”的替代性使用应限于单个组件、元件等。
应注意，本文以具体方式叙述本公开的部件为“配置”或“程序化”以体现具体特性，或以具体方式的函数为结构叙述，与既定用途的叙述相反。更具体来说，在本文提到组件“配置”或“程序化”的方式表示部件的现有物理条件以及，因而将被视为界定部件的结构特征的引述。
应注意，当在本文中利用时，比如“优选的”、“通常”和“典型地”等术语不用于限制所要求发明的范围，或暗示某些特征对于所要求发明的结构或功能是至关重要的、必需的或者甚至是重要的。相反地，这些术语仅旨在识别本公开的实施例的具体方面或强调可或可不在本公开的特定实施例中采用的替代或附加特征。
出于描述和限定本发明的目的，应注意，在本文中利用术语“基本上”和“大约”来表示归因于任何定量比较、值、测量值或其它表示形式可能具有的不确定程度。在本文中还利用术语“基本上”和“大约”来表示定量表示可在陈述参考的范围内变化而不导致在争论中的主题的基本功能的改变的程度。
已详细并且参考其具体实施例描述本公开的主题，应注意，甚至在其中具体元件在伴随本发明描述的附图中的每个中展示的情况下，本文公开的各种细节不应视为暗示这些细节涉及为本文所描述的各种实施例的必需的部件的元件。另外，很明显，在不脱离本公开的范围，包含但不限于所附权利要求书定义的实施例的情况下，修改和变化是可能的。更具体来说，虽然本公开的一些方面在本文识别为优选的或特别有利，但是预期本公开不必限于这些方面。
应注意，以下权利要求中的一个或多个将术语“其中”用作过渡短语。出于限定本发明的目的，应注意，此术语在权利要求中引入为开放的过渡短语，其用于引入结构的一系列特征的引述并且应以与更多常用开放的前导术语“包括”相同的方式解释。

Claims (23)

1.一种工业车辆，包括驱动机制、转向机制、车辆控制器、相机和导航模块，其中：
所述相机以通信方式耦合到所述导航模块；
所述车辆控制器对来自所述导航模块的命令作出响应；
所述驱动机制和所述转向机制对来自所述车辆控制器的命令作出响应；
所述相机配置成捕获包括细长天窗和吊灯的仓库吊顶的输入图像，所述细长天窗的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率，所述吊灯的特征在于图像强度改变的圆形对称速率；且
所述导航模块配置成通过执行用以执行以下操作的机器可读指令来区分开所述吊灯与所述天窗：
从所述仓库吊顶的所述输入图像产生高斯尺度空间金字塔，其中所述高斯尺度空间金字塔包括多个尺度空间图像，
计算所述高斯尺度空间金字塔内的每个图像的海森响应的行列式，
将具有相同大小和结构的海森响应金字塔的行列式构建成所述高斯尺度空间金字塔，
计算所述高斯尺度空间金字塔内的每个图像的海森响应的迹，
将具有相同大小和结构的海森响应金字塔的迹构建成所述高斯尺度空间金字塔，
利用海森响应金字塔的所述行列式以识别所述仓库吊顶的所述输入图像中的吊顶灯候选，
利用海森响应金字塔的所述迹以识别所述仓库吊顶的所述输入图像中的天窗候选，
使吊顶灯候选经受吊顶灯候选特征处理以识别所述仓库中的有效吊灯，
使天窗候选经受天窗候选特征处理以识别所述仓库中的有效天窗，以及
向所述车辆控制器发送基于有效吊顶灯识别、有效天窗识别或这两者而为所述工业车辆导航穿过所述仓库的命令。
2.根据权利要求1所述的工业车辆，其中通过执行应用于所述仓库吊顶的所述输入图像的一系列级联图像平滑操作来产生所述高斯尺度空间金字塔。
3.根据权利要求2所述的工业车辆，其中通过与二项滤波核心的卷积来近似所述高斯尺度空间金字塔。
4.根据权利要求1所述的工业车辆，其中通过以次取样操作补充所述系列级联图像平滑操作来产生所述高斯尺度空间金字塔。
5.根据权利要求4所述的工业车辆，其中依据可用导航模块计算能力而条件性地实施所述补充性次取样操作。
6.根据权利要求1所述的工业车辆，其中基于与二阶偏导数滤波核心卷积的每个尺度空间图像而计算海森响应的所述行列式和海森响应的所述迹。
7.根据权利要求1所述的工业车辆，其中通过减去混合的二阶偏导数项来计算海森响应的所述行列式。
8.根据权利要求1所述的工业车辆，其中海森响应的所述行列式抑制对物件的响应，所述物件的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率。
9.根据权利要求1所述的工业车辆，其中所述行列式响应用于多尺度非最大抑制，其中局部极大值定位于包括尺度和空间维度的窗口内。
10.根据权利要求9所述的工业车辆，其中应用绝对最小阈值以防止过多有噪声误报行列式响应。
11.根据权利要求1所述的工业车辆，其中所述行列式响应用于用来移除没有可能对应于吊灯的候选点的对关键点进行滤波函数中。
12.根据权利要求11所述的工业车辆，其中所述对关键点进行滤波函数利用候选点上的其它滤波器以检查凭经验设定的阈值。
13.根据权利要求12所述的工业车辆，其中所述其它滤波器包括按其检测到关键点的尺度、关键点的空间位置、所述关键点位置处的海森响应的所述行列式的量值、机器学习分类器、或周围区域的海森响应值的平均迹。
14.根据权利要求1所述的工业车辆，其中所述行列式响应用于用来改进吊顶灯候选关键点的空间位置和尺度的改进关键点函数中。
15.根据权利要求1所述的工业车辆，其中所述迹响应用于海森响应图像函数的总和大尺度迹中，所述海森响应图像函数用于将来自海森响应金字塔的迹的海森响应图像的一系列迹求和成海森响应图像的积分后迹。
16.根据权利要求15所述的工业车辆，其中在海森响应金字塔的所述迹内搜索天窗区域。
17.根据权利要求1所述的工业车辆，其中所述迹响应由海森响应函数的阈值积分后迹进一步处理，其中使海森响应的所述迹平滑并应用阈值。
18.根据权利要求17所述的工业车辆，其中所述阈值是固定的。
19.根据权利要求17所述的工业车辆，其中所述阈值不是固定的。
20.根据权利要求1所述的工业车辆，其中海森响应的所述迹用于连接分量滤波函数中，所述连接分量滤波函数用于基于海森响应图像的二进制阈值积分后迹而提取连接分量并对连接分量进行滤波。
21.根据权利要求20所述的工业车辆，其中所述连接分量滤波函数针对大小和高宽比进行滤波，以选择大体上矩形的区域。
22.根据权利要求1所述的工业车辆，其中所述吊灯是圆形对称的圆形灯，且所述天窗是大体上细长的。
23.一种工业车辆，包括驱动机制、转向机制、车辆控制器、相机和导航模块，其中：
所述相机以通信方式耦合到所述导航模块；
所述车辆控制器对来自所述导航模块的命令作出响应；
所述驱动机制和所述转向机制对来自所述车辆控制器的命令作出响应；
所述相机配置成捕获包括细长天窗和吊灯的仓库吊顶的输入图像，所述细长天窗的特征在于沿着纵向和横向轴向方向的图像强度改变的不同速率，所述吊灯的特征在于图像强度改变的圆形对称速率；且
所述导航模块配置成通过执行用以执行以下操作的机器可读指令来区分开所述吊灯与所述天窗：从所述仓库吊顶的所述输入图像产生高斯尺度空间金字塔，其中所述高斯尺度空间金字塔包括多个尺度空间图像，
计算所述高斯尺度空间金字塔内的每个图像的海森响应的行列式，
将具有相同大小和结构的海森响应金字塔的行列式构建成所述高斯尺度空间金字塔，
计算所述高斯尺度空间金字塔内的每个图像的海森响应的迹，
将具有相同大小和结构的海森响应金字塔的迹构建成所述高斯尺度空间金字塔，利用海森响应金字塔的所述行列式以识别所述仓库吊顶的所述输入图像中的吊顶灯候选，
利用海森响应金字塔的所述迹以识别所述仓库吊顶的所述输入图像中的天窗候选，
使吊顶灯候选经受吊顶灯候选特征处理以识别所述仓库中的有效吊灯，
使天窗候选经受天窗候选特征处理以识别所述仓库中的有效天窗，以及
基于有效吊顶灯识别、有效天窗识别或这两者而在所述仓库中定位所述工业车辆。
CN201680050822.8A 2015-09-04 2016-09-02 具有基于特征的定位和导航的工业车辆 Pending CN108027248A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562214445P 2015-09-04 2015-09-04
US62/214,445 2015-09-04
US201562219259P 2015-09-16 2015-09-16
US62/219,259 2015-09-16
PCT/US2016/050135 WO2017040949A1 (en) 2015-09-04 2016-09-02 Industrial vehicle with feature-based localization and navigation

Publications (1)

Publication Number Publication Date
CN108027248A true CN108027248A (zh) 2018-05-11

Family

ID=58188480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050822.8A Pending CN108027248A (zh) 2015-09-04 2016-09-02 具有基于特征的定位和导航的工业车辆

Country Status (9)

Country Link
US (5) US9880009B2 (zh)
EP (1) EP3344952A4 (zh)
KR (1) KR20180049024A (zh)
CN (1) CN108027248A (zh)
AU (2) AU2016316037B2 (zh)
BR (1) BR112018004133A2 (zh)
CA (1) CA2997656A1 (zh)
MX (1) MX2018002739A (zh)
WO (1) WO2017040949A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811889A (zh) * 2019-05-02 2021-12-17 克朗设备公司 具有基于特征的定位和导航的工业车辆
CN116891177A (zh) * 2023-09-01 2023-10-17 河南科技学院 一种工件分拣起重机吊具

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157454B1 (en) * 2016-10-12 2018-12-18 Ambarella, Inc. Non-maximum suppression in image data
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
KR102000067B1 (ko) * 2017-01-16 2019-09-17 엘지전자 주식회사 이동 로봇
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US10949798B2 (en) * 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
EP3619600A4 (en) 2017-05-01 2020-10-21 Symbol Technologies, LLC METHOD AND APPARATUS FOR OBJECT STATE DETECTION
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
KR102032516B1 (ko) * 2017-06-01 2019-10-15 엘지전자 주식회사 이동 로봇 및 그 제어방법
DE102017220634B4 (de) 2017-11-17 2021-09-16 Evocortex Gmbh Anordnung und Verfahren
CN107943032A (zh) * 2017-11-17 2018-04-20 芜湖金智王机械设备有限公司 叉车智能控制系统
US20190205693A1 (en) * 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
AU2019225801B2 (en) * 2018-02-23 2023-12-14 Crown Equipment Corporation Systems and methods for optical target based indoor vehicle navigation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
FR3083607A1 (fr) * 2018-07-06 2020-01-10 Balyo Procede et dispositif de positionnement pour vehicule, et vehicule comportant un tel dispositif
WO2020014341A1 (en) 2018-07-10 2020-01-16 Raytheon Company Image registration to a 3d point set
US10970815B2 (en) 2018-07-10 2021-04-06 Raytheon Company Multi-source image fusion
AU2019305588A1 (en) 2018-07-17 2021-02-25 Crown Equipment Corporation Systems and methods for vehicle position calibration using rack leg identification
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
MX2021009139A (es) 2019-02-06 2021-12-10 Crown Equip Corp Sistemas y metodos para la proteccion del final de pasillo y calibracion de posicion de vehiculo mediante la identificacion de pata de rejilla.
US10803635B2 (en) * 2019-02-26 2020-10-13 Tusimple, Inc. Method and system for map construction
US11170230B2 (en) 2019-02-26 2021-11-09 Tusimple, Inc. Method and system for map construction
CN109974710B (zh) * 2019-04-11 2020-11-27 河南城建学院 一种推送导航路线的方法及系统
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
CN110633711B (zh) * 2019-09-09 2022-02-11 长沙理工大学 训练特征点检测器的计算机装置、方法及特征点检测方法
US10762540B1 (en) 2019-10-22 2020-09-01 Capital One Services, Llc Systems and methods for automated trade-in with limited human interaction
US10783792B1 (en) 2019-10-22 2020-09-22 Capital One Services, Llc Systems and methods for automated vehicle tracking for readiness with limited human interaction
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
CN113255869B (zh) * 2021-05-09 2023-05-05 中轻长泰(长沙)智能科技股份有限公司 一种基于机器视觉的板材计数方法
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method
US20100232643A1 (en) * 2009-03-12 2010-09-16 Nokia Corporation Method, Apparatus, and Computer Program Product For Object Tracking
CN101877063A (zh) * 2009-11-25 2010-11-03 中国科学院自动化研究所 一种基于亚像素级特征点检测的图像匹配方法
CN102353377A (zh) * 2011-07-12 2012-02-15 北京航空航天大学 一种高空长航时无人机组合导航系统及其导航定位方法
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
US20140023279A1 (en) * 2012-07-17 2014-01-23 National Taiwan University Of Science And Technology Real Time Detecting and Tracing Apparatus and Method
CN103679193A (zh) * 2013-11-12 2014-03-26 华南理工大学 一种基于freak的高速高密度封装元器件快速定位方法
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0366350A3 (en) * 1988-10-25 1991-05-22 Tennant Company Guiding an unmanned vehicle by reference to overhead features
US5586620A (en) 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
AU1775401A (en) * 1999-11-18 2001-05-30 Procter & Gamble Company, The Home cleaning robot
US8233716B2 (en) * 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties
KR101503904B1 (ko) * 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
WO2013033193A1 (en) 2011-08-29 2013-03-07 Crown Equipment Corporation Forklift navigation system
CN103875021B (zh) 2011-10-19 2017-07-11 克朗设备公司 识别并选择图像场景中可能对应于托盘的对象
AU2015280776B2 (en) * 2014-06-27 2019-08-22 Crown Equipment Corporation Vehicle positioning or navigation utilizing associated feature pairs
US9174830B1 (en) 2014-09-29 2015-11-03 Crown Equipment Limited Industrial vehicles with point fix based localization
CA2986698C (en) 2015-05-26 2023-08-01 Crown Equipment Corporation Systems and methods for image capture device calibration for a materials handling vehicle

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324013A1 (en) * 2008-06-27 2009-12-31 Fujifilm Corporation Image processing apparatus and image processing method
US20100232643A1 (en) * 2009-03-12 2010-09-16 Nokia Corporation Method, Apparatus, and Computer Program Product For Object Tracking
CN101877063A (zh) * 2009-11-25 2010-11-03 中国科学院自动化研究所 一种基于亚像素级特征点检测的图像匹配方法
CN102353377A (zh) * 2011-07-12 2012-02-15 北京航空航天大学 一种高空长航时无人机组合导航系统及其导航定位方法
CN102629328A (zh) * 2012-03-12 2012-08-08 北京工业大学 融合颜色的显著特征概率潜在语义模型物体图像识别方法
US20140023279A1 (en) * 2012-07-17 2014-01-23 National Taiwan University Of Science And Technology Real Time Detecting and Tracing Apparatus and Method
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization
CN103679193A (zh) * 2013-11-12 2014-03-26 华南理工大学 一种基于freak的高速高密度封装元器件快速定位方法
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HERBERT BAY 等: "Speeded-Up Robust Features (SURF)", 《ELSEVIER》 *
TONY LINDEBERG: "Scale space theory: A basic too-for analysing structures at dierent scales", 《JOURNAL OF APPLIED STATISTICS》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113811889A (zh) * 2019-05-02 2021-12-17 克朗设备公司 具有基于特征的定位和导航的工业车辆
CN116891177A (zh) * 2023-09-01 2023-10-17 河南科技学院 一种工件分拣起重机吊具
CN116891177B (zh) * 2023-09-01 2023-12-05 河南科技学院 一种工件分拣起重机吊具

Also Published As

Publication number Publication date
US10473469B2 (en) 2019-11-12
US10151591B2 (en) 2018-12-11
US20170069092A1 (en) 2017-03-09
US20190072396A1 (en) 2019-03-07
US20180106621A1 (en) 2018-04-19
US10041801B2 (en) 2018-08-07
BR112018004133A2 (pt) 2018-09-25
US9880009B2 (en) 2018-01-30
EP3344952A1 (en) 2018-07-11
US10928204B2 (en) 2021-02-23
MX2018002739A (es) 2018-08-01
AU2016316037B2 (en) 2020-07-02
AU2016316037A1 (en) 2018-04-26
EP3344952A4 (en) 2019-05-29
US20200033134A1 (en) 2020-01-30
WO2017040949A1 (en) 2017-03-09
AU2019201303A1 (en) 2019-03-14
KR20180049024A (ko) 2018-05-10
US20180245926A1 (en) 2018-08-30
CA2997656A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
CN108027248A (zh) 具有基于特征的定位和导航的工业车辆
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN106845502B (zh) 一种用于设备检修的穿戴式辅助装置及设备检修可视化指导方法
CN109215063B (zh) 一种事件触发相机与三维激光雷达的配准方法
US10592754B2 (en) Shadow removing method for color image and application
US8073233B2 (en) Image processor, microscope system, and area specifying program
CN105765627B (zh) 具有基于顶灯定位的工业车辆
US20040114829A1 (en) Method and system for detecting and correcting defects in a digital image
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN105493141B (zh) 非结构化道路边界检测
CN107506760A (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN110473221B (zh) 一种目标物体自动扫描系统及方法
CN106355597B (zh) 基于单目视觉的钢板折角自动测量机器人图像处理方法
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
EP2074557A1 (en) Method and system for learning spatio-spectral features in an image
CN105678318A (zh) 交通标牌的匹配方法及装置
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN110390228A (zh) 基于神经网络的交通标志图片识别方法、装置及存储介质
CN112686872B (zh) 基于深度学习的木材计数方法
Chaloeivoot et al. Building detection from terrestrial images
JP5338762B2 (ja) ホワイトバランス係数算出装置及びプログラム
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
Mai et al. An improved method for Vietnam License Plate location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511

WD01 Invention patent application deemed withdrawn after publication