CN105765627A - 具有基于顶灯定位的工业车辆 - Google Patents
具有基于顶灯定位的工业车辆 Download PDFInfo
- Publication number
- CN105765627A CN105765627A CN201480063651.3A CN201480063651A CN105765627A CN 105765627 A CN105765627 A CN 105765627A CN 201480063651 A CN201480063651 A CN 201480063651A CN 105765627 A CN105765627 A CN 105765627A
- Authority
- CN
- China
- Prior art keywords
- industrial vehicle
- primitive character
- line
- feature group
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004807 localization Effects 0.000 title abstract description 3
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 238000000605 extraction Methods 0.000 abstract description 14
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 51
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005007 materials handling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
根据本文所述实施例,一种用于基于环境定位的方法可以包括捕捉包括多个天窗的天花板的输入图像。从输入图像中可以提取特征。所述特征可以被分组为多个特征组,以便特征组中的每个均与天窗中的一个相关联。用一个或者多个处理器可以自动地从每个特征组的特征中提取线段,其中所述一个或者多个处理器对每个特征组单独地执行特征提取算法。每个特征组的线段的至少两条经选择的线可以被选择。用于特征组中的每个的中心线可以基于至少两条经选择的线的一部分来确定。特征组中的每个的中心线可以与天窗中的一个相关联。
Description
相关申请的交叉引用
本申请要求于2013年9月30日提交的美国临时申请61/884388、于2013年10月30日提交的美国临时申请61/897287和于2014年9月29日提交的美国专利申请14/499721的权益。
技术领域
本说明书总体涉及一种用于提供天花板灯的特征的系统和方法,并且更具体地,涉及一种用于提供天花板灯的中心线特征的系统和方法。
背景技术
为了移动关于工业环境的物品,工人经常利用工业车辆,包括例如叉式举升车辆、手动和马达驱动的码垛车和/或其它的物料搬运车辆。工业车辆可以配置为通过环境导航的自动引导车辆或者手动引导车辆。为便于自动引导、导航或者二者,工业车辆可以适合于在环境中定位。亦即,工业车辆可适于用传感器和处理器来确定工业车辆在环境中的定位,诸如,例如工业车辆的姿态和位置。传感器可以配置为检测环境中的对象,并且所述定位可以依赖于从这些被检测对象中提取的特征。
发明内容
在一个实施例中,工业车辆可以包括通信地联接的照像机和一个或者多个处理器。照像机可以安装到工业车辆,并且被聚焦到仓库的天花板。照像机可以捕捉仓库的天花板的天花板灯的输入图像。所述一个或者多个处理器执行机器可读指令以将输入图像的天花板灯的原始特征与一个或者多个特征组相关联。可以执行霍夫变换,以将所述一个或者多个特征组中的原始特征变换成与所述一个或者多个特征组相关联的线段。可以确定所述一个或者多个特征组的原始特征的凸包。所述一个或者多个特征组的线段以及凸包可以在霍夫空间中进行比较。所述一个或者多个特征组的在与所述一个或者多个特征组的原始特征的凸包的相似性的阈值以外的线段可以被丢弃。对于所述一个或者多个特征组,从所述一个或者多个特征组的线段中可以选择优选的一组线。所述一个或者多个特征组的中心线可以从所述优选的一组线中确定。所述一个或者多个特征组的中心线可以与输入图像的天花板灯中的一个相关联。利用一个或者多个特征组的中心线可以导航工业车辆,使之穿过仓库。
在一个实施例中,工业车辆可以包括通信地联接的照像机和一个或者多个处理器。照像机可以安装到工业车辆,并且被聚焦到仓库的天花板。照像机可以捕捉仓库的天花板的天窗的输入图像。所述一个或者多个处理器执行机器可读指令以从天花板的输入图像的天窗中提取原始特征轮廓。原始特征轮廓可以被分组成特征组。可以执行霍夫变换,以将特征组中的原始特征轮廓变换成与特征组相关联的线段。特征组中的原始特征轮廓的凸包可以确定。可以在霍夫空间中比较特征组中的线段和凸包。在与特征组中的原始特征轮廓的凸包的相似性的阈值以外的特征组中的线段可以被丢弃。可以从特征组的线段中为特征组选择优选的一组线。特征组的中心线可以从特征组的所述优选的一组线中确定。基于所述中心线,可以确定工业车辆的姿态、工业车辆的位置或者二者。利用所述姿态、所述位置或者二者可以导航所述工业车辆,使之穿过仓库。
在另一个实施例中,可以实行用于导航所述工业车辆的方法。可以捕捉到仓库的天花板的天窗和大致圆形灯的输入图像。利用联接到工业车辆的照像机,可以捕捉到输入图像。可以从输入图像的天窗中提取原始特征。用一个或者多个处理器可以自动地确定原始特征的凸包。利用原始特征的凸包,可以从原始特征中选择优选的一组线。用一个或者多个处理器可以将输入图像中的大致圆形灯自动地转换成点特征。天窗的中心线可以从所述优选的一组线中确定。基于中心线和点特征,可以确定工业车辆的姿态、工业车辆的位置或者二者。利用所述姿态、位置或者二者可以导航所述工业车辆,使之穿过仓库。
在又一实施例中,提供了一种通过建筑结构用于导航所述工业车辆的系统。所述系统可以包括照像机和通信地联接到照像机的一个或者多个处理器,其中所述照像机能够安装到工业车辆并且能够配置为捕捉包括在建筑结构中的顶灯的顶部图像。照像机可以捕捉包括在建筑结构中的顶灯的输入图像。所述一个或者多个处理器执行机器可读指令以将输入图像中的顶部照明设备的原始特征与一个或者多个特征组相关联。可以执行霍夫变换以将所述一个或者多个特征组中的原始特征变换成与所述一个或者多个特征组相关联的线段。可以确定所述一个或者多个特征组中的原始特征的凸包。所述一个或者多个特征组中的线段和凸包可以在霍夫空间中进行比较。在与所述一个或者多个特征组中的原始特征的凸包的阈值之外的所述一个或者多个特征组中的线段可以被丢弃。可以从所述一个或者多个特征组的线段中为一个或者多个特征组选择优选的一组线。所述一个或者多个特征组的中心线可以从所述优选的一组线中确定。所述一个或者多个特征组的中心线可以与输入图像中的顶部照明设备中的一个相关联。利用一个或者多个特征组的中心线可以导航所述工业车辆,使之穿过仓库。
根据本文所述的任何工业车辆、方法和系统,凸包可以包括包线段,并且将所述一个或者多个特征组中的线段与包线段进行比较。
根据本文所述的任何工业车辆、方法和系统,一个或者多个处理器可以执行机器可读指令以将包线段转换成霍夫空间坐标,其中所述包线段是由坐标ρ和θ表示的无限长的线。
根据本文所述的任何工业车辆、方法和系统,一个或者多个处理器可以执行机器可读指令以将所述一个或者多个特征组中的线段按强度次序分等级。第一边缘线可以从所述优选的一组线的线段中选择。所述第一边缘线可以是所述优选的一组线的线段中的最高等级线。可替代地或者额外地,所述第一边缘线可以由坐标ρ和θ表示。可替代地或者额外地,一个或者多个处理器可以执行机器可读指令以从所述优选的一组线的线段中选择第二边缘线。基于与第一边缘线的θ的相似性可以选择第二边缘线。可替代地或者额外地,第二边缘线和第一边缘线由距离阈值分开。可替代地或者额外地,一个或者多个处理器可以执行机器可读指令以从高等级至低等级搜索优选的一组线中的线段来选择第二边缘线。可替代地或者额外地,一个或者多个处理器可以执行机器可读指令以找到第二边缘线和第一边缘线汇聚处的灭点。可以计算第二边缘线和第一边缘线的二等分线。基于所述二等分线可以计算中心线。
根据本文所述的任何工业车辆、方法和系统,原始特征的一个或者多个特征组中的每个均可以被单独地变换成线段。
根据本文所述的任何工业车辆、方法和系统,可以使输入图像曝光不足以高亮顶部照明设备。
根据本文所述的任何工业车辆、方法和系统,一个或者多个处理器可以执行机器可读指令以从天窗中提取原始特征轮廓。原始特征可以包括原始特征轮廓。原始特征轮廓可以分类为属于天窗类。原始特征轮廓可以分组成一个或者多个特征组。所述一个或者多个特征组可以包括所述天窗中的每个天窗一组。所述一组中的每个可以包括所述每个天窗的原始特征轮廓。
根据本文所述的任何工业车辆、方法和系统,顶灯可以包括圆灯和组合灯。一个或者多个处理器可以执行机器可读指令以从圆灯和组合灯中提取特征。原始特征可以包括来自圆灯和组合灯的特征。来自圆灯和组合灯的特征可以分类为标准灯类和组合灯类。可替代地或者额外地,原始特征可包括不需要的特征。所述一个或者多个处理器可以执行机器可读指令以将不需要的特征分类为噪音。可替代地或者额外地,原始特征轮廓可以基于相对邻近度分组成一个或者多个特征组。一个或者多个处理器可以执行机器可读指令以为每个原始特征轮廓计算最小边界矩形。基于所述最小边界矩形的特征间距离,可以为所述原始特征轮廓的每个计算所述相对邻近度。
根据本文所述的任何工业车辆、方法和系统,存储器可以通信地联接到所述一个或者多个处理器、照像机或者二者。
根据本文所述的任何工业车辆、方法和系统,工业车辆可以适于自动导航和/或人工导航。
鉴于以下详细描述并结合附图,将更完整地理解通过本文所述实施例提供的这些和其它特征。
附图说明
附图中阐述的实施例在本质上是说明性的和示例性的,并不旨在限制权利要求书所限定的主题。在结合以下附图阅读时,应当理解以下关于说明性实施例的详细说明,在图中,同样的结构以同样的附图标记标示,其中:
图1描绘了根据本文示出和描述的一个或者多个实施例的用于基于环境定位的车辆;
图2描绘了根据本文示出和描述的一个或者多个实施例的用于基于环境定位的照像机特征提取/顶灯特征提取的示例性算法的流程图;
图3示意性地描绘了根据本文示出和描述的一个或者多个实施例的示出了三个天窗的输入图像;
图4描绘了根据本文示出和描述的一个或者多个实施例的用于天窗提取的示例性算法的流程图;
图5示意性地描绘了根据本文示出和描述的一个或者多个实施例的图3中的三个天窗的原始特征轮廓;
图6示意性地描绘了根据本文示出和描述的一个或者多个实施例的图5的原始特征,这些原始特征被分组成相应于图3中的每个天窗的分开的组;
图7示意性地描绘了使用根据本文示出和描述的一个或者多个实施例的特征提取技术从图5的原始特征组中提取的线段;
图8示意性地描绘了根据本文示出和描述的一个或者多个实施例从被转换成“无限长”的线的图7中选择的线段;
图9示意性地描绘了根据本文示出和描述的一个或者多个实施例的被叠加在图3的输入图像上的中心线特征。
具体实施方式
本文所述实施方例总体涉及一种用于从包括但不限于天窗的顶灯中提取特征的基于环境定位技术(EBL)。EBL可以通过建筑结构,诸如仓库,来定位和/或导航工业车辆。适合地,顶灯可以安装在建筑物的天花板中或天花板上。但是,在一些实施例中,灯具也可以或可替代地经由合适结构从天花板或者墙壁悬置。在一些实施例中,照像机可以安装至穿过仓库进行导航的工业车辆(例如,自动引导车辆或者手动引导车辆)。输入图像可以是在从图像中提取特征之前从照像机捕捉的任何图像。
现在参考图1,车辆100可以配置为穿过仓库110进行导航。车辆100可以包括用于升降和移动有效负荷的工业车辆,诸如,例如叉式举升车辆、前伸式电动堆高机、转叉式堆高机、步行式堆垛车、牵引车、码垛车、升降机、堆垛叉车、拖车装载机、侧向装载机、叉式起重机等等。工业车辆可以配置为自动地或者手动地沿着期望路径导航仓库110的表面122。相应地,车辆100可以通过一个或者多个车轮124的转动而被前后定向。另外,通过操纵一个或者多个车轮124,可以引起车辆100改变方向。可选地,车辆可以包括用于控制车辆的功能,诸如但不限于控制车轮124的速度、车轮124的方向等等的操作员控制装置126。操作员控制装置126可以包括分配给车辆100的功能的控制装置,诸如,例如开关、按钮、拉杆、把手、踏板、输入/输出设备等等。应当注意的是,如本文使用的,术语“导航”可以意指控制车辆从一个地方到另一地方的运动。
车辆100可以进一步包括用于捕捉顶部图像的照像机102。照像机102可以是能够捕捉对象的视觉外观并且将视觉外观转换成图像的任何装置。相应地,照像机102可以包括图像传感器,诸如,例如电荷联接装置、互补金属氧化物半导体传感器或者其功能等效器件。在一些实施例中,车辆100可以定位于仓库110中,并且配置为捕捉仓库110的天花板112的顶部图像。为了捕捉顶部图像,照像机102可以被安装到车辆100并且被聚焦到天花板112。为了限定和描述本公开,如本文使用的,术语“图像”可以意指被检测对象的外观的表示。图像可以以各种机器可读的表示来提供,诸如,例如JPEG、JPEG2000、Exif、TIFF、原始图像格式、GIF、BMP、PNG、Netpbm格式、WEBP、光栅格式、矢量格式或者适于捕捉顶部对象的任何其它格式。
仓库110的天花板112可以包括顶灯,诸如但不限于用于从天花板112或者一般地从在仓库中操作的车辆上方提供照明的天花板灯114。天花板灯114可以大致包括矩形灯,诸如,例如天窗116、荧光灯等等;并且可以被安装在天花板结构或者墙壁结构中或从天花板结构或者墙壁结构悬置,以从上方提供照明。如本文使用的,术语“天窗”可以意指在装有允许日光的大致透光介质诸如,例如空气、玻璃、塑料等等的天花板或者屋顶中的孔。虽然天窗可以呈各种形状和大小,但本文所述的天窗可以包括“标准”长的、大致矩形的天窗,其可以或不可以由梁或者横杆分成为一系列面板。可替代地,所述天窗可以包括小的、不连续的矩形或者圆形形状的天窗,这些天窗的大小类似于卧室窗子,即大约30英寸×大约60英寸(大约73cm×大约146cm)。可替代地或者额外地,天花板灯114可以大致包括圆形灯,诸如,例如圆灯118、可以包括多个邻近的圆灯且表现为单个对象的组合灯120等等。由此,顶灯或者“天花板灯”包括天然(例如,阳光)光源和人工(例如,电力)光源。
本文所述实施例可以包括通信地联接到照像机102的一个或者多个处理器104。一个或者多个处理器104可以执行机器可读的指令以自动地实施本文所述的任何方法或功能。用于存储机器可读指令的存储器106可以通信地联接到一个或者多个处理器104、照像机102或者任何的它们的组合。一个或者多个处理器104可以包括处理器、集成电路、微芯片、计算机或者任何其它能够执行机器可读指令的或者配置为以类似的方式执行机器可读指令的功能的计算装置。存储器106可以包括RAM、ROM、闪存、硬盘或者能够存储机器可读指令的任何非暂态装置。
一个或者多个处理器104和存储器106可以与照像机102成一体。可替代地或者额外地,一个或者多个处理器104和存储器106中的每个均可以与车辆100成一体。另外,一个或者多个处理器104和存储器106中的每个均可以与车辆100和照像机102分开。例如,服务器或者移动计算装置可以包括一个或者多个处理器104、存储器106或者二者。注意到,在不偏离本公开范围的情况下,一个或者多个处理器104、存储器106和照像机102可以是彼此通信联接的分立部件。相应地,在一些实施例中,一个或者多个处理器104的部件、存储器106的部件和照像机102的部件可以在物理上彼此分开。如本文使用的,短语“通信联接”意指部件能够彼此交换数据信号,诸如,例如经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号等等。
由此,本公开的实施例可以包括以任何一代(例如,1GL、2GL、3GL、4GL或者5GL)的任何编程语言编写的逻辑或算法。逻辑或算法可以编写为可以由处理器直接执行的机器语言或者可以被编译或者汇编成机器可读指令且被存储在机器可读介质上的汇编语言、面向对象编程(OOP)、脚本语言、微代码等等。可替代地或者额外地,逻辑或算法可以以硬件描述语言(HDL)编写。另外,逻辑或算法可以经由现场可编程门阵列(FPGA)配置或者专用集成电路(ASIC)或它们的等同装置来执行。
如以上指出的,车辆100可以包括一个或者多个处理器104或者与一个或者多个处理器104通信联接。相应地,一个或者多个处理器104可以执行机器可读指令以操作或者替换操作员控制装置126的功能。机器可读指令可以存储在存储器106上。相应地,在一些实施例中,车辆100可以通过执行机器可读指令的一个或者多个处理器104被自动地导航。在一些实施例中,车辆的定位可以在车辆100被导航时由EBL监测。
例如,车辆100可以沿着仓库110的表面122沿着期望的路径自动地导航到基于车辆100的定位位置的期望位置。在一些实施例中,车辆100可以确定车辆100关于仓库110的定位位置。车辆100的定位位置的确定可以通过比较图像数据与地图数据来实行。地图数据可以在本地存储在存储器106中,并且可以被定期更新,或者是由服务器等等提供的地图数据。给定定位位置和期望位置,车辆100的行进路径就可以确定了。一旦知道行进路径,车辆100就可以沿着行进路径行进以导航仓库110的表面122。具体地,一个或者多个处理器106可以执行机器可读指令以实行EBL功能并操作车辆100。在一个实施例中,一个或者多个处理器106可以调整车轮124的转向并控制风门以使车辆100导航表面122。
现在参考图2,图2示意性地描绘了用于完整的照像机特征提取(CFE,CameraFeatureExtraction)算法10的功能序列的流程图。应当注意的是,虽然在描绘的实施例中,所述功能被列举和描绘为以特定顺序实行,但在不偏离本公开范围的情况下,所述功能可以以可替代顺序执行。此外还应注意的是,可以省略所述功能中的一个或多个,而不偏离本文所述实施例的范围。
共同参考图1至3,CFE算法10可以包括预处理功能20,其用于在对输入图像200执行进一步的功能之前处理天花板204的输入图像200。输入图像200被描绘为捕捉到包括相应于仓库110的天窗116的天窗202的帧。在一些实施例中,预处理功能20可以包括从输入图像200移除镜头失真效应的功能。可替代地或者额外地,为了高亮包括天窗116的天花板灯114,可以通过故意地使输入图像200曝光不足而捕捉输入图像200。已经发现,低曝光可以有助于减少反射和其它虚影,这些反射和其它虚影会使特征提取处理更复杂且不可靠。
CFE算法10可以进一步包括用于从天花板204的输入图像200中提取特征的特征提取功能22。特征提取功能22可以利用一个或者多个特征检测算法,诸如,例如最大稳定极值区域(MSER)算法、结合Otsu方法以从图像中提取原始特征(即,灯光)的阈值步骤,或者等同算法。具体地,从输入图像200中提取的特征可由定位处理利用以确定照像机102所捕捉的天花板灯114的位置。例如,从圆形照明特征诸如大致圆形形状的灯可以提取到形心。另外,对于较小的天窗,该小天窗的完整范围可以被捕捉在单个图像帧内。因此,根据大致圆形的灯,可以应用形心提取功能。
CFE算法10可以进一步包括特征分类功能24,该特征分类功能24用于通过特征提取功能22将从天花板204的输入图像200提取的原始特征206分类成多个类别。特征分类功能24在为更具体的处理的准备中可以将原始特征206分开为不同的种类。例如,通过寻找具有较长的长轴-短轴比的对象可以将组合灯与圆灯区别开。基于大小尺寸和圆度,能够将天窗面板与圆灯区别开。具体地,圆灯一般在图像中形成比天窗面板更小且更圆的斑点。有时,天窗的较小部分可以在图像中出现裂缝,这样的方式可以导致错误分类。
在描绘的实施例中,原始特征206可以分类为以下四类之一:标准灯类(圆灯),组合灯类,天窗类和噪音类。噪音类标签可以用于指示有害的“虚假”特征,诸如反射。被分类为属于噪音类的原始特征206可以在通过特征分类功能24分类之后被丢弃,即不用于后续功能。其它三个种类的每个均可以经历单独的处理以提取期望的特征信息。如下面更详细地说明的,可以从标准灯类和组合灯类的原始特征206中提取点特征,而可以从天窗类中提取线特征,然后所提取特征的每个均可以被发布给EBL。
具体地,处理圆灯功能26可以找到标准灯类的原始特征206的形心。可替代地或者额外地,处理组合灯功能28可以将输入图像200中表现为组合的一对灯分离开,并找到两个形心。处理天窗功能30可以将属于天窗类的全部提取部件分组为天窗,并找到中心线,如在下面更详细说明。感兴趣功能50的区域的过滤特征可以移除限定的感兴趣区域以外的特征。因此,可以移除任何剩余特征,诸如卡车桅杆的反射。转换坐标框架功能52可以在报告特征54被发布到EBL之前将特征坐标从图象处理框架(例如,左上角为原点)转换成EBL框架(例如,图像中心为原点)。
共同参考图3-5,图3-5示意性地描绘了用于处理天窗功能30的功能序列的流程图。应当注意的是,虽然在描绘的实施例中,所述功能以特定顺序列举和实行,但在不偏离本公开范围的情况下,所述功能可以以可替代的顺序执行。此外还应当注意的是,所述功能中的一个或多个可以省略,而不偏离本文所述实施例的范围。处理天窗功能30的输入可以是原始特征轮廓208,其可以包括输入图像200中的被分类为属于天窗类的原始特征206。处理天窗功能30的输出可以是一组中心线226特征。在一些实施例中,中心线226可以限定为霍夫空间中的坐标(即,极轴坐标)。优选地,对于输入图像200中捕捉的天窗202的每个独特实例,具有一条报告的中心线226。
共同参考图4和6,处理天窗功能30可以包括用于将原始特征轮廓208与天窗202相关联的分组功能32。分组功能可以包括能够可重复地将原始特征轮廓208与其天窗202相关联的任何算法。在一个实施例中,可以利用距离阈值基于相对邻近度将原始特征轮廓208分组在一起。由于原始特征轮廓208可以是复杂形状,每个轮廓可以首先计算原始特征轮廓208的定向最小边界矩形,并且从最小边界矩形可以计算出用于分组的特征间距离。
因此,原始特征轮廓208可以被分组以基于它们相关联的天窗将原始特征轮廓208分开。申请人已经发现,因自然光照引起的变化可以引起图像的不一致,即,面板不会以一致的方式分裂。因此,可以基于如被分组的原始特征轮廓208所表示的“完整”天窗来确定中心线226,而不是基于每个个体面板的特征来确定。在一些实施例中,原始特征轮廓208可以被分组成每一天窗202为一组的特征组210。具体地,由于输入图像200(图3)包括三个天窗202,因此原始特征轮廓可以被分组成由分组功能32已经定位的三个特征组210。
共同参考图4和7,处理天窗功能30可以包括用于从原始特征轮廓208中提取线段212的特征提取功能34。线段212可以与原始特征轮廓208的每个特征组210相关联。在一些实施例中,特征提取功能34可以包括如下的特征提取算法:该特征提取算法可以将原始特征轮廓208的每一特征组210单独地、即一次一组地变换成为与从中提取了线段212的特征组210相关联的线段212。在一些实施例中,可以单独地对原始特征轮廓208的每一特征组210执行霍夫变换以识别与每个天窗202相关联的线段212。每个线段212可以用两个端点表示。当从霍夫变换返回线段212时,线段212可以按强度顺序分等级,即线中的像素越多或者线越长,则该线在霍夫变换中会被分等级为越高。已经发现,由于透视失真和闭塞的影响,等级越高的线段212可能不对应于“正确”的边缘线。例如,等级越高的线段212可以是从面板之间的梁产生的垂直相交线218。为了增加提取正确中心线的可能性,可以利用过滤功能36来滤出从所述变换中返回的一些非理想线。
共同参考图4、6和8,处理天窗功能30可以包括用于从特征组210的线段212中选择优选的一组线214的过滤功能36。例如,在确定了线段212的特征组210之后,可以使用计算几何算法,诸如,例如用于解决静态问题的等等的算法来选择优选的一组线214。在一个实施例中,可以利用凸包算法来选择优选的一组线214。已经发现,凸包算法结合霍夫变换的使用能够显著提高CFE算法10(图2)的能力,以隔离用于确定中心线特征的“正确”边缘线。因此,可以提高确定中心线以及使用该中心线特征的任何定位的精度。
在一些实施例中,可以发现原始特征轮廓208(例如,具有端点的天窗组等等)的特征组210的凸包220。凸包220可以为包含原始特征轮廓208的凸集,诸如,例如通过凸包算法确定的全局最小值凸集或者局部最小值凸集。原始特征轮廓208的特征组210的凸包220可以包括如下的点的有序表,这些点可称为凸包点A、B、C、D。在一些实施例中,凸包点可以通过循环访问来确定构成凸包220的包线段228,即,包点A和包点B可以构成包线段228,包点B和包点C可以构成一线段,包点C和包点D可以构成包线段228,包点D和包点A可以构成包线段228,等等。包线段228可以转换成霍夫空间(即,极轴)坐标。
现在共同参考图6至8。可以将凸包220的包线段228与跟原始特征轮廓208的特征组210相关联的线段212进行比较(优选地在霍夫空间中)。不在与霍夫空间坐标内的凸包220的包线段228的相似性的特定阙值内的特征组210内的任何线段212可以被丢弃以留下优选的一组线。应当注意的是,特征组210的大多数对角线230和垂直相交线218已经被移除。可替代地或者额外地,可以由两个端点表示的线段212可以被转换成“无限长”的线,即在霍夫空间中以坐标ρ和θ表示的线。
共同参考图2、4和7,应当注意的是,在一些实施例中,过滤功能36可以为不必要的。例如,申请人已经发现,当从照像机102至天花板112的距离足够大时,输入图像200可以具有减少的透视失真。因此,面板之间的梁形成的垂直相交线218可能不会被特征提取功能34检测到,因为垂直相交线218可能会表现得短于输入图像200中的长“正确”边缘线。
共同参考图2、4及7-9,处理天窗功能30可以包括用于从相应于天窗202的每个特征组210中选择两条边缘线并从选择的边缘线中计算中心线226的中心线计算功能38。具体地,可以选择和利用第一边缘线222和第二边缘线224以为每个天窗202衍生出中心线226。在已经选择了优选的一组线214之后,剩余的优选的一组线214中的最高等级的线段212可以被选择为第一边缘线222。由于第一边缘线222的霍夫空间坐标是可以知道的,因此可以从高等级至低等级搜索该优选的一组线214,以从具有与第一边缘线222足够相似的角度θ的线段212中找到第二边缘线224。由于在一些实施例中,过滤功能36可以是不必要的,第一边缘线222和第二边缘线224如上所述可以直接从线段212的特征组210中选择。
在一些实施例中,可以利用距离阈值来确保第二边缘线224是从霍夫空间中的第一边缘线222中选择出来的,即避免选择从复制特征衍生的相似线。具体地,申请人已经发现,单条边缘线可以从霍夫变换返回多条相似线。因此,满足相似准则的最高等级的线段212可以选择为第二边缘线224。
中心线226可以基于第一边缘线222和第二边缘线224来计算。例如,在一个实施例中,可以通过找到第一边缘线222与第二边缘线224汇聚处的灭点216来定位中心线226。二等分线可以采用灭点216、第一边缘线222和第二边缘线224的霍夫空间坐标计算。二等分线可以用作中心线226。被描绘为叠加在图9中的输入图像200上的中心线226可以报告给EBL。由此,每一特征组的中心线可以与天窗中的一个相关联,并且可以利用EBL来提供用于车辆导航的特征,或者可以由通信地联接到EBL的显示器呈现。应当注意的是,根据车辆导航的特定场所,有多个参数(例如,阈值)可配置为用于CFE算法的每个功能。因此,本文所述实施例可以进一步包括用于确定参数的精确值的校准阶段。
现在应当理解,可以利用本文所述的CFE算法的实施例从天花板的输入图像中捕捉的对象中提取特征。由此,可以在天花板上检测到的对象,诸如,例如天花板灯,可以用来产生可以报告给EBL的特征。EBL能够利用所报告的来自输入图像的特征来确定车辆的姿态、车辆的位置或者二者。例如,报告的特征可以包括可以组合利用的中心线和点特征。因此,车辆的姿态和位置可以用作导航、即时定位与地图构建(SLAM)等等的参数。
应当注意的是,术语“大致”和“大约”在本文可以用来表示可归因于任何定量比较、值、测量,或其它表示的固有不确定程度。这些术语在本文中也用于表示由一个定量表示可以从一个规定的参考变化的程度,而不会导致所讨论主题的基本功能的改变。
虽然本文示例和描述了特定的实施例,但应当理解的是,在不偏离所要求主题的精神和范围的情况下可以做出各种改变和修改。此外,虽然本文中已经描述了所要求主题的各个方面,但这些方面不必要组合使用。因此,旨在使得所附权利要求涵盖在所要求主题的范围内的所有这样的改变和修改。
Claims (20)
1.一种工业车辆,包括照像机和一个或者多个处理器,其中:
所述照像机通信地联接到所述一个或者多个处理器;
所述照像机捕捉仓库的天花板的天花板灯的输入图像;并且
所述一个或者多个处理器执行机器可读指令以:
将所述输入图像中的天花板灯的原始特征与一个或者多个特征组相关联;
执行霍夫变换,以将所述一个或者多个特征组的所述原始特征变换成与所述一个或者多个特征组相关联的线段;
确定所述一个或者多个特征组的所述原始特征的凸包;
将所述一个或者多个特征组的所述线段与所述凸包在霍夫空间中进行比较;
丢弃所述一个或者多个特征组的在与所述一个或者多个特征组中的原始特征的所述凸包的相似性的阈值之外的线段,从而从所述一个或者多个特征组的所述线段中为所述一个或者多个特征组选择优选的一组线;
从所述优选的一组线中确定所述一个或者多个特征组的中心线;
将所述一个或者多个特征组的所述中心线与所述输入图像中的天花板灯中的一个相关联;以及
利用所述一个或者多个特征组的所述中心线导航所述工业车辆,使之穿过仓库。
2.根据权利要求1所述的工业车辆,其中所述凸包包括包线段,并且将所述一个或者多个特征组的线段与所述包线段进行比较。
3.根据权利要求2所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
将所述包线段转换成为霍夫空间坐标,其中所述包线段是由坐标ρ和θ表示的无限长的线。
4.根据权利要求1所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
将所述一个或者多个特征组的所述线段按强度次序分等级;并且
从所述优选的一组线的线段中选择第一边缘线,其中所述第一边缘线是所述优选的一组线的线段中的最高等级线。
5.根据权利要求4所述的工业车辆,其中所述第一边缘线由坐标ρ和θ表示。
6.根据权利要求5所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
从所述优选的一组线的线段中选择第二边缘线,其中所述第二边缘线是基于与所述第一边缘线的所述θ的相似性来选择的。
7.根据权利要求6所述的工业车辆,其中所述第二边缘线和所述第一边缘线以距离阈值分开。
8.根据权利要求6所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
从高等级至低等级搜索所述优选的一组线的线段,以选择所述第二边缘线。
9.根据权利要求6所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
找到其中所述第二边缘线和所述第一边缘线汇聚的灭点;并且
计算所述第二边缘线和所述第一边缘线的二等分线,其中所述中心线基于所述二等分线来计算。
10.根据权利要求1所述的工业车辆,其中所述原始特征的所述一个或者多个特征组中的每个均被单独地变换成线段。
11.根据权利要求1所述的工业车辆,其中使所述输入图像曝光不足以高亮所述天花板灯。
12.根据权利要求1所述的工业车辆,其中所述天花板灯包括天窗,并且所述一个或者多个处理器执行所述机器可读指令以:
从所述天窗中提取原始特征轮廓,其中所述原始特征包括所述原始特征轮廓;
将所述原始特征轮廓分类为属于天窗类;以及
将所述原始特征轮廓分组为所述一个或者多个特征组,其中所述一个或者多个特征组包括所述天窗中的每个天窗一组,并且其中一组中的每个包括所述每个天窗的所述原始特征轮廓。
13.根据权利要求12所述的工业车辆,其中所述天花板灯包括圆灯和组合灯,并且所述一个或者多个处理器执行机器可读指令以:
从所述圆灯和所述组合灯提取特征,其中所述原始特征包括来自所述圆灯和所述组合灯的特征;并且
将来自所述圆灯和所述组合灯的特征分类为标准灯类和组合灯类。
14.根据权利要求12所述的工业车辆,其中所述原始特征包括不需要的特征,并且所述一个或者多个处理器执行所述机器可读指令以:
将所述不需要的特征分类为噪音。
15.根据权利要求12所述的工业车辆,其中基于相对邻近度将所述原始特征轮廓分组成所述一个或者多个特征组,并且所述一个或者多个处理器执行机器可读指令以:
为所述原始特征轮廓中的每个计算最小边界矩形;以及
基于所述最小边界矩形的特征间距离,为所述原始特征轮廓中的每个计算所述相对邻近度。
16.一种工业车辆,包括照像机和一个或者多个处理器,其中:
所述照像机被通信地联接到所述一个或者多个处理器;
所述照像机被安装到工业车辆,并且被聚焦到仓库的天花板;
所述照像机捕捉仓库的天花板的天窗的输入图像;并且
所述一个或者多个处理器执行机器可读指令以:
从所述天花板的输入图像的天窗中提取原始特征轮廓;
将所述原始特征轮廓分组为特征组;
执行霍夫变换,以将所述特征组中的原始特征轮廓变换成与所述特征组相关联的线段;
确定所述特征组中的所述原始特征轮廓的凸包;
将所述特征组中的所述线段与霍夫空间中的所述凸包进行比较;
丢弃所述特征组的在与所述特征组中的所述原始特征轮廓的所述凸包的相似性的阈值之外的线段,从而从所述特征组的所述线段中为所述特征组选取优选的一组线;
从所述特征组的所述优选的一组线确定所述特征组的中心线;
基于所述中心线确定工业车辆的姿态、工业车辆的位置或者二者;以及
利用所述姿态、所述位置或者二者来导航所述工业车辆,使之穿过仓库。
17.根据权利要求16所述的工业车辆,其中所述输入图像包括圆灯和组合灯,并且所述一个或者多个处理器执行机器可读指令以:
从所述输入图像中的圆灯和组合灯中提取特征;
从所述输入图像提取不需要的特征;
将来自所述圆灯和所述组合灯的特征分类为标准灯类和组合灯类;以及
将所述不需要的特征分类为噪音。
18.根据权利要求16所述的工业车辆,其中利用距离阈值以基于相对邻近度将所述原始特征轮廓分组为所述特征组。
19.根据权利要求18所述的工业车辆,其中所述一个或者多个处理器执行机器可读指令以:
为所述原始特征轮廓的每个计算最小边界矩形;以及
基于所述最小边界矩形的特征间距离,为所述原始特征轮廓的每个计算所述相对邻近度。
20.一种用于导航工业车辆的方法,所述方法包括:
捕捉仓库的天花板的天窗和大致圆形的灯的输入图像,其中所述输入图像用联接到工业车辆的照像机捕捉;
从所述输入图像的天窗中提取原始特征;
用一个或者多个处理器自动地确定所述原始特征的凸包;
利用所述原始特征的所述凸包从所述原始特征中选择优选的一组线;
用所述一个或者多个处理器将所述输入图像中的所述大致圆形灯自动地转换成点特征;
从所述优选的一组线中确定所述天窗的中心线;
基于所述中心线和所述点特征确定工业车辆的姿态、工业车辆的位置或者二者;以及
利用所述姿态、所述位置或者二者来导航工业车辆,使之穿过仓库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910506764.0A CN110222702B (zh) | 2013-09-30 | 2014-09-30 | 具有基于顶灯定位的工业车辆 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361884388P | 2013-09-30 | 2013-09-30 | |
US61/884,388 | 2013-09-30 | ||
US201361897287P | 2013-10-30 | 2013-10-30 | |
US61/897,287 | 2013-10-30 | ||
US14/499,721 US9170581B2 (en) | 2013-09-30 | 2014-09-29 | Industrial vehicles with overhead light based localization |
US14/499,721 | 2014-09-29 | ||
PCT/US2014/058239 WO2015048717A1 (en) | 2013-09-30 | 2014-09-30 | Industrial vehicles with overhead light based localization |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910506764.0A Division CN110222702B (zh) | 2013-09-30 | 2014-09-30 | 具有基于顶灯定位的工业车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105765627A true CN105765627A (zh) | 2016-07-13 |
CN105765627B CN105765627B (zh) | 2019-07-05 |
Family
ID=52740928
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910506764.0A Active CN110222702B (zh) | 2013-09-30 | 2014-09-30 | 具有基于顶灯定位的工业车辆 |
CN201480063651.3A Active CN105765627B (zh) | 2013-09-30 | 2014-09-30 | 具有基于顶灯定位的工业车辆 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910506764.0A Active CN110222702B (zh) | 2013-09-30 | 2014-09-30 | 具有基于顶灯定位的工业车辆 |
Country Status (8)
Country | Link |
---|---|
US (2) | US9170581B2 (zh) |
EP (2) | EP3053141B1 (zh) |
KR (2) | KR102397508B1 (zh) |
CN (2) | CN110222702B (zh) |
AU (2) | AU2014324480B2 (zh) |
BR (1) | BR112016006854A2 (zh) |
RU (2) | RU2018130871A (zh) |
WO (1) | WO2015048717A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108415413A (zh) * | 2018-03-28 | 2018-08-17 | 华南农业大学 | 一种基于圆形有用域的智能叉车局部避障路径规划方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2291514C (en) | 1997-05-30 | 2011-07-12 | Creative Biomolecules, Inc. | Methods for evaluating tissue morphogenesis and activity |
EP2298335B1 (en) | 2004-05-25 | 2014-09-03 | Stryker Corporation | Use of OP-1 for treating cartilage defects |
EP2396025A2 (en) | 2009-02-12 | 2011-12-21 | Stryker Corporation | Peripheral administration of proteins including tgf-beta superfamily members for systemic treatment of disorders and disease |
JP2013514811A (ja) | 2009-12-22 | 2013-05-02 | ストライカー コーポレイション | 免疫原性が抑制されたbmp−7変異体 |
US9174830B1 (en) * | 2014-09-29 | 2015-11-03 | Crown Equipment Limited | Industrial vehicles with point fix based localization |
CA2986698C (en) | 2015-05-26 | 2023-08-01 | Crown Equipment Corporation | Systems and methods for image capture device calibration for a materials handling vehicle |
EP3304002B1 (en) | 2015-05-26 | 2019-02-06 | Crown Equipment Corporation | Systems and methods for materials handling vehicle odometry calibration |
BR112018004133A2 (pt) * | 2015-09-04 | 2018-09-25 | Crown Equipment Corporation | veículo industrial |
WO2017118000A1 (zh) * | 2016-01-04 | 2017-07-13 | 杭州亚美利嘉科技有限公司 | 机器人轮径补偿方法和装置 |
WO2017173553A1 (en) | 2016-04-08 | 2017-10-12 | A&K Robotics Inc. | Autoscrubber convertible between manual and autonomous operation |
JP2018036937A (ja) * | 2016-09-01 | 2018-03-08 | 住友電気工業株式会社 | 画像処理装置、画像処理システム、画像処理プログラムおよびラベル |
US10108194B1 (en) | 2016-09-02 | 2018-10-23 | X Development Llc | Object placement verification |
KR102000067B1 (ko) * | 2017-01-16 | 2019-09-17 | 엘지전자 주식회사 | 이동 로봇 |
AU2019225801B2 (en) * | 2018-02-23 | 2023-12-14 | Crown Equipment Corporation | Systems and methods for optical target based indoor vehicle navigation |
AU2019305588A1 (en) | 2018-07-17 | 2021-02-25 | Crown Equipment Corporation | Systems and methods for vehicle position calibration using rack leg identification |
CN109606384B (zh) * | 2018-12-29 | 2021-04-20 | 百度在线网络技术(北京)有限公司 | 车辆控制方法、装置、设备和存储介质 |
MX2021009139A (es) | 2019-02-06 | 2021-12-10 | Crown Equip Corp | Sistemas y metodos para la proteccion del final de pasillo y calibracion de posicion de vehiculo mediante la identificacion de pata de rejilla. |
WO2020172039A1 (en) | 2019-02-19 | 2020-08-27 | Crown Equipment Corporation | Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle |
US11644845B2 (en) | 2019-05-02 | 2023-05-09 | Crown Equipment Corporation | Industrial vehicle with feature-based localization and navigation |
CN110414384B (zh) * | 2019-07-11 | 2021-07-27 | 东南大学 | 智能稻麦收获机导航线跟踪方法 |
CN111179290B (zh) * | 2019-12-26 | 2023-04-28 | 东软睿驰汽车技术(沈阳)有限公司 | 一种确定凸包的方法和相关装置 |
CN111191645A (zh) * | 2020-01-07 | 2020-05-22 | 东南大学 | 基于行车记录仪图像的车辆隧道定位方法 |
US11897350B2 (en) | 2020-07-02 | 2024-02-13 | Crown Equipment Corporation | Materials handling vehicle charging system comprising a floor-mounted charging plate |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0363339A2 (en) * | 1988-10-04 | 1990-04-11 | Transitions Research Corporation | Mobile robot navigation employing ceiling light fixtures |
CN102314176A (zh) * | 2010-07-01 | 2012-01-11 | 德国福维克控股公司 | 自动行驶装置及其定向方法 |
CN102541058A (zh) * | 2010-11-10 | 2012-07-04 | 迪尔公司 | 车辆导引系统 |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE448407B (sv) | 1985-08-22 | 1987-02-16 | Tellus Carrago Ab | Navigationssystem |
US4947094A (en) | 1987-07-23 | 1990-08-07 | Battelle Memorial Institute | Optical guidance system for industrial vehicles |
US4790402A (en) | 1987-09-28 | 1988-12-13 | Tennant Company | Automated guided vehicle |
US5359666A (en) | 1988-09-28 | 1994-10-25 | Honda Giken Kogyo Kabushiki Kaisha | Driving way judging device and method |
FR2637681B1 (fr) | 1988-10-12 | 1990-11-16 | Commissariat Energie Atomique | Procede de mesure de l'evolution de la position d'un vehicule par rapport a une surface |
US5155684A (en) | 1988-10-25 | 1992-10-13 | Tennant Company | Guiding an unmanned vehicle by reference to overhead features |
EP0366350A3 (en) | 1988-10-25 | 1991-05-22 | Tennant Company | Guiding an unmanned vehicle by reference to overhead features |
JP3397336B2 (ja) | 1992-03-13 | 2003-04-14 | 神鋼電機株式会社 | 無人車の位置・方向検出方法 |
JP3300092B2 (ja) | 1993-02-19 | 2002-07-08 | オリンパス光学工業株式会社 | 画像特徴抽出装置 |
JPH07248822A (ja) | 1994-03-10 | 1995-09-26 | Fujitsu Ltd | 無人搬送車の走行制御方法及び無人搬送車 |
DE4429016A1 (de) | 1994-08-16 | 1996-02-22 | Linde Ag | Navigation für fahrerlose Fahrzeuge |
US5904725A (en) | 1995-04-25 | 1999-05-18 | Matsushita Electric Industrial Co., Ltd. | Local positioning apparatus |
JP3556766B2 (ja) | 1996-05-28 | 2004-08-25 | 松下電器産業株式会社 | 道路白線検出装置 |
AU1775401A (en) | 1999-11-18 | 2001-05-30 | Procter & Gamble Company, The | Home cleaning robot |
DE10008289A1 (de) | 2000-02-23 | 2001-09-06 | Siemens Ag | Verfahren und Vorrichtung zur Bestimmung der Ausrichtung und/oder der Bewegungsrichtung eines bewegbaren Objekts, insbesondere eines Roboters, in einem Bewegungsraum |
RU2220643C2 (ru) | 2001-04-18 | 2004-01-10 | Самсунг Гванджу Электроникс Ко., Лтд. | Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты) |
EP1378861A1 (en) | 2002-07-01 | 2004-01-07 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for image processing |
JP4042517B2 (ja) | 2002-10-09 | 2008-02-06 | 株式会社日立製作所 | 移動体およびその位置検出装置 |
RU2262880C2 (ru) * | 2003-02-06 | 2005-10-27 | Самсунг Гвангджу Электроникс Ко., Лтд | Система робота -пылесоса с внешним зарядным устройством (варианты) и способ стыковки робота -пылесоса с внешним зарядным устройством |
US7444002B2 (en) * | 2004-06-02 | 2008-10-28 | Raytheon Company | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance |
JP4311391B2 (ja) | 2005-10-03 | 2009-08-12 | ソニー株式会社 | 接触形状算出装置及び接触形状算出方法、並びにコンピュータ・プログラム |
DE102006062061B4 (de) | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
KR100871115B1 (ko) | 2007-05-16 | 2008-11-28 | 엘지전자 주식회사 | 이동로봇 및 그 동작방법 |
KR100877071B1 (ko) | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
US9536275B1 (en) * | 2007-07-31 | 2017-01-03 | Nvidia Corporation | Using a geometry shader for variable input and output algorithms |
AT509118B1 (de) | 2008-07-16 | 2011-12-15 | Zeno Track Gmbh | Verfahren und vorrichtung zum erfassen der position eines fahrzeuges in einem definierten bereich |
DE102008036412A1 (de) | 2008-08-05 | 2010-02-11 | Still Gmbh | Verfahren zur Fahrerunterstützung bei einem Flurförderzeug |
JP5275752B2 (ja) | 2008-10-30 | 2013-08-28 | 秀機 拜郷 | 排気装置及び塗装作業用装置 |
DE102009004854B4 (de) | 2009-01-16 | 2015-08-06 | Jungheinrich Aktiengesellschaft | Verfahren und System zur Positionsbestimmung eines Flurförderzeugs |
KR101036028B1 (ko) | 2009-07-08 | 2011-05-19 | 고려대학교 산학협력단 | 고속 회전 불변 특징 정합 방법, 이를 구비하는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법 |
KR101540666B1 (ko) | 2009-07-22 | 2015-07-31 | 엘지전자 주식회사 | 이동 로봇의 위치추정을 위한 회전변화에 불변하는 특징점 검출 장치 및 방법 |
KR101035058B1 (ko) | 2009-09-25 | 2011-05-19 | 전자부품연구원 | 이동 로봇 및 그의 자기위치 인식을 위한 천장영역 인식방법 |
KR101092002B1 (ko) | 2009-11-05 | 2011-12-08 | 재단법인 포항지능로봇연구소 | 인공표식, 인공표식과 자연표식을 혼용한 네비게이션 장치 및 방법 |
KR101065960B1 (ko) | 2009-11-18 | 2011-09-19 | 인하대학교 산학협력단 | 이동체의 위치를 인식하는 이동 시스템 및 위치 추정 방법 |
DE102010008957A1 (de) | 2010-02-19 | 2011-08-25 | FusionSystems GmbH, 09125 | Positionsbestimmung mittels optischer Kode-Schiene (Astropos) |
EP2385435A1 (en) | 2010-04-22 | 2011-11-09 | Danaher Motion Särö AB | A method and a system for gathering data |
KR20120021064A (ko) | 2010-08-31 | 2012-03-08 | 엘지전자 주식회사 | 이동 로봇 및 이의 제어 방법 |
RU2010147394A (ru) * | 2010-11-19 | 2012-05-27 | ООО "Битроника" (RU) | Робот мобильный и мобильный робототехнический комплекс на его основе (варианты) |
CN102135429B (zh) | 2010-12-29 | 2012-06-13 | 东南大学 | 一种基于视觉的机器人室内定位导航方法 |
KR101248308B1 (ko) | 2011-01-31 | 2013-03-27 | 고려대학교 산학협력단 | 천장 조명 방향 특성 활용 이동 로봇 위치 인식 방법 및 이를 활용한 천장 조명 방향 특성 활용 위치 인식 이동 로봇 장치 |
JP2012164229A (ja) | 2011-02-08 | 2012-08-30 | Ihi Corp | 屋内用自律走行移動体の自己位置測定方法及び装置 |
FI20115542A0 (fi) * | 2011-06-03 | 2011-06-03 | Marimils Oy | Menetelmä ja järjestelmä valvontaan |
EP2549408A1 (de) | 2011-07-20 | 2013-01-23 | Delphi Technologies, Inc. | Verfahren zur Detektion und Klassifikation von Objekten |
KR101311100B1 (ko) | 2011-08-27 | 2013-09-25 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
DE102011115354B4 (de) | 2011-10-07 | 2017-01-05 | Telejet Kommunikations Gmbh | Navigation anhand von zufälligen Mustern |
KR101295959B1 (ko) | 2011-10-20 | 2013-08-13 | 충북대학교 산학협력단 | 실내 천장 영상을 이용한 이동 로봇 위치 측정 장치 및 방법 |
CN103020632B (zh) | 2012-11-20 | 2016-03-30 | 北京航空航天大学 | 一种室内环境中移动机器人定位标志点的快速识别方法 |
-
2014
- 2014-09-29 US US14/499,721 patent/US9170581B2/en active Active
- 2014-09-30 BR BR112016006854A patent/BR112016006854A2/pt not_active Application Discontinuation
- 2014-09-30 EP EP14793662.9A patent/EP3053141B1/en active Active
- 2014-09-30 KR KR1020167011300A patent/KR102397508B1/ko active IP Right Grant
- 2014-09-30 CN CN201910506764.0A patent/CN110222702B/zh active Active
- 2014-09-30 RU RU2018130871A patent/RU2018130871A/ru not_active Application Discontinuation
- 2014-09-30 WO PCT/US2014/058239 patent/WO2015048717A1/en active Application Filing
- 2014-09-30 RU RU2016114307A patent/RU2668388C2/ru not_active IP Right Cessation
- 2014-09-30 EP EP18212768.8A patent/EP3489894B1/en active Active
- 2014-09-30 KR KR1020227015469A patent/KR102523226B1/ko active IP Right Grant
- 2014-09-30 AU AU2014324480A patent/AU2014324480B2/en active Active
- 2014-09-30 CN CN201480063651.3A patent/CN105765627B/zh active Active
-
2015
- 2015-09-22 US US14/861,626 patent/US9606540B2/en active Active
-
2020
- 2020-03-05 AU AU2020201664A patent/AU2020201664B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0363339A2 (en) * | 1988-10-04 | 1990-04-11 | Transitions Research Corporation | Mobile robot navigation employing ceiling light fixtures |
CN102314176A (zh) * | 2010-07-01 | 2012-01-11 | 德国福维克控股公司 | 自动行驶装置及其定向方法 |
CN102541058A (zh) * | 2010-11-10 | 2012-07-04 | 迪尔公司 | 车辆导引系统 |
Non-Patent Citations (1)
Title |
---|
S.Y.CUI等: "BUILDING DETECTION AND RECOGNITION FROM HIGH RESOLUTION REMOTELY SENSED IMAGERY", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108415413A (zh) * | 2018-03-28 | 2018-08-17 | 华南农业大学 | 一种基于圆形有用域的智能叉车局部避障路径规划方法 |
CN108415413B (zh) * | 2018-03-28 | 2021-03-30 | 华南农业大学 | 一种基于圆形有用域的智能叉车局部避障路径规划方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20220062696A (ko) | 2022-05-17 |
KR102523226B1 (ko) | 2023-04-20 |
AU2014324480A1 (en) | 2016-04-07 |
KR102397508B1 (ko) | 2022-05-13 |
US9170581B2 (en) | 2015-10-27 |
EP3489894A1 (en) | 2019-05-29 |
US20150094900A1 (en) | 2015-04-02 |
RU2668388C2 (ru) | 2018-09-28 |
US9606540B2 (en) | 2017-03-28 |
RU2016114307A (ru) | 2017-10-16 |
CN110222702B (zh) | 2023-10-31 |
CN110222702A (zh) | 2019-09-10 |
RU2016114307A3 (zh) | 2018-06-28 |
RU2018130871A (ru) | 2019-03-19 |
AU2020201664B2 (en) | 2021-08-12 |
US20160011595A1 (en) | 2016-01-14 |
EP3489894B1 (en) | 2020-07-01 |
EP3053141A1 (en) | 2016-08-10 |
BR112016006854A2 (pt) | 2017-08-01 |
AU2014324480B2 (en) | 2019-12-05 |
EP3053141B1 (en) | 2019-07-03 |
AU2020201664A1 (en) | 2020-03-26 |
CN105765627B (zh) | 2019-07-05 |
KR20160065922A (ko) | 2016-06-09 |
WO2015048717A1 (en) | 2015-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105765627A (zh) | 具有基于顶灯定位的工业车辆 | |
US9340399B2 (en) | Industrial vehicles with point fix based localization | |
US11815905B2 (en) | Systems and methods for optical target based indoor vehicle navigation | |
JP2018063680A (ja) | 交通信号認識方法および交通信号認識装置 | |
US20200348673A1 (en) | Industrial vehicle with feature-based localization and navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |