CN104050729B - 收集与自主工业用车辆操作有关的视频数据的系统和方法 - Google Patents

收集与自主工业用车辆操作有关的视频数据的系统和方法 Download PDF

Info

Publication number
CN104050729B
CN104050729B CN201410177189.1A CN201410177189A CN104050729B CN 104050729 B CN104050729 B CN 104050729B CN 201410177189 A CN201410177189 A CN 201410177189A CN 104050729 B CN104050729 B CN 104050729B
Authority
CN
China
Prior art keywords
industrial vehicle
incident
vehicle
main boot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410177189.1A
Other languages
English (en)
Other versions
CN104050729A (zh
Inventor
J·J·库斯
S·L·佩奇
P·P·麦凯布
T·E·唐纳修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raymond Corp
Original Assignee
Raymond Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/796,346 external-priority patent/US9146559B2/en
Application filed by Raymond Corp filed Critical Raymond Corp
Publication of CN104050729A publication Critical patent/CN104050729A/zh
Application granted granted Critical
Publication of CN104050729B publication Critical patent/CN104050729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60Electric or hybrid propulsion means for production processes

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

揭示了收集与自主式工业用车辆的操作有关的视频数据的系统和方法。当自主引导的工业用车辆穿过一设施而行驶时,通过静止照相机或摄像机获得邻近环境的图像。包括多个图像的图像文件被存储在车辆中。在行驶期间,确定车辆的位置。一旦发生预定的偶发事件,例如遇到障碍物或碰撞到物体,从车辆无线地传输偶发事件消息到远程管理计算机。偶发事件消息包括偶发事件的类型的表示、车辆的位置的表示和多个图像。通过提供关于偶发事件的通知给一个或多个人,远程管理计算机响应于偶发事件消息。偶发事件消息的内容能够使所通知的人采取校正措施。

Description

收集与自主工业用车辆操作有关的视频数据的系统和方法
相关专利申请的交叉引用
本申请是2012年2月14日申请的美国专利申请号13/372,941的部分的延续,并且要求2011年3月18日提出的美国临时专利申请号61/454,024的权益。
关于联邦资助的研究或开发的声明
无。
技术领域
本发明涉及工业用车辆,例如物料处理车辆,并更具体涉及操作自主引导的工业用车辆。
背景技术
包括起重车的各种类型的工业用车辆,用于在如工厂、仓库、货物中转站或零售店的设施处搬运物品。传统上这些车辆由车辆上的操作员控制。由于工业用车辆变得更加完善,因此一种新型的自主引导的车辆已经发展起来。自主引导车辆(AGV)是一种移动机器人的形式,其不用操作员,在受限的环境(例如工厂或仓库)中将货物和材料从一个地方传送到另一个地方。
一些AGV跟随埋在地板下的导线,因此被限制为沿着该导线所限定的固定路径行驶。引导技术进一步发展了,因此使得车辆不需要再被限制在固定路径。此处作为参考基准的参考标记定位在设施中的各种位置。在一个实施方式中,每个基准具有唯一的外观或光学可读元件,例如,唯一的条形码。需要行驶到特定位置的AGV将确定一定顺序的基准点到该位置并且然后在该顺序中从一个基准点行驶到下一个基准点。在AGV上的光学传感器感测当车辆行驶时的邻近基准点,并且每个基准点的唯一的外观或编码能够使车辆确定其目前位置并沿着所希望顺序的行驶方向。甚至是使用摄像机和图像识别软件的更加完善的导航系统已经发展,以引导AGV沿着由导航系统在前知道的所希望路径。
不管是否使用特定导航系统,当障碍物妨碍了所希望的路径时,AGV常常具有困难。例如,雇员可以将货物的货盘留在正被AGV行进的过道中。AGV上的传感器检测障碍物,并且在撞击到障碍物之前,控制器使车辆停止。然而,因为导航系统缺乏智能来确定避免障碍物的另一个路径,所以只要障碍物妨碍了所希望的路径时AGV就保持停止。车辆保持静止,直到雇员碰巧注意到该事件,并且要么移开障碍物,要么绕着障碍物手动引导车辆。
从而希望提供一种用于处理其中AGV不能沿着预期路径连续操作的偶发事件的机制。
发明内容
一种方法操作自主引导的工业用车辆经过一设施而行驶。在行驶期间,获得邻近该工业用车辆的该设施的多个部分的图像。可通过静止照相机或摄像机产生这些图像。包括多个图像的图像文件存储在工业用车辆上。
一旦发生预先确定的偶发事件,例如车辆意外停止,偶发事件消息就从工业用车辆无线传输给远程管理计算机。该消息包括一个或多个下面类型的信息,偶发事件的类型的第一指示、工业用车辆的位置的第二指示和在偶发事件之前刚获得的多个图像。通过提供关于偶发事件的通知给个人,远程管理计算机响应于偶发事件消息。在本概念的一个实施方式中,管理计算机通过电子邮件将该通知发送给该个人。
附图说明
图1是根据本发明的工业用车辆的透视图;
图2是用于工业用车辆的控制系统的框图;
图3描述车队管理系统,其中车辆通过无线网络与中央资产管理计算机进行通信,该计算机链接到其他远距离计算机也能访问远程数据库;以及
图4是工业用车辆在其中运作的仓库的地板平面图。
具体实施方式
本发明通常涉及一种工业用车辆的操作。尽管本发明在上下文中已经描述为仓库中使用的码垛车,但创造性的概念可适用于其他类型的工业用车辆,并且它们可应用于各种设施中,如工厂、货物中转站、仓库和零售店。
首先参考图1,工业用车辆10,具体是码垛车,包括具有供操作员进出的开口的操作室11。与操作室11相关联的是操纵手柄14,操纵手柄14是几个操作者控制器17之一,并且具有操作者指示器12。工业用车辆10具有货物运载工具18,例如一对叉,其相对车架提升和放下。如进一步详细描述的,工业用车辆的通信系统能够通过天线15和无线信号与远程定位的设施管理系统交换数据和命令。
工业用车辆10进一步包括引导和导航系统(GANS)13。任何市场上可买到的引导和导航系统可用于为工业用车辆确定路径、感测车辆外部的环境条件,并操作推进传动系统以沿着限定的路径引导车辆。在一个实施方式中,GANS 13可通过感测所埋的导线、建筑地板上的带子、或路径附近的磁性标志,从而确定车辆位置和行驶路径。在另一个实施方式中,GANS 13使用激光扫描器或照相机来感测贯穿设施在固定物体上放置的基准点,从而限定各种路径。从而,在每个场合,检测另一个基准点并通过GANS确定车辆的新的当前位置。在进一步的实施方式中,GANS 13具有产生输出图像的一个或多个摄像机,由图像识别软件处理输出图像以检测设施中车辆的当前位置。也可以使用航位推算引导技术。对于使用摄像机或航位推算引导技术的系统,当GANS 13“学习”路径时,通过手动驱动车辆教导每个工业用车辆10通过不同路径。
这样,工业用车辆10是一种混合控制车辆,其能由在车上操作室11内的操作员控制,或者能通过GANS 13以无人的自主模式进行控制。
图2是工业用车辆10车载的控制系统20的方框图。控制系统20包括车辆控制器21,它是基于微型计算机的装置,该装置包括存储器24、模数转换器和输入/输出电路。车辆控制器21执行软件程序,该程序响应来自操作者控制器17或GANS 13的命令并且操纵推进工业用车辆和处理将要传送的负载的车辆部件。操作者控制器17提供输入信号以启动和管理车辆运行的操作,例如前进和后退行驶、转向、制动以及提升和放下货物运载工具18。响应于操作员输入的信号,车辆控制器21通过第一通信网络26发送命令信号给提升马达控制器23和包括牵引马达控制器27和转向马达控制器29的推进传动系统25。第一通信网络26可为用于在机器部件之间交换命令和数据的任意已知网络,例如控制器区域网(CAN)串行总线,其利用由瑞士日内瓦的国际标准化组织颁布的ISO-11898的通信协议。
工业用车辆10由可再充电能源提供电源,例如,电池组37,其通过功率分配器39中的一簇熔丝或电路断路器电耦合到车辆控制器21、推进传动系统25、转向马达控制器29和提升马达控制器23。
推动传动系统25沿着设施地板所希望的方向推进工业用车辆10。牵引马达控制器27驱动连接到推进轮45以提供用于工业用车辆的原动力的至少一个牵引马达43。牵引马达43和相关联的推进轮45的速度和旋转方向由操作者通过操纵手柄14上的节流控制进行选择,并且由来自旋转传感器44的反馈信号监控。旋转传感器44可以是耦合到牵引马达43的编码器,并且从中产生的信号用于测量由里程表46记录的车辆行驶的速度和距离。推进轮45也通过牵引马达43连接到制动器22,以向工业用车辆10提供服务和停车制动功能。
转向马达控制器29可操作地连接以驱动转向马达47和相关联的可转向轮49。如上所述,由操作者通过旋转操纵手柄14选择转向方向。可转向轮49的旋转方向和总量确定工业用车辆10行驶的方向。可转向轮49可与推进轮45相同或者可以是不同的车轮。旋转角度传感器50能够耦合到可转向轮49以感测车辆转向的角度。通过车辆控制器21使用所监测的旋转角度以察觉车辆行驶的方向。
提升马达控制器23发送驱动信号以控制连接到液压回路53的提升马达51,液压回路操作用于提升和放下货物运载工具18和将要运载的负载35的提升组件。
仍然参考图2,多个数据输入和输出装置连接到车辆控制器21。这些装置包括用于如温度、电池充电水平和物体冲击力的参数的车辆传感器60。维护服务端口64和通信端口65也连接到车辆控制器21。操作者控制器17允许车辆操作员、管理员或其他人员输入数据和配置命令到车辆控制器21,并且能够以键盘、一系列分散的按钮、鼠标、操纵杆或本领域普通技术人员显而易见的其他输入装置实现。为诊断和配置目的,维护服务端口64使技术员能将便携式计算机(未示出)连接到工业用车辆10。通信端口65连接到无线通信装置67,该装置包括耦合到天线15的无线电收发器69,用于在工业用车辆10在其中操作的仓库或工程中利用无线通信系统交换数据和命令。几个已知串行通信协议中的任何一个,如Wi-Fi,能够用于通过双向通信系统交换承载命令和数据的消息。每个工业用车辆10具有唯一标示符,例如其制造序列号或通信系统地址,其能够使消息特定地传达到相应车辆。
车辆控制器21将关于车辆操作的所感测的数据存储在控制器存储器24中。另外,所存储的数据可以包括由车辆控制器21产生的信息,例如运行小时数、电池的充电状态和操作故障代码。负载提升操作由提升马达51运行的时间总量来监测。各种速度参数,如车辆的速度和加速度也在典型的工业用车辆上进行监测。
车辆控制器21供应这些数据的某些给操作者指示器12,其显示车辆操作参数,例如,行驶速度、电池充电水平、操作小时、当前时间和需要的维护。温度传感器监测马达的温度和其他部件的温度,并且能够显示出来这些数据。报警指示也存在于操作者指示器上,以通知操作者需要注意的车辆情况。
引导和导航系统(GANS)13也耦合到车辆控制器21以提供用于操作提升马达控制器23、牵引马达控制器27和转向马达控制器29的控制信号来以无人的自主操作模式引导车辆。GANS 13具有操作者输入装置61和操作者显示器66。GANS 13通过连接器72耦合到第二通信网络70,例如通往接口电路74的另一条CAN串行总线。接口电路74连接到第一通信网络26,从而使得与车辆控制器21交换具有命令和数据的消息,如下文所述。接口电路74提供第一和第二通信网络26和70之间的隔离,从而防止施加到连接器72的不当的信号不利地影响消息在第一通信网络上的转移。
参考图3,其中一个或多个工业用车辆10运行的仓库100包括双向通信系统102,其将每个工业用车辆10的无线通信装置67链接到设施的固定位置处的资产管理计算机104。通信系统102包括分布遍布仓库100的多个无线接入点106,例如在装卸码头和仓库区域。无线接入点106是射频信号收发器,其通过常规硬件实施方式的局域网105或TCP/IP通信链接到资产管理计算机104。可选择地,无线接入点106能够无线耦合,例如通过Wi-Fi链接到资产管理计算机104。
通信系统102也能够提供一种机制,通过该机制确定仓库内的每个工业用车辆10的位置。周期地,在每个无线接入点106处的收发器广播由全部工业用车辆10接收的位置消息。位置消息携带发送的无线接入点106的标识和指示消息发送的时刻的时间码,例如一天的时间。每个工业用车辆10具有产生相似时间码的时钟。无线接入点106中和工业用车辆10上的全部时间码生成器是同步的。一旦接收位置消息,工业用车辆记录来自其时钟的时间码。车辆控制器21使用传输和接收时间码来计算从各自无线接入点106到该工业用车辆10的位置消息的传播时间。传播时间直接相应于工业用车辆与各自的无线接入点的距离。车辆控制器21使用由位置消息携带的无线接入点标识来访问在控制器存储器24中存储的表格,并且确定该无线接入点的固定位置。通过已知的消息传播时间和至少三个接入点106的位置,车辆控制器21能够使用三角测量来确定车辆在仓库100内的位置。无线接入点106的这个功能称为本地定位系统(LPS)。能够使用用于确定车辆位置的其他方法。例如,GANS 13可周期性地确定车辆位置并且提供该位置指示给车辆控制器21。
资产管理计算机104也通过互联网108或其他通信链路与仓库公司的总部处的仓库管理计算机系统114通信。该连接使管理计算机系统114能够在公司的全部仓库处接收关于工业用车辆车队运作的数据。资产管理计算机104和仓库管理计算机系统114均执行用于存储、分析和报告有关工业用车辆的操作信息的软件。
资产管理计算机104到互联网108,或其他外部通信链路的连接使资产管理计算机104能够访问数据库110,其包括在车辆厂商处从计算机112中提供的数据。从仓库处的工业用车辆收集的数据也上传并存储到数据库110中。例如,通过仓库管理人员或车辆经销商可访问所选择的数据,其通过互联网108连接到数据库110。各种计算机能够分析和比较从已知仓库、仓库公司的全部设施、或由厂商制造的全部车辆处全部工业用车辆中收集的数据。
工业实用性
本发明工业用车辆10能够以人工、手动模式操作,其中车载操作员控制车辆的功能;在无人的自主(机器人)模式中,其中GANS 13自动地控制车辆运作而不需要操作员的存在;或者在远程控制模式中,其中由在资产管理计算机104处的人发送命令以操作车辆。
参考图4,仓库100包括在其中存储多个货盘204的货物的存储区域202,并且用于传送货物装载和卸下运送车208的装货码头区域206。仓库还具有用于电池再充电站101的区域。给定仓库可具有位于不同位置的多个电池再充电站。
多个工业用车辆10围绕仓库100行驶以从运送车208卸载、放置货物在货盘204上、并且随后将货物从存储区域移走以及将这些货物装载到其他运送车上。例如,第一操作者手动驱动混合的手动-自主工业用车辆10穿过存储区域202到合适位置,在其中存储所希望的货物并且这些货物装载到车辆的货物运载工具18上。然后驱动工业用车辆10到站A处的集结区域,其中第一操作者使用操作者输入装置61来以自主模式放置工业用车辆10,利用指令来沿着路径214行驶到站C。然后第一操作者步测工业用车辆10,通过来自操作室11(参考图1)的压力传感车底板垫的信号表明该动作给车辆控制器21。据此,工业用车辆10开始沿着路径214自主操作行驶通过站B到站C处的目的地。需要注意的是,当从接近于站B的存储位置携带货物时,工业用车辆也能够进行手动驱动到站B,从其以自主模式发送到站C。
当可选择地操作者手动输入路径任务到操作者输入装置61时,中央调度员能够输入路径任务到资产管理计算机104,路径任务从其通过仓库通信系统102传输到工业用车辆10。然后车辆控制器21通过第一通信网26、接口电路74和第二通信网络70发送路径任务给引导和导航系统(GANS)13。
一旦接收路径任务,GANS 13就会在工业用车辆10的操作上采用控制。该控制包括GANS 13发送命令到车辆控制器21,其模拟由手动操作者控制器17,如控制手柄14,生成的数字信号。从而,车辆控制器21接收来自GANS 13的命令,其表明在其处驱动牵引马达43的速度和方向,以及转向马达47应当转向可转向轮49的方向和角度,以便沿着指定路径推进车辆。通过GANS 13的上述控制还可包括当要使用或释放制动器22时发送命令给车辆控制器21。
当工业用车辆10以自主模式行驶时,GANS 13上的传感器检测车辆相对于指定路径214的位置。在一个类型的GANS中,照相机76或激光扫描器检测基准点216,其周期性沿着仓库中各种路径设置。基准点216可设置在仓库地板、墙壁、柱子、架子和其他具有固定位置的物体上。每个基准点216具有唯一的外观或光学可读码,例如唯一的条形码或其他光学模式,从而使得GANS 13能够确定车辆的当前位置和沿着指定路径214的开始达到下一个基准点216而采取的方向。另一个类型的GANS 13使用生成接近工业型车辆10的环境的图像的摄像机76。通过图像识别软件处理这些图像,图像识别软件识别仓库的物理特征并且从这些物理特征中确定工业用车辆10的当前位置。任一类型的GANS 13使用导出数据以确定何时和如何转向可转向轮49,从而使得工业用车辆10沿着指定路径214行驶。
当GANS 13检测达到站C时,工业用车辆10自动地停止并等待进一步操作命令。最后第二操作者在车上移步,并且放置工业用车辆10到手动模式。然后这个操作者手动地驱动工业用车辆到在装货码头区域206上停放的运送车208上,并且在这个运送车中存放货物。然后第二操作者返回工业用车辆10到站C,并且指向朝着站A的车辆。
然后,第二操作者将命令输入到操作者输入装置61,以指示用于车辆的路径218以行驶到站A并且开始自主模式。在第二操作者退出操作室11之后,工业用车辆10开始沿着路径218行驶到站A。一旦达到站A,工业用车辆停止并且等待另一个操作者以手动控制车辆。
存在着特定偶发事件,其无能力以自主模式操作工业用车辆10。例如,这些车辆典型地具有多个事故关闭开关的一个,如果观察到不希望的车辆操作,那么在仓库的地板上的人就能够操作。自主操作的车辆也可被编程,以当车载传感器60检测碰撞物体时,利用更大于预定力量的总量,停止操作。
在图4中描述的另一个偶发事件,自主工业用车辆210在其路径中遭遇障碍物220。引导和导航系统13感测该障碍物,并且在碰撞发生之前停止车辆。然而,引导和导航系统不能够确定如何围着障碍物220操纵,从而工业用车辆210在该位置处保持静止。由于对于车辆来说停止不是给定指定路径的一部分,因此所有这些偶发事件导致车辆的“意外停止”。
如果未调整意外停止,例如通过将要行驶的障碍物220,在预定事件周期内,车辆控制器21自动开始恢复程序。
为了实现恢复程序,当操作时,每个工业用车辆10连续地收集位置和图像数据。如先前注意的,GANS 13可检测在仓库100中已知位置处附着于固定物体的唯一基准点216。在GANS中的存储器包括与相关联仓库位置有关的每个基准点216的唯一的外观或编码的表格。因此,一旦检测到特定的基准点216(这就是给定场合),GANS 13就会知道正是在仓库100中的该位置处该基准点被定位。可选择地,通过处理来自照相机76的视频或静止图像,GANS 13可周期地确定车辆的当前位置。在另一种技术中,利用在仓库中来自多个无线接入点106的信号,通过本地配置系统获得车辆的当前位置。不管是否使用特定技术,用于车辆确定的每个位置称为“所识别的位置”。GANS 13每次用信号通知车辆控制器21,获得新的所识别的位置。车辆控制器21通过重置里程表46响应,以测量工业用车辆10从新的所识别的位置行驶的距离。从而无论何时获得新的所识别的位置,重置里程表。
如果不使用用于引导的基准点216,则GANS 13可对由照相机76产生的视频信号使用图像处理以检测仓库结构特征,从而引导车辆沿着指定路径。在这个情况中,当车辆达到每个站A、B和C时,GANS 13检测,然后其就变为车辆所识别的位置。达到或通过这些所识别的位置中的一个(这就是给定场合),使车辆控制器21重置里程表46以开始测量从在仓库中具有已知位置的相关联站行驶工业用车辆10的距离。
GANS 13中的相机76连续地产生视频图像序列,同时工业用车辆10正在操作。包括用于给定时间周期的,例如,15到20秒,多个视频图像序列的视频图像数据存储在GANS 13的存储器77中的文件中。配置在该文件中存储的数据,使得新视频图像改写时间最久的视频图像,并且从而存储器文件包括视频数据的最接近的15到20秒。代替摄像机,静止图像照相机能够使用,周期地,例如每个一个半秒,产生接近工业用车辆10环境的单独图像。这些静止图像以循环模式存储在GANS存储器77的文件中。GANS 13中的存储器77可为任何类型的常规数据存储装置,例如,计算机硬盘驱动器。
当工业用车辆10或210产生意外停止时,例如一旦在其路径(偶发事件)中遇见障碍物220,GANS 13就关闭其中已经在前存储照相机图像的图像文件,并且打开在另一个15-20秒循环中用于存储未来图像的新文件。从而,先于意外停止的偶发事件即时获得保持在这些文件中的多个图像中的第一个。其次,车辆控制器21生成偶发事件消息,其包括引起意外停止的偶发事件类型的表示、最后所识别的位置、读取表示距离的当前里程表和从最后所识别位置行驶的方向。偶发事件消息也包括GANS存储器77中先于意外停止马上存储的视频文件或静止图像。那么,偶发事件消息从无线通信装置67发送到通信系统102,通过将消息输送到资产管理计算机104。
一旦接收偶发事件消息,资产管理计算机104提出用于在该计算机的监视器上显示偶发事件通知的非图像数据。非图像数据也可发送到仓库处的指定的人员,例如管理人和偶发事件回应者。利用用于指定人的电子邮件地址的列表配置资产管理计算机104,将关于每个意外停止通知给该人。可选择地,配置数据能够指定用于意外停止的每个不同类型将要通知的单独的人群,例如,障碍物、事故关闭开关激活、或碰撞。这些指定人在仓库中通过智能电话或其它计算机108接收电子邮件,其连接到资产管理计算机104。一旦接收电子邮件,人使用最后所识别的位置、里程表距离和转向车辆到意外停止的原因的地址的行驶方向。可选择地,电子邮件接受者能够访问偶发事件消息中包括的图像以确定意外停止的原因。
在恢复过程变化中,从工业用车辆发送的偶发事件消息不包括图像数据,并且仅包括偶发事件类型的指示、最后所识别的定位、里程表距离和从最后所识别的位置行驶的方向。在这个情况中,一旦正在通知意外停止,如果希望的话,那么个人能够通过通信系统102从资产管理计算机104发送图像请求消息到各自的工业用车辆210a。通过从GANS存储器77收集图像数据和放置该数据到图像消息,在该车辆中的车辆控制器21答复图像情况消息,该图像消息传输回资产管理计算机104用于通过请求个人来观察。当GNAS存储器77存储响应于不同意外停止获得多个图像数据文件时,使用恢复过程的变形,其中能够访问每个文件以评价各自偶发事件的评价。现在一旦发生新的意外的停止,偶发事件消息就也包括GANS存储器77中特定图像数据文件的指示,其包括用于新的意外的停止的图像。然后,该图像文件指示用在图像请求消息中,以具有从GANS存储器77中检索的适当的文件和在其中传送到资产管理计算机104的图像。
在另一个实施方式中,个人能够控制来自资产管理计算机104的工业用车辆10或210的操作以转向引起意外停止的偶发事件。最初,个人输入引起工业用车辆从自主模式到远程控制模式转变的命令。在远程控制模式中,当前图像从工业用车辆10或210发送到现实图像的资产管理计算机104。个人能够从资产管理计算机104将命令发送到工业用车辆以控制转向、行驶方法、速度和其他功能。例如,能够命令工业用车辆210以围绕正阻挡指定路径的障碍物220行驶。当偶发事件已经转向并且远程控制不再需要时,通过从资产管理计算机104发送的另外的命令,重建车辆控制系统20的操作到自主模式。
可选择地,在资产管理计算机104处的管理人员能够发送指定给工业用车辆210,以改编利用另外路径的GANS 13给所希望的目的地,从而避免障碍物。
在相似模式中,当车辆碰撞引起意外停止和偶发消息发送到资产管理计算机104,能够在该计算机中观看消息中图像数据。这个使得管理人员能够观察工业用车辆10的环境,并且认识到发生的碰撞的种类和严重性。从而,管理人员能够确定工业用车辆是否可操作,其中情况合适命令从资产管理计算机104发送到指令合适车辆操作的工业用车辆。可选择地,在重大碰撞情况中,管理人员能够分派修理技术员以注意工业用车辆。
首先上文的描述针对本发明的一个或多个实施方式。尽管对于在本发明的范围内的各种替代方式已给予了一些关注,但是应该预期到本领域的技术人员很可能实现其他替代方式,其相对于本发明公开的实施方式是显而易见的。例如,尽管在混合手动-自主的车辆上使用的内容中已经描述了当前观念,但是它们在完全自主引导的车辆上都能够使用。因此,本发明的范围可由下文权利要求所确定,并且不限于上文的公开。

Claims (18)

1.一种用于操作穿过一设施而行驶的自主引导的工业用车辆的方法,该方法包括:
当自主引导的工业用车辆行驶时,使用照相机获得所述设施的图像;
在自主引导的工业用车辆上存储每个所获得的图像;
自主引导的工业用车辆遇到预定的偶发事件;
响应于自主引导的工业用车辆遇到预定的偶发事件,将偶发事件消息从自主引导的工业用车辆无线地传输到远程管理计算机,其中偶发事件消息包括表示自主引导的工业用车辆的位置的定位数据;
确定预定的偶发事件被解决;
响应于确定预定的偶发事件被解决,从自主引导的工业用车辆传送先于预定的偶发事件获得的多个图像;以及
通过提供关于偶发事件的人可察觉的通知,远程管理计算机响应于偶发事件消息。
2.如权利要求1所述的方法,其中多个图像包括视频序列。
3.如权利要求1所述的方法,其中偶发事件消息包括发生的偶发事件的类型的指示。
4.如权利要求1所述的方法,其中偶发事件消息包括多个图像中的至少一个。
5.如权利要求1所述的方法,其中所述多个图像是作为偶发事件消息的一部分而传送的。
6.如权利要求1所述的方法,进一步包括:
确定自主引导的工业用车辆所处的识别的位置;以及
测量自主引导的工业用车辆从识别的位置行驶的距离。
7.如权利要求6所述的方法,其中位置数据包括识别的位置的指示和距离的指示。
8.如权利要求6所述的方法,其中当自主引导的工业用车辆行驶时响应于确定出现一给定场合,就确定识别的位置,并且测量自主引导的工业用车辆从每个识别的位置行驶的距离。
9.如权利要求1所述的方法,其中提供人可察觉的通知包括发送电子邮件。
10.如权利要求1所述的方法,进一步包括:
确定远程管理计算机接收偶发事件消息;
响应于确定远程管理计算机接收偶发事件消息,无线地发送一图像请求消息给自主引导的工业用车辆;以及
通过从自主引导的工业用车辆以无线传输方式传送多个图像,自主引导的工业用车辆作出响应。
11.如权利要求1所述的方法,其中多个图像被存储在自主引导的工业用车辆的机载的多个图像文件中的一个图像文件之中;并且偶发事件消息包括多个图像文件中的所述一个图像文件的指示,其包括先于引起偶发事件消息的传送的预定偶发事件而获得的图像。
12.一种用于操作自主引导的工业用车辆的方法,该工业用车辆穿过一设施而行驶在计划停止点之间,所述方法包括:
不时地确定自主引导的工业用车辆的当前位置,从而产生识别的位置;
自主引导的工业用车辆的车载照相机产生邻近环境的图像;
将多个图像存储在自主引导的工业用车辆上;
确定已经发生自主引导的工业用车辆的意外停止;
响应于自主引导的工业用车辆的意外停止,从自主引导的工业用车辆向远程管理计算机自动地发送偶发事件消息,其中偶发事件消息包括引起意外停止的偶发事件的第一指示、识别的位置的第二指示和多个图像;以及
通过提供关于偶发事件的通知,远程管理计算机响应于自主引导的工业用车辆的意外停止。
13.如权利要求12所述的方法,其中存储多个图像存储了在最近限定的时间周期期间所获得的图像。
14.如权利要求12所述的方法,其中多个图像包括视频序列。
15.如权利要求12所述的方法,进一步包括测量自主引导的工业用车辆从识别的位置行驶的距离。
16.如权利要求15所述的方法,其中偶发事件消息进一步包括所述距离的指示。
17.如权利要求12所述的方法,进一步包括:通过提供关于偶发事件的通知给个人,远程管理计算机响应于偶发事件消息。
18.如权利要求12所述的方法,进一步包括:通过发送关于偶发事件的电子邮件给个人,远程管理计算机响应于偶发事件消息。
CN201410177189.1A 2013-03-12 2014-03-11 收集与自主工业用车辆操作有关的视频数据的系统和方法 Active CN104050729B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/796,346 US9146559B2 (en) 2011-03-18 2013-03-12 System and method for gathering video data related to operation of an autonomous industrial vehicle
US13/796,346 2013-03-12

Publications (2)

Publication Number Publication Date
CN104050729A CN104050729A (zh) 2014-09-17
CN104050729B true CN104050729B (zh) 2017-12-01

Family

ID=51503496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410177189.1A Active CN104050729B (zh) 2013-03-12 2014-03-11 收集与自主工业用车辆操作有关的视频数据的系统和方法

Country Status (4)

Country Link
CN (1) CN104050729B (zh)
AU (1) AU2014201261B2 (zh)
CA (1) CA2845229C (zh)
HK (1) HK1201628A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803420B2 (en) 2016-09-30 2020-10-13 Staples, Inc. Hybrid modular storage fetching system
US10589931B2 (en) 2016-09-30 2020-03-17 Staples, Inc. Hybrid modular storage fetching system
US10683171B2 (en) 2016-09-30 2020-06-16 Staples, Inc. Hybrid modular storage fetching system
CN107224363A (zh) * 2017-05-05 2017-10-03 深圳市元征科技股份有限公司 轮椅控制方法及装置
US10599138B2 (en) * 2017-09-08 2020-03-24 Aurora Flight Sciences Corporation Autonomous package delivery system
US20190077600A1 (en) * 2017-09-12 2019-03-14 Walmart Apollo, Llc Systems and Methods for Yard Management at Distribution Centers
US10887125B2 (en) * 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11084410B1 (en) 2018-08-07 2021-08-10 Staples, Inc. Automated guided vehicle for transporting shelving units
US11590997B1 (en) 2018-08-07 2023-02-28 Staples, Inc. Autonomous shopping cart
US11630447B1 (en) 2018-08-10 2023-04-18 Staples, Inc. Automated guided vehicle for transporting objects
US11180069B2 (en) 2018-12-31 2021-11-23 Staples, Inc. Automated loading of delivery vehicles using automated guided vehicles
US11119487B2 (en) 2018-12-31 2021-09-14 Staples, Inc. Automated preparation of deliveries in delivery vehicles using automated guided vehicles
US11124401B1 (en) 2019-03-31 2021-09-21 Staples, Inc. Automated loading of delivery vehicles
US11401684B2 (en) * 2020-03-31 2022-08-02 Caterpillar Inc. Perception-based alignment system and method for a loading machine
CN112591357B (zh) * 2020-12-04 2023-06-16 佛山隆深机器人有限公司 一种在封闭或半封闭局限空间下的码垛系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2795178Y (zh) * 2005-05-24 2006-07-12 机科发展科技股份有限公司 激光导引自动运输车
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN102341322A (zh) * 2009-01-17 2012-02-01 布穆朗系统有限公司 自动存储系统和运输工具
CN102608998A (zh) * 2011-12-23 2012-07-25 南京航空航天大学 嵌入式系统的视觉导引agv系统及方法
CN102692899A (zh) * 2011-03-18 2012-09-26 雷蒙德股份有限公司 自动工业车辆与资产管理系统的集成

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489802B2 (en) * 2002-09-10 2009-02-10 Zeev Smilansky Miniature autonomous agents for scene interpretation
US20090233631A1 (en) * 2008-03-13 2009-09-17 Butler Sr Alvin System for reporting incidents using a text message
US20100106344A1 (en) * 2008-10-27 2010-04-29 Edwards Dean B Unmanned land vehicle having universal interfaces for attachments and autonomous operation capabilities and method of operation thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2795178Y (zh) * 2005-05-24 2006-07-12 机科发展科技股份有限公司 激光导引自动运输车
CN102341322A (zh) * 2009-01-17 2012-02-01 布穆朗系统有限公司 自动存储系统和运输工具
CN101837782A (zh) * 2009-01-26 2010-09-22 通用汽车环球科技运作公司 用于碰撞预备系统的多目标融合模块
CN102692899A (zh) * 2011-03-18 2012-09-26 雷蒙德股份有限公司 自动工业车辆与资产管理系统的集成
CN102608998A (zh) * 2011-12-23 2012-07-25 南京航空航天大学 嵌入式系统的视觉导引agv系统及方法

Also Published As

Publication number Publication date
AU2014201261B2 (en) 2017-03-30
AU2014201261A1 (en) 2014-10-02
CA2845229C (en) 2021-03-09
CN104050729A (zh) 2014-09-17
CA2845229A1 (en) 2014-09-12
HK1201628A1 (zh) 2015-09-04

Similar Documents

Publication Publication Date Title
CN104050729B (zh) 收集与自主工业用车辆操作有关的视频数据的系统和方法
CN102692899B (zh) 操作设施中工业车辆的控制系统及方法
US9146559B2 (en) System and method for gathering video data related to operation of an autonomous industrial vehicle
CN102707718B (zh) 自动制导系统控制工业车辆的通信方法
CN102066234B (zh) 用于管理工业车辆运行以运载易碎负载的系统
CN104809606B (zh) 具有多导引车调度分配功能的仓库管理系统
Ullrich Automated guided vehicle systems
US10127521B2 (en) System and method for determining and controlling status and location of an object
CN106364363A (zh) 嵌入工业用车辆内的管理系统
CA3154674A1 (en) An intelligent freight mobility system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1201628

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1201628

Country of ref document: HK