CN113075923B

CN113075923B - 移动载具及其状态估测与感测融合切换方法

Info

Publication number: CN113075923B
Application number: CN202010086218.9A
Authority: CN
Inventors: 廖歆兰; 林昆贤; 张立光; 吴韦良; 陈一元
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2019-12-18
Filing date: 2020-02-11
Publication date: 2024-04-12
Anticipated expiration: 2040-02-11
Also published as: TWI715358B; TW202124990A; CN113075923A

Abstract

一种移动载具及其状态估测与感测融合切换方法。此移动载具包括至少一个传感器、至少一个致动器及处理器，用以移载及运送对象。此方法包括下列步骤：接收搬运对象的任务指令及执行此任务指令所需的数据；将此任务指令依映射位置区分为多个工作阶段，并将各个工作阶段映射至运输状态及执行状态其中之一，以建立语义层次；利用传感器估计移动载具的目前位置；以及将目前位置映射至语义层次中的工作阶段其中之一，以估测移动载具的目前状态。

Description

移动载具及其状态估测与感测融合切换方法

技术领域

本公开是有关于一种装置状态的估测方法，且特别是有关于一种移动载具及其状态估测与感测融合切换方法。

背景技术

自主移动载具(Automated Guided Vehicle，AGV)是一种移动式机器人，其可通过地板导线、机器视觉或雷射导航等技术在厂区、仓库内搬运货物。由于AGV能够自动装卸和运输货物，让载卸货更省力，且能够弹性调配载卸地点及运输路径，以提升交货效率、解决车道占用等问题。

AGV仰赖定位、对象识别等技术来实施货物搬运，近年来多种定位技术群雄并起，如蓝芽(Bluetooth)、无线保真(WiFi)、超宽带(Ultra-Wideband，UWB)、可见光定位系统(Visible Light Positioning System)、无线射频辨识(Radio FrequencyIdentification，RFID)等，依布建成本、精准度及技术特性，这些定位技术各有其适合应用的场域。由于定位技术的多元性，使得室内外无缝定位之设计，难以单纯地采用双系统间的切换来达成。

公开内容

本公开的目的系提供一种移动载具及其状态估测与感测融合切换方法，可实现多元定位系统之间的无缝切换。

本公开提供一种移动载具的状态估测与感测融合切换方法，此移动载具包括至少一个传感器、至少一个致动器及处理器，用以移载及运送对象。此方法包括下列步骤：接收搬运对象的任务指令及执行此任务指令所需的数据；将此任务指令依映射位置区分为多个工作阶段，并将各个工作阶段映射至运输状态及执行状态其中之一，以建立语义层次；利用传感器估计移动载具的目前位置；以及将此目前位置映射至语义层次中的工作阶段其中之一，以估测移动载具的目前状态。

本公开提供一种移动载具，其包括数据撷取装置、至少一个传感器、至少一个致动器、储存装置及处理器。其中，传感器是用以估计移动载具的目前位置。致动器是用以移载及运送对象。储存装置是用以储存由数据撷取装置撷取的数据及多个计算机指令或程序。处理器耦接数据撷取装置、传感器、致动器及储存装置，且经配置以执行计算机指令或程序以：利用数据撷取装置接收搬运对象的任务指令及执行此任务指令所需的数据；将此任务指令依映射位置区分为多个工作阶段，并将各个工作阶段映射至运输状态及执行状态其中之一，以建立语义层次；以及将传感器所估计的目前位置映射至语义层次中的所述工作阶段其中之一，以估测移动载具的目前状态。

本公开的移动载具及其状态估测与感测融合切换方法通过将任务指令区分为多个工作阶段并映射至不同状态以建立语义层次，当移动载具在执行移载和运送对象的任务时，可通过将估计位置映射至当前状态并判断出是否发生状态转移，而当发生状态转移时，也能够快速地切换至适合当下状态的感测组合，以接续执行任务指令。从而，可有效率地执行移动载具的状态估测及其感测融合切换，实现定位系统之间的无缝切换。

为让本公开的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本公开一实施例所绘示的移动载具的方块图。

图2是依照本案一实施例所绘示的移动载具的状态估测与感测融合切换方法的流程图。

图3是依照本案一实施例所绘示的语义层次的示意图。

图4是依照本案一实施例所绘示的状态转移模型的示意图。

图5A至图5D是依照本案一实施例所绘示的感测融合切换方法的范例。

【附图中主要元件符号说明】

10：移动载具

12：数据撷取装置

14：传感器

16：致动器

18：储存装置

20：处理器

30：语义层次

32：映射位置层

34：工作阶段层

36：状态层

40：状态转移模型

A：移载机械

C：相机

I：标识符

O：对象

P1～P4：工作阶段

S：货架

T：卸除对象

V：自主移动载具

W：仓库

S202～S208：步骤

具体实施方式

本公开实施例系针对自主移动载具(Automated Guided Vehicle，AGV)设计一个共通架构，其中将所接收的任务指令依其映射位置区分为多个工作阶段以建立语义层次(semantic hierarchy)，然后将各个工作阶段依据其顺序及链接关系随着语义层次映射至状态层，以建立状态转换模型。在实时运作中，自主移动载具即可通过估计自身当前位置，并将该位置映射至语义层次，以估测目前状态。此外，自主移动载具可比较目前状态与先前状态之间的差异，以判断是否发生状态转移，并在发生状态转移时重新排定传感器的优先级，以有效率地切换到适合目前状态的控制线程以继续执行搬运工作。

图1是依照本公开一实施例所绘示的移动载具的方块图。请参照图1，本实施例的移动载具10例如是用以移载及运送对象的自主移动载具、搬运机器人等电子装置。移动载具10包括数据撷取装置12、至少一个传感器14、至少一个致动器16、储存装置18及处理器20，其功能分述如下。

数据撷取装置12例如是通用串行总线(USB)接口、火线(Firewire)界面、雷电(Thunderbolt)接口、卡片阅读机等接口装置，其可用以连接随身碟、行动硬盘、记忆卡等外部装置以撷取数据。在另一实施例中，数据撷取装置12例如是键盘、鼠标、触摸板、触碰屏幕等输入工具，用以侦测使用者的输入操作以撷取输入数据。在又一实施例中，数据撷取装置12例如是支持以太网络(Ethernet)等有线网络链接的网络卡或是支持电机和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)802.11n/b/g等无线通信标准的无线网络卡，其可通过有线或无线方式与外部装置进行网络联机并撷取数据。

传感器14例如是无线通信子系统、全球定位系统(global position system，GPS)、低功耗蓝牙(Bluetooth Low Energy，BLE)、惯性测量单元(inertial measurementunit，IMU)、旋转编码器(rotary encoder)、相机、光传感器(photodetector)、雷射或其组合，而可感测移动载具10周遭的电磁波、影像、声波等环境信息以及移动载具10自身的惯性、位移等，并将所侦测信息提供处理器20用以估计移动载具10的目前位置及/或状态。在一实施例中，传感器14可搭配雷射测绘(laser mapper)、测距(odometry)等系统，而可增加移动载具10位置的精准估测。

致动器16例如是牙叉(fork)、手臂(arm)、滚轮(roller)、马达(motor)或其组合，其可组成叉臂式搬运系统，而可根据处理器20下达的控制指令或讯号，对对象进行装载、卸除及运送等操作动作。

储存装置18可以是任何型态的固定式或可移动式随机存取内存(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置18用以储存由数据撷取装置12撷取的数据与可供处理器20存取并执行的计算机指令或程序。其中，数据撷取装置12撷取的数据报含任务指令及用以执行任务指令所需的图资、识别信息等数据，而处理器20可利用图资进行位置估计，并利用识别信息对移载物品、装载或卸除地点、装载或卸除对象进行识别操作。所述装载对象与卸除对象的识别方法包括生物特征、对象特征、环境特征或标识符，在此不设限。

处理器20例如是中央处理单元(Central Processing Unit，CPU)或图形处理单元(Graphics Processing Unit，GPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑设备(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。处理器20连接数据撷取装置12、传感器14、致动器16及储存装置18，其例如从储存装置18加载计算机指令或程序，并据以执行本公开的移动载具的状态估测与感测融合切换方法。以下即举实施例说明此方法的详细步骤。

图2是依照本案一实施例所绘示的移动载具的状态估测与感测融合切换方法的流程图。请同时参照图1及图2，本实施例的方法适用于图1的移动载具10，以下即搭配移动载具10中的各项元件说明本公开的状态估测与感测融合切换方法的详细步骤。

在步骤S202中，由处理器20利用数据撷取装置12接收搬运对象的任务指令及执行任务指令所需的数据。其中，所述的任务指令例如是由厂区的管理者下达，用以指示移动载具10对厂区内的对象进行移载及运送等操作。在一实施例中，处理器20例如会将经常读取或即将使用的数据，例如附近区域的图资及搬运物品、装载或卸除地点、装载或卸除对象的识别信息储存在储存装置18中，以提供处理器20存取使用。

在步骤S204中，由处理器20将任务指令依映射位置区分为多个工作阶段，并将各工作阶段映射至运输状态及执行状态其中之一，以建立语义层次(semantic hierarchy)。其中，所述的任务指令由装载、卸除及运送中的至少一个工作组成，而处理器20例如会将这些工作分别对应于至少一个控制线程，并依据控制线程区分工作阶段。其中，所述装载及卸除例如是依据装载地点、卸除地点、移载对象以及装载对象与卸除对象的识别来区分工作阶段，而所述运送工作则例如是依据运送所经过的至少一个场所各自的地理信息系统来区分工作阶段。

在一实施例中，处理器20将移动载具10的状态归为两类：运输状态或执行状态。在运输状态中，处理器20例如会利用路径规划模块(path planner)设置路径，路径规划模块规划路径系依据如Ghosh and Mount所提出的方法建构可见性图，并基于可见性图的边，利用最短路径算法如Dijkstra’s algorithm运算出最佳路径，并产生低阶指令来控制移动载具10的马达调整方向和速度，以追踪所规划的路径。在运送途中，处理器20会利用传感器14持续感测周遭环境并确认移动载具10是否循迹移动，而当侦测到障碍物时，处理器20即依据测距数据控制马达降速或停止，同时利用雷射测绘系统测绘出障碍物形状并输出至路径规划模块以规划避障路径。另一方面，在执行状态中，处理器20例如会启动相机以执行装载/卸除对象的识别，并控制移载机械执行物品装卸。

详细来说，本实施例的移动载具的状态估测与感测融合切换方法在实作状态分析时，建立语义层次以赋予认知系统的能力。其中，语义层次可基于任务指令动态建立，其中包括映射位置、工作阶段及状态等三种层次。

举例来说，图3是依照本案一实施例所绘示的语义层次的示意图。请参照图3，语义层次30包括映射位置层32、工作阶段层34及状态层36。其中，映射位置层32包括执行任务指令所涉及的区域或位置，例如坐标1～3、图砖(map tile)1～3及(移载地点/对象)影像1～3。工作阶段层34包括多个工作阶段，例如包括装载P1、运送P2～P3及卸除P4。映射位置层32中的各个位置可映射至装载P1、运送P2～P3及卸除P4其中之一，例如坐标3及图砖3可映射至装载P1，坐标2、影像2及影像3可映射至卸除P4，以此类推。状态层36则包括执行状态及运输状态，其中装载P1及卸除P4可映射至执行状态，而运送P2～P3则可映射至运输状态。各种执行状态及运输状态可对应一回馈控制循环的线程，此线程例如耦合特定的传感器14和致动器16，以控制其执行特定操作。

在一实施例中，处理器20在建立语义层次后，例如会进一步根据工作阶段之间的顺序及链接关系，将各个工作阶段随着语义层次映射至运输状态及执行状态其中之一，以形成状态转移模型(state transition model)。

举例来说，图4是依照本案一实施例所绘示的状态转移模型的示意图。请参照图4，状态转移模型40例如定义语义层次中运输状态及执行状态下各个工作阶段之间的转换。意即，状态转移模型40是将工作阶段之间的转换映射到状态之间的转换。以图4为例，状态转移模型40记录映射至运输状态的工作阶段1～n之间的转换、映射至执行状态的工作阶段1～m之间的转换，以及工作阶段1～n与工作阶段1～m之间的转换。左下方的表格记录映射至运输状态的工作阶段1～n所耦合的传感器和致动器，右下方的表格记录映射至执行状态的工作阶段1～m所耦合的传感器和致动器。例如，映射至运输状态的工作阶段1耦合全球定位系统及基地台，映射至运输状态的工作阶段2耦合光传感器、惯性测量单元及旋转编码器，以此类推。

在语义层次及状态转移模型建立之后，在实时运作中，移动载具10即可通过估计自身当前位置，并将该位置映射至语义层次，以估测目前状态。

详细来说，在步骤S206中，由处理器20利用传感器14估计移动载具10的目前位置。其中，处理器20例如可使用全球定位系统或基地台定位系统估计室外位置，或使用光传感器、雷射等定位装置估计室内位置，在此不设限。

最后，在步骤S208中，由处理器20将目前位置映射至语义层次中的工作阶段其中之一，以估测移动载具10的目前状态。以图3为例，当处理器20估计移动载具10的目前位置而获得坐标3时，即可经由语义层次30，将坐标3映射至工作阶段中的装载P1，然后再将装载P1映射至执行状态。据此，处理器20可依据其估测的目前状态，耦合对应的传感器和致动器来执行初级行为或技能。

处理器20在估测出移动载具10的目前状态之后，例如会将此目前状态与前一时间点所估测的先前状态进行比较，以判断是否发生状态转移。其中，当判断发生状态转移时，处理器20会依据先前建立的状态转移模型，循序切换该状态转移下的多个感测组合，以选择可用的感测组合接续执行任务指令。所述感测组合包括至少一个传感器及/或致动器。而通过在状态转移时重新排定感测讯号源的组合，可以有效率地切换到适合目前状态的控制线程，以接续执行工作。

举例来说，图5A至图5D是依照本案一实施例所绘示的感测融合切换方法的范例。本实施例的自主移动载具V例如是具备移载机械的自动取送货车，用以从仓库送货至户外客人。

请参照图5A，自主移动载具V接收搬运对象O的任务指令及执行此任务指令所需的数据，包括对象O在货架S上的位置及对象O的标识符I(如图所示的QR码)，接着即进行状态分析，判断自身位于仓库内的货架S旁，此时即进入执行状态以进行取货。其中，自主移动载具V利用相机C拍摄位在货架S上的对象O的标识符I以对对象O进行识别，而当确认对象O是任务指令所指示搬运的货物时，即利用移载机械A对对象O进行取货。

请参照图5B，取货完毕后，自主移动载具V即由执行状态切换至运输状态，而启动路径规划模块进行送货路径的规划。其中，由于从执行状态切换至运输状态的过程中会触发状态转移，自主移动载具V会循序切换感测组合，直到所切换到的感测组合与现场的定位系统相匹配为止。

举例来说，下表1绘示本次状态转移下的感测组合，自主移动载具V会在这些感测组合中循序切换，以选择可用的感测组合接续执行任务指令。其中，自主移动载具V在使用感测组合1后发现无法与现场的定位系统匹配，随即切换至感测组合2，并发现感测组合2可与现场的定位系统匹配，因此可直接选用感测组合2接续执行任务指令。

1.WiFi、IMU、旋转编码器
	2.BLE、IMU、旋转编码器
3.光传感器、IMU、旋转编码器

表1

请参照图5C，当自主移动载具V根据所规划路径移动，而准备从仓库内移动到室外时，由于当前估计的位置所映射的状态与前一时间点所估测的状态相异(即，工作阶段由仓库改变为室外)，此时将再度触发状态转移而重新排定感测组合。

举例来说，下表2绘示本次状态转移下的感测组合。自主移动载具V在使用感测组合1后即发现其可与现场定位系统匹配，因此可直接选用感测组合1接续执行任务指令。其中，由于主移动载具V是依据本次状态转移(即，工作阶段由仓库改变为室外)下最有可能匹配的感测组合的顺序进行切换，因此可有效率地且无缝地切换定位系统。

1.GPS、基地台
	2.BLE、IMU、旋转编码器
3.光传感器、IMU、旋转编码器

表2

请参照图5D，自主移动载具V在抵达卸除地点后，即可通过估计目前位置并将所估计的目前位置映射至语义层次，而估测出目前状态为执行状态。而由运输状态切换成执行状态会触发状态转移，此时自主移动载具V即会切换感测组合以执行卸除时所需执行的识别操作。

举例来说，下表3绘示本次状态转移下的感测组合。自主移动载具V切换至感测组合1时即启动相机，由于相机支持卸除时所需进行的卸除对象T的识别操作(例如人脸辨识)，因此自主移动载具V可直接选用感测组合1接续执行任务指令。当确认卸除对象T的身分匹配时，自主移动载具V即启动移载机械A将对象O交付给卸除对象T。

1.相机
	2.GPS、基地台
3.BLE、IMU、旋转编码器

表3

综上所述，本公开的移动载具及其状态估测与感测融合切换方法通过将任务指令区分为多个工作阶段并映射至不同状态以建立语义层次，当移动载具在执行移载和运送对象的任务时，可通过将估计位置映射至当前状态并判断出是否发生状态转移，而当发生状态转移时，也能够快速地切换至适合当下状态的感测组合，以接续执行任务指令。从而，可有效率地执行移动载具的状态估测及其感测融合切换，实现定位系统之间的无缝切换。

虽然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的更动与润饰，因此本公开的保护范围当视后附的权利要求所界定的为准。

Claims

1.一种移动载具的状态估测与感测融合切换方法，所述移动载具包括至少一传感器、至少一致动器及处理器，用以移载及运送对象，所述方法包括下列步骤：

接收搬运所述对象的任务指令及执行所述任务指令所需的数据；

将所述任务指令依映射位置区分为多个工作阶段，并映射各所述工作阶段至运输状态及执行状态其中之一，以建立语义层次；

根据所述工作阶段之间的顺序及链接关系，将各所述工作阶段随着所述语义层次映射至所述运输状态及所述执行状态其中之一，以形成状态转移模型；

利用所述传感器估计所述移动载具的目前位置；

将所述目前位置映射至所述语义层次中的所述工作阶段其中之一，以估测所述移动载具的目前状态；

比较所述目前状态及前一时间点所估测的先前状态，以判断是否发生状态转移；以及

当判断发生所述状态转移时，依据所述状态转移模型循序切换所述状态转移下的多个感测组合，以选择可用的所述感测组合接续执行所述任务指令，其中各所述感测组合包括所述传感器及所述致动器的至少其中之一。

2.根据权利要求1所述的方法，其中所述任务指令由装载、卸除及运送中的至少一个工作组成，且将所述任务指令依映射位置区分为多个工作阶段，并映射各所述工作阶段至运输状态及执行状态其中之一，以建立语义层次的步骤包括：

将所述工作分别对应于至少一控制线程，并依据所述控制线程区分所述工作阶段。

3.根据权利要求2所述的方法，其中所述装载及所述卸除包括依据装载地点、卸除地点、移载对象以及装载对象与卸除对象的识别区分所述工作阶段。

4.根据权利要求3所述的方法，其中所述装载对象与所述卸除对象的识别方法包括生物特征、对象特征、环境特征或标识符。

5.根据权利要求2所述的方法，其中所述运送包括依据运送所经过的至少一个场所各自的地理信息系统区分所述工作阶段。

6.根据权利要求1所述的方法，还包括：

利用所述传感器侦测位于所述移动载具的运送路径上的障碍物；以及

当侦测到所述障碍物时，重新规划所述运输状态下的各所述工作阶段的运送路径。

7.一种移动载具，包括：

数据撷取装置；

至少一传感器，用以估计所述移动载具的目前位置；

至少一致动器，用以移载及运送对象；

储存装置，储存由所述数据撷取装置撷取的数据及多个计算机指令或程序；以及

处理器，耦接所述数据撷取装置、所述传感器、所述致动器及所述储存装置，经配置以执行所述计算机指令或程序以：

利用所述数据撷取装置接收搬运所述对象的任务指令及执行所述任务指令所需的数据；

将所述传感器所估计的所述目前位置映射至所述语义层次中的所述工作阶段其中之一，以估测所述移动载具的目前状态；

在判断发生所述状态转移时，依据所述状态转移模型循序切换所述状态转移下的多个感测组合，以选择可用的所述感测组合接续执行所述任务指令，其中各所述感测组合包括所述传感器及所述致动器的至少其中之一。

8.根据权利要求7所述的移动载具，其中所述任务指令由装载、卸除及运送中的至少一个工作组成，且所述处理器将所述工作分别对应于至少一控制线程，并依据所述控制线程区分所述工作阶段。

9.根据权利要求8所述的移动载具，其中所述装载及所述卸除包括依据装载地点、卸除地点、移载对象以及装载对象与卸除对象的识别区分所述工作阶段。

10.根据权利要求9所述的移动载具，其中所述装载对象与所述卸除对象的识别方法包括生物特征、对象特征、环境特征或标识符。

11.根据权利要求8所述的移动载具，其中所述运送包括依据运送所经过的至少一个场所各自的地理信息系统区分所述工作阶段。

12.根据权利要求7所述的移动载具，其中所述处理器还利用所述传感器侦测位于所述移动载具的运送路径上的障碍物，并在侦测到所述障碍物时，重新规划所述运输状态下的各所述工作阶段的运送路径。