CN110163336A - 即时训练轨迹导引系统及方法 - Google Patents
即时训练轨迹导引系统及方法 Download PDFInfo
- Publication number
- CN110163336A CN110163336A CN201810431140.2A CN201810431140A CN110163336A CN 110163336 A CN110163336 A CN 110163336A CN 201810431140 A CN201810431140 A CN 201810431140A CN 110163336 A CN110163336 A CN 110163336A
- Authority
- CN
- China
- Prior art keywords
- self
- image input
- walking apparatus
- track guiding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 claims abstract description 48
- 241001269238 Data Species 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 13
- 238000013480 data collection Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 4
- 238000003475 lamination Methods 0.000 description 4
- 239000011449 brick Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开一种即时训练轨迹导引系统及方法。即时训练轨迹导引系统包含影像输入模块、深度学习训练模块及控制模块。影像输入模块包含设置于自走装置上的多个影像输入单元。当自走装置受控而沿循迹线行进时，影像输入模块通过该多个影像输入单元获得与循迹线有关的多个影像数据。深度学习训练模块耦接影像输入模块，用以根据该多个影像数据进行深度学习训练，以产生结果模型。控制模块分别耦接深度学习训练模块及自走装置，用以根据结果模型预测并控制自走装置的行进方向，致使自走装置自动地沿循迹线行进。
Description
技术领域
本发明是与轨迹导引(Trail following)有关，尤其是关于一种即时训练轨迹导引系统及方法。
背景技术
一般而言，既有的轨迹导引系统的应用大致可分为下列两类：一类是应用于视障人士之的行走辅助的轨迹导引，而另一类则是应用于工厂生产线中的自动搬运车的轨迹导引。无论是上述哪一类的应用，已知的轨迹导引系统大多仍采用传统电脑视觉的方式来进行影像处理及数据运算。
然而，在上述的处理方式之下，一旦环境中的光线产生明显变化或是处于动态的环境中，例如实施场所是处于室外环境中或是人员活动较频繁的生产线环境中，很可能使得影像辨识结果受影响而导致轨迹导引的行进方向出现严重偏差。
在实际应用中，目前工厂生产线中的自动搬运车大多仍采用磁条导航或是光学导航(反光胶带)的方式沿着特定循迹线(或称指引线)上行走。然而，一旦循迹线出现磨损或脏污时，此种磁力或光学辨识的方式很可能会发生误判而导致自动搬运车的行进方向出现偏差。再者，若行进路线欲进行更改时，重新布设磁条导航的难度相对较高，且现有的光学导航还须搭配其他设备，例如射频识别(Radio Frequency Identification,RFID)来进行多路线的设定以及交叉口的处理，相当麻烦且耗费成本。
此外，对于需要高安全性与高可靠度的轨迹导引任务而言，例如盲人导航，至今仍无完全取代导盲砖的导引设备。然而，既有的导盲砖需要相当高的建置及维护成本，且很可能反而造成其他无障碍设施使用者(例如轮椅使用者)的不便。
综合上述可知：已知的轨迹导引系统在实际应用中仍会遭遇到许多问题，亟待进一步加以克服，以有效提升轨迹导引系统的可靠度及安全性。
发明内容
有鉴于此，本发明提出一种即时训练轨迹导引系统及方法，以有效解决现有技术所遭遇到的上述种种问题。
根据本发明之一具体实施例为一种即时训练轨迹导引方法。于此实施例中，即时训练轨迹导引方法包括下列步骤：
(a)控制一自走装置沿一循迹线行进并同时搜集与循迹线有关的多个影像数据；
(b)根据该多个影像数据进行一深度学习训练(Deep learning training)，以产生一结果模型；以及
(c)根据结果模型预测并控制自走装置的行进方向，致使自走装置自动地沿循迹线行进。
于一实施例中，该多个影像数据包含多个真实影像数据，该多个真实影像包含有循迹线的影像且该多个真实影像数据是由设置于自走装置上的多个影像输入单元取得，该多个影像输入单元是彼此间隔一特定角度。
于一实施例中，该多个影像数据还包含多个虚拟影像数据，且该多个虚拟影像数据是由多个虚拟影像输入单元于一虚拟环境中模拟而得，该多个虚拟影像输入单元亦彼此间隔特定角度。
于一实施例中，步骤(b)是基于一卷积类神经网络(Convolutional NeuralNetworks,CNN)进行深度学习训练，卷积类神经网络包含多个卷积层(Convolutionlayer)、多个池化层(Pooling layer)及多个全连接层(fully connected layers)，该多个卷积层与该多个池化层是彼此交错排列且该多个全连接层位于卷积神经网络的输出端。
于一实施例中，当该多个影像数据中的一影像数据输入至卷积类神经网络时，是通过该多个卷积层从影像数据中提取特征并通过该多个池化层降低其维度，再由该多个全连接层进行分类后产生结果模型。
于一实施例中，步骤(c)包含：(c1)设置于自走装置上的多个影像输入单元中的一影像输入单元接收与循迹线有关的一影像输入信号；(c2)根据影像输入信号与结果模型进行一深度学习预测，以产生一预测结果；以及(c3)根据预测结果提供一运动控制信号控制自走装置的行进方向，致使自走装置自动地沿循迹线行进。
于一实施例中，影像输入单元是位于该多个影像输入单元的正中间且指向自走装置直线行进的方向。
于一实施例中，步骤(a)是通过手动方式控制自走装置沿循迹线行进。
于一实施例中，循迹线包含至少一颜色、至少一纹路或至少一材质。
根据本发明的另一具体实施例为一种即时训练轨迹导引系统。于此实施例中，即时训练轨迹导引系统应用于一自走装置。即时训练轨迹导引系统包含影像输入模块、深度学习训练模块及控制模块。影像输入模块包含设置于自走装置上的多个影像输入单元。当自走装置受控而沿循迹线行进时，影像输入模块通过该多个影像输入单元获得与循迹线有关的多个影像数据。深度学习训练模块耦接影像输入模块，用以根据该多个影像数据进行深度学习训练(Deep learning training)，以产生结果模型。控制模块分别耦接深度学习训练模块及自走装置，用以根据结果模型预测并控制自走装置的行进方向，致使自走装置自动地沿循迹线行进。
于一实施例中，该多个影像数据包含多个真实影像数据，该多个真实影像包含有该循迹线的影像且该多个真实影像数据是由该多个影像输入单元取得，该多个影像输入单元于该自走装置上是彼此间隔一特定角度。
于一实施例中，该多个影像数据还包含多个虚拟影像数据，且该多个虚拟影像数据是由多个虚拟影像输入单元于一虚拟环境中模拟而得，该多个虚拟影像输入单元亦彼此间隔该特定角度。
于一实施例中，该深度学习训练模块是基于一卷积类神经网络(ConvolutionalNeural Networks,CNN)进行该深度学习训练，该卷积类神经网络包含多个卷积层(Convolution layer)、多个池化层(Pooling layer)及多个全连接层(fully connectedlayers)，该多个卷积层与多个池化层是彼此交错排列且该多个全连接层位于该卷积神经网络的输出端。
于一实施例中，当该多个影像数据中的一影像数据输入至该卷积类神经网络时，该卷积类神经网络是通过该多个卷积层从该影像数据中提取特征并通过该多个池化层降低其维度，再由该多个全连接层进行分类后产生该结果模型。
于一实施例中，当设置于该自走装置上的多个影像输入单元中的一影像输入单元接收到与该循迹线有关的一影像输入信号时，该控制模块根据该影像输入信号与该结果模型进行一深度学习预测以产生一预测结果，并根据该预测结果提供一运动控制信号控制该自走装置的行进方向，致使该自走装置自动地沿该循迹线行进。
于一实施例中，该影像输入单元是位于该多个影像输入单元的正中间且指向该自走装置直线行进的方向。
于一实施例中，该自走装置是受手动方式控制而沿该循迹线行进。
于一实施例中，该循迹线包含至少一颜色、至少一纹路或至少一材质。
相较于现有技术，本发明的即时训练轨迹导引系统及方法即使在室外环境、动态活动较频繁的室内环境以及循迹线出现破损脏污的情况下，亦能通过深度学习的方式进行新环境、新循迹线的数据搜集与训练，使得自走装置能根据训练结果自动地在该新环境中沿该新循迹线行走。因此，本发明的即时训练轨迹导引系统及方法不仅能快速且准确地学习沿循迹线的行走方式，且不会由于环境中的光线亮暗变化或循迹线破损脏污而造成误判，还可进一步设定不同的行走路线，无论是在室外或室内的动态环境下均可使用，故可广泛应用于高安全性与高可靠度的轨迹导引任务，例如盲人导航及工厂自动搬运车的轨迹导引，极具市场潜力。
关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一步的了解。
附图说明
图1为本发明的即时训练轨迹导引系统的一实施例的功能方块图。
图2为本发明的即时训练轨迹导引系统的另一实施例的功能方块图。
图3为本发明的自走装置位于循迹线上的示意图。
图4为基于卷积类神经网络进行深度学习训练的一实施例。
图5A为本发明的自走装置沿循迹线左转的示意图。
图5B为本发明的自走装置沿循迹线直走的示意图。
图5C为本发明的自走装置沿循迹线右转的示意图。
图6为本发明的自走装置可沿具有不同颜色、纹路及材质的循迹线行进的示意图。
图7为本发明的即时训练轨迹导引方法的一实施例的流程图。
图8为本发明的即时训练轨迹导引方法的另一实施例的流程图。
主要元件符号说明：
1：即时训练轨迹导引系统
10：影像输入模块
12：深度学习训练模块
14：控制模块
2：自走装置
DATA：影像数据
MOD：结果模型
CTRL：运动控制信号
3：即时训练轨迹导引系统
30：数据搜集模块
32：循迹任务模块
300：影像输入模块
302：虚拟影像输入模块
304：嵌入式板/工作站
320：嵌入式板
322：控制单元
CA1～CA3：第一影像输入单元～第三影像输入单元
VCA1～VCA3：第一虚拟影像输入单元～第三虚拟影像输入单元
Pi1～Pi3：第一处理单元～第三处理单元
RDATA：真实影像数据
VDATA：虚拟影像数据
4：自走装置
H：固定板
P：基座
WH：轮子
TL：循迹线
30°：夹角
CONV1～CONV4：第一卷积层～第四卷积层
POOL1～POOL4：第一池化层～第四池化层
FC1～FC2：第一全连接层～第二全连接层
SIZE0：初始体积大小
SIZE1～SIZE8：第一体积大小～第八体积大小
CFN1～CFN2：第一分类数～第二分类数
L：第一分类
S：第二分类
R：第三分类
TL1～TL4：循迹线
S10、S12、S14、S20～S28：步骤
具体实施方式
现在将详细参考本发明的示范性实施例，并在附图中说明所述示范性实施例的实例。在图式及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
根据本发明的一具体实施例为一种即时训练轨迹导引系统。于此实施例中，本发明的即时训练轨迹导引系统是基于深度学习的方式对自走装置进行新环境及新循迹线(或称指引线)的数据搜集与训练，使得自走装置经训练学习后能自动地在该新环境中沿该新循迹线行走而不会有所偏离。
请参照图1，图1为本发明的即时训练轨迹导引系统的一实施例的功能方块图。
如图1所示，即时训练轨迹导引系统1可包括影像输入模块10、深度学习训练模块12及控制模块14。其中，影像输入模块10耦接深度学习训练模块12并输出影像数据DATA至深度学习训练模块12；深度学习训练模块12耦接控制模块14并输出结果模型MOD至控制模块14；控制模块14耦接自走装置2并输出运动控制信号至自走装置2。
于此实施例中，影像输入模块10可包含设置于自走装置2上的多个影像输入单元，例如多台相机，但不以此为限。此外，该多个影像输入单元可彼此间隔一特定角度而设置于自走装置2上。
举例而言，影像输入模块10中的该多个影像输入单元可以是彼此间隔30度而设置于自走装置2上的三台相机，且三台相机的镜头可分别朝向左前方、正前方及右前方，但不以此为限。
需说明的是，本发明的即时训练轨迹导引系统1的运作可分为两个阶段，分别是：第一阶段(数据搜集阶段)与第二阶段(循迹任务阶段)。
于实际应用中，当即时训练轨迹导引系统1运作于第一阶段(数据搜集阶段)时，自走装置2会受控(例如手动控制)而沿着循迹线行进。此时，设置于自走装置2上且镜头分别朝向左前方、正前方及右前方的三台相机即可开始拍照，由以搜集与循迹线有关的多个影像数据DATA。换言之，于该多个影像数据DATA中会包含有循迹线的影像，由以作为后续判断自走装置2的行进方向的依据。
接着，当深度学习训练模块12接收到该多个影像数据DATA时，深度学习训练模块12即可根据该多个影像数据DATA进行深度学习训练，以产生结果模型MOD至控制模块14。
然后，即时训练轨迹导引系统1开始运作于第二阶段(循迹任务阶段)，控制模块14根据结果模型MOD预测自走装置2的行进方向并发出运动控制信号CTRL至自走装置2，以控制自走装置2的行进方向，致使自走装置2能够自动地沿着循迹线行进。
于实际应用中，深度学习训练模块12可以是嵌入式板或工作站，并由嵌入式板或工作站基于卷积类神经网络(Convolutional Neural Networks,CNN)进行深度学习训练，以产生结果模型。
于另一实施例中，请参照图2，即时训练轨迹导引系统3可包括数据搜集模块30及循迹任务模块32。其中，数据搜集模块30耦接循迹任务模块32；循迹任务模块32耦接自走装置4。
如图2所示，数据搜集模块30包含影像输入模块300、虚拟影像输入模块302及嵌入式板/工作站304。循迹任务模块32包含嵌入式板320、控制单元322及第二影像输入单元CA2。其中，影像输入模块300与虚拟影像输入模块302均耦接至嵌入式板/工作站304且影像输入模块300与虚拟影像输入模块302分别输出多个真实影像数据RDATA及多个虚拟影像数据VDATA至嵌入式板/工作站304；嵌入式板/工作站304耦接至嵌入式板320且嵌入式板/工作站304输出结果模型MOD至嵌入式板320；嵌入式板320耦接控制单元322；第二影像输入单元CA2耦接至控制单元322；控制单元322耦接至自走装置4且控制单元322输出运动控制信号CTRL给自走装置4。
于此实施例中，影像输入模块300包含第一影像输入单元CA1、第二影像输入单元CA2、第三影像输入单元CA3、第一处理单元Pi1、第二处理单元Pi2及第三处理单元Pi3。其中，第一影像输入单元CA1耦接至第一处理单元Pi1；第二影像输入单元CA2耦接至第二处理单元Pi2；第三影像输入单元CA3耦接至第三处理单元Pi3。
请参照图3，图3为本发明的自走装置4位于循迹线TL上的示意图。如图3所示，影像输入模块300中的第一影像输入单元CA1、第二影像输入单元CA2、第三影像输入单元CA3可分别设置于自走装置4上并彼此间隔特定角度，自走装置4可包含有基座P、固定板H及轮子WH。其中，第一影像输入单元CA1、第二影像输入单元CA2及第三影像输入单元CA3是设置于基座P上并通过固定板H加以固定。自走装置4通过马达控制轮子WH的运转以于循迹线TL上行进。于此实施例中，循迹线TL是由两种颜色(例如黄色与蓝色)的线段构成，但不以此为限。
当即时训练轨迹导引系统3运作于第一阶段(数据搜集阶段)时，自走装置4会受控(例如手动控制)而沿着循迹线TL行进。此时，设置于自走装置4上且彼此间隔特定角度(例如30度)的第一影像输入单元CA1、第二影像输入单元CA2及第三影像输入单元CA3会分别拍照以取得多个真实影像数据RDATA并传送至嵌入式板/工作站304，且该多个真实影像数据RDATA包含有循迹线TL的影像。
需说明的是，嵌入式板/工作站304除了接收到该多个真实影像数据RDATA之外，嵌入式板/工作站304还会接收到多个虚拟影像数据VDATA，且该多个虚拟影像数据VDATA是由虚拟影像输入模块302中的第一虚拟影像输入单元VCA1、第二虚拟影像输入单元VCA2及第三虚拟影像输入单元VCA3于一虚拟环境中模拟而得。此外，第一虚拟影像输入单元VCA1、第二虚拟影像输入单元VCA2及第三虚拟影像输入单元VCA3亦彼此间隔特定角度(例如30度)。
当嵌入式板/工作站304分别接收到该多个真实影像数据RDATA与该多个虚拟影像数据VDATA时，嵌入式板/工作站304可基于卷积类神经网络根据该多个真实影像数据RDATA与该多个虚拟影像数据VDATA进行深度学习训练，以产生结果模型MOD。其中，卷积类神经网络可包含多个卷积层(Convolution layer)、多个池化层(Pooling layer)及多个全连接层(fully connected layers)。该多个卷积层与该多个池化层是彼此交错排列且该多个全连接层位于卷积神经网络的输出端。
请参照图4，图4为基于卷积类神经网络进行深度学习训练的一实施例。如图4所示，于此实施例中，卷积类神经网络由输入端至输出端依序包含第一卷积层CONV1、第一池化层POOL1、第二卷积层CONV2、第二池化层POOL2、第三卷积层CONV3、第三池化层POOL3、第四卷积层CONV4、第四池化层POOL4、第一全连接层FC1及第二全连接层FC2。当一影像数据DATA输入至卷积类神经网络时，卷积类神经网络是通过第一卷积层CONV1、第二卷积层CONV2、第三卷积层CONV3及第四卷积层CONV4从影像数据DATA中提取特征并通过第一池化层POOL1、第二池化层POOL2、第三池化层POOL3及第四池化层POOL4降低其维度及复杂度，最后再由第一全连接层FC1及第二全连接层FC2进行分类后产生结果模型MOD。
需说明的是，于卷积类神经网络中，输入的影像数据DATA可被转换为多维数据阵列(Multidimensional data arrays)的形式，例如同时具有宽度(Width)、高度(Height)及深度(Depth)的三维(3D)数据阵列。
举例而言，如图4所示，当此三维数据阵列依序经过第一卷积层CONV1、第一池化层POOL1、第二卷积层CONV2、第二池化层POOL2、第三卷积层CONV3、第三池化层POOL3、第四卷积层CONV4、第四池化层POOL4的处理后，其宽度与高度会愈变愈小，而其深度则不一定会变小，亦即其体积亦会愈变愈小。
假设此三维数据阵列的初始体积大小为SIZE0，当此三维数据阵列依序经过第一卷积层CONV1、第一池化层POOL1、第二卷积层CONV2、第二池化层POOL2、第三卷积层CONV3、第三池化层POOL3、第四卷积层CONV4、第四池化层POOL4的处理后，其体积分别变为第一体积大小SIZE1～第八体积大小SIZE8，则初始体积大小SIZE0＞第一体积大小SIZE1＞第二体积大小SIZE2＞第三体积大小SIZE3＞第四体积大小SIZE4＞第五体积大小SIZE5＞第六体积大小SIZE6＞第七体积大小SIZE7＞第八体积大小SIZE8，但相对地，此三维数据阵列所包含的数据数量则会愈变愈多。
接着，由第一全连接层FC1对此三维数据阵列进行第一次数据分类后得到第一分类数CFN1(例如200)，之后再进一步由第二全连接层FC2进行第二次数据分类后得到第二分类数CFN2(例如3)，其可包含代表左转的第一分类L、代表直行的第二分类S及代表右转的第三分类R，最后再根据这三种分类产生结果模型MOD后输出至嵌入式板320。
需说明的是，由于结果模型MOD可包含有代表左转的第一分类L、代表直行的第二分类S与代表右转的第三分类R以及分别对应于第一分类L、第二分类S与第三分类R的不同影像特征，因此，嵌入式板320可将设置于自走装置4上的朝向正前方的第二影像输入单元CA2所拍摄到的即时影像与结果模型MOD进行比对。
若即时影像的影像特征是对应于结果模型MOD中的第一分类L，则嵌入式板320即可预测自走装置4接下来应该要左转，并由控制单元322发出运动控制信号CTRL控制自走装置4往左前方转弯特定角度(例如30度，但不以此为限)；若即时影像的影像特征是对应于结果模型MOD中的第二分类S，则嵌入式板320即可预测自走装置4接下来应该要直行，并由控制单元322发出运动控制信号CTRL控制自走装置4直行；若即时影像的影像特征是对应于结果模型MOD中的第三分类R，则嵌入式板320即可预测自走装置4接下来应该要右转，并由控制单元322发出运动控制信号CTRL控制自走装置4往右前方转弯特定角度(例如30度，但不以此为限)。
需说明的是，虽然上述实施例是以三个影像输入单元与三种分类为例进行说明，但实际上的影像输入单元与结果模型MOD中的分类的数目均可视实际需求而定，并不以此为限。
接着，请参照图5A至图5C，图5A为自走装置4沿循迹线TL1左转的示意图；图5B为自走装置4沿循迹线TL2直走的示意图；图5C为自走装置4沿循迹线TL3右转的示意图。需说明的是，无论是图5A所示的左转或图5C所示的右转，自走装置4每次均偏转特定角度(例如30度，但不以此为限)。
承上述，由于即时训练轨迹导引系统3已基于卷积类神经网络进行深度学习训练而产生结果模型MOD，因此，如图6所示，即使是具有不同颜色(例如黄色线段与蓝色线段等)、不同纹路(长条状与圆形)及不同材质(例如红砖与水泥)的不规则的循迹线TL4，例如美国波士顿著名的自由之路(Freedom trail)，即时训练轨迹导引系统3亦可根据深度学习训练后所产生的结果模型MOD预测并控制自走装置4的行进方向，使得自走装置4能持续沿着循迹线TL4行进且不会有偏离循迹线TL4的事情发生。
根据本发明的另一具体实施例为一种即时训练轨迹导引方法。于此实施例中，本发明的即时训练轨迹导引方法是基于深度学习的方式来进行新环境、新导引线的数据搜集与训练，使得自走装置能根据训练结果自动地在该新环境中沿该新导引线行走。
请参照图7，图7为此实施例中的即时训练轨迹导引方法的流程图。
如图7所示，即时训练轨迹导引方法可包含步骤S10、S12及S14，其中步骤S10与S12属于第一阶段(数据搜集阶段)且步骤S14属于第二阶段(循迹任务阶段)，各步骤分别介绍如下：
步骤S10：控制一自走装置沿一循迹线行进并同时获得与循迹线有关的多个影像数据；
步骤S12：根据该多个影像数据进行一深度学习训练(Deep learning training)，以产生一结果模型；以及
步骤S14：根据结果模型预测并控制自走装置的行进方向，致使自走装置自动地沿循迹线行进。
于实际应用中，于第一阶段(数据搜集阶段)中，步骤S10可采用手动控制的方式带领自走装置(例如自走车)从起点开始沿着循迹线行进，并同时让设置于自走装置上的多个影像输入单元(例如分别朝向左前方、正前方及右前方且彼此相隔特定角度的三台相机)分别开始拍照，由以搜集到自走装置沿循迹线行进的过程中的不同时间点的多个影像数据，并且该多个影像数据中会包含有循迹线的影像。
当自走装置沿循迹线行进至终点后，步骤S12可将步骤S10所搜集到该多个影像数据传送至嵌入式板/工作站，并由嵌入式板/工作站基于卷积类神经网络进行深度学习训练，以产生结果模型。
于此实施例中，卷积类神经网络可包含多个卷积层、多个池化层及多个全连接层，该多个卷积层与该多个池化层是彼此交错排列且该多个全连接层位于卷积神经网络的输出端。当该多个影像数据中的一影像数据输入至卷积类神经网络时，是通过该多个卷积层从影像数据中提取特征并通过该多个池化层降低其维度，再由该多个全连接层进行分类后产生结果模型。
接着，于第二阶段(循迹任务阶段)中，步骤S14即可根据结果模型对于自走装置接下来的行进方向进行预测并根据预测结果去控制自走装置接下来的行进方向，使得本发明的即时训练轨迹导引方法能够让自走装置经过训练后自动地沿着循迹线行进。
实际上，步骤S14是根据设置于自走装置上的朝向正前方的相机所拍摄到的第一影像数据与步骤S12所产生的结果模型进行比对，并根据比对结果对于自走装置接下来的行进方向进行预测。
举例而言，在结果模型中，若第一影像数据中的循迹线出现第一影像特征(例如影像中的循迹线呈现笔直状)，代表自走装置接下来应以第一运动方式行进(例如继续往前直走，不需转弯)，因此，步骤S14会根据此一比对结果预测自走装置接下来的行进方向应为往前直走并发出运动控制信号控制自走装置往前直走。
在结果模型中，若第一影像数据中的循迹线出现第二影像特征(例如影像中的循迹线呈现向左弯曲状)，代表自走装置接下来应以第二运动方式行进(例如向左转特定角度)，因此，步骤S14会根据此一比对结果预测自走装置接下来的行进方向应为向左转特定角度，并发出运动控制信号控制自走装置向左转特定角度。
在结果模型中，若第一影像数据中的循迹线出现第三影像特征(例如影像中的循迹线呈现向右弯曲状)，代表自走装置接下来应以第三运动方式行进(例如向右转特定角度)，因此，步骤S14会根据此一比对结果预测自走装置接下来的行进方向应为向右转特定角度，并发出运动控制信号控制自走装置向右转特定角度。
请参照图8，图8为另一实施例中的即时训练轨迹导引方法的流程图。
如图8所示，即时训练轨迹导引方法可包含步骤S20～S28，其中步骤S20～S23属于第一阶段(数据搜集阶段)且步骤S24～S28属于第二阶段(循迹任务阶段)。
于第一阶段(数据搜集阶段)中，包含下列步骤：
步骤S20：从多个影像输入单元分别取得多个影像输入信号；
步骤S21：将该多个影像输入信号存入控制模块；
步骤S22：取出该多个影像输入信号并采用深度学习(Deep learning)的方式进行训练(Training)，以产生结果模型；以及
步骤S23：输出结果模型。
于实际应用中，步骤S20中的该多个影像输入单元可以是彼此相隔特定角度(例如30度)的三台相机，但不以此为限；步骤S22可通过工作站或嵌入式板进行深度学习的训练，但不以此为限。
于第二阶段(循迹任务阶段)中，包含下列步骤：
步骤S24：从该多个影像输入单元中的一影像输入单元(例如于数据搜集时，3台相机里位于中间的该台相机，但不以此为限)取得第一输入信号；
步骤S25：通过控制模块将第一输入信号转换为第一影像信号后传送至嵌入式板；
步骤S26：嵌入式板将第一影像信号与深度学习的结果模型进行比对，以产生比对结果；
步骤S27：根据比对结果提供运动控制信号至控制模块；以及
步骤S28：控制模块根据运动控制信号控制自走车的行进方向。
于实际应用中，步骤S25是将机器人作业系统(Robot Operating System,ROS)讯息转换为轻量级通信与数据封送库(Lightweight Communications and Marshalling,LCM)讯息，而步骤S27则是将轻量级通信与数据封送库(Lightweight Communications andMarshalling,LCM)讯息转换为机器人作业系统(Robot Operating System,ROS)讯息。
相较于现有技术，本发明的即时训练轨迹导引系统及方法即使在室外环境、动态活动较频繁的室内环境以及循迹线出现破损脏污的情况下，亦能通过深度学习的方式进行新环境、新循迹线的数据搜集与训练，使得自走装置能根据训练结果自动地在该新环境中沿该新循迹线行走。因此，本发明的即时训练轨迹导引系统及方法不仅能快速且准确地学习沿循迹线的行走方式，且不会由于环境中的光线亮暗变化或循迹线破损脏污而造成误判，还可进一步设定不同的行走路线，无论是在室外或室内的动态环境下均可使用，故可广泛应用于高安全性与高可靠度的轨迹导引任务，例如盲人导航及工厂自动搬运车的轨迹导引，极具市场潜力。
Claims (18)
1.一种即时训练轨迹导引方法，其特征在于，该即时训练轨迹导引方法包括下列步骤：
(a)控制一自走装置沿一循迹线行进并同时搜集与该循迹线有关的多个影像数据；
(b)根据该多个影像数据进行一深度学习训练，以产生一结果模型；以及
(c)根据该结果模型预测并控制该自走装置的行进方向，致使该自走装置自动地沿该循迹线行进。
2.如权利要求1所述的即时训练轨迹导引方法，其特征在于，该多个影像数据包含多个真实影像数据，该多个真实影像包含有该循迹线的影像且该多个真实影像数据是由设置于该自走装置上的多个影像输入单元取得，该多个影像输入单元是彼此间隔一特定角度。
3.如权利要求2所述的即时训练轨迹导引方法，其特征在于，该多个影像数据还包含多个虚拟影像数据，且该多个虚拟影像数据系由多个虚拟影像输入单元于一虚拟环境中模拟而得，该多个虚拟影像输入单元亦彼此间隔该特定角度。
4.如权利要求1所述的即时训练轨迹导引方法，其特征在于，步骤(b)是基于一卷积类神经网络进行该深度学习训练，该卷积类神经网络包含多个卷积层、多个池化层及多个全连接层，该多个卷积层与多个池化层是彼此交错排列且该多个全连接层位于该卷积神经网络的输出端。
5.如权利要求4所述的即时训练轨迹导引方法，其特征在于，当该多个影像数据中的一影像数据输入至该卷积类神经网络时，该卷积类神经网络是通过该多个卷积层从该影像数据中提取特征并通过该多个池化层降低其维度，再由该多个全连接层进行分类后产生该结果模型。
6.如权利要求1所述的即时训练轨迹导引方法，其特征在于，步骤(c)包含：
(c1)设置于该自走装置上的多个影像输入单元中的一影像输入单元接收与该循迹线有关的一影像输入信号；
(c2)根据该影像输入信号与该结果模型进行一深度学习预测，以产生一预测结果；以及
(c3)根据该预测结果提供一运动控制信号控制该自走装置的行进方向，致使该自走装置自动地沿该循迹线行进。
7.如权利要求1所述的即时训练轨迹导引方法，其特征在于，该影像输入单元是位于该多个影像输入单元的正中间且指向该自走装置直线行进的方向。
8.如权利要求1所述的即时训练轨迹导引方法，其特征在于，步骤(a)是通过手动方式控制该自走装置沿该循迹线行进。
9.如权利要求1所述的即时训练轨迹导引方法，其特征在于，该循迹线包含至少一颜色、至少一纹路或至少一材质。
10.一种即时训练轨迹导引系统，应用于一自走装置，其特征在于，该即时训练轨迹导引系统包括：
一影像输入模块，包含设置于该自走装置上的多个影像输入单元，当该自走装置受控而沿一循迹线行进时，该影像输入模块通过该多个影像输入单元获得与该循迹线有关的多个影像数据；
一深度学习训练模块，耦接该影像输入模块，用以根据该多个影像数据进行一深度学习训练，以产生一结果模型；以及
一控制模块，分别耦接该深度学习训练模块及该自走装置，用以根据该结果模型预测并控制该自走装置之行进方向，致使该自走装置自动地沿该循迹线行进。
11.如权利要求10所述的即时训练轨迹导引系统，其特征在于，该多个影像数据包含多个真实影像数据，该多个真实影像包含有该循迹线的影像且该多个真实影像数据是由该多个影像输入单元取得，该多个影像输入单元于该自走装置上是彼此间隔一特定角度。
12.如权利要求11所述的即时训练轨迹导引系统，其特征在于，该多个影像数据还包含多个虚拟影像数据，且该多个虚拟影像数据是由多个虚拟影像输入单元于一虚拟环境中模拟而得，该多个虚拟影像输入单元亦彼此间隔该特定角度。
13.如权利要求10所述的即时训练轨迹导引系统，其特征在于，该深度学习训练模块是基于一卷积类神经网络(Convolutional Neural Networks,CNN)进行该深度学习训练，该卷积类神经网络包含多个卷积层(Convolution layer)、多个池化层(Pooling layer)及多个全连接层(fully connected layers)，该多个卷积层与多个池化层是彼此交错排列且该多个全连接层位于该卷积神经网络的输出端。
14.如权利要求13所述的即时训练轨迹导引系统，其特征在于，当该多个影像数据中的一影像数据输入至该卷积类神经网络时，该卷积类神经网络是通过该多个卷积层从该影像数据中提取特征并通过该多个池化层降低其维度，再由该多个全连接层进行分类后产生该结果模型。
15.如权利要求10所述的即时训练轨迹导引系统，其特征在于，当设置于该自走装置上的多个影像输入单元中的一影像输入单元接收到与该循迹线有关的一影像输入信号时，该控制模块根据该影像输入信号与该结果模型进行一深度学习预测以产生一预测结果，并根据该预测结果提供一运动控制信号控制该自走装置的行进方向，致使该自走装置自动地沿该循迹线行进。
16.如权利要求15所述的即时训练轨迹导引系统，其特征在于，该影像输入单元是位于该多个影像输入单元的正中间且指向该自走装置直线行进的方向。
17.如权利要求10所述的即时训练轨迹导引系统，其特征在于，该自走装置是受手动方式控制而沿该循迹线行进。
18.如权利要求10所述的即时训练轨迹导引系统，其特征在于，该循迹线包含至少一颜色、至少一纹路或至少一材质。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107105656 | 2018-02-14 | ||
| TW107105656A TWI673586B (zh) | 2018-02-14 | 2018-02-14 | 即時訓練軌跡導引系統及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110163336A true CN110163336A (zh) | 2019-08-23 |
Family
ID=67644971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810431140.2A Pending CN110163336A (zh) | 2018-02-14 | 2018-05-08 | 即时训练轨迹导引系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110163336A (zh) |
| TW (1) | TWI673586B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090324010A1 (en) * | 2008-06-26 | 2009-12-31 | Billy Hou | Neural network-controlled automatic tracking and recognizing system and method |
| US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
| US20150339589A1 (en) * | 2014-05-21 | 2015-11-26 | Brain Corporation | Apparatus and methods for training robots utilizing gaze-based saliency maps |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN107066774A (zh) * | 2017-06-22 | 2017-08-18 | 武汉市陆刻科技有限公司 | 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法 |
| EP3217332A1 (en) * | 2016-03-11 | 2017-09-13 | Panasonic Intellectual Property Corporation of America | Risk prediction method |
| JP2017162438A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 危険予測方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWM284020U (en) * | 2005-08-17 | 2005-12-21 | Ta Young Electronic Co Ltd | Navigator for a mobile |
| TWM352062U (en) * | 2008-09-11 | 2009-03-01 | Li-John Jou | Tracking unmanned vehicle |
| CN103226354A (zh) * | 2013-02-27 | 2013-07-31 | 广东工业大学 | 基于光电导航的无人驾驶道路识别系统 |
| CN103901890B (zh) * | 2014-04-09 | 2017-05-24 | 中国科学院深圳先进技术研究院 | 基于家庭庭院的户外自动行走装置及其控制系统和方法 |
| CN104383689B (zh) * | 2014-07-15 | 2017-01-18 | 广州大学 | 智能射球竞技机器人 |
| CN104238566B (zh) * | 2014-09-27 | 2016-09-07 | 江阴润玛电子材料股份有限公司 | 电子电路用基于图像识别的巡线机器人控制系统 |
| CN104656652B (zh) * | 2015-01-05 | 2017-05-17 | 温州大学 | 一种机器人全自动运水的方法和运水机器人系统 |
| CN104679006B (zh) * | 2015-03-02 | 2017-04-19 | 鲍驭浩 | 一种自动循迹识别指示系统及其指示方法 |
| CN104773202B (zh) * | 2015-03-04 | 2017-12-12 | 郑州机械研究所 | 汽车、单轮组/双轮组无轨列车及其循迹转向控制方法 |
| CN104858873B (zh) * | 2015-06-03 | 2016-08-24 | 天津商业大学 | 循迹送餐机器人 |
| CN205692040U (zh) * | 2016-02-02 | 2016-11-16 | 罗梓杰 | 一种自平衡送餐机器人系统 |
| CN205679998U (zh) * | 2016-06-22 | 2016-11-09 | 浙江机电职业技术学院 | 一种循迹小车 |
| CN206590005U (zh) * | 2016-11-16 | 2017-10-27 | 北方工业大学 | 自动导引运输车 |
-
2018
- 2018-02-14 TW TW107105656A patent/TWI673586B/zh active
- 2018-05-08 CN CN201810431140.2A patent/CN110163336A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090324010A1 (en) * | 2008-06-26 | 2009-12-31 | Billy Hou | Neural network-controlled automatic tracking and recognizing system and method |
| US20150306761A1 (en) * | 2014-04-29 | 2015-10-29 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
| US20150339589A1 (en) * | 2014-05-21 | 2015-11-26 | Brain Corporation | Apparatus and methods for training robots utilizing gaze-based saliency maps |
| EP3217332A1 (en) * | 2016-03-11 | 2017-09-13 | Panasonic Intellectual Property Corporation of America | Risk prediction method |
| JP2017162438A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 危険予測方法 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN107066774A (zh) * | 2017-06-22 | 2017-08-18 | 武汉市陆刻科技有限公司 | 倾斜摄影测量预测滚石运动轨迹模拟系统及其预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201935162A (zh) | 2019-09-01 |
| TWI673586B (zh) | 2019-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145545B (zh) | 基于深度学习的道路交通行为无人机监测系统及方法 | |
| CN104083258B (zh) | 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法 | |
| KR100218896B1 (ko) | 교통흐름 계측방법 및 장치 | |
| CN110503823A (zh) | 一种自动驾驶车辆专用车道控制系统与方法 | |
| CN105197252A (zh) | 一种小型无人机降落方法及系统 | |
| CN106527426A (zh) | 一种室内多目轨迹规划系统及其方法 | |
| CN103522304B (zh) | 一种基于母机器人视觉的子机器人入舱方法 | |
| CN109268010A (zh) | 一种虚拟现实矿井综采工作面的远程巡检干预方法 | |
| CN105225579A (zh) | 物联网智能交通实训平台 | |
| CN102098832A (zh) | 分布式机场助航灯光控制系统及方法 | |
| CN110986945B (zh) | 基于语义高度地图的局部导航方法和系统 | |
| CN109747681A (zh) | 一种列车定位装置及方法 | |
| CN110163336A (zh) | 即时训练轨迹导引系统及方法 | |
| CN106713701A (zh) | 一种基于图像处理技术的群集运动数据采集方法及系统 | |
| CN106815556A (zh) | 一种多数据类型的平面群集运动数据采集系统 | |
| CN107221178A (zh) | 一种基于无人机的交通指挥控制系统 | |
| CN112923945B (zh) | 基于视觉识别技术的agv多谱辨色循迹导航与形色定位方法 | |
| CN112462762B (zh) | 一种基于路侧二维码单元的机器人室外自主移动系统及其方法 | |
| CN107168368B (zh) | 一种基于视觉识别的无人机自动放线系统的放线方法 | |
| CN103260004A (zh) | 摄影画面的对象串接修正方法及其多摄影机监控系统 | |
| CN115240475B (zh) | 融合飞行数据和雷达图像的航空器进近规划方法及装置 | |
| CN108469815A (zh) | 一种基于意图的计算机深度学习自动导航和驾驶系统及其方法 | |
| CN107562070B (zh) | 一种基于激光雷达的自主飞行四旋翼穿行隧道方法 | |
| CN109029416A (zh) | 自动导引运输车自主导航方法及自动导引运输车 | |
| CN112539082B (zh) | 一种基于视频技术的综采工作面直线度基线交互调直方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |