CN114252071A - 自走车导航装置及其方法 - Google Patents

自走车导航装置及其方法 Download PDF

Info

Publication number
CN114252071A
CN114252071A CN202011121353.9A CN202011121353A CN114252071A CN 114252071 A CN114252071 A CN 114252071A CN 202011121353 A CN202011121353 A CN 202011121353A CN 114252071 A CN114252071 A CN 114252071A
Authority
CN
China
Prior art keywords
self
propelled vehicle
image data
color
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011121353.9A
Other languages
English (en)
Inventor
李永仁
涂兆辉
郑憬聪
洪瑞志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN114252071A publication Critical patent/CN114252071A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本公开提供了一种自走车导航装置及其方法，此装置其包含彩色深度摄影机、至少一个传感器及处理器。彩色深度摄影机在自走车被操作沿包含至少一个路径的目标路线移动时撷取各路径的深度影像资料及彩色影像资料。该些传感器(包含六轴传感器及旋转编码器)记录自走车在各路径的加速度、移动速度、方向、转向角度及移动距离。处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生训练资料，并将训练资料输入机械学习模型进行深度学习以产生训练结果。因此，在不使用定位技术即可实现自走车的自动导航，能降低自动导航技术的成本。

Description

自走车导航装置及其方法
技术领域
本公开涉及一种导航装置，具体涉及一种自走车导航装置及方法。
背景技术
由于人工智能的进步，自动导航技术的应用也愈来愈广泛。现有的自动导航技术依不同应用环境或精确度的需求，需要搭配不同的定位技术；然而，这些定位技术均有一定的布建难度及复杂度，故会大幅增加自动导航技术的成本。
现有的机器学习技术可通过影像辨识及数种传感器模仿人类操作模式。然而，若将现有的机器学习技术应用于自走车(automated guided vehicle，AGV)的自动导航技术，可能会因影像信息量过于庞大、噪声背景过多以及图片相似度过高等因素，导致学习的结果无法收敛。因此，现有的机器学习技术无法应用于自走车的自动导航技术。
发明内容
本公开的目的是在于提供一种自走车导航装置及其方法，在不使用定位技术即可实现自走车的自动导航。
本公开另一目的是利用机械学习，并结合深度影像学习环境轮廓逻辑，应用降维方法对深度影像资料进行处理，使深度影像资料的信息量大幅降低，产出有环境轮廓上视图，并通过机械学习模型根据降维后的深度影像资料进行深度学习。
根据本公开的一实施例，本公开提出一种自走车导航装置，其包含彩色深度摄影机、至少一个传感器及处理器。彩色深度摄影机在自走车被操作沿包含至少一个路径的目标路线移动时撷取各路径的深度影像资料及彩色影像资料。该些传感器包含六轴传感器及旋转编码器；该些传感器记录自走车在各路径的加速度、移动速度、方向、转向角度及移动距离。处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生训练资料，并将训练资料输入机械学习模型进行深度学习以产生训练结果。
根据本公开的另一实施例，本公开提出一种自走车导航方法，其包含操作自走车沿包含至少一个路径的目标路线移动；由彩色深度摄影机撷取各路径的深度影像资料及彩色影像资料；通过至少一个传感器，包含六轴传感器及旋转编码器，记录自走车在各路径的加速度、移动速度、方向、转向角度及移动距离；经由处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生训练资料；以及；由处理器将训练资料输入机械学习模型进行深度学习以产生训练结果。
承上所述，依本公开的自走车导航装置及其方法，其可具有一或多个下述优点：
(1)本公开自走车导航装置能在不使用定位技术的情况下通过机械学习模型产生训练结果以模仿人类的操作模式，以实现自走车的自动导航，故能大幅降低自动导航技术的成本。
(2)本公开自走车导航装置应用降维方法对深度影像资料进行处理，使深度影像资料的信息量大幅降低，并通过机械学习模型根据降维后的深度影像资料进行深度学习，故能有效地进行深度学习且能提升深度学习的效率。
(3)本公开自走车导航装置通过机械学习模型同时根据深度影像资料及彩色影像资料进行深度学习，通过降维后的深度影像资料，可加强自走车导航装置的环境轮廓及空间逻辑概念；因此，自走车导航装置不再仅使用影像相似度学习，而是根据环境轮廓、空间逻辑概念及影像相似度进行比对，以决定自走车的加速度、移动速度、方向、转向角度、移动距离及停靠站，上述的机制能有效地解决影像资料过度学习或影像资料量太过复杂无法收敛问题，能有效地提升导航辨识效果。
(4)本公开自走车导航装置整合多种传感器，包含六轴传感器、旋转编码器、指南针及避障传感器等，故能更为精确地模拟人类感观，使自走车的自动导航更接近人类的操作模式。
附图说明
图1为本公开的第一实施例的设置于自走车的自走车导航装置的示意图。
图2为本公开的第一实施例的自走车导航装置的框图。
图3为本公开的第一实施例的自走车导航装置的训练路径的示意图。
图4为本公开的第一实施例的自走车导航装置的机械学习模型的示意图。
图5A～5E为本公开的第一实施例的自走车导航装置的深度影像资料的降维方法的示意图。
图6A～6C为应用现有彩色视觉辨识学习技术的自动导航模式的示意图。
图7A～7D为本公开的第一实施例的自走车导航装置的自动导航模式的示意图。
图8为本公开的第一实施例的自走车导航方法的流程图。
图9为本公开的第二实施例的自走车导航装置的框图。
附图标记说明
1，2 自走车导航装置
11，21 彩色深度摄影机
12，22 控制器
13，23 处理器
14，24 六轴传感器
15，25 旋转编码器
26 避障传感器
V 自走车
R 遥控装置
M 机械学习模型
m1 卷积层
m2 丢弃层
m3 平坦层
m4 全连接层
d1 深度影像资料
d2 彩色影像资料
d3 加速度
d4 移动速度
d5 方向
d6 移动距离
d7 转向角度
C 荧幕
A 荧幕的中线
L 荧幕的长度
W 荧幕的宽度
O 原点
f 虚拟距离
N 镜头的虚拟位置
K 物体的真实位置
θ 彩色深度摄影机的可视范围的角度
θx 夹角
dp 像素的深度值的线段
(x，y) 像素坐标
WX 像素在X轴的真实坐标
TR 目标路线
P1～P7 路径
S1～S7 停靠站
Lw 左墙面
Rw 右墙面
Gs 颜色区块
S81～S87 步骤流程
具体实施方式
以下将参照相关图式，说明依本公开的自走车导航装置及其方法的实施例，为了清楚与方便图式说明的原因，图式中的各部件在尺寸与比例上可能会被夸大或缩小地呈现。在以下描述及/或申请专利范围中，当提及元件“连接”或“耦合”至另一元件时，其可直接连接或耦合至该另一元件或可存在介入元件；而当提及元件“直接连接”或“直接耦合”至另一元件时，不存在介入元件，用于描述元件或层之间的关系的其他字词应以相同方式解释。为使便于理解，下述实施例中的相同元件以相同的符号标示来说明。
请参阅图1、图2及图3，其为本公开的第一实施例的设置于自走车的自走车导航装置的示意图、自走车导航装置的框图及自走车导航装置的训练路径的示意图。如图1及图2所示，彩色深度(RGB-D) 摄影机11可设置于一自走车V上；彩色深度摄影机11可为自走车导航装置1的其中一个元件，自走车导航装置1能在经过训练程序后为自走车V进行自动导航。
如图2所示，自走车导航装置1包含彩色深度摄影机11、控制器12、处理器13及至少一个传感器，该些传感器包含六轴传感器14 及旋转编码器15。在一实施例中，处理器13可为中央处理器、特殊应用集成电路芯片或其它类似的元件。
彩色深度摄影机11与处理器13连接，并用于撷取深度影像资料及彩色影像资料提供至处理器13。
六轴传感器14与处理器13连接。六轴传感器14用于感测自走车V移动时的加速度、移动速度、方向及转向角度提供至处理器13。
旋转编码器15与处理器13连接。旋转编码器15用于感测自走车V移动的步数，并将自走车V移动的步数转换为移动距离提供至处理器13。另外，自走车导航装置1还可包含避障传感器(如图8所示的避障传感器26)。
处理器13接收彩色深度摄影机11撷取的深度影像资料与彩色影像资料、六轴传感器14的感测资料及旋转编码器15的感测资料，并将上述资料输入至机械学习模型进行深度学习以产生训练结果，并将训练结果输入处理器13，处理器13再产生讯号并将讯号传送至控制器12，使控制器12产生控制讯号以执行导航工作。
当自走车V进入自动导航模式时，控制器12则根据彩色深度摄影机11撷取的实时深度影像资料与实时彩色影像资料及训练结果进行自动导航。
如图3所示，使用者可利用遥控装置R，例如行动装置、手机、平板等等，操作自走车V在一目标路线TR移动以进行训练。其中，目标路线TR包含至少一个路径P1～P7及至少一个停靠站S1～S7；其中，该些路径P1～P7不限于直线路径，也可为弯曲路径或有一个以上的转弯区的路径。使用者可利用遥控器R操作自走车V由一起始点出沿路径P1移动至路径P7，再回到起始点。在自走车V移动的过程中，彩色深度摄影机11撷取各个路径P1～P7的深度影像资料与彩色影像资料；六轴传感器14感测自走车V在各个路径P1～P7移动时的加速度、移动速度、方向及转向角度；旋转编码器15感测感测自走车V在各个路径P1～P7移动的步数，并将其转换为移动距离。因此，处理器13能获得各个路径P1～P7的深度影像资料、各个路径P1～P7 的彩色影像资料、自走车V在各个路径P1～P7移动时的加速度、移动速度、方向、转向角度及移动距离。
接下来，处理器13根据该些路径P1～P7的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些移动距离及该些转向角度产生训练资料，并将训练资料输入机械学习模型进行深度学习以产生训练结果，并将训练结果输入至处理器13，处理器13再产生讯号并将讯号传送至控制器12，使控制器12产生控制讯号以执行自走车V的导航工作。在本实施例中，机械学习模型可为卷积类神经网络模型(ConvolutionalNeural Network，CNN)；在另一实施例中，机械学习模型也可为其它类似的模型。使用者操作自走车V在此目标路线TR移动至少一次以进行训练。
其中，机械学习模型根据该些路径P1～P7的该些深度影像资料进行深度学习，以模仿使用者操作自走车V在各个路径P1～P7的移动模式(包含加速度、移动速度、方向、转向角度及移动距离)，并根据该些路径P1～P7的该些彩色影像资料判断该些停靠站S1～S7的位置。
通过上述的训练机制，当自走车V进入自动导航模式时，控制器12根据训练结果与彩色深度摄影机11撷取的实时深度影像资料及实时彩色影像资料以取得对应于实时深度影像资料的该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离，并实时控制自走车V以该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离进行移动，并判断该些停靠站S1～S7的位置，使自走车V能在到达停靠站S1～S7时停止移动。机械学习的详细内容将于后续的实施例说明。
请参阅图4，其为本公开的第一实施例的自走车导航装置的机械学习模型的示意图。如图所示，机械学习模型M(本实施例为卷积类神经网络模型)可包含卷积层(Convolution layer)m1、丢弃层(Dropout layer)m2、平坦层(Flatten layer)m3及全连接层(Fully connected layer)m4。
如前述，处理器13根据该些深度影像资料d1、该些彩色影像资料d2、该些加速度d3、该些移动速度d4、该些方向d5、该些移动距离d6及该些转向角度d7产生训练资料，并将训练资料输入机械学习模型M。其中，卷积层m1能找寻影像资料的重要特征；丢弃层m2 能执行正规化，以避免过度学习；平坦层m3则能将影像资料转换为一维信息；全连接层m4能整合由前几层获得的特征。机械学习模型 M能通过上述资料进行深度学习以产生训练结果FR。
请参阅图5A～5E，其为本公开的第一实施例的自走车导航装置的深度影像资料的降维方法的示意图。处理器13能执行降维方法对该些深度影像资料d1进行处理。处理器13可执行降维方法将各路径 P1～P7的深度影像资料d1转换为二维轮廓资料，再将二维轮廓资料转换为一维阵列资料，再将二维轮廓资料及一维阵列资料进行深度学习。因此，如前述，处理器13能在进行深度学习时对该些深度影像资料d1进行降维，以做为训练资料的一部份，以更有效地进行深度学习且能提升深度学习的效率。
同样的，处理器13也根据彩色影像资料d2通过机械学习模型M 进行深度学习，使处理器13能根据彩色影像的影像特征辨识与各个停靠站S1～S7对应的彩色影像。如此，在训练程序完成后，控制器 11即可根据彩色深度摄影机11撷取的实时彩色影像资料及训练结果 FR判断目标路线TR中的该些停靠站S1～S7；此部份的详细内容将于图7D的实施例中详细说明。
图5A为任一路径P1～P7的深度影像资料d1的其中一个深度影像，此深度影像包含右墙面Rw及左墙面Lw。彩色深度摄影机11的荧幕C的长度及宽度分别为L及W。
如图5B所示，每一个像素的像素坐标为(x，y)；x可为1～L，而 y可为1～W，而此像素坐标的深度值为zx，y。
如图5C所示，N表示镜头的虚拟位置；f表示虚拟距离；dp表示此像素的深度值zx，y的线段；θ表示彩色深度摄影机11的可视范围 (FOV)的角度；A表示荧幕C的中线；O表示原点，即彩色深度摄影机11的可视范围的底部的点；θx表示同时通过原点O及此像素的与中线A的夹角；K表示物体真实的位置；WX表示此像素在X轴的真实坐标(长度L、宽度W及彩色深度摄影机11的可视范围的角度θ为已知)。
因此，虚拟距离f可由下式(1)计算而得：
Figure RE-GDA0002825922080000081
由于f及此像素的坐标(x，y)为已知，θx可由下式(2)计算而得：
Figure RE-GDA0002825922080000082
由于θx及线段dp为已知，故此像素在X轴的真实坐标WX可由下式(3)计算而得：
sinθx×dp＝WX...............................(3)
此像素在Y轴的真实坐标WY也可通过同样的方式计算而得。
如图5D所示，转换每一个像素的真实坐标(WX，WY，WZ)与其对应的角度θwx，wy，wz则能得到一个三维真实坐标立体图。
如图5E所示，根据前述的三维真实坐标立体图的每一个WY的最小z值可得到一个二维影像，再记录二维影像的WY轴的z值及其对应的角度即可得到一维影像(由一连串角度与z值组成)。
由上述可知，处理器13可通过降维方法对该些深度影像资料d1 进行处理，以将该些深度影像资料d1转换为二维轮廓资料及一维阵列资料，使信息量大幅降低，并通过机械学习模型M根据二维轮廓资料及一维阵列资料进行深度学习，故能有效地进行深度学习且能提升深度学习的效率。
请参阅图6A～6C，其为应用现有彩色视觉辨识学习技术的自动导航模式的示意图。通过现有彩色视觉辨识学习技术进行自动导航模式的训练时，自走车V的导航装置需根据彩色影像资料中的彩色特征学习如何进行移动。如图6A所示，自走车V的导航装置需根据彩色影像资料中的彩色特征，即左墙面Lw及右墙面Rw下方的颜色区块Gs，学习影像具有此彩色特征时自走车V的左侧及右侧有左墙面 Lw及右墙面Rw，且自走车V应为直行。
如图6B所示，自走车V的导航装置需根据影像中的彩色特征，即左墙面Lw下方的颜色区块Gs，学习影像具有此彩色特征时自走车V之前方有左墙面Lw，且自走车V应为右转再直行。
如图6C所示，自走车V的导航装置需根据影像中的彩色特征，即左墙面Lw及右墙面Rw下方的颜色区块Gs，学习影像具有此彩色特征时自走车V的左侧及右侧有左墙面Lw及右墙面Rw，且自走车 V应为右转再直行。
由上述可知，应用现有的彩色视觉辨识学习技术的自动导航模式需要根据彩色影像资料中的彩色特征进行学习，故需要执行大量的影像相似度分析，导致此自动导航模式的稳定度大幅降低。因此，本公开凭借上述深度影像资料可逻辑分析环境应对行为，以补足提升应用彩色影像资料时稳定度低的问题，加强稳定度。
请参阅图7A～7D，其为本公开的第一实施例的自走车导航装置的自动导航模式的示意图。当自走车V进入自动导航模式时，控制器12则根据彩色深度摄影机11撷取的实时深度影像资料、彩色深度摄影机11撷取实时彩色影像资料及训练结果FR进行自动导航。其中，控制器12将实时深度影像资料的各个实时深度影像与训练结果 FR比对，以判断此实时深度影像对应的加速度d3、移动速度d4、方向d5、移动距离d6及转向角度d7，并控制自走车V以此加速度d3、移动速度d4、方向d5、移动距离d6及转向角度d7移动。如前述，处理器13主要通过实时深度影像资料判断对应的加速度d3、移动速度d4、方向d5、移动距离d6及转向角度d7，且在进行深度学习时对该些深度影像资料d1进行降维，以做为训练资料的一部份，故大幅降低信息量，使学习结果能确实收敛。因此，控制器12能有效地通过深度学习的结果模仿人类的操作模式。
如图7A所示，控制器12可根据比对结果判断目前位置二侧具有左墙面Lw及右墒面Rw，而目前位置的前方具有较高的深度；因此，控制器12可以对应的加速度d3、移动速度d4、方向d5及移动距离d6控制自走车V直行。
如图7B所示，控制器12可根据比对结果判断目前位置的左侧及前方均为左墙面Lw；因此，控制器12可以对应的转向角度d7控制自走车V转向，再控制自走车V直行。
如图7C所示，控制器12可根据比对结果判断目前位置两侧具有左墙面Lw及右墙面Rw，而目前位置的右前方具有较高的深度；因此，控制器12可以对应的转向角度d7控制自走车V转向，再控制自走车V直行。
如前述，处理器13根据彩色影像资料d2通过机械学习模型M 进行深度学习，使处理器13能根据彩色影像的影像特征辨识与各个停靠站S1～S7对应的彩色影像，如此控制器11即可根据彩色深度摄影机11撷取的实时彩色影像资料及训练结果FR判断目标路线TR中的一个或多个停靠站S1～S7。如图7D所示，控制器12根据彩色深度摄影机11撷取的实时彩色影像资料及训练结果FR判断目标路线TR 中的该些停靠站S1～S7。其中，控制器12将实时彩色影像资料的各个实时彩色影像与训练结果FR比对，以判断此实时彩色影像是否对应于训练结果FR中各停靠站S1～S7的彩色影像。然后，控制器12 将彩色深度摄影机11撷取的实时彩色影像资料与训练结果FR的该些停靠站S1～S7的彩色影像的相似度与一预设门槛值比较以判断目前位置是否为该些停靠站S1～S7之一；此预设门槛值可依需求设定；在本实施例中，此预设门槛值可为60％。其中，若控制器12判断此实时彩色影像与训练结果FR的任一停靠站S1～S7的彩色影像的相似度大于此预设门槛值，控制器12则判断目前位置为停靠站S1～S7中之一，并控制自走车V停止在目前的位置，让使用者能将货物放置于自走车V上，或由自走车V上移除货物。前述的预设门槛值可依实际需求设定。当然，停靠站S1～S7也可通过该些深度影像资料d1 进行训练并判断，但彩色影像能提供更多的影像特征，故通过彩色影像能更为有效地辨识停靠站S1～S7。
由上述可知，本实施例的自走车导航装置1根据该些深度影像资料d1、该些彩色影像资料d2、该些加速度d3、该些移动速度d4、该些方向d5、该些移动距离d6及该些转向角度d7产生训练资料通过机械学习模型M进行深度学习产生训练结果FR，以模仿人类的操作模式。因此，自走车导航装置1可在不使用定位技术的情况下实现自走车的自动导航，故能大幅降低自动导航技术的成本。
此外，自走车导航装置1并不完全采用彩色影像资料d2通过影像相似度进行训练，而是以深度影像资料d1判断各路径P1～P7的加速度d3、移动速度d4、方向d5、移动距离d6及转向角度d7，而彩色影像资料d2用于判断停靠站S1～S7。因此，自走车导航装置1能根据环境轮廓、空间逻辑概念及影像相似度进行比对，故能大幅降低资料量且有效地解决影像资料过度学习或影像资料量太过复杂无法收敛问题。因此，自走车导航装置1更有效地进行深度学习且能提升深度学习的效率。
当然，上述为举例说明，自走车导航装置1的各元件及其协同关系均可依实际需求变化，本公开并不以此为限。
如前述，现有的自动导航技术依不同应用环境或精确度的需求，需要搭配不同的定位技术；然而，这些定位技术均有一定的布建难度以及复杂度，故会大幅增加自动导航技术的成本。然而，根据本公开的实施例，自走车导航装置能在不使用定位技术的情况下通过机械学习模型产生训练结果以模仿人类的操作模式，以实现自走车的自动导航，故能大幅降低自动导航技术的成本。
另外，现有的机器学习技术应用于自走车的自动导航技术时，可能会因影像信息量过于庞大、噪声背景过多以及图片相似度过高等因素，导致学习的结果无法收敛。因此，现有的机器学习技术无法应用于自走车的自动导航技术。然而，根据本公开的实施例，自走车导航装置应用降维方法对深度影像资料进行处理，使深度影像资料的信息量大幅降低，并通过机械学习模型根据降维后的深度影像资料进行深度学习，故能有效地进行深度学习且能提升深度学习的效率。
此外，根据本公开的实施例，自走车导航装置通过机械学习模型同时根据深度影像资料及彩色影像资料进行深度学习，根据深度影像资料决定自走车的加速度、移动速度、方向、转向角度及移动距离，并根据彩色影像资料辨识停靠站，故能有效地提升辨识效果。
再者，根据本公开的实施例，自走车导航装置整合多种传感器，包含六轴传感器、旋转编码器、指南针及避障传感器等，故能更为精确地模拟人类感观，使自走车的自动导航更接近人类的操作模式。
请参阅图8，其为本公开的第一实施例的自走车导航方法的流程图。本实施例的自走车导航方法包含下列步骤：
步骤S81：操作自走车沿包含至少一个路径及至少一个停靠站的目标路线移动。
步骤S82：使自走车沿目标路线移动至少一次。
步骤S83：由彩色深度摄影机撷取各路径的深度影像资料及彩色影像资料。
步骤S84：通过至少一个传感器，包含六轴传感器及旋转编码器，记录自走车在各路径的加速度、移动速度、方向、转向角度及移动距离。
步骤S85：经由处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生训练资料。
步骤S86：由处理器将训练资料输入机械学习模型进行深度学习以产生训练结果。
步骤S87：通过控制器根据彩色深度摄影机撷取的实时深度影像资料、彩色深度摄影机撷取的实时彩色影像资料及训练结果自动导航自走车。
请参阅图9，其为本公开的第二实施例的自走车导航装置的框图。如图所示，自走车导航装置2可应用于一自走车V(如图1所示)；自走车导航装置2能在经过训练程序后为自走车V进行自动导航。自走车导航装置2包含彩色深度摄影机21、控制器22、处理器23、六轴传感器24及旋转编码器25。
彩色深度摄影机21与处理器23连接，并用于撷取深度影像资料及彩色影像资料。
六轴传感器24与处理器23连接。六轴传感器24用于感测自走车V移动时的加速度、移动速度、方向及转向角度。
旋转编码器25与处理器23连接。旋转编码器25用于感测自走车V移动的步数，并将自走车V移动的步数转换为移动距离。
上述各元件与前述实施例相似，故不在此多加赘述。与前述实施例不同的是，自走车导航装置2还可包含避障传感器26。避障传感器26可侦测自走车V前方是否具有障碍物；在一实施例中，避障传感器可为超音波传感器、红外线传感器或其它类似的元件。
当自走车V进入自动导航模式时，控制器22则根据彩色深度摄影机21撷取的实时深度影像资料、彩色深度摄影机21撷取实时彩色影像资料及训练结果进行自动导航。而若避障传感器26侦测到自走车V前方有障碍物(人或物体)，控制器22即可立即控制自走车V停止，以避免自走车V碰撞到障碍物。
当然，上述为举例说明，自走车导航装置2的各元件及其协同关系均可依实际需求变化，本公开并不以此为限。
综合上述，根据本公开的实施例，自走车导航装置能在不使用定位技术的情况下通过机械学习模型产生训练结果以模仿人类的操作模式，以实现自走车的自动导航，故能大幅降低自动导航技术的成本。
此外，根据本公开的实施例，自走车导航装置应用降维方法对深度影像资料进行处理，使深度影像资料的信息量大幅降低，并通过机械学习模型根据降维后的深度影像资料进行深度学习，故能有效地进行深度学习且能提升深度学习的效率。
另外，根据本公开的实施例，自走车导航装置通过机械学习模型同时根据深度影像资料及彩色影像资料进行深度学习，通过降维后的深度影像资料，可加强自走车导航装置的环境轮廓及空间逻辑概念；因此，自走车导航装置不再单一使用影像相似度学习，而是根据环境轮廓、空间逻辑概念及影像相似度进行比对，以决定自走车的加速度、移动速度、方向、转向角度、移动距离及停靠站，上述的机制能有效地解决影像资料过度学习或影像资料量太过复杂无法收敛问题，故能有效地提升导航辨识效果。
再者，根据本公开的实施例，自走车导航装置整合多种传感器，包含六轴传感器、旋转编码器、指南针及避障传感器等，故能更为精确地模拟人类感观，使自走车的自动导航更接近人类的操作模式。
可见本公开在突破先前的技术下，确实已达到所欲增进的功效，且也非本领域技术人员所易于思及，其所具的进步性、实用性，显已符合专利的申请要件，依法提出专利申请。
以上所述为举例性，而非为限制性者。其它任何未脱离本公开的精神与范畴，而对其进行的等效修改或变更，均应该包含于后附的申请专利范围中。

Claims (23)

1.一种自走车导航装置，设置于一自走车上，其特征在于，包含：
一彩色深度摄影机，在该自走车被操作沿包含至少一个路径的一目标路线移动时撷取各该路径的一深度影像资料及一彩色影像资料；
至少一个传感器，记录该自走车在各该路径的一加速度、一移动速度、一方向、一转向角度及一移动距离；以及
一处理器，根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生一训练资料，并将该训练资料输入一机械学习模型进行深度学习以产生一训练结果。
2.根据权利要求1所述的自走车导航装置，其特征在于，还包含一控制器，该控制器根据该彩色深度摄影机撷取的一实时深度影像资料与一实时彩色影像资料及该训练结果自动导航该自走车。
3.根据权利要求2所述的自走车导航装置，其特征在于，该控制器根据该训练结果与该彩色深度摄影机撷取的该实时深度影像资料及该实时彩色影像资料以取得对应于该实时深度影像资料的该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离，并实时控制该自走车以该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离进行移动。
4.根据权利要求3所述的自走车导航装置，其特征在于，该控制器根据该彩色深度摄影机撷取的该实时彩色影像资料及该训练结果判断该目标路线中的一个或多个停靠站。
5.根据权利要求4所述的自走车导航装置，其特征在于，该控制器将该彩色深度摄影机撷取的该实时彩色影像资料与该训练结果的任一该停靠站的彩色影像的相似度与一预设门槛值比较以判断目前位置是否为该停靠站。
6.根据权利要求1所述的自走车导航装置，其特征在于，该自走车被操作沿该目标路线移动至少一次。
7.根据权利要求1所述的自走车导航装置，其特征在于，该些传感器包含一六轴传感器，该六轴传感器侦测该自走车沿各该路径行走的该加速度、该移动速度、该方向及该转向角度。
8.根据权利要求1所述的自走车导航装置，其特征在于，该些传感器还包含一旋转编码器，该旋转编码器侦测该自走车沿各该路径行走的该移动距离。
9.根据权利要求1所述的自走车导航装置，其特征在于，该些传感器还包含一避障传感器，该避障传感器侦测该自走车前方是否具有一障碍物。
10.根据权利要求9所述的自走车导航装置，其特征在于，该避障传感器为一超音波传感器或一红外线传感器。
11.根据权利要求1所述的自走车导航装置，其特征在于，该机械学习模型为卷积类神经网络模型。
12.根据权利要求1所述的自走车导航装置，其特征在于，该处理器将各该路径的该深度影像资料转换为一二维轮廓资料，再将该二维轮廓资料转换为一一维阵列资料，并根据该二维轮廓资料及该一维阵列资料进行深度学习以做为该训练资料的一部份。
13.一种自走车导航方法，其特征在于，包含：
操作一自走车沿包含至少一个路径的一目标路线移动；
由一彩色深度摄影机撷取各该路径的一深度影像资料及一彩色影像资料；
通过至少一个传感器记录该自走车在各该路径的一加速度、一移动速度、一方向、一转向角度及一移动距离；
经由一处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生一训练资料；以及
由该处理器将该训练资料输入一机械学习模型进行深度学习以产生一训练结果。
14.根据权利要求13所述的自走车导航方法，其特征在于，还包含：
通过一控制器根据该彩色深度摄影机撷取的一实时深度影像资料、一实时彩色影像资料及该训练结果自动导航该自走车。
15.根据权利要求14所述的自走车导航方法，其特征在于，通过该控制器根据该彩色深度摄影机撷取的该实时深度影像资料、该实时彩色影像资料及该训练结果自动导航该自走车的步骤还包含：
经由该控制器根据该训练结果与该彩色深度摄影机撷取的该实时深度影像资料以取得对应于该实时深度影像资料的该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离，并实时控制该自走车以该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离进行移动。
16.根据权利要求15所述的自走车导航方法，其特征在于，还包含：
由该控制器根据该彩色深度摄影机撷取的一实时彩色影像资料及该训练结果判断该目标路线中的一个或多个停靠站。
17.根据权利要求16所述的自走车导航方法，其特征在于，由该控制器根据该彩色深度摄影机撷取的该实时彩色影像资料及该训练结果判断该目标路线中的一个或多个该停靠站的步骤还包含：
以该控制器将该彩色深度摄影机撷取的该实时彩色影像资料与该训练结果的任一该停靠站的彩色影像的相似度与一预设门槛值比较以判断目前位置是否为该停靠站。
18.根据权利要求13所述的自走车导航方法，其特征在于，操作该自走车沿包含该些路径的该目标路线移动的步骤还包含：
使该自走车沿该目标路线移动至少一次。
19.根据权利要求13所述的自走车导航方法，其特征在于，通过该些传感器记录该自走车在各该路径的该加速度、该移动速度、该方向、该转向角度及该移动距离的步骤包含：
由一六轴传感器侦测该自走车沿各该路径行走的该加速度、该移动速度、该方向及该转向角度；以及
通过一旋转编码器侦测该自走车沿各该路径行走的该移动距离。
20.根据权利要求13所述的自走车导航方法，其特征在于，还包含：
经由一避障传感器侦测该自走车前方是否具有一障碍物。
21.根据权利要求20所述的自走车导航方法，其特征在于，该避障传感器为一超音波传感器或一红外线传感器。
22.根据权利要求13所述的自走车导航方法，其特征在于，经由该处理器根据该些路径的该些深度影像资料、该些彩色影像资料、该些加速度、该些移动速度、该些方向、该些转向角度及该些移动距离产生该训练资料的步骤还包含：
通过该处理器将各该路径的该深度影像资料转换为一二维轮廓资料，再将该二维轮廓资料转换为一一维阵列资料，并根据该二维轮廓资料及该一维阵列资料进行深度学习以做为该训练资料的一部份。
23.根据权利要求13所述的自走车导航方法，其特征在于，该机械学习模型为卷积类神经网络模型。
CN202011121353.9A 2020-09-25 2020-10-20 自走车导航装置及其方法 Pending CN114252071A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109133271 2020-09-25
TW109133271A TWI756844B (zh) 2020-09-25 2020-09-25 自走車導航裝置及其方法

Publications (1)

Publication Number Publication Date
CN114252071A true CN114252071A (zh) 2022-03-29

Family

ID=80790805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011121353.9A Pending CN114252071A (zh) 2020-09-25 2020-10-20 自走车导航装置及其方法

Country Status (3)

Country Link
US (1) US11636612B2 (zh)
CN (1) CN114252071A (zh)
TW (1) TWI756844B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116135492A (zh) * 2023-04-20 2023-05-19 成都盛锴科技有限公司 一种轨道车辆车门自动拆装装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3135811A1 (fr) * 2022-05-17 2023-11-24 Safran Dispositif et procédé d'aide à la navigation basé sur l'imagerie monoculaire
CN114802358B (zh) * 2022-05-25 2023-03-17 武汉大学 一种基于视觉识别的轨道检查车定位方法及定位系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334849A (zh) * 2014-07-02 2016-02-17 苏州宝时得电动工具有限公司 自动行走设备控制方法及自动工作系统
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
EP3388860A1 (de) * 2017-04-12 2018-10-17 Sick AG 3d-lichtlaufzeitkamera und verfahren zur erfassung dreidimensionaler bilddaten
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法
CN110618678A (zh) * 2018-06-19 2019-12-27 辉达公司 自主机器应用中的行为引导路径规划
CN111141300A (zh) * 2019-12-18 2020-05-12 南京理工大学 基于深度强化学习的智能移动平台无地图自主导航方法
CN111565895A (zh) * 2017-12-15 2020-08-21 川崎重工业株式会社 机器人系统及机器人控制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201444543A (zh) 2013-05-21 2014-12-01 Univ Nat Chiao Tung 自主式行動車
CN104166400B (zh) 2014-07-11 2017-02-22 杭州精久科技有限公司 基于多传感器融合的视觉导引agv系统
US10093355B1 (en) * 2016-04-18 2018-10-09 Robo Industries, Inc. Vehicle automatic power and driving control
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
US20200082262A1 (en) 2016-12-21 2020-03-12 Intel Corporation Camera re-localization by enhanced neural regression using middle layer features in autonomous machines
EP3596427A1 (en) 2017-03-14 2020-01-22 Trimble Inc. Integrated vision-based and inertial sensor systems for use in vehicle navigation
TWI671609B (zh) 2017-11-03 2019-09-11 財團法人資訊工業策進會 無人自走車及其控制方法
CN108958232A (zh) * 2017-12-07 2018-12-07 炬大科技有限公司 一种基于深度视觉的移动扫地机器人slam装置及算法
CN110147091B (zh) * 2018-02-13 2022-06-28 深圳市优必选科技有限公司 机器人运动控制方法、装置及机器人
US11042157B2 (en) 2018-07-23 2021-06-22 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
US10953545B2 (en) * 2018-08-13 2021-03-23 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for autonomous navigation using visual sparse map
KR102252034B1 (ko) 2018-09-06 2021-05-14 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN109752004B (zh) * 2018-12-29 2022-07-08 航天信息股份有限公司 室内无人机导航方法、装置及室内无人机
US11238370B2 (en) * 2018-12-31 2022-02-01 Woven Planet North America, Inc. Approaches for determining sensor calibration
CN109857113A (zh) * 2019-02-22 2019-06-07 中国计量大学 一种基于视觉slam方法的自主导航小车
CN110058594A (zh) 2019-04-28 2019-07-26 东北大学 基于示教的多传感器的移动机器人定位导航系统及方法
US11087494B1 (en) * 2019-05-09 2021-08-10 Zoox, Inc. Image-based depth data and localization
CN110223351B (zh) * 2019-05-30 2021-02-19 杭州蓝芯科技有限公司 一种基于卷积神经网络的深度相机定位方法
CN110355758B (zh) * 2019-07-05 2021-02-09 北京史河科技有限公司 一种机器跟随方法、设备及跟随机器人系统
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法
CN110992271B (zh) 2020-03-04 2020-07-07 腾讯科技（深圳）有限公司 图像处理方法、路径规划方法、装置、设备及存储介质
CN111399505B (zh) * 2020-03-13 2023-06-30 浙江工业大学 一种基于神经网络的移动机器人避障方法
US11482059B2 (en) * 2020-04-23 2022-10-25 Zoox, Inc. Vehicle health monitor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334849A (zh) * 2014-07-02 2016-02-17 苏州宝时得电动工具有限公司 自动行走设备控制方法及自动工作系统
CN105894047A (zh) * 2016-06-28 2016-08-24 深圳市唯特视科技有限公司 一种基于三维数据的人脸分类系统
EP3388860A1 (de) * 2017-04-12 2018-10-17 Sick AG 3d-lichtlaufzeitkamera und verfahren zur erfassung dreidimensionaler bilddaten
CN111565895A (zh) * 2017-12-15 2020-08-21 川崎重工业株式会社 机器人系统及机器人控制方法
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法
CN110618678A (zh) * 2018-06-19 2019-12-27 辉达公司 自主机器应用中的行为引导路径规划
CN111141300A (zh) * 2019-12-18 2020-05-12 南京理工大学 基于深度强化学习的智能移动平台无地图自主导航方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116135492A (zh) * 2023-04-20 2023-05-19 成都盛锴科技有限公司 一种轨道车辆车门自动拆装装置及方法
CN116135492B (zh) * 2023-04-20 2023-09-05 成都盛锴科技有限公司 一种轨道车辆车门自动拆装装置及方法

Also Published As

Publication number Publication date
US20220101546A1 (en) 2022-03-31
TW202213015A (zh) 2022-04-01
TWI756844B (zh) 2022-03-01
US11636612B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
Patel et al. Sensor modality fusion with CNNs for UGV autonomous driving in indoor environments
CN114252071A (zh) 自走车导航装置及其方法
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US20190332115A1 (en) Method of controlling mobile robot
JP4264380B2 (ja) 自己位置同定方法及び該装置
US20190184569A1 (en) Robot based on artificial intelligence, and control method thereof
KR20180125010A (ko) 이동 로봇 및 이동 로봇의 제어방법
KR100933539B1 (ko) 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇
Hueser et al. Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration
CN108544494A (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
Lopez-Nicolas et al. Nonholonomic epipolar visual servoing
US11080562B1 (en) Key point recognition with uncertainty measurement
CN112454348A (zh) 一种智能机器人
WO2019113859A1 (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
Rahmani et al. Research of smart real-time robot navigation system
Abdo et al. Mobile robot localization evaluations with visual odometry in varying environments using Festo-Robotino
KR100703882B1 (ko) 단일 카메라 기반 포즈인식이 가능한 이동로봇 및 그 방법
Crnokić et al. Fusion of infrared sensors and camera for mobile robot navigation system-simulation scenario
Gao et al. Shared autonomy for assisted mobile robot teleoperation by recognizing operator intention as contextual task
Saleiro et al. Minimalistic vision-based cognitive SLAM
Chiang et al. Vision-based autonomous vehicle guidance in indoor environments using odometer and house corner location information
TWI788253B (zh) 適應性移動操作設備及方法
Karlsson et al. Perception capabilities for ARWs: The art of perceiving the environment
Silitonga et al. Tiny-YOLO distance measurement and object detection coordination system for the BarelangFC robot.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination