CN110945449B - 现场环境的实时监督式机器学习系统与方法 - Google Patents

现场环境的实时监督式机器学习系统与方法 Download PDF

Info

Publication number
CN110945449B
CN110945449B CN201880038567.4A CN201880038567A CN110945449B CN 110945449 B CN110945449 B CN 110945449B CN 201880038567 A CN201880038567 A CN 201880038567A CN 110945449 B CN110945449 B CN 110945449B
Authority
CN
China
Prior art keywords
image data
guided vehicle
automated guided
neural network
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880038567.4A
Other languages
English (en)
Other versions
CN110945449A (zh
Inventor
陈炯霖
姚蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingdong Technology Beijing Co Ltd
Original Assignee
Lingdong Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingdong Technology Beijing Co Ltd filed Critical Lingdong Technology Beijing Co Ltd
Priority to CN202311196673.4A priority Critical patent/CN117234077A/zh
Publication of CN110945449A publication Critical patent/CN110945449A/zh
Application granted granted Critical
Publication of CN110945449B publication Critical patent/CN110945449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

一种自动导引车(AGV)(100)包含具有动力总成(435)的移动底座(105)，用来在设施内以自主导航模式驱动AGV(100)；第一摄像头(140A)，用来采集设施内物体的第一影像数据；第二摄像头(140B)，用来采集设施内物体的第二影像数据，包含内容滤镜及用来接收从第一摄像头与第二摄像头(140A,140B)传送的第一影像数据与第二影像数据的主要控制模块(170)。主要控制模块(170)执行识别神经网络程序(413)。识别神经网络程序(413)辨识第一影像数据中的目标。主要控制模块(170)也在使用者控制下执行监督程序(412)。监督程序(412)接收第二影像数据并辨识第二影像数据中附着在目标上的标签(511,512,513,711,712,713,714,811,812,813,911,912)。监督程序(412)生成监督结果，其中具有标签(511,512,513,711,712,713,714,811,812,813,911,912)的目标会依照使用者指令分类。监督结果会调整所述识别神经网络程序(413)中各节点的权重。

Description

现场环境的实时监督式机器学习系统与方法
技术领域
本申请涉及自动导引车，特别是能够实时执行监督式学习的自动导引车。
背景技术
自动导引车(automated/automatic guided vehicle，AGV)是一种能够以例如标签、电线、或是以地面上的金属条、摄像头所视影像、磁铁、激光或上述方式的任意组合来自主导航的移动式机器人。自动导引车通常使用在工业应用上，例如在工厂或仓库里运送材料。近年来，自动导引车的数量与应用的种类已经大幅度增加。
在仓库中运行的自动导引车通常依赖计算器视觉(computer vision，CV)来辨识一个目标(例如一个酬载或人物)以及环境(例如仓库)。现行实践中，一个自动导引车的操作系统或类似的控制程序在送到客户的设施前，由所述自动导引车的制造者所训练。也就是说，所述自动导引车的制造者用一种默认数据集(或是一种预先设定、预先标示的数据集)来训练所述自动导引车的神经网络去辨识目标，例如训练所述自动导引车的控制程序来辨识人物、物体、环境等等。
然而，实际应用中，所述自动导引车的神经网络经过训练后的表现常常不如预期，特别是当实际(或实时)的环境与用来执行训练的所述默认数据集有明显不同的情况下更是如此。事实上，用来执行训练的所述默认数据集与实际环境常有明显不同的因素，例如仓库的照明状况、工作人员的制服(或其他服装)、货架的外观等等。如此的差异可能导致低辨识率以及不良的使用者经验。但对于所述自动导引车的制造者来说记录实际设施的状态并为每一位客户建立新的数据集以适应各个环境是非常困难的。
因此，本领域需要改善自动导引车的系统，特别是需要一种能够在所述自动导引车送到客户的设施后，能够在真实世界的环境来执行训练的自动导引车系统。
发明内容
为了解决上述公知技术的缺点，本发明的主要目的在于提供一种自动导引车(automatic guided vehicle，AGV)，所述自动导引车包含(一)一个移动底座，包含一个动力总成，用来在一个设施内以一种自主导航模式驱动所述自动导引车；(二)一个第一摄像头，用来采集所述设施内物体的第一影像数据；(三)一个第二摄像头，用来采集所述设施内物体的第二影像数据，其中所述第二摄像头包含一个内容滤镜；以及(四)一个主要控制模块，用来接收从所述第一摄像头与第二摄像头分别传送的第一影像数据与第二影像数据。所述主要控制模块另用来执行一个识别神经网络程序。所述神经网络程序用来辨识所述第一影像数据中的目标。所述主要控制模块也用来在使用者控制下执行一种监督程序。所述监督程序会接收所述第二影像数据并辨识第二影像数据中附着在目标上的标签。所述监督程序会生成一个监督结果，其中具有第一标签的第一目标会分类成第一类别，并所述监督程序会使用所述监督结果来调整所述识别神经网络程序中，至少一个节点的至少一个权重。
在一个实施例中，所述标签是由所述内容滤镜来识别。
在另一个实施例中，所述内容滤镜是一种用来辨识与一个标签有关联的独特颜色的彩色滤光片。
在另一个实施例中，所述内容滤镜用来辨识一种与一个标签有关联的独特图案。
在另一个实施例中，所述监督程序依照使用者输入的指令把具有所述第一标签的所述第一目标分类成所述第一类别，并以此生成一个监督结果。
在另一个实施例中，所述第一类别包含「人物识别」。
在另一个实施例中，所述第一类别包含「所跟随的目标」。
在另一个实施例中，所述监督程序以所述监督结果与相关的真实世界信息更新一种与所述识别神经网络程序有关联的默认数据集。
在一个实施例中，所述真实世界信息与所述第一影像数据与第二影像数据中的人物穿着有关联。
在另一个实施例中，所述真实世界信息与所述第一影像数据与第二影像数据中的所述设施的基础物理结构有关联。
本发明的另一主要目的在于提供一种训练自动导引车的方法，所述自动导引车包含一个具有一个动力总成并用来在一个设施内以一种自主导航模式驱动所述自动导引车的移动底座。所述方法包含：(一)用一个第一摄像头采集所述设施内物体的第一影像数据；(二)用一个第二摄像头采集所述设施内物体的第二影像数据，其中所述第二摄像头包含一个内容滤镜；(三)用一个主要控制模块来接收从所述第一摄像头与第二摄像头分别传送的第一影像数据与第二影像数据；(四)用所述主要控制模块并以储存在一个默认数据集中，预先标示的影像数据来执行一个识别神经网络程序，所述识别神经网络程序可以用所述预先标示的影像数据来操作并辨识所述第一影像数据中的目标；(五)在使用者控制下，用所述主要控制模块执行一种监督程序，所述监督程序用来接收所述第二影像数据并辨识第二影像数据中附着在目标的标签，所述监督程序并用来生成一个监督结果，其中具有第一标签的第一目标会分类成第一类别；以及(六)使用所述监督结果来调整所述识别神经网络程序中，至少一个节点的至少一个权重。
在说明本发明的具体实施方式前，本专利档中使用的某些单词和短语宜在此先行定义：所谓「包括」和「包含」及类似句词是指「包括但不限于」；所谓「或」是包含性的，表示「和/或」；所谓「与...关联」和「与之关联」及类似句词可能表示「包括、包含在其中、与之互连、包含、包含在其中、与之相连、与之耦合、可与之互通、与...有合作、交织、并置、邻近、受其约束或具有、具有某物的性质」等；所谓「控制器」是指任何可以控制至少一个动作的任何设备、系统或其一部分，这样的设备可以用硬件，固件或软件或它们中至少两个的某种组合来实现。值得注意的是，与任何特定控制器相关的功能可以是本地或远程的，可以是集中的或分布的。本专利档中提供了某些单词和短语的定义，而本领域中具有公知技术人员应当理解在很多或是大多数的情况下，这类定义也适用于先前以及后续情况下这样定义的单词和短语。
附图说明
为协助了解本发明以及其功效，请参考下列描述以及对应附图，其中相同的附图标记表示相同的部分。
图1为本发明实施例中，一台自动导引车的示意图。
图2为本发明实施例中，一个默认数据集中的影像与一个实时、真实世界环境的示意图。
图3为本发明实施例中，一个自动导引车系统的操作员或使用者控制屏幕的示意图。
图4为本发明实施例中，一个自动导引车系统的特定子系统的细部示意图。
图5为一种依据本发明的原理进行实时监督式学习的范例。
图6为本发明实施例中，一种实时监督式学习的流程图。
图7为一种依据本发明的原理以「人物识别」作为实时监督式学习的范例。
图8为一种依据本发明的原理以「人物跟随识别」作为实时监督式学习的范例。
图9为一种依据本发明的原理使用一个摄像头执行实时监督式学习的范例。
具体实施方式
以下有关图1到图9的叙述以及本专利档中用来描述本发明的原理的各个实施例仅供说明，并不用于限制本发明。本领域的技术人员应当理解本发明的原理可以借由任何合适的自动导引车系统来实现。
本公开描述一种自动导引车系统，其能够让所述自动导引车的神经网络程序在所述自动导引车进入一个与神经网络程序的默认数据集不一致的新的环境时，可以自我改善。这是借由一种更新所述默认数据集的实时监督程序所达成。所述自动导引车的使用者(或操作员)启动一个自动导引车的网络训练模式来执行监督式学习。这种监督过程依赖使用者选择的光学标签，并且所述光学标签可以借由所述自动导引车上训练过的计算器视觉摄像头所辨识，以更新特定功能(例如人物识别功能、人物跟随功能、自主导航功能、障碍物回避功能等等)。
所述自动导引车使用一个第一摄像头来提供视觉输入数据给一个所述自动导引车的识别神经网络以及一个具有光学滤镜的第二摄像头，以在监督式学习的过程中使用。所述第二摄像头能辨识所采集的影像中的光学标签(例如明亮的霓虹灯粉色或绿色贴纸)。这使得所述监督程序能够监督一种功能(例如人物识别功能)的结果，让所述识别神经网络的神经节点的权重可以根据监督结果而调整。如此一来，所述默认数据集就可以改善成为一个更新过的并且更匹配所述自动导引车所在的实时环境的数据集。
图1为本发明实施例中，自动导引车(AGV)100的示意图。自动导引车100包含自驾式的移动底座105与直立式控制台，其中包含控制台下部115与控制台上部116。控制台下部115包含扫码单元120与侧向摄像头145A与145B。控制台上部116包含触控屏125、主要摄像头140与无线通信单元130。在一个优选实施例中，主要摄像头140可能包含一组摄像头，包括摄像头140A与摄像头140B。摄像头140B可能包含一个用来训练所述识别神经网络的彩色滤光片，该识别神经网络协助控制自动导引车100的操纵。摄像头140A与140B面向前方，且侧向摄像头145A与145B分别面向自动导引车100的左方与右方。主要摄像头140A、140B与侧向摄像头145A、145B共同提供270度的视角。可选地，一个面向后方的摄像头(未绘制)可以加在控制台上部116或移动底座105的后方来提供360度的视角。
移动底座105包含多个护栏110，多个超音波传感器包含超音波传感器150A-150F，多个激光传感器包含激光雷达(LiDar)传感器160，主要控制单元170，机电模块175，驱动轮180与稳定轮185。护栏110位在移动底座105的上表面的周围。自动导引车100在一个仓库或其他设施中移动时，护栏110让因为移动而被推挤的库存物品不会从所述移动底座105的上表面滑下。
触控屏125用来显示信息并让所述使用者(或操作员)操控所述自动导引车100。触控屏125只是使用者接口的其中一种。或者，自动导引车100可以包含任何合适的使用者输入设备，提供指令、所述设施的地图、路线信息、库存物品信息、或库存物品平台等等。这有利于所述使用者越控所述自动导引车100的自动操控且以手动控制自动导引车100。这在网络训练模式中特别有用；在网络训练模式下，监督式学习可用来更新并改善所述自动导引车100的默认数据集，如下详述。
主要控制单元170控制所述自动导引车100的整体操作。主要控制单元170从超音波传感器150A-150F与激光雷达传感器160以及从面向前方的主要摄像头140A、140B与侧向摄像头145A、145B接收有关周围物体的距离信息。为了响应所接收到的距离信息，主要控制单元170会导引自动导引车100在其所处的工厂或仓库内行走。
移动底座105包含多个受主要控制单元170控制的驱动轮180与多个稳定轮185，用来移动、转向自动导引车100。在一范例实施例中，机动模块175包含一个或多个受主要控制模块170控制来旋转驱动轮185的电动机。机动模块175可能也包含一种抬升系统，用来调整所述移动底座105的高度，以将库存物品上货或卸货。
移动底座105可能包含两个驱动轮180与四个稳定轮185。稳定轮185可能是位于移动底座105的四个角落的脚轮。驱动轮180可能位于移动底座105下方，在前稳定轮185与后稳定轮185之间。各个驱动轮180借由主要控制模块175所控制的电动机来操作并以任何特定方向与可变速度旋转。举例来说，驱动轮180可能旋转并将自动导引车100向前、后、以及在地面上的X-Y平面上横向移动。驱动轮180可能被控制以不同速度与不同方向旋转来使自动导引车100转向或旋转。
依据本发明的原理，主要控制模块175可能包含一识别神经网络，所述识别神经网络可以分析由例如是摄像头140A、140B采集的视觉数据，并以所述视觉数据来执行特定功能，例如一种人物识别功能、一种人物跟随功能、一种自主导航功能、一种障碍物回避功能与现有自动导引车系统的其他例行性功能。
众所周知，一个神经网络包含多层计算节点，即所谓神经元，而不同层之间互相连接。一个神经网络会将数据转换，直到所述数据可以被神经网络归类为一种输出结果。各节点将一个初始值乘上一个权重，将所述输出结果与进入所述同一个节点的其他值相加，将结果数值以一个所述节点所选择的偏置(bias)进行调整，再用一种激励函数(activationfunction)将所述输出结果标准化。
一个神经网络采用一种反复式学习流程，其中纪录(行)是个别呈现给所述网络，且与输入值相关的所述权重会逐次调整。所述纪录呈现以后，所述流程通常会重复(或反复执行)。在此时的学习阶段中，所述神经网络借由调整所述权重来训练自己预测正确的输入样品的类别标签。一个神经网络的优点在于其对于噪声较多的数据具有高容忍度，并且对于尚未训练的图案(pattem)有能力来分类。最受欢迎的神经网络算法是倒传递算法。一旦一个神经网络已为了某特定应用构建完成，所述神经网络即完成训练。要开始所述流程，初始权重可以先随机选择，然后再开始训练或学习过程。
所述网络使用所述权重与位于神经节点的隐藏层的功能来逐一处理所述默认数据集(或训练集)里的所述纪录，再将输出结果与期望的输出结果比较。错误即借由所述神经网络反向传递，再以此调整所述权重并使用在下一个纪录。这样的流程会反复执行，修正所述节点的所述权重。在训练的过程中，同一组数据会因为连接权重持续不断的调整而经过多次处理。
图2为本发明实施例中，一个默认数据集中的影像与一个实时、真实世界环境的示意图。影像211表示默认数据集210中一个仓库的内部。影像212表示默认数据集210中的工作人员。影像221是一个被采集的影像，其中显示真实世界环境220中的实际仓库。影像222是一个被采集的影像，其中显示真实世界环境220中的实际工作人员。
影像221中的真实世界仓库与影像222中的真实世界工作人员与用来训练自动导引车100的所述识别神经网络的影像211中的默认仓库与影像212中的默认工作人员有明显不同。所以，自动导引车100的影像识别神经网络因为货架与储存架的结构种类不同而导致其无法辨识真实世界的货架与储存架，也因为服装或制服的不同而导致其无法辨识真实世界的工作人员。
图3为本发明实施例中，一个自动导引车系统的触控屏125上的操作员或使用者控制台的示意图。所述控制面板包含多个菜单选项，包括导航模式311、人物跟随模式312、手动控制模式313与网络训练模式314。借由选择网络训练模式314，所述自动导引车100的使用者可以开启一个监督程序，用来训练所述识别神经网络来辨识新的影像并且更新所述默认数据集来更贴近所述真实世界环境。
图4为本发明实施例中，一个自动导引车系统100的特定子系统的详述示意图。所述特定子系统包含，但不限于，主要控制模块170的一些元件与机动模块175的一些元件。数据总线499提供一种在触控屏125、摄像头145、处理器405、内存410、距离传感器420、接触传感器425、存储430、抬升系统440与动力总成435之间的通信途径。抬升系统440与动力总成435可以是机动模块175里的元件。处理器405、内存410与存储430可以是主要控制模块170里的元件。
内存410可能包含动态随机存取存储器(dynamic random access memory，DRAM)与静态随机存取存储器(static random access memory，SRAM)的组合。内存410包含数据集411、监督程序412与识别神经网络程序413。数据集411、监督程序412与识别神经网络程序413通常可能存放在存储430中，而存储430可能例如是闪存随机存储器(flash RAM)或光盘。处理器405在开机时把数据集411、监督程序412与识别神经网络程序413载入内存410。依照本发明的原理，处理器405执行神经网络程序413与监督程序412以在所述真实世界环境训练所述识别神经网络。
图5为本发明实施例中，一种依据本发明的原理进行实时监督式学习的范例。一个客户设施的真实世界环境的影像505包含各种物体(例如人物、货架、储存架、库存物品)，而所述物体可能无法被神经网络程序413所辨识，例如穿戴特殊安全背心与安全帽的人物。举例来说，由所述默认数据集411所训练的神经网络程序413可能因为所述默认数据集411缺少穿戴背心与安全帽的工作人员的这些影像而无法辨别所述工作人员。
依据本发明的原理，此问题可以借由在所述影像505中的人物与安全帽上加上特殊光学标签，并使用监督程序412来训练所述神经网络程序413来辨识具有所述光学标签的人物来解决。举例来说，光学标签511，其可能包含一种特殊涂层或特殊颜色，可以贴到/附着在影像505中左侧的人的上衣。相似地，光学标签512、513可以贴到/附着在影像505中右侧的人的背心后方。
摄像头140A采集输入到神经网络程序413的影像。摄像头140B，其使用一种能够感测标签511-513的光学滤镜，采集输入到监督程序412的影像。所述具有光学滤镜的另一个摄像头是用来辨识目标(如人物、货架、库存物品等等)的特殊涂层以监督所述神经网络程序413的输出结果并更新所述神经网络程序413的节点的权重。所述自动导引车100的使用者或操作员可以用所述监督程序412来指定被标签511-513标示的目标为特定的类别，例如已辨识的人物、需跟随的人物、障碍物等等。
于是监督程序412便生成一个监督结果，其中被标签511-513标示的目标已被辨识成与特定类别有关联的物体。方块520，其可以是一个由监督程序412执行的处理步骤，将所述监督结果与由所述默认数据集411生成的神经网络程序413的「正常」输出结果比较。如图中从流程方块520的所述输出到神经网络程序413的所述节点的虚线所示，监督程序412依据所述比较与所述监督结果来调整神经网络程序413中各神经节点的所述权重。如此一来，神经网络程序413即可完成训练，而所述训练是由监督程序412用可以改善并更新默认数据集411的真实世界的影像来完成。
图6为本发明实施例中，一种实时监督式学习的流程图600。在步骤605中，所述自动导引车100的使用者把一个或多个视觉标签贴附在一个或多个特定目标上。在步骤610中，所述使用者从自动导引车100的触控屏125上启动网络训练模式。在步骤615中，所述使用者选择训练用的配置设定。举例来说，所述使用者可以选择训练目标的类别：(一)人物；(二)货架；(三)库存物品。所述使用者也可以选择需要辨识的视觉特征的类别，如一种特殊涂层、图案或其他光学标签。
在步骤620中，所述监督程序412执行所选择的训练方式且监督程序412生成监督结果。在步骤625中，所述神经网络的节点则依照所述监督结果以修正所述神经节点权重的方式来调整。接下来，在步骤630中，此流程可以在其他目标类别反复执行。如此一来，所述数据集411可以由对应所述真实世界环境中的人物、货架、库存物品等等的影像作为新辨识的目标来反复更新。
图7为本发明实施例中，一种依据本发明的原理以「人物识别」作为实时监督式学习的范例。如图7所示，假定神经网络程序413已被训练成只能识别穿着常服的人，如西装、休闲裤、正式衬衫、夹克、女装衬衫、裙子等等。进一步假定所述神经网络程序413尚没有训练为辨识有穿戴安全帽的人。
然而，影像705中，所述客户设施的真实世界环境有穿着常服的人(如中间的两人)与穿戴特殊安全背心与安全帽的人(如左侧方与右侧的人)。因此，使用所述默认数据集411来训练的所述神经网络程序413可能可以辨识影像705中的中间的两人，但无法辨识左右两侧穿戴安全帽与背心的工作人员，因为所述默认数据集411中缺少这些影像。
如同图5所示，这问题可以借由在影像705中的人物的服装与安全帽上增加特殊光学标签711-714来修正，并使用监督程序412来训练所述神经网络程序413来辨识具有所述光学标签711-714的人物。监督程序412会生成一个监督结果，其中用光学标签711-714标示的目标已被视为辨识成功的特定类别物体。方块720，其可以是一个由监督程序412执行的处理步骤，将所述监督结果与由所述默认数据集411生成的神经网络程序413的「正常」输出结果比较。如图中从流程方块720的所述输出到神经网络程序413的所述节点的虚线所示，监督程序412依据所述比较与所述监督结果来调整神经网络程序413中各神经节点的所述权重。如此一来，神经网络程序413由监督程序412通过真实世界影像改善并更新默认数据集411从而完成训练。
图8为本发明实施例中，一种依据本发明的原理以「人物跟随识别」作为实时监督式学习的范例。图8的影像805表示一个仓库内的所述真实世界环境。在此情况下，所希望的结果是自动导引车100能够跟随右侧穿戴一件夹克与一顶安全帽的人，而不是左侧穿戴一件背心与一顶安全帽的人。
如上所述，自动导引车100可以借由在影像805中右侧的人的服装与安全帽上加上特殊光学标签811-813，并使用监督程序412来训练所述神经网络程序413辨识具有所述光学标签811-813的人物来完成这项任务。监督程序412会生成一个监督结果，其中用光学标签811-813标示的目标已被视为辨识成功的物体，并且属于「所跟随的目标」的类别。方块820，其可以是一个由监督程序412执行的处理步骤，将所述监督结果与由所述默认数据集411生成的神经网络程序413的「正常」输出结果比较。如图中从流程方块820的所述输出到神经网络程序413的所述节点的虚线所示，监督程序412依据所述比较与所述监督结果来调整神经网络程序413中各神经节点的所述权重。如此一来，神经网络程序413即可完成训练，而所述训练是由监督程序412用可以改善并更新默认数据集411的真实世界的影像来完成。完成训练后，神经网络程序413就可以学习何种特征会是辨识所跟随的目标时必要的关键。若没有于此公开的训练方式，则神经网络程序413会容易误判而跟随错误的人。
图9为一种依据本发明的另一个实施例而仅使用一个摄像头执行实时监督式学习的范例。在图9中，彩色滤光片或类似的内容滤镜并没有用在一个第二摄像头上。相反地，所采集的影像是借由同一个摄像头140提供给神经网络程序413与监督程序412。然而，在此例中，二维条形码(QR code)标签911、912是附着在影像905中的目标上。监督程序412设定成用来识别二维条形码标签911、912，因此能够识别所述目标。另一方面，未经过训练的神经网络413设定成忽略二维条形码标签911、912并且用影像905的其余部分来完成辨识流程。
监督程序412会生成一个监督结果，其中用二维条形码标签911、912标示的目标已被视为辨识成功的物体，并且属于一个特定类别，例如「人物」或「所跟随的目标」的类别。方块920，其可以是一个由监督程序412执行的处理步骤，将所述监督结果与由所述默认数据集411生成的神经网络程序413的「正常」输出结果比较。如图中从流程方块920的所述输出到神经网络程序413的所述节点的虚线所示，监督程序412依据所述比较与所述监督结果来调整神经网络程序413中各神经节点的所述权重。
本发明所公开的方式与设备有利于让所述自动导引车100的摄像头提高辨识人物的能力以及更好分辨需要跟随何种人物(或其他目标)。所公开的方式与设备也能够让所述摄像头更好地识别和区分障碍物或人物。若人物阻挡了行进路线，自动导引车100更可能分辨出人物并以安全为由而减速或停止。所公开的方式与设备也能够让所述摄像头能够更好地辨识货架与货架上的标签，以让自动导引车100定位。
在上述的说明书中，所公开的系统与在一个现场环境做机器学习的方式是以一种仓库传送车辆作为范例来实现。然而，这种呈现方式仅供参考，并不用于限制本发明与权力要求。更广义而言，所述自动导引车可以是任一种使用视觉传感器的自主移动车辆或自驾的手推车、箱子、行李箱等等。举例来说，其他自动导引车100的实施例可包含机动自驾行李箱、机动自驾购物车、机器割草机、无人飞行载具(unmanned aerial vehicles，UAVs)、无人水下航行器、无人车、自主堆高机、运输机器人等等。
虽然本发明已借由一个实施例的范例来描述，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种自动导引车(automatic guided vehicle,AGV)，其特征在于，包含：
一个移动底座，包含一个动力总成，用来在一个设施内以一种自主导航模式驱动所述自动导引车；
一个第一摄像头，用来采集所述设施内物体的第一影像数据；
一个第二摄像头，用来采集所述设施内物体的第二影像数据，其中所述第二摄像头包含一个内容滤镜；以及
一个主要控制模块，用来接收从所述第一摄像头与第二摄像头分别传送的第一影像数据与第二影像数据，
其中所述主要控制模块另用来：
执行一个识别神经网络程序，用来辨识所述第一影像数据中的目标；
在使用者控制下执行一种用来训练所述识别神经网络程序的监督程序，所述监督程序会接收所述第二影像数据并辨识第二影像数据中附着于目标的光学标签，生成一个监督结果，其中所述光学标签是由所述第二摄像头的内容滤镜来识别，并且具有第一光学标签的第一目标会分类成第一类别；以及
使用所述监督结果来调整所述识别神经网络程序中，至少一个节点的至少一个权重。
2.如权利要求1所述的自动导引车，其特征在于，所述内容滤镜是一种用来辨识与一个光学标签有关联的独特颜色的彩色滤光片。
3.如权利要求1所述的自动导引车，其特征在于，所述内容滤镜用来辨识一种与一个光学标签有关联的独特图案。
4.如权利要求1所述的自动导引车，其特征在于，所述监督程序依照使用者输入的指令把具有所述第一光学标签的所述第一目标分类成所述第一类别，并以此生成一个监督结果。
5.如权利要求4所述的自动导引车，其特征在于，所述第一类别包含人物识别。
6.如权利要求4所述的自动导引车，其特征在于，所述第一类别包含所跟随的目标。
7.如权利要求1所述的自动导引车，其特征在于，所述监督程序以所述监督结果与相关的真实世界信息更新一种与所述识别神经网络程序有关联的默认数据集。
8.如权利要求7所述的自动导引车，其特征在于，所述真实世界信息与所述第一影像数据与第二影像数据中的人物穿着有关联。
9.如权利要求7所述的自动导引车，其特征在于，所述真实世界信息与所述第一影像数据与第二影像数据中的所述设施的基础物理结构有关联。
10.一种训练自动导引车的方法，所述自动导引车包含一个具有一个动力总成并用来在一个设施内以一种自主导航模式驱动所述自动导引车的移动底座，所述方法的特征在于，包含：
用一个第一摄像头采集所述设施内物体的第一影像数据；
用一个第二摄像头采集所述设施内物体的第二影像数据，其中所述第二摄像头包含一个内容滤镜；
用一个主要控制模块来接收从所述第一摄像头与第二摄像头分别传送的第一影像数据与第二影像数据；
用所述主要控制模块来执行一个识别神经网络程序，以辨识所述第一影像数据中的目标；
在使用者控制下，用所述主要控制模块执行一种用来训练所述识别神经网络程序的监督程序，所述监督程序用来接收所述第二影像数据并辨识第二影像数据中附着于目标的光学标签，并用来生成一个监督结果，其中所述光学标签是由所述第二摄像头的内容滤镜来识别，
并且具有第一光学标签的第一目标会分类成第一类别；以及
使用所述监督结果来调整所述识别神经网络程序中，至少一个节点的至少一个权重。
11.如权利要求10所述的方法，其特征在于，所述内容滤镜是一种用来辨识与一个光学标签有关联的独特颜色的彩色滤光片。
12.如权利要求10所述的方法，其特征在于，所述内容滤镜用来辨识一种与一个光学标签有关联的独特图案。
13.如权利要求10所述的方法，其特征在于，所述监督程序依照使用者输入的指令把具有所述第一光学标签的所述第一目标分类成所述第一类别，并以此生成一个监督结果。
14.如权利要求13所述的方法，其特征在于，所述第一类别包含人物识别。
15.如权利要求13所述的方法，其特征在于，所述第一类别包含所跟随的目标。
16.如权利要求10所述的方法，其特征在于，所述监督程序以所述监督结果与相关的真实世界信息更新一种与所述识别神经网络程序有关联的默认数据集。
17.如权利要求16所述的方法，其特征在于，所述真实世界信息与所述第一影像数据与第二影像数据中的人物穿着有关联。
18.如权利要求16所述的方法，其特征在于，所述真实世界信息与所述第一影像数据与第二影像数据中的所述设施的基础物理结构有关联。
CN201880038567.4A 2018-11-15 2018-11-15 现场环境的实时监督式机器学习系统与方法 Active CN110945449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311196673.4A CN117234077A (zh) 2018-11-15 2018-11-15 自动导引车和训练自动导引车的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/115556 WO2020097837A1 (en) 2018-11-15 2018-11-15 System and method for real-time supervised machine learning in on-site environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311196673.4A Division CN117234077A (zh) 2018-11-15 2018-11-15 自动导引车和训练自动导引车的方法

Publications (2)

Publication Number Publication Date
CN110945449A CN110945449A (zh) 2020-03-31
CN110945449B true CN110945449B (zh) 2023-10-17

Family

ID=69905482

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311196673.4A Pending CN117234077A (zh) 2018-11-15 2018-11-15 自动导引车和训练自动导引车的方法
CN201880038567.4A Active CN110945449B (zh) 2018-11-15 2018-11-15 现场环境的实时监督式机器学习系统与方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311196673.4A Pending CN117234077A (zh) 2018-11-15 2018-11-15 自动导引车和训练自动导引车的方法

Country Status (3)

Country Link
US (2) US11092968B2 (zh)
CN (2) CN117234077A (zh)
WO (1) WO2020097837A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3774201A4 (en) * 2018-03-30 2021-12-22 Jabil Inc. DEVICE, SYSTEM AND METHOD FOR PROVIDING A STABILIZING DRIVE SYSTEM FOR A ROBOTIC VEHICLE
WO2020097837A1 (en) * 2018-11-15 2020-05-22 Lingdong Technology (Beijing) Co.Ltd System and method for real-time supervised machine learning in on-site environment
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
CN111507276B (zh) * 2020-04-20 2023-04-14 福建帝视信息科技有限公司 一种基于隐藏层增强特征的工地安全帽检测方法
CN116664582B (zh) * 2023-08-02 2023-10-27 四川公路桥梁建设集团有限公司 一种基于神经视觉网络的路面检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164673A (zh) * 2011-12-15 2013-06-19 英顺源（上海）科技有限公司 以无线射频辨识与影像辨识进行寻人的系统及其方法
CN106647758A (zh) * 2016-12-27 2017-05-10 深圳市盛世智能装备有限公司 一种目标物体检测方法、装置及自动引导车的跟随方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271514B (zh) * 2007-03-21 2012-10-10 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
TW200842733A (en) * 2007-04-17 2008-11-01 Univ Nat Chiao Tung Object image detection method
CN101800849A (zh) * 2009-02-10 2010-08-11 林文垣 具射频识别标签读取功能的网络摄影机及监控系统
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
CN103473558A (zh) 2013-09-04 2013-12-25 深圳先进技术研究院 基于神经网络的图像识别方法和系统
US9336483B1 (en) * 2015-04-03 2016-05-10 Pearson Education, Inc. Dynamically updated neural network structures for content distribution networks
CN104754311A (zh) 2015-04-28 2015-07-01 刘凌霞 计算机视觉对物体进行识别的装置及其系统
US9443192B1 (en) * 2015-08-30 2016-09-13 Jasmin Cosic Universal artificial intelligence engine for autonomous computing devices and software applications
US9892344B1 (en) * 2015-11-30 2018-02-13 A9.Com, Inc. Activation layers for deep learning networks
US9665799B1 (en) * 2016-01-29 2017-05-30 Fotonation Limited Convolutional neural network
CN105678278A (zh) * 2016-02-01 2016-06-15 国家电网公司 一种基于单隐层神经网络的场景识别方法
US9940544B2 (en) * 2016-06-08 2018-04-10 Adobe Systems Incorporated Event image curation
CN108009625B (zh) * 2016-11-01 2020-11-06 赛灵思公司 人工神经网络定点化后的微调方法和装置
CN108230291B (zh) * 2017-03-30 2020-09-29 北京市商汤科技开发有限公司 物体识别系统训练方法、物体识别方法、装置和电子设备
EP3622438A4 (en) * 2017-05-09 2021-03-10 Neurala, Inc. SYSTEMS AND METHODS FOR CONTINUOUS LEARNING LIMITED IN MEMORY IN CONTINUING APPLICATIONS OF ARTIFICIAL INTELLIGENCE AND DEEP LEARNING THROUGH NETWORKED COMPUTING EDGES
US10558864B2 (en) * 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
CN107330405A (zh) 2017-06-30 2017-11-07 上海海事大学 基于卷积神经网络的遥感图像飞机目标识别方法
GB2570433A (en) * 2017-09-25 2019-07-31 Nissan Motor Mfg Uk Ltd Machine vision system
JP6571741B2 (ja) * 2017-11-29 2019-09-04 ファナック株式会社 作業者管理装置
US11941719B2 (en) * 2018-01-23 2024-03-26 Nvidia Corporation Learning robotic tasks using one or more neural networks
US10346659B1 (en) * 2018-03-21 2019-07-09 Amazon Technologies, Inc. System for reading tags
CN108399398A (zh) 2018-03-22 2018-08-14 武汉云衡智能科技有限公司 一种基于深度学习的无人驾驶汽车障碍物识别检测方法
CN108445882B (zh) * 2018-03-26 2021-06-04 北京智山机器人科技有限责任公司 具有跟踪功能的自动导引车
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
WO2020097837A1 (en) * 2018-11-15 2020-05-22 Lingdong Technology (Beijing) Co.Ltd System and method for real-time supervised machine learning in on-site environment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164673A (zh) * 2011-12-15 2013-06-19 英顺源（上海）科技有限公司 以无线射频辨识与影像辨识进行寻人的系统及其方法
CN106647758A (zh) * 2016-12-27 2017-05-10 深圳市盛世智能装备有限公司 一种目标物体检测方法、装置及自动引导车的跟随方法

Also Published As

Publication number Publication date
WO2020097837A1 (en) 2020-05-22
US11682193B2 (en) 2023-06-20
US20210389775A1 (en) 2021-12-16
CN117234077A (zh) 2023-12-15
US20210072763A1 (en) 2021-03-11
CN110945449A (zh) 2020-03-31
US11092968B2 (en) 2021-08-17

Similar Documents

Publication Publication Date Title
CN110945449B (zh) 现场环境的实时监督式机器学习系统与方法
AU2019404207B2 (en) Collaborative autonomous ground vehicle
CA3101978C (en) Tracking vehicles in a warehouse environment
US11086328B2 (en) Autonomous cart for manufacturing and warehouse applications
Gandhi et al. Learning to fly by crashing
Guérin et al. Towards an autonomous warehouse inventory scheme
JP7178061B2 (ja) 人間相互作用無人搬送車
KR102018832B1 (ko) 자율주행 카트
US20200164517A1 (en) Systems and methods for robotic grasp verification
Walter et al. Closed-loop pallet manipulation in unstructured environments
Dönmez et al. Design of mobile robot control infrastructure based on decision trees and adaptive potential area methods
US20230211987A1 (en) Pathfinding using centerline heuristics for an autonomous mobile robot
CN112037259A (zh) 动态目标的跟踪系统及方法
Nogami et al. A stereo camera based static and moving obstacles detection on autonomous visual navigation of indoor transportation vehicle
Pooloo et al. Design of an AMR Using Image Processing and Deep Learning for Monitoring Safety Aspects in Warehouse
KR102619118B1 (ko) 작업자 선도형 스마트 이송 로봇
Poss Applications of Object Detection in Industrial Contexts Based on Logistics Robots
Jones et al. Tyro: A Mobile Inventory Pod for e-Commerce Services Check for updates
Natarajan et al. Vision-Guided Robot for Product Inspection
Göller et al. Robust navigation system based on RFID transponder barriers for the interactive behavior‐operated shopping trolley (InBOT)
US20240182283A1 (en) Systems and methods for material flow automation
Lee et al. Dual-sensor fusion for obstacle avoidance in indoor environment
Jones et al. Tyro: A Mobile Inventory Pod for e-Commerce Services
Lenz et al. Autonomous Wall-building and Firefighting: Team NimbRo’s UGV Solution for MBZIRC 2020
Kokkula et al. Cooperation of robots in manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant