CN115070789A - 一种多机器人智能控制交互平台 - Google Patents

一种多机器人智能控制交互平台 Download PDF

Info

Publication number
CN115070789A
CN115070789A CN202210650019.5A CN202210650019A CN115070789A CN 115070789 A CN115070789 A CN 115070789A CN 202210650019 A CN202210650019 A CN 202210650019A CN 115070789 A CN115070789 A CN 115070789A
Authority
CN
China
Prior art keywords
robot
robots
platform
map
intelligent control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210650019.5A
Other languages
English (en)
Inventor
林朗熙
李浩贤
方晋谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boge Technology Co ltd
Original Assignee
Boge Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boge Technology Co ltd filed Critical Boge Technology Co ltd
Priority to CN202210650019.5A priority Critical patent/CN115070789A/zh
Publication of CN115070789A publication Critical patent/CN115070789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/02—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using physical phenomena
    • A61L2/08—Radiation
    • A61L2/10—Ultraviolet radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/16—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using chemical substances
    • A61L2/22—Phase substances, e.g. smokes, aerosols or sprayed or atomised substances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/24—Apparatus using programmed or automatic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/14—Disinfection, sterilisation or deodorisation of air using sprayed or atomised substances including air-liquid contact processes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L9/00—Disinfection, sterilisation or deodorisation of air
    • A61L9/16—Disinfection, sterilisation or deodorisation of air using physical phenomena
    • A61L9/18—Radiation
    • A61L9/20—Ultraviolet radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2209/00—Aspects relating to disinfection, sterilisation or deodorisation of air
    • A61L2209/10—Apparatus features
    • A61L2209/11—Apparatus for controlling air treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Chemical & Material Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明属于机器人技术领域，具体提供了一种多机器人智能控制交互平台，包括：通用机器人任务控制平台，用于监控各机器人及外部设备的状态与位置，以联动控制外部设备及机器人的行为；多个外部设备，用于根据所述通用机器人任务控制平台的控制信号进行相应的行为；多个机器人，用于获取各所述机器人对应的现场图像信息，并根据所述通用机器人任务控制平台的控制信号进行相应的行为。该方案实现了不同机器人与不同外部设备间的快速通信与控制功能，且同时还能对不同品牌机器人进行操作与统一监控。通过通用机器人任务控制平台对所有机器人、外部设备进行监控，并进行统一联动控制，以实现远程复杂任务的自动化完成。

Description

一种多机器人智能控制交互平台
技术领域
本发明涉及机器人技术领域，更具体地，涉及一种多机器人智能控制交互平台。
背景技术
随着服务机器人技术的发展，不同品牌及功能的服务机器人已经广泛应用于各行各业，以协助人们的工作。尤其在近一两年，“无接触”一词已经成为服务行业的趋势，越来越多的服务领域，如旅馆、餐厅等，都有强烈意愿引入不同种类的服务机器人来提供更高质量的服务。
由于不同的服务机器人品牌会有不同的功能侧重，因此，用户通常会使用多个不同品牌的机器人完成既定的任务。在这种情况下，不同品牌的机器人需要与共用的公共设施，如自动门、升降机、电子锁等进行沟通，或者机器人之间亦需要进行沟通以协同完成任务。
然而，由于种种原因，市面上现有的机器人基本上都不开放自身的Linux核心访问，摄像头API，通讯连接API，而机器人自身的SDK也只有少数品牌非常有限地提供。而不同品牌的机器人通常具有不同的通信协议，大部分开发者亦不愿意开放开发接口去与其他品牌机器人进行集成开发。从另一方面来说，也并不是所有用户都具有机器人集成开发的能力。
除此之外，现时不同品牌的机器人都会在自身品牌自带的软件来进行一定程度的控制和显示其地图所在的位置，即使机器人都在同一场地内，但不同品牌的机器人软件都是无法知道其他品牌机器人的位置。用户日常使用的时候往往要在各自品牌的软件上进行控制和查看机器人的位置与状态。然而频繁的切换软件，对用户来说也是一种困扰，用户需要熟习多种品牌软件的用法，以及不能同时控制和查看各机器人的状态与位置。
发明内容
本发明针对现有技术中存在的不同品牌机器人之间通信不兼容的技术问题。
本发明提供了一种多机器人智能控制交互平台，包括：
通用机器人任务控制平台，用于监控各机器人及外部设备的状态与位置，以联动控制外部设备及机器人的行为；
多个外部设备，用于根据所述通用机器人任务控制平台的控制信号进行相应的行为；
多个机器人，用于获取各所述机器人对应的现场图像信息，并根据所述通用机器人任务控制平台的控制信号进行相应的行为。
优选地，所述外部设备包括自动门、升降机、电子锁及消毒设备。
优选地，各所述现场图像信息包括颜色、比例、分辨率及角度。
优选地，所述通用机器人任务控制平台根据各机器人的现场图像信息，自动计算每组地图间的变换矩阵，把有重覆盖区域的地图A及地图B中的中的重合位置进行配对，将各地图结合在一起，生成一组更大的拼合地图，并使用拼合地图功能同时监察不同机器人状态及位置，不同机器人亦可透过该功能使它们互相看见对方的位置和使它们于不同时间看见同一地点或地标。
优选地，所述通用机器人任务控制平台根据各机器人能于不同时间看见同一地点或地标，由此所有机器人最少可以只利用同一个摄像头轮流于不同时间进行地图描绘，便可成功合拼地图，不需要每个机器人都有一个摄像头，也不需要同时出发和同时开始描绘地图。
优选地，当机器人需要切换地图时或多个机器人需要互相合作时，所述通用机器人任务控制平台从所述拼合地图中提取信息并进行处理；与此同时，通过所述拼合地图的信息实现对多个品牌机器人进行监控。
优选地，所述机器人设有供消毒设备使用的接口，所述通用机器人任务控制平台控制所述机器人发出消毒控制信号，以控制消毒设备消毒。
优选地，所述拼合地图的形成过程具体包括：
第一步，测量作为观察者的机器人A与作为被观察者的机器人B之间的相对方位zb、相对距离zd及相对定向zo；
第二步，根据各相对值，计算机器人A和机器人B在各自的本地地图中到对方的位置和方向。
优选地，所述拼合地图的形成过程具体包括：
第一步，当机器人捕获图像Ia时，图像Ia利用基于NetVLAD的全局描述子与先前由其他机器人捕获的图像进行匹配；
第二步，计算得到上面匹配的两个图像之间的单应性矩阵H；
第三步，借助单应性矩阵H，第二次捕获同一地点的机器人A便知晓另一个机器人B在机器人A的地图中的位置和方位。
优选地，所述通用机器人任务控制平台与不同API进行集成，各所述机器人、外部设备之间通过各所述API直接使用接入平台的不同应用，以进行开发与应用。
优选地，所述通用机器人任务控制平台用于提供标准协议以点对点通信形式(Peer to Peer Network)让不同型号机器人以内建加密型式连网，实行同步协作。
优选地，所述通用机器人任务控制平台是一个对于所有机器人开箱即用的框架，无需使用机器人自身的Linux核心、无需使用机器人自身的摄像头、无要求机器人本身有通讯连接和上网功能如无线网路和蓝芽等。所有于实现时用到的计算机、摄像头和通讯设备都是外置于机器人身上并开箱即用。
有益效果：本发明提供的一种多机器人智能控制交互平台，包括：通用机器人任务控制平台，用于监控各机器人及外部设备的状态与位置，以联动控制外部设备及机器人的行为；多个外部设备，用于根据所述通用机器人任务控制平台的控制信号进行相应的行为；多个机器人，用于获取各所述机器人对应的现场图像信息，并根据所述通用机器人任务控制平台的控制信号进行相应的行为。该方案实现了不同机器人与不同外部设备间的快速通信与控制功能，且同时还能对不同品牌机器人进行操作与统一监控。通过通用机器人任务控制平台对所有机器人、外部设备进行监控，并进行统一联动控制，以实现远程复杂任务的自动化完成。
附图说明
图1为本发明提供的一种多机器人智能控制交互平台的原理框图；
图2为本发明提供的一种多机器人智能控制交互平台的地图拼接原理图；
图3为本发明提供的机器人的集合点的观察值示意图；
图4为本发明提供的机器人的相对距离计算示意图；
图5为本发明提供的机器人A和机器人B利用三个相对观测值构建的本地地图；
图6为本发明提供的机器人匹配图像示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种多机器人智能控制交互平台，包括：通用机器人任务控制平台，用于监控各机器人及外部设备的状态与位置，以联动控制外部设备及机器人的行为；多个外部设备，用于根据所述通用机器人任务控制平台的控制信号进行相应的行为；多个机器人，用于获取各所述机器人对应的现场图像信息，并根据所述通用机器人任务控制平台的控制信号进行相应的行为。该方案实现了不同机器人与不同外部设备间的快速通信与控制功能，且同时还能对不同品牌机器人进行操作与统一监控。通过通用机器人任务控制平台对所有机器人、外部设备进行监控，并进行统一联动控制，以实现远程复杂任务的自动化完成。
其中，通用机器人任务控制平台基于FOG(Cloud+EDGE)的智能管理。如图1所示，一个通用机器人任务控制平台，同时与n个外部设备及m个机器人进行通信连接。除了标准控制及开发接口，该通用机器人任务控制平台将作为机器人与外部设备，如自动门、升降机、电子锁、消毒设备等之间沟通桥梁，可采用不同的通信方式，如LoRa、WI-FI、以太网、USB、蓝牙等，完成设备间的沟通。
通过该平台，不同品牌的机器人与外设可以进行通信，以实现多机器人协作工作与共用外部设备。
该发明可以具体理解成一个统一的外部控制员，透过控制员本身对应不同机器人平台的接口，提供一个标准化界面予第三方用户及开发者。
除了标准控制及开发接口，该「多机器人智能控制平台」将作为机器人与外部设备，如自动门、升降机、电子锁、消毒设备等之间沟通桥梁，可采用不同的通信方式，如LoRa、WI-FI、以太网、USB、蓝牙等，完成设备间的沟通。
该多机器人智能控制交互平台由通用机器人任务控制平台及硬件信号收发设备两部分组成。硬件信号收发设备将分别安装在通用机器人任务控制平台上，用以接收及发出控制信号，之后，该控制信号将由通用机器人任务控制平台进行统一处理及传输。同时，通用机器人任务控制平台亦与不同API进行集成，机器人与外部设备之间可通过该平台直接使用接入平台的不同应用，以进行快速开发与应用。不同品牌机器人的状态信息和地图位置信息透过该平台进行整合，以实现多机器人的统一监控。
本方案提供了多品牌机器人、多外部设备协同作业的操作方法，亦可快速进行设备间的通信开发与应用，具有广泛的商业前景。基于个别机器人的有限扩展性，本方案扩阔了个别机器人与外部设备的互动，从而提升个别机器人的应用层面。
用户可以根据自身需求，选取最合适的机器人及外部设备，并采用该发明成果进行快速集成开发应用，既可以充分发挥不同机器人的优势，又可以最大限度的节省开发与调试成本，有利于服务机器人技术的进一步推广与优化。此外，还提供了多品牌机器人的统一监控功能，用户可以透过该平台，同时对多个不同品牌的机器人进行监控，既可以同时显示场地内各机器人的状态与位置，又可以节省学习各品牌软件的时间，有利于推广多品牌服务机器人的使用。
通用机器人任务控制平台、外部设备及机器人之间采用无线通信方式。由于不同的外部设备(例如：自动门、电梯、电子锁和消毒设备)和不同品牌的机器人不一定具有向其他设备发送数据或从其他设备接收数据的硬件能力，因此在外部设备上附加额外的模块，使那些本来不支持所需通信方式或彼此不兼容的设备和机器人进行通信。硬件部分为信号发送与接收设备，采用开源硬件平台，如RPi4等，集成有线通信模块，如GPIO，LAN，USB，RS232/485等，以及无线通信模块，如蓝牙，WiFi，LoRa，5G等，以完成信号发送与接收功能。如处理器模块，用于接收传感器的原始数据并通过通信模块向机器人发送数据，或接收机器人的命令并将数据发送给外部设备。
软件部分采用Node.JS，Mongo DB，MQTT，RESTFUL API及云端远程监控等开源资源，进行控制系统的开发，并集成入其他开源开发平台，支持第三方可视化编程工具的扩展，如Scratch、MakeCode等，完成机器人协作的群体智能开发，并透过以下三种通信模式与机器人和设备间进行通信：
1.点对点：数据在两个设备之间直接发送；
2.使用其中一个设备担当本地的中央管理服务器，如可把机器人担当该角色；
3.使用中央管理的云端服务器。
在一个具体的跨楼层任务应用场景中，用户可透过此控制平台下达指令给机器人，从一楼层运送物资到另一楼层，途中需经过自动门及使用升降机到另一楼层：
a.用户通过控制平台向机器人下达指令；
b.平台向机器人传送目标及指令；
c.机器人以自身导航系统定位导航，如途中遇到自动门、升降机等设备，控制平台会从机器人所回传的定位位置再寻找对应指令及通讯协定(如透过LoRa与自动门沟通或IP网络与升降机沟通)；
d.与外部设备沟通(打开自动门/发送信号到升降机及等候升降机回传信号等等)；
e.抵达目的地楼层及分析目的地范围是否涉及导入新地图作导航；
f.离开升降机并继续前往目的地。
多机器人进行协作，用户可透过控制平台同时下达命令给不同品牌型号机器人，并使用拼合地图功能同时监察不同机器人状态及位置。通用机器人任务控制平台亦可提供标准协议以点对点形式(Peer to Peer Network)让不同品牌型号机器人以内建加密型式连网，实行同步协作。
在另一个具体的实施场景中：
病毒肆虐社区，以消毒喷雾及UVC于社区消毒仍然是日常所需。一般机器人并没有相关消毒设备，甚至欠缺与消毒设备沟通的接口。本控制交互平台可提供消毒设备接口(蓝牙及USB)给机器人，提升机器人的消毒功能；另外亦可增设监控设备予机器人(一般机器人上的传感器只供系统分析及导航用)，从而令机器人可执行巡逻任务及提供监察影象予控制人员。
优选的方案，如图2所示，该控制交互平台也可针对不同品牌机器人进行统一监控。在实现地图统一化方面，平台透过读取各品牌机器人地图的图像进行计算转换，而这些图像可以是不同颜色、不同比例、分辨率和角度。平台内的算法会自动计算每组地图间的变换矩阵，把地图A中的各个位置与地图B中的位置进行配对，将两个地图结合在一起，生成一组更大的地图。透过这种方式，地图与地图之间一旦有重覆的区域，就可以把两者地图进行拼接，形成一个更大的地图。然而，这个组合而成的大地图只能充当地标和环境特征。从机器人的角度，机器人仍然只可以在它自身的地图内进行定位和活动。但它们的地图信息、环境信息和定位位置将可以透过该平台反映在大地图内。
每当机器人需要切换地图时(当它到达自身地图的边界时)或多个机器人需要互相合作时，将会从大地图即拼合地图中提取信息并进行处理。与此同时，通过大地图的信息可以实现对多个品牌机器人进行监控。而透过此种方式，机器人对自身环境的扫瞄，如事物、人和障碍物等信息也会上传到大地图中，从而实现整个场地环境之间的监控。
其中，多个本地地图之间的合并通常是基于机器人的集合点，而在这个集合点，机器人是会被发现在其他的机器人的图像中或由多个机器人之间识别相同场景的互环检测。地图合并得到拼合地图的方式有两种：第一种，利用机器人的集合点；第二种，利用视觉位置识别。
利用机器人的集合点进行地图合并的具体过程如下：
第一步，如图3所示，利用机器人的集合点需要有3个观察值：
相对方位(如观察者参考被观察者的方向)zb；
相对距离zd；
相对定向(如观察者参考被观察者的定向)zo。
(作为观察者的机器人A，作为被观察的机器人B)
当三个观察值同时组合在一起时，它们包含了所有需要的信息来定位机器人A在被机器人B的本地地图和定位机器人B在机器人A的本地地图中，从而将本地地图合并为更大的地图。
相机对上述3个的观察值进行测量：
首先，要测量相对方位(观察者参考被观察者的方向)，相机的水平视角、相机分辨率和一次图像捕获就足够了。而被观察的机器人必须在视线内；例如，如果相机分辨率为1920x1080(阔x高)，水平视角为90度：
机器人B中心在图像中心左侧的800像素处，即机器人B位于机器人A左边θ，而
Figure BDA0003685672890000101
其次，如图4所示，测量相对距离时，建议使用三角测量。这有两种实现方式，第一种方式，机器人A首先捕获被机器人B的方向(使用相对方位)，然后指引机器人B原地不动，继而移动到另一个位置，而机器人B在该位置形成不同的角度并且仍在视线内。如果该位置不能成功测量相对距离，机器人A只需去其他位置重试。最后，机器人A再次捕获机器人B的方向(使用相对方位)。而第二种方式就是使用立体相机，一次捕获机器人A和机器人B的方向以计算相对距离。当知道两个机器人的方向和机器人A从第一个位置移动到第二个位置的距离时，就可以使用三角测量计算相对距离。
最后，测量相对定向。与取得相对方位的方法一样，是透过交换两者机器人的角色，如，获得相对定位，机器人B现在捕获机器人A的方向。此外，相对定位必须与相对方位和相对距离在同一地点进行测量，以便将这3个测量值同时组合在一起进行地图合并。为了实现这一点，在机器人A完成相对距离测量的那一刻，即机器人A第二次成功捕获到机器人B的方向那一刻时，机器人A指示机器人B旋转，直到机器人A与机器人B互相看到对方。而旋转的度数则会被记录下来。最后，机器人B捕获机器人A的方向(使用相对方位)，使用简单的几何图形计算出相对定向。
第二步，如图5所示，一旦确定了三个相对观测值后，机器人A和机器人B就能够在各自的本地地图中确定到对方的位置和方向。图5便说明了他们各自在本地地图的情况。机器人A、机器人B和连接两个机器人的概念红线是两个机器人本地地图的相互信息。任何上述的相互信息都足以计算两个本地地图之间的坐标转换。
利用视觉位置识别进行地图合并以得到拼合地图的具体过程如下：
视觉位置识别是一种即使外观和视角有着明显变化的情况下也能识别到同一地点的能力。相机因具有高可用性且易于装载到大部份机器人，而用于捕获视觉数据。
第一步，匹配传入的新图像，假设机器人的车轮里程数据和惯性测量单元数据无法访问，机器人的相机会以固定的间隔捕获场景。当机器人捕获图像Ia时，图像Ia利用基于NetVLAD的全局描述子与先前由其他机器人捕获的图像进行匹配。NetVLAD使用神经网络从图像Ia计算向量Va。而透过此来寻找图像Ib，它的NetVLAD向量Vb具有与Va最短的L2范数，而此L2范数是小于一个阈值。为了减少可扩展部署的数据交换，匹配的查询只会发送到附近一定范围内的其他机器人。这是通过预先分配每个机器人到一个集群中心来实现的。集群中心定义了机器人运行的区域，而每个机器人都知道所有其他机器人的集群中心。
第二步，如图6所示，从上述两个匹配图像的结果得知，它们都在捕获相同的位置，因此可以透过以下步骤计算它们之间的单应性矩阵H：
Oriented FAST and Rotated BRIEF(ORB)用于检测局部特征，而这些特征就是两个匹配图像中的关键点和描述子。
蛮力匹配用于确定这两组局部特征的对应关系。在蛮力匹配的过程中，第一张图的第一个描述子与第二张图的所有描述子进行匹配，第一张图的第二个描述子与第二张图的所有描述子进行匹配，如此类推。
根据两个ORB抽述子之间的汉明距离对匹配进行排序。汉明距离越小，匹配的准确性越高。最后，只保留一定数量的顶级匹配。
至少需要4个特征对才能解开单应性，而从步骤三中得到的特征对通常足够有余。这些步骤三得到的特征对不会直接使用全部来解开单应性，而是迭代地透过随机抽样一致算法(RANSAC)把离群的特征抽出。
RANSAC循环：
随机选择4个特征对；
通过求解具有8个未知数的8个线性方程式来计算单应性矩阵H；
计算内点组，其中对于每个内点，通过单应性矩阵将图像Ia的关键点Pa转换为Pa’后，Pa’与图像Ib的关键点Pb之间的距离足够小。
保留最大的内点组；
在一定数量的RANSAC迭代后，通过使用奇异值分解(SVD)求解超定线性联立方程组得出的最大内点组重新计算单应性矩阵H的最小二乘估计。
最后，借助单应性矩阵H，第二次捕获同一地点的机器人A就知道了另一个机器人B在机器人A的地图中的位置和方位。同样地，机器人B也知道机器人A在机器人B地图中的位置和方位。
而这种地图合并的方式能最小化制作地图API的数量和最大化其兼容性。由于目前商业用机器人普遍都只提供很有限的API供开放使用。为了与不同品牌的机器人进行集成以完成整个地图合并的工作，开发一个需要使用最少的API和尽可能与不同品牌机器人兼容系统是很重要的。
而上述地图合并的方式，只需要用到2个制作地图API。
1.获取机器人在其当前地图中的当前位置和方向(x,y,θ)。
2.将机器人移动到其当前地图中的任意有效位置和方向(x,y,θ)。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种多机器人智能控制交互平台，其特征在于，包括：
通用机器人任务控制平台，用于监控各机器人及外部设备的状态与位置，以联动控制外部设备及机器人的行为；
多个外部设备，用于根据所述通用机器人任务控制平台的控制信号进行相应的行为；
多个机器人，用于获取各所述机器人对应的现场图像信息，并根据所述通用机器人任务控制平台的控制信号进行相应的行为。
2.根据权利要求1所述的多机器人智能控制交互平台，其特征在于，所述外部设备包括自动门、升降机、电子锁及消毒设备。
3.根据权利要求1所述的多机器人智能控制交互平台，其特征在于，各所述现场图像信息包括颜色、比例、分辨率及角度。
4.根据权利要求3所述的多机器人智能控制交互平台，其特征在于，所述通用机器人任务控制平台根据各机器人的现场图像信息，自动计算每组地图间的变换矩阵，把有重覆盖区域的地图A及地图B中的中的重合位置进行配对，将各地图结合在一起，生成一组更大的拼合地图，并使用拼合地图同时监察不同机器人状态及位置，不同机器人通过所述拼合地图互相看见对方的位置。
5.根据权利要求4所述的多机器人智能控制交互平台，其特征在于，各机器人通过所述通用机器人任务控制平台于不同时间看见同一地点或地标，由此所有机器人最少只利用一个摄像头轮流于不同时间进行地图描绘，便可生成所述拼合地图，不需要每个机器人都有一个摄像头，也不需要同时出发和同时开始描绘地图。
6.根据权利要求4所述的多机器人智能控制交互平台，其特征在于，当机器人需要切换地图时或多个机器人需要互相合作时，所述通用机器人任务控制平台从所述拼合地图中提取信息并进行处理；与此同时，通过所述拼合地图的信息实现对多个品牌机器人进行监控。
7.根据权利要求4所述的多机器人智能控制交互平台，其特征在于，所述拼合地图的形成过程具体包括：
第一步，测量作为观察者的机器人A与作为被观察者的机器人B之间的相对方位zb、相对距离zd及相对定向zo；
第二步，根据各相对值，计算机器人A和机器人B在各自的本地地图中到对方的位置和方向。
8.根据权利要求4所述的多机器人智能控制交互平台，其特征在于，所述拼合地图的形成过程具体包括：
第一步，当机器人捕获图像Ia时，图像Ia利用基于NetVLAD的全局描述子与先前由其他机器人捕获的图像进行匹配；
第二步，计算得到上面匹配的两个图像之间的单应性矩阵H；
第三步，借助单应性矩阵H，第二次捕获同一地点的机器人A便知晓另一个机器人B在机器人A的地图中的位置和方位。
9.根据权利要求1所述的多机器人智能控制交互平台，其特征在于，所述机器人设有供消毒设备使用的接口，所述通用机器人任务控制平台控制所述机器人发出消毒控制信号，以控制消毒设备消毒。
10.根据权利要求1所述的多机器人智能控制交互平台，其特征在于，所述通用机器人任务控制平台用于提供标准协议以点对点通信形式(Peer to Peer Network)让不同型号机器人以内建加密型式连网，实行同步协作。
CN202210650019.5A 2022-06-09 2022-06-09 一种多机器人智能控制交互平台 Pending CN115070789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210650019.5A CN115070789A (zh) 2022-06-09 2022-06-09 一种多机器人智能控制交互平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210650019.5A CN115070789A (zh) 2022-06-09 2022-06-09 一种多机器人智能控制交互平台

Publications (1)

Publication Number Publication Date
CN115070789A true CN115070789A (zh) 2022-09-20

Family

ID=83251469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210650019.5A Pending CN115070789A (zh) 2022-06-09 2022-06-09 一种多机器人智能控制交互平台

Country Status (1)

Country Link
CN (1) CN115070789A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914303A (zh) * 2012-10-11 2013-02-06 江苏科技大学 多移动机器人的智能空间系统及导航信息获取方法
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
US9026248B1 (en) * 2011-05-06 2015-05-05 Google Inc. Methods and systems for multirobotic management
CN105116785A (zh) * 2015-06-26 2015-12-02 北京航空航天大学 一种多平台远程机器人通用控制系统
CN108965791A (zh) * 2018-04-04 2018-12-07 广州高新兴机器人有限公司 一种通过机器人ar摄像头与物联网设备交互方法及系统
CN109719724A (zh) * 2018-12-29 2019-05-07 广东机电职业技术学院 一种工业机器人多机联动控制系统及控制方法
CN111192364A (zh) * 2020-01-09 2020-05-22 北京科技大学 一种低成本移动多机器人视觉同时定位和地图创建方法
CN111399432A (zh) * 2020-03-26 2020-07-10 上海有个机器人有限公司 机器人远程监控方法、智能设备、云服务器和监控系统
CN111435338A (zh) * 2019-01-14 2020-07-21 中国移动通信集团终端有限公司 多智能硬件统一管控方法、平台、系统、设备及存储介质
CN111512255A (zh) * 2017-07-20 2020-08-07 海普林奇科技公司 多设备机器人控制
CN111656138A (zh) * 2020-04-16 2020-09-11 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN111890389A (zh) * 2020-06-22 2020-11-06 东南大学 基于多模态交互接口的多移动机器人协同控制系统
CN112346959A (zh) * 2019-08-08 2021-02-09 北京大学 一种虚实结合的多机器人应用测试平台及测试方法
CN113037616A (zh) * 2021-03-31 2021-06-25 中国工商银行股份有限公司 用于协同控制多台机器人的交互方法和装置
CN113885404A (zh) * 2021-10-29 2022-01-04 同济大学 一种基于通用接口的多机器人协同控制系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9026248B1 (en) * 2011-05-06 2015-05-05 Google Inc. Methods and systems for multirobotic management
CN102914303A (zh) * 2012-10-11 2013-02-06 江苏科技大学 多移动机器人的智能空间系统及导航信息获取方法
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN105116785A (zh) * 2015-06-26 2015-12-02 北京航空航天大学 一种多平台远程机器人通用控制系统
CN111512255A (zh) * 2017-07-20 2020-08-07 海普林奇科技公司 多设备机器人控制
CN108965791A (zh) * 2018-04-04 2018-12-07 广州高新兴机器人有限公司 一种通过机器人ar摄像头与物联网设备交互方法及系统
CN109719724A (zh) * 2018-12-29 2019-05-07 广东机电职业技术学院 一种工业机器人多机联动控制系统及控制方法
CN111435338A (zh) * 2019-01-14 2020-07-21 中国移动通信集团终端有限公司 多智能硬件统一管控方法、平台、系统、设备及存储介质
CN112346959A (zh) * 2019-08-08 2021-02-09 北京大学 一种虚实结合的多机器人应用测试平台及测试方法
CN111192364A (zh) * 2020-01-09 2020-05-22 北京科技大学 一种低成本移动多机器人视觉同时定位和地图创建方法
CN111399432A (zh) * 2020-03-26 2020-07-10 上海有个机器人有限公司 机器人远程监控方法、智能设备、云服务器和监控系统
CN111656138A (zh) * 2020-04-16 2020-09-11 珊口（上海）智能科技有限公司 构建地图及定位方法、客户端、移动机器人及存储介质
CN111890389A (zh) * 2020-06-22 2020-11-06 东南大学 基于多模态交互接口的多移动机器人协同控制系统
CN113037616A (zh) * 2021-03-31 2021-06-25 中国工商银行股份有限公司 用于协同控制多台机器人的交互方法和装置
CN113885404A (zh) * 2021-10-29 2022-01-04 同济大学 一种基于通用接口的多机器人协同控制系统

Similar Documents

Publication Publication Date Title
US11194938B2 (en) Methods and apparatus for persistent location based digital content
US8396254B1 (en) Methods and systems for estimating a location of a robot
EP2988210B1 (en) Gesture control method, apparatus and system
Guan et al. Vision-based indoor localization approach based on SURF and landmark
Naderiparizi et al. Self-localizing battery-free cameras
Ye et al. 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
US20220101601A1 (en) System and method of scanning an environment and generating two dimensional images of the environment
JP6927937B2 (ja) 三次元骨格表現を生成するためのシステム及び方法
JP7166446B2 (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
US20240127503A1 (en) Methods and apparatus for secure persistent location based digital content associated with a two-dimensional reference
Hile et al. Information overlay for camera phones in indoor environments
US11366450B2 (en) Robot localization in a workspace via detection of a datum
Li et al. An improved graph-based visual localization system for indoor mobile robot using newly designed markers
Rasch et al. Tidy up my room: Multi-agent cooperation for service tasks in smart environments
Shewail et al. Survey of indoor tracking systems using augmented reality
CN106203252A (zh) 借助相机查明机器人轴角度并选出机器人
CN111630346B (zh) 基于图像和无线电词语的移动设备的改进定位
CN115070789A (zh) 一种多机器人智能控制交互平台
CN115112123A (zh) 基于视觉-imu融合的多移动机器人协同定位方法及系统
US9251562B1 (en) Registration of low contrast images
US11740638B2 (en) Method for generating an area map for an automatically moving floor processing device, and system comprised of two automatically moving floor processing devices
CN114185059A (zh) 基于多雷达融合的多人跟踪系统、方法、介质、终端
Strecker et al. MR Object Identification and Interaction: Fusing Object Situation Information from Heterogeneous Sources
Lanser et al. MORAL—A vision-based object recognition system for autonomous mobile systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination