CN110598783A - 基于分布式移动机器人系统的视觉一致性方法 - Google Patents

基于分布式移动机器人系统的视觉一致性方法 Download PDF

Info

Publication number
CN110598783A
CN110598783A CN201910856279.6A CN201910856279A CN110598783A CN 110598783 A CN110598783 A CN 110598783A CN 201910856279 A CN201910856279 A CN 201910856279A CN 110598783 A CN110598783 A CN 110598783A
Authority
CN
China
Prior art keywords
robot
center
robots
sensor
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910856279.6A
Other languages
English (en)
Inventor
秦家虎
陈宇航
余雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910856279.6A priority Critical patent/CN110598783A/zh
Publication of CN110598783A publication Critical patent/CN110598783A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种基于分布式移动机器人系统的视觉一致性方法，包括：步骤A：分布式移动机器人系统建立通信；步骤B：分别对每个机器人捕捉的图像进行特征提取，并构造对应的特征描述子；步骤C：相邻机器人间进行实时通信，并对各个机器人对应的特征描述子进行匹配；过滤匹配结果，得到参考输入视野中心；步骤D：根据相邻机器人的通信，重新计算视野中心；步骤E：根据机器人系统的拓扑结构和参考输入视野中心，得到控制输入；步骤F：判断是否达到视觉一致，如果为是则结束进程；如果为否，返回重新执行步骤C。本公开充分利用了视觉传感器的性能，在达到视觉一致性的过程中，无需先验地指定将要收敛的目标，极大地减少了人工干预的工作量。

Description

基于分布式移动机器人系统的视觉一致性方法
技术领域
本公开涉及机器人实时监测和巡检领域，尤其涉及一种基于分布式移动机器人系统的视觉一致性方法。
背景技术
一致性控制的研究一直是计算机科学和分布式计算的热点之一，其研究历史可以追溯到二十世纪六十年代。2003年后被应用到多机器人系统的控制问题中，特别是在多机编队，多传感器网络系统，拥塞控制，协同检测等领域，取得了许多重要的研究成果。
一致性问题一般针对的是分布式系统，即每个机器人只依赖自身的状态信息和邻居机器人的状态信息，通过信息交互来设计自身的控制策略，达到某种状态的一致性。一般机器人互相传递的信息包括相对位置信息、传感器信息、目标信息和速度加速度信息等。随着近些年来多传感器系统的迅速发展，越来越多的研究者将目光投向如何充分利用这些传感器的性能上，尤其在计算机视觉和图像处理领域一直是人们的研究热点。
但是目前在执行这些任务的过程中，大多需要人工干预，如监控系统的总控室需要人工24小时观测来确定是否有可疑入侵物，无人机巡检或者军事巡逻也需要人工来观测并确定待观测入侵目标。这样不仅对人的工作量要求很大，而且当出现嫌疑入侵者时也很难调动其他摄像头进行实时跟踪。
发明内容
(一)要解决的技术问题
本公开提供了一种基于分布式移动机器人系统的视觉一致性方法，以至少部分解决以上所提出的技术问题。
(二)技术方案
根据本公开的一个方面，提供了一种基于分布式移动机器人系统的视觉一致性方法，包括：
步骤A：分布式移动机器人系统建立通信，所述分布式移动机器人系统包括n个机器人，每个机器人分别对应一个视觉传感器进行图像捕捉；其中，R1，R2，...，Rn为n个机器人，I1，I2，...，In为每个机器人对应传感器捕捉的图像；
步骤B：分别对步骤A中每个机器人捕捉的图像进行特征提取，并构造对应的特征描述子，其中，机器人Ri对应传感器捕捉的图像Ii进行特征提取得到多个关键点，多个关键点所构成的集合为kpi，则机器人Ri对应传感器捕捉的图像Ii对应的特征描述子为desi；
步骤C：相邻机器人间进行实时通信，并对各个机器人对应的特征描述子进行匹配；过滤匹配结果，得到参考输入视野中心centerij；
步骤D：初始化centeri为每个机器人的视野中心；根据相邻机器人的通信，重新计算视野中心centeri′；
步骤E：根据机器人系统的拓扑结构和步骤C得到的参考输入视野中心centerij，得到控制输入；
步骤F：判断是否达到视觉一致，如果为是则结束进程；如果为否，返回重新执行步骤C。
在本公开的一些实施例中，所述步骤C包括：
子步骤C1：机器人Ri对应传感器捕捉的图像Ii根据拓扑结构与相邻节点的机器人Rj对应传感器捕捉的图像Ij进行实时通信；
子步骤C2：分别计算机器人Ri对应传感器捕捉的图像Ii的特征描述子集合desi中的每个特征描述子与机器人Rj对应传感器捕捉的图像Ij的特征描述子集合desj中的每个特征描述子的欧式距离，选择k个欧式距离最近的特征描述子，作为匹配结果matchij；
子步骤C3：重复子步骤C1至子步骤C2，得到n个机器人的多个匹配结果；
子步骤C4：根据过滤条件，对多个匹配结果进行过滤，得到参考输入视野中心centerij。
在本公开的一些实施例中，所述子步骤C4中所述过滤条件为匹配结果的最优值不大于α倍的次优值，且匹配结果的最优值不大于预先设定的阈值β，其中k＝2；α、B为参数。
在本公开的一些实施例中，所述步骤D中重新计算视野中心centeri′包括：
子步骤D1：根据分布式机器人系统的拓扑结构确定bij；当机器人Ri与机器人Rj建立通信，且机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij能够根据步骤C进行匹配时，bij＝1；当机器人Ri与机器人Rj未建立通信，或机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij不能够根据步骤C进行匹配时，bij＝0；
子步骤D2：计算参考输入视野中心centerij；
子步骤D3：重新计算视野中心centeri′，
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数，centerij为参考输入视野中心。
在本公开的一些实施例中，所述子步骤D2包括：
子分步骤D21：从匹配结果matchij中还原出匹配部分对应的关键点，记为data；
子分步骤D22：将匹配部分按照关联性分成若干类；
子分步骤D23：取含特征点最多的聚类，并将其聚类中心作为参考控制输入，即为centerij。
在本公开的一些实施例中，所述步骤E中根据机器人系统的拓扑结构和步骤C得到的输入视野中心centeri，计算控制输入包括：
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数，centeri为输入视野中心。
在本公开的一些实施例中，所述子分步骤D22中的分类方法为KMeans聚类法。
在本公开的一些实施例中，所述步骤A中，分布式移动机器人系统的拓扑结构为树形拓扑结构。
在本公开的一些实施例中，所述分布式移动机器人系统的拓扑结构中每个机器人作为一个节点，两个机器人间的通信为可逆和/或不可逆。
(三)有益效果
从上述技术方案可以看出，本公开基于分布式移动机器人系统的视觉一致性方法至少具有以下有益效果其中之一或其中一部分：
(1)本发明提供的视觉一致性方法充分利用了视觉传感器的性能，在达到视觉一致性的过程中，无需先验地指定将要收敛的目标，极大地减少了人工干预的工作量。
(2)本公开使用特征描述子来比较特征，使用聚类法来选择聚焦中心，极大地减少了计算量，更具实时性。
附图说明
图1为本公开实施例基于分布式移动机器人系统的视觉一致性方法的示意图。
图2为本公开实施例MATLAB仿真结果图。
图3a至图3d为本公开实施例V-REP仿真结果图。
具体实施方式
本公开提供了一种基于分布式移动机器人系统的视觉一致性方法，包括：步骤A：分布式移动机器人系统建立通信，所述分布式移动机器人系统包括n个机器人，每个机器人分别对应一个视觉传感器进行图像捕捉；其中，R1，R2，...，Rn为n个机器人，I1，I2，...，In为每个机器人对应传感器捕捉的图像；步骤B：分别对步骤A中每个机器人捕捉的图像进行特征提取，并构造对应的特征描述子；步骤C：相邻机器人间进行实时通信，并对各个机器人对应的特征描述子进行匹配；过滤匹配结果，得到参考输入视野中心centerij；步骤D：初始化每个机器人的视野中心为centeri；根据相邻机器人的通信，重新计算视野中心centeri′；步骤E：根据机器人系统的拓扑结构和步骤C得到的参考输入视野中心centerij，得到控制输入；步骤F：判断是否达到视觉一致，如果为是则结束进程；如果为否，返回重新执行步骤C。本发明提供的视觉一致性方法充分利用了视觉传感器的性能，在达到视觉一致性的过程中，无需先验地指定将要收敛的目标，极大地减少了人工干预的工作量。
在描述问题的解决方案之前，先定义一些特定词汇是有帮助的。
本文所述的「一致性」，通常是指一组机器人通过和邻居机器人进行信息交互，改变自己的控制输入，从而在某些状态上达到一致的过程。
本文所述的「特征检测」，是计算机视觉和图像处理中的一个概念，特征检测通常是指提取出图像中人们所感兴趣和关心的部分，包括点，线或者某些区域。
本文所述的「图像匹配」，是计算机视觉和图像处理中的一个概念，一般是指找到一种或多种变换，将从不同视角或传感器拍摄的同一场景达成某种空间内的一致，常用来提取不同图像的公共对象。
本文所述的「关键点」，是图像中所提取出的人们感兴趣的点。
本文所述的「特征描述子」，是通过选取关键点周围的区域，构建描述这些区域部分特征的描述符，以便比较在光照，旋转角度等不同环境下不同特征的差异。
本文所述的「视觉一致性」，是通过不同机器人之间的信息交互，调整自身的位置和姿态，使得所有机器人能够自发地聚焦在同一场景或某些特定物体上。
本文所述的「有向生成树」，当一个有向图，除了一个根节点之外的每个节点都有且只有一个父节。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。
在本公开的第一个示例性实施例中，提供了一种基于分布式移动机器人系统的视觉一致性方法。图1为本公开实施例基于分布式移动机器人系统的视觉一致性方法的示意图。如图1所示，本公开基于分布式移动机器人系统的视觉一致性方法包括：
步骤A：分布式移动机器人系统建立通信，所述分布式移动机器人系统包括n个机器人，每个机器人分别对应一个视觉传感器进行图像捕捉；其中，R1，R2，...，Rn为n个机器人，I1，I2，...，In为每个机器人对应传感器捕捉的图像。具体的，本公开提供的器人系统的拓扑结构为树形拓扑结构。此外，分布式移动机器人系统的拓扑结构中每个机器人作为一个节点，两个机器人间的通信为可逆和/或不可逆，本领域技术人员应该理解的是，按照树形拓扑结构建立通信，即将每个机器人视作一个节点，若两个机器人之间存在通信，则这两个节点之间存在一条边。这里需要说明的是在本公开中，并不要求机器人之间的通信是可逆的，即机器人A可以接收到机器人B的消息并不意味着机器人B可以收到机器人A的消息。利用树形拓扑结构进行通信，除了领航者每个节点只需与邻居节点进行通信即可而无需得知全局信息，减少了通信损耗。在机器人移动过程中，每个机器人利用机载传感器设备获得当前的位置信息和周边环境信息。
步骤B：分别对步骤A中每个机器人捕捉的图像进行特征提取，并构造对应的特征描述子，其中，机器人Ri对应传感器捕捉的图像Ii进行特征提取得到多个关键点，多个关键点所构成的集合为kpi，则机器人Ri对应传感器捕捉的图像Ii对应的特征描述子为desi。
步骤C：相邻机器人间进行实时通信，并对各个机器人对应的特征描述子进行匹配；过滤匹配结果，得到参考输入视野中心centerij。具体的，所述步骤C包括：
子步骤C1：机器人Ri对应传感器捕捉的图像Ii根据拓扑结构与相邻节点的机器人Rj对应传感器捕捉的图像Ij进行实时通信；
子步骤C2：分别计算机器人Ri对应传感器捕捉的图像Ii的特征描述子集合desi中的每个特征描述子与机器人Rj对应传感器捕捉的图像Ij的特征描述子集合desj中的每个特征描述子的欧式距离，选择k个欧式距离最近的特征描述子，作为匹配结果matchij。
子步骤C3：重复子步骤C1至子步骤C2，得到n个机器人的多个匹配结果。
子步骤C4：根据过滤条件，对多个匹配结果进行过滤，得到参考输入视野中心centerij。其中，所述子步骤C4中所述过滤条件为匹配结果的最优值不大于α倍的次优值，且匹配结果的最优值不大于预先设定的阈值β，其中k＝2。
步骤D：初始化centeri为每个机器人的视野中心；根据相邻机器人的通信，重新计算视野中心centeri′。具体的，所述步骤D中重新计算视野中心centeri′包括：
子步骤D1：根据分布式机器人系统的拓扑结构确定bij；当机器人Ri与机器人Rj建立通信，且机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij能够根据步骤C进行匹配时，bij＝1；当机器人Ri与机器人Rj未建立通信，或机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij不能够根据步骤C进行匹配时，bij＝0。
子步骤D2：计算参考输入视野中心centerij。其中，所述子步骤D2包括：
子分步骤D21：从匹配结果matchij中还原出匹配部分对应的关键点，记为data。
子分步骤D22：根据KMeans聚类法，将匹配部分按照关联性分成若干类。本领域技术人员应该理解的是，KMeans聚类法是是一种迭代求解的聚类分析方法，具体包括随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。。
子分步骤D23：取含特征点最多的聚类，并将其聚类中心作为参考控制输入，即为centerij。
子步骤D3：重新计算视野中心centeri′，
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数，centerij为参考控制输入视野中心。
步骤E：根据机器人系统的拓扑结构和步骤C得到的输入视野中心centeri，得到控制输入。具体的，所述步骤E中根据机器人系统的拓扑结构和步骤C得到的输入视野中心centeri，计算控制输入包括：
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数；centeri为输入视野中心。
步骤F：判断是否达到视觉一致，如果为是则结束进程；如果为否，返回重新执行步骤C。
实验内容与结果
本部分的仿真实验平台为V-REP(virtual robot experimentation platform)，基于ROS(Robot Operating System)系统完成。V-REP是一个可移植和灵活的仿真框架，允许直接结合各种控制技术。ROS是一个开源操作系统，它在异构计算集群的主机操作系统之上提供了一个结构化的通信层，特别适用于分布式移动机器人系统。我们在V-REP下构建了一个包含若干个移动机器人的场景，每个机器人对应于ROS下的一个节点。ROS系统下所有节点通过发布和订阅话题来进行通信。V-REP下发布我们所需要的信息，并在ROS下的话题回调函数中处理，之后将回调函数的输出作为V-REP下机器人的控制输入。
实验结果分为两部分，子步骤C4中的取值为α＝0.92，β＝360.0。第一部分的实验并没有真正控制机器人，主要用于验证方法的收敛性。为了简化模型，我们默认所有能进行互相通信的机器人在视野上存在一定的共同区域。图2为本公开实施例MATLAB仿真结果图。如图2所示，从实验结果图中我们可以看出，本公开提供的基于分布式移动机器人系统的视觉一致性方法使得所有机器人均可在和邻居机器人的通信过程中逐渐收敛到相同的状态，如R2→R3，R4→R3，R5→R1。事实上，只要机器人间的通信拓扑存在有向生成树，所有机器人的状态最终就能收敛到相同的状态。
在第二部分的实验，我们控制五个移动机器人(包括两个四旋翼飞行器和三个轮式机器人)。图3a至图3d为本公开实施例V-REP仿真结果图。如图3a至图3d所示，在实验开始时机器人之间虽然存在部分相同的视野，但是并没有某个区域是所有机器人所共有的，随着实验的进行，所有机器人都逐渐聚焦到相同的区域(摩托车和行人)。从而证明本公开提供的基于分布式移动机器人系统的视觉一致性方法是确实有效的。
至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
依据以上描述，本领域技术人员应当对本公开基于分布式移动机器人系统的视觉一致性方法有了清楚的认识。
综上所述，本公开提供一种基于分布式移动机器人系统的视觉一致性方法充分利用了视觉传感器的性能，在达到视觉一致性的过程中，无需先验地指定将要收敛的目标，极大地减少了人工干预的工作量。
还需要说明的是，实施例中提到的单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。
说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意味着该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能做出清楚区分。
此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的启示一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。
本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于分布式移动机器人系统的视觉一致性方法，其中，包括：
步骤A：分布式移动机器人系统建立通信，所述分布式移动机器人系统包括n个机器人，每个机器人分别对应一个视觉传感器进行图像捕捉；其中，R1，R2，...，Rn为n个机器人，I1，I2，...，In为每个机器人对应传感器捕捉的图像；
步骤B：分别对步骤A中每个机器人捕捉的图像进行特征提取，并构造对应的特征描述子，其中，机器人Ri对应传感器捕捉的图像Ii进行特征提取得到多个关键点，多个关键点所构成的集合为kpi，则机器人Ri对应传感器捕捉的图像Ii对应的特征描述子为desi；
步骤C：相邻机器人间进行实时通信，并对各个机器人对应的特征描述子进行匹配；过滤匹配结果，得到参考输入视野中心centerij；
步骤D：初始化centeri为每个机器人的视野中心；根据相邻机器人的通信，重新计算视野中心centeri′；
步骤E：根据机器人系统的拓扑结构和步骤C得到的参考输入视野中心centerij，得到控制输入；
步骤F：判断是否达到视觉一致，如果为是则结束进程；如果为否，返回重新执行步骤C。
2.根据权利要求1所述的视觉一致性方法，其中，所述步骤C包括：
子步骤C1：机器人Ri对应传感器捕捉的图像Ii根据拓扑结构与相邻节点的机器人Rj对应传感器捕捉的图像Ij进行实时通信；
子步骤C2：分别计算机器人Ri对应传感器捕捉的图像Ii的特征描述子集合desi中的每个特征描述子与机器人Rj对应传感器捕捉的图像Ij的特征描述子集合desj中的每个特征描述子的欧式距离，选择k个欧式距离最近的特征描述子，作为匹配结果matchij；
子步骤C3：重复子步骤C1至子步骤C2，得到n个机器人的多个匹配结果；
子步骤C4：根据过滤条件，对多个匹配结果进行过滤，得到参考输入视野中心centerij。
3.根据权利要求2所述的视觉一致性方法，其中，所述子步骤C4中所述过滤条件为匹配结果的最优值不大于α倍的次优值，且匹配结果的最优值不大于预先设定的阈值β，其中k＝2；α、β为参数。
4.根据权利要求1所述的视觉一致性方法，其中，所述步骤D中重新计算视野中心centeri′包括：
子步骤D1：根据分布式机器人系统的拓扑结构确定bij；当机器人Ri与机器人Rj建立通信，且机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij能够根据步骤C进行匹配时，bij＝1；当机器人Ri与机器人Rj未建立通信，或机器人Ri对应传感器捕捉的图像Ii和机器人Rj对应传感器捕捉的图像Ij不能够根据步骤C进行匹配时，bij＝0；
子步骤D2：计算参考输入视野中心centerij；
子步骤D3：重新计算视野中心centeri′，
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数，centerij为参考输入视野中心。
5.根据权利要求4所述的视觉一致性方法，其中，所述子步骤D2包括：
子分步骤D21：从匹配结果matchij中还原出匹配部分对应的关键点，记为data；
子分步骤D22：将匹配部分按照关联性分成若干类；
子分步骤D23：取含特征点最多的聚类，并将其聚类中心作为参考控制输入，即为centerij。
6.根据权利要求1所述的视觉一致性方法，其中，所述步骤E中根据机器人系统的拓扑结构和步骤C得到的输入视野中心centeri，计算控制输入包括：
其中，n为机器人个数，i、j为机器人编号，bij为和拓扑结构相关的系数，centeri为输入视野中心。
7.根据权利要求5所述的视觉一致性方法，其中，所述子分步骤D22中的分类方法为KMeans聚类法。
8.根据权利要求1所述的视觉一致性方法，其中，所述步骤A中，分布式移动机器人系统的拓扑结构为树形拓扑结构。
9.根据权利要求1所述的视觉一致性方法，其中，所述分布式移动机器人系统的拓扑结构中每个机器人作为一个节点，两个机器人间的通信为可逆和/或不可逆。
CN201910856279.6A 2019-09-10 2019-09-10 基于分布式移动机器人系统的视觉一致性方法 Pending CN110598783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910856279.6A CN110598783A (zh) 2019-09-10 2019-09-10 基于分布式移动机器人系统的视觉一致性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910856279.6A CN110598783A (zh) 2019-09-10 2019-09-10 基于分布式移动机器人系统的视觉一致性方法

Publications (1)

Publication Number Publication Date
CN110598783A true CN110598783A (zh) 2019-12-20

Family

ID=68858634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910856279.6A Pending CN110598783A (zh) 2019-09-10 2019-09-10 基于分布式移动机器人系统的视觉一致性方法

Country Status (1)

Country Link
CN (1) CN110598783A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474866A (zh) * 2020-04-07 2020-07-31 杭州迅蚁网络科技有限公司 基于ros的无人仓储站运动控制仿真方法及系统
CN111614741A (zh) * 2020-05-11 2020-09-01 西北工业大学 一种基于ros系统的多机器人通讯方法及装置
CN113420468A (zh) * 2021-08-24 2021-09-21 中电烽友信息技术(武汉)有限公司 一种基于通用黑板的数据写入冲突处理方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588480A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 一种多智能体视觉伺服协调控制方法
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
CN103761721A (zh) * 2013-12-30 2014-04-30 西北工业大学 一种适用于空间绳系机器人的立体视觉快速图像拼接方法
CN107992881A (zh) * 2017-11-13 2018-05-04 广州中国科学院先进技术研究所 一种机器人动态抓取方法及系统
US20190019030A1 (en) * 2017-07-14 2019-01-17 Mitsubishi Electric Research Laboratories, Inc Imaging system and method for object detection and localization
CN109299750A (zh) * 2018-11-20 2019-02-01 中国科学技术大学 分布式模糊c均值数据聚类方法
CN109903338A (zh) * 2019-03-14 2019-06-18 中国计量大学 一种基于改进orb算法的移动机器人定位方法
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588480A (zh) * 2009-05-27 2009-11-25 北京航空航天大学 一种多智能体视觉伺服协调控制方法
US20120121161A1 (en) * 2010-09-24 2012-05-17 Evolution Robotics, Inc. Systems and methods for vslam optimization
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
CN103761721A (zh) * 2013-12-30 2014-04-30 西北工业大学 一种适用于空间绳系机器人的立体视觉快速图像拼接方法
US20190019030A1 (en) * 2017-07-14 2019-01-17 Mitsubishi Electric Research Laboratories, Inc Imaging system and method for object detection and localization
CN107992881A (zh) * 2017-11-13 2018-05-04 广州中国科学院先进技术研究所 一种机器人动态抓取方法及系统
CN109299750A (zh) * 2018-11-20 2019-02-01 中国科学技术大学 分布式模糊c均值数据聚类方法
CN109977813A (zh) * 2019-03-13 2019-07-05 山东沐点智能科技有限公司 一种基于深度学习框架的巡检机器人目标定位方法
CN109903338A (zh) * 2019-03-14 2019-06-18 中国计量大学 一种基于改进orb算法的移动机器人定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGYU HE等: "Distributed Control for Multirobot Systems with Collision-Free Motion Coordination", 《2017 10TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN (ISCID)》 *
张凯祥: "基于多视图几何的视觉伺服控制", 《中国博士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474866A (zh) * 2020-04-07 2020-07-31 杭州迅蚁网络科技有限公司 基于ros的无人仓储站运动控制仿真方法及系统
CN111474866B (zh) * 2020-04-07 2023-11-10 杭州迅蚁网络科技有限公司 基于ros的无人仓储站运动控制仿真方法及系统
CN111614741A (zh) * 2020-05-11 2020-09-01 西北工业大学 一种基于ros系统的多机器人通讯方法及装置
CN113420468A (zh) * 2021-08-24 2021-09-21 中电烽友信息技术(武汉)有限公司 一种基于通用黑板的数据写入冲突处理方法和系统

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN110598783A (zh) 基于分布式移动机器人系统的视觉一致性方法
CN111639663B (zh) 多传感器数据融合的方法
WO2022017131A1 (zh) 点云数据的处理方法、智能行驶控制方法及装置
Wang et al. Pointloc: Deep pose regressor for lidar point cloud localization
Alnaggar et al. Multi projection fusion for real-time semantic segmentation of 3d lidar point clouds
CN111797983A (zh) 一种神经网络构建方法以及装置
CN110969648B (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN111457923B (zh) 路径规划方法、装置及存储介质
JP7138361B2 (ja) ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
CN115358413A (zh) 一种点云多任务模型的训练方法、装置及电子设备
CN114037882A (zh) 边缘人工智能装置、电子装置及其方法
WO2019175532A1 (en) Urban environment labelling
CN114898313A (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
KR102210404B1 (ko) 위치 정보 추출 장치 및 방법
Wodziński et al. Sequential classification of palm gestures based on A* algorithm and MLP neural network for quadrocopter control
CN114397887B (zh) 一种基于三层基因调控网络的群体机器人聚合控制方法
KR20180112374A (ko) 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치
CN112288809A (zh) 一种用于多物体复杂场景的机器人抓取检测方法
WO2023178931A1 (zh) 运动规划方法、装置及机器人
US20230080638A1 (en) Systems and methods for self-supervised learning of camera intrinsic parameters from a sequence of images
CN115760930A (zh) 基于多摄像头的水面目标跟踪方法、装置、计算机设备及存储介质
CN115097935A (zh) 一种手部定位方法和vr设备
Xin et al. A monocular visual measurement system for UAV probe-and-drogue autonomous aerial refueling
JPH07146121A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191220

WD01 Invention patent application deemed withdrawn after publication