CN116985149B - 一种可支持tsn网络技术的机器人边缘控制系统 - Google Patents
一种可支持tsn网络技术的机器人边缘控制系统 Download PDFInfo
- Publication number
- CN116985149B CN116985149B CN202311264271.3A CN202311264271A CN116985149B CN 116985149 B CN116985149 B CN 116985149B CN 202311264271 A CN202311264271 A CN 202311264271A CN 116985149 B CN116985149 B CN 116985149B
- Authority
- CN
- China
- Prior art keywords
- robot
- module
- tsn
- data
- tsn switch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 81
- 230000008447 perception Effects 0.000 claims abstract description 59
- 230000006855 networking Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 150000001875 compounds Chemical class 0.000 description 5
- 239000012636 effector Substances 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种可支持TSN网络技术的机器人边缘控制系统,包括边缘控制器以及工作于同一场景下的多个机器人;其中,各机器人自带的机器人控制器、驱动模块、传感器模块及无线通信模块通过机器人内部的TSN交换机模块组网连接形成TSN网络,各机器人还通过边缘控制器侧的TSN交换机模块与边缘控制器进行组网连接;该边缘控制器用于接收各机器人的驱动模块的运动数据以及传感器数据,并基于这些数据获取整个场景对应的场景感知数据,而后基于该场景感知数据获取每个机器人对应的目标感知数据。本发明能够在机器人本体内部多通信总线共存时减少线束,增强无线通信方式的可靠性和数据传输确定性,减小单体机器人算力成本。
Description
技术领域
本发明涉及移动机器人控制技术领域,尤其涉及一种可支持TSN(时间敏感网络)网络技术的机器人边缘控制系统。
背景技术
在智能制造领域,移动复合机器人正逐渐进入生产系统,成为整个工厂生产系统的一员。而移动复合机器人的性能、工作可靠性、实时性、安全性、作业时的动作响应速度等都是影响生产效率和整体生产线安全的重要因素。
现有技术条件下,当多台机器人尤其是复合机器人运行于同一工业场景中时,通过无线通信技术,如5G网络,在机器人和调度系统之间建立数据连接,以完成机器人运行数据的上传及接收来自调度系统的指令数据。因此,5G数据通信的可靠性会影响机器人的运行情况,甚至安全性。如何提高5G通信数据的可靠性是一个问题。
另外,现有技术条件下,机器人内部存在着多种类型的部件,如各类传感器、机械臂关节的驱动器、移动底盘轮毂的驱动器等等,这些部件产生数据并反馈至机器人控制器,以使机器人控制器据此进行相应的控制或做出决策。这些数据信息的传输依赖于各种不同的通信形式,如轮毂驱动器的CanOpen通信,机械臂关节的EtherCat通信,传感器(如激光雷达)的以太网通信等,多种通信方式共存于机器人控制系统中,不仅导致线束复杂,还造成系统复杂,数据处理及接口复杂,从而降低可靠性;同时还存在着时延、数据传输时间周期等非确定性问题。
还有,机器人本体控制器不仅承担了对机器人本体集成的各类传感信号的获取及处理,还要对各控制部件进行控制,同时要进行综合计算以便进行导航、避障等智能化功能的实现,这就对机器人本体的控制器的运算能力提出了很高的要求,这对单一机器人的成本产生压力;当多机器人运行于同一场景中时,基于同一场景及各机器人感知数据,如果能集中进行处理并运行人工智能算法,从而为单体机器人的运行提供智能数据,则不仅于成本方面考虑有好处,而且能够更好的实现群体智能,使群体机器人共同运行智能化程度更高。
因此,需要提供一种技术方案,既能解决机器人本体内部多种通信方式共存引起的可靠性问题,或线束繁多的问题,或通信数据同步性和确定性不足的问题,又能解决机器人与调度系统无线通信可靠性的问题,还能为机器人提供更好的智能控制数据。
发明内容
针对上述现有技术的不足,本发明提供一种可支持TSN网络技术的机器人边缘控制系统,以解决机器人本体内部多通信总线共存时减少线束的问题,以及增强无线通信方式的可靠性和数据传输同步性、确定性的问题,以及机器人智能运算功能造成单体机器人算力成本过高的问题。
为了实现上述目的,本发明采用以下技术方案:
一种可支持TSN网络技术的机器人边缘控制系统,包括边缘控制器以及位于目标场景下的多个机器人;
所述机器人包括机器人控制器以及若干驱动模块、传感器模块及无线通信模块,其中,所述机器人控制器、驱动模块、传感器模块及无线通信模块通过若干设置于所述机器人内部的TSN交换机模块进行组网连接以形成TSN网络,同时各所述机器人的机器人控制器还通过设置于所述边缘控制器侧的TSN交换机模块与所述边缘控制器进行组网连接,且所述边缘控制器侧的TSN交换机模块能够支持TSN技术与所述无线通信模块所采用的无线通信技术相融合的通信方式;
其中,所述边缘控制器用于接收各机器人的所述驱动模块反馈的运动数据、以及所述传感器模块采集的传感器数据,并基于各所述运动数据及所述传感器数据获取整个所述目标场景对应的场景感知数据,而后基于所述场景感知数据获取每个所述机器人对应的目标感知数据。
进一步地,所述无线通信模块为5G通信模块,所述边缘控制器侧的TSN交换机模块能够支持TSN技术与5G通信技术相融合的通信方式。
进一步地,所述TSN交换机模块包括:TSN交换机、以及与所述TSN交换机连接的若干数据接口和以太网接口,其中,所述数据接口和以太网接口分别通过TAS与所述TSN交换机通信连接。
进一步地,所述驱动模块包括关节驱动模块和轮毂驱动模块。
进一步地,所述机器人控制器包括控制主板及运动控制模块;
所述机器人内部设置的若干所述TSN交换机模块包括第一TSN交换机模块、第二TSN交换机模块、第三TSN交换机模块、第四TSN交换机模块以及第五TSN交换机模块;
所述关节驱动模块与所述第一TSN交换机模块连接;
所述轮毂驱动模块与所述第二TSN交换机模块连接;
所述传感器模块与所述第三TSN交换机模块连接;
所述无线通信模块与所述第四TSN交换机模块连接;
所述第一TSN交换机模块及第二TSN交换机模块与所述运动控制模块连接;
所述第三TSN交换机模块及第四TSN交换机模块与所述第五TSN交换机模块连接,且所述运动控制模块通过所述第五TSN交换机模块与所述控制主板连接。
进一步地,所述机器人控制器、所述无线通信模块、所述传感器模块、所述关节驱动模块及所述轮毂驱动分别连接至所述机器人内部的不同所述TSN交换机模块,其中,不同所述TSN交换机模块组网形成环形的TSN网络。
进一步地,所述轮毂驱动模块及所述关节驱动模块均集成有支持TSN网络的TSN网络接口,所述机器人控制器集成有TSN交换机功能,所述传感器模块及无线通信模块连接至所述机器人内部的TSN交换机模块,其中,所述机器人内部的TSN交换机模块、所述轮毂驱动模块、所述关节驱动模块以及所述机器人控制器组网形成线性的TSN网络。
进一步地,所述TSN交换机模块按固定周期,将经过的数据流分成高优先级数据流和尽力而为数据流,并在每个所述周期内先传输完所述高优先级数据流后,再传输所述尽力而为数据流;
其中,全部所述TSN交换机模块的周期相同;或者,
所述机器人内部的各TSN交换机模块的周期相同,所述边缘控制器侧的TSN交换机模块的周期与所述机器人内部的TSN交换机模块的周期呈整数倍关系。
进一步地,所述边缘控制器包括:
数据接收及解析模块,用于接收各所述驱动模块反馈的运动数据及各所述传感器模块采集的传感器数据并进行解析;
全场景感知AI学习模块,用于基于解析后的数据获取整个所述目标场景的场景感知数据,并基于所述场景感知数据获取每个所述机器人对应的目标感知数据。
进一步地,所述传感器模块包括激光雷达传感器模块及视觉传感器模块;
所述全场景感知AI学习模块包括:
场景融合单元,用于获取所述目标场景对应的点云地图,并将各机器人作为动态点位嵌入所述点云地图中,而后基于各机器人的所述激光雷达传感器模块采集的传感器数据、以及各机器人的所述驱动模块反馈的运动数据,更新所述点云地图,并基于更新的所述点云地图确定整个所述目标场景对应的场景感知数据;
多个AI学习算法单元,分别用于对各机器人周围的所述场景感知数据进行学习训练,以得到各机器人的单体感知数据,并将各机器人的单体感知数据分别与对应机器人的所述视觉传感器模块采集的传感器数据进行融合计算,以得到各机器人最终的目标感知数据。
进一步地,所述边缘控制器包括GPU及CPU;
所述数据接收及解析模块、所述场景融合单元运行于CPU上;
所述AI学习算法单元运行于GPU上。
进一步地,各所述机器人的机器人控制器还通过所述TSN交换机模块与一机器人群控调度系统进行组网连接;所述边缘控制器为所述机器人群控调度系统的子系统、或者独立于所述机器人群控调度系统设置。
进一步地,所述边缘控制器包括机器人控制算法模块,所述机器人控制算法模块用于:依据所述机器人群控调度系统下发的任务指令生成各所述机器人对应的运动控制指令,并通过所述TSN交换机模块下发至相应的机器人。
通过采用上述技术方案,本发明带来如下有益效果:
本发明通过组网建立TSN网络,能够在机器人本体内部多通信总线共存时减少线束。同时由于TSN网络具有全局时间同步和确定性传输特征,因而本发明中机器人内部各功能模块(如驱动模块、传感器模块等)之间的时间同步;且,该同步与其他机器人的时间同步;且,均同步于边缘控制器。从而,实现了从机器人最底层到整个外部边缘网络,到边缘控制器之间的时间同步;也实现了TSN技术固有的数据传输确定性的目的。可见,本发明组成了完整而彻底的实时通信架构。这种实时架构的组成,使数据从边缘控制器到机器人控制器再到机器人内部数据流;或者反之,实现了数据传输的同步和确定性。
此外,边缘控制器的作用为获取各机器人的所述驱动模块反馈的运动数据、以及所述传感器模块采信的传感器数据,并基于各所述运动数据及所述传感器数据获取整个目标场景对应的场景感知数据,而后将所述场景感知数据分解为每个所述机器人对应的目标感知数据。这一处理过程如果由任一单体机器人控制器完成,势必引起该控制器运算资源紧张,因此,本发明设置了边缘控制器,集中所有机器人的传感器数据和运动数据进行综合计算,既降低了对机器人控制器的计算资源的要求,同时也极大程度上避免了因某单体机器人的传感器数据错误(如传感器故障)等原因引起的感知错误,在整体感知数据中,对某单体机器人的感知错误敏感度极大降低,因此提高了可靠性。
附图说明
图1为本发明中移动复合机器人的结构示意图;
图2为本发明中TSN交换机模块的结构框图;
图3为本发明中机器人内部功能模块组网形成的TSN网络的示意图;
图4为本发明中机器人内部功能模块组网形成的环形TSN网络的示意图;
图5为本发明中机器人内部功能模块组网形成的线性TSN网络的示意图;
图6为本发明中机器人与边缘控制器组网的示意图;
图7为本发明中采用的TSN数据格式的时序图;
图8为本发明中边缘控制器侧的TSN交换机模块的周期与机器人内部的TSN交换机模块的周期呈整数倍时的同步时序图;
图9为本发明中边缘控制器的结构框图;
图10为本发明中全场景感知AI学习模块的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本发明提供一种可支持TSN网络技术的机器人边缘控制系统,包括边缘控制器以及工作于同一目标场景下的多个移动复合机器人(以下简称为机器人)。各机器人分别包括机器人控制器以及若干驱动模块、传感器模块及无线通信模块,其中,机器人控制器、驱动模块、传感器模块及无线通信模块通过若干设置于机器人内部的TSN交换机模块进行组网连接以形成TSN网络,同时各机器人的机器人控制器还通过设置于边缘控制器侧的TSN交换机模块与边缘控制器进行组网连接。
在一可实施的方式中,各机器人的机器人控制器还可以通过边缘控制器侧的TSN交换机模块与机器人群控调度系统进行组网连接。
通过采用上述边缘控制系统,可实现从机器人内部控制数据流通信、与外部边缘控制器通信、以及与群控机器人调度系统的通信均基于TSN技术,从而实现时间同步,数据传输确定性,进而极大增强整体系统的实时性,可靠性。
下面以图1所示的具有五关节的移动复合机器人为例,对本发明的技术方案进行详细说明。
在图1所示的实施例中,移动复合机器人具有机械臂,机械臂的末端具有末端执行器,且机械臂具有五个关节。其中,该机器人的驱动模块包括五个分别用于驱动相应关节的关节驱动模块11~15、以及用于驱动轮毂的轮毂驱动模块3。该机器人的传感器模块包括安装于机械臂末端的视觉传感器21以及安装于机器人本体前部的激光雷达传感器22。该机器人的机器人控制器4及无线通信模块4集成于机器人本体内部。
本发明中采用的TSN交换机模块如图2所示,其包括TSN Switch(交换机)、以及与TSN交换机连接的若干数据接口和以太网接口,各以太网接口分别包括PHY(物理层)接口及MAC(介质访问控制)层。其中,数据接口和以太网接口分别通过TAS(时间感知整形器)与TSN交换机通信连接,TAS用于进行不同优先等级业务数据的流量调度。
利用上述TSN交换机模块,可实现机器人本体内部多网络通信协议在同一网络中传输,如图3为一种TSN网络组网方式。
在图3所示的实施例中,机器人控制器4包括控制主板41及运动控制模块42。机器人内部设置的TSN交换机模块包括第一TSN交换机模块TSN Switch 1、第二TSN交换机模块TSN Switch 2、第三TSN交换机模块TSN Switch 3、第四TSN交换机模块TSN Switch 4以及第五TSN交换机模块 TSN Switch 5。
图3中,关节驱动模块11~15为EtherCat通信传输,在现有技术中其与机器人控制器4中的运动控制模块42连接;轮毂驱动模块3为CanOpen通信传输,在现有技术中其也连接至运动控制模块42;而传感器21~22、无线通信模块为以太网接口,在现有技术中连接至机器人控制器的以太网络端口。为了提升机器人内部数据传输的确定性和实时性,充分提升机器人性能和运行安全性,采用了基于TSN网络技术的TSN交换机模块,可实现不同类型的通信协议共存于同一网络(即图3中的粗黑线所表表示的TSN网络)中。这一实施方案适合于对现有机器人设备进行改造升级,从而提升数据传输的可靠性和运行安全性。
具体地,在图3中,关节驱动模块11~15通过EtherCat总线与第一TSN交换机模块TSN Switch 1连接;轮毂驱动模块3通过CanOpen总线与第二TSN交换机模块TSN Switch 2连接;传感器模块21~22与第三TSN交换机模块TSN Switch 3连接;无线通信模块4与第四TSN交换机模块TSN Switch 4连接;第一TSN交换机模块TSN Switch 1及第二TSN交换机模块TSN Switch 2与运动控制模块42连接;第三TSN交换机模块TSN Switch 3及第四TSN交换机模块TSN Switch 4与第五TSN交换机模块TSN Switch 5连接,且运动控制模块42也通过第五TSN交换机模块TSN Switch 5与控制主板41连接。
另外一种组网方式如图4所示,环形网络方式。具体地,机器人控制器4、无线通信模块5、传感器模块21~22、关节驱动模块11~15及轮毂驱动模3分别连接至机器人内部的不同TSN交换机模块TSN Switch 1~ TSN Switch 5,再由各TSN交换机模块组网形成环形的TSN网络。从而,使得各种不同网络依靠TSN交换机模块进行连接而共存于同一环形TSN网络中,这种实施方式比较图3的方案,在提升数据传输的确定性和安全性可靠性的同时,可进一步减少机器人内部的线束。
进一步,当组件内部集成了支持TSN网络技术的功能时,可实现线性连接组网。如图5所示,关节驱动模块11~15及轮毂驱动模块3均集成有支持TSN网络技术的TSN网络接口;机器人控制器集成4有TSN交换机功能;传感器模块21~22及无线通信模块5多采用以太网接口,因此需要连接至机器人内部的TSN交换机模块TSN Switch。其中,机器人内部的TSN交换机模块TSN Switch、关节驱动模块11~15、轮毂驱动模块3以及机器人控制器4组网形成线性的TSN网络。这种组网连接方式,线束少,整体结构紧凑,数据传输基于TSN技术,可最大化发挥TSN技术的优势。
如前所述,本发明增设了边缘控制器6,如图6所示,该边缘控制器6通过设置于边缘控制器侧的TSN交换机模块Edge-TSN Switch与各机器人的机器人控制器组网连接。其中,该边缘控制器侧的TSN交换机模块Edge-TSN Switch能够支持TSN技术与无线通信模块所采用的无线通信技术相融合的通信方式。例如,无线通信模块为5G通信模块,其采用的无线通信技术为5G通信技术,则边缘控制器侧的TSN交换机模块支持5G/TSN通信方式,5G/TSN通信方式在此是指将5G通信技术和TSN技术相融合,以确定性时间同步方式进行5G数据传输的通信方式。在图6所示的TSN网络下,各机器人时间均与边缘控制器时间同步;各机器人内部有支持TSN技术的TSN交换机模块;各机器人本体内部各模块之间通讯采用前述支持TSN的网络。
通过上述技术方案能够实现本发明中机器人内部各功能模块(如驱动模块、传感器模块等)之间的时间同步;且,该同步与其他机器人的时间同步;且,均同步于边缘控制器。从而,实现了从机器人最底层到整个外部边缘网络,到边缘控制器之间的时间同步;也实现了TSN技术固有的数据传输确定性的目的。可见,本发明组成了完整而彻底的实时通信架构。这种实时架构的组成,使数据从边缘控制器到机器人控制器再到机器人内部数据流;或者反之,实现了数据传输的同步和确定性。从而,使机器人控制功能或算法的设置变得灵活;甚至可以将机器人运动控制算法从机器人控制器中解耦出来,放置到边缘控制器中执行,然后再通过TSN网络下发,而机器人的控制实时性依然能够得到保证,使得边缘控制系统的设计自由度更大。
在本发明中,如图7所示,TSN交换机模块所传输的数据格式为:按固定周期,将经过的数据流分成高优先级数据流和尽力而为数据流,并在每个周期内先传输完高优先级数据流后,再传输尽力而为数据流。
其中,高优先级数据流用于对时延敏感但数据流相对较小的实时控制类数据的传输;而尽力而为数据流用于对时延要求不高的更大容量的如传感器类数据的传输。
具体地,该数据格式对边缘智能控制器侧,高优先级数据主要包括行走运动控制和末端执行器的动作控制数据及反馈数据,响应时间为2ms~10ms,行走运动控制数据体现为对轮毂驱动模块的控制数据,行走运动的反馈数据体现为轮毂驱动模块反馈的运动数据,末端执行器的动作控制数据体现为对关节驱动模块的控制数据,末端执行器的反馈数据体现为关节驱动模块反馈的运动数据;尽力而为数据主要包括传感器数据(如激光雷达传感器数据、视觉传感器数据等),响应时间为40-100ms。该数据格式对机器人内部侧,高优先级数据主要包括行走运动控制和末端执行器动作控制数据,响应时间为100us,主要为驱动模块的控制数据,与电机控制环路同周期;还包括部分要求高响应速度的I/O数据;尽力而为数据主要包括传感器类数据,如激光雷达传感器数据,响应时间可为1ms到10ms,视觉传感器传器数据,响应时间为10ms。
公知的是,在TSN网络中,可实现各节点之间的时间同步。在本技术方案中,同样遵循这一规则。如图7中所示为一种实施方案,全部TSN交换机模块的数据周期相同,该数据周期可认为既是边缘控制器侧TSN交换机模块的数据周期,同时也是机器人侧TSN交换机模块的数据周期,两者完全同步,即时间同步。
然而,在图7所示的方案下,如果周期较短,则对边缘控制器的CPU性能、机器人控制器的CPU性能均具有较高的要求。图8所示的技术方案,采取了另一种方案,避免了该问题。
如图8所示,机器人内部的各TSN交换机模块(即设备端TSN Switch)的周期相同,边缘控制器侧的TSN交换机模块Edge-TSN Switch的周期为机器人内部的TSN交换机模块的周期的m倍(m为正整数),两者呈整数倍关系。即,在机器人内部,为保证主要控制性能和高实时性,采用较短的数据通信周期;而在边缘控制器侧,则无此必要采用和机器人侧同样的数据传输周期,从而造成边缘控制器侧的算力资源紧张。但在TSN技术中,m个Nr周期和一个n周期在时间上依然保持严格同步。另外,设备端(即机器人端),除了高优先级数据流数据可传输至边缘侧而外,某周期的尽力而为数据流也可作为边缘侧的高优先级数据进行传输;可在边缘侧和设备端进行设置,灵活性提高。
如此,既保留了TSN技术的优点,又发挥了边缘侧和机器人侧各自的数据传输优势。
在本发明中,如图9所示,边缘控制器6包括:数据接收及解析模块61,用于接收各驱动模块反馈的运动数据及各传感器模块采集的传感器数据并进行解析;全场景感知AI学习模块62,用于基于解析后的数据获取整个目标场景的场景感知数据,并基于场景感知数据获取每个机器人对应的目标感知数据。
具体如图9所示,各机器人将传感器数据通过TSN网络协议中的尽力而为数据流、将运动数据通过TSN网络协议中的高优先级数据流,发送至边缘控制器的数据接收及解析单元61,数据经解析后输送至全场景感知AI学习模块62,对群体机器人所在场景进行感知学习,获得全场景的场景感知数据,包括全场景下静态障碍物、移动障碍物(包括机器人)的感知数据。然后,将全场景的场景感知数据进一步单独解析,得到各单体机器人的目标感知数据,并将该目标感知数据传输至机器人群控调度系统,作为调度系统产生调度指令的决策依据,调度指令通过5G/TSN传输至各机器人。
可见,该边缘控制器所起的作用为,首先获取各机器人的驱动模块反馈的运动数据、以及传感器模块采信的传感器数据,并基于各运动数据及传感器数据获取整个目标场景对应的场景感知数据,而后将场景感知数据分解为每个机器人对应的目标感知数据。这一处理过程如果由任一单体机器人控制器完成,势必引起该控制器运算资源紧张,因此,本发明设置了边缘控制器,集中所有机器人的传感器数据和运动数据进行综合计算,既降低了对机器人控制器的计算资源的要求,同时也极大程度上避免了因某单体机器人的传感器数据错误(如传感器故障)等原因引起的感知错误,在整体感知数据中,对某单体机器人的感知错误敏感度极大降低,因此提高了可靠性。
本技术方案,可实现从机器人内部控制数据流通信、与外部边缘控制器通信、以及与群控调度系统,三者之间的通信基于TSN技术,实现时间同步,数据传输确定性,从而极大增强整体系统的实时性,可靠性。
进一步地,如图10,本发明中的全场景感知AI学习模块62包括场景融合单元及多个AI学习算法单元。其中,场景融合单元用于获取目标场景对应的点云地图,并将各机器人作为动态点位嵌入点云地图中,而后基于各机器人的激光雷达传感器模块采集的传感器数据、以及各机器人的驱动模块反馈的机器人运动数据矢量(包括对应的速度、位置/>、加速度/>),更新点云地图,并基于更新的点云地图确定整个目标场景对应的场景感知数据。各AI学习算法单元分别用于对相应机器人周围的场景感知数据(机器人周围的场景感知数据是指整个目标场景对应的场景感知数据与相应机器人相关联的场景感知数据)进行学习训练,以得到各机器人对应的单体感知数据,并将各机器人的单体感知数据分别与对应机器人的视觉传感器模块采集的传感器数据进行融合计算,以得到各机器人最终的目标感知数据。
在本发明中,边缘控制器的核心控制结构包括GPU及CPU,数据接收及解析模块、场景融合单元运行于CPU上;AI学习算法单元运行于GPU上。
进一步地,本发明中的边缘控制器可作为机器人群控调度系统的一个子系统而存在,并与该调度系统并行运行;也可独立于机器人群控调度系统,单独作为一个单体设备运行,从机器人采集运行数据,执行边缘计算,并通过5G/STN的通信方式将计算结果分发给相关机器人。
进一步地,因本发明的边缘控制系统包括内部为STN数据通信机制的机器人,并且各机器人与边缘控制器之间以5G/STN形式通信;数据从机器人内部到边缘控制器具有时间同步性,数据传输具有确定性,为一个实时数据传输系统,因此具备实时控制的条件。故,基于以上原因,可将机器人的部分控制功能上移至边缘控制器执行;如将机器人的行走、机械臂各关节的动作控制算法部分上移至边缘控制器,边缘控制器根据调度系统的任务指令执行计算并产生机器人的行走和各关节动作控制指令并下发给机器人,机器人据此执行。
也即,边缘控制器可以包括机器人控制算法模块,机器人控制算法模块用于:依据机器人群控调度系统下发的任务指令生成各机器人对应的运动控制指令,并通过TSN交换机模块下发至相应的机器人。这种技术方案将大幅降低机器人本体控制器的计算压力,机器人控制器仅采取必要的传感数据采集、通信内容生成等不耗费太多计算资源的计算即可。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (9)
1.一种可支持TSN网络技术的机器人边缘控制系统,其特征在于,包括边缘控制器以及位于目标场景下的多个机器人;
所述机器人包括机器人控制器以及若干驱动模块、传感器模块及无线通信模块,其中,所述机器人控制器、驱动模块、传感器模块及无线通信模块通过若干设置于所述机器人内部的TSN交换机模块进行组网连接以形成TSN网络,同时各所述机器人的机器人控制器还通过设置于所述边缘控制器侧的TSN交换机模块与所述边缘控制器进行组网连接,所述边缘控制器侧的TSN交换机模块还与一机器人群控调度系统进行组网连接,且所述边缘控制器侧的TSN交换机模块支持TSN技术与所述无线通信模块所采用的无线通信技术相融合的通信方式;
其中,所述边缘控制器用于接收各机器人的所述驱动模块反馈的运动数据、以及所述传感器模块采集的传感器数据,并基于各所述运动数据及所述传感器数据获取整个所述目标场景对应的场景感知数据,而后基于所述场景感知数据获取每个所述机器人对应的目标感知数据,并将所述目标感知数据传输至所述机器人群控调度系统;
所述驱动模块包括关节驱动模块和轮毂驱动模块;
所述机器人控制器、驱动模块、传感器模块及无线通信模块按照以下三种方式中的任意一种进行组网连接以形成TSN网络:
第一种方式:所述机器人控制器包括控制主板及运动控制模块;所述机器人内部设置的若干所述TSN交换机模块包括第一TSN交换机模块、第二TSN交换机模块、第三TSN交换机模块、第四TSN交换机模块以及第五TSN交换机模块;所述关节驱动模块与所述第一TSN交换机模块连接;所述轮毂驱动模块与所述第二TSN交换机模块连接;所述传感器模块与所述第三TSN交换机模块连接;所述无线通信模块与所述第四TSN交换机模块连接;所述第一TSN交换机模块及第二TSN交换机模块与所述运动控制模块连接;所述第三TSN交换机模块及第四TSN交换机模块与所述第五TSN交换机模块连接,且所述运动控制模块通过所述第五TSN交换机模块与所述控制主板连接;
第二种方式:所述机器人控制器、所述无线通信模块、所述传感器模块、所述关节驱动模块及所述轮毂驱动模分别连接至所述机器人内部的不同所述TSN交换机模块,其中,不同所述TSN交换机模块组网形成环形的TSN网络;
第三种方式:所述轮毂驱动模块及所述关节驱动模块均集成有支持TSN网络的TSN网络接口,所述机器人控制器集成有TSN交换机功能,所述传感器模块及无线通信模块连接至所述机器人内部的TSN交换机模块,其中,所述机器人内部的TSN交换机模块、所述轮毂驱动模块、所述关节驱动模块以及所述机器人控制器组网形成线性的TSN网络。
2.如权利要求1所述的机器人边缘控制系统,其特征在于,所述无线通信模块为5G通信模块,所述边缘控制器侧的TSN交换机模块能够支持TSN技术与5G通信技术相融合的通信方式。
3.如权利要求1所述的机器人边缘控制系统,其特征在于,所述TSN交换机模块包括:TSN交换机、以及与所述TSN交换机连接的若干数据接口和以太网接口,其中,所述数据接口和以太网接口分别通过TAS与所述TSN交换机通信连接。
4.如权利要求1所述的机器人边缘控制系统,其特征在于,所述TSN交换机模块按固定周期,将经过的数据流分成高优先级数据流和尽力而为数据流,并在每个所述周期内先传输完所述高优先级数据流后,再传输所述尽力而为数据流;
其中,全部所述TSN交换机模块的周期相同;或者,
所述机器人内部的各TSN交换机模块的周期相同,所述边缘控制器侧的TSN交换机模块的周期与所述机器人内部的TSN交换机模块的周期呈整数倍关系。
5.如权利要求1所述的机器人边缘控制系统,其特征在于,所述边缘控制器包括:
数据接收及解析模块,用于接收各所述驱动模块反馈的运动数据及各所述传感器模块采集的传感器数据并进行解析;
全场景感知AI学习模块,用于基于解析后的数据获取整个所述目标场景的场景感知数据,并基于所述场景感知数据获取每个所述机器人对应的目标感知数据。
6.如权利要求5所述的机器人边缘控制系统,其特征在于,所述传感器模块包括激光雷达传感器模块及视觉传感器模块;
所述全场景感知AI学习模块包括:
场景融合单元,用于获取所述目标场景对应的点云地图,并将各机器人作为动态点位嵌入所述点云地图中,而后基于各机器人的所述激光雷达传感器模块采集的传感器数据、以及各机器人的所述驱动模块反馈的运动数据,更新所述点云地图,并基于更新的所述点云地图确定整个所述目标场景对应的场景感知数据;
多个AI学习算法单元,分别用于对各机器人周围的所述场景感知数据进行学习训练,以得到各机器人的单体感知数据,并将各机器人的单体感知数据分别与对应机器人的所述视觉传感器模块采集的传感器数据进行融合计算,以得到各机器人最终的目标感知数据。
7.如权利要求6所述的机器人边缘控制系统,其特征在于,所述边缘控制器包括GPU及CPU;
所述数据接收及解析模块、所述场景融合单元运行于CPU上;
所述AI学习算法单元运行于GPU上。
8.如权利要求1所述的机器人边缘控制系统,其特征在于,
所述边缘控制器为所述机器人群控调度系统的子系统、或者独立于所述机器人群控调度系统设置。
9.如权利要求1所述的机器人边缘控制系统,其特征在于,所述边缘控制器包括机器人控制算法模块,所述机器人控制算法模块用于:依据所述机器人群控调度系统下发的任务指令生成各所述机器人对应的运动控制指令,并通过所述TSN交换机模块下发至相应的机器人。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311264271.3A CN116985149B (zh) | 2023-09-28 | 2023-09-28 | 一种可支持tsn网络技术的机器人边缘控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311264271.3A CN116985149B (zh) | 2023-09-28 | 2023-09-28 | 一种可支持tsn网络技术的机器人边缘控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116985149A CN116985149A (zh) | 2023-11-03 |
CN116985149B true CN116985149B (zh) | 2024-01-02 |
Family
ID=88534276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311264271.3A Active CN116985149B (zh) | 2023-09-28 | 2023-09-28 | 一种可支持tsn网络技术的机器人边缘控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116985149B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107671864A (zh) * | 2017-09-12 | 2018-02-09 | 北京航天光华电子技术有限公司 | 一种排爆机器人智能控制系统 |
CN109955247A (zh) * | 2017-12-26 | 2019-07-02 | 固高科技(深圳)有限公司 | 多机器人自主控制系统 |
CN112995001A (zh) * | 2021-02-06 | 2021-06-18 | 鉴微数字科技(重庆)有限公司 | 一种工业通讯网络系统 |
CN115847402A (zh) * | 2022-11-25 | 2023-03-28 | 合肥中科深谷科技发展有限公司 | 一种融合工业总线与tsn实时网络的机器人控制系统 |
CN116787438A (zh) * | 2023-06-30 | 2023-09-22 | 中国科学院沈阳自动化研究所 | 一种基于tsn的遥操作巡检机器人控制系统及控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9866474B2 (en) * | 2015-12-01 | 2018-01-09 | Quanta Computer Inc. | Centralized server switch management |
-
2023
- 2023-09-28 CN CN202311264271.3A patent/CN116985149B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107671864A (zh) * | 2017-09-12 | 2018-02-09 | 北京航天光华电子技术有限公司 | 一种排爆机器人智能控制系统 |
CN109955247A (zh) * | 2017-12-26 | 2019-07-02 | 固高科技(深圳)有限公司 | 多机器人自主控制系统 |
CN112995001A (zh) * | 2021-02-06 | 2021-06-18 | 鉴微数字科技(重庆)有限公司 | 一种工业通讯网络系统 |
CN115847402A (zh) * | 2022-11-25 | 2023-03-28 | 合肥中科深谷科技发展有限公司 | 一种融合工业总线与tsn实时网络的机器人控制系统 |
CN116787438A (zh) * | 2023-06-30 | 2023-09-22 | 中国科学院沈阳自动化研究所 | 一种基于tsn的遥操作巡检机器人控制系统及控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116985149A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109032138B (zh) | 基于一致性算法的多机器人编队控制系统及方法 | |
EP2541846B1 (en) | Communication method of gateway device supporting CAN - and Modbus protocol conversion and gateway device using the same | |
CN111314420B (zh) | 面向智能驾驶的柔性车载网络系统及车辆 | |
CN109471435B (zh) | 一种多异构移动机器人控制系统 | |
CN104552311A (zh) | 基于EtherCAT的智能工业机器人总线模块及其操作方法 | |
CN108279630B (zh) | 一种基于总线的分布式运动控制系统及方法 | |
US10780583B2 (en) | System and method of controlling robot | |
CN113510720B (zh) | 一种实时分布式协作机器人控制系统 | |
CN116985149B (zh) | 一种可支持tsn网络技术的机器人边缘控制系统 | |
CN214751405U (zh) | 多场景通用的边缘视觉运动控制系统 | |
CN108227527B (zh) | 一种基于CANopen总线通讯的多轴协同控制系统及方法 | |
CN111522313B (zh) | 一种基于canopen协议控制伺服电机曲线运动的方法 | |
CN116197919B (zh) | 机器人控制系统及控制方法 | |
JP4480010B2 (ja) | 分散制御システム | |
CN115562122A (zh) | 一种基于soc的开放架构的伺服控制系统、设备及方法 | |
CN115847402A (zh) | 一种融合工业总线与tsn实时网络的机器人控制系统 | |
CN213426209U (zh) | 一种无人驾驶车辆导航控制的云网关装置 | |
CN210181471U (zh) | 时分复用多轴运动控制结构 | |
CN112109089A (zh) | 机器人多总线实时控制系统 | |
CN112947304A (zh) | 智能相机多核异构片上集成系统及视觉控制方法 | |
Posadas et al. | Communications Structure for Sensor Fusion in Distributed Real Time Systems | |
Ling et al. | The car body control bus design based on CAN/LIN Bus | |
US12086090B2 (en) | Uniform virtual bus for system-to-system connectivity in an autonomous driving vehicle | |
CN111708330B (zh) | 机器人数据传输系统 | |
CN217279314U (zh) | 一种车载数据处理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |