CN112394701A - 一种基于云边端混合计算环境的多机器人云控系统 - Google Patents
一种基于云边端混合计算环境的多机器人云控系统 Download PDFInfo
- Publication number
- CN112394701A CN112394701A CN202011434077.1A CN202011434077A CN112394701A CN 112394701 A CN112394701 A CN 112394701A CN 202011434077 A CN202011434077 A CN 202011434077A CN 112394701 A CN112394701 A CN 112394701A
- Authority
- CN
- China
- Prior art keywords
- cloud
- module
- robot
- edge
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 49
- 230000007613 environmental effect Effects 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
- G05B19/4186—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication by protocol, e.g. MAP, TOP
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于云边端混合计算环境的多机器人云控系统，所述多机器人云控系统包括执行模块、通信模块、知识库模块、智能算法模块和总控模块，所述执行模块包括机器人和传感设备，负责感知数据的采集与加工，以及控制指令的执行；所述通信模块负责在云边端环境中转发和处理实时、动态数据；所述场景通用知识库模块用于存储场景中所涉及的通用知识，并提供统一的调用接口；所述智能算法模块负责提供场景中所需的智能感知及自主决策算法；所述总控模块负责编排和调度场景中的机器人协同完成指定任务。本发明的系统实现了一种稳定、高效、容错性高的多机器人云控系统。
Description
技术领域
本发明属于机器人领域，尤其涉及一种基于云边端混合计算环境的多机器人云控系统。
背景技术
智能机器人时代，机器人需要具备对复杂变化的环境感知、认知和推理、决策、协作配合等智能能力。但现有的机器人存在指令化、简单化的问题，各机器人间难以进行知识更新且无法与人进行自然交互。为解决这个问题，目前发展了许多技术，用来构建一种包含多个机器人的团队，让不同的机器人相互传递环境信息、知识、解决方法等各类信息，进行高效的交互，从而协作完成复杂的作业任务。
2010年，“云机器人”（Cloud Robotics）概念被首次提出，旨在将云计算应用于机器人，运用云计算的强大运算和存储能力，给机器人提供一个更智能的 “大脑”。将机器人技术与云计算相结合，既可以大大增强单个机器人的能力，也可以使分布在世界各地、具有不同能力的机器人开展合作，完成更复杂的任务。随着云计算、边缘计算、下一代无线通信等技术的发展，云机器人逐渐成为了多机器人协同增强智能研究转化为应用最快的领域之一，在工业制造、生活服务、军事国防等许多方面都有着巨大的应用价值。鉴于云机器人平台对于群体机器人技术发展的重要意义，从2010年以来，世界各地的研究人员在云机器人平台方面发展出了很多技术。
新加坡大学的研究团队提出了一种新型软件开发平台框架DAvinCi，将复杂的机器人计算任务转移到Hadoop集群，结合ROS的消息通信机制，使用HDFS和Map/Reduce来实现计算任务的并行化。
由欧盟主导开发的RoboEarth项目，旨在实现机器人通过平台进行知识共享。作为该项目的一个衍生品，Rapyuta可以为机器人的复杂计算任务提供一个安全的云端计算引擎，并提供了对RoboEarth中知识库的访问接口。
UNR-PF(The ubiquitous network robot platform)平台提出了一种对多机器人进行硬件抽象的方法，为基于机器人的服务功能设计与开发提供便利；类似的，Sensor-Cloud则提出了一个面向传感器设备的云管平台，将传感器硬件进行抽象并统一管理。
Tenorth等人在UNR-PF和RoboEarth的基础上开发了一种网络机器人架构，可以实现机器人服务功能的分布式开发、部署以及管理。
针对大规模异构机器人进行群体协同，Miratabzadeh等人提出一种新型云架构，该架构由三个子系统组成，分别负责协同、后台任务和总控。
针对实际作业场景中可能出现的无线通信中断、机器人故障等情况，Narita等人提出一种基于RSNP的云机器人服务方法来提升系统稳定性。类似的，SCMR(SurvivableCloud Multi-Robotics)框架提出了一种依靠在多机器人之间组件一个虚拟的Ad-Hoc网络，来解决由于网络故障而造成的机器人与云端的通信中断问题的方法。
但是，现有技术中缺乏对云、边、端三类计算资源的统一管理和调度，以及对云边端环境中不可避免要面对的网络稳定性问题的容错机制；缺少一种多机器人的协同控制范式；系统高度定制化，可扩展性差，用户开发的工作量大。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于云边端混合计算环境的智能机器人云控系统。
本发明的目的是通过以下技术方案来实现的：一种基于云边端混合计算环境的多机器人云控系统，所述多机器人云控系统包括：执行模块、通信模块、知识库模块、智能算法模块和总控模块；
所述执行模块由机器人以及场景中所部署的传感设备组成，所述传感设备负责感知所处场景中的环境数据，并对环境数据进行预加工，发送给通信模块；所述机器人接收通信模块发送的控制指令，并依据所接收的控制指令执行相应的动作；
所述通信模块负责数据在执行模块、通信模块、知识库模块、智能算法模块和总控模块之间的传输和分发；所述数据包括：环境数据、控制指令以及各模块之间交互产生的中间数据；
所述知识库模块用于存储场景中所涉及的通用知识，并提供统一的知识表达语言；
所述智能算法模块为机器人提供场景任务中所需的智能感知及自主决策算法服务，并分析所述多机器人云控系统中的网络传输能力和计算资源负载情况，动态分配云边端计算资源；
所述总控模块负责编排和调度整个场景中的多机器人协同完成指定作业任务。
进一步地，所述通信模块部署在云、边、端三种计算资源之上。
进一步地，所述通信模块由多媒体流服务、文本消息服务和缓存服务三种服务构成，所述三种服务采用云边分布式部署。
进一步地，所述多媒体流服务提供雷达点云、视频和音频数据流的分发，支持RTSP、RTMP、HLS、WebRTC和gRPC协议.
进一步地，所述文本消息服务采用DDS分布式分发服务标准，在云边端环境下提供基于TCP/IP的UNICODE文本消息发布/订阅服务，支持轻量级物联网通信协议MQTT。
进一步地，所述缓存服务在云边计算环境下提供基于系统内存的数据缓存服务，支持UNICODE文本数据和二进制数据的缓存，并为每条数据提供唯一的临时访问接口。
进一步地，所述总控模块包含任务编排语言、全局状态空间和执行器。
进一步地，所述任务编排语言提供统一的编写规则，用于将机器人所需执行的任务拆解成多个子任务，并依据所编写的规则将拆解出的子任务按任务流程进行组合。
进一步地，所述全局状态空间负责存储所述执行模块中各个传感设备的自身状态及其所感知的场景环境中的状态，提供状态表达语言以及统一更新和调用接口。
进一步地，所述执行器负责读取根据所述任务编排语言编写的任务流程，然后依据所读取的流程协调调用所述知识库模块和智能算法模块中的服务，并将所获取的结果结合所述全局状态空间中的自身状态和场景环境中的状态，依据所读取的流程中的规则，转化成控制指令并通过所述通信模块发送给机器人。
与现有技术相比，本发明的有益效果是：
1、本发明的多机器人云控系统将云、边、端三种计算资源进行统一整合，并在其之上建立起一套高效、稳定的数据通信和服务管理系统，在提高云边端计算资源利用率的同时，降低系统的响应延时，保证机器人各功能模块的正常有序运行，避免机器人在执行任务的过程中潜在存在的因响应延时而造成的人身和财产安全问题；
2、本发明采用模块化的架构设计，各模块之间充分解耦并采用标准化的方式进行交互，既提高了系统的可扩展性，也降低了用户根据自己的业务需求进行各模块定制的工作量；
3、本发明通过统一的任务编排语言及其对应的执行器、全局状态空间和统一的消息通信格式，构建了一种多机器协同的范式，提高了系统的扩展性，简化了大规模异构机器人的接入、任务编排及协同控制的流程，解决了机器人之间感知能力互通和知识共享的问题；
4、本发明创新性的实现了云、边、端之间的消息同步和计算资源动态调度，提高了系统整体的网络容错性，使得系统能够应对常见的现有无线技术带来的连接问题，如云端失去链接、无线网络信号差等问题。
附图说明
图1为本发明多机器人云控系统模块图；
图2为云边端关系示意图；
图3为通信模块功能示意图；
图4为云边消息同步示意图；
图5为知识库模块架构图；
图6为智能算法模块架构图；
图7执行器执行示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供的基于云边端混合计算环境的智能机器人云控系统中的计算资源根据地理位置和网络环境分为云、边、端三级平台，如图2所示，端作为最底层平台，代表在实际作业场景中用来执行作业的机器人以及用于采集感知数据的传感设备所配备的计算资源；云由大规模计算、存储集群组成，并行计算和分布式存储能力最强，但是物理位置上距离实际作业场景较远，网络通信延迟及成本较高；边介于端和云之间，由高性能计算单元和人工智能算法加速芯片等硬件资源组成，计算能力和存储能力强于端但是弱于云，部署在实际作业场景内，与端之间的网络通信延迟和成本比云低。云、边、端三者的能力特点总结如表1所示。
表1 云、边、端能力特点总结表
本发明中云、边、端三种计算资源之间的数据通信关系如图2所示，一个云可以同多个边计算资源进行数据交互，一个边计算资源又可以和多个端计算资源进行数据交互，如此便形成了本发明中所述的云边端混合计算环境。
在所述云边端混合计算环境中，本发明的系统由执行模块、通信模块、知识库模块、智能算法模块和总控模块共5个模块组成，能通过图1所示的流程协同调度以上所述各模块，高效、稳定的控制接入系统中的机器人协作完成指定作业任务，，具体为：
（1）在所述知识库模块中通过知识存储模块预存了机器人所需的常识、场景知识和技能知识，并通过知识表达模块提供统一的知识表达和统一的调用接口；
（2）任务开始时，所述总控模块从知识库模块获取场景任务流程知识，并将该知识解析成所述的任务编排语言传递给执行器；所述智能算法模块从知识库获取常识、场景和技能知识，并启动相应的算法服务；
（3）所述总控模块中的执行器收到任务流程后，向通信模块中的文本消息模块发送相应的初始化指令，通信模块再将指令下发给所述执行模块中的机器人，用来启动所述执行模块中的机器人；
（4）所述执行模块中的机器人和传感设备将自身获取的感知数据通过所述通信模块发送至所述智能算法模块中的感知算法。根据感知数据的数据类型及对数据传输实时性要求的不同，可分别通过所述通信模块中的数据缓存模块、多媒体流模块和文本消息模块进行发送；
（5）所述智能算法模块中的感知算法将获取的传感数据进行处理和分析，依据分析结果对所述总控模块中的全局状态空间进行更新；
（6）所述总控模块中的执行器监控并分析全局状态空间中的状态，并依据所获取的任务流程中的规矩来决定是否向机器人发送指令以及发送的指令内容；
（7）所述智能算法模块中的自主决策算法监控并分析所述总控模块中的全局状态空间中的状态，并依据结果对全局状态空间进行更新，进而通过步骤（6）间接控制任务的执行流程；
（8）当所述总控模块中的执行器将任务流程全部执行完毕后，执行器通过所述通信模块向所述执行模块中的机器人发送停止指令；
（9）所述执行模块中的机器人收到指令后停止运行，并通过所述通信模块更新全局状态中的状态。
本发明所述执行模块由机器人以及实际作业场景中所部署的传感设备组成，其在系统中的主要功能包含两部分：
1、所述执行模块通过所部署的传感设备感知所处场景中的环境数据，并对所述环境数据进行预加工后发送给通信模块；所述传感设备包括：机器人自身所携带的传感设备和实际作业场景中所部署的传感设备，所述环境数据包括：视频、音频、图像、点云、位移、加速度、压力、重力等。
2、执行模块中的机器人可以接收通信模块发送的控制指令，并依据所接收的指令执行相应的动作，如移动到指定位置、将收到的文字转成语音播放、机械手抓取某个物体等。
本发明所述通信模块部署在云、边、端三种计算资源之上，负责数据在执行模块、通信模块、知识库模块、智能算法模块和总控模块之间的传输和分发；所述数据包括：环境数据、控制指令以及各模块之间交互产生的中间数据；所述通信模块由多媒体流服务、文本消息服务和缓存服务三种服务构成，所述三种服务采用云边分布式部署，如图3所示：
1、 所述多媒体流服务提供雷达点云、视频和音频数据流的传输和分发，其中音频和视频数据根据业务需求采用RTSP、RTMP、WebRTC或HLS进行传输和分发，雷达点云数据根据gRPC协议进行编码后通过gRPC stream进行传输和分发；
2、所述文本消息服务负责文本类数据的传输和分发，该服务采用DDS分布式分发服务标准，在云边端环境下提供基于TCP/IP的UNICODE文本消息发布/订阅服务，并同时支持HTTP协议和轻量级物联网通信协议MQTT；
3、所述缓存服务负责文件及二进制格式数据的传输和分发，提供基于在云边计算环境下提供基于系统内存的数据缓存服务，支持文件和二进制数据（如图像文件、编码后的图像二进制数据）的临时缓存，并为每条数据提供唯一的临时查询和访问接口。
由于在实际作业场景中，难以避免的会出现边云之间网络连接不稳定、云侧访问慢等情况，在这些突发的网络连接问题情况下，为保障本发明所述系统各个功能模块能够正常有序运行，本发明所述文本消息服务实现了云边分布式部署和消息同步，来提高服务的网络容错性。如图4所示，其中云边之间的消息同步采用桥接的方式，每个边计算节点上的文本消息服务同云上的文本消息服务之间建立桥接，并实时进行消息的同步，这样即使在云资源无法访问的情况下，部署在各个边上的文本消息服务仍然能够为各自所连接的端设备提供消息完整的消息服务。
本发明所述知识库模块用于存储场景中所涉及的通用知识，并提供统一的知识表达语言，该模块在云计算资源上进行部署，用于存储和提供机器人所需的常识、场景知识和技能知识。如图5所示，该模块由统一网关API、统一知识表达、分布式文件存储和数据库共4个功能模块组成，其中数据库提供SQL数据库和图数据库两种数据库服务。
1、所述统一网关API以RESTful API的形式提供知识库的查询和访问的统一接口，为本发明所述系统的智能算法模块和总控模块提供知识服务；
2、所述统一知识表达提供统一的知识表达语言，用于对所存储的知识中的每个个体进行语义描述，从而表示不同个体之间的属性关系，在本发明中，采用W3C标准提供的OWL（WebOntology Language）语言作为统一的知识表达语言；
3、所述分布式文件存储用于存储一些知识所需的文件，如人脸库、语义地图、三维物体库等；
4、所述数据库负责提供结构化数据和知识图谱的存储。
且知识库模块主要提供常识知识、场景知识和技能知识三类知识：
1、常识知识提供一些常识性的通用知识，如水杯是水的一种容器；
2、场景知识提供和场景相关的专用知识，如某个房间中的灯的打开方式、某公司的领导的名字等；
3、技能知识提供机器人所具有的技能及其具体执行方式，如某种特定型号的机械手抓取某个杯子的具体执行方式。
本发明所述智能算法模块提供云边端一体化的算法部署环境，为机器人提供场景任务中所需的智能感知及自主决策算法服务，如图6，并分析所述多机器人云控系统中的网络传输能力和计算资源负载情况，动态分配云边端计算资源；
1、智能感知算法：用于处理和分析执行模块所采集的感知数据，并根据分析结果对全局状态空间中的状态进行更新，根据业务类型可分为视觉感知、听觉感知和运动感知三部分；
2、自主决策算法：用于分析全局状态空间中的状态，并根据状态和场景任务需求动态的做出决策，并通过改变全局状态空间中的状态间接调度和协调场景中的机器人。自主决策算法可包括群体协同调度算法、基于知识库的任务动态规划算法等。
本发明中的智能算法模块为保障系统的响应速度、提高系统的网络容错性，该智能算法模块采用微服务的方式对各个算法服务进行管理，通过将云、边、端三种计算资源整体看作一个微服务集群，支持通过综合分析当前系统的网络传输能力和计算资源负载情况，为每个算法服务动态分配计算资源，并自动根据每个服务的负载情况进行动态的扩缩容。
本发明所述总控模块是系统的总控中心，根据场景任务的需求负责编排和调度整个场景中的多机器人协同完成指定作业任务，该模块由全局状态空间、任务编排语言极其对应的执行器三部分构成。
所述全局状态空间负责存储所述执行模块中各个设备自身的状态（如机器人当前所处的位置、运动状态等）及其所感知的场景环境中的状态（如场景中每个人的具体位置、每个物体的具体位置和三维姿态等），提供状态表达语言以及统一更新和调用接口；
任务编排语言提供统一的任务流程编写规则，用于将机器人所需执行的任务拆解成多个子任务，并依据所编写的规则将拆解出的子任务按任务流程进行组合，图7以行为树为例，给出了基于行为树的控制机器人抓取某样物体的任务编排流程。本发明所述任务编排语言可以是任何有向图形式的决策表示语言，常用的如决策树、有限状态机和行为树，这里仅以行为树为例进行阐述。
所述执行器负责读取根据所述任务编排语言编写的任务流程，然后依据所读取的流程协调调用所述知识库模块和智能算法模块中的服务，并将所获取的结果结合所述全局状态空间中的自身状态和场景环境中的状态，依据所读取的流程中的规则，转化成控制指令并通过所述通信模块发送给机器人。在图7所示的机器人抓取物体的任务中：
1、执行器根据行为树所编排的流程，首先在全局状态空间中查找目标物体的位置状态；
2、若未在全局状态空间中找到目标物体的位置信息，则向机器人发送指令，分别在地板上、抽屉里、柜子里进行寻找，并在这个过程中持续监控全局状态空间中的目标物体的位置信息；
3、若在全局状态空间中找到了目标物体的位置信息，则在全局状态中查找是否抓住目标的状态信息；
4、若目标未被抓住，则向机器人发送指令，依次尝试用一只手抓取和用两只手抓取，并在这个过程中持续监控全局状态空间中目标是否被抓住的状态；
5、若全局状态空间中的状态更新为目标被抓住，则结束任务。
综上所述，本发明构建了一种基于云边端混合计算环境的智能机器人云控系统，该系统由执行模块、数据通信模块、知识库模块、智能算法模块和总控模块共5个模块组成，这5个模块之间的协作方式如下：
（1）任务开始时，所述总控模块从知识库获取场景任务流程知识，并将该知识解析成所述的任务编排语言传递给执行器；所述智能算法模块从知识库获取常识、场景和技能知识，并启动相应的算法服务；
（2）所述总控模块中的执行器收到任务流程后，向通信模块中发送相应的初始化指令，用来启动所述执行模块中的机器人；
（3）所述执行模块中的机器人和传感设备将自身获取的感知数据通过所述通信模块发送至所述智能算法模块中的感知算法；
（4）所述智能算法模块中的感知算法将获取的传感数据进行处理和分析，依据分析结果对所述总控模块中的全局状态空间进行更新；
（5）所述总控模块中的执行器监控并分析全局状态空间中的状态，并依据所获取的任务流程中的规矩来决定是否向机器人发送指令以及发送的指令内容。
（6）所述智能算法模块中的自主决策算法监控并分析所述总控模块中的全局状态空间中的状态，并依据结果对全局状态空间进行更新，从而间接控制任务的执行流程。
（7）当所述总控模块中的执行器将任务流程全部执行完毕后，执行器通过所述通信模块向所述执行模块中的机器人发送停止指令；
（8）所述执行模块中的机器人收到指令后停止运行，并通过所述通信模块更新全局状态中的状态。
以上仅为本发明的实施实例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种基于云边端混合计算环境的多机器人云控系统，其特征在于，所述多机器人云控系统包括：执行模块、通信模块、知识库模块、智能算法模块和总控模块；
所述执行模块由机器人以及场景中所部署的传感设备组成，所述传感设备负责感知所处场景中的环境数据，并对环境数据进行预加工，发送给通信模块；所述机器人接收通信模块发送的控制指令，并依据所接收的控制指令执行相应的动作；
所述通信模块负责数据在执行模块、通信模块、知识库模块、智能算法模块和总控模块之间的传输和分发；所述数据包括：环境数据、控制指令以及各模块之间交互产生的中间数据；
所述知识库模块用于存储场景中所涉及的通用知识，并提供统一的知识表达语言；
所述智能算法模块为机器人提供场景任务中所需的智能感知及自主决策算法服务，并分析所述多机器人云控系统中的网络传输能力和计算资源负载情况，动态分配云边端计算资源；
所述总控模块负责编排和调度整个场景中的多机器人协同完成指定作业任务。
2.根据权利要求1所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述通信模块部署在云、边、端三种计算资源之上。
3.根据权利要求1所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述通信模块由多媒体流服务、文本消息服务和缓存服务三种服务构成，所述三种服务采用云边分布式部署。
4.根据权利要求3所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述多媒体流服务提供雷达点云、视频和音频数据流的分发，支持RTSP、RTMP、HLS、WebRTC和gRPC协议。
5.根据权利要求3所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述文本消息服务采用DDS分布式分发服务标准，在云边端环境下提供基于TCP/IP的UNICODE文本消息发布/订阅服务，支持轻量级物联网通信协议MQTT。
6.根据权利要求3所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述缓存服务在云边计算环境下提供基于系统内存的数据缓存服务，支持UNICODE文本数据和二进制数据的缓存，并为每条数据提供唯一的临时访问接口。
7.根据权利要求1所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述总控模块包含任务编排语言、全局状态空间和执行器。
8.根据权利要求7所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述任务编排语言提供统一的编写规则，用于将机器人所需执行的任务拆解成多个子任务，并依据所编写的规则将拆解出的子任务按任务流程进行组合。
9.根据权利要求7所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述全局状态空间负责存储所述执行模块中各个传感设备的自身状态及其所感知的场景环境中的状态，提供状态表达语言以及统一更新和调用接口。
10.根据权利要求7所述基于云边端混合计算环境的多机器人云控系统，其特征在于，所述执行器负责读取根据所述任务编排语言编写的任务流程，然后依据所读取的流程协调调用所述知识库模块和智能算法模块中的服务，并将所获取的结果结合所述全局状态空间中的自身状态和场景环境中的状态，依据所读取的流程中的规则，转化成控制指令并通过所述通信模块发送给机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434077.1A CN112394701A (zh) | 2020-12-10 | 2020-12-10 | 一种基于云边端混合计算环境的多机器人云控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434077.1A CN112394701A (zh) | 2020-12-10 | 2020-12-10 | 一种基于云边端混合计算环境的多机器人云控系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112394701A true CN112394701A (zh) | 2021-02-23 |
Family
ID=74625164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011434077.1A Pending CN112394701A (zh) | 2020-12-10 | 2020-12-10 | 一种基于云边端混合计算环境的多机器人云控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112394701A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327442A (zh) * | 2021-04-30 | 2021-08-31 | 广州中国科学院软件应用技术研究所 | 一种基于端云融合的协同控制系统及方法 |
| CN113325813A (zh) * | 2021-05-28 | 2021-08-31 | 南京莱科沃德智能科技有限公司 | 一种嵌入式多机器人协同任务分配与控制系统及装置 |
| CN116713992A (zh) * | 2023-06-12 | 2023-09-08 | 之江实验室 | 一种用于人形机器人的电气控制系统、方法及装置 |
| WO2023184241A1 (zh) * | 2022-03-30 | 2023-10-05 | 西门子股份公司 | 微服务的编排方法、装置、电子设备和可读介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080086754A1 (en) * | 2006-09-14 | 2008-04-10 | Sbc Knowledge Ventures, Lp | Peer to peer media distribution system and method |
| CN106933246A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 一种多无人机的复杂任务规划方法 |
| CN107948254A (zh) * | 2017-11-10 | 2018-04-20 | 上海华讯网络系统有限公司 | 混合云平台的大数据处理框架编排系统及方法 |
| CN109240821A (zh) * | 2018-07-20 | 2019-01-18 | 北京航空航天大学 | 一种基于边缘计算的分布式跨域协同计算与服务系统及方法 |
| CN109995546A (zh) * | 2017-12-29 | 2019-07-09 | 中国科学院沈阳自动化研究所 | 边缘计算与云计算协同的智能工厂自动化系统体系架构 |
| CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
| CN110308753A (zh) * | 2019-06-06 | 2019-10-08 | 上海交通大学 | 一种智能农业机器人云控制系统及方法 |
| CN110661999A (zh) * | 2018-06-29 | 2020-01-07 | 江苏三棱智慧物联发展股份有限公司 | 一种基于大数据的视频监控系统 |
| CN111273892A (zh) * | 2020-02-13 | 2020-06-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于云端技术和边缘计算实现智能机器人的方法 |
| CN111371904A (zh) * | 2020-03-18 | 2020-07-03 | 交通运输部公路科学研究院 | 云边端协同的高速公路云控系统及控制方法 |
-
2020
- 2020-12-10 CN CN202011434077.1A patent/CN112394701A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080086754A1 (en) * | 2006-09-14 | 2008-04-10 | Sbc Knowledge Ventures, Lp | Peer to peer media distribution system and method |
| CN106933246A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 一种多无人机的复杂任务规划方法 |
| CN107948254A (zh) * | 2017-11-10 | 2018-04-20 | 上海华讯网络系统有限公司 | 混合云平台的大数据处理框架编排系统及方法 |
| CN109995546A (zh) * | 2017-12-29 | 2019-07-09 | 中国科学院沈阳自动化研究所 | 边缘计算与云计算协同的智能工厂自动化系统体系架构 |
| CN110661999A (zh) * | 2018-06-29 | 2020-01-07 | 江苏三棱智慧物联发展股份有限公司 | 一种基于大数据的视频监控系统 |
| CN109240821A (zh) * | 2018-07-20 | 2019-01-18 | 北京航空航天大学 | 一种基于边缘计算的分布式跨域协同计算与服务系统及方法 |
| CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
| CN110308753A (zh) * | 2019-06-06 | 2019-10-08 | 上海交通大学 | 一种智能农业机器人云控制系统及方法 |
| CN111273892A (zh) * | 2020-02-13 | 2020-06-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于云端技术和边缘计算实现智能机器人的方法 |
| CN111371904A (zh) * | 2020-03-18 | 2020-07-03 | 交通运输部公路科学研究院 | 云边端协同的高速公路云控系统及控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李峰，王战，范海东等: ""基于机器人的电厂泵房无人值守系统应用研究"", 《机器人技术与应用》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327442A (zh) * | 2021-04-30 | 2021-08-31 | 广州中国科学院软件应用技术研究所 | 一种基于端云融合的协同控制系统及方法 |
| CN113325813A (zh) * | 2021-05-28 | 2021-08-31 | 南京莱科沃德智能科技有限公司 | 一种嵌入式多机器人协同任务分配与控制系统及装置 |
| WO2023184241A1 (zh) * | 2022-03-30 | 2023-10-05 | 西门子股份公司 | 微服务的编排方法、装置、电子设备和可读介质 |
| CN116713992A (zh) * | 2023-06-12 | 2023-09-08 | 之江实验室 | 一种用于人形机器人的电气控制系统、方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112394701A (zh) | 一种基于云边端混合计算环境的多机器人云控系统 | |
| Chen et al. | Edge computing in IoT-based manufacturing | |
| Wan et al. | Artificial intelligence for cloud-assisted smart factory | |
| JP5684911B2 (ja) | クラウドロボットシステムおよびその実現方法 | |
| CN112181382B (zh) | 一种基于软件定义的工业智能控制系统 | |
| CN109889575B (zh) | 一种边缘环境下的协同计算平台系统及方法 | |
| CN111885550B (zh) | 一种分布式自主移动机器人调度系统 | |
| EP3479972A1 (en) | Robot tasks scheduling process | |
| JP4577422B2 (ja) | 情報処理システム及び情報処理方法、ロボットの制御システム及び制御方法、並びコンピュータ・プログラム | |
| CN110647380A (zh) | 用于支持边缘计算的超融合服务器系统 | |
| CN108449383A (zh) | 分布式实时移动微云计算系统 | |
| CN113572815B (zh) | 一种跨异构平台的通信技术方法、系统及介质 | |
| Filip et al. | Data capsule: Representation of heterogeneous data in cloud-edge computing | |
| Wang et al. | A new data processing architecture for multi-scenario applications in aviation manufacturing | |
| El Baz | IoT and the need for high performance computing | |
| CN108881408A (zh) | 一种基于物联网平台的多业务运行系统 | |
| Liu et al. | Summary of cloud robot research | |
| Hu et al. | Software-defined edge computing (SDEC): Principles, open system architecture and challenges | |
| CN112291728A (zh) | 基于5g网络的私有行业应用平台实现架构 | |
| US11212189B2 (en) | Operation information system based on pervasive computing | |
| Wang et al. | Cloud-edge collaborative industrial robotic intelligent service platform | |
| Aguiar et al. | Cloudthinking as an intelligent infrastructure for mobile robotics | |
| CN108145714A (zh) | 一种服务型机器人的分布式控制系统 | |
| US20230156074A1 (en) | Multi-cloud edge system | |
| Biswas et al. | A middleware-driven architecture for information dissemination in distributed sensor networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210223 |
|
| RJ01 | Rejection of invention patent application after publication |