CN115695136B - 一种多源数据分布式嵌入式处理装置及其按需配置方法 - Google Patents
一种多源数据分布式嵌入式处理装置及其按需配置方法 Download PDFInfo
- Publication number
- CN115695136B CN115695136B CN202211715031.6A CN202211715031A CN115695136B CN 115695136 B CN115695136 B CN 115695136B CN 202211715031 A CN202211715031 A CN 202211715031A CN 115695136 B CN115695136 B CN 115695136B
- Authority
- CN
- China
- Prior art keywords
- module
- task
- cluster
- computing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开了一种多源数据分布式嵌入式处理装置及其按需配置方法,包括输入输出接口模块、路由总线模块、计算集群模块和存储集群模块;输入输出接口模块用于接收各个传感器数据和控制反馈数据,并将系统处理后的数据输出;路由总线模块将不同数据格式转换成统一的网络协议,以消息主题的形式进行发布,以提供给计算集群模块、存储集群模块以及外部上位机订阅,同时负责内部模块之间的资源监控与任务调度;计算集群模块由若干边缘计算模组组成,分别使用光纤网络接入路由总线模块;采用无中心节点的分布式架构实现集群协同;存储集群模块保存输入输出接口模块输出的全部数据。本发明可用于小型海上平台多源数据的综合信息处理与任务辅助决策。
Description
技术领域
本发明涉及应用于海上平台的计算机网络及数据处理技术领域,尤其是涉及一种多源数据分布式嵌入式处理装置及其按需配置方法,特别是一种无中心节点、任务驱动的分布式嵌入式处理装置,具有可靠性高、实时性强的特点,可用于小型海上平台多源数据的综合信息处理与任务辅助决策。
背景技术
目前,受制于小型海上平台尤其是潜航器的小体积和综合信息处理能力,其智能化程度严重不足,无法适应复杂多变的水下环境。在完全无人参与条件下,诸多海上无人平台不能完全实现自主智能控制,部署使用灵活性差。传统的海上无人平台信息处理、分析与决策架构如图1所示。
以上架构存在如下问题:
数据链路单一、容错率低。所有模块所有信息均通过路由总线模块进行数据转发,故障率高。
模块相对独立,信息利用率低。有效提取信息无法指导系统决策,任务执行的灵活性低。
对于复杂任务,信息处理能力严重不足。如,需要调用深度学习框架时,单一模块的计算能力制约了处理的实时性。
因此,以导航、识别、探测、定位、任务/作业等为核心的传统海上无人平台架构计算量大,人工参与环节多,不能满足小型无人平台的发展需求。受限于计算水平、空间大小、任务需求等因素,小型海上无人平台亟需一种模块化适用的微型嵌入式处理装置,以实现其自主智能的任务执行。此外,单独的边缘计算模块计算能力薄弱,并发处理能力差,也严重影响小型海上无人平台的实时任务处理。
采用分布式思想,将多个边缘计算模块进行组合,可实现任务的并行处理。专利申请202110722889.4提出了一种微型综合航电处理核心机,能够实现数据的分模块处理,但其各个模块只能处理对应任务,在处理较复杂问题时能力不足。授权专利ZL201310741037.5提出了一种无中心节点计算机网络的任务调度方法,能够自动化选择最优节点,实现任务调度,但其只能执行单一任务,不适用于情况复杂的水下任务处理需求。
发明内容
针对现有技术存在的问题,本发明提供了一种无中心节点和任务驱动的多源数据分布式嵌入式处理装置及其按需配置方法,不但可以独立执行单一任务,也可以分布式执行较复杂任务,适用于小型海上无人平台的多源数据处理需求。
为实现上述目的,本发明提供一种多源数据分布式嵌入式处理装置,所述处理装置包括输入输出接口模块、路由总线模块、计算集群模块和存储集群模块;其中,
输入输出接口模块用于接收各个传感器数据和控制反馈数据,并将系统处理后的数据输出至控制机构执行机动;并且发送至决策机构提供辅助建议;以及将数据共享给其他海上无人平台或作业平台;
路由总线模块将不同数据格式转换成统一的网络协议,并以消息主题的形式进行发布,以提供给计算集群模块、存储集群模块以及外部上位机订阅;
计算集群模块由若干边缘计算模组组成,并分别使用光纤网络接入路由总线模块;采用无中心节点的分布式架构实现集群协同;
存储集群模块保存输入输出接口模块输出的全部数据,以供计算集群模块及外部设备的历史查询与实时使用,同时存储计算集群模块的运算结果,返回给输入输出接口模块或提供给外部显示设备实现数据可视化。
进一步,所述处理装置还包括电源模块和散热模块,电源模块对各个模块进行供电;散热模块为处理装置提供散热。
进一步,输入输出接口模块接收惯性导航数据、声学导航数据、声学探测数据和控制反馈数据;输入输出接口模块由调试视频输出口、标准以太网口、标准RS232串口、标准RS485串口、标准输入输出音频口、USB接口和状态指示灯组成,状态指示灯包括电源状态指示灯、任务状态指示灯和异常状态指示灯。
进一步,路由总线模块包括主交换单元、备交换单元、主网络信息接口、备网络信息接口、主信号转接口、备信号转接口、主智能流程机器人、备智能流程机器人和数据插槽;其中主交换单元、备交换单元位于路由总线模块内部,用于将输入输出接口模块的数据按照一定的协议格式要求作为消息向其他需要数据的模块发布,并保障内部模块之间的通信;主网络信息接口和备网络信息接口能够实现路由总线模块与计算集群模块和输入输出接口模块之间数据的传输;主信号转接口和备信号转接口对不能直接与输入输出接口模块、计算集群模块和存储集群模块进行数据传输的接口进行指定协议的转换,使其能够传输数据。
进一步,计算集群模块中的若干个边缘计算模组作为子节点,子节点之间通过光纤网络进行通信;边缘计算模组的数量定义为集群规模,为了满足分布式复杂任务执行需求,集群规模大于等于3;每个子节点之间、子节点与路由总线模块之间的通信采用订阅-发布消息机制。
进一步,存储集群模块由若干嵌入式存储器组成;嵌入式存储器数量与集群规模对应;嵌入式存储器负责保存输入输出模块的全部数据,以供核心处理模块的历史查询与实时使用,同时保存计算集群模块的计算结果;在接收到需要执行的任务后,路由总线模块获取所有边缘计算模组的资源状态,生成模组资源状态表,并根据其评估模组的剩余计算能力,将任务发送给某一模组执行,任务完成后,自动释放计算资源,并将任务执行结果发送给路由总线模块,以供存储集群模块保存并且在上位机显示。
另一方面,本发明提供一种多源数据分布式嵌入式处理装置的按需配置方法,所述方法通过本发明的多源数据分布式嵌入式处理装置实现,所述方法包括如下步骤:
S1、路由总线模块获取所有边缘计算模组的资源状态,生成模组资源状态表,并根据评估得出的各个模组的剩余计算能力,各个模组的剩余计算能力的计算方法如下:对cpu使用率、内存占用率、存储占用率和板载温度这四个参数进行权重赋值,其中cpu使用率UR_cpu的权重为W1,内存占用率UR_mem的权重为W2,存储占用率UR_stor的权重为W3,板载温度Temp的权重为W4,将100减去其加权之和定义为模组的剩余计算能力Rc,值越大说明剩余计算能力越高;具体计算公式如下:
Rc=100-(UR_cpu*W1+UR_mem*W2+UR_stor*W3+Temp*W4)
其中,UR_cpu、UR_mem、UR_stor、Temp的值均由每个微型高性能边缘计算模组401反馈获得;
将每个边缘计算模组的剩余计算能力Rc降序排列,选择剩余计算能力最高的N个模组参与组成任务执行集群;若出现剩余计算能力Rc值相同,则将UR_cpu的值较低的排序靠前;
S2、路由总线模块选择将剩余计算能力最高的边缘计算模组作为主节点,其他N-1个模组作为从节点,并将从节点管理权转移给主节点,由主节点统一调度从节点资源协同完成特定任务;
S3、在集群任务完成后,主节点自动释放包括自己在内的所有节点资源。
进一步,路由总线模块中的主智能流程机器人和备智能流程机器人以批次处理模式连续自动化执行操作完成以下工作:
a.查询微型高性能边缘计算模组的资源状态生成实时资源表;
b.对不同的任务分配合适的集群规模;
c.对单个或者计算集群里异常的微型高性能边缘计算模组进行替换操作;
当有任务需要处理时,智能流程机器人会查询边缘计算模组的资源状态,从而生成实时资源表以供其他任务的调度分配;智能流程机器人根据不同的任务自动分配合适的集群规模;
若在任务处理过程中,智能流程机器人通过子节点心跳查询到,单个边缘计算模组或分配的计算集群中的某一边缘计算模组状态异常,不能继续处理当前任务,则执行以下处理措施:
d.对于单个边缘计算模组,智能流程机器人查询其他的边缘计算模组的资源状态,如果边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一边缘计算模组,重复执行此步骤,直至确定可以执行的边缘计算模组;或
e.对于计算集群中的边缘计算模组,不需要重新对任务分配相应的计算集群规模,只需要将其中异常的边缘计算模组替换,查询替换操作同单个边缘计算模组。
进一步,其中装置执行与信息流程包括如下步骤:
步骤T1:通过输入输出接口模块读取多源数据进入嵌入式处理装置,并转换协议格式;
步骤T2:路由总线模块根据任务类型分配给计算集群模块中执行该任务的具体计算模组,任务类型包括导航任务、探测任务、识别任务、定位任务、控制任务和/或要素解算任务;
步骤T3:读取计算集群模块的实时资源表,并向边缘计算模组发送可否执行的命令,如果实施资源表显示该边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一边缘计算模组,重复执行步骤T3,直至确定可以执行的边缘计算模组;
步骤T4:任务开始执行,根据任务指令,确定是否需要多个边缘计算模组协同以及需要的数量,并读取实时资源表,将任务执行模组作为主节点,其他若干空闲边缘计算模组作为从节点,分组搭建可以协同的分布式系统,否则转入步骤T6;
步骤T5:分布式系统开始协同工作,接收数据并执行任务,转入步骤T7;
步骤T6:单个边缘计算模组可以执行的任务则自动接收数据并执行任务;
步骤T7:结果返回,存储数据、过程及结果;
步骤T8:结果通过输入输出接口模块返回给需要的外部设备。
进一步,集群共同执行任务时,主智能流程机器人根据数据代理要求、节点负载表及节点实时资源选择若干计算集群子节点,并利用分布式机器学习子模块进行统一管理,同时也通过心跳和查询来监控每个子节点的状态;分布式机器学习子模块采用即插即用,即如果某个子节点出现问题,其他子节点在主智能流程机器人的统一调度下自动补足出问题的子节点,实现集群的自动化流转。
本发明提供了一种无中心节点、任务驱动的分布式嵌入式处理装置,通过对多个计算模组的评估筛选出计算能力最优的模组执行任务,具有可靠性高、自动化程度高、实时性强的特点,可用于小型海上平台多源数据的综合信息处理与任务辅助决策。
附图说明
图1示出了现有技术中传统海上无人平台信息处理、分析与决策架构示意图;
图2示出了根据本发明实施例中多源数据分布式嵌入式处理装置结构示意图;
图3示出了根据本发明实施例中多源数据分布式嵌入式处理装置的连接关系示意图;
图4示出了根据本发明实施例中输入输出接口模块结构示意图;
图5示出了根据本发明实施例中散热模块结构示意图;
图6示出了根据本发明实施例中路由总线模块结构示意图;
图7示出了根据本发明实施例中计算集群模块结构示意图;
图8示出了根据本发明实施例中存储集群模块结构示意图;
图9示出了根据本发明实施例中电源模块结构示意图;
图10示出了根据本发明实施例中微型高性能边缘计算模组结构示意图;
图11示出了根据本发明实施例中计算集群模块和路由总线模块通信示意图;
图12示出了根据本发明实施例中存储集群模块和路由总线模块通信示意图;
图13示出了根据本发明实施例中智能流程机器人工作流程示意图;
图14示出了根据本发明实施例中装置执行与信息流程示意图;
图15示出了根据本发明实施例中子节点执行与信息流程示意图;
图16示出了根据本发明实施例中独立任务应用流程示意图;
图17示出了根据本发明实施例中集群任务应用流程示意图。
具体实施方式
下面将结合附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合图2-图17对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
第一方面,本发明提出一种多源数据分布式嵌入式处理装置。多源数据分布式嵌入式处理装置的架构如图2和3所示,包括输入输出接口模块1、散热模块2、路由总线模块3、计算集群模块4、存储集群模块5和电源模块6。其中,输入输出接口模块1包括网络接口、串行接口、USB接口等;路由总线模块3负责将外部的不同数据格式转换成统一的网络协议,并以消息主题的形式进行发布;计算集群模块4为若干个微型高性能边缘计算模组,模组之间通过光纤网络接入路由总线模块3进行通信连接,采用无中心节点的分布式架构实现集群协同;存储集群模块5聚合多个存储设备中的存储空间形成统一访问接口和管理界面的存储池。
其中,输入输出接口模块1的输入来源包括但不限于:惯性导航、测速仪、磁探仪、前视声呐、侧扫声呐、水听器、多波束、压力传感器、深度传感器、控制反馈及其他传感器数据等。输入输出接口模块从上述输入来源接收惯性导航数据、声学导航数据、声学探测数据、控制反馈数据及其他传感器数据等多源信息,并将系统处理后的数据输出至舵机、电机等机构执行;并且发送至决策机构提供目标探测辅助、目标要素解算辅助、运动规划辅助、控制指令等辅助建议;以及通过通信方式将数据共享给其他海上无人平台或作业平台,通信方式包括但不限于WIFI、数传电台、北斗卫星通信或水声通信等。如图4所示,其中,输入输出接口模块1由调试视频输出口101、两个标准以太网口102、标准RS232串口103、标准RS485串口104、标准输入输出音频口105、两个USB接口106和状态指示灯107组成,状态指示灯107包括电源状态指示灯10701、任务状态指示灯10702和异常状态指示灯10703。其中,调试视频输出口101可以与外部显示器连接,显示特定微型高性能边缘计算模组401的视频信息,实现图像信号和音频信号的传输。外部计算机使用标准以太网口102连入路由总线模块3,通过IP地址访问系统内计算集群模块4和存储集群模块5。带网络接口的传感器也可以直接通过标准以太网口102接入路由总线模块3。标准RS232串口103和标准RS485串口104可以连接对应的串口设备和/或传感器。标准输入输出音频口105使用音频连接线与设备和/或传感器相连接,实现音频信号的输入与输出。USB接口106连接带USB传输的设备和/或传感器。通电状态下,装置自检正常,电源状态指示灯10701亮;任务正在执行,任务状态指示灯10702亮;任务无法执行,异常状态指示灯10703亮。
路由总线模块3将输入输出接口模块1的数据按照预设协议格式要求作为消息向其他需要数据的模块以及外部设备发布,并负责内部模块之间的资源监控与任务调度。路由总线模块3负责将外部的不同数据格式转换成统一的网络协议,并以消息主题的形式进行发布,以提供给系统内的计算集群模块4、存储集群模块5以及外部上位机订阅。如图6所示,路由总线模块3由主交换单元301、备交换单元302、主网络信息接口30101、备网络信息接口30201、主信号转接口30102、备信号转接口30202、主智能流程机器人30103、备智能流程机器人30203和数据插槽303组成。主交换单元301、备交换单元302位于路由总线模块3内部,需要将输入输出接口模块的数据按照一定的协议格式要求作为消息向其他需要数据的模块发布,并保障内部模块之间的通信。主网络信息接口30101和备网络信息接口30201能够实现路由总线模块3与计算集群模块4和输入输出接口模块1数据的传输。主信号转接口30102和备信号转接口30202负责对不能直接与输入输出接口模块1、计算集群模块4和存储集群模块5进行数据传输的接口进行指定协议的转换,使其能够传输数据。
如图7所示,计算集群模块4由若干微型高性能边缘计算模组401组成,并分别使用光纤网络接入路由总线模块3,既可以以单个模组执行单一任务,也可以以多个模组组成计算集群,分布式执行复杂任务。其中若干个微型高性能边缘计算模组作为子节点,子节点数量称为集群规模。每个子节点与模块采用订阅-发布消息机制,子节点之间通过光纤网络进行通信。微型高性能边缘计算模组401的数量定义为集群规模,为了满足分布式复杂任务执行需求,集群规模一般不小于3,微型高性能边缘计算模组401定义为子节点。每个子节点之间、子节点与路由总线模块3的通信采用订阅-发布消息机制。
存储集群模块5由若干微型嵌入式存储器组成,负责保存输入输出接口模块的全部数据,以供计算集群模块及外部设备的历史查询与实时使用,同时存储计算集群模块4的运算结果,返回给输入输出接口模块1或提供给外部显示设备实现数据可视化。既可以单个存储微型高性能边缘计算模组数据,也可以构成分布式存储单元存储大型数据。如图8所示,存储集群模块5由若干微型嵌入式存储器501组成。最优情况下,微型嵌入式存储器501数量与集群规模对应。微型嵌入式存储器501负责保存输入输出模块的全部数据,以供核心处理模块的历史查询与实时使用,同时保存计算集群模块4的计算结果。
电源模块6对各个模块进行供电。电源模块6包含电池组和外部供电接口,既可在无外部供电的情况下连续工作若干小时,也可以外部供电持续工作。如图9所示,电源模块6由供电电池组601、外部供电接口602组成。供电电池组601位于电源模块6及存储集群模块5底部,实现对各个模块供电。外部供电接口602可外接电源。
散热模块2为装置提供散热。散热模块2通过主动散热技术,以降低系统内部温度。如图5所示,散热模块2由若干风扇201组成(具体风扇数量根据集群规模确定,例如集群规模为3,风扇数量不低于2)。风扇201位于散热模块2内部及计算集群模块4底部,实现对设备的散热。
如图10所示,其中,微型高性能边缘计算模组401由网络接口40101、微型视频口40102、核心板40103、固定螺母(包含40104A、40104B、40104C、40104D)和电源口40105组成,可优选为采用Arm架构的多核处理器及NVIDIA的多核心GPU、搭载VxWorks操作系统或Linux操作系统,如NvidiaTX2等。处理任务时,可单模组独立工作亦可多模组协同工作,处理不同的任务时所需的微型高性能边缘计算模组401数量可能会不同。
在接收到需要执行的任务后,路由总线模块获取所有微型高性能边缘计算模组401的资源状态,生成模组资源状态表,并根据其评估模组的剩余计算能力,将任务发送给某一模组执行,任务完成后,自动释放计算资源,并将任务执行结果发送给路由总线模块,以供存储集群模块保存并且在上位机显示。
如图11所示,若干微型高性能边缘计算模组401组成计算集群模块4,模组之间通过光纤网络接入路由总线模块进行通信,采用无中心节点的分布式架构实现集群协同。
另一方面,本发明提出一种多源数据分布式嵌入式处理装置的按需配置方法,根据任务规模与需求,选择部分微型高性能边缘计算模组组成任务执行集群,具体步骤如下:
S1、路由总线模块获取所有微型高性能边缘计算模组401的资源状态,生成模组资源状态表;其中资源状态表里的参数包括cpu使用率、内存占用率、存储占用率和板载温度;计算每个边缘计算模组的剩余计算能力并降序排列,选择剩余计算能力最高的N个模组参与组成任务执行集群;
具体地,边缘计算模组的剩余计算能力计算方法如下:对cpu使用率、内存占用率、存储占用率和板载温度这四个参数进行权重赋值,其中cpu使用率UR_cpu(其范围为0-100,单位%)的权重为W1,内存占用率UR_mem(其范围为0-100,单位%)的权重为W2,存储占用率UR_stor(其范围为0-100,单位%)的权重为W310%,板载温度Temp(其范围为0-100,单位摄氏度)的权重为W410%,将100减去其加权之和定义为模组的剩余计算能力Rc,值越大说明剩余计算能力越高;具体计算公式如下:
Rc=100-(UR_cpu*W1+UR_mem*W2+UR_stor*W3+Temp*W4)
其中,UR_cpu、UR_mem、UR_stor、Temp的值均由每个微型高性能边缘计算模组401反馈获得。优选cpu使用率UR_cpu的权重W1为40%;内存占用率UR_mem的权重W2为40%;存储占用率UR_stor的权重 W 3为10%,板载温度Temp的权重W4为10%。
将每个微型高性能边缘计算模组401的剩余计算能力Rc降序排列,优先选择剩余计算能力高的模组参与组成任务执行集群。若Rc值相同,则将UR_cpu较低的排序靠前。默认情况下,N=3,即集群调用3个模组,具体模组调用情况可以通过参数进行配置。
另外,考虑一些极端情况,四个参数中任意一个数值大于90的均不参与排序。
例如,各个微型高性能边缘计算模组的参数如下表所示:
于是,路由总线模块自动的选择前3个模组参与组建集群,并在任务结束标志到来前,将这3个模组自动剔除下次的集群排序中。
S2、路由总线模块选择将剩余计算能力最高的边缘计算模组作为主节点,其他N-1个模组作为从节点,并将从节点管理权转移给主节点,由主节点统一调度从节点资源协同完成特定任务;
S3、在集群任务完成后,主节点自动释放包括自己在内的所有节点资源。
微型嵌入式存储器负责存储数据。如果单个微型嵌入式存储器不足以对数据进行存储,则会调用其他的微型嵌入式存储器协同对数据进行存储。
具体地,步骤S1中,生成模组资源状态表的方式如下:
如图12所示,存储集群模块5聚合多个存储设备中的存储空间形成统一访问接口和管理界面的存储池,对计算集群模块的结果和数据进行存储。
如图13所示,智能流程机器人是机器人流程自动化(Robotic ProcessAutomation,RPA)的一个应用分支,是指在各行业中使用软件自动化来实现原本由人类操作的计算机完成的操作。智能流程机器人可以自动处理大量重复的、基于规则的工作流程任务。例如,在银行的业务流程中,通常有纸质文件输入、文件票据验证、从电子邮件和文件中提取数据、跨系统数据迁移、自动化IT应用操作等。这些工作可以由智能流程机器人准确快速地完成,可以减少人为错误,确保零错误,提高效率,并大大降低运营成本。智能流程机器人依靠先进的软件自动化技术,大大降低开发成本和开发周期,实现工作流程的自动化,提高生产力,降低成本。
智能流程机器人会“学习”人对任务做出的执行操作,(例如:文件的输入、数据的提取、文件的验证等。)并且当该任务或相似的任务再次出现时智能流程机器人会自动执行任务的操作步骤,实现工作流程的自动化。其中主智能流程机器人负责主交换单元,备智能流程机器人负责备交换单元,两个智能流程机器人功能相同,互为冗余。
智能流程机器人在设定的场景下无需人为干预,以批次处理模式连续完成相关操作,可以自动化执行操作完成以下工作:
a.查询微型高性能边缘计算模组的资源状态生成实时资源表;
b.对不同的任务分配合适的集群规模,参数可配置;
c.对单个或者计算集群里异常的微型高性能边缘计算模组进行替换操作;
当有任务需要处理时,智能流程机器人会查询微型高性能边缘计算模组的资源状态,从而生成实时资源表以供其他任务的调度分配。智能流程机器人会根据不同的任务自动分配合适的集群规模。
若在任务处理过程中,智能流程机器人通过心跳查询到,单个微型高性能边缘计算模组或分配的计算集群中的某一微型高性能边缘计算模组状态异常,不能继续处理当前任务,会有以下处理措施:
d.对于单个微型高性能边缘计算模组,智能流程机器人会查询其他的微型高性能边缘计算模组的资源状态,如果微型高性能边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一微型高性能边缘计算模组,重复执行此步骤,直至确定可以执行的微型高性能边缘计算模组。
e.对于计算集群中的微型高性能边缘计算模组,不需要重新对任务分配相应的计算集群规模,只需要将其中异常的微型高性能边缘计算模组替换即可,查询替换操作同单个微型高性能边缘计算模组。
如图14所示,多源数据分布式嵌入式处理装置执行与信息流程包括如下步骤:
步骤T1:多源数据通过输入输出接口模块读取进入嵌入式装置,并转换协议格式,以方便嵌入式装置进一步处理;
步骤T2:路由总线模块根据不同的任务(导航任务、探测任务、识别任务、定位任务、控制任务、要素解算任务等)分配给计算集群模块中执行该任务的具体计算模组;
步骤T3:读取计算集群模块的实时资源表,并向该具体微型高性能边缘计算模组发送可否执行的命令,如果实施资源表显示该微型高性能边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一微型高性能边缘计算模组,重复执行步骤T3,直至确定可以执行的微型高性能边缘计算模组。
步骤T4:任务开始执行,根据任务指令,确定是否需要多个微型高性能边缘计算模组协同以及需要的数量,并读取实时资源表,将任务执行模组作为主节点,其他若干空闲微型高性能边缘计算模组作为从节点,分组搭建可以协同的分布式系统,否则转入步骤T6;
步骤T5:分布式系统开始协同工作,接收数据并执行任务,转入步骤T7;
步骤T6:单个微型高性能边缘计算模组可以执行的任务则自动接收数据并执行任务;
步骤T7:结果返回,存储数据、过程及结果;
步骤T8:结果通过输入输出接口模块返回给需要的外部设备,如显示输出等。
如图15所示,单个微型高性能边缘计算模组401的执行流程如下:
步骤P1:初始化,建立无中心节点网络,上传子节点负载表及实时资源表;
步骤P2:启动子节点订阅服务,子节点订阅对应任务,非对应任务静默后台订阅,不激活状态下数据不作任何处理;
步骤P3:根据下发的任务或者其他子节点的协同请求,启动相关任务的配置解析服务;
步骤P4:任务流转,根据节点负载表及实施资源表,放弃执行任务,并流转到下一子节点执行;
步骤P5:执行任务,并更新节点负载表及实时资源表,若需要模组间协同,则向其他子节点发送模组间协同请求;
步骤P6:数据存储,结果存储,过程存储;
步骤P7:任务完成后,释放资源,并更新节点负载表及实时资源表。
其中,步骤T1-T8是多源数据分布式嵌入式处理装置完整执行流程,其中,T3和T4分别对应上述步骤S1和S2的具体执行过程。步骤P1-P7是单个微型高性能边缘计算模组401的执行流程。
如图16所示,外部数据通过输入/输出接口模块进入系统中,主信号转接口完成其他协议与网络协议的转换,主智能流程机器人根据数据代理要求、节点负载表及节点实时资源对相应的数据进行发布/订阅,并根据不同任务(导航任务、诊断任务、识别任务、定位任务、控制任务、要素解算任务等)确定执行对应任务的子节点m(m为对应执行的计算节点)以及相应的存储集群模块子节点n(n为对应执行的存储节点)。例如导航数据以“qrs/sub/navi”主题进行发布,指定的计算集群模块子节点m启动对应任务的数据订阅,同时启动相关导航解算程序,并将导航解算结果以“qrs/pub/navi”主题进行发布,指定的存储模块子节点n同时启动对“qrs/sub/navi”主题和“qrs/pub/navi”主题的订阅,将两个主题的数据都存入数据库中。另外,根据实时控制任务的需求,控制算法也实时订阅需要的主题,以完成对水下无人潜航器的控制。主智能流程机器人通过心跳和查询实时监控任务执行情况,当子节点心跳消失或上报故障时,自动启动另一子节点继续执行,保证任务执行过程中的不断线。
如图17所示,与独立任务不同,当需要集群共同执行任务时,主智能流程机器人根据步骤S1-S3选择的集群子节点,利用分布式机器学习子模块进行统一管理,同时也通过心跳和查询来监控评估每个子节点的状态。分布式机器学习子模块采用即插即用,即如果某个子节点出现问题,其他子节点在主智能流程机器人的统一调度下自动补足出问题的子节点,实现集群的自动化流转。评估方法包含心跳返回、负载性、任务的执行度。具体如下:
心跳返回:当前模组从时刻t-n到时刻t的心跳连接数c_hb/n;
负载性:当前模组的剩余计算能力Rc;
任务的执行度:任务已执行时间t_c/任务预估执行时间t_p;
其中n为自定义的观测评估时间长度,t为当前时刻,c_hb为节点自动返回,Rc按照前述公式求得,t_c为任务记录的时长,t_p为任务预置的执行时长。
计算每隔2*n时刻执行一次,以评估整个分布式集群的工作状态,同时,在任务完成后,计算任务执行效率,即取全部节点工作效率的平均值,
如果工作状态不佳,即计算得出任务工作效率低于20%,主智能流程机器人会自动在下次任务执行时增加集群数量,以满足任务执行需求。
在本说明书的描述中,参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外,本领域的技术人员可以在不产生矛盾的情况下,将本说明书中描述的不同实施例或示例以及其中的特征进行结合或组合。
上述内容虽然已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型等更新操作。
Claims (10)
1.一种多源数据分布式嵌入式处理装置,其特征在于,所述处理装置包括输入输出接口模块、路由总线模块、计算集群模块和存储集群模块;其中,
输入输出接口模块用于接收各个传感器数据和控制反馈数据,并将系统处理后的数据输出至控制机构执行;并且发送至决策机构提供辅助建议;以及将数据共享给其他海上无人平台或作业平台;
路由总线模块将不同数据格式转换成统一的网络协议,并以消息主题的形式进行发布,以提供给计算集群模块、存储集群模块以及外部上位机订阅,同时负责内部模块之间的资源监控与任务调度;
计算集群模块由若干边缘计算模组组成,并分别使用光纤网络接入路由总线模块;采用无中心节点的分布式架构实现集群协同;
存储集群模块保存输入输出接口模块输出的全部数据,以供计算集群模块及外部设备的历史查询与实时使用,同时存储计算集群模块的运算结果,返回给输入输出接口模块或提供给外部显示设备实现数据可视化。
2.根据权利要求1所述的一种多源数据分布式嵌入式处理装置,其特征在于,所述处理装置还包括电源模块和散热模块,电源模块对各个模块进行供电;散热模块为处理装置提供散热。
3.根据权利要求1所述的一种多源数据分布式嵌入式处理装置,其特征在于,输入输出接口模块接收惯性导航数据、声学导航数据、声学探测数据和控制反馈数据;输入输出接口模块由调试视频输出口、标准以太网口、标准RS232串口、标准RS485串口、标准输入输出音频口、USB接口和状态指示灯组成,状态指示灯包括电源状态指示灯、任务状态指示灯和异常状态指示灯。
4.根据权利要求3所述的一种多源数据分布式嵌入式处理装置,其特征在于,路由总线模块包括主交换单元、备交换单元、主网络信息接口、备网络信息接口、主信号转接口、备信号转接口、主智能流程机器人、备智能流程机器人和数据插槽;其中主交换单元、备交换单元位于路由总线模块内部,用于将输入输出接口模块的数据按照一定的协议格式要求作为消息向其他需要数据的模块发布,并保障内部模块之间的通信;主网络信息接口和备网络信息接口能够实现路由总线模块与计算集群模块和输入输出接口模块之间数据的传输;主信号转接口和备信号转接口对不能直接与输入输出接口模块、计算集群模块和存储集群模块进行数据传输的接口进行指定协议的转换,使其能够传输数据。
5.根据权利要求4所述的一种多源数据分布式嵌入式处理装置,其特征在于,计算集群模块中的若干个边缘计算模组作为子节点,子节点之间通过光纤网络进行通信;边缘计算模组的数量定义为集群规模,为了满足分布式复杂任务执行需求,集群规模大于等于3;每个子节点之间、子节点与路由总线模块之间的通信采用订阅-发布消息机制。
6.根据权利要求5所述的一种多源数据分布式嵌入式处理装置,其特征在于,存储集群模块由若干嵌入式存储器组成;嵌入式存储器数量与集群规模对应;嵌入式存储器负责保存输入输出模块的全部数据,以供核心处理模块的历史查询与实时使用,同时保存计算集群模块的计算结果;在接收到需要执行的任务后,路由总线模块获取所有边缘计算模组的资源状态,生成模组资源状态表,并根据其评估模组的剩余计算能力,将任务发送给某一模组执行,任务完成后,自动释放计算资源,并将任务执行结果发送给路由总线模块,以供存储集群模块保存并且在上位机显示。
7.一种多源数据分布式嵌入式处理装置的按需配置方法,所述方法通过权利要求1-6任一项所述的多源数据分布式嵌入式处理装置实现,其特征在于,所述路由总线模块实现集群功能包括如下步骤:
S1、路由总线模块获取所有边缘计算模组的资源状态,生成模组资源状态表,并根据评估得出的各个模组的剩余计算能力,各个模组的剩余计算能力的计算方法如下:对cpu使用率、内存占用率、存储占用率和板载温度这四个参数进行权重赋值,其中cpu使用率UR_cpu的权重为W1,内存占用率UR_mem的权重为W2,存储占用率UR_stor的权重为W3,板载温度Temp的权重为W4,将100减去其加权之和定义为模组的剩余计算能力Rc,值越大说明剩余计算能力越高;具体计算公式如下:
Rc=100-(UR_cpu*W1+UR_mem*W2+UR_stor*W3+Temp*W4)
其中,UR_cpu、UR_mem、UR_stor、Temp的值均由每个微型高性能边缘计算模组401反馈获得;
将每个边缘计算模组的剩余计算能力Rc降序排列,选择剩余计算能力最高的N个模组参与组成任务执行集群;若出现剩余计算能力Rc值相同,则将UR_cpu的值较低的排序靠前;
S2、路由总线模块选择将剩余计算能力最高的边缘计算模组作为主节点,其他N-1个模组作为从节点,并将从节点管理权转移给主节点,由主节点统一调度从节点资源协同完成特定任务;
S3、在集群任务完成后,主节点自动释放包括自己在内的所有节点资源。
8.根据权利要求7所述的一种多源数据分布式嵌入式处理装置的按需配置方法,其特征在于,路由总线模块中的主智能流程机器人和备智能流程机器人以批次处理模式连续自动化执行操作完成以下工作:
a.查询微型高性能边缘计算模组的资源状态生成实时资源表;
b.对不同的任务分配合适的集群规模;
c.对单个或者计算集群里异常的微型高性能边缘计算模组进行替换操作;
当有任务需要处理时,智能流程机器人会查询边缘计算模组的资源状态,从而生成实时资源表以供其他任务的调度分配;智能流程机器人根据不同的任务自动分配合适的集群规模;
若在任务处理过程中,智能流程机器人通过子节点心跳查询到,单个边缘计算模组或分配的计算集群中的某一边缘计算模组状态异常,不能继续处理当前任务,则执行以下处理措施:
d.对于单个边缘计算模组,智能流程机器人查询其他的边缘计算模组的资源状态,如果边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一边缘计算模组,重复执行此步骤,直至确定可以执行的边缘计算模组;或
e.对于计算集群中的边缘计算模组,不需要重新对任务分配相应的计算集群规模,只需要将其中异常的边缘计算模组替换,查询替换操作同单个边缘计算模组。
9.根据权利要求7所述的一种多源数据分布式嵌入式处理装置的按需配置方法,其特征在于,其中装置执行与信息流程包括如下步骤:
步骤T1:通过输入输出接口模块读取多源数据进入嵌入式处理装置,并转换协议格式;
步骤T2:路由总线模块根据任务类型分配给计算集群模块中执行该任务的具体计算模组,任务类型包括导航任务、探测任务、识别任务、定位任务、控制任务和/或要素解算任务;
步骤T3:读取计算集群模块的实时资源表,并向边缘计算模组发送可否执行的命令,如果实施资源表显示该边缘计算模组资源紧张,或者返回异常,则任务自动流转到下一边缘计算模组,重复执行步骤T3,直至确定可以执行的边缘计算模组;
步骤T4:任务开始执行,根据任务指令,确定是否需要多个边缘计算模组协同以及需要的数量,并读取实时资源表,将任务执行模组作为主节点,其他若干空闲边缘计算模组作为从节点,分组搭建可以协同的分布式系统,否则转入步骤T6;
步骤T5:分布式系统开始协同工作,接收数据并执行任务,转入步骤T7;
步骤T6:单个边缘计算模组可以执行的任务则自动接收数据并执行任务;
步骤T7:结果返回,存储数据、过程及结果;
步骤T8:结果通过输入输出接口模块返回给需要的外部设备。
10.根据权利要求9所述的一种多源数据分布式嵌入式处理装置的按需配置方法,其特征在于,集群共同执行任务时,主智能流程机器人根据数据代理要求、节点负载表及节点实时资源选择若干计算集群子节点,并利用分布式机器学习子模块进行统一管理,同时也通过心跳和查询来监控每个子节点的状态;分布式机器学习子模块采用即插即用,即如果某个子节点出现问题,其他子节点在主智能流程机器人的统一调度下自动补足出问题的子节点,实现集群的自动化流转。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211715031.6A CN115695136B (zh) | 2022-12-30 | 2022-12-30 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211715031.6A CN115695136B (zh) | 2022-12-30 | 2022-12-30 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115695136A CN115695136A (zh) | 2023-02-03 |
CN115695136B true CN115695136B (zh) | 2023-03-10 |
Family
ID=85057294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211715031.6A Active CN115695136B (zh) | 2022-12-30 | 2022-12-30 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115695136B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116352726B (zh) * | 2023-05-30 | 2023-08-01 | 成都航空职业技术学院 | 一种基于多源数据协同的机械臂控制方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101094231A (zh) * | 2007-07-10 | 2007-12-26 | 北京易路联动技术有限公司 | 一种分布式可同步的多源数据的控制方法和装置 |
CN103746838A (zh) * | 2013-12-26 | 2014-04-23 | 华北计算技术研究所 | 一种无中心节点计算机网络的任务调度方法 |
CN111694789A (zh) * | 2020-04-22 | 2020-09-22 | 西安电子科技大学 | 嵌入式可重构异构测定方法、系统、存储介质、处理器 |
CN113867965A (zh) * | 2021-10-09 | 2021-12-31 | 神州数码系统集成服务有限公司 | 分布式云管理系统、管理方法、计算机可读存储介质及应用 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022133996A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳晶泰科技有限公司 | 基于混合云计算平台的存储方法及系统 |
-
2022
- 2022-12-30 CN CN202211715031.6A patent/CN115695136B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101094231A (zh) * | 2007-07-10 | 2007-12-26 | 北京易路联动技术有限公司 | 一种分布式可同步的多源数据的控制方法和装置 |
CN103746838A (zh) * | 2013-12-26 | 2014-04-23 | 华北计算技术研究所 | 一种无中心节点计算机网络的任务调度方法 |
CN111694789A (zh) * | 2020-04-22 | 2020-09-22 | 西安电子科技大学 | 嵌入式可重构异构测定方法、系统、存储介质、处理器 |
CN113867965A (zh) * | 2021-10-09 | 2021-12-31 | 神州数码系统集成服务有限公司 | 分布式云管理系统、管理方法、计算机可读存储介质及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN115695136A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109855646B (zh) | 分布集中式自动驾驶系统和方法 | |
CN108762295B (zh) | 基于软件总线的一体化无人机控制系统 | |
CN115695136B (zh) | 一种多源数据分布式嵌入式处理装置及其按需配置方法 | |
CN110460369B (zh) | 基于卫星集群的星上云计算平台及其管理方法 | |
CN111158900B (zh) | 轻量化分布式并行计算系统及方法 | |
CN113612820A (zh) | 基于SuperEdge和EdgeXFoundry的云边端设备平台控制架构和方法 | |
CN101784968A (zh) | 控制节点网络规划装置及具此规划装置的系统 | |
CN109151030B (zh) | 一种物联网物体分布式交互系统、方法 | |
WO2021197353A1 (zh) | 数据分流方法、装置、设备及介质 | |
CN112838940A (zh) | 一种网络控制器框架和数据处理方法 | |
CN116112576A (zh) | 单系统与agv的连接方法、适配器、控制方法及装置 | |
CN113992713A (zh) | 车云通信方法、装置、电子设备及存储介质 | |
CN112073277A (zh) | 一种基于标准模块的卫星综合电子系统设计方法 | |
CN114793239A (zh) | 一种内河智能船舶域控制器功能实现的系统及方法 | |
EP4020108A1 (en) | Automated machine collaboration | |
CN111309488B (zh) | 无人机集群的计算资源共享方法与系统及计算机存储介质 | |
CN112180974A (zh) | 基于小型无人机的资源分布式协作方法及系统 | |
CN114936071A (zh) | 一种基于边缘计算的民机机载分布式仿真系统 | |
CN114546672A (zh) | 一种无人驾驶通信方法、装置、设备及存储介质 | |
CN112272131A (zh) | 一种兼容tbox远程诊断和实车诊断仪诊断的网关路由方法 | |
CN101169742B (zh) | 用于大规模并行处理系统的资源保留 | |
CN109344184A (zh) | 用于数据转换的自动化处理方法及装置 | |
CN115933504B (zh) | 行驶控制系统,行驶控制方法及装置 | |
Grueneberg et al. | Stream Processing for ROS-based Application Development | |
Gobillot et al. | ESPRIT: overview of the vehicles road-train real-time architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |