CN117290363B - 一种面向救援活动的异构数据管理方法及系统 - Google Patents
一种面向救援活动的异构数据管理方法及系统 Download PDFInfo
- Publication number
- CN117290363B CN117290363B CN202311573551.2A CN202311573551A CN117290363B CN 117290363 B CN117290363 B CN 117290363B CN 202311573551 A CN202311573551 A CN 202311573551A CN 117290363 B CN117290363 B CN 117290363B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- search
- hash value
- original data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013523 data management Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 claims abstract description 125
- 238000013500 data storage Methods 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 abstract description 4
- 238000012034 trail making test Methods 0.000 description 33
- 238000012795 verification Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及数据存储管理技术领域，特别是指一种面向救援活动的异构数据管理方法及系统。一种面向救援活动的异构数据管理方法包括：通过微型无人机进行数据采集，获得原始数据、关键字以及元数据；将原始数据输入自适配存储系统进行存储，获得数据存储地址；将关键字、元数据和数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；接收到检索关键字，根据检索关键字，通过区块链以及自适配存储系统进行检索，获得检索原始数据以及检索根哈希值；根据存储根哈希值以及检索根哈希值进行校验，最终获得检索结果。本发明是一种基于ROS的安全存储且高效检索的多源异构数据管理系统。
Description
技术领域
本发明涉及数据存储管理技术领域，特别是指一种面向救援活动的异构数据管理方法及系统。
背景技术
随着人工智能技术的在救援活动领域的不断发展和应用，越来越多的任务需要多个代理协同完成，在危险、未知或危险环境中需要覆盖大物理空间的问题中表现出色。救援活动中采集的多源异构数据的存储、共享以及安全性是协同工作的重要基础。通过其所处的环境和探查设备携带的传感器，获取了丰富多样的数据，这些数据在形式、类型和质量上可能存在差异。这些多源异构数据蕴含了关于任务、环境和其他智能体状态的关键信息，为实现救援活动的整体理解和决策提供了关键要素。
广泛使用了开源机器人操作系统（Robot Operation System, ROS），它在群智系统中发挥了重要作用。ROS的优势在于简化了人工操作，提高了各种生产任务的效率。ROS使用基于消息的通信机制，允许不同的节点通过发布和订阅消息的方式进行通信。这种方式将不同模块之间的依赖关系解耦，使得系统更加灵活，具备更高的容错性。
然而基于ROS的群智系统在异构数据的存储、共享以及安全性等方面还存在一些亟待解决的问题。例如：在机器人异构数据存储方面，ROS通常会使用rosbag，将每个消息简单地存储在一个平面文件（bag file）中处理。该文件充当一个记录，可以回放，但不适用于更加复杂的查询任务，例如查询在特定时间段内发送的消息、查找机器人进入或离开特定状态的时间点等。在数据共享计算方面，缺乏全局知识或群机器人之间明确的通信模型是一个主要问题。传统群机器人系统完全依赖于相邻机器人之间的局部通信，并不维护集群内的全局知识。在安全性方面，一方面是存在数据被窃取、拦截等问题。攻击者可以利用发布-订阅模式从ROS中窃取存储的数据。同时，ROS节点之间传递的数据可能会被拦截或伪造，无法确保从ROS获取数据的完整性。
在现有技术中，缺乏一种基于ROS的安全存储且高效检索的多源异构数据管理系统。
发明内容
本发明实施例提供了一种面向救援活动的异构数据管理方法及系统。所述技术方案如下：
一方面，提供了一种面向救援活动的异构数据管理方法，该方法由电子设备实现，该方法包括：
通过救援活动中的微型无人机进行数据采集，获得原始数据；根据所述原始数据，获得关键字以及元数据；
将所述原始数据输入自适配存储系统进行存储，获得数据存储地址；
将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；
当接收到检索关键字时，根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值；
根据所述存储根哈希值以及所述检索根哈希值进行校验，获得检索校验结果；当所述检索校验结果为成功时，将所述检索原始数据发送给救援人员；当所述检索校验结果为失败时，将检索失败消息发送给救援人员。
其中，所述原始数据是指微型无人机中ROS节点发布的多源异构数据；所述原始数据用于描述微型无人机的运动状态以及环境状态。
可选地，所述将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值，包括：
将所述关键字、所述元数据和所述数据存储地址上传区块链；
根据所述关键字、所述元数据和所述数据存储地址，按照TMT结构进行数据构建，获得区块链存储数据；
根据所述区块链存储数据进行计算，得到存储根哈希值。
其中，所述TMT结构是一种结合默克尔树和默克尔-帕特里夏树的数据结构。
可选地，所述根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值，包括：
根据所述检索关键字，通过所述区块链进行检索，获得检索关键字对应存储地址；
根据所述检索关键字对应存储地址，通过所述自适配存储系统进行检索，获得检索原始数据；
根据所述检索原始数据进行计算，得到检索根哈希值。
另一方面，提供了一种面向救援活动的异构数据管理系统，该系统应用于一种面向救援活动的异构数据管理方法，该系统包括微型无人机、电子设备和区块链，其中：
所述微型无人机，用于通过救援活动中的微型无人机进行数据采集，获得原始数据；根据所述原始数据，获得关键字以及元数据；
所述电子设备，用于将所述原始数据输入自适配存储系统进行存储，获得数据存储地址；根据所述存储根哈希值以及所述检索根哈希值进行校验，获得检索校验结果；当所述检索校验结果为成功时，将所述检索原始数据发送给救援人员；当所述检索校验结果为失败时，将检索失败消息发送给救援人员；
所述区块链，用于将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；当接收到检索关键字时，根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值。
其中，所述原始数据是指微型无人机中ROS节点发布的多源异构数据；所述原始数据用于描述微型无人机的运动状态以及环境状态。
可选地，所述区块链，进一步用于：
将所述关键字、所述元数据和所述数据存储地址上传区块链；
根据所述关键字、所述元数据和所述数据存储地址，按照TMT结构进行数据构建，获得区块链存储数据；
根据所述区块链存储数据进行计算，得到存储根哈希值。
其中，所述TMT结构是一种结合默克尔树和默克尔-帕特里夏树的数据结构。
可选地，所述区块链，进一步用于：
根据所述检索关键字，通过所述区块链进行检索，获得检索关键字对应存储地址；
根据所述检索关键字对应存储地址，通过所述自适配存储系统进行检索，获得检索原始数据；
根据所述检索原始数据进行计算，得到检索根哈希值。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种面向救援活动的异构数据管理方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种面向救援活动的异构数据管理方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明提出一种面向救援活动的异构数据管理方法，采用区块链与自适配存储系统相结合的方式来补充机器人操作系统的数据存储缺陷，让ROS系统更好地管理和利用其异构数据，又可以通过区块链来确保数据在存储中的防篡改、可审计和可追溯。通过在区块头中加入改进的默克尔树结构，将链上交易数据与链下自适配存储系统中存储的原始数据通过模板进行映射，实现高效的机器人数据检索。TMT结合默克尔树与默克尔前缀树的优势，无需对底层存储结构做任何修改，并且适用于基于模板结构的机器人数据检索需求。根据关键字定位到TMT对应的节点位置，检验储存根哈希值和检索根哈希值的一致性，若相等则代表获取的原始数据没有被篡改，使验证次数大幅度减少。本发明是一种基于ROS的安全存储且高效检索的多源异构数据管理系统。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向救援活动的异构数据管理方法流程图；
图2是本发明实施例提供的一种异构数据结构示意图；
图3是本发明实施例提供的一种TMT数据结构示意图；
图4是本发明实施例提供的一种面向救援活动的异构数据管理系统框图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种面向救援活动的异构数据管理方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种面向救援活动的异构数据管理方法流程图，该方法的处理流程可以包括如下的步骤：
S1、通过救援活动中的微型无人机进行数据采集，获得原始数据；根据原始数据，获得关键字以及元数据。
其中，原始数据是指微型无人机中ROS节点发布的多源异构数据；原始数据用于描述微型无人机的运动状态以及环境状态。
一种可行的实施方式中，在救援活动中微型无人机通过超宽带（Ultra-Wideband，UWB）、惯性测量单元（Inertial Measurement Unit，IMU）、视觉传感器（Vision Sensor）、无线传感器（Wireless Sensor）等感知设备采集到距离值、角速度/>、加速度/>、图像数据/>等传感器数据作为机器人操作系统（Robot Operating System，ROS）节点采集的数据。
在ROS节点中，每个话题topic对应创建一个线程，负责将ROS消息转换为等效的JSON格式。订阅者Subscriber线程将准备好的JSON消息作为原始数据传递给自适配存储系统进行存储，异构数据结构如图2所示。
微型无人机采集的原始数据是ROS节点发布的topic对应的异构数据实体，这些实体可以包括传感器数据、无人机状态等。对于每个数据实体，都定义了相应的字段以存储的相关信息。例如，图像数据包含像素数据、图像尺寸、图像格式等字段。这些字段可以使用嵌套文档的方式进行表示，以支持复杂数据结构的存储。
鉴于以上对机器人数据特征的分析，本发明将机器人数据分为基本类型和复合类型。其中，基本类型包括：字符串型、数值型、布尔型、图片型和文件型。复合类型是由不同基本类型组合构成的，包括：范围型、数组型和容器型。范围型由数值型组成，表示两个数值的区间值；数组型由一个任意的基本类型T组成，表示一个有序值列表；容器型可以取集合中所有类型的一个值。
S2、将原始数据输入自适配存储系统进行存储，获得数据存储地址。
一种可行的实施方式中，基于自适配存储系统的异构数据存储和管理方法可以用于面对数据量大、数据类型多样的情况，以及需要快速查询和处理数据的场景。
本发明利用了GitHub（面向开源及私有软件项目的托管平台）中go-rosbag进行处理，将ROS系统所产生的bagfile平面文件(该类文件是用于存储带时间戳的ROS消息的特殊格式文件)解析为对应的数据结构，将解析后的数据作为原始数据集存入到自适配存储系统中，系统中的数据采集器接收用户上传的原始数据集，并使用已批准的模板将原始数据集规范化并转换为容器化数据集。
数据解析器和模式匹配器将把容器化的数据集解析为元数据、文本机器人数据和二进制文件等格式，由数据库适配器分别存储到适当的数据库中。将原始数据Odata存储于自适配存储系统中，同时获得原始数据在自适配存储系统重的存储地址。标准化后的数据集将有助于后续机器人数据的检索和计算分析。
控制程序将原始数据进行hash处理，并将原始数据的元数据（Metadata）、原始数据哈希值（Content Hash）以及自身签名（Sign）发送给区块链；区块链验证控制程序的签名是否有效，如若验证成功，则创建数据上传交易；若数据上传交易成功，并广播上传交易至控制程序；控制程序接收到上传成功结果后，将数据内容发送到自适配存储系统。
S3、将关键字、元数据和数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值。
可选地，将关键字、元数据和数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值，包括：
将关键字、元数据和数据存储地址上传区块链；
根据关键字、元数据和数据存储地址，按照TMT结构进行数据构建，获得区块链存储数据；
根据区块链存储数据进行计算，得到存储根哈希值。
一种可行的实施方式中，在ROS的客户端创建机器人数据模板，填写数据表单，包括原始数据和其对应的元数据等。Robot Controller起到中间件的作用，作为请求交易的转发方，将区块链和存储系统相隔离，区块链与存储系统之间的所有交互均通过RobotController，从而保障底层数据库的安全性。区块链负责保存关键字对应的元数据及原始数据库地址，并创建数据存储交易便于后续的数据溯源。LevelDB用于区块链的底层存储，用来存储和更新TMT结构。存储系统负责存储所有的原始数据。
自适配存储系统保存原始数据，通过弹性搜索（ElasticSearch，ES）算法提取关键字，构建“关键字（key）-元数据（Metadata）-数据库存储地址（DbA）”之间的映射；将倒排索引“key-DbA”返回至控制程序，并告知数据存储已经完成；控制程序收到存储完成消息后，告知ROS数据存储完成，并将key、Metadata、DbA以TMT格式存储到LevelDB中；LevelDB数据库维护并更新TMT。
其中，TMT结构是一种结合默克尔树和默克尔-帕特里夏树的数据结构。
一种可行的实施方式中，为了确保在数据生命周期内进行安全管理，本框架将自适配存储系统存储的原始数据的元数据/>存储在区块链上。这种方法实现了全面的数据审计，保证数据的完整性和可用性。
为了能够更适配于多源异构机器人数据的特征，方便后续地数据获取，在区块链中增加了一种数据结构（Template Merkle Trie，TMT），TMT是以默克尔树和MerklePatricia Trie（MPT）相结合而设计的，按照不同的topics生成对应的模板树Tx-MPT（代表topic的类型），所有Tx-MPT按照默克尔树的构造方法，最终计算得到TMTRootHash存储在区块头中，TMT数据结构如图3所示。
S4、当接收到检索关键字时，根据检索关键字，通过区块链以及自适配存储系统进行检索，获得检索原始数据以及检索根哈希值。
可选地，根据检索关键字，通过区块链以及自适配存储系统进行检索，获得检索原始数据以及检索根哈希值，包括：
根据检索关键字，通过区块链进行检索，获得检索关键字对应存储地址；
根据检索关键字对应存储地址，通过自适配存储系统进行检索，获得检索原始数据；
根据检索原始数据进行计算，得到检索根哈希值。
一种可行的实施方式中，在微型无人机和区块链等设备组成的救援系统中，可基于自适配存储系统存储的原始数据Odata以及区块链上存储的元数据Metadata和进行数据检索。本发明采用了一种基于TMT的数据检索及完整性验证方法，不仅可以基于TMT结构提升区块链上元数据的检索效率，而且还可以保障检索数据的真实性和完整性。
针对区块链自身检索效率会随着数据量的增多而不断下降的问题，TMT直接构建“<key,（Metadata,DbA）>”的映射关系，不再需要遍历整个区块链副本，也不需要将区块内部的所有交易数据进行反序列化后提取元数据，从而可以提升检索效率。同时，每个区块仅需要存储更新的键值对，不同区块之间的TMT通过索引指针的方式进行连接，不仅节省了存储空间，还通过该索引指针将关于某一关键字的所有历史数据进行了关联，从而进一步提升了检索效率
当接收到检索请求时，通过检索向LevelDB发送检索的关键字；根据关键字搜索TMT树，获得关键字对应的元数据Metadata；LevelDB将Metadata返回；控制程序将Metadata集合以及自身签名转发给区块链；区块链首先验证控制程序签名是否有效，若有效则根据Metadata集合创建检索交易。并在检索到目标关键字时根据原始数据保存位置，计算该原始数据的检索根哈希值。
S5、根据存储根哈希值以及检索根哈希值进行校验，获得检索校验结果；当检索校验结果为成功时，将检索原始数据发送给救援人员；当检索校验结果为失败时，将检索失败消息发送给救援人员。
一种可行的实施方式中，若数据检索交易成功，并广播检索交易至控制程序；控制程序收到检索交易成功的消息后，通过元数据匹配原始数据存储地址DbA，并向自适配存储系统发送获取原始数据申请，携带DbA信息；自适配存储系统将检索到的原始数据返回给控制程序；控制程序根据原始数据构建Metadata’发送到区块链；将Metadata’发送到全节点，由全节点验证数据库中的原始数据是否被篡改；验证完成后将结果返回至控制程序；如若验证结果表示数据未被篡改，则控制程序将原始数据转发至ROS。
ROS获取的元数据存储在区块链的LevelDB中可以保障不会被篡改，但是如何保障从自适配存储系统中获取的原始数据是没有被篡改的，是本发明关注的重点。
如果是全节点检索数据，验证原始数据的真实性仅需要在节点内部进行验证即可。如若检索数据的节点是轻节点，仅保存区块头无法在节点内部进行完整性验证，则需要与附近可到达的全节点进行通信，由全节点帮忙验证结果的真实性。轻节点通过控制程序将检索到的原始数据生成Metadata’，发送关键字和Metadata’给全节点。根据关键字定位到TMT对应的节点位置，然后计算从该位置一直到根节点路径上的所有Hash值，最终得到TMTRoot Hash’，将该结果返回至Light Node，判断是否与轻节点中存储的TMTRoot Hash值相等，若相等则代表获取的原始数据没有被篡改。
一种可行的实施方式中，本发明中可以使用检索到的本地训练的数据集TranData和更新的聚合权重值将作为微型无人机救援规划与控制系统中协同计算任务的输入数据。
当向区块链发送一个检索请求时，获取最新的聚合权重值。区块链将最新的聚合权重值返回，用于本地模型更新。将存储系统中存储的本地训练的数据集TranData以及从区块链获取的最新聚合权重值作为输入参数利用LSTM算法进行本地训练。
在本地模型训练过程中，本地模型训练可以选择线性回归、决策树、支持向量机、神经网络等训练算法。可根据系统的实际需求选择相应的本地模型训练方案。损失函数为均方误差，具体的计算公式如下式（1）：
（1）
其中，表示所有参与聚合的微型无人机的样本数量，/>表示第/>个微型无人机的样本数量，/>表示模型的权重参数，/>表示在给定模型参数/>上对样本（/>）进行预测所得到的损失结果，/>分别表示第i个训练数据点及其相关的标签。
更新权重所使用的优化算法可以选择随机梯度下降算法、动量梯度下降、牛顿法等。可根据救援系统的实际需求选择相应的权重更新算法。
调用智能合约的数据上传功能将更新后的本地权重值传递给用于聚合的智能合约执行滚动平均来计算聚合后的权重值，最终将更新后的聚合权重值存储在区块链上。
为了抵抗拜占庭问题中发送不良权重值，在提交权重前，需要计算机器人提交上来的本地更新的权重值与最近一次聚合权重值之间的绝对误差，当绝对误差超过阈值，将拒绝该权重值提交至区块链网络进行聚合。
将符合阈值的权重值按照之前计算出的绝对误差进行排序，排序中的中位数被认为是最优权重值，在提交交易时给予最多的奖励；以此类推，排序中离中位数越远的权重值，提交的交易将给予更严重的惩罚。最终导致一直发送不良权重值的无人机无法再发送权重提交交易。
当权重被筛选完成后，联邦聚合方法可以选择联邦平均算法（FederatedAveraging Algorithm，FedAvg）、联邦近似算法（Federated Proximal，FedProx）、具有变分自编码器的联邦新颖性检测（Federated Novelty Detection with VariationalAutoencoders，FedNova）等。可根据系统的实际需求选择相应的联邦聚合方案。
当符合条件的权重值将被提交到区块链上，为了减少计算量，执行滚动平均。在区块链上只存储了2个列表： 和 totalWeights，具体的计算公式如下式（2）、（3）所示：
（2）
（3）
其中，是在t+1轮机器人k对权重进行训练的样本数量，/>是机器人k在第t+1轮训练后的权重值，/>是t+1轮次中的总样本数量（即/>的总和）。
基于本发明记述方法可以对权重值不断更新聚合，从而优化每个微型无人机的本地训练模型，从而提升救援活动中的协同定位精度。
本发明提出一种面向救援活动的异构数据管理方法，采用区块链与自适配存储系统相结合的方式来补充机器人操作系统的数据存储缺陷，让ROS系统更好地管理和利用其异构数据，又可以通过区块链来确保数据在存储中的防篡改、可审计和可追溯。通过在区块头中加入改进的默克尔树结构，将链上交易数据与链下自适配存储系统中存储的原始数据通过模板进行映射，实现高效的机器人数据检索。TMT结合默克尔树与默克尔前缀树的优势，无需对底层存储结构做任何修改，并且适用于基于模板结构的机器人数据检索需求。根据关键字定位到TMT对应的节点位置，检验储存根哈希值和检索根哈希值的一致性，若相等则代表获取的原始数据没有被篡改，使验证次数大幅度减少。本发明是一种基于ROS的安全存储且高效检索的多源异构数据管理系统。
图4是根据一示例性实施例示出的一种面向救援活动的异构数据管理系统框图。该系统用于实现一种面向救援活动的异构数据管理方法，参照图4，该系统包括：微型无人机410、电子设备420和区块链430，其中：
微型无人机410，用于通过救援活动中的微型无人机进行数据采集，获得原始数据；根据原始数据，获得关键字以及元数据；
电子设备420，用于将原始数据输入自适配存储系统进行存储，获得数据存储地址；根据存储根哈希值以及检索根哈希值进行校验，获得检索校验结果；当检索校验结果为成功时，将检索原始数据发送给救援人员；当检索校验结果为失败时，将检索失败消息发送给救援人员；
区块链430，用于将关键字、元数据和数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；当接收到检索关键字时，根据检索关键字，通过区块链以及自适配存储系统进行检索，获得检索原始数据以及检索根哈希值。
其中，原始数据是指微型无人机中ROS节点发布的多源异构数据；原始数据用于描述微型无人机的运动状态以及环境状态。
可选地，区块链430，进一步用于：
将关键字、元数据和数据存储地址上传区块链；
根据关键字、元数据和数据存储地址，按照TMT结构进行数据构建，获得区块链存储数据；
根据区块链存储数据进行计算，得到存储根哈希值。
其中，TMT结构是一种结合默克尔树和默克尔-帕特里夏树的数据结构。
可选地，区块链430，进一步用于：
根据检索关键字，通过区块链进行检索，获得检索关键字对应存储地址；
根据检索关键字对应存储地址，通过自适配存储系统进行检索，获得检索原始数据；
根据检索原始数据进行计算，得到检索根哈希值。
本发明提出一种面向救援活动的异构数据管理方法，采用区块链与自适配存储系统相结合的方式来补充机器人操作系统的数据存储缺陷，让ROS系统更好地管理和利用其异构数据，又可以通过区块链来确保数据在存储中的防篡改、可审计和可追溯。通过在区块头中加入改进的默克尔树结构，将链上交易数据与链下自适配存储系统中存储的原始数据通过模板进行映射，实现高效的机器人数据检索。TMT结合默克尔树与默克尔前缀树的优势，无需对底层存储结构做任何修改，并且适用于基于模板结构的机器人数据检索需求。根据关键字定位到TMT对应的节点位置，检验储存根哈希值和检索根哈希值的一致性，若相等则代表获取的原始数据没有被篡改，使验证次数大幅度减少。本发明是一种基于ROS的安全存储且高效检索的多源异构数据管理系统。
图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述一种面向救援活动的异构数据管理方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述一种面向救援活动的异构数据管理方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种面向救援活动的异构数据管理方法，其特征在于，所述方法包括：
通过救援活动中的微型无人机进行数据采集，获得原始数据；根据所述原始数据，获得关键字以及元数据；
将所述原始数据输入自适配存储系统进行存储，获得数据存储地址；
将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；
其中，所述TMT结构是以默克尔树和Merkle Patricia Trie相结合而设计的，按照不同类型的topics生成对应的模板树Tx-MPT，所有Tx-MPT按照默克尔树的构造方法，最终计算得到TMTRootHash存储在区块头中；
其中，所述将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值，包括：
将所述关键字、所述元数据和所述数据存储地址上传区块链；根据所述关键字、所述元数据和所述数据存储地址，按照所述TMT结构进行数据构建，获得区块链存储数据；根据所述区块链存储数据进行计算，得到存储根哈希值；
当接收到检索关键字时，根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值；
其中，所述根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值，包括：
根据所述检索关键字，通过区块链进行检索，获得检索关键字对应存储地址；根据所述检索关键字对应的存储地址，通过所述自适配存储系统进行检索，获得检索原始数据；根据所述原始数据保存位置，计算该原始数据的检索根哈希值；
根据所述存储根哈希值以及所述检索根哈希值进行校验，获得检索校验结果；当所述检索校验结果为成功时，将所述检索原始数据发送给救援人员；当所述检索校验结果为失败时，将检索失败消息发送给救援人员。
2.根据权利要求1所述的一种面向救援活动的异构数据管理方法，其特征在于，所述原始数据是指微型无人机中ROS节点发布的多源异构数据；所述原始数据用于描述微型无人机的运动状态以及环境状态。
3.一种面向救援活动的异构数据管理系统，其特征在于，所述系统用于实现一种面向救援活动的异构数据管理方法，所述一种面向救援活动的异构数据管理系统包括：微型无人机、电子设备和区块链，其中：
所述微型无人机，用于通过救援活动中的微型无人机进行数据采集，获得原始数据；根据所述原始数据，获得关键字以及元数据；
所述电子设备，用于将所述原始数据输入自适配存储系统进行存储，获得数据存储地址；根据存储根哈希值以及检索根哈希值进行校验，获得检索校验结果；当所述检索校验结果为成功时，将检索原始数据发送给救援人员；当所述检索校验结果为失败时，将检索失败消息发送给救援人员；
所述区块链，用于将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值；当接收到检索关键字时，根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值；
其中，所述TMT结构是以默克尔树和Merkle Patricia Trie相结合而设计的，按照不同类型的topics生成对应的模板树Tx-MPT，所有Tx-MPT按照默克尔树的构造方法，最终计算得到TMTRootHash存储在区块头中；
其中，所述将所述关键字、所述元数据和所述数据存储地址以TMT结构在区块链进行存储，获得存储根哈希值，包括：
将所述关键字、所述元数据和所述数据存储地址上传区块链；根据所述关键字、所述元数据和所述数据存储地址，按照所述TMT结构进行数据构建，获得区块链存储数据；根据所述区块链存储数据进行计算，得到存储根哈希值；
其中，所述根据所述检索关键字，通过所述区块链以及所述自适配存储系统进行检索，获得检索原始数据以及检索根哈希值，包括：
根据所述检索关键字，通过区块链进行检索，获得检索关键字对应存储地址；根据所述检索关键字对应的存储地址，通过所述自适配存储系统进行检索，获得检索原始数据；根据所述原始数据保存位置，计算该原始数据的检索根哈希值。
4.根据权利要求3所述的一种面向救援活动的异构数据管理系统，其特征在于，所述原始数据是指微型无人机中ROS节点发布的多源异构数据；所述原始数据用于描述微型无人机的运动状态以及环境状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573551.2A CN117290363B (zh) | 2023-11-23 | 2023-11-23 | 一种面向救援活动的异构数据管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573551.2A CN117290363B (zh) | 2023-11-23 | 2023-11-23 | 一种面向救援活动的异构数据管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117290363A CN117290363A (zh) | 2023-12-26 |
| CN117290363B true CN117290363B (zh) | 2024-02-13 |
Family
ID=89253835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311573551.2A Active CN117290363B (zh) | 2023-11-23 | 2023-11-23 | 一种面向救援活动的异构数据管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117290363B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537664A (zh) * | 2018-04-08 | 2018-09-14 | 杭州火剧科技有限公司 | 基于区块链技术发布股票市场分析信息的方法和服务器 |
| KR20190079324A (ko) * | 2017-12-27 | 2019-07-05 | 에이치닥테크놀로지 주식회사 한국영업소 | 블록체인 시스템을 이용한 데이터베이스의 무결성 강화 방법 및 시스템 |
| CN113326317A (zh) * | 2021-05-24 | 2021-08-31 | 中国科学院计算技术研究所 | 基于同构多链架构的区块链存证方法及系统 |
| CN116860825A (zh) * | 2023-06-14 | 2023-10-10 | 北京科技大学 | 一种基于区块链的可验证检索方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7089240B2 (en) * | 2000-04-06 | 2006-08-08 | International Business Machines Corporation | Longest prefix match lookup using hash function |
-
2023
- 2023-11-23 CN CN202311573551.2A patent/CN117290363B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190079324A (ko) * | 2017-12-27 | 2019-07-05 | 에이치닥테크놀로지 주식회사 한국영업소 | 블록체인 시스템을 이용한 데이터베이스의 무결성 강화 방법 및 시스템 |
| CN108537664A (zh) * | 2018-04-08 | 2018-09-14 | 杭州火剧科技有限公司 | 基于区块链技术发布股票市场分析信息的方法和服务器 |
| CN113326317A (zh) * | 2021-05-24 | 2021-08-31 | 中国科学院计算技术研究所 | 基于同构多链架构的区块链存证方法及系统 |
| CN116860825A (zh) * | 2023-06-14 | 2023-10-10 | 北京科技大学 | 一种基于区块链的可验证检索方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种面向联盟链的链下数据可验证查询方法;孙一萌 等;现代电子技术;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117290363A (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748639B2 (en) | Case-based reasoning as a cloud service | |
| CN112398899B (zh) | 一种面向边缘云系统的软件微服务组合优化方法 | |
| Li et al. | Conflicts to harmony: A framework for resolving conflicts in heterogeneous data by truth discovery | |
| Park et al. | Distributed data mining | |
| CN111787114A (zh) | 一种新型区块链网络架构构建的方法 | |
| CN115686868B (zh) | 一种基于联邦哈希学习的面向跨节点多模态检索方法 | |
| Nurgaliev et al. | Enabling blockchain for efficient spatio-temporal query processing | |
| AU2020277977A1 (en) | Efficient freshness crawl scheduling | |
| Huhns et al. | Trusted autonomy | |
| CN117290363B (zh) | 一种面向救援活动的异构数据管理方法及系统 | |
| Kvet | Data distribution in ad-hoc transport network | |
| Liu et al. | A hierarchical blockchain-enabled security-threat assessment architecture for iov | |
| CN112288154A (zh) | 一种基于改进神经协同过滤的区块链服务可靠性预测方法 | |
| Guo et al. | PicPick: a generic data selection framework for mobile crowd photography | |
| Huang | GeoPubSubHub: A geospatial publish/subscribe architecture for the world-wide sensor web | |
| US11526561B2 (en) | System and method for determining temporal citation count | |
| CN111291196B (zh) | 知识图谱的完善方法及装置、数据处理方法及装置 | |
| CN114900435A (zh) | 一种连接关系预测方法及相关设备 | |
| Ding et al. | RDB-KV: A cloud database framework for managing massive heterogeneous sensor stream data | |
| Sharmila et al. | Blockchain Based Consensus Algorithm and Trustworthy Evaluation of Authenticated Subgraph Queries. | |
| Hu | Decision-centric resource-efficient semantic information management | |
| US20230418821A1 (en) | Computing resource conservation with balanced traversals and precomputations for connected data sets | |
| CN113011887B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| Kalambet et al. | Formation of a data network in a geo-information system for forest inventory | |
| Yu et al. | Location-Based Service Recommendation for Cold-Start in Mobile Edge Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |