CN115328946A - 多模态数据汇聚方法、装置和电子设备 - Google Patents
多模态数据汇聚方法、装置和电子设备 Download PDFInfo
- Publication number
- CN115328946A CN115328946A CN202211251044.2A CN202211251044A CN115328946A CN 115328946 A CN115328946 A CN 115328946A CN 202211251044 A CN202211251044 A CN 202211251044A CN 115328946 A CN115328946 A CN 115328946A
- Authority
- CN
- China
- Prior art keywords
- data
- aggregation
- node
- standard
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002776 aggregation Effects 0.000 title claims abstract description 352
- 238000004220 aggregation Methods 0.000 title claims abstract description 350
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 56
- 238000007726 management method Methods 0.000 claims description 124
- 238000013500 data storage Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000036541 health Effects 0.000 description 9
- 238000012423 maintenance Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Communication Control (AREA)
Abstract
本发明提供一种多模态数据汇聚方法、装置和电子设备，涉及大数据技术领域，所述方法包括：接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；基于所述数据源类型，确定各汇聚节点所需的数据标准；将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。本发明可实现各节点数据以统一标准进行有效汇聚，提高汇聚效率并降低管理难度。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种多模态数据汇聚方法、装置和电子设备。
背景技术
随着信息爆炸时代的到来，健康医疗大数据的规模成爆炸式增长。健康医疗大数据是指涵盖人的全生命周期，既包括个人健康，又涉及医药服务、疾病防控、健康保障和食品安全、养生保健等多方面数据，将上述多方面数据进行汇聚和聚合后形成的数据集。健康医疗大数据不仅可以提供便捷的就医、自我管理和个性化治疗，还将推动生命科研以及政策决策等方面的进步。
目前，健康医疗大数据的节点众多，且各节点采集的数据异构、数据量大且数据标准不统一，在各节点数据进行汇聚时，一般通过将各节点的数据统一传输至数据中心，在数据中心根据统一的标准进行格式转换，导致汇聚效率较低且管理难度较大，因此，如何高效实现健康医疗大数据的有效汇聚是当前亟需解决的问题。
发明内容
本发明提供一种多模态数据汇聚方法、装置和电子设备，用以解决现有技术中汇聚效率较低且管理难度较大的缺陷，实现各节点数据以统一标准进行有效汇聚，提高汇聚效率并降低管理难度。
本发明提供一种多模态数据汇聚方法，应用于汇聚管理节点，包括：
接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
基于所述数据源类型，确定各汇聚节点所需的数据标准；
将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
根据本发明提供的多模态数据汇聚方法，在所述接收至少一个汇聚节点发送的数据更新消息之前，还包括：
确定初始汇聚消息和至少一个汇聚节点的地址信息；
将所述初始汇聚消息发送至所述地址信息对应的各所述汇聚节点，所述数据更新消息是各所述汇聚节点对接收的所述初始汇聚消息进行更新得到的。
根据本发明提供的多模态数据汇聚方法，所述基于所述数据源类型，确定各汇聚节点所需的数据标准，包括：
基于汇聚任务，确定所述汇聚任务对应的至少一种统一数据标准；
在所述至少一种统一数据标准中，基于所述数据源类型，确定各汇聚节点对应的数据标准。
本发明还提供一种多模态数据汇聚方法，应用于汇聚节点，包括：
确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
根据本发明提供的多模态数据汇聚方法，所述数据源类型包括数据接口类型和汇聚节点对应的数据存储方式；
所述确定数据源类型，并基于所述数据源类型确定数据更新消息，包括：
确定数据接口类型和/或汇聚节点对应的数据存储方式；
将所述数据接口类型和/或数据存储方式添加至初始汇聚消息，得到数据更新消息。
根据本发明提供的多模态数据汇聚方法，所述基于所述数据标准进行数据格式转换，包括：
基于所述数据标准，对需要上传的数据进行质量筛查，得到满足数据质量要求的初始汇聚数据，所述质量筛查用于剔除需要上传数据中的异常数据；
将所述初始汇聚数据进行格式转换，得到与所述数据标准对应的汇聚数据。
根据本发明提供的多模态数据汇聚方法，在所述确定数据源类型，并基于所述数据源类型确定数据更新消息之前，还包括：
接收汇聚管理节点发送的初始汇聚消息，所述初始汇聚消息用于指示所述汇聚节点将数据源类型添加至所述初始汇聚消息，得到数据更新消息。
本发明还提供一种多模态数据汇聚装置，应用于汇聚管理节点，包括：
第一接收模块，用于接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第一确定模块，用于基于所述数据源类型，确定各汇聚节点所需的数据标准；
第一发送模块，用于将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
融合模块，用于接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
本发明还提供一种多模态数据汇聚装置，应用于汇聚节点，包括：
第二确定模块，用于确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第二发送模块，用于将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
第二接收模块，用于接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
第三发送模块，用于将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态数据汇聚方法。
本发明提供的多模态数据汇聚方法、装置和电子设备，根据接收各汇聚节点的数据源类型，确定各汇聚节点对应的数据标准，并将数据标准发送至对应的汇聚节点，使各汇聚节点在汇聚前以统一的数据标准进行处理，便于汇聚管理节点对各汇聚节点进行管理，并实现各汇聚节点数据的高效汇聚，同时，便于对各汇聚节点发送的汇聚数据进行融合，提高数据处理效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多模态数据汇聚方法的流程示意图之一；
图2是本发明提供的多模态数据汇聚方法的流程示意图之二；
图3是本发明提供的汇聚管理节点与各汇聚节点的连接示意图；
图4是本发明提供的多模态数据汇聚装置的结构示意图之一；
图5是本发明提供的多模态数据汇聚装置的结构示意图之二；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有方案中汇聚效率较低且管理难度较大的问题，本发明实施例提供一种多模态数据汇聚方法，应用于汇聚管理节点，图1是本发明提供的多模态数据汇聚方法的流程示意图之一，如图1所示，该多模态数据汇聚方法，包括：
步骤110、接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
步骤120、基于所述数据源类型，确定各汇聚节点所需的数据标准；
步骤130、将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
步骤140，接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
具体地，由于现有技术中各汇聚节点的数据统一传输至汇聚管理节点后，才以统一的数据标准进行格式转换，大量数据的汇聚导致处理效率较低，同时，数据标准的不统一，也导致汇聚管理节点对各汇聚节点的运维管理难度较大，因此，本发明实施例中，汇聚管理节点通过接收各汇聚节点对应的数据源类型，并确定数据源类型对应的数据标准，进而向各汇聚节点灵活发送对应的数据标准，使的汇聚管理节点处汇聚的数据为以统一数据标准进行处理后且进行封装的数据，避免大量数据在汇聚管理节点处进行格式转换时消耗时间成本和资源。
可选地，上述汇聚方法可应用于各汇聚节点主动向汇聚管理节点传输数据的场景中，或者，各汇聚节点定时向汇聚管理节点传输数据的场景中。
可选地，在所述接收至少一个汇聚节点发送的数据更新消息之前，还包括：
确定初始汇聚消息和至少一个汇聚节点的地址信息；
将所述初始汇聚消息发送至所述地址信息对应的各所述汇聚节点，所述数据更新消息是各所述汇聚节点对接收的所述初始汇聚消息进行更新得到的。
具体地，本发明实施例还包括汇聚管理节点主动获取各汇聚节点对应的数据源类型，并将数据源类型对应的数据标准灵活发送至各汇聚节点，即，汇聚管理节点通过确定各汇聚节点的地址信息，将确定的初始汇聚消息发送至地址信息对应的各汇聚节点，汇聚管理节点通过主动获取各汇聚节点的数据源类型，进而针对每个汇聚节点灵活确定汇聚节点对应的数据标准，使得采集端采集的数据或汇聚节点的本地数据在向汇聚管理节点传输前，以统一的数据格式存储，便于汇聚管理节点对各汇聚节点进行运维管理。
可选地，汇聚管理节点与各汇聚节点之间的数据交互支持可信安全认证，包括密钥安全认证、路径安全认证、储存区域安全认证和远程安全认证，其中，密钥安全认证用于认证并加密汇聚管理节点与各汇聚节点之间交互的数据；路径安全认证用于保护和验证汇聚管理节点的软件与各汇聚节点的软件之间的信道；储存区域安全认证用于提供安全且独立的储存区域，如独立的密钥储存区域；远程安全认证用于确保汇聚管理节点和各汇聚节点之间交互的信息只能被发出证明要求的节点读取，避免被其他设备窃取，如键盘监听者、屏幕截取者。
可选地，所述基于所述数据源类型，确定各汇聚节点所需的数据标准，包括：
基于汇聚任务，确定所述汇聚任务对应的至少一种统一数据标准；
在所述至少一种统一数据标准中，基于所述数据源类型，确定各汇聚节点对应的数据标准。
具体地，本发明实施例中，还可以根据汇聚管理节点的汇聚任务类型，确定汇聚任务对应的统一数据标准，汇聚管理节点将该汇聚任务对应的统一数据标准主动下发至各汇聚节点后，使得汇聚任务所需的数据在各汇聚节点处基于该统一数据标准进行数据格式转换。
示例地，汇聚任务中包括所需数据的位置信息及所需数据的数据格式，本次汇聚任务为采集指定医院的心脏病患者信息，本次汇聚任务支持的数据格式为结构化列表格式为例，汇聚管理节点根据本次汇聚任务中的指定医院的位置信息，确定本次汇聚任务中各汇聚节点的地址信息和认证信息，认证信息用于实现汇聚节点的可信安全认证，汇聚管理节点可将结构化列表格式作为各汇聚节点的数据标准，并生成数据标准信息发送至各汇聚节点。在各汇聚节点同时包括结构化数据和非结构化数据的情况下，各汇聚节点可将非结构化数据转换为结构化列表格式，并与结构化数据进行合并，如，将图片数据、就诊音频数据、视频数据存储于排序的数据块中，并利用数据块索引指针，将上述非结构化数据对应的数据块索引指针转换为结构化列表格式，与患者其他的结构化数据进行合并后，得到完整的结构化列表，并将该结构化列表及对应的数据块发送至汇聚节点。
可选地，上述索引指针包括但不限于：数据类型、数据块初始序号、序号偏移量。
示例地，以患者信息包括结构化数据和就诊视频信息为例，结构化数据存储于数据库中，以二维表格的形式存储，可直接采用SQL语句从数据库中查询，并生成二维表格，患者的就诊视频信息为非结构化数据，且数据量较大，可将该就诊视频信息存储于可变长度的数据块中，并生成该数据块的索引指针为（MP4，1，6），该索引指针表明：所有数据块中初始序号为1，由于序号偏移量是6，则表明患者就诊视频信息所在的数据块的序号为7，且7号数据块中存储的数据类型为MP4格式，则汇聚节点对应生成的结构化列表如表1所示。
表1 汇聚节点生成的结构化列表
可选地，汇聚管理节点还可通过NB-IOT（Narrow Band Internet of Things，窄带物联网）、IPMI（Intelligent Platform Management Interface，智能平台管理接口）等，并基于上述汇聚方法采集各汇聚节点的硬件设备运行状态，实现数据汇聚软硬件状态的集中监控及运维服务。
可选地，汇聚管理节点还可以进行资源管理、数据源管理、任务调度和运维管理，其中：
资产管理包括提供软硬件瓶体的资产登记、管理和维护功能，如：汇聚节点的空间位置、资产权属和运维管理人员等信息；
数据源管理包括维护数据源信息，包括对数据源类型的管理和汇聚节点的地址信息；
任务调度包括通过实现数据汇聚，集中展示数据汇聚量、任务状态等数据汇聚状态信息；
平台运维包括通过采集硬件设备运行状态，实现数据汇聚软硬件状态的集中监控和运维。
本发明提供的多模态数据汇聚方法，根据接收各汇聚节点的数据源类型，确定各汇聚节点对应的数据标准，并将数据标准发送至对应的汇聚节点，使各汇聚节点在汇聚前以统一的数据标准进行处理，便于汇聚管理节点对各汇聚节点进行管理，并实现各汇聚节点数据的高效汇聚，同时，便于对各汇聚节点发送的汇聚数据进行融合，提高数据处理效率。此外，汇聚管理节点还可主动发送初始汇聚消息至各汇聚节点，获取各汇聚节点的数据源类型进而确定对应的数据标准，或者，汇聚管理节点在获取各汇聚节点的数据源类型后，根据汇聚任务类型确定的数据标准，确定各汇聚节点对应的数据标准，进而发送至各汇聚节点，灵活实现数据的有效汇聚。
本发明还提供一种多模态数据汇聚方法，应用于汇聚节点，图2是本发明提供的多模态数据汇聚方法的流程示意图之二，如图2所示，该多模态数据汇聚方法，包括：
步骤210、确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
步骤220、将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
步骤230、接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
步骤240、将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
具体地，在各汇聚节点主动向汇聚管理节点传输数据的场景中，或者，各汇聚节点定时向汇聚管理节点传输数据的场景中，每个汇聚节点需根据自身的数据源类型，主动向汇聚管理节点发送数据更新消息，进而确定每个汇聚节点对应的数据标准，以在各汇聚节点向汇聚管理节点传输数据前提前进行按照统一的数据标准进行数据格式转换，以节省数据在汇聚管理节点进行数据格式转换的时间成本及占用的汇聚管理节点的资源，且便于汇聚管理节点对各汇聚节点的管理。
可选地，所述数据源类型包括数据接口类型和汇聚节点对应的数据存储方式；
所述确定数据源类型，并基于所述数据源类型确定数据更新消息，包括：
确定数据接口类型和/或汇聚节点对应的数据存储方式；
将所述数据接口类型和/或数据存储方式添加至初始汇聚消息，得到数据更新消息。
具体地，通过确定数据接口类型和/或汇聚节点对应的数据存储方式，确定汇聚节点的数据源类型，进而汇聚管理节点确定数据源类型对应的数据标准，以使各汇聚节点在传输数据前以统一数据标准进行数据格式转换。
可选地，数据接口类型包括但不限于：Oracle数据接口、MySQL数据接口、ftp文件接口和本地文件接口，其中，Oracle数据接口和MySQL数据接口用于表明存储的是结构化数据，ftp文件接口和本地文件接口用于表明存储的文件型数据，即，非结构化数据。
可选地，数据存储方式可以为关系型数据库，或者Hadoop集群文件系统，或者数据湖，其中，关系型数据库可以存储结构化数据，关系型数据库包括但不限于：Oracle数据库、MySQL数据库、MariaDB数据库、PostgreSQL数据库；Hadoop集群文件系统可以存储非结构化数据，如文档数据、图数据，且Hadoop集群文件系统可扩展，可伸缩，且存储与计算耦合，可通过增加设备来增加存储空间，并提高计算能力；数据湖可集中存储结构化数据和非结构化数据，数据湖对数据来源不作限制。
可选地，所述基于所述数据标准进行数据格式转换，包括：
基于所述数据标准，对需要上传的数据进行质量筛查，得到满足数据质量要求的初始汇聚数据，所述质量筛查用于剔除需要上传数据中的异常数据；
将所述初始汇聚数据进行格式转换，得到与所述数据标准对应的汇聚数据。
具体地，汇聚节点在接收自身对应的数据标准后，对需要上传的数据进行质量筛查，即，对需要上传的数据进行遍历，以清洗数据，确保上传的初始汇聚数据的数据质量，并对初始汇聚数据封装后传输至汇聚管理节点，以实现数据质量的有效控制。
示例地，对数据的质量筛查操作可以为：对数据进行去重操作，对缺失值进行填充，对异常值进行验证，若正确则保留，若错误则剔除，避免数据在统一上传至汇聚管理节点后才对数据的质量进行审计，同时，避免汇聚管理节点资源被占用时，对各汇聚节点上传的数据质量审计不及时。
可选地，在所述确定数据源类型，并基于所述数据源类型确定数据更新消息之前，还包括：
接收汇聚管理节点发送的初始汇聚消息，所述初始汇聚消息用于指示所述汇聚节点将数据源类型添加至所述初始汇聚消息，得到数据更新消息。
具体地，本发明实施例还包括，汇聚管理节点通过向各汇聚节点发送初始汇聚消息，以灵活确定各汇聚节点对应的数据标准，进而更新初始汇聚消息，得到数据更新消息，并反馈汇聚管理节点。
可选地，图3是本发明提供的汇聚管理节点与各汇聚节点的连接示意图，如图3所示，各汇聚节点均与汇聚管理节点连接，汇聚节点可以为基于可信计算的IU机架式刀片服务器，基于国产可信计算技术，可实现：可信计算、BIOS可信认证、提供2路IPMI管理接口以进行IPMI监测、硬件技术标准的统一、WiFi无线接入和现场巡检人间自动发现问题，还提供2路万兆网络交换接口以提高数据传输速度，同时，刀片服务器还支持电口和光口、支持双节热备，确保高速稳定运行。
本发明提供的多模态数据汇聚方法，各汇聚节点可主动向汇聚管理节点上报自身的数据源类型，进而灵活确定各汇聚节点的数据标准，且各汇聚节点在确定数据标准后，预先对数据进行质量筛查，以获得满足质量要求的初始汇聚数据，在将初始汇聚数据按照该汇聚节点对应的数据标准进行数据格式转换后，发送至汇聚管理节点，节省汇聚管理节点一端的格式转换消耗的时间成本，且避免占用汇聚管理节点的资源，同时，预先在汇聚节点进行质量审计，避免汇聚管理节点对汇聚数据的质量审查不及时。
本发明还提供一种多模态数据汇聚装置，应用于汇聚管理节点，图4是本发明提供的多模态数据汇聚装置的结构示意图之一，如图4所示，该多模态数据汇聚装置400，包括：第一接收模块401、第一确定模块402、第一发送模块403和融合模块404，其中：
第一接收模块401，用于接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第一确定模块402，用于基于所述数据源类型，确定各汇聚节点所需的数据标准；
第一发送模块403，用于将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
融合模块404，用于接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
本发明提供的多模态数据汇聚装置，根据接收各汇聚节点的数据源类型，确定各汇聚节点对应的数据标准，并将数据标准发送至对应的汇聚节点，使各汇聚节点在汇聚前以统一的数据标准进行处理，便于汇聚管理节点对各汇聚节点进行管理，并实现各汇聚节点数据的高效汇聚，同时，便于对各汇聚节点发送的汇聚数据进行融合，提高数据处理效率。此外，汇聚管理节点还可主动发送初始汇聚消息至各汇聚节点，获取各汇聚节点的数据源类型进而确定对应的数据标准，或者，汇聚管理节点在获取各汇聚节点的数据源类型后，根据汇聚任务类型确定的数据标准，确定各汇聚节点对应的数据标准，进而发送至各汇聚节点，灵活实现数据的有效汇聚。
可选地，第一确定模块402，具体用于：
所述基于所述数据源类型，确定各汇聚节点所需的数据标准，包括：
基于汇聚任务，确定所述汇聚任务对应的至少一种统一数据标准；
在所述至少一种统一数据标准中，基于所述数据源类型，确定各汇聚节点对应的数据标准。
可选地，该多模态数据汇聚装置400，还包括：
第三确定模块，用于在接收至少一个汇聚节点发送的数据更新消息之前，还包括：
确定初始汇聚消息和至少一个汇聚节点的地址信息；
将所述初始汇聚消息发送至所述地址信息对应的各所述汇聚节点，所述数据更新消息是各所述汇聚节点对接收的所述初始汇聚消息进行更新得到的。
本发明还提供一种多模态数据汇聚装置，应用于汇聚节点，图5是本发明提供的多模态数据汇聚装置的结构示意图之二，如图5所示，该多模态数据汇聚装置500，包括：第二确定模块501、第二发送模块502、第二接收模块503和第三发送模块504，其中：
第二确定模块501，用于确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第二发送模块502，用于将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
第二接收模块503，用于接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
第三发送模块504，用于将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
本发明提供的多模态数据汇聚装置，各汇聚节点可主动向汇聚管理节点上报自身的数据源类型，进而灵活确定各汇聚节点的数据标准，且各汇聚节点在确定数据标准后，预先对数据进行质量筛查，以获得满足质量要求的初始汇聚数据，在将初始汇聚数据按照该汇聚节点对应的数据标准进行数据格式转换后，发送至汇聚管理节点，节省汇聚管理节点一端的格式转换消耗的时间成本，且避免占用汇聚管理节点的资源，同时，预先在汇聚节点进行质量审计，避免汇聚管理节点对汇聚数据的质量审查不及时。
可选地，第二确定模块501，具体用于：
所述数据源类型包括数据接口类型和汇聚节点对应的数据存储方式；
所述确定数据源类型，并基于所述数据源类型确定数据更新消息，包括：
确定数据接口类型和/或汇聚节点对应的数据存储方式；
将所述数据接口类型和/或数据存储方式添加至初始汇聚消息，得到数据更新消息。
可选地，第二接收模块503，具体用于：
所述基于所述数据标准进行数据格式转换，包括：
基于所述数据标准，对需要上传的数据进行质量筛查，得到满足数据质量要求的初始汇聚数据，所述质量筛查用于剔除需要上传数据中的异常数据；
将所述初始汇聚数据进行格式转换，得到与所述数据标准对应的汇聚数据。
可选地，该多模态数据汇聚装置500，还包括：
第三接收模块，用于接收汇聚管理节点发送的初始汇聚消息，所述初始汇聚消息用于指示所述汇聚节点将数据源类型添加至所述初始汇聚消息，得到数据更新消息。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行多模态数据汇聚方法，该方法包括：
接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
基于所述数据源类型，确定各汇聚节点所需的数据标准；
将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合；
或者，
确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多模态数据汇聚方法，该方法包括：
接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
基于所述数据源类型，确定各汇聚节点所需的数据标准；
将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合；
或者，
确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多模态数据汇聚方法，该方法包括：
接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
基于所述数据源类型，确定各汇聚节点所需的数据标准；
将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合；
或者，
确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多模态数据汇聚方法，其特征在于，应用于汇聚管理节点，包括：
接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
基于所述数据源类型，确定各汇聚节点所需的数据标准；
将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
2.根据权利要求1所述的多模态数据汇聚方法，其特征在于，在所述接收至少一个汇聚节点发送的数据更新消息之前，还包括：
确定初始汇聚消息和至少一个汇聚节点的地址信息；
将所述初始汇聚消息发送至所述地址信息对应的各所述汇聚节点，所述数据更新消息是各所述汇聚节点对接收的所述初始汇聚消息进行更新得到的。
3.根据权利要求1或2所述的多模态数据汇聚方法，其特征在于，所述基于所述数据源类型，确定各汇聚节点所需的数据标准，包括：
基于汇聚任务，确定所述汇聚任务对应的至少一种统一数据标准；
在所述至少一种统一数据标准中，基于所述数据源类型，确定各汇聚节点对应的数据标准。
4.一种多模态数据汇聚方法，其特征在于，应用于汇聚节点，包括：
确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
5.根据权利要求4所述的多模态数据汇聚方法，其特征在于，所述数据源类型包括数据接口类型和汇聚节点对应的数据存储方式；
所述确定数据源类型，并基于所述数据源类型确定数据更新消息，包括：
确定数据接口类型和/或汇聚节点对应的数据存储方式；
将所述数据接口类型和/或数据存储方式添加至初始汇聚消息，得到数据更新消息。
6.根据权利要求4或5所述的多模态数据汇聚方法，其特征在于，所述基于所述数据标准进行数据格式转换，包括：
基于所述数据标准，对需要上传的数据进行质量筛查，得到满足数据质量要求的初始汇聚数据，所述质量筛查用于剔除需要上传数据中的异常数据；
将所述初始汇聚数据进行格式转换，得到与所述数据标准对应的汇聚数据。
7.根据权利要求6所述的多模态数据汇聚方法，其特征在于，在所述确定数据源类型，并基于所述数据源类型确定数据更新消息之前，还包括：
接收汇聚管理节点发送的初始汇聚消息，所述初始汇聚消息用于指示所述汇聚节点将数据源类型添加至所述初始汇聚消息，得到数据更新消息。
8.一种多模态数据汇聚装置，其特征在于，应用于汇聚管理节点，包括：
第一接收模块，用于接收至少一个汇聚节点发送的数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第一确定模块，用于基于所述数据源类型，确定各汇聚节点所需的数据标准；
第一发送模块，用于将所述数据标准发送至对应的所述汇聚节点，所述数据标准用于指示所述汇聚节点基于所述数据标准进行数据格式转换；
融合模块，用于接收各所述汇聚节点发送的经数据格式转换后的封装数据，并将所述封装数据进行融合。
9.一种多模态数据汇聚装置，其特征在于，应用于汇聚节点，包括：
第二确定模块，用于确定数据源类型，并基于所述数据源类型确定数据更新消息，所述数据更新消息包括各汇聚节点对应的数据源类型；
第二发送模块，用于将所述数据更新消息发送至所述汇聚管理节点，所述数据更新消息用于指示所述汇聚管理节点在接收至少一个汇聚节点发送的数据更新消息后，基于所述数据源类型，确定各汇聚节点所需的数据标准；
第二接收模块，用于接收所述汇聚管理节点发送的数据标准，并基于所述数据标准进行数据格式转换；
第三发送模块，用于将经过数据格式转换后的汇聚数据进行封装，得到封装数据，并将所述封装数据发送至所述汇聚管理节点，所述封装数据用于指示所述汇聚管理节点对所述汇聚数据进行融合。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述多模态数据汇聚方法，或者，如权利要求4至7任一项所述多模态数据汇聚方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211251044.2A CN115328946A (zh) | 2022-10-13 | 2022-10-13 | 多模态数据汇聚方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211251044.2A CN115328946A (zh) | 2022-10-13 | 2022-10-13 | 多模态数据汇聚方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115328946A true CN115328946A (zh) | 2022-11-11 |
Family
ID=83915083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211251044.2A Pending CN115328946A (zh) | 2022-10-13 | 2022-10-13 | 多模态数据汇聚方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115328946A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
| CN110968629A (zh) * | 2019-11-27 | 2020-04-07 | 开普云信息科技股份有限公司 | 一种基于跨层级、异构数据汇聚的统一信息资源管理方法及系统 |
-
2022
- 2022-10-13 CN CN202211251044.2A patent/CN115328946A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110192842A (zh) * | 2019-05-30 | 2019-09-03 | 华南理工大学 | 基于云边端一体化的生理指标数据监测系统及方法 |
| CN110968629A (zh) * | 2019-11-27 | 2020-04-07 | 开普云信息科技股份有限公司 | 一种基于跨层级、异构数据汇聚的统一信息资源管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Edge-computing-enabled smart cities: A comprehensive survey | |
| US11750702B2 (en) | Subscription and notification service | |
| US20210336956A1 (en) | Electronic Health Data Access Control | |
| CN114026834A (zh) | 边缘计算部署中的多实体资源、安全性和服务管理 | |
| CN110009201B (zh) | 一种基于区块链技术的电力数据链接系统及方法 | |
| CN111913833A (zh) | 一种基于区块链的医疗物联网交易系统 | |
| CN104636678B (zh) | 一种云计算环境下对终端设备进行管控的方法和系统 | |
| US11637795B1 (en) | Techniques for templated messages | |
| CN113015165A (zh) | 物联网平台设备接入方法、设备及系统 | |
| CN110366276A (zh) | 服务化架构基站 | |
| CN103457802A (zh) | 一种信息传输系统及方法 | |
| CN105701240A (zh) | 可穿戴设备数据处理方法、装置和系统 | |
| Tang et al. | 5G‐based smart healthcare system designing and field trial in hospitals | |
| CN114065231A (zh) | 基于边缘计算和区块链的可信数据管理方法、装置及系统 | |
| CN109710502A (zh) | 日志传输方法、装置及存储介质 | |
| CN104202230A (zh) | 用于多级结构的数据交互装置及方法 | |
| CN115328946A (zh) | 多模态数据汇聚方法、装置和电子设备 | |
| US20190205466A1 (en) | Techniques for consistent reads in a split message store | |
| CN115952050A (zh) | 机构服务埋点数据的上报方法和装置 | |
| CN108696855B (zh) | 一种信息管理方法、会话管理功能和移动性管理功能 | |
| CN111399749A (zh) | 一种数据处理系统及方法 | |
| CN114490718A (zh) | 数据输出方法、装置、电子设备和计算机可读介质 | |
| CN112966051A (zh) | 一种基于分布式的数据交换系统及方法 | |
| US20190207882A1 (en) | Techniques for consistent writes in a split message store | |
| WO2020146689A1 (en) | Enabling distributed semantic mashup |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221111 |
|
| RJ01 | Rejection of invention patent application after publication |