CN117196996B - 一种数据资源的无接口交互管理方法及系统 - Google Patents
一种数据资源的无接口交互管理方法及系统 Download PDFInfo
- Publication number
- CN117196996B CN117196996B CN202311337371.4A CN202311337371A CN117196996B CN 117196996 B CN117196996 B CN 117196996B CN 202311337371 A CN202311337371 A CN 202311337371A CN 117196996 B CN117196996 B CN 117196996B
- Authority
- CN
- China
- Prior art keywords
- data
- loss
- sample
- reduction
- loss rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 81
- 238000007726 management method Methods 0.000 title claims abstract description 51
- 230000009467 reduction Effects 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 39
- 238000010276 construction Methods 0.000 claims description 27
- 230000000875 corresponding effect Effects 0.000 claims description 26
- 230000002452 interceptive effect Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000009776 industrial production Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据资源的无接口交互管理方法及系统,涉及数据处理技术领域,包括:通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据,通过交互管理模块,采集在预设时间范围内的传输数据,获取历史原始数据集和历史目标数据集,训练损失分析器,分析获取当前的数据损失率,选择对应的数据还原路径,进行数据还原处理获得还原数据,进行损失分析获得还原损失率,继续选用对应的数据还原路径进行再次还原,直到损失率小于损失阈值,获得交互数据,作为交互结果进行存储管理。本发明解决了在工业生产中图像传输可能会由于噪声等原因导致图像损坏,使得传输的图像质量受损的技术问题。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种数据资源的无接口交互管理方法及系统。
背景技术
在工业生产中,数据资源的管理和交互是至关重要的,然而,传统的接口交互方式可能存在一些限制,如连接困难、数据传输不稳定等,特别是在图像采集和无线传输领域,由于噪声等原因,图像传输可能会导致图像损坏,从而影响后续的数据分析和决策。
为了解决这一技术问题,需要一种新的数据资源的无接口交互管理方法,以对传输过程中损坏的图像进行复原,并最终获得可靠的交互结果。
发明内容
本申请通过提供了一种数据资源的无接口交互管理方法及系统,旨在解决在工业生产中,图像采集并进行无接口的无线图像传输交互时,图像传输可能会由于噪声等原因导致图像损坏,使得传输的图像质量受损的技术问题。
鉴于上述问题,本申请提供了一种数据资源的无接口交互管理方法及系统。
本申请公开的第一个方面,提供了一种数据资源的无接口交互管理方法,所述方法应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,所述方法包括:通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据;通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集;训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率;根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据;采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率;根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
本申请公开的另一个方面,提供了一种数据资源的无接口交互管理系统,所述系统应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,所述系统用于上述方法,所述系统包括:目标数据获取单元,所述目标数据获取单元用于通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据;传输数据获取单元,所述传输数据获取单元用于通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集;损失率获取单元,所述损失率获取单元用于训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率;数据还原单元,所述数据还原单元用于根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据;损失分析单元,所述损失分析单元用于采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率;交互结果获取单元,所述交互结果获取单元用于根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
通过使用生成对抗网络对图像进行复原,可以修复被传输过程中引入的损坏,提高图像的质量和可用性;通过训练损失分析器,分析和评估无接口数据交互传输的数据损失率,为后续数据还原选择合适的路径提供依据;根据数据损失率,选择合适的数据还原路径对目标数据进行迭代处理,直到还原数据与原始数据的损失率小于预设的损失阈值,将最终的交互数据作为交互结果进行存储管理,这样可以进一步提高还原数据的质量和准确性。综上所述,通过该方法,可以有效解决图像传输中出现的损坏问题,恢复原始数据的质量,并提供可靠的交互结果进行进一步的存储管理。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种数据资源的无接口交互管理方法流程示意图。
图2为本申请实施例提供了一种数据资源的无接口交互管理系统结构示意图。
附图标记说明:目标数据获取单元10,传输数据获取单元20,损失率获取单元30,数据还原单元40,损失分析单元50,交互结果获取单元60。
具体实施方式
本申请实施例通过提供一种数据资源的无接口交互管理方法,解决了在工业生产中,图像采集并进行无接口的无线图像传输交互时,图像传输可能会由于噪声等原因导致图像损坏,使得传输的图像质量受损的技术问题。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种数据资源的无接口交互管理方法,所述方法应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,所述方法包括:
通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据。
本申请实施例提供的一种数据资源的无接口交互管理方法应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接。其中,数据采集端口用于采集原始数据,数据接收端口用于接收目标数据,这两个端口之间进行无接口通信连接,意味着它们可以通过无线方式进行数据传输,而无需物理接口连接,这种无接口传输可以通过各种通信协议来实现,例如Wi-Fi、蓝牙、红外线等,通过无接口通信连接,可以实现在工业生产中图像采集,并进行无接口的无线图像传输交互。
首先,在工业生产中进行图像采集时,使用图像采集装置,如相机、传感器,对目标进行图像采集,采集到的图像数据作为原始数据,对原始数据进行压缩,通过数据采集端口和数据接收端口的无接口通信连接,将压缩的原始数据从数据采集端口传输到数据接收端口,再进行解压处理,获取目标数据。
通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集。
根据实际需求和应用场景确定一个预设的时间范围,用于指定历史数据的采集时段,例如过去几天、几周或几个月的时间段。在预设时间范围内,交互管理模块监控数据采集端口和数据接收端口的数据传输情况,通过与这些端口进行无接口通信连接,交互管理模块捕获传输的数据并将其记录下来,包括保存传输的原始数据和对应的目标数据。根据捕获和记录的数据,将在预设时间范围内采集到的所有原始数据和相应的目标数据存储起来,构建历史原始数据集和历史目标数据集。
训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率。
基于孪生网络建立损失分析器的架构,以及设计合适的损失函数和评估指标,将数据采集端口和数据接收端口与损失分析器相连,这样,损失分析器可以访问当前进行无接口数据交互传输的数据。
使用历史原始数据集和历史目标数据集作为训练数据,将原始数据和目标数据配对,并组织成训练样本。使用准备好的训练样本,利用损失分析器的架构进行训练,通过输入原始数据并与对应的目标数据进行比较,损失分析器可以学习如何分析并评估无接口数据交互传输的数据损失率。在训练完成后,使用损失分析器,通过将输入数据与目标数据输入到训练好的损失分析器中,计算出数据损失率,该值表示传输过程中数据的损失程度。
进一步而言,所述方法包括:
根据所述数据采集端口和数据接收端口的数据交互记录,获取样本原始数据集和样本目标数据集。
根据所述样本原始数据集和样本目标数据集内的多个样本原始数据和多个样本目标数据,评估获取多个样本相似度信息,基于多个样本相似度信息,计算获得多个样本损失率。
采用所述样本原始数据集、样本目标数据集、多个样本损失率,训练所述损失分析器至满足收敛要求。
在预设时间范围内,对数据采集端口和数据接收端口进行监控,以捕获数据传输的记录信息,包括发送和接收的数据以及与之相关的时间戳等信息,基于数据交互记录,从中提取样本原始数据集和样本目标数据集。
将样本原始数据集和样本目标数据集中的多个样本原始数据和多个样本目标数据作为输入,对每个样本原始数据和样本目标数据对进行相似度评估,相似度评估可以采用如欧氏距离、相关系数等方法,以衡量两个数据之间的相似性程度。基于相似度评估结果,获取多个样本的相似度信息,根据多个样本的相似度信息,计算获得多个样本的损失率,损失率的计算为:损失率=1-相似度。
基于孪生网络构建损失分析器的架构,其中包括两个权值共享的损失分析分支。采用所述样本原始数据集、样本目标数据集、多个样本损失率,对其中一个损失分析分支进行训练,在分支训练过程中,通过权值共享的机制,确保两个分支的权重参数同步更新,这样可以使损失分析器能够综合考虑原始数据和目标数据之间的关系,并更准确地评估数据的损失率。根据预设的收敛要求,例如训练误差的收敛程度或验证集上的性能指标,判断损失分析器是否满足收敛要求,如果满足要求,则说明损失分析器已经训练完成,可以进入下一步骤;否则,继续训练直至满足要求。
进一步而言,所述方法包括:
基于孪生网络,构建损失分析器的基础架构,包括两个权值共享的损失分析分支。
采用所述样本原始数据集、样本目标数据集、多个样本损失率,对其中一个损失分析分支进行训练,直到满足收敛要求,并进行权值共享。
基于训练完成的两个损失分析分支,获得损失分析器。
孪生网络是一种网络结构,由两个相同或非常相似的子网络组成,它们共享相同的权重参数,在损失分析器中,这两个子网络被用作损失分析的不同分支。损失分析器的输入数据包括样本原始数据和样本目标数据,这些数据作为输入分别提供给两个分支。
两个分支之间的权重参数是共享的,这意味着两个分支的网络层具有相同的权重矩阵,通过权值共享机制,损失分析器能够同时学习原始数据和目标数据之间的关系,并进行损失率的评估。通过两个分支对原始数据和目标数据进行处理后,可以将它们合并或连接起来,并进行进一步的损失分析,例如计算样本之间的相似度、比较原始数据和目标数据之间的差异等。最终,损失分析器可以输出多个样本的损失率。
将样本原始数据集提供给损失分析器的一个分支作为输入,将样本目标数据集提供给另一个分支作为输入,同时,将多个样本损失率作为监督信号提供给损失分析器进行训练。选择其中一个损失分析分支,即其中一个子网络,作为当前需要训练的分支,使用该分支的输入数据和相应的样本损失率,对该分支进行训练,训练算法如反向传播和随机梯度下降,以优化损失函数并更新模型的权重参数。
根据预设的收敛要求,例如训练误差的收敛程度或验证集上的性能指标,判断当前训练的分支是否满足收敛要求,如果满足要求,则说明该分支已经训练完成,可以进行下一步骤;如果不满足要求,则继续训练直至满足要求。
在完成一个分支的训练后,将该分支的权重参数与另一个分支进行共享,通过共享权重参数的机制,确保两个损失分析分支具有相同的权重矩阵,从而使损失分析器能够综合考虑原始数据和目标数据之间的关系,并更准确地评估数据的损失率。
将两个训练完成的分支进行合并,例如将两个分支的输出连接起来,合并后的结果包含原始数据和目标数据的特征表示及其之间的关系信息,获得损失分析器,该损失分析器可以进行进一步的损失分析和评估,包括计算样本之间的相似度、比较原始数据和目标数据之间的差异等操作,最终,损失分析器可以输出多个样本的损失率。
进一步而言,所述方法包括:
采用所述损失分析器,对所述历史原始数据集和历史目标数据集内的数据进行损失分析,获得多个损失率。
计算多个损失率的均值,获得实时损失率。
将历史原始数据集提供给损失分析器的一个分支作为输入,将历史目标数据集提供给另一个分支作为输入,通过损失分析器对历史数据进行处理,损失分析器基于原始数据和目标数据之间的关系,计算每个数据样本的损失率。根据损失分析的结果,获得多个损失率,这些损失率反映了历史数据的损失情况。
将所有多个损失率相加,并除以损失率的数量,即可得到这些损失率的均值,计算得到的均值即为实时损失率,它代表了多个数据样本的平均损失程度,可以用作实时监测和评估数据质量的指标。
根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据。
进一步而言,获得还原数据,包括:
对所述多个样本损失率,采用K-Means算法进行K类聚类,获得K个聚类结果,并划分获得K个损失率区间,K为大于1的整数。
对所述样本原始数据集和样本目标数据集分别进行K-1次抽取,结合样本原始数据集和样本目标数据集,获取数据量不同的K份样本构建数据。
分别采用K份构建数据,构建K个数据还原路径,集成K个数据还原路径,获得数据还原通道。
构建K个数据还原路径和K个损失率区间的映射关系,其中,损失率区间的大小与数据还原路径的构建数据的数量的大小正相关。
根据所述数据损失率落入的损失率区间,映射选用对应的数据还原路径,对所述目标数据进行还原处理,获得还原数据。
将多个样本的损失率作为输入数据,随机生成K个初始聚类中心,这些聚类中心作为每个聚类的代表点,将每个样本分配到距离最近的聚类中心所属的聚类,计算该聚类的样本的平均值,更新每个聚类的中心点,进行迭代计算,直至收敛,完成迭代后,获得K个聚类结果,其中每个样本都被分配到一个聚类中。根据获得的聚类结果,将损失率划分为K个区间,每个区间代表一个聚类,其中包含了属于该聚类的样本损失率。
将样本原始数据集和样本目标数据集作为输入数据,分别进行K-1次随机抽取操作,每次从样本原始数据集和样本目标数据集中随机选择一部分数据,将每次抽取的样本原始数据集和样本目标数据集结合在一起,形成一个新的数据集。
例如,在第一次抽取时,将样本原始数据集中的抽取数据与样本目标数据集中的抽取数据合并;在第二次抽取时,将样本原始数据集中的抽取数据与样本目标数据集中的抽取数据再次合并,以此类推。通过重复上述抽取和结合的过程,获得K份样本构建数据,每份构建数据的数据量不同,因为每次抽取的数据量可能不同,这样可以生成多个不同规模的样本数据集,用于后续的数据还原路径构建和损失率区间的映射关系建立。
基于对抗生成网络,构建K个数据还原路径内的生成器和判别器,使用获得的K份样本构建数据分别对每个数据还原路径内的生成器和判别器进行训练,获取K个数据还原路径。将构建的K个数据还原路径集成在一起,形成一个数据还原通道,集成后的数据还原通道可以综合利用多条路径的优势,根据不同的损失率区间选择适当的数据还原路径来还原目标数据,进而提供更准确和可靠的数据还原结果。
损失率区间的大小与数据还原路径的构建数据的数量之间存在正相关关系,也就是说,损失率区间越大,则对应的数据还原路径具备更多的构建数据,以保证还原效果的准确性和可靠性。将每个损失率区间与相应的数据还原路径进行映射,构建K个数据还原路径和K个损失率区间的映射关系。这有助于根据目标数据的损失率落入的相应区间,选择合适的数据还原路径来进行数据还原处理,同时,根据损失率区间的大小调整对应数据还原路径的构建数据数量,以提高还原效果的准确性。
针对要进行还原处理的目标数据,计算其对应的数据损失率,将计算得到的数据损失率与之前建立的损失率区间进行匹配,确定目标数据所属的损失率区间。根据损失率区间的匹配结果,参考建立的映射关系,找到与损失率区间相对应的数据还原路径。使用选定的数据还原路径,对目标数据进行还原处理,获得还原数据,这些数据与原始数据更接近,相对减少了损失率所引起的信息缺失。
进一步而言,获得K个聚类结果,包括:
在多个样本损失率内,随机生成K个第一聚类中心。
计算其他的多个样本损失率与K个第一聚类中心的距离,并分别分配至距离最近的第一聚类中心,获得K个第一聚类结果。
在K个第一聚类结果内,重新计算获取每个第一聚类结果内的中心,获得K个第二聚类中心。
计算其他的多个样本损失率与K个第二聚类中心的距离,并分别分配至距离最近的第二聚类中心,获得K个第二聚类结果。
继续进行聚类,直到K个聚类中心不再发生变化,获得K个聚类结果。
在初始阶段,通过从样本损失率中选择K个随机样本,随机生成K个第一聚类中心作为起始点。
其他多个样本损失率中,对于每个样本损失率,计算该样本与K个第一聚类中心之间的距离,根据距离计算结果,将该样本分到与其距离最近的第一聚类中心所属的聚类。遍历其他多个样本损失率,获得K个第一聚类结果,其中每个样本被分配到一个距离最近的第一聚类中心所属的聚类中。
对于每个第一聚类结果,计算该聚类中所有样本的平均值,获得的平均值作为新的聚类中心,这样,为每个第一聚类结果得到一个新的第二聚类中心,获取K个第二聚类中心。以此迭代更新聚类中心,提高聚类结果的准确性和稳定性。
对于其他多个样本损失率的每个样本损失率,计算该样本与K个第二聚类中心之间的距离,将每个样本分给与其距离最近的第二聚类中心所属的聚类,获得K个第二聚类结果。
重复上述聚类过程,在每次聚类结束后,检查新的聚类中心是否与上一次迭代的聚类中心相同,如果相同,则停止迭代;否则,更新聚类中心并继续迭代计算。当K个聚类中心不再发生变化时,即可获得最终的K个聚类结果,每个样本将被分配到最接近的聚类中心所属的聚类中。
进一步而言,获得数据还原通道,包括:
基于对抗生成网络,构建K个数据还原路径内的生成器和判别器。
采用K份样本构建数据内的第一份样本构建数据,对第一数据还原路径内的生成器和判别器进行训练,其中,第一份样本构建数据内的数据量最少,通过将样本构建数据内的样本目标数据输入生成器,结合随机噪声获得生成数据,通过判别器与样本原始数据进行判别,进行训练。
继续对其他的K-1个数据还原路径进行训练,获得数据还原通道。
对抗生成网络由生成器(Generator)和判别器(Discriminator)组成,生成器负责生成接近真实数据的样本,而判别器则尝试区分真实数据和生成器生成的数据。
针对每个数据还原路径,构建一个独立的生成器和判别器。生成器输入噪声或其他相关信息,并生成与目标数据类似的合成数据,判别器接收生成器生成的数据和真实数据作为输入,并尝试区分它们,其目标是能够准确判断哪些数据来自生成器而不是真实数据。通过构建K个数据还原路径内的生成器和判别器,可以利用对抗生成网络的训练机制来优化生成器,使之生成更接近真实数据的合成数据。
从K份样本构建数据中选择数据量最少的子集作为第一份样本构建数据,针对第一数据还原路径内的生成器和判别器,将第一份样本构建数据作为目标数据输入生成器,结合随机噪声,将其作为生成器的输入,生成合成数据,使用判别器来判别生成的合成数据与第一份样本构建数据中的原始数据,判别器的目标是准确区分真实数据和生成数据。根据判别器的判别结果,更新生成器和判别器的参数,使生成器能够生成更接近于第一份样本构建数据中的原始数据的合成数据,并使判别器能够更准确地区分真实数据和生成数据。
对于每个剩余的数据还原路径,重复执行上述训练过程,通过逐个训练其他的数据还原路径,获得每个路径上的生成器和判别器,形成完整的数据还原通道,这样,就可以使用这些通道来还原数据,从而实现数据损失的修复。
采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率。
将还原数据和原始数据分别输入到损失分析器中,计算并评估两者之间的差异,根据损失分析器的分析结果,获得还原数据和原始数据之间的损失率,这个损失率表示在数据还原过程中,由于数据传输或处理引起的信息丢失程度。
根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
根据获得的还原损失率,评估还原数据与原始数据之间的损失程度,将还原损失率与预设的损失阈值进行比较,如果还原损失率大于设定的损失阈值,则需要进一步改进还原过程。针对这种损失率较高的情况,选择对应的数据还原路径,并对还原数据进行再次还原处理,例如使用更复杂或精确的算法、增加数据恢复步骤等方法,对经过再次还原处理后的数据,再次计算其与原始数据之间的损失率,以评估改进后的还原效果,并判断是否达到要求。
重复上述步骤,直到还原数据与原始数据之间的损失率小于设定的损失阈值,这样可以确保获得较高质量的交互数据。当还原数据满足损失阈值要求,将其作为最终的交互数据结果进行存储管理。这个过程确保了还原数据的质量和准确性,并提供了可靠的交互结果。
综上所述,本申请实施例所提供的一种数据资源的无接口交互管理方法及系统具有如下技术效果:
1.通过使用生成对抗网络对图像进行复原,可以修复被传输过程中引入的损坏,提高图像的质量和可用性。
2.通过训练损失分析器,分析和评估无接口数据交互传输的数据损失率,为后续数据还原选择合适的路径提供依据。
3.根据数据损失率,选择合适的数据还原路径对目标数据进行迭代处理,直到还原数据与原始数据的损失率小于预设的损失阈值,将最终的交互数据作为交互结果进行存储管理,这样可以进一步提高还原数据的质量和准确性。
综上所述,通过该方法,可以有效解决图像传输中出现的损坏问题,恢复原始数据的质量,并提供可靠的交互结果进行进一步的存储管理。
实施例二
基于与前述实施例中一种数据资源的无接口交互管理方法相同的发明构思,如图2所示,本申请提供了一种数据资源的无接口交互管理系统,所述系统应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,所述系统包括:
目标数据获取单元10,所述目标数据获取单元10用于通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据。
传输数据获取单元20,所述传输数据获取单元20用于通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集。
损失率获取单元30,所述损失率获取单元30用于训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率。
数据还原单元40,所述数据还原单元40用于根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据。
损失分析单元50,所述损失分析单元50用于采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率。
交互结果获取单元60,所述交互结果获取单元60用于根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
进一步而言,所述系统还包括损失分析器训练模块,以执行如下操作步骤:
根据所述数据采集端口和数据接收端口的数据交互记录,获取样本原始数据集和样本目标数据集。
根据所述样本原始数据集和样本目标数据集内的多个样本原始数据和多个样本目标数据,评估获取多个样本相似度信息,基于多个样本相似度信息,计算获得多个样本损失率。
采用所述样本原始数据集、样本目标数据集、多个样本损失率,训练所述损失分析器至满足收敛要求。
进一步而言,所述系统还包括损失分析器获取模块,以执行如下操作步骤:
基于孪生网络,构建损失分析器的基础架构,包括两个权值共享的损失分析分支。
采用所述样本原始数据集、样本目标数据集、多个样本损失率,对其中一个损失分析分支进行训练,直到满足收敛要求,并进行权值共享。
基于训练完成的两个损失分析分支,获得损失分析器。
进一步而言,所述系统还包括实时损失率获取模块,以执行如下操作步骤:
采用所述损失分析器,对所述历史原始数据集和历史目标数据集内的数据进行损失分析,获得多个损失率。
计算多个损失率的均值,获得实时损失率。
进一步而言,所述系统还包括还原数据获取还原数据模块,以执行如下操作步骤:
对所述多个样本损失率,采用K-Means算法进行K类聚类,获得K个聚类结果,并划分获得K个损失率区间,K为大于1的整数。
对所述样本原始数据集和样本目标数据集分别进行K-1次抽取,结合样本原始数据集和样本目标数据集,获取数据量不同的K份样本构建数据。
分别采用K份构建数据,构建K个数据还原路径,集成K个数据还原路径,获得数据还原通道。
构建K个数据还原路径和K个损失率区间的映射关系,其中,损失率区间的大小与数据还原路径的构建数据的数量的大小正相关。
根据所述数据损失率落入的损失率区间,映射选用对应的数据还原路径,对所述目标数据进行还原处理,获得还原数据。
进一步而言,所述系统还包括数据还原通道获取模块,以执行如下操作步骤:
基于对抗生成网络,构建K个数据还原路径内的生成器和判别器。
采用K份样本构建数据内的第一份样本构建数据,对第一数据还原路径内的生成器和判别器进行训练,其中,第一份样本构建数据内的数据量最少,通过将样本构建数据内的样本目标数据输入生成器,结合随机噪声获得生成数据,通过判别器与样本原始数据进行判别,进行训练。
继续对其他的K-1个数据还原路径进行训练,获得数据还原通道。
进一步而言,所述系统还包括聚类结果获取模块,以执行如下操作步骤:
在多个样本损失率内,随机生成K个第一聚类中心。
计算其他的多个样本损失率与K个第一聚类中心的距离,并分别分配至距离最近的第一聚类中心,获得K个第一聚类结果。
在K个第一聚类结果内,重新计算获取每个第一聚类结果内的中心,获得K个第二聚类中心。
计算其他的多个样本损失率与K个第二聚类中心的距离,并分别分配至距离最近的第二聚类中心,获得K个第二聚类结果。
继续进行聚类,直到K个聚类中心不再发生变化,获得K个聚类结果。
本说明书通过前述对一种数据资源的无接口交互管理方法的详细描述,本领域技术人员可以清楚得知道本实施例中一种数据资源的无接口交互管理方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述得比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种数据资源的无接口交互管理方法,其特征在于,所述方法应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,所述方法包括:
通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据;
通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集;
训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率,其中,所述数据损失率表示传输过程中数据的损失程度,损失率的计算为:损失率=1-相似度;
根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据;
采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率;
根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:
根据所述数据采集端口和数据接收端口的数据交互记录,获取样本原始数据集和样本目标数据集;
根据所述样本原始数据集和样本目标数据集内的多个样本原始数据和多个样本目标数据,评估获取多个样本相似度信息,基于多个样本相似度信息,计算获得多个样本损失率;
采用所述样本原始数据集、样本目标数据集、多个样本损失率,训练所述损失分析器至满足收敛要求。
3.根据权利要求2所述的方法,其特征在于,所述方法包括:
基于孪生网络,构建损失分析器的基础架构,包括两个权值共享的损失分析分支;
采用所述样本原始数据集、样本目标数据集、多个样本损失率,对其中一个损失分析分支进行训练,直到满足收敛要求,并进行权值共享;
基于训练完成的两个损失分析分支,获得损失分析器。
4.根据权利要求1所述的方法,其特征在于,所述方法包括:
采用所述损失分析器,对所述历史原始数据集和历史目标数据集内的数据进行损失分析,获得多个损失率;
计算多个损失率的均值,获得实时损失率。
5.根据权利要求2所述的方法,其特征在于,所述方法包括:
对所述多个样本损失率,采用K-Means算法进行K类聚类,获得K个聚类结果,并划分获得K个损失率区间,K为大于1的整数;
对所述样本原始数据集和样本目标数据集分别进行K-1次抽取,结合样本原始数据集和样本目标数据集,获取数据量不同的K份样本构建数据;
分别采用K份构建数据,构建K个数据还原路径,集成K个数据还原路径,获得数据还原通道;
构建K个数据还原路径和K个损失率区间的映射关系,其中,损失率区间的大小与数据还原路径的构建数据的数量的大小正相关;
根据所述数据损失率落入的损失率区间,映射选用对应的数据还原路径,对所述目标数据进行还原处理,获得还原数据。
6.根据权利要求5所述的方法,其特征在于,所述方法包括:
基于对抗生成网络,构建K个数据还原路径内的生成器和判别器;
采用K份样本构建数据内的第一份样本构建数据,对第一数据还原路径内的生成器和判别器进行训练,其中,第一份样本构建数据内的数据量最少,通过将样本构建数据内的样本目标数据输入生成器,结合随机噪声获得生成数据,通过判别器与样本原始数据进行判别,进行训练;
继续对其他的K-1个数据还原路径进行训练,获得数据还原通道。
7.根据权利要求5所述的方法,其特征在于,所述方法包括:
在多个样本损失率内,随机生成K个第一聚类中心;
计算其他的多个样本损失率与K个第一聚类中心的距离,并分别分配至距离最近的第一聚类中心,获得K个第一聚类结果;
在K个第一聚类结果内,重新计算获取每个第一聚类结果内的中心,获得K个第二聚类中心;
计算其他的多个样本损失率与K个第二聚类中心的距离,并分别分配至距离最近的第二聚类中心,获得K个第二聚类结果;
继续进行聚类,直到K个聚类中心不再发生变化,获得K个聚类结果。
8.一种数据资源的无接口交互管理系统,其特征在于,所述系统应用于一数据资源的无接口交互管理装置,所述装置包括数据采集端口、数据接收端口和交互管理模块,所述数据采集端口和数据接收端口无接口通信连接,用于实施权利要求1-7任一项所述的一种数据资源的无接口交互管理方法,包括:
目标数据获取单元,所述目标数据获取单元用于通过数据采集端口,将采集获得的原始数据通过无接口交互传输至数据接收端口,获得目标数据;
传输数据获取单元,所述传输数据获取单元用于通过交互管理模块,采集在预设时间范围内,所述数据采集端口和所述数据接收端口的传输数据,获取历史原始数据集和历史目标数据集;
损失率获取单元,所述损失率获取单元用于训练损失分析器,连接所述数据采集端口和数据接收端口,根据所述历史原始数据集和历史目标数据集,分析获取所述数据采集端口和所述数据接收端口当前进行无接口数据交互传输的数据损失率;
数据还原单元,所述数据还原单元用于根据数据损失率,选择数据还原通道内对应的数据还原路径,对所述目标数据进行数据还原处理,获得还原数据;
损失分析单元,所述损失分析单元用于采用所述损失分析器,对还原数据和原始数据进行损失分析,获得还原损失率;
交互结果获取单元,所述交互结果获取单元用于根据所述还原损失率,继续选用对应的数据还原路径,对还原数据进行再次还原,直到还原数据与原始数据的损失率小于损失阈值,获得交互数据,作为交互结果,进行存储管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311337371.4A CN117196996B (zh) | 2023-10-17 | 2023-10-17 | 一种数据资源的无接口交互管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311337371.4A CN117196996B (zh) | 2023-10-17 | 2023-10-17 | 一种数据资源的无接口交互管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117196996A CN117196996A (zh) | 2023-12-08 |
CN117196996B true CN117196996B (zh) | 2024-06-04 |
Family
ID=88988865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311337371.4A Active CN117196996B (zh) | 2023-10-17 | 2023-10-17 | 一种数据资源的无接口交互管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117196996B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103069835A (zh) * | 2010-08-12 | 2013-04-24 | 索尼公司 | 信息处理装置和方法、以及程序 |
CN108573127A (zh) * | 2017-03-14 | 2018-09-25 | 深圳华大基因科技服务有限公司 | 一种核酸第三代测序原始数据的处理方法及其应用 |
CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
CN110766048A (zh) * | 2019-09-18 | 2020-02-07 | 平安科技(深圳)有限公司 | 图像内容识别方法、装置、计算机设备和存储介质 |
CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
CN113609427A (zh) * | 2021-08-06 | 2021-11-05 | 山东鸿业信息科技有限公司 | 一种无接口情况下的系统数据资源提取方法及系统 |
CN113742781A (zh) * | 2021-09-24 | 2021-12-03 | 湖北工业大学 | 一种k匿名聚类隐私保护方法、系统、计算机设备、终端 |
CN114494489A (zh) * | 2022-01-05 | 2022-05-13 | 电子科技大学长三角研究院(衢州) | 一种基于深度孪生网络的自监督属性可控图像生成方法 |
CN115081920A (zh) * | 2022-07-08 | 2022-09-20 | 华南农业大学 | 考勤签到调度管理方法、系统、设备及存储介质 |
CN115439615A (zh) * | 2022-11-07 | 2022-12-06 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于三维bim的分布式综合管理系统 |
CN115664598A (zh) * | 2022-10-28 | 2023-01-31 | 歌尔科技有限公司 | 音频传输方法、设备及计算机可读存储介质 |
CN115908984A (zh) * | 2022-12-16 | 2023-04-04 | 广州广电运通金融电子股份有限公司 | 图像聚类模型的训练方法及装置 |
CN116228384A (zh) * | 2023-01-10 | 2023-06-06 | 建信金融科技有限责任公司 | 一种数据处理方法、装置、电子设备及计算机可读介质 |
CN116436802A (zh) * | 2023-06-13 | 2023-07-14 | 山西凯瑞科技有限公司 | 基于机器学习的智能控制方法及系统 |
CN116484175A (zh) * | 2023-03-23 | 2023-07-25 | 北京航空航天大学 | 一种动力电池使用数据修复系统与方法 |
CN116682350A (zh) * | 2023-06-25 | 2023-09-01 | 昆山国显光电有限公司 | 显示面板的数据处理方法、装置及计算机可读存储介质 |
CN116823428A (zh) * | 2023-07-03 | 2023-09-29 | 中国银行股份有限公司 | 一种反欺诈检测方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3278213A4 (en) * | 2015-06-05 | 2019-01-30 | C3 IoT, Inc. | SYSTEMS, METHODS AND DEVICES FOR AN APPLICATION DEVELOPMENT PLATFORM OF AN INTERNET OF THE THINGS OF A COMPANY |
US11093151B1 (en) * | 2020-02-03 | 2021-08-17 | Exagrid Systems, Inc. | Similarity matching |
CN111524525B (zh) * | 2020-04-28 | 2023-06-16 | 平安科技(深圳)有限公司 | 原始语音的声纹识别方法、装置、设备及存储介质 |
-
2023
- 2023-10-17 CN CN202311337371.4A patent/CN117196996B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103069835A (zh) * | 2010-08-12 | 2013-04-24 | 索尼公司 | 信息处理装置和方法、以及程序 |
CN108573127A (zh) * | 2017-03-14 | 2018-09-25 | 深圳华大基因科技服务有限公司 | 一种核酸第三代测序原始数据的处理方法及其应用 |
CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
CN110766048A (zh) * | 2019-09-18 | 2020-02-07 | 平安科技(深圳)有限公司 | 图像内容识别方法、装置、计算机设备和存储介质 |
CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
CN113609427A (zh) * | 2021-08-06 | 2021-11-05 | 山东鸿业信息科技有限公司 | 一种无接口情况下的系统数据资源提取方法及系统 |
CN113742781A (zh) * | 2021-09-24 | 2021-12-03 | 湖北工业大学 | 一种k匿名聚类隐私保护方法、系统、计算机设备、终端 |
CN114494489A (zh) * | 2022-01-05 | 2022-05-13 | 电子科技大学长三角研究院(衢州) | 一种基于深度孪生网络的自监督属性可控图像生成方法 |
CN115081920A (zh) * | 2022-07-08 | 2022-09-20 | 华南农业大学 | 考勤签到调度管理方法、系统、设备及存储介质 |
CN115664598A (zh) * | 2022-10-28 | 2023-01-31 | 歌尔科技有限公司 | 音频传输方法、设备及计算机可读存储介质 |
CN115439615A (zh) * | 2022-11-07 | 2022-12-06 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种基于三维bim的分布式综合管理系统 |
CN115908984A (zh) * | 2022-12-16 | 2023-04-04 | 广州广电运通金融电子股份有限公司 | 图像聚类模型的训练方法及装置 |
CN116228384A (zh) * | 2023-01-10 | 2023-06-06 | 建信金融科技有限责任公司 | 一种数据处理方法、装置、电子设备及计算机可读介质 |
CN116484175A (zh) * | 2023-03-23 | 2023-07-25 | 北京航空航天大学 | 一种动力电池使用数据修复系统与方法 |
CN116436802A (zh) * | 2023-06-13 | 2023-07-14 | 山西凯瑞科技有限公司 | 基于机器学习的智能控制方法及系统 |
CN116682350A (zh) * | 2023-06-25 | 2023-09-01 | 昆山国显光电有限公司 | 显示面板的数据处理方法、装置及计算机可读存储介质 |
CN116823428A (zh) * | 2023-07-03 | 2023-09-29 | 中国银行股份有限公司 | 一种反欺诈检测方法、装置、设备及存储介质 |
Non-Patent Citations (4)
Title |
---|
Data-efficient Online Classification with Siamese Networks and Active Learning;Kleanthis Malialis 等;《arXiv:2010.01659》;20201004;1-7 * |
基于差分隐私的标签轨迹数据发布机制研究;张宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20230215;I138-311 * |
基于联盟链的云存储完整性审计机制研究;顾浩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20201015;I137-15 * |
移动社交网络中位置隐私保护技术研究;张婷婷;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415;I138-255 * |
Also Published As
Publication number | Publication date |
---|---|
CN117196996A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111124840B (zh) | 业务运维中告警的预测方法、装置与电子设备 | |
CN107122594B (zh) | 一种新能源车辆电池的健康预测方法和系统 | |
CN108595539A (zh) | 一种基于大数据的行迹相似对象识别方法与系统 | |
US20190087737A1 (en) | Anomaly detection and automated analysis in systems based on fully masked weighted directed | |
CN109710691B (zh) | 一种基于深度学习的混合区块链模型构建方法 | |
CN106199267B (zh) | 一种电力设备故障特征分析方法 | |
CN111507504A (zh) | 基于数据重采样的Adaboost集成学习电网故障诊断系统及方法 | |
CN115438714A (zh) | 分簇式联邦学习驱动的机械故障诊断方法、装置及介质 | |
CN107330128A (zh) | 认证异常判断方法及装置 | |
CN112860676A (zh) | 应用于大数据挖掘和业务分析的数据清洗方法及云服务器 | |
CN115051929A (zh) | 基于自监督目标感知神经网络的网络故障预测方法及装置 | |
CN117196996B (zh) | 一种数据资源的无接口交互管理方法及系统 | |
CN111626324A (zh) | 基于边缘计算的海底观测网数据异构解析集成方法 | |
CN114553473B (zh) | 一种基于登录ip和登陆时间的异常登陆行为检测系统和方法 | |
CN110298750B (zh) | 高并发交易数据处理方法、装置、计算机设备和存储介质 | |
CN111654853B (zh) | 一种基于用户信息的数据分析方法 | |
CN114710344A (zh) | 一种基于溯源图的入侵检测方法 | |
CN115866235A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
CN114817693A (zh) | 设备故障知识推荐方法和系统 | |
CN112069037A (zh) | 一种云平台无阈值检测的方法和装置 | |
CN116016298B (zh) | 一种基于隐半马尔可夫模型的5g通信协议异常检测方法 | |
WO2023061303A1 (zh) | 大尺度衰落的建模及估计方法、系统、设备和存储介质 | |
CN111400152B (zh) | 数据处理方法以及第一服务器和第二服务器 | |
CN117118689B (zh) | 一种不平衡数据物联网入侵检测方法及装置 | |
CN117354053B (zh) | 一种基于大数据的网络安全保护方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |