CN112269769A - 数据压缩方法、装置、计算机设备及存储介质 - Google Patents

数据压缩方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112269769A
CN112269769A CN202011295604.5A CN202011295604A CN112269769A CN 112269769 A CN112269769 A CN 112269769A CN 202011295604 A CN202011295604 A CN 202011295604A CN 112269769 A CN112269769 A CN 112269769A
Authority
CN
China
Prior art keywords
compression
target data
data segment
parameter
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011295604.5A
Other languages
English (en)
Other versions
CN112269769B (zh
Inventor
刘瑾瑾
赵宏
陈小梦
宁德刚
赵京辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Original Assignee
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Envision Innovation Intelligent Technology Co Ltd, Envision Digital International Pte Ltd filed Critical Shanghai Envision Innovation Intelligent Technology Co Ltd
Priority to CN202011295604.5A priority Critical patent/CN112269769B/zh
Publication of CN112269769A publication Critical patent/CN112269769A/zh
Priority to PCT/SG2021/050697 priority patent/WO2022108523A1/en
Application granted granted Critical
Publication of CN112269769B publication Critical patent/CN112269769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请是关于一种数据压缩方法、装置、计算机设备及存储介质，具体涉及数据处理领域。方法包括：获取目标数据；根据第i‑1个目标数据段对应的压缩数据信息，通过参数更新模型对第i‑1个目标数据段对应的压缩参数进行更新，得到第i个目标数据段对应的压缩参数；参数更新模型是根据历史压缩参数以及历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；根据第i个目标数据段对应的压缩参数，对第i个目标数据段进行数据压缩。上述方案，通过人工智能技术，根据历史压缩参数以及历史压缩参数对应的压缩信息，更新参数更新模型，并通过更新后的参数更新模型调整压缩参数，在保证压缩精度的情况下，提高压缩效率。

Description

数据压缩方法、装置、计算机设备及存储介质
技术领域
本申请涉及数据处理领域，特别涉及一种数据压缩方法、装置、计算机设备及存储介质。
背景技术
随着物联网技术的快速发展，物联网大数据问题开始凸显，物联网数据的海量特性给数据质量控制、数据存储、数据压缩、数据集成、数据融合、数据查询带来极大挑战，其中，对数据压缩能力的需求正是物联网信息化和数字化发展的痛点。
在相关技术中，开发者满足数据质量控制的前提下，采取合适、高效的压缩方法，从而最大程度上减少时序数据的冗余存储，提高空间利用率，可以有效降低存储成本、提高存储性能。
然而，相关技术中，开发者在对数据进行压缩时，采用的压缩率较大的压缩参数，可能导致压缩精度较低，而采用压缩精度较高的压缩参数时可能导致压缩率太低，开发者难以选择同时保证压缩率和压缩精度的压缩参数。
发明内容
本申请实施例提供了一种数据压缩方法、装置、计算机设备及存储介质，可以调整压缩参数，在保证压缩精度的情况下，提高压缩效率，该技术方案如下：
一方面，提供了一种数据压缩方法，所述方法包括：
获取目标数据；所述目标数据包括至少两个目标数据段；
根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
又一方面，提供了一种数据压缩装置，所述装置包括：
目标数据获取模块，用于获取目标数据；所述目标数据包括至少两个目标数据段；
压缩参数更新模块，用于根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
数据压缩模块，用于根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
在一种可能的实现方式中，所述历史目标数据段包括第i个所述目标数据段之前的所述目标数据段；
所述装置还包括：
模型更新模块，用于当第i个所述目标数据段满足指定条件时，根据第i个所述目标数据段的前N个所述目标数据段对应的压缩参数，以及前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新；前N个所述目标数据段是所述目标数据中，处于第i个所述目标数据段之前的N个所述目标数据段；i＞N≥1，且N为整数。
在一种可能的实现方式中，所述模型更新模块，用于，
当i为预设值时，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新。
在一种可能的实现方式中，所述参数更新模型包括第一模型分支和第二模型分支；
所述第一模型分支用于根据第i-1个所述目标数据段对应的压缩数据信息对所述第i-1个所述目标数据段对应的压缩参数进行更新；
所述第二模型分支用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数。
在一种可能的实现方式中，所述压缩参数更新模块，还用于，
根据所述第i-1个所述目标数据段对应的压缩数据信息，通过所述第一模型分支对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到所述第i个所述目标数据段对应的压缩参数；
所述模型更新模块，还用于，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，通过所述第二模型分支，获取所述第i个所述目标数据段对应的价值信息；所述价值信息用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数；
根据所述价值信息，对所述第一模型分支与所述第二模型分支进行更新。
在一种可能的实现方式中，所述目标数据还包括初始数据段；
所述压缩参数更新模块，用于，
根据所述初始数据段，获取初始压缩参数；所述初始压缩参数是第一个所述目标数据段对应的压缩参数；
根据所述初始压缩参数，对第一个所述目标数据段进行数据压缩，获得第一个所述目标数据段的压缩参数，以及所述第一个所述目标数据段对应的压缩数据信息。
在一种可能的实现方式中，所述历史目标数据段包括样本数据中的样本目标数据段；所述样本数据是与所述目标数据同类型的数据；所述样本数据包含至少两个样本目标数据段；
所述装置还包括：
样本更新模块，用于根据所述至少两个样本目标数据段，对所述参数更新模型进行训练，得到更新后的参数更新模型。
再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的数据压缩方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述数据压缩方法。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述数据压缩方法。
本申请提供的技术方案可以包括以下有益效果：
通过在压缩过程中获取的历史压缩参数，以及历史压缩参数对应的压缩比和压缩误差，对参数更新模型进行更新，再通过更新后的参数更新模型，对上一个目标数据段对应的压缩参数进行更新，得到更新后的压缩参数，并通过更新后的压缩参数对目标数据段进行压缩，得到该目标数据段对应的压缩数据信息，并继续根据该压缩数据信息，通过该参数更新模型，获取下一个目标数据段对应的压缩参数。通过上述方案，参数更新模型通过历史压缩参数的压缩比和压缩误差进行更新，并且参数更新模型根据上一个目标数据段的压缩比和压缩误差，对该目标数据段对应的压缩参数进行调整，准确地调整压缩参数的值，可以在保证压缩精度的情况下，提高压缩效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种数据压缩系统的结构示意图。
图2示出了本申请实施例涉及的一种旋转门压缩算法示意图。
图3是根据一示例性实施例示出的一种数据压缩方法的流程示意图。
图4是是根据一示例性实施例提供的一种数据压缩方法的方法流程图。
图5是图4所示实施例涉及的一种参数更新模型训练方法的流程示意图。
图6是图4所示实施例涉及的一种数据压缩方法的流程示意图。
图7是图4所示实施例涉及的一种数据压缩应用示意图。
图8是图4所示实施例涉及的一种数据压缩应用示意图。
图9是根据一示例性实施例示出的一种数据压缩流程框架图。
图10是根据一示例性实施例示出的一种数据压缩装置的结构方框图。
图11是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍：
1)人工智能(Artificial Intelligence，AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)数据压缩(Data Compression，DC)
数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法，数据压缩包括有损压缩和无损压缩。
3)强化学习(Reinforcement Learning，RL)
强化学习又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
强化学习的常见模型是标准的马尔可夫决策过程(Markov Decision Process,MDP)。按给定条件，强化学习可分为基于模式的强化学习(model-based RL)和无模式强化学习(model-free RL)，以及主动强化学习(active RL)和被动强化学习(passive RL)。强化学习是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(Reinforcement Learning System)如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。
图1是根据一示例性实施例示出的一种数据压缩系统的结构示意图。该系统包括：数据存储设备120以及数据压缩设备140。
其中，数据存储设备120中可以包括数据存储模块(图中未示出)，待压缩的数据可以预先存储在该数据存储模块中；或者数据存储设备120直接连接传感器，该传感器可以是一台传感器，也可以是若干台传感器，传感器通过外界环境的变化产生对应的时序数据，并将该时序数据发送至该数据存储设备中进行存储。
其中，数据压缩设备140中可以包括数据压缩模块与数据处理模块。待压缩的数据可以通过数据处理模块进行处理为适合压缩的数据形式，或者待压缩的数据可以通过数据处理模块直接进行分析。数据压缩设备还可以通过数据压缩模块对待压缩的数据进行压缩，得到压缩后的压缩数据。
可选的，该数据压缩设备140中，可以包括压缩数据存储模块，数据压缩模块对待压缩的数据进行压缩，并将压缩后的压缩数据保存至数据存储模块。
可选的，该数据压缩设备140可以是服务器，可以是一台服务器，或者包括若干台服务器，或者是若干台服务器组成的分布式计算机集群，或者是一个虚拟化平台，或者是一个云计算服务中心等，本申请不做限制。
数据存储设备120与数据压缩设备140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，该系统还可以包括管理设备(图1未示出)，该管理设备与数据存储设备120以及数据压缩设备140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
请参考图2，其示出了本申请实施例涉及的一种旋转门压缩(Spinning DoorTransformation，SDT)算法示意图。如图2所示，其示出了通过旋转门算法对一段时序数据进行压缩的方法过程，以t0至t8九个时间节点对应的九个时序数据节点为例，旋转门算法以t0对应的时序数据节点为起点开始第一个压缩流程，该压缩流程如下：
首先根据压缩参数△E，在图上取距离该起点垂直距离为△E的两点作为支点(支点1与支点2)。
通过支点1与支点2，对t1对应的时序数据节点进行判定。通过t1对应的时序数据节点与该两个支点进行连接，t1对应的时序数据节点与该两个支点组成了一个三角形，此时记录下三角形1内支点1对应的三角形内角作为内角1；记录下三角形1内支点2对应的三角形内角作为内角2。显然，此时内角1与内角2之和小于180度，t1对应的时序数据节点可以在该压缩流程内正常压缩。
然后，对t2对应的时序数据节点进行判定，该判定过程与t1的判定过程相同，通过t2对应的时序数据节点与支点1和支点2连接形成三角形2，此时，将内角1与三角形2中支点1对应的三角形内角进行比较，取较大值作为内角1，将内角2与三角形2中支点2对应的三角形内角进行比较，取较大值作为内角2，再判定该内角1与内角2的和是否小于等于180度。在图2中，由于对t2判定后，该内角1与内角2的和仍然小于等于180度，则该t2对应的时序数据节点也可以在该压缩流程内正常压缩。
同理，t3对应的时序数据节点与t4对应的时序数据节点也可以在该压缩流程内正常压缩，此处不再赘述。
当对图2中的t5对应的时序数据节点进行判定时，可以发现，将t5与支点连接成的三角形5中，支点2对应的三角形内角更新为内角2后，内角2与内角1的和大于180度，说明该t5对应的时序数据节点无法在该压缩流程内正常压缩，此时将该t5对应的时序数据节点作为新的起点，开启下一个压缩流程，并且将上一个压缩流程对应的t0至t4对应的时序数据节点通过一个线段数据来表示，完成了t0至t4对应时序数据节点的数据压缩过程。
该旋转门算法是一种有损压缩算法，在该旋转门压缩算法中，压缩参数△E，用于控制旋转门算法的压缩精度和压缩效果。当△E较小时，一个压缩流程内允许压缩的时序数据节点之间的差值较小，因此压缩误差也会较小，但ΔE过小会保留较多的无用数据点，压缩率也较低；当△E较大时，一个压缩流程内允许压缩时序数据节点之间的差值较大，因此压缩率较高，同时较大的压缩差值可能导致一个压缩流程内的压缩点损失过多的压缩信息，压缩误差较大。因此在通过旋转门压缩算法进行数据压缩的过程中，需要准确控制△E的大小，在保证误差较小的情况下尽量提高压缩率。因此在旋转门压缩算法中，ΔE值的选取较困难，且直接影响着压缩性能。
请参考图3，其是根据一示例性实施例示出的一种数据压缩方法的流程示意图。该方法可以由计算机设备执行，该计算机设备可以是图1所示实施例中的数据压缩设备140。如图3所示，该数据压缩方法的流程可以包括如下步骤：
步骤31，获取目标数据；该目标数据包括至少两个目标数据段。
在一种可能的实现方式中，该目标数据可以是时序数据。
其中，时序数据指的是时间序列数据，该时间序列数据是同一指标按时间顺序记录的数据列，在同一数据列中的各个数据是同口径的，具有可比性。
在一种可能的实现方式中，可以通过时间标识将该目标数据分割为各个目标数据段。
在该时序数据中，可以包含有用于指示时序数据中的时间信息的时间标识，根据该时间标识，可以将该目标数据确定为各个目标数据段。
在一种可能的实现方式中，所述各个目标数据段的数据量相同。
步骤32，根据第i-1个该目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个该目标数据段对应的压缩参数进行更新，得到第i个该目标数据段对应的压缩参数。
其中，i≥2，且i为整数；该压缩数据信息包括压缩比和压缩误差中的至少一种；该参数更新模型是根据历史压缩参数以及该历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；该压缩参数用于指示对该目标数据段进行数据压缩的压缩精度；该历史压缩参数是历史目标数据段对应的压缩参数。
在一种可能的实现方式中，该参数更新模型包括第一模型分支和第二模型分支。
其中，该第一模型分支用于根据第i-1个该目标数据段对应的压缩数据信息对该第i-1个该目标数据段对应的压缩参数进行更新，该第二模型分支用于以提高该压缩参数对应的压缩比，以及降低该压缩参数对应的压缩误差为目标，指示该第一模型分支更新该压缩参数。
在一种可能的实现方式中，该历史目标数据段包括第i个该目标数据段之前的该目标数据段。
另一种可能的实现方式中，该历史目标数据段包括样本数据中的该样本目标数据段；该样本数据是与目标数据同类型的数据，该样本数据包含至少两个样本目标数据段。
步骤33，根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
综上所述，在本申请实施例所示的方案中，通过在压缩过程中获取的历史压缩参数，以及历史压缩参数对应的压缩比和压缩误差，对参数更新模型进行更新，再通过更新后的参数更新模型，对上一个目标数据段对应的压缩参数进行更新，得到更新后的压缩参数，并通过更新后的压缩参数对目标数据段进行压缩，得到该目标数据段对应的压缩数据信息，并继续根据该压缩数据信息，通过该参数更新模型，获取下一个目标数据段对应的压缩参数。通过上述方案，参数更新模型通过历史压缩参数的压缩比和压缩误差进行更新，并且参数更新模型根据上一个目标数据段的压缩比和压缩误差，对该目标数据段对应的压缩参数进行调整，准确地调整压缩参数的值，可以在保证压缩精度的情况下，提高压缩效率。
请参考图4，其是根据一示例性实施例提供的一种数据压缩方法的方法流程图。该方法可以由计算机设备执行，该计算机设备可以是图1所示实施例中的数据压缩设备140，其中该数据压缩设备可以是服务器。如图4所示，该数据压缩方法可以包括如下步骤：
步骤401，获取至少两个样本目标数据段。
其中，该样本目标数据段是样本数据中包含的数据段。
步骤402，根据该至少两个样本目标数据段，对该参数更新模型进行训练，得到更新后的参数更新模型。
在一种可能的实现方式中，该样本数据中还包括初始样本数据段。
其中，该初始样本数据段，是样本数据中的第一段数据段。
在一种可能的实现方式中，根据该初始样本数据段，获取初始样本压缩参数，该初始样本压缩参数是第一个样本目标数据段对应的压缩参数。
在一种可能的实现方式中，根据该初始样本压缩参数，以及用户预设的参数，初始化该参数更新模型。
即该参数更新模型，在根据该至少两个样本目标数据段进行更新之前，可以通过初始样本压缩参数，以及预设的参数，进行初始化构建，服务器再根据该至少两个样本目标数据段对该初始化后的参数更新模型进行训练。
在一种可能的实现方式中，步骤402可以包括步骤402a，步骤402b和步骤402c。
步骤402a，根据第n-1个该样本目标数据段对应的压缩数据信息，通过参数更新模型对该第n-1个该样本目标数据段对应的样本压缩参数进行更新，得到第n个该样本目标数据段对应的样本压缩参数；n≥2，且n为整数。
其中，该第n-1个该样本目标数据段对应的压缩数据信息，包括该第n-1个该样本目标数据段对应的压缩比和压缩误差中的至少一者。
在一种可能的实现方式中，该第n-1个该样本目标数据段对应的压缩比，为对第n-1个该样本目标数据段进行压缩前的数据段的数量，与对第n-1个该样本目标数据段进行压缩后的数据段的数量的比值，该压缩比proportion如下公式所示：
Figure BDA0002785324590000111
其中，N为压缩前数据段中包含数据点的数量，N′为压缩后数据段中包含数据点的数量。
在一种可能的实现方式中，该压缩误差Std如下公式所示：
Figure BDA0002785324590000112
其中，yi为该样本目标数据段中各个数据点对应的数据值，u为该样本目标数据段中各个数据点对应的数据值的平均值，n为该样本目标数据段中的数据点的数量。
步骤402b，根据该第n个该样本目标数据段对应的样本压缩参数，对该第n个该样本目标数据段进行数据压缩，得到该第n个该样本目标数据段的压缩数据，以及该第n个该样本目标数据段对应的压缩数据信息。
在一种可能的实现方式中，当压缩方式为旋转门压缩算法时，该样本压缩参数为旋转门算法中的压缩参数△E，用于控制旋转门算法的压缩精度和压缩效果。
步骤402c，根据该至少两个样本目标数据段对应的样本压缩参数，以及该至少两个样本目标数据段对应的压缩数据信息，对该参数更新模型进行更新。
在一种可能的实现方式中，当第n个该样本目标数据段满足指定条件时，根据第n个该样本目标数据段的前N个该样本目标数据段对应的压缩数据信息，对该参数更新模型进行更新。
其中，前N个该样本目标数据段是该目标数据中，处于第i个该样本目标数据段之前的N个该数据段；i＞N≥1，且N为整数。
在一种可能的实现方式中，该参数更新模型包括第一模型分支和第二模型分支，该第一模型分支用于根据该第n-1个该样本目标数据段对应的压缩数据信息对该第n-1个该样本目标数据段对应的样本压缩参数进行更新；该第二模型分支用于以提高该压缩参数对应的压缩比，以及降低该压缩参数对应的压缩误差为目标，指示该第一模型分支更新该压缩参数。
其中，该参数更新模型是，通过基于Actor-Critic的PPO(Proximal PolicyOptimization)算法构建的模型，因此在该参数更新模型中，该第一模型分支为Actor网络模型，该第二模型分支为critic网络模型。
在一种可能的实现方式中，根据该第n-1个该样本目标数据段对应的压缩数据信息，通过该第一模型分支对该第n-1个该样本目标数据段对应的样本压缩参数进行更新，得到该第n个该样本目标数据段对应的样本压缩参数；根据该至少两个样本目标数据段对应的样本压缩参数，以及该至少两个样本目标数据段对应的压缩数据信息，通过该第二模型分支，获取该第i个该目标数据段对应的价值信息；该价值信息用于以提高该压缩参数对应的压缩比，以及降低该压缩参数对应的压缩误差为目标，指示该第一模型分支更新该压缩参数；
根据该价值信息，对该第一模型分支与该第二模型分支进行更新。
当该参数更新模型是Actor-critic网络模型时，其中，Actor网络模型以压缩参数ΔE、压缩比proportion和压缩误差Std为输入参数，并结合一定的随机数来计算出ΔE的变化值，并将该ΔE的变化值作为强化学习概念中的动作Action；将该压缩参数ΔE、压缩比proportion和压缩误差Std作为强化学习概念中的状态state；计算该第n个该样本目标数据段对应的proportion与第n-1个该样本目标数据段对应的proportion的差，以及第n个该样本目标数据段对应的Std与第n个该样本目标数据段对应的Std的差，将两个差的比值作为第n个该样本目标数据段对应的奖励(Reward)。
当第n个样本目标数据段满足指定条件时，根据该第n个该样本目标数据段的前N个该样本目标数据段对应的state，Reward以及Action，对该Actor-critic网络模型进行更新。具体来说，模型中的Actor在根据该前N个样本目标数据段的state进行更新之前，会复制为Old_Actor。根据该前N个样本目标数据段对应的state更新后的Actor，与未更新的Old_Actor对比计算出a_loss，而该前N个样本目标数据段对应的Reward、state作为模型中critic网络模型的输入参数得到该前N个样本目标数据段对应的价值信息(即强化学习概念中的value)，并根据该价值信息获得c_loss，其中a_loss为Actor网络的损失函数值，c_loss为critic网络的损失函数值，根据a_loss与c_loss分别对Actor与critic网络进行反向传播，更新该参数更新模型。
步骤403，获取目标数据；该目标数据包括至少两个目标数据段。
其中，该目标数据是与该样本目标数据同类型的数据。
步骤404，根据该初始数据段，获取初始压缩参数；该初始压缩参数是第一个该目标数据段对应的压缩参数。
其中该目标数据还包括初始数据段，该初始数据段是目标数据中的第一段数据段。
在一种可能的实现方式中，根据该初始数据段的各个数据点对应数据值的标准差，获取初始压缩参数。
服务器可以直接对该初始数据段中的各个数据点对应数据值的分布情况进行分析，例如通过标准差分析该初始数据段中的各个数据点对应数据值的分布情况，可以部分体现出该初始数据段对应的目标数据整体数据点对应数据值的分布情况。其中，初始压缩参数可以与该初始数据段中的各个数据点对应的数据值的标准差成正相关。该标准差较大，则说明该初始数据段中的数据点对应的数据值差距较大，数据点较为分散，因此可以推测该目标数据整体的数据点分布可能也同样较为分散，因此为了保证一定的压缩率，可以将设置较大的初始压缩参数，再根据后续目标数据段的压缩情况，对该初始压缩参数进行更新；同理，该标准差较小，则说明该初始数据段中的各个数据点对应的数据值差距较小，因此在压缩率可以保证的情况下，可以设置较小的初始压缩参数，提高压缩准确度，再根据后续目标数据段的压缩情况，对该初始压缩参数进行更新。
步骤405，根据该初始压缩参数，对第一个该目标数据段进行数据压缩，获得第一个该目标数据段的压缩参数，以及第一个该目标数据段对应的压缩数据信息。
在一种可能的实现方式中，通过旋转门压缩算法，根据初始压缩参数，对第一个该目标数据段进行数据压缩，获得第一个该目标数据段的压缩参数，以及第一个该目标数据段对应的压缩数据信息。
其中，初始压缩参数是旋转门压缩算法对应的压缩参数△E。
步骤406，根据第i-1个该目标数据段对应的压缩数据信息，通过参数更新模型对该第i-1个该目标数据段对应的压缩参数进行更新，得到第i个该目标数据段对应的压缩参数。
在一种可能的实现方式中，当该参数更新模型包含第一模型分支时，该第一模型分支用于根据第i-1个该目标数据段对应的压缩数据信息对该第i-1个该目标数据段对应的压缩参数进行更新。
在一种可能的实现方式中，根据该第i-1个该目标数据段对应的压缩数据信息，通过该第一模型分支对该第i-1个该目标数据段对应的压缩参数进行更新，得到该第i个该目标数据段对应的压缩参数。
其中，通过参数更新模型对该第i-1个该目标数据段对应的压缩参数进行更新的过程，以及通过第一模型分支和第二模型分支，对该第i-1个该目标数据段对应的压缩参数进行更新的过程，与上述步骤402中模型训练过程中的压缩参数的更新过程相同，此处不再赘述。
步骤407，根据第i个该目标数据段对应的压缩参数，对第i个该目标数据段进行数据压缩。
在一种可能的实现方式中，当第i个该目标数据段满足指定条件，根据第i个该目标数据段的前N个该目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，对该参数更新模型进行更新；前N个该目标数据段是该目标数据中，处于第i个该目标数据段之前的N个该数据段；N≥1，且N为整数。
在一种可能的实现方式中，当i为预设值时，根据第i个该目标数据段的前N个该目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，对该参数更新模型进行更新。
其中，该预设值可以是一个数值，也可以是多个数值，例如，当预设值是一个数值时，用户可以将其设置为10，此时根据该第10个该目标数据段的前N个目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，对该参数更新模型进行更新；或者，预设值可以为5的倍数，也就是可以取5、10、15、20等数值，此时，每当i达到预设值时，都会对该参数更新模型进行更新。
在一种可能的实现方式中，该参数更新模型包括第二模型分支，该第二模型分支用于以提高该压缩参数对应的压缩比，以及降低该压缩参数对应的压缩误差为目标，指示该第一模型分支更新该压缩参数。
在一种可能的实现方式中，根据该第i个该目标数据段的前N个该目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，通过该第二模型分支，获取该第i个该目标数据段对应的价值信息；该价值信息用于以提高该压缩参数对应的压缩比，以及降低该压缩参数对应的压缩误差为目标，指示该第一模型分支更新该压缩参数；根据该价值信息，对该第一模型分支与该第二模型分支进行更新。
其中，根据第i个该目标数据段的前N个该目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，对该参数更新模型进行更新的过程，与上述步骤402中模型训练过程中的参数更新模型的更新过程相同，此处不再赘述。
图5具体叙述了根据第i个该目标数据段的前N个该目标数据段对应的压缩参数以及该前N个该目标数据段对应的压缩数据信息，对该参数更新模型进行更新的过程。请参考图5，其是本申请实施例涉及的一种参数更新模型训练方法的流程示意图。如图5所示，通过旋转门压缩算法，对第i个目标数据段进行数据压缩，得到该第i个目标数据段对应的压缩比proportion和压缩误差Std(Standard Deviation)，然后将该第i个目标数据段对应的proportion和Std，以及该第i个目标数据段对应的压缩参数△E，作为强化学习方法中的State(状态)，输入该参数更新模型中(S501)，其中，本申请实施例采用的是强化学习方法中的PPO(Proximal Policy Optimization，深度增强学习)算法。
本申请实施例中，该参数更新模型可以是强化学习模型中的Actor-critic模型，其中，Actor-critic模型中的Actor网络用于根据第i个目标数据段的状态信息State，得出第i+1个目标数据段的压缩参数，即根据压缩参数△E、压缩比proportion和压缩误差Std作为输入参数，并结合一定的随机数来计算第i+1个目标数据段的ΔE压缩参数的变化值(即为强化学习概念中的Action)，并计算第i个目标数据段对应的压缩比与压缩误差，和第i+1个目标数据段对应的压缩比和压缩误差，之间的差值(即为强化学习概念中的奖励Reward)。
其中，Actor-cirtic模型的某一轮更新流程如下：
将第i个目标数据段对应的状态信息state输入Actor网络(S502)，得出μ和σ两个参数，并将该两个参数作为正态分布的均值和方差构建正态分布，该正态分布用于表示强化学习方法中Action(△E的变化值)的概率分布情况，然后根据随机数，对该正态分布进行采样，得出一个采样动作(Sample_Action)作为下一目标数据段△E的变化值(S503)，并将该变化值记录为第i个目标数据段对应的Action(S504)。
将该△E的变化值输入压缩程序(即压缩环境environment)，得到第i个目标数据段对应的压缩参数△E，确定第i+1个目标数据段对应的压缩参数△E，再根据第i+1个目标数据段对应的压缩参数△E，通过旋转门压缩算法，对第i+1个目标数据段进行数据压缩，得到该第i+1个目标数据段对应的压缩数据，以及该第i+1个目标数据段对应的压缩比和压缩误差(S505)，并将该第i+1个目标数据段对应的压缩参数、压缩比和压缩误差，保存为该第i+1个目标数据段对应的state(S506)，并输入至Actor网络，并获取下一Action(下一流程，图中未示出)。并且Actor网络通过该第i目标数据段对应的压缩比proportion和压缩误差Std，以及第i+1个目标数据段对应的压缩比proportion和压缩误差Std，得到该第i+1个目标数据段对应的奖励值Reward(S507)。循环上述压缩参数的更新过程，直至模型更新设备(服务器)存储了一定数量的目标数据段对应的(s，a，r)参数，即各个目标数据段对应的(state，Action，Reward)参数。
而后，通过Actor-critic模型中的critic网络，根据一定数量的目标数据段对应的(s，a，r)参数，得出该一定数量的目标数据段对应的value(价值)，并根据该一定数量的目标数据段对应的(s，a，r)参数以及value，对critic网络以及Actor网络进行更新。
具体来说，当模型更新设备存储了如上步骤训练出的一定数量的目标数据段对应的(s，a，r)参数，将上述循环压缩参数的更新过程后得出的(s，a，r)参数输入critic网络(S508)，得到上述循环更新后的模型对应的v_(价值，value)，并根据该v_计算上述循环更新后的模型对应的折扣奖励，该折扣奖励公式如下：R[t]＝r[t]+γ*r[t+1]+γ2*r[t+1]+…+γT-t-1*r[T-1]+γT-t*v_
其中，r[t]为该参数更新模型在时刻为t对应目标数据段对应的Reward值，γ为强化学习概念中的折扣系数，0≤γ≤1，γ用于指示当前时刻的奖励Reward对未来某一时刻的影响率；v_为时刻为t的目标数据段通过critic网络得出的value值。
对一定数量的目标数据段，通过上述折扣奖励公式，计算出该一定数量的目标数据段对应的折扣奖励，例如，当该一定数量的值为T+1时，该T+1个目标数据段对应的折扣奖励分别为R[0]，R[1]，R[2]，R[3]…R[T]，其中T为最后一个时刻(时间步)。
再将模型更新设备中存储的该一定数量(T+1)的(s，a，r)参数分别输入critic网络中，得到该一定数量的目标数据段对应的V_值(value值)，再计算该各个目标数据段V_值与折扣奖励的第一差值At＝R–V_(S509)。
根据该第一差值作为critic网络损失函数的输入值，获取损失函数值(S510)。并根据该损失函数值反向传播更新critic网络，该损失函数可以为c_loss＝mean(square(At))，该损失函数值为该各个目标数据段对应的第一差值的平方值的平均数(S511)。
而后再将该一定数量的目标数据段对应的(s，a，r)参数输入Old_Actor网络和Actor网络(S512)，该Old_Actor网络与Actor网络具有相同的网络结构，其中Old_Actor是通过第一目标数据段压缩出的压缩参数、压缩比以及压缩误差，更新后得到的；而Actor网络是根据一定数量的目标数据段对应的压缩参数、压缩比以及压缩误差，更新后的得到的。
再根据该一定数量的目标数据段对应的(s，a，r)参数，分别构建Old_Actor网络对应的正态分布Normal1和Actor网络对应的正态分布Normal2。该Normal1用于指示在Old_Actor中Action(即E变化值的取值)取各个值的概率，Normal2用于指示在Actor中Action取各个值的概率。将该一定数量的目标数据段对应的Action分别输入至正态分布Normal1和Normal2，得到每个Action在该两个网络(Actor和Old_Actor)中取值的概率prob1和prob2，然后用prob2除以prob1得到important weight(权重)，也就是Old_Actor在更新后的Actor中所占比率ratio。
而后，再通过ratio以及第一差值At，通过损失函数反向传播，对Actor网络进行更新(S513)，其中，损失函数a_loss可以表示为a_loss＝mean(min((ratio*At，clip(ratio，1-ξ，1+ξ)*At)))。
其中，clip函数为裁剪函数，即将ratio按(1-ξ，1+ξ)所示区间的大小进行裁剪，ξ为常数，因此，上述损失函数直观的来看，先通过clip将ratio裁剪出一个范围，并将该裁剪后的范围作用于第一差值At上，并与ratio直接作用于At上所得值进行比较，将其中最小值作为Actor更新的损失函数值。
再循环地通过存储的一定数量的目标数据段对应的(s，a，r)参数，输入Old_Actor网络和Actor网络，并对Actor网络进行更新，循环一定次数后，用更新一定次数后的Actor网络中的网络权重，更新Old_Actor网络(S514)，以便下次对Actor网络的更新流程中，可以通过更新后的Old_Actor网络作为对比网络，构建更新后的Normal2，使模型更新更有效率。
请参考图6，其是本申请实施例涉及的的一种数据压缩方法的流程示意图。如图6所示，目标数据61可以被分割为初始数据611(初始数据段)与若干目标数据段(第一目标数据段612、第二目标数据段613，以及后续的若干段目标数据段)。首先通过对初始数据进行数据分析，通过计算初始数据中包含数据的标准差和平均数等参数，获取初始数据段对应的初始压缩参数，并将该初始数据对应的初始压缩参数输入至参数更新模型中，得到初始化的参数更新模型。
参数更新模型对该初始压缩参数不进行调整，直接将该初始压缩参数输入旋转门压缩模块623中作为旋转门压缩算法的压缩参数，并根据该初始压缩参数对第一目标数据段(即第一个目标数据段)612进行旋转门压缩，得到该第一目标数据段612对应的压缩数据，以及该第一目标数据段612对应的压缩比和压缩误差。
将该第一目标数据段对应的压缩比和压缩误差，以及该第一目标数据段对应的压缩参数，输入参数更新模型621，得到更新后的压缩参数。将该更新后的压缩参数作为第二目标数据段(即第二个目标数据段)的压缩参数，输入旋转门压缩模块，对该第二目标数据段613进行旋转门压缩，得到该第二目标数据段613对应的压缩数据，以及该第二目标数据段613对应的压缩比和压缩误差。
迭代上述过程，当根据第N个目标数据段614对应的压缩参数，通过旋转门压缩模块，对该第N个目标数据段614进行旋转门压缩，得到该第N个目标数据段614对应的压缩比和压缩误差后，根据该前N个目标数据段对应的压缩参数，以及该前N个目标数据段对应的压缩比和压缩误差，对该参数更新模型进行更新，得到更新后的参数更新模型，N≥2，且为正整数。
再根据第N个目标数据段614对应的压缩参数，以及第N个目标数据段614对应的压缩比和压缩误差，通过该更新后的参数更新模型，得到第N+1个目标数据段对应的压缩参数。
重复上述旋转门压缩过程以及对参数更新模型的更新过程，直至目标数据61压缩完成，得到目标数据61对应的压缩数据。
请参考图7，其是本申请实施例涉及的一种数据压缩应用示意图。
如图7所示，实时数据或者历史数据702可以是通过对物理设备701产生的数据进行数据接入和处理得到的，其中，该物理设备701可以是传感器，该实时数据或历史数据，可以是各个传感器按时序进行数据接入和处理所得到的数据。
再将该实时数据或历史数据通过该有损压缩程序703(即根据图4所示实施例所述的压缩方法构建的压缩程序)，输出对应的压缩数据704，并将该压缩数据704存储至TSDB(Time-Series Database，时间序列数据库)中。
请参考图8，其是本申请实施例涉及的一种数据压缩应用示意图。
如图8所示，目标数据可以是预先存储在数据库中的时序数据文件801，例如，该时序文件可以是CSV(Comma-Separated Values，逗号分隔符)文件，将该时序数据文件进行数据处理为可以进行压缩的历史数据802，再将该历史数据通过改进后的旋转门压缩算法803(Envision Swinging Door Trending，ESDT)，即根据图4所示实施例所述的压缩方法，进行数据压缩，并将输出的压缩数据804存储至TSDB中。
本申请实施例基于SDT算法提出改进的有损压缩算法ESDT；使用强度学习相关的算法，根据时序数据进行学习使旋转门压缩参数能够自适应调整，以得到高压缩比、低压缩误差的压缩效果，以压缩数据不断反馈的压缩比和压缩误差作为奖惩机制，使用RL(强化学习模型)动态调整压缩参数，以得到更好的压缩效果。
综上所述，在本申请实施例所示的方案中，通过在压缩过程中获取的历史压缩参数，以及历史压缩参数对应的压缩比和压缩误差，对参数更新模型进行更新，再通过更新后的参数更新模型，对上一个目标数据段对应的压缩参数进行更新，得到更新后的压缩参数，并通过更新后的压缩参数对目标数据段进行压缩，得到该目标数据段对应的压缩数据信息，并继续根据该压缩数据信息，通过该参数更新模型，获取下一个目标数据段对应的压缩参数。通过上述方案，参数更新模型通过历史压缩参数的压缩比和压缩误差进行更新，并且参数更新模型根据上一个目标数据段的压缩比和压缩误差，对该目标数据段对应的压缩参数进行调整，准确地调整压缩参数的值，可以在保证压缩精度的情况下，提高压缩效率。
请参考图9，其是根据一示例性实施例示出的一种数据压缩流程框架图。该数据压缩方法由模型训练设备90以及数据压缩设备91共同执行，其中模型训练设备90与数据压缩设备91可以是服务器。如图9所示，首先，参数更新模型在模型训练设备90中，通过样本数据900进行训练，其中，样本数据900包括初始样本数据段901，第一样本目标数据段(第一个样本目标数据段)902，第二样本目标数据段(第二个样本目标数据段)903，以及包括第N个样本目标数据段904在内的若干个样本目标数据段。
首先通过对初始样本数据进行数据分析，即通过计算初始样本数据中数据的标准差和平均数等参数，获取初始样本数据段对应的初始压缩参数，并根据该初始样本数据对应的初始压缩参数，以及预先设置的参数，初始化参数更新模型905，其中参数更新模型905可以是如图9所示的Actor-Critic网络模型，参数更新模型905中包含Actor网络905a以及Critic网络905b。
参数更新模型905不对该初始样本数据段对应的的压缩参数906进行调整，直接将该初始压缩参数输入旋转门压缩模块907中，该旋转门压缩模块907通过该初始样本数据段对应的压缩参数906对该第一样本目标数据段902进行数据压缩，得到该第一样本目标数据段902对应的压缩数据，以及该第一样本目标数据段902对应的压缩比和压缩误差。
将该第一样本目标数据段对应的压缩比和压缩误差，以及该第一样本目标数据段对应的压缩参数，输入参数更新模型905，通过该参数更新模型905中的Actor网络905a对该压缩参数进行更新，得到更新后的压缩参数。再将该更新后的压缩参数作为第二样本目标数据段对应的压缩参数，输入旋转门压缩模块，对该第二样本目标数据段903进行旋转门压缩，得到该第二样本目标数据段903对应的压缩数据，以及该第二目标数据段903对应的压缩比和压缩误差。
迭代上述过程，当根据第N个样本目标数据段904对应的压缩参数，通过旋转门压缩模块，对该第N个样本目标数据段904进行旋转门压缩，得到该第N个样本目标数据段904对应的压缩比和压缩误差之后，根据该前N个样本目标数据段对应的压缩参数，以及该前N个样本目标数据段对应的压缩比和压缩误差，输入Critic网络905b，得到该前N个样本目标数据段对应的Value值。根据该前N个样本目标数据段对应的Value，以及该前N个样本目标数据段通过Actor网络得到的State以及Action，对该参数更新模型进行更新，其更新过程与图4对应的实施例中图5对应的内容相同，此处不再赘述。
重复上述旋转门压缩过程，以及对参数模型的更新过程，直至样本数据压缩完成，即模型训练设备90通过样本数据900对该参数更新模型的训练过程已经完成，此时将更新好的参数更新模型发送至数据压缩设备91中，对需要压缩的目标数据进行压缩。
在数据压缩过程中，其中，目标数据910是与样本数据900同类型的数据，目标数据可以分为初始数据段911，第一目标数据段912(第一个目标数据段)，第二目标数据段913(第二个目标数据段)，以及包括第N个目标数据段914在内的若干个目标数据段。
参数更新模型915是在模型训练设备90中通过样本数据训练后的模型，其中参数更新模型915与参数更新模型905具有相同的结构，均为Actor-Critic网络模型(图中未示出)。且在数据压缩设备91中的压缩参数916，是与模型训练设备90中的压缩参数906相同类型的数据；且数据压缩设备91中的旋转门压缩模块917，与模型训练设备90中的旋转门压缩模块907相同，因此数据压缩设备91中对目标数据的压缩过程，以及参数更新模型的更新过程，与模型训练设备90对样本数据的压缩过程一致，此处不再赘述。即数据压缩设备91，通过在模型训练设备中训练得到的参数更新模型，对各个目标数据段对应的压缩参数进行更新，得到各个目标数据段对应的下一个目标数据段的压缩参数，并且当对预定数量的目标数据进行压缩之后，数据压缩设备可以根据该预定数量的目标数据段对应的压缩参数、压缩比和压缩误差，对参数更新模型进行更新，更新出的模型更加符合该目标数据的特征，提高通过旋转门压缩算法进行压缩后得到数据的压缩比，减小该目标数据的压缩误差。
其中，上述模型训练过程收集需要压缩的真实数据进行训练集，并且由于模型训练和压缩计算是两个过程，所以在训练程序学习时，可以在服务器内预设一段对训练集(样本数据)进行压缩的压缩程序，解析训练集后开始压缩计算，并将计算结果发送至神经网络(参数更新模型)中。在模型训练中，首先启动对参数更新模型的训练程序，通过学习训练集数据获得初始模型，之后再将该初始模型作为参数更新模型放置于压缩环境中，获取实时的旋转门计算数据，每隔一段时间进行学习，并保存更新后的参数更新模型。
图10是根据一示例性实施例示出的一种数据压缩装置的结构方框图。该数据压缩装置可以实现图3或图4所示实施例提供的方法中的全部或者部分步骤。该数据压缩装置可以包括：
目标数据获取模块1001，用于获取目标数据；所述目标数据包括至少两个目标数据段；
压缩参数更新模块1002，用于根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
数据压缩模块1003，用于根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
在一种可能的实现方式中，所述历史目标数据段包括第i个所述目标数据段之前的所述目标数据段；
所述装置还包括：
模型更新模块，用于当第i个所述目标数据段满足指定条件时，根据第i个所述目标数据段的前N个所述目标数据段对应的压缩参数，以及前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新；前N个所述目标数据段是所述目标数据中，处于第i个所述目标数据段之前的N个所述目标数据段；i＞N≥1，且N为整数。
在一种可能的实现方式中，所述模型更新模块，用于，
当i为预设值时，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新。
在一种可能的实现方式中，所述参数更新模型包括第一模型分支和第二模型分支；
所述第一模型分支用于根据第i-1个所述目标数据段对应的压缩数据信息对所述第i-1个所述目标数据段对应的压缩参数进行更新；
所述第二模型分支用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数。
在一种可能的实现方式中，所述压缩参数更新模块1002，还用于，
根据所述第i-1个所述目标数据段对应的压缩数据信息，通过所述第一模型分支对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到所述第i个所述目标数据段对应的压缩参数；
所述模型更新模块，还用于，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，通过所述第二模型分支，获取所述第i个所述目标数据段对应的价值信息；所述价值信息用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数；
根据所述价值信息，对所述第一模型分支与所述第二模型分支进行更新。
在一种可能的实现方式中，所述目标数据还包括初始数据段；
所述压缩参数更新模块1002，用于，
根据所述初始数据段，获取初始压缩参数；所述初始压缩参数是第一个所述目标数据段对应的压缩参数；
根据所述初始压缩参数，对第一个所述目标数据段进行数据压缩，获得第一个所述目标数据段的压缩参数，以及所述第一个所述目标数据段对应的压缩数据信息。
在一种可能的实现方式中，所述历史目标数据段包括样本数据中的样本目标数据段；所述样本数据是与所述目标数据同类型的数据；所述样本数据包含至少两个样本目标数据段；
所述装置还包括：
样本更新模块，用于根据所述至少两个样本目标数据段，对所述参数更新模型进行训练，得到更新后的参数更新模型。
综上所述，在本申请实施例所示的方案中，通过在压缩过程中获取的历史压缩参数，以及历史压缩参数对应的压缩比和压缩误差，对参数更新模型进行更新，再通过更新后的参数更新模型，对上一个目标数据段对应的压缩参数进行更新，得到更新后的压缩参数，并通过更新后的压缩参数对目标数据段进行压缩，得到该目标数据段对应的压缩数据信息，并继续根据该压缩数据信息，通过该参数更新模型，获取下一个目标数据段对应的压缩参数。通过上述方案，参数更新模型通过历史压缩参数的压缩比和压缩误差进行更新，并且参数更新模型根据上一个目标数据段的压缩比和压缩误差，对该目标数据段对应的压缩参数进行调整，准确地调整压缩参数的值，可以在保证压缩精度的情况下，提高压缩效率。
图11是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型搜索设备和/或图像分割设备。所述计算机设备1100包括中央处理单元(CPU，Central Processing Unit)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read-Only Memory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1101通过执行该一个或一个以上程序来实现图3、图4或图9所示的方法的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法中，由服务器或者用户终端执行的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据压缩方法，其特征在于，所述方法包括：
获取目标数据；所述目标数据包括至少两个目标数据段；
根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
2.根据权利要求1所述的方法，其特征在于，所述历史目标数据段包括第i个所述目标数据段之前的所述目标数据段；
所述方法还包括：
当第i个所述目标数据段满足指定条件时，根据第i个所述目标数据段的前N个所述目标数据段对应的压缩参数，以及前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新；前N个所述目标数据段是所述目标数据中，处于第i个所述目标数据段之前的N个所述目标数据段；i＞N≥1，且N为整数。
3.根据权利要求2所述的方法，其特征在于，所述当所述第i个所述目标数据段满足指定条件，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新，包括：
当i为预设值时，根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新。
4.根据权利要求2所述的方法，其特征在于，所述参数更新模型包括第一模型分支和第二模型分支；
所述第一模型分支用于根据第i-1个所述目标数据段对应的压缩数据信息对所述第i-1个所述目标数据段对应的压缩参数进行更新；
所述第二模型分支用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数。
5.根据权利要求4所述的方法，其特征在于，所述根据第i-1个所述目标数据段对应的压缩数据信息，通过所述参数更新模型对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数，包括：
根据所述第i-1个所述目标数据段对应的压缩数据信息，通过所述第一模型分支对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到所述第i个所述目标数据段对应的压缩参数；
所述根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，对所述参数更新模型进行更新，包括：
根据所述第i个所述目标数据段的前N个所述目标数据段对应的压缩参数以及所述前N个所述目标数据段对应的压缩数据信息，通过所述第二模型分支，获取所述第i个所述目标数据段对应的价值信息；所述价值信息用于以提高所述压缩参数对应的压缩比，以及降低所述压缩参数对应的压缩误差为目标，指示所述第一模型分支更新所述压缩参数；
根据所述价值信息，对所述第一模型分支与所述第二模型分支进行更新。
6.根据权利要求1所述的方法，其特征在于，所述目标数据还包括初始数据段；
所述根据第i-1个所述目标数据段对应的压缩比和压缩误差，通过参数更新模型对所述第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数之前，还包括：
根据所述初始数据段，获取初始压缩参数；所述初始压缩参数是第一个所述目标数据段对应的压缩参数；
根据所述初始压缩参数，对第一个所述目标数据段进行数据压缩，获得第一个所述目标数据段的压缩参数，以及所述第一个所述目标数据段对应的压缩数据信息。
7.根据权利要求1所述的方法，其特征在于，所述历史目标数据段包括样本数据中的样本目标数据段；所述样本数据是与所述目标数据同类型的数据；所述样本数据包含至少两个样本目标数据段；
所述获取目标数据之前，还包括：
根据所述至少两个样本目标数据段，对所述参数更新模型进行训练，得到更新后的参数更新模型。
8.一种数据压缩装置，其特征在于，所述装置包括：
目标数据获取模块，用于获取目标数据；所述目标数据包括至少两个目标数据段；
压缩参数更新模块，用于根据第i-1个所述目标数据段对应的压缩数据信息，通过参数更新模型对第i-1个所述目标数据段对应的压缩参数进行更新，得到第i个所述目标数据段对应的压缩参数；i≥2，且i为整数；所述压缩数据信息包括压缩比和压缩误差中的至少一种；所述参数更新模型是根据历史压缩参数以及所述历史压缩参数对应的压缩数据信息，通过强化学习的方式得到的；所述压缩参数用于指示对所述目标数据段进行数据压缩的压缩精度；所述历史压缩参数是历史目标数据段对应的压缩参数；
数据压缩模块，用于根据第i个所述目标数据段对应的压缩参数，对第i个所述目标数据段进行数据压缩。
9.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的数据压缩方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的数据压缩方法。
CN202011295604.5A 2020-11-18 2020-11-18 数据压缩方法、装置、计算机设备及存储介质 Active CN112269769B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011295604.5A CN112269769B (zh) 2020-11-18 2020-11-18 数据压缩方法、装置、计算机设备及存储介质
PCT/SG2021/050697 WO2022108523A1 (en) 2020-11-18 2021-11-15 Method and apparatus for compressing data, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011295604.5A CN112269769B (zh) 2020-11-18 2020-11-18 数据压缩方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112269769A true CN112269769A (zh) 2021-01-26
CN112269769B CN112269769B (zh) 2023-12-05

Family

ID=74340240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011295604.5A Active CN112269769B (zh) 2020-11-18 2020-11-18 数据压缩方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112269769B (zh)
WO (1) WO2022108523A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113659993A (zh) * 2021-08-17 2021-11-16 深圳市康立生物医疗有限公司 免疫批次数据处理方法、装置、终端及可读存储介质
CN114120915A (zh) * 2021-11-11 2022-03-01 合肥维信诺科技有限公司 数据压缩方法和装置、数据解压方法和装置
CN114547144A (zh) * 2022-01-30 2022-05-27 清华大学 时序数据范围查询方法、装置及设备
CN114547030A (zh) * 2022-01-20 2022-05-27 清华大学 多级时序数据压缩方法、装置、电子设备及存储介质
CN114547027A (zh) * 2022-02-11 2022-05-27 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN116320042A (zh) * 2023-05-16 2023-06-23 陕西思极科技有限公司 边缘计算的物联终端监测控制系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726379B (zh) * 2022-06-13 2022-09-13 西安热工研究院有限公司 基于时序数据库样本存储特征的自适应压缩方法及系统
CN115359807B (zh) * 2022-10-21 2023-01-20 金叶仪器(山东)有限公司 一种用于城市噪声污染的噪声在线监测系统
CN117200802A (zh) * 2022-12-28 2023-12-08 山东华科信息技术有限公司 用于电网边缘计算层的数据压缩系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001065395A1 (en) * 2000-03-03 2001-09-07 Vill Ab Infinite level meta-learning through compression
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103309889A (zh) * 2012-03-15 2013-09-18 华北计算机系统工程研究所 一种利用gpu协同计算实现实时数据并行压缩的方法
CN108197181A (zh) * 2017-12-25 2018-06-22 广州亦云信息技术股份有限公司 一种时序数据的压缩存储方法、电子设备及存储介质
CN110163367A (zh) * 2018-09-29 2019-08-23 腾讯科技（深圳）有限公司 一种模型压缩方法和装置
US10466921B1 (en) * 2017-10-31 2019-11-05 EMC IP Holding Company LLC Accelerating data reduction through reinforcement learning
CN110532466A (zh) * 2019-08-21 2019-12-03 广州华多网络科技有限公司 直播平台训练数据的处理方法、装置、存储介质及设备
CN110851699A (zh) * 2019-09-16 2020-02-28 中国平安人寿保险股份有限公司 基于深度强化学习的信息流推荐方法、装置、设备及介质
CN110985346A (zh) * 2019-12-10 2020-04-10 江西莱利电气有限公司 一种空气压缩机的后冷控制方法
CN111191791A (zh) * 2019-12-02 2020-05-22 腾讯云计算（北京）有限责任公司 机器学习模型的应用方法、训练方法、装置、设备及介质
CN111556294A (zh) * 2020-05-11 2020-08-18 腾讯科技（深圳）有限公司 安全监测方法、装置、服务器、终端及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100430943C (zh) * 2006-01-09 2008-11-05 中国科学院自动化研究所 一种过程工业历史数据智能两级压缩方法
US10763893B2 (en) * 2016-07-20 2020-09-01 Georges Harik Method for data compression
CN111738401A (zh) * 2019-03-25 2020-10-02 北京三星通信技术研究有限公司 模型优化方法、分组压缩方法、相应的装置、设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001065395A1 (en) * 2000-03-03 2001-09-07 Vill Ab Infinite level meta-learning through compression
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103309889A (zh) * 2012-03-15 2013-09-18 华北计算机系统工程研究所 一种利用gpu协同计算实现实时数据并行压缩的方法
US10466921B1 (en) * 2017-10-31 2019-11-05 EMC IP Holding Company LLC Accelerating data reduction through reinforcement learning
CN108197181A (zh) * 2017-12-25 2018-06-22 广州亦云信息技术股份有限公司 一种时序数据的压缩存储方法、电子设备及存储介质
CN110163367A (zh) * 2018-09-29 2019-08-23 腾讯科技（深圳）有限公司 一种模型压缩方法和装置
CN110532466A (zh) * 2019-08-21 2019-12-03 广州华多网络科技有限公司 直播平台训练数据的处理方法、装置、存储介质及设备
CN110851699A (zh) * 2019-09-16 2020-02-28 中国平安人寿保险股份有限公司 基于深度强化学习的信息流推荐方法、装置、设备及介质
CN111191791A (zh) * 2019-12-02 2020-05-22 腾讯云计算（北京）有限责任公司 机器学习模型的应用方法、训练方法、装置、设备及介质
CN110985346A (zh) * 2019-12-10 2020-04-10 江西莱利电气有限公司 一种空气压缩机的后冷控制方法
CN111556294A (zh) * 2020-05-11 2020-08-18 腾讯科技（深圳）有限公司 安全监测方法、装置、服务器、终端及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIKANG WANG ET AL.: "Synchrophasor Data Compression Under Disturbance Conditions via Cross-Entropy-Based Singular Value Decomposition", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, pages 2716 - 2726 *
李晓楠: "基于大规模MIMO实测信道数据的机器学习研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 136 - 542 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113659993A (zh) * 2021-08-17 2021-11-16 深圳市康立生物医疗有限公司 免疫批次数据处理方法、装置、终端及可读存储介质
CN113659993B (zh) * 2021-08-17 2022-06-17 深圳市康立生物医疗有限公司 免疫批次数据处理方法、装置、终端及可读存储介质
CN114120915A (zh) * 2021-11-11 2022-03-01 合肥维信诺科技有限公司 数据压缩方法和装置、数据解压方法和装置
CN114547030A (zh) * 2022-01-20 2022-05-27 清华大学 多级时序数据压缩方法、装置、电子设备及存储介质
CN114547030B (zh) * 2022-01-20 2023-03-24 清华大学 多级时序数据压缩方法、装置、电子设备及存储介质
CN114547144A (zh) * 2022-01-30 2022-05-27 清华大学 时序数据范围查询方法、装置及设备
CN114547144B (zh) * 2022-01-30 2023-03-24 清华大学 时序数据范围查询方法、装置及设备
CN114547027A (zh) * 2022-02-11 2022-05-27 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN114547027B (zh) * 2022-02-11 2023-01-31 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN116320042A (zh) * 2023-05-16 2023-06-23 陕西思极科技有限公司 边缘计算的物联终端监测控制系统
CN116320042B (zh) * 2023-05-16 2023-08-04 陕西思极科技有限公司 边缘计算的物联终端监测控制系统

Also Published As

Publication number Publication date
WO2022108523A1 (en) 2022-05-27
CN112269769B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN112269769B (zh) 数据压缩方法、装置、计算机设备及存储介质
CN111784002B (zh) 分布式数据处理方法、装置、计算机设备及存储介质
CN110880036B (zh) 神经网络压缩方法、装置、计算机设备及存储介质
US9298172B2 (en) Method and apparatus for improved reward-based learning using adaptive distance metrics
KR20200110400A (ko) 학습 데이터 증강 정책
CN111523686B (zh) 一种模型联合训练的方法和系统
CN111340221B (zh) 神经网络结构的采样方法和装置
US11676048B2 (en) Systems and methods for validation of artificial intelligence models
US20220176554A1 (en) Method and device for controlling a robot
KR102293791B1 (ko) 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN114297907A (zh) 温室环境空间分布预测方法及装置
CN110858805A (zh) 小区网络流量预测方法及装置
Caarls et al. Parallel online temporal difference learning for motor control
CN117217280A (zh) 神经网络模型优化方法、装置及计算设备
CN110782016A (zh) 用于优化神经网络架构搜索的方法和装置
CN110826695A (zh) 数据处理方法、装置和计算机可读存储介质
EP3454259A1 (en) Autonomous agent system
CN113505859A (zh) 模型训练方法及装置、图像识别方法及装置
Alpcan Dual control with active learning using Gaussian process regression
CN113392100A (zh) 基于粒子群算法优化神经网络的系统智能校验方法、装置和系统
CN117493821B (zh) 一种微模块机房环境监控方法及系统
KR102558092B1 (ko) 샘플 효율적인 탐색을 위한 샘플-인지 엔트로피 정규화 기법
KR20230023464A (ko) 조건부 와서스타인 생성기를 이용한 조건부 데이터 생성 장치 및 방법
CN115225546B (zh) 一种网络流量的预测方法、装置及设备
US20240104370A1 (en) Modelling causation in machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant