CN117271997A - 数据冷热评估方法、装置、设备及存储介质 - Google Patents

数据冷热评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117271997A
CN117271997A CN202311248151.4A CN202311248151A CN117271997A CN 117271997 A CN117271997 A CN 117271997A CN 202311248151 A CN202311248151 A CN 202311248151A CN 117271997 A CN117271997 A CN 117271997A
Authority
CN
China
Prior art keywords
data
cold
blood
hot
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311248151.4A
Other languages
English (en)
Inventor
丁亚蓓
陈卓
陈乐�
尚晶
周世峰
韩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202311248151.4A priority Critical patent/CN117271997A/zh
Publication of CN117271997A publication Critical patent/CN117271997A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种数据冷热评估方法、装置、设备及存储介质，涉及数据处理领域，所述方法包括：获取待处理数据的数据血缘信息，基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，基于所述血缘数据确定所述待处理数据的目标数据冷热值，基于所述目标数据冷热值对所述待处理数据进行数据冷热评估；由于本发明基于待处理数据的数据血缘信息确定待处理数据的目标数据冷热值，基于目标数据冷热值对待处理数据进行数据冷热评估，从而有效地提升了数据冷热度的评估精度，准确地识别出了数据的重要程度。

Description

数据冷热评估方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据冷热评估方法、装置、设备及存储介质。
背景技术
大数据时代，存量数据规模庞大，随着企业数字化程度的不断加深，数据体量也会进一步急剧膨胀，对于海量数据存储的存储成本也会不断增加，随着时间的推移，一些旧的存量数据应用频率会越来越低，仅存在少量查询访问，甚至完全不用，这样的数据通常称之为冷数据，相较于应用频率高的数据则被称为热数据，由于不同数据的访问行为、重要程度等不一致，使得数据的冷热程度也差异明显，企业需要根据数据的冷热程度，制定相关的存储策略来降低不合理的数据存储成本，从而提升企业的管理效率和资源合理利用率。
现有的数据冷热程度评估方法主要是通过对数据被访问的频次、业务对数据需求程度等因素来进行评估，这种评估方式评估数据冷热度的精度较低，导致无法准确地识别出数据的重要程度。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据冷热评估方法、装置、设备及存储介质，旨在解决现有技术评估数据冷热度的精度较低，导致无法准确地识别出数据的重要程度的技术问题。
为实现上述目的，本发明提供了一种数据冷热评估方法，所述方法包括以下步骤：
获取待处理数据的数据血缘信息；
基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据；
基于所述血缘数据确定所述待处理数据的目标数据冷热值；
基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
可选地，所述基于所述血缘数据确定所述待处理数据的目标数据冷热值，包括：
获取所述血缘数据的数据评价信息；
基于所述数据评价信息确定所述血缘数据的初始数据冷热值；
基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
可选地，所述基于所述数据评价信息确定所述血缘数据的初始数据冷热值，包括：
基于所述数据评价信息确定所述血缘数据的多个数据评价参数；
确定各数据评价参数对应的评价权重；
基于所述评价权重和所述多个数据评价参数确定所述血缘数据的初始数据冷热值。
可选地，所述基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值，包括：
基于所述数据血缘信息确定获取所述待处理数据的血缘链路中各血缘数据的血缘层级信息；
基于所述血缘层级信息确定各血缘数据对应的血缘权重；
基于各血缘数据对应的所述血缘权重和所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
可选地，所述基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，包括：
基于所述数据血缘信息构建所述待处理数据的血缘链路；
对所述血缘链路中的各节点进行解析，确定与所述待处理数据存在血缘关系的血缘数据。
可选地，所述基于所述血缘数据确定所述待处理数据的目标数据冷热值，包括：
基于预先构建的第一冷热值计算模型确定所述血缘数据的初始数据冷热值和血缘权重；
将所述初始数据冷热值和所述血缘权重输入至预先构建的第二冷热值计算模型，获得所述待处理数据的目标数据冷热值。
可选地，所述基于所述目标数据冷热值对所述待处理数据进行数据冷热评估，包括：
判断所述目标数据冷热值是否超过冷热阈值，所述冷热阈值预先基于多个待处理数据的目标数据冷热值的排序结果确定；
基于判断结果对所述待处理数据进行数据冷热评估。
此外，为实现上述目的，本发明还提出一种数据冷热评估装置，所述数据冷热评估装置包括：
信息获取模块，用于获取待处理数据的数据血缘信息；
血缘分析模块，用于基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据；
冷热值计算模块，用于基于所述血缘数据确定所述待处理数据的目标数据冷热值；
冷热评估模块，用于基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
此外，为实现上述目的，本发明还提出一种数据冷热评估设备，所述数据冷热评估设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据冷热评估程序，所述数据冷热评估程序配置为实现如上文所述的数据冷热评估方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据冷热评估程序，所述数据冷热评估程序被处理器执行时实现如上文所述的数据冷热评估方法的步骤。
本发明通过获取待处理数据的数据血缘信息，基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，基于所述血缘数据确定所述待处理数据的目标数据冷热值，基于所述目标数据冷热值对所述待处理数据进行数据冷热评估；由于本发明通过基于数据血缘信息确定与待处理数据存在血缘关系的血缘数据，基于血缘数据确定所述待处理数据的目标数据冷热值，从而结合数据的血缘关系对待处理数据进行冷热程度分析，有效地提升了数据冷热评估精度，准确地识别出了数据的重要程度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的数据冷热评估设备的结构示意图；
图2为本发明数据冷热评估方法第一实施例的流程示意图；
图3为本发明数据冷热评估方法第一实施例的血缘链路示意图；
图4为本发明数据冷热评估方法第一实施例的数据冷热度评估流程示意图；
图5为本发明数据冷热评估方法第二实施例的流程示意图；
图6为本发明数据冷热评估方法第二实施例的血缘链路的示意图；
图7为本发明数据冷热评估方法第三实施例的流程示意图；
图8为本发明数据冷热评估装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据冷热评估设备结构示意图。
如图1所示，该数据冷热评估设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对数据冷热评估设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据冷热评估程序。
在图1所示的数据冷热评估设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明数据冷热评估设备中的处理器1001、存储器1005可以设置在数据冷热评估设备中，所述数据冷热评估设备通过处理器1001调用存储器1005中存储的数据冷热评估程序，并执行本发明实施例提供的数据冷热评估方法。
本发明实施例提供了一种数据冷热评估方法，参照图2，图2为本发明一种数据冷热评估方法第一实施例的流程示意图。
本实施例中，所述数据冷热评估方法包括以下步骤：
步骤S10：获取待处理数据的数据血缘信息。
应当理解的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的数据冷热评估设备，例如计算机等，或者是其他能够实现相同或相似功能的装置或设备，此处以上述数据冷热评估设备(以下简称数据评估设备)为例进行说明。
需要说明的是，数据血缘信息可以是待处理数据与其他数据之间的层级关系和依赖关系等，基于数据血缘关系可以追溯待处理数据的数据流向、数据源头和数据流动信息。
可以理解的是，本实施例可通过分析待处理数据的上游血缘和下游血缘，从而获取待处理数据的数据血缘信息。
步骤S20：基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据。
需要说明的是，血缘数据可以是与待处理数据存在血缘关系的上游数据和/或下游数据。
可以理解的是，数据评估设备可通过基于数据血缘信息构建待处理数据的血缘链路，对血缘链路进行遍历，确定血缘链路中与待处理数据存在血缘关系的上游数据和/或下游数据。
进一步地，为了准确地确定与待处理数据存在血缘关系的数据，上述步骤S20，可包括：
基于所述数据血缘信息构建所述待处理数据的血缘链路；
对所述血缘链路中的各节点进行解析，确定与所述待处理数据存在血缘关系的血缘数据。
需要说明的是，参照图3，图3为血缘链路示意图，数据评估设备通过构建血缘链路，确定与待处理数据存在血缘关系的各血缘数据，再计算各数据的目标冷热值。
应当理解的是，数据评估设备基于所述数据血缘信息构建所述待处理数据的血缘链路，遍历所述血缘链路的各层级，确定血缘链路中的各节点，基于各节点进行解析，确定与所述待处理数据存在血缘关系的血缘数据。
步骤S30：基于所述血缘数据确定所述待处理数据的目标数据冷热值。
需要说明的是，目标数据冷热值可以是待处理数据的冷热程度值，目标数据冷热值代表待处理数据的数据重要程度。
可以理解的是，数据评估设备可通过获取待处理数据的使用情况，基于使用情况获取待处理数据的数据访问频率和数据变更频率等因素，基于上述数据访问频率和数据变更频率等因素计算待处理数据的初始数据冷热值，再结合血缘数据对初始数据冷热值进行修正，从而实现结合血缘关系来计算出目标数据冷热值。
应当理解的是，数据评估设备根据数据的访问频率以及数据的变更频率等因素，计算出数据的显现冷热值VN(显性冷热值是指根据数据被直接操作的情况而计算得到的冷热值)，再基于数据的血缘关系(主要分析下游血缘)，对不同血缘层级赋予不同的计算因子QN(原则上血缘层级越深，计算因子越大)，结合下游数据冷热值及对应的血缘层级计算因子，即可计算出目标数据的冷热值，具体参考如下公式1，其中，V表示显性冷热值，V'表示最终计算出的数据冷热值，Q表示不同血缘层级的计算因子，N表示血缘层级。
V'N＝VN+V'N-1*QN-1公式1
步骤S40：基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
需要说明的是，数据评估设备基于所述目标数据冷热值对所述待处理数据进行数据冷热评估，从而确定待处理数据的数据冷热情况，以确定待处理数据的重要程度。
应当理解的是，在一些实施例中，参照图4，图4为数据冷热度评估流程示意图，数据评估设备可通过构建基于血缘的冷热度评分模型，基于冷热度评分模型计算待处理数据的数据冷热值，基于预先设定的冷热阈值和数据冷热值判断待处理数据的冷热情况。
可以理解的是，数据评估设备通过构建基于数据血缘关系的数据冷热度评分模型，明确不同血缘层级的计算因子和计算规则，再结合基于血缘的评分模型与数据访问及数据变更因素，对数据的冷热值进行计算，并根据设定的数据冷热阈值，对数据的冷热情况进行判定，从而实现精准地对数据冷热度评估。
进一步的，为了准确地对待处理数据进行数据冷热评估，上述步骤S40，可包括：
判断所述目标数据冷热值是否超过冷热阈值，所述冷热阈值预先基于多个待处理数据的目标数据冷热值的排序结果确定；
基于判断结果对所述待处理数据进行数据冷热评估。
应当理解的是，本实施例以数据血缘关系为基础，通过制定不同血缘层级的冷热值评价规则，分析数据的下游血缘关系对其冷热度的影响，并依据设定的冷热阈值，对数据冷热度进行评价，这样就可以基于隐性的关联影响因子来进行评估，实现对数据冷热度的精准评估。
可以理解的是，数据冷热属性的判定需要有一个参照依据，也就是阈值，可以通过对所有数据的冷热值进行排序，选取黄金分割点为阈值，假设排序后的黄金分割点冷热值为O，则冷热判断阈值为O，若数据冷热值V'大于或等于O即判别为热数据，若小于O则判别为冷数据，同时，也可以根据业务要求，人工设定多个阈值，将数据冷热程度划分为多个等级，具体的评判方法可以根据实际的存储需要进行调整。
本实施例通过获取待处理数据的数据血缘信息，基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，基于所述血缘数据确定所述待处理数据的目标数据冷热值，基于所述目标数据冷热值对所述待处理数据进行数据冷热评估；由于本实施例通过基于数据血缘信息确定与待处理数据存在血缘关系的血缘数据，基于血缘数据确定所述待处理数据的目标数据冷热值，从而结合数据的血缘关系对待处理数据进行冷热程度分析，有效地提升了数据冷热评估精度，准确地识别出了数据的重要程度。
参考图5，图5为本发明一种数据冷热评估方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S30，包括：
步骤S31：获取所述血缘数据的数据评价信息。
需要说明的是，数据评价信息可以是数据的评价指标的相关信息，例如数据评价信息包括数据的访问频率、时效性、更新频率和数据质量等评价指标信息。
应当理解的是，本实施例可通过对血缘数据中各血缘节点上的数据进行分析，确定各数据在多个评价指标下的评价参数，例如确定各血缘数据的访问频率、时效性、更新频率和数据质量等评价参数。
步骤S32：基于所述数据评价信息确定所述血缘数据的初始数据冷热值。
需要说明的是，初始数据冷热值可以是血缘数据的数据显性冷热值。
应当理解的是，本实施例可基于数据评价信息设置多个评价维度，基于多个评价维度获取血缘数据的评价参数，基于所述评价参数确定所述血缘数据的初始数据冷热值。
进一步地，为了结合多个维度计算血缘数据的显性冷热值，上述步骤S32，可包括：
步骤S321：基于所述数据评价信息确定所述血缘数据的多个数据评价参数；
步骤S322：确定各数据评价参数对应的评价权重；
步骤S323：基于所述评价权重和所述多个数据评价参数确定所述血缘数据的初始数据冷热值。
可以理解的是，本实施例可通过对各血缘节点上的数据显性冷热值进行计算，这里主要考虑访问频率、时效性、更新频率和数据质量四大评价指标，具体参照如下公式2，公式2为初始数据冷热值计算公式，其中，Si表示初始数据冷热值，F、T、U、M分别表示数据的使用频率、时效性、更新频率和数据质量，Wf、Wt、Wu、WM分别表示各计算指标的权重。V表示计算得到的数据显性冷热值。
Si＝Fi*Wf+Ti*Wt+Ui*Wu+Mi*Wm公式2
步骤S33：基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
应当理解的是，参照图6，图6为本实施例血缘链路的示意图，本实施例通过对待处理数据的元数据进行解析，得到各数据的上下游血缘信息，从而构建出数据的血缘链路，以图6为例，通过对数据table S的元数据进行解析，得到其下游影响关系，并进一步对下游影响数据进行元数据解析，从而建立其数据之间的血缘链路，得到table S的多条数据血缘链路和血缘层级，进而结合各链路和层级来综合计算其冷热值。
进一步地，为了准确地计算出待处理数据的目标数据冷热值，上述步骤S33，可包括：
步骤S331：基于所述数据血缘信息确定获取所述待处理数据的血缘链路中各血缘数据的血缘层级信息；
步骤S332：基于所述血缘层级信息确定各血缘数据对应的血缘权重；
步骤S333：基于各血缘数据对应的所述血缘权重和所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
可以理解的是，数据评估设备基于计算出来的各血缘节点数据的显性冷热值，再结合预先构建的血缘评分模型，对各分血缘支节点的目标冷热值进行计算，得到table X1、table X2……的冷热值：
VX1'＝VX1+(VY1*QY1+VY2*QY2+VY3*QY3)；
VX2'＝VX2+(VY4*QY4)；
VX3'＝VX3+(VY5*QY5+VY6*QY6)；
……
VXn'＝VXn+(VYn*QYn+……)
基于table X1、table X2等各分支血缘节点的冷热值，对目标数据table S的冷热值进行计算，参照如下公式3，计算得到的VS'即为目标数据table S的冷热值。
本实施例通过获取所述血缘数据的数据评价信息，基于所述数据评价信息确定所述血缘数据的初始数据冷热值，基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值；本实施例通过基于所述数据评价信息确定所述血缘数据的初始数据冷热值，从而在多个评价维度下计算出待处理数据的显性冷热值，再基于初始数据冷热值确定所述待处理数据的目标数据冷热值，从而实现结合数据的血缘关系来确定待处理数据的目标数据冷热值，有效地提升了数据冷热值的计算精度。
参考图7，图7为本发明一种数据冷热评估方法第三实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S30，包括：
步骤S301：基于预先构建的第一冷热值计算模型确定所述血缘数据的初始数据冷热值和血缘权重。
需要说明的是，血缘权重可以是血缘数据对应的血缘层级的计算因子，本实施例通过对不同血缘层级的血缘数据赋予不同的计算因子QN(原则上血缘层级越深，计算因子越大)。
可以理解的是，根据数据的访问频率以及数据的变更频率等因素，计算出数据的显现冷热值VN(显性冷热值是指根据数据被直接操作的情况而计算得到的冷热值)，再基于数据的血缘关系(主要分析下游血缘)，对不同血缘层级赋予不同的血缘权重CN(原则上血缘层级越深，计算因子越大)，结合下游数据冷热值及对应的血缘层级计算因子，即可计算出目标数据的冷热值。第一冷热值计算过程参照如下公式4，其中，V表示显性冷热值，V'表示最终计算出的数据冷热值，C表示不同血缘层级的血缘权重，C表示血缘层级。
V'N＝VN+V'N-1*CN-1公式4
步骤S302：将所述初始数据冷热值和所述血缘权重输入至预先构建的第二冷热值计算模型，获得所述待处理数据的目标数据冷热值。
可以理解的是，数据评估设备通过获取样本数据的目标数据冷热值Vj'＝(V1',V2',...)，然后进一步引入神经网络算法来对计算模型进行训练和优化，获得第二冷热值计算模型，具体过程如下：
数据评估设备通过数据显性冷热值计算模型，可以得到血缘链路的低层样本数据的显性冷热值为VYi＝(VY1，VY2，...)，中间层样本数据的显性冷热值为VXi＝(VX1，VX2，...)，另外，底层血缘的计算因子向量为QYi＝(QY1，QY2，...)，中间层血缘的计算因子向量为QXi＝(QX1，QX2，...)。
数据评估设备以单极性Sigmoid函数为变换函数(即)，来构建神经网络BP算法模型，得到数据的冷热值输出为，/>其中/>代入各样本数据，可以得到样本的冷热值V'Dj＝(V'D1，V'D2，...)，计算样本数据冷热值误差进一步计算各层级的误差信号δXj＝(V'j-V'Dj)*(1-V'Dj)*V'Dj，根据误差信号对血缘计算因子的取值进行调整，QXi＝QXi+η*δXi*VXi，QYi＝QYi+η*δYi*VXi，其中η表示设定的学习率。
数据评估设备调整完血缘计算因子取值后，重复上述过程，直到样本数据冷热值误差E收敛(ERMS<EMIN，其中RMS表示数据的平方的平均值的平方根)，即可得到优化后的血缘计算因子，从而完成第二冷热值计算模型的优化。
本实施例通过基于预先构建的第一冷热值计算模型确定所述血缘数据的初始数据冷热值和血缘权重，将所述初始数据冷热值和所述血缘权重输入至预先构建的第二冷热值计算模型，获得所述待处理数据的目标数据冷热值，从而有效地提升了数据冷热值的计算效率以及计算精度，准确地得到了待处理的数据的冷热程度，让数据冷热值计算更加精准。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据冷热评估程序，所述数据冷热评估程序被处理器执行时实现如上文所述的数据冷热评估方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参照图8，图8为本发明数据冷热评估装置第一实施例的结构框图。
如图8所示，本发明实施例提出的数据冷热评估装置包括：
信息获取模块10，用于获取待处理数据的数据血缘信息；
血缘分析模块20，用于基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据；
冷热值计算模块30，用于基于所述血缘数据确定所述待处理数据的目标数据冷热值；
冷热评估模块40，用于基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
进一步地，所述血缘分析模块20，还用于基于所述数据血缘信息构建所述待处理数据的血缘链路；对所述血缘链路中的各节点进行解析，确定与所述待处理数据存在血缘关系的血缘数据。
进一步地，所述冷热值计算模块30，还用于获取所述血缘数据的数据评价信息；基于所述数据评价信息确定所述血缘数据的初始数据冷热值；基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
进一步地，所述冷热值计算模块30，还用于基于所述数据评价信息确定所述血缘数据的多个数据评价参数；确定各数据评价参数对应的评价权重；基于所述评价权重和所述多个数据评价参数确定所述血缘数据的初始数据冷热值。
进一步地，所述冷热值计算模块30，还用于基于所述数据血缘信息确定获取所述待处理数据的血缘链路中各血缘数据的血缘层级信息；基于所述血缘层级信息确定各血缘数据对应的血缘权重；基于各血缘数据对应的所述血缘权重和所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
进一步地，所述冷热值计算模块30，还用于基于预先构建的第一冷热值计算模型确定所述血缘数据的初始数据冷热值和血缘权重；将所述初始数据冷热值和所述血缘权重输入至预先构建的第二冷热值计算模型，获得所述待处理数据的目标数据冷热值。
进一步地，所述冷热评估模块40，还用于判断所述目标数据冷热值是否超过冷热阈值，所述冷热阈值预先基于多个待处理数据的目标数据冷热值的排序结果确定；基于判断结果对所述待处理数据进行数据冷热评估。
本实施例通过获取待处理数据的数据血缘信息，基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，基于所述血缘数据确定所述待处理数据的目标数据冷热值，基于所述目标数据冷热值对所述待处理数据进行数据冷热评估；由于本实施例通过基于数据血缘信息确定与待处理数据存在血缘关系的血缘数据，基于血缘数据确定所述待处理数据的目标数据冷热值，从而结合数据的血缘关系对待处理数据进行冷热程度分析，有效地提升了数据冷热评估精度，准确地识别出了数据的重要程度。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的数据冷热评估方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据冷热评估方法，其特征在于，所述数据冷热评估方法包括：
获取待处理数据的数据血缘信息；
基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据；
基于所述血缘数据确定所述待处理数据的目标数据冷热值；
基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
2.如权利要求1所述的数据冷热评估方法，其特征在于，所述基于所述血缘数据确定所述待处理数据的目标数据冷热值，包括：
获取所述血缘数据的数据评价信息；
基于所述数据评价信息确定所述血缘数据的初始数据冷热值；
基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
3.如权利要求2所述的数据冷热评估方法，其特征在于，所述基于所述数据评价信息确定所述血缘数据的初始数据冷热值，包括：
基于所述数据评价信息确定所述血缘数据的多个数据评价参数；
确定各数据评价参数对应的评价权重；
基于所述评价权重和所述多个数据评价参数确定所述血缘数据的初始数据冷热值。
4.如权利要求2所述的数据冷热评估方法，其特征在于，所述基于所述初始数据冷热值确定所述待处理数据的目标数据冷热值，包括：
基于所述数据血缘信息确定获取所述待处理数据的血缘链路中各血缘数据的血缘层级信息；
基于所述血缘层级信息确定各血缘数据对应的血缘权重；
基于各血缘数据对应的所述血缘权重和所述初始数据冷热值确定所述待处理数据的目标数据冷热值。
5.如权利要求1所述的数据冷热评估方法，其特征在于，所述基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据，包括：
基于所述数据血缘信息构建所述待处理数据的血缘链路；
对所述血缘链路中的各节点进行解析，确定与所述待处理数据存在血缘关系的血缘数据。
6.如权利要求1至5中任一项所述的数据冷热评估方法，其特征在于，所述基于所述血缘数据确定所述待处理数据的目标数据冷热值，包括：
基于预先构建的第一冷热值计算模型确定所述血缘数据的初始数据冷热值和血缘权重；
将所述初始数据冷热值和所述血缘权重输入至预先构建的第二冷热值计算模型，获得所述待处理数据的目标数据冷热值。
7.如权利要求1至5中任一项所述的数据冷热评估方法，其特征在于，所述基于所述目标数据冷热值对所述待处理数据进行数据冷热评估，包括：
判断所述目标数据冷热值是否超过冷热阈值，所述冷热阈值预先基于多个待处理数据的目标数据冷热值的排序结果确定；
基于判断结果对所述待处理数据进行数据冷热评估。
8.一种数据冷热评估装置，其特征在于，所述数据冷热评估装置包括：
信息获取模块，用于获取待处理数据的数据血缘信息；
血缘分析模块，用于基于所述数据血缘信息确定与所述待处理数据存在血缘关系的血缘数据；
冷热值计算模块，用于基于所述血缘数据确定所述待处理数据的目标数据冷热值；
冷热评估模块，用于基于所述目标数据冷热值对所述待处理数据进行数据冷热评估。
9.一种数据冷热评估设备，其特征在于，所述数据冷热评估设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据冷热评估程序，所述数据冷热评估程序配置为实现如权利要求1至7中任一项所述的数据冷热评估方法。
10.一种存储介质，其特征在于，所述存储介质上存储有数据冷热评估程序，所述数据冷热评估程序被处理器执行时实现如权利要求1至7任一项所述的数据冷热评估方法。
CN202311248151.4A 2023-09-25 2023-09-25 数据冷热评估方法、装置、设备及存储介质 Pending CN117271997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311248151.4A CN117271997A (zh) 2023-09-25 2023-09-25 数据冷热评估方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311248151.4A CN117271997A (zh) 2023-09-25 2023-09-25 数据冷热评估方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117271997A true CN117271997A (zh) 2023-12-22

Family

ID=89202200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311248151.4A Pending CN117271997A (zh) 2023-09-25 2023-09-25 数据冷热评估方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117271997A (zh)

Similar Documents

Publication Publication Date Title
Liu et al. Forward and inverse structural uncertainty propagations under stochastic variables with arbitrary probability distributions
Hansun A new approach of brown’s double exponential smoothing method in time series analysis
Giovanis et al. Bayesian updating with subset simulation using artificial neural networks
Koshal et al. Regularized iterative stochastic approximation methods for stochastic variational inequality problems
Banks et al. Sensitivity functions and their uses in inverse problems
Suh et al. Nested logit models for multiple-choice item response data
Hajargasht et al. Pareto–lognormal distributions: Inequality, poverty, and estimation from grouped income data
CN107168063B (zh) 基于集成变量选择型偏最小二乘回归的软测量方法
Amancio et al. Three-feature model to reproduce the topology of citation networks and the effects from authors’ visibility on their h-index
WO2020220757A1 (zh) 基于强化学习模型向用户推送对象的方法和装置
WO2017071369A1 (zh) 一种预测用户离网的方法和设备
US20070021952A1 (en) General graphical Gaussian modeling method and apparatus therefore
CN109002524B (zh) 一种基于论文引用关系的黄金引用作者排序方法
Zhang et al. Multi-attribute decision making: An innovative method based on the dynamic credibility of experts
Sagitov et al. Interspecies correlation for neutrally evolving traits
CN112580288B (zh) 基于多梯度神经网络的半导体器件特性建模方法和系统
CN117271997A (zh) 数据冷热评估方法、装置、设备及存储介质
Zhang et al. RSVRs based on feature extraction: a novel method for prediction of construction projects’ costs
Stringer Implementing approximate Bayesian inference using adaptive quadrature: the aghq package
Gray Use of the Bayesian family of methods to correct for effects of exposure measurement error in polynomial regression models
JP2016520220A (ja) 隠れ属性モデル推定装置、方法およびプログラム
Bebbington et al. Optimum burn-in time for a bathtub shaped failure distribution
CN114091908A (zh) 计及多模式储能站的配电网综合评价方法、装置和设备
Mathew et al. Reactivity Ratio Estimation in Non‐Linear Polymerization Models using Markov Chain Monte Carlo Techniques and an Error‐In‐Variables Framework
Wan et al. Towards a consistent preference representation in engineering design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination