CN112256746A - 一种基于标签化数据治理技术实现方法 - Google Patents

一种基于标签化数据治理技术实现方法 Download PDF

Info

Publication number
CN112256746A
CN112256746A CN202010954066.XA CN202010954066A CN112256746A CN 112256746 A CN112256746 A CN 112256746A CN 202010954066 A CN202010954066 A CN 202010954066A CN 112256746 A CN112256746 A CN 112256746A
Authority
CN
China
Prior art keywords
data
information
strategy
updating
governance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010954066.XA
Other languages
English (en)
Inventor
高坤祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Zhongke Xinchen Technology Co ltd
Original Assignee
Anhui Zhongke Xinchen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Zhongke Xinchen Technology Co ltd filed Critical Anhui Zhongke Xinchen Technology Co ltd
Priority to CN202010954066.XA priority Critical patent/CN112256746A/zh
Publication of CN112256746A publication Critical patent/CN112256746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Educational Administration (AREA)
  • Fuzzy Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于标签化数据治理技术实现方法，包括：获取当前时刻的数据信息以及对应的结构化标签信息；其中，所述结构化标签信息为基于历史数据确定出的结构化标签信息，所述历史数据为在对数据信息进行预训练的过程中保存的数据，并且，所述历史数据包括历史标签信息以及历史数据信息；通过策略网络利用所述数据信息以及所述结构化标签信息确定出对应的数据治理策略；控制所述数据信息执行所述数据治理策略；通过评价网络根据所述数据治理策略对所述策略网络的策略进行评价，得到对应的反馈信息；基于所述反馈信息通过反向更新算法更新评价网络参数；利用策略更新算法更新策略网络参数。

Description

一种基于标签化数据治理技术实现方法
技术领域
本发明涉及数据治理技术领域，尤其涉及一种基于标签化数据治理技术实现方法。
背景技术
树立大数据思维，加快推进数据流、业务流、管理流融合，善于从海量的数据资源中挖掘内在价值，善于以大数据应用助推警务机制变革，积极构建以大数据智能应用为核心的智慧警务新模式，不断提高公安工作智能化水平是当前公安机关信息化建设的重要指导思想。警情作为公安机关的第一手资源，因其及时、鲜活、全面和数量可观的特点，客观、准确、多角度地反映了现实治安形势和公安机关的工作状况，围绕着警情信息从需求到应用的信息化工作流程，对警情加以分析和挖掘，实现警情的采集、汇总、分析、检索、预测、评估、展现等需求日益强烈。
发明内容
为解决背景技术中存在的技术问题，本发明提出一种基于标签化数据治理技术实现方法。
本发明提出的一种基于标签化数据治理技术实现方法，包括：
获取当前时刻的数据信息以及对应的结构化标签信息；其中，结构化标签信息为基于历史数据确定出的结构化标签信息，历史数据为在对数据信息进行预训练的过程中保存的数据，并且，历史数据包括历史标签信息以及历史数据信息；
通过策略网络利用数据信息以及结构化标签信息确定出对应的数据治理策略；
控制数据信息执行数据治理策略；
通过评价网络根据数据治理策略对策略网络的策略进行评价，得到对应的反馈信息；
基于反馈信息通过反向更新算法更新评价网络参数；
利用策略更新算法更新策略网络参数。
可选的，基于标签化数据治理技术实现方法，还包括：
利用DQN算法对数据信息进行预训练；
将对应的预训练数据存放至数据训练缓冲空间，将数据训练缓冲空间存放的数据作为历史数据。
可选的，基于反馈信息通过反向更新算法更新评价网络参数，包括：
基于反馈信息进行针对评价网络损失函数的反向更新算法，单步更新评价网络参数。
可选的，利用策略更新算法更新策略网络参数，包括：
利用评价网络的价值函数以及策略网络的当前策略进行策略梯度运算，更新策略网络参数。
可选的，基于标签化数据治理技术实现方法，还包括：
预先统计结构化标签信息。
可选的，预先统计结构化标签信息，包括：
从历史数据中随机抽取出预设条数的数据，得到对应的标签分布序列；
计算出标签分布序列中任一条历史数据的结构化因子；
利用全部结构化因子计算出标签分布序列对应的结构化标签信息。
可选的，预先统计结构化标签信息，包括：
从历史数据中随机抽取数据，得到多个标签分布序列；
计算出多个标签分布序列对应的结构化标签信息。
本发明中，所提出的基于标签化数据治理技术实现方法，获取当前时刻的数据信息以及对应的结构化标签信息；其中，结构化标签信息为基于历史数据确定出的结构化标签信息，历史数据为在对数据信息进行预训练的过程中保存的数据，并且，历史数据包括历史标签信息以及历史数据信息，然后通过策略网络利用数据信息以及结构化标签信息确定出对应的数据治理策略，之后控制数据信息执行数据治理策略，并通过评价网络根据数据治理策略对策略网络的策略进行评价，得到对应的反馈信息，然后基于反馈信息通过反向更新算法更新评价网络参数以及利用策略更新算法更新策略网络参数。这样，在数据治理过程中，引入基于历史数据的结构化标签信息，并且，历史数据包括历史标签信息以及历史数据信息，能够提升数据治理的有效性，并提高数据可用性和准确性。
附图说明
图1为本发明提出的一种基于标签化数据治理技术实现方法的流程框图。
具体实施方式
如图1所示，图1为本发明提出的一种基于标签化数据治理技术实现方法的结构示意图。
参照图1，本发明提出的一种基于标签化数据治理技术实现方法，包括：
获取当前时刻的数据信息以及对应的结构化标签信息；其中，所述结构化标签信息为基于历史数据确定出的结构化标签信息，所述历史数据为在对数据信息进行预训练的过程中保存的数据，并且，所述历史数据包括历史标签信息以及历史数据信息；
通过策略网络利用所述数据信息以及所述结构化标签信息确定出对应的数据治理策略；
控制所述数据信息执行所述数据治理策略；
通过评价网络根据所述数据治理策略对所述策略网络的策略进行评价，得到对应的反馈信息；
基于所述反馈信息通过反向更新算法更新评价网络参数；
利用策略更新算法更新策略网络参数。
可选的，所述基于标签化数据治理技术实现方法，还包括：
利用DQN算法对数据信息进行预训练；
将对应的预训练数据存放至数据训练缓冲空间，将所述数据训练缓冲空间存放的数据作为所述历史数据。
可选的，所述基于所述反馈信息通过反向更新算法更新评价网络参数，包括：
基于所述反馈信息进行针对评价网络损失函数的反向更新算法，单步更新所述评价网络参数。
可选的，所述利用策略更新算法更新策略网络参数，包括：
利用所述评价网络的价值函数以及所述策略网络的当前策略进行策略梯度运算，更新所述策略网络参数。
可选的，所述基于标签化数据治理技术实现方法，还包括：
预先统计所述结构化标签信息。
可选的，所述预先统计所述结构化标签信息，包括：
从所述历史数据中随机抽取出预设条数的数据，得到对应的标签分布序列；
计算出所述标签分布序列中任一条所述历史数据的结构化因子；
利用全部所述结构化因子计算出所述标签分布序列对应的所述结构化标签信息。
可选的，所述预先统计所述结构化标签信息，包括：
从所述历史数据中随机抽取数据，得到多个所述标签分布序列；
计算出多个所述标签分布序列对应的所述结构化标签信息。
在本实施例中，所提出的基于标签化数据治理技术实现方法，获取当前时刻的数据信息以及对应的结构化标签信息；其中，所述结构化标签信息为基于历史数据确定出的结构化标签信息，所述历史数据为在对数据信息进行预训练的过程中保存的数据，并且，所述历史数据包括历史标签信息以及历史数据信息，然后通过策略网络利用所述数据信息以及所述结构化标签信息确定出对应的数据治理策略，之后控制所述数据信息执行所述数据治理策略，并通过评价网络根据所述数据治理策略对所述策略网络的策略进行评价，得到对应的反馈信息，然后基于所述反馈信息通过反向更新算法更新评价网络参数以及利用策略更新算法更新策略网络参数。这样，在数据治理过程中，引入基于历史数据的结构化标签信息，并且，历史数据包括历史标签信息以及历史数据信息，能够提升数据治理的有效性，并提高数据可用性和准确性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于标签化数据治理技术实现方法，其特征在于，包括：
获取当前时刻的数据信息以及对应的结构化标签信息；其中，所述结构化标签信息为基于历史数据确定出的结构化标签信息，所述历史数据为在对数据信息进行预训练的过程中保存的数据，并且，所述历史数据包括历史标签信息以及历史数据信息；
通过策略网络利用所述数据信息以及所述结构化标签信息确定出对应的数据治理策略；
控制所述数据信息执行所述数据治理策略；
通过评价网络根据所述数据治理策略对所述策略网络的策略进行评价，得到对应的反馈信息；
基于所述反馈信息通过反向更新算法更新评价网络参数；
利用策略更新算法更新策略网络参数。
2.根据权利要求1所述的基于标签化数据治理技术实现方法，其特征在于，还包括：
利用DQN算法对数据信息进行预训练；
将对应的预训练数据存放至数据训练缓冲空间，将所述数据训练缓冲空间存放的数据作为所述历史数据。
3.根据权利要求1所述的基于标签化数据治理技术实现方法，其特征在于，所述基于所述反馈信息通过反向更新算法更新评价网络参数，包括：
基于所述反馈信息进行针对评价网络损失函数的反向更新算法，单步更新所述评价网络参数。
4.根据权利要求1所述的基于标签化数据治理技术实现方法，其特征在于，所述利用策略更新算法更新策略网络参数，包括：
利用所述评价网络的价值函数以及所述策略网络的当前策略进行策略梯度运算，更新所述策略网络参数。
5.根据权利要求1至4任一项所述的基于标签化数据治理技术实现方法，其特征在于，还包括：
预先统计所述结构化标签信息。
6.根据权利要求5所述的基于标签化数据治理技术实现方法，其特征在于，所述预先统计所述结构化标签信息，包括：
从所述历史数据中随机抽取出预设条数的数据，得到对应的标签分布序列；
计算出所述标签分布序列中任一条所述历史数据的结构化因子；
利用全部所述结构化因子计算出所述标签分布序列对应的所述结构化标签信息。
7.根据权利要求6所述的基于标签化数据治理技术实现方法，其特征在于，所述预先统计所述结构化标签信息，包括：
从所述历史数据中随机抽取数据，得到多个所述标签分布序列；
计算出多个所述标签分布序列对应的所述结构化标签信息。
CN202010954066.XA 2020-09-11 2020-09-11 一种基于标签化数据治理技术实现方法 Pending CN112256746A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010954066.XA CN112256746A (zh) 2020-09-11 2020-09-11 一种基于标签化数据治理技术实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010954066.XA CN112256746A (zh) 2020-09-11 2020-09-11 一种基于标签化数据治理技术实现方法

Publications (1)

Publication Number Publication Date
CN112256746A true CN112256746A (zh) 2021-01-22

Family

ID=74231229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010954066.XA Pending CN112256746A (zh) 2020-09-11 2020-09-11 一种基于标签化数据治理技术实现方法

Country Status (1)

Country Link
CN (1) CN112256746A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052406A1 (zh) * 2020-09-08 2022-03-17 苏州浪潮智能科技有限公司 一种自动驾驶训练方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104633829A (zh) * 2013-11-06 2015-05-20 上海思控电气设备有限公司 楼宇冷冻站节能控制装置及方法
CN108520342A (zh) * 2018-03-23 2018-09-11 中建三局第建设工程有限责任公司 基于bim的物联网平台管理方法及其系统
CN110481536A (zh) * 2019-07-03 2019-11-22 中国科学院深圳先进技术研究院 一种应用于混合动力汽车的控制方法及设备
CN111290347A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 监控方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104633829A (zh) * 2013-11-06 2015-05-20 上海思控电气设备有限公司 楼宇冷冻站节能控制装置及方法
CN108520342A (zh) * 2018-03-23 2018-09-11 中建三局第建设工程有限责任公司 基于bim的物联网平台管理方法及其系统
CN111290347A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 监控方法及系统
CN110481536A (zh) * 2019-07-03 2019-11-22 中国科学院深圳先进技术研究院 一种应用于混合动力汽车的控制方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴夏铭 等: "基于动作空间噪声的深度 Q 网络学习", 《长春理工大学学报（自然科学版）》, vol. 43, no. 4, pages 75 - 91 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052406A1 (zh) * 2020-09-08 2022-03-17 苏州浪潮智能科技有限公司 一种自动驾驶训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110782123B (zh) 决策方案的匹配方法、装置、计算机设备及存储介质
CN103049163B (zh) 用户界面智能显示控制方法和装置
CN103282874B (zh) 用于增强分支预测效率的指令序列缓冲器
CN108140021A (zh) 涉及感兴趣的数据内容的优先化的分级索引
CN103425564B (zh) 一种智能手机软件使用预测方法
CN109587125A (zh) 一种网络安全大数据分析方法、系统及相关装置
CN108228325A (zh) 应用管理方法和装置、电子设备、计算机存储介质
CN104240496A (zh) 一种出行路径的确定方法和装置
CN114662793B (zh) 基于可解释分层模型的业务流程剩余时间预测方法与系统
US20070233532A1 (en) Business process analysis apparatus
CN102547757A (zh) 网络优化分析系统及方法
CN116109007B (zh) 发电功率确定方法、服务器及存储介质
CN103995828B (zh) 一种云存储日志数据分析方法
CN102880450B (zh) 即时通信窗口管理方法和设备
CN112256746A (zh) 一种基于标签化数据治理技术实现方法
CN113779267A (zh) 一种基于意图的星上智能任务决策方法
CN108446318A (zh) 一种海量数据智能决策分析系统
CN114139604A (zh) 基于在线学习的电力工控攻击监测方法和装置
CN115358550A (zh) 排班方法、装置、系统与计算机可读存储介质
CN107301219A (zh) 一种电网规划数据管理系统
CN112926611B (zh) 特征提取方法、装置及计算机可读存储介质
CN111177015B (zh) 应用程序质量识别方法、装置、计算机设备和存储介质
CN111931798B (zh) 进行冷头状态分类检测和寿命预测的方法
CN113435752B (zh) 基于继承重载机制的规则匹配方法及装置
CN114358911B (zh) 开票数据风险控制方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination