CN116303376B - 一种基于资产大数据平台的资产管理优化方法及系统 - Google Patents

Abstract

本发明提供了一种基于资产大数据平台的资产管理优化方法及系统，涉及数据处理技术领域，获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，进行数据溯源节点融合生成数据溯源网络，根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果进行数据资产管理，解决了现有技术中传统的数据资产管理方式不存在业务适配性管理体系，需针对覆盖的多个数据库进行联合分析，处理效率低下且存在较大占比的无关覆盖路径的技术问题，通过以业务为导向进行回归分析，进行需求溯源与节点融合，确定优化溯源体系进行资产数据的即时性调取管理，实现调用路径最短与效率最高。

Description

一种基于资产大数据平台的资产管理优化方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于资产大数据平台的资产管理优化方法及系统。

背景技术

大数据作为一种具有高增长率与多样化的信息资产，存在一定的管理难度，所述资产大数据平台作为具有数据接入处理与检索挖掘等功能的执行平台，可辅助进行资产大数据的统筹管理。目前常规的管理方式主要通过根据不同的数据来源将数据存储于不同的数据库中，若存在数据调用等需求时对多个数据库进行联合分析处理，传统的数据资产管理方式存在一定的局限性。

当前的数据资产管理方式不存在业务适配性管理体系，需针对覆盖的多个数据库进行联合分析，处理效率低下且存在较大占比的无关覆盖路径。

发明内容

本申请提供了一种基于资产大数据平台的资产管理优化方法及系统，用于针对解决现有技术中存在的当前的数据资产管理方式不存在业务适配性管理体系，需针对覆盖的多个数据库进行联合分析，处理效率低下且存在较大占比的无关覆盖路径的技术问题。

鉴于上述问题，本申请提供了一种基于资产大数据平台的资产管理优化方法及系统。

第一方面，本申请提供了一种基于资产大数据平台的资产管理优化方法，所述方法包括：

获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息。

第二方面，本申请提供了一种基于资产大数据平台的资产管理优化系统，所述系统包括：

溯源分析模块，所述溯源分析模块用于获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

节点融合模块，所述节点融合模块用于对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

存储结构优化模块，所述存储结构优化模块用于根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

数据资产管理模块，所述数据资产管理模块用于根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的一种基于资产大数据平台的资产管理优化方法，获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数，进行数据溯源节点融合生成数据溯源网络，根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果进行数据资产管理，解决了现有技术中存在的当前的数据资产管理方式不存在业务适配性管理体系，需针对覆盖的多个数据库进行联合分析，处理效率低下且存在较大占比的无关覆盖路径的技术问题，通过以业务为导向进行回归分析，进行需求溯源与节点融合，确定优化溯源体系进行资产数据的即时性调取管理，实现调用路径最短与效率最高。

附图说明

图1为本申请提供了一种基于资产大数据平台的资产管理优化方法流程示意图；

图2为本申请提供了一种基于资产大数据平台的资产管理优化方法中数据溯源网络生成流程示意图；

图3为本申请提供了一种基于资产大数据平台的资产管理优化方法中备用数据子库构建流程示意图；

图4为本申请提供了一种基于资产大数据平台的资产管理优化系统结构示意图。

附图标记说明：溯源分析模块11，节点融合模块12，存储结构优化模块13，数据资产管理模块14。

具体实施方式

本申请通过提供一种基于资产大数据平台的资产管理优化方法及系统，用于解决现有技术中存在的当前的数据资产管理方式不存在业务适配性管理体系，需针对覆盖的多个数据库进行联合分析，处理效率低下且存在较大占比的无关覆盖路径的技术问题。

实施例一

如图1所示，本申请提供了一种基于资产大数据平台的资产管理优化方法，应用于数据库优化模块，所述方法包括：

步骤S100：获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

进一步而言，获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，本申请步骤S100还包括：

步骤S110：遍历所述N个业务需求指标进行需求数据一级溯源分析，获取一级溯源分析数据；

步骤S120：遍历所述一级溯源分析数据进行多级溯源分析，当全部待溯源数据属于状态感知数据时，停止溯源，构建所述N个数据溯源节点图；

其中，所述状态感知数据包括传感器感知数据和用户上传数据，所述N个数据溯源节点图的子节点为母节点的业务评价基础。

具体而言，大数据作为一种具有高增长率与多样化的信息资产，存在一定的管理难度，所述资产大数据平台作为具有数据接入处理与检索挖掘等功能的执行平台，可辅助进行资产大数据的统筹管理，本申请提供的一种基于资产大数据平台的资产管理方法应用于所述数据库优化模块，所述数据库优化模块为执行孤岛数据库结构重构优化的功能模块，以补足当前进行数据调用时，存在的多数据库联合分析造成的低效率处理。

具体的，对设定于用户端进行显示的数据管理相关联的多维度指标获取，作为所述N个业务需求指标，针对各个指标进行逐层溯源分析以确定多组数据溯源节点，首先，对所述N个业务需求指标进行需求数据一级溯源分析，例如，若某个指标为安全性，则上推一级安全性的指标，比如结构、材料等，将其作为一级溯源分析数据；进一步遍历所述一级溯源分析数据，针对溯源确定的各个下位指标再次分别进行溯源分析，例如结构如何确定、材料如何确定，将其作为二级溯源分析数据，逐层进行溯源结果的再溯源分析，直至确定的溯源结果皆属于所述状态感知数据时，停止进行溯源，即不需要经过计算和处理，可直接获取且本身为最开始的数据源头，包括所述传感器感知数据和所述用户上传数据。

进一步的，针对多级溯源结果进行层级关联连接，作为该业务需求指标对应的数据溯源节点图，其中，最初确定的业务需求指标为母节点，下级溯源结果为上级溯源结果的子节点，且子节点为母节点的业务评价基础， 针对所述N个业务需求指标分别进行多级溯源分析与溯源结果层级关联，生成所述N个数据溯源节点图，其中，N≥1且N为整数，所述N个业务需求指标与所述N个数据溯源节点图一一对应，所述N个数据溯源节点图为初步确定的数据指标剖解体系。

步骤S200：对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

进一步而言，如图2所示，对所述N个数据溯源节点图进行节点融合，生成数据溯源网络，本申请步骤S200还包括：

步骤S210：遍历所述N个数据溯源节点图，获取N组数据基础信息，所述N组数据基础信息包括N组数据源ID信息和N组数据属性信息，其中，所述N组数据源ID信息和所述N组数据属性信息一一对应；

步骤S220：当第一节点和第二节点的数据源ID信息相同，且数据属性信息相同，将所述第一节点和所述第二节点进行融合；

步骤S230：遍历所述N组数据基础信息对所述N个数据溯源节点图进行节点融合，生成所述数据溯源网络。

具体而言，对所述N个数据溯源节点进行对应数据的比对分析，针对存在的同源数据溯源节点进行融合，以实现所述N个数据溯源节点图的衔接关联，作为所述数据溯源网络。

具体的，遍历所述N个数据溯源节点图，针对各数据溯源节点图涵盖的多级节点，分别进行节点数据源的数据源ID信息与数据属性信息的识别确定，即数据地址与表征数据对象的多特征，例如数据类型、数值特征等，可基于属性向量进行表征，将各节点对应的数据源ID信息与数据属性信息作为数据基础信息，进行数据溯源节点与所述数据基础信息的映射关联，分别对所述N个数据溯源节点图进行信息识别匹配，生成所述N组数据基础信息，其中，所述N个数据溯源节点图与所述N组数据基础信息一一对应，所述N组数据源ID信息与所述N组数据属性信息一一对应。

进一步的，由于N个业务指标之间可能存在溯源关系，包括母节点与子节点之间或不同级别子节点之间，例如质量的评价指标上一级为安全性，将数据源ID信息与所述数据属性信息作为融合执行判定标准，若所述第一节点与所述第二节点的数据源ID信息与所述数据属性信息皆相同，对所述第一节点与所述第二节点进行融合，合并为一个节点，其中，所述第一节点与所述第二节点泛指所述N个数据溯源节点图中的任意两个节点。遍历所述N组数据基础信息进行校对，对数据基础信息相同的数据溯源节点进行融合，即针对存在相同数据基础信息的对应的至少两个数据溯源节点进行融合，实现所述N个数据溯源节点图的衔接，作为所述数据溯源网络，所述数据溯源网络为处理后的存在数据关联，且消除数据冗余的优化数据结构体系。

步骤S300：根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

步骤S400：根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息。

具体而言，将所述数据溯源网络作为所述资产大数据平台的优化存储结构，以所述数据溯源网络为基准，进行资产大数据的存储优化，基于数据类型确定针对性预处理方式，进行上传数据的预处理与数据分类，实现数据的层级溯源相关性存储，完成所述资产大数据平台的优化，针对所述资产大数据平台优化结果，将所述用户业务需求数据信息作为待管理执行信息，进行需求数据节点层级溯源，以进行数据资产的高效完备性识别调用，实现数据资产的优化管理。

进一步而言，根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果，本申请步骤S300还包括：

步骤S310：将所述数据溯源网络设为所述资产大数据平台的数据优化存储结构；

步骤S320：根据所述数据优化存储结构对所述资产大数据平台的资产大数据进行存储优化，获取所述资产大数据平台优化结果。

进一步而言，根据所述数据优化存储结构对所述资产大数据平台的资产大数据进行存储优化，获取所述资产大数据平台优化结果，本申请步骤S320还包括：

步骤S321：获取所述资产大数据的数据源ID上传原始数据；

步骤S322：根据数据属性信息对数据源ID上传原始数据进行预处理：

步骤S323：当所述数据源ID上传原始数据为可编辑类型文本数据时，对所述数据源ID上传原始数据进行语义识别，获取第一文本数据分类结果，所述第一文本数据分类结果与所述数据属性信息一一对应；

步骤S324：当所述数据源ID上传原始数据为图片类型文本数据时，对所述数据源ID上传原始数据进行OCR文字提取再进行语义识别，获取第二文本数据分类结果，所述文本数据分类结果与所述数据属性信息一一对应；

步骤S325：当所述数据源ID上传原始数据为非文本图像数据时，对所述数据源ID上传原始数据进行图像语义分割，对图像语义分割结果进行属性特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应；

步骤S326：对所述第一文本数据分类结果或所述第二文本数据分类结果或所述数据属性特征信息，基于所述数据优化存储结构进行存储优化，获取所述资产大数据平台优化结果。

进一步而言，当所述数据源ID上传原始数据为非文本图像数据时，对所述数据源ID上传原始数据进行图像语义分割，对图像语义分割结果进行属性特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应，之前，本申请步骤S325还包括：

步骤S3251：获取多张数据源ID历史上传图像，根据所述数据属性信息对所述多张数据源ID历史上传图像进行分割边界坐标标识，获取边界像素坐标标识序列，所述边界像素坐标标识序列表征边界封闭的分割对象的边界坐标序列；

步骤S3252：构建模型训练损失函数：

，

，

其中，为训练第一损失值，/>为训练第二损失值，N为边界像素坐标标识序列的坐标总数，n表征边界像素坐标标识序列的第n个像素点，y_n表征边界像素坐标标识序列的第n个像素点坐标，/>表征模型输出的第n个像素点坐标对应分割结果，y表征边界像素坐标标识序列，/>表征边界像素坐标标识序列的对应分割结果；

步骤S3253：根据所述模型训练损失函数，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的训练数据，对u-net神经网络训练图像语义分割模型；

步骤S3254：当所述第一损失值小于或等于第一损失阈值，且所述第二损失值小于或等于第二损失阈值时，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的验证数据对所述图像语义分割模型进行验证，验证通过时，生成图像语义分割模型，对所述数据源ID上传原始数据进行图像语义分割。

具体而言，所述资产大数据平台预先的数据存储结构为基于建立的多个孤岛数据库进行不同类型数据的差异化存储，进行数据索引调用时需结合相关性存储数据库进行关联分析导致效率低下，将所述数据溯源网络迭代为所述资产大数据平台的数据优化存储结构，在此基础上进行所述资产大数据平台的资产大数据存储优化。

具体的，根据所述数据属性信息对所述数据源ID上传原始数据进行预处理，其中，由于数据需要依据数据属性分类存储，则需要对原本属于相同数据源的数据进行属性分割，不同类型的数据源类型选择不同的数据预处理方法。当所述数据源ID上传原始数据为可编辑类型文本数据时，基于语义识别方式进行可编辑类型文本数据分割，即针对文本内容直接进行自然语言的语义识别，将所述数据属性信息作为识别分类标准，划分为映射归属于所述数据属性信息的多个文本数据类别，作为所述第一文本分类结果；当所述数据源ID上传原始数据为图片类型文本数据时，针对上传图片进行OCR文字提取，可直接基于在线文字提取软件等进行图片扫描，提取图片涵盖的文本信息，将其转化为可编辑类型文本数据，进一步对其进行语义识别，将所述数据属性信息作为划分标准，进行转换文本的映射归属划定，生成所述第二文本数据分类结果；当所述数据源ID上传原始数据为非文本图像数据时，进行图像语义分割与属性特征提取，基于属性特征提取结果进行数据属性信息的划定归属。

具体的，获取多张数据源ID历史上传图像，将所述数据属性信息作为图像分割标准，进行所述多张数据源ID上传原始数据的存在特征识别，例如图像包含物品等，针对识别结果进行图像区域分割，针对图像分割结果，基于分割前的完整图像确定像素坐标空间，于像素坐标空间中确定图像分割结果的分割边界对应的定位坐标，进行对应图像的标识，同时对各分割边界进行像素点坐标的顺序性整合，作为所述边界像素点坐标标识序列，所述边界像素坐标标识序列表征边界封闭的分割对象的边界坐标序列，其中，所述多张数据源ID历史上传图像的图像分割与像素点坐标标识由人工分析执行。

进一步的，构建所述模型训练损失函数进行图像分割执行的损失计量，以进行模型处理准确度衡量，所述模型训练损失函数表达式为：，，其中，/>为训练第一损失值，/>为训练第二损失值，N为边界像素坐标标识序列的坐标总数，n表征边界像素坐标标识序列的第n个像素点，y_n表征边界像素坐标标识序列的第n个像素点坐标，/>表征模型输出的第n个像素点坐标对应分割结果，y表征边界像素坐标标识序列，/>表征边界像素坐标标识序列的对应分割结果，上述参数皆可通过统计与分析进行获取。进一步根据所述模型训练损失函数，将所述多张数据源ID历史上传图像和所述边界像素坐标标识序列作为样本数据，划分训练样本与验证样本，基于所述训练样本确定输入识别图像与分割决策信息，进行u-net神经网络训练生成图像语义分割模型，所述图像语义分割模型为全卷积网络。

进一步设定所述第一损失阈值与所述第二损失阈值，为根据图像分割精度需求自定设定的进行图像分割结果限定的临界损失值，基于所述图像语义分割模型，对所述多张数据源ID历史上传图像进行处理，确定图像分割结果，获取各图像分割结果中图像标识像素点的映射像素坐标，基于所述模型训练损失函数进行损失分析，计算获取输出结果对应的第一损失值与第二损失值，并进行阈值校对判定，当所述第一损失值小于或等于所述第一损失阈值，且所述第二损失值小于或等于所述第二损失阈值时，表明所述图像语义分割模型的处理损失处于可控限度内，进一步基于所述验证样本，进行所述图像语义分割模型的处理验证，并进行输出结果损失分析，若损失值满足对应的损失阈值时，表明验证通过，确定构建完成的所述图像语义分割模型，所述图像语义分割模型为自建的用于进行输入图像分割处理的辅助执行工具，可有效提高图像分割效率并保障分割精准度。将所述数据源ID上传原始数据输入所述图像语义分割模型中，基于训练生成的分割执行机制进行图像处理，直接输出图像语义分割结果。

进一步将所述数据属性信息作为提取标准，对图像语义分割结果进行属性鉴别与特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应。将所述第一文本数据分类结果或所述第二文本数据分类结果或所述数据属性特征信息作为不同数据源类型的存储优化执行标准，进行存储优化获取所述资产大数据平台优化结果，以针对数据源的预处理结果，结合数据属性，按照数据优化存储结构进行分类存储，以提高所述资产大数据平台的管理系统化。

进一步而言，如图3所示，本申请还存在步骤S500，包括：

步骤S510：获取预处理冗余数据的冗余数据源ID信息和冗余数据属性信息，其中，所述预处理冗余数据为与业务需求指标无关的数据资产；

步骤S520：将所述预处理冗余数据按照所述冗余数据源ID信息进行一级聚类分析，获取冗余数据一级聚类结果；

步骤S530：遍历所述冗余数据一级聚类结果按照所述冗余数据属性信息进行二级聚类分析，获取冗余数据二级聚类结果；

步骤S540：将所述冗余数据一级聚类结果设为根节点数据，将所述冗余数据二级聚类结果设为叶子节点数据，构建备用数据子库。

具体而言，对于当前业务不需要的冗余数据进行预处理，具体预处理方式同上，获取预处理冗余数据的所述冗余数据源ID信息与所述冗余数据属性信息。进一步将所述冗余数据源ID信息作为聚类依据，对所述预处理冗余数据进行聚类划分，例如将同源ID信息作为聚类中心，对所述冗余数据源进行归属划定，确定多个聚类簇作为所述冗余数据一级聚类结果；在所述冗余数据一级聚类结果的基础上，将所述冗余数据属性信息作为聚类依据再次进行聚类分析，确定所述冗余数据二级聚类结果，所述冗余数据二级聚类结果为满足所述冗余数据源ID信息和所述冗余数据属性信息同源的聚类结果，将所述冗余数据一级聚类记过设为所述根节点数据，将所述冗余数据二级聚类结果设为所述叶子节点数据，进行根节点数据与叶子节点数据的层级映射关联，生成所述备用数据子库，可避免冗余数据存在造成的当前业务数据管理影响，将所述备用数据子库作为暂存数据库，针对后续业务需求进行调用处理，进行后步优化调整。

实施例二

基于与前述实施例中一种基于资产大数据平台的资产管理优化方法相同的发明构思，如图4所示，本申请提供了一种基于资产大数据平台的资产管理优化系统，所述系统包括：

溯源分析模块11，所述溯源分析模块11用于获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

节点融合模块12，所述节点融合模块12用于对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

存储结构优化模块13，所述存储结构优化模块13用于根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

数据资产管理模块14，所述数据资产管理模块14用于根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息。

进一步而言，所述系统还包括：

一级溯源分析模块，所述一级溯源分析模块用于遍历所述N个业务需求指标进行需求数据一级溯源分析，获取一级溯源分析数据；

多级溯源分析模块，所述多级溯源分析模块用于遍历所述一级溯源分析数据进行多级溯源分析，当全部待溯源数据属于状态感知数据时，停止溯源，构建所述N个数据溯源节点图；

其中，所述状态感知数据包括传感器感知数据和用户上传数据，所述N个数据溯源节点图的子节点为母节点的业务评价基础。

进一步而言，所述系统还包括：

数据基础信息获取模块，所述数据基础信息获取模块用于遍历所述N个数据溯源节点图，获取N组数据基础信息，所述N组数据基础信息包括N组数据源ID信息和N组数据属性信息，其中，所述N组数据源ID信息和所述N组数据属性信息一一对应；

节点融合模块，所述节点融合模块用于当第一节点和第二节点的数据源ID信息相同，且数据属性信息相同，将所述第一节点和所述第二节点进行融合；

数据溯源网络生成模块，所述数据溯源网络生成模块用于遍历所述N组数据基础信息对所述N个数据溯源节点图进行节点融合，生成所述数据溯源网络。

进一步而言，所述系统还包括：

结构设定模块，所述结构设定模块用于将所述数据溯源网络设为所述资产大数据平台的数据优化存储结构；

存储优化模块，所述存储优化模块用于根据所述数据优化存储结构对所述资产大数据平台的资产大数据进行存储优化，获取所述资产大数据平台优化结果。

进一步而言，所述系统还包括：

原始数据获取模块，所述原始数据获取模块用于获取所述资产大数据的数据源ID上传原始数据；

数据预处理模块，所述数据预处理模块用于根据数据属性信息对所述数据源ID上传原始数据进行预处理：

第一文本数据分类结果获取模块，所述第一文本数据分类结果获取模块用于当所述数据源ID上传原始数据为可编辑类型文本数据时，对所述数据源ID上传原始数据进行语义识别，获取第一文本数据分类结果，所述第一文本数据分类结果与所述数据属性信息一一对应；

第二文本数据分类结果获取模块，所述第二文本数据分类结果获取模块用于当所述数据源ID上传原始数据为图片类型文本数据时，对所述数据源ID上传原始数据进行OCR文字提取再进行语义识别，获取第二文本数据分类结果，所述文本数据分类结果与所述数据属性信息一一对应；

属性特征提取模块，所述属性特征提取模块用于当所述数据源ID上传原始数据为非文本图像数据时，对所述数据源ID上传原始数据进行图像语义分割，对图像语义分割结果进行属性特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应；

优化结果获取模块，所述优化结果获取模块用于对所述第一文本数据分类结果或所述第二文本数据分类结果或所述数据属性特征信息，基于所述数据优化存储结构进行存储优化，获取所述资产大数据平台优化结果。

进一步而言，所述系统还包括：

序列获取模块，所述序列获取模块用于获取多张数据源ID历史上传图像，根据所述数据属性信息对所述多张数据源ID历史上传图像进行分割边界坐标标识，获取边界像素坐标标识序列，所述边界像素坐标标识序列表征边界封闭的分割对象的边界坐标序列；

函数构建模块，所述函数构建模块用于构建模型训练损失函数：

，

，

其中，为训练第一损失值，/>为训练第二损失值，N为边界像素坐标标识序列的坐标总数，n表征边界像素坐标标识序列的第n个像素点，y_n表征边界像素坐标标识序列的第n个像素点坐标，/>表征模型输出的第n个像素点坐标对应分割结果，y表征边界像素坐标标识序列，/>表征边界像素坐标标识序列的对应分割结果；

模型训练模块，所述模型训练模块用于根据所述模型训练损失函数，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的训练数据，对u-net神经网络训练图像语义分割模型；

模型验证模块，所述模型验证模块用于当所述第一损失值小于或等于第一损失阈值，且所述第二损失值小于或等于第二损失阈值时，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的验证数据对所述图像语义分割模型进行验证，验证通过时，生成图像语义分割模型，对所述数据源ID上传原始数据进行图像语义分割。

进一步而言，所述系统还包括：

冗余数据信息获取模块，所述冗余数据信息获取模块用于获取预处理冗余数据的冗余数据源ID信息和冗余数据属性信息，其中，所述预处理冗余数据为与业务需求指标无关的数据资产；

一级聚类分析模块，所述一级聚类分析模块用于将所述预处理冗余数据按照所述冗余数据源ID信息进行一级聚类分析，获取冗余数据一级聚类结果；

二级聚类分析模块，所述二级聚类分析模块用于遍历所述冗余数据一级聚类结果按照所述冗余数据属性信息进行二级聚类分析，获取冗余数据二级聚类结果；

备用数据子库构建模块，所述备用数据子库构建模块用于将所述冗余数据一级聚类结果设为根节点数据，将所述冗余数据二级聚类结果设为叶子节点数据，构建备用数据子库。

本说明书通过前述对一种基于资产大数据平台的资产管理优化方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于资产大数据平台的资产管理优化方法及系统，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于资产大数据平台的资产管理优化方法，其特征在于，应用于数据库优化模块，包括：

获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息；

获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，包括：

遍历所述N个业务需求指标进行需求数据一级溯源分析，获取一级溯源分析数据；

遍历所述一级溯源分析数据进行多级溯源分析，当全部待溯源数据属于状态感知数据时，停止溯源，构建所述N个数据溯源节点图；

其中，所述状态感知数据包括传感器感知数据和用户上传数据，所述N个数据溯源节点图的子节点为母节点的业务评价基础；

对所述N个数据溯源节点图进行节点融合，生成数据溯源网络，包括：

遍历所述N个数据溯源节点图，获取N组数据基础信息，所述N组数据基础信息包括N组数据源ID信息和N组数据属性信息，其中，所述N组数据源ID信息和所述N组数据属性信息一一对应；

当第一节点和第二节点的数据源ID信息相同，且数据属性信息相同，将所述第一节点和所述第二节点进行融合；

遍历所述N组数据基础信息对所述N个数据溯源节点图进行节点融合，生成所述数据溯源网络；

根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果，包括：

将所述数据溯源网络设为所述资产大数据平台的数据优化存储结构；

根据所述数据优化存储结构对所述资产大数据平台的资产大数据进行存储优化，获取所述资产大数据平台优化结果；

根据所述数据优化存储结构对所述资产大数据平台的资产大数据进行存储优化，获取所述资产大数据平台优化结果，包括：

获取所述资产大数据的数据源ID上传原始数据；

根据数据属性信息对所述数据源ID上传原始数据进行预处理：

当所述数据源ID上传原始数据为可编辑类型文本数据时，对所述数据源ID上传原始数据进行语义识别，获取第一文本数据分类结果，所述第一文本数据分类结果与所述数据属性信息一一对应；

当所述数据源ID上传原始数据为图片类型文本数据时，对所述数据源ID上传原始数据进行OCR文字提取再进行语义识别，获取第二文本数据分类结果，所述文本数据分类结果与所述数据属性信息一一对应；

当所述数据源ID上传原始数据为非文本图像数据时，对所述数据源ID上传原始数据进行图像语义分割，对图像语义分割结果进行属性特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应；

对所述第一文本数据分类结果或所述第二文本数据分类结果或所述数据属性特征信息，基于所述数据优化存储结构进行存储优化，获取所述资产大数据平台优化结果。

2.如权利要求1所述的方法，其特征在于，当所述数据源ID上传原始数据为非文本图像数据时，对所述数据源ID上传原始数据进行图像语义分割，对图像语义分割结果进行属性特征提取，获取数据属性特征信息，所述数据属性特征信息与所述数据属性信息一一对应，之前包括：

获取多张数据源ID历史上传图像，根据所述数据属性信息对所述多张数据源ID历史上传图像进行分割边界坐标标识，获取边界像素坐标标识序列，所述边界像素坐标标识序列表征边界封闭的分割对象的边界坐标序列；

构建模型训练损失函数：

，

，

其中，为训练第一损失值，/>为训练第二损失值，N为边界像素坐标标识序列的坐标总数，n表征边界像素坐标标识序列的第n个像素点，y_n表征边界像素坐标标识序列的第n个像素点坐标，/>表征模型输出的第n个像素点坐标对应分割结果，y表征边界像素坐标标识序列，/>表征边界像素坐标标识序列的对应分割结果；

根据所述模型训练损失函数，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的训练数据，对u-net神经网络训练图像语义分割模型；

当所述第一损失值小于或等于第一损失阈值，且所述第二损失值小于或等于第二损失阈值时，基于所述多张数据源ID历史上传图像和所述边界像素坐标标识序列的验证数据对所述图像语义分割模型进行验证，验证通过时，生成图像语义分割模型，对所述数据源ID上传原始数据进行图像语义分割。

3.如权利要求1所述的方法，其特征在于，根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息，之后还包括：

获取预处理冗余数据的冗余数据源ID信息和冗余数据属性信息，其中，所述预处理冗余数据为与业务需求指标无关的数据资产；

将所述预处理冗余数据按照所述冗余数据源ID信息进行一级聚类分析，获取冗余数据一级聚类结果；

遍历所述冗余数据一级聚类结果按照所述冗余数据属性信息进行二级聚类分析，获取冗余数据二级聚类结果；

将所述冗余数据一级聚类结果设为根节点数据，将所述冗余数据二级聚类结果设为叶子节点数据，构建备用数据子库。

4.一种基于资产大数据平台的资产管理优化系统，用于实施权利要求1-3任意一项所述的方法，其特征在于，包括：

溯源分析模块，所述溯源分析模块用于获取用户端设定的N个业务需求指标进行需求数据溯源分析，获取N个数据溯源节点图，N≥1，N为整数；

节点融合模块，所述节点融合模块用于对所述N个数据溯源节点图进行节点融合，生成数据溯源网络；

存储结构优化模块，所述存储结构优化模块用于根据所述数据溯源网络对资产大数据平台进行存储结构优化，获取资产大数据平台优化结果；

数据资产管理模块，所述数据资产管理模块用于根据所述资产大数据平台优化结果进行数据资产管理，其中，数据资产为用户业务需求数据信息。