CN111858598A - 一种海量数据综合管理系统与方法 - Google Patents

Abstract

本发明提出一种海量数据综合管理系统和方法，在诸如路桥、市政等需要对系统和系统内微应用、多功能进行管理和操作过程中，基于对各种数据的管理策略，创新地考量数据结构体、使用数据结构体的相应应用以及操作者之间的三相关系，提出了tag化存储、标签化分类以及应用的数据关注和数据的应用关注逻辑，且双向关注并非是对等的，从而提升了应用与逻辑的自适应耦合，增强了在多应用的管理平台下数据的差异化管理精度，同时对数据映射提供了较好的追踪。

Description

一种海量数据综合管理系统与方法

技术领域

本发明属于新一代计算机信息技术领域，尤其涉及一种海量数据综合管理系统与方法。

背景技术

信息时代为数据的综合管理带来了新的前景，同时引入了数据综合管理的更大挑战。对大数据在综合的、多应用的系统中如何依据不同的应用、不同的操作者进行差异化精细管理，是目前信息化数据管理中的重要问题。

在实施系统综合管理的过程中，往往存在多个用户，且系统中普遍具有多种粒度的服务或应用功能，每个应用或功能、服务均具有不同的数据需求，且部分应用或服务对数据还有独占需求或副本需求。

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80％的数据都是非结构化数据，这些数据每年都按指数增长60％。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，着手从三个层面来展开：

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

对海量数据的管理，既存在广泛的应用场景，也存在诸多问题。

海量数据管理过程主要包括：数据转换、数据关联、数据丰富、数据操作以及数据保持。

数据转换就是将数据从一种形式变换为另一种形式，通过形式的变化，使得数据更便于分析利用。比如在数据采集阶段导入的原始数据，需要将其从字符串类型转换为浮点型，这样便于对该数据项进行求和。另外，也可能因为数据格式问题进行数据转换，比如原始数据为网页这样的半结构化数据，为了能够搜索到网页中的数据，往往需要将网页中的关键数据提取出来并做成标签，再把标签作为检索项，这样检索时就没有必要检索整个网页了，通过这样达到提高检索效率的目的。

数据关联是按照需要，借助关联属性将多个分散的数据源关联在一起，就像用一根绳子将多个数据串接起来一样，目的是方便定位所需数据，同时便于从多个维度进行数据统计。比如，身份证号码、手机号码、终端设备号、网络编码等可以作为数据关联的外键，也可以根据分析需要构建多个数据表，以实现数据的关联。范式原则可以提高操作型数据模型对业务需求响应的灵活性，减少数据冗余，分析型数据模型则希望通过数据关联形成面向多个主题的数据模型，面向主题的数据模型更加接近于用户需求，便于多维度地分析和展现数据。数据丰富也是为了满足业务需求而对数据进行的完善，比如有一个学生，如果我们只知道她的姓名、性别信息，不知道她的生日信息，则我们就不能知道这个学生的年龄。再比如我们知道承载某个应用的IP地址及其产生的数据流量，如果我们再知道这个IP地址对应的URL，则我们可以就可以知道这个URL对应的数据流量。

数据操作就是操作数据，包括数据联合、去重、排序、过滤、分组等，通过数据操作，实现数据的关联与组合，便于从不同视角对数据进行查看和统计。

数据保存要考虑数据的存储策略，包括分散存储还是集中存储，采用原始表存储还是中间表存储，基于内存存储还是外存存储，存储周期多长，按月存储还是按年存储等。

数据保持对于大数据存储管理非常重要，制定数据保持策略的参数包括数据价值高低、数据活跃度、存储策略、法规要求等。企业可以根据需要定义数据的价值，比如客户的身份证号码、出生年月、家庭关系、教育经历、偏好等数据的价值比较高并且这些属性比较稳定，而对于客户购买历史、支付历史等数据则相对要低一些，因此难于作为预测未来的数据基础。

数据活跃度也是数据保持的一个重要指标，通常来说，数据存取频率高的数据的价值要高，如果数据超出一定的时间(比如一年)没有被存取，可以考虑将其转移到低价值的存储空间，以便提高数据的存取效率。

企业可以根据数据的特点和用途，对数据的生命周期进行定义，比如电信运营商超过一年的账单数据可以存放到二级磁盘阵列，通常我们称之间面向客户查询的账详单数据存储在一级磁盘阵列。

当然，有些存储策略并不是企业根据生产经营需要制定的，而是基于国家法律法规的要求制定的，比如，政府要求银行对储户的交易数据至少保留6年，要求电信运营商对用户的通话记录至少保留3年，等等。

数据的存储周期越长，用于数据分析的样本数据就越多，越容易从长期的数据变化中发现规律。企业需要综合考虑数据分析实际需求、数据存储成本、数据管理成本等因素，实现企业成本效益的最大化。

在海量数据管理过程中，发明人认识到，海量数据在综合的、多应用的系统中，依据不同的应用、不同的操作者进行差异化精细管理的程度普遍不高，导致目前信息化数据管理中的数据映射与数据综合管理方式不够健全，且无法依据应用和数据的相互关注关系，也即基于特定应用对特定数据的聚焦，或特定数据对特定应用的聚焦，提出个性化的关注管理方式。

本发明经由提出一种海量数据综合管理系统和方法，在诸如路桥、市政等需要对系统和系统内微应用、多功能进行管理和操作过程中，基于对各种数据的管理策略，创新地考量数据结构体、使用数据结构体的相应应用以及操作者之间的三相关系，提出了tag化存储、标签化分类以及应用的数据关注和数据的应用关注逻辑，且双向关注并非是对等的，从而提升了应用与逻辑的自适应耦合，增强了在多应用的管理平台下数据的差异化管理精度，同时对数据映射提供了较好的追踪，其具体通过：1.将数据管理分解为三元逻辑，第一元：操作数据的具体应用，并对应用进行分类和特定的关注数据锚定；第二元：数据结构体，并对数据结构体进行拆解，对数据结构体进行解析，设定特定的关注应用锚定；第三元：用户及其偏好应用，从而利用管理系统的多元分解实现数据的有序映射、分类管理和偏好管理；2.设置较之现有技术尤佳的网管入口、网管辨识、tag映射和tag锚定四模块双路逻辑进行用户的准入和标记化，达到较强的系统用户分类策略；3.使用应用标签拆解完成对应用的分类、标定，以期在后续数据存储、数据区分中进行映射；4.对目标数据实时结构体拆解和结构体再封装，屏蔽在映射中的非重要负载，从而实现数据与用户，数据与应用的主要关系、关注关系、被关注关系的三相逻辑关联，提升了系统在具体的路桥管理、口岸数据、市政管理等应用过程中的微应用化数据区分、数据综合管理和用户、应用、程序与数据的整合映射；5.引入关注应用、关注数据的双向非重合指向关系，实现原理不同的应用关注目标数据、数据关注目标应用的管理层级对应，防止关注应用受到非关注应用的干扰。

发明内容

本发明旨在提供一种优于现有技术的海量数据综合管理系统和方法。

为了实现上述目的，本发明的技术方案如下：

提供一种海量数据综合管理系统，所述系统包括以下模块：

第一应用入口，对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

应用标签拆解模块，拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

第一数据入口，对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

数据拆解模块，用于对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

第一网管入口，接收网管的登录信息并记录网管ID；

网管辨识模块，存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

Tag映射库，存储了各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

Tag锚定模块，接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

三元存储单元，接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

较佳地，所述数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体，具体为：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

较佳地，该应用的关注数据结构体具体为：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

较佳地，基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

较佳地，所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

另，本发明更甚地提供了一种与前述海量数据综合管理系统相适应的海量数据综合管理方法，所述方法包括如下步骤：

步骤一：使用第一应用入口对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

步骤二：应用标签拆解模块拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

步骤三：基于第一数据入口对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

步骤四：使用数据拆解模块对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

步骤五：基于第一网管入口接收网管的登录信息并记录网管ID；

步骤六：使用网管辨识模块存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

步骤七：基于Tag映射库，存储各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

步骤八：使用Tag锚定模块接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

步骤九：使用三元存储单元接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

较佳地，所述管理方法还包括如下步骤：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

较佳地，所述管理方法还包括如下步骤：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

较佳地，所述管理方法还包括如下步骤：

基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

较佳地，所述管理方法还包括如下步骤：

所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

本发明经由提出一种海量数据综合管理系统和方法，在诸如路桥、市政等需要对系统和系统内微应用、多功能进行管理和操作过程中，基于对各种数据的管理策略，创新地考量数据结构体、使用数据结构体的相应应用以及操作者之间的三相关系，提出了tag化存储、标签化分类以及应用的数据关注和数据的应用关注逻辑，且双向关注并非是对等的，从而提升了应用与逻辑的自适应耦合，增强了在多应用的管理平台下数据的差异化管理精度，同时对数据映射提供了较好的追踪，其具体通过：1.将数据管理分解为三元逻辑，第一元：操作数据的具体应用，并对应用进行分类和特定的关注数据锚定；第二元：数据结构体，并对数据结构体进行拆解，对数据结构体进行解析，设定特定的关注应用锚定；第三元：用户及其偏好应用，从而利用管理系统的多元分解实现数据的有序映射、分类管理和偏好管理；2.设置较之现有技术尤佳的网管入口、网管辨识、tag映射和tag锚定四模块双路逻辑进行用户的准入和标记化，达到较强的系统用户分类策略；3.使用应用标签拆解完成对应用的分类、标定，以期在后续数据存储、数据区分中进行映射；4.对目标数据实时结构体拆解和结构体再封装，屏蔽在映射中的非重要负载，从而实现数据与用户，数据与应用的主要关系、关注关系、被关注关系的三相逻辑关联，提升了系统在具体的路桥管理、口岸数据、市政管理等应用过程中的微应用化数据区分、数据综合管理和用户、应用、程序与数据的整合映射；5.引入关注应用、关注数据的双向非重合指向关系，实现原理不同的应用关注目标数据、数据关注目标应用的管理层级对应，防止关注应用受到非关注应用的干扰。

附图说明

图1是本发明示出海量数据综合管理系统的一种基本系统层次结构图；

图2是本发明示出基于海量数据综合管理系统的管理方法一种实施例的基本框图；

图3是本发明示出海量数据综合管理系统与方法中第一结构体的一种较佳实施例示意图；

图4是本发明示出海量数据综合管理系统与方法中第二结构体的一种较佳实施例。

图5是本发明示出海量数据综合管理系统与方法中第三结构体的一种优选实施例示意图。

具体实施方式

以下具体描述本发明所请求保护的海量数据综合管理系统与方法若干实施例和有益效果，以有助于对本发明进行更细致的审查和分解。

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述方法和相应装置，但这些关键词不应限于这些术语。这些术语仅用来将关键词彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一数据入口、第一结构体、第一存储分区等也可以被称为第二数据入口、第二结构体、第二存储分区等，类似地，第二数据入口、第二结构体、第二存储分区也可以被称为第一数据入口、第一结构体、第一存储分区。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

如说明书附图1所示，本发明所请求保护的海量数据综合管理系统实施例之一，所述系统包括：

第一应用入口，对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

应用标签拆解模块，拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

第一数据入口，对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

数据拆解模块，用于对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

第一网管入口，接收网管的登录信息并记录网管ID；

网管辨识模块，存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

Tag映射库，存储了各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

Tag锚定模块，接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

三元存储单元，接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

作为另一种可叠加的优选实施例，所述数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体，具体为：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

作为另一种可叠加的优选实施例，该应用的关注数据结构体具体为：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

作为另一种可叠加的优选实施例，基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

作为另一种可叠加的优选实施例，所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

如说明书附图2所示，说明书附图2示出了本发明基于海量数据综合管理系统的管理方法一种实施例的基本框图。所述方法包含以下步骤：

S102：使用第一应用入口对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

S104：应用标签拆解模块拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体ID，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

作为另一种可叠加的优选实施例，如说明书附图3所示，说明书附图3示出了本发明第一结构体的一种较佳实施例示意图。

参见说明书附图3，其中，第一结构体至少包含三个字段：

第一个字段为浮点型字段，也即float型的mainAPPIdentity，标识主标签，用于存储应用ID，其中该应用的ID可以为系统预置的浮点型数值之一且为排它的，也即每个应用均具有唯一的应用ID，也即具有唯一的主标签；

第二个字段为结构体嵌套型字段，也即，使用一个UserID结构体来嵌套入第一结构体，该UserID结构体用于存储用于应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；所述UserID结构体或类为系统预置存放应用的使用者网管ID集合的类或结构体；

在UserID类的对象OnceUserID内，存储了曾经操作过该应用的所有网管ID，作为一个集合对象而被标识为OnceUserID；

第三个字段为浮点型字段focusDATAStructID，使用focusDATAStructID字段来标识应用的关注数据结构体；在本实施例中，应用关注的数据结构体只有一种，因此使用浮点型即可标识，若存在多种被应用关注的数据结构体，此时可以如OnceUserID，采用集合对象来进行嵌套存储；

S106：基于第一数据入口对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

S108：使用数据拆解模块对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

作为另一种可叠加的优选实施例，如说明书附图4所示，说明书附图4示出了本发明第二结构体的一种较佳实施例示意图。

参见说明书附图4，其中，第二结构体至少包含四个字段：

第一个字段为浮点型字段，也即float型的mainDATAIdentity，标识对象数据主标签字段，用于存储对象数据的数据结构体标签ID，其中该对象数据结构体的ID可以为系统预置的浮点型数值之一且为排它的，也即每个对象数据结构体均具有唯一的对象数据结构体ID，也即具有唯一的对象数据主标签；

第二个字段为结构体嵌套型字段，也即，使用一个APPID结构体来嵌套入第一结构体，该APPID结构体用于存储所有使用该数据的应用主标签，所述使用该数据的应用主标签将随着应用的操作情况更新而更新；所述APPID结构体或类为系统预置存放应用的使用者网管ID集合的类或结构体；

在APPID类的对象OnceUserAPPID内，存储了所有使用该数据的应用主标签ID，作为一个集合对象而被标识为OnceUserAPPID；

第三个字段为浮点型字段focusAPPIdentity，使用focusAPPIdentity字段来标识应用的关注数据结构体；在本实施例中，数据结构体关注的应用只有一个，因此使用浮点型即可标识，若存在多种被数据结构体关注的应用，此时可以如OnceUserAPPID字段，采用集合对象来进行嵌套存储；

第四个字段为结构体或类的对象字段payload，作为一个类/结构体的对象，用于存在原始数据结构体中的负载字段和除如上三个字段外的其它字段。

S110：基于第一网管入口接收网管的登录信息并记录网管ID；

S112：使用网管辨识模块存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

S114：基于Tag映射库，存储各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

S116：使用Tag锚定模块接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

作为另一种可叠加的优选实施例，如说明书附图5所示，说明书附图4示出了本发明第三结构体的一种较佳实施例示意图。

参见说明书附图5，其中，第三结构体至少包含二个字段：

第一个字段为浮点型字段，也即float型的UserID，标识经由第一网管入口输入的网管ID；

第二个字段为结构体嵌套型字段，也即，使用一个Usertag结构体来嵌套入第一结构体，该Usertag结构体用于存储网管ID的对应tag，所述Usertag结构体或类为系统预置存放网管ID的对应tag集合的类或结构体；

在Usertag类的对象UserID-tag内，存储了每个经由第一网管入口输入的网管ID的对应tag，作为一个集合对象而被标识为UserID-tag。

S118：使用三元存储单元接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

作为另一种可叠加的优选实施例，所述管理方法还包括如下步骤：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

作为另一种可叠加的优选实施例，所述管理方法还包括如下步骤：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

作为另一种可叠加的优选实施例，所述管理方法还包括如下步骤：

基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

作为另一种可叠加的优选实施例，所述管理方法还包括如下步骤：

所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

本发明经由提出一种海量数据综合管理系统和方法，在诸如路桥、市政等需要对系统和系统内微应用、多功能进行管理和操作过程中，基于对各种数据的管理策略，创新地考量数据结构体、使用数据结构体的相应应用以及操作者之间的三相关系，提出了tag化存储、标签化分类以及应用的数据关注和数据的应用关注逻辑，且双向关注并非是对等的，从而提升了应用与逻辑的自适应耦合，增强了在多应用的管理平台下数据的差异化管理精度，同时对数据映射提供了较好的追踪，其具体通过：1.将数据管理分解为三元逻辑，第一元：操作数据的具体应用，并对应用进行分类和特定的关注数据锚定；第二元：数据结构体，并对数据结构体进行拆解，对数据结构体进行解析，设定特定的关注应用锚定；第三元：用户及其偏好应用，从而利用管理系统的多元分解实现数据的有序映射、分类管理和偏好管理；2.设置较之现有技术尤佳的网管入口、网管辨识、tag映射和tag锚定四模块双路逻辑进行用户的准入和标记化，达到较强的系统用户分类策略；3.使用应用标签拆解完成对应用的分类、标定，以期在后续数据存储、数据区分中进行映射；4.对目标数据实时结构体拆解和结构体再封装，屏蔽在映射中的非重要负载，从而实现数据与用户，数据与应用的主要关系、关注关系、被关注关系的三相逻辑关联，提升了系统在具体的路桥管理、口岸数据、市政管理等应用过程中的微应用化数据区分、数据综合管理和用户、应用、程序与数据的整合映射；5.引入关注应用、关注数据的双向非重合指向关系，实现原理不同的应用关注目标数据、数据关注目标应用的管理层级对应，防止关注应用受到非关注应用的干扰。

在所有上述实施方式中，为实现一些特殊的数据传输、读/写功能的要求，上述方法操作过程中及其相应装置可以增加装置、模块、器件、硬件、引脚连接或存储器、处理器差异来扩展功能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述方法步骤的划分，仅仅为一种逻辑或功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为方法的各个步骤、装置分离部件说明的单元可以是或者也可以不是逻辑或物理上分开的，也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各方法步骤及其实现、功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述方法和装置可以以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、NVRAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

应说明的是：以上实施例仅用以更清晰地解释、阐述本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种海量数据综合管理系统，所述系统包括以下模块：

第一应用入口，对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

应用标签拆解模块，拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

第一数据入口，对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

数据拆解模块，用于对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

第一网管入口，接收网管的登录信息并记录登录网管ID；

网管辨识模块，存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

Tag映射库，存储了各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用ID，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

Tag锚定模块，接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

三元存储单元，接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

2.如权利要求1所述海量数据综合管理系统，其特征在于，所述数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体，具体为：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

3.如权利要求2所述海量数据综合管理系统和方法，其特征在于，该应用的关注数据结构体具体为：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

4.如权利要求1所述海量数据综合管理系统和方法，其特征在于：

基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

5.如权利要求4所述海量数据综合管理系统和方法，其特征在于：

所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

6.一种海量数据综合管理方法，所述方法包括如下步骤：

步骤一：使用第一应用入口对所管理的应用进行筛选，将需要进行应用数据管理的活动应用执行系统准入；

步骤二：应用标签拆解模块拆解应用标签为：

·主标签，用于存储应用ID；

·使用者标签，用于标识应用的使用者集合，所述使用者集合用于表征曾经操作过该应用的所有网管ID，所述使用者集合将随着应用的操作情况更新而更新；

·数据结构体标签，用于标识应用的关注数据结构体，所述应用的关注数据结构体为本应用优先的数据结构体；

应用标签拆解模块将如上标签组合为第一结构体传递至三元存储单元；

步骤三：基于第一数据入口对所管理的数据进行准入，将符合标准数据格式的对象数据输入数据拆解模块；

所述符合标准数据格式的对象数据具体为，该对象数据至少为一结构体，且其至少包含如下字段：

·对象数据主标签字段，用于存储对象数据的数据结构体标签ID；

·使用该数据的应用主标签字段，包含所有使用该数据的应用主标签；

·关注应用字段，用于标识该数据对应的关注应用主标签；

步骤四：使用数据拆解模块对所管理的数据进行拆解，将符合标准数据格式的对象数据至少拆解为对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段，将除对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段以外的其它数据字段保留，作为其它数据字段，与对象数据主标签字段、使用该数据的应用主标签字段以及关注应用字段一起组成新的第二结构体，传递至三元存储单元；

步骤五：基于第一网管入口接收网管的登录信息并记录网管ID；

步骤六：使用网管辨识模块存储各个网管ID及其相应的历史应用操作记录，在收到第一网管入口传递的网管ID后，查询tag映射库是否有相应网管ID的记录，若否，基于本地存储的各个网管ID及其相应的历史应用操作记录，将操作次数最多的前N个应用的主标签作为该网管ID的tag记录更新至tag映射库；

步骤七：基于Tag映射库，存储各个网管ID及其相应的tag，所述tag标记了网管最常使用的前N个应用ID，N为预设使用度阈值，表征网管的应用使用偏好，一个网管ID对应于N个tag，每个tag为每个应用的主标签；

步骤八：使用Tag锚定模块接收网管辨识模块传递的网管ID，并基于Tag映射库存储的各个网管ID及其相应的tag确定当前网管ID的对应tag；构造第三结构体，将网管ID作为第三结构体的第一字段，对应tag作为第三结构体的第二字段，将第三结构体传递至三元存储单元；

步骤九：使用三元存储单元接收如下三元对应关系并存储：

第一结构体，存储至第一存储分区；

第二结构体，存储至第二存储分区；

第三结构体，存储至第三存储分区。

7.如权利要求6所述管理方法，其特征在于，还包括如下步骤：

所述数据结构体标签对应于第二结构体的对象数据主标签字段，可通过检查第二结构体的对象数据主标签字段是否等于所述数据结构体标签ID来确定所述第二结构体对应的对象数据是否为该应用的关注数据结构体。

8.如权利要求7所述管理方法，其特征在于，还包括如下步骤：

当该应用与其它应用均可能使用或修改该应用的关注数据结构体时，所述关注数据结构体仅允许该应用的使用或修改，并向其它应用执行访问禁止，将所有对其它应用的调用返回值表达为FALSE。

9.如权利要求6所述管理方法，其特征在于，还包括如下步骤：

基于所述关注应用字段，执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用。

10.如权利要求9所述管理方法，其特征在于，还包括如下步骤：

所述执行与第一结构体的主标签字段查找匹配来确定所述主标签对应的应用是否为该数据对象的关注应用还具有如下后续步骤：

若是，则将该数据单独为所述应用保留另一存储分区，供该关注应用使用或修改、更新，所述另一存储分区不同于数据的原始存储分区；同时，其它应用可以操作、使用、修改或更新该数据的原始分区，防止关注应用受到非关注应用的干扰。

Images