CN115328988B - 一种基于大数据和互联网的信息管理方法 - Google Patents

一种基于大数据和互联网的信息管理方法 Download PDF

Info

Publication number
CN115328988B
CN115328988B CN202211256511.0A CN202211256511A CN115328988B CN 115328988 B CN115328988 B CN 115328988B CN 202211256511 A CN202211256511 A CN 202211256511A CN 115328988 B CN115328988 B CN 115328988B
Authority
CN
China
Prior art keywords
document
user
dms
internet
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211256511.0A
Other languages
English (en)
Other versions
CN115328988A (zh
Inventor
刘春明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Institute of Commerce and Technology
Original Assignee
Shandong Institute of Commerce and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Institute of Commerce and Technology filed Critical Shandong Institute of Commerce and Technology
Priority to CN202211256511.0A priority Critical patent/CN115328988B/zh
Publication of CN115328988A publication Critical patent/CN115328988A/zh
Application granted granted Critical
Publication of CN115328988B publication Critical patent/CN115328988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Computer And Data Communications (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种基于大数据和互联网的信息管理方法，应用于信息处理领域；解决的技术问题是信息管理效率低，采用的技术方案是一种基于大数据和互联网的信息管理方法，包括S1在DMS系统中创建的电子文档，授权用户请求发起用户在互联网中传输文档；S2DMS系统选择性地过滤文档并将文档上传并存储在互联网商店中；S3DMS系统创建用户会话和文档检索，并向发起用户和授权用户发出交易通知消息；S4DMS系统采用CSD算法对文档进行归类管理；本发明能够提供预测性、反应性和主动性信息系统的安排，通过CSD算法与高斯函数形成复合式算法程序，使得DMS系统能够快速处理大数据，实现文档大数据信息高效率管理。

Description

一种基于大数据和互联网的信息管理方法
技术领域
本发明涉及网络部署领域或信息处理领域，且更确切地涉及一种基于大数据和互联网的信息管理方法。
背景技术
随着信息技术的发展，特别是以互联网为代表的大数据应用每天产生巨大的数据量，大数据管理系统也发生了以软件为中心到以数据为中心的计算平台的迁移例如，谷歌、百度等搜索引擎公司存储的网页数据越来越多，逐渐成为网络数据的集中存放仓库，并以这些数据为中心开展各项服务。据统计，2021年谷歌大约存储了10EB的磁盘数据,如何存储和管理如此巨量的数据，是目前研究的热点不仅限于搜索引擎公司，其他信息技术公司也都面临同样的大数据管理需求。
在软件基础设施化的大数据时代特征背景下，未来的大数据管理系统应以云计算为平台，具有更好的分布可扩展、可伸缩调整特点，能够实现跨域的无缝融合，未来的大数据管理系统通过高速网络将不同的硬件资源连接构成一个计算系统整体，互相配合，为终端用户服务云平台上可以运行多类应用，目前，现有技术中构建大数据管理云平台系统，能够支持结构化、半结构化、非结构化等多种数据类型的组织、存储和管理，建成以质量相融合的知识管理为中心、并以此提供面向知识服务的快速应用开发接口。然而，大数据管理系统采用的计算框架存在计算效率低的问题。
发明内容
针对上述问题，本发明公开一种基于大数据和互联网的信息管理方法，能够进行网络服务器的部署，实现互联网大数据的分析与处理。
为了实现上述技术效果，本发明采用以下技术方案：
一种基于大数据和互联网的信息管理方法，步骤包括：
S1.在DMS系统中创建的电子文档，授权用户请求发起用户在互联网中传输文档；
S2.DMS系统选择性地过滤文档并将文档上传并存储在互联网商店中；
S3.DMS系统创建用户会话和文档检索，并向发起用户和授权用户发出交易通知消息；
S4.DMS系统采用复合辛普森数字（Composite Simpson digital，CSD）算法对文档进行归类管理。
作为本发明的进一步技术方案，所述DMS系统将文档上传并存储在互联网商店中，包括四种大数据流动情况：
第一种：发起用户基于IP通信协议将文档上传到DMS系统，没有待授权用户需要确认，则DMS系统选择性地过滤文档，文档存储在Hbase数据库中，同时通知消息已返回给发起用户；
第二种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户已注册，则用户在DMS系统中获得授权，授权用户可以在互联网地址上发送通知消息；
第三种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中可用，DMS系统被要求访问授权文件，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知；
第四种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中不可用，生成唯一编号，访问授权文档时需要该编号，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知。
作为本发明的进一步技术方案，所述DMS系统创建用户会话和文档检索，文档检索包括四种方式案例：
案例A：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，注册授权用户并在DMS URL提交凭证，授权用户从DMS存储检索文档，将所有文档都记录在交易日志中；
案例B：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务所需的预注册授权用户介绍号码，预注册授权用户提交介绍编号，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例C：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务不需要预注册的授权用户介绍号码，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例D：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务具有可信凭证的预注册授权用户，预注册的授权用户提交可信凭证，授权用户从DMS存储检索文档，所有文档都记录在交易日志中。
作为本发明的进一步技术方案，所述DMS系统采用CSD算法对文档进行归类管理，CSD算法步骤包括：
步骤一：CSD算法与高斯函数形成复合式算法程序，假设文档类型为台区供电大数据和数字化台区供电大数据，涉及台区转型数字化台区问题；将台区供电大数据与数字化台区供电大数据的参数特征进行比对，在比对过程中首先对CSD算法误差进行控制，通过程序运行时间和变量变化规律进行误差预测，如公式（1）所示：
Figure 555986DEST_PATH_IMAGE001
（1）
式（1）中，E表示台区供电大数据与数字化台区供电大数据的比对预测误差，I表示台区连通电流，λ表示台区运行周期的参数，i q 表示转型前台区运行周期内的电流，i s 表示转型后台区运行周期内的电流，n表示台区总转型设备量，T表示台区运行周期，t表示台区运行时间；
步骤二：在传统台区转型为数字化台区之后，台区供给电站和设备电流发生变化，对数字化台区设备参数进行计算，如公式（2）所示：
Figure 78103DEST_PATH_IMAGE002
（2）
式（2）中，u表示数字式台区电站电压，γ表示台区数字化转型系数；在数字式台区运行周期内，将台区数据按照梯形方式将高斯函数与辛普森公式进行复合，得到台区数字化比对函数，如公式（3）所示：
Figure 744707DEST_PATH_IMAGE003
（3）
式（3）中，x表示台区转型产生的台区供电大数据，Gq表示转型前台区供电大数据，G s 表示转型后台区供电大数据，G r 表示两种台区数据处理方式的差异；
步骤三：将台区转型前后的数据差异转换为函数形式，则在转型过程中的变量归类如公式（4）所示：
Figure 744893DEST_PATH_IMAGE004
（4）
式（4）中，x’表示转型过程中产生的台区供电大数据差异，
Figure 429821DEST_PATH_IMAGE005
表示转型台区设备变化，
Figure 670310DEST_PATH_IMAGE006
表示运行过程变量，
Figure 824211DEST_PATH_IMAGE007
表示转型台区设备运营差异系数；转型前后差异变量通过复化梯形的方式进行总结，经过罗氏线圈规划为算法输出函数，根据变量对实际变量的影响程度，最终比对结果如公式（5）所示：
Figure 159246DEST_PATH_IMAGE008
（5）
式（5）中，Y表示转型前后台区供电大数据比对结果；
步骤四：将转型前后台区供电大数据比对结果写入算法程序，CSD算法的累加效果统计如公式（6）所示：
Figure 980571DEST_PATH_IMAGE009
（6）
式（6）中，G(x)表示CSD算法统计的转型前后台区供电大数据变化量，根据转型前后台区实际运行状态，为台区数字式转型提供数据支撑，进而达到DMS系统对文档或台区供电大数据进行归类管理目的。
作为本发明的进一步技术方案，所述DMS系统还提供定制功能，其中向用户呈现与使用DMS系统的N个服务提供商之一相对应的公司信息。
作为本发明的进一步技术方案，所述DMS系统包括：
第一用户计算机，用于建立到Internet上连接的发起用户设备；
第二用户计算机，用于建立到Internet上连接的授权用户设备；
Internet，用于实现互联网上的信息交互的网络架构；
中心计算机，用于控制与处理互联网上的文档；
公钥基础设施服务器，用于对互联网上的文档通过AES加密算法进行密钥加密；
通知服务器，用于通过Internet向发起用户与授权用户输出通知消息；
随机存取存储器，用于中心计算机的操作程序临时数据存储介质；
Hbase数据库，用于分布式存储互联网上的文档；
其中，Internet与第一用户计算机、第二用户计算机和中心计算机双向连接，中心计算机与公钥基础设施服务器、通知服务器、随机存取存储器和Hbase数据库双向连接。
作为本发明的进一步技术方案，所述Hbase数据库分布式存储互联网上的文档过程：首先构建一个文档组，文档组包括文档对象A和文档对象B的集合；文档组优选地具有可扩展属性类型，Hbase数据库通过文档实例分类得到文档对象A的集合包括文档实例AA、文档实例AB和文档实例AC；每个文档实例由DMS系统公证，通过添加时间戳及使用私钥对文档实例进行签名，对于文档版本对象1和文档版本对象2，对文档的引用、文档状态、描述、大小、优先级、加密类型和到期日期进行对应，进而分布式存储在Hbase数据库中。
作为本发明的进一步技术方案，所述随机存取存储器包括两个硬盘驱动器、光学驱动器和RAID，并且还可以包括支持不同类型的存储介质的存储器；随机存取存储器还可以包括远程存储，DMS系统包括可配置算法，以决定文档将被放置在N个存储器中，从而在所有存储中均匀地分配文档。
本发明有益的积极效果在于：
区别于常规技术，本发明能够提供预测性、反应性和主动性信息系统的安排，通过CSD算法与高斯函数形成复合式算法程序，使得DMS系统能够快速处理大数据，实现文档信息高效率管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
图1展示了一种基于大数据和互联网的信息管理方法流程图；
图2展示了DMS系统中存储文档的详细流程图；
图3展示了DMS系统中检索文档的详细流程图；
图4展示了DMS系统结构图；
图5展示了DMS系统中存储文档的说明性层次结构；
图6展示了两种信息处理算法的效率对比图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明；
如图1所示，一种基于大数据和互联网的信息管理方法，步骤包括：
（S1）在文档管理服务（Document Management Service，DMS）系统中创建的电子文档，授权用户请求发起用户在互联网中传输文档；
在具体实施例中，本发明是在个人计算机上运行的访问DMS系统的web浏览器的上下文中描述的，但是可以使用其他设备和软件。通常，任何能够与DMS系统通信并显示网页的软件都可以用于访问DMS系统。此外，如本文所使用的，术语“网络浏览器”包括先前已知的浏览软件以及“小应用程序”，例如Java小应用程序，它们可以从DMS系统下载，并在网络浏览器的上下文中临时执行。
（S2）DMS系统选择性地过滤文档并将文档上传并存储在互联网商店中；
在具体实施例中，基于Internet商店、数据库和连接到基于Internet商店和数据库的服务器；使用Internet协议接受从第一用户计算机到服务器的连接；使用Internet协议从所述第一用户计算机向所述服务器接收上传的电子文档；在所述数据库的文档表中生成记录以存储关于所述电子文档的信息；在所述数据库的交易表中生成记录，以存储关于在所述电子文档上执行的交易的信息；通过对所述文档应用压缩、解压缩、加密、解密、翻译和格式化中的一个或多个来过滤所述电子文档；将所述电子文档存储在所述基于Internet的商店中，使用Internet协议接受从第二用户计算机到所述服务器的连接；以及向所述第二用户计算机提供由所述数据库支持的多个文档管理服务；其中，所述交易表存储关于由多个用户在所述电子文档上执行的交易的信息。
（S3）DMS系统创建用户会话和文档检索，并向发起用户和授权用户发出交易通知消息；
在具体实施例中，通知服务器可以包括在中心计算机上或在连接到中心计算机的一个或多个单独的计算机上运行的软件，例如通过语音消息、电子邮件、寻呼机等向DMS系统的用户发送关于存储在DMS系统中的文档的状态的通知。公钥基础设施（Public KeyInfrastructure，PKI）服务器也可以包括在中心计算机上或在连接到中心计算机的一个或多个单独计算机上运行的软件，向DMS系统的用户提供数字证书。用户可以使用数字证书对文档进行数字签名，以实现不可抵赖性。
（S4）DMS系统采用CSD算法对文档进行归类管理。
在具体实施例中，Hbase数据库包括多个子数据库，用于维护存储在Hbase数据库中的文档信息。其中的每一个又可以由多个表组成。其中，文档信息表具有用于多个文档相关参数的条目，包括：关于文档的父文档组的信息；关于文档实例的信息，关于用于检索文档实例的传输方法的信息，以及关于文档优先级的信息；到期信息：文档实例从“活动”状态更改为“存档”状态的日期和时间；文档实例的工作流信息、安全信息；文档权限和文档组权限。账户信息表具有与注册访问和使用DMS系统的用户相关的信息条目，包括：服务提供商标识；每个服务提供商的定价计划，以及诸如用户信用卡号和计费格式（例如，每月）的计费信息；每个服务提供商的可选定制URL；每个服务提供商的标识，用于定制用户界面；以便服务提供商可以定制服务提供商和用户之间的许可协议。管理信息表具有使得注册用户能够查看和跟踪用户帐户的活动的条目，包括：关于系统管理员权限的信息、关于日志错误的信息、记录事务的信息以及国家和语言信息。通知信息表维护生成通知消息所需的信息，并包括以下条目：通知传输类型，即电子邮件、传真、语音或寻呼机；关于通知状态的信息，即未决、已发送、失败、收件人的通知标识和优先级信息；并且可选地包括预定的交付日期/时间。交易信息表记录与DMS系统上发生的每个交易有关的数据，包括：不同交易类型的识别；每笔交易的状态信息；以及每个交易类型的计费信息。安全信息表包括用于安全相关参数的条目，例如：证书颁发机构的名称，即颁发数字证书的可信第三方组织（用于安全目的的电子消息的附件）；不同类型的数字证书信息、授权用户证书信息和公证信息。
在具体实施例中，发起用户现在可以将一个或多个电子文档和与这些文档的授权用户有关的信息上传并存储到DMS系统，优选地在步骤100使用安全因特网协议，例如安全套接字层。发起用户可以在上传到DMS系统之前“打包”文档，加密例程，或通过使用客户端计算机上可用的应用程序添加数字签名。作为文档上传和存储期间的过滤过程的一部分，DMS系统可以自动执行这种“打包”。 在采用加密过滤功能的情况下，可以使用具有唯一会话密钥的对称算法对文档进行加密。当然可以理解，可以使用任何对称密码来加密文件。会话密钥可以使用关于文件的唯一信息（例如，文档实例ID、用户ID、日期/时间信息）和可选地由用户提供的会话特定信息来生成。在发起用户提供信息（例如密码或代码）的情况下，试图检索文件的授权用户必须提供相同的信息，以允许DMS系统重新生成会话密钥。根据文档的包装类型和存储加密类型，设置文档实例加密类型。
在具体实施例中，如图2所示，DMS系统将文档上传并存储在互联网商店中，发起用户可以指定文档的授权用户，以及要授予这些授权用户的访问权限。可以使用公共标识符（例如，用户ID、证书或通知地址）来识别授权用户。授权用户的列表可以包括尚未注册DMS系统提供的服务的用户，授权这些未注册用户具有关于文档的选定权限。例如，仅允许授权用户查看文档，但不允许编辑文档。此外，授权用户可以仅在有限的时间段内被授权访问文档。授权用户的权利也可以由所选择的服务暗示。其中，包括关于文档本身的信息的元数据也被上传并存储在DMS数据库的文档表中；主题消息文件的到期日期/时间；通知调度、确认通知；密码保护标志、访问控制；以及过滤请求标志。文档和所有相关数据通过诸如SSL/HTTP和SSL/FTP的安全标准协议上传并存储到DMS系统，分为四种情况：
（1）发起用户基于IP通信协议将文档上传到DMS系统，没有待授权用户需要确认，则DMS系统选择性地过滤文档，文档存储在Hbase数据库中，同时通知消息已返回给发起用户；
（2）发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户已注册，则用户在DMS系统中获得授权，授权用户可以在互联网地址上发送通知消息；
（3）发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中可用，DMS系统被要求访问授权文件，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知；
（4）发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中不可用，生成唯一编号，访问授权文档时需要该编号，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知。
在具体实施例中，创建文档组以逻辑上包含要交付的文档；为每个文档创建文档对象和文档实例；为发起人和授权用户创建文档组权限、文档实例权限和文档对象权限。例如，对于上传到DMS系统的文档，发起用户可以拥有所有者权限、检索权限、查看权限和撤销先前指定的授权用户访问权限的权限，而授权用户可以拥有查看和检索权限。
在具体实施例中，如图3所示，所述DMS系统创建用户会话和文档检索，文档检索包括四种方式案例：
案例A：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，注册授权用户并在DMS URL提交凭证，授权用户从DMS存储检索文档，将所有文档都记录在交易日志中；
案例B：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务所需的预注册授权用户介绍号码，预注册授权用户提交介绍编号，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例C：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务不需要预注册的授权用户介绍号码，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例D：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务具有可信凭证的预注册授权用户，预注册的授权用户提交可信凭证，授权用户从DMS存储检索文档，所有文档都记录在交易日志中。
在具体实施例中，复合辛普森数字（Composite Simpson digital，CSD）算法在传统公式的基础上增加多个比对函数，将台区信息与数字化台区运行数据进行比对，在比对过程中与高斯函数形成复合式算法程序，使比对结果更为准确，体现出台区数字化转型的必要性。所述DMS系统采用CSD算法对文档进行归类管理，CSD算法步骤包括：
步骤一：CSD算法与高斯函数形成复合式算法程序，假设文档类型为台区供电大数据和数字化台区供电大数据，涉及台区转型数字化台区问题；将台区供电大数据与数字化台区供电大数据的参数特征进行比对，在比对过程中首先对CSD算法误差进行控制，通过程序运行时间和变量变化规律进行误差预测，如公式（1）所示：
Figure 126382DEST_PATH_IMAGE001
（1）
式（1）中，E表示台区供电大数据与数字化台区供电大数据的比对预测误差，台区供电大数据的比对预测误差通常为电流、电压和功率参数的差值。I表示台区连通电流，λ表示台区运行周期的参数，i q 表示转型前台区运行周期内的电流，i s 表示转型后台区运行周期内的电流，n表示台区总转型设备量，T表示台区运行周期，t表示台区运行时间。台区运行时间和周期属性可以根据年月周日形成一个层次，地区属性也可以形成街道－区－市这样的层次为了实现快速分析，可以预先计算出不同粒度的统计结果例如，如果预先计算了按照周和区为单位某台区的电流大数据，就可以快速、方便地分析展示各区按照周的顺序的台区电流大数据的变化情况，这种采用预先计算的方法可以获得快速联机分析的性能。
步骤二：在传统台区转型为数字化台区之后，台区供给电站和设备电流发生变化，对数字化台区设备参数进行计算，如公式（2）所示：
Figure 33158DEST_PATH_IMAGE002
（2）
式（2）中，u表示数字式台区电站电压，γ表示台区数字化转型系数；在数字式台区运行周期内，将台区数据按照梯形方式将高斯函数与辛普森公式进行复合，得到台区数字化比对函数，如公式（3）所示：
Figure 929743DEST_PATH_IMAGE003
（3）
式（3）中，x表示台区转型产生的台区供电大数据，G q 表示转型前台区供电大数据，G s 表示转型后台区供电大数据，G r 表示两种台区数据处理方式的差异；台区转型产生的台区供电大数据通常采用电压参数进行比对，通过用电信息采集系统中的变压器出口电压与低电压用户对比，分析台区出口电压与低电压用户数的关系，找出低电压时间段，排除由于变压器出口电压低产生的低电压数据，分析后提出整改转型台区的意见。
步骤三：将台区转型前后的数据差异转换为函数形式，则在转型过程中的变量归类如公式（4）所示：
Figure 605575DEST_PATH_IMAGE004
（4）
式（4）中，x’表示转型过程中产生的台区供电大数据差异，具体为台区供电电压输出至，a表示转型台区设备变化，具体为转型台区设备的输电电压值变化，b表示运行过程变量，转型台区设备的采样电压方式发生变化，m表示转型台区设备运营差异系数，具体为转型台区设备的经济成本系数；转型前后差异变量通过复化梯形的方式进行总结，经过罗氏线圈规划为算法输出函数，根据变量对实际变量的影响程度，最终比对结果如公式（5）所示：
Figure 187866DEST_PATH_IMAGE008
（5）
式（5）中，Y表示转型前后台区供电大数据比对结果，具体为转型前后台区供电电压值得变化结果。从电网系统中提取的变压器、低压用户坐标，数据图形未进行治理，点位扎堆，与现场不符。从用电信息采集系统中提取台区、用户电压数据，后段时间的电压数据丢失。以上台区数据质量均不符合要求，无法准确地对台区进行分析，需要对台区数据进行治理，分析后下达数据治理任务，并形成数据质量报告。
步骤四：将转型前后台区供电大数据比对结果写入算法程序，CSD算法的累加效果统计如公式（6）所示：
Figure 565626DEST_PATH_IMAGE009
（6）
式（6）中，G(x)表示CSD算法统计的转型前后台区供电大数据变化量，根据转型前后台区实际运行状态，为台区数字式转型提供数据支撑，进而达到DMS系统对文档或台区供电大数据进行归类管理目的。
在具体实施例中，如图4所示，DMS系统包括第一用户计算机、第二用户计算机、Internet、中心计算机、公钥基础设施服务器、通知服务器、随机存取存储器和Hbase数据库。其中，第一用户计算机用于建立到Internet上连接的发起用户设备；第二用户计算机用于建立到Internet上连接的授权用户设备；Internet用于实现互联网上的信息交互的网络架构；中心计算机用于控制与处理互联网上的文档；公钥基础设施服务器用于对互联网上的文档通过AES加密算法进行密钥加密；通知服务器用于通过Internet向发起用户与授权用户输出通知消息；随机存取存储器用于中心计算机的操作程序临时数据存储介质；Hbase数据库用于分布式存储互联网上的文档。Internet与第一用户计算机、第二用户计算机和中心计算机双向连接，中心计算机与公钥基础设施服务器、通知服务器、随机存取存储器和Hbase数据库双向连接。
在具体实施例中，如图5所示，所述Hbase数据库分布式存储互联网上的文档过程：DMS系统的每个用户优选地访问一个或多个文档组，其中每个文档组包括文档对象和的集合。一个文档可能属于一个、多个或没有文档组。每个文档组具有用于定义文档类型的名称、描述和服务定义类型。文档组可以有一个或多个父文档组。文档组优选地具有可扩展属性类型。文档对象表示文档的通用高级描述，并由文档名称组成。文档对象也可能具有可扩展的属性类型。文档实例AA、AB和AC对应于文档的特定实例，并且每个实例包括关于文档的细节、对文档的引用、文档状态、描述、大小、优先级、加密类型和到期日期。默认文档状态为“挂起”、“活动”、“已存档”和“已删除”。文档状态可通过服务扩展。文档状态日志用于跟踪文档实例何时改变了状态，如下所述。
在具体实施例中，DMS系统还优选地支持文档的多个版本，例如版本1和2。文档版本对象用于数据库的文档信息表中，并用于维护给定文档的文档实例之间的版本关系。每个文档版本实例AA和AB包括对父文档实例和子文档实例的引用、版本名称和唯一版本ID。首次在DMS系统上存储新文档时，在DMS数据库中创建文档记录。当新文档或现有文档的新版本存储到DMS系统时，创建文档实例记录。文档组记录可以在同时存储文档的逻辑集合时创建，并且需要维护文档之间的关系。此外，根据文档发起者提交的授权信息，将为文档创建新的文档权限、文档组权限和文档实例权限。文档存储记录引用文档实例和存储，并包括文档存储位置的唯一键/名称。
在具体实施例中，存储在DMS系统中的文档由文档状态过程监控，该文档状态过程基于文档实例的当前状态、活动日期/时间和到期日期/时间自动修改文档实例的状态。文档实例的状态包括“挂起”、“活动”、“已存档”、“已取消”和“已删除”。文档实例中的每个默认状态更改都会记录到DMS数据库中，并可能导致例如计费事务。具有“挂起状态”的文档实例具有一个活动日期/时间，该日期/时间指定了文档实例状态应更改为“活动”的时间。“挂起”文档不可供任何人使用，发起者除外。标记为“存档”的文档实例仅可由发起人访问。这些文档的状态更改为“在预定时间后删除。此时，对应于文档实例的物理文件将从存储中删除/删除，相应的文档存储记录将被删除。标记为“已删除”的文档实例仅可用于跟踪和计费目的。只有当相应的事务操作被删除时，这些文档实例才会从DMS数据库25中删除。当授权用户（通常是发起者）强制文档在到期时间之前到期时，文档实例被标记为“取消”。然后，取消的文档实例将被视为存档文档实例。DMS系统还可以提供公证特征，其中每个文档实例由DMS系统公证。数字公证用于在给定时间对一组可识别数据进行认证。例如，一个简单的公证方案涉及使用单向哈希算法创建文档的数字指纹（或摘要），添加时间戳，然后使用私钥对结果数据进行签名。DMS系统可以被配置为通过向每个数字公证分配公证类型来支持多个公证方案。可以创建数字公证对象，其中包含对文档、文档实例、文档组、通知或交易的引用。
在具体实施例中，所述随机存取存储器包括两个硬盘驱动器、光学驱动器和RAID，并且还可以包括支持不同类型的存储介质的存储器；随机存取存储器还可以包括远程存储，DMS系统包括可配置算法，以决定文档将被放置在N个存储器中，从而在所有存储中均匀地分配文档。
在具体实施例中，为了验证本发明基于DMS系统管理大数据信息的实用性，本发明在计算机实验室搭建多联机计算机集群进行实验测试，实现中计算机系统采用工具包OpenAI Gym进行仿真，其计算机操作系统为Windows10，64位，计算机的开发工具为VisualStudio 2019，OpenCV 3.0。计算机的硬件环境为CPU：Inter（R）Core（TM）i7；主频为2.59GHz；内存16G。此外，本发明以现有技术中采用基于深度学习的大数据管理系统作为参照，针对识别300~2100不同数量的互联网商店图像码，并测试本发明DMS系统与基于深度学习的大数据管理系统所消耗的时间，如表1所示：
表1两种系统处理时间结果
Figure 993196DEST_PATH_IMAGE011
根据表1中的实验结果，通过软件仿真得出两种系统的信息处理时间对比图如图6所示，从图6中不难看出，本发明所采用的DMS系统能够显著的提高计算与处理互联网大数据信息的效率，相比于基于基于深度学习的大数据管理系统，本发明设计的DMS系统平均能够提高20%的处理效率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变；例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围；因此，本发明的范围仅由所附权利要求书限定。

Claims (7)

1.一种基于大数据和互联网的信息管理方法，其特征在于：步骤包括：
S1.在DMS系统中创建的电子文档，授权用户请求发起用户在互联网中传输文档；
S2.DMS系统选择性地过滤文档并将文档上传并存储在互联网商店中；
S3.DMS系统创建用户会话和文档检索，并向发起用户和授权用户发出交易通知消息；
S4.DMS系统采用CSD算法对文档进行归类管理；其中DMS系统为文档管理服务(Document Management Service)系统，CSD算法为复合辛普森数字(Composite Simpsondigital)算法；
CSD算法步骤包括：
步骤一：CSD算法与高斯函数形成复合式算法程序，假设文档类型为台区供电大数据和数字化台区供电大数据，涉及台区转型数字化台区问题；将台区供电大数据与数字化台区供电大数据的参数特征进行比对，在比对过程中首先对CSD算法误差进行控制，通过程序运行时间和变量变化规律进行误差预测，如公式(1)所示：
Figure FDA0003971415650000011
式(1)中，E表示台区供电大数据与数字化台区供电大数据的比对预测误差，I表示台区连通电流，λ表示台区运行周期的参数，iq表示转型前台区运行周期内的电流，is表示转型后台区运行周期内的电流，n表示台区总转型设备量，T表示台区运行周期，t表示台区运行时间；
步骤二：在传统台区转型为数字化台区之后，台区供给电站和设备电流发生变化，对数字化台区设备参数进行计算，如公式(2)所示：
Figure FDA0003971415650000021
式(2)中，u表示数字式台区电站电压，γ表示台区数字化转型系数；在数字式台区运行周期内，将台区数据按照梯形方式将高斯函数与辛普森公式进行复合，得到台区数字化比对函数，如公式(3)所示：
Figure FDA0003971415650000022
式(3)中，x表示台区转型产生的台区供电大数据，Gq表示转型前台区供电大数据，Gs表示转型后台区供电大数据，Gr表示两种台区数据处理方式的差异；
步骤三：将台区转型前后的数据差异转换为函数形式，则在转型过程中的变量归类如公式(4)所示：
Figure FDA0003971415650000023
式(4)中，x’表示转型过程中产生的台区供电大数据差异，a表示转型台区设备变化，b表示运行过程变量，m表示转型台区设备运营差异系数；转型前后差异变量通过复化梯形的方式进行总结，经过罗氏线圈规划为算法输出函数，根据变量对实际变量的影响程度，最终比对结果如公式(5)所示：
Figure FDA0003971415650000031
式(5)中，Y表示转型前后台区供电大数据比对结果；
步骤四：将转型前后台区供电大数据比对结果写入算法程序，CSD算法的累加效果统计如公式(6)所示：
Figure FDA0003971415650000032
式(6)中，G(x)表示CSD算法统计的转型前后台区供电大数据变化量，根据转型前后台区实际运行状态，为台区数字式转型提供数据支撑，进而达到DMS系统对文档或台区供电大数据进行归类管理目的。
2.根据权利要求1所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述DMS系统将文档上传并存储在互联网商店中，包括四种大数据流动情况：
第一种：发起用户基于IP通信协议将文档上传到DMS系统，没有待授权用户需要确认，则DMS系统选择性地过滤文档，文档存储在Hbase数据库中，同时通知消息已返回给发起用户；
第二种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户已注册，则用户在DMS系统中获得授权，授权用户在互联网地址上发送通知消息；
第三种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中可用，DMS系统被要求访问授权文件，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知；
第四种：发起用户基于IP通信协议将文档上传到DMS系统，有待授权用户需要确认且用户没有注册，则用户已通过DMS系统使用临时凭证进行预注册，用户凭证在受信任的目录中不可用，生成唯一编号，访问授权文档时需要该编号，预注册用户在DMS授权系统中获得相应权限的授权，预注册用户将收到交易消息通知。
3.根据权利要求1所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述DMS系统创建用户会话和文档检索，文档检索包括四种方式案例：
案例A：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，注册授权用户并在DMS URL提交凭证，授权用户从DMS存储检索文档，将所有文档都记录在交易日志中；
案例B：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务所需的预注册授权用户介绍号码，预注册授权用户提交介绍编号，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例C：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务不需要预注册的授权用户介绍号码，授权用户从DMS存储检索文档，所有文档都记录在交易日志中；
案例D：授权用户收到DMS系统的通知消息，授权用户访问DMS URL以检索文档，服务具有可信凭证的预注册授权用户，预注册的授权用户提交可信凭证，授权用户从DMS存储检索文档，所有文档都记录在交易日志中。
4.根据权利要求1所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述DMS系统还提供定制功能，其中向用户呈现与使用DMS系统的N个服务提供商之一相对应的公司信息。
5.根据权利要求1所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述DMS系统包括：
第一用户计算机，用于建立到Internet上连接的发起用户设备；
第二用户计算机，用于建立到Internet上连接的授权用户设备；
Internet，用于实现互联网上的信息交互的网络架构；
中心计算机，用于控制与处理互联网上的文档；
公钥基础设施服务器，用于对互联网上的文档通过AES加密算法进行密钥加密；
通知服务器，用于通过Internet向发起用户与授权用户输出通知消息；
随机存取存储器，用于中心计算机的操作程序临时数据存储介质；
Hbase数据库，用于分布式存储互联网上的文档；
其中，Internet与第一用户计算机、第二用户计算机和中心计算机双向连接，中心计算机与公钥基础设施服务器、通知服务器、随机存取存储器和Hbase数据库双向连接。
6.根据权利要求5所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述Hbase数据库分布式存储互联网上的文档过程：首先构建一个文档组，文档组包括文档对象A和文档对象B的集合；Hbase数据库通过文档实例分类得到文档对象A的集合包括文档实例AA、文档实例AB和文档实例AC；每个文档实例由DMS系统公证，通过添加时间戳及使用私钥对文档实例进行签名，对于文档版本对象1和文档版本对象2，对文档的引用、文档状态、描述、大小、优先级、加密类型和到期日期进行对应，进而分布式存储在Hbase数据库中。
7.根据权利要求5所述的一种基于大数据和互联网的信息管理方法，其特征在于：所述随机存取存储器包括两个硬盘驱动器、光学驱动器和RAID，并且还包括支持不同类型的存储介质的存储器；随机存取存储器还包括远程存储，DMS系统包括可配置算法，以决定文档将被放置在N个存储器中，从而在所有存储中均匀地分配文档。
CN202211256511.0A 2022-10-14 2022-10-14 一种基于大数据和互联网的信息管理方法 Active CN115328988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211256511.0A CN115328988B (zh) 2022-10-14 2022-10-14 一种基于大数据和互联网的信息管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211256511.0A CN115328988B (zh) 2022-10-14 2022-10-14 一种基于大数据和互联网的信息管理方法

Publications (2)

Publication Number Publication Date
CN115328988A CN115328988A (zh) 2022-11-11
CN115328988B true CN115328988B (zh) 2023-01-24

Family

ID=83914164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211256511.0A Active CN115328988B (zh) 2022-10-14 2022-10-14 一种基于大数据和互联网的信息管理方法

Country Status (1)

Country Link
CN (1) CN115328988B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314425B1 (en) * 1999-04-07 2001-11-06 Critical Path, Inc. Apparatus and methods for use of access tokens in an internet document management system
US7023979B1 (en) * 2002-03-07 2006-04-04 Wai Wu Telephony control system with intelligent call routing
CN109145176A (zh) * 2018-07-27 2019-01-04 四川曜诚鑫科技有限公司 电子文档管理系统
US10693872B1 (en) * 2019-05-17 2020-06-23 Q5ID, Inc. Identity verification system
WO2021240707A1 (ja) * 2020-05-28 2021-12-02 日本電気株式会社 データ分類システム、データ分類方法および記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916933B2 (en) * 2007-01-18 2011-03-29 Northrop Grumman Systems Corporation Automatic target recognition system for detection and classification of objects in water
CN103605705A (zh) * 2013-11-11 2014-02-26 国家电网公司 一种变电站scd配置文件的管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314425B1 (en) * 1999-04-07 2001-11-06 Critical Path, Inc. Apparatus and methods for use of access tokens in an internet document management system
US7023979B1 (en) * 2002-03-07 2006-04-04 Wai Wu Telephony control system with intelligent call routing
CN109145176A (zh) * 2018-07-27 2019-01-04 四川曜诚鑫科技有限公司 电子文档管理系统
US10693872B1 (en) * 2019-05-17 2020-06-23 Q5ID, Inc. Identity verification system
WO2021240707A1 (ja) * 2020-05-28 2021-12-02 日本電気株式会社 データ分類システム、データ分類方法および記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Classification Stable Analysis Pattern;M.E. Fayad等;《 2007 IEEE International Conference on Information Reuse and Integration》;20070904;全文 *
基于图像分类的无载体信息隐藏方法;吴建斌等;《湖南大学学报(自然科学版)》;20191231(第12期);全文 *

Also Published As

Publication number Publication date
CN115328988A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US10564936B2 (en) Data processing systems for identity validation of data subject access requests and related methods
Gao et al. CoC: A unified distributed ledger based supply chain management system
Thwin et al. Blockchain‐based access control model to preserve privacy for personal health record systems
US10430740B2 (en) Data processing systems for calculating and communicating cost of fulfilling data subject access requests and related methods
US20220156706A1 (en) File vault and cloud based document notary service
US6584466B1 (en) Internet document management system and methods
CN105357201A (zh) 一种对象云存储访问控制方法和系统
US20110208631A1 (en) System and method for mortgage application recording
US10776517B2 (en) Data processing systems for calculating and communicating cost of fulfilling data subject access requests and related methods
CN115004625A (zh) 用于区块链分类账的索引结构
CN109284426B (zh) 一种基于权限等级的多数据文档分类系统
Abadi et al. Anylog: a grand unification of the internet of things
CN111291394A (zh) 一种虚假信息管理方法、装置和存储介质
CN115766795A (zh) 一种基于区块链的可信电子文件平台的智能服务方法
CN116090000A (zh) 文件安全管理方法、系统、设备、介质和程序产品
He et al. DIV-SC: A data integrity verification scheme for centralized database using smart contract
CN113011960A (zh) 基于区块链的数据访问方法、装置、介质及电子设备
TW583539B (en) Internet-based document management system and method of providing Internet-based document management
CN115328988B (zh) 一种基于大数据和互联网的信息管理方法
Bergers et al. Dwh-dim: a blockchain based decentralized integrity verification model for data warehouses
CN111682934B (zh) 一种综合能源计量数据的存储、访问、共享方法及系统
Wang et al. Distributed Electronic Data Storage and Proof System Based on Blockchain
Dokic et al. Portal for the management of digitally signed electronic documents
Kumar et al. [Retracted] Data Verification of Logical Pk‐Anonymization with Big Data Application and Key Generation in Cloud Computing
TWI829215B (zh) 可檢核取用訊標的移轉歷史以驗證取用訊標有效性的去中心化資料授權控管系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant