CN113411398B - 一种基于大数据的文件清理写入及清理管理系统及方法 - Google Patents

一种基于大数据的文件清理写入及清理管理系统及方法 Download PDF

Info

Publication number
CN113411398B
CN113411398B CN202110678946.3A CN202110678946A CN113411398B CN 113411398 B CN113411398 B CN 113411398B CN 202110678946 A CN202110678946 A CN 202110678946A CN 113411398 B CN113411398 B CN 113411398B
Authority
CN
China
Prior art keywords
data
server
subsystem
data storage
cleaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678946.3A
Other languages
English (en)
Other versions
CN113411398A (zh
Inventor
魏延修
许复国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnidirectional Intelligent Technology Nanjing Co ltd
Original Assignee
Omnidirectional Intelligent Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnidirectional Intelligent Technology Nanjing Co ltd filed Critical Omnidirectional Intelligent Technology Nanjing Co ltd
Priority to CN202110678946.3A priority Critical patent/CN113411398B/zh
Publication of CN113411398A publication Critical patent/CN113411398A/zh
Application granted granted Critical
Publication of CN113411398B publication Critical patent/CN113411398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本发明涉及一种基于大数据的文件清理写入及清理管理系统及方法,包括基于大数据平台的数据管理服务器、中继服务器、执行服务器、数据读写操控终端、数据存储系统及通讯网关,基于大数据平台的数据管理服务器通过通讯网络与执行服务器连接,执行服务器通过通讯网络与中继服务器、数据读写操控终端、数据存储系统相互连接,中继服务器间相互并联,分别通过通讯网络与通讯网关连接。且使用方法包括系统装配,系统设置,数据读写操控作业及读写作业等四个步骤。本发明一方面系统构成简单,组网、拓展及调整运行灵活方便,通用性好;另一方面极大的提高了数据读写、清理作业的工作效率,同时有效提高了数据存储系统运行的抗故障能力和安全防护性能。

Description

一种基于大数据的文件清理写入及清理管理系统及方法
技术领域
本发明涉及一种基于大数据的文件清理写入及清理管理系统及方法,属通讯技术领域。
背景技术
目前随着网络通讯技术的飞速发展,数据系统在运行中所需要的处理的数据量也越来越大,且在数据处理时,数据写入、读取及清理作业用的操控终端与数据服务器间需要通过借助通讯网络进行远程操控,而当前的数据操控系统及操控方法往往均采用传统的数据管理操控系统和方法,虽然可以满足使用的需要,但一方面导致数据存储、读取及清理作业时数据处理工作效率低下,且数据处理操作时,易因设备故障而导致通讯系统故障、数据丢失等情况发生;另一方面数据操控作业的智能化、自动化程度低,在增加了数据处理系统运行负担,增加运行成本的同时,进一步影响了数据处理作业的效率。
因此针对这一问题,迫切需要开发一种基于大数据的文件清理写入及清理管理系统及方法,以满足实际使用的需要。
发明内容
为了解决现有技术上的不足,本发明提供一种基于大数据的文件清理写入及清理管理系统及方法,极大的提高了数据读写、清理作业的工作效率,同时有效提高了数据存储系统运行的抗故障能力和安全防护性能。
一种基于大数据的文件清理写入及清理管理系统,包括基于大数据平台的数据管理服务器、中继服务器、执行服务器、数据读写操控终端、数据存储系统及通讯网关,其中基于大数据平台的数据管理服务器通过通讯网络与执行服务器连接,执行服务器至少两个,且各执行服务器间通过通讯网关相互连接,执行服务器通过通讯网络与中继服务器、数据读写操控终端、数据存储系统相互连接,中继服务器至少一个,数据读写操控终端若干,中继服务器间相互并联,分别通过通讯网络与通讯网关连接,并通过通讯网关与各数据读写操控终端间建立数据连接,数据读写操控终端间通过通讯网关与通讯网络连接,数据存储系统包括主控数据库服务器及数据存储单元,主控数据库服务器若干,各主控数据库服务器间通过通讯网络相互连接,且每个主控数据库服务器均通过通讯网络与若干数据存储单元连接。
进一步的,所述的基于大数据平台的数据管理服务器采用分布式服务器架构、集群架构、分布式服务器架构及负载均衡架构中任意一种服务器构架结构,且所述基于大数据平台的数据管理服务器设至少两个独立运行的堆栈操作系统。
进一步的,所述的执行服务器内设基于SOA体系为基础的底层程序系统,同时中继服务器另设图像识别处理系统、图像二值化计算识别子系统、图像连通域分析计算子系统、音频视频编码解码系统、优先级计算子系统、同域信任度子系统、跨域信任度子系统、积分函数子系统、概率函数子系统、模糊函数子系统、数据检索子系统及数据缓存单元,其中所述底层程序系统分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统、数据缓存单元连接,所述图像识别处理系统分别与图像二值化计算识别子系统、图像连通域分析计算子系统连接,所述优先级计算子系统分别与同域信任度子系统、跨域信任度子系统及数据检索子系统连接,所述数据检索子系统另分别与积分函数子系统、概率函数子系统、模糊函数子系统连接,且所述音频视频编码解码系统另与优先级计算子系统和数据检索子系统连接,所述数据缓存单元分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统连接。
进一步的,所述的中继服务器采用基于ACT—R构架为基础的数据处理系统,另设CNN神经网络系统、RNN神经网络系统、ResNet残差网络系统、前馈神经网络系统、BP神经网络系统及LSTM神经网络系统,其中所述CNN神经网络系统、RNN神经网络系统并联,且CNN神经网络系统、RNN神经网络系统输入端通过BP神经网络系统与ResNet残差网络系统、前馈神经网络系统连接,所述 BP神经网络系统另与LSTM神经网络系统连接。
进一步的,所述的数据读写操控终端为PC计算机、工业计算机、激光扫描仪、监控摄像头、射频通讯装置、无线通讯装置及传感器系统中的任意一种。
进一步的,所述的数据存储系统采用分布式存储系统且各数据存储系统间相互并联。
进一步的,所述的数据存储单元包括机柜、数据存储终端、基于FPGA的主控电路、UPS备用电源、强制降温机构、导流风管及通讯网关,其中所述机柜为横断面呈矩形,且轴线与水平面垂直分布的框架结构,所述数据存储终端若干,嵌于机柜内并通过滑槽与机柜侧壁内表面滑动连接,且各数据存储终端沿机柜轴线从上向下均布,所述基于FPGA的主控电路、UPS备用电源、强制降温机构及通讯网关均位于机柜内并与机柜底部连接,其中所述基于FPGA的主控电路分别与UPS备用电源、强制降温机构、通讯网关及各数据存储终端电气连接,所述数据存储终端和基于FPGA的主控电路另与通讯网关建立数据连接,并通过通讯网关与外部的通讯网络建立数据连接,所述强制降温机构与至少一条导流风管连通,所述导流风管与机柜侧壁内表面连接,且导流风管与数据存储终端对应位置均设至少一个出风口。
一种基于大数据的文件清理写入及清理管理系统的使用方法,包括如下步骤:
S1,系统装配,首先一个基于大数据平台的数据管理服务器、中继服务器、执行服务器及数据存储系统,并使基于大数据平台的数据管理服务器、中继服务器、执行服务器及数据存储系统间建立数据连接,然后根据使用需要设置数据读写操控终端,最后由中继服务器分别采集基于大数据平台的数据管理服务器、中继服务器、执行服务器、数据读写操控终端、数据存储系统及通讯网关的硬件识别号,并根据硬件识别号为基于大数据平台的数据管理服务器、中继服务器、执行服务器、数据读写操控终端、数据存储系统及通讯网关分别分配通讯协议和通讯IP地址;即可完成系统组件;
S2,系统设置,完成S1步骤后,首先由基于大数据平台的数据管理服务器驱动中继服务器、执行服务器运行,对数据存储系统的有效存储空间进行检测统计,并获得各数据存储系统中有效数据存储空间的起始和结束地址数据,然后对各存储空间根据其起始和结束地址数据进行定义命名,并生成存储空间统计列表,然后将存储空间统计列表存储在基于大数据平台的数据管理服务器中,同时将存储空间统计列表分别在中继服务器、执行服务器中生成至少一份映射文件备用;
S3,数据读写操控作业,在S2步后,用户直接对数据读写操控终端进行操控,并由数据读写操控终端向执行服务器中发送数据写入、查阅读取及清理文件处理请求,执行服务器对接收的各用户提出的文件处理请求在执行服务器中将文件处理请求与数据读写操控终端的通讯IP地址进行汇编,得到数据处理请求列表,然后将数据处理请求列表发送至中继服务器进行初步运算处理,并将初步运算处理结果汇编至数据处理请求列表中得到数据读写请求清单,最后将数据读写请求清单发送至基于大数据平台的数据管理服务器中,由基于大数据平台的数据管理服务器根据数据读写请求清单中内容与S2步骤生成的存储空间统计列表匹配,得到数据执行命令;
S4,读写作业,将S3步骤得到的数据执行命令同时返回至中继服务器,然后由中继服务器对数据执行命令进行处理运算后再发送至执行服务器中,然后执行服务器根据数据执行命令直接对数据读写操控终端及相应的数据存储系统间建立数据连接,一方面对数据存储系统进行数据写入、查阅读取及清理作业;另一方面通过数据读写操控终端对数据存储系统中数据处理结果进行展示输出;同时,在完成数据存储系统中文件处理作业后,再次对数据存储系统数据存储空间进行检测,并将数据存储空间检测结果反馈至基于大数据平台的数据管理服务器,最后返回S2步骤由基于大数据平台的数据管理服务器对存储空间统计列表进行更新处理。
本发明将数据处理请求列表发送至中继服务器进行初步运算处理,并将初步运算处理结果汇编至数据处理请求列表中得到数据读写请求清单,最后将数据读写请求清单发送至基于大数据平台的数据管理服务器中,由基于大数据平台的数据管理服务器根据数据读写请求清单中内容与存储空间统计列表匹配,得到数据执行命令;由中继服务器对数据执行命令进行处理运算后再发送至执行服务器中,然后执行服务器根据数据执行命令直接对数据读写操控终端及相应的数据存储系统间建立数据连接,对数据存储系统进行数据写入、查阅读取及清理作业;本发明系统构成简单,组网、拓展及调整运行灵活方便,通用性好,可有效满足多种复杂环境及远距离进行数据读写清理作业的需要;本发明极大的提高了数据读写、清理作业的工作效率,同时有效提高了数据存储系统运行的抗故障能力和安全防护性能,从而极大的提高了数据操作作业的安全性和可靠性。
附图说明
下面结合附图和具体实施方式来详细说明本发明;
图1为本发明系统结构示意图;
图2为执行服务器数据处理系统结构示意图;
图3为中继服务器数据处理系统结构示意图;
图4为数据存储单元结构示意图;
图5为本发明方法流程示意图。
图中各标号:基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3、数据读写操控终端4、数据存储系统5、通讯网关6、机柜101、数据存储终端102、基于FPGA的主控电路103、UPS备用电源104、强制降温机构105、导流风管106、滑槽107、出风口108。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于施工,下面结合具体实施方式,进一步阐述本发明。
如图1所示,一种基于大数据的文件清理写入及清理管理系统,包括基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3、数据读写操控终端4、数据存储系统5及通讯网关6,其中基于大数据平台的数据管理服务器1通过通讯网络与执行服务器3连接,执行服务器3至少两个,且各执行服务器3间通过通讯网关6相互连接,执行服务器3通过通讯网络与中继服务器2、数据读写操控终端4、数据存储系统5相互连接,中继服务器2至少一个,数据读写操控终端4若干,中继服务器2间相互并联,分别通过通讯网络与通讯网关6连接,并通过通讯网关6与各数据读写操控终端4间建立数据连接,数据读写操控终端4间通过通讯网关6与通讯网络连接,数据存储系统5包括主控数据库服务器及数据存储单元,主控数据库服务器若干,各主控数据库服务器间通过通讯网络相互连接,且每个主控数据库服务器均通过通讯网络与若干数据存储单元连接。基于大数据平台的数据管理服务器1采用分布式服务器架构、集群架构、分布式服务器架构及负载均衡架构中任意一种服务器构架结构,且所述基于大数据平台的数据管理服务器1设至少两个独立运行的堆栈操作系统。
如图2所示,重点说明的,所述的执行服务器3内设基于SOA体系为基础的底层程序系统,同时中继服务器2另设图像识别处理系统、图像二值化计算识别子系统、图像连通域分析计算子系统、音频视频编码解码系统、优先级计算子系统、同域信任度子系统、跨域信任度子系统、积分函数子系统、概率函数子系统、模糊函数子系统、数据检索子系统及数据缓存单元,其中所述底层程序系统分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统、数据缓存单元连接,所述图像识别处理系统分别与图像二值化计算识别子系统、图像连通域分析计算子系统连接,所述优先级计算子系统分别与同域信任度子系统、跨域信任度子系统及数据检索子系统连接,所述数据检索子系统另分别与积分函数子系统、概率函数子系统、模糊函数子系统连接,且所述音频视频编码解码系统另与优先级计算子系统和数据检索子系统连接,所述数据缓存单元分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统连接。
与此同时,如图3所示,所述的中继服务器2采用基于ACT—R构架为基础的数据处理系统,另设CNN神经网络系统、RNN神经网络系统、ResNet残差网络系统、前馈神经网络系统、BP神经网络系统及LSTM神经网络系统,其中所述CNN神经网络系统、RNN神经网络系统并联,且CNN神经网络系统、RNN神经网络系统输入端通过BP神经网络系统与ResNet残差网络系统、前馈神经网络系统连接,所述 BP神经网络系统另与LSTM神经网络系统连接。
所述的数据读写操控终端4为PC计算机、工业计算机、激光扫描仪、监控摄像头、射频通讯装置、无线通讯装置及传感器系统中的任意一种;所述通讯网关6为互联网通讯网关及物联通通讯网关中的任意一种或两种共用。数据存储系统5采用分布式存储系统且各数据存储系统5间相互并联,且数据存储系统5位于基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3、数据读写操控终端4中任意一处或几处位置。
如图4所示,所述的数据存储单元包括机柜101、数据存储终端102、基于FPGA的主控电路103、UPS备用电源104、强制降温机构105、导流风管106及通讯网关6,其中所述机柜101为横断面呈矩形,且轴线与水平面垂直分布的框架结构,所述数据存储终端102若干,嵌于机柜101内并通过滑槽107与机柜101侧壁内表面滑动连接,且各数据存储终端102沿机柜101轴线从上向下均布,所述基于FPGA的主控电路103、UPS备用电源104、强制降温机构105及通讯网关6均位于机柜101内并与机柜101底部连接,其中所述基于FPGA的主控电路103分别与UPS备用电源104、强制降温机构105、通讯网关6及各数据存储终端102电气连接,所述数据存储终端102和基于FPGA的主控电路103另与通讯网关6建立数据连接,并通过通讯网关6与外部的通讯网络建立数据连接,所述强制降温机构105与至少一条导流风管106连通,所述导流风管106与机柜101侧壁内表面连接,且导流风管106与数据存储终端102对应位置均设至少一个出风口108。
进一步优化的,所述强制降温机构105为冷风机、压缩机制冷系统及半导体制冷系统中的任意一种。
如图5所示,一种基于大数据的文件清理写入及清理管理系统的使用方法,包括如下步骤:
S1,系统装配,首先一个基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3及数据存储系统5,并使基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3及数据存储系统5间建立数据连接,然后根据使用需要设置数据读写操控终端4,最后由中继服务器2分别采集基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3、数据读写操控终端4、数据存储系统5及通讯网关6的硬件识别号,并根据硬件识别号为基于大数据平台的数据管理服务器1、中继服务器2、执行服务器3、数据读写操控终端4、数据存储系统5及通讯网关6分别分配通讯协议和通讯IP地址;即可完成系统组件;
S2,系统设置,完成S1步骤后,首先由基于大数据平台的数据管理服务器1驱动中继服务器2、执行服务器3运行,对数据存储系统5的有效存储空间进行检测统计,并获得各数据存储系统5中有效数据存储空间的起始和结束地址数据,然后对各存储空间根据其起始和结束地址数据进行定义命名,并生成存储空间统计列表,然后将存储空间统计列表存储在基于大数据平台的数据管理服务器1中,同时将存储空间统计列表分别在中继服务器2、执行服务器3中生成至少一份映射文件备用;
S3,数据读写操控作业,在S2步后,用户直接对数据读写操控终端4进行操控,并由数据读写操控终端4向执行服务器3中发送数据写入、查阅读取及清理文件处理请求,执行服务器3对接收的各用户提出的文件处理请求在执行服务器3中将文件处理请求与数据读写操控终端4的通讯IP地址进行汇编,得到数据处理请求列表,然后将数据处理请求列表发送至中继服务器2进行初步运算处理,并将初步运算处理结果汇编至数据处理请求列表中得到数据读写请求清单,最后将数据读写请求清单发送至基于大数据平台的数据管理服务器1中,由基于大数据平台的数据管理服务器1根据数据读写请求清单中内容与S2步骤生成的存储空间统计列表匹配,得到数据执行命令;
S4,读写作业,将S3步骤得到的数据执行命令同时返回至中继服务器2,然后由中继服务器2对数据执行命令进行处理运算后再发送至执行服务器3中,然后执行服务器3根据数据执行命令直接对数据读写操控终端4及相应的数据存储系统5间建立数据连接,一方面对数据存储系统5进行数据写入、查阅读取及清理作业;另一方面通过数据读写操控终端4对数据存储系统5中数据处理结果进行展示输出;同时,在完成数据存储系统5中文件处理作业后,再次对数据存储系统5数据存储空间进行检测,并将数据存储空间检测结果反馈至基于大数据平台的数据管理服务器1,最后返回S2步骤由基于大数据平台的数据管理服务器1对存储空间统计列表进行更新处理。
此外,在进行对数据存储空间进行检测作业时,在对各存储空间根据其起始和结束地址数据进行统计确认的同时,一方面对各存储空间内的文件进行识别,并将文件信息同步保存在存储空间统计列表内;另一方面通过中继服务器、执行服务器对各存储空间内存储数据进行判断识别,并对系统运行中产生的碎片文件的存储空间进行整理,避免碎片文件将存储空间隔断;同时另对系统运行中的缓存文件、垃圾文件进行清理删除作业。
需要说明的,执行服务器可实现对数据类型进行识别、数据编码解码作业、及数据统计计算作业;中继服务器在运行中,实现对接收的数据类型进行分析运行,形成特定数据、数据存储空间及操控命令间的数据处理逻辑,并在后续文件处理中参考相应的数据处理逻辑执行,提高数据处理效率。
同时在运行中,通过多个分布式分布的数据存储系统及数据存储系统自备的UPS电源,有效实现数据备份的同时,另可防止因系统断电而造成的设备故障,从而提高数据处理的可靠性和稳定性。
本发明一方面系统构成简单,组网、拓展及调整运行灵活方便,通用性好,可有效满足多种复杂环境及远距离进行数据读写清理作业的需要;另一方面极大的提高了数据读写、清理作业的工作效率,同时有效提高了数据存储系统运行的抗故障能力和安全防护性能,从而极大的提高了数据操作作业的安全性和可靠性。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于大数据的文件清理写入及清理管理系统的使用方法,基于大数据的文件清理写入及清理管理系统包括基于大数据平台的数据管理服务器(1)、中继服务器(2)、执行服务器(3)、数据读写操控终端(4)、数据存储系统(5)及通讯网关(6),其中所述基于大数据平台的数据管理服务器(1)通过通讯网络与执行服务器(3)连接,所述执行服务器(3)至少两个,且各执行服务器(3)间通过通讯网关(6)相互连接,所述执行服务器(3)通过通讯网络与中继服务器(2)、数据读写操控终端(4)、数据存储系统(5)相互连接,其中所述中继服务器(2)至少一个,数据读写操控终端(4)若干,且所述中继服务器(2)间相互并联,并分别通过通讯网络与通讯网关(6)连接,并通过通讯网关(6)与各数据读写操控终端(4)间建立数据连接,所述数据读写操控终端(4)间通过通讯网关(6)与通讯网络连接,所述数据存储系统(5)包括主控数据库服务器及数据存储单元,其中所述主控数据库服务器若干,各主控数据库服务器间通过通讯网络相互连接,且每个主控数据库服务器均通过通讯网络与若干数据存储单元连接;
其特征在于,所述的基于大数据的文件清理写入及清理管理系统的使用方法包括如下步骤:
S1,系统装配,首先一个基于大数据平台的数据管理服务器(1)、中继服务器(2)、执行服务器(3)及数据存储系统(5),并使基于大数据平台的数据管理服务器(1)、中继服务器(2)、执行服务器(3)及数据存储系统(5)间建立数据连接,然后根据使用需要设置数据读写操控终端(4),最后由中继服务器(2)分别采集基于大数据平台的数据管理服务器(1)、中继服务器(2)、执行服务器(3)、数据读写操控终端(4)、数据存储系统(5)及通讯网关(6)的硬件识别号,并根据硬件识别号为基于大数据平台的数据管理服务器(1)、中继服务器(2)、执行服务器(3)、数据读写操控终端(4)、数据存储系统(5)及通讯网关(6)分别分配通讯协议和通讯IP地址;即可完成系统组件;
S2,系统设置,完成S1步骤后,首先由基于大数据平台的数据管理服务器(1)驱动中继服务器(2)、执行服务器(3)运行,对数据存储系统(5)的有效存储空间进行检测统计,并获得各数据存储系统(5)中有效数据存储空间的起始和结束地址数据,然后对各存储空间根据其起始和结束地址数据进行定义命名,并生成存储空间统计列表,然后将存储空间统计列表存储在基于大数据平台的数据管理服务器(1)中,同时将存储空间统计列表分别在中继服务器(2)、执行服务器(3)中生成至少一份映射文件备用;
S3,数据读写操控作业,在S2步后,用户直接对数据读写操控终端(4)进行操控,并由数据读写操控终端(4)向执行服务器(3)中发送数据写入、查阅读取及清理文件处理请求,执行服务器(3)对接收的各用户提出的文件处理请求在执行服务器(3)中将文件处理请求与数据读写操控终端(4)的通讯IP地址进行汇编,得到数据处理请求列表,然后将数据处理请求列表发送至中继服务器(2)进行初步运算处理,并将初步运算处理结果汇编至数据处理请求列表中得到数据读写请求清单,最后将数据读写请求清单发送至基于大数据平台的数据管理服务器(1)中,由基于大数据平台的数据管理服务器(1)根据数据读写请求清单中内容与S2步骤生成的存储空间统计列表匹配,得到数据执行命令;
S4,读写作业,将S3步骤得到的数据执行命令同时返回至中继服务器(2),然后由中继服务器(2)对数据执行命令进行处理运算后再发送至执行服务器(3)中,然后执行服务器(3)根据数据执行命令直接对数据读写操控终端(4)及相应的数据存储系统(5)间建立数据连接,一方面对数据存储系统(5)进行数据写入、查阅读取及清理作业;另一方面通过数据读写操控终端(4)对数据存储系统(5)中数据处理结果进行展示输出;同时,在完成数据存储系统(5)中文件处理作业后,再次对数据存储系统(5)数据存储空间进行检测,并将数据存储空间检测结果反馈至基于大数据平台的数据管理服务器(1),最后返回S2步骤由基于大数据平台的数据管理服务器(1)对存储空间统计列表进行更新处理。
2.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的基于大数据平台的数据管理服务器(1)采用分布式服务器架构、集群架构、分布式服务器架构及负载均衡架构中任意一种服务器构架结构,且所述基于大数据平台的数据管理服务器(1)设至少两个独立运行的堆栈操作系统。
3.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的执行服务器(3)内设基于SOA体系为基础的底层程序系统,同时中继服务器(2)另设图像识别处理系统、图像二值化计算识别子系统、图像连通域分析计算子系统、音频视频编码解码系统、优先级计算子系统、同域信任度子系统、跨域信任度子系统、积分函数子系统、概率函数子系统、模糊函数子系统、数据检索子系统及数据缓存单元,其中所述底层程序系统分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统、数据缓存单元连接,所述图像识别处理系统分别与图像二值化计算识别子系统、图像连通域分析计算子系统连接,所述优先级计算子系统分别与同域信任度子系统、跨域信任度子系统及数据检索子系统连接,所述数据检索子系统另分别与积分函数子系统、概率函数子系统、模糊函数子系统连接,且所述音频视频编码解码系统另与优先级计算子系统和数据检索子系统连接,所述数据缓存单元分别与图像识别处理系统、音频视频编码解码系统、优先级计算子系统、数据检索子系统连接。
4.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的中继服务器(2)采用基于ACT—R构架为基础的数据处理系统,另设CNN神经网络系统、RNN神经网络系统、ResNet残差网络系统、前馈神经网络系统、BP神经网络系统及LSTM神经网络系统,其中所述CNN神经网络系统、RNN神经网络系统并联,且CNN神经网络系统、RNN神经网络系统输入端通过BP神经网络系统与ResNet残差网络系统、前馈神经网络系统连接,所述 BP神经网络系统另与LSTM神经网络系统连接。
5.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的数据读写操控终端(4)为PC计算机、工业计算机、激光扫描仪、监控摄像头、射频通讯装置、无线通讯装置及传感器系统中的任意一种。
6.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的数据存储系统(5)采用分布式存储系统且各数据存储系统(5)间相互并联。
7.根据权利要求1所述的基于大数据的文件清理写入及清理管理系统的使用方法,其特征在于:所述的数据存储单元包括机柜(101)、数据存储终端(102)、基于FPGA的主控电路(103)、UPS备用电源(104)、强制降温机构(105)、导流风管(106)及通讯网关(6),其中所述机柜(101)为横断面呈矩形,且轴线与水平面垂直分布的框架结构,所述数据存储终端(102)若干,嵌于机柜(101)内并通过滑槽(107)与机柜(101)侧壁内表面滑动连接,且各数据存储终端(102)沿机柜(101)轴线从上向下均布,所述基于FPGA的主控电路(103)、UPS备用电源(104)、强制降温机构(105)及通讯网关(6)均位于机柜(101)内并与机柜(101)底部连接,其中所述基于FPGA的主控电路(103)分别与UPS备用电源(104)、强制降温机构(105)、通讯网关(6)及各数据存储终端(102)电气连接,所述数据存储终端(102)和基于FPGA的主控电路(103)另与通讯网关(6)建立数据连接,并通过通讯网关(6)与外部的通讯网络建立数据连接,所述强制降温机构(105)与至少一条导流风管(106)连通,所述导流风管(106)与机柜(101)侧壁内表面连接,且导流风管(106)与数据存储终端(102)对应位置均设至少一个出风口(108)。
CN202110678946.3A 2021-06-18 2021-06-18 一种基于大数据的文件清理写入及清理管理系统及方法 Active CN113411398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678946.3A CN113411398B (zh) 2021-06-18 2021-06-18 一种基于大数据的文件清理写入及清理管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678946.3A CN113411398B (zh) 2021-06-18 2021-06-18 一种基于大数据的文件清理写入及清理管理系统及方法

Publications (2)

Publication Number Publication Date
CN113411398A CN113411398A (zh) 2021-09-17
CN113411398B true CN113411398B (zh) 2022-02-18

Family

ID=77681526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678946.3A Active CN113411398B (zh) 2021-06-18 2021-06-18 一种基于大数据的文件清理写入及清理管理系统及方法

Country Status (1)

Country Link
CN (1) CN113411398B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114971529A (zh) * 2022-04-28 2022-08-30 南京晓庄学院 一种基于数据管理与统计分析的商业智能化系统及方法
CN116346840B (zh) * 2023-04-17 2023-11-24 南京埃尔乔亿自控设备有限公司 一种多服务器场景下的数据分析管理系统及其方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2415043A1 (en) * 2002-12-23 2004-06-23 Ibm Canada Limited - Ibm Canada Limitee A communication multiplexor for use with a database system implemented on a data processing system
EP2674877A1 (en) * 2011-03-14 2013-12-18 Huawei Technologies Co., Ltd Method and apparatus for reading and writing data in file system
CN104516967A (zh) * 2014-12-25 2015-04-15 国家电网公司 一种电力系统海量数据管理系统及其使用方法
CN105117502A (zh) * 2015-10-13 2015-12-02 四川中科腾信科技有限公司 一种基于大数据的检索方法
AU2014403332A1 (en) * 2014-09-15 2016-03-31 Huawei Technologies Co., Ltd. Data deduplication method and storage array
CN106815115A (zh) * 2017-01-13 2017-06-09 郑州云海信息技术有限公司 一种服务器运行状态监控系统
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718404B2 (en) * 2000-06-02 2004-04-06 Hewlett-Packard Development Company, L.P. Data migration using parallel, distributed table driven I/O mapping
DE10054944A1 (de) * 2000-11-06 2002-05-08 Siemens Ag Verfahren zur flexiblen Archivierung von elektronische gespeicherten Daten im Bereich der Telekommunikations-Endgeräte
JP2005135116A (ja) * 2003-10-29 2005-05-26 Nec Corp ストレージ装置及びそのアクセス制御方法
CN101625652B (zh) * 2009-08-04 2011-06-08 成都市华为赛门铁克科技有限公司 多磁盘容错系统及生成校验块、恢复数据块的方法
CN101656094B (zh) * 2009-09-25 2012-04-18 杭州华三通信技术有限公司 数据存储方法和存储设备
CN102882885B (zh) * 2012-10-17 2015-07-01 北京卓微天成科技咨询有限公司 一种提高云计算数据安全的方法及系统
EP3037949B1 (en) * 2014-09-15 2019-07-31 Huawei Technologies Co. Ltd. Data duplication method and storage array
FR3042158B1 (fr) * 2015-10-09 2017-12-08 Cera Tsc Appui-tete de siege de vehicule automobile
CN105718287B (zh) * 2016-01-20 2018-11-13 中南大学 一种智能终端的程序流式执行方法
EP3273347A1 (en) * 2016-07-22 2018-01-24 6Wind System and method for storage access input/output operations in a virtualized environment
CN106775499B (zh) * 2017-02-07 2019-02-05 无锡华云数据技术服务有限公司 一种对公共存储空间进行合理化暴露的方法、暴露控制系统及一种云存储系统
CN106992999B (zh) * 2017-05-26 2020-11-20 河南职业技术学院 一种跨服务器数据通讯处理方法
CN110191615A (zh) * 2019-04-18 2019-08-30 贵阳忆联网络有限公司 一种bgp数据中心安全系统
CN112804003A (zh) * 2021-02-19 2021-05-14 上海剑桥科技股份有限公司 一种基于光模块通信的存储方法、系统及终端
CN112732802B (zh) * 2021-04-02 2021-06-22 南京景特信息科技有限公司 一种基于大数据的企业数据挖掘系统及方法
CN112950238B (zh) * 2021-05-14 2021-07-30 南京云吾时信息科技有限公司 一种基于大数据客户关系管理及业务智能追踪系统及方法
CN112969058B (zh) * 2021-05-18 2021-08-03 南京拓晖信息技术有限公司 一种具有云储存功能的工业视频实时监管平台及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2415043A1 (en) * 2002-12-23 2004-06-23 Ibm Canada Limited - Ibm Canada Limitee A communication multiplexor for use with a database system implemented on a data processing system
EP2674877A1 (en) * 2011-03-14 2013-12-18 Huawei Technologies Co., Ltd Method and apparatus for reading and writing data in file system
AU2014403332A1 (en) * 2014-09-15 2016-03-31 Huawei Technologies Co., Ltd. Data deduplication method and storage array
CN104516967A (zh) * 2014-12-25 2015-04-15 国家电网公司 一种电力系统海量数据管理系统及其使用方法
CN105117502A (zh) * 2015-10-13 2015-12-02 四川中科腾信科技有限公司 一种基于大数据的检索方法
CN106815115A (zh) * 2017-01-13 2017-06-09 郑州云海信息技术有限公司 一种服务器运行状态监控系统
CN107547653A (zh) * 2017-09-11 2018-01-05 华北水利水电大学 一种分布式文件存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A Big Data Platform Integrating Compressed Linear》;Vishnu Gowda Harish等;《2016 IEEE International Conference on Big Data》;20170206;全文 *
《轨迹大数据_数据处理关键技术研究综述》;高强;《软件学报》;20161124;全文 *

Also Published As

Publication number Publication date
CN113411398A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN113411398B (zh) 一种基于大数据的文件清理写入及清理管理系统及方法
US20090196290A1 (en) On-demand mac address lookup
CN111917578A (zh) 多节点网络拓扑管理方法、装置及电子设备和存储介质
WO2020019724A1 (zh) 服务器中传感器数据的获取方法、获取系统和相关装置
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN111782672B (zh) 多领域数据管理方法及相关装置
CN110647318A (zh) 一种有状态应用的实例创建方法、装置、设备及介质
CN115033657A (zh) 基于知识图谱的查询方法、装置、设备及存储介质
CN109818796B (zh) 数据中心构建方法、装置、电子设备和介质
CN110248156B (zh) 视频分析方法、平台设备、智能相机和智能监控系统
CN115344620B (zh) 自定义数据池实现前后端分离后数据按需同步方法
CN113660336B (zh) 利用kv存储设备的云计算与雾计算系统
CN116069810A (zh) 数据查询方法、装置及终端设备
CN112395141B (zh) 一种数据页管理方法、装置、电子设备及存储介质
CN111723128B (zh) 能源互联网数据处理系统
CN114884883A (zh) 一种流量转发方法、装置、设备及存储介质
CN110225070B (zh) 基于新能源车辆的实时数据处理方法及网关
CN114579545A (zh) 一种基于地铁车站系统的数仓数据查询方法及装置
US20200026923A1 (en) System for automatically detecting new home construction progress
CN112346960B (zh) 测试信息存储方法、装置、服务器和存储介质
CN113342991B (zh) 一种基于人工智能的知识图谱融合系统及其方法
CN112214290B (zh) 日志信息处理方法、边缘节点、中心节点和系统
CN117435660B (zh) 一种信息整合系统及方法
CN116389584B (zh) 电化学储能站云边数据传输方法
JP7258949B2 (ja) 新規追加された車両エネルギーステーションの決定方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant