CN117354069A - 一种基于数据湖的遥感数据管理系统及方法 - Google Patents
一种基于数据湖的遥感数据管理系统及方法 Download PDFInfo
- Publication number
- CN117354069A CN117354069A CN202311659950.0A CN202311659950A CN117354069A CN 117354069 A CN117354069 A CN 117354069A CN 202311659950 A CN202311659950 A CN 202311659950A CN 117354069 A CN117354069 A CN 117354069A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- lake
- correlator
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013523 data management Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000012795 verification Methods 0.000 claims description 60
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000002955 isolation Methods 0.000 abstract description 2
- 230000006855 networking Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及遥感数据管理系统技术领域,公开了一种基于数据湖的遥感数据管理系统及方法,方法包括:至少提供一个数据湖,寄存在数据服务器中,并将所述数据湖配置成:当第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当第二客户端发送的第二数据请求不能满足预定条件时,利用数据交换系统给第二客户端完成配置,以使得第二客户端能够限定期限内通过通信端口保持与数据服务器的连通;并获取设定的数据请求量之内的数据,通过利用控制交换系统来实现对第二客户端与数据服务器之间的联网隔离。
Description
技术领域
本发明遥感数据管理技术领域,特别是涉及一种基于数据湖的遥感数据管理系统及方法。
背景技术
卫星遥测数据的特点之一是数据量巨大,在进行应用之前,需要将遥测数据进行处理后才能使用,这就使得遥感数据的利用具有严格的针对性和限制性,比如水利应用、湖泊海洋测绘应用、森林应用,这些数据之间一般并不存储在一个服务器中,而是被按照不同的测绘需求分配到了不同的服务器中,因此,当需要多种数据融合使用时,除了限制性之外,还需要再次对数据进行融合处理。
自数据湖概念产生以来,目前已经有非常成熟的数据湖的开发技术,由于数据湖可以实现集中式存储库,且允许以任意规模存储所有结构化和非结构化数据,最主要的可以按原样存储数据(无需先对数据进行结构化处理),因此,数据湖实现了集中化存储海量、多来源、多种类的数据,并支持对数据进行快速加工和分析。
因此,可以通过数据湖来解决卫星遥感数据存储的问题,卫星遥感数据除民用部分外仅对认证的客户进行开放,但也并不限制国内的企业进行申请使用,目前的方式普遍的是,当使用一些遥感数据时,使用者要么是注册认证的用户,要么是申请用户,一般的申请用户都是给了一个临时的账号信息,其能够浏览的数据信息是设定的,这样,并不能满足用户的需求,因此需要在满足数据使用安全的情况下,建立一个遥感数据的管理系统。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于数据湖的遥感数据管理系统及方法。
发明采用的技术方案如下:
基于数据湖的遥感数据管理方法,包括如下步骤:
至少提供一个数据湖,寄存在数据服务器中,并将所述数据湖配置成:当至少一个第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,所述交换控制系统从满足预定条件的一个第一客户端获取识别信息,将所述识别信息配置到一个以时间和数据请求量进行限定的关联器中,并将所述关联器应用至第二客户端,并使得第二客户端在限定期限内通过交换控制系统保持与数据服务器的连通,且,在限定的期限内,数据服务器根据第二数据请求中对应的数据内容提取对应的数据块,将所述数据块分发至交换控制系统中,若所述数据块在设定的数据请求量之内,则所述交换控制系统从数据服务器中获取所述数据块对应的属性权限,并将对应的属性权限在所述交换控制系统中与所述数据块进行对应的配置,所述第二客户端调用数据块对应的属性权限,通过对数据块的属性权限进行修改来对数据块中的遥感数据进行读、写以及编辑。
进一步地,所述交换控制系统具有:
交换控制器,存储器以及监测器;
其中,所述交换控制器具有:
控制模块;
信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;
关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;
检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;
存储器,用于存储经过关联器配置的数据块。
进一步地,所述关联器以识别信息为核心进行配置时:
通过在关联器中设置的可编程控制器中写入时间限制代码和数据量限制代码,并使得当第二客户端利用所述关联器中的识别信息进行伪装与数据服务器进行通讯时,以数据服务器响应第二数据请求时所记录的时间作为形成启用时间限制代码进行计时的初始时间,当从初始时间计算达到时间限制代码所约定的时间段时,时间限制代码自动失效,此时形成一个反馈信号,在可编程控制器中对应的设置有与所述反馈信号匹配的终止指令;
同时,在限定的期限内,可编程控制器实时与检测模块进行轮询通信,以获取提取的所述数据块的数据量的大小。
进一步地,所述第二客户端利用所述关联器中的识别信息进行伪装的方法包括:
所述关联器获取信息识别器得到的满足预定条件的任意一个第一客户端获取识别信息;所述识别信息能够依照设定的第一验证方式与数据服务器连接,并以第一验证方式对应的第一数据获取规则从所述数据服务器获取数据湖的属性权限,以及通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入;
所述关联器基于所述第一验证方式来执行所述关联器内设置的第一篡改器,通过第一篡改器将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;
执行所述关联器内设置的第二篡改器并将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
本发明还提供了一种基于数据湖的遥感数据管理系统,包括:
数据服务器,其内至少内置有一个数据湖;
至少一组客户端,当第一客户端与所述数据服务器之间为认证连接,且第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中;
所述交换控制系统具有:
交换控制器,存储器以及监测器;
其中,所述交换控制器具有:
控制模块;
信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;
关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;
检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;
存储器,用于存储经过关联器配置的数据块。
进一步地,所述识别信息包括:
第一验证方式,用于与数据服务器通过认证信息进行验证后连接;
第一数据获取规则,与所述认证信息进行匹配,用于使得从所述数据服务器获取数据湖的属性权限;
第一权限修改规则,与所述第一数据获取规则对应连接,用于通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑。
进一步地,所述关联器具有:
可编程控制器,所述可编程控制器内设置有时间限制代码和数据量限制代码,以及一个用于时间限制代码和数据量限制代码进行配置的配置器;
参数生成器,用于依据第二客户端身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;
通过配置器写入时间限制参数以及数据量限制参数;
第一篡改器,用于将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;
第二篡改器,用于将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
本发明通过建立了一个交换控制系统,当第二客户端发送的第二数据请求不能满足预定条件时,则将第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,通过在交换控制系统中的部署,使得第二客户端在一次有效的请求中,能够在限定的时间中获取限定数据量的数据,其并不限制数据的形式,满足用户是使用要求。同时,第二客户端并不能直接获取数据湖的属性权限(被调用、可读、可写等),也并不直接从所述数据服务器中获取对应的数据,而是通过虚拟机获取后再传给第二客户端,因此,能够有效的保障数据使用安全。
附图说明
以下附图仅对本发明作示意性的说明和解释,并不用于限定本发明的范围,其中:
图1为本发明的方法流程图;
图2为本发明中第二客户端利用所述关联器中的识别信息进行伪装的方法流程图;
图3为本发明中系统的框架原理图。
具体实施方式
为了使本发明的目的、技术方案、设计方法及优点更加清楚明了,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
实施例1:
参照图1至图2,一种基于数据湖的遥感数据管理方法,包括如下步骤:至少提供一个数据湖,寄存在数据服务器中,并将所述数据湖配置成:当至少一个第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,所述交换控制系统从满足预定条件的一个第一客户端获取识别信息,将所述识别信息配置到一个以时间和数据请求量进行限定的关联器中,并将所述关联器应用至第二客户端,并使得第二客户端在限定期限内通过交换控制系统保持与数据服务器的连通,且,在限定的期限内,数据服务器根据第二数据请求中对应的数据内容提取对应的数据块,将所述数据块分发至交换控制系统中,若所述数据块在设定的数据请求量之内,则所述交换控制系统从数据服务器中获取所述数据块对应的属性权限,并将对应的属性权限在所述交换控制系统中与所述数据块进行对应的配置,所述第二客户端调用数据块对应的属性权限,通过对数据块的属性权限进行修改来对数据块中的遥感数据进行读、写以及编辑。
在上述中,所述交换控制系统具有:交换控制器,存储器以及监测器;其中,所述交换控制器具有:控制模块;信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;存储器,用于存储经过关联器配置的数据块。
进一步地,所述关联器以识别信息为核心进行配置时:通过在关联器中设置的可编程控制器中写入时间限制代码和数据量限制代码,并使得当第二客户端利用所述关联器中的识别信息进行伪装与数据服务器进行通讯时,以数据服务器响应第二数据请求时所记录的时间作为形成启用时间限制代码进行计时的初始时间,当从初始时间计算达到时间限制代码所约定的时间段时,时间限制代码自动失效,此时形成一个反馈信号,在可编程控制器中对应的设置有与所述反馈信号匹配的终止指令;同时,在限定的期限内,可编程控制器实时与检测模块进行轮询通信,以获取提取的所述数据块的数据量的大小。
进一步地,所述第二客户端利用所述关联器中的识别信息进行伪装的方法包括:
所述关联器获取信息识别器得到的满足预定条件的任意一个第一客户端获取识别信息;所述识别信息能够依照设定的第一验证方式与数据服务器连接,并以第一验证方式对应的第一数据获取规则从所述数据服务器获取数据湖的属性权限,以及通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入;所述关联器基于所述第一验证方式来执行所述关联器内设置的第一篡改器,通过第一篡改器将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;执行所述关联器内设置的第二篡改器并将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
本申请的原理如下:
当至少一个第一客户端发送的第一数据请求满足预定条件时,说明第一客户端为注册客户端,此时,第一客户端所具有的认证信息(也就是所述识别信息)能够依照设定的第一验证方式与数据服务器连接,并以第一验证方式对应的第一数据获取规则从所述数据服务器获取数据湖的属性权限,以及通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则将第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,其中,根据第二客户端进行身份验证的结果将第二客户端的身份等级进行确定,在本申请中,认证用户具有对数据服务器内的数据湖拥有完全的调用、可读、可写权限;未认证的用户可以根据其提供的验证资料来确定使用等级,验证资料是对用户的身份信息进行确认,比如用户单位信息以及作证资料,个人信息以及作证资料,可以根据提供信息的完整度来建立使用等级,同时也可以加入一些辅助信息的使用,比如通过在线问卷调查数据使用知识来评定用户的专业度等。
交换控制系统中的关联器获取到第二客户端的身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;第二客户端提交的资料越完善,其对应的使用等级就越高,同时所具有的时间限制参数以及数据量限制参数值就越大,能够使用的数据量就越大,通过依据第二客户端身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;通过配置器写入时间限制参数以及数据量限制参数;将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块根据第一权限修改规则从数据服务器中在获取所述数据块对应的属性权限,并将对应的属性权限通过关联器配置到虚拟机中,虚拟机得到的所述数据块进行对应的权限配置,这样,由,虚拟机传递至第二客户端的遥感数据就也具有了可读、可写权限。便于第二客户端的使用。
本发明通过建立了一个交换控制系统,当第二客户端发送的第二数据请求不能满足预定条件时,则将第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,通过在交换控制系统中的部署,使得第二客户端在一次有效的请求中,能够在限定的时间中获取限定数据量的数据,其并不限制数据的形式,满足用户的使用要求。同时,第二客户端并不能直接获取数据湖的属性权限(被调用、可读、可写等),也并不直接从所述数据服务器中获取对应的数据,而是通过虚拟机获取后再传给第二客户端,因此,第二客户端并不与数据服务器直接连接。在本申请中,一方面通过对第二客户端进行身份验证,通过身份验证的结果来设定第二客户端可以获取数据的等级,另一方面,通过利用控制交换系统来实现对第二客户端与数据服务器之间的联网隔离,比如,交换控制系统与数据服务器之间通过局域网连接,交换控制系统与第二客户端之间通过互联网连接,如此能够有效的保障数据使用安全。
在本申请中,交换控制系统可以由交换服务器与数据交换机构成局域网络,交换控制系统的核心配置在交换服务器中,比如交换控制系统的组成结构是基于交换服务器作为硬件来实现的。
需要说明的是,代码是以可编程控制器作为载体,可编程控制器中具有编译器,通过编译器可以将对应的代码,比如本申请中的时间限制代码和数据量限制代码写入至编译器中并进行存储,并允许能够与交换控制系统接入的客户端进行调用,调用后通过配置器来进行参数的更改。可编程控制器通过配置、自检、初始化后,接入至检测模块和控制模块,以执行其对应的功能。
实施例2:
参照图3,本发明还提供了一种基于数据湖的遥感数据管理系统,包括:数据服务器,其内至少内置有一个数据湖;至少一组客户端,当第一客户端与所述数据服务器之间为认证连接,且第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中;所述交换控制系统具有:交换控制器,存储器以及监测器;其中,所述交换控制器具有:控制模块;信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;存储器,用于存储经过关联器配置的数据块。
进一步地,所述识别信息包括:第一验证方式,用于与数据服务器通过认证信息进行验证后连接;第一数据获取规则,与所述认证信息进行匹配,用于使得从所述数据服务器获取数据湖的属性权限;第一权限修改规则,与所述第一数据获取规则对应连接,用于通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑。
进一步地,所述关联器具有:可编程控制器,所述可编程控制器内设置有时间限制代码和数据量限制代码,以及一个用于时间限制代码和数据量限制代码进行配置的配置器;参数生成器,用于依据第二客户端身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;通过配置器写入时间限制参数以及数据量限制参数;第一篡改器,用于将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;第二篡改器,用于将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
在进行使用时,至少一个第一客户端发送的第一数据请求满足预定条件时,说明第一客户端为注册客户端,此时,第一客户端所具有的认证信息(也就是所述识别信息)能够依照设定的第一验证方式与数据服务器连接,并以第一验证方式对应的第一数据获取规则从所述数据服务器获取数据湖的属性权限,以及通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则将第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,其中,根据第二客户端进行身份验证的结果将第二客户端的身份等级进行确定,在本申请中,认证用户具有对数据服务器内的数据湖拥有完全的调用、可读、可写权限;未认证的用户可以根据其提供的验证资料来确定使用等级,验证资料是对用户的身份信息进行确认,比如用户单位信息以及作证资料,个人信息以及作证资料,可以根据提供信息的完整度来建立使用等级,同时也可以加入一些辅助信息的使用,比如通过在线问卷调查数据使用知识来评定用户的专业度等。
交换控制系统中的关联器获取到第二客户端的身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;第二客户端提交的资料越完善,其对应的使用等级就越高,同时所具有的时间限制参数以及数据量限制参数值就越大,能够使用的数据量就越大,通过依据第二客户端身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;通过配置器写入时间限制参数以及数据量限制参数;将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块根据第一权限修改规则从数据服务器中在获取所述数据块对应的属性权限,并将对应的属性权限通过关联器配置到虚拟机中,虚拟机得到的所述数据块进行对应的权限配置,这样,由,虚拟机传递至第二客户端的遥感数据就也具有了可读、可写权限。便于第二客户端的使用。
在本说明书中,已经依据选定的细节集合而呈现示例实施例。然而,本领域的普通技术人员将理解,可以实践包括这些细节的不同选定集合的许多其他示例实施例。希望所附权利要求书涵盖所有可能的示例实施例。
Claims (7)
1.一种基于数据湖的遥感数据管理方法,其特征在于,包括如下步骤:
至少提供一个数据湖,寄存在数据服务器中,并将所述数据湖配置成:当至少一个第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中,所述交换控制系统从满足预定条件的一个第一客户端获取识别信息,将所述识别信息配置到一个以时间和数据请求量进行限定的关联器中,并将所述关联器应用至第二客户端,并使得第二客户端在限定期限内通过交换控制系统保持与数据服务器的连通,且,在限定的期限内,数据服务器根据第二数据请求中对应的数据内容提取对应的数据块,将所述数据块分发至交换控制系统中,若所述数据块在设定的数据请求量之内,则所述交换控制系统从数据服务器中获取所述数据块对应的属性权限,并将对应的属性权限在所述交换控制系统中与所述数据块进行对应的配置,所述第二客户端调用数据块对应的属性权限,通过对数据块的属性权限进行修改来对数据块中的遥感数据进行读、写以及编辑。
2.根据权利要求1所述的一种基于数据湖的遥感数据管理方法,其特征在于,所述交换控制系统具有:
交换控制器,存储器以及监测器;
其中,所述交换控制器具有:
控制模块;
信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;
关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;
检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;
存储器,用于存储经过关联器配置的数据块。
3.根据权利要求2所述的一种基于数据湖的遥感数据管理方法,其特征在于,所述关联器以识别信息为核心进行配置时:
通过在关联器中设置的可编程控制器中写入时间限制代码和数据量限制代码,并使得当第二客户端利用所述关联器中的识别信息进行伪装与数据服务器进行通讯时,以数据服务器响应第二数据请求时所记录的时间作为形成启用时间限制代码进行计时的初始时间,当从初始时间计算达到时间限制代码所约定的时间段时,时间限制代码自动失效,此时形成一个反馈信号,在可编程控制器中对应的设置有与所述反馈信号匹配的终止指令;
同时,在限定的期限内,可编程控制器实时与检测模块进行轮询通信,以获取提取的所述数据块的数据量的大小。
4.根据权利要求3所述的一种基于数据湖的遥感数据管理方法,其特征在于,所述第二客户端利用所述关联器中的识别信息进行伪装的方法包括:
所述关联器获取信息识别器得到的满足预定条件的任意一个第一客户端获取识别信息;所述识别信息能够依照设定的第一验证方式与数据服务器连接,并以第一验证方式对应的第一数据获取规则从所述数据服务器获取数据湖的属性权限,以及通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入;
所述关联器基于所述第一验证方式来执行所述关联器内设置的第一篡改器,通过第一篡改器将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;
执行所述关联器内设置的第二篡改器并将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
5.一种基于数据湖的遥感数据管理系统,其特征在于,包括:
数据服务器,其内至少内置有一个数据湖;
至少一组客户端,当第一客户端与所述数据服务器之间为认证连接,且第一客户端发送的第一数据请求满足预定条件时,开放数据湖的属性,允许持有识别信息的客户端调用数据湖的属性权限,通过对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑;
当至少一个第二客户端发送的第二数据请求不能满足预定条件时,则对第二客户端进行身份验证,身份验证通过后,将第二客户端接入交换控制系统中;
所述交换控制系统具有:
交换控制器,存储器以及监测器;
其中,所述交换控制器具有:
控制模块;
信息识别器,用于从满足预定条件的任意一个第一客户端获取识别信息;
关联器,其被配置成以信息识别器获取的识别信息为核心,并将识别信息的使用以时间和数据请求量进行限定,当监测器连接数据服务器并监测到任意一个第二客户端发送的第二数据请求不能满足预定条件时,控制模块通过通信端口将第二客户端接入,并将所述关联器应用至第二客户端,以使得第二客户端在限定期限内通过通信端口保持与数据服务器的连通;
检测模块,用于在限定的期限内,检测提取的所述数据块是否在设定的数据请求量之内,若所述数据块在设定的数据请求量之内,则所述控制模块从数据服务器中再获取所述数据块对应的属性权限,并将对应的属性权限通过关联器与所述数据块进行对应的配置;
存储器,用于存储经过关联器配置的数据块。
6.根据权利要求5所述的一种基于数据湖的遥感数据管理系统,其特征在于,所述识别信息包括:
第一验证方式,用于与数据服务器通过认证信息进行验证后连接;
第一数据获取规则,与所述认证信息进行匹配,用于使得从所述数据服务器获取数据湖的属性权限;
第一权限修改规则,与所述第一数据获取规则对应连接,用于通过第一权限修改规则对数据湖的属性权限进行修改来对数据湖中的遥感数据进行读、写以及编辑。
7.根据权利要求5所述的一种基于数据湖的遥感数据管理系统,其特征在于,所述关联器具有:
可编程控制器,所述可编程控制器内设置有时间限制代码和数据量限制代码,以及一个用于时间限制代码和数据量限制代码进行配置的配置器;
参数生成器,用于依据第二客户端身份验证的结果来确定第二客户端的时间限制参数以及数据量限制参数;
通过配置器写入时间限制参数以及数据量限制参数;
第一篡改器,用于将所述第一验证方式配置到与所述关联器连接的虚拟机内,以使得虚拟机能够以第一验证方式与数据服务器连接,再通过虚拟机建立与第二客户端之间的连接;
第二篡改器,用于将第一数据获取规则配置到虚拟机内,以使得虚拟机能够以第一数据获取规则获取数据服务器内数据湖的可读权限。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311659950.0A CN117354069B (zh) | 2023-12-06 | 2023-12-06 | 一种基于数据湖的遥感数据管理系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311659950.0A CN117354069B (zh) | 2023-12-06 | 2023-12-06 | 一种基于数据湖的遥感数据管理系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117354069A true CN117354069A (zh) | 2024-01-05 |
CN117354069B CN117354069B (zh) | 2024-02-13 |
Family
ID=89365341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311659950.0A Active CN117354069B (zh) | 2023-12-06 | 2023-12-06 | 一种基于数据湖的遥感数据管理系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117354069B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060067114A (ko) * | 2004-12-14 | 2006-06-19 | 한국전자통신연구원 | 클라이언트 모듈을 안전하게 배포하는 보안 장치 및 그방법 |
CN103475905A (zh) * | 2013-09-25 | 2013-12-25 | 浙江大学 | 云环境下基于网络连接复用的影像数据块高效传输方法 |
KR20170062248A (ko) * | 2015-11-27 | 2017-06-07 | 울산대학교 산학협력단 | 사용자 정의 협업 워크스페이스 지원 시스템 |
CN106878264A (zh) * | 2016-12-21 | 2017-06-20 | 重庆华龙艾迪信息技术有限公司 | 一种数据管理方法及服务器 |
CN107622203A (zh) * | 2017-09-30 | 2018-01-23 | 广东欧珀移动通信有限公司 | 敏感信息的保护方法、装置、存储介质及电子设备 |
CN107861983A (zh) * | 2017-09-30 | 2018-03-30 | 中国电子科技集团公司第三十二研究所 | 面向高速遥感影像处理的遥感影像存储系统 |
CN111221887A (zh) * | 2018-11-27 | 2020-06-02 | 中云开源数据技术(上海)有限公司 | 一种对数据湖服务器中的数据进行管理和访问的方法 |
WO2020147441A1 (zh) * | 2019-01-17 | 2020-07-23 | 深圳壹账通智能科技有限公司 | 信息更新方法、装置、计算机设备及存储介质 |
CN111984830A (zh) * | 2020-07-29 | 2020-11-24 | 中国石油集团工程股份有限公司 | 一种管理运维平台及数据处理方法 |
CN112995227A (zh) * | 2021-05-13 | 2021-06-18 | 深圳格隆汇信息科技有限公司 | 一种基于三方信用管理的一站式信息服务平台 |
CN114650178A (zh) * | 2022-03-26 | 2022-06-21 | 山东众量信息科技有限公司 | 大数据交换方法及系统 |
CN114726872A (zh) * | 2022-04-07 | 2022-07-08 | 平安资产管理有限责任公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN115801281A (zh) * | 2022-11-29 | 2023-03-14 | 深圳数字电视国家工程实验室股份有限公司 | 授权方法、电子设备、计算机可读存储介质 |
CN117061165A (zh) * | 2023-08-10 | 2023-11-14 | 江苏瀚天智能科技股份有限公司 | 基于监测监控系统的时空数据湖技术的安全防护系统 |
WO2023216813A1 (zh) * | 2022-05-09 | 2023-11-16 | 深圳市广和通无线通信软件有限公司 | 安全认证方法、装置、系统、电子设备及存储介质 |
-
2023
- 2023-12-06 CN CN202311659950.0A patent/CN117354069B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060067114A (ko) * | 2004-12-14 | 2006-06-19 | 한국전자통신연구원 | 클라이언트 모듈을 안전하게 배포하는 보안 장치 및 그방법 |
CN103475905A (zh) * | 2013-09-25 | 2013-12-25 | 浙江大学 | 云环境下基于网络连接复用的影像数据块高效传输方法 |
KR20170062248A (ko) * | 2015-11-27 | 2017-06-07 | 울산대학교 산학협력단 | 사용자 정의 협업 워크스페이스 지원 시스템 |
CN106878264A (zh) * | 2016-12-21 | 2017-06-20 | 重庆华龙艾迪信息技术有限公司 | 一种数据管理方法及服务器 |
CN107622203A (zh) * | 2017-09-30 | 2018-01-23 | 广东欧珀移动通信有限公司 | 敏感信息的保护方法、装置、存储介质及电子设备 |
CN107861983A (zh) * | 2017-09-30 | 2018-03-30 | 中国电子科技集团公司第三十二研究所 | 面向高速遥感影像处理的遥感影像存储系统 |
CN111221887A (zh) * | 2018-11-27 | 2020-06-02 | 中云开源数据技术(上海)有限公司 | 一种对数据湖服务器中的数据进行管理和访问的方法 |
WO2020147441A1 (zh) * | 2019-01-17 | 2020-07-23 | 深圳壹账通智能科技有限公司 | 信息更新方法、装置、计算机设备及存储介质 |
CN111984830A (zh) * | 2020-07-29 | 2020-11-24 | 中国石油集团工程股份有限公司 | 一种管理运维平台及数据处理方法 |
CN112995227A (zh) * | 2021-05-13 | 2021-06-18 | 深圳格隆汇信息科技有限公司 | 一种基于三方信用管理的一站式信息服务平台 |
CN114650178A (zh) * | 2022-03-26 | 2022-06-21 | 山东众量信息科技有限公司 | 大数据交换方法及系统 |
CN114726872A (zh) * | 2022-04-07 | 2022-07-08 | 平安资产管理有限责任公司 | 数据同步方法、装置、计算机设备及存储介质 |
WO2023216813A1 (zh) * | 2022-05-09 | 2023-11-16 | 深圳市广和通无线通信软件有限公司 | 安全认证方法、装置、系统、电子设备及存储介质 |
CN115801281A (zh) * | 2022-11-29 | 2023-03-14 | 深圳数字电视国家工程实验室股份有限公司 | 授权方法、电子设备、计算机可读存储介质 |
CN117061165A (zh) * | 2023-08-10 | 2023-11-14 | 江苏瀚天智能科技股份有限公司 | 基于监测监控系统的时空数据湖技术的安全防护系统 |
Non-Patent Citations (1)
Title |
---|
阳鑫磊;何倩;曹礼;王士成;: "支持访问控制的P2P大规模遥感数据分发系统", 计算机科学, no. 11 * |
Also Published As
Publication number | Publication date |
---|---|
CN117354069B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | A survey on blockchain-based internet service architecture: requirements, challenges, trends, and future | |
CN110096857B (zh) | 区块链系统的权限管理方法、装置、设备和介质 | |
CN104240342B (zh) | 一种基于身份验证的门禁控制方法及门禁控制装置 | |
CN104506487B (zh) | 云环境下隐私策略的可信执行方法 | |
US9805209B2 (en) | Systems and methodologies for managing document access permissions | |
CN109446259B (zh) | 数据处理方法及装置、处理机及存储介质 | |
CN109117668A (zh) | 一种基于区块链构建的身份授权安全访问方法 | |
CN109587126A (zh) | 用户鉴权方法和系统 | |
CN106161442A (zh) | 一种系统控制用户登录方法 | |
CN109033857A (zh) | 一种访问数据的方法、装置、设备及可读存储介质 | |
CN112883390A (zh) | 一种权限控制方法、装置及存储介质 | |
CN106453311A (zh) | 生物特征分布式身份认证的注册登录系统及方法 | |
CN110866265A (zh) | 一种基于区块链的数据存储方法、设备及存储介质 | |
CN111724146A (zh) | 一种基于区块链的数字资产流转的方法及装置 | |
CN114090408A (zh) | 数据监控分析方法、装置、计算机设备和存储介质 | |
CN109246248B (zh) | 基于区块链技术的数据可信安全共享系统和方法 | |
CN111654375A (zh) | 一种基于区块链的边缘计算安全加密方法、装置及系统 | |
CN117354069B (zh) | 一种基于数据湖的遥感数据管理系统及方法 | |
CN110189440A (zh) | 一种基于区块链的智能锁监管设备及其方法 | |
CN109977644A (zh) | 一种Android平台下分级权限管理方法 | |
CN109495514A (zh) | 基于边缘终端的角色访问控制系统及方法 | |
CN112883425A (zh) | 基于区块链的数据处理方法以及区块链节点 | |
CN105871840B (zh) | 一种证书管理方法及系统 | |
CN111885057A (zh) | 消息中间件访问方法、装置、设备及存储介质 | |
CN108090371A (zh) | 一种数据的处理方法、追踪方法、处理装置及追踪装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |