CN111104680A - 一种安全与智能化的实验数据管理系统及方法 - Google Patents

一种安全与智能化的实验数据管理系统及方法 Download PDF

Info

Publication number
CN111104680A
CN111104680A CN201811270648.5A CN201811270648A CN111104680A CN 111104680 A CN111104680 A CN 111104680A CN 201811270648 A CN201811270648 A CN 201811270648A CN 111104680 A CN111104680 A CN 111104680A
Authority
CN
China
Prior art keywords
data
directory
subsystem
storing
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811270648.5A
Other languages
English (en)
Other versions
CN111104680B (zh
Inventor
刘卫锋
王立立
肖宇
时蔚
吕洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Institute of Chemical Physics of CAS
Original Assignee
Dalian Institute of Chemical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Institute of Chemical Physics of CAS filed Critical Dalian Institute of Chemical Physics of CAS
Priority to CN201811270648.5A priority Critical patent/CN111104680B/zh
Publication of CN111104680A publication Critical patent/CN111104680A/zh
Application granted granted Critical
Publication of CN111104680B publication Critical patent/CN111104680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种安全与智能化的实验数据管理系统及方法。本发明包括:研究分中心数据管理子系统、数据资源中心子系统、安全控制子系统、数据智能分析子系统、数据可视化子系统、用户管理子系统、数据核查子系统。本发明通过一键式的安装及数据上传功能,极大地减轻了科研人员的安装、上传的负担,通过数据资源中心子系统对来自不同研究分中心的不同格式的化学、物理实验结果进行分类存储,拓宽了数据储存系统的多元性,方便在未来的数据核查的过程中分门别类的可视化检阅,通过在网络、操作系统和应用端均设置的安全控制子系统,有效地保证实验数据的真实可靠性,极大地降低了学术造假的可能。本发明可在实验数据管理技术领域广泛推广。

Description

一种安全与智能化的实验数据管理系统及方法
技术领域
本发明涉及实验数据管理技术领域,具体而言,尤其涉及一种安全与智能化的实验数据管理系统及方法。
背景技术
实验数据作为科研成果重要的支撑材料,其可复用的性质让其从长远来看价值甚至可能高于数据所产生的科研成果,化学和物理这两大类学科作为数据产量较大的实验学科,其分支学科众多,每分支学科下由于研究方向的不同,产出的实验数据格式也完全不同。实验数据格式不仅限于基本的数据格式,还包括各种化学分析软件或物理建模软件产生的特殊格式。这就导致化学和物理产生的实验数据很难以统一的标准存储在同一系统中,并实现在过程层面上对数据进行比较,产生可提供借鉴的分析结果。
同时,由于各研究单位的组织结构复杂性与科研人员对于化学和物理实验数据的保密性,导致想在研究单位内部建立一套基于层次的物理化学实验数据管理系统,实践起来也比较困难。首先要考虑到的就是如何采用技术手段保证物理化学的访问控制,控制研究单位内部的交叉互访与外部非法获取。其次是在科研人员内部调整或者外部变化的情况下如何保证实验数据的完整性。
传统的高校或科研实验室的化学和物理实验数据多由人工手动纸质记录,近年来由于大数据软件的广泛应用,实验数据方面的数据储存问题也提上了日程,在大数据与人工智能技术的普及下以及从化学和物理学科的长远发展,都迫切需要引入信息化技术实现化学和物理实验数据的长期集中存储,并在有效存储的基础上实现对实验数据的综合分析与利用,这也从根本上满足越来越严格的数据核查要求。现有的实验数据管理软件存在着诸多问题,其一,数据多元化储存能力不足,现有的实验数据管理软件仅能处理实验过程中后缀为jpg、dwg、cgr等较为常规的软件得到的实验数据,而对于数据比较复杂的Scatt、NG、POLYRATE、Molpro、Amber、Turbomole软件得到的实验数据则不能很好地兼容或拓展,使得常规软件在开发这些功能的过程中费事费力;其二,安全性能考虑不到位,仅是保证了网络端或应用端的安全性,虽然保障了数据的基础安全性,但是仍然不能保证管理员或者更高级的管理者在数据操作系统中修改实验数据,实验者为了保证数据符合标准而对实验数据进行篡改,不注重实验得出的数据的真实性,也使得我国某些科研实验室在国际上引起学术诚信上的严重问题,严重影响了我国在世界学术领域的公信力,物理建模领域也时有抄袭发生,在学生毕业/科研人员离职的情况下,很难对原有的实际情况进行核对,也对学校/科研机构/企业造成了困扰;其三,功能繁杂、安装或使用时步骤繁琐,未能考虑实验人员的真实工作情况,有些化学和物理的实验数据运算的过程及得到的每一步的结论都是相当庞大的,这也使得在上传实验数据时需要占用很长的时间,现有的技术在上传时需要时刻关注,否则会出现数据丢失或者不完整的情况,科研人员也耗费时间和精力。
发明内容
根据上述提出的技术问题,而提供一种安全与智能化的实验数据管理系统及方法。
本发明采用的技术手段如下:
一种安全与智能化的实验数据管理系统,包括:
研究分中心数据管理子系统,其包括:
数据提取单元,用于提取数据源,并将其发送至数据发送单元,所述数据源包括实验过程中得到的基础实验数据和用户的基本资料数据,
数据发送单元,用于将数据提取单元提取到的数据源发送至数据资源中心子系统;
数据资源中心子系统,用于对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中,其包括:
数据接收单元,用于接收各研究分中心服务端的发送单元发送的数据源并将其发送至数据处理单元,还用于向研究分中心数据管理子系统发送获取上传数据成功的反馈数据信息,
数据处理单元,用于对数据源进行抽取、转换、加载等处理操作,将数据源转换为可存储格式,
数据汇总单元,用于按时间顺序将同一类型实验数据信息进行汇总存储,得到统一类型实验数据的对比图,提供管理者进行核查与分析;
安全控制子系统,用于对操作系统安全性实现逐级控制,实现在操作系统层与应用层对系统进行安全防护并实现基础实验数据加密上传及存储,保证操作系统层无法进行基础实验数据浏览与检索,其包括:
监控单元,用于对管理员和用户操作以及系统运行状态进行实时监控,并形成管理员操作日志,形成分析报告,并建立审计模块,提供基于用户端的查询与浏览,并在系统出现异常时,提供异常原因分析数据。
数据加密、解密单元,用于用户上传存储和下载数据进行加密和解密处理,保证即使管理员在基于操作系统级的文件管理,也不能对进行修改,保证基础实验数据文件的真实性,并保证基础实验数据文件被基于操作系统级被盗用后,实验结果不外泄和被恶意使用,
文件控制单元,用于通过对管理者与普通用户的权限区分实现上传文件的真实性,其中,普通用户只能上传实验数据,不能对数据进行编辑与删除操作,当确实需要删除某些数据时,数据只能由管理员删除到系统回收站,设置为删除文件属性,不能实际删除。
进一步地,所述数据处理单元对数据源具体操作为:
在用户端数据上传进行网络集中存储,首先进行文件特征数据抽取,将抽取到的文件特征存储于关系型数据库中,并可通过数据库view的方式在客户端进行快速查询。
在对文件属性进行基本分析后,根据不同的文件格式将文件上传至服务器缓存,并将缓存基本数据存储于关系型数据库中,同时生成xml基础配置文件。
通过upload Function调用Class与API接口,将文件格式进行系统层统一,并加密存储在服务器存储中。
进一步地,基于以下数据库中表与表之间的关系和程序方法实现数据的抽取、转换和用户再次加载,其中,在用户再次读取与加载文件时,系统调用DownServers Function方法基于存储的文件基础属性,进行文件复原,并下载到用户端提供浏览。
基于以下数据库中Table关系和程序方法实现数据的抽取、转换和用户再次加载:
FileType表,用来存储抽取到的文件的特征属性,每个特征属性都有一个唯一的FileTypeId来标识;
FileCache表:用来存储上传的服务器文件的Cache数据,每个缓存属性都有一个唯一的FileCacheId来标识;
FileOperation表:用来存储系统文件操作基础信息,每条操作都有一个唯一的FileOperationId来标识;
FileAttachment表:用来存储文件使用基础信息,每条操作都有一个唯一的FileAttachmentId来标识。
进一步地,应用包通过智能化应用包子系统完成在研究分中心服务端的自动化一键免配置部署,所述智能化应用包实施子系统采用智能化手段自动完成web服务与代码安装包并进行相关端口与服务判断,客户只需一键点击即可在研究分中心进行部署,同时支持单机版与网络版。
若保证基于数据库和web服务的系统能够正常的运行并提供用户使用与访问,则需配置操作系统参数、防火墙规则、安装数据库与web服务和程序开发代码,并保证web服务与程序代码能正常访问数据库。
为解决以上复杂的安装与配置,系统利用程序代码实现了只需点击setup文件web服务与数据库自动安装到服务器上,并完成操作系统、web服务和数据库配置,从用户角度解决系统安装的问题。
进一步地,所述研究分中心数据管理子系统主要应用包括数据的基础设置、存储配额与预警、目录结构设置、用户管理、备份管理、访问行为审计、文件恢复与回收。
备份管理做为系统数据存储的重要部分,系统实现了基于操作系统的自动备份,当在系统进行一键安装时,setup程序就自动配置了操作系统级的备份任务设置。用户不需要任何操作,系统每天自动进行数据库与实验数据文件的本地、异地备份。
进一步地,所述安全控制子系统还包括:
网络访问控制单元,用于通过防火墙、路径检测硬件设备与软件操作系统、web服务、程序代码进行集成实现实验数据的网络保护,通过对访问来源进行统计分析,实现对风险访问进行预判,同时根据预判可以提供网络安全设置参数提出调整建议。
进一步地,还包括:
数据智能分析子系统,用于提供查询和多维分析功能,支持对各研究中心数据管理子系统整合后的实验数据进行交互式的统计和分析;
数据可视化子系统,用于数据库中的汇总数据提供给授权用户浏览进行可视化浏览;
用户管理子系统,用于为不同的用户提供统一的登录门户,且为不同的用户分配不同的用户登陆权限,根据不同的用户权限访问不同的功能模块;
数据核查子系统,用于按照不同维度提供各研究分中心的实验数据报表,并查询实验数据分类构成,以提供数据核查者迅速筛选出被查的实验数据。
进一步地,所述数据智能分析子系统包括:
实时查询单元,用于系统管理者与用户对数据进行基于浏览器的实施查询。
联机监控单元,对各研究室(部)分节点的数据的状态进行实时的监控,并提供管理员基于浏览器界面的查询。
数据挖掘单元,面对积累的大量的实验数据,基于文件的提取属性,进行综合的分析,并挖掘其使用的价值,也是系统需要实现的功能。
数据预警单元,各研究室(部)分节点的运行状态、集中存储的状态等情况进行预警,并形成统计报告提供管理员查询。
进一步地,所述数据核查子系统包括:
数据浏览单元,实现基于不同维度的数据浏览的功能。
数据导出单元,基于数据的浏览结果,导出数据,提供存档或者分析。
基础数据设置单元,此单元是系统运行的基础信息,提供日期、界面风格、查询与浏览设置等基础设置信息。
本发明还提供了一种安全与智能化的实验数据管理方法,包括如下步骤:
各研究室(部)分节点管理员通过系统设置研究组基础设置与学科分类,在本地建立顶级数据存储目录,并同步到上级存储中心。并设置各研究室(部)分节点数据存储路径和空间,建立分节点使用用户、权限与调整最大可使用空间。同时将数据存储路径和空间分配给指定的用户。
科研人员通过智能化应用包子系统将应用包部署在研究分中心数据管理子系统,通过一键式上传功能,将数据源上传至数据资源中心子系统;
数据资源中心子系统对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中。
各研究室(部)分中心数据管理子系统中普通用户数据通过缓存目录、存储目录、共享目录进行存储。系统数据和程序数据通过应用目录、数据库目录、系统目录、备份目录进行存储。
在各研究室(部)分中心所有目录统一在xampp目录下,该目录挂载在本地存储上。在xampp目录下包含api、caches、html、install、cms、sso_server、statics、uploadfile、backupfile、application、database、program目录。具体包括:
(1)api目录用于存储各子程序的调用基础接口程序,提供各子程序调用,在操作系统级只有administrator或者root用有read、write与execute权限。
(2)caches目录用于存储实验数据文件、系统数据与应用数据缓存数据,其中实验数据文件进行验证后自动存储到uploadfile目录中。在caches目录下包括:caches_admin、caches_commons、caches_content、caches_linkage、caches_member、caches_model、caches_search、caches_template、caches_tpl_data、file、sessions、temp_files用于存储对应的缓存数据。
(3)html目录用于存储程序文件的静态页面数据,在操作系统级只有administrator或者root用有read、write与execute权限。
(4)install目录用于存储程序安装时需要的文件与基础配置数据,包括:CSS、Main、Step目录,用于支撑系统安装,并提供系统卸载数据。
(5)cms目录用于存储第三方plugin、libs与languages的语言支持,并按模块存储运行程序,同时包括:modules、templates目录,用于存储各模块原始程序与模板,在modules下,包括:admin、announce、attachment、block、collection、comment、content、dbsource、formguide、link、member、message、mood、pay、poster、release、scan、search、sms、special、tag、template、upgrade、wap,在操作系统级只有administrator或者root用有read、write与execute权限。
(6)server目录,用于存储各研究室(部)分节点服务器的基础配置数据。
(7)uploadfile目录,用于按用户存储实验数据文件,包括:poster、upfilecaches、uploadcaches目录。在操作系统级只有administrator或者root用有read、write与execute权限。
(8)backupfile目录,用于存储应用、数据库和实验数据文件的备份文件,通过在系统安装时设置完成的自动备份机制,实现自动备份并声称备份文件。在操作系统级只有administrator或者root用有read、write与execute权限。
(9)application,用于存储应用文件数据,在操作系统级只有administrator或者root用有read、write与execute权限。
(10)database,用于存储数据库相关的文件与基础配置数据,在操作系统级只有administrator或者root用有read、write与execute权限。
(11)program,用于存储基于用户开发的程序文件数据,在操作系统级只有administrator或者root用有read、write与execute权限。
在集中数据存储中心,从各研究室(部)分分节点同步与抽取上来的数据统一存储在data目录下,data目录挂载在存储上。在data目录下包含caches、home、subdata、application、database、backupdata、databackupsys目录。具体包括:
(1)caches目录用于存储同步与抽取缓存文件,并按照各研究室(部)分中心节点配置,同步到data目录中。
(2)home目录,与操作系统目录保持一致,在每个用户的目录下都包含desktop和software目录。其中desktop目录下存储操作系统用户桌面数据。Software目录下存储用户在在操作系统安装的应用软件。
(3)subdata,用于存储各研究室(部)分节点的实验数据文件,如subdataA目录存储A研究室(部)抽取或者同步上来的数据。
(4)application,用于存储集中数据存储中心的应用目录。
(5)database,用户存储集中数据存储中心的数据文件、数据库管理软件与基础配置文件。
(6)backupdata,用于按照分类存储集中数据存储中心的备份文件与各分中心的系统基础配置文件。
(7)databackupsys,用于存储系统备份文件,主要包括应用与操作系统备份文件。
系统管理员对系统运行状态实时监控,并对管理者与普通用户进行权限区分,其中,普通用户只能上传实验数据,不能对数据进行编辑与删除操作,管理者无法进行实验数据删除;
授权用户通过数据可视化子系统对数据库中的汇总数据进行可视化浏览,通过数据智能分析子系统完成数据的交互式的统计和分析,通过数据核查子系统完成实验数据的报表汇总。
较现有技术相比,本发明具有以下优点:
1、本发明通过一键式的安装及数据上传功能,极大地减轻了科研人员的安装、上传的负担,有效地保护了科研人员的有效工作时间,变向提升科研工作的工作效率。
2、本发明通过数据资源中心子系统对来自不同研究分中心的不同格式的化学、物理实验结果进行分类存储,拓宽了数据储存系统的多元性,方便在未来的数据核查的过程中分门别类的可视化检阅。
3、通过在网络、操作系统和应用端均设置的安全控制子系统,有效地保证实验数据的真实可靠性,极大地降低了学术造假的可能。
4、对于研究机构来说,以保护知识产权为基础的实验数据分散存储为基础,在研究分中心确认后实现实验数据集中管理,既能使研究机构管理者实时了解全局实验数据存储方向,以提供决策层进行全局科研方向把握,又能以管理者角度实现实验数据的真实性与准确性监督,并通过数据展示与分析平台,按要求形成数据分析与统计报告。
5、对于研究分中心来说,可以实现实验数据的按照访问权限控制的集中长期存储,以解决学生毕业或者职工工作变化导致的实验数据的丢失,或者由于分中心内部人力不足管理疏散导致的实验数据保留不完整。
6、对于每位科研人员来讲,系统化的存储实验数据,有利于对数据进行检索分析,形成历史积累,发现未来的亮点。同时由于根据服务器时间进行存储,可实现对知识产权的保护。
基于上述理由本发明可在实验数据管理技术领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种安全与智能化的实验数据管理系统模块图。
图2为本发明一种安全与智能化的实验数据管理方法流程图。
图3为本发明管理员与用户端功能直观图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,本发明提供了一种安全与智能化的实验数据管理系统,包括:
研究分中心数据管理子系统,其包括:
数据提取单元,用于提取数据源,并将其发送至数据发送单元,所述数据源包括实验过程中得到的基础实验数据和用户的基本资料数据,
数据发送单元,用于将数据提取单元提取到的数据源发送至数据资源中心子系统;
数据资源中心子系统,用于对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中,其包括:
数据接收单元,用于接收各研究分中心服务端的发送单元发送的数据源并将其发送至数据处理单元,还用于向研究分中心数据管理子系统发送获取上传数据成功的反馈数据信息,
数据处理单元,用于对数据源进行抽取、转换、加载等处理操作,将数据源转换为可存储格式,
数据汇总单元,用于按时间顺序将同一类型实验数据信息进行汇总存储,得到统一类型实验数据的对比图,提供管理者进行核查与分析;
安全控制子系统,用于对操作系统安全性实现逐级控制,实现在操作系统层与应用层对系统进行安全防护并实现基础实验数据加密上传及存储,保证操作系统层无法进行基础实验数据浏览与检索,其包括:
监控单元,用于对管理员和用户操作以及系统运行状态进行实时监控,并形成管理员操作日志,形成分析报告,并建立审计模块,提供基于用户端的查询与浏览,并在系统出现异常时,提供异常原因分析数据,
数据加密、解密单元,用于用户上传存储和下载数据进行加密和解密处理,保证即使管理员在基于操作系统级的文件管理,也不能对进行修改,保证基础实验数据文件的真实性,并保证基础实验数据文件被基于操作系统级被盗用后,实验结果不外泄和被恶意使用,
文件控制单元,用于通过对管理者与普通用户的权限区分实现上传文件的真实性,其中,普通用户只能上传实验数据,不能对数据进行编辑与删除操作,当确实需要删除某些数据时,数据只能由管理员删除到系统回收站,设置为删除文件属性,不能实际删除。
所述数据处理单元对数据源具体操作为:
在用户端数据上传进行网络集中存储,首先进行文件特征数据抽取,将抽取到的文件特征存储于关系型数据库中,并可通过数据库view的方式在客户端进行快速查询;
在对文件属性进行基本分析后,根据不同的文件格式将文件上传至服务器缓存,并将缓存基本数据存储于关系型数据库中,同时生成xml基础配置文件;
将文件格式进行系统层统一,并加密存储在服务器存储中;
在用户再次读取与加载文件时,系统对存储的文件基础属性进行文件复原,并下载到用户端提供浏览。
基于以下数据库中表与表之间的关系和程序方法实现数据的抽取、转换和用户再次加载,其中,
FileType表,用来存储抽取到的文件的特征属性,每个特征属性都有一个唯一的FileTypeId来标识;
FileCache表:用来存储上传的服务器文件的Cache数据,每个缓存属性都有一个唯一的FileCacheId来标识;
FileOperation表:用来存储系统文件操作基础信息,每条操作都有一个唯一的FileOperationId来标识;
FileAttachment表:用来存储文件使用基础信息,每条操作都有一个唯一的FileAttachmentId来标识。
应用包通过智能化应用包子系统完成在研究分中心服务端的自动化一键免配置部署,通过点击setup文件web服务与数据库自动安装到服务器上,并完成操作系统、web服务和数据库配置;
所述研究分中心数据管理子系统应用于数据的基础设置、存储配额与预警、目录结构设置、用户管理、备份管理、访问行为审计、文件恢复与回收,其中,在系统进行一键安装时,setup程序自动配置操作系统级的备份任务设置,用户不需要任何操作,系统每天自动进行数据库与实验数据文件的本地、异地备份。
所述安全控制子系统还包括:
网络访问控制单元,用于通过防火墙、路径检测硬件设备与软件操作系统、web服务、程序代码进行集成实现实验数据的网络保护,通过对访问来源进行统计分析,实现对风险访问进行预判,同时根据预判提供网络安全设置参数提出调整建议。
所述实验数据管理系统还包括:
数据智能分析子系统,用于提供查询和多维分析功能,支持对各研究中心数据管理子系统整合后的数据进行交互式的统计和分析;
数据可视化子系统,用于数据库中的汇总数据提供给授权用户浏览进行可视化浏览;实验数据可视化的表现形式包括不仅限于报表设计、报表发布、报表订阅以及报表查看。实验数据可视化已成为数据最直观和生动的展示方式,有助于用户迅速抓住数据传递的信息。
用户管理子系统,用于为不同的用户提供统一的登录门户,且为不同的用户分配不同的用户登陆权限,根据不同的用户权限访问不同的功能模块;
数据核查子系统,用于按照不同维度提供各研究分中心的实验数据报表,并查询实验数据分类构成,以提供数据核查者迅速筛选出被查的实验数据。
数据核查子系统会按年度、用户、目录不同维度提供各研究分中心的实验数据报表。并可查询实验数据分类构成,以提供数据核查者迅速筛选出被查的实验数据。并且报表与筛选结果不仅基于PC端显示,为了向决策层汇报与演示,还可提供LED显示屏显示。
同时为适应移动技术的普及,移动端的显示更加简洁与自适应性。
数据核查模块主要是对研究分中心数据进行晒选与核查,主要包含以下维度:
1.基本数据包括:研究分中心名称、目录名称、存储位置、年份等;
2.列表属性:序号、目录结构、拥有者、目录名称、年份、实验数据文件名称、操作系统路径、访问权限等;
3.核查者行为:报表名称、自定义导出行为等
所述数据智能分析子系统包括:
实时查询单元,用于系统管理者与用户对数据进行基于浏览器的实施查询;
联机监控单元,对各研究室/部分节点的数据的状态进行实时的监控,并提供管理员基于浏览器界面的查询;
数据挖掘单元,用于在面对积累的大量的实验数据时,基于文件的提取属性,进行综合的分析,并挖掘其使用的价值;
数据预警单元,各研究室/部分节点的运行状态、集中存储的状态等情况进行预警,并形成统计报告提供管理员查询。
所述数据核查子系统包括:
数据浏览单元,用于实现基于不同维度的数据浏览;
数据导出单元,用于基于数据的浏览结果,导出数据,提供存档或者分析;
基础数据设置单元,用于提供包括日期、界面风格、查询与浏览设置的基础设置信息。
如图2所示,各研究室/部分节点管理员设置研究组基础设置与学科分类,在本地建立顶级数据存储目录,并同步到上级存储中心,设置各研究室/部分节点数据存储路径和空间,建立分节点使用用户、权限与调整最大可使用空间,同时将数据存储路径和空间分配给指定的用户;
科研人员通过智能化应用包子系统将应用包部署在研究分中心数据管理子系统,通过一键式上传功能,将数据源上传至数据资源中心子系统;
数据资源中心子系统对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中;
如图3所示,系统管理员对系统运行状态实时监控,并对管理者与普通用户进行权限区分,其中,普通用户只能上传实验数据,不能对数据进行编辑与删除操作,管理者无法进行实验数据删除;
授权用户通过数据可视化子系统对数据库中的汇总数据进行可视化浏览,通过数据智能分析子系统完成数据的交互式的统计和分析,通过数据核查子系统完成实验数据的报表汇总。
所述数据资源中心子系统对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中,具体为:
各研究室/部分中心数据管理子系统中普通用户数据通过缓存目录、存储目录、共享目录进行存储,系统数据和程序数据通过应用目录、数据库目录、系统目录、备份目录进行存储;
在各研究室/部分中心所有目录统一挂载在本地存储上,其具体包括api、caches、html、install、cms、sso_server、statics、uploadfile、backupfile、application、database、program目录,
其中,
所述api目录,用于存储各子程序的调用基础接口程序,提供各子程序调用,
caches目录,用于存储实验数据文件、系统数据与应用数据缓存数据,其中实验数据文件进行验证后自动存储到uploadfile目录中,
html目录,用于存储程序文件的静态页面数据,
install目录,用于存储程序安装时需要的文件与基础配置数据,
cms目录,用于存储第三方plugin、libs与languages的语言支持,并按模块存储运行程序,
server目录,用于存储各研究室/部分节点服务器的基础配置数据,
uploadfile目录,用于按用户存储实验数据文件,
backupfile目录,用于存储应用、数据库和实验数据文件的备份文件,通过在系统安装时设置完成的自动备份机制,实现自动备份并声称备份文件,
application目录,用于存储应用文件数据,
database目录,用于存储数据库相关的文件与基础配置数据,
program目录,用于存储基于用户开发的程序文件数据,
在集中数据存储中心,从各研究室/部分节点同步与抽取上来的数据统一存储在data目录下,data目录挂载在存储上,所述data目录下包含cachesⅡ、home、subdata、applicationⅡ、databaseⅡ、backupdata、databackupsys目录,具体为:
所述cachesⅡ目录,用于存储同步与抽取缓存文件,并按照各研究室/部分中心节点配置,同步到data目录中;
home目录,与操作系统目录保持一致,在每个用户的目录下都包含desktop和software目录,其中desktop目录下存储操作系统用户桌面数据,Software目录下存储用户在在操作系统安装的应用软件;
subdata目录,用于存储各研究室/部分节点同步的实验数据文件;
applicationⅡ目录,用于存储集中数据存储中心的应用目录;
databaseⅡ目录,用于用户存储集中数据存储中心的数据文件、数据库管理软件与基础配置文件;
backupdata目录,用于按照分类存储集中数据存储中心的备份文件与各分中心的系统基础配置文件;
databackupsys目录,用于存储系统备份文件,包括应用与操作系统备份文件
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种安全与智能化的实验数据管理系统,其特征在于,包括:
研究分中心数据管理子系统,其包括:
数据提取单元,用于提取数据源,并将其发送至数据发送单元,所述数据源包括实验过程中得到的基础实验数据和用户的基本资料数据,
数据发送单元,用于将数据提取单元提取到的数据源发送至数据资源中心子系统;
数据资源中心子系统,用于对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中,其包括:
数据接收单元,用于接收各研究分中心服务端的发送单元发送的数据源并将其发送至数据处理单元,还用于向研究分中心数据管理子系统发送获取上传数据成功的反馈数据信息,
数据处理单元,用于对数据源进行抽取、转换、加载等处理操作,将数据源转换为可存储格式,
数据汇总单元,用于按时间顺序将同一类型实验数据信息进行汇总存储,得到统一类型实验数据的对比图,提供管理者进行核查与分析;
安全控制子系统,用于对操作系统安全性实现逐级控制,实现在操作系统层与应用层对系统进行安全防护并实现基础实验数据加密上传及存储,保证操作系统层无法进行基础实验数据浏览与检索,其包括:
监控单元,用于对管理员和用户操作以及系统运行状态进行实时监控,并形成管理员操作日志,形成分析报告,并建立审计模块,提供基于用户端的查询与浏览,并在系统出现异常时,提供异常原因分析数据,
数据加密、解密单元,用于用户上传存储和下载数据进行加密和解密处理,保证即使管理员在基于操作系统级的文件管理,也不能对进行修改,保证基础实验数据文件的真实性,并保证基础实验数据文件被基于操作系统级被盗用后,实验结果不外泄和被恶意使用,
文件控制单元,用于通过对管理者与普通用户的权限区分实现上传文件的真实性,其中,普通用户只能上传基础实验数据,不能对数据进行编辑与删除操作,当确实需要删除某些数据时,数据只能由管理员删除到系统回收站,设置为删除文件属性,不能实际删除。
2.根据权利要求1所述的一种安全与智能化的实验数据管理系统,其特征在于,所述数据处理单元对数据源具体操作为:
在用户端数据上传进行网络集中存储,首先进行文件特征数据抽取,将抽取到的文件特征存储于关系型数据库中,并通过数据库view的方式在客户端进行快速查询;
在对文件属性进行基本分析后,根据不同的文件格式将文件上传至服务器缓存,并将缓存基本数据存储于关系型数据库中,同时生成xml基础配置文件;
将文件格式进行系统层统一,并加密存储在服务器存储中;
在用户再次读取与加载文件时,系统对存储的文件基础属性进行文件复原,并下载到用户端提供浏览。
3.根据权利要求2所述的一种安全与智能化的实验数据管理系统,其特征在于,基于以下数据库中表与表之间的关系和程序方法实现数据的抽取、转换和用户再次加载,其中,
FileType表,用来存储抽取到的文件的特征属性,每个特征属性都有一个唯一的FileTypeId来标识;
FileCache表:用来存储上传的服务器文件的Cache数据,每个缓存属性都有一个唯一的FileCacheId来标识;
FileOperation表:用来存储系统文件操作基础信息,每条操作都有一个唯一的FileOperationId来标识;
FileAttachment表:用来存储文件使用基础信息,每条操作都有一个唯一的FileAttachmentId来标识。
4.根据权利要求1所述的一种安全与智能化的实验数据管理系统,其特征在于,应用包通过智能化应用包子系统完成在研究分中心服务端的自动化一键免配置部署,通过点击setup文件web服务与数据库自动安装到服务器上,并完成操作系统、web服务和数据库配置;
所述研究分中心数据管理子系统应用于数据的基础设置、存储配额与预警、目录结构设置、用户管理、备份管理、访问行为审计、文件恢复与回收,其中,在系统进行一键安装时,setup程序自动配置操作系统级的备份任务设置,用户不需要任何操作,系统每天自动进行数据库与实验数据文件的本地、异地备份。
5.根据权利要求1所述的一种安全与智能化的实验数据管理系统,其特征在于,所述安全控制子系统还包括:
网络访问控制单元,用于通过防火墙、路径检测硬件设备与软件操作系统、web服务、程序代码进行集成实现实验数据的网络保护,通过对访问来源进行统计分析,实现对风险访问进行预判,同时根据预判提供网络安全设置参数提出调整建议。
6.根据权利要求1所述的一种安全与智能化的实验数据管理系统,其特征在于,所述实验数据管理系统还包括:
数据智能分析子系统,用于提供查询和多维分析功能,支持对各研究中心数据管理子系统整合后的实验数据进行交互式的统计和分析;
数据可视化子系统,用于数据库中的汇总数据提供给授权用户浏览进行可视化浏览;
用户管理子系统,用于为不同的用户提供统一的登录门户,且为不同的用户分配不同的用户登陆权限,根据不同的用户权限访问不同的功能模块;
数据核查子系统,用于按照不同维度提供各研究分中心的实验数据报表,并查询实验数据分类构成,以提供数据核查者迅速筛选出被查的实验数据。
7.根据权利要求6所述的一种安全与智能化的实验数据管理系统,其特征在于,所述数据智能分析子系统包括:
实时查询单元,用于系统管理者与用户对数据进行基于浏览器的实施查询;
联机监控单元,对各研究室/部分节点的数据状态进行实时的监控,并提供管理员基于浏览器界面的查询;
数据挖掘单元,用于在面对积累的大量的实验数据时,基于文件的提取属性,进行综合的分析,并挖掘其使用的价值;
数据预警单元,各研究室/部分节点的运行状态、集中存储的状态等情况进行预警,并形成统计报告提供管理员查询。
8.根据权利要求6所述的一种安全与智能化的实验数据管理系统,其特征在于,所述数据核查子系统包括:
数据浏览单元,用于实现基于不同维度的数据浏览;
数据导出单元,用于基于数据的浏览结果,导出数据,提供存档或者分析;
基础数据设置单元,用于提供包括日期、界面风格、查询与浏览设置的基础设置信息。
9.一种安全与智能化的实验数据管理方法,包括如下步骤:
各研究室/部分节点管理员设置研究组基础设置与学科分类,在本地建立顶级数据存储目录,并同步到上级存储中心,设置各研究室/部分节点数据存储路径和空间,建立分节点使用用户、权限与调整最大可使用空间,同时将数据存储路径和空间分配给指定的用户;
科研人员通过智能化应用包子系统将应用包部署在研究分中心数据管理子系统,通过一键式上传功能,将数据源上传至数据资源中心子系统;
数据资源中心子系统对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中;
系统管理员对系统运行状态实时监控,并对管理者与普通用户进行权限区分,其中,普通用户只能上传实验数据,不能对数据进行编辑与删除操作,管理者无法进行实验数据删除;
授权用户通过数据可视化子系统对数据库中的汇总数据进行可视化浏览,通过数据智能分析子系统完成数据的交互式的统计和分析,通过数据核查子系统完成实验数据的报表汇总。
10.根据权利要求9所述的一种安全与智能化的实验数据管理方法,其特征在于,所述数据资源中心子系统对来源于各研究分中心数据管理子系统中的不同存储格式的数据源进行采集并汇总,并通过数据分析同步到不同学科的相关数据库中,具体为:
各研究室/部分中心数据管理子系统中普通用户数据通过缓存目录、存储目录、共享目录进行存储,系统数据和程序数据通过应用目录、数据库目录、系统目录、备份目录进行存储;
在各研究室/部分中心所有目录统一挂载在本地存储上,其具体包括api、caches、html、install、cms、sso_server、statics、uploadfile、backupfile、application、database、program目录,
其中,
所述api目录,用于存储各子程序的调用基础接口程序,提供各子程序调用,
caches目录,用于存储实验数据文件、系统数据与应用数据缓存数据,其中实验数据文件进行验证后自动存储到uploadfile目录中,
html目录,用于存储程序文件的静态页面数据,
install目录,用于存储程序安装时需要的文件与基础配置数据,
cms目录,用于存储第三方plugin、libs与languages的语言支持,并按模块存储运行程序,
server目录,用于存储各研究室/部分节点服务器的基础配置数据,
uploadfile目录,用于按用户存储实验数据文件,
backupfile目录,用于存储应用、数据库和实验数据文件的备份文件,通过在系统安装时设置完成的自动备份机制,实现自动备份并声称备份文件,
application目录,用于存储应用文件数据,
database目录,用于存储数据库相关的文件与基础配置数据,
program目录,用于存储基于用户开发的程序文件数据,
在集中数据存储中心,从各研究室/部分节点同步与抽取上来的数据统一存储在data目录下,data目录挂载在存储上,所述data目录下包含cachesⅡ、home、subdata、applicationⅡ、databaseⅡ、backupdata、databackupsys目录,具体为:
所述cachesⅡ目录,用于存储同步与抽取缓存文件,并按照各研究室/部分中心节点配置,同步到data目录中;
home目录,与操作系统目录保持一致,在每个用户的目录下都包含desktop和software目录,其中desktop目录下存储操作系统用户桌面数据,Software目录下存储用户在在操作系统安装的应用软件;
subdata目录,用于存储各研究室/部分节点同步的实验数据文件;
applicationⅡ目录,用于存储集中数据存储中心的应用目录;
databaseⅡ目录,用于用户存储集中数据存储中心的数据文件、数据库管理软件与基础配置文件;
backupdata目录,用于按照分类存储集中数据存储中心的备份文件与各分中心的系统基础配置文件;
databackupsys目录,用于存储系统备份文件,包括应用与操作系统备份文件。
CN201811270648.5A 2018-10-29 2018-10-29 一种安全与智能化的实验数据管理系统及方法 Active CN111104680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811270648.5A CN111104680B (zh) 2018-10-29 2018-10-29 一种安全与智能化的实验数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811270648.5A CN111104680B (zh) 2018-10-29 2018-10-29 一种安全与智能化的实验数据管理系统及方法

Publications (2)

Publication Number Publication Date
CN111104680A true CN111104680A (zh) 2020-05-05
CN111104680B CN111104680B (zh) 2022-02-11

Family

ID=70420064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811270648.5A Active CN111104680B (zh) 2018-10-29 2018-10-29 一种安全与智能化的实验数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN111104680B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784309A (zh) * 2020-07-17 2020-10-16 了信信息科技(上海)有限公司 一种用于医药研发领域的数据管理平台及方法
CN111881111A (zh) * 2020-07-21 2020-11-03 清华大学 力与流场相关性实验数据库系统,数据处理系统和处理方法
CN112650901A (zh) * 2020-12-24 2021-04-13 浙江海露空旅游发展有限责任公司 一种具有验证功能可以进行数据分类的科研共享系统
CN113011843A (zh) * 2021-03-17 2021-06-22 上海谱趣信息科技有限公司 一种代谢组学实验自动化操作系统以及工作方法
CN116383136A (zh) * 2023-02-03 2023-07-04 北京联合伟世科技股份有限公司 实验资源的管理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201465108U (zh) * 2009-03-18 2010-05-12 中国工商银行股份有限公司 对全量源数据进行抽取转换加载的装置
CN103078959A (zh) * 2013-02-06 2013-05-01 浪潮电子信息产业股份有限公司 一种保护云存储数据安全的加密解密方法
CN103326999A (zh) * 2012-12-14 2013-09-25 无锡华御信息技术有限公司 一种基于云服务的文件安全管理系统
EP3182383A1 (de) * 2015-12-16 2017-06-21 Landis+Gyr AG Datensammelvorrichtung sowie verfahren zu deren betrieb mit hybridem sicherheitsmodus
CN107908778A (zh) * 2017-12-04 2018-04-13 杭州华量软件有限公司 一种智慧商场大数据管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201465108U (zh) * 2009-03-18 2010-05-12 中国工商银行股份有限公司 对全量源数据进行抽取转换加载的装置
CN103326999A (zh) * 2012-12-14 2013-09-25 无锡华御信息技术有限公司 一种基于云服务的文件安全管理系统
CN103078959A (zh) * 2013-02-06 2013-05-01 浪潮电子信息产业股份有限公司 一种保护云存储数据安全的加密解密方法
EP3182383A1 (de) * 2015-12-16 2017-06-21 Landis+Gyr AG Datensammelvorrichtung sowie verfahren zu deren betrieb mit hybridem sicherheitsmodus
CN107908778A (zh) * 2017-12-04 2018-04-13 杭州华量软件有限公司 一种智慧商场大数据管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙群: "智能化自主实验平台综合运行管理系统的探索", 《实验技术与管理》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784309A (zh) * 2020-07-17 2020-10-16 了信信息科技(上海)有限公司 一种用于医药研发领域的数据管理平台及方法
CN111881111A (zh) * 2020-07-21 2020-11-03 清华大学 力与流场相关性实验数据库系统,数据处理系统和处理方法
CN112650901A (zh) * 2020-12-24 2021-04-13 浙江海露空旅游发展有限责任公司 一种具有验证功能可以进行数据分类的科研共享系统
CN113011843A (zh) * 2021-03-17 2021-06-22 上海谱趣信息科技有限公司 一种代谢组学实验自动化操作系统以及工作方法
CN113011843B (zh) * 2021-03-17 2024-06-07 上海谱趣信息科技有限公司 一种代谢组学实验自动化操作系统以及工作方法
CN116383136A (zh) * 2023-02-03 2023-07-04 北京联合伟世科技股份有限公司 实验资源的管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111104680B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111104680B (zh) 一种安全与智能化的实验数据管理系统及方法
CN107818150B (zh) 一种日志审计方法及装置
CN112765245A (zh) 一种电子政务大数据处理平台
US9767171B2 (en) Method and system for implementing an operating system hook in a log analytics system
JP4024426B2 (ja) ネットワーク・ユーザによるウェブ・サイトの使用パターンの特性を記述し視覚化する方法
US8930402B1 (en) Systems and methods for automatic collection of data over a network
CN102708152A (zh) 一种电子证据的综合管理方法
CN112632135A (zh) 一种大数据平台
US8260813B2 (en) Flexible data archival using a model-driven approach
CN107423101A (zh) 一种应用程序插件网格化发布与管理方法及系统
JP2009540461A (ja) 宣言型管理フレームワーク(declarativemanagementframework)
CN113238736A (zh) 一种生成集成平台的方法
US11748495B2 (en) Systems and methods for data usage monitoring in multi-tenancy enabled HADOOP clusters
EP1250669A1 (en) Data warehouse computing system
CN104361007B (zh) 浏览器及其收藏夹的处理方法
CN111048164A (zh) 一种医学大数据长期保存系统
CN113486095A (zh) 一种民航空管跨网安全数据交换管理平台
CN106778136B (zh) 一种甄别绕行登录事件的审计方法
CN108763245A (zh) 一种基于ntfs系统文件标签的文档管理方法及系统
KR20110070767A (ko) 네트워크 기반 원격 포렌식 시스템
CN111581670B (zh) 数据生命周期管理方法
JP2007200047A (ja) アクセスログ表示システムおよび方法
CN113205309A (zh) 基于私有云的复杂表格文件多人协作方法
JP5500859B2 (ja) 環境関連情報集計分析システム。
CN107181800A (zh) 一种状态监测媒体数据的Web实时共享实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant