CN106060017A - 一种数据管控的云平台及方法 - Google Patents

Abstract

本发明公开了一种数据管控的云平台及方法，其中，所述云平台包括数据存储模块，用于同步原始数据并进行存储和备份；数据共享模块，用于将所述原始数据在目标用户组中共享；数据处理模块，用于响应用户发来的数据处理指令，调用平台数据处理资源集对所述原始数据进行处理，获得处理后的数据；数据渲染模块，用于从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。本发明提供的一种数据管控的云平台及方法，能够简化数据管控的流程，从而提高数据管控的效率。

Description

一种数据管控的云平台及方法

技术领域

本发明涉及云计算技术领域，具体涉及一种数据管控的云平台及方法。

背景技术

随着生命科学领域数据采集技术、存储技术以及计算技术的不断发展，为了满足海量数据的计算需求，大部分科研单位都搭建了独立的高性能计算平台，该平台能满足科研人员存储、计算、展示科研数据的需求。

目前，科研人员往往通过人工拷贝的方式将科研过程中产生的海量数据拷贝到存储系统中，以对海量的科研数据进行统一的存储管理。由于生命科学领域是一个高度交叉的学科，研究者之间的科研合作非常密切，如果要与其他科研单位合作，那么则需将数据拷贝到移动硬盘中，然后将移动硬盘邮寄给合作单位，合作单位将数据处理好后再将数据通过移动硬盘返还。由此可见，整个数据共享的过程需要经过多次的数据拷贝，导致数据共享的效率十分低下。

此外，目前科研单位高性能计算平台往往是基于Linux操作系统开发的，用户在使用该计算平台时，往往需要通过命令行的形式提交计算作业，等计算完成后再进行结果展示。如果用户想远程处理和分析数据，则需要借助VPN等技术与该计算平台间建立联系后，再通过指定客户端登录到该计算平台才可以提交计算作业。在计算完成之后，计算的结果需要再远程连接到高性能的图形工作站上进行渲染，以向用户展示渲染后的图像数据。由此可见，通过命令行的形式提交计算作业，需要使用者熟悉作业调度系统及Linux相关命令，导致用户使用该计算平台的学习成本较高。另外，对计算的结果进行渲染时，通常需要高性能的图形工作站才能完成，这使得用户不能在自己的工位上完成对计算结果的渲染过程，使得整个数据管控的过程异常繁琐。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本发明的目的在于提供一种数据管控的云平台及方法，以简化数据管控的流程，从而提高数据管控的效率。

为实现上述目的，本发明一方面提供一种数据管控的云平台，具体地，该云平台包括数据存储模块、数据共享模块、数据处理模块以及数据渲染模块，其中：所述数据存储模块，用于同步原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份；所述数据共享模块，用于接收至少一个用户的数据访问请求，根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享；所述数据处理模块，用于响应用户发来的数据处理指令，调用平台的数据处理资源集对所述原始数据进行处理，获得处理后的数据；所述数据渲染模块，用于从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。

为实现上述目的，本发明另一方面还提供一种数据管控的方法，所述方法包括：同步原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份；接收至少一个用户的数据访问请求，根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享；响应用户发来的数据处理指令，调用平台数据处理资源集对所述原始数据进行处理，获得处理后的数据；从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。

本发明提供的一种数据管控的云平台及方法具有如下优点：

本发明针对生命科学领域科研数据分析的特点及需求，可将科研仪器产生的数据自动同步并进行存储和备份，相对原有手工拷贝方式更智能和安全。数据共享模块为不同的用户间快速建立科研合作关系，能够科研数据在不同的用户之间进行共享，相对现有技术中通过移动硬盘共享数据的方式，整个数据共享过程更快捷、安全，可极大地加快科研合作进程。此外，通过将数据处理所需的计算环境、应用软件等作为资源集预先集成于数据处理模块中，从而可以让用户无需安装处理科研数据所需的各种软件或者系统，而直接通过网页的方式提交计算作业并获取计算的结果。再者，通过数据渲染模块，可以将渲染图像数据所需的资源整合于资源池中，当需要对图像数据进行渲染时，可以调用相对应的资源来完成，而无需在本地配置高性能的图形工作站，提高了资源的利用率。

参照后文的说明和附图，详细公开了本申请的特定具体实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的具体实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的具体实施方式包括许多改变、修改和等同。

针对一种具体实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它具体实施方式中使用，与其它具体实施方式中的特征相组合，或替代其它具体实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

图1为本申请具体实施方式提供的一种数据管控的云平台的功能模块图；

图2为本申请具体实施方式提供的一种数据管控的方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请具体实施方式中的附图，对本申请具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本申请一部分具体实施方式，而不是全部的具体实施方式。基于本申请中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它具体实施方式，都应当属于本申请保护的范围。

请参阅图1。图1为本申请具体实施方式提供的一种数据管控的云平台的功能模块图。如图1所示，所述云平台可以包括数据存储模块10、数据共享模块20、数据处理模块30以及数据渲染模块40。在本具体实施方式中，所述云平台可以与科研设备通过预设的通信接口进行连接，这样，所述云平台便可以从所述科研设备处获取科研过程中生成的科研数据。

具体地，所述数据存储模块10可以用于采集原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份。

在本具体实施方式中，所述原始数据可以为科研设备在科研过程中生成的科研数据。在所述科研设备上可以安装多种科研系统，例如，对于磁共振成像技术而言，在其对应的科研设备上可以安装GE、Siemens或者Philips等磁共振扫描系统。这些系统产生的科研数据可以作为所述原始数据，被所述数据存储模块10通过预设的通信接口从所述科研设备中同步。在本具体实施方式中，所述数据存储模块10可以将所述原始数据存储于临时的存储空间中，这样当用户对所述原始数据进行读取时，可以提高数据读取的速度。在将所述原始数据存储于临时的存储空间中时，所述数据存储模块10还可以对采集的所述原始数据进行备份。具体地，所述数据存储模块10可以将所述原始数据备份于预设的存储系统中。当所述临时的存储空间中的原始数据丢失时，还可以从所述预设的存储系统中获取备份的原始数据，这样可以保证原始数据的完整性和安全性。

在本具体实施方式中，所述数据存储模块10在对原始数据进行存储和备份之前，为了区分不同的原始数据，可以为采集的原始数据分配对应的数据标识。所述数据标识可以为按照预设规则编写的字符串，例如，所述数据标识可以为根据采集原始数据的时间信息，通过哈希函数生成的一串哈希值。在本申请一具体实施方式中，所述原始数据中往往存在信息栏，在所述信息栏中可以包含该原始数据对应的科研人员或者医患人员对应的信息参数，所述信息参数例如可以为科研人员或者医患人员对应的人名以及该原始数据生成的日期。这样，在本申请该具体实施方式中，所述数据存储模块10可以包括：

扫描提取模块11，用于对采集的所述原始数据中的信息栏进行扫描，并提取所述信息栏中的信息参数，并将所述信息参数确定为所述原始数据的数据标识；

文件名修正模块12，用于将所述原始数据的文件名修正为包含所述信息参数的字符串。

这样，所述原始数据对应的数据标识即可以为注明了人名和日期的文件名。将携带了文件名的原始数据进行存储和备份时，只要将人名和日期作为筛选条件，便可以快速搜索到对应的原始数据。

在本具体实施方式中，所述原始数据往往需要经过不同专业人员的处理，才可以得到最终需要的结果。例如，在磁共振影像的科研中，科研数据在采集完成之后，往往需要专业的科研人员对采集的数据进行预处理，预处理的数据再交给计算背景的编程人员对数据进行复杂的科学计算分析，计算分析的结果可能再有专业医生进行评估。由此可见，对于同一份原始数据，对其进行访问的用户可能有很多个。因此，在本具体实施方式中，可以通过所述数据共享模块20来接收至少一个用户的数据访问请求，并可以根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享。

在本具体实施方式中，所述目标用户组可以为具备查看原始数据的权限的用户。例如，对于磁共振影像研究中的原始数据，该原始数据可以仅限于磁共振影像研究项目组的用户访问。那么在本申请一具体实施方式中，所述数据共享模块20可以包括：

权限认证模块21，用于获取所述至少一个用户对应的权限，并将获取的所述权限与待访问的原始数据的指定权限进行对比；

目标用户组确定模块22，用于将获取的所述权限与所述指定权限相匹配的用户确定为所述目标用户组中的用户。

在本具体实施方式中，各个用户均可以具备相应的权限，而每一份原始数据也可以具备相应的指定权限。这样，当所述数据共享模块20接收到多个用户发来的多个数据访问请求时，可以通过所述权限认证模块21识别各个用户对应的权限，并将识别的权限与待访问的原始数据的指定权限进行对比。在对比之后，可以通过所述目标用户组确定模块22将获取的权限与所述指定权限相匹配的用户定为所述目标用户组中的用户。这样便可以防止原始数据被其他人访问，而造成数据泄露的后果。

需要说明的是，在同一个项目组中的不同组员，其对应的权限的级别也可以不同，例如，项目组的组长可以具备绝对所有权，而其他组员仅具备访问数据的权限，而无法复制或者修改数据，这样可以进一步地提高数据共享的安全性。

在本具体实施方式中，所述原始数据可以经过不同的用户进行分步处理，例如上述的需要专业的科研人员对采集的数据进行预处理，预处理的数据再交给计算背景的编程人员对数据进行复杂的科学计算分析，计算分析的结果可能再有专业医生进行评估。这样，对所述原始数据进行处理的过程可以在本具体实施方式中的数据处理模块30中执行。在对所述原始数据进行处理时，根据处理步骤的不同，所需的计算环境、应用软件也往往不同。在本具体实施方式中，可以将处理原始数据所需的所有的计算环境和应用软件预先集成在所述数据处理模块30中，以构成数据处理资源集。这样，当用户向所述云平台下达数据处理指令时，所述数据处理模块30便可以用于响应用户发来的数据处理指令，根据预先集成的数据处理资源集对所述原始数据进行处理，从而获得处理后的数据。这样，无论用户使用的计算机本身是Windows还是Linux还是Mac的操作环境，也无论处理原始数据所需的是何种应用软件，所述数据处理模块30均可以从所述数据处理资源集中获取对应的计算环境和应用软件，以完成对所述原始数据的处理。

在本具体实施方式中，当对所述原始数据完成各个步骤的处理之后，可以将处理后的数据进行渲染，以生成与处理后的数据相对应的图像数据，渲染后的图像数据可以在用户使用的计算机的显示屏上进行显示。由于生命科学领域的渲染过程对计算机的要求较高，一般需要高性能的图形工作站才可以对处理后的数据进行渲染。在本具体实施方式中，为了避免给每个用户均配置高性能的图形工作站，而导致科研成本的巨大浪费，可以由数据渲染模块40完成对处理后的数据进行渲染的过程。在本具体实施方式中，所述数据渲染模块40可以预先获取与云平台相关联的多台计算机的资源，所述资源可以包括处理器资源、内存资源、显卡资源、硬盘资源等。这样，所述数据渲染模块40可以将多台计算机的资源构成资源池，在所述资源池中的各种资源可以根据需要自由组装，从而完成对处理后的数据的渲染过程。在用户的计算机上，只需要通过web页面，便可以查看渲染后的图像数据。

在本具体实施方式中，所述资源池中的各种类型的资源可以同时对多个数据进行渲染，例如，处理器A由于出色的性能，可以同时对数据A和数据B进行渲染的计算过程。这样便可以充分利用各种类型的资源，值得资源的利用率最大化。在本具体实施方式中，所述数据渲染模块40在对处理后的数据进行渲染时，可以根据当前资源的使用情况，选择负载较小的资源来完成渲染工作，以提高渲染的效率。具体地，所述数据渲染模块40可以包括：

资源类型确定模块41，用于确定所述处理后的数据所需的资源类型；

负载计算模块42，用于在预设资源池中获取与所述资源类型相符的资源集合，并计算获取的所述资源集合中各个资源对应的负载值；

目标资源确定模块43，用于将负载值最低的资源确定为所述处理后的数据对应的目标资源。

在本具体实施方式中，可以预先确定所述处理后的数据所需的资源类型。例如，渲染处理后的数据所需的资源类型为处理器资源、内存资源和显卡资源。那么在本具体实施方式中可以进一步地在所述预设资源池中查询包含处理器资源、内存资源以及显卡资源的资源集合。由于不同的资源当前的负载情况往往也不相同，因此可以计算所述资源集合中各个资源对应的负载值，所述负载值例如可以为CPU的使用率，内存的使用率以及显卡显存的使用率等。为了保证渲染过程的顺利进行，在本具体实施方式中可以将负载值最低的资源确定为所述处理后的数据对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，以得到渲染后的图像数据。

在本具体实施方式中，在利用所述云平台进行数据管控时，还可以对访问所述云平台的用户的身份进行认证，以防止所述云平台中的数据泄露。具体地，在本具体实施方式中，可以在所述云平台中设置用户认证模块00，所述用户认证模块00可以用于响应用户发来的认证请求，获取所述认证请求对应的网络地址，并判断所述网络地址是否存在于预设的网络地址白名单中，若存在，则通过所述用户的认证请求。举例来说明，允许访问所述云平台的网络地址白名单中可以预先录入多个用户使用的计算机的网络地址，所述网络地址可以为IP地址，也可以为计算机的MAC地址。这样，当用户使用计算机向云平台发出认证请求时，所述用户认证模块00可以判断发送该认证请求的网络地址是否存在于白名单中，如果存在，则可以通过所述认证请求，用户则可以进一步地通过输入账户和密码来对所述云平台进行访问；而如果网络地址不存在于白名单中，则可以拒绝所述认证请求。

在本具体实施方式中，所述用户在访问所述云平台时，仅需要注册一个账户，而不需要针对存储、计算、渲染等不同的模块注册不同的账户，账号密码通过LDAP进行用户统一认证，这样可以不需要用户记忆多套账户和密码，从而减轻了用户以及云平台管理员的负担。

在本具体实施方式中，所述云平台中还可以包括系统管理模块，所述系统管理模块可以用于管理云平台中生成的日志，以及可以管理所述云平台中运行的资源。

本申请还提供一种数据管控的方法。请参阅图2，所述方法可以包括以下步骤。

步骤S1：同步原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份；

步骤S2：接收至少一个用户的数据访问请求，根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享；

步骤S3：响应用户发来的数据处理指令，调用云平台数据处理资源集对所述原始数据进行处理，获得处理后的数据；

步骤S4：从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。

在本申请一优选具体实施方式中，为所述原始数据分配对应的数据标识具体可以包括：对同步的所述原始数据中的信息栏进行扫描，并提取所述信息栏中的信息参数，并将所述信息参数确定为所述原始数据的数据标识；将所述原始数据的文件名修正为包含所述信息参数的字符串。

在本申请一优选具体实施方式中，所述根据预设规则从所述至少一个用户中确定目标用户组具体可以包括：获取所述至少一个用户对应的权限，并将获取的所述权限与待访问的原始数据的指定权限进行对比；将获取的所述权限与所述指定权限相匹配的用户确定为所述目标用户组中的用户。

在本申请一优选具体实施方式中，所述从预设资源池中调用与所述处理后的数据相对应的目标资源具体包括：确定所述处理后的数据所需的资源类型；在预设资源池中获取与所述资源类型相符的资源集合，并计算获取的所述资源集合中各个资源对应的负载值；将负载值最低的资源确定为所述处理后的数据对应的目标资源。

在本申请一优选具体实施方式中，所述方法还可以包括：响应用户发来的认证请求，获取所述认证请求对应的网络地址；判断所述网络地址是否存在于预设的网络地址白名单中，若存在，则通过所述用户的认证请求。

需要说明的是，本说明书中的各个具体实施方式均采用递进的方式描述，各个具体实施方式之间相同相似的部分互相参见即可，每个具体实施方式重点说明的都是与其他具体实施方式的不同之处。尤其，对于方法具体实施方式而言，由于其基本相似于云平台具体实施方式，所以描述的比较简单，相关之处参见云平台具体实施方式的部分说明即可。

由上可见，本发明针对生命科学领域科研数据分析的特点及需求，可将科研仪器产生的数据自动进行存储和备份，相对原有手工拷贝方式更智能和安全。数据共享模块为不同的用户间快速建立科研合作关系，能够科研数据在不同的用户之间进行共享，相对现有技术中通过移动硬盘共享数据的方式，整个数据共享过程更快捷、安全，可极大地加快科研合作进程。此外，通过将数据处理所需的计算环境、应用软件等作为资源集预先集成于数据处理模块中，从而可以让用户无需安装处理科研数据所需的各种软件或者系统，而直接通过网页的方式提交计算作业并获取计算的结果。再者，通过数据渲染模块，可以将渲染图像数据所需的资源整合于资源池中，当需要对图像数据进行渲染时，可以调用相对应的资源来完成，而无需在本地配置高性能的图形工作站，提高了资源的利用率。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种数据管控的云平台，所述云平台包括数据存储模块、数据共享模块、数据处理模块以及数据渲染模块，其特征在于：

所述数据存储模块，用于同步原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份；

所述数据共享模块，用于接收至少一个用户的数据访问请求，根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享；

所述数据处理模块，用于响应用户发来的数据处理指令，调用平台数据处理资源集对所述原始数据进行处理，获得处理后的数据；

所述数据渲染模块，用于从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。

2.根据权利要求1所述的云平台，其特征在于，所述数据存储模块包括：

扫描提取模块，用于对同步的所述原始数据中的信息栏进行扫描，并提取所述信息栏中的信息参数，并将所述信息参数确定为所述原始数据的数据标识；

文件名修正模块，用于将所述原始数据的文件名修正为包含所述信息参数的字符串。

3.根据权利要求1所述的云平台，其特征在于，所述数据共享模块包括：

权限认证模块，用于获取所述至少一个用户对应的权限，并将获取的所述权限与待访问的原始数据的指定权限进行对比；

目标用户组确定模块，用于将获取的所述权限与所述指定权限相匹配的用户确定为所述目标用户组中的用户。

4.根据权利要求1所述的云平台，其特征在于，所述数据渲染模块包括：

资源类型确定模块，用于确定所述处理后的数据所需的资源类型；

负载计算模块，用于在预设资源池中获取与所述资源类型相符的资源集合，并计算获取的所述资源集合中各个资源对应的负载值；

目标资源确定模块，用于将负载值最低的资源确定为所述处理后的数据对应的目标资源。

5.根据权利要求1所述的云平台，其特征在于，所述云平台还包括：

用户认证模块，用于响应用户发来的认证请求，获取所述认证请求对应的网络地址，并判断所述网络地址是否存在于预设的网络地址白名单中，若存在，则通过所述用户的认证请求。

6.一种数据管控的方法，其特征在于，所述方法包括：

同步原始数据并为所述原始数据分配对应的数据标识，并对携带所述数据标识的原始数据进行存储和备份；

接收至少一个用户的数据访问请求，根据预设规则从所述至少一个用户中确定目标用户组，并将所述原始数据在所述目标用户组中共享；

响应用户发来的数据处理指令，调用平台的数据处理资源集对所述原始数据进行处理，获得处理后的数据；

从预设资源池中调用与所述处理后的数据相对应的目标资源，并利用所述目标资源对所述处理后的数据进行渲染，并将渲染的结果向用户展示。

7.根据权利要求6所述的方法，其特征在于，为所述原始数据分配对应的数据标识具体包括：

对同步的所述原始数据中的信息栏进行扫描，并提取所述信息栏中的信息参数，并将所述信息参数确定为所述原始数据的数据标识；

将所述原始数据的文件名修正为包含所述信息参数的字符串。

8.根据权利要求6所述的方法，其特征在于，所述根据预设规则从所述至少一个用户中确定目标用户组具体包括：

获取所述至少一个用户对应的权限，并将获取的所述权限与待访问的原始数据的指定权限进行对比；

将获取的所述权限与所述指定权限相匹配的用户确定为所述目标用户组中的用户。

9.根据权利要求6所述的方法，其特征在于，所述从预设资源池中调用与所述处理后的数据相对应的目标资源具体包括：

确定所述处理后的数据所需的资源类型；

在预设资源池中获取与所述资源类型相符的资源集合，并计算获取的所述资源集合中各个资源对应的负载值；

将负载值最低的资源确定为所述处理后的数据对应的目标资源。

10.根据权利要求6所述的方法，其特征在于，所述方法还包括：

响应用户发来的认证请求，获取所述认证请求对应的网络地址；

判断所述网络地址是否存在于预设的网络地址白名单中，若存在，则通过所述用户的认证请求。