CN104615785A

CN104615785A - 一种基于TYKY cNosql数据库的数据存储方法及装置

Info

Publication number: CN104615785A
Application number: CN201510096328.2A
Authority: CN
Inventors: 马辰; 聂品; 于治楼
Original assignee: Inspur Group Co Ltd
Current assignee: Inspur Group Co Ltd
Priority date: 2015-03-04
Filing date: 2015-03-04
Publication date: 2015-05-13

Abstract

本发明提供一种基于TYKY cNosql数据库的数据存储方法及架构，在TYKY cNosql数据库中增加闪存，设置存储规则；还包括：获取待存储数据；根据所述存储规则分析所述待存储数据的目标存储设备；若目标存储设备为闪存，将所述待存储数据存储至闪存；若目标存储设备为磁盘，将所述待存储数据存储至磁盘。根据本方案，提高了读写性能。

Description

一种基于TYKY cNosql数据库的数据存储方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种基于TYKY cNosql数据库的数据存储方法及装置。

背景技术

随着数字医疗的不断发展，医疗数据长期积累，以及三维成像等新数字医疗技术的不断引进，导致诸如PACS影像、心电图、CT、远程视频、电子病历等海量非结构化数据成指数级增长，形成了数据规模惊人、数据类型和数据结构复杂的医疗大数据。为了保证数据的完整性，医疗机构需要对医疗数据进行安全存储。

传统医疗数据的存储方式通常采用关系型数据库进行存储，其中，存储设备可以使用RAID(Redundant Arrays of Independent Disks，磁盘阵列)，以及利用服务器的CPU实现数据调用和备份。

目前医疗数据在备份和访问时，直接影响服务器性能，导致读写性能差。

发明内容

有鉴于此，本发明提供一种基于TYKY cNosql数据库的数据存储方法及装置，以解决现有方案读写性能差的问题。

本发明提供了一种基于TYKY cNosql数据库的数据存储方法，在TYKY cNosql数据库中增加闪存，设置存储规则，设置粒度细化等级；还包括：

获取待存储数据；

根据所述存储规则分析所述待存储数据的目标存储设备；

若目标存储设备为闪存，获取闪存中待存储数据的物理地址，将该闪存中的物理地址存至缓冲区，并根据所述粒度细化等级，对所述闪存中的物理页面进行粒度细化操作，得到多个子页面，根据该闪存中的物理地址将所述待存储数据存储至操作后的闪存中；若目标存储设备为磁盘，获取磁盘中待存储数据的物理地址，将该磁盘中的物理地址更新至磁盘中的第一映射表中，根据该磁盘中的物理地址，将所述待存储数据存储至磁盘；

构建TYKY cNosql数据库的第二映射表，并将所述第二映射表存储至所述缓冲区；其中，所述第二映射表中包括TYKY cNosql数据库内存储的所有数据的物理地址；

在接收到查询指令时，其中，所述查询指令携带目标数据的行逻辑号，根据所述第二映射表，将所述目标数据的行逻辑号转换为目标物理地址；根据所述目标物理地址检查所述缓冲区存储的物理地址是否命中，若是，根据所述目标物理地址从闪存中读取目标数据对应的子页面；否则，根据所述第一映射表读取磁盘中的目标数据。

优选地，进一步包括：根据数据类型、数据访问频率、存储设备的剩余空间和数据源类型中的一种或多种设置存储规则。

优选地，进一步包括：在内存中对数据访问频率进行统计。

本发明还提供了一种基于TYKY cNosql数据库的数据存储架构，包括：

闪存，作为TYKY cNosql数据库的存储设备，用于与TYKY cNosql数据库中的磁盘对数据进行存储；

存储单元，用于设置并保存存储规则，设置粒度细化等级；

获取单元，用于获取待存储数据；

分析单元，用于根据所述存储规则分析所述待存储数据的目标存储设备；

处理单元，用于在目标存储设备为闪存时，获取闪存中待存储数据的物理地址，将该闪存中的物理地址存至缓冲区，并根据所述粒度细化等级，对所述闪存中的物理页面进行粒度细化操作，得到多个子页面，根据该闪存中的物理地址将所述待存储数据存储至操作后的闪存中；若目标存储设备为磁盘，获取磁盘中待存储数据的物理地址，将该磁盘中的物理地址更新至磁盘中的第一映射表中，根据该磁盘中的物理地址，将所述待存储数据存储至磁盘；

构建单元，用于构建TYKY cNosql数据库的第二映射表，并将所述第二映射表存储至所述缓冲区；其中，所述第二映射表中包括TYKY cNosql数据库内存储的所有数据的物理地址；

访问单元，用于在接收到查询指令时，其中，所述查询指令携带目标数据的行逻辑号，根据所述第二映射表，将所述目标数据的行逻辑号转换为目标物理地址；根据所述目标物理地址检查所述缓冲区存储的物理地址是否命中，若是，根据所述目标物理地址从闪存中读取目标数据对应的子页面；否则，根据所述第一映射表读取磁盘中的目标数据。

优选地，所述存储单元，用于根据数据类型、数据访问频率、存储设备的剩余空间和数据源类型中的一种或多种设置存储规则。

优选地，进一步包括：

统计单元，用于在内存中对数据访问频率进行统计。

本发明实施例提供了一种基于TYKY cNosql数据库的数据存储方法及装置，通过在TYKY cNosql数据库中增加闪存，以使闪存和磁盘在TYKY cNosql数据库中对数据进行自调节存储，从而提高了读写性能；通过对闪存中的物理页面进行粒度细化操作，使得数据在闪存中以较小粒度单元的形式进行存储，当在读取闪存中的数据时，只需读取较小粒度单元的子页面即可，提高了数据访问速率；通过在缓冲区内存储第二映射表，使得磁盘中映射表的内容减少，降低了磁盘中映射表的体积。

附图说明

图1是本发明实施例提供的方法流程图；

图2是本发明另一实施例提供的方法流程图；

图3是本发明实施例提供的架构硬件示意图；

图4是本发明实施例提供的装置结构示意图；

图5是本发明另一实施例提供的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于TYKY cNosql数据库的数据存储方法，在TYKY cNosql数据库中增加闪存，设置存储规则，设置粒度细化等级；该方法还可以包括以下步骤：

步骤101：获取待存储数据。

步骤102：根据存储规则分析待存储数据的目标存储设备。

步骤103：若目标存储设备为闪存，获取闪存中待存储数据的物理地址，将该闪存中的物理地址存至缓冲区，并根据所述粒度细化等级，对所述闪存中的物理页面进行粒度细化操作，得到多个子页面，根据该闪存中的物理地址将所述待存储数据存储至操作后的闪存中；若目标存储设备为磁盘，获取磁盘中待存储数据的物理地址，将该磁盘中的物理地址更新至磁盘中的第一映射表中，根据该磁盘中的物理地址，将所述待存储数据存储至磁盘。

步骤104：构建TYKY cNosql数据库的第二映射表，并将所述第二映射表存储至所述缓冲区；其中，所述第二映射表中包括TYKY cNosql数据库内存储的所有数据的物理地址。

步骤105：在接收到查询指令时，其中，所述查询指令携带目标数据的行逻辑号，根据所述第二映射表，将所述目标数据的行逻辑号转换为目标物理地址；根据所述目标物理地址检查所述缓冲区存储的物理地址是否命中，若是，根据所述目标物理地址从闪存中读取目标数据对应的子页面；否则，根据所述第一映射表读取磁盘中的目标数据。

根据上述方案，通过在TYKY cNosql数据库中增加闪存，以使闪存和磁盘在TYKY cNosql数据库中对数据进行自调节存储，从而提高了读写性能；通过对闪存中的物理页面进行粒度细化操作，使得数据在闪存中以较小粒度单元的形式进行存储，当在读取闪存中的数据时，只需读取较小粒度单元的子页面即可，提高了数据访问速率；通过在缓冲区内存储第二映射表，使得磁盘中映射表的内容减少，降低了磁盘中映射表的体积。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

如图2所示，本发明实施例提供了一种基于TYKY cNosql数据库的数据存储方法，该方法可以包括以下步骤：

步骤201：在TYKY cNosql数据库中增加闪存，以与TYKY cNosql数据库中的磁盘对数据进行存储。

本实施例中的数据存储架构是负载数据库底层存储、集合与索引管理、内存分配管理和后台任务，该数据存储架构是TYKY cNosql数据库中最基础也是最关键的一个模块，关系到数据库执行数据库请求的效率。该存储架构阐述了将具有非关系、分布式、水平可扩展等非结构化数据库特点的TYKY cNosql数据库作为关系型数据库的补充运用在医疗信息化中的方法，并且使用闪存与磁盘混合的自调节存储数据的方法，从而提高了其并发读写性能，保证了弹性在线可扩展能力，实现了数据管理功能并且降低了医疗大数据存储成本。

本实施例中，主要对TYKY cNosql数据库的存储架构进行详细阐述。由于现有技术中采用RAID作为数据库的存储设备，读写性能较差。因此，在本实施例中，在TYKY cNosql数据库中增加闪存，将闪存和磁盘共同作为TYKY cNosql数据库的存储设备，对数据进行存储，利用闪存读写性能较高的特点，提高TYKY cNosql数据库中数据读写的效率。

步骤202：设置存储规则，设置粒度细化等级。

在本实施例中，可以预先设置存储规则，以使后续过程中闪存和磁盘能够对数据实现自调节存储。

在本发明一优选实施例中，可以根据下述一种或多种设置存储规则：数据类型、数据访问频率、存储设备的剩余空间和数据源类型。

例如，根据数据访问频率设置存储规则，设置的存储规则可以包括：将数据访问频率不小于每天10次的数据存入闪存中，将数据访问频率小于10次的数据存入磁盘中。这样，存入闪存中的数据，在访问时会利用闪存读写性能高的优点，实现快速读写。

再如，利用存储设备的剩余空间设置存储规则，设置的存储规则可以包括：判断闪存和磁盘中当前的剩余空间，将数据存入剩余空间多的存储设备中。

在本实施例中，为了减少对数据库本身逻辑的修改，可以不在物理页面上维护访问信息，而在内存中对数据访问频率进行统计，这样不仅减少了对数据库本身逻辑的修改，还减少了对物理页面的写操作，并充分考虑时间因素，使得统计信息可以反映当前一段时间内工作集的特征。

在本发明一优选实施例中，可以设置粒度细化等级，用于将闪存中的物理页面进行粒度细化操作，使得操作后的物理页面划分为多个子页面。其中，粒度细化等级越高，细化程度越低；相反，粒度细化等级越低，细化程度越高。优选地，将粒度细化等级设置为用户设置的所有等级中的最低级。

步骤203：获取待存储数据，根据存储规则分析待存储数据的目标存储设备。

在本实施例中，TYKY cNosql数据库是基于对象的存储，“对象”可以是文档，文档被组织为集合，每个集合在数据库中都有一个唯一的标识，不同的是它不需要定义任何模式。集合中可以包含具有任意模式的文档记录，文档属性的类型既可以是基本的数据类型(例如数字、字符串、日期等)，也可以是数组或者散列，甚至还可以是一个子文档，从而实现逆规范化的数据模型，提高查询的速度。另外，待存储数据的数据来源囊括了互联网装置可以获取的任何数据，待存储数据可以包括网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据等。

在本实施例中，根据步骤202设置的存储规则对待存储数据进行分析，以存储规则为：将数据访问频率不小于每天10次的数据存入闪存中，将数据访问频率小于10次的数据存入磁盘中。TYKY cNosql数据库中的分析单元根据数据访问频率的统计信息，确定待存储数据的目标存储设备。

步骤204：若目标存储设备为闪存，获取闪存中待存储数据的物理地址，将该闪存中的物理地址存至缓冲区，并根据粒度细化等级，对闪存中的物理页面进行粒度细化操作，得到多个子页面，根据该闪存中的物理地址将待存储数据存储至操作后的闪存中；若目标存储设备为磁盘，获取磁盘中待存储数据的物理地址，将该磁盘中的物理地址更新至磁盘中的第一映射表中，根据该磁盘中的物理地址，将待存储数据存储至磁盘。

在本实施例中，若根据步骤203中判断待存储数据的数据访问频率不小于每天10次，那么将该待存储数据存储至闪存中。

在本实施例中，在确定目标存储设备是闪存或磁盘时，均需要获取闪存或磁盘中的物理地址，根据闪存中的物理地址和磁盘中的物理地址，将待存储设备存储至闪存和磁盘的相应位置。

为了实现能够快速查找到闪存中物理地址，可以将闪存中的物理地址存储至缓冲区。而磁盘中的物理地址，可以在磁盘中建立映射表，存储磁盘中的物理地址，从而减少了对数据库本身逻辑的修改。

在本实施例中，根据步骤203中设置的粒度细化等级，将闪存中的物理页面进行粒度细化操作为多个子页面，并在粒度细化操作之后，以划分后的子页面存储数据。

步骤205：构建TYKY cNosql数据库的第二映射表，并将第二映射表存储至缓冲区；其中，第二映射表中包括TYKY cNosql数据库内存储的所有数据的物理地址。

为了方便后续数据访问，还需要构建TYKY cNosql数据库的映射表。在本实施例中，可以将构建的映射表存储至缓冲区。其中，该映射表中包括行逻辑号和物理地址的映射关系。在本实施例中，还可以对闪存中的物理地址存储至缓冲区。

步骤206：在接收到查询指令时，其中，查询指令携带目标数据的行逻辑号，根据第二映射表，将目标数据的行逻辑号转换为目标物理地址；根据目标物理地址检查缓冲区存储的物理地址是否命中，若是，根据目标物理地址从闪存中读取目标数据对应的子页面；否则，根据第一映射表读取磁盘中的目标数据。在本实施例中，当接收到查询指令时，需要对该查询指令经过查询处理、索引检索等一系列处理，最终转化为对数据库中某一行逻辑号的查询，此时，查询指令携带目标数据的行逻辑号，因此，数据库通过缓冲区的映射表将该目标数据的行逻辑号转换为实际的物理地址，并检查该物理地址是否在缓冲区命中，若该物理地址在缓冲区命中，表明该查询的数据位于闪存中，则根据物理地址在闪存中读取相应的存储位置；若该物理地址在缓冲区未命中，表明该查询的数据位于磁盘中，则根据物理地址查询磁盘中保存的映射表，确定磁盘中该物理地址对应的存储位置。

如图3所示，在本实施例中，TYKY cNosql数据库不仅仅包括上述存储架构(图3中的核心存储引擎)，还可以包括下述模块来实现相应功能：

集群管理：通过一定的网络模型将数据拆分存储，从而将同一数据块存储在不同的集群主机上，图3中每个实例集都是组成集群的一个分片，被拆分的数据分布存储在不同的分片上。每个分片本身是一个副本集，每个副本集都是由多个存储着相同内容的数据库实例组成。

TYKY cNosql数据库将很多服务器集中起来构建一个大规模的医疗数据库集群一起进行同一种服务，集群具备动态增加服务器的水平扩展能力，具备自动分片技术可将数据库分别存储在分片的的各个节点上，集群中包含数据路由进程和数据管理进程，当收到客户端请求时，它请求路由到相应的服务器组和结果发送回客户端。由于在大型医疗信息化环境中数据处理能力的瓶颈会落在网络的带宽和磁盘的读写上，集群利用多个计算机进行并行存储而获得并行的读写速度，通过自动分片技术将医疗大数据分布在多个机器的多个磁盘上，便大大提高了医疗信息系统针对大数据的并发读写性能。同时用多个计算机做备份，部分机器出现故障时保障整个系统能正常运行。

接口服务：主要负责执行TYKY cNosql数据库用户的查询命令和数据库管理命令，负责执行客户端API开发接口的调用，负责执行客户端脚本的调用。TYKY cNosql为异质数据库的访问提供了统一的接口。基于HTTP协议，并把它作为访问数据库的标准。TYKY cNosql接口模块提供了最大限度的相互可操作性：一个应用程序可以通过一组通用的代码，即REST接口访问不同的数据库管理系统。TYKY cNosql数据库还为C++、PHP、Python、Java等多种开发语言提供了API接口。从而实现医疗应用与数据库的无缝对接。

分布式文件存储：是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。TYKY cNosql数据库的分布式文件模块支持存储大型二进制文件，包括医疗影像、声音等医疗大数据的存储。同时具备对用户上传的文件进行加密压缩，在保证用户文件数据安全的同时，亦能保证最小的空间占有量，提升数据库运作效率，降低储存成本。

数据迁移：支持从传统关系型数据库进行数据的导入，便于将已有的业务迁移到新的云数据库，并以多种标准形式导出，从而为医疗信息系统的升级扩展提供强有力的存储支撑。TYKY cNosql数据库具备导入导出功能，通过自主研发的性能平衡数据读写系统，实时地在对系统性能影响最小的前提下，对数据库中的数据进行跨平台的迁移，同时自动开启文件集合锁定功能，保证数据拓扑结构不变的前提下，对数据进行总体迁移。

数据库管理：通过WEB管理控制台，提供了各种直观的报表，帮助管理员快捷地完成各种数据库管理功能，包括数据访问、用户管理、数据操作、集合操作、数据备份、操作日志、安全管理等，并支持强大的脚本命令使管理员能够进行复杂的数据库操作。为管理员提供易用、全面、先进的管理工具，实现医疗大数据可管理性，节省医疗数据存储和管理成本。

性能监控：能够记录任意用户在数据库和数据集合的72小时动态监控指标，包括：内存占用、网络流量、后台刷新、游标、锁、分页、断言，以及数据的更新、修改时间和次数，这与其他数据库系统相比是很强大的管理功能，管理员可根据真实状况对数据库进行各种监控及管理，实施应对突发事件，分析数据异常的起因等。

如图4所示，本发明实施例提供了一种基于TYKY cNosql数据库的数据存储架构40包括：

闪存401，作为TYKY cNosql数据库的存储设备，用于与TYKY cNosql数据库中的磁盘对数据进行存储；

存储单元402，用于设置并保存存储规则，设置粒度细化等级；

获取单元403，用于获取待存储数据；

分析单元404，用于根据所述存储规则分析所述待存储数据的目标存储设备；

处理单元405，用于在目标存储设备为闪存时，获取闪存中待存储数据的物理地址，将该闪存中的物理地址存至缓冲区，并根据所述粒度细化等级，对所述闪存中的物理页面进行粒度细化操作，得到多个子页面，根据该闪存中的物理地址将所述待存储数据存储至操作后的闪存中；若目标存储设备为磁盘，获取磁盘中待存储数据的物理地址，将该磁盘中的物理地址更新至磁盘中的第一映射表中，根据该磁盘中的物理地址，将所述待存储数据存储至磁盘；

构建单元406，用于构建TYKY cNosql数据库的第二映射表，并将所述第二映射表存储至所述缓冲区；其中，所述第二映射表中包括TYKY cNosql数据库内存储的所有数据的物理地址；

访问单元407，用于在接收到查询指令时，其中，所述查询指令携带目标数据的行逻辑号，根据所述第二映射表，将所述目标数据的行逻辑号转换为目标物理地址；根据所述目标物理地址检查所述缓冲区存储的物理地址是否命中，若是，根据所述目标物理地址从闪存中读取目标数据对应的子页面；否则，根据所述第一映射表读取磁盘中的目标数据。

进一步地，所述存储单元402，用于根据数据类型、数据访问频率、存储设备的剩余空间和数据源类型中的一种或多种设置存储规则。

如图5所示，该存储架构还可以进一步包括：

统计单元501，用于在内存中对数据访问频率进行统计。

上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种基于TYKY cNosql数据库的数据存储方法，其特征在于，在TYKYcNosql数据库中增加闪存，设置存储规则，设置粒度细化等级；还包括：

获取待存储数据；

根据所述存储规则分析所述待存储数据的目标存储设备；

2.根据权利要求1所述的方法，其特征在于，进一步包括：根据数据类型、数据访问频率、存储设备的剩余空间和数据源类型中的一种或多种设置存储规则。

3.根据权利要求2所述的方法，其特征在于，进一步包括：在内存中对数据访问频率进行统计。

4.一种基于TYKY cNosql数据库的数据存储架构，其特征在于，包括：

存储单元，用于设置并保存存储规则，设置粒度细化等级；

获取单元，用于获取待存储数据；

5.根据权利要求4所述的基于TYKY cNosql数据库的数据存储架构，其特征在于，所述存储单元，用于根据数据类型、数据访问频率、存储设备的剩余空间和数据源类型中的一种或多种设置存储规则。

6.根据权利要求5所述的基于TYKY cNosql数据库的数据存储架构，其特征在于，进一步包括：

统计单元，用于在内存中对数据访问频率进行统计。