CN113609228A

CN113609228A - 运动健康跨模态数据分布式存储和检索系统

Info

Publication number: CN113609228A
Application number: CN202110931471.4A
Authority: CN
Inventors: 范玉雷; 杨良怀; 张璐鸳
Original assignee: Southeast Digital Economic Development Research Institute
Current assignee: Southeast Digital Economic Development Research Institute
Priority date: 2021-08-13
Filing date: 2021-08-13
Publication date: 2021-11-05

Abstract

本发明旨在提供一种运动健康跨模态数据分布式存储和检索系统，该方法能有效解决运动社交软件在用户增多和数据量膨胀时的分布式存储和检索问题。该发明具体包括该存储系统包括前端服务器、若干存储节点和检索服务器三类服务器，其中前端服务器主要负责接收运动手环和运动社交软件发来的运动健康数据并分发到存储节点上；若干存储节点主要用于存储运动健康跨模态大数据；检索服务器主要用于接收检索服务并分发到相应存储节点上。

Description

运动健康跨模态数据分布式存储和检索系统

技术领域

本发明主要涉及运动健康跨模态数据分布式存储和检索系统，构建了一种运动健康跨模态数据分布式存储系统，以及基于该存储系统的检索系统。

背景技术

近年来，人民越来越受到重视身体健康，人民逐渐意识到运动健康的重要性和迫切性，通过运动提高身体素质和健康。与运动健康相关的人与运动会产生大量的数据，数据存储成了实时数据查询和检索以及分析的关键。个人基本信息是首当其冲必然存在的数据，其中包括个人结构化的基本信息、头像图片信息和个人签名等文本信息。其次，运动时产生的实时运动数据，包括运动时间、运动心率、运动速度、运动定位经纬度和海拔等信息，运动数据必然与人相关联，甚至还与社交网络存在关联。运动社交对于年轻人和老年人都是必不可少的，都会相约一起去运动或者爬山等，此时不但会产生如上所述的运动数据，还会产生社交网络图数据，也可能会产生一些摄影图片数据，以及与图片关联的结构化数据和文本描述数据，这些数据都是脱离不开人，与人密切关联的。除此运动相关的就是健康相关的数据，对一个人最重要的两部分健康数据就是医疗数据和体检数据，医疗数据主要包括病历、化验检测、住院等数据，体检数据主要基础测量数据和其他高级化验检测数据等，这两部分数据包括结构化的个人基础信息、半结构化的病历数据以及无结构化的影像图和心脏波形等数据。可见，运动健康相关的数据是多种多样的，在数据建模时可能会采用关系模型、键值模型、文档模型、列族模型、图模型来对各部分数据进行建模，这就是所谓的运动健康跨模态数据。

对于运动社交软件和运动健康跨模态数据分析系统，均需要强有力的运动健康跨模态数据的支撑。运动健康手环和运动社交软件会产生大量的运动健康跨模态数据，数据存储和检索就成为支撑上层运动社交软件和运动健康跨模态数据分析系统并为运动健康保驾护航的关键技术问题。越来越多的人重视运动健康，越来越多的软硬件载体为运动健康保驾护航，这就促使在运动社交软件后端服务器设计之处就要考虑用户增多和数据量膨胀时的分布式存储和检索问题。所以本发明提出了运动健康跨模态数据分布式存储和检索系统。

发明内容

针对以上问题，本发明提出运动健康跨模态数据分布式存储和检索系统，包括运动健康跨模态数据分布式存储系统，以及基于该存储系统的检索系统。其特征在于：该存储系统包括前端服务器、若干存储节点和检索服务器三类服务器，其中前端服务器主要负责接收运动手环和运动社交软件发来的运动健康数据并分发到存储节点上；若干存储节点主要用于存储运动健康跨模态大数据；检索服务器主要用于接收检索服务并分发到相应存储节点上。如说明书附图1所示。

1.运动健康跨模态数据分布式存储和检索系统架构

如说明书附图1所示，运动健康跨模态数据分布式存储和检索系统架构中主要包括运动社交软件、运动手环、检索用户、前端服务器、存储节点和检索服务器。运动社交软件满足运动健康用户的实时社交需求，同时产生运动社交数据并发送到前端服务器；运动手环实时采集佩戴者的运动数据并发送到前端服务器；检索用户通过检索服务器从存储节点获取目标数据。这三者是运动健康跨模态数据分布式存储和检索系统的数据提供者和使用者，在此不做过多阐述。下面对前端服务器、存储节点和检索服务器进行详细说明。

前端服务器负责运动健康数据的接收和分发以及查询请求的转发和分发，主要有以下功能：

1)、接收运动社交软件提交的注册信息以及后续修改的信息，并把注册以及后续修改的个人信息(结构型个人数据和头像等文件数据)存储到存储节点；

2)、接收和存储运动健康用户和运动手环绑定关系信息(佩戴运动手环之后并用运动社交软件绑定运动健康用户和运动手环的关系)，并把绑定的运动健康用户和运动手环关系信息(关系型数据)存储到存储节点；

3)、接收运动健康用户发起或者参与运动社交活动的信息，并把运动社交活动信息(运动社交活动基础结构型数据、运动社交网络数据、运动社交图片和文本等文件数据)存储到存储节点；

4)、接收运动手环发送的运动数据，并把运动数据存储到存储节点；

5)、接收运动社交软件发送的运动社交朋友圈数据，并把运动社交朋友圈数据(运动社交朋友圈数据较复杂，包括结构型数据、图片和文本以及评论等数据)存储到存储节点；

6)、接受运动社交软件的查询请求并把查询分发到指定存储节点。

存储节点负责存储运动健康跨模态大数据并响应查询和检索请求，主要有以下功能：

1)、接收并存储前端服务器发送来的运动健康跨模态大数据；

2)、接收并响应前端服务器的查询请求，返回查询结果；

3)、接收并响应检索服务器的检索请求，返回检索结果。

检索服务器负责检索请求的转发和分发，主要有以下功能：

1)、接受检索用户的检索请求并把检索分发到指定存储节点。

接下来详细阐述运动跨模态数据分布式存储策略和检索过程。

2.运动健康跨模态数据分布式存储

运动健康跨模态数据分布式存储的基础即为单个存储节点，单个存储节点的运动健康跨模态数据存储如说明书附图2所示。从中可以看到任何一个存储节点均存储四种数据模型的数据——关系数据、文档数据、图数据和键值数据，所以对于任何一个存储节点，都避免不了要用到关系数据库、文档数据库、图数据库和键值数据库，四种缺一不可，各自的功能如下：

1)、关系数据库主要存储结构化的可用关系实体模型表示的数据，如个人基础数据、体检基础数据、血液化验数据、运动社交朋友圈点赞数等，内部典型索引结构是B+树索引，用以提供查询效率；

2)、文档数据库主要存储半结构化或无结构化的文档数据，如有氧/无氧运动数据、电子病历数据、运动处方数据等，内部典型索引结构是倒排索引和B+ 树索引结构，用以提高查询效率；

3)、图数据库主要存储图结构的数据，如社交网络图结构(人为点，社交活动构建人与人之间的边)和运动健康知识问答知识图谱(慢性病或者运动处方为点，治未病的关系构建慢性病和运动处方之间的防治关系)等，内部典型索引结构是倒排索引和B+树索引结构，用以提高查询效率；

4)、键值数据库主要存储键值对数据，如社交朋友圈文章和评论数据、知识问答库中现有的问答对数据等，内部典型索引结构就是哈希索引和位图索引结构，用以提高查询效率；除此之外键值数据库还有一个很重要的作用，那就是作为其他数据库系统的缓存系统，也是提高查询效率的一种方式，此时键值数据库中会存储关系数据、文档数据、图数据、键值数据等等。

虽然每个存储节点均可以存储运动健康跨模态数据，但是究竟从运动社交软件和运动手环产生的数据如何存储到前端服务器和存储节点？其中最关键的一个信息就是用户ID，用户ID在这个过程中起到了至关重要的作用，如说明书附图3所示。接下来详细阐述一下借助如说明书附图3所示的双层索引进行高效存储的过程：

1)、运动健康用户通过运动社交软件注册新用户，并把注册的个人信息发送到前端服务器，并暂存于前端服务器；

2)、前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户注册的个人信息存储在哪个节点上，相应的哈希方法已经很多，在此不再赘述；

3)、被选定的存储节点接收新注册用户个人信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+树索引；

4)、接下来用户需要在运动社交软件绑定手环信息，即形成用户ID和手环 ID的对应关系，并发送到前端服务器，并暂存于前端服务器；

5)、前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户的手环绑定信息存储到哪个节点上；

6)、被选定的存储节点接收用户ID和手环ID绑定信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+树索引；

7)、接下来运动手环可以在日常工作状态和运动工作状态(通过软硬件设置不同工作状态下具有不同采样频率)之间进行切换并采集运动数据记录，并发送到前端服务器；

8)、前端服务器通过运动手环ID及其与用户ID的绑定关系，确定运动数据属于哪一个用户，即查找手环ID和用户ID绑定关系表；

9)、前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户的运动数据存储到哪个节点上；

10)、被选定的存储节点接收用户的运动数据并存入文档数据库中，并且在该文档数据库中构建基于用户ID的主索引，如倒排索引；

11)、接下来用户可以在运动社交软件上发起运动活动同时建立临时社交群组，当有人加入时即建立人与人的临时社交关系，当活动结束时社交关系解除，当然可以把临时社交关系转化为长久的好友关系，把临时/长久的社交关系图数据发送到前端服务器；

12)、前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该社交关系存储到哪个节点上；

13)、被选定的存储节点接收用户的社交关系数据并存入图数据库中，并且在图数据库中构建基于用户ID的主索引，如哈希索引；

14)、对于知识问答子系统，每一个存储节点均利用键值数据库存储已经爬取到的专家问答知识库，同时还利用图数据库存储构件好的运动问答知识图谱，以尽可能准确的回答用户提出的问题；

15)、对于每一个存储节点，均利用内存键值数据库作为其他数据库的缓存数据库，提高查询和检索的效率。

另外有一点要特别说明一下，前段服务器和检索服务器采用相同的哈希函数对用户ID进行哈希，以提高查询效率；同时，与前端服务器不一样的是，检索服务器上暂存的数据主要取决于检索频繁的数据项，即被频繁检索的数据项缓冲在检索服务器上，以提高检索服务的效率。

3.运动健康跨模态数据查询和检索

基于运动健康跨模态数据分布式存储，本部分详细阐述运动健康跨模态数据查询和检索的过程。单模态的数据的查询和检索过程类似跨模态数据的查询和检索过程，所以本部分不再赘述。

通过运动社交软件进行运动健康跨模态数据查询，比如运动健康知识问答系统，过程如下：

1)、运动社交软件发送查询请求到前端服务器；

2)、前端服务器利用哈希函数对个人用户ID进行哈希以最终确定把该查询请求发送到哪个存储节点上；

3)、在存储节点上根据用户ID和查询条件查询内存键值数据库，如果未找到想要的数据，再查询外存的多个数据库；

4)、存储节点把查询结果反馈给前端服务器；

5)、前端服务器把查询结果反馈给运动社交软件，并呈现给用户。

检索用户通过检索服务器进行跨模态数据检索，比如某用户个人基础信息变化情况以及所使用过的运动处方，过程如下：

1)、检索用户发送检索请求到检索服务器；

2)、检索服务器利用哈希函数对个人用户ID进行哈希以最终确定把该检索请求发送到哪个存储节点上；

3)、在存储节点上根据用户ID和检索条件检索内存键值数据库，如果未找到想要的数据，再检索外存的多个数据库；

4)、存储节点把检索结果反馈给检索服务器；

5)、检索服务器把检索结果反馈并呈现给检索用户。

附图说明

图1是本发明的运动健康跨模态数据分布式存储和检索系统架构

图2是本发明的运动健康跨模态数据存储

图3是本发明的运动健康跨模态数据双层索引结构

具体实施方式

下面以城市某运动健康爱好者为例，对本发明运动健康跨模态数据分布式存储和检索系统，从运动健康跨模态数据分布式存储和运动健康跨模态数据查询和检索这两个方面作进一步说明。

运动健康爱好者手机安装好运动社交软件并正确佩戴运动手环，然后进行如下操作产生运动健康跨模态大数据并存储到存储系统中。

第一步，运动健康用户通过运动社交软件注册新用户(用户ID为 1234567890)，并把注册的个人信息发送到前端服务器，并暂存于前端服务器。

第二步，前端服务器利用哈希函数对1234567890进行哈希以最终确定该用户注册的个人信息存储在哪个节点上。

第三步，被选定的存储节点接收新注册用户个人信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+树索引。

第四步，接下来用户需要在运动社交软件绑定手环信息，即形成1234567890 和手环ID(设为SH1234567890)的对应关系，并发送到前端服务器，并暂存于前端服务器。

第五步，前端服务器利用哈希函数对1234567890进行哈希以最终确定该用户的手环绑定信息存储到哪个节点上。

第六步，被选定的存储节点接收1234567890和SH1234567890绑定信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+ 树索引。

第七步，接下来运动手环可以在日常工作状态和运动工作状态(通过软硬件设置不同工作状态下具有不同采样频率)之间进行切换并采集运动数据记录，并发送到前端服务器。

第八步，前端服务器通过查找手环ID和用户ID绑定关系表找到1234567890 和SH1234567890绑定信息，确定运动数据属于哪一个用户。

第九步，前端服务器利用哈希函数对1234567890进行哈希以最终确定该用户的运动数据存储到哪个节点上；

第十步，被选定的存储节点接收用户的运动数据并存入文档数据库中，并且在该文档数据库中构建基于用户ID的主索引，如倒排索引。

第十一步，接下来用户可以在运动社交软件上发起运动活动同时建立临时社交群组，当有人加入时即建立人与人的临时社交关系，当活动结束时社交关系解除，当然可以把临时社交关系转化为长久的好友关系，把临时/长久的社交关系图数据发送到前端服务器。

第十二步，前端服务器利用哈希函数对1234567890进行哈希以最终确定该社交关系存储到哪个节点上。

第十三步，被选定的存储节点接收用户的社交关系数据并存入图数据库中，并且在图数据库中构建基于用户ID的主索引，如哈希索引。

运动健康爱好者可以通过运动社交软件进行运动健康知识问答，过程如下。

第一步，通过运动社交软件输入问题并发送到前端服务器。

第二步，前端服务器利用哈希函数对1234567890进行哈希以最终确定把该查询请求发送到存储节点10上。

第三步，在存储节点10上根据1234567890和查询条件查询内存键值数据库，如果未找到想要的数据，再查询外存的专家知识问答键值数据库和知识问答知识图谱图数据库。

第四步，存储节点10把查询结果反馈给前端服务器。

第五步，前端服务器把查询结果反馈并呈现给运动健康爱好者。

如果检索用户想获取用户1234567890的个人基础信息、体质信息变化情况以及所使用过的运动处方，过程如下。

第一步，检索用户发送1234567890和检索条件到检索服务器。

第二步，检索服务器利用哈希函数对1234567890进行哈希以最终确定把该检索请求发送到存储节点10上；

第三步，在存储节点10上根据1234567890和检索条件检索内存键值数据库，如果未找到想要的数据，再检索外存的个人基础信息关系数据库、体质信息关系数据库和运动处方文档数据库。

第四步，存储节点10把检索结果反馈给检索服务器.

第五步，检索服务器把检索结果反馈并呈现给检索用户。

Claims

1.一种运动健康跨模态数据分布式存储和检索系统，实现一种运动健康跨模态数据分布式存储子系统，以及基于该存储系统的检索子系统。

2.如权利要求1所述的运动健康跨模态数据分布式存储和检索系统中，系统架构中主要包括前端服务器、存储节点和检索服务器。前端服务器主要负责接收运动手环和运动社交软件发来的运动健康数据并分发到存储节点上。存储节点主要用于存储运动健康跨模态大数据。检索服务器主要用于接收检索服务并分发到相应存储节点上。

3.如权利要求2所述的运动健康跨模态数据分布式存储和检索系统中，存储节点存储四种数据模型的数据，包括关系数据、文档数据、图数据和键值数据，所以对于任何一个存储节点，同时使用了四种数据库，包括关系数据库、文档数据库、图数据库和键值数据库。

4.如权利要求1所述的运动健康跨模态数据分布式存储和检索系统中，运动健康跨模态数据分布式存储子系统进行高效存储的步骤包括：

1)运动健康用户通过运动社交软件注册新用户，并把注册的个人信息发送到前端服务器，并暂存于前端服务器；

2)前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户注册的个人信息存储在哪个节点上，相应的哈希方法已经很多，在此不再赘述；

3)被选定的存储节点接收新注册用户个人信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+树索引；

4)接下来用户需要在运动社交软件绑定手环信息，即形成用户ID和手环ID的对应关系，并发送到前端服务器，并暂存于前端服务器；

5)前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户的手环绑定信息存储到哪个节点上；

6)被选定的存储节点接收用户ID和手环ID绑定信息并存入关系数据库中，并且在该关系数据库中构建基于用户ID的主索引，如B+树索引；

7)接下来运动手环可以在日常工作状态和运动工作状态(通过软硬件设置不同工作状态下具有不同采样频率)之间进行切换并采集运动数据记录，并发送到前端服务器；

8)前端服务器通过运动手环ID及其与用户ID的绑定关系，确定运动数据属于哪一个用户，即查找手环ID和用户ID绑定关系表；

9)前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该用户的运动数据存储到哪个节点上；

10)被选定的存储节点接收用户的运动数据并存入文档数据库中，并且在该文档数据库中构建基于用户ID的主索引，如倒排索引；

11)接下来用户可以在运动社交软件上发起运动活动同时建立临时社交群组，当有人加入时即建立人与人的临时社交关系，当活动结束时社交关系解除，当然可以把临时社交关系转化为长久的好友关系，把临时/长久的社交关系图数据发送到前端服务器；

12)前端服务器利用哈希函数对个人用户ID进行哈希以最终确定该社交关系存储到哪个节点上；

13)被选定的存储节点接收用户的社交关系数据并存入图数据库中，并且在图数据库中构建基于用户ID的主索引，如哈希索引；

14)对于知识问答子系统，每一个存储节点均利用键值数据库存储已经爬取到的专家问答知识库，同时还利用图数据库存储构件好的运动问答知识图谱，以尽可能准确的回答用户提出的问题；

15)对于每一个存储节点，均利用内存键值数据库作为其他数据库的缓存数据库，提高查询和检索的效率。

5.如权利要求1所述的运动健康跨模态数据分布式存储和检索系统中，运动健康跨模态数据查询的步骤包括：

1)运动社交软件发送查询请求到前端服务器；

2)前端服务器利用哈希函数对个人用户ID进行哈希以最终确定把该查询请求发送到哪个存储节点上；

3)在存储节点上根据用户ID和查询条件查询内存键值数据库，如果未找到想要的数据，再查询外存的多个数据库；

4)存储节点把查询结果反馈给前端服务器；

5)前端服务器把查询结果反馈给运动社交软件，并呈现给用户。

6.如权利要求1所述的运动健康跨模态数据分布式存储和检索系统中，运动健康跨模态数据检索的步骤包括：

1)检索用户发送检索请求到检索服务器；

2)检索服务器利用哈希函数对个人用户ID进行哈希以最终确定把该检索请求发送到哪个存储节点上；

3)在存储节点上根据用户ID和检索条件检索内存键值数据库，如果未找到想要的数据，再检索外存的多个数据库；

4)存储节点把检索结果反馈给检索服务器；

5)检索服务器把检索结果反馈并呈现给检索用户。