数据路由方法、数据路由网络及其数据访问方法、系统
技术领域
本公开属于数据路由的技术领域,涉及一种数据路由方法、数据路由网络及其数据访问方法、系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着信息技术的发展和其在不同行业各个层面的应用,制约信息化发展的因素在各类信息化需求落地过程中逐步凸显。同一行业中包含了各个部门,而各个部门都以自身的业务需求出发,各自开发了应用系统,这些系统各为所用,数据很难进行有效融合,难以提供综合性的各类信息,由于信息化人才缺乏、资金配套问题和机制体制不健全等问题,导致业务系统的维护、更新、完善工作很难有效开展,系统则逐渐成为一个个的信息孤岛。
目前主流解决信息孤岛的方式是建立公共数据平台,公共数据平台把不同源头的数据进行统一汇总,统一存储,为其他应用系统提供必要的数据共享,并对数据进行有效积累。例如在医疗行业,目前现有的数据使用方式,将不同医疗机构数据全部统一汇总到人口健康平台的中心库,然后对数据使用ESB数据总线工具,以接口的形成提供数据接口。索引数据使用方,通过ESB接口去到人口健康平台的中心库中获取数据,每次均从平台中心库中查找所需数据内容。虽然这种方式解决了信息孤岛的问题,但是在使用过程中逐渐浮现出诸多问题。
第一,随着大数据技术的兴起,数据的价值日益得到重视。为了提高数据的利用,充分挖掘数据的价值,公共数据平台的建设,需要不同部门对数据进行数据采集,并逐层想上级部门进行传输汇总集中,由于数据量大,耗时比较长,数据采集和数据集中在时间和存储空间上都会有一定限制。
第二,公共数据平台可能涉及图像、音像和/或影像文件等大文件的的存储,其占用存储空间较大,如果对数据进行集中存储,需要存储空间较大,成本较高。
第三,将数据集中到公共数据平台的集中存储方式,不能较好的保证数据的使用,对公共数据平台依赖性太强。采用中心化存储,如果存储中心公共数据平台服务器宕机或网络中断,数据将无法正常使用。
发明内容
针对现有技术中存在的不足,本公开的一个或多个实施例提供了一种数据路由方法、数据路由网络及其数据访问方法、系统,有效避免数据的采集和数据集中存储,同时保证数据的正常使用,通过分布式存储提高数据利用率,在部分服务器或网络发生故障,仍然能够保证数据能够正常使用。
根据本公开的一个或多个实施例的一个方面,提供一种数据路由方法。
一种数据路由方法,该方法包括:
每个平台服务器采用数据索引形式将其存储的数据生成索引数据在其对应的数据路由上进行数据注册;数据路由层级与平台服务器层级一一对应;
最高层级的数据路由发起自上而下逐级的索引数据同步;
最低层级的数据路由发起自下而上逐级的索引数据汇总,数据路由接收到下一级上传的索引数据与本级索引数据合并后向上级平台服务器的数据路由上传;
数据路由在生成索引数据时,预设数据访问路径优先级;
每个数据路由根据索引数据和数据访问路径优先级形成最终的数据路由表,并存储于其对应的平台服务器,根据数据路由表进行数据路由。
进一步地,该方法采用分布式存储形式,分别将数据存储在其对应的平台服务器中。
进一步地,在该方法中,所述索引数据的类型包括人员信息索引和事件索引。
进一步地,在该方法中,每个所述索引数据包括索引号、数据实体、地址类型和地址;所述索引数据中的地址根据数据存储的位置包括至少一个地址信息。
进一步地,在该方法中,所述地址类型包括数据路由地址、数据库地址和接口地址。
进一步地,在该方法中,所述最高层级的数据路由发起自上而下逐级的索引数据同步,具体步骤包括:
最高层级的数据路由根据其对应平台地址,从平台服务器中提取生成的索引数据,向下一级数据路由发送同步索引命令;
下一级数据路由接收同步索引命令,根据其对应平台地址,从平台服务器中提取生成的索引数据,继续向下一级数据路由发送同步索引命令,直至最低层级的数据路由。
进一步地,在该方法中,所述数据访问路径优先级至少包括第一优先级;还包括第二优先级和第三优先级,所述第一优先级为索引数据当前层级数据路由对应的平台服务器中存储的数据,所述第二优先级为索引数据下一层级数据路由对应的平台服务器中存储的数据,所述第三优先级为索引数据上一层级数据路由对应的平台服务器中存储的数据。
根据本公开的一个或多个实施例的另一个方面,还提供一种数据路由网络。
一种数据路由网络,基于一种数据路由方法,包括多层数据路由部署形成,相邻层的数据路由相互交换数据。
根据本公开的一个或多个实施例的一个方面,提供一种数据访问方法。
一种数据访问方法,该方法基于一种数据路由方法,包括:
接收数据访问指令,根据数据访问指令依照数据访问路径优先级顺序进行数据访问,当当前优先级路径出现故障时,通过下一优先级路径访问数据。
根据本公开的一个或多个实施例的一个方面,提供一种数据查询系统,基于所述一种数据查询方法。
本公开的有益效果:
(1)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,采用数据分布存储,有效利用各个平台服务器的存储设备,数据路由不需要进行数据的逐层上传汇总,即能够避免数据的采集和数据集中存储,又能够保证数据的正常使用。在进行数据存储和数据查询访问时,相较于把数据全部汇集后的公共数据平台效率更高,提高数据的时效性,有效缩短数据产生到使用的时间延迟。
(2)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,减少数据采集环节,每个平台服务器对应一个数据路由,平台服务器仅采集存储本平台的数据,减少数据传输过程中出现的质量问题,使数据准确性更好。
(3)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,多路径访问数据,能够避免一条路径出现问题后数据无法使用的情况,能够通过其他路径获取到数据,最大限度保证数据的可用性。
(4)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,数据路由能够获取最佳的数据访问策略,使数据访问更快速。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是根据一个或多个实施例的一种数据路由网络拓扑结构图;
图2是根据一个或多个实施例的数据路由方法流程图;
图3是根据一个或多个实施例的数据路由方法具体流程图;
图4是根据一个或多个实施例的数据路由中的数据准备流程图;
图5是根据一个或多个实施例的数据路由方法中同步索引流程图;
图6是根据一个或多个实施例的数据路由方法中合并索引流程图;
图7是根据一个或多个实施例的数据路由查询访问方法流程图。
具体实施方式:
下面将结合本公开的一个或多个实施例中的附图,对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本公开的一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是,附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合,下面结合附图与实施例对本公开作进一步说明。
本公开的一个或多个实施例以医疗行业为例。目前现有的数据使用方式,将不同医疗机构数据全部统一汇总到人口健康平台的中心库,然后对数据使用ESB数据总线工具,以接口的形成提供数据接口。索引数据使用方,通过ESB接口去到人口健康平台的中心库中获取数据,每次均从平台中心库中查找所需数据内容。
随着大数据技术的兴起,数据的价值日益得到重视。为了提高数据的利用,充分挖掘数据的价值,需要对数据进行数据采集和数据集中,由于数据量大,数据采集和数据集中在时间和存储空间上都会有一定限制。本公开的一个或多个实施例的数据路由即能够避免数据的采集和数据集中存储,又能够保证数据的正常使用。
由于人口健康平台的建设,需要将不同医疗机构数据进行数据采集,并逐层想上级医疗单位进行传输汇总。数据量比较大,耗时比较长,服务较快发挥数据价值。本公开的一个或多个实施例的数据路由不需要进行数据的逐层上传汇总。能够提高数据的时效性,有效缩短数据产生到使用的时间延迟。
人口健康平台数据涉及病历文书、影像文件等大文件。占用存储空间较大,如果对数据进行集中存储,需要存储空间较大,成本较高。本公开的一个或多个实施例的数据路由能够将数据进行分布存储,有效利用各个医疗机构的存储设备。
将数据集中到人口健康平台,不能较好的保证数据的使用,对人口健康平台依赖性太强。如果平台服务器宕机或网络中断,数据将无法正常使用。本公开的一个或多个实施例的数据路由能够根据数据的存放机制,进行自动寻找;通过不同路径获取数据内容。
在本公开的一个或多个实施例中,不同层级健康平台指不同行政级别,如国家级、省级、地市级、区县级等。该出的层级可以是其中的某几个层级,或所有层级。在数据路由部署中,每级健康平台都有对应的数据路由。不同级别数据路由只根据本级别平台中心库中的数据生成索引数据,即不同级别的数据路由生成的索引数据不同。在生成索引数据的过程中,由上到下各级分别根据对应级别的平台中心库生成索引,然后逐级将索引数据进行向上传输汇总,最顶级将所有索引数据汇总完毕后向下同步索引数据,下级将索引数据与本地索引数据进行整合。
如图1所示,本公开的一个或多个实施例的数据路由多个服务部署形成数据路由网络,每个数据路由服务依托不同健康平台,从不同健康平台中对数据进行整合,形成对应数据集市;数据集市采用分布存储形式,分别存储在对应平台服务器,不将数据进行汇集到一起存储。
如图2所示,根据本公开的一个或多个实施例的一个方面,提供一种数据路由方法。
一种数据路由方法,该方法包括:
每个平台服务器采用数据索引形式将其存储的数据生成索引数据在其对应的数据路由上进行数据注册;数据路由层级与平台服务器层级一一对应;
最高层级的数据路由发起自上而下逐级的索引数据同步;
最低层级的数据路由发起自下而上逐级的索引数据汇总,数据路由接收到下一级上传的索引数据与本级索引数据合并后向上级平台服务器的数据路由上传;
数据路由在生成索引数据时,预设数据访问路径优先级;
每个数据路由根据索引数据和数据访问路径优先级形成最终的数据路由表,并存储于其对应的平台服务器,根据数据路由表进行数据路由。
根据本公开的一个或多个实施例的一个方面,还提供一种数据访问方法。
一种数据访问方法,该方法基于一种数据路由方法,包括:
接收数据访问指令,根据数据访问指令依照数据访问路径优先级顺序进行数据访问,当当前优先级路径出现故障时,通过下一优先级路径访问数据。
根据本公开的一个或多个实施例的一个方面,还提供一种数据查询系统,基于所述一种数据查询方法。
由于数据路由和数据查询访问是密切相连的,本公开的一个或多个实施例将其合并说明,其数据路由及数据查询的具体流程图如图3所示,
步骤(1):数据准备
步骤(2):接收消息;
步骤(3):解析消息;
步骤(4):判断消息类型;若是同步索引命令消息,则转入步骤(5);若是索引数据消息,则转入步骤(6);若是查询数据命令消息,则转入步骤(7);
步骤(5):进行同步索引,判断当前层级是否为最低级,若为最低级,上传索引数据,若非最低级,下发同步索引;
步骤(6):接收消息并合并索引,判断当前层级是否为最顶级,若为最顶级,下发索引数据,若非最低级,上传索引数据;
步骤(7):根据索引查询数据。
如图4所示,在数据路由及数据查询的具体流程前需要进行步骤(1)数据准备:
步骤(1-1):生成数据集市;
步骤(1-2):判断数据范围,是全量转入步骤(3);是变量转入步骤(4);
步骤(1-3):清空数据集市,在全部数据中过滤无法关联数据,进行关键字段验证,将合法数据入库保存;
步骤(1-4):删除对应日期数据,对应日期数据中过滤无法关联数据,进行关键字段验证,将合法数据入库保存。
本公开的一个或多个实施例采用数据索引形式在数据路由上进行数据注册,根据不同平台的数据生成对应索引,使用索引进行数据的访问。数据索引分为人员信息索引、事件索引,分别将居民个人信息、健康数据、医疗数据进行管理。在数据索引中存储数据的实际存放地址,存放地址根据数据的分布会有多个地址。
人员信息索引包括索引号、事件索引号、身份证号、健康档案号、数据实体、地址类型、第一地址、第二地址、第三地址。
事件索引包括事件主索引号、事件索引号、事件索引号、机构信息、事件摘要信息、地址类型、第一地址、第二地址、第三地址。其中地址类型可以支持数据路由地址、数据库地址、接口地址等。
如图5-图6所示,数据路由之间进行定时同步,同步过程分为2种方式,一种是自下而上的索引数据汇总。一种是自上而下的索引数据同步。保证不同数据路由服务器中的索引数据完全一致。
首先从最上层数据路由发起,根据数据路由对应平台地址,从平台存储数据提取索引数据,分别包括人员基本信息索引、事件主索引(包括免疫规划、中小学生体检等公共卫生事件)、事件二级索引(包括门诊处方、住院医嘱、检查检验等事件)。生成索引数据后向下逐层发送同步索引命令,其他层数据路由收到命令后,根据对应平台中心库生成索引数据,向下级发送同步索引命令,并接收下级上传索引数据,将索引数据合并后继续向上级传输索引数据。
在该方法中,所述最高层级的数据路由发起自上而下逐级的索引数据同步,具体步骤包括:
最高层级的数据路由根据其对应平台地址,从平台服务器中提取生成的索引数据,向下一级数据路由发送同步索引命令;
下一级数据路由接收同步索引命令,根据其对应平台地址,从平台服务器中提取生成的索引数据,继续向下一级数据路由发送同步索引命令,直至最低层级的数据路由。
如图5所示,步骤(5)数据路由进行同步索引流程包括:
步骤(5-1):连接对应平台数据集市;
步骤(5-2):查询居民基本信息,根据居民基本信息形成索引数据,数据存入居民基本信息索引表,生成第一地址;
步骤(5-3):查询主事件基本信息,根据主事件基本信息形成索引数据,数据存入主事件基本信息索引表,生成第一地址;
步骤(5-4):查询事件基本信息,根据事件基本信息形成索引数据,数据存入事件基本信息索引表,生成第一地址。
如图6所示,步骤(6)数据路由合并索引流程包括:
步骤(6-1):接收索引数据;
步骤(6-2):判断索引来源,若为上一级发送的索引数据,则转入步骤(6-3);若为上一级发送的索引数据,则转入步骤(6-6);
步骤(6-3):暂存到上级索引临时表,并判断该索引是否存在于正式索引表,若是,则转入步骤(6-4),否则,转入步骤(6-5);
步骤(6-4):临时索引表数据更新正式表索引地址,原有索引地址优先级根据现有地址数递减;
步骤(6-5):插入临时索引数据到正式索引表,原有索引地址优先级不变;
步骤(6-6):暂存到下级索引临时表,并判断该索引是否存在于正式索引表,若是,则转入步骤(6-7),否则,转入步骤(6-8);
步骤(6-7):临时索引表数据更新正式表索引地址,原有索引地址优先级递减一;
步骤(6-8):插入临时索引数据到正式索引表,原有索引地址优先级不变。
进一步地,在该方法中,所述数据访问路径优先级至少包括第一优先级;还包括第二优先级和第三优先级,所述第一优先级为索引数据当前层级数据路由对应的平台服务器中存储的数据,所述第二优先级为索引数据下一层级数据路由对应的平台服务器中存储的数据,所述第三优先级为索引数据上一层级数据路由对应的平台服务器中存储的数据。
在进行数据访问时,选择最优路径进行数据访问,直接按照路径优先级使用数据访问路径,数据路由在生成索引数据时,即形成数据访问路径优先级。所有数据索引的第一优先级均为对应平台的数据集市,第二优先级地址为下级平台数据集市地址,第三优先级地址为上级平台数据集市地址。如果部分数据只在某一个平台数据集市中存在,则只有第一地址。若存在某二个平台数据集市,则只有第一地址和第二地址。只有在三个或三个以上的平台数据集市中存在,三个优先级的地址才都会有。
如图7所示,步骤(7)数据路由查询访问数据流程包括:
步骤(7-1):查询数据消息;
步骤(7-2):判断消息类型,若是查询居民基本信息消息,则进入步骤(7-3),若是查询居民主事件消息,则进入步骤(7-4),若是查询居民事件消息,则进入步骤(7-5),若是查询居民数据消息,则进入步骤(7-6);
步骤(7-3):获取身份证号,根据身份证号查询居民索引信息,获取居民基本信息索引地址,进步骤(7-7);
步骤(7-4):获取居民编号,跟居民编号查询居民主事件索引;
步骤(7-5):获取主事件索引号,根据主事件索引号查询居民事件索引;
步骤(7-6):获取事件索引号,进步骤(7-7);
步骤(7-7):获取数据第一地址,通过第一地址获取数据,判断是否成功,若是,则组装返回数据,否则,进入步骤(7-8);
步骤(7-8):获取数据第二地址,通过第二地址获取数据,判断是否成功,若是,则组装返回数据,否则,进入步骤(7-9);
步骤(7-9):获取数据第三地址,通过第三地址获取数据,判断是否成功,若是,则组装返回数据,否则,返回失败信息。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
本公开的有益效果:
(1)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,采用数据分布存储,有效利用各个平台服务器的存储设备,数据路由不需要进行数据的逐层上传汇总,即能够避免数据的采集和数据集中存储,又能够保证数据的正常使用。在进行数据存储和数据查询访问时,相较于把数据全部汇集后的公共数据平台效率更高,提高数据的时效性,有效缩短数据产生到使用的时间延迟。
(2)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,减少数据采集环节,每个平台服务器对应一个数据路由,平台服务器仅采集存储本平台的数据,减少数据传输过程中出现的质量问题,使数据准确性更好。
(3)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,多路径访问数据,能够避免一条路径出现问题后数据无法使用的情况,能够通过其他路径获取到数据,最大限度保证数据的可用性。
(4)本发明所述的一种数据路由方法、数据路由网络及其数据访问方法、系统,数据路由能够获取最佳的数据访问策略,使数据访问更快速。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。