CN111198893B - 一种数据更新方法、装置、可读介质及电子设备 - Google Patents

Abstract

本发明公开了一种数据更新方法、装置、可读介质及电子设备，包括：获取增量医疗数据；基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；对所述至少两个目标对象各自对应的更新数据进行聚合；基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。本发明提供的技术方案可以实现对多个目标对象中的医疗数据进行一同更新，从而完成数据更新所需时间短，数据更新效率高。

Description

一种数据更新方法、装置、可读介质及电子设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据更新方法、装置、可读介质及电子设备。

背景技术

在利用的医疗数据进行科学研究时，往往需要更多最新的医疗数据，以保证研究成果的准确性和及时性，因此对医疗数据的更新速度提出了要求。

目前，在医疗数据进行更新时多是采用以系统为单位的全量更新，即将一个系统中的全部医疗数据更新完后再进行下一个系统的医疗数据更新，完成数据更新所需的周期较长，难以满足相关研究工作的要求。

发明内容

本发明提供了一种数据更新方法、装置、可读介质及电子设备，可以实现对多个目标对象中医疗数据进行一同更新，从而完成数据更新所需时间短，数据更新效率高。

第一方面，本发明提供了一种数据更新方法，包括：

获取增量医疗数据；

基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；

对所述至少两个目标对象各自对应的更新数据进行聚合；

基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

第二方面，本发明提供了一种数据更新装置，包括：

获取处理模块，用于获取增量医疗数据；

生产处理模块，用于基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；

聚合处理模块，用于对所述至少两个目标对象各自对应的更新数据进行聚合；

更新处理模块，用于基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面所述的方法。

本发明提供了一种数据更新方法、装置、可读介质及电子设备，该方法在获取增量医疗数据后，根据增量医疗数据，生产出至少两个目标对象各自对应的更新数据，然后对至少两个目标对象各自对应的更新数据进行聚合，进一步根据聚合后的更新数据对包含至少两个目标对象的全量医疗数据进行数据更新，根据聚合后的更新数据对全量医疗数据进行更新时，可以实现对多个目标对象中的医疗数据进行一同更新，从而完成数据更新所需时间短，数据更新效率高。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据更新方法的流程示意图；

图2为本发明另一实施例提供的数据更新方法的流程示意图；

图3为本发明一实施例提供的数据更新装置的结构示意图；

图4为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

前述已知，目前的数据更新方法常常是采用以系统为单位的全量更新，耗时长，效率低，成本高。因此，本发明提供的技术方案通过对至少两个目标对象对应的更新数据进行聚合，实现对多个目标对象中的医疗数据进行一同更新，从而使得完成数据更新所需时间短，数据更新效率高。

参照图1所示，为本发明提供的数据更新方法的一个具体实施例。本实施例中所述方法包括以下步骤：

步骤101，获取增量医疗数据。

在本实施例中，增量医疗数据是指新增的患者数据或者是修改的患者数据。具体的，当医院中的各个系统存在新增的患者数据及修改的患者数据时，将新增的患者数据及修改的患者数据上传到云端，从而可以通过以读取云端数据的方式获取到增量医疗数据。

步骤102，基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据。

在本实施例中，根据增量医疗数据携带的数据信息，将需要进行数据更新的对象作为目标对象，可以是需要将新增的患者数据进行填加系统也可以是对已存在的医疗数据进行改写的系统。在获取到增量医疗数据后，往往不只需要对一个目标对象中的医疗数据进行更新，因此需要生产出至少两个目标对象各自对应的更新数据，其中目标对象可以选择不同的系统。具体的，将生产出的更新数据输出到HDFS中，以便对更新数据的管理和读取。

步骤103，对所述至少两个目标对象各自对应的更新数据进行聚合。

在本实施例中，在确定了至少两个目标对象各自对应的更新数据后，对更新数据进行聚合，实现更新数据跨对象的聚合。需要说明的是，因各个目标对象对应的数据格式可能不同，因此为了更好的对更新数据进行聚合，在聚合过程中会涉及数据格式转换。

步骤104，基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

在本实施例中，读取聚合后的更新数据，将聚合后的更新数据的不同部分分别写入到包含至少两个目标对象的全量医疗数据中，以完成对全量医疗数据的数据更新。

上述实施例中，在获取增量医疗数据后，根据增量医疗数据，生产出至少两个目标对象各自对应的更新数据，然后对至少两个目标对象各自对应的更新数据进行聚合，进一步根据聚合后的更新数据对包含至少两个目标对象的全量医疗数据进行数据更新，根据聚合后的更新数据对全量医疗数据进行更新时，可以实现对多个目标对象中的医疗数据进行一同更新，从而完成数据更新所需时间短，数据更新效率高。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

如图2所示，为本发明提供的数据更新方法的另一个具体实施例。本实施例中，所述数据更新方法包括以下步骤：

步骤201，获取原始增量医疗数据。

在本实施例中，原始增量医疗数据是指未经过处理的新增的患者数据或者修改的患者数据。

步骤202，对所述原始增量医疗数据进行纳排处理，获取目标病种对应的增量医疗数据。

在本实施例中，因医院各个系统中的医疗数据都会发生变化，使得获取到的原始增量医疗数据包含有各种不同系统的医疗数据，即来自于不同科室、属于不同病种的医疗数据，而在对医疗数据进行科学研究时，往往是针对单一病种进行的，因此需要对原始增量医疗数据进行纳排处理，从包含各种病种数据的原始增量医疗数据中获取出目标病种对应的增量医疗数据。例如，目标病种为肺癌，则在所有的原始增量医疗数据中确定出诊断名称包含肺癌或者肺恶性肿瘤等的患者数据，以形成肺癌专病库。

具体的，将经纳排处理获取的增量医疗数据输出到HDFS中，在以天为更新周期时，每天的增量医疗数据形成一个目录，并按照医疗数据中业务表进行存储，每个表里包含不同患者的数据记录，数据记录的层级结构与患者数据的复杂程度相关，通常患者的数据记录可以为二级、三级、四级或五级等，往往原始增量数据中患者的数据记录方式与增量医疗数据中患者的数据记录方式相同，且增量医疗数据中表字段路径定义与原始增量医疗数据相关。

步骤203，对所述增量医疗数据进行结构化处理，获取结构化数据。

在本实施例中，对增量医疗数据进行结构化处理，即在增量医疗数据中提取出专病字段集及对应字段的提取和计算规则，以获取结构化数据。对于医疗数据而言，往往包括着患者的基本信息、病历、医嘱、护理文书、检验报告等，上述信息中会存在大量的与科研研究不相关字段，通过对增量医疗数据进行结构化处理，在大量的文本中提取出有用的字段，或通过几个字段计算出新的字段，如DMI值的计算和预产期的计算等。具体的，将结构化数据输出到HDFS中。需要说明的是，因在数据的应用过程中存在需要进行溯源的数据，则在对增量医疗数据进行结构化处理时，需要确定结构化数据中的字段与增量医疗数据中字段的映射关系，因此获取到的结构化数据中还包含了结构化数据字段与增量医疗数据字段路径值的映射关系。

步骤204，基于所述增量医疗数据和/或所述结构化数据，生产出至少一个目标应用端对应的更新数据。

在本实施例中，根据增量医疗数据、结构化数据或增量医疗数据和结构化数据生产出至少一个目标应用端对应的更新数据，即生产应用层数据，其中目标应用端为应用层数据生产后直接使用的对象，不同的应用场景，对应不同的应用端，则会对应不同的应用层数据。具体的，目标应用端对应的更新数据包括详情页更新数据、基线页更新数据和溯源更新数据中的一种或多种。即可以将结构化数据加工成detail详情页数据、baseline基线页数据或trace溯源数据，并将加工好的结构化数据输入至HDFS中。在一种可能的实现方式中，按照患者惟一编号将不同类型(detail/baseline/trace)的数据进行聚合，key为患者惟一编号，value为list，每一项是患者不同类型的数据，然后将聚合后的数据输入至HDFS中。

在详情页更新数据、基线页更新数据和溯源更新数据中可以按照一个患者全部记录为一条记录的方式进行存储。具体的，一条患者数据为一个患者的全部数据，由多张不同的表组成，如就诊表，检查表，检验表等，每张表为三级结构，第一层为表名，如就诊表，第二层为子表名，如就诊表下的住院表，住院表里可能会包含多条住院信息，每条记录有一个惟一的标识group_id和属于哪次就诊的惟一编号visit_sn,每次就诊时会产生一个惟一编号，而一次就诊可能会在一张或多张表存在记录，如一次就诊，可能在检查表产生多次检查信息，检验表产生多次检验信息，医嘱表产生多次医嘱信息等，所以可以使用患者惟一编号+就诊编号+记录编号进行数据关联。

当目标应用端对应的更新数据包括溯源更新数据时，基于结构化数据，生产出至少一个目标应用端对应的路径内容更新数据；基于增量医疗数据，生产出至少一个目标应用端对应的数据内容更新数据。因溯源数据分为两个部分，即路径内容部分和数据内容部分，且两个内容部分通常会存在在不同的数据库中。具体的，字段值生产路径md5值数据，位于hbase中，需要溯源到的增量医疗数据，位于mongo表中，当需要生产出目标应用端的溯源更新数据时，需要将增量医疗数据写入mongo表中，以及结构化数据字段与增量医疗数据字段值的路径值映射关系写入到hbase中。举例来说，当存在增量医疗数据时，先需要找到当前正在使用的数据批次对应的溯源数据库表名，然后读取对增量医疗数据进行结构化处理时产生的溯源字段映射路径，以psn+md5值作为键(key)，字段生产路径为值(value)，存成csv文件，上传到HDFS中，然后进行文件的转换，将csv文件转换为hfile文件，使用org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles方式进行数据迁移，将hfile数据导入hbase对应表中，进一步读取的增量医疗数据，按照业务表+患者惟一编号的方式，增加或者覆盖更新mongo中原始数据，从而生产出路径内容的更新数据和数据内容的更新数据。

步骤205，基于所述至少一个目标应用端对应的更新数据，生产出至少一个目标数据库对应的更新数据。

本实施例中，在获取到增量医疗数据后，存在目标数据库中的医疗数据需要进行更新，在目标数据库中的数据在进行更新时，内容与目标应用端对应的更新数据一致，但是需要根据目标数据库的格式要求，进行格式转换。举例来说，在生产es数据库的更新数据时，读取目标应用端的更新数据和相关的配置信息，然后进行数据格式转换，生产出符合es数据格式要求的更新数据，并输入至HDFS中。

步骤206，基于所述增量医疗数据，生产出所述医学数据平台对应的更新数据。

本实施例中，在获取到增量医疗数据后，需要对医学数据平台中的数据进行相应更新，在进行科学研究使用的专病库时会用到医学数据(智能)平台的相关功能，所以也需要将医学数据平台数据作增量更新。具体的，将增量医疗数据进行格式转换，生产出医学数据平台对应的更新数据，即将增量医疗数据按照医学数据平台应用的数据内容和格式要求写入到hbase中，以供后面专病库使用医学数据智能平台应用的搜索服务。

步骤207，对所述至少两个目标对象各自对应的更新数据进行聚合。

在本实施例中，对至少两个目标对象各自对应的更新数据进行聚合，在一种可能的实现方式中按照患者的惟一编号进行至少两个目标对象的更新数据的聚合。举例来说，首先读取步骤204中写入到HDFS中数据，将数据转换成spark的pair对RDD形式，再读取步骤205中步写入到HDFS的es数据，以_routing(即患者惟一编号)作为key，先将es不同表中的数据做聚合，将数据转换成spark的pair对RDD形式，然后将此两部分数据再进行cogroup聚合操作。然后用spark读取步骤206写入hbase的数据，将数据转换成spark的pair对RDD形式，key仍然是患者惟一编号，value为患者数据，将此部分数据和前面聚合的结果数据再进行一次聚合操作。

步骤208，基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

本实施例中，根据聚合后的更新数据对全量医疗数据进行数据更新。举例来说，使用spark读取步骤207中聚合后的更新数据，每条患者数据，key为患者惟一编号，value的数据分为三部位，第一部分为将写入专病库mongo的不同业务场景数据(对应目标应用端)，第二部分为将写入专病库es的数据(对应目标数据库)，第三部位为将写入医学数据平台的数据，将第一部分数据按照步骤204中的聚合顺序，将数据依次拆分后写入mongo的detail/baseline/trace表中，第二部分数据调用es更新接口，将数据写入专病库es索引中，第三部分数据为医学数据平台的数据，将数据分别转换为医学数据平台mongo和es要求的数据格式，然后调用相关接口，将数据更新进去。

需要说明的，在一种可能的实现方式中，在进行增量更新的同时进行全量更新，其中全量更新的周期设置较增量更新的周期设置时间长，例如每天进行增量更新、每周进行全量更新，利用全量更新和增量更新同时进行的方式可以修复增量更新可能存在的数据问题，即保证了数据的及时性也保证了数据的准确性。

步骤209，对数据更新的全量医疗数据进行检查。

在本实施例中，为了确定数据更新的准确性，需要在对数据更新的全量医疗数据进行检查，以保证更新结果的准确性。

步骤210，若存在更新失败的医疗数据，则进行数据回滚。

在本实施例中，当存在增量更新失败的医疗数据，则进行数据回滚，即将更新的医疗数据变为更新前的医疗数据。

在上述实施例中，通过对原始增量医疗数据进行纳排处理，筛选出目标病种对应的增量医疗数据，形成专病库，便于科学研究，然后对增量医疗数据进行结构化处理，提取出有用字段集，以获取结构化数据，进一步生成出目标应用端、目标数据库和医疗数据平台对应的更新数据，并将更新数据进行聚合，以利用聚合后的更新数据对全量医疗数据进行更新，从而实现了一次对全量医疗数据中的多个目标对象中的医疗数据进行一同更新，耗时短、效率高，在对全量医疗数据进行更新后，还需进行检查，以保证更新结果的准确性。

如图3所示，为本发明提供的数据更新装置的一个具体实施例。本实施例所述装置，即用于执行图1～2所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：

获取处理模块31，用于获取增量医疗数据；

生产处理模块32，用于基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；

聚合处理模块33，用于对所述至少两个目标对象各自对应的更新数据进行聚合；

更新处理模块34，用于基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成数据更新装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的数据更新方法。

上述如本发明图3所示实施例提供的数据更新装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的数据更新方法，并具体用于执行如图1或图2所示的方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种数据更新方法，其特征在于，包括：

获取增量医疗数据；

基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；

对所述至少两个目标对象各自对应的更新数据进行聚合；

基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新；

所述目标对象包括目标应用端和目标数据库，则基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据，包括：

对所述增量医疗数据进行结构化处理，生产出结构化数据；

基于所述增量医疗数据和/或所述结构化数据，生产出至少一个目标应用端对应的更新数据；

基于所述至少一个目标应用端对应的更新数据，生产出至少一个目标数据库对应的更新数据。

2.根据权利要求1所述的方法，其特征在于，所述获取增量医疗数据步骤前，还包括：

获取原始增量医疗数据；

对所述原始增量医疗数据进行纳排处理，获取目标病种对应的增量医疗数据。

3.根据权利要求1所述方法，其特征在于，所述至少两个目标对象还包括医学数据平台，则所述方法还包括：

基于所述增量医疗数据，生产出所述医学数据平台对应的更新数据。

4.根据权利要求1所述的方法，其特征在于，所述目标应用端对应的更新数据包括详情页更新数据、基线页更新数据和溯源更新数据中的一种或多种。

5.根据权利要求4所述的方法，其特征在于，当所述目标应用端对应的更新数据包括溯源更新数据时，基于所述增量医疗数据和/或所述结构化数据，生产出至少一个目标应用端对应的更新数据，包括：

基于所述结构化数据，生产出所述至少一个目标应用端对应的路径内容更新数据；

基于所述增量医疗数据，生产出所述至少一个目标应用端对应的数据内容更新数据。

6.根据权利要求1～5任一权项所述的方法，其特征在于，所述方法还包括：

对数据更新的全量医疗数据进行检查；

若存在更新失败的医疗数据，则进行数据回滚。

7.一种数据更新装置，其特征在于，包括：

获取处理模块，用于获取增量医疗数据；

生产处理模块，用于基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据；所述目标对象包括目标应用端和目标数据库，则基于所述增量医疗数据，生产出至少两个目标对象各自对应的更新数据，包括：对所述增量医疗数据进行结构化处理，生产出结构化数据；基于所述增量医疗数据和/或所述结构化数据，生产出至少一个目标应用端对应的更新数据；基于所述至少一个目标应用端对应的更新数据，生产出至少一个目标数据库对应的更新数据；

聚合处理模块，用于对所述至少两个目标对象各自对应的更新数据进行聚合；

更新处理模块，用于基于聚合后的更新数据对包含所述至少两个目标对象的全量医疗数据进行数据更新。

8.一种计算机可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如权利要求1至6中任一权项所述的数据更新方法。

9.一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至6中任一权项所述的数据更新方法。

Images