CN110347662B - 一种基于通用数据模型的多中心医疗数据结构标准化系统 - Google Patents

一种基于通用数据模型的多中心医疗数据结构标准化系统 Download PDF

Info

Publication number
CN110347662B
CN110347662B CN201910629812.5A CN201910629812A CN110347662B CN 110347662 B CN110347662 B CN 110347662B CN 201910629812 A CN201910629812 A CN 201910629812A CN 110347662 B CN110347662 B CN 110347662B
Authority
CN
China
Prior art keywords
data
mapping
data structure
database
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910629812.5A
Other languages
English (en)
Other versions
CN110347662A (zh
Inventor
李劲松
叶前呈
田雨
王执晓
陈伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN201910629812.5A priority Critical patent/CN110347662B/zh
Publication of CN110347662A publication Critical patent/CN110347662A/zh
Priority to PCT/CN2020/083585 priority patent/WO2020233255A1/zh
Priority to JP2021533317A priority patent/JP7074307B2/ja
Application granted granted Critical
Publication of CN110347662B publication Critical patent/CN110347662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于通用数据模型的多中心医疗数据结构标准化系统，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；源数据库为各医疗数据中心执行医疗业务流程的数据库；缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；本发明改进了医疗数据结构映射关系设计流程，有利于信息技术人员与医护人员协作，提高工作效率；本发明提供了增量更新机制，提高了系统运行效率。

Description

一种基于通用数据模型的多中心医疗数据结构标准化系统
技术领域
本发明属于数据结构标准化领域，尤其涉及一种基于通用数据模型的多中心医疗数据结构标准化系统。
背景技术
随着国内信息化水平的提高，越来越多的医院建立了自己的医院信息系统(HIS)以及包括电子病历系统(EMR)、影像采集与传输系统(PACS)、实验室检查信息系统(LIS)在内的各类临床业务信息系统。不少信息化程度较高的医院还建立了临床数据中心(CDR)，实现了全院业务数据的集中化，为医院管理、病人服务和临床科研提供了便利。但因不同医院之间所采取的医疗信息系统存在巨大差异，故而院内数据结构异质性大，无法实现各医院之间的数据共享，使得基于多中心的临床科研难以开展。因此需要一种数据结构标准化方法，将不同医院的医疗数据映射到同一个通用数据模型。
现有技术方案[CN201410605173-基于异构系统数据映射模板的医疗数据采集系统及方法]由技术员访问医疗数据源，记录数据源中的数据结构，对照标准数据结构，创建或者复用数据结构映射模板执行数据结构映射任务。模板创建过程包括将目标表结构拆分成若干具有业务关联关系的字段，针对每个字段生成数据采集SQL脚本，创建采集合并SQL脚本将各字段进行组合即可得到目标数据结构。该方法的重点在于利用数据采集模板的约束实现数据的规范化采集。现有技术的缺点概括如下：
1.数据结构映射处理需要频繁对数据库进行大量查询，现有技术方案直接对源数据库进行操作，增加源服务器的运行压力，影响正常业务活动。
2.医疗数据有其本身固有的专业性和复杂性。单凭信息技术人员难以独立完成映射关系设计工作，需要具备医疗背景的非技术人员配合。但现有的映射关系设计手段不够直观，对非技术人员不友好，不利于技术人员和非技术人员双方的良好沟通合作。
3.医疗数据存量大，对数据结构映射性能要求高，需要有针对性地对数据结构映射脚本进行优化。现有手段需要技术人员手动查询源数据库，了解数据分布情况，操作繁琐。
4.现有技术方案未提供增量更新方案，或提供增量更新功能但在更新时需要对所有数据重新做数据结构映射处理，效率低下。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于通用数据模型的多中心医疗数据结构标准化系统。
本发明的目的是通过以下技术方案来实现的：一种基于通用数据模型的多中心医疗数据结构标准化系统，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；
所述源数据库为各医疗数据中心执行医疗业务流程的数据库；所述缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；
所述缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离；
所述目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；
各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；
所述数据连接管理模块用于管理数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；
所述数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；
所述映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；所述映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；
所述映射执行单元包括数据缓存模块和映射处理模块；所述数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；所述映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；
所述质量控制单元包括异常处理模块，所述异常处理模块用于记录映射处理模块处理过程中的异常信息；
所述增量更新单元包括增量缓存模块和增量映射模块，所述增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；所述增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。
进一步地，所述数据连接管理模块对访问数据库的支持包括：读取连接信息配置文件，根据数据库类型配置信息加载相应的数据库连接驱动，根据ip、账号、密码信息连接至数据库。
进一步地，所述数据结构扫描模块中，所述数据结构信息包括表名、字段名、字段类型；所述字段统计信息包括字段行数、字段最大长度、字段取值范围、字段各取值的频数及占比；数据结构信息为建立结构映射关系提供支持；字段统计信息为映射性能优化提供支持；该模块利用结构化查询语言逐一对表进行查询，将查询结果汇总形成报表。
进一步地，所述映射关系生成与设计模块：在得到扫描后的源数据库和目标数据库的数据结构后，根据预设的近义词字典，对字段名进行模糊匹配，生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认；所述可视化具体为：利用带有指向性的图形，反映表与表之间，字段与字段之间一对一关系、一对多关系、多对一关系；所述映射关系生成与设计模块支持文本注释及设计文档导出。
进一步地，所述映射代码生成与修订模块：根据用户确认后的数据结构映射关系，按照代码框架生成数据结构映射脚本并保存，同时向用户提供修改数据结构映射脚本的权限。
进一步地，所述数据缓存模块建立的缓存层在源数据结构的基础上添加修改时间字段，用以记录每条数据的最近修改时间；所述映射处理模块将映射脚本应用于缓存层，进行数据结构标准化映射，数据结构映射结果保存至目标数据库，并在日志中记录最近映射操作时间。
进一步地，所述异常处理模块：当根据数据结构映射关系提取数据时出现包括“非空字段存在空值”，“数据长度超出范围”在内的错误时，拒绝这些数据的结构映射，并将这些错误记录到日志，错误数据记录至临时表，待用户确认删除或清洗处理。
进一步地，所述增量缓存模块通过CDC技术捕获源数据库中的数据变化，在缓存层中更新增量数据，并在修改时间字段中记录修改时间。
进一步地，所述增量映射模块将日志中的最近映射操作时间与缓存层中数据的修改时间进行对比，对修改时间晚于最近映射操作时间的数据进行映射；首先对缓存数据库中的增量数据结构和目标数据库结构进行扫描，若与存在于缓存数据库中的已有数据结构映射关系相同，则进行数据结构映射处理和质量控制；若与已有数据结构映射关系不符，则更新数据结构映射关系之后再进行数据结构映射处理和质量控制。
进一步地，所述质量控制单元还包括质量评估模块，所述质量评估模块用于在映射处理模块映射处理完成后形成一份针对当次数据结构映射处理的质量评估报告。
本发明的有益效果如下：本发明改进了医疗数据结构映射关系设计流程，有利于信息技术人员与医护人员协作，提高工作效率，具体如下：
1、将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；在缓存层上进行数据结构映射转换操作，将结果存至目标数据库。
2、支持对多种类型的数据库进行自动化扫描，返回数据库内数据结构信息及字段统计信息报表，不仅可为数据结构映射设计和性能优化提供依据，且可极大提高后续映射工作的效率与准确性。
3、提供可视化的数据结构映射关系设计工具，能够直观地呈现数据结构映射关系，便于信息技术人员和医疗人员沟通合作，修改及确定最终的数据结构映射关系，并由系统记录。
4、对于确定完成的数据结构映射关系，可基于上述可视化数据结构映射关系的设计生成自动化数据结构映射脚本，用户可对脚本进行修改以确保脚本准确性。在相应源结构和目标结构的后续增量更新时可实现对前述数据结构映射脚本的复用，若源结构或目标结构发生改变，则在旧数据结构映射关系的基础上修改并更新数据结构映射关系的记录。
5、建立完整详细可执行的数据结构映射流程及机制，以保证数据结构映射前后的科学性与完整性。建立数据结构映射日志记录，完善异常处理机制。
附图说明
图1系统框架图；
图2数据流动路径；
图3映射关系可视化举例；
图4增量更新流程与数据流动路径。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
如图1所示，本发明提供的一种基于通用数据模型的多中心医疗数据结构标准化系统，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；
源数据库为各医疗数据中心执行医疗业务流程的数据库，包括HIS，LIS，PACS，EMR系统数据库；缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；
缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离，避免影响该医疗数据中心正常业务；
目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；
各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；
数据连接管理模块用于管理(包括加载、修改、存储)数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；
数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；
映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；
映射执行单元包括数据缓存模块和映射处理模块；数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；
质量控制单元包括异常处理模块，异常处理模块用于记录映射处理模块处理过程中的异常信息；
增量更新单元包括增量缓存模块和增量映射模块，增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。
数据流动路径如图2所示，当进行初次数据结构映射时，首先通过数据连接管理模块将源数据库备份至缓存数据库，并由数据结构扫描模块对源数据库和目标数据库的数据结构进行扫描；之后由映射关系生成与设计模块生成初始映射关系，并展示可视化页面供用户完成映射关系的确认，确认完成之后由映射代码生成与修订模块生成映射脚本；用户确认映射处理后由映射处理模块将数据从缓存数据库提取，执行结构映射并导入目标数据库，同时处理过程中的异常记录至异常处理模块日志；映射处理完成后形成一份针对当次数据结构映射操作的质量评估报告。
每个模块的具体实现方式如下：
一、数据连接管理模块
缓存数据库和目标数据库在物理上可以为同一个数据库系统。实现方式包括但不限于，读取连接信息配置文件，根据数据库类型配置信息加载相应的数据库连接驱动，根据ip、账号、密码信息连接至数据库。
二、数据结构扫描模块
数据结构扫描模块中，数据结构信息包括表名、字段名、字段类型；字段统计信息包括但不限于字段行数、字段最大长度、字段取值范围、字段各取值的频数及占比；数据结构信息为建立结构映射关系提供支持；字段统计信息为映射性能优化提供支持。该模块利用结构化查询语言逐一对表进行查询，将查询结果汇总形成报表，见表1，表2。数据结构扫描模块帮助操作人员了解数据结构及数据分布，提高工作效率。
表1数据扫描报表举例
表名 字段名 字段类型 字段取值 字段统计表
Diagnosis diagnosis_id char not null STAT0001
Drug drug_code char not null STAT0002
……
表2字段统计表举例
字段名 字段值 频数 占比
diagnosis_id D21244 1 0.0001
diagnosis_code 1A03.3 3 0.0003
……
三、映射关系生成与设计模块
在得到扫描后的源数据库和目标数据库的数据结构后，根据预设的近义词字典，对字段名进行模糊匹配，生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认；所述可视化具体为：利用带有指向性的图形，反映表与表之间，字段与字段之间一对一关系、一对多关系、多对一关系，见图3。所述映射关系生成与设计模块支持文本注释及设计文档导出，以便追溯。映射关系生成与设计模块直观呈现数据结构映射关系，便于技术人员与非技术人员进行沟通。支持多版本的数据结构映射文档导出，可追溯数据结构映射关系的历史。
四、映射代码生成与修订模块
根据用户确认后的数据结构映射关系，按照代码框架生成数据结构映射脚本并保存，减小工作量，使得代码更具规范性，同时向用户提供修改数据结构映射脚本的权限。映射代码生成与修订模块半自动化数据结构映射处理，提高工作效率。
五、数据缓存模块
数据缓存模块建立的缓存层在源数据结构的基础上添加修改时间字段，用以记录每条数据的最近修改时间。
六、映射处理模块
映射处理模块将映射脚本应用于缓存层，进行数据结构标准化映射，数据结构映射结果保存至目标数据库，并在日志中记录最近映射操作时间。
七、异常处理模块
当根据数据结构映射关系提取数据时出现包括“非空字段存在空值”，“数据长度超出范围”在内的错误时，拒绝这些数据的结构映射，并将这些错误记录到日志，错误数据记录至临时表，见表3，待用户确认删除或清洗处理。
表3错误数据记录表举例
表 数据 错误类型
Diagnosis {……} 存在NULL
Diagnosis {……} 唯一标示重复
Drug {……} 超出字段长度
……
八、质量评估模块
质量控制单元还包括质量评估模块，质量评估模块用于在映射处理模块映射处理完成后形成一份针对当次数据结构映射处理的质量评估报告，质量评估报告内容见表4。
表4结构映射质量评估报告举例
目标表结构覆盖率 0.98
未覆盖目标表字段 Drug.dose,Condition.provider
源表1数据量统计 12034
目标表1数据量统计 12030
目标表1异常数据统计 4
源表2数据量统计 14980530
目标表2数据量统计 11298405
目标表2异常数据统计 3682125
……
九、增量缓存模块
增量缓存模块通过CDC(CDC：change data capture改变数据捕获技术，能从数据库日志中获取数据操作和时间信息)捕获源数据库中的数据变化，在缓存层中更新增量数据，并在修改时间字段中记录修改(插入或更新)时间。
十、增量映射模块
增量映射模块将日志中的最近映射操作时间与缓存层中数据的修改时间进行对比，对修改时间晚于最近映射操作时间的数据进行映射；首先对缓存数据库中的增量数据结构和目标数据库结构进行扫描，若与存在于缓存数据库中的已有数据结构映射关系相同，则进行数据结构映射处理和质量控制；若与已有数据结构映射关系不符，则更新数据结构映射关系之后再进行数据结构映射处理和质量控制。
此外，增量更新还可以采用如下方案：
a.缓存层中的每个表中设置触发器并建立相应的更新表，有数据被修改时在更新表中记录该数据条目的唯一标识及修改时间(插入、更新、删除)。执行映射增量更新时，从更新表中获取更新的记录，从数据表中抽取相应的数据。
b.利用物化视图实现增量更新。物化视图与视图相似，但会建立实体存储。部分数据库会对物化视图源表建立物化视图日志，记录数据变化，可以此为基础实现增量更新。
以上仅为本发明的实施实例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，该系统包括源数据库、缓存数据库、目标数据库、数据连接管理模块、数据结构扫描模块、映射构建单元、映射执行单元、增量更新单元和质量控制单元；
所述源数据库为各医疗数据中心执行医疗业务流程的数据库；所述缓存数据库与目标数据库均部署于各医疗数据中心的专属前置服务器；
所述缓存数据库用于存储该医疗数据中心源数据库的原始数据，作为缓存层将数据结构映射处理与源数据库隔离；
所述目标数据库存储所属医疗数据中心通过数据结构映射关系及缓存数据进行数据结构映射后得到的符合通用数据模型数据结构的医疗数据；
各医疗数据中心的目标数据库均与云端服务器连接，实现多中心医疗数据之间的协同分析；
所述数据连接管理模块用于管理数据库访问所需信息，对访问源数据库、缓存数据库和目标数据库提供支持；
所述数据结构扫描模块用于对源数据库和目标数据库的数据结构进行扫描，返回数据结构信息及字段统计信息报表；
所述映射构建单元包括映射关系生成与设计模块和映射代码生成与修订模块；所述映射关系生成与设计模块生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认，确认完成之后由映射代码生成与修订模块生成数据结构映射脚本；
所述映射执行单元包括数据缓存模块和映射处理模块；所述数据缓存模块将数据结构映射所需数据由源数据库迁移至缓存数据库建立缓存层，将数据结构映射处理与源数据库隔离，避免影响正常业务；所述映射处理模块在用户确认映射构建单元生成的数据结构映射脚本后，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库；
所述质量控制单元包括异常处理模块，所述异常处理模块用于记录映射处理模块处理过程中的异常信息；
所述增量更新单元包括增量缓存模块和增量映射模块，所述增量缓存模块用于捕获源数据库中的数据变化，在缓存层中更新增量数据；所述增量映射模块用于对增量更新的数据进行数据结构标准化映射，将数据从缓存数据库提取，执行数据结构映射并导入目标数据库。
2.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述数据连接管理模块对访问数据库的支持包括：读取连接信息配置文件，根据数据库类型配置信息加载相应的数据库连接驱动，根据ip、账号、密码信息连接至数据库。
3.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述数据结构扫描模块中，所述数据结构信息包括表名、字段名、字段类型；所述字段统计信息包括字段行数、字段最大长度、字段取值范围、字段各取值的频数及占比；数据结构信息为建立结构映射关系提供支持；字段统计信息为映射性能优化提供支持；数据结构扫描模块利用结构化查询语言逐一对表进行查询，将查询结果汇总形成报表。
4.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述映射关系生成与设计模块：在得到扫描后的源数据库和目标数据库的数据结构后，根据预设的近义词字典，对字段名进行模糊匹配，生成初始数据结构映射关系，并展示可视化页面供用户完成数据结构映射关系的确认；所述可视化具体为：利用带有指向性的图形，反映表与表之间，字段与字段之间一对一关系、一对多关系、多对一关系；所述映射关系生成与设计模块支持文本注释及设计文档导出。
5.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述映射代码生成与修订模块：根据用户确认后的数据结构映射关系，按照代码框架生成数据结构映射脚本并保存，同时向用户提供修改数据结构映射脚本的权限。
6.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述数据缓存模块建立的缓存层在源数据结构的基础上添加修改时间字段，用以记录每条数据的最近修改时间；所述映射处理模块将映射脚本应用于缓存层，进行数据结构标准化映射，数据结构映射结果保存至目标数据库，并在日志中记录最近映射操作时间。
7.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述异常处理模块：当根据数据结构映射关系提取数据时出现包括“非空字段存在空值”，“数据长度超出范围”在内的错误时，拒绝这些数据的结构映射，并将这些错误记录到日志，错误数据记录至临时表，待用户确认删除或清洗处理。
8.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述增量缓存模块通过CDC技术捕获源数据库中的数据变化，在缓存层中更新增量数据，并在修改时间字段中记录修改时间。
9.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述增量映射模块将日志中的最近映射操作时间与缓存层中数据的修改时间进行对比，对修改时间晚于最近映射操作时间的数据进行映射；首先对缓存数据库中的增量数据结构和目标数据库结构进行扫描，若与存在于缓存数据库中的已有数据结构映射关系相同，则进行数据结构映射处理和质量控制；若与已有数据结构映射关系不符，则更新数据结构映射关系之后再进行数据结构映射处理和质量控制。
10.根据权利要求1所述的一种基于通用数据模型的多中心医疗数据结构标准化系统，其特征在于，所述质量控制单元还包括质量评估模块，所述质量评估模块用于在映射处理模块映射处理完成后形成一份针对当次数据结构映射处理的质量评估报告。
CN201910629812.5A 2019-07-12 2019-07-12 一种基于通用数据模型的多中心医疗数据结构标准化系统 Active CN110347662B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910629812.5A CN110347662B (zh) 2019-07-12 2019-07-12 一种基于通用数据模型的多中心医疗数据结构标准化系统
PCT/CN2020/083585 WO2020233255A1 (zh) 2019-07-12 2020-04-07 一种基于通用数据模型的多中心医疗数据结构标准化系统
JP2021533317A JP7074307B2 (ja) 2019-07-12 2020-04-07 汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910629812.5A CN110347662B (zh) 2019-07-12 2019-07-12 一种基于通用数据模型的多中心医疗数据结构标准化系统

Publications (2)

Publication Number Publication Date
CN110347662A CN110347662A (zh) 2019-10-18
CN110347662B true CN110347662B (zh) 2021-08-03

Family

ID=68175149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910629812.5A Active CN110347662B (zh) 2019-07-12 2019-07-12 一种基于通用数据模型的多中心医疗数据结构标准化系统

Country Status (3)

Country Link
JP (1) JP7074307B2 (zh)
CN (1) CN110347662B (zh)
WO (1) WO2020233255A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347662B (zh) * 2019-07-12 2021-08-03 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统
CN111008028B (zh) * 2019-11-22 2022-07-01 杭州数式网络科技有限公司 一种软件升级方法、设备和存储介质
CN111008189B (zh) * 2019-11-26 2023-08-25 浙江电子口岸有限公司 一种动态数据模型构建方法
CN111340636B (zh) * 2020-02-27 2022-11-04 平安医疗健康管理股份有限公司 数据有效性检测方法、装置、计算机设备和存储介质
CN111367987A (zh) * 2020-03-31 2020-07-03 西安震有信通科技有限公司 适应多种数据库类型的数据导入方法、系统及装置
CN112102910A (zh) * 2020-09-22 2020-12-18 零氪科技（北京）有限公司 一种用于私有化数据对接数据自动校验的方法和装置
CN112162992A (zh) * 2020-10-12 2021-01-01 浪潮软件集团有限公司 一种高效的数据库更新系统及方法
CN112328574A (zh) * 2020-11-03 2021-02-05 上海许继电气有限公司 一种继电保护故障信息主站数据迁移方法及装置
CN112328576A (zh) * 2020-11-13 2021-02-05 浙江卡易智慧医疗科技有限公司 一种基于多数据源的通用数据模型的表示方法
CN112559491A (zh) * 2020-12-17 2021-03-26 山东健康医疗大数据有限公司 基于医疗行业内数据模型适配管理实现方法及系统
CN112835911B (zh) * 2021-03-10 2022-12-02 四川大学华西医院 一种适用于医疗信息平台的主数据管理系统
CN113176876B (zh) * 2021-04-23 2023-08-11 网易（杭州）网络有限公司 数据读写的方法、装置和电子设备
CN113539505A (zh) * 2021-07-03 2021-10-22 深圳市裕辰医疗科技有限公司 血液透析质量控制结果的计算系统及其计算方法
CN114385727B (zh) * 2021-12-13 2024-04-30 中煤科工集团信息技术有限公司 一种关于不定期新增表的多表数据汇总方法及计算机设备
CN114218195A (zh) * 2021-12-17 2022-03-22 东软汉枫医疗科技有限公司 一种医疗物联网元宇宙底层数据模型结构
CN114265875B (zh) * 2022-03-03 2022-07-22 深圳钛铂数据有限公司 一种基于流数据的实时建宽表的方法
CN115050479B (zh) * 2022-04-12 2023-08-04 江南大学附属医院 多中心研究的数据质量评价方法、系统及设备
CN115905455B (zh) * 2022-12-31 2023-09-29 北京和兴创联健康科技有限公司 一种基于自动探测技术规范化医院数据库的方法
CN116244374B (zh) * 2023-01-09 2024-04-19 北京百度网讯科技有限公司 一种数据处理方法、装置、设备及存储介质
CN116386799B (zh) * 2023-06-05 2023-08-18 数据空间研究院 一种医疗数据采集与标准转换方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2693391A8 (en) * 2012-08-02 2014-04-09 Amadeus S.A.S. Dynamic and hierarchical generic data mapping for traveler profile publication
CN105956409A (zh) * 2016-05-27 2016-09-21 上海道拓医药科技股份有限公司 智能医疗设备实时数据管理方法及系统
CN106997421A (zh) * 2016-01-25 2017-08-01 清华大学 个性化医疗信息采集和健康监测的智能系统和方法
CN107368588A (zh) * 2017-07-24 2017-11-21 人教数字出版有限公司 一种异构资源同构化方法及装置
CN108256026A (zh) * 2018-01-10 2018-07-06 圣泓工业设计创意有限公司 一种管理传统建筑特征元素的数据库系统
CN109034544A (zh) * 2018-06-29 2018-12-18 广东新禾道信息科技有限公司 国土资源数据管理平台
US10255199B1 (en) * 2017-09-22 2019-04-09 Intel Corporation Evicting clean secure pages without encryption

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397331B2 (en) * 2016-01-29 2019-08-27 General Electric Company Development platform for industrial internet applications
US11768826B2 (en) * 2017-09-27 2023-09-26 Johnson Controls Tyco IP Holdings LLP Web services for creation and maintenance of smart entities for connected devices
CN108010573A (zh) * 2017-11-24 2018-05-08 苏州市环亚数据技术有限公司 一种医院数据融合系统、方法、电子设备及存储介质
CN109920522A (zh) * 2018-11-30 2019-06-21 广州百家医道健康管理股份有限公司 一种居民健康管理医疗大数据平台
CN109378053B (zh) * 2018-11-30 2021-07-06 安徽影联云享医疗科技有限公司 一种用于医学影像的知识图谱构建方法
CN109979606B (zh) * 2019-01-07 2020-06-23 北京云度互联科技有限公司 一种基于容器化构建微服务化医疗影像云及云胶片的方法
CN109994217B (zh) * 2019-03-08 2021-08-06 视联动力信息技术股份有限公司 一种查看病理文件的方法和装置
CN110347662B (zh) * 2019-07-12 2021-08-03 之江实验室 一种基于通用数据模型的多中心医疗数据结构标准化系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2693391A8 (en) * 2012-08-02 2014-04-09 Amadeus S.A.S. Dynamic and hierarchical generic data mapping for traveler profile publication
CN106997421A (zh) * 2016-01-25 2017-08-01 清华大学 个性化医疗信息采集和健康监测的智能系统和方法
CN105956409A (zh) * 2016-05-27 2016-09-21 上海道拓医药科技股份有限公司 智能医疗设备实时数据管理方法及系统
CN107368588A (zh) * 2017-07-24 2017-11-21 人教数字出版有限公司 一种异构资源同构化方法及装置
US10255199B1 (en) * 2017-09-22 2019-04-09 Intel Corporation Evicting clean secure pages without encryption
CN108256026A (zh) * 2018-01-10 2018-07-06 圣泓工业设计创意有限公司 一种管理传统建筑特征元素的数据库系统
CN109034544A (zh) * 2018-06-29 2018-12-18 广东新禾道信息科技有限公司 国土资源数据管理平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
国家重点临床研究中心下的健康医疗大数据平台研究建设与发展;屠强;《医药卫生科技》;20190531;700-707 *

Also Published As

Publication number Publication date
JP7074307B2 (ja) 2022-05-24
JP2022508348A (ja) 2022-01-19
WO2020233255A1 (zh) 2020-11-26
CN110347662A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110347662B (zh) 一种基于通用数据模型的多中心医疗数据结构标准化系统
US11341155B2 (en) Mapping instances of a dataset within a data management system
CN103902671B (zh) 一种异构多源数据的动态集成方法及系统
JP2022508350A (ja) 汎用医療用語ライブラリに基づくマルチセンタ医療用語標準化システム
CN110908997A (zh) 数据血缘构建方法、装置、服务器及可读存储介质
CN110941629B (zh) 元数据处理方法、装置、设备及计算机可读存储介质
CN102402559A (zh) 一种数据库升级脚本的生成方法和装置
CN112667697A (zh) 结合rpa和ai的房产信息的获取方法及装置
CN112735571B (zh) 一种医疗健康数据上传管理平台
CN114691704A (zh) 一种基于MySQL binlog的元数据同步方法
CN113608955A (zh) 一种日志记录方法、装置、设备及存储介质
CN116975116A (zh) 一种大数据分析系统的数据条件筛选方法
CN111767574A (zh) 用户权限确定方法、装置、电子设备及可读存储介质
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
CN110889013A (zh) 一种基于xml的数据关联方法、装置、服务器及存储介质
CN111125045B (zh) 一种轻量级etl处理平台
US20240036890A1 (en) System and method of a modular framework for configuration and reuse of web components
US20070143660A1 (en) System and method for indexing image-based information
CN116303641B (zh) 一种支持多数据源可视化配置的实验室报告管理方法
CN113626423B (zh) 业务数据库的日志管理方法、装置、系统
CN115713309A (zh) 内审系统
CN111143406A (zh) 数据库数据比对方法和比对系统
CN114153438A (zh) 一种api自动生成系统
CN110019109B (zh) 用于处理数据仓库数据的方法及装置
CN112363850A (zh) 一种dcwi无接口快速获取文档的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant