CN105389384A - 一种医疗隐私数据交换文件生成方法 - Google Patents

一种医疗隐私数据交换文件生成方法 Download PDF

Info

Publication number
CN105389384A
CN105389384A CN201510876308.7A CN201510876308A CN105389384A CN 105389384 A CN105389384 A CN 105389384A CN 201510876308 A CN201510876308 A CN 201510876308A CN 105389384 A CN105389384 A CN 105389384A
Authority
CN
China
Prior art keywords
data
field
file
name
data table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510876308.7A
Other languages
English (en)
Other versions
CN105389384B (zh
Inventor
周栋
李光亚
陈诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WANDA INFORMATION CO Ltd
Original Assignee
WANDA INFORMATION CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WANDA INFORMATION CO Ltd filed Critical WANDA INFORMATION CO Ltd
Priority to CN201510876308.7A priority Critical patent/CN105389384B/zh
Publication of CN105389384A publication Critical patent/CN105389384A/zh
Application granted granted Critical
Publication of CN105389384B publication Critical patent/CN105389384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种医疗隐私数据交换文件生成方法。本发明提供的方法，有利于内外网环境下的医疗隐私数据交换，保证了网络安全性，降低了系统维护成本。本发明方法中数据格式文件数据表定义和映射，有利于异构数据库之间的格式转换，有利于不同表名和不同字段名之间的转换，有利于异构系统间的数据交换，有利于对隐私字段的标记和识别。本发明采用数据格式文件分割、大字段文件独立存出、自包含校验、隐私字段标记的方法，能兼容大规模数据量的采集和交换，能够保证数据的可靠性，避免数据因网络传输而导致的错误，从而保证为业务处理提供正确的数据。

Description

一种医疗隐私数据交换文件生成方法
技术领域
本发明涉及一种用于医疗隐私数据的数据交换文件的生成方法。
背景技术
在医疗卫生领域存在着大量内网业务系统和外网(Internet)服务网站之间的数据交换的场景，出于安全性的要求，内外网之间一般采用单向网闸或物理隔断，数据库之间无法直接互联互通，需要采用文件的方式作为数据交换的中介。
但是传统的数据文件格式无法包容数据库大字段、数据库之间字段类型和名称的差异性、X光片、医疗影像音视频等大文件，且存在去隐私画、操作系统对单个文件大小限制的问题，需要有新的方法处理数据库大字段、数据库之间字段类型和名称的差异性、音视频等大文件以及数据去隐私。
发明内容
本发明的目的是提供一种处理数据库大字段、数据库之间字段类型和名称的差异性、音视频等大文件以及数据去隐私的方法。
为了达到上述目的，本发明的技术方案是提供了一种医疗隐私数据交换文件生成方法，其特征在于，包括以下步骤：
步骤1、计算源数据表的数据数量，根据数据数量/数据交换文件最大数据数量，计算出数据交换文件的个数m；
步骤2、按数据交换文件的个数m建立带有顺序号的数据交换文件目录，对数据进行分割存储，在每个数据交换文件目录下建立子目录data，用于存放大字段及大文件；
步骤3、将顺序号为1的数据交换文件目录作为当前的数据交换文件目录；
步骤4、在当前数据交换文件目录下建立数据表转换定义文件，该数据表转换定义文件至少包括源数据表格式定义SourceTable、目标数据表格式定义DestTable、源数据表字段和目标数据表字段之间的映射关系FieldMapping；
步骤5、按照源数据表的格式采集源数据表的格式生成数据文件，如果数据文件大于数据交换文件最大数据数量，则进入步骤4；
步骤6、在数据交换文件目录下建立数据校验文件；
步骤7、将数据交换文件目录及其子目录data进行压缩，压缩完成后删除数据交换文件目录及其子目录data；
步骤8、判断是否有未采集的数据，如果有未采集的数据，则使用顺序号递增的数据交换文件目录作为当前数据交换文件目录，进入步骤4，如果没有未采集的数据，则进入步骤9。
步骤9、结束。
优选地，在所述步骤2中，所述数据交换文件目录的命名规则为：源数据表名+目标数据表名+交换时间+顺序号，其中：顺序号为1～m。
优选地，在所述步骤4中，所述数据表转换定义文件的命名规则为：源数据表名+目标数据表名。
优选地，在所述步骤4中，所述源数据表格式定义SourceTable包括以下字段：
源数据表名TableName、源数据表的主键字段名PrimaryKey、n个源数据表的字段FieldDefine；
所述目标数据表格式定义DestTable包括以下字段：
目标数据表名TableName、目标数据表的主键字段名PrimaryKey、n个目标数据表的字段。
优选地，每个所述源数据表的字段FieldDefine或每个所述目标数据表的字段DestTable包括以下字段：
字段名FieldName、字段类型FieldType、字段总长度FieldLength、字段小数点后的长度FieldLength2、是否允许空值FieldNull、是否隐私字段Privacy。
优选地，所述n个源数据表的字段FieldDefine与所述n个目标数据表的字段存在映射关系，则所述源数据表字段和目标数据表字段之间的映射关系FieldMapping包括n对互为映射关系的源数据表字段名SourceFieldName及目标数据表字段名DestFieldName。
优选地，在所述步骤5中，所述数据文件的命名包括源数据表名，所述数据文件的格式为：
字段长度+字段值+字段长度+字段值+…，其中：
如果字段值为空，则字段长度为-1，不填写字段值；
如果字段值为大字段，则将字段值的内容以文件方式存放在子目录data下，字段值填写不含路径的文件名，文件名命名规则为：字段名+顺序号，顺序号从1开始计数；
如果字段值为存放文件的路径，则将该文件复制到子目录data下，字段值填写不含路径的文件名。
优选地，在所述步骤6中，所述数据校验文件的文件命名包括源数据表名，所述数据校验文件包括：数据记录条数DataCount、源数据表名+数据文件的数字签名DataSignature、数字签名方法SignatureMethod。
本发明提供的方法，有利于内外网环境下的医疗隐私数据交换，保证了网络安全性，降低了系统维护成本。本发明方法中数据格式文件数据表定义和映射，有利于异构数据库之间的格式转换，有利于不同表名和不同字段名之间的转换，有利于异构系统间的数据交换，有利于对隐私字段的标记和识别。本发明采用数据格式文件分割、大字段文件独立存出、自包含校验、隐私字段标记的方法，能兼容大规模数据量的采集和交换，能够保证数据的可靠性，避免数据因网络传输而导致的错误，从而保证为业务处理提供正确的数据。
具体实施方式
为使本发明更明显易懂，兹以优选实施例作详细说明如下。
本发明提供了一种医疗隐私数据交换文件生成方法，其步骤为：
步骤l、计算源数据表的数据数量，根据数据数量/数据交换文件最大数据数量，计算出数据交换文件的个数m，如果不能整除则进位1。
步骤2、按数据交换文件的个数m建立数据交换文件目录。数据交换文件目录的命名规则为：源数据表名+目标数据表名+交换时间(4位年2位月2位日2位24小时制小时2位分钟2位秒)+顺序号，其中：顺序号为1～m。对数据进行分割存储，在每个数据交换文件目录下建立子目录data，用于存放大字段及大文件。
步骤3、将顺序号为1的数据交换文件目录作为当前的数据交换文件目录。
步骤4、在当前数据交换文件目录下建立数据表转换定义文件，其命名规则为：源数据表名+目标数据表名，该数据表转换定义文件至少包括源数据表格式定义SourceTable、目标数据表格式定义DestTable、源数据表字段和目标数据表字段之间的映射关系FieldMapping。
源数据表格式定义SourceTable包括以下字段：
源数据表名TableName、源数据表的主键字段名PrimaryKey，以逗号分割、n个源数据表的字段FieldDefine；
目标数据表格式定义DestTable包括以下字段：
目标数据表名TableName、目标数据表的主键字段名PrimaryKey，以逗号分割、n个目标数据表的字段。
每个源数据表的字段FieldDefine和每个目标数据表的字段DestTable包括以下字段：
字段名FieldName、字段类型FieldType、字段总长度FieldLength(如果为大字段，则为0)、字段小数点后的长度FieldLength2、是否允许空值FieldNull(Y/N)、是否隐私字段Privacy(Y/N)。
n个源数据表的字段FieldDefine与n个目标数据表的字段存在映射关系，则所述源数据表字段和目标数据表字段之间的映射关系FieldMapping包括n对互为映射关系的源数据表字段名SourceFieldName及目标数据表字段名DestFieldName。
步骤5、按照源数据表的格式采集源数据表的格式生成数据文件，如果数据文件大于数据交换文件最大数据数量，则进入步骤4。
数据文件的命名包括源数据表名，所述数据文件的格式为：
字段长度(8字节64位长整型)+字段值+字段长度(8字节64位长整型)+字段值+…，其中：
如果字段值为空，则字段长度为-1，不填写字段值；
如果字段值为大字段，则将字段值的内容以文件方式存放在子目录data下，字段值填写不含路径的文件名，文件名命名规则为：字段名+顺序号，顺序号从1开始计数；
如果字段值为存放文件的路径，则将该文件复制到子目录data下，字段值填写不含路径的文件名。
步骤6、在数据交换文件目录下建立数据校验文件。在步骤6中，数据校验文件的文件命名包括源数据表名，数据校验文件包括：数据记录条数DataCount、源数据表名+数据文件的数字签名DataSignature、数字签名方法SignatureMethod。
步骤7、将数据交换文件目录及其子目录data进行压缩，压缩完成后删除数据交换文件目录及其子目录data。
步骤8、判断是否有未采集的数据，如果有未采集的数据，则使用顺序号递增的数据交换文件目录作为当前数据交换文件目录，进入步骤4，如果没有未采集的数据，则进入步骤9。
步骤9、结束。
通过上述方法，本发明提供一种可以克服传统数据文件无法包容数据库大字段、数据库之间字段类型和名称的差异性、音视频等大文件的技术缺点的数据文件格式，并实现字段级的数据去隐私。利用这种数据文件格式，可以在内外网环境下异构数据库之间进行大批量的交换数据，保证了数据的安全性和可靠性，提高了业务处理能力。

Claims (8)

1.一种医疗隐私数据交换文件生成方法，其特征在于，包括以下步骤：
步骤1、计算源数据表的数据数量，根据数据数量/数据交换文件最大数据数量，计算出数据交换文件的个数m；
步骤2、按数据交换文件的个数m建立带有顺序号的数据交换文件目录，对数据进行分割存储，在每个数据交换文件目录下建立子目录data，用于存放大字段及大文件；
步骤3、将顺序号为1的数据交换文件目录作为当前的数据交换文件目录；
步骤4、在当前数据交换文件目录下建立数据表转换定义文件，该数据表转换定义文件至少包括源数据表格式定义SourceTable、目标数据表格式定义DestTable、源数据表字段和目标数据表字段之间的映射关系FieldMapping；
步骤5、按照源数据表的格式采集源数据表的格式生成数据文件，如果数据文件大于数据交换文件最大数据数量，则进入步骤4；
步骤6、在数据交换文件目录下建立数据校验文件；
步骤7、将数据交换文件目录及其子目录data进行压缩，压缩完成后删除数据交换文件目录及其子目录data；
步骤8、判断是否有未采集的数据，如果有未采集的数据，则使用顺序号递增的数据交换文件目录作为当前数据交换文件目录，进入步骤4，如果没有未采集的数据，则进入步骤9。
步骤9、结束。
2.如权利要求1所述的一种医疗隐私数据交换方法，其特征在于，在所述步骤2中，所述数据交换文件目录的命名规则为：源数据表名+目标数据表名+交换时间+顺序号，其中：顺序号为1～m。
3.如权利要求1所述的一种医疗隐私数据交换方法，其特征在于，在所述步骤4中，所述数据表转换定义文件的命名规则为：源数据表名+目标数据表名。
4.如权利要求1所述的一种医疗隐私数据交换方法，其特征在于，在所述步骤4中，所述源数据表格式定义SourceTable包括以下字段：
源数据表名TableName、源数据表的主键字段名PrimaryKey、n个源数据表的字段FieldDefine；
所述目标数据表格式定义DestTable包括以下字段：
目标数据表名TableName、目标数据表的主键字段名PrimaryKey、n个目标数据表的字段。
5.如权利要求4所述的一种医疗隐私数据交换方法，其特征在于，每个所述源数据表的字段FieldDefine或每个所述目标数据表的字段DestTable包括以下字段：
字段名FieldName、字段类型FieldType、字段总长度FieldLength、字段小数点后的长度FieldLength2、是否允许空值FieldNull、是否隐私字段Privacy。
6.如权利要求4所述的一种医疗隐私数据交换方法，其特征在于，所述n个源数据表的字段FieldDefine与所述n个目标数据表的字段存在映射关系，则所述源数据表字段和目标数据表字段之间的映射关系FieldMapping包括n对互为映射关系的源数据表字段名SourceFieldName及目标数据表字段名DestFieldName。
7.如权利要求1所述的一种医疗隐私数据交换方法，其特征在于，在所述步骤5中，所述数据文件的命名包括源数据表名，所述数据文件的格式为：
字段长度+字段值+字段长度+字段值+…，其中：
如果字段值为空，则字段长度为-1，不填写字段值；
如果字段值为大字段，则将字段值的内容以文件方式存放在子目录data下，字段值填写不含路径的文件名，文件名命名规则为：字段名+顺序号，顺序号从1开始计数；
如果字段值为存放文件的路径，则将该文件复制到子目录data下，字段值填写不含路径的文件名。
8.如权利要求1所述的一种医疗隐私数据交换方法，其特征在于，在所述步骤6中，所述数据校验文件的文件命名包括源数据表名，所述数据校验文件包括：数据记录条数DataCount、源数据表名+数据文件的数字签名DataSignature、数字签名方法SignatureMethod。
CN201510876308.7A 2015-12-03 2015-12-03 一种医疗隐私数据交换文件生成方法 Active CN105389384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510876308.7A CN105389384B (zh) 2015-12-03 2015-12-03 一种医疗隐私数据交换文件生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510876308.7A CN105389384B (zh) 2015-12-03 2015-12-03 一种医疗隐私数据交换文件生成方法

Publications (2)

Publication Number Publication Date
CN105389384A true CN105389384A (zh) 2016-03-09
CN105389384B CN105389384B (zh) 2019-03-26

Family

ID=55421674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510876308.7A Active CN105389384B (zh) 2015-12-03 2015-12-03 一种医疗隐私数据交换文件生成方法

Country Status (1)

Country Link
CN (1) CN105389384B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871085A (zh) * 2016-09-22 2018-04-03 西门子保健有限责任公司 用于保护医学记录的方法和设备
CN109753495A (zh) * 2019-01-28 2019-05-14 浪潮软件集团有限公司 一种通用结构化大数据生成方法
CN111414341A (zh) * 2020-03-24 2020-07-14 东南大学 一种物联网环境下的数据归一化描述方法
CN113177025A (zh) * 2021-03-25 2021-07-27 北京城建智控科技有限公司 一种数据操作方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062518A1 (en) * 2002-05-22 2004-04-01 Mcneal Frank Joseph Video and audio recording using file segmentation to preserve the integrity of critical data
CN103647790A (zh) * 2013-12-24 2014-03-19 常州工学院 一种超大文件协议分析统计方法
CN103970869A (zh) * 2014-05-12 2014-08-06 浙江宇视科技有限公司 一种大文件存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040062518A1 (en) * 2002-05-22 2004-04-01 Mcneal Frank Joseph Video and audio recording using file segmentation to preserve the integrity of critical data
CN103647790A (zh) * 2013-12-24 2014-03-19 常州工学院 一种超大文件协议分析统计方法
CN103970869A (zh) * 2014-05-12 2014-08-06 浙江宇视科技有限公司 一种大文件存储方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871085A (zh) * 2016-09-22 2018-04-03 西门子保健有限责任公司 用于保护医学记录的方法和设备
CN109753495A (zh) * 2019-01-28 2019-05-14 浪潮软件集团有限公司 一种通用结构化大数据生成方法
CN111414341A (zh) * 2020-03-24 2020-07-14 东南大学 一种物联网环境下的数据归一化描述方法
CN111414341B (zh) * 2020-03-24 2024-03-01 东南大学 一种物联网环境下的数据归一化描述方法
CN113177025A (zh) * 2021-03-25 2021-07-27 北京城建智控科技有限公司 一种数据操作方法及系统

Also Published As

Publication number Publication date
CN105389384B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN103559217B (zh) 一种面向异构数据库的海量组播数据入库实现方法
CN105389384A (zh) 一种医疗隐私数据交换文件生成方法
US20110125814A1 (en) Relational objects for the optimized management of fixed-content storage systems
TWI733514B (zh) 儲存系統、區塊鏈網路的網路節點以及基於區塊鏈的日誌結構儲存系統
CN108337320B (zh) 用于可扩展的结构化数据分布的系统和方法
CN107729366A (zh) 一种普适多源异构大规模数据同步系统
CN102508908A (zh) 一种下级财政业务数据的采集方法和系统
CN104217290A (zh) 一种档案管理系统
US10373712B2 (en) Aggregation, partitioning, and management of healthcare data for efficient storage and processing
CN106960037A (zh) 一种跨内外网的分布式索引资源整合与共享方法
CN102760206A (zh) 一种跨区域医疗影像信息共享系统及方法
CN101620624B (zh) 一种物理隔离条件下不同数据库间数据同步的方法
CN103825930B (zh) 一种分布式环境下的实时数据同步方法
CN101673289A (zh) 分布式文件存储构架的构建方法和装置
CN104021132A (zh) 主备数据库数据一致性核查备份方法及其系统
CN106815326A (zh) 一种检测无主键数据表一致性的系统及方法
CN103309977B (zh) 异构数据资源整合的方法
CN104462562A (zh) 一种基于数据仓库自动化的数据迁移系统及方法
CN102508886A (zh) 一种基于xml的空间数据增量同步更新方法
CN106202173A (zh) 一种文件仓库存储的智能排重方法及系统
CN103294802A (zh) 千万千瓦级风电基地风机运行信息实时监测方法
CN107302569A (zh) 一种面向云平台的安全监控数据采集与存储方法
CN103870557A (zh) 基于数据库的电子档案存储系统
CN109857808B (zh) 基于中立数据结构的纵向数据同步系统及方法
CN107943765A (zh) 基于多源异构遥感数据自动存档控制系统及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant