CN111640476A - 一种实验数据治理和管理的方法 - Google Patents
一种实验数据治理和管理的方法 Download PDFInfo
- Publication number
- CN111640476A CN111640476A CN202010483778.8A CN202010483778A CN111640476A CN 111640476 A CN111640476 A CN 111640476A CN 202010483778 A CN202010483778 A CN 202010483778A CN 111640476 A CN111640476 A CN 111640476A
- Authority
- CN
- China
- Prior art keywords
- data
- public information
- managing
- mode
- crawling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000009193 crawling Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000002045 lasting effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 230000007115 recruitment Effects 0.000 abstract description 3
- 238000003032 molecular docking Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种实验数据治理和管理的方法，属于数据处理技术领域，本发明通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户结合其专业知识对试验数据进行初步拆解结构化；通过结构化和标准化对试验数据进行治理后，为患者招募提供高效数据对接，充分发挥数据价值。
Description
技术领域
本发明涉及数据处理技术，尤其涉及一种实验数据治理和管理的方法。
背景技术
任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。
数据结构化是数据库系统与文件系统的根本区别。在文件系统中，独立文件内部的数据一般是有结构的，但文件之间不存在联系，因此从数据的整体来说是没有结构的。
数据库系统虽然也常常分成许多单独的数据文件，并且文件内部也具有完整的数据结构，但是它更注意同一数据库中各数据文件之间的相互联系。
传统模式存在病历不足和入排标准解读慢匹配效率低等主要问题，基于上述背景，需要分别解决院内病历和试验入排标准的问题；但是目前的数据采集和处理上仍有很大问题，以至于数据不能很好的对接。
发明内容
为了解决以上技术问题，本发明提供了一种对数据保存、表格在线编辑及对入排标准数据进行结构化处理的方法，通过结构化和标准化对试验数据进行治理后，提供高效数据对接，充分发挥数据价值，解决试验入排标准面临的问题。
本发明的技术方案是：
一种实验数据治理和管理的方法，包括如下步骤：
1)验数据保存；
2)表格在线编辑；
3)对入排标准数据进行结构化。
进一步的，
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户对数据进行初步拆解结构化。
进一步的，
通过使用网络爬虫技术，将数据采集，经过清洗后并存储到关系型数据库，然后进行数据结构化管理和维护，初次爬取对数据源全量数据进行采集，如果数据有变化，则通过逐条对比全字段是否有某些字段值的变化，如有变化则增量更新。
进一步的，
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取；在数据爬取过程中进行操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可从中提取网页信息，经过清洗后持久化存储到数据库中。
进一步的，
基于角色的访问权限控制模型，赋予用户的操作权限，对不同的人访问资源进行权限的控制。依据已经治理好的标准字典数据进行部分编辑和维护及可视化展示的操作。
进一步的，
可通过在线编辑实现对数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，一个以上的人同时编辑时，通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。实时查看、展现数据库实时的视图；查看详细的变化状况，实现对数个用户对数据并发操作的统一管理。
进一步的，
入排标准数据结构化是将采集入库后的数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要。
本发明的有益效果是
本发明提供了药物临床实验数据的可视化展示，可多人在线协作编辑数据，保证数据操作的完整性，实现了自动化采集数据，大大减少了人工重复性的工作，解决了入排标准解读慢匹配效率低等主要问题，并解决了医院内电子病历的数据快速查询和高效匹配。
附图说明
图1是本发明的数据治理和管理流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种采集、存储、治理和管理试验数据的方法，该方法通过爬虫采集临床试验登记公示信息(简称CTR)后，将患者招募的入排标准通过拆解、标准化后，形成结构化的入排条件，根据其结构化入排条件，满足患者数据高效快速结构化数据查询要求，为患者招募提供高质量的患者疾病数据队列。
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户结合其专业知识对试验数据进行初步拆解结构化。
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取。在数据爬取过程中进行各种异常处理，错误重试等操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可高效快速的从中提取网页信息，经过清洗后持久化存储到数据库中，使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
基于角色的访问权限控制(RBAC)模型，赋予用户的操作权限，主要目的是对不同的人访问资源进行权限的控制，避免因权限控制缺失或操作不当引发的风险问题，如操作错误，隐私数据泄露等问题。
依据已经治理好的标准字典数据：如手术、诊断，检查，检验，药品等可进行部分编辑和维护及可视化展示的操作。
用户可通过在线编辑实现对文本等数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，多人同时编辑时为了确保数据的完整性，我们通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。实时查看、展现数据库实时的视图；查看详细的变化状况，实现多个用户对数据并发操作的统一管理。完美解决多人编辑后会造成表格数据的混乱，甚至数据相互重叠覆盖的问题。
入排标准数据结构化是将采集入库后的药物实验数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据结合手术、诊断，检查，检验，药品等归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要求。
本发明通过“定时采集+数据拆解+实时更新”的方式实现药物实验数据的定时增量采集。实时更新方式是基于websocket通讯技术。
通过“爬虫”的方式对互联网网站的定时爬取及数据的检验、清洗处理。
可采用用户结合专业领域知识将清洗后的数据根据具体条件拆解为结构化数据。
利用websocket+多线程的方式，实现了服务端与客户端实时通讯，对每个在线用户开启一个线程单独处理及操作，同时会保证数据操作的一致性、完整性。
把重复性、手工做的工作尽可能降到最低，并且实现对试验登记公示信息数据中入排标准数据的结构化，管理人员可在数据管理平台结合字典对入排标准进行拆解操作；已结构化的入排标准将用于与医院内电子病历的数据查询和高效匹配。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种实验数据治理和管理的方法，其特征在于，
1)验数据保存；
2)表格在线编辑；
3)对入排标准数据进行结构化。
2.根据权利要求1所述的方法，其特征在于，
通过网络爬虫技术将试验登记公示信息采集后，按照其业务逻辑进行数据拆分，然后将它们重新组合为结构化的数据后存储到到关系型数据库中；同时具有数据操作权限的用户对数据进行初步拆解结构化。
3.根据权利要求2所述的方法，其特征在于，
通过使用网络爬虫技术，将数据采集，经过清洗后并存储到关系型数据库，然后进行数据结构化管理和维护，初次爬取对数据源全量数据进行采集，如果数据有变化，则通过逐条对比全字段是否有某些字段值的变化，如有变化则增量更新。
4.根据权利要求3所述的方法，其特征在于，
爬取方式分类两种：一种是设置周期时间进行自动化定时采集；一种是手动立即爬取。
5.根据权利要求4所述的方法，其特征在于，
在数据爬取过程中进行操作，采用正则表达式的方式，根据网页结构的规则、节点属性便可从中提取网页信息，经过清洗后持久化存储到数据库中。
6.根据权利要求5所述的方法，其特征在于，
基于角色的访问权限控制模型，赋予用户的操作权限，对不同的人访问资源进行权限的控制。
7.根据权利要求6所述的方法，其特征在于，
依据已经治理好的标准字典数据进行部分编辑和维护及可视化展示的操作。
8.根据权利要求7所述的方法，其特征在于，
可通过在线编辑实现对数据等内容进行在线编辑修改，让用户在网站上获得“所见即所得”效果，一个以上的人同时编辑时，通过监控数据变化实时推送更新到客户端，对比修改状态的变化情况。
9.根据权利要求8所述的方法，其特征在于，
实时查看、展现数据库实时的视图；查看详细的变化状况，实现对数个用户对数据并发操作的统一管理。
10.根据权利要求1所述的方法，其特征在于，
入排标准数据结构化是将采集入库后的数据中的入排标准数据部分进行初步结构化处理，将原有的文本数据归一化字典的方式拆解为指标和值的形式，并维护其指标间逻辑关系，满足数据查询要。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010483778.8A CN111640476A (zh) | 2020-06-01 | 2020-06-01 | 一种实验数据治理和管理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010483778.8A CN111640476A (zh) | 2020-06-01 | 2020-06-01 | 一种实验数据治理和管理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111640476A true CN111640476A (zh) | 2020-09-08 |
Family
ID=72331034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010483778.8A Pending CN111640476A (zh) | 2020-06-01 | 2020-06-01 | 一种实验数据治理和管理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640476A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365941A (zh) * | 2020-10-16 | 2021-02-12 | 零氪科技（北京）有限公司 | 受试者招募的方法及系统 |
| CN113377857A (zh) * | 2021-07-02 | 2021-09-10 | 招商局金融科技有限公司 | 数据分发方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090083703A1 (en) * | 2007-09-24 | 2009-03-26 | Mednet Solutions | Electronic Clinical Study Site Generation System |
| CN107506502A (zh) * | 2017-10-10 | 2017-12-22 | 山东浪潮云服务信息科技有限公司 | 一种数据采集系统和数据采集方法 |
| CN108711123A (zh) * | 2018-05-04 | 2018-10-26 | 江苏苏威尔科技有限公司 | 一种基于在线编辑的实验平台系统及其使用方法 |
| CN108986917A (zh) * | 2018-06-14 | 2018-12-11 | 杭州认知网络科技有限公司 | 临床试验匹配方法、装置及终端设备 |
| CN110134853A (zh) * | 2019-05-13 | 2019-08-16 | 重庆八戒传媒有限公司 | 数据爬取方法及系统 |
| CN110223784A (zh) * | 2019-06-17 | 2019-09-10 | 无码科技（杭州）有限公司 | 临床试验患者匹配方法 |
-
2020
- 2020-06-01 CN CN202010483778.8A patent/CN111640476A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090083703A1 (en) * | 2007-09-24 | 2009-03-26 | Mednet Solutions | Electronic Clinical Study Site Generation System |
| CN107506502A (zh) * | 2017-10-10 | 2017-12-22 | 山东浪潮云服务信息科技有限公司 | 一种数据采集系统和数据采集方法 |
| CN108711123A (zh) * | 2018-05-04 | 2018-10-26 | 江苏苏威尔科技有限公司 | 一种基于在线编辑的实验平台系统及其使用方法 |
| CN108986917A (zh) * | 2018-06-14 | 2018-12-11 | 杭州认知网络科技有限公司 | 临床试验匹配方法、装置及终端设备 |
| CN110134853A (zh) * | 2019-05-13 | 2019-08-16 | 重庆八戒传媒有限公司 | 数据爬取方法及系统 |
| CN110223784A (zh) * | 2019-06-17 | 2019-09-10 | 无码科技（杭州）有限公司 | 临床试验患者匹配方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365941A (zh) * | 2020-10-16 | 2021-02-12 | 零氪科技（北京）有限公司 | 受试者招募的方法及系统 |
| CN113377857A (zh) * | 2021-07-02 | 2021-09-10 | 招商局金融科技有限公司 | 数据分发方法、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Azeroual et al. | Analyzing data quality issues in research information systems via data profiling | |
| CN106709269B (zh) | 一种医疗大数据仓库的创建方法及系统 | |
| CN110415831A (zh) | 一种医疗大数据云服务分析平台 | |
| CN111125061A (zh) | 一种规范和促进健康医疗大数据的方法 | |
| US7693857B2 (en) | Clinical genomics merged repository and partial episode support with support abstract and semantic meaning preserving data sniffers | |
| US9135633B2 (en) | Needs-based mapping and processing engine | |
| Koch | Profiling an open source project ecology and its programmers | |
| US10268784B2 (en) | Real-time predictive simulation modeling | |
| JP2006509307A (ja) | 混合データ統合サービスの提供システム及び提供方法 | |
| Lau et al. | Design and implementation of an integrated knowledge system | |
| CN111640476A (zh) | 一种实验数据治理和管理的方法 | |
| CN101261659A (zh) | 一种健康监护信息系统 | |
| Azeroual et al. | Solving problems of research information heterogeneity during integration–using the European CERIF and German RCD standards as examples | |
| Xu | User Story based Information Visualization Type Recommendation System. | |
| US7308465B2 (en) | Playback graph for data synchronization | |
| Bettger et al. | Measuring nursing care time and tasks in long-term services and supports: one size does not fit all | |
| Stefanescu et al. | The Need of Knowledge Management Strategy for the Successfully Implementation of Reengineering Projects | |
| Tan | Innovation of Social Work Model Based on Big Data Analysis of the Internet of Things | |
| US20220050958A1 (en) | System and method for document branching | |
| Robinson | Risk assessment in software requirements engineering: an event driven framework | |
| Gonçalves et al. | The Development of an ICT framework for Business Intelligence at the Brazilian national Cancer Institute: a Case study of organizational learning and Innovation | |
| Eder | Philippine Red Cross online blood bank management information system | |
| JP2005292998A (ja) | データ管理システム | |
| Kuronen | Utilization of the data warehouse in healthcare service breakdown and cost analysis: an illustrative case study on data utilization | |
| Mu et al. | Transforming the Pension Industry Based on Aged Care Quality Reports |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |