CN112434095A - 数据采集系统、方法、电子设备及计算机可读介质 - Google Patents

Abstract

本公开涉及一种数据采集系统、方法、电子设备及计算机可读介质，属于数据处理技术领域。该系统包括：用户视图层，被配置为通过客户端显示待选择的数据系统以及数据项目，并接收对数据系统以及数据项目的选择指令；业务逻辑层，被配置为根据所述数据选择指令得到数据获取指令并发送至数据访问层，根据待处理数据得到结构化数据，并对结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据；数据访问层，被配置为根据数据获取指令从数据系统对应的数据库中获取与数据项目相关联的待处理数据。本公开中的数据采集系统可以从多个不同的数据系统中获取数据，实现不同系统的数据融合，在保证数据安全的同时提高数据采集和数据结构化的效率。

Description

数据采集系统、方法、电子设备及计算机可读介质

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种数据采集系统、数据采集装置、电子设备及计算机可读介质。

背景技术

随着计算机技术、网络通信技术等现代化信息技术的发展和普及，在医院、学校等一些大型机构中，大部分已经建立数字化的信息系统，以数字化的形式收集、存储相关数据信息。

然而，由于不同的机构可能会部署多个不同类型的信息管理系统，并且主要通过人工进行录入和整理，采集到的数据非结构化，不仅效率低下，而且容易出现错误。

鉴于此，本领域亟需一种能够提高数据采集和结构化处理效率的数据采集系统。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据采集系统、数据采集方法、电子设备及计算机可读介质，进而至少在一定程度上提高数据采集和结构化处理效率。

根据本公开的第一个方面，提供一种数据采集系统，包括：

用户视图层，被配置为通过客户端显示待选择的数据系统以及数据项目，并接收作用于所述客户端的对所述数据系统以及所述数据项目的数据选择指令；

业务逻辑层，被配置为根据所述数据选择指令得到数据获取指令，并将所述数据获取指令发送至数据访问层，根据所述数据访问层返回的待处理数据得到结构化数据，并对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据，以及，将所述脱敏结构化数据发送至所述用户视图层进行显示；

数据访问层，被配置为根据所述业务逻辑层发送的所述数据获取指令，从所述数据系统对应的数据库中获取与所述数据项目相关联的待处理数据，并将所述待处理数据发送至所述业务逻辑层进行处理。

在本公开的一种示例性实施例中，所述业务逻辑层包括敏感信息识别模块、脱敏规则确定模块和数据脱敏模块，其中：

所述敏感信息识别模块，被配置为识别所述结构化数据中的敏感数据信息，并确定所述敏感数据信息的敏感信息类型；

所述脱敏规则确定模块，被配置为根据所述敏感数据信息的敏感信息类型从多个预设脱敏规则中确定一目标脱敏规则；

所述数据脱敏模块，被配置为根据所述目标脱敏规则对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据。

在本公开的一种示例性实施例中，所述目标脱敏规则包括数据替换规则，所述数据脱敏模块包括数据长度获取单元、脱敏数据确定单元和脱敏数据替换单元，其中：

所述数据长度获取单元，被配置为获取所述结构化数据中的敏感数据信息的数据长度；

所述脱敏数据确定单元，被配置为根据所述敏感数据信息的数据长度确定加密数据长度，并根据所述加密数据长度确定所述敏感数据信息中需要脱敏的部分数据；

所述脱敏数据替换单元，被配置为根据所述加密数据长度获取加密数据信息，并根据所述加密数据信息对所述敏感数据信息中需要脱敏的部分数据进行替换，得到所述脱敏结构化数据。

在本公开的一种示例性实施例中，所述业务逻辑层还包括参数确定模块和获取指令发送模块，其中：

所述参数确定模块，被配置为响应于所述数据系统以及所述数据项目的数据选择指令，获取所述待处理数据的参数选择范围；

所述获取指令发送模块，被配置为根据所述参数选择范围得到所述数据获取指令，并将所述数据获取指令发送至所述数据访问层进行数据的获取。

在本公开的一种示例性实施例中，所述数据访问层包括数据采集模块，其中：

所述数据采集模块，被配置为根据所述数据获取指令，从所述数据系统对应的数据库中获取与所述数据项目相关联的参数选择范围内的待处理数据。

在本公开的一种示例性实施例中，所述业务逻辑层还包括数据校验模块，被配置为根据所述待处理数据和所述脱敏结构化数据的数据标识进行数据校验，其中，所述数据校验模块包括：

标识获取单元，被配置为获取所述待处理数据的数据标识，并获取所述脱敏结构化数据的数据标识；

数据校验单元，被配置为根据所述待处理数据的数据标识以及所述脱敏结构化数据的数据标识进行数据校验；

数据调整单元，被配置为根据所述数据校验的结果对所述脱敏结构化数据进行调整。

在本公开的一种示例性实施例中，所述业务逻辑层还包括系统等待控制模块，被配置为根据预设的时间间隔对所述待处理数据进行处理，其中，所述系统等待控制模块包括：

处理请求发送单元，被配置为获取所述数据访问层进行数据采集的时间间隔，并根据所述数据采集的时间间隔发送数据处理请求；

系统等待处理单元，被配置为响应于所述数据处理请求，对所述待处理数据进行结构化处理以及脱敏处理。

在本公开的一种示例性实施例中，所述业务逻辑层还包括系统监控模块，其中：

所述系统监控模块，被配置为对多个所述客户端的数据采集和结构化处理过程进行实时监控。

根据本公开的第二方面，提供一种数据采集方法，应用于权利要求1所述的数据采集系统，所述方法包括：

响应作用于客户端的对数据系统以及数据项目的选择指令得到数据获取指令，并根据所述数据获取指令从所述数据系统对应的数据库中获取与所述数据项目相关联的待处理数据；

对所述待处理数据进行结构化处理得到结构化数据，并对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据；

将所述脱敏结构化数据发送至所述客户端进行显示。

根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述数据采集方法。

根据本公开的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述数据采集方法。

本公开示例性实施例可以具有以下有益效果：

本公开示例实施方式的数据采集系统中，通过从多个不同的数据系统中获取数据，并对数据进行结构化处理和脱敏处理后得到对应的脱敏结构化数据，一方面，可以根据需求整合多个数据源，实现不同类型数据系统的数据融合，得到统一形式的结构化数据，并且，以电子化的形式自动采集和传递数据，能够提高数据采集和处理的效率，以及数据采集的准确率；另一方面，通过对敏感数据信息进行脱敏处理，可以在提高数据采集和数据结构化效率的前提下，保证数据安全，提高数据传递的可靠性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开示例实施方式的数据采集系统的框图；

图2示出了根据本公开的一个具体实施方式中的数据采集系统架构的示意图；

图3示出了本公开示例实施方式的医疗数据采集系统中数据脱敏的流程示意图；

图4示出了根据本公开的一个具体实施方式中的系统组件体系结构的示意图；

图5示出了本公开示例实施方式的数据采集方法的流程示意图；

图6示出了根据本公开的一个具体实施方式中数据采集方法的流程示意图；

图7示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

对于大型机构来说，各个机构之间数据的采集、传递和管理通常会存在一些困难。以医疗机构为例，现如今，大部分医院已经建立数字化医疗信息系统，以数字化的形式收集、存储医疗数据信息，而且医疗数据被越来越广泛地运用到了医疗科研和临床研究领域。然而，对于不同的医院来说，大多部署了多个不同厂商的医疗信息管理系统，而同一个医院内部的软件系统通常又由多个信息系统组成，例如HIS(Hospital Information System，医院信息系统)、EMR(Electronic Medical Record，计算机化的病案系统)、LIS(LaboratoryInformation Management System，专为医院检验科设计的实验室信息管理系统)、RIS(Radiology Information System，放射科信息管理系统)、手术麻醉、重症、放疗、输血、护理、病案、超声、内镜、病理、心电、核医学、基因等等，医院的各个科室、医疗软件系统间的临床数据难以实现互联互通，在临床实验数据采集方面主要依靠CRC(Cyclic RedundancyCheck，循环冗余校验)人工手动录入临床实验数据。

目前，在医疗数据的管理上，主要存在两个比较明显的问题。一方面，医生承担临床、科研、教学、行政等多方面工作，工作任务繁重，仅需要书写的医学文书就有上百种，文书时间会占据大量的工作时间，而且存在同一患者资料重复书写的情况。另一方面，医院数据非结构化，医生科研或者日常分析都需要手动完成资料的整理、录入、查询、统计等工作，例如，手动录入临床数据，或将临床样本拍照之后，将照片上的图片或文字用OCR(OpticalCharacter Recognition，光学字符识别)文字识图技术进行数据采集，这种方式不仅效率低，而且还有可能录入错误数据。

因此，为了在临床试验、科研服务等后续工作中更加高效地利用这些医疗数据，需要一种电子化的数据采集和结构化处理系统，能够具有数据及时录入、实时发现数据错误、加快研究进度、提高数据质量等优势，以保证临床试验电子数据的完整性、准确性、真实性和可靠性。

本示例实施方式首先提供了一种数据采集系统。参考图1所示，上述数据采集系统具体可以包括以下几个部分：

用户视图层101，被配置为通过客户端显示待选择的数据系统以及数据项目，并接收作用于客户端的对数据系统以及数据项目的数据选择指令；

业务逻辑层102，被配置为根据数据选择指令得到数据获取指令，并将数据获取指令发送至数据访问层，根据数据访问层返回的待处理数据得到结构化数据，并对结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据，以及，将脱敏结构化数据发送至用户视图层进行显示；

数据访问层103，被配置为根据业务逻辑层发送的数据获取指令，从数据系统对应的数据库中获取与数据项目相关联的待处理数据，并将待处理数据发送至业务逻辑层进行处理。

本公开示例实施方式中的数据采集系统，可以应用于例如医疗信息管理系统等类型的大型机构的数据管理系统中，通过数据采集工具基于计算机网络实现数据的自动化采集、传递和处理，通过软件、硬件、标准操作程序和人员配置的有机结合，以电子化的形式直接采集和传递临床数据。实现与包括如HIS、EMR、LIS等多种不同厂商的系统的快速数据融合，按照实际需求整合多个数据源，从而帮助医生完成多种维度的科研需求。

本公开示例实施方式的数据采集系统中，通过从多个不同的数据系统中获取数据，并对数据进行结构化处理和脱敏处理后得到对应的脱敏结构化数据，一方面，可以根据需求整合多个数据源，实现不同类型数据系统的数据融合，得到统一形式的结构化数据，并且，以电子化的形式自动采集和传递数据，能够提高数据采集和处理的效率，以及数据采集的准确率；另一方面，通过对敏感数据信息进行脱敏处理，可以在提高数据采集和数据结构化效率的前提下，保证数据安全，提高数据传递的可靠性。

下面对本示例实施方式的上述内容进行更加详细的说明。

如图2所示是本公开的一个具体实施方式中的系统架构示意图，结合图2可以得到本示例实施方式的上述数据采集系统中各部分的具体功能如下：

用户视图层101主要提供用户交互的界面，可以用于接收用户所选择的需要采集的数据项目，以及显示数据采集和结构化处理后用户需要的数据，数据采集工具支持PC客户端终端用户视图。

业务逻辑层102主要提供用户视图层101与数据访问层103之间的桥梁，可以实现相关业务逻辑，具体可以包括：登陆验证、数据项目管理、系统管理、执行进度记录、数据脱敏、定时停止、执行日志记录、统计数据存储以及校验查询等等。

数据访问层103主要实现对数据的查询功能，可以将存储在数据库中的数据提交给业务逻辑层102，同时将业务逻辑层102处理的数据保存到本地PC客户端目录下。

在用户视图层101中，可以通过客户端显示待选择的数据系统以及数据项目，并接收作用于客户端的对数据系统以及数据项目的数据选择指令。

本示例实施方式中，数据系统指的是各个客户端所使用的各种不同类型的数据管理系统或信息管理系统，比如，不同的学校所使用的各种学籍管理系统，又或者是不同的医院所使用的医疗数据管理系统等。数据项目指的是数据系统中不同类型的数据的项目名称，例如，在医疗数据管理系统中，数据项目可以包括手术、诊断、病历、患者信息、门诊医嘱等等。

用户视图层101除了可以通过客户端显示待选择的数据系统以及数据项目以外，还可以显示数据的参数选择范围，其中，数据的参数可以包括时间等具体的参数，在医疗数据管理系统中，还可以包括如科室、患者具体年龄信息等相关参数。

用户视图层101通过接收用户在客户端上的选择操作，将接收到的对数据系统以及数据项目的数据选择指令，以及参数的选择指令发送到业务逻辑层102中。业务逻辑层102可以对数据选择指令进行处理，得到相应的数据获取指令，再将数据获取指令发送到数据访问层103中。

本示例实施方式中，业务逻辑层102可以包括参数确定模块和获取指令发送模块，其中：

参数确定模块，被配置为响应于数据系统以及数据项目的数据选择指令，获取待处理数据的参数选择范围；

获取指令发送模块，被配置为根据参数选择范围得到数据获取指令，并将数据获取指令发送至数据访问层进行数据的获取。

本示例实施方式中，除了能够选择指定的数据系统以及数据项目以外，还能够根据某一相关的数据参数进行数据的获取。通过确定具体的参数选择范围，能够基于实际需求使获取到的数据更加精确，提高后续操作，如科研、实验中数据的利用率。

在数据访问层103中，可以响应于数据获取指令，通过数据采集模块从数据系统对应的数据库中获取与数据项目相关联的待处理数据。

本示例实施方式中，数据访问层103通过响应于数据获取指令，可以根据用户的实际需求选择指定的一个或者多个客户端所使用的数据系统中的一个或者多个数据项目，从中获取与数据项目相关联的待处理数据，其中，待处理数据一般为非结构化数据。通过从多个不同的数据系统中获取数据，可以根据需求整合多个数据源，实现不同类型数据系统的数据融合。

接下来，数据访问层103可以将通过不同的数据系统所采集到的用户所需的待处理数据，发送至业务逻辑层102中进行进一步的处理。

在业务逻辑层102中，可以对待处理数据进行结构化处理得到结构化数据，并对结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据，以及，将脱敏结构化数据发送至用户视图层进行显示。

本示例实施方式中，可以根据不同的数据项目类型对待处理数据进行数据分类，然后输出对应的结构化数据。输出的结构化数据可以以行为单位，一行数据表示一个具体类型的信息，每一行数据的属性是相同的。由于结构化数据的存储和排列是很有规律的，因此对于后续的查询和使用等操作有很大帮助。

结构化数据中的敏感数据信息指的是待处理数据中涉及到数据安全问题的，需要进行加密的部分数据信息，例如，医疗数据中患者的身份证号、家庭住址、电话号码等等。脱敏结构化数据指的是进行脱敏处理后的结构化数据。通过自动识别结构化数据中的敏感数据信息，并对识别出的敏感数据信息进行脱敏处理，能够提高数据的安全性。

本示例实施方式中，业务逻辑层102可以包括敏感信息识别模块、脱敏规则确定模块和数据脱敏模块，其中：

敏感信息识别模块，被配置为识别结构化数据中的敏感数据信息，并确定敏感数据信息的敏感信息类型；

脱敏规则确定模块，被配置为根据敏感数据信息的敏感信息类型从多个预设脱敏规则中确定一目标脱敏规则；

数据脱敏模块，被配置为根据目标脱敏规则对结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据。

本示例实施方式中，敏感数据信息的敏感信息类型可以包括全部脱敏类型和部分脱敏类型，还可以通过其他方式进行分类，不同类型的敏感数据信息对于脱敏过程的需求不同。

多个预设脱敏规则可以包括但不限于数据替换、无效化、随机化、偏移和取整、掩码屏蔽、灵活编码以及自定义的脱敏规则等。根据不同类型的敏感数据信息不同的脱敏需求，可以从多个预设脱敏规则确定出一个目标脱敏规则。

对于不同的脱敏规则，可以根据预先设定的相关模块/单元对结构化数据中的敏感数据信息进行脱敏处理。

举例而言，若目标脱敏规则为数据替换规则，则数据脱敏模块可以包括数据长度获取单元、脱敏数据确定单元和脱敏数据替换单元，其中：

数据长度获取单元，被配置为获取结构化数据中的敏感数据信息的数据长度；

脱敏数据确定单元，被配置为根据敏感数据信息的数据长度确定加密数据长度，并根据加密数据长度确定敏感数据信息中需要脱敏的部分数据；

脱敏数据替换单元，被配置为根据加密数据长度获取加密数据信息，并根据加密数据信息对敏感数据信息中需要脱敏的部分数据进行替换，得到脱敏结构化数据。

例如，若结构化数据中的敏感数据信息为电话号码，则获取该电话号码的长度，一般情况下手机号码为11位数字，座机号码为8位数字。

加密数据长度指的是敏感数据信息中需要加密的部分数据的长度，例如，若待处理数据中的敏感数据信息为手机号码，可以将需要加密的部分数据的长度设置为4、8或者11等，小于等于11的数字。假设需要加密的部分数据的长度为4，需要脱敏的部分数据可以取手机号码的中间4位数，也可以取最后4位；假设需要加密的部分数据的长度为11，则需要脱敏的部分数据即为号码的全部数据。

根据加密数据长度获取与加密数据长度相同长度的加密数据信息，其中，加密数据信息可以为“*”、“·”等能够隐藏相关信息的符号。通过加密数据信息对敏感数据信息中需要脱敏的部分数据进行替换后，即可得到脱敏处理后的脱敏数据。

如图3所示，具体的脱敏流程可以包括以下几个步骤：

步骤S310.医院客户端产生数据。

在医院客户端产生的数据中，可以自动识别到数据中的敏感信息，例如，某位患者的信息如下：

患者姓名：张三

身份证号：370000000000000000

家庭住址：某某市某某区

联系电话：18000000000

步骤S320.通过数据采集工具获取数据。

在通过数据采集工具获取数据的过程中，对敏感数据进行梳理。其中，上述数据采集工具包括本示例实施方式中的数据采集系统的所有功能。

步骤S330.执行不落地脱敏。

通过结合数据脱敏算法、数据脱敏规则以及脱敏的环境来达到最佳的数据脱敏效果。在执行数据脱敏的过程中，不需要将数据保存至本地数据库，可以直接进行不落地脱敏。脱敏过程支持各种常见的数据脱敏的处理方式：包括数据替换、无效化、随机化、偏移和取整、掩码屏蔽、灵活编码等，也支持自行定义和编写脱敏规则。

步骤S340.获取脱敏数据。

脱敏处理之后，患者的信息全部显示为“*”，脱敏后的信息显示如下：

患者姓名：**

身份证号：******************

家庭住址：******

联系电话：***********

通过对患者的信息进行脱敏处理，可以保证患者的个人信息安全。

本示例实施方式中，业务逻辑层102还包括数据校验模块，用于根据待处理数据和脱敏结构化数据的数据标识进行数据校验，其中，数据校验模块包括：

标识获取单元，被配置为获取待处理数据的数据标识，并获取脱敏结构化数据的数据标识；

数据校验单元，被配置为根据待处理数据的数据标识以及脱敏结构化数据的数据标识进行数据校验；

数据调整单元，被配置为根据数据校验的结果对脱敏结构化数据进行调整。

本示例实施方式中，可以通过对比待处理数据的数据标识以及脱敏结构化数据的数据标识来进行数据校验，以确定结构化处理后的数据是否有错误或者遗漏，保证数据的完整无误。

例如，对于医疗数据来说，可以从待处理数据以及脱敏数据的患者列表中获取患者姓名，并依次进行比对，即可发现是否存在与患者姓名相对应的遗漏的患者信息。

本示例实施方式中，业务逻辑层102还包括系统等待控制模块，用于根据预设的时间间隔对待处理数据进行处理，能够实现系统随机等待功能，其中，系统等待控制模块包括：

处理请求发送单元，被配置为获取数据访问层进行数据采集的时间间隔，并根据数据采集的时间间隔发送数据处理请求；

系统等待处理单元，被配置为响应于数据处理请求，对待处理数据进行结构化处理以及脱敏处理。

在处理请求发送单元中，可以通过获取当前数据采集系统的配置信息，以及当前的网络环境信息，并根据数据采集系统的配置信息以及网络环境信息确定数据采集的时间间隔。

针对服务器系统具体的配置信息，以及当前的网络环境信息，可以设定数据采集的时间间隔，并根据数据采集的时间间隔来确定结构化处理的时间间隔，例如，根据不同的系统配置信息和网络环境情况，该时间间隔可以设置为两小时、半天、或者一天。也就是说，服务器在接收到作用于数据系统以及数据项目的选择指令之后，还可再次确认是否接收到系统的结构化处理请求。如果系统配置较高或网络环境较好，则该时间间隔可以设置为较短的时间间隔，例如两小时；如果系统配置或网络环境比较差，则将该时间间隔设置为较长的时间间隔，例如半天或者一天。通过具体的时间间隔来限制整个结构化处理流程执行的次数，可以防止服务宕机，在网络堵塞情况下，减轻服务器压力。

除此之外，本示例实施方式中，业务逻辑层还可以包括系统监控模块，用于对多个客户端的数据采集和结构化处理过程进行实时监控。

对于多个客户端来说，可以对各个客户端的执行情况进行实时的监控，以保证在数据结构化处理流程中，如果某一客户端出现问题，可以直接定位问题所在，提高系统维护的效率。

如图4所示是本公开的一个具体实施方式的数据采集工具中的系统组件体系结构，具体可以包括客户端410、业务逻辑处理组件420、系统配置组件430、数据操作和映射组件440以及数据库操作组件450，可以实现上述数据采集系统中各个模块/单元的功能，其中：

客户端410位于用户视图层101，可以提供用户交互界面，显示待选择的数据系统以及数据项目，并接收作用于客户端410的对数据系统以及数据项目的数据选择指令。

业务逻辑处理组件420位于业务逻辑层102，可以实现数据采集项目中主要的逻辑处理功能，包括数据结构化、数据脱敏、参数确定、数据校验等多种功能。

系统配置组件430位于业务逻辑层102，可以实现系统配置文件的配置变更，从而根据不同的系统配置，通过系统等待控制模块设定不同的处理时间间隔。

数据操作和映射组件440位于数据访问层103，可以执行数据操作和对象实体映射处理。

数据库操作组件450位于数据访问层103，即数据Schema，可以采用强类型Dataset实现。

通过上述数据操作和映射组件440以及数据库操作组件450，可以在数据访问层103中实现数据库中相关数据的查询和获取，以及将数据存储在本地PC机器目录等功能。

应当注意，尽管在上文详细描述中提及了用于执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本示例实施方式还提供了一种数据采集方法，可以应用于如图1所示的数据采集系统中。参考图5所示，上述数据采集方法具体可以包括以下几个步骤：

步骤S510.响应作用于客户端的对数据系统以及数据项目的选择指令得到数据获取指令，并根据数据获取指令从数据系统对应的数据库中获取与数据项目相关联的待处理数据。

步骤S520.对待处理数据进行结构化处理得到结构化数据，并对结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据。

步骤S530.将脱敏结构化数据发送至客户端进行显示。

需要说明的是，本公开实施例所提供的数据采集方法一般由具有计算功能的处理器执行，其中，该处理器可以包括终端设备，也可以包括服务器，还可以是终端设备和服务器组合而成的具有计算功能的处理器，本公开对此不做具体限定。

上述各数据采集方法的具体细节已经在对应的数据采集系统中进行了详细的描述，因此此处不再赘述。

如图6所示是本公开的一个具体实施方式中的完整流程图，是将本示例实施方式中的数据结构化处理方法应用于医院内部的医疗软件系统，通过数据采集工具采集不同医院不同部门的医疗数据，是对本示例实施方式中的上述步骤的举例说明。该流程图的具体步骤如下：

步骤S610.登陆数据采集工具验证界面。

登陆数据采集工具验证界面，输入登录密码进行解锁。如果登录密码正确，则系统提示登陆成功；如果密码输入错误，则系统提示登密码错误，登陆失败。如系统在一定时间内无任何操作，将自动锁屏。

步骤S620.选择当前医院插件列表。

从采集工具界面中显示的合作医院列表插件中，选择当前获取的医院系统。

步骤S630.选择采集数据项目。

例如：门诊、门诊费用、住院等项目，可以根据实际需求选择一项或者多项。另外，还可以根据需求选择相应时间区域和科室。

步骤S640.点击执行按钮。

除执行按钮以外，系统动作操作还可以包括停止、暂停等动作，用户可以点击不同的按钮执行对应的动作。如果在执行过程中，采集数据有任何问题，系统提示，报错内容。

步骤S650.采集数据。

数据的采集过程中使用多线程。

步骤S660.生成采集日志记录。

步骤S670.数据脱敏。

数据的采集过程中，可以自动识别敏感信息数据，也可以按照需求选择是否要求数据脱敏，并控制脱敏规则。脱敏的流程可以分为：敏感数据发现、敏感数据梳理、脱敏方案制定、脱敏任务执行四大步骤，结合数据脱敏算法、数据脱敏规则以及脱敏的环境来达到最佳的数据脱敏效果。

步骤S680.输出结构化数据。

获取软件系统的底层数据交换和网络流量包，采用网络TCP/IP协议进行网络监听，分析流量包，并使用仿真技术采集数据，最后输出结构化数据(如txt、json、xml等)。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

图7示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种数据采集系统，其特征在于，包括：

用户视图层，被配置为通过客户端显示待选择的数据系统以及数据项目，并接收作用于所述客户端的对所述数据系统以及所述数据项目的数据选择指令；

业务逻辑层，被配置为根据所述数据选择指令得到数据获取指令，并将所述数据获取指令发送至数据访问层，根据所述数据访问层返回的待处理数据得到结构化数据，并对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据，以及，将所述脱敏结构化数据发送至所述用户视图层进行显示；

数据访问层，被配置为根据所述业务逻辑层发送的所述数据获取指令，从所述数据系统对应的数据库中获取与所述数据项目相关联的待处理数据，并将所述待处理数据发送至所述业务逻辑层进行处理。

2.根据权利要求1所述的数据采集系统，其特征在于，所述业务逻辑层包括敏感信息识别模块、脱敏规则确定模块和数据脱敏模块，其中：

所述敏感信息识别模块，被配置为识别所述结构化数据中的敏感数据信息，并确定所述敏感数据信息的敏感信息类型；

所述脱敏规则确定模块，被配置为根据所述敏感数据信息的敏感信息类型从多个预设脱敏规则中确定一目标脱敏规则；

所述数据脱敏模块，被配置为根据所述目标脱敏规则对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据。

3.根据权利要求2所述的数据采集系统，其特征在于，所述目标脱敏规则包括数据替换规则，所述数据脱敏模块包括数据长度获取单元、脱敏数据确定单元和脱敏数据替换单元，其中：

所述数据长度获取单元，被配置为获取所述结构化数据中的敏感数据信息的数据长度；

所述脱敏数据确定单元，被配置为根据所述敏感数据信息的数据长度确定加密数据长度，并根据所述加密数据长度确定所述敏感数据信息中需要脱敏的部分数据；

所述脱敏数据替换单元，被配置为根据所述加密数据长度获取加密数据信息，并根据所述加密数据信息对所述敏感数据信息中需要脱敏的部分数据进行替换，得到所述脱敏结构化数据。

4.根据权利要求1所述的数据采集系统，其特征在于，所述业务逻辑层还包括参数确定模块和获取指令发送模块，其中：

所述参数确定模块，被配置为响应于所述数据系统以及所述数据项目的数据选择指令，获取所述待处理数据的参数选择范围；

所述获取指令发送模块，被配置为根据所述参数选择范围得到所述数据获取指令，并将所述数据获取指令发送至所述数据访问层进行数据的获取。

5.根据权利要求4所述的数据采集系统，其特征在于，所述数据访问层包括数据采集模块，其中：

所述数据采集模块，被配置为根据所述数据获取指令，从所述数据系统对应的数据库中获取与所述数据项目相关联的参数选择范围内的待处理数据。

6.根据权利要求1所述的数据采集系统，其特征在于，所述业务逻辑层还包括数据校验模块，被配置为根据所述待处理数据和所述脱敏结构化数据的数据标识进行数据校验，其中，所述数据校验模块包括：

标识获取单元，被配置为获取所述待处理数据的数据标识，并获取所述脱敏结构化数据的数据标识；

数据校验单元，被配置为根据所述待处理数据的数据标识以及所述脱敏结构化数据的数据标识进行数据校验；

数据调整单元，被配置为根据所述数据校验的结果对所述脱敏结构化数据进行调整。

7.根据权利要求1所述的数据采集系统，其特征在于，所述业务逻辑层还包括系统等待控制模块，被配置为根据预设的时间间隔对所述待处理数据进行处理，其中，所述系统等待控制模块包括：

处理请求发送单元，被配置为获取所述数据访问层进行数据采集的时间间隔，并根据所述数据采集的时间间隔发送数据处理请求；

系统等待处理单元，被配置为响应于所述数据处理请求，对所述待处理数据进行结构化处理以及脱敏处理。

8.根据权利要求1所述的数据采集系统，其特征在于，所述业务逻辑层还包括系统监控模块，其中：

所述系统监控模块，被配置为对多个所述客户端的数据采集和结构化处理过程进行实时监控。

9.一种数据采集方法，其特征在于，应用于权利要求1所述的数据采集系统，所述方法包括：

响应作用于客户端的对数据系统以及数据项目的选择指令得到数据获取指令，并根据所述数据获取指令从所述数据系统对应的数据库中获取与所述数据项目相关联的待处理数据；

对所述待处理数据进行结构化处理得到结构化数据，并对所述结构化数据中的敏感数据信息进行脱敏处理得到脱敏结构化数据；

将所述脱敏结构化数据发送至所述客户端进行显示。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求9所述的数据采集方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求9所述的数据采集方法。

Images