CN116866422A - 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 - Google Patents
实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116866422A CN116866422A CN202310827221.5A CN202310827221A CN116866422A CN 116866422 A CN116866422 A CN 116866422A CN 202310827221 A CN202310827221 A CN 202310827221A CN 116866422 A CN116866422 A CN 116866422A
- Authority
- CN
- China
- Prior art keywords
- log
- pushing
- data
- medical
- sensitive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims description 19
- 238000000586 desensitisation Methods 0.000 claims abstract description 95
- 238000004519 manufacturing process Methods 0.000 claims abstract description 60
- 239000013598 vector Substances 0.000 claims description 30
- 238000012795 verification Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及医疗数据脱敏技术,揭露了一种实时推送涉敏信息并脱敏的方法,包括:初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,获取日志请求对应的医疗日志;将医疗日志发送至本地队列中,根据获取的控制命令控制消费线程读取本地队列中的医疗日志;依次对医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,对敏感数据集进行数据脱敏,得到脱敏数据集;利用脱敏数据集将医疗日志更新成脱敏医疗日志,利用与消费线程连接后的kafka集群对脱敏医疗日志进行消息推送,得到推送结果;根据推送结果对脱敏医疗日志进行收录推送。本发明可以应用于医疗日志推送领域,对医疗日志进行脱敏推送,能够提高信息推送的效率。
Description
技术领域
本发明涉及医疗数据脱敏技术领域,尤其涉及一种实时推送涉敏信息并脱敏的方法、装置、电子设备及计算机可读存储介质。
背景技术
数据脱敏推送是指通过对敏感数据进行一系列处理后进行推送,以保护个人隐私和敏感信息的安全,在医疗日志推送中,数据脱敏推送是一种常见的隐私保护措施,由于医疗日志中可能包含患者的敏感信息,如个人身份、病历记录、医疗诊断等,因此在将这些日志推送到外部系统或存储中时,通常需要进行数据脱敏推送。
现有的数据脱敏推送技术多为基于接口筛查的脱敏推送方法,即在触发涉敏系统接口时,筛查出所有涉及敏感信息展示或下载的点然后对操作人行为进行脱敏记录,实际应用中,由于涉敏系统较多多、接口较广,数据脱敏推送没有一个确切标准规范,容易发生收录的信息杂,后续分析、监控、调阅使用极大的不方便,且操作涉敏信息多时,更会影响当前接口效率,可能导致进行信息脱敏推送时的效率较低。
发明内容
本发明提供一种实时推送涉敏信息并脱敏的方法、装置及计算机可读存储介质,其主要目的在于解决进行信息脱敏推送时的效率较低的问题。
为实现上述目的,本发明提供的一种实时推送涉敏信息并脱敏的方法,包括:
初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
可选地,所述利用所述生产线程获取所述日志请求对应的医疗日志,包括:
对所述日志请求进行解析,分别得到请求类型、请求参数、请求头、请求体以及请求路径;
根据所述请求类型、所述请求参数和所述请求头对所述日志请求进行请求验证,得到验证结果;
根据所述验证结果和所述请求路径从预设的数据库中查询出日志数据;
根据所述请求类型、所述请求参数和所述请求体从所述日志数据中提取出医疗日志。
可选地,所述利用所述生产线程将所述医疗日志发送至所述本地队列中,包括:
利用所述生产线程与所述本地队列建立连接,为所述医疗日志添加元数据,得到日志对象;
根据所述本地队列对所述日志对象进行序列化格式转换,得到日志消息;
利用所述生产线程为所述日志消息添加消息属性,得到传输日志;
将所述传输日志发送至连接后的所述本地队列中,结束所述生产线程与所述本地队列的连接。
可选地,所述利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,包括:
利用所述消费线程按照数据类型对所述医疗日志进行数据分类,得到文本日志和表单日志;
从所述表单日志中提取出表单结构,对所述表单结构进行敏感项匹配,得到敏感结构组;
从所述表单日志中筛选出所述敏感结构组对应的表单敏感数据集;
对所述文本日志进行文本分词操作,得到文本日志词集;
从所述文本日志词集中筛除停用词,得到标准文本词集;
将所述标准文本词集向量化成文本词向量集,对所述文本词向量集进行敏感词匹配,得到敏感词向量集;
利用所述敏感词向量集对所述标准文本词集进行映射,得到文本敏感数据集;
将所述表单敏感数据集和所述文本敏感数据集汇集成敏感数据集。
可选地,所述利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,包括:
逐个选取所述敏感数据集中的敏感数据作为目标敏感数据,按照预设的字节长度对所述目标敏感数据进行字节分割,得到字节敏感数据;
为所述字节敏感数据随机生成噪声数据,将所述字节敏感数据和所述噪声数据拼接成噪声敏感数据;
对所述噪声敏感数据进行哈希转码,得到目标脱敏数据,将所有的目标脱敏数据汇集成脱敏数据集。
可选地,所述利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,包括:
利用所述消费线程对连接后的所述kafka集群进行订阅,利用订阅后的所述kafka集群从所述消费线程中提取出脱敏医疗日志;
对所述脱敏医疗日志进行分区,得到分区医疗日志;
对所述分区医疗日志进行消息推送,得到推送结果。
可选地,所述根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,包括:
判断所述推送结果是否为推送成功;
若是,则结束数据推送;
若否,则将所述脱敏医疗日志保存至本地磁盘中;
配置所述kafka集群的迁移复制器,利用所述迁移复制器重新对所述本地磁盘中的所述脱敏医疗日志重新进行消息推送。
为了解决上述问题,本发明还提供一种实时推送涉敏信息并脱敏的装置,所述装置包括:
信息获取模块,用于初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
信息中转模块,用于利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
数据脱敏模块,用于利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
信息推送模块,用于利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
收录推送模块,用于根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的实时推送涉敏信息并脱敏的方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的实时推送涉敏信息并脱敏的方法。
本发明实施例通过初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志,可以通过生产者消费者模型进行日志的数据脱敏,规范了日志的格式,实现了异步脱敏,不影响接口运行,提高了程序的运行效率,通过利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志,可以利用本地队列实现生产线程和消费线程之间的异步通信,提高了信息推送的效率,同时使得生产线程和消费线程之间相互独立,增强了信息推送的解耦性和可靠性,通过利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,可以识别出所述医疗日志中的敏感数据,方便对敏感数据进行精准脱敏,同时保留了医疗日志的具体结构,通过利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,可以确保脱敏后的数据无法被进行逆向还原,从而保证了数据脱敏的安全性。
通过利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,可以完成数据脱敏,通过利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,可以通过kafka集群的推送方法进行消息推送,确保了日志信息推送的速率以及故障的快速平衡,通过根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,可以确保推送失败时的重新推送,也确保了推送失败时信息的安全,提高了信息推送的准确率,进而提升了涉敏信息推送的效率。因此本发明提出的实时推送涉敏信息并脱敏的方法、装置、电子设备及计算机可读存储介质,可以解决进行信息脱敏推送时的效率较低的问题。
附图说明
图1为本发明一实施例提供的实时推送涉敏信息并脱敏的方法的流程示意图;
图2为本发明一实施例提供的将医疗日志发送至本地队列的流程示意图;
图3为本发明一实施例提供的生成脱敏数据集的流程示意图;
图4为本发明一实施例提供的实时推送涉敏信息并脱敏的装置的功能模块图;
图5为本发明一实施例提供的实现所述实时推送涉敏信息并脱敏的方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种实时推送涉敏信息并脱敏的方法。所述实时推送涉敏信息并脱敏的方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述实时推送涉敏信息并脱敏的方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示,为本发明一实施例提供的实时推送涉敏信息并脱敏的方法的流程示意图。在本实施例中,所述实时推送涉敏信息并脱敏的方法包括:
S1、初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志。
本发明实施例中,所述生产线程是生产者消费者模型中生产者角色对应的线程,所述消费线程是生产者消费者模型中消费者角色对应的线程,所述本地队列是所述生产者消费者模型中的缓冲队列用于进行生产线程和消费线程之间的数据通信与数据共享,所述生产者消费者模型是一种经典的并发编程模型,用于解决多线程或多进程环境中的数据共享和协调问题,所述kafka集群是一种高性能、可扩展且持久化的分布式消息队列系统,被广泛应用于大规模数据处理和实时数据流处理场景。
本发明实施例中,所述日志请求是用于获取医疗日志的数据请求,所述日志请求由客户端或应用程序发送至生产线程,所述日志请求包括请求类型、请求参数、请求头、请求体以及请求路径等内容。
详细地,所述医疗日志是用于记录医疗相关时间和操作的日志文件,为了方便医疗日志的集中管理和故障排查,需要进行医疗日志的推送,所述医疗日志包括时间戳、事件类型、操作描述、操作人员、病人信息、设备信息以及异常情况等内容,所述医疗日志中操作人员以及病人信息等信息属于敏感信息,因此需要进行数据脱敏。
本发明实施例中,所述利用所述生产线程获取所述日志请求对应的医疗日志,包括:对所述日志请求进行解析,分别得到请求类型、请求参数、请求头、请求体以及请求路径;根据所述请求类型、所述请求参数和所述请求头对所述日志请求进行请求验证,得到验证结果;根据所述验证结果和所述请求路径从预设的数据库中查询出日志数据;根据所述请求类型、所述请求参数和所述请求体从所述日志数据中提取出医疗日志。
详细地,所述请求类型(Request Method)表示客户端发送的日志请求的动作类型,所述请求类型例如获取资源的GET类型和提交数据并创建新资源的POST类型;所述请求参数(Query Parameters)是指附加在URL中的参数,用于向服务器传递额外的数据;所述请求头(Request Headers)包含了关于请求的元数据和其他额外信息的键值对,所述请求头包括用于身份验证的凭证信息和客户端信息;所述请求体(Request Body)包含了请求所携带的具体数据,通常在POST、PUT等请求中使用,所述请求路径(Request Path)是指URL中指定的路径部分,用于标识服务器上的资源位置。
具体地,所述根据所述请求类型、所述请求参数和所述请求头对所述日志请求进行请求验证,得到验证结果是指根据所述请求类型和所述请求参数对所述日志请求进行权限验证,根据所述请求头对所述日志请求进行身份验证,并将所述权限验证和所述身份验证的结果汇集成验证结果。
详细地,所述根据所述验证结果和所述请求路径从预设的数据库中查询出日志数据是指在所述验证结果为验证通过的情况下,从预设的数据库中查询出所述请求路径对应数据作为日志数据,其中,所述数据库是保存所有医疗数据的数据库,且所述数据库中的各个日志数据拥有不同的存储路径。
本发明实施例中,所述根据所述请求类型、所述请求参数和所述请求体从所述日志数据中提取出医疗日志,包括:利用所述请求体从所述日志数据中查询出格式日志;利用所述请求参数从所述日志数据中查询出日志参数;利用所述请求类型将所述格式日志和所述日志参数汇集成医疗日志。
详细地,所述利用所述请求体从所述日志数据中查询出格式日志是指从所述日志数据中提取出所述请求体对应的数据格式的数据作为格式日志,其中,所述数据格式可以是JSON格式的数据或表单格式的数据,所述格式日志是指JOSN或表单格式的医疗日志数据,例如患者的病历。
具体地,所述日志参数是指医疗日志数据中的具体参数,例如患者编号、身份证号码等。
本发明实施例中,通过初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志,可以通过生产者消费者模型进行日志的数据脱敏,规范了日志的格式,实现了异步脱敏,不影响接口运行,提高了程序的运行效率。
S2、利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志。
本发明实施例中,为了使得生产线程和消费线程进行解耦,在生产者消费者模型中需要使用本地队列进行数据通信。
本发明实施例中,参照图2所示,所述利用所述生产线程将所述医疗日志发送至所述本地队列中,包括:
S21、利用所述生产线程与所述本地队列建立连接,为所述医疗日志添加元数据,得到日志对象;
S22、根据所述本地队列对所述日志对象进行序列化格式转换,得到日志消息;
S23、利用所述生产线程为所述日志消息添加消息属性,得到传输日志;
S24、将所述传输日志发送至连接后的所述本地队列中,结束所述生产线程与所述本地队列的连接。
详细地,可以利用所述生产线程通过所述本地队列的客户端库或SDK插件与所述本地队列建立连接,所述元数据可以是标识消息的唯一ID、消息的优先级或时间戳等数据。
具体地,所述根据所述本地队列对所述日志对象进行序列化格式转换,得到日志消息是指根据所述本地队列指定的消息格式对所述日志对象进行格式转换,例如转化为JSON、XML等格式;所述消息属性可以是消息的持久性、过期时间以及优先级等属性;可以利用所述本地队列提供的API或方法将所述传输日志发送至连接后的所述本地队列中。
详细地,所述控制命令是用户发送的用于控制日志推送和消费线程进行消费活动的开关,方便用户进行实时控制。
具体地,所述根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志是指在所述控制命令为开始命令时控制所述消费线程读取所述本地队列中的医疗日志,在所述控制命令为暂停命令时控制所述消费线程进行等待,其中,所述控制所述消费线程读取所述本地队列中的医疗日志包括利用所述消费线程从所述本地队列中提取出传输日志,从所述传输日志中筛除消息属性,得到日志消息,对所述日志消息进行序列化格式转换,得到日志对象,从所述日志对象中筛除元数据,得到医疗日志。
本发明实施例中,通过利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志,可以利用本地队列实现生产线程和消费线程之间的异步通信,提高了信息推送的效率,同时使得生产线程和消费线程之间相互独立,增强了信息推送的解耦性和可靠性。
S3、利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集。
本发明实施例中,所述敏感数据集是由所述医疗日志中的敏感数据组成的数据集,所述敏感数据是所述医疗日志中与患者身份以及隐私等有关的信息,例如患者的姓名、年龄、住址、身份证号码以及手机号码等数据。
本发明实施例中,所述利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,包括:利用所述消费线程按照数据类型对所述医疗日志进行数据分类,得到文本日志和表单日志;从所述表单日志中提取出表单结构,对所述表单结构进行敏感项匹配,得到敏感结构组;从所述表单日志中筛选出所述敏感结构组对应的表单敏感数据集;对所述文本日志进行文本分词操作,得到文本日志词集;从所述文本日志词集中筛除停用词,得到标准文本词集;将所述标准文本词集向量化成文本词向量集,对所述文本词向量集进行敏感词匹配,得到敏感词向量集;利用所述敏感词向量集对所述标准文本词集进行映射,得到文本敏感数据集;将所述表单敏感数据集和所述文本敏感数据集汇集成敏感数据集。
详细地,所述文本日志是指所述医疗日志中数据类型为文本类型的日志,例如患者的病例介绍等,所述表单日志是指所述医疗日志中数据类型为表单类型的日志,例如全部患者的个人信息报表等。
具体地,所述表单结构是指表单的组成结构和各个字段的定义结构,可以利用数据库模型或API接口从所述表单日志中提取出表单结构;所述对所述表单结构进行敏感项匹配,得到敏感结构组是指对于表单各项字段的属性项进行敏感项匹配,将所有的敏感项汇集成敏感结构组,例如,在表单结构中将“住址”一项对应的属性项作为敏感项,其中,可以利用正则表达式或字符串查找的方法对所述表单结构进行敏感项匹配,得到敏感结构组。
详细地,可以利用双向最大匹配算法或正向最大匹配算法对所述文本日志进行文本分词操作,得到文本日志词集,可以利用停用词表匹配的方法从所述文本日志词集中筛除停用词,得到标准文本词集,可以利用word2Vec或GloVe等编码方式将所述标准文本词集向量化成文本词向量集。
具体地,所述对所述文本词向量集进行敏感词匹配,得到敏感词向量集是指逐个计算所述文本词向量集中每个文本词向量与预设的标准敏感词向量库中每个标准敏感词向量的向量距离,将向量距离小于预设的距离阈值的文本词向量作为敏感词向量,将所有的敏感词向量汇集成敏感词向量集,其中,可以利用余弦距离算法或欧式距离算法逐个计算所述文本词向量集中每个文本词向量与预设的标准敏感词向量库中每个标准敏感词向量的向量距离。
详细地,参照图3所示,所述利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,包括:
S31、逐个选取所述敏感数据集中的敏感数据作为目标敏感数据,按照预设的字节长度对所述目标敏感数据进行字节分割,得到字节敏感数据;
S32、为所述字节敏感数据随机生成噪声数据,将所述字节敏感数据和所述噪声数据拼接成噪声敏感数据;
S33、对所述噪声敏感数据进行哈希转码,得到目标脱敏数据,将所有的目标脱敏数据汇集成脱敏数据集。
详细地,所述按照预设的字节长度对所述目标敏感数据进行字节分割,得到字节敏感数据是指按照预设的字节长度将所述目标敏感数据切割成字节敏感数据,其中,所述字节长度可以是128字节或256字节。
具体地,所述噪声数据是具有固定字节长度的随机数据,可以利用Python的secrets模块或Java的java.security.SecureRandom类为所述字节敏感数据随机生成噪声数据;可以利用SHA-256或SHA-512等哈希加密算法对所述噪声敏感数据进行哈希转码,得到目标脱敏数据。
本发明实施例中,通过利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,可以识别出所述医疗日志中的敏感数据,方便对敏感数据进行精准脱敏,同时保留了医疗日志的具体结构,通过利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,可以确保脱敏后的数据无法被进行逆向还原,从而保证了数据脱敏的安全性。
S4、利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果。
本发明实施例中,所述脱敏医疗日志是指数据脱敏后的医疗日志,所述利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志是指利用所述脱敏数据集中的各个脱敏数据对所述医疗日志中的对应数据进行替换,将替换结束后的医疗日志作为脱敏医疗日志。
详细地,可以利用所述消费线程根据所述kafka集群的地址和端口对所述kafka集群进行连接,所述推送结果是指消息推送的结果,包括推送成功和推送失败。
本发明实施例中,所述利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,包括:利用所述消费线程对连接后的所述kafka集群进行订阅,利用订阅后的所述kafka集群从所述消费线程中提取出脱敏医疗日志;对所述脱敏医疗日志进行分区,得到分区医疗日志;对所述分区医疗日志进行消息推送,得到推送结果。
详细地,可以利用kafka的主题API通过所述消费线程对连接后的所述kafka集群进行订阅,所述对所述脱敏医疗日志进行分区,得到分区医疗日志是指将所述脱敏医疗日志可以利用pull方法对所述分区医疗日志进行消息推送,得到推送结果。
本发明实施例中,通过利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,可以完成数据脱敏,通过利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,可以通过kafka集群的推送方法进行消息推送,确保了日志信息推送的速率以及故障的快速平衡。
S5、根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
本发明实施例中,为了保证日志推送的成功率,需要在日志推送失败时进行收录推送。
本发明实施例中,所述根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,包括:判断所述推送结果是否为推送成功;若是,则结束数据推送;若否,则将所述脱敏医疗日志保存至本地磁盘中;配置所述kafka集群的迁移复制器,利用所述迁移复制器重新对所述本地磁盘中的所述脱敏医疗日志重新进行消息推送。
具体的,所述本地磁盘是指指定的本地存储文件,所述迁移复制器可以是ToryReplicator,所述迁移复制器是基于kafka的复制协议(Replication Protocol)实现数据的跨集群复制,所述迁移复制器用于将数据从一个kafka集群复制到另一个kafka集群。
本发明实施例中,通过根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,可以确保推送失败时的重新推送,也确保了推送失败时信息的安全,提高了信息推送的准确率,进而提升了涉敏信息推送的效率。
本发明实施例通过初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志,可以通过生产者消费者模型进行日志的数据脱敏,规范了日志的格式,实现了异步脱敏,不影响接口运行,提高了程序的运行效率,通过利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志,可以利用本地队列实现生产线程和消费线程之间的异步通信,提高了信息推送的效率,同时使得生产线程和消费线程之间相互独立,增强了信息推送的解耦性和可靠性,通过利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,可以识别出所述医疗日志中的敏感数据,方便对敏感数据进行精准脱敏,同时保留了医疗日志的具体结构,通过利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,可以确保脱敏后的数据无法被进行逆向还原,从而保证了数据脱敏的安全性。
通过利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,可以完成数据脱敏,通过利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,可以通过kafka集群的推送方法进行消息推送,确保了日志信息推送的速率以及故障的快速平衡,通过根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,可以确保推送失败时的重新推送,也确保了推送失败时信息的安全,提高了信息推送的准确率,进而提升了涉敏信息推送的效率。因此本发明提出的实时推送涉敏信息并脱敏的方法,可以解决进行信息脱敏推送时的效率较低的问题。
如图4所示,是本发明一实施例提供的实时推送涉敏信息并脱敏的装置的功能模块图。
本发明所述实时推送涉敏信息并脱敏的装置100可以安装于电子设备中。根据实现的功能,所述实时推送涉敏信息并脱敏的装置100可以包括信息获取模块101、信息中转模块102、数据脱敏模块103、信息推送模块104及收录推送模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述信息获取模块101,用于初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
所述信息中转模块102,用于利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
所述数据脱敏模块103,用于利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
所述信息推送模块104,用于利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
所述收录推送模块105,用于根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
详细地,本发明实施例中所述实时推送涉敏信息并脱敏的装置100中所述的各模块在使用时采用与上述图1至图3中所述的实时推送涉敏信息并脱敏的方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,是本发明一实施例提供的实现实时推送涉敏信息并脱敏的方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如实时推送涉敏信息并脱敏的程序。
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行实时推送涉敏信息并脱敏的程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如实时推送涉敏信息并脱敏的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图中仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图中示出的结构并不构成对所述电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的实时推送涉敏信息并脱敏的程序是多个指令的组合,在所述处理器10中运行时,可以实现:
初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种实时推送涉敏信息并脱敏的方法,其特征在于,所述方法包括:
初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
2.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述利用所述生产线程获取所述日志请求对应的医疗日志,包括:
对所述日志请求进行解析,分别得到请求类型、请求参数、请求头、请求体以及请求路径;
根据所述请求类型、所述请求参数和所述请求头对所述日志请求进行请求验证,得到验证结果;
根据所述验证结果和所述请求路径从预设的数据库中查询出日志数据;
根据所述请求类型、所述请求参数和所述请求体从所述日志数据中提取出医疗日志。
3.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述利用所述生产线程将所述医疗日志发送至所述本地队列中,包括:
利用所述生产线程与所述本地队列建立连接,为所述医疗日志添加元数据,得到日志对象;
根据所述本地队列对所述日志对象进行序列化格式转换,得到日志消息;
利用所述生产线程为所述日志消息添加消息属性,得到传输日志;
将所述传输日志发送至连接后的所述本地队列中,结束所述生产线程与所述本地队列的连接。
4.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,包括:
利用所述消费线程按照数据类型对所述医疗日志进行数据分类,得到文本日志和表单日志;
从所述表单日志中提取出表单结构,对所述表单结构进行敏感项匹配,得到敏感结构组;
从所述表单日志中筛选出所述敏感结构组对应的表单敏感数据集;
对所述文本日志进行文本分词操作,得到文本日志词集;
从所述文本日志词集中筛除停用词,得到标准文本词集;
将所述标准文本词集向量化成文本词向量集,对所述文本词向量集进行敏感词匹配,得到敏感词向量集;
利用所述敏感词向量集对所述标准文本词集进行映射,得到文本敏感数据集;
将所述表单敏感数据集和所述文本敏感数据集汇集成敏感数据集。
5.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集,包括:
逐个选取所述敏感数据集中的敏感数据作为目标敏感数据,按照预设的字节长度对所述目标敏感数据进行字节分割,得到字节敏感数据;
为所述字节敏感数据随机生成噪声数据,将所述字节敏感数据和所述噪声数据拼接成噪声敏感数据;
对所述噪声敏感数据进行哈希转码,得到目标脱敏数据,将所有的目标脱敏数据汇集成脱敏数据集。
6.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果,包括:
利用所述消费线程对连接后的所述kafka集群进行订阅,利用订阅后的所述kafka集群从所述消费线程中提取出脱敏医疗日志;
对所述脱敏医疗日志进行分区,得到分区医疗日志;
对所述分区医疗日志进行消息推送,得到推送结果。
7.如权利要求1所述的实时推送涉敏信息并脱敏的方法,其特征在于,所述根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送,包括:
判断所述推送结果是否为推送成功;
若是,则结束数据推送;
若否,则将所述脱敏医疗日志保存至本地磁盘中;
配置所述kafka集群的迁移复制器,利用所述迁移复制器重新对所述本地磁盘中的所述脱敏医疗日志重新进行消息推送。
8.一种实时推送涉敏信息并脱敏的装置,其特征在于,所述装置包括:
信息获取模块,用于初始化生产线程、消费线程、本地队列以及kafka集群,获取日志请求,利用所述生产线程获取所述日志请求对应的医疗日志;
信息中转模块,用于利用所述生产线程将所述医疗日志发送至所述本地队列中,获取控制命令,根据所述控制命令控制所述消费线程读取所述本地队列中的医疗日志;
数据脱敏模块,用于利用所述消费线程依次对所述医疗日志进行数据分类以及数据匹配操作,得到敏感数据集,利用噪声脱敏的方法对所述敏感数据集进行数据脱敏,得到脱敏数据集;
信息推送模块,用于利用所述脱敏数据集对所述医疗日志进行更新,得到脱敏医疗日志,利用所述消费线程对所述kafka集群进行连接,利用连接后的所述kafka集群对所述脱敏医疗日志进行消息推送,得到推送结果;
收录推送模块,用于根据所述推送结果对所述脱敏医疗日志进行收录推送,结束数据推送。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的实时推送涉敏信息并脱敏的方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的实时推送涉敏信息并脱敏的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827221.5A CN116866422A (zh) | 2023-07-06 | 2023-07-06 | 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310827221.5A CN116866422A (zh) | 2023-07-06 | 2023-07-06 | 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116866422A true CN116866422A (zh) | 2023-10-10 |
Family
ID=88224691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310827221.5A Pending CN116866422A (zh) | 2023-07-06 | 2023-07-06 | 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116866422A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117912624A (zh) * | 2024-03-15 | 2024-04-19 | 江西曼荼罗软件有限公司 | 一种电子病历共享方法及系统 |
-
2023
- 2023-07-06 CN CN202310827221.5A patent/CN116866422A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117912624A (zh) * | 2024-03-15 | 2024-04-19 | 江西曼荼罗软件有限公司 | 一种电子病历共享方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769228B2 (en) | Systems and methods for web analytics testing and web development | |
CN111694840A (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN113704781B (zh) | 文件安全传输方法、装置、电子设备及计算机存储介质 | |
CN113918526B (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
CN112131002B (zh) | 数据管理方法及装置 | |
CN112702228B (zh) | 服务限流响应方法、装置、电子设备及可读存储介质 | |
CN110855648A (zh) | 一种网络攻击的预警控制方法及装置 | |
CN116866422A (zh) | 实时推送涉敏信息并脱敏的方法、装置、设备及存储介质 | |
WO2020140624A1 (zh) | 从日志中提取数据的方法和相关设备 | |
CN113506045A (zh) | 基于移动设备的风险用户识别方法、装置、设备及介质 | |
CN111629063A (zh) | 基于区块链的分布式文件下载的方法和电子设备 | |
US10754748B2 (en) | System and method for constructing extensible event log with javascript object notation (JSON) encoded payload data | |
CN111651452B (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
CN113051224A (zh) | 文件传输方法、装置、电子设备及计算机可读存储介质 | |
CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN115168848B (zh) | 基于大数据分析拦截的拦截反馈处理方法 | |
CN108334524A (zh) | 一种storm日志错误分析方法及装置 | |
CN115002011B (zh) | 流量双向测试方法、装置、电子设备及存储介质 | |
CN113380414A (zh) | 基于大数据的数据采集方法及系统 | |
CN112667244A (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
CN115001945B (zh) | 日志收集监控方法、装置、设备及计算机可读介质 | |
CN114374727B (zh) | 基于人工智能的数据调用方法、装置、电子设备及介质 | |
CN114598624B (zh) | 集群监控方法、装置、电子设备及可读存储介质 | |
CN116186019B (zh) | 应用于民机航电系统下的功能一体化智能分析方法及装置 | |
CN115691771B (zh) | 一种医疗信息化系统工作信息通知的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |