CN117932671A - 报文处理方法、装置、电子设备及存储介质 - Google Patents
报文处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117932671A CN117932671A CN202410095136.9A CN202410095136A CN117932671A CN 117932671 A CN117932671 A CN 117932671A CN 202410095136 A CN202410095136 A CN 202410095136A CN 117932671 A CN117932671 A CN 117932671A
- Authority
- CN
- China
- Prior art keywords
- message
- sensitive
- field
- processed
- database table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 86
- 238000000586 desensitisation Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种报文处理方法、装置、电子设备及存储介质。所述方法包括:响应于业务处理请求,获取与业务处理请求对应的待处理报文;根据待处理报文中的各报文字段和与各报文字段对应的字段值,生成与待处理报文对应的数据库表;确定数据库表中的敏感字段,基于敏感字段生成与待处理报文对应的敏感字段配置表,其中,敏感字段配置表包括敏感字段;基于敏感字段配置表中的敏感字段,确定待处理报文中的字段值是否为敏感值,若是,则对待处理报文中的敏感值进行脱敏处理。本发明实施例的技术方案,实现较为有效且可靠的识别出报文中的敏感信息,并针对敏感信息进行脱敏处理,提升了报文脱敏的准确度。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种报文处理方法、装置、电子设备及存储介质。
背景技术
业务处理过程中往往会产生大量的报文,这些报文中通常会包括敏感信息,为了避免敏感信息不被泄露。相关技术中,往往采用人工方式设定敏感字段,并根据设定的敏感字段识别报文中的敏感信息,从而对敏感信息进行脱敏处理。
然而,对于不同业务的报文,往往会出现字段名称相同但字段含义不同的情况。例如,在一个报文中,ID字段标识为交易流水号,但在另一报文中,ID字段表示为证件号码。那么,采用现有报文处理方式,通常会出现报文敏感信息识别错误的现象,存在报文脱敏准确率较低的技术问题,从而导致报文信息丢失。
发明内容
本发明提供了一种报文处理方法、装置、电子设备及存储介质,以实现较为有效且可靠的识别出报文中的敏感信息,并针对敏感信息进行脱敏处理,提升了报文脱敏的准确度,进一步提高了报文数据的安全性。
根据本发明的一方面,提供了一种报文处理方法,该方法包括:
响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;
根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;
确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;
基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
根据本发明的另一方面,提供了一种报文处理装置。该装置包括:
报文获取模块,用于响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;
数据库表生成模块,用于根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;
配置表生成模块,用于确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;
报文处理模块,用于基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的报文处理方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的报文处理方法。
本发明实施例的技术方案,通过响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。本发明实施例的技术方案,解决了现有报文脱敏处理准确度较低的技术问题,实现较为有效且可靠的识别出报文中的敏感信息,并针对敏感信息进行脱敏处理,提升了报文脱敏的准确度,进一步提高了报文数据的安全性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种报文处理方法的流程示意图;
图2为本发明实施例一提供适用于报文处理方法的数据库表生成的流程示意图;
图3为本发明实施例一提供适用于报文处理方法的报文脱敏处理的流程示意图;
图4为本发明实施例二提供的一种报文处理装置的结构示意图;
图5为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解的是,在使用本公开各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如,在响应于接收到用户的主动请求时,向用户发送提示信息,以明确地提示用户,其请求执行的操作将需要获取和使用到用户的个人信息。从而,使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式,响应于接收到用户的主动请求,向用户发送提示信息的方式例如可以是弹窗的方式,弹窗中可以以文字的方式呈现提示信息。此外,弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是,上述通知和获取用户授权过程仅是示意性的,不对本公开的实现方式构成限定,其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
实施例一
图1为本发明实施例一提供的一种报文处理方法的流程示意图,本实施例可适用于对报文进行处理的情况,尤其适用于对报文进行敏感信息检测以及针对敏感信息进行脱敏处理的场景,该方法可以由报文处理装置来执行,该报文处理装置可以采用硬件和/或软件的形式实现,该报文处理装置可配置于诸如计算机或者服务器等的电子设备中。
如图1所示,本实施例的方法包括:
S110、响应于业务处理请求,获取与所述业务处理请求对应的待处理报文。
其中,业务处理请求可以理解为需要进行业务处理的请求。在本发明实施例中,业务处理请求可以为银行信息系统中的业务处理请求。业务处理请求可以携带业务交易标识。可以理解的是,业务交易标识可以理解为交易码,可以用于区分不同的业务。
在本发明实施例中个,待处理报文可以理解为针对业务处理请求生成的需要进行处理的报文,也就是说,与业务交易标识对应的报文。待处理报文的数量可以为一个、两个或两个以上。在待处理报文的数量为多个是情况下,多个待处理报文可以为隶属于同一业务的报文;或者,多个待处理报文可以为隶属于不同业务的报文。多个待处理报文可以为隶属于同一业务的报文,也就是说,多个待处理报文对应同一业务交易标识。多个待处理报文可以为隶属于不同业务的报文,也就是说,多个待处理报文对应至少两个业务交易标识。
具体的,在接收到业务处理请求后,可以对所述业务处理请求进行分析,从而得到分析结果。进而可以基于分析结果,获取与所述业务处理请求对应的待处理报文。
在本发明实施例中,所述待处理报文的格式可以为Json格式。也就是说,本发明实施例中,待处理报文由至少一个键(key)和每个键对应的值(value)组成。示例性的,待处理报文可以为{“cod”:”SELECT01”,”data”:{“name”:”张三”,”contact”:{”phone”:”123XXXXXXX”}}}。其中,待处理报文可以包括交易码字段(cod)和报文数据字段(data),报文数据字段可以包括客户名称字段(name)和通信字段(contact),通信字段可以包括电话通信字段(phone)。其中,交易码字段对应的字段值为SELECT01,客户名称字段对应的字段值为张三,电话通信字段对应的字段值为123XXXXXXX。
为了便于报文的解析,本发明实施例中,对于存在信息嵌套的报文,子节点键的完整命名可以是基于子节点键的节点命名和与该子节点对应的父节点键的节点命名构成,例如,将父节点键的节点命名与子节点键的节点命名以预设分隔符(如,“_”、“+”或“-”等)进行拼接。沿用上例,待处理报文可以为{“cod”:”SELECT01”,”data”:{“data_name”:”张三”,”data_contact”:{”data_contact_phone”:”123XXXXXXX”}}}。
S120、根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表。
其中,报文字段可以理解为位于待处理报文中的字段。报文字段可以为键(key)。字段值可以理解为位于待处理报文中与报文字段对应的字段值。字段值可以为值(value)。数据库表可以是基于所述待处理报文中的各报文字段和与各所述报文字段对应的字段值生成数据库表。在本发明实施例中,数据库表的表名称可以为待处理报文中的交易码。数据库表的数量可以为一个、两个或两个以上。可以理解的是,在所述业务处理请求对应的全部待处理报文的交易码相同的情况下,数据库表的数量可以为一个;在所述业务处理请求对应的全部待处理报文的交易码不同的情况下,数据库表的数量可以为至少两个。
具体的,在得到待处理报文后,可以确定所述待处理报文进行解析,从而得到待处理报文中的各报文字段和与各所述报文字段对应的字段值。进而可以基于待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成数据库表。
可选地,在与业务处理请求对应的报文的数量为多个,且多个报文对应同一交易码。在本发明实施例中,所述根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表,可以包括:在所述待处理报文的数量为多个的情况下,确定各所述待处理报文中的报文字段,将各所述报文字段进行字段并集处理,得到并集后的字段;基于所述并集后的字段和与所述并集后的字段对应的字段值,生成与所述待处理报文对应的数据库表,其中,每个所述并集后的字段作为数据库表中的一个表字段。
在本发明实施中,表字段可以理解为数据库表中的字段。表字段可以是基于待处理报文中报文字段得到的。在本发明实施例中,在待处理报文包括交易码字段(cod)和报文数据字段(data)的情况下,表字段可以理解为待处理报文中报文数据字段所包括的子节点的字段。数据库表中表字段的数量可以为一个、两个或两个以上。在实际应用中,数据库表中的表字段的数量通常为多个。在发明实施例中,数据库表可以为横表,也可以为纵表。
具体的,在所述待处理报文的数量为多个的情况下,针对每个待处理报文,确定每个待处理报文中的报文字段。在得到每个待处理报文的报文字段后,可以将全部待处理报文中的报文字段进行并集处理。从而得到全部报文字段,即并集后的字段。进而可以基于所述并集后的字段和与所述并集后的字段对应的字段值,生成与所述待处理报文对应的数据库表,其中,每个所述并集后的字段作为数据库表中的一个表字段。
示例性的,同一交易码对应的待处理报文包括第一JSON报文和第二JSON报文。第一JSON报文包含的键和第二JSON报文包含的键可以不同。例如,第一JSON报文为{“cod”:”SELECT01”,”data”:{“data_name”:”张三”,”data_contact”:{”data_contact_phone”:”123XXXXXXX”}}}。第二JSON报文为{“cod”:”SELECT01”,”data”:{“data_name”:”张三”,”data_contact”:{”data_contact_email”:”XXX@test.com”}}}。即可以确定第一JSON报文中报文字段包括data_name和data_contact_phone。第二JSON报文中报文字段包括data_name和data_contact_email。报文字段并集处理后,并集后的字段包括data_name、data_contact_phone和data_contact_email,依次对应的字段值分别为张三、123XXXXXXX和XXX@test.com。基于此,可以将data_name、data_contact_phone和data_contact_email分别作为数据库表中的一个表字段,建立数据库表,并将各表字段对应的字段值填写至数据库表中。需要说明的是,数据库表的表名称为SELECT01。
可选地,在与业务处理请求对应的报文的数量为多个,且存在至少两个报文对应的交易码是不同的情况下。在本发明实施例中,参见图2,对于多个待处理报文,从多个待处理报文中随机选择一个待处理的报文,作为当前报文,即读取一条JSON报文。进而可以对所述当前报文进行解析,获取到报文中的交易码,以及报文中的所有叶子节点键与对应父节点键拼接后的字段。将获取到交易码作为数据库表的表名称,将拼接后的字段作为表字段。基于此,从用于存储数据库表的数据库中查询是否存在以当前报文对应的交易码为表名称的数据库表。若是,则确定以当前报文对应的交易码为表名称的数据库表的表字段中是否包括当前报文的全部报文子段,若是,则于所述数据库表中填写对应的字段值,即将报文叶子节点的值(value)插入数据库表对应字段。处理完成后,确定是否存在当前报文的下一报文,若是,则将下一报文作为当前报文,返回执行对所述当前报文进行解析的操作。若否,则可以确定全部待处理报文已遍历。
基于此,在用于存储数据库表的数据库中未存在以当前报文对应的交易码为表名称的数据库表的情况下,可以新建以前报文对应的交易码为表名称的数据库表,并将所述当前报文的报文字段作为所述数据库表的表字段。进一步,在数据库表中填写与表字段对应的字段值。在以当前报文对应的交易码为表名称的数据库表的表字段中未包括当前报文的全部报文子段的情况下,则可以确定未包括的报文字段,并将未包括的报文字段作为表字段,添加至以当前报文对应的交易码为表名称的数据库表中。
S130、确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段。
其中,敏感字段可以理解为数据表中对应敏感数据的表字段。敏感字段配置表可以是基于敏感字段生成字段配置表,可以用于识别待处理报文中的敏感字段。敏感字段配置表可以包括一个或多个敏感字段。沿用上例,待处理报文包括第一JSON报文和第二JSON报文,敏感字段配置表可以参见表1:
表名 | 字段名 | 敏感字段 |
SELECT01 | data_name | 客户名称 |
SELECT01 | data_contact_phone | 电话通信 |
SELECT01 | data_contact_email | 邮箱通信 |
在本发明实施例中,数据库表和敏感字段配置表之间的对应关系可以为一对一或多对一。数据库表和敏感字段配置表之间的对应关系可以为一对一,也就是说,一个数据库表对应一个敏感字段配置表,换言之,针对不同交易码的数据库表,可以生成与每个交易码对应的敏感字段配置表,此时,敏感字段配置表中交易码为相同。数据库表和敏感字段配置表之间的对应关系可以为多对一,也就是说,多个数据库表对应一个敏感字段配置表,换言之,对于不同交易码的数据库表,可以生成一个统一的敏感字段配置表,此时,敏感字段配置表中至少存在两个不同的交易码。
在本发明实施例中,所述确定所述数据库表中的敏感字段,可以包括:可以基于预设敏感数据检测方式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中的敏感数据,将所述数据库表中与敏感数据对应的表字段作为敏感字段。
其中,预设敏感数据检测方式可以根据实际需求进行设置的敏感数据检测方式。对所述数据库表中的数据进行敏感数据识别,可以为,针对所述数据库表中的每个表字段,对每个表字段的预设行数的非空值进行敏感数据识别;其中,预设行数可以为针对全部表字段进行统一配置,或者,预设行数可以为针对每个表字段进行单独配置。
在本发明实施例中,所述基于预设敏感数据检测方式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中的敏感数据,可以包括:基于预先定义的用于对预设敏感数据进行检测的正则表达式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中与所述正则表达式匹配的敏感数据。
具体的,基于预先定义的用于对预设敏感数据进行检测的正则表达式,对所述数据库表中的数据进行敏感数据识别。从而可以得到敏感数据识别结果。进而可以基于所述敏感数据识别结果,确定所述数据库表中与所述正则表达式匹配的敏感数据。本发明实施例中,通过将隶属于同一交易码的报文的信息存储至数据库表中,进而针对数据库表进行敏感数据识别,从而统计到属于所述交易码的报文中的敏感数据。进而可以将数据库表中与各敏感数据对应的表字段作为确定敏感字段,即得到与该交易码的数据库表中的敏感字段。进一步,可以将与该交易码的数据库表中的敏感字段进行汇总,从而得到敏感字段配置表,以使用该敏感字段配置表对属于该交易码的报文进行针对性的敏感数据识别,从而可提升报文敏感数据识别的精准度。
在上述实施例的基础上,在得到敏感字段配置表后,响应于针对所述敏感字段配置表的修改操作,可以对所述敏感字段配置表中的敏感字段进行更新处理。
S140、基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
在本发明实施例中,敏感值可以理解为待处理报文中的字段值为敏感数据。具体的,基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,具体可以为:确定待处理报文对应的交易码,基于交易码和数据库表之间的对应关系,以及数据库表和敏感字段配置表之间对应关系,可以确定与所述待处理报文对应的敏感字段配置表。进而可以通过所述敏感字段配置表对所述待处理报文进行敏感字段识别,从而确定所述待处理报文中的敏感数据。
在本发明实施例中,所述基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,具体可以为:针对所述待处理报文中的每个字段值,可以将所述报文字段与所述敏感字段配置表中的敏感字段进行一致性比对;从而可以得到比对的结果。进而可以根据比对的结果确定所述字段值是否为敏感值。可以理解的是,如果比对一致,则可以确定,报文字段对应的字段值为敏感值;反之,报文字段对应的字段值不是敏感值。
在本发明实施例中,对所述待处理报文中的敏感值进行脱敏处理,可以包括:基于预设数据脱敏策略,对所述待处理报文中的敏感值进行脱敏处理,其中,所述预设数据脱敏策略可以包括敏感数据删除、敏感数据置换以及敏感数据仿真中的至少一种。其中,敏感数据删除可以理解为将报文中的敏感数据进行删除处理。敏感数据置换可以理解为将报文中的敏感数据替换为预设字符;其中,预设字符可根据实际需求进行设置,其在此不做具体限定。敏感数据仿真可以理解为将报文中的敏感数据进行仿真处理。在本发明实施中,不同类别的敏感数据的脱敏处理方式可以相同,也可以不相同,其在此不做具体限定。
参见图3,可以按照报文处理顺序,确定当前待处理的报文。其中,报文处理顺序可根据实际需求进行设置,其在此不做具体限定,例如,按照报文生成时间的先后顺序。在确定当前待处理的报文后,可以对当前待处理的报文进行读取,即读取一条JSON报文。对读取到的报文进行解析,从而可以得到该报文的交易码。进一步,可以从脱敏配置文件中确定是否存在该交易码对应的脱敏字段。若是,则根据脱敏配置文件中的脱敏字段,拆解该JSON报文。从而得到JSON报文中的字段名称,并获取到对应的字段值。进而可以按照敏感数据类别采用对应的算法进行脱敏处理。脱敏处理后,将该报文写入脱敏后报文存储文件。在处理后,判断是否以遍历所有待处理报文。若否,则将当前待处理的报文的下一报文作为当前待处理的报文,返回执行对读取到的报文进行解析的操作。可以理解的是,脱敏配置文件中确定未存在该交易码对应的脱敏字段的情况下,可以将该报文写入脱敏后报文存储文件。可以理解的是,报文存储文件可以理解用于存储脱敏处理后以及不需要进行脱敏处理的文件。脱敏配置文件可以理解为敏感字段配置表。
本发明实施例的技术方案,通过响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。本发明实施例的技术方案,解决了现有报文脱敏处理准确度较低的技术问题,实现较为有效且可靠的识别出报文中的敏感信息,并针对敏感信息进行脱敏处理,提升了报文脱敏的准确度,进一步提高了报文数据的安全性。
实施例二
图4为本发明实施例二提供的一种报文处理装置的结构示意图。如图4所示,该装置包括:报文获取模块210、数据库表生成模块220、配置表生成模块230和报文处理模块240。
其中,报文获取模块210,用于响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;数据库表生成模块220,用于根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;配置表生成模块230,用于确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;报文处理模块240,用于基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
本发明实施例的技术方案,通过报文获取模块,响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;通过数据库表生成模块,根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;通过配置表生成模块,确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;通过报文处理模块,基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理,本发明实施例的技术方案,解决了现有报文脱敏处理准确度较低的技术问题,实现较为有效且可靠的识别出报文中的敏感信息,并针对敏感信息进行脱敏处理,提升了报文脱敏的准确度,进一步提高了报文数据的安全性。
可选地,通过配置表生成模块220包括敏感数据检测单元;其中,敏感数据检测单元,用于基于预设敏感数据检测方式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中的敏感数据,将所述数据库表中与敏感数据对应的表字段作为敏感字段。
可选地,敏感数据检测单元,具体用于基于预先定义的用于对预设敏感数据进行检测的正则表达式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中与所述正则表达式匹配的敏感数据。
可选地,数据库表生成模块220,用于在所述待处理报文的数量为多个的情况下,确定各所述待处理报文中的报文字段,将各所述报文字段进行字段并集处理,得到并集后的字段;基于所述并集后的字段和与所述并集后的字段对应的字段值,生成与所述待处理报文对应的数据库表,其中,每个所述并集后的字段作为数据库表中的一个表字段。
可选地,报文处理模块240,用于针对所述待处理报文中的每个字段值,将所述报文字段与所述敏感字段配置表中的敏感字段进行一致性比对,根据比对的结果确定所述字段值是否为敏感值。
可选地,报文处理模块240,用于基于预设数据脱敏策略,对所述待处理报文中的敏感值进行脱敏处理,其中,所述预设数据脱敏策略包括敏感数据删除、敏感数据置换以及敏感数据仿真中的至少一种。
可选地,所述待处理报文的格式为Json格式。
本发明实施例所提供的报文处理装置可执行本发明任意实施例所提供的报文处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述报文处理装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
实施例三
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如报文处理方法。
在一些实施例中,报文处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的报文处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行报文处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种报文处理方法,其特征在于,包括:
响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;
根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;
确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;
基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
2.根据权利要求1所述的方法,其特征在于,所述确定所述数据库表中的敏感字段,包括:
基于预设敏感数据检测方式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中的敏感数据,将所述数据库表中与敏感数据对应的表字段作为敏感字段。
3.根据权利要求2所述的方法,其特征在于,所述基于预设敏感数据检测方式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中的敏感数据,包括:
基于预先定义的用于对预设敏感数据进行检测的正则表达式,对所述数据库表中的数据进行敏感数据识别,确定所述数据库表中与所述正则表达式匹配的敏感数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表,包括:
在所述待处理报文的数量为多个的情况下,确定各所述待处理报文中的报文字段,将各所述报文字段进行字段并集处理,得到并集后的字段;
基于所述并集后的字段和与所述并集后的字段对应的字段值,生成与所述待处理报文对应的数据库表,其中,每个所述并集后的字段作为数据库表中的一个表字段。
5.根据权利要求1所述的方法,其特征在于,所述基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,包括:
针对所述待处理报文中的每个字段值,将所述报文字段与所述敏感字段配置表中的敏感字段进行一致性比对,根据比对的结果确定所述字段值是否为敏感值。
6.根据权利要求1所述的方法,其特征在于,对所述待处理报文中的敏感值进行脱敏处理,包括:
基于预设数据脱敏策略,对所述待处理报文中的敏感值进行脱敏处理,其中,所述预设数据脱敏策略包括敏感数据删除、敏感数据置换以及敏感数据仿真中的至少一种。
7.根据权利要求1所述的方法,其特征在于,所述待处理报文的格式为Json格式。
8.一种报文处理装置,其特征在于,包括:
报文获取模块,用于响应于业务处理请求,获取与所述业务处理请求对应的待处理报文;
数据库表生成模块,用于根据所述待处理报文中的各报文字段和与各所述报文字段对应的字段值,生成与所述待处理报文对应的数据库表;
配置表生成模块,用于确定所述数据库表中的敏感字段,基于所述敏感字段生成与所述待处理报文对应的敏感字段配置表,其中,所述敏感字段配置表包括所述敏感字段;
报文处理模块,用于基于所述敏感字段配置表中的敏感字段,确定所述待处理报文中的字段值是否为敏感值,若是,则对所述待处理报文中的敏感值进行脱敏处理。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的报文处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的报文处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410095136.9A CN117932671A (zh) | 2024-01-23 | 2024-01-23 | 报文处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410095136.9A CN117932671A (zh) | 2024-01-23 | 2024-01-23 | 报文处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117932671A true CN117932671A (zh) | 2024-04-26 |
Family
ID=90769790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410095136.9A Pending CN117932671A (zh) | 2024-01-23 | 2024-01-23 | 报文处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117932671A (zh) |
-
2024
- 2024-01-23 CN CN202410095136.9A patent/CN117932671A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107809331B (zh) | 识别异常流量的方法和装置 | |
CN113010896B (zh) | 确定异常对象的方法、装置、设备、介质和程序产品 | |
CN116010220A (zh) | 一种告警诊断方法、装置、设备及存储介质 | |
CN115333783A (zh) | Api调用的异常检测方法、装置、设备及存储介质 | |
CN115906135A (zh) | 目标数据泄露路径的溯源方法、装置、电子设备和存储介质 | |
CN117932671A (zh) | 报文处理方法、装置、电子设备及存储介质 | |
CN111026629A (zh) | 一种测试脚本自动生成的方法和装置 | |
CN115309730A (zh) | 数据审核方法、装置、电子设备及存储介质 | |
CN118170617B (zh) | 集群异常的检测方法及装置、电子设备和存储介质 | |
CN113591088B (zh) | 一种标识识别方法、装置及电子设备 | |
CN113595870B (zh) | 推送消息的处理方法、装置、电子设备及存储介质 | |
CN116185765B (zh) | 一种告警处理方法、装置、电子设备及存储介质 | |
CN117081939A (zh) | 一种流量数据处理方法、装置、设备及存储介质 | |
CN115080111A (zh) | 目标应用的流程化管理方法、装置、设备及存储介质 | |
CN117455684A (zh) | 一种数据处理方法、装置、电子设备、存储介质及产品 | |
CN116340097A (zh) | 异常信息的处理方法、装置、设备及存储介质 | |
CN117608896A (zh) | 交易数据处理方法、装置、电子设备及存储介质 | |
CN117729005A (zh) | 一种网络资产测绘方法 | |
CN115426143A (zh) | 识别异常身份标识的方法、装置、设备以及存储介质 | |
CN115361308A (zh) | 一种工控网络数据风险确定方法、装置、设备及存储介质 | |
CN112367324A (zh) | Cdn的攻击检测方法、装置、存储介质及电子设备 | |
CN115879166A (zh) | 数据识别方法、装置、电子设备以及存储介质 | |
CN114567698A (zh) | 一种涉诈号码的检测方法、装置、设备及存储介质 | |
CN117076988A (zh) | 异常行为检测方法、装置、设备及介质 | |
CN117743396A (zh) | 一种数据质量检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |