CN113360946B - 新闻脱敏处理方法、装置、电子设备及可读存储介质 - Google Patents
新闻脱敏处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113360946B CN113360946B CN202110730474.1A CN202110730474A CN113360946B CN 113360946 B CN113360946 B CN 113360946B CN 202110730474 A CN202110730474 A CN 202110730474A CN 113360946 B CN113360946 B CN 113360946B
- Authority
- CN
- China
- Prior art keywords
- news
- sensitive
- appointed
- database
- names
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000586 desensitisation Methods 0.000 title claims abstract description 61
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000003909 pattern recognition Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及数据处理，揭露一种新闻脱敏处理方法，包括：将第一媒体发布的第一新闻存储至第一数据库；抽取第二媒体发布的第二新闻中的敏感人名及其属性信息，建立敏感人名对应的字典，并将字典存储至第二数据库；将第一数据库中的每条新闻分别与第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将指定新闻作为敏感新闻；对敏感新闻中含有指定敏感人名的句子执行句型识别，基于句型识别结果对敏感新闻执行脱敏处理。本发明还提供一种新闻脱敏处理装置、电子设备及可读存储介质。本发明提高了新闻脱敏处理效率及准确率。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种新闻脱敏处理方法、装置、电子设备及可读存储介质。
背景技术
随着信息时代的到来，新闻已融入人们的生活中，通过浏览新闻可了解各类资讯。例如，一些企业或组织机构的时事新闻中经常报道相关人员交流及参与会议等新闻内容，然而其中某些人员可能因为违反一些规定成为敏感人名，此时需要对包含敏感人名的新闻进行脱敏处理。
当前，通常采用人工方式识别包含敏感人名的新闻并进行脱敏处理，然而人工处理难以保证时效，且在工作量大的情况下，人工易出错，因此，亟需一种新闻脱敏处理方法，以提高新闻脱敏处理准确率及效率。
发明内容
鉴于以上内容，有必要提供一种新闻脱敏处理方法，旨在提高新闻脱敏处理准确率及效率。
本发明提供的新闻脱敏处理方法，包括：
响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库；
获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库；
将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻；
对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理。
可选的，所述抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，包括：
对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务；
当判断所述第二新闻的正文中含有预设格式的句子时，对所述预设格式的句子执行实体识别，得到实体识别结果，基于所述实体识别结果获取所述敏感人名的属性信息；
汇总所述敏感人名对应的地名、职务及属性信息得到所述敏感人名对应的字典。
可选的，所述将所述字典存储至第二数据库，包括：
将所述敏感人名及其职务的组合作为关键字key，将所述敏感人名对应的字典作为关键字值value，得到所述敏感人名对应的键值对key-value；
当所述第二数据库中没有存储所述key对应的数据时，将所述键值对存储至第二数据库中。
可选的，所述当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻，包括：
当判断某一指定新闻中含有某一指定敏感人名时，将所述指定新闻中含有所述指定敏感人名的句子的集合作为第一敏感句子集；
对所述第一敏感句子集中的每个句子执行人名实体识别，从所述第一敏感句子集中抽取识别得到的人名与指定敏感人名一致的句子，得到第二敏感句子集；
判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值；
当判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差小于预设阈值时，对所述第二敏感句子集中的句子执行职务及地名实体识别，将所述敏感人名、识别得到的职务、地名及所述指定新闻的发布时间作为所述指定敏感人名对应的待匹配信息；
抽取所述第二敏感句子集中所述待匹配信息与所述指定敏感人名对应的字典匹配成功的句子，得到第三敏感句子集；
当所述第三敏感句子集中含有至少一个句子时，将所述指定新闻作为敏感新闻。
可选的，在所述判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值之后，所述方法还包括：
若判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差大于或等于预设阈值，则认为所述指定新闻不是敏感新闻。
可选的，所述方法还包括：
实时监控所述第一媒体是否发布新的第一新闻，当监控到所述第一媒体发布新的第一新闻时，将所述新的第一新闻存储至第三数据库；
基于所述第二数据库中敏感人名对应的字典对所述第三数据库中的新闻执行敏感新闻识别处理及脱敏处理，并将处理后的新闻存储至所述第一数据库。
可选的，所述方法还包括：
实时监控所述第二媒体是否发布新的第二新闻，当监控到所述第二媒体发布新的第二新闻时，抽取所述新的第二新闻中的新敏感人名，建立所述新敏感人名对应的字典并存储至第二数据库；
基于所述新敏感人名对应的字典对所述第一数据库中的新闻执行敏感新闻识别处理及脱敏处理。
为了解决上述问题，本发明还提供一种新闻脱敏处理装置，所述装置包括：
响应模块，用于响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库；
建立模块，用于获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库；
匹配模块，用于将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻；
脱敏模块，用于对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的新闻脱敏处理程序，所述新闻脱敏处理程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述新闻脱敏处理方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有新闻脱敏处理程序，所述新闻脱敏处理程序可被一个或者多个处理器执行，以实现上述新闻脱敏处理方法。
相较现有技术，本发明首先将第一媒体发布的第一新闻存储至第一数据库，抽取第二媒体发布的第二新闻中的敏感人名及其属性信息，建立敏感人名对应的字典并将字典存储至第二数据库；接着，将第一数据库中的每条新闻分别与第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将指定新闻作为敏感新闻；最后，对敏感新闻中含有指定敏感人名的句子执行句型识别，基于句型识别结果对敏感新闻执行脱敏处理，本发明通过程序实现新闻与敏感人名对应的字典匹配以识别并处理敏感新闻，保证了新闻脱敏处理效率及准确率。因此，本发明提高了新闻脱敏处理效率及准确率。
附图说明
图1为本发明一实施例提供的新闻脱敏处理方法的流程示意图；
图2为本发明一实施例提供的新闻脱敏处理装置的模块示意图；
图3为本发明一实施例提供的实现新闻脱敏处理方法的电子设备的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种新闻脱敏处理方法。参照图1所示，为本发明一实施例提供的新闻脱敏处理方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
本实施例中，新闻脱敏处理方法包括：
S1、响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库。
本实施例中，第一媒体可以是某一企业的官方新闻网站，第一新闻为第一媒体发布的新闻。所述第一数据库为elasticsearch，通过elasticsearch可实现快速、稳定的搜索及查询。
S2、获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库。
所述第二媒体可以是发布处罚新闻的网站，处罚新闻中被处罚人名为敏感人名。
所述抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，包括步骤A11-A13：
A11、对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务；
本实施例通过实体识别模型进行实体识别，以提取第二新闻的标题中的人名、地名、机构及职务等实体名称，所述实体识别模型可以是bert模型。
通常情况下，句子结构越规范，实体识别的准确度越高，因第二新闻一般采用通用格式书写，从而使得实体识别的准确性较高。
所述对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务，包括步骤B11-B12：
B11、对所述第二新闻的标题执行人名实体识别，得到敏感人名；
B12、对所述第二新闻的标题中敏感人名前的文字执行职务及地名实体识别，得到敏感人名对应的地名及职务。
例如，对于第二新闻标题《A市分公司后勤部长张三被总公司行政部处罚》，若对整个标题执行实体识别，得到的实体名称如下：
敏感人名：张三；
地名：A市；
职务：后勤部长、行政部。
为提高职务识别准确度，本实施例加入了规则辅助，因第二新闻标题的格式固定，敏感人名的职务通常位于敏感人名的前面，故而，通过规则设定仅对标题中敏感人名前面的文字执行职务实体识别，得到的职务名称更为准确。
同时，为提高地名的识别准确度，本实施例还添加了地名词库，例如将国内所有省名、市名添加至地名词库中，并建立地名trie树(字典树)，通过与trie树进行匹配，可快速、准确的识别标题中的地名。
A12、当判断所述第二新闻的正文中含有预设格式的句子时，对所述预设格式的句子执行实体识别，得到实体识别结果，基于所述实体识别结果获取所述敏感人名的属性信息；
当前，第二新闻的正文中通常会以如下格式陈述人物简历，例如：
“2001.04--2006.08A市分公司B职务，
2006.08--2008.02总公司C职务，
2008.08--2016.10D市分公司E职务，
2016.10--总公司F职务。”
本实施例中，所述预设格式的句子为“年.月—年.月.职务”格式的句子，将该句子中的敏感人名对应的历史任职地、历史职务及任职时间段作为敏感人名的属性信息，通过该属性信息可精确定位到对应的人员。
A13、汇总所述敏感人名对应的地名、职务及属性信息得到所述敏感人名对应的字典。
本实施例中，所述将所述字典存储至第二数据库，包括：
C11、将所述敏感人名及其职务的组合作为关键字key，将所述敏感人名对应的字典作为关键字值value，得到所述敏感人名对应的键值对key-value；
C12、当所述第二数据库中没有存储所述key对应的数据时，将所述键值对存储至第二数据库中。
本实施例中，所述第二数据库为redis数据库，相较于其它数据库，redis数据库的查询响应速度更快，以敏感人名及其标题中的职务(即当前职务)的组合作为key，保证了数据的唯一性。
在所述将所述敏感人名对应的字典作为value之后，所述方法还包括：
若所述第二数据库中存储有所述key对应的数据，则仅将所述字典中与所述数据不同的部分存储至所述第二数据库。
本实施例中，为了避免相同信息重复存储，仅将字典中与第二数据库中对应的已存储的数据中不同的部分进行存储。
S3、将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻。
所述当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻，包括步骤D11-D16：
D11、当判断某一指定新闻中含有某一指定敏感人名时，将所述指定新闻中含有所述指定敏感人名的句子的集合作为第一敏感句子集；
本实施例中，先将第一媒体的所有新闻转换为text格式，采用standard切词方式(逐字拆分)对text格式的新闻切词后保存至第一数据库中(即ES中)，再采用match_phrase方式搜索敏感人名。
之所以采用standard切词方式，是因为人名的搜索不依赖语义上的切词结果。
match_phrase搜索设定了人名中的每个字在匹配时的间隔为0，例如，对于敏感人名“张三”，“张”和“三”两个字在新闻中需连续出现。
其中，指定新闻可以是第一数据库中的任一条新闻，指定敏感人名可以是第二数据库中的任一个敏感人名。
例如，若指定敏感人名为“张三”，指定新闻中含有“张三”的句子可能有以下三种错误匹配情况：
1)识别到的并非人名，例如从“开张三天酬宾”中匹配到“张三”；
2)识别到的人名不完整，只是实际人名的一部分，例如，从“张三丰”中识别到“张三”；
3)识别到正确的人名，但是与第二数据库中的敏感人名对应的不是同一个人(即遇到了同名的情况，这种情况最为常见)。
D12、对所述第一敏感句子集中的每个句子执行人名实体识别，从所述第一敏感句子集中抽取识别得到的人名与指定敏感人名一致的句子，得到第二敏感句子集；
本步骤通过人名实体识别，可剔除上述前两种错误匹配的句子。
D13、判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值；
D14、当判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差小于预设阈值时，对所述第二敏感句子集中的句子执行职务及地名实体识别，将所述敏感人名、识别得到的职务、地名及所述指定新闻的发布时间作为所述指定敏感人名对应的待匹配信息；
本实施例仅在指定敏感人名对应的第二新闻与指定新闻的发布时间差较小时，认为该指定新闻可能为高风险新闻，此时需进一步识别该指定新闻是否为敏感新闻。
D15、抽取所述第二敏感句子集中所述待匹配信息与所述指定敏感人名对应的字典匹配成功的句子，得到第三敏感句子集；
该步骤得到的待匹配信息中包括指定敏感人名在指定新闻发布时的任职地及任职职务，若该指定敏感人名对应的字典中同一时段的任职情况与所述待匹配信息一致，认为所述待匹配信息与所述指定敏感人名对应的字典匹配成功。
指定敏感人名的任职情况与待匹配信息匹配过程中，若指定新闻中没有完整描述指定敏感人名的任职信息，或者任职信息与指定敏感人名不在同一句话中，本实施例可从指定新闻中抓取更多属性进行近似确认。例如，对指定新闻执行地名实体识别(例如，若指定新闻为一篇深圳的交流会议新闻，可识别得到地名“深圳”)，若实体识别得到的地名与字典中该时间段的任职地相同，则认为任职地匹配成功。
某些情况下，地名可能不会完全匹配，出现了地名的包含关系，此时可采用地名知识图谱进行分析，例如，若字典中张三在指定新闻发布时的任职地为深圳，而指定新闻为一篇广东的交流会议新闻，也可认为任职地匹配成功。
若指定新闻中含有敏感人名对应的机构名称(例如，分公司名称)，也可以采用与地名相同的方式进行匹配。
D16、当所述第三敏感句子集中含有至少一个句子时，将所述指定新闻作为敏感新闻。
本实施例中，在所述判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值之后，所述方法还包括：
若判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差大于或等于预设阈值，则认为所述指定新闻不是敏感新闻。
当指定敏感人名对应的第二新闻的发布时间远早于指定新闻的发布时间时，例如，某一个2016年被处罚的人名出现在2018年的官方新闻中，可以认为大概率是出现了重名，这种情况下，不需要做脱敏处理，可忽略该类新闻。
S4、对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理。
本实施例中，预先设置了各种句型的句子对应的脱敏处理方法。例如，若含有指定敏感人名的句子句型为“参会人员包括：……”，则可以将这类句子整体删除，也可以仅删除其中的指定敏感人名。
故而，当识别到含有指定敏感人名的句子的句型时，可根据对应的脱敏处理方法进行脱敏处理。
本实施例中，所述方法还包括：
E11、实时监控所述第一媒体是否发布新的第一新闻，当监控到所述第一媒体发布新的第一新闻时，将所述新的第一新闻存储至第三数据库；
E12、基于所述第二数据库中敏感人名对应的字典对所述第三数据库中的新闻执行敏感新闻识别处理及脱敏处理，并将处理后的新闻存储至所述第一数据库。
本实施例中，所述第三数据库为kafka，kafka中存储流式增量数据。敏感新闻识别处理及脱敏处理可参考上述步骤S3及S4。
在另一个实施例中，所述方法还包括：
F11、实时监控所述第二媒体是否发布新的第二新闻，当监控到所述第二媒体发布新的第二新闻时，抽取所述新的第二新闻中的新敏感人名，建立所述新敏感人名对应的字典并存储至第二数据库；
F12、基于所述新敏感人名对应的字典对所述第一数据库中的新闻执行敏感新闻识别处理及脱敏处理。
由上述实施例可知，本发明提出的新闻脱敏处理方法，首先，将第一媒体发布的第一新闻存储至第一数据库，抽取第二媒体发布的第二新闻中的敏感人名及其属性信息，建立敏感人名对应的字典并将字典存储至第二数据库；接着，将第一数据库中的每条新闻分别与第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将指定新闻作为敏感新闻；最后，对敏感新闻中含有指定敏感人名的句子执行句型识别，基于句型识别结果对敏感新闻执行脱敏处理，本发明通过程序实现新闻与敏感人名对应的字典匹配以识别并处理敏感新闻，保证了新闻脱敏处理效率及准确度。因此，本发明提高了新闻脱敏处理效率及准确度。
如图2所示，为本发明一实施例提供的新闻脱敏处理装置的模块示意图。
本发明所述新闻脱敏处理装置100可以安装于电子设备中。根据实现的功能，所述新闻脱敏处理装置100可以包括响应模块110、建立模块120、匹配模块130及脱敏模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
响应模块110，用于响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库。
建立模块120，用于获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库。
所述抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，包括步骤A21-A23：
A21、对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务；
A22、当判断所述第二新闻的正文中含有预设格式的句子时，对所述预设格式的句子执行实体识别，得到实体识别结果，基于所述实体识别结果获取所述敏感人名的属性信息；
A23、汇总所述敏感人名对应的地名、职务及属性信息得到所述敏感人名对应的字典。
所述对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务，包括步骤B21-B22：
B21、对所述第二新闻的标题执行人名实体识别，得到敏感人名；
B22、对所述第二新闻的标题中敏感人名前的文字执行职务及地名实体识别，得到敏感人名对应的地名及职务。
所述将所述字典存储至第二数据库，包括：
C21、将所述敏感人名及其职务的组合作为关键字key，将所述敏感人名对应的字典作为关键字值value，得到所述敏感人名对应的键值对key-value；
C22、当所述第二数据库中没有存储所述key对应的数据时，将所述键值对存储至第二数据库中。
在所述将所述敏感人名对应的字典作为value之后，所述建立模块120还用于：
若所述第二数据库中存储有所述key对应的数据，则仅将所述字典中与所述数据不同的部分存储至所述第二数据库。
匹配模块130，用于将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻。
所述当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻，包括步骤D21-D26：
D21、当判断某一指定新闻中含有某一指定敏感人名时，将所述指定新闻中含有所述指定敏感人名的句子的集合作为第一敏感句子集；
D22、对所述第一敏感句子集中的每个句子执行人名实体识别，从所述第一敏感句子集中抽取识别得到的人名与指定敏感人名一致的句子，得到第二敏感句子集；
D23、判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值；
D24、当判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差小于预设阈值时，对所述第二敏感句子集中的句子执行职务及地名实体识别，将所述敏感人名、识别得到的职务、地名及所述指定新闻的发布时间作为所述指定敏感人名对应的待匹配信息；
D25、抽取所述第二敏感句子集中所述待匹配信息与所述指定敏感人名对应的字典匹配成功的句子，得到第三敏感句子集；
D26、当所述第三敏感句子集中含有至少一个句子时，将所述指定新闻作为敏感新闻。
在所述判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值之后，所述匹配模块130还用于：
若判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差大于或等于预设阈值，则认为所述指定新闻不是敏感新闻。
脱敏模块140，用于对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理。
本实施例中，所述脱敏模块140还用于：
E21、实时监控所述第一媒体是否发布新的第一新闻，当监控到所述第一媒体发布新的第一新闻时，将所述新的第一新闻存储至第三数据库；
E22、基于所述第二数据库中敏感人名对应的字典对所述第三数据库中的新闻执行敏感新闻识别处理及脱敏处理，并将处理后的新闻存储至所述第一数据库。
在另一个实施例中，所述脱敏模块140还用于：
F21、实时监控所述第二媒体是否发布新的第二新闻，当监控到所述第二媒体发布新的第二新闻时，抽取所述新的第二新闻中的新敏感人名，建立所述新敏感人名对应的字典并存储至第二数据库；
F22、基于所述新敏感人名对应的字典对所述第一数据库中的新闻执行敏感新闻识别处理及脱敏处理。
如图3所示，为本发明一实施例提供的实现新闻脱敏处理方法的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有新闻脱敏处理程序10，所述新闻脱敏处理程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及新闻脱敏处理程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的新闻脱敏处理程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行新闻脱敏处理程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的新闻脱敏处理程序10是多个指令的组合，在所述处理器12中运行时，可以实现如上述新闻脱敏处理方法，具体地，所述处理器12对上述新闻脱敏处理程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有新闻脱敏处理程序10，所述新闻脱敏处理程序10可被一个或者多个处理器执行，以实现如上述新闻脱敏处理方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种新闻脱敏处理方法，其特征在于，所述方法包括：
响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库；
获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库；
将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻；
对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理；
其中，所述当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻，包括：当判断某一指定新闻中含有某一指定敏感人名时，将所述指定新闻中含有所述指定敏感人名的句子的集合作为第一敏感句子集；对所述第一敏感句子集中的每个句子执行人名实体识别，从所述第一敏感句子集中抽取识别得到的人名与指定敏感人名一致的句子，得到第二敏感句子集；判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值；当判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差小于预设阈值时，对所述第二敏感句子集中的句子执行职务及地名实体识别，将所述敏感人名、识别得到的职务、地名及所述指定新闻的发布时间作为所述指定敏感人名对应的待匹配信息；抽取所述第二敏感句子集中所述待匹配信息与所述指定敏感人名对应的字典匹配成功的句子，得到第三敏感句子集；当所述第三敏感句子集中含有至少一个句子时，将所述指定新闻作为敏感新闻。
2.如权利要求1所述的新闻脱敏处理方法，其特征在于，所述抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，包括：
对所述第二新闻的标题执行实体识别，得到敏感人名及其对应的地名及职务；
当判断所述第二新闻的正文中含有预设格式的句子时，对所述预设格式的句子执行实体识别，得到实体识别结果，基于所述实体识别结果获取所述敏感人名的属性信息；
汇总所述敏感人名对应的地名、职务及属性信息得到所述敏感人名对应的字典。
3.如权利要求1所述的新闻脱敏处理方法，其特征在于，所述将所述字典存储至第二数据库，包括：
将所述敏感人名及其职务的组合作为关键字key，将所述敏感人名对应的字典作为关键字值value，得到所述敏感人名对应的键值对key-value；
当所述第二数据库中没有存储所述key对应的数据时，将所述键值对存储至第二数据库中。
4.如权利要求1所述的新闻脱敏处理方法，其特征在于，在所述判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差是否小于预设阈值之后，所述方法还包括：
若判断所述指定敏感人名对应的第二新闻与所述指定新闻的发布时间差大于或等于预设阈值，则认为所述指定新闻不是敏感新闻。
5.如权利要求1所述的新闻脱敏处理方法，其特征在于，所述方法还包括：
实时监控所述第一媒体是否发布新的第一新闻，当监控到所述第一媒体发布新的第一新闻时，将所述新的第一新闻存储至第三数据库；
基于所述第二数据库中敏感人名对应的字典对所述第三数据库中的新闻执行敏感新闻识别处理及脱敏处理，并将处理后的新闻存储至所述第一数据库。
6.如权利要求1所述的新闻脱敏处理方法，其特征在于，所述方法还包括：
实时监控所述第二媒体是否发布新的第二新闻，当监控到所述第二媒体发布新的第二新闻时，抽取所述新的第二新闻中的新敏感人名，建立所述新敏感人名对应的字典并存储至第二数据库；
基于所述新敏感人名对应的字典对所述第一数据库中的新闻执行敏感新闻识别处理及脱敏处理。
7.一种新闻脱敏处理装置，用于实现如权利要求1至6任一项所述的新闻脱敏处理方法，其特征在于，所述装置包括：
响应模块，用于响应用户基于客户端发出的针对第一媒体的新闻脱敏处理请求，将所述第一媒体发布的第一新闻存储至第一数据库；
建立模块，用于获取第二媒体发布的第二新闻，抽取所述第二新闻中的敏感人名及其属性信息，基于所述敏感人名及其属性信息建立所述敏感人名对应的字典，并将所述字典存储至第二数据库；
匹配模块，用于将所述第一数据库中的每条新闻分别与所述第二数据库中各个敏感人名对应的字典匹配，当某一指定新闻与某一指定敏感人名对应的字典匹配成功时，将所述指定新闻作为敏感新闻；
脱敏模块，用于对所述敏感新闻中含有所述指定敏感人名的句子执行句型识别，基于句型识别结果对所述敏感新闻执行脱敏处理。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的新闻脱敏处理程序，所述新闻脱敏处理程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的新闻脱敏处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有新闻脱敏处理程序，所述新闻脱敏处理程序可被一个或者多个处理器执行，以实现如权利要求1至6任一项所述的新闻脱敏处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110730474.1A CN113360946B (zh) | 2021-06-29 | 2021-06-29 | 新闻脱敏处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110730474.1A CN113360946B (zh) | 2021-06-29 | 2021-06-29 | 新闻脱敏处理方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113360946A CN113360946A (zh) | 2021-09-07 |
| CN113360946B true CN113360946B (zh) | 2024-01-30 |
Family
ID=77537191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110730474.1A Active CN113360946B (zh) | 2021-06-29 | 2021-06-29 | 新闻脱敏处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360946B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417387B (zh) * | 2022-01-24 | 2023-09-22 | 中国电子科技集团公司第五十四研究所 | 基于语义内涵的消息加密方法 |
| CN115221884A (zh) * | 2022-09-15 | 2022-10-21 | 北京铀媒科技有限公司 | 特定人物检测方法、系统、存储介质及终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
| CN109388965A (zh) * | 2018-09-10 | 2019-02-26 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法及系统 |
| CN110727954A (zh) * | 2019-09-19 | 2020-01-24 | 平安科技（深圳）有限公司 | 数据授权脱敏自动化方法、装置及存储介质 |
| CN111159770A (zh) * | 2019-12-31 | 2020-05-15 | 医渡云（北京）技术有限公司 | 文本数据脱敏方法、装置、介质及电子设备 |
-
2021
- 2021-06-29 CN CN202110730474.1A patent/CN113360946B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017088683A1 (zh) * | 2015-11-24 | 2017-06-01 | 阿里巴巴集团控股有限公司 | 一种数据脱敏的方法及系统 |
| CN109388965A (zh) * | 2018-09-10 | 2019-02-26 | 全球能源互联网研究院有限公司 | 一种混合数据的脱敏方法及系统 |
| CN110727954A (zh) * | 2019-09-19 | 2020-01-24 | 平安科技（深圳）有限公司 | 数据授权脱敏自动化方法、装置及存储介质 |
| CN111159770A (zh) * | 2019-12-31 | 2020-05-15 | 医渡云（北京）技术有限公司 | 文本数据脱敏方法、装置、介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113360946A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932294B (zh) | 基于索引的简历数据处理方法、装置、设备及存储介质 | |
| WO2019227584A1 (zh) | 简历数据信息解析处理方法、装置、设备及存储介质 | |
| WO2019091026A1 (zh) | 知识库文档快速检索方法、应用服务器及计算机可读存储介质 | |
| WO2019174132A1 (zh) | 数据处理方法、服务器及计算机存储介质 | |
| US10095780B2 (en) | Automatically mining patterns for rule based data standardization systems | |
| CN113360946B (zh) | 新闻脱敏处理方法、装置、电子设备及可读存储介质 | |
| CN112016273A (zh) | 文档目录生成方法、装置、电子设备及可读存储介质 | |
| US9270749B2 (en) | Leveraging social media to assist in troubleshooting | |
| CN114595686B (zh) | 知识抽取方法、知识抽取模型的训练方法及装置 | |
| CN107330079B (zh) | 基于人工智能呈现辟谣信息的方法和装置 | |
| CN114861677B (zh) | 信息抽取方法、装置、电子设备以及存储介质 | |
| CN112000773A (zh) | 基于搜索引擎技术的数据关联关系挖掘方法及应用 | |
| CN111767334A (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
| CN110750627A (zh) | 一种素材的检索方法、装置、电子设备及存储介质 | |
| CN114625809A (zh) | 一种基于Binlog日志的数据同步方法、装置以及存储介质和电子设备 | |
| WO2019227705A1 (zh) | 图片录入方法、服务器及计算机存储介质 | |
| CN112328752B (zh) | 基于搜索内容的课程推荐方法、装置、计算机设备及介质 | |
| CN114139530A (zh) | 同义词提取方法、装置、电子设备及存储介质 | |
| CN113705692A (zh) | 基于人工智能的情感分类方法、装置、电子设备及介质 | |
| CN113064984A (zh) | 意图识别方法、装置、电子设备及可读存储介质 | |
| CN113204696A (zh) | 一种基于文本图谱的智能搜索引擎的检索方法 | |
| CN114742060B (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| CN117112809B (zh) | 一种知识追踪方法及系统 | |
| CN117077668A (zh) | 风险画像展示方法、装置、计算机设备和可读存储介质 | |
| CN115168577A (zh) | 模型更新方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |