CN116680419B - 一种多源数据映射关联细粒度不良信息检测方法 - Google Patents
一种多源数据映射关联细粒度不良信息检测方法 Download PDFInfo
- Publication number
- CN116680419B CN116680419B CN202310955604.0A CN202310955604A CN116680419B CN 116680419 B CN116680419 B CN 116680419B CN 202310955604 A CN202310955604 A CN 202310955604A CN 116680419 B CN116680419 B CN 116680419B
- Authority
- CN
- China
- Prior art keywords
- detected
- text
- triples
- historical
- triplet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013506 data mapping Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000007547 defect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Animal Behavior & Ethology (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及自然语言处理技术领域，提供一种多源数据映射关联细粒度不良信息检测方法，所述方法包括：获取待检测文本和历史浏览文本，待检测文本和历史浏览文本属于同一用户的浏览文本；对待检测文本进行实体关系抽取，得到待检测三元组；获取历史浏览文本中的不良信息所对应的历史三元组，并基于历史三元组与待检测三元组之间的关联度，从待检测三元组中确定出待检测文本中的不良信息所对应的三元组。本发明提供的一种多源数据映射关联细粒度不良信息检测方法，能够准确从待检测三元组中确定出待检测文本中的不良信息所对应的三元组，避免传统方法中分词演变绕过黑名单机制导致漏检的问题，进一步提高的不良信息的检测精度。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种多源数据映射关联细粒度不良信息检测方法。
背景技术
不良信息检测是指通过分析文本内容从而找出文中潜藏的敏感信息和不良信息。
目前。多通过黑名单机制来从待检测文本中查询匹配不良信息，然而中文文字可以通过形近字、音近字、繁体字、字母缩略字等形式演变，进而若待检测文本中的不良信息文本采用上述方式演变，则会绕过黑名单机制，进而造成漏检。
发明内容
本发明提供一种多源数据映射关联细粒度不良信息检测方法，用以解决现有技术中不良信息检测精度较低的缺陷。
本发明提供一种多源数据映射关联细粒度不良信息检测方法，包括：
获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；
对所述待检测文本进行实体关系抽取，得到待检测三元组；
获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述历史三元组与所述待检测三元组之间的关联度的确定步骤包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度；
基于所述历史三元组的重要度，所述历史三元组的语义特征以及所述待检测三元组的语义特征，确定所述历史三元组与所述待检测三元组之间的关联度。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述浏览记录包括浏览时刻和浏览次数；
所述基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度，包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览时刻，确定所述历史三元组的第一权重系数；
基于所述历史三元组在所述历史浏览文本中对应的浏览次数，确定所述历史三元组的第二权重系数；
基于所述第一权重系数，以及所述第二权重系数，确定所述历史三元组的重要度。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述基于所述历史三元组的重要度，所述历史三元组的语义特征以及所述待检测三元组的语义特征，确定所述历史三元组与所述待检测三元组之间的关联度，包括：
基于所述历史三元组的重要度，以及所述历史三元组的语义特征，确定所述历史三元组的加权特征；
对所述待检测三元组的语义特征与所述历史三元组的加权特征进行注意力计算，得到所述历史三元组与所述待检测三元组之间的关联度。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述对所述待检测文本进行实体关系抽取，得到待检测三元组，包括：
对所述待检测文本进行实体识别，得到多个待检测实体；
将属于同一类别的待检测实体划分为一组，得到多个待检测实体组；
基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组；
在相关联的待检测实体组间进行实体关系抽取，得到所述待检测三元组。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述对所述待检测文本进行实体识别，得到多个待检测实体，包括：
在多个预设实体类别下，分别对所述待检测文本进行实体识别，得到各预设实体类别对应的待检测实体。
根据本发明提供的一种多源数据映射关联细粒度不良信息检测方法，所述历史浏览文本是预设时段内对应的浏览文本。
本发明还提供一种多源数据映射关联细粒度不良信息检测装置，包括：
获取单元，用于获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；
抽取单元，用于对所述待检测文本进行实体关系抽取，得到待检测三元组；
检测单元，用于获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述多源数据映射关联细粒度不良信息检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多源数据映射关联细粒度不良信息检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多源数据映射关联细粒度不良信息检测方法。
本发明提供的一种多源数据映射关联细粒度不良信息检测方法，由于历史三元组是不良信息对应的三元组，从而基于历史三元组与待检测三元组之间的关联度，能够准确从待检测三元组中确定出待检测文本中的不良信息所对应的三元组，避免传统方法中分词演变绕过黑名单机制导致漏检的问题，进一步提高的不良信息的检测精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多源数据映射关联细粒度不良信息检测方法的流程示意图；
图2是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法的流程示意图；
图3是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法中步骤210的实施方式的流程示意图；
图4是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法中步骤220的实施方式的流程示意图；
图5是本发明提供的多源数据映射关联细粒度不良信息检测方法中步骤120的实施方式的流程示意图；
图6是本发明提供的待检测三元组确定方法的流程示意图；
图7是本发明提供的待检测三元组确定方法的流程示意图；
图8是本发明提供的又一多源数据映射关联细粒度不良信息检测方法的流程示意图；
图9是本发明提供的历史三元组确定方法的流程示意图；
图10是本发明提供的多源数据映射关联细粒度不良信息检测装置的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前。多通过黑名单机制来从待检测文本中查询匹配不良信息，然而中文文字可以通过形近字、音近字、繁体字、字母缩略字等形式演变，进而若待检测文本中的不良信息文本采用上述方式演变，则会绕过黑名单机制，进而造成漏检。若增加黑名单的覆盖范围，则会造成黑名单臃肿，进而导致检测效率较低的问题。
例如，在中文语境中，分词经过演变之后可以有多种表达方式，以“深度学习”为例，其可以通过繁体字演变为“深度學習”，通过同音字演变为“深度学西”，通过形近字演变为“深庆学习”，通过英文演变为“deep learning”，通过拼音演变为“shen du xue xi”，通过首字母演变为“DP”。由此可见，上述演变后的表达方式，并不会影响用户理解“深度学习”的语义信息，但却可以绕过黑名单机制，造成漏检。
对此，本发明提供一种多源数据映射关联细粒度不良信息检测方法。图1是本发明提供的多源数据映射关联细粒度不良信息检测方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、获取待检测文本和历史浏览文本，待检测文本和历史浏览文本属于同一用户的浏览文本。
此处，待检测文本即需要进行不良信息检测的文本。待检测文本可以是电子文本，也可以是对纸质文本进行光学字符是被OCR得到的文本，还可以是对音频数据进行转写得到的文本，本发明实施例对此不作具体限定。
此外，历史浏览文本是指包含有不良信息的历史文本，如历史浏览文本可以是用户历史浏览的包含不良信息的网页文本。其中，待检测文本和历史浏览文本是属于同一用户的浏览文本。
步骤120、对待检测文本进行实体关系抽取，得到待检测三元组。
具体地，对待检测文本进行实体关系抽取是指从待检测文本中识别实体并抽取实体之间的语义关系，并以识别得到的实体以及实体之间的语义关系构建得到待检测三元组。
可以理解的是，由于待检测文本是需要进行不良信息检测的文本，从而待检测文本中可能存在不良信息，也可能不存在不良信息，即得到的待检测三元组中可能存在不良信息对应的三元组，也可能不存在不良信息对应的三元组。
其中，在对待检测文本进行实体关系抽取时，可以先对待检测文本进行实体识别得到多个待检测实体，然后采用分类模型确定各待检测实体之间的实体关系；也可以同时抽取待检测文本中的待检测实体以及待检测实体之间的关系，本发明实施例对此不作具体限定。
步骤130、获取历史浏览文本中的不良信息所对应的历史三元组，并基于历史三元组与待检测三元组之间的关联度，从待检测三元组中确定出待检测文本中的不良信息所对应的三元组。
具体地，历史三元组可以理解为历史浏览文本中不良信息对应的三元组。在一些具体实施方式中，可以对历史浏览文本进行实体关系抽取，得到候选历史三元组，将候选历史三元组与存储有多个不良信息对应三元组的知识库进行匹配，从候选历史三元组中筛选得到不良信息所对应的历史三元组。在一些具体实施方式中，可以根据历史浏览文本中的不良信息标签，从历史浏览文本中确定不良信息对应的历史三元组。
此外，历史三元组与待检测三元组之间的关联度用于表征历史三元组与待检测三元组之间的相似程度，关联度越高，表明历史三元组与待检测三元组之间的相似程度越高，进而待检测三元组包含历史三元组中不良信息的概率也越大。
可选地，在任一待检测三元组与历史三元组之间的关联度大于阈值的情况下，确定对应待检测三元组为不良信息所对应的三元组。
在一些具体时实施方式中，在基于历史三元组与待检测三元组之间的关联度，从待检测三元组中确定出待检测文本中的不良信息所对应的三元组之前，分别对待检测三元组和历史三元组进行实体链接，从而可以将待检测文本以及历史浏览文本中的实体与其知识库中相应的实体链接起来，避免实体间存在的歧义影响历史三元组与待检测三元组之间关联度的确定精度的问题。
由此可见，本发明实施例提供的多源数据映射关联细粒度不良信息检测方法，由于历史三元组是不良信息对应的三元组，从而基于历史三元组与待检测三元组之间的关联度，能够准确从待检测三元组中确定出待检测文本中的不良信息所对应的三元组，避免传统方法中分词演变绕过黑名单机制导致漏检的问题，进一步提高的不良信息的检测精度。
基于上述实施例，图2是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法的流程示意图，如图2所示，历史三元组与待检测三元组之间的关联度的确定步骤包括：
步骤210、基于历史三元组在历史浏览文本中对应的浏览记录，确定历史三元组的重要度；
步骤220、基于历史三元组的重要度，历史三元组的语义特征以及待检测三元组的语义特征，确定历史三元组与待检测三元组之间的关联度。
具体地，浏览记录可以理解为用户在浏览网站时的记录，其可以包括浏览网址、浏览时刻、停留时长、浏览次数等。历史三元组的重要度用于表征用户对历史三元组对应不良信息的兴趣程度，重要度越高，用户对历史三元组对应不良信息的兴趣程度越高，进而用户再次浏览该不良信息的概率越大，即待检测文本中存在与历史三元组相同不良信息的概率越大。
历史三元组的语义特征用于表征历史三元组的语义信息，待检测三元组的语义特征用于表征待检测三元组的语义信息，基于历史三元组的语义特征以及待检测三元组的语义特征，可以确定历史三元组与待检测三元组之间的语义相似度。语义相似度越大，重要度越高，表明历史三元组与待检测三元组之间的关联度越高。
基于上述任一实施例，浏览记录包括浏览时刻和浏览次数；
图3是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法中步骤210的实施方式的流程示意图，如图3所示，步骤210包括：
步骤211、基于历史三元组在历史浏览文本中对应的浏览时刻，确定历史三元组的第一权重系数；
步骤212、基于历史三元组在历史浏览文本中对应的浏览次数，确定历史三元组的第二权重系数；
步骤213、基于第一权重系数，以及第二权重系数，确定历史三元组的重要度。
具体地，浏览时刻与待检测文本对应的当前时刻越近，表明用户再次浏览历史浏览文本的概率越高，即待检测文本中包含历史浏览文本中的不良信息的概率越高，第一权重系数越大。
浏览次数越多，表明用户对历史浏览文本中不良信息的兴趣程度越高，进而用户再次浏览历史浏览文本的概率越高，即待检测文本中包含历史浏览文本中的不良信息的概率越高，第二权重系数越大。
在此基础上，基于第一权重系数以及第二权重系数确定历史三元组的重要度。可选地，可以基于第一权重系数与第二权重系数之积确定历史三元组的重要度，也可以基于第一权重系数与第二权重系数之和确定历史三元组的重要度。
基于上述任一实施例，图4是本发明提供的历史三元组与待检测三元组之间的关联度的确定方法中步骤220的实施方式的流程示意图，如图4所示，步骤220包括：
步骤221、基于历史三元组的重要度，以及历史三元组的语义特征，确定历史三元组的加权特征；
步骤222、对待检测三元组的语义特征与历史三元组的加权特征进行注意力计算，得到历史三元组与待检测三元组之间的关联度。
在一些具体实施方式中，可以基于历史三元组的重要度，对历史三元组的语义特征进行加权，得到历史三元组的加权特征。其中，加权特征可以用于表征历史三元组中不良信息在待检测文本中出现的概率。
对待检测三元组的语义特征与历史三元组的加权特征进行注意力计算，可以确定历史三元组与待检测三元组之间的关联度，关联度越高，待检测三元组与历史三元组之间的相似程度越高，进而待检测三元组包含历史三元组中不良信息的概率也越大。
基于上述任一实施例，图5是本发明提供的多源数据映射关联细粒度不良信息检测方法中步骤120的实施方式的流程示意图，如图5所示，步骤120包括：
步骤121、对待检测文本进行实体识别，得到多个待检测实体；
步骤122、将属于同一类别的待检测实体划分为一组，得到多个待检测实体组；
步骤123、基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组；
步骤124、在相关联的待检测实体组间进行实体关系抽取，得到待检测三元组。
具体地，理想状况下进行实体关系抽取时，待检测文本中头实体（subject）和尾实体（object）对应一种关系，然而实际上待检测文本中subject和object对应多种关系，出现关系三元组(subject, relation, object)重叠的现象，此时若没有足够的训练示例，分类器较难辨别每个实体对应哪种实体关系，从而抽取得到的三元组通常是不完整且不准确的。
例如，对于待检测文本“小明是一名歌手，演唱过A歌”，三元组（小明，是，歌手）和三元组（小明，演唱，A歌）中均有“小明”，而传统方法中进行实体关系抽取时会针对每两个实体进行实体关系预测，如传统方法中会额外针对“歌手-A歌”这一不存在实体关系的实体对进行实体关系预测，从而导致浪费大量时间。
对此，本发明实施例对待检测文本进行实体识别，得到多个待检测实体，并将属于同一类别的待检测实体划分为一组，得到多个待检测实体组，从而可以基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组，并在相关联的待检测实体组间进行实体关系抽取，得到待检测三元组。其中，相关联的待检测实体组可以理解为组间的实体之间存在实体关系的两个待检测实体组，例如，待检测实体组1和待检测实体组2为相关联的待检测实体组，则待检测实体组1内的实体与待检测实体组2内的实体存在实体关系。
图6是本发明提供的待检测三元组确定方法的流程示意图，如图6所示，人物组织关系抽取中人物的教育经历、工作经历、家庭信息与组织中责任辖区、组成机构等标签不是通用标签，不存在交叉重叠现象，而人物和组织中均存在英文名和别名等标签，即人物和组织存在交叉重叠现象，因此本发明实施例将人物对应的待检测实体组和组织对应的待检测实体组作为相关联的待检测实体组，即两个待检测实体组中的实体标签权重均设定为1，其余实体标签设置为0。在此基础上，对权重为1的实体标签判别实体之间的实体关系，对权重为0的实体标签则不进行实体关系判别。
由此可见，本发明实施例针对联合抽取时间复杂度较高问题，基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组，在相关联的待检测实体组间进行实体关系抽取，得到待检测三元组，大幅度减少头实体与尾实体判别次数，降低抽取复杂度，同时在相关联的待检测实体组间进行实体关系抽取，也较大程度提高了实体关系抽取的准确率，进而能够准确得到待检测三元组。
基于上述任一实施例，对待检测文本进行实体识别，得到多个待检测实体，包括：
在多个预设实体类别下，分别对待检测文本进行实体识别，得到各预设实体类别对应的待检测实体。
具体地，待检测文本中可能存在嵌套实体，若采用传统的实体识别方法，则可能无法准确识别出待检测文本中不同类别的所有实体，即容易漏抽嵌套实体，丢失关键信息。例如，待检测文本为“老舍文集”，其中“老舍文集”对应的实体类别是作品，“老舍”对应的实体类别是人名。对此，本发明实施例在多个预设实体类别下，分别对待检测文本进行实体识别，得到各预设实体类别对应的待检测实体。
图7是本发明提供的待检测三元组确定方法的流程示意图，如图7所示，针对待检测文本“小明1983年出生于上海”，预设实体类别包括人物(Per)、时间(Time)和地点(Place)，进而在各预设实体类别下，分别采用对应的CRF层进行实体识别，即采用Per-crf进行人物类别的实体识别，采用Time-crf进行时间类别的实体识别，以及采用Place -crf进行地点类别的实体识别，进而得到各预设实体类别下的待检测实体。
由此可见，本发明实施例针对实体重叠现象，在各预设实体类别下抽取实体，能够避免漏抽嵌套实体，丢失关键信息的问题，较大程度提高了待检测实体识别的准确率。
基于上述任一实施例，历史浏览文本是预设时段内对应的浏览文本。
具体地，历史浏览文本对应的浏览时刻与待检测文本对应的浏览时刻越接近，表明用户再次浏览历史浏览文本中不良信息的概率越大，进而可以将预设时段设置为距离待检测文本对应浏览时刻较近的时段，从而能够准确对待检测文本进行不良信息检测，提高不良信息检测结果的精度。
基于上述任一实施例，图8是本发明提供的又一多源数据映射关联细粒度不良信息检测方法的流程示意图，如图8所示，该方法包括：
首先，获取待检测文本和历史浏览文本，其中，待检测文本和历史浏览文本属于同一用户的浏览文本。
接着，在多个预设实体类别下，分别对待检测文本进行实体识别，得到各预设实体类别对应的待检测实体，并将属于同一类别的待检测实体划分为一组，得到多个待检测实体组。基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组，并在相关联的待检测实体组间进行实体关系抽取，得到待检测三元组。对待检测三元组进行实体链接，以将待检测三元组映射为先验知识库中的表达方式。
对历史浏览文本进行关键信息关联分析，获取历史浏览文本中的不良信息所对应的历史三元组。其中，图9是本发明提供的历史三元组确定方法的流程示意图，如图9所示，采用k跳子图进行细粒度关键信息关联分析，以识别历史浏览文本中的不良信息，并抽取不良信息对应的历史三元组。对历史三元组进行实体链接，以将历史三元组映射为先验知识库中的表达方式。
在确定历史三元组后，基于历史三元组在历史浏览文本中对应的浏览记录，确定历史三元组的重要度，基于历史三元组的重要度，历史三元组的语义特征以及待检测三元组的语义特征，确定历史三元组与待检测三元组之间的关联度。
最后，基于历史三元组与待检测三元组之间的关联度从待检测三元组中确定出待检测文本中的不良信息所对应的三元组。
下面对本发明提供的多源数据映射关联细粒度不良信息检测装置进行描述，下文描述的多源数据映射关联细粒度不良信息检测装置与上文描述的多源数据映射关联细粒度不良信息检测方法可相互对应参照。
基于上述任一实施例，图10是本发明提供的多源数据映射关联细粒度不良信息检测装置的结构示意图，如图10所示，该装置包括：
获取单元1010，用于获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；
抽取单元1020，用于对所述待检测文本进行实体关系抽取，得到待检测三元组；
检测单元1030，用于获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
图11是本发明提供的电子设备的结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、存储器(memory)1120、通信接口(Communications Interface)1130和通信总线1140，其中，处理器1110，存储器1120，通信接口1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1120中的逻辑指令，以执行多源数据映射关联细粒度不良信息检测方法，该方法包括：获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；对所述待检测文本进行实体关系抽取，得到待检测三元组；获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
此外，上述的存储器1120中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的多源数据映射关联细粒度不良信息检测方法，该方法包括：获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；对所述待检测文本进行实体关系抽取，得到待检测三元组；获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的多源数据映射关联细粒度不良信息检测方法，该方法包括：获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；对所述待检测文本进行实体关系抽取，得到待检测三元组；获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种多源数据映射关联细粒度不良信息检测方法，其特征在于，包括：
获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；
对所述待检测文本进行实体关系抽取，得到待检测三元组；
获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组；
所述历史三元组与所述待检测三元组之间的关联度的确定步骤包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度；
基于所述历史三元组的重要度，所述历史三元组的语义特征以及所述待检测三元组的语义特征，确定所述历史三元组与所述待检测三元组之间的关联度；
所述浏览记录包括浏览时刻和浏览次数；
所述基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度，包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览时刻，确定所述历史三元组的第一权重系数；
基于所述历史三元组在所述历史浏览文本中对应的浏览次数，确定所述历史三元组的第二权重系数；
基于所述第一权重系数，以及所述第二权重系数，确定所述历史三元组的重要度。
2.根据权利要求1所述的多源数据映射关联细粒度不良信息检测方法，其特征在于，所述基于所述历史三元组的重要度，所述历史三元组的语义特征以及所述待检测三元组的语义特征，确定所述历史三元组与所述待检测三元组之间的关联度，包括：
基于所述历史三元组的重要度，以及所述历史三元组的语义特征，确定所述历史三元组的加权特征；
对所述待检测三元组的语义特征与所述历史三元组的加权特征进行注意力计算，得到所述历史三元组与所述待检测三元组之间的关联度。
3.根据权利要求1至2任一项所述的多源数据映射关联细粒度不良信息检测方法，其特征在于，所述对所述待检测文本进行实体关系抽取，得到待检测三元组，包括：
对所述待检测文本进行实体识别，得到多个待检测实体；
将属于同一类别的待检测实体划分为一组，得到多个待检测实体组；
基于各待检测实体组中实体类别，从各待检测实体组中确定相关联的待检测实体组；
在相关联的待检测实体组间进行实体关系抽取，得到所述待检测三元组。
4.根据权利要求3所述的多源数据映射关联细粒度不良信息检测方法，其特征在于，所述对所述待检测文本进行实体识别，得到多个待检测实体，包括：
在多个预设实体类别下，分别对所述待检测文本进行实体识别，得到各预设实体类别对应的待检测实体。
5.根据权利要求1至2任一项所述的多源数据映射关联细粒度不良信息检测方法，其特征在于，所述历史浏览文本是预设时段内对应的浏览文本。
6.一种多源数据映射关联细粒度不良信息检测装置，其特征在于，包括：
获取单元，用于获取待检测文本和历史浏览文本，所述待检测文本和历史浏览文本属于同一用户的浏览文本；
抽取单元，用于对所述待检测文本进行实体关系抽取，得到待检测三元组；
检测单元，用于获取所述历史浏览文本中的不良信息所对应的历史三元组，并基于所述历史三元组与所述待检测三元组之间的关联度，从所述待检测三元组中确定出所述待检测文本中的不良信息所对应的三元组；
所述历史三元组与所述待检测三元组之间的关联度的确定步骤包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度；
基于所述历史三元组的重要度，所述历史三元组的语义特征以及所述待检测三元组的语义特征，确定所述历史三元组与所述待检测三元组之间的关联度；
所述浏览记录包括浏览时刻和浏览次数；
所述基于所述历史三元组在所述历史浏览文本中对应的浏览记录，确定所述历史三元组的重要度，包括：
基于所述历史三元组在所述历史浏览文本中对应的浏览时刻，确定所述历史三元组的第一权重系数；
基于所述历史三元组在所述历史浏览文本中对应的浏览次数，确定所述历史三元组的第二权重系数；
基于所述第一权重系数，以及所述第二权重系数，确定所述历史三元组的重要度。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述多源数据映射关联细粒度不良信息检测方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述多源数据映射关联细粒度不良信息检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955604.0A CN116680419B (zh) | 2023-08-01 | 2023-08-01 | 一种多源数据映射关联细粒度不良信息检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310955604.0A CN116680419B (zh) | 2023-08-01 | 2023-08-01 | 一种多源数据映射关联细粒度不良信息检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116680419A CN116680419A (zh) | 2023-09-01 |
| CN116680419B true CN116680419B (zh) | 2023-12-26 |
Family
ID=87791314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310955604.0A Active CN116680419B (zh) | 2023-08-01 | 2023-08-01 | 一种多源数据映射关联细粒度不良信息检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116680419B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131352A (zh) * | 2020-10-10 | 2020-12-25 | 南京工业大学 | 一种网页文本类不良信息的检测方法与检测系统 |
| CN115048929A (zh) * | 2022-06-29 | 2022-09-13 | 中国银行股份有限公司 | 敏感文本监测方法及装置 |
| CN115510500A (zh) * | 2022-11-18 | 2022-12-23 | 北京国科众安科技有限公司 | 一种文本内容的敏感分析方法及系统 |
| CN115544204A (zh) * | 2022-07-29 | 2022-12-30 | 浙江工商大学 | 一种不良语料过滤方法以及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210117784A1 (en) * | 2019-10-16 | 2021-04-22 | Manyworlds, Inc. | Auto-learning Semantic Method and System |
-
2023
- 2023-08-01 CN CN202310955604.0A patent/CN116680419B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131352A (zh) * | 2020-10-10 | 2020-12-25 | 南京工业大学 | 一种网页文本类不良信息的检测方法与检测系统 |
| CN115048929A (zh) * | 2022-06-29 | 2022-09-13 | 中国银行股份有限公司 | 敏感文本监测方法及装置 |
| CN115544204A (zh) * | 2022-07-29 | 2022-12-30 | 浙江工商大学 | 一种不良语料过滤方法以及系统 |
| CN115510500A (zh) * | 2022-11-18 | 2022-12-23 | 北京国科众安科技有限公司 | 一种文本内容的敏感分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116680419A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105931644B (zh) | 一种语音识别方法及移动终端 | |
| CN110298039B (zh) | 事件地的识别方法、系统、设备及计算机可读存储介质 | |
| CN111967261B (zh) | 癌症分期信息处理方法、装置及存储介质 | |
| CN110825998A (zh) | 一种网站识别方法及可读存储介质 | |
| CN104156373B (zh) | 编码格式检测方法及装置 | |
| CN107423285B (zh) | 一种基于文本规则的公司简称识别方法及系统 | |
| CN111797356A (zh) | 网页表格信息抽取方法及装置 | |
| CN113626573A (zh) | 一种销售会话异议及应对提取方法及系统 | |
| CN116127001A (zh) | 敏感词检测方法、装置、计算机设备及存储介质 | |
| WO2023038722A1 (en) | Entry detection and recognition for custom forms | |
| CN110737770B (zh) | 文本数据敏感性识别方法、装置、电子设备及存储介质 | |
| JP7040155B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN115062621A (zh) | 标签提取方法、装置、电子设备和存储介质 | |
| CN112699671B (zh) | 一种语言标注方法、装置、计算机设备和存储介质 | |
| CN113761137B (zh) | 一种提取地址信息的方法及装置 | |
| CN113836316A (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
| CN116680419B (zh) | 一种多源数据映射关联细粒度不良信息检测方法 | |
| CN111708870A (zh) | 基于深度神经网络的问答方法、装置及存储介质 | |
| CN111291535A (zh) | 剧本处理方法、装置、电子设备及计算机可读存储介质 | |
| CN114579796B (zh) | 机器阅读理解方法及装置 | |
| CN114691907B (zh) | 一种跨模态检索的方法、设备及介质 | |
| CN113240322B (zh) | 气候风险披露质量方法、装置、电子设备及存储介质 | |
| CN113255319B (zh) | 模型训练方法、文本分段方法、摘要抽取方法及装置 | |
| CN113051923B (zh) | 数据验证方法、装置、计算机设备和存储介质 | |
| CN114020904A (zh) | 试题文件筛选方法、模型训练方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |