CN109831751A - 一种基于自然语言处理的短信内容风控系统及方法 - Google Patents
一种基于自然语言处理的短信内容风控系统及方法 Download PDFInfo
- Publication number
- CN109831751A CN109831751A CN201910009584.1A CN201910009584A CN109831751A CN 109831751 A CN109831751 A CN 109831751A CN 201910009584 A CN201910009584 A CN 201910009584A CN 109831751 A CN109831751 A CN 109831751A
- Authority
- CN
- China
- Prior art keywords
- short message
- sent
- sensitive
- message content
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于自然语言处理的短信内容风控系统及方法，包括步骤一，数据提取；步骤二，语义分析；步骤三，模型审核；步骤四，人工审核；其中上述步骤一中，通过PySpark分布式计算技术对历史数据进行提取，并将提取的短信送入到语义模型中；其中上述步骤二中，通入语义模型后，通过Hanlp对数据进行分词和实体识别，去除人名、地名、停用词、时间、货币等非关键词汇，再通过K‑Means聚类算法对无标签数据进行标签化，然后将标签化的短信发送至审核敏感词模型，本发明，利用最新的NLP技术建模，通过语义模型进行敏感词判断，从而高效和准确的判断短信内容的风险系数，解决了现有技术中高延迟高耦合的问题。
Description
技术领域
本发明涉及短信内容监控领域，具体为一种基于自然语言处理的短信内容风控系统及方法。
背景技术
所谓敏感信息是指不当使用或未经授权被人接触或修改会不利于国家利益或联邦政府计划的实行或不利于个人依法享有的个人隐私权的所有信息。随着手机行业的日益发展，敏感短信的问题越发严重。反敏感短信的技术也在不断的进步。现有的技术是基于已有的敏感词库，通过正则表达式的技术进行短信内容匹配，若匹配到短信内容中有部分词汇在敏感词表中，则判定敏感短信，从而进行拦截。但是现有的技术存在高延迟和高耦合的缺点。高延迟是指在敏感词库增加到一定量的时候，正则匹配的速度会下降，对性能造成一定的影响，从而影响短信发送的时效性。而高耦合是指判断的逻辑在项目内部，不利于扩展和后期开放到其他行业。因此，设计一种高效、准确的基于自然语言处理的短信内容风控系统及方法是很有必要的。
发明内容
本发明的目的在于提供一种基于自然语言处理的短信内容风控系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：包括步骤一，数据提取；步骤二，语义分析；步骤三，模型审核；步骤四，人工审核；
其中上述步骤一中，通过PySpark分布式计算技术对历史数据进行提取，并将提取的短信送入到语义模型中；
其中上述步骤二中，通入语义模型后，通过Hanlp对数据进行分词和实体识别，去除人名、地名、停用词、时间、货币等非关键词汇，再通过K-Means聚类算法对无标签数据进行标签化，然后将标签化的短信发送至审核敏感词模型；
其中上述步骤三中，审核敏感词模型接收到短信后，将短信内容与计算机中的敏感词库进行对比，若短信内容中未出现与计算机敏感词库相同的内容，该短信直接发送待发送库进行发送，若短信内容中出现与计算机敏感词库相同的内容，该短信将被发送至审核库进行人工审核；
其中上述步骤四中，人工将审核库中的短信提取出来，并进行人工审核，若审核库中的短信包含敏感词汇，人工将手动把敏感词汇输入到待学习词库中，若审核库中的短信不包含敏感词汇，将直接发送至待发送库进行发送；
根据上述技术方案，所述步骤二中，语义模型是通过NLP技术建设。
根据上述技术方案，所述步骤三中，在对比过程中，既要查看短线是否含有敏感词汇，还要计算短信中的敏感字是否超过敏感词库中设定的阀值。
根据上述技术方案，其特征在于：所述步骤四中，计算机将对含有敏感词汇短信的主叫号码进行标记。
根据上述技术方案，所述步骤四中，计算机将待学习词库中的敏感词汇保存至语义模型中，纠正模型参数。
与现有技术相比，本发明所达到的有益效果是：本发明中的NLP风控系统，通过与现有系统结合，实现全过程风险控制,本发明中的语义模型，通过对传入的短信内容进行语义分析，若判定为敏感信息，则入人工审核库，否则发送，在人工审核后会出现两种结果，既含有敏感词和不含有敏感词,对于不含有敏感词的部分，就是语义模型判断错误的地方，将这些数据进行模型在学习，纠正模型参数，以达到更好的效果,从而高效和准确的判断短信内容的风险系数，解决了现有技术中高延迟高耦合的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的使用方法流程图；
图2是本发明的系统流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：包括步骤一，数据提取；步骤二，语义分析；步骤三，模型审核；步骤四，人工审核；
其中上述步骤一中，通过PySpark分布式计算技术对历史数据进行提取，并将提取的短信送入到语义模型中；
其中上述步骤二中，通入语义模型后，通过Hanlp对数据进行分词和实体识别，去除人名、地名、停用词、时间、货币等非关键词汇，再通过K-Means聚类算法对无标签数据进行标签化，然后将标签化的短信发送至审核敏感词模型；
其中上述步骤三中，审核敏感词模型接收到短信后，将短信内容与计算机中的敏感词库进行对比，若短信内容中未出现与计算机敏感词库相同的内容，该短信直接发送待发送库进行发送，若短信内容中出现与计算机敏感词库相同的内容，该短信将被发送至审核库进行人工审核；
其中上述步骤四中，人工将审核库中的短信提取出来，并进行人工审核，若审核库中的短信包含敏感词汇，人工将手动把敏感词汇输入到待学习词库中，若审核库中的短信不包含敏感词汇，将直接发送至待发送库进行发送；
根据上述技术方案，在步骤二中，语义模型是通过NLP技术建设。
根据上述技术方案，在步骤三中，在对比过程中，既要查看短线是否含有敏感词汇，还要计算短信中的敏感字是否超过敏感词库中设定的阀值。
根据上述技术方案，在步骤四中，计算机将对含有敏感词汇短信的主叫号码进行标记。
根据上述技术方案，在步骤四中，计算机将待学习词库中的敏感词汇保存至语义模型中，纠正模型参数。
基于上述，本发明的优点在于，本发明中的NLP风控系统，通过与现有系统结合，实现全过程风险控制,本发明中的语义模型，通过对传入的短信内容进行语义分析，若判定为敏感信息，则入人工审核库，否则发送，在人工审核后会出现两种结果，既含有敏感词和不含有敏感词,对于不含有敏感词的部分，就是语义模型判断错误的地方，将这些数据进行模型在学习，纠正模型参数，以达到更好的效果,从而高效和准确的判断短信内容的风险系数，解决了现有技术中高延迟高耦合的问题。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于自然语言处理的短信内容风控系统及方法，包括步骤一，数据提取；步骤二，语义分析；步骤三，模型审核；步骤四，人工审核；其特征在于；
其中上述步骤一中，通过PySpark分布式计算技术对历史数据进行提取，并将提取的短信送入到语义模型中；
其中上述步骤二中，通入语义模型后，通过Hanlp对数据进行分词和实体识别，去除人名、地名、停用词、时间、货币等非关键词汇，再通过K-Means聚类算法对无标签数据进行标签化，然后将标签化的短信发送至审核敏感词模型；
其中上述步骤三中，审核敏感词模型接收到短信后，将短信内容与计算机中的敏感词库进行对比，若短信内容中未出现与计算机敏感词库相同的内容，该短信直接发送待发送库进行发送，若短信内容中出现与计算机敏感词库相同的内容，该短信将被发送至审核库进行人工审核；
其中上述步骤四中，人工将审核库中的短信提取出来，并进行人工审核，若审核库中的短信包含敏感词汇，人工将手动把敏感词汇输入到待学习词库中，若审核库中的短信不包含敏感词汇，将直接发送至待发送库进行发送。
2.根据权利要求1所述的一种基于自然语言处理的短信内容风控系统及方法，其特征在于：所述步骤二中，语义模型是通过NLP技术建设。
3.根据权利要求1所述的一种基于自然语言处理的短信内容风控系统及方法，其特征在于：所述步骤三中，在对比过程中，既要查看短线是否含有敏感词汇，还要计算短信中的敏感字是否超过敏感词库中设定的阀值。
4.根据权利要求1所述的一种基于自然语言处理的短信内容风控系统及方法，其特征在于：所述步骤四中，计算机将对含有敏感词汇短信的主叫号码进行标记。
5.根据权利要求1所述的一种基于自然语言处理的短信内容风控系统及方法，其特征在于：所述步骤四中，计算机将待学习词库中的敏感词汇保存至语义模型中，纠正模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910009584.1A CN109831751A (zh) | 2019-01-04 | 2019-01-04 | 一种基于自然语言处理的短信内容风控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910009584.1A CN109831751A (zh) | 2019-01-04 | 2019-01-04 | 一种基于自然语言处理的短信内容风控系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109831751A true CN109831751A (zh) | 2019-05-31 |
Family
ID=66860042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910009584.1A Pending CN109831751A (zh) | 2019-01-04 | 2019-01-04 | 一种基于自然语言处理的短信内容风控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109831751A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275958A (zh) * | 2019-06-26 | 2019-09-24 | 北京市博汇科技股份有限公司 | 网站信息识别方法、装置和电子设备 |
| CN110688831A (zh) * | 2019-10-08 | 2020-01-14 | 上海创蓝文化传播有限公司 | 短信文本模版的识别方法 |
| CN111401075A (zh) * | 2020-04-07 | 2020-07-10 | 上海创蓝文化传播有限公司 | 一种智能短信审核的方法 |
| CN111628859A (zh) * | 2020-06-05 | 2020-09-04 | 上海创蓝文化传播有限公司 | 一种基于分布式高并发条件下审核短信文本的方法及装置 |
| CN111898060A (zh) * | 2020-07-14 | 2020-11-06 | 大汉软件股份有限公司 | 一种基于深度学习的内容自动化监控方法 |
| CN112383887A (zh) * | 2020-11-02 | 2021-02-19 | 安徽泡泡云信息技术服务有限公司 | 一种基于人工智能的短信推送系统 |
| CN112686055A (zh) * | 2021-03-16 | 2021-04-20 | 北京轻松筹信息技术有限公司 | 语义识别方法、装置、电子设备和存储介质 |
| CN113205130A (zh) * | 2021-04-28 | 2021-08-03 | 五八有限公司 | 一种数据审核方法、装置、电子设备及存储介质 |
| CN113704414A (zh) * | 2021-09-02 | 2021-11-26 | 京东科技信息技术有限公司 | 一种数据处理方法、系统、存储介质及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011150692A1 (zh) * | 2010-06-02 | 2011-12-08 | 中兴通讯股份有限公司 | 一种进行网络访问控制的方法及服务网关 |
| CN106372057A (zh) * | 2016-08-25 | 2017-02-01 | 乐视控股（北京）有限公司 | 内容的审核方法及装置 |
| CN106909534A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团公司 | 一种判别文本安全性的方法及装置 |
| CN108268554A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种生成垃圾短信过滤策略的方法和装置 |
-
2019
- 2019-01-04 CN CN201910009584.1A patent/CN109831751A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011150692A1 (zh) * | 2010-06-02 | 2011-12-08 | 中兴通讯股份有限公司 | 一种进行网络访问控制的方法及服务网关 |
| CN106909534A (zh) * | 2015-12-23 | 2017-06-30 | 中国移动通信集团公司 | 一种判别文本安全性的方法及装置 |
| CN106372057A (zh) * | 2016-08-25 | 2017-02-01 | 乐视控股（北京）有限公司 | 内容的审核方法及装置 |
| CN108268554A (zh) * | 2017-01-03 | 2018-07-10 | 中国移动通信有限公司研究院 | 一种生成垃圾短信过滤策略的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 张毓 等: "基于深度特征语义学习模型的垃圾短信文本聚类研究", 《研究与开发》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275958A (zh) * | 2019-06-26 | 2019-09-24 | 北京市博汇科技股份有限公司 | 网站信息识别方法、装置和电子设备 |
| CN110275958B (zh) * | 2019-06-26 | 2021-07-27 | 北京市博汇科技股份有限公司 | 网站信息识别方法、装置和电子设备 |
| CN110688831A (zh) * | 2019-10-08 | 2020-01-14 | 上海创蓝文化传播有限公司 | 短信文本模版的识别方法 |
| CN111401075A (zh) * | 2020-04-07 | 2020-07-10 | 上海创蓝文化传播有限公司 | 一种智能短信审核的方法 |
| CN111628859A (zh) * | 2020-06-05 | 2020-09-04 | 上海创蓝文化传播有限公司 | 一种基于分布式高并发条件下审核短信文本的方法及装置 |
| CN111898060A (zh) * | 2020-07-14 | 2020-11-06 | 大汉软件股份有限公司 | 一种基于深度学习的内容自动化监控方法 |
| CN112383887A (zh) * | 2020-11-02 | 2021-02-19 | 安徽泡泡云信息技术服务有限公司 | 一种基于人工智能的短信推送系统 |
| CN112686055A (zh) * | 2021-03-16 | 2021-04-20 | 北京轻松筹信息技术有限公司 | 语义识别方法、装置、电子设备和存储介质 |
| CN112686055B (zh) * | 2021-03-16 | 2021-06-04 | 北京轻松筹信息技术有限公司 | 语义识别方法、装置、电子设备和存储介质 |
| CN113205130A (zh) * | 2021-04-28 | 2021-08-03 | 五八有限公司 | 一种数据审核方法、装置、电子设备及存储介质 |
| CN113205130B (zh) * | 2021-04-28 | 2023-05-02 | 五八有限公司 | 一种数据审核方法、装置、电子设备及存储介质 |
| CN113704414A (zh) * | 2021-09-02 | 2021-11-26 | 京东科技信息技术有限公司 | 一种数据处理方法、系统、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109831751A (zh) | 一种基于自然语言处理的短信内容风控系统及方法 | |
| CN107622050B (zh) | 基于Bi-LSTM和CRF的文本序列标注系统及方法 | |
| CN107729309B (zh) | 一种基于深度学习的中文语义分析的方法及装置 | |
| CN108519970A (zh) | 文本中敏感信息的鉴定方法、电子装置及可读存储介质 | |
| CN109902307A (zh) | 命名实体识别方法、命名实体识别模型的训练方法及装置 | |
| WO2019232893A1 (zh) | 文本的情感分析方法、装置、计算机设备和存储介质 | |
| CN113779358B (zh) | 一种事件检测方法和系统 | |
| CN110457711B (zh) | 一种基于主题词的社交媒体事件主题识别方法 | |
| Cao et al. | Generative steganography based on long readable text generation | |
| CN112507706A (zh) | 知识预训练模型的训练方法、装置和电子设备 | |
| CN111177367A (zh) | 案件分类方法、分类模型训练方法及相关产品 | |
| CN105786792A (zh) | 一种信息处理方法及装置 | |
| CN109670148A (zh) | 基于语音识别的催收辅助方法、装置、设备和存储介质 | |
| CN112468659A (zh) | 应用于电话客服的质量评价方法、装置、设备及存储介质 | |
| CN110008699A (zh) | 一种基于神经网络的软件漏洞检测方法及装置 | |
| CN110928981A (zh) | 一种文本标签体系搭建及完善迭代的方法、系统及存储介质 | |
| CN107704869B (zh) | 一种语料数据抽样方法及模型训练方法 | |
| CN115359799A (zh) | 语音识别方法、训练方法、装置、电子设备及存储介质 | |
| CN112951233A (zh) | 语音问答方法、装置、电子设备及可读存储介质 | |
| CN111680161A (zh) | 一种文本处理方法、设备以及计算机可读存储介质 | |
| US20210004440A1 (en) | Toxic vector mapping across languages | |
| CN111931491B (zh) | 领域词典构建方法及装置 | |
| CN111723870B (zh) | 基于人工智能的数据集获取方法、装置、设备和介质 | |
| CN108874780A (zh) | 一种分词算法系统 | |
| WO2024055603A1 (zh) | 一种未成年人文本识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190531 |