CN109271548A - 一种应急广播敏感信息过滤系统 - Google Patents

一种应急广播敏感信息过滤系统 Download PDF

Info

Publication number
CN109271548A
CN109271548A CN201810824682.6A CN201810824682A CN109271548A CN 109271548 A CN109271548 A CN 109271548A CN 201810824682 A CN201810824682 A CN 201810824682A CN 109271548 A CN109271548 A CN 109271548A
Authority
CN
China
Prior art keywords
task
sensitive information
word
sensitive
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810824682.6A
Other languages
English (en)
Inventor
张江鑫
刘童
蒋能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Gongxin Photoelectric Co ltd
Zhejiang University of Technology ZJUT
Original Assignee
Hangzhou Gongxin Photoelectric Co ltd
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Gongxin Photoelectric Co ltd, Zhejiang University of Technology ZJUT filed Critical Hangzhou Gongxin Photoelectric Co ltd
Priority to CN201810824682.6A priority Critical patent/CN109271548A/zh
Publication of CN109271548A publication Critical patent/CN109271548A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/53Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers
    • H04H20/59Arrangements specially adapted for specific applications, e.g. for traffic information or for mobile receivers for emergency or urgency

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

一种应急广播敏感信息过滤系统,包括任务类型判断模块、消息队列处理模块、敏感信息过滤模块和过滤结果处理模块;所述过滤结果处理模块根据所述的敏感信息过滤模块的输出进行后续的处理,若未检测出敏感信息,则下发实时任务,定时任务继续放在消息队列中,到达指定的任务播出时间时,下发定时任务;若检测出敏感信息,则停止实时任务的继续下发,并且将处理结果存档备份,定时任务从消息队列中删除,并且将处理结果存档备份。本发明采用Map集合存储与检索应急广播领域出现的敏感信息,并引入消息队列机制处理应急广播定时任务,大大提高了系统的处理速度。

Description

一种应急广播敏感信息过滤系统
技术领域
本发明涉及应急广播领域,特别是涉及一种敏感信息过滤系统。
背景技术
应急广播系统是一种利用多媒体系统向公众通告紧急事件的方式。当发生自然灾害、事故灾难、公共卫生和社会安全等突发事件时,造成或者可能造成重大人员伤亡、财产损失、环境破坏等各类严重社会危害,危及公共安全时,应急广播系统可以提供一种迅速快捷的通告方式。
应急广播涉及的受众范围广泛,一旦出现不和谐的内容,将会产生巨大的社会影响,不利于社会的和谐稳定。所以,应急广播系统迫切需要一种能够过滤敏感信息的高效方法及系统。
发明内容
为了克服已有应急广播敏感信息过滤方式的处理效率较低、处理速度较慢的不足,本发明提供了一种提高处理效率和处理速度的应急广播敏感信息过滤系统,采用Map集合存储与检索应急广播领域出现的敏感信息,并引入消息队列机制处理应急广播定时任务,大大提高了系统的处理速度。
本发明解决其技术问题所采用的技术方案是:
一种应急广播敏感信息过滤系统,包括任务类型判断模块、消息队列处理模块、敏感信息过滤模块和过滤结果处理模块
所述的任务类型判断模块判断输入的播出任务类型,若播出任务类型为定时任务,将播出任务传递给消息队列处理模块,由消息队列处理模块进行后续的操作;若播出任务类型为实时任务,跳过消息队列处理模块,直接将播出任务传递给敏感信息过滤模块,由敏感信息过滤模块立即处理播出任务;
所述的消息队列处理模块接收任务类型判断模块传递过来的定时任务,在系统处于没有播出任务需要处理且系统空闲的时候,按照定时任务播出的时间顺序,依次取出消息队列中的定时任务,送至敏感信息过滤模块进行处理;
所述的敏感信息过滤模块接收来自消息队列处理模块的定时任务和来自任务类型判断模块的实时任务,实现对播出任务中的敏感信息进行过滤;
所述的过滤结果处理模块根据所述的敏感信息过滤模块的输出进行后续的处理,若未检测出敏感信息,则下发实时任务,定时任务继续放在消息队列中,到达指定的任务播出时间时,下发定时任务;若检测出敏感信息,则停止实时任务的继续下发,并且将处理结果存档备份,定时任务从消息队列中删除,并且将处理结果存档备份。
进一步,所述的敏感信息过滤模块包括任务格式转换单元、敏感信息检测单元和处理结果输出单元;
所述的任务格式转换单元实现语音类型的播出任务转换为文本类型的任务,任务格式转换单元的输出统一为文本,使得系统的后续处理更加简洁有效;
所述的敏感信息检测单元是敏感信息过滤模块的核心部分,负责检测播出任务中是否含有敏感信息,所述的敏感信息检测单元采用Map集合处理敏感信息,包括敏感词库初始化和任务内容与词库比对两部分。
再进一步,所述的敏感词库初始化的步骤如下:
A1、依次获取文本库中的敏感词;
A2、依次获取敏感词中的字;
A3、判断该字是否存在预先创建的Map集合中,若该字存在,则把Map集合的值重新赋给Map并返回A2,若该字不存在,转A4;
A4、设置敏感词结束标志位为0并将该字添加进Map集合中;
A5、判断该字是否是该词的最后一个字,若不是,返回A2,若是,修改敏感词结束标志位为1;
A6、判断敏感词库是否扫描完毕,若不是,返回A1,若是,结束。
更进一步,所述的任务内容与词库比对的步骤如下:
B1、获取待过滤的文本,从文本的第一个字开始查找;
B2、在Map集合中依次查找该字;
B3、判断Map集合中是否存在该字,若不存在,返回第二步继续查找,若存在,转到B4;
B4、判断该字是否是敏感词的最后一个字,若是,标志位置为true,若不是,转至B5;
B5、根据标志位的值判断是否存在敏感词,标志位为true,含有敏感词,标志位为false,不含敏感词,并返回检测结果。
本发明的有益效果主要表现在:本发明采用Map集合存储与检索应急广播领域出现的敏感信息,大大提高了系统的处理效率。引入消息队列机制处理应急广播定时任务,进一步提高了系统的处理速度。
附图说明
图1是敏感信息过滤总体原理框图。
图2是敏感信息过滤模块框图。
图3是敏感信息检测单元框图。
图4是敏感词库初始化流程图。
图5是任务内容与词库比对流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图5,一种应急广播敏感信息过滤系统,包括任务类型判断模块、消息队列处理模块、敏感信息过滤模块和过滤结果处理模块
所述的任务类型判断模块判断输入的播出任务类型,若播出任务类型为定时任务,将播出任务传递给消息队列处理模块,由消息队列处理模块进行后续的操作;若播出任务类型为实时任务,跳过消息队列处理模块,直接将播出任务传递给敏感信息过滤模块,由敏感信息过滤模块立即处理播出任务;
所述的消息队列处理模块接收任务类型判断模块传递过来的定时任务,在系统处于没有播出任务需要处理且系统空闲的时候,按照定时任务播出的时间顺序,依次取出消息队列中的定时任务,送至敏感信息过滤模块进行处理;
所述的敏感信息过滤模块接收来自消息队列处理模块的定时任务和来自任务类型判断模块的实时任务,实现对播出任务中的敏感信息进行过滤;
所述的敏感信息过滤模块包括任务格式转换单元、敏感信息检测单元和处理结果输出单元;
所述的任务格式转换单元实现语音类型的播出任务转换为文本类型的任务,任务格式转换单元的输出统一为文本,使得系统的后续处理更加简洁有效;
所述的敏感信息检测单元是敏感信息过滤模块的核心部分,负责检测播出任务中是否含有敏感信息,所述的敏感信息检测单元采用Map集合处理敏感信息,包括敏感词库初始化和任务内容与词库比对两部分。
所述的敏感词库初始化的步骤如下:
A1、依次获取文本库中的敏感词;
A2、依次获取敏感词中的字;
A3、判断该字是否存在预先创建的Map集合中,若该字存在,则把Map集合的值重新赋给Map并返回A2,若该字不存在,转A4;
A4、设置敏感词结束标志位为0并将该字添加进Map集合中;
A5、判断该字是否是该词的最后一个字,若不是,返回A2,若是,修改敏感词结束标志位为1;
A6、判断敏感词库是否扫描完毕,若不是,返回A1,若是,结束。
所述的任务内容与词库比对的步骤如下:
B1、获取待过滤的文本,从文本的第一个字开始查找;
B2、在Map集合中依次查找该字;
B3、判断Map集合中是否存在该字,若不存在,返回第二步继续查找,若存在,转到B4;
B4、判断该字是否是敏感词的最后一个字,若是,标志位置为true,若不是,转至B5;
B5、根据标志位的值判断是否存在敏感词,标志位为true,含有敏感词,标志位为false,不含敏感词,并返回检测结果。
所述的过滤结果处理模块根据所述的敏感信息过滤模块的输出进行后续的处理,若未检测出敏感信息,则下发实时任务,定时任务继续放在消息队列中,到达指定的任务播出时间时,下发定时任务;若检测出敏感信息,则停止实时任务的继续下发,并且将处理结果存档备份,定时任务从消息队列中删除,并且将处理结果存档备份。

Claims (4)

1.一种应急广播敏感信息过滤系统,其特征在于,包括任务类型判断模块、消息队列处理模块、敏感信息过滤模块和过滤结果处理模块;
所述的任务类型判断模块判断输入的播出任务类型,若播出任务类型为定时任务,将播出任务传递给消息队列处理模块,由消息队列处理模块进行后续的操作;若播出任务类型为实时任务,跳过消息队列处理模块,直接将播出任务传递给敏感信息过滤模块,由敏感信息过滤模块立即处理播出任务;
所述的消息队列处理模块接收任务类型判断模块传递过来的定时任务,在系统处于没有播出任务需要处理且系统空闲的时候,按照定时任务播出的时间顺序,依次取出消息队列中的定时任务,送至敏感信息过滤模块进行处理;
所述的敏感信息过滤模块接收来自消息队列处理模块的定时任务和来自任务类型判断模块的实时任务,实现对播出任务中的敏感信息进行过滤;
所述的过滤结果处理模块根据所述的敏感信息过滤模块的输出进行后续的处理,若未检测出敏感信息,则下发实时任务,定时任务继续放在消息队列中,到达指定的任务播出时间时,下发定时任务;若检测出敏感信息,则停止实时任务的继续下发,并且将处理结果存档备份,定时任务从消息队列中删除,并且将处理结果存档备份。
2.如权利要求1所述的一种应急广播敏感信息过滤系统,其特征在于,所述的敏感信息过滤模块包括任务格式转换单元、敏感信息检测单元和处理结果输出单元;
所述的任务格式转换单元实现语音类型的播出任务转换为文本类型的任务,任务格式转换单元的输出统一为文本,使得系统的后续处理更加简洁有效;
所述的敏感信息检测单元是敏感信息过滤模块的核心部分,负责检测播出任务中是否含有敏感信息,所述的敏感信息检测单元采用Map集合处理敏感信息,包括敏感词库初始化和任务内容与词库比对两部分。
3.如权利要求2所述的一种应急广播敏感信息过滤系统,其特征在于,所述的敏感词库初始化的步骤如下:
A1、依次获取文本库中的敏感词;
A2、依次获取敏感词中的字;
A3、判断该字是否存在预先创建的Map集合中,若该字存在,则把Map集合的值重新赋给Map并返回A2,若该字不存在,转A4;
A4、设置敏感词结束标志位为0并将该字添加进Map集合中;
A5、判断该字是否是该词的最后一个字,若不是,返回A2,若是,修改敏感词结束标志位为1;
A6、判断敏感词库是否扫描完毕,若不是,返回A1,若是,结束。
4.如权利要求2所述的一种应急广播敏感信息过滤系统,其特征在于,所述的任务内容与词库比对的步骤如下:
B1、获取待过滤的文本,从文本的第一个字开始查找;
B2、在Map集合中依次查找该字;
B3、判断Map集合中是否存在该字,若不存在,返回第二步继续查找,若存在,转到B4;
B4、判断该字是否是敏感词的最后一个字,若是,标志位置为true,若不是,转至B5;
B5、根据标志位的值判断是否存在敏感词,标志位为true,含有敏感词,标志位为false,不含敏感词,并返回检测结果。
CN201810824682.6A 2018-07-25 2018-07-25 一种应急广播敏感信息过滤系统 Pending CN109271548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810824682.6A CN109271548A (zh) 2018-07-25 2018-07-25 一种应急广播敏感信息过滤系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810824682.6A CN109271548A (zh) 2018-07-25 2018-07-25 一种应急广播敏感信息过滤系统

Publications (1)

Publication Number Publication Date
CN109271548A true CN109271548A (zh) 2019-01-25

Family

ID=65153189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810824682.6A Pending CN109271548A (zh) 2018-07-25 2018-07-25 一种应急广播敏感信息过滤系统

Country Status (1)

Country Link
CN (1) CN109271548A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207979A (zh) * 2011-06-30 2011-10-05 北京新媒传信科技有限公司 一种敏感词匹配方法和系统
CN106100779A (zh) * 2016-07-21 2016-11-09 四川九州电子科技股份有限公司 基于定时轮询和实时调度的应急广播任务调控方法及系统
CN107068152A (zh) * 2017-04-06 2017-08-18 杭州图南电子股份有限公司 一种基于应急广播的智能语音识别安全监测方法
CN107463666A (zh) * 2017-08-02 2017-12-12 成都德尔塔信息科技有限公司 一种基于文本内容的敏感词过滤方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207979A (zh) * 2011-06-30 2011-10-05 北京新媒传信科技有限公司 一种敏感词匹配方法和系统
CN106100779A (zh) * 2016-07-21 2016-11-09 四川九州电子科技股份有限公司 基于定时轮询和实时调度的应急广播任务调控方法及系统
CN107068152A (zh) * 2017-04-06 2017-08-18 杭州图南电子股份有限公司 一种基于应急广播的智能语音识别安全监测方法
CN107463666A (zh) * 2017-08-02 2017-12-12 成都德尔塔信息科技有限公司 一种基于文本内容的敏感词过滤方法

Similar Documents

Publication Publication Date Title
US9817888B2 (en) Supplementing structured information about entities with information from unstructured data sources
US9087030B2 (en) Handling excessive input characters in a field
US9665798B2 (en) Device and method for detecting specified objects in images using metadata
Osborne et al. Bieber no more: First story detection using twitter and wikipedia
US8712926B2 (en) Using rule induction to identify emerging trends in unstructured text streams
CN109902297B (zh) 一种威胁情报生成方法及装置
US8055661B2 (en) Device and method for automatically generating ontology instance
CN103631802B (zh) 歌曲信息检索方法、装置及相应的服务器
CN101673266B (zh) 音频、视频内容的搜索方法
CN106294619A (zh) 舆情智能监管方法
US20150205862A1 (en) Method and device for recognizing and labeling peaks, increases, or abnormal or exceptional variations in the throughput of a stream of digital documents
US20100145952A1 (en) Electronic document processing apparatus and method
Schulz et al. Semantic abstraction for generalization of tweet classification: An evaluation of incident-related tweets
CN105701091B (zh) 一种基于语义的pdf文档的处理方法及处理装置
US20110153639A1 (en) Method and Apparatus for Semantic Just-In-Time-Information-Retrieval
Park et al. Exploiting script-subtitles alignment to scene boundary dectection in movie
Krstajic et al. Incremental visual text analytics of news story development
KR101631032B1 (ko) 비정형 데이터 필터링 및 공통형태 변환을 통한 저장 시스템 및 방법
KR20130037975A (ko) 이슈 템플릿 추출 기반의 웹 동향 분석 방법 및 장치
CN109271548A (zh) 一种应急广播敏感信息过滤系统
Girish et al. Extreme event detection and management using twitter data analysis
CN101673267B (zh) 音频、视频内容的搜索方法
Kim et al. Usefulness of temporal information automatically extracted from news articles for topic tracking
CN113221031B (zh) 一种自动识别网站目录页的方法
US20120239654A1 (en) Related document search system, device, method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125