CN110312166B - 直播间消息过滤方法、装置、电子设备及存储介质 - Google Patents

直播间消息过滤方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110312166B
CN110312166B CN201810232266.7A CN201810232266A CN110312166B CN 110312166 B CN110312166 B CN 110312166B CN 201810232266 A CN201810232266 A CN 201810232266A CN 110312166 B CN110312166 B CN 110312166B
Authority
CN
China
Prior art keywords
server
sensitive word
live broadcast
message
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810232266.7A
Other languages
English (en)
Other versions
CN110312166A (zh
Inventor
王贵喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuomi Private Ltd
Original Assignee
Zhuomi Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuomi Private Ltd filed Critical Zhuomi Private Ltd
Priority to CN201810232266.7A priority Critical patent/CN110312166B/zh
Publication of CN110312166A publication Critical patent/CN110312166A/zh
Application granted granted Critical
Publication of CN110312166B publication Critical patent/CN110312166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)

Abstract

本发明的实施例公开一种直播间消息过滤方法、装置、电子设备及存储介质，涉及网络直播技术领域。所述直播间消息过滤方法，包括：监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤。本发明适用于对直播系统中直播间消息的过滤。

Description

直播间消息过滤方法、装置、电子设备及存储介质
技术领域
本发明涉及网络直播技术领域，尤其涉及一种直播间消息过滤方法、装置、电子设备及存储介质。
背景技术
随着互联网的普及，作为互联网应用的网络直播发展迅速。直播平台的疯狂扩张的同时也滋生了很多问题，部分直播平台传播色情、暴力、谣言、诈骗等信息，带来了不良的社会影响，严重影响了用户观看直播的体验。
为了减少和避免不良和违法信息的传播，现有技术中采用敏感词词库对直播间消息进行敏感词过滤的方式，将不良和违法信息屏蔽掉。
在实现本发明的过程中，发明人发现现有的敏感词过滤方式中，所采用的敏感词词库中的敏感词是相对固定，而直播平台或直播系统涉及到的用户有时属于不同的国家或地区，由于不同国家或者地区对敏感词的要求可能存在不同，这样，采用内容相对固定的敏感词词库对直播间消息进行敏感词过滤时，不能适应不同国家或地区对敏感词的不同要求，过滤性能不好。
发明内容
有鉴于此，本发明实施例提供一种直播间消息过滤方法、装置、电子设备及存储介质，过滤结果更加精确且过滤效率较高。
第一方面，本发明实施例提供一种直播间消息过滤方法，包括：监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；
响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤。
结合第一方面，在第一方面的第一种实施方式中，所述响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库，包括：响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库，利用从所述第一服务器获取动态更新的敏感词词库，对本地的敏感词词库进行替换以得到更新后的敏感词词库。
结合第一方面，在第一方面的第二种实施方式中，所述响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库，包括：
响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词，将从所述第一服务器获取的动态更新的敏感词，添加到本地的敏感词词库中以得到更新后的敏感词词库。
结合第一方面，在第一方面的第三种实施方式中，所述根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤，包括：将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息；根据接收到的直播间消息中的词目，查找所述Trie树；若在所述Trie树中查找到直播间消息中的词目，则确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
结合第一方面的第三种实施方式，在第一方面的第四种实施方式中，所述根据接收到的直播间消息中的词目，查找所述Trie树，包括：对接收到的直播间消息中的词目进行降噪处理，根据降噪处理后的词目查找所述Trie树。
结合第一方面的第四种实施方式，在第一方面的第五种实施方式中，所述对接收到的直播间消息中的词目进行降噪处理，包括：对接收到的直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号。
第二方面，本发明实施例提供一种直播间消息过滤装置，包括：监听模块，用于监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；
更新模块，用于响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；过滤模块，用于根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤。
结合第二方面，在第二方面的第一种实施方式中，所述更新模块，具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库，利用从所述第一服务器获取的动态更新的敏感词词库，对本地的敏感词词库进行替换以得到更新后的敏感词词库。
结合第二方面，在第二方面的第二种实施方式中，，所述更新模块，具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词，将从所述第一服务器获取的动态更新的敏感词，添加到本地的敏感词词库中以得到更新后的敏感词词库。
结合第二方面，在第二方面的第三种实施方式中，所述过滤模块，包括：加载子模块，用于将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息；查找子模块，用于根据接收到的直播间消息中的词目，查找所述Trie树；过滤子模块，用于若在所述Trie树中查找到直播间消息中的词目，则确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
结合第二方面的第三种实施方式，在第二方面的第四种实施方式中，所述查找子模块，包括：降噪处理单元，用于对接收到的直播间消息中的词目进行降噪处理；查找单元，用于根据降噪处理后的词目查找所述Trie树。
结合第二方面的第四种实施方式，在第二方面的第五种实施方式中，所述降噪处理单元，具体用于对所述直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号。
第三方面，本发明实施例提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施方式所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一实施方式所述的方法。
本发明实施例提供的一种直播间消息过滤方法、装置、电子设备及存储介质，通过监听第一服务器的词库更新消息，响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，可对本地的敏感词词库进行更新，并根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤，一方面由于在对接收到的直播间消息进行敏感词过滤时，采用的是更新后的敏感词词库，使得过滤结果更加精确；另一方面用来对直播间消息进行敏感词过滤所采用的敏感词词库保存在本地，这样在进行过滤时，可直接利用本地保存的敏感词词库进行过滤，过滤效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明直播间消息过滤方法实施例一的流程示意图；
图2为本发明实施例中采用敏感词词库动态调整策略的结构示意图；
图3为本发明直播间消息过滤方法实施例二的流程示意图；
图4为本发明实施例中初始化完的Trie树结构示意图；
图5为本发明直播间消息过滤装置实施例一的结构示意图；
图6为本发明直播间消息过滤装置实施例二的结构示意图；
图7为本发明电子设备一个实施例的结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明直播间消息过滤方法实施例一的流程示意图，可应用于网络视频直播系统中的直播间服务器。所述直播系统包括用户、长连接服务器、直播间服务器。其中，所述用户即观看直播的用户，多为手机端或者web端用户；为了进行直播消息的推送，用户的终端设备需要与长连接服务器进行接入，建立长连接，消息发送时首先提交至长连接服务器中。同理，消息接收时也是由长连接服务器来进行推送。所述直播间服务器，为直播间消息的业务处理服务器，消息内容由长连接服务器传输至直播间服务器，在直播间服务器中，进行消息的过滤等相关操作。其中，直播间消息是指直播系统中的文字内容，包括：弹幕和文字互动聊天等内容。
参看图1，本实施例直播间消息过滤方法，可包括：
步骤101、监听第一服务器的敏感词词库更新消息。
本实施例中，敏感词是指带有政治倾向、暴力倾向、不健康色彩或者不文明等用语的文字内容。敏感词词库是敏感词的集合。所述第一服务器中保存有动态更新的敏感词词库。
视频直播系统往往采用分布式架构，长连接服务器及直播间服务器可由多台机器构成。这类视频直播系统涉及到的用户有时属于不同的国家或地区。敏感词在不同国家或者地区，需遵循当地法律法规，因此，敏感词词库可能随时会根据用户当地的法律法规条文来实时更新，以便及时有效地对用户输入的消息进行过滤，避免违法内容的传播。
因此，本实施例采用敏感词词库动态调整策略。图2为本发明实施例中采用敏感词词库动态调整策略的结构示意图，参看图2，具体地，在直播系统中部署第一服务器(可称为动态配置服务器)，并使第一服务器与各第二服务器维护长连接心跳，由第二服务器来监听第一服务器的敏感词词库变更，当第一服务器产生词库更新消息时，第二服务器实时响应，进行敏感词词库的实时更新。
本实施例中，在第一服务器中维护有动态更新的敏感词词库(可称为第一词库)，可通过运营维护人员对所述第一服务器中的敏感词词库进行维护，比如在所述敏感词词库中添加或变更敏感词等，当第一服务器中的敏感词词库有更新(敏感词增加或变更)时，由第一服务器向各第二服务器发出敏感词词库更新消息，由第二服务器来监听第一服务器的敏感词词库更新消息。
在本实施例中，所述第二服务器是直播系统中的直播间服务器，本发明不限于此，在另一实施例中，所述第二服务器也可以是在所述直播间服务器之外部署的用来对直播间消息进行过滤的服务器。
步骤102、响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库。
本实施例中，用于执行过滤操作的敏感词词库(可称为第二词库)布置在直播间服务器(即第二服务器)本地。这样的好处在于，由于第二词库放置在本地，对直播间消息进行敏感词过滤时，可直接利用本地的第二词库进行过滤，过滤效率较高，并可满足应用在高并发环境下的过滤计算需求。本发明不限于此，在另一实施例中，用于执行过滤操作的敏感词词库也可以放置在直播间服务器之外的其它服务器上。
本实施例中，所述第一词库布置在第一服务器上，当第一服务器产生词库的更新消息时，直播间服务器实时响应词库更新消息，对第二词库进行实时更新。具体地，直播间服务器响应于第一服务器的词库更新消息，从所述第一服务器获取第一词库，根据获取的所述第一词库，对所述第二词库进行更新。
在另一实施例中，所述第一词库也可布置在第一服务器之外的其它服务器上，直播间服务器响应于第一服务器的词库更新消息，从所述第一服务器之外的其它布置有所述第一词库的服务器上获取所述第一词库，根据获取的所述第一词库，对第二词库进行更新。
对第二词库进行更新时，可将原有的第二词库整体替换为第一词库，也可将原有的第二词库中的部分敏感词进行更新，比如在原有的第二词库中添加新的敏感词。将原有的第二词库中的部分敏感词进行更新的方式可以提高更新效率，节省系统资源的消耗。
步骤103、根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤。
本实施例中，更新后的敏感词词库即为更新后的第二词库。
在直播间服务器响应词库更新消息，对第二词库进行更新之后，当有新的消息到达直播间服务器时，直播间服务器利用更新后的第二词库来实现敏感词的过滤。具体地，直播间服务器可利用更新后的第二词库，根据现有的敏感词过滤算法，比如bloom-filter算法或index0f算法等，对直播间消息进行过滤。
本实施例，通过监听第一服务器的词库更新消息，响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，可对本地的敏感词词库进行更新，并根据更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤，一方面由于在对接收到的直播间消息进行敏感词过滤时，采用的是更新后的敏感词词库，使得过滤结果更加精确；另一方面用来对直播间消息进行敏感词过滤所采用的敏感词词库保存在本地，这样在进行过滤时，可直接利用本地保存的敏感词词库进行过滤，过滤效率较高。
此外，由于第一词库中的敏感词支持动态配置，可随时根据需求进行调整，使得第一词库的配置具有较大的灵活性。
本实施例中，大多数情况下不需要进行第二词库的更新操作，不影响直播间服务器的处理过程，可只在第一词库动态调整时，才会通知分布式中参与了监听的直播间服务器进行第二词库的更新。
图3为本发明直播间消息过滤方法实施例二的流程示意图，可应用于网络视频直播系统中的直播间服务器。参看图3，本实施例的方法，可包括：
步骤201、监听第一服务器的敏感词词库更新消息。
本实施例中，监听第一服务器的敏感词词库更新消息的过程和上述方法实施例的步骤101类似，此处不再赘述。
步骤202、响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库。
本实施例中，用于执行过滤操作的敏感词词库(即第二词库)布置在直播间服务器(即第二服务器)本地。这样的好处在于，由于第二词库放置在本地，对直播间消息进行敏感词过滤时，可直接利用本地的第二词库进行过滤，过滤效率较高，并可满足应用在高并发环境下的过滤计算需求。
具体地，在分布式的直播系统中，每一台直播间服务器(即第二服务器)中的本地内存中，缓存了敏感词词库(即第二词库)，当有消息到达直播间服务器时，直播间服务器即进行本地内存判断，利用尽可能短的时间，来实现敏感词的过滤。
本实施例中，当第一服务器产生词库的更新消息时，直播间服务器实时响应词库更新消息，对本地的敏感词词库进行实时更新以得到更新后的敏感词词库。具体地，直播间服务器响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库(第一词库)，利用从所述第一服务器获取的所述第一词库，对本地的敏感词词库(即第二词库)进行更新。
对第二词库进行具体更新时，可将原有的第二词库整体替换为第一词库，也可将原有的第二词库中的部分敏感词进行更新，比如在原有的第二词库中添加新的敏感词。将原有的第二词库中的部分敏感词进行更新的方式可以提高更新效率，节省系统资源的消耗。
步骤203、将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息。
直播间服务器将本地的敏感词词库更新后，还需要完成敏感词词库的生效操作，即将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息，这样，可实现服务在无需重新启动的情况下，平滑过渡来实现敏感词词库的生效。
其中，Trie树，又称单词查找树、字典树或前缀树，是一种树形结构，是一种哈希树的变种，能够用于快速检索的多叉树结构。它的优点为：最大限度地减少无谓的字符串比较，查询效率比常用的哈希表要高。
Trie树的根节点不包含字符，除根节点外每一个节点都只包含一个字符；从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串；每个节点的所有子节点包含的字符都不相同。
比如需要过滤的敏感词为以下：
中华人民共和国
中国共产党
……
初始化完的Trie树结构如图4所示。
当有消息需要处理时，根据消息中的词目，来查找此Trie树，比如要查找的关键字是“中华人民”，那么非“中”开头的树结点都不作处理。在树的根部即利用最短的时间复杂点，即能判断出是否有相关的敏感词，这样能大大提高查找速度。
步骤204、根据接收到的直播间消息中的词目，查找所述Trie树。
本实施例采用Trie树来实现敏感词的过滤。根据接收到的直播间消息中的词目，查找所述Trie树的根节点到某一节点的路径上经过的字符连接起来，是否与直播间消息中的词目相同，若相同，则执行步骤205，否则对下一个直播间消息进行过滤。
本实施例中采用Trie树算法，查找速度较快。经过测试，比常用的二分法的查找速度高出数倍，比基数树的查找更高出几十倍。
步骤205、确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
本实施例中，若确定一直播间消息中含有敏感词，则会禁止所述直播间消息的显示，比如可通过将所述直播间消息丢弃的方式来禁止所述直播间消息的显示这样可有效避免违法内容的传播。
本实施例，通过监听第一服务器的词库更新消息，响应于第一服务器的词库更新消息，可对本地的敏感词词库进行动态更新，并根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤，具有较好的过滤性能。
此外，对于诸多的云服务应用来说，通常敏感词过滤由第三方服务商来完成，而第三方服务商为了使客户厂商调用简单，多使用Http接口调用并返回结果，由于http本身的短连接特性，又由于运行容器的受限，导致其运行效率通常不高。这对于视频直播这种高并发、强互动的应用来说，显然不满足需求。因此，本实施例实现敏感词过滤的本地化，有效提升了过滤能力。
在敏感词过滤中，需要考虑用户输入的不确定性。可能存在诸多的用户，在敏感词中夹杂着空格、乱码等来混淆，以期绕过敏感词的过滤，从而达到自己输入的目的。比如，用户在输入“共产党”时，可能会变相输入“共*产*党”，“共-产-党”等等。这样做的目的显然是为了绕过敏感词过滤。鉴于此，需要对用户输入的文本内容进行降噪处理。
在一实施例中，所述根据直播间消息中的词目，查找所述Trie树(步骤204)，包括：对直播间消息中的词目进行降噪处理，根据降噪处理后的词目查找所述Trie树。
在该实施例中，先对用户输入的文本内容进行降噪处理，再根据降噪处理后的词目查找所述Trie树，可提高敏感词过滤的准确率，减少漏检的情况发生。
在一实施例中，所述对直播间消息中的词目进行降噪处理，可包括：对所述直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号等。其中，所述正则过滤具体是指采用正则算法，将所述词目中的”-、*、-、空格”等特殊字符、或特定字符串如“***”、或特定图片或符号等替换掉，即清空。
在该实施例中，需要在每个直播间服务器的本地进行正则过滤，再结合Trie树算法，综合实现敏感词过滤功能，能够减少漏检的情况发生。
降噪的正则过滤及所结合的敏感词过滤，均可通过本地内存操作来完成的。
图5为本发明直播间消息过滤装置实施例一的结构示意图，可应用于网络视频直播系统中的直播间服务器。参看图5，本实施例的装置，包括监听模块11、更新模块12和过滤模块13；其中，监听模块11，用于监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；更新模块12，用于响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；过滤模块13，用于根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
第四方面，本发明实施例提供另一种直播间消息过滤装置，具有较好的过滤性能，可应用于网络视频直播系统中的直播间服务器。
图6为本发明直播间消息过滤装置实施例二的结构示意图，可应用于网络视频直播系统中的直播间服务器。参看图6，本实施例的装置，在图5所示装置实施例的基础上，所述更新模块12，可具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库，利用从所述第一服务器获取的动态更新的敏感词词库，对本地的敏感词词库进行替换以得到更新后的敏感词词库；所述过滤模块13，可具体用于根据本地更新后的敏感词词库，对直播间消息进行敏感词过滤。
在一实施例中，所述更新模块12，可具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词，将从所述第一服务器获取的动态更新的敏感词，添加到本地的敏感词词库中以得到更新后的敏感词词库。
在一实施例中，所述过滤模块13，可包括：加载子模块131，用于将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息；查找子模块132，用于根据接收到的直播间消息中的词目，查找所述Trie树；过滤子模块133，用于若在所述Trie树中查找到直播间消息中的词目，则确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
在一实施例中，所述查找子模块132，可包括：降噪处理单元，用于对直播间消息中的词目进行降噪处理；查找单元，用于根据降噪处理后的词目查找所述Trie树。
在一实施例中，所述降噪处理单元，可具体用于对接收到的直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号。
本实施例的装置，可以用于执行图1及图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种电子设备，图7为本发明电子设备一个实施例的结构示意图，可以实现本发明图1及图3所示实施例的流程，如图7所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例所述的过滤方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1及图3所示实施例的描述，在此不再赘述。
该电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MTD和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明的实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一实施例提供的方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种直播间消息过滤方法，其特征在于，基于第二服务器，包括：
监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；所述第一服务器与所述第二服务器维护长连接心跳，以使本地的敏感词词库得以根据第一服务器中保存的动态更新的敏感词词库实时更新；
响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；
根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤；
所述对本地的敏感词词库进行更新以得到更新后的敏感词词库包括：在本地的敏感词词库中添加或变更敏感词以得到更新后的敏感词词库；
所述对接收到的直播间消息进行敏感词过滤包括：根据bloom-filter算法或indexOf算法对接收到的直播间消息进行敏感词过滤。
2.根据权利要求1所述的直播间消息过滤方法，其特征在于，所述响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库，包括：
响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库，利用从所述第一服务器获取的动态更新的敏感词词库，对本地的敏感词词库进行替换以得到更新后的敏感词词库。
3.根据权利要求1所述的直播间消息过滤方法，其特征在于，所述响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库，包括：
响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词，将从所述第一服务器获取的动态更新的敏感词，添加到本地的敏感词词库中以得到更新后的敏感词词库。
4.根据权利要求1所述的直播间消息过滤方法，其特征在于，所述根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤，包括：
将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息；
根据接收到的直播间消息中的词目，查找所述Trie树；
若在所述Trie树中查找到直播间消息中的词目，则确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
5.根据权利要求4所述的直播间消息过滤方法，其特征在于，所述根据接收到的直播间消息中的词目，查找所述Trie树，包括：
对接收到的直播间消息中的词目进行降噪处理，根据降噪处理后的词目查找所述Trie树。
6.根据权利要求5所述的直播间消息过滤方法，其特征在于，所述对接收到的直播间消息中的词目进行降噪处理，包括：
对接收到的直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号。
7.一种直播间消息过滤装置，其特征在于，基于第二服务器，包括：
监听模块，用于监听第一服务器的敏感词词库更新消息；所述第一服务器中保存有动态更新的敏感词词库；
更新模块，用于响应于第一服务器的词库更新消息，根据所述第一服务器中保存的动态更新的敏感词词库，对本地的敏感词词库进行更新以得到更新后的敏感词词库；所述第一服务器与所述第二服务器维护长连接心跳；
过滤模块，用于根据本地更新后的敏感词词库，对接收到的直播间消息进行敏感词过滤；
所述更新模块，具体还用于在本地的敏感词词库中添加或变更敏感词以得到更新后的敏感词词库；
所述过滤模块，具体用于根据bloom-filter算法或indexOf算法对接收到的直播间消息进行敏感词过滤。
8.根据权利要求7所述的直播间消息过滤装置，其特征在于，所述更新模块，具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词词库，利用从所述第一服务器获取的动态更新的敏感词词库，对本地的敏感词词库进行替换以得到更新后的敏感词词库。
9.根据权利要求7所述的直播间消息过滤装置，其特征在于，所述更新模块，具体用于响应于第一服务器的词库更新消息，从所述第一服务器获取动态更新的敏感词，将从所述第一服务器获取的动态更新的敏感词，添加到本地的敏感词词库中以得到更新后的敏感词词库。
10.根据权利要求7所述的直播间消息过滤装置，其特征在于，所述过滤模块，包括：
加载子模块，用于将本地更新后的敏感词词库加载至本地内存中，将更新后的敏感词词库生成Trie树中的节点信息；
查找子模块，用于根据接收到的直播间消息中的词目，查找所述Trie树；
过滤子模块，用于若在所述Trie树中查找到直播间消息中的词目，则确定所述直播间消息中含有敏感词，并禁止所述直播间消息的显示。
11.根据权利要求10所述的直播间消息过滤装置，其特征在于，所述查找子模块，包括：
降噪处理单元，用于对接收到的直播间消息中的词目进行降噪处理；
查找单元，用于根据降噪处理后的词目查找所述Trie树。
12.根据权利要求11所述的直播间消息过滤装置，其特征在于，所述降噪处理单元，具体用于对所述直播间消息中的词目进行正则过滤，以过滤掉所述直播间消息中的词目中所含有的特定字符、字符串或符号。
13.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1至6任一所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1至6任一所述的方法。
CN201810232266.7A 2018-03-20 2018-03-20 直播间消息过滤方法、装置、电子设备及存储介质 Active CN110312166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810232266.7A CN110312166B (zh) 2018-03-20 2018-03-20 直播间消息过滤方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810232266.7A CN110312166B (zh) 2018-03-20 2018-03-20 直播间消息过滤方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110312166A CN110312166A (zh) 2019-10-08
CN110312166B true CN110312166B (zh) 2021-09-24

Family

ID=68074148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810232266.7A Active CN110312166B (zh) 2018-03-20 2018-03-20 直播间消息过滤方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110312166B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460205A (zh) * 2020-04-03 2020-07-28 湖州市超视科技有限公司 一种基于边缘计算的化妆品包装说明质检检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843950A (zh) * 2016-04-12 2016-08-10 乐视控股（北京）有限公司 敏感词过滤方法及装置
CN105956200A (zh) * 2016-06-24 2016-09-21 武汉斗鱼网络科技有限公司 一种基于过滤和转换的弹幕拦截方法及装置
CN106960042A (zh) * 2017-03-29 2017-07-18 中国科学技术大学苏州研究院 基于弹幕语义分析的网络直播监督方法
CN107066543A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 敏感词过滤方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180007433A1 (en) * 2016-06-30 2018-01-04 Intel Corporation Filtering streamed content by content-display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843950A (zh) * 2016-04-12 2016-08-10 乐视控股（北京）有限公司 敏感词过滤方法及装置
CN105956200A (zh) * 2016-06-24 2016-09-21 武汉斗鱼网络科技有限公司 一种基于过滤和转换的弹幕拦截方法及装置
CN107066543A (zh) * 2017-03-14 2017-08-18 北京潘达互娱科技有限公司 敏感词过滤方法和装置
CN106960042A (zh) * 2017-03-29 2017-07-18 中国科学技术大学苏州研究院 基于弹幕语义分析的网络直播监督方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
U社区后台核心模块的设计与实现;矫云媛;《中国优秀硕士学位论文全文数据库信息科技辑》;20150915(第09期);第1-2、11-13、33-38页 *

Also Published As

Publication number Publication date
CN110312166A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
JP2019500684A (ja) 情報推薦方法及び装置
WO2014194642A1 (en) Systems and methods for matching users
CN112672184A (zh) 一种视频审核及发布方法
CN111708911B (zh) 搜索方法、装置、电子设备及计算机可读存储介质
CN109542878B (zh) 一种列表创建方法及装置
CN106034138A (zh) 一种远程服务调用方法及装置
CN108334494B (zh) 一种用户关系网络的构建方法和装置
CN114338102B (zh) 安全检测方法、装置、电子设备及存储介质
CN110312166B (zh) 直播间消息过滤方法、装置、电子设备及存储介质
CN110652728A (zh) 一种游戏资源管理方法、装置、电子设备及存储介质
CN106022117A (zh) 防止系统环境变量修改的方法、装置及电子设备
CN106021129B (zh) 一种终端及终端清理缓存的方法
US20170161322A1 (en) Method and electronic device for searching resource
CN105022821B (zh) 一种内容过滤方法及终端
CN106202423A (zh) 一种文件排序方法和设备
US10872121B2 (en) Systems and methods for matching users
CN116955271A (zh) 一种数据副本存储的方法、装置、电子设备及存储介质
US20170280309A1 (en) Method and terminal for calling application
CN112836127A (zh) 推荐社交用户的方法、装置、存储介质及电子设备
CN106776957A (zh) 内容搜索方法、装置及电子设备
CN102541943A (zh) 一种筛选式人物搜索方法及系统
CN111797392B (zh) 一种控制衍生文件无限分析的方法、装置及存储介质
CN110868385A (zh) 网站安全运营能力确定方法、装置、电子设备及存储介质
CN111782932B (zh) 数据关联的建立方法、装置和计算机可读存储介质
CN108462680B (zh) 输入信息处理方法、服务器和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210603

Address after: 25, 5th floor, shuangjingfang office building, 3 frisha street, 189352, Singapore

Applicant after: Zhuomi Private Ltd.

Address before: Room 1101, Santai Commercial Building, 139 Connaught Road, Hong Kong, China

Applicant before: HONG KONG LIVE.ME Corp.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant