CN109788365A - 一种页面弹幕的过滤方法及系统 - Google Patents
一种页面弹幕的过滤方法及系统 Download PDFInfo
- Publication number
- CN109788365A CN109788365A CN201811442202.6A CN201811442202A CN109788365A CN 109788365 A CN109788365 A CN 109788365A CN 201811442202 A CN201811442202 A CN 201811442202A CN 109788365 A CN109788365 A CN 109788365A
- Authority
- CN
- China
- Prior art keywords
- barrage information
- barrage
- information
- sensitive
- refined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种页面弹幕的过滤方法及系统,其中,所述方法包括以下步骤:S1、接收输入的弹幕信息后,对弹幕信息进行初步处理,并结合预设的敏感词库判断弹幕信息中是否存有敏感词,若是,对弹幕信息进行第一格式处理后输出弹幕信息;反之,执行步骤S2;S2、将第一弹幕信息输入审核界面后,对第一弹幕信息进行提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。本发明根据敏感词库对弹幕信息进行初步过滤后,再将弹幕信息输入审核界面进行提炼并做进一步提炼,从而提高了过滤质量,可广泛应用于网络数据过滤技术领域。
Description
技术领域
本发明涉及网络数据过滤技术领域,尤其涉及一种页面弹幕的过滤方法及系统。
背景技术
随着社会与科技的发展,越来越多用户通过智能终端观看视频,比如观看电影、综艺节目和直播平台,这些网络平台为了能够与用户更好地互动,普遍设置了弹幕功能,用户可通过智能终端输入弹幕。这些弹幕会出现在视频的前面,被千千万万的用户观看到。因此,有些不法分子或者图谋不轨的人想借助弹幕传播一些不良信息,这些信息一当被传输就会被成千上万的人接收到,会造成严重的后果。因此,考虑到法律法规和视频播放的安全,需要对弹幕信息进行审核,从而选出弹幕中的敏感词,并加以处理。然而,现有的过滤方案一般是采用敏感词库来匹配过滤,然而这种方案过滤的效果不够全面,比如,在敏感词库中记录有“小明”,而如果弹幕信息中出现“xiao明”,则过滤不掉。
发明内容
为了解决上述技术问题,本发明的目的是提供一种效果更好的页面弹幕的过滤方法。
本发明的另一目的是提供一种效果更好的页面弹幕的过滤系统。
本发明方法所采用的技术方案是:
一种页面弹幕的过滤方法,包括以下步骤:
S1、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,继续执行步骤S2;
S2、将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步,所述步骤S2中所述的对弹幕信息做进一步的提炼的步骤,具体为:
采用人工提炼方式对第一弹幕信息进行提炼。
进一步,所述步骤S1,具体包括以下步骤:
S11、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语;
S12、依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,继续执行步骤S2。
进一步,所述步骤S2,具体包括以下步骤:
S21、按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面;
S22、采用人工提炼方式对第一弹幕信息进行提炼;
S23、判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步,所述步骤S21,具体为:
获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
本发明系统所采用的技术方案是:
一种页面弹幕的过滤系统,包括:
初步过滤模块,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,进入提炼过滤模块;
提炼过滤模块,用于将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步,所述初步过滤模块,包括拆分单元和匹配单元;
所述拆分单元,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语;
所述匹配单元,用于依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,进入提炼过滤模块。
进一步,所述提炼过滤模块包括合并单元、提炼单元和输出单元;
所述合并单元,用于按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面;
所述提炼单元,用于采用人工提炼方式对第一弹幕信息进行提炼;
所述输出单元,用于判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步,所述合并单元具体用于获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
本发明系统所采用的另一技术方案是:
一种页面弹幕的过滤系统,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述的一种页面弹幕的过滤方法。
本发明的有益效果是:本发明根据敏感词库对弹幕信息进行初步过滤后,再将弹幕信息输入审核界面进行提炼并做进一步过滤,能够更加快速的进行过滤,也使过滤效果更加全面,提高了过滤质量,满足了全面过滤的高要求。
附图说明
图1是本发明一种页面弹幕的过滤方法的步骤流程图;
图2是本发明一种页面弹幕的过滤系统的结构框图。
具体实施方式
实施例一
如图1所示,本实施例提供一种页面弹幕的过滤方法,包括以下步骤:
A1、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,继续执行步骤A2。
A2、将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
上述方法的工作原理为:用户通过智能终端输入弹幕后,对弹幕进行初步处理,比如识别弹幕中的文字、符号和表情图像等信息,并过滤掉符号或表情图像等。获取到弹幕信息中的语句后,结合预设的敏感词库对判断弹幕信息中是否存有敏感词,所述敏感词库是存储有敏感词汇的数据库,当判断到弹幕语句中存有敏感词库记录的敏感词,判定该弹幕信息违规,直接对该弹幕信息进行第一格式处理,再输出弹幕信息,所述第一格式处理可以为:将弹幕信息的文字删掉,也可以为将文字采用预设好的表情图案代替。上述基于敏感词库过滤只是初步过滤,将经过初步过滤的弹幕信息输入审核界面,对弹幕信息做进一步的提炼,所述提炼可以为机器人提炼,也可以为人工提炼,当选择机器人提炼时,可以对敏感词的相义词或相近词进行提炼,比如“18”的相义词为“十八”,或者“小明”的相义词为“xiaoming”,“肥”的相近词为“胖”,通过机器人提炼后,判定为敏感词的,对弹幕信息进行第二格式处理后输出弹幕信息,并将提炼到的敏感词补入敏感词库。由于初步过滤的速度比较快,因此通过初步过滤,可以过滤大部分的敏感词,加快了过滤的速度,而通过进一步敏感词的提炼,可使敏感词的过滤更加充分,过滤质量更好,从而满足高质量的过滤要求。
具体的,其中步骤A1具体包括A11~A12:
A11、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语。
A12、依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,继续执行步骤A2。
由于接收到的弹幕信息大都是语句,故需要对语句拆分成词语后,在于敏感词库进行对比匹配,在本实施例中的语句拆分采用现有的语句拆分技术即可,比如通过动宾结构拆分等。拆分后,进行比对并判断是否存有敏感词,若存有,则直接对弹幕信息进行第一格式处理后输出弹幕信息;若不存有,则根据预设的常规词库对弹幕信息进行第三格式处理,因为一般语句中存有较多的常规词语,比如“的”“地”“我”等等这些词汇,选出弹幕信息中这些常规的词汇,并对剩下的词语进行高亮处理或以其他形式显示,即进行第三格式处理,如此更加方便后续的人工提炼。
步骤A2具体包括A21~A23:
A21、按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面。
其中,步骤A21具体为:获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
A22、采用人工提炼方式对第一弹幕信息进行提炼。
A23、判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
由于弹幕信息中,存有较多的相同弹幕信息,这是因为有些用户在发送弹幕时直接复制粘贴别人的内容,因此存有相同弹幕信息,在将弹幕信息输入审核界面前,先获取相同的弹幕信息,并将相同的弹幕信息进行合并,从而使得在审核界面上相同的内容只显示一次。在本实施例中,审核界面以5秒为间隔,审核界面上显示5秒内用户发送的弹幕信息,所以合并步骤中,是将5秒内相同的弹幕信息进行合并。人工对敏感词提炼后,判断弹幕信息存有敏感词的,对弹幕信息进行第二格式处理后输出弹幕信息,并将提炼到的敏感词补入敏感词库,增加敏感词库词汇量,从而加大初步过滤的功能。
上述方法,对弹幕信息的敏感词进行初步过滤,再通过人工提炼对敏感词进行深一步的过滤,从而达到更加全面过滤的效果,满足了高质量的过滤质量,由于先进行初步过滤,且对弹幕信息进行合并处理,因此提高的过滤想效率。
实施例二
如图2所示,本实施例提供一种页面弹幕的过滤系统,包括:
初步过滤模块,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,进入提炼过滤模块;
提炼过滤模块,用于将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步作为优选的实施方式,所述初步过滤模块,包括拆分单元和匹配单元;
所述拆分单元,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语;
所述匹配单元,用于依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,进入提炼过滤模块。
进一步作为优选的实施方式,所述提炼过滤模块包括合并单元、提炼单元和输出单元;
所述合并单元,用于按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面;
所述提炼单元,用于采用人工提炼方式对第一弹幕信息进行提炼;
所述输出单元,用于判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
进一步作为优选的实施方式,所述合并单元具体用于获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
上述系统,对弹幕信息的敏感词进行初步过滤,再通过人工提炼对敏感词进行深一步的过滤,从而达到更加全面过滤的效果,满足了高质量的过滤质量,由于先进行初步过滤,且对弹幕信息进行合并处理,因此提高的过滤想效率。
实施例三
本实施例提供一种页面弹幕的过滤系统,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现实施例一所述的一种页面弹幕的过滤方法。
本实施例的一种页面弹幕的过滤系统,可执行本发明方法实施例一所提供的一种页面弹幕的过滤方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种页面弹幕的过滤方法,其特征在于,包括以下步骤:
S1、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,继续执行步骤S2;
S2、将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
2.根据权利要求1所述的一种页面弹幕的过滤方法,其特征在于,所述步骤S2中所述对第一弹幕信息做进一步的提炼的步骤,具体为:
采用人工提炼方式对第一弹幕信息进行提炼。
3.根据权利要求2所述的一种页面弹幕的过滤方法,其特征在于,所述步骤S1,具体包括以下步骤:
S11、接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语;
S12、依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,继续执行步骤S2。
4.根据权利要求3所述的一种页面弹幕的过滤方法,其特征在于,所述步骤S2,具体包括以下步骤:
S21、按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面;
S22、采用人工提炼方式对第一弹幕信息进行提炼;
S23、判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
5.根据权利要求4所述的一种页面弹幕的过滤方法,其特征在于,所述步骤S21,具体为:获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
6.一种页面弹幕的过滤系统,其特征在于,包括:
初步过滤模块,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行初步处理,并结合预设的敏感词库判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,进入提炼过滤模块;
提炼过滤模块,用于将经过初步处理的第一弹幕信息输入审核界面后,对第一弹幕信息做进一步的提炼,并判断第一弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
7.根据权利要求6所述的一种页面弹幕的过滤系统,其特征在于,所述初步过滤模块,包括拆分单元和匹配单元;
所述拆分单元,用于接收输入的第一弹幕信息后,根据预设方式对第一弹幕信息进行拆分,从而获得多个词语;
所述匹配单元,用于依次将各词语与敏感词库中的敏感词进行匹配,并判断是否匹配成功,若是,判定第一弹幕信息存有敏感词,并对第一弹幕信息进行第一格式处理后输出第二弹幕信息;反之,根据预设的常规词库对第一弹幕信息进行第三格式处理后,进入提炼过滤模块。
8.根据权利要求7所述的一种页面弹幕的过滤系统,其特征在于,所述提炼过滤模块包括合并单元、提炼单元和输出单元;
所述合并单元,用于按照预设的合并条件对经过初步处理的第一弹幕信息进行合并,并将合并后的第一弹幕信息输入审核界面;
所述提炼单元,用于采用人工提炼方式对第一弹幕信息进行提炼;
所述输出单元,用于判断弹幕信息中是否存有敏感词,若是,对第一弹幕信息进行第二格式处理后输出第三弹幕信息,并将提炼到的敏感词补入敏感词库;反之,输出第一弹幕信息。
9.根据权利要求8所述的一种页面弹幕的过滤系统,其特征在于,所述合并单元具体用于获取预设间隔时间内的第一弹幕信息,判断是否存有相同的第一弹幕信息,并在判断存有时,将相同的第一弹幕信息合并后,输入审核界面。
10.一种页面弹幕的过滤系统,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-5任一项所述的一种页面弹幕的过滤方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811442202.6A CN109788365A (zh) | 2018-11-29 | 2018-11-29 | 一种页面弹幕的过滤方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811442202.6A CN109788365A (zh) | 2018-11-29 | 2018-11-29 | 一种页面弹幕的过滤方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109788365A true CN109788365A (zh) | 2019-05-21 |
Family
ID=66496039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811442202.6A Pending CN109788365A (zh) | 2018-11-29 | 2018-11-29 | 一种页面弹幕的过滤方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109788365A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565329A (zh) * | 2019-10-28 | 2020-08-21 | 张瑞 | 一种基于大数据的弹幕显示处理方法 |
CN113316026A (zh) * | 2021-05-24 | 2021-08-27 | 康键信息技术(深圳)有限公司 | 弹幕消息处理方法、装置、设备及存储介质 |
-
2018
- 2018-11-29 CN CN201811442202.6A patent/CN109788365A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111565329A (zh) * | 2019-10-28 | 2020-08-21 | 张瑞 | 一种基于大数据的弹幕显示处理方法 |
CN113316026A (zh) * | 2021-05-24 | 2021-08-27 | 康键信息技术(深圳)有限公司 | 弹幕消息处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522083B (zh) | 一种页面智能化响应交互系统及方法 | |
CN110019744A (zh) | 辅助生成会议纪要的方法、装置、设备及计算机存储介质 | |
CN107220235A (zh) | 基于人工智能的语音识别纠错方法、装置及存储介质 | |
CN107704453A (zh) | 一种文字语义分析方法、文字语义分析终端及存储介质 | |
CN105657471B (zh) | 一种管理账户的方法和装置 | |
CN109740053A (zh) | 基于nlp技术的敏感词屏蔽方法和装置 | |
CN111629010B (zh) | 一种恶意用户识别方法及装置 | |
CN102073676A (zh) | 一种网络色情视频实时检测方法和系统 | |
CN110177182A (zh) | 敏感数据处理方法、装置、计算机设备及存储介质 | |
CN113194058B (zh) | Web攻击检测方法、设备、网站应用层防火墙及介质 | |
CN106356077B (zh) | 一种笑声检测方法及装置 | |
CN109788365A (zh) | 一种页面弹幕的过滤方法及系统 | |
CN106601257A (zh) | 一种声音识别方法、设备和第一电子设备 | |
CN108319672A (zh) | 基于云计算的移动终端不良信息过滤方法及系统 | |
CN105955963A (zh) | 一种机器人问答交互开放平台及交互方法 | |
CN103812679B (zh) | 一种海量日志统计分析系统和方法 | |
CN108595233A (zh) | 一种基于语音提示的电子证据采集方法及系统 | |
CN110430323A (zh) | 一种多任务智能协调方法、设备和系统 | |
CN106294765A (zh) | 处理新闻数据的方法及装置 | |
CN109766715A (zh) | 一种面向大数据环境隐私信息防泄露自动识别方法及系统 | |
CN107767860A (zh) | 一种语音信息处理方法和装置 | |
CN109768936A (zh) | 一种精细化分流系统及分流方法 | |
WO2021151333A1 (zh) | 基于人工智能的敏感词识别方法、装置及计算机设备 | |
WO2021174926A1 (zh) | 一种网站不良信息监测系统及其监测方法 | |
CN107786980A (zh) | 一种诈骗信息识别方法及其装置、移动终端、服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190521 |