CN110727850B - 网络信息的过滤方法，计算机可读存储介质和移动终端 - Google Patents

Abstract

本发明关于一种网络信息过滤方法，包括从营业执照等图片格式的数据中选取关键词，对关键词在搜索引擎上进行检索，根据检索结果的数量以及更新时间对关键词的相关性进行排序以去除干扰选出重要性高的关键词，从重要性高的关键词中挑选多个进行组合，以形成用于监控的更准确的检索式，以及根据该检索式再次检索，查找检索结果中监控目标词与检索式中的关键词是否一起出现且具有关联性，并将具有关联性的关键词进行过滤以便于自动统计辖区内网络经营主体是否存在违规行为。本发明还公开了执行该方法的计算机可读存储介质和移动终端。

Description

网络信息的过滤方法，计算机可读存储介质和移动终端

技术领域

本申请关于网络监控技术的领域，更具体地关于一种网络信息过滤方法，以及计算机可读存储介质和移动终端。

背景技术

在网络监管领域中需要在一定的辖区范围之内对在网上提供特定种类商品或者服务的所有经营主体进行核查，判断其是否存在违法违规行为，如消费者投诉、安全生产事故、失信行为、假冒伪劣、侵权知识产权等。由于网络经营主体的数量大且实际身份难以确认，以及需要进行核查的监管规则众多，批量统计辖区内所有经营主体是否存在违法违规行为需要较大工作量的人工核验。又因为网络经营主体的经营范围，经营地点和违法违规行为都可能频繁地出现变化，如果没有可以自动批量进行网络监管的方法存在，人工定时进行更新工作所消耗的资源一般是难以接受的。因此需要一种可以自动批量对辖区内的大量网络经营主体进行违法违规行为监控的手段。

发明内容

本发明的目的在于提供一种网络信息过滤方法，包括从来源接收图像形式的源数据，从图像形式的源数据中截取多个预设形状的矩形区域，从多个矩形区域中识别多个关键词，根据多个关键词之中的每个进行检索以获取多个候选地址，根据所获取的多个候选地址的数量和更新时间的顺序对多个关键词排序，将所排序的多个关键词存储在离线表格中，从离线表格中按照所排序的顺序逐个选取至少两个关键词形成检索式并删除未被选取的关键词，将预先确定的目标词加入检索式进行检索以获取多个监控地址，在多个监控地址所对应的页面中的文本格式内容中寻找目标词，根据目标词的出现频率以及目标词与检索式所包括的至少两个关键词的关联性来确定是否对至少两个关键词进行过滤，以及若确定进行过滤，则将所述至少两个关键词及其来源确定为关于所述目标词的被过滤内容并存储和显示该被过滤内容。

在优选实施例中，关联性根据目标词与检索式所包括的至少两个关键词相隔的距离而变化。

在优选实施例中，目标词与检索式所包括的至少两个关键词在根据预先建立的概率分布数据库中语义相似性越低，则关联性就越大。

在优选实施例中，所识别的多个关键词中的每个的长度大于预设的长度阈值。

在优选实施例中，根据多个关键词之中的每个进行检索以获取多个候选地址的步骤还包括根据多个候选地址的数量而减少每个关键词所包含的字符的数量。

在优选实施例中，检索式包括至少两个关键词以“与”逻辑相互组合以形成的组合。

在优选实施例中，检索式包括以“或”逻辑相互组合的两个或更多所述组合。

在优选实施例中，还包括根据所述关联性确定根据所述检索式进行检索的频度，以及根据所确定的频度检索并更新所存储的关于所述目标词的所述被过滤内容。

本发明的实施例还公开了计算机可读存储介质和移动终端，以用于执行本发明的实施例所公开的方法步骤。

本发明所提供的优势在于可以通过所批量截取的图像数据提取关键词，并对关键词进行排序来找出更新日期较近，高频出现且可信度较高的关键词以用于自动监管过程。在自动监管过程中，定义反映监管规则的特定目标词与关键词之间的关联性，以允许以更高的准确性来判断是否存在违规行为并去除检索中发现的无关信息。本发明的实施例使得可能实现辖区内经营主体的自动监管，以每月甚至每日的高更新频度从产品广告、营业执照等图片信息保持分析该经营主体是否有各类负面信息，并且可以输出对整个辖区内所有违规的经营主体情况的统计信息。

附图说明

本发明申请的附图是为了提供实施例的图示说明而不是为了限制实施例，在图中相似的附图标记表示相似的元素。

图1是根据本公开一些实施例的网络信息过滤方法的流程图。

图2是根据本发明一些实施例的移动终端的框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示，在步骤S101中，首先从来源接收图像形式的源数据。来源可以是主机或Internet上的地址等。从来源接收的图像形式的源数据可以是以图像等不可编辑格式来保存的含有监管中需要审核的特定信息的数据，例如产品海报，营业执照等。根据源数据的特性可以从中截取多个具有预设大小和形状的矩形区域，这些矩形区域之内包含有字符。可以根据分布有字符的区域的特征，如色彩分布等使得矩形区域尽量少地包含不具有字符的区域。可以在截取矩形区域之前先进行图像二值化等操作以进一步便于选取包含文字的区域。矩形区域的大小优选包括3-10个字符，这可以根据监管所需来确定。矩形区域的数量根据字符的估计数量来选取。矩形区域可以相互重叠从而具有共同的几个字符但并不完全重合。此后，从每个矩形区域中通过光学字符识别OCR等来提取矩形区域内的字符所构成的字符串，也就是关键词。所识别的多个关键词中的每个的长度应大于预设的长度阈值，如7-8个字符，以避免所截取的关键词带来过多的检索噪声。

在步骤S102中，对所提取的关键词进行初步检索，根据使用场景检索可以在预备的以哈希表，查找树等结构进行存储的离线数据库中进行，也可以在在线的情况下在商用的搜索引擎上进行。所检索到的地址此时为候选地址，其中将包括大量的干扰信息，或者由于关键词选择不当而无法得到正确结果。所检索出的候选地址的数量和更新时间将用于评价所使用的关键词是否能产生具有充足数量且更新及时的搜索结果，可以对关键词进行排序，检索结果数量较多且更新时间较新的关键词也将被排序为较靠前的位置，而检索结果数量小且在感兴趣时间内无更新的则被排序到靠近末尾的位置。对于所提取的关键词数量较多的情况，仅从排序在前的关键词中进行选择，而在后的关键词通过初步检索被去除。优选将关键词的预设长度阈值设置为相对于监管所需的关键词如公司名称，商品名称等具有更多的字符，在检索到的后续地址数量过少时，应减少所对应关键词中的字符数以便对该部分的关键词尝试进行修正。还优选根据监管中所关注的特定方面，如法人或个人名称，地址，时间等来对排序后的关键词进行筛选，删除与所关注的特定方面无关的部分关键词。

在步骤S103中，将所排序的多个关键词依次存储在离线表格中，并从该表格中按照排序的顺序选择至少两个关键词用于之后的第二步检索。此后，可以从该表格中删去不需要的关键词。所选择的至少两个关键词是排序时更新时间最新，且候选地址的数量最大的一部分关键词，可以设置一个在感兴趣时间内候选地址数量的阈值，超过该地址数量阈值的关键词被选出。

在步骤S104中，将所选择的至少两个关键词形成为检索式，检索式可以包括至少两个关键词以“与”即“AND”逻辑相互组合以形成的组合，还可以包括以“或”即“OR”逻辑相互组合的两个或更多上述组合。经过步骤S103筛选的多个关键词可以是公司名称，特定商品的名称，特定事件的地点和时间等，上述多个关键词在组合之后可以形成具有特定语义的检索式，并更准确地反映监管过程中所关注的特定方面。所形成的检索式此后将加入目标词，该目标词可以是反映特定违规行为的单个预定词语，例如“事故”，“诈骗”。“传销”，“假冒”等，或者以“或”逻辑进行组合的多个预定词语。之后将目标词以“与”逻辑加入检索式。

在步骤S105中，将已并入目标词的检索式输入搜索引擎进行第二次检索，得到多个在其页面的文本内容中包括目标词的监控地址。定义一个在监控地址中目标词于检索式中关键词的关联性，以用于指示目标词与关键词是否具有内容上的相关。首先，应确定目标词与关键词是否在文本内容的同一结构或者格式之中，如是否都出现在同一篇新闻的正文内容中且具有相同的字体、字号等，相应可以判断关联性的强弱。关联性进一步根据目标词与检索式所包括的至少两个关键词相隔的距离，也就是间隔的字符数而变化。如果目标词距离关键词的距离超出一定的限制，例如均相隔数个段落，则可以认为其关联性弱。关联性还可以根据预先建立的概率分布数据库之中目标词与关键词的语义相似性来确定，该概率分布数据库可以通过无监督的机器学习对互联网上的页面进行训练而得到，将高概率与目标词同时出现的一些词分类为语义相似性高的词并存储入该数据库中，反之亦然。如果在第二次检索中，目标词与检索式所包括的至少两个关键词在该概率分布数据库中语义相似性越低，则说明本来不应该产生关联的词语产生了意料之外的关联，此时关联性也相应增大，表示可能出现了监管中感兴趣的异常事件。根据上述关联性打的确定，本步骤还包括判断检索式中的关联性是否已经足够强到需要进行过滤。例如，满足目标词与关键词在同一正文和格式中，相隔距离小于M(M为正整数)个字符以及在概率分布数据库中的相似性显示其常规上并非大概率一起出现，则判断应对该关键词进行过滤，即将该关键词及其来源筛选出并向监管人员输出其存在。

在步骤S106中，将判断进行过滤的至少两个关键词及其来源确定为关于所述目标词的被过滤内容，并将被过滤内容存储在存储器中，同时通过显示器向监管人员提醒来自该来源且具有该关键词的经营主体可能出现了违规行为。也可以将所有被过滤出的关键词及其来源一起显示并输出为文本形式的列表。关联性还可以用来确定后续进行持续检索的频度，因监管过程需要持续不断进行并更新一段时间内被过滤内容是否应进行增减，所以可以对关联性随着时间有增加趋势的未过滤内容提升后续检索的频度，仅单位时间内进行更多次的检索，而对关联性随着时间有降低趋势的未过滤内容或者已过滤内容可降低后续检索的频度，以确保被过滤内容的时效性。

以上方法步骤S101-S106之中的部分或者是全部均可以以计算机可读指令的形式存储于计算机可读介质，诸如光盘，闪存，硬盘，存储云，RAM，ROM等之中，并且由专用或者通用的计算机读取并执行以实施该方法步骤。

图2公开了根据一些实施例的移动终端200。移动终端200可以是掌上计算机，智能电话，平板计算机，可穿戴智能设备，笔记本计算机等各类便携设备。终端设备移动终端200应包括处理器201，处理器201可以是任何专业或者通用的微处理器，处理芯片，逻辑单元，控制器，片上系统等。移动终端200还包括存储器203，存储器203可以是易失性或者非易失性的存储装置或其组合，并且用来存储体现图1中方法步骤的计算机程序211。存储器203中还应包括诸如各类操作系统的系统程序212以及计算机程序211和系统程序212所产生或使用的存储数据213。移动终端200还可以包括显示器205以用于显示所输出的结构。移动终端200还可以包括用户接口207例如触摸屏、按键、轨迹球、姿势识别摄像头、键盘、鼠标等以用于用户输入。移动终端200还可以包括收发器209以用于与Internet或者其上的其他移动或固定终端进行通信以实现数据的传输。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种网络信息过滤方法，其特征在于包括：

从来源接收图像形式的源数据；

从所述图像形式的源数据中截取多个预设形状的矩形区域；

从所述多个矩形区域中识别多个关键词；

根据所述多个关键词之中的每个进行检索以获取多个候选地址；

根据所获取的所述多个候选地址的数量和更新时间的顺序对所述多个关键词排序；

将所排序的多个关键词存储在离线表格中；

从所述离线表格中按照所排序的顺序逐个选取至少两个关键词形成检索式并删除未被选取的关键词；

将预先确定的目标词加入所述检索式进行检索以获取多个监控地址；

在多个监控地址所对应的页面中的文本格式内容中寻找所述目标词；

根据目标词的出现频率以及目标词与所述检索式所包括的所述至少两个关键词的关联性来确定是否对所述至少两个关键词进行过滤；以及

若确定进行过滤，则将所述至少两个关键词及其来源确定为关于所述目标词的被过滤内容并存储和显示所述被过滤内容。

2.权利要求1所述的方法，其特征在于所述关联性根据所述目标词与所述检索式所包括的所述至少两个关键词相隔的距离而变化。

3.权利要求2所述的方法，其特征在于所述目标词与所述检索式所包括的所述至少两个关键词在根据预先建立的概率分布数据库中语义相似性越低，则所述关联性越大。

4.权利要求3所述的方法，其特征在于所识别的多个关键词中的每个的长度大于预设的长度阈值。

5.权利要求4所述的方法，其特征在于根据所述多个关键词之中的每个进行检索以获取多个候选地址的步骤还包括根据所述多个候选地址的数量而减少每个关键词所包含的字符的数量。

6.权利要求5所述的方法，其特征在于所述检索式包括所述至少两个关键词以“与”逻辑相互组合以形成的组合。

7.权利要求6所述的方法，其特征在于所述检索式包括以“或”逻辑相互组合的两个或更多所述组合。

8.权利要求7所述的方法，其特征在于还包括根据所述关联性确定根据所述检索式进行检索的频度，以及根据所确定的频度检索并更新所存储的关于所述目标词的所述被过滤内容。

9.一种计算机可读存储介质，其具有存储于其上的计算机可读指令，其特征在于所述计算机可读指令在被处理器执行时实现权利要求1-8中任一项所述的方法。

10.一种移动终端，包括处理器和存储器，所述存储器中存储有所述处理器可执行的计算机程序，其特征在于所述计算机程序在被所述处理器执行时实现权利要求1-8中任一项所述的方法。

Images