CN112287268A - 网络资源搜索的处理方法及装置 - Google Patents
网络资源搜索的处理方法及装置 Download PDFInfo
- Publication number
- CN112287268A CN112287268A CN201910668211.5A CN201910668211A CN112287268A CN 112287268 A CN112287268 A CN 112287268A CN 201910668211 A CN201910668211 A CN 201910668211A CN 112287268 A CN112287268 A CN 112287268A
- Authority
- CN
- China
- Prior art keywords
- user
- sensitive
- resources
- search
- search request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种网络资源搜索的处理方法、装置及存储介质;方法包括:对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;根据所述行为指标确定所述用户的限制状态;接收所述用户的搜索请求,并解析所述搜索请求携带的关键字;当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。通过本发明,能够柔性屏蔽用户搜索敏感资源的行为。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种网络资源搜索的处理方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的不断发展,人们可以通过互联网获取各种资讯信息。然而,互联网的内容良莠不齐,存在大量诸如色情、暴力、诈骗等敏感资源。
相关技术对于敏感资源的控制一般都做的比较简单粗暴,通常是直接将敏感资源的搜索结果都过滤掉;或者配置敏感资源查询(Query)名单,一旦Query命中此名单就把搜索结果都屏蔽掉。上述统一处理的方式不但可能被替换关键字的方式轻易绕过,而且有伤用户体验。
发明内容
本发明实施例提供一种网络资源搜索的处理方法、装置、电子设备及存储介质,能够柔性屏蔽用户搜索敏感资源的行为。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种网络资源搜索的处理方法,包括:
对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;
根据所述行为指标确定所述用户的限制状态;
接收所述用户的搜索请求,并解析所述搜索请求携带的关键字;
当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
本发明实施例提供一种网络资源搜索的处理装置,包括:
确定模块,用于对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;以及用于根据所述行为指标确定所述用户的限制状态;
解析模块,用于接收所述用户的搜索请求,解析所述搜索请求携带的关键字;
处理模块,用于当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
上述方案中,所述解析模块,还用于解析所述用户在采样时间内所发起的历史搜索请求中携带的关键字。
上述方案中,所述确定模块,还用于将所述历史搜索请求中携带的关键字与全量敏感资源关键字库进行匹配,以确定所述用户搜索敏感资源的次数;以及针对所述用户在采样时间内的搜索敏感资源的次数,确定与所述次数所处的取值区间关联的限制状态。
上述方案中,所述确定模块,还用于将所述历史搜索请求中携带的关键字与不同类型敏感资源的敏感关键字库进行匹配,以分别确定所述用户搜索不同类型的敏感资源的次数;以及针对所述用户在采样时间内搜索不同类型的敏感资源的次数,分别确定与所述次数所处的取值区间关联的限制状态。
上述方案中,所述处理模块,还用于根据所述用户的限制状态的强度的降序,对所述敏感关键字对应的原始搜索结果,执行以下不同程度的限制处理中与所述限制状态的强度相应程度的限制处理:在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果中滤除部分或者全部的敏感资源;其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
上述方案中,所述处理模块,还用于根据所述用户的限制状态,对所述敏感关键字对应的原始搜索结果,进行与所述限制状态相应程度的过滤处理和/或加扰处理;所述加扰处理,包括以下至少之一:在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;所述过滤处理包括:在原始搜索结果中滤除部分或者全部的敏感资源;其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
上述方案中,所述处理模块,还用于根据所述用户的限制状态,对所述用户获取与所述搜索请求对应的搜索结果的用户体验,进行与所述限制状态相应程度的降低处理。
上述方案中,所述处理模块,还用于根据所述用户的限制状态的强度的降序,对所述搜索结果执行以下不同程度的降低处理中与所述限制状态的强度相应程度的降低处理:增加视频的缓冲时间;降低视频缓冲的网速或者视频播放的网速;显示视频处于持续缓冲中的界面。
上述方案中,所述处理模块,还用于当所述搜索结果中包括视频时,将所述视频的播放时长、缓冲速度和视频质量至少之一,进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括音频时,将所述音频的采样率进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括图片时,将所述图片的分辨率和加载速度至少之一进行与所述用户的限制状态相应程度的降低处理。
本发明实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的网络资源搜索的处理方法。
本发明实施例提供一种存储介质,存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的网络资源搜索的处理方法。
本发明实施例具有以下有益效果:
通过对用户搜索网络资源的历史行为记录进行分析,识别出搜索敏感资源的用户,并根据用户搜索敏感资源的行为指标确定用户的限制状态,当接收到用户发送的携带有敏感关键字的搜索请求时,根据用户的限制状态,对搜索请求进行相应程度的限制处理,从而能够柔性屏蔽用户搜索敏感资源的行为。
附图说明
图1是本发明实施例提供的网络资源搜索的处理方法的一个可选的应用场景示意图;
图2是本发明实施例提供的用于网络资源搜索的处理的电子设备的结构示意图;
图3是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图;
图4A是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图;
图4B是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图;
图5A是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图;
图5B是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图;
图6是相关技术中网络资源搜索的处理结果示意图;
图7是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
发明人在实施本发明实施例的过程中发现,相关技术对于敏感资源的控制通常是通过直接将敏感资源的搜索结果都过滤掉;或者配置敏感资源查询(Query)名单,一旦Query命中此名单就把搜索结果都屏蔽掉。而使用禁止搜索的方法比较简单粗暴,一旦关键字配置错误还可能导致非敏感资源也会被屏蔽掉,同时,展示类似“没有找到相关视频”的提示过于生硬,影响用户体验。另外,对于配置敏感资源查询名单,也可以通过使用变体字、拼音或者更换描述方式等方法进行绕过。
对此,考虑对用户搜索请求进行根据用户限制状态相应程度限制处理的分级屏蔽策略,故可以在处理携带有敏感关键字的搜索请求时,通过对用户搜索网络资源的历史行为记录进行分析,识别出搜索敏感资源的用户,并根据用户搜索敏感资源的行为指标确定用户的限制状态,当接收到用户发送的携带有敏感关键字的搜索请求时,根据用户的限制状态,对搜索请求进行限制处理。
鉴于此,本发明实施例提供一种网络资源搜索的处理方法、装置、电子设备和存储介质,能够柔性屏蔽用户搜索敏感资源的行为。
下面说明本发明实施例提供的电子设备的示例性应用,本发明实施例提供的电子设备可以实施为台式电脑、笔记本电脑、智能手机、平板电脑等各种类型的用户终端,也可以实施为服务器或服务器集群,还可以采用由用户终端和服务器协同的方式实施。下面,将说明电子设备的示例性应用。
参见图1,图1是本发明实施例提供的网络资源搜索的处理方法的一个可选的应用场景示意图,服务器300通过网络200向用户终端100提供搜索引擎的服务,所述搜索引擎是指根据一定的策略、运用计算机程序从互联网上搜集信息,在对信息进行组织和处理后,将相关信息展示给用户的系统。
本发明实施例提供的网络资源搜索的处理方法可以应用于以下场景:服务器300的分析单元310首先对用户在搜索引擎上的历史搜索记录进行分析,确定用户搜索敏感资源的行为指标,并根据用户搜索敏感资源的行为指标确定用户的限制状态,受限用户进入用户终端100的搜索引擎的操作界面,在搜索引擎的搜索框中输入关键字,搜索引擎将相应的搜索请求发送到服务器300,服务器300的解析单元320对搜索请求进行解析,当接收到用户携带有敏感关键字的搜索请求时,服务器300的处理单元330对从数据库400返回的与敏感关键字匹配的原始搜索结果进行与用户的限制状态相应程度的限制处理,将处理后的搜索结果发送至用户终端100,从而能够柔性屏蔽用户搜索敏感资源的行为。
当然,本发明实施例提供的网络资源搜索的处理方法不局限于搜索引擎上网页资源的应用场景,例如,还可以应用于其他类型的网络资源的搜索场景,这些网络资源包括视频聚合类站点上的视频资源、音频聚合类站点上的音频资源、电子书聚合类站点上的文本资源和图像聚合类站点上的图片资源等。
下面说明本发明实施例提供的电子设备的示例性结构,参见图2,图2是本发明实施例提供的用于网络资源搜索处理的电子设备300的结构示意图,图2所示的电子设备300包括:至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。电子设备300中的各个组件通过总线系统340耦合在一起。可理解,总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统340。
处理器310可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器350可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。
存储器350包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本发明实施例描述的存储器350旨在包括任意适合类型的存储器。
在一些实施例中,存储器350能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统351,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块352,用于经由一个或多个(有线或无线)网络接口320到达其他计算设备,示例性的网络接口320包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块353,用于经由一个或多个与用户接口330相关联的输出装置331(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块354,用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的网络资源搜索的处理装置可以采用软件方式实现,图2示出了存储在存储器350中的装置355,其可以是程序和插件等形式的软件,包括以下软件模块:确定模块3551、解析模块3552和处理模块3553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本发明实施例提供的装置可以采用硬件方式实现,作为示例,本发明实施例提供的网络资源搜索的处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的网络资源搜索的处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
下面将结合本发明实施例提供的电子设备为服务器时的示例性应用,说明本发明实施例提供的网络资源搜索的处理方法。
参见图3,图3是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图,将结合图3示出的步骤进行说明。
步骤S301:对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标。
这里,所述网络资源包括网络中所有可以基于关键字搜索的资源,例如搜索引擎上的网页资源,还可以包括视频网站或者视频客户端上的视频资源、音频网站或者音频客户端上的音频资源、电子书网站上的文本资源和图像网站上的图片资源等。
所述历史行为记录是指服务器记录用户在采样时间内访问网页、观看视频、阅读电子书等历史行为,其中,所述采样时间可以是过去的一周或者一个月,本发明实施例在此不做限定。
作为示例,在搜索引擎的应用场景中,服务器记录用户在采样时间(例如过往的一月或一周)内搜索时输入的搜索请求、浏览的网页信息以及在不同网页上的停留时间等历史行为。
作为示例,在视频客户端的应用场景中,服务器记录用户在采样时间内检索时输入的关键字、点击的视频内容标题以及观看时长等历史行为。
参见图4A,图4A是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图,图3示出的步骤S301可以通过图4A示出的步骤S3011A至步骤S3012A实现,将结合各步骤进行说明。
步骤S3011A:解析用户在采样时间内所发起的历史搜索请求中携带的关键字。
步骤S3012A:将所述历史搜索请求中携带的关键字与全量敏感资源关键字库进行匹配,确定用户搜索敏感资源的次数。
在将提取出的关键字与全量敏感资源关键字库进行匹配之前,服务器需要预先获取全量敏感资源关键字库。其中,服务器建立全量敏感资源关键字库的过程可以是:服务器运维人员或者服务器自动通过多种方式搜索敏感资源关键字,将所有搜索到的敏感资源关键字存档,即可得到全量敏感资源关键字库。可选地,搜索敏感资源关键字的多种方式包括:通过相关搜索获取敏感资源关键字、通过关键字工具获取敏感资源关键字、通过拆分关键字再自动组合获取敏感资源关键字或者接收用户举报的敏感资源关键字等方式。将用户在采样时间内所有搜索请求中携带的关键字与上述建立的全量敏感资源关键字库进行匹配,确定用户搜索敏感资源的总次数。
参见图4B,图4B是本发明实施例提供的网络资源搜索的处理方法的另一个可选的流程示意图,图3示出的步骤S301也可以通过图4B示出的步骤S3011B至步骤S3012B实现,将结合各步骤进行说明。
步骤S3011B:解析用户在采样时间内所发起的历史搜索请求中携带的关键字。
步骤S3012B:将所述历史搜索请求中携带的关键字与不同类型敏感资源的敏感关键字库进行匹配,分别确定用户搜索不同类型的敏感资源的次数。
服务器在获取到敏感资源关键字时,按照其类型划分成若干个不同的敏感资源关键字库,例如,可以将其划分为“色情类”、“暴力类”、“诈骗类”、“政治类”等不同类型的敏感资源关键字库,每个敏感资源关键字库均包括多个敏感资源关键字。因此,可以将用户在采样时间内搜索请求携带的关键字与上述不同类型的敏感资源关键字库进行匹配,分别确定用户在采样时间内搜索“色情”资源的次数、搜索“暴力”资源的次数、搜索“诈骗”资源的次数以及搜索“政治”资源的次数等。
步骤S302:根据所述行为指标确定所述用户的限制状态。
这里,所述行为指标是指上述步骤中用户搜索敏感资源的次数,所述用户搜索敏感资源的次数包括用户在采样时间内搜索敏感资源的总次数和用户在采样时间内搜索不同类型的敏感资源的次数。
在一些实施例中,可以根据用户在采样时间内搜索敏感资源的总次数,确定与所述总次数所处的取值区间关联的限制状态。即,不区分敏感资源的类型,而是通过综合统计用户在采样时间内搜索敏感资源的总次数,以确定用户的限制状态。
示例地,可以将上述取值区间划分成2个或者更多,例如可以将取值区间划分成3个,相应地,用户限制状态也划分为“高”、“中”和“低”三个等级,当然也可以以数字或者其他方式进行表示。限制状态表示的强度与用户搜索敏感资源的次数呈正相关,即用户搜索敏感资源的次数越多,相应的限制状态的强度越强。
举例来说,当用户在采样时间内搜索敏感资源的总次数小于50次时,确定为第一区间,对应于“低”限制状态;当用户在采样时间内搜索敏感资源的总次数在50-100次时,确定为第二区间,对应于“中”限制状态;当用户在采样时间内搜索敏感资源的总次数大于100次时,确定为第三区间,对应于“高”限制状态。在另一些实施例中,也可以针对不同类型的敏感资源,根据用户在采样时间内搜索不同类型的敏感资源的次数,分别确定与所述次数所处的取值区间关联的限制状态。
例如,可以将敏感资源关键字库细分为“色情”资源、“暴力”资源和“政治”资源三种不同类型的关键字库,分别确定用户在采样时间内搜索上述三种不同类型的敏感资源的次数。
由于将敏感资源关键字库进行了划分,相应的,在确定用户限制状态的强度时,也需要降低用户搜索敏感资源的次数。
示例地,对于上述“色情”资源来说,当用户在采样时间内搜索“色情”资源的次数小于30次时,确定为第一区间,对应于“低”限制状态;当用户在采样时间内搜索“色情”资源的次数在30-60次时,确定为第二区间,对应于“中”限制状态;当用户在采样时间内搜索“色情”资源的次数大于60次时,确定为第三区间,对应于“高”限制状态。
示例地,对于上述“暴力”资源和“政治”资源来说,可以采用与用户在采样时间内搜索“色情”资源相同的次数来划分相应的区间,也可以采用与用户在采样时间内搜索“色情”资源不同的次数来划分相应的区间。
示例地,可以根据上述不同类型的敏感资源关键字库,服务器分别确定用户在不同类型敏感资源关键字库中的限制状态,也可以当用户在采样时间内搜索“色情”资源、“暴力”资源和“政治”资源中任意一类的次数达到相应的区间时,即确定用户处于相应程度的限制状态。
需要说明的是,对于用户限制状态的确定、取值区间的划分和敏感资源关键字库的划分均可以根据实际情况进行设置,本发明实施例不作具体限定。
步骤S303:接收所述用户的搜索请求,并解析所述搜索请求携带的关键字。
这里,所述搜索请求包括用户终端的用户通过网络访问搜索服务器,通过搜索服务器提供的搜索界面,如搜索引擎界面,输入搜索请求并发送至搜索服务器,由搜索服务器对用户的搜索请求进行解析,并提取出所述搜索请求中携带的关键字。
作为示例,用户可以使用专用的网页浏览器通过网络登入搜索界面并输入和发送搜索请求。也可以在视频专属客户端或者音频专属客户端的搜索框中输入和发送搜索请求。
步骤S304:当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
参见图5A,图5A是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图,图3示出的步骤S304可以通过图5A示出的步骤S3041A至S3042A实现,将结合各步骤进行说明。
步骤S3041A:根据所述用户的限制状态的强度的降序,对所述敏感关键字对应的原始搜索结果,执行不同程度的限制处理中与所述限制状态的强度相应程度的限制处理。
步骤S3042A:在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果中滤除部分或者全部的敏感资源。
示例地,当用户的限制状态处于上述的“低”限制状态时,服务器查询与所述敏感关键字对应的原始搜索结果,同时额外获取与所述敏感关键字无关的非敏感资源的搜索结果,在所述原始搜索结果的尾部插入所述非敏感资源的搜索结果,返回给用户终端,此时用户的体验是可以搜索到相关内容,但相关内容的数量不多。
示例地,当用户的限制状态处于上述的“中”限制状态时,服务器查询与所述敏感关键字对应的原始搜索结果并只保留少量的原始搜索结果,同时额外获取与所述敏感关键字无关的非敏感资源的搜索结果,在所述少量的原始搜索结果的头部插入所述非敏感资源的搜索结果并且减少搜索结果的条目数,返回给用户终端,此时用户的体验是搜索到的内容较少,且没有几条相关的搜索结果。
示例地,当用户的限制状态处于上述的“高”限制状态时,服务器仅获取几条与所述敏感关键字无关的非敏感资源的搜索结果,并将所述几条与所述敏感关键字无关的非敏感资源的搜索结果返回给用户终端、或者直接完全屏蔽展示,此时用户的体验是搜索不到相关内容。
另外,由于用户对于不同类型的敏感资源的容忍度不同,不同类型的敏感资源的限制处理也可以是不相同的。
举例来说,对于处于“低”限制状态的用户,当所述用户的搜索请求中携带“色情”关键字时,服务器向用户终端返回在原始搜索结果的尾部插入非敏感资源后的搜索结果;而当所述用户的搜索请求中携带“政治”关键字时,服务器仅向用户终端返回少量的原始搜索结果和大量的非敏感资源的搜索结果。
在另一些实施例中,所述限制处理也可以是根据所述用户的限制状态,对所述敏感关键字对应的原始搜索结果,进行与所述限制状态相应程度的过滤处理和/或加扰处理。所述加扰处理包括在敏感关键字对应的原始搜索结果的头部或者尾部插入与所述敏感关键字无关的网络资源。所述过滤处理包括在原始搜索结果中滤除部分或者全部的敏感资源。
所述加扰处理的程度(例如增加无关资源的数量)和过滤处理的程度(例如过滤的比例)是与用户限制状态的强度呈正相关的,即用户限制状态的强度越高,加扰处理/过滤处理的程度越大。
举例来说,当用户的限制状态处于上述的“低”限制状态时,过滤30%的原始搜索结果,并加入50条与所述敏感关键字无关的搜索结果;当用户的限制状态处于上述的“中”限制状态时,过滤60%的原始搜索结果,并加入100条与所述敏感关键字无关的搜索结果;当用户的限制状态处于上述的“高”限制状态时,过滤90%的原始搜索结果,并加入150条与所述敏感关键字无关的搜索结果。
需要说明的是,所述加扰处理和过滤处理也可以是择一使用的,本发明实施例不作具体的限定。
参见图5B,图5B是本发明实施例提供的一个可选的流程示意图,图3示出的步骤S304也可以通过图5B示出的步骤S3041B至步骤S3042B实现,将结合各步骤进行说明。
步骤S3041B:根据用户的限制状态的强度的降序,对用户获取与所述搜索请求对应的搜索结果的用户体验,执行以下不同程度的限制处理中与所述限制状态的强度相应程度的降低处理。
步骤S3042B:增加视频的缓冲时间;降低视频缓存中的网速或者视频播放的网速;显示视频处于持续缓冲中的界面。
下面,以用户点播视频的使用体验为例进行说明,在该应用场景中,服务器可以是互联网数据中心(Internet Data Center,IDC)的设备,并运行鉴权的服务。
示例地,当用户的限制状态处于上述的“低”限制状态时,增加用户点播的视频的缓冲时间或者在用户点播的视频前加入广告,此时用户的体验是网络不太好,观看视频需要缓冲较长的一段时间。
示例地,当用户的限制状态处于上述的“中”限制状态时,降低用户点播视频缓冲的网速或者播放的网速,此时用户的体验是网络很差,观看视频时出现卡顿并且经常需要缓冲。
示例地,当用户的限制状态处于上述的“高”限制状态时,对于用户点播的视频一直显示正在缓冲中的界面,此时用户的体验是视频无法播放。
需要说明的是,上述实施例中返回给用户终端供用户点播的视频可以是与用户搜索请求匹配的视频资源,也可以经过上述过滤处理和/或加扰处理后得到的与所述搜索请求不匹配的视频资源,降低用户点播视频的使用体验是通过下发给互联网数据中心资源鉴权服务的方式,通过后台随时调整用户的限制状态的,当然,也可以采用其他方式进行,本发明实施例不作具体的限定。
在另一些实施例中,搜索请求对应的搜索结果也可以包括:视频、音频、图片等至少一种,则对用户获取与搜索请求对应的搜索结果的用户体验进行与用户限制状态相应程度的降低处理可以包括:当所述搜索结果中包括视频时,将所述视频的播放时长、缓冲速度和视频质量至少之一,进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括音频时,将所述音频的采样率进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括图片时,将所述图片的分辨率和加载速度至少之一进行与所述用户的限制状态相应程度的降低处理。
示例地,当搜索结果中包括视频时,且当用户的限制状态为“低”限制状态时,对于用户点播的视频,设定视频的可播放时长为10分钟、视频的分辨率为720p,视频的缓冲速度不大于500k/s;当用户的限制状态为“中”限制状态时,对于用户点播的视频,设定视频的可播放时长为8分钟,视频的分辨率为480p,视频的缓冲速度不大于300k/s;当用户的限制状态为“高”限制状态时,对于用户点播的视频,设定视频的可播放时长为5分钟,视频的分辨率为360p,视频的缓冲速度不大于100k/s。
示例地,当搜索结果中包括图片时,假设原始图片的分辨率为100PPI,则当用户的限制状态处于“低”限制状态时,向用户终端返回分辨率为80PPI的图片,设定图片的加载时间为1s;当用户的限制状态处于“中”限制状态时,向用户终端返回分辨率为50PPI的图片,设定图片的加载时间为1.5s;当用户的限制状态处于“高”限制状态时,向用户终端返回分辨率为20PPI的图片,设定图片的加载时间为2s。
示例地,当搜索结果中包括音频时,假设原始音频的采样率为44100Hz,则当用户的限制状态处于“低”限制状态时,向用户终端返回采样率为24000Hz的音频;当用户的限制状态处于“中”限制状态时,向用户终端返回采样率为22050Hz的音频;当用户的限制状态处于“高”限制状态时,向用户终端返回采样率为11025Hz的音频。当然,音频的可播放时长也可以根据用户限制状态的强度进行相应地降低。
需要说明的是,视频的分辨率、质量、可播放时长,图片的加载时间、图片的分辨率,音频的采样率均可以根据实际情况进行设置,且当搜索结果中同时包括视频、音频、图片等至少之一时,可以将视频、音频和图片同时进行相应程度的降低处理,也可以择一进行降低处理。
下面继续结合图2说明本发明实施例提供的网络资源搜索的处理装置355的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器340的网络资源搜索的处理装置355中的软件模块可以包括:确定模块3551、解析模块3552和处理模块3553。
所述确定模块3551,用于对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;以及用于根据所述行为指标确定所述用户的限制状态;
所述解析模块3552,用于接收所述用户的搜索请求,解析所述搜索请求携带的关键字;
所述处理模块3553,用于当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
在一些实施例中,所述解析模块3552,还用于解析所述用户在采样时间内所发起的历史搜索请求中携带的关键字。
在一些实施例中,所述确定模块3551,还用于将所述历史搜索请求中携带的关键字与全量敏感资源关键字库进行匹配,以确定所述用户搜索敏感资源的次数;以及针对所述用户在采样时间内的搜索敏感资源的次数,确定与所述次数所处的取值区间关联的限制状态。
在一些实施例中,所述确定模块3551,还用于将所述历史搜索请求中携带的关键字与不同类型敏感资源的敏感关键字库进行匹配,以分别确定所述用户搜索不同类型的敏感资源的次数;以及针对所述用户在采样时间内搜索不同类型的敏感资源的次数,分别确定与所述次数所处的取值区间关联的限制状态。
在一些实施例中,所述处理模块3553,还用于根据所述用户的限制状态的强度的降序,对所述敏感关键字对应的原始搜索结果,执行以下不同程度的限制处理中与所述限制状态的强度相应程度的限制处理:在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果中滤除部分或者全部的敏感资源;其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
在一些实施例中,所述处理模块3553,还用于根据所述用户的限制状态,对所述敏感关键字对应的原始搜索结果,进行与所述限制状态相应程度的过滤处理和/或加扰处理;所述加扰处理,包括以下至少之一:在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;所述过滤处理包括:在原始搜索结果中滤除部分或者全部的敏感资源;其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
在一些实施例中,所述处理模块3553,还用于根据所述用户的限制状态,对所述用户获取与所述搜索请求对应的搜索结果的用户体验,进行与所述限制状态相应程度的降低处理。
在一些实施例中,所述处理模块3553,还用于根据所述用户的限制状态的强度的降序,对所述搜索结果执行以下不同程度的降低处理中与所述限制状态的强度相应程度的降低处理:增加视频的缓冲时间;降低视频缓冲的网速或者视频播放的网速;显示视频处于持续缓冲中的界面。
在一些实施例中,所述处理模块3553,还用于当所述搜索结果中包括视频时,将所述视频的播放时长、缓冲速度和视频质量至少之一,进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括音频时,将所述音频的采样率进行与所述用户的限制状态相应程度的降低处理;当所述搜索结果中包括图片时,将所述图片的分辨率和加载速度至少之一进行与所述用户的限制状态相应程度的降低处理。
需要说明的是,对于本发明实施例提供的网络资源搜索的处理装置中未尽的技术细节,可以根据图3、图4A、图4B、图5A和图5B任一附图的说明而理解。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。
图6是相关技术中网络资源搜索的处理结果示意图,一般是通过关键词或者关键词组来屏蔽,一旦搜索词中包含所述关键词则直接屏蔽输出。
使用禁止搜索的方法比较粗暴,一旦关键词配置错误则可能造成正常内容也被打击到,并且展示“没有找到相关视频”提示过于生硬,影响用户体验。另外,关键词可以使用变体字、拼音和更换描述方式等方法进行绕过。
本发明实施例提供一种网络资源搜索的处理方法,可以应用于基于关键字搜索的网络资源,例如搜索引擎上的网页资源、视频客户端上的视频资源、音频客户端上的音频资源等。本发明实施例通过对用户搜索网络资源的历史行为记录进行分析,识别出搜索敏感资源的异常用户并根据用户搜索敏感资源的行为指标进行分类,对搜索结果和/或搜索结果的用户体验进行不同程度的限制处理和/或降低处理,从而能够柔性屏蔽用户搜索敏感资源的行为。
由于对于不同类型的敏感资源的打击程度不同,一般来说首先需要定义不同的限制等级。例如视频场景,对恐怖暴力和色情内容的容忍度较高,但政治类是需要直接限制的。根据场景可以定义如下限制等级:
搜索维度:
a)轻度:在原始搜索结果后面插入一些不太相关的搜索结果条目,造成没有相关内容的假象;
此时用户体验:搜得到内容,但相关的不多。
b)中度:在原始搜索结果前面插入大量的不太相关的搜索结果条目,仅在翻页后保留少数相关内容,并减少返回结果数;
此时用户体验:搜到内容较少,并且没有几条相关的。
c)高度:仅展示几条无关内容或完全屏蔽展示;
此时用户体验:搜不到内容。
播放维度:
a)轻度:对于非会员用户,播放短视频前插入广告;对于会员用户,增加视频的缓冲时间;
此时用户体验:网络不太好,看很短的视频也要卡一会。
b)中度:降低视频播放或者缓冲的网速;
此时用户体验:网络很差,经常卡顿并且需要一直缓冲。
c)高度:显示缓冲中,持续加载;
此时用户体验:视频无法播放。
表1是本发明实施例提供的网络资源搜索的处理示意表,如表1所示,可以根据敏感资源的类型不同,进行不同的限制处理。
表1
本发明实施例的核心在于网络资源内容的控制方式,通过将敏感关键字对应的原始搜索结果和与所述敏感关键字无关的网络资源,以不同方式进行混合达到对搜索结果进行限制处理的目的。而当搜索结果中包括视频时,视频播放限制则是在资源鉴权服务上,通过下发用户的限制状态,在互联网数据中心入口上统一进行播放视频体验的降低。
图7是本发明实施例提供的网络资源搜索的处理方法的一个可选的流程示意图,如图7所示,所述方法包括以下步骤:
步骤S501:用户搜索网络资源生成用户历史行为日志,由用户行为识别系统分析用户的历史行为日志,分析方法包括用户在采样时间内所发起的历史搜索请求中携带的关键字命中不同类型的敏感资源关键字库的次数,用户历史搜索的网络资源与敏感资源的相似度或者用户点播某类敏感视频的次数。
步骤S502:当上述步骤中的次数或者相似度达到预设阈值后,用户行为识别系统会下发异常用户标记,告知所述用户后续搜索携带敏感关键字时对应的搜索结果需要进行限制处理。
步骤S503:对于受控的用户,当需要对搜索结果进行限制处理时,除了查询与敏感关键字匹配的原始搜索结果外,额外查询丢词后非敏感内容的搜索结果,作为不匹配的网络资源备用。
步骤S504:返回搜索结果时依据当前用户的限制状态,混合不匹配的网络资源或者直接返回不匹配的网络资源,并限制返回的搜索结果的条目数。
步骤S505:对于受控的用户,当需要进行播放限制时,可以采用将播放限制条件,下发给互联网数据中心资源鉴权服务的方式,通过后台随时调整用户的限制状态。
本发明实施例提供的网络资源搜索的处理方法,通过对用户搜索网络资源的历史行为记录进行分析,识别出搜索敏感资源的异常用户并根据用户搜索敏感资源的行为指标进行分类,对搜索结果和/或搜索结果的用户体验进行不同程度的限制处理和降低处理,从而能够柔性屏蔽用户搜索敏感资源的行为。
本发明实施例提供一种存储有可执行指令的存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本发明实施例提供的方法,例如,如图3、图4A、图4B、图5A和图5B任一附图示出的网络资源搜索的处理方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本发明实施例具有以下有益效果:
通过对用户搜索网络资源的历史行为记录进行分析,识别出搜索敏感资源的异常用户并根据用户搜索敏感资源的行为指标进行分类,对搜索结果和/或搜索结果的用户体验进行不同程度的限制处理和降低处理,从而能够柔性屏蔽用户搜索敏感资源的行为。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。
Claims (10)
1.一种网络资源搜索的处理方法,其特征在于,所述方法包括:
对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;
根据所述行为指标确定所述用户的限制状态;
接收所述用户的搜索请求,并解析所述搜索请求携带的关键字;
当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
2.根据权利要求1所述的方法,其特征在于,所述对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标,包括:
解析所述用户在采样时间内所发起的历史搜索请求中携带的关键字;
将所述历史搜索请求中携带的关键字与全量敏感资源关键字库进行匹配,以确定所述用户搜索敏感资源的次数;
所述根据所述行为指标确定所述用户的限制状态,包括:
针对所述用户在采样时间内的搜索敏感资源的次数,确定与所述次数所处的取值区间关联的限制状态。
3.根据权利要求1所述的方法,其特征在于,所述对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标,包括:
解析所述用户在采样时间内所发起的历史搜索请求中携带的关键字;
将所述历史搜索请求中携带的关键字与不同类型敏感资源的敏感关键字库进行匹配,以分别确定所述用户搜索不同类型的敏感资源的次数;
所述根据所述行为指标确定所述用户的限制状态,包括:
针对所述用户在采样时间内搜索不同类型的敏感资源的次数,分别确定与所述次数所处的取值区间关联的限制状态。
4.根据权利要求1所述的方法,其特征在于,所述根据所述用户的限制状态,对所述搜索请求进行限制处理,包括:
根据所述用户的限制状态的强度的降序,对所述敏感关键字对应的原始搜索结果,执行以下不同程度的限制处理中与所述限制状态的强度相应程度的限制处理:
在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;
在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;
在原始搜索结果中滤除部分或者全部的敏感资源;
其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
5.根据权利要求1所述的方法,其特征在于,所述根据所述用户的限制状态,对所述搜索请求进行限制处理,包括:
根据所述用户的限制状态,对所述敏感关键字对应的原始搜索结果,进行与所述限制状态相应程度的过滤处理和/或加扰处理。
6.根据权利要求5所述的方法,其特征在于,
所述加扰处理,包括以下至少之一:
在原始搜索结果的尾部插入与所述敏感关键字不匹配的网络资源;
在原始搜索结果的头部插入与所述敏感关键字不匹配的网络资源;
所述过滤处理包括:
在原始搜索结果中滤除部分或者全部的敏感资源;
其中,所述原始搜索结果包括与所述敏感关键字匹配的敏感资源。
7.根据权利要求1所述的方法,其特征在于,所述根据所述用户的限制状态,对所述搜索请求进行限制处理,包括:
根据所述用户的限制状态,对所述用户获取与所述搜索请求对应的搜索结果的用户体验,进行与所述限制状态相应程度的降低处理。
8.根据权利要求7所述的方法,其特征在于,所述根据所述用户的限制状态,对所述用户获取与所述搜索请求对应的搜索结果的用户体验,进行与所述限制状态相应程度的降低处理,包括:
根据所述用户的限制状态的强度的降序,对所述搜索结果执行以下不同程度的降低处理中与所述限制状态的强度相应程度的降低处理:
增加视频的缓冲时间;
降低视频缓冲的网速或者视频播放的网速;
显示视频处于持续缓冲中的界面。
9.根据权利要求7所述的方法,其特征在于,所述根据所述用户的限制状态,对所述用户获取与所述搜索请求对应的搜索结果的用户体验,进行与所述限制状态相应程度的降低处理,包括:
当所述搜索结果中包括视频时,将所述视频的播放时长、缓冲速度和视频质量至少之一,进行与所述用户的限制状态相应程度的降低处理;
当所述搜索结果中包括音频时,将所述音频的采样率进行与所述用户的限制状态相应程度的降低处理;
当所述搜索结果中包括图片时,将所述图片的分辨率和加载速度至少之一进行与所述用户的限制状态相应程度的降低处理。
10.一种网络资源搜索的处理装置,其特征在于,所述装置包括:
确定模块,用于对用户搜索网络资源的历史行为记录进行分析,确定所述用户搜索敏感资源的行为指标;以及
用于根据所述行为指标确定所述用户的限制状态;
解析模块,用于接收所述用户的搜索请求,解析所述搜索请求携带的关键字;
处理模块,用于当所述用户的搜索请求携带敏感关键字时,根据所述用户的限制状态,对所述搜索请求进行限制处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910668211.5A CN112287268A (zh) | 2019-07-23 | 2019-07-23 | 网络资源搜索的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910668211.5A CN112287268A (zh) | 2019-07-23 | 2019-07-23 | 网络资源搜索的处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112287268A true CN112287268A (zh) | 2021-01-29 |
Family
ID=74419534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910668211.5A Pending CN112287268A (zh) | 2019-07-23 | 2019-07-23 | 网络资源搜索的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287268A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434775A (zh) * | 2021-07-15 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 搜索内容的确定方法及装置 |
-
2019
- 2019-07-23 CN CN201910668211.5A patent/CN112287268A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434775A (zh) * | 2021-07-15 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 搜索内容的确定方法及装置 |
CN113434775B (zh) * | 2021-07-15 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 搜索内容的确定方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9721018B2 (en) | System and method for displaying of most relevant vertical search results | |
KR101335400B1 (ko) | 문서와 관련하여 보여주기 위한 코멘트의 식별 | |
CN109684483B (zh) | 知识图谱的构建方法、装置、计算机设备及存储介质 | |
US10372716B2 (en) | Automatic discovery and presentation of topic summaries related to a selection of text | |
US20220114211A1 (en) | Video matching service to offline counterpart | |
US11372866B2 (en) | Methods, systems, and media for providing a media search engine | |
JP6538277B2 (ja) | 検索クエリ間におけるクエリパターンおよび関連する総統計の特定 | |
KR101252670B1 (ko) | 연관 콘텐츠 제공 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN107408115B (zh) | web站点过滤器、控制对内容的访问的方法和介质 | |
US8438149B1 (en) | Generating network pages for search engines | |
CN111008348A (zh) | 反爬虫方法、终端、服务器及计算机可读存储介质 | |
CN110377817B (zh) | 搜索词条挖掘方法和装置及其在多媒体资源的应用 | |
US11308275B2 (en) | Management of content tailoring by services | |
CN103069825A (zh) | 用于电视搜索助手的系统和方法 | |
WO2023241332A1 (zh) | 摘要信息生成与搜索结果展示方法、装置、设备和介质 | |
EP3706014A1 (en) | Methods, apparatuses, devices, and storage media for content retrieval | |
US10078686B2 (en) | Combination filter for search query suggestions | |
US9454568B2 (en) | Method, apparatus and computer storage medium for acquiring hot content | |
CN112287268A (zh) | 网络资源搜索的处理方法及装置 | |
KR20190109628A (ko) | 개인화된 기사 컨텐츠 제공 방법 및 장치 | |
US8365064B2 (en) | Hyperlinking web content | |
CN115827978A (zh) | 一种信息推荐方法、装置、设备及计算机可读存储介质 | |
CN106156024B (zh) | 一种信息处理方法及服务器 | |
EP3621022A1 (en) | Data analysis method and data analysis system thereof | |
CN111666522A (zh) | 信息处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |