CN111966915A - 信息巡检方法、计算机设备及存储介质 - Google Patents
信息巡检方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111966915A CN111966915A CN201910420316.9A CN201910420316A CN111966915A CN 111966915 A CN111966915 A CN 111966915A CN 201910420316 A CN201910420316 A CN 201910420316A CN 111966915 A CN111966915 A CN 111966915A
- Authority
- CN
- China
- Prior art keywords
- media information
- information
- dimension
- evaluation
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 282
- 238000012549 training Methods 0.000 claims description 47
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 238000012550 audit Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 20
- 238000007477 logistic regression Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 238000012552 review Methods 0.000 description 11
- 238000013209 evaluation strategy Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 230000002411 adverse Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种信息巡检方法、计算机设备及存储介质，所述信息巡检方法包括：从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果；结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型；当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。如此，可以根据设定的维度高效且准确地筛选出内部可能包含有违规内容的媒体信息，提升审核效率和审核质量。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种信息巡检方法、计算机设备以及存储介质。
背景技术
随着信息技术的日益发展，为了让更多的人知晓并购买其所生产的产品或服务，通常会制作针对产品或服务进行推广的媒体信息，并在网页、社交网络等被大众所熟知的信息投放系统的展示位上展示媒体信息，通过信息投放系统可以快速将媒体信息推送给广大的用户，达到信息快速推广的目的。
然而，随着互联网上各种媒体信息的层出不穷，可能出现一些违规传播的媒体信息，这些违规的媒体信息的传播会导致非常恶劣的影响，而且对投放这些媒体信息的信息投放系统的声誉也会造成恶劣的影响，如此，有必要对投放到信息投放系统的媒体信息进行巡检审核，目前已知的巡检审核方式是通过随机抽取一定比例的媒体信息注入到审核系统进行人工审核，随着互联网上投放的媒体信息的数量的急速增加，通过抽检难以在覆盖面和审核人力方面做到好的平衡，导致审核效果和效率不足。
发明内容
本发明实施例提供一种信息巡检方法、计算机设备以及存储介质，能够有效提升审核效率和质量。
本发明实施例的技术方案是这样实现的：
一种信息巡检方法，包括：从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果；结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型；当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
一种信息巡检装置，包括：评估模块，用于从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果；风险确定模块，用于结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型；推荐审核模块，用于当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
一种计算机设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；所述处理器用于运行所述计算机程序时，实现本发明实施例所述的信息巡检方法。
一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所述的信息巡检方法。
本发明实施例中，通过从信息投放系统中实时获取被投放的媒体信息的各维度的评估数据确定对应维度的评估结果，结合各个维度的评估结果确定媒体信息的风险类型，从而可以根据设定的维度高效且准确地筛选出内部可能包含有违规内容的媒体信息，触发所述内部可能包含有违规内容的媒体信息的二次审核的流程，如此，可以根据各个维度全面地、客观地确定出设定的风险类型的媒体信息，确保对媒体信息的风险类型进行评估的覆盖面，以提升审核效率和审核质量。
附图说明
图1为实施本发明实施例所提供的信息巡检方法的应用场景示意图；
图2为本发明实施例中信息巡检方法的系统框架图；
图3为本发明实施例中信息巡检方法的流程图；
图4为本发明实施例中信息巡检方法的流程图；
图5为本发明实施例中信息巡检方法中媒体信息的维度及对应权重参数的示意图；
图6为本发明实施例中线性模型和神经网络的组合模型的架构示意图；
图7为本发明实施例中基于用户反馈入口进行反馈的界面示意图；
图8为本发明实施例中将所述媒体信息根据所述评估结果进行展示的示意图；
图9为本发明实施例中信息巡检方法的流程图；
图10为本发明实施例所提供的信息巡检装置的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明实施例提供信息巡检方法、实施信息巡检方法的信息巡检装置、计算机设备、及存储用于实现信息巡检方法的可执行计算机程序的存储介质。其中，本发明实施例中所述信息巡检方法的实施侧可以是终端和/或服务器，下面对本发明实施例的信息巡检方法的示例性实施场景进行说明。
如图1所示，为实现本发明实施例所提供的信息巡检方法的一个可选的应用场景示意图，该应用场景的架构包括第一服务器100、第二服务器200和用户终端300，本发明实施例中，信息巡检方法的应用场景的描述中均以媒体信息为广告为例进行描述，需要说明的是，以下描述中的广告相应均可以用媒体信息替代。请结合参阅图2，为本发明实施例所提供的信息巡检方法的系统框架图，该系统框架包括线上广告系统、基于推荐的巡检系统和审核系统。所述线上广告系统、基于推荐的巡检系统和审核系统的实施侧可以分别包括独立的一个或者多个服务器或者终端。作为一可选的实施例，如图1所示，所述线上广告系统的实施侧可以为第一服务器100，基于推荐的巡检系统的实施侧可以为第二服务器200，所述审核系统的实施侧可以为用户终端300。所述线上广告系统，用于将所述媒体信息在信息投放系统中进行投放和展示。所述基于推荐的巡检系统，用于从所述信息投放系统中获取当前正在投放的媒体信息的各个设定维度的评估数据，根据所述评估数据确定所述媒体信息在对应维度的评估结果，结合各个所述维度对应的所述评估结果以及对应的权重参数，确定所述媒体信息为可能包含有违规内容的高风险类型的媒体信息时，触发所述线上广告系统将所述媒体信息暂停下线，并将所述媒体信息推荐至审核系统。所述审核系统，用于接收所述基于推荐的巡检系统推荐过来的媒体信息，由人工进行二次审核，当二次审核确认所述媒体信息属于高风险类型的媒体信息时，触发所述线上广告系统将所述媒体信息永久性下线。
请参阅图3，为本发明实施例提供的信息巡检方法的流程图，所述信息巡检方法包括如下步骤：S11，线上广告系统将广告主投放的广告在信息投放系统中进行展示；其中，信息投放系统可以是指网页、社交网络等被大众所熟悉的能够展示媒体信息的平台。S12，基于推荐的巡检系统获取信息投放系统中当前被投放展示的广告的设定维度的评估数据，根据所述评估数据确定广告在对应所述维度的评估结果；其中，不同维度可以是根据对广告内是否包含违规内容的进行审核的必要性程度来设定，如根据广告对应广告位的传播影响力，传播影响力更大的广告位上的广告内是否包含违规内容进行审核的必要性程度则相应更高；根据广告所属载体的传播影响力，传播影响力更大的广告载体中广告内是否包含违规内容进行审核的必要性程度则相应更高；根据广告在投放周期内的转化率情况，转化率增量越大的广告内是否包含违规内容进行审核的必要性程度则相应更高；根据广告投放的用户类型，接收该广告的用户中属于黑种子类型的用户越多则该广告内是否包含违规内容进行审核的必要性程度则相应更高；根据广告内容所涉及的行业，行业属于需要被重点监控行业则对广告内是否包含违规内容的进行审核的必要性程度相应更高。S13，基于推荐的巡检系统根据各个所述维度对应的评估结果，确定可能包含有违规内容的高风险类型的广告。S14，将所述高风险类型的广告向审核系统推荐；其中，基于推荐的巡检系统将高风险类型的广告推荐发送到审核系统的同时，还可以包括触发线上广告系统暂时下线所述广告。S15，审核系统接收到基于推荐的巡检系统推荐发送的高风险类型的广告，由人工审核方式对审核系统接收到的广告进行二次审核；其中，当二次审核确认该广告属于高风险类型的广告时，则可以触发线上广告系统将该广告永久性下线，当二次审核确认该广告不属于高风险类型的广告时，则可以触发线上广告系统将该广告恢复上线，以继续完成该广告的投放计划。
请参阅图4，为本发明一实施例所提供的信息巡检方法的流程图，可应用于图1所示的第二服务器，需要说明的是，该第二服务器也可以是终端等其它计算机设备，将结合下面的步骤进行说明。
步骤101，从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据。
信息投放系统是指能够用于展示媒体信息的任意一个或者多个应用。媒体信息是指为了让更多的人知晓并购买某产品或服务而制作的针对所述产品或服务进行推广的文本、图像、和/或视频信息。投放，是指产品或服务的提供者通过制作针对产品或服务器进行推荐的信息，并在网页、社交网络等被大众熟知的信息投放系统的展示位上进行展示的过程。其中，信息投放系统可以是指专门用于投放媒体信息的应用，如线上商城等；也可以是不属于专门的但包含有用于投放媒体信息的指定功能模块的应用，如包括用于投放媒体信息的功能模块的社交应用、视频播放应用、新闻应用等。
维度是指根据媒体信息的不同属性表征所述媒体信息的风险类型的评价角度。其中，一个维度可以对应一条评估策略，每一评估策略用于根据对应维度的评估数据独立评价是否需要对媒体信息内包含违规内容进行审核的必要性程度。所述从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据可以包括如下至少之一：从信息投放系统中实时获取当前投放计划内的媒体信息的至少一个维度的评估数据；周期性地从信息投放系统中获取当前正在投放展示的媒体信息的至少一个维度的评估数据；根据信息投放系统对媒体信息进行投放的排期，实时获取与当前时间对应的排期内的媒体信息的至少一个维度的评估数据。
步骤102，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果。
其中，维度是指预先确定的用于评价是否需要对相应媒体信息内包含有违规内容进行审核的评价角度。一个维度对应一个评估结果，是指根据对应维度的评估数据独立评价是否需要对媒体信息内包含违规内容进行审核的必要性程度的评估结果。以媒体信息为广告为例，是否对相应广告内包含有违规内容进行审核的维度，可以包括：投放该广告的广告位是否为传播范围很广的广告位评估维度、该广告的实时转化数据是否异常的转化评估维度、接收广告的用户或用户群是否异常的用户评估维度、广告对应的载体的访问量是否异常的广告载体评估维度、广告所属行业是否符合广告投放规则的所属行业评估维度。
维度的评估数据是指确定相应媒体信息在对应的维度的风险状态的相关数据。仍以媒体信息为广告为例，与广告位评估维度对应的评估数据包括广告位中广告的曝光数据、与转化评估维度对应的评估数据包括广告在相邻两个时间段内的点击量数据、与广告载体评估维度对应的评估数据包括广告对应载体在相邻两个时间周期内的访问量数据、与用户评估维度对应的评估数据包括确定点击广告的用户是否属于黑种子用户群的用户属性数据、与所属行业评估维度对应的评估数据包括确定广告内容是否属于指定行业的行业属性数据。
根据所述评估数据确定所述媒体信息在所述维度对应的评估结果是指，根据媒体信息与维度对应的评估数据，确定所述媒体信息在对应维度的风险状态的评价结果。媒体信息在对应维度的风险状态的评价结果为风险越高，则表示对相应媒体信息从该维度进行评价来看需要被审核的必要性越大。仍以媒体信息为广告为例，根据广告位中广告的曝光数据确定对应广告位是否为传播很广的广告位，得到表征广告位广度的评分作为相应广告在广告位评估维度的评估结果；根据广告在相邻两个时间段内的点击量数据确定对应广告的点击率是否异常，得到表征广告点击率异常程度的评分作为相应广告在转化评估维度的评估结果；根据广告载体在相邻两个时间周期内的访问量数据确定所述广告载体的访问量是否异常，得到表征所述广告载体的访问量异常程度的评分作为相应广告在广告载体评估维度的评估结果；根据确定点击广告的用户是否属于黑种子用户群的用户属性数据，确定所述广告的点击用户是否属于黑种子用户，得到表征点击广告的用户中黑种子用户数量指数的评分作为相应广告在用户评估维度的评估结果；根据确定广告内容是否属于指定行业的行业属性数据，确定所述广告所属行业是否为指定行业，得到表征所述广告所属行业为被需要重点审查的行业的权重评分作为相应广告在所属行业评估维度的评估结果。
步骤103，结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型。
这里，媒体信息的风险类型可以根据实际情况区分多个不同的等级，如可以将媒体信息的风险类型分为高风险和低风险两个等级，高风险是指需要对相应媒体信息内是否包含为违规内容进行审核，低风险是指无需对相应媒体信息内是否包含有违规内容进行审核。需要说明的是，媒体信息的风险类型的等级并不限于以上所述的两个等级，如，还可以是将媒体信息的风险类型分为高风险、中风险和低风险三个等级，高风险是指需要对相应媒体信息内是否包含有违规内容进行审核的必要性较大、中风险是指对相应媒体信息内是否包含有违规内容进行审核有一定必要性、低风险是指无需对相应媒体信息内是否包含有违规内容进行审核。
通过设定用于评价是否需要对相应媒体信息内包含有违规内容进行审核的多个维度，根据相应媒体信息分别在对应维度的风险状态的结果，也即根据相应媒体信息分别在对应维度进行评价需要审核的必要性越大的评价结果，确定所述媒体信息的风险类型为高风险或低风险，从而通过结合不同的维度分别设定评估策略，便于能够全面、客观的确定出风险较高的需要对其内部是否包含有违规内容进行审核的全部媒体信息。
步骤105，当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
其中，所述信息投放系统停止投放所述媒体信息可以是指，信息投放系统根据媒体信息的风险类型的确定结果，实时将所述媒体信息暂时下线或者永久性下线。作为一个可选的实施例，可以将风险类型设定不同的等级，当所述媒体信息确认为最高等级时，则触发所述信息投放系统停止该媒体信息的投放计划，将所述媒体信息永久性下线；当所述媒体信息确认为次高等级时，则触发所述信息投放系统暂时停止该媒体信息的投放计划，将所述媒体信息暂时下线，后续进一步根据投放计划来确定是否恢复该媒体信息的投放。
作为另一个可选的实施例，当确定媒体信息为设定的风险类型时，则触发所述信息投放系统停止该媒体信息的投放计划，将所述媒体信息暂时下线，并触发所述媒体信息的二次审核。触发所述媒体信息的二次审核，是指将确定为设定的风险类型的媒体信息推荐给进行二次审核的审核系统或发送给进行二次审核的用户端，通过触发二次审核的流程以对所推荐过来的媒体信息的风险类型进行再次确认。作为一个可选的实施例，将所述媒体信息推荐发送到审核系统进行二次审核，根据二次审核确认该媒体信息为设定的风险类型时，则将所述媒体信息永久性下线，或根据二次审核确认该媒体信息不为设定的风险类型时，则触发所述信息投放系统将所述媒体信息恢复上线，继续完成投放计划。这里，二次审核是指对相应媒体信息内是否包含有违规内容进行确定性结论的审核，通常二次审核为人工审核。通过人工进行二次审核，可以确保审核结论的准确性，便于根据二次审核的结果，当确定该相应媒体信息内确实包含有违规内容时，则将所述相应媒体信息从信息投放系统中及时下架，避免该相应媒体信息的传播带来的不良影响、对信息投放系统的声誉造成的不良影响等。
本发明上述实施例中，通过设定媒体信息的多个维度，获取对应维度的评估数据确定对应的评估结果，结合各个维度的评估结果确定媒体信息的风险类型，从而可以根据设定的各个维度高效且准确地筛选出内部可能包含有违规内容的媒体信息，将这些可能包含有违规内容的媒体信息自动推荐至审核系统进行二次审核以触发二次审核流程，通过二次审核对媒体信息内是否包含违规内容进行再次确认，如此，可以根据各个维度全面地、客观地确定出设定的风险类型的媒体信息，确保对媒体信息的风险类型进行评估的覆盖面，以提升审核效率和审核效果。以媒体信息为广告为例，实施本发明实施例的信息巡检方法的基于推荐的巡检系统通过实时获取广告投放平台当前投放的广告的对应维度的评估数据，结合各个维度的评估结果确定广告的风险，自动实时推荐可能包含违规内容的风险广告并相应触发二次审核，实现了自动推荐风险广告以进行人工审核的巡检目的。
可选的，可以结合媒体信息的各个维度的评估结果确定该媒体信息为设定的风险类型时，将该媒体信息推荐至进行二次审核，如此，一方面可以根据多个维度全面地、客观地确定出可能包含有违规内容的高风险的媒体信息进行二次审核，可以在减少二次审核的工作量的前提下确保审核质量；另一方面，可以自动识别确定出媒体信息的风险类型并推荐至进行二次审核，可以提升审核效率。以媒体信息为广告为例，通过获取信息投放系统中被投放的广告在对应维度的评估数据，确定各个维度对应的评估结果，确定广告的风险类型，从而可以将需要对其内部是否包含违规内容进行抽检的必要性满足条件的高风险广告推荐至进行二次审核，如此，可以根据多个维度全面地、客观地确定出可能包含有违规内容的高风险广告进行二次审核，从而可以在减少二次审核的工作量的前提下确保广告巡检的质量；其次可以自动识别确定出高风险广告推荐至进行二次审核，可以提升广告巡检的效率。
在一些实施例中，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据之前，包括：
根据所述媒体信息的不同属性分别确定对应的维度；
其中，所述属性包括如下至少之一：内容属性、载体属性、位置属性、转化属性和用户属性。
这里，维度是指用于评价是否需要对相应媒体信息内包含有违规内容进行进一步审核的评价角度，每一维度分别对应一条评估策略，每一评估策略分别用于独立评价是否需要对媒体信息内包含违规内容进行审核的必要性程度。其中，评价是否需要对相应媒体信息内包含违规内容进行进一步审核的维度根据媒体信息的不同属性确定，也即维度分别与媒体信息的不同属性对应。
如，媒体信息的属性可以包括内容属性，与所述内容属性对应的维度可以是指根据媒体信息的内容确定其所属行业是否为需要重点审核的指定行业的所属行业评估维度；媒体信息的属性可以包括载体属性，与所述载体属性对应的维度可以是指根据媒体信息展示的载体确定所述载体的访问量是否异常的信息展示载体评估维度；媒体信息的属性可以包括位置属性，与所述位置属性对应的维度可以是指根据媒体信息在信息投放系统中的展示位是否为传播非常广的展示位的展示位评估维度；媒体信息的属性可以包括转化属性，与所述转化属性对应的维度可以是指根据媒体信息的实时转化数据确定媒体信息的转化是否异常的转化评估维度；媒体信息的属性可以包括用户属性，与所述用户属性对应的维度可以是指根据媒体信息的点击用户是否包含黑种子用户确定媒体信息是否异常的用户评估维度。
本发明上述实施例中，通过根据媒体信息的不同属性，分别制定对应维度的评估策略来确定是否有需要对媒体信息内包含有违规内容进行进一步审核的必要性，从而可以通过媒体信息的不同属性的客观性获得对媒体信息是否为高风险的客观的评价结果，也可以确保能够从不同角度全面地确定出需要进行进一步审核的必要性程度高的媒体信息，以确保巡检审核的质量。
在一些实施例中，当维度包括展示位评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统中在当前投放周期内于对应信息展示位中展示的媒体信息的曝光数，根据所述曝光数确定所述媒体信息在展示位评估维度对应的评分值，其中，所述媒体信息在所述展示位评估维度对应的评分值为对所述曝光数进行取对数得到。
这里，从展示位评估维度确定是否需要对媒体信息内包含有违规内容进行进一步审核的必要性，主要是通过对媒体信息的对应信息展示位的传播范围的广度进行评估。其中，与展示位评估维度对应的评估数据包括对应展示位上媒体信息的曝光数，表征信息展示位的传播范围的广度的评分值确定可以如下公式一所示：
fi＝log(pv) (公式一)
其中，pv是指媒体信息的曝光数。当用户浏览信息投放系统中的媒体信息的展示页面时，媒体信息显示在该展示页面中即为一次曝光。fi是指媒体信息在展示位评估维度的评分值。媒体信息在展示位评估维度的评分值fi是曝光数pv的单调递增函数，log表示取对数。
本发明上述实施例中，通过从展示位评估维度对媒体信息是否需要进行进一步审核的必要性进行评估，对于传播范围的广度非常大的信息展示位，以媒体信息为广告为例，对于传播范围广度非常广的头部广告位，一旦出现包含有违规内容的媒体信息，产生的危害性也较大，如此，通过从信息展示位评估维度对媒体信息的风险类型进行评价，可以避免遗漏掉有必要进行进一步审核的媒体信息。
在一些实施例中，当维度包括转化评估维度时所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统中在当前投放周期内被投放的媒体信息的点击率，根据所述媒体信息在统计时段的当前采样时段内的点击率的增量，确定所述媒体信息在转化评估维度对应的评分值，其中，当所述增量大于0时，所述媒体信息在所述转化评估维度对应的评分值与所述增量呈正比，当所述增量小于0时，所述媒体信息在转化评估维度对应的评分值为零。
这里，从转化评估维度确定是否需要对媒体信息内包含有违规内容进行进一步审核的必要性，主要是通过对媒体信息在当前采样时段内的点击量数据的变化情况进行评估。不同媒体信息的统计时段可以根据该媒体信息的生命周期来确定，媒体信息的生命周期通常与该媒体信息在信息投放系统中的展示时间相同，根据媒体信息的统计时段可以拆分成多个采样时段。确定媒体信息在当前采样时段内的点击量数据的变化情况，可以是指确定媒体信息在当前采样时段内的点击量相对于在先采样时段内的点击量的差值，或者是指确定媒体信息在当前采样时段内的点击量相对于其统计周期内的平均点击量的差值。作为一可选的实施例，与转化评估维度对应的评估数据包括媒体信息在统计周期内的相邻两个采样时段内的所述点击率，表征所述媒体信息的点击率的异常程度的评分值的确定可以如下公式二所示：
其中，ctrnow是指媒体信息在当前采样时段内的点击率，ctravg是指媒体信息在统计周期内的平均点击率，fi是指媒体信息在展示位评估维度的评分值。在当前采样时段内的点击率大于平均点击率ctrnow>ctravg时，也即，点击率增量△＝(ctrnow-ctravg)/ctravg大于0时，则增量越大，则表征所述媒体信息的点击率的异常程度的评分值越高，在当前采样时段内的点击率小于平均点击率ctrnow<ctravg时，也即增量小于0时，则表征所述媒体信息的点击率的异常程度的评分值为0。
本发明上述实施例中，媒体信息的点击率通常与媒体信息包含的内容强相关，而包含违规内容的媒体信息通常会倾向于通过图片素材和文案的制作，比如倾向于使用低俗图片，鼠标手，虚假的软件图标(icon)等，诱导用户进行点击，以提升其扩散效果。这里，通过从转化评估维度对媒体信息是否需要进行进一步审核的必要性进行评估，对于信息展示位的点击率出现异常抖动的媒体信息，将其作为需要进一步审核的重点关注对象，如此，通过从转化评估维度对媒体信息的风险类型进行评价，可以避免遗漏掉有必要停止投放或进行进一步审核的媒体信息。
在一些实施例中，当维度包括信息展示载体评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息对应所属载体的访问量，根据所述媒体信息对应所属载体的访问量的变化情况，确定所述媒体信息在信息展示载体评估维度对应的评分值，其中，所述媒体信息在所述信息展示载体评估维度对应的评分值与当前时间周期的所述访问量呈正比。
这里，从信息展示载体评估维度确定是否需要对媒体信息内包含有违规内容进行进一步审核的必要性，主要是通过对媒体信息对应载体的访问量的变化情况进行评估。确定媒体信息对应载体的访问量的变化情况，可以是指获取信息投放系统在当前投放周期内被投放的媒体信息对应所属载体的访问量，并确定媒体信息对应载体在当前的时间周期内的访问量相对于在先的时间周期内访问量的差值。作为一可选的实施例，与信息展示载体评估维度对应的评估数据包括媒体信息对应的载体在不同时间周期内的访问量，表征所述媒体信息对应的载体在不同时间周期内的访问量变化情况的评分值的确定可以如下公式三所示：
其中，PVT+1是指媒体信息对应载体在T+1的时间周期内的访问量，PVT是指媒体信息对应载体在T的时间周期内的访问量，fi是指媒体信息在信息展示载体评估维度的评分值。在当前时间周期的访问量大于在先时间周期的访问量PVT+1>PVT时，当前时间周期的访问量PVT+1越大、或者访问量增量△＝(1+(PVT+1-PVT)/PVT越大，则表征所述媒体信息对应载体的访问量的异常程度的评分值越高，在当前时间周期的访问量小于在先时间周期的访问量PVT+1<PVT时，则当前时间周期的访问量PVT+1越大，表征所述媒体信息对应载体的访问量的异常程度的评分值越高。
本发明上述实施例中，媒体信息对应载体的访问量通常与媒体信息包含的内容强相关，对于一些用户受众面很广的媒体信息载体，内部会存在大量媒体信息，在自媒体时代，爆款文章的传播可能在短时间内达到上千万访问量，对于访问量大媒体信息对应的载体，当出现访问量的变化异常的情况时，如果出现包含有违规内容的媒体信息时，则影响会是非常恶劣的。通过从信息展示载体评估维度对媒体信息是否需要进行进一步审核的必要性进行评估，对于媒体信息的对应载体的访问量变化情况异常的媒体信息，将其作为需要进一步审核的重点关注对象，如此，通过从信息展示载体评估维度对媒体信息的风险类型进行评价，可以避免遗漏掉有必要停止投放或进行进一步审核的媒体信息。
在一些实施例中，当维度包括用户评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息的接收用户信息，根据所述接收用户信息确定指定类型用户的数量，确定所述媒体信息在用户评估维度对应的评分值，其中，所述媒体信息在所述用户评估维度对应的评分值为所述指定类型用户的累加值。
这里，从用户评估维度确定是否需要对媒体信息内包含有违规内容进行进一步审核的必要性，主要是通过对媒体信息的接收用户中是否包含指定类型用户的情况进行评估。其中，媒体信息的接收用户是指通过点击、浏览、下载等接收媒体信息的行为来获取媒体信息的用户。该指定类型用户可以是指表征用户为问题用户的黑种子用户，如，服务器可以根据历史的用户行为记录对用户类型进行判断，根据各用户历史点击包含有违规内容的媒体信息的次数和/或概率，将用户进行划分并形成一个由问题用户组成的黑种子用户群。其中，根据媒体信息的接收用户信息确定指定类型用户的数量，可以是指根据媒体信息的点击用户的用户属性，确定是否为黑种子用户并统计黑种子用户的数量。作为一可选的实施例，与用户评估维度对应的评估数据包括媒体信息的接收用户中属于黑种子用户的数量，表征所述媒体信息的接收用户中是否包含指定类型用户的情况的评分值的确定可以如下公式四所示：
fi＝∑g(userk)*τ(userk∈BlackSeed)) (公式四)
其中，BlackSeed表示黑种子用户，如果userk属于黑种子用户，τ(userk∈BlackSeed)＝1，否则τ(userk∈BlackSeed)＝0，(userk)∈[0,1]代表媒体信息的对应接收用户是否为黑种子用户的得分，fi是指媒体信息在用户评估维度对应的评分值，媒体信息在所述用户评估维度对应的评分值fi为所述黑种子用户数量的累加值。
本发明上述实施例中，媒体信息的对应接收用户的质量与媒体信息包含的内容强相关，根据接收所述媒体信息的用户行为对用户进行分类，对于本身为违规内容传播或喜好传播违规内容的问题用户进行记录，当对应接收用户包含大量问题用户的媒体信息，其内部包含违规内容的可能性也就非常高。通过从用户评估维度对媒体信息是否需要进行进一步审核的必要性进行评估，对于接收用户包含有大量问题用户的媒体信息，将其作为需要进一步审核的重点关注对象，如此，通过从用户评估维度对媒体信息的风险类型进行评价，可以避免遗漏掉有必要停止投放或进行进一步审核的媒体信息。
在一些实施例中，当维度包括所属行业评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息的行业属性，根据所述行业属性信息确定所述媒体信息对应的行业及行业权重，确定所述媒体信息在所属行业评估维度对应的评分值，其中，当所述媒体信息对应的行业属于指定行业时，所述媒体信息在所属行业评估维度对应的评分值为对应的所述行业权重的累加值，当所述媒体信息对应的行业不属于所述指定行业时，所述媒体信息在所属行业评估维度对应的评分值为零。
这里，从所属行业评估维度确定是否需要对媒体信息内包含有违规内容进行进一步审核的必要性，主要是通过确定媒体信息所属行业是否为需要严格把关的指定行业的情况进行评估。其中，是否需要严格把关的指定行业是指根据法律、法规、政策调整等情况所确定出来的行业。其次，根据行业需要被监控的程度不同，还可以对不同的指定行业设置不同的权重，比如一些需要重点审核的行业可以设置更高的权重值，以确保属于该行业的媒体信息均能够被选中推荐至进行进一步审核。其中，指定行业的行业集合以及各行业分别对应的权重可以预先确定。根据媒体信息的所属行业息确定对应的行业及行业权重，可以是指根据媒体信息的行业属性，确定是否为指定行业并获取该指定行业的对应权重。作为一可选的实施例，与行业评估维度对应的评估数据包括媒体信息对应的行业属性，表征所述媒体信息的所属行业是否为需要严格把关的指定行业的评分值的确定可以如下公式五所示：
fi＝∑Ki*τ(ad∈KeyIndustry) (公式五)
其中，KeyIndustry表示需要严格把关的指定行业的行业集合，如果τ(ad∈KeyIndustry)＝1代表该广告属于被需要严格把关的指定行业，如果τ(ad∈KeyIndustry)＝0代表该广告不属于需要严格把关的指定行业，Ki表示对应行业的权重，fi是指媒体信息在行业评估维度对应的评分值，当所述媒体信息对应的行业属于所述指定行业时，媒体信息在所述行业评估维度对应的评分值fi为对应行业的行业权重值Ki的累计值。
本发明上述实施例中，媒体信息的所属行业与所述媒体信息包含的内容强相关，通过预先建立需要严格把关的指定行业的行业集合，当媒体信息确定属于所述行业集合内包含的行业时，其内部包含违规内容的可能性就非常高。其中，通过从所属行业评估维度对媒体信息是否需要进行进一步审核的必要性进行评估，对于所属行业为需要严格把关审核的指定行业的媒体信息，将其作为需要进一步审核的重点关注对象，如此，通过从所属行业评估维度对媒体信息的风险类型进行评价，可以避免遗漏掉有必要停止投放的或进行进一步审核的媒体信息。
在一些实施例中，所述结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型，包括：
将各个所述维度的评分值根据对应的权重参数进行加权，确定所述媒体信息的最终评分值，根据所述最终评分值确定所述媒体信息的风险类型。
其中，所述维度可以包括如下至少两种：所属行业评估维度、信息展示载体评估维度、展示位评估维度、转化评估维度、用户评估维度。这里，预先确定的用于评价是否需要对相应的媒体信息内包含有违规内容进行审核的多个维度，并对不同的维度分别设置对应的权重参数，根据媒体信息分别在不同维度对应的评分值基于相应权重参数进行加权求和，得到用于表征该媒体信息是否为需要进一步二次审核的高风险类型的媒体信息的最终评分值。
所属行业评估维度，是指根据媒体信息的内容确定其所属行业是否为需要重点审核的指定行业的评价维度；信息展示载体评估维度，是指根据媒体信息展示的载体确定所述载体的访问量是否异常，从而以确定是否有必要将该媒体信息停止投放和/或推荐至进行二次审核的评价维度；展示位评估维度，是指根据媒体信息在信息投放系统中的展示位是否为传播非常广的展示位，从而以确定是否有必要将该媒体信息停止投放和/或推荐至进行二次审核的评价维度；转化评估维度，是指根据媒体信息的实时转化数据确定媒体信息的转化是否异常，从而以确定是否有必要将该媒体信息停止投放和/或推荐至进行二次审核的评价维度；用户评估维度，是指根据媒体信息的点击用户是否包含黑种子用户以确定媒体信息是否异常，从而以确定是否有必要将该媒体信息停止投放和/或推荐至进行二次审核的评价维度。
不同维度对应的权重参数，可以通过建立线性加权的模型进行训练进行确定，或通过深度学习的方式建立模型进行训练后确定，或通过经验值的方式进行确定。请参阅图5，在本发明一可选实施例中，各个维度包括所属行业评估维度、信息展示载体评估维度、展示位评估维度、转化评估维度以及用户评估维度，所述各维度分别对应的权重参数可以如图5中列出所示。
在一些实施例中，所述将各个所述维度对应的评分值根据对应的权重参数进行加权之前，包括：
构建训练数据集，所述训练数据集包括训练媒体信息在各个所述维度对应的评估结果及对应的风险类型；
基于所述训练数据集对线性模型进行训练，直至对应的损失函数收敛，得到所述线性模型中分别与各个所述维度对应的权重参数。
这里，通过预先建立将各个维度的评分值进行线性加权的线性模型，构建训练数据集对线性模型进行训练以确定与各个所述维度对应的权重参数。训练数据集可以根据已知的需要停止投放和/或需要进行二次审核的媒体信息作为训练媒体信息组成，通过将训练媒体信息及其对应的风险类型标注形成训练数据集对线性模型进行训练，对于确定需要停止投放和/或进行二次审核的媒体信息则训练模型对应输出为1，否则输出为0，如此，通过将训练输出结果的误差反向传播，对训练模型中的模型参数进行调整，并不断迭代训练，直至损失函数收敛得到最终的线性模型。
其中，线性模型的预测函数可以如下公式六所示：
该线性模型对应的损失函数可以采用随机梯度下降(SGD)函数，损失函数可以如下公式七所示：
log loss＝∑yi ln(pi)+(1-yi)ln(1-pi) (公式七)
这里，对于确定需要进行二次审核的训练媒体信息，则yi＝1，对于确定不需要进行二次审核的训练媒体信息，则yi＝0。
在一些实施例中，所述结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型，包括：
根据各个所述维度的所述评估结果构造所述维度对应的输入特征；
将所述输入特征和所述媒体信息的图像数据分别作为训练后的线性模型和神经网络的组合模型的输入，根据所述组合模型将所述线性模型的第一输出和所述神经网络的第二输出输入到逻辑回归层后的输出结果，确定所述媒体信息的风险类型。
这里，通过引入深度学习的方式建立线性模型和神经网络的组合模型进行训练，以确定与各个所述维度对应的权重参数。其中，对线性模型和神经网络的组合模型进行训练的数据包括根据各个所述维度的所述评估结果所构造的与所述维度分别对应的输入特征、以及所述媒体信息的图像数据。将媒体信息根据各个所述维度的所述评估结果所构造的输入特征作为组合模型中线性模型的输入，将所述媒体信息的图像数据作为组合模型中神经网络的输入，并将线性模型的第一输出和神经网络的第二输出作为输入到逻辑回归层的输入，从而根据逻辑回归层输出的0-1概率的结果，确定所述媒体信息的风险类型。
在一些实施例中，所述将所述输入特征和所述媒体信息的图像数据分别作为训练后的线性模型和神经网络的组合模型的输入之前，包括：
构建样本数据集，所述样本数据集包括样本媒体信息在所述设定维度对应的评估结果构造的样本输入特征、样本媒体信息的样本图像数据及对应的风险类型；
构建初始的线性模型和神经网络的组合模型，将所述样本媒体信息的所述样本输入特征作为线性模型的输入、将所述样本图像数据及对应的风险类型作为神经网络的输入，将所述线性模型的第一训练输出和所述神经网络的第二训练输出作为逻辑回归层的输入，根据所述逻辑回归层的输出与对应样本媒体信息的风险类型的误差调整初始的所述组合模型中的网络参数，通过进行迭代训练，直至对应的损失函数收敛。
这里，通过预先建立初始的线性模型和神经网络的组合模型，构建样本数据集对组合模型进行训练以确定与各个所述维度对应的权重参数。其中，样本数据集的获取可以包括：根据已知的需要停止投放和/或需要进行二次审核的媒体信息作为样本媒体信息；根据样本媒体信息在设定维度对应的评估结果构造样本输入特征；采集样本媒体信息对应的图像作为样本图像数据；对样本图像数据的风险类型进行标注。
对所述初始的组合模型进行训练的过程包括：将所述样本媒体信息的样本输入特征作为线性模型的输入、将所述样本图像数据及对应的风险类型标注作为神经网络的输入，将所述线性模型的第一训练输出和所述神经网络的第二训练输出作为逻辑回归层的输入，对于确定需要停止投放和/或进行二次审核的样本媒体信息则逻辑回归层对应输出为1，否则输出为0，通过逻辑回归层的输出将媒体信息的风险类型问题转换为0-1分类问题，并根据逻辑回归层的输出误差在组合模型中通过反向传播，在反向传播的每个网络层中，利用各种梯度求解的方式，确定损失函数相对于各个网络层参数的梯度，将所述网络层的参数减去相应的梯度实现更新。通过不断训练迭代调整初始的组合模型中的网络参数，直至损失函数收敛而得到训练后的组合模型，从而获得与各个所述维度对应的权重参数。
请参阅图6，为本发明一可选实施例所提供的线性模型和神经网络的组合模型的架构示意图，该组合模型也称为宽深度模型(Wide&Deep Models)，其中宽度模型(WideModels)与线性模型对应，Wide Models的输入包括基于各个所述维度对应的所述评估结果所构造的输入特征，如：根据所属行业评估维度对应的评估结果构造的输入特征X1、根据信息展示载体评估维度对应的评估结果构造的输入特征X2、根据展示位评估维度对应的评估结果构造的输入特征X3、根据转化评估维度对应的评估结果构造的输入特征X4、根据用户评估维度对应的评估结果构造的输入特征X5。深度模型(Deep Models)与神经网络对应，Deep Models包括输入层、编码层、一个或者多个隐藏层(Hidden Layers)和输出层(OutputUnits)，其中，Deep Models的输入包括样本图像数据以及对应的风险类型标注，输入层提取样本图像数据的稀疏特征(Sparse Features)，编码层对所提取的特征进行编码并映射到相对维度更低的、稠密的编码空间，该处理过程也称为稠密嵌入(Dense Embeddings)，可以解决特征稀疏的问题，隐藏层可以将编码层输出的编码的取值拟合到同一取值空间，以得到更低维的特征向量。Wide Models和Deep Models的最后一层的特征对其，统一输入到逻辑回归层，逻辑回归层采用激活函数如sigmoid函数，可以如下公式八所示：
其中，Y表示二分类的标签(lable)，σ(·)表示sigmoid函数，φ(x)表示对原始特征x做向量点积转换(cross product transformations)，b表示偏置(bias)项。Wwide表示Wide Models的权重向量，Wdeep表示应用在最终激活函数a(lf)上的权重。
本发明上述实施例中，通过引入深度学习的方法在基于线性加权的基础上进行建模，构建线性模型和神经网络的组合模型，不仅可以对确定性可观测的特征数据进行建模，如对基于媒体信息的各个所述维度对应的评估结果所构造的输入特征进行建模，而且可以对稀疏特征或不能直接确定性可观测到的行为数据建模，如对即媒体信息的图像数据中携带的特征建模，形成了在一个模型中实现记忆和泛化的宽深度学习框架，能够更加全面、准确地识别出设定的风险类型的媒体信息，实现将内部包含有违规内容的媒体信息停止投放、和/或将需要对其是否包含违规内容进行进一步审核的媒体信息推荐至进行二次审核的目的。
在一些实施例中，本发明实施例提供的信息巡检方法，还包括：
获取反馈信息，根据所述反馈信息确定媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
其中，反馈信息包括从指定的用户反馈入口获取的反映对应媒体信息是否包含违规内容的信息。用于展示媒体信息的信息投放系统通常均会设有用户反馈入口，便于用户通过用户反馈入口提出对信息投放系统的建议，也包括提出对信息投放系统中所展示的媒体信息是否包含有违规内容的反馈意见。请参阅图7，以信息投放系统为微信为例，在广告页面的顶部设置有用户反馈入口，用户可以通过选定该用户反馈入口对相应广告可能存在的问题进行反馈。
本发明上述实施例中，通过获取针对媒体信息是否包含违规内容的反馈信息，将根据反馈信息确定媒体信息的风险类型作为辅助手段，从而能够更加全面、准确地识别出需要停止投放的媒体信息，和/或，更加全面、准确地识别出需要对其是否包含违规内容进行进一步审核的媒体信息推荐至审核系统进行二次审核。
在一些实施例中，所述根据所述反馈信息确定媒体信息为设定的风险类型时，还包括：所述将所述媒体信息推荐至进行二次审核。
这里，将所述媒体信息推荐至进行二次审核是指：将所述媒体信息推荐至审核系统进行人工审核。其中，审核系统是指与基于推荐的巡检系统相对独立的系统。请再次参阅图1和图2，审核系统的实施侧可以为用户终端，通过加载于用户终端上的审核系统，便于审核人员直接操作用户终端对基于推荐的巡检系统所推荐的媒体信息进行人工的二次审核。该用户终端可以是个人计算机、移动终端等计算机设备终端。
在一些实施例中，所述当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息，包括：当所述媒体信息为设定的风险类型时，将所述媒体信息推荐至进行二次审核并触发所述信息投放系统暂停投放所述媒体信息；根据二次审核确认所述媒体信息属于所述设定的风险类型的结果，将所述媒体信息从所述信息投放系统永久下线。
其中，信息投放系统停止投放所述媒体信息，可以包括停止投放所述媒体信息，将所述媒体信息从所述系统投放系统中暂时下线，并将所述媒体信息推荐至进行二次审核；或者停止投放所述媒体信息，将所述媒体信息从信息投放系统中永久性下线。二次审核是指对相应媒体信息内是否包含有违规内容进行确定性结论的审核，通常二次审核为人工审核。通过人工进行二次审核，可以确保审核结论的准确性，便于根据二次审核的结果，当确定该相应媒体信息内确实包含违规内容时，则将所述相应媒体信息从信息投放系统中及时永久性的下架，避免该相应媒体信息的传播带来的不良影响、对信息投放系统的声誉造成的不良影响等。
在一些实施例中，信息巡检方法还包括：当所述媒体信息为设定的风险类型时，将所述媒体信息根据所述评估结果依序进行展示，并展示所述媒体信息分别在各个所述维度对应的评估结果。
这里，将所述媒体信息根据所述评估结果依序进行展示，可以是指将待推荐的所述媒体信息结合各个所述维度对应的评估结果得到的最终评分值，根据评分值的高低依序将媒体信息进行展示，并展示所述媒体信息分别在各个所述维度对应的评估结果。请参阅图8，为将所述媒体信息根据所述评估结果依序进行展示的示意图，将确定为设定的风险类型的媒体信息在巡检展示界面中进行展示，每一媒体信息的展示内容包括媒体信息的内容，如文本、图像、和/或视频信息，以及所述媒体信息在对应各个维度的评估结果，如分别在所属行业评估维度、信息展示载体评估维度、展示位评估维度、转化评估维度以及用户评估维度对应的评分值。可选的，每一媒体信息的展示内容还可以包括媒体信息在对应各个维度的权重值。
本发明上述实施例中，通过在巡检展示界面中将所述媒体信息根据所述评估结果依序进行展示，便于将实施信息巡检方法的基于推荐的巡检系统对推荐至审核系统的媒体信息的直观显示，通过该展示界面可以快速了解到被推荐至进行二次审核的媒体信息在不同维度的评估结果，判断系统是否存在异常的情况；还可以结合经验值对推荐出来的媒体信息的不同维度进行分析，对评估结果或不同维度的权重进行进一步调整优化。
为了能够对本发明实施例所提供的信息巡检方法的实现流程更加清楚的理解，请参阅图9，下面以一可选的具体示例为例对信息巡检方法的流程进行说明，所述媒体信息是指广告，该方法包括如下步骤：
S21，建立基于推荐的巡检模型；其中，所述基于推荐的巡检模型可以是线性加权模型，该线性模型的预测函数可以是如前述公式六和公式七所示，或者是引入深度学习的线性模型和神经网络的组合模型，该组合模型的预测函数可以是指如前述公式八所示。
S22，构建训练数据集，通过所述训练数据集对所述基于推荐的巡检模型进行训练，直至模型的损失函数收敛；该训练数据集包括已知其内是否包含违规内容的广告数据及其对应的风险类型、所述广告数据分别在设定各个维度的评分值。其中，对于已知其内包含违规内容的广告的风险类型相应是为高风险广告，对于已知其内不包含违规内容的广告的风险类型相应为低风险广告。
S23，获取信息投放系统中当前投放的广告分别与设定的维度对应的评估数据，根据对应维度的评估策略确定评分值；其中，所述维度包括所属行业评估维度、信息展示载体评估维度、展示位评估维度、转化评估维度、用户评估维度，根据展示位评估维度的评估策略确定对应的评分值可以如前述公式一所示，根据转化评估维度的评估策略确定对应的评分值可以如前述公式二所示，根据信息展示载体评估维度的评估策略确定对应的评分值可以如前述公式三所示，根据用户评估维度的评估策略确定对应的评分值可以如前述公式四所示，根据所属行业评估维度的评估策略确定对应的评分值可以如前述公式五所示。
S24，通过所述基于推荐的巡检模型对各个所述维度对应的评分值进行加权，输出用于表征对应广告是否为高风险广告的分类结果；其中，当基于推荐的巡检模型为线性加权模型时，则通过所述线性加权模型对广告在各个所述维度对应的评分值基于训练后模型对应的权重参数进行加权，得到所述广告的最终评分，通过所述广告的最终评分表征对应广告是否为需要进一步审核的高风险广告的分类结果。当基于推荐的巡检模型为线性模型和神经网络的组合模型，则通过所述线性模型和神经网络的组合模型对广告在各个所述维度对应的评分值基于训练后模型对应的权重参数进行加权、并对广告的图像数据中的特征进行提取识别，输出表征对应广告是否为需要进一步审核的高风险广告的二分类结果。
S25，根据所述基于推荐的巡检模型输出的分类结果，将高风险类型的广告推荐至审核系统进行二次审核。
本发明上述实施例中，基于推荐的巡检模型结合广告位，广告转化，用户属性等，并根据政策进行实时调整，根据历史上的审核数据训练基于推荐的巡检模型以优化模型，该基于推荐的巡检模型能够实时推荐出可能存在违规风险的高风险广告进行二次审查，可以有效减少广告巡检的数量，并且巡检更有针对性，提高时效和降低风险。如此，采用该基于推荐的巡检模型可以实时挖掘线上广告中具有高风险的广告推荐至审核系统，且可以个性化对该基于推荐的巡检模型的参数进行调整，比如设置指定行业的行业权重来实时响应政策，对于特殊的指定行业的广告确保必须全部选中以推荐进行二次审核，并根据二次审核确认广告为高风险广告的结果，将广告从信息投放系统中永久性下架，避免包含违规内容的广告的传播所带来的不良影响。
本发明实施例的另一方面，提供信息巡检装置可以采用服务器等计算机设备实施的实施例，就实施该信息巡检方法的信息巡检装置的硬件结构而言，请参阅图10，为本发明实施例提供的信息巡检装置的可选的硬件结构示意图，包括：至少一个处理器901、存储器902、至少一个网络接口904和用户接口906。信息巡检装置中的各个组件通过总线系统905耦合在一起。可以理解的，总线系统905用于实现这些组件之间的连接通信。总线系统905除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。为了清楚说明起见，在图9中将各种总线都标为总线系统。
其中，用户接口906可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器902可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
本发明实施例中的存储器902用于存储各种类别的数据以支持信息巡检装置的操作。这些数据的示例包括：用于在信息巡检装置上操作的任何可执行程序，如操作系统和应用程序；媒体信息在各个设定维度的对应评估数据；所述媒体信息在所述维度对应的评估结果等；其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。其中应用程序可以包含各种应用程序，例如，目标应用、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的信息巡检方法的信息巡检装置可以包含在应用程序中。
上述本发明实施例揭示的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器901可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用的处理器901可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的信息巡检方法的实现步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，信息巡检装置可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)，用于执行前述方法。
在示例性实施例中，请继续参阅图10，本发明一实施例提供的信息巡检装置，包括：评估模块11、风险确定模块13和推荐审核模块15。所述评估模块11，用于从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果；所述风险确定模块13，用于结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型；所述停止投放模块15，用于当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
在一些实施例中，所述装置还包括维度确定模块，用于根据所述媒体信息的不同属性分别确定对应的维度；其中，所述属性包括如下至少之一：内容属性、载体属性、位置属性、转化属性和用户属性。
在一些实施例中，所述评估模块11，还用于当所述维度包括展示位评估维度时，获取信息投放系统中在当前投放周期内于对应信息展示位中展示的媒体信息的曝光数，根据所述曝光数确定所述媒体信息在展示位评估维度对应的评分值，其中，所述媒体信息在所述展示位评估维度对应的评分值为对所述曝光数进行取对数得到。
在一些实施例中，所述评估模块11，还用于当所述维度包括转化评估维度时，获取信息投放系统中在当前投放周期内被投放的媒体信息的点击率，根据所述媒体信息在统计时段的当前采样时段内的点击率的增量，确定所述媒体信息在转化评估维度对应的评分值，其中，当所述增量大于0时，所述媒体信息在所述转化评估维度对应的评分值与所述增量呈正比，当所述增量小于0时，所述媒体信息在转化评估维度对应的评分值为零。
在一些实施例中，所述评估模块11，还用于当所述维度包括信息展示载体评估维度时，获取信息投放系统在当前投放周期内被投放的媒体信息对应所属载体的访问量，根据所述媒体信息对应所属载体的访问量的变化情况，确定所述媒体信息在信息展示载体评估维度对应的评分值，其中，所述媒体信息在所述信息展示载体评估维度对应的评分值与当前时间周期的所述访问量呈正比。
在一些实施例中，所述评估模块11，还用于当所述维度包括用户评估维度时，获取信息投放系统在当前投放周期内被投放的媒体信息的接收用户信息，根据所述接收用户信息确定指定类型用户的数量，确定所述媒体信息在用户评估维度对应的评分值，其中，所述媒体信息在所述用户评估维度对应的评分值为所述指定类型用户的累加值。
在一些实施例中，所述评估模块11，还用于当所述维度包括所属行业评估维度时，获取信息投放系统在当前投放周期内被投放的媒体信息的行业属性，根据所述行业属性信息确定所述媒体信息对应的行业及行业权重，确定所述媒体信息在所属行业评估维度对应的评分值，其中，当所述媒体信息对应的行业属于指定行业时，所述媒体信息在所属行业评估维度对应的评分值为对应的所述行业权重的累加值，当所述媒体信息对应的行业不属于所述指定行业时，所述媒体信息在所属行业评估维度对应的评分值为零。
在一些实施例中，所述风险确定模块13，还用于将各个所述维度的评分值根据对应的权重参数进行加权，确定所述媒体信息的最终评分值，根据所述最终评分值确定所述媒体信息的风险类型。
在一些实施例中，所述风险确定模块13，还用于构建训练数据集，所述训练数据集包括训练媒体信息在各个所述维度对应的评估结果及对应的风险类型；基于所述训练数据集对线性模型进行训练，直至对应的损失函数收敛，得到所述线性模型中分别与各个所述维度对应的权重参数。
在一些实施例中，所述风险确定模块13，还用于根据各个所述维度对应的评估结果构造所述维度对应的输入特征；将所述输入特征和所述媒体信息的图像数据分别作为训练后的线性模型和神经网络的组合模型的输入，根据所述组合模型将所述线性模型的第一输出和所述神经网络的第二输出输入到逻辑回归层后的输出结果，确定所述媒体信息的风险类型。
在一些实施例中，所述风险确定模块13，还用于构建样本数据集，所述样本数据集包括样本媒体信息在各个所述维度对应的评估结果构造的样本输入特征、样本媒体信息的样本图像数据及对应的风险类型；构建初始的线性模型和神经网络的组合模型，将所述样本媒体信息的所述样本输入特征作为线性模型的输入、将所述样本图像数据及对应的风险类型作为神经网络的输入，将所述线性模型的第一训练输出和所述神经网络的第二训练输出作为逻辑回归层的输入，根据所述逻辑回归层的输出与对应样本媒体信息的风险类型的误差调整初始的所述组合模型中的网络参数，通过进行迭代训练，直至对应的损失函数收敛。
在一些实施例中，所述停止投放模块15，用于当所述媒体信息为设定的风险类型时，将所述媒体信息推荐至进行二次审核；根据二次审核确认所述媒体信息属于所述设定的风险类型的结果，将所述媒体信息从所述信息投放系统永久下线。
在一些实施例中，所述装置还包括反馈处理模块，用于获取反馈信息，根据所述反馈信息确定媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
在一些实施例中，所述装置还包括展示模块，用于当所述媒体信息为设定的风险类型时，将所述媒体信息根据所述评估结果依序进行展示，并展示所述媒体信息分别在各个所述维度对应的评估结果。
需要说明的是：上述实施例提供的信息巡检装置在实现本发明实施例中信息巡检方法时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的信息巡检装置与本发明实施例中信息巡检方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明实施例还提供了一种存储介质，如图10所示的包括可执行计算机程序的存储器902，上述计算机程序可由处理器执行，以完成本发明实施例所提供的信息巡检方法的步骤。可读存储介质可以是指磁性随机存取存储器(FRAM)、只读内存(ROM)、可编程只读存储器(PROM)、非易失性只读存储器(EPROM)、带电可插可编程只读存储器(EEPROM)、闪存(Flash Memory)、磁表面存储器、光盘、或光盘只读存储器(CD-ROM)等存储器；也可以是包括由上述存储器之一或任意组合的各种设备，如计算机设备。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种信息巡检方法，其特征在于，包括：
从信息投放系统中实时获取被投放的媒体信息的至少一个维度的评估数据，
根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果；
结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型；
当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息。
2.如权利要求1所述的方法，其特征在于，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据之前，包括：
根据所述媒体信息的不同属性分别确定对应的维度；
其中，所述属性包括如下至少之一：内容属性、载体属性、位置属性、转化属性和用户属性。
3.如权利要求1所述的方法，其特征在于，当所述维度包括展示位评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统中在当前投放周期内于对应信息展示位中展示的媒体信息的曝光数，根据所述曝光数确定所述媒体信息在展示位评估维度对应的评分值，其中，所述媒体信息在所述展示位评估维度对应的评分值为对所述曝光数进行取对数得到。
4.如权利要求1所述的方法，其特征在于，当所述维度包括转化评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统中在当前投放周期内被投放的媒体信息的点击率，根据所述媒体信息在统计时段的当前采样时段内的点击率的增量，确定所述媒体信息在转化评估维度对应的评分值，其中，当所述增量大于0时，所述媒体信息在所述转化评估维度对应的评分值与所述增量呈正比，当所述增量小于0时，所述媒体信息在转化评估维度对应的评分值为零。
5.如权利要求1所述的方法，其特征在于，当所述维度包括信息展示载体评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息对应所属载体的访问量，根据所述媒体信息对应所属载体的访问量的变化情况，确定所述媒体信息在信息展示载体评估维度对应的评分值，其中，所述媒体信息在所述信息展示载体评估维度对应的评分值与当前时间周期的所述访问量呈正比。
6.如权利要求1所述的方法，其特征在于，当所述维度包括用户评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息的接收用户信息，根据所述接收用户信息确定指定类型用户的数量，确定所述媒体信息在用户评估维度对应的评分值，其中，所述媒体信息在所述用户评估维度对应的评分值为所述指定类型用户的累加值。
7.如权利要求1所述的方法，其特征在于，当所述维度包括所属行业评估维度时，所述从信息投放系统中获取被投放的媒体信息的至少一个维度的评估数据，根据所述评估数据确定所述媒体信息对应所述至少一个维度的评估结果，包括：
获取信息投放系统在当前投放周期内被投放的媒体信息的行业属性，根据所述行业属性信息确定所述媒体信息对应的行业及行业权重，确定所述媒体信息在所属行业评估维度对应的评分值，其中，当所述媒体信息对应的行业属于指定行业时，所述媒体信息在所属行业评估维度对应的评分值为对应的所述行业权重的累加值，当所述媒体信息对应的行业不属于所述指定行业时，所述媒体信息在所属行业评估维度对应的评分值为零。
8.如权利要求1至7中任一项所述的方法，其特征在于，所述结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型，包括：
将各个所述维度的评分值根据对应的权重参数进行加权，确定所述媒体信息的最终评分值，根据所述最终评分值确定所述媒体信息的风险类型。
9.如权利要求8所述的方法，其特征在于，所述将各个所述维度的评分值根据对应的权重参数进行加权之前，包括：
构建训练数据集，所述训练数据集包括训练媒体信息在各个所述维度对应的评估结果及对应的风险类型；
基于所述训练数据集对线性模型进行训练，直至对应的损失函数收敛，得到所述线性模型中分别与各个所述维度对应的权重参数。
10.如权利要求1至7中任一项所述的方法，其特征在于，所述结合各个所述维度对应的评估结果，确定所述媒体信息的风险类型，包括：
根据各个所述维度对应的评估结果构造所述维度对应的输入特征；
将所述输入特征和所述媒体信息的图像数据分别作为训练后的线性模型和神经网络的组合模型的输入，根据所述组合模型将所述线性模型的第一输出和所述神经网络的第二输出输入到逻辑回归层后的输出结果，确定所述媒体信息的风险类型。
11.如权利要求10所述的方法，其特征在于，所述将所述输入特征和所述媒体信息的图像数据分别作为训练后的线性模型和神经网络的组合模型的输入之前，包括：
构建样本数据集，所述样本数据集包括样本媒体信息在各个所述维度对应的评估结果构造的样本输入特征、样本媒体信息的样本图像数据及对应的风险类型；
构建初始的线性模型和神经网络的组合模型，将所述样本媒体信息的所述样本输入特征作为线性模型的输入、将所述样本图像数据及对应的风险类型作为神经网络的输入，将所述线性模型的第一训练输出和所述神经网络的第二训练输出作为逻辑回归层的输入，根据所述逻辑回归层的输出与对应样本媒体信息的风险类型的误差调整初始的所述组合模型中的网络参数，通过进行迭代训练，直至对应的损失函数收敛。
12.如权利要求1至7中任一项所述的方法，其特征在于，所述当所述媒体信息为设定的风险类型时，触发所述信息投放系统停止投放所述媒体信息，具体包括：
当所述媒体信息为设定的风险类型时，将所述媒体信息推荐至进行二次审核并触发所述信息投放系统暂停投放所述媒体信息；
根据二次审核确认所述媒体信息属于所述设定的风险类型的结果，将所述媒体信息从所述信息投放系统永久下线。
13.如权利要求1至7中任一项所述的方法，其特征在于，还包括：
当所述媒体信息为设定的风险类型时，将所述媒体信息根据所述评估结果依序进行展示，并展示所述媒体信息分别在各个所述维度对应的评估结果。
14.一种计算机设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；
其中，所述处理器用于运行所述计算机程序时，实现权利要求1至13任一项所述的信息巡检方法。
15.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至13任一项所述的信息巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420316.9A CN111966915A (zh) | 2019-05-20 | 2019-05-20 | 信息巡检方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420316.9A CN111966915A (zh) | 2019-05-20 | 2019-05-20 | 信息巡检方法、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111966915A true CN111966915A (zh) | 2020-11-20 |
Family
ID=73358022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910420316.9A Pending CN111966915A (zh) | 2019-05-20 | 2019-05-20 | 信息巡检方法、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966915A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112700300A (zh) * | 2020-12-25 | 2021-04-23 | 山东众阳健康科技集团有限公司 | 供应商资质智能审核管控方法、系统、存储介质及设备 |
| CN112989203A (zh) * | 2021-04-14 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 素材投放方法、装置、设备和介质 |
| CN114257828A (zh) * | 2021-12-20 | 2022-03-29 | 上海哔哩哔哩科技有限公司 | 直播审核内容处理方法及系统 |
| CN114782078A (zh) * | 2022-04-01 | 2022-07-22 | 重庆邮电大学 | 一种针对高维数据的商业信息评估方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346425A (zh) * | 2014-07-28 | 2015-02-11 | 中国科学院计算技术研究所 | 一种层次化的互联网舆情指标体系的方法及系统 |
| CN106294334A (zh) * | 2015-05-11 | 2017-01-04 | 国家计算机网络与信息安全管理中心 | 一种微博舆情指标体系的计算方法及装置 |
| CN106557558A (zh) * | 2016-11-09 | 2017-04-05 | 中国工商银行股份有限公司 | 一种数据分析方法及装置 |
| CN108446270A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技（深圳）有限公司 | 电子装置、系统敏感内容的预警方法及存储介质 |
| CN108985067A (zh) * | 2018-06-07 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 基于自动化回溯的内容处理方法和装置 |
| CN109460432A (zh) * | 2018-11-14 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
-
2019
- 2019-05-20 CN CN201910420316.9A patent/CN111966915A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346425A (zh) * | 2014-07-28 | 2015-02-11 | 中国科学院计算技术研究所 | 一种层次化的互联网舆情指标体系的方法及系统 |
| CN106294334A (zh) * | 2015-05-11 | 2017-01-04 | 国家计算机网络与信息安全管理中心 | 一种微博舆情指标体系的计算方法及装置 |
| CN106557558A (zh) * | 2016-11-09 | 2017-04-05 | 中国工商银行股份有限公司 | 一种数据分析方法及装置 |
| CN108446270A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技（深圳）有限公司 | 电子装置、系统敏感内容的预警方法及存储介质 |
| CN108985067A (zh) * | 2018-06-07 | 2018-12-11 | 阿里巴巴集团控股有限公司 | 基于自动化回溯的内容处理方法和装置 |
| CN109460432A (zh) * | 2018-11-14 | 2019-03-12 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112700300A (zh) * | 2020-12-25 | 2021-04-23 | 山东众阳健康科技集团有限公司 | 供应商资质智能审核管控方法、系统、存储介质及设备 |
| CN112989203A (zh) * | 2021-04-14 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 素材投放方法、装置、设备和介质 |
| WO2022218068A1 (zh) * | 2021-04-14 | 2022-10-20 | 北京字节跳动网络技术有限公司 | 素材投放方法、装置、设备和介质 |
| CN112989203B (zh) * | 2021-04-14 | 2023-11-24 | 抖音视界有限公司 | 素材投放方法、装置、设备和介质 |
| CN114257828A (zh) * | 2021-12-20 | 2022-03-29 | 上海哔哩哔哩科技有限公司 | 直播审核内容处理方法及系统 |
| CN114257828B (zh) * | 2021-12-20 | 2024-08-30 | 上海哔哩哔哩科技有限公司 | 直播审核内容处理方法及系统 |
| CN114782078A (zh) * | 2022-04-01 | 2022-07-22 | 重庆邮电大学 | 一种针对高维数据的商业信息评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11048530B1 (en) | Predictive action modeling to streamline user interface | |
| Zadeh et al. | Modeling brand post popularity dynamics in online social networks | |
| CN111966915A (zh) | 信息巡检方法、计算机设备及存储介质 | |
| US9064212B2 (en) | Automatic event categorization for event ticket network systems | |
| US7519562B1 (en) | Automatic identification of unreliable user ratings | |
| US10846600B1 (en) | Methods, systems, and media for identifying errors in predictive models using annotators | |
| US11556955B2 (en) | Systems and methods for leveraging social queuing to identify and prevent ticket purchaser simulation | |
| TW201443812A (zh) | 社群媒體影響性評估（二） | |
| CN113076416A (zh) | 信息热度评估方法、装置和电子设备 | |
| US11657427B2 (en) | Systems and methods for leveraging social queuing to simulate ticket purchaser behavior | |
| CN109493138A (zh) | 信息推荐方法、装置、服务器及存储介质 | |
| CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
| US20230316106A1 (en) | Method and apparatus for training content recommendation model, device, and storage medium | |
| CN112995690A (zh) | 直播内容品类识别方法、装置、电子设备和可读存储介质 | |
| CN109978594B (zh) | 订单处理方法、装置及介质 | |
| US11790030B2 (en) | Creating an effective product using an attribute solver | |
| US20170147721A1 (en) | Generating a model based on input | |
| CN115618120B (zh) | 一种公众号信息推送方法、系统、终端设备及存储介质 | |
| CN116308615A (zh) | 产品推荐方法、装置、电子设备及存储介质 | |
| US20220253690A1 (en) | Machine-learning systems for simulating collaborative behavior by interacting users within a group | |
| Fontaine et al. | Solid waste generation prediction model framework using socioeconomic and demographic factors with real-time MSW collection data | |
| US11463461B2 (en) | Unequal probability sampling based on a likelihood model score to evaluate prevalence of inappropriate entities | |
| CN113052509A (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
| CN112818231A (zh) | 信息投放方法、装置、电子设备及存储介质 | |
| CN112200602A (zh) | 用于广告推荐的神经网络模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |