CN114676788A - 内容审核方法、服务器及存储介质 - Google Patents

Abstract

本公开涉及一种内容审核方法、服务器及存储介质。其中，内容审核方法包括：获取待审核的文本，文本包括用户标识；基于用户标识，确定用户标识对应的用户风险类型；对文本进行风险识别处理，得到文本的内容风险类型；响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。根据本公开实施例，能够在保证文本内容安全的情况下，降低平台审核人员的审核压力。

Description

内容审核方法、服务器及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种内容审核方法、服务器及存储介质。

背景技术

随着技术的发展，越来越多的用户开始使用电子书平台阅读电子书，用户在使用电子书平台进行阅读的时候，不同的用户常常会发表一些不同类型的评论或帖子，而这些评论或帖子都需要电子书平台进行审核，来保证这些评论或帖子不会出现敏感内容。

在相关技术中，电子书平台在对用户评论或帖子进行管理时，通常需要通过人工对评论或帖子进行审核，但是由于电子书平台用户数量的增加，使得用户评论或帖子数量与日俱增，导致平台审核人员的审核工作量增加，给平台审核人员带来较大的审核压力。

发明内容

为了解决上述技术问题，本公开提供了一种内容审核方法、服务器及存储介质。

第一方面，本公开提供了一种内容审核方法，包括：

获取待审核的文本，文本包括用户标识；

基于用户标识，确定用户标识对应的用户风险类型；

对文本进行风险识别处理，得到文本的内容风险类型；

响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。

第二方面，本公开提供了一种服务器，包括处理器和存储器，存储器用于存储可执行指令，可执行指令使处理器执行以下操作：

获取待审核的文本，文本包括用户标识；

基于用户标识，确定用户标识对应的用户风险类型；

对文本进行风险识别处理，得到文本的内容风险类型；

响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。

第三方面，本公开提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的内容审核方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例的内容审核方法、服务器及存储介质，能够在获取待审核的文本后，基于待审核的文本中包括的用户标识，确定用户标识对应的用户风险类型，并对待审核的文本进行风险识别处理，得到该文本的内容风险类型，若用户风险类型为信任用户，且内容风险类型为低风险内容，则确定文本的审核方式为免审，因此，能够根据文本对应的用户风险类型和内容风险类型，确定文本是否可以免审，进而能够在保证文本内容安全的情况下，降低平台审核人员的审核压力。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1示出了本公开实施例提供的一种内容审核方法的流程示意图；

图2示出了本公开实施例提供的一种审核方式的示意图；

图3示出了本公开实施例提供的一种服务器的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

本公开实施例提供了一种内容审核方法、服务器及存储介质。

下面，首先结合图1对本公开实施例提供的内容审核方法进行说明。

本公开实施例提供的内容审核方法可以由服务器执行。其中，该服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。

图1示出了本公开实施例提供的一种内容审核方法的流程示意图。

如图1所示，该内容审核法可以包括如下步骤。

S110、获取待审核的文本，文本包括用户标识。

在本公开实施例中，用户想要使用电子设备进行上传待审核的文本时，服务器可以接收并获取到用户上传的待审核的文本，并获取到待审核的文本中包括的用户标识。

可选地，电子设备可以包括但不限于诸如智能手机、笔记本电脑、平板电脑等的移动终端，以及诸如台式计算机、智能家居设备等的固定终端。

可选地，待审核的文本可以为用户上传的需要审核的文本。例如，可以为用户撰写的帖子、评论等，此处不做限定。

可选地，用户标识可以为用于指示审核的文本对应的用户的标识。例如，可以为用户名、用户身份标识号码(Identity document，ID)等，此处不做限定。

具体地，以待审核的文本为帖子为例，用户可以通过电子设备上传撰写好的帖子文本，服务器可以接收并获取到该帖子文本，从该帖子文本中特定位置并获取到对应的用户标识。

S120、基于用户标识，确定用户标识对应的用户风险类型。

在本公开实施例中，服务器在获取到待审核的文本中包括的用户标识之后，可以根据该用户标识，来确定该用户标识对应的用户风险类型。

可选地，用户风险类型可以为表明用户信用风险的类型。例如，用户风险类型可以包括信任用户、低风险用户和高风险用户。

具体地，服务器在获取到待审核的文本中包括的用户标识之后，可以根据获取到的用户标识，确定该用户标识对应的用户风险类型。具体实施方式在下文进行说明。

S130、对文本进行风险识别处理，得到文本的内容风险类型。

在本公开实施例中，服务器在确定用户标识对应的用户风险类型之后，还可以对待审核的文本进行风险识别处理，从而得到待审核的文本的内容风险类型。

可选地，风险识别处理可以为对待审核的文本内容进行风险识别的处理。例如，风险识别处理可以通过预设风险识别模型进行实现。预设风险识别模型可以为预先训练的用于进行风险识别处理的模型。

可选地，内容风险类型可以为表明待审核的文本内容风险的类型。例如，内容风险类型可以包括低风险内容和高风险内容。

具体地，服务器在确定用户标识对应的用户风险类型之后，还可以通过预设风险识别模型对待审核的文本进行风险识别处理，并根据风险识别处理后地结果，得到该待审核的文本地的内容风险类型。

S140、响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。

在本公开实施例中，服务器在确定用户标识对应的用户风险类型，且得到待审核的文本的内容风险类型之后，若用户风险类型为信任用户且内容风险类型为低风险内容，服务器可以确定待审核的文本的审核方式为免审。

具体地，服务器在确定用户标识对应的用户风险类型为信任用户，且文本的内容风险类型为低风险内容之后，可以确定该待审核的文本的审核方式为免审核方式，即该待审核的文本不需要再进行人工审核，可以直接发布。

进一步地，若用户风险类型为信任用户发布的文本出现违规行为，如被举报并核实，服务器将不会对该信任用户发布的文本进行免审，并更改该信任用户的用户风险类型。

在本公开另一些实施例中，服务器在确定用户标识对应的用户风险类型，且得到待审核的文本的内容风险类型之后，若用户风险类型为信任用户且内容风险类型为低风险内容，服务器还可以确定待审核的文本的审核方式为抽审。

可选地，抽审可以为按照预设比例进行抽查审核。其中，预设比例可以为预先设定的比例，如20％。

具体地，服务器在确定用户标识对应的用户风险类型为信任用户，且文本的内容风险类型为低风险内容之后，还可以确定该待审核的文本的审核方式为抽查审核，即抽查20％的待审核的文本进行审核。

进一步地，若用户风险类型为信任用户发布的文本出现违规行为，如被抽查并核实，服务器将不会对该信任用户发布的文本进行免审，并更改该信任用户的用户风险类型。

在本公开又一些实施例中，用户标识对应的用户可以为新用户或沉默用户，由于该新用户或沉默用户的历史数据较少，无法准确的确定用户标识对应的用户风险类型，因此该新用户或沉默用户发布的文本不会被免审或抽审。

由此，在本公开实施例中，能够在获取待审核的文本后，基于待审核的文本中包括的用户标识，确定用户标识对应的用户风险类型，并对待审核的文本进行风险识别处理，得到该文本的内容风险类型，若用户风险类型为信任用户，且内容风险类型为低风险内容，则确定文本的审核方式为免审，因此，能够根据文本对应的用户风险类型和内容风险类型，确定文本是否可以免审，进而能够在保证文本内容安全的情况下，降低平台审核人员的审核压力。

在一些实施例中，服务器可以对用户标识对应的用户风险类型进行确定，下面进行详细说明。

可选地，S120可以具体包括如下步骤：

S1201、获取用户标识对应的用户基础分值和用户行为分值，用户行为分值由用户行为确定。

在本公开实施例中，服务器在获取到待审核的文本中包括的用户标识之后，可以根据该用户标识，获取对应的用户基础分值和由用户行为确定的用户行为分值。

可选地，用户基础分值可以为用户在预设时刻的分值。预设时刻可以为预先设定的时刻。例如，可以为上周一。

可选地，用户行为分值可以为基于用户行为确定的分值。用户行为可以为用户在预设时间段内进行的行为。例如，用户行为可以包括用户加分行为和用户减分行为。预设时间段可以为预先设定的时间段，例如，可以为上周一周。

例如，用户减分行为：被举报次数>2、被禁言天数；用户加分行为：帖子被置顶、优质发帖等，此处不做限定。

具体地，以预设时刻为上周一，预设时间段为上周一周为例，服务器可以根据待审核的文本中包括的用户标识，在上周保存的历史记录中，确定该用户标识在上周一的分值，即用户基础分值，并获取该用户标识在上周一周时间内的用户行为，从而确定该用户行为对应的用户行为分值。

例如，服务器可以确定用户标识A的用户基础分值为90分，并获取到该用户标识在上周一周时间内的用户行为，如获取到该用户标识在上周一周时间内被举报次数>2，扣5分；帖子被置顶，加10分，从而服务器可以基于该用户行为确定对应的用户行为分值，即用户行为分值可以为加分分值和减分分值的和，即加5分。

S1202、基于用户基础分值和用户行为分值，确定用户标识对应的用户信誉分。

在本公开实施例中，服务器在获取到用户基础分值和用户行为分值之后，可以对用户基础分值和用户行为分值进行相加，从而得到用户标识对应的用户信誉分。

例如，服务器可以确定用户标识A的用户基础分值为90分，确定用户标识A的用户行为分值为加5分，将用户基础分值和用户行为分值进行相加，从而得到用户标识A对应的用户信誉分，即95分。

S1203、基于用户信誉分与用户风险类型之间的映射关系，确定用户标识对应的用户风险类型。

在本公开实施例中，服务器在获取到用户标识对应的用户信誉分之后，可以根据用户信誉分与用户风险类型之间的映射关系，来确定该用户信誉分对应的用户风险类型，即用户标识对应的用户风险类型。

可选地，用户信誉分与用户风险类型之间的映射关系可以为预先设定用于基于用户信誉分确定用户风险类型的关系。

例如，用户信誉分与用户风险类型之间的映射关系可以为预设的用户信誉分范围与用户风险类型之间的映射关系，如若用户信誉分>＝100分，用户信誉分且<＝120时，用户风险类型可以为信任用户；若用户信誉分>＝80，且用户信誉分<100时，用户风险类型可以为低分险用户；若用户信誉分<80时，用户风险类型可以为高分险用户。

进一步地，例如，服务器在获取到用户标识A的用户信誉分为95分时，判断该用户信誉分属于的用户信誉分范围，即该用户信誉分>＝80且<100，因此，该用户标识A对应的用户风险类型为低分险用户。

由此，在本公开实施例中，服务器可以根据用户信誉分，更新用户标识对应的用户风险类型，能够更准确的确定文本的审核方式，在保证文本内容安全的情况下，降低平台审核人员的审核压力。

在另一些实施例中，服务器还可以对文本进行风险识别处理，下面进行详细说明。

可选地，S130可以具体包括：获取文本的关键词特征；基于关键词特征对文本进行风险识别处理，得到文本的内容风险类型。

在本公开实施例中，服务器在获取到待审核的文本之后，可以获取该待审核的文本的关键词特征，并基于该关键词特征对文本进行风险识别处理，得到文本的内容风险类型。

可选地，关键词特征可以为表征文本关键词的特征。关键词特征可以包括高风险关键词和低风险关键词。

具体地，服务器可以根据预设风险识别模型，先获取待审核的文本的关键词特征，并基于该关键词特征，对文本进行风险识别处理，得到文本的内容风险类型。

例如，对于待审核的文本A，服务器可以根据预设风险识别模型，获取该文本A的关键词特征，并基于该关键词特征对文本A进行风险识别处理，得到文本A的内容风险类型。在一些示例中，可以根据文本A的关键词特征包括的高风险关键词来确定文本A的内容风险类型为高风险内容；在另一些示例中，可以根据文本A的关键词特征包括的低风险关键词来确定文本A的内容风险类型为低风险内容。

由此，在本公开实施例中，服务器可以根据文本的关键词特征，确定文本的内容风险类型，能够准确的确定文本的审核方式，在保证文本内容安全的情况下，降低平台审核人员的审核压力。

在本公开另一些实施例中，文本的审核方式可以还包括先发布后审核，下面进行详细说明。

可选地，在S130之后，该内容审核方法还可以包括：响应于用户风险类型为低风险用户或高风险用户，且内容风险类型为低风险内容，确定文本的审核方式为先发布后审核。

在本公开实施例中，服务器在确定用户标识对应的用户风险类型，且得到待审核的文本的内容风险类型之后，若用户风险类型为低风险用户或高风险用户且内容风险类型为低风险内容，服务器可以确定待审核的文本的审核方式为先发布后审核。

具体地，在一些示例中，服务器在确定用户标识对应的用户风险类型为低风险用户，且文本的内容风险类型为低风险内容之后，可以确定该待审核的文本的审核方式为先发布后审核，即该待审核的文本可以先进行发布，在发布之后再进行人工审核。

具体地，在另一些示例中，服务器在确定用户标识对应的用户风险类型为高风险用户，且文本的内容风险类型为低风险内容之后，可以确定该待审核的文本的审核方式为先发布后审核，即该待审核的文本可以先进行发布，在发布之后再进行人工审核。

由此，在本公开实施例中，服务器可以根据文本对应的用户风险类型和内容风险类型，确定文本是否可以先发布后审核，进而能够在保证文本内容安全的情况下，降低平台审核人员在的审核压力。

在一些示例中，在确定文本的审核方式为先发布后审核后，还可以根据文本的曝光程度，来确定文本的审核顺序。

可选地，在确定文本的审核方式为先发布后审核之后，该内容审核方法还可以包括：在文本发布后，获取文本的曝光程度；响应于曝光程度大于预设曝光度，将文本添加到优先审核队列中，以使文本被优先审核。

在本公开实施例中，服务器在确定文本的审核方式为先发布后审核之后，对该文本进行发布，并实时获取该文本的曝光程度，若文本的曝光程度大于预设曝光度，则将该文本添加到优先审核队列中，使得该文本被优先审核。

可选地，曝光程度可以为文本被其他用户的关注程度。

可选地，预设曝光度可以为预先设定的曝光程度。例如，可以为50。

可选地，优先审核队列可以为需要进行优先审查的文本的队列。

具体地，以预设曝光度为50为例，服务器将审核方式为先发布后审核的文本B进行发布后，可以实时获取该文本B的曝光程度，如55，此时该文本B的曝光程度大于预设曝光度，服务器可以将该文本B添加到优先审核队列中，可以使得该文本B可以被优先审核。

由此，在本公开实施例中，对于先发布后审核的文本，可以根据文本的曝光程度来决定文本是否需要优先审核，能够有效避免存在高风险内容的先发布后审核的文本进行扩散。

在另一些示例中，在确定文本的审核方式为先发布后审核后，还可以根据文本的主旨类型，来确定文本的审核顺序。

可选地，在确定文本的审核方式为先发布后审核之后，该内容审核方法还可以包括：在文本发布后，对文本进行语义识别处理，得到语义识别结果；基于语义识别结果，确定文本对应的主旨类型；响应于主旨类型属于预设的负面主旨类型，则将文本添加到优先审核队列中，以使文本被优先审核。

在本公开实施例中，服务器在确定文本的审核方式为先发布后审核之后，对该文本进行发布，并对发布后的文本进行语义识别处理，得到对应的语义识别结果。接着，服务器可以基于该语义识别结果，确定文本对应的主旨类型，若该文本对应的主旨类型属于预设的负面主旨类型，则将文本添加到优先审核队列中，使得该文本被优先审核。

可选地，语义识别处理可以为通过预设的语义识别模型对文本进行语义识别的处理。

可选地，预设的语义识别模型可以为预先训练的用于对文本进行语义识别处理的模型。

可选地，主旨类型可以为用于表征文本主旨的类型。例如，主旨类型可以包括负面主旨类型和正面主旨类型。

具体地，服务器可以基于预设的语义识别模型，对发布的文本C进行语义识别处理，得到对应的语义识别结果，即得到文本C对应的语义文本，在该语义文本中，确定该文本C对应的主旨类型，若该文本C对应的主旨类型属于预设的负面主旨类型，服务器可以将该文本C添加到优先审核队列中，可以使得该文本C可以被优先审核。

由此，在本公开实施例中，对于先发布后审核的文本，可以根据文本对应的主旨类型来决定文本是否需要优先审核，能够有效避免存在高风险内容的先发布后审核的文本进行扩散。

在再一些示例中，在确定文本的审核方式为先发布后审核后，还可以根据文本的情感类型，来确定文本的审核顺序。

可选地，在确定文本的审核方式为先发布后审核之后，该内容审核方法还可以包括：对文本进行情感分析处理，得到情感分析结果；基于情感分析结果，确定文本对应的情感类型；响应于情感类型属于预设的负面情感类型，则将文本添加到优先审核队列中，以使文本被优先审核。

在本公开实施例中，服务器在确定文本的审核方式为先发布后审核之后，对该文本进行发布，并对发布后的文本进行情感分析处理，得到对应的情感分析结果。接着，服务器可以基于该情感分析结果，确定文本对应的情感类型，若该文本对应的情感类型属于预设的负面情感类型，则将文本添加到优先审核队列中，使得该文本被优先审核。

可选地，情感分析处理可以为通过预设的情感分析模型对文本进行情感分析的处理。

可选地，预设的情感分析模型可以为预先训练的用于对文本进行情感分析处理的模型。

可选地，情感类型可以为用于表征文本情感的类型。例如，主旨类型可以包括负面情感类型和正面情感类型。

具体地，服务器可以基于预设的情感分析模型，对发布的文本D进行情感分析处理，得到对应的情感分析结果，即得到文本D对应的情感文本，在该情感文本中，确定该文本D对应的情感类型，若该文本D对应的情感类型属于预设的负面情感类型，服务器可以将该文本D添加到优先审核队列中，可以使得该文本D可以被优先审核。

由此，在本公开实施例中，对于先发布后审核的文本，可以根据文本对应的情感类型来决定文本是否需要优先审核，能够有效避免存在高风险内容的先发布后审核的文本进行扩散。

在本公开又一些实施例中，文本的审核方式可以还包括先审核后发布，下面进行详细说明。

可选地，在S130之后，该内容审核方法还可以包括：响应于用户风险类型为高风险用户，或内容风险类型为高风险内容，确定文本的审核方式为先审核后发布。

在本公开一些示例中，服务器在确定用户标识对应的用户风险类型之后，若用户风险类型为高风险用户，服务器可以确定待审核的文本的审核方式为先审核后发布。

具体地，服务器在确定用户风险类型为高风险用户之后，可以不需要得到文本的内容风险类型，直接确定该高风险用户对应的文本的审核方式为先审核后发布，即只要是高风险用户发布的文本，都需要先进行人工审核之后，才可以发布。

在本公开另一些示例中，服务器在确定文本的内容风险类型为之后，若内容风险类型为高风险内容，服务器可以确定待审核的文本的审核方式为先审核后发布。

具体地，服务器在确定文本的内容风险类型为高风险内容时，可以直接确定该高风险内容对应的文本的审核方式为先审核后发布，即只要是高风险内容的文本，都需要先进行人工审核之后，才可以发布。

在本公开又一些示例中，服务器在确定文本的内容风险类型为高风险内容之后，为了进一步降低平台审核人员的审核压力，还可以根据用户标识对应的用户风险类型来确定文本的审核方式。

例如，服务器在确定文本的内容风险类型为高风险内容之后，若用户风险类型为高风险用户，服务器可以确定文本的审核方式为先审核后发布。

又例如，服务器在确定文本的内容风险类型为高风险内容之后，若用户风险类型为低风险用户或信任用户，服务器可以确定文本的审核方式为先发布后审核。

由此，在本公开实施例中，服务器可以根据文本对应的用户风险类型为高风险用户或内容风险类型为高风险内容，确定文本的审核方式为先审核后发布，进一步地保证文本内容的安全性，在一些情况下还可以对文本的审核方式进行调整，进一步降低平台审核人员在的审核压力。

在本公开再一些示例中，服务器在确定文本的审核方式为先审核后发布之后，还可以根据文本的价值，来确定文本的审核顺序。

可选地，在确定文本的审核方式为先审核后发布之后，该内容审核方法还可以包括：基于预设的价值评估模型评估文本的价值；响应于价值高于或等于预设价值，则将文本添加到第一审核队列中；响应于价值低于预设价值，则将文本添加到第二审核队列中；其中，第一审核队列的审核优先级高于第二审核队列。

在本公开实施例中，服务器在确定文本的审核方式为先审核后发布之后，可以基于预设的价值评估模型评估该文本的价值，并对该文本的价值与预设价值相比较，来确定该文本属于的审核队列。

可选地，预设的价值评估模型可以为预先训练的用于评估文本价值的模型。预设的价值评估模型可以用通过文本的句式、字数和素材样式等维度，对文本价值进行评估。

可选地，预设价值可以为预先设定的价值。例如，预设价值可以为5。

具体地，服务器在确定文本的审核方式为先审核后发布之后，可以基于预设的价值评估模型评估该文本的价值，若该文本的价值高于或等于预设价值，即高于或等于5，表明该文本具有较高价值，此时服务器可以将该文本添加到第一审核队列中；若该文本的价值低于预设价值，即低于5，表明该文本具有较低价值，此时服务器可以将该文本添加到第二审核队列中。

进一步地，第一审核队列的审核优先级高于第二审核队列，即在进行人工审核时，先审核第一审核队列的文本。

由此，在本公开实施例中，可以基于文本的价值，对价值高的文本进行优先审核，可以保证价值高的文本尽快发布，提升用户体验。

下面，结合图2对本公开实施例提供的不同审核方式进行总结说明。

图2示出了本公开实施例提供的一种审核方式的示意图。

如图2所示，在一些实施例中，当用户信誉分>＝100时，用户风险类型为信任用户，若内容风险类型为低分险内容，此时，文本的审核方式可以为免审或抽审；若内容风险类型为高分险内容，此时，文本的审核方式可以为先审核后发布或先发布后审核。

在另一些实施例中，当80＝<用户信誉分<100时，用户风险类型为低风险用户，若内容风险类型为低分险内容，此时，文本的审核方式可以为先发布后审核；若内容风险类型为高分险内容，此时，文本的审核方式可以为先审核后发布或先发布后审核。

在又一些实施例中，当用户信誉分<80时，用户风险类型为高风险用户，若内容风险类型为低分险内容，此时，文本的审核方式可以为先发布后审核；若内容风险类型为高分险内容，此时，文本的审核方式可以为先审核后发布。

在再一些实施例中，当用户信誉分不确定时，用户风险类型为新用于或沉默用户，若内容风险类型为低分险内容，此时，文本的审核方式可以为先发布后审核；若内容风险类型为高分险内容，此时，文本的审核方式可以为先审核后发布。

由此，在本公开实施例中，服务器可以根据用户风险类型与内容风险类型，确定适应的文本的审核方式，能够在保证文本内容安全的情况下，降低平台审核人员的审核压力。

图3示出了本公开实施例提供的一种服务器的结构示意图。

本公开实施例提供的内容审核方法可以由服务器执行。其中，该服务器可以是云服务器或者服务器集群等具有存储及计算功能的设备。需要说明的是，图3示出的服务器300仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

该服务器300传统上包括处理器310和以存储器320形式的计算机程序产品或者计算机可读介质。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有用于执行上述内容审核方法中的任何方法步骤的可执行指令(或程序代码)3211的存储空间321。例如，用于可执行指令的存储空间321可以包括分别用于实现上面的内容审核方法中的各种步骤的各个可执行指令3211。这些可执行指令可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与图3的服务器300中的存储器320类似布置的存储段或者存储空间等。可执行指令可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本公开的内容审核方法步骤的可执行指令，即可以由例如诸如处理器310之类的处理器读取的代码，这些代码当由服务器300运行时，导致该服务器300执行上面所描述的内容审核方法中的各个步骤。

当然，为了简化，图3中仅示出了该服务器300中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口、输入装置和输出装置等等的组件。除此之外，根据具体应用情况，服务器300还可以包括任何其他适当的组件。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开各实施例所提供的内容审核方法。

该计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电链接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

上述计算机可读介质可以是上述服务器中所包含的；也可以是单独存在，而未装配入该服务器中。

在本公开实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。

本申请公开了：

A1、一种内容审核方法，包括：

获取待审核的文本，文本包括用户标识；

基于用户标识，确定用户标识对应的用户风险类型；

对文本进行风险识别处理，得到文本的内容风险类型；

响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。

A2、根据权利要求A1的方法，其中，基于用户标识，确定用户标识对应的用户风险类型，包括：

获取用户标识对应的用户基础分值和用户行为分值，用户行为分值由用户行为确定；

基于用户基础分值和用户行为分值，确定用户标识对应的用户信誉分；

基于用户信誉分与用户风险类型之间的映射关系，确定用户标识对应的用户风险类型。

A3、根据权利要求A1的方法，其中，对文本进行风险识别处理，得到文本的内容风险类型，包括：

获取文本的关键词特征；

基于关键词特征对文本进行风险识别处理，得到文本的内容风险类型。

A4、根据权利要求A1的方法，其中，方法还包括：

响应于用户风险类型为低风险用户或高风险用户，且内容风险类型为低风险内容，确定文本的审核方式为先发布后审核。

A5、根据权利要求A4的方法，其中，确定文本的审核方式为先发布后审核之后，方法还包括：

在文本发布后，获取文本的曝光程度；

响应于曝光程度大于预设曝光度，将文本添加到优先审核队列中，以使文本被优先审核。

A6、根据权利要求A4的方法，其中，确定文本的审核方式为先发布后审核之后，方法还包括：

在文本发布后，对文本进行语义识别处理，得到语义识别结果；

基于语义识别结果，确定文本对应的主旨类型；

响应于主旨类型属于预设的负面主旨类型，则将文本添加到优先审核队列中，以使文本被优先审核。

A7、根据权利要求A4的方法，其中，确定文本的审核方式为先发布后审核之后，方法还包括：

对文本进行情感分析处理，得到情感分析结果；

基于情感分析结果，确定文本对应的情感类型；

响应于情感类型属于预设的负面情感类型，则将文本添加到优先审核队列中，以使文本被优先审核。

A8、根据权利要求A1的方法，其中，方法还包括：

响应于用户风险类型为高风险用户，或内容风险类型为高风险内容，确定文本的审核方式为先审核后发布。

A9、根据权利要求A8的方法，其中，确定文本的审核方式为先审核后发布之后，方法还包括：

基于预设的价值评估模型评估文本的价值；

响应于价值高于或等于预设价值，则将文本添加到第一审核队列中；

响应于价值低于预设价值，则将文本添加到第二审核队列中；

其中，第一审核队列的审核优先级高于第二审核队列。

A10、根据权利要求A1的方法，其中，基于用户标识，确定用户标识对应的用户风险类型之前，方法还包括：

获取曝光度高于预设阈值的历史发布文本；

确定文本与历史发布文本之间的相似度；

响应于相似度高于预设相似度，则将文本的审核方式确定为免审。

B11、一种服务器，其特征在于，包括处理器和存储器，存储器用于存储可执行指令，可执行指令使处理器执行以下操作：

获取待审核的文本，文本包括用户标识；

基于用户标识，确定用户标识对应的用户风险类型；

对文本进行风险识别处理，得到文本的内容风险类型；

响应于用户风险类型为信任用户，且内容风险类型为低风险内容，确定文本的审核方式为免审。

B12、根据权利要求B11的服务器，其中，在基于用户标识，确定用户标识对应的用户风险类型时，可执行指令具体使处理器执行：

获取用户标识对应的用户基础分值和用户行为分值，用户行为分值由用户行为确定；

基于用户基础分值和用户行为分值，确定用户标识对应的用户信誉分；

基于用户信誉分与用户风险类型之间的映射关系，确定用户标识对应的用户风险类型。

B13、根据权利要求B11的服务器，其中，在对文本进行风险识别处理，得到文本的内容风险类型时，可执行指令具体使处理器执行：

获取文本的关键词特征；

基于关键词特征对文本进行风险识别处理，得到文本的内容风险类型。

B14、根据权利要求B11的服务器，其中，可执行指令还使处理器执行：

响应于用户风险类型为低风险用户或高风险用户，且内容风险类型为低风险内容，确定文本的审核方式为先发布后审核。

B15、根据权利要求B14的服务器，其中，在确定文本的审核方式为先发布后审核之后，可执行指令还使处理器执行：

在文本发布后，获取文本的曝光程度；

响应于曝光程度大于预设曝光度，将文本添加到优先审核队列中，以使文本被优先审核。

B16、根据权利要求B14的服务器，其中，在确定文本的审核方式为先发布后审核之后，可执行指令还使处理器执行：

在文本发布后，对文本进行语义识别处理，得到语义识别结果；

基于语义识别结果，确定文本对应的主旨类型；

响应于主旨类型属于预设的负面主旨类型，则将文本添加到优先审核队列中，以使文本被优先审核。

B17、根据权利要求B14的服务器，其中，在确定文本的审核方式为先发布后审核之后，可执行指令还使处理器执行：

对文本进行情感分析处理，得到情感分析结果；

基于情感分析结果，确定文本对应的情感类型；

响应于情感类型属于预设的负面情感类型，则将文本添加到优先审核队列中，以使文本被优先审核。

B18、根据权利要求B11的服务器，其中，可执行指令还使处理器执行：

响应于用户风险类型为高风险用户，且内容风险类型为高风险内容，确定文本的审核方式为先审核后发布。

B19、根据权利要求B18的服务器，其中，在确定文本的审核方式为先审核后发布之后，可执行指令还使处理器执行：

基于预设的价值评估模型评估文本的价值；

响应于价值高于或等于预设价值，则将文本添加到第一审核队列中；

响应于价值低于预设价值，则将文本添加到第二审核队列中；

其中，第一审核队列的审核优先级高于第二审核队列。

B20、根据权利要求B11的服务器，其中，在基于用户标识，确定用户标识对应的用户风险类型之前，可执行指令还使处理器执行：

获取曝光度高于预设阈值的历史发布文本；

确定文本与历史发布文本之间的相似度；

响应于相似度高于预设相似度，则将文本的审核方式确定为免审。

C21、一种计算机可读存储介质，其中，存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现用上述权利要求A1-A10中任一项的内容审核方法。

本公开的各个部件实施例可以全部或部分步骤以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的服务器中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (10)

1.一种内容审核方法，其特征在于，所述方法包括：

获取待审核的文本，所述文本包括用户标识；

基于所述用户标识，确定所述用户标识对应的用户风险类型；

对所述文本进行风险识别处理，得到所述文本的内容风险类型；

响应于所述用户风险类型为信任用户，且所述内容风险类型为低风险内容，确定所述文本的审核方式为免审。

2.根据权利要求1所述的方法，其特征在于，所述基于所述用户标识，确定所述用户标识对应的用户风险类型，包括：

获取所述用户标识对应的用户基础分值和用户行为分值，所述用户行为分值由用户行为确定；

基于所述用户基础分值和所述用户行为分值，确定所述用户标识对应的用户信誉分；

基于所述用户信誉分与用户风险类型之间的映射关系，确定所述用户标识对应的用户风险类型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述用户风险类型为低风险用户或高风险用户，且所述内容风险类型为低风险内容，确定所述文本的审核方式为先发布后审核。

4.根据权利要求3所述的方法，其特征在于，所述确定所述文本的审核方式为先发布后审核之后，所述方法还包括：

在所述文本发布后，获取所述文本的曝光程度；

响应于所述曝光程度大于预设曝光度，将所述文本添加到优先审核队列中，以使所述文本被优先审核。

5.根据权利要求3所述的方法，其特征在于，所述确定所述文本的审核方式为先发布后审核之后，所述方法还包括：

在所述文本发布后，对所述文本进行语义识别处理，得到语义识别结果；

基于所述语义识别结果，确定所述文本对应的主旨类型；

响应于所述主旨类型属于预设的负面主旨类型，则将所述文本添加到优先审核队列中，以使所述文本被优先审核。

6.根据权利要求3所述的方法，其特征在于，所述确定所述文本的审核方式为先发布后审核之后，所述方法还包括：

对所述文本进行情感分析处理，得到情感分析结果；

基于所述情感分析结果，确定所述文本对应的情感类型；

响应于所述情感类型属于预设的负面情感类型，则将所述文本添加到优先审核队列中，以使所述文本被优先审核。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述用户风险类型为高风险用户，或所述内容风险类型为高风险内容，确定所述文本的审核方式为先审核后发布。

8.根据权利要求7所述的方法，其特征在于，所述确定所述文本的审核方式为先审核后发布之后，所述方法还包括：

基于预设的价值评估模型评估所述文本的价值；

响应于所述价值高于或等于预设价值，则将所述文本添加到第一审核队列中；

响应于所述价值低于预设价值，则将所述文本添加到第二审核队列中；

其中，所述第一审核队列的审核优先级高于所述第二审核队列。

9.一种服务器，其特征在于，包括处理器和存储器，所述存储器用于存储可执行指令，所述可执行指令使所述处理器执行以下操作：

获取待审核的文本，所述文本包括用户标识；

基于所述用户标识，确定所述用户标识对应的用户风险类型；

对所述文本进行风险识别处理，得到所述文本的内容风险类型；

响应于所述用户风险类型为信任用户，且所述内容风险类型为低风险内容，确定所述文本的审核方式为免审。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现用上述权利要求1-8中任一项所述的内容审核方法。

Images