CN116010551A - 聊天文本检测方法及其装置、设备、介质 - Google Patents

Abstract

本申请涉及网络在线聊天技术领域中一种聊天文本检测方法及其装置、设备、介质、产品，所述方法包括：根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各聊天用户中的聊天身份异常用户；获取聊天会话中聊天身份异常用户的用户历史聊天文本及待发送聊天文本，获取聊天会话中的全局历史聊天文本；对历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；基于聊天会话中各聊天用户对应的敏感内容检测结果，确定出各聊天用户的违规管理手段。本申请对聊天会话进行敏感内容检测且确定违规管理手段，优化聊天会话的聊天环境，提升用户的聊天体验。

Description

聊天文本检测方法及其装置、设备、介质

技术领域

本申请涉及网络在线聊天技术领域，尤其涉及一种聊天文本检测方法及其相应的装置、聊天文本检测设备、计算机可读存储介质，以及计算机程序产品。

背景技术

现有的网络平台中通常会向用户提供网络聊天服务，使平台中不同的平台用户通过网络聊天服务创建聊天会话进行网络聊天，但平台中的不良平台用户会试图通过网络聊天服务对平台中的良好平台用户发送不良、违规或诈骗聊天信息，这不仅严重影响良好平台用户使用网络聊天服务的聊天体验及平台环境，还可能损害良好平台用户的用户利益，甚至导致网络平台因不良平台用户违规使用网络聊天服务被举报下架及被迫进行维护，影响平台的平台运营。

综上，关于如何有效地识别及打击平台中违规使用网络聊天服务的不良平台用户以保护网络聊天服务的服务环境的问题，本申请人出于解决该问题的考虑做出相应的探索。

发明内容

本申请的目的在于解决上述问题而提供一种聊天文本检测方法及其相应的装置、聊天文本检测设备、计算机可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种聊天文本检测方法，包括如下步骤：

根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；

当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；

对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；

确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

根据本申请的另一方面，提供一种聊天文本检测装置，包括：

异常用户检测模块，用于根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；

聊天文本获取模块，用于当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；

敏感内容检测模块，用于对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；

管理手段确定模块，用于确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

根据本申请的另一方面，提供一种聊天文本检测设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的聊天文本检测方法的步骤。

根据本申请的另一方面，提供一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的聊天文本检测方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

本申请为具有网络聊天服务的平台提供敏感内容检测服务，以净化网络聊天服务的网络聊天环境，在对聊天会话的聊天文本进行敏感内容检测前，将对聊天会话中的聊天用户的身份进行检测，检测聊天会话中是否存在身份异常的聊天用户，例如，以往违规的聊天用户、不具有好友关系的用户及新注册用户等皆为身份异常的聊天用户，当聊天会话中存在身份异常的聊天用户时，才会检测聊天会话聊天用户发送的聊天文本中是否存在敏感内容，而对于不存在的身份异常聊天用户的聊天会话一般将不进行敏感内容检测，以节省平台的计算资源，将重要的计算资源用于敏感内容检测中，提升敏感内容检测的执行效率，对于存在身份异常的聊天用户的聊天会话，敏感内容检测服务从各聊天用户历史发送的历史聊天文本及其待发送至聊天会话的待发送聊天文本，以及聊天会话中的全局历史聊天文本多个维度进行敏感内容检测，相比较传统的单一聊天文本检测的敏感内容检测方式，本申请的敏感内容检测方式更为全面，其中，对于聊天用户的历史聊天文本及待发送聊天文本，将按照该些聊天文本的发送顺序进行组合，以进行文本组合的敏感内容检测，可防止聊天会话中聊天用户通过将敏感内容进行拆分后分多次进行发送方式来规避敏感内容检测，同时对于聊天用户发送的敏感内容的敏感程度，也将给予不同程度的违规管理手段，根据发送敏感内容的聊天用户的敏感内容检测结果中表征的敏感程度，对聊天用户执行与敏感程度相对应的违规管理手段，相较于传统的对推送敏感内容的聊天用户进行相同的违规管理手段的方式，本申请的违规管理手段更为灵活。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为实施本申请的技术方案相关的一种典型的网络部署架构示意图；

图2为本申请的聊天文本检测方法的典型实施例的流程示意图；

图3为本申请实施例中关于根据聊天用户的聊天身份信息检测聊天用户是否为聊天身份异常用户的流程示意图；

图4为本申请实施例中关于检测聊天文本是否具有敏感内容的流程示意图；

图5为本申请实施例中关于组合聊天文本进行敏感内容检测的流程示意图；

图6为本申请实施例中关于对发送不同敏感程度的聊天用户执行对应的违规管理手段流程示意图；

图7为本申请实施例中关于对发送高敏感内容的聊天用户进行二次敏感内容检测的流程示意图；

图8为本申请实施例中关于对聊天会话中的静默聊天用户执行静默封禁的违规管理手段的流程示意图；

图9为本申请的聊天文本检测装置的典型实施例的原理框图；

图10为本申请一个实施例的聊天文本检测设备的基本结构框图。

具体实施方式

本申请所称的“服务器”，同理也可扩展到适用于服务集群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。

本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。

本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。

请参阅图1，本申请相关技术方案实施时所需的硬件基础可按图中所示的架构进行部署。本申请所称服务器80部署在云端，作为一个在线服务器，其可以负责进一步连接起相关数据服务器以及其他提供相关支持的服务器等，以此构成逻辑上相关联的服务机群，来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器(未图示)提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便运行所述服务器所提供的服务相关的终端应用程序，例如，智能手机81和个人计算机82一般运行平台的应用程序参与聊天会话的终端设备，而服务器80可向所述终端设备提供聊天会话所对应的网络聊天服务及检测聊天会话的敏感内容。

请参阅图2，本申请的一种聊天文本检测方法，在其典型实施例中，其包括如下步骤：

步骤S11，根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；

所述的聊天会话中一般具有两个或两个以上的聊天用户，各所述聊天用户可在其所处的所述聊天会话中进行网络聊天，各所述聊天用户通过在所述聊天会话中发送的聊天文本进行网络聊天。

所述的聊天用户是指平台中处于聊天会话中的平台用户。

所述聊天会话中各所述聊天用户具有其对应的聊天身份信息，所述聊天身份信息中一般包含用户好友信息、用户聊天违规信息及用户注册时间信息，其中，所述用户好友信息用于表征用户在平台中具有好友关系的用户，所述聊天违规信息用于表征用户使用网络聊天服务的违规信息，所述用户注册时间信息用于表征用户在平台中注册用户的注册时间。

服务器获取聊天会话中各聊天用户的所述聊天身份信息后，将根据各所述聊天用户的所述聊天身份信息，确定出各所述聊天用户中的所述聊天身份异常用户，服务器将所述聊天身份异常用户发送的聊天文本进行针对性地敏感内容检测，具体的，服务器根据各所述聊天用户的聊天身份信息中包含的所述用户好友信息，确定出满足非好友的身份异常条件的聊天用户，即确定出所述聊天用户中不为好友关系的聊天用户，且根据各所述聊天用户的聊天身份信息中包含的所述用户聊天违规信息，确定出满足违规用户的身份异常条件的聊天用户，即确定出违规使用平台的网络聊天服务的聊天用户，且根据各所述聊天用户的聊天身份信息中包含的所述用户注册时间信息，确定出满足新注册用户的身份异常条件的聊天用户，进而将满足一个或多个所述身份异常条件的聊天用户确定为所述聊天身份异常用户。

一种实施例中，服务器将根据处于聊天会话中各聊天用户的所述聊天身份信息中包含的所述用户好友信息，确定出所述聊天会话中具有好友关系的聊天用户，并根据具有好友关系的聊天用户的所述用户好友信息中表征双方的好友时长，确定出好友时长较短的聊天用户双方为满足短时间好友的身份异常条件的聊天用户，进而基于该异常条件进行各所述聊天用户的聊天身份异常用户判断。

步骤S12，当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；

当所述聊天会话中存在所述聊天身份异常用户时，则该聊天会话将被确定为异常聊天会话，此时，服务器将获取所述聊天会话中所有聊天用户的所述用户历史聊天文本及待发送聊天文本，其中，所述的用户历史聊天文本是指所述聊天用户已发送并转发至所述聊天会话中其他聊天用户的客户端中的所有聊天文本，所述的待发送聊天文本是指由服务器拦截所述聊天用户最新发送且未转发至所述聊天会话中其他聊天用户的聊天文本，具体的，聊天会话中聊天用户发送的聊天文本一般将由网络聊天服务负责转发其所述聊天会话中的其他聊天用户，当所述网络聊天服务获取所述聊天会话中的聊天用户最新发送的聊天文本时，服务器将在该聊天文本未被转发至所述聊天会话中其他聊天用户的客户端中时拦截获取该聊天文本，该聊天文本即为所述聊天用户的所述待发送聊天文本。

服务器获取所述聊天会话中所述聊天用户的所述用户历史聊天文本后，将根据各所述用户历史聊天文本中包含的聊天文本的发送时间，确定出发送时间与当前时间的时间差处于预设时间区间的聊天文本，生成包含多个所述聊天文本的所述全局历史聊天文本。

步骤S13，对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；

服务器获取所述聊天会话中各所述聊天用户所对应的所述历史聊天文本、所述待发送聊天文本及所述全局聊天文本后，将对各所述历史聊天文本、各所述待发送聊天文本及所述全局聊天文本进行敏感内容检测。

所述的敏感内容一般是指涉及违规引流、不良内容、违反平台的用户守则或违反当地法律法规的文本内容，或其他会影响网络聊天服务的健康聊天环境的文本内容。

服务器将分别对所述聊天会话中各所述聊天用户发送的所述历史聊天文本及所述待发送聊天文本进行敏感内容检测，以判断各所述聊天用户中推送敏感内容的聊天用户，具体的，服务器提取出当前聊天用户所对应的历史聊天文本及所述待发送聊天文本中包含的聊天文本，以基于存储着多个敏感聊天文本的敏感文本库及敏感检测规则，检测所述聊天文本中是否包含的所述敏感聊天文本，若包含，则当前聊天用户将被确定为需进行违规管理手段确定的聊天用户，除了基于所述敏感文本库及敏感检测规则对所述历史聊天文本及所述待发送聊天文本进行敏感内容检测外，同样可使用所述敏感文本库及敏感检测规则对所述全局聊天文本中包含的聊天文本进行敏感内容检测。

处理使用所述敏感文本库及敏感检测规则进行敏感内容检测外，服务器还可使用已训练至收敛的敏感内容检测神经网络模型进行敏感内存检测，所述的敏感内容检测神经网络模型一般基于DFA算法或NLP算法等用于处理自然语言的神经网络算法所构建的神经网络模型，具体的，服务器提取出当前聊天用户所对应的历史聊天文本及所述待发送聊天文本中包含的聊天文本，通过所述敏感内容检测神经网络模型提取所述聊天文本的文本特征向量进行敏感内容识别，以判断所述聊天文本中是否存在敏感内容，当然，同样也可使用所述敏感内容检测神经网络模型对所述全局聊天文本进行敏感内容检测。

通过上述的两种敏感内容检测方式，可检测出所述历史聊天文本、待发送聊天文本及全局聊天文本中包含的大部分敏感内容外，服务器还将基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测，具体的，服务器基于所述待发送聊天文本及用户历史聊天文本的发送顺序，排序所述待发送聊天文本及用户历史聊天文本各自包含的聊天文本，其一，服务器组合完成排序的各所述聊天文本生成组合聊天文本，对所述组合聊天文本进行敏感内容检测，以防止聊天用户通过将敏感内容拆分为多个聊天文本分次发送至聊天会话中，其二，服务器提取完成排序的各所述聊天文本的首字符，组合各所述首字符生成首字符聊天文本，对所述首字符聊天文本进行敏感内容检测，以防止聊天用户通过将敏感内容拆分为多个聊天文本的首字符分次发送至聊天会话中，当检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本，将基于所述全局聊天文本进行诱导内容检测，识别出发送诱导内容的聊天用户，因聊天会话中可能存在推送诱导内容引导聊天会话中其他聊天用户发送敏感内容的聊天用户，为防止误将因诱导而发送敏感内容的聊天用户确定为发送敏感内容的聊天用户，服务器将对所述全局聊天文本进行诱导内容检测，当存在该类聊天用户时，可将之前确定出聊天文本中存在敏感内容的聊天用户确定为正常聊天用户，不对该聊天用户进行违规管理手段确定，即免除对该聊天用户进行惩罚。

步骤S14，确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

对所述聊天会话中各所述聊天用户的所述历史聊天文本及所述待发送聊天文本，以及所述全局聊天文本进行所述敏感内容检测后，将获取作用于各所述聊天用户的所述敏感内容检测结果后，将根据各所述敏感内容检测结果确定其所对应的所述聊天用户的所述违规管理手段。

所述的敏感内容检测结果中将表征聊天用户推送的聊天文本中存在的敏感文本内容，且不同的敏感内容具有不同的风险等级，不同的风险等级将对应不同的违规管理手段，所述的违规管理手段是指对于发送具有敏感内容的聊天文本的聊天用户进行平台惩罚的手段，例如，推送敏感内容告警通知以通知聊天用户发送的聊天文本中存在敏感内容、禁止聊天用户参与聊天会话、对聊天用户进行静默拦截、或者禁止聊天用户访问平台等违规管理手段，各所述违规管理手段的惩罚程度各不相同，服务器将基于聊天用户的所述敏感内容检测结果中表征的敏感内容的风险等级，给予聊天用户与风险等级对应惩罚程度的所述违规管理手段。

服务器对于所述敏感内容检测结果表征聊天文本包含的敏感内容为低敏感内容的聊天用户，将想该聊天用户的客户端推送敏感内容警告通知，以警告该聊天用户发送的聊天文本中存在低敏感内容；对于所述敏感内容检测结果表征聊天文本包含的敏感内容为中敏感内容的聊天用户，服务器将禁止该聊天用户在预设时长内参与其发送具有中敏感内容的聊天文本的聊天会话或平台中所有的聊天会话；对于所述敏感内容检测结果表征聊天文本包含的敏感内容为高敏感内容的聊天用户，服务器将禁止该聊天用户参与当前聊天会话及平台中所有的聊天会话。

对于所述敏感内容检测结果表征聊天文本包含的敏感内容为高敏感内容的聊天用户，为了避免因所述敏感内容检测结果存在失误，服务器将拦截所述聊天用户在当前聊天文本中发送的聊天文本，及不将所述聊天用户当前发送的聊天文本转发至所述聊天会话中其他聊天用户的客户端中，并将所述聊天用户的用户身份信息、拦截聊天文本及所述全局历史聊天文本推送至管理端，以交由处于所述管理端的管理用户对所述聊天用户当前发送的聊天文本及聊天聊天文本进行敏感内容审核，所述管理端的管理用户完成对所述聊天用户的敏感内容审核后，所述管理端将向服务器推送审核结果，服务器将根据所述审核结果，确定所述聊天用户的违规管理手段，所述审核结果中包含所述聊天用户推送的聊天文本的风险等级，服务器一般将遵循所述敏感内容检测结果确定对应的惩罚程度的所述违规管理手段的处理逻辑，确定所述审核结果所对应的违规管理手段。

为了效地识别及打击平台中违规使用网络聊天服务的不良平台用户以保护网络聊天服务的服务环境的问题，本方法为具有网络聊天服务的平台提供敏感内容检测服务，以净化网络聊天服务的网络聊天环境，在对聊天会话的聊天文本进行敏感内容检测前，将对聊天会话中的聊天用户的身份进行检测，检测聊天会话中是否存在身份异常的聊天用户，例如，以往违规的聊天用户、不具有好友关系的用户及新注册用户等皆为身份异常的聊天用户，当聊天会话中存在身份异常的聊天用户时，才会检测聊天会话聊天用户发送的聊天文本中是否存在敏感内容，而对于不存在的身份异常聊天用户的聊天会话一般将不进行敏感内容检测，以节省平台的计算资源，将重要的计算资源用于敏感内容检测中，提升敏感内容检测的执行效率，对于存在身份异常的聊天用户的聊天会话，敏感内容检测服务从各聊天用户历史发送的历史聊天文本及其待发送至聊天会话的待发送聊天文本，以及聊天会话中的全局历史聊天文本多个维度进行敏感内容检测，相比较传统的单一聊天文本检测的敏感内容检测方式，本方法的敏感内容检测方式更为全面，其中，对于聊天用户的历史聊天文本及待发送聊天文本，将按照该些聊天文本的发送顺序进行组合，以进行文本组合的敏感内容检测，可防止聊天会话中聊天用户通过将敏感内容进行拆分后分多次进行发送方式来规避敏感内容检测，同时对于聊天用户发送的敏感内容的敏感程度，也将给与不同程度的违规管理手段，根据发送敏感内容的聊天用户的敏感内容检测结果中表征的敏感程度，对聊天用户执行与敏感程度相对应的违规管理手段，相较于传统的对推送敏感内容的聊天用户进行相同的违规管理手段的方式，本方法的违规管理手段更为灵活。

根据本申请的另一实施例，请参考图3，根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户，包括如下步骤：

步骤S111，根据各所述聊天用户的聊天身份信息，确定出满足非好友的身份异常条件的聊天用户；

处于聊天会话中的各所述聊天用户之间的好友关系一般包含于所述聊天身份信息中，所述聊天身份信息中包含表征聊天用户在平台中具有好友关系的聊天用户的用户好友信息，服务器根据所述用户好友信息，判断处于聊天会话中各所述聊天用户具有好友关系，对于不具有好友关系的两个聊天用户将被确定为满足非好友的身份异常条件的聊天用户。

步骤S112，根据各所述聊天用户的聊天身份信息，确定出满足短时间好友的身份异常条件的聊天用户；

所述聊天身份信息中包含的所述用户好友信息除了表征聊天用户在平台中具有的好友关系的聊天用户外，还将表征所述聊天用户与各具有好友关系的聊天用户的好友时间，所述好友时间从双方建立好友关系开始进行记录，服务器确定出根据所述用户好友信息确定出所述聊天会话中具有好友关系的聊天用户后，也将根据所述用户好友信息确定具有好友关系的聊天用户之间的好友时间，当所述好友时间未超过预设的标准时间阈值时，对应的两个聊天用户将被确定未满足短时间好友的身份异常条件的聊天用户。

步骤S113，根据各所述聊天用户的聊天身份信息，确定出满足违规用户的身份异常条件的聊天用户；

所述的聊天身份信息中包含表征聊天用户以往是否违反过网络聊天服务的规则的用户聊天违规信息，服务器获取所述聊天会话中各所述聊天用户的所述聊天身份信息包含的所述用户聊天违规信息，确定出所述用户聊天违规信息中表征具有违规记录的聊天用户，该些聊天用户为满足违规用户的身份异常条件的聊天用户。

步骤S114，根据各所述聊天用户的聊天身份信息，确定出满足新注册用户的身份异常条件的聊天用户；

所述的聊天身份信息中包含表征聊天用户在平台中的注册时间的规则的用户注册时间信息，服务器获取所述聊天会话中各所述聊天用户的所述聊天身份信息包含的所述用户注册时间信息，确定出所述用户注册时间信息中记录的时间未超过预设的时间阈值的聊天用户，该些聊天用户为满足新注册用户的身份异常条件的聊天用户。

步骤S115，将满足一个或多个所述身份异常条件的聊天用户确定为聊天身份异常用户。

上述的各所述身份异常条件一般具有不同的异常权重，例如，所述违规用户的身份异常条件的异常权重最大，当所述聊天会话中任意聊天用户的所述聊天身份信息满足所述违规用户的身份异常条件时，则该聊天用户一般将被确定为所述聊天身份异常用户，关于其他的所述身份异常条件，当所述聊天会话中任意聊天用户满足一个或多个如所述新注册用户的身份异常条件、所述非好友的身份异常条件或短时间好友的身份异常条件时，则该聊天用户也将被确定为所述聊天身份异常用户。

另外，服务器将并行或串联判断所述聊天用户的所述聊天身份信息是否满足各所述身份异常条件，其中，进行串联判断时，所述违规用户的身份异常条件一般为首个进行判断的异常条件，之后将执行顺序一般为所述非好友的身份异常条件、所述短时间好友的身份异常条件、所述新注册用户的身份异常条件，当然，本领域技术人员可灵活设计各所述身份异常条件的执行顺序，恕不赘述。

以上揭示的实施例中，基于聊天会话中聊天用户的聊天身份信息，从平台好友服务、平台惩罚服务及平台注册服务多维度检测聊天会话中是否存在是否异常用户，以确定是否需对聊天会话中的聊天文本进行敏感内容检测。

根据本申请的另一实施例，请参考图4，对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，包括如下步骤：

步骤S131，获取所述历史聊天文本、待发送聊天文本及全局聊天文本中包含的聊天文本；

服务器提取出聊天会话中各所述聊天用户发送的所述历史聊天文本、待发送聊天文本中包含的聊天文本,以及所述聊天会话所对应的所述全局聊天文本中包含的聊天文本，以对各所述聊天文本进行敏感内容检测。

步骤S132，基于敏感文本库及敏感检测规则，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户；

所述的敏感文本库中存储着多个敏感文本内容，且个所述敏感文本内容具有对应的风险等级进行映射存储，服务器根据所述敏感检测规则，判断所述聊天文本中给是否存在所述敏感文本内容，若存在，则将确定出存在所述敏感文本内容的聊天文本所属的聊天用户，并生成表征所述聊天用户发送的聊天文本中存在的敏感文本内容所对应的风险等级的所述敏感内容检测结果。

步骤S133，调用已训练至收敛的敏感内容检测神经网络模型，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户。

所述的敏感内容检测神经网络模型一般基于DFA算法或NLP算法等用于处理自然语言的神经网络算法所构建的神经网络模型，具体的，服务器通过所述敏感内容检测神经网络模型提取所述聊天文本的文本特征向量进行敏感内容识别，以判断所述聊天文本中是否存在敏感文本内容，当然，同样各所述敏感文本内容具有与其对应的风险等级，以便服务器通过所述敏感内容检测神经网络模型确定出某一聊天文本中存在敏感文本内容后，确定出存在所述敏感文本内容的聊天文本所属的聊天用户，并生成表征所述聊天用户发送的聊天文本中存在的敏感文本内容所对应的风险等级的所述敏感内容检测结果。

以上揭示的实施例中，基于敏感文本库及敏感检测规则的规则方式匹配聊天会话中的聊天文本是否存在敏感文本内容，或通过已训练至收敛的敏感内容检测神经网络模型通过神经网络的方式判断聊天文本中是否存在敏感文本内容，且各敏感文本内容具有对应的风险等级，以便根据风险等级确定需对聊天用户执行的违规管理手段。

根据本申请的另一实施例，请参考图5，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行首字符组合的敏感内容检测，包括如下步骤：

步骤S131’，基于所述待发送聊天文本及用户历史聊天文本的发送顺序，排序所述待发送聊天文本及用户历史聊天文本各自包含的聊天文本；

所述的发送顺序是指聊天文本在聊天会话中的发送顺序，各聊天文本一般具有对应的发送时间，服务器将根据当前进行敏感内容检测的聊天用户所发送的所述待发送聊天文本及用户历史聊天文本中包含的聊天文本的发送顺序，从小到大排序各所述聊天文本。

步骤S132’，组合完成排序的各所述聊天文本生成组合聊天文本，对所述组合聊天文本进行敏感内容检测；

完成各所述聊天文本的排序后，将完成排序的各所述聊天文本进行组合，生成所述组合聊天文本，以对所述组合聊天文本进行基于敏感文本库及敏感检测规则或已训练至收敛的敏感内容检测神经网络模型的敏感内容检测，以防止聊天用户通过将敏感文本内容拆分为多个聊天文本进行发送，规避常规的敏感内容检测，例如，将非法网址链接拆分为“www”、“.xxx”、“.com”进行发送，通过将完成排序的聊天文本进行组合，以将拆分的“www”、“.xxx”、“.com”组合为“www.xxx.com”后进行敏感内容检测。

步骤S133’，提取完成排序的各所述聊天文本的首字符，组合各所述首字符生成首字符聊天文本，对所述首字符聊天文本进行敏感内容检测；

完成各所述聊天文本的排序后，将获取各所述聊天文本的首字符，以组合各所述首字符生成首字符聊天文本，以对所述首字符聊天文本进行基于敏感文本库及敏感检测规则或已训练至收敛的敏感内容检测神经网络模型的敏感内容检测，以防止聊天用户通过将敏感文本内容拆分为多个单字符，将拆分后的各单字符置于多个聊天文本的首位进行发送，例如，将敏感文本内容“银行卡打款”拆分为“银”、“行”“卡”、“打”、“款”多个单字符，并将各所述单字符作为多个聊天文本的首字符进行发送的情况，通过提取各所述聊天文本的首字符进行组合生成的首字符聊天文本将为“银行卡打款”，以对对应的聊天用户执行违规管理手段。

步骤S134’，检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本，基于所述全局聊天文本进行诱导内容检测，识别出发送诱导内容的聊天用户。

当服务器检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本后，服务器将基于所述全局聊天文本进行诱导内容检测，以识别出发送诱导内容的聊天用户，具体的，服务器提取所述全局聊天文本中包含的聊天文本，基于所述存储多个诱导文本内容的诱导内容库及对应的文本匹配规则，或使用基于神经网络所构建且训练至收敛的文本识别神经网络模型，判断各聊天文本中是否存在诱导文本内容，例如，所述诱导文本内容一般可为“发送电话号码”、“发送网址”或等诱导其他聊天用户发送敏感文本内容的文本，或者为嘲讽其他聊天文本发送具有辱骂或贬义性质的敏感文本内容的文本，服务器通过对所述全局聊天文本进行诱导内容检测，因聊天会话中可能存在推送诱导内容引导聊天会话中其他聊天用户发送敏感内容的聊天用户，防止误将因诱导而发送敏感内容的聊天用户确定为发送敏感内容的聊天用户，而将发送诱导文本内容的聊天用户确定为发送敏感内容的聊天用户，以对该聊天用户执行相应的违规管理手段。

以上揭示的实施例中，通过组合聊天文本的方式，从组合全文及组合首字符的两个维度生成对应的组合聊天文本进行敏感内容检测，检测出聊天用户通过拆分敏感内容的手段发送至聊天会话中的敏感内容，且对全局聊天文本进行诱导内容检测，防止将因诱导而发送敏感内容的聊天用户确定为发送敏感内容的聊天用户，进一步的确认出聊天会话中诱导其他聊天用户发送敏感内容的聊天用户。

根据本申请的另一实施例，请参考图6，基于聊天会话中各所述聊天用户对应的敏感内容检测结果，确定出各所述聊天用户的风险等级确定出对应的违规管理手段，包括如下步骤：

步骤S141，向敏感内容检测结果为低敏感内容的聊天用户推送敏感内容警告通知；

所述的敏感内容警告通知中包含用于提示聊天用户发送的聊天文本中存在敏感内容的文本或动画特效的内容，接收到所述敏感内容警告通知的聊天用户的客户端，将所述敏感内容警告通知进行可视化显示，将所述敏感内容警告通知输出至客户端的图形用户界面中显示；推送所述敏感内容警告通知为对发送低敏感内容的聊天用户的违规管理手段。

步骤S142，禁止敏感内容检测结果为中敏感内容的聊天用户在预设时长内参与当前聊天会话；

对于发送中敏感内容的聊天用户，服务器对该聊天用户的违规管理手段将为禁止该聊天用户在预设从内参与其推送中敏感内容的当前聊天会话，被禁止的聊天用户在预设时长内将无法参与当前聊天会话，所述的预设时长一般设置在5至10分钟的时间范围内。

步骤S143，禁止敏感内容检测结果为高敏感内容的聊天用户参与当前聊天会话。

对于发送高敏感内容的聊天用户，服务器将禁止该聊天用户参与其发送高敏感内容的聊天文本所对于的聊天会话，即将所述聊天用户移除所述聊天会话中，所述聊天用户将被永久禁止参与所述聊天会话。

以上揭示的实施例中，对推送不同敏感程度的敏感内容的聊天用户将执行不同的违规管理手段，对发送低敏感内容的聊天用户仅推送告警通知，对发送中敏感内容及高敏感内容的聊天用户给予不同程度的聊天会话参与惩罚。

根据本申请的另一实施例，请参考图7，基于聊天会话中各所述聊天用户对应的敏感内容检测结果，确定出各所述聊天用户的风险等级确定出对应的违规管理手段，包括如下步骤：

步骤S141’，确定出敏感内容检测结果为高敏感内容的聊天用户，拦截所述聊天用户在当前聊天会话中推送的聊天文本；

当检测出聊天会话中存在发送高敏感内容的聊天用户时，服务器将对该聊天会话进行静默拦截，即拦截所述聊天用户在所述聊天会话中最新发送的聊天文本，不将该聊天文本转发至所述聊天会话中的其他聊天会话的客户端。

步骤S142’，将所述聊天用户的用户身份信息、拦截聊天文本及所述全局历史聊天文本推送至管理端；

将发送高敏感内容的聊天用户的所述用户身份信息，拦截的聊天文本即所述全局历史聊天文本推送至所述管理端中，以交由处于所述管理端中的审核用户进行敏感内容审核。

步骤S143’，获取所述管理端推送的审核结果，根据所述审核结果确定所述聊天用户的违规管理手段。

处于所述管理端的审核用户完成敏感内容审核后，将向服务器推送所述敏感内容审核所对应的审核结果，所述审核结果中将表征审核用户对敏感内容检测结果为高敏感内容的聊天用户发送的聊天文本的审核结果，所述审核结果表征通过所述敏感内容审核所对应的文本敏感等级，当文本敏感等级为高时，服务器将对所述聊天用户执行禁止参与聊天会话的违规管理手段，当文本敏感等级为中时，服务器对所述聊天用户执行禁止预设时间内参与聊天会话的违规管理手段，当文本敏感等级为低时，服务器向所述聊天用户执行敏感内容告警通知推送的违规管理手段。

以上揭示的实施例中，对于被检测为发送高敏感内容的聊天用户，将进一步的借助人工审核机制对聊天用户进行二次敏感内容检测，以防止因误判导致聊天用户无法参与聊天会话，保障聊天用户的合规网络聊天权益。

根据本申请的另一实施例，请参考图8，基于聊天会话中各所述聊天用户对应的敏感内容检测结果，确定出各所述聊天用户的风险等级确定出对应的违规管理手段，包括如下后置步骤：

步骤S15，校验聊天会话中多个所述聊天用户中是否存在静默封禁用户；

当平台中创建新的聊天会话或完成对聊天会话的敏感内容检测后，服务器将校验所述聊天会话中是否存在所述静默封禁用户，所述静默封禁用户是指具有静默封禁标识的聊天用户，当聊天用户在聊天会话中发送的聊天文本中存在中敏感或高敏感的敏感内容时，所述聊天用户将被赋予所述静默封禁标识，以将所述聊天用户标记为所述静默封禁用户。

步骤S16，拦截所述聊天会话中的所述静默封禁用户所推送的聊天文本，停止将所述聊天文本推送至所述聊天会话中的其他聊天用户的客户端；

所述静默封禁用户在所述聊天会话中推送的所有聊天文本都将被服务器拦截，不将各所述聊天文本转发推送至所述聊天会话中的其他聊天用户的客户端中，以对所述静默封禁用户推送的聊天文本进行静默拦截。

步骤S17，将所述聊天文本推送至所述静默封禁聊天用户的客户端，驱动所述客户端可视化输出所述聊天文本。

将所述静默封禁聊天用户所推送的各所述聊天文本推送至所述静默聊天用户的客户端中，驱动所述客户端将所述聊天文本输出至所述聊天会话所对应的聊天会话界面中显示，且各所述聊天文本在所述聊天会话界面中将以已发送成功的显示样式进行显示。

以上揭示的实施例中，对聊天会话中发送中高敏感内容的聊天用户执行静默封禁处理，静默封禁用户发送的聊天文本将被静默拦截以禁止将聊天文本转发给其他聊天用户，且静默封禁用户发送的聊天文本将输出至其客户端的图形用户界面中显示，防止静默封禁用户察觉其发送的聊天文本被拦截，以防平台中的违规用户通过不断发送敏感内容破解平台的敏感内容检测机制。

请参阅图9，适应本申请的目的之一而提供的一种聊天文本检测装置：异常用户检测模块11，用于根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；聊天文本获取模块12，用于当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；敏感内容检测模块13，用于对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；管理手段确定模块14，用于确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

根据本申请的部分实施例，所述异常用户检测模块11包括：

非好友检测子模块，用于根据各所述聊天用户的聊天身份信息，确定出满足非好友的身份异常条件的聊天用户；

短时间好友检测子模块，用于根据各所述聊天用户的聊天身份信息，确定出满足短时间好友的身份异常条件的聊天用户；

违规用户检测子模块，用于根据各所述聊天用户的聊天身份信息，确定出满足违规用户的身份异常条件的聊天用户；

新用户检测子模块，用于根据各所述聊天用户的聊天身份信息，确定出满足新注册用户的身份异常条件的聊天用户；

异常用户确定子模块，用于将满足一个或多个所述身份异常条件的聊天用户确定为聊天身份异常用户。

根据本申请的部分实施例，所述敏感内容检测模块13包括：

聊天文本获取子模块，用于获取所述历史聊天文本、待发送聊天文本及全局聊天文本中包含的聊天文本；

敏感规则检测子模块，基于敏感文本库及敏感检测规则，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户；

神经网络模型检测子模块，用于调用已训练至收敛的敏感内容检测神经网络模型，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户。

根据本申请的部分实施例，所述敏感内容检测模块13包括：

聊天文本获取子模块，用于基于所述待发送聊天文本及用户历史聊天文本的发送顺序，排序所述待发送聊天文本及用户历史聊天文本各自包含的聊天文本；

组合文本检测子模块，用于组合完成排序的各所述聊天文本生成组合聊天文本，对所述组合聊天文本进行敏感内容检测；

首字符文本检测子模块，用于提取完成排序的各所述聊天文本的首字符，组合各所述首字符生成首字符聊天文本，对所述首字符聊天文本进行敏感内容检测；

诱导内容检测子模块，用于检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本，基于所述全局聊天文本进行诱导内容检测，识别出发送诱导内容的聊天用户。

根据本申请的部分实施例，所述管理手段确定模块14包括：

告警通知推送子模块，用于向敏感内容检测结果为低敏感内容的聊天用户推送敏感内容警告通知；

预设时长禁止参与子模块，用于禁止敏感内容检测结果为中敏感内容的聊天用户在预设时长内参与当前聊天会话；

禁止参与会话子模块，用于禁止敏感内容检测结果为高敏感内容的聊天用户参与当前聊天会话。

根据本申请的部分实施例，所述管理手段确定模块14包括：

聊天文本拦截子模块，用于确定出敏感内容检测结果为高敏感内容的聊天用户，拦截所述聊天用户在当前聊天会话中推送的聊天文本；

聊天文本推送子模块，用于将所述聊天用户的用户身份信息、拦截聊天文本及所述全局历史聊天文本推送至管理端；

违规管理手段确定子模块，用于获取所述管理端推送的审核结果，根据所述审核结果确定所述聊天用户的违规管理手段。

本申请的另一实施例还提供一种聊天文本检测设备。如图10所示，所述聊天文本检测设备可由计算机设备实现。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种聊天文本检测方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的聊天文本检测方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图10中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的聊天文本检测装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。

本申请还提供一种存储有计算机可读指令存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的聊天文本检测方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

综上所述，本申请对聊天会话进行敏感内容检测且确定违规管理手段，优化聊天会话的聊天环境，提升用户的聊天体验。

Claims (11)

1.一种聊天文本检测方法，其特征在于，包括如下步骤：

根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；

当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；

对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；

确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

2.根据权利要求1所述的方法，其特征在于，根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户，包括如下步骤：

根据各所述聊天用户的聊天身份信息，确定出满足非好友的身份异常条件的聊天用户；

根据各所述聊天用户的聊天身份信息，确定出满足短时间好友的身份异常条件的聊天用户；

根据各所述聊天用户的聊天身份信息，确定出满足违规用户的身份异常条件的聊天用户；

根据各所述聊天用户的聊天身份信息，确定出满足新注册用户的身份异常条件的聊天用户；

将满足一个或多个所述身份异常条件的聊天用户确定为聊天身份异常用户。

3.根据权利要求1所述的方法，其特征在于，对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，包括如下步骤：

获取所述历史聊天文本、待发送聊天文本及全局聊天文本中包含的聊天文本；

基于敏感文本库及敏感检测规则，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户；

调用已训练至收敛的敏感内容检测神经网络模型，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户。

4.根据权利要求1所述的方法，其特征在于，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行首字符组合的敏感内容检测，包括如下步骤：

基于所述待发送聊天文本及用户历史聊天文本的发送顺序，排序所述待发送聊天文本及用户历史聊天文本各自包含的聊天文本；

组合完成排序的各所述聊天文本生成组合聊天文本，对所述组合聊天文本进行敏感内容检测；

提取完成排序的各所述聊天文本的首字符，组合各所述首字符生成首字符聊天文本，对所述首字符聊天文本进行敏感内容检测；

检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本，基于所述全局聊天文本进行诱导内容检测，识别出发送诱导内容的聊天用户。

5.根据权利要求1所述的方法，其特征在于，确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段，包括如下步骤：

向敏感内容检测结果为低敏感内容的聊天用户推送敏感内容警告通知；

禁止敏感内容检测结果为中敏感内容的聊天用户在预设时长内参与当前聊天会话；

禁止敏感内容检测结果为高敏感内容的聊天用户参与当前聊天会话。

6.根据权利要求1所述的方法，其特征在于，确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段，包括如下步骤：

确定出敏感内容检测结果为高敏感内容的聊天用户，拦截所述聊天用户在当前聊天会话中推送的聊天文本；

将所述聊天用户的用户身份信息、拦截聊天文本及所述全局历史聊天文本推送至管理端；

获取所述管理端推送的审核结果，根据所述审核结果确定所述聊天用户的违规管理手段。

7.根据权利要求1所述的方法，其特征在于，确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段，包括如下后置步骤：

校验聊天会话中多个所述聊天用户中是否存在静默封禁用户；

拦截所述聊天会话中的所述静默封禁用户所推送的聊天文本，停止将所述聊天文本推送至所述聊天会话中的其他聊天用户的客户端；

将所述聊天文本推送至所述静默封禁聊天用户的客户端，驱动所述客户端可视化输出所述聊天文本。

8.一种聊天文本检测装置，其特征在于，包括:

异常用户检测模块，用于根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；

聊天文本获取模块，用于当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；

敏感内容检测模块，用于对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；

管理手段确定模块，用于确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。

9.一种聊天文本检测设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

11.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如权利要求1至7中任意一项所述的方法的步骤。

Images