CN117744009A - 异常账号的识别方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种异常账号的识别方法、装置、设备及介质，涉及数据处理领域，尤其涉及深度学习、人工智能领域。具体实现方案为：获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征；基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；获取目标任务对应的任务类型；根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。

Description

异常账号的识别方法、装置、设备及介质

技术领域

本公开涉及数据处理领域，尤其涉及深度学习、人工智能领域，具体涉及一种异常账号的识别方法、装置、设备及介质。

背景技术

随着互联网和移动互联网的普及，各类在线业务迅速发展，如电子商务、社交媒体、在线支付等。然而，这也为黑灰产提供了可乘之机，他们通过作弊手段，如刷单、刷评论、刷赞等，获取不正当利益。为了保护业务的正常运转，防止黑灰产作弊行为，如何识别业务系统中的异常账号，是一个亟待解决的问题。

发明内容

本公开提供了一种异常账号的识别方法、装置、设备及介质。

根据本公开的一方面，提供了一种异常账号的识别方法，通过获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征；基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；获取目标任务对应的任务类型；根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。

本申请通过收集用户在不同场景下不同行为下的异构数据，能够更好地了解用户在不同场景下的需求、偏好和行为模式，帮助构建更精细的用户画像，从而获得更准确的用户行为序列特征，以便于后续将异构的行为数据融入进目标预训练行为序列模型，再基于任务类型对目标预训练行为序列模型进行微调以生成目标模型，能够有效识别黑灰产的异常账号，以更好地应对黑灰产作弊行为并及时采取相应的风险管控措施。该方案能够提高业务安全性，减少经济损失，并提升用户体验。

根据本公开的另一方面，提供了一种异常账号的识别装置，包括第一获取模块，用于获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征；预训练模块，用于基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；第二获取模块，用于获取目标任务对应的任务类型；微调模块，用于根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述异常账号的识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述异常账号的识别方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述异常账号的识别方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一示例性实施例的一种异常账号的识别方法的示例性实施方式的示意图。

图2是根据本公开一示例性实施例的一种异常账号的识别方法的示例性实施方式的示意图。

图3是根据本公开一示例性实施例的一种异常账号的识别方法的示例性实施方式的示意图。

图4是根据本公开一示例性实施例的一种异常账号的识别装置的示意图。

图5是根据本公开一示例性实施例的一种电子设备的示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。

图1是本申请示出的一种异常账号的识别方法的示例性实施方式的示意图，如图1所示，该异常账号的识别方法，包括以下步骤：

S101，获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征。

其中，账号属性特征指的是与用户账号相关的一些静态特征或属性，比如说用户基本信息、账号会员等级特征、账号注册时间特征、账号手机/邮箱特征、账号活跃特征、账号所标记的兴趣标签等特征。

用户行为序列特征指的是用户在一段时间内的行为或操作序列所包含的特征。用户行为序列特征可以用来描述和分析用户的行为习惯、偏好和趋势。比如说，用户行为序列特征可包括场景特征(比如说登陆场景，注册场景、敏感操作场景、申诉场景、产品线活跃场景等)、行为特征(比如说在某个场景下的点击、浏览、搜索、评论等行为)、时间戳、地理位置特征、设备信息、请求频率、请求响应信息等特征。

由于不同的场景往往对应不同的行为，比如说，在登陆场景下，用户往往可以选择用户名密码登陆、手机号密码登陆、邮箱密码登陆、动态密码登陆、扫码登录等登录方式。不同的方式对应的数据结构不一定相同，本申请中，可通过收集用户在不同场景下不同行为下的异构数据，能够更好地了解用户在不同场景下的需求、偏好和行为模式，帮助构建更精细的用户画像，从而获得更准确的用户行为序列特征，以便于后续将异构的行为数据融入进模型的预训练过程。

S102，基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型。

可选的，预训练行为序列模型可选择基于Transformer-encoder模块的预训练行为序列模型，也可选择使用循环神经网络(Recurrent Neural Network，RNN)、长短期记忆网络(Long Short-Term Memory，LSTM)、门控循环单元(Gated Recurrent Unit，GRU)、基于Transformer架构的深度学习模型(Bidirectional Encoder Representations fromTransformers，BERT)等模块的预训练行为序列模型。

可选的，在基于第一样本特征集对初始预训练行为序列模型进行训练时，预训练任务采用掩码语言建模(Masked Language Modeling，MLM)模式，还可以采用自回归语言建模(Autoregressive Language Modeling)、预测下一个句子(Next SentencePrediction)、预测Token是否被替换(Replace Token Detection)等方法。

当对初始预训练行为序列模型进行训练的过程中，监测到损失函数值收敛或者损失函数值小于预设阈值，则可结束训练，获取训练完成后生成的目标预训练行为序列模型。

S103，获取目标任务对应的任务类型。

可选的，目标任务对应的任务类型可包括分类识别类型或者聚类分析类型。

分类识别类型是指将数据分成不同的类别或标签，以便对其进行分类和识别。

聚类分析类型可能用于将账号根据其行为、特征或属性分成不同的群组，以便更好地识别异常账号。

S104，根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。

本申请的目的是识别待分析的账号是否为异常账号，在上述获取训练完成后生成的目标预训练行为序列模型的基础上，可以基于任务类型对目标预训练行为序列模型进行微调，以生成目标模型，并基于目标模型进行异常账号识别。

若任务类型为分类识别类型，则可在目标预训练行为序列模型后连接一个分类器，并对连接分类器之后生成的模型选择该异常识别场景下的数据进行再训练，以生成目标模型。当将待分析的账号的相关特征输入目标模型之后，目标模型可直接输出该待分析的账号的分类结果，分类结果为异常账号或者非异常账号。

若任务类型为聚类分析类型，则可在目标预训练行为序列模型后连接一个聚类模块，以生成目标模型。当将一批待分析的账号的相关特征输入目标模型之后，目标模型可直接输出待分析的账号的聚类结果，根据聚类结果，可以得到异常离群点，也可以识别行为序列高度相似的批量行为账号，从而确定该批待分析的账号内的异常账号。

进一步的，一旦确定了异常账号，可以采取相应的处理措施，如标记、暂停或终止这些账号的使用。

本申请实施例提供了一种异常账号的识别方法，包括获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征；基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；获取目标任务对应的任务类型；根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。本申请通过收集用户在不同场景下不同行为下的异构数据，能够更好地了解用户在不同场景下的需求、偏好和行为模式，帮助构建更精细的用户画像，从而获得更准确的用户行为序列特征，以便于后续将异构的行为数据融入进目标预训练行为序列模型，再基于任务类型对目标预训练行为序列模型进行微调以生成目标模型，能够有效识别黑灰产的异常账号，以更好地应对黑灰产作弊行为并及时采取相应的风险管控措施。该方案能够提高业务安全性，减少经济损失，并提升用户体验。

图2是本申请示出的一种异常账号的识别方法的示例性实施方式的示意图，如图2所示，该异常账号的识别方法，包括以下步骤：

S201，获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征。

获取样本账号，并获取样本账号对应的账号属性信息和用户行为序列信息，用户行为序列信息中包括场景信息、行为信息、时间戳信息、设备信息和响应结果信息。

对账号属性信息进行预处理，获取账号属性特征。账号属性特征指的是与用户账号相关的一些静态特征或属性，比如说用户基本信息、账号会员等级特征、账号注册时间特征、账号手机/邮箱特征、账号活跃特征、账号所标记的兴趣标签等特征。

对用户行为序列信息进行预处理，获取用户行为序列特征。用户行为序列特征指的是用户在一段时间内的行为或操作序列所包含的特征。用户行为序列特征可以用来描述和分析用户的行为习惯、偏好和趋势。比如说，用户行为序列特征可包括场景特征(比如说登陆场景，注册场景、敏感操作场景、申诉场景、产品线活跃场景等)、行为特征(比如说在某个场景下的点击、浏览、搜索、评论等行为)、时间戳、地理位置特征、设备信息、请求频率、请求响应信息等特征。

基于多个样本账号各自对应的账号属性特征和用户行为序列特征生成第一样本特征集。

经以上步骤获得的第一样本特征集，融入了用户在不同场景下不同行为下的异构数据，能够更好地了解用户在不同场景下的需求、偏好和行为模式，帮助构建更精细的用户画像，以便于后续将异构的行为数据融入进模型的预训练过程。

S202，基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型。

S203，获取目标任务对应的任务类型。

关于步骤S202～S203的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。

S204，响应于任务类型为分类类型，在目标预训练行为序列模型之后添加分类器作为输出层，获取生成的第一初始任务模型。

S205，基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化。

由于上文生成的目标预训练行为序列模型已经学习到了通用的语义和上下文信息，学习到了广泛的特征表示，故基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化，可以在初始阶段就引入丰富的语义知识和上下文理解，从而改善第一初始任务模型的性能。并且对于某些任务，数据可能非常有限或不平衡，导致模型在训练过程中面临数据稀疏的问题。基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化可以提供更好的初始权重，有助于缓解数据稀疏性问题，并在有限数据上提高目标模型的泛化能力。

S206，基于目标任务获取第二样本特征集，第二特征样本集中包括多个第二样本特征，每个第二样本特征携带样本标签。

在上述基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化之后，本申请中，需要基于目标任务获取第二样本特征集，比如说目标任务为异常账号识别任务，则需要收集正常账号与异常账号各自对应的账号属性特征和用户行为序列特征，并分别打上正样本或者负样本的样本标签以生成第二样本特征集。

可选的，第二样本特征除了包含账号属性特征和用户行为序列特征之外，还可基于异常账号识别任务的相关业务线添加进一些业务线相关特征，以使得最后获得的目标模型更加适应业务线。

S207，基于第二样本特征集对初始化之后的第一初始任务模型进行训练，获取训练完成后生成的目标模型。

基于第二样本特征集对初始化之后的第一初始任务模型进行训练，若监测到第一初始任务模型对应的损失函数收敛，或者，监测到第一初始任务模型对应的损失函数值小于预设阈值，或者，监测到训练次数已达到预设训练次数，则结束训练，获取训练完成后生成的目标模型。

S208，基于目标模型进行异常账号识别。

获取待识别账号对应的特征信息，特征信息包括账号属性特征和用户行为序列特征；将特征信息输入目标模型；获取目标模型输出的分类结果，分类结果用于指示待识别账号是否为异常账号。

本申请实施例中，基于目标预训练行为序列模型学习到的广泛的特征表示对第一初始任务模型进行参数初始化，可以在初始阶段就引入丰富的语义知识和上下文理解，从而改善第一初始任务模型的性能，而后基于第二样本特征集对初始化之后的第一初始任务模型进行训练，可以使得生成的目标模型学习到更具针对性的特征表示，以更好地解决目标任务，从而提高模型的泛化能力，并在真实场景中更好地推广和应用。

图3是本申请示出的一种异常账号的识别方法的示例性实施方式的示意图，如图3所示，该异常账号的识别方法，包括以下步骤：

S301，获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征。

S302，基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型。

S303，获取目标任务对应的任务类型。

关于步骤S301～S303的具体实现方式，可参照上述实施例中相关部分的具体介绍，在此不再进行赘述。

S304，响应于任务类型为聚类类型，在目标预训练行为序列模型之后添加聚类算法模块作为输出层，获取生成的第二初始任务模型。

可选的，聚类算法可采用K-means聚类算法、密度聚类算法等聚类算法。

S305，基于目标预训练行为序列模型的模型参数对第二初始任务模型进行参数初始化。

由于上文生成的目标预训练行为序列模型已经学习到了通用的语义和上下文信息，学习到了广泛的特征表示，故基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化，可以在初始阶段就引入丰富的语义知识和上下文理解，从而改善第一初始任务模型的性能。并且对于某些任务，数据可能非常有限或不平衡，导致模型在训练过程中面临数据稀疏的问题。基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化可以提供更好的初始权重，有助于缓解数据稀疏性问题，并在有限数据上提高目标模型的泛化能力。

S306，将初始化后的第二初始任务模型作为目标模型。

S307，基于目标模型进行异常账号识别。

获取多个待识别账号各自对应的特征信息，将多个待识别账号各自对应的特征信息输入目标模型，获取目标模型输出的聚类结果，并基于聚类结果确定多个待识别账号中的异常账号。

作为一种可实现的方式，基于聚类结果确定多个待识别账号中的异常账号，包括：基于离群点检测算法对聚类结果进行离群点检测，获取检测得到的离群点；将离群点对应的待识别账号作为异常账号。通过离群点检测，可以有效地识别出与其他账号明显不同的异常账号。这些异常账号可能存在欺诈、恶意行为或其他异常行为，识别出异常账号后，可以采取相应的安全措施，例如加强验证流程、限制资源访问权限或暂停账号服务，以保护系统和用户的安全。

作为另一种可实现的方式，基于聚类结果确定多个待识别账号中的异常账号，包括：针对聚类结果中每个聚类簇，获取该聚类簇内的每两两个聚类点之间的距离值；将每个聚类簇对应的数值最大的距离值作为该聚类簇对应的最大距离值；响应于最大距离值大于预设距离阈值，则将该最大距离值对应的聚类簇内的每个聚类点对应的待识别账号作为异常账号。这样可以有效识别出批量的高度相似账号，大量的高度相似账号可能会占用系统资源、影响系统性能或导致额外成本。通过及时发现并处理高度相似账号，可以合理管理系统资源，提高系统的运行效率和稳定性。

作为另一种可实现的方式，针对聚类结果中每个聚类簇，检查每个聚类簇中的聚类点数量，如果某个聚类簇中的账号数量小于预设阈值，则将该聚类簇内的每个聚类点对应的待识别账号作为异常账号。这种方式灵活度更高。

本申请实施例中，基于目标预训练行为序列模型学习到的广泛的特征表示对第二初始任务模型进行参数初始化，可以在初始阶段就引入丰富的语义知识和上下文理解，从而改善第二初始任务模型的性能，而后在目标预训练行为序列模型之后添加聚类算法模块作为输出层，能够有效地处理大规模数据集，可以挖掘数据中的潜在模式，使得异常账号更容易被识别，可以灵活适应不同的业务场景和需求，具有较强的泛化能力，提高对黑灰产作弊行为的识别能力。

图4是本申请示出的一种异常账号的识别装置的示意图，如图4所示，该异常账号的识别装置400，包括第一获取模块401、预训练模块402、第二获取模块403和微调模块404，其中：

第一获取模块401，用于获取第一样本特征集，第一样本特征集中包括多个第一样本特征，每个第一样本特征包括账号属性特征和用户行为序列特征，用户行为序列特征包括场景特征和行为特征；

预训练模块402，用于基于第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；

第二获取模块403，用于获取目标任务对应的任务类型；

微调模块404，用于根据任务类型对目标预训练行为序列模型进行微调以生成目标模型，并基于目标模型进行异常账号识别。

本装置通过收集用户在不同场景下不同行为下的异构数据，能够更好地了解用户在不同场景下的需求、偏好和行为模式，帮助构建更精细的用户画像，从而获得更准确的用户行为序列特征，以便于后续将异构的行为数据融入进目标预训练行为序列模型，再基于任务类型对目标预训练行为序列模型进行微调以生成目标模型，能够有效识别黑灰产的异常账号，以更好地应对黑灰产作弊行为并及时采取相应的风险管控措施。该方案能够提高业务安全性，减少经济损失，并提升用户体验。

进一步的，微调模块404，还用于：在目标预训练行为序列模型之后添加分类器作为输出层，获取生成的第一初始任务模型；基于目标预训练行为序列模型的模型参数对第一初始任务模型进行参数初始化；基于目标任务获取第二样本特征集，第二特征样本集中包括多个第二样本特征，每个第二样本特征携带样本标签；基于第二样本特征集对初始化之后的第一初始任务模型进行训练，获取训练完成后生成的目标模型。

进一步的，微调模块404，还用于：获取待识别账号对应的特征信息；将特征信息输入目标模型；获取目标模型输出的分类结果，分类结果用于指示待识别账号是否为异常账号。

进一步的，微调模块404，还用于：在目标预训练行为序列模型之后添加聚类算法模块作为输出层，获取生成的第二初始任务模型；基于目标预训练行为序列模型的模型参数对第二初始任务模型进行参数初始化；将初始化后的第二初始任务模型作为目标模型。

进一步的，微调模块404，还用于：获取多个待识别账号各自对应的特征信息；将多个待识别账号各自对应的特征信息输入目标模型；获取目标模型输出的聚类结果，并基于聚类结果确定多个待识别账号中的异常账号。

进一步的，微调模块404，还用于：基于离群点检测算法对聚类结果进行离群点检测，获取检测得到的离群点；将离群点对应的待识别账号作为异常账号。

进一步的，微调模块404，还用于：针对聚类结果中每个聚类簇，获取该聚类簇内的每两两个聚类点之间的距离值；将每个聚类簇对应的数值最大的距离值作为该聚类簇对应的最大距离值；响应于最大距离值大于预设距离阈值，则将该最大距离值对应的聚类簇内的每个聚类点对应的待识别账号作为异常账号。

进一步的，第一获取模块401，还用于：获取样本账号对应的账号属性信息和用户行为序列信息，用户行为序列信息中包括场景信息和行为信息；对账号属性信息进行预处理，获取账号属性特征；对用户行为序列信息进行预处理，获取用户行为序列特征；基于多个样本账号各自对应的账号属性特征和用户行为序列特征生成第一样本特征集。

进一步的，第一获取模块401中的用户行为序列信息还包括时间戳信息、设备信息和响应结果信息。

进一步的，微调模块401，还用于：基于第二样本特征集对初始化之后的第一初始任务模型进行训练；响应于监测到第一初始任务模型对应的损失函数收敛或者监测到第一初始任务模型对应的损失函数值小于预设阈值，结束训练，获取训练完成后生成的目标模型。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关法律法规和标准。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如异常账号的识别方法。例如，在一些实施例中，异常账号的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的异常账号的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行异常账号的识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种异常账号的识别方法，包括：

获取第一样本特征集，所述第一样本特征集中包括多个第一样本特征，每个所述第一样本特征包括账号属性特征和用户行为序列特征，所述用户行为序列特征包括场景特征和行为特征；

基于所述第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；

获取目标任务对应的任务类型；

根据所述任务类型对所述目标预训练行为序列模型进行微调以生成目标模型，并基于所述目标模型进行异常账号识别。

2.根据权利要求1所述的方法，其中，响应于所述任务类型为分类类型，所述根据所述任务类型对所述目标预训练行为序列模型进行微调以生成目标模型，包括：

在所述目标预训练行为序列模型之后添加分类器作为输出层，获取生成的第一初始任务模型；

基于所述目标预训练行为序列模型的模型参数对所述第一初始任务模型进行参数初始化；

基于目标任务获取第二样本特征集，所述第二特征样本集中包括多个第二样本特征，每个所述第二样本特征携带样本标签；

基于所述第二样本特征集对初始化之后的所述第一初始任务模型进行训练，获取训练完成后生成的目标模型。

3.根据权利要求2所述的方法，其中，所述基于所述目标模型进行异常账号识别，包括：

获取待识别账号对应的特征信息；

将所述特征信息输入所述目标模型；

获取所述目标模型输出的分类结果，所述分类结果用于指示所述待识别账号是否为异常账号。

4.根据权利要求1所述的方法，其中，响应于所述任务类型为聚类类型，所述根据所述任务类型对所述目标预训练行为序列模型进行微调以生成目标模型，包括：

在所述目标预训练行为序列模型之后添加聚类算法模块作为输出层，获取生成的第二初始任务模型；

基于所述目标预训练行为序列模型的模型参数对所述第二初始任务模型进行参数初始化；

将初始化后的第二初始任务模型作为目标模型。

5.根据权利要求4所述的方法，其中，所述基于所述目标模型进行异常账号识别，包括：

获取多个待识别账号各自对应的特征信息；

将所述多个待识别账号各自对应的特征信息输入所述目标模型；

获取所述目标模型输出的聚类结果，并基于所述聚类结果确定所述多个待识别账号中的异常账号。

6.根据权利要求5所述的方法，其中，所述基于所述聚类结果确定所述多个待识别账号中的异常账号，包括：

基于离群点检测算法对所述聚类结果进行离群点检测，获取检测得到的离群点；

将所述离群点对应的待识别账号作为异常账号。

7.根据权利要求5所述的方法，其中，所述基于所述聚类结果确定所述多个待识别账号中的异常账号，包括：

针对所述聚类结果中每个聚类簇，获取该聚类簇内的每两两个聚类点之间的距离值；

将每个聚类簇对应的数值最大的距离值作为该聚类簇对应的最大距离值；

响应于所述最大距离值大于预设距离阈值，则将该最大距离值对应的聚类簇内的每个聚类点对应的待识别账号作为异常账号。

8.根据权利要求1-7中任一项所述的方法，其中，所述获取第一样本特征集，包括：

获取样本账号对应的账号属性信息和用户行为序列信息，所述用户行为序列信息中包括场景信息和行为信息；

对所述账号属性信息进行预处理，获取账号属性特征；

对所述用户行为序列信息进行预处理，获取用户行为序列特征；

基于多个样本账号各自对应的账号属性特征和用户行为序列特征生成所述第一样本特征集。

9.根据权利要求8所述的方法，其中，所述用户行为序列信息还包括时间戳信息、设备信息和响应结果信息。

10.根据权利要求2所述的方法，其中，所述基于所述第二样本特征集对初始化之后的所述第一初始任务模型进行训练，获取训练完成后生成的目标模型，包括：

基于所述第二样本特征集对初始化之后的所述第一初始任务模型进行训练；

响应于监测到所述第一初始任务模型对应的损失函数收敛或者监测到所述第一初始任务模型对应的损失函数值小于预设阈值，结束训练，获取训练完成后生成的目标模型。

11.一种异常账号的识别装置，包括：

第一获取模块，用于获取第一样本特征集，所述第一样本特征集中包括多个第一样本特征，每个所述第一样本特征包括账号属性特征和用户行为序列特征，所述用户行为序列特征包括场景特征和行为特征；

预训练模块，用于基于所述第一样本特征集对初始预训练行为序列模型进行训练，响应于满足训练结束条件，获取训练完成后生成的目标预训练行为序列模型；

第二获取模块，用于获取目标任务对应的任务类型；

微调模块，用于根据所述任务类型对所述目标预训练行为序列模型进行微调以生成目标模型，并基于所述目标模型进行异常账号识别。

12.根据权利要求11所述的装置，其中，所述微调模块，还用于：

在所述目标预训练行为序列模型之后添加分类器作为输出层，获取生成的第一初始任务模型；

基于所述目标预训练行为序列模型的模型参数对所述第一初始任务模型进行参数初始化；

基于目标任务获取第二样本特征集，所述第二特征样本集中包括多个第二样本特征，每个所述第二样本特征携带样本标签；

基于所述第二样本特征集对初始化之后的所述第一初始任务模型进行训练，获取训练完成后生成的目标模型。

13.根据权利要求12所述的装置，其中，所述微调模块，还用于：

获取待识别账号对应的特征信息；

将所述特征信息输入所述目标模型；

获取所述目标模型输出的分类结果，所述分类结果用于指示所述待识别账号是否为异常账号。

14.根据权利要求11所述的装置，其中，所述微调模块，还用于：

在所述目标预训练行为序列模型之后添加聚类算法模块作为输出层，获取生成的第二初始任务模型；

基于所述目标预训练行为序列模型的模型参数对所述第二初始任务模型进行参数初始化；

将初始化后的第二初始任务模型作为目标模型。

15.根据权利要求14所述的装置，其中，所述微调模块，还用于：

获取多个待识别账号各自对应的特征信息；

将所述多个待识别账号各自对应的特征信息输入所述目标模型；

获取所述目标模型输出的聚类结果，并基于所述聚类结果确定所述多个待识别账号中的异常账号。

16.根据权利要求15所述的装置，其中，所述微调模块，还用于：

基于离群点检测算法对所述聚类结果进行离群点检测，获取检测得到的离群点；

将所述离群点对应的待识别账号作为异常账号。

17.根据权利要求15所述的装置，其中，所述微调模块，还用于：

针对所述聚类结果中每个聚类簇，获取该聚类簇内的每两两个聚类点之间的距离值；

将每个聚类簇对应的数值最大的距离值作为该聚类簇对应的最大距离值；

响应于所述最大距离值大于预设距离阈值，则将该最大距离值对应的聚类簇内的每个聚类点对应的待识别账号作为异常账号。

18.根据权利要求11-17中任一项所述的装置，其中，所述第一获取模块，还用于：

获取样本账号对应的账号属性信息和用户行为序列信息，所述用户行为序列信息中包括场景信息和行为信息；

对所述账号属性信息进行预处理，获取账号属性特征；

对所述用户行为序列信息进行预处理，获取用户行为序列特征；

基于多个样本账号各自对应的账号属性特征和用户行为序列特征生成所述第一样本特征集。

19.根据权利要求18所述的装置，其中，所述用户行为序列信息还包括时间戳信息、设备信息和响应结果信息。

20.根据权利要求12所述的装置，其中，所述微调模块，还用于：

基于所述第二样本特征集对初始化之后的所述第一初始任务模型进行训练；

响应于监测到所述第一初始任务模型对应的损失函数收敛或者监测到所述第一初始任务模型对应的损失函数值小于预设阈值，结束训练，获取训练完成后生成的目标模型。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述方法的步骤。