CN110442507A - 在机器学习平台中进行行为审计的方法和系统 - Google Patents

Abstract

提供了一种在机器学习平台中进行行为审计的方法和系统。所述方法包括：响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计内容显示在审计页面上。

Description

在机器学习平台中进行行为审计的方法和系统

技术领域

本公开总体说来涉及人工智能领域，更具体地讲，涉及一种在机器学习平台中进行行为审计的方法和系统。

背景技术

随着人工智能技术的发展，已经能够开发出提供机器学习相关功能的产品以供企业或个人利用提供的产品执行机器学习。然而，大部分企业提供的机器学习产品均是直接通过开源框架来提供，而并没有任何行为审计能力(例如，用户行为审计能力)，而这使得对于安全性或稳定性要求较高的用户由于此类产品无法提供对机器学习中的涉及的各种行为进行审计的功能而放弃对其的购买，或者即使已经购买了此类产品也由于行为审计功能的缺乏而造成较差的用户体验。鉴于此，需要能够在机器学习平台中进行行为审计的方法和系统。

发明内容

根据本公开的示例性实施例，提供了一种在机器学习平台中进行行为审计的方法，所述方法可包括：响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计内容显示在审计页面上。

可选地，与保存的操作数据记录相应的审计内容可包括以下项中的至少一项：保存的操作数据记录中的至少一些操作数据记录本身、根据保存的操作数据记录中的至少一些操作记录产生的审计条目、根据保存的操作数据记录中的至少一些操作记录产生的分析数据。

可选地，根据保存的操作数据记录中的至少一些操作记录产生的分析数据可包括以下项中的至少一项：根据保存的操作数据记录中的至少一些操作记录产生的不同操作的统计图表、用户行为日志概述和用户行为分析图。

可选地，与检索到的操作数据记录相应的审计内容可包括与检索到的操作数据记录相应的审计条目或针对与检索到的操作数据记录相应的每个用户按照时间轴形式展示的操作行为拓扑图。

可选地，与检索到的操作数据记录相应的审计条目是通过抽取检索到的操作数据记录中与预先设置的期望展示的审计项目对应的属性字段而获得的；或者，与检索到的操作数据记录相应的审计条目是通过对检索到的操作数据记录中与预先设置的期望展示的审计项目对应的信息进行处理而获得的。

可选地，与检索到的操作数据记录相应的审计条目可根据用户行为对应的行为危害等级、操作数据记录中被设置作为排序字段的属性字段的取值和用户历史偏好的条目展示习惯之中的至少一项被排序。

可选地，所述方法还可包括：响应于接收到选择特定审计条目的用户命令，以插入方式显示与所述特定审计条目有关的当前未被显示的审计项目或者以弹出窗口显示当前未被显示的审计项目。

可选地，以插入方式显示当前未被显示的审计项目可包括：在所述特定审计条目的下方以区别于所述特定审计条目的显示方式插入当前未被显示的审计项目。

可选地，所述方法还可包括：在显示与检索到的操作数据记录相应的审计条目的同时或者在显示当前未被显示的审计项目的同时，显示用于针对审计条目添加备注的备注按钮，响应于备注按钮被选择，根据用户的输入添加针对审计条目的备注。

可选地，所述方法还可包括：响应于用于筛选显示的审计条目的用户命令，仅显示添加过备注的审计条目；并且/或者，响应于接收到用于导出审计结果的用户命令，执行以下操作中的至少一项：导出添加过备注的审计条目；导出关于添加过备注的审计条目的审计报告；导出与检索到的操作数据记录相应的审计条目；导出关于与检索到的操作数据记录相应的审计条目的审计报告。

可选地，在显示的审计条目的特定属性字段附近设置有用于进行快捷复制的按钮，所述方法还包括：响应于用于进行快捷复制的按钮被选择，复制该特定属性字段的取值。

可选地，在显示的审计条目的特定属性字段附近设置有用于进行快捷检索的按钮，所述方法还包括：响应于用于快捷检索的按钮被选择，在审计页面上显示的检索框中显示用于检索所述特定属性字段具有当前显示的取值的操作数据记录的检索条件，并且响应于用户的检索确认输入，根据该检索条件在保存的操作数据记录中执行检索并显示相应的检索结果；或者，响应于用于快捷检索的按钮被选择，直接在保存的操作数据记录中检索所述特定属性字段具有当前显示的取值的操作数据记录并显示相应的检索结果。

可选地，所述方法还包括：响应于审计条目的特定属性字段被选择或者响应于设置在特定属性字段附近的查看按钮被选择，以弹出窗口的形式显示与所述特定属性字段相关的细节或者从审计页面跳转到与所述特定属性字段有关的页面。

可选地，执行所述操作并保存相应的操作数据记录可包括：根据所述用户行为对应的行为危害等级采取不同的方式执行所述操作并保存相应的操作数据记录。

可选地，根据所述用户行为对应的行为危害等级将操作数据记录保存在专门设置的审计记录数据库或者以系统日志的形式来保存操作数据记录。

可选地，对于行为危害等级大于预定等级的用户行为，仅在审计服务正常的情况下才执行所述操作并保存相应的操作数据记录。

可选地，对于行为危害等级大于预定等级的用户行为，在保存操作数据记录时，操作数据记录以与行为危害等级对应的备份方式被备份。

可选地，根据所述用户行为对应的行为危害等级将操作数据记录保存在专门设置的审计记录数据库或者以系统日志的形式来保存操作数据记录包括：在所述用户行为对应于第一行为危害等级的情况下，确定审计服务是否正常，并且仅在确定审计服务正常时执行所述操作并将相应的操作数据记录保存在审计记录数据库中；在所述用户行为对应于第二行为危害等级的情况下，确定审计服务是否正常，如果确定审计服务正常，则执行所述操作并将相应的操作数据记录保存在审计记录数据库中，而如果确定审计服务异常，则执行所述操作并以系统日志的形式保存相应的操作数据记录；在所述用户行为对应于第三行为危害等级的情况下，执行所述操作并以系统日志的形式保存相应的操作数据记录，其中，第一行为危害等级大于第二行为危害等级，第二行为危害等级大于第三行为危害等级。

可选地，所述方法还包括：如果所述用户行为对应于第二行为危害等级，则在执行所述操作并以系统日志的形式保存相应的操作数据记录之后，响应于审计服务恢复正常，从系统日志中恢复相应的操作数据记录并将其保存在审计记录数据库中。

可选地，所述方法还包括：如果所述用户行为对应于第一行为危害等级，则在执行所述操作并将相应的操作数据记录保存在审计记录数据库中之后，在审计记录数据库中备份该操作数据记录；如果所述用户行为对应于第二行为危害等级，则在执行所述操作并将相应的操作数据记录保存在审计记录数据库中之后，以系统日志的形式备份相应的操作数据记录。

可选地，确定审计服务是否正常包括：将与所述用户行为对应的信息发送给被配置为执行所述操作的服务；所述服务将包括所述对应的信息的请求发送给审计服务；如果所述服务未从审计服务接收到任何反馈，则确定审计服务异常；如果所述服务从审计服务接收到反馈信息，则根据接收到的反馈信息确定审计服务是否正常。

可选地，所述方法还包括：响应于指示执行系统操作的至少一部分系统行为，执行所述系统操作并保存相应的操作数据记录。

可选地，保存相应的操作数据记录包括：在即将开始执行所述操作时保存与所述操作的准备操作状态对应的操作数据记录，并在所述操作成功执行时保存与所述操作的操作成功状态对应的操作数据记录。

可选地，在保存相应的操作数据记录时，所述相应的操作数据记录被设置为根据用户行为的不同而包括不同的属性字段。

可选地，所述审计页面包括用于针对操作数据记录进行检索的检索框，响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计条目显示在审计页面上包括：响应于用户执行的操作，在检索框中显示由至少一个检索条件组成的检索表达式；以及响应于用户对检索表达式的确认，在保存的操作数据记录中执行与检索表达式相应的检索操作，并输出与检索到的操作数据记录相应的审计内容，其中，用户执行的操作包括用户基于多级列表选择特定检索项及其特定结果的列表操作，其中，所述多级列表中的第一级列表的列表项目包括候选检索项以供用户选择特定检索项，所述多级列表中的最后一级列表的列表项目包括检索项的候选结果以供用户选择特定结果，并且，响应于用户执行的操作，在检索框中显示由至少一个检索条件组成的检索表达式的步骤包括：响应于所述列表操作，在检索框中显示用于筛选出特定检索项具有特定结果的操作数据记录的检索条件，其中，候选检索项涉及操作数据记录的多个关键属性。

可选地，所述多个关键属性可包括用户名、功能、操作行为、操作行为危害等级、操作对象类型、操作对象、操作时段中的至少一项。

可选地，所述多级列表为两级列表；或者，所述多级列表为三级以上列表，其中，除了第一级列表和最后一级列表之外的其他级列表用于渐进地指向检索项的候选结果。

可选地，响应于所述列表操作，在检索框中显示用于筛选出特定检索项具有特定结果的操作数据记录的检索条件的步骤包括：随着用户针对每一级列表的选择操作，在检索框中相应地显示被选择的列表项目；或者，在用户选择特定结果之后，在检索框中一次性显示检索项及其特定结果。

可选地，用户执行的操作还包括以下操作中的至少一种：用于删除显示的检索条件的操作、用于修改显示的检索条件的操作、用于手动键入检索条件的操作、用于借助除了多级列表之外的其他操作控件来设置检索条件的操作。

可选地，检索表达式由多个检索条件组成，并且，在检索框中显示由至少一个检索条件组成的检索表达式包括：在检索框中仅显示所述多个检索条件而不在检索条件之间显示任何逻辑关系符，并且，在保存的操作数据记录中执行与检索表达式相应的检索操作包括：在保存的操作数据记录中按照检索条件之间默认的逻辑关系执行与检索表达式相应的检索操作。

可选地，检索表达式由多个检索条件组成，并且，在检索框中显示由至少一个检索条件组成的检索表达式包括：在检索框中显示所述多个检索条件以及检索条件之间的逻辑关系符，并且，在保存的操作数据记录中执行与检索表达式相应的检索操作包括：在保存的操作数据记录中按照检索条件之间显示的逻辑关系符执行与检索表达式相应的检索操作。

可选地，在检索框中显示所述多个检索条件以及检索条件之间的逻辑关系符包括：在检索框中已经显示的检索条件之后，响应于用户执行的用于设置逻辑关系符的操作来显示逻辑关系符；或者，响应于用户执行的用于继续设置检索条件的操作来显示逻辑关系符。

可选地，响应于用户执行的用于设置逻辑关系符的操作来显示逻辑关系符包括：响应于用户手动键入逻辑关系符的操作，在检索框中显示键入的逻辑关系符；或者，响应于用户执行的用于设置逻辑关系符的操作，显示用于设置逻辑关系符的操作控件，并通过用户对该操作控件的操作来在检索框中显示逻辑关系符。

可选地，响应于用户执行的用于继续设置检索条件的操作来显示逻辑关系符包括：响应于用户执行的用于继续设置检索条件的操作，自动显示用于设置逻辑关系符的操作控件，并通过用户对该操作控件的操作来在检索框中显示逻辑关系符；或者，响应于用户执行的用于继续设置检索条件的操作，在检索框中自动显示默认的逻辑关系符，并响应于用户执行的调整逻辑关系符的操作，将默认的逻辑关系符调整为期望的逻辑关系符。

可选地，候选结果可包括关键属性的候选取值、候选算术关系和/或候选分布特性。

可选地，响应于所述列表操作，在检索框中显示用于筛选出特定检索项具有特定结果的操作数据记录的检索条件包括：响应于用户执行的用于激活检索框的操作，激活检索框；响应于检索框被激活，显示第一级列表；响应于用户在第一级列表中的候选检索项之中选择了所述特定检索项，显示与所述特定检索项相应的下一级列表；在该下一级列表中不存在检索项的候选结果的情况下，响应于用户在该下一级列表中的列表项目之中选择特定列表项目，显示用于渐进地指向检索项的候选结果的其他级列表，直至响应于用户对列表项目的选择操作而显示最后一级列表以供用户在检索项的候选结果之中选择所述特定检索项的特定结果；在该下一级列表中存在检索项的候选结果的情况下，响应于用户在候选结果之中选择了所述特定检索项的特定结果，在检索框中显示用于筛选出所述特定检索项具有特定结果的操作数据记录的检索条件。

可选地，在所述多级列表中的至少一级列表中包括用于检索列表项目的子检索框，其中，所述方法还可包括：响应于用户在子检索框中输入关键字，根据输入的关键字匹配相应的列表项目，并且将最匹配的列表项目显示在列表的最上方以供用户选择。

可选地，第一级列表中的候选检索项是根据用户对各个候选检索项的历史使用频率和/或历史使用偏好而预先排列的。

可选地，所述检索框附近显示有指示特定检索项的快捷方式，其中，所述方法还包括：响应于用户选择快捷方式，显示与由选择的快捷方式指示的特定检索项对应的列表以供用户选择特定检索项的特定结果。

根据本公开另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。

根据本公开另一示例性实施例，提供了一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的方法。

根据本公开另一示例性实施例，提供了一种在机器学习平台中进行行为审计的系统，包括：审计装置，被配置为响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；显示装置，被配置为响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；检索装置，被配置为响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，其中，显示装置还被配置为将与检索到的操作数据记录相应的审计内容显示在审计页面上。

根据本公开的在机器学习平台中进行行为审计的方法和系统，能够实现在机器学习平台中进行行为审计，而且可通过审计页面提供审计内容的展示和操作数据记录的检索，从而便于用户方便、灵活地实现行为审计。

附图说明

从下面结合附图对本公开实施例的详细描述中，本公开的这些和/或其他方面和优点将变得更加清楚且更容易理解，其中：

图1是示出根据本公开示例性实施例的在机器学习平台中进行行为审计的系统；

图2示出根据本公开示例性实施例的审计页面的示例；

图3示出根据公开示例性实施例的审计页面的另一示例；

图4示出根据公开示例性实施例的审计页面的另一示例；

图5至图7是示出根据本公开示例性实施例的审计页面上显示的用于检索的示例性界面；

图8是示出根据本公开示例性实施例的在机器学习平台中进行行为审计的方法的流程图。

具体实施方式

为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开的示例性实施例作进一步详细说明。

图1是示出根据本公开示例性实施例的在机器学习平台中进行行为审计的系统(以下，为描述方便，将其称为“审计系统”)100的框图。如图1所示，审计系统100可包括审计装置110、显示装置120和检索装置130。

具体地，审计装置110可响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录。这里，例如，机器学习平台中的功能可包括数据管理与清洗功能、模型调研及应用调研功能、模型管理功能、监控运维管理功能、系统设置功能等，但不限于此。相应地，用户行为可以是指示执行与数据管理与清洗功能相关的操作的用户行为，例如，创建数据表、追加更新数据表、覆盖更新数据表、下载数据表、创建图片集、追加更新图片集、覆盖更新图片集、创建中间数据、创建样本表、追加更新样本表、覆盖更新样本表、创建报告、追加更新报告、覆盖更新报告、创建模型组、追加更新模型组、覆盖更新模型组、批量删除文件数据、批量删除样本表、批量删除模型、批量删除训练报告、批量删除数据表、删除文件数据、删除图数据、删除图片、删除图片组、删除图片集、删除样本表、删除模型、删除模型组、删除训练报告、删除数据表、删除数据组、批量删除数据表、创建数据组、追加更新数据组、覆盖更新数据组、追加更新中间数据、覆盖更新中间数据、删除中间数据、创建文件数据、追加更新文件数据、覆盖更新文件数据、下载文件数据、删除文件数据、批量删除文件数据、创建图数据、追加更新图数据、覆盖更新图数据、下载图数据、下载图片集、删除图片集、下载样本表、批量删除样本表、创建模型、追加更新模型、覆盖更新模型、下载模型、批量删除模型、下载报告、批量删除报告、创建图片组、追加更新图片组、添加图片组、添加图片、下载图片组、创建流式任务、覆盖更新流式任务、追加更新流式任务、删除流式任务、引入数据、导出数据、删除定时任务、删除普通任务、停止流式任务、停止定时任务、停止普通任务、启动流式任务、启动定时任务等行为，但不限于此。作为示例，用户行为还可以是指示执行与模型调研及应用调研功能相关的操作的用户行为，例如，创建模型工作流文件、提交模型工作流运行、保存模型工作流文件、查看模型工作流文件、运行时编辑模型工作流文件、暂停模型工作流运行、元素导入列表、上传文件、创建notebook文件、查看notebook详情、更新notebook配置、启动notebook服务、删除notebook文件、创建工程、下载应用、打包应用、删除对象、重命名对象、查看对象内容、更新对象内容、下载对象、拷贝对象、新建模块、更新模块配置、上传镜像、部署应用、更新应用描述、更新应用版本描述、更新应用版本名称或描述、更新应用名称或描述、更新应用部署配置、删除应用、删除应用版本、删除应用部署、创建应用实验、更新应用实验、删除应用实验、拷贝文件、另存为模型工作流文件等行为，但不限于此。作为示例，用户行为还可以是指示执行与模型管理功能相关的操作的用户行为，例如，下载模型、添加模型、新建模型任务、删除模型、删除模型组、删除训练报告、停止模型任务、编辑模型等行为，但不限于此。作为示例，用户行为还可以是指示执行与监控运维管理功能相关的操作的用户行为，例如，创建发送策略、获取发送策略、删除发送策略、删除实例、终止任务等行为，但不限于此。此外，用户行为还可以是指示执行与系统设置功能相关的操作的用户行为，例如，登入、登出、添加用户、删除用户、编辑用户权限、编辑用户信息、新增用户角色、删除用户角色、编辑用户角色、删除K8S集群label、添加K8S集群标记(label)、增加K8S污点、删除K8S污点、重启POD、创建k8s配置、更新k8s配置、删除k8s配置、创建hadoop配置、更新hadoop配置、删除hadoop配置、修改工作区、废弃工作区、创建工作区、添加工作区成员、删除工作区成员等行为，但不限于此。

通常，通过系统日志方式提供用户行为日志记录以便审计，但系统日志在系统运行不稳定时容易有日志遗失记录不完整，同时恶意用户可轻松删除系统日志以避免针对系统的用户行为审计。也就是说，采用系统日志方式记录用户操作记录并进行审计的单一审计方式不仅不稳定，而且无法满足企业的不同数据/业务安全要求。针对此，本发明在机器学习平台中提供行为审计功能的基础上，进一步提出了分级审计的构思。

具体地，根据本公开示例性实施例，审计装置110可根据用户行为对应的行为危害等级采取不同的方式执行所述操作并保存相应的操作数据记录。例如，为满足企业的不同数据/业务安全要求，审计系统100可提供用户行为危害等级自定义功能，例如，审计系统100可默认提供三个用户行为危害等级，但不限于此，并且审计系统100可默认给出不同用户行为分别属于哪个行为危害等级。可选地，用户(例如，有权限的管理员)也可根据企业业务诉求灵活地设置不同的行为危害等级以及不同用户行为对应的行为危害等级。作为示例，对于严重影响系统运行/业务进行的用户行为(以下，为描述方便，将这类用户行为称为Critical类用户行为)，可将其行为危害等级设置为高行为危害等级或第一行为危害等级；对于对系统运行/业务进行有较严重的影响的用户行为(以下，为描述方便，将这类用户行为称为Major类用户行为)，可将其行为危害等级设置为中等行为危害等级或第二行为危害等级；对于对系统运行/业务进行影响较小的用户行为(以下，为描述方便，将这类用户行为称为Minor类用户行为)，可将其行为危害等级设置为低行为危害等级或第三行为危害等级。Critical类用户行为例如可以是删除Hadoop配置的行为(删除Hadoop配置可能会导致系统主要功能不可用)、删除应用的行为(删除应用可能会导致企业重要业务无法继续进行)等，但不限于此。Major类用户行为例如可以是删除用户的行为(删除用户会导致被删除的用户无法登陆系统)、下载数据(下载数据可能导致数据的泄露)的行为等，但不限于此。一般而言，major类用户行为可以是影响系统运行/业务进行但是对系统运行/业务进行是非致命性的用户行为。Minor类用户行为例如可以是查看系统帮助文档、查看系统配置、查看应用等行为，但不限于此。

根据示例性实施例，审计装置110可根据用户行为对应的行为危害等级将操作数据记录保存在专门设置的审计记录数据库或者以系统日志的形式来保存操作数据记录。例如，对于以上提及的Critical类用户行为和major类用户行为，审计装置110可将与Critical类用户行为和major类用户行为对应的操作数据记录保存在专门设置的审计记录数据库中，而对于以上提及的Minor类用户行为，审计装置110可以以系统日志的形式保存与此类用户行为对应的操作数据记录。将操作数据记录保存在专门设置的审计记录数据库中相比以系统日志的形式保存操作数据记录，更能保证操作数据记录的稳定性和安全性，不易受系统运行的影响且不易被随意删除。这里，专门设置的审计记录数据库例如可以是mySQL数据库，但不限于此，而是可以是能够稳定存储数据的任何数据库。

此外，对于行为危害等级大于预定等级的用户行为，审计装置110仅在审计服务正常的情况下才执行所述操作并保存相应的操作数据记录。例如，对于以上提及的行为危害等级高的Critical类用户行为，审计装置110仅在审计服务正常的情况下才执行该类用户行为对应的操作并保存相应的操作数据记录。

另外，对于行为危害等级大于预定等级的用户行为，在审计装置保存操作数据记录时，操作数据记录以与行为危害等级对应的备份方式被备份。例如对于以上提及的行为危害等级较高的Critical类用户行为和Major类用户行为，在审计装置110保存操作数据记录时，操作数据记录以与Critical类用户行为和Major类用户行为各自对应的行为危害等级对应的备份方式被备份。具体地，对于Critical类用户行为，可以在专门设置的审计记录数据库中备份操作数据记录，而对于Major类用户行为可以以系统日志的形式备份操作数据记录。

以下，为描述方便，以三级行为危害等级为例，对本公开的分级审计方式进行详细描述。

在用户行为对应于第一行为危害等级的情况下，审计装置100可确定审计服务是否正常，并且仅在确定审计服务正常时执行所述操作并将相应的操作数据记录保存在审计记录数据库中。例如，对于以上提及的Critical类用户行为，审查装置110可按照这种方式进行用户行为审计。在用户行为对应于第二行为危害等级的情况下，审计装置110可确定审计服务是否正常，如果确定审计服务正常，则执行所述操作并将相应的操作数据记录保存在审计记录数据库中，而如果确定审计服务异常，则执行所述操作并以系统日志的形式保存相应的操作数据记录。例如，对于以上提及的Major类用户行为，审计装置110可按照这种方式进行用户行为审计。在用户行为对应于第三行为危害等级的情况下，执行所述操作并以系统日志的形式保存相应的操作数据记录。例如，对于以上提及的Minor类用户行为，审计装置110可按照这种方式进行用户行为审计，也就是说，该类用户行为对应的操作的执行与审计服务正常与否无关，故无需判断审计服务是否正常。这里，第一行为危害等级大于第二行为危害等级，第二行为危害等级大于第三行为危害等级。

如果所述用户行为对应于第一行为危害等级，则审计装置110可在执行所述操作并将相应的操作数据记录保存在审计记录数据库中之后，在审计记录数据库中备份该操作数据记录。例如，对于Critical类用户行为，鉴于其对应的操作数据记录的重要性，需要在审计记录数据库中进行备份。

如果用户行为对应于第二行为危害等级，则审计装置110在执行所述操作并以系统日志的形式保存相应的操作数据记录之后，响应于审计服务恢复正常，从系统日志中恢复相应的操作数据记录并将其保存在审计记录数据库中。例如，审计装置110可通过对系统日志中的与所述操作对应的信息进行处理来恢复相应的操作数据记录并将其保存在审计记录数据库中。而且，如果所述用户行为对应于第二行为危害等级，则在执行所述操作并将相应的操作数据记录保存在审计记录数据库中(在审查服务正常时将相应的操作数据记录保存在审计记录数据库中)之后，以系统日志的形式备份相应的操作数据记录。也就是说，如果用户行为对应于第二行为危害等级，则最终既需要在审计记录数据库中保存相应的操作数据记录，也需要以系统日志的形式保存相应的操作数据记录。例如，对于Major类用户行为，可通过以上方式实现操作数据记录的备份。

如以上所提及的，与第一行为危害等级的用户行为对应的操作的执行受审计服务是否正常的影响，而与第二行为危害等级的用户行为对应的操作数据记录的保存方式受审计服务是否正常的影响，因此，对于这样的用户行为，审计装置110需要确定审计服务是否正常。具体地，审计装置110可通过以下操作来确定审计服务是否正常：将与所述用户行为对应的信息发送给被配置为执行所述操作的服务；控制所述服务将包括所述对应的信息的请求发送给审计服务；如果所述服务未从审计服务接收到任何反馈，则确定审计服务异常；如果所述服务从审计服务接收到反馈信息，则根据接收到的反馈信息确定审计服务是否正常。

例如，在用户指示删除k8s配置时，审计装置110可将与删除k8s配置的用户行为对应的信息(例如，用户名、用户ID、K8S配置名称等相关信息)发送到用于执行删除k8s配置的服务，该服务接收到该信息之后，会把该信息发送给审计服务。审计服务在正常运行的情况下可反馈一个代表正常的返回码，用于执行删除k8s配置的服务接收到这个返回码后确定审计服务正常，然后再执行删除k8s的操作。操作结束之后，审计装置110可继续再将与新的用户行为对应的相关信息(如创建k8s配置，创建内容等信息)发送给审计服务。如果在用于执行删除k8s配置的服务将与删除k8s配置的用户行为对应的信息发送给审计服务之后，审计服务无反馈(如审计服务挂掉、服务内部消息路由异常等情况)或者返回的返回码代表异常(如审计服务存储异常无法写入审计数据、审计服务资源异常等情况)，则审计装置110可确定审计服务异常，用于执行删除k8s配置的服务则不执行删除K8S操作。此外，用于执行删除k8s配置的服务可给发起删除K8S操作的前端返回错误信息，以便执行操作的用户能够知道没有成功执行的原因。

如上所述，审计装置110可保存操作数据记录。具体地，例如，审计装置110可在即将开始执行所述操作时保存与所述操作的准备操作状态对应的操作数据记录，并在所述操作成功执行时保存与所述操作的操作成功状态对应的操作数据记录。也就是说，对于每个执行的操作，在开始执行操作时以及成功执行操作时可分别保存一次对应的操作数据记录。

此外，根据示例性实施例，在审计装置110保存相应的操作数据记录时，相应的操作数据记录可被设置为根据用户行为的不同而包括不同的属性字段。例如，与Critical类用户行为对应的操作数据记录可以比与Major类用户行为对应的操作数据记录包括更多的属性字段，而与Major类用户行为对应的操作数据记录可以比与Minor类用户行为对应的操作数据记录包括更多的属性字段。此外，即使是同类用户行为，也可根据用户行为的不同，而使与各用户行为对应的操作数据记录包括不同的属性字段。这里，属性字段可以是反映用户行为在某方面的表现或性质的各个事项，且每个属性字段可具有各自的取值。

另外，根据本公开另一示例性实施例，审计系统100不仅可对用户行为进行审计，而且也可对系统行为进行审计。相应地，审计装置110也可响应于指示执行系统操作的至少一部分系统行为，执行所述系统操作并保存相应的操作数据记录。例如，审计装置110可对导致模型训练异常的系统行为进行审计，但不限于此。

在审计装置110保存了相应的操作数据记录之后，显示装置120可响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面。例如，响应于用户选择指示系统审计功能的菜单项，显示装置120可在屏幕上显示审计页面。或者，响应于用于选择导航栏中指示系统审计功能的导航项，显示装置120可在屏幕上显示审计页面。然而，本领域技术人员清楚的，用于显示审计页面的用户命令不限于菜单项或导航项的选择，而是可以是预先设置的用于显示审计页面的任何用户命令。

图2示出根据本公开示例性实施例的审计页面的示例。图2示出的审计页面的示例可以是初始审计页面。如图2所示，响应于用户选择屏幕左侧的菜单栏中的系统审计菜单项，显示装置120可在菜单栏的右侧显示如图2所示的审计页面。这里，审计页面可包括与保存的操作数据记录相应的审计内容，但不限于此，例如，还可包括用于执行操作数据记录检索的用户界面(例如，图2所示的检索框)等。作为示例，与保存的操作数据记录相应的审计内容可包括以下项中的至少一项：保存的操作数据记录中的至少一些操作数据记录本身、根据保存的操作数据记录中的至少一些操作记录产生的审计条目、根据保存的操作数据记录中的至少一些操作记录产生的分析数据，但不限于此。

这里，根据保存的操作数据记录中的至少一些操作记录产生的分析数据可包括以下项中的至少一项：根据保存的操作数据记录中的至少一些操作记录产生的不同操作的统计图表、用户行为日志概述和用户行为分析图，但不限于此。

例如，根据保存的操作数据记录中的至少一些操作记录产生的不同操作的统计图表可如图2中示出的关于登录操作的统计图表、关于数据下载操作的统计图表、关于数据删除操作的统计图表、关于模型下载操作的统计图表、关于模型删除操作的统计图表和关于应用下线操作的统计图表，但不限于此。被进行统计分析而产生相应的统计图表的操作不限于图2中示出的登录操作、数据下载操作等。作为示例，这样的操作可以是保存的操作数据记录中在过去的预定时间段内被执行次数排名较前的若干种操作，或者也可以是对业务/系统运行产生影响较大的若干种操作，或者用户也自定义期望被进行统计的操作。此外，不同操作的统计图表的类型不限于图2示出的示例，而是可以任意的图表形式，并且图表中还可以有统计数据的文字说明等。用户行为日志概述用于简要地展示不同用户在何时进行了何种操作，除此之外，也可显示其他概要信息，例如，如果某一用户执行了数据导入操作，那么也可显示导入数据的数据名称。图3中示出了用户行为日志的示例，但是用户行为日志的展示形式不限于此，也不仅限于包括用户名、时间、执行的操作等信息，而是可根据需要从保存的操作数据记录中抽取期望的属性字段或者对保存的操作数据记录中的信息进行处理(例如，统计分析)来生成用户行为日志概述。作为示例，以上提及的用户行为分析图可包括针对不同类别的用户的操作行为进行分析而获得的用户行为分析图，例如，图3所示的普通用户行为分析图和管理员行为分析图，但不限于此。一方面，用户的分类不限于分类为普通用户和管理员，例如，可以根据历史行为操作将用户分类为具有不同危险级别的用户，比如，高危用户、低危用户等。另一方面，用户行为分析也不限于对不同类别的用户的分析，而是可以针对保存的操作数据记录中与特定用户对应的操作数据记录进行行为分析来获得针对所述特定用户的用户行为分析图，例如，可对历史上存在高危操作的高危用户的操作数据记录进行行为分析来获得针对高危用户的用户行为分析图。此外，作为示例，用户行为分析图可以包括以时间轴的形式展示的操作行为拓扑图，以便于直观地对用户行为进行审计。

如上所述，与保存的操作数据记录相应的审计内容还可包括根据保存的操作数据记录中的至少一些操作记录产生的审计条目。根据保存的操作数据记录中的至少一些操作记录产生的审计条目可以是通过抽取所述至少一些操作数据记录中的某些属性字段而获得的，或者可以是通过对所述至少一些操作数据记录中的某些信息进行处理而获得的。图3示出根据公开示例性实施例的审计页面的另一示例。与图2不同，响应于接收到用于显示审计页面的用户命令，显示装置120可在屏幕上显示如图3所示的审计页面。在图3所示的审计页面上包括根据保存的操作数据记录中的至少一些操作记录产生的审计条目。作为示例，显示的审计条目可以按照对应的操作时间的倒序被排列。审计条目中包括的审计项目例如可以包括用户名、操作时间、功能模块、操作行为、操作对象、操作状态和IP地址等，但不限于此，例如，还可包括用户ID、工作区ID等。不同用户行为对应的审计条目所包括的审计项目可以不同。此外，响应于用户选择特定审计条目，显示装置120可显示与该审计条目对应的更多细节，例如，如图3所示，可以以插入方式显示当前未显示的一些审计项目，但显示更多细节的方式不限于图3所示的形式。

如图3所示，在审计页面上除了显示审计条目之外，还可显示用于针对操作数据记录执行检索的用户界面。用户界面上可以显示分别用于选择各个检索项的窗口，用户可在窗口中直接输入检索项对应的取值，或者响应于用户选择窗口中的下拉指示符，显示装置120可显示下拉列表以供用户选择与该检索项对应的期望取值。在设置了检索项的取值之后，可通过点击查询按钮来执行检索，或者在期望变更设置的检索项的取值的情况下，也可通过点击重置按钮来重置检索项的对应取值。需要说明的是，用于针对操作数据记录执行检索的用户界面不限于图3所示的形式，例如，该用户界面可以如图2和图4所示包括用于执行检索的检索框。关于如何利用审计界面上显示的检索框针对保存的操作数据记录执行检索，稍后将参照图5至图7进行详细描述，这里暂不描述。

检索装置130可响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并且，显示装置120可将与检索到的操作数据记录相应的审计内容显示在审计页面上。

图4示出根据本公开示例性实施例的审计页面的另一示例。如图4所示，例如，响应于用户在检索框中输入检索条件“用户：张三”并点击用户行为审计按钮，则检索装置130可在保存的操作数据记录中检索用户为张三的所有操作数据记录，随后，显示装置120可将与检索到的操作数据记录相应的审计内容显示在审计页面上。

与检索到的操作数据记录相应的审计内容可包括与检索到的操作数据记录相应的审计条目(如图4所示)或针对与检索到的操作数据记录相应的每个用户按照时间轴形式展示的操作行为拓扑图(未示出)。这里，与检索到的操作数据记录相应的审计条目是通过抽取检索到的操作数据记录中与预先设置的期望展示的审计项目对应的属性字段而获得的；或者，与检索到的操作数据记录相应的审计条目是通过对检索到的操作数据记录中与预先设置的期望展示的审计项目对应的信息进行处理而获得的。例如，如果预先设置的期望展示的审计项目包括用户、操作时间、功能模块、操作对象、操作状态和IP地址，则在检索到的操作数据记录来源于专门设置的审计记录数据库时，可直接从检索到的操作数据记录中抽取与这些审计项目对应的属性字段来获得对应的审计条目。如果检索到的操作数据记录是以日志的形式存在，并且在日志中并未按照包含与期望展示的审计项目对应的属性字段的形式存储操作数据记录，则可以对日志中与检索到的操作数据记录中与预先设置的期望展示的审计项目对应的信息进行处理来获得对应的审计条目。可选地，也可预先规定以日志形式存储操作数据记录时的格式，例如，按照与在审计记录数据库中类似的格式(包含与期望展示的审计项目对应的属性字段)以日志形式存储操作数据记录，以便于后续可通过直接在日志中抽取对应的属性字段来获得对应的审计条目。

根据示例性实施例，与检索到的操作数据记录相应的审计条目可根据用户行为对应的行为危害等级、操作数据记录中被设置作为排序字段的属性字段的取值和用户历史偏好的条目展示习惯之中的至少一项被排序。例如，可预先设置不同行为的行为危害等级，如图4所示，假设数据组删除行为比添加模型的行为危害等级高，则与数据组删除行为对应的审计条目可被排列在与添加模型的行为对应的审计条目之前。或者，也可预先设置可作为排序字段的属性字段，例如，可将操作时间设置为排序字段，在这种情况下，可按照操作时间字段对应的取值(即，具体的操作时间)按照时间的正序或时间的倒序对审计条目进行排序。或者，用户可设置自己偏好的条目展示习惯，例如，操作状态为“操作成功”的审计条目可在操作状态为“操作失败”的审计条目之前被展示，等等。

如先前所提到的，不同用户行为对应的操作数据记录可包括不同的属性字段，相应地，在审计条目展示时，不同用户行为对应的审计条目所包括的审计项目也可以不同。根据示例性实施例，响应于接收到选择特定审计条目的用户命令，显示装置120可以以插入方式显示与所述特定审计条目有关的当前未被显示的审计项目或者以弹出窗口显示当前未被显示的审计项目。例如，显示装置120可以以区别于所述特定审计条目的显示方式插入当前未被显示的审计项目。例如，如图4所示，响应于用户选择与添加模型的操作行为对应的审计条目，显示装置120可以以插入方式按照与所述特定审计条目的颜色不同的颜色显示当前未被显示的审计项目(例如，数据ID、工作空间等)，然而，区别显示方式不限于颜色上的区别。

根据示例性实施例，显示装置120还可在显示与检索到的操作数据记录相应的审计条目的同时或者在显示当前未被显示的审计项目的同时，显示用于针对审计条目添加备注的备注按钮。例如，如图4所示，响应于用户选择与添加模型的操作行为对应的审计条目，在显示当前未被显示的审计项目的同时，显示装置120可显示用于针对审计条目添加备注的备注按钮。

响应于备注按钮被选择，审计装置110可根据用户输入添加针对审计条目的备注。例如，在备注按钮被选择时，显示装置120可显示用于添加备注的用户界面，比如，用户可根据用户输入在该用户界面上选择操作正常或异常的理由，或者直接输入操作正常或异常的理由。在用户根据用户输入完成了备注的添加之后，审计装置110可保存添加的备注，例如，可将添加的备注与其对应的审计条目一起保存。此外，在根据用户输入完成了备注的添加之后，显示装置120可在备注按钮附近的区域显示添加的备注。添加的备注可进行统一的查看和搜索，以帮助方便地实现审计。例如，响应于用于筛选显示的审计条目的用户命令，显示装置120可仅显示添加过备注的审计条目。此外，用户也可在审计页面上显示的检索框中输入检索词，以根据备注对与当前检索到的操作数据记录对应的审计条目进行二次检索和显示。例如，响应于用户在检索框中输入操作异常的理由并点击用户行为审计按钮，检索装置120可在与当前检索到的操作数据记录对应的审计条目中检索备注中添加了该操作异常的理由的审计条目并显示检索到的审计条目。

根据示例性实施例，响应于接收到用于导出审计结果的用户命令，审计装置110可执行以下操作中的至少一项：导出添加过备注的审计条目；导出关于添加过备注的审计条目的审计报告；导出与检索到的操作数据记录相应的审计条目；导出关于与检索到的操作数据记录相应的审计条目的审计报告。例如，如图4所示，响应于用户点击审计页面上的导出审计报告的按钮，审计装置110可执行以上提及的至少一项操作。

根据示例性实施例，在显示的审计条目的特定属性字段附近可设置有用于进行快捷复制的按钮。例如，如图4所示，在数据ID的取值附近可设置有“点击复制”按钮。响应于用于进行快捷复制的按钮被选择，检索装置130可复制该特定属性字段的取值。随后，响应于用户在检索框中粘贴所复制的内容，在接收到用户的检索确认输入之后，检索装置130可根据粘贴的内容对保存的操作数据记录进行检索。

根据示例性实施例，在显示的审计条目的特定属性字段附近可设置有用于进行快捷检索的按钮。显示装置120可响应于用于快捷检索的按钮被选择，在审计页面上显示的检索框中显示用于检索所述特定属性字段具有当前显示的取值的操作数据记录的检索条件，并且检索装置130可响应于用户的检索确认输入，根据该检索条件在保存的操作数据记录中执行检索并显示相应的检索结果。或者检索装置130可响应于用于快捷检索的按钮被选择，直接在保存的操作数据记录中检索所述特定属性字段具有当前显示的取值的操作数据记录并显示相应的检索结果。例如，可如图4所示在“工作空间：Ace”附近设置用于进行快捷检索的按钮，响应于该按钮被选择，显示装置120可在审计页面上显示的检索框中同步显示例如检索条件“工作空间为Ace”，随后，响应于用户的检索确认输入(例如，点击检索框后的“用户行为审计”按钮，或其他快捷键命令等)，检索装置130可根据检索条件“工作空间为Ace”在保存的操作数据记录中检索与在Ace工作空间中进行的所有用户行为对应的操作数据记录并在审计页面上显示与检索到的操作数据记录相应的审计内容。或者，响应于在“工作空间：Ace”附近设置的用于进行快捷检索的按钮被选择，检索装置130可直接在保存的操作数据记录中检索与在Ace工作空间中进行的所有用户行为对应的操作数据记录并在审计页面上显示与检索到的操作数据记录相应的审计内容，而无需在检索框中同步显示检索条件。需要说明的是，尽管在以上示例中，用于检索所述特定属性字段具有当前显示的取值的操作数据记录的检索条件被显示为“工作空间为Ace”，但检索条件的显示形式不限于以上提及的显示形式，而是还可以是例如“工作空间：Ace”等形式，本申请对检索条件的具体显示形式并无限制，只要其能够指示特定属性字段具有当前显示的取值即可。

根据另一示例性实施例，特定属性字段附近可设置查看按钮，特别是对于属性字段的取值无法在较小的显示空间中显示的属性字段，可在其附近设置查看按钮以便于用户查看其取值。例如，如图4所示，可在“导入配置”这一属性字段附近设置点击查看按钮。响应于设置在特定属性字段附近的查看按钮被选择，显示装置120可以以弹出窗口的形式显示与所述特定属性字段相关的细节或者从审计页面跳转到与所述特定属性字段有关的页面。例如，响应点击查看按钮被选择，显示装置120可以以弹出窗口的形式显示与导入的配置相关的细节，或者可从当前审计页面跳转到导入配置的页面。

可选地，也可不在特定属性字段附近设置查看按钮，而将该特定属性字段本身作为链接。例如，响应于审计条目的特定属性字段被选择，显示装置120可以以弹出窗口的形式显示与所述特定属性字段相关的细节或者从审计页面跳转到与所述特定属性字段有关的页面。

以上，已经参照图1至图4对本申请的分级审计机制以及审计页面的显示等进行了描述，接下来，将参照图5至图7描述利用审计页面上显示的用于检索的检索框对保存的操作数据记录进行检索。

图5至图7是示出根据本公开示例性实施例的审计页面上显示的用于检索的示例性界面。

如上所述，审计页面可包括用于针对操作数据记录进行检索的检索框，并且，响应于接收到检索满足特定条件的操作数据记录的用户命令，检索装置130可在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并且显示装置120可将与检索到的操作数据记录相应的审计条目显示在审计页面上。

具体地，响应于用户执行的操作，显示装置120可在检索框中显示由至少一个检索条件组成的检索表达式。

这里，作为示例，操作数据记录可包括反映操作事件或操作对象在某方面的表现或性质的各个事项，这些事项可被称之为操作数据记录的“属性”，此外，每条操作数据记录可包括多个属性，并且每个属性可具有各自的取值。例如，这些属性可涉及机器学习系统或平台中的用户、模型和数据等，但不限于此。例如，“用户”可以是操作数据记录中的一个属性，而如果“用户”等于“张三”，则“张三”便是“用户”这个属性的取值。此外，操作数据记录可以是针对软件系统中某些操作的日志文件，该日志文件可涉及操作者、操作对象、操作功能、操作时间等方面，这些方面可作为相应的检索项。

为了针对各检索项来进行检索，用户执行的操作可包括用户基于多级列表选择特定检索项及其特定结果的列表操作。具体地，所述多级列表中的第一级列表的列表项目可包括候选检索项以供用户选择特定检索项，所述多级列表中的最后一级列表的列表项目可包括检索项的候选结果以供用户选择特定结果。作为示例，所述多级列表可以是两级列表。可选地，所述多级列表也可以是三级以上列表(包括三级列表)，在这种情况下，除了第一级列表和最后一级列表之外的其他级列表用于渐进地指向检索项的候选结果。根据示例性实施例，第一级列表中的候选检索项可以是根据用户对各个候选检索项的历史使用频率和/或历史使用偏好而预先排列的，这使得用户可不必在繁杂的检索项中寻找期望的检索项，从而可方便用户的操作。作为示例，候选检索项可涉及操作数据记录的多个关键属性，所述多个关键属性可包括用户名、功能、操作行为、操作行为危害等级、操作对象类型、操作对象、操作时段中的至少一项，但不限于此。

下面，为方便理解，通过示例对检索项的候选结果进行简要地解释。如上所述，操作数据记录可包括多个属性并且每个属性可具有各自的取值，因此，为了在操作数据记录中执行检索，检索项可涉及关于操作数据记录的关键属性，候选结果可包括关键属性的候选取值、候选算术关系和/或候选分布特性。例如，当检索项涉及“用户”这一关键属性时，该检索项的候选结果可以是“用户”的候选取值，例如，张三、李四等。再比如，当检索项涉及模型的“AUC值”这一关键属性时，该检索项的候选结果可以是“AUC值”的候选取值(例如，大于0小于1的任何取值，诸如，0.5)或“AUC值”的候选算术关系(例如，大于、小于、大于等于或小于等于0和1之间的任何取值，例如，“＞0.5”可被作为该检索项的候选结果)。再比如，当检索项涉及“数据”这一关键属性时，该检索项的候选结果可以是“数据”的候选分布特性(例如，数据稀疏性等)。尽管以上以检索项涉及“用户”、“AUC值”和“数据”这些关键属性为例对检索项的候选结果进行了解释，但是本领域技术人员清楚的是，检索项所涉及的关键属性不限于以上示例，而且关键属性的候选结果也不限于以上示例。

此外，如上所述，所述多级列表不限于是两级列表，也可以是三级以上列表(包括三级列表)，在这种情况下，除了第一级列表和最后一级列表之外的其他级列表用于渐进地指向检索项的候选结果。下面，为方便理解，以三级列表为例对以上提及的“其他级列表用于渐进地指向检索项的候选结果”进行简要解释。这里，假设第一级列表中存在候选检索项“用户”、“模型”、“应用”、“数据”等，并且假设用户期望检索针对北京银行的反欺诈类模型，为了找到针对北京银行的反欺诈类模型，第二级列表中可以包括列表项目“反欺诈类模型”、“推荐类模型”等，第三级列表中可包括候选结果“北京银行”、“中国银行”等，而用户可通过首先选择第一级列表中的候选检索项“模型”，然后选择第二级列表中的“反欺诈类模型”，最后在最后一级列表(即，第三级列表)中找到候选结果(即，北京银行的反欺诈类模型)。也就是说，这里的第二级列表用于渐进地指向检索项的候选结果，换言之，其他列表用于帮助用户逐步通过列表操作寻找到其期望的检索项的候选结果。

根据示例性实施例，显示装置120可响应于上述列表操作，在检索框中显示用于筛选出特定检索项具有特定结果的操作数据记录的检索条件。具体而言，例如，首先，显示装置可响应于用户执行的用于激活检索框的操作，激活检索框。例如，显示装置可响应于用户执行的点击检索框的空白区域的操作而激活检索框，或者，显示装置110可响应于用户执行的选择特定快捷键的操作而激活检索框，但是本领域技术人员清楚的是，用户执行的用于激活检索框的操作不限于以上示例。这里，激活检索框表示使检索框处于能够被使用和操作的状态，例如，在检索框被激活的情况下，能够在检索框中输入并显示检索条件。随后，响应于检索框被激活，显示装置110可显示第一级列表。例如，如图5所示，响应于用户单击检索框的空白区域而检索框被激活，显示装置110可以下拉列表的形式显示第一级列表。在图5的示例性显示界面中，第一级列表可包括候选检索项“用户”、“模型”、“应用”和“数据”，但不限于此，例如，用户可通过将鼠标置于检索项上并滚动鼠标滑轮来查看当前未显示的其他检索项。接下来，响应于用户在第一级列表中的候选检索项之中选择了特定检索项，显示装置120可显示与所述特定检索项相应的下一级列表。例如，如图5所示，响应于用户在第一级列表中的候选检索项之中选择了检索项“用户”(例如，通过点击“用户”前面的选中指示符来选择检索项“用户”，或者，通过将鼠标悬停于检索项“用户”之上来选择检索项，本领域技术人员清楚的是，选择检索项的方式不限于以上示例)，显示装置110可在第一级列表附近显示与用户相应的下一级列表，该下一级列表中包括用户的候选结果，例如，图5中在下一级列表中包括候选结果“王五”、“李四”、“伍六七”，但是候选结果不限于此，用户可通过将鼠标至于候选结果上并滚动鼠标滑轮来查看当前未显示的其它候选结果，例如，可查看到候选结果“张三”等。尽管图5中示出各级列表以纵向排列的方式被显示，但是本公开关于各级列表的显示形式并无限制。接下来，在下一级列表中存在检索项的候选结果的情况下，响应于用户在候选结果之中选择了所述特定检索项的特定结果，显示装置120可在检索框中显示用于筛选出所述特定检索项具有特定结果的操作数据记录的检索条件。例如，如图5所示，在第二级列表中存在“用户”的候选结果的情况下，响应于用户选择了候选结果“张三”，显示装置110可在检索框中显示用于筛选出“用户”为“张三”的操作数据记录的检索条件。

需要说明的是，为示意方便，图5仅示出两级列表的情况，但是如上所述，多级列表还可以是三级以上列表。在该下一级列表中不存在检索项的候选结果的情况下，响应于用户在该下一级列表中的列表项目之中选择特定列表项目，显示装置120可显示用于渐进地指向检索项的候选结果的其他级列表，直至响应于用户对列表项目的选择操作而显示最后一级列表以供用户在检索项的候选结果之中选择所述特定检索项的特定结果。同样地，响应于用户在候选结果之中选择了所述特定检索项的特定结果，显示装置120可在检索框中显示用于筛选出所述特定检索项具有特定结果的操作数据记录的检索条件。

根据示例性实施例，随着用户针对每一级列表的选择操作，显示装置120可在检索框中相应地显示被选择的列表项目。例如，参照图5，响应于用户选择了第一级列表中的检索项“用户”，显示装置120可在检索框中相应地显示“用户”，随后，响应于用户选择了第二级列表中的候选结果“张三”，显示装置120可在检索框中显示“：张三”，或者也可显示“张三”或“＝张三”，本公开对特定结果的具体显示形式并无限制，只要其包括用户选择的该特定结果即可。可选地，显示装置120也可在用户选择特定结果之后，在检索框中一次性显示检索项及其特定结果。例如，在用户选择了第一级列表中的检索项“用户”之后，显示装置120可不立即在检索框中显示“用户”，而是在用户在第二级列表中选择了特定结果“张三”之后，显示装置120才在检索框中一次性显示例如检索条件“用户：张三”。需要说明的是，尽管图5中示出检索条件被显示为“用户：张三”，但是本领域技术人员清楚的是，检索条件不限于被显示为“用户：张三”这种形式，例如，还可以显示为“用户是张三”、“用户等于张三”、“用户＝张三”等，只要显示形式中包括选择的检索项和特定结果，并且能够体现期望检索用户是张三的操作数据记录的检索意图即可。

如上所述，可响应于用户执行的操作来显示相应的检索条件，进一步地，可根据用户的不断操作而添加、删除和/或编辑检索条件。相应地，响应于用户执行的操作，显示装置120可在检索框中显示由至少一个检索条件组成的检索表达式。这里，用户执行的操作除了包括以上提及的列表操作之外，还可包括以下操作中的至少一种：用于删除显示的检索条件的操作、用于修改显示的检索条件的操作、用于手动键入检索条件的操作、用于借助除了多级列表之外的其他操作控件来设置检索条件的操作。例如，如图5所示，在响应于用户的列表操作而显示装置120在检索框中显示了检索条件“用户：张三”之后，用户可删除显示的该检索条件中的全部或部分，例如，可删除“张三”或删除“用户：张三”，或者将“张三”修改为“李四”。此外，例如，在响应于用户选择了第一级列表中的检索项“用户”而显示装置120在检索框中显示“用户”之后，用户也可手动输入“：张三”或“＝张三”等，或者，用户也可直接手动键入检索条件“用户＝张三”或“用户：张三”等。此外，显示装置120也可响应于用于借助除了多级列表之外的其他操作控件来设置检索条件的操作，在检索框中显示用于筛选出特定检索项具有特定结果的操作数据记录的检索条件。例如，其他操作控件可以是图形控件等，但不限于此。

检索装置130可响应于用户对检索表达式的确认，在保存的操作数据记录中执行与检索表达式相应的检索操作，并输出与检索到的操作数据记录相应的审计内容。例如，用户对检索表达式的确认可以是用户点击如图5所示的检索按钮，或者用户对检索表达式的确认可以是用户点击回车按钮，或者用户点击如图2所示的检索款附近的“用户行为审计”按钮，但是，用户对检索表达式的确认方式不限于以上示例。

根据示例性实施例，检索表达式可以由多个检索条件组成。在这种情况下，显示装置120可在检索框中仅显示所述多个检索条件而不在检索条件之间显示任何逻辑关系符，并且检索装置130可在保存的操作数据记录中按照检索条件之间默认的逻辑关系执行与检索表达式相应的检索操作。例如，默认的逻辑关系可以是“与(and)”或“或(or)”。作为示例，显示装置120可在检索框中显示由检索条件“用户：张三”和“用户：李四”组成的检索表达式“用户：张三用户：李四”，而不在它们之间显示任何逻辑关系符，但是检索装置130可在保存的操作数据记录中按照默认的逻辑关系“或(or)”搜索用户是张三或李四的操作数据记录。

可选地，在检索表达式由多个检索条件组成的情况下，显示装置120也可在检索框中显示所述多个检索条件以及检索条件之间的逻辑关系符，并且检索装置130可在保存的操作数据记录中按照检索条件之间显示的逻辑关系符执行与检索表达式相应的检索操作。具体而言，在检索框中已经显示的检索条件之后，显示装置120可响应于用户执行的用于设置逻辑关系符的操作来显示逻辑关系符。作为示例，响应于用户手动键入逻辑关系符的操作，显示装置120可在检索框中显示键入的逻辑关系符。作为另一示例，响应于用户执行的用于设置逻辑关系符的操作，显示装置120可显示用于设置逻辑关系符的操作控件，并通过用户对该操作控件的操作来在检索框中显示逻辑关系符。例如，参照图6，在检索框中已经显示的检索条件“用户：张三”之后，响应于用户执行的用于设置逻辑关系符的操作(例如，用户点击该检索条件“用户：张三”之后的空白区域的操作)，显示装置120可在该检索条件之后显示用于设置逻辑关系符的操作控件，当用户点击该操作控件时，显示装置120可以以例如下拉列表的形式显示候选关系符，并且响应于用户选择了列表中的“或(or)”，显示装置120可在检索条件“用户：张三”之后显示逻辑关系符or。

除了可响应于用户执行的用于设置逻辑关系符的操作来显示逻辑关系符之外，显示装置120还可响应于用户执行的用于继续设置检索条件的操作来显示逻辑关系符。作为示例，响应于用户执行的用于继续设置检索条件的操作，显示装置120可自动显示用于设置逻辑关系符的操作控件，并通过用户对该操作控件的操作来在检索框中显示逻辑关系符。例如，参照图6，在检索框中已经显示了第一个检索条件“用户：张三”的情况下，响应于用户继续设置检索条件的操作(例如，通过列表操作开始设置检索条件“用户：李四”或者通过列表操作完成设置检索条件“用户：李四”时)，显示装置120可自动在第一个检索条件“用户：张三”之后显示用于设置逻辑关系符的操作控件，并且例如，当用户点击该操作控件时，显示装置120可以以下拉列表的形式显示候选关系符，并且响应于用户选择了列表中的“或(or)”，显示装置120可在第一个检索条件“用户：张三”之后显示逻辑关系符or。作为另一示例，响应于用户执行的用于继续设置检索条件的操作，显示装置120也可在检索框中自动显示默认的逻辑关系符，并响应于用户执行的调整逻辑关系符的操作，将默认的逻辑关系符调整为期望的逻辑关系符。例如，响应于用户执行的用于继续设置检索条件的操作，显示装置120可在检索框中自动显示默认的逻辑关系符and，并且响应于用户点击该逻辑关系符而显示可供选择的其他逻辑关系符并且响应于用户在其他逻辑关系符中选择期望的逻辑关系符or，显示装置120可将默认的逻辑关系符and调整为or。或者，例如，在检索框中自动显示默认的逻辑关系符and之后，响应于用户选择用于切换逻辑关系符的快捷键或快捷按钮，或者点击当前显示的逻辑关系符and，显示的默认逻辑关系符and可被切换为其他逻辑关系符，直至切换到用户期望的逻辑关系符。需要说明的是，无论是自动显示的默认关系符，用于继续设置检索条件的操作，还是用户执行的调整逻辑关系符的操作均不限于以上示例。

返回参照图5，在图5的示例中，优选地，第二级列表中还包括用于检索列表项目的子检索框，用户可在子检索框中输入关键字来快速搜索候选结果，例如，在用户在检索框中输入“张三”的过程中，检索装置130可根据输入的关键字在列表项目中寻找与输入的关键字精确匹配或模糊匹配的项目，并且显示装置110可根据匹配程度，将最匹配的列表项目显示在列表最上方以方便用户选择。尽管参照图5描述了第二级列表中包括子检索框的情况，但是，事实上，根据本公开示例性实施例，还可在任何其他级列表中包括子检索框。也就是说，在所述多级列表中的至少一级列表中可包括用于检索列表项目的子检索框，并且检索装置130可响应于用户在子检索框中输入关键字，根据输入的关键字匹配相应的列表项目，并且显示装置120可将最匹配的列表项目显示在列表的最上方以供用户选择。

此外，参照图7，检索框附近可显示有指示特定检索项的快捷方式。这里的特定检索项可以是用户历史上常用的检索项，或者是用户最近偏好使用的检索项。例如，在图7的示例中，检索框的下方可显示有分别指示特定检索项“用户”、“资源类型”、“操作类型”和“时间”的快捷方式。响应于用户选择快捷方式，显示装置120可显示与由选择的快捷方式指示的特定检索项对应的列表以供用户选择特定检索项的特定结果，从而可便于用户方便地执行快速检索。例如，响应于用户选择指示特定检索项“用户”的快捷方式，显示装置120可直接显示如图5所示的第二级列表以供用户选择特定结果。

如以上所描述的，可通过单个检索框和用户的列表操作来方便、灵活地提供检索功能，从而使得用户可通过简洁的交互界面进行复杂的操作数据记录检索，不仅提高了检索效率，而且提高了用户的交互体验。

以上已经参照图1至图7详细描述了根据本公开示例性实施例的审计系统，利用该审计系统不仅实现了在机器学习平台中进行行为审计，而且可根据用户行为对应的行为危害等级进行分级审计，提高了审计的灵活性，此外，可以提供简单明了的审计页面，并且在审计页面中以不同形式展示审计内容，而且可在审计页面中提供可针对操作数据记录进行检索的检索框，以便于用户进行方便、灵活地检索，从而快速实现审计并且精确追踪问题操作行为。

需要说明的是，审计系统100不仅可以是面向B端企业的软件系统中的一部分，也可以是面向C端用户的软件系统中的一部分，本公开对此并无限制。而且，审计系统100也并不仅限于包括以上描述的装置，而是还可根据需要增加一些其他装置，例如，存储装置、数据处理装置、用户交互接口(诸如，键盘、鼠标、触摸输入装置等)等，或者数据处理装置与检索装置或审计装置可被组合为一个装置。另外，审计系统的所有组件可经由总线和/或网络而彼此连接。此外，本公开中提及的用户操作均既可以是借助一定的输入工具来实现，也可以是直接通过用户的触摸输入实现，或者可通过以上两者的组合来实现。

图8是示出根据本公开示例性实施例的在机器学习平台中进行行为审计的方法的流程图。

这里，作为示例，图8所示的方法(为便于描述，在下文中将其简称为“审计方法”)可由图1所示的审计系统100来执行，也可完全通过计算机程序或指令以软件方式实现，还可通过特定配置的计算系统或计算装置来执行，例如，可通过包括至少一个计算装置和至少一个存储指令的存储装置的系统来执行，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行上述审计方法。为了描述方便，假设图8所示的审计方法由图1所示的审计系统100来执行，并假设审计系统100可具有图1所示的配置。

参照图8，在步骤S810，响应于指示执行与机器学习平台中的功能相关的操作的用户行为，审计装置110可执行所述操作并保存相应的操作数据记录。具体地，在步骤S810，审计装置110可根据所述用户行为对应的行为危害等级采取不同的方式执行所述操作并保存相应的操作数据记录。例如，在步骤S810，审计装置110可根据所述用户行为对应的行为危害等级将操作数据记录保存在专门设置的审计记录数据库或者以系统日志的形式来保存操作数据记录。对于行为危害等级大于预定等级的用户行为，审计装置110可仅在审计服务正常的情况下才执行所述操作并保存相应的操作数据记录。对于行为危害等级大于预定等级的用户行为，在审计装置110保存操作数据记录时，操作数据记录可以以与行为危害等级对应的备份方式被备份。以上已经参照图1描述了审计装置如何根据所述用户行为对应的行为危害等级将操作数据记录保存在专门设置的审计记录数据库或者以系统日志的形式来保存操作数据记录、操作数据记录如何以与行为危害等级对应的备份方式被备份等内容及其涉及的细节，因此，这里不再赘述，其详细内容可参照对图1的描述中的相应内容。另外，关于如何保存相应的操作数据记录以及与保存操作数据记录有关的内容，也已经在描述审计装置110时进行了介绍，这里也不再赘述。

在步骤S820，响应于接收到用于显示审计页面的用户命令，显示装置120可在屏幕上显示审计页面，这里，审计页面可包括与保存的操作数据记录相应的审计内容。例如，与保存的操作数据记录相应的审计内容包括以下项中的至少一项：保存的操作数据记录中的至少一些操作数据记录本身、根据保存的操作数据记录中的至少一些操作记录产生的审计条目、根据保存的操作数据记录中的至少一些操作记录产生的分析数据，但不限于此。关于以上项涉及的内容，已经参照图1描述了描述，这里不再赘述。

在步骤S830，响应于接收到检索满足特定条件的操作数据记录的用户命令，检索装置130可在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并且显示装置120可将与检索到的操作数据记录相应的审计内容显示在审计页面上。与检索到的操作数据记录相应的审计内容可包括与检索到的操作数据记录相应的审计条目或针对与检索到的操作数据记录相应的每个用户按照时间轴形式展示的操作行为拓扑图。关于与检索到的操作数据记录相应的审计条目的其他描述可参见以上参照图4的相关描述，这里不再赘述。

根据另一示例性实施例，图8所示的审计方法还可包括：响应于指示执行系统操作的至少一部分系统行为，执行所述系统操作并保存相应的操作数据记录。

根据示例性实施例，图8所示的审计方法还可包括：响应于接收到选择特定审计条目的用户命令，显示装置120以插入方式显示与所述特定审计条目有关的当前未被显示的审计项目或者以弹出窗口显示当前未被显示的审计项目。关于如何显示当前未被显示的审计项目的描述可参见以上在描述图4时提及的相应内容，这里不再赘述。可选地，图8所示的审计方法还可包括：显示装置120在显示与检索到的操作数据记录相应的审计条目的同时或者在显示当前未被显示的审计项目的同时，显示用于针对审计条目添加备注的备注按钮，并且，响应于备注按钮被选择，审计装置110根据用户的输入添加针对审计条目的备注。此外，图8所示的审计方法还可包括：响应于用于筛选显示的审计条目的用户命令，显示装置仅显示添加过备注的审计条目。或者，图8所示的审计方法还可包括：响应于接收到用于导出审计结果的用户命令，执行以下操作中的至少一项：导出添加过备注的审计条目；导出关于添加过备注的审计条目的审计报告；导出与检索到的操作数据记录相应的审计条目；导出关于与检索到的操作数据记录相应的审计条目的审计报告。

此外，在显示的审计条目的特定属性字段附近可设置有用于进行快捷复制的按钮、用于进行快捷检索的按钮或用于进行细节查看的查看按钮，相应地，图8所示的方法还可包括响应于用于进行快捷复制的按钮、用于进行快捷检索的按钮或查看按钮被选择而执行的操作。关于具体执行的操作的细节，已经在参照图4的描述中进行了介绍，这里不再赘述。

根据示例性实施例，审计页面可包括用于针对操作数据记录进行检索的检索框，具体地，在步骤S830，响应于用户执行的操作，显示装置可在检索框中显示由至少一个检索条件组成的检索表达式，并且响应于用户对检索表达式的确认，检索装置130可在保存的操作数据记录中执行与检索表达式相应的检索操作，并输出与检索到的操作数据记录相应的审计内容。关于利用检索框检索操作数据记录的具体细节，可参见参照图5至图7进行的描述，为简洁起见，这里不再赘述。

事实上，由于图8所示的审计方法可由图1所示的审计系统100来执行，因此，关于以上步骤中所涉及的相关细节，均可参见关于图1的相应描述以及图2至图7的描述，这里不再赘述。

根据以上描述的审计方法不仅能够实现在机器学习平台中进行行为审计，而且通过审计页面提供了审计内容的展示和操作数据记录的检索，从而便于用户方便、灵活地实现行为审计。此外，通过根据用户行为对应的行为危害等级进行分级审计，提高了审计的灵活性。另外，可通过单个检索框和用户的列表操作来方便、灵活地在审计过程中提供检索功能，从而使得用户可通过简洁的交互界面进行复杂的操作数据记录检索，不仅提高了检索效率，而且提高了用户在审计过程中的交互体验。

以上已参照图1至图8描述了根据本公开示例性实施例的审计方法和审计系统。然而，应理解的是：附图中示出的装置和系统可被分别配置为包括执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统、装置可对应于专用的集成电路，还可对应于软件与硬件相结合的模块。此外，这些系统或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述审计方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本公开的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计内容显示在审计页面上。

上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图8进行方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本公开示例性实施例的审计系统可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，当图1所示的系统和装置通过软件、固件、中间件或微代码实现其功能时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，根据本公开示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计内容显示在审计页面上。

具体说来，上述审计系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述审计系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述审计系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述审计系统中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器、显示装置等。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。

以上描述了本公开的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本公开的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种在机器学习平台中进行行为审计的方法，包括：

响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；

响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；

响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，并将与检索到的操作数据记录相应的审计内容显示在审计页面上。

2.如权利要求1所述的方法，其中，与保存的操作数据记录相应的审计内容包括以下项中的至少一项：保存的操作数据记录中的至少一些操作数据记录本身、根据保存的操作数据记录中的至少一些操作记录产生的审计条目、根据保存的操作数据记录中的至少一些操作记录产生的分析数据。

3.如权利要求2所述的方法，其中，根据保存的操作数据记录中的至少一些操作记录产生的分析数据包括以下项中的至少一项：根据保存的操作数据记录中的至少一些操作记录产生的不同操作的统计图表、用户行为日志概述和用户行为分析图。

4.如权利要求1所述的方法，其中，与检索到的操作数据记录相应的审计内容包括与检索到的操作数据记录相应的审计条目或针对与检索到的操作数据记录相应的每个用户按照时间轴形式展示的操作行为拓扑图。

5.如权利要求4所述的方法，其中，与检索到的操作数据记录相应的审计条目是通过抽取检索到的操作数据记录中与预先设置的期望展示的审计项目对应的属性字段而获得的；或者，与检索到的操作数据记录相应的审计条目是通过对检索到的操作数据记录中与预先设置的期望展示的审计项目对应的信息进行处理而获得的。

6.如权利要求5所述的方法，其中，与检索到的操作数据记录相应的审计条目根据用户行为对应的行为危害等级、操作数据记录中被设置作为排序字段的属性字段的取值和用户历史偏好的条目展示习惯之中的至少一项被排序。

7.如权利要求5所述的方法，还包括：响应于接收到选择特定审计条目的用户命令，以插入方式显示与所述特定审计条目有关的当前未被显示的审计项目或者以弹出窗口显示当前未被显示的审计项目。

8.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的方法。

9.一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的方法。

10.一种在机器学习平台中进行行为审计的系统，包括：

审计装置，被配置为响应于指示执行与机器学习平台中的功能相关的操作的用户行为，执行所述操作并保存相应的操作数据记录；

显示装置，被配置为响应于接收到用于显示审计页面的用户命令，在屏幕上显示审计页面，其中，审计页面包括与保存的操作数据记录相应的审计内容；

检索装置，被配置为响应于接收到检索满足特定条件的操作数据记录的用户命令，在保存的操作数据记录中检索满足所述特定条件的操作数据记录，

其中，显示装置还被配置为将与检索到的操作数据记录相应的审计内容显示在审计页面上。