具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
参照图1所示,根据本申请实施例提出的目标对象行为数据的处理方法,方法包括:
步骤S100、获取目标对象行为数据。
需说明的是,目标对象行为数据是由目标对象产生的过程数据,如以目标对象为项目为例,项目对应的多个项目节点的进度数据、项目节点操作数据、项目节点质量数据等均为目标对象行为数据,如以生产过程为目标对象为例,生产过程中进度数据、设备操作数据、订单管理数据等均为目标行为数据。
步骤S200、对目标对象行为数据进行分布式行为分析,得到至少一种行为分类数据。
需说明的是,分布式行为分析表示通过分布式计算对目标对象行为数据进行不同数据指标的分析,以提升目标对象行为数据的处理效率。每一种行为分类数据对应一种数据指标。数据指标用于衡量该行为分类数据表示的行为意义。
需说明的是,行为分类数据是与目标对象的业务层面强相关的数据,运维数据为满足对目标对象的安全监控的监控数据。对于企业人员项目管理而言,行为分类数据包括财务、人事、OA等业务强相关的对象信息数据,行为分类数据是为了便于数据治理主题的治理,每一数据治理主题对应一种数据指标;对行为分类数据的访问对象包括业务使用者或业务管理者。运维数据是用于运维或监控相关的,对应数据治理主题对应的信息安全,其访问对象包括应用运维部门和信息安全部门。
步骤S300、根据预设的监控标准对至少一种行为分类数据进行异常分析,得到运维数据。
监控标准中定义了哪些数据需要被监控,也定义了被监控的数据哪些会被判定为异常数据。运维数据中记录的是判定为异常的被监控的数据。
步骤S400、根据行为分类数据,进行数据治理。
需说明的是,数据治理可以具体根据实际的业务需求进行设置,对此,本申请实施例不做具体限制。
需说明的是,数据治理主要是分析目标对象的行为,如数据主题分析和数据标签分析,其中数据主题分析是用于按照预设的主题类型给行为分类数据进行二次分析,如以项目节点操作这一行为为例,数据主题分析包括对项目节点的浏览率、数据上传、数据下载等事件分析,也包括对项目节点上传频次、活跃度的留存分析以及产生上述行为的归因分析。数据标签分析是基于数据主体分析的结果为项目节点操作这一行为设置标签。
步骤S500、根据运维数据,对目标对象进行行为预警。
需说明的是,运维数据中记录了异常的行为数据,行为预警基于设定的告警的规则判断是否对目标对象异常的行为数据进行告警。
行为预警的主要访问对象为安全管控对象。
步骤S600、根据数据治理结果和运维数据,对目标对象进行对象风险预测。
风险预测是基于目标对象的异常的行为数据以及数据治理的结果,预测异常行为所带来的风险以及目标对象产生相应异常行为的风险概率。
对象风险预测主要的访问对象为管理对象。
因此,根据本申请的上述实施例,至少具有如下有益效果,通过对目标对象行为数据进行分析,得到用于数据治理相关的行为分类数据,并根据预设的监控标准从行为分类数据确定运维数据,以分别基于运维数据进行行为预警以满足安全管控需求,并基于数据治理结果和运维数据进行对象风险预测以实现管理需求。此时,管理需求对应的数据和安全管控需求对应的数据是物理隔离的,可以基于统一的平台兼顾安全管控需求和管理需求。同时,不同需求的用户对象通过同一的平台进行访问时,访问的数据是独立的,因此安全性更高。因此,本申请实施例的能提供统一的平台兼顾安全管控需求和管理需求同时能提升数据访问的安全性。
可理解的是,步骤S100、获取目标对象行为数据,包括如下至少一项:
获取目标对象业务埋点对应的主题数据;
获取目标对象识别埋点对应的目标对象认证数据;
获取数据跟踪埋点对应的数据接口访问数据;
获取交互接口埋点对应的转发接口访问数据。
需说明的是,目标对象业务埋点:是以数据治理的数据标准为准则,以数据主题为业务分支,按业务分支对对应应的应用中每一个功能点埋点。示例性的,用于项目信息管理的管理应用为例,该管理应用录入项目调试信息;项目调试信息标准包括数据项:项目号、项目节点、调试内容、异常报警,该项目调试信息从界面输入,此时功能点埋点设置于界面上的文本框信息,以及业务校验信息。此时,主题数据包括每一个数据项的如下信息标识符、数据类型、表示格式、以及值域。
需说明的是,目标对象识别埋点:是获取登录管理应用时的环境信息,以检验是否是正确访问管理应用。目标对象识别埋点的范围为:登录ID、标题、服务id(如oss、merchant、office等)、访问ip地址、访问代理、api请求地址。登录ID表示管理应用分配的唯一标识符,服务id表示访问的服务的标识符。此时,目标对象认证数据中包含上述至少一项的环境数据。
需说明的是,数据跟踪埋点:用在业务数据操作的接口上埋点。通过在业务数据操作的接口上埋点,工作量少,卡点准确。示例性的,如增加一个项目调试记录,则在该项目调试记录保存在数据库中时调用的接口处设置数据跟踪埋点。此时,数据接口访问数据包括数据接口信息、访问时间等数据。
需说明的是,交互接口埋点,是用在管理应用向后端服务器发送请求的操作上转发埋点。如在Web反向代理埋点、API请求地址。转发接口访问数据包括Web反向代理信息和API请求地址等转发节点信息。
需说明的是,在一些实施例中,目标对象行为数据仅包括主题数据、目标对象认证数据、数据接口访问数据或转发接口访问数据中任一一个,或者是任意两个,或者全部,对此,本申请实施例不做限制,优选的,本申请实施例会采集主题数据、目标对象认证数据、数据接口访问数据和转发接口访问数据作为目标对象行为数据。
可理解的是,步骤S100、获取目标对象行为数据,包括:通过预设的第一日志接收微服务解析日志资源请求,并将解析得到的第一目标对象行为数据存入预设的数据队列;通过预设的第二日志接收微服务解析日志流,并将解析得到的第二目标对象行为数据存入预设的数据队列;根据数据队列,确定目标对象行为数据。
需说明的是,通过设置第一日志接收微服务和第二日志接收微服务可以提供多种日志解析的方式。需说明的是,日志资源请求是提供了取日志的地址,通过解析日志资源请求获取日志的地址即可从该地址读取到日志。日志流则是以直接发送日志的方式提供给第二日志接收微服务。示例性的,第一日志接收微服务用于解析rest请求,第二日志接收微服务解析kafka接口发送的日志流。
需说明的是,采用微服务的方式部署第一日志接收微服务和第二日志接收微服务,部署更为简单。
需说明的是,由于提供了多种解析方式,因此,当被监控的应用仅支持直接日志流发送时,也能被解析,当被监控的应用仅支持日志资源请求的方式也能被解析。
需说明的是,本申请中日志相关的数据,均表示其为文本数据,并不特指某一个格式的日志文件。
可理解的是,步骤S200、对目标对象行为数据进行分布式行为分析,得到至少一种行为分类数据,包括:通过预设的整合服务对目标对象行为数据进行整合,得到基于目标对象的行为汇总数据;通过预设的明细归类分析服务对行为汇总数据进行数据主题分析,得到主题归类数据;通过预设的明细归类分析服务对行为汇总数据进行数据标签分析,得到标签归类数据;将主题归类数据和标签归类数据均作为行为分类数据。
需说明的是,在一些实施例中,目标对象行为数据为脱敏处理后的数据。在另一些实施例中,目标对象行为数据为未脱敏的数据,则在目标对象行为数据进行整合之前还存在对目标对象行为数据进行脱敏操作。
需说明的是,在一些实施例中,参照图2所示,数据队列中的目标对象行为数据可以通过预设的数据源服务分批次获取,对于每一批次获取的数据均通过整合服务以及明显归类分析服务依次进行分布式计算,进而提升处理效率。
需说明的是,在一些实施例中,参照图2所示,明细归类分析服务包括明细分析服务和归类服务,明细分析服务用于汇总数据中的每一条数据进行明细分析确定其分类属性,归类服务用于根据分类属性,将多个数据进行分类管理。通过设置明细分析服务和归类服务两种服务使得明细分析和分类管理可以同步进行,因此,可以提升处理效率。
可理解的是,步骤S300、根据预设的监控标准对至少一种行为分类数据进行异常分析,得到运维数据,包括:根据预设的权限标准,判断行为分类数据中是否存在对应的异常权限数据;根据预设的数据密级访问标准,判断行为分类数据中是否存在对应的异常访问数据;根据预设的行为标准,判断行为分类数据中是否存在对应的异常行为数据;将异常权限数据、异常访问数据以及异常行为数据均作为运维数据。
需说明的是,通过对权限、数据密级以及日常行为多个维度进行监控,可以提升目标对象的风险可控性,并提前预测目标对象是否存在风险,以项目管理为例,是否存在管理信息泄露,或者异常操作导致项目无法继续进行。
需说明的是,参照图2所示,会针对每一种维度均设置对应的服务进行检测,以权限为例,设置了目标对象权限管控服务和目标对象权限监控服务,通过目标对象权限管控服务判断是否存在和权限相关的数据更新,通过目标对象权限监控服务判断是否存在被监控的权限有更新,进而做到更加有效的管理。对于数据密级访问,同样通过数据密级管控服务和数据密级监控服务获取到异常访问数据。
需说明的是,参照图2所示,通过管控服务和监控服务共同实现运维数据的获取,使得运维数据能通过分布式计算得到,计算效率更高。
可理解的是,在对目标对象进行对象风险预测之前,方法还包括:将数据治理结果更新到预设的业务语料库以及将运维数据更新到预设的监控语料库,以从业务语料库和监控语料库中提取出与目标对象的关联数据进行对象风险预测。
通过将数据治理结果更新到业务语料库,将运维数据更新到监控语料库,使得对象风险预测相关的计算可以与目标对象行为数据的分析处理独立开来,进而实现分布式的处理,提升统一平台的处理效率。
可理解的是,步骤S600、根据数据治理结果和运维数据,对目标对象进行对象风险预测,包括:从业务语料库中提取出与目标对象关联的第一关联数据;从监控语料库中提取出与目标对象关联的第二关联数据;根据第一关联数据和第二关联数据,生成目标对象的目标对象画像。
需说明的是,通过生成目标对象画像,能基于目标对象画像快速直观获取目标对象信息,对目标对象有整体评价。基于整体评价反向对目标对象进行管理。
需说明的是,业务语料库记录有和目标对象相关的业务关联的数据,在目标对象画像生成时,还可以基于业务语料库获取基本业务信息,进而可以得到更为全面的画像数据。
可理解的是,步骤S600、根据数据治理结果和运维数据,对目标对象进行对象风险预测,包括:根据预设的风险预警策略,从监控语料库中匹配得到目标对象对应的风险预警数据;根据预设的风险预警策略,从业务语料库中匹配得到目标对象对应的第一评估行为数据;根据风险预警数据和第一评估行为数据,确定目标对象存在风险预警策略中设定的风险行为的第一风险概率。
需说明的是,每一风险行为可能与多个行为相关,或者一个行为多次累积才会引起风险,因此,需要设定风险预警策略。风险预警策略用于对目标对象的行为带来的风险的预测,如根据会导致项目延期的异常行为相对于正常行为出现的频次,预测目标对象的该行为是否会导致项目延期等。
可理解的是,步骤S600、根据数据治理结果和运维数据,对目标对象进行对象风险预测,包括:从监控语料库中匹配得到目标对象对应的风险评估数据;从业务语料库中匹配得到目标对象对应的第二评估行为数据;根据预设的风险评估策略、风险评估数据和评估行为数据,确定目标对象存在风险评估策略中设定的风险指标的第二风险概率。
需说明的是,风险指标用于表示风险行为所带来的风险,一个风险指标可对应多种风险行为。
需说明的是,参照图2所示,本申请实施例的风险预测可以包括风险预警、风险评估和目标对象画像中的任意一个或者任意多个,优选的,本申请实施例的风险预测包括风险预警、风险评估、目标对象画像。
可理解的是,步骤S500、根据运维数据,对目标对象进行行为预警,包括:根据预设的行为预警策略,从监控语料库中匹配得到目标对象对应的预警行为记录;根据预警行为记录,判断是否产生所述行为预警策略中设定的风险行为对应的行为告警。
需说明的是,预警行为记录表示行为告警产生时必然产生的行为记录。对于企业而言,产生行为告警后可以通过如邮件、微信等方式进一步预警。行为告警可以是项目延期风险、调度异常等,对此,本领域技术人员根据实际需求设定行为告警,并根据行为告警关联的行为设定相应的埋点。
可理解的是,在进行数据治理和进行对象风险预测之后,方法还包括:根据对象风险预测的预测结果,对目标对象进行管理调控。
需说明的是,管理调控表示对目标对象进行管理调整(如项目工期调整、物料调度调整等)。对此,本申请实施例管理调控不做限制。本领域技术人员可以基于目标对象的风险预测影响的指标维度以及行为告警影响的指标维度对目标对象进行管理调控。
示例性的,参照图2所示,描述本申请实施例的目标对象行为数据的处理方法:
第一日志接收微服务解析rest请求,并将解析到的第一目标对象行为数据通过转发日志微服务存入数据队列,第二日志接收微服务解析来自于kafka接口的日志流并将解析得到的第二目标对象行为数据存入数据队列。通过预设的数据源服务从数据队列中分批次读取目标对象行为数据,以转发给日志脱敏服务进行脱敏处理,脱敏处理后的目标对象行为数据被整合服务进行整合并依次通过明细分析服务和归类分析服务得到行为分类数据,通过监控服务对行为分类数据分别进行权限分析、数据密级分析以及日常行为分析,得到运维数据。通过预设的数据应用服务对归类数据进行数据治理得到治理结果并保存至业务语料库。具体的,权限分析通过权限管控服务和权限监控服务处理;数据密级分析通过数据密级管控服务和数据密级监控服务处理,日常行为分析通过日常行为管控服务和日常行为监控服务处理。将权限分析、数据密级分析以及日常行为分析的运维数据保存至监控语料库。使用时,目标对象行为分析终端向搜索引擎发起查询请求,搜索引擎根据查询请求向业务语料库和监控语料库查询,当查询请求为与目标对象画像相关的请求,则会从业务语料库和监控语料库中分别查询得到和目标对象关联的第一关联数据和第二关联数据,以生成目标对象画像。当查询请求为对行为A的告警预测,则会从监控语料库中查询与行为A关联的目标对象的预警行为记录,根据预设的行为预警策略判断是否要对目标对象的行为A进行行为告警。当查询请求为对目标对象存在行为A的风险预警的预测,则从监控语料库中查询得到目标对象的风险预警数据以及从业务语料库中查询得到第一评估行为数据,以根据第一评估行为数据和风险预警数据判断目标对象存在行为A的风险概率以进行风险预警。当查询请求为查询预测目标对象自身是否存在风险,则从监控语料库中查询得到风险评估数据以及从务语料库中查询得到第二评估行为数据,以根据第二评估行为数据和风险评估数据判断是否自身存在风险,以进行风险评估。同时,根据风险预警、风险评估、目标对象画像以及行为预警对目标进行管理调控。
需说明的是,本申请的目标对象行为数据的处理方法主要用于企业项目管控也可以用于项目调度对象管控或者任意与项目管控相关的领域。
可理解的是,参照图3所示,本申请实施例还提供一种目标对象行为数据的处理装置,处理装置包括目标对象行为分析终端100和目标对象行为分析服务器200,目标对象行为分析终端100用于接收查询请求,以及显示查询请求结果,目标对象行为分析服务器200用于接收目标对象行为数据并根据上述目标对象行为数据的处理方法向目标对象行为分析终端100反馈查询结果。
示例性的,参照图3所示,以项目管理为例,多个电脑终端300在录入了项目管理相关的信息后向目标对象行为分析服务器200发送与项目管理相关的管理应用的操作信息和网络的访问信息以作为目标对象行为数据。
可理解的是,根据本申请实施例提供的电子设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的目标对象行为数据的处理方法。
该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参见图4,图4示意了另一实施例的电子设备的硬件结构,电子设备包括:
处理器401,可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请实施例所提供的技术方案;
存储器402,可以采用只读存储器(Read Only Memory,ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory,RAM)等形式实现。存储器402可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器402中,并由处理器401来调用执行本申请实施例的目标对象行为数据的处理方法;
输入/输出接口403,用于实现信息输入及输出;
通信接口404,用于实现本设备与其他设备的通信交互,可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信;和,
总线405,在设备的各个组件(例如处理器401、存储器402、输入/输出接口403和通信接口404)之间传输信息;
其中处理器401、存储器402、输入/输出接口403和通信接口404通过总线405实现彼此之间在设备内部的通信连接。
可理解的是,根据本申请实施例提供的计算机可读存储介质,存储介质存储有计算机程序,计算机程序被处理器执行时实现上述目标对象行为数据的处理方法。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术对象可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术对象可以理解,上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括多指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。