CN112883739A - 评级系统的异常告警方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种评级系统的异常告警方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。通过本申请，能够及时提示评级系统存在评级异常的情况。

Description

评级系统的异常告警方法、装置、电子设备及存储介质

技术领域

本申请涉及系统的异常检测技术，尤其涉及一种评级系统的异常告警方法、装置、电子设备及存储介质。

背景技术

评级系统是一种结合与实体相关的事件，对实体进行级别划分或者打分的系统，在一些应用场景中，通过对实体进行评级，能够很好地为用户提供实体的评价参考。

在实际应用中，若评级系统由于某种原因如漏掉用于打分或评级的事件、宕机等原因导致对实体的评级异常，相关技术中，无法获知评级系统的评级异常，进而无法及时进行异常修复而使得系统的评级准确度降低。

发明内容

本申请实施例提供一种评级系统的异常告警方法、装置、电子设备及计算机可读存储介质，能够及时提示评级系统存在评级异常的情况。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种评级系统的异常告警方法，包括：

获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；

其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；

确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；

当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；

其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

本申请实施例提供一种评级系统的异常告警装置，包括：

获取模块，用于获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；

其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；

确定模块，用于确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；

告警模块，用于当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；

其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

上述方案中，所述评级系统的异常告警装置，还包括：评级提示模块，用于获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；从所述至少一次历史评级的评级时刻中，选取距当前时刻的时间间隔最短的目标评级时刻；当所述目标评级时刻不属于目标时间段内的时刻时，生成评级提示信息；其中，所述评级提示信息，用于提示对所述目标实体进行新的评级。

上述方案中，所述评级系统的异常告警装置，还包括：评级时间提示模块，用于获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；针对每次历史评级的评级时刻，分别确定各所述历史评级距上一次评级的评级时间间隔；当存在与目标时间间隔不匹配的评级时间间隔时，生成评级时间提示信息；其中，所述评级时间提示信息，用于提示所述评级系统针对所述目标实体的评级时间间隔存在异常。

上述方案中，所述评级系统的异常告警装置，还包括：监测模块，用于对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取评级系统中针对目标实体的事件集合。

上述方案中，所述监测模块，还用于对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取所述评级系统更新的内容；当所述更新的内容为针对所述目标实体的事件时，获取评级系统中针对目标实体的事件集合。

上述方案中，所述比对模块，还用于获取所述评级系统针对所述目标实体的评分树，所述评分树的叶子节点为所述评级系统针对各所述评级维度从所述事件集合中选取的事件，各所述叶子节点的父节点为相应的事件所携带的评级标签；分别查找所述事件集合中各事件在所述评分树中的父节点；当所述事件集合中存在未在所述评分树中查找到父节点的事件时，确定所述事件集合中存在所述评级系统未选取的事件。

上述方案中，当评级系统为环境、社会和公司治理ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；所述确定模块，还用于确定所述事件集合中携带有归属于所述E维度、所述S维度及所述G维度中至少之一的评级标签的事件；将确定的事件作为所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

上述方案中，当评级系统为ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；所述告警模块，还用于确定所述事件集合中未被所述评级系统所选取的目标事件；对所述目标事件进行语义分析，得到相应的分析结果；基于所述分析结果，确定所述目标事件所归属的评级维度；对所述目标事件添加评级标签，以使所述目标事件携带有所归属的评级维度的评级标签。

本申请实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的评级系统的异常告警方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的评级系统的异常告警方法。

本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例提供的评级系统的异常告警方法。

本申请实施例具有以下有益效果：

与现有技术中无法获知评级系统评级异常的情况相比，本申请实施例通过获取评级系统中针对目标实体的事件集合、以及评级系统的至少两个评级维度，从而依据评级维度确定评级系统在对目标实体进行评级时所选取的事件，当事件集合中存在评级系统未选取的事件时，表示评级系统在对目标实体进行评级时漏处理了针对目标实体的事件，将导致评级不准确，此时则生成告警提示信息，以提示评级系统针对目标实体的评级结果存在异常，进而使得系统管理员及时获知评级系统存在评级异常的情况，而及时的进行异常修复，保证评级系统的评级准确度。

附图说明

图1是本申请实施例提供的评级系统的异常告警系统的一个可选的结构示意图；

图2是本申请实施例提供的电子设备的一个可选的结构示意图；

图3是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图；

图4是本申请实施例提供的评级过程的一个可选的示意图；

图5是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图；

图6是本申请实施例提供的评级系统的评分树的一个可选的示意图；

图7是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图；

图8是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图；

图9是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图；

图10是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解, “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）环境、社会和公司治理（ESG，Environment, Social and Governance），是一种关注环境、社会和治理绩效的投资理念，是投资者在投资决策中考量的三个核心因素，这种策略也被称为责任投资。ESG系统是结合了环境、社会责任和公司治理三大因素的企业信用评级系统。包括信息披露、评估评级和投资指引三个方面，是社会责任投资的基础，是绿色金融体系的重要组成部分。从评价内容来看，环境因素包括倡导环境友好经济发展模式，注重环境保护，再生资源利用，降低自然资源的创新技术应用等；社会因素包括员工福利和客户满意度，人权和劳工标准，数据保护和隐私，企业价值观，社会责任等；公司治理包括规范的经营管理、严格的内部控制、独立外部审计和监督、遵守股东政策、平等对待股东等。ESG系统能够为投资者提供了有效的投资参考。

发明人在实施本申请实施例的过程中发现，在评级系统的开发过程中，因为算法不断地更新迭代，而导致历史回测事件也会跟着频繁调整，从而在算法更新迭代过程中容易出现事件丢失评级标签的情况，而由于事件丢失标签，在评级过程中由于事件数据不完备将导致评级系统计算异常和评级计算前后差异较大，从而使得评级不准确。

基于此，本申请实施例提供一种评级系统的异常告警方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够及时提示评级系统存在评级异常的情况。

首先对本申请实施例提供的评级系统的异常告警系统进行说明，参见图1，图1是本申请实施例提供的评级系统的异常告警系统100的一个可选的架构示意图，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。在一些实施例中，终端400可以是笔记本电脑，平板电脑，台式计算机，智能手机，专用消息设备，便携式游戏设备，智能音箱，智能手表等，但并不局限于此。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。网络300可以是广域网或者局域网，又或者是二者的组合。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。

终端400，用于响应于针对评级系统的监测指令，对评级系统的版本进行监测，当监测到所述评级系统的版本存在更新时，终端生成并发送异常检测指令至服务器200。

服务器200，用于获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度，确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件，当所述评级系统针对各所述评级维度选取的事件与所述事件集合不匹配时，生成告警提示信息并发送至终端400。

终端400，还用于接收并输出告警提示信息。

参见图2，图2是本申请实施例提供的电子设备500的一个可选的结构示意图，参见图2，图2是本申请实施例提供的电子设备500的结构的一个可选的示意图，在实际应用中，电子设备500可以实施为图1中的终端400或服务器200，以电子设备为图1所示的服务器200为例，对实施本申请实施例的评级系统的异常告警方法的电子设备进行说明。图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可以理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。

处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器 510的一个或多个存储设备。

存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。

在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块552，用于经由一个或多个（有线或无线）网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；

呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作外围设备和显示内容和信息的用户接口）；

输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的评级系统的异常告警装置可以采用软件方式实现，图2示出了存储在存储器550中的评级系统的异常告警装置555，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块5551、确定模块5552和告警模块5553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的评级系统的异常告警装置可以采用硬件方式实现，作为示例，本申请实施例提供的评级系统的异常告警装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的评级系统的异常告警方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，ProgrammableLogic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。

将结合本申请实施例提供的终端的示例性应用和实施，说明本申请实施例提供的评级系统的异常告警方法。参见图3，图3是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。

步骤101，终端获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度。其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级。

这里，目标实体可以为任意实体对象，例如可以是自然人，还可以是组织机构等等。本申请实施例中，事件集合中的事件，为目标实体关联的媒体信息，用于记载或描述目标实体所产生过的行为。例如，若目标实体为A公司，则针对A公司的事件则可以是A公司的交易事件、环境治理事件、社会治理事件等等。在实际实施时，事件集合中的事件，还可以是针对目标实体关联的媒体信息的语义标签。

在实际实施时，评级系统内收集有针对目标实体的事件集合，在对目标实体进行评级时，评级系统首先查找各评级维度所对应的事件，从事件集合中选取所有携带有归属于各评级维度的评级标签的事件，并基于选取的事件对目标实体进行评级。在实际实施时，各评级维度可以分别对应有不同的评级参数，终端在通过评级系统对目标实体进行评级时，还获取各评级维度的评级参数，基于选取的事件以及各评级维度的评级参数，对目标实体进行评级。这里，评级参数例如可以是评级维度所对应的权重。评级可以是等级评级，例如，A级、B级，还可以是评分，例如在满分100分的范围内进行评分。

在一些实施例中，评级系统可以为ESG系统，相应的，评级维度则可以是环境（E，Environment）维度、社会（S，Social）以及公司治理（G，Governance）维度。ESG系统通过上述三个评级维度对相应的企业进行ESG评级，以使投资者能够基于企业的ESG评级评估投资风险，从而对企业进行选择性的投资。在实际实施时，终端在利用ESG系统在对企业进行评级时，首先收集各企业的媒体信息，媒体信息记录有企业的相关新闻事件，例如企业的决策事件、营业事件、人力变动事件、公益事件等等。在收集到企业的媒体信息后，终端对媒体信息进行语义分析，以对媒体信息进行概率性的事件提炼，得到相应的事件，例如，对涉及法律事件的媒体信息进行语义分析后，提炼得到“法律纠纷”的事件。本申请实施例中，事件集合中的事件可以是从媒体信息中提取得到的语义标签，终端将提取得到的语义标签输入至ESG系统中，通过ESG系统基于各语义标签，对目标实体进行评级。在一些实施例中，事件集合中的事件还可以是媒体信息，终端将收集的媒体信息输入至ESG系统中，通过ESG系统对事件集合中的事件进行语义分析，提取语义标签后，将各语义标签归类至E、S、G三个维度，然后基于各维度的评分参数，综合各语义标签，对目标实体进行评级。示例性地，参照图4，图4是本申请实施例提供的评级过程的一个可选的示意图。终端从网页中爬取各企业的媒体信息，将媒体信息输入至ESG系统的标签系统中，这里，标签系统用于对媒体信息进行语义分析，从媒体信息中提取出ESG事件，例如“环境污染”、“环境治理”、“员工福利”、“产品质量”、“捐赠”、“区域影响”等语义标签，接着，终端通过ESG系统对语义标签进行评级维度的归类，例如，将“环境污染”、“环境治理”归类至E维度，并对归类至E维度的事件添加E维度的评级标签，接下来，通过ESG系统基于携带有评级标签的事件，对目标实体进行评级，得到目标实体的级别，这里，目标实体可以是爬取媒体信息的所有企业中的任一个企业。

在一些实施例中，基于图3，步骤101中的获取评级系统中针对目标实体的事件集合，还可以通过如下方式实现：终端对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取评级系统中针对目标实体的事件集合。

在实施本申请实施例的过程中，发明人发现，在对评级系统进行版本更新时，评级系统出现异常的概率较高，因此，本申请实施例中，终端对评级系统的版本进行监测，当监测到评级系统的版本更新时，触发对评级系统的异常检测，在保障评级系统的准确性的前提下，节省异常监测所占用的系统资源。

在一些实施例中，基于图3，步骤101中的获取评级系统中针对目标实体的事件集合，还可以通过如下方式实现：终端对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取所述评级系统更新的内容；当所述更新的内容为针对所述目标实体的事件时，获取评级系统中针对目标实体的事件集合。

在实施本申请实施例的过程中，发明人发现当评级系统的版本更新时，若更新了实体的事件，那么出现未归类评级维度的事件的概率较高，此时评级系统评级异常的概率高，因此，本申请实施例中，终端通过监测评级系统的版本更新，获取评级系统更新的内容，若评级系统更新了针对目标实体的事件，则触发对评级系统的异常检测。

步骤102，确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

这里，评级系统从事件集合中选取的事件为评级系统在对目标实体进行评级时依据的事件，可以理解，事件集合中未被评级系统选取的事件，在评级时未被考虑。本申请实施例中，终端可以通过监测评级系统对目标实体的评级行为，当评级系统在对目标实体进行评级时，获取评级过程的评级数据，从评级数据中获取评级系统在对目标实体进行评级时所依据的事件，将获取的事件作为评级系统从事件集合中所选取的事件。

在一些实施例中，基于图3，步骤102之后，还可以执行：终端分别将各所述选取的事件与所述事件集合中的事件进行比对；当所述事件集合中存在与所述选取的事件不匹配的事件时，确定所述评级系统针对各所述评级维度选取的事件与所述事件集合不匹配。

在实际实施时，终端将评级系统所选取的事件依次与事件集合中的事件进行一一比对，若在对选取的事件比对完成之后，事件集合中还存在未与评级系统进行比对的事件，则确定事件集合中存在评级系统未选取的事件。

在一些实施例中，参照图5，图5是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，基于图3，步骤102之后，还可以执行：

步骤201，终端获取所述评级系统针对所述目标实体的评分树。所述评分树的叶子节点为所述评级系统针对各所述评级维度从所述事件集合中选取的事件，各所述叶子节点的父节点为相应的事件所携带的评级标签。

在实际实施时，终端将评级系统针对目标实体的评分以评分树的形式存储。参见图6，图6是本申请实施例提供的评级系统的评分树的一个可选的示意图。评分树的叶子节点为评级系统对目标实体进行评级时从事件集合中所选取的事件，各叶子节点的父节点为相应的事件所归属的评级维度的评级标签，这里，评级标签例如可以分别直接用“E维度”、“S维度”及“G维度”表示，评分树的根节点为评级系统针对目标实体的评级。在一些实施例中，终端还可以将评分树转换成链表的形式进行存储。

步骤202，分别查找所述事件集合中各事件在所述评分树中的父节点。

步骤203，当所述事件集合中存在未在所述评分树中查找到父节点的事件时，确定所述事件集合中存在所述评级系统未选取的事件。

在实际实施时，终端在对评级系统进行异常检测时，针对事件集合中的各事件，查找事件集合中的事件在该评分树中的父节点。需要说明的是，评级系统在对目标实体进行评级时所选取的事件则在评分树中存在父节点，而未被评级系统选取进行评级的事件则可以理解为孤立的叶子节点。在实际实施时，终端基于事件集合，对评分树进行回溯，查找事件集合中的各事件在评分树中的父节点。

需要说明的是，针对某一事件，若在评分树中查找到该事件对应的父节点，则表示该事件为评级系统在对目标实体进行评级时所选取的事件，若在评分树中未查找到该事件对应的父节点，则表示该事件未被评级系统进行评级处理。当事件集合中存在未在评分树中查找到父节点的事件时，终端则确定所述事件集合中存在所述评级系统未选取的事件。

本申请实施例中，评级系统通过评分树的形式对目标实体的评分进行存储，能够更为方便的对目标实体的事件及评分等信息进行管理，在进行评级系统的异常检测时，直接基于该评分树来确定评级系统在对目标实体进行评级时所选取的事件，提高了事件的查找速度和准确性。

在一些实施例中，当评级系统为ESG系统时，所述确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件，基于图3，步骤102还可以通过如下方式实现：终端确定所述事件集合中携带有归属于所述E维度、所述S维度及所述G维度中至少之一的评级标签的事件；将确定的事件作为所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

在实际实施时，终端还可以获取评级系统的所有评级维度对应的评级标签，将评级标签作为索引，对事件集合进行查询，从事件集合中查找出所有携带有评级标签的事件，将携带有评级标签的事件作为评级系统从事件集合中选取的事件。

步骤103，当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息。其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

需要说明的是，当评级系统针对各评级维度选取的事件与事件集合不匹配时，表示评级系统在对目标实体进行评级时，事件集合中存在未被评级系统评级处理的事件，在实际实施时，对于目标实体，若在对它进行评级时，存在已发生过的却未被评级处理的事件时，对目标实体的该次评级的准确性则较低，若被漏评的事件对目标实体的评级影响越大，则评级系统对目标实体的评级准确性越低，因而，为避免由于评级系统因此而造成的评级准确性低带来的影响，本申请实施例中，若检测到漏评的事件，也即评级系统选取的事件与事件集合不匹配时，生成告警提示信息，以提示该评级系统针对目标实体的评级存在异常，从而提示管理员对该评级系统进行进一步检查修复。

本申请实施例中，针对目标实体的事件集合、以及评级系统的至少两个评级维度，从而依据评级维度确定评级系统在对目标实体进行评级时所选取的事件，并通过对事件集合与评级系统所选取的事件进行匹配，当二者不匹配时，表示评级系统在对目标实体进行评级时漏处理了针对目标实体的事件，将导致评级不准确，此时则生成告警提示信息，以提示评级系统针对目标实体的评级存在异常，实现了对评级系统的评级异常的有效提示，从而使得系统管理员能够及时获知评级系统存在评级异常的情况，而及时的进行异常修复，保证了评级系统的评级准确度。

在一些实施例中，当评级系统为ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度，参见图7，图7是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，基于图3，步骤103之后还可以执行：

步骤301，终端确定所述事件集合中未被所述评级系统所选取的目标事件。

需要说明的是，目标事件为事件集合中未被评级系统所选取的事件，也即是评级系统在对目标实体进行评级时未被评级处理的事件。在实际实施时，终端基于确定的评级系统在对目标实体进行评级时所选取的事件以及评级系统内针对目标实体的事件集合，确定事件集合中与选取的事件不匹配的目标事件。

步骤302，对所述目标事件进行语义分析，得到相应的分析结果。

步骤303，基于所述分析结果，确定所述目标事件所归属的评级维度。

在实际实施时，目标事件可以为对媒体信息的语义标签，例如“捐赠”、“区域影响”等，这里，终端对目标事件进行语义分析，得到目标事件在E、S、G三个维度的语义匹配度，将该语义匹配度作为相应的分析结果。接着，终端比较目标事件在E、S、G三个维度的语义匹配度，得到语义匹配度最高的匹配维度，将该匹配维度作为目标事件所归属的评级维度。

步骤301，对所述目标事件添加评级标签，以使所述目标事件携带有所归属的评级维度的评级标签。

在实际实施时，终端在确定目标事件所归属的评级维度后，对目标事件添加其所归属的评级维度的评级标签，以使该目标事件携带有所归属的评级维度的评级标签，从而使得评级系统在下次对目标实体进行评级时，能够选取到该目标事件以依据该目标事件对目标实体进行评级，从而解决了评级系统由于存在漏评事件所带来的评级准确度低的问题，实现了自动化评级异常检测和异常修复。

在一些实施例中，参见图8，图8是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，基于图3，还可以执行：

步骤401，终端获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻。

步骤402，从所述至少一次历史评级的评级时刻中，选取距当前时刻的时间间隔最短的目标评级时刻。

在实际实施时，评级系统在目标实体进行评级之后，还将评级的评级时刻和评级进行存储。终端在对评级系统进行异常检测时，查询评级系统存储的历史评级的评级时刻，从多个历史评级时刻中选取距当前时刻的时间间隔最大的目标评级时刻。在实际实施时，终端还可以基于历史评级的评级时间戳，直接获取最近一次历史评级的评级时刻。

步骤403，当所述目标评级时刻不属于目标时间段内的时刻时，生成评级提示信息。其中，所述评级提示信息，用于提示对所述目标实体进行新的评级。

这里，目标时间段为预先设置，可以是任意时间段，例如，可以是日期为对评级系统进行异常检测当天的24小时的时间段。当评级系统最近一次历史评级的评级时刻不属于目标时间段内的时刻时，生成评级提示信息。例如，若目标时间段为异常检测所在日期的24小时，则若最近一次历史评级的评级日期不为异常检测的日期时，生成评级提示信息。这里，评级提示信息用于提示在目标时间段内对目标实体进行新的评级，例如若检测到最近一次历史评级的评级日期不是异常检测当天，则提示需在当天进行对目标实体的新的评级，以保证评级系统对目标实体的评级的实时性，从而提供更准确和具有时效性的评级参考。

需要说明的是，本申请实施例的步骤401可以与步骤101通过两个线程并行执行；步骤401还可以是在执行步骤101-步骤103的过程中的任意时刻执行，此时，终端可以中断步骤101-步骤103的针对目标实体的事件的检测，以执行步骤401，在执行完步骤403之后，从中断处重新执行针对目标实体的事件的检测；此外，步骤401还可以是在步骤101之前执行或者在步骤103之后执行等。本申请实施例不对步骤401的执行顺序和各步骤的执行方式作具体限定。

在一些实施例中，参见图9，图9是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，基于图3，还可以执行：

步骤501，终端获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻。

步骤502，针对每次历史评级的评级时刻，分别确定各所述历史评级距上一次评级的评级时间间隔。

步骤503，当存在与目标时间间隔不匹配的评级时间间隔时，生成评级时间提示信息。其中，所述评级时间提示信息，用于提示所述评级系统针对所述目标实体的评级时间间隔存在异常。

在实际实施时，终端在获取到评级系统针对目标实体的历史评级的评级时刻时，进一步确定各评级时刻两两之间的评级时间间隔。若评级时间间隔均与目标时间间隔相匹配，则表示评级系统对目标实体的评级具有一定的连续性，具有较好的评级时效性，否则，表示评级系统对目标实体的评级连续性较差，时效性较低，则对应生成评级时间提示信息，以提示评级系统针对目标实体的评级时间间隔存在异常，需对评级系统的评级时间间隔进行调整。这里，目标时间间隔可以为24小时，在实际实施时，终端可以只获取历史评级的评级日期，确定各历史评级的评级时刻是否在日期上连续，在一些实施例中，目标事件间隔还可以设置为其他时间间隔，本申请实施例不对此作具体限定。

本申请实施例中，通过对评级系统对目标实体的历史评级的评级时间间隔进行检查，并当存在评级时间间隔与目标时间间隔不匹配时生成评级时间提示自信息，能够进一步确保评级系统的评级连续性，从而保障评级系统的评级时效性，以提供更准确和具有时效性的评级参考。

需要说明的是，本申请实施例的步骤101、步骤401及步骤501可以通过三个线程并行执行，还可以是步骤401与步骤501中的任意之一与步骤101通过两个线程并行执行，剩余分支步骤则以中断的方式通过两个线程中的任意一个执行，还可以是采用一个线程以任意的执行顺序执行等等，本申请实施例不对上述步骤的执行顺序和执行方式作具体限定。

接下来继续对本申请实施例提供的评级系统的异常告警方法进行介绍，图10是本申请实施例提供的评级系统的异常告警方法的一个可选的流程示意图，参见图10，本申请实施例提供的评级系统的异常告警方法由终端、服务器协同实施。

步骤601，终端响应于针对评级系统的监测指令，对评级系统的版本进行监测。

这里，监测指令可以是由用户基于终端的输入设备发出，还可以是终端在启动评级系统进行评级的同时由终端自动生成，以在评级系统的使用过程中自动对评级系统进行异常监测。

评级系统用于，针对评级系统的至少两个评级维度，从针对目标实体的事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级。在一些实施例中，评级系统可以是ESG系统，至少两个评级维度则包括E维度、S维度和G维度。实体则可以是各类型的企业，事件则为与企业相关的媒体信息，或者从媒体信息中提取出来的语义标签。

步骤602，当监测到所述评级系统的版本存在更新时，终端生成并发送异常检测指令至服务器。

步骤603，服务器获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度。

步骤604，服务器确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

步骤605，当所述事件集合中存在所述评级系统未选取的事件时，服务器生成告警提示信息。

这里，告警提示信息，用于提示所述评级系统针对所述目标实体的评级存在异常。

步骤606，服务器发送告警提示信息至终端。

步骤607，终端接收并输出告警提示信息。

步骤608，终端发送事件处理指令至服务器。

这里，事件处理指令可以是终端在接收到告警提示信息之后，由终端自动生成并发送至服务器，还可以是用户在通过终端的显示界面获知告警提示信息后，基于终端的输入设备发出事件处理指令，并由终端转发至服务器。

步骤609，服务器确定所述事件集合中未被所述评级系统所选取的目标事件，并对目标事件添加评级标签，以使所述目标事件携带有所归属的评级维度的评级标签。

这里，服务器通过对目标事件进行语义分析，得到目标事件与评级系统各评级维度的语义匹配度，将最高的语义匹配度所对应的评级维度作为目标事件所归属的评级维度，并对目标事件添加该评级维度对应的评级标签。

本申请实施例通过获取评级系统中针对目标实体的事件集合、以及评级系统的至少两个评级维度，依据评级维度确定评级系统在对目标实体进行评级时所选取的事件，并通过对事件集合与评级系统所选取的事件进行匹配，当二者不匹配时，表示评级系统在对目标实体进行评级时漏处理了针对目标实体的事件，将导致评级不准确，此时则生成告警提示信息，以提示评级系统针对目标实体的评级存在异常，从而实现了对评级系统的评级异常的有效提示。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

示例性地，本申请实施例的评级系统为ESG系统，需要说明的是，本地存储有多个评分树，每一个评分树与一个公司关联。评分树的结构参见图6。ESG系统在对某公司进行评级时，首先基于该公司的公司代码，查找本地存储的与该公司相关联的评分树，然后基于E、S和G三个维度，查询归属于该三个维度下的所有叶子节点，也即是与该公司关联的事件。这里，各公司的事件为ESG系统的标签系统基于公司的新闻或公告进行语义分析后所提取的语义标签，例如“环境污染”、“环境治理”、“员工福利”、“产品质量”、“捐赠”、“区域影响”等。ESG系统在选取到该公司的归属于三个维度下的事件之后，则基于选取的事件对该公司进行评级。

本申请实施例中，终端则是对上述的ESG系统进行异常检测，终端首先获取针对目标公司的事件集合，可以理解，事件集合中的事件可能存在于目标公司对于的评分树中，也可能不存在于该评分树中。如果事件集合中存在于评分树不匹配的事件，也即是在评分树中不存在父节点的孤立事件，则该ESG系统的评级存在异常。在实际实施时，终端基于事件集合中的事件，依次查找评分树，确定事件集合中的事件是否在评分树中存在父节点，当事件集合中存在至少一个事件在评分树中不存在父节点时，则表示检测到该ESG系统存在异常，此时则生成告警提示信息，以提示用户该ESG系统存在异常，以便用户停止使用该ESG系统或者对ESG系统进行进一步的算法改进，以解决漏评事件的问题。

在一些实施例中，终端还筛选出需要检查评级所涉及的所有上市公司代码，然后基于每个上市公司代码，查找各公司的最新一次评级的日期，如果该日期不是当天，则输出评级提示信息，以提示需在当天进行新的评级。在一些实施例中，终端还获取日历信息，基于日历信息回溯ESG系统的所有评级数据，以检查ESG系统对各上市公司的评级是否在日期上具有连续性，若评级不连续，则输出告警信息，该告警信息包括对上市公司缺少评级的评级日期，以提示ESG系统对上市公司漏评的日期。终端依次对各上市公司进行上述检测，直至对ESG系统所涉及的所有公司均检查完毕，完成对ESG系统的评级检测。

下面继续说明本申请实施例提供的评级系统的异常告警装置555的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器540的评级系统的异常告警装置555中的软件模块可以包括：

获取模块5551，用于获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；

其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；

确定模块5552，用于确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；

告警模块5553，用于当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；

其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

在一些实施例中，所述评级系统的异常告警装置，还包括：评级提示模块，用于获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；从所述至少一次历史评级的评级时刻中，选取距当前时刻的时间间隔最短的目标评级时刻；当所述目标评级时刻不属于目标时间段内的时刻时，生成评级提示信息；其中，所述评级提示信息，用于提示对所述目标实体进行新的评级。

在一些实施例中，所述评级系统的异常告警装置，还包括：评级时间提示模块，用于获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；针对每次历史评级的评级时刻，分别确定各所述历史评级距上一次评级的评级时间间隔；当存在与目标时间间隔不匹配的评级时间间隔时，生成评级时间提示信息；其中，所述评级时间提示信息，用于提示所述评级系统针对所述目标实体的评级时间间隔存在异常。

在一些实施例中，所述评级系统的异常告警装置，还包括：监测模块，用于对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取评级系统中针对目标实体的事件集合。

在一些实施例中，所述监测模块，还用于对所述评级系统的版本进行监测；当监测到所述评级系统的版本存在更新时，获取所述评级系统更新的内容；当所述更新的内容为针对所述目标实体的事件时，获取评级系统中针对目标实体的事件集合。

在一些实施例中，所述比对模块，还用于获取所述评级系统针对所述目标实体的评分树，所述评分树的叶子节点为所述评级系统针对各所述评级维度从所述事件集合中选取的事件，各所述叶子节点的父节点为相应的事件所携带的评级标签；分别查找所述事件集合中各事件在所述评分树中的父节点；当所述事件集合中存在未在所述评分树中查找到父节点的事件时，确定所述事件集合中存在所述评级系统未选取的事件。

在一些实施例中，当评级系统为环境、社会和公司治理ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；所述确定模块，还用于确定所述事件集合中携带有归属于所述E维度、所述S维度及所述G维度中至少之一的评级标签的事件；将确定的事件作为所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

在一些实施例中，当评级系统为ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；所述告警模块，还用于确定所述事件集合中未被所述评级系统所选取的目标事件；对所述目标事件进行语义分析，得到相应的分析结果；基于所述分析结果，确定所述目标事件所归属的评级维度；对所述目标事件添加评级标签，以使所述目标事件携带有所归属的评级维度的评级标签。

需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3示出的评级系统的异常告警方法。

本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请实施例提供的评级系统的异常告警方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本申请实施例能够及时提示评级系统存在评级异常的情况。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种评级系统的异常告警方法，其特征在于，包括：

获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；

其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；

确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；

当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；

其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；

从所述至少一次历史评级的评级时刻中，选取距当前时刻的时间间隔最短的目标评级时刻；

当所述目标评级时刻不属于目标时间段内的时刻时，生成评级提示信息；

其中，所述评级提示信息，用于提示对所述目标实体进行新的评级。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述评级系统针对所述目标实体的至少一次历史评级的评级时刻；

针对每次历史评级的评级时刻，分别确定各所述历史评级距上一次评级的评级时间间隔；

当存在与目标时间间隔不匹配的评级时间间隔时，生成评级时间提示信息；

其中，所述评级时间提示信息，用于提示所述评级系统针对所述目标实体的评级时间间隔存在异常。

4.根据权利要求1所述的方法，其特征在于，所述获取评级系统中针对目标实体的事件集合，包括：

对所述评级系统的版本进行监测；

当监测到所述评级系统的版本存在更新时，获取评级系统中针对目标实体的事件集合。

5.根据权利要求1所述的方法，其特征在于，所述获取评级系统中针对目标实体的事件集合，包括：

对所述评级系统的版本进行监测；

当监测到所述评级系统的版本存在更新时，获取所述评级系统更新的内容；

当所述更新的内容为针对所述目标实体的事件时，获取评级系统中针对目标实体的事件集合。

6.根据权利要求1所述的方法，其特征在于，所述确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件之后，所述方法还包括：

获取所述评级系统针对所述目标实体的评分树，所述评分树的叶子节点为所述评级系统针对各所述评级维度从所述事件集合中选取的事件，各所述叶子节点的父节点为相应的事件所携带的评级标签；

分别查找所述事件集合中各事件在所述评分树中的父节点；

当所述事件集合中存在未在所述评分树中查找到父节点的事件时，确定所述事件集合中存在所述评级系统未选取的事件。

7.根据权利要求1所述的方法，其特征在于，当评级系统为环境、社会和公司治理ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；

所述确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件，包括：

确定所述事件集合中携带有归属于所述E维度、所述S维度及所述G维度中至少之一的评级标签的事件；

将确定的事件作为所述评级系统针对各所述评级维度从所述事件集合中选取的事件。

8.根据权利要求1所述的方法，其特征在于，当评级系统为ESG系统时，相应的，所述至少两个评级维度包括E维度、S维度及G维度；

所述生成告警提示信息之后，所述方法还包括：

确定所述事件集合中未被所述评级系统所选取的目标事件；

对所述目标事件进行语义分析，得到相应的分析结果；

基于所述分析结果，确定所述目标事件所归属的评级维度；

对所述目标事件添加评级标签，以使所述目标事件携带有所归属的评级维度的评级标签。

9.一种评级系统的异常告警装置，其特征在于，包括：

获取模块，用于获取评级系统中针对目标实体的事件集合、以及所述评级系统的至少两个评级维度；

其中，所述评级系统用于，针对各所述评级维度，从所述事件集合中选取携带有归属于所述评级维度的评级标签的事件，并基于选取的事件对所述目标实体进行评级；

确定模块，用于确定所述评级系统针对各所述评级维度从所述事件集合中选取的事件；

告警模块，用于当所述事件集合中存在所述评级系统未选取的事件时，生成告警提示信息；

其中，所述告警提示信息，用于提示所述评级系统针对所述目标实体进行评级所得到的评级结果存在异常。

10.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任一项所述的评级系统的异常告警方法。

11.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至8任一项所述的评级系统的异常告警方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的评级系统的异常告警方法。

Images