CN114595997A - 一种数据处理方法、装置及电子设备 - Google Patents
一种数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114595997A CN114595997A CN202210276266.3A CN202210276266A CN114595997A CN 114595997 A CN114595997 A CN 114595997A CN 202210276266 A CN202210276266 A CN 202210276266A CN 114595997 A CN114595997 A CN 114595997A
- Authority
- CN
- China
- Prior art keywords
- event
- target
- determining
- relationship
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000001364 causal effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Game Theory and Decision Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置及电子设备,包括:获取目标事件;确定与所述目标事件具有目标关联关系的事件要素;基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。本申请能够通过目标事件对应的事件要素进行处理,确定各个事件要素与目标事件的关系以及要素之间的关系,避免了对事件等级直接确定的主观因素的影响,提升了事件等级确定的准确性。
Description
技术领域
本申请涉及数据处理技术领域,更具体的说是涉及一种数据处理方法、装置及电子设备。
背景技术
机器学习是人工智能的核心,是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法,可以应用于多个方面。例如,在事件的舆情分析、危机预警等机器学习任务中,不仅需要通过机器学习对应的训练模型输出分析结果,通常还需要对事件的影响等级进行分析和预测,如,产品缺陷的严重性的高中低等。
在这种场景下为了能够训练得到输出事件等级信息的机器学习模型,就需要对事件样本进行等级标注。通常是通过人工进行等级信息的标注,但是对于同一事件,不同人员对其影响等级的认知标注并不相同,会导致等级标注结果不一致,从而影响训练样本的准确性,以及模型预测的精准度。
发明内容
有鉴于此,本申请提供如下技术方案:
一种数据处理方法,包括:
获取目标事件;
确定与所述目标事件具有目标关联关系的事件要素;
基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
可选地,所述确定与所述目标事件具有目标关联关系的事件要素,包括:
对构成所述目标事件的实体进行提取,得到实体信息;
在所述实体信息中确定满足所述目标关联关系的事件要素。
可选地,所述目标关联关系包括因果关系、依赖关系或者主从关系中的一种或多种。
可选地,所述基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,包括:
基于所述要素关联关系确定每一事件要素的权重参数;
基于所述目标关联关系,确定每一事件要素对所述目标事件的关系强度概率;
根据所述权重参数和所述关系强度概率,确定所述目标事件的事件等级。
可选地,所述基于所述要素关联关系确定每一事件要素的权重参数,包括:
基于所述要素关联关系,对各个所述事件要素进行聚类,得到至少一个类别;
基于每一事件要素与所述类别的关系,确定每一事件要素的权重参数。
可选地,所述方法还包括:
获取事件样本,其中,每一事件样本中标注有事件对应的事件要素、要素关联关系以及事件等级;
基于所述事件样本,确定目标网络图,所述目标网络图的没有出边的结点表征事件等级,所述目标网络中有出边的结点表征事件要素,所述目标网络的有向边为所述要素关联关系。
可选地,所述确定所述目标事件的事件等级,包括:
基于所述目标网络图和所述目标关联关系,确定与所述目标事件对应的有向子图;
将所述有向子图对应的子图概率确定为所述目标事件的等级概率;
基于所述等级概率,确定所述目标事件的事件等级。
可选地,还包括:
基于所述有向子图中每一结点对其指向的目标结点的条件概率,确定所述有向子图的子图概率;
其中,所述每一结点对其指向的目标结点的条件概率为基于标注有事件要素对事件影响程度概率的事件样本数据学习获得的,或者所述条件概率为预先设定的目标数值。
一种数据处理装置,包括:
获取单元,用于获取目标事件;
要素确定单元,用于确定与所述目标事件具有目标关联关系的事件要素;
关系确定单元,用于基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
等级确定单元,用于基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
一种电子设备,包括:
存储器,用于存储程序;
处理器,用于调用并执行所述存储器中的所述程序,通过执行所述程序实现如上述中任一项所述的数据处理方法的各个步骤。
经由上述的技术方案可知,本申请公开了一种数据处理方法、装置及电子设备,包括:获取目标事件;确定与所述目标事件具有目标关联关系的事件要素;基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。本申请能够通过目标事件对应的事件要素进行处理,确定各个事件要素与目标事件的关系以及要素之间的关系,避免了对事件等级直接确定的主观因素的影响,提升了事件等级确定的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程示意图;
图2为本申请实施例提供的一种目标网络图的示意图;
图3为本申请实施例提供的一种应用场景的示意图;
图4为本申请实施例提供的一种数据处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,为本申请实施例提供的一种数据处理方法的流程示意图,该方法可以包括以下步骤:
S101、获取目标事件。
目标事件是指应用场景中需要处理的事件,即需要确定事件等级的事件。例如,目标事件可以是在产品故障诊断应用场景中的产品等级评估事件,也可以是产品生产事件,即对产品生产事件进行分析,来确定该产品生成事件对应的评估等级。
S102、确定与所述目标事件具有目标关联关系的事件要素。
其中,事件要素可以是直接或间接影响该目标事件生成或者影响该目标事件呈现效果的要素,例如,目标事件的构成要素、评估要素、效果要素等。目标关联关系是指与确定目标事件等级对应的关联关系,目标关联关系可以包括因果关系、依赖关系或者主从关系中的一种或多种。即首先确定与目标事件对应的所有要素,然后在这些要素中提取与目标事件具有目标关联关系的事件要素。例如,与目标事件具有目标关联关系的事件要素可以包括目标事件的组成要素、目标事件产生过程的记录要素、目标事件对应的生成手段要素等。
S103、基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系。
S104、基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
事件要素的要素特征是指通过对事件要素进行解析,获得该事件要素的属性特征、意图特征等。例如,事件要素为客户影响因素时,可以对客户影响因素进行识别,得到客户画像特征,也可以得到客户意图特征等,将这些确定为客户影响因素的要素特征。各个事件要素之间的要素关联关系是指基于要素特征确定的各个事件要素之间是否具有特征的关系,如是否是递进的关系,是否是从属的关系,是否是属于同一要素类别的关系等。
在本申请实施例中并不是直接根据主观经验对目标事件的事件等级进行评估或者确定的,而是先获取与目标事件对应的事件要素,通过确定各个事件要素之间的要素关联关系,以及每一事件要素与目标事件对应的目标关联关系,来确定目标事件的事件等级,从更细粒度的维度来对目标事件进行评估,并且使得对目标事件的等级确定具有了更加客观的评估条件。其中,事件等级是指表征该事件在特征条件下的重要程度,如,在故障诊断应用条件下,事件等级可以分为故障低风险等级、中风险等级、高风险等级等。在事件等级标注的应用场景中,可以基于获得的事件等级对目标事件进行等级标注,得到等级标注结果。
通过要素关联关系可以确定每一事件要素彼此之间的关系,例如是否属于同一类别,从而确定该事件要素对事件等级确定的影响权重参数,目标关联关系可以确定事件要素与目标事件的关系,因此可以确定采用对应的目标确定模式来确定其对目标事件的事件等级的影响参数等。
在获得了事件等级之后,可以基于该事件等级对目标事件进行处理,得到事件处理结果。例如,在故障诊断场景中,可以基于目标事件的故障风险等级来确定是对该目标事件进行故障处理,如,是否将该目标事件对应的故障分析信息发送至故障处理人员等。
对应的,本申请实施例提供的数据处理方法,还可以应用在机器学习过程中,对事件样本进行事件等级的自动标注,因此,可以解决人工标注带来的主观因素的影响问题,例如,标注标准的不统一使得相同事件对应不同标注人员的标注结果不一致的问题。提升了事件等级标注的可解释性。
本申请实施例公开了一种数据处理方法,包括:获取目标事件;确定与所述目标事件具有目标关联关系的事件要素;基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。本申请能够通过目标事件对应的事件要素进行处理,确定各个事件要素与目标事件的关系以及要素之间的关系,避免了对事件等级直接确定的主观因素的影响,提升了事件等级确定的准确性。
在本申请的一种实施方式中,所述确定与所述目标事件具有目标关联关系的事件要素,包括:对构成所述目标事件的实体进行提取,得到实体信息;在所述实体信息中确定满足所述目标关联关系的事件要素。在该实施方式中是通过实体提取的方式来确定事件要素的。实体可以是目标事件内可定义的事物或概念,如目标事件中的对象、简介、处理手段等。通过实体提取的方式可以获得组成该目标事件的所有要素,由于提取到的实体信息量较大,并不是每一实体均会影响事件等级的确定,因此,从中提取满足目标关联关系的实体作为事件要素。例如,在记录该目标事件的记录实体中,可以提取记录该目标事件特定环节的实体来作为事件要素,而记录目标事件的基本信息的实体,如产生时间等这些对影响目标事件的事件等级影响程度较小可以忽略。
对应的,事件要素还可以包括产生事件的条件、原因、现象、后果等任意可定义的因素。事件要素之间的关系可以包括因果、依赖、主从关系、包含关系等。对应的,事件要素和要素之间的要素关系可以通过标注具体实例收集、整理获得。例如,可以将目标事件输入至要素识别模型中,来获得对应的事件要素以及事件要素之间的要素关联关系,而该要素识别模型是基于标注有事件要素以及事件要素之间的要素关联关系对应信息的事件训练样本,训练得到的神经网络模型。
在本申请实施例的一种实施方式中,所述基于所述目标关联关系和所述要素关联关系,确定目标事件的事件等级,包括:
基于所述要素关联关系确定每一事件要素的权重参数;基于所述目标关联关系,确定每一事件要素对所述目标事件的关系强度概率;根据所述权重参数和所述关系强度概率,确定所述目标事件的事件等级。
要素关联关系可以确定各个事件要素之间的关系,基于该关系可以确定各个事件要素是否属于同一类别,若属于同一类别基于与该类别之间的关系确定其对应的权重参数。具体的,可以基于要素关联关系,对各个事件要素进行聚类,得到至少一个类别;基于每一事件要素与类别的关系,确定每一事件要素的权重参数。还可以是根据要素关联关系确定影响目标事件等级的影响程度,基于该影响程度确定每一事件要素的权重参数。每一事件要素对目标事件的关系强度概率表征事件要素对目标事件的影响程度参数,即通过该事件要素产生与目标事件对应的某个效果的概率,该效果是与目标事件等级相匹配的呈现效果。
在本申请实施例的一种实施方式中还可以通过目标网络图实现对目标事件等级的确定。对应的,该方法还包括:
S201、获取事件样本,其中,每一事件样本中标注有事件对应的事件要素、要素关联关系以及事件等级。
S202、基于所述事件样本,确定目标网络图,所述目标网络的没有出边的结点表征事件等级,所述目标网络中有出边的结点表征所述事件要素,所述目标网络的有向边为所述要素关联关系。
在该实施例中目标网络图也可以是信念网络,该信念网络是一个有向无环图,由变量结点及连接这些结点有向边构成,是一个表示变量集合连接概率的图模型。其中,结点表征任何问题的抽象,结点间的有向边代表了结点间的关系,如依赖关系、因果关系、前提等,用条件概率表征关系结点,没有父结点的结点用先验概率表达。
对应于本申请实施例,结点可以为事件要素和事件等级,该事件等级是通过该事件要素确定出的等级,并不一定是该目标事件的整体的事件等级。具体的,没有出边的结点可以表征事件等级,有出边的结点表征事件要素,有向边为要素关联关系。事件要素包括产生事件的条件、原因、现象、后果等任意可定义的因素。可以根据实际需要定义结点间的关系,比如因果、依赖、主从等关系。结点和关系可以通过标注具体实例收集、整理获得。
基于上述的目标网络图在确定目标事件的事件等级时,该过程可以包括:基于目标网络图和目标关联关系,确定与目标事件对应的有向子图;将有向子图对应的子图概率确定目标事件的等级概率;基于等级概率,确定所述目标事件的事件等级。目标网络中可以包括多个有向子图,在目标网络中选取与该目标关联关系对应的有向子图分支。在获得了等级概率后,可以根据该等级概率落入的等级范围来确定与该等级范围对应的事件等级。
具体的,基于所述有向子图中每一结点对其指向的目标结点的条件概率,确定所述有向子图的子图概率。其中,所述每一结点对其指向的目标结点的条件概率为基于标注有事件要素对事件影响程度概率的事件样本数据学习获得的,或者所述条件概率为预先设定的目标数值。
参见图2,为本申请实施例提供的一种目标网络图的示意图,在图2中,结点包括x1,x2,x3,x4,x5,x6,x7。其中,代表事件等级的结点为没有出边结点的结点,如图2中x6和x7为影响等级结点。假设结点x4直接影响结点x6,则建立x4指向x6的有向边,连接强度用条件概率P(x6|x4)表示。
例如,X为一组事件要素结点和最终的等级结点构成的有向子图,则:
其中,xpa(i)是xi的入边结点,如x1,x3,x4,x6构成的子图的概率为p(x1,x3,x4,x6)=P(x1)P(x3)P(x4)P(x6|x4)P(x4|x1,x3)。
条件概率可以通过事件样本学习获得,也可以使用人工设定的先验概率,当网络结构复杂且结点数据较多时,通过将结点聚类为一个结点的方法,对复杂网络进行简化,然后通过上述方法进行事件等级确定。具体的,当该目标网络图中的结点数目大于数目阈值(如k)时,可以采用聚类的方式对结点进行聚类,如聚类为m个类别(m<k),并得到m个初始中心,计算事件要素对应的结点到其所属的初始中心的距离,作为该事件要素的类别权重,可以用于后续调整条件概率或先验概率的计算。
在基于上述过程确定了目标网络图(即信念网络)后,可以应用在对事件进行事件等级标注的场景中,具体的,可以在信念网络上选取当前样本中出现的事件要素,由信念网络直接推导出对应的事件等级以及等级的概率。
下面以具体的应用实例对本申请实施例中的事件等级标注的过程进行说明。以“产品问题的严重等级”标注任务为例,首先可以选取500条样本数据,通过信息抽取模型抽取出问题摘要,以及抽取得到关键实体。由领域专家给这些数据打上严重、高等、中等、轻微四个标签,同时详细填写标注依据。
将摘要、关键实体与专家的标注数据作为事件要素,并且将获得的一些与产品问题的严重等级相关的评估项目,如事件发生频率、症状表征、恢复方法等也作为事件要素。基于这些事件要素之间要素关联关系以及这些事件要素对事件的影响程度进行计算,得到对该问题的而影响强弱进行排序取中位数,该过程可以根据信念网络构建出模型并进行分析。
根据项目评估的强弱排序进行计算,计算后不同问题会落入到四个分数区间。将得分结果(即严重、高等、中等、轻微四个区间)与专家初次标注结果进行比对,确定是否匹配,并找出不匹配的原因;若属于评分项目或公式设计不够合理,则对现有设计进行调整,直至结果基本一致,当基本一致时就可以得到自动标注模型。在对新的数据,将新的数据输入到该自动标注模型中,就能够得出对应的等级标注结果。
在该实施例中通过信念网络描述等级基准,可以描述复杂的事件要素以及事件要素与事件等级的因果关系,其描述能力更强,对事件等级确定的可解释性也更强,提升了事件等级确定的准确性。
参见图3,为本申请实施例提供的一种应用场景的示意图,在该应用场景中是以确定产品故障严重程度为例,实例化后的信念网络示意图如图3所示。其中,产品故障严重程度可以分为低、中、高、紧急。其中,确定产品严重程度事件对应的事件要素主要对应于操作方面、特定事件发生条件、事件状态、客户影响、功能状态等方面,具体的,事件要素可以包括针对某项操作时产生的结果,例如,每日核心操作是否失败、使用特定选项/特备时是否发生、是否只有在特定的情况下才会发生、每次遇到大客户的情况、客户影响等;还包括企业核心职能、是否能够长期运作、功能是否会失效,若功能失效后重新的状态、总的故障率、严重违反规范等、主要功能是否会失效等。根据上述这些事件要素之间的相关关系,以及与事件本身的关系,可以确定出该产品故障事件对应的故障严重程度。
例如,若每日核心操作失败后该产品的部分功能失效,这种情况产生于使用特定选项/设备时发生,或者只有在特定的情况下才会发生,则确定该产品故障严重程度等级为低。若该产品对应的企业核心职能部分较慢,且只有在特定的情况下才会发生,则确定该产品故障严重程度等级为中。若该产品对应的每日核心功能失败时对应功能失效,通过重试后在遇到大客户的情况下还会对客户造成影响,则确定该产品故障严重程度等级为高。若该产品长期运作时功能失效,总是故障且严重违反规范,重试后主要功能无效,则确定该产品对应的产品故障等级为紧急。
参见图4,在本申请的另一实施例中还提供了一种数据处理装置,包括:
获取单元401,用于获取目标事件;
要素确定单元402,用于确定与所述目标事件具有目标关联关系的事件要素;
关系确定单元403,用于基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
等级确定单元404,用于基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
本申请实施例公开了一种数据处理装置,包括:获取目标事件;确定与所述目标事件具有目标关联关系的事件要素;基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。本申请能够通过目标事件对应的事件要素进行处理,确定各个事件要素与目标事件的关系以及要素之间的关系,避免了对事件等级直接确定的主观因素的影响,提升了事件等级确定的准确性。
可选地,所述要素确定单元包括:
提取子单元,用于对构成所述目标事件的实体进行提取,得到实体信息;
第一确定子单元,用于在所述实体信息中确定满足所述目标关联关系的事件要素。
进一步地,所述目标关联关系包括因果关系、依赖关系或者主从关系中的一种或多种。
在一种实施方式中,所述等级确定单元包括:
第二确定子单元,用于基于所述要素关联关系确定每一事件要素的权重参数;
第三确定子单元,用于基于所述目标关联关系,确定每一事件要素对所述目标事件的关系强度概率;
第四确定子单元,用于根据所述权重参数和所述关系强度概率,确定所述目标事件的事件等级。
可选地,所述第二确定子单元具体用于:
基于所述要素关联关系,对各个所述事件要素进行聚类,得到至少一个类别;
基于每一事件要素与所述类别的关系,确定每一事件要素的权重参数。
可选地,所述装置还包括:
样本获取单元,用于获取事件样本,其中,每一事件样本中标注有事件对应的事件要素、要素关联关系以及事件等级;
网络确定单元,用于基于所述事件样本,确定目标网络图,所述目标网络的没有出边的结点表征事件等级,所述目标网络中有出边的结点表征所述事件要素,所述目标网络的有向边为所述要素关联关系。
进一步地,所述等级确定单元包括:
第五确定子单元,用于基于所述目标网络图和所述目标关联关系,确定与所述目标事件对应的有向子图;
第六确定子单元,用于将所述有向子图对应的子图概率确定为所述目标事件的等级概率;
第七确定子单元,用于基于所述等级概率,确定所述目标事件的事件等级。
可选地,还包括:
第八确定子单元,用于基于所述有向子图中每一结点对其指向的目标结点的条件概率,确定所述有向子图的子图概率;
其中,所述每一结点对其指向的目标结点的条件概率为基于标注有事件要素对事件影响程度概率的事件样本数据学习获得的,或者所述条件概率为预先设定的目标数值。
需要说明的是,本实施例中各个单元以及子单元的具体实现可以参考前文中的相应内容,此处不再详述。
在本申请的另一实施例中,还提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述的数据处理方法的各个步骤。
参见图5,为本申请另一实施例提供的一种电子设备的结构示意图,本实施例中的技术方案主要用于提升事件等级确定的准确性。
具体的,本实施例中的电子设备可以包括以下结构:
存储器501,用于存储程序;
处理器502,用于调用并执行所述存储器中的所述程序,通过执行所述程序实现:
获取目标事件;
确定与所述目标事件具有目标关联关系的事件要素;
基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
可选地,所述确定与所述目标事件具有目标关联关系的事件要素,包括:
对构成所述目标事件的实体进行提取,得到实体信息;
在所述实体信息中确定满足所述目标关联关系的事件要素。
可选地,所述目标关联关系包括因果关系、依赖关系或者主从关系中的一种或多种。
可选地,所述基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,包括:
基于所述要素关联关系确定每一事件要素的权重参数;
基于所述目标关联关系,确定每一事件要素对所述目标事件的关系强度概率;
根据所述权重参数和所述关系强度概率,确定所述目标事件的事件等级。
可选地,所述基于所述要素关联关系确定每一事件要素的权重参数,包括:
基于所述要素关联关系,对各个所述事件要素进行聚类,得到至少一个类别;
基于每一事件要素与所述类别的关系,确定每一事件要素的权重参数。
可选地,所述方法还包括:
获取事件样本,其中,每一事件样本中标注有事件对应的事件要素、要素关联关系以及事件等级;
基于所述事件样本,确定目标网络图,所述目标网络图的没有出边的结点表征事件等级,所述目标网络中有出边的结点表征事件要素,所述目标网络的有向边为所述要素关联关系。
可选地,所述确定所述目标事件的事件等级,包括:
基于所述目标网络图和所述目标关联关系,确定与所述目标事件对应的有向子图;
将所述有向子图对应的子图概率确定为所述目标事件的等级概率;
基于所述等级概率,确定所述目标事件的事件等级。
可选地,还包括:
基于所述有向子图中每一结点对其指向的目标结点的条件概率,确定所述有向子图的子图概率;
其中,所述每一结点对其指向的目标结点的条件概率为基于标注有事件要素对事件影响程度概率的事件样本数据学习获得的,或者所述条件概率为预先设定的目标数值。
需要说明的是,本实施例中处理器的具体实现可以参考前文中的相应内容,此处不再详述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法,包括:
获取目标事件;
确定与所述目标事件具有目标关联关系的事件要素;
基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
2.根据权利要求1所述的方法,所述确定与所述目标事件具有目标关联关系的事件要素,包括:
对构成所述目标事件的实体进行提取,得到实体信息;
在所述实体信息中确定满足所述目标关联关系的事件要素。
3.根据权利要求1所述的方法,所述目标关联关系包括因果关系、依赖关系或者主从关系中的一种或多种。
4.根据权利要求1所述的方法,所述基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,包括:
基于所述要素关联关系确定每一事件要素的权重参数;
基于所述目标关联关系,确定每一事件要素对所述目标事件的关系强度概率;
根据所述权重参数和所述关系强度概率,确定所述目标事件的事件等级。
5.根据权利要求4所述的方法,所述基于所述要素关联关系确定每一事件要素的权重参数,包括:
基于所述要素关联关系,对各个所述事件要素进行聚类,得到至少一个类别;
基于每一事件要素与所述类别的关系,确定每一事件要素的权重参数。
6.根据权利要求4所述的方法,所述方法还包括:
获取事件样本,其中,每一事件样本中标注有事件对应的事件要素、要素关联关系以及事件等级;
基于所述事件样本,确定目标网络图,所述目标网络的没有出边的结点表征事件等级,所述目标网络中有出边的结点表征所述事件要素,所述目标网络的有向边为所述要素关联关系。
7.根据权利要求6所述的方法,所述确定所述目标事件的事件等级,包括:
基于所述目标网络图和所述目标关联关系,确定与所述目标事件对应的有向子图;
将所述有向子图对应的子图概率确定为所述目标事件的等级概率;
基于所述等级概率,确定所述目标事件的事件等级。
8.根据权利要求7所述的方法,还包括:
基于所述有向子图中每一结点对其指向的目标结点的条件概率,确定所述有向子图的子图概率;
其中,所述每一结点对其指向的目标结点的条件概率为基于标注有事件要素对事件影响程度概率的事件样本数据学习获得的,或者所述条件概率为预先设定的目标数值。
9.一种数据处理装置,包括:
获取单元,用于获取目标事件;
要素确定单元,用于确定与所述目标事件具有目标关联关系的事件要素;
关系确定单元,用于基于每一所述事件要素的要素特征,确定各个所述事件要素之间的要素关联关系;
等级确定单元,用于基于所述目标关联关系和所述要素关联关系,确定所述目标事件的事件等级,以使得基于所述事件等级对所述目标事件进行处理,得到事件处理结果。
10.一种电子设备,包括:
存储器,用于存储程序;
处理器,用于调用并执行所述存储器中的所述程序,通过执行所述程序实现如权利要求1-8中任一项所述的数据处理方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210276266.3A CN114595997A (zh) | 2022-03-21 | 2022-03-21 | 一种数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210276266.3A CN114595997A (zh) | 2022-03-21 | 2022-03-21 | 一种数据处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114595997A true CN114595997A (zh) | 2022-06-07 |
Family
ID=81811094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210276266.3A Pending CN114595997A (zh) | 2022-03-21 | 2022-03-21 | 一种数据处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114595997A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600413A (zh) * | 2015-10-19 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 欺诈识别方法和系统 |
CN107644532A (zh) * | 2017-09-20 | 2018-01-30 | 中山大学 | 一种基于贝叶斯网络的交通违法行为严重等级预测方法 |
CN109710585A (zh) * | 2018-08-20 | 2019-05-03 | 平安普惠企业管理有限公司 | 多系统关联预警方法、装置、设备及计算机可读存储介质 |
CN110363449A (zh) * | 2019-07-25 | 2019-10-22 | 中国工商银行股份有限公司 | 一种风险识别方法、装置及系统 |
CN110472162A (zh) * | 2019-08-20 | 2019-11-19 | 深圳前海微众银行股份有限公司 | 评估方法、系统、终端及可读存储介质 |
CN111382276A (zh) * | 2018-12-29 | 2020-07-07 | 中国科学院信息工程研究所 | 一种事件发展脉络图生成方法 |
CN111539617A (zh) * | 2020-04-21 | 2020-08-14 | 中国联合网络通信集团有限公司 | 数据处理方法和装置、电子设备、交互系统和存储介质 |
CN112633765A (zh) * | 2020-12-31 | 2021-04-09 | 国家核安保技术中心 | 核安保风险评估的方法、装置、设备及存储介质 |
CN112818679A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 事件类别确定方法、装置及电子设备 |
CN112819069A (zh) * | 2021-01-29 | 2021-05-18 | 中国农业银行股份有限公司 | 一种事件的定级方法及装置 |
CN113934764A (zh) * | 2020-06-29 | 2022-01-14 | 阿里巴巴集团控股有限公司 | 事件信息的处理方法、装置及电子设备 |
CN114172699A (zh) * | 2021-11-19 | 2022-03-11 | 北京计算机技术及应用研究所 | 一种工业控制网络安全事件关联分析方法 |
-
2022
- 2022-03-21 CN CN202210276266.3A patent/CN114595997A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106600413A (zh) * | 2015-10-19 | 2017-04-26 | 阿里巴巴集团控股有限公司 | 欺诈识别方法和系统 |
CN107644532A (zh) * | 2017-09-20 | 2018-01-30 | 中山大学 | 一种基于贝叶斯网络的交通违法行为严重等级预测方法 |
CN109710585A (zh) * | 2018-08-20 | 2019-05-03 | 平安普惠企业管理有限公司 | 多系统关联预警方法、装置、设备及计算机可读存储介质 |
CN111382276A (zh) * | 2018-12-29 | 2020-07-07 | 中国科学院信息工程研究所 | 一种事件发展脉络图生成方法 |
CN110363449A (zh) * | 2019-07-25 | 2019-10-22 | 中国工商银行股份有限公司 | 一种风险识别方法、装置及系统 |
CN110472162A (zh) * | 2019-08-20 | 2019-11-19 | 深圳前海微众银行股份有限公司 | 评估方法、系统、终端及可读存储介质 |
CN112818679A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 事件类别确定方法、装置及电子设备 |
CN111539617A (zh) * | 2020-04-21 | 2020-08-14 | 中国联合网络通信集团有限公司 | 数据处理方法和装置、电子设备、交互系统和存储介质 |
CN113934764A (zh) * | 2020-06-29 | 2022-01-14 | 阿里巴巴集团控股有限公司 | 事件信息的处理方法、装置及电子设备 |
CN112633765A (zh) * | 2020-12-31 | 2021-04-09 | 国家核安保技术中心 | 核安保风险评估的方法、装置、设备及存储介质 |
CN112819069A (zh) * | 2021-01-29 | 2021-05-18 | 中国农业银行股份有限公司 | 一种事件的定级方法及装置 |
CN114172699A (zh) * | 2021-11-19 | 2022-03-11 | 北京计算机技术及应用研究所 | 一种工业控制网络安全事件关联分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106951925B (zh) | 数据处理方法、装置、服务器及系统 | |
WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
Groth et al. | A hybrid algorithm for developing third generation HRA methods using simulator data, causal models, and cognitive science | |
US10031829B2 (en) | Method and system for it resources performance analysis | |
CN108921301A (zh) | 一种基于自学习的机器学习模型更新方法及系统 | |
CN113010389A (zh) | 一种训练方法、故障预测方法、相关装置及设备 | |
CN111176872B (zh) | 面向it运维的监控数据处理方法、系统、装置及存储介质 | |
CN112379325A (zh) | 一种用于智能电表的故障诊断方法及系统 | |
CN111160959A (zh) | 一种用户点击转化预估方法及装置 | |
CN111045902A (zh) | 服务器的压力测试方法及装置 | |
CN114430361B (zh) | 一种异常带宽检测方法、装置、电子设备及存储介质 | |
CN112416800A (zh) | 智能合约的测试方法、装置、设备及存储介质 | |
CN112598326A (zh) | 模型迭代方法、装置、电子设备及存储介质 | |
CN114595997A (zh) | 一种数据处理方法、装置及电子设备 | |
KR101884907B1 (ko) | 빅데이터 분석 기반 신뢰도 예측 방법 | |
CN115759263A (zh) | 一种基于因果推断的策略效果评估方法及装置 | |
CN115619539A (zh) | 贷前风险评价方法以及装置 | |
CN113962216A (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
KR102217092B1 (ko) | 애플리케이션의 품질 정보 제공 방법 및 장치 | |
JP2011141674A (ja) | ソフトウェア品質指標値管理システム、ソフトウェア品質指標値の真値を推定する推定方法及び推定プログラム | |
US20240005259A1 (en) | Index modeling | |
CN109474445B (zh) | 一种分布式系统根源故障定位方法及装置 | |
Pauwels et al. | ACD2: a tool to interactively explore Business Process Logs | |
CN112950056A (zh) | 基大数据的生态环境智能监测分析方法及云平台系统 | |
CN113902272A (zh) | 业务评分方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |