CN109448859B - 数据处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本公开是关于一种数据处理方法及装置、电子设备、存储介质，涉及医疗大数据技术领域，该方法包括：建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；生成与所述维度模型对应的质控规则；通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。本公开能够从多个维度查询数据，并且能够从多个维度更全面快速地定位预警数据，提高数据预警准确率。

Description

数据处理方法及装置、电子设备、存储介质

技术领域

本公开涉及医疗大数据技术领域，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术

医疗数据，尤其是例如HIS、医院病案系统、医院检验系统、医院放射科系统等系统中的数据，因其行业特殊性，质量问题比其他行业数据要更复杂。

目前，相关技术中在查看异常数据时，主要采用人工方式进行查询和定位操作。在通过人工方式查询时，速度较慢且效率较低且会造成一定的误操作，因此准确率不高。除此之外，相关技术中针对医疗数据的质控方法，一般包括统计数据量、正确率等质量指标，这些指标只能总体评价数据整体质量情况，无法窥探到细分维度下的数据质量，有可能出现整体数据指标无异但局部数据错误等问题，例如医学逻辑一致性、数据引用一致性、字典变更导致数据差异等；整体评价时只能通过整体进行查询，不能全面灵活地查询每个维度中的数据和定位异常数据。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的不能快速全面准确地定位每个维度的异常数据的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据处理方法，包括：建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；生成与所述维度模型对应的质控规则；通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

在本公开的一种示例性实施例中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据包括：通过抽数规则从所述维度模型实例中读取目标数据；获取所述目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值；将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据。

在本公开的一种示例性实施例中，所述维度模型包括星型模型或雪花模型。

在本公开的一种示例性实施例中，对所述异常统计项进行计算得到异常指标值包括：根据目标数据中每个维度的异常统计项以及所述每个维度的总数量计算所述每个维度的所述异常指标值。

在本公开的一种示例性实施例中，将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据包括：判断所述异常指标值是否大于所述预设阈值；若所述异常指标值大于所述预设阈值，则将按照从大到小的顺序排在前N位的所述异常指标值对应的目标数据作为所述预警数据。

在本公开的一种示例性实施例中，在通过抽数规则从所述维度模型实例中读取目标数据之前，所述方法还包括：按照每个维度对所述质控规则进行切片和/或切块，生成所述抽数规则。

在本公开的一种示例性实施例中，所述维度模型包括事实表以及至少一个维度表，所述方法还包括：对所述事实表的事实项进行扩展；对所述事实表的维度项以及所述维度表的维度进行锁定。

根据本公开的一个方面，提供一种数据处理装置，包括：模型建立模块，用于建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；规则生成模块，用于生成与所述维度模型对应的质控规则；数据确定模块，用于通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据处理方法。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据处理方法。

本公开示例性实施例中提供的一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质中，一方面，通过维度模型对应的质控规则确定针对每个维度的预警数据，能够通过维度模型快速查询预警数据，从而提高查询预警数据的速度和效率，通过维度模型对应的质控规则，能够快速定位每个维度的预警数据；另一方面，通过建立与源数据对应的维度模型，并通过维度模型对应的质控规则，能够快速地从各个维度获取数据，也能动态地在各个维度之间切换或者进行多维度综合分析，以及对局部数据进行分析，进而实现从多个维度全面灵活地查询预警数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种数据处理方法示意图；

图2示意性示出本公开示例性实施例中维度模型的示意图；

图3示意性示出本公开示例性实施例中获取预警数据的流程图；

图4示意性示出本公开示例性实施例中整体架构图；

图5示意性示出本公开示例性实施例中一种数据处理装置的框图；

图6示意性示出本公开示例性实施例中一种电子设备的框图；

图7示意性示出本公开示例性实施例中一种程序产品。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种数据处理方法，可以应用于在各个医院的医疗信息系统中定位异常医疗数据的场景。参考图1所示，该数据处理方法可以包括以下步骤：

在步骤S110中，建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；

在步骤S120中，生成与所述维度模型对应的质控规则；

在步骤S130中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

在本示例性实施例中提供的数据处理方法中，一方面，通过维度模型对应的质控规则确定针对每个维度的预警数据，能够通过维度模型快速查询预警数据，从而提高查询预警数据的速度和效率，通过维度模型对应的质控规则，能够快速定位每个维度的预警数据；另一方面，通过建立与源数据对应的维度模型，并通过维度模型对应的质控规则，能够快速地从各个分析维度获取数据，也能动态地在各个维度之间切换或者进行多维度综合分析，进而实现从多个维度全面灵活地查询预警数据。

接下来，结合附图对本示例性实施例中的数据处理方法进行进一步解释说明。

在步骤S110中，建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例。

本示例性实施例中，源数据指的是每个医疗信息系统中的数据，元数据可包括多个维度数据，具体可用字段来表示。医疗信息系统例如可包括覆盖医院所有业务和业务全过程的信息管理系统HIS(Hospital Information System)、计算机化的医院病案系统EMR(Electronic Medical Record)、医院实验室信息系统LIS(Laboratory InformationSystem)、医院放射科信息系统RIS(Radiology Information System)等等。为了避免对每个医疗信息系统重视程度不足，导致出现数据缺失、不准确、不一致等医疗数据质量问题，本示例性实施例中，可采用联机分析处理技术OLAP(Online Analytical Processing)对医疗信息系统中的源数据进行处理。

首先，可建立与源数据对应的维度模型。具体可从质控需求角度建立维度模型。可以根据一个维度的源数据建立维度模型，也可将多种维度的源数据进行逻辑运算从而建立维度模型。举例而言，病例中的源数据字段包括入院时间、出院时间等。可将两个源数据字段进行逻辑校验形成一个新的维度，例如入院时间早于出院时间。接下来，可针对这个新建立的维度建立维度模型。如此一来，可将所有的源数据字段结合起来，建立包括多个维度的维度模型。

维度模型代表的是一种数据结构，维度模型可包括事实表和维度表，事实表中可包括维度项和事实项，在事实表里没有存放实际的内容，而是一堆主键的集合，这些主键分别能对应到维度表中的一条记录。维度表的主键可以作为与之关联的任何事实表的外键，每个维度表都包含唯一的主键列。维度表行的描述环境应与事实表行完全对应，且在维度表中存放了详细的数据信息。

维度模型可包括星型模型，也可以包括对星型模型进行扩展的雪花模型，还可以包括其他模型，只要能够实现同样的功能即可。星型模型中，所有维度表都直接连接到事实表上，不存在渐变维度，所以数据有一定的冗余。雪花模型中，一个或多个维度表没有直接连接到事实表上，而是通过其他维度表连接到事实表上。它对星型模型的维度表进一步层次化，原有的各维度表可能被扩展为小的事实表，形成一些局部的层次区域，可去除数据冗余，通过最大限度地减少数据存储量以及联合较小的维度表来改善数据查询性能。

本示例性实施例中以星型模型为例进行说明。举例而言，星型模型中可包括统计框架、时间维度表、科室维度表、临床数据统计事实表、数据源维度表以及统计对象维度表等。可例如，一个患者每次就诊时，都可以为临床数据统计事实表添加一条记录信息。需要注意的是，星型模型需要基于业务分析而建立。例如，对于诊断模型而言，其中可包括诊断时间、诊断名称、诊断时间早于入院时间、诊断医生等维度，进而可根据这些维度建立维度模型。举例而言，每次就诊粒度即就诊事实表粒度对应的维度模型如图2所示。具体包括就诊事实表以及多个维度表，多个维度表例如就诊时年龄维度表、就诊患者性别维度表、科室维度表、诊断维度表、就诊类型维度表、日期维度表等等。

其中，维度模型中的事实表例如图2中所示的就诊事实表可包括两个部分：一部分为维度关联外键，一部分为数据事实项。维度关联外键部分为描述部分，主要包括“字段中文名”、“字段英文名”、“字段类型”及关联的维度表(如果字段类型为FK)及维表类型事实表。维表类型事实表具体映射逻辑包括：直接映射、关联映射及计算、映射后的处理逻辑。

除此之外，可通过中间表或诊断分组桥接表描述多个诊断维度，诊断分组桥接表是建立在多个维度表和就诊事实表中间的一个具有较多冗余信息的表，其中的记录包含层级结构中节点到其下面每个节点的路径。

为了保证维度模型的稳定性，同时使得维度模型方便扩展，可开放对事实表中事实项的扩展，同时锁定事实表中的维度项，同时锁定维度表中的维度，即封闭对事实表中维度项和对维度表进行修改。例如，对于图2中所示的维度模型而言，可保持就诊事实表的维度即粒度固定不变，只在维度模型版本升级时变更就诊事实表的粒度即可；还可封闭对多个维度表对应的维度的修改，例如封闭维度表及维度层次、事实表的字段类型FK；还可封闭对临床数据统计事实表中维度项的修改。除此之外，可开放对事实表中事实项的扩展，扩展的事实项的数量可根据实际需求进行设置。可例如，对于男性患者手术名称出现女性部位而言，可通过如下代码添加对事实项的扩展：

“男性患者手术名称出现女性部位及术式_flag”:{

condition:“{患者.性别}＝{男}and{手术记录，手术名称}包含{子宫,分娩}”,

countingmode:“flag”//flag为标记,amount为计数}

通过建立维度模型，可使质控人员切换使用不同的维度进行数据查询；除此之外，通过对维度模型的事实项进行扩展性，可增加应用范围。

在建立维度模型之后，可将医院复杂的多个医疗信息系统中的所有源数据快速融合到维度模型中的一个或多个事实表中，形成维度模型实例。维度模型实例指的是具体的数据，与维度模型一一对应。具体可为立方体结构或者是其它结构，其中的每个维度可代表一个横截面或纵截面。

本示例性实施例中，通过建立多个维度的维度模型，使得用户可以快速地从各个维度获取数据，也能动态地在各个维度之间切换或者进行多维度综合分析，从而实现全面分析，也能进行局部数据分析。另外，能够通过维度模型对数据进行多个维度查询，提高灵活性且方便快捷。

在步骤S120中，生成与所述维度模型对应的质控规则。

本示例性实施例中，在构建维度模型后，可生成与维度模型对应的质控规则。此处的质控规则可以为医学质控规则，可用于辅助筛选满足预设条件的数据。预设条件可在质控规则中进行具体描述，具体可以配置文件的形式实现对质控规则的配置，质控规则均可用SQL来表示。例如实现舒张压非空时收缩压为空的质控规则的具体配置信息可通过如下代码实现：

“舒张压非空时收缩压为空”:{

“dim”:“visit_data_year[0-30],admission_dept[0-30]”,

“elements”:{

“0”:“fact:count(*),condition:systolic_pressure_null_flag＝fasle and

diastolic_pressure_null_flag＝ture”,

“1”:“fact:count(*),condition:diastolic_pressure_null_flag＝ture”},

“oper”:“\/”,

“threshold”:“0”,

“region”:“0-3”,

“theme”:“vital_signs_pressure_fact”,

“topic”:“舒张压非空时收缩压为空”}

其中，dim代表切分维度；elements代表查询语句；threshold代表预警阈值；region代表透出到戴明的切分维度数量；theme代表对应的联机分析处理技术模型OLAP；topic代表质控规则名称。

接下来，在步骤S130中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

本示例性实施例中，预警数据可以为理解为异常数据，可通过质控规则确定或定位维度模型实例中每个维度的预警数据，从而使质控人员能够快速从各个维度观察数据，并快速定位预警数据。具体而言，通过所述质控规则获取每个维度关联的预警数据可以包括：通过抽数规则从维度模型实例中读取目标数据；获取所述目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值；将所述异常指标值与预设阈值进行对比，得到针对每个维度的预警数据。

参考图3中所示，在读取目标数据之前，可先执行步骤S30和步骤S31，以生成抽数规则，例如可将质控指标以及质控维度作为输入，按每个维度对质控规则进行切片和切块的执行过程，也可以按每个维度对质控规则进行切片或切块的执行过程，输出抽数规则。接下来执行步骤S32，确定维度模型实例，进一步通过步骤S33根据该抽数规则从确定的维度模型实例中读取目标数据。此处的目标数据指的是维度模型实例中满足质控规则的所有数据，可例如，从维度模型实例中获取诊断时间早于入院时间的目标数据。

进一步地，可通过步骤S34对获取的目标数据进行统计处理，获得目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值。其中，异常统计项可包括每个指标下的多个维度信息，例如数据未提交、数据已作废、数据录入错误等维度信息，指标例如可包括首次病程记录中的病例特点以非正常结束用符号结尾、首次病程记录中的鉴别判断以非正常结束用符号结尾、首次病程记录中的诊断依据以非正常结束用符号结尾等等。在得到异常统计项的总数量后，可根据统计的每个维度的数据总数量计算异常指标值。以就诊主题异常比率类指标为例进行说明，每个维度的异常指标值可根据该维度下异常统计项与该维度下就诊总数量的比值来计算。

接下来，可通过步骤S35将得到的异常指标值与事先设置的预设阈值进行对比，根据对比结果得到针对维度模型实例的每个维度的预警数据。具体地，可判断所述异常指标值是否大于预设阈值。预设阈值可根据实际需求进行设置，例如可设置为0.1等等。如果不存在大于预设阈值的异常指标值，则结束整个流程。如果存在大于预设阈值的异常指标值，则转至步骤S36。具体地，在步骤S36中，若存在大于预设阈值的异常指标值，则将按照从大到小的顺序排在前N位的异常指标值对应的目标数据作为预警数据。其中的N可根据实际需求进行设置，例如设为3或者设为5等等。举例而言，预设阈值为0.1，异常指标值分别为0.08、0.14、0.15、0.11、0.12，则可将异常指标值0.15、0.14、0.12对应的目标数据确定为预警数据。除此之外，如果大于预设阈值的异常指标值的数量小于设置的N，则将所有大于预设阈值的异常指标值对应的目标数据作为预警数据。可例如，预设阈值为0.1，异常指标值分别为0.08、0.09、0.11、0.12，则可将异常指标值0.12、0.11对应的目标数据确定为预警数据。如果不存在大于预设阈值的异常指标值，则不存在预警数据。

表1

预警数据中可包含指标名称、指标所使用的统计项所属的主题、异常统计项的数量、异常指标值以及涉及的维度等内容，具体参考表1所示。在得到预警数据之后，可通过页面形式展示预警数据，以进行数据质控。

步骤S130中通过质控规则确定预警数据，能提高预警数据的查询速度和查询效率，从而提高数据整体质量；另外，能够通过维度模型对数据进行多个维度的查询，提高灵活性且方便快捷；除此之外，能够解决宏观数据质量指标无法窥探到细分维度或者是局部数据质量的问题，达到深入发现数据质量问题，定位局部异常数据的目的，进而能够发现整体数据指标无异但是局部数据错误的问题，提高数据查询准确性。

图4示出了整体架构图，参考图4中所示，主要包括源数据即Schema数据、数据分析平台、维度模型数据层、质控规则层以及预警报表交互层。基于上述架构图，首先可将源数据Schema数据输入数据分析平台，同时将建立的维度模型输入数据分析平台，以生成用于表示具体数据的维度模型实例。

接下来，数据由维度模型数据层传输至质控规则层，经过质控规则库中的医学质控规则建立质控规则后，注入医学质控预警模块，生成可阅读的预警结果，即页面1中展示的信息。接下来进入预警报表交互层通过导航得到页面2中展示的信息，进一步对页面2进行定位得到页面3，以通过页面3显示质控人员最终确定的预警数据，具体可通过报表形式或表格形式来展示定位的预警数据。通过本示例中的方法，从质控需求角度建立多维数据模型，将医院复杂多系统快速融合到一个或多个模型中，在模型基础上定制质控规则和预警阈值，能够迅速、一致地从各个维度方面或者是从局部观察数据，以达到深入发现数据质量问题、定位局部异常数据的目的，避免相关技术中可能出现整体数据指标无异但局部数据错误等问题，能够全面灵活地查询每个维度中的数据和定位异常数据，同时提高数据查询速度和效率，进而提高数据质量和准确率。

本公开还提供了一种数据处理装置。参考图5所示，该数据处理装置500可以包括：模型建立模块501、规则生成模块502、数据确定模块503，其中：

模型建立模块501，可以用于建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；

规则生成模块502，可以用于生成与所述维度模型对应的质控规则；

数据确定模块503，可以用于通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

在本公开的一种示例性实施例中，数据确定模块包括：数据读取模块，用于通过抽数规则从所述维度模型实例中读取目标数据；指标计算模块，用于获取所述目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值；对比控制模块，用于将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据。

在本公开的一种示例性实施例中，所述维度模型包括星型模型或雪花模型。

在本公开的一种示例性实施例中，指标计算模块包括：计算控制模块，用于根据目标数据中每个维度的异常统计项以及所述每个维度的总数量计算所述每个维度的所述异常指标值。

在本公开的一种示例性实施例中，对比控制模块包括：阈值判断模块，用于判断所述异常指标值是否大于所述预设阈值；预警数据确定模块，用于若所述异常指标值大于所述预设阈值，则将按照从大到小的顺序排在前N位的所述异常指标值对应的目标数据作为所述预警数据。

在本公开的一种示例性实施例中，在通过抽数规则从所述维度模型实例中读取目标数据之前，所述装置还包括：抽数规则生成模块，用于按照每个维度对所述质控规则进行切片和/或切块，生成所述抽数规则。

在本公开的一种示例性实施例中，所述维度模型包括事实表以及至少一个维度表，所述装置还包括：扩展模块，用于对所述事实表的事实项进行扩展；锁定模块，用于对所述事实表的维度项以及所述维度表的维度进行锁定。

需要说明的是，上述数据处理装置中各模块的具体细节已经在对应的数据处理方法中进行了详细描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤：在步骤S110中，建立与源数据对应的维度模型，并生成与所述维度模型对应的维度模型实例；在步骤S120中，生成与所述维度模型对应的质控规则；在步骤S130中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

根据多个维度的源数据进行逻辑运算建立与源数据对应的维度模型，所述维度模型用于代表数据结构，且包括维度表和事实表；所述事实表是主键的集合，所述主键对应到所述维度表中的一条记录；

在形成所述维度模型之后，将所有源数据融合到所述维度模型中的一个或多个事实表中生成与所述维度模型对应的维度模型实例；

生成与所述维度模型对应的质控规则，并按照每个维度对所述质控规则进行切片和/或切块生成抽数规则；

通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据；

其中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据包括：

通过所述抽数规则从所述维度模型实例中读取目标数据；

获取所述目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值；

将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述维度模型包括星型模型或雪花模型。

3.根据权利要求1所述的数据处理方法，其特征在于，对所述异常统计项进行计算得到异常指标值包括：

根据目标数据中每个维度的异常统计项以及所述每个维度的总数量计算所述每个维度的所述异常指标值。

4.根据权利要求1所述的数据处理方法，其特征在于，将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据包括：

判断所述异常指标值是否大于所述预设阈值；

若所述异常指标值大于所述预设阈值，则将按照从大到小的顺序排在前N位的所述异常指标值对应的目标数据作为所述预警数据。

5.根据权利要求1所述的数据处理方法，其特征在于，所述维度模型包括事实表以及至少一个维度表，所述方法还包括：

对所述事实表的事实项进行扩展；

对所述事实表的维度项以及所述维度表的维度进行锁定。

6.一种数据处理装置，其特征在于，包括：

模型建立模块，用于根据多个维度的源数据进行逻辑运算建立与源数据对应的维度模型，所述维度模型用于代表数据结构，且包括维度表和事实表；所述事实表是主键的集合，所述主键对应到所述维度表中的一条记录；

在形成所述维度模型之后，将所有源数据融合到所述维度模型中的一个或多个事实表中生成与所述维度模型对应的维度模型实例；

规则生成模块，用于生成与所述维度模型对应的质控规则，并按照每个维度对所述质控规则进行切片和/或切块生成抽数规则；

数据确定模块，用于通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据；

其中，通过所述质控规则确定所述维度模型实例中每个维度关联的预警数据包括：

通过所述抽数规则从所述维度模型实例中读取目标数据；

获取所述目标数据中每个维度的异常统计项，并对所述异常统计项进行计算得到异常指标值；

将所述异常指标值与预设阈值进行对比，得到每个维度关联的预警数据。

7.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-5任意一项所述的数据处理方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任意一项所述的数据处理方法。

Images