CN110888775A - 利用数据平衡监控数据仓库的方法、装置及设备 - Google Patents

利用数据平衡监控数据仓库的方法、装置及设备 Download PDF

Info

Publication number
CN110888775A
CN110888775A CN201911089769.4A CN201911089769A CN110888775A CN 110888775 A CN110888775 A CN 110888775A CN 201911089769 A CN201911089769 A CN 201911089769A CN 110888775 A CN110888775 A CN 110888775A
Authority
CN
China
Prior art keywords
data
layer
source
warehouse
pasting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911089769.4A
Other languages
English (en)
Other versions
CN110888775B (zh
Inventor
王国彬
徐晓波
胡鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bincent Technology Co Ltd
Original Assignee
Shenzhen Bincent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bincent Technology Co Ltd filed Critical Shenzhen Bincent Technology Co Ltd
Priority to CN201911089769.4A priority Critical patent/CN110888775B/zh
Publication of CN110888775A publication Critical patent/CN110888775A/zh
Application granted granted Critical
Publication of CN110888775B publication Critical patent/CN110888775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种利用数据平衡监控数据仓库的方法、装置及设备，利用数据平衡监控数据仓库的方法包括：通过接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；从而计算从贴源层中的主题域获取的数据的数量以及计算集市层数据的数量；并且将贴源层中的主题域获取的数据的数量和集市层数据的数量进行比对，生成比对结果；根据比对结果，判断数据仓库是否平衡。服务器利用数据平衡的方式进行监控数据仓库，从而能够及时监控到数据仓库的状态。

Description

利用数据平衡监控数据仓库的方法、装置及设备
技术领域
本发明涉及数据处理领域，具体涉及一种利用数据平衡监控数据仓库的方法、装置及设备。
背景技术
数据(Data)是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理(data processing)是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。
现有技术中，贴源数据区与各个应用集市数据转换要处于平衡状态，而且进行数据平衡的方式通常需要用户定时进行查询各个服务器的数据仓库情况，通常需要用户进行实时监控数据仓库，在数据仓库出现不平衡的状态下则需要用户进行平衡数据，难以及时监控到数据仓库是否平衡的状态。
发明内容
本发明的主要目的是提供一种利用数据平衡监控数据仓库的方法、装置及设备，旨解决相关技术中需要用户进行实时监控数据仓库，在数据仓库出现不平衡的状态下则需要用户进行平衡数据，难以及时监控到数据仓库是否平衡的状态的问题。
本发明提供了一种利用数据平衡监控数据仓库的方法，其特征在于，包括：
接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据；其中，所述贴源层包括多个主题域；
计算从所述贴源层中的主题域获取的数据的数量，以及计算所述集市层数据的数量；
将所述贴源层中数据的数量和所述集市层中数据的数量进行比对，生成比对结果；
根据所述比对结果，判断数据仓库是否平衡。
优选地，所述接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据的步骤，包括：
在接收贴源层的数据时，将所述贴源层的数据进行聚类分析；其中，所述贴源层中的主题域包括多个类型的主题，在主题中存储有贴源层的数据及KPI指标；
将聚类分析后的所述贴源层的数据进行检查转换，生成公共数据；
根据所述公共数据的主题及KPI指标将所述公共数据进行转换，生成集市层的数据。
优选地，所述根据所述比对结果，判断数据仓库是否平衡的步骤，包括：
根据所述贴源层中数据的数量和所述集市层中数据的数量的比对结果值；
判断所述比对结果值是否与预设值匹配；
在所述比对结果值与预设值匹配的情况下，则所述数据仓库处于平衡状态；
在所述比对结果值与预设值不匹配的情况下，则所述数据仓库处于不平衡状态。
优选地，所述在所述比对结果值与预设值不匹配的情况下，则所述数据仓库处于不平衡状态的步骤之后，还包括：
在所述数据仓库处于不平衡状态时，根据比对结果值判断所述贴源层的数据的数量是否大于所述集市层的数据的数量；
在所述贴源层的数据的数量大于所述集市层的数据的数量情况下，在预设时间段内将所述贴源层的其他数据转换至集市层；
在所述贴源层的数据的数量小于所述集市层的数据的数量情况下，在预设时间段内接收新的所述贴源层的数据。
优选地，所述比对方式满足以下公式：
Figure BDA0002266506200000031
其中，Si为贴源层数据的数量，Hi为集市层数据的数量，h为常数，L为比对结果值。
优选地，所述根据所述比对结果，判断数据仓库是否平衡的步骤之后，包括：在判断出所述数据仓库是否平衡的情况下，基于所述数据仓库是否平衡的结果，将所述数据仓库是否平衡的结果发送至展现层；其中，所述展现层包括用于显示数据仓库的数据及平衡结果的显示界面。
优选地，所述监控数据仓库的方法还包括：
实时检测所述贴源层的每个类型的数据大小；
根据所述贴源层中的每个类型的数据大小确定是否大于预设阈值；
在所述贴源层中的每个类型的数据大于预设阈值时，将所述贴源层中大于预设阈值的数据转换至集市层。
本发明还提供一种利用数据平衡监控数据仓库的装置，包括：
收发模块，用于接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据；其中，所述贴源层包括多个主题域；
计算模块，用于计算从所述贴源层中的主题域获取的数据的数量，以及计算所述集市层数据的数量；
比对模块，用于将所述贴源层中的主题域获取的数据的数量和所述集市层数据的数量进行比对，生成比对结果；
判断模块，根据所述比对结果，判断数据仓库是否平衡。
本发明还提供一种利用数据平衡监控数据仓库的设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的利用数据平衡监控数据仓库的方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的利用数据平衡监控数据仓库的方法的步骤。
本发明提供的利用数据平衡监控数据仓库的方法至少包括以下有益效果：
通过接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；从而计算从贴源层中的主题域获取的数据的数量以及计算集市层数据的数量；并且将贴源层中的主题域获取的数据的数量和集市层数据的数量进行比对，生成比对结果；根据比对结果，判断数据仓库是否平衡。服务器利用数据平衡的方式进行监控数据仓库，从而能够及时监控到数据仓库的状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的利用数据平衡监控数据仓库的方法的流程图；
图2为图1中步骤S40之后的流程图；
图3为图1中步骤S10具体步骤的流程图；
图4为本发明一实施例提供的示例图；
图5为本发明提供的利用数据平衡监控数据仓库的装置结构示意图；
图6为本发明提供的利用数据平衡监控数据仓库的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种利用数据平衡监控数据仓库的方法，，包括：
步骤S10，接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；
在本发明的具体实施例中，服务器中存储有贴源层的数据，同时也会实时接收各种数据存储于贴源层中，贴源层在保留了源系统业务逻辑的前提下，将贴源层中的数据格式按数据仓库要求统一并简单的进行清洗转换，然后贴源层将转换的数据发送至集市层，使得集市层中能够根据转换的数据组建不同的主题，并且集市层中的每个主题是处于独立状态。
步骤S20，计算从贴源层中的主题域获取的数据的数量，以及计算集市层数据的数量；
在本发明的具体实施例中，以贴源层来说，在贴源层中存储有多个主题域，并且每个主题域包括了多个数据，比如交易流水、Web数据、增量数据、应用数据等，通过计算贴源层中多个主题域对应的数据数量，从而确定贴源层中数据的数量，同时计算存储于集市层中数据的数量，确定出集市层中数据的数量，以便后续将贴源层中数据的数量和集市层中数据的数量进行比对。同时，在将贴源层的数据和集市层的数据进行计算数量时，只需要将已经存储于贴源层和集市层中的数据进行计算，而对于其他正在接收和转换的数据则在下一队列中进行计算，从而能够节省计算时间，并且在后续的比对中也能够有序进行。
步骤S30，将贴源层中数据的数量和集市层数据的数量进行比对，生成比对结果；
在本发明的具体实施例中，通过上述确定的贴源层中数据的数量和集市层中数据的数量，在此，服务器将两个数据层之间的数量进行比对，然后得到比对之后的结果；另外，在本发明的具体实施例中，
上述的比对方式满足以下公式：
Figure BDA0002266506200000051
其中，Si为贴源层数据的数量，Hi为集市层数据的数量，h为常数，L为比对结果值。
在将贴源层数据的数量和集市层数据的数量进行计算总和之后，然后计算二者的差值，从而确定出比对结果值。
步骤S40，根据比对结果，判断数据仓库是否平衡。
在本发明的具体实施例中，服务器根据上述方式进行比对得出的比对结果值，可以进一步自行判断数据仓库是否处于平衡状态，从而根据是否平衡的状态对数据仓库进行调整，避免出现不平衡。
如图2所示，上述步骤S40根据比对结果，判断数据仓库是否平衡的步骤，包括：
步骤40，根据贴源层数据的数量和集市层数据的数量的比对结果值；
步骤41，判断比对结果值是否与预设值匹配；
步骤42，在比对结果值与预设值匹配的情况下，则数据仓库处于平衡状态；
步骤43，在比对结果值与预设值不匹配的情况下，则数据仓库处于不平衡状态。
在本发明的具体实施例中，为了判断数据仓库是否平衡，具体设定了与比对结果值对应的预设值，其中，预设值可以是0，也就是说，当贴源层数据的数量和集市层数据的数量一致的情况下，通过上述的比对方式而计算出的比对结果值和预设值匹配，同样为0，这样则数据仓库处于平衡状态；当贴源层数据的数量和集市层数据的数量不一样时，所计算得出的结果与预设值不匹配，比如大于0或是小于0，如此则数据仓库处于不平衡的状态，则需要将不平衡的数据进行调整或是发出提示，避免使得数据不平衡，从而难以监控出来。
进一步地，上述步骤四在比对结果值与预设值不匹配的情况下，则数据仓库处于不平衡状态的步骤之后，还包括：
步骤431，在数据仓库处于不平衡状态时，根据比对结果值判断贴源层的数据的数量是否大于集市层的数据的数量；
步骤432，在贴源层的数据的数量大于集市层的数据的数量情况下，在预设时间段内将贴源层的其他数据转换至集市层；
步骤433，在贴源层的数据的数量小于集市层的数据的数量情况下，在预设时间段内接收新的贴源层的数据。
在本发明的具体实施例中，在上述方式通过比对结果值与预设值进行匹配，当判断出数据仓库处于不平衡的状态，为了能够使数据仓库处于平衡状态，在判断贴源层数据的数量大于集市层数据的数量时，在预设时间段内再次将贴源层中大于集市层数据的数量的数据进行转换，并且将转换后的那部分数据转移至集市层，其中，预设时间段可以是判断出数据仓库不平衡状态后的1小时内；进一步地，当贴源层数据的数量小于集市层数据的数量时，贴源层则重新从外部导入新的贴源层数据，从而使得贴源层数据和集市层数据的数量能够保持一致，避免数据仓库出现不平衡。
如图3所示，上述步骤S10接收贴源层的数据，并根据贴源层的数据转换出集市层的数据的步骤，包括：
步骤S11，在接收贴源层的数据时，将贴源层的数据进行聚类分析；其中，贴源层中的主题域包括多个类型的主题，在主题中存储有贴源层的数据及KPI指标；
步骤S12，将聚类分析后的贴源层的数据进行检查转换，生成公共数据；
步骤S13，根据公共数据的主题及KPI指标将公共数据进行转换，生成集市层的数据。
在本发明的具体实施例中，一般来说，贴源层的数据量庞大，在接收贴源层数据的同时将贴源层中的多个主题域进行聚类分析统计，并且根据主题域中的各个主题和KPI指标确定需要转换至集市层的数据，然后将聚类分析并且转换好的数据移动至集市层，通过上述方式可知，本发明实施例中数据进行转换和移动之后，从而将贴源层数据的数量和集市层数据的数量进行比对，从而进一步确定数据仓库的平衡状态。
其中，上述步骤S40根据比对结果，判断数据仓库是否平衡的步骤之后，包括：在判断出数据仓库是否平衡的情况下，基于数据仓库是否平衡的结果，将数据仓库是否平衡的结果发送至展现层；其中，展现层包括用于显示数据仓库的数据及平衡结果的显示界面。
可以理解的是，在确定了数据仓库的平衡状态后，为了使用户也能够知晓数据仓库中的数据是否平衡，通常将上述判断出的平衡结果发送至展现层，从而用户可以从展现层的显示界面来进行观察，并且在展现层中仅仅需要某一个数据就能够将与之关联的其他数据调取出来进行查看，也就是说，当某一数据调取出来查看的同时，存在数据缺失那么数据仓库则处于不平衡的状态，则需要用户或是服务器进行调整。
请参照图4进一步举例说明，在贴源层中存储有多个主题域，比如用户、装修风格、时间及户型，相对的每个主题域中存在多个不同的主题，如某一用户的姓名、联系方式及住址，通过将贴源层中的多个主题域进行聚类分析，并且转换移动至集市层，当移动至集市层中的数据与贴源层中的数据处于平衡状态，那么贴源层与集市层都存在有用户1至用户n的装修风格和户型介绍，在将贴源层与集市层进行比对数据的数量过程中，假如某一用户的存在某条数据缺失的情况，则判断出数据仓库处于不平衡的状态，则需要服务器或是用户作平衡调整，因此将不平衡状态的结果发送至展现层，用户则可以从显示界面上进行查看，服务器也可以自行进行平衡调整，将数据进行转换或是获取新的贴源层数据，避免数据仓库出现不平衡状态。
其中，本发明的具体实施例中提供的监控数据仓库的方法还包括：
步骤一，实时检测贴源层的每个类型的数据大小；
步骤二，根据贴源层中的每个类型的数据大小确定是否大于预设阈值；
步骤三，在贴源层中的存在至少一个类型的数据大小大于预设阈值时，将贴源层中大于预设阈值类型的数据转换至集市层。
具体的，本发明实施例提供另外一种可能的实现方式，通过实时检测贴源层中每个类型的数据大小，比如数据的占用空间，然后将其占用空间大小与预设阈值进行匹配，当某一个类型的数据占用空间大小大于预设阈值时，则将该数据进行转换并移动至集市层，其中，预设阈值可以是1GB；本领域技术人员可以理解的是，为了使得贴源层和集市层能够保持平衡状态，在判断出贴源层与集市层中存在数量或是大小等因素导致的不平衡状态，均可以采用上述方式进行判断。
本发明还提供一种利用数据平衡监控数据仓库的装置2，包括：
收发模块21，用于接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；
计算模块22，用于计算从贴源层中的主题域获取的数据的数量，以及计算集市层数据的数量；
比对模块23，用于将贴源层中的主题域获取的数据的数量和集市层数据的数量进行比对，生成比对结果；
判断模块24，根据比对结果，判断数据仓库是否平衡。
本发明还提供一种利用数据平衡监控数据仓库的设备，包括存储器11、处理器13以及存储在存储器11中并可在处理器13上运行的计算机程序12，处理器13执行计算机程序12时实现如上述的利用数据平衡监控数据仓库的方法的步骤。
具体的，处理器13执行计算机程序12时实现以下步骤：接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；计算从贴源层中的主题域获取的数据的数量，以及计算集市层数据的数量；将贴源层中数据的数量和集市层中数据的数量进行比对，生成比对结果；根据比对结果，判断数据仓库是否平衡。
具体的，处理器13执行计算机程序12时实现以下步骤：在接收贴源层的数据时，将贴源层的数据进行聚类分析；其中，贴源层中的主题域包括多个类型的主题，在主题中存储有贴源层的数据及KPI指标；将聚类分析后的贴源层的数据进行检查转换，生成公共数据；根据公共数据的主题及KPI指标将公共数据进行转换，生成集市层的数据。
具体的，处理器13执行计算机程序12时实现以下步骤：根据贴源层中数据的数量和集市层中数据的数量的比对结果值；判断比对结果值是否与预设值匹配；在比对结果值与预设值匹配的情况下，则数据仓库处于平衡状态；在比对结果值与预设值不匹配的情况下，则数据仓库处于不平衡状态。
具体的，处理器13执行计算机程序12时实现以下步骤：在数据仓库处于不平衡状态时，根据比对结果值判断贴源层的数据的数量是否大于集市层的数据的数量；在贴源层的数据的数量大于集市层的数据的数量情况下，在预设时间段内将贴源层的其他数据转换至集市层；在贴源层的数据的数量小于集市层的数据的数量情况下，在预设时间段内接收新的贴源层的数据。
可选的，比对方式满足以下公式：
Figure BDA0002266506200000091
其中，Si为贴源层数据的数量，Hi为集市层数据的数量，h为常数，L为比对结果值。
具体的，处理器13执行计算机程序12时实现以下步骤：在判断出数据仓库是否平衡的情况下，基于数据仓库是否平衡的结果，将数据仓库是否平衡的结果发送至展现层；其中，展现层包括用于显示数据仓库的数据及平衡结果的显示界面。
即，在本发明的具体实施例中，利用数据平衡监控数据仓库的设备1的处理器13执行计算机程序12时实现上述利用数据平衡监控数据仓库的方法的步骤，通过服务器利用数据平衡的方式进行监控数据仓库，从而能够及时监控到数据仓库的状态。
需要说明的是，由于利用数据平衡监控数据仓库的设备1的处理器13执行计算机程序12时实现上述利用数据平衡监控数据仓库的方法的步骤，因此上述利用数据平衡监控数据仓库的方法的所有实施例均适用于该利用数据平衡监控数据仓库的设备1，且均能达到相同或相似的有益效果。
本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述的利用数据平衡监控数据仓库的方法的步骤。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：实时检测贴源层的每个类型的数据及集市层的每个类型的数据；根据贴源层中的每个类型的数据及集市层的每个类型的数据分别确定是否大于预设阈值；在贴源层中的每个类型的数据大于预设阈值时，将贴源层中大于预设阈值的数据转换至集市层。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：接收贴源层的数据，并根据贴源层的数据转换出集市层的数据；其中，贴源层包括多个主题域；计算从贴源层中的主题域获取的数据的数量，以及计算集市层数据的数量；将贴源层中数据的数量和集市层中数据的数量进行比对，生成比对结果；根据比对结果，判断数据仓库是否平衡。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：在接收贴源层的数据时，将贴源层的数据进行聚类分析；其中，贴源层中的主题域包括多个类型的主题，在主题中存储有贴源层的数据及KPI指标；将聚类分析后的贴源层的数据进行检查转换，生成公共数据；根据公共数据的主题及KPI指标将公共数据进行转换，生成集市层的数据。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：根据贴源层中数据的数量和集市层中数据的数量的比对结果值；判断比对结果值是否与预设值匹配；在比对结果值与预设值匹配的情况下，则数据仓库处于平衡状态；在比对结果值与预设值不匹配的情况下，则数据仓库处于不平衡状态。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：在数据仓库处于不平衡状态时，根据比对结果值判断贴源层的数据的数量是否大于集市层的数据的数量；在贴源层的数据的数量大于集市层的数据的数量情况下，在预设时间段内将贴源层的其他数据转换至集市层；在贴源层的数据的数量小于集市层的数据的数量情况下，在预设时间段内接收新的贴源层的数据。
可选的，比对方式满足以下公式：
Figure BDA0002266506200000111
其中，Si为贴源层数据的数量，Hi为集市层数据的数量，h为常数，L为比对结果值。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：在判断出数据仓库是否平衡的情况下，基于数据仓库是否平衡的结果，将数据仓库是否平衡的结果发送至展现层；其中，展现层包括用于显示数据仓库的数据及平衡结果的显示界面。
具体的，在本发明的具体实施例中，计算机可读存储介质被处理器执行时实现以下步骤：实时检测贴源层的每个类型的数据及集市层的每个类型的数据；根据贴源层中的每个类型的数据及集市层的每个类型的数据分别确定是否大于预设阈值；在贴源层中的每个类型的数据大于预设阈值时，将贴源层中大于预设阈值的数据转换至集市层。
即，在本发明的具体实施例中，计算机程序被处理器执行时实现上述利用数据平衡监控数据仓库的方法的步骤，通过服务器利用数据平衡的方式进行监控数据仓库，从而能够及时监控到数据仓库的状态。
需要说明的是，由于计算机程序被处理器执行时实现上述利用数据平衡监控数据仓库的方法的步骤，因此上述利用数据平衡监控数据仓库的方法的所有实施例均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是智能音箱，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种利用数据平衡监控数据仓库的方法，其特征在于，包括：
接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据；其中，所述贴源层包括多个主题域；
计算从所述贴源层中的主题域获取的数据的数量，以及计算所述集市层数据的数量；
将所述贴源层中数据的数量和所述集市层中数据的数量进行比对，生成比对结果；
根据所述比对结果，判断数据仓库是否平衡。
2.根据权利要求1所述的利用数据平衡监控数据仓库的方法，其特征在于，所述接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据的步骤，包括：
在接收贴源层的数据时，将所述贴源层的数据进行聚类分析；其中，所述贴源层中的主题域包括多个类型的主题，在主题中存储有贴源层的数据及KPI指标；
将聚类分析后的所述贴源层的数据进行检查转换，生成公共数据；
根据所述公共数据的主题及KPI指标将所述公共数据进行转换，生成集市层的数据。
3.根据权利要求1所述的利用数据平衡监控数据仓库的方法，其特征在于，所述根据所述比对结果，判断数据仓库是否平衡的步骤，包括：
根据所述贴源层中数据的数量和所述集市层中数据的数量的比对结果值；
判断所述比对结果值是否与预设值匹配；
在所述比对结果值与预设值匹配的情况下，则所述数据仓库处于平衡状态；
在所述比对结果值与预设值不匹配的情况下，则所述数据仓库处于不平衡状态。
4.根据权利要求3所述的利用数据平衡监控数据仓库的方法，其特征在于，所述在所述比对结果值与预设值不匹配的情况下，则所述数据仓库处于不平衡状态的步骤之后，还包括：
在所述数据仓库处于不平衡状态时，根据比对结果值判断所述贴源层的数据的数量是否大于所述集市层的数据的数量；
在所述贴源层的数据的数量大于所述集市层的数据的数量情况下，在预设时间段内将所述贴源层的其他数据转换至集市层；
在所述贴源层的数据的数量小于所述集市层的数据的数量情况下，在预设时间段内接收新的所述贴源层的数据。
5.根据权利要求1所述的利用数据平衡监控数据仓库的方法，其特征在于，所述比对方式满足以下公式：
Figure FDA0002266506190000021
其中，Si为贴源层数据的数量，Hi为集市层数据的数量，h为常数，L为比对结果值。
6.根据权利要求1所述的利用数据平衡监控数据仓库的方法，其特征在于，所述根据所述比对结果，判断数据仓库是否平衡的步骤之后，包括：在判断出所述数据仓库是否平衡的情况下，基于所述数据仓库是否平衡的结果，将所述数据仓库是否平衡的结果发送至展现层；其中，所述展现层包括用于显示数据仓库的数据及平衡结果的显示界面。
7.根据权利要求1所述的利用数据平衡监控数据仓库的方法，其特征在于，所述监控数据仓库的方法还包括：
实时检测所述贴源层的每个类型的数据大小；
根据所述贴源层中的每个类型的数据大小确定是否大于预设阈值；
在所述贴源层中的每个类型的数据大于预设阈值时，将所述贴源层中大于预设阈值的数据转换至集市层。
8.一种利用数据平衡监控数据仓库的装置，其特征在于，包括：
收发模块，用于接收贴源层的数据，并根据所述贴源层的数据转换出集市层的数据；其中，所述贴源层包括多个主题域；
计算模块，用于计算从所述贴源层中的主题域获取的数据的数量，以及计算所述集市层数据的数量；
比对模块，用于将所述贴源层中的主题域获取的数据的数量和所述集市层数据的数量进行比对，生成比对结果；
判断模块，根据所述比对结果，判断数据仓库是否平衡。
9.一种利用数据平衡监控数据仓库的设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的利用数据平衡监控数据仓库的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的利用数据平衡监控数据仓库的方法的步骤。
CN201911089769.4A 2019-11-08 2019-11-08 利用数据平衡监控数据仓库的方法、装置及设备 Active CN110888775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911089769.4A CN110888775B (zh) 2019-11-08 2019-11-08 利用数据平衡监控数据仓库的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911089769.4A CN110888775B (zh) 2019-11-08 2019-11-08 利用数据平衡监控数据仓库的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110888775A true CN110888775A (zh) 2020-03-17
CN110888775B CN110888775B (zh) 2024-04-09

Family

ID=69747189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911089769.4A Active CN110888775B (zh) 2019-11-08 2019-11-08 利用数据平衡监控数据仓库的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110888775B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090138A (zh) * 2017-11-29 2018-05-29 链家网（北京）科技有限公司 一种数据仓库的监控方法和系统
CN108304413A (zh) * 2017-01-13 2018-07-20 北京京东尚科信息技术有限公司 分布式数据仓库监控方法、装置、电子设备和存储介质
CN108512726A (zh) * 2018-03-29 2018-09-07 上海连尚网络科技有限公司 一种数据监控的方法及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304413A (zh) * 2017-01-13 2018-07-20 北京京东尚科信息技术有限公司 分布式数据仓库监控方法、装置、电子设备和存储介质
CN108090138A (zh) * 2017-11-29 2018-05-29 链家网（北京）科技有限公司 一种数据仓库的监控方法和系统
CN108512726A (zh) * 2018-03-29 2018-09-07 上海连尚网络科技有限公司 一种数据监控的方法及设备

Also Published As

Publication number Publication date
CN110888775B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN104965920B (zh) 用于确定目标地址的方法和装置
CN103164416B (zh) 一种用户关系的识别方法及设备
CN104717124B (zh) 一种好友推荐方法、装置及服务器
CN106845240A (zh) 一种基于随机森林的Android恶意软件静态检测方法
CN110138745B (zh) 基于数据流序列的异常主机检测方法、装置、设备及介质
CN106126524B (zh) 信息推送方法和装置
CN112231570B (zh) 推荐系统托攻击检测方法、装置、设备及存储介质
CN106469261A (zh) 一种身份验证方法及装置
CN108985954A (zh) 一种建立各标识的关联关系的方法以及相关设备
CN105898085A (zh) 骚扰通信账号的识别方法及装置
CN105871585A (zh) 终端关联方法及装置
CN111523035A (zh) App浏览内容的推荐方法、装置、服务器和介质
CN105096161B (zh) 一种进行信息展示的方法和装置
CN108491424A (zh) 用户id关联方法及装置
CN106886517A (zh) 业务选址方法、装置以及系统
CN114240060A (zh) 风险控制方法、风险处理系统、装置、服务器及存储介质
CN113850669A (zh) 用户分群方法、装置、计算机设备及计算机可读存储介质
WO2021135322A1 (zh) 一种自动出题方法、装置及系统
CN111125226B (zh) 一种配置数据采集方法及装置
CN112395351A (zh) 可视化的识别群诉风险方法、装置、计算机设备及介质
CN110888775A (zh) 利用数据平衡监控数据仓库的方法、装置及设备
CN108985898B (zh) 一种场所评分方法、装置和计算机可读存储介质
CN116471290A (zh) 一种基于协议仿真的移动终端云数据取证方法和系统
CN109873836A (zh) 一种数据的风险评估方法及装置
CN108075918B (zh) 互联网业务变更检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 R & D building 3501, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan, Shenzhen, Guangdong

Applicant after: Tubatu Group Co.,Ltd.

Address before: 1001-a, 10th floor, bike technology building, No.9, Keke Road, high tech Zone, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN BINCENT TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant