CN117827844A - 业务数据处理方法、装置、电子设备和可读存储介质 - Google Patents
业务数据处理方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN117827844A CN117827844A CN202410021052.0A CN202410021052A CN117827844A CN 117827844 A CN117827844 A CN 117827844A CN 202410021052 A CN202410021052 A CN 202410021052A CN 117827844 A CN117827844 A CN 117827844A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- service data
- quality control
- topic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000003908 quality control method Methods 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 84
- 239000002131 composite material Substances 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 27
- 150000001875 compounds Chemical class 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 abstract description 3
- 230000036541 health Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种业务数据处理方法、装置、电子设备和可读存储介质,其中,该方法包括:基于数据同步组件获取各业务系统的各初始业务数据,并将初始业务数据存储入列式数据库中,根据业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,根据业务主题策略对质控后业务数据进行复合处理,生成多个复合指标,根据多个原子指标以及多个复合指标,生成并输出业务主题策略对应的主题报表。本申请通过列式数据库按列并按向量存储数据,不仅快速高效的分析数据,保证业务数据处理的简单性、安全性和稳定性,且提高中央处理器的使用效率,缩小占用空间,并且基于业务主题策略生成主题报表,满足用户多样性需求,提高数据处理灵活度。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种业务数据处理方法、装置、电子设备和可读存储介质。
背景技术
信息化作为新一轮医疗改革的支柱,伴随着生命科学与信息技术的相互交融,医药卫生行业信息化建设呈现由面向卫生业务领域朝着面向人群健康的转变态势,促进大卫生及大健康等整合统一的医学模式转变。同时,云计算、物联网、可穿戴等新技术、新业态发展迅速,为医药卫生信息化开拓了更广阔的发展空间。
现有技术中,为了实现全民健康管理的目标,提出全民健康信息平台,全民健康信息平台是一个集中管理个人健康信息的系统,通过数据采集、共享和分析,可以更好地了解人群的健康状况,提供个性化的健康指导和干预措施。
但是现有技术中,一般只按固定标准采集业务数据,无法根据业务场景灵活变换,并在业务系统需要查询数据时,也无法灵活为业务系统提供所需的原子指标、复合指标及数据集,灵活性差。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种业务数据处理方法、装置、电子设备和可读存储介质,以解决现有技术中无法根据业务场景灵活变换的问题。
为实现上述目的,本申请采用的技术方案如下:
第一方面,本申请提供了一种业务数据处理方法,所述方法包括:
基于数据同步组件获取各业务系统的各初始业务数据,并将所述初始业务数据存储入列式数据库中;
根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,所述质控后业务数据中包括多个原子指标;
根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标;
根据所述多个原子指标以及所述多个复合指标,生成并输出所述业务主题策略对应的主题报表。
可选地,所述根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,包括:
遍历各初始业务数据,针对遍历到的当前初始业务数据,判断所述当前初始业务数据是否符合所述业务质控策略;
若是,则将所述当前初始业务数据作为一个质控后业务数据;
若否,则剔除所述当前初始业务数据。
可选地,所述根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据之后,还包括:
对剔除的当前业务数据进行汇总处理,得到剔除汇总结果;
根据所述剔除汇总结果,生成质控报告。
可选地,所述根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标,包括:
根据所述业务主题策略,从所述质控后业务数据中提取多个目标原子指标;
根据所述业务主题策略,对所述多个目标原子指标进行复合计算,得到所述多个复合指标。
可选地,所述业务质控策略以及所述业务主题策略分别存储在所述列式数据库中。
可选地,所述基于数据同步组件获取各业务系统的初始业务数据,包括:
按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据。
可选地,所述输出所述业务主题策略对应的主题报表,还包括:
响应用户的指标查询指令,输出指标查询指令指示的指标数据。
第二方面,本申请提供了一种业务数据处理装置,所述装置包括:
获取模块,用于基于数据同步组件获取各业务系统的各初始业务数据,并将所述初始业务数据存储入列式数据库中;
质控处理模块,用于根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,所述质控后业务数据中包括多个原子指标;
复合处理模块,用于根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标;
输出模块,用于根据所述多个原子指标以及所述多个复合指标,生成并输出所述业务主题策略对应的主题报表。
可选地,所述质控处理模块具体用于:
遍历各初始业务数据,针对遍历到的当前初始业务数据,判断所述当前初始业务数据是否符合所述业务质控策略;
若是,则将所述当前初始业务数据作为一个质控后业务数据;
若否,则剔除所述当前初始业务数据。
可选地,所述质控处理模块还用于:
对剔除的当前业务数据进行汇总处理,得到剔除汇总结果;
根据所述剔除汇总结果,生成质控报告。
可选地,所述复合处理模块具体用于:
根据所述业务主题策略,从所述质控后业务数据中提取多个目标原子指标;
根据所述业务主题策略,对所述多个目标原子指标进行复合计算,得到所述多个复合指标。
可选地,所述业务质控策略以及所述业务主题策略分别存储在所述列式数据库中。
可选地,所述获取模块具体用于:
按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据。
可选地,所述输出模块还用于:
响应用户的指标查询指令,输出指标查询指令指示的指标数据。
第三方面,本申请提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述业务数据处理方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述业务数据处理方法的步骤。
本申请的有益效果是:首先基于数据同步组件获取各业务系统的各初始业务数据,并将初始业务数据存储入列式数据库中,通过列式数据库按列并按向量存储数据,不仅可以快速高效的分析数据,且提高中央处理器的使用效率,将占用的空间大大缩小至关系型数据库的五分之一。然后根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,从而保证初始业务数据的准确性,提高数据处理效率,避免处理无效业务数据,导致时间浪费。然后根据预先配置的业务主题策略对质控后业务数据进行复合处理,生成多个复合指标,再根据多个原子指标以及多个复合指标,生成并输出业务主题策略对应的主题报表,从而根据业务主题策略获得用户需要的复合指标,并生成主题报表展示在大屏上,满足用户需求。通过本实施例可以有效隔离统计分析应用对业务开展的压力,保证业务数据处理的简单性、安全性和稳定性。同时,业务质控策略和业务主题策略均为用户预先设置,保证业务数据处理的灵活性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种业务数据处理方法的应用场景示意图;
图2是本申请实施例提供的一种业务数据处理方法的流程示意图;
图3是本申请实施例提供的一种业务质控管理系统的结构图;
图4是本申请实施例提供的一种业务主题管理系统的结构图;
图5是本申请实施例提供的一种大屏显示的流程图;
图6是本申请实施例提供的一种确定质控后业务数据方法的流程示意图;
图7是本申请实施例提供的一种业务数据处理装置的结构示意图;
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
现有技术中,为了实现全民健康管理的目标,提出全民健康信息平台,全民健康信息平台是一个集中管理个人健康信息的系统,通过数据采集、共享和分析,可以更好地了解人群的健康状况,提供个性化的健康指导和干预措施。
但是现有技术中,一般只按固定标准采集业务数据,无法根据业务场景灵活变换,并在业务系统需要查询数据时,也无法灵活为业务系统提供所需的原子指标及复合指标,灵活性差。举例来说,家庭医生签约业务在按照签约人群类型查询真实就诊人数的场景,现有技术一般需要多个业务系统进行协作进行查询,灵活性差。
除此之外,全民健康信息平台中统计报表及监管大屏等系统模块也是一种不可或缺的部分。通常情况下,开发人员在开发这些模块时,都需要根据不同的用户需求单独开发各模块,无法做到快速响应,且工作量巨大。另外,在遇到需要跨业务系统查询数据时,需要多方开发人员进行接口对接,并将获取到的数据存在自己的业务系统中,这样获取数据的方法无法保证系统开发的及时性与准确性。
因此,本申请提出一种业务数据处理方法,该方法首先基于数据同步组件获取各初始业务数据并存储到列式数据库中,然后根据预先配置的业务质控策略及业务主题策略依次对初始业务数据进行质控处理及复合处理,再根据处理结果生成并输出业务主体策略对应的主题报表。本申请通过采集业务数据入列式数据库,然后通过业务质检策略和业务主题策略生成原子指标及复合指标,为业务系统灵活的提供所需数据。并且本方法不需要经过修改便可查询各业务系统的指标数据,因此可以减轻业务系统开发报表及监管大屏等模块的工作量。
图1为本实施例中提出的一种业务数据处理方法的应用场景。如图1所示,业务数据处理方法可以应用在具有计算处理能力的电子设备上,电子设备可以是服务器。服务器可以从预先设置的多个业务系统中获取多个初始业务数据,并将多个初始业务数据存储入列式数据库进行质控处理及复合处理,当用户需要查看数据时,服务器将复合处理好的数据发送到大屏进行显示。值得注意的是,业务系统可以是部署在服务器上的,本实施例对业务系统的部署位置不做限制。
接下来,参照图2对业务数据处理方法进行详细的介绍:
S201、基于数据同步组件获取各业务系统的各初始业务数据,并将初始业务数据存储入列式数据库中。
可选地,数据同步组件抽取交互加载(Extract-Transform-Load,ETL)工具可以将分布的、异构数据源中的数据,如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换及集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。举例来说,DataX为ETL工具的一种,其可以支持各种异构数据源之间稳定高效的数据同步功能。具体地,DataX的框架为Framework+Plugin,数据的同步步骤可以是将数据的读取及写入操作抽象为由读取(Reader)和写入(Writer)插件进行处理的步骤,其中,Reader为数据采集模块,用于从各业务系统中采集各初始业务数据,并将数据发送给Framework。Writer为数据写入模块,用于不断从Framework中取初始业务数据,并将数据写入列式数据库中。Framework为数据传输通道,并处理缓冲、流控、并发及数据转换等核心技术问题。
可选地,各业务系统可以包括公共卫生服务库、妇幼保健服务库、医院信息管理系统(Hospital Information System,HIS)、临床信息系统(Clinical Information System,CIS)、家庭医生签约系统及体检服务库等数据库及系统。从各业务系统中,可以提取多项初始业务数据,举例来说,初始业务数据可以是2023年1月出生人口数量等。
可选地,电子设备可以通过应用程序开发接口(Application ProgrammingInterface,API)从各业务系统获取初始业务数据。通过API衔接各业务系统,减小业务系统对接压力。
可选地,列式数据库将初始业务数据存储与列中,当需要访问数据库中数据中时,只访问表中目标数据的单个列即可,因此适合数据分析类型的场景,降低了输入输出工作量的体积,并且可以缓存更多的数据。距离来说,Clickhouse是一种用于联机分析(On-LineAnalytical Processing,OLAP)的列式数据库管理系统,适用于批量数据处理和即时查询,减少存储压力。值得注意的是,数据同步组件支持从关系型数据或者非关系数据库提取数据到列式数据库,并可以选择提取的数据类型,如全量数据及增量数据等。
S202、根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,质控后业务数据中包括多个原子指标。
可选地,业务质控策略可以是用户根据实际业务需要预先设置的,应用于业务质控管理系统,该系统可以基于有效性、及时性和完整性对初始业务数据进行质控处理。具体地,预先将各项业务的业务标准存储到列式数据库中,当进行质控处理时,计算预设时段内的各数据是否符合列式数据库中存储的对应业务类型的标准。
示例性地,业务质控管理系统可以如图3所示。在图3中,业务质控管理系统包括业务主题设置模块和质控管理模块,业务主题设置模块中包括主题数据有效性数据库、主题数据及时性数据库及主题完整性数据库,主题数据有效性数据库用于存储用户设置的数据有效性策略。示例性的,月度出生人数的数据中,数据单位应为“人”。主题数据及时性数据库用于存储用户设置的数据及时性策略。示例性的,2023年2月1日应获得2023年1月的出生人数数据。主题完整性数据库用于存储用户设置的数据完整性策略。示例性的,体检数据中,包括用户的身高和体重。
质控管理模块包括主题管理模块、主题数据有效性计算模块、主题数据及时性计算模块及主题数据完整性计算模块。其中,主题管理模块用于设置多个主题类型,并将各初始业务数据按照多个主题类型分类,得到多个主题业务数据。主题数据有效性计算模块用于将初始业务数据与主题数据有效性数据库中对应业务进行对比,得到有效性对比结果。主题数据及时性计算模块用于将初始业务数据与主题数据及时性数据库中对应业务进行对比,得到及时性对比结果。主题数据完整性计算模块用于将初始业务数据与主题数据完整性数据库中对应业务进行对比,得到完整性对比结果。然后根据上述有效性对比结果、及时性对比结果和完整性对比结果得到质控后业务数据。
值得注意的是,主题可以是展示在大屏上的多个数据统计集合。示例性地,一个场景的大屏可以包含体检主题、人口统计主题及医生主题这三个主题,分别用于展示体检相关数据、人口出生率等数据及医生执业情况等数据。
可选地,原子指标可以是没有经过处理的数据。例如,原子指标可以是月出生人数、日体检人数及日住院人数等。
可选地,质控后业务数据可以存储在列式数据库中的备份子数据库中。
S203、根据预先配置的业务主题策略对质控后业务数据进行复合处理,生成多个复合指标。
可选地,业务主题策略可以包含各原子指标及复合指标的分类及统计关系。具体的,可以将备份子数据库中的原子指标按照业务主题策略进行统计计算,生成多个指标数据及多个汇总数据,多个指标数据及多个汇总数据即为复合指标。
S204、根据多个原子指标以及多个复合指标,生成并输出业务主题策略对应的主题报表。
可选地,主题报表中可以包含多个指标数据、多个汇总数据和原子指标。
可选地,根据业务主题策略中指示的统计方式汇总原子指标和复合指标,生成主题报表。其中,业务主题策略中可以包括各个场景下大屏包括的主题,及各主题中需要展示的复合数据和原子指标。
作为一种可选的实施方式,业务主题策略可以应用于业务主题管理系统,该系统可以如图4所示,在图4中,业务主题管理系统可以包括主题设置模块、主题管理模块、主题模块及指标查询模块。其中,主题设置模块包括主题指标设置库及主题汇总设置库。主题指标设置库用于存储用户预先设置的主题和各指标数据的包含关系,主题汇总设置库用于存储用户预先设置的主题与各指标数据基于各维度的汇总关系,基于各维度的汇总关系例如可以是A主题包括了a维度指标数据和b维度指标数据,维度可以是汇总指标数据的条件,例如按照性别汇总指标数据。作为一种可选的实施方式,A主题中可以包含a维度指标数据和b维度指标数据,以及c指标数据,其中,c指标数据不按照维度进行统计。
主题管理模块用于对业务主题策略进行统一的管理,包括主题指标设置模块及主题汇总设置模块。其中,主题指标设置模块用于根据主题指标设置库中的主题和指标数据的包含关系,在质控后业务数据中统计主题中包含的指标数据。主题汇总设置模块用于根据主题汇总设置库中主题与汇总数据之间的包含关系,在质控后业务数据中各指标数据中按照维度进行汇总,得到汇总数据。其中,汇总数据也可以包含同一维度的质控后业务数据及指标数据。
主题模块包括能够进行复合处理的主题。示例性的,主题模块可以包括医生主题、出生统计主题及体检主题。
指标模块用于根据预先设置的原子指标和指标数据之间的包含关系统计指标数据并进行计算,得到指标数据。值得注意的是,指标模块可以响应用户查询单个指标的指令。
值得注意的是,大屏显示过程可以如图5所示,预先对当前待显示大屏进行设置,设置内容可以包括大屏所包含的主题报表,然后根据指标模块查询列式数据库中主题子数据库中的主题报表,并将查询到的主题报表显示在大屏上。
本实施例中,首先基于数据同步组件获取各业务系统的各初始业务数据,并将初始业务数据存储入列式数据库中,通过列式数据库按列并按向量存储数据,不仅可以快速高效的分析数据,且提高中央处理器的使用效率,将占用的空间大大缩小至关系型数据库的五分之一。然后根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,从而保证初始业务数据的准确性,提高数据处理效率,避免处理无效业务数据,导致时间浪费。然后根据预先配置的业务主题策略对质控后业务数据进行复合处理,生成多个复合指标,再根据多个原子指标以及多个复合指标,生成并输出业务主题策略对应的主题报表,从而根据业务主题策略获得用户需要的复合指标,并生成主题报表展示在大屏上,满足用户需求。通过本实施例可以有效隔离统计分析应用对业务开展的压力,保证业务数据处理的简单性、安全性和稳定性。同时,业务质控策略和业务主题策略均为用户预先设置,保证了业务数据处理的灵活性。
接下来,参照图6对上述步骤S202中,根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,进行介绍:
S601、遍历各初始业务数据,针对遍历到的当前初始业务数据,判断当前初始业务数据是否符合业务质控策略。
可选地,初始业务数据可以包括多种类型的数据。示例性地,可以包括人口数量、体检项目、医生履历等。
可选地,在判断当前初始业务数据是否符合业务质控策略时,首先需要将当前初始业务数据的类型和业务质控策略中数据的类型相对应。举例来说,若当期初始业务数据为人口数量,则需要判断当前出生业务数据是否符合业务质控策略中人口数量的标准,即数据的完整性、有效性和及时性。
S602、若是,则将当前初始业务数据作为一个质控后业务数据。
可选地,质控后业务数据满足业务质控策略,具有完整性、有效性和及时性。
S603、若否,则剔除当前初始业务数据。
可选地,若当前初始业务数据不符合业务质控策略,则从当前初始业务数据中剔除,不将其作为质控后业务数据。
本实施例中,遍历各初始业务数据,并判断遍历到的当前初始业务数据是否符合业务质控策略,若是,则将其作为质控后业务数据,若否,则提出当前初始业务数据。通过判断业务数据是否符合业务质控策略,从而保证数据的完整性、有效性和及时性,避免无效数据进行复合处理,从而影响复合结果,导致主题报表中的数据不准确。
作为一种可选的实施方式,在根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据之后,还可以包括如下步骤:
可选地,对剔除的当前业务数据进行汇总处理,得到剔除汇总结果。根据剔除汇总结果,生成质控报告。
可选地,可以按照预设的质控报告汇总策略对剔除的当前业务数据进行汇总处理。示例性地,质控报告汇总策略可以是将同类型的剔除的当前业务数据进行归类统计。
可选地,质控报告可以包括按照类型排布的剔除的当前业务数据。当用户需要查看被剔除的数据,或者需要查看质控后数据包括那些原子指标时,均可以通过大屏查看质控报告。值得说明的是,大屏中展示质控报告入口按钮,用户点击大屏中质控报告入口按钮进入质控报告展示页面。
作为一种可选的实施方式,若剔除的当前业务数据过多,则用户可以根据实际需要调整业务质控策略,或者更改初始业务数据的数据源,即业务系统,从而保证能够生成足量的质控后业务数据。
值得注意的是,电子设备可以按照预设时间周期清空质控报告。示例性的,可以在每年的1月1日0时清空质控报告。
本实施例中,对剔除的当前业务数据进行汇总处理,得到剔除汇总结果并生成质控报告,从而直观的为用户展示已剔除的数据,保证质控处理的准确性。
接下来,对上述步骤S203中根据预先配置的业务主题策略对质控后业务数据进行复合处理,生成多个复合指标,进行介绍:
可选地,根据业务主题策略,从质控后业务数据中提取多个目标原子指标。
可选地,可以根据业务主题策略中主题和各项指标的包含关系、各项指标与各原子质保的包含关系、主题与各项汇总数据的包含关系、汇总数据与指标数据和原子指标之间的包含关系等,确定目标原子指标。其中,目标原子指标可以用于进行汇总计算,生成指标数据,也可以用于与至少一个指标数据结合,生成汇总数据。也就是说,目标原子指标是当前需要汇总的主题需要统计分析及展示的所有原子指标。
可选地,根据业务主题策略,对多个目标原子指标进行复合计算,得到多个复合指标。
可选地,复合计算可以包括根据目标原子指标生成指标数据,及根据原子指标和指标数据生成汇总数据。复合指标可以包括指标数据和汇总数据。
本实施例中,根据业务主题策略,从质控后业务数据中提取多个目标原子指标,根据业务主题策略,对多个目标原子指标进行复合计算,得到多个复合指标,从而根据用户需要汇总目标原子指标,提高数据处理的灵活性。
值得注意的是,业务质控策略以及业务主题策略分别存储在列式数据库中。
可选地,可以将列式数据库划分为多个子数据库,包括备份子数据库、策略子数据库及主题子数据库等。其中,策略子数据库用于存储主题数据有效性数据库、主题数据及时性数据库、主题完整性数据库、主题指标设置库、主题维度设置库、主题指标设置库及汇总主题数据设置库。主题子数据库存储有多个主题报表。备份子数据库中可以存储原子指标及复合指标。
本实施例中,通过将业务质控策略以及业务主题策略分别存储在列式数据库中,从而使列式数据库内存储的数据能够按照业务质控策略以及业务主题策略分别进行质控处理及复合处理,提高数据处理效率。
作为一种可选的实施方式,在基于数据同步组件获取各业务系统的初始业务数据的步骤中:
可选地,按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据。
可选地,可以设置数据的获取周期,并按照获取周期获取初始业务数据。举例来说,每隔一分钟从各业务系统中获取一次初始业务数据。
本实施例中,按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据,从而实现数据的自动读取。
作为一种可选的实施方式,在上述步骤S204中输出所述业务主题策略对应的主题报表之后还可以进行如下步骤:
可选地,响应用户的指标查询指令,输出指标查询指令指示的指标数据。
可选地,用户可以通过大屏输入指标查询指令。指标查询指令例如可以是:查询2023年A省人口出生率。
本实施例中,通过输出指标数据可以灵活的响应用户多样的查询需求。
基于同一发明构思,本申请实施例中还提供了与业务数据处理方法对应的业务数据处理装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述业务数据处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图7所示,为本申请实施例提供的一种业务数据处理装置的示意图,所述装置包括:获取模块701、质控处理模块702、复合处理模块703和输出模块704;其中:
获取模块701,用于基于数据同步组件获取各业务系统的各初始业务数据,并将初始业务数据存储入列式数据库中;
质控处理模块702,用于根据预先配置的业务质控策略对初始业务数据进行质控处理,得到质控后业务数据,质控后业务数据中包括多个原子指标;
复合处理模块703,用于根据预先配置的业务主题策略对质控后业务数据进行复合处理,生成多个复合指标;
输出模块704,用于根据多个原子指标以及多个复合指标,生成并输出业务主题策略对应的主题报表。
可选地,质控处理模块702具体用于:
遍历各初始业务数据,针对遍历到的当前初始业务数据,判断当前初始业务数据是否符合业务质控策略;
若是,则将当前初始业务数据作为一个质控后业务数据;
若否,则剔除当前初始业务数据。
可选地,质控处理模块702还用于:
对剔除的当前业务数据进行汇总处理,得到剔除汇总结果;
根据剔除汇总结果,生成质控报告。
可选地,复合处理模块703具体用于:
根据业务主题策略,从质控后业务数据中提取多个目标原子指标;
根据业务主题策略,对多个目标原子指标进行复合计算,得到多个复合指标。
可选地,业务质控策略以及业务主题策略分别存储在列式数据库中。
可选地,获取模块701具体用于:
按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据。
可选地,输出模块还用于:
响应用户的指标查询指令,输出指标查询指令指示的指标数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本申请实施例还提供了一种电子设备,如图8所示,为本申请实施例提供的电子设备结构示意图,包括:处理器801、存储器802和总线。所述存储器802存储有所述处理器801可执行的机器可读指令(比如,图8中的装置中获取模块701、质控处理模块702、复合处理模块703和输出模块704对应的执行指令等),当计算机设备运行时,所述处理器801与所述存储器802之间通过总线通信,所述机器可读指令被所述处理器801执行时执行上述业务数据处理方法的处理。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述业务数据处理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种业务数据处理方法,其特征在于,所述方法包括:
基于数据同步组件获取各业务系统的各初始业务数据,并将所述初始业务数据存储入列式数据库中;
根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,所述质控后业务数据中包括多个原子指标;
根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标;
根据所述多个原子指标以及所述多个复合指标,生成并输出所述业务主题策略对应的主题报表。
2.根据权利要求1所述的方法,其特征在于,所述根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,包括:
遍历各初始业务数据,针对遍历到的当前初始业务数据,判断所述当前初始业务数据是否符合所述业务质控策略;
若是,则将所述当前初始业务数据作为一个质控后业务数据;
若否,则剔除所述当前初始业务数据。
3.根据权利要求2所述的方法,其特征在于,所述根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据之后,还包括:
对剔除的当前业务数据进行汇总处理,得到剔除汇总结果;
根据所述剔除汇总结果,生成质控报告。
4.根据权利要求1所述的方法,其特征在于,所述根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标,包括:
根据所述业务主题策略,从所述质控后业务数据中提取多个目标原子指标;
根据所述业务主题策略,对所述多个目标原子指标进行复合计算,得到所述多个复合指标。
5.根据权利要求1所述的方法,其特征在于,所述业务质控策略以及所述业务主题策略分别存储在所述列式数据库中。
6.根据权利要求1所述的方法,其特征在于,所述基于数据同步组件获取各业务系统的初始业务数据,包括:
按照预设的获取周期,基于数据同步组件获取各业务系统的初始业务数据。
7.根据权利要求6所述的方法,其特征在于,所述输出所述业务主题策略对应的主题报表,还包括:
响应用户的指标查询指令,输出指标查询指令指示的指标数据。
8.一种业务数据处理装置,其特征在于,所述装置包括:
获取模块,用于基于数据同步组件获取各业务系统的各初始业务数据,并将所述初始业务数据存储入列式数据库中;
质控处理模块,用于根据预先配置的业务质控策略对所述初始业务数据进行质控处理,得到质控后业务数据,所述质控后业务数据中包括多个原子指标;
复合处理模块,用于根据预先配置的业务主题策略对所述质控后业务数据进行复合处理,生成多个复合指标;
输出模块,用于根据所述多个原子指标以及所述多个复合指标,生成并输出所述业务主题策略对应的主题报表。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述处理器执行所述程序指令,以执行时执行如权利要求1至7任一所述的业务数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的业务数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410021052.0A CN117827844A (zh) | 2024-01-05 | 2024-01-05 | 业务数据处理方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410021052.0A CN117827844A (zh) | 2024-01-05 | 2024-01-05 | 业务数据处理方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117827844A true CN117827844A (zh) | 2024-04-05 |
Family
ID=90511385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410021052.0A Pending CN117827844A (zh) | 2024-01-05 | 2024-01-05 | 业务数据处理方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117827844A (zh) |
-
2024
- 2024-01-05 CN CN202410021052.0A patent/CN117827844A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2012250238B2 (en) | Joining tables in a mapreduce procedure | |
US8341131B2 (en) | Systems and methods for master data management using record and field based rules | |
US9378271B2 (en) | Database system for analysis of longitudinal data sets | |
CN107748752B (zh) | 一种数据处理方法及装置 | |
CN106933859B (zh) | 一种医疗数据的迁移方法和装置 | |
CN110414259B (zh) | 一种构建数据类目、实现数据共享的方法及设备 | |
CN114428822B (zh) | 一种数据处理的方法、装置、电子设备及存储介质 | |
CN113064897B (zh) | 一种业务指标模型的生成方法、装置、设备及存储介质 | |
CN107526755B (zh) | 数据的处理方法及装置 | |
US20180365626A1 (en) | Systems and methods for creating and managing dynamic user teams | |
CN114649074A (zh) | 一种病历数据处理方法、平台和装置 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN113849702A (zh) | 一种确定目标数据的方法、装置、电子设备及存储介质 | |
CN111190965A (zh) | 基于文本数据的即席关系分析系统及方法 | |
CN110502529B (zh) | 数据处理方法、装置、服务器及存储介质 | |
Tadele Taye et al. | FAIR Equivalency with regulatory framework for digital health in Ethiopia | |
CN117827844A (zh) | 业务数据处理方法、装置、电子设备和可读存储介质 | |
US20090144242A1 (en) | Indexer for searching research data | |
CN108228838A (zh) | 一种业务数据的变更方法和变更装置 | |
CN113505172B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN112966024A (zh) | 一种基于大数据的金融风控数据分析系统 | |
CN115794827B (zh) | 一种数据表结构管理系统和方法 | |
CN117076515B (zh) | 医疗管理系统中元数据的溯源方法、装置、服务器及存储介质 | |
CN107958011B (zh) | 一种基于Discuz社区的快速统计方法 | |
Rittman | Event Data and Relationships Metadata |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |