CN117785983A - 目标对象评估方法、系统、电子设备及存储介质 - Google Patents
目标对象评估方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117785983A CN117785983A CN202410185966.0A CN202410185966A CN117785983A CN 117785983 A CN117785983 A CN 117785983A CN 202410185966 A CN202410185966 A CN 202410185966A CN 117785983 A CN117785983 A CN 117785983A
- Authority
- CN
- China
- Prior art keywords
- data
- entity
- target object
- standardized
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000007619 statistical method Methods 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 9
- 238000004220 aggregation Methods 0.000 claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 23
- 238000011161 development Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供了一种目标对象评估方法、系统、电子设备及存储介质,属于数据处理技术领域。其中方法包括:对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;将原始数据存入数据仓库的初步存储层,得到数据源实体;将数据源实体标准化,得到标准化数据,将标准化数据汇聚至数据仓库的实体层,得到资源实体;基于预设算法对资源实体进行计算和统计分析,得到因子化数据,因子化数据包括算法结果数据和统计分析数据;将因子化数据提交至接口层,根据数据作业计划对因子化数据进行处理,得到评估结果。本申请采用大数据平台结合数据治理的思想,提高了对目标对象的评估的灵活性和可靠性。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种目标对象评估方法、系统、电子设备及存储介质。
背景技术
面向监管区域监管对象进行评估,是监管区域中监管对象日常管理教育和管理工作的基础重要工作之一,所有进行教育的监管对象,都需要按照监管区域管理要求和教育办法,进行各种方向的评估,这些评估覆盖身心健康状态、职业能力、社会适应性、教育难易度等维度。
然而,传统的监管区域评估系统中的各评估维度是独立的,这也就导致了系统间的数据不能有效地共享、复用。在综合报告环节,往往需要大量的人力工作来对数据进行提取、汇总以构建报告和报表。此外,若是通过如人工智能等新进的手段进行评估,因为数据的孤立性,也很难从全局维度进行综合考量,无法很好的利用数据样本。
发明内容
为了解决上述技术问题,本申请实施例提供了一种目标对象评估方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种目标对象评估方法,所述方法包括:
对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
对所述资源实体进行算法计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
在一实施方式中,所述对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据,包括:
基于ETL方法对多个所述业务系统进行数据抽取和转换,并加载入所述数据仓库。
在一实施方式中,所述将所述数据源实体标准化,得到标准化数据,包括:
判断所述数据源实体是否为结构化数据;
若所述数据源实体为结构化数据,则通过全局数据库模型形成唯一数据表,将所述唯一数据表确定为所述标准化数据;
若所述数据源实体为非结构化数据,则通过特征处理,形成所述数据源实体对应的特征文件,将所述特征文件确定为所述标准化数据。
在一实施方式中,所述将所述数据源实体标准化,得到标准化数据,还包括:
对所述数据源实体进行数据清洗和数据转换。
在一实施方式中,所述将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体,包括:
对所述标准化数据进行关系分析,得到所述资源实体;
在一实施方式中,所述对所述标准化数据进行关系分析,包括:
对所述标准化数据进行目标结果表设计和过程建模,得到所述资源实体所述资源实体包括最终结果表元数据和建模过程表。
第二方面,本申请实施例提供了一种目标对象评估系统,所述系统包括采集汇聚子系统和综合数据应用子系统,所述系统包括:
所述采集汇聚子系统,用于对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
所述综合数据应用子系统,用于将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
所述综合数据应用子系统,用于将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
所述综合数据应用子系统,用于对所述资源实体进行算法计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
所述综合数据应用子系统,用于将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
在一实施方式中,所述采集汇聚子系统,还用于:
基于ETL方法对多个所述业务系统进行数据抽取和转换,并加载入所述数据仓库。
第三方面,本申请实施例提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述计算机程序在所述处理器运行时执行第一方面提供的目标对象评估方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行第一方面提供的目标对象评估方法。
本实施例提供的目标对象评估方法,采用成熟技术平台,提高灵活性和可靠性;支持多模态数据采集;数据汇聚面向的目标是业务系统、量表、问卷,这些数据中包含结构化和非结构化数据,还包含媒体类数据,支持全域全量采集这些不同模态的数据,统一管理。此外,还包括在线可插拔式数据处理组件开发,基于数据平台,算法处理和统计分析模块,可以直接在平台中进行编写和上线,且即插即用。降低了整个系统的开发管理难度,同时又大大提高了灵活性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的目标对象评估方法的流程示意图;
图2为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之一;
图3为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之二;
图4为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之三;
图5为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之四;
图6为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之五;
图7为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之六;
图8为本申请实施例提供的目标对象评估方法的一具体实施方式的示意图之七。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
实施例1
面向监管区域监管对象进行评估,是监管区域中监管对象日常管理教育和管理工作的基础重要工作之一,所有进行教育的监管对象,都需要按照监管区域管理要求和教育办法,进行各种方向的评估,这些评估覆盖身心健康状态职业能力、个体危险性、社会适应性、教育难易度几大维度。
传统的监管区域评估系统可以参见图2,采用分而治之、面向评估方向的方式进行组织,各系统相对独立,其独立性体现在数据层面的独立性。
按各评估维度,分别开展独立的系统建设工作,而这些系统间的数据不能有效地共享、复用。在综合报告环节,往往需要大量的人力工作来对数据进行提取、汇总以构建报告和报表。另一方面,因为数据的孤立性,监管区域很难从一个全局维度来对监管对象进行综合考量,新进的手段诸如人工智能等,也无法很好的利用这些数据样本。
基于此,本申请实施例将监管区域中的监管对象作为目标对象,提供了一种目标对象评估方法,应用于目标对象评估系统。
具体的,参见图1,所述方法包括:
步骤S110,对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
请参见图3,相对于传统技术方案,本申请在技术架构上增加了一个数据平台层,对已建设的业务系统不产生影响。基于数据平台,完成对监管区域评估业务的数据治理工作,其核心处理逻辑可以参见图4。
在一实施方式中,所述对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据,包括:基于ETL方法对多个所述业务系统进行数据抽取和转换,并加载入所述数据仓库。
ETL方法是将数据从来源端经过抽取、转换、加载至目的端,是构建数据资产的处理过程。算法主要实现按各评估维度处理数据的过程。利用大数据开发实现数据资产到应用资产开发的任务管理和任务调度。为了实现综合评估应用,按照应用资产模型,从DW数据中独立出来一部分数据,通过算法模型和数据处理过程,形成DM层数据,也可称为主题数据或应用资产数据,经过数据应用开发供上层业务应用直接使用。
步骤S120,将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
按照监管区域各业务系统的业务规则和综合评估业务目标,通过数据建模,管理数据源模型、资源实体模型和应用资产模型。数据源是所使用的数据具体来源,包括监管区域现有亲情会见系统、亲情电话系统、短信系统、生卫系统、医疗系统、档卡系统等。数据源模型定义了原始数据在数据平台中组织和存放的方法,通过数据集成技术提取业务系统数据,并将数据汇聚到数据平台中的操作性数据ODS层,形成数据源实体。具体实施时结构化数据通过全局数据库模型设计,形成标准的、权威的唯一数据表,非结构化数据(如视频、图片等)通过基于场景需求的特征处理,形成特征文件进行存储,并提供统一的“数据(图片、音频等)—标签”的存储方式和快速定位检索的能力。
步骤S130,将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
在一实施方式中,所述将所述数据源实体标准化,得到标准化数据,包括:判断所述数据源实体是否为结构化数据;若所述数据源实体为结构化数据,则通过全局数据库模型形成唯一数据表,将所述唯一数据表确定为所述标准化数据;若所述数据源实体为非结构化数据,则通过特征处理,形成所述数据源实体对应的特征文件,将所述特征文件确定为所述标准化数据。
在一实施方式中,所述将所述数据源实体标准化,得到标准化数据,还包括:对所述数据源实体进行数据清洗和数据转换。
以汇聚的ODS层数据为基础,按照资源实体模型标准,经过数据清洗、数据转换过程形成标准数据汇聚到数据仓库DW层,形成资源实体。主要通过对存储的数据源实体的数据进行关系分析,探索数据源实体内各表之间的关系,通过梳理表之间的相关关系,从而形成资源实体。资源实体的形成过程需要进行目标结果表设计与过程建模,产生最终结果表元数据与建模过程表,这些内容可在数据平台进行统一的展示与管理。具体实施时会形成如监管对象订单表、收支明细简表、职业技能训练表、社会适应性训练表等。
在一实施方式中,所述将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体,包括:对所述标准化数据进行关系分析,得到所述资源实体。所述对所述标准化数据进行关系分析,得到所述资源实体,包括:对所述标准化数据进行目标结果表设计和过程建模,得到所述资源实体所述资源实体包括最终结果表元数据和建模过程表。
步骤S140,基于预设算法对所述资源实体进行计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
数据平台提供完整的大数据技术支持架构,能够完成采集、处理、加工、质量管理、数据发布等处理过程。数据平台的架构如图5。
数据采集实现对结构化、半结构化、非结构化数据源数据进行采集,并将采集的数据存储至数据平台的目标数据存储中。数据采集通过数据库连接组件、API、Excel文件导入工具等多种方式完成不同数据源的数据接入,支持数据全量、增量两种同步方式。
数据开发提供了一个数据融合生产的工作环境。数据开发以实际业务需求为导向,支持各类数据处理组件(包含SQL 脚本、Java 脚本、Python 脚本、docker镜像包、数据清洗规则、实时计算、机器学习等)的组合混编,帮助用户快速构建数据处理工作流。数据开发作业区采用可视化图形任务编排,通过拖拽的操作方式,即可完成开发任务的作业流向、执行参数、环境变量、调度逻辑等配置。
数据模型管理提供数据源实体模型、资产源实体模型、资产实体模型的管理能力。支持按实体模型ID、实体模型名称对数据实体进行查询,查询结果以列表进行显示,支持实体模型的启用、禁用等功能。
数据资产管理构建一个完善的数据资产管理体系。资产全貌提供可视化图表方式对数据资产按不同维度进行呈现。资产地图提供多层次的数据资产展现能力,对数据源模型、数据实体模型、数据资产模型呈现全景数据流向。资产目录树以树形的方式,对数据资产进行组织,呈现数据资产情况。血缘分析对数据中台中的数据实体、数据资产提供图形化方式展现其数据的产生过程和数据来源血缘关系。
数据存储管理针对结构化数据和非结构化数据提供数据存储能力,支持各类典型关系型数据库的数据存储和音、视、图、文等非结构化数据存储,同时,支持Kafka消息队列流式存储机制。
数据平台的资源管理提供适配开发任务运行的计算资源调度能力,提供任务执行的高可用、资源弹性伸缩适配能力,同时,对开发任务的状态进行图形化监控。
步骤S150,将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
综上,本申请提供了一种面向监管区域监管对象的目标对象评估方法,提出了一种采用大数据处理方法论,以数据平台作为底座,以数据治理为核心手段的系统构建逻辑,来支撑监管区域评估业务的系统建设。其核心点在于,使用ETL的思想对监管区域各业务系统数据进行治理;使用数据平台对各现存业务系统的数据进行汇聚,形成监管区域数据的ODS层;以汇聚数据为基础,按照算法和共享标准制定DW层,作后续数据共享、算法开发的数据基础;以DM层数据为基础,通过OLTP处理,对新建业务系统、报表和报告提供数据接口支撑。
本实施例提供的目标对象评估方法,采用成熟技术平台,提高灵活性和可靠性;支持多模态数据采集;数据汇聚面向的目标是业务系统、量表、问卷,这些数据中包含结构化和非结构化数据,还包含媒体类数据(录像、录音),支持全域全量采集这些不同模态的数据,统一管理。此外,还包括在线可插拔式数据处理组件开发,基于数据平台,算法处理和统计分析模块,可以直接在平台中进行编写和上线,且即插即用。降低了整个系统的开发管理难度,同时又大大提高了灵活性。
实施例2
此外,本公开实施例提供了一种目标对象评估系统。
具体的,所述系统包括:
所述系统包括采集汇聚子系统和综合数据应用子系统,所述系统包括:
所述采集汇聚子系统,用于对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
所述综合数据应用子系统,用于将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
所述综合数据应用子系统,用于将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
所述综合数据应用子系统,用于对所述资源实体进行算法计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
所述综合数据应用子系统,用于将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
具体地,采集汇聚子系统完成从各历史业务系统采集原始数据,通过关系型数据采集将业务系统的关系型数据库中的原始数据汇聚到ODS层。另一方面,评估业务中所提供的“量表”、“问卷”、“事件记录”、“业务记录”等电子化数据记录工具通过与数据平台打通,其构建过程直接可以生成数据平台中ODS层的模型,产生的数据将直接写入ODS层模型表中完成汇聚。
采集汇聚子系统的架构可以参见图6,采集汇聚子系统包含数据汇聚、算法和因子库、量表管理和评估管理模块。
数据汇聚模块基于大数据平台的数据集成能力完成多业务、多来源、多模态监管对象数据的接入与治理,主要采集业务数据和多维数据。多维数据主要是半结构化和非结构化数据,包含有人脸识别数据、亲情关系数据、音频转文本数据、短信数据等。
算法和因子库模块基于数据平台的资产管理功能构建,主要用于系统中所有评估算法因子指标的查询、管理和维护。可按算法或因子名称进行因子的查询和查看,提供因子的创建、因子的删除操作,可对因子的名称、描述和溯源进行编辑维护。
量表管理主要用于评估量表和问卷表的配置生成。基于底层的表单服务引擎能实现量表问卷内容的配置编辑,可配置量表问卷的名称和别名(仅监管对象可见),配置量表问卷中的题目,配置字段的可见性,实现量表的解释和最终结果的渲染效果,配置完成后,进行量表和问卷的发布使用。
评估管理提供评估业务在不同阶段的评估流程和审批流程的自定义配置功能。配置评估流程时可通过在开始节点和结束节点之间拖拽问卷、量表、报告、算法、标签等节点组成一个完整的评估流程。支持配置流程的发起权限、查看权限和流程的审核人员。
整体数据流向可以参见图7,针对监管区域业务系统的关系型数据库采集,使用数据平台提供的数据集成任务模块,采用定时采集或手动采集的方式构建采集任务,进行周期性增量或全量采集。对于自建量表、问卷等数据搜集业务,使用表单流程引擎实现线上填报任务手动采集,由工作人员或监管对象根据评估任务执行情况填报数据,采集的数据内容通过对接的方式直接将数据写入ODS数据源模型中。存储的数据通过数据治理对数据进一步标准化后形成评估算法处理和统计分析计算所需要的数据资源实体模型,以支撑上层评估业务的开展。同时,由评估算法和数据计算处理后的结果数据将存储在数据应用资产模型中,通过数据接口的方式进行数据提取,满足评估报告对评估结果数据的查询。
综合数据应用子系统用于原始数据标准建设、实体层建设和数据服务化。
原始数据标准建设包括:采集的数据,由于来自于分而治之的各个评估业务系统,同时,还有大量的非评估业务系统的数据,比如生产数据、劳动数据、健康数据等,都需要进行汇聚。而采集汇聚的根本目的,是为下一步在数据平台中进行算法计算、统计分析作准备,经过算法计算和统计分析得到的数据,会进入DW层。
面向监管区域监管对象的综合评估数据治理,需要考虑泛化性和适应性以及扩展性,且数据治理过程中,分层治理的思想是根本,因此要对每一层的数据进行标准化建设。
面向监管区域监管对象的综合评估数据治理中,最终是围绕评估开展工作。数据汇聚以后,根本目的是为评估算法处理和统计分析计算提供数据支撑。在治理过程中,将评估算法处理和统计分析计算所需要的数据进一步标准化后,可形成面向监管对象综合评估数据治理的数据仓库层,也即数据平台中的实体层。
治理过程主要工作为实体层标准化建设,以及相应的数据清洗工作,在面向监管区域监管对象综合评估数据治理过程中,我们称之为因子化过程。
实体层的因子化数据与算法、统计之间的关系请参见图8。
数据服务化包括:面向监管区域监管对象的综合评估数据治理的最后一个环节,是将算法结果数据、统计分析数据提交到DM层也即接口层,提供数据服务给综合评估系统以及报告报表子系统。采用数据平台对这些数据进行进一步的处理,可以使用平台提供的数据作业计划编排,串联多个OLTP单元进行数据处理,最终得到结果。
本实施例提供的目标对象评估系统可以实现实施例1所提供的目标对象评估方法,为避免重复,在此不再赘述。
实施例3
此外,本公开实施例提供了一种电子设备,包括存储器以及处理器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行实施例1所提供的目标对象评估方法。
本发明实施例提供的电子设备可以实现实施例1所提供的目标对象评估方法,为避免重复,在此不再赘述。
实施例4
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现实施例1所提供的目标对象评估方法。
在本实施例中,计算机可读存储介质可以为只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本实施例提供的计算机可读存储介质可以实现实施例1所提供的目标对象评估方法,为避免重复,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种目标对象评估方法,其特征在于,应用于目标对象评估系统,所述方法包括:
对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
基于预设算法对所述资源实体进行计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
2.根据权利要求1所述的目标对象评估方法,其特征在于,所述对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据,包括:
基于ETL方法对多个所述业务系统进行数据抽取和转换,并加载入所述数据仓库。
3.根据权利要求1所述的目标对象评估方法,其特征在于,所述将所述数据源实体标准化,得到标准化数据,包括:
判断所述数据源实体是否为结构化数据;
若所述数据源实体为结构化数据,则通过全局数据库模型形成唯一数据表,将所述唯一数据表确定为所述标准化数据;
若所述数据源实体为非结构化数据,则通过特征处理,形成所述数据源实体对应的特征文件,将所述特征文件确定为所述标准化数据。
4.根据权利要求1所述的目标对象评估方法,其特征在于,所述将所述数据源实体标准化,得到标准化数据,还包括:
对所述数据源实体进行数据清洗和数据转换。
5.根据权利要求1所述的目标对象评估方法,其特征在于,所述将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体,包括:
对所述标准化数据进行关系分析,得到所述资源实体。
6.根据权利要求5所述的目标对象评估方法,其特征在于,所述对所述标准化数据进行关系分析,得到所述资源实体,包括:
对所述标准化数据进行目标结果表设计和过程建模,得到所述资源实体所述资源实体包括最终结果表元数据和建模过程表。
7.一种目标对象评估系统,其特征在于,所述系统包括采集汇聚子系统和综合数据应用子系统,所述系统包括:
所述采集汇聚子系统,用于对目标对象对应的多个业务系统进行数据采集和汇聚,得到原始数据;
所述综合数据应用子系统,用于将所述原始数据存入数据仓库的初步存储层,得到数据源实体;
所述综合数据应用子系统,用于将所述数据源实体标准化,得到标准化数据,将所述标准化数据汇聚至所述数据仓库的实体层,得到资源实体;
所述综合数据应用子系统,用于基于预设算法对所述资源实体进行计算和统计分析,得到因子化数据,所述因子化数据包括算法结果数据和统计分析数据;
所述综合数据应用子系统,用于将所述因子化数据提交至接口层,根据数据作业计划对所述因子化数据进行处理,得到评估结果。
8.根据权利要求7所述的目标对象评估系统,其特征在于,所述采集汇聚子系统,还用于:
基于ETL方法对多个所述业务系统进行数据抽取和转换,并加载入所述数据仓库。
9.一种电子设备,其特征在于,包括存储器以及处理器,所述存储器存储有计算机程序,所述计算机程序在所述处理器运行时执行权利要求1至6中任一项所述的目标对象评估方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的目标对象评估方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410185966.0A CN117785983A (zh) | 2024-02-20 | 2024-02-20 | 目标对象评估方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410185966.0A CN117785983A (zh) | 2024-02-20 | 2024-02-20 | 目标对象评估方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117785983A true CN117785983A (zh) | 2024-03-29 |
Family
ID=90387342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410185966.0A Pending CN117785983A (zh) | 2024-02-20 | 2024-02-20 | 目标对象评估方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117785983A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
CN112818048A (zh) * | 2021-01-28 | 2021-05-18 | 北京软通智慧城市科技有限公司 | 数据仓库的分层构建方法、装置、电子设备及存储介质 |
CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
CN114490886A (zh) * | 2021-12-29 | 2022-05-13 | 北京航天智造科技发展有限公司 | 一种基于数据仓库的工业操作系统数据湖建设方法 |
CN114756563A (zh) * | 2022-05-06 | 2022-07-15 | 焦点科技股份有限公司 | 一种互联网多种复杂业务线并存的数据治理系统 |
CN115309724A (zh) * | 2022-08-26 | 2022-11-08 | 宁博数字技术有限公司 | 一种用于产业分析的数据仓库设计及数据分析加速系统 |
CN115391432A (zh) * | 2022-10-28 | 2022-11-25 | 中国电子科技集团公司第十五研究所 | 司法大数据处理方法、系统、服务器及存储介质 |
CN115934856A (zh) * | 2022-12-05 | 2023-04-07 | 石家庄科林云能信息科技有限公司 | 一种构造综合能源数据资产的方法和系统 |
CN116450620A (zh) * | 2023-06-12 | 2023-07-18 | 中国科学院空天信息创新研究院 | 面向多源多域时空基准数据的数据库设计方法及系统 |
CN116719799A (zh) * | 2023-05-06 | 2023-09-08 | 神彩科技股份有限公司 | 环保数据治理方法、装置、计算机设备和存储介质 |
CN116795816A (zh) * | 2023-05-26 | 2023-09-22 | 厦门市美亚柏科信息股份有限公司 | 一种基于流式处理的数仓建设方法和系统 |
-
2024
- 2024-02-20 CN CN202410185966.0A patent/CN117785983A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699175A (zh) * | 2021-01-15 | 2021-04-23 | 广州汇智通信技术有限公司 | 一种数据治理系统及其方法 |
CN112818048A (zh) * | 2021-01-28 | 2021-05-18 | 北京软通智慧城市科技有限公司 | 数据仓库的分层构建方法、装置、电子设备及存储介质 |
CN112883001A (zh) * | 2021-01-28 | 2021-06-01 | 国网冀北电力有限公司智能配电网中心 | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 |
CN114490886A (zh) * | 2021-12-29 | 2022-05-13 | 北京航天智造科技发展有限公司 | 一种基于数据仓库的工业操作系统数据湖建设方法 |
CN114756563A (zh) * | 2022-05-06 | 2022-07-15 | 焦点科技股份有限公司 | 一种互联网多种复杂业务线并存的数据治理系统 |
CN115309724A (zh) * | 2022-08-26 | 2022-11-08 | 宁博数字技术有限公司 | 一种用于产业分析的数据仓库设计及数据分析加速系统 |
CN115391432A (zh) * | 2022-10-28 | 2022-11-25 | 中国电子科技集团公司第十五研究所 | 司法大数据处理方法、系统、服务器及存储介质 |
CN115934856A (zh) * | 2022-12-05 | 2023-04-07 | 石家庄科林云能信息科技有限公司 | 一种构造综合能源数据资产的方法和系统 |
CN116719799A (zh) * | 2023-05-06 | 2023-09-08 | 神彩科技股份有限公司 | 环保数据治理方法、装置、计算机设备和存储介质 |
CN116795816A (zh) * | 2023-05-26 | 2023-09-22 | 厦门市美亚柏科信息股份有限公司 | 一种基于流式处理的数仓建设方法和系统 |
CN116450620A (zh) * | 2023-06-12 | 2023-07-18 | 中国科学院空天信息创新研究院 | 面向多源多域时空基准数据的数据库设计方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699175B (zh) | 一种数据治理系统及其方法 | |
CN110781236A (zh) | 一种构建政务大数据治理体系的方法 | |
CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
CN106682097A (zh) | 一种处理日志数据的方法和装置 | |
US20150039600A1 (en) | Extensible person container | |
CN111627552B (zh) | 一种医疗流式数据血缘关系分析、存储方法及装置 | |
CN111080261A (zh) | 一种基于大数据的可视化数据资产管理系统 | |
CN106708965A (zh) | 一种数据的处理方法和装置 | |
CN111737364A (zh) | 安全多方数据融合与联邦共享方法、装置、设备及介质 | |
Tao et al. | Research on marketing management system based on independent ERP and business BI using fuzzy TOPSIS | |
Jiang et al. | A domain ontology approach in the ETL process of data warehousing | |
CN109242431A (zh) | 一种基于数据体系的企业管理方法及其系统 | |
Nurnawati et al. | Design of integrated database on mobile information system: a study of Yogyakarta smart city app | |
Srinivasa et al. | Network Data Analytics | |
CN117251414A (zh) | 一种基于异构技术的数据存储及处理方法 | |
CN108052637B (zh) | 电网时标量测数据接入全生命周期实时图文监控方法 | |
CN116304076A (zh) | 一种面向建筑工程领域的知识图谱构建方法 | |
CN117785983A (zh) | 目标对象评估方法、系统、电子设备及存储介质 | |
CN113076308B (zh) | 一种时空大数据服务系统 | |
Grambau et al. | Reference Architecture framework for enhanced social media data analytics for Predictive Maintenance models | |
CN112633621B (zh) | 一种基于paas平台的电网企业管理决策系统和方法 | |
CN114860851A (zh) | 数据处理方法、装置、设备及存储介质 | |
Büscher et al. | VPI-FP: an integrative information system for factory planning | |
CN113176873A (zh) | 用于信息管理的方法和装置、电子设备、及介质 | |
CN111563085A (zh) | 一种bim模型的多维度分组与业务数据绑定系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |