CN119046362A - 一种征信数据一体化采集处理展示系统、方法及存储介质 - Google Patents
一种征信数据一体化采集处理展示系统、方法及存储介质 Download PDFInfo
- Publication number
- CN119046362A CN119046362A CN202411153288.6A CN202411153288A CN119046362A CN 119046362 A CN119046362 A CN 119046362A CN 202411153288 A CN202411153288 A CN 202411153288A CN 119046362 A CN119046362 A CN 119046362A
- Authority
- CN
- China
- Prior art keywords
- data
- collection
- sharing
- processing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 41
- 238000013480 data collection Methods 0.000 claims abstract description 20
- 238000005516 engineering process Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 17
- 238000013499 data model Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims description 39
- 238000011835 investigation Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 238000012216 screening Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 13
- 210000001503 joint Anatomy 0.000 claims description 12
- 238000004140 cleaning Methods 0.000 claims description 11
- 238000013524 data verification Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013475 authorization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 238000013515 script Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 13
- 238000012937 correction Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000012800 visualization Methods 0.000 abstract 1
- 238000007418 data mining Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种征信数据一体化采集处理展示系统、方法及存储介质,涉及数据处理技术领域,包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块;本发明提供了数据的集中管理和自动化实现,具备多源数据采集的自适应调整机制,能够根据不同数据源的特点自动优化采集策略,具备数据处理过程中的智能错误识别与修正机制,减少人工干预,提高数据处理的准确性,具备灵活的数据建模工具,支持多种机器学习算法,可根据需求快速构建和调整数据模型,具备安全的数据共享机制,确保数据在共享过程中的完整性和隐私保护,具备流程可视化展示,解决数据实施过程出现的问题,避免自动化过程无监督情况。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种征信数据一体化采集处理展示系统、方法及存储介质。
背景技术
随着大数据时代的到来,数据的采集、处理、建模和共享变得尤为重要,传统的数据处理方法依赖于人工操作,效率低下且容易出错,对于政府部门或集团企业数据分散在各个数据站点,很难有效的整合数据,挖掘数据,开发数据;
由此,需要一种自动化的解决方案来提高数据归集、处理的效率和准确性,同时确保数据的安全性和可共享性,解决数据资源整合,通过数据开发和利用,挖掘更多的数据价值,协助政府或集团企业数字化转型,因此,本发明提出一种征信数据一体化采集处理展示系统、方法及存储介质以解决现有技术中存在的问题。
发明内容
针对上述问题,本发明提出一种征信数据一体化采集处理展示系统、方法及存储介质,该征信数据一体化采集处理展示系统、方法及存储介质能够有效地采集异构数据源的征信行业数据,处理成统一的征信数据标准,使征信数据得到有效的模型应用。
为实现本发明的目的,本发明通过以下技术方案实现:一种征信数据一体化采集处理展示系统,包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块,所述数据采集模块用于根据预设的规则和数据源参数调整采集任务,来自动采集不同数据源的征信数据;所述数据处理模块用于对采集到的原始数据进行内存处理并转储,识别其中错误数据,将符合要求的数据整合形成标准化的数据;
所述数据建模模块根据数据处理后的结果,运用机器学习技术构建用于多种应用场景的征信数据模型;所述数据共享模块用于将流经上述模块后的数据通过数据共享平台对外提供展示服务和多元共享,并在数据传输和访问过程中进行安全化处理;所述任务调度模块用于对上述模块作业进行调度管理,通过触发器定时或手工执行调度完成上述模块作业自动化运行。
进一步改进在于:所述数据采集模块通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口,采集任务根据预设的规则和数据源参数调整,自动完成数据采集。
进一步改进在于:所述数据采集模块的采集过程如下:确认数据采集方式,包括数据库、网站、数据文档、接口文档;配置数据源,根据确认的数据采集方式,配置相应的参数,包括数据库连接信息及账号密码,网站地址,数据文档,接口访问地址及账号密码;配置目标库的数据库连接信息及账号密码,根据需要的数据结构建立相应的采集数据存储表;创建采集信息,描述本次采集的内容概述,并选择配置的数据库信息作为目标库;配置采集源数据表与目标库数据表的映射关系,其参数包括字段名,赋值类型,赋值,处理脚本,字段安全等级划分;创建采集任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的采集任务,进行配置,同一任务添加多条采集信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看采集日志,确认存储器采集结果。
进一步改进在于:所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合到一起,形成标准化的数据。
进一步改进在于:所述数据处理模块的处理过程如下:创建数据校验作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;选择配置的数据源对应的源数据表作为校验表;对选择的校验表中的字段配置校验规则,其规则包括:日期校验,数值校验,非空校验,主键校验,特殊字符校验,身份证合规校验,统一社会信用代码合规性校验,双公示-行政许可校验,双公示-行政处罚校验;创建治理作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;配置治理作业,并指定配置的校验表作为治理表,配置参数包括表映射配置,如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置,包括筛选类型,源表字段、比较操作、内容输入;创建治理任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的治理任务,进行配置,同一任务添加多条校验、治理作业信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看调度日志,确认治理结果。
进一步改进在于:所述数据建模模块根据数据处理后的结果,运用机器学习技术构建征信数据模型,模型用于预测分析、分类、聚类多种应用场景,具体过程如下:创建模型,并从存储介质读取模型类型,包括评分卡、分类、回归、聚类、策略挖掘,以及填写模型名称、描述字段信息;进入模型数据集的读取和配置,从存储器中获取数据集所属的数据库和数据表格,并对模型Y值进行选择配置;对选取的数据表格进行数据规则配置处理,数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征,根据征信模型业务和选取的数据情况进行规则组件配置,不同组件对应不同的参数配置格式;进入征信模型特征工程组件,组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、WOE编码、IV值筛选、相关性筛选、主成分分析、特征贡献度筛选,根据征信模型业务选择不同组件,配置不同的参数配置格式;对征信模型数据进行数据集划分,包括训练集和验证集的划分,对于样本不均衡的数据,进行上采样和下采样的方式,调整正负样本比例,依据设置的训练集占比,自动统计计算得出训练集和验证集的数据量大小;根据征信模型业务需求从存储器选择算法规则,算法规则包括逻辑回归、决策树、XGB分类、K均值聚类、线性回归、决策树、bp神经网络、DBSCAN聚类,不同类型的模型选取不同的算法组件;将模型的配置数据保存到存储器数据库中,通过程序触发器获取存储器模型信息,对模型进行训练,训练过程中,触发器根据程序运行情况,实时返回模型执行日志,显示到用户的显示器中,模型训练完成后,触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中;在模型管理存储器中读取模型列表,在显示界面中选择其中一个模型进行数据预测和分析,并将结构数据保存到数据库存储器中。
进一步改进在于:所述数据共享模块用于将经过数据采集模块、数据处理模块、数据建模模块的数据通过数据共享平台对外提供展示服务,并提供API调用、数据导出、库表对接的共享方式,同步维持数据在传输和访问过程中的安全性。
进一步改进在于:所述数据共享模块的具体操作过程如下:创建共享展示作业,从存储器读取共享数据源,并选择共享类型和填写共享作业名称基本配置信息,其中共享类型包括数据文件导出、接口API调用、库表对接;当共享类型选择数据导出方式,根据安全规定,对表格数据进行加密和文件密码设定,加密方法包括SM4加密,对称和非对称加密,数据文件导出后,通过邮箱等方式发送给对方;当共享类型选择API调用,提供接口API服务,包括接口授权、接口数据格式编码,并根据安全规定,对接接口传输数据进行加密签名和验签,加密方式包括SM4加密、对称加密和非对称加密;当共享类型选择库表对接,先通过触发器对存储器的数据进行加密,然后再将数据推送到对方存储器中。
一种征信数据一体化采集处理展示方法,包括以下步骤:
S1:根据预设的规则和数据源参数调整,设定采集任务,通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口;
S2:使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合形成标准化的数据;
S3:根据数据处理后的结果,运用机器学习技术构建征信数据模型,将该模型应用至多种场景,包括预测分析、分类、聚类;
S4:基于API调用、数据导出、库表对接的共享方式,将流经过上述步骤的数据通过数据共享平台对外提供展示服务,在数据传输和访问过程中进行安全加密;
S5:设定触发器,通过触发器定时或手工执行调度完成上述作业的自动化运行。
一种存储介质,该存储介质存储的计算机程序,在被一个或多个处理器执行时,实现所述的一种征信数据一体化采集处理展示方法。
本发明的有益效果为:
1、本发明提供了数据源、数据处理、数据建模、数据应用的集中管理和自动化实现,具备多源数据采集的自适应调整机制,能够根据不同数据源的特点自动优化采集策略,具备数据处理过程中的智能错误识别与修正机制,减少人工干预,提高数据处理的准确性,具备灵活的数据建模工具,支持多种机器学习算法,可根据需求快速构建和调整数据模型,具备安全的数据共享机制,确保数据在共享过程中的完整性和隐私保护,具备流程可视化展示,解决数据实施过程出现的问题,避免自动化过程无监督情况。
2、本发明提供数据源统一管理,支持多数据源整合技术、对数据根据服务需求统一处理、对数据挖掘进行深度分析和建模训练应用、对数据应用统一授权分发服务的自动化管理,另外提供了在线展示技术,监控数据流程和运算,解决数据实施过程黑箱子问题。
3、本发明提高数据归集、处理的效率和质量,以及通过数据挖掘和机器学习分析等,对数据进行开发利用,实现数据价值最大化,同时保证数据的安全和便捷共享,提供在线实时监控数据采集、处理情况的功能。
附图说明
图1为本发明的自动化数据任务运行流程图;
图2为本发明的机器学习建模流程图;
图3为本发明的系统配置框图。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
实施例一
根据图1、2、3所示,本实施例提出了一种征信数据一体化采集处理展示系统,包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块,所述数据采集模块用于根据预设的规则和数据源参数调整采集任务,来自动采集不同数据源的征信数据;所述数据处理模块用于对采集到的原始数据进行内存处理并转储,识别其中错误数据,将符合要求的数据整合形成标准化的数据;
所述数据建模模块根据数据处理后的结果,运用机器学习技术构建用于多种应用场景的征信数据模型;所述数据共享模块用于将流经上述模块后的数据通过数据共享平台对外提供展示服务和多元共享,并在数据传输和访问过程中进行安全化处理;所述任务调度模块用于对上述模块作业进行调度管理,通过触发器定时或手工执行调度完成上述模块作业自动化运行。
所述数据采集模块通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口,采集任务根据预设的规则和数据源参数调整,自动完成数据采集。
所述数据采集模块的采集过程如下:确认数据采集方式,包括数据库、网站、数据文档、接口文档;配置数据源,根据确认的数据采集方式,配置相应的参数,包括数据库连接信息及账号密码,网站地址,数据文档,接口访问地址及账号密码;配置目标库的数据库连接信息及账号密码,根据需要的数据结构建立相应的采集数据存储表;创建采集信息,描述本次采集的内容概述,并选择配置的数据库信息作为目标库;配置采集源数据表与目标库数据表的映射关系,其参数包括字段名,赋值类型,赋值,处理脚本,字段安全等级划分;创建采集任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的采集任务,进行配置,同一任务添加多条采集信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看采集日志,确认存储器采集结果。
所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合到一起,形成标准化的数据。
所述数据处理模块的处理过程如下:创建数据校验作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;选择配置的数据源对应的源数据表作为校验表;对选择的校验表中的字段配置校验规则,其规则包括:日期校验,数值校验,非空校验,主键校验,特殊字符校验,身份证合规校验,统一社会信用代码合规性校验,双公示-行政许可校验,双公示-行政处罚校验;创建治理作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;配置治理作业,并指定配置的校验表作为治理表,配置参数包括表映射配置,如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置,包括筛选类型,源表字段、比较操作、内容输入;创建治理任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的治理任务,进行配置,同一任务添加多条校验、治理作业信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看调度日志,确认治理结果。
所述数据建模模块根据数据处理后的结果,运用机器学习技术构建征信数据模型,模型用于预测分析、分类、聚类多种应用场景,具体过程如下:创建模型,并从存储介质读取模型类型,包括评分卡、分类、回归、聚类、策略挖掘,以及填写模型名称、描述字段信息;进入模型数据集的读取和配置,从存储器中获取数据集所属的数据库和数据表格,并对模型Y值进行选择配置;对选取的数据表格进行数据规则配置处理,数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征,根据征信模型业务和选取的数据情况进行规则组件配置,不同组件对应不同的参数配置格式;进入征信模型特征工程组件,组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、WOE编码、IV值筛选、相关性筛选、主成分分析、特征贡献度筛选,根据征信模型业务选择不同组件,配置不同的参数配置格式;对征信模型数据进行数据集划分,包括训练集和验证集的划分,对于样本不均衡的数据,进行上采样和下采样的方式,调整正负样本比例,依据设置的训练集占比,自动统计计算得出训练集和验证集的数据量大小;根据征信模型业务需求从存储器选择算法规则,算法规则包括逻辑回归、决策树、XGB分类、K均值聚类、线性回归、决策树、bp神经网络、DBSCAN聚类,不同类型的模型选取不同的算法组件;将模型的配置数据保存到存储器数据库中,通过程序触发器获取存储器模型信息,对模型进行训练,训练过程中,触发器根据程序运行情况,实时返回模型执行日志,显示到用户的显示器中,模型训练完成后,触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中;在模型管理存储器中读取模型列表,在显示界面中选择其中一个模型进行数据预测和分析,并将结构数据保存到数据库存储器中。
所述数据共享模块用于将经过数据采集模块、数据处理模块、数据建模模块的数据通过数据共享平台对外提供展示服务,并提供API调用、数据导出、库表对接的共享方式,同步维持数据在传输和访问过程中的安全性。
所述数据共享模块的具体操作过程如下:创建共享展示作业,从存储器读取共享数据源,并选择共享类型和填写共享作业名称基本配置信息,其中共享类型包括数据文件导出、接口API调用、库表对接;当共享类型选择数据导出方式,根据安全规定,对表格数据进行加密和文件密码设定,加密方法包括SM4加密,对称和非对称加密,数据文件导出后,通过邮箱等方式发送给对方;当共享类型选择API调用,提供接口API服务,包括接口授权、接口数据格式编码,并根据安全规定,对接接口传输数据进行加密签名和验签,加密方式包括SM4加密、对称加密和非对称加密;当共享类型选择库表对接,先通过触发器对存储器的数据进行加密,然后再将数据推送到对方存储器中。
一种征信数据一体化采集处理展示方法,包括以下步骤:
根据预设的规则和数据源参数调整,设定采集任务,通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口;
使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合形成标准化的数据;
根据数据处理后的结果,运用机器学习技术构建征信数据模型,将该模型应用至多种场景,包括预测分析、分类、聚类;
基于API调用、数据导出、库表对接的共享方式,将流经过上述步骤的数据通过数据共享平台对外提供展示服务,在数据传输和访问过程中进行安全加密;
设定触发器,通过触发器定时或手工执行调度完成上述作业的自动化运行。
一种存储介质,该存储介质存储的计算机程序,在被一个或多个处理器执行时,实现所述的一种征信数据一体化采集处理展示方法。
实施例二
根据图1、2、3所示,本实施例提出了一种征信数据一体化采集处理展示系统、方法及存储介质,以提高数据归集、处理的效率和质量,以及通过数据挖掘和机器学习分析等,对数据进行开发利用,实现数据价值最大化,同时保证数据的安全和便捷共享,通过在线实时监控数据采集、处理情况。
1.数据采集模块:该模块通过数据库、网络爬虫、API接口等多种采集手段自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口等。采集任务可以根据预设的规则和数据源参数调整,自动完成数据采集。
其采集过程如下:
1)确认数据采集方式,如数据库、网站、数据文档、接口文档;
2)配置数据源,根据步骤1)确认的数据采集方式,配置相应的参数,如数据库连接信息及账号密码,网站地址,数据文档,接口访问地址及账号密码等;
3)配置目标库的数据库连接信息及账号密码,根据需要的数据结构建立好的相应的采集数据存储表;
4)创建采集信息,描述本次采集的内容概述,并选择步骤3)配置的数据库信息作为目标库;
5)配置采集源数据表与目标库数据表的一一映射关系,其参数至少包括字段名,赋值类型,赋值,处理脚本,字段安全等级划分等。
6)创建采集任务,填写触发类型,包括手工和自动两种,若是自动,还需配置任务调度时间参数,调度时间以Cron表达式的方式进行表示。
7)基于步骤6)创建的采集任务,对采集任务进行配置,同一任务可以添加多条采集信息,并可以配置其停止机制,其参数值包括全部执行失败、部分执行失败等。
8)手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度。
9)查看采集日志,确认存储器采集结果。
2.数据处理模块:该模块使用数据清洗、转换、归一化等技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合到一起,形成标准化的数据。
其步骤主要如下:
1)创建数据校验作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;
2)选择步骤1)配置的数据源对应的源数据表作为校验表;
3)对步骤2)选择的校验表中的字段一一配置校验规则,其规则包括:日期校验,数值校验,非空校验,主键校验,特殊字符校验,身份证合规校验,统一社会信用代码合规性校验,双公示-行政许可校验,双公示-行政处罚校验等;
4)创建治理作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;
5)配置治理作业,并指定步骤3)中配置的校验表作为治理表,配置参数包括表映射配置,如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效等以及筛选条件配置,如筛选类型,源表字段、比较操作、内容输入等。
6)创建治理任务,填写触发类型,包括手工和自动两种,若是自动,还需配置任务调度时间参数,调度时间以Cron表达式的方式进行表示。
7)基于步骤6)创建的治理任务,对治理任务进行配置,同一任务可以添加多条校验、治理作业信息,并可以配置其停止机制,其参数值包括全部执行失败、部分执行失败等
8)手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度。
9)查看调度日志,确认治理结果。
3.数据建模模块:根据数据处理后的结果,该模块运用机器学习技术构建征信数据模型。模型可以用于预测分析、分类、聚类等多种应用场景。
其步骤如下:
1)创建模型,并从存储介质读取模型类型,如评分卡、分类、回归、聚类、策略挖掘,以及填写模型名称、描述等字段信息。
2)完成步骤1)后,进入模型数据集的读取和配置,从存储器中获取数据集所属的数据库和数据表格,并对模型Y值进行选择配置。
3)完成步骤2)后,对选取的数据表格进行数据规则配置处理,数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征。根据征信模型业务和选取的数据情况进行规则组件配置,不同组件对应不同的参数配置格式。
4)完成步骤3)后,进入征信模型特征工程组件,组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、WOE编码、IV值筛选、相关性筛选、主成分分析、特征贡献度筛选。根据征信模型业务选择不同组件,配置不同的参数配置格式。
5)完成步骤4)后,对征信模型数据进行数据集划分,包括训练集和验证集的划分,此外对于样本不均衡的数据可以进行上采样和下采样的方式,调整正负样本比例更好地适应模型的训练学习,依据设置的训练集占比,自动统计计算得出训练集和验证集的数据量大小。
6)完成步骤5)后,根据征信模型业务需求从存储器选择算法规则,算法规则包括逻辑回归、决策树、XGB分类、K均值聚类、线性回归、决策树、bp神经网络、DBSCAN聚类。不同类型的模型选取不同的算法组件。
7)完成以上6个步骤后,模型的配置数据保存到存储器数据库中,可以通过程序触发器获取存储器模型信息,对模型进行训练。训练过程中,触发器会根据程序运行情况,实时返回模型执行日志,显示到用户的显示器中。模型训练完成后,触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中。
8)模型预测:在模型管理存储器中读取模型列表,在显示界面中选择其中一个模型可进行数据预测和分析,并将结构数据保存到数据库存储器中。
4.数据共享模块:经过建模或采集或处理的数据通过安全的数据共享平台对外提供服务。平台支持API调用、数据导出、库表对接等多种共享方式,并确保数据在传输和访问过程中的安全性。
其步骤如下:
1)创建共享展示作业,从存储器读取共享数据源,并选择共享类型和填写共享作业名称等基本配置信息。其中共享类型包括数据文件导出、接口API调用、库表对接。展示方法包括:API接口展示,数据导出展示,在线可视化展示。
2)在步骤1)共享类型选择“数据导出”方式的,系统根据安全规定,对表格数据进行加密和文件密码设定,加密方法有SM4加密,对称和非对称加密。数据文件导出后,通过邮箱等方式发送给对方。
3)在步骤1)共享类型选择“API调用”方式的,系统提供接口API服务,如接口授权、接口数据格式编码等,并根据安全规定,对接接口传输数据进行加密签名和验签,加密方式有SM4加密、对称加密和非对称加密。
4)在步骤1)共享类型选择“库表对接”方式的,系统会先通过触发器对存储器的数据进行加密,然后再把数据推送到对方存储器中。
5.任务调度模块:通过任务调度模块对上述1-4模块作业进行调度管理,可通过触发器定时或手工执行调度完成1-4模块作业自动化运行。
数据流向说明:外界的综合数据从外部数据库或接口流入至数据采集模块,在数据采集模块存储并通过触发器筛选、分级后,流转至数据采集处理模块,在数据处理模块存储并通过数据处理规则校验、筛选后,流转至数据建模模块,在数据建模模块存储并通过模型训练、分析后,流转至数据共享模块,在数据共享模块存储并通过数据安全加密后,流向至外部。
系统触发器程序通过采集配置信息自动识别外部数据源类型,在数据采集过程中程序自动优化数据采集频率、并发数、数据读写速度策略,保障数据平稳保存到存储器中。
数据处理识别错误原理:通过已配置的规则关键词、数据值上下限、编码生成规则等进行刷选。
智能修正原理:首先系统根据数据处理规则筛选不符合数据,然后通过触发器去除不符合的数据或通过操作界面人工去除不符合的数据。
本发明提供了数据源、数据处理、数据建模、数据应用的集中管理和自动化实现,具备多源数据采集的自适应调整机制,能够根据不同数据源的特点自动优化采集策略,具备数据处理过程中的智能错误识别与修正机制,减少人工干预,提高数据处理的准确性,具备灵活的数据建模工具,支持多种机器学习算法,可根据需求快速构建和调整数据模型,具备安全的数据共享机制,确保数据在共享过程中的完整性和隐私保护,具备流程可视化展示,解决数据实施过程出现的问题,避免自动化过程无监督情况。且本发明提供数据源统一管理,支持多数据源整合技术、对数据根据服务需求统一处理、对数据挖掘进行深度分析和建模训练应用、对数据应用统一授权分发服务的自动化管理,另外提供了在线展示技术,监控数据流程和运算,解决数据实施过程黑箱子问题。同时,本发明提高数据归集、处理的效率和质量,以及通过数据挖掘和机器学习分析等,对数据进行开发利用,实现数据价值最大化,同时保证数据的安全和便捷共享,提供在线实时监控数据采集、处理情况的功能。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种征信数据一体化采集处理展示系统,包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块,其特征在于:所述数据采集模块用于根据预设的规则和数据源参数调整采集任务,来自动采集不同数据源的征信数据;所述数据处理模块用于对采集到的原始数据进行内存处理并转储,识别其中错误数据,将符合要求的数据整合形成标准化的数据;
所述数据建模模块根据数据处理后的结果,运用机器学习技术构建用于多种应用场景的征信数据模型;所述数据共享模块用于将流经上述模块后的数据通过数据共享平台对外提供展示服务和多元共享,并在数据传输和访问过程中进行安全化处理;所述任务调度模块用于对上述模块作业进行调度管理,通过触发器定时或手工执行调度完成上述模块作业自动化运行。
2.根据权利要求1所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据采集模块通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口,采集任务根据预设的规则和数据源参数调整,自动完成数据采集。
3.根据权利要求2所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据采集模块的采集过程如下:确认数据采集方式,包括数据库、网站、数据文档、接口文档;配置数据源,根据确认的数据采集方式,配置相应的参数,包括数据库连接信息及账号密码,网站地址,数据文档,接口访问地址及账号密码;配置目标库的数据库连接信息及账号密码,根据需要的数据结构建立相应的采集数据存储表;创建采集信息,描述本次采集的内容概述,并选择配置的数据库信息作为目标库;配置采集源数据表与目标库数据表的映射关系,其参数包括字段名,赋值类型,赋值,处理脚本,字段安全等级划分;创建采集任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的采集任务,进行配置,同一任务添加多条采集信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看采集日志,确认存储器采集结果。
4.根据权利要求1所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合到一起,形成标准化的数据。
5.根据权利要求4所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据处理模块的处理过程如下:创建数据校验作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;选择配置的数据源对应的源数据表作为校验表;对选择的校验表中的字段配置校验规则,其规则包括:日期校验,数值校验,非空校验,主键校验,特殊字符校验,身份证合规校验,统一社会信用代码合规性校验,双公示-行政许可校验,双公示-行政处罚校验;创建治理作业,并指定数据采集模块指定的目标库作为数据校验作业的数据源;配置治理作业,并指定配置的校验表作为治理表,配置参数包括表映射配置,如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置,包括筛选类型,源表字段、比较操作、内容输入;创建治理任务,填写触发类型,包括手工和自动两种,当自动时,配置任务调度时间参数,调度时间以Cron表达式的方式进行表示;基于创建的治理任务,进行配置,同一任务添加多条校验、治理作业信息,并配置其停止机制,其参数值包括全部执行失败、部分执行失败;手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度;查看调度日志,确认治理结果。
6.根据权利要求1所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据建模模块根据数据处理后的结果,运用机器学习技术构建征信数据模型,模型用于预测分析、分类、聚类多种应用场景,具体过程如下:创建模型,并从存储介质读取模型类型,包括评分卡、分类、回归、聚类、策略挖掘,以及填写模型名称、描述字段信息;进入模型数据集的读取和配置,从存储器中获取数据集所属的数据库和数据表格,并对模型Y值进行选择配置;对选取的数据表格进行数据规则配置处理,数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征,根据征信模型业务和选取的数据情况进行规则组件配置,不同组件对应不同的参数配置格式;进入征信模型特征工程组件,组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、WOE编码、IV值筛选、相关性筛选、主成分分析、特征贡献度筛选,根据征信模型业务选择不同组件,配置不同的参数配置格式;对征信模型数据进行数据集划分,包括训练集和验证集的划分,对于样本不均衡的数据,进行上采样和下采样的方式,调整正负样本比例,依据设置的训练集占比,自动统计计算得出训练集和验证集的数据量大小;根据征信模型业务需求从存储器选择算法规则,算法规则包括逻辑回归、决策树、XGB分类、K均值聚类、线性回归、决策树、bp神经网络、DBSCAN聚类,不同类型的模型选取不同的算法组件;将模型的配置数据保存到存储器数据库中,通过程序触发器获取存储器模型信息,对模型进行训练,训练过程中,触发器根据程序运行情况,实时返回模型执行日志,显示到用户的显示器中,模型训练完成后,触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中;在模型管理存储器中读取模型列表,在显示界面中选择其中一个模型进行数据预测和分析,并将结构数据保存到数据库存储器中。
7.根据权利要求1所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据共享模块用于将经过数据采集模块、数据处理模块、数据建模模块的数据通过数据共享平台对外提供展示服务,并提供API调用、数据导出、库表对接的共享方式,同步维持数据在传输和访问过程中的安全性。
8.根据权利要求7所述的一种征信数据一体化采集处理展示系统,其特征在于:所述数据共享模块的具体操作过程如下:创建共享展示作业,从存储器读取共享数据源,并选择共享类型和填写共享作业名称基本配置信息,其中共享类型包括数据文件导出、接口API调用、库表对接;当共享类型选择数据导出方式,根据安全规定,对表格数据进行加密和文件密码设定,加密方法包括SM4加密,对称和非对称加密,数据文件导出后,通过邮箱等方式发送给对方;当共享类型选择API调用,提供接口API服务,包括接口授权、接口数据格式编码,并根据安全规定,对接接口传输数据进行加密签名和验签,加密方式包括SM4加密、对称加密和非对称加密;当共享类型选择库表对接,先通过触发器对存储器的数据进行加密,然后再将数据推送到对方存储器中。
9.一种征信数据一体化采集处理展示方法,应用上述权利1-8中任意一项所述的一种征信数据一体化采集处理展示系统,其特征在于,包括以下步骤:
S1:根据预设的规则和数据源参数调整,设定采集任务,通过数据库、网络爬虫、API接口自动采集来自不同数据源的数据,其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口;
S2:使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储,通过预设的规则自动识别其中错误数据,并通过治理程序将符合要求的数据整合形成标准化的数据;
S3:根据数据处理后的结果,运用机器学习技术构建征信数据模型,将该模型应用至多种场景,包括预测分析、分类、聚类;
S4:基于API调用、数据导出、库表对接的共享方式,将流经过上述步骤的数据通过数据共享平台对外提供展示服务,在数据传输和访问过程中进行安全加密;
S5:设定触发器,通过触发器定时或手工执行调度完成上述作业的自动化运行。
10.一种存储介质,其特征在于:该存储介质存储的计算机程序,在被一个或多个处理器执行时,实现如权利要求9所述的一种征信数据一体化采集处理展示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411153288.6A CN119046362A (zh) | 2024-08-21 | 2024-08-21 | 一种征信数据一体化采集处理展示系统、方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202411153288.6A CN119046362A (zh) | 2024-08-21 | 2024-08-21 | 一种征信数据一体化采集处理展示系统、方法及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN119046362A true CN119046362A (zh) | 2024-11-29 |
Family
ID=93584925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202411153288.6A Pending CN119046362A (zh) | 2024-08-21 | 2024-08-21 | 一种征信数据一体化采集处理展示系统、方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN119046362A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472874A (zh) * | 2023-10-08 | 2024-01-30 | 联通数字科技有限公司 | 基于大数据分析的政务数据资源集成管理系统及方法 |
CN117992415A (zh) * | 2024-02-06 | 2024-05-07 | 湖南数越科技有限公司 | 跨业务系统的数据融合共享平台、方法、设备及介质 |
CN118474166A (zh) * | 2024-04-10 | 2024-08-09 | 武汉众智数字技术有限公司 | 一种基于云计算的数据共享与协同处理平台 |
-
2024
- 2024-08-21 CN CN202411153288.6A patent/CN119046362A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117472874A (zh) * | 2023-10-08 | 2024-01-30 | 联通数字科技有限公司 | 基于大数据分析的政务数据资源集成管理系统及方法 |
CN117992415A (zh) * | 2024-02-06 | 2024-05-07 | 湖南数越科技有限公司 | 跨业务系统的数据融合共享平台、方法、设备及介质 |
CN118474166A (zh) * | 2024-04-10 | 2024-08-09 | 武汉众智数字技术有限公司 | 一种基于云计算的数据共享与协同处理平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022179008A1 (zh) | 基于区块链的供应链金融AI DaaS算法仓库平台 | |
US20230281238A1 (en) | Facial test database management system for detection of facial recognition device, and method | |
CN114021970B (zh) | 一种基于数据中台的企业数据资产模型构建方法 | |
CN110544035A (zh) | 一种内控检测方法、系统和计算机可读存储介质 | |
CN113656808A (zh) | 数据安全评估方法、装置、设备及存储介质 | |
CN109242445A (zh) | 对数据产品全生命周期进行开发管理的系统、方法及装置 | |
CN116932523B (zh) | 一种整合和监管第三方环境检测机构的平台 | |
CN118733572A (zh) | 一种智能化大数据平台的数据清洗方法 | |
CN111915099A (zh) | 一种货运信息可视化的货运量预测系统 | |
CN118735468A (zh) | 一种基于三维数字化模型的钢筋材料管控系统和方法 | |
CN119046362A (zh) | 一种征信数据一体化采集处理展示系统、方法及存储介质 | |
CN117592943A (zh) | 基于互联网的科技服务数据协作系统 | |
CN118939344B (zh) | 一种信息管理的系统功能配置方法 | |
CN117829794A (zh) | 一种基于云计算的人力资源数据处理方法及系统 | |
CN118608077B (zh) | 公积金数据质量评估与分级预警系统及方法 | |
CN119151454A (zh) | 基于大模型的团队管理与项目协作方法及其系统 | |
CN118521416A (zh) | 一种基于大数据的智能会计机器人 | |
CN120162644A (zh) | 一种政务数据共享交换方法 | |
CN117291556A (zh) | 一种大数据云端管理系统 | |
Owen et al. | Evaluating the Effectiveness of Different Audit Methodologies on Auditability and Ambiguity Reduction | |
CN118115304A (zh) | 一种财务报销风险评分方法、装置、设备及存储介质 | |
CN117057733A (zh) | 一种基于智能大脑的电子政务管理平台及方法 | |
CN119250736A (zh) | 一种可实现分类存储的管控评审系统 | |
CN119991000A (zh) | 一种基于大模型与工作流的内审ai助理实现方法及系统 | |
Джумагалиева et al. | USING ARTIFICIAL INTELLIGENCE TO ANALYZE AND PREDICT ELECTORAL ACTIVITY IN BLOCKCHAIN VOTING SYSTEMS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |