CN114677121A - 数据处理方法、装置、计算机可读存储介质和处理器 - Google Patents
数据处理方法、装置、计算机可读存储介质和处理器 Download PDFInfo
- Publication number
- CN114677121A CN114677121A CN202210380980.7A CN202210380980A CN114677121A CN 114677121 A CN114677121 A CN 114677121A CN 202210380980 A CN202210380980 A CN 202210380980A CN 114677121 A CN114677121 A CN 114677121A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- target
- target data
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Technology Law (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、计算机可读存储介质和处理器。其中,该方法包括:接收客户端的发送的请求信息,其中,请求信息包括第一信息和第二信息,第一信息用于对于对请求信息进行验证,第二信息用于确定目标数据的范围,目标数据用于被监管机构进行审查;基于第一信息确定请求信息是否审批通过;响应于请求信息审批通过,基于第二信息,从目标数据库提取目标数据。本发明解决了人工手动提取待审查数据效率低,提取过程繁琐的技术问题。
Description
技术领域
本发明涉及金融领域,具体而言,涉及一种数据处理方法、装置、计算机可读存储介质和处理器。
背景技术
随着近年来中国人民银行对金融机构的执法审查力度不断加大,审查频率不断提高,很大程度的增加了被审查机构在进行数据自查、提取、分析等金融审查方面的工作量。由于金融数据量巨大,而且通常待审查数据是通过人工向总行发送邮件的方式申请,导致被审查机构在准备待审查数据时,进行数据提取和数据的过程分析占用了过多的时间,进而导致了被审查机构对待审查数据质量的自查自检时间不足,增加了被审查机构受到执法惩罚的风险。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、计算机可读存储介质和处理器,以至少解决人工手动提取待审查数据效率低,提取过程繁琐的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:接收客户端的发送的请求信息,其中,请求信息包括第一信息和第二信息,第一信息用于对于对请求信息进行验证,第二信息用于确定目标数据的范围,目标数据用于被监管机构进行审查;基于第一信息确定请求信息是否审批通过;响应于请求信息审批通过,基于第二信息,从目标数据库提取目标数据。
可选地,响应于请求信息审批通过,基于第二信息,从目标数据库提取目标数据,包括:基于第二信息,生成数据提取任务;基于预设数据处理任务的第一执行时间,确定数据提取任务的第二执行时间;按照第二执行时间,从目标数据库中提取目标数据。
可选地,基于第二信息,生成数据提取任务,包括:基于规范信息,确认生成数据映射文档,其中,数据映射文档包括数据范围信息、数据加工逻辑信息和业务信息,规范信息是监管机构提供的接口规范信息;基于数据映射文档和第二信息,生成数据提取任务。
可选地,第二执行时间用于表征预设数据处理任务执行完成后的时间。
可选地,在从目标数据库提取目标数据之后,包括:响应于客户端的下载请求,确认目标数据的数据量;在目标数据的数据量未超过预设阈值的情况下,将目标数据传输至客户端;在目标数据的数据量超过预设阈值的情况下,向客户端发送第一提示信息,其中,第一提示信息用于提示客户端目标数据已存储至第一服务器。
可选地,在从目标数据库提取目标数据之后,包括:向客户端反馈下载信息,其中,下载信息用于客户端更新目标数据的状态。
可选地,第一信息包括如下之一:凭证信息和说明信息,其中,凭证信息是用于表征监管机构的文件,说明信息用于表征获取目标数据的理由。
根据本发明实施例的另一方面,还提供了一种数据处理装置,包括:接收模块,用于接收客户端的发送的请求信息;审批模块,用于基于请求信息确定请求信息是否审批通过;提取模块,用于响应于请求信息审批通过,基于请求信息,从目标数据库提取目标数据。
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,其特征在于,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述任意一项的数据处理方法。
根据本发明实施例的另一方面,一种处理器,其特征在于,处理器用于运行程序,其中,程序运行时执行上述任意一项的数据处理方法。
在本发明实施例中,通过利用异步下载系统,自动化完成对数据的申请、审批和下载,保证数据申请的时效性,减少了对系统资源的占用,提高了数据加工和汇总传输的效率,同时,将迎检工作系统化、流程化,用异步下载系统代替了人工执行提取数据任务,降低了工作人员的申请处理压力,解决了人工手动提取待审查数据效率低,提取过程繁琐的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例示出的一种异步下载系统的结构框图;
图2是根据本发明实施例示出的一种数据处理方法的步骤流程图;
图3是根据本发明实施例示出的一种数据申请管理平台的结构示意图;
图4是根据本发明实施例示出的一种任务管理平台的结构框图;
图5是根据本发明实施例示出的一种数据映射文档的结构框图;
图6是根据本发明实施例示出的一种异步下载任务管理平台的结构框图;
图7是根据本发明实施例示出的一种数据审查的方法流程图;
图8是根据本发明实施例示出的一种数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前金融机构配合中国人民银行审查提取接口数据的方法主要有三种,第一种是基于传统关系型数据库手工提取的方法,由于大部分风险管理系统的数据都是保存在存在映射关系的关系型数据库中,所以金融机构可以基于中国人民银行的接口数据规范要求,整理出数据加工的映射关系,从而编写对应的数据加工程序代码,工作人员可以手动执行程序代码,对待审查数据进行处理后,通过接口从传统数据库中提取出来。但是传统的关系型数据库负载能力不高,当待提取的金融数据过大时,很有可能会对正常的系统的操作产生影响,同时人工手动执行程序代码,很耗费大量的精力和时间,在无人操作时,无法完成数据提取,有较高的局限性。
第二种基于数据仓库手工提取的方法,若金融机构配备有数据仓库体系,并且该数据仓库体系中保存有中国人民银行要求的所有接口数据和可疑报告数据时,金融机构可以利用数据仓库高并发的资源优势,直接在数据仓库中查询数据并将查询结果保存到数据文件中,快速的完成迎检工作的数据提取。但是该方法对金融机构的技术服务组件和系统配套建设有较高的要求,整体的适用性较差,一般的小型机构,如城商银行、地方银行等规模中下的金融机构,可能存在风险系统基础数据不足,甚至没有数据仓库的问题,无法执行该方法。
第三种是将数据仓库与传统关系型数据库相结合的手工提取的方法,当前有很多金融机构会在数据仓库中完成对金融数据的加工,然后将加工结果保存到传统的关系型数据库中,不再通过工作人员手动执行对数据加工程序代码,同时保证了风险系统基础数据不被遗漏,利用传统关系型数据库的大规模保存和数据仓库的高性能提取优势,可以快速完成对待审查数据的提取。但是由于中国人民银行审查的数据之间的关联性很强,利用该方法时,首先,需要保证数据仓库和传统的关系型数据库中的数据一致,否则会影响数据提取时的范围,导致出现遗漏数据的问题,而按现有技术难以保证这两个数据库的数据一致;其次,数据仓库中保存的数据是共享的,每次提取数据需要进行评估,判断是否会对金融机构整体产生不良影响,整个提取流程繁琐;最后,由于是利用数据仓库和传统关系型数据库相结合,能够同时编写这两种数据库的相关技术人员较少,该方法的普遍适用性很差。
实施例1
为了提高金融机构对待审查金融数据的提取效率,同时不影响金融机构的正常工作,本申请提出了一种在系统中处理金融数据的方法,根据本发明实施例,提供了一种数据处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例示出的一种异步下载系统的结构框图,如图1所示,整个系统包括三个部分,分别是异步下载部分、数据加工与汇总部分、以及数据源层部分,数据源层部分包括金融机构进行的所有金融交易数据,如图1中所示,包括机构信息及结算方式、核心客户交易流水、跨境汇款现金汇款等,当监管机构需要审查这是金融交易数据时,金融机构可以从数据源层部分提取金融交易数据,发送至数据加工与汇总部分;数据加工与汇总部分的主要工作是对提取的金融交易数据进行加工汇总,以中国人民银行为例,该部分可以基于中国人民银行提供的接口表,对金融数进行加工,可以进行加工的数据可以包括但不限于:交易流水中间表、机构信息、账户信息等,在对数据进行的加工汇总完成后,可以将数据发送至异步下载部分;异步下载部分主要进行数据的申请、监控、下载,当监管机构向金融机构下达审查通知后,金融机构可以在异步下载部分向总行申请需要审查的数据,同时实时监控申请状态,当申请审批通过后,可以下载经过加工汇总的数据,然后发送给监管机构进行审查,异步下载部分除了进行数据的申请、监控和下载,还可以随时查询申请状态,还可以处理监管机构下达的金融交易数据异常的通知等。图1中的信息内容仅作示例性展示,不做具体限定。
基于上述异步下载系统,本申请提供了一种数据处理方法,图2是根据本发明实施例示出的一种数据处理方法的步骤流程图,如图2所示,该方法包括如下步骤:
步骤S202,接收客户端的发送的请求信息。
金融机构一般分为总行和分行,上述客户端一般是指分行所在的客户端,上述请求信息是指分行的工作人员通过系统向总行发送的数据申请请求。当总行或者监管机构向分行下达执法审查指令后,分行便可以凭借监管机构通知书或其他有效文件,向总行发起接口数据请求信息以获取申请待审查的目标金融数据,总行在接受到分行发送的请求信息后,可以对其进行审批。一般的,分行向总行发送的数据请求可以分为两类,第一信息和第二信息。
可选地,第一信息包括如下之一:凭证信息和说明信息,其中,凭证信息是用于表征监管机构的文件,例如申请机构名称和监管机构的有效凭证等信息;说明信息用于表征获取目标数据的理由,如果没有监管机构的有效凭证,可以在说明信息中填充合理的理由,包括但不限于:请求信息的目的,没有监管机构的有效凭证的原因等解释性信息,方便总行确定并审批分行所需求的待审查数据,可选地,说明信息中还可以包括监管机构提供的接口表明细、待审查数据的时间范围、文件类型等。
可选地,第二信息用于确定目标数据的范围,包括但不限于:分行的接口表名称、目标数据的范围、目标数据的文件类型等,目标数据是指用于被监管机构进行审查的数据。
步骤S204,基于第一信息确定请求信息是否审批通过。
金融机构的总行在接收到分行发送的请求信息后,可以基于请求信息中的第一请求信息,判读是否可以向分行发送相关数据。
可选地,总行的风险管理人员可以对接收到的请求信息进行风险评估,例如判断请求信息中申请的待审查数据的范围是否合规,是否存在申请遗漏的情况;若金融机构总行接收到多个分行发送的请求信息,总行还可以权衡各分行的请求信息的紧急程度和重要程度,优先处理紧急程度高、重要程度高的请求信息。
步骤S206,响应于请求信息审批通过,基于第二信息,从目标数据库提取目标数据。
当金融机构总行审批完成请求信息后,可以将请求信息中对应的数据发送给对应的分行,总行管理人员可以查看、到处此次审批记录,便于后续对迎检工作做统计分析。
可选地,为了保证数据申请的机密性和安全性,可以在系统中设置金融机构分行的申请人员只能看到自身发送的请求信息记录及详细内容,总行的系统管理人员可以查看全部的申请记录及详细内容,从而避免申请信息和信息文件外漏,提高金融机构的信息安全。
在本发明实施例中,通过利用异步下载系统,自动化完成对数据的申请、审批和下载,保证数据申请的时效性,减少了对系统资源的占用,提高了数据加工和汇总传输的效率,同时,将迎检工作系统化,用异步下载系统代替了人工执行提取数据任务,降低了工作人员的申请处理压力,进而解决了人工手动提取待审查数据效率低,提取过程繁琐的技术问题。
在一种可选的实施例中,在前述步骤S202中,为了防止人工填写请求信息是出现疏漏错误,除说明信息可以由工作人员手动编辑外,其余信息均可由工作人员在数据申请管理平台中选择选项获得。图3是根据本发明实施例示出的一种数据申请管理平台的结构示意图,如图3所示,工作人员可以选择与此次执法审查的相关内容。
例如,可以在请求信息填写界面中预设系统保存的数据的信息,如数据的时间范围、数据文件类型等,工作人员依据审查指令选择待审查数据的数据信息;可以在请求信息填写界面中预设多个分行机构信息,包括机构的名称,区域等,工作人员依据所在分行选择相关信息;可以在请求信息填写界面中预设多个监管机构的相关信息,如监管机构的名称,机构代号等,工作人员依据审查指令选择监管机构的机构信息;可选地,在设置监管机构的相关信息时,还可以增加一条“其他机构”的选项,若在预设的多个监管机构中,没有当前要进行数据审查的机构,工作人员可以选择“其他机构”,并在说明信息中进行解释说明,图3中的信息内容仅作示例性展示,不做具体限定。
利用手动选择选项填写请求信息,能够有效的避免因工作人员疏漏而导致申请错误,同时减少了工作人员手动输入信息并确认信息是否正确的工作压力,有效的提高了申请目标数据的效率。
在一种可选的实施例中,前述步骤S204中,总行的风险管理人员可以基于凭证信息判断进行执法审查的监管机构,以及此次执法审查是否合规,若没有监管机构的凭证信息,则可以依据说明信息中的内容,判断监管机构的此次执法审查是否合规,若说明信息中的内容不充分,此次执法审查存在合规风险,则可以驳回此次请求信息,并使其提供足够的审查证据。
可选地,总行的管理人员还可以依据分行最近的营业情况、授信情况,进一步判断分行的申请内容是否合规,若分行的营业情况和授信情况较差,且说明信息中并未解释清楚申请理由,则可以驳回请求信息,并使其重新递交请求信息,详细说明各信息用途;
可选地,为了保证金融机构数据信息的安全性,管理人员可以在系统中设置一天仅可以通过一次数据申请,以便系统自动完成对数据的加工与导出,避免因数据关联性缺失而导致的系统崩溃,减小系统自检运行的压力。若存在特殊情况,例如监管机构对多个分行进行突击执法检查,需要进行多次的数据申请时,可以通知系统开发人员,结合系统当前的使用情况,判断数据申请是否与系统正常运行的处理程序是否冲突,评估分批提取待审查数据的可行性。若存在冲突,提取待审查数据的可行性较差时,可以停止系统夜间对数据库的增量备份工作,穿插入对提取待审查数据的提取,从而避免影响系统的日间批处理工作,减少对系统资源的浪费,保证金融机构迎检数据的正常提取。
在一种可选的实施例中,前述步骤S206,基于第二信息,从目标数据库提取目标数据,包括:基于第二信息,生成数据提取任务;基于预设数据处理任务的第一执行时间,确定数据提取任务的第二执行时间;按照第二执行时间,从目标数据库中提取目标数据。
上述预设数据处理任务是指系统依据基础设定必要执行的任务,例如白天工作时的数据处理,数据归类,响应客户发起的任务等,上述第一执行时间是系统正常处理任务的时间,上述第二执行时间是指系统依据基础设定非必要执行的任务对应的工作的时间,例如夜间的数据备份时间,待机时间等。一般的,上述第一执行时间是由管理员依据实际情况设定的,第二执行时间是除第一执行时间外的系统可以运行工作的时间,为了避免数据提取任务占用系统的带宽资源而导致影响系统对必要执行任务的处理,通常选取上述第二执行时间来从目标数据库中提取目标数据,既保证了不影响正常任务的运行,又保证了在进行数据提取时拥有足够多的带宽资源,提高数据提取的速度和稳定性。
数据提取任务一般在第二执行时间内执行,当数据提取任务完成后,可以通过FTP协议(File Transfer Protocol文件传输协议)或者其他二进制方式将数据传输至FRP服务器的制定目录中,具体的传输信息可以显示在任务管理平台中,图4是根据本发明实施例示出的一种任务管理平台的结构框图,如图4所示,在任务管理平台中可以查看数据提取任务的相关信息,包括:任务的申请时间、任务的当前申请状态、申请机构和任务的开始结束时间等一系列相关信息,图4中示出的信息内容仅作示例性展示,不做具体限定。
在一种可选的实施例中,基于第二信息,生成数据提取任务,包括:基于规范信息,确认生成数据映射文档,其中,数据映射文档包括数据范围信息、数据加工逻辑信息和业务信息,规范信息是监管机构提供的接口规范信息;基于数据映射文档和第二信息,生成数据提取任务。
上述规范信息是指监管机构向被审查机构提供的接口规范信息,用于提取和传输待审查数据,分行在向总行发送请求信息时,请求信息中可以包括监管机构提供的接口规范信息。
上述数据映射文档是指系统在接获取到请求信息中的接口规范信息后,可以依据规范信息调查与待审查数据相关的实际交易场景和交易数据模型,并将每个接口表的每个字段的取值逻辑都梳理出来,形成一个数据要素映射细则文档。图5是根据本发明实施例示出的一种数据映射文档的结构框图,如图5所示,可选地,数据映射文档中至少包括数据范围信息、数据加工逻辑信息和业务信息等进行与提取待审查数据相关的数据信息。需要注意的是,数据范围信息是获取带审查数据的前提,用于避免筛选到错误的数据或者筛选待审查数据的时间过长;数据加工逻辑信息是对筛选出的待审查数据做进一步的处理,是数据处理的核心内容,会直接影响到筛选出的带审查数据的结果数据集是否完整;业务信息是关于数据处理的流程和逻辑的文本描述信息,其目的是让业务人员和开发人员的理解达成一致,避免产生技术上的理解偏差,业务人员和开发人员可以基于业务信息快捷分析对迎检接口加工逻辑有无影响。
可选地,数据映射文档中还可以包括但不限于:数据范围说明信息、接口表名称、字段英文名称、字段中文名称、字段类型、字段数据来自的源系统名称、源系统表英文名称、源系统表中文名称、源系统字段英文名称、源系统字段中文名称、源系统字段类型、加工逻辑、加工逻辑所在任务名称、任务运行的平台、字段加工业务说明等信息。当金融机构总行的风险管理人员审批通过分行提交的请求信息后,系统可以依据数据映射文档可以请求信息中的第二信息,生成数据提取任务,提取待审查数据。若金融机构有数据仓库的基础设施,数据映射文档中还可以包括据仓库的接口表、字段和加工逻辑等信息,由于数据映射文档中很多字段的加工逻辑需要结合业务场景、源系统数据资源、监管机构的接口规范等因素综合考虑,所以若数据映射文档中存在复杂的加工逻辑,则需要明确出对应的业务说明和数据范围,例如,如果进行网银交易,如何获取交易方的IP/MAC信息;客户在进行网易交易时,交易数据的范围如何确定等。图5中示出的内容信息仅作示例性展示,不做具体限定。
在一种可选的实施例中,在从目标数据库提取目标数据之后,包括:响应于客户端的下载请求,确认目标数据的数据量;在目标数据的数据量未超过预设阈值的情况下,将目标数据传输至客户端;在目标数据的数据量超过预设阈值的情况下,向客户端发送第一提示信息,其中,第一提示信息用于提示客户端目标数据已存储至第一服务器。
当系统管理员审批通过分行提交的请求信息后,系统自动依据请求信息中的第二信息和数据映射文档中的数据范围信息、数据加工逻辑信息和业务信息等,从数据库中筛选出待审查的目标数据,同时确定目标数据的数据量大小。
可选地,为了避免目标数据的数据量过大,占用过多的系统内存,管理员可以预设一个数据量阈值,若系统确定出的目标数据的数据量小于阈值,分行的工作人员可以在其客户端中直接下载目标数据并将目标数据保存至预设的存储位置中;若系统确定出的目标数据的数据量大于阈值,则系统自动将目标数据传输至金融机构的FTP服务器(FileTransfer Protocol Server文件传输服务器)中,并向分行发送提示信息,通分行目标数据已经传输至FTP服务器中。
例如,中国人民银行在进行金融审查时,其需要提供的数据接口较大,包括客户账户流水明细、信用卡账户流水明细、本机构保送的大额可疑交易报告等详细信息,但是当数据过大时,会占用过多的系统内存,可能会导致系统内存溢出,此时金融机构可以设置一个大小为200兆的数据量阈值,若提取出数据量小于200兆,则分行的工作人员可以直接点击“下载”按钮进行下载数据;若提取出的数据量大于200兆,则系统直接将数据传输至FTP服务器中,并通知分行的工作人员数据已传输至FTP服务器中。可选地,若提取出的数据量过大,可以在工作人员点击“下载”按钮时,系统在分行的客户端中自动跳出“数据文件过大,已通过后台发送至FTP服务器”。
在一种可选的实施例中,在从目标数据库提取目标数据之后,包括:向客户端反馈下载信息,其中,下载信息用于客户端更新目标数据的状态。
系统的开发人员还可以设置一个数据申请管理平台,工作人员还可以通过数据申请管理平台查询数据请求的申请状态,申请状态可以包括但不限于:已申请、已撤销、已审批、已退回、正在计算、待下载、已下载等。例如,若风险管理员审批通过分行提交的请求信息,可以在申请管理平台中将申请状态手动更新为“已审批”,或者当系统接收到筛选数据的指令后,自动在申请管理平台中将申请状态更新为“已审批”若分行的工作人员发现请求信息中存在信息错误,可以主动的撤回请求信息,并手动将申请管理平台中的申请状态更新为“已撤回”,或者系统在接收到撤回指令后,自动在申请管理平台中将申请状态更新为“已撤回”。
通过上述数据申请管理平台实时显示数据申请的状态,能够使分行的工作人员更方便的获取当前的申请流程进度,减少工作人员的申请压力。
可选地,当系统从数据库中筛选出待审查的目标数据后,申请管理平台中对应的申请状态可以更新为“待下载”,分行的工作人员可以在申请管理平台中获取到申请状态,并选择下载目标数据,若目标数据的数据量过大,则系统在显示“待下载”的同时,显示提示信息,通知分行目标数据已经传输至FTP服务器中。可选地,若系统发送提示信息后,分行的工作人员依旧选择下载目标数据,则系统可以发出二次提示信息,进一步确定工作人员是否需要下载目标数据,避免因工作人员的操作失误选择了下载目标数据,导致占用过多内存,影响系统的正常运行。
图6是根据本发明实施例示出的一种异步下载任务管理平台的结构框图,与前述管理平台相对应的,工作人员可以在异步下载任务管理平台中,查看数据的下载状态,包括任务的申请时间、申请状态、申请机构等相关信息,图4中示出的内容信息仅作示例性展示,不做具体限定。
可选地,在被审查金融机构的分行接收到总行发送的待审查数据后,可以将数据文件拷贝至硬盘或其他存储介质中送至监管机构的审查组,审查人员对待审查数据进行导入和分析,并将分析过程中产生的将数据疑问反馈给金融机构,金融机构对数据疑问进行数据分析并向审查组反馈数据分析说明,若分析结果为金融机构存在金融问题,金融机构后续按照监管机构的要求进行数据治理与整改。
为了更清晰的展示本申请提出的整个数据处理方法的过程,如图7所示,图7是根据本发明实施例示出的一种数据审查的方法流程图,图7可以分为两个部分,异步下载部分和数据审查部分,如图7中的①所示的异步下载部分,由于监管机构可能会对多种不同的金融数据进行审查,所以金融机构可以向总行发送多个数据申请,等待总行的风险管理员审批判断是否通过金融机构提交的申请,若审批判断不通过,则可以总行可以向金融机构下发重新提交申请指令,分行修订数据申请内容后,重新申请待审查数据;日抛审批判断通过,则系统可以生成数据加工和提取任务,根据监管机构提供的加工规范获取数据文件,在获取到数据文件后,可以通知金融机构进行下载。
如图7的②所示的数据审查部分,金融机构在获取到待审查数据后,可以在自查后通过拷贝的方式发送给监管机构,监管机构对数据进行审查,若对金融机构提交的数据存在疑问,可以向金融机构反馈,金融机构在确定监管机构下发的问题清单后,对问题进行回答并整改,提高金融机构整体的质量与能力。
通过上述金融机构依据异步下载系统,使迎检工作系统化、自动化和流程化,有效的减少了人工资源的投入,降低工作人员对数据申请和提取的工作压力,工作人员只需确定待审查数据的请求信息以及审批流程,系统可以自动完成对待审查数据的提取和传输,在增加抵御迎检风险的管控能力的同时,有效的提高了对待审查数据提取的效率。
实施例2
根据本发明实施例的另一方面,与前述数据处理方法的实施例相对应的,本说明书还提供了一种数据处理的装置。具体实现方式和应用场景与上述实施例相同,在此不做赘述。
图8是根据本发明实施例示出的一种数据处理装置的结构框图,包括:
接收模块802,用于接收客户端的发送的请求信息;
审批模块804,用于基于请求信息确定请求信息是否审批通过;
提取模块806,用于响应于请求信息审批通过,基于请求信息,从目标数据库提取目标数据。
可选地,该装置的提取模块806包括:提取任务生成单元,用于基于请求信息,生成数据提取任务;第二执行时间确定单元,用于基于预设数据处理任务的第一执行时间,确定数据提取任务的第二执行时间;目标数据提取单元,用于按照第二执行时间,从目标数据库中提取目标数据。
可选地,该装置提取任务生成单元包括:映射文档生成子单元,用于基于规范信息,确认生成数据映射文档,其中,数据映射文档包括数据范围信息、数据加工逻辑信息和业务信息,规范信息是监管机构提供的接口规范信息;提取任务生成子单元,用于基于数据映射文档和第二信息,生成数据提取任务。
可选地,第二执行时间用于表征预设数据处理任务执行完成后的时间。
可选地,该装置还包括:数据量确定模块,用于响应于客户端的下载请求,确认目标数据的数据量;目标数据传输模块,用于在目标数据的数据量未超过预设阈值的情况下,将目标数据传输至客户端;提示信息发送模块,用于在目标数据的数据量超过预设阈值的情况下,向客户端发送第一提示信息,其中,第一提示信息用于提示客户端目标数据已存储至第一服务器。
可选地,该装置还包括:下载信息反馈模块,用于向客户端反馈下载信息,其中,下载信息用于客户端更新目标数据的状态
可选地,该装置接受的请求信息中包括如下之一:凭证信息和说明信息,其中,凭证信息是用于表征监管机构的文件,说明信息用于表征获取目标数据的理由。
实施例3
根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述方法实施例的数据处理方法。
实施例4
根据本发明实施例的另一方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述方法实施例的数据处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
接收客户端的发送的请求信息,其中,所述请求信息包括第一信息和第二信息,所述第一信息用于对于对所述请求信息进行验证,所述第二信息用于确定目标数据的范围,所述目标数据用于被监管机构进行审查;
基于所述第一信息确定所述请求信息是否审批通过;
响应于所述请求信息审批通过,基于所述第二信息,从目标数据库提取所述目标数据。
2.根据权利要求1所述的方法,其特征在于,响应于所述请求信息审批通过,基于所述第二信息,从目标数据库提取所述目标数据,包括:
基于所述第二信息,生成所述数据提取任务;
基于预设数据处理任务的第一执行时间,确定所述数据提取任务的第二执行时间;
按照所述第二执行时间,从所述目标数据库中提取所述目标数据。
3.根据权利要求2所述的方法,其特征在于,基于所述第二信息,生成所述数据提取任务,包括:
基于规范信息,确认生成数据映射文档,其中,所述数据映射文档包括数据范围信息、数据加工逻辑信息和业务信息,所述规范信息是所述监管机构提供的接口规范信息;
基于所述数据映射文档和所述第二信息,生成所述数据提取任务。
4.根据权利要求3所述的方法,其特征在于,所述第二执行时间用于表征所述预设数据处理任务执行完成后的时间。
5.根据权利要求4所述的方法,其特征在于,在从所述目标数据库提取所述目标数据之后,包括:
响应于所述客户端的下载请求,确认所述目标数据的数据量;
在所述目标数据的数据量未超过所述预设阈值的情况下,将所述目标数据传输至所述客户端;
在所述目标数据的数据量超过所述预设阈值的情况下,向所述客户端发送第一提示信息,其中,所述第一提示信息用于提示客户端所述目标数据已存储至第一服务器。
6.根据权利要求5所述的方法,其特征在于,在从所述目标数据库提取所述目标数据之后,包括:
向客户端反馈下载信息,其中,所述下载信息用于所述客户端更新所述目标数据的状态。
7.根据权利要求1所述的方法,其特征在于,所述第一信息包括如下之一:凭证信息和说明信息,其中,所述凭证信息是用于表征所述监管机构的文件,所述说明信息用于表征获取目标数据的理由。
8.一种数据处理装置,其特征在于,包括:
接收模块,用于接收客户端的发送的请求信息;
审批模块,用于基于所述请求信息确定所述请求信息是否审批通过;
提取模块,用于响应于所述请求信息审批通过,基于所述请求信息,从目标数据库提取所述目标数据。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210380980.7A CN114677121A (zh) | 2022-04-12 | 2022-04-12 | 数据处理方法、装置、计算机可读存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210380980.7A CN114677121A (zh) | 2022-04-12 | 2022-04-12 | 数据处理方法、装置、计算机可读存储介质和处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114677121A true CN114677121A (zh) | 2022-06-28 |
Family
ID=82078418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210380980.7A Pending CN114677121A (zh) | 2022-04-12 | 2022-04-12 | 数据处理方法、装置、计算机可读存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677121A (zh) |
-
2022
- 2022-04-12 CN CN202210380980.7A patent/CN114677121A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599276B (zh) | 票据报销方法、装置和设备及计算机存储介质 | |
CN108734528A (zh) | 一种电子发票自动入账方法 | |
CN118747638A (zh) | 用于管理临时工的系统和界面 | |
US20090271764A1 (en) | System and method for managing computer environment setup requests | |
US9075704B2 (en) | Mitigating risks during a high availibility and disaster recovery (HA/DR) rehearsal | |
CN112668303A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112801777A (zh) | 一种银行函证自动处理方法、系统、电子设备及存储介质 | |
CN112907346A (zh) | 一种对账数据处理方法及装置 | |
JP2011227779A (ja) | 財務データ処理装置、財務データ処理方法および財務データ処理プログラム | |
CN115619552A (zh) | 一种交易票据的异步处理方法、装置、电子设备和介质 | |
CN114677121A (zh) | 数据处理方法、装置、计算机可读存储介质和处理器 | |
CN114238155B (zh) | 测试方法、测试平台、测试装置、服务器及存储介质 | |
CN112596806A (zh) | 数据湖数据加载脚本生成方法和系统 | |
CN113469801A (zh) | 审核结果的确定方法和装置 | |
CN112948204A (zh) | 一种基于DataRobot技术的数据处理系统 | |
CN112862264A (zh) | 企业经营状况分析方法、计算机设备及计算机存储介质 | |
CN112381509A (zh) | 重大新药创制国家科技重大专项课题管理系统 | |
KR102669665B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
KR102669668B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
KR102668343B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
US11799658B2 (en) | Tracking data throughout an asset lifecycle | |
KR102668325B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
KR102668338B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
KR102668324B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 | |
KR102668329B1 (ko) | 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |