CN112990937A - 资源数据采集方法、装置、计算机设备和存储介质 - Google Patents

资源数据采集方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112990937A
CN112990937A CN202110503139.8A CN202110503139A CN112990937A CN 112990937 A CN112990937 A CN 112990937A CN 202110503139 A CN202110503139 A CN 202110503139A CN 112990937 A CN112990937 A CN 112990937A
Authority
CN
China
Prior art keywords
data
resource
target
account
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110503139.8A
Other languages
English (en)
Other versions
CN112990937B (zh
Inventor
黄广立
谭泉洲
邹胜
苗咏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huarui distributed (Beijing) Technology Co.,Ltd.
Shenzhen Huarui Distributed Technology Co., Ltd
Original Assignee
Huarui Distributed Beijing Technology Co ltd
Shenzhen Archforce Financial Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huarui Distributed Beijing Technology Co ltd, Shenzhen Archforce Financial Technology Co Ltd filed Critical Huarui Distributed Beijing Technology Co ltd
Priority to CN202110503139.8A priority Critical patent/CN112990937B/zh
Publication of CN112990937A publication Critical patent/CN112990937A/zh
Application granted granted Critical
Publication of CN112990937B publication Critical patent/CN112990937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4016Transaction verification involving fraud or risk level assessment in transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种资源数据采集方法、装置、计算机设备和存储介质。所述方法包括:接收资源相关数据采集请求,响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式并对目标数据源标识对应的数据进行数据采集,得到目标资源相关数据组成的资源数据集合;资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。采用本方法能够提高资源数据的采集效率。

Description

资源数据采集方法、装置、计算机设备和存储介质
技术领域
本申请涉及信息管理技术领域,特别是涉及一种资源数据采集方法、装置、计算机设备和存储介质。
背景技术
随着信息管理技术的发展,在很多情况下都需要进行数据采集,例如对交易数据进行采集,数据采集对信息管理起着不可或缺的作用,可以基于采集得到的资源数据对信息管理的合理性做出正确的分析。例如,在对时效性要求较高的证券交易系统中,要对证券交易系统中存在的风险做出正确的分析,需要实时高效地采集证券交易系统中对应的资源数据,并将资源数据作为分析基础,对证券交易系统做出正确的分析。
然而,目前的资源数据采集方法,存在采集效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高资源数据采集效率的资源数据采集方法、装置、计算机设备和存储介质。
一种资源数据采集方法,所述方法包括:接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
在其中一个实施例中,所述根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式包括:当所述数据源标识包括标准应用程序的程序接口对应的接口标识时,确定所述接口标识对应的目标数据采集方式为通过所述标准应用程序进行采集。
在其中一个实施例中, 所述通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据包括:执行应用程序文件,以生成所述应用程序文件对应的采集功能执行模块集合,所述采集功能执行模块集合包括多个采集功能执行模块;通过所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
在其中一个实施例中,所述通过所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据包括:获取所述采集功能执行模块对应的动态配置文件;确定所述采集功能执行模块的数据缺失位置以及数据缺失类型;从所述动态配置文件中获取所述数据缺失类型对应的动态配置数据,将所述动态配置数据填充至所述采集功能执行模块的数据缺失位置中,得到填充后的采集功能模块;通过填充后的所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
在其中一个实施例中,所述账户相关信息包括账户标识以及账户关联资源标识,所述以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据包括:根据所述账户标识获取与所述目标账户相关联的资源转移记录,作为关联转移记录;根据所述账户关联资源标识获取与所述目标账户关联的资源对应的资源信息,作为关联资源信息;将所述目标账户对应的账户相关信息、所述关联转移记录中的数据以及所述关联资源信息中的数据整合在同一条风险评估数据中,形成所述目标账户对应的风险评估数据。
在其中一个实施例中,所述将所述目标账户对应的账户相关信息、所述关联转移记录中的数据以及所述关联资源信息中的数据整合在同一条风险评估数据中,形成所述目标账户对应的风险评估数据包括:若所述关联转移记录为多条,则对比所述关联转移记录中的资源转移方向以及所转移的资源,得到对比结果;将所述对比结果整合在所述目标账户对应的风险评估数据中。
一种资源数据采集装置,所述装置包括:资源相关数据采集请求接收模块,用于接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;目标数据采集方式获取模块,用于响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;资源数据集合得到模块,用于通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;风险评估数据得到模块,用于以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
在其中一个实施例中,所述目标数据采集方式获取模块包括:标准应用程序单元,用于当所述数据源标识包括标准应用程序的程序接口对应的接口标识时,确定所述接口标识对应的目标数据采集方式为通过所述标准应用程序进行采集。
在其中一个实施例中,资源数据集合得到模块用于执行应用程序文件,以生成所述应用程序文件对应的采集功能执行模块集合,所述采集功能执行模块集合包括多个采集功能执行模块;通过所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
在其中一个实施例中,资源数据集合得到模块用于获取所述采集功能执行模块对应的动态配置文件;确定所述采集功能执行模块的数据缺失位置以及数据缺失类型;从所述动态配置文件中获取所述数据缺失类型对应的动态配置数据,将所述动态配置数据填充至所述采集功能执行模块的数据缺失位置中,得到填充后的采集功能模块;通过填充后的所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
在其中一个实施例中,风险评估数据得到模块用于根据所述账户标识获取与所述目标账户相关联的资源转移记录,作为关联转移记录;根据所述账户关联资源标识获取与所述目标账户关联的资源对应的资源信息,作为关联资源信息;将所述目标账户对应的账户相关信息、所述关联转移记录中的数据以及所述关联资源信息中的数据整合在同一条风险评估数据中,形成所述目标账户对应的风险评估数据。
在其中一个实施例中,风险评估数据得到模块用于若所述关联转移记录为多条,则对比所述关联转移记录中的资源转移方向以及所转移的资源,得到对比结果;将所述对比结果整合在所述目标账户对应的风险评估数据中。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
上述资源数据采集方法、装置、计算机设备和存储介质,接收资源相关数据采集请求,该资源相关数据采集请求携带数据源标识集合,该数据源标识集合包括目标数据源对应的目标数据源标识;响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式;通过目标数据采集方式对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据,各个目标数据源对应的目标资源相关数据组成资源数据集合;该资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。根据目标数据源自适应的确定对应的数据采集方式,通过对应的数据采集方式采集对应的资源相关数据,提高了资源数据的采集效率;同时也可以通过对与目标账户有关的资源相关数据进行整合,得到对应的目标账户为维度对应的风险评估数据,可以提高风险评估的效率。
附图说明
图1为一个实施例中资源数据采集方法的应用环境图;
图2为一个实施例中资源数据采集方法的流程示意图;
图3为另一个实施例中资源数据采集方法的流程示意图;
图4为另一个实施例资源数据采集方法的流程示意图;
图5为另一个实施例资源数据采集方法的流程示意图;
图6为另一个实施例资源数据采集方法的流程示意图;
图7为另一个实施例资源数据采集方法的流程示意图;
图8为一个实施例中资源数据采集装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的资源数据采集方法,可以应用于如图1所示的应用环境中,具体应用到一种资源数据采集系统中。该资源数据采集系统包括数据存储服务器102和数据采集服务器104,其中,数据存储服务器102通过网络与数据采集服务器104进行通信。数据采集服务器104执行一种资源数据采集方法,具体的,数据采集服务器104接收资源相关数据采集请求,该资源相关数据采集请求携带数据源标识集合,数据源标识集合包括目标数据源对应的目标数据源标识;数据采集服务器104响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式;通过目标数据采集方式对目标数据源标识对应的数据存储服务器102上的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据,各个目标数据源对应的目标资源相关数据组成资源数据集合;该资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。其中,数据存储服务器102以及数据采集服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的,数据存储服务器102也可以执行上述资源数据采集方法。
在一个实施例中,如图2所示,提供了一种资源数据采集方法,以该方法应用于图1中的数据采集服务器为例进行说明,包括以下步骤:
步骤202,接收资源相关数据采集请求,资源相关数据采集请求携带数据源标识集合,数据源标识集合包括目标数据源对应的目标数据源标识。
其中,资源相关数据是指与资源相关的数据。资源可以通过互联网进行转移。例如,证券系统中的基金或者证券等。资源相关数据是指资源的相关的数据。例如,基金的属性信息或者与基金转移有关的信息,例如是基金的购买记录、基金的价格以及基金所对应的公司。数据源标识是指能够唯一识别数据源采集位置的标识。目标数据源标识是指需要采集的数据对应的数据源的标识。例如,数据源标识包括API(Application ProgrammingInterface)对应的函数名称、数据库名称或者数据库所对应的获取接口等。
具体地,服务器可以通过本端的请求接收模块,接收资源相关数据采集请求,为了能够准确确定资源相关数据采集的目标数据源,在该资源相关数据采集请求中携带有数据源标识集合,数据源标识集合中包括有至少一个数据源对应的数据源标识。在该数据源标识集合中同样包括有目标数据源对应的目标数据源标识。
在一个实施例中,服务器可以以一定时间间隔触发资源相关数据采集请求发送操作,发送资源相关数据采集请求。相应的,通过本端的请求接收模块接收该资源相关数据采集请求。例如,在证券系统中,在交易的初期需要接收交易标的或者交易股东等的资源相关数据采集请求发送操作,发送交易标的或者交易股东等的资源相关数据采集请求;当经过一定时间间隔后,在交易中期时,需要接收交易持仓情况、交易金额等的资源相关数据采集请求发送操作,发送交易持仓情况、交易金额变更信息等的资源相关数据采集请求。
步骤204,响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式。
其中,数据采集方式是指采集数据的方法。例如采集方式包括API方式采集、读文件方式采集或者读数据库方式采集等。
具体的,在服务器上存在有预先设置的数据源标识与数据采集方式的对应关系表,每一个数据源标识与每一个数据采集方式都有唯一的对应关系,通过目标数据源标识可以唯一确定对应的目标数据采集方式。例如,目标数据源标识为1524,则对应的目标数据采集方式为端口号为1524的数据库。
在一个实施例中,接收资源相关数据采集请求时,获取该资源相关数据采集请求中携带的数据源标识集合中的目标数据源标识,响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式。
步骤206,通过目标数据采集方式对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据,各个目标数据源对应的目标资源相关数据组成资源数据集合;资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息。
其中,资源信息是指资源的属性信息。业务系统是指开展某项业务的系统。例如,业务系统为证券系统,在证券系统中存在的期货数据的涨跌趋势、发布期货产品的公司所在的领域或者期货产品价格等都属于资源信息。资源转移记录是指业务系统中的某种资源的移动或者交换对应的记录。例如,证券系统中对股票或者期货产品的交易记录等。账户相关信息是指与账户相关的基础信息或者认证信息等。例如,账户的归属、账户所在的地址以及账户的身份信息等。
具体的,服务器在获取到目标数据采集方式后,可以对目标数据源标识对应的数据进行数据采集,得到目标资源相关数据。由于存在至少一个目标数据源,因此可以得到至少一个目标资源相关数据,至少一个目标资源相关数据组成了资源数据集合。
步骤208,以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。
其中,以一个参考数据作为数据整合维度是指以该参考数据作为整合的维度对其他数据进行整合。例如,以目标账户A为数据整合维度,将与该目标账户A相关的股票购买信息、交易次数、用户身份认证信息或者交易的总资产等进行整合。风险评估数据是指对目标账户为数据整合维度进行数据整合之后,对整合后的数据进行分析,得到的评估数据。
具体的,同一目标账户的相关数据可能会采集于不同的数据源标识处,采集得到的相关数据可以认为是目标账户对应的基础数据,对上述基础数据进行整合分析后,可以对目标账户进行准确的风险评估。例如,将目标账户对应的股票持仓情况、交易流水或者账户基本信息进行整合,得到目标账户的风险评估数据,以使对交易过程进行风险控制或者目标账户的关联性识别。
在一个实施例中,可以将目标账户对应的资源信息对应的字段和资源转移记录中与账户相关信息相关的数据对应的字段组合成字段集合,并将该字段集合中的字段转换为二进制数据结构的数据,将该二进制数据结构的数据输入到风控评估系统中,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。
在一个实施例中,以目标账户为整合的维度,将与资源信息以及目标账户关联的资源转移记录中与账户相关信息相关的数据,例如目标账户的交易次数或者交易总量等输入到风险评估模型中进行风险评估,得到风险评估结果。可以理解的,上述风险评估模型为多因素模型,在该多因素模型中加入了时间因素,可以降低不确定因素在不同时间点的不同表现对风险评估数据的影响,从而便于动态管理。例如,可以将不同时间获得的目标账户对应的资源信息以及资源转移记录中与账户相关信息相关的数据共同输入到风险评估模型中进行风险评估,得到风险评估结果。在一个实施例中,可以利用蒙特卡罗方法得到资源转移记录中与账户相关信息相关的数据的统计值,将该统计值看作是目标账户对应的风险评估数据,通过该风险评估数据与本端存储的风险评估数据的参考值作对比,得到风险评估。当上述风险评估数据大于风险评估数据的参考值时,判断为目标账户有风险,当上述风险评估数据小于等于风险评估数据的参考值时,判断为目标账户无风险。
在一个实施例中,不同的风险评估数据对应不同的风险级别,在得到目标账户对应的风险评估数据之后,可以通过风险评估数据与风险级别的一一对应关系,对目标账户进行风险评估。
上述资源数据采集方法中,接收资源相关数据采集请求,该资源相关数据采集请求携带数据源标识集合,该数据源标识集合包括目标数据源对应的目标数据源标识;响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式;通过目标数据采集方式对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据,各个目标数据源对应的目标资源相关数据组成资源数据集合;该资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。根据目标数据源自适应的确定对应的数据采集方式,通过对应的数据采集方式采集对应的资源相关数据,提高了资源数据的采集效率;同时也可以通过对与目标账户有关的资源相关数据进行整合,得到对应的目标账户为维度对应的风险评估数据,可以提高风险评估的效率。
在一个实施例中,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式包括:
当数据源标识包括标准应用程序的程序接口对应的接口标识时,确定接口标识对应的目标数据采集方式为通过标准应用程序进行采集。
其中,标准应用程序的程序接口是指能够从该接口获取到应用程序的接口。例如,标准应用程序的程序接口包括API接口、FTP(File Transfer Protocol)接口、HTTP((Hypertext Transfer Protocol)接口以及telnet(远程终端协议)接口等。接口标识是指能够唯一确定标准应用程序的程序接口的标识,接口标识可以是应用程序中的函数,也可以是一串符号或者数字等。标准应用程序是指标准的用于进行数据采集的程序,可以是预先开发并存储到服务器中。
具体的,通过标准应用程序的程序接口对应的接口标识,可以确定目标数据采集方式,当确定数据源标识为该接口标识时,可以通过调用标准应用程序的方式进行数据采集,从而可以提高资源数据采集方式的可扩展性,在不同的采集设备上也可以利用该标准应用程序的方式进行数据采集。
在一个实施例中,在对标准应用程序的程序接口对应的接口标识处的数据采集时,可以首先在该标准应用程序的程序接口处先采集得到JAR(Java Archive)软件包,再通过对该JAR软件包进行配置开发、文件重新调用或者其他操作,得到执行结果,通过执行结果中的接口或者函数来采集相关的数据。
本实施例中,通过标准应用程序的程序接口对应的接口标识,确定接口标识对应的目标数据采集方式,能够达到利用标准应用程序进行数据采集的目的,提高了数据采集方式的可扩展性,提高了资源数据的采集效率。
在一个实施例中,如图3所示,通过目标数据采集方式对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据包括:
步骤302,执行应用程序文件,以生成应用程序文件对应的采集功能执行模块集合,采集功能执行模块集合包括多个采集功能执行模块。
其中,采集功能执行模块是指应用程序执行过程中,能够采集资源数据的功能模块。例如,在执行应用程序过程中,对证券产品信息具有采集功能的模块,通过调用该模块中的信息采集端口,对该证券产品信息进行采集。
具体的,为了提高资源数据的采集效率和安全性,可以先采集得到应用程序文件,并执行该应用程序文件,通过执行结果得到应用程序文件中多个采集功能的执行模块,从而可以通过上述多个采集功能的执行模块进行批量或者多数据源的进行资源数据的采集。可以理解的,执行应用程序中得到的多个采集功能的执行模块,是应用程序中抽象的虚拟模块,这些抽象的虚拟模块可以是执行某项采集功能的函数或者函数库,也可以是执行全部采集功能的类库等。
在一个实施例中,服务器调用运行插件,在插件中导入需要执行的应用程序文件,响应于对插件的运行操作,执行应用程序文件,以生成应用程序文件对应的采集功能执行模块集合,采集功能执行模块集合包括多个采集功能执行模块。
步骤304,通过采集功能执行模块集合中的各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。
具体的,在服务器执行应用程序文件过程中,会基于生成的应用程序文件对应的采集功能执行模块集合中的各个采集功能执行模块的执行结果,针对各个执行结果对应的采集目标数据源标识对应的数据进行数据采集,以使服务器能够得到各个目标数据源对应的目标资源相关数据。
在一个实施例中,服务器上存在与各个采集功能执行模块相对应的硬件载体,硬件载体中运行的是各个采集功能执行模块对应的函数或者函数库,硬件载体和各个采集功能执行模块实现软件和硬件有机结合,实现数据采集功能,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。
本实施例中,通过服务器执行应用程序文件,生成应用程序文件对应的采集功能执行模块集合,通过采集功能执行模块集合中的采集功能执行模块执行数据采集,得到目标资源相关数据。能够达到准确、批量的完成目标资源相关数据的采集的目的,提高了资源数据采集的效率。
在一个实施例中,如图4所示,通过采集功能执行模块集合中的各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据包括:
步骤402,获取采集功能执行模块对应的动态配置文件。
其中,动态配置文件是指能够动态对采集功能执行模块进行内容的修改或者设置的文件。例如,能够修改采集功能执行模块中资源数据采集位置或者资源数据获取的数据源标识等的文件。动态配置文件中的数据可以根据需要进行动态的修改,例如数据采集位置与数据存储位置是一致的,数据存储在A位置,则如需要在A位置进行数据采集,则可以根据数据存储位置的变化对动态配置文件进行修改,使得动态配置文件中的数据采集位置能够根据数据存储位置的变化而变化。从而使得基于采集功能执行模块进行数据采集时,所采集的数据并不是固定不变的或者避免因为数据存储位置的变化,导致基于固定的数据采集位置不能采集得到数据存储位置的问题。
具体的,可以通过在当前服务器的操作系统下,在当前运行的采集功能执行模块中,获取动态配置文件的脚本,实现针对采集功能执行模块对应的动态配置文件功能的实现。
步骤404,确定采集功能执行模块的数据缺失位置以及数据缺失类型。
其中,数据缺失位置是指在采集功能执行模块中,服务器基于添加操作可以添加的数据所处的位置,该位置的数据是缺失的,需要进行补充。例如,在增加新的采集功能的执行模块时,可以在初始化时添加相应的,针对于新的采集功能执行模块的函数。数据缺失类型是指在采集功能执行模块中,服务器基于添加操作可以添加的数据的类型,例如位置类型。例如,在采集功能执行模块中服务器基于添加操作可以添加的数据所要表示的数据类型为数据源的相关信息,该数据源的相关信息可以是数据库名称,从而使得服务器可以基于数据库名称确定要采集的数据库。 例如数据库的名称可以是动态的变化的,可以根据数据库名称的变化,可以配置动态配置文件中的数据库名称,从而使得采集功能执行模型可以根据数据库名称准确的获取到要采集的数据库。
具体的,服务器在获取动态配置文件后,需要将配置文件添加到采集功能执行模块中,在将配置文件添加到采集功能执行模块中之前,需要先确定采集功能执行模块的数据缺失位置以及数据缺失类型。
在一个实施例中,可以通过查看采集功能执行模块对应的库函数声明,获取当前采集功能执行模块的中的所有函数,从而确定采集功能执行模块的数据缺失位置以及数据缺失类型。
步骤406,从动态配置文件中获取数据缺失类型对应的动态配置数据,将动态配置数据填充至采集功能执行模块的数据缺失位置中,得到填充后的采集功能模块。
具体的,在获取到服务器中的动态配置文件和确定采集功能执行模块的数据缺失位置以及数据缺失类型之后,从获取到的动态配置文件中可以直接得到数据缺失类型对应的动态配置数据,将动态配置数据填充至采集功能执行模块中,得到填充后的采集功能模块。可以理解的,在数据缺失位置中填充的也可以是在原动态配置数据基础上变更后的动态配置数据或者需要删除的原有的动态配置数据等。
在一个实施例中,直接在采集功能执行模块中的数据缺失位置中添加调用函数,调用动态配置文件进行编译,得到填充后的采集功能模块。步骤408,通过填充后的采集功能执行模块集合中的各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。
具体的,服务器通过添加动态配置文件,得到填充后的采集功能执行模块集合中的各个采集功能执行模块,通过各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。例如,证券系统中,在添加具有对证券产品数据以及对持仓数据采集功能的动态配置文件之后,可以对证券产品数据以及对持仓数据进行采集。
本实施例中,通过获取采集功能执行模块对应的动态配置文件和采集功能执行模块的数据缺失位置以及数据缺失类型;将动态配置文件填充到采集功能执行模块中,得到填充后的采集功能模块,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。能够通过在采集功能执行模块中添加动态配置文件的方式,例如动态配置所需要采集的数据的数据采集位置,从而可以适应数据存储位置的变化,达到准确获取各个目标数据源对应的目标资源相关数据的目的,从而提高资源数据的采集效率。
在一个实施例中,如图5所示,账户相关信息包括账户标识以及账户关联资源标识,以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据包括:
步骤502,根据账户标识获取与目标账户相关联的资源转移记录,作为关联转移记录。
其中,账户标识是指能够唯一确定某个账户的标识信息。例如,账户的用户名或者机构代码等。账户关联资源标识是指与账户标识关联的资源标识,可以是该账户购买的资源的标识。例如,账户B在证券系统中购买了一只股票,该股票的标识为C,可以认为C是账户A的关联资源标识。
具体的,目标账户有对应的账户标识,可以通过账户标识获取到目标账户相关联的资源转移记录,将该记录作为关联转移记录。
在一个实施例中,可以在服务器本端的转移记录存储中,通过账户标识与 关联转移记录的对应关系,利用账户标识得到关联转移记录。
步骤504,根据账户关联资源标识获取与目标账户关联的资源对应的资源信息,作为关联资源信息。
其中,资源信息是指与目标账户关联的资源相关的属性信息。假设目标账户关联的资源为基金,则资源信息可以认为是该基金的属性信息,例如该基金的买入价格或者卖出价格等。
具体的,目标账户关联的资源具有对应的账户关联资源标识,能够通过账户关联资源标识获取到目标账户关联的资源,并且通过目标账户关联的资源与资源信息之间的对应关系,得到目标账户关联的资源对应的资源信息,将该资源信息作为关联资源信息。
步骤506,将目标账户对应的账户相关信息、关联转移记录中的数据以及关联资源信息中的数据整合在同一条风险评估数据中,形成目标账户对应的风险评估数据。
具体的,在得到关联转移记录和关联资源信息之后,可以将目标账户对应的账户相关信息、关联转移记录中的数据以及关联资源信息中的数据整合之后进行数据处理和数据分析,形成目标账户对应的风险评估数据。
在一个实施例中,数据处理过程可以是对目标账户对应的账户相关信息、关联转移记录中的数据以及关联资源信息中的数据组成数据集合,将该数据集合中的数据类型进行转换后得到数据类型统一的数据。例如,将不同数据类型的数据转换成二进制的数据类型。数据分析过程可以是根据设定的风险评估规则,对数据集合中的数据进行分析后,得到目标账户对应的风险评估数据。
本实施例中,通过获取目标账户的关联转移记录和关联资源信息,并且与目标账户对应的账户相关信息进行整合处理后,得到目标账户对应的风险评估数据,能够起到通过采集到的资源数据准确地对目标账户进行风险评估的作用。
在一个实施例中,如图6所示,将目标账户对应的账户相关信息、关联转移记录中的数据以及关联资源信息中的数据整合在同一条风险评估数据中,形成目标账户对应的风险评估数据包括:
步骤602,若关联转移记录为多条,则对比关联转移记录中的资源转移方向以及所转移的资源,得到对比结果。
其中,资源转移方向是指资源的转出方向或者转入方向。例如,在证券系统中,资源转移方向可以是某只股票的买入卖出。所转移的资源是指目标账户所要转移的具体资源。例如,所转移的资源可以是股票、基金或者期货产品等。
具体的,目标账户的关联转移记录可以为多条,但是在多条的情况下,可能会存在交易风险,可以通过该目标账户的资源转移方向以及所转移的资源,进行对比,得到对比结果。例如,在证券系统中,目标账户D,购买有一只股票,该目标账户D对该股票在买入之后,又通过该目标账户D将该股票卖出,可以通过买入的价格和卖出的价格得到买入卖出价格之间的对比结果。
在一个实施例中,可以对关联转移记录中的资源转移方向中,两个对应的方向上所转移的资源之间的差值计算,得到对比结果。例如,在证券系统中,目标账户D买入E股票的买入价格为5元,目标账户D卖出E股票的卖出价格为5.1元,则对比结果为目标账户D对股票E卖出买入的差值,即对比结果为0.1元。
步骤604,将对比结果整合在目标账户对应的风险评估数据中。
具体的,在对目标账户的多个关联转移记录进行对比之后,可以将对比结果整合到目标账户对应的风险评估数据中。
在一个实施例中,可以将得到的多个对比结果进行大数据分析后,得到分析后的对比结果,将该对比结果作为最终的风险评估数据。
在一个实施例中,可以利用预设的对比结果的偏差阈值,对对比结果进行风险评估。当对比结果大于偏差阈值时,认为该目标账户存在风险;当对比结果小于等于偏差阈值时,认为该目标账户不存在风险。
在一个实施例中,不同的对比结果的偏差阈值对应不同的风险级别,在得到对比结果之后,可以通过对比结果的偏差阈值与风险级别之间的一一对应关系,得到目标账户对应的风险评估数据,从而确定该目标账户是否存在风险。
本实施例中,通过对目标账户关联转移记录进行分析,得到对比结果,将对比结果整合在目标账户对应的风险评估数据中,能够达到对目标账户安全性进行准确监控的目的。
在一个实施例中,以资源数据为证券公司的交易系统中的基础数据为例,基础数据可以采集于不同的数据源。如图7所示,具体的,需要采集的基础数据可以包括证券产品信息、持仓信息、交易账户信息、资产单元或者交易流水等。基于数据来源的多样性和差异性,对这些基础数据可以采用不同的采集方式进行采集,例如,对于证券产品信息,可以采用读文件的采集方式进行数据采集,例如,读取文本、XML(Extensible Markup Language)、Excel、CSV(Comma-Separated Values)或者DBF(Digital Beam Forming)等静态数据文件;对于持仓信息,可以通过读数据库的采集方式进行数据采集;对于交易账户信息或者交易流水,也可以采用读数据库的采集方式进行数据采集;对于其他的期货数据等,可以通过API的采集方式进行采集数据,具体的,可以调用CTP(Comprehensive TransactionPlatform)、RPC(Remote Procedure Call)或者REST(Representational State Transfer)提供的接口进行数据采集。可以理解的,对于通过读数据库的方式进行的数据采集可以支持不同类型数据库的对接。例如,支持的数据库类型有Oracle(Oracle Database)、SqlServer(Structured Query Language)、MySQL(MySQL database)或者DB2(DB2database)等。采集的每种类型数据及每种类型数据对应的每条数据都可以设置数据ID(Identity Key),避免了对同一数据的重复采集造成数据的替换,同时也可以避免同一个标识的数据存在多条时,导致业务逻辑异常,提高了数据的采集效率。
在一个实施例中,对于数据库采集的方式,直接获取数据表即可采集到对应的数据;对于标准API采集的方式,可以获取其对应的JAR开发包,并对该JAR开发包进行二次开发,基于二次开发的结果访问应用层面的接口,以通过该应用层面的接口采集数据。除了上述方式,对于Web Service数据源的数据,可以通过Web Service对外提供的API接口来采集数据。其中的Web Service是web(Webapp)的应用程序。例如通过API接口采集证券产品信息或者账户信息等。对于TCP(Transmission Control Protocol)协议的采集形式获取的数据源,可以采集该数据源的二进制的数据流,例如可以通过TCP协议的采集方式采集证券产品信息、账户信息等。
在一个实施例中,针对不同的数据源可以采用不同的数据采集方式进行数据采集,再对采集得到的数据进行数据格式二次整合,统一将采集得到的数据处理成标准的二进制数据结构数据,以得到结构统一的数据。 具体的,可以从多个数据源采集得到的数据进行针对性地提取其中的数据,例如:从X数据源中提取账户信息对应的字段,从Y数据源中提取证券产品信息对应的字段,之后将这些字段整合到一个数据集中,并将该数据集中的字段转换为统一格式的数据结构数据,统一格式的数据结构数据通过TCP或者UDP(UserDatagram Protocol)形式传输到风控引擎,风控引擎基于这些统一格式的数据结构数据可以快速地完成风险计算,以确定对应的交易数据是否为异常交易数据。
在一个实施例中,可以利用指定数据列表对数据进行有针对性的采集。在该指定数据列表中包括有需要采集的数据及数据相对应的数据标识。对采集得到的数据转换为指定格式的数据,指定格式的数据可以是数据粒度较大的数据。例如,将采集到数据的编码转换为指定格式的编码,例如,将性别男女或者M/F转换为0或者1;又例如,将较长字段转换为较短字段,例如,将balance转换为bal等。对采集得到的数据转换为指定格式的数据之后,可以对转换后的数据进行数据清洗。经过数据清洗可以清洗掉数据中不完整的数据、错误数据或者重复数据等。在对数据进行数据清洗后,将清洗后的数据加载到目标数据仓库,加载可以采用全量加载方式或者增量加载的方式进行。
在一个实施例中,可以将采集到的产品信息或者资产单元等信息进行整合,得到资产单元对应的资金账户及资金账户的相关数据,通过资金账户及资金账户的相关数据进行整合得到相应的持仓数据。整合后可以确定交易账户;将交易账户对应的数据输入到风控引擎中进行风险控制运算。
应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种资源数据采集装置800,包括:资源相关数据采集请求接收模块802、目标数据采集方式获取模块804、资源数据集合得到模块806和风险评估数据得到模块808,其中:资源相关数据采集请求接收模块802,用于接收资源相关数据采集请求,资源相关数据采集请求携带数据源标识集合,数据源标识集合包括目标数据源对应的目标数据源标识;目标数据采集方式获取模块804,用于响应于资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个目标数据源标识对应的目标数据采集方式;资源数据集合得到模块806,用于通过目标数据采集方式对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据,各个目标数据源对应的目标资源相关数据组成;资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;风险评估数据得到模块808,用于以目标账户为数据整合维度,将资源信息以及资源转移记录中与账户相关信息相关的数据进行整合,得到目标账户对应的风险评估数据,以通过风险评估数据进行风险评估。
在一个实施例中,目标数据采集方式获取模块804包括:标准应用程序单元,用于当数据源标识包括标准应用程序的程序接口对应的接口标识时,确定接口标识对应的目标数据采集方式为通过标准应用程序进行采集。
在一个实施例中,资源数据集合得到模块806用于执行应用程序文件,以生成应用程序文件对应的采集功能执行模块集合,采集功能执行模块集合包括多个采集功能执行模块;通过采集功能执行模块集合中的各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。
在一个实施例中,资源数据集合得到模块806用于获取采集功能执行模块对应的动态配置文件;确定采集功能执行模块的数据缺失位置以及数据缺失类型;从动态配置文件中获取数据缺失类型对应的动态配置数据,将动态配置数据填充至采集功能执行模块的数据缺失位置中,得到填充后的采集功能模块;通过填充后的采集功能执行模块集合中的各个采集功能执行模块执行数据采集,以对目标数据源标识对应的数据进行数据采集,得到各个目标数据源对应的目标资源相关数据。
在一个实施例中,风险评估数据得到模块808用于根据账户标识获取与目标账户相关联的资源转移记录,作为关联转移记录;根据账户关联资源标识获取与目标账户关联的资源对应的资源信息,作为关联资源信息;将目标账户对应的账户相关信息、关联转移记录中的数据以及关联资源信息中的数据整合在同一条风险评估数据中,形成目标账户对应的风险评估数据。
在一个实施例中,风险评估数据得到模块808用于若关联转移记录为多条,则对比关联转移记录中的资源转移方向以及所转移的资源,得到对比结果;将对比结果整合在目标账户对应的风险评估数据中。
关于资源数据采集装置的具体限定可以参见上文中对于资源数据采集方法的限定,在此不再赘述。上述资源数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储资源数据采集数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源数据采集方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种资源数据采集方法,其特征在于,所述方法包括:
接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;
响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;
通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;
以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
2.根据权利要求1所述的方法,其特征在于,所述根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式包括:
当所述数据源标识包括标准应用程序的程序接口对应的接口标识时,确定所述接口标识对应的目标数据采集方式为通过所述标准应用程序进行采集。
3.根据权利要求2所述的方法,其特征在于,所述通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据包括:
执行应用程序文件,以生成所述应用程序文件对应的采集功能执行模块集合,所述采集功能执行模块集合包括多个采集功能执行模块;
通过所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
4.根据权利要求3所述的方法,其特征在于,所述通过所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据包括:
获取所述采集功能执行模块对应的动态配置文件;
确定所述采集功能执行模块的数据缺失位置以及数据缺失类型;
从所述动态配置文件中获取所述数据缺失类型对应的动态配置数据,将所述动态配置数据填充至所述采集功能执行模块的数据缺失位置中,得到填充后的采集功能模块;
通过填充后的所述采集功能执行模块集合中的各个所述采集功能执行模块执行数据采集,以对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据。
5.根据权利要求1所述的方法,其特征在于,所述账户相关信息包括账户标识以及账户关联资源标识,所述以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据包括:
根据所述账户标识获取与所述目标账户相关联的资源转移记录,作为关联转移记录;
根据所述账户关联资源标识获取与所述目标账户关联的资源对应的资源信息,作为关联资源信息;
将所述目标账户对应的账户相关信息、所述关联转移记录中的数据以及所述关联资源信息中的数据整合在同一条风险评估数据中,形成所述目标账户对应的风险评估数据。
6.根据权利要求5所述的方法,其特征在于,所述将所述目标账户对应的账户相关信息、所述关联转移记录中的数据以及所述关联资源信息中的数据整合在同一条风险评估数据中,形成所述目标账户对应的风险评估数据包括:
若所述关联转移记录为多条,则对比所述关联转移记录中的资源转移方向以及所转移的资源,得到对比结果;
将所述对比结果整合在所述目标账户对应的风险评估数据中。
7.一种资源数据采集装置,其特征在于,所述装置包括:
资源相关数据采集请求接收模块,用于接收资源相关数据采集请求,所述资源相关数据采集请求携带数据源标识集合,所述数据源标识集合包括目标数据源对应的目标数据源标识;
目标数据采集方式获取模块,用于响应于所述资源相关数据数据采集请求,根据预先设置的数据源标识与数据采集方式的对应关系,获取各个所述目标数据源标识对应的目标数据采集方式;
资源数据集合得到模块,用于通过所述目标数据采集方式对所述目标数据源标识对应的数据进行数据采集,得到各个所述目标数据源对应的目标资源相关数据,各个所述目标数据源对应的目标资源相关数据组成资源数据集合;所述资源数据集合包括资源信息、资源转移记录以及目标账户对应的账户相关信息;
风险评估数据得到模块,用于以所述目标账户为数据整合维度,将所述资源信息以及所述资源转移记录中与所述账户相关信息相关的数据进行整合,得到所述目标账户对应的风险评估数据,以通过所述风险评估数据进行风险评估。
8.根据权利要求7中所述的装置,其特征在于,所述目标数据采集方式获取模块包括:
标准应用程序单元,用于当所述数据源标识包括标准应用程序的程序接口对应的接口标识时,确定所述接口标识对应的目标数据采集方式为通过所述标准应用程序进行采集。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110503139.8A 2021-05-10 2021-05-10 资源数据采集方法、装置、计算机设备和存储介质 Active CN112990937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110503139.8A CN112990937B (zh) 2021-05-10 2021-05-10 资源数据采集方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110503139.8A CN112990937B (zh) 2021-05-10 2021-05-10 资源数据采集方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112990937A true CN112990937A (zh) 2021-06-18
CN112990937B CN112990937B (zh) 2021-08-10

Family

ID=76337289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110503139.8A Active CN112990937B (zh) 2021-05-10 2021-05-10 资源数据采集方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112990937B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721971A (zh) * 2021-08-26 2021-11-30 深圳Tcl新技术有限公司 信息展示方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024242A (zh) * 2010-12-15 2011-04-20 中国民生银行股份有限公司 银行信贷管理中客户信息的处理方法及系统
CN110322339A (zh) * 2019-05-22 2019-10-11 平安银行股份有限公司 虚拟资源管理方法、装置、计算机系统及可读存储介质
CN111966762A (zh) * 2020-08-20 2020-11-20 支付宝(杭州)信息技术有限公司 指标采集方法以及装置
CN112365265A (zh) * 2020-10-26 2021-02-12 建投数据科技(山东)有限公司 一种互联网金融智能风控系统
US20210061296A1 (en) * 2018-07-13 2021-03-04 State Farm Mutual Automobile Insurance Company Dynamic Safe Storage of Vehicle Content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024242A (zh) * 2010-12-15 2011-04-20 中国民生银行股份有限公司 银行信贷管理中客户信息的处理方法及系统
US20210061296A1 (en) * 2018-07-13 2021-03-04 State Farm Mutual Automobile Insurance Company Dynamic Safe Storage of Vehicle Content
CN110322339A (zh) * 2019-05-22 2019-10-11 平安银行股份有限公司 虚拟资源管理方法、装置、计算机系统及可读存储介质
CN111966762A (zh) * 2020-08-20 2020-11-20 支付宝(杭州)信息技术有限公司 指标采集方法以及装置
CN112365265A (zh) * 2020-10-26 2021-02-12 建投数据科技(山东)有限公司 一种互联网金融智能风控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721971A (zh) * 2021-08-26 2021-11-30 深圳Tcl新技术有限公司 信息展示方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112990937B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
AU2021273576B2 (en) Model integration tool
US20180173808A1 (en) Intent and bot based query guidance
CN110780870B (zh) 一种业务执行方法、装置、设备及存储介质
CN111258900A (zh) 接口测试脚本的生成方法、系统、设备及存储介质
CN110413507B (zh) 系统测试方法、装置、计算机设备和存储介质
CN104937548A (zh) 动态图的性能监视
KR20210058229A (ko) 재고 및 판매량 분석을 통한 단기 신용 대출 방법 및 서버
CN113626241B (zh) 应用程序的异常处理方法、装置、设备及存储介质
US10628210B2 (en) System and method for enabling API interoperability
US11665247B2 (en) Resource discovery agent computing device, software application, and method
CN114549068A (zh) 一种短链接生成方法、设备、装置及计算机可读存储介质
CN112990937B (zh) 资源数据采集方法、装置、计算机设备和存储介质
CN111738763A (zh) 策略处理方法、装置、设备及存储介质
CN112163154A (zh) 数据处理方法、装置、设备及存储介质
CN116188020A (zh) 异常账户识别方法、装置以及存储介质
CN114896955A (zh) 数据报表加工方法、装置、计算机设备及存储介质
US20190236625A1 (en) Arrangement and method for digital media measurements involving user panels
CN115168509A (zh) 风控数据的处理方法及装置、存储介质、计算机设备
CN116185806A (zh) 一种数字货币系统的测试方法和装置
CN113485942A (zh) 一种基于独立模块的自动化测试方法及装置
CN114428723A (zh) 测试系统、系统测试方法、相关设备及存储介质
CN112596974A (zh) 一种全链路监控方法、装置、设备和存储介质
CN112231377A (zh) 数据映射方法、系统、装置、服务器和存储介质
US20190272721A1 (en) Systems and methods for providing an electronic line-of-business gateway
CN115098569A (zh) 基于食品供应链的数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100032 521c, 5th floor, 31 Fuchengmenwai street, Xicheng District, Beijing

Patentee after: Huarui distributed (Beijing) Technology Co.,Ltd.

Patentee after: Shenzhen Huarui Distributed Technology Co., Ltd

Address before: 100032 521c, 5th floor, 31 Fuchengmenwai street, Xicheng District, Beijing

Patentee before: Huarui distributed (Beijing) Technology Co.,Ltd.

Patentee before: Shenzhen Huarui Financial Technology Co., Ltd

CP01 Change in the name or title of a patent holder