CN117573728B - 一种数据信息的信息维度升维处理方法及系统 - Google Patents
一种数据信息的信息维度升维处理方法及系统 Download PDFInfo
- Publication number
- CN117573728B CN117573728B CN202410064829.1A CN202410064829A CN117573728B CN 117573728 B CN117573728 B CN 117573728B CN 202410064829 A CN202410064829 A CN 202410064829A CN 117573728 B CN117573728 B CN 117573728B
- Authority
- CN
- China
- Prior art keywords
- data information
- data
- information
- importance
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000012216 screening Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据信息的信息维度升维处理方法及系统,属于数据处理技术领域,具体包括:根据数据信息的类型进行不同的数据信息匹配的业务场景的确定,并结合业务场景的使用频次确定不同的数据信息的数据重要性以及重要数据信息,将重要数据信息作为升维处理数据,将除去重要数据信息的数据信息作为剩余数据信息,获取筛选数据库中的不同的剩余数据信息的历史变动数据,并基于历史变动数据、数据重要性以及信息重要性确定筛选数据库中的剩余数据信息中的升维处理数据,通过变动捕获记录进行升维处理数据的信息维度的升维处理和存储,保证了数据信息的可靠性。
Description
技术领域
本发明属于数据处理技术领域,尤其涉及一种数据信息的信息维度升维处理方法及系统。
背景技术
信息维度代表“有联系”的抽象概念,从组织架构看,信息维度又划分为三个维度——时间、空间和形式,能够更加准确的反应数据信息的变动情况及其形式内容,因此对于金融授信企业而说,如何实现对数据信息的信息维度的升维处理,以便更加准确的确定不同的数据库中的数据信息的变动记录,保证数据信息的可靠性成为亟待解决的技术问题。
针对上述技术问题,本发明提供了一种数据信息的信息维度升维处理方法及系统。
发明内容
为实现本发明目的,本发明采用如下技术方案:
根据本发明的一个方面,提供了一种数据信息的信息维度升维处理方法。
一种数据信息的信息维度升维处理方法,其特征在于,具体包括:
S1根据数据信息的类型进行不同的数据信息匹配的业务场景的确定,并结合所述业务场景的使用频次确定不同的数据信息的数据重要性以及重要数据信息,将所述重要数据信息作为升维处理数据;
S2根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系进行所述数据库的信息重要性,并根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,若是,则将所述数据库作为筛选数据库,并进入下一步骤,若否,则进入步骤S4;
S3将除去重要数据信息的数据信息作为剩余数据信息,获取所述筛选数据库中的不同的剩余数据信息的历史变动数据,并基于所述历史变动数据、数据重要性以及信息重要性确定所述筛选数据库中的剩余数据信息中的升维处理数据;
S4通过变动捕获记录进行升维处理数据的信息维度的升维处理和存储。
本发明的有益效果在于:
1、基于数据信息匹配的业务场景以及业务场景的使用频次确定重要数据信息,从而实现了从匹配的业务场景以及在不同的业务场景中的使用次数对较为重要的数据信息的筛选,也为差异化的进行数据信息的升维处理奠定了基础。
2、根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系确定数据库的信息重要性,实现了从不同的数据库中的数据信息在不同的匹配业务场景的使用情况进行了较为重要的数据库的筛选,既保证了较为重要的数据库的部分的数据信息的升维处理,同时也避免了不同的数据库的数据信息均进行升维处理导致的处理时长过长或者存储空间的浪费。
3、基于历史变动数据、数据重要性以及信息重要性确定筛选数据库中的剩余数据信息中的升维处理数据,不仅单一的考虑到由于不同的剩余数据信息的数据重要性以及数据库的信息重要性导致剩余数据信息的重要性的差异,同时通过综合考虑历史变动数据实现了对变动过于频繁或者变动次数较多的剩余数据信息的筛选,避免了剩余数据信息由于变动过于频繁导致的中间数据遗失的问题的出现。
进一步的技术方案在于,所述数据信息的类型包括用户的个人身份信息、信贷申请信息、信贷支用信息以及信贷还款信息。
进一步的技术方案在于,所述业务场景包括信贷审批、对账处理、信贷信息查询、身份信息核验。
进一步的技术方案在于,所述历史变动数据根据所述剩余数据信息所对应的筛选数据库的日志变动记录进行确定。
进一步的技术方案在于,所述历史变动数据包括所述剩余数据信息的变动次数、不同的变动次数之间的时间间隔。
进一步的技术方案在于,所述变动捕获记录根据所述升维处理数据所对应的数据库的日志变动记录进行确定。
进一步的技术方案在于,所述升维处理数据的信息维度的升维处理和存储,具体包括:
通过所述变动捕获记录进行所述升维处理数据的数据变动情况的确定,并基于所述数据变动情况将所述升维处理数据的不同的历史变动次数前后的数据以及变动时间,通过二维数组进行存储得到时间信息维度的升维处理数据,将所述时间信息维度的升维处理数据进行存储处理。
第二方面,本发明提供了一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种数据信息的信息维度升维处理方法。
其他特征和优点将在随后的说明书中阐述,本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显;
图1是一种数据信息的信息维度升维处理方法的流程图;
图2是重要数据信息的确定的方法的流程图;
图3是另外一种的重要数据信息的确定的方法的流程图;
图4是数据库的信息重要性的确定的方法的流程图;
图5是筛选数据库中的剩余数据信息中的升维处理数据的确定的方法的流程图;
图6是一种计算机系统的框架图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
对于金融企业而言,其内部存在大量的数据信息,例如信贷审批、对账处理、信贷信息查询、身份信息核验等不同的业务场景均具有大量的数据信息的支撑,在实际的操作过程中,由于不同的数据信息可能变动情况较为剧烈,因此若不能将变动较多或者可靠性要求较高的数据信息进行升维处理,将不同的变动次数前后的数据均进行捕捉并构建基于时间维度的数据信息的群组,则一旦数据信息发生问题,则无法高效的准确的发现数据信息的异常情况。
为解决上述技术问题,采用以下技术方案:
首先根据数据信息的类型进行不同的数据信息匹配的业务场景的确定,并结合所述业务场景的使用频次确定不同的数据信息的数据重要性以及重要数据信息,具体的可以通过数据信息对应的信贷审批、对账处理、信贷信息查询、身份信息核验等业务场景的数量以及在不同的业务场景的使用次数进行数据重要性的确定,在可能的一个实施例中,可能通过使用次数与预设次数阈值的比值进行不同的业务场景的权重值的确定,通过不同的业务场景的权重值的数量和确定数据重要性,并将数据重要性较大的数据信息作为重要数据信息,将重要数据信息作为升维处理数据;
然后根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系进行数据库的信息重要性,具体的,根据匹配业务场景的数据信息来自于数据库的数量与匹配业务场景的所有的关联的数据信息的比值进行匹配业务场景的关联关系的确定,然后根据匹配业务场景的关联关系的和进行信息重要性的确定,并确定信息重要性较大的数据库中的数据信息需要进行升维处理,将数据库作为筛选数据库,并进入下一步骤;
然后将除去重要数据信息的数据信息作为剩余数据信息,获取筛选数据库中的不同的剩余数据信息的历史变动数据,并基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性,根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔,并基于所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔确定所述剩余数据信息的数据变动评估量,通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据;
通过所述变动捕获记录进行所述升维处理数据的数据变动情况的确定,并基于所述数据变动情况将所述升维处理数据的不同的历史变动次数前后的数据以及变动时间,通过二维数组进行存储得到时间信息维度的升维处理数据,将所述时间信息维度的升维处理数据进行存储处理。
以下将从方法类和系统类两个角度进行进一步阐述。
为解决上述问题,根据本发明的一个方面,如图1所示,提供了一种数据信息的信息维度升维处理方法,其特征在于,具体包括:
S1根据数据信息的类型进行不同的数据信息匹配的业务场景的确定,并结合所述业务场景的使用频次确定不同的数据信息的数据重要性以及重要数据信息,将所述重要数据信息作为升维处理数据;
进一步的,所述数据信息的类型包括用户的个人身份信息、信贷申请信息、信贷支用信息以及信贷还款信息。
需要说明的是,所述业务场景包括信贷审批、对账处理、信贷信息查询、身份信息核验。
在其中的一个可能的实施例中,如图2所示,上述步骤S1中的所述重要数据信息的确定的方法为:
S11根据所述数据信息匹配的业务场景进行所述数据信息在所述业务场景中的使用频次以及使用人员数量的确定,并基于所述数据信息在所述业务场景中的使用频次以及使用人员数量进行所述数据信息在所述业务场景中的使用重要性的确定;
S12通过所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,基于所述数据重要性确定所述数据信息是否为重要数据信息。
进一步的,通过所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,具体包括:
将不同的业务场景的使用重要性进行归一化处理后得到不同的业务场景的权重值,并结合数据信息匹配的业务场景的数量确定所述数据信息匹配的业务场景的权重和,并将所述权重和作为所述数据信息的数据重要性。
在另外的一个可能的实施例中,如图3所示,上述步骤S1中的所述重要数据信息的确定的方法为:
S11判断所述数据信息匹配的业务场景的数量是否大于第二预设场景数量,若是,则进入下一步骤,若否,则进入步骤S14;
S12根据所述数据信息匹配的业务场景进行所述数据信息在所述业务场景中的使用频次以及使用人员数量的确定,并基于所述数据信息在所述业务场景中的使用频次以及使用人员数量进行所述数据信息在所述业务场景中的使用重要性的确定,通过所述使用重要性进行所述业务场景中的重要业务场景的确定,判断所述数据信息匹配的重要业务场景的数量是否大于场景数量限定值,若是,则确定所述数据信息为重要数据信息,若否,则进入下一步骤;
S13通过所述数据信息匹配的重要业务场景的数量以及不同的重要业务场景的使用重要性进行所述重要业务场景的综合使用重要性的确定,判断数据信息匹配的所述重要业务场景的综合使用重要性是否大于预设重要性阈值,若是,则确定所述数据信息为重要数据信息,若否,则进入下一步骤;
S14获取所述数据信息匹配的重要业务场景的综合使用重要性,并结合所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,基于所述数据重要性确定所述数据信息是否为重要数据信息。
在另外的一个可能的实施例中,上述步骤S1中的所述重要数据信息的确定的方法为:
当所述数据信息匹配的业务场景的数量大于预设场景数量时,则确定所述数据信息为重要数据信息;
当所述数据信息匹配的业务场景的数量不大于预设场景数量时,根据所述数据信息匹配的业务场景进行所述数据信息在所述业务场景中的使用频次以及使用人员数量的确定,并基于所述数据信息在所述业务场景中的使用频次以及使用人员数量进行所述数据信息在所述业务场景中的使用重要性的确定;
通过所述使用重要性进行所述业务场景中的重要业务场景的确定,当所述数据信息匹配的重要业务场景的数量大于场景数量限定值时,则确定所述数据信息为重要数据信息;
当所述数据信息匹配的重要业务场景的数量不大于场景数量限定值时,通过所述数据信息匹配的重要业务场景的数量以及不同的重要业务场景的使用重要性进行所述重要业务场景的综合使用重要性的确定,当所述重要业务场景的综合使用重要性不满足要求时,则确定所述数据信息为重要数据信息;
当所述重要业务场景的综合使用重要性满足要求时,获取所述数据信息匹配的重要业务场景的综合使用重要性,并结合所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,基于所述数据重要性确定所述数据信息是否为重要数据信息。
S2根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系进行所述数据库的信息重要性,并根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,若是,则将所述数据库作为筛选数据库,并进入下一步骤,若否,则进入步骤S4;
在其中的一个可能的实施例中,如图4所示,上述步骤S2中的所述数据库的信息重要性的确定的方法为:
S21基于不同的匹配业务场景的关联的数据信息的数据库来源的数量进行不同的匹配业务场景与所述数据库的基础关联性的确定,并结合所述匹配业务场景的关联的数据信息的数量、所述匹配业务场景与所述数据库的关联的数据信息的数量进行所述不同的匹配业务场景与所述数据库的综合关联性的确定;
S22根据所述数据库的匹配业务场景的数量以及不同的匹配业务场景与所述数据库的综合关联性确定所述数据库的信息重要性。
具体的,根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,具体包括:
当所述数据库的信息重要性大于预设重要性限定值时,则确定所述数据库中的数据信息需要进行升维处理。
在另外的一个可能的实施例中,上述步骤S2中的根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,具体包括:
当所述数据库的信息重要性在所有的数据库的信息重要性的排名大于预设百分比时,则确定所述数据库中的数据信息需要进行升维处理。
在另外的一个可能的实施例中,上述步骤S2中的所述数据库的信息重要性的确定的方法为:
当所述数据库的匹配业务场景的数量小于预设匹配场景数量时,则确定所述数据库中的数据信息不需要进行升维处理;
当所述数据库的匹配业务场景的数量不小于预设匹配场景数量时,基于不同的匹配业务场景的关联的数据信息的数据库来源的数量进行不同的匹配业务场景与所述数据库的基础关联性的确定,当所述数据库的匹配业务场景的基础关联性的和小于预设关联系数时,则确定所述数据库中的数据信息不需要进行升维处理;
当所述数据库的匹配业务场景的基础关联性的和不小于预设关联系数时,基于所述匹配业务场景的关联的数据信息的数量、所述匹配业务场景与所述数据库的关联的数据信息的数量以及基础关联性进行所述不同的匹配业务场景与所述数据库的综合关联性的确定,当所述匹配业务场景与所述数据库的综合关联性的和不满足要求时,则确定所述数据库中的数据信息不需要进行升维处理;
当所述匹配业务场景与所述数据库的综合关联性的和满足要求时,根据所述数据库的匹配业务场景的数量以及不同的匹配业务场景与所述数据库的综合关联性确定所述数据库的信息重要性。
在另外的一个可能的实施例中,上述步骤S2中的所述数据库的信息重要性的确定的方法为:
S21基于不同的匹配业务场景的关联的数据信息的数据库来源的数量进行不同的匹配业务场景与所述数据库的基础关联性的确定,判断所述数据库的匹配业务场景的基础关联性是否均小于预设关联度,若是,进入步骤S23,若否,则进入下一步骤;
S22基于所述匹配业务场景的关联的数据信息的数量、所述匹配业务场景与所述数据库的关联的数据信息的数量以及基础关联性进行所述不同的匹配业务场景与所述数据库的综合关联性的确定,判断所述匹配业务场景与所述数据库的综合关联性是否均无法满足要求,若是,则进入下一步骤,若否,则进入步骤S24;
S23判断所述数据库的匹配业务场景的数量是否小于预设匹配场景数量,若是,则确定所述数据库中的数据信息不需要进行升维处理,若否,则进入下一步骤;
S24根据所述数据库的匹配业务场景的数量以及不同的匹配业务场景与所述数据库的综合关联性确定所述数据库的信息重要性。
S3将除去重要数据信息的数据信息作为剩余数据信息,获取所述筛选数据库中的不同的剩余数据信息的历史变动数据,并基于所述历史变动数据、数据重要性以及信息重要性确定所述筛选数据库中的剩余数据信息中的升维处理数据;
进一步的,所述历史变动数据根据所述剩余数据信息所对应的筛选数据库的日志变动记录进行确定。
具体的,所述历史变动数据包括所述剩余数据信息的变动次数、不同的变动次数之间的时间间隔。
在其中的一个可能的实施例中,如图5所示,上述步骤S3中的所述筛选数据库中的剩余数据信息中的升维处理数据的确定的方法为:
基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性;
根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔,并基于所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔确定所述剩余数据信息的数据变动评估量;
通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据。
在另外的一个可能的实施例中,上述步骤S3中的所述筛选数据库中的剩余数据信息中的升维处理数据的确定的方法为:
基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性;
当所述剩余数据信息的综合数据重要性大于数据重要性预设值时,确定所述剩余数据信息为升维处理数据;
当所述剩余数据信息的综合数据重要性不大于数据重要性预设值时,根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数,当所述剩余数据信息的历史变动次数大于预设变动次数时,则确定所述剩余数据信息为升维处理数据;
当所述剩余数据信息的历史变动次数不大于预设变动次数时,获取所述剩余数据信息的不同的历史变动次数之间的时间间隔,判断与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数是否大于第二预设变动次数,若是,则确定所述剩余数据信息为升维处理数据,若否,则进入下一步骤;
基于所述剩余数据信息的历史变动次数、不同的历史变动次数之间的时间间隔以及与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数确定所述剩余数据信息的数据变动评估量,通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据。
在另外的一个可能的实施例中,上述步骤S3中的所述筛选数据库中的剩余数据信息中的升维处理数据的确定的方法为:
S41基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性,判断所述剩余数据信息的综合数据重要性是否大于数据重要性预设值,若是,则确定所述剩余数据信息为升维处理数据,若否,则进入下一步骤;
S42根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数,判断所述剩余数据信息的历史变动次数是否小于预设变动次数,若是,则进入步骤S44,若否,则进入下一步骤;
S43获取所述剩余数据信息的不同的历史变动次数之间的时间间隔,判断与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数是否大于第二预设变动次数,若是,则确定所述剩余数据信息为升维处理数据,若否,则进入下一步骤;
S44基于所述剩余数据信息的历史变动次数、不同的历史变动次数之间的时间间隔以及与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数确定所述剩余数据信息的数据变动评估量,通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据。
S4通过变动捕获记录进行升维处理数据的信息维度的升维处理和存储。
进一步的,所述变动捕获记录根据所述升维处理数据所对应的数据库的日志变动记录进行确定。
需要说明的是,所述升维处理数据的信息维度的升维处理和存储,具体包括:
通过所述变动捕获记录进行所述升维处理数据的数据变动情况的确定,并基于所述数据变动情况将所述升维处理数据的不同的历史变动次数前后的数据以及变动时间,通过二维数组进行存储得到时间信息维度的升维处理数据,将所述时间信息维度的升维处理数据进行存储处理。
另一方面,如图6所示,本发明提供了一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行上述的一种数据信息的信息维度升维处理方法。
上述的一种数据信息的信息维度升维处理方法,具体包括:
当所述数据信息匹配的业务场景的数量大于预设场景数量时,则确定所述数据信息为重要数据信息;
当所述数据信息匹配的业务场景的数量不大于预设场景数量时,根据所述数据信息匹配的业务场景进行所述数据信息在所述业务场景中的使用频次以及使用人员数量的确定,并基于所述数据信息在所述业务场景中的使用频次以及使用人员数量进行所述数据信息在所述业务场景中的使用重要性的确定;
通过所述使用重要性进行所述业务场景中的重要业务场景的确定,当所述数据信息匹配的重要业务场景的数量大于场景数量限定值时,则确定所述数据信息为重要数据信息;
当所述数据信息匹配的重要业务场景的数量不大于场景数量限定值时,通过所述数据信息匹配的重要业务场景的数量以及不同的重要业务场景的使用重要性进行所述重要业务场景的综合使用重要性的确定,当所述重要业务场景的综合使用重要性不满足要求时,则确定所述数据信息为重要数据信息;
当所述重要业务场景的综合使用重要性满足要求时,获取所述数据信息匹配的重要业务场景的综合使用重要性,并结合所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,基于所述数据重要性确定所述数据信息是否为重要数据信息,将所述重要数据信息作为升维处理数据;
根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系进行所述数据库的信息重要性,并根据所述信息重要性确定所述数据库中的数据信息需要进行升维处理时,将所述数据库作为筛选数据库;
将除去重要数据信息的数据信息作为剩余数据信息,基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性;
根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔,并基于所述剩余数据信息的历史变动次数以及不同的历史变动次数之间的时间间隔确定所述剩余数据信息的数据变动评估量;
通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据;
通过变动捕获记录进行升维处理数据的信息维度的升维处理和存储。
通过以上实施例,本发明取得以下有益效果:
1、基于数据信息匹配的业务场景以及业务场景的使用频次确定重要数据信息,从而实现了从匹配的业务场景以及在不同的业务场景中的使用次数对较为重要的数据信息的筛选,也为差异化的进行数据信息的升维处理奠定了基础。
2、根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系确定数据库的信息重要性,实现了从不同的数据库中的数据信息在不同的匹配业务场景的使用情况进行了较为重要的数据库的筛选,既保证了较为重要的数据库的部分的数据信息的升维处理,同时也避免了不同的数据库的数据信息均进行升维处理导致的处理时长过长或者存储空间的浪费。
3、基于历史变动数据、数据重要性以及信息重要性确定筛选数据库中的剩余数据信息中的升维处理数据,不仅单一的考虑到由于不同的剩余数据信息的数据重要性以及数据库的信息重要性导致剩余数据信息的重要性的差异,同时通过综合考虑历史变动数据实现了对变动过于频繁或者变动次数较多的剩余数据信息的筛选,避免了剩余数据信息由于变动过于频繁导致的中间数据遗失的问题的出现。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (4)
1.一种数据信息的信息维度升维处理方法,其特征在于,具体包括:
S1根据数据信息的类型进行不同的数据信息匹配的业务场景的确定,并结合所述业务场景的使用频次确定不同的数据信息的数据重要性以及重要数据信息,将所述重要数据信息作为升维处理数据;
S2根据数据库的匹配业务场景以及不同的匹配业务场景与数据库的关联关系进行所述数据库的信息重要性的评估,并根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,若是,则将所述需要进行升维处理的数据库作为筛选数据库,并进入下一步骤,若否,则进入步骤S4;
S3将除去重要数据信息的数据信息作为剩余数据信息,获取所述筛选数据库中的不同的剩余数据信息的历史变动数据,并基于所述历史变动数据、数据重要性以及信息重要性确定所述筛选数据库中的剩余数据信息中的升维处理数据;
S4通过变动捕获记录进行升维处理数据的信息维度的升维处理和存储;
所述重要数据信息的确定的方法为:
根据所述数据信息匹配的业务场景进行所述数据信息在所述业务场景中的使用频次以及使用人员数量的确定,并基于所述数据信息在所述业务场景中的使用频次以及使用人员数量进行所述数据信息在所述业务场景中的使用重要性的确定;
通过所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,基于所述数据重要性确定所述数据信息是否为重要数据信息;
通过所述数据信息匹配的业务场景的数量以及不同的业务场景的使用重要性进行所述数据信息的数据重要性,具体包括:
将不同的业务场景的使用重要性进行归一化处理后得到不同的业务场景的权重值,并结合数据信息匹配的业务场景的数量确定所述数据信息匹配的业务场景的权重和,并将所述权重和作为所述数据信息的数据重要性;
所述数据库的信息重要性的确定的方法为:
基于不同的匹配业务场景的关联的数据信息的数据库来源的数量进行不同的匹配业务场景与所述数据库的基础关联性的确定,并结合所述匹配业务场景的关联的数据信息的数量、所述匹配业务场景与所述数据库的关联的数据信息的数量进行所述不同的匹配业务场景与所述数据库的综合关联性的确定;
根据所述数据库的匹配业务场景的数量以及不同的匹配业务场景与所述数据库的综合关联性确定所述数据库的信息重要性;
根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,具体包括:
当所述数据库的信息重要性大于预设重要性限定值时,则确定所述数据库中的数据信息需要进行升维处理;
根据所述信息重要性确定所述数据库中的数据信息是否需要进行升维处理,具体包括:
当所述数据库的信息重要性在所有的数据库的信息重要性的排名大于预设百分比时,则确定所述数据库中的数据信息需要进行升维处理;
所述筛选数据库中的剩余数据信息中的升维处理数据的确定的方法为:
基于所述信息重要性进行所述剩余数据信息的数据重要性的权重值的确定,并结合所述剩余数据信息的数据重要性确定所述剩余数据信息的综合数据重要性;
当所述剩余数据信息的综合数据重要性大于数据重要性预设值时,确定所述剩余数据信息为升维处理数据;
当所述剩余数据信息的综合数据重要性不大于数据重要性预设值时,根据所述剩余数据信息的历史变动数据确定所述剩余数据信息的历史变动次数,当所述剩余数据信息的历史变动次数大于预设变动次数时,则确定所述剩余数据信息为升维处理数据;
当所述剩余数据信息的历史变动次数不大于预设变动次数时,获取所述剩余数据信息的不同的历史变动次数之间的时间间隔,判断与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数是否大于第二预设变动次数,若是,则确定所述剩余数据信息为升维处理数据,若否,则进入下一步骤;
基于所述剩余数据信息的历史变动次数、不同的历史变动次数之间的时间间隔以及与上一次的历史变动次数之间的时间间隔小于预设时间间隔的历史变动次数确定所述剩余数据信息的数据变动评估量,通过所述剩余数据信息的综合数据重要性以及数据变动评估量确定所述剩余数据信息的综合评估量,并通过所述综合评估量确定所述剩余数据信息是否为升维处理数据。
2.如权利要求1所述的数据信息的信息维度升维处理方法,其特征在于,所述数据信息的类型包括用户的个人身份信息、信贷申请信息、信贷支用信息以及信贷还款信息。
3.如权利要求1所述的数据信息的信息维度升维处理方法,其特征在于,所述业务场景包括信贷审批、对账处理、信贷信息查询、身份信息核验。
4.一种计算机系统,包括:通信连接的存储器和处理器,以及存储在所述存储器上并能够在所述处理器上运行的计算机程序,其特征在于:所述处理器运行所述计算机程序时执行权利要求1-3任一项所述的一种数据信息的信息维度升维处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410064829.1A CN117573728B (zh) | 2024-01-17 | 2024-01-17 | 一种数据信息的信息维度升维处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410064829.1A CN117573728B (zh) | 2024-01-17 | 2024-01-17 | 一种数据信息的信息维度升维处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117573728A CN117573728A (zh) | 2024-02-20 |
CN117573728B true CN117573728B (zh) | 2024-04-23 |
Family
ID=89892241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410064829.1A Active CN117573728B (zh) | 2024-01-17 | 2024-01-17 | 一种数据信息的信息维度升维处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117573728B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118151974B (zh) * | 2024-05-11 | 2024-08-27 | 杭州高能云科技有限公司 | 一种投顾服务系统升级处理方法与系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678327A (zh) * | 2012-09-04 | 2014-03-26 | 中国移动通信集团四川有限公司 | 一种信息关联的方法及装置 |
WO2021196457A1 (zh) * | 2020-04-02 | 2021-10-07 | 深圳壹账通智能科技有限公司 | 数据相关性分析方法、装置、计算机系统及可读存储介质 |
CN114461869A (zh) * | 2021-12-21 | 2022-05-10 | 北京达佳互联信息技术有限公司 | 业务特征数据处理方法、装置、电子设备及存储介质 |
CN115510299A (zh) * | 2021-06-07 | 2022-12-23 | 中国移动通信集团浙江有限公司 | 数据分类方法、模型压缩方法、装置、设备及程序产品 |
CN116257594A (zh) * | 2023-02-27 | 2023-06-13 | 中国航发四川燃气涡轮研究院 | 一种数据重构方法及系统 |
-
2024
- 2024-01-17 CN CN202410064829.1A patent/CN117573728B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678327A (zh) * | 2012-09-04 | 2014-03-26 | 中国移动通信集团四川有限公司 | 一种信息关联的方法及装置 |
WO2021196457A1 (zh) * | 2020-04-02 | 2021-10-07 | 深圳壹账通智能科技有限公司 | 数据相关性分析方法、装置、计算机系统及可读存储介质 |
CN115510299A (zh) * | 2021-06-07 | 2022-12-23 | 中国移动通信集团浙江有限公司 | 数据分类方法、模型压缩方法、装置、设备及程序产品 |
CN114461869A (zh) * | 2021-12-21 | 2022-05-10 | 北京达佳互联信息技术有限公司 | 业务特征数据处理方法、装置、电子设备及存储介质 |
CN116257594A (zh) * | 2023-02-27 | 2023-06-13 | 中国航发四川燃气涡轮研究院 | 一种数据重构方法及系统 |
Non-Patent Citations (2)
Title |
---|
THE NOTION OF DATA AND ITS QUALITY DIMENSIONS;FOX, C et al.;INFORMATION PROCESSING & MANAGEMENT;19940228;第9-19页 * |
数据仓库系统中渐变维度更新策略的研究;宋晓燕;刘哲;林桐;夏秀峰;;沈阳航空工业学院学报;20061030(05);第59-62页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117573728A (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9324087B2 (en) | Method, system, and computer program product for linking customer information | |
US7912773B1 (en) | Computer-implemented data storage systems and methods for use with predictive model systems | |
CN117573728B (zh) | 一种数据信息的信息维度升维处理方法及系统 | |
US20050080821A1 (en) | System and method for managing collections accounts | |
US11244256B2 (en) | System and method for enhancing credit and debt collection | |
WO2003096237A2 (en) | Electronic data processing system and method of using an electronic data processing system for automatically determining a risk indicator value | |
WO2007106786A2 (en) | Methods and systems for multi-credit reporting agency data modeling | |
US10325227B2 (en) | System and method for enhancing credit and debt collection | |
WO2009010950A1 (en) | System and method for predicting a measure of anomalousness and similarity of records in relation to a set of reference records | |
CN117149797B (zh) | 一种基于多维度数据监控的对账方法及系统 | |
CN110728301A (zh) | 一种个人用户的信用评分方法、装置、终端及存储介质 | |
US20220114466A1 (en) | Synthetic identity detection | |
JP6251383B2 (ja) | 債務不履行となる企業の蓋然性の計算 | |
US7181449B2 (en) | Method, system, and program product for executing a scalar function on a varying number of records within a RDBMS using SQL | |
US20140330706A1 (en) | Apparatus and method for total loss prediction | |
AU2021102594A4 (en) | System and method for predicting loan scoring strategies using deep learning technique for banking system | |
WO2015191592A1 (en) | System and method for generating descriptive measures that assesses the financial health of a business | |
CN118244994B (zh) | 基于云计算的历史数据存储方法及装置 | |
EP3026615A1 (en) | System and method for enhancing credit and debt collection | |
CN117436918A (zh) | 手机银行客户活跃度分层模型的构建方法及系统 | |
CN117113965A (zh) | 一种交易文件的比对方法、装置、设备及存储介质 | |
Kamitake et al. | MODELING THE DEFAULT RISK OF CARD LOANS CONSIDERING INDIVIDUAL BEHAVIOR CHARACTERISTICS BASED ON BANK ACCOUNT DEPOSIT AND WITHDRAWAL DATA | |
Bellinazzi | Forecast of the financial risk using time series analysis | |
CN118735675A (zh) | 一种业务风险预测方法及系统 | |
CN116957782A (zh) | 一种基于信审机构业务碎片化特征管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |