CN116975112A - 一种金融大数据处理方法、装置、设备及介质 - Google Patents
一种金融大数据处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116975112A CN116975112A CN202311043366.2A CN202311043366A CN116975112A CN 116975112 A CN116975112 A CN 116975112A CN 202311043366 A CN202311043366 A CN 202311043366A CN 116975112 A CN116975112 A CN 116975112A
- Authority
- CN
- China
- Prior art keywords
- information
- asset
- node
- big data
- financial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Finance (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及金融领域,尤其涉及一种金融大数据处理方法、装置、设备及介质,该方法获取用户的金融资产信息,构建得到对应用户的资产树;针对资产树中任一节点,获取节点对应的资产类在资产大数据中的描述规则,将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息;对不匹配的信息进行语义拆分,得到N个子信息,对子信息进行规则化转换,得到转换的信息;获取资产大数据中待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果,通过将资产树中的各个节点信息转化为金融平台能够识别的信息,将用户的资产树配置和金融平台的大数据处理隔开,达到了灵活解耦,高效处理的目的。
Description
技术领域
本发明涉及金融领域,尤其涉及一种金融大数据处理方法、装置、设备及介质。
背景技术
目前,为了帮助投资者理解和管理自己的金融资产,通过构建的金融资产树将金融资产划分成不同的类别和子类别,并根据金融资产之间的关系和特征进行分类和组织。金融资产树是一种能够用于描述金融资产类别、计算金融资产价值和分析金融资产风险的工具,通过在金融资产树中进行节点之间的运算,可以得到不同组合的金融资产的总价值、收益、风险等指标。
现在,金融大数据平台通过各个投资者的金融资产树进行各项金融指标结果的获取,但是,由于投资者构建金融资金树时的表述存在差异,存在与金融大数据平台中不相符合的情况,进而会影响获取的各项金融指标结果的准确性,从而使得金融大数据平台的数据处理效率变低,因此,如何避免金融资产树对金融大数据处理的影响,提高金融大数据平台的数据处理效率成为亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种金融大数据处理方法、装置、设备及介质,以解决金融资产树对金融大数据处理的影响问题。
第一方面,本发明实施例提供一种金融大数据处理方法,所述金融大数据处理方法包括:
获取用户的金融资产信息,根据所述金融资产信息和预设的资产层级规则,构建得到对应所述用户的资产树,其中,所述资产树中任一节点的节点信息为对应资产类的资产信息;
针对所述资产树中任一节点,获取所述节点对应的资产类在资产大数据中的描述规则,将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息;
对所述不匹配的信息进行语义拆分,得到N个子信息,根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息;
获取所述资产大数据中待计算的信息,对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果。
第二方面,本发明实施例提供一种金融大数据处理装置,所述金融大数据处理装置包括:
资产树配置模块,用于获取用户的金融资产信息,根据所述金融资产信息和预设的资产层级规则,构建得到对应所述用户的资产树,其中,所述资产树中任一节点的节点信息为对应资产类的资产信息;
信息匹配模块,用于针对所述资产树中任一节点,获取所述节点对应的资产类在资产大数据中的描述规则,将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息;
信息转换模块,用于对所述不匹配的信息进行语义拆分,得到N个子信息,根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息;
信息融合模块,用于获取所述资产大数据中待计算的信息,对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果。
第三方面,本发明实施例提供一种计算机设备,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的金融大数据处理方法。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的金融大数据处理方法。
本发明实施例与现有技术相比存在的有益效果是:
本发明获取用户的金融资产信息,根据金融资产信息和预设的资产层级规则,构建得到对应用户的资产树,其中,资产树中任一节点的节点信息为对应资产类的资产信息;针对资产树中任一节点,获取节点对应的资产类在资产大数据中的描述规则,将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息;对不匹配的信息进行语义拆分,得到N个子信息,根据节点对应的描述规则,对子信息进行规则化转换,得到转换的信息;获取资产大数据中待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果,通过将用户的金融资产进行分类组合配置成资产树,以便于后续用户直接查询和修改,同时根据资产树的各个节点对应的资产类在资产大数据中的描述规则,将资产树中的各个节点信息转化为金融平台能够识别的信息,从而能够将用户的资产树配置和金融平台的大数据处理进行隔离开,使彼此之间都相互不影响,能够灵活处理各自的任务,进而达到灵活解耦,高效处理的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种金融大数据处理方法的一应用环境示意图;
图2是本发明实施例一提供的一种金融大数据处理方法的流程示意图;
图3是本发明实施例二提供的一种金融大数据处理装置的结构示意图;
图4是本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
应当理解,当在本发明说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本发明说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
应理解,以下实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
本发明实施例一提供的一种金融大数据处理方法,可应用在如图1的应用环境中,其中,客户端与服务端进行通信。其中,客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant,PDA)等计算机设备。服务端可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
该金融大数据处理方法应用于金融场景下,上述客户端可以为手机,手机通过无线网络连接服务端,以发送用户的金融资产信息,然后在服务端根据用户的金融资产信息构建得到对应的资产树,并将资产树的资产信息转换为资产大数据中的描述,从而实现资产大数据的管理。
参见图2,是本发明实施例一提供的一种金融大数据处理方法的流程示意图,上述金融大数据处理方法可以应用于图1中的服务端,服务端对应的计算机设备连接相应的数据库,以获取相应的后台数据,例如,用户的金融资产信息,用于构建由各类资产信息形成的资产树。另外,服务端还连接客户端,用于获取用户从客户端发送的金融资产信息。如图2所示,该金融大数据处理方法可以包括以下步骤:
步骤S201,获取用户的金融资产信息,根据金融资产信息和预设的资产层级规则,构建得到对应用户的资产树。
其中,资产树中任一节点的节点信息为对应资产类的资产信息。用户的金融资产信息可以包括对各种金融产品的持有量,金融产品可以包括如理财、国债、活期存款、代理推介、薪金煲、保险、定期存款、贵金属、基金以及贷款等。资产类型包括境内权益资产、境内固定收益资产、境外权益资产、境外固定收益资产、房地产、现金及现金等价物。其中,境内权益资产是指在中国境内为获取其他企业的权益或净资产所进行的投资,境内固定收益资产是指中国境内投资于银行定期存款、协议存款、国债、金融债、企业债、可转换债券、债券型基金等固定收益类资产,相对的,境外权益资产是指在中国境外为获取其他企业的权益或净资产所进行的投资,境外固定收益资产是指中国境外投资于银行定期存款、协议存款、国债、金融债、企业债、可转换债券、债券型基金等固定收益类资产,房地产是指国内外购买的房产,本发明实施例不做具体限定。预设的资产层级规则是根据资产类型之间的从属关系而预先设置的资产分类维度,用户可根据需求自定义设置,本发明不作限制。因此,获取用户的金融资产信息,根据金融资产信息和预设的资产层级规则,构建得到对应用户的资产树。
本发明中,用户的资产树的构建方法具体为:根据用户的金融资产信息确定每个资产类型对应的资产信息,将每个资产类型均作为一个资产节点,将每个资产节点的资产信息作为节点信息,从预设的资产层级规则中确定每个资产类型的从属类型,将每个从属类型均作为一个从属节点,根据从属节点和资产节点的父子关系,在所有资产节点上形成对应的从属节点,形成资产树;将从属类型作为资产类型,将从属节点作为资产节点,返回执行从预设的资产层级规则中确定每个资产类型的从属类型,将每个从属类型均作为一个从属节点的步骤,直至所有资产类型在预设规则中均无从属类型,得到最终的资产树;针对任一从属类型对应的从属节点,将从属类型下的资产类型对应的资产节点的节点信息进行聚合,得到聚合结果,将聚合结果作为从属节点的节点信息;根据所有从属节点的节点信息,更新最终的资产树,得到更新后的资产树。
步骤S202,针对资产树中任一节点,获取节点对应的资产类在资产大数据中的描述规则,将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息。
其中,描述规则定义了要生成的目标文档包含的每一项数据的具体属性,包括但不限于区域信息和转换机制等。其中,区域信息用于定义数据字段占据的单元格区域,用于支持跨行+列的数据字段排布;转换机制用于定义各种数据类型对应的数据格式,比如:小数类型的精确位数,日期类型的显示格式。描述规则用于描述各个资产类对应的信息。资产大数据是指金融大数据平台提供的数据。匹配的信息是指与资产大数据中的表述相符合的资产信息,也即是资产大数据平台通过规则引擎能够识别的资产信息,相对应的,不匹配的信息是指与资产大数据中的表述不符合的资产信息,也即是资产大数据平台通过规则引擎无法识别的资产信息。因此,本发明中针对资产树中任一节点,首先获取节点对应的资产类在资产大数据中的描述规则,然后将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息,以筛选资产树中与资产大数据的表述不符合的资产信息,提高了后续信息转换的效率。
可选的是,将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息,包括:
对描述规则进行解析,得到对应的标准信息分词结果;
对节点的节点信息进行分词处理,得到分词结果;
将分词结果与标准信息分词结果进行匹配,得到匹配的信息和不匹配的信息。
其中,分词是词法分析中的基本任务,分词算法根据其核心思想主要分为两类:一种是基于词典的分词,先把文本数据按照词典切分成词,再寻找词的最佳组合方式;另一种是基于字的分词,由字构词,先把句子分成一个个字,再将字组成词,寻找最优的切分策略。因此,首先,对描述规则进行解析,得到描述规则对应的标准信息分词结果,以标准信息分词结果作为模板,然后对节点的节点信息进行分词处理,得到分词结果,基于模板匹配,将分词结果与标准信息分词结果进行匹配,得到匹配的信息和不匹配的信息,将标准信息分词结果作为模板,模板匹配保证了匹配的信息和不匹配的信息获取的准确性。
本发明中,采用基于理解的分词方法对节点的节点信息进行分词处理,得到分词结果。其中,基于理解的分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。基于理解的分词方法的基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。
在一实施方式中,还可以采用基于规则的分词方法(例如基于字符串匹配的分词方法)进行分词,基于规则的分词方法是按照一定的策略,将待分析的汉字串与一个“充分大的”词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功(识别出一个词)。常用的基于规则的分词方法包括:正向最大匹配法(由左到右的方向);逆向最大匹配法(由右到左的方向);最少切分(使每一句中切出的词数最小)。其中,正向最大匹配法是将一段字符串进行分隔,其中分隔的长度有限制,然后将分隔的子字符串与词典中的词进行匹配,如果匹配成功则进行下一轮匹配,直到所有字符串处理完毕,否则将子字符串从末尾去除一个字,再进行匹配,如此反复。逆向最大匹配法则与此正向最大匹配法类似。
步骤S203,对不匹配的信息进行语义拆分,得到N个子信息,根据节点对应的描述规则,对子信息进行规则化转换,得到转换的信息。
其中,语义拆分用于拆分信息中描述不同的子信息,不同的语义可能代表不同信息的描述。转换的信息是指与资产大数据中的表述相符合的信息。因此,本发明中针对不匹配的信息,对不匹配的信息进行语义拆分,得到N个子信息,根据节点对应的描述规则,对子信息进行规则化转换,得到转换的信息,通过将不匹配的信息转换为与资产大数据中的表述相符合的信息,使得资产树和资产大数据的规则表述一致,能够提升后续资产大数据的数据管理效率。
可选的是,对不匹配的信息进行语义拆分,得到N个子信息,包括:
获取不匹配的信息中的关键信息字段;
将不匹配的信息中的关键信息字段进行独立语义划分,得到至少一个第一子信息;
将第一子信息之外的信息按照独立语义进行依次划分,得到至少一个第二子信息。
其中,首先对不匹配的信息进行解析确定其中的关键信息字段,然后确定出每个关键信息字段在不匹配的信息中的起始位置,按照起始位置将不匹配的信息中的关键信息字段进行独立语义划分,得到至少一个第一子信息。然后对于第一子信息之外的信息,通过分词方法将第一子信息之外的信息按照独立语义进行依次划分,得到至少一个第二子信息。
本发明中,对于不匹配的信息中的关键信息字段的获取方法为:首先过滤匹配的信息中的停用词,然后通过关键词提取算法对过滤后的匹配的信息进行关键词提取,得到至少一个关键信息字段。其中,停用词是指在信息检索中,为了节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词,这些字或词即被称为停用词,过滤停用词可以提高搜索效率,节省计算时间。
需要说明的是,关键词提取算法一般分为有监督和无监督两类,无监督的关键词提取算法无需人工生成和维护词表,也不需要人工标注语料辅助训练。目前比较常用的无监督关键词提取算法为:TF-IDF(词频-逆文本频率法)、TextRank(文本排名算法)或LDA(线性判别式分析法)等关键词提取算法。
TF-IDF是一种用于信息检索与数据挖掘的常用加权技术,TF是指词频,IDF为逆文档频率,TF-IDF为两者相乘。TextRank算法基于PageRank算法,PageRank算法是一种网页排名算法,其基本思想有两条:链接数量和链接质量,链接数量是指一个网页被越多的其他网页链接,则说明该网页越重要;链接质量是指一个网页被一个越高权值的网页链接,也能表明这个网页越重要。TextRank是一种文本排名算法,将词视为互联网上的节点,根据词之间的共现关系计算每个词的重要性,TextRank算法能从一个给定的文本中提取出该文本的关键词、关键词组。
在一实施方式中,还可以通过预先训练好的关键词提取模型对不匹配的信息进行关键词提取,得到至少一个关键信息字段。其中,预先训练好的关键词提取模型可以是通过机器学习训练好的关键词提取模型,即通过对信息的关键词进行人工标注生成标签,利用训练集中的样本信息输入预先构建的关键词提取模型中,得到关键词输出结果,根据关键词输出结果和标签计算的损失对关键词提取模型进行训练,得到训练好的关键词提取模型。
可选的是,对不匹配的信息进行语义拆分,得到N个子信息之后,包括:
统计每个子信息的字符串长度,根据字符串长度对N个子信息进行筛选,得到目标子信息;
根据节点对应的描述规则,对子信息进行规则化转换,得到转换的信息,包括:
根据节点对应的描述规则,对目标子信息进行规则化转换,得到转换的信息。
本发明中,统计每个子信息的字符串长度,将字符串长度与预设的长度阈值进行对比,若字符串长度大于或等于预设的长度阈值,则将对应的子信息作为有效信息,保留下来;若字符串长度小于预设的长度阈值,则将对应的子信息作为无效信息进行滤除,因此,根据字符串长度对N个子信息进行筛选,得到字符串长度大于或等于预设的长度阈值对应的目标子信息,进而根据节点对应的描述规则,对目标子信息进行规则化转换,得到转换的信息,避免了无效信息的干扰,提高了信息转换效率。例如,假设字符串长度为1对应的子信息为无用信息,则通过设置长度阈值为2,将字符串长度小于2所对应的子信息滤除,将字符串长度大于或等于2所对应的子信息保留下来。
可选的是,根据节点对应的描述规则,对目标子信息进行规则化转换,得到转换的信息,包括:
获取节点对应的描述规则的信息模板,利用目标子信息对信息模板进行填充,得到转换的信息。
其中,信息模板是指将固定化、标准化的信息结构形式,在模板中明确了信息的需求,即选择有用的数据。因此,本发明首先获取节点对应的描述规则的信息模板,将目标子信息填充在信息模板中,从而生成转换的信息,实现了信息转换的定制化需求,减少了处理信息转换所占用的资源和时间,从而提高了信息处理效率。
可选的是,根据节点对应的描述规则,对目标子信息进行规则化转换,得到转换的信息,包括:
获取与节点的描述规则对应的训练好的信息重构模型,其中,训练集包括样本信息和基于描述规则描述得到的标签,信息重构模型包括编码器和解码器,使用编码器编码样本信息,得到编码结果,使用解码器解码编码结果,得到解码结果,根据解码结果和标签计算的损失对信息重构模型进行训练,得到训练好的信息重构模型;
将目标子信息输入至训练好的信息重构模型,输出转换的信息。
其中,训练好的信息重构模型是指已经完成训练的信息重构模型,具有强大的信息重构能力,针对新的信息也能够准确重构得到对应的转换信息。训练好的信息重构模型是基于大样本数据经过训练得到的,因此,在获取与节点的描述规则对应的训练好的信息重构模型之前,需要对信息重构模型进行训练,其训练过程为:获取样本信息和基于描述规则描述得到的标签,利用编码器对样本信息进行编码,得到对应的编码结果,利用解码器对编码结果进行解码,得到对应的解码结果,根据样本信息的解码结果和对应的标签,采用交叉熵损失函数计算得到重构损失,根据梯度下降法反向修正信息重构模型中的参数,直至重构损失收敛,得到训练好的信息重构模型。进而将目标子信息输入至训练好的信息重构模型,输出转换的信息。
步骤S204,获取资产大数据中待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果。
其中,待计算的信息是指资产大数据中需要参加融合计算的原始信息,也即是资产大数据中与节点对应的资产类属于同一类的资产信息。融合计算用于将多个目标融合为一个目标,融合计算可以包括但不限于求和计算、最大值计算、平均值计算以及最小值计算,可根据实际需求设置。因此,本发明可以从金融大数据平台获取资产大数据中待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果。
需要说明的是,针对用户的资产树中每个节点,利用步骤S202至S204的步骤,根据每个节点对应的节点信息,对应获取匹配的信息和转换的信息,进而在资产大数据中获取与每个节点的资产类所对应的待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到对应节点的融合计算结果。
可选的是,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果之后,包括:
接收用户的融合计算结果查询请求,根据融合计算结果查询请求确认用户的预设表结构,根据预设表结构和所有融合计算结果,生成融合计算结果表,并将融合计算结果表反馈给用户。
其中,融合计算结果查询请求中携带有指定结果查询规则,指定结果查询规则用于是指如何进行融合计算结果的查询,例如,指定结果查询规则可以指定融合计算结果按照从小到大的顺序进行查询,也可以按照用户定向选择的融合计算结果进行查询。预设表结果与融合计算结果查询请求一一对应,因此,在得到所有融合计算结果后,用户可以向金融大数据平台发送融合计算结果查询请求,金融大数据平台接收到该融合计算结果查询请求时,根据融合计算结果查询请求确认用户的预设表结构,通过将融合计算结果填充值预设表结构,得到融合计算结果表,从而将查询得到融合计算结果表反馈给用户。
值得说明的是,在接收到用户的融合计算结果查询请求之后,可以对查询请求进行验证,仅对符合查询条件的查询请求提供查询服务,从而能够有效管控信息访问行为,降低了外部信息的滥用风险,进而有效保护了用户的隐私。例如,通过设置用户的标识信息,该标识信息可以唯一确定对应用户的身份,根据标识信息匹配可以验证用户的身份,验证通过说明该用户符合查询条件,若验证不通过,则说明该用户不符合查询条件,可以忽略对应的查询请求。
本发明实施例获取用户的金融资产信息,根据金融资产信息和预设的资产层级规则,构建得到对应用户的资产树,其中,资产树中任一节点的节点信息为对应资产类的资产信息;针对资产树中任一节点,获取节点对应的资产类在资产大数据中的描述规则,将节点的节点信息与描述规则进行匹配,得到匹配的信息和不匹配的信息;对不匹配的信息进行语义拆分,得到N个子信息,根据节点对应的描述规则,对子信息进行规则化转换,得到转换的信息;获取资产大数据中待计算的信息,对待计算的信息、匹配的信息和转换的信息进行融合计算,得到融合计算结果,通过将用户的金融资产进行分类组合配置成资产树,以便于后续用户直接查询和修改,同时根据资产树的各个节点对应的资产类在资产大数据中的描述规则,将资产树中的各个节点信息转化为金融平台能够识别的信息,从而能够将用户的资产树配置和金融平台的大数据处理进行隔离开,使彼此之间都相互不影响,能够灵活处理各自的任务,进而达到灵活解耦,高效处理的目的。
对应于上文实施例的金融大数据处理方法,图3示出了本发明实施例二提供的一种金融大数据处理装置的结构框图,参见图3,该金融大数据处理装置包括:
资产树配置模块31,用于获取用户的金融资产信息,根据所述金融资产信息和预设的资产层级规则,构建得到对应所述用户的资产树,其中,所述资产树中任一节点的节点信息为对应资产类的资产信息;
信息匹配模块32,用于针对所述资产树中任一节点,获取所述节点对应的资产类在资产大数据中的描述规则,将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息;
信息转换模块33,用于对所述不匹配的信息进行语义拆分,得到N个子信息,根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息;
信息融合模块34,用于获取所述资产大数据中待计算的信息,对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果。
可选的是,信息匹配模块32包括:
规则解析单元,用于对所述描述规则进行解析,得到对应的标准信息分词结果;
分词处理单元,用于对所述节点的节点信息进行分词处理,得到分词结果;
分词匹配单元,用于将所述分词结果与所述标准信息分词结果进行匹配,得到匹配的信息和不匹配的信息。
可选的是,信息转换模块33包括:
关键信息提取单元,用于获取所述不匹配的信息中的关键信息字段;
第一划分单元,用于将所述不匹配的信息中的所述关键信息字段进行独立语义划分,得到至少一个第一子信息;
第二划分单元,用于将所述第一子信息之外的信息按照独立语义进行依次划分,得到至少一个第二子信息。
可选的是,信息转换模块33包括:
信息筛选单元,用于所述对所述不匹配的信息进行语义拆分,得到N个子信息之后,统计每个所述子信息的字符串长度,根据所述字符串长度对所述N个子信息进行筛选,得到目标子信息;
目标转换单元,用于根据所述节点对应的描述规则,对所述目标子信息进行规则化转换,得到转换的信息。
可选的是,目标转换单元包括:
模版填充子单元,用于获取所述节点对应的描述规则的信息模版,利用所述目标子信息对所述信息模版进行填充,得到转换的信息。
可选的是,目标转换单元包括:
模型获取子单元,用于获取与所述节点的描述规则对应的训练好的信息重构模型,其中,所述训练集包括样本信息和基于所述描述规则描述得到的标签,信息重构模型包括编码器和解码器,使用编码器编码所述样本信息,得到编码结果,使用解码器解码所述编码结果,得到解码结果,根据所述解码结果和所述标签计算的损失对所述信息重构模型进行训练,得到训练好的信息重构模型;
信息重构子单元,用于将所述目标子信息输入至训练好的信息重构模型,输出转换的信息。
可选的是,该金融大数据处理装置包括:
结果查询模块,用于对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果之后,接收用户的融合计算结果查询请求,根据所述融合计算结果查询请求确认所述用户的预设表结构,根据所述预设表结构和所有融合计算结果,生成融合计算结果表,并将所述融合计算结果表反馈给所述用户。
需要说明的是,上述模块、单元、子单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图4为本发明实施例三提供的一种计算机设备的结构示意图。如图4所示,该实施例的计算机设备包括:至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意各个金融大数据处理方法实施例中的步骤。
该计算机设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,图4仅仅是计算机设备的举例,并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU,该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等,其中,内存储器可以是计算机设备的内存,内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘,在另一些实施例中也可以是计算机设备的外部存储设备,例如,计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程,也可以通过一种计算机程序产品来完成,当计算机程序产品在计算机设备上运行时,使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/计算机设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种金融大数据处理方法,其特征在于,所述金融大数据处理方法包括:
获取用户的金融资产信息,根据所述金融资产信息和预设的资产层级规则,构建得到对应所述用户的资产树,其中,所述资产树中任一节点的节点信息为对应资产类的资产信息;
针对所述资产树中任一节点,获取所述节点对应的资产类在资产大数据中的描述规则,将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息;
对所述不匹配的信息进行语义拆分,得到N个子信息,根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息;
获取所述资产大数据中待计算的信息,对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果。
2.根据权利要求1所述的金融大数据处理方法,其特征在于,所述将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息,包括:
对所述描述规则进行解析,得到对应的标准信息分词结果;
对所述节点的节点信息进行分词处理,得到分词结果;
将所述分词结果与所述标准信息分词结果进行匹配,得到匹配的信息和不匹配的信息。
3.根据权利要求1所述的金融大数据处理方法,其特征在于,所述对所述不匹配的信息进行语义拆分,得到N个子信息,包括:
获取所述不匹配的信息中的关键信息字段;
将所述不匹配的信息中的所述关键信息字段进行独立语义划分,得到至少一个第一子信息;
将所述第一子信息之外的信息按照独立语义进行依次划分,得到至少一个第二子信息。
4.根据权利要求1所述的金融大数据处理方法,其特征在于,所述对所述不匹配的信息进行语义拆分,得到N个子信息之后,包括:
统计每个所述子信息的字符串长度,根据所述字符串长度对所述N个子信息进行筛选,得到目标子信息;
根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息,包括:
根据所述节点对应的描述规则,对所述目标子信息进行规则化转换,得到转换的信息。
5.根据权利要求4所述的金融大数据处理方法,其特征在于,所述根据所述节点对应的描述规则,对所述目标子信息进行规则化转换,得到转换的信息,包括:
获取所述节点对应的描述规则的信息模板,利用所述目标子信息对所述信息模板进行填充,得到转换的信息。
6.根据权利要求4所述的金融大数据处理方法,其特征在于,所述根据所述节点对应的描述规则,对所述目标子信息进行规则化转换,得到转换的信息,包括:
获取与所述节点的描述规则对应的训练好的信息重构模型,其中,所述训练集包括样本信息和基于所述描述规则描述得到的标签,信息重构模型包括编码器和解码器,使用编码器编码所述样本信息,得到编码结果,使用解码器解码所述编码结果,得到解码结果,根据所述解码结果和所述标签计算的损失对所述信息重构模型进行训练,得到训练好的信息重构模型;
将所述目标子信息输入至训练好的信息重构模型,输出转换的信息。
7.根据权利要求1所述的金融大数据处理方法,其特征在于,所述对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果之后,包括:
接收用户的融合计算结果查询请求,根据所述融合计算结果查询请求确认所述用户的预设表结构,根据所述预设表结构和所有融合计算结果,生成融合计算结果表,并将所述融合计算结果表反馈给所述用户。
8.一种金融大数据处理装置,其特征在于,所述金融大数据处理装置包括:
资产树配置模块,用于获取用户的金融资产信息,根据所述金融资产信息和预设的资产层级规则,构建得到对应所述用户的资产树,其中,所述资产树中任一节点的节点信息为对应资产类的资产信息;
信息匹配模块,用于针对所述资产树中任一节点,获取所述节点对应的资产类在资产大数据中的描述规则,将所述节点的节点信息与所述描述规则进行匹配,得到匹配的信息和不匹配的信息;
信息转换模块,用于对所述不匹配的信息进行语义拆分,得到N个子信息,根据所述节点对应的描述规则,对所述子信息进行规则化转换,得到转换的信息;
信息融合模块,用于获取所述资产大数据中待计算的信息,对所述待计算的信息、所述匹配的信息和所述转换的信息进行融合计算,得到融合计算结果。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的金融大数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的金融大数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043366.2A CN116975112A (zh) | 2023-08-17 | 2023-08-17 | 一种金融大数据处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311043366.2A CN116975112A (zh) | 2023-08-17 | 2023-08-17 | 一种金融大数据处理方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116975112A true CN116975112A (zh) | 2023-10-31 |
Family
ID=88476596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311043366.2A Pending CN116975112A (zh) | 2023-08-17 | 2023-08-17 | 一种金融大数据处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116975112A (zh) |
-
2023
- 2023-08-17 CN CN202311043366.2A patent/CN116975112A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111767716B (zh) | 企业多级行业信息的确定方法、装置及计算机设备 | |
CN112084381A (zh) | 一种事件抽取方法、系统、存储介质以及设备 | |
CN112035599B (zh) | 基于垂直搜索的查询方法、装置、计算机设备及存储介质 | |
US11263523B1 (en) | System and method for organizational health analysis | |
CN111339427A (zh) | 一种图书信息推荐方法、装置、系统及存储介质 | |
CN110134842B (zh) | 基于信息图谱的信息匹配方法、装置、存储介质和服务器 | |
CN111984792A (zh) | 网站分类方法、装置、计算机设备及存储介质 | |
CN108875065B (zh) | 一种基于内容的印尼新闻网页推荐方法 | |
US20150242393A1 (en) | System and Method for Classifying Text Sentiment Classes Based on Past Examples | |
CN112328857B (zh) | 一种产品知识聚合方法、装置、计算机设备及存储介质 | |
CN111581193A (zh) | 数据处理方法、设备、计算机系统及存储介质 | |
CN115840808B (zh) | 科技项目咨询方法、装置、服务器及计算机可读存储介质 | |
CN112149387A (zh) | 财务数据的可视化方法、装置、计算机设备及存储介质 | |
CN115687647A (zh) | 公证文书生成方法、装置、电子设备及存储介质 | |
US20230028664A1 (en) | System and method for automatically tagging documents | |
CN111143394B (zh) | 知识数据处理方法、装置、介质及电子设备 | |
Khemani et al. | A review on reddit news headlines with nltk tool | |
US20140129543A1 (en) | Search service including indexing text containing numbers in part using one or more number index structures | |
CN112445862A (zh) | 物联网设备数据集构建方法、装置、电子设备和存储介质 | |
CA3046474A1 (en) | Portfolio-based text analytics tool | |
CN113626618B (zh) | 基于跨篇章事件提取的案件串联方法、装置及相关组件 | |
CN110232328A (zh) | 一种征信报告解析方法、装置及计算机可读存储介质 | |
US11880394B2 (en) | System and method for machine learning architecture for interdependence detection | |
KR102454261B1 (ko) | 사용자 정보 기반 협업 파트너 추천 시스템 및 그 방법 | |
CN116975112A (zh) | 一种金融大数据处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |