CN117093547A - 一种数据解析方法、装置、电子设备及存储介质 - Google Patents
一种数据解析方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117093547A CN117093547A CN202311201606.7A CN202311201606A CN117093547A CN 117093547 A CN117093547 A CN 117093547A CN 202311201606 A CN202311201606 A CN 202311201606A CN 117093547 A CN117093547 A CN 117093547A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- sub
- target
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007405 data analysis Methods 0.000 title abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 76
- 238000001914 filtration Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000005538 encapsulation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据解析方法、装置、电子设备及存储介质,方法包括:接收数据查询请求;对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;从文件数据库中提取与数据查询请求对应的至少一个目标交易文件;将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。本申请通过使用不同查询维度所形成的过滤器级联对解析目标进行先筛选再解析,提高筛选效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据解析方法、装置、电子设备及存储介质。
背景技术
大财管业务涉及复杂的文件,通常在非结构化或半结构化的原始数据格式(如JSON)上运行,从原始数据格式的文件中进行数据查询是非常耗时的,尤其是那些探索性应用程序,用户在通过探索性应用程序进行数据查询时,实际上有80%-90%的执行时间是用于解析数据,这样极大降低了用户对目标数据的查询速度。
发明内容
有鉴于此,本申请的目的在于至少提供一种数据解析方法,通过使用不同查询维度所形成的过滤器级联对解析目标进行先筛选再解析,提高筛选效率。
本申请主要包括以下几个方面:
第一方面,本申请实施例提供一种数据解析方法,方法包括:接收数据查询请求;对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;从文件数据库中提取与数据查询请求对应的至少一个目标交易文件;将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。
在一可选实施方式中,数据查询请求携带请求端身份标识,其中,通过以下方式获取多个查询关键词:遍历预设协议对照表,确定与数据查询请求所携带的请求端身份标识对应的目标解析协议,预设协议对照表描述了多个请求端身份标识与多个解析协议之间的映射关系,解析协议描述了每个查询维度的字节长度和在数据查询请求中的封装位置;针对每个查询维度,根据目标解析协议中所描述的该查询维度对应的字节长度和封装位置,从数据查询请求中解析出该查询维度下的查询关键词。
在一可选实施方式中,过滤器级联包括每个查询维度下的过滤器,多个过滤器按序衔接,过滤条件包括与每个过滤器对应的子过滤条件,其中,通过以下方式得到更新后的过滤器级联:针对每个过滤器,执行以下处理:确定与该过滤器属于同一查询维度的查询关键词;利用与该过滤器对应的查询关键词对该过滤器对应的子过滤条件进行更新,得到更新后的该过滤器;由各更新后的过滤器,形成更新后的过滤器级联。
在一可选实施方式中,更新后的过滤器级联通过以下方式得到待解析数据:针对每个更新后的过滤器:从上一级过滤器的输出数据中提取符合该过滤器的子过滤条件的数据,并将筛选出的数据作为本级的输出数据,其中,处于衔接首位的过滤器的输入数据为至少一个目标交易文件,处于衔接末位的过滤器的输出数据为待解析数据。
在一可选实施方式中,解析器包括用于解析不同格式交易文件的多个子解析器,待解析数据包括与每个目标交易文件对应的子解析数据,目标查询数据包括与每个子解析数据对应的目标子查询数据,其中,通过以下方式得到每个目标子查询数据:针对每个子解析数据,执行以下处理:根据该子解析数据所属的目标交易文件对应的交易业务类型,确定该子解析数据对应的目标交易文件格式;选用目标交易文件格式对应的子解析器完成对该子解析数据的解析处理,得到该子解析数据对应的目标子查询数据。
在一可选实施方式中,每个子解析数据包括多个目标交易记录,每个目标子查询数据包括解析后的多个目标交易记录,每个子解析器中定义了与一交易文件格式对应的交易解析函数,其中,通过以下方式确定与每个子解析数据对应的目标子查询数据:利用该子解析数据对应的子解析器中的交易解析函数,对该子解析数据对应的多个目标交易记录进行解析处理,得到与该子解析数据对应的解析后的多个目标交易记录。
在一可选实施方式中,文件数据库包括不同类型交易业务下所产生的多个交易文件以及每个交易文件对应的文件标识,文件标识指示交易文件对应的交易业务类型,数据查询请求携带了至少一个目标文件标识,其中,从文件数据库中提取与数据查询请求对应的至少一个目标交易文件的步骤包括:根据多个交易文件与多个文件标识之间的映射关系,从文件数据库中提取出与每个目标文件标识对应的目标交易文件。
第二方面,本申请实施例还提供一种数据解析装置,装置包括:接收模块,用于接收数据查询请求;第一解析模块,用于对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;更新模块,用于通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;提取模块,用于从文件数据库中提取与数据查询请求对应的至少一个目标交易文件;过滤模块,用于将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;第二解析模块,用于利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,存储器存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储器之间通过总线进行通信,机器可读指令被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中的数据解析方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中的数据解析方法的步骤。
本申请实施例提供的一种数据解析方法、装置、电子设备及存储介质,方法包括:接收数据查询请求;对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;从文件数据库中提取与数据查询请求对应的至少一个目标交易文件;将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。本申请通过使用不同查询维度所形成的过滤器级联对解析目标进行先筛选再解析,提高筛选效率。
本申请有益之处在于:根据数据查询请求进行数据查询以及解析之前,引入过滤器级联完成对查询目标的进一步筛选,得到符合数据查询请求的待解析数据进行进一步的查询处理,有效提高数据查询解析效率,且每次查询无需重新创建过滤器级联,只需要对过滤器级联内部过滤器对应的参数进行更新,进一步提高查询解析效率,避免冗余工作造成资源浪费。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种数据解析方法的流程图;
图2示出了本申请实施例提供的一种过滤器级联的示意图;
图3示出了本申请实施例提供的一种通过过滤器级联获取待解析数据的结构示意图;
图4示出了本申请实施例提供的一种数据解析装置的功能模块图;
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中的附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例,都属于本申请保护的范围。
大财管业务涉及复杂的文件,通常在非结构化或半结构化的原始数据格式(如JSON)上运行,从原始数据格式的文件中进行数据查询是非常耗时的,尤其是那些探索性应用程序,用户在通过探索性应用程序进行数据查询时,实际上有80%-90%的执行时间是用于解析数据,这样极大降低了用户对目标数据的查询速度。
基于此,本申请实施例提供了一种数据解析方法、装置、电子设备及存储介质,通过使用不同查询维度所形成的过滤器级联对解析目标进行先筛选再解析,提高筛选效率,具体如下:
请参阅图1,图1示出了本申请实施例所提供的一种数据解析方法的流程图。如图1所示,本申请实施例提供的数据解析方法,包括以下步骤:
S100、接收数据查询请求。
S200、对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词。
每个查询关键词对应一查询维度。
S300、通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联。
S400、从文件数据库中提取与数据查询请求对应的至少一个目标交易文件。
S500、将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据。
S600、利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。
在步骤S100~步骤S600中,首先解析出数据查询请求中所包含的多个查询关键词,然后根据解析出的查询关键词对预先创建的过滤器级联进行更新,利用更新后的过滤器级联从数据查询请求所指示的至少一个交易文件中提取出待解析数据,然后进一步对提取出的待解析数据进行解析,得到与数据查询请求对应的目标查询数据,本申请通过数据查询请求与预先创建的过滤器级联相结合,从至少一个目标交易文件中筛选出符合数据查询请求的待解析数据,然后再进一步对待解析数据进行解析,这样对于解析器来说,仅仅只对符合数据查询请求的必要的数据进行解析,减少了解析器的数据解析数量,提高数据解析速度。
在一优选实施例中,数据查询请求还携带请求端身份标识,其中,在步骤S200中,通过以下方式获取多个查询关键词:
遍历预设协议对照表,确定与数据查询请求所携带的请求端身份标识对应的目标解析协议,预设协议对照表描述了多个请求端身份标识与多个解析协议之间的映射关系,解析协议描述了每个查询维度的字节长度和在数据查询请求中的封装位置,针对每个查询维度,根据目标解析协议中所描述的该查询维度对应的字节长度和封装位置,从数据查询请求中解析出该查询维度下的查询关键词。
在本申请中,数据查询请求实际上封装了每个查询维度对应的查询关键词,需要先对数据查询请求进行解包,提取出每个查询维度下的关键词,对于不同的请求端,数据查询请求对应的数据格式可能时不同的,因此,为正确完成对数据查询请求的解析,需要利用预设协议对照表,在接收到数据查询请求时,通过其携带的请求端身份标识,从预设协议对照表中查找出用于对数据查询请求进行解析的目标解析协议,按照目标解析协议中每个查询维度对应的字节长度和封装位置,从数据查询请求中分割出每个查询维度对应的字节内容,然后对每个查询维度下的字节内容进行识别,得到对应的查询关键词。
在具体实施中,查询维度包括但不限于以下项中的至少一项:账户类型、交易类型、产品类型、费用类型、条线类型、渠道类型和主题类型,查询关键词包括账户类型下的对公账户和对私账户、交易类型下的存款交易、取款交易和转账交易、产品类型下的定期产品、保证金产品和货期产品、费用类型下的广告费、管理费和办公费、条线类型下的公司、资金同业、信贷和财务、渠道类型下的支付宝、微信和网银、主题类型下的当事人、协议、渠道、资产和负债。
过滤器级联包括每个查询维度下的过滤器,多个过滤器按序衔接,过滤条件包括与每个过滤器对应的子过滤条件。
本申请中,在执行步骤S300之前,针对不同的探索性应用程序,可以根据探索性应用程序对应的实际查询维度需求,创建与每个查询维度对应的过滤器,将过滤器按序衔接,即可形成一过滤器级联,过滤器为一种用于对使用子过滤条件对数据进行查询筛选的过滤函数,子过滤条件指示过滤器对应查询维度下的查询关键词,在最初搭建过滤器级联,可以对每个过滤器对应的子过滤条件进行随机初始化,例如,以账户类型对应的过滤器为例,在进行初始化时,将该过滤器对应的子过滤条件设置为对公账户,这样形成的过滤器是指从输入数据中提取出账户类型为对公账户的数据。
在具体实施例中,若查询维度包括账户类型、交易类型、产品类型、费用类型、条线类型、渠道类型和主题类型,则可分别创建形成对应的7个过滤器,请参阅图2,图2示出了本申请实施例提供的一种过滤器级联的示意图。如图2所示,账户类型过滤器filterA、交易类型过滤器filterB、产品类型过滤器filterC、费用类型过滤器filterD、条线类型过滤器filterE、渠道类型过滤器filterF和主题类型过滤器filterG,按序顺次衔接。
在创建好过滤器级联后,后续在使用时,不需要再进行创建,直接更新过滤器级联中每个过滤器对应的子过滤条件即可,这样可以避免过滤器级联的反复重构,减少不必要的繁琐步骤,加快数据筛选效率。
在一优选实施例中,通过以下方式得到更新后的过滤器级联:
针对每个过滤器,执行以下处理:确定与该过滤器属于同一查询维度的查询关键词,利用与该过滤器对应的查询关键词对该过滤器对应的子过滤条件进行更新,得到更新后的该过滤器,由各更新后的过滤器,形成更新后的过滤器级联。
在具体实施例中,以交易类型这一查询维度为例,若数据查询请求解析出的交易类型下的查询关键词为存款交易,则对于过滤器级联中的交易类型过滤器,若其在更新前子过滤条件所指示的查询关键词为取款交易,则更新后的子过滤条件所指示的查询关键词就变成了存款交易,以此类推,对过滤器级联中其余的过滤器也按照这样的方式完成更新,最后即会得到更新后的过滤器级联。
在本申请步骤S400中,文件数据库包括不同类型交易业务下所产生的多个交易文件以及每个交易文件对应的文件标识,文件标识指示交易文件对应的交易业务类型,数据查询请求携带了至少一个目标文件标识,且每个交易文件均为非结构化或半结构化数据,交易文件包括多个交易记录。
在一优选实施例中,步骤S400包括:
根据多个交易文件与多个文件标识之间的映射关系,从文件数据库中提取出与每个目标文件标识对应的目标交易文件。
在本申请中,用户可以借助于探索性应用程序生成对应的数据查询请求,在生成数据查询请求时可指定目标文件标识,以用于指定数据查询请求对应的查询对象,这样,可以快速的从文件数据库中先一步筛选出符合数据查询请求的多个目标交易文件,然后基于目标交易文件再进行进一步的过滤器级联处理,这样可以减少数据处理量,提高筛选效率。
在另一优选实施例中,在步骤S500中,更新后的过滤器级联通过以下方式得到待解析数据:
针对每个更新后的过滤器:从上一级过滤器的输出数据中提取符合该过滤器的子过滤条件的数据,并将筛选出的数据作为本级的输出数据,其中,处于衔接首位的过滤器的输入数据为至少一个目标交易文件,处于衔接末位的过滤器的输出数据为待解析数据。
请参阅图3,图3示出了本申请实施例提供的一种通过过滤器级联获取待解析数据的结构示意图。以图2所示结构的过滤器级联为例,若更新后的账户类型过滤器filterA对应的子过滤条件为对公账户,更新后的交易类型过滤器filterB对应的子过滤条件为存款交易,更新后的产品类型过滤器filterC对应的子过滤条件为定期账户,更新后的费用类型过滤器filterD对应的子过滤条件为管理费,更新后的条线类型过滤器filterE对应的子过滤条件为公司,更新后的渠道类型过滤器filterF对应的子过滤条件为支付宝,更新后的主题类型过滤器filterG对应的子过滤条件为资产。
如图3所示,至少一个交易文件通过账户类型过滤器filterA后,过滤后输出数据集Raw Data1,数据集Raw Data1包括账户类型为对公账户的多个交易记录;
数据集Raw Data1输入交易类型过滤器filterB,过滤后输出数据集Raw Data2,数据集Raw Data2包括交易类型为存款交易的多个交易记录;
数据集Raw Data2输入产品类型过滤器filterC,过滤后输出数据集Raw Data3,数据集Raw Data3包括产品类型为定期产品的多个交易记录;
数据集Raw Data3输入费用类型过滤器filterD,过滤后输出数据集Raw Data4,数据集Raw Data4包括费用类型为管理费的多个交易记录;
数据集Raw Data4输入条线类型过滤器filterE,过滤后输出数据集Raw Data5,数据集Raw Data5包括条线类型为公司的多个交易记录;
数据集Raw Data5输入渠道类型过滤器filterF,过滤后输出数据集Raw Data6,数据集Raw Data6包括渠道类型为支付宝的多个交易记录;
数据集Raw Data6输入主题类型过滤器filterG,过滤后输出数据集Raw Data7,数据集Raw Data7包括主题类型为资产的多个交易记录。
数据集7所包括的多个交易记录即为更新后的过滤器级联最终输出的待解析数据。
在本申请中,若更新后的过滤器对应的子过滤条件为空,则该过滤器则不对输入数据进行过滤处理,即不执行过滤功能。
在步骤S600中,解析器包括用于解析不同格式交易文件的多个子解析器,待解析数据包括与每个目标交易文件对应的子解析数据,目标查询数据包括与每个子解析数据对应的目标子查询数据。
在一优选实施例中,步骤S600包括:
针对每个子解析数据,执行以下处理:根据该子解析数据所属的目标交易文件对应的交易业务类型,确定该子解析数据对应的目标交易文件格式,选用目标交易文件格式对应的子解析器完成对该子解析数据的解析处理,得到该子解析数据对应的目标子查询数据。
在本申请中,不同的子解析数据来源于不同的目标交易文件,也就是说,过滤器级联对每个目标交易文件进行筛选,得到与每个目标交易文件对应的子解析数据,而不同的交易文件由于其交易业务类型不同,其对应的交易文件格式也是不同的,因此,对于不同目标交易文件对应的子解析数据,需要通过不同的子解析器对其进行解析以得到对应的目标子查询数据,这样不同的子解析器并行完成对不同子解析数据的解析,可以进一步提高查询效率的同时也能够保证解析的准确性。
在一优选实施例中,每个子解析数据包括多个目标交易记录,每个目标子查询数据包括解析后的多个目标交易记录,每个子解析器中定义了与一交易文件格式对应的交易解析函数。
其中,通过以下方式确定与每个子解析数据对应的目标子查询数据:利用该子解析数据对应的子解析器中的交易解析函数,对该子解析数据对应的多个目标交易记录进行解析处理,得到与该子解析数据对应的解析后的多个目标交易记录。
交易解析函数内实际定义了交易文件格式对应的解析方法。
在本申请中,交易文件格式包括但不限于JSON或CSV,通过不同的子解析器对不同子解析数据进行分流式的解析处理,目的在于进一步的提高解析效率。
基于同一申请构思,本申请实施例中还提供了与上述实施例提供的数据解析方法对应的数据解析装置,由于本申请实施例中的装置解决问题的原理与本申请上述实施例的数据解析方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
请参阅图4,图4示出了本申请实施例提供的一种数据解析装置的功能模块图。如图4所示,装置包括:
接收模块700,用于接收数据查询请求。
第一解析模块710,用于对数据查询请求进行解析,得到与数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度。
更新模块720,用于通过多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联。
提取模块730,用于从文件数据库中提取与数据查询请求对应的至少一个目标交易文件。
过滤模块740,用于将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据。
第二解析模块750,用于利用解析器对待解析数据进行解析,得到与数据查询请求对应的目标查询数据。
可选的,数据查询请求携带请求端身份标识,其中,第一解析模块710,还用于:遍历预设协议对照表,确定与数据查询请求所携带的请求端身份标识对应的目标解析协议,预设协议对照表描述了多个请求端身份标识与多个解析协议之间的映射关系,解析协议描述了每个查询维度的字节长度和在数据查询请求中的封装位置,针对每个查询维度,根据目标解析协议中所描述的该查询维度对应的字节长度和封装位置,从数据查询请求中解析出该查询维度下的查询关键词。
优选的,过滤器级联包括每个查询维度下的过滤器,多个过滤器按序衔接,过滤条件包括与每个过滤器对应的子过滤条件,其中,更新模块720,还用于:针对每个过滤器,执行以下处理:确定与该过滤器属于同一查询维度的查询关键词;利用与该过滤器对应的查询关键词对该过滤器对应的子过滤条件进行更新,得到更新后的该过滤器;由各更新后的过滤器,形成更新后的过滤器级联。
优选的,过滤模块740还用于:针对每个更新后的过滤器:从上一级过滤器的输出数据中提取符合该过滤器的子过滤条件的数据,并将筛选出的数据作为本级的输出数据,其中,处于衔接首位的过滤器的输入数据为至少一个目标交易文件,处于衔接末位的过滤器的输出数据为待解析数据。
优选的,解析器包括用于解析不同格式交易文件的多个子解析器,待解析数据包括多个目标交易记录,目标查询数据包括与每个目标交易文件对应的子解析数据,目标查询数据包括与每个子解析数据对应的目标子查询数据,其中,过滤模块740包括:针对每个子解析数据,执行以下处理:根据该子解析数据所属的目标交易文件对应的交易业务类型,确定该子解析数据对应的目标交易文件格式,选用目标交易文件格式对应的子解析器完成对该子解析数据的解析处理,得到该子解析数据对应的目标子查询数据。
优选的,每个子解析数据包括多个目标交易记录,每个目标子查询数据包括解析后的多个目标交易记录,每个子解析器中定义了与一交易文件格式对应的交易解析函数,其中,第二解析模块750还用于:利用该子解析数据对应的子解析器中的交易解析函数,对该子解析数据对应的多个目标交易记录进行解析处理,得到与该子解析数据对应的解析后的多个目标交易记录。
优选的,提取模块730还用于:文件数据库包括不同类型交易业务下所产生的多个交易文件以及每个交易文件对应的文件标识,文件标识指示交易文件对应的交易业务类型,数据查询请求携带了至少一个目标文件标识,其中,从文件数据库中提取与数据查询请求对应的至少一个目标交易文件的步骤包括:根据多个交易文件与多个文件标识之间的映射关系,从文件数据库中提取出与每个目标文件标识对应的目标交易文件。
基于同一申请构思,请参阅图5,图5示出了本申请实施例提供的一种电子设备的结构示意图。电子设备800包括:处理器810、存储器820和总线830,存储器820存储有处理器810可执行的机器可读指令,当电子设备800运行时,处理器810与存储器820之间通过总线830进行通信,机器可读指令被处理器810运行时执行如上述实施例中任一提供的数据解析方法的步骤。
基于同一申请构思,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例提供的数据解析方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据解析方法,其特征在于,所述方法包括:
接收数据查询请求;
对所述数据查询请求进行解析,得到与所述数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;
通过所述多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;
从文件数据库中提取与所述数据查询请求对应的至少一个目标交易文件;
将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;
利用解析器对所述待解析数据进行解析,得到与所述数据查询请求对应的目标查询数据。
2.根据权利要求1所述的方法,其特征在于,所述数据查询请求还携带请求端身份标识,
其中,通过以下方式获取所述多个查询关键词:
遍历预设协议对照表,确定与所述数据查询请求所携带的请求端身份标识对应的目标解析协议,所述预设协议对照表描述了多个请求端身份标识与多个解析协议之间的映射关系,所述解析协议描述了每个查询维度的字节长度和在数据查询请求中的封装位置;
针对每个查询维度,根据所述目标解析协议中所描述的该查询维度对应的字节长度和封装位置,从所述数据查询请求中解析出该查询维度下的查询关键词。
3.根据权利要求1所述的方法,其特征在于,所述过滤器级联包括每个查询维度下的过滤器,多个过滤器按序衔接,所述过滤条件包括与每个过滤器对应的子过滤条件,
其中,通过以下方式得到更新后的过滤器级联:
针对每个过滤器,执行以下处理:
确定与该过滤器属于同一查询维度的查询关键词;
利用与该过滤器对应的查询关键词对该过滤器对应的子过滤条件进行更新,得到更新后的该过滤器;
由各更新后的过滤器,形成更新后的过滤器级联。
4.根据权利要求3所述的方法,其特征在于,更新后的过滤器级联通过以下方式得到待解析数据:
针对每个更新后的过滤器:
从上一级过滤器的输出数据中提取符合该过滤器的子过滤条件的数据,并将筛选出的数据作为本级的输出数据,其中,处于衔接首位的过滤器的输入数据为至少一个目标交易文件,处于衔接末位的过滤器的输出数据为待解析数据。
5.根据权利要求1所述的方法,其特征在于,所述解析器包括用于解析不同格式交易文件的多个子解析器,所述待解析数据包括与每个目标交易文件对应的子解析数据,所述目标查询数据包括与每个子解析数据对应的目标子查询数据,
其中,通过以下方式得到每个目标子查询数据:
针对每个子解析数据,执行以下处理:
根据该子解析数据所属的目标交易文件对应的交易业务类型,确定该子解析数据对应的目标交易文件格式;
选用目标交易文件格式对应的子解析器完成对该子解析数据的解析处理,得到该子解析数据对应的目标子查询数据。
6.根据权利要求5所述的方法,其特征在于,每个子解析数据包括多个目标交易记录,每个目标子查询数据包括解析后的多个目标交易记录,每个子解析器中定义了与一交易文件格式对应的交易解析函数,
其中,通过以下方式确定与每个子解析数据对应的目标子查询数据:
利用该子解析数据对应的子解析器中的交易解析函数,对该子解析数据对应的多个目标交易记录进行解析处理,得到与该子解析数据对应的解析后的多个目标交易记录。
7.根据权利要求1所述的方法,其特征在于,所述文件数据库包括不同类型交易业务下所产生的多个交易文件以及每个交易文件对应的文件标识,文件标识指示交易文件对应的交易业务类型,所述数据查询请求携带了至少一个目标文件标识,
其中,从文件数据库中提取与所述数据查询请求对应的至少一个目标交易文件的步骤包括:
根据多个交易文件与多个文件标识之间的映射关系,从所述文件数据库中提取出与每个目标文件标识对应的目标交易文件。
8.一种数据解析装置,其特征在于,所述装置包括:
接收模块,用于接收数据查询请求;
第一解析模块,用于对所述数据查询请求进行解析,得到与所述数据查询请求对应的多个查询关键词,每个查询关键词对应一查询维度;
更新模块,用于通过所述多个查询关键词,对过滤器级联的过滤条件进行更新,得到更新后的过滤器级联;
提取模块,用于从文件数据库中提取与所述数据查询请求对应的至少一个目标交易文件;
过滤模块,用于将至少一个目标交易文件输入更新后的过滤器级联,得到待解析数据;
第二解析模块,用于利用解析器对所述待解析数据进行解析,得到与所述数据查询请求对应的目标查询数据。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过所述总线进行通信,所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的数据解析方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一所述的数据解析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311201606.7A CN117093547B (zh) | 2023-09-15 | 2023-09-15 | 一种数据解析方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311201606.7A CN117093547B (zh) | 2023-09-15 | 2023-09-15 | 一种数据解析方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117093547A true CN117093547A (zh) | 2023-11-21 |
CN117093547B CN117093547B (zh) | 2024-07-30 |
Family
ID=88769822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311201606.7A Active CN117093547B (zh) | 2023-09-15 | 2023-09-15 | 一种数据解析方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117093547B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180270298A1 (en) * | 2013-11-01 | 2018-09-20 | Quantify Labs, Inc. | System and method for distribution and consumption of content |
CN111176650A (zh) * | 2018-11-09 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 解析器生成方法、检索方法、服务器及存储介质 |
CN113239069A (zh) * | 2021-05-18 | 2021-08-10 | 上海跨境电子商务公共服务有限公司 | 数据查询方法和数据查询系统 |
CN116011438A (zh) * | 2023-02-21 | 2023-04-25 | 中银金融科技有限公司 | 一种文件处理方法及装置、存储介质及电子设备 |
CN116226173A (zh) * | 2022-09-08 | 2023-06-06 | 中国科学院微电子研究所 | 数据查询方法、装置、存储介质和电子设备 |
-
2023
- 2023-09-15 CN CN202311201606.7A patent/CN117093547B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180270298A1 (en) * | 2013-11-01 | 2018-09-20 | Quantify Labs, Inc. | System and method for distribution and consumption of content |
CN111176650A (zh) * | 2018-11-09 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 解析器生成方法、检索方法、服务器及存储介质 |
CN113239069A (zh) * | 2021-05-18 | 2021-08-10 | 上海跨境电子商务公共服务有限公司 | 数据查询方法和数据查询系统 |
CN116226173A (zh) * | 2022-09-08 | 2023-06-06 | 中国科学院微电子研究所 | 数据查询方法、装置、存储介质和电子设备 |
CN116011438A (zh) * | 2023-02-21 | 2023-04-25 | 中银金融科技有限公司 | 一种文件处理方法及装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117093547B (zh) | 2024-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107832407B (zh) | 用于生成知识图谱的信息处理方法、装置和可读存储介质 | |
CN108647357B (zh) | 数据查询的方法及装置 | |
CN111782517B (zh) | 一种自动化文件校验方法 | |
CN110851209A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
TWI844091B (zh) | 特徵匹配規則構建、特徵匹配方法、裝置、設備及介質 | |
CN113205402A (zh) | 对账方法、装置、电子设备及计算机可读介质 | |
CN111915429B (zh) | 一种对账方法及装置 | |
CN108073707B (zh) | 金融业务数据更新方法、装置及计算机可读取存储介质 | |
CN111858658A (zh) | 数据采集方法、装置、设备及存储介质 | |
CN112559613A (zh) | 凭证数据提取方法、装置、计算机设备及存储介质 | |
CN114125015A (zh) | 一种数据采集方法及系统 | |
CN117093547B (zh) | 一种数据解析方法、装置、电子设备及存储介质 | |
CN107368484A (zh) | 网页的静态资源文件的压缩方法及装置、获取方法及装置 | |
CN110188083B (zh) | 接口信息挖掘方法及装置 | |
CN111984797A (zh) | 客户身份识别装置及方法 | |
KR20120003567A (ko) | 로그 관리 시스템과 이의 로그 처리방법 및 이의 로그 처리방법을 저장하는 기록매체 | |
CN116664293A (zh) | 区块链加密货币调证回函的解析方法及控制系统 | |
CN114186958A (zh) | 将列表数据导出为电子表格的方法、计算设备及存储介质 | |
CN115829412A (zh) | 一种基于业务过程的指标数据量化处理方法、系统及介质 | |
CN112835934B (zh) | 查询信息采集方法、装置、电子设备和存储介质 | |
CN112764888B (zh) | 一种基于日志分析的分布式事务检查判断方法及系统 | |
CN111078668B (zh) | 数据生成方法、装置、电子设备和存储介质 | |
CN111754238A (zh) | 可疑交易识别方法及装置 | |
CN110377662A (zh) | 一种分布式数据处理方法及系统 | |
CN115994172B (zh) | 一种业务访问关系确定的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |