CN116738933A - 数据处理方法及装置、电子设备和计算机可读存储介质 - Google Patents

数据处理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116738933A
CN116738933A CN202310711203.0A CN202310711203A CN116738933A CN 116738933 A CN116738933 A CN 116738933A CN 202310711203 A CN202310711203 A CN 202310711203A CN 116738933 A CN116738933 A CN 116738933A
Authority
CN
China
Prior art keywords
data
processed
semantic
sub
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310711203.0A
Other languages
English (en)
Inventor
刘松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCB Finetech Co Ltd
Original Assignee
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCB Finetech Co Ltd filed Critical CCB Finetech Co Ltd
Priority to CN202310711203.0A priority Critical patent/CN116738933A/zh
Publication of CN116738933A publication Critical patent/CN116738933A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质,可以应用于计算机技术、数据处理技术和金融科技领域。该数据处理方法包括:响应于接收到针对待处理数据的数据处理请求,根据数据处理请求,确定与待处理数据对应的数据对象和操作类型,其中,数据对象包括键信息和值信息,键信息包括与待处理数据对应的数据字段名称,值信息包括与数据字段名称对应的数据类型标识和语义类型标识;根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果。

Description

数据处理方法及装置、电子设备和计算机可读存储介质
技术领域
本公开涉及计算机技术、数据处理技术和金融科技领域,更具体地,涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,用户行为会产生海量数据,如何对海量数据进行数据处理是亟待解决的问题。
在相关技术中,可以通过手动编写代码来实现对海量数据的数据处理。但是,由于通过手动编写代码使得代码的可维护性和可扩展性较差,因而难以进行维护和扩展。此外,由于海量数据的数据类型不同和语义多样化,因而容易导致格式化展示不一致。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:由于存在难以进行维护和扩展、格式化展示不一致的问题,导致无法保障数据处理的效率和准确性。
发明内容
有鉴于此,本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一个方面,提供了一种数据处理方法,包括:响应于接收到针对待处理数据的数据处理请求,根据上述数据处理请求,确定与上述待处理数据对应的数据对象和操作类型,其中,上述数据对象包括键信息和值信息,上述键信息包括与上述待处理数据对应的数据字段名称,上述值信息包括与上述数据字段名称对应的数据类型标识和语义类型标识,上述操作类型包括数据排序操作和语义格式化操作中的至少之一;根据上述操作类型、上述数据类型标识和上述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;以及,根据上述数据排序规则和上述语义格式化规则中的至少之一,对上述待处理数据进行数据处理,得到数据处理结果。
根据本公开的实施例,上述根据上述数据排序规则和上述语义格式化规则中的至少之一,对上述待处理数据进行数据处理,得到数据处理结果包括:在上述操作类型包括上述数据排序操作的情况下,根据上述数据排序规则,对上述待处理数据进行数据排序处理,得到数据排序处理结果;以及,在上述操作类型包括上述语义格式化操作的情况下,根据上述语义格式化规则,对上述待处理数据进行语义格式化处理,得到语义格式化处理结果。
根据本公开的实施例,在上述语义类型标识包括第一语义类型的情况下,上述待处理数据包括至少一个待处理子数据。
根据本公开的实施例,上述在上述操作类型包括上述语义格式化操作的情况下,根据上述语义格式化规则,对上述待处理数据进行语义格式化处理,得到语义格式化处理结果包括:针对上述至少一个待处理子数据中的每个待处理子数据,确定与上述待处理子数据对应的第一数值;根据预定比例系数和上述第一数值,确定第二数值;根据预定阈值、与预定单位后缀对应的单位后缀数目和上述第二数值,确定第三数值;根据上述预定比例系数和上述第三数值,对上述待处理子数据进行处理,得到经处理子数据;以及,根据上述预定单位后缀和上述经处理子数据,确定与上述待处理子数据对应的上述语义格式化处理结果。
根据本公开的实施例,在上述语义类型标识包括第二语义类型的情况下,上述待处理数据包括至少一个待处理子数据。
根据本公开的实施例,上述方法还包括:针对上述至少一个待处理子数据中的每个待处理子数据,确定与上述待处理子数据对应的第一待处理字符串和第二待处理字符串;以及,对上述第一待处理字符串和上述第二待处理字符串进行字符串拼接处理,得到与上述待处理子数据对应的上述语义格式化处理结果。
根据本公开的实施例,在上述数据类型标识包括第一数据类型的情况下,上述待处理数据包括M个待处理子数据。
根据本公开的实施例,上述在上述操作类型包括上述数据排序操作的情况下,根据上述数据排序规则,对上述待处理数据进行数据排序处理,得到数据排序处理结果包括:针对上述M个待处理子数据中的第m个待处理子数据,确定与上述第m个待处理子数据相关联的第m+1个待处理子数据,其中,m小于或等于M-1;对上述第m个待处理子数据和上述第m+1个待处理子数据进行比较,得到第一比较结果;根据上述第一比较结果,确定上述第m个待处理子数据和上述第m+1个待处理子数据之间的第m个数据排序处理结果;以及,根据上述第m个数据排序处理结果,确定上述数据排序处理结果。
根据本公开的实施例,在上述数据类型标识包括第二数据类型的情况下,上述待处理数据包括N个待处理子数据。
根据本公开的实施例,上述方法还包括:针对上述N个待处理子数据中的第n个待处理子数据,确定与上述第n个待处理子数据相关联的第n+1个待处理子数据,其中,n小于或等于N-1;确定上述第n个待处理子数据的第n个字符数目和上述第n+1个待处理子数据的第n+1个字符数目;对上述第n个字符数目和上述第n+1个字符数目进行比较,得到第二比较结果;在上述第二比较结果表征上述第n个字符数目和上述第n+1个字符数目相一致的情况下,对上述第n个待处理子数据和上述第n+1个待处理子数据进行比较,得到第n个第三比较结果;以及,根据上述第n个第三比较结果,确定上述数据排序处理结果。
根据本公开的实施例,在上述数据类型标识包括第三数据类型的情况下,上述待处理数据包括P个待处理子数据。
根据本公开的实施例,上述方法还包括:对上述P个待处理子数据分别进行转换处理,得到P个转换后的子数据;针对上述P个转换后的子数据中的第p个转换后的子数据,确定与上述第p个转换后的子数据相关联的第p+1个转换后的子数据,其中,p小于或等于P-1;对上述第p个转换后的子数据和上述第p+1个转换后的子数据进行比较,得到第p个第四比较结果;以及,根据上述第p个第四比较结果,确定上述数据排序处理结果。
根据本公开的实施例,上述预设规则库包括数据排序规则库和语义格式化规则库。
根据本公开的实施例,上述根据上述操作类型、上述数据类型标识和上述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一包括:在上述操作类型包括上述数据排序操作的情况下,根据上述数据类型标识,在上述数据排序规则库中确定与上述数据类型标识对应的数据排序规则;以及,在上述操作类型包括上述语义格式化操作的情况下,根据上述语义类型标识,在上述语义格式化规则库中确定与上述语义类型标识对应的语义格式化规则。
根据本公开的实施例,上述待处理数据包括待处理业务数据,上述待处理业务数据的来源包括以下之一:电子表格和文本文档。
根据本公开的另一个方面,提供了一种数据处理装置,包括:第一确定模块,用于响应于接收到针对待处理数据的数据处理请求,根据上述数据处理请求,确定与上述待处理数据对应的数据对象和操作类型,其中,上述数据对象包括键信息和值信息,上述键信息包括与上述待处理数据对应的数据字段名称,上述值信息包括与上述数据字段名称对应的数据类型标识和语义类型标识,上述操作类型包括数据排序操作和语义格式化操作中的至少之一;第二确定模块,用于根据上述操作类型、上述数据类型标识和上述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;以及,数据处理模块,用于根据上述数据排序规则和上述语义格式化规则中的至少之一,对上述待处理数据进行数据处理,得到数据处理结果。
根据本公开的另一个方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个指令,其中,当上述一个或多个指令被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如本公开所述的方法。
根据本公开的另一个方面,提供了一种计算机可读存储介质,其上存储有可执行指令,上述可执行指令被处理器执行时使处理器实现如本公开所述的方法。
根据本公开的另一个方面,提供了一种计算机程序产品,上述计算机程序产品包括计算机可执行指令,上述计算机可执行指令在被执行时用于实现如本公开所述的方法。
根据本公开的实施例,由于数据排序规则和语义格式化规则是根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定的,操作类型和数据对象是与待处理数据对应的,通过定义待处理数据的数据对象,能够实现数据排序规则和语义格式化规则的自动确定。在此基础上,由于数据处理结果是根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行自动数据处理得到的,因而至少部分地克服了相关技术中存在的难以进行维护和扩展、格式化展示不一致的问题,由于能够灵活地对待处理数据进行排序和格式化展示,因而提高了数据处理的效率和准确性。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用数据处理方法的系统架构;
图2示意性示出了根据本公开实施例的数据处理方法的流程图;
图3示意性示出了根据本公开实施例的根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一过程的示例示意图;
图4示意性示出了根据本公开实施例的根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果方法的流程图;
图5A示意性示出了根据本公开实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图;
图5B示意性示出了根据本公开另一实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图;
图5C示意性示出了根据本公开另一实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图;
图6A示意性示出了根据本公开实施例的在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果过程的示例示意图;
图6B示意性示出了根据本公开另一实施例的在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果过程的示例示意图;
图7示意性示出了根据本公开实施例的数据处理装置的框图;以及
图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
在相关技术中,可以采用基于手动编写代码的数据处理方式和基于数据模型定义的数据处理方式。
基于手动编写代码的数据处理方式可以指在程序代码中手动处理数据的排序和格式化展示。基于数据模型定义的数据处理方式可以指将数据的类型、语义化展示等信息存储在结构化的数据模型中,并利用该数据模型来实现数据处理。
但是,由于存在相关技术中存在着难以进行维护和扩展、格式化展示不一致的问题,因而导致无法保障数据处理的效率和准确性。
为了至少部分地解决相关技术中存在的技术问题,本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质,可以应用于计算机技术、数据处理技术和金融科技领域。该数据处理方法包括:响应于接收到针对待处理数据的数据处理请求,根据数据处理请求,确定与待处理数据对应的数据对象和操作类型,其中,数据对象包括键信息和值信息,键信息包括与待处理数据对应的数据字段名称,值信息包括与数据字段名称对应的数据类型标识和语义类型标识;根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果。
需要说明的是,本公开实施例提供的数据处理方法和装置可用于计算机技术、数据处理技术和金融科技领域,例如应用于互联网技术领域。本公开实施例提供的数据处理方法和装置也可用于除计算机技术、数据处理技术和金融科技领域之外的任意领域,例如应用于信息安全技术领域。本公开实施例提供的数据处理方法和装置的应用领域不做限定。
图1示意性示出了根据本公开实施例的可以应用数据处理方法的系统架构。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103,网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据处理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
备选地,本公开实施例所提供的数据处理方法也可以由第一终端设备101、第二终端设备102或第三终端设备103执行,或者也可以由不同于第一终端设备101、第二终端设备102或第三终端设备103的其他终端设备执行。相应地,本公开实施例所提供的数据处理装置也可以设置于第一终端设备101、第二终端设备102或第三终端设备103中,或设置于不同于第一终端设备101、第二终端设备102或第三终端设备103的其他终端设备中。
应该理解,图1中的第一终端设备、第二终端设备或第三终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的第一终端设备、第二终端设备或第三终端设备、网络和服务器。
应注意,以下方法中各个操作的序号仅作为该操作的表示以便描述,而不应被看作表示该各个操作的执行顺序。除非明确指出,否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示,该数据处理方法200包括操作S210~S230。
在操作S210,响应于接收到针对待处理数据的数据处理请求,根据数据处理请求,确定与待处理数据对应的数据对象和操作类型,其中,数据对象包括键信息和值信息,键信息包括与待处理数据对应的数据字段名称,值信息包括与数据字段名称对应的数据类型标识和语义类型标识,操作类型包括数据排序操作和语义格式化操作中的至少之一。
在操作S220,根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一。
在操作S230,根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果。
根据本公开的实施例,可以将生成数据处理请求的代码预先写入脚本中,响应于检测到用户利用终端设备发起的数据处理操作,终端设备可以运行该脚本,生成数据处理请求。数据处理请求可以包括待处理数据。在生成数据处理请求之后,终端设备可以将数据处理请求发送至服务器,以便于服务器根据数据处理请求,确定与待处理数据对应的数据对象和操作类型。
根据本公开的实施例,在接收到数据处理请求之后,可以确定与待处理数据对应的数据对象。数据对象可以指与待处理数据对应的数据语义化结构体。数据对象可以包括键信息和值信息。键信息可以包括与待处理数据对应的数据字段名称。值信息可以包括与数据字段名称对应的数据类型标识(例如,dataType)和语义类型标识(例如,semanticType)。
根据本公开的实施例,数据类型标识可以用于表征数据类型。数据类型可以包括以下至少之一:字符串类型(即STRING)、有符号整型数类型(即INT64)、无符号整型数类型(即UINT128)、浮点型类型(即FLOAT64)、布尔类型(即BOOLEAN)和纳秒类型(TIME64NS)。可以预先设置数据类型标识与数据类型的对应关系,例如,可以使用数据类型标识“01”表征字符串类型,使用数据类型标识“02”表征有符号整型数类型。
根据本公开的实施例,语义类型标识可以用于表征语义类型。语义类型可以包括以下至少之一:字节类型(即BYTES)、持续时间类型(即DURATION_NS)、每纳秒请求次数类型(即THROUGHPUT_PER_NS)、每纳秒请求字节数类型(即THROUGHPUT_BYTES_PER_NS)。可以预先设置语义类型标识与语义类型的对应关系,例如,可以使用语义类型标识“001”表征字节类型,使用语义类型标识“002”表征持续时间类型。
根据本公开的实施例,语义类型还可以包括以下至少之一:时间戳类型(即TIMESTAMP)、百分比类型(即PERCENT)、进程ID类型(即PID)、服务名类型(即SERVICE_NAME)、Pod名类型(即POD_NAME)、节点名类型(即NODE_NAME)、命名空间名类型(即NAMESPACE_NAME)、容器名类型(即CONTAINER_NAME)、IP地址类型(即IP_ADDRESS)、端口类型(即PORT)、http请求方法类型(即HTTP_METHOD)、http状态码类型(即HTTP_STATUS_CODE)、http响应消息体类型(即HTTP_RESPONSE_MSG)。
根据本公开的实施例,在接收到数据处理请求之后,还可以确定与待处理数据对应的操作类型。操作类型可以包括数据排序操作和语义格式化操作中的至少之一。数据排序操作可以指按照一定的顺序将数据排列,以便研究者通过浏览数据发现数据特征或趋势的过程。语义格式化操作可以指通过使用超文本标记语言(Hyper Text Markup Language,HTML)和特有属性去格式化文档内容的过程。
根据本公开的实施例,预设规则库可以包括数据排序规则库和语义格式化规则库。数据排序规则库可以维护有至少一个预设数据类型标识和与至少一个预设数据类型标识各自对应的数据排序规则。在操作类型包括数据排序操作的情况下,可以根据数据类型标识,在数据排序规则库中确定与数据类型标识对应的数据排序规则。语义格式化规则库可以维护有至少一个预设语义类型标识和与至少一个预设语义类型标识各自对应的语义格式化规则。在操作类型包括语义格式化操作的情况下,根据语义类型标识,在语义格式化规则库中确定与语义类型标识对应的语义格式化规则。
根据本公开的实施例,数据处理结果可以包括数据排序处理结果和语义格式化处理结果中的至少之一。例如,在确定数据排序规则和语义格式化规则中的至少之一之后,可以在操作类型包括数据排序操作的情况下,根据数据排序规则对待处理数据进行数据排序处理,得到数据排序处理结果。备选地,可以在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果。
根据本公开的实施例,由于数据排序规则和语义格式化规则是根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定的,操作类型和数据对象是与待处理数据对应的,通过定义待处理数据的数据对象,能够实现数据排序规则和语义格式化规则的自动确定。在此基础上,由于数据处理结果是根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行自动数据处理得到的,因而至少部分地克服了相关技术中存在的难以进行维护和扩展、格式化展示不一致的问题,由于能够灵活地对待处理数据进行排序和格式化展示,因而提高了数据处理的效率和准确性。
下面参考图3、图4、图5A、图5B、图5C、图6A和图6B,对根据本发明实施例的数据处理方法200做进一步说明。
根据本公开的实施例,待处理数据包括待处理业务数据,待处理业务数据的来源包括以下之一:电子表格和文本文档。
根据本公开的实施例,待处理数据可以包括待处理业务数据。待处理业务数据可以包括待处理通信业务数据、待处理金融业务数据、待处理教育业务数据等多种类型。待处理业务数据的来源可以包括以下之一:电子表格(即xlsx或xls)和文本文档(即txt)。
根据本公开的实施例,操作S220可以包括如下操作。
在操作类型包括数据排序操作的情况下,根据数据类型标识,在数据排序规则库中确定与数据类型标识对应的数据排序规则。在操作类型包括语义格式化操作的情况下,根据语义类型标识,在语义格式化规则库中确定与语义类型标识对应的语义格式化规则。
根据本公开的实施例,预设规则库可以包括数据排序规则库和语义格式化规则库。
根据本公开的实施例,数据排序规则库可以维护有至少一个预设数据类型标识和与至少一个预设数据类型标识各自对应的数据排序规则。在操作类型包括数据排序操作的情况下,可以根据数据类型标识,对至少一个预设数据类型标识分别进行匹配,得到数据类型标识匹配结果。响应于数据类型标识匹配结果表征数据类型标识与至少一个预设数据类型标识中的目标预设数据类型标识相匹配,可以将与目标预设数据类型标识对应的数据排序规则确定为与数据类型标识对应的数据排序规则。
根据本公开的实施例,语义格式化规则库可以维护有至少一个预设语义类型标识和与至少一个预设语义类型标识各自对应的语义格式化规则。在操作类型包括语义格式化操作的情况下,可以根据语义类型标识和至少一个预设语义类型标识分别进行匹配,得到语义类型标识匹配结果。响应于语义类型标识匹配结果表征语义类型标识和至少一个预设语义类型标识中的目标预设语义类型标识相匹配,可以将与目标预设语义类型标识对应的语义格式化规则确定为与语义类型标识对应的语义格式化规则。
根据本公开的实施例,由于数据排序规则是在操作类型包括数据排序操作的情况下,根据数据类型标识在数据排序规则库中确定的,语义格式化规则是在操作类型包括语义格式化操作的情况下,根据语义类型标识在语义格式化规则库中确定的,通过定义预设规则库,可以将数据的类型、语义化展示等信息进行存储,以便于利用该预设规则库来自动地进行数据排序和格式化展示,由此能够准确、灵活地进行数据排序筛选和格式化展示,提高了用户界面的响应速度和交互体验。
图3示意性示出了根据本公开实施例的根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一过程的示例示意图。
如图3所示,在300中,响应于接收到针对待处理数据3011的数据处理请求301,可以确定与待处理数据3011对应的数据对象和操作类型。数据对象可以包括键信息和值信息302。值信息302可以包括数据类型标识3021和语义类型标识3022。
在操作类型包括数据排序操作的情况下,可以根据数据类型标识3021,在数据排序规则库303中确定与数据类型标识3021对应的数据排序规则304。
在操作类型包括语义格式化操作的情况下,可以根据语义类型标识3022,在语义格式化规则库305中确定与语义类型标识3022对应的语义格式化规则306。
图4示意性示出了根据本公开实施例的根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果方法的流程图。
如图4所示,该方法430包括操作S431~S432。
在操作S431,在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果。
在操作S432,在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果。
根据本公开的实施例,在操作类型包括数据排序操作的情况下,可以根据数据类型标识,确定与数据类型标识对应的数据排序规则。在此基础上,可以根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果。
例如,在数据类型标识表征为未知类型(即UNKNOWN)的情况下,可以确定数据排序规则为不进行排序。在此情况下,可以直接将待处理数据确定为数据排序处理结果。备选地,在数据类型标识表征为字符串类型(即STRING)的情况下,可以确定数据排序规则为通过比较字符串在当前语言环境下的排序顺序进行排序。在此情况下,可以根据字符串在当前语言环境下的排序顺序,对待处理数据进行数据排序处理,得到数据排序处理结果。
根据本公开的实施例,在操作类型包括语义格式化操作的情况下,可以根据语义类型标识,确定与语义类型标识对应的语义格式化规则。在此基础上,可以根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果。
例如,在语义类型标识表征为未知类型(即NONE)的情况下,可以确定语义格式化规则为不进行语义格式化。在此情况下,可以直接将待处理数据确定为语义格式化处理结果。备选地,在语义类型标识表征为进程ID类型(即PID)、IP地址类型(即IP ADDRESS)或端口类型(即PORT)的情况下,可以确定语义格式化规则为作为字符串处理。在此情况下,可以将待处理数据作为字符串处理,得到语义格式化处理结果。
备选地,在语义类型标识表征为百分比类型(即PERCENT)的情况下,可以确定语义格式化规则为格式化成百分比字符串处理。在此情况下,可以将待处理数据格式化成百分比字符串,得到语义格式化处理结果。备选地,在语义类型标识表征为http响应消息体类型(即HTTP RESPONSE MSG)的情况下,可以确定语义格式化规则为转换成JSON字符串处理。在此情况下,可以将待处理数据转换成JSON字符串处理,得到语义格式化处理结果。
根据本公开的实施例,操作S431可以包括如下操作。
针对M个待处理子数据中的第m个待处理子数据,确定与第m个待处理子数据相关联的第m+1个待处理子数据,其中,m小于或等于M-1。对第m个待处理子数据和第m+1个待处理子数据进行比较,得到第一比较结果。根据第一比较结果,确定第m个待处理子数据和第m+1个待处理子数据之间的第m个数据排序处理结果。根据第m个数据排序处理结果,确定数据排序处理结果。
根据本公开的实施例,在数据类型标识包括第一数据类型的情况下,待处理数据可以包括M个待处理子数据。
根据本公开的实施例,第一数据类型可以根据实际业务需求进行设置,在此不作限定。例如,第一数据类型可以包括以下至少之一:有符号整型数类型(即INT64)、浮点型类型(即FLOAT64)和纳秒类型(TIME64NS)。
根据本公开的实施例,在数据类型标识包括第一数据类型的情况下,可以确定数据排序规则为通过比较前后数字大小进行排序。针对M个待处理子数据,可以对相关联的第m个待处理子数据和第m+1个待处理子数据进行比较,得到第一比较结果。第一比较结果可以用于表征第m个待处理子数据和第m+1个待处理子数据之间的大小关系。
根据本公开的实施例,可以根据第m个待处理子数据和第m+1个待处理子数据之间的大小关系,确定第m个数据排序处理结果。在此基础上,可以根据每个数据排序处理结果,确定数据排序处理结果。
图5A示意性示出了根据本公开实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图。
如图5A所示,在500A中,在数据类型标识包括第一数据类型的情况下,可以确定与第m个待处理子数据501相关联的第m+1个待处理子数据502。对第m个待处理子数据501和第m+1个待处理子数据502进行比较,得到第一比较结果503。
在获得第一比较结果503之后,可以根据第一比较结果503,确定第m个待处理子数据501和第m+1个待处理子数据502之间的第m个数据排序处理结果504。根据第m个数据排序处理结果504,确定数据排序处理结果505。
根据本公开的实施例,操作S431可以包括如下操作。
针对N个待处理子数据中的第n个待处理子数据,确定与第n个待处理子数据相关联的第n+1个待处理子数据,其中,n小于或等于N-1。确定第n个待处理子数据的第n个字符数目和第n+1个待处理子数据的第n+1个字符数目。对第n个字符数目和第n+1个字符数目进行比较,得到第二比较结果。在第二比较结果表征第n个字符数目和第n+1个字符数目相一致的情况下,对第n个待处理子数据和第n+1个待处理子数据进行比较,得到第n个第三比较结果。根据第n个第三比较结果,确定数据排序处理结果。
根据本公开的实施例,在数据类型标识包括第二数据类型的情况下,待处理数据可以包括N个待处理子数据。
根据本公开的实施例,第二数据类型可以根据实际业务需求进行设置,在此不作限定。例如,第二数据类型可以包括无符号整型数类型(即UINT128)。
根据本公开的实施例,在数据类型标识包括第二数据类型的情况下,可以确定数据排序规则为先比较字符数目,后比较每个数字。针对N个待处理子数据,可以首先比较前后数字的字符数目,例如,第n个待处理子数据的第n个字符数目为a,第n+1个待处理子数据的第n+1个字符数目为b,在a小于b的情况下,可以返回“-1”。在a大于b的情况下,可以返回“1”。在a等于b的情况下,即第二比较结果表征第n个字符数目和第n+1个字符数目相一致的情况下,可以进一步对第n个待处理子数据和第n+1个待处理子数据进行比较,得到第n个第三比较结果。
例如,可以从第n个待处理子数据和第n+1个待处理子数据各自的最高位开始比较,在第n个待处理子数据中的某个数字小于第n+1个待处理子数据中的对应数字的情况下,可以返回“-1”,即进行排前。在第n个待处理子数据中的某个数字大于第n+1个待处理子数据中的对应数字的情况下,可以返回“1”,即进行排后。在第n个待处理子数据中的每个数字均等于第n+1个待处理子数据中的对应数字的情况下,可以返回“0”,表示第n个待处理子数据和第n+1个待处理子数据相等。
图5B示意性示出了根据本公开另一实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图。
如图5B所示,在500B中,在数据类型标识包括第二数据类型的情况下,可以确定与第n个待处理子数据506相关联的第n+1个待处理子数据507。确定第n个待处理子数据506的第n个字符数目508和第n+1个待处理子数据507的第n+1个字符数目509。对第n个字符数目508和第n+1个字符数目509进行比较,得到第二比较结果510。
在第二比较结果510表征第n个字符数目508和第n+1个字符数目509相一致的情况下,可以对第n个待处理子数据506和第n+1个待处理子数据507进行比较,得到第n个第三比较结果511。根据第n个第三比较结果511,确定数据排序处理结果512。
根据本公开的实施例,操作S431可以包括如下操作。
对P个待处理子数据分别进行转换处理,得到P个转换后的子数据。针对P个转换后的子数据中的第p个转换后的子数据,确定与第p个转换后的子数据相关联的第p+1个转换后的子数据,其中,p小于或等于P-1。对第p个转换后的子数据和第p+1个转换后的子数据进行比较,得到第p个第四比较结果。根据第p个第四比较结果,确定数据排序处理结果。
根据本公开的实施例,在数据类型标识包括第三数据类型的情况下,待处理数据可以包括P个待处理子数据。
根据本公开的实施例,第三数据类型可以根据实际业务需求进行设置,在此不作限定。例如,第三数据类型可以包括布尔类型(即BOOLEAN)。
根据本公开的实施例,在数据类型标识包括第三数据类型的情况下,可以确定数据排序规则为将布尔值转换成数字并进行排序。可以对P个待处理子数据分别进行转换处理,得到P个转换后的子数据,例如,可以将“true”转换为“1”,将“false”转换为“0”。在此基础上,可以对第p个转换后的子数据和第p+1个转换后的子数据进行比较,得到第p个第四比较结果。第四比较结果可以用于表征第p个转换后的子数据和第p+1个转换后的子数据之间的大小关系。
根据本公开的实施例,由于数据排序处理结果是在操作类型包括数据排序操作的情况下,根据数据排序规则对待处理数据进行数据排序处理得到的,数据排序规则是根据数据类型标识确定的,通过定义数据排序规则库,实现了数据排序规则的自动确定。在此基础上,通过利用数据排序规则对待处理数据进行数据排序处理,能够避免在程序代码中手动处理数据的排序所可能产生的不一致性,可以将不同数据源中的数据进行转换和映射,使得数据能够在不同系统之间进行交互和共享。
图5C示意性示出了根据本公开另一实施例的在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果过程的示例示意图。
如图5C所示,在500C中,在数据类型标识包括第三数据类型的情况下,可以对第p个待处理子数据513进行转换处理,得到第p个转换后的子数据514。可以根据第p个转换后的子数据514,确定与第p个转换后的子数据514相关联的第p+1个转换后的子数据515。
可以对第p个转换后的子数据514和第p+1个转换后的子数据515进行比较,得到第p个第四比较结果516。根据第p个第四比较结果516,确定数据排序处理结果517。
根据本公开的实施例,操作S432可以包括如下操作。
针对至少一个待处理子数据中的每个待处理子数据,确定与待处理子数据对应的第一数值。根据预定比例系数和第一数值,确定第二数值。根据预定阈值、与预定单位后缀对应的单位后缀数目和第二数值,确定第三数值。根据预定比例系数和第三数值,对待处理子数据进行处理,得到经处理子数据。根据预定单位后缀和经处理子数据,确定与待处理子数据对应的语义格式化处理结果。
根据本公开的实施例,在语义类型标识包括第一语义类型的情况下,待处理数据可以包括至少一个待处理子数据。
根据本公开的实施例,第一语义类型可以根据实际业务需求进行设置,在此不作限定。例如,第一语义类型可以包括以下至少之一:字节类型(即BYTES)、持续时间类型(即DURATION_NS)、每纳秒请求次数类型(即THROUGHPUT_PER_NS)和每纳秒请求字节数类型(即THROUGHPUT_BYTES_PER_NS)。
根据本公开的实施例,在语义类型标识包括第一语义类型的情况下,可以确定语义格式化规则为利用比例处理函数对待处理子数据进行格式化处理。比例处理函数(即formatScaled)可以定义有data(待处理子数据)、scale(预定比例系数)、suffixes(预定单位后缀)和decimals(预留小数位数)。在decimals小于0的情况下,可以将decimals设置为0。
根据本公开的实施例,具体选用的程序语言可以根据实际业务需求进行设置,在此不作限定。例如,在选用javascript语言的情况下,可以通过Math.abs(data)确定与待处理子数据对应的第一数值。在获得第一数值之后,可以通过Math.log计算第一数值以预定比例系数为底的对数,并提供Math.floor对该对数进行向下取整,得到第二数值,即需要缩放的数量级i。
根据本公开的实施例,预定阈值可以根据实际业务需求进行设置,在此不作限定。例如,预定阈值可以设置为0。在获得第二数值之后,可以确定第二数值与预定阈值和单位后缀数目(即suffixes.length)之间的大小关系,需要使得第二数值位于预定阈值和单位后缀数目之间,即确保i的值不超出suffixes数组的下标范围。
例如,在第二数值小于预定阈值的情况下,可以确定第三数值为0。在第二数值大于或等于单位后缀数目的情况下,可以确定第三数值为suffixes.length-1。在第二数值大于或等于预定阈值、且小于单位后缀数目的情况下,可以将第二数值确定为第三数值。
根据本公开的实施例,在获得第三数值之后,可以对待处理子数据按照预定比例系数和第三数值进行缩放,并保留预留小数位数,得到候选经处理子数据。可以将候选经处理子数据转换为字符串,得到经处理子数据。
根据本公开的实施例,在获得经处理子数据之后,可以获取与suffixes[i]对应的预定单位后缀,并根据预定单位后缀和经处理子数据,确定与待处理子数据对应的语义格式化处理结果。语义格式化处理结果可以包括经处理子数据(即val)和预定单位后缀(即units)。
例如,在第一语义类型为字节类型(即BYTES)的情况下,语义格式化处理结果可以包括格式化后的B、KB、MB等语义化字符串。备选地,在第一语义类型为持续时间类型(即DURATION NS)的情况下,语义格式化处理结果可以包括格式化后的ms、s等语义化字符串。备选地,在第一语义类型为每纳秒请求次数类型(即THROUGHPUT PER NS)的情况下,语义格式化处理结果可以包括格式化后的次/秒、千次/秒等语义化字符串。备选地,在第一语义类型为每纳秒请求字节数类型(即THROUGHPUT BYTES PER NS)的情况下,语义格式化处理结果可以包括格式化后的B/s、KB/s、MB/s等语义化字符串。
根据本公开的实施例,还可以设置解析比例处理函数。解析比例处理函数可以用于将经过formatScaled函数处理后的数据还原为原始数据。例如,解析比例处理函数可以从formattedData中获取预定单位后缀和经处理子数据,并根据预定比例系数和第三数值,计算得到原始数据。
图6A示意性示出了根据本公开实施例的在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果过程的示例示意图。
如图6A所示,在600A中,可以确定与待处理子数据601对应的第一数值602。根据预定比例系数603和第一数值602,确定第二数值604。根据预定阈值605、单位后缀数目606和第二数值604,确定第三数值607。
根据预定比例系数603和第三数值607,对待处理子数据601进行处理,得到经处理子数据608。根据预定单位后缀609和经处理子数据608,确定与待处理子数据601对应的语义格式化处理结果610。
根据本公开的实施例,操作S432可以包括如下操作。
针对至少一个待处理子数据中的每个待处理子数据,确定与待处理子数据对应的第一待处理字符串和第二待处理字符串。对第一待处理字符串和第二待处理字符串进行字符串拼接处理,得到与待处理子数据对应的语义格式化处理结果。
根据本公开的实施例,在语义类型标识包括第二语义类型的情况下,待处理数据可以包括至少一个待处理子数据。
根据本公开的实施例,第二语义类型可以根据实际业务需求进行设置,在此不作限定。例如,第二语义类型可以包括以下至少之一:服务名类型(即SERVICE NAME)、Pod名类型(即POD NAME)、节点名类型(即NODE NAME)、命名空间名类型(即NAMESPACE_NAME)、容器名类型(即CONTAINER_NAME)、http请求方法类型(即HTTP_METHOD)、http状态码类型(即HTTP STATUS CODE)。
根据本公开的实施例,在语义类型标识包括第二语义类型的情况下,可以确定语义格式化规则为对相关字符串进行拼接处理,得到语义格式化处理结果。
例如,在第二语义类型为服务名类型的情况下,可以确定与待处理子数据对应的第一待处理字符串为“图标”、第二待处理字符串为“服务名”,可以对“图标”和“服务名”进行拼接处理,得到与服务名类型对应的语义格式化处理结果。
备选地,在第二语义类型为http请求方法类型的情况下,可以确定与待处理子数据对应的第一待处理字符串为“方法标签”、第二待处理字符串为“方法名”,可以对“方法标签”和“方法名”进行拼接处理,得到与http请求方法类型对应的语义格式化处理结果。
备选地,在第二语义类型为http状态码类型的情况下,可以确定与待处理子数据对应的第一待处理字符串为“状态标签”、第二待处理字符串为“状态码”,可以对“状态标签”和“状态码”进行拼接处理,得到与http状态码类型对应的语义格式化处理结果。
根据本公开的实施例,由于语义格式化处理结果是在操作类型包括语义格式化操作的情况下,根据语义格式化规则对待处理数据进行语义格式化处理得到的,通过定义语义格式化规则库,实现了语义格式化规则的自动确定。在此基础上,通过利用语义格式化规则对待处理数据进行语义格式化处理,能够避免在程序代码中手动处理数据的语义格式化所可能产生的不一致性,可以降低代码的复杂度和维护难度,提高代码的可读性、可维护性和可扩展性。
图6B示意性示出了根据本公开另一实施例的在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果过程的示例示意图。
如图6B所示,在600B中,可以确定与待处理子数据611对应的第一待处理字符串612和第二待处理字符串613。
对第一待处理字符串612和第二待处理字符串613进行字符串拼接处理,得到与待处理子数据611对应的语义格式化处理结果614。
以上仅是示例性实施例,但不限于此,还可以包括本领域已知的其他数据处理方法,只要能够灵活地对待处理数据进行排序和格式化展示,提高数据处理的效率和准确性即可。
图7示意性示出了根据本公开实施例的数据处理装置的框图。
如图7所示,数据处理装置700可以包括第一确定模块710、第二确定模块720和数据处理模块730。
第一确定模块710,用于响应于接收到针对待处理数据的数据处理请求,根据数据处理请求,确定与待处理数据对应的数据对象和操作类型,其中,数据对象包括键信息和值信息,键信息包括与待处理数据对应的数据字段名称,值信息包括与数据字段名称对应的数据类型标识和语义类型标识,操作类型包括数据排序操作和语义格式化操作中的至少之一。
第二确定模块720,用于根据操作类型、数据类型标识和语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一。
数据处理模块730,用于根据数据排序规则和语义格式化规则中的至少之一,对待处理数据进行数据处理,得到数据处理结果。
根据本公开的实施例,数据处理模块730可以包括数据排序处理子模块和语义格式化处理子模块。
数据排序处理子模块,用于在操作类型包括数据排序操作的情况下,根据数据排序规则,对待处理数据进行数据排序处理,得到数据排序处理结果。
语义格式化处理子模块,用于在操作类型包括语义格式化操作的情况下,根据语义格式化规则,对待处理数据进行语义格式化处理,得到语义格式化处理结果。
根据本公开的实施例,在语义类型标识包括第一语义类型的情况下,待处理数据包括至少一个待处理子数据。
根据本公开的实施例,语义格式化处理子模块可以包括第一确定单元、第二确定单元、第三确定单元、第一处理单元和第四确定单元。
第一确定单元,用于针对至少一个待处理子数据中的每个待处理子数据,确定与待处理子数据对应的第一数值。
第二确定单元,用于根据预定比例系数和第一数值,确定第二数值。
第三确定单元,用于根据预定阈值、与预定单位后缀对应的单位后缀数目和第二数值,确定第三数值。
第一处理单元,用于根据预定比例系数和第三数值,对待处理子数据进行处理,得到经处理子数据。
第四确定单元,用于根据预定单位后缀和经处理子数据,确定与待处理子数据对应的语义格式化处理结果。
根据本公开的实施例,在语义类型标识包括第二语义类型的情况下,待处理数据包括至少一个待处理子数据。
根据本公开的实施例,语义格式化处理子模块还可以包括第五确定单元和第二处理单元。
第五确定单元,用于针对至少一个待处理子数据中的每个待处理子数据,确定与待处理子数据对应的第一待处理字符串和第二待处理字符串。
第二处理单元,用于对第一待处理字符串和第二待处理字符串进行字符串拼接处理,得到与待处理子数据对应的语义格式化处理结果。
根据本公开的实施例,在数据类型标识包括第一数据类型的情况下,待处理数据包括M个待处理子数据。
根据本公开的实施例,数据排序处理子模块可以包括第六确定单元、第一比较单元、第七确定单元和第八确定单元。
第六确定单元,用于针对M个待处理子数据中的第m个待处理子数据,确定与第m个待处理子数据相关联的第m+1个待处理子数据,其中,m小于或等于M-1。
第一比较单元,用于对第m个待处理子数据和第m+1个待处理子数据进行比较,得到第一比较结果。
第七确定单元,用于根据第一比较结果,确定第m个待处理子数据和第m+1个待处理子数据之间的第m个数据排序处理结果。
第八确定单元,用于根据第m个数据排序处理结果,确定数据排序处理结果。
根据本公开的实施例,在数据类型标识包括第二数据类型的情况下,待处理数据包括N个待处理子数据。
根据本公开的实施例,数据排序处理子模块还可以包括第九确定单元、第十确定单元、第二比较单元、第三比较单元和第十一确定单元。
第九确定单元,用于针对N个待处理子数据中的第n个待处理子数据,确定与第n个待处理子数据相关联的第n+1个待处理子数据,其中,n小于或等于N-1。
第十确定单元,用于确定第n个待处理子数据的第n个字符数目和第n+1个待处理子数据的第n+1个字符数目。
第二比较单元,用于对第n个字符数目和第n+1个字符数目进行比较,得到第二比较结果。
第三比较单元,用于在第二比较结果表征第n个字符数目和第n+1个字符数目相一致的情况下,对第n个待处理子数据和第n+1个待处理子数据进行比较,得到第n个第三比较结果。
第十一确定单元,用于根据第n个第三比较结果,确定数据排序处理结果。
根据本公开的实施例,在数据类型标识包括第三数据类型的情况下,待处理数据包括P个待处理子数据。
根据本公开的实施例,数据排序处理子模块还可以包括第三处理单元、第十二确定单元、第四比较单元和第十三确定单元。
第三处理单元,用于对P个待处理子数据分别进行转换处理,得到P个转换后的子数据。
第十二确定单元,用于针对P个转换后的子数据中的第p个转换后的子数据,确定与第p个转换后的子数据相关联的第p+1个转换后的子数据,其中,p小于或等于P-1。
第四比较单元,用于对第p个转换后的子数据和第p+1个转换后的子数据进行比较,得到第p个第四比较结果。
第十三确定单元,用于根据第p个第四比较结果,确定数据排序处理结果。
根据本公开的实施例,预设规则库包括数据排序规则库和语义格式化规则库。
根据本公开的实施例,第二确定模块720可以包括第一确定子模块和第二确定子模块。
第一确定子模块,用于在操作类型包括数据排序操作的情况下,根据数据类型标识,在数据排序规则库中确定与数据类型标识对应的数据排序规则。
第二确定子模块,用于在操作类型包括语义格式化操作的情况下,根据语义类型标识,在语义格式化规则库中确定与语义类型标识对应的语义格式化规则。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一确定模块710、第二确定模块720和数据处理模块730中的任意多个可以合并在一个模块/单元/子单元中实现,或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者,这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合,并在一个模块/单元/子单元中实现。根据本公开的实施例,第一确定模块710、第二确定模块720和数据处理模块730中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一确定模块710、第二确定模块720和数据处理模块730中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
需要说明的是,本公开的实施例中数据处理装置部分与本公开的实施例中数据处理方法部分是相对应的,数据处理装置部分的描述具体参考数据处理方法部分,在此不再赘述。
图8示意性示出了根据本公开实施例的适于实现数据处理方法的电子设备的框图。图8示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,根据本公开实施例的计算机电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分809加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至输入/输出(I/O)接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出(I/O)接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
根据本公开的实施例,根据本公开实施例的方法流程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读存储介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本公开实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本公开实施例所提供的数据处理方法。
在该计算机程序被处理器801执行时,执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分809被下载和安装,和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种数据处理方法,包括:
响应于接收到针对待处理数据的数据处理请求,根据所述数据处理请求,确定与所述待处理数据对应的数据对象和操作类型,其中,所述数据对象包括键信息和值信息,所述键信息包括与所述待处理数据对应的数据字段名称,所述值信息包括与所述数据字段名称对应的数据类型标识和语义类型标识,所述操作类型包括数据排序操作和语义格式化操作中的至少之一;
根据所述操作类型、所述数据类型标识和所述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;以及
根据所述数据排序规则和所述语义格式化规则中的至少之一,对所述待处理数据进行数据处理,得到数据处理结果。
2.根据权利要求1所述的方法,其中,所述根据所述数据排序规则和所述语义格式化规则中的至少之一,对所述待处理数据进行数据处理,得到数据处理结果包括:
在所述操作类型包括所述数据排序操作的情况下,根据所述数据排序规则,对所述待处理数据进行数据排序处理,得到数据排序处理结果;以及
在所述操作类型包括所述语义格式化操作的情况下,根据所述语义格式化规则,对所述待处理数据进行语义格式化处理,得到语义格式化处理结果。
3.根据权利要求2所述的方法,其中,在所述语义类型标识包括第一语义类型的情况下,所述待处理数据包括至少一个待处理子数据;
所述在所述操作类型包括所述语义格式化操作的情况下,根据所述语义格式化规则,对所述待处理数据进行语义格式化处理,得到语义格式化处理结果包括:
针对所述至少一个待处理子数据中的每个待处理子数据,
确定与所述待处理子数据对应的第一数值;
根据预定比例系数和所述第一数值,确定第二数值;
根据预定阈值、与预定单位后缀对应的单位后缀数目和所述第二数值,确定第三数值;
根据所述预定比例系数和所述第三数值,对所述待处理子数据进行处理,得到经处理子数据;以及
根据所述预定单位后缀和所述经处理子数据,确定与所述待处理子数据对应的所述语义格式化处理结果。
4.根据权利要求3所述的方法,其中,在所述语义类型标识包括第二语义类型的情况下,所述待处理数据包括至少一个待处理子数据;
所述方法还包括:
针对所述至少一个待处理子数据中的每个待处理子数据,
确定与所述待处理子数据对应的第一待处理字符串和第二待处理字符串;以及
对所述第一待处理字符串和所述第二待处理字符串进行字符串拼接处理,得到与所述待处理子数据对应的所述语义格式化处理结果。
5.根据权利要求2所述的方法,其中,在所述数据类型标识包括第一数据类型的情况下,所述待处理数据包括M个待处理子数据;
所述在所述操作类型包括所述数据排序操作的情况下,根据所述数据排序规则,对所述待处理数据进行数据排序处理,得到数据排序处理结果包括:
针对所述M个待处理子数据中的第m个待处理子数据,
确定与所述第m个待处理子数据相关联的第m+1个待处理子数据,其中,m小于或等于M-1;
对所述第m个待处理子数据和所述第m+1个待处理子数据进行比较,得到第一比较结果;
根据所述第一比较结果,确定所述第m个待处理子数据和所述第m+1个待处理子数据之间的第m个数据排序处理结果;以及
根据所述第m个数据排序处理结果,确定所述数据排序处理结果。
6.根据权利要求5所述的方法,其中,在所述数据类型标识包括第二数据类型的情况下,所述待处理数据包括N个待处理子数据;
所述方法还包括:
针对所述N个待处理子数据中的第n个待处理子数据,
确定与所述第n个待处理子数据相关联的第n+1个待处理子数据,其中,n小于或等于N-1;
确定所述第n个待处理子数据的第n个字符数目和所述第n+1个待处理子数据的第n+1个字符数目;
对所述第n个字符数目和所述第n+1个字符数目进行比较,得到第二比较结果;
在所述第二比较结果表征所述第n个字符数目和所述第n+1个字符数目相一致的情况下,对所述第n个待处理子数据和所述第n+1个待处理子数据进行比较,得到第n个第三比较结果;以及
根据所述第n个第三比较结果,确定所述数据排序处理结果。
7.根据权利要求6所述的方法,其中,在所述数据类型标识包括第三数据类型的情况下,所述待处理数据包括P个待处理子数据;
所述方法还包括:
对所述P个待处理子数据分别进行转换处理,得到P个转换后的子数据;
针对所述P个转换后的子数据中的第p个转换后的子数据,
确定与所述第p个转换后的子数据相关联的第p+1个转换后的子数据,其中,p小于或等于P-1;
对所述第p个转换后的子数据和所述第p+1个转换后的子数据进行比较,得到第p个第四比较结果;以及
根据所述第p个第四比较结果,确定所述数据排序处理结果。
8.根据权利要求1至7中任一项所述的方法,其中,所述预设规则库包括数据排序规则库和语义格式化规则库;
所述根据所述操作类型、所述数据类型标识和所述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一包括:
在所述操作类型包括所述数据排序操作的情况下,根据所述数据类型标识,在所述数据排序规则库中确定与所述数据类型标识对应的数据排序规则;以及
在所述操作类型包括所述语义格式化操作的情况下,根据所述语义类型标识,在所述语义格式化规则库中确定与所述语义类型标识对应的语义格式化规则。
9.根据权利要求1至7中任一项所述的方法,其中,所述待处理数据包括待处理业务数据,所述待处理业务数据的来源包括以下之一:电子表格和文本文档。
10.一种数据处理装置,包括:
第一确定模块,用于响应于接收到针对待处理数据的数据处理请求,根据所述数据处理请求,确定与所述待处理数据对应的数据对象和操作类型,其中,所述数据对象包括键信息和值信息,所述键信息包括与所述待处理数据对应的数据字段名称,所述值信息包括与所述数据字段名称对应的数据类型标识和语义类型标识,所述操作类型包括数据排序操作和语义格式化操作中的至少之一;
第二确定模块,用于根据所述操作类型、所述数据类型标识和所述语义类型标识,在预设规则库中确定数据排序规则和语义格式化规则中的至少之一;以及
数据处理模块,用于根据所述数据排序规则和所述语义格式化规则中的至少之一,对所述待处理数据进行数据处理,得到数据处理结果。
11.一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个指令,
其中,当所述一个或多个指令被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,所述可执行指令被处理器执行时使处理器实现权利要求1至9中任一项所述的方法。
13.一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,所述计算机可执行指令在被执行时用于实现权利要求1至9中任一项所述的方法。
CN202310711203.0A 2023-06-15 2023-06-15 数据处理方法及装置、电子设备和计算机可读存储介质 Pending CN116738933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310711203.0A CN116738933A (zh) 2023-06-15 2023-06-15 数据处理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310711203.0A CN116738933A (zh) 2023-06-15 2023-06-15 数据处理方法及装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116738933A true CN116738933A (zh) 2023-09-12

Family

ID=87909366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310711203.0A Pending CN116738933A (zh) 2023-06-15 2023-06-15 数据处理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116738933A (zh)

Similar Documents

Publication Publication Date Title
WO2022151966A1 (zh) 用于语言模型的处理方法、文本生成方法、装置及介质
CN109359194B (zh) 用于预测信息类别的方法和装置
CN113419740B (zh) 程序数据流的分析方法、装置、电子设备及可读存储介质
CN113760729A (zh) 一种代码检测方法和装置
CN114385780A (zh) 程序接口信息推荐方法、装置、电子设备和可读介质
CN115982491A (zh) 页面更新方法及装置、电子设备和计算机可读存储介质
CN114237651A (zh) 云原生应用的安装方法、装置、电子设备和介质
CN116560661A (zh) 代码优化方法、装置、设备及存储介质
CN110188113B (zh) 一种利用复杂表达式进行数据比对的方法、装置及存储介质
CN113641633A (zh) 文件处理方法、装置、电子设备、介质和计算机程序
CN112860344A (zh) 组件处理方法、装置、电子设备和存储介质
CN110110032B (zh) 用于更新索引文件的方法和装置
CN113807056B (zh) 一种文档名称序号纠错方法、装置和设备
CN113918525A (zh) 数据交换调度方法、系统、电子设备、介质及程序产品
CN114691527A (zh) 单元测试案例生成方法、装置、设备、介质和程序产品
CN116738933A (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
CN114490400A (zh) 一种处理测试用例的方法和装置
CN111367889B (zh) 基于网页界面的跨集群数据迁移方法和装置
CN114218254A (zh) 报表生成方法、装置、设备及存储介质
CN112783903B (zh) 生成更新日志的方法和装置
CN111400623B (zh) 用于搜索信息的方法和装置
CN113935334A (zh) 文本信息处理方法、装置、设备和介质
CN113535565A (zh) 一种接口用例生成方法、装置、设备、介质和程序产品
CN114969059B (zh) 生成订单信息的方法、装置、电子设备及存储介质
CN112860259B (zh) 界面处理方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination