CN113051333B - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

一种数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113051333B
CN113051333B CN202110434241.7A CN202110434241A CN113051333B CN 113051333 B CN113051333 B CN 113051333B CN 202110434241 A CN202110434241 A CN 202110434241A CN 113051333 B CN113051333 B CN 113051333B
Authority
CN
China
Prior art keywords
target
node
data
nodes
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110434241.7A
Other languages
English (en)
Other versions
CN113051333A (zh
Inventor
谢连天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202110434241.7A priority Critical patent/CN113051333B/zh
Publication of CN113051333A publication Critical patent/CN113051333A/zh
Application granted granted Critical
Publication of CN113051333B publication Critical patent/CN113051333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/86—Mapping to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质，可应用于数据处理技术领域。其中方法包括本申请：获取待处理数据，从待处理数据中获取目标数据格式的目标数据，调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。本申请涉及区块链技术，如可将生成的目标节点信息写入区块链中进行存储。

Description

一种数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、一种数据处理装置、一种电子设备及一种计算机存储介质。
背景技术
随着大数据时代的到来，数据量激增，很多企业都采用数据仓库进行海量数据的存储。目前，从各种途径提取的一些源端数据通常可能存在脏数据并且格式杂乱，使得用户不能快速获取重要信息，则需要在将源端数据存入数据仓库前进行数据处理，现有技术中对数据进行提取通常是通过数据仓库的自带的Xpath函数来对数据进行解析，但通过这种方式处理数据时只能通过编写大量的判断语句，一个个列出所有的标签类型，然后再与源端数据进行匹配从而获取数据，这样的处理方式的数据处理效率不高，并且对不同的数据适用性不强。由此可见，如何对需要存入数据仓库的数据进行高效、灵活地处理是一个亟待解决的问题。
发明内容
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，有助于提高数据处理的效率，增强数据处理操作的灵活性。
一方面，本申请实施例提供了一种数据处理方法，该方法包括：
获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
另一方面，本申请实施例提供了一种数据处理装置，该装置包括：
获取模块，用于获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
处理模块，用于调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
所述处理模块，还用于依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
再一方面，本申请实施例提供了一种电子设备，其特征在于，所述电子设备包括处理器和存储装置，所述处理器与所述存储装置相互连接，其中，所述存储装置用于存储计算机程序指令，所述处理器被配置用于执行如下步骤：
获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如下步骤：
获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
本申请实施例获取待处理数据，从待处理数据中获取目标数据格式的目标数据，该目标数据包括根节点及根节点下的多个子节点，然后调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的一种目标数据的效果示意图；
图3是本申请实施例提供的另一种数据处理方法的流程示意图；
图4是本申请实施例提供的一种条件配置界面的效果示意图；
图5是本申请实施例提供的一种函数封装包选择界面的效果示意图；
图6是本申请实施例提供的另一种函数封装包选择界面的效果示意图；
图7是本申请实施例提供的一种数据处理装置的结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提出一种数据处理方案，能够从待处理数据中获取目标格式的目标数据，然后调用解析工具解析目标数据，从该目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，再将该文本节点和该文本节点对应的元素节点存储至目标数据仓库，由此可以有助于提高数据处理的效率，增强数据处理操作的灵活性。
本申请的技术方案可运用在电子设备中，该电子设备可以是终端，也可以是服务器，或者也可以是用于数据处理的其他设备，本申请不做限定。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
在一种可能的实施方式中，本申请的数据处理方案可以运用在数据仓库中，数据仓库(Data Warehouse，简称DW)是一个很大的数据存储集合，如hive、oracle、Db2、Teradata等，数据仓库出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。该数据仓库在一些场景中也可被称为大数据数据仓、数据仓、大数据数据仓库等，此处不做限制。此处以将本申请实施例运用在hive数据仓库为例对方案的运用进行阐述。在将从源端获取的待处理数据存入hive数据仓库之前，可以通过本方案对待处理数据进行数据处理，从而得到目标节点信息，并将得到的目标节点信息存储至目标数据仓库，使得存储至目标数据仓库的数据满足用户的需求和目标数据仓库的存储条件。
可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
基于上述的描述，本申请实施例提出一种数据处理方法。请参见图1，该数据处理方法可以包括步骤101-103。
101、获取待处理数据，从待处理数据中获取目标数据格式的目标数据。
其中，该待处理数据，可以是从各个途径获取的源端数据，如从网站的相关网页信息获取的源端数据，也可以是企业的业务系统、财务系统等企业的系统获取的数据，还可以是从数据库中获取的数据，此处不做限制。该待处理数据可以是具有多种数据格式的数据，如xml，html等格式的数据，此处不做限制。
在一种可能的实施方式中，该待处理数据可以是通过数据仓库的调度脚本获取，如hive数据仓库的调度脚本。该调度脚本用于定时调度目标数据仓库中的各种脚本，通过该调度脚本定时从目标内存中读取待处理数据，还可以是从操作性数据仓库(ODS)中读取待处理数据，此处不做限制。可选的，该调度脚本定时读取数据的时间周期可以由用户自行定义，然后依照该时间周期定时读取待处理数据。
该目标数据是从待处理数据中确定的数据格式为目标数据格式的数据，该目标数据格式可以是数据中具有根节点及该根节点下的多个子节点的数据格式，如xml数据格式。其中，请参见2，图2(a)为本申请实施例提供的一种目标数据的效果示意图，目标数据中的每一个成分(例如<exdata>、<shipperAddress>、xx省xx市、<sellerId>、127727100等等)都是一个节点，如图2(b)所示，在该目标数据中，每个方框中的数据都可被称为节点，在目标数据中最外层的节点可以被称为根节点，根节点下的每一个节点都可被称为该根节点下的子节点。
上述多个子节点包括元素节点和文本节点，元素节点是指在目标数据中元素包括的开始标签或结束标签，一个元素包括对应的开始标签、结束标签，以及对应开始标签和结束标签之间的数据；文本节点是指存储文本数据的节点。在一些可能的场景中，根节点也可以被称为根元素节点，开始标签也可被称为打开标签、起始标签，结束标签也可被称为结束标签，此处不做限制。
在上述图2(a)所示的目标数据中，<exdata>、<shipperAddress>、xx省xx市、<sellerId>、127727100等数据都可以被称为节点，即图2(b)中每个方框中的数据都可被称为节点，一段xml数据中最外层的节点为根节点，如<exdata>、</exdata>，或者也可称根节点为exdata。在该根节点下存在多个子节点，该子节点可以是元素节点也可以是文本节点。文本节点是指数据内容为文本数据的子节点，如图2(b)中的xs省xs市、127727100、xr省xr市。元素节点是指目标数据中元素对应的标签，该标签是指由符号“<”“>”以及两符号之间的字符串组成的数据，如标签<exdata>、<shipperAddress>、</shipperAddress>、<sellerId>、</sellerId>、<receiverAddress>、</receiverAddress>等等，其中不含符号“/”的为开始标签，如<exdata>、<shipperAddress>等，含符号“/”的为结束标签，如</shipperAddress>、</sellerId>等，则开始标签到结束标签被称为一个元素，元素的开始标签和家属标签为该元素的元素节点，如一个元素：<shipperAddress>xs省xs市</shipperAddress>，则该元素的元素节点为<shipperAddress>和</shipperAddress>，或者也可称该元素的元素节点为shipperAddress。
102、调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点。
其中，该解析工具可以是采用DOM4J解析工具，也可以是JDOM、DOM解析工具等等，此处不做限制。该根节点可以是指一段目标数据中最外层的节点，例如，图2(a)所示的xml格式的目标数据中，最外层的节点标签为<exdata>和</exdata>，则该段目标数据的根节点为<exdata>、</exdata>，根节点的子节点包括：<shipperAddress>、xs省xs、</shipperAddress>、<sellerId>、127727100、</sellerId>、<receiverAddress>、xr省xr市、</receiverAddress>。
该关联的两个元素节点是指同一个元素包括的开始标签及结束标签指示的节点，例如，如图2(a)所示的xml数据中，存在一个元素：<shipperAddress>xs省xs市</shipperAddress>，则在这个元素中上述元素节点<shipperAddress>和元素节点</shipperAddress>属于关联的两个元素节点，那么该两个关联的元素节点之间存在的文本节点为：xs省xs市。换句话说就是，该文本节点“xs省xs市”对应的元素节点为<shipperAddress>和</shipperAddress>，或者说，该文本节点“xs省xs市”对应的元素节点为shipperAddress。
在一种可能的实施方式中，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，可以包括以下步骤：检测该根节点包含的子节点，当该根节点下存在多个子节点时，遍历该多个子节点，定位该多个子节点中的元素节点，并提取关联的两个元素节点之间的文本节点。例如，如图2(a)所示的xml目标数据中，根节点exdata下存在9个子节点，即存在3个元素，包括：元素<shipperAddress>xs省xs</shipperAddress>、元素<sellerId>127727100</sellerId>以及元素<receiverAddress>xr省xr市</receiverAddress>。遍历该多个子节点可以通过迭代器对该多个子节点进行遍历，如通过DOM4j解析工具的元素迭代器element_Iterator()遍历该多个子节点，定位该多个子节点中的元素节点<shipperAddress>、</shipperAddress>、<sellerId>、</sellerId>、<receiverAddress>和</receiverAddress>，则可以提取到关联的两个元素节点<shipperAddress>和</shipperAddress>之间的文本节点“xs省xs”,元素节点<sellerId>和</sellerId>之间存在文本节点“127727100”，元素节点<receiverAddress>和</receiverAddress>之间存在文本节点“xr省xr市”。
可选的，可以定位满足预设条件的元素节点，并提取满足预设条件的文本节点。该预设条件用于指示用户想要获取的数据的条件，并且该预设条件可由用户自行定义。例如该预设条件可以为关联的两个元素节点之间的文本节点不存在特殊字符，该特殊字符是指难以通过键盘直接输入的符号，如等，或者，该预设条件为提取的文本节点的嵌套层数不超过指定层数，该嵌套层数可以是指该文本节点的上位节点的层数，例如一段目标数据：<标签1><标签2><标签3>文本节点</标签3></标签2></标签1>，则该文本节点的上位节点有3层，则该文本节点嵌套层数是3层，显然，最外层标签<标签1>对应的节点嵌套层数是0层。
此处以调用DOM4J解析工具解析目标数据为例进行阐述，DOM4J解析工具可以通过解析工具中的文件获取工具(如document())获取目标数据的文档对象，该文档对象用于表示目标数据的文档内容，然后通过根节点提取器(如getRootElement())获取该文档对象中的根节点，检测到根节点包含多个子节点，则通过元素迭代器(如element_Iterator())遍历该多个子节点，定位该多个子节点中的元素节点，然后提取两个相关联的元素节点之间的文本节点。
103、依照文本节点和文本节点对应的元素节点生成目标节点信息，并将目标节点信息存储至目标数据仓库。
其中，该目标节点信息用于指示提取的文本节点和文本节点对应的元素节点。显然，该目标节点信息中存在一个或多个文本节点及文本节点对应的元素节点。该文本节点对应的元素节点是指该文本节点的上一层节点指示的元素节点，如图2所示的xml数据格式的节点中，文本节点“127727100”对应的节点为该文本节点的上一层节点<sellerId>和</sellerId>，而不是根节点<exdata>和</exdata>，则文本节点“127727100”对应的元素节点为<sellerId>和</sellerId>，或者说，文本节点“127727100”对应的元素节点为sellerId。
在一种可能的实施方式中，将该目标节点信息存储至目标数据仓库时，将该目标节点信息中的文本节点和该文本节点对应的元素节点关联存储，例如将文本节点和该文本节点对应的元素节点存储为一个二维表，该二维表就是由行列组成的，确定一个行号和列号就可以确定该二维表中对应位置的数据。
在一种可能的实施方式中，将文本节点和该文本节点对应的元素节点存储为一个二维表可以为，将每个文本节点和对应的元素节点存储为一行数据，以此可以得到多行文本节点和对应的元素节点的对应关系，从而得到二维表，如表1所示。
表1
1 shipperAddress xx省xx市
2 sellerId 127727100
3 receiverAddress xx省xx市
在该二维表中，第二列表示表示目标节点信息中的元素节点，第三列表示目标节点信息中的该元素节点对应的文本节点。
在一种可能的实施方式中，目标数据中的元素节点存在属性节点，则从根节点下的多个子节点中定位元素节点后，提取元素节点对应的属性节点，和关联的两个元素节点之间的文本节点，并依照元素节点和元素节点对应的属性节点，以及文本节点和文本节点对应的元素节点生成目标节点信息，并将目标节点信息存储至目标数据仓库。该属性节点指在开始标签中存在的用于表示对应的元素节点的属性的数据。例如，一段xml格式的目标数据：
<bookstore><book category＝"cooking"><author>Giada De
Laurentiis</author><price>30.00</price></book></bookstore>，
则在该目标数据中，存在属性节点：category＝"cooking"，该属性节点用于表示元素节点book对应的属性。则从根节点下的多个子节点中定位元素节点后，可以得到元素节点<book>及对应的属性节点：category＝"cooking"，元素节点<author>、</author>以及对应的文本节点Giada De Laurentiis，元素节点<price></price>以及对应的文本节点30.00，则可以生成目标节点信息，并将该目标节点信息存储至目标数据仓库，如存储为表2所示。
表2
1 book category cooking
2 author GiadaDeLaurentiis
3 price 30.00
在一种可能的实施方式中，将该目标节点信息存储至目标数据仓库时，还可以执行以下操作：依照目标形式展示该目标节点信息；当检测到针对该目标节点信息的确认指令时，将该目标节点信息存储至目标数据仓库。其中，目标形式用于表示展示目标节点信息时的展示形式，如可以将依照上述二维表的形式进行展示，也可以是展示文本节点及文本节点对应的元素节点的对应关系，如以“元素节点-文本节点”的形式进行展示，此处不做限制。该针对该目标节点信息的确认指令是指用户在检查解析得到目标节点信息后，同意该目标节点信息存储至目标数据仓库而发起的指令，当电子设备接收到用户的确认指令后，将目标节点信息存储至目标数据仓库。
在一种可能的实施方式中，将该目标节点信息存储至目标数据仓库后，还可以执行以下操作：在从存储至目标数据仓库的目标节点信息中确定目标类型的元素节点，并获取目标类型的元素节点对应的文本节点；根据目标类型的元素节点和对应的文本节点，生成与目标类型匹配的数据报表。该目标类型的元素节点是指用户需要统计的元素节点，该目标类型可以是指该目标节点信息中的一种或多种元素节点的类型。例如，一段xml格式的目标数据：
<p><exdata><shipperAddress>11s省11s市</shipperAddress><sellerId>127727111
</sellerId><receiverAddress>11r省11r市</receiverAddress></exdata>
<exdata><shipperAddress>22s省22s市</shipperAddress><sellerId>227727122
</sellerId><receiverAddress>22r省22r市</receiverAddress></exdata>
<exdata><shipperAddress>33s省33s市</shipperAddress><sellerId>327727133
</sellerId><receiverAddress>33r省33r市</receiverAddress></exdata></p>
可以得到存储至目标数据仓库的目标节点信息，如表3所示。
表3
1 shipperAddress 11s省11s市
2 sellerId 127727111
3 receiverAddress 11r省11r市
4 shipperAddress 22s省22s市
5 sellerId 227727122
6 receiverAddress 22r省22r市
7 shipperAddress 33s省33s市
8 sellerId 327727133
9 receiverAddress 33r省33r市
根据该存储至目标数据仓库的目标节点信息，获取目标类型为shipperAddress、sellerId、receiverAddress的元素节点及其对应的文本节点，则可以根据该目标类型的元素节点及其对应的文本节点，生成与该目标类型匹配的数据报表，如表4所示：
表4
序号 shipperAddress sellerId receiverAddress
1 11s省11s市 127727111 11r省11r市
2 22s省22s市 227727122 22r省22r市
3 33s省33s市 327727133 33r省33r市
通过对该数据报表的生成，能够使得用户能够快从目标类型匹配的数据报表中获取有用信息，例如，从上述报表中，可以快速识别不同shipperAddress对应的sellerId和receiverAddress。
本申请实施例获取待处理数据，从待处理数据中获取目标数据格式的目标数据，该目标数据包括根节点及根节点下的多个子节点，然后调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
请参见图3，是本申请提出的一种数据处理方法。该方法的执行主体可以是电子设备，该电子设备可以是终端，也可以是服务器，此处不做限制。如图3所示，该方法可以包括步骤301-304。
301、获取待处理数据，从待处理数据中获取目标数据格式的目标数据。
此步骤参照步骤101，此处不做赘述。
302、根据目标数据仓库的特征信息从预构建的多个函数封装包中，获取与目标数据仓库匹配的目标函数封装包。
该目标数据仓库的特征信息可以包括目标数据仓库的结构特征信息，如数据仓库基本功能层、数据仓库管理层、数据仓库环境支持层等，还可以包括目标数据仓库的计算框架的信息，如Hadoop、大规模并行处理系统(MPP)等，还可以包括目标数据仓库的仓库名称，如hive数据仓库，还可以包括目标数据仓库对应的编号，此处不做限制。该预构建的多个函数封装包，可以是指针对多种数据仓库进行构建的函数封装包，该函数封装包可以通过一个函数接口进行调用。由于数据仓库的特征信息的不同，则该多个函数封装包的执行逻辑有所不同，该执行逻辑是指该函数封装包在调用解析工具解析目标数据时的执行逻辑。
在一种可能的实施方式中，预构建函数封装包可以通过创建一个用户自定义函数(UDF)来执行步骤102的操作，然后再针对该用户自定义函数进行封装，从而得到函数封装包。该用户自定义函数由数据仓库提供，如hive数据仓库的UDF。例如，在构建一个适用于hive数据仓库的函数封装包时，先构建一个UDF，再对该UDF进行封装。在构建hive的UDF时，可以继承hive的UDF，重写evaluate方法来构建UDF，也可以继承GenericUDF，实现initialize、evaluate、getDisplayString方法来构建UDF，此处不做限制。在构建UDF之后，对该UDF进行封装得到函数封装包，则可以直接在hive数据仓库的调度脚本中通过该函数封装包的函数接口调用该函数封装包执行步骤102的操作。
在一种可能的实施方式中，获取与该目标数据仓库匹配的目标函数封装包可以包括以下步骤：接收用户输入的数据处理指令，依照该数据处理指令的指示，获取该目标数据仓库的特征信息；遍历各函数封装包，从各函数封装包中提取目标字段，该目标字段用于指示对应函数封装包所适用的数据仓库；将目标字段与该特征信息匹配的函数封装包确定为与目标数据仓库匹配的目标函数封装包，并获取该目标函数封装包。其中，该数据处理指令指示了生成目标节点信息后进行存储的目标数据仓库。该目标字段用于指示对应函数封装包所适用的数据仓库，该目标字段可以是对适用的数据仓库的特征信息的描述，如适用的数据仓库的名称、数据仓库的结构特征信息等，此处不做限制。例如，该多个函数封装包中，存在名为XmlTransfer的函数封装包，该XmlTransfer函数封装包是针对hive数据仓库的特征信息进行预构建的，且该XmlTransfer函数封装包存在目标字段指示该函数封装包适用于hive数据仓库，在获取hive数据仓库的特征信息后，将该hive数据仓库的特征信息与该多个函数封装包的目标字段进行匹配，则可以得到与该hive数据仓库的特征信息匹配的目标字段对应的函数封装包为该XmlTransfer函数封装包，即该XmlTransfer函数封装包为目标函数封装包，则获取该XmlTransfer函数封装包。
在一种可能的实施方式中，可以在数据仓库的调度脚本中调用该目标函数封装包，如在hive数据仓库的调度脚本中调用该目标函数封装包。具体的，响应于在目标数据仓库的调度脚本中输入的数据处理指令，电子设备获取该调度脚本对应的目标数据仓库的特征信息，从多个预构建的函数封装包中确定与该目标数据仓库匹配的目标函数封装包，并将该目标函数封装包加载至调度脚本中该数据处理指令指示的位置。
303、通过目标函数封装包调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点。
其中，通过目标函数封装包调用解析工具解析目标数据的描述可以参照步骤102，此处不做赘述。
在一种可能的实施方式中，通过目标函数封装包调用解析工具解析目标数据，还可以包括以下步骤：显示针对目标函数封装包的条件配置界面；依照在条件配置界面中输入的条件配置操作，调整目标函数封装包中的预设条件；通过调整条件后的目标函数封装包调用解析工具解析目标数据。该条件配置界面用于配置目标函数封装包的预设条件，该预设条件可以包括获取的数据需要满足的条件，还可以包括将目标节点信息存储至目标数据仓库的存储地址，此处不做限制。
请参见图4，图4是一种条件配置界面的效果示意图，在该条件配置界面中，电子设备接收用户的在该条件配置界面中输入的条件配置操作，从而对目标函数封装包中的条件项进行设置。如图4，用户可以在该条件配置界面中，可以选择增加、减少或修改一栏条件项，其中，可以通过条件项的预设项来确定条件针对的对象，如元素节点、文本节点、属性节点或目标节点信息的存储地址，可以通过对条件项的对应的属性值的选定，来确定预设项对应的具体条件。可选的，不同的预设值对应的属性值备选项可能存在不同。例如，在一栏条件项中，选定文本节点作为预设项，确定该预设项的属性值为文本节点为不含特殊字符，则通过该目标函数封装包获取的目标节点信息中不包含具有特殊字符的文本节点及该文本节点对应的元素节点。
304、依照文本节点和文本节点对应的元素节点生成目标节点信息，并将目标节点信息存储至目标数据仓库。
此步骤的具体实现方式可以参照上述步骤103步骤的具体描述，此处不做赘述。
在一种可能的实施方式中，依照文本节点和文本节点对应的元素节点生成目标节点信息后，还可以执行以下操作：当检测到针对目标函数封装包的更换指令时，显示函数封装包选择界面，依照在该函数封装包选择界面中输入的函数封装包选择操作，确定替换函数封装包；根据该替换函数封装包替换该目标函数封装包。其中，所该数封装包选择界面用于展示该预构建的多个函数封装包，并检测用户输入的函数封装包选择操作。该函数封装包选择操作可以是指用户在函数封装包选择界面中，从与构建的多个函数封装包中查找替换封装包，从而对查找到的替换函数封装包执行函数封装包选择操作，电子设备响应于用户对该替换函数封装包的函数封装包选择操作，将该函数封装包加载至目标函数封装包所在位置。例如，请参见图5，图5是本申请实施例提供的一种函数封装包选择界面的效果示意图，用户可以在界面中通过函数封装包搜索栏搜索替换函数封装包从而找到替换函数封装包，或者直接查看函数封装包选择界面展示的函数封装包从而找到替换函数封装包，然后对找到的替换函数封装包执行函数封装包选择操作，如以拖拽的形式将替换函数封装包拖拽至目标函数封装包的位置，或者直接点击确认按钮，则可以将目标函数封装包替换为替换函数封装包。可选的，该函数封装包选择界面还可以展示每个函数封装包对应的数据仓库和推荐使用场景等相关信息，以便于用户方便快捷地了解函数封装包的相关信息，根据需求准确地做出选择。该每个函数封装包对应的数据仓库是指在根据数据仓库的特征信息构建函数封装包时针对的数据仓库，可以方便用户根据目标数据仓库快速选定目标函数封装包。该推荐使用场景可以是根据函数封装包构建时的执行逻辑生成的推荐使用场景，如推荐使用场景为推荐该函数封装包用于hive数据仓库获取xml数据。
例如，在目标数据仓库的调度脚本中加载该目标函数封装包时，将替换函数封装包加载至调度脚本以替换目标函数封装包。具体的，当检测到调度脚本中针对目标函数封装包的更换指令时，显示函数封装包选择界面，依照在该函数封装包选择界面中输入的函数封装包选择操作，确定替换函数封装包；根据该替换函数封装包替换该调度脚本中的目标函数封装包。请参见图6，图6是本申请实施例提供的一种函数封装包选择界面的效果示意图，用户可以在函数封装包选择界面选定替换函数封装包，从而通过拖拽该替换函数封装包的方式，将该替换函数封装包拖至目标函数封装包的位置，从而对目标函数封装包进行替换，用户还可以针对选中的替换函数封装包点击确定按钮，从而对目标函数封装包进行替换，对函数封装包进行替换的具体执行方式，此处不做限制。
本申请实施例获能够获取待处理数据，从待处理数据中获取目标数据格式的目标数据，根据目标数据仓库的特征信息从预构建的多个函数封装包中，获取与该目标数据仓库匹配的目标函数封装包，然后通过该函数封装包调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；依照该文本节点和文本节点对应的元素节点生成目标节点信息，并将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
基于上述数据处理方法实施例的描述，本申请实施例还公开了一种数据处理装置，该装置可以配置于上述的电子设备中，例如装置可以是运行于电子设备中的一个计算机程序(包括程序代码)。该数据处理装置可以执行图1、图3所示的方法。请参见图7，该装置可以运行如下模块：
获取模块701，用于获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
处理模块702，用于调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
所述处理模块702，还用于依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
在一种实施方式中，所述处理模块702在用于所述调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点时，具体用于：
根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包；
通过所述目标函数封装包调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点。
在一种实施方式中，所述处理模块702用于所述根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包时，具体用于：
接收用户输入的数据处理指令，所述数据处理指令指示了生成所述目标节点信息后进行存储的目标数据仓库；
依照所述数据处理指令的指示，获取所述目标数据仓库的特征信息；
遍历各函数封装包，从所述各函数封装包中提取目标字段，所述目标字段用于指示对应函数封装包所适用的数据仓库；
将所述目标字段与所述特征信息匹配的函数封装包确定为与所述目标数据仓库匹配的目标函数封装包，并获取所述目标函数封装包。
在一种实施方式中，所述处理模块702用于所述通过所述目标函数封装包调用解析工具解析所述目标数据时，具体用于：
显示针对所述目标函数封装包的条件配置界面；
依照在所述条件配置界面中输入的条件配置操作，调整所述目标函数封装包中的预设条件；
通过调整预设条件后的目标函数封装包调用解析工具解析所述目标数据。
在一种实施方式中，所述处理模块702用于所述将所述目标节点信息存储至目标数据仓库时，具体用于：
依照目标形式展示所述目标节点信息；
当检测到针对所述目标节点信息的确认指令时，将所述目标节点信息存储至目标数据仓库。
在一种实施方式中，所述处理模块702用于所述将所述目标节点信息存储至目标数据仓库之后，还用于：
当检测到针对所述目标函数封装包的更换指令时，显示函数封装包选择界面，所述函数封装包选择界面用于展示所述预构建的多个函数封装包；
依照在所述函数封装包选择界面中输入的函数封装包选择操作，确定替换函数封装包；
根据所述替换函数封装包替换所述目标函数封装包。
在一种实施方式中，所述处理模块702用于所述将所述目标节点信息存储至目标数据仓库之后，还用于：
从存储至目标数据仓库的目标节点信息中确定目标类型的元素节点，并获取所述目标类型的元素节点对应的文本节点；
根据所述目标类型的元素节点和对应的文本节点，生成与所述目标类型匹配的数据报表。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，本申请不做限定。
本申请实施例获取待处理数据，从待处理数据中获取目标数据格式的目标数据，该目标数据包括根节点及根节点下的多个子节点，然后调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
再请参见图8，是本申请实施例的一种电子设备的结构示意图，本申请实施例的所述电子设备包括供电模块等结构，并包括处理器801以及存储装置802。可选的，该电子设备还可包括网络接口803。其中，所述处理器801、存储装置802以及网络接口803之间可以交互数据，网络接口803受所述处理器的控制用于收发消息，存储器802用于存储计算机程序，所述计算机程序包括程序指令，处理器801用于执行存储器802存储的程序指令。其中，处理器801被配置用于调用所述程序指令执行上述方法。
所述存储装置802可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置802也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；所述存储装置802还可以包括上述种类的存储器的组合。
所述处理器801可以是中央处理器801(central processing unit，CPU)。在一个实施例中，所述处理器801还可以是图形处理器801(Graphics Processing Unit，GPU)。所述处理器801也可以是由CPU和GPU的组合。
在一个实施例中，所述存储装置802用于存储程序指令。所述处理器801可以调用所述程序指令，执行以下步骤：
获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
在一种实施方式中，所述处理器801用于所述调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点时，具体用于：
根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包；
通过所述目标函数封装包调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点。
在一种实施方式中，所述处理器801用于所述根据所述目标数据仓库的特征信息从预构建的多个函数封装包中，获取与所述目标数据仓库匹配的目标函数封装包之前，还用于：
依照所述数据处理指令的指示，获取所述目标数据仓库的特征信息；
遍历各函数封装包，从所述各函数封装包中提取目标字段，所述目标字段用于指示对应函数封装包所适用的数据仓库；
将所述目标字段与所述特征信息匹配的函数封装包确定为与所述目标数据仓库匹配的目标函数封装包，并获取所述目标函数封装包。
在一种实施方式中，所述处理器801用于所述通过所述目标函数封装包调用解析工具解析所述目标数据时，具体用于：
显示针对所述目标函数封装包的条件配置界面；
依照在所述条件配置界面中输入的条件配置操作，调整所述目标函数封装包中的预设条件；
通过调整预设条件后的目标函数封装包调用解析工具解析所述目标数据。
在一种实施方式中，所述处理器801用于所述将所述目标节点信息存储至目标数据仓库时，具体用于：
依照目标形式展示所述目标节点信息；
当检测到针对所述目标节点信息的确认指令时，将所述目标节点信息存储至目标数据仓库。
在一种实施方式中，所述处理器801用于所述将所述目标节点信息存储至目标数据仓库之后，还用于：
当检测到针对所述目标函数封装包的更换指令时，显示函数封装包选择界面，所述函数封装包选择界面用于展示所述预构建的多个函数封装包；
依照在所述函数封装包选择界面中输入的函数封装包选择操作，确定替换函数封装包；
根据所述替换函数封装包替换所述目标函数封装包。
在一种实施方式中，所述处理器801用于所述将所述目标节点信息存储至目标数据仓库之后，还用于：
从存储至目标数据仓库的目标节点信息中确定目标类型的元素节点，并获取所述目标类型的元素节点对应的文本节点；
根据所述目标类型的元素节点和对应的文本节点，生成与所述目标类型匹配的数据报表。
具体实现中，本申请实施例中所描述的装置、处理器801、存储装置802等可执行上述方法实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。
本申请实施例获取待处理数据，从待处理数据中获取目标数据格式的目标数据，该目标数据包括根节点及根节点下的多个子节点，然后调用解析工具解析目标数据，从目标数据中确定根节点，并从根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点，依照文本节点和文本节点对应的元素节点生成目标节点信息，将目标节点信息存储至目标数据仓库。由此可以，有助于提高数据处理的效率，增强数据处理操作的灵活性。
本申请实施例中还提供一种计算机(可读)存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，可执行上述方法实施例中所执行的部分或全部步骤。可选的，该计算机存储介质可以是易失性的，也可以是非易失性的。
其中，所述计算机(可读)存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括程序指令，该程序指令可存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该程序指令，处理器执行该程序指令，使得该计算机执行上述数据处理方法中所执行的部分或全部步骤，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机存储介质中，该计算机存储介质可以为计算机可读存储介质，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (8)

1.一种数据处理方法，其特征在于，包括：
获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
接收用户输入的数据处理指令，所述数据处理指令指示了生成目标节点信息后进行存储的目标数据仓库；
依照所述数据处理指令的指示，获取所述目标数据仓库的特征信息；
遍历预构建的多个函数封装包，从所述多个函数封装包中提取目标字段，所述目标字段用于指示对应函数封装包所适用的数据仓库；
将所述目标字段与所述特征信息匹配的函数封装包确定为与所述目标数据仓库匹配的目标函数封装包，并获取所述目标函数封装包；
通过所述目标函数封装包调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
2.根据权利要求1所述方法，其特征在于，所述通过所述目标函数封装包调用解析工具解析所述目标数据，包括：
显示针对所述目标函数封装包的条件配置界面；
依照在所述条件配置界面中输入的条件配置操作，调整所述目标函数封装包中的预设条件；
通过调整预设条件后的目标函数封装包调用解析工具解析所述目标数据。
3.根据权利要求1所述方法，其特征在于，所述将所述目标节点信息存储至目标数据仓库，包括：
依照目标形式展示所述目标节点信息；
当检测到针对所述目标节点信息的确认指令时，将所述目标节点信息存储至目标数据仓库。
4.根据权利要求1-3任一项所述方法，其特征在于，所述将所述目标节点信息存储至目标数据仓库之后，所述方法还包括：
当检测到针对所述目标函数封装包的更换指令时，显示函数封装包选择界面，所述函数封装包选择界面用于展示所述预构建的多个函数封装包；
依照在所述函数封装包选择界面中输入的函数封装包选择操作，确定替换函数封装包；
根据所述替换函数封装包替换所述目标函数封装包。
5.根据权利要求1所述方法，其特征在于，所述将所述目标节点信息存储至目标数据仓库之后，所述方法还包括：
从存储至目标数据仓库的目标节点信息中确定目标类型的元素节点，并获取所述目标类型的元素节点对应的文本节点；
根据所述目标类型的元素节点和对应的文本节点，生成与所述目标类型匹配的数据报表。
6.一种数据处理装置，其特征在于，所述装置用于实现如权利要求1-5任一项所述的方法，所述装置包括：
获取模块，用于获取待处理数据，从所述待处理数据中获取目标数据格式的目标数据，所述目标数据包括根节点及所述根节点下的多个子节点，所述多个子节点包括元素节点和文本节点；
处理模块，用于调用解析工具解析所述目标数据，从所述目标数据中确定根节点，并从所述根节点下的多个子节点中定位元素节点，提取关联的两个元素节点之间的文本节点；
所述处理模块，还用于依照所述文本节点和所述文本节点对应的元素节点生成目标节点信息，将所述目标节点信息存储至目标数据仓库。
7.一种电子设备，其特征在于，包括处理器和存储装置，所述处理器与所述存储装置相互连接，其中，所述存储装置用于存储计算机程序指令，所述处理器被配置用于执行所述程序指令，实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-5任一项所述的方法。
CN202110434241.7A 2021-04-21 2021-04-21 一种数据处理方法、装置、电子设备及存储介质 Active CN113051333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110434241.7A CN113051333B (zh) 2021-04-21 2021-04-21 一种数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110434241.7A CN113051333B (zh) 2021-04-21 2021-04-21 一种数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113051333A CN113051333A (zh) 2021-06-29
CN113051333B true CN113051333B (zh) 2023-10-13

Family

ID=76520249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110434241.7A Active CN113051333B (zh) 2021-04-21 2021-04-21 一种数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113051333B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385086A (zh) * 2022-01-17 2022-04-22 杭州瑞网广通信息技术有限公司 一种基于云存储系统的数据存储方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254122A (zh) * 2016-08-15 2016-12-21 凌云天博光电科技股份有限公司 一种基于eoc设备的简单网络管理协议代理实现方法
CN108255494A (zh) * 2018-01-30 2018-07-06 平安科技（深圳）有限公司 一种xml文件解析方法、装置、计算机设备及存储介质
US10489430B1 (en) * 2018-05-24 2019-11-26 People.ai, Inc. Systems and methods for matching electronic activities to record objects using feedback based match policies
CN111488372A (zh) * 2020-04-09 2020-08-04 腾讯科技（深圳）有限公司 一种数据处理方法、设备及存储介质
CN111563385A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 语义处理方法、装置、电子设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254122A (zh) * 2016-08-15 2016-12-21 凌云天博光电科技股份有限公司 一种基于eoc设备的简单网络管理协议代理实现方法
CN108255494A (zh) * 2018-01-30 2018-07-06 平安科技（深圳）有限公司 一种xml文件解析方法、装置、计算机设备及存储介质
US10489430B1 (en) * 2018-05-24 2019-11-26 People.ai, Inc. Systems and methods for matching electronic activities to record objects using feedback based match policies
CN111488372A (zh) * 2020-04-09 2020-08-04 腾讯科技（深圳）有限公司 一种数据处理方法、设备及存储介质
CN111563385A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 语义处理方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN113051333A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US10437848B2 (en) Systems and methods for parsing and ingesting data in big data environments
US8756567B2 (en) Profile based version comparison
US9811604B2 (en) Method and system for defining an extension taxonomy
CN107729475B (zh) 网页元素采集方法、装置、终端与计算机可读存储介质
US20130166550A1 (en) Integration of Tags and Object Data
CN103678511B (zh) 根据可视化模板进行网页内容抽取的方法及装置
CN111538774B (zh) 数据存储及展示方法、系统、设备及存储介质
US10489024B2 (en) UI rendering based on adaptive label text infrastructure
CN113157947A (zh) 知识图谱的构建方法、工具、装置和服务器
US20190171777A1 (en) Modular data insight handling for user application data
CN103678509A (zh) 生成网页模板的方法及装置
CN107515866B (zh) 一种数据操作方法、装置和系统
US20150379112A1 (en) Creating an on-line job function ontology
US11704480B2 (en) User interface for managing extended schemas
CN103678510A (zh) 对网页提供可视化标注的方法及装置
CN113051333B (zh) 一种数据处理方法、装置、电子设备及存储介质
US10055269B2 (en) Additional message information handling for applications
US9104573B1 (en) Providing relevant diagnostic information using ontology rules
CN116127047B (zh) 企业信息库的建立方法与装置
US9418055B2 (en) Method for copying multiple content between applications
US9176645B1 (en) Manipulating collections of items in a user interface
EP2887240B1 (en) Electronic product information display system
US9230022B1 (en) Customizable result sets for application program interfaces
US11030409B2 (en) Identifying attributes associated with an entity using natural language processing
US10650015B2 (en) Dynamic migration of user interface application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant