CN108932313A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN108932313A
CN108932313A CN201810639050.2A CN201810639050A CN108932313A CN 108932313 A CN108932313 A CN 108932313A CN 201810639050 A CN201810639050 A CN 201810639050A CN 108932313 A CN108932313 A CN 108932313A
Authority
CN
China
Prior art keywords
data
checked
auxiliary table
main table
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810639050.2A
Other languages
English (en)
Other versions
CN108932313B (zh
Inventor
徐宝田
沈寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zebra Network Technology Co Ltd
Original Assignee
Zebra Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zebra Network Technology Co Ltd filed Critical Zebra Network Technology Co Ltd
Priority to CN201810639050.2A priority Critical patent/CN108932313B/zh
Publication of CN108932313A publication Critical patent/CN108932313A/zh
Application granted granted Critical
Publication of CN108932313B publication Critical patent/CN108932313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例提供了一种数据处理方法、装置、电子设备及存储介质,涉及大数据技术领域。该方法包括:从目标数据库的关联查询请求中获取待查询数据的信息,目标数据库为非关系型数据库;基于待查询数据的信息从目标数据库的数据表中确定一个主表以及至少一个辅表;基于待查询数据的信息从主表中获取主表记录数据,主表记录数据包括主表数据以及至少一个辅表的数据标识;基于数据标识从至少一个辅表中查询辅表数据;以及将查询到的辅表数据与主表记录数据进行组合并返回组合后的数据。本发明实施例的技术方案能够提高对多个数据表的关联查询的数据处理效率,降低关联查询的时间复杂度,便于设置辅表的查询条件。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及大数据技术领域,具体而言,涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
背景技术
随着大数据技术的发展,关系型数据库难以满足海量数据、高并发的处理需求,出现了一些非关系型数据库。
目前,非关系型数据库大多不支持多表关联查询。MongoDB数据库虽然提供了数据库级别的多表关联查询方法$lookup,但是,通过$lookup方法进行多表关联查询的查询效率较低,难以满足实际应用中的需求。
因此,需要提供一种能够解决上述问题中的一个或多个问题的数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明实施例的第一方面,提供了一种数据处理方法,包括:从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;基于所述数据标识从所述至少一个辅表中查询辅表数据;以及将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
在本发明的一些实施例中,基于前述方案,在基于所述数据标识从所述至少一个辅表中查询辅表数据之后,所述数据处理方法还包括:将从所述辅表中查询到的辅表数据转换成键值对形式的辅表数据;将所述键值对形式的辅表数据存储到内存存储单元。
在本发明的一些实施例中,基于前述方案,所述数据处理方法还包括:遍历所述主表记录数据,从所述主表记录数据中获取所述至少一个辅表的数据标识;基于所述数据标识从所述内存存储单元存储的所述键值对形式的辅表数据中查找辅表数据。
在本发明的一些实施例中,基于前述方案,基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表,包括:基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表;确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系;基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。
在本发明的一些实施例中,基于前述方案,所述逻辑结构关系为树形结构关系,基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表,包括:基于所述待查询数据之间的树形结构关系确定所述多个待查询数据表之间的树形结构关系;将所述多个待查询数据表之间的树形结构关系中处于主干处的数据表作为主表,将处于分支处的数据表作为辅表。
在本发明的一些实施例中,基于前述方案,将查询到的辅表数据与所述主表记录数据进行组合,包括:将查询到的辅表数据插入到所述主表记录数据中。
在本发明的一些实施例中,基于前述方案,所述目标数据库为MongoDB数据库。
根据本发明实施例的第二方面,提供了一种数据处理装置,包括:信息获取单元,用于从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;主辅表确定单元,用于基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;主表查询单元,用于基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;辅表查询单元,用于基于所述数据标识从所述至少一个辅表中查询辅表数据;数据组合单元,用于将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
根据本发明实施例的第三方面,提供了一种电子设备,包括:处理器以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的数据处理方法。
根据本发明实施例的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的数据处理方法。
在本发明的一些实施例所提供的技术方案中,一方面,基于待查询数据的信息确定主表和辅表,从主表中获取主表数据以及辅表的数据标识,能够基于辅表的数据标识将主表数据与辅表数据进行关联;另一方面,基于数据标识从辅表中查询数据,将查询到的辅表数据与主表记录数据进行组合后返回,能够实现对非关系型数据库中多个数据表的关联查询,并且提高了关联查询的数据处理效率,降低了关联查询的时间复杂度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本发明的一些实施例的数据处理方法的流程示意图;
图2示出了根据本发明的一些实施例确定主表与辅表的流程示意图;
图3示出了根据本发明的一些实施例定义的处理主表和辅表数据的类的代码示意图;
图4示出了根据本发明的一些实施例对目标数据库进行关联查询的流程示意图;
图5示出了根据本发明的一些实施例的数据处理装置的示意框图;
图6示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明的一些实施例的数据处理方法的流程示意图。该数据处理方法应用于非关系型数据库。
参照图1所示,在步骤S110中,从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库。
在示例实施例中,目标数据库为非关系型数据库例如MongoDB数据库。需要说明的是,目标数据库还可以为其他非关系型数据库例如Redis数据库、CouchDB数据库等,这同样在本发明的保护范围内。
对目标数据库的关联查询请求为对目标数据库中的多个表进行关联或联合查询,关联查询请求中包含待查询数据的信息,例如,在目标数据库中存储有订单信息表、商品信息表、物流信息表时,关联查询请求可以为获取某一商品的订单数据、商品数据以及物流数据,待查询数据的信息可以为该商品的标识信息以及订单信息表、商品信息表、物流信息表的信息。
在步骤S120中,基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表。
在示例实施例中,基于待查询数据的信息确定目标数据库中的多个待查询数据表,例如待查询数据的信息中包含订单信息表、商品信息表、物流信息表时,可以确定目标数据库中的订单信息表、商品信息表以及物流信息表。
进一步地,基于多个待查询数据表中的待查询数据之间的逻辑结构关系确定多个待查询数据表之间的逻辑结构关系,基于多个待查询数据表之间的逻辑结构关系将多个待查询数据表分为主表和至少一个辅表。例如,在待查询数据之间为树形结构关系时,确定多个待查询数据表之间为树形结构关系,将多个待查询数据表之间的树形结构关系中主干处的数据表作为主表,将分支处的数据表作为辅表。
需要说明的是,多个待查询数据之间的逻辑结构关系不限于树形结构关系,也可以为线性逻辑结构关系或图状逻辑结构关系,这同样在本发明的保护范围内。
在步骤S130中,基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识。
在示例实施例中,基于待查询数据的信息从主表中获取主表数据以及主表上的至少一个辅表的数据标识如辅表ID。可以基于待查询数据中的主表数据标识获取主表数据。进一步地,可以遍历主表,采用distinct(去重)的方式收集辅表ID,通过distinct方式选取辅表ID,能够去掉重复的辅表ID,仅获取不同的辅表ID。
在步骤S140中,基于所述数据标识从所述至少一个辅表中查询辅表数据。
在示例实施例中,可以遍历主表记录数据,从主表记录数据中获取至少一个辅表的数据标识,基于该数据标识从至少一个辅表中查询辅表数据。
此外,在一些实施例中,可以将从每个辅表中查询到的辅表数据转换成键值对形式的辅表数据;将所述键值对形式的辅表数据存储到内存存储单元。例如,可以将查询到的数组形式的辅表数据转换成键值对形式的辅表数据,然后将转换后的辅表数据存储到内存单元备用。通过将辅表数据存储到内存存储单元,可以提高数据处理效率。
进一步地,可以遍历主表记录数据,从主表记录数据中获取至少一个辅表的数据标识;基于所述数据标识从内存存储单元存储的键值对形式的辅表数据中查找辅表数据。
在步骤S150中,将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
在示例实施例中,将查询到的所述至少一个辅表的辅表数据插入到主表记录数据中,并返回插入了辅表数据后的主表记录数据。在所述辅表数据为数组形式的数据时,将所述数组形式的辅表数据转换成键值对形式的辅表数据并插入到主表记录数据中。
根据图1示例实施例中的数据处理方法,一方面,基于待查询数据的信息确定主表和辅表,从主表中获取主表数据以及辅表的数据标识,能够基于辅表的数据标识将主表数据与辅表数据进行关联;另一方面,基于数据标识从辅表中查询数据,将查询到的辅表数据与主表记录数据进行组合后返回,能够实现对非关系型数据库中多个数据表的关联查询,并且提高了关联查询的数据处理效率,降低了关联查询的时间复杂度。
具体而言,假设主表有m个元素,辅表有n个元素,将辅表数据转换成Map结构即键值对结构需要消耗O(n)时间,遍历主表需要消耗O(m)时间,从辅表Map中提取数据的时间复杂度是O(1),因此该数据处理方法的时间复杂度约等于O(m+n)。因此,根据图1中所示的数据处理方法,能够提升对MongoDB数据库进行多表联合查询的效率,将算法时间复杂度从O(mn)降低到O(m+n)。
进一步地,在一些实施例中,还可以添加辅表的其他查询条件例如限定辅表数据取值范围,例如可以通过调用db.collection.find({辅表的数据标识,预定取值范围})的方式限定返回预定取值范围的辅表数据。因此,图1的示例实施例中的数据处理方法对非关系型数据库中的多个数据表进行关联查询时,便于设置辅表的查询条件。
图2示出了根据本发明的一些实施例确定主表与辅表的流程示意图。
参照图2所示,在步骤S210中,基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表。
在示例实施例中,基于待查询数据的信息确定目标数据库中的多个待查询数据表,例如待查询数据的信息中包含订单信息表、商品信息表、物流信息表时,可以确定目标数据库中的订单信息表、商品信息表以及物流信息表。
在步骤S220中,确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系。
在示例实施例中,可以根据多个待查询数据表中的待查询数据之间的对应关系确定待查询数据之间的逻辑结构关系,具体而言,在待查询数据之间的对应关系为一对多的关系时,可以确定待查询数据之间为树形结构关系,例如由于订单数据包含商品数据以及物流数据,订单数据与商品数据及物流数据为一对多的关系,确定订单数据、商品数据以及物流数据之间为树形结构关系。
在步骤S230中,基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。
在示例实施例中,基于多个待查询数据表中的待查询数据之间的逻辑结构关系确定多个待查询数据表之间的逻辑结构关系,基于多个待查询数据表之间的逻辑结构关系将多个待查询数据表分为主表和至少一个辅表。例如,在待查询数据之间为树形结构关系时,确定多个待查询数据表之间为树形结构关系,将多个待查询数据表之间的树形结构关系中主干处的数据表作为主表,将分支处的数据表作为辅表。以订单数据表、商品数据表以及物流数据表为例,订单数据表处于主干处作为主表,商品数据表以及物流数据表作为辅表。
图3示出了根据本发明的一些实施例定义的处理主表和辅表数据的类的代码示意图。
在图3中定义了类名为MapToArray的类,该类包含distinct、toMap以及$get三个方法。其中,distinct方法是用于选取辅表ID的方法,并带有去重功能;toMap方法是用于将辅表数组结构数据转换为Map结构数据的方法,$get是用于从Map结构数据中去数据的方法,取不到数据时返回预设的缺省值。
图4示出了根据本发明的一些实施例对目标数据库进行关联查询的流程示意图。
参照图4所示,在步骤S410中,基于待查询数据的信息中的主表数据标识查询主表中的数据。
举例而言,在订单信息表为主表时,可以基于待查询数据的信息中的商品信息获取主表中与该商品有关的主表数据例如下单时间、支付金额等数据。
在步骤S420中,遍历主表,获取辅表标识即辅表ID,生成主表记录,主表记录包括主表数据和辅表标识。
在示例实施例中,可以通过distinct方法获取辅表标识。通过distinct方式选取辅表ID,能够去掉重复的辅表ID,仅获取不同的辅表ID。
在步骤S430中,基于获取的辅表标识分别查询各个辅表。根据辅表标识从各个辅表中查询辅表数据。
在步骤S440中,将数组形式的辅表数据转换成Map形式的数据。例如,通过toMap方法将辅表数据转换为Map数据格式并存储备用。将辅表记录按{id:data,..}的形式生成Map数据,并将生成的Map数据存储到内存存储单元。
在步骤S450中,遍历主表记录,从Map形式的数据中查找辅表数据,并将查询到的辅表数据插入到主表记录中。例如,可以通过调用MapToArray.$get方法从辅表Map数据中查询到主表记录中缺失的数据,将缺失的数据追加到主表记录中。
此外,在本发明的实施例中,还提供了一种数据处理装置。参照图5所示,该数据处理装置500可以包括:信息获取单元510、主辅表确定单元520、主表查询单元530、辅表查询单元540以及数据组合单元550。其中,信息获取单元510用于从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;主辅表确定单元520用于基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;主表查询单元530用于基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;辅表查询单元540用于基于所述数据标识从所述至少一个辅表中查询辅表数据;数据组合单元550用于将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
在本发明的一些实施例中,基于前述方案,所述数据处理装置500还包括:数据转换单元,用于在基于所述数据标识从所述至少一个辅表中查询辅表数据之后,将从所述辅表中查询到的辅表数据转换成键值对形式的辅表数据;存储单元,用于将所述键值对形式的辅表数据存储到内存存储单元。
在本发明的一些实施例中,基于前述方案,数据处理装置500包括:标识获取单元,用于遍历所述主表记录数据,从所述主表记录数据中获取所述至少一个辅表的数据标识;查找单元,用于基于所述数据标识从所述内存存储单元存储的所述键值对形式的辅表数据中查找辅表数据。
在本发明的一些实施例中,基于前述方案,主辅表确定单元520包括:表确定单元,用于基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表;关系确定单元,用于确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系;主辅表划分单元,用于基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。
在本发明的一些实施例中,基于前述方案,主辅表划分单元包被配置为:基于所述待查询数据之间的树形结构关系确定所述多个待查询数据表之间的树形结构关系;将所述多个待查询数据表之间的树形结构关系中处于主干处的数据表作为主表,将处于分支处的数据表作为辅表。
在本发明的一些实施例中,基于前述方案,数据组合单元550包括:插入单元,用于将查询到的辅表数据插入到所述主表记录数据中。
在本发明的一些实施例中,基于前述方案,所述目标数据库为MongoDB数据库。
由于本发明的示例实施例的数据处理装置500的各个功能模块与上述数据处理方法的示例实施例的步骤对应,因此在此不再赘述。
在本发明的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参考图6,其示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备的计算机系统600仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的数据处理方法。
例如,所述电子设备可以实现如图1中所示的:步骤S110,从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;步骤S120,基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;步骤S130,基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;步骤S140,基于所述数据标识从所述至少一个辅表中查询辅表数据;以及步骤S150,将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备或装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;
基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;
基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;
基于所述数据标识从所述至少一个辅表中查询辅表数据;以及
将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
2.根据权利要求1所述的数据处理方法,其特征在于,在基于所述数据标识从所述至少一个辅表中查询辅表数据之后,所述数据处理方法还包括:
将从所述辅表中查询到的辅表数据转换成键值对形式的辅表数据;
将所述键值对形式的辅表数据存储到内存存储单元。
3.根据权利要求2所述的数据处理方法,其特征在于,所述数据处理方法还包括:
遍历所述主表记录数据,从所述主表记录数据中获取所述至少一个辅表的数据标识;
基于所述数据标识从所述内存存储单元存储的所述键值对形式的辅表数据中查找辅表数据。
4.根据权利要求1所述的数据处理方法,其特征在于,基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表,包括:
基于所述待查询数据的信息确定所述目标数据库中的多个待查询数据表;
确定所述多个待查询数据表中的待查询数据之间的逻辑结构关系;
基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表。
5.根据权利要求4所述的数据处理方法,其特征在于,所述逻辑结构关系为树形结构关系,基于所述待查询数据之间的逻辑结构关系将所述多个待查询数据表分为一个主表以及至少一个辅表,包括:
基于所述待查询数据之间的树形结构关系确定所述多个待查询数据表之间的树形结构关系;
将所述多个待查询数据表之间的树形结构关系中处于主干处的数据表作为主表,将处于分支处的数据表作为辅表。
6.根据权利要求1至5中任一项所述的数据处理方法,其特征在于,将查询到的辅表数据与所述主表记录数据进行组合,包括:
将查询到的辅表数据插入到所述主表记录数据中。
7.根据权利要求6所述的数据处理方法,其特征在于,所述目标数据库为MongoDB数据库。
8.一种数据处理装置,其特征在于,包括:
信息获取单元,用于从目标数据库的关联查询请求中获取待查询数据的信息,所述目标数据库为非关系型数据库;
主辅表确定单元,用于基于所述待查询数据的信息从所述目标数据库的数据表中确定一个主表以及至少一个辅表;
主表查询单元,用于基于所述待查询数据的信息从所述主表中获取主表记录数据,所述主表记录数据包括主表数据以及所述至少一个辅表的数据标识;
辅表查询单元,用于基于所述数据标识从所述至少一个辅表中查询辅表数据;
数据组合单元,用于将查询到的辅表数据与所述主表记录数据进行组合并返回组合后的数据。
9.一种电子设备,其特征在于,包括:处理器以及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。
CN201810639050.2A 2018-06-20 2018-06-20 数据处理方法、装置、电子设备及存储介质 Active CN108932313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810639050.2A CN108932313B (zh) 2018-06-20 2018-06-20 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810639050.2A CN108932313B (zh) 2018-06-20 2018-06-20 数据处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN108932313A true CN108932313A (zh) 2018-12-04
CN108932313B CN108932313B (zh) 2021-06-04

Family

ID=64446247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810639050.2A Active CN108932313B (zh) 2018-06-20 2018-06-20 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN108932313B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918376A (zh) * 2019-02-26 2019-06-21 北京致远互联软件股份有限公司 数据表处理方法、装置以及电子设备
CN110032604A (zh) * 2019-02-02 2019-07-19 阿里巴巴集团控股有限公司 数据存储装置、转译装置及数据库访问方法
CN111427885A (zh) * 2020-03-03 2020-07-17 中科驭数(北京)科技有限公司 基于查找表的数据库管理方法和装置
CN111597235A (zh) * 2020-05-21 2020-08-28 北京学之途网络科技有限公司 数据处理方法、装置和电子设备
CN111639095A (zh) * 2020-05-27 2020-09-08 中信银行股份有限公司 一种数据表查询方法、装置及存储介质
CN112181937A (zh) * 2019-07-04 2021-01-05 北京京东振世信息技术有限公司 一种结转数据的方法和装置
CN113011821A (zh) * 2021-03-29 2021-06-22 上海寻梦信息技术有限公司 运单数据储存、查询、管理方法、装置、设备及存储介质
CN113094370A (zh) * 2021-04-13 2021-07-09 北京精鸿软件科技有限公司 数据索引构建方法、装置、存储介质及电子设备
CN113627998A (zh) * 2021-08-17 2021-11-09 北京沃东天骏信息技术有限公司 订单数据处理方法、装置、电子设备和计算机可读介质
CN113836151A (zh) * 2020-06-23 2021-12-24 北京大数医达科技有限公司 数据处理方法、装置、电子设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469568A (en) * 1993-01-07 1995-11-21 International Business Machines Corporation Method for choosing largest selectivities among eligible predicates of join equivalence classes for query optimization
CN101876984A (zh) * 2009-12-07 2010-11-03 金蝶软件(中国)有限公司 一种数据管理系统及其数据关联查询方法和装置
US20120317096A1 (en) * 2011-06-09 2012-12-13 International Business Machines Corporation Relational Query Planning for Non-Relational Data Sources
CN104376103A (zh) * 2014-11-26 2015-02-25 浪潮电子信息产业股份有限公司 一种基于雪花模型的多个HBase表关联方法
CN104750749A (zh) * 2013-12-31 2015-07-01 阿里巴巴集团控股有限公司 数据处理方法及装置
CN105357311A (zh) * 2015-11-23 2016-02-24 中国南方电网有限责任公司 一种云计算技术的二次设备大数据存储与处理方法
CN107145574A (zh) * 2017-05-05 2017-09-08 恒生电子股份有限公司 数据库数据处理方法、装置及存储介质和电子设备
CN108170815A (zh) * 2017-12-29 2018-06-15 中国银联股份有限公司 一种数据处理方法、装置及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469568A (en) * 1993-01-07 1995-11-21 International Business Machines Corporation Method for choosing largest selectivities among eligible predicates of join equivalence classes for query optimization
CN101876984A (zh) * 2009-12-07 2010-11-03 金蝶软件(中国)有限公司 一种数据管理系统及其数据关联查询方法和装置
US20120317096A1 (en) * 2011-06-09 2012-12-13 International Business Machines Corporation Relational Query Planning for Non-Relational Data Sources
CN104750749A (zh) * 2013-12-31 2015-07-01 阿里巴巴集团控股有限公司 数据处理方法及装置
CN104376103A (zh) * 2014-11-26 2015-02-25 浪潮电子信息产业股份有限公司 一种基于雪花模型的多个HBase表关联方法
CN105357311A (zh) * 2015-11-23 2016-02-24 中国南方电网有限责任公司 一种云计算技术的二次设备大数据存储与处理方法
CN107145574A (zh) * 2017-05-05 2017-09-08 恒生电子股份有限公司 数据库数据处理方法、装置及存储介质和电子设备
CN108170815A (zh) * 2017-12-29 2018-06-15 中国银联股份有限公司 一种数据处理方法、装置及存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11226961B2 (en) 2019-02-02 2022-01-18 Beijing Oceanbase Technology Co., Ltd. Data storage apparatus, translation apparatus, and database access method
CN110032604A (zh) * 2019-02-02 2019-07-19 阿里巴巴集团控股有限公司 数据存储装置、转译装置及数据库访问方法
US11797533B2 (en) 2019-02-02 2023-10-24 Beijing Oceanbase Technology Co., Ltd. Data storage apparatus, translation apparatus, and database access method
CN110032604B (zh) * 2019-02-02 2021-12-07 北京奥星贝斯科技有限公司 数据存储装置、转译装置及数据库访问方法
CN109918376A (zh) * 2019-02-26 2019-06-21 北京致远互联软件股份有限公司 数据表处理方法、装置以及电子设备
CN112181937A (zh) * 2019-07-04 2021-01-05 北京京东振世信息技术有限公司 一种结转数据的方法和装置
CN112181937B (zh) * 2019-07-04 2023-11-03 北京京东振世信息技术有限公司 一种结转数据的方法和装置
CN111427885A (zh) * 2020-03-03 2020-07-17 中科驭数(北京)科技有限公司 基于查找表的数据库管理方法和装置
CN111597235A (zh) * 2020-05-21 2020-08-28 北京学之途网络科技有限公司 数据处理方法、装置和电子设备
CN111597235B (zh) * 2020-05-21 2024-03-08 北京明略昭辉科技有限公司 数据处理方法、装置和电子设备
CN111639095B (zh) * 2020-05-27 2023-03-31 中信银行股份有限公司 一种数据表查询方法、装置及存储介质
CN111639095A (zh) * 2020-05-27 2020-09-08 中信银行股份有限公司 一种数据表查询方法、装置及存储介质
CN113836151A (zh) * 2020-06-23 2021-12-24 北京大数医达科技有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN113836151B (zh) * 2020-06-23 2024-04-23 北京大数医达科技有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN113011821A (zh) * 2021-03-29 2021-06-22 上海寻梦信息技术有限公司 运单数据储存、查询、管理方法、装置、设备及存储介质
CN113094370A (zh) * 2021-04-13 2021-07-09 北京精鸿软件科技有限公司 数据索引构建方法、装置、存储介质及电子设备
CN113094370B (zh) * 2021-04-13 2024-06-04 北京精鸿软件科技有限公司 数据索引构建方法、装置、存储介质及电子设备
CN113627998A (zh) * 2021-08-17 2021-11-09 北京沃东天骏信息技术有限公司 订单数据处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN108932313B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108932313A (zh) 数据处理方法、装置、电子设备及存储介质
CN106886375B (zh) 存储数据的方法和装置
CN110019213A (zh) 数据管理方法、装置、电子设备及存储介质
CN109647719A (zh) 用于分拣货物的方法和装置
CN108965355A (zh) 用于数据传输的方法、装置及计算机可读存储介质
CN109472523A (zh) 用于分拣货物的方法和装置
CN109344142A (zh) 数据处理方法、装置、电子设备及存储介质
CN109656923A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN109977274A (zh) 一种数据查询和验证方法、系统、设备及存储介质
CN109344154A (zh) 数据处理方法、装置、电子设备及存储介质
CN102479255B (zh) 用于优化数据库查询的方法和系统
CN109767150A (zh) 信息推送方法和装置
CN106970958B (zh) 一种流文件的查询与存储方法和装置
CN111506559A (zh) 数据存储方法、装置、电子设备及存储介质
US20210011928A1 (en) Smart elastic scaling based on application scenarios
CN108897874A (zh) 用于处理数据的方法和装置
CN111061680A (zh) 一种数据检索的方法和装置
CN109597810A (zh) 一种任务切分方法、装置、介质及电子设备
CN109670975A (zh) 计算机系统中生成单号的方法、介质及电子设备
CN113033820A (zh) 联邦学习方法、装置以及设备
CN108920618A (zh) 一种对象调用关系的保存方法、装置、介质及电子设备
CN109063200A (zh) 资源搜索方法及其装置、电子设备、计算机可读介质
CN112348420A (zh) 储位信息获取方法及系统、存储介质和电子设备
US8195703B1 (en) System and method for storage of disparate items by a database
CN108804451A (zh) 生成主键的方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant