CN113032642A - 针对目标对象的数据处理方法、装置、介质及电子设备 - Google Patents
针对目标对象的数据处理方法、装置、介质及电子设备 Download PDFInfo
- Publication number
- CN113032642A CN113032642A CN201911351170.3A CN201911351170A CN113032642A CN 113032642 A CN113032642 A CN 113032642A CN 201911351170 A CN201911351170 A CN 201911351170A CN 113032642 A CN113032642 A CN 113032642A
- Authority
- CN
- China
- Prior art keywords
- text
- target object
- data
- character
- character structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 82
- 238000013507 mapping Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000010586 diagram Methods 0.000 claims description 28
- 238000010606 normalization Methods 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 17
- 230000007704 transition Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种针对目标对象的数据处理方法、针对目标对象的数据处理装置、计算机可读介质及电子设备,涉及计算机技术领域。该方法包括:根据程序运行日志生成与查询语言对应的文本,并确定出用于表征文本中字符关系的字符结构;遍历字符结构以确定出文本中各数据表之间的映射关系;根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。本公开中的针对目标对象的数据处理方法能够在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种针对目标对象的数据处理方法、针对目标对象的数据处理装置、计算机可读介质及电子设备。
背景技术
随着科技的不断发展,人们在互联网上进行活动时服务器可以对其进行数据记录。若需要针对性地对某用户进行特定领域分析,则需要获取特定领域中与其相关的数据。通常情况下,可以通过遍历数据库的方式,采集得到与该用户相关的所有数据。但是,由于通过这种方式获取到的数据数量通常较大且存在无序性,因此,在应用于特定领域的分析时会存在效率较低的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种针对目标对象的数据处理方法、针对目标对象的数据处理装置、计算机可读介质及电子设备,至少在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
本公开的第一方面提供了一种针对目标对象的数据处理方法,包括:
根据程序运行日志生成与查询语言对应的文本,并确定出用于表征文本中字符关系的字符结构;
遍历字符结构以确定出文本中各数据表之间的映射关系;
根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。
在本公开的一种示例性实施例中,根据程序运行日志生成与查询语言对应的文本,包括:
从程序运行日志中采集查询语言对应的参考文本;
对参考文本进行归一化处理,得到与查询语言对应的文本。
在本公开的一种示例性实施例中,对参考文本进行归一化处理,得到与查询语言对应的文本,包括:
对参考文本进行数据去重,得到第一参考文本;
对第一参考文本进行缺失数据填补,得到第二参考文本;
对第二参考文本进行数据类型归一化,得到查询语言对应的文本。
在本公开的一种示例性实施例中,确定出用于表征文本中字符关系的字符结构,包括:
对文本进行词法分析和语法分析,并结合词法分析结果和语法分析结果生成用于表征文本中字符关系的字符结构;其中,字符结构通过语法树进行表示。
在本公开的一种示例性实施例中,对文本进行词法分析和语法分析,包括:
根据词切分规则将文本切分为多个分词作为词法分析结果;
根据词法分析结果生成状态转换图,并将状态转换图转换为程序代码作为语法分析结果。
在本公开的一种示例性实施例中,遍历字符结构以确定出文本中各数据表之间的映射关系,包括:
遍历字符结构以确定出关键字;
根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系;其中,关键字用于连结数据表。
在本公开的一种示例性实施例中,根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图,包括:
根据映射关系确定程序运行日志对应的目标对象的根节点数据表;
根据映射关系确定与根节点数据表对应的其他数据表,并将根节点数据表和其他数据表按照预设规则进行排序;
根据排序结果生成与目标对象相关的有向无环图。
根据本公开的第二方面,提供一种针对目标对象的数据处理装置,包括文本生成单元、字符结构确定单元、映射关系确定单元以及有向无环图构建单元,其中:
文本生成单元,用于根据程序运行日志生成与查询语言对应的文本;
字符结构确定单元,用于确定出用于表征文本中字符关系的字符结构;
映射关系确定单元,用于遍历字符结构以确定出文本中各数据表之间的映射关系;
有向无环图构建单元,用于根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。
在本公开的一种示例性实施例中,文本生成单元根据程序运行日志生成与查询语言对应的文本的方式具体可以为:
文本生成单元从程序运行日志中采集查询语言对应的参考文本;
文本生成单元对参考文本进行归一化处理,得到与查询语言对应的文本。
在本公开的一种示例性实施例中,文本生成单元对参考文本进行归一化处理,得到与查询语言对应的文本的方式具体可以为:
文本生成单元对参考文本进行数据去重,得到第一参考文本;
文本生成单元对第一参考文本进行缺失数据填补,得到第二参考文本;
文本生成单元对第二参考文本进行数据类型归一化,得到查询语言对应的文本。
在本公开的一种示例性实施例中,字符结构确定单元确定出用于表征文本中字符关系的字符结构的方式具体可以为:
字符结构确定单元对文本进行词法分析和语法分析,并结合词法分析结果和语法分析结果生成用于表征文本中字符关系的字符结构;其中,字符结构通过语法树进行表示。
在本公开的一种示例性实施例中,字符结构确定单元对文本进行词法分析和语法分析的方式具体可以为:
字符结构确定单元根据词切分规则将文本切分为多个分词作为词法分析结果;
字符结构确定单元根据词法分析结果生成状态转换图,并将状态转换图转换为程序代码作为语法分析结果。
在本公开的一种示例性实施例中,映射关系确定单元遍历字符结构以确定出文本中各数据表之间的映射关系的方式具体可以为:
映射关系确定单元遍历字符结构以确定出关键字;
映射关系确定单元根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系;其中,关键字用于连结数据表。
在本公开的一种示例性实施例中,有向无环图构建单元根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图的方式具体可以为:
有向无环图构建单元根据映射关系确定程序运行日志对应的目标对象的根节点数据表;
有向无环图构建单元根据映射关系确定与根节点数据表对应的其他数据表,并将根节点数据表和其他数据表按照预设规则进行排序;
有向无环图构建单元根据排序结果生成与目标对象相关的有向无环图。
根据本公开的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述实施例中第一方面所述的针对目标对象的数据处理方法。
根据本公开的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如上述实施例中第一方面所述的针对目标对象的数据处理方法。
本公开提供的技术方案可以包括以下有益效果:
在本公开的实施例所提供的技术方案中,可以根据程序运行日志(如,SQL日志)生成与查询语言(如,SQL)对应的文本,并确定出用于表征文本中字符关系的字符结构;进而,可以遍历字符结构以确定出文本中各数据表之间的映射关系,根据映射关系可以构建与程序运行日志对应的目标对象(如,患者)相关的有向无环图。依据上述方案描述,本公开一方面能够在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率;另一方面,能够通过对目标对象的有向无环图的构建,提升各目标对象分别对应的数据之间的有序性,减少不同目标对象对应的数据之间的相互影响。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了根据本公开一示例性实施例的一种针对目标对象的数据处理方法的流程示意图;
图2示出了根据本公开一示例性实施例的一种字符结构示意图;
图3示出了根据本公开一示例性实施例的另一种针对目标对象的数据处理方法的流程示意图;
图4示出了根据本公开一示例性实施例的针对目标对象的数据处理装置的结构框图;
图5示出了可以应用本公开实施例的一种针对目标对象的数据处理方法及针对目标对象的数据处理装置的示例性系统架构的示意图;
图6示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的命名实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
请参阅图1,图1示出了根据本公开一示例性实施例的一种针对目标对象的数据处理方法的流程示意图,该针对目标对象的数据处理方法可以由服务器或终端设备来实现。
如图1所示,根据本公开的一个实施例的针对目标对象的数据处理方法,包括如下步骤S110、步骤S120以及步骤S130,其中:
步骤S110:根据程序运行日志生成与查询语言对应的文本,并确定出用于表征文本中字符关系的字符结构。
步骤S120:遍历字符结构以确定出文本中各数据表之间的映射关系。
步骤S130:根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。
以下对各步骤进行详细说明:
在步骤S110中,根据程序运行日志生成与查询语言对应的文本,并确定出用于表征文本中字符关系的字符结构。
其中,程序运行日志用于记录程序运行时的运行轨迹,其中,在运行程序中某项业务时执行的结构化查询语言(Structured Query Language,SQL)也可以记录在程序运行日志中。SQL是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统。上述的查询语言可以为SQL,查询语言对应的文本可以理解为SQL对应的日志数据。表征文本中字符关系的字符结构可以为语法树(AbstractSyntax Tree,AST),AST是由名为节点(Node)的数据结构构成的,生成AST的核心为生成节点。
本公开实施例中,可选的,根据程序运行日志生成与查询语言对应的文本,包括:
从程序运行日志中采集查询语言对应的参考文本;
对参考文本进行归一化处理,得到与查询语言对应的文本。
其中,参考文本可以理解为SQL全量日志。另外,对参考文本进行归一化处理也可以理解为对参考文本中的数据进行清洗,具体地,可以利用分布数据处理引擎SPARK或者Hadoop MapReduce对数据进行分布式清洗。SPARK是一种计算引擎。MapReduce是工作于Hadoop(分布式系统基础架构)之上的计算模型,可以将一个大型计算任务拆分为多个可以在服务集群运行和计算的小任务,并将各个小任务计算结果汇总为一个计算结果。
具体地,从程序运行日志中采集查询语言对应的参考文本的方式可以为:通过开源数据收集引擎(LOG STASH)或者SQOOP从程序运行日志中采集查询语言对应的参考文本。其中,SQOOP可以用于在分布式文件系统(Hadoop Distributed File System,HDFS)与传统的数据库间进行数据的传递,可以将一个关系型数据库(如、MySQL、Oracle、Postgres等)中的数据导入HDFS中,也可以将HDFS的数据导入关系型数据库中。HDFS主要用于读操作、写操作以及数据备份。Logstash具有实时管道功能,可以动态地将来自不同数据源的数据进行统一。
另外,可选的,从程序运行日志中采集查询语言对应的参考文本的方式可以为:获取MySQL服务器集群的SQL全量日志,其中,SQL全量日志中包括MySQL服务器集群执行过的所有SQL语句;具体包括:在MySQL服务器集群中的每个MySQL服务器上收集SQL日志并实施上传至各个MySQL服务器对应的中信息服务器;进而,可以对各个MySQL服务器上传至中心服务器的SQL日志进行汇总,并按照预设时长(如,24小时)将各个中心服务器中汇总的SQL日志上传至HDFS中。MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),使用SQL语言进行数据库管理,MySQL服务器用于处理MySQL对应的业务。
可见,实施该可选的实施方式,能够通过定时收集SQL日志,提升对于各个目标对象对应的有向无环图的更新速度。
进一步地,对参考文本进行归一化处理,得到与查询语言对应的文本,包括:
对参考文本进行数据去重,得到第一参考文本;
对第一参考文本进行缺失数据填补,得到第二参考文本;
对第二参考文本进行数据类型归一化,得到查询语言对应的文本。
其中,可选的,上述的对参考文本进行数据去重,得到第一参考文本的方式可以为:遍历参考文本以确定出相同数据,并对相同数据进行去重处理,进而得到第一参考文本。
另外,归一化处理除了包括数据去重、缺失数据填补、数据类型归一化之外,还可以包括非重要数据删除等操作,本公开实施例不作限定。
此外,可选的,在对参考文本进行数据去重,得到第一参考文本之前,还可以包括以下步骤:对参考文本进行备份。这样可以一定程度上避免因数据去重过程中的程序错误导致数据丢失的问题。
具体地,对第一参考文本进行缺失数据填补,得到第二参考文本的方式可以为:确定第一参考文本中的缺失数据所处的缺失范围,针对第一参考文本中各字段计算缺失比例,根据缺失比例和对应的字段的优先级筛选待执行的填补策略;进而,可以根据该填补策略对第一参考文本进行缺失数据填补,得到第二参考文本。其中,填补策略用于指导服务器在第一参考文本中填补预定字段的数据。另外,缺失比例可以用于表征该字段数据缺失的程度。可见,通过对于第一参考文本的数据填补,能够提升数据的一致性,有利于提升确定特定用户对应的有向无环图。
具体地,对第二参考文本进行数据类型归一化,得到查询语言对应的文本的方式可以为:将第二参考文本中不属于预设数据类型的数据转换为预设数据类型,以得到查询语言对应的文本。其中,预设数据类型可以包括但不限于:char(n)、varchar(n)、varchar(n)、text、nchar(n)、nvarchar(n)、nvarchar(max)、ntext、bit、binary(n)、varbinary(n)varbinary(max)、image、tinyint、samallint、intbingint以及decimal(p,s),本公开实施例不作限定。
可见,实施该可选的实施方式,能够通过对参考文本的归一化处理,提升后续确定字符结构的效率。
本公开实施例中,可选的,确定出用于表征文本中字符关系的字符结构,包括:
对文本进行词法分析和语法分析,并结合词法分析结果和语法分析结果生成用于表征文本中字符关系的字符结构;其中,字符结构通过语法树进行表示。
其中,词法分析用于将SQL语句分解为多个单词(即,下述的分词),语法分析用于生成SQL语句对应的数据结构。语法树是一种表示字符间逻辑关系的树状结构。
具体地,对文本进行词法分析和语法分析的方式可以为:通过SQL解析器对文本进行词法分析和语法分析。
可见,实施该可选的实施方式,能够为处理指令的优化器提供便利,使其以较优的路径和较高的效率返回结果,以提升构建目标对象的有向无环图的效率。
请参阅图2,图2示出了根据本公开一示例性实施例的一种字符结构示意图。如图2所示,字符结构中可以包括根节点(Root)201,与根节点(Root)201之间存在字符关系的包括:字符SELECT202、字符FIELDS203、字符REOM204、字符TABLES205、字符WHERE206以及字符CONDITIONS207。与字符FIELDS203之间存在字符关系的包括:字符id2031和字符name2032,与字符TABLES205之间存在字符关系的包括:字符t_user2051,与字符CONDITIONS207之间存在字符关系的包括:字符AND2071,与字符AND2071之间存在字符关系的包括:字符=20711和字符>20712,与字符=20711之间存在字符关系的包括:字符status207111和字符ACTIVE207112,与字符>20712之间存在字符关系的包括:字符age207121和字符207122。其中,字符SELECT202、字符FIELDS203、字符REOM204、字符TABLES205、字符WHERE206、字符CONDITIONS207、字符id2031、字符name2032、字符t_user2051、字符AND2071、字符status207111、字符ACTIVE207112、字符age207121和字符207122可以为理解为对文本进行词法分析的结果,而上述字符之间的指向关系可以理解为对文本进行语法分析的结果。
进一步地,对文本进行词法分析和语法分析,包括:
根据词切分规则将文本切分为多个分词作为词法分析结果;
根据词法分析结果生成状态转换图,并将状态转换图转换为程序代码作为语法分析结果。
其中,词切分规则可以用于对SQL语句进行切分。状态转换图用于部分表示分词之间的逻辑关系。
可见,实施该可选的实施方式,能够通过对文本的词法分析和语法分析,提升对于目标对象的有向无环图的构建效率。
在步骤S120中,遍历字符结构以确定出文本中各数据表之间的映射关系。
本公开实施例中,可选的,遍历字符结构以确定出文本中各数据表之间的映射关系,包括:
遍历字符结构以确定出关键字;
根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系;其中,关键字用于连结数据表。
进一步地,根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系的法方式可以为:根据关键字确定存在指向关系的两个数据表之间的关联关系,根据关联关系和指向关系确定文本中各数据表两两对应的表关系逻辑表达式。
其中,关键字可以包括但不限于left join(左关联)、right join(右关联)、join(双向关联)、where(双向关联)和full join(双向关联)。其中,left join右边为子表,左边为父表;right join左边为子表,右边为父表。另外,文本中数据表的数量为至少两个。
对于left join(左关联),举例来说,若SQL语句为:select table_a.id,table_b.name from table_a left join table_b on table_a.id=table_b.id,通过其中的left join可以确定出数据表table_a和数据表table_b之间通过数据表table_a的id属性跟数据表table_b的id属性关联,指向关系为数据表table_a指向数据表table_b,其中,table_a为父节点,数据表table_a和数据表table_b可以通过表关系逻辑表达式r(table_a,table_b)={[(id,id)]}进行表示。或者,若SQL语句为:select table_a.id,table_b.name from table_a left join table_b on table_a.name=table_b.name,通过其中的left join可以确定出数据表table_a和数据表table_b之间通过数据表table_a的name属性、id属性跟数据表table_b的name属性、id属性关联,指向关系为数据表table_a指向数据表table_b,其中,table_a为父节点,数据表table_a和数据表table_b可以通过表关系逻辑表达式r(table_a,table_b)={[(id,id)],[(name,name)]}进行表示。或者,若SQL语句为:select table_a.id,table_b.name from table_a left join table_b on table_a.country=table_b.country and table_a.town=table_b.town,通过其中的left join可以确定出数据表table_a和数据表table_b之间通过数据表table_a的name属性、id属性、country属性和town属性跟数据表table_b的name属性、id属性、country属性和town属性关联,指向关系为数据表table_a指向数据表table_b,其中,table_a为父节点,数据表table_a和数据表table_b可以通过表关系逻辑表达式r(table_a,table_b)={[(id,id)],[(name,name)],[(country,country),(town,town)]}进行表示。
对于right join(右关联),举例来说,若SQL语句为:select table_a.id,table_b.name from table_a right join table_b on table_a.name=table_b.name,数据表table_a和数据表table_b可以通过表关系逻辑表达式r(table_a,table_b)={[(id,id)],[(name,name)],[(country,country),(town,town)]};r(table_b,table_a)={[(name,name)]}进行表示。
对于join(双向关联),举例来说,若SQL语句为:select table_a.id,table_b.name from table_a join table_b on table_a.age=table_b.age and table_a.gender=table_b.gender,数据表table_a和数据表table_b可以通过表关系逻辑表达式r(table_a,table_b)={[(id,id)],[(name,name)],[(country,country),(town,town)],((age,age),(gender,gender))};r(table_b,table_a)={[(name,name)],((age,age),(gender,gender))}进行表示;其中,((age,age),(gender,gender))的表示形式可以用于区分强关系。
可见,实施该可选的实施方式,能够通过检索关键字进而确定出各数据表之间的关系,以提升确定出目标对象对应的有向无环图的效率。
在步骤S130中,根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。
其中,有向无环图指的是一个无回路的有向图,包括多个节点,节点之间通过有向线段进行连接。另外,目标对象可以为一个或多个,本公开实施例不做限定。一个目标对象可以对应一个有向无环图,也可以对应多个有向无环图,本公开实施例不作限定,但是本公开实施例优选一个目标对象对应一个有向无环图。
本公开实施例中,可选的,根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图,包括:
根据映射关系确定程序运行日志对应的目标对象的根节点数据表;
根据映射关系确定与根节点数据表对应的其他数据表,并将根节点数据表和其他数据表按照预设规则进行排序;
根据排序结果生成与目标对象相关的有向无环图。
其中,根据映射关系确定程序运行日志对应的目标对象的根节点数据表的方式可以为:根据映射关系确定程序运行日志对应的表关系集合(如,{[table_a,table_b],[table_b,table_c],[table_b,table_d],[table_c,table_e]});进而,可以确定出表关系属性集合(如,{r(table_a,table_b):{[(id,id)]}r(table_b,table_a):{[(name,name)]}r(table_b,table_c):{[(country,country)],[(town,town)]}r(table_b,table_d):{[(gender,gender)]}r(table_c,table_e):{[(region,region)]}});进而,可以根据表关系集合确定出程序运行日志对应的目标对象的根节点数据表。
进一步地,根据映射关系确定与根节点数据表对应的其他数据表的方式可以为:据表关系集合确定与根节点数据表对应的其他数据表以及根节点数据表与其他数据表之间的关系路径(如,path1:table_b->table_a;path2:table_c->table_b->table_a;path3:table_d->table_b->table_a;path4:table_e->table_c->table_b->table_a);进而,可以将关系路径转换为属性路径(如,
path1:table_b->table_a{[(id,id)]}
path2:table_c->table_b->table_a
{[(country,country)]}->{[(id,id)]}
{[(town,town)]}->{[(id,id)]}
path3:table_d->table_b->table_a
{[(gender,gender)]}->{[(name,name)]}
path4:table_e->table_c->table_b->table_a
{[(region,region)]}->{[(country,country)]}->{[(id,id)]}
{[(region,region)]}->{[(town,town)]}->{[(id,id)]});
进一步地,将根节点数据表和其他数据表按照预设规则进行排序的方式可以为:根据预设规则对根节点数据表和其他数据表之间的属性路径进行排序。其中,预设规则可以包括:单向属性路径排列顺序优于双向属性路径,排序顺序为属性路径由短到长。
可见,实施该可选的实施方式,能够通过对目标对象的有向无环图的构建,提升针对目标对象的数据之间的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率。
此外,需要说明的是,本公开实施例可以应用于医疗领域,用于对医疗数据进行梳理,以确定出各个患者分别对应的个性化数据,通过实施本公开的实施例,针对任何一个患者,可以快速确定出与其相关的有序数据,有利于医生根据该患者的病史做出更为准确的诊断,提升诊断效率以及诊断准确率。
可见,实施图1所示的针对目标对象的数据处理方法,能够在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率;以及,能够通过对目标对象的有向无环图的构建,提升各目标对象分别对应的数据之间的有序性,减少不同目标对象对应的数据之间的相互影响。
请参阅图3,图3示出了根据本公开一示例性实施例的另一种针对目标对象的数据处理方法的流程示意图。如图3所示,另一种针对目标对象的数据处理方法包括步骤S300~步骤S322,其中:
步骤S300:从程序运行日志中采集查询语言对应的参考文本。
步骤S302:对参考文本进行数据去重,得到第一参考文本。
步骤S304:对第一参考文本进行缺失数据填补,得到第二参考文本。
步骤S306:对第二参考文本进行数据类型归一化,得到查询语言对应的文本。
步骤S308:根据词切分规则将文本切分为多个分词作为词法分析结果。
步骤S310:根据词法分析结果生成状态转换图,并将状态转换图转换为程序代码作为语法分析结果。
步骤S312:结合词法分析结果和语法分析结果生成用于表征文本中字符关系的字符结构;其中,字符结构通过语法树进行表示。
步骤S314:遍历字符结构以确定出关键字。
步骤S316:根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系;其中,关键字用于连结数据表。
步骤S318:根据映射关系确定程序运行日志对应的目标对象的根节点数据表。
步骤S320:根据映射关系确定与根节点数据表对应的其他数据表,并将根节点数据表和其他数据表按照预设规则进行排序。
步骤S322:根据排序结果生成与目标对象相关的有向无环图。
需要说明的是,上述步骤S300~步骤S322与图1所示的各个步骤及各个步骤对应的可选实施例相对应,请参阅图1中对各步骤及其可选实施例的限定,此处不再赘述。
可见,实施图3所示的针对目标对象的数据处理方法,能够在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率;以及,能够通过对目标对象的有向无环图的构建,提升各目标对象分别对应的数据之间的有序性,减少不同目标对象对应的数据之间的相互影响。
请参阅图4,图4示出了根据本公开一示例性实施例的针对目标对象的数据处理装置的结构框图。该针对目标对象的数据处理装置包括文本生成单元401、字符结构确定单元402、映射关系确定单元403以及有向无环图构建单元404,其中:
文本生成单元401,用于根据程序运行日志生成与查询语言对应的文本;
字符结构确定单元402,用于确定出用于表征文本中字符关系的字符结构;
映射关系确定单元403,用于遍历字符结构以确定出文本中各数据表之间的映射关系;
有向无环图构建单元404,用于根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图。
可见,实施图4所示的针对目标对象的数据处理装置,能够在一定程度上解决获取到的目标对象相关数据因无序性导致特定领域分析效率较低的问题,通过获取到的目标对象的数据可以构建相关的有向无环图,进而提升目标对象相关数据的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率;以及,能够通过对目标对象的有向无环图的构建,提升各目标对象分别对应的数据之间的有序性,减少不同目标对象对应的数据之间的相互影响。
作为一种示例性实施例,文本生成单元401根据程序运行日志生成与查询语言对应的文本的方式具体可以为:
文本生成单元401从程序运行日志中采集查询语言对应的参考文本;
文本生成单元401对参考文本进行归一化处理,得到与查询语言对应的文本。
可见,实施该示例性实施例,能够通过定时收集SQL日志,提升对于各个目标对象对应的有向无环图的更新速度。
作为另一种示例性实施例,文本生成单元401对参考文本进行归一化处理,得到与查询语言对应的文本的方式具体可以为:
文本生成单元401对参考文本进行数据去重,得到第一参考文本;
文本生成单元401对第一参考文本进行缺失数据填补,得到第二参考文本;
文本生成单元401对第二参考文本进行数据类型归一化,得到查询语言对应的文本。
可见,实施该示例性实施例,能够通过对参考文本的归一化处理,提升后续确定字符结构的效率。
作为又一种示例性实施例,字符结构确定单元402确定出用于表征文本中字符关系的字符结构的方式具体可以为:
字符结构确定单元402对文本进行词法分析和语法分析,并结合词法分析结果和语法分析结果生成用于表征文本中字符关系的字符结构;其中,字符结构通过语法树进行表示。
可见,实施该示例性实施例,能够为处理指令的优化器提供便利,使其以较优的路径和较高的效率返回结果,以提升构建目标对象的有向无环图的效率。
作为又一种示例性实施例,字符结构确定单元402对文本进行词法分析和语法分析的方式具体可以为:
字符结构确定单元402根据词切分规则将文本切分为多个分词作为词法分析结果;
字符结构确定单元402根据词法分析结果生成状态转换图,并将状态转换图转换为程序代码作为语法分析结果。
可见,实施该示例性实施例,能够通过对文本的词法分析和语法分析,提升对于目标对象的有向无环图的构建效率。
作为又一种示例性实施例,映射关系确定单元403遍历字符结构以确定出文本中各数据表之间的映射关系的方式具体可以为:
映射关系确定单元403遍历字符结构以确定出关键字;
映射关系确定单元403根据关键字所对应的指向关系确定文本中各数据表两两对应的表关系逻辑表达式,作为映射关系;其中,关键字用于连结数据表。
可见,实施该示例性实施例,能够通过检索关键字进而确定出各数据表之间的关系,以提升确定出目标对象对应的有向无环图的效率。
作为又一种示例性实施例,有向无环图构建单元404根据映射关系构建与程序运行日志对应的目标对象相关的有向无环图的方式具体可以为:
有向无环图构建单元404根据映射关系确定程序运行日志对应的目标对象的根节点数据表;
有向无环图构建单元404根据映射关系确定与根节点数据表对应的其他数据表,并将根节点数据表和其他数据表按照预设规则进行排序;
有向无环图构建单元404根据排序结果生成与目标对象相关的有向无环图。
可见,实施该示例性实施例,能够通过对目标对象的有向无环图的构建,提升针对目标对象的数据之间的有序性,以便在需要对目标对象进行特定领域分析时提升分析效率。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
由于本公开的示例实施例的针对目标对象的数据处理装置的各个功能模块与上述针对目标对象的数据处理方法的示例实施例的步骤对应,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的针对目标对象的数据处理方法的实施例。
图5示出了可以应用本公开实施例的一种针对目标对象的数据处理方法及针对目标对象的数据处理装置的示例性应用环境的系统架构的示意图。
如图5所示,系统架构500可以包括终端设备501、502、503中的一个或多个,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备501、502、503可以是具有显示屏的各种电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器505可以是多个服务器组成的服务器集群等。
本公开实施例所提供的针对目标对象的数据处理方法一般由服务器505执行,相应地,针对目标对象的数据处理装置一般设置于服务器505中。但本领域技术人员容易理解的是,本公开实施例所提供的针对目标对象的数据处理方法也可以由终端设备501、502、503执行,相应的,针对目标对象的数据处理装置也可以设置于终端设备501、502、503中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,终端设备501、502、503或服务器505可以确定当前运行的应用程序的触控需求,并根据应用程序的触控需求将触控区域划分为多个子区域,以及根据每个子区域的触控需求控制对应的子区域的触控屏采样频率。
图6示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图6示出的电子设备的计算机系统600仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法和装置中限定的各种功能。在一些实施例中,计算机系统600还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图1和图2所示的各个步骤等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种针对目标对象的数据处理方法,其特征在于,包括:
根据程序运行日志生成与查询语言对应的文本,并确定出用于表征所述文本中字符关系的字符结构;
遍历所述字符结构以确定出所述文本中各数据表之间的映射关系;
根据所述映射关系构建与所述程序运行日志对应的目标对象相关的有向无环图。
2.根据权利要求1所述的方法,其特征在于,根据程序运行日志生成与查询语言对应的文本,包括:
从所述程序运行日志中采集所述查询语言对应的参考文本;
对所述参考文本进行归一化处理,得到与所述查询语言对应的文本。
3.根据权利要求2所述的方法,其特征在于,对所述参考文本进行归一化处理,得到与所述查询语言对应的文本,包括:
对所述参考文本进行数据去重,得到第一参考文本;
对所述第一参考文本进行缺失数据填补,得到第二参考文本;
对所述第二参考文本进行数据类型归一化,得到所述查询语言对应的文本。
4.根据权利要求1所述的方法,其特征在于,确定出用于表征所述文本中字符关系的字符结构,包括:
对所述文本进行词法分析和语法分析,并结合词法分析结果和语法分析结果生成用于表征所述文本中字符关系的字符结构;其中,所述字符结构通过语法树进行表示。
5.根据权利要求4所述的方法,其特征在于,对所述文本进行词法分析和语法分析,包括:
根据词切分规则将所述文本切分为多个分词作为所述词法分析结果;
根据所述词法分析结果生成状态转换图,并将所述状态转换图转换为程序代码作为所述语法分析结果。
6.根据权利要求1所述的方法,其特征在于,遍历所述字符结构以确定出所述文本中各数据表之间的映射关系,包括:
遍历所述字符结构以确定出关键字;
根据所述关键字所对应的指向关系确定所述文本中各数据表两两对应的表关系逻辑表达式,作为所述映射关系;其中,所述关键字用于连结所述数据表。
7.根据权利要求1所述的方法,其特征在于,根据所述映射关系构建与所述程序运行日志对应的目标对象相关的有向无环图,包括:
根据所述映射关系确定所述程序运行日志对应的目标对象的根节点数据表;
根据所述映射关系确定与所述根节点数据表对应的其他数据表,并将所述根节点数据表和所述其他数据表按照预设规则进行排序;
根据排序结果生成与所述目标对象相关的有向无环图。
8.一种针对目标对象的数据处理装置,其特征在于,包括:
文本生成单元,用于根据程序运行日志生成与查询语言对应的文本;
字符结构确定单元,用于确定出用于表征所述文本中字符关系的字符结构;
映射关系确定单元,用于遍历所述字符结构以确定出所述文本中各数据表之间的映射关系;
有向无环图构建单元,用于根据所述映射关系构建与所述程序运行日志对应的目标对象相关的有向无环图。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的针对目标对象的数据处理方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1~7中任一项所述的针对目标对象的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911351170.3A CN113032642B (zh) | 2019-12-24 | 2019-12-24 | 针对目标对象的数据处理方法、装置、介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911351170.3A CN113032642B (zh) | 2019-12-24 | 2019-12-24 | 针对目标对象的数据处理方法、装置、介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113032642A true CN113032642A (zh) | 2021-06-25 |
CN113032642B CN113032642B (zh) | 2024-02-09 |
Family
ID=76452245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911351170.3A Active CN113032642B (zh) | 2019-12-24 | 2019-12-24 | 针对目标对象的数据处理方法、装置、介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032642B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115185525A (zh) * | 2022-05-17 | 2022-10-14 | 贝壳找房(北京)科技有限公司 | 数据倾斜代码块定位方法、装置、设备、介质及程序产品 |
WO2023056934A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字跳网络技术有限公司 | 数据处理方法、装置和电子设备 |
CN116522935A (zh) * | 2023-03-29 | 2023-08-01 | 北京德风新征程科技股份有限公司 | 文本数据处理方法、处理装置和电子设备 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210002A1 (en) * | 2004-03-18 | 2005-09-22 | Microsoft Corporation | System and method for compiling an extensible markup language based query |
US20070208693A1 (en) * | 2006-03-03 | 2007-09-06 | Walter Chang | System and method of efficiently representing and searching directed acyclic graph structures in databases |
US20130332449A1 (en) * | 2012-06-06 | 2013-12-12 | Revitas, Inc. | Generating data processing code from a directed acyclic graph |
CN104268234A (zh) * | 2014-09-26 | 2015-01-07 | 东软集团股份有限公司 | 一种基于sql语句的数据同步方法和装置 |
CN106897322A (zh) * | 2015-12-21 | 2017-06-27 | 中国移动通信集团山西有限公司 | 一种数据库和文件系统的访问方法和装置 |
CN106919623A (zh) * | 2015-12-28 | 2017-07-04 | 航天信息股份有限公司 | Sql查询方法及系统 |
CN106933842A (zh) * | 2015-12-29 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 一种数据库查询方法和装置 |
CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
CN110096513A (zh) * | 2019-04-10 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 一种数据查询、资金核对方法及装置 |
CN110399386A (zh) * | 2019-07-15 | 2019-11-01 | 南威软件股份有限公司 | 一种基于Presto的SQL UPDATE方法及控制系统 |
CN110399387A (zh) * | 2019-07-26 | 2019-11-01 | 北京明略软件系统有限公司 | 基于表关联关系动态生成查询sql的方法及装置 |
US20190347298A1 (en) * | 2018-05-11 | 2019-11-14 | The Regents Of The University Of California | Speech based structured querying |
CN110555032A (zh) * | 2019-09-09 | 2019-12-10 | 北京搜狐新媒体信息技术有限公司 | 一种基于元数据的数据血缘关系分析方法及系统 |
-
2019
- 2019-12-24 CN CN201911351170.3A patent/CN113032642B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050210002A1 (en) * | 2004-03-18 | 2005-09-22 | Microsoft Corporation | System and method for compiling an extensible markup language based query |
US20070208693A1 (en) * | 2006-03-03 | 2007-09-06 | Walter Chang | System and method of efficiently representing and searching directed acyclic graph structures in databases |
US20130332449A1 (en) * | 2012-06-06 | 2013-12-12 | Revitas, Inc. | Generating data processing code from a directed acyclic graph |
CN104268234A (zh) * | 2014-09-26 | 2015-01-07 | 东软集团股份有限公司 | 一种基于sql语句的数据同步方法和装置 |
CN106897322A (zh) * | 2015-12-21 | 2017-06-27 | 中国移动通信集团山西有限公司 | 一种数据库和文件系统的访问方法和装置 |
CN106919623A (zh) * | 2015-12-28 | 2017-07-04 | 航天信息股份有限公司 | Sql查询方法及系统 |
CN106933842A (zh) * | 2015-12-29 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 一种数据库查询方法和装置 |
US20190347298A1 (en) * | 2018-05-11 | 2019-11-14 | The Regents Of The University Of California | Speech based structured querying |
CN109408689A (zh) * | 2018-10-24 | 2019-03-01 | 北京金山云网络技术有限公司 | 数据获取方法、装置、系统及电子设备 |
CN110096513A (zh) * | 2019-04-10 | 2019-08-06 | 阿里巴巴集团控股有限公司 | 一种数据查询、资金核对方法及装置 |
CN110399386A (zh) * | 2019-07-15 | 2019-11-01 | 南威软件股份有限公司 | 一种基于Presto的SQL UPDATE方法及控制系统 |
CN110399387A (zh) * | 2019-07-26 | 2019-11-01 | 北京明略软件系统有限公司 | 基于表关联关系动态生成查询sql的方法及装置 |
CN110555032A (zh) * | 2019-09-09 | 2019-12-10 | 北京搜狐新媒体信息技术有限公司 | 一种基于元数据的数据血缘关系分析方法及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023056934A1 (zh) * | 2021-10-09 | 2023-04-13 | 北京字跳网络技术有限公司 | 数据处理方法、装置和电子设备 |
CN115185525A (zh) * | 2022-05-17 | 2022-10-14 | 贝壳找房(北京)科技有限公司 | 数据倾斜代码块定位方法、装置、设备、介质及程序产品 |
CN116522935A (zh) * | 2023-03-29 | 2023-08-01 | 北京德风新征程科技股份有限公司 | 文本数据处理方法、处理装置和电子设备 |
CN116522935B (zh) * | 2023-03-29 | 2024-03-29 | 北京德风新征程科技股份有限公司 | 文本数据处理方法、处理装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113032642B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11003645B1 (en) | Column lineage for resource dependency system and graphical user interface | |
US10445321B2 (en) | Multi-tenant distribution of graph database caches | |
US10430469B2 (en) | Enhanced document input parsing | |
CN113032642B (zh) | 针对目标对象的数据处理方法、装置、介质及电子设备 | |
CN106897322A (zh) | 一种数据库和文件系统的访问方法和装置 | |
CN111611458A (zh) | 大数据治理中基于元数据和数据分析技术实现系统数据架构梳理的方法 | |
WO2019017997A1 (en) | DISTRIBUTED GRAPHICAL DATA BASE WRITINGS | |
US10613841B2 (en) | Task UI layout representing semantical relations | |
CN111061739A (zh) | 海量医疗数据的入库方法及装置、电子设备、存储介质 | |
US11042576B2 (en) | Identifying and prioritizing candidate answer gaps within a corpus | |
US20180357278A1 (en) | Processing aggregate queries in a graph database | |
Abdel Azez et al. | Optimizing join in HIVE star schema using key/facts indexing | |
CN109828965B (zh) | 一种数据处理的方法及电子设备 | |
CN110720097A (zh) | 图数据库中元组和边的功能性等价 | |
US10983997B2 (en) | Path query evaluation in graph databases | |
Simperl et al. | Combining human and computation intelligence: the case of data interlinking tools | |
CN111984745B (zh) | 数据库字段动态扩展方法、装置、设备及存储介质 | |
da Rocha França | MongoDB data modeling | |
CN116226686B (zh) | 一种表格相似性分析方法、装置、设备和存储介质 | |
CN113626423B (zh) | 业务数据库的日志管理方法、装置、系统 | |
US11972333B1 (en) | Supervisory systems for generative artificial intelligence models | |
US11514007B1 (en) | Dynamic data processing for a semantic data storage architecture | |
US11741312B2 (en) | Systems and methods for unsupervised paraphrase mining | |
Zhou et al. | MiniDB: A Teaching Oriented Lightweight Database | |
US20200401928A1 (en) | Term-uid generation, mapping and lookup |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |