CN112925800A - 数据依赖判断方法、装置、计算机设备及存储介质 - Google Patents

数据依赖判断方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112925800A
CN112925800A CN202110218916.4A CN202110218916A CN112925800A CN 112925800 A CN112925800 A CN 112925800A CN 202110218916 A CN202110218916 A CN 202110218916A CN 112925800 A CN112925800 A CN 112925800A
Authority
CN
China
Prior art keywords
group
batch
operation point
job
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110218916.4A
Other languages
English (en)
Inventor
童显耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110218916.4A priority Critical patent/CN112925800A/zh
Publication of CN112925800A publication Critical patent/CN112925800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G06F9/524—Deadlock detection or avoidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例属于大数据领域，涉及一种数据依赖判断方法，包括获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；根据所述分组构建所述批处理作业的连通图；确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。本申请还提供一种数据依赖判断装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，所述连通图可存储于区块链中。本申请提高数据依赖判断效率和准确率。

Description

数据依赖判断方法、装置、计算机设备及存储介质
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据依赖判断方法、装置、计算机设备及存储介质。
背景技术
数据库往往包含了数量繁多的批处理作业任务，这些任务有各种不同的启动机制。而且批处理作业任务之间的表调用无可避免。如批作业任务P1生成了一张数据表T1，批作业任务P2如果要使用数据表T1中的数据，就必须等待P1运行结束，才能启动P2，否则供P2计算的数据基础T1不完整，P2的计算结果可能出错。
在实际场景中，P1的结果表可能有N1个，P2的基础表可能有N2个。此时整个数据库中，所有批作业任务的依赖关系就成为了一个复杂的网状图。此时可能出现一种死锁情况：P1需要P2的结果表T2作为计算基础，P2需要P1的结果表T1作为计算基础，两张表会互相等待，形成一个死锁的依赖环。
当前一般的管理办法主要依靠手工登记批处理作业，而后通过人工地判断是否存在死锁的行为。如果是紧密相连的P1和P2发生这种情况，人工还比较好判断，但是如果P1和P2之间还有多个批处理作业的依赖传递，则人工判断的效率和准确度都很低。
发明内容
本申请实施例的目的在于提出一种数据依赖判断方法、装置、计算机设备及存储介质，以解决数据依赖判断效率低下的技术问题。
为了解决上述技术问题，本申请实施例提供一种数据依赖判断方法，采用了如下所述的技术方案：
获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
根据所述分组构建所述批处理作业的连通图；
确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
进一步的，所述将所述批处理作业按照所述依赖关系进行分组包括：
获取所述数据库中作业点集合，并构建目标作业组和确认组；
从所述作业点集合中任意选取节点为作业点，并根据所述依赖关系获取与所述作业点关联的所有关联点，其中，一个所述批处理作业为所述作业点集合中的一个节点；
根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组。
进一步的，所述根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组包括：
从所述作业点集合中任意选取节点为第一作业点，获取与所述第一作业点关联的所有第一关联点，将所述第一作业点和所述第一关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第一作业点和所述第一关联点，并将所述第一作业点放入至所述确认组中；
从所述目标作业组中选取任意节点为第二作业点，确定所述第二作业点是否在所述确认组中，在所述第二作业点不在所述确认组中时，从所述作业点集合中获取与所述第二作业点关联的所有第二关联点，并将所述第二关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第二关联点，并将所述第二作业点放入至所述确认组中；
依次从所述目标作业组中获取节点，在所述目标作业组中的所有节点均在所述确认组中时，确定所述目标作业组为所述批处理作业的一个分组。
进一步的，在所述确定所述目标作业组为所述批处理作业的一个分组之后还包括：
检测所述作业点集合是否为空集，在所述作业点集合为空集时，确定所述分组完成。
进一步的，所述根据所述分组构建所述批处理作业的连通图包括：
将每个所述分组中的批处理作业作为顶点，所述批处理作业之间的依赖关系作为有向路径；
根据所述顶点和所述有向路径构建每个所述分组对应的有向图。
进一步的，所述确定所述连通图中是否存在强连通分量包括：
转换所述连通图为邻接矩阵；
获取预设算法，通过所述预设算法将所述邻接矩阵转换为目标矩阵，并确定所述目标矩阵的对角线上是否存在非零值；
在所述对角线上存在非零值时，确定所述连通图存在所述强连通分量。
进一步的，所述转换所述连通图为邻接矩阵包括：
获取所述连通图的顶点数和关系数，根据所述顶点数和所述关系数将所述连通图转换为所述邻接矩阵。
进一步的，所述获取当前数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系包括：
获取定时查询任务，根据所述定时查询任务对所述批处理作业和所述批处理作业的依赖关系进行定时查询。
为了解决上述技术问题，本申请实施例还提供一种数据依赖判断装置，采用了如下所述的技术方案：
获取模块，用于获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
构建模块，用于根据所述分组构建所述批处理作业的连通图；
确认模块，用于确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述数据依赖判断方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述数据依赖判断方法的步骤。
上述数据依赖判断方法，通过获取数据库中数据表之间传递的批处理作业和批处理作业的依赖关系，将批处理作业按照依赖关系进行分组，使得在对数据依赖循环进行判断时，通过对每个分组中的批处理作业进行判断，即可确定是否存在数据依赖循环；之后，根据分组构建批处理作业的连通图，通过连通图可以对数据依赖循环进行快速判断；最后，确定连通图中是否存在强连通分量，并在确定连通图中存在强连通分量时，确认数据库中存在数据依赖循环，由此，实现了在批处理作业的依赖关系发生变化时，可以快速地判断是否会发生作业依赖循环，提高了依赖循环判断的效率和准确性，极大地保障了数据库中批处理作业的高效和正常地运行。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的数据依赖判断方法的一个实施例的流程图；
图3是根据本申请的数据依赖判断装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：数据依赖判断装置300、获取模块301、构建模块302和确认模块303。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的数据依赖判断方法一般由服务器/终端设备执行，相应地，数据依赖判断装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的数据依赖判断的方法的一个实施例的流程图。所述的数据依赖判断方法，包括以下步骤：
步骤S201，获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
在本实施例中，数据库中包括了多个批处理作业，该批处理作业在数据库的数据表之间传递。获取当前数据库中数据表之间传递的所有批处理作业，并将该批处理作业按照依赖关系进行分组。其中，依赖关系为批处理任务之间的依赖关系，如A待处理作业依赖于B待处理作业，即表示A需要在B之后执行。
步骤S202，根据所述分组构建所述批处理作业的连通图；
在本实施例中，连通图是基于连通的概念。在一个无向图G中，若从顶点i到顶点j有路径相连(当然从j到i也一定有路径)，则称i和j是连通的。如果G是有向图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连通图。在得到批处理作业对应的分组时，则根据该分组构建批处理作业的连通图，其中，一个连通图对应一个分组，每个分组对应的连通图为有向图。
需要强调的是，为进一步保证上述连通图的私密和安全性，上述连通图还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S203，确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
在本实施例中，在得到数据库的连通图时，确定该连通图中是否存在强连通分量。具体地，在有向图中，如果两个顶点vi,vj间(vi>vj)有一条从vi到vj的有向路径，同时还有一条从vj到vi的有向路径，则称两个顶点强连通(strongly connected)，该两个顶点的强连通即为当前连通图中的强连通分量。在当前连通图中存在强连通分量时，则确定当前数据库中存在数据依赖循环。
本实施例实现了在批处理作业的依赖关系发生变化时，可以快速地判断是否会发生作业依赖循环，提高了依赖循环判断的效率和准确性，极大地保障了数据库中批处理作业的高效和正常地运行。
在本申请的一些实施例中，上述将所述批处理作业按照所述依赖关系进行分组包括：
获取所述数据库中作业点集合，并构建目标作业组和确认组；
从所述作业点集合中任意选取节点为作业点，并根据所述依赖关系获取与所述作业点关联的所有关联点，其中，一个所述批处理作业为所述作业点集合中的一个节点；
根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组。
在本实施例中，作业点集合为数据库中批处理作业的集合，一个批处理作业为作业点集合中的一个节点。在对批处理作业进行分组时，则获取数据库中的作用点集合，并构建目标作业组和确认组，其中，一个目标作业组对应一个分组，确认组则用来确认节点是否分组完成。在得到该目标作业组和确认组时，则从作业点集合中任意选取节点作为作业点，与该作业点关联的所有节点则为关联点，如任意选取一个节点作为第一作业点，与该第一作业点关联的节点则为第一关联点，第二次选取的节点则为第二作业点，与该第二作业点关联的节点则为第二关联点。根据该目标作业组和确认组即可对该作业点和关联点进行分组。
在本申请的一些实施例中，上述根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组包括：
从所述作业点集合中任意选取节点为第一作业点，获取与所述第一作业点关联的所有第一关联点，将所述第一作业点和所述第一关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第一作业点和所述第一关联点，并将所述第一作业点放入至所述确认组中；
从所述目标作业组中选取任意节点为第二作业点，确定所述第二作业点是否在所述确认组中，在所述第二作业点不在所述确认组中时，从所述作业点集合中获取与所述第二作业点关联的所有第二关联点，并将所述第二关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第二关联点，并将所述第二作业点放入至所述确认组中；
依次从所述目标作业组中获取节点，在所述目标作业组中的所有节点均在所述确认组中时，确定所述目标作业组为所述批处理作业的一个分组。
在本实施例中，在将批处理作业按照依赖关系进行分组时，获取批处理作业之间的依赖关系，将任意两个批处理作业之间都存在依赖关系的批处理作业划分为一组。每个组之间的批处理作业之间不会存在依赖关系。在得到数据库中的批处理作业时，将该批处理作业组合为一个作业点集合，一个批处理作业即为该作业点集合中的一个节点。从作业点集合中任意选取节点为第一作业点，将第一作业点放入目标作业组，并将第一作业点从作业点集合中删除。根据依赖关系，获取所有与第一作业点关联的第一关联点，将第一关联点放入至目标作业组中，之后，从作业点集合中删除第一关联点，并将第一作业点放入至预设的确认组中。当然，在从作业点集合中任意选取节点为第一作业点时，亦可直接获取与该第一作业点关联的所有第一关联点，并将该第一作业点和第一关联点放入至目标作业组中；之后再从作业点集合中删除该第一作业点和第一关联点，并将该第一作业点放入至确认组中。
在第一作业点放入至确认组中之后，从目标作业组中选取任意节点为第二作业点，确定第二作业点是否在确认组中，在第二作业点不在确认组中时，获取与第二作业点关联的所有第二关联点，并将第二关联点放入至目标作业组中；若该第二作业点在确认组中，则从目标作业组中选取其他任意的点作为第三作业点，确定该第三作业点是否在确认组中。在该第二关联点放入至目标作业组中之后，从作业点集合中删除该第二关联点，并将第二作业点亦放入至确认组中。依次从目标作业组中获取节点，在目标作业组中的所有节点均在确认组中时，则确定目标作业组为批处理作业的一个分组。
具体地，以作业点集合为node_list为例，分组过程如下：
步骤1：从作业点集合node_list中任取点p，该p即为第一作业点，将p放入目标作业组node_group_1中，同时从node_list中删除点p；
步骤2：根据依赖关系，找到和点p相连的所有点作为第一关联点，包括点p的前驱节点和点p的后继节点，将该第一关联点放入node_group_1中，并从node_list中删除该第一关联点；
步骤3：将点p放入预设的确认组node_check中；
步骤4：从node_group_1中取任意节点k作为第二作业点，检查该第二作业点k是否在确认组node_check中；如果在则换一个节点，如果不在，跳转到步骤2，寻找和k相连的第二关联点，并将该第二关联点放入至目标作业组中；
步骤5：从作业点集合中删除该第二关联点，将该第二作业点放入至确认组node_check中，并依次从目标作业组中获取节点，如果node_group_1中所有节点都在node_check中了，该node_group_1即为一个分组；
步骤6：如果作业点集合中没有任何点，则分组完成，如果作业点集合中还有节点，跳转到步骤1，随机选取剩余的节点放入至第二个目标作业组node_group_2中；
步骤7：这样重复步骤1到6，最后把所有的节点分到了N个目标作业组中。
在得到批处理作业对应的分组之后，检测作业点集合中是否还存在节点，若还存在节点，则表示该节点未进行分组；若不存在节点，即表示当前分组完成，已找到所有批处理作业对应的分组。在作业点集合中仍存在节点时，则根据上述批处理作业的分组方式，将作业点集合中剩余的节点进行分组。
本实施例通过对批处理作业进行分组，确保了每个分组中的批处理作业都存在依赖关系，而组与组之间的批处理作业不存在依赖关系，使得在对数据依赖循环进行判断时，通过对每个分组中的批处理作业进行判断，即可确定是否存在数据依赖循环，进一步提高了数据依赖循环的判断效率。
在本申请的一些实施例中，上述根据所述分组构建所述批处理作业的连通图包括：
将每个所述分组中的批处理作业作为顶点，所述批处理作业之间的依赖关系作为有向路径；
根据所述顶点和所述有向路径构建每个所述分组对应的有向图。
在本实施例中，在得到批处理作业对应的分组时，将每个分组中的批处理作业作为顶点，同组的批处理作业之间的依赖关系作为连接两个批处理作业的有向路径，根据该顶点和有向路径即得到每个分组对应的连通图。连通图G可用G(V,E)表示，V表示顶点，E表依赖关系，以V包括了3个批处理作业(V1,V2,V3)，E包含了2个依赖关系((V1,V2),(V2,V3))为例，该依赖关系((V1,V2),(V2,V3))即表示批处理作业V2依赖于批处理作业V1，批处理作业V3依赖于批处理作业V2。
本实施例通过构建批处理作业对应的连通图，使得通过该连通图能够对数据依赖循环进行快速而精确地判断，进一步提高了数据依赖循环的判断效率。
在本申请的一些实施例中，上述确定所述连通图中是否存在强连通分量包括：
转换所述连通图为邻接矩阵；
获取预设算法，通过所述预设算法将所述邻接矩阵转换为目标矩阵，并确定所述目标矩阵的对角线上是否存在非零值；
在所述对角线上存在非零值时，确定所述连通图存在所述强连通分量。
在本实施例中，邻接矩阵为表示顶点之间相邻关系的矩阵。在确定连通图中是否存在强连通分量时，将该连通图转换为邻接矩阵；之后，获取预设算法，如幂运算，通过该预设算法将该邻接矩阵转换为目标矩阵，转换公式如下所示：
Figure BDA0002953639220000111
其中，C为目标矩阵，A为邻接矩阵，n为连通图中的顶点个数。
在得到该目标矩阵时，确定该目标矩阵的对角线上是否存在非零值，若该对角线上存在非零值，则确定当前连通图中存在强连通分量。假设连通图中包括3个批处理作业(V1,V2,V3)，依赖关系为((V1,V2),(V2,V3),(V3,V1))，分别表示批处理作业V2依赖于批处理作业V1，批处理作业V3依赖于批处理作业V2，批处理作业V1依赖于批处理作业V3。
将连通图按上面的邻接矩阵的定义，可转为如下3阶方阵：
Figure BDA0002953639220000112
邻接矩阵A中的元素A[i,j]都是用0,1来表示是否连通的，或者说，代表有没有方法从i走到j。那么对于矩阵A的幂运算B＝An中，B[i,j]表示的是从i出发走到点j走n步。取n＝3，可以看到如下结果，对角线上全部都是1，表示批处理作业后继结果3次依赖传递，变成了依赖本身，即V1传递至V2，V2传递至V3，V3传递至V1；同时，V2和V3也通过3次依赖传递变成了依赖本身。因此，可以确定当前连通图中存在强连通分量。B的矩阵如下所示：
Figure BDA0002953639220000121
本实施例通过转换连通图为邻接矩阵，并通过确定该邻接矩阵的对角线是否存在非零值，实现了对强连通分量的精确确定，进一步提高了对数据依赖循环的确认精确率和确认效率。
在本申请的一些实施例中，上述转换所述连通图为邻接矩阵包括：
获取所述连通图的顶点数和关系数，根据所述顶点数和所述关系数将所述连通图转换为所述邻接矩阵。
在本实施例中，在得到连通图时，获取当前连通图的顶点数和关系数，该顶点数即为连通图中批处理作业的个数，关系数即为批处理作业之间的依赖关系数。设连通图G有n个顶点，则邻接矩阵是一个n*n的方阵，定义为：
Figure BDA0002953639220000122
将连通图按照该定义和幂运算，即可转换为对应的邻接矩阵。
以连通图G(3,3)为例，其中包括3个批处理作业(V1,V2,V3)，依赖关系为((V1,V2),(V2,V3))，即批处理作业V2依赖于批处理作业V1，批处理作业V3依赖于批处理作业V2，将该连通图转换的邻接矩阵即为如下所示的一个3阶方阵：
Figure BDA0002953639220000123
本实施例通过转换连通图为邻接矩阵，使得通过该邻接矩阵能够对数据依赖循环进行判断，节省了数据依赖循环的确认时长，提高了数据依赖循环的确认效率及准确率。
在本申请的一些实施例中，上述获取当前数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系包括：
获取定时查询任务，根据所述定时查询任务对所述批处理作业和所述批处理作业的依赖关系进行定时查询。
在本实施例中，在对数据库的数据依赖循环进行查询时，还可以获取定时查询任务，根据该定时查询任务定时查询当前数据库中的批处理作业和依赖关系，进一步实现对数据库中数据依赖循环的定时查询。具体地，定时查询任务为预先设定的定时任务，通过该定时查询任务定时触发依赖循环查询指令；当触发依赖循环查询指令时，则根据该依赖循环查询指令对数据库中的批处理作业和该批处理作业之间的依赖关系进行定时查询。
本实施例通过对批处理作业和依赖关系的定时查询，实现了对数据库中数据依赖循环的定时查询，使得通过该定时查询能够定期了解到当前数据库中数据依赖情况，进一步实现对数据的定期维护。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种数据依赖判断装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的数据依赖判断装置300包括：获取模块301、构建模块302和确认模块303。其中：
获取模块301，用于获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
其中，获取模块301包括：
定时查询单元，用于获取定时查询任务，根据所述定时查询任务对所述批处理作业和所述批处理作业的依赖关系进行定时查询。
在本实施例中，在对数据库的数据依赖循环进行查询时，还可以获取定时查询任务，根据该定时查询任务定时查询当前数据库中的批处理作业和依赖关系，进一步实现对数据库中数据依赖循环的定时查询。具体地，定时查询任务为预先设定的定时任务，通过该定时查询任务定时触发依赖循环查询指令；当触发依赖循环查询指令时，则根据该依赖循环查询指令对数据库中的批处理作业和该批处理作业之间的依赖关系进行定时查询。
其中，获取模块301还包括：
第一获取单元，用于获取所述数据库中作业点集合，并构建目标作业组和确认组；
第二获取单元，用于从所述作业点集合中任意选取节点为作业点，并根据所述依赖关系获取与所述作业点关联的所有关联点，其中，一个所述批处理作业为所述作业点集合中的一个节点；
第一确认单元，用于根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组。
检测单元，用于检测所述作业点集合是否为空集，在所述作业点集合为空集时，确定所述分组完成。
其中，第一确认单元包括：
第一获取子单元，用于从所述作业点集合中任意选取节点为第一作业点，获取与所述第一作业点关联的所有第一关联点，将所述第一作业点和所述第一关联点放入至所述目标作业组中；
第一删除子单元，用于从所述作业点集合中删除所述第一作业点和所述第一关联点，并将所述第一作业点放入至所述确认组中；
第二获取子单元，用于从所述目标作业组中选取任意节点为第二作业点，确定所述第二作业点是否在所述确认组中，在所述第二作业点不在所述确认组中时，从所述作业点集合中获取与所述第二作业点关联的所有第二关联点，并将所述第二关联点放入至所述目标作业组中；
第二删除子单元，用于从所述作业点集合中删除所述第二关联点，并将所述第二作业点放入至所述确认组中；
第三获取子单元，用于依次从所述目标作业组中获取节点，在所述目标作业组中的所有节点均在所述确认组中时，确定所述目标作业组为所述批处理作业的一个分组。
在本实施例中，数据库中包括了多个批处理作业，该批处理作业在数据库的数据表之间传递。获取当前数据库中数据表之间传递的所有批处理作业，并将该批处理作业按照依赖关系进行分组。其中，依赖关系为批处理任务之间的依赖关系，如A待处理作业依赖于B待处理作业，即表示A需要在B之后执行。
作业点集合为数据库中批处理作业的集合，一个批处理作业为作业点集合中的一个节点。在对批处理作业进行分组时，则获取数据库中的作用点集合，并构建目标作业组和确认组，其中，一个目标作业组对应一个分组，确认组则用来确认节点是否分组完成。在得到该目标作业组和确认组时，则从作业点集合中任意选取节点作为作业点，与该作业点关联的所有节点则为关联点，如任意选取一个节点作为第一作业点，与该第一作业点关联的节点则为第一关联点，第二次选取的节点则为第二作业点，与该第二作业点关联的节点则为第二关联点。根据该目标作业组和确认组即可对该作业点和关联点进行分组。
在将批处理作业按照依赖关系进行分组时，获取批处理作业之间的依赖关系，将任意两个批处理作业之间都存在依赖关系的批处理作业划分为一组。每个组之间的批处理作业之间不会存在依赖关系。在得到数据库中的批处理作业时，将该批处理作业组合为一个作业点集合，一个批处理作业即为该作业点集合中的一个节点。从作业点集合中任意选取节点为第一作业点，将第一作业点放入目标作业组，并将第一作业点从作业点集合中删除。根据依赖关系，获取所有与第一作业点关联的第一关联点，将第一关联点放入至目标作业组中，之后，从作业点集合中删除第一关联点，并将第一作业点放入至预设的确认组中。当然，在从作业点集合中任意选取节点为第一作业点时，亦可直接获取与该第一作业点关联的所有第一关联点，并将该第一作业点和第一关联点放入至目标作业组中；之后再从作业点集合中删除该第一作业点和第一关联点，并将该第一作业点放入至确认组中。
在第一作业点放入至确认组中之后，从目标作业组中选取任意节点为第二作业点，确定第二作业点是否在确认组中，在第二作业点不在确认组中时，获取与第二作业点关联的所有第二关联点，并将第二关联点放入至目标作业组中；若该第二作业点在确认组中，则从目标作业组中选取其他任意的点作为第三作业点，确定该第三作业点是否在确认组中。在该第二关联点放入至目标作业组中之后，从作业点集合中删除该第二关联点，并将第二作业点亦放入至确认组中。依次从目标作业组中获取节点，在目标作业组中的所有节点均在确认组中时，则确定目标作业组为批处理作业的一个分组。
具体地，以作业点集合为node_list为例，分组过程如下：
步骤1：从作业点集合node_list中任取点p，该p即为第一作业点，将p放入目标作业组node_group_1中，同时从node_list中删除点p；
步骤2：根据依赖关系，找到和点p相连的所有点作为第一关联点，包括点p的前驱节点和点p的后继节点，将该第一关联点放入node_group_1中，并从node_list中删除该第一关联点；
步骤3：将点p放入预设的确认组node_check中；
步骤4：从node_group_1中取任意节点k作为第二作业点，检查该第二作业点k是否在确认组node_check中；如果在则换一个节点，如果不在，跳转到步骤2，寻找和k相连的第二关联点，并将该第二关联点放入至目标作业组中；
步骤5：从作业点集合中删除该第二关联点，将该第二作业点放入至确认组node_check中，并依次从目标作业组中获取节点，如果node_group_1中所有节点都在node_check中了，该node_group_1即为一个分组；
步骤6：如果作业点集合中没有任何点，则分组完成，如果作业点集合中还有节点，跳转到步骤1，随机选取剩余的节点放入至第二个目标作业组node_group_2中；
步骤7：这样重复步骤1到6，最后把所有的节点分到了N个目标作业组中。
在得到批处理作业对应的分组之后，检测作业点集合中是否还存在节点，若还存在节点，则表示该节点未进行分组；若不存在节点，即表示当前分组完成，已找到所有批处理作业对应的分组。在作业点集合中仍存在节点时，则根据上述批处理作业的分组方式，将作业点集合中剩余的节点进行分组。
构建模块302，用于根据所述分组构建所述批处理作业的连通图；
其中，构建模块302包括：
第二确认单元，用于将每个所述分组中的批处理作业作为顶点，所述批处理作业之间的依赖关系作为有向路径；
构建单元，用于根据所述顶点和所述有向路径构建每个所述分组对应的有向图。
在本实施例中，连通图是基于连通的概念。在一个无向图G中，若从顶点i到顶点j有路径相连(当然从j到i也一定有路径)，则称i和j是连通的。如果G是有向图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连通图。在得到批处理作业对应的分组时，则根据该分组构建批处理作业的连通图，其中，一个连通图对应一个分组，每个分组对应的连通图为有向图。
需要强调的是，为进一步保证上述连通图的私密和安全性，上述连通图还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
确认模块303，用于确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
其中，确认模块303包括：
第一转换单元，用于转换所述连通图为邻接矩阵；
第二转换单元，用于获取预设算法，通过所述预设算法将所述邻接矩阵转换为目标矩阵，并确定所述目标矩阵的对角线上是否存在非零值；
第三确认单元，用于在所述对角线上存在非零值时，确定所述连通图存在所述强连通分量。
其中，第一转换单元包括：
转换子单元，用于获取所述连通图的顶点数和关系数，根据所述顶点数和所述关系数将所述连通图转换为所述邻接矩阵。
在本实施例中，在得到数据库的连通图时，确定该连通图中是否存在强连通分量。具体地，在有向图中，如果两个顶点vi,vj间(vi>vj)有一条从vi到vj的有向路径，同时还有一条从vj到vi的有向路径，则称两个顶点强连通(strongly connected)，该两个顶点的强连通即为当前连通图中的强连通分量。在当前连通图中存在强连通分量时，则确定当前数据库中存在数据依赖循环。
本实施例提出的数据依赖判断装置，实现了在批处理作业的依赖关系发生变化时，可以快速地判断是否会发生作业依赖循环，提高了依赖循环判断的效率和准确性，极大地保障了数据库中批处理作业的高效和正常地运行。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如数据依赖判断方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述数据依赖判断方法的计算机可读指令。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本实施例提出的计算机设备，实现了在批处理作业的依赖关系发生变化时，可以快速地判断是否会发生作业依赖循环，提高了依赖循环判断的效率和准确性，极大地保障了数据库中批处理作业的高效和正常地运行。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据依赖判断方法的步骤。
本实施例提出的计算机可读存储介质，实现了在批处理作业的依赖关系发生变化时，可以快速地判断是否会发生作业依赖循环，提高了依赖循环判断的效率和准确性，极大地保障了数据库中批处理作业的高效和正常地运行。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种数据依赖判断方法，其特征在于，包括下述步骤：
获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
根据所述分组构建所述批处理作业的连通图；
确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
2.根据权利要求1所述的数据依赖判断方法，其特征在于，所述将所述批处理作业按照所述依赖关系进行分组包括：
获取所述数据库中作业点集合，并构建目标作业组和确认组；
从所述作业点集合中任意选取节点为作业点，并根据所述依赖关系获取与所述作业点关联的所有关联点，其中，一个所述批处理作业为所述作业点集合中的一个节点；
根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组。
3.根据权利要求2所述的数据依赖判断方法，其特征在于，所述根据所述目标作业组和所述确认组对所述作业点和所述关联点进行分组包括：
从所述作业点集合中任意选取节点为第一作业点，获取与所述第一作业点关联的所有第一关联点，将所述第一作业点和所述第一关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第一作业点和所述第一关联点，并将所述第一作业点放入至所述确认组中；
从所述目标作业组中选取任意节点为第二作业点，确定所述第二作业点是否在所述确认组中，在所述第二作业点不在所述确认组中时，从所述作业点集合中获取与所述第二作业点关联的所有第二关联点，并将所述第二关联点放入至所述目标作业组中；
从所述作业点集合中删除所述第二关联点，并将所述第二作业点放入至所述确认组中；
依次从所述目标作业组中获取节点，在所述目标作业组中的所有节点均在所述确认组中时，确定所述目标作业组为所述批处理作业的一个分组。
4.根据权利要求1所述的数据依赖判断方法，其特征在于，所述根据所述分组构建所述批处理作业的连通图包括：
将每个所述分组中的批处理作业作为顶点，所述批处理作业之间的依赖关系作为有向路径；
根据所述顶点和所述有向路径构建每个所述分组对应的有向图。
5.根据权利要求1所述的数据依赖判断方法，其特征在于，所述确定所述连通图中是否存在强连通分量包括：
转换所述连通图为邻接矩阵；
获取预设算法，通过所述预设算法将所述邻接矩阵转换为目标矩阵，并确定所述目标矩阵的对角线上是否存在非零值；
在所述对角线上存在非零值时，确定所述连通图存在所述强连通分量。
6.根据权利要求5所述的数据依赖判断方法，其特征在于，所述转换所述连通图为邻接矩阵包括：
获取所述连通图的顶点数和关系数，根据所述顶点数和所述关系数将所述连通图转换为所述邻接矩阵。
7.根据权利要求1所述的数据依赖判断方法，其特征在于，所述获取当前数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系包括：
获取定时查询任务，根据所述定时查询任务对所述批处理作业和所述批处理作业的依赖关系进行定时查询。
8.一种数据依赖判断装置，其特征在于，包括：
获取模块，用于获取数据库中数据表之间传递的批处理作业和所述批处理作业的依赖关系，将所述批处理作业按照所述依赖关系进行分组；
构建模块，用于根据所述分组构建所述批处理作业的连通图；
确认模块，用于确定所述连通图中是否存在强连通分量，并在确定所述连通图中存在所述强连通分量时，确认所述数据库中存在数据依赖循环。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据依赖判断方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据依赖判断方法的步骤。
CN202110218916.4A 2021-02-26 2021-02-26 数据依赖判断方法、装置、计算机设备及存储介质 Pending CN112925800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218916.4A CN112925800A (zh) 2021-02-26 2021-02-26 数据依赖判断方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218916.4A CN112925800A (zh) 2021-02-26 2021-02-26 数据依赖判断方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112925800A true CN112925800A (zh) 2021-06-08

Family

ID=76172293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218916.4A Pending CN112925800A (zh) 2021-02-26 2021-02-26 数据依赖判断方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112925800A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059203A1 (en) * 2000-07-13 2002-05-16 Andrew Witkowski Performing spreadsheet-like calculations in a database system
US20040199791A1 (en) * 2002-11-04 2004-10-07 Poletto Massimiliano Antonio Connection table for intrusion detection
US20070073737A1 (en) * 2005-09-27 2007-03-29 Cognos Incorporated Update processes in an enterprise planning system
CN104424525A (zh) * 2013-08-30 2015-03-18 国际商业机器公司 辅助确定项目范围的方法和装置
TWI526856B (zh) * 2014-10-22 2016-03-21 財團法人資訊工業策進會 服務需求分析系統、方法與電腦可讀取記錄媒體
WO2017080398A1 (zh) * 2015-11-12 2017-05-18 阿里巴巴集团控股有限公司 一种用户群体的划分方法和装置
WO2017173929A1 (zh) * 2016-04-05 2017-10-12 阿里巴巴集团控股有限公司 无监督的特征选择方法、装置
CN111612038A (zh) * 2020-04-24 2020-09-01 平安直通咨询有限公司上海分公司 异常用户检测方法及装置、存储介质、电子设备
CN111736969A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 分布式作业调度方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059203A1 (en) * 2000-07-13 2002-05-16 Andrew Witkowski Performing spreadsheet-like calculations in a database system
US20040199791A1 (en) * 2002-11-04 2004-10-07 Poletto Massimiliano Antonio Connection table for intrusion detection
US20070073737A1 (en) * 2005-09-27 2007-03-29 Cognos Incorporated Update processes in an enterprise planning system
CN104424525A (zh) * 2013-08-30 2015-03-18 国际商业机器公司 辅助确定项目范围的方法和装置
TWI526856B (zh) * 2014-10-22 2016-03-21 財團法人資訊工業策進會 服務需求分析系統、方法與電腦可讀取記錄媒體
WO2017080398A1 (zh) * 2015-11-12 2017-05-18 阿里巴巴集团控股有限公司 一种用户群体的划分方法和装置
WO2017173929A1 (zh) * 2016-04-05 2017-10-12 阿里巴巴集团控股有限公司 无监督的特征选择方法、装置
CN111612038A (zh) * 2020-04-24 2020-09-01 平安直通咨询有限公司上海分公司 异常用户检测方法及装置、存储介质、电子设备
CN111736969A (zh) * 2020-06-16 2020-10-02 中国银行股份有限公司 分布式作业调度方法及装置

Similar Documents

Publication Publication Date Title
CN110428058B (zh) 联邦学习模型训练方法、装置、终端设备及存储介质
US9983890B2 (en) Collaborative generation of configuration technical data for a product to be manufactured
CN112613917A (zh) 基于用户画像的信息推送方法、装置、设备及存储介质
CN112860662A (zh) 数据血缘关系建立方法、装置、计算机设备及存储介质
CN110955715A (zh) Erp系统和目标平台的数据转换方法、装置以及电子设备
CN112631924A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN113760488A (zh) 调度任务的方法、装置、设备和计算机可读介质
CN112364187B (zh) 基于大数据的汽车配件数据库建库方法、装置及设备
CN110874365B (zh) 一种信息查询方法及其相关设备
CN107291923B (zh) 信息处理方法和装置
CN112559866A (zh) 大学图书阅读推荐方法、装置、设备及存储介质
CN111475468A (zh) 新增系统的日志接入方法、装置、设备及存储介质
CN113254106B (zh) 基于Flink的任务执行方法、装置、计算机设备及存储介质
CN111245928A (zh) 基于超融合架构的资源调节方法、物联网服务器及介质
CN111324470A (zh) 用于生成信息的方法及装置
CN112925800A (zh) 数据依赖判断方法、装置、计算机设备及存储介质
CN114968822A (zh) 接口测试方法、装置、计算机设备及存储介质
WO2023066258A1 (zh) 隐私数据的数据处理方法、装置、计算机设备及介质
CN114374737A (zh) 消息推送方法、装置、计算机设备及存储介质
CN114528443A (zh) 基于知识图谱的信息挖掘方法及其相关设备
CN114186976A (zh) 工作流程流转方法、装置、计算机设备及存储介质
CN112182107A (zh) 名单数据获取方法、装置、计算机设备及存储介质
CN113283759A (zh) 账户风险画像更新方法、装置、设备及存储介质
CN106408199B (zh) 信息处理方法和装置
CN113946626A (zh) 数据同步检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination