CN114827286A - 跨域分析系统、跨域资源调度方法、装置及存储介质 - Google Patents
跨域分析系统、跨域资源调度方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114827286A CN114827286A CN202210476424.XA CN202210476424A CN114827286A CN 114827286 A CN114827286 A CN 114827286A CN 202210476424 A CN202210476424 A CN 202210476424A CN 114827286 A CN114827286 A CN 114827286A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- resource
- cross
- point
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 164
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000007405 data analysis Methods 0.000 claims description 240
- 238000012545 processing Methods 0.000 claims description 32
- 238000012795 verification Methods 0.000 claims description 22
- 238000010191 image analysis Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 240
- 230000008859 change Effects 0.000 description 55
- 230000008569 process Effects 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012550 audit Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请公开跨域分析系统、跨域资源调度方法、装置及存储介质,涉及视频图像智能分析技术领域,能够实现视频图像分析资源的跨域调度。该跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一调度装置,第二局点包括:第二调度装置;该方法包括:第一调度装置向第二调度装置发送连接请求,以使得第二调度装置确定第二局点的资源是否能够被借用;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;在第二局点的资源能够被借用的情况下,第一调度装置与第二调度装置建立连接。
Description
技术领域
本申请涉及视频图像智能分析技术领域,尤其涉及跨域分析系统、跨域资源调度方法、装置及存储介质。
背景技术
目前,在视频图像智能分析技术领域,分析任务的主要工作模式是在单个视频图像智能分析系统内进行资源调度,其中调度的视频图像智能分析算力资源可单节点部署,也支持多节点分布式集群部署。
可以看出,传统的视频图像智能分析系统对资源的调度往往只在本局点内完成,这样的工作模式会产生以下问题:在该局点的局内的资源不足时,若出现新增分析任务,该新增分析任务无法得到及时响应,只能排队等待或被丢弃,会造成任务处理不及时,和处理效率低的问题。此外,若同时存在多个视频图像智能分析系统,由于各个视频图像智能分析系统彼此之间是孤立的,因此会存在各局点忙闲不均的情况,造成视频图像智能分析系统整体资源的利用率较低。
发明内容
本申请提供跨域分析系统、跨域资源调度方法、装置及存储介质,能够实现视频图像分析资源的跨域(即跨局点)调度。
第一方面,本申请提供一种跨域资源调度方法,应用于跨域分析系统,该跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一调度装置,第二局点包括:第二调度装置;方法包括:第一调度装置向第二调度装置发送连接请求,以使得第二调度装置确定第二局点的资源是否能够被借用;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;在第二局点的资源能够被借用的情况下,第一调度装置与第二调度装置建立连接。
可以理解的是,本申请提供的跨域资源调度方法,应用于跨域分析系统,该跨域分析系统包括多个局点(一个局点可以看作一个视频图像智能分析平台),每个局点包括调度装置。其中,一个局点可以通过本局点的调度装置向其他局点的调度装置发送连接请求(包括第一资源额度),以使得其他局点的调度装置确定本局点的资源是否能够被借用,在其他局点的资源能够被借用的情况下,第一调度装置与第二调度装置建立连接,并向第二局点借用第一资源额度的资源量。如此,利用本申请提供的方法,使原本相互独立的各个局点之间,可以基于调度装置实现通信。这样一来,一个局点可以通过发送连接请求的方式,向另一个局点借资源,实现了算力资源的跨域(此处将跨局点的信息交互,称为跨域)调度,提高了全域算力资源的利用率。
在一种可能的实现方式中,第一调度装置向第二调度装置发送连接请求之前,该方法还包括:第一调度装置添加第二局点的注册信息;第二局点的注册信息包括:第二调度装置的地址信息。
可以理解的是,第一调度装置在具有第二调度装置的相关信息(例如地址信息)的情况下,才能向第二调度装置发起连接请求,因此第二调度装置需要先在第一调度装置中注册,使得第一调度装置添加第二局点的注册信息(包括第二调度装置的地址信息)。
另一种可能的实现方式中,上述第一局点还包括第一数据分析装置,上述第一调度装置与第二调度装置建立连接之后,该方法还包括:第一调度装置接收第一数据分析装置发起的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;第一调度装置确定第一资源额度是否大于或等于待分析任务所需资源的大小;在第一资源额度大于或等于待分析任务所需资源的大小时,第一调度装置向第二调度装置发送跨域资源调度申请,以使得第二调度装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
可以理解的是,第一局点通过调度装置提前向第二局点借资源,如此,在第一局点中出现局内资源余量不足,无法承担待分析任务的情况,即可向将该待分析任务发送至第二局点,使得第二局点使用第一局点预先借用的资源来处理该待分析任务。这样一来,一方面,使得待分析任务能够及时得到处理,提高任务处理效率;另一方面,能够解决不同局点忙闲不均的问题,提高全域的算力资源利用率。
另一种可能的实现方式中,在第一资源额度小于待分析任务所需资源的大小时,该方法还包括:第一调度装置向第二调度装置发送扩容申请;扩容申请用于向第二局点申请第二资源额度;第二资源额度包括待分析任务比第一资源额度多出部分的资源量。
可以理解的是,若第一局点预先向第二局点借用的第一资源额度的资源量不够用于分析待分析任务,则第一局点可以通过第一调度装置向第二调度装置发送扩容申请,向第二局点借用多出部分的资源量。如此,使得待分析任务能够及时得到处理,提高任务处理效率。
第二方面,本申请提供一种跨域资源调度方法,应用于跨域分析系统,该跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一数据分析装置和第一调度装置,第二局点包括:第二数据分析装置和第二调度装置;该方法包括:第二调度装置接收第一调度装置发送的连接请求;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;第二调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度;在第二局点的资源能够被借用,且第二局点内能够被借用的资源量大于或等于第一资源额度的情况下,第二调度装置与第一调度装置建立连接。
在一种可能的实现方式中,上述方法还包括:第二调度装置接收第一调度装置发送的验证信息;验证信息用于验证第一局点的合法性;第二调度装置根据验证信息,验证第一局点是否为合法平台;上述第二调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度,包括:在第一局点为合法平台的情况下,第二调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
可以理解的是,第二局点与第一局点建立连接之前,首先需要确认第一局点身份的合法性,避免恶意攻击,确保连接安全。
另一种可能的实现方式中,第二调度装置与第一调度装置建立连接之后,上述方法还包括:第二调度装置接收第一调度装置发送的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;第二调度装置将跨域资源调度申请发送给第二数据分析装置,以使得第二数据分析装置分析待分析任务,得到分析结果。
可以理解的是,本申请提供的跨域资源调度方法,应用于跨域分析系统,该跨域分析系统包括多个局点(一个局点可以看作一个视频图像智能分析平台),每个局点包括调度装置。其中,一个局点可以通过本局点的调度装置接收其他局点的调度装置发送的跨域资源调度申请(包括待分析任务),并根据跨域资源调度申请,分析待分析任务,得到分析结果。如此,本申请通过跨域资源调度申请,能够进行分析资源的跨域(此处将跨局点的信息交互,称为跨域)调度,实现了算力资源整合,提高了全域算力资源的利用率。
另一种可能的实现方式中,上述跨域分析系统还包括:中心调度装置,中心调度装置分别连接第一调度装置和第二调度装置,第二调度装置接收第一调度装置发送的跨域资源调度申请,包括:第二调度装置通过中心调度装置接收跨域资源调度申请,跨域资源调度申请是第一调度装置向中心调度装置发送的,以使得中心调度装置根据跨域资源调度申请,从与第一局点建立连接的其他局点中确定第二局点,并向第二调度装置发送跨域资源调度申请;其中,第二局点的局内资源余量大于或等于待分析任务所需资源的大小。
可以理解的是,本申请提供的跨域资源调度方法,应用于跨域分析系统,该跨域分析系统还包括:中心调度装置;该中心调度装置分别连接第一调度装置和第二调度装置。其中,一个局点可以通过本局点的调度装置向中心调度装置发送跨域资源调度申请(包括待分析任务),以使得中心调度装置根据该跨域资源调度申请,从与第一局点建立连接的其他局点中确定可以用于执行待分析任务的局点,进而中心调度装置可以将该跨域资源调度申请发送给该局点的调度装置,在该局点中分析待分析任务,得到分析结果。如此,利用本申请提供的方法,一方面,能够在某一个局点无法承担待分析任务时,通过发起跨域资源调度申请,将该待分析任务及时发送至其他空闲局点进行分析,提高了任务处理效率,并提高了全域算力资源的利用率;另一方面,局内调度装置可以将本局点内的资源信息同步至中心调度装置,由中心调度装置来进行决策(即确定跨域资源调度申请的被申请方),使得局内调度装置的配置更加轻量化。
另一种可能的实现方式中,上述方法还包括:第二调度装置向第二数据分析装置发送算法查询申请,算法查询申请包括:待分析任务所需算法的标识,以使得第二数据分析装置根据待分析任务所需算法的标识,查询第二数据分析装置中是否包括待分析任务所需算法;在第二数据分析装置中不包括待分析任务所需算法的情况下,第二调度装置向第二数据分析装置发送算法下载申请;算法下载申请包括:待分析任务所需算法的下载地址,以使得第二数据分析装置根据待分析任务所需算法的下载地址,下载待分析任务所需算法。
可以理解的是,基于本申请提供的方法,能够在第二数据分析装置分析待分析任务之前,通过第二调度装置向第二数据分析装置发送算法查询申请,来查询第二数据分析装置是否具有待分析任务所需的算法,并在第二数据分析装置不具有待分析任务所需算法的情况下,向第二数据分析装置发送待分析任务所需算法的标识,以使得第二数据分析装置根据待分析任务所需算法的标识,下载待分析任务所需算法。如此,能够在对待分析任务进行分析之前,确保第二数据分析装置具备相关算法,进而可以保障待分析任务可以正常分析。
另一种可能的实现方式中,上述方法还包括:第二调度装置接收第一调度装置发送的控制指令,并根据控制指令对第二数据分析装置分析待分析任务的状态进行控制。
可以理解的是,基于本申请提供的方法,能够通过第一调度装置实时获取第二数据分析装置分析待分析任务的处理状态,并对该状态进行控制。这样一来,在上层应用对待分析任务进行修改时,能够通过第一调度装置及时作出相应修改操作。
另一种可能的实现方式中,上述方法还包括:第二调度装置接收第一调度装置发送的算法变化信息;算法变化信息包括第一数据分析装置中发生变化的目标算法的标识和目标算法的下载地址;第二调度装置向第二数据分析装置发送目标算法的标识,以使得第二数据分析装置根据目标算法的标识,查询第二数据分析装置中是否存在目标算法;在第二数据分析装置中不存在目标算法的情况下,第二调度装置向第二数据分析装置发送目标算法的下载地址,以使得第二数据分析装置根据目标算法的下载地址,下载目标算法。
可以理解的是,在跨域分析系统中的每个局点内的算法信息一致时,才可以进行跨域资源调度。示例性的,若跨域资源调度的资源被申请方中,没有待分析任务所需的资源,则无法处理该待分析任务。因此,基于本申请提供的方法,可以通过调度装置定期进行算法同步,以确保在跨域资源调度中,资源的被申请方能够及时处理待分析任务。
另一种可能的实现方式中,上述方法还包括:第二调度装置接收第一调度装置发送的算力资源变化信息;算力资源变化信息包括:第一局点的当前剩余算力信息;第二调度装置根据算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
可以理解的是,由于本申请提供的方法,需要根据跨域分析系统中每个局点的局内资源余量,来确定跨域资源调度申请的被申请方,因此,需要定期更新调度装置中记载的每个局点的局内资源余量(例如定期进行算力资源同步),如此才能够确保跨域资源调度申请的被申请方具有处理待分析任务的能力。
另一种可能的实现方式中,在第一局点与第二局点之间不能直接通信的情况下;上述第二调度装置接收第一调度装置发送的跨域资源调度申请,包括:第二调度装置通过边界安全服务器接收第一调度装置发送的跨域资源调度申请。
可以理解的是,基于本申请提供的方法,可以在第一局点与第二局点之间不能直接通信的情况下(例如,某一个机构的内部局域网与视频专网之间是无法直接连接的),通过边界安全服务器来进行信息的传输,使得本申请提供的方法可以适用于更丰富的使用场景。
第三方面,本申请提供一种调度装置,应用于跨域分析系统,跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:上述调度装置,第二局点包括:第二调度装置;上述调度装置包括:发送单元,用于向第二调度装置发送连接请求,以使得第二调度装置确定第二局点的资源是否能够被借用;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;连接单元,用于在第二局点的资源能够被借用的情况下,调度装置与第二调度装置建立连接。
在一种可能的实现方式中,调度装置还包括注册单元,用于添加第二局点的注册信息;第二局点的注册信息包括:第二调度装置的地址信息。
另一种可能的实现方式中,第一局点还包括第一数据分析装置,调度装置还包括接收单元和处理单元;接收单元,用于接收第一数据分析装置发起的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;处理单元,用于确定第一资源额度是否大于或等于待分析任务所需资源的大小;发送单元,还用于在第一资源额度大于或等于待分析任务所需资源的大小时,向第二调度装置发送跨域资源调度申请,以使得第二调度装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
另一种可能的实现方式中,在第一资源额度小于待分析任务所需资源的大小时,发送单元,还用于向第二调度装置发送扩容申请;扩容申请用于向第二局点申请第二资源额度;第二资源额度包括待分析任务比第一资源额度多出部分的资源量。
第四方面,本申请提供一种调度装置,应用于跨域分析系统,跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一数据分析装置和第一调度装置,第二局点包括:第二数据分析装置和上述调度装置;上述调度装置包括:接收单元,用于接收第一调度装置发送的连接请求;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;处理单元,用于确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度;连接单元,用于在第二局点的资源能够被借用,且第二局点内能够被借用的资源量大于或等于第一资源额度的情况下,与第一调度装置建立连接。
在一种可能的实现方式中,接收单元,还用于接收第一调度装置发送的验证信息;验证信息用于验证第一局点的合法性;处理单元,还用于根据验证信息,验证第一局点是否为合法平台;处理单元,具体用于在第一局点为合法平台的情况下,调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
另一种可能的实现方式中,接收单元,还用于接收第一调度装置发送的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;调度装置还包括:发送单元,用于将跨域资源调度申请发送给第二数据分析装置,以使得第二数据分析装置分析待分析任务,得到分析结果。
另一种可能的实现方式中,上述跨域分析系统还包括:中心调度装置,中心调度装置分别连接第一调度装置和第二调度装置;上述接收单元,还用于通过中心调度装置接收跨域资源调度申请,跨域资源调度申请是第一调度装置向中心调度装置发送的,以使得中心调度装置根据跨域资源调度申请,从与第一局点建立连接的其他局点中确定第二局点,并向第二调度装置发送跨域资源调度申请;其中,第二局点的局内资源余量大于或等于待分析任务所需资源的大小。
另一种可能的实现方式中,发送单元,还用于向第二数据分析装置发送算法查询申请,算法查询申请包括:待分析任务所需算法的标识,以使得第二数据分析装置根据待分析任务所需算法的标识,查询第二数据分析装置中是否包括待分析任务所需算法;发送单元,还用于在第二数据分析装置中不包括待分析任务所需算法的情况下,向第二数据分析装置发送算法下载申请;算法下载申请包括:待分析任务所需算法的下载地址,以使得第二数据分析装置根据待分析任务所需算法的下载地址,下载待分析任务所需算法。
另一种可能的实现方式中,接收单元,还用于接收第一调度装置发送的控制指令,并根据控制指令对第二数据分析装置分析待分析任务的状态进行控制。
另一种可能的实现方式中,接收单元,还用于接收第一调度装置发送的算法变化信息;算法变化信息包括第一数据分析装置中发生变化的目标算法的标识和目标算法的下载地址;发送单元,还用于向第二数据分析装置发送目标算法的标识,以使得第二数据分析装置根据目标算法的标识,查询第二数据分析装置中是否存在目标算法;发送单元,还用于在第二数据分析装置中不存在目标算法的情况下,向第二数据分析装置发送目标算法的下载地址,以使得第二数据分析装置根据目标算法的下载地址,下载目标算法。
另一种可能的实现方式中,接收单元,还用于接收第一调度装置发送的算力资源变化信息;算力资源变化信息包括:第一局点的当前剩余算力信息;调度装置还包括:信息变更单元,用于根据算力资源变化信息,将上述调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
另一种可能的实现方式中,上述跨域分析系统还包括:终端设备;发送单元,还用于向终端设备发送第二跨域资源调度申请,以使得终端设备接收第二跨域资源调度申请,并接收用户为第二跨域资源调度申请指示的第三局点。
另一种可能的实现方式中,接收单元,还用于在第一局点与第二局点之间不能直接通信的情况下,通过边界安全服务器接收第一调度装置发送的跨域资源调度申请。
第五方面,本申请提供一种调度装置,该调度装置包括存储器和处理器。上述存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行该计算机指令时,使得调度装置执行如第一方面及其任一种可能的设计方式的跨域资源调度方法。
第六方面,本申请提供一种调度装置,该调度装置包括存储器和处理器。上述存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行该计算机指令时,使得调度装置执行如第二方面及其任一种可能的设计方式的跨域资源调度方法。
第七方面,本申请提供一种跨域分析系统,包括:第一局点和第二局点;其中,第一局点包括:第一数据分析装置和第一调度装置,第二局点包括:第二数据分析装置和第二调度装置;其中,第一调度装置,用于向第二调度装置发送连接请求;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度;第二调度装置,用于接收第一调度装置发送的连接请求;第二调度装置,还用于确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度;第一调度装置,还用于在第二局点的资源能够被借用的情况下,与第二调度装置建立连接。
在一种可能的实现方式中,第一调度装置,还用于添加第二局点的注册信息;第二局点的注册信息包括:第二调度装置的地址信息。
另一种可能的实现方式中,第二调度装置,还用于接收第一调度装置发送的验证信息;验证信息用于验证第一局点的合法性;第二调度装置,还用于根据验证信息,验证第一局点是否为合法平台;在第一局点为合法平台的情况下,确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
另一种可能的实现方式中,第一调度装置,还用于接收第一数据分析装置发起的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;第一调度装置,还用于确定第一资源额度是否大于或等于待分析任务所需资源的大小;在第一资源额度大于或等于待分析任务所需资源的大小时,向第二调度装置发送跨域资源调度申请,以使得第二调度装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
另一种可能的实现方式中,在第一资源额度小于待分析任务所需资源的大小时,第一调度装置,还用于向第二调度装置发送扩容申请;扩容申请用于向第二局点申请待分析任务比第一资源额度多出部分的资源量。
另一种可能的实现方式中,第二调度装置,还用于接收第一调度装置发送的跨域资源调度申请;将跨域资源调度申请发送给第二数据分析装置;第二数据分析装置,用于根据跨域资源调度申请,分析待分析任务,得到分析结果。
另一种可能的实现方式中,上述系统还包括:中心调度装置;中心调度装置分别与第一调度装置和第二调度装置连接;跨域资源调度申请还包括:待分析任务所需资源的大小;第一调度装置,还用于将跨域资源调度申请转发至中心调度装置;中心调度装置,用于根据跨域资源调度申请,从其他局点中确定第二局点,第二局点的局内资源余量大于或等于待分析任务所需资源的大小;中心调度装置,还用于向第二调度装置发送跨域资源调度申请。
另一种可能的实现方式中,上述第一数据分析装置,还用于:在检测到待分析任务所需资源的大小,大于或等于第一阈值时,向第一调度装置发送跨域资源调度申请;或者,在检测到第一局点内的算力资源出现离线状态时,向第一调度装置发送跨域资源调度申请。
另一种可能的实现方式中,上述待分析任务是对待分析数据进行分析的任务;跨域资源调度申请还包括:待分析数据的获取地址;第二数据分析装置,还用于根据待分析数据获取地址,获取待分析数据;和/或,跨域资源调度申请还包括:待分析任务所需算法的下载地址;第二数据分析装置,还用于根据待分析任务所需算法的下载地址,下载待分析任务所需算法;第二数据分析装置,具体用于根据待分析数据和待分析任务所需算法,分析待分析任务,得到分析结果。
另一种可能的实现方式中,第二调度装置,还用于向第二数据分析装置发送算法查询申请;算法查询申请用于使第二数据分析装置查询是否具有待分析任务所需算法;第二数据分析装置,还用于根据算法查询申请,进行算法查询,并将查询结果发送给第二调度装置;第二调度装置,还用于在查询结果为第二数据分析装置中未包含待分析任务所需算法时,向第二数据分析装置发送算法下载申请;算法下载申请中包括待分析任务所需算法的下载地址;第二数据分析装置,具体用于根据算法下载申请中包括的待分析任务所需算法的下载地址,直接从第一数据分析装置中下载待分析任务所需算法。
另一种可能的实现方式中,上述跨域资源调度申请还包括:分析结果的存储地址;第二数据分析装置,还用于将分析结果存储在分析结果存储地址所指示的存储空间。
另一种可能的实现方式中,上述第一调度装置,还用于向第二调度装置发送控制指令;第二调度装置,还用于根据控制指令对第二数据分析装置分析待分析任务的处理状态进行控制。
另一种可能的实现方式中,上述第一数据分析装置,还用于向第一调度装置发送算法变化信息;算法变化信息包括第一数据分析装置中发生变化的目标算法的下载地址和目标算法的标识;第一调度装置,还用于向第二调度装置转发算法变化信息;第二调度装置,还用于向第二数据分析装置发送目标算法的标识和目标算法的下载地址;第二数据分析装置,还用于根据目标算法的标识,查询第二数据分析装置中是否存在目标算法,并在第二数据分析装置中不存在目标算法的情况下,根据目标算法的下载地址,下载目标算法。
另一种可能的实现方式中,上述第一数据分析装置,还用于向第一调度装置发送算力资源变化信息;算力资源变化信息包括:第一局点的当前剩余算力信息;第一调度装置,还用于向第二调度装置转发算力资源变化信息;第二调度装置,还用于根据算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
第八方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。其中,当计算机指令在计算机上运行时,使得计算机执行如第一方面和第二方面及其任一种可能的设计方式所提供的方法。
第九方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机指令。当计算机指令在计算机上运行时,使得计算机执行如第一方面和第二方面及其任一种可能的设计方式所提供的方法。
本申请中第三方面到第九方面及其各种实现方式的具体描述,可以参考第一方面、第二方面及其各种实现方式中的详细描述。第三方面到第九方面及其各种实现方式的有益效果,可以参考第一方面、第二方面及其各种实现方式的有益效果分析,此处不再赘述。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种局点的结构示意图;
图2为本申请实施例提供的一种跨域分析系统的结构示意图一;
图3为本申请实施例提供的一种跨域分析系统的结构示意图二;
图4为本申请实施例提供的一种跨域分析系统的结构示意图三;
图5为本申请实施例提供的一种跨域分析系统的结构示意图四;
图6为本申请实施例提供的一种数据分析装置的注册流程图;
图7为本申请实施例提供的一种调度装置的注册流程图;
图8为本申请实施例提供的一种算法同步的流程图一;
图9为本申请实施例提供的一种算法同步的流程图二;
图10为本申请实施例提供的一种算力资源同步的流程图一;
图11为本申请实施例提供的一种算力资源同步的流程图二;
图12为本申请实施例提供的一种跨域资源调度方法流程图一;
图13为本申请实施例提供的一种终端设备的显示界面的示意图一;
图14为本申请实施例提供的一种终端设备的显示界面的示意图二;
图15为本申请实施例提供的一种终端设备的显示界面的示意图三;
图16为本申请实施例提供的一种终端设备的显示界面的示意图四;
图17为本申请实施例提供的一种跨域资源调度方法流程图二;
图18为本申请实施例提供的一种调度装置的结构示意图一;
图19为本申请实施例提供的一种调度装置的结构示意图二;
图20为本申请实施例提供的一种调度装置的结构示意图三。
具体实施方式
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括其他没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
目前,在视频图像智能分析技术领域,分析任务的主要工作模式是在单个视频图像智能分析系统内进行资源调度,这样的工作模式会产生以下问题:在该局点的局内的资源不足时,若出现新增分析任务,该新增分析任务无法得到及时响应,只能排队等待或被丢弃,会造成任务处理不及时,和处理效率低的问题。此外,若同时存在多个视频图像智能分析系统,由于各个视频图像智能分析系统彼此之间是孤立的,因此会存在各局点忙闲不均的情况,造成视频图像智能分析系统整体资源的利用率较低。
针对该问题,本申请实施例提供一种跨域分析系统,包括多个局点(一个局点可以看作一个视频图像智能分析平台),每个局点包括调度装置,一个局点可以通过调度装置向另一个局点发起连接请求(包括借用的资源额度);相应的另一个局点可以通过调度装置接收连接请求,并在局点内的资源额度是否可以被借用的情况下,通过该连接请求,以实现资源的跨域借调。如此,本申请实施例提供的系统,无需对各个局点进行大规模改造,只需在原有数据分析装置的基础上,通过引入调度装置,使得各个局点之间可以进行信息的流转,即可实现分析资源跨域(此处将跨局点的信息交互,称为跨域)调度,实现了算力资源整合,提高了全网算力资源的利用率。
此外,第一局点通过调度装置提前向第二局点借资源,使得第一局点中出现局内资源余量不足,无法承担待分析任务的情况时,即可向将该待分析任务发送至第二局点,使得第二局点使用第一局点预先借用的资源来处理该待分析任务。这样一来,一方面,使得待分析任务能够及时得到处理,提高任务处理效率;另一方面,能够解决不同局点忙闲不均的问题,提高全域的算力资源利用率。
示例性的,若杭州市的西湖区局点有40张芯片、滨江区局点有84张芯片、拱墅区有56张芯片,各个区域的资源不均衡。若西湖区计划举办大型活动,需要保障的视频监控点位比较多,资源难免不足,若西湖区临时采购设备不仅耗时,而且事件处理完成后会造成资源浪费。因此,利用本申请实施例所提供的技术方案,西湖区局点可以向滨江区局点和/或拱墅区局点发起连接请求,提前向滨江区局点和/或拱墅区局点借用一定额度的资源,这样一来,在西湖区局点有待分析任务的情况下,可以将一些待分析任务发送给滨江区局点和/或拱墅区局点,使得滨江区局点和/或拱墅区局点使用西湖区局点预先借用的资源来处理该待分析任务。
下面将结合附图对本申请实施例的实施方式进行详细描述。
如图1所示,本申请实施例提供一种局点(即视频图像智能分析平台),包括:数据分析装置和调度装置。其中,数据分析装置可以在本局点的调度装置中进行注册。
数据分析装置,用于接收分析任务(例如,视频图像智能分析任务),并为该分析任务分配相应的算力资源和算法。同时,数据分析装置还用于在本局点不能承担该分析任务时,向本局点的调度装置发起跨域资源调度申请。示例性的,数据分析装置可以为视频图像智能分析系统。
调度装置,用于向其他局点的调度装置发送连接请求,向其他局点借资源。同时,调度装置还可以接收其他局点的调度装置发送的连接请求,并确定是否与其他局点建立连接,以及是否将资源借给其他局点。
在一些实施例中,调度装置,还用于接收本局点的数据分析装置发送的跨域资源调度申请,确定该跨域资源调度申请的被申请方(除本局点之外的其他局点),并向被申请方的调度装置发送跨域资源调度申请。
同时,调度装置还用于接收除本局点之外的其他局点的数据分析装置发起的跨域资源调度申请(由其他局点的调度装置转发至本局点;或者,由中心调度装置转发至本局点),并将该跨域资源调度申请转发至本局点的数据分析装置。
在一些实施例中,调度装置可以是物理上的一个网络节点;或者,调度装置可以是逻辑上的一个组件(或功能模块)。示例性的,调度装置可以为AI网关。
在一些实施例中,调度装置和数据分析装置可以是独立的两个设备;或者,调度装置和第一数据分析装置可以集成在一起。
在基于如图1所示的局点的基础上,本申请实施例还提供一种跨域分析系统,该跨域分析系统包括多个局点。其中,每个局点的数据分析装置注册至本局点的调度装置,同时每个局点的调度装置之间相互注册;或者,每个局点的调度装置均在中心调度装置中进行注册,构建一个逻辑上统一的大容量资源池(POOL)。如此,完成注册的局点之间可以实现资源调度,达到资源共享的目的。
可以理解的是,本申请实施例中涉及到的跨域资源调度指的是:跨局点资源调度,也即在不同局点之间进行资源调度。
可选的,本申请实施例提供的跨域分析系统的部署模式包括:全对称部署模式和中心部署模式。
请参考图2,其示出本申请实施例提供的一种跨域分析系统的结构示意图。如图2所示,该跨域分析系统为全对称部署模式,包括:第一局点100和第二局点200。其中,第一局点100包括:第一数据分析装置110和第一调度装置120;第二局点200包括:第二数据分析装置210和第二调度装置220。
可以理解的是,跨域分析系统的全对称部署模式指的是,在每个局点内部署一个调度装置,每个调度装置的功能一致。例如,第一调度装置120与第二调度装置220的功能一致。
其中,跨域分析系统为全对称部署模式时,各个局点的调度装置,用于向其他局点的调度装置发送连接请求,向其他局点借用一定额度的资源;通过各个局点的调度装置,还用于接收其他局点的调度装置发送的连接请求,并根据该连接请求,确定是否与该局点建立连接,以及是否将资源借给该局点。
在一些实施例中,各个局点的调度装置,还用于接收本局点的数据分析装置发送的跨域资源调度申请,确定该跨域资源调度申请的被申请方(除本局点之外的其他局点),并向被申请方的调度装置发送跨域资源调度申请。同时,各个局点的调度装置还用于接收除本局点之外的其他局点的调度装置发送的跨域资源调度申请,并将该跨域资源调度申请转发至本局点的数据分析装置。
例如,第一调度装置120,用于接收第一数据分析装置110发送的跨域资源调度申请,确定该跨域资源调度申请的被申请方为第二局点200,并向第二调度装置220发送跨域资源调度申请。
又例如,第二调度装置220,用于接收第一调度装置120发送的跨域资源调度申请,并将该跨域资源调度申请转发至第二数据分析装置210。
此外,在每个局点的调度装置之间建立连接,能够实时进行算法标识、算力状态、任务、控制指令等信息的双向传递。例如,图2中,第一调度装置120和第二调度装置220之间,可以通过IF3a接口(IF3a接口可以有一个或多个,例如IF3a1、IF3a2、IF3a3等,图2中未示出),以有线或无线的方式进行连接,以实现信息双向传递。
同时,各个局点的数据分析装置与本局点的调度装置之间建立连接,能够实时进行算法标识、算力状态、任务、控制指令等信息的双向传递。例如,图2中,第一数据分析装置110与第一调度装置120之间,可以通过IF1a接口(IF1a接口可以有一个或多个,例如IF1a1、IF1a2、IF1a3等,图2中未示出),以有线或无线的方式进行连接,实现信息双向传递;第二数据分析装置210与第二调度装置220之间,可以通过IF2a接口(IF2a接口可以有一个或多个,例如IF2a1、IF2a2、IF2a3等,图2中未示出),以有线或无线的方式进行连接,实现信息双向传递。
在一些实施例中,在第一局点100与第二局点200之间不能直接通信的情况下(例如,某个部门的内部局域网与视频专网之间不能直接连接),如图3所示,可以引入边界安全服务器400,使第一调度装置120和第二调度装置220分别与边界安全服务器400连接。
其中,边界安全服务器400用于在第一调度装置120和第二调度装置220之间进行信息传输。
可选的,边界安全服务器400可以为文件传输协议(file transfer protocol,FTP)服务器。FTP服务器是在互联网上提供文件存储和访问服务的计算机,FTP服务器依照FTP协议提供服务。
具体的,第一调度装置120可以将需要发送给第二调度装置220的连接请求或跨域调度信息,上传至边界安全服务器400的存储空间中,进而第二调度装置220可以在边界安全服务器400的存储空间中查看连接请求或跨域调度信息。
请参考图4,其示出本申请实施例提供的另一种跨域分析系统的结构示意图。如图4所示,该跨域分析系统为中心部署模式,包括:第一局点100、第二局点200和中心调度装置300。其中,第一局点100包括:第一数据分析装置110和第一调度装置120;第二局点200包括:第二数据分析装置210和第二调度装置220。
可以理解的是,跨域分析系统的中心部署模式指的是,在每个局点内部署一个调度装置,每个调度装置的功能一致,同时在各个局点外部署一个中心调度装置,分别与每个局点的调度装置连接,中心调度装置的功能与各个局点内部署的调度装置的功能不一致。例如,第一调度装置120与第二调度装置220的功能一致。中心调度装置300逻辑上设置在第一局点100和第二局点200的外部,分别与第一调度装置120和第二调度装置220连接,且中心调度装置300与第一调度装置120和第二调度装置220的功能不一致。
其中,跨域分析系统为中心部署模式时,各个局点的调度装置,用于将本局点的连接请求发送给中心调度装置。中心调度装置,用于接收各个局点的连接请求,并根据该连接请求中请求借用的资源额度,确定该连接请求的被请求方,并向被请求方的调度装置发送连接请求。同时,各个局点的调度装置还用于接收中心调度装置发送的连接请求,确定是否与发出连接请求的请求方建立连接,以及是否将资源借用给该连接请求的请求方局点。
在一些实施例中,各个局点的调度装置,还用于接收本局点的数据分析装置发送的跨域资源调度申请,并将该跨域资源调度申请转发至中心调度装置。中心调度装置,用于接收各个局点的调度装置发送的跨域资源调度申请,确定该跨域资源调度申请的被申请方,并向被申请方的调度装置发送跨域资源调度申请。同时,各个局点的调度装置还用于接收中心调度装置发送的跨域资源调度申请,并将该跨域资源调度申请转发至本局点的数据分析装置。
例如,第一调度装置120,用于接收第一数据分析装置110发送的跨域资源调度申请,并将该跨域资源调度申请转发至中心调度装置300。中心调度装置300,用于接收第一调度装置120发送的跨域资源调度申请,确定该跨域资源调度申请的被申请方的为第二局点200,并向第二调度装置220发送跨域资源调度申请。
又例如,第二调度装置220,用于接收中心调度装置300发送的跨域资源调度申请,并将该跨域资源调度申请转发至第二数据分析装置210。
在一些实施例中,中心调度装置与各个局点的调度装置之间建立连接,能够实时进行算法标识、算力状态、任务、控制指令等信息的双向传递。例如,图4中,中心调度装置300与第一调度装置120之间,可以通过IF3b接口(IF3b接口可以有一个或多个,例如IF3b1、IF3b2、IF3b3等,图4中未示出),以有线或无线的方式进行连接;中心调度装置300与第二调度装置220之间,可以通过IF4b接口(IF4b接口可以有一个或多个,例如IF4b1、IF4b2、IF4b3等,图4中未示出),以有线或无线的方式进行连接。
同时,各个局点的数据分析装置与本局点的调度装置之间建立连接,能够实时进行算法标识、算力状态、任务、控制指令等信息的双向传递。例如,图4中,第一数据分析装置110与第一调度装置120之间,可以通过IF1b接口(IF1b接口可以有一个或多个,例如IF1b1、IF1b2、IF1b3等,图4中未示出),以有线或无线的方式进行连接;第二数据分析装置210与第二调度装置220之间,可以通过IF2b接口(IF2b接口可以有一个或多个,例如IF2b1、IF2b2、IF2b3等,图4中未示出),以有线或无线的方式进行连接。
在一些实施例中,在第一局点100和中心调度装置300之间不能直接通信;和/或,中心调度装置300和第二局点200之间不能直接通信的情况下,如图5所示,可以引入边界安全服务器400,使第一调度装置120和中心调度装置300分别与边界安全服务器400连接;和/或,中心调度装置300和第二调度装置220分别与边界安全服务器400连接。
其中,边界安全服务器400用于在第一调度装置120和中心调度装置300之间进行信息传输;和/或,边界安全服务器400用于在中心调度装置300和第二调度装置220之间进行信息传输。
具体的,第一调度装置120可以将需要发送给第二调度装置220的跨域调度信息,上传至边界安全服务器400的存储空间中,进而中心调度装置300可以在边界安全服务器400的存储空间查看连接请求或跨域调度信息;和/或,中心调度装置300可以将需要发送给第二调度装置220的连接请求或跨域调度信息上传至边界安全服务器400的存储空间中,进而第二调度装置220可以在边界安全服务器400的存储空间中查看连接请求或跨域调度信息。
在一些实施例中,在基于本申请实施例提供的跨域分析系统进行跨域资源调度之前,需要进行以下操作流程:注册流程、算法同步流程和算力资源的信息同步流程。
1、注册流程
注册流程包括:数据分析装置的注册、调度装置的注册和边界安全服务器的注册。
(1)数据分析装置的注册
数据分析装置的注册指的是,每个数据分析装置需要在本局点的调度装置进行注册。例如,第一数据分析装置需要在第一调度装置进行注册,第二数据分析装置需要在第二调度装置进行注册。
可选的,数据分析装置在注册到调度装置时,需要填写的内容包括以下至少一项:互联网协议(internet protocol,IP)地址、端口号等。
可以理解的是,在注册完成之后,本局点内的数据分析装置和调度装置之间就建立了连接通信,可以进行算法、算力资源、任务、状态等信息的传递。
示例性的,以第一数据分析装置在第一调度装置中进行注册为例,如图6所示,注册流程包括:
Sa1、第一调度装置接收第一数据分析装置发起的注册申请。
其中,该注册申请包括:第一数据分析装置的IP地址和端口号。
Sa2、第一调度装置判断该注册申请的内容是否符合标准。
在一些实施例中,在该注册申请的内容不符合标准的情况下,执行以下步骤Sa3;在该注册申请的内容符合标准的情况下,执行以下步骤Sa4。
可选的,第一调度装置可以采用人工审核或自动审核的方式,判断该注册申请的内容是否符合标准。
Sa3、第一调度装置驳回该注册申请。
在一些实施例中,在第一调度装置驳回该注册申请之后,第一数据分析装置可以修改该注册申请,再重新发起,直至审核通过;或者,第一数据分析装置可以取消该注册申请。
Sa4、第一调度装置通过该注册申请。
如此,第一数据分析装置成功注册至第一调度装置。
(2)调度装置的注册
其中,不同部署模式下的跨域分析系统,调度装置的注册方式也不同。
示例性的,在跨域分析系统为如图2所示的全对称部署模式时,调度装置的注册指的是:每个局点的调度装置需要在除本局点之外的其他局点的调度装置进行注册。例如,第一调度装置需要在第二调度装置进行注册,第二调度装置需要在第一调度装置进行注册。
示例性的,在跨域分析系统为如图4所示的中心部署模式时,调度装置的注册指的是:每个局点的调度装置需要在中心调度装置进行注册。例如,第一调度装置需要在中心调度装置进行注册,第二调度装置需要在中心调度装置进行注册。
可选的,每个局点的调度装置在进行注册时,需要填写的内容包括以下至少一项:所属局点的名称、互联网协议(internet protocol,IP)地址、端口号等。
可以理解的是,在注册完成之后,各个局点的调度装置之间(或者,各个局点与中心调度装置之间)就建立了连接通信,可以进行算法标识、算力状态、任务、控制指令等信息的传递。
示例性的,以第一调度装置在第二调度装置中进行注册为例,如图7所示,注册流程包括:
Sb1、第二调度装置接收第一调度装置发起的注册申请。
其中,该注册申请包括:第一局点的名称、第一调度装置的IP地址、端口号和Kafka地址。
Sb2、第二调度装置判断该注册申请的内容是否符合标准。
在一些实施例中,在该注册申请的内容不符合标准的情况下,执行以下步骤Sa3;在该注册申请的内容符合标准的情况下,执行以下步骤Sa4。
可选的,第二调度装置可以采用人工审核或自动审核的方式,判断该注册申请的内容是否符合标准。
Sb3、第二调度装置驳回该注册申请。
在一些实施例中,在第二调度装置驳回该注册申请之后,第一调度装置可以修改该注册申请,再重新发起,直至审核通过;或者,第一调度装置可以取消该注册申请。
Sb4、第二调度装置通过该注册申请。
如此,第一调度装置成功注册至第二调度装置。
在一些实施例中,第一调度装置在第二调度装置中进行注册的流程,与上述第一调度装置在第二调度装置中进行注册的流程相同,此处不再赘述。
在另一实施例中,在跨域分析系统为如图4所示的中心部署模式时,第一调度装置和第二调度装置需要在中心调度装置中进行注册,注册流程与上述图7所示的注册流程相同,仅需将图7中的执行主体由第二调度装置替换为中心调度装置即可,此处不再赘述。
(3)边界安全服务器的注册
在两个局点之间不能直接通信的情况下,引入边界安全服务器,此时,边界安全服务器作为中介,使得两个局点之间能够进行间接通信。因此,则边界安全服务器需要分别在两个局点的调度装置中进行注册。如此,通过注册,使得边界安全服务器可以与两个局点的调度装置实现信息传输。
示例性的,在第一局点与第二局点之间不能直接通信的情况下,引入边界安全服务器,则该边界安全服务器需要分别在第一调度装置和第二调度装置中进行注册。
具体的,第一调度装置添加边界安全服务器的注册信息,以使得边界安全服务器在第一调度装置中进行注册。第二调度装置添加边界安全服务器的注册信息,以使得边界安全服务器在第二调度装置中进行注册。该注册信息包括:边界安全服务器的IP地址、端口、标识信息、验证信息(例如账号、密码等)以及地址信息(例如Kafka地址、映射后的Kafka地址、存储地址以及映射后的存储地址)等。
同时,第一调度装置或第二调度装置在边界安全服务器的存储空间中创建共享文件夹,用于存放跨域调度信息。同时,第一调度装置或第二调度装置,还可以在共享文件夹中生成第一子文件夹和第二子文件夹,第一子文件夹用于存储算法信息,第二子文件夹用于存储任务信息。
示例性的,在中心调度装置与第二局点之间不能直接通信的情况下,引入边界安全服务器,则边界安全服务器需要分别在中心调度装置和第二调度装置中进行注册。其中,边界安全服务器在中心调度装置中的注册流程与上述示例中,边界安全服务器在第一调度装置中的注册流程相同。
2、算法同步流程
算法同步指的是,各个局点的算法信息需保持一致。即每个局点的调度装置,需要将本局点的数据分析装置中发生变化的目标算法的算法变化信息,实时同步(或广播)至其他各个局点的调度装置中,以使得其他各个局点的调度装置根据该算法变化信息,进行算法同步。
可以理解的是,由于算法包本身较大,若在使用时才去下载,会影响任务的时效性,耽误任务分析进度。示例性的,若跨域资源调度申请的被申请方,没有待分析任务所需的算法,则无法处理该待分析任务。因此,本申请在进行跨域资源调度之前,需先进行算法同步流程,以确保各个局点的算法信息保持一致。
其中,不同部署模式下的跨域分析系统,算法同步流程也不同。
示例性的,在跨域分析系统为如图2所示的全对称部署模式时,如图8所示,算法同步流程可以包括:
Sc1、第一调度装置接收第一数据分析装置发送的算法变化信息。
其中,算法变化信息包括第一数据分析装置中发生变化的目标算法的标识和目标算法的下载地址。示例性的,目标算法可以为第一数据分析装置中新增的自有算法(非从其他局点下载的算法)。
示例的,当第一数据分析装置中新增自有算法(非从其他局点下载的算法)的情况下,第一数据分析装置向第一调度装置发送算法变化信息。
Sc2、第二调度装置接收第一调度装置发送的算法变化信息。
Sc3、第二调度装置向第二数据分析装置发送目标算法的下载地址。
在一些实施例中,在步骤Sc3之前,该方法还包括:第二调度装置向第二数据分析装置发送算法查询指令,该算法查询指令包括:目标算法的标识,该算法查询指令用于使第二数据分析装置根据目标算法的标识,查询第二数据分析装置中是否包括目标算法。
在第二数据分析装置中不包括目标算法的情况下,执行步骤Sc3。
Sc4、第二数据分析装置根据目标算法的下载地址下载目标算法。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,跨域分析系统为全对称部署模式下的算法同步流程可以实现为:
第一调度装置将算法变化信息和第一数据分析装置中发生变化的目标算法的算法包,上传至边界安全服务器的共享文件夹中的第一子文件夹(用于存储算法信息);同时,第一调度装置在第一子文件夹中增加摘要文件,该摘要文件用于快速查看目标算法的信息,该摘要文件包括:目标算法的算法包名称、算法厂商、算法版本、算法标识、芯片类型和文件大小等。
第二调度装置可以定时查看边界安全服务器的共享文件夹中的第一子文件夹的摘要文件,在发现新增目标算法时,向第二数据分析装置发送算法查询指令,以使得第二数据分析装置查询是否包括目标算法。
在第二数据分析装置中不包括目标算法的情况下,第二调度装置向第二数据分析装置发送目标算法的下载地址。其中,目标算法的下载地址为边界安全服务器的共享文件夹中的第一子文件夹的地址。
第二数据分析装置根据目标算法的下载地址,在边界安全网关中下载目标算法。
在一些实施例中,在第二数据分析装置完成目标算法的下载后,边界安全网关可以删除共享文件夹的第一子文件夹中存储的目标算法的算法信息,减少空间占用,提高存储空间利用率。
示例性的,在跨域分析系统为如图4所示的中心部署模式时,如图9所示,算法同步流程包括:
Sd1、第一调度装置接收第一数据分析装置发送的算法变化信息。
Sd2、中心调度装置接收第一调度装置发送的算法变化信息。
Sd3、第二调度装置接收中心调度装置发送的算法变化信息。
Sd4、第二调度装置向第二数据分析装置发送目标算法的下载地址。
在一些实施例中,在步骤Sd4之前,该方法还包括:第二调度装置向第二数据分析装置发送算法查询指令,该算法查询指令包括:目标算法的标识,该算法查询指令用于使第二数据分析装置根据目标算法的标识,查询第二数据分析装置中是否包括目标算法。
在第二数据分析装置中不包括目标算法的情况下,执行步骤Sd4。
Sd5、第二数据分析装置根据目标算法的标识下载目标算法。
在一些实施例中,在中心调度装置与第二局点之间不能直接通信的情况下,跨域分析系统为中心部署模式下的算法同步流程可以实现为:
第一调度装置接收第一数据分析装置发送的算法变化信息和第一数据分析装置中发生变化的目标算法的算法包;中心调度装置接收第一调度装置发送的算法变化信息和目标算法的算法包。
中心调度装置将算法变化信息和目标算法的算法包,上传至边界安全服务器的共享文件夹中的第一子文件夹(用于存储算法信息);同时,中心调度装置在第一子文件夹中增加摘要文件。
第二调度装置可以定时查看边界安全服务器的共享文件夹的第一子文件夹的摘要文件,在发现新增目标算法时,向第二数据分析装置发送算法查询指令,以使得第二数据分析装置查询是否包括目标算法。
在第二数据分析装置中不包括目标算法的情况下,第二调度装置向第二数据分析装置发送目标算法的下载地址,以使得第二数据分析装置根据目标算法的下载地址,在边界安全网关中下载目标算法。其中,目标算法的下载地址为边界安全服务器的共享文件夹中的第一子文件夹的地址。
在一些实施例中,在第二数据分析装置完成目标算法的下载后,边界安全网关可以删除共享文件夹的第一子文件夹中存储的目标算法的算法信息,减少空间占用,提高存储空间利用率。
3、算力资源的信息同步流程
算力资源的信息同步流程指的是,每个局点的调度装置,需要将本局点的算力资源的基本信息,实时同步(或广播)至其他各个局点的调度装置中。
其中,算力资源的基本信息包括:芯片类型、算力总规模、算力资源余量等。
可以理解的是,由于调度装置在获知跨域分析系统中每个局点的算力资源的情况下,才能够确定,哪一个局点能够作为跨域资源调度申请的被申请方,因此,调度装置需实时进行算力资源的信息同步流程。
其中,不同部署模式下的跨域分析系统,算力资源的信息同步流程也不同。
示例性的,在跨域分析系统为如图2所示的全对称部署模式时,如图10所示,算力资源的信息同步流程可以包括:
Se1、第一调度装置接收第一数据分析装置发送的算力资源变化信息。
其中,算力资源变化信息包括:第一局点的当前剩余算力信息。
示例的,第一数据分析装置在检测到算力资源发生变更的情况下,向第一调度装置发送算力资源变化信息。
Se2、第二调度装置接收第一调度装置发送的算力资源变化信息。
Se3、第二调度装置根据算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,第一局点的第一调度装置可以将算力资源变化信息(算力资源变化信息包括:第一局点的当前剩余算力信息)上传至边界安全服务器的共享文件夹中;相应的,第二局点的第二调度装置,可以定期查看边界安全服务器的共享文件夹,当检测到新增算力资源变化信息时,第二调度装置根据该算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
示例性的,在跨域分析系统为如图4所示的中心部署模式时,如图11所示,算力资源的信息同步流程可以包括:
Sf1、第一调度装置接收第一数据分析装置发送的算力资源变化信息。
Sf2、中心调度装置接收第一调度装置发送的算力资源变化信息。
Sf3、第二调度装置接收中心调度装置发送的算力资源变化信息。
Sf4、第二调度装置根据算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
在一些实施例中,在中心调度装置与第二局点之间不能直接通信的情况下,中心调度装置在接收到第一调度装置发送的算力资源变化信息(算力资源变化信息包括:第一局点的当前剩余算力信息)后,将该算力资源变化信息上传至边界安全服务器的共享文件夹中;相应的,第二局点的第二调度装置,可以定期查看边界安全服务器的共享文件夹,当检测到新增算力资源变化信息时,第二调度装置根据该算力资源变化信息,将第二调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
下面对本申请实施例提供的跨域资源调度方法进行详细说明。
具体地,本申请实施例提供的跨域资源调度方法应用于跨域分析系统,跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一数据分析装置和第一调度装置,第二局点包括:第二数据分析装置和第二调度装置。
请参考图12,为本申请实施例提供的一种跨域资源调度方法的流程图。如图12所示,该方法可以包括以下步骤:
S101、第一调度装置向第二调度装置发送连接请求。
其中,连接请求包括:第一资源额度。连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度。
在一些实施例中,连接请求所请求的资源额度可以有两种形式,例如:一、以视频路数为单位,请求的资源额度为对方局点的解析能力,即第一资源额度所请求的资源量为需要分析的视频路数。示例性的,第一资源额度可以为分析10路视频所需的资源。二、以芯片为单位,请求的资源额度为对方局点的GPU卡,即第一资源额度所请求的资源量为需要的GPU卡的数量和类型。示例性的,第一资源额度可以为三张GPU卡。
其中,两种形式的资源量的区别如表1所示:
表1
可以理解的是,本申请实施例对连接请求所请求的资源度的形式不作具体限制,用户可以根据实际使用情况选取。
在一些实施例中,第一调度装置中记载有跨域分析系统中所有局点的资源余量情况,则第一调度装置可以根据连接请求所请求的第一资源额度,从其他局点中确定第二局点,并将该连接请求发送给第二调度装置。
示例性的,第二局点为局内资源余量大于或等于第一资源额度的局点。若局内资源余量大于或等于第一资源额度的局点有多个的情况下,第二局点为局内资源余量大于或等于第一资源额度,且距离第一局点最近的局点。
又一实例性的,在跨域分析系统中所有局点的资源余量均小于第一资源额度的情况下,第二局点可以为多个,即同时向多个局点发送连接请求,其中,向每个局点发送的连接请求所请求的资源额度之和等于第一资源额度。
在一些实施例中,第一调度装置向第二调度装置发送连接请求之前,该方法还包括:第一调度装置添加第二局点的注册信息。其中,第二局点的注册信息包括:第二调度装置的地址信息。
可以理解的是,第一调度装置在具有第二调度装置的相关信息(例如地址信息)的情况下,才能向第二调度装置发起连接请求,因此第二调度装置需要先在第一调度装置中注册,使得第一调度装置添加第二局点的注册信息(包括第二调度装置的地址信息)。
在一些实施例中,第一调度装置向第二调度装置发送连接请求的同时,第一调度装置还可以向第二调度装置发送验证信息。其中,验证信息用于验证第一局点的合法性。
在一些实施例中,本申请实施例提供的跨域分析系统还包括:终端设备,该终端设备可以与用户进行交互,接收用户的指示。这样一来,上述连接请求可以由用户确定并发送给第一调度装置,并由第一调度装置发送给第二调度装置的。
示例性的,如图13所示,终端设备可以在显示屏上展示连接请求界面,用户可以在该界面上设置连接请求的内容。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,上述步骤S101可以实现为:第一调度装置通过边界安全服务器向第二调度装置发送的跨域资源调度申请。
具体的,第一调度装置可以将连接请求生成一种轻量级的数据交换格式(javascript object notation,JSON)文件,并将该JSON文件上传至边界安全服务器的共享文件夹中,并将该JSON文件命名为第二局点的名称。
相应的,第二调度装置可以定期查看边界安全服务器的共享文件夹,当检测到新增连接请求时,第二调度装置获取该连接请求的内容。
S102、第二调度装置接收第一调度装置发送的连接请求,并确定第二局点的资源是否能够被借用;以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
在一些实施例中,上述方法还包括:第二调度装置接收第一调度装置发送的验证信息;根据验证信息,验证第一局点是否为合法平台。其中,验证信息用于验证第一局点的合法性。
这样一来,上述步骤S102可以实现为:在第一局点为合法平台的情况下,第二调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
在一些实施例中,本申请实施例提供的跨域分析系统还包括:终端设备,该终端设备可以与用户进行交互,接收用户的指示。这样一来,第二调度装置可以将连接请求的相关信息发送给终端设备,以使得终端设备将该连接请求展示在跨域资源管理界面,由用户进行审核。
示例性的,终端设备的跨域资源管理界面可以如图14所示,该界面包括本局点向其他局点发起的连接请求的连接情况,以及其他局点向本局点发起的连接请求的审核情况。例如,如图14所示,终端设备的跨域资源管理界面还可以显示本局点向其他局点申请的资源额度,以及其他局点向本局点申请(也即本局点审核的)资源额度。
在一些实施例中,在第二局点的资源不能够被借用;或者,第二局点内能够被借用的资源量小于第一资源额度的情况下,第二调度装置可以驳回第一调度装置发送的连接请求。
在一些实施例中,在第二局点的资源能够被借用,且第二局点内能够被借用的资源量大于或等于第一资源额度的情况下,执行以下步骤S103。
S103、第二调度装置与第一调度装置建立连接。
可以理解的是,本申请提供的跨域资源调度方法,应用于跨域分析系统,该跨域分析系统包括多个局点(一个局点可以看作一个视频图像智能分析平台),每个局点包括调度装置。其中,一个局点可以通过本局点的调度装置向其他局点的调度装置发送连接请求(包括第一资源额度),以使得其他局点的调度装置确定本局点的资源是否能够被借用,在其他局点的资源能够被借用的情况下,第一调度装置与第二调度装置建立连接,并向第二局点借用第一资源额度的资源量。如此,利用本申请提供的方法,使原本相互独立的各个局点之间,可以基于调度装置实现通信。这样一来,一个局点可以通过发送连接请求的方式,向另一个局点借资源,实现了算力资源的跨域(此处将跨局点的信息交互,称为跨域)调度,提高了全域算力资源的利用率。
此外,在第二调度装置与第一调度装置建立连接的情况下,第二局点将第一资源额度的资源借给第一局点,如此在第一局点中出现局内资源余量不足,无法承担待分析任务的情况,即可向将该待分析任务发送至第二局点,使得第二局点使用第一局点预先借用的资源来处理该待分析任务。这样一来,一方面,使得待分析任务能够及时得到处理,提高任务处理效率;另一方面,能够解决不同局点忙闲不均的问题,提高全域的算力资源利用率。
S104、第一调度装置接收第一数据分析装置发起的跨域资源调度申请。
其中,跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务。示例性的,待分析任务可以是步态识别任务(识别目标视频/图片中的步态信息)、人体识别任务(识别目标视频/图片中的人体)、人脸识别任务(分析目标视频/图片中的人脸信息)、车辆识别任务(识别目标视频/图片中的车辆)。
此外,跨域资源调度申请还可以包括以下至少一项:待分析任务申请方信息、待分析任务所需资源的大小、待分析数据(待分析任务是对待分析数据进行分析的任务)获取地址(示例性的,若待分析数据为视频数据,则获取地址为视频取流IP地址,若待分析数据为图片数据,则获取地址为图片的URL地址)、待分析任务所需算法信息(包括待分析任务所需算法的标识,以及待分析任务所需算法的下载地址等)、分析结果存储地址、申请理由等。
示例性的,若待分析任务是分析目标视频中的车辆。则跨域资源调度申请为:待分析任务:分析目标视频中的车辆;待分析任务申请方信息:第一局点的标识和第一局点的地址信息;待分析任务所需资源的大小:分析目标视频的所需的算力资源的最大额度,例如,待分析任务共需分析10路目标视频的GPU算力资源;待分析数据存储地址:目标视频的视频取流IP地址;待分析任务所需算法信息:视频结构化算法;分析结果存储地址为:分析出的车辆属性、车辆特征模型、车辆图片的存储地址;申请理由为:第一局点的局内资源余量不满足待分析任务所需的资源大小。
在一些实施例中,每一个局点与固定的视频监控点连接,例如第一局点与第一视频监控点连接,则第一局点用于分析第一视频监控点对应的视频数据分析任务;第二局点与第二视频监控点连接,则第二局点用于分析第二视频监控点对应的视频数据分析任务。
则第一跨域资源调度申请可以用于申请在第二局点中分析第二视频监控点对应的视频数据分析任务;或者,第一跨域资源调度申请还可以用于申请在第二局点中分析第三方视频监控点(除第一视频监控点和第二视频监控点之外的其他视频监控点)对应的视频数据分析任务。
示例性的,若第一局点为西湖区的西湖调度平台、第二局点为滨江区的滨江调度平台,则第一跨域资源调度申请为西湖调度平台发起的,用于向滨江调度平台申请分析滨江区域的视频监控点位;或者,第一跨域资源调度申请为西湖调度平台发起的,用于向滨江调度平台申请分析拱墅区域(第三方)的视频监控点位。
作为一种可能的实现方式,第一数据分析装置在检测到待分析任务所需资源的大小,大于或等于第一阈值时,生成跨域资源调度申请,向第一调度装置发送跨域资源调度申请。
示例性的,若第一局点的局内资源余量为可分析5路视频的GPU算力资源;则第一阈值为5,则第一数据分析装置在检测到待分析任务所需资源的大小为分析8路视频的GPU算力资源时,根据该待分析任务,生成跨域资源调度申请,并向第一调度装置发送跨域资源调度申请。
作为另一种可能的实现方式,第一数据分析装置在检测到第一局点内的算力资源出现离线状态时,生成跨域资源调度申请,向第一调度装置发送跨域资源调度申请。
示例性的,若第一局点内的执行节点1出现离线状态时,则第一数据分析装置在检测到待分析任务所需的执行节点中包括执行节点1时,根据该待分析任务,生成跨域资源调度申请。
在一些实施例中,本申请实施例提供的跨域分析系统还包括:终端设备,该终端设备可以与用户进行交互,接收用户的指示。这样一来,用户可以在终端设备的任务管理界面,发起待分析任务,并在第一局点中的资源余量不足的情况下,根据该待分析所需资源的大小,确定资源被申请方第二局点,并生成跨域资源调度申请。
示例性的,终端设备的任务管理界面可以如图15所示,其中,如图15中的(a)所示,若第一局点的资源余量小于待分析任务所需资源的大小时,显示资源不足提示框,进而,如图15中的(b)所示,用户可以在申请跨域资源界面,根据该待分析所需资源的大小,确定资源被申请方第二局点,并生成跨域资源调度申请。
S105、第一调度装置确定第一资源额度是否大于或等于待分析任务所需资源的大小。
在一些实施例中,在第一资源额度小于待分析任务所需资源的大小时,第一调度装置向第二调度装置发送扩容申请;扩容申请用于向第二局点申请第二资源额度;第二资源额度包括待分析任务比第一资源额度多出部分的资源量。
在一些实施例中,在第一资源额度大于或等于待分析任务所需资源的大小时,执行以下步骤S106。
S106、第一调度装置向第二调度装置发送跨域资源调度申请。
在一些实施例中,第二调度装置对跨域资源调度申请进行审核。示例性的,审核的内容包括:对待分析任务申请方信息进行审核、对待分析任务所需的算法信息进行审核、对申请理由进行审核等。
在第一调度装置发送的跨域资源调度申请审核不通过的情况下,第二调度装置驳回第一调度装置发送的跨域资源调度申请。
在第一调度装置发送的第一跨域资源调度申请审核通过的情况下,第二调度装置将该跨域资源调度申请发送至第二数据分析装置。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,上述步骤S106可以实现为:第二调度装置通过边界安全服务器接收第一调度装置发送的跨域资源调度申请。
具体的,第一调度装置可以将跨域资源调度申请生成JSON文件,并将该JSON文件上传至边界安全服务器的共享文件夹的第二子文件夹(用于存储任务信息)中,并将该JSON文件命名为待分析任务的名称。
相应的,第二调度装置可以定期查看边界安全服务器的共享文件夹的第二子文件夹,当检测到新增待分析任务时,第二调度装置根据第二子文件夹中的存储的待分析任务的内容,在第二局点内部生成一条新任务(与待分析任务相同),并在第二局点内执行该新任务。
S107、第二调度装置向第二数据分析装置发送跨域调度申请。
S108、第二数据分析装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
在一些实施例中,第二数据分析装置根据第一局点预先借用的资源,分析待分析任务,得到分析结果。
在一些实施例中,待分析任务是对待分析数据进行分析的任务。跨域资源调度申请还包括:待分析数据的获取地址;则上述方法还包括:第二数据分析装置根据待分析数据的获取地址,获取待分析数据。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,第一调度装置还需将待分析数据和/或待分析数据的获取地址存储在边界安全服务器的共享文件夹的第二子文件夹中。
示例性的,若待分析数据为实时视频数据,则第一调度装置将实时视频数据的视频点位信息和取流地址,以JSON文件的格式存储在边界安全服务器的共享文件夹的第二子文件夹中。相应的,第二调度装置可以在边界安全服务器的共享文件夹的第二子文件夹中获取实时视频数据的视频点位信息和取流地址,进而第二数据分析装置根据实时视频数据的视频点位信息和取流地址,获取实时视频数据。
又一示例性的,若待分析数据为录像视频数据,则第一调度装置将录像视频数据,以JSON文件的格式存储在边界安全服务器的共享文件夹的第二子文件夹中,进而数据分析装置可以在边界安全服务器的共享文件夹的第二子文件夹中下载该录像视频数据。
若第一调度装置检测到本地没有相应的录像视频数据,则第一调度装置在边界安全服务器的共享文件夹的第二子文件夹中写入“录像视频数据不存在”的任务异常信息,进而第一调度装置从本地下载录像,作为离线视频数据,存储在边界安全服务器的共享文件夹的第二子文件夹中,并删除之前的任务,生成新任务。
又一示例性的,若待分析数据为离线视频数据,则第一调度装置将离线视频数据,以JSON文件的格式存储在边界安全服务器的共享文件夹的第二子文件夹中,进而数据分析装置可以在边界安全服务器的共享文件夹的第二子文件夹中下载该离线视频数据。
在一些实施例中,在第二数据分析装置获取到待分析数据之后,边界安全服务器可以删除共享文件夹的第二子文件夹中的待分析数据文件,减少空间占用,提高存储空间利用率。
在一些实施例中,若第二数据分析装置不能获取到待分析数据,即存在视频取流异常的情况时,将取流异常结果发送给第二调度装置,由第二调度装置将取流异常结果转发给第一调度装置,使得第一调度装置获知该取流异常结果。其中,取流异常结果包括:首次根据待分析数据的获取地址获取视频数据时返回的错误码,以及视频数据的码率。进而第一调度装置根据取流异常结果分析数据采集服务器的取流瓶颈是否达到上限(示例性的,单台数据采集服务器的取流瓶颈可以为600M),若达到上限则提示增加数据采集服务器;若未达到上限,则判断为其他取流异常情况,此时,若待分析数据为实时视频数据,则重新下发待分析任务;若待分析数据为录像视频数据或离线视频数据,则重新获取流地址后,再重新下发待分析任务。
在一些实施例中,跨域资源调度申请还包括:待分析任务所需算法的标识和待分析任务所需算法的下载地址;则上述方法还包括:第二数据分析装置根据待分析任务所需算法的标识,查询第二数据分析装置中是否存在该算法,并在第二数据分析装置中不存在该算法的情况下,第二数据分析装置根据待分析任务所需算法的下载地址,直接从第一数据分析装置中下载待分析任务所需算法。
示例的,第二调度装置向第二数据分析装置发送算法查询申请;其中,算法查询申请包括待分析任务所需算法的标识;算法查询申请用于使第二数据分析装置查询是否存在待分析任务所需算法;第二数据分析装置根据算法查询申请,进行算法查询,并将查询结果发送给第二调度装置;第二调度装置在查询结果为第二数据分析装置中不存在待分析任务所需算法时,向第二数据分析装置发送算法下载申请;算法下载申请中包括待分析任务所需算法的下载地址;进而第二数据分析装置,根据待分析任务所需算法的下载地址,直接从第一数据分析装置中下载待分析任务所需算法。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,第一调度装置将待分析任务所需算法的算法包存储在边界安全服务器的共享文件夹的第二子文件夹中。进而,在第二数据分析装置中不存在该算法的情况下,第二数据分析装置可以在边界安全服务器的共享文件夹的第二子文件夹中下载待分析任务所需算法的算法包。
在一些实施例中,若第二局点没有待分析任务所需算法的使用权,则第二局点无法执行待分析任务。因此,在第二局点没有待分析任务所需算法的使用权的情况下,第二局点需要获取待分析任务所需算法的使用权。
示例性的,第二局点可以申请短期试用权,导入授权文件,以获取待分析任务所需算法的使用权。
如此,上述步骤S108可以具体实现为:第二数据分析装置根据待分析数据和待分析任务所需算法,分析待分析任务,得到分析结果。
在一些实施例中,跨域资源调度申请还包括:分析结果的存储地址;则在由上述步骤S108得到分析结果之后,上述方法还包括:第二数据分析装置将分析结果存储在分析结果的存储地址所指示的存储空间(在存储分析结果时,无需借助调度装置,是由第二数据分析装置直接根据结果存储地址进行存储的)。
在一些实施例中,第二数据分析装置通过Kafka系统将分析结果存储在分析结果的存储地址所指示的存储空间。其中Kafka是一种高吞吐量的分布式发布订阅消息系统,可以实时处理大量数据以满足各种需求场景。Kafka系统主要由两种消息传递模式:点对点传递模式和发布-订阅传递模式。本申请实施例,对消息传递模式不作特殊限制。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,第二数据分析装置可以通过视频图像传输服务器(例如视图库网关),将分析结果存储在分析结果的存储地址所指示的存储空间。
示例性的,第二数据分析装置可以将分析结果和分析结果存储地址发送给视频图像传输服务器,由视频图像传输服务器将分析结果存储在分析结果的存储地址所指示的存储空间。
可以理解的是,在本申请实施例提供的跨域资源调度方法中,第二数据分析装置可以直接根据待分析数据的获取地址,获取待分析数据(例如,视频数据或图片数据等);在第二数据分析装置中不存在待分析数据所需算法的情况下,根据待分析数据所需算法的下载地址,直接获取待分析数据所需算法;根据分析结果存储地址,将分析结果存储在相应位置。也即第二数据分析装置可以直接获取业务数据或直接存储分析结果数据,不需要调度装置进行转发。而调度装置只需要负责任务控制数据的转发即可。这样一来,使得调度装置的配置更加轻量化,同时,也能够提高数据转发效率。
在一些实施例中,在执行上述步骤S108的过程中,上述方法还包括:第二调度装置接收第一调度装置发送的控制指令,并转发给第二数据分析装置,使得第二数据分析装置根据该控制指令对分析待分析任务的状态进行控制。
示例性的,第一局点的用户可以通过第一调度装置发送控制指令,经由第二调度装置转发,向第二数据分析装置中的分析任务发送控制指令,对分析任务的处理状态进行以下控制操作:启动、修改、删除或停止等。
又一示例性的,在第二数据分析装置执行第二待分析任务的过程中,若第一局点获知,第二局点的局内资源余量小于待分析任务所需资源的大小时,第一局点还可以更换局点,并通过第一调度装置向第二调度装置发送局点更换消息。
又一示例性的,若第一局点获知待分析任务在第二局点中长时间处于等待状态或异常状态,第一调度装置可以向第二调度装置发送异常排查指令,以使得第二局点排查异常原因;或者,第一调度装置可以向第二调度装置发送优先执行指令,以使得第二局点停止低优先级的任务,优先执行待分析任务。
在一些实施例中,本申请实施例提供的跨域分析系统还包括:终端设备,该终端设备可以与用户进行交互,接收用户的指示。其中,该终端设备包括显示屏,可以显示跨域资源调度申请执行状态,如此,使用户可以获知跨域资源调度申请执行状态。
示例性的,如图16所示,终端设备的显示屏上可以显示任务执行状态界面,该任务执行状态界面可以包括:每一个待分析任务的名称、任务执行状态,任务所需资源等信息。
在一些实施例中,在第一局点与第二局点之间不能直接通信的情况下,第二调度装置可以通过边界安全服务器将第二数据分析装置分析待分析任务的状态传送给第一调度装置;第一调度装置可以通过边界安全服务器将控制指令传送给第二调度装置,由第二调度装置转发给第二数据分析装置,使得第二数据分析装置根据该控制指令对分析待分析任务的状态进行控制。
示例性的,第二调度装置将待分析任务的标识、第二数据分析装置分析待分析任务的状态生成JSON文件,并将该JSON文件存储在边界安全服务器的共享文件夹的第二子文件夹中,并将该JSON文件命名为待分析任务的名称和执行状态。
相应的,第一调度装置可以在边界安全服务器的共享文件夹的第二子文件夹中查看待分析任务的进度。
在一些实施例中,在第一调度装置获取待分析任务的进度之后,边界安全服务器可以删除共享文件夹的第二子文件夹中的任务进度文件,减少空间占用,提高存储空间利用率。
又一示例性的,第一调度装置将对待分析任务的控制指令生成JSON文件,并将该JSON文件存储在边界安全服务器的共享文件夹的第二子文件夹中,并将该JSON文件夹命名为待分析任务的名称和控制指令的时间戳。
相应的,第二调度装置可以定期查看边界安全服务器的共享文件夹的第二子文件夹,当检测到新增控制指令时,将该控制指令下达至第二数据分析装置,以使得第二数据分析装置根据该控制指令对分析待分析任务的状态进行控制。
在一些实施例中,在第二调度装置获取控制指令之后,边界安全服务器可以删除共享文件夹的第二子文件夹中的控制指令文件,减少空间占用,提高存储空间利用率。
可以理解的是,第一调度装置,能够实时获取第二数据分析装置分析待分析任务的处理状态,并对该状态进行控制。这样一来,在上层应用对待分析任务进行修改时,第一调度装置能够及时作出相应修改操作。
在一些实施例中,在跨域分析系统为如图4所示的中心部署模式时,如图17所示,本申请实施例提供的一种跨域资源调度方法可以实现为以下步骤:
S201、第一调度装置向中心调度装置发送连接请求。
其中,连接请求包括:第一资源额度。
S202、中心调度装置根据连接请求,从其他局点中确定第二局点。
在一些实施例中,中心调度装置中记载有跨域分析系统中所有局点的资源余量情况,则中心调度装置可以根据连接请求所请求的第一资源额度,从其他局点中确定第二局点,并将该连接请求发送给第二调度装置。
示例性的,第二局点为局内资源余量大于或等于第一资源额度的局点。若局内资源余量大于或等于第一资源额度的局点有多个的情况下,第二局点为局内资源余量大于或等于第一资源额度,且距离第一局点最近的局点。
又一实例性的,在跨域分析系统中所有局点的资源余量均小于第一资源额度的情况下,第二局点可以为多个,即同时向多个局点发送连接请求,其中,向每个局点发送的连接请求所请求的资源额度之和等于第一资源额度。
S203、中心调度装置将连接请求发送给第二调度装置。
S204、第二调度装置接收连接请求,并确定第二局点的资源是否能够被借用;以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
在一些实施例中,在第二局点的资源不能够被借用;或者,第二局点内能够被借用的资源量小于第一资源额度的情况下,第二调度装置可以驳回该连接请求。
在一些实施例中,在第二局点的资源能够被借用,且第二局点内能够被借用的资源量大于或等于第一资源额度的情况下,执行以下步骤S205。
S205、第二调度装置与第一调度装置建立连接。并将该建立连接的消息发送给中心调度装置。
S206、中心调度装置将建立连接的消息发送给第一调度装置。
S207、第一调度装置接收第一数据分析装置发起的跨域资源调度申请。
其中,跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务。
S208、第一调度装置向中心调度装置发送跨域资源调度申请。
S209、中心调度装置确定第一资源额度是否大于或等于待分析任务所需资源的大小。
在一些实施例中,在第一资源额度小于待分析任务所需资源的大小时,中心调度装置向第二调度装置发送扩容申请;扩容申请用于向第二局点申请第二资源额度;第二资源额度包括待分析任务比第一资源额度多出部分的资源量。
在一些实施例中,在第一资源额度大于或等于待分析任务所需资源的大小时,执行以下步骤S210。
S210、中心调度装置向第二调度装置发送跨域资源调度申请。
S211、第二调度装置向第二数据分析装置发送跨域调度申请。
S212、第二数据分析装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
在一些实施例中,第二数据分析装置根据第一局点预先借用的资源,分析待分析任务,得到分析结果。
本申请实施例提供了一种调度装置,应用于跨域分析系统,应用于跨域分析系统,跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:上述调度装置,第二局点包括:第二调度装置。
如图18所示,该调度装置600包括:发送单元601和连接单元602。在一些实施例中,该调度装置600,还包括:注册单元603、接收单元604和处理单元605。
发送单元601,用于向第二调度装置发送连接请求,以使得第二调度装置确定第二局点的资源是否能够被借用;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度。
连接单元602,用于在第二局点的资源能够被借用的情况下,调度装置与第二调度装置建立连接。
在一种可能的实现方式中,注册单元603,用于添加第二局点的注册信息;第二局点的注册信息包括:第二调度装置的地址信息。
另一种可能的实现方式中,第一局点还包括第一数据分析装置;接收单元604,用于接收第一数据分析装置发起的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;处理单元605,用于确定第一资源额度是否大于或等于待分析任务所需资源的大小;发送单元601,还用于在第一资源额度大于或等于待分析任务所需资源的大小时,向第二调度装置发送跨域资源调度申请,以使得第二调度装置根据跨域资源调度申请,在第二局点内执行待分析任务,得到分析结果。
另一种可能的实现方式中,在第一资源额度小于待分析任务所需资源的大小时,发送单元601,还用于向第二调度装置发送扩容申请;扩容申请用于向第二局点申请第二资源额度;第二资源额度包括待分析任务比第一资源额度多出部分的资源量。
当然,本申请实施例提供的调度装置600包括但不限于上述模块。
本申请实施例提供了一种调度装置,应用于跨域分析系统,跨域分析系统包括:第一局点和第二局点;其中,第一局点包括:第一数据分析装置和第一调度装置,第二局点包括:第二数据分析装置和上述调度装置。
如图19所示,该调度装置700包括:接收单元701、处理单元702和连接单元703。在一些实施例中,该调度装置700还包括:发送单元704和信息变更单元705。
接收单元701,用于接收第一调度装置发送的连接请求;连接请求包括:第一资源额度;连接请求用于请求与第二局点建立连接,并向第二局点借用第一资源额度。
处理单元702,用于确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
连接单元703,用于在第二局点的资源能够被借用,且第二局点内能够被借用的资源量大于或等于第一资源额度的情况下,与第一调度装置建立连接。
在一种可能的实现方式中,接收单元701,还用于接收第一调度装置发送的验证信息;验证信息用于验证第一局点的合法性;处理单元702,还用于根据验证信息,验证第一局点是否为合法平台;处理单元702,具体用于在第一局点为合法平台的情况下,调度装置确定第二局点内的资源是否能够被借用,以及第二局点内能够被借用的资源量是否大于或等于第一资源额度。
另一种可能的实现方式中,接收单元701,还用于接收第一调度装置发送的跨域资源调度申请;跨域资源调度申请包括:待分析任务,用于申请在第一局点之外的其他局点执行待分析任务;发送单元704,用于将跨域资源调度申请发送给第二数据分析装置,以使得第二数据分析装置分析待分析任务,得到分析结果。
另一种可能的实现方式中,上述跨域分析系统还包括:中心调度装置,中心调度装置分别连接第一调度装置和第二调度装置;上述接收单元701,还用于通过中心调度装置接收跨域资源调度申请,跨域资源调度申请是第一调度装置向中心调度装置发送的,以使得中心调度装置根据跨域资源调度申请,从与第一局点建立连接的其他局点中确定第二局点,并向第二调度装置发送跨域资源调度申请;其中,第二局点的局内资源余量大于或等于待分析任务所需资源的大小。
另一种可能的实现方式中,发送单元704,还用于向第二数据分析装置发送算法查询申请,算法查询申请包括:待分析任务所需算法的标识,以使得第二数据分析装置根据待分析任务所需算法的标识,查询第二数据分析装置中是否包括待分析任务所需算法;发送单元704,还用于在第二数据分析装置中不包括待分析任务所需算法的情况下,向第二数据分析装置发送算法下载申请;算法下载申请包括:待分析任务所需算法的下载地址,以使得第二数据分析装置根据待分析任务所需算法的下载地址,下载待分析任务所需算法。
另一种可能的实现方式中,接收单元701,还用于接收第一调度装置发送的控制指令,并根据控制指令对第二数据分析装置分析待分析任务的状态进行控制。
另一种可能的实现方式中,接收单元701,还用于接收第一调度装置发送的算法变化信息;算法变化信息包括第一数据分析装置中发生变化的目标算法的标识和目标算法的下载地址;发送单元704,还用于向第二数据分析装置发送目标算法的标识,以使得第二数据分析装置根据目标算法的标识,查询第二数据分析装置中是否存在目标算法;发送单元704,还用于在第二数据分析装置中不存在目标算法的情况下,向第二数据分析装置发送目标算法的下载地址,以使得第二数据分析装置根据目标算法的下载地址,下载目标算法。
另一种可能的实现方式中,接收单元701,还用于接收第一调度装置发送的算力资源变化信息;算力资源变化信息包括:第一局点的当前剩余算力信息;信息变更单元705,用于根据算力资源变化信息,将上述调度装置中记载的第一局点的剩余算力信息,变更为第一局点的当前剩余算力信息。
另一种可能的实现方式中,上述跨域分析系统还包括:终端设备;发送单元704,还用于向终端设备发送第二跨域资源调度申请,以使得终端设备接收第二跨域资源调度申请,并接收用户为第二跨域资源调度申请指示的第三局点。
另一种可能的实现方式中,接收单元701,还用于在第一局点与第二局点之间不能直接通信的情况下,通过边界安全服务器接收第一调度装置发送的跨域资源调度申请。
当然,本申请实施例提供的调度装置700包括但不限于上述模块。
在采用硬件的形式实现上述集成的模块的功能的情况下,本申请另一实施例提供了一种调度装置的结构示意图。如图20所示,该调度装置800包括:处理器802,通信接口803,总线804。可选的,该调度装置800还可以包括存储器801。
处理器802,可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器802可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器802也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
通信接口803,用于与其他设备通过通信网络连接。该通信网络可以是以太网,无线接入网,无线局域网(wireless local area networks,WLAN)等。
存储器801,可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
作为一种可能的实现方式,存储器801可以独立于处理器802存在,存储器801可以通过总线804与处理器802相连接,用于存储指令或者程序代码。处理器802调用并执行存储器801中存储的指令或程序代码时,能够实现本申请实施例提供的跨域资源调度方法。
另一种可能的实现方式中,存储器801也可以和处理器802集成在一起。
总线804,可以是扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。总线804可以分为地址总线、数据总线、控制总线等。为便于表示,图20中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令。当计算机指令在计算机上运行时,使得计算机执行上述方法实施例所示的跨域资源调度方法流程中的各个步骤。
本申请另一实施例还提供一种计算机程序产品,该计算机程序产品包括计算机指令。当计算机指令在计算机上运行时,使得计算机执行上述方法实施例所示的跨域资源调度方法流程中的各个步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上所述,仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式,可想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (13)
1.一种跨域资源调度方法,其特征在于,应用于跨域分析系统,所述跨域分析系统包括:第一局点和第二局点;其中,所述第一局点包括:第一调度装置,所述第二局点包括:第二调度装置;所述方法包括:
所述第一调度装置向所述第二调度装置发送连接请求,以使得所述第二调度装置确定所述第二局点的资源是否能够被借用;所述连接请求包括:第一资源额度;所述连接请求用于请求与所述第二局点建立连接,并向所述第二局点借用所述第一资源额度;
在所述第二局点的资源能够被借用的情况下,所述第一调度装置与所述第二调度装置建立连接。
2.根据权利要求1所述的方法,其特征在于,所述第一调度装置向所述第二调度装置发送连接请求之前,所述方法还包括:
所述第一调度装置添加所述第二局点的注册信息;所述第二局点的注册信息包括:所述第二调度装置的地址信息。
3.根据权利要求1所述的方法,其特征在于,所述第一局点还包括第一数据分析装置,所述第一调度装置与所述第二调度装置建立连接之后,所述方法还包括:
所述第一调度装置接收所述第一数据分析装置发起的跨域资源调度申请;所述跨域资源调度申请包括:待分析任务,用于申请在所述第一局点之外的其他局点执行所述待分析任务;
所述第一调度装置确定所述第一资源额度是否大于或等于所述待分析任务所需资源的大小;
在所述第一资源额度大于或等于所述待分析任务所需资源的大小时,所述第一调度装置向所述第二调度装置发送所述跨域资源调度申请,以使得所述第二调度装置根据所述跨域资源调度申请,在所述第二局点内执行所述待分析任务,得到分析结果。
4.根据权利要求3所述的方法,其特征在于,在所述第一资源额度小于所述待分析任务所需资源的大小时,所述方法还包括:
所述第一调度装置向所述第二调度装置发送扩容申请;所述扩容申请用于向所述第二局点申请第二资源额度;所述第二资源额度包括所述待分析任务比所述第一资源额度多出部分的资源量。
5.一种跨域资源调度方法,其特征在于,应用于跨域分析系统,所述跨域分析系统包括:第一局点和第二局点;其中,所述第一局点包括:第一数据分析装置和第一调度装置,所述第二局点包括:第二数据分析装置和第二调度装置;所述方法包括:
所述第二调度装置接收所述第一调度装置发送的连接请求;所述连接请求包括:第一资源额度;所述连接请求用于请求与所述第二局点建立连接,并向所述第二局点借用所述第一资源额度;
所述第二调度装置确定所述第二局点内的资源是否能够被借用,以及所述第二局点内能够被借用的资源量是否大于或等于所述第一资源额度;
在所述第二局点的资源能够被借用,且所述第二局点内能够被借用的资源量大于或等于所述第一资源额度的情况下,所述第二调度装置与所述第一调度装置建立连接。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述第二调度装置接收所述第一调度装置发送的验证信息;所述验证信息用于验证所述第一局点的合法性;
所述第二调度装置根据所述验证信息,验证所述第一局点是否为合法平台;
所述第二调度装置确定所述第二局点内的资源是否能够被借用,以及所述第二局点内能够被借用的资源量是否大于或等于所述第一资源额度,包括:
在所述第一局点为合法平台的情况下,所述第二调度装置确定所述第二局点内的资源是否能够被借用,以及所述第二局点内能够被借用的资源量是否大于或等于所述第一资源额度。
7.根据权利要求5所述的方法,其特征在于,所述第二调度装置与所述第一调度装置建立连接之后,所述方法还包括:
所述第二调度装置接收所述第一调度装置发送的跨域资源调度申请;所述跨域资源调度申请包括:待分析任务,用于申请在所述第一局点之外的其他局点执行所述待分析任务;
所述第二调度装置将所述跨域资源调度申请发送给所述第二数据分析装置,以使得所述第二数据分析装置分析所述待分析任务,得到分析结果。
8.一种调度装置,其特征在于,应用于跨域分析系统,所述跨域分析系统包括:第一局点和第二局点;其中,所述第一局点包括:所述调度装置,所述第二局点包括:第二调度装置;所述调度装置包括:
发送单元,用于向所述第二调度装置发送连接请求,以使得所述第二调度装置确定所述第二局点的资源是否能够被借用;所述连接请求包括:第一资源额度;所述连接请求用于请求与所述第二局点建立连接,并向所述第二局点借用所述第一资源额度;
连接单元,用于在所述第二局点的资源能够被借用的情况下,所述调度装置与所述第二调度装置建立连接。
9.根据权利要求8所述的装置,其特征在于,
所述调度装置还包括注册单元,用于添加所述第二局点的注册信息;所述第二局点的注册信息包括:所述第二调度装置的地址信息;
所述第一局点还包括第一数据分析装置,所述调度装置还包括接收单元和处理单元;所述接收单元,用于接收所述第一数据分析装置发起的跨域资源调度申请;所述跨域资源调度申请包括:待分析任务,用于申请在所述第一局点之外的其他局点执行所述待分析任务;所述处理单元,用于确定所述第一资源额度是否大于或等于所述待分析任务所需资源的大小;所述发送单元,还用于在所述第一资源额度大于或等于所述待分析任务所需资源的大小时,向所述第二调度装置发送所述跨域资源调度申请,以使得所述第二调度装置根据所述跨域资源调度申请,在所述第二局点内执行所述待分析任务,得到分析结果;
在所述第一资源额度小于所述待分析任务所需资源的大小时,所述发送单元,还用于向所述第二调度装置发送扩容申请;所述扩容申请用于向所述第二局点申请第二资源额度;所述第二资源额度包括所述待分析任务比所述第一资源额度多出部分的资源量。
10.一种调度装置,其特征在于,应用于跨域分析系统,所述跨域分析系统包括:第一局点和第二局点;其中,所述第一局点包括:第一数据分析装置和第一调度装置,所述第二局点包括:第二数据分析装置和所述调度装置;所述调度装置包括:
接收单元,用于接收所述第一调度装置发送的连接请求;所述连接请求包括:第一资源额度;所述连接请求用于请求与所述第二局点建立连接,并向所述第二局点借用所述第一资源额度;
处理单元,用于确定所述第二局点内的资源是否能够被借用,以及所述第二局点内能够被借用的资源量是否大于或等于所述第一资源额度;
连接单元,用于在所述第二局点的资源能够被借用,且所述第二局点内能够被借用的资源量大于或等于所述第一资源额度的情况下,与所述第一调度装置建立连接。
11.根据权利要求10所述的装置,其特征在于,
所述接收单元,还用于接收所述第一调度装置发送的验证信息;所述验证信息用于验证所述第一局点的合法性;所述处理单元,还用于根据所述验证信息,验证所述第一局点是否为合法平台;所述处理单元,具体用于在所述第一局点为合法平台的情况下,所述调度装置确定所述第二局点内的资源是否能够被借用,以及所述第二局点内能够被借用的资源量是否大于或等于所述第一资源额度;
所述接收单元,还用于接收所述第一调度装置发送的跨域资源调度申请;所述跨域资源调度申请包括:待分析任务,用于申请在所述第一局点之外的其他局点执行所述待分析任务;所述调度装置还包括:发送单元,用于将所述跨域资源调度申请发送给所述第二数据分析装置,以使得所述第二数据分析装置分析所述待分析任务,得到分析结果。
12.一种跨域分析系统,其特征在于,包括:第一局点和第二局点;其中,所述第一局点包括:第一数据分析装置和如权利要求8-9所述的调度装置,所述第二局点包括:第二数据分析装置和如权利要求10-11所述的调度装置。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机指令;其中,当所述计算机指令在计算机上运行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210476424.XA CN114827286B (zh) | 2022-04-29 | 2022-04-29 | 跨域分析系统、跨域资源调度方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210476424.XA CN114827286B (zh) | 2022-04-29 | 2022-04-29 | 跨域分析系统、跨域资源调度方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114827286A true CN114827286A (zh) | 2022-07-29 |
CN114827286B CN114827286B (zh) | 2024-03-15 |
Family
ID=82511835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210476424.XA Active CN114827286B (zh) | 2022-04-29 | 2022-04-29 | 跨域分析系统、跨域资源调度方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114827286B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126895A (zh) * | 2019-11-18 | 2020-05-08 | 青岛海信网络科技股份有限公司 | 一种复杂场景下调度智能分析算法的管理仓库及调度方法 |
CN112134802A (zh) * | 2020-09-23 | 2020-12-25 | 杭州雾联科技有限公司 | 一种基于终端触发式的边缘算力资源调度方法及系统 |
CN113760180A (zh) * | 2021-04-22 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 存储资源管理方法、装置、设备及计算机可读存储介质 |
CN113886058A (zh) * | 2020-07-01 | 2022-01-04 | 中国联合网络通信集团有限公司 | 一种跨集群资源调度方法和装置 |
-
2022
- 2022-04-29 CN CN202210476424.XA patent/CN114827286B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126895A (zh) * | 2019-11-18 | 2020-05-08 | 青岛海信网络科技股份有限公司 | 一种复杂场景下调度智能分析算法的管理仓库及调度方法 |
CN113886058A (zh) * | 2020-07-01 | 2022-01-04 | 中国联合网络通信集团有限公司 | 一种跨集群资源调度方法和装置 |
CN112134802A (zh) * | 2020-09-23 | 2020-12-25 | 杭州雾联科技有限公司 | 一种基于终端触发式的边缘算力资源调度方法及系统 |
CN113760180A (zh) * | 2021-04-22 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 存储资源管理方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114827286B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210099516A1 (en) | Technologies for transparent function as a service arbitration for edge systems | |
US9183031B2 (en) | Provisioning of a virtual machine by using a secured zone of a cloud environment | |
US20180367997A1 (en) | 5g dynamic slice and network identity instantiation, termination, and access management system and method | |
CN115033340A (zh) | 一种宿主机的选择方法及相关装置 | |
CN112600761A (zh) | 一种资源分配的方法、装置及存储介质 | |
US20220278944A1 (en) | Method for allocating resources of a network infrastructure | |
CN107480302A (zh) | 一种基于企业级应用场景的松耦合数据集成同步实现方法 | |
CN115460659B (zh) | 用于带宽调节的无线通信数据分析系统 | |
CN111970162A (zh) | 一种超融合架构下的异构gis平台服务中控系统 | |
CN114827286A (zh) | 跨域分析系统、跨域资源调度方法、装置及存储介质 | |
CN115185543B (zh) | 模型部署方法、打包方法、装置、设备及存储介质 | |
US11595471B1 (en) | Method and system for electing a master in a cloud based distributed system using a serverless framework | |
Xu et al. | A mathematical model and dynamic programming based scheme for service function chain placement in NFV | |
CN112399388A (zh) | 一种实现边缘计算的方法、装置和系统 | |
CN113852509B (zh) | 一种设备接入方法、系统、介质及电子终端 | |
CN114785790A (zh) | 跨域分析系统、跨域资源调度方法、装置及存储介质 | |
CN114237914A (zh) | 一种基于混合云管理调度系统 | |
CN114064317A (zh) | 分布式系统中的节点调用方法及相关装置 | |
US20230351374A1 (en) | System for accelerated distributed ledger and for digital wallet deployment | |
CN112217882B (zh) | 一种用于服务开放的分布式网关系统 | |
CN104660403A (zh) | 一种设备授权方法及服务器 | |
CN118132010B (zh) | 一种数据存算方法及装置 | |
CN117176819B (zh) | 一种服务网络按服务卸载的方法及装置 | |
CN116628724A (zh) | 用户访问控制方法、装置、设备及存储介质 | |
CN116431552A (zh) | 一种数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |