CN109254833B - 图片分析方法、装置及系统、计算机设备 - Google Patents
图片分析方法、装置及系统、计算机设备 Download PDFInfo
- Publication number
- CN109254833B CN109254833B CN201710566202.6A CN201710566202A CN109254833B CN 109254833 B CN109254833 B CN 109254833B CN 201710566202 A CN201710566202 A CN 201710566202A CN 109254833 B CN109254833 B CN 109254833B
- Authority
- CN
- China
- Prior art keywords
- picture
- picture analysis
- task
- suspicious
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 636
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000002159 abnormal effect Effects 0.000 claims description 95
- 230000000875 corresponding effect Effects 0.000 claims description 83
- 238000010191 image analysis Methods 0.000 claims description 32
- 230000002596 correlated effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 238000003703 image analysis method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明关于一种图片分析方法、装置及系统、计算机设备,属于视频分析技术领域。包括:当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务;确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值。本发明解决了中心节点任务下发的灵活性较低的问题,本发明用于图片分析。
Description
技术领域
本发明涉及视频分析技术领域,特别涉及一种图片分析方法、装置及系统、计算机设备。
背景技术
图片分析技术是一种用模式识别和人工智能的方法对物景进行分析、描述、分类和解释的技术,图片分析又称为景物分析或图像理解。视频中的海量图片可以通过图片分析系统采用图片分析技术进行分析。
图片分析系统通常包括中心节点和多个计算节点,中心节点将海量的图片打包成多个图片分析任务,其中每个图片分析任务可以包括多张关联图片(例如视频中的每秒钟内传输的图片为一个图片分析任务),各个计算节点在获取不同的图片分析任务后,并行执行各自的图片分析任务。由于每个图片分析任务中包括多张图片,当某个计算节点获取的图片分析任务中存在该计算节点不支持的格式的图片时,该计算节点执行该图片分析任务的过程中,会出现程序崩溃(也称进程崩溃)。
相关技术中,当某一计算节点发生程序崩溃时,中心节点可以将使该计算节点发生程序崩溃的图片分析任务拆分成多个子图片分析任务,每个子图片分析任务由该图片分析任务中的一张图片组成,一个子图片分析任务可以称为可疑图片分析任务,然后将该多个可疑图片分析任务与待执行的正常图片分析任务混合发送至图片分析系统中的计算节点,当存在至少一个可疑图片分析任务使计算节点发生程序崩溃的次数超过预设崩溃次数时,中心节点向图片分析系统中的计算节点依次发送该至少一个可疑图片分析任务,直至计算节点发生程序崩溃,最后中心节点可以将该使计算节点发生程序崩溃的可疑图片分析任务丢弃。
在上述过程中,同一计算节点可以同时执行多个图片分析任务,中心节点通常以固定的速率进行任务的混合下发,任务下发的灵活性较低。
发明内容
为了解决相关技术中中心节点通常以固定的速率进行任务的混合下发,任务下发的灵活性较低的问题,本发明实施例提供了一种图片分析方法、装置及系统、计算机设备。所述技术方案如下:
第一方面,提供了一种图片分析方法,用于图片分析系统的中心节点,所述方法包括:
当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务;
确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;
在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
可选地,所述确定所述目标比值对应的预设参数的目标阈值,包括:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,所述对应关系记录有至少两组比值区间与阈值的对应关系,且所述对应关系中记录的比值区间与阈值正相关。
可选地,所述中心节点中设置有正常图片任务队列和异常图片任务队列,所述正常图片任务队列用于记录待执行的正常图片分析任务,每个所述正常图片分析任务由至少一张图片组成,所述异常图片任务队列用于记录可疑图片分析任务以及所述可疑图片分析任务使计算节点发生程序崩溃的次数,
所述在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,包括:
将所述图片发送周期的开始时刻,所述正常图片任务队列中所有正常图片分析任务的图片数量与所述异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为所述目标比值。
可选地,所述在所述图片发送周期,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
在所述图片发送周期内,将所述正常图片任务队列中的正常图片分析任务和所述异常图片任务队列中的异常图片分析任务混合发送至所述图片分析系统中的计算节点,且混合发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
可选地,所述方法还包括:
当所述图片分析系统中的某一计算节点发生程序崩溃时,更新所述异常图片任务队列中的可疑图片分析任务,以及每个所述可疑图片分析任务使所述图片分析系统中的计算节点发生程序崩溃的次数;
检测所述异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务;
当所述异常图片任务队列中存在使所述图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,丢弃所有所述目标可疑图片分析任务。
可选地,在所述丢弃所述目标可疑图片分析任务之后,所述方法还包括:
将所述异常图片任务队列中剩余的可疑图片分析任务添加至所述正常图片任务队列中;
删除所述异常图片任务队列中的所有可疑图片分析任务。
可选地,所述目标阈值为目标令牌个数阈值,
所述向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
采用令牌桶算法向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标令牌个数阈值。
可选地,所述预设参数为任务数量,一个令牌对应一个图片分析任务,所述令牌个数为所述图片分析任务的任务数量;
或者,所述预设参数为图片数量,一个令牌对应一张图片,所述令牌个数为所述图片分析任务的图片数量。
可选地,所述阈值包括可变的正常阈值和固定的可疑阈值,
所述查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,包括:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标正常阈值;
所述向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
向所述图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的所述正常图片分析任务的预设参数的值小于或等于所述目标正常阈值,发送的所述可疑图片分析任务的预设参数的值小于或等于所述可疑阈值。
可选地,每个所述可疑图片分析任务由使计算节点发生程序崩溃的图片分析任务中的一张图片组成。
第二方面,提供了一种图片分析装置,用于图片分析系统的中心节点,所述装置包括:
第一确定模块,用于当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务;
第二确定模块,用于确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;
发送模块,用于在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
可选地,所述第二确定模块,用于:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,所述对应关系记录有至少两组比值区间与阈值的对应关系,且所述对应关系中记录的比值区间与阈值正相关。
可选地,所述中心节点中设置有正常图片任务队列和异常图片任务队列,所述正常图片任务队列用于记录待执行的正常图片分析任务,每个所述正常图片分析任务由至少一张图片组成,所述异常图片任务队列用于记录可疑图片分析任务以及所述可疑图片分析任务使计算节点发生程序崩溃的次数,
所述第一确定模块,用于:
将所述图片发送周期的开始时刻,所述正常图片任务队列中所有正常图片分析任务的图片数量与所述异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为所述目标比值。
可选地,所述发送模块,用于:
在所述图片发送周期内,将所述正常图片任务队列中的正常图片分析任务和所述异常图片任务队列中的异常图片分析任务混合发送至所述图片分析系统中的计算节点,且混合发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
可选地,所述装置还包括:
更新模块,用于当所述图片分析系统中的某一计算节点发生程序崩溃时,更新所述异常图片任务队列中的可疑图片分析任务,以及每个所述可疑图片分析任务使所述图片分析系统中的计算节点发生程序崩溃的次数;
检测模块,用于检测所述异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务;
丢弃模块,用于当所述异常图片任务队列中存在使所述图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,丢弃所有所述目标可疑图片分析任务。
可选地,所述装置还包括:
添加模块,用于将所述异常图片任务队列中剩余的可疑图片分析任务添加至所述正常图片任务队列中;
删除模块,用于删除所述异常图片任务队列中的所有可疑图片分析任务。
可选地,所述目标阈值为目标令牌个数阈值,
所述发送模块,用于:
采用令牌桶算法向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标令牌个数阈值。
可选地,所述预设参数为任务数量,一个令牌对应一个图片分析任务,所述令牌个数为所述图片分析任务的任务数量;
或者,所述预设参数为图片数量,一个令牌对应一张图片,所述令牌个数为所述图片分析任务的图片数量。
可选地,所述阈值包括可变的正常阈值和固定的可疑阈值,
所述第二确定模块,用于:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标正常阈值;
所述发送模块,用于:
向所述图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的所述正常图片分析任务的预设参数的值小于或等于所述目标正常阈值,发送的所述可疑图片分析任务的预设参数的值小于或等于所述可疑阈值。
可选地,每个所述可疑图片分析任务由使计算节点发生程序崩溃的图片分析任务中的一张图片组成。
第三方面,提供了一种图片分析系统,所述系统包括:计算节点和第二方面任一所述的装置。
第四方面,提供了一种计算机设备,包括处理器和存储器,
其中,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现第一方面任一所述的图片分析方法。
可选地,第五方面,提供了一种存储介质,其上存储有计算机程序,当所述存储介质中的程序由处理器执行时,能够执行第一方面任一所述的图片分析方法。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例提供的图片分析方法、装置及系统、计算机设备,可以由根据目标比值确定的目标阈值来约束下发的图片分析任务的任务数量或图片数量,可以实现任务混合下发过程中任务下发速率的动态调整,因此任务下发的灵活性较高。
附图说明
图1是本发明实施例提供的一种图片分析方法所涉及的图片分析系统的结构示意图;
图2是本发明实施例提供的一种图片分析方法的流程图;
图3是本发明实施例提供的另一种图片分析方法的流程图;
图4-1是本发明实施例提供的一种中心节点的图片任务队列的结构示意图;
图4-2是本发明实施例提供的另一种中心节点的图片任务队列的结构示意图;
图5-1是本发明实施例提供的一种图片分析装置的结构示意图;
图5-2是本发明实施例提供的另一种图片分析装置的结构示意图;
图5-3是本发明实施例提供的又一种图片分析装置的结构示意图;
图6是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种图片分析方法所涉及的图片分析系统10的结构示意图,如图1所示,该图片分析系统10可以包括:中心节点101和至少一个计算节点102。
中心节点101可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心等等,在此不作限定,例如中心节点可以是视频服务器等。计算节点102可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
中心节点101和计算节点102之间可以通过有线网络或无线网络建立连接。
在本发明的一个可选实施例中,中心节点中可以设置有正常图片任务队列和异常图片任务队列。其中,正常图片任务队列用于记录待执行的正常图片分析任务,包括中心节点生成的图片分析任务,每个正常图片分析任务由至少一张图片组成;异常图片任务队列用于记录可疑图片分析任务,以及每个可疑图片分析任务使计算节点发生程序崩溃的次数,每个可疑图片分析任务由使计算节点发生程序崩溃的图片分析任务中的一张图片组成(也即是每个可疑图片分析任务只包含一张图片)。
实际应用中,中心节点获取视频流后,可以将视频中的图片进行打包生成图片分析任务,并将图片分析任务保存在正常图片任务队列中,中心节点在获取正常图片任务队列中的图片分析任务后,可以发送给计算节点,计算节点可以执行图片分析任务;当异常图片任务队列中存在可疑图片分析任务时,中心节点可以将正常图片任务队列中的任务和异常图片任务队列中的任务混合下发至计算节点。
可选地,中心节点中还可以设置有完成图片任务队列,完成图片任务队列用于记录中心节点管理的计算节点执行图片分析任务得到的分析结果,每个分析结果包括至少一张图片的分析结果。
图2是本发明实施例提供的一种图片分析方法的流程图,可以用于如图1所示的图片分析系统10中的中心节点101,如图2所示,该方法可以包括:
步骤201、当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,正常图片分析任务为除可疑图片分析任务以外的图片分析任务。
在本发明的一个可选实施例中,在图片分析系统中,每个计算节点可以同时执行多个图片分析任务,当某一计算节点发生程序崩溃时,中心节点可以将该计算节点上执行的多个图片分析任务均确定为使该计算节点发生程序崩溃的图片分析任务,并根据该多个图片分析任务生成可疑图片分析任务,然后将生成的可疑图片分析任务保存在中心节点中。该可疑图片分析任务可以包括一张或多张图片。
步骤202、确定目标比值对应的预设参数的目标阈值,该预设参数为任务数量或者图片数量。
步骤203、在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于目标阈值。
综上所述,本发明实施例提供的图片分析方法,通过在图片发送周期的开始时刻,确定中心节点待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,并确定目标比值对应的预设参数的目标阈值,在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务时,使发送的图片分析任务的预设参数的值小于或等于目标阈值。可以由根据目标比值确定的目标阈值来约束下发的图片分析任务的任务数量或图片数量,可以实现任务混合下发过程中任务下发速率的动态调整,因此任务下发的灵活性较高。
在本发明的可选实施例中,中心节点管理多个计算节点,中心节点向该多个计算节点周期性混合发送正常图片分析任务和可疑图片分析任务,图片发送周期为预先设置的,例如该图片发送周期为5分钟。示例性地,该图片发送周期也可以为中心节点的处理单位时间,也即是该中心节点能够支持的数据处理的最小时长,这样可以实现任务的实时下发,本发明实施例以连续多个图片发送周期为例进行说明,图3是本发明实施例提供的另一种图片分析方法的流程图,可以用于如图1所示的图片分析系统10,如图3所示,该方法可以包括:
步骤301、在第i图片发送周期内,中心节点向多个计算节点发送多个正常图片分析任务,i为正整数。
在本发明的一个可选实施例中,图片分析系统中的各个计算节点上电后,向中心节点申请执行图片分析任务,当中心节点确定该计算节点有能力执行图片分析任务时,可以向该计算节点分配图片分析任务。
可选地,假设中心节点为视频服务器,中心节点在获取视频流后,可以将视频流中的大量图片一一打包成一个个图片分析任务,每个图片分析任务包括至少一张图片。为了加快处理速度,通常一个图片分析任务包括多张图片,该多张图片为具有关联关系的图片,例如,可以为视频中的每秒钟内传输的图片,打包后的图片分析任务记录在中心节点的正常图片任务队列中。
中心节点将正常图片任务队列中的多个图片分析任务发送给多个计算节点之后,中心节点的正常图片任务队列中可以保存有已发送的任务,当中心节点接收到计算节点分析完的上述多个图片分析任务时,在完成图片任务队列中保存分析完的该多个图片分析任务的分析结果并删除正常图片任务队列中的该多个图片分析任务;或者,中心节点将多个图片分析任务发送给计算节点之后,可以直接删除正常图片任务队列中的多个图片分析任务,等待计算节点对该多个图片分析任务进行相应的反馈。
需要说明的是,在第i图片发送周期,异常图片任务队列中不存在可疑图片分析任务,中心节点可以根据初始下发速率向多个计算节点发送多个正常图片分析任务,例如该初始下发速率可以为每个图片发送周期(每5分钟)发送90张图片。
步骤302、多个计算节点执行多个图片分析任务。
每个计算节点接收到中心节点发送的图片分析任务后,开始执行图片分析任务,也即是对图片分析任务中的每张图片进行分析。
步骤303、第一计算节点在执行图片分析任务的过程发生程序崩溃,向中心节点发送第一分析失败信息。
其中,该第一计算节点为多个计算节点中的任意一个计算节点。
第一计算节点在执行图片分析任务的过程中,如果出现不可逆的情况(例如图片分析任务中存在第一计算节点不支持的格式的图片),可能导致第一计算节点发生程序崩溃。在第一计算节点发生程序崩溃后,第一计算节点向中心节点反馈第一分析失败信息,该第一分析失败信息用于指示第一计算节点上的图片分析任务分析失败,第一计算节点发生程序崩溃。
当中心节点在向多个计算节点发送多个图片分析任务后删除了正常图片任务队列中的多个图片分析任务时,第一计算节点则需要在向中心节点发送的第一分析失败信息中携带该第一计算节点上的图片分析任务,以便中心节点对该图片分析任务做后续处理;当中心节点的正常图片任务队列中还保存有相应的图片分析任务时,第一计算节点向中心节点发送的第一分析失败信息中则无需携带该图片分析任务,只需上报错误提示即可。该错误提示可以包含该第一计算节点上的图片分析任务的标识。
可选地,中心节点可以监控计算节点是否发生程序崩溃,具体的,在中心节点将多个图片分析任务发送给多个计算节点之后,若在预设时间段(该预设时间段可以为上述的一个图片发送周期)内未接收到第一计算节点发送的图片分析任务对应的分析结果时,中心节点可以确定该第一计算节点发生程序崩溃,若正常图片任务队列中还保存有分配给该第一计算节点的图片分析任务,中心节点可以直接对分配给该第一计算节点的图片分析任务做后续处理;若正常图片任务队列中未保存有分配给该计算节点的图片分析任务,中心节点可以从第一计算节点获取相应的图片分析任务并对该获取到的图片分析任务做后续处理。
步骤304、中心节点根据第一分析失败信息生成至少一个可疑图片分析任务。
可选地,每个可疑图片分析任务包括第一计算节点上的图片分析任务中的一张图片。
在本发明的一个可选实施例中,根据使图片分析系统中的计算节点发生程序崩溃的图片分析任务生成的每个可疑图片分析任务均分配有图片身份标识(英文:Identity;简称:ID)。
其中,每个图片ID包括:源ID,该源ID用于标识每个可疑图片分析任务所源于的图片分析任务,例如根据某一图片分析任务生成的至少一个可疑图片分析任务中的每个可疑图片分析任务源自于该某一图片分析任务,每个可疑图片分析任务携带有相应的图片ID,该图片ID中包括的源ID用于指示该某一图片分析任务。
可选地,每个图片ID还包括图片序列号,该图片序列号用于标识图片在源ID所指示的图片分析任务中的排列顺序。例如,在根据某一图片分析任务生成的至少一个可疑图片分析任务中,每个可疑图片分析任务的图片ID所包含的图片序列号用于标识相应图片在该某一图片分析任务中的顺序。源ID用于标识每个可疑图片分析任务所源于的图片分析任务,例如,根据某一图片分析任务生成的至少一个可疑图片分析任务中的源ID可以为该某一图片分析任务生成时的时间戳。又例如,根据某一图片分析任务生成的至少一个可疑图片分析任务中的源ID也可以是该某一图片分析任务的编号。
示例的,假设某一计算节点上的某一图片分析任务包括5张图片,中心节点将5张图片拆分成5个可疑图片分析任务,每个可疑图片分析任务携带的图片ID分别可以为:201610251855-1、201610251855-2、201610251855-3、201610251855-4和201610251855-5,其中,201610251855为源ID,可选地,该源ID既可以为该某一图片分析任务生成时的时间戳,也可以为中心节点向该某一计算节点发送该某一图片分析任务时的时间戳,或者为其它标记或者序号。
示例的,假设某一计算节点上的某一图片分析任务包括3张图片,该某一图片分析任务的编号为A108,每个可疑图片分析任务携带的图片ID分别可以为:A1081、A1082、A1083,其中A108为源ID。
相应的,第一计算节点发生程序崩溃时,中心节点可以将第一计算节点上的图片分析任务拆分成多个可疑图片分析任务,并为每个可疑图片分析任务分配一个图片ID,并将该多个可疑图片分析任务记录在异常图片任务队列中。
在本发明的可选实施例中,每个可疑图片分析任务使计算节点发生程序崩溃的初始化次数可以根据具体场景设置。例如,当假定某一图片分析任务使第一计算节点发生程序崩溃等价于该某一图片分析任务中的多个可疑图片分析任务第一次使计算节点发生程序崩溃时,将异常图片任务队列中新添加的每个可疑图片分析任务使计算节点发生程序崩溃的次数记为1。当假定某一图片分析任务使第一计算节点发生程序崩溃不为该某一图片分析任务中的多个可疑图片分析任务第一次使计算节点发生程序崩溃时,将异常图片任务队列中新添加的每个可疑图片分析任务使计算节点发生程序崩溃的次数记为0,此时该某一图片分析任务使第一计算节点发生程序崩溃仅用于在异常图片任务队列中标识拆分该某一图片分析任务得到的多个可疑图片分析任务,而不用于计算该多个可疑图片分析任务使计算节点发生程序崩溃的总次数。
步骤305、在第i+1图片发送周期的开始时刻,中心节点确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值。
其中,待发送的正常图片分析任务可以为正常图片任务队列中的任务,待发送的可疑图片分析任务可以为异常图片任务队列中的任务。由于在一个图片发送周期中,正常图片任务队列中的正常图片分析任务和异常图片任务队列中的可疑图片分析任务通常是混合均匀下发的,例如正常图片任务队列中的任务有90张图片,异常图片任务队列中的任务有2张图片,中心节点每发1个可疑图片分析任务(一张图片),就会发送正常图片任务队列中的45张图片对应的正常图片分析任务,因此中心节点可以将正常图片任务队列中所有正常图片分析任务的图片数量和异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为目标比值。
假设在第i+1图片发送周期的开始时刻,中心节点获取的正常图片任务队列中正常图片分析任务的图片数量为90,异常图片任务队列中可疑图片分析任务的图片数量为2,则目标比值为45∶1。
步骤306、中心节点确定目标比值对应的预设参数的目标阈值。
可选的,中心节点可以查询预设的比值区间与阈值的对应关系,以确定目标比值所在比值区间对应的目标阈值。其中,对应关系记录有至少两组比值区间与阈值的对应关系,且对应关系中记录的比值区间与阈值正相关,预设参数可以为任务数量或者图片数量。
需要说明的是,该至少两组比值区间中任意两组比值区间不存在交集,且该至少两组比值区间的并集为全集。
实际应用中,阈值可以包括可变的正常阈值和固定的可疑阈值,该可疑阈值可以记录在中心节点中;也可以记录在比值区间与阈值的对应关系中,则中心节点查询预设的比值区间与阈值的对应关系,可以包括:
查询预设的比值区间与阈值的对应关系,以确定可疑阈值和目标比值所在比值区间对应的目标正常阈值。
可选的,可以采用令牌桶算法确定比值区间与阈值的对应关系,当预设参数为任务数量时,一个令牌对应一个图片分析任务,令牌个数表示图片分析任务的任务数量;当预设参数为图片数量时,一个令牌对应一张图片,令牌个数表示图片分析任务的图片数量。确定比值区间与阈值的对应关系,也即是确定比值区间与令牌个数阈值的对应关系,假设对应关系记录有十组比值区间与令牌个数阈值的对应关系,对应关系可以以对应关系表的方式体现,具体可以参见表1。
表1
比值区间 | 令牌个数阈值 |
(99∶1,+∞) | 100 |
[90∶1,99∶1) | 90 |
[80∶1,90∶1) | 80 |
[70∶1,80∶1) | 70 |
[60∶1,70∶1) | 60 |
[50∶1,60∶1) | 50 |
[40∶1,50∶1) | 40 |
[30∶1,40∶1) | 30 |
[20∶1,30∶1) | 20 |
(-∞,20∶1) | 10 |
需要说明的是,本发明实施例中,无论一个令牌对应一个图片分析任务或者一个令牌对应一张图片,目标比值均为待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的比值,表1中的比值区间即为正常图片分析任务的图片数量和可疑图片分析任务的图片数量的比值区间。
为了便于说明,下述实施例中以预设参数为图片数量(即一个令牌对应一张图片)为例进行说明。
假设可疑阈值为10,在如表1所示的对应关系中,可变的正常阈值的变化范围为0至90。
参考步骤305中的例子,中心节点确定目标比值为45∶1,则根据表1可以得出,目标令牌个数阈值(目标阈值)为40,则此时目标正常阈值可以确定为30。
步骤307、在第i+1图片发送周期内,中心节点向多个计算节点发送多个图片分析任务,且发送的多个图片分析任务的预设参数的值小于或等于目标阈值,该多个图片分析任务包括正常图片分析任务和可疑图片分析任务。
可选地,步骤307可以包括:在第i+1图片发送周期,将正常图片任务队列中的正常图片分析任务和异常图片任务队列中的异常图片分析任务混合发送至图片分析系统中的多个计算节点,且混合发送的图片分析任务的预设参数的值小于或等于目标阈值。
进一步的,中心节点向多个计算节点发送多个图片分析任务,发送的多个图片分析任务的预设参数的值小于或等于目标阈值,指的是中心节点向图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的正常图片分析任务的预设参数的值小于或等于目标正常阈值,发送的可疑图片分析任务的预设参数的值小于或等于可疑阈值。
实际应用中,中心节点可以采用令牌桶算法向图片分析系统中的计算节点发送图片分析任务,使发送的图片分析任务的预设参数的值小于或等于目标令牌个数阈值。
令牌桶算法可以用于限制速率。大小固定的令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满,后面再产生的令牌就会从桶中溢出,最后桶中可以保存的最大令牌数(也即是令牌个数阈值)不会超过桶的大小。因此,可以通过调整令牌桶的令牌个数阈值来进行图片分析任务的下发速率调整。
令牌桶算法可以基于令牌桶中是否存在令牌来指示什么时候可以发送图片分析任务。如果令牌桶中存在足够的令牌,则允许发送图片分析任务;而如果令牌桶中令牌不足,则不允许发送图片分析任务。因此,可以通过调整令牌桶的令牌个数阈值来控制令牌桶中产生的令牌的数量,从而调整图片分析任务发送的速率。
示例的,以步骤306中的例子为例进行说明,目标阈值为40,可疑阈值为10,目标正常阈值为30,也即是分配给可疑图片分析任务的图片的令牌个数为10,分配给正常图片分析任务的图片的令牌个数为30,则在第i+1图片发送周期,中心节点将正常图片任务队列中的正常图片分析任务和异常图片任务队列中的可疑图片分析任务混合发送至图片分析系统中的计算节点,发送的正常图片分析任务的图片数量小于或等于30,发送的可疑图片分析任务的图片数量小于或等于10。在中心节点向图片分析系统中的计算节点发送正常图片分析任务的过程中,假设中心节点先向计算节点发送了包括25张图片的若干个正常图片分析,则该若干个正常图片分析任务中的25张图片消耗了25个令牌,下一个待发送的正常图片分析任务包括6张图片,由于剩余的令牌个数为5,而该包括6张图片的正常图片分析任务需要消耗6个令牌,因此该包括6张图片的正常图片分析任务无法下派,也即是最终在第i+1图片发送周期,中心节点向图片分析系统中的计算节点发送的正常图片分析任务的图片数量为25。
相关技术中,由于同一计算节点可以同时执行多个图片分析任务,若该计算节点发生程序崩溃时,该多个图片分析任务中的每个图片分析任务都被认为是导致计算节点发生程序崩溃的任务,因此该多个图片分析任务要被拆分成若干个可疑图片分析任务,而实际上使该计算节点发生程序崩溃的图片分析任务可能为该多个图片分析任务中的一个图片分析任务。为了准确识别出该一个图片分析任务,中心节点需要对上述多个图片分析任务中的每个图片分析任务进行拆分并生成可疑图片分析任务(每个可疑图片分析任务包括一张图片),再将所有可疑图片分析任务与正常图片分析任务混合发送至图片分析系统中的计算节点执行,并重复执行上述过程直至确认使计算节点发生程序崩溃的目标子图片分析任务。
在相关技术中的图片分析方法中,由于目标可疑图片分析任务每次均会使计算节点发生程序崩溃,中心节点需要将与该目标可疑图片分析任务在同一计算节点上执行的图片分析任务均拆分并生成可疑图片分析任务,因此生成的子图片分析任务的数量较大,增加了图片分析系统中的计算节点需要执行的任务量,导致图片分析过程较复杂。
而本发明实施例中,第一目标比值越小,说明在第i+1图片发送周期,中心节点向计算节点发送的可疑图片分析任务的数量越多,通过减小令牌个数阈值以减小正常阈值,可以减少中心节点向计算节点发送的正常图片分析任务的图片数量,从而可以减慢中心节点向计算节点发送图片分析任务的速度,一方面可以避免频繁出现计算节点发生程序崩溃的现象,另一方面,由于中心节点向计算节点发送的正常图片分析任务的图片数量变少,在某一计算节点发生程序崩溃时,根据正常图片分析任务新生成的可疑图片分析任务的数量也相应减少,从而减少了图片分析系统中的计算节点需要执行的任务量,简化了图片分析过程。
例如如表1所示,当某一图片发送周期中心节点确定的目标比值小于20∶1时,设置令牌个数阈值为10,相应的,目标正常阈值为0,也即是在该图片发送周期,中心节点不向计算节点下发正常图片分析任务,此时图片分析系统中的计算节点仅用于执行可疑图片分析任务,从而在计算节点发生程序崩溃时,不会产生新的可疑图片分析任务,可以减少了图片分析系统中的计算节点需要执行的任务量,简化了图片分析过程。
步骤308、多个计算节点执行多个图片分析任务,当第二计算节点发生程序崩溃时,向中心节点发送第二分析失败信息。
步骤308中的多个图片分析任务包括正常图片分析任务和可疑图片分析任务。
第二计算节点为该多个计算节点中的任一计算节点,此步骤的具体实施过程可以参考上述步骤303,在此不做赘述。
步骤309、中心节点根据第二分析失败信息更新异常图片任务队列。
需要说明的是,在上述第二计算节点发生程序崩溃时,中心节点可以识别第二计算节点上的图片分析任务的来源队列,具体的,可以通过识别图片分析任务的编号或图片ID来确定每个图片分析任务来自于正常图片任务队列或异常图片任务队列。中心节点对来自于正常图片任务队列的任务的处理方式可以参考上述步骤304,在此不做赘述。
另外,中心节点可以更新来自于异常图片任务队列中的所有可疑图片分析任务在异常图片任务队列中的使计算节点发生程序崩溃的次数。
示例的,假设异常图片任务队列中记录的第一可疑图片分析任务使计算节点发生程序崩溃的次数为5,当该第一可疑图片分析任务使第二计算节点发生程序崩溃时,中心节点将异常图片任务队列中的该第一可疑图片分析任务使计算节点发生程序崩溃的次数更新为6。
步骤310、中心节点检测异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务。
可选地,预设崩溃次数可以为10,本发明实施例对预设崩溃次数不做限定,可根据实际应用需求确定预设崩溃次数。
步骤311、当异常图片任务队列中存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,中心节点丢弃所有目标可疑图片分析任务;并执行步骤312。
由于目标可疑图片分析任务使图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数,该目标可疑图片分析任务为使计算节点发生程序崩溃的可疑图片分析任务的概率很高,因此丢弃该目标可疑图片分析任务。
步骤312、中心节点将异常图片任务队列中剩余的可疑图片分析任务添加至正常图片任务队列中,并删除异常图片任务队列中的所有可疑图片分析任务。
在中心节点将异常图片任务队列中剩余的可疑图片分析任务添加至正常图片任务队列中,并删除异常图片任务队列中的所有可疑图片分析任务之后,返回步骤301,中心节点可以根据初始下发速率向多个计算节点发送多个正常图片分析任务。
步骤313、当异常图片任务队列中不存在使图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务时,更新i=i+1;并返回至上述步骤305。
中心节点更新异常图片任务队列之后,正常图片任务队列中正常图片分析任务的图片数量和异常图片任务队列中可疑图片分析任务的图片数量的比值可以作为下一图片发送周期的开始时刻的目标比值,当异常图片任务队列中不存在使图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务时,重复执行上述步骤305至步骤310,直至存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务。
进一步的,中心节点可以将完成图片任务队列中的可疑图片分析任务的分析结果打包整合成目标分析结果,该目标分析结果包括所有携带相同源ID的分析结果。例如,该目标分析结果可以包括视频中的每秒内传输的多个图片分析任务中除丢弃的可疑图片分析任务中的图片以外的所有图片,将属于同一个图片分析任务的图片整合,可以避免在视频播放过程中由于图片乱序导致播放画面不流畅的现象。
具体的,中心节点将完成图片任务队列中所有携带源ID的分析结果的队列元素整合得到一个队列元素,该队列元素可以包括目标分析结果。可选地,整合得到的目标分析结果可以保存在完成图片任务队列中首个携带源ID的分析结果所在的位置,图片任务队列中其他图片分析任务按照预设的队列排布规则调整位置,避免出现队列中某一队列元素为空的现象。
在本发明的可选实施例中,本发明实施例提供的图片分析方法既可以应用于中央处理器(英文:Central Processing Unit;简称:CPU),例如X86机器,也可以应用于图形处理器(英文:Graphic Processing Unit;简称:GPU),例如异构机器,在不同的硬件平台上可以采用同一种图片分析方法,该图片分析方法的应用范围广泛。
本发明实施例以以下一个示意性实施例对图片分析系统中的计算节点执行图片分析任务的过程进行说明,包括:
在本发明的可选实施例中,以预设参数为图片数量为例进行说明,假设可疑阈值为10,如图4-1和图4-2所示,中心节点中可以设置有正常图片任务队列101a、异常图片任务队列101b和完成图片任务队列101c。其中,异常图片任务队列101b中记录有可疑图片分析任务以及每个可疑图片分析任务使计算节点发生程序崩溃的次数n。
假设在第一图片发送周期的初始时刻,正常图片任务队列101a中记录有若干个正常图片分析任务,该若干个正常图片分析任务包括90张图片,异常图片任务队列为空队列。
在第一图片发送周期,中心节点向多个计算节点发送该若干个图片分析任务,假设第一计算节点在执行编号为A100的图片分析任务(包括2张图片)时发生程序崩溃,中心节点可以将编号为A100的图片分析任务拆分为2个可疑图片分析任务,并为该2个可疑图片分析任务分配图片ID,分别为A1001和A1002,然后将该2个可疑图片分析任务记录在异常图片任务队列101b中,并记录该2个可疑图片分析任务使计算节点发生程序崩溃的次数为1。
在第二图片发送周期的初始时刻,中心节点中的图片任务队列可以如图4-1所示,假设正常图片任务队列中记录有编号分别为A101至A109的9个图片分析任务,且每个图片分析任务包括10张图片。则中心节点可以确定目标比值为45∶1,根据表1可以得出,此时令牌个数阈值为40,相应的,目标正常阈值为30,则在第二图片发送周期,中心节点可以下发正常图片任务队列101a中编号为A101、A102和A103的3个图片分析任务以及异常图片任务队列101b中的2个可疑图片分析任务。
假设第二计算节点在执行编号为A102和图片ID为A1001的任务时发生程序崩溃(其他计算节点上的其他任务正常执行完成),则中心节点的图片任务队列如图4-2所示,中心节点将编号为A102的正常图片分析任务拆分为图片ID分别为A1020~A1029的10个可疑图片分析任务,并将该10个可疑图片分析任务添加至异常图片任务队列101b,并记录该10个可疑图片分析任务使计算节点发生程序崩溃的次数为1,更新异常图片任务队列101b中图片ID为A1001的可疑图片分析任务使计算节点发生程序崩溃的次数为2。
假设预设崩溃次数为10,如图4-2所示,异常图片任务队列101b中不存在使计算节点发生程序崩溃的次数大于或等于10的任务,中心节点将如图4-2所示的正常图片任务队列中任务的图片数量与异常图片任务队列中任务的图片数量确定为下一新的图片发送周期的初始时刻的目标比值,重复执行上述图片分析过程,直至异常图片任务队列101b中存在使计算节点发生程序崩溃的次数大于或等于10的目标可疑图片分析任务,丢弃目标可疑图片分析任务并将异常图片任务队列101b中的剩余任务添加至正常图片任务队列101a中,删除异常图片任务队列101b中的所有任务,并调整令牌个数阈值为初始阈值,参见表1,初始阈值可以为100,此时中心节点按初始下发速率下发图片分析任务,也即是每个图片发送周期发送的图片分析任务的图片数量小于或等于90张。
在本发明的可选实施例中,本公开实施例提供的图片分析方法步骤的先后顺序可以进行适当调整,例如,步骤313可以位于步骤311之前,步骤也可以根据情况进行相应增减,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本公开的保护范围之内,因此不再赘述。
综上所述,本发明实施例提供的图片分析方法,通过在图片发送周期的开始时刻,确定中心节点待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,并查询预设的比值区间与阈值的对应关系以确定目标比值所在比值区间对应的目标阈值,在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务时,使发送的图片分析任务的预设参数的值小于或等于目标阈值。由于对应关系中记录的比值区间与阈值正相关,采用查询该对应关系得到的目标阈值来约束下发的图片分析任务的任务数量或图片数量,可以实现任务混合下发过程中任务下发速率的动态调整,因此任务下发的灵活性较高。
图5-1是本发明实施例提供的一种图片分析装置50的结构示意图,可以用于如图1所示的图片分析系统10中的中心节点101,如图5-1所示,该装置50可以包括:
第一确定模块501,用于当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,正常图片分析任务为除可疑图片分析任务以外的图片分析任务。
第二确定模块502,用于确定目标比值对应的预设参数的目标阈值,该预设参数为任务数量或者图片数量。
发送模块503,用于在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于目标阈值。
综上所述,本发明实施例提供的图片分析装置,通过确定模块在图片发送周期的开始时刻,确定中心节点待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,并通过查询确定模块查询预设的比值区间与阈值的对应关系以确定目标比值所在比值区间对应的目标阈值,通过发送模块在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务时,使发送的图片分析任务的预设参数的值小于或等于目标阈值。可以由根据目标比值确定的目标阈值来约束下发的图片分析任务的任务数量或图片数量,可以实现任务混合下发过程中任务下发速率的动态调整,因此任务下发的灵活性较高。
可选地,第二确定模块,可以用于:
查询预设的比值区间与阈值的对应关系,以确定目标比值所在比值区间对应的目标阈值,该对应关系记录有至少两组比值区间与阈值的对应关系,且对应关系中记录的比值区间与阈值正相关。
其中,中心节点中可以设置有正常图片任务队列和异常图片任务队列,正常图片任务队列用于记录待执行的正常图片分析任务,每个正常图片分析任务由至少一张图片组成,异常图片任务队列用于记录可疑图片分析任务以及可疑图片分析任务使计算节点发生程序崩溃的次数,则第一确定模块,可以用于:
将图片发送周期的开始时刻,正常图片任务队列中所有正常图片分析任务的图片数量与异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为目标比值。
相应的,发送模块可以用于:
在该图片发送周期内,将正常图片任务队列中的正常图片分析任务和异常图片任务队列中的异常图片分析任务混合发送至图片分析系统中的计算节点,且混合发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
可选的,如图5-2所示,该装置50还可以包括:
更新模块504,用于当图片分析系统中的某一计算节点发生程序崩溃时,更新异常图片任务队列中的可疑图片分析任务,以及每个可疑图片分析任务使图片分析系统中的计算节点发生程序崩溃的次数。
检测模块505,用于检测异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务。
丢弃模块506,用于当异常图片任务队列中存在使图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,丢弃所有目标可疑图片分析任务。
进一步的,如图5-3所示,该装置50还可以包括:
添加模块507,用于将异常图片任务队列中剩余的可疑图片分析任务添加至正常图片任务队列中。
删除模块508,用于删除异常图片任务队列中的所有可疑图片分析任务。
其中,上述目标阈值可以为目标令牌个数阈值,则发送模块,可以用于:采用令牌桶算法向图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于目标令牌个数阈值。
需要说明的是,预设参数为任务数量时,一个令牌对应一个图片分析任务,令牌个数为图片分析任务的任务数量;或者,预设参数为图片数量时,一个令牌对应一张图片,令牌个数为图片分析任务的图片数量。
在本发明的可选实施例中,阈值可以包括可变的正常阈值和固定的可疑阈值。
相应地,第二确定模块,可以用于:
查询预设的比值区间与阈值的对应关系,以确定目标比值所在比值区间对应的目标正常阈值。
相应地,发送模块,可以用于:
向图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的正常图片分析任务的预设参数的值小于或等于目标正常阈值,发送的可疑图片分析任务的预设参数的值小于或等于可疑阈值。
可选地,上述每个可疑图片分析任务可以由使计算节点发生程序崩溃的图片分析任务中的一张图片组成。
综上所述,本发明实施例提供的图片分析装置,通过确定模块在图片发送周期的开始时刻,确定中心节点待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,并通过查询确定模块查询预设的比值区间与阈值的对应关系以确定目标比值所在比值区间对应的目标阈值,通过发送模块在该图片发送周期内,向图片分析系统中的计算节点发送图片分析任务时,使发送的图片分析任务的预设参数的值小于或等于目标阈值。由于对应关系中记录的比值区间与阈值正相关,采用查询该对应关系得到的目标阈值来约束下发的图片分析任务的任务数量或图片数量,可以实现任务混合下发过程中任务下发速率的动态调整,因此任务下发的灵活性较高。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例提供了一种图片分析系统,该系统包括:计算节点和图5-1至图5-3任一所示的图片分析装置。
本发明实施例提供了一种计算机设备,该计算机设备可以为上述中心节点,如图6所示,计算机设备01包括:包括处理器12和存储器16,
其中,
存储器16,用于存放计算机程序;
处理器12,用于执行存储器16上所存放的程序,实现上述实施例所述的图片分析方法,示例的,该方法可以包括:
当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务;
确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;
在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
具体的,处理器12包括一个或者一个以上处理核心。处理器12通过运行存储器16存储的计算机程序,该计算机程序包括软件程序以及单元,从而执行各种功能应用以及数据处理。
存储器16存储的计算机程序包括软件程序以及单元。具体的,存储器16可存储操作系统162、至少一个功能所需的应用程序单元164。操作系统162可以是实时操作系统(Real Time eXecutive,RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。其中该应用程序单元164可以包括第一确定单元164a、第二确定单元164b和发送单元164c。
第一确定单元164a,具有与第一确定模块501相同或相似的功能。
第二确定单元164b,具有与第二确定模块502相同或相似的功能。
发送单元164c,具有与发送模块503相同或相似的功能。
本发明实施例提供了一种存储介质,其上存储有计算机程序,当所述存储介质中的程序由处理器执行时,能够执行上述实施例涉及的图片分析方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的可选实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (22)
1.一种图片分析方法,其特征在于,用于图片分析系统的中心节点,所述方法包括:
当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务,所述图片分析系统中的计算节点执行所述可疑图片任务时会发生程序崩溃;
确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;
在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,所述图片分析任务包括所述正常图片分析任务和所述可疑图片分析任务。
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标比值对应的预设参数的目标阈值,包括:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,所述对应关系记录有至少两组比值区间与阈值的对应关系,且所述对应关系中记录的比值区间与阈值正相关。
3.根据权利要求1所述的方法,其特征在于,所述中心节点中设置有正常图片任务队列和异常图片任务队列,所述正常图片任务队列用于记录待执行的正常图片分析任务,每个所述正常图片分析任务由至少一张图片组成,所述异常图片任务队列用于记录可疑图片分析任务以及所述可疑图片分析任务使计算节点发生程序崩溃的次数,
所述在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,包括:
将所述图片发送周期的开始时刻,所述正常图片任务队列中所有正常图片分析任务的图片数量与所述异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为所述目标比值。
4.根据权利要求3所述的方法,其特征在于,所述在所述图片发送周期,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
在所述图片发送周期内,将所述正常图片任务队列中的正常图片分析任务和所述异常图片任务队列中的异常图片分析任务混合发送至所述图片分析系统中的计算节点,且混合发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述图片分析系统中的某一计算节点发生程序崩溃时,更新所述异常图片任务队列中的可疑图片分析任务,以及每个所述可疑图片分析任务使所述图片分析系统中的计算节点发生程序崩溃的次数;
检测所述异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务;
当所述异常图片任务队列中存在使所述图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,丢弃所有所述目标可疑图片分析任务。
6.根据权利要求5所述的方法,其特征在于,在所述丢弃所有所述目标可疑图片分析任务之后,所述方法还包括:
将所述异常图片任务队列中剩余的可疑图片分析任务添加至所述正常图片任务队列中;
删除所述异常图片任务队列中的所有可疑图片分析任务。
7.根据权利要求1所述的方法,其特征在于,所述目标阈值为目标令牌个数阈值,
所述向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
采用令牌桶算法向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标令牌个数阈值。
8.根据权利要求7所述的方法,其特征在于,
所述预设参数为任务数量,一个令牌对应一个图片分析任务,所述令牌个数为所述图片分析任务的任务数量;
或者,所述预设参数为图片数量,一个令牌对应一张图片,所述令牌个数为所述图片分析任务的图片数量。
9.根据权利要求2所述的方法,其特征在于,所述阈值包括可变的正常阈值和固定的可疑阈值,
所述查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,包括:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标正常阈值;
所述向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,包括:
向所述图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的所述正常图片分析任务的预设参数的值小于或等于所述目标正常阈值,发送的所述可疑图片分析任务的预设参数的值小于或等于所述可疑阈值。
10.根据权利要求1至9任一所述的方法,其特征在于,
每个所述可疑图片分析任务由使计算节点发生程序崩溃的图片分析任务中的一张图片组成。
11.一种图片分析装置,其特征在于,用于图片分析系统的中心节点,所述装置包括:
第一确定模块,用于当存在可疑图片分析任务时,在图片发送周期的开始时刻,确定待发送的正常图片分析任务的图片数量和待发送的可疑图片分析任务的图片数量的目标比值,所述正常图片分析任务为除所述可疑图片分析任务以外的图片分析任务,所述图片分析系统中的计算节点执行所述可疑图片任务时会发生程序崩溃;
第二确定模块,用于确定所述目标比值对应的预设参数的目标阈值,所述预设参数为任务数量或者图片数量;
发送模块,用于在所述图片发送周期内,向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标阈值,所述图片分析任务包括所述正常图片分析任务和所述可疑图片分析任务。
12.根据权利要求11所述的装置,其特征在于,所述第二确定模块,用于:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标阈值,所述对应关系记录有至少两组比值区间与阈值的对应关系,且所述对应关系中记录的比值区间与阈值正相关。
13.根据权利要求11所述的装置,其特征在于,所述中心节点中设置有正常图片任务队列和异常图片任务队列,所述正常图片任务队列用于记录待执行的正常图片分析任务,每个所述正常图片分析任务由至少一张图片组成,所述异常图片任务队列用于记录可疑图片分析任务以及所述可疑图片分析任务使计算节点发生程序崩溃的次数,
所述第一确定模块,用于:
将所述图片发送周期的开始时刻,所述正常图片任务队列中所有正常图片分析任务的图片数量与所述异常图片任务队列中所有可疑图片分析任务的图片数量的比值确定为所述目标比值。
14.根据权利要求13所述的装置,其特征在于,所述发送模块,用于:
在所述图片发送周期内,将所述正常图片任务队列中的正常图片分析任务和所述异常图片任务队列中的异常图片分析任务混合发送至所述图片分析系统中的计算节点,且混合发送的图片分析任务的预设参数的值小于或等于所述目标阈值。
15.根据权利要求13所述的装置,其特征在于,所述装置还包括:
更新模块,用于当所述图片分析系统中的某一计算节点发生程序崩溃时,更新所述异常图片任务队列中的可疑图片分析任务,以及每个所述可疑图片分析任务使所述图片分析系统中的计算节点发生程序崩溃的次数;
检测模块,用于检测所述异常图片任务队列中是否存在使计算节点发生程序崩溃的次数大于或等于预设崩溃次数的可疑图片分析任务;
丢弃模块,用于当所述异常图片任务队列中存在使所述图片分析系统中的计算节点发生程序崩溃的次数大于或等于预设崩溃次数的目标可疑图片分析任务时,丢弃所有所述目标可疑图片分析任务。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
添加模块,用于将所述异常图片任务队列中剩余的可疑图片分析任务添加至所述正常图片任务队列中;
删除模块,用于删除所述异常图片任务队列中的所有可疑图片分析任务。
17.根据权利要求11所述的装置,其特征在于,所述目标阈值为目标令牌个数阈值,
所述发送模块,用于:
采用令牌桶算法向所述图片分析系统中的计算节点发送图片分析任务,且发送的图片分析任务的预设参数的值小于或等于所述目标令牌个数阈值。
18.根据权利要求17所述的装置,其特征在于,
所述预设参数为任务数量,一个令牌对应一个图片分析任务,所述令牌个数为所述图片分析任务的任务数量;
或者,所述预设参数为图片数量,一个令牌对应一张图片,所述令牌个数为所述图片分析任务的图片数量。
19.根据权利要求12所述的装置,其特征在于,所述阈值包括可变的正常阈值和固定的可疑阈值,
所述第二确定模块,用于:
查询预设的比值区间与阈值的对应关系,以确定所述目标比值所在比值区间对应的目标正常阈值;
所述发送模块,用于:
向所述图片分析系统中的计算节点发送正常图片分析任务和可疑图片分析任务,且发送的所述正常图片分析任务的预设参数的值小于或等于所述目标正常阈值,发送的所述可疑图片分析任务的预设参数的值小于或等于所述可疑阈值。
20.根据权利要求11至19任一所述的装置,其特征在于,
每个所述可疑图片分析任务由使计算节点发生程序崩溃的图片分析任务中的一张图片组成。
21.一种图片分析系统,其特征在于,所述系统包括:计算节点和权利要求11至20任一所述的装置。
22.一种计算机设备,其特征在于,包括处理器和存储器,
其中,
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,实现权利要求1至10任一所述的图片分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566202.6A CN109254833B (zh) | 2017-07-12 | 2017-07-12 | 图片分析方法、装置及系统、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710566202.6A CN109254833B (zh) | 2017-07-12 | 2017-07-12 | 图片分析方法、装置及系统、计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109254833A CN109254833A (zh) | 2019-01-22 |
CN109254833B true CN109254833B (zh) | 2020-10-09 |
Family
ID=65050828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710566202.6A Active CN109254833B (zh) | 2017-07-12 | 2017-07-12 | 图片分析方法、装置及系统、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109254833B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012439B (zh) * | 2021-03-29 | 2022-06-21 | 北京百度网讯科技有限公司 | 车辆检测方法、装置、设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731663A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
CN105828052A (zh) * | 2016-06-02 | 2016-08-03 | 中国联合网络通信集团有限公司 | 基于Storm技术的视频监控方法和监控系统 |
CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
CN106713944A (zh) * | 2016-12-30 | 2017-05-24 | 北京奇虎科技有限公司 | 一种流数据任务的处理方法和装置 |
CN106878671A (zh) * | 2016-12-29 | 2017-06-20 | 中国农业大学 | 一种养殖场多目标视频分析方法及其系统 |
-
2017
- 2017-07-12 CN CN201710566202.6A patent/CN109254833B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104731663A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
CN105828052A (zh) * | 2016-06-02 | 2016-08-03 | 中国联合网络通信集团有限公司 | 基于Storm技术的视频监控方法和监控系统 |
CN106878671A (zh) * | 2016-12-29 | 2017-06-20 | 中国农业大学 | 一种养殖场多目标视频分析方法及其系统 |
CN106713944A (zh) * | 2016-12-30 | 2017-05-24 | 北京奇虎科技有限公司 | 一种流数据任务的处理方法和装置 |
Non-Patent Citations (1)
Title |
---|
陈县,周明耀.视频诊断技术的最新发展与应用.《技术与应用》.2014, * |
Also Published As
Publication number | Publication date |
---|---|
CN109254833A (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7890620B2 (en) | Monitoring system and monitoring method | |
US9535775B2 (en) | Session-based remote management system and load balance controlling method | |
US7817563B1 (en) | Adaptive data stream sampling | |
US11487588B2 (en) | Auto-sizing for stream processing applications | |
CN112527470B (zh) | 用于预测性能指标的模型训练方法、装置及可读存储介质 | |
WO2021073054A1 (zh) | 数据处理的方法、装置、设备和存储介质 | |
CN109933610B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
US20170048352A1 (en) | Computer-readable recording medium, distributed processing method, and distributed processing device | |
US20240129251A1 (en) | Data processing method and apparatus, computer device, and readable storage medium | |
WO2023142824A1 (zh) | Gpu资源利用率的监控方法、装置、计算机设备及介质 | |
CN112468310A (zh) | 流媒体集群节点管理方法、装置及存储介质 | |
CN109254833B (zh) | 图片分析方法、装置及系统、计算机设备 | |
US11037297B2 (en) | Image analysis method and device | |
CN113364701B (zh) | 基于rtt的结合比例积分微分控制的拥塞控制方法及设备 | |
CN113055493B (zh) | 数据包处理方法、装置、系统、调度设备和存储介质 | |
US20220035666A1 (en) | Method and apparatus for data processing, server and storage medium | |
CN110837428B (zh) | 存储设备管理方法及装置 | |
WO2019074821A1 (en) | MOBILE RESOURCE PLANNER | |
US11983644B2 (en) | Insight allotment to edged locations | |
CN114201449A (zh) | 一种日志监控方法、装置、计算机设备及存储介质 | |
CN113824689A (zh) | 边缘计算网络、数据传输方法、装置、设备和存储介质 | |
CN109086125B (zh) | 图片分析方法、装置及系统、计算机设备及存储介质 | |
CN111367853A (zh) | 数据传输方法、装置、设备及计算机可读存储介质 | |
CN109086152B (zh) | 图片分析方法、装置及系统、计算机设备及存储介质 | |
CN113743564B (zh) | 一种计数方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |