CN109753849A - 处理视频分析任务的方法和装置 - Google Patents

处理视频分析任务的方法和装置 Download PDF

Info

Publication number
CN109753849A
CN109753849A CN201711070082.7A CN201711070082A CN109753849A CN 109753849 A CN109753849 A CN 109753849A CN 201711070082 A CN201711070082 A CN 201711070082A CN 109753849 A CN109753849 A CN 109753849A
Authority
CN
China
Prior art keywords
subtask
video
tasks
analysis equipment
video analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711070082.7A
Other languages
English (en)
Other versions
CN109753849B (zh
Inventor
谢忠贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201711070082.7A priority Critical patent/CN109753849B/zh
Publication of CN109753849A publication Critical patent/CN109753849A/zh
Application granted granted Critical
Publication of CN109753849B publication Critical patent/CN109753849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种处理视频分析任务的方法和装置,属于智能分析技术领域。该方法包括:从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频分析任务对应的一个或多个子任务;接收该至少一个视频分析设备发送的该m子任务的状态信息,状态信息用于指示接收该子任务的视频分析设备在下载该子任务对应的片段时是否发生异常;在根据任务信息确定下载所述m个子任务的片段未发生异常时,从所述任务集合中选择n个未分配的子任务分配给所述至少一个视频分析设备。本发明解决了相关技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题。

Description

处理视频分析任务的方法和装置
技术领域
本发明涉及智能分析技术领域,特别涉及一种处理视频分析任务的方法和装置。
背景技术
视频分析任务是指从视频中识别目标物体图像,通过对目标物体图像进行处理以实现特定需求。例如,识别视频中的人脸图像,通过统计人脸图像的数目得到人流量,再例如,识别视频中的车辆图像,通过统计车辆图像的数目得到车流量。
相关技术中,提供了一种视频分析系统,该视频分析系统包括多个视频分析设备和一个管理设备。管理设备将视频对应的视频分析任务划分成多个子任务,每个子任务对应该视频中的一个片段,从该多个子任务中选择m个子任务并分配给至少一个视频分析设备。相应的,该至少一个视频分析设备从视频存储设备中同时从网络存储设备中下载该m个子任务对应的片段,并对下载的每个片段进行处理。例如,识别每个片段中的目标物体图像,通过对目标物体图像进行处理以实现特定需求。
若网络存储设备允许同时下载的片段数目大于m,这样造成了网络存储设备的资源浪费,该网络存储设备的资源可以包括网络带宽、网络存储设备的中央处理器(CentralProcessing Unit,CPU)资源等等,使得视频分析系统并发处理子任务的速度没有发挥到最大化。
发明内容
为了解决现有技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题,本发明实施例提供了一种处理视频分析任务的方法和装置。所述技术方案如下:
第一方面,提供了一种处理视频分析任务的方法,所述方法包括:
从任务集合中选择m个子任务分配给至少一个视频分析设备,所述任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应所述视频中的一片段,m为大于或等于1的整数;
接收所述至少一个视频分析设备发送的所述m个子任务的任务信息,子任务的任务信息包括所述子任务的状态信息,所述状态信息表示接收所述子任务的视频分析设备在下载所述子任务对应的片段时是否发生异常;
在根据所述任务信息确定下载所述m个子任务的片段未发生异常时,从所述任务集合中选择n个未分配的子任务分配给所述至少一个视频分析设备,n为大于或等于1的整数。
现有技术中,在视频存储设备同时被下载的片段数目高于该视频存储设备允许同时下载的片段数目时,容易导致这些同时被下载的片段中的全部或部分出现下载异常,会出现视频分析系统中视频分析设备继续尝试下载这些片段,从而导致恶性循环,使得视频分析任务无法正常执行的问题。为解决这一问题,可选的,所述方法还包括:
在根据所述m任务信息确定所述m个子任务中存在子任务对应的片段的下载发生异常时,向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述m个子任务中的至少一个子任务。
可选的,所述方法还包括:设置m等于m+n。
可选的,所述向所述至少一个视频分析设备发送任务中断通知,包括:
根据所述m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数;
向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述e个子任务。
可选的,所述子任务的任务信息还包括所述子任务的执行进度,所述根据所述M个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,包括:
按照所述m个子任务的优先级对所述m个子任务进行排序;
在排序后的子任务序列中,对相同优先级的多个子任务按照执行进度进行排序;
从所述子任务序列中优先级最低的端点开始获取连续的e个子任务。
可选的,所述向所述至少一个视频分析设备发送任务中断通知,包括:
获取下载异常的片段对应的子任务;
向接收所述获取的子任务的视频分析设备发送任务中断通知,所述任务中断通知用于指示所述视频分析设备停止处理所述获取的子任务。
可选的,所述获取下载异常的片段对应的子任务之后,还包括:
统计所述获取的子任务的数量x,设置m等于m-x。
第二方面,提供了一种处理视频分析任务的装置,所述装置包括:
分配模块,用于从任务集合中选择m个子任务分配给至少一个视频分析设备,所述任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应所述视频中的一片段,m为大于或等于1的整数;
接收模块,用于接收所述至少一个视频分析设备发送的所述m个子任务的任务信息,子任务的任务信息包括所述子任务的状态信息,所述状态信息表示接收所述子任务的视频分析设备在下载所述子任务对应的片段时是否发生异常;
所述分配模块,还用于在根据所述任务信息确定下载所述m个子任务的片段未发生异常时,从所述任务集合中选择n个未分配的子任务分配给所述至少一个视频分析设备,n为大于或等于1的整数。
可选的,所述装置还包括:发送模块,用于在根据所述m任务信息确定所述m个子任务中存在子任务对应的片段的下载发生异常时,向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述m个子任务中的至少一个子任务。
可选的,所述装置还包括:
第一设置模块,用于设置m等于m+n。
可选的,所述发送模块包括:
选择单元,用于根据所述m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数;
第一发送单元,用于向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述e个子任务。
可选的,所述子任务的任务信息还包括所述子任务的执行进度,所述选择单元包括:
第一排序子单元,用于按照所述m个子任务的优先级对所述m个子任务进行排序;
第二排序子单元,用于在排序后的子任务序列中,对相同优先级的多个子任务按照执行进度进行排序;
选择子单元,用于从所述子任务序列中优先级最低的端点开始获取连续的e个子任务。
可选的,所述发送模块,包括:
获取单元,用于获取下载异常的片段对应的子任务;
第二发送单元,用于向接收所述获取单元获取到所述获取的子任务的视频分析设备发送所述任务中断通知。
可选的,所述装置还包括:
第二设置模块,用于统计所述第二获取子模块获取的子任务的数量x,设置m等于m-x。
第三方面,提供了一种提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面以及第一方面任可能的实现方式。
本发明实施例提供的技术方案带来的有益效果是:
通过从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频中的每个视频的视频分析任务对应的一个或多个子任务,m为大于或等于1的整数;接收该至少一个视频分析设备发送的m个子任务的状态信息;在根据这m个子任务的状态信息确定出这m个子任务中每个子任务对应的片段的下载均未发生异常时,向视频分析设备分配n个子任务,该n个子任务为任务集合中未被分配的子任务,n为大于或等于1的整数;解决了相关技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题,达到了提高视频分析系统并发处理子任务的速度的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的示例性实施例提供的一种视频分析系统的结构示意图;
图2是本发明一个实施例提供的处理视频分析任务的方法的流程图;
图3是另一个实施例提供的处理视频分析任务的方法的流程图;
图4是另一个实施例提供的一种将每个视频对应的视频分析任务划分成多个子任务的流程图;
图5是另一个实施例提供的管理设备将某一视频分析任务划分成七个子任务的示意图;
图6是另一个实施例提供的管理设备启动任务集合中n个子任务的执行的流程图;
图7是另一个实施例提供的管理设备启动k个子任务的执行的流程图;
图8是本发明一个实施例中提供的处理视频分析任务的装置的结构方框图;
图9是本发明另一个实施例中提供的处理视频分析任务的装置的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明示例性实施例提供的一种视频分析系统的结构示意图,该视频分析系统包括至少一个视频分析设备110、管理设备120和至少一个网络存储设备130。
视频分析设备110具备处理视频分析任务的功能,视频分析任务是指从视频或视频某一片段中识别出目标物体的图像,通过对目标物体的图像进行处理以实现特定需求。这里所讲的目标物体可以为诸如人脸、车辆等物体。这里所讲的视频可以为利用摄像设备录制的视频,例如,利用安装在交通道路上的监控摄像头录制的视频。
视频分析设备110可以为一或多台服务器或处理终端等,可通过有线或者无线网络与至少一个网络存储设备130相连,可通过有线或者无线网络与管理设备120相连。
网络存储设备130可以为诸如云存储设备、网络硬盘录像机(Network VideoRecorder,NVR)等具备存储功能的设备,网络存储设备130可以为一或多台服务器。多台服务器可以组成一个服务器集群。
管理设备120可以为一台服务器,可以用于给视频分析设备110分配视频分析任务。可选的,管理设备120也具备处理视频分析任务的功能,也可以是一台具有分配视频分析任务的视频分析设备。
需要说明的是,在管理设备120具备处理视频分析任务的功能的情况下,本发明的实施例中所提及的至少一个视频分析设备110可以包括管理设备120,这样管理设备120可以给自己分配视频分析任务。在管理设备120不具备处理视频分析任务的功能的情况下,本发明的实施例中所提及的至少一个视频分析设备110不包括管理设备120。
请参考图2,其示出了本发明一个实施例提供的处理视频分析任务的方法的流程图,该处理视频分析任务的方法可应用于如图1所示视频分析系统中的管理设备120中,该处理视频分析任务的方法可以通过如下几个步骤实现。
步骤201,从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应视频中的一片段,m为大于或等于1的整数。
步骤202,接收该至少一个视频分析设备发送的该m个子任务的任务信息,子任务的任务信息包括子任务的状态信息,状态信息表示接收该子任务的视频分析设备在下载该子任务对应的片段时是否发生异常。
步骤203,在根据该任务信息确定下载所述m个子任务的片段未发生异常时,从任务集合中选择n个未分配的子任务分配给至少一个视频分析设备,并设置m等于m+n,n为大于或等于1的整数。
综上所述,本发明实施例提供的处理视频分析任务的方法,通过从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频中的每个视频的视频分析任务对应的一个或多个子任务,m为大于或等于1的整数;接收该至少一个视频分析设备发送的m个子任务的状态信息;在根据这m个子任务的状态信息确定出这m个子任务中每个子任务对应的片段的下载均未发生异常时,从任务集合中选择n个子任务分配给至少一个视频分析设备,n为大于或等于1的整数;解决了相关技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题,达到了提高视频分析系统并发处理子任务的速度的效果。
本发明实施例中,以视频为利用摄像设备进行录制得到的视频来举例说明。
请参考图3,其示出了本发明另一个实施例提供的处理视频分析任务的方法的流程图,该处理视频分析任务的方法可应用于如图1所示视频分析系统中的管理设备120中,该处理视频分析任务的方法可以通过如下几个步骤实现。
步骤301,管理设备获取至少一个视频中的每个视频对应的视频分析任务,将每个视频对应的视频分析任务划分成多个子任务,将存储于同一网络存储设备的各个视频对应的视频分析任务所包括的子任务组成一个任务集合。
在实现时,网络存储设备的任务集合可以是等待队列。本步骤可通过如图4所示的几个步骤实现:
步骤3011,管理设备获取多个视频对应的视频分析任务,该多个视频中任一视频对应的视频分析任务包括该任一视频的下载地址、任务内容、起始时间以及终止时间。
其中,任务内容可以包括诸如统计车流量、统计人流量等任务,起始时间为该视频开始录制的时间,终止时间为该视频停止录制的时间。
一般来讲,每个摄像设备可将其录制得到的视频数据上传至网络存储设备,该视频数据中包括该摄像设备拍摄的多个视频帧以及该多个视频帧中每个视频帧的拍摄时间。可见,每个视频的起始时间可以为每个视频中的第一个视频帧的拍摄时间,每个视频的终止时间可以为每个视频中的最后一个视频帧的拍摄时间。
举例来讲,利用交通道路上某一监控摄像设备在2017年7月11日0:00至2017年7月11日1:00这一段时间内进行了视频录制,且摄像设备将这一段时间内录制的视频作为一个视频文件上传至网络存储设备中。该视频对应的视频分析任务包括的起始时间为2017年7月11日0:00,包括的终止时间为2017年7月11日1:00。
步骤3012,管理设备将每个视频分析任务划分成多个子任务。
本步骤的实现可以为:管理设备获取每个视频分析任务的起始时间以及终止时间,将该起始时间与该终止时间之间的时间段划分成多个子时间段。对于每个子时间段,利用该子时间段的起始时间、终止时间、下载地址以及任务内容生成一个子任务,即该子任务包括该子时间段的起始时间、终止时间、下载地址和任务内容。
其中,每个视频分析任务对应的多个子时间段的数量不能太少,也不能太多。在数量太多的情况下,容易导致每个子时间段的时长较短,也即,每个子任务对应片段的时长较短,导致视频分析效果差。
举例来讲,任务内容为统计某一交通路段的车流量,假设每个子时间段的时长为1s,则管理设备生成的每个子任务对应的片段的时长为1s,视频分析设备统计每个子任务对应的片段中的车流量,也即,统计该交通路段在每1秒内的车流量,并将统计出的车流量上报给管理设备。管理设备将所有子任务对应的车流量的总和确定为该视频对应的车流量。然而,该交通路段上前1s与后1s内该交通道路上出现的车辆的大部分相同,此时将各个子时间段的总车流量确定为起始时间至终止时间内的车流量,容易导致确定出的该视频对应的车流量与真实情况存在较大误差。
在数量太少的情况下,容易导致视频分析系统并发处理的子任务的数量过少,影响视频分析系统处理该视频对应视频分析任务的速度。例如,一个待分析的视频的时长为60分钟,若该视频的视频分析任务对应的子时间段的数量为3,则每个子时间段的时长为20分钟,此时视频分析系统中只能生成三个子任务并行处理,且每个子任务的处理时长可能较长。
本步骤中,管理设备将起始时间与终止时间之间的时间段划分成的子时间段的时长可通过以下几个步骤来确定:
步骤S1,管理设备利用终止时间减去起始时间得到起始时间与终止时间之间的时间段的时长T,该时长的单位为s;计算该时间段包括的子时间段的总数量P,P=T%R,R为预设第二数值;若P大于预设的第一数值时,则将P设置为第一数值;若P=0,则将P设置为1;若0<P≤第一数值,则P的值保持不变,即P为T%R。T%R为T除以R再向下取整运算,例如,8%3=2。
其中,第一数值为一个视频分析任务包括的子时间段的数量的最大值,第二数值为每个子时间段的最小时长。
步骤S2,将起始时间与终止时间之间的时间段划分成P个子时间段,每个子时间段的时长为t=T/P。
以第二数值为120秒、第一数值为30来举例说明。请参见表1,当T=3600时,P=T%120=30,则t=T/30=120s;当T=7200时,P=T%120=60,由于此时P大于第一数值30,设置P=30,则t=T/30=240s;当T=380时,P=T%120=3,则t=T/30=126.7s。
表1
T(秒) P 每个子时间段的时长(秒)
3600 30 120
7200 30 240
380 3 126.7
由于管理设备将起始时间与终止时间之间的时间段划分成了P个子时间段,则第i个子时间段的起始时间=视频的起始时间+(i-1)*t,终止时间=视频的起始时间+i*t,i=1、2、……、P。
由于管理设备将起始时间与终止时间之间的时间段划分成了P个子时间段,对于每个子时间段,该子时间段内的视频作为一个子任务对应的片段,所以管理设备将该视频分析任务划分成P个子任务,将这P个子任务添加至该视频所在网络存储设备对应的等待队列的队尾,等待执行。
步骤3013,管理设备根据每个视频的下载地址确定存储每个视频的网络存储设备,将存储在同一网络存储设备的每个视频对应的视频分析任务包括的子任务组成一个任务集合。
该任务集合可以为网络存储设备对应的等待队列。
可选的,在执行步骤301时,管理设备可按照视频分析任务的优先级将该视频分析任务包括的所有子任务添加至该网络存储设备对应的等待队列。具体的,视频分析任务的优先级高,则先将该视频分析任务包括的多个子任务添加至该等待队列;视频分析任务的优先级低,则将优先级高于该视频分析任务的其他视频分析任务包括的所有子任务添加至该等待队列后,再将该视频分析任务划分成的多个子任务添加至该等待队列。
步骤302,管理设备从一个任务集合中选择m个子任务分配给至少一个视频分析设备。
管理设备在生成一个任务集合后,首次从任务集合中选择子任务之前,先获取m的初始值。管理设备获取m的初始值可通过以下两种方式实现:
第一种,管理设备获取存储在网络存储设备上的每个视频的视频分析任务,获取每个视频分析任务中包括的用户自定义m初始值,根据获取到的所有用户自定义m初始值确定m的初始值。例如,可将获取到的所有用户自定义m初始值的平均值确定为m的初始值;再例如,可将获取到的所有用户自定义m初始值的最大值确定为m的初始值。
一般来讲,用户在向管理设备提交多个视频分析任务时,同时可提交每个视频分析任务对应的m的初始值。
第二种,管理设备获取该任务集合对应的网络存储设备的标识,从本地存储的标识与最优并发数目的对应关系中获取与该标识对应的最优并发数目,将m设置为该最优并发数目。标识与最优并发数目的对应关系用于存储网络存储设备的标识和该网络存储设备对应的最优并发数目。
可选的,管理设备可通过以下两个步骤,将m个子任务分配给至少一个视频分析设备,具体为:
步骤K1,管理设备从该任务集合中选择m个子任务。
具体的,管理设备可从该网络存储设备对应的等待队列中获取m个子任务。
步骤K2,管理设备将选择的m个子任务分配给至少一个视频分析设备。
具体的,管理设备可获取其管理的所有视频分析设备的CPU资源使用状态;根据所有分析设备的CPU资源使用状态,将m个子任务分配给其中的至少一个视频分析设备,该至少一个视频分析设备中的任一设备可被分配至少一个子任务。
请参见图5,以管理设备将某一视频分析任务划分成七个子任务(子任务A1-子任务A7)、m为4来举例说明,管理设备所管理的视频分析设备包括设备A、设备B以及设备C。如图5所示,标号51所指示的等待队列中包括7个子任务,若管理设备根据设备A、B、C的CPU资源使用状态,分别确定出设备A、B均不能再处理新的子任务,设备C还能再处理10个子任务时,管理设备从等待队列中获取4个子任务,4个子任务分别为A1、A2、A3、A4,将这4个子任务分配给设备C。
由于每个子任务包括视频的下载地址、任务内容、起始时间和终止时间,使得视频分析设备可根据每个子任务中的下载地址,从网络存储设备下载该视频中该起始时间至该终止时间内的视频数据,得到该子任务对应的片段。
相应的,网络存储设备向执行这m个子任务的至少一个视频设备提供这m个子任务对应的片段的视频数据,形成m路视频流。
这至少一个视频设备中每个视频设备接收到m个子任务中的至少一个子任务后,从网络存储设备获取该至少一个子任务中子每个任务对应的视频流,以及根据每个子任务中已经接收到的视频数据进行分析处理,执行每个子任务中的任务内容。
每个视频分析设备在接收到至少一个子任务后,每隔预定时长向管理设备上报该至少一个子任务中每个子任务的任务信息。其中,每个子任务的任务信息包括执行进度和状态信息,该状态信息用于指示接收该子任务的视频分析设备在下载该子任务对应的片段时是否发生异常。
其中,在该子任务的视频分析设备在下载该子任务对应的片段时发生异常时,该视频分析设备向管理设备发送的该子任务的状态信息为异常状态。可选的,该子任务的执行进度可以为该子任务对应片段中已经处理完毕的视频的时长与该片段的时长的比值。
对视频分析设备如何确定子任务对应的片段的下载是否异常作以下说明:
在正常情况下,网络存储设备需要向至少一个视频设备一共提供m路视频流。在异常情况下,网络存储设备在检测到其无法提供某一子任务对应片段的视频流时,向接收该子任务的视频分析设备发送异常通知,该异常通知用于指示网络存储设备无法提供该子任务对应的视频流。
举例来讲,接收到m个任务中任一子任务的视频分析设备向网络存储设备发送获取请求,该获取请求用于请求获取该子任务对应片段。相应的,网络存储设备接收视频分析设备发送的获取请求,并根据该获取请求向该视频分析设备发送该获取请求对应的片段。若网络存储设备在接收到第i个获取请求时,根据其CPU资源使用状态确定出其无法同时提供第i个获取请求对应的第i路视频流,则网络存储设备向发送该第i个获取请求的视频分析设备发送异常通知,i为大于或等于1且小于或等于m的整数。
所以在本步骤中,网络存储设备接收到m个获取请求后,根据这m个获取请求向至少一个分析设备提供m路视频流。在提供m路视频流的过程中受其CPU资源、网络带宽等因素的影响,网络存储设备可能无法继续提供这m个片段中某一片段的视频流,则网络存储设备向请求获取该某一片段的视频分析设备发送异常通知。
视频分析设备在接收到网络存储设备发送的异常通知时,在该异常通知指示的子任务的任务信息中添加异常状态。
步骤303,管理设备接收该至少一个视频分析设备发送的该m个子任务的任务信息,该子任务的任务信息包括子任务的状态信息,状态信息表示接收该子任务的视频分析设备在下载该子任务对应的片段时是否发生异常。
步骤304,管理设备在根据该m个子任务的任务信息确定出该m个子任务中存在子任务对应的片段的下载发生异常时,向至少一个视频分析设备发送任务中断通知,该任务中断通知用于触发该至少一个视频分析设备停止处理m个子任务中的至少一个子任务。
本步骤的实现可以为:在该m个子任务的任务信息包括异常状态时,向至少一个视频分析设备发送任务中断通知。
其中,在该m个子任务的任务信息包括异常状态时,表明网络存储设备能够同时提供的视频流的路数低于m个,此时需要减小视频分析系统中同时执行的子任务的数量,也即,减小m的取值。具体可通过以下三种方式实现:
第一种,管理设备获取对应的片段下载异常的子任务,向接收该子任务的视频分析设备发送任务中断通知。
具体实现可以为:管理设备获取任务信息包括异常状态的每个子任务的标识,利用该子任务的标识生成任务中断通知,向接收子任务的视频分析设备发送该任务中断通知;以及获取任务信息包括异常状态的子任务的数量x,设置m等于m-x。该任务中断通知用于指示该视频分析设备停止处理该子任务。
第二种,管理设备根据该m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数,向该至少一个视频分析设备发送任务中断通知,该任务中断通知用于触发该至少一个视频分析设备停止处理该e个子任务。
其中,管理设备可以获取这m个子任务的优先级,m个子任务中任一子任务的优先级与该任一子任务对应视频分析任务的优先级相同,对于该m个子任务中的每个子任务的任务信息,该子任务的任务信息可以包括该子任务的执行进度;然后,管理设备按照该m个子任务的优先级对该m个子任务进行排序;在排序后的子任务序列中,对相同优先级的多个子任务按照执行进度进行排序;从子任务序列中优先级最低的端点开始获取连续的e个子任务,向接收该e个子任务的视频分析设备发送任务中断通知。
例如,管理设备根据m个子任务的优先级由高至低的顺序进行排序;在排序后的子任务序列中,对具备相同优先级的多个子任务按照执行进度由高至低进行排序;获取子任务序列中排序在最后的e个子任务,向接收该e个子任务的视频分析设备发送任务中断通知;管理设备还获取m减去e得到的差值m-e,将m的取值设置为该差值m-e。
以m为4,e为1,视频分析系统中正在执行的4个子任务为A6、A7、B1和B2来举例说明,其中A6、A7为第一视频对应的子任务,B1和B2为第二视频对应的子任务,第一视频的优先级高于第二视频。若A6的执行进度为80%,A7的执行进度为40%,B1的执行进度为50%,B2的执行进度为20%,则4个子任务的排序顺序为A6、A7、B1、B2。管理设备获取子任务序列中排序在最后的1个子任务B2,可向接收B2的视频分析设备发送任务中断通知,该分析设备接收到该任务中断通知后,停止执行该B2。
第三种,管理设备获取m个子任务的优先级,m个子任务中每个子任务的优先级与每个子任务视频分析任务的优先级相同;获取对应的片段下载异常的子任务的数量x;获取m个子任务中优先级最低的x个子任务,向接收该x个子任务中任一子任务的视频分析设备发送任务中断通知;设置m等于m-x。
其中,获取对应的片段下载异常的子任务的数量x的实现可以为:获取该m个子任务中任务信息包括异常状态的子任务的数量x。
管理设备在执行步骤303后,管理设备还可将m的取值与该网络存储设备的标识对应存储。可选的,在执行步骤303后的预定时长内,不执行步骤304。可选的,在执行步骤303后,不再执行304。
步骤305,管理设备在根据该m个子任务的任务信息确定出该m个子任务中每个子任务对应的片段的下载均未发生时,管理设备启动任务集合中n个子任务的执行并设置m等于m+n,该n个子任务为任务集合中未完成的子任务。
其中,n为大于或等于1的整数,例如,n可以为1,又例如,n可以为3或者10等等。在n=1的时候管理设备每次添加1个子任务,最终测出视频分析设备并发处理的上限,同时能避免同时出现多个子任务异常造成的资源浪费。在n大于1的时候,管理设备每次添加多个子任务,能够加快并发处理上限的确定,n的数量可以根据管理设备的历史记录或者需要同时执行的子任务需求确定。
本步骤的实现可以为:在该m个子任务的任务信息均不包括异常状态时,管理设备启动任务集合中n个子任务的执行,该n个子任务为任务集合中未完成的子任务。
本步骤还可通过如图6所示的几个步骤实现:
步骤3051,管理设备检测任务集合中包括的已分配但被停止处理的子任务的数量a。
步骤3052,在a等于0时,管理设备从任务集合中获取n个未被分配的子任务,将获取到的n个子任务分配给视频分析设备。
在该m个子任务的任务信息均不包括异常状态时,表明网络存储设备能够同时提供的视频流的路数超过m路,此时可增加视频分析设备内同时执行的子任务的数量,也即,增大m的取值。
具体实现可以为:管理设备从等待队列中获取n个子任务,将这n个子任务分配给视频分析设备。这里所讲的视频分析设备可以为执行该m个子任务的至少一个视频分析设备中的一个或多个设备,也可以为视频分析系统中除执行该m个子任务的至少一个视频分析设备以外的其他视频分析设备。
具体将这n子个任务分配给哪个视频分析设备,根据视频分析系统中所有视频分析设备的CPU资源使用状态确定。例如,可将这n个子任务分配给视频分析系统中CPU资源使用率最低的设备。
步骤3053,在a高于n或等于n时,从已分配但被停止处理的子任务中获取n个子任务,向接收这n个子任务的视频分析设备发送启动通知,以便接收到这n个子任务的视频分析设备继续执行这n个子任务。
其中,在从已分配但停止执行的子任务中获取n个子任务时,可根据已分配但停止执行的各个子任务的执行进度以及接收该各个子任务的视频分析设备的CPU资源使用情况确定。
步骤3054,在a小于n且大于0时,向接收已分配但被停止处理的a个子任务的视频分析设备发送启动通知,则从任务集合中获取n-a个未被分配的子任务,将获取到的n-a个子任务分配给视频分析设备。
步骤306,在管理设备根据m个子任务的任务信息确定出m个子任务中已完成的数量k且k大于0时,管理设备启动k个子任务的执行,该k个子任务为任务集合中未完成的子任务。
其中,管理设备根据每个子任务的执行进度确定每个子任务是否已完成。例如,若某一子任务的执行进度为100%或已完成时,管理设备确定该子任务已完成。
管理设备获取m个任务中已完成的数量k。在任务集合中包括至少k个子任务的情况下,为了保证视频分析系统中同时执行的子任务的数量为m,需要再启动k个子任务的执行。
管理设备启动k个子任务的执行可通过如图7所示的几个步骤实现:
步骤3061,检测任务集合中包括已分配但被停止处理的子任务的数量a。
步骤3062,在a等于0时,从任务集合中获取k个子任务,将获取到的k个子任务分配给视频分析设备。
步骤3063,在a高于k或等于k时,从已分配但被停止处理的子任务中获取k个子任务,向接收这k个子任务的视频分析设备发送启动通知,以便接收到这k个子任务的视频分析设备继续执行这k个子任务。
步骤3064,在a小于k且大于0时,向接收已分配但被停止处理的a个子任务的视频分析设备发送启动通知,则从任务集合中获取k-a个子任务,将获取到的k-a个子任务分配给视频分析设备。
综上所述,本发明实施例提供的处理视频分析任务的方法,通过从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频中的每个视频的视频分析任务对应的一个或多个子任务,m为大于或等于1的整数;接收该至少一个视频分析设备发送的m个子任务的状态信息;在根据这m个子任务的状态信息确定出这m个子任务中每个子任务对应的片段的下载均未发生异常时,向视频分析设备分配n个子任务,该n个子任务为任务集合中未被分配的子任务,n为大于或等于1的整数;解决了相关技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题,达到了提高视频分析系统并发处理子任务的速度的效果。
图8是本发明一个实施例中提供的处理视频分析任务的装置的结构方框图。本实施例以该处理视频分析任务的装置应用于如图1所示视频分析系统中的管理设备120中。如图8所示,该处理视频分析任务的装置包括:分配模块810和接收模块820。
分配模块810,用于从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应该视频中的一片段,m为大于或等于1的整数;
接收模块820,用于接收该至少一个视频分析设备发送的m个子任务的任务信息,子任务的任务信息包括子任务的状态信息,该状态信息表示接收该子任务的视频分析设备在下载该子任务对应的片段时是否发生异常;
该分配模块810,还用于在根据该任务信息确定下载所述m个子任务的片段未发生异常时,从该任务集合中选择n个未分配的子任务分配给至少一个视频分析设备,n为大于或等于1的整数。
在一种可能的实施方式中,如图9所示,该处理视频分析任务的装置,还包括:
发送模块830,用于在根据接收模块820接收到的m个子任务的任务信息确定出高m个子任务中存在子任务对应的片段的下载发生异常时,向该至少一个视频分析设备发送任务中断通知,该任务中断通知用于触发该至少一个视频分析设备停止处理该m个子任务中的至少一个子任务。
在一种可能的实施方式中,子任务的任务信息还包括该子任务的执行进度,如图9所示,发送模块830,包括:
选择单元831,用于根据该m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数;
第一发送单元832,用于向至少一个视频分析设备发送任务中断通知,该任务中断通知用于触发至少一个视频分析设备停止处理该e个子任务。
该选择单元831包括:
第一排序子单元、第二排序子单元和选择子单元。
第一排序子单元,用于按照该m个子任务的优先级由高至低的顺序对该m个子任务进行排序,该m个子任务中的任一子任务的优先级与该任一子任务所在的视频分析任务的优先级相同;
第二排序子单元,用于在第一排序子模块831排序后的子任务序列中,对相同优先级的多个子任务按照执行进度由高至低进行排序;
选择子单元,用于从该子任务序列中优先级最低的端点开始获取连续的e个子任务。
在一种可能的实施方式中,如图9所示,发送模块830,包括:获取单元833和第二发送单元834。
获取单元833,用于获取对应的片段下载异常的子任务;
第二发送单元834,用于向接收获取单元833获取到的子任务的视频分析设备发送该任务中断通知。
在一种可能的实施方式中,如图9所示,所述装置还包括:
第一设置模块840,用于设置m等于m+n。
在一种可能的实施方式中,如图9所示,该处理视频分析任务的装置,还包括:第二设置模块850。
第二设置模块850,用于统计获取单元833获取到的子任务的数量x,设置m等于m-x。
综上所述,本发明实施例提供的处理视频分析任务的装置,通过从任务集合中选择m个子任务分配给至少一个视频分析设备,该任务集合包括至少一个视频中的每个视频的视频分析任务对应的一个或多个子任务,m为大于或等于1的整数;接收该至少一个视频分析设备发送的m个子任务的状态信息;在根据这m个子任务的状态信息确定出这m个子任务中每个子任务对应的片段的下载均未发生异常时,向视频分析设备分配n个子任务,该n个子任务为任务集合中未被分配的子任务,n为大于或等于1的整数;解决了相关技术中视频分析系统并发处理子任务的速度没有发挥到最大化的问题,达到了提高视频分析系统并发处理子任务的速度的效果。
需要说明的是:上述实施例中提供的处理视频分析任务的装置在处理视频分析任务时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的程序模块完成,即将管理设备120的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的处理视频分析任务的装置与处理视频分析任务的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种处理视频分析任务的方法,其特征在于,所述方法包括:
从任务集合中选择m个子任务分配给至少一个视频分析设备,所述任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应所述视频中的一片段,m为大于或等于1的整数;
接收所述至少一个视频分析设备发送的所述m个子任务的任务信息,子任务的任务信息包括所述子任务的状态信息,所述状态信息表示接收所述子任务的视频分析设备在下载所述子任务对应的片段时是否发生异常;
在根据所述任务信息确定下载所述m个子任务的片段未发生异常时,从所述任务集合中选择n个未分配的子任务分配给所述至少一个视频分析设备,n为大于或等于1的整数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:设置m等于m+n。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在根据所述m任务信息确定所述m个子任务中存在子任务对应的片段的下载发生异常时,向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述m个子任务中的至少一个子任务。
4.根据权利要求3所述的方法,其特征在于,所述向所述至少一个视频分析设备发送任务中断通知,包括:
根据所述m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数;
向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述e个子任务。
5.根据权利要求4所述的方法,其特征在于,所述子任务的任务信息还包括所述子任务的执行进度;
所述根据所述M个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,包括:
按照所述m个子任务的优先级对所述m个子任务进行排序;
在排序后的子任务序列中,对相同优先级的多个子任务按照执行进度进行排序;
从所述子任务序列中优先级最低的端点开始获取连续的e个子任务。
6.根据权利要求3所述的方法,其特征在于,所述向所述至少一个视频分析设备发送任务中断通知,包括:
获取下载异常的片段对应的子任务;
向接收所述获取的子任务的视频分析设备发送任务中断通知,所述任务中断通知用于指示所述视频分析设备停止处理所述获取的子任务。
7.根据权利要求6所述的方法,其特征在于,所述获取下载异常的片段对应的子任务之后,还包括:
统计所述获取的子任务的数量x,设置m等于m-x。
8.一种处理视频分析任务的装置,其特征在于,所述装置包括:
分配模块,用于从任务集合中选择m个子任务分配给至少一个视频分析设备,所述任务集合包括至少一个视频分析任务对应的一个或多个子任务,视频的子任务对应所述视频中的一片段,m为大于或等于1的整数;
接收模块,用于接收所述至少一个视频分析设备发送的所述m个子任务的任务信息,子任务的任务信息包括所述子任务的状态信息,所述状态信息表示接收所述子任务的视频分析设备在下载所述子任务对应的片段时是否发生异常;
所述分配模块,还用于在根据所述任务信息确定下载所述m个子任务的片段未发生异常时,从所述任务集合中选择n个未分配的子任务分配给所述至少一个视频分析设备,n为大于或等于1的整数。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一设置模块,用于设置m等于m+n。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
发送模块,用于在根据所述m任务信息确定所述m个子任务中存在子任务对应的片段的下载发生异常时,向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述m个子任务中的至少一个子任务。
11.根据权利要求10所述的装置,其特征在于,所述发送模块包括:
选择单元,用于根据所述m个子任务的任务优先级和/或执行进度,选择待中断的e个子任务,e为预设整数;
第一发送单元,用于向所述至少一个视频分析设备发送任务中断通知,所述任务中断通知用于触发所述至少一个视频分析设备停止处理所述e个子任务。
12.根据权利要求11所述的装置,其特征在于,所述子任务的任务信息还包括所述子任务的执行进度,所述选择单元包括:
第一排序子单元,用于按照所述m个子任务的优先级对所述m个子任务进行排序;
第二排序子单元,用于在排序后的子任务序列中,对相同优先级的多个子任务按照执行进度进行排序;
选择子单元,用于从所述子任务序列中优先级最低的端点开始获取连续的e个子任务。
13.根据权利要求10所述的装置,其特征在于,所述发送模块,包括:
获取单元,用于获取下载异常的片段对应的子任务;
第二发送单元,用于向接收所述获取单元获取到所述获取的子任务的视频分析设备发送所述任务中断通知。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第一设置模块,用于统计所述获取单元获取的子任务的数量x,设置m等于m-x。
15.一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质中存储有一个或一个以上的指令,其特征在于,所述一个或一个以上的指令被处理器执行时实现权利要求1至7中任一所述方法的步骤。
CN201711070082.7A 2017-11-03 2017-11-03 处理视频分析任务的方法和装置 Active CN109753849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711070082.7A CN109753849B (zh) 2017-11-03 2017-11-03 处理视频分析任务的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711070082.7A CN109753849B (zh) 2017-11-03 2017-11-03 处理视频分析任务的方法和装置

Publications (2)

Publication Number Publication Date
CN109753849A true CN109753849A (zh) 2019-05-14
CN109753849B CN109753849B (zh) 2021-08-17

Family

ID=66398672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711070082.7A Active CN109753849B (zh) 2017-11-03 2017-11-03 处理视频分析任务的方法和装置

Country Status (1)

Country Link
CN (1) CN109753849B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272354A (zh) * 2007-03-20 2008-09-24 重庆优腾信息技术有限公司 一种文件传输方法、装置和系统
CN102831012A (zh) * 2011-06-16 2012-12-19 日立(中国)研究开发有限公司 多节点分布式系统中的任务调度装置和任务调度方法
CN104104969A (zh) * 2014-07-23 2014-10-15 天脉聚源(北京)科技有限公司 一种视频截取方法及装置
CN104580305A (zh) * 2013-10-18 2015-04-29 腾讯科技(深圳)有限公司 网络上传调度和带宽检测方法、系统、客户端和服务器
CN104581423A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种海量视频智能分析系统的综合调度和负载均衡方法
CN104618371A (zh) * 2015-01-30 2015-05-13 乐视网信息技术(北京)股份有限公司 一种数据下载方法、装置及系统
CN104731663A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 任务处理方法及系统
CN105282051A (zh) * 2015-09-11 2016-01-27 广州华多网络科技有限公司 一种带宽调整方法及带宽服务器
CN105873022A (zh) * 2015-12-07 2016-08-17 乐视移动智能信息技术(北京)有限公司 移动终端下载方法及装置
CN106033371A (zh) * 2015-03-13 2016-10-19 杭州海康威视数字技术股份有限公司 一种视频分析任务的调度方法及系统
CN106254833A (zh) * 2016-08-30 2016-12-21 浙江宇视科技有限公司 一种分布式文件的下载方法及装置
CN106254566A (zh) * 2016-10-31 2016-12-21 乐视控股(北京)有限公司 一种数据下载处理方法及装置
CN106358054A (zh) * 2015-07-14 2017-01-25 杭州海康威视数字技术股份有限公司 一种集群视频分析方法和系统
CN106998349A (zh) * 2016-10-18 2017-08-01 深圳大宇无限科技有限公司 多线程下载方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272354A (zh) * 2007-03-20 2008-09-24 重庆优腾信息技术有限公司 一种文件传输方法、装置和系统
CN102831012A (zh) * 2011-06-16 2012-12-19 日立(中国)研究开发有限公司 多节点分布式系统中的任务调度装置和任务调度方法
CN104581423A (zh) * 2013-10-12 2015-04-29 北京航天长峰科技工业集团有限公司 一种海量视频智能分析系统的综合调度和负载均衡方法
CN104580305A (zh) * 2013-10-18 2015-04-29 腾讯科技(深圳)有限公司 网络上传调度和带宽检测方法、系统、客户端和服务器
CN104104969A (zh) * 2014-07-23 2014-10-15 天脉聚源(北京)科技有限公司 一种视频截取方法及装置
CN104618371A (zh) * 2015-01-30 2015-05-13 乐视网信息技术(北京)股份有限公司 一种数据下载方法、装置及系统
CN106033371A (zh) * 2015-03-13 2016-10-19 杭州海康威视数字技术股份有限公司 一种视频分析任务的调度方法及系统
CN104731663A (zh) * 2015-03-31 2015-06-24 北京奇艺世纪科技有限公司 任务处理方法及系统
CN106358054A (zh) * 2015-07-14 2017-01-25 杭州海康威视数字技术股份有限公司 一种集群视频分析方法和系统
CN105282051A (zh) * 2015-09-11 2016-01-27 广州华多网络科技有限公司 一种带宽调整方法及带宽服务器
CN105873022A (zh) * 2015-12-07 2016-08-17 乐视移动智能信息技术(北京)有限公司 移动终端下载方法及装置
CN106254833A (zh) * 2016-08-30 2016-12-21 浙江宇视科技有限公司 一种分布式文件的下载方法及装置
CN106998349A (zh) * 2016-10-18 2017-08-01 深圳大宇无限科技有限公司 多线程下载方法和装置
CN106254566A (zh) * 2016-10-31 2016-12-21 乐视控股(北京)有限公司 一种数据下载处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭文宇: "基于多用户多任务的高性能网络带宽预留调度算法的研究与多用户多任务的高性能网络带宽预留调度算法的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109753849B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN105718479B (zh) 跨idc大数据处理架构下执行策略生成方法、装置
CN107241380B (zh) 用于基于时间调整的负载均衡的方法和设备
CN107315629A (zh) 任务处理方法、装置及存储介质
CN108090731A (zh) 一种信息处理方法及设备
CN112346859A (zh) 资源调度方法及装置、电子设备和存储介质
CN109656782A (zh) 可视化调度监控方法、装置及服务器
CN111104210A (zh) 一种任务处理方法、装置及计算机系统
US20090282413A1 (en) Scalable Scheduling of Tasks in Heterogeneous Systems
CN105589783A (zh) 应用程序卡顿问题数据获取方法及装置
CN109413667A (zh) 一种5g网元任务处理方法及系统、nrf、存储介质
CN112486788B (zh) 一种工作量评估方法、装置、电子设备和可读存储介质
CN107577534A (zh) 一种资源调度方法及装置
CN110837401A (zh) 一种java线程池分级处理方法和装置
CN106790706A (zh) 一种数据资源优化的方法、平台及系统
CN108762907A (zh) 基于多个客户端的任务处理方法及系统
CN115220921B (zh) 资源调度方法及相关装置、图形处理器、摄像器件和介质
CN113886034A (zh) 任务调度方法、系统、电子设备及存储介质
CN113127171A (zh) 用于任务分配系统中的行为配对的技术
WO2013097210A1 (zh) 基于云应用的在线渲染方法和离线渲染方法及相关装置
CN110278229A (zh) 分布式服务集群的负载均衡方法、装置以及电子设备
CA2631255A1 (en) Scalable scheduling of tasks in heterogeneous systems
CN109753849A (zh) 处理视频分析任务的方法和装置
US10031776B2 (en) Workflow job distribution in a data processing system with agent time window constraints
CN115373826B (zh) 一种基于云计算的任务调度方法及装置
CN111833478A (zh) 数据处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant