CN116109975B - 电网安全作业监控图像处理方法及智能视频监控系统 - Google Patents
电网安全作业监控图像处理方法及智能视频监控系统 Download PDFInfo
- Publication number
- CN116109975B CN116109975B CN202310085207.2A CN202310085207A CN116109975B CN 116109975 B CN116109975 B CN 116109975B CN 202310085207 A CN202310085207 A CN 202310085207A CN 116109975 B CN116109975 B CN 116109975B
- Authority
- CN
- China
- Prior art keywords
- frame
- tracking
- moving target
- target area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请提供一种电网安全作业监控图像处理方法及智能视频监控系统,所述方法包括:利用混合高斯背景建模对输入的视频序列进行检测获取运动目标区域并进行跟踪框标识,根据首帧图像的运动目标区域画面构建目标尺度金字塔,利用KCF目标跟踪算法对运动目标区域进行跟踪,当运动目标区域被遮挡或丢失时,对上一帧图像中的HOG特征与SIFT特征进行提取并融合得到特征模型,与后续图像帧进行匹配重新框定运动目标区域,再利用KCF目标跟踪算法继续进行跟踪。该技术方案,可以有效的缩小运动目标区域的搜索范围,减少计算的工程量,提升了跟踪成功率;当出现被遮挡或丢失等情况时,可以对运动目标区域进行重新检测,保证了目标跟踪的稳定性。
Description
技术领域
本申请涉及互联网及人工智能技术领域,特别是涉及一种电网安全作业监控图像处理方法及智能视频监控系统。
背景技术
传统的电网视频监控的作用是通过监控摄像机将采集到的视频内容保存到硬盘录像机中,当有意外的情况发生时,相关部门通过视频回放进行取证,功能简单,不具备智能化处理功能。根据问卷调查发现,工作人员同时对两路视频图像进行监视,十五分钟后,47%的人对视频内容中出现异常情况,无法做出有效处理;三十分钟后,88%的工作人员对视频内容中出现的异常情况,无法做出有效处理;因此在电网视频监控中引入智能视频图像处理技术应用系统是具有非常重要的现实意义。
近年来,由于人工智能的迅速发展,计算机视觉等相关技术已经有了很大的进展,人们希望能够通过使用摄像机替代人眼进行观测,并且利用计算机对观测到的视频信息进行分析处理,这不仅能够降低人类的工作负担,还可以大幅度提升监测的精确度和成功率;利用相关技术拓展监测范围,加强对视频中的重要内容进行搜索,协助人类提高处理大量数据的速度;智能监测系统相对于传统视频监测技术有监控区域大、持续时间长、检测的准确性、截获率高以及使用范围广泛等优势。
伴随人工智能的发展,传统的安全生产巡检工作正在被机器视觉所取代,通过智能视频监控技术能够让工作人员的判断更加客观可靠,避免出现因监控人员精神疲惫而误操作等问题的发生;智能视频处理系统的目的是通过对监控视频内容进行分析,对异常事件做到实时处理,而传统的视频监控技术只能被简单用作发生意外情况后调查采证,如果想要做到提前预防意外情况的发生或者在意外发生的过程中将问题解决,这就离不开智能视频处理技术的应用;通过智能视频处理系统直接对监控摄像机采集到的视频内容中的运动目标进行实时检测跟踪,并在对目标跟踪的过程中,对跟踪目标的行为进行二次智能化分析处理,实现在“无人值守”的条件下对监控场景中运动目标的行为进行理解与分析。
智能视频监控系统指的是通过监控摄像机对前端监控视频内容的获取,对监控内容进行分析与处理,最终实现对监控场景智能化处理的要求;随着科技的进步,智能监控系统将会具备更为全面的功能,时至今日相关技术的发展已经突飞猛进,基础理论在探索中不断改进和完善,对应的监控体系也在积极建设中;但是现有的智能视频图像处理系统在运动目标跟踪时仍然存在技术上缺陷,并不能完美解决所有问题,因此对智能监控技术需要进一步探索;目标跟踪指的是通过视频序列中对运动目标相应的运动轨迹或位置信息而获取,为后续针对视频中出现的目标行为进行具体化、智能化分析,奠定坚实的基础;但是在静态背景下,目标跟踪过程中会因为遮挡、背景复杂程度高等情况而造成跟踪失败等问题。
当前,运动目标跟踪通常是对获取视频中的第一帧进行初始化目标框,对下一帧中产生的众多候选框进行特征提取;这时会有两个处理方案,第一种是预测的目标直接通过对众多候选框进行比较,从中将相似程度最高的候选框选择出,第二种是对多个预测值进行二次融合得到最佳的预测目标,参考图1所示,图1是传统的KCF目标跟踪算法流程图;主要流程是利用KCF(Kernel Correlation Filter,核相关滤波算法)目标跟踪算法实现当前目标与背景作为样本训练滤波器的跟踪,能够在后续视频帧中检测到目标最相似的区域。
KCF目标跟踪算法的优点是计算速度快、跟踪效果好,但在实际应用中,经常会因为跟踪目标发生尺度变化、遮挡等情况,造成跟踪目标丢失等问题,为了实现对KCF目标跟踪算法的改进,也有相关技术开发了自适应跟踪方案,例如,中国专利公开号CN109685073A所公开的一种基于核相关滤波的尺度自适应目标跟踪算法,但这些技术方案,依然无法解决计算工程量大,以及跟踪目标发生尺度变化、遮挡导致跟踪目标丢失的缺陷。
发明内容
基于此,有必要针对上述技术问题之一,提供一种电网安全作业监控图像处理方法及智能视频监控系统。
一种电网安全作业监控图像处理方法,包括:
利用混合高斯背景建模对输入的视频序列进行检测获取运动目标区域并进行跟踪框标识;
根据首帧图像的运动目标区域画面构建目标尺度金字塔;
利用KCF目标跟踪算法对所述运动目标区域进行跟踪,并在跟踪运动目标区域过程中,判断当前帧图像是否为视频序列的最后一帧;
如果为最后一帧,则运动目标区域跟踪结束,否则判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况;
如果发生被遮挡或丢失的情况,则对上一帧图像中的HOG特征与SIFT特征进行提取,根据所述HOG特征与SIFT特征融合得到特征模型;
在所述目标尺度金字塔的前提下,将所述特征模型与后续图像帧进行匹配重新框定运动目标区域;
利用KCF目标跟踪算法对所述框定的运动目标区域继续进行跟踪,直到视频序列播放结束。
在一个实施例中,所述根据首帧图像的运动目标区域画面构建目标尺度金字塔,包括:
在视频序列的首帧图像中出现完整的运动目标区域中建立对应的尺度金字塔,并利用尺度滤波器计算对应的响应值;
通过对所述响应值进行互相比较得到最大响应值所包含的目标尺度信息,并将该目标尺度信息中的图像设置为样本信息,根据所述样本信息更新运动目标区域中的尺度模型。
在一个实施例中,所述电网安全作业监控图像处理方法,还包括:
根据KCF目标跟踪算法中的第S-1帧图像的跟踪框在图像中所在的位置确定第S帧图像中的运动目标区域所在的位置,并作为S+1帧图像的样本训练中的预测值;
在所述运动目标区域中构建出多个尺度金字塔,并计算各个尺度金字塔中HOG特征的极值;
根据所述尺度滤波器计算各个极值对应的响应值,并通过比较各个响应值获得最大响应值相对应的尺度值。
在一个实施例中,所述对上一帧图像中的HOG特征与SIFT特征进行提取,根据所述HOG特征与SIFT特征融合得到特征模型,包括:
将上一帧图像内容转换为二维图像并进行归一化处理;
对归一化的帧图像的SIFT特征与HOG特征进行提取,得到的对应特征集合分别为S(I)和H(I);
将所述特征集合S(I)和H(I)融合生成新的特征模型。
在一个实施例中,所述新的特征模型融合公式为:
R(I)=αH(I)+βS(I)
α+β=1
其中,R(I)为特征模型,α和β分别为HOG特征和SIFT特征分别通过各自的样本特征训练后获得的权值。
在一个实施例中,所述将所述特征模型与后续图像帧进行匹配重新框定运动目标区域,包括:
从下一帧图像中的运动目标区域中提取出SIFT特征;
利用所述特征模型与下一帧图像的SIFT特征进行匹配,重新搜索出和定位运动目标区域;
利用标识框对定位到的运动目标区域进行框定,并作为在后续视频序列的帧图像中进行目标跟踪的目标样本。
在一个实施例中,所述的方法还包括:
若视频序列中目标跟踪的帧图像长时间被遮挡或丢失时,则按照视频序列在时间轴上的顺序依次提取后续多帧图像的SIFT特征;
将所述特征模型与各个帧图像的SIFT特征进行匹配,直至搜索出和定位所述运动目标区域。
在一个实施例中,所述判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况,包括:
对视频序列中相邻帧图像中的跟踪框内的区域图像特征进行提取,并计算所述区域图像特征的重叠量的巴氏系数;
根据所述巴氏系数获得相邻帧的图像中的跟踪框内的区域图像的相似度;
根据所述相似度判定跟踪目标是否发生遮挡或丢失情况。
在一个实施例中,所述巴氏系数计算公式如下:
式中,d(P1,P2)表示巴氏系数,P1和P2分别代表视频序列中相邻两帧图像画面的LBP向量,N为对应图像维数;
所述根据所述相似度判定跟踪目标是否发生遮挡或丢失情况,包括:
计算巴氏系数平均值得到第t-1帧画面到第t帧画面中相似度;
根据相似度阈值Rγ判断第t帧画面是否跟踪目标未发生遮挡或丢失;
所述相似度阈值公式为:
式中,Rγ为相似度阈值,d(pt-1,pt)表示第t-1帧画面到第t帧画面中相似度,当W=0时,表示跟踪目标未发生被遮挡或丢失情况,当W=1时,表示跟踪目标发生遮挡或丢失情况。
在一个实施例中,在判断目标跟踪过程中是否发生运动目标区域被遮挡时,包括:
根据视频序列的第一帧建立滤波器的滤波模板和定义高质量模板;其中,当上一帧视频帧的响应质量指标值大于设定的高质量模板阈值时,定义上一帧视频帧的滤波模板为高质量模板;
依次利用上一帧视频帧的滤波模板和高质量模板检测视频序列后续的各个视频帧的运动目标区域得到目标响应质量指标值,并计算各个目标响应质量指标值之间的响应质量指标差值;
判断响应质量指标差值是否大于设定的遮挡阈值,若是,则判定运动目标区域发生了遮挡,并在进入遮挡后检测运动目标区域再出现部分;
采用上一帧视频帧的高质量模板更新运动目标区域的目标位置,并读取下一帧视频帧;
利用高质量模板判断运动目标区域是否重新出现;
若重新出现,将当前视频帧的滤波模板替换为所述高质量模板,并更新运动目标区域的目标位置;否则读取下一帧视频帧继续判断。
在一个实施例中,所述电网安全作业监控图像处理方法,还包括:
若运动目标区域未发生遮挡,以最大化响应质量指标值为目标规划多特征融合系数;
根据所述多特征融合系数生成滤波模板;
根据所述滤波模板更新运动目标区域的目标位置以及更新高质量模板,并读取下一帧视频帧进行判断是否发生遮挡。
在一个实施例中,所述判断响应质量指标差值是否大于设定的遮挡阈值,包括:
采用邻近的k帧视频帧的响应质量指标差值作为当前帧视频帧的遮挡判断依据,判断式为:
式中,DIS为采用正常跟踪的滤波检测当前帧视频帧得到的响应质量指标值,DISH为使用高质量模板检测得到的响应质量指标值,为邻近的k帧视频帧的响应质量指标差值。
一种智能视频监控系统,其特征在于,该智能视频监控系统被配置为执行上述的电网安全作业监控图像处理方法的步骤。
本申请的技术方案,首先利用混合高斯背景建模对输入的视频序列进行检测获取运动目标区域并进行跟踪框标识,根据首帧图像的运动目标区域画面构建目标尺度金字塔,利用KCF目标跟踪算法对所述运动目标区域进行跟踪,当运动目标区域被遮挡或丢失时,对上一帧图像中的HOG特征与SIFT特征进行提取并融合得到特征模型;在目标尺度金字塔的前提下将特征模型与后续图像帧进行匹配重新框定运动目标区域,再利用KCF目标跟踪算法对框定的运动目标区域继续进行跟踪,直到视频序列播放结束。该技术方案,通过在KCF目标跟踪算法执行过程中引入了SIFT算法中的尺度金字塔,为跟踪目标匹配最适宜尺寸的跟踪框,有效的缩小运动目标区域的搜索范围,减少计算的工程量,提升了跟踪成功率;在跟踪过程中,当运动目标区域出现被遮挡或丢失等情况时,在目标尺度金字塔下,利用新的特征模型对运动目标区域的重新检测,保证了目标跟踪的稳定性。
另外,根据视频序列的第一帧建立滤波器的滤波模板和定义高质量模板,在后续视频帧的检测中,用高质量模板和正常更新的滤波模板同时检测目标得到响应图的响应质量指标差值来判断遮挡,能够区分遮挡情况和其他挑战因素导致的响应图遮挡判断;减少跟踪运动目标区域被遮挡情况下导致的跟踪失败的几率,提高遮挡判定的准确性。
附图说明
图1是传统的KCF目标跟踪算法流程图;
图2是一个实施例的电网安全作业监控图像处理方法流程图;
图3是一个实施例的判断是否遮挡的算法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请主要是针对于电网安全作业中,使用的智能视频监控系统中传统的KCF目标跟踪算法对视频图像进行处理时,所出现在跟踪过程中计算工程量大,而且在跟踪目标发生尺度变化、遮挡导致跟踪目标丢失的缺陷进行改进,以提升目标跟踪处理效率,解决跟踪目标出现被遮挡或丢失等情况时能够及时恢复对跟踪目标的重新定位,提升了目标跟踪稳定性。
参考图2所示,图2是一个实施例的电网安全作业监控图像处理方法流程图,主要包括如下步骤:
S1,利用混合高斯背景建模对输入的智能视频监控系统中的视频序列的第一帧图像进行检测,可以获取运动目标区域,然后基于KCF目标跟踪算法设置跟踪框对运动目标区域进行标识。
此步骤中,利用混合高斯背景建模对输入的视频序列进行检测获取运动目标区域并进行跟踪框标识
S2,根据首帧图像的运动目标区域画面构建目标尺度金字塔。
在一个实施例中,对于构建目标尺度金字塔的方法,可以在视频序列的首帧图像中出现完整的运动目标区域中建立对应的尺度金字塔,并利用尺度滤波器计算对应的响应值;通过对所述响应值进行互相比较得到最大响应值所包含的目标尺度信息,并将该目标尺度信息中的图像设置为样本信息,根据所述样本信息更新运动目标区域中的尺度模型。
优选的,针对于视频序列的首帧图像构建目标尺度金字塔的方法,可以包括如下步骤:
S201,根据KCF目标跟踪算法中的第S-1帧图像的跟踪框在图像中所在的位置确定第S帧图像中的运动目标区域所在的位置,并作为S+1帧图像的样本训练中的预测值。
S202,在所述运动目标区域中构建出多个尺度金字塔,并计算各个尺度金字塔中HOG特征的极值。
S203,根据所述尺度滤波器计算各个极值对应的响应值,并通过比较各个响应值获得最大响应值相对应的尺度值。
对于计算响应值,可以参考如下公式:
式中,为响应值,s为极值。
上述实施例的技术方案,在视频接入系统后,对在视频首帧出现完整的目标区域中建立出对应的尺度金字塔,并利用核相关滤波器将对应的响应值计算出来,通过对响应值的互相比较后,得到最大响应值所包含的目标尺度信息,将该尺度信息中的图像设置为样本信息去更新目标区域中的尺度模型等;通过将尺度金字塔引入到KCF目标跟踪算法在目标跟踪过程中,在视频序列中对应的跟踪目标在移动中出现尺度缩小等情况时,可以通过构建出适应的尺度空间而缩小搜索区域,达到跟踪标识框自动适配跟踪目标的要求;同时在跟踪过程中,如果后续发生目标被遮挡或者丢失等情况时,也可以结合SIFT算法对特征检测范围进行适当的缩小,提高算法的计算速度。
S3,利用KCF目标跟踪算法对所述运动目标区域进行跟踪。
此步骤中,利用常规的KCF目标跟踪算法实现当前目标与背景作为样本训练滤波器的跟踪,在后续视频帧中检测到目标最相似的区域,KCF目标跟踪算法具有计算速度快、跟踪效果好的特点。
S4,在跟踪运动目标区域过程中,判断当前帧图像是否为视频序列的最后一帧;如果为最后一帧,则运动目标区域跟踪结束,否则执行S5。
此步骤中,如果当前帧图像不是视频序列的最后一帧,说明当前帧发生了跟踪目标被遮挡或者丢失等情况,此时需要引入对应的处理机制重新搜索出并定位运动目标区域。
由于遮挡问题是目标跟踪的难点,当目标被遮挡时,滤波器只能学习到遮挡物的特征,引起了模型识别偏差,且单从响应质量对遮挡进行检测是容易与图像运动模糊等情况进行混淆。
据此,在一个实施例中,为了减少跟踪运动目标区域被遮挡情况下导致的跟踪失败的几率,提高遮挡判定的准确性;本实施例的电网安全作业监控图像处理方法,在判断目标跟踪过程中的运动目标区域被遮挡时,可以采用如下技术方案:
S401,根据视频序列的第一帧建立滤波器的滤波模板和定义高质量模板;其中,当上一帧视频帧的响应质量指标值大于设定的高质量模板阈值时,定义上一帧视频帧的滤波模板为高质量模板。
S402,依次利用上一帧视频帧的滤波模板和高质量模板检测视频序列后续的各个视频帧的运动目标区域得到目标响应质量指标值,并计算各个目标响应质量指标值之间的响应质量指标差值。
S403,判断响应质量指标差值是否大于设定的遮挡阈值,若是,则判定运动目标区域发生了遮挡,并在进入遮挡后检测运动目标区域再出现部分;
进一步的,若运动目标区域未发生遮挡,以最大化响应质量指标值为目标规划多特征融合系数;然后根据所述多特征融合系数生成滤波模板;并根据所述滤波模板更新运动目标区域的目标位置以及更新高质量模板,并读取下一帧视频帧进行判断是否发生遮挡。
S404,采用上一帧视频帧的高质量模板更新运动目标区域的目标位置,并读取下一帧视频帧。
S405,利用高质量模板判断运动目标区域是否重新出现;若重新出现,将当前视频帧的滤波模板替换为所述高质量模板,并更新运动目标区域的目标位置;否则读取下一帧视频帧继续判断。
上述实施例的技术方案,根据视频序列的第一帧建立滤波器的滤波模板和定义高质量模板,在后续视频帧的检测中,用高质量模板和正常更新的滤波模板同时检测目标得到响应图的响应质量指标差值来判断遮挡,能够区分遮挡情况和其他挑战因素导致的响应图遮挡判断;减少跟踪运动目标区域被遮挡情况下导致的跟踪失败的几率,提高遮挡判定的准确性。
基于上述实施例的技术方案,参考图3所示,图3是一个实施例的判断是否遮挡的算法流程图,如图3所示,本实施例对跟踪目标物体遮挡时,采用了多特征自适应融合的抗遮挡算法,通过自适应融合和判定遮挡及遮挡后重新出现处理两部分。首先对第一帧视频帧进行初始化,然后对后续每一帧视频帧的跟踪结果进行遮挡判定,如果判定为不存在遮挡,以最大化响应质量指标值为目标自适应融合不同特征的响应图;如果判定发生了遮挡,跟踪器进行遮挡循环部分,当判定目标重新出现后,跳出遮挡判断循环,将滤波模板回溯到最近一帧视频帧的高质量模板。
优选的,具体算法流程可以如下:
s1:设定高质量模板的阈值ε,当上一帧视频帧的响应质量指标值DIS>ε时,定义上一帧视频帧的滤波模板为高质量模板,并定义为hhigh,并存储下来。
s2:用上一帧视频帧的滤波模板hn-1和高质量模板hhigh检测第n帧视频帧的运动目标区域,得到目标响应质量指标值,计算各个目标响应质量指标值之间的响应质量指标差值,记为
s3:设定遮挡阈值ζ,当时,判定运动目标区域发生了遮挡,进入遮挡后检测运动目标区域再出现部分,进入s4。
当时,判定运动目标区域未发生遮挡,正常更新滤波器位置,读取下一帧视频帧的图像,结束循环。
优选的,为了防止出现个别异常的响应质量指标差值情况影响遮挡情况的判断,采用邻近的k帧的响应质量指标差值作为遮挡判断的依据,对应的,,判断式如下:
式中,DIS为采用正常跟踪的滤波检测当前帧视频帧得到的响应质量指标值,DISH为使用高质量模板检测得到的响应质量指标值,为邻近的k帧视频帧的响应质量指标差值。
上述实施例,通过采用邻近k帧的响应质量指标差值作为遮挡判断条件,可以防止滤波器跟踪的过程中出现因滤波器错误检测导致响应质量指标差值/>突然增大,从而导致滤波器跳出遮挡循环的情况发生,因此跟踪器对于遮挡情况消失的判定会滞后目标出现几帧,以提高遮挡判定的准确性。
s4:采用上一帧视频帧的滤波模板更新目标位置,正常更新滤波器,读取下一帧视频帧的图像。
s5:设定跳出遮挡循环阈值ζ,用高质量模板hhigh检测当前帧视频帧的图像特征得到响应图的响应质量指标值当/>时,判定运动目标区域已经重新出现,进入s6;否则跳回s4。
s6:将运动目标区域的位置更新为高质量模板检测到的响应图的最高点的位置,同时将高质量模板赋值给当前滤波器模板,跳到s1。
上述实施例的技术方案,在对遮挡情况进行判断时,能够区分遮挡情况和其他挑战因素导致响应图遮挡进行区分,当目标物体受到遮挡时,滤波器采用正常的更新方式,逐步学习遮挡物的特征信息,正常滤波器检测到的响应质量指标值DIS会逐步升高。由于之前存储的高质量模板是目标物体的特征描述,高质量模板得到响应会比较低;据此,当两者的响应质量指标差值前达到阈值时,表示目标物体已经被完全遮挡;当目标物体处于遮挡状态时,通过高质量模板hhigh检测得到当前帧视频帧的响应质量指标值处于较低水平,当目标物体重新出现时,响应质量指标值会突然增大,此时就可以判断出目标物体已经重新出现,将滤波模板回溯到之前存储的高质量模板,即可继续接下来的各个视频帧的目标物体跟踪。
S5,判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况;如果发生被遮挡或丢失的情况,执行S6。
由于KCF目标跟踪算法在跟踪过程中,出现目标被遮挡或丢失等情况时无法进行及时处理,持续的模型更新会将遮挡的事物和背景等干扰信息进行代入,导致在后续的跟踪中出现跟踪框中心偏离跟踪目标中心的情况,对跟踪精度的造成影响,严重时会导致跟踪目标丢失;据此,在KCF目标跟踪算法执行过程中,设置对应的机制解决目标被遮挡或丢失等问题,先判断跟踪目标是否发生遮挡情况,再对跟踪目标中发生遮挡或丢失的情况进行解决,并在后续的视频序列中再次定位。
具体的,以监控摄像头为坐标原点,跟踪目标在一个二维坐标系图内进行移动,目标到摄像头的之间的距离作为x轴系数,目标的尺度变化主要发生目标坐标在x轴系数上变化的,而目标出现被遮挡或丢失的情况则主要是由于目标横向移动时造成的,所以当检测到跟踪目标发生被遮挡或丢失的情况时,可以忽略目标的尺度变化情况,所以能够将尺度金字塔中跟踪框的适配性进行停止,同时根据KCF目标跟踪算法中的核相关滤波响应图中的信号判断目标有无发生被遮挡或丢失等情况。
在一个实施例中,判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况,可以包括如下步骤:
S501,对视频序列中相邻帧图像中的跟踪框内的区域图像特征进行提取,并计算所述区域图像特征的重叠量的巴氏系数;具体的,巴氏系数的计算公式如下:
式中,d(P1,P2)表示巴氏系数,P1和P2分别代表视频序列中相邻两帧图像画面的LBP(Local Binary Pattern,局部二值模式)向量,N为对应图像维数;
S502,根据所述巴氏系数获得相邻帧的图像中的跟踪框内的区域图像的相似度。
由于当跟踪目标未发生遮挡等情况时,在视频序列相邻帧中的跟踪框内的区域图像相似高,如果跟踪目标发生遮挡等情况时,相似度会因为遮挡的区域出现而降低,因此,本申请实施例,通过图像相似度匹配情况可以对图像的相似程度进行测算,使用巴氏系数通过对相邻帧中跟踪框内的区域图像进行重叠量的测算来判断出两者的相似程度。
S503,根据所述相似度判定跟踪目标是否发生遮挡或丢失情况。
优选的,首先计算巴氏系数平均值得到第t-1帧画面到第t帧画面中相似度;然后根据相似度阈值Rγ判断第t帧画面是否跟踪目标未发生遮挡或丢失;其中,所述相似度阈值公式为:
式中,Rγ为相似度阈值,d(pt-1,pt)表示第t-1帧画面到第t帧画面中相似度,当W=0时,表示跟踪目标未发生被遮挡或丢失情况,当W=1时,表示跟踪目标发生遮挡或丢失情况。
S6,对上一帧图像中的HOG(Histogram of Oriented Gridients,方向梯度直方图)特征与SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)特征进行提取,根据所述HOG特征与SIFT特征融合得到特征模型;其中,HOG特征是描述图像局部纹理的特征,SIFT特征是用来侦测与描述影像中的局部性特征,在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。
当跟踪目标发生被遮挡或消失等情况时,需要在视频序列的后续帧图像的画面中重新搜索出并定位运动目标区域;基于多维特征向量描述的SIFT特征具有特征点匹配的准确率高,鲁棒性好的特性;本申请实施例,将SIFT特征与HOG特征融合得到新的融合模型,利用KCF目标跟踪算法中的HOG特征计算量小、运算速度大的优点克服了SIFT特征计算量大、实时性表现欠佳的缺陷。
在一个实施例中,对于融合得到特征模型的方法,可以包括如下步骤:
S601,将上一帧图像内容转换为二维图像并进行归一化处理。
S602,对归一化的帧图像的SIFT特征与HOG特征进行提取,得到的对应特征集合分别为S(I)和H(I)。
S603,将所述特征集合S(I)和H(I)融合生成新的特征模型。
具体的,所述新的特征模型融合公式为:
R(I)=αH(I)+βS(I) 公式(5)
α+β=1
其中,R(I)为特征模型,α和β分别为HOG特征和SIFT特征分别通过各自的样本特征训练后获得的权值。
S7,在所述目标尺度金字塔的前提下,将所述特征模型与后续图像帧进行匹配重新框定运动目标区域;在重新搜索出和定位运动目标区域之后,转S3重新利用KCF目标跟踪算法对所述框定的运动目标区域继续进行跟踪,直到视频序列播放结束。
在一个实施例中,对于重新框定运动目标区域的方法,可以包括如下步骤:
S701,从下一帧图像中的运动目标区域中提取出SIFT特征;
S702,利用所述特征模型与下一帧图像的SIFT特征进行匹配,重新搜索出和定位运动目标区域;
S703,利用标识框对定位到的运动目标区域进行框定,并作为在后续视频序列的帧图像中进行目标跟踪的目标样本。
优选的,在重新框定运动目标区域过程中,若视频序列中目标跟踪的帧图像长时间被遮挡或丢失时,则按照视频序列在时间轴上的顺序依次提取后续多帧图像的SIFT特征;将所述特征模型与各个帧图像的SIFT特征进行匹配,直至搜索出和定位所述运动目标区域。
具体的,当跟踪目标中出现遮挡情况时,利用相邻帧图像的上一帧图像中未出现被遮挡的目标区域进行SIFT特征与HOG特征相融合生成一个新的特征模型,利用该特征模型对目标区域进行再次匹配,用标识框对匹配到正确的区域进行框定,并以此为目标样本在后续视频序列中进行跟踪。如果两个特征模型均无法匹配成功时,按照视频序列在时间轴上的顺序继续提取图像帧融合特征模型继续进行相互匹配,直到在对应的帧图像帧中的预测出目标位置,搜索出并定位运动目标区域。
上述实施例的技术方案,当跟踪目标发生被遮挡或丢失等情况时,重新对跟踪目标进行检索,通过对下一帧图像中的目标区域进行SIFT特征提取,利用SIFT特征匹配对目标区域进行重新搜索和定位。并且当跟踪目标长时间被遮挡或丢失时,则对后续的多帧图像进行SIFT特征匹配,对目标区域进行不停的搜索,直到跟踪目标能够再次被识别出来。
本申请还提供一种智能视频监控系统,该智能视频监控系统被配置为执行以上任意实施例的电网安全作业监控图像处理方法的步骤。
综合上述各实施例,本申请的技术方案,在KCF目标跟踪算法执行中引入SIFT算法的尺度金字塔,对运动目标区域构造出不同尺度的金字塔,由最适配的尺寸大小金字塔确定视频序列的当前帧图像中出现的运动目标的跟踪框,能够有效缩小对尺度空间的搜索区域,减少计算的工程量,同时跟踪框大小能够自动适配跟踪目标,提升了跟踪成功率;在跟踪过程中,当运动目标区域出现被遮挡或丢失等情况时,设置了对应的检测机制去继续重新搜索运动目标区域,对相邻未出现目标遮挡或丢失的上一帧图像进行融合,通过融合KCF目标跟踪算法中的HOG特征与SIFT算法中的SIFT特征生成新的特征模型,在目标尺度金字塔下,利用该特征模型在对视频序列的后续帧图像进行特征模型匹配,在匹配至有响应的峰值出现时,预测出运动目标区域在图像中的位置,完成对运动目标区域的重新检测,实现再次定位跟踪目标的目的,然后继续执行KCF目标跟踪算法进行目标跟踪。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (6)
1.一种电网安全作业监控图像处理方法,其特征在于,包括:
利用混合高斯背景建模对输入的视频序列进行检测获取运动目标区域并进行跟踪框标识;
根据首帧图像的运动目标区域画面构建目标尺度金字塔;
利用KCF目标跟踪算法对所述运动目标区域进行跟踪,并在跟踪运动目标区域过程中,判断当前帧图像是否为视频序列的最后一帧;
如果为最后一帧,则运动目标区域跟踪结束,否则判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况;其中,判断目标跟踪过程中是否发生运动目标区域被遮挡或丢失的情况,包括:对视频序列中相邻帧图像中的跟踪框内的区域图像特征进行提取,并计算所述区域图像特征的重叠量的巴氏系数;其中,所述巴氏系数计算公式如下:
式中,/>表示巴氏系数,P 1 和P 2 分别代表视频序列中相邻两帧图像画面的LBP向量,N为对应图像维数;根据所述巴氏系数获得相邻帧的图像中的跟踪框内的区域图像的相似度;根据所述相似度判定跟踪目标是否发生遮挡或丢失情况,具体包括:计算巴氏系数平均值得到第t-1帧画面到第t帧画面中相似度;根据相似度阈值/>判断第t帧画面是否跟踪目标未发生遮挡或丢失;所述相似度阈值公式为:/>式中,为/>相似度阈值,表示第t-1帧画面到第t帧画面中相似度,当W=0时,表示跟踪目标未发生被遮挡或丢失情况,当W=1时,表示跟踪目标发生遮挡或丢失情况;
如果发生被遮挡或丢失的情况,则对上一帧图像中的HOG特征与SIFT特征进行提取,根据所述HOG特征与SIFT特征融合得到特征模型;包括:将上一帧图像内容转换为二维图像并进行归一化处理;对归一化的帧图像的SIFT特征与HOG特征进行提取,得到的对应特征集合分别为S(I)和H(I);将所述特征集合S(I)和H(I)融合生成新的特征模型;所述新的特征模型融合公式为:其中,/>为特征模型,α和β分别为HOG特征和SIFT特征分别通过各自的样本特征训练后获得的权值;
在判断目标跟踪过程中是否发生运动目标区域被遮挡时,包括:
根据视频序列的第一帧建立滤波器的滤波模板和定义高质量模板;其中,当上一帧视频帧的响应质量指标值大于设定的高质量模板阈值时,定义上一帧视频帧的滤波模板为高质量模板;
依次利用上一帧视频帧的滤波模板和高质量模板检测视频序列后续的各个视频帧的运动目标区域得到目标响应质量指标值,并计算各个目标响应质量指标值之间的响应质量指标差值;
判断响应质量指标差值是否大于设定的遮挡阈值,若是,则判定运动目标区域发生了遮挡,并在进入遮挡后检测运动目标区域再出现部分;其中,判断响应质量指标差值是否大于设定的遮挡阈值,包括:采用邻近的k帧视频帧的响应质量指标差值作为当前帧视频帧的遮挡判断依据,判断式为:
式中,DIS为采用正常跟踪的滤波检测当前帧视频帧得到的响应质量指标值,DIS H 为使用高质量模板检测得到的响应质量指标值/>为邻近的k帧视频帧的响应质量指标差值;
采用上一帧视频帧的高质量模板更新运动目标区域的目标位置,并读取下一帧视频帧;
利用高质量模板判断运动目标区域是否重新出现;若重新出现,将当前视频帧的滤波模板替换为所述高质量模板,并更新运动目标区域的目标位置;否则读取下一帧视频帧继续判断;
在所述目标尺度金字塔的前提下,将所述特征模型与后续图像帧进行匹配重新框定运动目标区域;
利用KCF目标跟踪算法对所述框定的运动目标区域继续进行跟踪,直到视频序列播放结束。
2.根据权利要求1所述的方法,其特征在于,所述根据首帧图像的运动目标区域画面构建目标尺度金字塔,包括:
在视频序列的首帧图像中出现完整的运动目标区域中建立对应的尺度金字塔,并利用尺度滤波器计算对应的响应值;
通过对所述响应值进行互相比较得到最大响应值所包含的目标尺度信息,并将该目标尺度信息中的图像设置为样本信息,根据所述样本信息更新运动目标区域中的尺度模型。
3.根据权利要求2所述的方法,其特征在于,还包括:
根据KCF目标跟踪算法中的第S-1帧图像的跟踪框在图像中所在的位置确定第S帧图像中的运动目标区域所在的位置,并作为S+1帧图像的样本训练中的预测值;
在所述运动目标区域中构建出多个尺度金字塔,并计算各个尺度金字塔中HOG特征的极值;
根据所述尺度滤波器计算各个极值对应的响应值,并通过比较各个响应值获得最大响应值相对应的尺度值。
4.根据权利要求1所述的方法,其特征在于,所述将所述特征模型与后续图像帧进行匹配重新框定运动目标区域,包括:
从下一帧图像中的运动目标区域中提取出SIFT特征;
利用所述特征模型与下一帧图像的SIFT特征进行匹配,重新搜索出和定位运动目标区域;
利用标识框对定位到的运动目标区域进行框定,并作为在后续视频序列的帧图像中进行目标跟踪的目标样本;
若视频序列中目标跟踪的帧图像长时间被遮挡或丢失时,则按照视频序列在时间轴上的顺序依次提取后续多帧图像的SIFT特征;
将所述特征模型与各个帧图像的SIFT特征进行匹配,直至搜索出和定位所述运动目标区域。
5.根据权利要求1所述的方法,其特征在于,还包括:
若运动目标区域未发生遮挡,以最大化响应质量指标值为目标规划多特征融合系数;
根据所述多特征融合系数生成滤波模板;
根据所述滤波模板更新运动目标区域的目标位置以及更新高质量模板,并读取下一帧视频帧进行判断是否发生遮挡。
6.一种智能视频监控系统,其特征在于,该智能视频监控系统被配置为执行权利要求1-5任一项所述的电网安全作业监控图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310085207.2A CN116109975B (zh) | 2023-02-08 | 2023-02-08 | 电网安全作业监控图像处理方法及智能视频监控系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310085207.2A CN116109975B (zh) | 2023-02-08 | 2023-02-08 | 电网安全作业监控图像处理方法及智能视频监控系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116109975A CN116109975A (zh) | 2023-05-12 |
CN116109975B true CN116109975B (zh) | 2023-10-20 |
Family
ID=86261218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310085207.2A Active CN116109975B (zh) | 2023-02-08 | 2023-02-08 | 电网安全作业监控图像处理方法及智能视频监控系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116109975B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117292306A (zh) * | 2023-11-27 | 2023-12-26 | 四川迪晟新达类脑智能技术有限公司 | 一种面向边缘设备的车辆目标检测优化方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN108765470A (zh) * | 2018-06-17 | 2018-11-06 | 天津理工大学 | 一种针对目标遮挡改进的kcf跟踪算法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN109753846A (zh) * | 2017-11-03 | 2019-05-14 | 北京深鉴智能科技有限公司 | 目标跟踪硬件实现系统和方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
CN112633105A (zh) * | 2020-12-15 | 2021-04-09 | 重庆电子工程职业学院 | 一种目标跟踪、统计系统及方法 |
CN113269809A (zh) * | 2021-05-07 | 2021-08-17 | 桂林电子科技大学 | 一种多特征融合相关滤波目标跟踪方法及计算机设备 |
CN114708300A (zh) * | 2022-03-02 | 2022-07-05 | 北京理工大学 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9984473B2 (en) * | 2014-07-09 | 2018-05-29 | Nant Holdings Ip, Llc | Feature trackability ranking, systems and methods |
-
2023
- 2023-02-08 CN CN202310085207.2A patent/CN116109975B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204638A (zh) * | 2016-06-29 | 2016-12-07 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
CN109753846A (zh) * | 2017-11-03 | 2019-05-14 | 北京深鉴智能科技有限公司 | 目标跟踪硬件实现系统和方法 |
CN108765470A (zh) * | 2018-06-17 | 2018-11-06 | 天津理工大学 | 一种针对目标遮挡改进的kcf跟踪算法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
CN112633105A (zh) * | 2020-12-15 | 2021-04-09 | 重庆电子工程职业学院 | 一种目标跟踪、统计系统及方法 |
CN113269809A (zh) * | 2021-05-07 | 2021-08-17 | 桂林电子科技大学 | 一种多特征融合相关滤波目标跟踪方法及计算机设备 |
CN114708300A (zh) * | 2022-03-02 | 2022-07-05 | 北京理工大学 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
Non-Patent Citations (2)
Title |
---|
包晓安等.基于KCF和SIFT特征的抗遮挡目标跟踪算法.《计算机测量与控制》.2018,第26卷(第5期),148-152. * |
顾培婷等.抗遮挡的相关滤波目标跟踪算法.《华侨大学学报(自然科学版)》.2018,第39卷(第4期),611-617. * |
Also Published As
Publication number | Publication date |
---|---|
CN116109975A (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555901B (zh) | 动静态场景的定位和建图方法、装置、设备和存储介质 | |
US20180165548A1 (en) | Systems and methods for object tracking | |
CN101477690B (zh) | 一种视频帧序列中物体轮廓跟踪的方法和装置 | |
CN104301630B (zh) | 一种视频图像拼接方法及装置 | |
Zhan et al. | DF-VO: What should be learnt for visual odometry? | |
CN116109975B (zh) | 电网安全作业监控图像处理方法及智能视频监控系统 | |
CN114708300A (zh) | 一种可抗遮挡的自适应目标跟踪方法及系统 | |
Zhao et al. | Effective local and global search for fast long-term tracking | |
Tao et al. | Tracking for half an hour | |
CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
Xu et al. | Feature extraction algorithm of basketball trajectory based on the background difference method | |
Bergaoui et al. | Object-centric and memory-guided normality reconstruction for video anomaly detection | |
CN116740753A (zh) | 一种基于改进YOLOv5和DeepSORT的目标检测及追踪的方法及系统 | |
Du Toit et al. | Sunspot identification and tracking with OpenCV | |
CN110503663B (zh) | 一种基于抽帧检测的随机多目标自动检测跟踪方法 | |
CN115601841A (zh) | 一种联合外观纹理和运动骨架的人体异常行为检测方法 | |
Yin et al. | Fast scale estimation method in object tracking | |
Mishra et al. | Automated detection of fighting styles using localized action features | |
Ranganatha et al. | SELECTED SINGLE FACE TRACKING IN TECHNICALLY CHALLENGING DIFFERENT BACKGROUND VIDEO SEQUENCES USING COMBINED FEATURES. | |
Zhang et al. | Research on frame design of sports image analysis system based on feature extraction algorithm | |
CN111915648A (zh) | 一种基于常识和记忆网络的长期目标运动跟踪方法 | |
Sujatha et al. | An innovative moving object detection and tracking system by using modified region growing algorithm | |
Huang et al. | RTracker: Recoverable Tracking via PN Tree Structured Memory | |
CN114780796B (zh) | 轨迹关联方法、装置、电子设备及机器可读存储介质 | |
Zheng | Sports Video Classification and Labeling Algorithm Based on Data Mining Technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |