CN111695374B - 监控视角中斑马线区域的分割方法、系统、介质及设备 - Google Patents

监控视角中斑马线区域的分割方法、系统、介质及设备 Download PDF

Info

Publication number
CN111695374B
CN111695374B CN201910185279.8A CN201910185279A CN111695374B CN 111695374 B CN111695374 B CN 111695374B CN 201910185279 A CN201910185279 A CN 201910185279A CN 111695374 B CN111695374 B CN 111695374B
Authority
CN
China
Prior art keywords
zebra
detection frame
detection
zebra crossing
stripes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910185279.8A
Other languages
English (en)
Other versions
CN111695374A (zh
Inventor
汪辉
李昕蔚
田犁
祝永新
封松林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Advanced Research Institute of CAS
University of Chinese Academy of Sciences
Original Assignee
Shanghai Advanced Research Institute of CAS
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Advanced Research Institute of CAS, University of Chinese Academy of Sciences filed Critical Shanghai Advanced Research Institute of CAS
Priority to CN201910185279.8A priority Critical patent/CN111695374B/zh
Publication of CN111695374A publication Critical patent/CN111695374A/zh
Application granted granted Critical
Publication of CN111695374B publication Critical patent/CN111695374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

本发明提供一种监控视角中斑马线区域的分割方法、系统、介质及设备,监控视角中斑马线区域的分割方法包括:将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测使用一深度学习检测网络进行监控图像中的斑马线检测,用检测框标定斑马线区域;根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。本发明提供的监控视角中斑马线区域的分割方法提高了斑马线检测的准确度,并且不受复杂多变的外界环境干扰。

Description

监控视角中斑马线区域的分割方法、系统、介质及设备
技术领域
本发明属于图像处理领域,涉及一种斑马线图像处理的方法,特别是涉及一种监控视角中斑马线区域的分割方法、系统、介质及设备。
背景技术
斑马线检测多年以来一直是盲人辅助系统、自动驾驶系统、智慧交通系统非常关注的问题。斑马线在交通中具有至关重要的地位,有关斑马线的交通法规不胜枚举,斑马线的用途也关乎着行人的生命。有关斑马线的图像处理研究多集中于近景斑马线的分割和远景斑马线的检测。
斑马线检测的问题与自动驾驶的发展并存,也不仅仅局限于自动驾驶场景之下,例如在智慧交通中对于斑马线的检测定位也是必须克服的问题。传统的斑马线检测方法着眼于斑马线的物理特征,通过canny算子提取边缘,再通过霍夫变换得到直线,经过对一系列直线平行的分析来检测斑马线的存在。然而这些方法多大同小异,对不同光线、形变、清晰度场景下的斑马线检测适应性不强。
由于在实际应用场景下,图像的拍摄设备的新旧程度和清洁程度会导致画质高低不等和色调偏差,拍摄时间的改变又会因为光线角度使斑马线的颜色特征有所改变,再加上路边建筑环境在路面上的阴影会带来影响。这些现实情况的存在都会使相关斑马线检测技术准确率不高,在实际应用中算法失效。
因此,如何提供一种斑马线区域的分割方法,使得鲁棒性更好,更适用于现实环境,以提高斑马线区域检测的准确度,实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种监控视角中斑马线区域的分割方法、系统、介质及设备,用于解决现有技术斑马线区域检测准确度不高的问题。
为实现上述目的及其他相关目的,本发明提供一种监控视角中斑马线区域的分割方法,包括:将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
于本发明的一实施例中,在将获取的一交通路口的监控图像用一深度学习的斑马线检测网络对斑马线进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框的步骤之前,所述监控视角中斑马线区域的分割方法还包括:由预先采集的若干交通路口的监控图像训练深度学习斑马线检测模型,生成所述斑马线检测网络。
于本发明的一实施例中,所述在所有所述斑马线的位置区域分别设置一检测框的步骤包括:在所述监控图像中用所述深度学习的斑马线检测网络对斑马线进行检测,识别所述监控图像中的斑马线并确定斑马线的位置;在每一个所述斑马线的位置绘制所述检测框,使所述斑马线的位置区域包含在所述检测框内。
于本发明的一实施例中,所述根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选的步骤包括:在确定的所有所述检测框中,将面积小于所述预设的检测框面积阈值的检测框或长宽比大于所述预设的检测框长宽比阈值的检测框直接作为斑马线分割结果;筛选出不能直接作为斑马线分割结果的检测框进行分析处理。
于本发明的一实施例中,所述对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果的步骤包括:通过霍夫变换的方法对筛选后的所述检测框内的所述监控图像进行边缘识别,确定所述检测框的边缘直线,并通过所述边缘直线的端点确定边缘直线的倾斜角度;对筛选后的所述检测框内的所述监控图像进行色彩空间变换,获取色彩空间变换后的所述监控图像的亮度值、蓝色分量值和红色分量值;
利用一滑动窗口在检测框中扫描不同位置的边缘直线的倾斜角度,且在检测框中扫描不同位置的所述色彩空间变换后的监控图像,所述滑动窗口是针对所述检测框内的监控图像进行局部检测的区域划定范围,将该区域划定范围定义为所述滑动窗口;
将所述滑动窗口在每一个位置的边缘直线的倾斜角度统计结果作为第一统计结果,所述滑动窗口在每一个位置色彩空间变换后的亮度值、蓝色分量值和红色分量值作为第二统计结果,所述第一统计结果和第二统计结果组合为斑马线区域的统计结果。
于本发明的一实施例中,所述根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果的步骤包括:在所述第一统计结果中,将所述边缘直线的倾斜角度数值分散的滑动窗口扫描位置作为非斑马线区域;在所述第二统计结果中,将亮度值介于所述亮度阈值和255之间、且蓝色分量值和红色分量值在128为中心的阈值范围内的所述滑动窗口区域确认为斑马线分割区域;将所述斑马线分割区域中剔除所述非斑马线区域后的区域作为斑马线分割结果。
于本发明的一实施例中,在所述根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果的步骤之后,所述监控视角中斑马线区域的分割方法还包括:对所述斑马线分割结果进行斑马线轮廓提取和凸包处理以填充行人车辆对斑马线的遮挡部分。
本发明另一方面提供一种监控视角中斑马线区域的分割系统,所述监控视角中斑马线区域的分割系统包括:检测框获取模块,用于将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;筛选模块,用于根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;扫描模块,用于对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;扫描结果分析模块,用于根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
本发明又一方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述监控视角中斑马线区域的分割方法。
本发明最后一方面提供一种设备,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述设备执行所述监控视角中斑马线区域的分割方法。
如上所述,本发明的一种监控视角中斑马线区域的分割方法、系统、介质及设备,具有以下有益效果:
本发明针对真实场景下存在遮挡,存在光线分布不均状况的斑马线可实现精确分割,且鲁棒性较高,结合局部的形态以及颜色特性提高了分割的精准性,通过凸包算法实现区域分割的完整性。
附图说明
图1显示为本发明的一种监控视角中斑马线区域的分割方法于一实施例中的原理流程图。
图2显示为本发明的一种监控视角中斑马线区域的分割方法于一实施例中的斑马线图像处理示意图。
图3显示为本发明的一种监控视角中斑马线区域的分割系统于一实施例中的扫描处理流程图。
图4显示为本发明的一种监控视角中斑马线区域的分割方法于实施例二中的原理流程图。
图5显示为本发明的一种监控视角中斑马线区域的分割系统于一实施例中的系统原理图。
元件标号说明
21 检测框
22 滑动窗口
23 斑马线
24 边缘直线
25 非斑马线区域
5 监控视角中斑马线区域的分割系统
51 检测框获取模块
52 筛选模块
53 扫描模块
54 扫描结果分析模块
S11~S14 斑马线区域的分割方法步骤
S131~S134 滑动窗口扫描处理步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明所述监控视角中斑马线区域的分割方法、系统、介质及设备的技术原理如下:将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
实施例一
本实施例提供一种监控视角中斑马线区域的分割方法,包括:
将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
以下将结合图示对本实施例所提供的一种监控视角中斑马线区域的分割方法进行详细说明。
请参阅图1,显示为本发明的一种监控视角中斑马线区域的分割方法于一实施例中的原理流程图。如图1所示,所述一种监控视角中斑马线区域的分割方法具体包括以下几个步骤:
S11,将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
在本实施例中,在将获取的一交通路口的监控图像与一斑马线检测网络中的参考斑马线进行比对,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框的步骤之前,所述监控视角中斑马线区域的分割方法还包括:
由预先采集的若干交通路口的监控图像训练深度学习斑马线检测模型,生成所述斑马线检测网络。
具体地,构建监控视角路口交通图像集,使用Faster R-CNN算法实现深度学习斑马线检测,训练所述斑马线检测网络,然后,使用Faster R-CNN训练的所述斑马线检测网络对斑马线进行检测。在众多深度学习目标检测算法中,Faster R-CNN算法具有检测精确度更高的优势。为了进行深度学习网络的训练,需要采集训练图片,图片采集自交通路口摄像装置,选取多种包含斑马线的路口图像,图像中的道路环境与现实环境相适应,使训练集图像富于多样性。
在本实施例中,所述在所有所述斑马线的位置区域分别设置一检测框的步骤包括:
在所述监控图像中用所述深度学习的斑马线检测网络对斑马线进行检测,识别所述监控图像中的斑马线并确定斑马线的位置;
在每一个所述斑马线的位置绘制所述检测框,使所述斑马线的位置区域包含在所述检测框内。
具体地,利用所述斑马线检测网络对输入的待处理路口图像进行初步斑马线定位。在整幅图像上检测出斑马线的位置,然后对采集到的图像中斑马线的位置进行检测框标注,按比例随机分配训练集与测试集图像,绘制一个或多个大小不等的检测框。
S12,根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
具体地,在监控摄像头中采集的图像遵循近大远小的原则,在画面远处斑马线目标非常小,当目标较小时,进一步的图形学处理效果会降低,且较小面积的检测框一般对斑马线的形态的拟合度较高。所以,设置一个面积阈值,将小于阈值的检测框挑选出来直接作为斑马线的分割结果。其次,对于图像中近处的斑马线检测框,设定长宽比阈值,长宽比大于某一数值的检测框为认定为真实的斑马线区域。经过这两种检测框挑选后,剩下的检测框将送入到下一步的斑马线区域分割中。
在本实施例中,所述S12包括:
在确定的所有所述检测框中,将面积小于所述预设的检测框面积阈值的检测框或长宽比大于所述预设的检测框长宽比阈值的检测框直接作为斑马线分割结果;
筛选出不能直接作为斑马线分割结果的检测框进行分析处理。
S13,对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果。
利用斑马线的形态特征使用滑动窗口的方法对直线角度进行统计;利用斑马线的颜色特征使用滑动窗口的方法对像素点亮度进行统计。
具体地,请参阅图2和图3,图2显示为本发明的一种监控视角中斑马线区域的分割方法于一实施例中的斑马线图像处理示意图。图3显示为本发明的一种监控视角中斑马线区域的分割方法于一实施例中的扫描处理流程图。
如图3所示,所述S13步骤包括:
S131,通过霍夫变换的方法对筛选后的所述检测框21内的所述监控图像进行边缘识别,确定所述检测框的边缘直线24,并通过所述边缘直线24的端点确定边缘直线24的倾斜角度;
具体地,分别对每一个检测框内图像进行处理。图像线特征通过霍夫线检测提取,首先将检测框内图像进行开闭运算平滑面积较大物体的边界并填充细小空间,接着使用canny算子进行物体边缘检测,最后使用霍夫变换提取物体边缘的直线,得到直线的端点,因此可以进一步得到边缘直线的倾斜角度。
S132,对筛选后的所述检测框21内的所述监控图像进行色彩空间变换,获取色彩空间变换后的所述监控图像的亮度值、蓝色分量值和红色分量值;
在本实施例中,将RGB色彩空间转换为YCbCr色彩空间,转换公式如下:
其中Y分量代表亮度,在后续步骤中是进行斑马线分割的重要依据。
S133,利用一滑动窗口22在检测框21中扫描不同位置的边缘直线的倾斜角度,且在检测框21中扫描不同位置的所述色彩空间变换后的监控图像,所述滑动窗口22是针对所述检测框21内的监控图像进行局部检测的区域划定范围,将该区域划定范围定义为所述滑动窗口22;
具体地,利用滑动窗口对霍夫直线检测图像和YCbCr图像进行扫描,所述滑动窗口大小与检测框大小与检测框在图像中所处区域相关。首先,根据斑马线检测框的面积来设置滑动窗口,按照采集图像中斑马线与行人大小比例进行滑动窗口大小的设置。
滑动窗口对直线检测的图像进行判别,目的是利用斑马线的边缘线特征排除掉检测框内拥有不同线特征的物体,如车辆、行人等。判别过程利用的是斑马线条纹间相对平行的特点,利用边缘直线的倾角进行判定。在窗口滑动的过程中统计在每一个位置窗口中边缘直线的倾斜角度,对检测框内图像局部统计边缘直线倾斜角度。
滑动窗口对YCbCr图像进行检测,目的是利用斑马线相对于路面的亮度特征对斑马线区域进行提取。由于现实状态下的斑马线是非理想的,其颜色特征会因为环境因素发生变化,如阴影投射导致的部分斑马线亮度变暗,斑马线磨损导致的对比度下降。所以,利用斑马线颜色的检测也需要通过滑动窗口的方式进行分区域局部处理,对窗口内的像素点Y值及亮度值进行统计。
S134,将所述滑动窗口22在每一个位置的边缘直线24的倾斜角度统计结果作为第一统计结果,所述滑动窗口22在每一个位置色彩空间变换后的亮度值、蓝色分量值和红色分量值作为第二统计结果,所述第一统计结果和第二统计结果组合为斑马线23区域的统计结果。
针对所述第一统计结果,由于斑马线部分的直线倾斜角度集中在某一值附近,对比整个斑马线边缘直线倾角与滑动窗口内倾角,排除掉窗口内倾角分布分散即边缘凌乱不规则的区域。经过处理后,角度筛选算法根据边缘线特征剔除掉非斑马线形态区域。
针对所述第二统计结果,由于每一块区域的斑马线白色条纹的亮度不尽相同,所以在每一个滑动窗口内部提取Y值最接近于255的峰值附近像素点,并判断这些像素点的Cb、Cr值,若在128数值附近,则认为此像素点为斑马线白色条纹区域。用滑动窗口处理整个检测框内部区域得到斑马线条纹的分割提取结果。
整合所述第一统计结果和第二统计结果,即基于颜色的斑马线提取结果和基于边缘直线倾角的非斑马线区域剔除结果,得到最终的斑马线分割结果。
在本实施例中,所述根据所述斑马线23区域的统计结果,剔除非斑马线区域25,并确定斑马线分割结果的步骤包括:
在所述第一统计结果中,将所述边缘直线24的倾斜角度数值分散的滑动窗口22扫描位置作为非斑马线区域25;
在所述第二统计结果中,将亮度值介于所述亮度阈值和255之间、且蓝色分量值和红色分量值在128为中心的阈值范围内的所述滑动窗口22区域确认为斑马线分割区域;
将所述斑马线分割区域中剔除所述非斑马线区域25后的区域作为斑马线分割结果。
S14,根据所述斑马线区域的统计结果,剔除非斑马线区域25,并确定斑马线分割结果。
设定判定规则,通过分析对滑动窗口内所述第一统计结果和第二统计结果,自适应地根据线特征剔除非斑马线互动窗口区域,根据颜色特征获得斑马线分割区域。接着,在颜色特征获得的分割图上剔除非斑马线滑动窗口区域,以排除掉亮度较高的非斑马线区域。接着进行斑马线区域的轮廓提取,进行凸包处理,可以补全由于行人车辆的遮挡造成的斑马线区域缺失。使用凸包处理是因为斑马线区域在拍摄图像中是凸多边形,如三角形、四边形或多边形,由此得到最终的斑马线分割结果。
在本实施例中,在所述根据所述斑马线区域的统计结果,剔除非斑马线区域25,并确定斑马线分割结果的步骤之后,所述监控视角中斑马线区域的分割方法还包括:
对所述斑马线分割结果进行斑马线轮廓提取和凸包处理以填充行人车辆对斑马线的遮挡部分。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述一种监控视角中斑马线区域的分割方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例针对真实场景下存在遮挡,存在光线分布不均状况的斑马线可实现精确分割,且鲁棒性较高,结合局部的形态以及颜色特性提高了分割的精准性,通过凸包算法实现区域分割的完整性。
实施例二
本实施例提供一种监控视角中斑马线区域的分割方法,包括:
将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
以下将结合图示对本实施例所提供的一种监控视角中斑马线区域的分割方法进行详细说明。
具体地,结合中国某市区十字路口摄像采集图像,请参阅图4,显示为本发明的一种监控视角中斑马线区域的分割方法于实施例二中的原理流程图。如图2所示,所述实施例二具体包括以下几个步骤:
A.Faster R-CNN斑马线检测
A-1.构建斑马线检测数据集
A-2.使用Faster R-CNN训练斑马线检测网络
A-3.使用网络对输入图片进行斑马线检测,框出斑马线位置
使用Faster R-CNN训练斑马线检测模型,利用该模型进行对相同类型输入图像的第一步处理检测工作,得到斑马线检测框。
B.挑选检测框
C.滑动窗口进行局部检测
C-1.直线检测得到边缘直线图像
C-2.颜色空间变换得到YCbCr颜色空间图像
将深度学习网络得到的矩形斑马线区域进行进一步处理,首先利用霍夫直线变换对检测框内图像进行边缘直线提取,得到霍夫直线图像,然后再通过颜色空间转换为YCbCr图像。
C-3.设置滑动窗口尺寸,对两图像进行扫描
根据检测框面积得到滑动窗口尺寸。利用滑动窗口分别统计霍夫直线图像的局部直线倾斜角度和局部亮度分量。
C-4.统计滑动窗口内直线斜率和像素点Y分量
D.合并分割图像
D-1.根据斜率统计值剔除直线斜率分布范围过大区域
利用直线倾角统计信息检测出倾斜角度范围大且分布较为平均的滑动窗口区域,认定为非斑马线目标物体。
D-2.根据像素点亮度统计值得到斑马线分割区域
提取出滑动窗口中亮度较高即Y分量接近于0的像素点,得到斑马线分割区域。
D-3.在斑马线区域中扣除剔除区域
D-4.凸包计算
接着对斑马线区域进行整合,在斑马线分割区域上抠除非斑马线目标物体区域,得到初步的分割结果。接着,对分割范围进行凸包计算,使分割结果成为完整的凸多边形的斑马线区域。
本实施例针对真实场景下存在遮挡,存在光线分布不均状况的斑马线可实现精确分割,且鲁棒性较高,结合局部的形态以及颜色特性提高了分割的精准性,通过凸包算法实现区域分割的完整性。
实施例三
本发明提供一种监控视角中斑马线区域的分割系统,所述监控视角中斑马线区域的分割系统包括:
检测框获取模块,用于将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
筛选模块,用于根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
扫描模块,用于对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
扫描结果分析模块,用于根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果。
以下将结合图示对本实施例所提供的一种监控视角中斑马线区域的分割系统进行详细说明。本实施例所述的一种监控视角中斑马线区域的分割系统,应用于如图1和图2所示的一种监控视角中斑马线区域的分割方法。
请参阅图5,图5显示为本发明的一种监控视角中斑马线区域的分割系统于一实施例中的系统原理图。如图5所示,所述一种监控视角中斑马线区域的分割系统5包括:检测框获取模块51、筛选模块52、扫描模块53和扫描结果分析模块54。
利用一检测框获取模块51将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
在本实施例中,在将获取的一交通路口的监控图像与一斑马线检测网络中的参考斑马线进行比对,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框的步骤之前,所述监控视角中斑马线区域的分割方法还包括:
由预先采集的若干交通路口的监控图像训练深度学习斑马线检测模型,生成所述斑马线检测网络。
在本实施例中,所述在所有所述斑马线的位置区域分别设置一检测框的步骤包括:
在所述监控图像中用所述深度学习的斑马线检测网络对斑马线进行检测,识别所述监控图像中的斑马线并确定斑马线的位置;
在每一个所述斑马线的位置绘制所述检测框,使所述斑马线的位置区域包含在所述检测框内。
根据预设的检测框面积阈值和预设的检测框长宽比阈值在筛选模块52中对所述检测框进行筛选;
在本实施例中,首先在确定的所有所述检测框中,将面积小于所述预设的检测框面积阈值的检测框或长宽比大于所述预设的检测框长宽比阈值的检测框直接作为斑马线分割结果;
其次,筛选出不能直接作为斑马线分割结果的检测框进行分析处理。
扫描模块53对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
在本实施例中,首先,通过霍夫变换的方法对筛选后的所述检测框21内的所述监控图像进行边缘识别,确定所述检测框的边缘直线24,并通过所述边缘直线24的端点确定边缘直线24的倾斜角度;
第二,对筛选后的所述检测框21内的所述监控图像进行色彩空间变换,获取色彩空间变换后的所述监控图像的亮度值、蓝色分量值和红色分量值;
在本实施例中,将RGB色彩空间转换为YCbCr色彩空间,转换公式如下:
其中Y分量代表亮度,在后续步骤中是进行斑马线分割的重要依据。
第三,利用一滑动窗口22在检测框21中扫描不同位置的边缘直线的倾斜角度,且在检测框21中扫描不同位置的所述色彩空间变换后的监控图像,所述滑动窗口22是针对所述检测框21内的监控图像进行局部检测的区域划定范围,将该区域划定范围定义为所述滑动窗口22;
最后,将所述滑动窗口22在每一个位置的边缘直线24的倾斜角度统计结果作为第一统计结果,所述滑动窗口22在每一个位置色彩空间变换后的亮度值、蓝色分量值和红色分量值作为第二统计结果,所述第一统计结果和第二统计结果组合为斑马线23区域的统计结果。
针对所述第一统计结果,由于斑马线部分的直线倾斜角度集中在某一值附近,对比整个斑马线边缘直线倾角与滑动窗口内倾角,排除掉窗口内倾角分布分散即边缘凌乱不规则的区域。经过处理后,角度筛选算法根据边缘线特征剔除掉非斑马线形态区域。
针对所述第二统计结果,由于每一块区域的斑马线白色条纹的亮度不尽相同,所以在每一个滑动窗口内部提取Y值最接近于255的峰值附近像素点,并判断这些像素点的Cb、Cr值,若在128数值附近,则认为此像素点为斑马线白色条纹区域。用滑动窗口处理整个检测框内部区域得到斑马线条纹的分割提取结果。
整合所述第一统计结果和第二统计结果,即基于颜色的斑马线提取结果和基于边缘直线倾角的非斑马线区域剔除结果,得到最终的斑马线分割结果。
具体地,首先,在所述第一统计结果中,将所述边缘直线24的倾斜角度数值分散的滑动窗口22扫描位置作为非斑马线区域25;
其次,在所述第二统计结果中,将亮度值介于所述亮度阈值和255之间、且蓝色分量值和红色分量值在128为中心的阈值范围内的所述滑动窗口22区域确认为斑马线分割区域;
最后,将所述斑马线分割区域中剔除所述非斑马线区域25后的区域作为斑马线分割结果。
根据所述斑马线区域的统计结果,利用扫描结果分析模块54剔除非斑马线区域,并确定斑马线分割结果。
在本实施例中,在所述根据所述斑马线区域的统计结果,剔除非斑马线区域25,并确定斑马线分割结果的步骤之后,所述监控视角中斑马线区域的分割方法还包括:
对所述斑马线分割结果进行斑马线轮廓提取和凸包处理以填充行人车辆对斑马线的遮挡部分。
需要说明的是,应理解以上分割系统的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,x模块可以为单独设立的处理元件,也可以集成在上述分割系统的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述分割系统的存储器中,由上述分割系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC),或,一个或多个微处理器(digitalsingnalprocessor,简称DSP),或,一个或者多个现场可编程门阵列(FieldProgrammableGateArray,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessingUnit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
本实施例针对真实场景下存在遮挡,存在光线分布不均状况的斑马线可实现精确分割,且鲁棒性较高,结合局部的形态以及颜色特性提高了分割的精准性,通过凸包算法实现区域分割的完整性。
实施例四
本实施例提供一种设备,包括:处理器、存储器、收发器、通信接口或/和系统总线;存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于和其他设备进行通信,处理器和收发器用于运行计算机程序,使所述设备执行如实施例一所述监控视角中斑马线区域的分割方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的监控视角中斑马线区域的分割方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种监控视角中斑马线区域的分割系统,所述监控视角中斑马线区域的分割系统可以实现本发明所述的监控视角中斑马线区域的分割方法,但本发明所述的监控视角中斑马线区域的分割方法的实现装置包括但不限于本实施例列举的监控视角中斑马线区域的分割系统的结构,凡是根据本发明的原理所做的现有技术的结构变形和替换,都包括在本发明的保护范围内。
综上所述,本发明所述的一种监控视角中斑马线区域的分割方法、系统、介质及设备,针对真实场景下存在遮挡,存在光线分布不均状况的斑马线可实现精确分割,且鲁棒性较高,结合局部的形态以及颜色特性提高了分割的精准性,通过凸包算法实现区域分割的完整性,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种监控视角中斑马线区域的分割方法,其特征在于,包括:
将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果;
所述对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果的步骤包括:
通过霍夫变换的方法对筛选后的所述检测框内的所述监控图像进行边缘识别,确定所述检测框的边缘直线,并通过所述边缘直线的端点确定边缘直线的倾斜角度;
对筛选后的所述检测框内的所述监控图像进行色彩空间变换,获取色彩空间变换后的所述监控图像的亮度值、蓝色分量值和红色分量值;
利用一滑动窗口在检测框中扫描不同位置的边缘直线的倾斜角度,且在检测框中扫描不同位置的所述色彩空间变换后的监控图像,所述滑动窗口是针对所述检测框内的监控图像进行局部检测的区域划定范围,将该区域划定范围定义为所述滑动窗口;
将所述滑动窗口在每一个位置的边缘直线的倾斜角度统计结果作为第一统计结果,所述滑动窗口在每一个位置色彩空间变换后的亮度值、蓝色分量值和红色分量值作为第二统计结果,所述第一统计结果和第二统计结果组合为斑马线区域的统计结果。
2.根据权利要求1所述的监控视角中斑马线区域的分割方法,其特征在于,在将获取的一交通路口的监控图像用一深度学习的斑马线检测网络进行检测识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框的步骤之前,所述监控视角中斑马线区域的分割方法还包括:
由预先采集的若干交通路口的监控图像训练深度学习斑马线检测模型,生成所述斑马线检测网络。
3.根据权利要求1所述的监控视角中斑马线区域的分割方法,其特征在于,所述在所有所述斑马线的位置区域分别设置一检测框的步骤包括:
在所述监控图像中用所述深度学习的斑马线检测网络对斑马线进行检测,识别所述监控图像中的斑马线并确定斑马线的位置;
在每一个所述斑马线的位置绘制所述检测框,使所述斑马线的位置区域包含在所述检测框内。
4.根据权利要求1所述的监控视角中斑马线区域的分割方法,其特征在于,所述根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选的步骤包括:
在确定的所有所述检测框中,将面积小于所述预设的检测框面积阈值的检测框或长宽比大于所述预设的检测框长宽比阈值的检测框直接作为斑马线分割结果;
筛选出不能直接作为斑马线分割结果的检测框进行分析处理。
5.根据权利要求1所述的监控视角中斑马线区域的分割方法,其特征在于,所述根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果的步骤包括:
在所述第一统计结果中,将所述边缘直线的倾斜角度数值分散的滑动窗口扫描位置作为非斑马线区域;
在所述第二统计结果中,将亮度值介于亮度阈值和255之间、且蓝色分量值和红色分量值在128为中心的阈值范围内的所述滑动窗口区域确认为斑马线分割区域;
将所述斑马线分割区域中剔除所述非斑马线区域后的区域作为斑马线分割结果。
6.根据权利要求5所述的监控视角中斑马线区域的分割方法,其特征在于,在所述根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果的步骤之后,所述监控视角中斑马线区域的分割方法还包括:
对所述斑马线分割结果进行斑马线轮廓提取和凸包处理以填充行人车辆对斑马线的遮挡部分。
7.一种监控视角中斑马线区域的分割系统,其特征在于,所述监控视角中斑马线区域的分割系统包括:
检测框获取模块,用于将采集到的交通路口的监控图像用一深度学习的斑马线检测网络进行检测,识别所述监控图像中的斑马线并确定斑马线的位置,在所有所述斑马线的位置区域分别设置一检测框,所述斑马线检测网络为一参考斑马线图像的深度学习网络;
筛选模块,用于根据预设的检测框面积阈值和预设的检测框长宽比阈值对所述检测框进行筛选;
扫描模块,用于对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果;
扫描结果分析模块,用于根据所述斑马线区域的统计结果,剔除非斑马线区域,并确定斑马线分割结果;
所述对筛选后检测框内的监控图像进行边缘线检测和色彩空间变换的扫描处理,以获取斑马线区域的统计结果的步骤包括:
通过霍夫变换的方法对筛选后的所述检测框内的所述监控图像进行边缘识别,确定所述检测框的边缘直线,并通过所述边缘直线的端点确定边缘直线的倾斜角度;
对筛选后的所述检测框内的所述监控图像进行色彩空间变换,获取色彩空间变换后的所述监控图像的亮度值、蓝色分量值和红色分量值;
利用一滑动窗口在检测框中扫描不同位置的边缘直线的倾斜角度,且在检测框中扫描不同位置的所述色彩空间变换后的监控图像,所述滑动窗口是针对所述检测框内的监控图像进行局部检测的区域划定范围,将该区域划定范围定义为所述滑动窗口;
将所述滑动窗口在每一个位置的边缘直线的倾斜角度统计结果作为第一统计结果,所述滑动窗口在每一个位置色彩空间变换后的亮度值、蓝色分量值和红色分量值作为第二统计结果,所述第一统计结果和第二统计结果组合为斑马线区域的统计结果。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至6任一项所述监控视角中斑马线区域的分割方法。
9.一种设备,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述设备执行如权利要求1至6中任一项所述监控视角中斑马线区域的分割方法。
CN201910185279.8A 2019-03-12 2019-03-12 监控视角中斑马线区域的分割方法、系统、介质及设备 Active CN111695374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910185279.8A CN111695374B (zh) 2019-03-12 2019-03-12 监控视角中斑马线区域的分割方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910185279.8A CN111695374B (zh) 2019-03-12 2019-03-12 监控视角中斑马线区域的分割方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN111695374A CN111695374A (zh) 2020-09-22
CN111695374B true CN111695374B (zh) 2023-09-01

Family

ID=72475692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910185279.8A Active CN111695374B (zh) 2019-03-12 2019-03-12 监控视角中斑马线区域的分割方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN111695374B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215123B (zh) * 2020-10-09 2022-10-25 腾讯科技(深圳)有限公司 一种目标检测方法、装置及存储介质
CN115661131B (zh) * 2022-11-17 2023-03-10 菲特(天津)检测技术有限公司 一种图像识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186516A (ja) * 2013-03-22 2014-10-02 Toyota Motor Corp 走行路検出装置
JP2016143112A (ja) * 2015-01-30 2016-08-08 株式会社日本自動車部品総合研究所 ゼブラゾーン認識装置及び走行区画線認識装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186516A (ja) * 2013-03-22 2014-10-02 Toyota Motor Corp 走行路検出装置
JP2016143112A (ja) * 2015-01-30 2016-08-08 株式会社日本自動車部品総合研究所 ゼブラゾーン認識装置及び走行区画線認識装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊平 ; 胡彩霞 ; 周欣星 ; .CNN与人工特征提取快速识别斑马线的方法.电子设计工程.2018,(03),全文. *

Also Published As

Publication number Publication date
CN111695374A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN108596166B (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN107909138B (zh) 一种基于安卓平台的类圆颗粒物计数方法
CN109886896B (zh) 一种蓝色车牌分割与矫正方法
CN109271937B (zh) 基于图像处理的运动场地标志物识别方法及系统
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
US7639878B2 (en) Shadow detection in images
TWI409718B (zh) 移動中車輛之車牌定位方法
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN106709500B (zh) 一种图像特征匹配的方法
KR101549495B1 (ko) 문자 추출 장치 및 그 방법
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
Prabhakar et al. A novel design for vehicle license plate detection and recognition
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN112017445A (zh) 一种行人违规行为预测和运动轨迹跟踪系统和方法
CN113283439B (zh) 基于图像识别的智能计数方法、装置及系统
CN111401364A (zh) 一种基于颜色特征和模板匹配相结合的车牌定位算法
CN114821274A (zh) 一种用于识别分合指示牌的状态的方法和设备
CN110782409A (zh) 一种去除多运动物体阴影的方法
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
Raikar et al. Automatic building detection from satellite images using internal gray variance and digital surface model
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
Muzammil et al. Application of image processing techniques for the extraction of vehicle number plates over ARM target board
CN113052118A (zh) 基于高速快球摄像机实现场景变换视频分析检测的方法、系统、装置、处理器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant