CN107292933A - 一种基于bp神经网络的车辆颜色识别方法 - Google Patents
一种基于bp神经网络的车辆颜色识别方法 Download PDFInfo
- Publication number
- CN107292933A CN107292933A CN201710286539.1A CN201710286539A CN107292933A CN 107292933 A CN107292933 A CN 107292933A CN 201710286539 A CN201710286539 A CN 201710286539A CN 107292933 A CN107292933 A CN 107292933A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- mtd
- mtr
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于BP神经网络的车辆颜色识别方法，与现有的车辆颜色识别方法相比，本发明使用计算机视觉技术，通过提取车辆颜色特征、结合HSV颜色空间模型并通过BP神经网络分类解决了车辆颜色识别问题，并能同时兼顾车头与车尾的识别，改善了以车牌辨车的传统工作模式，为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助，进一步提高了智能交通的可靠性，节省了大量的人力成本。
Description
技术领域
本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于BP神经网络的车辆颜色识别方法。
背景技术
随着科学技术和社会经济的高速发展，人民生活水平不断提高，车辆数量也在飞速增长，城市道路交通问题显得越来越突出，各种道路交通问题接踵而至，以人眼识别为主的传统道路监控方式便无法满足要求，现代化智能交通控制系统已成为未来全球道路交通的发展趋势和现代化城市的先进标志。近年来，遮挡车牌、汽车套牌等妨碍交通秩序的违法行为层出不穷，仅依靠车牌识别已不能适应当前的交通现状了，因此，车辆的颜色识别技术变得更为重要，它可以弥补车牌识别的不足，从而进一步提高智能交通系统的可靠性。
视频中运动车辆的颜色识别与检测是近年来智能交通管理系统中比较关注的研究方向之一。目前，国内已有一些车辆颜色识别的方法，其中与本发明较为相近的技术方案包括：文献(周律，叶涛涛，王新华，朱金龙，周昱明。基于车身颜色搜索未识别的车牌图片研究[J]。信息技术,2014，8：92-95)首先将车脸前部靠近排气扇部分作为车辆颜色的识别区域并将该区域归一化为一种色值，通过在CIELab颜色空间模型中制作红、蓝、绿等11种颜色模板并与归一化后的色值匹配得到车辆颜色，该方法虽然在未识别车牌的情况下能够识别车辆颜色，并且具有较好的识别速度，但是该方法要求对车身姿态要求较高，车辆侧斜或其背面都可能无法提取到较好的颜色识别区域，导致识别率不高；发明专利(尚凌辉。一种卡口车辆颜色识别方法。CN106203420A[P]。2016。)中使用卷提神经网络提取车头或车尾特征并将提取到的特征放入SVM分类器进行训练与分类。该方法虽然在识别率上有所提高，但是使用多个二值子分类器对多种颜色进行分类，不仅会使决策时的速度过慢，而且可能导致分类器泛化误差无界，此外，使用这种卷积神经网络+SVM的非端到端式的检测效率很低。文献(Fang J,Yue H,Li X,et al.Color identifying of vehicles based on colorcontainer and BP network[C]//International Conference on Business Managementand Electronic Information.IEEE,2011:226-229.)通过神经网络对整车训练并分类，该方法比较依赖车辆检测算法，提取到过多的车辆阴影会对识别结果产生影响，此外，对于肉眼无法识别的颜色，不应以单个绝对的颜色来表示，而应该以多个颜色的概率方式来表示车辆颜色。
综上所述，在对车辆进行颜色识别时，当前方法存在如下不足：(1)有时无法提取到正确的车辆颜色区域；(2)不能兼顾车头与车尾的颜色识别；(3)对于肉眼无法识别的颜色，不应该用单个的绝对颜色作为最终的识别结果。本发明针对这一不足提出了一种基于BP神经网络的车辆颜色识别方法。
发明内容
为解决上述技术问题，本发明提供了一种基于BP神经网络的车辆颜色识别方法。
所述的一种基于BP神经网络的车辆颜色识别方法，具体步骤如下：
步骤1：定义车身颜色集合为C＝{c1,c2,c3,c4,c5,c6,c7,c8,c9,c10}＝{黑,灰,白,粉,棕,红,黄,绿,蓝,紫}，并建立相应的颜色数据集；
步骤2：构建用于颜色分类的BP神经网络并用步骤1中的颜色数据集进行训练，具体为：
步骤2.1：采用具有一个隐层的三层BP神经网络，输入层神经元数为3，分别为输入颜色的H、S、V通道归一化后的值，输出层神经元数为10，分别为10类颜色所对应的概率，根据式(1)确定隐层的节点个数，
其中，N2为隐层神经元个数，N1为输入层神经元个数，N3为输出层神经元个数；
步骤2.2：设计神经网络的隐层与输出层间的激活函数f(x)与各层之间的数据传输，如式(2)、(3)所示；
其中，Oij为第i层第j个神经元的输出，Wijk表示第i层第j个神经元到第i+1层第k个神经元的连接权值，b为偏置，Ni为第i层神经元总数；
步骤2.3：随机初始化网络模型并使用BP神经网络训练方法对模型进行训练；
步骤3：利用交叉路口的监控摄像头采集RGB图像并对采集到的图像使用中值滤波处理，利用车辆检测跟踪算法提取得到车辆区域并将其转到HSV颜色空间下，得到图像I；
步骤4：利用车牌识别算法提取图像I中的车牌矩形区域R＝(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为车牌矩形区域左上角的坐标，h与w分别为车牌矩形区域的高和宽，单位为像素；
步骤5：确定I为车尾图像还是车头图像，具体为：
步骤5.1：根据公式(4)确定矩形特征区域D：
其中，ρ1，ρ2为比例系数，(xd,yd)为矩形区域D左上角的坐标，hd与wd分别为矩形区域D的高和宽；
步骤5.2：将D划分为大小相等的Nrow*Ncol个矩形超像素块，Nrow与Ncol分别为超像素块的行总数与列总数，每个超像素块的大小为N＝width*height,并根据公式(5)，(6)，(7)，(8)筛选出有效超像素块集合D*：
其中，λ为标准差阈值，Dij为第i行第j列的超像素块，为Dij的像素标准差，与分别为Dij在k通道上的标准差与灰度平均值，k＝1,2,3，为第k个通道的权重系数，表示Dij的第k通道图像，表示中在坐标点(x,y)处的像素灰度值；
步骤5.3：将D*中每个超像素块Dij的传入步骤2训练所得的神经网络模型，输出为令则超像素块Dij的颜色为Cij＝cq，其中，表示超像素块Dij为颜色cr的概率，cr∈C,cq∈C；
步骤5.4：根据式(9)统计D*中每一行中识别出的每种颜色的数量并根据式(10)和(11)计算每一行是否有效：若Fi为1，则表示第i行为有效行，否则，为无效行；将所有的无效行从D*中剔除：
其中，μ1为比例系数，NCimax为第i行中最多的颜色数量；
步骤5.5：根据式(12)计算有效行数num，并判断图像I为车头或是车尾：若num＜μ2*Nrow，则I为车头图像；否则，I为车尾图像，其中，μ2为比例系数：
步骤6：若I为车尾图像，转步骤7；若I为车头图像，则根据式(13)对矩形区域D重定位并重新执行步骤5.2至5.4，之后转步骤7：
其中，ρ3,ρ4为比例系数；
步骤7：根据公式(14)统计D*中每种颜色识别结果出现的次数，得到颜色分类集合L＝{Lr|r＝1,2,…,10}：
其中，Lr表示颜色cr被识别到的数量；
步骤8：从集合L中从大到小挑选出排在前两位的数值，令Lm表示排在第一位的值且m为该值对应的下标，Lp表示排在第二位的值且p为该值对应的下标；
步骤9：识别车辆颜色，具体为：若Lm*η＞Lp，则车辆颜色为cm；否则，以概率给出车辆颜色为cm，同时以概率给出车辆颜色为cp，其中，η为分类系数。
本发明的有益效果为：与现有的车辆颜色识别方法相比，本发明使用计算机视觉技术，通过提取车辆颜色特征、结合HSV颜色空间模型并通过BP神经网络分类解决了车辆颜色识别问题，并能同时兼顾车头与车尾的识别，改善了以车牌辨车的传统工作模式，为打击汽车套牌、一车多牌、假牌照等违法犯罪行为提供了可靠帮助，进一步提高了智能交通的可靠性，节省了大量的人力成本。
附图说明
图1为本发明的流程图
图2为BP神经网络模型示意图；
图3为具体实施例示例用图；
图4为使用检测跟踪算法提取到的图3中运动的车辆，左为车头图像，右为车尾图像；
图5为图4车辆的车牌识别示意图，用矩形框标注；
图6为在图5基础上得到的特征区域示意图，用矩形框标注；
图7为图6中区域的超像素块的具体划分，用网格标注；
图8为图7的超像素行的颜色统计结果；
图9为图7左的颜色特征区域重定位结果
图10为图9的样本分类示意图；
图11为图7右的样本分类示意图。
具体实施方式
下面结合实施例来详细阐述一种基于BP神经网络的车辆颜色识别方法的具体实施方法。应当理解，此处所描述的具体实例仅用于解释本发明，并不用于限定本发明。
本发明的一种基于BP神经网络的车辆颜色识别方法的具体过程如图1所示，具体步骤如下：
步骤1：定义车身颜色集合为C＝{c1,c2,c3,c4,c5,c6,c7,c8,c9,c10}＝{黑,灰,白,粉,棕,红,黄,绿,蓝,紫}，并建立相应的颜色数据集；
步骤2：构建用于颜色分类的BP神经网络并用步骤1中的颜色数据集进行训练，具体为：
步骤2.1：采用具有一个隐层的三层BP神经网络，输入层神经元数为3，分别为输入颜色的H、S、V通道归一化后的值，输出层神经元数为10，分别为10类颜色所对应的概率，根据式(1)确定隐层的节点个数，
其中，N2为隐层神经元个数，N1为输入层神经元个数，N3为输出层神经元个数；网络结构如图2所示，在本实施例中，N2取6；
步骤2.2：设计神经网络的隐层与输出层间的激活函数f(x)与各层之间的数据传输，如式(2)、(3)所示；
其中，Oij为第i层第j个神经元的输出，Wijk表示第i层第j个神经元到第i+1层第k个神经元的连接权值，b为偏置，Ni为第i层神经元总数；
步骤2.3：随机初始化网络模型并使用BP神经网络训练方法对模型进行训练；在本实施例中，所述的BP神经网络训练方法在申请号为CN201610574817.9的文件中已公开，在此不再详述；
步骤3：利用交叉路口的监控摄像头采集RGB图像并对采集到的图像使用中值滤波处理，利用车辆检测跟踪算法提取得到车辆区域并将其转到HSV颜色空间下，得到图像I；在本实施例中，采集到的RGB图像如图3所示，图3处理结果参照图4，所述的车辆检测跟踪算法在申请号为CN201510831439.3的文件中已公开，在此不再详述；
步骤4：利用车牌识别算法提取图像I中的车牌矩形区域R＝(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为车牌矩形区域左上角的坐标，h与w分别为车牌矩形区域的高和宽，单位为像素；本实施例中，处理结果参照图5，所述的车牌识别算法在申请号为CN201510937041.8的文件中已公开，在此不再详述；
步骤5：确定I为车尾图像还是车头图像，具体为：
步骤5.1：根据公式(4)确定矩形特征区域D：
其中，ρ1，ρ2为比例系数，(xd,yd)为矩形区域D左上角的坐标，hd与wd分别为矩形区域D的高和宽；本实施例中，选择ρ1,ρ2分别为1与2，处理结果参照图6；
步骤5.2：将D划分为大小相等的Nrow*Ncol个矩形超像素块，Nrow与Ncol分别为超像素块的行总数与列总数，每个超像素块的大小为N＝width*height,并根据公式(5)，(6)，(7)，(8)筛选出有效超像素块集合D*：
其中，λ为标准差阈值，Dij为第i行第j列的超像素块，为Dij的像素标准差，与分别为Dij在k通道上的标准差与灰度平均值，k＝1,2,3，为第k个通道的权重系数，表示Dij的第k通道图像，表示中在坐标点(x,y)处的像素灰度值；本实施例中，选择width与height为4，选择λ为5，分别为4,1,6，超像素块划分如图7所示；
步骤5.3：将D*中每个超像素块Dij的传入步骤2训练所得的神经网络模型，输出为令则超像素块Dij的颜色为Cij＝cq，其中，表示超像素块Dij为颜色cr的概率，cr∈C,cq∈C；
步骤5.4：根据式(9)统计D*中每一行中识别出的每种颜色的数量并根据式(10)和(11)计算每一行是否有效：若Fi为1，则表示第i行为有效行，否则，为无效行；将所有的无效行从D*中剔除：
其中，μ1为比例系数，NCimax为第i行中最多的颜色数量；本实施例中，选择μ1为0.5，超像素行的颜色统计结果如图8所示；
步骤5.5：根据式(12)计算有效行数num，并判断图像I为车头或是车尾：若num＜μ2*Nrow，则I为车头图像；否则，I为车尾图像，其中，μ2为比例系数：
本实施例中，选择μ2为0.5；
步骤6：若I为车尾图像，转步骤7；若I为车头图像，则根据式(13)对矩形区域D重定位并重新执行步骤5.2至5.4，之后转步骤7：
其中，ρ3,ρ4为比例系数；本实施例中，选择ρ3,ρ4分别为0.5与2，处理结果参照图9；
步骤7：根据公式(14)统计D*中每种颜色识别结果出现的次数，得到颜色分类集合L＝{Lr|r＝1,2,…,10}：
其中，Lr表示颜色cr被识别到的数量，处理结果如图10，图11所示；
步骤8：从集合L中从大到小挑选出排在前两位的数值，令Lm表示排在第一位的值且m为该值对应的下标，Lp表示排在第二位的值且p为该值对应的下标；
步骤9：识别车辆颜色，具体为：若Lm*η＞Lp，则车辆颜色为cm；否则，以概率给出车辆颜色为cm，同时以概率给出车辆颜色为cp，其中，η为分类系数。本实施例中，选择η为0.7。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (2)
1.一种基于BP神经网络的车辆颜色识别方法，具体步骤如下：
步骤1：定义车身颜色集合为C＝{c1,c2,c3,c4,c5,c6,c7,c8,c9,c10}＝{黑,灰,白,粉,棕,红,黄,绿,蓝,紫}，并建立相应的颜色数据集；
步骤2：构建用于颜色分类的BP神经网络并用步骤1中的颜色数据集进行训练；
步骤3：利用交叉路口的监控摄像头采集RGB图像并对采集到的图像使用中值滤波处理，利用车辆检测跟踪算法提取得到车辆区域并将其转到HSV颜色空间下，得到图像I；
步骤4：利用车牌识别算法提取图像I中的车牌矩形区域R＝(x，y，w，h)，其中图像I的左上角为像素坐标原点，(x,y)为车牌矩形区域左上角的坐标，h与w分别为车牌矩形区域的高和宽，单位为像素；
步骤5：确定I为车尾图像还是车头图像，具体为：
步骤5.1：根据公式(4)确定矩形特征区域D：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>D</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>h</mi>
<mi>d</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>&rho;</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<mi>w</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>&rho;</mi>
<mn>2</mn>
</msub>
<mo>*</mo>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>*</mo>
<msub>
<mi>&rho;</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>w</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>&rho;</mi>
<mn>2</mn>
</msub>
<mo>*</mo>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ρ1，ρ2为比例系数，(xd,yd)为矩形区域D左上角的坐标，hd与wd分别为矩形区域D的高和宽；
步骤5.2：将D划分为大小相等的Nrow*Ncol个矩形超像素块，Nrow与Ncol分别为超像素块的行总数与列总数，每个超像素块的大小为N＝width*height,并根据公式(5)，(6)，(7)，(8)筛选出有效超像素块集合D*：
<mrow>
<mi>D</mi>
<mo>*</mo>
<mo>=</mo>
<mo>{</mo>
<msub>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<mover>
<msub>
<mi>&sigma;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>&le;</mo>
<mi>&lambda;</mi>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mover>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mo>,</mo>
<mi>x</mi>
<mi>y</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>&Element;</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
</mrow>
</munder>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mo>,</mo>
<mi>x</mi>
<mi>y</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mo>,</mo>
<mi>x</mi>
<mi>y</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>&Element;</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mover>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<msubsup>
<mi>A</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mo>,</mo>
<mi>x</mi>
<mi>y</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，λ为标准差阈值，Dij为第i行第j列的超像素块，为Dij的像素标准差，与分别为Dij在k通道上的标准差与灰度平均值，k＝1,2,3，为第k个通道的权重系数，表示Dij的第k通道图像，表示中在坐标点(x,y)处的像素灰度值；
步骤5.3：将D*中每个超像素块Dij的传入步骤2训练所得的神经网络模型，输出为令则超像素块Dij的颜色为Cij＝cq，其中，表示超像素块Dij为颜色cr的概率，cr∈C,cq∈C；
步骤5.4：根据式(9)统计D*中每一行中识别出的每种颜色的数量并根据式(10)和(11)计算每一行是否有效：若Fi为1，则表示第i行为有效行，否则，为无效行；将所有的无效行从D*中剔除：
<mrow>
<msubsup>
<mi>NC</mi>
<mi>i</mi>
<mi>r</mi>
</msubsup>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>NC</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>NC</mi>
<mi>i</mi>
<mn>1</mn>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>NC</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msubsup>
<mi>NC</mi>
<mi>i</mi>
<mn>10</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>NC</mi>
<mrow>
<mi>i</mi>
<mi>max</mi>
</mrow>
</msub>
<mo><</mo>
<msub>
<mi>&mu;</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>NC</mi>
<mrow>
<mi>i</mi>
<mi>max</mi>
</mrow>
</msub>
<mo>&GreaterEqual;</mo>
<msub>
<mi>&mu;</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，μ1为比例系数，NCimax为第i行中最多的颜色数量；
步骤5.5：根据式(12)计算有效行数num，并判断图像I为车头或是车尾：若num＜μ2*Nrow，则I为车头图像；否则，I为车尾图像，其中，μ2为比例系数：
<mrow>
<mi>n</mi>
<mi>u</mi>
<mi>m</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>w</mi>
</mrow>
</msub>
</munderover>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
步骤6：若I为车尾图像，转步骤7；若I为车头图像，则根据式(13)对矩形区域D重定位并重新执行步骤5.2至5.4，之后转步骤7：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>D</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>d</mi>
</msub>
<mo>,</mo>
<msub>
<mi>h</mi>
<mi>d</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>x</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>&rho;</mi>
<mn>3</mn>
</msub>
<mo>*</mo>
<mi>w</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>y</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>y</mi>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>&rho;</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&rho;</mi>
<mn>4</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>*</mo>
<msub>
<mi>&rho;</mi>
<mn>3</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>w</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<msub>
<mi>&rho;</mi>
<mn>4</mn>
</msub>
<mo>*</mo>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ρ3,ρ4为比例系数；
步骤7：根据公式(14)统计D*中每种颜色识别结果出现的次数，得到颜色分类集合L＝{Lr|r＝1,2,…,10}：
<mrow>
<msub>
<mi>L</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>r</mi>
<mi>o</mi>
<mi>w</mi>
</mrow>
</msub>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
</mrow>
</msub>
</munderover>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<msub>
<mi>C</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>c</mi>
<mi>r</mi>
</msub>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mi> </mi>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>e</mi>
<mi>l</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Lr表示颜色cr被识别到的数量；
步骤8：从集合L中从大到小挑选出排在前两位的数值，令Lm表示排在第一位的值且m为该值对应的下标，Lp表示排在第二位的值且p为该值对应的下标；
步骤9：识别车辆颜色，具体为：若Lm*η＞Lp，则车辆颜色为cm；否则，以概率给出车辆颜色为cm，同时以概率给出车辆颜色为cp。
2.如权利要求1所述的基于BP神经网络的车辆颜色识别方法，其特征在于：步骤2具体为：
步骤2.1：采用具有一个隐层的三层BP神经网络，输入层神经元数为3，分别为输入颜色的H、S、V通道归一化后的值，输出层神经元数为10，分别为10类颜色所对应的概率，根据式(1)确定隐层的节点个数，
<mrow>
<msub>
<mi>N</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msub>
<mi>N</mi>
<mn>1</mn>
</msub>
<mo>*</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>N</mi>
<mn>3</mn>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N2为隐层神经元个数，N1为输入层神经元个数，N3为输出层神经元个数；
步骤2.2：设计神经网络的隐层与输出层间的激活函数f(x)与各层之间的数据传输，如式(2)、(3)所示；
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>1</mn>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>x</mi>
</mrow>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>O</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>N</mi>
<mi>i</mi>
</mrow>
</munderover>
<msub>
<mi>W</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>&CenterDot;</mo>
<msub>
<mi>O</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Oij为第i层第j个神经元的输出，Wijk表示第i层第j个神经元到第i+1层第k个神经元的连接权值，b为偏置，Ni为第i层神经元总数；
步骤2.3：随机初始化网络模型并使用BP神经网络训练方法对模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710286539.1A CN107292933B (zh) | 2017-04-27 | 2017-04-27 | 一种基于bp神经网络的车辆颜色识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710286539.1A CN107292933B (zh) | 2017-04-27 | 2017-04-27 | 一种基于bp神经网络的车辆颜色识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107292933A true CN107292933A (zh) | 2017-10-24 |
| CN107292933B CN107292933B (zh) | 2020-09-15 |
Family
ID=60093925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710286539.1A Active CN107292933B (zh) | 2017-04-27 | 2017-04-27 | 一种基于bp神经网络的车辆颜色识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107292933B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107798879A (zh) * | 2017-10-25 | 2018-03-13 | 济南浪潮高新科技投资发展有限公司 | 一种智能识别套牌车的方法 |
| CN108563976A (zh) * | 2017-11-29 | 2018-09-21 | 浙江工业大学 | 一种基于车窗位置的多方向车辆颜色识别方法 |
| CN108960240A (zh) * | 2018-07-12 | 2018-12-07 | 浙江工业大学 | 一种基于颜色分析的车辆进气栅定位方法 |
| CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
| CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
| CN114998618A (zh) * | 2022-01-13 | 2022-09-02 | 山东高速股份有限公司 | 基于卷积神经网络模型的货车颜色识别方法 |
| CN115965908A (zh) * | 2022-12-21 | 2023-04-14 | 浙江净禾智慧科技有限公司 | 一种垃圾违规投放行为的ai识别方法、系统及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
| CN102184413A (zh) * | 2011-05-16 | 2011-09-14 | 浙江大华技术股份有限公司 | 车辆智能监控系统中车身颜色自动识别方法 |
| US20140205200A1 (en) * | 2008-01-17 | 2014-07-24 | Imds America Inc. | Image binarization using dynamic sub-image division |
| CN104715239A (zh) * | 2015-03-12 | 2015-06-17 | 哈尔滨工程大学 | 一种基于去雾处理和权重分块的车辆颜色识别方法 |
| CN106203420A (zh) * | 2016-07-26 | 2016-12-07 | 浙江捷尚视觉科技股份有限公司 | 一种卡口车辆颜色识别方法 |
-
2017
- 2017-04-27 CN CN201710286539.1A patent/CN107292933B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140205200A1 (en) * | 2008-01-17 | 2014-07-24 | Imds America Inc. | Image binarization using dynamic sub-image division |
| CN101408942A (zh) * | 2008-04-17 | 2009-04-15 | 浙江师范大学 | 一种复杂背景下的车牌定位方法 |
| CN102184413A (zh) * | 2011-05-16 | 2011-09-14 | 浙江大华技术股份有限公司 | 车辆智能监控系统中车身颜色自动识别方法 |
| CN104715239A (zh) * | 2015-03-12 | 2015-06-17 | 哈尔滨工程大学 | 一种基于去雾处理和权重分块的车辆颜色识别方法 |
| CN106203420A (zh) * | 2016-07-26 | 2016-12-07 | 浙江捷尚视觉科技股份有限公司 | 一种卡口车辆颜色识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| JING FANG 等: "Color identifying of vehicles based on color container and BP network", 《IEEE》 * |
| 王拴: "基于车尾检测和语言学颜色空间的车牌定位", 《计算机与数字工程》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107798879A (zh) * | 2017-10-25 | 2018-03-13 | 济南浪潮高新科技投资发展有限公司 | 一种智能识别套牌车的方法 |
| CN108563976A (zh) * | 2017-11-29 | 2018-09-21 | 浙江工业大学 | 一种基于车窗位置的多方向车辆颜色识别方法 |
| CN108563976B (zh) * | 2017-11-29 | 2021-04-02 | 浙江工业大学 | 一种基于车窗位置的多方向车辆颜色识别方法 |
| CN108960240A (zh) * | 2018-07-12 | 2018-12-07 | 浙江工业大学 | 一种基于颜色分析的车辆进气栅定位方法 |
| CN108960240B (zh) * | 2018-07-12 | 2022-02-15 | 浙江工业大学 | 一种基于颜色分析的车辆进气栅定位方法 |
| CN109299257A (zh) * | 2018-09-18 | 2019-02-01 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
| CN109299257B (zh) * | 2018-09-18 | 2020-09-15 | 杭州科以才成科技有限公司 | 一种基于lstm和知识图谱的英文期刊推荐方法 |
| CN109583305A (zh) * | 2018-10-30 | 2019-04-05 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
| CN109583305B (zh) * | 2018-10-30 | 2022-05-20 | 南昌大学 | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 |
| CN114998618A (zh) * | 2022-01-13 | 2022-09-02 | 山东高速股份有限公司 | 基于卷积神经网络模型的货车颜色识别方法 |
| CN115965908A (zh) * | 2022-12-21 | 2023-04-14 | 浙江净禾智慧科技有限公司 | 一种垃圾违规投放行为的ai识别方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107292933B (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292933A (zh) | 一种基于bp神经网络的车辆颜色识别方法 | |
| CN108596277B (zh) | 一种车辆身份识别方法、装置和存储介质 | |
| CN104778453B (zh) | 一种基于红外行人亮度统计特征的夜间行人检测方法 | |
| CN107590492B (zh) | 一种基于卷积神经网络的车标定位与识别方法 | |
| CN102867188B (zh) | 一种基于级联结构的会场内座位状态检测方法 | |
| CN103268468B (zh) | 机动车前排就坐者是否扣带安全带的自动检测方法 | |
| CN102184419B (zh) | 基于敏感部位检测的色情图像识别方法 | |
| CN103279756B (zh) | 基于集成分类器的车辆检测分析系统及其检测分析方法 | |
| CN101980242B (zh) | 人脸面相判别方法、系统及公共安全系统 | |
| CN108520516A (zh) | 一种基于语义分割的桥梁路面裂缝检测和分割方法 | |
| CN109784150A (zh) | 基于多任务时空卷积神经网络的视频驾驶员行为识别方法 | |
| CN110378236A (zh) | 基于深度学习的车辆身份识别模型构建、识别方法和系统 | |
| CN108460328A (zh) | 一种基于多任务卷积神经网络的套牌车检测方法 | |
| CN107798335A (zh) | 一种融合滑动窗口与Faster R‑CNN卷积神经网络的车标识别方法 | |
| CN102194108B (zh) | 一种聚类线性鉴别分析特征选择的笑脸表情识别方法 | |
| CN106650731A (zh) | 一种鲁棒的车牌、车标识别方法 | |
| CN105335710A (zh) | 一种基于多级分类器的精细车辆型号识别方法 | |
| CN101908241A (zh) | 有价文件识别方法及其识别系统 | |
| CN106650752B (zh) | 一种车身颜色识别方法 | |
| CN106529578A (zh) | 一种基于深度学习的车辆品牌型号精细识别方法与系统 | |
| CN103390167A (zh) | 一种多特征的分层交通标志识别方法 | |
| CN103824081A (zh) | 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法 | |
| CN107230267A (zh) | 基于人脸识别算法的幼儿园智能签到方法 | |
| CN106991421A (zh) | 一种身份证信息提取系统 | |
| CN104183029A (zh) | 一种便携式快速人群考勤方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |