CN115661556B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115661556B CN115661556B CN202211286311.XA CN202211286311A CN115661556B CN 115661556 B CN115661556 B CN 115661556B CN 202211286311 A CN202211286311 A CN 202211286311A CN 115661556 B CN115661556 B CN 115661556B
- Authority
- CN
- China
- Prior art keywords
- image
- result
- lane line
- road
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 132
- 238000001514 detection method Methods 0.000 claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种图像处理方法、装置、电子设备及存储介质，属于车辆技术领域，该方法包括：将获取的图像序列中的每个图像输入特征提取网络，得到图像的特征图；将特征图输入道路分割网络，得到图像的道路分割结果；将道路分割结果和特征图输入车道线检测网络，得到图像的车道线检测结果；将道路分割结果、车道线检测结果和特征图输入目标识别网络，得到图像的目标识别结果；输出图像的处理结果，处理结果包括道路分割结果、车道线检测结果和目标识别结果。这样，各网络之间的兼顾性比较好，利于提升各子任务的执行准确性，因此，可提升图像的全景感知效果。
Description
技术领域
本申请涉及车辆技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
在自动驾驶领域，高效准确的全景感知是实现自动驾驶的前提，全景感知主要包括道路分割、车道线检测和目标识别三个子任务，各子任务均准确执行是保证全景感知效果的关键。相关技术中，道路分割、车道线检测和目标识别这三个子任务是各自进行的，全景感知的效果还可进一步提高。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，用以提供一种提高自动驾驶技术中全景感知效果的方案。
第一方面，本申请实施例提供一种图像处理方法，包括：
将获取的图像序列中的每个图像输入特征提取网络，得到所述图像的特征图；
将所述特征图输入道路分割网络，得到所述图像的道路分割结果；
将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果；
将所述道路分割结果、所述车道线检测结果和所述特征图输入目标识别网络，得到所述图像的目标识别结果；
输出所述图像的处理结果，所述处理结果包括所述道路分割结果、所述车道线检测结果和所述目标识别结果。
在一些实施例中，所述车道线检测网络根据以下步骤得到所述车道线检测结果：
基于所述特征图进行车道线识别，得到所述图像中的至少一条车道线；
若任一条车道线超出所述道路分割结果所指示的道路区域，则对所述车道线的超出部分进行截断处理。
在一些实施例中，所述目标识别网络根据以下步骤得到所述目标识别结果：
基于所述道路分割结果和所述车道线检测结果，在所述特征图中标记道路点和车道线点；
基于所述道路点和所述车道线点，按照目标物的预设可能尺寸，在所述特征图中选取多个候选框；
对各候选框分别对应的局部特征图进行目标识别，得到所述目标识别结果。
在一些实施例中，在得到所述图像的目标识别结果之后，还包括：
若确定存在超出所述道路分割结果所指示的道路区域内的目标物，则基于所述目标物的位置信息，对所述道路分割结果进行修正；
以修正后的道路分割结果为新的道路分割结果，执行将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果的步骤，直至确定不存在不位于所述道路分割结果所指示的道路区域内的目标物。
在一些实施例中，基于所述目标物的位置信息，对所述道路分割结果进行修正之后，还包括：
利用修正后的道路分割结果，对所述道路分割网络进行更新。
在一些实施例中，所述特征提取网络根据以下步骤进行特征提取：
从所述图像中提取至少两个中间特征图，其中，不同中间特征图的特征表达丰富度不同；
对各中间特征图进行交叉转换，得到所述图像的特征图。
在一些实施例中，所述图像序列是对自动驾驶车辆的周围环境进行采集得到的，在输出所述图像的处理结果之后，还包括：
基于所述图像的处理结果，控制所述自动驾驶车辆驾驶。
第二方面，本申请实施例提供一种图像处理装置，包括：
特征提取模块，用于将获取的图像序列中的每个图像输入特征提取网络，得到所述图像的特征图；
道路分割模块，用于将所述特征图输入道路分割网络，得到所述图像的道路分割结果；
车道线检测模块，用于将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果；
目标识别模块，用于将所述道路分割结果、所述车道线检测结果和所述特征图输入目标识别网络，得到所述图像的目标识别结果；
输出模块，用于输出所述图像的处理结果，所述处理结果包括所述道路分割结果、所述车道线检测结果和所述目标识别结果。
在一些实施例中，所述车道线检测网络根据以下步骤得到所述车道线检测结果：
基于所述特征图进行车道线识别，得到所述图像中的至少一条车道线；
若任一条车道线超出所述道路分割结果所指示的道路区域，则对所述车道线的超出部分进行截断处理。
在一些实施例中，所述目标识别网络根据以下步骤得到所述目标识别结果：
基于所述道路分割结果和所述车道线检测结果，在所述特征图中标记道路点和车道线点；
基于所述道路点和所述车道线点，按照目标物的预设可能尺寸，在所述特征图中选取多个候选框；
对各候选框分别对应的局部特征图进行目标识别，得到所述目标识别结果。
在一些实施例中，还包括修正模块，用于：
在得到所述图像的目标识别结果之后，若确定存在超出所述道路分割结果所指示的道路区域内的目标物，则基于所述目标物的位置信息，对所述道路分割结果进行修正；
以修正后的道路分割结果为新的道路分割结果，执行将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果的步骤，直至确定不存在不位于所述道路分割结果所指示的道路区域内的目标物。
在一些实施例中，所述修正模块，还用于：
在基于所述目标物的位置信息，对所述道路分割结果进行修正之后，利用修正后的道路分割结果，对所述道路分割网络进行更新。
在一些实施例中，所述特征提取网络根据以下步骤进行特征提取：
从所述图像中提取至少两个中间特征图，其中，不同中间特征图的特征表达丰富度不同；
对各中间特征图进行交叉转换，得到所述图像的特征图。
在一些实施例中，所述图像序列是对自动驾驶车辆的周围环境进行采集得到的，还包括控制模块，用于：
基于所述图像的处理结果，控制所述自动驾驶车辆驾驶。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像处理方法。
第四方面，本申请实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述图像处理方法。
本申请实施例中，道路分割、车道线检测和目标识别这三个子任务之间的特征可共享，且道路分割结果可作为车道线检测网络的输入指导车道线检测，道路分割结果和车道线检测结果可作为目标识别网络的输入指导目标识别，各子任务之间的兼顾性比较好，利于提升各子任务的整体准确性，因此，可提升图像的全景感知效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种全景感知网络的结构示意图；
图2为本申请实施例提供的一种图像处理方法的流程图；
图3为本申请实施例提供的一种目标识别方法的流程图；
图4为本申请实施例提供的又一种图像处理方法的流程图；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的一种用于实现图像处理方法的电子设备的硬件结构示意图。
具体实施方式
为了提供一种提高自动驾驶技术中全景感知效果的方案，本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
一般地，自动驾驶车辆通过自身配备的车载相机、激光雷达、超声波传感器等实时采集周围的道路环境数据及自身的图像数据，并按时间顺序将这些采集数据汇总入车载图形处理器(Graphics Processing Unit，GPU)等运算设备，由这些运算设备根据采集数据实时计算车辆所处的环境信息(如识别道路车道线、周边行人车辆位置、道路区域等)，实现全景信息感知，并将全景信息感知结果交由控制优化系统进行车头方向纠正等决策。
其中，车载相机所拍摄的车辆驾驶视角图像具有135°水平广角、低噪点、高分辨率的特点，包含了当前车辆环境的绝大部分信息，对于车辆的下一步动作控制也是最为重要的。红外传感器、超声波雷达等设备则主要用于提高夜视能力、测算障碍距离等细分任务。
相关技术中，自动驾驶技术中全景感知的道路分割、车道线检测和目标识别这三个子任务是独立进行的，无法实现三个任务间的特征共享，更无法实现关联任务间的交互纠偏，各子任务之间的兼顾性较差，所以全景感知效果有待提升。
为此，本申请实施例提出一种基于多任务级联的全景感知网络，其主要利用车载相机所拍摄的车辆驾驶视角图像数据实现自动驾驶全景感知。实际应用中，将车载相机拍摄的驾驶视角图像作为全景感知网络的输入，经全景感知网络进行全景感知，即可输出图像中的车道线位置、行人车辆位置、以及道路分割结果。
下面对本申请实施例提出的全景感知网络进行详细介绍。
一、模型训练阶段。即训练全景感知网络的阶段。
1、采集样本，建立检测数据集。
(1)利用车载相机实时拍摄车辆前方的道路情况。为了更好地对车辆环境实现全景感知，车载相机可包括鱼眼和/或广角镜头，拍摄范围不低于135°水平广角，所拍摄图像应保证连续有序，拍摄帧率不低于60帧/秒。另外，由于是横向拍摄，图像高度可小于图像宽度。
(2)由于不同车载相机的性能和规格不统一，可将图像大小统一缩小到H*W*C(H<W)，其中，H代表图像的高度，W代表图像的宽度，C代表图像的通道数。
(3)对所拍摄图像，分别标注出车道线、行人车辆位置和道路分割区域。其中，车道线以像素点组成的连续线条来标记；行人车辆位置以矩形框标记，每个矩形框提供左上角像素点的位置及矩形框的高度和宽度；道路分割区域以像素点来标记。
2、样本数据增强，以增加全景感知网络的健壮性。
(1)样本数据增强及降噪。
考虑到图像是按时间顺序高频拍摄的，因此理论上不存在像素点剧烈变化的图像。为此，对相邻图像，可按像素值计算图像距离，基于图像距离确定变化像素点占比，若变化像素点占比达到60％以上，则认为两张图像具有显著差异性，删除这两张图像。这样，可去除因光照、阴影、镜头抖动等异常造成的噪声图像，降低数据集噪声。
另外，还可对筛选后的图像分别进行旋转、拉伸以增加数据集多样性。其中，旋转是指将图像旋转90°、180°、270°等做样本增强；拉伸是指将图像的宽高比互换来做样本增强。
(2)车道线数据标定。
车道线在道路中应为像素点组成的连续线。由于拍摄过程中存在遮挡、车道线消失等异常，因此可对图像样本中的车道线进行连续性校验。比如，对每张图像样本中的车道线进行最小二乘拟合及拐点检测，若车道线不存在明显的弯折、突变等情况，则判定图像样本为合格样本；否则，判定图像样本为噪声数据，进而筛除。
(3)目标框标定。
针对图像样本中存在的目标重叠、遮挡等情形，筛选宽高符合预设阈值的目标为合理检测目标，忽略小物体样本。部分重叠物体，以顶层大目标为实际检测目标。由于主要是针对行人和车辆进行检测，因此，目标框的宽高比例应符合1:1到1:3范围，过于细长的物体不符合行人和车辆的外观特征，故可视作噪声数据进行筛除。
3、构建全景感知网络
本文利用高效的多任务级联残差神经网络实现自动驾驶时的全景感知，利用子任务间的特征共享、联合判别，提升整体网络推理的速度和各子任务的识别精度。
参见图1，图1为本申请实施例提供的一种全景感知网络的结构示意图，整体由一个特征提取网络和三个串行的识别网络组成，其中，特征提取网络用于进行特征提取，三个串行的识别网络依次用于执行道路区域检测子任务、车道线检测子任务、行人车辆识别子任务。
下面分别对特征提取网络和三个串行的识别网络进行介绍。
(1)特征提取网络可采用ResNet101残差网络作为高效成熟的backbone网络，并可采用特征金字塔的思想将不同卷积层的输出图级联为全特征图，以捕获不同尺寸、大小、宽高比的区域特征。比如，当采用ResNet101残差网络时，可分别利用H/2*W/2、H/4*W/4、H/8*W/8、H/16*W/16四种尺寸的卷积特征图(即中间特征图)作为图像的特征表达，之后，还可利用Transformer层对这四个卷积特征图进行交叉转换，得到图像最终的特征图。
(2)特征提取网络输出的图像最终的特征图，先经由道路分割网络进行道路区域识别。道路分割网络粗粒度地对同一区域内的像素点进行聚类，从而分割出道路区域的轮廓和非道路区域(如天空背景、大面积的障碍物等)的轮廓。并且，道路分割网络可采用类间距离最大化准则作为损失函数的评估标准。
假设图像分为n个区域，第i个区域的中心点为si，第j个区域的中心点为sj，第i个区域和第j个区域的中心点之间的欧氏距离di,j＝distance(si-sj)，那么，任意两个区域中心点之间的欧式距离的总距离和总距离之和y越大，则说明类间距离越大，区域间具有明显的区分性，总距离之和y越小，则说明类间距离越小，区域间具有不明显的区分性。
另外，本阶段可采用2层卷积加一层最大池化层作为一个基础的卷积模块，以实现高效计算，其中，2层卷积有助于降低特征维度、减少计算量，最大池化层可以突出各区域的边缘信息。
(3)道路分割网络的识别结果联同特征提取网络输出的图像最终的特征图级联作为车道线检测网络的输入。由于车道线一定位于道路区域内，因此，本阶段网络相当于在上一层道路区域分割的基础上做进一步的细粒度识别。为了提高车道线检测的准确率，本阶段仍可采用残差网络进行更细粒度的特征检测。由于车道线在图像中的像素宽度很小，预估在10-20像素宽，因此本阶段的残差网络可只利用最后一层卷积输出的特征图(该特征图所表达的图像特征已经足够细化，足以对10-20宽的物体进行检测)进行车道线识别，而不再采用特征金字塔网络的思想对不同尺度的特征图进行融合。
另外，对识别出的车道线还可进行合理性判别，以提升车道线检测准确性。比如，对识别出的车道线进行范围、角度和连续性判别，如果识别出车的道线满足以下任一情况，则认为识别有误：(1)车道线断裂为三段以上；(2)车道线的范围超出第一阶段网络的道路区域检出范围；(3)车道线延伸角度和车辆拍摄角度大于90°。
(4)最终，将前三个阶段的网络输出结果级联作为目标检测网络的输入。本阶段，首先根据道路分割网络的识别结果，在特征提取网络输出的图像最终的特征图上标记出道路区域点及车道线点，然后，可以这些道路区域点和车道线点中的每个点为中点，分别以1:1、1:2、1:3、2:1、3:1的宽高比和5、10、15、20、25像素的宽选取候选框，在特征图中裁剪出每个候选框后输入到目标识别网络中进行目标识别。
另外，本阶段，网络还可额外添加空间注意力机制进行特征筛选。具体而言，对不同层次的特征图中的像素点赋予不同的权重，重要子区域的像素点权重高，非重要区域的像素点权重低，从而识别出道路区域中最重要的子区域。
上述全景感知网络中，不同子任务的网络间是互联的，前一子任务的网络输出结果为下一子任务的网络提供了额外输入和检测限制，同时，还加入了残差反馈机制，即后面子任务的网络输出结果也可反馈到前面子任务的网络中，对前面子任务的网络进行纠偏和修正。例如，车道线检测和行人车辆检测的检测结果，限制其一定位于第一阶段子任务道路分割的结果范围内，当车道线检测结果部分超出预设范围时，则可对道路分割网络的检测结果进行修正，以提供更准确的道路分割结果。
4、训练全景感知网络。
以图像样本为输入、图像样本的标定数据为输出，对全景感知网络进行训练，直至确定全景感知网络满足训练结束条件时，结束训练。其中，训练结束条件如准确率达到设定准确率、网络迭代次数达到设定次数等。
二、模型使用阶段。即利用全景感知网络进行全景感知的阶段。
自动驾驶车辆行驶过程中，车载摄像头实时拍摄前方环境图像并输入全景感知网络进行全景感知(即道路区域分割、车道线检测和行人车辆识别)，主要包含以下几步：
(1)将原始图像的大小缩小为1080*1920*3，其中，1080为图像高度，1920为图像宽度，3为图像的通道数；
(2)将1080*1920*3的图像输入ResNet101进行特征提取，取四个不同尺寸的卷积特征图：590*960*6、295*480*12、195*240*24、95*120*24，然后，利用Transformer层对这四个卷积特征图进行交叉转换，得到图像最终的特征图；
(3)将图像最终的特征图输入道路分割网络进行道路区域分割，其中，道路区域标定为S；
(4)将(2)、(3)步的识别结果输入到车道线检测网络中进行车道线检测，检出的车道线应包含在道路区域S内，且应满足连续、角度合理、范围合理的预定假设。对于超出道路区域S的车道线部分做截断处理。
(5)将前(2)、(3)、(4)步的识别结果输入到目标检测网络中进行目标检测，检出的目标中心点应在前(3)、(4)步检出的范围内，且目标大小和宽高比例应符合预定假设，若不符合这些要求，则可基于目标中心点的位置，对道路分割结果和道路分割网络进行纠正。
本申请实施例提供的全景感知网络包含特征提取网络、道路分割网络、车道线检测网络，以及目标检测网络，且在不同网络中大量采用了残差网络进行特征提取和网络计算，这样，在保证识别精度的同时可显著减少计算量，可很好地满足自动驾驶场景下车载设备的实际检测帧率需求。
图2为本申请实施例提供的一种图像处理方法的流程图，包括以下步骤。
在步骤201中，将获取的图像序列中的每个图像输入特征提取网络，得到图像的特征图。
其中，图像序列可以是车载相机在自动驾驶车辆行驶过程中采集车辆周围环境得到的。
并且，特征提取网络可从图像中提取特征表达丰富度不同的中间特征图，然后，对各中间特征图进行交叉转换，得到图像最终的特征图。这样，利于提升最终得到的特征图的特征表达丰富度和准确度。
在步骤202中，将特征图输入道路分割网络，得到图像的道路分割结果。
一般地，道路分割网络可粗粒度地对特征图中同一区域内的像素点进行聚类，分割出道路区域的轮廓和非道路区域(如天空背景、大面积的障碍物等)的轮廓，从而得到道路分割结果。并且，道路分割结果可表现为二值图的形式。
在步骤203中，将道路分割结果和特征图输入车道线检测网络，得到图像的车道线检测结果。
具体实施时，车道线检测网络可基于特征图进行车道线识别，得到图像中的至少一条车道线，若任一条车道线超出道路分割结果所指示的道路区域，则可对车道线的超出部分进行截断处理。即，默认道路分割结果是准确的，车道线检测网络以道路分割结果为依据检测自身的车道线检测是否有误。
另外，车道线检测网络判别检测出的车道线有误的方式还可以有：车道线断裂为三段以上、车道线延伸角度和车辆拍摄角度大于90°等。
类似地，车道线检测结果也可表现为二值图的形式。
在步骤204中，将道路分割结果、车道线检测结果和特征图输入目标识别网络，得到图像的目标识别结果。
其中，目标识别网络可根据图3所示的流程得到目标识别结果，包括以下步骤：
在步骤2041中，基于道路分割结果和车道线检测结果，在特征图中标记道路点和车道线点。
即，依据道路分割结果和车道线检测结果，在特征图中标记出哪些点属于道路、哪些点属于车道线。
在步骤2042中，基于道路点和车道线点，按照目标物的预设可能尺寸，在特征图中选取多个候选框。
一般地，目标物为行人和车辆，鉴于行人和车辆的外观特征是比较固定的，所以可以预先确定行人和车辆的多个可能尺寸，然后，可以道路点和车道线点中的每个点为中心，按照这些可能尺寸在特征图中选取多个候选框。
这样，借助于道路分割结果和车道线检测结果的先验知识选取目标物的候选框，可大幅缩小候选框的数量，提升目标识别速度。
在步骤2043中，对各候选框分别对应的局部特征图进行目标识别，得到目标识别结果。
比如，将特征图中每个候选框对应的局部特征图截取下来，然后，对截取的局部特征图进行目标识别，以确定这个候选框中是否包含目标物，并在包含目标物时确定目标物的位置信息。
在步骤205中，输出图像的处理结果，处理结果包括道路分割结果、车道线检测结果和目标识别结果。
本申请实施例中，在进行全景感知时，前面子任务的网络输出结果可以作为先验知识来执行后面的子任务，利于提升后面子任务的执行准确性，从而提升全景感知效果。
在一些实施例中，不但前面子任务的网络输出结果可以作为先验知识来执行后面的子任务，而且，后面子任务的网络输出结果也可反馈到前面来修正前面子任务的执行结果。图4为本申请实施例提供的又一种图像处理方法的流程图，包括以下步骤。
在步骤401中，将获取的图像序列中的每个图像输入特征提取网络，得到图像的特征图，其中，图像序列是对自动驾驶车辆的周围环境进行采集得到的。
在步骤402中，将特征图输入道路分割网络，得到图像的道路分割结果。
在步骤403中，将道路分割结果和特征图输入车道线检测网络，得到图像的车道线检测结果。
在步骤404中，将道路分割结果、车道线检测结果和特征图输入目标识别网络，得到图像的目标识别结果。
在步骤405中，判断是否存在超出道路分割结果所指示的道路区域内的目标物，若是，则进入步骤406，若否，则进入步骤407。
即，默认目标识别结果的准确性最高，当目标识别结果与前面网络的输出结果不一致时，以目标识别结果为准去修正前网络的输出结果，直至确定各网络的输出结果均一致时，再执行后续操作，以便提升全景感知准确性。
在步骤406中，基于目标物的位置信息，对道路分割结果进行修正，以修正后的道路分割结果为新的道路分割结果，返回执行步骤403。
另外，还可利用修正后的道路分割结果，对道路分割网络进行更新，以提升道路分割网络的准确性。
在步骤407中，输出图像的处理结果，处理结果包括道路分割结果、车道线检测结果和目标识别结果。
在步骤408中，基于图像的处理结果，控制自动驾驶车辆驾驶。
本申请实施例中，在进行全景感知时，不但前面子任务的网络输出结果可以作为先验知识来执行后面的子任务，而且，后面子任务的网络输出结果也可反馈到前面来修正前面子任务的执行结果，全景感知的兼顾性更好，全景感知机制也更合理，因此，全景感知效果较好。
基于相同的技术构思，本申请实施例还提供一种图像处理装置，图像处理装置解决问题的原理与上述图像处理方法相似，因此图像处理装置的实施可参见图像处理方法的实施，重复之处不再赘述。
图5为本申请实施例提供的一种图像处理装置的结构示意图，包括。
特征提取模块501，用于将获取的图像序列中的每个图像输入特征提取网络，得到所述图像的特征图；
道路分割模块502，用于将所述特征图输入道路分割网络，得到所述图像的道路分割结果；
车道线检测模块503，用于将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果；
目标识别模块504，用于将所述道路分割结果、所述车道线检测结果和所述特征图输入目标识别网络，得到所述图像的目标识别结果；
输出模块505，用于输出所述图像的处理结果，所述处理结果包括所述道路分割结果、所述车道线检测结果和所述目标识别结果。
在一些实施例中，所述车道线检测网络根据以下步骤得到所述车道线检测结果：
基于所述特征图进行车道线识别，得到所述图像中的至少一条车道线；
若任一条车道线超出所述道路分割结果所指示的道路区域，则对所述车道线的超出部分进行截断处理。
在一些实施例中，所述目标识别网络根据以下步骤得到所述目标识别结果：
基于所述道路分割结果和所述车道线检测结果，在所述特征图中标记道路点和车道线点；
基于所述道路点和所述车道线点，按照目标物的预设可能尺寸，在所述特征图中选取多个候选框；
对各候选框分别对应的局部特征图进行目标识别，得到所述目标识别结果。
在一些实施例中，还包括修正模块506，用于：
在得到所述图像的目标识别结果之后，若确定存在超出所述道路分割结果所指示的道路区域内的目标物，则基于所述目标物的位置信息，对所述道路分割结果进行修正；
以修正后的道路分割结果为新的道路分割结果，执行将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果的步骤，直至确定不存在不位于所述道路分割结果所指示的道路区域内的目标物。
在一些实施例中，所述修正模块506，还用于：
在基于所述目标物的位置信息，对所述道路分割结果进行修正之后，利用修正后的道路分割结果，对所述道路分割网络进行更新。
在一些实施例中，所述特征提取网络根据以下步骤进行特征提取：
从所述图像中提取至少两个中间特征图，其中，不同中间特征图的特征表达丰富度不同；
对各中间特征图进行交叉转换，得到所述图像的特征图。
在一些实施例中，所述图像序列是对自动驾驶车辆的周围环境进行采集得到的，还包括控制模块507，用于：
基于所述图像的处理结果，控制所述自动驾驶车辆驾驶。
本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
在介绍了本申请示例性实施方式的图像处理方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
下面参照图6来描述根据本申请的这种实施方式实现的电子设备130。图6显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中，还提供了一种存储介质，当存储介质中的计算机程序由电子设备的处理器执行时，电子设备能够执行上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本申请的电子设备可以至少包括至少一个处理器，以及与这至少一个处理器通信连接的存储器，其中，存储器存储有可被这至少一个处理器执行的计算机程序，计算机程序被这至少一个处理器执行时可使这至少一个处理器执行本申请实施例提供的任一图像处理方法的步骤。
在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。
并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例中用于图像处理的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
将获取的图像序列中的每个图像输入特征提取网络，得到所述图像的特征图；
将所述特征图输入道路分割网络，得到所述图像的道路分割结果；
将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果；
将所述道路分割结果、所述车道线检测结果和所述特征图输入目标识别网络，得到所述图像的目标识别结果；
若确定存在超出所述道路分割结果所指示的道路区域内的目标物，则基于所述目标物的位置信息，对所述道路分割结果进行修正；
以修正后的道路分割结果为新的道路分割结果，执行将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果的步骤，直至确定不存在不位于所述道路分割结果所指示的道路区域内的目标物；
输出所述图像的处理结果，所述处理结果包括所述道路分割结果、所述车道线检测结果和所述目标识别结果。
2.如权利要求1所述的方法，其特征在于，所述车道线检测网络根据以下步骤得到所述车道线检测结果：
基于所述特征图进行车道线识别，得到所述图像中的至少一条车道线；
若任一条车道线超出所述道路分割结果所指示的道路区域，则对所述车道线的超出部分进行截断处理。
3.如权利要求1所述的方法，其特征在于，所述目标识别网络根据以下步骤得到所述目标识别结果：
基于所述道路分割结果和所述车道线检测结果，在所述特征图中标记道路点和车道线点；
基于所述道路点和所述车道线点，按照目标物的预设可能尺寸，在所述特征图中选取多个候选框；
对各候选框分别对应的局部特征图进行目标识别，得到所述目标识别结果。
4.如权利要求1所述的方法，其特征在于，基于所述目标物的位置信息，对所述道路分割结果进行修正之后，还包括：
利用修正后的道路分割结果，对所述道路分割网络进行更新。
5.如权利要求1所述的方法，其特征在于，所述特征提取网络根据以下步骤进行特征提取：
从所述图像中提取至少两个中间特征图，其中，不同中间特征图的特征表达丰富度不同；
对各中间特征图进行交叉转换，得到所述图像的特征图。
6.如权利要求1所述的方法，其特征在于，所述图像序列是对自动驾驶车辆的周围环境进行采集得到的，在输出所述图像的处理结果之后，还包括：
基于所述图像的处理结果，控制所述自动驾驶车辆驾驶。
7.一种图像处理装置，其特征在于，包括：
特征提取模块，用于将获取的图像序列中的每个图像输入特征提取网络，得到所述图像的特征图；
道路分割模块，用于将所述特征图输入道路分割网络，得到所述图像的道路分割结果；
车道线检测模块，用于将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果；
目标识别模块，用于将所述道路分割结果、所述车道线检测结果和所述特征图输入目标识别网络，得到所述图像的目标识别结果；
修正模块，用于若确定存在超出所述道路分割结果所指示的道路区域内的目标物，则基于所述目标物的位置信息，对所述道路分割结果进行修正；以修正后的道路分割结果为新的道路分割结果，执行将所述道路分割结果和所述特征图输入车道线检测网络，得到所述图像的车道线检测结果的步骤，直至确定不存在不位于所述道路分割结果所指示的道路区域内的目标物；
输出模块，用于输出所述图像的处理结果，所述处理结果包括所述道路分割结果、所述车道线检测结果和所述目标识别结果。
8.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一所述的方法。
9.一种存储介质，其特征在于，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-6任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211286311.XA CN115661556B (zh) | 2022-10-20 | 2022-10-20 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211286311.XA CN115661556B (zh) | 2022-10-20 | 2022-10-20 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661556A CN115661556A (zh) | 2023-01-31 |
| CN115661556B true CN115661556B (zh) | 2024-04-12 |
Family
ID=84989041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211286311.XA Active CN115661556B (zh) | 2022-10-20 | 2022-10-20 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661556B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414387A (zh) * | 2019-07-12 | 2019-11-05 | 武汉理工大学 | 一种基于道路分割的车道线多任务学习检测方法 |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN111460921A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于多任务语义分割的车道线检测方法 |
| CN111507226A (zh) * | 2020-04-10 | 2020-08-07 | 北京觉非科技有限公司 | 道路图像识别模型建模方法、图像识别方法及电子设备 |
| CN111814593A (zh) * | 2020-06-19 | 2020-10-23 | 浙江大华技术股份有限公司 | 交通场景解析方法和设备、存储介质 |
| CN112384760A (zh) * | 2018-05-15 | 2021-02-19 | 御眼视觉技术有限公司 | 用于自主车辆导航的系统和方法 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| WO2021088505A1 (zh) * | 2019-11-07 | 2021-05-14 | 北京市商汤科技开发有限公司 | 目标属性检测、神经网络训练及智能行驶方法、装置 |
| CN114677658A (zh) * | 2022-03-10 | 2022-06-28 | 清华大学 | 十亿像素动态大场景图像采集和多目标检测方法及装置 |
| CN115187945A (zh) * | 2022-06-30 | 2022-10-14 | 重庆长安汽车股份有限公司 | 车道线识别方法、装置、电子设备、存储介质 |
-
2022
- 2022-10-20 CN CN202211286311.XA patent/CN115661556B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112384760A (zh) * | 2018-05-15 | 2021-02-19 | 御眼视觉技术有限公司 | 用于自主车辆导航的系统和方法 |
| CN110414387A (zh) * | 2019-07-12 | 2019-11-05 | 武汉理工大学 | 一种基于道路分割的车道线多任务学习检测方法 |
| WO2021088505A1 (zh) * | 2019-11-07 | 2021-05-14 | 北京市商汤科技开发有限公司 | 目标属性检测、神经网络训练及智能行驶方法、装置 |
| CN111178253A (zh) * | 2019-12-27 | 2020-05-19 | 深圳佑驾创新科技有限公司 | 自动驾驶的视觉感知方法、装置、计算机设备和存储介质 |
| CN111460921A (zh) * | 2020-03-13 | 2020-07-28 | 华南理工大学 | 一种基于多任务语义分割的车道线检测方法 |
| CN111507226A (zh) * | 2020-04-10 | 2020-08-07 | 北京觉非科技有限公司 | 道路图像识别模型建模方法、图像识别方法及电子设备 |
| CN111814593A (zh) * | 2020-06-19 | 2020-10-23 | 浙江大华技术股份有限公司 | 交通场景解析方法和设备、存储介质 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| CN114677658A (zh) * | 2022-03-10 | 2022-06-28 | 清华大学 | 十亿像素动态大场景图像采集和多目标检测方法及装置 |
| CN115187945A (zh) * | 2022-06-30 | 2022-10-14 | 重庆长安汽车股份有限公司 | 车道线识别方法、装置、电子设备、存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Multi-Object Detection, Pose Estimation and Tracking in Panoramic Monocular Imagery for Autonomous Vehicle Perception;PAYEN-DE-LA-GARANDERIE et al.;《Durham theses》;20201231;全文 * |
| Semantic Segmentation of Panoramic Images for Real-Time Parking Slot Detection;Cong Lai et al.;《remote sensing》;20220810;第1-19页 * |
| 基于深度学习的车辆及车道线检测方法研究;王琳;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20220315;C035-493 * |
| 基于车载视觉全天候道路环境感知系统研究;裴柳;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191215;C035-233 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661556A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688163B2 (en) | Target recognition method and device based on MASK RCNN network model | |
| US20190236414A1 (en) | FPGA Device for Image Classification | |
| WO2021249071A1 (zh) | 一种车道线的检测方法及相关设备 | |
| WO2020103110A1 (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
| US20210201569A1 (en) | Map Feature Extraction Using Overhead View Images | |
| US11288522B2 (en) | Generating training data from overhead view images | |
| CN108734120A (zh) | 标注图像的方法、装置、设备和计算机可读存储介质 | |
| CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| US20210199446A1 (en) | Overhead view image generation | |
| CN109801297B (zh) | 一种基于卷积实现的图像全景分割预测优化方法 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN112947419A (zh) | 避障方法、装置及设备 | |
| CN111553242B (zh) | 用于预测驾驶行为的生成对抗网络的训练方法和电子设备 | |
| CN112602319A (zh) | 一种对焦装置、方法及相关设备 | |
| CN113408550B (zh) | 基于图像处理的智能称重管理系统 | |
| US11727601B2 (en) | Overhead view image generation | |
| CN111931572B (zh) | 一种遥感影像的目标检测方法 | |
| JP2020021368A (ja) | 画像解析システム、画像解析方法及び画像解析プログラム | |
| CN116958939A (zh) | 一种雨雾天气下道路检测方法、系统及存储介质 | |
| CN117372907A (zh) | 一种基于人工智能无人机模拟训练的集群方法 | |
| CN115661556B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
| CN115223135A (zh) | 车位跟踪方法、装置、车辆及存储介质 | |
| CN114419018A (zh) | 图像采样方法、系统、设备及介质 | |
| CN114640785A (zh) | 站点模型更新方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |