CN110135235B - 一种眩光处理方法、装置及车辆 - Google Patents
一种眩光处理方法、装置及车辆 Download PDFInfo
- Publication number
- CN110135235B CN110135235B CN201910188607.XA CN201910188607A CN110135235B CN 110135235 B CN110135235 B CN 110135235B CN 201910188607 A CN201910188607 A CN 201910188607A CN 110135235 B CN110135235 B CN 110135235B
- Authority
- CN
- China
- Prior art keywords
- image
- glare
- vehicle
- intensity
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004313 glare Effects 0.000 title claims abstract description 230
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008030 elimination Effects 0.000 claims abstract description 23
- 238000003379 elimination reaction Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 10
- 206010052128 Glare Diseases 0.000 description 181
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种眩光处理方法、装置及车辆，该方法包括：采集所述车辆行驶方向前方的第一图像；根据所述第一图像确定眩光强度；在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；在所述车辆的显示屏上显示所述第二图像。通过本发明提供的眩光处理方法，在眩光强度较大的情况下用户可以借助眩光消除后所得到的图像获知路况，提高行车的安全性。
Description
技术领域
本发明涉及车辆领域，尤其涉及一种眩光处理方法、装置及车辆。
背景技术
随着车辆的日益增多，行车安全变得越来越重要。在行车过程中，由于太阳光、路灯、车灯等因素，容易造成在前挡风玻璃上的眩光，不利于驾驶员查看前方路况，从而影响行车安全性。
目前解决眩光的方案通常是增加光感应装置、液晶透镜装置或变色玻璃装置等，通过改变装置透明度降低眩光强度，以达到减弱眩光的目的。然而，这种方式在降低眩光的影响的同时，也会降低对路况的实际观察效果，进而导致行车安全隐患。
可见，现有技术中存在因眩光导致行车安全性较低的问题。
发明内容
本发明提供一种眩光处理方法、装置及车辆，以解决因眩光导致行车安全性较低的问题。
第一方面，本发明提供了一种眩光处理方法，该方法包括：
采集车辆行驶方向前方的第一图像；
根据所述第一图像确定眩光强度；
在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
在所述车辆的显示屏上显示所述第二图像。
可选的，所述在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像包括：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
可选的，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
可选的，所述在所述车辆的显示屏上显示所述第二图像之前，所述方法还包括：
对所述第二图像进行图像增强，得到第三图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第三图像。
可选的，所述在所述车辆的显示屏上显示所述第二图像之前，所述方法还包括：
对所述第二图像进行障碍物识别并标识，得到第四图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第四图像。
可选的，所述方法还包括：
根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
可选的，所述方法还包括：
在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
可选的，所述显示屏集成于所述车辆的前挡风玻璃上。
第二方面，本发明还提供一种眩光处理装置，该装置包括：
采集模块，用于采集车辆行驶方向前方的第一图像；
确定模块，用于根据所述第一图像确定眩光强度；
眩光消除模块，用于在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
显示模块，用于在所述车辆的显示屏上显示所述第二图像。
可选的，所述眩光消除模块具体用于：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
可选的，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
可选的，所述装置还包括：
图像处理模块，用于所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行图像增强，得到第三图像；
所述显示模块具体用于：
在所述车辆的显示屏上显示所述第三图像。
可选的，所述装置还包括：
识别模块，用于所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行障碍物识别并标识，得到第四图像；
所述显示模块具体用于：
在所述车辆的显示屏上显示所述第四图像。
可选的，所述装置还包括：
控制模块，用于根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
可选的，所述装置还包括：
检测模块，用于在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
输出模块，用于在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
可选的，所述显示屏集成于所述车辆的前挡风玻璃上。
第三方面，本发明还提供一种眩光处理装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的眩光处理方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的眩光处理方法的步骤。
第五方面，本发明还提供一种车辆，包括上述第二方面提供的眩光处理装置，或者包括上述第三方面提供的眩光处理装置。
本发明实施例中，通过采集所述车辆行驶方向前方的第一图像；根据所述第一图像确定眩光强度；在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；在所述车辆的显示屏上显示所述第二图像。从而在行车过程中，在眩光强度较大的情况下用户可以借助眩光消除后所得到的图像获知路况，提高行车的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的眩光处理方法的流程图；
图2是本发明实施例提供的第一图像和第三图像的示意图；
图3是本发明实施例提供的第一图像采集模块和第二图像采集模块的拍摄视野的示意图；
图4是本发明又一实施例提供的眩光处理方法的流程图；
图5是本发明实施例提供的眩光处理装置的结构图；
图6是本发明又一实施例提供的眩光处理装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种眩光处理方法。参见图1，图1是本发明实施例提供的眩光处理方法的流程图，如图1所示，包括以下步骤：
步骤101、采集车辆行驶方向前方的第一图像。
本实施例中，可以通过设置在车辆的一个或多个图像采集模块实时采集车辆前方的图像。其中，上述第一图像可以是任一图像采集模块实时采集的车辆前方的图像。
需要说明的是，上述图像采集模块(例如，摄像头)的设置位置可以根据实际需求进行合理设置，例如，可以将图像采集模块设置在能够使得图像采集模块的拍摄视野最大化的接近驾驶员的视野的位置。可选的，可以将图像采集模块设置在内后视镜位置。
步骤102、根据所述第一图像确定眩光强度。
该步骤中，可以检测第一图像中的眩光区域，并可以根据眩光区域的大小确定眩光强度，其中，眩光区域和眩光强度正相关。
其中，上述检测第一图像中的眩光区域，可以是根据第一图像的亮度信息检测第一图像中的眩光区域，例如，可以将第一图像中亮度值大于预设亮度值的图像区域确定为眩光区域；也可以是将第一图像输入至预先训练的眩光检测网络模型，以检测第一图像中的眩光区域，本实施例对此不做限定。
需要说明的是，上述眩光检测网络模型可以是基于样本图像对构建的深度学习网络(例如，神经网络)进行训练得到的网络模型。
步骤103、在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像。
本实施例中，上述预设值可以根据实际需求进行合理设置。
该步骤中，对第一图像进行眩光消除得到第二图像，可以是根据与第一图像相关的至少一帧图像，例如，第一图像的前一帧图像、后一帧图像、或是与第一图像同时采集的图像等，对第一图像进行眩光消除得到第二图像，例如，可以将第一图像和上述至少一帧图像融合得到消除眩光的第二图像；也可以是将第一图像输入至预先训练的眩光消除网络模型，得到消除眩光的第二图像。
需要说明的是，上述眩光消除网络模型可以是基于样本图像对构建的深度学习网络(例如，生成对抗网络)进行训练得到的网络模型。
需要说明的是，在眩光强度小于或等于预设值的情况下，可以将采集到的第一图像直接显示于车辆的显示屏中。
步骤104、在所述车辆的显示屏上显示所述第二图像。
该步骤中，可以在车辆已有的显示屏(例如，中控屏)显示第二图像，也可以是通过车辆上外置的显示屏显示第二图像等，本实施例对此不做限定。
可选的，所述显示屏集成于所述车辆的前挡风玻璃上。
本实施例通过集成于前挡风玻璃的显示屏显示第二图像，便于用户查看。
本发明实施例通过采集所述车辆行驶方向前方的第一图像；根据所述第一图像确定眩光强度；在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；在所述车辆的显示屏上显示所述第二图像。从而在行车过程中，在眩光强度较大的情况下用户可以借助眩光消除后所得到的图像，以更为清晰、准确的获知路况，提高行车的安全性。
可选的，上述步骤103，也即所述在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像，可以包括：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
本实施例中，上述第一时间段为根据采集所述第一图像的时刻所确定的时间段，例如，上述第一时间段可以是(T1,T1+△t]，或是[T1-△t,T1)，或是T1等，其中，T1为采集所述第一图像的时刻，△t为预设时长。需要说明的是，上述△t的取值可以根据实际情况进行合理设置。
实际应用中，同一图像采集模块在不同时间采集的图像，或是不同图像采集模块采集的图像，其眩光位置往往会改变，覆盖图像的不同区域，就算每一张图像都有眩光，但将拍摄的多张图像组合起来可以减少眩光区域。
可选的，在仅存在一个用于采集车辆前方图像的图像采集装置情况下，可以根据(T1,T1+△t]或是[T1-△t,T1)采集的至少一帧图像，对所述第一图像进行眩光消除；在存在多个用于采集车辆前方图像的图像采集装置情况下，可以通过在T1时刻其他图像采集装置采集的至少一帧图像对，对所述第一图像进行眩光消除，其中，上述其他图像采集装置可以是指除采集第一图像的图像采集装置之外的图像采集装置。
以下结合举例对本发明实施例进行说明：
示例一：在眩光强度大于预设值的情况下，可以获取第三图像，并识别第三图像中对应于第一图像的眩光区域的第一显示区域，利用第三图像中第一显示区域的图像数据填充第一图像的眩光区域。其中，上述第三图像为第一时间段内采集的图像，例如，可以为第一图像的后一帧图像。
例如，参见图2，第一图像10中包括第一眩光区域11，第三图像20中包括第二眩光区域21和第三眩光区域22，其中，第三图像中对应于第一眩光区域11的显示区域23如图中虚线所示，则可以先清除第一图像10中第一眩光区域11中的图像数据，并利用第三图像中显示区域23的图像数据填充第一图像10中第一眩光区域11，得到第二图像。
示例二：在眩光强度大于预设值的情况下，可以获取第三图像和第四图像，识别第三图像中对应于第一图像的眩光区域的第一显示区域和第三图像中对应于第一图像的眩光区域的第一显示区域，并可以从中选择一不存在眩光的第一显示区域的图像数据填充第一图像的眩光区域。
例如，若第三图像中的第一显示区域不存在眩光，则可以利用第三图像中的第一显示区域的图像数据填充第一图像的眩光区域；若第四图像中的第一显示区域不存在眩光，则可以利用第四图像中的第一显示区域的图像数据填充第一图像的眩光区域；若第三图像中的第一显示区域和第四图像中的第一显示区域均不存在眩光，则可以从中任选一图像的第一显示区域的图像数据填充第一图像的眩光区域。
本发明实施例在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像，不仅可以减少显示的图像的眩光区域，还可以保证所显示图像内容的真实性，以更为准确的反映实际路况。
可选的，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
例如，如图3所示，第一图像采集模块31和第二图像采集模块32的拍摄设有存在交叠。
以车辆设置有两个用于采集车辆前方图像的图像采集模块为例，可以通过第一图像采集模块采集第一图像，通过第二图像采集模块采集第三图像，从而可以通过第三图像中对应于第一图像中的眩光区域的第一显示区域的图像数据，填充第一图像中的眩光区域。
本实施例中，通过不同图像采集模块同时采集的图像对第一图像进行眩光消除，可以进一步保证第二图像内容的真实性，以更为准确的反映实际路况。
可选的，所述在所述车辆的显示屏上显示所述第二图像之前，所述方法还包括：
对所述第二图像进行图像增强，得到第三图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第三图像。
本实施例中，上述图像增强可以用于增强图像的清晰度和/或扩大图像中不同对象特征之间的差别等，使得图像更加便于辨认。实际应用中，上述图像增强可以包括增加图像对比度、灰度变换增强、直方图增强、图像滤波和图像锐化等中的至少一项。
本实施例对所述第二图像进行图像增强处理后显示于显示屏中，便于用户及时辨认障碍物，进一步提高行车安全。
可选的，所述在所述车辆的显示屏上显示所述第二图像之前，所述方法还包括：
对所述第二图像进行障碍物识别并标识，得到第四图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第四图像。
本实施例中，上述障碍物可以包括车辆、行人和栏杆等。
具体的，通过识别第二图像中的障碍物并进行标识，以突出显示图像中的障碍物，便于用户辨认。其中，上述对障碍物进行标识可以是通过方框标识所识别到的障碍物，或是高亮显示所识别到的障碍物的轮廓等。
可选的，本实施例可以直接基于第二图像进行障碍物识别，也可以是结合其他图像以识别第二图像中的障碍物。例如，车辆上还可以设置有红外热成像仪，该红外热成像仪与用于采集第一图像的图像采集模块的拍摄视野基本相同，这样，可以结合红外热成像仪采集的红外热图像，对第二图像进行障碍物检测，例如，可以先检测红外热图像中的障碍物，再基于红外热图像和第二图像之间的匹配关系，确定在第二图像中障碍物所处的位置。由于红外热图像受光线影响较小，可以提高障碍物检测的准确性。
本实施例对所述第二图像进行图像增强后显示于显示屏中，便于用户及时辨认和发现障碍物，进一步提高行车安全。
可选的，本实施例可以先对第二图像进行图像增强，并进一步识别图像增强后的图像中的障碍物，并进行标识。
可选的，所述方法还可以包括：
根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
本实施例中，车辆的前挡风玻璃的透明度可变，且前挡风玻璃的透明度可以与眩光强度负相关，这样，可以在眩光强度较大的情况下降低前挡风玻璃的透明度，减少眩光对用户视野的影响。
在一实施方式中，可以预先建立眩光强度和前挡风玻璃的透明度的对应关系，从而可以根据该对应关系，查找到所检测到的眩光强度对应的透明度，可以控制前挡风玻璃的透明度为所检测到的眩光强度对应的透明度。需要说明的是，在该对应关系中，眩光强度越大，其对应的透明度越小，从而可以减少眩光对用户视野的影响。
在另一实施方式中，可以分别设置眩光强度小于或等于预设值时对应的第一透明度，以及眩光强度大于预设值对应的第二透明度，其中，第一透明度高于第二透明度，初始时车辆的前挡风玻璃的透明度可以为第一透明度，在检测到眩光强度大于预设值的情况下，降低前挡风玻璃的透明度为第二透明度，后续若检测到眩光强度小于或等于预设值，可以恢复前挡风玻璃的透明度为第一透明度。
可选的，所述方法还可以包括：
在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
本实施例中，上述障碍物可以是行人和/或车辆等。可选的，可以通过对第二图像进行障碍物识别，以判断车辆前方是否存在障碍物，也可以通过红外传感器等判断车辆前方是否存在障碍物等，本实施例对此不做限定。
上述预设距离可以根据实际情况进行合理设置，例如，3米、5米等。上述告警信息可以是语音提示信息或文字提示信息等，以提示车辆前方存在距离较近的障碍物，提醒用户小心行驶，也可以是通过声光模块输出的报警信号。
需要说明的是，上述检测车辆和障碍物的之间的距离可以是通过图像检测，例如，通过多个图像采集装置采集的多张图像检测车辆和障碍物的距离，也可以是通过设置的距离传感器检测，本实施例对此不做限定。
本发明实施例在车辆与障碍物的距离小于预设距离的情况下，输出告警信息，以提醒用户，可以进一步提高行车安全性。
以下结合示例对本发明实施例进行说明：
参见图4，本发明实施例提供的眩光处理方法包括如下步骤：
步骤201、图像采集。
该步骤中，可以通过图像采集设备(也即上述图像采集模块)实时采集车辆前方景物的图像数据，包括车辆、灯光、道路、障碍物等，并将这些图像数据传送至图像处理模块。其中，上述图像处理模块可以用于眩光强度分析、眩光消除、图像增强、障碍物识别等。
需要说明的是，上述图像采集设备可以放置在内后视镜位置，角度调整成和人的视野平行，这样采集的图像就会和人的视野基本保持一致。
步骤202、眩光强度分析。
该步骤中，可以根据实施获取的图像数据，分析眩光强度，并输出眩光强度的值，判断是否达到需要做出眩光消除的程度。
步骤203、是否需要眩光消除。
该步骤中，可以将分析得到的眩光强度与预设值比较，在分析得到的眩光强度大于预设值的情况下，可以执行步骤204；在分析得到的眩光强度小于或等于预设值，且前挡风玻璃的透明度已被降低的情况下，可以执行步骤208，并将图像显示于前挡风玻璃。
步骤204、眩光消除。
该步骤中，由于图像采集设备在不同时间采集的图像，眩光的位置往往会改变，覆盖图像的不同区域，因此，就算每一张图像都有眩光，但将多张不同角度拍摄的图像组合起来可以去除眩光。
步骤205、图像增强。
该步骤中，可以将路况图像部分进行图像锐化，增加路况图像对比度，使图像轮廓更加清晰，便于辨认。
步骤206、障碍物识别。
该步骤中，可以通过图像识别技术识别图像中的障碍物，例如，车辆和行人，并将这些障碍物以方框突出标识。
步骤207、图像显示。
该步骤中，可以通过显示设备(也即前挡风玻璃)显示图像。具体的，车辆的前挡风玻璃可以是一块集成有显示功能的透明屏幕，且可以控制透明度。
步骤208、降低透明度。
该步骤中，可以在分析得到的眩光强度大于预设值的情况下，降低前挡风玻璃的透明度。
步骤209、恢复透明度。
该步骤中，可以在分析得到的眩光强度大于预设值，且前挡风玻璃的透明度已被降低的情况下，恢复前挡风玻璃的透明度。
本发明实施例通过眩光消除、路况图像补偿、障碍物识别和屏幕透明度改变等，可以有效的降低眩光产生的危害，同时通过图像识别技术可以有效突出显示障碍物(如车辆、行人等)的轮廓信息，使夜间视野更清晰，能在较远距离、较弱光线的情况下发现障碍物，有效提高夜间行驶安全性。
参见图5，图5是本发明实施例提供的眩光处理装置的结构图。如图5所示，眩光处理装置500包括：
采集模块501，用于采集所述车辆行驶方向前方的第一图像；
确定模块502，用于根据所述第一图像确定眩光强度；
眩光消除模块503，用于在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
显示模块504，用于在所述车辆的显示屏上显示所述第二图像。
可选的，所述眩光消除模块具体用于：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
可选的，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
可选的，所述装置还包括：
图像处理模块，用于所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行图像增强，得到第三图像；
所述显示模块具体用于：
在所述车辆的显示屏上显示所述第三图像。
可选的，所述装置还包括：
识别模块，用于所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行障碍物识别并标识，得到第四图像；
所述显示模块具体用于：
在所述车辆的显示屏上显示所述第四图像。
可选的，所述装置还包括：
控制模块，用于根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
可选的，所述装置还包括：
检测模块，用于在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
输出模块，用于在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
可选的，所述显示屏集成于所述车辆的前挡风玻璃上。
眩光处理装置500能够实现上述方法实施例的眩光处理方法的各个过程，并达到相同的效果为避免重复，这里不再赘述。
本发明实施例的眩光处理装置500，采集模块501，用于采集所述车辆行驶方向前方的第一图像；确定模块502，用于根据所述第一图像确定眩光强度；眩光消除模块503，用于在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；显示模块504，用于在所述车辆的显示屏上显示所述第二图像。从而在行车过程中，在眩光强度较大的情况下用户可以通过查看眩光消除后所得到的图像，以获知路况，提高行车的安全性。
本发明实施例还提供一种眩光处理装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一方法实施例的眩光处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的眩光处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
参见图6，图6是本发明又一实施提供的眩光处理装置的结构图，如图6所示，眩光处理装置600包括：处理器601、存储器602及存储在所述存储器602上并可在所述处理器上运行的计算机程序，眩光处理装置600中的各个组件通过总线接口603耦合在一起，所述计算机程序被所述处理器601执行时实现如下步骤：
采集车辆行驶方向前方的第一图像；
根据所述第一图像确定眩光强度；
在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
在所述车辆的显示屏上显示所述第二图像。
可选的，所述计算机程序被所述处理器601执行时还用于：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
可选的，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
可选的，所述计算机程序被所述处理器601执行时还用于：
所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行图像增强，得到第三图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第三图像。
可选的，所述计算机程序被所述处理器601执行时还用于：
所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行障碍物识别并标识，得到第四图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第四图像。
可选的，所述计算机程序被所述处理器601执行时还用于：
根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
可选的，所述计算机程序被所述处理器601执行时还用于：
在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
可选的，所述显示屏集成于所述车辆的前挡风玻璃上。
本发明实施例还提供一种车辆，包括上述的眩光处理装置，其中，该眩光处理装置可以实现上述任一实施例的眩光处理装置所实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种眩光处理方法，应用于车辆，其特征在于，包括：
采集所述车辆行驶方向前方的第一图像；
根据所述第一图像确定眩光强度，其中，检测第一图像中的眩光区域，根据眩光区域的大小确定眩光强度，眩光区域和眩光强度正相关，其中，将第一图像输入至预先训练的眩光检测网络模型，以检测第一图像中的眩光区域；
在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
对所述第二图像进行障碍物识别并标识，得到第四图像，在所述车辆的显示屏上显示所述第二图像，包括：在所述车辆的显示屏上显示所述第四图像。
2.根据权利要求1所述的方法，其特征在于，所述在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像包括：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
4.根据权利要求1所述的方法，其特征在于，所述在所述车辆的显示屏上显示所述第二图像之前，所述方法还包括：
对所述第二图像进行图像增强，得到第三图像；
所述在所述车辆的显示屏上显示所述第二图像，包括：
在所述车辆的显示屏上显示所述第三图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
7.根据权利要求1至权利要求6中任一项所述的方法，其特征在于，所述显示屏集成于所述车辆的前挡风玻璃上。
8.一种眩光处理装置，应用于车辆，其特征在于，包括：
采集模块，用于采集所述车辆行驶方向前方的第一图像；
确定模块，用于根据所述第一图像确定眩光强度，其中，检测第一图像中的眩光区域，根据眩光区域的大小确定眩光强度，眩光区域和眩光强度正相关，其中，将第一图像输入至预先训练的眩光检测网络模型，以检测第一图像中的眩光区域；
眩光消除模块，用于在所述眩光强度大于预设值的情况下，对所述第一图像进行眩光消除，得到第二图像；
识别模块，用于在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行障碍物识别并标识，得到第四图像；
显示模块，用于在所述车辆的显示屏上显示所述第二图像，其中，在所述车辆的显示屏上显示所述第四图像。
9.根据权利要求8所述的装置，其特征在于，所述眩光消除模块具体用于：
在所述眩光强度大于预设值的情况下，获取第一时间段内采集的至少一帧图像；其中，所述第一时间段为根据采集所述第一图像的时刻所确定的时间段；
分别识别所述至少一帧图像中的每帧图像中，对应于所述第一图像的眩光区域的第一显示区域；
利用所述至少一帧图像中的第一显示区域的图像数据，填充所述第一图像的眩光区域，得到所述第二图像。
10.根据权利要求9所述的装置，其特征在于，所述车辆设置有至少两个图像采集模块，所述至少两个图像采集模块的拍摄视野存在交叠，所述第一图像和所述至少一帧图像为所述至少两个图像采集模块同时采集的图像。
11.根据权利要求8所述的装置，其特征在于，所述装置还包括：
图像处理模块，用于所述在所述车辆的显示屏上显示所述第二图像之前，对所述第二图像进行图像增强，得到第三图像；
所述显示模块具体用于：
在所述车辆的显示屏上显示所述第三图像。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
控制模块，用于根据所述眩光强度控制所述车辆的前挡风玻璃的透明度。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
检测模块，用于在所述眩光强度大于预设值的情况下，若识别到所述车辆前方存在障碍物，则检测所述车辆和所述障碍物的距离；
输出模块，用于在所述车辆与所述障碍物的距离小于预设距离的情况下，输出告警信息。
14.根据权利要求8至权利要求13中任一项所述的装置，其特征在于，所述显示屏集成于所述车辆的前挡风玻璃上。
15.一种眩光处理装置，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至权利要求7中任一项所述的眩光处理方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至权利要求7中任一项所述的眩光处理方法的步骤。
17.一种车辆，其特征在于，包括权利要求8至权利要求14中任一项所述的眩光处理装置，或者包括权利要求15所述的眩光处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188607.XA CN110135235B (zh) | 2019-03-13 | 2019-03-13 | 一种眩光处理方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910188607.XA CN110135235B (zh) | 2019-03-13 | 2019-03-13 | 一种眩光处理方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110135235A CN110135235A (zh) | 2019-08-16 |
| CN110135235B true CN110135235B (zh) | 2022-04-19 |
Family
ID=67568745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910188607.XA Active CN110135235B (zh) | 2019-03-13 | 2019-03-13 | 一种眩光处理方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135235B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113507558B (zh) * | 2020-03-24 | 2023-04-07 | 华为技术有限公司 | 去除图像眩光的方法、装置、终端设备和存储介质 |
| CN116324827A (zh) * | 2020-09-15 | 2023-06-23 | 惠普发展公司，有限责任合伙企业 | 图像中的眩光减少 |
| CN114666488A (zh) * | 2020-12-23 | 2022-06-24 | 京东方科技集团股份有限公司 | 一种遮光组件的调光方法及其装置、遮光组件、车辆 |
| CN113726983B (zh) * | 2021-07-12 | 2022-07-12 | 北京邮电大学 | 一种基于时间，定位，镜头角度，入射光强和色温的太阳光眩光抑制的方法和装置 |
| CN113665485B (zh) * | 2021-08-30 | 2023-12-26 | 东风汽车集团股份有限公司 | 汽车前挡风玻璃防眩光系统及控制方法 |
| CN114266710A (zh) * | 2021-12-17 | 2022-04-01 | 北京的卢深视科技有限公司 | 眩光去除方法、电子设备和计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7651220B1 (en) * | 2005-11-07 | 2010-01-26 | Ram Pattikonda | Selective system for blocking glare in a specific location of a user's field of vision |
| CN104065851A (zh) * | 2014-06-27 | 2014-09-24 | 杭州度康科技有限公司 | 一种用于电子助视器的led抗眩光照明装置和方法 |
| CN104299188A (zh) * | 2013-07-18 | 2015-01-21 | 深圳富泰宏精密工业有限公司 | 图像修正方法及系统 |
| CN104933241A (zh) * | 2015-06-11 | 2015-09-23 | 北京交通大学 | 一种列车驾驶界面照明的不舒适眩光评价方法 |
| CN106504220A (zh) * | 2016-08-19 | 2017-03-15 | 华为机器有限公司 | 一种图像处理方法及装置 |
| CN107205125A (zh) * | 2017-06-30 | 2017-09-26 | 广东欧珀移动通信有限公司 | 一种图像处理方法、装置、终端及计算机可读存储介质 |
| CN108394257A (zh) * | 2017-02-11 | 2018-08-14 | 丁天皓 | 一种用于汽车的防车灯眩光装置和方法 |
| CN109064426A (zh) * | 2018-07-26 | 2018-12-21 | 电子科技大学 | 一种用于抑制低照度图像中眩光并增强图像的方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004007521A1 (de) * | 2003-08-04 | 2005-02-24 | Robert Bosch Gmbh | Blendschutzsystem für ein Fahrzeug |
| WO2009035702A1 (en) * | 2007-09-14 | 2009-03-19 | Cypress Semiconductor Corporation | Digital image capture device and method |
| US8730356B2 (en) * | 2011-03-07 | 2014-05-20 | Sony Corporation | System and method for automatic flash removal from images |
| CN102163328B (zh) * | 2011-05-06 | 2012-12-19 | 连云港杰瑞电子有限公司 | 用于交通视频图像中眩光的检测和消除方法 |
| CN103310418B (zh) * | 2013-06-18 | 2016-05-18 | 奇瑞汽车股份有限公司 | 夜视图像增强与眩光抑制的图像处理方法和装置 |
| US9262690B2 (en) * | 2013-08-27 | 2016-02-16 | Htc Corporation | Method and device for detecting glare pixels of image |
| CN104977739B (zh) * | 2015-07-17 | 2018-09-18 | 京东方科技集团股份有限公司 | 一种显示控制方法及显示控制装置、显示系统 |
| CN105205798B (zh) * | 2015-10-19 | 2019-01-29 | 北京经纬恒润科技有限公司 | 一种图像处理方法及系统 |
| CN108124122A (zh) * | 2016-11-29 | 2018-06-05 | 法乐第(北京)网络科技有限公司 | 影像处理方法、装置及车辆 |
| US10377212B2 (en) * | 2017-08-11 | 2019-08-13 | The Boeing Company | Dynamic anti-glare system for a windshield of a vehicle |
| CN108515909B (zh) * | 2018-04-04 | 2021-04-20 | 京东方科技集团股份有限公司 | 一种汽车抬头显示系统及其障碍物提示方法 |
| CN109166131B (zh) * | 2018-09-29 | 2021-06-29 | 西安工业大学 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
-
2019
- 2019-03-13 CN CN201910188607.XA patent/CN110135235B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7651220B1 (en) * | 2005-11-07 | 2010-01-26 | Ram Pattikonda | Selective system for blocking glare in a specific location of a user's field of vision |
| CN104299188A (zh) * | 2013-07-18 | 2015-01-21 | 深圳富泰宏精密工业有限公司 | 图像修正方法及系统 |
| CN104065851A (zh) * | 2014-06-27 | 2014-09-24 | 杭州度康科技有限公司 | 一种用于电子助视器的led抗眩光照明装置和方法 |
| CN104933241A (zh) * | 2015-06-11 | 2015-09-23 | 北京交通大学 | 一种列车驾驶界面照明的不舒适眩光评价方法 |
| CN106504220A (zh) * | 2016-08-19 | 2017-03-15 | 华为机器有限公司 | 一种图像处理方法及装置 |
| CN108394257A (zh) * | 2017-02-11 | 2018-08-14 | 丁天皓 | 一种用于汽车的防车灯眩光装置和方法 |
| CN107205125A (zh) * | 2017-06-30 | 2017-09-26 | 广东欧珀移动通信有限公司 | 一种图像处理方法、装置、终端及计算机可读存储介质 |
| CN109064426A (zh) * | 2018-07-26 | 2018-12-21 | 电子科技大学 | 一种用于抑制低照度图像中眩光并增强图像的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Detection of Glare in Night Photography;Mandakinee Singh 等;《2016 23rd International Conference on Pattern Recognition (ICPR)》;20161208;第1-6页 * |
| 道路缺陷检测识别算法研究;王万里;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20160615(第06期);第C034-81页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110135235A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135235B (zh) | 一种眩光处理方法、装置及车辆 | |
| CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
| US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
| CN105261020B (zh) | 一种快速车道线检测方法 | |
| JP3760068B2 (ja) | 画像認識装置 | |
| EP2463806A1 (en) | Vehicle detection device and vehicle detection method | |
| Negru et al. | Image based fog detection and visibility estimation for driving assistance systems | |
| CN110415544B (zh) | 一种灾害天气预警方法及汽车ar-hud系统 | |
| EP2851841A2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US9965690B2 (en) | On-vehicle control device | |
| KR102021152B1 (ko) | 원적외선 카메라 기반 야간 보행자 인식 방법 | |
| US11532233B2 (en) | Vehicle vision system with cross traffic detection | |
| CN110889351A (zh) | 视频检测方法、装置、终端设备及可读存储介质 | |
| US10997451B2 (en) | Method and apparatus for license plate recognition using multiple fields of view | |
| CN107909007B (zh) | 车道线检测方法及装置 | |
| US8269616B2 (en) | Method and system for detecting gaps between objects | |
| CN107633703A (zh) | 一种行车记录仪及其前向防撞预警方法 | |
| CN107133587B (zh) | 障碍物距离判定图像生成方法与装置 | |
| CN108263387A (zh) | 用于在车辆中生成车道偏离预警的方法、相关系统 | |
| KR102521656B1 (ko) | 객체를 인식하는 방법 및 장치 | |
| KR101236223B1 (ko) | 차선 검출 방법 | |
| Miclea et al. | Visibility detection in foggy environment | |
| JP4813304B2 (ja) | 車両周辺監視装置 | |
| TW201420398A (zh) | 行車安全監控系統及方法 | |
| CN108162866A (zh) | 一种基于流媒体外后视镜系统的车道识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |