CN105721773A - 一种视频获取系统及方法 - Google Patents
一种视频获取系统及方法 Download PDFInfo
- Publication number
- CN105721773A CN105721773A CN201610066370.4A CN201610066370A CN105721773A CN 105721773 A CN105721773 A CN 105721773A CN 201610066370 A CN201610066370 A CN 201610066370A CN 105721773 A CN105721773 A CN 105721773A
- Authority
- CN
- China
- Prior art keywords
- parameter
- field picture
- photographing module
- module
- submodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明适用于高级驾驶辅助系统领域,提供了一种视频获取系统,其包括摄像模块及控制模块。摄像模块连续不断拍摄当前车辆周围环境中的物体。控制模块将摄像模块的摄像参数设置为一初始参数;控制摄像模块采用该初始参数进行摄像,得到初始图像;分析初始图像,得到初始图像的参数;根据初始图像的参数,结合一经验数据表格,将摄像模块的摄像参数调整为第一参数;控制摄像模块采用第一参数进行摄像,得到第一帧图像;将第一帧图像传递给一个高级驾驶辅助系统的综合分析模块进行视频识别及辅助驾驶的分析计算;及将初始参数的数值设置为第一参数的数值,重新开始新一轮的循环。本发明还提供一种视频获取方法。
Description
技术领域
本发明属于高级驾驶辅助系统领域,尤其涉及一种视频获取系统及方法。
背景技术
高级驾驶辅助系统(AdvancedDriverAssistanceSystems,ADAS)是目前汽车上应用广泛的驾驶辅助系统,其主要功能包括车道偏离预警、前车距离预警、碰撞预警,行人预警,自适应灯光控制等等。目前绝大部分ADAS都是基于视觉识别技术,通过对摄像头采集的视频内容进行实时分析,从而识别出可能存在的危险。
由于ADAS搭载在汽车上,在汽车的行驶过程中周围环境亮度有时会发生迅速变化(比如进/出隧道时,面向阳光直射时,进出地下车库时),如果不对摄像头的摄像参数进行调整,则摄像头采集到的图像质量将满足不了识别的要求,这将导致ADAS失灵或误判。
发明内容
本发明所要解决的技术问题在于提供一种视频获取系统及方法,旨在能够根据周围环境亮度实时调整摄像模块的摄像参数,以获取高质量的图像。
本发明是这样实现的,一种视频获取系统,其包括摄像模块及控制模块。该摄像模块用于连续不断地拍摄一个当前车辆的周围环境中的物体。该控制模块用于首先将该摄像模块的摄像参数设置为一个初始参数;控制该摄像模块采用该初始参数进行摄像,得到一个初始图像;分析该初始图像,以得到该初始图像的参数;根据该初始图像的参数,结合一个经验数据表格,将该摄像模块的摄像参数调整为第一参数;控制该摄像模块采用该第一参数进行摄像,得到第一帧图像;将该第一帧图像传递给一个高级驾驶辅助系统的综合分析模块进行视频识别及辅助驾驶的分析计算。该控制模块还用于将摄像模块的该初始参数的数值设置为本轮循环中该第一参数的数值,然后重新开始新一轮的循环。
本发明还提供了一种视频获取方法,其包括如下步骤:将一个摄像模块的摄像参数设定为一个初始参数;控制该摄像模块采用该初始参数连续不断地拍摄一个当前车辆的周围环境中的物体,得到一个初始图像;分析该初始图像,以得到该初始图像的参数;根据该初始图像的参数,结合一个经验数据表格,将该摄像模块的摄像参数调整为第一参数;控制该摄像模块采用该第一参数拍摄该当前车辆的周围环境中的物体,得到第一帧图像;及将该第一帧图像传递给一高级驾驶辅助系统的综合分析模块进行视频识别及辅助驾驶的分析计算。
本发明与现有技术相比,有益效果在于:本发明的视频获取系统及方法,在该摄像模块所拍摄的相邻两帧图像之间的时间间隔内快速对摄像参数进行调整,能够根据周围环境亮度实时调整该摄像模块的摄像参数,从而获取高质量的图像,以更准确地进行高级驾驶辅助分析。
附图说明
图1是本发明实施例提供的视频获取系统的功能模块图。
图2及图3是本发明实施例提供的视频获取系统的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明所提供的一种视频获取系统100,其包括一个摄像模块10及一个控制模块20。该视频获取系统100应用于一个高级驾驶辅助系统。该高级驾驶辅助系统还包括一个综合分析模块200。
该摄像模块10用于连续不断地拍摄一个当前车辆的周围环境(包括前方、后方、左方及右方)中的物体。在本实施例中,该摄像模块10为一个摄像头,该摄像头的帧率为60帧/秒。
该控制模块20与该摄像模块10电连接,用于接收并分析该摄像模块10所采集的图像,并根据分析结果调整该摄像模块10的摄像参数。该控制模块20通过一个第一数据总线从该摄像模块10获取图像,并通过一个控制总线发出控制信号给该摄像模块10。在本实施例中,该控制模块20为一个微控制器(MicroControlUnit,MCU),该控制总线为一个内置集成电路(Inter-IntegratedCircuit,I2C)总线。
该控制模块20包括一个存储子模块21、一个参数调整子模块22、一个摄像控制子模块23、一个图像分析子模块24、一个循环控制子模块25及一个数据传输子模块26。
该存储子模块21内存储有一个经验数据表格(如图2所示),该经验数据表格显示了图像参数与调整后的摄像参数之间的对应关系。
该参数调整子模块22用于首先将该摄像模块10的摄像参数(比如曝光参数及增益参数)设置为一个初始参数;该摄像控制子模块23与该参数调整子模块22及该摄像模块10电连接,用于控制该摄像模块10采用该初始参数进行摄像,得到一个初始图像;该图像分析子模块24用于分析该初始图像,以得到该初始图像的参数(比如亮度和对比度)。
该参数调整子模块22还用于根据该初始图像的参数,结合该经验数据表格,将该摄像模块10的摄像参数调整为第一参数;该摄像控制子模块23还用于控制该摄像模块10采用该第一参数进行摄像,得到一个第一帧图像;该图像分析子模块24还用于分析该第一帧图像,以得到该第一帧图像的参数。
该参数调整子模块22还用于根据该第一帧图像的参数,结合该经验数据表格将该摄像模块10的曝光时间调高,从而将该摄像模块10的摄像参数调整为第二参数,使得该摄像模块10采用该第二参数所拍摄的图像过曝(即曝光过度);该摄像控制子模块23还用于控制该摄像模块10采用该第二参数进行摄像,得到一个第二帧图像;该图像分析子模块24还用于分析该第二帧图像,以得到该第二帧图像的参数。
该参数调整子模块22还用于根据该第二帧图像的参数,结合该经验数据表格将该摄像模块10的曝光时间调低,从而将该摄像模块10的摄像参数调整为第三参数,使得该摄像模块10采用该第三参数所拍摄的图像欠曝(即曝光不足);该摄像控制子模块23用于控制该摄像模块采10用该第三参数进行摄像,得到一个第三帧图像。
该循环控制子模块25与该参数调整子模块22、该摄像控制子模块23及该图像分析子模块24电连接,用于控制该参数调整子模块22、该摄像控制子模块23及该图像分析子模块24依序进行工作,并控制该参数调整子模块22将该摄像模块10的初始参数的数值设置为该第一参数的数值,然后重新开始新一轮的循环。
该数据传输子模块26与该摄像模块10、该图像分析子模块24及一个高级驾驶辅助系统的综合分析模块200电连接,用于通过第一数据总线接收来自该摄像模块10的该初始图像、该第一帧图像、该第二帧图像及该第三帧图像,并将该初始图像、该第一帧图像、该第二帧图像及该第三帧图像传递给该图像分析子模块24;同时还将该第一帧图像、该第二帧图像及该第三帧图像通过第二数据总线传递给该综合分析模块200。
该综合分析模块200与该控制模块20电连接,用于接收该第一帧图像、该第二帧图像及该第三帧图像,并根据该第一帧图像、该第二帧图像及该第三帧图像进行视频识别及辅助驾驶的分析计算。该综合分析模块200通过该第二数据总线从该控制模块20获取该第一帧图像、该第二帧图像及该第三帧图像。
如图2及图3所示,该视频获取方法包括如下步骤:
S1:将一摄像模块的摄像参数(比如曝光参数及增益参数)设定为初始参数。
S2:控制该摄像模块采用该初始参数拍摄一个当前车辆的周围环境中的物体,得到一个初始图像。
S3:分析该初始图像,以得到该初始图像的参数(比如亮度和对比度)。该初始图像不用于视频识别。
S4:根据该初始图像的参数,结合一个经验数据表格,将该摄像模块的摄像参数调整为第一参数。
S5:控制该摄像模块采用该第一参数拍摄该当前车辆的周围环境中的物体,得到第一帧图像。
S6:将该第一帧图像传递给一个高级驾驶辅助系统的综合分析模块进行视频识别及辅助驾驶的分析计算。
S7:分析该第一帧图像,以得到该第一帧图像的参数。
S8:根据该初始图像的参数及该第一帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调高,从而将该摄像模块的摄像参数调整为第二参数,使得该摄像模块采用该第二参数所拍摄的图像过曝(即曝光过度),便于突出物体轮廓,有助于后续的物体识别。
S9:控制该摄像模块采用该第二参数拍摄该当前车辆的周围环境中的物体,得到第二帧图像。
S10:将该第二帧图像传递给该综合分析模块进行视频识别及辅助驾驶的分析计算。
S11:分析该第二帧图像,以得到该第二帧图像的参数。
S12:根据该第二帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调低,从而将该摄像模块的摄像参数调整为第三参数,使得该摄像模块采用该第三参数所拍摄的图像欠曝(即曝光不足)。
S13:控制该摄像模块采用该第三参数拍摄该当前车辆的周围环境中的物体,得到第三帧图像。
S14:将该第三帧图像传递给该综合分析模块进行视频识别及辅助驾驶的分析计算。
S15:转入步骤S1,将该初始参数的数值修改为本轮循环中的第一参数的数值,并重新开始新一轮的循环。每一轮循环中的第一参数的数值都是根据当前周围环境亮度而变化的。
与现有技术相比较,本发明的视频获取系统及方法,在该摄像模块所拍摄的相邻两帧图像之间的时间间隔内快速对摄像参数进行调整,因此能够根据周围环境亮度实时调整该摄像模块的摄像参数,从而获取高质量的图像,以更准确地进行高级驾驶辅助分析。该发明只需要一帧时间即可获取到所需要的图像,当该摄像模块的帧率为60帧/秒时,实际耗时大约17ms左右,完全能够满足高级驾驶辅助系统的要求。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频获取系统,其包括一个摄像模块,其特征在于,该视频获取系统还包括一个控制模块,该摄像模块用于连续不断地拍摄一个当前车辆的周围环境中的物体;该控制模块用于首先将该摄像模块的摄像参数设置为一个初始参数;控制该摄像模块采用该初始参数进行摄像,得到一个初始图像;分析该初始图像,以得到该初始图像的参数;根据该初始图像的参数,结合一个经验数据表格,将该摄像模块的摄像参数调整为第一参数;控制该摄像模块采用该第一参数进行摄像,得到第一帧图像;将该第一帧图像传递给一个高级驾驶辅助系统的综合分析模块进行视频识别及辅助驾驶的分析计算;该控制模块还用于将该初始参数的数值设置为本轮循环中该第一参数的数值,然后重新开始新一轮的循环。
2.如权利要求1所述的视频获取系统,其特征在于,该经验数据表格显示了图像参数与调整后的摄像参数之间的对应关系。
3.如权利要求1所述的视频获取系统,其特征在于,该控制模块包括一个存储子模块、一个参数调整子模块、一个摄像控制子模块、一个图像分析子模块、一个循环控制子模块及一个数据传输子模块,该存储子模块用于存储该经验数据表格,该参数调整子模块用于首先将该摄像模块的摄像参数设置为该初始参数;该摄像控制子模块用于控制该摄像模块采用该初始参数进行摄像,得到该初始图像;该图像分析子模块用于分析该初始图像,以得到该初始图像的参数;该参数调整子模块用于根据该初始图像的参数,结合该经验数据表格,将该摄像模块的摄像参数调整为第一参数;该摄像控制子模块用于控制该摄像模块采用该第一参数进行摄像,得到第一帧图像;该数据传输子模块用于接收该初始图像及该第一帧图像并将该初始图像及该第一帧图像传递给该图像分析子模块,同时还将该第一帧图像传递给该综合分析模块;该循环控制子模块用于将该初始参数的数值设置为该第一参数的数值,然后重新开始新一轮的循环。
4.如权利要求3所述的视频获取系统,其特征在于,该参数调整子模块还用于根据该第一帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调高,从而将该摄像模块的摄像参数调整为第二参数,使得该摄像模块采用该第二参数所拍摄的图像过曝;该摄像控制子模块还用于控制该摄像模块采用该第二参数进行摄像,得到一个第二帧图像;该数据传输子模块还用于接收该第二帧图像并将该第二帧图像传递给该图像分析子模块,同时还将该第二帧图像传递给该综合分析模块进行视频识别及辅助驾驶的分析计算。
5.如权利要求4所述的视频获取系统,其特征在于,该图像分析子模块还用于分析该第二帧图像,以得到该第二帧图像的参数;该参数调整子模块还用于根据该第二帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调低,从而将该摄像模块的摄像参数调整为第三参数,使得该摄像模块采用该第三参数所拍摄的图像欠曝;该摄像控制子模块用于控制该摄像模块采用该第三参数进行摄像,得到一个第三帧图像;该数据传输子模块还用于接收该第三帧图像并将该第三帧图像传递给该图像分析子模块,同时还将该第三帧图像传递给该综合分析模块进行视频识别及辅助驾驶的分析计算。
6.如权利要求5所述的视频获取系统,其特征在于,该循环控制子模块还用于控制该参数调整子模块、该摄像控制子模块及该图像分析子模块依序进行工作。
7.一种视频获取方法,其包括如下步骤:将一个摄像模块的摄像参数设定为一个初始参数;控制该摄像模块采用该初始参数连续不断地拍摄一个当前车辆的周围环境中的物体,得到一个初始图像;分析该初始图像,以得到该初始图像的参数;根据该初始图像的参数,结合一个经验数据表格,将该摄像模块的摄像参数调整为第一参数;控制该摄像模块采用该第一参数拍摄该当前车辆的周围环境中的物体,得到第一帧图像;及利用该第一帧图像进行视频识别及辅助驾驶的分析计算。
8.如权利要求7所述的视频获取方法,其特征在于,在该步骤“利用该第一帧图像进行视频识别及辅助驾驶的分析计算”后还包括步骤“分析该第一帧图像,以得到该第一帧图像的参数;根据该初始图像的参数及该第一帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调高,从而将该摄像模块的摄像参数调整为第二参数;控制该摄像模块采用该第二参数拍摄该当前车辆的周围环境中的物体,得到第二帧图像;及利用该第二帧图像进行视频识别及辅助驾驶的分析计算”。
9.如权利要求8所述的视频获取方法,其特征在于,在该步骤“利用该第二帧图像进行视频识别及辅助驾驶的分析计算”后还包括步骤“分析该第二帧图像,以得到该第二帧图像的参数;根据该第二帧图像的参数,结合该经验数据表格将该摄像模块的曝光时间调低,从而将该摄像模块的摄像参数调整为第三参数;控制该摄像模块采用该第三参数拍摄该当前车辆的周围环境中的物体,得到第三帧图像;及利用该第三帧图像进行视频识别及辅助驾驶的分析计算”。
10.如权利要求9所述的视频获取方法,其特征在于,在该步骤“利用该第三帧图像进行视频识别及辅助驾驶的分析计算”后还包括步骤“转入该步骤‘将一个摄像模块的摄像参数设定为一个初始参数’,并将该初始参数的数值修改为本轮循环中的第一参数的数值,并重新开始新一轮的循环”。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610066370.4A CN105721773B (zh) | 2016-01-29 | 2016-01-29 | 一种视频获取系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610066370.4A CN105721773B (zh) | 2016-01-29 | 2016-01-29 | 一种视频获取系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105721773A true CN105721773A (zh) | 2016-06-29 |
CN105721773B CN105721773B (zh) | 2019-04-30 |
Family
ID=56155276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610066370.4A Active CN105721773B (zh) | 2016-01-29 | 2016-01-29 | 一种视频获取系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105721773B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108012078A (zh) * | 2017-11-28 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像亮度处理方法、装置、存储介质和电子设备 |
CN111866344A (zh) * | 2020-07-27 | 2020-10-30 | 上海福赛特智能科技有限公司 | 一种辅助视频流进行图像拼接的补光装置和方法 |
CN112770081A (zh) * | 2019-11-01 | 2021-05-07 | 杭州海康威视数字技术股份有限公司 | 监控设备的参数调整方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040218830A1 (en) * | 2003-04-29 | 2004-11-04 | Kang Sing Bing | System and process for generating high dynamic range video |
CN101119439A (zh) * | 2007-08-22 | 2008-02-06 | 东风汽车有限公司 | 车载摄像机拍摄清晰车道图像的自动控制方法 |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN104811614A (zh) * | 2014-01-23 | 2015-07-29 | 罗伯特·博世有限公司 | 尤其用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法 |
-
2016
- 2016-01-29 CN CN201610066370.4A patent/CN105721773B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040218830A1 (en) * | 2003-04-29 | 2004-11-04 | Kang Sing Bing | System and process for generating high dynamic range video |
CN101119439A (zh) * | 2007-08-22 | 2008-02-06 | 东风汽车有限公司 | 车载摄像机拍摄清晰车道图像的自动控制方法 |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN104811614A (zh) * | 2014-01-23 | 2015-07-29 | 罗伯特·博世有限公司 | 尤其用于车辆的摄像机系统以及用于求取时间脉冲信号源的图像信息的方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108012078A (zh) * | 2017-11-28 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像亮度处理方法、装置、存储介质和电子设备 |
CN112770081A (zh) * | 2019-11-01 | 2021-05-07 | 杭州海康威视数字技术股份有限公司 | 监控设备的参数调整方法、装置、电子设备及存储介质 |
CN111866344A (zh) * | 2020-07-27 | 2020-10-30 | 上海福赛特智能科技有限公司 | 一种辅助视频流进行图像拼接的补光装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105721773B (zh) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108513059B (zh) | 图像处理方法、设备以及自动驾驶车辆 | |
CN113271400B (zh) | 成像装置和电子设备 | |
CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
US10124799B2 (en) | Vehicle safety control apparatus and method using cameras | |
DE102018110419A1 (de) | Verwendung von nir-beleuchtungseinrichtungen zum verbessern der fahrzeugkameraleistung bei szenarien mit schwachem licht | |
US11877066B2 (en) | Adaptive illumination for a time-of-flight camera on a vehicle | |
CN110706282A (zh) | 全景系统自动标定方法、装置、可读存储介质及电子设备 | |
CN105721773A (zh) | 一种视频获取系统及方法 | |
WO2019085930A1 (zh) | 车辆中双摄像装置的控制方法和装置 | |
DE102009036844A1 (de) | Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung | |
CN107172352B (zh) | 对焦控制方法、装置、计算机可存储介质和移动终端 | |
US9214034B2 (en) | System, device and method for displaying a harmonized combined image | |
DE102014002134A1 (de) | Vorrichtung zur Erkennung einer Beleuchtungsumgebung eines Fahrzeugs und Steuerungsverfahren davon | |
EP3813348A1 (en) | Image capture | |
US20180278844A1 (en) | Photographing method and photographing device of unmanned aerial vehicle, unmanned aerial vehicle, and ground control device | |
CN113691776A (zh) | 一种车内摄像系统及补光方法 | |
CN111402610B (zh) | 一种识别红绿灯亮灯状态的方法、装置、设备及存储介质 | |
CN111491103B (zh) | 一种图像亮度的调节方法、监控设备及存储介质 | |
CN111376841B (zh) | 车道偏离系统的标定方法和装置、及存储介质 | |
RU2628916C2 (ru) | Способ и система управления стационарной камерой | |
CN107948620B (zh) | 基于高级驾驶辅助系统的双目摄像头调试方法 | |
CN112887593A (zh) | 图像获取方法及装置 | |
CN204104042U (zh) | 智能型交通安防拍摄装置及系统 | |
CN117079085B (zh) | 雨滴检测模型的训练方法及车辆控制方法、设备及介质 | |
KR102463585B1 (ko) | 차량용 블랙박스 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |