CN104703090A - 一种基于人脸识别的自动调节拾音设备及自动调节方法 - Google Patents
一种基于人脸识别的自动调节拾音设备及自动调节方法 Download PDFInfo
- Publication number
- CN104703090A CN104703090A CN201310652995.5A CN201310652995A CN104703090A CN 104703090 A CN104703090 A CN 104703090A CN 201310652995 A CN201310652995 A CN 201310652995A CN 104703090 A CN104703090 A CN 104703090A
- Authority
- CN
- China
- Prior art keywords
- pick
- face
- image
- automatic adjustment
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸识别的自动调节拾音设备及自动调节方法,所述基于人脸识别的自动调节拾音设备,包括图像采集装置和由多支拾音单元组成的拾音器阵列,所述图像采集装置设置于拾音器的前方或后方或上方或下方,用于采集所述拾音器的使用者的图像;还包括控制电路,所述控制电路与所述拾音器阵列电连接,还与所述图像采集装置电连接。所述控制电路与所述多支拾音单元分别电连接。所述多支拾音单元为三支以上的拾音器单元。对拾音器的使用者的人脸方位进行辨别,再根据该方位对拾音器进行相关调整,从而避免了仅通过声音识别而控制调整拾音参数所带来的不便。调整精度更高,操作更为智能。
Description
技术领域
本发明涉及人工交互自动控制技术领域,尤其涉及一种基于人脸识别的自动调节拾音设备及自动调节方法。
背景技术
现有技术是通过多个麦克同时采集声音,通过声音到每支麦克的时间来判断说话人的位置,然后在调整拾音参数。并对这些数据进行相关的处理。
技术缺点就是声音的识别,只识别声音,有时其它人在边上说话会对整个系统进行干扰。可边上的人的声音并不是系统所想要采集的声音。
发明内容
本发明的目的在于提供一种基于人脸识别的自动调节拾音设备及自动调节方法,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种基于人脸识别的自动调节拾音设备,包括图像采集装置和由多支拾音单元组成的拾音器阵列,所述图像采集装置设置于拾音器的前方或后方或上方或下方,用于采集所述拾音器的使用者的图像;还包括控制电路,所述控制电路与所述拾音器阵列电连接,还与所述图像采集装置电连接。
优选的,所述控制电路与所述多支拾音器单元分别电连接。
优选的,所述多支拾音器单元为三支以上的拾音器单元。
优选的,所述控制电路包括:
数据处理器,用于处理所述图像采集装置获取的图像数据,从中得出人脸方位数据,并根据所述方位数据生成调节指令;
拾音器灵敏度获取模块,用于获取所述拾音器阵列中每个拾音器单元的当前灵敏度及当前拾音音量;
拾音器灵敏度调节模块用于根据所述调节指令,调节所述拾音器阵列中每个拾音器单元的灵敏度和/或拾音音量。
优选的,所述数据处理器,包括:
图像分析模块,用于分析所述图像采集装置获取得到的整个图像,从中寻找人脸图像,如果找到则提取所述人脸图像;
人脸分析模块,用于分析所述人脸图像,得出人脸尺寸,并计算得出所述人脸图像在所述整个图像中的人脸坐标位置;
距离分析模块,用于根据所述人脸尺寸,获得所述人脸距离所述拾音器阵列的距离;
调节指令生成模块,用于根据所述坐标位置、所述距离和所述每个拾音器单元的当前灵敏度及当前拾音音量,调节所述每个拾音器单元的灵敏度和/或拾音音量。
优选的,所述图像采集装置为摄像头,设置于所述拾音器阵列的中分线上。
所述的基于人脸识别的自动调节拾音设备的自动调节方法,包括以下步骤:
S1,图像采集装置以预设频率获取拾音设备使用者的整个图像;
S2,分析所述图像采集装置获取得到的整个图像,从中寻找人脸图像,如果没有找到则继续在下一张所述整个图像中寻找,如果找到则提取所述人脸图像;
S3,分析所述人脸图像,得出人脸尺寸,并计算得出所述人脸在所述整个图像中的人脸坐标位置XY;
S4,根据所述人脸尺寸获得所述人脸与所述拾音器阵列的距离;
S5,根据所述人脸坐标位置中的位置坐标XY值,获得人脸相对于所述拾音器阵列的相对角度;
S6根据所述相对角度的值和所述距离,调节所述拾音器阵列中的相应位置的拾音器单元的灵敏度和/或拾音音量。
优选的,S4具体为根据人脸面积的大小尺寸计算出实际人脸与所述拾音器阵列的距离,和/或利用测试方法取得人脸面积所对应的距离,和/或利用设置于所述图像采集装置旁边的距离传感器测得实际人脸与所述拾音器阵列的距离。
优选的,S6具体为,根据所述相对角度,得到与拾音器使用者直线距离最近的一组拾音器单元做为主拾音区单元,进而根据所述距离确定所述主拾音区单元的灵敏度,距离值越大灵敏度应越大,距离值越小灵敏度应越小,根据得出的应达到的灵敏度值和当前灵敏度值对所述主拾音区单元进行调整;对于非主拾音区单元,则直接降低其灵敏度或直接将其关闭。
优选的,根据所述图像采集装置获取拾音设备使用者的整个图像的预设频率,重复执行S2-S6,以实现实时自动调节。
本发明的有益效果是:
本发明的基于人脸识别的自动调节拾音设备及自动调节方法引入图像采集装置,对拾音器的使用者的人脸方位进行辨别,再根据该方位对拾音器进行相关调整,从而避免了仅通过声音识别而控制调整拾音参数所带来的不便。调整精度更高,操作更为智能。
附图说明
图1是本发明的结构示意图;
图2是图像采集装置采集到的整个图像的示意图;
图3是分析到人脸的整个图像的示意图;
图4是取得人脸尺寸后的整个图像的示意图;
图5是取得人脸尺寸及人脸坐标值后的整个图像的示意图;
图6是当使用者正对拾音器阵列时划分的主拾音区示意图;
图7是当使用者斜对拾音器阵列时划分的主拾音区示意图;
其中:01---本发明的使用者;02---拾音器阵列;03---图像采集装置;04---非主拾音区域;05---主拾音区域;10---图像采集装置采集到的整个图像;11---整个图像中的人脸图像;12---人脸图像中的人眼;14---整个图像中的人脸面积示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
如图1-7所示,本发明公开了一种基于人脸识别的自动调节拾音设备及自动调节方法,所述基于人脸识别的自动调节拾音设备,包括图像采集装置和由多支拾音单元组成的拾音器阵列,所述图像采集装置设置于拾音器的前方或后方或上方或下方,用于采集所述拾音器的使用者的图像;还包括控制电路,所述控制电路与所述拾音器阵列电连接,还与所述图像采集装置电连接。所述控制电路与所述多支拾音单元分别电连接。所述多支拾音单元为三支以上的拾音器单元。
所述控制电路包括:
数据处理器,用于处理所述图像采集装置获取的图像数据,从中得出人脸方位数据,并根据所述方位数据生成调节指令;
拾音器灵敏度获取模块,用于获取所述拾音器阵列中每个拾音器单元的当前灵敏度及当前拾音音量;
拾音器灵敏度调节模块用于根据所述调节指令,调节所述拾音器阵列中每个拾音器单元的灵敏度和/或拾音音量。
所述数据处理器,包括:
图像分析模块,用于分析所述图像采集装置获取得到的整个图像,从中寻找人脸图像,如果找到则提取所述人脸图像;
人脸分析模块,用于分析所述人脸图像,得出人脸尺寸,并计算得出所述眼睛在所述整个图像中的人脸坐标位置;
距离分析模块,用于根据所述人脸尺寸,获得所述人脸距离所述拾音器阵列的距离;
调节指令生成模块,用于根据所述坐标位置、所述距离和所述每个拾音器单元的当前灵敏度及当前拾音音量,调节所述每个拾音器单元的灵敏度和/或拾音音量。
所述图像采集装置为摄像头,设置于所述拾音器阵列的中分线上。
本发明的方法具体为:通过设置于所述拾音器阵列前方或后方或下方或上方的图像采集装置,按一定预设频率采集拾音器使用者的图像,即拾音器阵列正前方区域的图像;利用常用开源程序,在采集到的图像中找到对应的人脸。如图2所示:采集到的图像10利用开源程序进行快速分晰,寻找人脸11。如果找不到人脸11则放弃。等待下一次采集的图像。
如果在采集的图像中找到人脸,就利用常用开源程序,计算出人脸在整个图像10中的相对坐标位置信息13的XY,如图3所示。
根据人脸11的尺寸,获得人脸距离拾音器阵列的大概距离。
如图4所示,可根据人脸面积14,大概算出与屏幕的距离,或利用测试方法取得人脸面积对应的距离F。所谓测试方法,是指经过实际试验,得出的人脸面积在整个图像的面积中所占比值与人脸和拾音器阵列之间的实际距离的对应关系。
根据人脸的坐标值,获得人脸与拾音器阵列的相对角度
如图5所示:根据人脸的XY位置坐标值中的XY值。及之前获得的距离值F。获得应调整到的拾音参数。
根据获得的X坐标位置来确认拾音器阵列中的主拾音区域。
根据获得的距离值F,来确定主拾音区域中的拾音器单元的灵敏度大小。F值越大灵敏度越大,F值越小灵敏度越小。
如图6所示,当检测到人脸在拾音器阵列中间时,则将区域05中的拾音单元做为主拾音区单元,区域04中的拾音器单元做为非主拾音区域单元。
如图7所示,当检测到人脸在拾音器阵列一侧时,则将区域05中的拾音单元做为主拾音区单元,区域04中的拾音器单元做为非主拾音区单元。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明的基于人脸识别的自动调节拾音设备及自动调节方法引入图像采集装置,对拾音器的使用者的人脸方位进行辨别,再根据该方位对拾音器进行相关调整,从而避免了仅通过声音识别而控制调整拾音参数所带来的不便。调整精度更高,操作更为智能。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (10)
1.一种基于人脸识别的自动调节拾音设备,其特征在于,包括图像采集装置和由多支拾音单元组成的拾音器阵列,所述图像采集装置设置于拾音器的前方或后方或上方或下方,用于采集所述拾音器的使用者的图像;还包括控制电路,所述控制电路与所述拾音器阵列电连接,还与所述图像采集装置电连接。
2.根据权利要求1所述的基于人脸识别的自动调节拾音设备,其特征在于,所述控制电路与所述多支拾音器单元分别电连接。
3.根据权利要求1所述的基于人脸识别的自动调节拾音设备,其特征在于,所述多支拾音器单元为三支以上的拾音器单元。
4.根据权利要求1所述的基于人脸识别的自动调节拾音设备,其特征在于,所述控制电路包括:
数据处理器,用于处理所述图像采集装置获取的图像数据,从中得出人脸方位数据,并根据所述方位数据生成调节指令;
拾音器灵敏度获取模块,用于获取所述拾音器阵列中每个拾音器单元的当前灵敏度及当前拾音音量;
拾音器灵敏度调节模块用于根据所述调节指令,调节所述拾音器阵列中每个拾音器单元的灵敏度和/或拾音音量。
5.根据权利要求4所述的基于人脸识别的自动调节拾音设备,其特征在于,所述数据处理器,包括:
图像分析模块,用于分析所述图像采集装置获取得到的整个图像,从中寻找人脸图像,如果找到则提取所述人脸图像;
人脸分析模块,用于分析所述人脸图像,得出人脸尺寸,并计算得出所述人脸图像在所述整个图像中的人脸坐标位置;
距离分析模块,用于根据所述人脸尺寸,获得所述人脸距离所述拾音器阵列的距离;
调节指令生成模块,用于根据所述坐标位置、所述距离和所述每个拾音器单元的当前灵敏度及当前拾音音量,调节所述每个拾音器单元的灵敏度和/或拾音音量。
6.根据权利要求1-5任一所述的基于人脸识别的自动调节拾音设备,其特征在于,所述图像采集装置为摄像头,设置于所述拾音器阵列的中分线上。
7.权利要求1-6任一所述的基于人脸识别的自动调节拾音设备的自动调节方法,其特征在于,包括以下步骤:
S1,图像采集装置以预设频率获取拾音设备使用者的整个图像;
S2,分析所述图像采集装置获取得到的整个图像,从中寻找人脸图像,如果没有找到则继续在下一张所述整个图像中寻找,如果找到则提取所述人脸图像;
S3,分析所述人脸图像,得出人脸尺寸,并计算得出所述人脸在所述整个图像中的人脸坐标位置XY;
S4,根据所述人脸尺寸获得所述人脸与所述拾音器阵列的距离;
S5,根据所述人脸坐标位置中的位置坐标XY值,获得人脸相对于所述拾音器阵列的相对角度;
S6根据所述相对角度的值和所述距离,调节所述拾音器阵列中的相应位置的拾音器单元的灵敏度和/或拾音音量。
8.根据权利要求7所述的自动调节方法,其特征在于,S4具体为根据人脸面积的大小尺寸计算出实际人脸与所述拾音器阵列的距离,和/或利用测试方法取得人脸面积所对应的距离,和/或利用设置于所述图像采集装置旁边的距离传感器测得实际人脸与所述拾音器阵列的距离。
9.根据权利要求7所述的自动调节方法,其特征在于,S6具体为,根据所述相对角度,得到与拾音器使用者直线距离最近的一组拾音器单元做为主拾音区单元,进而根据所述距离确定所述主拾音区单元的灵敏度,距离值越大灵敏度应越大,距离值越小灵敏度应越小,根据得出的应达到的灵敏度值和当前灵敏度值对所述主拾音区单元进行调整;对于非主拾音区单元,则直接降低其灵敏度或直接将其关闭。
10.根据权利要求7-9任一所述的自动调节方法,其特征在于,根据所述图像采集装置获取拾音设备使用者的整个图像的预设频率,重复执行S2-S6,以实现实时自动调节。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310652995.5A CN104703090B (zh) | 2013-12-05 | 2013-12-05 | 一种基于人脸识别的自动调节拾音设备及自动调节方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310652995.5A CN104703090B (zh) | 2013-12-05 | 2013-12-05 | 一种基于人脸识别的自动调节拾音设备及自动调节方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104703090A true CN104703090A (zh) | 2015-06-10 |
CN104703090B CN104703090B (zh) | 2018-03-20 |
Family
ID=53349788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310652995.5A Active CN104703090B (zh) | 2013-12-05 | 2013-12-05 | 一种基于人脸识别的自动调节拾音设备及自动调节方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104703090B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163240A (zh) * | 2015-09-06 | 2015-12-16 | 珠海全志科技股份有限公司 | 播放装置及音效调整方法 |
CN105430501A (zh) * | 2015-12-03 | 2016-03-23 | 青岛海信电器股份有限公司 | 一种音量调节方法和系统 |
CN106878877A (zh) * | 2017-03-23 | 2017-06-20 | 南京邮电大学 | Vr体验场景下为用户提供环绕立体声的方法及系统 |
CN107491101A (zh) * | 2017-09-14 | 2017-12-19 | 歌尔科技有限公司 | 一种麦克风阵列拾音角度的调节方法、装置及电子设备 |
CN107801125A (zh) * | 2017-12-04 | 2018-03-13 | 深圳市易探科技有限公司 | 一种具有微波雷达感应的智能音箱控制系统 |
CN107918726A (zh) * | 2017-10-18 | 2018-04-17 | 深圳市汉普电子技术开发有限公司 | 距离感应方法、设备及存储介质 |
CN107968974A (zh) * | 2017-12-07 | 2018-04-27 | 北京小米移动软件有限公司 | 麦克风控制方法、系统、麦克风及存储介质 |
CN108170272A (zh) * | 2017-12-28 | 2018-06-15 | 中国联合网络通信集团有限公司 | 一种智能话筒控制方法及装置 |
CN108509856A (zh) * | 2018-03-06 | 2018-09-07 | 深圳市沃特沃德股份有限公司 | 音频调整方法、装置和音响设备 |
CN109640224A (zh) * | 2018-12-26 | 2019-04-16 | 北京猎户星空科技有限公司 | 一种拾音方法及装置 |
CN110660102A (zh) * | 2019-06-17 | 2020-01-07 | 腾讯科技(深圳)有限公司 | 基于人工智能的说话人识别方法及装置、系统 |
CN113099158A (zh) * | 2021-03-18 | 2021-07-09 | 广州市奥威亚电子科技有限公司 | 拍摄现场的拾音装置控制方法、装置、设备及存储介质 |
WO2023040547A1 (zh) * | 2021-09-16 | 2023-03-23 | Oppo广东移动通信有限公司 | 音量调节方法及装置、终端及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030323A (zh) * | 2007-04-23 | 2007-09-05 | 凌子龙 | 车辆违章鸣笛自动取证路口机装置 |
US20090074202A1 (en) * | 2007-09-17 | 2009-03-19 | Chi Mei Communication Systems, Inc. | System and method for locating sound sources |
CN201216024Y (zh) * | 2008-03-26 | 2009-04-01 | 上海华平信息技术股份有限公司 | 一种带有主席功能的麦克风组装置 |
CN102045618A (zh) * | 2009-10-19 | 2011-05-04 | 联想(北京)有限公司 | 自动调整的麦克风阵列、方法和携带麦克风阵列的装置 |
CN102223594A (zh) * | 2010-04-19 | 2011-10-19 | 鸿富锦精密工业(深圳)有限公司 | 麦克风控制装置及方法 |
-
2013
- 2013-12-05 CN CN201310652995.5A patent/CN104703090B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030323A (zh) * | 2007-04-23 | 2007-09-05 | 凌子龙 | 车辆违章鸣笛自动取证路口机装置 |
US20090074202A1 (en) * | 2007-09-17 | 2009-03-19 | Chi Mei Communication Systems, Inc. | System and method for locating sound sources |
CN201216024Y (zh) * | 2008-03-26 | 2009-04-01 | 上海华平信息技术股份有限公司 | 一种带有主席功能的麦克风组装置 |
CN102045618A (zh) * | 2009-10-19 | 2011-05-04 | 联想(北京)有限公司 | 自动调整的麦克风阵列、方法和携带麦克风阵列的装置 |
CN102223594A (zh) * | 2010-04-19 | 2011-10-19 | 鸿富锦精密工业(深圳)有限公司 | 麦克风控制装置及方法 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105163240A (zh) * | 2015-09-06 | 2015-12-16 | 珠海全志科技股份有限公司 | 播放装置及音效调整方法 |
CN105430501A (zh) * | 2015-12-03 | 2016-03-23 | 青岛海信电器股份有限公司 | 一种音量调节方法和系统 |
CN106878877A (zh) * | 2017-03-23 | 2017-06-20 | 南京邮电大学 | Vr体验场景下为用户提供环绕立体声的方法及系统 |
CN107491101A (zh) * | 2017-09-14 | 2017-12-19 | 歌尔科技有限公司 | 一种麦克风阵列拾音角度的调节方法、装置及电子设备 |
CN107918726A (zh) * | 2017-10-18 | 2018-04-17 | 深圳市汉普电子技术开发有限公司 | 距离感应方法、设备及存储介质 |
CN107801125A (zh) * | 2017-12-04 | 2018-03-13 | 深圳市易探科技有限公司 | 一种具有微波雷达感应的智能音箱控制系统 |
CN107968974A (zh) * | 2017-12-07 | 2018-04-27 | 北京小米移动软件有限公司 | 麦克风控制方法、系统、麦克风及存储介质 |
CN108170272A (zh) * | 2017-12-28 | 2018-06-15 | 中国联合网络通信集团有限公司 | 一种智能话筒控制方法及装置 |
CN108509856A (zh) * | 2018-03-06 | 2018-09-07 | 深圳市沃特沃德股份有限公司 | 音频调整方法、装置和音响设备 |
CN109640224A (zh) * | 2018-12-26 | 2019-04-16 | 北京猎户星空科技有限公司 | 一种拾音方法及装置 |
CN110660102A (zh) * | 2019-06-17 | 2020-01-07 | 腾讯科技(深圳)有限公司 | 基于人工智能的说话人识别方法及装置、系统 |
CN113099158A (zh) * | 2021-03-18 | 2021-07-09 | 广州市奥威亚电子科技有限公司 | 拍摄现场的拾音装置控制方法、装置、设备及存储介质 |
CN113099158B (zh) * | 2021-03-18 | 2024-04-26 | 广州市奥威亚电子科技有限公司 | 拍摄现场的拾音装置控制方法、装置、设备及存储介质 |
WO2023040547A1 (zh) * | 2021-09-16 | 2023-03-23 | Oppo广东移动通信有限公司 | 音量调节方法及装置、终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104703090B (zh) | 2018-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104703090A (zh) | 一种基于人脸识别的自动调节拾音设备及自动调节方法 | |
CN105116994B (zh) | 基于人工智能的智能机器人追踪方法和追踪装置 | |
US10043064B2 (en) | Method and apparatus of detecting object using event-based sensor | |
CN203851275U (zh) | 一种基于人脸识别的自动调节拾音设备 | |
CN103475976B (zh) | 电子设备定向音频视频采集 | |
EP3088910A1 (en) | Method and system for tracking moving trajectory based on human features | |
CN108831474A (zh) | 语音识别设备及其语音信号捕获方法、装置和存储介质 | |
US20090051787A1 (en) | Apparatus and method for photographing image using digital camera capable of providing preview images | |
CN103716594A (zh) | 基于运动目标检测的全景拼接联动方法及装置 | |
WO2017092224A1 (zh) | 基于rfid的手势识别方法及系统 | |
WO2016165107A1 (zh) | 一种采集指纹的方法、指纹采集器以及终端 | |
CN104850842A (zh) | 移动终端虹膜识别的人机交互方法 | |
CN105022999A (zh) | 一种人码伴随实时采集系统 | |
CN103279188A (zh) | 一种基于Kinect无接触性操作控制PPT的方法 | |
CN104269172A (zh) | 基于视频定位的语音控制方法和系统 | |
CN102967026A (zh) | 智能空调及其控制方法 | |
CN107801125A (zh) | 一种具有微波雷达感应的智能音箱控制系统 | |
WO2014173290A1 (zh) | 自动行走设备及其工作区域判断方法 | |
CN112084813B (zh) | 异常目标的检测方法、装置及存储介质 | |
US20140086551A1 (en) | Information processing apparatus and information processing method | |
CN107242964A (zh) | 基于深度学习的导盲系统及工作方法 | |
RU2012151309A (ru) | Устройство обработки изображений и способ управления им | |
CN113934307B (zh) | 一种根据手势和场景开启电子设备的方法 | |
CN104333709A (zh) | 对闪光灯进行控制的方法、装置及电子设备 | |
CN102867172A (zh) | 一种人眼定位方法、系统及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |