CN106161795A - 基于手机麦克风的键盘输入感知方法 - Google Patents
基于手机麦克风的键盘输入感知方法 Download PDFInfo
- Publication number
- CN106161795A CN106161795A CN201610569290.0A CN201610569290A CN106161795A CN 106161795 A CN106161795 A CN 106161795A CN 201610569290 A CN201610569290 A CN 201610569290A CN 106161795 A CN106161795 A CN 106161795A
- Authority
- CN
- China
- Prior art keywords
- button
- word
- keyboard
- algorithm
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000005236 sound signal Effects 0.000 claims abstract description 14
- 238000012706 support-vector machine Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000005314 correlation function Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000008447 perception Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
本发明公开了一种基于手机麦克风的键盘输入感知方法,用于解决现有基于手机麦克风的键盘输入感知方法实用性差的技术问题。技术方案采用手机麦克风对键盘中的按键音频进行采集,对采集到的音频信号进行滤波处理,利用双门限算法对单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,对于单词序列按键则对单词中的两两按键间的push‑release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。实用性强。
Description
技术领域
本发明属于传感器数据采集与分析领域,特别涉及一种基于手机麦克风的键盘输入感知方法。
背景技术
随着感知技术的高速发展与智能手机的不断改进与普及,基于手机的感知系统层出不穷。一部智能手机上,集成了包括加速度传感器、陀螺仪、重力计、气压计等十几种传感器。这些种类繁多,性能优越的传感器,可以拥有很高的灵敏度和分辨率。这使得智能手机已经不单单可以作为一种沟通工具,其日益强大的计算能力、通信能力、与感知能力使其在日常生活中可以扮演更加重要的角色,因此智能手机外加一些简单的外在设备或工具就能够实现更为强大的功能,在2014年MobiSys中发表的《Ubiquitous keyboard for smallmobile devices:harnessing multipath fading for fine-grained keystrokelocalization》文章利用敲击同一桌面不同位置定义为不同的按键,也就是利用双麦克风定位来对不同位置的敲击进行定位,这将给用户带来极大的便利与用户体验。再根据美兰德最新结果显示:2016年全球智能手机用户达22亿,其中中国智能手机用户达6.24亿。在中国,城市居民每天使用手机的时间约4.5小时,而10.5%的受访者每日使用手机时间更是超过了10小时。手机已经成为了生活必需品,更是每个人出行必备的随身物品之一,手机无时无刻感知着我们的行为,利用键盘感知的结果,可对用户提供更加具有上下文环境的修改化服务,以及对用户当前是的行为进行识别与提供一种新型的人机交互的体验。
发明内容
为了克服现有基于手机麦克风的键盘输入感知方法实用性差的不足,本发明提供一种基于手机麦克风的键盘输入感知方法。该方法使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行录制,并记下相应的真实值。对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,便提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,得到排序好的候选单词集,实用性强。
本发明解决其技术问题所采用的技术方案:一种基于手机麦克风的键盘输入感知方法,其特点是包括以下步骤:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号。
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。
假设维纳滤波器的输入信号是s(t),噪声为n(t)。输出信号为x(t),通过滤波器g(t)使用卷积运算得到x(t)=g(t)*(s(t)+n(t)),其中,输出信号x(t)与输入信号s(t)一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小。
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决。每个按键信号被划分为push-release两个阶段。
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。提取出按键音片段后利用频域分析法,得知26个字母按键音的频谱都集中分布在0~8Khz的范围内。因此,首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,得到400个特征值。
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。通过支持向量机,取10折交叉验证,即训练用于单个按键的识别模型计算预测的精度来描述模型的效果。
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵。然后利用求平均的方式合成两个矩阵为一个矩阵。然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集。一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束。根据多个约束组可找到多组候选单词,排序后得到最终键盘输入的单词。
本发明的有益效果是:该方法使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行录制,并记下相应的真实值。对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,便提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,得到排序好的候选单词集,实用性强。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于手机麦克风的键盘输入感知方法的流程图。
图2是本发明方法中所用键盘按键信号被划分为push-release两个阶段的示意图。
具体实施方式
参照图1-2。本发明基于手机麦克风的键盘输入感知方法具体步骤如下:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号。
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。
假设维纳滤波器的输入信号是s(t),噪声为n(t)。输出信号为x(t),通过滤波器g(t)使用下面的卷积运算得到x(t)=g(t)*(s(t)+n(t))其中为使输出信号x(t)与输入信号s(t)最为一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小。
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决。每个按键信号被划分为push-release两个阶段。
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。提取出按键音片段后利用频域分析法,可知26个字母按键音的频谱都集中分布在0~8Khz的范围内。因此,我们首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,这样就得到了400个特征值。
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。通过支持向量机,取10折交叉验证,即可训练用于单个按键的识别模型计算预测的精度来描述模型的效果。
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵。然后利用求平均的方式合成两个矩阵为一个矩阵。然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既可得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集。一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束。根据多个约束组可找到多组候选单词,排序后既可得到最终键盘输入的单词。
Claims (1)
1.一种基于手机麦克风的键盘输入感知方法,其特征在于包括以下步骤:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号;
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰;
假设维纳滤波器的输入信号是s(t),噪声为n(t);输出信号为x(t),通过滤波器g(t)使用卷积运算得到x(t)=g(t)*(s(t)+n(t)),其中,输出信号x(t)与输入信号s(t)一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小;
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测;双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决;每个按键信号被划分为push-release两个阶段;
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征;对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵;提取出按键音片段后利用频域分析法,得知26个字母按键音的频谱都集中分布在0~8Khz的范围内;因此,首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,得到400个特征值;
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别;通过支持向量机,取10折交叉验证,即训练用于单个按键的识别模型计算预测的精度来描述模型的效果;
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵;每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵;然后利用求平均的方式合成两个矩阵为一个矩阵;然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集;一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束;根据多个约束组可找到多组候选单词,排序后得到最终键盘输入的单词。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610569290.0A CN106161795B (zh) | 2016-07-19 | 2016-07-19 | 基于手机麦克风的键盘输入感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610569290.0A CN106161795B (zh) | 2016-07-19 | 2016-07-19 | 基于手机麦克风的键盘输入感知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106161795A true CN106161795A (zh) | 2016-11-23 |
CN106161795B CN106161795B (zh) | 2019-03-29 |
Family
ID=58059741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610569290.0A Active CN106161795B (zh) | 2016-07-19 | 2016-07-19 | 基于手机麦克风的键盘输入感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106161795B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875937A (zh) * | 2017-01-13 | 2017-06-20 | 西北工业大学 | 基于键盘输入感知的活动识别方法 |
CN107133135A (zh) * | 2017-05-02 | 2017-09-05 | 电子科技大学 | 一种基于统计学与声音定位的键盘按键检测方法 |
CN110111812A (zh) * | 2019-04-15 | 2019-08-09 | 深圳大学 | 一种键盘击键内容的自适应识别方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030369A (zh) * | 2007-03-30 | 2007-09-05 | 清华大学 | 基于子词隐含马尔可夫模型的嵌入式语音识别方法 |
US20140207447A1 (en) * | 2013-01-24 | 2014-07-24 | Huawei Device Co., Ltd. | Voice identification method and apparatus |
CN105529034A (zh) * | 2015-12-23 | 2016-04-27 | 北京奇虎科技有限公司 | 一种基于混响的语音识别方法和装置 |
-
2016
- 2016-07-19 CN CN201610569290.0A patent/CN106161795B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101030369A (zh) * | 2007-03-30 | 2007-09-05 | 清华大学 | 基于子词隐含马尔可夫模型的嵌入式语音识别方法 |
US20140207447A1 (en) * | 2013-01-24 | 2014-07-24 | Huawei Device Co., Ltd. | Voice identification method and apparatus |
CN105529034A (zh) * | 2015-12-23 | 2016-04-27 | 北京奇虎科技有限公司 | 一种基于混响的语音识别方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875937A (zh) * | 2017-01-13 | 2017-06-20 | 西北工业大学 | 基于键盘输入感知的活动识别方法 |
CN106875937B (zh) * | 2017-01-13 | 2019-09-24 | 西北工业大学 | 基于键盘输入感知的活动识别方法 |
CN107133135A (zh) * | 2017-05-02 | 2017-09-05 | 电子科技大学 | 一种基于统计学与声音定位的键盘按键检测方法 |
CN107133135B (zh) * | 2017-05-02 | 2021-02-09 | 电子科技大学 | 一种基于统计学与声音定位的键盘按键检测方法 |
CN110111812A (zh) * | 2019-04-15 | 2019-08-09 | 深圳大学 | 一种键盘击键内容的自适应识别方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106161795B (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Wavoice: A noise-resistant multi-modal speech recognition system fusing mmwave and audio signals | |
CN103310789B (zh) | 一种基于改进的并行模型组合的声音事件识别方法 | |
Jung et al. | Human activity classification based on sound recognition and residual convolutional neural network | |
CN108735202A (zh) | 用于小占用资源关键词检索的卷积递归神经网络 | |
CN100349206C (zh) | 文字语音互转装置 | |
CN105744434A (zh) | 一种基于手势识别的智能音箱控制方法及系统 | |
CN109410976A (zh) | 双耳助听器中基于双耳声源定位和深度学习的语音增强方法 | |
CN105938399B (zh) | 基于声学的智能设备的文本输入识别方法 | |
CN106161795A (zh) | 基于手机麦克风的键盘输入感知方法 | |
CN106024010A (zh) | 一种基于共振峰曲线的语音信号动态特征提取方法 | |
CN103021405A (zh) | 基于music和调制谱滤波的语音信号动态特征提取方法 | |
Malkin et al. | Classifying user environment for mobile applications using linear autoencoding of ambient audio | |
CN108810838A (zh) | 基于智能手机室内背景声感知的房间级定位方法 | |
Ziaei et al. | Prof-Life-Log: Personal interaction analysis for naturalistic audio streams | |
CN105244042A (zh) | 一种基于有限状态自动机的语音情感交互装置与方法 | |
CN105225672A (zh) | 融合基频信息的双麦克风定向噪音抑制的系统及方法 | |
CN111341319A (zh) | 一种基于局部纹理特征的音频场景识别方法及系统 | |
CN109657739A (zh) | 一种基于高频声波短时傅里叶变换的手写字母识别方法 | |
CN102509548B (zh) | 一种基于多距离声传感器的音频索引方法 | |
CN106875937B (zh) | 基于键盘输入感知的活动识别方法 | |
CN107103913A (zh) | 一种基于功率谱Gabor特征序列递归模型的语音识别方法 | |
Lee et al. | Identifying multiuser activity with overlapping acoustic data for mobile decision making in smart home environments | |
CN112420079B (zh) | 语音端点检测方法和装置、存储介质及电子设备 | |
CN105609099A (zh) | 基于人耳听觉特性的语音识别预处理方法 | |
CN110136741B (zh) | 一种基于多尺度上下文的单通道语音增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |