CN102279655B - 位移侦测装置及其位移侦测方法 - Google Patents

位移侦测装置及其位移侦测方法 Download PDF

Info

Publication number
CN102279655B
CN102279655B CN201010197060.9A CN201010197060A CN102279655B CN 102279655 B CN102279655 B CN 102279655B CN 201010197060 A CN201010197060 A CN 201010197060A CN 102279655 B CN102279655 B CN 102279655B
Authority
CN
China
Prior art keywords
image frame
characteristic index
threshold value
displacement detection
fixedly pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010197060.9A
Other languages
English (en)
Other versions
CN102279655A (zh
Inventor
陈俊玮
陈信嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN201010197060.9A priority Critical patent/CN102279655B/zh
Publication of CN102279655A publication Critical patent/CN102279655A/zh
Application granted granted Critical
Publication of CN102279655B publication Critical patent/CN102279655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种位移侦测方法,该方法包括下列步骤:撷取影像帧;计算该影像帧的特征指标;当该特征指标大于门槛值时,维持所述影像帧;当所述特征指标小于所述门槛值时,将固定图样加入至所述影像帧。本发明另提供一种位移侦测装置。本发明中,通过将固定图样加入至所撷取的影像帧中,以增加其特征变化,藉以增加位移侦测装置的工作表面容忍度及抗抖动能力。

Description

位移侦测装置及其位移侦测方法
技术领域
本发明涉及一种位移侦测装置,特别尤其涉及一种具有高工作表面容忍度以及位移侦测精确度的位移侦测装置及其位移侦测方法。
背景技术
现有的光学鼠标通常包括影像感测器和处理单元,影像感测器于不同取样时间撷取一工作表面的多个影像,处理单元比对所述多个影像之间的相关性(correlation),以计算光学鼠标相对工作表面的位移量。控制单元则根据光学鼠标所输出的位移量相对控制显示于显示器的光标的动作。
当光学鼠标操作于一临界表面(critical surface)时,由于影像感测器所撷取影像的特征变化过于细微(例如对比或灰阶值变化太低),处理单元难以根据影像之间的相关性求出光学鼠标相对于临界表面的正确位移量。因此,光学鼠标则无法于临界表面正确控制显示于显示器的光标的动作。此外,当光学鼠标静止不动时,光标会存在原地抖动(rest jiggle);当光学鼠标从工作表面被提起时,光标会存在提起抖动(lift jiggle)的情形。
目前可通过计算一特征指标来估测影像的特征变化或影像品质,藉以决定所撷取的影像是否适合用来计算位移量。当影像感测器所撷取的工作表面影像的特征指标小于一门槛值时,则表示光学鼠标无法于该工作表面正确操控光标的动作。然而,门槛值的选择会决定光学鼠标对工作表面的容忍度。当门槛值较高时,虽然可降低光标抖动的情形,但用以操作光学鼠标的工作表面必须存在较明显的特征变化,因而提高了可操作工作表面的限制;当门槛值较低时,虽然光学鼠标所能操作的工作表面限制较低,但光标抖动的情形较为明显。
有鉴于此,有必要提出一种能够同时增加光学鼠标的工作表面容忍度及降低光标原地抖动及提起抖动的位移侦测装置及其位移侦测方法。
发明内容
本发明的目的之一在于提出一种位移侦测装置及其位移侦测方法,通过加入固定图样以增加所撷取影像的特征指标。
本发明的另一目的在于提出一种位移侦测装置及其位移侦测方法,其具有较高的工作表面容忍度及抗抖动(jiggle suppression)能力。
本发明提出一种位移侦测方法,该方法包括下列步骤:撷取第一影像帧;计算该第一影像帧的第一特征指标;比较该第一特征指标与门槛值;以及当所述第一特征指标小于所述门槛值时,将固定图样加入至所述第一影像帧,以形成第二影像帧。
一种实施形式中,本发明的位移侦测方法还包括下列步骤:计算所述第二影像帧的第二特征指标;比较该第二特征指标与所述门槛值;以及当所述第二特征指标大于所述门槛值时,利用所述第二影像帧计算位移量。
另一种实施形式中,本发明的位移侦测方法还包括下列步骤:计算所述第二影像帧的第二特征指标;比较该第二特征指标与所述门槛值;当所述第二特征指标大于所述门槛值时,判定所述第二影像帧为可用影像帧;以及当所述第二特征指标小于所述门槛值,判定所述第二影像帧为不可用影像帧。
另一种实施形式中,所述第一影像帧为撷取工作表面的影像帧。本发明的位移侦测方法还包括下列步骤:计算所述第二影像帧的第二特征指标;比较该第二特征指标与所述门槛值;当所述第二特征指标大于所述门槛值时,判定所述工作表面为可用工作表面;以及当所述第二特征指标小于所述门槛值时,判定所述工作表面为不可用工作表面。
本发明另提出一种位移侦测装置,该装置包括影像感测器和处理单元。所述影像感测器用以撷取影像帧。所述处理单元计算所述影像帧的特征指标,并将该特征指标与门槛值进行比较,当所述特征指标小于所述门槛值时,将固定图样加入至所述影像帧。
一种实施形式中,本发明的位移侦测装置的处理单元还计算加入所述固定图样后的影像帧的第二特征指标,并根据该第二特征指标与所述门槛值的比较结果,判定所述影像帧是否为可用影像帧。
另一种实施形式中,本发明的位移侦测装置的处理单元还计算加入所述固定图样后的影像帧的第二特征指标;当该第二特征指标大于所述门槛值时,所述处理单元根据加入所述固定图样后的影像帧来计算位移量。
本发明另提出一种位移侦测方法,该方法包括下列步骤:撷取影像帧;计算该影像帧的特征指标;以及比较该特征指标与门槛值,以决定是否将固定图样加入至所述影像帧。
一种实施形式中,当所述特征指标大于门槛值时,维持所述影像帧;当所述特征指标小于所述门槛值时,将固定图样加入至所述影像帧。
本发明的位移侦测装置及其位移侦测方法中,所述固定图样可使该影像帧的部分区域的灰阶值偏移,优选为使影像帧的边缘区域的灰阶值偏移。
本发明的位移侦测装置及其位移侦测方法中,所述特征指标可为所述影像帧的灰阶值变化、亮度对比变化或其他用以表示影像品质的特征参数。
附图说明
图1显示了本发明一种实施例的位移侦测装置的方块示意图。
图2a显示了本发明实施例的固定图样的示意图。
图2b显示了图2a的固定图样中灰阶值分布的示意图。
图2c显示了图2a的固定图样中灰阶值分布的另一示意图。
图3显示了本发明一种实施例的位移侦测方法的流程图。
图4显示了本发明另一种实施例的位移侦测方法的流程图。
图5显示了本发明实施例的位移侦测方法中一种特征指标的示意图。
主要元件符号说明
1      位移侦测装置            11     影像感测器
111    模拟影像帧              12     模拟数字转换单元
121    数字影像帧              13     处理单元
131    位移量                  132    固定图样
14     传输单元                15     导光单元
16     光源                    8      主机
9      影像显示器              91     光标
U1、U2   上波峰                  D1、D2    下波峰
S11~S18 步骤                    S21~S29  步骤
具体实施方式
为了让本发明的上述和其他目的、特征、和优点能更明显,下文将配合所附图示,作详细说明如下。
此外,于本发明各图示中仅显示了部份构件并省略了与本发明说明不直接相关的构件。
请参照图1所示,其显示本发明一种实施例的位移侦测装置的方块示意图。位移侦测装置1侦测并传送一位移信息至主机(host)8;该主机8则根据所接收的位移信息控制显示装置9上光标91的动作或执行应用程序。位移侦测装置1例如可为光学鼠标(optical mouse)。
所述位移侦测装置1包括影像感测器11、模拟数字转换单元(ADC)12、处理单元13、传输单元14、导光单元15以及光源16。位移侦测装置1操作于一工作表面S上,以输出位移信息至主机8,其中位移侦测装置1与主机8之间的数据传输方式例如可利用现有的无线传输技术或有线传输技术来实现。
所述光源16可为发光二极管、激光二极管或其他适当光源,用以照明工作表面S,以使影像感测器11所撷取的影像帧具有足够亮度。所述导光单元15例如,但不限于,可为由适当材质所构成的透镜或透镜组,用以将来自工作表面S的反射光引导至影像感测器11,以增加其感光效率。影像感测器11例如可为CCD影像感测器、CMOS影像感测器或其他适当影像感测器,用以感测来自工作表面S的反射光,以输出模拟影像帧111。模拟数字转换单元(ADC)12转换模拟影像帧111为数字影像帧121,其中模拟与数字影像帧之间的转换为现有技术,故于此不再赘述。
所述处理单元13接收数字影像帧121后,计算该数字影像帧121的特征指标(举例说明于后),以判定其是否具有足够的特征变化可用以计算位移量;当数字影像帧121的特征变化不够明显,则可能无法据以正确计算出位移量。本发明中所述的特征指标例如,但不限于,为影像帧的灰阶值变化、亮度对比或亮度对比度变化或其他用以表示影像品质的特征参数。
当所述特征指标大于门槛值时,处理单元13判断数字影像帧121为一可用影像帧并利用该数字影像帧121计算位移量,其中该位移量例如可利用计算影像之间的相关性(correlation)来求得;当所述特征指标小于门槛值时,处理单元13则将一固定图样(fixed pattern)加入至数字影像帧121,以增加特征指标的值。当加入固定图样后的影像帧的特征指标大于门槛值时,才用来计算位移量;当加入固定图样后的影像帧的特征指标仍然小于门槛值时,处理单元13则判定数字影像帧121为不可用影像帧,亦即位移侦测装置1并不适用于工作表面S。另一实施例中,固定图样132亦可被加入至模拟影像帧111后,与原始模拟影像帧111一起被模拟数字转换单元12转换为数字影像帧;亦即,所述固定图样可为模拟帧数据或数字帧数据。最后,处理单元13所求得的位移量则通过传输单元14传输至主机8。需特别注意的是,此实施例主要为说明利用比较特征指标与门槛值的大小,作为是否加入固定图样的判断规则。实施例中虽以特征指标小于门槛值作为加入固定图样的判断规则,但本领域技术人员在理解本发明后,可在不破坏特征指标特性的情况下修改特征指标,例如修改特征指标的正负标号,进而设计出其他相对应的判断规则,亦应为本发明的发明精神所包括。
请参照图2a~图2c所示,图2a显示了本发明一种实施例的固定图样的示意图,而图2b~图2c显示了图2a的固定图样中灰阶值分布的示意图,其中所述固定图样例如于边缘区域具有较高或较低的灰阶值。本发明中,加入至影像感测器11所撷取影像帧的固定图样用以使影像帧的部分区域的灰阶值偏移(offset),以增加其特征指标,从而处理单元13能够据以正确计算位移量以避免位移侦测装置11于静止或被提起时的光标抖动。例如当处理单元13利用参考帧(reference frame)和当前帧(current frame)之间的相关性来计算位移量时,固定图样同时被加入至参考帧和当前帧。如此,当位移侦测装置1静止于工作表面S或自该工作表面S被提起时,处理单元13根据参考帧和当前帧中的固定图样计算位移侦测单元1相对于工作表面S为静止,藉以解决静止抖动或提起抖动等问题。
图2b显示了灰阶值较高的区域被加入至影像感测器11所撷取影像帧的边缘区域,而图2c显示了灰阶值较低的区域被加入至影像感测器11所撷取影像帧的边缘区域。由于处理单元13于计算位移量时较常使用影像帧的中央部分,因此本发明中优选对影像帧的边缘区域的灰阶值进行偏移,以避免影响位移量的计算。此外,固定图样并不限定为图2a~图2c所示,只要加入的灰阶值分布能够增加特征指标的值即可。
请参照图3所示,其显示了本发明一种实施例的位移侦测方法的流程图,包括下列步骤:撷取第一影像帧(步骤S11);计算该第一影像帧的第一特征指标(步骤S12);判定该第一特征指标是否大于门槛值(步骤S13);若是,利用第一影像帧计算位移量(步骤S14);若否,在第一影像帧中加入固定图样,以形成第二影像帧(步骤S15);计算该第二影像帧的第二特征指标(步骤S16);判定该第二特征指标是否大于所述门槛值(步骤S17);以及利用第二影像帧计算位移量(步骤S18)。
请同时参照图1和图3所示,接着说明本发明实施例的位移侦测方法。首先,影像感测器11撷取第一影像帧(步骤S11),此处该第一影像帧为数字影像帧或模拟影像帧,其中当第一影像帧为模拟影像帧时,需经过模拟数字转换单元12转换为数字影像帧后再输入至处理单元13。该处理单元13计算第一影像帧的第一特征指标(步骤S12)并判定该第一特征指标是否大于门槛值(步骤S13),其中第一特征指标和门槛值将于后以例示说明。当处理单元13判定第一特征指标大于所述门槛值,则直接利用第一影像帧计算位移量(步骤S14)并将其输出至传输单元14。当处理单元13判定第一特征指标小于所述门槛值时,则在第一影像帧中加入固定图样(如图2a~图2c所示),以形成第二影像帧,此处所述固定图样例如可为数字帧数据或模拟帧数据;例如当所述固定图样为数字帧数据时,其加入至数字影像帧121,其中此过程例如可直接于处理单元13中进行;当所述固定图样为模拟帧数据时,其加入至模拟影像帧111(步骤S15)。处理单元13计算第二影像帧的第二特征指标(步骤S16)并比较该第二影像帧和所述门槛值(步骤S17)。当处理单元13判定第二特征指标大于所述门槛值时,则利用第二影像帧计算位移量(步骤S18)并将其输出至传输单元14。
请参照图4所示,其显示了本发明另一种实施例的位移侦测方法的流程图,其包括下列步骤:撷取第一影像帧(步骤S21);计算该第一影像帧的第一特征指标(步骤S22);判定该第一特征指标是否大于门槛值(步骤S23);若是,判定第一影像帧为可用影像帧(步骤S24);若否,在所述第一影像帧中加入固定图样,以形成第二影像帧(步骤S25);计算该第二影像帧的第二特征指标(步骤S26);判定该第二特征指标是否大于所述门槛值(步骤S27);若是,判定第二影像帧为可用影像帧(步骤S28);若否,判定第二影像帧为不可用影像帧(步骤S29)。本实施例的各步骤的详细实施方式类似于图3,故于此不再赘述。
此外,当第一特征指标小于门槛值时,表示位移侦测装置1可能不适用当前的工作表面。本发明可通过加入固定图样以增加特征指标,藉以增加可适用工作表面。当第二特征指标大于门槛值时,表示位移侦测装置1使用本发明的位移侦测方法仍适用于当前的工作表面,但如果第二特征指标仍然小于门槛值时,表示移侦测装置1不适用于当前的工作表面。因此,本发明亦可用以增加位移侦测装置对于工作表面的容忍度。
综而言之,本发明的位移侦测方法包括下列步骤:撷取影像帧;计算该影像帧的特征指标;当该特征指标大于门槛值时,维持该影像帧;当所述特征指标小于所述门槛值时,将固定图样加入至所述影像帧。
接着提出一种特征指标的范例,但此范例仅用以说明本发明,并非用以限定本发明。
请参照图5所示,其显示了本发明实施例的位移侦测方法中一种特征指标的示意图。影像特征变化例如可为影像感测器所撷取的影像帧的一维像素的灰阶值变化,而所述特征指标例如可为一维像素的灰阶值变化的峰值数目。例如,可假设影像帧的一列或一行像素中,一像素两边像素的灰阶值低于该像素一定程度时,该像素则为一上波峰;一像素两边像素的灰阶值高于该像素一定程度时,该像素则为一下波峰;例如图5中包括两上波峰U1、U2及两下波峰D1、D2。所述特征指标例如可为上波峰数目、下波峰数目和/或上下波峰的总数目等;门槛值则设定为波峰数目的预设数值。影像撷取单元11所撷取的影像帧中,波峰数目愈高则表示所撷取影像帧的特征变化愈明显,因此可利用设定不同波峰数目门槛值来决定影像帧的特征变化。此外,本发明中所述的特征指标例如可为用以表示影像品质的其他特征参数,并不限于图5所公开的内容。
如前所述,由于现有的位移侦测装置存在光标抖动的问题;因此本发明另提出一种位移侦测装置(图1)及位移侦测方法(图3~图4)。本发明中,通过将固定图样加入至所撷取的影像帧中,以增加其特征变化,藉以增加位移侦测装置的工作表面容忍度及抗抖动能力。
虽然本发明已由上述实施例所公开,然而上述实施例并非用以限定本发明,任何本发明所属技术领域中的普通技术人员,在不脱离本发明的精神和范围内,应当可以作出各种更动与修改。因此本发明的保护范围应当以所附权利要求书所界定的范围为准。

Claims (8)

1.一种位移侦测方法,该方法包括下列步骤:
撷取第一影像帧;
计算该第一影像帧的第一特征指标,其中,所述第一特征指标为单张第一影像帧的灰阶值变化、对比变化或表示影像品质的特征参数;
比较该第一特征指标与门槛值;
当所述第一特征指标小于所述门槛值时,将固定图样加入至所述第一影像帧,以形成第二影像帧,其中,所述固定图样中的灰阶值分布用以增加所述第一特征指标;
计算所述第二影像帧的第二特征指标;
比较该第二特征指标与所述门槛值;以及
当所述第二特征指标大于所述门槛值时,利用所述第二影像帧计算位移量。
2.根据权利要求1所述的位移侦测方法,其中,所述固定图样使所述第一影像帧的边缘区域的灰阶值偏移。
3.根据权利要求1所述的位移侦测方法,其中,所述第一影像帧为撷取工作表面的影像帧,所述位移侦测方法还包括下列步骤:
计算所述第二影像帧的第二特征指标;
比较该第二特征指标与所述门槛值;
当所述第二特征指标大于所述门槛值时,判定所述第二影像帧为可用影像帧或判定所述工作表面为可用工作表面;以及
当所述第二特征指标小于所述门槛值时,判定所述第二影像帧为不可用影像帧或判定所述工作表面为不可用工作表面。
4.一种位移侦测装置,该位移侦测装置包括:
影像感测器,用以撷取影像帧;
处理单元,用以计算所述影像帧的特征指标,并将该特征指标与门槛值比较,当所述特征指标小于所述门槛值时,将固定图样加入至所述影像帧,其中,所述特征指标为单张影像帧的灰阶值变化、对比变化或表示影像品质的特征参数;所述固定图样中的灰阶值分布用以增加所述特征指标;计算加入所述固定图样后的影像帧的第二特征指标;以及根据所述第二特征指标与所述门槛值的比较结果判定所述影像帧是否为可用影像帧,或当所述第二特征指标大于所述门槛值时根据加入所述固定图样后的影像帧来计算位移量。
5.根据权利要求4所述的位移侦测装置,其中,所述固定图样使所述影像帧的边缘区域的灰阶值偏移。
6.根据权利要求4所述的位移侦测装置,其中,所述特征指标为所述影像帧的灰阶值变化、亮度对比或亮度对比度变化。
7.一种位移侦测方法,该方法包括下列步骤:
撷取影像帧;
计算该影像帧的特征指标,其中,所述特征指标为单张影像帧的灰阶值变化、对比变化或表示影像品质的特征参数;
比较该特征指标与门槛值,以决定是否将固定图样加入至所述影像帧,其中,所述固定图样中的灰阶值分布用以增加所述特征指标;
当所述特征指标大于门槛值时,维持所述影像帧;
当所述特征指标小于所述门槛值时,将所述固定图样加入至所述影像帧;
计算加入所述固定图样后所述影像帧的特征指标并与所述门槛值比较;以及
当加入所述固定图样后所述影像帧的特征指标大于所述门槛值时,利用加入所述固定图样后所述影像帧计算位移量。
8.根据权利要求7所述的位移侦测方法,其中,所述固定图样使所述影像帧的边缘区域的灰阶值偏移;所述特征指标为所述影像帧的灰阶值变化、亮度对比或亮度对比度变化。
CN201010197060.9A 2010-06-08 2010-06-08 位移侦测装置及其位移侦测方法 Active CN102279655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010197060.9A CN102279655B (zh) 2010-06-08 2010-06-08 位移侦测装置及其位移侦测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010197060.9A CN102279655B (zh) 2010-06-08 2010-06-08 位移侦测装置及其位移侦测方法

Publications (2)

Publication Number Publication Date
CN102279655A CN102279655A (zh) 2011-12-14
CN102279655B true CN102279655B (zh) 2014-02-26

Family

ID=45105139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010197060.9A Active CN102279655B (zh) 2010-06-08 2010-06-08 位移侦测装置及其位移侦测方法

Country Status (1)

Country Link
CN (1) CN102279655B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10372155B2 (en) 2017-08-20 2019-08-06 Pixart Imaging Inc. Joystick and related control method
US10969878B2 (en) 2017-08-20 2021-04-06 Pixart Imaging Inc. Joystick with light emitter and optical sensor within internal chamber

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928880A (en) * 2007-12-21 2009-07-01 Pixart Imaging Inc Displacement detection apparatus and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200928880A (en) * 2007-12-21 2009-07-01 Pixart Imaging Inc Displacement detection apparatus and method

Also Published As

Publication number Publication date
CN102279655A (zh) 2011-12-14

Similar Documents

Publication Publication Date Title
CN101334578B (zh) 图像拍摄装置以及图像拍摄方法
JP4699536B2 (ja) 位置検出装置、制御方法、制御プログラムおよび記録媒体
US8682068B2 (en) Image processing apparatus, image processing method, and program
CN101727219A (zh) 位移侦测装置和方法
US9146627B2 (en) Lift detection method for optical mouse and optical mouse with lift detection function
CN102262458B (zh) 光学导航设备中的或与光学导航设备有关的改进
TW200925706A (en) Display-and-image-pickup apparatus, object detection program and method of detecting an object
CN103745485A (zh) 判断物体静止或运动的方法及系统
US20180157346A1 (en) Navigation device with adjustable sample period
TWI423169B (zh) 位移偵測裝置及其位移偵測方法
CN102298452A (zh) 调整光学感应模块的曝光条件的方法与其光学感应模块
CN102279655B (zh) 位移侦测装置及其位移侦测方法
US9269148B2 (en) Displacement detection device
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
KR20230113786A (ko) 이미지 처리 방법, 장치 및 전자 장치
JP2009100252A (ja) 撮像装置
US8305460B2 (en) Detection device and image capture system using the same
JP2010055578A (ja) 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体
CN102298470B (zh) 影像感测模块
KR101685419B1 (ko) 디지털 영상 처리 장치 및 방법
TWI488092B (zh) 光學式觸控裝置及其操作方法
CN102346571B (zh) 位移估测方法及使用该方法的位移估测装置
JP2011028322A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
JP4268953B2 (ja) 動き検出装置およびそのプログラム
US11783633B2 (en) Motion sensor using temporal difference pixels and lift-up detection thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant