CN108683918B - 基于彩色结构光的多源时序分层编码方法 - Google Patents

基于彩色结构光的多源时序分层编码方法 Download PDF

Info

Publication number
CN108683918B
CN108683918B CN201810383445.0A CN201810383445A CN108683918B CN 108683918 B CN108683918 B CN 108683918B CN 201810383445 A CN201810383445 A CN 201810383445A CN 108683918 B CN108683918 B CN 108683918B
Authority
CN
China
Prior art keywords
color
code
white
pic
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810383445.0A
Other languages
English (en)
Other versions
CN108683918A (zh
Inventor
张超
韩成
杨帆
蒋振刚
李华
丁莹
胡汉平
权巍
薛耀红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201810383445.0A priority Critical patent/CN108683918B/zh
Publication of CN108683918A publication Critical patent/CN108683918A/zh
Application granted granted Critical
Publication of CN108683918B publication Critical patent/CN108683918B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及一种基于彩色结构光的多源时序分层编码方法，其特征在于，对于彩色编码结构光图案，其利用的颜色码信息值（R,G,B），即颜色三通道信息值，分别为：红色颜色码对应的编码值（R,G,B）=（255,0,0），绿色颜色码对应的编码值（R,G,B）=（0,255,0），蓝色颜色码对应的编码值（R,G,B）=（0,0,255），青色颜色码对应的编码值（R,G,B）=（0,255,255），品红色颜色码对应的编码值（R,G,B）=（255,0,255），黄色颜色码对应的编码值（R,G,B）=（255,255,0），白色颜色码对应的编码值（R,G,B）=（255,255，255）;避免彩色纹理色彩信息对彩色结构光产生干扰。

Description

基于彩色结构光的多源时序分层编码方法
技术领域
本发明涉及一种基于彩色结构光的多源时序分层编码方法，属于计算机视觉技术领域。
背景技术
在结构光三维重建技术研究中，为了提高三维重建的精度和效率，结构光的编码方式从多幅格雷相移编码方法过渡到单幅彩色编码方法，而单幅彩色编码方法其通过利用颜色码的丰富信息进行码值唯一性设定。然而单幅彩色编码结构光方法通常应用在待测物体为浅色或者白色物体，如果待测物体的表面纹理颜色比较丰富时，会对彩色编码颜色码值产生色彩信息干扰，因此在后期解码过程中，出现严重重建偏差。为了避免待测物体纹理色彩信息产生颜色串扰，可通过利用激光方式进行三维重建，但是激光模式会产生较高热量，会对待测物体表面产生某种程度上的损坏。
随着待重建物体的复杂性，结构光三维重建不再局限于浅色物体，为此王露阳等人提出了基于互补色编码条纹投影的三维形貌测量方法，其通过利用投影互补码光栅并以其相对大小关系不变性的原理进行解码；而麻珂等人提出了三维面形测量中减小物体彩色纹理影响的新方法，通过事先进行标定白板的颜色响应，来近似获取待重建物体纹理表面的色彩信息减小影响，在进行色彩标定时仅仅使用三幅基色图，计算结果不够精确。而车建强等人则提出了利用提出了一种面向双目立体匹配的彩色编码方法，其通过利用三原色色彩空间模型和光谱原理对色彩信息进行颜色码编码，并对色彩标定方法进行优化改进来消除背景色彩的影响。虽然上述方法能够在一定程度上减少待测物体纹理色彩对颜色码产生的干扰问题，但是或多或少涉及到前期对投影仪和相机颜色通道的预标定问题，针对预标定过程会存在着各种外界因素的干扰，同时也涉及到辅助投影图像。
发明内容
为了解决待重建物体的纹理色彩信息对彩色编码结构光的颜色码信息产生干扰，本发明的目的在于提供一种基于彩色结构光的多源时序分层编码方法，其利用计算机生成一幅彩色编码结构光图案，接着对彩色编码结构光图案中的各个颜色码信息值进行分层编码处理，得到具有一定时序的多幅黑白图案，这些黑白图案按照分层时序组合后能够生成对应的彩色编码结构光图案。
本发明的技术方案是这样实现的：基于彩色结构光的多源时序分层编码方法，其特征在于，对于彩色编码结构光图案，其利用的颜色码信息值(R,G,B)，即颜色三通道信息值，分别为：红色颜色码对应的编码值(R,G,B)＝(255,0,0)，绿色颜色码对应的编码值(R,G,B)＝(0,255,0)，蓝色颜色码对应的编码值(R,G,B)＝(0,0,255)，青色颜色码对应的编码值(R,G,B)＝(0,255,255)，品红色颜色码对应的编码值(R,G,B)＝(255,0,255)，黄色颜色码对应的编码值(R,G,B)＝(255,255,0)，白色颜色码对应的编码值(R,G,B)＝(255,255，255)；
具体的步骤如下：
步骤1、利用计算机对各个颜色码信息值进行序号设定，也即是对红色、绿色、蓝色、青色、品红色、黄色、白色、黑色颜色码的序号分别设定为1、2、3、4、5、6、7、8；
步骤2、利用De Burijng的伪随机特性和颜色码序号1、2、3、4、5、6、7，通过计算机生成一幅7元3级的彩色结构光条纹编码图像Pic_col，其中生成的彩色条纹结构光图案的背景色为黑色信息值，其中彩色条纹的宽度值设定为4个像素，而相邻条纹之间的间隔为2个像素，生成的彩色结构光条纹编码图像Pic_col的分辨率为N×M(N＝1024pixel，M＝768pixel)；
步骤3、对步骤2中生成的彩色结构光条纹编码图像Pic_col中所有像素点按照从上到下，从左到右的顺序存储在矩阵PM中，其中PM的大小为N行，M列，而对应第i行，第j列矩阵值PM(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为sr(i，j)、sg(i，j)、sb(i，j)，即PM(i，j)＝(R,G，B)＝(sr(i,j),sg(i,j),sb(i,j))分别对应于(R，G，B)三颜色通道中的值；
步骤4、对矩阵PM进行归一化处理得到矩阵NorM，也就是利用公式
NorM(i，j)＝PM(i，j)/(3*255)
NorM(i，j)＝(sr(i,j)+sg(i,j)+sb(i,j))/(3*255)
其中，i＝1,2,…N，j＝1,2…M；通过归一化处理后矩阵NorM中的元素信息值只包含‘0’和‘1’，其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为nr(i，j)、ng(i，j)、nb(i，j)，即NorM(i，j)＝(nr(i,j),ng(i,j),nb(i,j))；也即是矩阵PM中的红色、绿色、蓝色、青色、品红色、黄色、白色的颜色码在矩阵NorM中对应的编码值分布为(1,0,0)、(0,1,0)、(0,0,1)、(0,1,1)、(1,0,1)、(1,0,0)、(1,1，1)；
步骤5、对矩阵NorM中的元素信息值进行多源时序分层编码处理，也即是在分层编码过程中用黑色码元表示‘0’和白色码元表示‘1’，则可利用矩阵NorM生成三个时序黑、白码元构成的编码图像。也就是当nr(i,j)＝0时，其生成的第一层编码图像在(i，j)位置为黑色，而当nr(i,j)＝1时，其生成的第一层编码图像在(i，j)位置为白色；同理，当ng(i,j)＝0时，其生成的第二层编码图像在(i，j)位置为黑色，而当ng(i,j)＝1时，其生成的第二层编码图像在(i，j)位置为白色；同理，当nb(i,j)＝0时，其生成的第三层编码图像在(i，j)位置为黑色，而当nb(i,j)＝1时，其生成的第三层编码图像在(i，j)位置为白色；
步骤6、通过步骤5即可对生成的彩色结构光条纹编码图像Pic_col产生对应的三幅分层编码图像分别为Pic_Fir、Pic_Sec、Pic_Thi；为了能够便于后期快速解码，对矩阵PM(i，j)进行色彩全白化处理，也即是当sr(i,j)＝255或者sg(i,j)＝255或者sb(i,j)＝255时，对(i,j)位置的颜色码值赋值为白色码信息值(255,255,255)，从而得到一幅白色条纹图像Pic_White，其为了能够对后期解码过程进行快速颜色码信息值恢复定位使用；
通过上述过程，即可对一幅彩色编码结构光条纹图像进行多源时序分层编码处理得到Pic_Fir、Pic_Sec、Pic_Thi和Pic_White。
本发明的积极效果是能够合理利用彩色结构光的编码色彩信息值以及避免彩色纹理色彩信息对彩色结构光产生干扰。
附图说明
图1基于彩色结构光的多源时序分层编码方法的原理图。
具体实施方式
下面结合附图对本发明做进一步的描述：如图1所示，基于彩色结构光的多源时序分层编码方法，其特征在于，对于彩色编码结构光图案，其利用的颜色码信息值(R,G,B)，即颜色三通道信息值，分别为：红色颜色码对应的编码值(R,G,B)＝(255,0,0)，绿色颜色码对应的编码值(R,G,B)＝(0,255,0)，蓝色颜色码对应的编码值(R,G,B)＝(0,0,255)，青色颜色码对应的编码值(R,G,B)＝(0,255,255)，品红色颜色码对应的编码值(R,G,B)＝(255,0,255)，黄色颜色码对应的编码值(R,G,B)＝(255,255,0)，白色颜色码对应的编码值(R,G,B)＝(255,255，255)。
具体的步骤如下：
步骤1、利用计算机对各个颜色码信息值进行序号设定，也即是对红色、绿色、蓝色、青色、品红色、黄色、白色、黑色颜色码的序号分别设定为1、2、3、4、5、6、7、8。
步骤2、利用De Burijng的伪随机特性和颜色码序号1、2、3、4、5、6、7，通过计算机生成一幅7元3级的彩色结构光条纹编码图像Pic_col，其中生成的彩色条纹结构光图案的背景色为黑色信息值，其中彩色条纹的宽度值设定为4个像素，而相邻条纹之间的间隔为2个像素，生成的彩色结构光条纹编码图像Pic_col的分辨率为N×M(N＝1024pixel，M＝768pixel)。
步骤3、对步骤2中生成的彩色结构光条纹编码图像Pic_col中所有像素点按照从上到下，从左到右的顺序存储在矩阵PM中，其中PM的大小为N行，M列，而对应第i行，第j列矩阵值PM(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为sr(i，j)、sg(i，j)、sb(i，j)，即PM(i，j)＝(sr(i,j),sg(i,j),sb(i,j))。
步骤4、对矩阵PM进行归一化处理得到矩阵NorM，也就是利用公式
NorM(i，j)＝PM(i，j)/(3*255)
NorM(i，j)＝(sr(i,j)+sg(i,j)+sb(i,j))/(3*255)
其中，i＝1,2,…N，j＝1,2…M；通过归一化处理后矩阵NorM中的元素信息值只包含‘0’和‘1’，其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为nr(i，j)、ng(i，j)、nb(i，j)，即NorM(i，j)＝(nr(i,j),ng(i,j),nb(i,j))。也即是矩阵PM中的红色、绿色、蓝色、青色、品红色、黄色、白色的颜色码在矩阵NorM中对应的编码值分布为(1,0,0)、(0,1,0)、(0,0,1)、(0,1,1)、(1,0,1)、(1,0,0)、(1,1，1)。
步骤5、对矩阵NorM中的元素信息值进行多源时序分层编码处理，也即是在分层编码过程中用黑色码元表示‘0’和白色码元表示‘1’，则可利用矩阵NorM生成三个时序黑、白码元构成的编码图像。也就是当nr(i,j)＝0时，其生成的第一层编码图像在(i，j)位置为黑色，而当nr(i,j)＝1时，其生成的第一层编码图像在(i，j)位置为白色；同理，当ng(i,j)＝0时，其生成的第二层编码图像在(i，j)位置为黑色，而当ng(i,j)＝1时，其生成的第二层编码图像在(i，j)位置为白色；同理，当nb(i,j)＝0时，其生成的第三层编码图像在(i，j)位置为黑色，而当nb(i,j)＝1时，其生成的第三层编码图像在(i，j)位置为白色。
步骤6、通过步骤5即可对生成的彩色结构光条纹编码图像Pic_col产生对应的三幅分层编码图像分别为Pic_Fir、Pic_Sec、Pic_Thi；为了能够便于后期快速解码，对矩阵PM(i，j)进行色彩全白化处理，也即是当sr(i,j)＝255或者sg(i,j)＝255或者sb(i,j)＝255时，对(i,j)位置的颜色码值赋值为白色码信息值(255,255,255)，从而得到一幅白色条纹图像Pic_White，其为了能够对后期解码过程进行快速颜色码信息值恢复定位使用。
通过上述过程，即可对一幅彩色编码结构光条纹图像进行多源时序分层编码处理得到Pic_Fir、Pic_Sec、Pic_Thi和Pic_White。

Claims (1)

1.基于彩色结构光的多源时序分层编码方法，其特征在于，对于彩色编码结构光图案，其利用的颜色码信息值(R,G,B)，即颜色三通道信息值，分别为：红色颜色码对应的编码值(R,G,B)＝(255,0,0)，绿色颜色码对应的编码值(R,G,B)＝(0,255,0)，蓝色颜色码对应的编码值(R,G,B)＝(0,0,255)，青色颜色码对应的编码值(R,G,B)＝(0,255,255)，品红色颜色码对应的编码值(R,G,B)＝(255,0,255)，黄色颜色码对应的编码值(R,G,B)＝(255,255,0)，白色颜色码对应的编码值(R,G,B)＝(255,255，255)；
具体的步骤如下：
步骤1、利用计算机对各个颜色码信息值进行序号设定，也即是对红色、绿色、蓝色、青色、品红色、黄色、白色、黑色颜色码的序号分别设定为1、2、3、4、5、6、7、8；
步骤2、利用De Burijng的伪随机特性和颜色码序号1、2、3、4、5、6、7，通过计算机生成一幅7元3级的彩色结构光条纹编码图像Pic_col，其中生成的彩色条纹结构光图案的背景色为黑色信息值，其中彩色条纹的宽度值设定为4个像素，而相邻条纹之间的间隔为2个像素，生成的彩色结构光条纹编码图像Pic_col的分辨率为N×M(N＝1024pixel，M＝768pixel)；
步骤3、对步骤2中生成的彩色结构光条纹编码图像Pic_col中所有像素点按照从上到下，从左到右的顺序存储在矩阵PM中，其中PM的大小为N行，M列，而对应第i行，第j列矩阵值PM(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为sr(i，j)、sg(i，j)、sb(i，j)，即PM(i，j)＝(R,G，B)＝(sr(i,j),sg(i,j),sb(i,j))分别对应于(R，G，B)三颜色通道中的值；
步骤4、对矩阵PM进行归一化处理得到矩阵NorM，也就是利用公式
NorM(i，j)＝PM(i，j)/(3*255)
NorM(i，j)＝(sr(i,j)+sg(i,j)+sb(i,j))/(3*255)
其中，i＝1,2,…N，j＝1,2…M；通过归一化处理后矩阵NorM中的元素信息值只包含‘0’和‘1’，其存储的信息值为该编码条纹的颜色码的R通道、G通道、B通道信息值分别为nr(i，j)、ng(i，j)、nb(i，j)，即NorM(i，j)＝(nr(i,j),ng(i,j),nb(i,j))；也即是矩阵PM中的红色、绿色、蓝色、青色、品红色、黄色、白色的颜色码在矩阵NorM中对应的编码值分布为(1,0,0)、(0,1,0)、(0,0,1)、(0,1,1)、(1,0,1)、(1,0,0)、(1,1，1)；
步骤5、对矩阵NorM中的元素信息值进行多源时序分层编码处理，也即是在分层编码过程中用黑色码元表示‘0’和白色码元表示‘1’，则可利用矩阵NorM生成三个时序黑、白码元构成的编码图像； 也就是当nr(i,j)＝0时，其生成的第一层编码图像在(i，j)位置为黑色，而当nr(i,j)＝1时，其生成的第一层编码图像在(i，j)位置为白色；同理，当ng(i,j)＝0时，其生成的第二层编码图像在(i，j)位置为黑色，而当ng(i,j)＝1时，其生成的第二层编码图像在(i，j)位置为白色；同理，当nb(i,j)＝0时，其生成的第三层编码图像在(i，j)位置为黑色，而当nb(i,j)＝1时，其生成的第三层编码图像在(i，j)位置为白色；
步骤6、通过步骤5即可对生成的彩色结构光条纹编码图像Pic_col产生对应的三幅分层编码图像分别为Pic_Fir、Pic_Sec、Pic_Thi；为了能够便于后期快速解码，对矩阵PM(i，j)进行色彩全白化处理，也即是当sr(i,j)＝255或者sg(i,j)＝255或者sb(i,j)＝255时，对(i,j)位置的颜色码值赋值为白色码信息值(255,255,255)，从而得到一幅白色条纹图像Pic_White，其为了能够对后期解码过程进行快速颜色码信息值恢复定位使用；
通过上述过程，即可对一幅彩色编码结构光条纹图像进行多源时序分层编码处理得到Pic_Fir、Pic_Sec、Pic_Thi和Pic_White。
CN201810383445.0A 2018-04-26 2018-04-26 基于彩色结构光的多源时序分层编码方法 Expired - Fee Related CN108683918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810383445.0A CN108683918B (zh) 2018-04-26 2018-04-26 基于彩色结构光的多源时序分层编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810383445.0A CN108683918B (zh) 2018-04-26 2018-04-26 基于彩色结构光的多源时序分层编码方法

Publications (2)

Publication Number Publication Date
CN108683918A CN108683918A (zh) 2018-10-19
CN108683918B true CN108683918B (zh) 2022-03-22

Family

ID=63802411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810383445.0A Expired - Fee Related CN108683918B (zh) 2018-04-26 2018-04-26 基于彩色结构光的多源时序分层编码方法

Country Status (1)

Country Link
CN (1) CN108683918B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743554B (zh) * 2021-06-11 2023-08-22 北京大学 一种基于多元动态光谱的信息传递系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104776815A (zh) * 2015-03-23 2015-07-15 中国科学院上海光学精密机械研究所 一种基于达曼光栅的彩色三维轮廓测量装置与方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101324425B (zh) * 2008-05-09 2010-12-08 东南大学 基于分层的彩色条纹编码方法
JP2012178790A (ja) * 2011-02-28 2012-09-13 Oki Data Corp 画像読取装置及び画像形成装置
CN102184555A (zh) * 2011-04-01 2011-09-14 长春理工大学 一种De Bruijn彩色结构光编码图像的中心彩色条纹的颜色聚类化方法
CN103336634B (zh) * 2013-07-24 2016-04-20 清华大学 基于自适应分层结构光的触碰检测系统及方法
CN107516333B (zh) * 2016-06-17 2020-06-09 长春理工大学 自适应De Bruijn彩色结构光编码方法
CN107103620B (zh) * 2017-04-17 2020-01-07 北京航空航天大学 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104776815A (zh) * 2015-03-23 2015-07-15 中国科学院上海光学精密机械研究所 一种基于达曼光栅的彩色三维轮廓测量装置与方法

Also Published As

Publication number Publication date
CN108683918A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
JP4500360B2 (ja) 画像処理装置
CN105180904B (zh) 基于编码结构光的高速运动目标位姿测量方法
US6341016B1 (en) Method and apparatus for measuring three-dimensional shape of object
CN101871773B (zh) 同步色相相移转换方法以及其三维形貌量测系统
CN108931209B (zh) 一种高适应性的彩色物体三维重建方法
JP2004228662A (ja) 撮像装置
EP2522951A1 (en) Stereo camera device
US10404953B2 (en) Multi-layer image sensor, image processing apparatus, image processing method, and computer-readable recording medium
JP6530751B2 (ja) 画像処理装置、撮像装置、情報処理装置、画像処理方法およびプログラム
CN103582846B (zh) 进深推定摄像装置
CN104581100A (zh) 色彩滤镜阵列和图像处理方法
CN108683918B (zh) 基于彩色结构光的多源时序分层编码方法
CN104025577B (zh) 图像处理装置、方法以及摄像装置
US11073689B2 (en) Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space
WO2013164902A1 (ja) 固体撮像装置
CN102194218A (zh) 降低图像色彩噪声的方法和装置
CN114757831A (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
KR100314503B1 (ko) 교정패턴표시시스템및표시특성장치를교정하는시스템및방법
US8929682B2 (en) Calibrating image sensors
CN112005545B (zh) 用于重建由覆盖有滤色器马赛克的传感器获取的彩色图像的方法
CN107734231A (zh) 一种基于滤光的成像系统动态范围扩展方法
CN107409200A (zh) 图像处理装置、图像处理方法和程序
US20180286906A1 (en) Image generation device and imaging device
CN103546729B (zh) 灰度彩色双模式tdi-cmos图像传感器及控制方法
CN111314634A (zh) 一种图像传感器的制造方法、传感器与像素读取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220322

CF01 Termination of patent right due to non-payment of annual fee