CN211454535U - 一种基于机器视觉的便携式激光虚拟键盘 - Google Patents

一种基于机器视觉的便携式激光虚拟键盘 Download PDF

Info

Publication number
CN211454535U
CN211454535U CN201922284415.7U CN201922284415U CN211454535U CN 211454535 U CN211454535 U CN 211454535U CN 201922284415 U CN201922284415 U CN 201922284415U CN 211454535 U CN211454535 U CN 211454535U
Authority
CN
China
Prior art keywords
keyboard
camera
laser
virtual keyboard
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201922284415.7U
Other languages
English (en)
Inventor
华晶
李伟
唐建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Agricultural University
Original Assignee
Jiangxi Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Agricultural University filed Critical Jiangxi Agricultural University
Priority to CN201922284415.7U priority Critical patent/CN211454535U/zh
Application granted granted Critical
Publication of CN211454535U publication Critical patent/CN211454535U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本实用新型公开了一种基于机器视觉的便携式激光虚拟键盘,由底座、一字线激光器、键盘图案投射器、控制盒、摄像头、滤光片组成,利用键盘图案投射器将键盘图案投影到一个水平面上,一字线激光器用于检测是否有手指触摸虚拟键盘,摄像头用于接收被反射的红外信号,并由控制电路板进行图像处理与定位,进而识别出虚拟键盘中被按下的虚拟按键。最终实现与传统桌面键盘同样的功能与效果,激光但与传统桌面键盘相比又能够达到在任意随机环境中使用的特点,且非常适合于手机、平板电脑等移动终端,更兼体积小巧,携带方便,可长时间稳定运行,对人体不会造成任何伤害,成本较低,能够很好的替代传统式桌面机械键盘。

Description

一种基于机器视觉的便携式激光虚拟键盘
技术领域
本实用新型涉及键盘领域,尤其涉及一种基于机器视觉的便携式激光虚拟键盘。
背景技术
传统的桌面型键盘,经历了电容式,机械开关式的发展历程。键盘从有棱有角进化到极美的弧线;从单一的“老三样”进化到五彩缤纷,炫人眼目;从粗大厚重进化到娇小轻薄,这样的传统型键盘虽然外观和功能不尽相同,其大致原理基本上是一样的,只不过是增加了一些吸引眼球的东西和更加人性化的设计,键盘体积仍旧庞大、携带不便,无法满足移动终端对输入设备的需求等缺点也一直遭人所诟病。因此需要设计一款具有体积小、便于携带、操作方便的键盘设备,来代替传统的机械式键盘。随着激光技术的不断发展,激光的某些特性也被大量应用于工程实践。
实用新型内容
为了解决上述问题,本实用新型的目的在于提供一种基于机器视觉的便携式激光虚拟键盘,利用激光将键盘图案投影到一个水平面上,使用摄像头采集图像信息,并由控制电路板进行图像处理与定位,最终实现与传统桌面键盘同样的功能与效果,但与传统桌面键盘相比又能够达到在任意随机环境中使用的特点,且非常适合于手机、平板电脑等移动终端,更兼体积小巧,携带方便,外观炫酷时尚,具有高稳定性与安全性,可长时间稳定运行,对人体不会造成任何伤害,成本较低,能够很好的替代传统式桌面机械键盘。
为实现上述目的,本实用新型提供的一种基于机器视觉的便携式激光虚拟键盘是这样实现的:
一种基于机器视觉的便携式激光虚拟键盘,包括底座、一字线激光器、键盘图案投射器、控制盒、摄像头、滤光片,控制盒安装在底座上,由底座支撑起控制盒,摄像头、键盘图案投射器、一字线激光器由上到下安装在控制盒的一侧,滤光片安装在摄像头的镜头上,用于滤除杂散光,其中键盘图案投射器用于将虚拟键盘投射到工作台上,一字线激光器用于检测是否有手指触摸虚拟键盘,摄像头用于接收被反射的红外信号,进而识别出虚拟键盘中被按下的虚拟按键。
本实用新型的控制盒包括塑料盒、蜂鸣器、液晶显示屏、电源线串口、电源降压模块、蓝牙模块、控制电路板,蜂鸣器、液晶显示屏、电源线串口镶嵌在塑料盒表面,电源降压模块、蓝牙模块、控制电路板安装在塑料盒中,摄像头、蜂鸣器、液晶显示屏、电源降压模块、蓝牙模块均与控制电路板连接,摄像头将采集到的图像信息传输给控制电路板进行图像处理,并控制液晶显示屏显示摄像头采集到的图像信息,电源线串口与电源降压模块连接,由电源线串口接收外部电源并传输给电源降压模块,由电源降压模块为一字线激光器、控制电路板、键盘图案投射器供电。
本实用新型的蜂鸣器作用为:系统开机时会发出一声长鸣以示系统正常运行,当使用者按下虚拟按键时也会发出一声长鸣,以检测使用者是否正确按下。
本实用新型的键盘图案投射器采用小功率红色激光发生器作为投射光源,将键盘字模覆盖于激光光源表面,激光透过字模将键盘图形投射到桌面上,从而实现虚拟键盘的呈现工作。
本实用新型的控制电路板使用性能强大、性价比高的STM32F103作为主处理器。
本实用新型的蓝牙模块用于将摄像头采集到的虚拟键盘按键信息传输至移动终端,支持蓝牙连接,可连接到电脑、手机、平板电脑等移动终端,体积小巧,操作简单,方便携带,衣服口袋就能装下,各方面皆优于传统键盘。
本实用新型的控制电路板对摄像头将采集到的投影影像进行图像识别处理,即完成图像信号的定位及编码工作,最终还原成使用者真实的指法输入信息以便于上位机接收,包括灰图转二值图,信号定位等步骤。
本实用新型实现虚拟键盘的方案为:
(1)激光器投影键盘图像
键盘图案投射器中的小功率红色激光发生器发出的激光束激光透过字模将键盘图形投射到桌面上,实现虚拟键盘的呈现工作;
(2)红外激光发射定位光束
一字线激光器向虚拟键盘上空发射红外激光束;
(3)用户单击键盘
用户通过投射到桌面上的虚拟键盘输入对应的虚拟按键;
(4)摄像头采集图像
有手指触摸虚拟键盘的其中一个虚拟按键时,一字线激光器发射出来的红外线将被手指反射到摄像头中,安装在摄像头上的滤光片滤除红外线以外的光,只有红外线可以进入摄像头里面,避免了可见光的干扰存在,更好的获取到手指的反射光斑,也就是手指反射的红外光斑,将可见光以及键盘投射的图案过滤掉,所以可见光是看不到的,最后得到光斑;
(5)图像处理与目标识别
用控制电路板根据摄像头采集到的图像信息进行二值化+阈值调节,最终根据手指所按处的坐标位置以判断按下的是什么按键;
(6)目标坐标映射并发送按键指令
控制电路板控制蓝牙模块将识别后的虚拟按键指令发送给移动终端,将虚拟按键映射到移动终端,实现对移动终端的操作。
本实用新型的一字线激光器发射出的一字红外信号用于检测是否有手指按下,若有手指按下时,红外线就会以一定角度被反射,其中键盘图案投射器将在桌面等平面上投影出人能看到的虚拟的键盘图案,当使用者用手指接触投射出的虚拟键盘图案中的“按键”时,手指将进入贴近桌面的一字线激光器的照射范围,此时手指将被该激光器照射,产生反射光,而摄像头接收被反射的红外信号,由于该激光器采用了人肉眼不可见红外激光,因此产生的反射光并不会干扰正常的使用过程,虚拟区域的表面能的任何对象,优选的平台,在存在诸如刚性塑料板,由木材制成的板,玻璃板或金属板,以及一个柔性板包括软质塑胶薄板中,橡胶板或一张纸。
本实用新型的有益效果是:本实用新型优点是利用激光将键盘图案投影到一个水平面上,使用摄像头采集图像信息,并由性能强大、性价比高的STM32单片机进行图像处理与定位,最终实现与传统桌面键盘同样的功能与效果,但与传统桌面键盘相比又能够达到在任意随机环境中使用的特点,且非常适合于手机、平板电脑等移动终端,更兼体积小巧,携带方便,外观炫酷时尚,具有高稳定性与安全性,可长时间稳定运行,对人体不会造成任何伤害,成本较低,能够很好的替代传统式桌面机械键盘。
附图说明
图1为本实用新型一种基于机器视觉的便携式激光虚拟键盘的结构示意图;
图2为本实用新型一种基于机器视觉的便携式激光虚拟键盘的控制盒的结构示意图;
图3为本实用新型一种基于机器视觉的便携式激光虚拟键盘的键盘图案投射器的结构示意图;
图4为本实用新型一种基于机器视觉的便携式激光虚拟键盘的实现虚拟键盘的方案流程图;
图5为本实用新型一种基于机器视觉的便携式激光虚拟键盘的控制电路板对摄像头将采集到的投影影像进行图像识别方案流程图;
图6为本实用新型一种基于机器视觉的便携式激光虚拟键盘的工作原理图。
主要元件符号说明。
Figure BDA0002324698240000041
Figure BDA0002324698240000051
具体实施方式
下面结合实施例并对照附图对本实用新型作进一步详细说明。
为使本实用新型实施方式的目的、技术方案和优点更加清楚,下面将结合本实用新型实施方式中的附图,对本实用新型实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本实用新型一部分实施方式,而不是全部的实施方式。基于本实用新型中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本实用新型保护的范围。因此,以下对在附图中提供的本实用新型的实施方式的详细描述并非旨在限制要求保护的本实用新型的范围,而是仅仅表示本实用新型的选定实施方式。基于本实用新型中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本实用新型保护的范围。
请参阅图1至图3所示为本实用新型中的一种基于机器视觉的便携式激光虚拟键盘,包括底座1、一字线激光器2、键盘图案投射器3、控制盒4、摄像头5、滤光片6。
如图1所示,所述的控制盒4安装在底座1上,由底座1支撑起控制盒4,摄像头5、键盘图案投射器3、一字线激光器2由上到下安装在控制盒4的一侧,滤光片6安装在摄像头5的镜头上,用于滤除杂散光,其中键盘图案投射器3用于将虚拟键盘投射到工作台上,一字线激光器2用于检测是否有手指触摸虚拟键盘,摄像头5用于接收被反射的红外信号,进而识别出虚拟键盘中被按下的虚拟按键。相较于传统桌面键盘,科技感饱满,外观更为炫酷,体积更为小巧,方便随身携带,且操作简单。
本实用新型的控制盒4包括塑料盒7、蜂鸣器8、液晶显示屏9、电源线串口10、电源降压模块11、蓝牙模块12、控制电路板13,蜂鸣器8、液晶显示屏9、电源线串口10镶嵌在塑料盒7表面,电源降压模块11、蓝牙模块12、控制电路板13安装在塑料盒7中,摄像头5、蜂鸣器8、液晶显示屏9、电源降压模块11、蓝牙模块12均与控制电路板13连接,摄像头5将采集到的图像信息传输给控制电路板13进行图像处理,并控制液晶显示屏9显示摄像头5采集到的图像信息,电源线串口10与电源降压模块11连接,由电源线串口10接收外部电源并传输给电源降压模块11,由电源降压模块11为一字线激光器2、控制电路板13、键盘图案投射器3供电。
本实用新型的蜂鸣器8作用为:系统开机时会发出一声长鸣以示系统正常运行,当使用者按下虚拟按键时也会发出一声长鸣,以检测使用者是否正确按下。
本实用新型的键盘图案投射器3采用小功率红色激光发生器14作为投射光源,将键盘字模15覆盖于激光光源表面,激光透过字模将键盘图形投射到桌面上,利用激光相干性好,亮度高的特点投射出虚拟键盘,从而实现虚拟键盘的呈现工作。
本实用新型的控制电路板13使用性能强大、性价比高的STM32F103作为主处理器。
本实用新型的蓝牙模块12用于将摄像头5采集到的虚拟键盘按键信息传输至移动终端,支持蓝牙连接,可连接到电脑、手机、平板电脑等移动终端,体积小巧,操作简单,方便携带,衣服口袋就能装下,各方面皆优于传统键盘。
本实用新型的塑料盒7一共开了四个孔:摄像头5孔、键盘图案投射器3孔、一字线激光器2孔、电源线串口10线孔,其中键盘图案投射器3孔高度为5.9CM,直径1CM,摄像头5孔高度为10.5CM,直径1.6CM。
本实用新型的摄像头5具备红外光采集能力。
本实用新型的控制电路板13对摄像头5将采集到的投影影像进行图像识别处理,即完成图像信号的定位及编码工作,最终还原成使用者真实的指法输入信息以便于上位机接收,包括灰图转二值图,信号定位等步骤。
本实用新型的控制电路板13接收完图像后,采用四个步骤完成对所采集图像的定位,依次为:位图转二值图,最大闭合区间定位,键盘编码,上位机接收。四个部分的功能分别是压缩图像,按键定位,坐标与键码互换,上位机接收并反映,其中位图转二值图的实现方法为:位图的四字节对齐,这个对齐是位图每行像素的对齐,不要和上面的结构体对齐混淆,每行像素所占字节数必须是4字节的整数倍,不足的要填充,这时因为内存分配单位是32位的,即4字节,读入的每行像素是连续的,不能和其他行共占一个内存单位。
本实用新型实现虚拟键盘的方案为:
(1)激光器投影键盘图像
键盘图案投射器3中的小功率红色激光发生器14发出的激光束激光透过字模将键盘图形投射到桌面上,实现虚拟键盘的呈现工作;
(2)红外激光发射定位光束
一字线激光器2向虚拟键盘上空发射红外激光束;
(3)用户单击键盘
用户通过投射到桌面上的虚拟键盘输入对应的虚拟按键;
(4)摄像头5采集图像
有手指触摸虚拟键盘的其中一个虚拟按键时,一字线激光器2发射出来的红外线将被手指反射到摄像头5中,安装在摄像头5上的滤光片6滤除红外线以外的光,只有红外线可以进入摄像头5里面,避免了可见光的干扰存在,更好的获取到手指的反射光斑,也就是手指反射的红外光斑,将可见光以及键盘投射的图案过滤掉,所以可见光是看不到的,最后得到光斑;
(5)图像处理与目标识别
用控制电路板13根据摄像头5采集到的图像信息进行二值化+阈值调节,最终根据手指所按处的坐标位置以判断按下的是什么按键;
(6)目标坐标映射并发送按键指令
控制电路板13控制蓝牙模块12将识别后的虚拟按键指令发送给移动终端,将虚拟按键映射到移动终端,实现对移动终端的操作。
本实用新型的控制电路板13对摄像头5将采集到的投影影像进行图像识别方案为:
先对采集到的图像进行灰度处理,彩色图转为灰度图,RGB共有256种灰色分量,就是R=G=B时的色彩是灰色的,所以可以用一个字节来表示,将彩色图转化为灰度图就是让真彩色图的三个颜色分量等于一个相同的数值,具体等于多少可以与多种方法,比如求三个分量的平均值,取三个分量的最大值或者使其中两个分量等于另一个分量的值,还有一种常用的方法是取加权平均值,根据这个很著名的心理学公式Gray=R*0.299+G*0.587+B*0.114;接着判断该图像的灰度值是否超出阈值,当超出阈值后,将像素置1,没超出阈值的像素置0,然后将灰度图转化为二值图,二值图只有两个颜色,黑和白,而灰度有256种颜色,将灰度转化为二值是选取一个阈值,将灰度值大于这个阈值的置成白色,反之为黑色,关于这个阈值如何选取和作用范围也有多种方法,再提取出光斑的坐标,经过与基准坐标进行对比后,输出对应字符。
本实用新型的一字线激光器2发射出的一字红外信号用于检测是否有手指按下,若有手指按下时,红外线就会以一定角度被反射,其中键盘图案投射器3将在桌面等平面上投影出人能看到的虚拟的键盘图案,当使用者用手指接触投射出的虚拟键盘图案中的“按键”时,手指将进入贴近桌面的一字线激光器2的照射范围,此时手指将被该激光器照射,产生反射光,而摄像头5接收被反射的红外信号,由于该激光器采用了人肉眼不可见红外激光,因此产生的反射光并不会干扰正常的使用过程,虚拟区域的表面能的任何对象,优选的平台,在存在诸如刚性塑料板,由木材制成的板,玻璃板或金属板,以及一个柔性板包括软质塑胶薄板中,橡胶板或一张纸。
本实用新型的工作原理与工作过程如下:
如图6所示,键盘图案投射器3中的小功率红色激光发生器14发出的激光束激光透过字模将键盘图形投射到桌面上,实现虚拟键盘的呈现工作;一字线激光器2向虚拟键盘上空发射红外激光束;用户通过投射到桌面上的虚拟键盘输入对应的虚拟按键;有手指触摸虚拟键盘的其中一个虚拟按键时,一字线激光器2发射出来的红外线将被手指反射到摄像头5中,安装在摄像头5上的滤光片6滤除红外线以外的光,只有红外线可以进入摄像头5里面,避免了可见光的干扰存在,更好的获取到手指的反射光斑,也就是手指反射的红外光斑,将可见光以及键盘投射的图案过滤掉,所以可见光是看不到的,最后得到光斑;用控制电路板13根据摄像头5采集到的图像信息进行二值化+阈值调节,最终根据手指所按处的坐标位置以判断按下的是什么按键;控制电路板13控制蓝牙模块12将识别后的虚拟按键指令发送给移动终端,将虚拟按键映射到移动终端,实现对移动终端的操作,其中由电源线串口10接收外部电源并传输给电源降压模块11,由电源降压模块11为一字线激光器2、控制电路板13、键盘图案投射器3供电,控制电路板液晶显示屏9显示摄像头5采集到的图像信息,控制电路板控制蓝牙模块12用于将摄像头5采集到的虚拟键盘按键信息传输至移动终端,控制电路板控制蜂鸣器做出相应的响应。

Claims (4)

1.一种基于机器视觉的便携式激光虚拟键盘,其特征在于:包括底座、一字线激光器、键盘图案投射器、控制盒、摄像头、滤光片,控制盒安装在底座上,由底座支撑起控制盒,摄像头、键盘图案投射器、一字线激光器由上到下安装在控制盒的一侧,滤光片安装在摄像头的镜头上,用于滤除杂散光,其中键盘图案投射器用于将虚拟键盘投射到工作台上,一字线激光器用于检测是否有手指触摸虚拟键盘,摄像头用于接收被反射的红外信号,进而识别出虚拟键盘中被按下的虚拟按键。
2.根据权利要求1所述的基于机器视觉的便携式激光虚拟键盘,其特征在于:所述控制盒包括塑料盒、蜂鸣器、液晶显示屏、电源线串口、电源降压模块、蓝牙模块、控制电路板,蜂鸣器、液晶显示屏、电源线串口镶嵌在塑料盒表面,电源降压模块、蓝牙模块、控制电路板安装在塑料盒中,摄像头、蜂鸣器、液晶显示屏、电源降压模块、蓝牙模块均与控制电路板连接,摄像头将采集到的图像信息传输给控制电路板进行图像处理,并控制液晶显示屏显示摄像头采集到的图像信息,电源线串口与电源降压模块连接,由电源线串口接收外部电源并传输给电源降压模块,由电源降压模块为一字线激光器、控制电路板、键盘图案投射器供电。
3.根据权利要求1所述的基于机器视觉的便携式激光虚拟键盘,其特征在于:所述键盘图案投射器采用小功率红色激光发生器作为投射光源,将键盘字模覆盖于激光光源表面,激光透过字模将键盘图形投射到桌面上,从而实现虚拟键盘的呈现工作。
4.根据权利要求2所述的基于机器视觉的便携式激光虚拟键盘,其特征在于:所述蓝牙模块用于将摄像头采集到的虚拟键盘按键信息传输至移动终端,支持蓝牙连接,可连接到电脑、手机、平板电脑等移动终端,体积小巧,操作简单,方便携带,衣服口袋就能装下,各方面皆优于传统键盘。
CN201922284415.7U 2019-12-18 2019-12-18 一种基于机器视觉的便携式激光虚拟键盘 Expired - Fee Related CN211454535U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201922284415.7U CN211454535U (zh) 2019-12-18 2019-12-18 一种基于机器视觉的便携式激光虚拟键盘

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201922284415.7U CN211454535U (zh) 2019-12-18 2019-12-18 一种基于机器视觉的便携式激光虚拟键盘

Publications (1)

Publication Number Publication Date
CN211454535U true CN211454535U (zh) 2020-09-08

Family

ID=72300762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201922284415.7U Expired - Fee Related CN211454535U (zh) 2019-12-18 2019-12-18 一种基于机器视觉的便携式激光虚拟键盘

Country Status (1)

Country Link
CN (1) CN211454535U (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113175634A (zh) * 2021-04-26 2021-07-27 读书郎教育科技有限公司 一种智能台灯及其输入方法
CN116149430A (zh) * 2023-02-24 2023-05-23 苏州天立达精密科技股份有限公司 一种笔记本电脑触控板背光模组

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113175634A (zh) * 2021-04-26 2021-07-27 读书郎教育科技有限公司 一种智能台灯及其输入方法
CN116149430A (zh) * 2023-02-24 2023-05-23 苏州天立达精密科技股份有限公司 一种笔记本电脑触控板背光模组
CN116149430B (zh) * 2023-02-24 2024-01-12 苏州天立达精密科技股份有限公司 一种笔记本电脑触控板背光模组

Similar Documents

Publication Publication Date Title
CN108520241B (zh) 基于光学指纹技术的指纹采集方法、装置和用户终端
US6512838B1 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
CN111766937B (zh) 虚拟内容的交互方法、装置、终端设备及存储介质
US10365723B2 (en) Keyboard device with built-in sensor and light source module
CN211454535U (zh) 一种基于机器视觉的便携式激光虚拟键盘
US11971646B2 (en) Camera module, mobile terminal, and control method
CN109240582A (zh) 一种点读控制方法及智能设备
CN102945091B (zh) 一种基于激光投影定位的人机交互方法与系统
US11854310B2 (en) Face liveness detection method and related apparatus
CN109068043A (zh) 一种移动终端的图像成像方法及装置
CN206555794U (zh) 一种智能翻译台灯
CN108960179A (zh) 一种图像数据处理方法及移动终端
CA2942773C (en) System and method of pointer detection for interactive input
CN110489027A (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
RU118140U1 (ru) Персональный электронный коммуникатор
CN111766936A (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
CN115904201A (zh) 虚拟现实设备及其控制方法、装置以及计算机存储介质
CN110197159B (zh) 指纹采集方法及终端
JP4296607B2 (ja) 情報入出力装置及び情報入出力方法
CN113391732A (zh) 一种投影仪的交互方法、系统和计算机可读存储介质
CN201557146U (zh) 手机外壳和手机设备
CN209044429U (zh) 一种设备
CN106843601A (zh) 激光投射触摸屏幕的实现方法、可穿戴设备及移动终端
CN106445430A (zh) 用于交互界面的即时光色渲染系统和渲染方法及其应用
CN105657187A (zh) 一种可见光通信方法、设备及系统

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908

Termination date: 20201218

CF01 Termination of patent right due to non-payment of annual fee