CN108519734A - 一种确定表面指针位置的系统 - Google Patents

一种确定表面指针位置的系统 Download PDF

Info

Publication number
CN108519734A
CN108519734A CN201810252412.2A CN201810252412A CN108519734A CN 108519734 A CN108519734 A CN 108519734A CN 201810252412 A CN201810252412 A CN 201810252412A CN 108519734 A CN108519734 A CN 108519734A
Authority
CN
China
Prior art keywords
image
pointer
processor
image processing
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810252412.2A
Other languages
English (en)
Other versions
CN108519734B (zh
Inventor
苏江
范凤华
黄树志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Happy Intelligent Technology Co Ltd
Original Assignee
Guangdong Happy Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Happy Intelligent Technology Co Ltd filed Critical Guangdong Happy Intelligent Technology Co Ltd
Priority to CN201810252412.2A priority Critical patent/CN108519734B/zh
Publication of CN108519734A publication Critical patent/CN108519734A/zh
Priority to PCT/CN2019/076213 priority patent/WO2019184642A1/zh
Application granted granted Critical
Publication of CN108519734B publication Critical patent/CN108519734B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G04HOROLOGY
    • G04DAPPARATUS OR TOOLS SPECIALLY DESIGNED FOR MAKING OR MAINTAINING CLOCKS OR WATCHES
    • G04D7/00Measuring, counting, calibrating, testing or regulating apparatus
    • G04D7/004Optical measuring and testing apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种确定表面指针位置的系统,所述系统包括智能手表和智能手机;所述智能手表包括实体指针、控制实体指针转动的驱动装置以及控制驱动装置的MCU;所述智能手机包括处理器和摄像头;所述摄像头可对所述手表的表面进行实时拍摄得到视频;所述处理器包括图像处理单元,所述图像处理单元可对所述视频进行识别,所述识别为提取所述视频的图像进行识别;所述处理器还包括计算单元,所述计算单元可对指针的位置进行计算,得出指针与参考点的角度。通过上述的技术方案,一是可以精确地、实时地计算出手表的指针在表面所处的位置,二是对手机的处理器要求不高,识别采用异步处理,让手机APP不会变卡,并且采用选择性忽略图像帧方式,让低端手机,就算不能快速地处理图像,也可以表现地非常流畅。

Description

一种确定表面指针位置的系统
技术领域
本发明涉及确定表面指针位置的系统。
背景技术
目前智能实体指针手表校准较为麻烦,需要肉眼识别,手动调整。我司曾开发出利用拍照图片进行对时的方法,此方法给予手机拍照对画面的识别非常准的前提,而且,拍照的图像属于瞬时动作,画面是固定的,在拍完照到对照片处理完成期间,时间是走动的,因此,此过程可能存在一定的误差,需要大量的纠正算法去纠时。
发明内容,
基于上述技术问题,本发明提供一种确定表面指针位置的系统,该系统借助手机视频拍摄,从数据图像中识别定位指针当前位置,并将当前位置及需要调整的角度通过蓝牙发送到手表上面,手表根据指令调整到正确的位置。目前根据测试准确率极高。大大方便的用户的使用,提高了用户体验。
本发明的具体技术方案如下:
一种确定表面指针位置的系统,所述系统包括智能手表和智能手机;
所述智能手表包括实体指针、控制实体指针转动的驱动装置以及控制驱动装置的MCU;
所述智能手机包括处理器和摄像头;
所述摄像头可对所述手表的表面进行实时拍摄得到视频;
所述处理器包括图像处理单元,所述图像处理单元可对所述视频进行识别,所述识别为提取所述视频的图像进行识别;
所述处理器还包括计算单元,所述计算单元可对指针的位置进行计算,得出指针与参考点的角度。
进一步地,所述图像处理单元根据所述处理器的处理速度进行提取,若当前图像未处理完毕,则发送过来的图像略过不提取进行识别,直至当前图像处理完毕再提取处理完毕之后发送到处理器的第一帧图像。
进一步地,所述图像处理单元存储从视频中提取的图片,先对图像进行灰度化处理,使其由4通道图像生成1通道的灰度图像,然后采用霍夫变换图像处理,根据表盘的形状在所述灰度图像中对表盘进行定位,得到定位矩阵,用该定位矩阵去裁剪所述步骤二中提取的图像,去掉所述图像中处于定位矩阵之外的区域,保留所述步骤二中提取的图像的定位矩阵范围内的图像,该部分图像称为定位图像。
进一步地,所述图像处理单元可对所述定位图像进行边缘化处理,使得所述定位图像仅剩下线条。
进一步地,所述图像处理单元对所述定位图像中的线条中的无效线条进行处理:
所述处理器包括存储单元,所述存储单元存储有第一阈值、第二阈值;
所述图像处理单元计算所述定位图像中的线条到表盘中心店的最短距离H以及线段的长度L,若所述H小于所述第一阈值,且所述L大于所述第二阈值,则判断该线条为指针,所述图像处理单元过滤掉非指针的线条。
进一步地,所述智能手表的表盘上设置有一参考点,所述参考点为具有颜色的参考点,所述图像处理单元对所述定位图像进行颜色识别并判断出颜色点,将该颜色点的位置坐标发送至所述计算单元,所述计算单元计算该颜色点与表盘中心点的连线与指针的角度。
进一步地,所述计算单元可对第三阈值数量内的角度数值进行筛选,取其中出现概率最大的一个角度将其发送给所述处理器,并记做指针偏离参考点的角度数值。
通过上述的技术方案,一是可以精确地、实时地计算出手表的指针在表面所处的位置,二是对手机的处理器要求不高,识别采用异步处理,让手机APP不会变卡,并且采用选择性忽略图像帧方式,让低端手机,就算不能快速地处理图像,也可以表现地非常流畅。
具体实施方式
以下对本发明的技术方案进行详尽地阐述。
本发明只要解决图像识别、噪声过来及时间校准三方面的算法问题,以及实际对于手机处理器的要求不同的优化问题。
表面指针的提取已经有了图像的提取,但是,图像的提取由于存在光线、颜色的问题,单张图片比较难以比较准确地确定指针的位置,而拍摄多张图片则由于拍摄的时间间隔问题,导致指针存在非常大的几率走动。
本发明采用视频提取图片的方式,视频具有连续性,且视频中1秒钟可以提取很多帧的图片,对其中的若干帧进行处理时,指针的位置基本不变。
具体的技术方案如下,一种确定表面指针位置的系统,所述系统包括智能手表和智能手机;
所述智能手表包括实体指针、控制实体指针转动的驱动装置以及控制驱动装置的MCU;
所述智能手机包括处理器和摄像头;
所述摄像头可对所述手表的表面进行实时拍摄得到视频;
所述处理器包括图像处理单元,所述图像处理单元可对所述视频进行识别,所述识别为提取所述视频的图像进行识别;
所述处理器还包括计算单元,所述计算单元可对指针的位置进行计算,得出指针与参考点的角度。
进一步地,所述图像处理单元根据所述处理器的处理速度进行提取,若当前图像未处理完毕,则发送过来的图像略过不提取进行识别,直至当前图像处理完毕再提取处理完毕之后发送到处理器的第一帧图像。
进一步地,所述图像处理单元存储从视频中提取的图片,先对图像进行灰度化处理,使其由4通道图像生成1通道的灰度图像,然后采用霍夫变换图像处理,根据表盘的形状在所述灰度图像中对表盘进行定位,得到定位矩阵,用该定位矩阵去裁剪所述步骤二中提取的图像,去掉所述图像中处于定位矩阵之外的区域,保留所述步骤二中提取的图像的定位矩阵范围内的图像,该部分图像称为定位图像。
进一步地,所述图像处理单元可对所述定位图像进行边缘化处理,使得所述定位图像仅剩下线条。
进一步地,所述图像处理单元对所述定位图像中的线条中的无效线条进行处理:
所述处理器包括存储单元,所述存储单元存储有第一阈值、第二阈值;
所述图像处理单元计算所述定位图像中的线条到表盘中心店的最短距离H以及线段的长度L,若所述H小于所述第一阈值,且所述L大于所述第二阈值,则判断该线条为指针,所述图像处理单元过滤掉非指针的线条。
进一步地,所述智能手表的表盘上设置有一参考点,所述参考点为具有颜色的参考点,所述图像处理单元对所述定位图像进行颜色识别并判断出颜色点,将该颜色点的位置坐标发送至所述计算单元,所述计算单元计算该颜色点与表盘中心点的连线与指针的角度。
进一步地,所述计算单元可对第三阈值数量内的角度数值进行筛选,取其中出现概率最大的一个角度将其发送给所述处理器,并记做指针偏离参考点的角度数值。
通过上述的技术方案,一是可以精确地、实时地计算出手表的指针在表面所处的位置,二是对手机的处理器要求不高,识别采用异步处理,让手机APP不会变卡,并且采用选择性忽略图像帧方式,让低端手机,就算不能快速地处理图像,也可以表现地非常流畅。
通过上述系统实现确定表面指针位置的具体步骤如下:
首先,利用手机,当然,更优选地是具有IOS系统的手机对手表的表面进行实时拍摄,得到视频,然后对视频进行处理。
对视频进行处理时,由于视频拍摄的帧数较多,限于处理器的处理能力,最理想的状态是处理器对每帧图像都进行处理计算,但是实际上,在对图像进行处理的时候,处理器很有可能在下一帧图像发过来的时候对当前图像还没有处理完,此时,处理器可忽略该发过来的下一帧图像,直至处理器处理完当前的图像。
当然,也可以进行强制处理,如按照规律,将当前正在处理的图像编号为第0号图像,后面的图像按照自然数进行编号,取2的倍数、3的倍数或者4的倍数的帧图像进行处理。当前图像未处理完,可强制停止当前处理,进而处理按规律发送过来的图像。
提取好图像后,为了更好的定位到表盘,减少其他因素(比如光线、颜色)的干扰,对图像进行灰度化,由原来的4通道图像,生成1通道的灰度图像,可以降低对手机性能的要求。再针对灰度图像进行高斯滤波处理,平滑灰度图像。
由于表盘具有特殊性,具有特定的几何图形,所述采用霍夫变换图像处理可以对表盘进行定位,如当变盘是方形时,可以定位出一个定位矩阵,该定位矩阵内的范围就是表盘的范围。或者当表盘是圆形的时候,也可以定位出一个矩阵,该矩阵内的范围就是表盘的范围。甚至,当表盘是圆形的时候定位出一个方形的矩阵时,可以采用全黑或者全白去填充圆方之间的空缺。
利用定位矩阵或者定位矩阵的边缘去裁剪提取的图像(该图像并非上述的灰度图像,二是从视频中提取出来的具有颜色的图像),使得该具有颜色的图像只有表盘的区域。裁剪后的图像可以定义为定位图像。
然后对该定位图像进行边缘化处理,使得图像仅剩下线条,再利用霍夫线条变换去寻找直线,此时寻找的直线非常多,需要过滤掉无效的线段。无效线段的过滤方法如下:
过滤无效采用的方法是,判断表盘中心点到线段的最短距离小于特定的阀值(根据实际情况调整),并且,线段长度大于等于某个阀值(根据表盘指针的距离长度决定)认为是有效的。
当然,在实际操作的过程中,可能存在两个指针重合或者基本重合(两指针偏离的角度不超过2度或者更小的角度),则手机发送信号至手表,让手表的上述两个指针中的任一指针先转动一定的角度。
在拍摄的时候,大部分时候,手机可手表均不是正对拍摄的,为了适配手表不一定是摆正扫描,需要给指针找一个基准点,如12点钟方向的基准点,我们可选取在12点钟的方向设置一个具有颜色的颜色点,如红色。
处理器采用颜色识别的方式,对颜色点(红色点)的位置进行判断,确认红色点算法是根据图像像素的RGB值(0-255),R减去G大于等于80并缺R减去B大于等于80认为是红色点。
根据线段的长度和角度区别分针、时针,有秒针的还可以区分秒针,最终结合中心点算出每个指针偏离12点钟的角度。
提取的图像都计算一次,一个计算完之后,对后续传送的帧图像再进行计算,如计算10次,取10次中出现概率最大的一个角度作为指针偏离颜色点的角度。如10次中,出现了3次14度,4次15度,3次16度,则取15度为该指针偏离颜色点的角度。
通过上述的技术方案,一是可以精确地、实时地计算出手表的指针在表面所处的位置,二是对手机的处理器要求不高,识别采用异步处理,让手机APP不会变卡,并且采用选择性忽略图像帧方式,让低端手机,就算不能快速地处理图像,也可以表现地非常流畅。

Claims (7)

1.一种确定表面指针位置的系统,所述系统包括智能手表和智能手机;
所述智能手表包括实体指针、控制实体指针转动的驱动装置以及控制驱动装置的MCU;
所述智能手机包括处理器和摄像头;
所述摄像头可对所述手表的表面进行实时拍摄得到视频;
所述处理器包括图像处理单元,所述图像处理单元可对所述视频进行识别,所述识别为提取所述视频的图像进行识别;
所述处理器还包括计算单元,所述计算单元可对指针的位置进行计算,得出指针与参考点的角度。
2.根据权利要求1所述的一种确定表面指针位置的系统,其特征在于,所述图像处理单元根据所述处理器的处理速度进行提取,若当前图像未处理完毕,则发送过来的图像略过不提取进行识别,直至当前图像处理完毕再提取处理完毕之后发送到处理器的第一帧图像。
3.根据权利要求2所述的一种确定表面指针位置的系统,其特征在于,所述图像处理单元存储从视频中提取的图片,先对图像进行灰度化处理,使其由4通道图像生成1通道的灰度图像,然后采用霍夫变换图像处理,根据表盘的形状在所述灰度图像中对表盘进行定位,得到定位矩阵,用该定位矩阵去裁剪所述步骤二中提取的图像,去掉所述图像中处于定位矩阵之外的区域,保留所述步骤二中提取的图像的定位矩阵范围内的图像,该部分图像称为定位图像。
4.根据权利要求3所述的一种确定表面指针位置的系统,其特征在于,所述图像处理单元可对所述定位图像进行边缘化处理,使得所述定位图像仅剩下线条。
5.根据权利要求4所述的一种确定表面指针位置的系统,其特征在于,所述图像处理单元对所述定位图像中的线条中的无效线条进行处理:
所述处理器包括存储单元,所述存储单元存储有第一阈值、第二阈值;
所述图像处理单元计算所述定位图像中的线条到表盘中心店的最短距离H以及线段的长度L,若所述H小于所述第一阈值,且所述L大于所述第二阈值,则判断该线条为指针,所述图像处理单元过滤掉非指针的线条。
6.根据权利要求5所述的一种确定表面指针位置的系统,其特征在于,所述智能手表的表盘上设置有一参考点,所述参考点为具有颜色的参考点,所述图像处理单元对所述定位图像进行颜色识别并判断出颜色点,将该颜色点的位置坐标发送至所述计算单元,所述计算单元计算该颜色点与表盘中心点的连线与指针的角度。
7.根据权利要求6所述的一种确定表面指针位置的系统,其特征在于,所述计算单元可对第三阈值数量内的角度数值进行筛选,取其中出现概率最大的一个角度将其发送给所述处理器,并记做指针偏离参考点的角度数值。
CN201810252412.2A 2018-03-26 2018-03-26 一种确定表面指针位置的系统 Expired - Fee Related CN108519734B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810252412.2A CN108519734B (zh) 2018-03-26 2018-03-26 一种确定表面指针位置的系统
PCT/CN2019/076213 WO2019184642A1 (zh) 2018-03-26 2019-02-27 一种确定表面指针位置的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810252412.2A CN108519734B (zh) 2018-03-26 2018-03-26 一种确定表面指针位置的系统

Publications (2)

Publication Number Publication Date
CN108519734A true CN108519734A (zh) 2018-09-11
CN108519734B CN108519734B (zh) 2019-09-10

Family

ID=63434366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810252412.2A Expired - Fee Related CN108519734B (zh) 2018-03-26 2018-03-26 一种确定表面指针位置的系统

Country Status (1)

Country Link
CN (1) CN108519734B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184642A1 (zh) * 2018-03-26 2019-10-03 广东乐芯智能科技有限公司 一种确定表面指针位置的方法及系统
CN110673461A (zh) * 2019-09-23 2020-01-10 江苏乐芯智能科技有限公司 一种手表指针位置识别和手表对时的方法
CN111240184A (zh) * 2020-02-21 2020-06-05 华为技术有限公司 钟表误差的确定方法、终端、计算机存储介质
CN111458337A (zh) * 2019-03-18 2020-07-28 珠海经济特区南森科技有限公司 一种钟表检测装置及其检测方法
CN111769768A (zh) * 2020-05-29 2020-10-13 广东乐芯智能科技有限公司 一种手表步进电机驱动补偿方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038887A (zh) * 1988-06-21 1990-01-17 天津市第二手表厂 指针式钟手表实走日差测试方法
CN1981519A (zh) * 2004-07-08 2007-06-13 飞思卡尔半导体公司 用于显示图像帧序列的方法和系统
CN102799867A (zh) * 2012-07-09 2012-11-28 哈尔滨工业大学 基于图像处理的仪表指针转角识别方法
CN103229112A (zh) * 2010-11-26 2013-07-31 斯沃奇集团研究和开发有限公司 测量机械表的精度的方法
EP2955596A2 (en) * 2014-06-12 2015-12-16 Withings Analog type watch and time setting method
CN105527834A (zh) * 2016-02-29 2016-04-27 仇磊 智能指针式石英手表时间校准方法
CN105550689A (zh) * 2015-12-04 2016-05-04 联想(北京)有限公司 信息处理方法、第一电子设备及第二电子设备
CN105723286A (zh) * 2013-11-12 2016-06-29 精工电子有限公司 时刻修正系统、电子设备、钟表以及程序
CN105955011A (zh) * 2016-04-21 2016-09-21 深圳欧德蒙科技有限公司 一种智能校时的方法和装置
CN106228170A (zh) * 2016-09-20 2016-12-14 山东省计量科学研究院 一种指针式仪表的指针位置提取方法
CN106446913A (zh) * 2016-09-20 2017-02-22 山东省计量科学研究院 一种多表盘指针式仪表的指针位置提取方法
CN107024860A (zh) * 2017-05-18 2017-08-08 广东乐源数字技术有限公司 一种可通过图像识别进行手表对时的系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038887A (zh) * 1988-06-21 1990-01-17 天津市第二手表厂 指针式钟手表实走日差测试方法
CN1981519A (zh) * 2004-07-08 2007-06-13 飞思卡尔半导体公司 用于显示图像帧序列的方法和系统
CN103229112A (zh) * 2010-11-26 2013-07-31 斯沃奇集团研究和开发有限公司 测量机械表的精度的方法
CN102799867A (zh) * 2012-07-09 2012-11-28 哈尔滨工业大学 基于图像处理的仪表指针转角识别方法
CN105723286A (zh) * 2013-11-12 2016-06-29 精工电子有限公司 时刻修正系统、电子设备、钟表以及程序
EP2955596A2 (en) * 2014-06-12 2015-12-16 Withings Analog type watch and time setting method
CN105550689A (zh) * 2015-12-04 2016-05-04 联想(北京)有限公司 信息处理方法、第一电子设备及第二电子设备
CN105527834A (zh) * 2016-02-29 2016-04-27 仇磊 智能指针式石英手表时间校准方法
CN105955011A (zh) * 2016-04-21 2016-09-21 深圳欧德蒙科技有限公司 一种智能校时的方法和装置
CN106228170A (zh) * 2016-09-20 2016-12-14 山东省计量科学研究院 一种指针式仪表的指针位置提取方法
CN106446913A (zh) * 2016-09-20 2017-02-22 山东省计量科学研究院 一种多表盘指针式仪表的指针位置提取方法
CN107024860A (zh) * 2017-05-18 2017-08-08 广东乐源数字技术有限公司 一种可通过图像识别进行手表对时的系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184642A1 (zh) * 2018-03-26 2019-10-03 广东乐芯智能科技有限公司 一种确定表面指针位置的方法及系统
CN111458337A (zh) * 2019-03-18 2020-07-28 珠海经济特区南森科技有限公司 一种钟表检测装置及其检测方法
CN110673461A (zh) * 2019-09-23 2020-01-10 江苏乐芯智能科技有限公司 一种手表指针位置识别和手表对时的方法
CN111240184A (zh) * 2020-02-21 2020-06-05 华为技术有限公司 钟表误差的确定方法、终端、计算机存储介质
CN111240184B (zh) * 2020-02-21 2021-12-31 华为技术有限公司 钟表误差的确定方法、终端、计算机存储介质
CN111769768A (zh) * 2020-05-29 2020-10-13 广东乐芯智能科技有限公司 一种手表步进电机驱动补偿方法
CN111769768B (zh) * 2020-05-29 2021-12-14 淮北微立淘科技有限公司 一种手表步进电机驱动补偿方法

Also Published As

Publication number Publication date
CN108519734B (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN108519734B (zh) 一种确定表面指针位置的系统
EP2426642B1 (en) Method, device and system for motion detection
EP3296953A1 (en) Method and device for processing depth images
EP1895469A2 (en) Image display apparatus, image display method, and image display program
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN108549845A (zh) 一种确定表面指针位置的方法
CN107622497B (zh) 图像裁剪方法、装置、计算机可读存储介质和计算机设备
CN106875341B (zh) 畸变图像校正方法及其定位方法
US8810665B2 (en) Imaging device and method to detect distance information for blocks in secondary images by changing block size
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN105120148A (zh) 一种自动聚焦的方法以及终端
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
JP2016134723A (ja) 撮像装置、撮像方法及び撮像動作制御プログラム
CN106937059A (zh) 基于Kinect的影像合成方法和系统
CN111798374B (zh) 一种图像拼接方法、装置、设备及介质
JP2006226965A (ja) 画像処理装置、コンピュータプログラム、及び画像処理方法
CN108833774A (zh) 拍照控制方法、装置和无人机系统
CN112446251A (zh) 图像处理方法及相关装置
CN111222537A (zh) 可快速制作并传播增强现实系统及方法
CN113938578A (zh) 一种图像虚化方法、存储介质及终端设备
US20130044212A1 (en) Imaging device and distance information detecting method
CN114037758B (zh) 基于图像的摄像机姿态感知系统
CN108682034A (zh) 一种基于安卓系统的智能手表实体指针的确位方法
CN108805888A (zh) 一种确定智能手表表面实体指针位置的系统
CN104881107B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910

CF01 Termination of patent right due to non-payment of annual fee