CN108903664B - 一种基于图像处理的饮水机取水杯液位检测方法 - Google Patents

一种基于图像处理的饮水机取水杯液位检测方法 Download PDF

Info

Publication number
CN108903664B
CN108903664B CN201810730127.7A CN201810730127A CN108903664B CN 108903664 B CN108903664 B CN 108903664B CN 201810730127 A CN201810730127 A CN 201810730127A CN 108903664 B CN108903664 B CN 108903664B
Authority
CN
China
Prior art keywords
water
cup
liquid level
detection
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810730127.7A
Other languages
English (en)
Other versions
CN108903664A (zh
Inventor
吴忻生
李博文
游林儒
文小琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810730127.7A priority Critical patent/CN108903664B/zh
Publication of CN108903664A publication Critical patent/CN108903664A/zh
Application granted granted Critical
Publication of CN108903664B publication Critical patent/CN108903664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00Apparatus for making beverages
    • A47J31/44Parts or details or accessories of beverage-making apparatus
    • A47J31/4403Constructional details
    • A47J31/4457Water-level indicators
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J31/00Apparatus for making beverages
    • A47J31/44Parts or details or accessories of beverage-making apparatus
    • A47J31/46Dispensing spouts, pumps, drain valves or like liquid transporting devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

本发明公开了一种基于图像处理的饮水机取水杯液位检测方法,包括如下步骤:S1、检测是否有取水杯需要加水;S2、检测需要加水杯杯口中的最大内接圆,即为加水区域;S3、向加水区域内加水;S4、加水过程中采用图像识别动态检查加水区域内液位值,若达到指定液位高度则停止加水,反之,则返回步骤S3;S5、当水面相对稳定时,采用图像识别静态检查加水区域内液位值,若达到指定液位高度则停止检测过程,反之,则返回步骤S3。本发明简单易行,能够适应多种材质以及多种高度的取水杯完成自动加水及水满停水的功能。

Description

一种基于图像处理的饮水机取水杯液位检测方法
技术领域
本发明涉及取水杯液位控制领域,具体涉及一种基于图像处理的饮水机取水杯液位检测方法。
背景技术
目前液位检测的方法多种多样,如差压式液位检测、浮体式液位检测、电容式液位检测、声波液位检测等,每种方法在不同的环境下有着不同的应用。
上述的几种常见的液位检测技术主要分为两类:接触式液位检测和非接触式液位检测。由于取水杯中的水是要饮用的,必然要使用一种非接触式液位检测技术来检测水杯中的液位。上述的几种检测技术中压差式液位检测、浮体式液位检测和电容式液位检测属于接触式液位检测技术。声波液位检测则不能很好的识别较低的取水杯。另外一部分非接触式检测是通过传感器式智能水杯来实现的,传感器式智能水杯是通过在特定水杯的基础上进行改装,如在水杯的底部、侧壁加入压力传感器或者液位传感器等,尽管能够达到测试水杯的液位的目标,但是也有着很大的推广局限性,这是因为,所用的水杯都是经过特殊设计,不同于人们日常经常用到的普通水杯、纸杯,因而造成了使用层面的不便性以及通用性不强等问题。
因而水杯的液位检测不仅仅要满足非接触式检测的需要,也要满足通用性方面的考虑,能够检测市面上大部分水杯的液位,包括透明水杯和不透明水杯,一次性水杯等等。本发明采用的非接触式检测方案,是采用图像处理技术来识别各种常用取水杯中的液位高度,在液位识别准确的基础上增加了识别对象的通用性。
发明内容
本发明的目的是为了解决现有技术中的缺陷,提供了一种基于图像处理的饮水机取水杯液位检测方法,采用Hough变换寻找到杯口中的可加水区域并在此区域中进行动态液位检测和静态液位检测,实现了实时液位检测并且当液位到达指定高度时自动停止加水的功能。
本发明的目的可以通过采取如下技术方案达到:
一种基于图像处理的饮水机取水杯液位检测方法,包括如下步骤:
S1、检测是否有取水杯需要加水;
S2、检测需要加水杯杯口中的最大内接圆,即为加水区域;
S3、向加水区域内加水;
S4、加水过程中采用图像识别动态检查加水区域内液位值,若达到指定液位高度则停止加水,反之,则返回步骤S3;
S5、当水面相对稳定时,采用图像识别静态检查加水区域内液位值,若达到指定液位高度则停止检测过程,反之,则返回步骤S3。
进一步地,还包括步骤:
S6、当加水时间累积超过预设最长加水时间时,加水和检测过程结束。
进一步地,所述的步骤S1中,检测是否有取水杯需要加水具体包括:
在出水口正下方放置传感器,当有取水杯待加水时输出高电平,没有取水杯待加水时输出低电平,作为否有取水杯需要加水的检查结果。
进一步地,所述的传感器包括红外传感器、激光传感器或压敏传感器。
进一步地,所述步骤S1还包括步骤:
利用红外传感器检测取水杯是否为透明杯。
进一步地,所述的步骤S2具体包括:
S21、通过摄像头拍摄包含杯口形状的图片信息,并通过Sobel边缘检测得到杯口信息图像;
S22、通过第一次霍夫变换搜索杯口信息图像,粗定位杯口中的可加水区域;
S23、通过第二次霍夫变换在第一次搜索的范围中继续搜索,精确确定杯口中的可加水区域;
S23、对精确确定的可加水区域原图进行直方图均衡化以增加区域内水位与杯壁的灰度差;
S24、通过Sobel边缘检测得到可加水区域图像。
进一步地,步骤S21中,通过摄像头拍摄包含杯口形状的图片信息之前,还包括步骤:当检测加水杯是否为透明杯时,开启相应灯光辅助检测以增强图像信息,即采用杯底打光的背光方式打光,反之,则采用顶部打光的方式打光。
进一步地,所述的步骤S2还包括步骤:
S25、将可加水区域沿高度方向n等分为0至n-1层,设定预期加水液位高度为k,k∈[0,n-1]。
进一步地,所述的步骤S4和S5中,通过摄像头拍摄加水区域内液位值之前,若取水杯为透明杯则采用在放置摄像头的相对端打光以使液位信息更明显,若取水杯为非透明杯则采用取水杯顶部打光的方式打光。
进一步地,所述步骤S4中,动态检查加水区域内液位值时,缓存前两次动态检测的液位值,当连续3次动态检测输出同一液位x时,则认为动态检查的液位到达了x,若x大于设定值,则停止加水并执行步骤S5,若x小于设定值时,则继续加水并进入动态检测过程。
本发明相对于现有技术具有如下的优点及效果:
本发明的液位检测算法是采用已经得到充分发展的图像处理技术,将Hough变换原理加以结合应用,得到取水杯杯口区域的圆心和半径,接下来用动态检测和静态检测算法得到液位高度,具有着非接触式,适用性强,精度高的检测优势,简单易行,能够适应多种材质如陶瓷、塑料、玻璃等以及多种高度如65mm至145mm的取水杯完成自动加水及水满停水的功能,可以在取水杯中液位位于70%至90%时饮水机自动停止水加水。
附图说明
图1是本发明中液位检测方法的算法流程图;
图2是本发明中检测可加水区域过程S2算法流程图;
图3是本发明中检测可加水区域过程S2算法结果图;
图4是二维平面(x,y)中的点映射到参数平面(a,b,r)示意图;
图5是待加水取水杯的原始图像;
图6是待加水取水杯的杯口信息;
图7是空杯在原图中对可加水区域内图像做直方图均衡化后的图像;
图8是杯中水位上升到中等水位的图像;
图9是动态检查时杯中水位达到设定阈值时的图像。
图10是静态检查时杯中水位达到设定阈值时的图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
如图1所示,一种基于图像处理的饮水机取水杯液位检测方法,包括如下步骤:
S1、检测是否有取水杯需要加水;
S2、检测需要加水杯杯口中的最大内接圆,即为加水区域;
S3、向加水区域内加水;
S4、加水过程中采用图像识别动态检查加水区域内液位值,若达到指定液位高度则停止加水,反之,则返回步骤S3;
S5、当水面相对稳定时,采用图像识别静态检查加水区域内液位值,若达到指定液位高度则停止检测过程,反之,则返回步骤S3;
S6、当加水时间累积超过预设最长加水时间时,加水和检测过程结束。
具体而言,所述的步骤S1中,检测是否有取水杯需要加水具体包括:
在出水口正下方放置传感器,当有取水杯待加水时输出高电平,没有取水杯待加水时输出低电平,作为否有取水杯需要加水的检查结果。所述的传感器包括红外传感器、激光传感器或压敏传感器。
具体而言,为了区分透明接水杯和非透明接水杯,利用透明杯对于光有较低的折射和反射的性质,所述步骤S1还包括步骤:
利用红外传感器检测取水杯是否为透明杯。
如图2和图3所示,所述的步骤S2具体包括:
S21、通过摄像头拍摄包含杯口形状的图片信息(见图5),并通过Sobel边缘检测得到杯口信息图像(见图6);
S22、通过第一次霍夫变换搜索杯口信息图像,粗定位杯口中的可加水区域;
S23、通过第二次霍夫变换在第一次搜索的范围中继续搜索,精确确定杯口中的可加水区域;
S23、对精确确定的可加水区域原图进行直方图均衡化以增加区域内水位与杯壁的灰度差;
S24、通过Sobel边缘检测得到可加水区域图像(见图7)。
由于杯口形状会因摄像头放置角度的原因发生形变,所以在步骤S2中对于寻找杯口中的可加水区域采用了通过两次霍夫(Hough)变换寻找的方法:定位流程如图2所示,结果如图3所示。
利用两次霍夫变换在图像上寻找加水区域:第一次霍夫变换搜索用于粗定位杯口中的可加水区域,第二次霍夫变换在第一次搜索的范围中继续搜索,用于确定杯口中的可加水区域。其中本方法所用霍夫变换的原理如下:
圆的一般方程可写成:
(x-a)2+(y-b)2=r2 (1)
其中a,b为圆心,r为半径。现将在直角坐标系中的公式转换到极坐标系中:
Figure BDA0001720645090000071
其中θ∈[0,2π),由于一个圆可由一组参数a,b,r表示。所以将公式2写为:
Figure BDA0001720645090000072
其中θ∈[0,2π),由公式3可知,在固定半径r的情况下,二维平面(x,y)中的每个点映射到参数平面(a,b)为一个圆。进一步由此可以推知,在不固定半径r的情况下,二维平面(x,y)中的每个点映射到参数平面(a,b,r)为一个圆锥。如图4所示。
用如上所述方式,将二维平面(x,y)中的所有点都投影到参数平面(a,b,r)中,其中r∈[r0,r1],r的范围由人为预设。图像空间中每一个有效像素点都要通过一定的映射关系,对参量空间中的每一个点进行累加。最后,累加值高的点对应的3个参数a,b,r即确定一个可加水区域圆。
通过获取到的信息可将待加水的取水杯分为透明杯和非透明杯,为了更好的在图像中获得杯口及可加水区域内液位信息,步骤S21中,通过摄像头拍摄包含杯口形状的图片信息之前,还包括步骤:当检测加水杯是否为透明杯时,开启相应灯光辅助检测以增强图像信息,即采用杯底打光的背光方式打光,反之,则采用顶部打光的方式打光。同理,所述的步骤S4和S5中,通过摄像头拍摄加水区域内液位值之前,若取水杯为透明杯则采用在放置摄像头的相对端打光以使液位信息更明显,若取水杯为非透明杯则采用取水杯顶部打光的方式打光。
具体而言,所述的步骤S2还包括步骤:
S25、将可加水区域沿高度方向n等分为0至n-1层,设定预期加水液位高度为k,k∈[0,n-1]。
具体而言,所述步骤S4中,动态检查加水区域内液位值时,缓存前两次动态检测的液位值,当连续3次动态检测输出同一液位x时,则认为动态检查的液位到达了x,若x大于设定值,则停止加水并执行步骤S5,若x小于设定值时,则继续加水并进入动态检测过程。
基于实际实验,发现在动态加水和静态不加水相对稳定时水面有两种不同的模式,所以参照实际提出了一种动态检测与静态检测结合的液位检测方法。
动态检测与静态检测的特点:由于加水过程中水流会在杯中的水面上溅起水花,使其特征明显但不够稳定,动态检测过程的为直接输出检测到的最高液位;由于动态检测不够稳定的特点,需要在动态检测超出设定液位后,接着执行静态检测以确认动态检测的结果是否正确。当水面相对稳定时,测量结果较动态检测更为准确。静态检测过程的为:缓存前两次动态检测的液位值,当连续3次动态检测输出同一液位x时,此时静态检测认为液位到达了x。如果x大于设定值,则停止加水并继续静态检测。如果x小于设定值时,则开始加水并进入动态检测过程。虽然静态检测方法得出的液位较动态检测更准确,但并不是完全准确的,所以人为规定了一个最长加水超时时间,当检测时间超过设定时间时,加水和检测过程结束,认为完成了此杯的加水过程。
如图8-10所示,检测过程如下:在确定了杯口中的可加水区域后,将可加水区域n等分为0至n-1层。设定预期加水液位高度为k,k∈[0,n-1]。首先循环进行动态检测,期间一直加水直到当前液位高度高于设定液位;然后停止加水并进行静态检测确定当前液位,期间一直停止加水直到当前静态检测液位小于设定液位时开始加水并继续循环进行动态检测或者最后当检测时间超出加水最大超时时间时,停水并退出循环,这个杯子的加水过程结束。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (5)

1.一种基于图像处理的饮水机取水杯液位检测方法,其特征在于,包括如下步骤:
S1、检测是否有取水杯需要加水;检测是否有取水杯需要加水具体包括:
在出水口正下方放置传感器,当有取水杯待加水时输出高电平,没有取水杯待加水时输出低电平,作为否有取水杯需要加水的检查结果;
S2、检测需要加水杯杯口中的最大内接圆,即为加水区域;具体包括:
S21、通过摄像头拍摄包含杯口形状的图片信息,并通过Sobel边缘检测得到杯口信息图像;
S22、通过第一次霍夫变换搜索杯口信息图像,粗定位杯口中的可加水区域;通过摄像头拍摄包含杯口形状的图片信息之前,还包括步骤:当检测加水杯是否为透明杯时,开启相应灯光辅助检测以增强图像信息,即采用杯底打光的背光方式打光,反之,则采用顶部打光的方式打光;
S23、通过第二次霍夫变换在第一次搜索的范围中继续搜索,精确确定杯口中的可加水区域;
S23、对精确确定的可加水区域原图进行直方图均衡化以增加区域内水位与杯壁的灰度差;
S24、通过Sobel边缘检测得到可加水区域图像;
S3、向加水区域内加水;
S4、加水过程中采用图像识别动态检查加水区域内液位值,若达到指定液位高度则停止加水,反之,则返回步骤S3;动态检查加水区域内液位值时,缓存前两次动态检测的液位值,当连续3次动态检测输出同一液位x时,则认为动态检查的液位到达了x,若x大于设定值,则停止加水并执行步骤S5,若x小于设定值时,则继续加水并进入动态检测过程;
S5、当水面相对稳定时,采用图像识别静态检查加水区域内液位值,若达到指定液位高度则停止检测过程,反之,则返回步骤S3;
S6、当加水时间累积超过预设最长加水时间时,加水和检测过程结束。
2.根据权利要求1所述的一种基于图像处理的饮水机取水杯液位检测方法,其特征在于,所述的传感器包括红外传感器、激光传感器或压敏传感器。
3.根据权利要求1所述的一种基于图像处理的饮水机取水杯液位检测方法,其特征在于,所述步骤S1还包括步骤:
利用红外传感器检测取水杯是否为透明杯。
4.根据权利要求1所述的一种基于图像处理的饮水机取水杯液位检测方法,其特征在于,所述的步骤S2还包括步骤:
S25、将可加水区域沿高度方向n等分为0至n-1层,设定预期加水液位高度为k,
Figure 860317DEST_PATH_IMAGE002
5.根据权利要求1所述的一种基于图像处理的饮水机取水杯液位检测方法,其特征在于,所述的步骤S4和S5中,通过摄像头拍摄加水区域内液位值之前,若取水杯为透明杯则采用在放置摄像头的相对端打光以使液位信息更明显,若取水杯为非透明杯则采用取水杯顶部打光的方式打光。
CN201810730127.7A 2018-07-05 2018-07-05 一种基于图像处理的饮水机取水杯液位检测方法 Active CN108903664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810730127.7A CN108903664B (zh) 2018-07-05 2018-07-05 一种基于图像处理的饮水机取水杯液位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810730127.7A CN108903664B (zh) 2018-07-05 2018-07-05 一种基于图像处理的饮水机取水杯液位检测方法

Publications (2)

Publication Number Publication Date
CN108903664A CN108903664A (zh) 2018-11-30
CN108903664B true CN108903664B (zh) 2021-07-20

Family

ID=64424650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810730127.7A Active CN108903664B (zh) 2018-07-05 2018-07-05 一种基于图像处理的饮水机取水杯液位检测方法

Country Status (1)

Country Link
CN (1) CN108903664B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211093A (zh) * 2019-04-30 2019-09-06 上海工程技术大学 一种用于自动饮水机的出水控制方法
CN113405311A (zh) * 2020-03-16 2021-09-17 青岛海尔电冰箱有限公司 自动供水装置、具有其的冰箱及自动供水方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141546A (ja) * 1999-09-03 2001-05-25 Mitsubishi Electric Corp レベル計測装置
JP2006300875A (ja) * 2005-04-25 2006-11-02 Olympus Corp 液面検出方法、液量検出方法、液面検出装置、液量検出装置および分注装置
JP2011037488A (ja) * 2009-08-11 2011-02-24 Tosho Inc 水剤分注機
CN101995281A (zh) * 2010-09-29 2011-03-30 联宇工程技术(武汉)有限公司 一种基于数字图像处理的水位测量方法
CN102494733A (zh) * 2011-12-12 2012-06-13 西安电子科技大学 基于图像处理的水位监测系统及方法
CN103017869A (zh) * 2012-11-28 2013-04-03 华南农业大学 一种基于数字图像处理的水位测定系统及方法
US9497378B1 (en) * 2015-07-09 2016-11-15 Hon Hai Precision Industry Co., Ltd. Electronic device and mehod for controlling operation of cooking equipment
CN107131925A (zh) * 2017-04-28 2017-09-05 南京邮电大学 一种基于图像处理的水位实时监测方法
CN107720841A (zh) * 2017-10-20 2018-02-23 珠海格力电器股份有限公司 一种水处理设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141546A (ja) * 1999-09-03 2001-05-25 Mitsubishi Electric Corp レベル計測装置
JP2006300875A (ja) * 2005-04-25 2006-11-02 Olympus Corp 液面検出方法、液量検出方法、液面検出装置、液量検出装置および分注装置
JP2011037488A (ja) * 2009-08-11 2011-02-24 Tosho Inc 水剤分注機
CN101995281A (zh) * 2010-09-29 2011-03-30 联宇工程技术(武汉)有限公司 一种基于数字图像处理的水位测量方法
CN102494733A (zh) * 2011-12-12 2012-06-13 西安电子科技大学 基于图像处理的水位监测系统及方法
CN103017869A (zh) * 2012-11-28 2013-04-03 华南农业大学 一种基于数字图像处理的水位测定系统及方法
US9497378B1 (en) * 2015-07-09 2016-11-15 Hon Hai Precision Industry Co., Ltd. Electronic device and mehod for controlling operation of cooking equipment
CN107131925A (zh) * 2017-04-28 2017-09-05 南京邮电大学 一种基于图像处理的水位实时监测方法
CN107720841A (zh) * 2017-10-20 2018-02-23 珠海格力电器股份有限公司 一种水处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像处理的罐体液位检测方法的研究;杨秀君;《中国优秀硕士学位论文全文数据库信息科技辑》;20100115(第01期);5-45 *

Also Published As

Publication number Publication date
CN108903664A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
CN108903664B (zh) 一种基于图像处理的饮水机取水杯液位检测方法
ES2714172T5 (es) Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas
CN103530618A (zh) 一种基于角膜反射的非接触式视线追踪方法
WO2012011221A1 (ja) 瞳孔検出装置及び瞳孔検出方法
CN103314293A (zh) 用于检测器皿内的液体表面上的泡沫的方法和设备
CN100437187C (zh) 测量设备
US20070291001A1 (en) Optical navigation sensor with tracking and lift detection for optically transparent contact surfaces
TW200414072A (en) Iris extraction method
WO2012037528A2 (en) Systems and methods for automated water detection using visible sensors
RU2017139578A (ru) Устройство, система и способ определения межзрачкового расстояния
WO2000045136A3 (en) Volume measurement system and method for volume element counting
CN103217108A (zh) 一种眼镜架几何参数检测方法
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
JP6760878B2 (ja) 油膜検出システム及び油膜検出方法
US8837778B1 (en) Pose tracking
KR101674298B1 (ko) 카메라 렌즈 초점거리 정보를 이용한 거리계산 방법
EP3905124A3 (en) Three-dimensional object detecting method, apparatus, device, and storage medium
CN114565848B (zh) 一种复杂场景的药液液位检测方法及系统
CN110345924A (zh) 一种距离获取的方法和装置
CN111329355A (zh) 控制出液装置的方法及出液装置
CN112255239B (zh) 污染位置检测方法、装置、设备及计算机可读存储介质
Li et al. Deep learning-based interference fringes detection using convolutional neural network
US10528853B1 (en) Shape-Based Edge Detection
US9456187B1 (en) Edge-based pose detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant