CN110084798B - 一种瓜果的方位检测及调整方法、装置和存储介质 - Google Patents
一种瓜果的方位检测及调整方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110084798B CN110084798B CN201910339222.9A CN201910339222A CN110084798B CN 110084798 B CN110084798 B CN 110084798B CN 201910339222 A CN201910339222 A CN 201910339222A CN 110084798 B CN110084798 B CN 110084798B
- Authority
- CN
- China
- Prior art keywords
- fruit
- melon
- fault
- time length
- fruits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Sorting Of Articles (AREA)
Abstract
本发明涉及图像识别技术领域,尤其涉及一种瓜果的方位检测及调整方法、装置和存储介质。该种瓜果的方位检测及调整方法,包括故障监测步骤:在翻转瓜果过程中,从同一视角下获取瓜果的图像信号,并识别图像信号中果蒂和/或果脐的所处位置;判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长,如果是,则判定为故障。本发明用以监控由于瓜果表皮凹凸不平、形状不规则导致的瓜果无法有效翻转的故障问题。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种瓜果的方位检测及调整方法、装置和存储介质。
背景技术
近年来随着山区种植业的飞速发展,瓜果的产量和种类也随之大增,为此瓜果的销售和深加工问题显得越来越重要。瓜果的深加工首先涉及到如何削皮和去核,目前常用的方法有两种:一是手工直接对瓜果进行削皮和去核操作,二是使用瓜果去核削皮设备。使用人工的加工不仅费时费力,而且不卫生;使用机器削皮去核,在削皮去核操作之前如果不调整瓜果的方位,也会存在削皮去核效果不佳、果肉损失大等问题。但是如果依赖人工调整方位的话,不仅效率不高、浪费人力,而且瓜果削皮去核装置中的刀具也可能误伤操作人员。因此,用于自动调整瓜果方位的机器应时而生,例如一种瓜果转动装置,包括基座和设置于基座上的至少三个履带单元,各履带单元呈圆周阵列分布,各履带单元均自底部往顶部朝外倾斜,各履带单元用于共同承托瓜果,各履带单元中的履带运动时使瓜果转动,在瓜果转动装置的正上方设置摄像装置,就能够观察到水果转动的情况。但是大多数天然生长的瓜果可能存在表皮凹凸不平、形状不规则的问题,因此在机器上调整方位时可能会出现无法有效翻转的故障,导致机器不能正常运行,甚至在这一过程中会损坏瓜果。
发明内容
本发明公开了一种瓜果的方位检测及调整方法、装置和存储介质,用以监控由于瓜果表皮凹凸不平、形状不规则导致的瓜果无法有效翻转的故障问题。
为了达到上述目的,本发明采用如下技术方案:
一种瓜果的方位检测及调整方法,包括故障监测步骤:在翻转瓜果过程中,从同一视角下获取瓜果的图像信号,并识别图像信号中果蒂和/或果脐的所处位置;判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长,如果是,则判定为故障。
进一步地,判断相邻帧的图像信号中果蒂和/或果脐所处位置是否一致,如果是,则对计数器进行累加,如果否,则将计数器清零;如果计数器累加值超过阈值,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。
进一步地,每间隔时长T获取一次图像信号,判断相邻两次图像信号中果蒂和/或果脐所处位置是否一致,如果是,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。
进一步地,如判定发生故障,执行故障消除步骤:判定为故障后,改变瓜果转动装置的运动模式。
进一步地,改变瓜果转动装置的运动模式后,再次执行故障检测步骤。
进一步地,预设故障时长阈值;故障发生时,启动计算故障发生时长,如故障时长超过故障时长阈值,则发出故障警报,如故障被消除,则清零故障发生时长。
进一步地,改变瓜果转动装置的运动模式的方法包括改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小。
进一步地,所述瓜果转动装置包括基座和设置于基座上的至少三个履带单元,各所述履带单元呈圆周阵列分布,各所述履带单元均自底部往顶部朝外倾斜,各所述履带单元用于共同承托所述瓜果,并使所述瓜果转动;改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小的方法为改变各履带单元中履带的运动方向和/或运动速度。
进一步地,如图像信号中未识别到果蒂和果脐,则判断图像信号中未识别到果蒂和果脐的时长是否超过第二预设时长阈值,如果是,则判定为故障。
进一步地,所述第二预设时长阈值大于第一预设时长阈值。
一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被执行时实现上述的瓜果的方位检测及调整方法。
一种瓜果的方位检测及调整装置,包括摄像装置、瓜果转动装置、处理器、存储介质和存储在所述存储介质上并可在所述处理器上执行的计算机程序;所述计算机程序被处理器执行时实现上述的瓜果的方位检测及调整方法。
与现有技术相比,本发明的有益效果为:本发明的瓜果的方位检测及调整方法,包括故障监测步骤:在翻转瓜果过程中,从同一视角下获取瓜果的图像信号,并识别图像信号中果蒂和/或果脐的所处位置;判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长,如果是,则判定为故障。可以智能的监控由于瓜果表皮凹凸不平、形状不规则导致的瓜果无法有效翻转的故障问题,使得能够及时发现故障,减少故障时间,提高效率,也避免瓜果长时间无法有效翻转导致的损坏。
附图说明
图1为本发明的瓜果的方位检测及调整方法的流程框图;
图2为摄像装置与瓜果转动装置的位置关系与结构示意图。
具体实施方式
此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照附图1,图1为瓜果的方位检测及调整方法的流程框图,本方法通过一个能够被安装在智能装置的软件来实现,该软件执行以下步骤:
(1)确定瓜果的初始方位,并根据需求将瓜果的方位调节至需求方位;
使用机器对瓜果深加工时,例如瓜果的削皮去核、瓜果的分级等情景下,为了提高深加工的效果与效率,都需要使用机器对瓜果的方位进行调整。本实施例中,固定安装摄像装置,摄像装置的摄像头竖直向下,在摄像装置的下方安装瓜果转动装置,以使摄像装置的摄像头正对拍摄瓜果转动装置上的画面,瓜果放置在瓜果转动装置上,瓜果转动装置根据需求使瓜果转动至需要的方位,摄像装置可以拍摄到瓜果的转动情况。首先,需要确定瓜果的初始方位,主要通过瓜果的果蒂和/或果脐的位置与朝向确定瓜果的初始方位。通过视觉识别的方法确定瓜果初始时的方位的具体方法为:在系统内预设所有可能使用的瓜果的果蒂和果脐的特征数据信息,特征数据信息包括但不限于色度信息和形状信息;使用摄像装置获取瓜果的图像或视频信息,分析图像或视频中的瓜果的特征信息;将图像或视频信息与特征数据信息进行对比,确定果脐和/或果脐的方位。确定瓜果的初始方位后,判断初始方位与需求方位是否一致,如果否,则启动瓜果转动装置调整瓜果的方位,直至瓜果的方位与需求方位一致为止。例如,瓜果最初在瓜果转动装置上时,瓜果的果蒂不在摄像装置的视野范围内,但是需要获取果蒂正对摄像装置时的图像,因此通过控制瓜果转动装置调整瓜果的方位至果蒂正对摄像装置为止。
(2)在调整瓜果的方位的过程中,启动故障检测步骤;
启动瓜果转动装置对瓜果方位进行调整时,启动故障检测步骤:在翻转瓜果过程中,从同一视角下获取瓜果的图像信号,并识别图像信号中果蒂和/或果脐的所处位置;判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长,如果是,则判定为故障。优选地,第一预设时长阈值为3分钟,即如果果蒂和/或果脐的方位连续静止超过3分钟即判定为故障。
如果图像信号中未识别到果蒂和果脐,则判断图像信号中未识别到果蒂和果脐的时长是否超过第二预设时长阈值,如果是,则判定为故障。优选地,第二预设时长阈值大于第一预设时长阈值。
判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长的方法为:判断相邻帧的图像信号中果蒂和/或果脐所处位置是否一致,如果是,则对计数器进行累加,如果否,则将计数器清零;如果计数器累加值超过阈值,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。或者,每间隔时长T获取一次图像信号,判断相邻两次图像信号中果蒂和/或果脐所处位置是否一致,如果是,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。
(3)判定发生故障时,启动故障消除步骤;
判定发生故障时,启动故障消除步骤,其中包括:
改变瓜果转动装置的运动模式。一般来说瓜果转动装置使瓜果转动是给予了瓜果一定方向、一定大小的加速度,从而使得瓜果能在一定时间段内调整到需要的方位;因此,改变瓜果转动装置的运动模式的方法包括改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小,如何改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小要根据具体的瓜果转动装置结构来设定;例如在本实施例中,瓜果转动装置包括基座和设置于基座上的至少三个履带单元,各履带单元呈圆周阵列分布,各履带单元均自底部往顶部朝外倾斜,各履带单元用于共同承托瓜果,各履带单元中的履带运动时使瓜果转动,在本实施例中改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小的方法为改变各履带单元中履带的运动方向和/或运动速度。或者例如使用专利CN206543726U中的水果翻转机构对瓜果进行转动时,主要是通过改变滚轴的转动速度和转动方向来实现改变为瓜果提供的总加速度的方向和/或大小。
改变瓜果转动装置的运动模式后,再次执行故障检测步骤,如果判断图像信号中果蒂和/或果脐的方位没有连续静止了时间超过预设时长阈值的时长,则判定为故障消除。
有时由于瓜果的形状规则度太低,导致无论如何变化瓜果转动装置的运动模式,仍然无法消除故障,不仅影响效率,而且还可能会损坏机器和瓜果。为了解决这个问题,在系统内预设故障时长阈值,即发生故障的总时长阈值;在故障发生时,监控故障发生时长,并将故障发生时长与预设的故障时长阈值进行对比,判断故障时间是否长于故障阈值,如果是,说明机器不能自动消除故障,则发出故障警报,提醒工作人员发生了故障,以使人工能够介入及时解决故障问题。
(4)故障消除后,重新调整瓜果的方位。
故障消除后,在故障消除的时刻重新确定瓜果的方位,并根据需求将瓜果的方位调节至需求方位。
一种瓜果的方位检测及调整装置,包括但不限于摄像装置、瓜果转动装置、处理器、存储介质和存储在存储介质上并可在处理器上执行的计算机程序,其中,
摄像装置用于拍摄不同视角下的瓜果的影像或图片;
瓜果转动装置用于转动瓜果,以改变果蒂或果脐的朝向;
存储介质内存储有包括计算机程序和所有的预设信息;
处理器用于接收交互装置发出的指令信息,并根据计算机程序运行时执行的瓜果的方位检测及调整方法对上述信息做出应对。
进一步作为选优的实施方式,参照附图2,摄像装置1设置在瓜果转动装置的上方,摄像装置1的摄像头正对瓜果转动装置上用于放置和转动瓜果4的部位。其中瓜果转动装置基座2、基座2设有至少三个履带单元3,各履带单元3呈圆周阵列分布。各履带单元3均自底部往顶部朝外倾斜,各履带单元3用于共同承托瓜果4,各履带单元3中履带转动时带动瓜果4转动。优选地,履带单元3的数量为三个,三个履带单元3均匀地分布于上述圆周阵列,圆周阵列的几何中心轴线沿竖直方向设置,使得履带单元3能够更稳定地承托瓜果4,并且使瓜果4能够顺畅地受履带单元3带动而转动。
以上所述仅为本发明的较佳实施方式,本发明并不局限于上述实施方式,在实施过程中可能存在局部微小的结构改动,如果对本发明的各种改动或变型不脱离本发明的精神和范围,且属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变型。
Claims (12)
1.一种瓜果的方位检测及调整方法,包括对瓜果进行方位检测的检测步骤以及对瓜果进行方位调整的调整步骤,其特征在于,包括故障监测步骤:在翻转瓜果过程中,从同一视角下获取瓜果的图像信号,并识别图像信号中果蒂和/或果脐的所处位置;判断图像信号中果蒂和/或果脐是否连续静止了超过第一预设时长阈值的时长,如果是,则判定为故障。
2.根据权利要求1所述的瓜果的方位检测及调整方法,其特征在于,判断相邻帧的图像信号中果蒂和/或果脐所处位置是否一致,如果是,则对计数器进行累加,如果否,则将计数器清零;如果计数器累加值超过阈值,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。
3.根据权利要求1所述的瓜果的方位检测及调整方法,其特征在于,每间隔时长T获取一次图像信号,判断相邻两次图像信号中果蒂和/或果脐所处位置是否一致,如果是,则判断图像信号中果蒂和/或果脐连续静止了时间超过第一预设时长阈值的时长。
4.根据权利要求1所述的瓜果的方位检测及调整方法,其特征在于,如判定发生故障,执行故障消除步骤:判定为故障后,改变瓜果转动装置的运动模式。
5.根据权利要求4所述的瓜果的方位检测及调整方法,其特征在于,改变瓜果转动装置的运动模式后,再次执行故障检测步骤。
6.根据权利要求5所述的瓜果的方位检测及调整方法,其特征在于,预设故障时长阈值;故障发生时,启动计算故障发生时长,如故障时长超过故障时长阈值,则发出故障警报,如故障被消除,则清零故障发生时长。
7.根据权利要求4所述的瓜果的方位检测及调整方法,其特征在于,改变瓜果转动装置的运动模式的方法包括改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小。
8.根据权利要求7所述的瓜果的方位检测及调整方法,其特征在于,所述瓜果转动装置包括基座和设置于基座上的至少三个履带单元,各所述履带单元呈圆周阵列分布,各所述履带单元均自底部往顶部朝外倾斜,各所述履带单元用于共同承托所述瓜果,并使所述瓜果转动;改变瓜果转动装置为瓜果提供的总加速度的方向和/或大小的方法为改变各履带单元中履带的运动方向和/或运动速度。
9.根据权利要求1所述的瓜果的方位检测及调整方法,其特征在于,如图像信号中未识别到果蒂和果脐,则判断图像信号中未识别到果蒂和果脐的时长是否超过第二预设时长阈值,如果是,则判定为故障。
10.根据权利要求9所述的瓜果的方位检测及调整方法,其特征在于,所述第二预设时长阈值大于第一预设时长阈值。
11.一种存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1~10中任一项所述的瓜果的方位检测及调整方法。
12.一种瓜果的方位检测及调整装置,其特征在于,包括摄像装置、瓜果转动装置、处理器、存储介质和存储在所述存储介质上并可在所述处理器上执行的计算机程序;所述计算机程序被处理器执行时实现如权利要求1~10中任一项所述的瓜果的方位检测及调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910339222.9A CN110084798B (zh) | 2019-04-25 | 2019-04-25 | 一种瓜果的方位检测及调整方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910339222.9A CN110084798B (zh) | 2019-04-25 | 2019-04-25 | 一种瓜果的方位检测及调整方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084798A CN110084798A (zh) | 2019-08-02 |
CN110084798B true CN110084798B (zh) | 2021-10-22 |
Family
ID=67416719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910339222.9A Active CN110084798B (zh) | 2019-04-25 | 2019-04-25 | 一种瓜果的方位检测及调整方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084798B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111076361A (zh) * | 2019-12-11 | 2020-04-28 | 珠海格力电器股份有限公司 | 一种风机风叶故障检测装置、方法、空调外机及空调机组 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209628A (ja) * | 2000-01-27 | 2001-08-03 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング方法 |
CN106454278A (zh) * | 2016-11-30 | 2017-02-22 | 广州日滨科技发展有限公司 | 一种井下控制系统的故障检测方法和装置 |
CN107358627A (zh) * | 2017-07-12 | 2017-11-17 | 西北农林科技大学 | 基于Kinect相机的果实尺寸检测方法 |
CN107818369A (zh) * | 2017-09-13 | 2018-03-20 | 国家电网公司 | 变电设备故障处理方法及终端设备 |
CN108133199A (zh) * | 2018-01-15 | 2018-06-08 | 庞雨 | 一种基于图像识别的球状水果方位检测及调整的装置及方法 |
CN109544631A (zh) * | 2019-01-03 | 2019-03-29 | 银河航天(北京)科技有限公司 | 一种货物输送设备运行状态的检测系统与方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06148098A (ja) * | 1992-09-18 | 1994-05-27 | Kawasaki Steel Corp | 表面欠陥検査装置 |
CN101765025A (zh) * | 2008-12-23 | 2010-06-30 | 北京中星微电子有限公司 | 一种监控摄像设备异常检测的系统及方法 |
CN103503637B (zh) * | 2013-10-14 | 2016-05-25 | 青岛农业大学 | 智能辨识采摘机器人及采摘方法 |
CN106101618A (zh) * | 2016-06-16 | 2016-11-09 | 中国铝业股份有限公司 | 基于图像识别的现场设备视频监控方法 |
RU2720450C1 (ru) * | 2017-03-14 | 2020-04-29 | ДжФЕ СТИЛ КОРПОРЕЙШН | Способ и устройство для определения величины отклонения полосы и способ и устройство для детектирования аномального отклонения полосы |
-
2019
- 2019-04-25 CN CN201910339222.9A patent/CN110084798B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209628A (ja) * | 2000-01-27 | 2001-08-03 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング方法 |
CN106454278A (zh) * | 2016-11-30 | 2017-02-22 | 广州日滨科技发展有限公司 | 一种井下控制系统的故障检测方法和装置 |
CN107358627A (zh) * | 2017-07-12 | 2017-11-17 | 西北农林科技大学 | 基于Kinect相机的果实尺寸检测方法 |
CN107818369A (zh) * | 2017-09-13 | 2018-03-20 | 国家电网公司 | 变电设备故障处理方法及终端设备 |
CN108133199A (zh) * | 2018-01-15 | 2018-06-08 | 庞雨 | 一种基于图像识别的球状水果方位检测及调整的装置及方法 |
CN109544631A (zh) * | 2019-01-03 | 2019-03-29 | 银河航天(北京)科技有限公司 | 一种货物输送设备运行状态的检测系统与方法 |
Non-Patent Citations (1)
Title |
---|
基于多方位视觉的果实形状特征的提取研究;谢国俊 等;《农业工程学报》;20070731;第23卷(第7期);第127-132页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110084798A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240075501A1 (en) | System and method for estimating damage to a shaker table screen using computer vision | |
US20180249135A1 (en) | Systems and methods of analyzing moving objects | |
CN110084798B (zh) | 一种瓜果的方位检测及调整方法、装置和存储介质 | |
JP2019096320A5 (zh) | ||
CN104135645A (zh) | 人脸跟踪抓拍视频监控系统及方法 | |
CN111815578B (zh) | 图像条纹检测方法、视频监控系统及相关装置 | |
JP2003169319A (ja) | 映像監視装置 | |
EP3696543A3 (en) | Active oil debris monitor particle detection and monitoring system | |
CN112990103A (zh) | 一种基于机器视觉的串采二次定位方法 | |
CN115684174A (zh) | 一种农产品运输传送带安全运行监测方法 | |
CN110092137B (zh) | 一种皮带机跑偏检测系统 | |
CN111047458A (zh) | 一种农田监控方法 | |
CN111860429B (zh) | 高炉风口异常检测方法、装置、电子设备和存储介质 | |
CN116246206A (zh) | 一种基于标志物边缘检测的输煤系统溢煤识别系统 | |
CN110017778B (zh) | 瓜果的尺寸测量方法和削皮方法、对应的装置及存储介质 | |
CN102914328B (zh) | 一种计算机机房温湿度监控系统报警阀值自动调整方法 | |
CN113570546B (zh) | 一种风机运行状态检测方法及装置 | |
CN111325731A (zh) | 遥控装置的安装检测方法及装置 | |
CN116105788A (zh) | 一种玉米果穗表型信息采集装置及检测方法 | |
CN115658410A (zh) | 测试电子设备触摸屏流畅度的方法、系统及存储介质 | |
CN116245813A (zh) | 一种双层剪废料滞留检测方法、终端设备及存储介质 | |
CN210014171U (zh) | 一种基于计算机视觉图像处理的摄像装置 | |
CN112562018A (zh) | 一种吊点跟随定位方法及系统 | |
CN117011589A (zh) | 辊筛卡辊的识别方法、装置、终端及存储介质 | |
CN215871639U (zh) | 一种基于人工智能的仓库抽烟识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |