CN110636157B - 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法 - Google Patents

一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法 Download PDF

Info

Publication number
CN110636157B
CN110636157B CN201910798102.5A CN201910798102A CN110636157B CN 110636157 B CN110636157 B CN 110636157B CN 201910798102 A CN201910798102 A CN 201910798102A CN 110636157 B CN110636157 B CN 110636157B
Authority
CN
China
Prior art keywords
face
function
handheld cloud
handheld
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910798102.5A
Other languages
English (en)
Other versions
CN110636157A (zh
Inventor
严亮
张雄杰
和壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910798102.5A priority Critical patent/CN110636157B/zh
Publication of CN110636157A publication Critical patent/CN110636157A/zh
Application granted granted Critical
Publication of CN110636157B publication Critical patent/CN110636157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)

Abstract

本发明提出一种基于悬浮窗内嵌人脸识别技术的手持机云台的跟踪方法,属于物联网技术、智能控制与人工智能领域。包括:步骤1:在智能手机端安装对应手持云台的应用程序APP,该APP在智能手机端的Android或iOS开发环境中使用悬浮窗来显示摄像头画面和识别人脸;步骤2:手机与手持云台通过蓝牙进行配对连接,手持云台的APP将采集到的人脸坐标传输给手持云台的处理器;步骤3:手持云台中的处理器根据得到的人脸坐标,控制手持云台的三轴调节机构转动,实现手持云台对人脸的实时跟踪。本发明采用悬浮窗内嵌人脸识别技术,实现云台的自动跟随人脸功能,实时调节姿态,具有多应用、结构简单、操作方便、实时跟踪的优势。

Description

一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法
技术领域
本发明涉及物联网技术、智能控制与人工智能领域,具体来说是一种基于人脸识别和跟踪的多功能手持云台及实现跟踪的方法。
背景技术
随着智能手机及ipad等智能终端的普及,市场上出现各式各样的手机支架,一类手机支架如专利公开号为CN203840405U通过手动调整机械结构来控制手机的姿态,这样既操作不便也不能保证手机画面始终处于最佳位置,另一类支架如专利公开号为CN106817458和CN102270021A采用人脸识别跟踪技术自动调整手机姿态,但不足之处在于,该类手机支架只能在配套的APP中才能使用人脸识别实现云台的跟随功能,而手机上其他应用软件则不能使用手机云台的跟随功能,这导致了其应用范围较窄。
发明内容
本发明针对目前手机云台应用范围较窄、调整终端姿态操作不便、效果不好的问题,提出了一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法,不仅满足在配套APP中实现云台的跟踪和稳定功能,而且满足手机上其他应用软件利用人脸识别技术实现云台的跟踪功能,解决现有产品和技术中应用局限性问题。
本发明提供的一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法,包括步骤如下:
步骤1:在智能手机端安装对应手持云台的应用程序APP,在手机端基于Android或iOS开发环境,创建悬浮窗,同时设置画布,并内嵌人脸识别算法,摄像头实时采集图像,通过人脸识别算法获取人脸在画布中的坐标。
在手机端的APP的实现中,创建用于绘制包围每个人脸的矩形框和回调人脸坐标的FaceView类,然后在layout布局文件中,创建碎片FrameLayout调用画布SurfaceView和FaceView类,创建悬浮框的界面;再通过创建FloatService类,实现悬浮窗的后台运行。
手机端的手持云台APP使用悬浮窗来显示摄像头画面,识别人脸,悬浮窗的权限在手机的配置文件设置为最高,并且悬浮窗能任意拖动和调节大小。
步骤2:手机与手持云台通过蓝牙进行配对连接,手持云台的APP将采集到的人脸坐标传输给手持云台的处理器。
步骤3:手持云台中的处理器根据得到的人脸坐标,控制手持云台的三轴调节机构转动,从而实现手持云台对人脸的实时跟踪。
所述的手持云台包括底部支架、杆体和终端云台;所述的杆体包括三段结构体,杆体的下段与底部支架连接,杆体的上段与终端云台连接;所述的终端云台包括三轴调节机构、手机夹具和手机夹具支架,三轴调节结构为三个轴线相互垂直的旋转机构组成;第一旋转机构由第一电机和杆体的上段形成,用于控制手持云台航向角;第二旋转机构由第二电机和第二电机支架形成,用于控制手持云台的俯仰角;第三旋转机构由第三电机和第三电机支架构成,用于控制手持云台的横滚角;在杆体的下段内置电源和处理器,处理器中配置蓝牙模块,与手机蓝牙配对进行信号传输,并实时处理手机采集到的人脸坐标数据。
本发明与现有技术相比,具有以下优势:
(1)本发明提供的手持云台,采用悬浮窗内嵌人脸识别技术,不仅满足在自带APP中实现云台的自动跟随和稳定功能,而且满足手机上其他应用软件,如视频播放器、电子书软件、视频聊天,微博、玩游戏等,利用人脸识别技术实现云台的自动跟随人脸功能,实时调节姿态,使手机位于最佳的视野状态,具有多应用、结构简单、操作方便、实时跟踪的优势,本发明提供的手机云台应用面更广,使用更方便。
(2)在手机端安装的手机云台APP上,使用悬浮窗来显示摄像头画面和识别人脸,这样可以达到此APP不在栈顶时,悬浮窗仍然在其他APP应用权限之上,摄像头实时采集数据和检测人脸,达到用户使用手机上其他应用软件时仍能实时控制手机云台自动跟踪。
(3)悬浮窗可以任意拖动和调节大小,这样设计的目的是可以保证用户良好的体验感。
(4)在结构装置上,杆体采用圆柱体嵌套的方法,实现杆的拉伸与收缩,便于携带和使用,杆体的下端具有可充电电源,杆体尾部设有螺纹小孔,可以进行多种底座的连接,方便在任何场合安放。
附图说明
图1是本发明手持云台的结构示意图;
图2是本发明手持云台的终端云台的结构示意图;
图3是本发明手持云台的杆体底端开孔示意图;
图4是本发明手持云台的自动跟踪流程图;
图5是本发明创建的悬浮窗口效果图。
图中:
1-底部支架;2-杆体;3-终端云台;301-第一电机;302-第二电机;303-第三电机;
304-第二电机支架;305-第三电机支架305;306-手机夹具;307-手机夹具支架。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步的详细和深入描述。
本发明提供的手持云台采用悬浮窗内嵌人脸识别技术,通过Android或iOS开发环境,使手机支架可以自动跟踪人脸并转动,该手持云台不仅具有目前市场手机云台已有功能,适用于在配套APP上控制云台实时跟随人脸的功能,而且适用于手机上其他应用软件,例如,打开视频播放软件,在观看电影、球赛的同时,手机云台可以使用人脸识别来实时调节姿态,使手机位于最佳的视野状态。当然,在除了视频播放器类应用软件之外,还可以适用手机上电子书软件、视频聊天软件、微博等大量应用软件,具有多应用、结构简单、操作方便、实时跟随的优势,具有应用面更广和使用更方便的特点。
如图1所示,是本发明实现的一个手持云台的结构示意图。本发明实施例提供的手机云台,整体包括底部支架1、杆体2和终端云台3。底部支架1为多功能可拆卸结构;杆体2分为上、中、下三段,上段与终端云台3的第一电机301连接;中段为伸缩结构;下段即底端,底端与底部支架1连接。底部支架1通过螺纹与杆体2连接。
如图2所示,本发明实施例的手持云台的终端云台3包括:三轴调节机构、手机夹具306和手机夹具支架307。三轴调节机构包括:第一旋转机构、第二旋转机构和第三旋转机构。所述的第一旋转机构是由第一电机301和杆体2的上段形成;所述的第二旋转机构包括第二电机302和第二电机支架304;所述的第三旋转机构包括第三电机303和第三电机支架305。如图2所示,第一电机301还与第二电机支架304连接,第二电机302还与第三电机支架305连接,第三电机303还与手机夹具支架307连接,手机夹具306固定在手机夹具支架307上。第一旋转机构负责控制手持云台航向角;第二旋转机构负责控制手持云台俯仰角;第三旋转机构负责控制手持云台横滚角。三轴调节机构的三个旋转机构轴线相互垂直实现了立体空间的任意方向调整。杆体2底端内置电源和处理器,电源为各旋转机构和处理器供电,处理器中配置蓝牙模块,与手机蓝牙配对进行信号传输,并实时处理手机采集到的人脸坐标数据。
杆体2底部设有螺纹小孔,如图3所示,可以进行多种底座的连接,方便在任何场合安放。
本发明在使用所述的手持云台的自动跟踪功能时,需要在智能手机端安装对应的APP。
如图4所示,为本发明提供的基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法的一个实现流程,下面具体说明各个步骤。
步骤1:在智能手机端的Android或iOS开发环境中安装手持云台的APP,该APP使用悬浮窗来显示摄像头画面和识别人脸。在开放环境中创建悬浮窗并设置画布,智能终端的悬浮窗内嵌人脸识别算法,采用人脸识别算法获取人脸在画布中的坐标。
本发明使用悬浮窗来显示摄像头画面,识别人脸,可以达到对应APP不在栈顶时,悬浮窗仍然在其他APP应用权限之上,摄像头实时采集数据和检测人脸,达到用户在使用手机上其他应用软件如看电视电影、视频聊天等仍能实时控制手机云台自动跟随人脸,并且该悬浮窗可以任意缩放大小和拖拽,以满足用户的需求。
对APP的实现进行如下设计,使用悬浮窗实时检测人脸的具体实现步骤如下:
步骤110、创建悬浮窗并内嵌人脸识别算法,包括如下关键步骤111~113。
步骤111.创建FaceView类,该类继承于父类View,在FaceView类中有最主要的函数:初始化函数、不同参数构造函数、绘画函数和人脸坐标回调函数。
步骤112.在绘画函数中,判断人脸数、绘制包围每个人脸的矩形框、计算包围每个人脸矩形框的中心坐标、判断人脸坐标回调是否为空,若非空,将矩形框的中点坐标回传给人脸坐标回调函数。
步骤113.在布局layout文件中,首先创建线性布局LinearLayout;在LinearLayout中,创建碎片布局FrameLayout,并设置该碎片的长宽为可调,在碎片中加载SurfaceView用来创建画布,同时加载步骤111中实现的FaceView类,实现效果如图5。
步骤120、实现悬浮窗的后台运行,包括如下关键步骤121~122。
步骤121.创建FloatService类,该类继承于父类Service,同时实现人脸和点击监听事件,在FloatService类中设有最主要的函数:初始化函数、创建显示窗口函数、加载悬浮窗函数、点击悬浮窗函数、开启相机函数、画布创建函数、画布变化函数、画布销毁函数、人脸检测函数和矩阵转化函数。
步骤122.创建显示窗口函数的主要功能是设置布局窗口的参数,在加载悬浮窗函数中,将步骤110中创建的layout文件加载到该函数中,然后调用layout文件中开启相机函数,在开启相机函数中,可以切换前置和后置摄像头,并且调用人脸检测的监听器函数;在人脸检测函数中,将检测到的人脸数据传给步骤111中的绘画函数,矩阵转化函数用于将返回的人脸矩阵转换为可以正常在取景区显示的矩阵,悬浮窗点击事件函数可以实现悬浮窗任意拖拽和改变悬浮窗大小的作用。
通过上面的具体实现步骤,可知,本发明方法首先创建步骤110中的FaceView类,该类主要的功能是绘制包围每个人脸的矩形框和回调人脸坐标,然后在layout布局文件中,创建碎片FrameLayout调用画布SurfaceView和FaceView类,这就创建了悬浮框的界面,然后,悬浮窗需后台运行,这个时候创建FloatService类,实现悬浮窗的后台运行。
本发明通过在手机的配置文件中,将悬浮窗的权限设置为最高,这样在使用其他APP时,这个悬浮窗可以在其他APP上面,这样实现了可以达到云台APP不在栈顶时,悬浮窗仍然在其他APP应用权限之上。
手机云台还设有一个复位键,复位键中设置的坐标是期望坐标,复位键的作用是将手机放在最恰当的位置,即期望位置。期望位置的坐标预先设定。
在手机上安装上手持云台对应的APP后,启动该APP,悬浮窗开启并进入后台运行,通过摄像头实时采集图像,当检测到人脸时将人脸坐标数据传输给手持云台。
步骤2:手机与手持云台通过蓝牙进行配对连接,手持云台的APP将采集到的人脸坐标传输给手持云台的处理器。
在智能手机上通过搜索与手机支架中处理器的蓝牙进行配对(可自动连接),将手机采集到的人脸坐标进行传输。
步骤3:手持云台根据传输来的人脸坐标执行人脸跟踪。
手机支架杆体中的处理器将通过通信协议得到的有用信号进行处理,并通过手持云台中的自适应控制器作用在终端云台3的三个电机301,302,303上,实现手机云台的实时跟踪。
目前市场上手机云台,只能在该云台所配套的APP上才能使用云台的跟踪功能,在使用其他应用软件时,不能使用手机云台的跟随功能,而本方法采用悬浮窗内嵌人脸识别技术的方法,能够使用后台运行手机摄像头,在用户打开其他应用软件仍可以使用本云台的实时跟踪人脸的功能,应用范围更广,使用更方便。

Claims (1)

1.一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法,包括:
步骤1:在智能手机端安装对应手持云台的应用程序APP,该APP在智能手机端的Android或iOS开发环境中使用悬浮窗来显示摄像头画面和识别人脸;
步骤2:手机与手持云台通过蓝牙进行配对连接,手持云台的APP将采集到的人脸坐标传输给手持云台的处理器;
所述的手持云台包括底部支架、杆体和终端云台;所述的杆体包括三段结构体,杆体的下段与底部支架连接,杆体的上段与终端云台连接;所述的终端云台包括三轴调节机构、手机夹具和手机夹具支架,三轴调节结构为三个轴线相互垂直的旋转机构组成;第一旋转机构由第一电机和杆体的上段形成,用于控制手持云台航向角;第二旋转机构由第二电机和第二电机支架形成,用于控制手持云台的俯仰角;第三旋转机构由第三电机和第三电机支架构成,用于控制手持云台的横滚角;在杆体的下段内置电源和处理器,处理器中配置蓝牙模块,并实时处理手机采集到的人脸坐标数据;
步骤3:手持云台中的处理器根据得到的人脸坐标,控制手持云台的三轴调节机构转动,实现手持云台对人脸的实时跟踪;
其特征在于,所述的步骤1中,在手机端的APP的实现中,创建悬浮窗并设置画布,悬浮窗内嵌人脸识别算法,摄像头实时采集图像,通过人脸识别算法获取人脸在画布中的坐标;所述的悬浮窗的权限在手机的配置文件设置为最高,并且悬浮窗能任意拖动和调节大小;
所述步骤1包括:
创建用于绘制包围每个人脸的矩形框和回调人脸坐标的FaceView类;在FaceView类中有最主要的函数:初始化函数、不同参数构造函数、绘画函数和人脸坐标回调函数;
然后在layout布局文件中,创建碎片布局FrameLayout,在碎片中加载SurfaceView用来创建画布,同时加载FaceView类,创建悬浮框的界面;设置碎片FrameLayout的长宽为可调;
再通过创建FloatService类,实现悬浮窗的后台运行,具体是:
步骤121.创建FloatService类,该类继承于父类Service,同时实现人脸和点击监听事件,在FloatService类中设有函数:初始化函数、创建显示窗口函数、加载悬浮窗函数、点击悬浮窗函数、开启相机函数、画布创建函数、画布变化函数、画布销毁函数、人脸检测函数和矩阵转化函数;
步骤122.创建显示窗口函数的主要功能是设置布局窗口的参数,将创建的layout布局文件加载到加载悬浮窗函数中,然后调用开启相机函数,在开启相机函数中,能切换前置和后置摄像头,并且调用人脸检测的监听器函数;在人脸检测函数中,将检测到的人脸数据传给FaceView类中的绘画函数,矩阵转化函数用于将返回的人脸矩阵转换为正常在取景区显示的矩阵,悬浮窗点击事件函数实现悬浮窗任意拖拽和改变悬浮窗大小。
CN201910798102.5A 2019-08-27 2019-08-27 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法 Active CN110636157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910798102.5A CN110636157B (zh) 2019-08-27 2019-08-27 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910798102.5A CN110636157B (zh) 2019-08-27 2019-08-27 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法

Publications (2)

Publication Number Publication Date
CN110636157A CN110636157A (zh) 2019-12-31
CN110636157B true CN110636157B (zh) 2020-11-24

Family

ID=68969348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910798102.5A Active CN110636157B (zh) 2019-08-27 2019-08-27 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法

Country Status (1)

Country Link
CN (1) CN110636157B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019742A (zh) * 2020-08-17 2020-12-01 长江师范学院 一种基于OpenCV的人脸追踪手机云台及其操作方法
CN112648479B (zh) * 2020-08-25 2022-10-18 深圳市寻视光电有限公司 一种人脸识别跟踪的云台支架的使用方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836906A (zh) * 2015-04-13 2015-08-12 惠州Tcl移动通信有限公司 一种移动终端及其在短信操作界面实时获取图像的方法
US20160381271A1 (en) * 2015-06-25 2016-12-29 DelTron Intelligence Technology Limited Handheld camera stabilizer with integration of smart device
CN106658137A (zh) * 2015-11-02 2017-05-10 腾讯科技(深圳)有限公司 一种视频播放方法及装置
CN105872832A (zh) * 2015-11-30 2016-08-17 乐视致新电子科技(天津)有限公司 视频通话方法和系统以及显示装置
CN105443956A (zh) * 2015-12-26 2016-03-30 武汉智能鸟无人机有限公司 一种带跟踪功能的手持云台
CN206159792U (zh) * 2016-08-11 2017-05-10 上虞市格林尔数码摄影器材有限公司 一种自拍杆三脚架
KR20180103621A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 짐벌 장치
CN106803978A (zh) * 2017-03-16 2017-06-06 上海青橙实业有限公司 移动终端以及基于悬浮窗口播放视频的方法
CN108008876B (zh) * 2017-11-29 2020-12-22 广州视源电子科技股份有限公司 一种悬浮窗口的显示方法、装置、设备和存储介质
CN109445879A (zh) * 2018-10-19 2019-03-08 四川长虹电器股份有限公司 以悬浮窗显示监控视频的方法、存储介质和设备
CN109391775A (zh) * 2018-10-22 2019-02-26 哈尔滨工业大学(深圳) 一种基于人脸识别的智能拍摄云台控制方法与系统

Also Published As

Publication number Publication date
CN110636157A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
EP2944078B1 (en) Wireless video camera
US20200351446A1 (en) Terminal equipped with removable robotic module
CN108803896B (zh) 控制屏幕的方法、装置、终端及存储介质
CN110636157B (zh) 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法
CN106104663A (zh) 用于设定电子设备的显示器的显示亮度的系统和方法
WO2019129020A1 (zh) 一种摄像头自动调焦方法、存储设备及移动终端
US9615053B2 (en) Systems and methods for controlling robotic stands during videoconference operation
CN204859235U (zh) 一种手机
CN104469121A (zh) 信息处理方法及电子设备
CN103986878A (zh) 一种操作云台摄像机的遥控装置及方法
CN104811803A (zh) 图像播放调节方法及装置
CN104427239A (zh) 一种无线自拍系统及自拍方法
CN111885314B (zh) 屏幕调整方法、装置、终端及计算机可读存储介质
CN109951582A (zh) 一种移动终端及声音输出控制方法
CN105282409A (zh) 相机装置及相机装置控制方法
KR102163894B1 (ko) 이동 단말기 거치대 및 이를 이용한 이동 단말기의 방향 변환 방법
CN109413264A (zh) 一种背景图片调整方法及终端设备
CN110855901B (zh) 摄像头的曝光时间控制方法及电子设备
CN110602387B (zh) 拍摄方法及电子设备
CN108924422A (zh) 一种全景拍照方法及移动终端
CN104378576B (zh) 一种信息处理方法及电子设备
CA2971038A1 (en) Cleaning robot system, cleaning robot and method for controlling cleaning robot
CN110493457A (zh) 一种终端设备控制方法及终端设备
CN109992941A (zh) 一种权限管理方法及终端设备
CN115904079A (zh) 显示设备调整方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant