CN106201400B - 一种车载输入视频显示控制装置及方法 - Google Patents

一种车载输入视频显示控制装置及方法 Download PDF

Info

Publication number
CN106201400B
CN106201400B CN201610513211.4A CN201610513211A CN106201400B CN 106201400 B CN106201400 B CN 106201400B CN 201610513211 A CN201610513211 A CN 201610513211A CN 106201400 B CN106201400 B CN 106201400B
Authority
CN
China
Prior art keywords
image
vehicle
module
display control
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610513211.4A
Other languages
English (en)
Other versions
CN106201400A (zh
Inventor
张建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou Foryou General Electronics Co Ltd
Original Assignee
Huizhou Foryou General Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou Foryou General Electronics Co Ltd filed Critical Huizhou Foryou General Electronics Co Ltd
Priority to CN201610513211.4A priority Critical patent/CN106201400B/zh
Publication of CN106201400A publication Critical patent/CN106201400A/zh
Application granted granted Critical
Publication of CN106201400B publication Critical patent/CN106201400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Abstract

本发明提供一种车载输入视频显示控制装置及方法,装置包括:图像识别模块,用于对车载输入视频信号进行图像特征提取;图像分类模块,用于根据所述图像特征对当前与图像相关的应用进行分类识别;显示控制模块,用于根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;图像显示模块,用于根据判断结果,在屏幕显示图像或显示提示信息。本发明通过图像识别技术,利用输入车载的视频信号的图像特征对应用进行分类,结合车速等状态信息、判断输入的视频图像信号是否可以在车载终端同步显示,从而实现应用程序的管理,既能发挥移动终端应用程序丰富的优势,同时保障行车安全,提升用户体验。

Description

一种车载输入视频显示控制装置及方法
技术领域
本发明涉及车载输入视频显示控制技术领域,具体涉及一种车载输入视频显示控制装置及方法。
背景技术
随着移动互联网的发展,移动设备将进一步与电视、电脑、车载终端等多种设备同屏传输,当前具备与移动设备连接功能的车载系统一般通过音视频同步实现内容共享,即镜像显示技术,车载终端通过接收由移动终端输出的视频信号,实现在车载端与移动终端画面同步的技术,该技术可使驾乘者在车载端能够同步显示移动设备端输入的内容。
在行车过程中,不允许显示影片等内容的视频,以免影响行车安全,这就需要进行应用程序的管理。一方面移动设备通过设置车载模式限制行车可使用的应用程序;另一方面,车载终端主要通过HDMI等音视频输入接口同步输出移动设备的内容,车载端与移动设备终端一般通过定制通信协议进行应用程序的管理,对于未定制通信协议的应用程序,车载端可以显示也可以屏蔽音视频输出。
由于定制通信协议限制了应用程序的数量,具有一定的局限性,若车载端对未定制协议的应用统一屏蔽输出,则不能有效发挥移动终端应用内容丰富的优势;若对该类应用的输入不进行管理而统一显示,又可能影响行车安全。因此,当前的应用程序的管理方案不能在发挥移动终端应用丰富优势的同时保障行车安全。
发明内容
本发明提供一种车载输入视频显示控制装置及方法,解决了对车载输入视频进行显示控制,在发挥移动终端应用丰富优势的同时保障行车安全的技术问题。
为了解决上述技术问题,本发明所采取的技术方案为:
本发明一方面提供一种车载输入视频显示控制装置,包括:
图像识别模块,用于对车载输入视频信号进行图像特征提取;
图像分类模块,用于根据所述图像特征对当前与图像相关的应用进行分类识别;
显示控制模块,用于根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;图像显示模块,用于根据判断结果,在屏幕显示图像或显示提示信息。
进一步地,在所述图像识别模块中,图像特征包括轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪特征等。
进一步地,所述图像分类模块通过网络设置在云平台上,用于在云平台上通过网络接收图像识别模块传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
进一步地,所述车载输入视频显示控制装置,还包括行车状态模块,设有车速检测模块、车距检测模块、导航检测模块。
所述图像识别模块、显示控制模块根据行车状态模块检测到的行驶状态确定是否开启图像识别,所述车辆行驶状态包括当前车速、路况及导航程序运行状态。
具体地,所述显示控制模块根据车辆行驶状态确定是否开启图像识别包括:
所述车速检测模块检测当前车速,若所述当前车速小于第一预设速度阈值,则图像识别模块关闭图像识别;若当前车速大于第二预设速度阈值,则图像识别模块关闭图像识别;
车速检测模块检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则图像识别模块关闭图像识别;
导航检测模块检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则图像识别模块关闭图像识别,显示控制模块将导航应用程序置顶显示。
优选地,所述第一预设速度阈值为0~10km/h,所述第二预设速度阈值为100km/h,所述第一预设距离为10~20m,所述第二预设距离为100~200m。
通过设置行车状态模块,与图像识别模块、显示控制模块共同确定是否进行图像识别及应用程序显示方式,进一步提高了系统性能。
本发明另一方面提供一种车载输入视频显示控制方法,包括:
图像识别步骤:对车载输入视频信号进行图像特征提取;
图像分类步骤:根据所述图像特征对当前与图像相关的应用进行分类识别;
显示控制步骤:根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;
图像显示步骤:根据判断结果,在屏幕显示图像或显示提示信息。
进一步地,在所述图像识别步骤中,提取图像特征包括提取轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪特征等。
进一步地,在所述图像分类步骤中,在云平台上通过网络接收传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
进一步地,在所述图像识别步骤之前还包括:
行驶状态判断步骤:根据车辆行驶状态确定是否开启图像识别,所述车辆行驶状态包括当前车速、路况及导航程序运行状态。
具体地,所述根据车辆行驶状态确定是否开启图像识别包括:
检测当前车速,若所述当前车速小于第一预设速度阈值,则关闭图像识别;若当前车速大于第二预设速度阈值,则关闭图像识别;
检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则关闭图像识别;
检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则关闭图像识别,将导航应用程序置顶显示。
优选地,所述第一预设速度阈值为0~10km/h,所述第二预设速度阈值为100km/h,所述第一预设距离为10~20m,所述第二预设距离为100~200m。
本发明通过图像识别技术,利用输入车载的视频信号的图像特征对应用进行分类,结合车速等状态信息、判断输入的视频图像信号是否可以在车载终端同步显示,从而实现应用程序的管理,发挥移动终端应用丰富的优势,同时保障行车安全,提升用户体验。
附图说明
图1是本发明的车载输入视频显示控制装置的结构示意图;
图2是本发明的车载输入视频显示控制装置的;另一结构示意图;
图3是本发明的车载输入视频显示控制方法的流程示意图;
图4是本发明的车载输入视频显示控制装置的又一结构示意图;
图5是本发明的车载输入视频显示控制方法的另一流程示意图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,附图仅供参考和说明使用,不构成对本发明专利保护范围的限制。
实施例1
如图1所示,本实施例一方面提供一种车载输入视频显示控制装置,包括:
图像识别模块,用于通过图像处理算法对车载输入视频信号进行图像特征提取;图像特征包括轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪等特征。
图像分类模块,用于根据所述图像特征使用分类算法对当前与图像相关的应用进行分类识别;
显示控制模块,用于根据图像分类结果结合当前行车状态(如,车速等)判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;
图像显示模块,用于根据判断结果,在屏幕显示图像或显示提示信息。
在本发明的实施例中,所述车载输入视频显示控制装置设置在车载系统上,所述车载系统除具有车载导航功能外,还包括HDMI/AV in等视频输入接口和图像转换模块,所述图像转换模块用于将从视频输入接口输入的视频信号转换为符合车载系统显示格式的视频信号。
本发明的车载输入视频显示控制装置的实施过程为:
(1)车载终端与智能移动终端之间建立音视频连接,可以通过HDMI、USB、Wifi等多种有线或无线方式连接,实现屏幕同步显示、音频同步输出;移动终端可以是安装了操作系统的手机、平板等智能移动设备。
(2)智能移动终端通过有线、无线传输方式将音视频信号输入到车载终端,图像转换模块将视频信号转换使其适应车载主机显示。
(3)车载系统检测到图像转换模块处理的视频信号时,开启图像识别模块。
(4)通过图像识别模块对输入视频信号进行特征提取,图像特征包括轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪等;
(5)图像分类模块根据图像特征用分类算法对当前图像相关的应用进行分类识别,在网络连接的情况下,还可以将图像特征传输至云平台,由云平台完成分类;
(6)显示控制模块根据图像分类结果结合当前行车状态判断是否在车载屏幕上显示;如行车速度超过一定预设值时,只允许显示导航应用程序界面;
(7)根据判断结果,屏幕显示图像或显示相应提示。如行车速度超过一定预设值时,驾驶者按视频播放键,则显示不可播放视频的提示。
如图2所示,在本发明的另一个实施例中,所述车载输入视频显示控制装置,还包括行车状态模块,设有车速检测模块、车距检测模块、导航检测模块。
所述图像识别模块、显示控制模块根据行车状态模块检测到的行驶状态确定是否开启图像识别。所述车辆行驶状态包括当前车速、路况及导航程序运行状态。
具体地,所述显示控制模块根据车辆行驶状态确定是否开启图像识别包括:
所述车速检测模块检测当前车速,若所述当前车速小于第一预设速度阈值,则图像识别模块关闭图像识别;若当前车速大于第二预设速度阈值,则图像识别模块关闭图像识别;
车速检测模块检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则图像识别模块关闭图像识别;
导航检测模块检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则图像识别模块关闭图像识别,显示控制模块将导航应用程序置顶显示。
优选地,所述第一预设速度阈值为0~10km/h,所述第二预设速度阈值为100km/h,所述第一预设距离为10~20m,所述第二预设距离为100~200m。
通过设置行车状态模块,与图像识别模块、显示控制模块共同确定是否进行图像识别及应用程序显示方式,进一步提高了系统性能。
如图3所示,本实施例另一方面提供一种车载输入视频显示控制方法,包括:
图像识别步骤:对车载输入视频信号进行图像特征提取;图像特征包括提取轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪等特征。
图像分类步骤:根据所述图像特征对当前与图像相关的应用进行分类识别;
显示控制步骤:根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;
图像显示步骤:根据判断结果,在屏幕显示图像或显示提示信息。
在本发明的实施例中,行车时允许和禁止使用的应用程序在图像特征上区别较为明显,如移动终端的导航、操作界面等图像与游戏、影片等应用的图像对比,两者在线条、形状、直方图、纹理、运动变化等特征均有较大差异;通过图像特征识别、目标跟踪的方法,对移动终端输出的视频图像信号分类识别,实现在行车过程中对移动终端上的游戏、影片、网络浏览器等一些影响驾驶安全的应用进行屏蔽,以提升车载终端的安全性。
在本发明的另一个实施例中,所述图像识别步骤之前还包括:
行驶状态判断步骤:根据车辆行驶状态确定是否开启图像识别。所述车辆行驶状态包括当前车速、路况及导航程序运行状态。
具体地,所述根据车辆行驶状态确定是否开启图像识别包括:
检测当前车速,若所述当前车速小于第一预设速度阈值,则关闭图像识别;若当前车速大于第二预设速度阈值,则关闭图像识别;
检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则关闭图像识别;
检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则关闭图像识别,将导航应用程序置顶显示。
优选地,所述第一预设速度阈值为0~10km/h,所述第二预设速度阈值为100km/h,所述第一预设距离为10~20m,所述第二预设距离为100~200m。
实施例2
本实施例与实施例1的不同之处在于:
如图4所示,在本实施例的车载输入视频显示控制装置中,所述图像分类模块通过网络设置在云平台上,用于在云平台上通过网络接收图像识别模块传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
如图5所示,在本实施例的车载输入视频显示控制方法中,在所述图像分类步骤中,在云平台上通过网络接收传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
在实施例1中,在本地提取图像特征并在本地对输入视频图像进行分类识别;与实施例1不同,本实施例通过在本地提取图像特征,并通过网络将图像特征传输至云平台,由云平台上的图像分类模块完成分类再回传至终端,以完成对图像显示的控制。
车载系统或智能移动终端可以连接网络将图像特征传输至云平台,也可以接收云平台回传的图像分类结果。
在本发明的实施例中,通过在车载终端对输入的音视频信号进行图像识别分类、结合行车状态实现车载端显示的控制(如只允许导航、适合行车时显示的应用程序界面等图像显示),突破了以往车载终端在接收移动终端视频输入时,无法对图像内容进行鉴别的缺点,提升车载设备显示其他输入设备内容时的安全性。
以上所揭露的仅为本发明的较佳实施例,不能以此来限定本发明的权利保护范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。

Claims (6)

1.一种车载输入视频显示控制装置,其特征在于,包括:
图像识别模块,用于对车载输入视频信号进行图像特征提取;
图像分类模块,用于根据所述图像特征对当前与图像相关的应用进行分类识别;
显示控制模块,用于根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;
图像显示模块,用于根据判断结果,在屏幕显示图像或显示提示信息;
还包括行车状态模块,设有车速检测模块、车距检测模块、导航检测模块;所述图像识别模块、显示控制模块根据行车状态模块检测到的车辆行驶状态确定是否开启图像识别,所述车辆行驶状态包括当前车速、路况及导航程序运行状态;
所述显示控制模块根据车辆行驶状态确定是否开启图像识别包括:
所述车速检测模块检测当前车速,若所述当前车速小于第一预设速度阈值,则图像识别模块关闭图像识别;若当前车速大于第二预设速度阈值,则图像识别模块关闭图像识别;
车速检测模块检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则图像识别模块关闭图像识别;
导航检测模块检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则图像识别模块关闭图像识别,显示控制模块将导航应用程序置顶显示。
2.根据权利要求1所述的车载输入视频显示控制装置,其特征在于:在所述图像识别模块中,图像特征包括轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪特征。
3.根据权利要求1所述的车载输入视频显示控制装置,其特征在于:所述图像分类模块通过网络设置在云平台上,用于在云平台上通过网络接收图像识别模块传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
4.一种车载输入视频显示控制方法,其特征在于,包括:
行驶状态判断步骤:根据车辆行驶状态确定是否开启图像识别,所述车辆行驶状态包括当前车速、路况及导航程序运行状态;
图像识别步骤:对车载输入视频信号进行图像特征提取;
图像分类步骤:根据所述图像特征对当前与图像相关的应用进行分类识别;
显示控制步骤:根据图像分类结果结合当前行车状态判断与图像相关的应用类别是否具有在车载屏幕上显示的权限;
图像显示步骤:根据判断结果,在屏幕显示图像或显示提示信息;
所述根据车辆行驶状态确定是否开启图像识别包括:
检测当前车速,若所述当前车速小于第一预设速度阈值,则关闭图像识别;若当前车速大于第二预设速度阈值,则关闭图像识别;
检测车辆与前方车辆的最短距离,若所述最短距离小于第一预设距离,则关闭图像识别;
检测导航是否正在运行,是则检测当前位置与最近行驶岔道的距离,若所述距离小于第二预设距离,则关闭图像识别,将导航应用程序置顶显示。
5.根据权利要求4所述的车载输入视频显示控制方法,其特征在于:在所述图像识别步骤中,提取图像特征包括提取轮廓、边缘、形状、线条、角点、纹理、颜色、噪声、运动目标跟踪特征。
6.根据权利要求4所述的车载输入视频显示控制方法,其特征在于:在所述图像分类步骤中,在云平台上通过网络接收传输的所述图像特征,并根据所述图像特征对当前与图像相关的应用进行分类识别,将图像分类结果回传至终端设备。
CN201610513211.4A 2016-06-30 2016-06-30 一种车载输入视频显示控制装置及方法 Active CN106201400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610513211.4A CN106201400B (zh) 2016-06-30 2016-06-30 一种车载输入视频显示控制装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610513211.4A CN106201400B (zh) 2016-06-30 2016-06-30 一种车载输入视频显示控制装置及方法

Publications (2)

Publication Number Publication Date
CN106201400A CN106201400A (zh) 2016-12-07
CN106201400B true CN106201400B (zh) 2019-06-21

Family

ID=57463400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610513211.4A Active CN106201400B (zh) 2016-06-30 2016-06-30 一种车载输入视频显示控制装置及方法

Country Status (1)

Country Link
CN (1) CN106201400B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577995A (zh) * 2017-08-21 2018-01-12 西安万像电子科技有限公司 图像数据的处理方法及装置
CN112100435B (zh) * 2020-09-09 2023-11-07 沈阳帝信人工智能产业研究院有限公司 一种基于边缘端交通音视频同步样本的自动标注方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781728A (zh) * 2010-03-09 2012-11-14 本田技研工业株式会社 能与便携设备配合工作的车载设备
CN103359017A (zh) * 2012-04-06 2013-10-23 歌乐株式会社 车载信息系统、信息终端、应用程序执行方法
CN103442927A (zh) * 2011-01-11 2013-12-11 罗伯特·博世有限公司 具有可定制用户界面的车辆信息系统
CN104395945A (zh) * 2012-05-11 2015-03-04 艾特奇科西班牙有限公司 车载信息传递系统和方法
CN105144197A (zh) * 2013-03-14 2015-12-09 高通股份有限公司 基于图像的应用程序启动器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781728A (zh) * 2010-03-09 2012-11-14 本田技研工业株式会社 能与便携设备配合工作的车载设备
CN103442927A (zh) * 2011-01-11 2013-12-11 罗伯特·博世有限公司 具有可定制用户界面的车辆信息系统
CN103359017A (zh) * 2012-04-06 2013-10-23 歌乐株式会社 车载信息系统、信息终端、应用程序执行方法
CN104395945A (zh) * 2012-05-11 2015-03-04 艾特奇科西班牙有限公司 车载信息传递系统和方法
CN105144197A (zh) * 2013-03-14 2015-12-09 高通股份有限公司 基于图像的应用程序启动器

Also Published As

Publication number Publication date
CN106201400A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
EP3628549B1 (en) Vehicle control method and system, and in-vehicle intelligent system, electronic device and medium
US10970571B2 (en) Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10417486B2 (en) Driver behavior monitoring systems and methods for driver behavior monitoring
CN107004363B (zh) 图像处理装置及车载显示系统及显示装置及图像处理方法
CN106004883A (zh) 车辆违规提醒的方法及装置
US20210365696A1 (en) Vehicle Intelligent Driving Control Method and Device and Storage Medium
CN111274881A (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN104537837B (zh) 确定交通路线的方法、装置及系统
CN113272177B (zh) 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
US11567509B2 (en) Control system, control method, and non-transitory storage medium
CN106201400B (zh) 一种车载输入视频显示控制装置及方法
CN107627969A (zh) 更换车身颜色的方法、装置及计算机存储介质
CN107730902A (zh) 车辆录像的录制方法、摄像设备及存储介质
CN114332821A (zh) 决策信息获取方法、装置、终端及存储介质
CN109445732A (zh) 基于身份识别的车用信息显示方法及其显示系统
CN107667382A (zh) 车辆牌照号码识别装置及其方法
CN111137212A (zh) 后视镜装置及车辆
CN109508725A (zh) 运输车辆的盖板开合检测方法、装置及终端
KR102174863B1 (ko) 자율주행 차량의 외장 디스플레이 인터랙션 장치 및 방법
CN112686136B (zh) 一种对象检测方法、装置及系统
CN112435475B (zh) 一种交通状态检测方法、装置、设备及存储介质
CN114407922A (zh) 智能车辆自动驾驶方法、装置、设备及可读存储介质
KR20160095861A (ko) 차량용 게이트웨이를 이용한 교통신호 변경 알림 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant