CN110475149B - 一种超高清视频的处理方法及系统 - Google Patents

一种超高清视频的处理方法及系统 Download PDF

Info

Publication number
CN110475149B
CN110475149B CN201910811356.6A CN201910811356A CN110475149B CN 110475149 B CN110475149 B CN 110475149B CN 201910811356 A CN201910811356 A CN 201910811356A CN 110475149 B CN110475149 B CN 110475149B
Authority
CN
China
Prior art keywords
image
enhancement
rgb
obtaining
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910811356.6A
Other languages
English (en)
Other versions
CN110475149A (zh
Inventor
王兆春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B&m Modern Media Inc
Original Assignee
B&m Modern Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B&m Modern Media Inc filed Critical B&m Modern Media Inc
Priority to CN201910811356.6A priority Critical patent/CN110475149B/zh
Publication of CN110475149A publication Critical patent/CN110475149A/zh
Application granted granted Critical
Publication of CN110475149B publication Critical patent/CN110475149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供了一种超高清视频的处理方法及系统，所述方法包括以下步骤：接收各标清视频帧，增强处理后获得第一增强图像IRGB；获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；根据所述第一增强图像IRGB和所述增强调节系数，获得各个像素点的第二增强图像IFINAL；将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。本发明最终得到的超高清视频图像，其视频清晰度远远高于初始的视频清晰度，且色彩更加鲜明，图像细节更加明显，获得极高的视觉体验。

Description

一种超高清视频的处理方法及系统
技术领域
本发明涉及超高清视频处理技术领域，具体而言，涉及一种超高清视频的处理方法及系统。
背景技术
随着科学技术的发展，大屏时代的到来，传统高清分辨率的图像已经不能满足民众日益增高的视觉需求。超高清视频与高清视频相比有很多的优势，它的分辨率更高，数据量更大，能够更好的还原画面的真实情况，给观众提供更加丰富的纹理细节、广阔的视角和多变的色彩，使观众能够获得更加身临其境的感受。以4K屏为代表的超高清分辨率屏在液晶电视上的普遍推广和应用成为广电媒体行业的主流，成为当下发展的热点。
然而，对于标清格式及较低分辨率格式的视频在4K屏显示上普遍存在清晰度低、对比度差、图像缺乏细节等情况，即使显示屏是高分辨率，但是由于受限于信号本身分辨率，画质效果依然比较差。因此急需一种超高清的视频处理方法及系统，能够将标清格式及较低分辨率格式的视频转换成超高清视频，在4K屏进行播放，获得优质的显示效果。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种超高清视频的处理方法，所述方法包括以下步骤：
A.接收各标清视频帧，增强处理后获得第一增强图像IRGB；
B.获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
C.根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
D.将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。
本发明还提供了一种超高屏视频的处理系统，所述系统包括以下处理单元：
第一增强单元，用于接收各标清视频帧，增强处理后获得第一增强图像IRGB；
调节系数获得单元，用于获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
第二增强单元，用于根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
转换单元，用于将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。
本发明相对于现有技术，具有以下优点和技术效果：
本发明首先得到增强处理后获得第一增强图像IRGB；然后获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；再根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
最后将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。最终得到超高清视频图像，其视频清晰度远远高于初始的视频清晰度，且色彩更加鲜明，图像细节更加明显，获得极高的视觉体验。
附图说明
图1为本发明的处理流程示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例1
根据图1所示，提供一种超高清视频的处理方法，所述方法包括以下步骤：
A.接收各标清视频帧，增强处理后获得第一增强图像IRGB；
B.获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
C.根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
D.将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。
具体的，所述增强处理后获得第一增强图像IRGB，包括：将所述标清视频帧转换到HIS空间，先对I分量进行增强,得到IE(x,y)；再对H、S分量进行增强；将增强后的HIS色彩空间图像转到RGB色彩空间图像，获得第一增强图像IRGB；
所述IE(x,y)计算方法如下：
Figure BDA0002185142920000021
所述对H、S分量增强的方法如下：
Figure BDA0002185142920000022
Figure BDA0002185142920000023
其中，D表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择5*5或3*3；I(x,y)、H(x,y)、S(x,y)分别是图像中I、H、S分量，IE(x,y)、HE(x，y)、SE(x,y)分别为处理后的图像分量；Imax表示D窗口集合内的最大亮度值；Imin表示D窗口集合内的最小亮度值；
所述相对亮度值的计算方法如下：
Figure BDA0002185142920000024
所述Lx(x,y)表示相对亮度值，Lmax表示当前帧最大亮度值；
Figure BDA0002185142920000031
表示当前帧平均亮度值；
所述增强调节系数计算方法如下：
Figure BDA0002185142920000032
所述根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL的计算方法如下；
Figure BDA0002185142920000033
其中，IFINAL(x,y)为输出图像中像素点(x,y)的RGB值。
所述标清信号包括TV信号、CVBS信号、DTMB信号、HDMI信号、USB信号；
所述转换处理包括：对步骤C得到的图像信号进行scaling方法处理以及peaking处理。
实施例2
本发明还提供一种超高清视频的处理系统，所述系统包括以下处理单元：
第一增强单元，用于接收各标清视频帧，增强处理后获得第一增强图像IRGB；
调节系数获得单元，用于获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
第二增强单元，用于根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
转换单元，用于将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号。
具体的，所述增强处理后获得第一增强图像IRGB，包括：将所述标清视频帧转换到HIS空间，先对I分量进行增强,得到IE(x,y)；再对H、S分量进行增强；将增强后的HIS色彩空间图像转到RGB色彩空间图像，获得第一增强图像IRGB；
所述IE(x,y)计算方法如下：
Figure BDA0002185142920000034
所述对H、S分量增强的方法如下：
Figure BDA0002185142920000035
Figure BDA0002185142920000041
其中，D表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择5*5或3*3；I(x,y)、H(x,y)、S(x,y)分别是图像中I、H、S分量，IE(x,y)、HE(x，y)、SE(x,y)分别为处理后的图像分量；Imax表示D窗口集合内的最大亮度值；Imin表示D窗口集合内的最小亮度值；
所述相对亮度值的计算方法如下：
Figure BDA0002185142920000042
所述Lx(x,y)表示相对亮度值，Lmax表示当前帧最大亮度值；
Figure BDA0002185142920000043
表示当前帧平均亮度值；
所述增强调节系数计算方法如下：
Figure BDA0002185142920000044
所述根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL的计算方法如下；
Figure BDA0002185142920000045
其中，IFINAL(x,y)为输出图像中像素点(x,y)的RGB值。
所述标清信号包括TV信号、CVBS信号、DTMB信号、HDMI信号、USB信号；
所述转换处理包括：对步骤C得到的图像信号进行scaling方法处理以及peaking处理。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
一种包含上述各实施例的基于物联网的运输数据采集方法的计算机可执行指令的存储介质，所述存储介质上存储有能实现上述方法的程序指令。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种超高清视频的处理方法，所述方法包括以下步骤：
A.接收各标清视频帧，增强处理后获得第一增强图像IRGB；
B.获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
C.根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
D.将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号；
所述增强处理后获得第一增强图像IRGB，包括：将所述标清视频帧转换到HIS空间，先对I分量进行增强,得到IE(x,y)；再对H、S分量进行增强；将增强后的HIS色彩空间图像转到RGB色彩空间图像，获得第一增强图像IRGB；
所述IE(x,y)计算方法如下：
Figure FDA0002365315200000011
所述对H、S分量增强的方法如下：
Figure FDA0002365315200000012
Figure FDA0002365315200000013
其中，D表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择5*5或3*3；I(x,y)、H(x,y)、S(x,y)分别是图像中I、H、S分量，IE(x,y)、HE(x，y)、SE(x,y)分别为处理后的图像分量；Imax表示D窗口集合内的最大亮度值；Imin表示D窗口集合内的最小亮度值。
2.根据权利要求1所述的方法，所述相对亮度值的计算方法如下：
Figure FDA0002365315200000014
所述Lx(x,y)表示相对亮度值，Lmax表示当前帧最大亮度值；
Figure FDA0002365315200000015
表示当前帧平均亮度值。
3.根据权利要求2所述的方法，所述增强调节系数计算方法如下：
Figure FDA0002365315200000016
4.根据权利要求3所述的方法，所述根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL的计算方法如下：
Figure FDA0002365315200000021
其中，IFINAL(x,y)为输出图像中像素点(x,y)的RGB值。
5.一种超高清视频的处理系统，所述系统包括以下处理单元：
第一增强单元，用于接收各标清视频帧，增强处理后获得第一增强图像IRGB；
调节系数获得单元，用于获得所述增强处理后的每帧图像的相对亮度值；根据所述相对亮度值，获得增强调节系数；
第二增强单元，用于根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL；
转换单元，用于将所述第二增强图像IFINAL经过两级或多级的转换处理后，获得放大的超高清视频信号；
所述增强处理后获得第一增强图像IRGB，包括：将所述标清视频帧转换到HIS空间，先对I分量进行增强,得到IE(x,y)；再对H、S分量进行增强；将增强后的HIS色彩空间图像转到RGB色彩空间图像，获得第一增强图像IRGB；
所述IE(x,y)计算方法如下：
Figure FDA0002365315200000022
所述对H、S分量增强的方法如下：
Figure FDA0002365315200000023
Figure FDA0002365315200000024
其中，D表示以像素点(x,y)为中心的窗口内像素点的集合，窗口大小选择5*5或3*3；I(x,y)、H(x,y)、S(x,y)分别是图像中I、H、S分量，IE(x,y)、HE(x，y)、SE(x,y)分别为处理后的图像分量；Imax表示D窗口集合内的最大亮度值；Imin表示D窗口集合内的最小亮度值。
6.根据权利要求5所述的系统，所述相对亮度值的计算方法如下：
Figure FDA0002365315200000025
所述Lx(x,y)表示相对亮度值，Lmax表示当前帧最大亮度值；
Figure FDA0002365315200000026
表示当前帧平均亮度值。
7.根据权利要求6所述的系统，所述增强调节系数计算方法如下：
Figure FDA0002365315200000031
8.根据权利要求7所述的系统，所述根据所述第一增强图像IRGB和所述增强调节系数，获得第二增强图像IFINAL的计算方法如下：
Figure FDA0002365315200000032
其中，IFINAL(x,y)为输出图像中像素点(x,y)的RGB值。
CN201910811356.6A 2019-08-30 2019-08-30 一种超高清视频的处理方法及系统 Active CN110475149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811356.6A CN110475149B (zh) 2019-08-30 2019-08-30 一种超高清视频的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811356.6A CN110475149B (zh) 2019-08-30 2019-08-30 一种超高清视频的处理方法及系统

Publications (2)

Publication Number Publication Date
CN110475149A CN110475149A (zh) 2019-11-19
CN110475149B true CN110475149B (zh) 2020-04-03

Family

ID=68514254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811356.6A Active CN110475149B (zh) 2019-08-30 2019-08-30 一种超高清视频的处理方法及系统

Country Status (1)

Country Link
CN (1) CN110475149B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348085B (zh) * 2020-11-06 2024-04-09 广西电网有限责任公司钦州供电局 一种电力数据监测系统与方法
CN112581387B (zh) * 2020-12-03 2021-11-09 广州电力通信网络有限公司 一种配电室智能运维系统、装置及方法
CN115471473A (zh) * 2022-09-15 2022-12-13 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN105744364A (zh) * 2016-01-26 2016-07-06 四川长虹电器股份有限公司 4k超高清液晶电视画面清晰度和对比度的提升方法
CN108830800A (zh) * 2018-05-09 2018-11-16 南京邮电大学 一种暗光场景下图像的亮度提升增强方法
CN109146780A (zh) * 2018-07-19 2019-01-04 叶涵 一种影像质量优化方法、计算机装置及可读存储介质
CN109274985A (zh) * 2018-10-12 2019-01-25 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160033419A (ko) * 2014-09-18 2016-03-28 삼성전자주식회사 영상 처리 장치 및 영상 처리 장치의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105141876A (zh) * 2015-09-24 2015-12-09 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
CN105744364A (zh) * 2016-01-26 2016-07-06 四川长虹电器股份有限公司 4k超高清液晶电视画面清晰度和对比度的提升方法
CN108830800A (zh) * 2018-05-09 2018-11-16 南京邮电大学 一种暗光场景下图像的亮度提升增强方法
CN109146780A (zh) * 2018-07-19 2019-01-04 叶涵 一种影像质量优化方法、计算机装置及可读存储介质
CN109274985A (zh) * 2018-10-12 2019-01-25 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110475149A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110475149B (zh) 一种超高清视频的处理方法及系统
US10244200B2 (en) View-dependent operations during playback of panoramic video
US10574955B2 (en) Re-projecting flat projections of pictures of panoramic video for rendering by application
RU2719439C1 (ru) Устройство отображения изображения и способ его работы
US8139081B1 (en) Method for conversion between YUV 4:4:4 and YUV 4:2:0
CN109922344B (zh) 用于对高动态范围图像进行编码、解码和表示的技术
WO2017211250A1 (zh) 图像的叠加显示方法和系统
WO2021244440A1 (zh) 电视画质调整方法、装置和系统及电视机设备
US20160217552A1 (en) Video super-resolution by fast video segmentation for boundary accuracy control
CN114175652A (zh) 解码设备及其操作方法以及人工智能(ai)放大设备及其操作方法
CN112866803B (zh) 电子装置及其控制方法
US9478007B2 (en) Stable video super-resolution by edge strength optimization
US9161030B1 (en) Graphics overlay system for multiple displays using compressed video
US20150170338A1 (en) Image processing method and apparatus
KR20200027491A (ko) 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑
CN111738951B (zh) 图像处理方法及装置
CN112153240B (zh) 一种调整图像画质方法、装置及可读存储介质
US9053752B1 (en) Architecture for multiple graphics planes
CN110570441B (zh) 一种超高清低延时视频控制方法及系统
US8483389B1 (en) Graphics overlay system for multiple displays using compressed video
US20160277652A1 (en) Image pickup apparatus, image capturing system, method of controlling image pickup apparatus, method of controlling image capturing system, and program
US7903126B2 (en) Image processing apparatus and image processing method thereof
US20070122045A1 (en) System for scaling a picture unit from a first video resolution format to a second video resolution format
US20150023609A1 (en) Method and apparatus for decoding a progressive jpeg image
CN114827620A (zh) 图像处理方法、装置、设备与介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant