CN114793287B - 一种基于双路导播的音视频内容监播方法 - Google Patents

一种基于双路导播的音视频内容监播方法 Download PDF

Info

Publication number
CN114793287B
CN114793287B CN202210709821.7A CN202210709821A CN114793287B CN 114793287 B CN114793287 B CN 114793287B CN 202210709821 A CN202210709821 A CN 202210709821A CN 114793287 B CN114793287 B CN 114793287B
Authority
CN
China
Prior art keywords
broadcasting
video
illegal
frame
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210709821.7A
Other languages
English (en)
Other versions
CN114793287A (zh
Inventor
赵薇
刚勇
符洪涛
柴剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyi Instec Technology Co ltd
Communication University of China
Original Assignee
Zhongyi Instec Technology Co ltd
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyi Instec Technology Co ltd, Communication University of China filed Critical Zhongyi Instec Technology Co ltd
Priority to CN202210709821.7A priority Critical patent/CN114793287B/zh
Publication of CN114793287A publication Critical patent/CN114793287A/zh
Application granted granted Critical
Publication of CN114793287B publication Critical patent/CN114793287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Television Systems (AREA)

Abstract

本发明属于视频导播技术领域,公开一种基于双路导播的音视频内容监播方法,包括:采集多个超高清摄像机的视频信号,输出低延时视频流,以及高画质视频流;将低延时视频流解码为多路基带信号,进行导播操作形成导播后基带信号;将所述导播后基带信号,分成两路,其中一路进行OCR违规文字检测、违规视频内容检测,另一路进行违规音频内容检测,如果判定违规,则标记违规帧时间点和发出警告。根据警告进行判断,如确认出现违规内容,则根据违规帧时间点生成修改后导播信息,高码率导播台根据修改后导播信息对高画质视频流进行导播操作,输出高画质视频节目。本发明采用低延时视频流进行违规内容识别,可以极大的提高违规内容识别的效率。

Description

一种基于双路导播的音视频内容监播方法
技术领域
本发明涉及视频导播技术领域,具体地说,涉及一种基于双路导播的音视频内容监播方法。
背景技术
云转播技术创造性地改变了传统的转播工作方式,中国专利ZL202110227536.7公开了一种双路云导播技术,对超高清视频做不同分辨率的压缩编码,产生一路高质量、常规延时信号和一路低质量、低延时信号传输至云上。导播端接收到低延时信号,监看并进行导播切换、图文制作等操作,将导播信息传送给高质量信号导播台,进行视频自动切换,输出高画质节目信号。这种架构的设计,在保证节目输出高画质的同时,满足了导播人员对拍摄视频极低延时调机的要求。
近几年人工智能技术、深度学习算法发展迅速,引领图像/视频分类、目标跟踪及行为识别、文字识别、语音识别等技术不断进步,在各个领域发挥着重要的作用。在5G网络技术的加持下,人工智能技术与云转播技术相融合,在音视频内容智能监播这一领域有着巨大潜力。目前对于视频监播,还通常是采用人工查看审核高质量视频信号的方式,即使有采用人工智能的方式来进行监播,也都是在高质量视频信号中进行监播,而高质量视频信号由于其视频文件大,传输时间长,会导致监播消耗时间长,对整个高质量视频节目的输出有很大影响。
发明内容
为解决以上问题,本发明提供一种基于双路导播的音视频内容监播方法,包括:
采集多个超高清摄像机的视频信号,输出低延时视频流到低码率导播台,以及高画质视频流到高码率导播台;
将低延时视频流解码为多路基带信号,低码率导播台进行导播操作形成导播后基带信号并记录导播信息,所述导播信息包括时间点和视频通道标识;
低码率导播台将所述导播后基带信号,分成两路,其中一路进行OCR违规文字检测、违规视频内容检测,另一路进行违规音频内容检测,如果判定违规,则标记违规帧时间点和发出警告,根据警告进行判断,如确认出现违规内容,则根据违规帧时间点生成修改后导播信息发送给高码率导播台,高码率导播台根据修改后导播信息对高画质视频流进行导播操作,输出高画质视频节目。
可选地,一路进行OCR违规文字检测是指从导播后基带信号中以预设间隔获取间隔视频帧进行OCR违规文字检测,OCR违规文字检测包括:采用OCR方法从间隔视频帧的帧视频画面识别出文字,通过与违规文字库中的文字进行比对,经过分类器判定合规或违规,如果判定违规,则标记违规帧所在的时间点和发出警告。
可选地,一路进行违规视频内容检测是指从导播后基带信号中以预设间隔获取间隔视频帧进行违规视频内容检测,违规视频内容检测包括:对所述间隔视频帧进行帧内特征提取,对预设间隔进行帧间特征提取,将帧内特征与帧间特征融合后经过分类器判定合规或违规,如果判定违规,则标记违规帧所在的时间点和发出警告。
可选地,违规音频内容检测包括:对导播后基带信号的声音信号进行音频分帧,和特征提取,经过分类器判定合规或违规,如果判定违规,则标记违规音频帧所在的时间点和发出警告。
可选地,所述根据违规帧时间点生成修改后导播信息,是指对于违规帧采用视频垫片进行替换或忽略。
可选地,所述采用OCR方法是指采用FasterRNN网络。
可选地,所述对间隔视频帧进行帧内特征提取,对预设间隔进行帧间特征提取,包括:采用2DCNN进行帧内特征提取,采用3DCNN进行帧间特征提取。
可选地,所述对导播后基带信号的声音信号进行音频分帧,和特征提取,包括:采用ACRNN对导播后的基带信号的声音信号进行特征提取。
本发明具有以下有益效果:
(1)双路云导播中的低延时视频流仍然可以保存视频关于内容的全部信息,而且由于其视频分辨率较低,可以极大的降低特征提取及识别时的运算量,不会由于监播影响高画质节目输出的即时性。
(2)充分考虑了导播过程中可能存在的违规内容形式,采用智能化的方法自动报警,极大的降低了人为参与可能导致的失误率,降低了节目播出风险,提高了节目的播出质量。
(3)利用神经网络完成音视频内容的监播,可以实现长时间、不间断、保质保量工作,降低了人力成本。
(4)本方法不仅可以对高画质节目内容进行审查,1080P及以下分辨率的低画质视频,也可以通过音视频内容监播后,直接输出较低分辨率的视频节目。
附图说明
通过结合下面附图对其实施例进行描述,本发明的上述特征和技术优点将会变得更加清楚和容易理解。
图1是表示本发明实施例的基于双路导播的音视频内容监播方法的示意图。
具体实施方式
下面将参考附图来描述本发明所述的实施例。本领域的普通技术人员可以认识到,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式或其组合对所描述的实施例进行修正。因此,附图和描述在本质上是说明性的,而不是用于限制权利要求的保护范围。此外,在本说明书中,附图未按比例画出,并且相同的附图标记表示相同的部分。
图1是表示本发明实施例的基于双路导播的音视频内容监播方法,包括以下步骤:
步骤S1,采集多个超高清摄像机拍摄的视频信号,输出低延时视频流到低码率导播台,以及高画质的视频流到高码率导播台;
其中,如图1所示,多台摄像机(摄像机1,摄像机2,…,摄像机n)从不同角度拍摄,可以与拍摄场景的角度或/和距离不同,例如,有的摄像机用于全景镜头拍摄,有的摄像机用于近景拍摄,有的摄像机用于远景拍摄,有的摄像机用于左侧拍摄,有的摄像机用于右侧拍摄,有的摄像机用于人物拍摄。
每一路摄像机都产生两路视频信号,分别输入到高画质编码卡,和低延时编码卡,高画质编码卡将多个摄像机输入的视频信号输出为高画质视频流,低延时编码卡将多个摄像机输入的视频信号输出为低延时视频流。其中,低延时=低画质=低码率视频,也就是说,针对视频信号,低延时编码卡把它变成低画质(分辨率低,即低码率)的视频,因为分辨率低,算法步骤简单,所以编解码速度快,又因为视频文件相对于高画质的视频文件小,所以在相同传输速度的情况下,低延时视频流传输到云导播台耗时更少,传输更快。
其中,高画质=高码率视频=编解码高延时,也就是说,针对视频信号,高画质编码卡把它变成高画质(分辨率高,即高码率)的视频,因为分辨率高,算法步骤复杂,所以编解码速度相对慢,又因为视频文件相对于低延时的视频文件大,所以在相同传输速度的情况下,高画质视频流传输到云导播台耗时更多,传输更慢一些。其中,低延时编码卡和高画质编码卡可以是插装在同一编码器中,也可以是分别在不同的编码器中。
所述延时阈值指的是导播切换所能忍受的最大时长,因为导播在云导播台看到传过来的画面,要指挥现场摄像师进行画面光圈变化或者镜头的旋转,这个操作对时间是有要求的,时间太久,想要的画面可能就没了。比如足球射门时刻观众的欢呼场景,导播看到进球,会要求现场摄像师把镜头给观众席,所以传输时延必须要极小,这个极小的时间就是延时阈值,最多200ms,才会不影响画面。分辨率阈值根据视频接收终端(演播室、融媒体中心、电视机、手机等)的分辨率要求确定,高清、4k和8k的分辨率阈值不同,视频接收终端的分辨率要求越高,分辨率阈值越大。
步骤S2,将低延时视频流解码为多路基带信号,进行导播操作生成一路导播后基带信号,并记录导播信息,所述导播信息包括时间点和视频通道标识。
如图1中,第一收发模块接收低延时视频流解码为多路基带信号,并将多路基带信号传输给第一制作模块进行导播操作,完成导播操作后,输出的依然是基带信号,在此称为导播后基带信号,导播后基带信号由画面帧构成,通常是50帧/秒。例如,将摄像机1,摄像机2,…,摄像机n对应的基带信号按顺序导播制作为导播后基带信号。
将低延时视频流用于导播,低延时视频流进行云制作的延时小于200ms,相对于常规的视频流导播,可以保证镜头切换的连贯性,保证了高质量信号的导播。
步骤S3,将导播后基带信号分成两路,其中一路进行OCR违规文字检测、违规视频内容检测,另一路进行违规音频内容检测,标记违规帧时间点并发出警告,导播人员根据警告进行判断,如确认出现违规内容,则根据违规帧时间点生成修改后导播信号,高码率导播台根据修改后导播信号对多路高画质的视频流进行导播操作,输出高画质视频节目。
如图1中,将违规帧标记发送给第一制作模块,第一制作模块可以决定是否去除违规帧,第一制作模块可以向第一分发模块发送经过音视频内容监播模块后生成的视频,从而进行低画质节目分发。当然,低画质节目分发并不是必须的,第一制作模块还把修改后导播信息发送给第二制作模块,第二收发模块将接收的高画质视频流解码为基带信号发送给第二制作模块接收,第二制作模块根据修改后导播信息进行高画质视频流的导播,并从而可以经第二分发模块分发高画质视频节目。
其中,所述一路是从第一制作模块导播后基带信号中以预设间隔抽取间隔视频帧进行OCR违规文字检测,OCR违规文字检测包括:采用OCR方法从间隔视频帧的帧视频画面识别出文字,通过与违规文字库中的文字进行比对,经过分类器判定合规或违规,并标记违规帧所在的时间点。例如对于儿童节目,其中不能具有不雅的文字,通过对违规文字检测检测,可以根据需要去除不适合儿童节目的文字内容。OCR方法可以是例如FasterRNN网络。
其中,所述一路是从第一制作模块的导播后基带信号中以预设间隔获取间隔视频帧进行违规视频内容检测,违规视频内容检测包括:对所述间隔视频帧进行帧内特征提取,对预设间隔进行帧间特征提取,将帧内特征与帧间特征融合后经过分类器判定合规或违规,并标记违规帧所在的时间点。
其中,可以采用2DCNN进行帧内特征提取,采用3DCNN进行帧间特征提取。
例如对于儿童节目,其中不能具有不适宜儿童观看的画面,通过对违规视频内容检测,可以根据需要去除不适合儿童节目的视频内容。
其中,违规音频内容检测包括:对第一制作模块的导播后基带信号中的声音信号进行音频分帧,特征提取,经过分类器判定合规或违规,并标记违规音频帧所在的时间点。例如对于儿童节目,其中不能具有不适宜儿童听的话语,通过对违规音频内容检测,可以根据需要去除不适合儿童节目的音频内容。
其中,采用ACRNN对导播后的基带信号中的声音信号进行特征提取。
进一步的,对于违规帧可以采用视频垫片进行替换或忽略。所述视频垫片是一种事先准备的视频,用以在需要是替换指定的帧。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双路导播的音视频内容监播方法,其特征在于,包括:
采集多个超高清摄像机的视频信号,输出低延时视频流到低码率导播台,以及高画质视频流到高码率导播台;
将低延时视频流解码为多路基带信号,低码率导播台进行导播操作形成导播后基带信号并记录导播信息,所述导播信息包括时间点和视频通道标识;
低码率导播台将所述导播后基带信号,分成两路,其中一路进行OCR违规文字检测、违规视频内容检测,另一路进行违规音频内容检测,如果判定违规,则标记违规帧时间点和发出警告,根据警告进行判断,如确认出现违规内容,则根据违规帧时间点生成修改后导播信息发送给高码率导播台,高码率导播台根据修改后导播信息对高画质视频流进行导播操作,输出高画质视频节目,
所述根据违规帧时间点生成修改后导播信息,是指对于违规帧采用视频垫片进行替换或忽略。
2.根据权利要求1所述的基于双路导播的音视频内容监播方法,其特征在于,进行OCR违规文字检测是指从导播后基带信号中以预设间隔获取间隔视频帧进行OCR违规文字检测,OCR违规文字检测包括:采用OCR方法从间隔视频帧的帧视频画面识别出文字,通过与违规文字库中的文字进行比对,经过分类器判定合规或违规,如果判定违规,则标记违规帧所在的时间点和发出警告。
3.根据权利要求1所述的基于双路导播的音视频内容监播方法,其特征在于,进行违规视频内容检测是指从导播后基带信号中以预设间隔获取间隔视频帧进行违规视频内容检测,违规视频内容检测包括:对间隔视频帧进行帧内特征提取,对预设间隔进行帧间特征提取,将帧内特征与帧间特征融合后经过分类器判定合规或违规,如果判定违规,则标记违规帧所在的时间点和发出警告。
4.根据权利要求1所述的基于双路导播的音视频内容监播方法,其特征在于,违规音频内容检测包括:对导播后基带信号的声音信号进行音频分帧,和特征提取,经过分类器判定合规或违规,如果判定违规,则标记违规音频帧所在的时间点和发出警告。
5.根据权利要求2所述的基于双路导播的音视频内容监播方法,其特征在于,所述采用OCR方法是指采用FasterRNN网络。
6.根据权利要求3所述的基于双路导播的音视频内容监播方法,其特征在于,所述对间隔视频帧进行帧内特征提取,对预设间隔进行帧间特征提取,包括:采用2DCNN进行帧内特征提取,采用3DCNN进行帧间特征提取。
7.根据权利要求4所述的基于双路导播的音视频内容监播方法,其特征在于,所述对导播后基带信号的声音信号进行音频分帧,和特征提取,包括:采用ACRNN对导播后的基带信号的声音信号进行特征提取。
CN202210709821.7A 2022-06-22 2022-06-22 一种基于双路导播的音视频内容监播方法 Active CN114793287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210709821.7A CN114793287B (zh) 2022-06-22 2022-06-22 一种基于双路导播的音视频内容监播方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210709821.7A CN114793287B (zh) 2022-06-22 2022-06-22 一种基于双路导播的音视频内容监播方法

Publications (2)

Publication Number Publication Date
CN114793287A CN114793287A (zh) 2022-07-26
CN114793287B true CN114793287B (zh) 2022-09-27

Family

ID=82463878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210709821.7A Active CN114793287B (zh) 2022-06-22 2022-06-22 一种基于双路导播的音视频内容监播方法

Country Status (1)

Country Link
CN (1) CN114793287B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206227B (zh) * 2023-04-23 2023-07-25 上海帜讯信息技术股份有限公司 5g富媒体信息的图片审查系统、方法、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058658A (ja) * 2001-08-10 2003-02-28 Oki Electric Ind Co Ltd デジタルコンテンツの使用条件違反の検出方法および検出システム
CN108170813A (zh) * 2017-12-29 2018-06-15 智搜天机(北京)信息技术有限公司 一种全媒体内容智能审核的方法及其系统
CN111797752A (zh) * 2020-06-29 2020-10-20 广州市百果园信息技术有限公司 违规视频检测方法、装置、设备及存储介质
CN112601097A (zh) * 2021-03-02 2021-04-02 中国传媒大学 双编码云导播方法及系统
CN213094282U (zh) * 2021-03-02 2021-04-30 中国传媒大学 云上导播装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058658A (ja) * 2001-08-10 2003-02-28 Oki Electric Ind Co Ltd デジタルコンテンツの使用条件違反の検出方法および検出システム
CN108170813A (zh) * 2017-12-29 2018-06-15 智搜天机(北京)信息技术有限公司 一种全媒体内容智能审核的方法及其系统
CN111797752A (zh) * 2020-06-29 2020-10-20 广州市百果园信息技术有限公司 违规视频检测方法、装置、设备及存储介质
CN112601097A (zh) * 2021-03-02 2021-04-02 中国传媒大学 双编码云导播方法及系统
CN213094282U (zh) * 2021-03-02 2021-04-30 中国传媒大学 云上导播装置

Also Published As

Publication number Publication date
CN114793287A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
US10694249B2 (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
CN112601097B (zh) 双编码云导播方法及系统
US6909745B1 (en) Content adaptive video encoder
CN100556151C (zh) 一种视频终端以及一种音频码流处理方法
CN109587401A (zh) 电子云台多场景拍摄实现方法及系统
US10511766B2 (en) Video transmission based on independently encoded background updates
CN114793287B (zh) 一种基于双路导播的音视频内容监播方法
CN101411208A (zh) 视频编码的时间质量度量
US20080198922A1 (en) Systems and Methods For Video Quality Measurement Using Auxiliary Information of Codec
US11287653B2 (en) Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
CN109194974B (zh) 用于网络视频直播的媒体低延迟通信方法与系统
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
US10848837B2 (en) Device and method for processing high-definition 360-degree VR image
CN213094282U (zh) 云上导播装置
CN109257610B (zh) 用于互联网远程教育的媒体低延时通信方法及系统
CN104378635A (zh) 基于麦克风阵列辅助的视频感兴趣区域的编码方法
CN102685574A (zh) 从数字电视节目中自动抽取图像的系统及其应用
CN102761771A (zh) 一种基于图像客观质量评估进行视频劣播检测的方法及设备
US20100026813A1 (en) Video monitoring involving embedding a video characteristic in audio of a video/audio signal
Bienik et al. Impact of constant rate factor on objective video quality assessment
CN108881119B (zh) 一种视频浓缩的方法、装置和系统
KR101020991B1 (ko) 중계 방송 시스템의 광고 삽입 방법 및 그 장치
CN117201845A (zh) 基于帧比对的直播节目首播和重播内容一致性监测方法
CN112003875A (zh) 一种视讯焦点内容传输系统及方法
CN114827617B (zh) 一种基于感知模型的视频编解码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant