CN110049379B - 一种视频延时检测方法及系统 - Google Patents

一种视频延时检测方法及系统 Download PDF

Info

Publication number
CN110049379B
CN110049379B CN201910382974.3A CN201910382974A CN110049379B CN 110049379 B CN110049379 B CN 110049379B CN 201910382974 A CN201910382974 A CN 201910382974A CN 110049379 B CN110049379 B CN 110049379B
Authority
CN
China
Prior art keywords
image
watermark
line
receiving end
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910382974.3A
Other languages
English (en)
Other versions
CN110049379A (zh
Inventor
吴一亮
胡彦多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimei University
Original Assignee
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimei University filed Critical Jimei University
Priority to CN201910382974.3A priority Critical patent/CN110049379B/zh
Publication of CN110049379A publication Critical patent/CN110049379A/zh
Application granted granted Critical
Publication of CN110049379B publication Critical patent/CN110049379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及一种视频延时检测方法及系统，该方法中包括：S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行；S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时；S3：接收端移除水印行中的时间戳以得到原始图像。本发明能够在接收端进行延迟测量，而不需要发送端和接收端在同一物理位置，甚至可以在两个城市之间进行延时测量，且传输的视频序列将具有人眼可检测到的最小程度的失真。

Description

一种视频延时检测方法及系统
技术领域
本发明涉及多媒体内容传输技术领域，尤其涉及一种视频延时检测方法及系统。
背景技术
由于原始数字形式的多媒体信息对于任何合理的网络来说太大而无法传递，鉴于目标接收者(人类)可以容忍内容的有损退化，有损形式的压缩解压缩，转码以及格式转换是解决多媒体传输的重要手段。几乎所有在网络上传输的多媒体内容都经过某种形式的压缩，格式转换或简化。有多项标准来支持这项工作，包括MPEG1，MPEG2，H.261，H.263，H.264，H.265，AVC，ATSC，AVS。广泛采用的视频格式包括SIF，SD，HD和4K。
随着5G，太比特网络和云边缘计算的出现，诸如VR，云游戏，远程呈现和交互式广播等多媒体应用将成为下一代应用热点。随着5G清除最后一英里障碍和边缘计算解决网络拥塞问题，具有极端延迟需求的时间关键应用程序(例如，VR小于20毫秒)变得切实可行。对于这些市场来说，网络延时管理不单单是一个挑战，而是一个优先事项。
在这种背景下如何对跨网络多种形式转换的多媒体流内容的性能跟踪变的尤为重要，因为依赖于延时来实现其目标的应用变得越来越关键。但延时监控技术仍然有限且原始，由于延迟测量需要识别和标记视频流内的图像，因此会存在降低原始视频流质量的缺陷。
发明内容
为了解决上述问题，本发明提出了一种视频延时检测方法及系统，使得从人类感知到视频序列的图像具有最小的失真。
具体方案如下：
一种视频延时检测方法，包括以下步骤：
S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行；
S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时；
S3：接收端移除水印行中的时间戳以得到原始图像。
进一步的，步骤S1具体包括以下步骤：
S11：获取帧图像，并将帧图像等分为N行；
S12：设定该帧图像的水印行；
S13：从独立时间源捕获该帧图像到达的时间戳后，将该时间戳嵌入到水印行内。
进一步的，步骤S12的具体方法为以下四种情况中的一种：
(1)将所有行中总差异最小的值所对应的行设定为水印行，所述总差异为该帧图像与其前一帧图像在对应行中所有像素的总差异；
(2)设定总差异阈值，并计算该帧图像中所有行的图像复杂度，将总差异低于总差异阈值，并且图像复杂度最大的行设定为水印行，每行的图像复杂度的计算方法为：该行每个像素与相邻行中对应像素的差值的总和；
(3)选择固定行作为水印行；
(4)采用预定义方式设定多个连续帧图像内水印行所在的位置，采用周期轮询的方式将预先设定的位置作为水印行。
进一步的，步骤S13具体为：在水印行中划分出多个大小相等的块，将时间戳以二进制形式存入对应的块内，每一个块存储二进制形式时间戳的一位数字，所述块的数目与二进制形式的时间戳的长度相等。
进一步的，每个时间戳的二进制值存入方法为：根据每个块对应的时间戳的二进制值，将原图像进行数学运算生成差异图像，将差异图像添加至水印行内。
进一步的，所述差异图像的生成过程为，根据原图像的色度空间或亮度空间进行相应的数学运算。
进一步的，所述数学运算为：当二进制值为1是，则：色度/亮度＝色度/亮度+预设值；当二进制值为0是，则：色度/亮度＝色度/亮度-预设值。
进一步的，每个块中的所有像素改变的数值按照高斯曲线形状排布，即靠近块的边缘的像素改变的数值较小，靠近块的中间的像素改变的数值较大。
进一步的，所述水印行还包括标志块，用于存放用于识别该水印行的标志内容，通过该标志块能够快速识别水印行的位置。
一种视频延时检测系统，包括发送端和接收端，所述发送端和接收端均包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例中所述方法的步骤。
本发明采用如上技术方案，并具有有益效果：
1.能够在接收端侧进行延迟测量，而不需要发送端和接收端在同一物理位置，甚至可以在两个城市之间进行延时测量。
2.传输的视频序列将具有人眼可检测到的最小程度的失真。
3.可以在接收端移除对源视频序列的修改，从而完全消除通过水印引入的失真。
附图说明
图1所示为本发明实施例一的流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
如图1所示，本发明实施例一提供了一种视频延时检测方法，所述方法包括以下步骤：
S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行。
需要说明的是，可以在每一帧图像内均插入时间戳，也可以在固定、周期性或随机的几帧内插入。
另外，如果在给定的预定义时间内为插入时间戳，可以进行强制插入。
步骤S1具体包括以下步骤：
S11：获取视频序列中的帧图像，并将图像等分为N行。
S12：设定该帧图像的水印行，有以下几种情况：
(1)对于分出的每一行，计算该帧图像与其前一帧图像在该行的所有像素的总差异(SUM_TEMPORAL_DIFF)，将所有行中总差异最小的值所对应的行设定为水印行。
(2)设定总差异阈值，并计算当前帧图像中所有行的图像复杂度，将总差异低于总差异阈值，并且图像复杂度最大的行设定为水印行。
每行的图像复杂度的计算方法为：该行每个与相邻行中对应像素的差值的总和。所述相邻行为上一行和/或下一行。
需要说明的是，当图像较大时，可以选择一行中的部分区间作为待嵌入的部分，如该行中的左半边、右半边或中间，当只选择部分区间时，在计算总差异和图像复杂度时只需将该选择的部分区间进行计算即可。
(3)选择固定行作为水印行。
(4)采用预定义方式设定多个连续帧图像内水印行所在的位置，采用周期轮询的方式将预先设定的位置作为水印行。
上述四种方式只是本实施例中提出的四种可能的设定方式，本领域技术人员还可以设置其他的水印行的设置方式，在此不做限定。
上述四种方式中，综合来说第二种方式的考虑最全面，对图像的失真性影响最小，效果最佳。但在具体的应用场合，如图片画面比较单一、变化比较固定等等，可能使用其他的方式，如第三种方式中，尽管效果不如第二种，但计算量较小，耗费的时间和系统资源较低。因此，本领域技术人员可以根据实际需求进行选择应用。
S13：从独立时间源捕获每一帧图像到达的时间戳后，将该时间戳嵌入到对应帧图像的水印行内。
S13具体包括以下步骤：
S131：在水印行中设定多个大小相等的数字块，将时间戳以二进制形式存入水印行的数字块内，每一个数字块存储二进制形式时间戳的一位数字，所述数字块的数目与二进制形式的时间戳的长度相等。
具体的存入方法为，根据每个数字块对应的时间戳的二进制值，将原图像进行相应的运算生成差异图像，将差异图像添加至水印行内。
该实施例中，可以根据原图像的色度空间或亮度空间进行相应的运算，如当该块对应的二进制值为1时，则将原图像中该块的所有像素的色度或亮度加偏移值(如偏移值＝10)，当该块对应的二进制值为0时，则将原图像中该块的所有像素的色度或亮度减偏移值。在其他的实施例中，也可以采用其他的运算，以满足图像的失真性较小为较佳。
为了进一步的减少图像的失真性，该实施例中优选设定将该块中的所有像素改变的数值按照高斯曲线形状排布，即靠近块的边缘的像素改变的数值较小，靠近块的中间的像素改变的数值较大，如靠近块的两边的像素改变的数值为1，块的中间的像素改变的数值为10。
进一步的，所述水印行还设置有标志块，用于存放预先设定的用于识别的标志内容，通过标志块能够快速的识别水印行的位置。
该实施例中，所述标致块为8位，值为0x47。在其他的实施例中，本领域技术人员可以根据需求自行设定标志块的内容。
S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时。
当从每个图像中提取时间戳时，可以依赖于标志块的内容来识别水印的位置，为了进一步提高检测时间戳的准确度，还也可以根据步骤S12中定义的水印行的设置位置来进行识别。
S3：接收端移除水印行中的时间戳以得到原始图像。
当确定了时间戳后，接收端可以通过从每个数字块中去除偏移值来去除时间戳，可以通过计算出时间戳插入数字块中的精确偏移值来得到原始图像。
本发明实施例一具有以下效果：
1.能够在接收端侧进行延迟测量，而不需要发送端和接收端在同一物理位置，甚至可以在两个城市之间进行延时测量。
2.传输的视频序列将具有人眼可检测到的最小程度的失真。
3.可以在接收端移除对源视频序列的修改，从而完全消除通过水印引入的失真。
实施例二：
本发明实施例二提供了一种视频延时检测系统，包括发送端和接收端，所述发送端和接收端均包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述发送端和接收端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述发送端和接收端可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述发送端和接收端的组成结构仅仅是发送端和接收端的示例，并不构成对发送端和接收端的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述发送端和接收端还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述发送端和接收端的控制中心，利用各种接口和线路连接整个发送端和接收端的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述发送端和接收端的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种视频延时检测方法，其特征在于，包括以下步骤：
S1：发送端在视频的帧图像中提取水印行，并在水印行内插入当前时刻的时间戳后发送至接收端，所述水印行为对图像的失真性影响最小的行；步骤S1具体包括以下步骤：
S11：获取帧图像，并将帧图像等分为N行；
S12：设定该帧图像的水印行；
S13：从独立时间源捕获该帧图像到达的时间戳后，将该时间戳嵌入到水印行内；即在水印行中划分出多个大小相等的块，将时间戳以二进制形式存入对应的块内，每一个块存储二进制形式时间戳的一位数字，其中块的数目与二进制形式的时间戳的长度相等；每个块中的所有像素改变的数值按照高斯曲线形状排布，即靠近块的边缘的像素改变的数值较小，靠近块的中间的像素改变的数值较大；
S2：接收端根据接收到的图像，从图像的水印行内提取时间戳，并根据实际接收图像的时间来计算延时；
S3：接收端移除水印行中的时间戳以得到原始图像。
2.根据权利要求1所述的方法，其特征在于：步骤S12的具体方法为以下四种情况中的一种：
(1)将所有行中总差异最小的值所对应的行设定为水印行，所述总差异为该帧图像与其前一帧图像在对应行中所有像素的总差异；
(2)设定总差异阈值，并计算该帧图像中所有行的图像复杂度，将总差异低于总差异阈值，并且图像复杂度最大的行设定为水印行，每行的图像复杂度的计算方法为：该行每个像素与相邻行中对应像素的差值的总和；
(3)选择固定行作为水印行；
(4)采用预定义方式设定多个连续帧图像内水印行所在的位置，采用周期轮询的方式将预先设定的位置作为水印行。
3.根据权利要求1所述的方法，其特征在于：每个时间戳的二进制值存入方法为：根据每个块对应的时间戳的二进制值，将原图像进行数学运算生成差异图像，将差异图像添加至水印行内。
4.根据权利要求3所述的方法，其特征在于：所述差异图像的生成过程为，根据原图像的色度空间或亮度空间进行相应的数学运算。
5.根据权利要求4所述的方法，其特征在于：所述数学运算为：当二进制值为1是，则：色度或亮度＝色度或亮度+偏移值；当二进制值为0是，则：色度或亮度＝色度或亮度-偏移值。
6.根据权利要求1所述的方法，其特征在于：所述水印行还包括标志块，用于存放用于识别该水印行的标志内容，通过该标志块能够快速识别水印行的位置。
7.一种视频延时检测系统，其特征在于：包括发送端和接收端，所述发送端和接收端均包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～6中任一所述方法的步骤。
CN201910382974.3A 2019-05-09 2019-05-09 一种视频延时检测方法及系统 Active CN110049379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910382974.3A CN110049379B (zh) 2019-05-09 2019-05-09 一种视频延时检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910382974.3A CN110049379B (zh) 2019-05-09 2019-05-09 一种视频延时检测方法及系统

Publications (2)

Publication Number Publication Date
CN110049379A CN110049379A (zh) 2019-07-23
CN110049379B true CN110049379B (zh) 2020-03-24

Family

ID=67281389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910382974.3A Active CN110049379B (zh) 2019-05-09 2019-05-09 一种视频延时检测方法及系统

Country Status (1)

Country Link
CN (1) CN110049379B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798682B (zh) * 2019-11-28 2021-06-04 湖南金翎箭信息技术有限公司 一种延时测试系统
CN113259709A (zh) * 2021-05-08 2021-08-13 成都卓元科技有限公司 提高广播电视播出系统安全性的帧序列嵌入及识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346741A (zh) * 2005-12-22 2009-01-14 皇家飞利浦电子股份有限公司 通过嵌入水印实现脚本同步
CN102916812A (zh) * 2012-10-19 2013-02-06 雷欧尼斯（北京）信息技术有限公司 影院直播授权管理系统和方法
WO2016058450A1 (zh) * 2014-10-13 2016-04-21 刘整 用于信息处理的图像码及生成与解析其的装置与方法
CN105848010A (zh) * 2016-03-31 2016-08-10 天津大学 基于分块组合的移动设备视频水印嵌入和提取方法
CN107094249A (zh) * 2017-03-31 2017-08-25 腾讯科技（上海）有限公司 一种测试摄像头延时的方法及装置
CN107580214A (zh) * 2017-07-31 2018-01-12 彩虹无人机科技有限公司 一种无人机视频传输延时测量方法
CN108038357A (zh) * 2017-11-22 2018-05-15 明鉴方寸（北京）科技有限公司 一种隐形水印嵌入方法、装置以及存储设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346741A (zh) * 2005-12-22 2009-01-14 皇家飞利浦电子股份有限公司 通过嵌入水印实现脚本同步
CN102916812A (zh) * 2012-10-19 2013-02-06 雷欧尼斯（北京）信息技术有限公司 影院直播授权管理系统和方法
WO2016058450A1 (zh) * 2014-10-13 2016-04-21 刘整 用于信息处理的图像码及生成与解析其的装置与方法
CN105848010A (zh) * 2016-03-31 2016-08-10 天津大学 基于分块组合的移动设备视频水印嵌入和提取方法
CN107094249A (zh) * 2017-03-31 2017-08-25 腾讯科技（上海）有限公司 一种测试摄像头延时的方法及装置
CN107580214A (zh) * 2017-07-31 2018-01-12 彩虹无人机科技有限公司 一种无人机视频传输延时测量方法
CN108038357A (zh) * 2017-11-22 2018-05-15 明鉴方寸（北京）科技有限公司 一种隐形水印嵌入方法、装置以及存储设备

Also Published As

Publication number Publication date
CN110049379A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN107396112B (zh) 一种编码方法及装置、计算机装置、可读存储介质
JP7359521B2 (ja) 画像処理方法および装置
JPWO2019082958A1 (ja) 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法
CN109640089B (zh) 图像编解码方法及装置
CN107155093B (zh) 一种视频预览方法、装置及设备
EP3157257A1 (en) Transmission device, transmission method, reception device, and reception method
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
CN110049379B (zh) 一种视频延时检测方法及系统
CN108377394B (zh) 视频编码器的图像数据读取方法、计算机装置及计算机可读存储介质
WO2019184822A1 (zh) 多媒体文件处理方法和装置、存储介质及电子装置
CN111818295B (zh) 一种图像获取方法及装置
EP2608151A2 (en) System for communicating relationship data associated with image characteristics
US8509303B2 (en) Video descriptor generation device
CN112686810A (zh) 一种图像处理的方法及装置
EP4239565A1 (en) Method and device for tone mapping
US20070126611A1 (en) Representations of compressed video
US20180122340A1 (en) Electronic apparatus, image compression method thereof, and non-transitory computer readable recording medium
CN108668170B (zh) 图像信息处理方法及装置、存储介质
CN111343475B (zh) 数据处理方法和装置、直播服务器及存储介质
CN113395475B (zh) 数据处理方法、装置、电子设备及存储设备
CN109274955B (zh) 光场视频及深度图的压缩与同步方法、系统、及电子设备
JP2018013879A (ja) ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
CN114390285B (zh) 压缩编码方法及数据封装方法和相关装置、设备、介质
CN110619362A (zh) 一种基于感知与像差的视频内容比对方法及装置
CN117319716B (zh) 基板管理控制芯片的资源调度方法及基板管理控制芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant