CN110188495B - 一种基于深度学习的二维户型图生成三维户型图的方法 - Google Patents

一种基于深度学习的二维户型图生成三维户型图的方法 Download PDF

Info

Publication number
CN110188495B
CN110188495B CN201910481663.2A CN201910481663A CN110188495B CN 110188495 B CN110188495 B CN 110188495B CN 201910481663 A CN201910481663 A CN 201910481663A CN 110188495 B CN110188495 B CN 110188495B
Authority
CN
China
Prior art keywords
house type
dimensional house
type graph
dimensional
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910481663.2A
Other languages
English (en)
Other versions
CN110188495A (zh
Inventor
崔斌
李昕芃
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongsheng Beijing Data Technology Co ltd
Original Assignee
Zhongsheng Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongsheng Beijing Data Technology Co ltd filed Critical Zhongsheng Beijing Data Technology Co ltd
Priority to CN201910481663.2A priority Critical patent/CN110188495B/zh
Publication of CN110188495A publication Critical patent/CN110188495A/zh
Application granted granted Critical
Publication of CN110188495B publication Critical patent/CN110188495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于深度学习的二维户型图生成三维户型图的方法,涉及深度学习技术领域,通过采用训练过的训练好的神经网络中,得到该二维户型图对应的热力图,对热力图的进行分析,获得概率较大的墙体交点,对该墙体交点进行矫正来使两个交点构成一条墙体线段,获取多条墙体线段的数据信息并将该数据信息转换为json格式的文件,将该json格式的文件输入Unity 3D模型自动生成三维户型图,可识别用不同方法表示墙体的户型图,节省了人工成本、提高了生成三维户型图的灵活性及精确度。

Description

一种基于深度学习的二维户型图生成三维户型图的方法
技术领域
本发明涉及深度学习技术领域,具体涉及一种基于深度学习的二维户型图生成三维户型图的方法。
背景技术
现有的二维户型图生成三维户型图的方法主要有通过人工识别户型图并手动建立三维户型图和通过opencv模型来识别二维户型图中墙、门及窗的位置并通过Unity3D来建立三维户型图。
第一种方法显而易见的缺陷为会消耗大量的人力及且对人员的专业要求较高,精确度较低;第二种方法的缺陷为无法识别多种类型的户型图,导致灵活性较差。例如对于两种用不同方法表示墙体的户型图,这时就需要调整一些方法的参数来实现识别,甚至可能需要不同类别的户型图使用不同的函数及参数。
发明内容
为解决现有技术的不足,本发明实施例提供了一种基于深度学习的二维户型图生成三维户型图的方法,该方法包括:
(1)将待识别的二维户型图输入训练好的神经网络中,得到所述二维户型图对应的热力图;
(2)将所述热力图中的点连接为墙、门及窗,得到多条线段,包括:
(21)将所述热力图中概率大于设定阈值的点做为候选交点;
(22)分别对所述候选交点的东、南、西、北四个方向上的通道进行延伸搜索,如果一个候选交点在一个通道上的延伸和另一个候选交点在该通道上的延伸存在重合点,则将此两候选交点连为一条线段;
(23)通过开/闭运算计算任意两条线段之间的间隙值并判断所述间隙值是否小于设定的阈值,若是,则将所述间隙值对应的两条线段连接在一起;
(3)获取所述多条线段的数据信息并将所述数据信息转换为json格式的文件,其中所述数据信息包括墙、门及窗的起点坐标和终点坐标;
(4)将所述json格式的文件输入Unity 3D模型,生成三维户型图。
优选地,所述神经网络模型的生成过程包括:
利用爬虫技术,从网络资源中获取一定数量的二维户型图;
对所述二维户型图进行裁剪,去掉图片周围的空白及标尺并将所述二维户型图修补为正方形;
将所述二维户型图缩放至合适的分辨率;
通过人工对所述二维户型图中的墙、门及窗进行标注,包括:
利用图片处理软件,分别用红、绿及蓝三种颜色一个像素宽的线段标注所述二维户型图中的墙、门及窗;
将所述二维户型图的背景设置为黑色后将所述二维户型图转换为png格式并保存所述二维户型图;
将所述二维户型图转换为热力图,包括:
获取所述二维户型图中各个像素点在东、南、西、北四个方向通道上的像素信息并根据所述像素信息判断各个像素点是否为交点,得到交点集合;
利用二维正态分布函数对所述交点集合进行计算,得到所述二维户型图对应的热力图;
将所述热力图输入神经网络,对所述神经网络进行训练。
优选地,获取所述多条线段的数据信息包括:
获取所述二维户型图的标尺信息;
将所述标尺信息中的数字与线段进行分离;
根据所述数字及所述线段实际长度计算所述二维户型图的比例尺;
根据提取的比例尺和缩放前后二维户型图的分辨率计算缩放后图片的比例尺。
优选地,通过开/闭运算计算任意两条线段之间的间隙值并判断所述间隙值是否小于设定的阈值包括:
若否,则删除所述间隙值对应的两条线段。
优选地,所述数据信息还包括所述二维户型图的比例尺。
优选地,根据所述像素信息判断各个像素点是否为交点包括:
分别判断各个像素点所在通道的至少两个方向上是否存在与各个像素点像素值一致的像素点,若是,则将该像素点设置为交点。
本发明实施例提供的基于深度学习的二维户型图生成三维户型图的方法具有以下有益效果:
通过采用训练过的训练好的神经网络中,得到所述二维户型图对应的热力图,对热力图的进行分析,获得概率较大的墙体交点,对该墙体交点进行矫正来使两个交点构成一条墙体线段,获取多条墙体线段的数据信息并将所述数据信息转换为json格式的文件,将该json格式的文件输入Unity 3D模型自动生成三维户型图,可识别用不同方法表示墙体的户型图,节省了人工成本、提高了生成三维户型图的灵活性及精确度。
附图说明
图1为本发明实施例提供的基于深度学习的二维户型图生成三维户型图的方法流程示意图;
图2为二维户型图中各个交点的种类集合示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
参见图1,本发明实施例提供的基于深度学习的二维户型图生成三维户型图的方法包括以下步骤:
S101,将待识别的二维户型图输入训练好的神经网络中,得到该二维户型图对应的热力图;
S102,将该热力图中的点连接为墙、门及窗,得到多条线段,包括:
S1021将该热力图中概率大于设定阈值的点做为候选交点;
S1022分别对该候选交点的东、南、西、北四个方向上的通道进行延伸搜索,如果一个候选交点在一个通道上的延伸和另一个候选交点在该通道上的延伸存在重合点,则将此两候选交点连为一条线段;
S1023通过开/闭运算计算任意两条线段之间的间隙值并判断该间隙值是否小于设定的阈值,若是,则将该间隙值对应的两条线段连接在一起;
S103获取多条线段的数据信息并将该数据信息转换为json格式的文件,其中该数据信息包括墙、门及窗的起点坐标和终点坐标;
S104将该json格式的文件输入Unity 3D模型,生成三维户型图。
可选地,该神经网络模型的生成过程包括:
利用爬虫技术,从网络资源中获取一定数量的二维户型图;
对该二维户型图进行裁剪,去掉图片周围的空白及标尺并将所述二维户型图修补为正方形;
将该二维户型图缩放至合适的分辨率;
通过人工对所述二维户型图中的墙、门及窗进行标注,包括:
利用图片处理软件,分别用红、绿及蓝三种颜色一个像素宽的线段标注所述二维户型图中的墙、门及窗;
将该二维户型图的背景设置为黑色后将该二维户型图转换为png格式并保存该二维户型图;
将该二维户型图转换为热力图,包括:
获取该二维户型图中各个像素点在东、南、西、北四个方向通道上的像素信息并根据该像素信息判断各个像素点是否为交点,得到交点集合。
利用二维正态分布函数对所述交点集合进行计算,得到所述二维户型图对应的热力图。
进一步地,二维正态分布函数根据该交点集合中各个交点的种类,知道各个交点在哪个方向有延伸并以此在对应的通道上进行热力图的绘制。以图2的第一行第一列“L”形交点为例,此交点就是在“北”及“东”的方向有延伸,之后在“北”及“东”方向的通道上以该点坐标为中心绘制高斯分布图作为该交点附近的热力图。
将该热力图输入神经网络,对该神经网络模型进行训练。
可选地,获取多条线段的数据信息包括:
获取该二维户型图的标尺信息。
将所述标尺信息中的数字与线段进行分离。
根据该数字及该线段实际长度计算该二维户型图的比例尺。
根据提取的比例尺和缩放前后二维户型图的分辨率计算缩放后图片的比例尺。
作为一个具体的实施例,若一张图像缩放前的分辨率为
512像素×512像素,比例尺为0.2米/像素,缩放后的图像分辨率为256像素×256像素,则缩放后的图像的比例尺为0.4米/像素。
可选地,通过开/闭运算计算任意两条线段之间的间隙值并判断该间隙值是否小于设定的阈值包括:
若否,则删除该间隙值对应的两条线段。
优选地,该数据信息还包括所述二维户型图的比例尺。
可选地,根据该像素信息判断各个像素点是否为交点包括:
分别判断各个像素点所在通道的至少两个方向上是否存在与各个像素点像素值一致的像素点,若是,则将该像素点设置为交点。
本发明实施例提供的基于深度学习的二维户型图生成三维户型图的方法,通过采用训练过的训练好的神经网络中,得到该二维户型图对应的热力图,对热力图的进行分析,获得概率较大的墙体交点,对该墙体交点进行矫正来使两个交点构成一条墙体线段,获取多条墙体线段的数据信息并将该数据信息转换为json格式的文件,将该json格式的文件输入Unity 3D模型自动生成三维户型图,可识别用不同方法表示墙体的户型图,节省了人工成本、提高了生成三维户型图的灵活性及精确度。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于深度学习的二维户型图生成三维户型图的方法,其特征在于,包括:
(1)将待识别的二维户型图输入训练好的神经网络中,得到所述二维户型图对应的热力图;
(2)将所述热力图中的点连接为墙、门及窗,得到多条线段,包括:
(21)将所述热力图中概率大于设定阈值的点做为候选交点;
(22)分别对所述候选交点的东、南、西、北四个方向上的通道进行延伸搜索,如果一个候选交点在一个通道上的延伸和另一个候选交点在该通道上的延伸存在重合点,则将此两候选交点连为一条线段;
(23)通过开/闭运算计算任意两条线段之间的间隙值并判断所述间隙值是否小于设定的阈值,若是,则将所述间隙值对应的两条线段连接在一起;
(3)获取所述多条线段的数据信息并将所述数据信息转换为json格式的文件,其中所述数据信息包括墙、门及窗的起点坐标和终点坐标;
(4)将所述json格式的文件输入Unity3D模型,生成三维户型图。
2.根据权利要求1所述的基于深度学习的二维户型图生成三维户型图的方法,其特征在于,所述神经网络模型的生成过程包括:
利用爬虫技术,从网络资源中获取一定数量的二维户型图;
对所述二维户型图进行裁剪,去掉图片周围的空白及标尺并将所述二维户型图修补为正方形;
将所述二维户型图缩放至合适的分辨率;
通过人工对所述二维户型图中的墙、门及窗进行标注,包括:
利用图片处理软件,分别用红、绿及蓝三种颜色一个像素宽的线段标注所述二维户型图中的墙、门及窗;
将所述二维户型图的背景设置为黑色后将所述二维户型图转换为png格式并保存所述二维户型图;
将所述二维户型图转换为热力图,包括:
获取所述二维户型图中各个像素点在东、南、西、北四个方向通道上的像素信息并根据所述像素信息判断各个像素点是否为交点,得到交点集合;
利用二维正态分布函数对所述交点集合进行计算,得到所述二维户型图对应的热力图;
将所述热力图输入神经网络,对所述神经网络进行训练。
3.根据权利要求1所述的基于深度学习的二维户型图生成三维户型图的方法,其特征在于,获取所述多条线段的数据信息包括:
获取所述二维户型图的标尺信息;
将所述标尺信息中的数字与线段进行分离;
根据所述数字及所述线段实际长度计算所述二维户型图的比例尺;
根据提取的比例尺和缩放前后的分辨率计算缩放后二维户型图的比例尺。
4.根据权利要求1所述的基于深度学习的二维户型图生成三维户型图的方法,其特征在于,通过开/闭运算计算任意两条线段之间的间隙值并判断所述间隙值是否小于设定的阈值包括:
若否,则删除所述间隙值对应的两条线段。
5.根据权利要求1所述的基于深度学习的二维户型图生成三维户型图的方法,其特征在于,所述数据信息还包括所述二维户型图的比例尺。
6.根据权利要求2所述的基于深度学习的二维户型图生成三维户型图的方法,其特征在于,根据所述像素信息判断各个像素点是否为交点包括:
分别判断各个像素点所在通道的至少两个方向上是否存在与各个像素点像素值一致的像素点,若是,则将该像素点设置为交点。
CN201910481663.2A 2019-06-04 2019-06-04 一种基于深度学习的二维户型图生成三维户型图的方法 Active CN110188495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910481663.2A CN110188495B (zh) 2019-06-04 2019-06-04 一种基于深度学习的二维户型图生成三维户型图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910481663.2A CN110188495B (zh) 2019-06-04 2019-06-04 一种基于深度学习的二维户型图生成三维户型图的方法

Publications (2)

Publication Number Publication Date
CN110188495A CN110188495A (zh) 2019-08-30
CN110188495B true CN110188495B (zh) 2023-05-02

Family

ID=67720216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481663.2A Active CN110188495B (zh) 2019-06-04 2019-06-04 一种基于深度学习的二维户型图生成三维户型图的方法

Country Status (1)

Country Link
CN (1) CN110188495B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633553B (zh) * 2019-10-09 2023-07-18 郑豪 一种住宅户型平面图自动生成方法和系统
CN111275820B (zh) * 2020-01-15 2023-09-19 深圳市华橙数字科技有限公司 基于二维平面绘制三维墙体方法、装置、终端和存储介质
CN111797748A (zh) * 2020-06-28 2020-10-20 北京比邻弘科科技有限公司 基于深度学习的图像识别方法
CN111814619A (zh) * 2020-06-28 2020-10-23 北京比邻弘科科技有限公司 一种户型图的比例尺值获取方法
CN113297651B (zh) * 2020-07-16 2024-06-14 每平每屋(上海)科技有限公司 三维房型数据的生成方法、装置及设备
CN112150527B (zh) * 2020-08-31 2024-05-17 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804815B (zh) * 2018-06-08 2023-04-07 杭州群核信息技术有限公司 一种基于深度学习辅助识别cad中墙体的方法和装置
CN109558858A (zh) * 2018-12-11 2019-04-02 北京首汽智行科技有限公司 基于深度学习的车内卫生自动识别方法及系统

Also Published As

Publication number Publication date
CN110188495A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188495B (zh) 一种基于深度学习的二维户型图生成三维户型图的方法
CN113435456A (zh) 基于机器学习的岩石薄片组分识别方法、装置及介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110910360B (zh) 电网图像的定位方法和图像定位模型的训练方法
CN113033516A (zh) 对象识别统计方法及装置、电子设备、存储介质
CN115439753B (zh) 一种基于dem的陡峭河岸识别方法及系统
CN109583393A (zh) 一种车道线端点识别方法及装置、设备、介质
CN116071651B (zh) 一种均压场识别方法、装置、存储介质及终端
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN111768405A (zh) 处理标注图像的方法、装置、设备和存储介质
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN113808142B (zh) 一种地面标识的识别方法、装置、电子设备
CN111325126B (zh) 遥感图像的解译方法及装置
US11354801B2 (en) Method for detecting tumor by image analysis, device using method, and non-transitory storage medium
CN111931920A (zh) 基于级联神经网络的目标检测方法、装置及存储介质
CN111768406A (zh) 细胞图像处理方法、装置、设备和存储介质
CN111967473A (zh) 基于图像分割和模板匹配的粮库仓储情况监测方法
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN113888567B (zh) 一种图像分割模型的训练方法、图像分割方法及装置
CN115861557A (zh) 一种基于bim+三维扫描辅助城市轨道交通监控方法、系统及介质
US9798932B2 (en) Video extraction method and device
CN111435537B (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
CN113516615A (zh) 一种样本生成方法、系统、设备及存储介质
CN113870412A (zh) 一种航空场景图像的处理方法、装置以及电子设备
CN111553187A (zh) 识别cad图纸中表格的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant