CN116645649B - 车辆位姿及尺寸估计方法、设备及存储介质 - Google Patents

车辆位姿及尺寸估计方法、设备及存储介质 Download PDF

Info

Publication number
CN116645649B
CN116645649B CN202310928113.7A CN202310928113A CN116645649B CN 116645649 B CN116645649 B CN 116645649B CN 202310928113 A CN202310928113 A CN 202310928113A CN 116645649 B CN116645649 B CN 116645649B
Authority
CN
China
Prior art keywords
vehicle
target
information
detection frame
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310928113.7A
Other languages
English (en)
Other versions
CN116645649A (zh
Inventor
丁洋
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Magic Vision Intelligent Technology Co ltd
Original Assignee
Shenzhen Magic Vision Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Magic Vision Intelligent Technology Co ltd filed Critical Shenzhen Magic Vision Intelligent Technology Co ltd
Priority to CN202310928113.7A priority Critical patent/CN116645649B/zh
Publication of CN116645649A publication Critical patent/CN116645649A/zh
Application granted granted Critical
Publication of CN116645649B publication Critical patent/CN116645649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及车辆驾驶技术领域，公开了一种车辆位姿及尺寸估计方法、设备及存储介质，该方法包括：获取观测图像；对观测图像进行车辆检测，得到观测图像中目标车辆的二维车辆检测框，二维车辆检测框包括车身检测框和局部检测框；获取目标车辆对应的三维框架，并获取三维框架的各个角点在目标车辆对应的车体坐标系下的车体坐标；基于各个角点与二维车辆检测框之间的映射，确定目标角点以及各个目标角点在观测图像中的像素坐标；基于车体坐标、像素坐标、以及车体坐标系与观测图像对应的图像坐标系之间的坐标变换关系，确定目标车辆的位姿信息和尺寸信息。本发明能够解决单目视觉恢复环境车辆位姿和尺寸难度较大的问题。

Description

车辆位姿及尺寸估计方法、设备及存储介质
技术领域
本发明涉及车辆驾驶技术领域，具体涉及车辆位姿及尺寸估计方法、设备及存储介质。
背景技术
与传统驾驶相同，对车辆运行的周围环境实时感知是无人驾驶系统实施决策和控制的基础，相关的环境感知技术也受到学术界和工业界的重点关注。在基于单目视觉恢复环境车辆的位姿和尺寸的相关技术中，环境车辆位姿和尺寸的估计方法主要有以下几类：第一类、从车辆的3D模型出发，利用深度学习网络来预测与图像中目标车辆最匹配的3D模型，这类方法所依赖的3D模型的网络设计较为复杂，实现难度较大。第二类、从车辆简化模型的3D关键点出发，利用深度学习网络来预测与图像中目标车辆最匹配的简化模型的3D关键点，这类方法依赖于3D关键点，需要预先在2D图像上标注3D关键点信息，标注难度大。第三类、利用深度学习网络来预测图像中目标车辆的大小和朝向，再从车辆检测2D框与车辆3D框的约束出发，解算出车辆3D框中心点的位置，这类方法深度学习网络设计复杂，实现难度较大。可见，相关技术通过单目视觉恢复环境车辆位姿和尺寸的方法实现难度较大。
发明内容
有鉴于此，本发明提供了一种车辆位姿及尺寸估计方法、设备及存储介质，以解决通过单目视觉恢复环境车辆位姿和尺寸难度较大的问题。
第一方面，本发明提供了一种车辆位姿及尺寸估计方法，所述方法包括：
获取观测图像；
对所述观测图像进行车辆检测，得到所述观测图像中目标车辆的二维车辆检测框，所述二维车辆检测框包括车身检测框和局部检测框，所述局部检测框包括车头检测框以及车尾检测框中的至少之一；
获取所述目标车辆对应的三维框架，并获取所述三维框架的各个角点在所述目标车辆对应的车体坐标系下的车体坐标，所述三维框架的属性与所述目标车辆的属性相同；
基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标；
基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息。
在该方式中，仅需要对观测图像进行车辆检测，获取目标车辆的二维车辆检测框，即可基于目标车辆对应的三维框架的角点与二维车辆检测框之间的映射，确定目标角点及其在观测图像中的像素坐标，以根据目标角点的像素坐标及其在对应的车体坐标系下的车体坐标，以及车体坐标系与观测图像对应的图像坐标系之间的坐标变换关系，确定目标车辆的位姿信息和尺寸信息。而二维车辆检测框的获取在计算机视觉中已经非常成熟、经典且对于平台运行算力要求不高，因此能够降低单目视觉恢复目标车辆位姿和尺寸的难度。
在一种可选的实施方式中，所述基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标，包括：
基于各个所述角点与所述二维车辆检测框之间的映射，从映射于所述车身检测框和所述局部检测框的所述角点中选择第一预设数量的第一角点，以及，从仅映射于所述车身检测框的所述角点中选择第二预设数量的第二角点，所述目标角点包括所述第一角点以及所述第二角点；
根据各个所述目标角点映射在对应的所述二维车辆检测框上的位置，得到各个所述目标角点在所述观测图像中的像素坐标。
在该方式中，基于各个角点与二维车辆检测框之间的映射，分别从映射于车身检测框和局部检测框的角点中，以及，仅映射于所述车身检测框的角点中选择目标角点，因此，使得所确定的目标角点能够从二维车辆检测框上得到对应的像素坐标，以便于后续准确地求解出车辆位姿和尺寸信息。
在一种可选的实施方式中，所述基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息，包括：
获取所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系；
基于所述坐标变换关系对各个所述目标角点的所述车体坐标和所述像素坐标之间进行约束，得到各个所述目标角点对应的齐次线性方程组，各个所述齐次线性方程组的未知项由所述位姿信息和所述尺寸信息中的未知量构成；
对各个所述齐次线性方程组进行求解，以得到所述目标车辆的位姿信息和尺寸信息。
在该方式中，基于车体坐标系与图像坐标系之间的坐标变换关系，对目标角点的车体坐标和像素坐标之间进行约束，得到目标角点对应的齐次线性方程组，齐次线性方程组的未知项由位姿信息和尺寸信息中的未知量构成，因此，能够简化目标车辆的位姿信息和尺寸信息的求解过程，提高计算效率。
在一种可选的实施方式中，所述对各个所述齐次线性方程组进行求解，以得到所述目标车辆的位姿信息和尺寸信息，包括：
获取各个所述齐次线性方程组的初始系数矩阵；
基于各个所述齐次线性方程组的初始系数矩阵，构建目标系数矩阵，所述目标系数矩阵的秩与所述位姿信息和所述尺寸信息中的未知量的数量相同；
对所述目标系数矩阵进行奇异值分解，得到右奇异矩阵；
基于所述右奇异矩阵确定对应于各个所述齐次线性方程组的通解；
获取各个所述齐次线性方程组的未知项，以确定目标约束条件；
基于所述通解和所述目标约束条件，求解得到所述目标车辆的位姿信息和尺寸信息。
在该方式中，先基于各个齐次线性方程组的初始系数矩阵构建目标系数矩阵，且目标系数矩阵的秩与位姿信息和尺寸信息中的未知量的数量相同，以确保后续位姿信息和尺寸信息的未知量的解唯一，再对目标系数矩阵进行奇异值分解，得到右奇异矩阵，以基于右奇异矩阵确定通解，进而根据未知项得到的目标约束条件对通解进行进一步地约束，从而准确得到目标车辆的位姿信息和尺寸信息。
在一种可选的实施方式中，所述坐标变换关系通过以下公式表示：
其中，K为相机内参矩阵，I3×4为3×4的单位矩阵，为从世界坐标系变换到相机坐标系的位姿变换矩阵，Twv为从所述车体坐标系变换到所述世界坐标系的位姿变换矩阵，P为所述目标角点的车体坐标，λ为尺度系数，u和v为所述目标角点的像素坐标。
在一种可选的实施方式中，在将所述尺寸信息中的宽度信息作为先验信息时，各个所述齐次线性方程组的未知项X具体为：；其中，x和y为所述位姿信息中所述目标车辆对应于世界坐标系的位置，θ为所述位姿信息中所述目标车辆对应于所述世界坐标系的姿态角度，L为所述尺寸信息中的长度信息，H为所述尺寸信息中的高度信息。
在一种可选的实施方式中，在将所述尺寸信息中的宽度信息作为先验信息时，所述目标约束条件包括：cosθ2+sinθ2=1和L∙cosθ/cosθ=L∙sinθ/sinθ；其中，θ为所述位姿信息中所述目标车辆对应于世界坐标系的姿态角度，L为所述尺寸信息中的长度信息。
在该方式中，在将目标车辆的宽度信息作为先验信息时，将目标车辆对应于世界坐标系的姿态角度，以及目标车辆的长度与姿态角度之间的数学约束，作为目标约束条件，因此，能够进一步对通解中的未知量进行约束，以精确得到目标车辆的位姿信息和尺寸信息。
在一种可选的实施方式中，所述目标车辆为自身车辆周围的其他车辆，所述方法包括：
基于所述位姿信息和所述尺寸信息，对所述自身车辆的驾驶策略进行优化，以避免所述自身车辆与所述目标车辆发生碰撞。
在该方式中，基于目标车辆的位姿信息和尺寸信息，对自身车辆的驾驶策略进行优化，因此，能够避免自身车辆在驾驶过程中与目标车辆发生碰撞。
第二方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的车辆位姿及尺寸估计方法。
第三方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的车辆位姿及尺寸估计方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的第一种车辆位姿及尺寸估计方法的流程示意图；
图2是根据本发明实施例的一种车辆的二维车辆检测框及其三维框架的示意图；
图3是根据本发明实施例的一种车辆的三维框架的示意图；
图4是根据本发明实施例的第二种车辆位姿及尺寸估计方法的流程示意图；
图5是本发明实施例的计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
无人驾驶技术是指车辆在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。其中，无人驾驶技术是实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术的集成。而无人驾驶技术的普及也能够在一定程度上减少整体交通事故，以及改善生产力与能源效率。
与传统驾驶相同，对车辆运行的周围环境实时感知是无人驾驶系统实施决策和控制的基础，相关的环境感知技术也受到学术界和工业界的重点关注。相较于激光雷达、毫米波雷达等感知外部信息的传感器，相机能够感知的外界信息最为丰富，如：车辆周边景物的色彩、结构、纹理以及一些语义信息，得益于深度学习在计算机视觉领域的突破，使得这些信息能够被识别、跟踪甚至恢复其三维结构。因此基于视觉的环境感知系统能够帮助无人驾驶车辆感知丰富的周围环境，如：识别和跟踪环境车辆、行人、路标及道路障碍物等，从而为无人驾驶技术提供技术支撑。
其中，在基于单目视觉恢复环境车辆的位姿和尺寸的相关技术中，由于所依赖的3D模型的网络设计较为复杂，或者，所依赖的3D关键点标注难度大且成本高，或者，所依赖的用于预测单目视觉的观测图像中目标车辆的大小和朝向的深度学习网络设计复杂，且对运行平台的算力要求较高，不易部署，从而导致通过单目视觉恢复环境车辆位姿和尺寸的难度较大。
基于此，根据本发明实施例，提供了一种车辆位姿及尺寸估计方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种车辆位姿及尺寸估计方法，可用于上述车辆，如车辆的电子控制单元等，图1是根据本发明实施例的第一种车辆位姿及尺寸估计方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取观测图像。
具体地，上述步骤S101包括：获取自身车辆的相机拍摄的初始图像，所述初始图像中包括自身车辆周围的目标车辆；根据相机的外参对初始图像进行单应性变换，得到单应性变换后的图像；对单应性变换后的图像进行去畸变，得到观测图像。需要说明的是，在对初始图像进行单应性变换时，初始图像的图像平面将垂直于地平面。
可以理解地，相机外参中的旋转矩阵表示了相机与地平面的姿态关系，通过这个旋转矩阵可以构造一个无穷单应矩阵，通过无穷单应矩阵乘以初始图像中每个像素对应的方向向量，就可以把初始图像转换为垂直地面的单应性变换后的图像。而垂直地面的图像上的竖直线对应现实中就是垂直地面的竖直线，这样有利于后续目标车辆的三维框架的建模。进而根据相机事先标定好的内参对单应性变换后的图像进行去畸变，得到观测图像。
步骤S102，对所述观测图像进行车辆检测，得到所述观测图像中目标车辆的二维车辆检测框，所述二维车辆检测框包括车身检测框和局部检测框，所述局部检测框包括车头检测框以及车尾检测框中的至少之一。
具体地，上述步骤S102包括：将观测图像输入到预先训练好的深度学习网络中，得到目标车辆的二维车辆检测框，所述深度学习网络是基于待训练图像样本及其对应的待训练图像样本中车辆的二维检测框样本进行训练得到的。
步骤S103，获取所述目标车辆对应的三维框架，并获取所述三维框架的各个角点在所述目标车辆对应的车体坐标系下的车体坐标，所述三维框架的属性与所述目标车辆的属性相同。
需要说明的是，参见图2和图3中长方体的三维框架，目标车辆对应的三维框架是对观测图像中的目标车辆进行建模得到，理论上三维框架的属性与目标车辆的属性相同，即，三维框架的长度、高度、宽度与目标车辆对应的长度、高度、宽度相同。其中，参见图3，目标车辆对应的车体坐标系为右手系放在三维框架的底面中心，车体坐标系的Y轴为三维框架的长度方向，Z轴向上为三维框架的高度方向，因此，可以得到三维框架的各个角点在目标车辆对应的车体坐标系下的车体坐标，如：三维框架的前侧左下角的角点P1的车体坐标为：[W/2 L/2 0]；其中，W为目标车辆的宽度信息，L为目标车辆的长度信息。同理可得其他角点的车体坐标。
步骤S104，基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标。
具体地，由于观测图像已经变换至与地面垂直，且，三维框架的属性与目标车辆的属性相同，而二维车辆检测框在观测图像中水平方向和垂直方向的坐标至少一可以确定，因此，可以基于三维框架各个角点与二维车辆检测框之间的映射，确定映射于二维车辆检测框的目标角点以及各个目标角点在观测图像中的像素坐标。
步骤S105，基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息。
需要说明的是，目标车辆的位姿信息包括目标车辆对应于世界坐标系的位置，以及，目标车辆对应于世界坐标系的姿态角度。目标车辆的尺寸信息包括目标车辆的长度信息、宽度信息和高度信息。而车体坐标系与图像坐标系之间的坐标变换关系可以由车体坐标系与世界坐标系之间的坐标变换关系，以及世界坐标系与图像坐标系之间的坐标变换关系得到。进一步，世界坐标系与图像坐标系之间的坐标变换关系又可以由世界坐标系与相机坐标系之间的坐标变换关系，以及相机坐标系与图像坐标系之间的坐标变换关系得到。因此，可以基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息。
本实施例提供的车辆位姿及尺寸估计方法，仅需要对观测图像进行车辆检测，获取目标车辆的二维车辆检测框，即可基于目标车辆对应的三维框架的角点与二维车辆检测框之间的映射，确定目标角点及其在观测图像中的像素坐标，以根据目标角点的像素坐标及其在对应的车体坐标系下的车体坐标，以及车体坐标系与观测图像对应的图像坐标系之间的坐标变换关系，确定目标车辆的位姿信息和尺寸信息。而由于二维车辆检测框的获取在计算机视觉中已经非常成熟、经典且对于平台运行算力要求不高，因此能够降低单目视觉恢复目标车辆位姿和尺寸的难度。
图4是根据本发明实施例的第二种车辆位姿及尺寸估计方法的流程图，如图4所示，该流程包括如下步骤：
步骤S201，获取观测图像。详见上述步骤S101，在此不再过多赘述。
步骤S202，对所述观测图像进行车辆检测，得到所述观测图像中目标车辆的二维车辆检测框，所述二维车辆检测框包括车身检测框和局部检测框，所述局部检测框包括车头检测框以及车尾检测框中的至少之一。详见上述步骤S102，在此不再过多赘述。
步骤S203，获取所述目标车辆对应的三维框架，并获取所述三维框架的各个角点在所述目标车辆对应的车体坐标系下的车体坐标，所述三维框架的属性与所述目标车辆的属性相同。详见上述步骤S103，在此不再过多赘述。
步骤S204，基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标。
具体地，上述步骤S204包括：
步骤S2041，基于各个所述角点与所述二维车辆检测框之间的映射，从映射于所述车身检测框和所述局部检测框的所述角点中选择第一预设数量的第一角点，以及，从仅映射于所述车身检测框的所述角点中选择第二预设数量的第二角点，所述目标角点包括所述第一角点以及所述第二角点。
示例性地，参见图2，目标车辆的三维框架的角点投影至图像平面上时，二维车身检测框或二维车头/车尾检测框的边界上必然存在三维框架的部分角点。以三维框架的前侧左下角的角点P1、前侧右下角的角点P2、前侧右上角的角点P3、后侧右上角的角点P4、后侧左上角的角点P5为例，P1的投影点必然在车身检测框及车头/车尾检测框的左边界上，P2的投影点必然在车身检测框的下边界及车头/车尾检测框的右边界上，P3的投影点必然在车头/车尾检测框的右边界上，P4的投影点必然在车身检测框的右边界上。另外，根据相机的外参可以确定P3或P5的投影点必然在车身检测框的上边界。而车身检测框及车头/车尾检测框的左边界在图像坐标系下的水平方向的坐标是确定的，车身检测框的下边界在图像坐标系下的垂直方向的坐标是确定的，车身检测框及车头/车尾检测框的右边界在图像坐标系下的水平方向的坐标是确定的，因此，能够确定出P1在图像坐标系下的水平方向的像素坐标，确定出P2在图像坐标系下的水平方向和垂直方向的像素坐标，确定出P3在图像坐标系下的水平方向的像素坐标，确定出P4在图像坐标系下的水平方向的像素坐标，以及，在P3或P5的投影点位于车身检测框的上边界时，确定出P3或P5在图像坐标系下的垂直方向的像素坐标。可见，根据相机的外参可以确定理论上P1、P2、P3和P4都应该在二维车辆检测框的边界上。因此，在实际操作中，可将P1、P2、P3、P4作为目标角点，或者将P1、P2、P3、P4、P5作为目标角点并确定目标角点在图像坐标系下的像素坐标，从而对目标角点的车体坐标和像素坐标之间进行约束，得到由位姿信息和尺寸信息中未知量构成未知项的齐次线性方程组，以联合求解得到位姿信息和尺寸信息中未知量。
可以理解的是，为了确保能够计算出位姿信息和尺寸信息中的未知量，目标角点的数量需要根据位姿信息和尺寸信息中的未知量进行确定。
步骤S2042，根据各个所述目标角点映射在对应的所述二维车辆检测框上的位置，得到各个所述目标角点在所述观测图像中的像素坐标。
步骤S205，基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息。
具体地，上述步骤S205包括：
步骤S2051，获取所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系。
可以理解地，通过所述坐标变换关系可将目标车辆的三维框架上的角点投影至观测图像所在图像平面上。
具体地，所述坐标变换关系通过以下公式表示：
其中，K为相机内参矩阵，I3×4为3×4的单位矩阵，为从世界坐标系变换到相机坐标系的位姿变换矩阵，Twv为从所述车体坐标系变换到所述世界坐标系的位姿变换矩阵，P为所述目标角点的车体坐标，λ为尺度系数，u和v为所述目标角点的像素坐标。
需要说明的，K具体为去畸变后的观测图像对应的相机内参矩阵。
进一步地，车体坐标系变换到世界坐标系的位姿变换矩阵Twv具体为：。
步骤S2052，基于所述坐标变换关系对各个所述目标角点的所述车体坐标和所述像素坐标之间进行约束，得到各个所述目标角点对应的齐次线性方程组，各个所述齐次线性方程组的未知项由所述位姿信息和所述尺寸信息中的未知量构成。
具体地，上述步骤S2052在将所述尺寸信息中的宽度信息作为先验信息时，各个所述齐次线性方程组的未知项X具体为：；其中，x和y为所述位姿信息中所述目标车辆对应于世界坐标系的位置，θ为所述位姿信息中所述目标车辆对应于所述世界坐标系的姿态角度，L为所述尺寸信息中的长度信息，H为所述尺寸信息中的高度信息。
具体地，令从世界坐标系变换到图像坐标系的位姿变换矩阵A表示为：
；
其中，、/>、/>分别为A的第一行元素、第二行元素、第三行元素。
则，上述坐标变换关系可简化为：
；
进一步将各个目标角点的车体坐标和像素坐标代入至上述简化后的坐标变换关系的表达式中，以得到各个所述目标角点对应的齐次线性方程组。
示例性地，以P1为例，由图2所示，由于P1必然在车身检测框及车头/车尾检测框的左边界上，因此，可知P1在图像坐标系下的水平方向的像素坐标u，而P1在图像坐标系下的垂直方向的像素坐标v难以确定，所以可根据各个目标角点的车体坐标和像素坐标以及简化后的坐标变换关系的表达式，得到以下约束：
；
此时，是已知的，令/>；其中，a1为第一参数、a2为第二参数、a3为第三参数、a4为第四参数，鉴于各种目标车辆的宽度相对固定，则，可将目标车辆的尺寸信息中的宽度信息作为先验信息，P1对应的约束可以整理为以下齐次线性方程组：
；
其中，为P1对应的齐次线性方程组的初始系数矩阵，x和y为所述目标车辆对应于世界坐标系的位置，θ为所述目标车辆对应于所述世界坐标系的姿态角度，W为所述目标车辆的宽度信息，L为所述目标车辆的长度信息，H为所述目标车辆的高度信息，/>为P1对应的齐次线性方程组的未知项。
同理可得其余目标角点对应的齐次线性方程组，在此不再过多赘述。
步骤S2053，对各个所述齐次线性方程组进行求解，以得到所述目标车辆的位姿信息和尺寸信息。
进一步地，上述步骤S2053包括：
步骤a1，获取各个所述齐次线性方程组的初始系数矩阵。
步骤a2，基于各个所述齐次线性方程组的初始系数矩阵，构建目标系数矩阵，所述目标系数矩阵的秩与所述位姿信息和所述尺寸信息中的未知量的数量相同。
需要说明的是，在以作为未知项，整理得到各个目标角点对应的齐次线性方程组后，可以得到各个齐次线性方程组对应于X的初始系数矩阵，此时，可将所有齐次线性方程组的初始系数矩阵构建成一个目标系数矩阵B，则，B∙X=0。根据B∙X=0来求解位姿信息和尺寸信息中的未知量x，y，θ，L，H。
步骤a3，对所述目标系数矩阵进行奇异值分解，得到右奇异矩阵。
具体地，先利用低秩近似限制目标系数矩阵B的秩为位姿信息和尺寸信息中的未知量的数量，再对目标系数矩阵进行奇异值分解得到右奇异矩阵V，具体地：[U S V]=svd(B)；其中，U为左奇异矩阵，S为奇异值矩阵，V为右奇异矩阵。
步骤a4，基于所述右奇异矩阵确定对应于各个所述齐次线性方程组的通解。
具体地，取右奇异矩阵V后三列构造X的通解，假设V的后三列为s3、 s2和s1，那么通解的表达式具体为：X=lambda1*s1+lambda2*s2+s3，其中lambda1、lambda2分别为第一未知数和第二未知数，s1、s2、s3分别为第一基础解系、第二基础解系、第三基础解系。
步骤a5，获取各个所述齐次线性方程组的未知项，以确定目标约束条件。
具体地，在将所述尺寸信息中的宽度信息作为先验信息时，所述目标约束条件包括：cosθ2+sinθ2=1和L∙cosθ/cosθ=L∙sinθ/sinθ；其中，θ为所述位姿信息中所述目标车辆对应于世界坐标系的姿态角度，L为所述尺寸信息中的长度信息。
需要说明的是，在实际操作中，除了可以将宽度信息W作为先验信息，还可以将高度信息H作为先验信息，亦能根据本发明的计算原理，求解x，y，θ，L，W；或者，将长度信息L作为先验信息，亦能根据本发明的计算原理，求解x，y，θ，W，H。可以理解地，以不同的尺寸信息作为先验信息时，各个目标角点对应的未知项不同，则对应的齐次线性方程组及其目标约束条件也不同。
步骤a6，基于所述通解和所述目标约束条件，求解得到所述目标车辆的位姿信息和尺寸信息。
需要说明的是，由于通解的表达式为：X=lambda1*s1+lambda2*s2+s3，而X中的元素有cosθ，sinθ，L∙cosθ，L∙sinθ，那么根据cosθ2+sinθ2=1和L∙cosθ/cosθ=L∙sinθ/sinθ这两个约束就可以构建关于lambda1和lambda2的两个方程，求解出lambda1和lambda2后就能得到x，y，θ，L，H。
进一步地，所述目标车辆为自身车辆周围的其他车辆，所述方法包括：
步骤S206，基于所述位姿信息和所述尺寸信息，对所述自身车辆的驾驶策略进行优化，以避免所述自身车辆与所述目标车辆发生碰撞。
本发明实施例还提供一种计算机设备，请参阅图5，图5是本发明可选实施例提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在车辆内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图5中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车辆的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该车辆还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种车辆位姿及尺寸估计方法，其特征在于，所述方法包括：
获取观测图像；
对所述观测图像进行车辆检测，得到所述观测图像中目标车辆的二维车辆检测框，所述二维车辆检测框包括车身检测框和局部检测框，所述局部检测框包括车头检测框以及车尾检测框中的至少之一；
获取所述目标车辆对应的三维框架，并获取所述三维框架的各个角点在所述目标车辆对应的车体坐标系下的车体坐标，所述三维框架的属性与所述目标车辆的属性相同；
基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标；
基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息；
其中，所述基于所述车体坐标、所述像素坐标、以及所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系，确定所述目标车辆的位姿信息和尺寸信息，包括：
获取所述车体坐标系与所述观测图像对应的图像坐标系之间的坐标变换关系；
基于所述坐标变换关系对各个所述目标角点的所述车体坐标和所述像素坐标之间进行约束，得到各个所述目标角点对应的齐次线性方程组，各个所述齐次线性方程组的未知项由所述位姿信息和所述尺寸信息中的未知量构成；
对各个所述齐次线性方程组进行求解，以得到所述目标车辆的位姿信息和尺寸信息。
2.根据权利要求1所述的方法，其特征在于，所述基于各个所述角点与所述二维车辆检测框之间的映射，确定目标角点以及各个所述目标角点在所述观测图像中的像素坐标，包括：
基于各个所述角点与所述二维车辆检测框之间的映射，从映射于所述车身检测框和所述局部检测框的所述角点中选择第一预设数量的第一角点，以及，从仅映射于所述车身检测框的所述角点中选择第二预设数量的第二角点，所述目标角点包括所述第一角点以及所述第二角点；
根据各个所述目标角点映射在对应的所述二维车辆检测框上的位置，得到各个所述目标角点在所述观测图像中的像素坐标。
3.根据权利要求1所述的方法，其特征在于，所述对各个所述齐次线性方程组进行求解，以得到所述目标车辆的位姿信息和尺寸信息，包括：
获取各个所述齐次线性方程组的初始系数矩阵；
基于各个所述齐次线性方程组的初始系数矩阵，构建目标系数矩阵，所述目标系数矩阵的秩与所述位姿信息和所述尺寸信息中的未知量的数量相同；
对所述目标系数矩阵进行奇异值分解，得到右奇异矩阵；
基于所述右奇异矩阵确定对应于各个所述齐次线性方程组的通解；
获取各个所述齐次线性方程组的未知项，以确定目标约束条件；
基于所述通解和所述目标约束条件，求解得到所述目标车辆的位姿信息和尺寸信息。
4.根据权利要求1所述的方法，其特征在于，所述坐标变换关系通过以下公式表示：
其中，K为相机内参矩阵，I3×4为3×4的单位矩阵，为从世界坐标系变换到相机坐标系的位姿变换矩阵，Twv为从所述车体坐标系变换到所述世界坐标系的位姿变换矩阵，P为所述目标角点的车体坐标，λ为尺度系数，u和v为所述目标角点的像素坐标。
5.根据权利要求3所述的方法，其特征在于，在将所述尺寸信息中的宽度信息作为先验信息时，各个所述齐次线性方程组的未知项X具体为：；其中，x和y为所述位姿信息中所述目标车辆对应于世界坐标系的位置，θ为所述位姿信息中所述目标车辆对应于所述世界坐标系的姿态角度，L为所述尺寸信息中的长度信息，H为所述尺寸信息中的高度信息。
6.根据权利要求3中所述的方法，其特征在于，在将所述尺寸信息中的宽度信息作为先验信息时，所述目标约束条件包括：cosθ2+sinθ2=1和L∙cosθ/cosθ=L∙sinθ/sinθ；其中，θ为所述位姿信息中所述目标车辆对应于世界坐标系的姿态角度，L为所述尺寸信息中的长度信息。
7.根据权利要求1中所述的方法，其特征在于，所述目标车辆为自身车辆周围的其他车辆，所述方法包括：
基于所述位姿信息和所述尺寸信息，对所述自身车辆的驾驶策略进行优化，以避免所述自身车辆与所述目标车辆发生碰撞。
8.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的车辆位姿及尺寸估计方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的车辆位姿及尺寸估计方法。
CN202310928113.7A 2023-07-27 2023-07-27 车辆位姿及尺寸估计方法、设备及存储介质 Active CN116645649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310928113.7A CN116645649B (zh) 2023-07-27 2023-07-27 车辆位姿及尺寸估计方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310928113.7A CN116645649B (zh) 2023-07-27 2023-07-27 车辆位姿及尺寸估计方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116645649A CN116645649A (zh) 2023-08-25
CN116645649B true CN116645649B (zh) 2023-12-08

Family

ID=87619278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310928113.7A Active CN116645649B (zh) 2023-07-27 2023-07-27 车辆位姿及尺寸估计方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116645649B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315018B (zh) * 2023-08-31 2024-04-26 上海理工大学 基于改进PnP的用户面部位姿检测方法、设备、介质
CN116993817B (zh) * 2023-09-26 2023-12-08 深圳魔视智能科技有限公司 目标车辆的位姿确定方法、装置、计算机设备及存储介质
CN117011387B (zh) * 2023-10-07 2024-01-26 湖州丽天智能科技有限公司 一种基于视觉识别的光伏板位姿拟合方法及安装机器人
CN117315035B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种车辆朝向的处理方法、装置以及处理设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015147764A1 (en) * 2014-03-28 2015-10-01 Kisa Mustafa A method for vehicle recognition, measurement of relative speed and distance with a single camera
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN114373170A (zh) * 2021-12-15 2022-04-19 苏州挚途科技有限公司 伪3d边界框构建的方法、装置及电子设备
CN116452654A (zh) * 2023-04-11 2023-07-18 北京辉羲智能科技有限公司 一种基于bev感知的相对位姿估计方法、神经网络及其训练方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183241A (zh) * 2020-09-11 2021-01-05 北京罗克维尔斯科技有限公司 基于单目图像的目标检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015147764A1 (en) * 2014-03-28 2015-10-01 Kisa Mustafa A method for vehicle recognition, measurement of relative speed and distance with a single camera
CN109214980A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 一种三维姿态估计方法、装置、设备和计算机存储介质
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN114373170A (zh) * 2021-12-15 2022-04-19 苏州挚途科技有限公司 伪3d边界框构建的方法、装置及电子设备
CN116452654A (zh) * 2023-04-11 2023-07-18 北京辉羲智能科技有限公司 一种基于bev感知的相对位姿估计方法、神经网络及其训练方法

Also Published As

Publication number Publication date
CN116645649A (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN116645649B (zh) 车辆位姿及尺寸估计方法、设备及存储介质
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
US11686848B2 (en) Systems and methods for training object detection models using adversarial examples
KR102498439B1 (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
JP7274515B2 (ja) センサーソリューション決定方法、装置、機器及び記憶媒体
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
CN106548486A (zh) 一种基于稀疏视觉特征地图的无人车位置跟踪方法
US11694445B2 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
WO2023185354A1 (zh) 实景导航方法、装置、设备及存储介质、程序产品
JP2020119523A (ja) 疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
CN116993817B (zh) 目标车辆的位姿确定方法、装置、计算机设备及存储介质
CN111767843B (zh) 三维位置预测方法、装置、设备以及存储介质
KR20190060679A (ko) 이동 객체의 자세 학습 방법 및 장치
CN111401190A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN112528931B (zh) 用于生成位置预测信息的方法、装置以及自动驾驶车辆
CN116778458B (zh) 车位检测模型构建方法、车位检测方法、设备及存储介质
CN111597987B (zh) 用于生成信息的方法、装置、设备和存储介质
CN114677660A (zh) 模型训练和道路检测方法及装置
CN113808186A (zh) 训练数据生成方法、装置与电子设备
CN111784659A (zh) 图像检测的方法、装置、电子设备以及存储介质
CN117315034B (zh) 横坡车位坐标的确定方法、装置、计算机设备及存储介质
CN112330815B (zh) 基于障碍物融合的三维点云数据处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant