CN109544633B - 目标测距方法、装置及设备 - Google Patents
目标测距方法、装置及设备 Download PDFInfo
- Publication number
- CN109544633B CN109544633B CN201710867746.6A CN201710867746A CN109544633B CN 109544633 B CN109544633 B CN 109544633B CN 201710867746 A CN201710867746 A CN 201710867746A CN 109544633 B CN109544633 B CN 109544633B
- Authority
- CN
- China
- Prior art keywords
- target
- traffic
- coordinates
- coordinate system
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及人工智能,具体涉及一种目标测距方法、装置及设备,应用于交通领域,例如应用于辅助驾驶领域或自动驾驶领域等,所述方法包括:选取图像中位于基准目标的前面或侧面的交通目标,图像是搭载在基准目标上的单目相机拍摄得到的;读取单目相机的内参和外参,并从预设的标准中读取交通目标的尺寸;根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离。本申请除了可以计算没有触地点的交通目标与基准目标的距离,以扩展目标测距方法的使用场景;还可以计算处于上下坡路段中的交通目标与基准目标的距离,以提高测量结果的准确性。
Description
技术领域
本申请涉及交通领域,特别涉及一种目标测距方法、装置及设备。
背景技术
随着汽车数量的不断增加,人为因素造成的交通事故的概率随之大幅上升,如何确定基准目标与前面或侧面的交通目标之间的距离成为了安全驾驶的重要课题。
在相关技术中,基于计算机视觉的测距方案采用触地点测距技术,实现方案如下:假设基准目标与前面或侧面的交通目标在同一平面内,利用目标检测算法检测出交通目标的触地点,根据三角函数关系计算基准目标与该触地点的距离。
若交通目标与基准目标不在同一平面内,即,交通目标在上下坡路段中,或,交通目标没有触地点(位于空中),则相关技术无法测量交通目标与基准目标的距离。
发明内容
本申请的实施例提供了一种目标测距方法、装置及设备,可以解决交通目标与基准目标不在同一平面内时,无法测量交通目标与基准目标的距离的问题。
第一方面,提供了一种目标测距方法,该方法包括:先选取图像中位于基准目标的前面或侧面的交通目标;再读取单目相机的内参和外参,并从预设的标准中读取交通目标的尺寸;最后,根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离,其中,图像是搭载在基准目标上的单目相机拍摄得到的。
在上述目标测距方法中,根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离,这种目标测距方法不需要根据触地点来计算交通目标与基准目标之间的距离,因此,除了可以计算没有触地点的交通目标与基准目标的距离,以扩展目标测距方法的使用场景;还可以计算处于上下坡路段中的交通目标与基准目标的距离,以提高测量结果的准确性。
内参是指与相机自身特性相关的参数,比如相机的焦距、像素大小、镜头的畸变等,通常用相机的内参矩阵和畸变参数来表示。
相机外参是指相机相对于其他坐标系(比如世界坐标系、车身坐标系)的参数,比如相机的位置、旋转方向等,通常用相机坐标系相对于其他坐标系的旋转矩阵和平移向量来表示。
在一种可能的实现方案中,先从图像中显示的交通目标的一个表面上选取N个不共线的关键点;然后,根据内参、外参和交通目标的尺寸,分别计算该N个关键点在第一坐标系下的第一坐标,该第一坐标系是基于基准目标建立的;最后,根据N个关键点的第一坐标确定交通目标与基准目标的距离。其中,N为大于等于4的整数。
利用N个关键点代表交通目标,计算该N个关键点在第一坐标下的第一坐标,这样,交通目标和基准目标位于同一坐标系下,从而能够确定交通目标与基准目标之间的距离。
在一种可能的实现方案中,根据内参、外参和交通目标的尺寸,分别计算N个关键点在第一坐标系下的第一坐标,包括:先根据交通目标的尺寸分别计算N个关键点在第二坐标系下的第二坐标,第二坐标系是基于交通目标建立的;再根据内参和外参,分别将N个关键点的第二坐标转换为第一坐标。
由于标准中规定了交通目标的尺寸,且第二坐标系是基于交通目标建立的,因此,交通目标中的所有点在第二坐标系下的第二坐标都是已知的,也即,可以获取到N个关键点在第二坐标系下的第二坐标,这是本申请能够实现的关键步骤。
在一种可能的实现方案中,从预设的标准中读取交通目标的尺寸,包括:先从图像中识别出交通目标的类型;再从预设的标准中查找类型所对应的标准,该标准用于规定属于类型的交通目标的尺寸;最后,从查找到的标准中读取交通目标的尺寸。其中,类型包括交通信号灯类、交通标志类、交通标线类和道路交通主体类。
属于不同类型的交通目标的尺寸可能会由不同的标准规定,因此,可以先根据交通目标的类型来确定相关的标准,再根据该标准查找交通目标的尺寸,以缩小查找范围,从而提高查找效率。
在一种可能的实现方案中,该方法还包括:在图像中为交通目标添加包围框;此时,从查找到的标准中读取交通目标的尺寸,包括:从查找到的标准中获取交通目标的实际尺寸;根据实际尺寸计算包围框的尺寸;将包围框的尺寸作为交通目标的尺寸;
当N为4时,从图像中显示的交通目标的一个表面上选取N个不共线的关键点,包括:将图像中显示的包围框的一个表面上的4个角点确定为关键点;
根据交通目标的尺寸分别计算N个关键点在第二坐标系下的第二坐标,包括:根据交通目标的尺寸分别计算4个角点在第二坐标系下的第二坐标。
由于交通目标的尺寸即为包围框的尺寸,且图像中显示的包围框的一个表面的尺寸是已知的,因此,可以直接根据该表面的宽和高即可确定4个关键点,而不是根据随机选取的4个关键点在该表面中的位置以及该表面的尺寸来计算这4个关键点的第二坐标,可以简化第二坐标的计算过程,提高计算效率。
在一种可能的实现方案中,外参包括第三坐标系与第一坐标系之间的旋转矩阵R1和平移向量T1;根据内参和外参,分别将N个关键点的第二坐标转换为第一坐标,包括:根据内参,分别将N个关键点的第二坐标转换为在第三坐标系下的第三坐标;对于N个关键点中的每个关键点,将关键点的第三坐标减去平移向量T1,将得到的差值乘以旋转矩阵R1的逆矩阵,得到关键点的第一坐标。其中,第三坐标系是基于单目相机建立的。
在一种可能的实现方案中,根据内参,分别将N个关键点的第二坐标转换为在第三坐标系下的第三坐标,包括:先分别获取N个关键点在图像中的像素坐标;然后,根据内参、N个关键点的像素坐标和N个关键点的第二坐标,计算第二坐标系和第三坐标系之间的旋转矩阵R2和平移向量T2;最后,对于N个关键点中的每个关键点,将旋转矩阵R2乘以关键点的第二坐标,将得到的乘积加上平移向量T2,得到关键点的第三坐标。
第二方面,提供了一种目标测距装置,该装置具有实现上述第一方面及第一方面的可能的实现方案所提供的目标测距方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多于一个与上述功能相对应的单元。
第三方面,提供了一种目标测距设备,该设备包括:处理器、与处理器相连的存储器,该设备中的处理器,通过执行存储器中存储的程序或指令以实现上述第一方面及第一方面的可能的实现方案所提供的目标测距方法。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有可执行程序,该可执行程序由处理器执行以实现上述第一方面及第一方面的可能的实现方案所提供的目标测距方法。
附图说明
图1是本申请涉及的一种应用场景的示意图;
图2是相关技术设计的一种基于触地点的目标测距方法的示意图;
图3是交通目标在上坡路段上时,基于触地点的目标测距方法的示意图;
图4是抖动引起θ变化导致测量误差的示意图;
图5是俯仰角抖动导致测量误差的示意图;
图6是抖动引起h变化导致测量误差的示意图;
图7是高度抖动导致测量误差的示意图;
图8是本申请一个示例性实施例提供的目标测距方法的方法流程图;
图9是本申请一个示例性实施例提供的第三坐标系的示意图;
图10是本申请一个示例性实施例提供的第一坐标系的示意图;
图11是本申请一个示例性实施例提供的第二坐标系的示意图;
图12是本申请一个示例性实施例提供的一种目标测距设备的结构示意图;
图13是本申请一个示例性实施例提供的一种目标测距装置的结构方框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请涉及的一种应用场景的示意图,该应用场景包括基准目标11和交通目标12。
基准目标11是部署有高级辅助驾驶系统(Advanced Driving Assistant System,ADAS)或自动驾驶系统(Autonomous Driving System,ADS)的车辆,ADAS或ADS包括相机和目标测距设备,该目标测距设备采用本申请提供的目标测距方法来测量基准目标11与交通目标12的距离,以提升ADAS或ADS中单目测距的性能。在实际实现时,可以将目标测距设备单独实现为车载视觉感知设备;或者,可以将相机和目标测距设备共同实现为车载视觉感知设备,该相机可以为单目相机。
交通目标12是基准目标11在行驶过程中遇到的目标。本申请中的交通目标12可以大致分为四类,分别是交通信号灯类、交通标志类、交通标线类和道路交通主体类。其中,交通信号灯类包括各种信号灯,如红绿灯、警告灯等;交通标志类包括设置在道路上的各种指示牌,如禁止鸣喇叭指示牌、机动车道指示牌、非机动车道指示牌、直行指示牌、转弯指示牌、禁止货车通行指示牌、道路通行方向指示牌、禁止停车指示牌、限速标志牌、限重标志牌、限高标志牌等等;交通标线类包括划设于道路上的标记,如直行箭头、转弯箭头、网格等等;道路交通主体类包括机动车辆、非机动车辆等等。
交通目标12位于基准目标11的前面或侧面。
本申请中,ADAS或ADS在测得基准目标11与交通目标12的距离时,能够提醒基准目标11的驾驶员(或规划控制单元),这样,当交通目标12属于交通信号灯类或交通标志类或交通标线类时,该驾驶员(或规划控制单元)能根据交通目标的指示驾车,从而避免交通事故的发生;当交通目标12属于道路交通主体类时,该驾驶员(或规划控制单元)能避让交通目标,从而避免交通事故的发生。
为了便于理解,图1中以单目相机位于基准目标11的顶部、交通目标12分别为车辆、指示牌和红绿灯为例,对实施场景进行示意。
图2是相关技术涉及的一种基于触地点的目标测距方法的示意图,图2中基准目标(图中未示出)和交通目标均位于地面上,且交通目标的触地点为A,首先通过相机标定算法获取相机的内参,内参包括但不限于:光心O在相机拍摄的图像上的投影点o的像素坐标、以像素为单位的焦距f;再通过相机标定算法获取相机的外参,外参包括但不限于:光心O的高度h,光轴与水平面的俯仰角θ;再通过目标检测算法得到触地点A在图像上的位置a,最后,利用三角函数关系计算交通目标与基准目标的距离。计算过程如下:
1、计算点o和a的像素纵向坐标之差,记为Δv;
3、OA与水平线之间的夹角为∠AOB,根据公式∠AOB=θ+β可以计算出∠AOB;
5、采取同样的算法计算出交通目标与基准目标的横向距离,此处不再赘述。
图2所示的目标测距方法中,交通目标与基准目标必须处于同一平面上,否则会带来较大的测量误差。请参考图3,其示出了交通目标在上坡路段上时,基于触地点的目标测距方法的示意图。图中A’是OA的延长线与地面的交点,根据图2中所示的计算方法实际测得的距离是A’B,而A’B大于AB,使得测得的交通目标与基准目标的距离偏大。同理,当交通目标在下坡路段上时,实际测得的A’B小于AB,使得测得的交通目标与基准目标的距离偏小。可见,这两种应用场景下的测量结果都不准确。
另外,根据步骤4中的公式可知,交通目标与基准目标的距离的计算依赖于俯仰角θ和高度h,若基准目标在行驶过程中发生抖动,导致θ和h的测量值不准确,则会影响测量结果的准确性。下面假设交通目标与基准目标位于同一平面上,且能够准确获取到触地点A,分析由于抖动引起θ和h发生变化时,对测量结果的影响。
请参考图4,其示出了抖动引起θ变化导致测量误差的示意图,该应用场景下,假设基准目标静止时光轴OZ水平,光轴OZ与OA的夹角为γ;基准目标运动时,光轴OZ向下产生Δθ的抖动,此时实际光轴为OZ’。计算过程如下:
请参考图5,其示出了俯仰角抖动导致测量误差的示意图,图5中以高度h=1.5,距离d=20,γ=4.29°,取抖动角Δθ∈[-10,3.12]°为例,则相关技术中基于触地点的目标测距方法误差如图中虚线所示,图中横轴为抖动角Δθ,纵轴为测量误差η。从图5中可以看出,俯仰角抖动对测量误差的影响非常大,尤其是抖动角Δθ接近θ时,光轴直接指向触地点,此时测出来的距离将会趋向于无穷大。
请参考图6,其示出了抖动引起h变化导致测量误差的示意图,该应用场景下,假设基准目标静止时光轴O0Z0水平,光心O0的高度为h0;基准目标运动时,相机被垂直抬高,此时实际的光轴为OZ,实际的高度是h,计算过程如下:
请参考图7,其示出了高度抖动导致测量误差的示意图,图7中以高度h=1.5m,Δh∈[-0.2,0.2]m为例,则相关技术中基于触地点的目标测距方法误差如图中虚线所示,图中横轴为抖动角Δh,纵轴为测量误差η。从图7中可以看出,相对误差与高度抖动成线性关系。
由于相关技术中基于触地点的目标测距方法或者无法测距,或者测量结果存在误差,为了解决上述问题,请参考图8,其是本申请一个示例性实施例提供的目标测距方法的方法流程图。如图8所示,该目标测距方法可以包括如下步骤:
步骤801,选取图像中位于基准目标的前面或侧面的交通目标,该图像是搭载在基准目标上的单目相机拍摄得到的。
只有在交通目标位于基准目标的前面或侧面时,基准目标的驾驶员(或规划控制单元)在行驶过程中才会注意到交通目标,从而根据交通目标的指示行驶,避免造成交通事故;或者,从而可以避让交通目标,避免造成交通事故。
本实施例中,基准目标中的单目相机对当前时刻基准目标所处的外部环境进行拍摄,并通过相关的深度学习算法,在得到的图像中选取位于基准目标的前面或侧面的交通目标。此算法为现有技术,本实施例不作赘述。
步骤802,读取单目相机的内参和外参,并从预设的标准中读取交通目标的尺寸。
内参是指与相机自身特性相关的参数,比如相机的焦距、像素大小、镜头的畸变等,通常用相机的内参矩阵和畸变参数来表示。本实施例中的内参包括但不限于:光心O在单目相机拍摄的图像上的投影点o的像素坐标、以像素为单位的焦距f。
相机外参是指相机相对于其他坐标系(比如世界坐标系、车身坐标系)的参数,比如相机的位置、旋转方向等,通常用相机坐标系相对于其他坐标系的旋转矩阵和平移向量来表示。本实施例中的外参为第三坐标系与第一坐标系之间的旋转矩阵R1和平移向量T1,实际上,R1和T1可以通过相机的安装的高度h、离车身中轴的距离、离车身后轴的距离、俯仰角θ、横滚角、平扫角表示,因此,外参还可以定义为高度h、离车身中轴的距离、离车身后轴的距离、俯仰角θ、横滚角、平扫角。
其中,第三坐标系是基于单目相机建立的。请参考图9,其示出了第三坐标系的示意图。第三坐标系以单目相机的光心Oc为原点,Xc轴与图像的x轴平行,Yc轴与图像的y轴平行,Zc轴为单目相机的光轴。
其中,第一坐标系是基于基准目标建立的。需要说明的是,在实际实现时,第一坐标系是以目标测距设备所在的位置为原点建立的。通常,目标测距设备通常设置在车身后部,此时请参考图10,其示出了第一坐标系的示意图。第一坐标系以汽车的后轴中点在地面的投影点为原点Ov,以后轴在地面的投影为Xv轴,以车身中轴为Yv轴,Zv轴垂直于地面朝上。当然,目标测距设备也可以位于汽车的车身前部,此时会以汽车的前轴中点在地面的投影点为原点Ov,以前轴在地面的投影为Xv轴,以车身中轴为Yv轴,Zv轴垂直于地面朝上,本实施例不再提供相关视图。
本实施例中,单目相机的内参和外参可以通过相机标定算法计算得到,而相机标定算法为现有技术,此处不作赘述。
为了保证各地的交通目标相同,行业内制定了相关的标准来规定交通目标的尺寸。例如,当交通目标是红绿灯时,标准是道路交通信号灯标准;当交通目标是交通标线时,标准是道路交通标志和标线标准;当交通目标是汽车时,标准是汽车标准。
由于不同的交通目标的尺寸由不同的标准规定,因此,从预设的标准中读取交通目标的尺寸可以分为如下几个子步骤:
步骤802a,从图像中识别出交通目标的类型,该类型包括交通信号灯类、交通标志类、交通标线类和道路交通主体类。
交通目标的类型的描述详见图1的实施例,此处不再赘述。
目标测距设备通过相关的深度学习算法,在图像中检测并识别出交通目标的类型,此算法为现有技术,本实施例不作赘述。
步骤802b,从预设的标准中查找类型所对应的标准,该标准用于规定属于该类型的交通目标的尺寸。
根据上述内容可知,不同类型的交通目标对应于不同的标准,目标测距设备可以先查找到交通目标所属的类型所对应的标准,再在该标准中查找交通目标的尺寸,可以大大减少在所有的标准中查找交通目标的尺寸所消耗的时间,提高查找效率。
步骤802c,从查找到的标准中读取交通目标的尺寸。
目标测距设备可以直接从标准中读取交通目标的实际尺寸,并将该实际尺寸作为交通目标的尺寸。
可选的,交通目标的形状可能是三角形或圆形或矩形或不规则形状,而下文需要依据交通目标建立第二坐标系,由于三角形、圆形或不规则形状不便于建立第二坐标系,因此,本实施例还可以在交通目标外设置包围框,以便于依据包围框建立第二坐标系。其中,包围框是用体积稍大且特性简单的几何体(称为包围框)来近似地代替复杂的几何对象。
需要说明的是,当交通目标属于交通信号灯类、交通标志类和交通标线类中的一种时,交通目标在图像中是二维物体,此时的包围框是一个二维包围框,即包围框是一个四边形;当交通目标属于道路交通主体类时,交通目标在图像中是三维物体,此时的包围框是一个三维包围框,即包围框是一个立方体。
其中,第二坐标系是基于交通目标建立的。请参考图11,其示出了第二坐标系的示意图。图11中的左侧视图基于信号灯的二维包围框建立第二坐标系,以二维包围框左上角的关键点为原点Oo,以信号灯的宽所在直线为Xo轴,以信号灯的高所在直线为Yo轴,Zo轴垂直于信号灯朝前。图11中的右侧视图基于汽车的三维包围框建立第二坐标系,以三维包围框的背面的左上角的关键点为原点Oo,以汽车的宽所在直线为Xo轴,以汽车的高所在直线为Yo轴,Zo轴垂直于汽车朝前。
可选的,在实际实现时,还可以通过相关的物体检测算法(如深度学习算法)在图像中为交通目标添加包围框;此时,从查找到的标准中读取交通目标的尺寸可以实现为:从查找到的标准中读取交通目标的实际尺寸;根据实际尺寸计算包围框的尺寸;将该包围框的尺寸作为交通目标的尺寸。
其中,为交通目标添加包围框的相关的物体检测算法是现有技术,本实施例不作赘述。
为了便于理解,本实施例以交通目标的形状为圆形和矩形为例分别对交通目标的尺寸的计算过程进行举例。当交通目标的形状为圆形时,假设交通目标的实际尺寸是直径为80cm,则为该交通目标添加的包围框是边长为80cm的正方形;当交通目标是矩形时,假设交通目标的实际尺寸是3m*2m,则为该交通目标添加的包围框是长为3m、宽为2m的矩形。
步骤803,从图像中显示的交通目标的一个表面上选取N个不共线的关键点。
其中,N为大于等于4的整数。
当交通目标属于交通信号灯类、交通标志类和交通标线类中的一种时,交通目标的一个表面为交通目标的正面,即有信号灯或指示信息的表面。当交通目标属于道路交通主体类时,若交通目标与基准目标同向行驶,则交通目标的一个表面为交通目标的背面或侧面;若交通目标与基准目标对向行驶,则交通目标的一个表面为交通目标的正面或侧面。
在确定出表面后,目标测距设备可以在该表面上随机选取N个不共线的点,将选出的点作为关键点。
可选的,当为交通目标添加了包围框时,目标测距设备还可以从包围框上选取关键点。在一种实现方案中,当N为4时,从图像中显示的交通目标的一个表面上选取N个不共线的关键点可以实现为:将图像中显示的包围框的一个表面上的4个角点确定为关键点。
步骤804,根据交通目标的尺寸分别计算N个关键点在第二坐标系下的第二坐标。
当N个关键点是包围框的一个表面上的4个角点时,可以根据交通目标的尺寸分别计算4个角点在第二坐标系下的第二坐标。此时,由于交通目标的尺寸即为包围框的尺寸,且包围框的尺寸是已知的,因此,可以直接根据该表面的宽和高即可确定4个关键点,可以提高关键点的获取效率。
比如,图11中的左侧视图中,若信号灯的宽为W,高为H,则选取的4个角点分别是P1(0,0,0)、P2(W,0,0)、P3(W,H,0)和P4(0,H,0)。
当N个关键点不是包围框的一个表面上的4个角点时,根据N个关键点在该表面中的位置以及该表面的尺寸来计算这N个关键点的第二坐标。
步骤805,分别获取N个关键点在图像中的像素坐标。
像素坐标系是以图像左上角为原点建立以像素为单位的坐标系u-v,像素的横坐标u表示关键点在图像中所在的列数,像素的纵坐标v是关键点在图像中所在的行数。
由于目标测距设备可以检测并识别出图像中的交通目标,且N个关键点是已知的,因此,目标测距设备可以计算出N个关键点在图像中的像素坐标。
步骤806,根据内参、N个关键点的像素坐标和N个关键点的第二坐标,计算第二坐标系和第三坐标系之间的旋转矩阵R2和平移向量T2。
利用齐次化的像素坐标表示第三坐标,则上述公式可以变形为:
其中,R2中有3个未知变量,T2中有3个未知变量,当带入4个关键点的像素坐标时,可以得到8个方程,根据这8个方程可以求解出R2和T2。
步骤807,对于N个关键点中的每个关键点,将旋转矩阵R2乘以关键点的第二坐标,将得到的乘积加上平移向量T2,得到关键点的第三坐标。
步骤808,对于N个关键点中的每个关键点,将关键点的第三坐标减去平移向量T1,将得到的差值乘以旋转矩阵R1的逆矩阵,得到关键点的第一坐标。
以关键点P1~P4为例,则P1~P4的第一坐标如下:
步骤809,根据N个关键点的第一坐标确定交通目标与基准目标的距离。
在得到N个关键点的第一坐标后,可以根据第一坐标与原点之间的距离来确定交通目标与基准目标的距离。
综上所述,本申请实施例所示的方法,根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离,这种目标测距方法不需要根据触地点来计算交通目标与基准目标之间的距离,因此,除了可以计算没有触地点的交通目标与基准目标的距离,以扩展目标测距方法的使用场景;还可以计算处于上下坡路段中的交通目标与基准目标的距离,以提高测量结果的准确性。
利用N个关键点代表交通目标,计算该N个关键点在第一坐标下的第一坐标,这样,交通目标和基准目标位于同一坐标系下,从而能够确定交通目标与基准目标之间的距离。
由于标准中规定了交通目标的尺寸,且第二坐标系是基于交通目标建立的,因此,交通目标中的所有点在第二坐标系下的第二坐标都是已知的,也即,可以获取到N个关键点在第二坐标系下的第二坐标,这是本申请能够实现的关键步骤。
由于交通目标的尺寸即为包围框的尺寸,且图像中显示的包围框的一个表面的尺寸是已知的,因此,可以直接根据该表面的宽和高即可确定4个关键点,而不是根据随机选取的4个关键点在该表面中的位置以及该表面的尺寸来计算这4个关键点的第二坐标,可以简化第二坐标的计算过程,提高计算效率。
本申请能够有效避免交通目标与基准目标不在同一平面上时,测量结果不准确的问题。这是因为,相关技术中,图像上的位置a既可以表示触地点A,也可以表示触地点A’,导致测量结果不准确,而本申请在交通目标的一个表面上选取了N(N≥4)个关键点,这N个关键点在图像上的位置可以准确且唯一地表示出交通目标的实际位置,因此可以保证测量结果的准确性。
本申请能有效抵抗由于抖动引起θ和h发生变化时,对测量结果的影响。下面分别对θ和h发生变化时的测量误差进行计算。
仍然以图4所示的参数为例,计算θ发生变化时的测量误差:
从图5中可以看出,俯仰角抖动对测量误差的影响保持在较低的一个数值,因此,可以得出结论,本申请对俯仰角的抖动不敏感。
仍然以图6所示的参数为例,计算h发生变化时的测量误差。由于接触点A在第三坐标系下的第三坐标是可以准确获取到的,因此OA的长度和∠AOZ是可以准确得到的,在将接触点A投影到光轴OZ的时候,位置a不会受到h变化的影响。
从图7可以看出,本申请的测量结果不受高度h的影响。
图12是本申请一个示例性实施例提供的目标测距设备120的结构示意图,该目标测距设备120可以实现为图1所示的实施场景中的目标测距设备。如图12所示,该目标测距设备120可以包括:处理器121以及存储器123。
处理器121可以包括一个或者一个以上处理单元,该处理单元可以是中央处理单元(英文:central processing unit,CPU)或者网络处理器(英文:network processor,NP)等。
可选的,该目标测距设备120还可以包括存储器123。存储器123可用于存储软件程序,该软件程序可以由处理器121执行。此外,该存储器123中还可以存储各类业务数据或者用户数据。该软件程序可以包括选取模块、读取模块和计算模块;可选的,该软件程序还可以包括添加模块;
其中,选取模块由处理器121执行,以实现上述图8所示实施例中有关选取图像中位于基准目标的前面或侧面的交通目标的功能。
读取模块由处理器121执行,以实现上述图8所示实施例中有关读取单目相机的内参和外参、从预设的标准中读取交通目标的尺寸的功能。
计算模块由处理器121执行,以实现上述图8所示实施例中有关根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离的功能。
添加模块由处理器执行,以实现上述图8所示实施例中有关在图像中为交通目标添加包围框的功能。
可选的,该目标测距设备120还可以包括通信接口124,该通信接口124可以包括网络接口。该网络接口可以包括有线网络接口,比如以太网接口或者光纤接口,或者,网络接口也可以包括无线网络接口,比如无线局域网接口或者蜂窝移动网络接口。目标测距设备120通过该网络接口124与其它设备进行通信。
可选的,处理器121可以用总线与存储器123和通信接口124相连。
可选地,该目标测距设备120还可以包括输出设备125以及输入设备127。输出设备125和输入设备127与处理器121相连。输出设备125可以是用于显示信息的显示器、播放声音的功放设备或者打印机等,输出设备125还可以包括输出控制器,用以提供输出到显示屏、功放设备或者打印机。输入设备127可以是用于用户输入信息的诸如鼠标、键盘、电子触控笔或者触控面板之类的设备,输入设备127还可以包括输出控制器以用于接收和处理来自鼠标、键盘、电子触控笔或者触控面板等设备的输入。
下述为本申请的装置实施例,可以用于执行本申请的方法实施例。对于本申请的装置实施例中未披露的细节,请参照本申请的方法实施例。
图13是本申请一个示例性实施例提供的一种目标测距装置的结构方框图,该目标测距装置可以通过硬件电路或者软件硬件的结合实现成为目标测距设备的部分或者全部,该目标测距设备可以是上述图1所示的实施场景中的目标测距设备。该目标测距装置可以包括:选取单元1301、读取单元1302和计算单元1303;可选的,该软件程序还可以包括添加单元1304。
其中,选取单元1301由处理器执行,以实现上述图8所示实施例中有关选取图像中位于基准目标的前面或侧面的交通目标的功能。
读取单元1302由处理器执行,以实现上述图8所示实施例中有关读取单目相机的内参和外参、从预设的标准中读取交通目标的尺寸的功能。
计算单元1303由处理器执行,以实现上述图8所示实施例中有关根据内参、外参和交通目标的尺寸,计算交通目标与基准目标的距离的功能。
添加单元1304由处理器执行,以实现上述图8所示实施例中有关在图像中为交通目标添加包围框的功能。
需要说明的是:上述实施例提供的目标测距装置在进行目标测距时,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元完成,即将设备的内部结构划分成不同的功能单元,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标测距装置与目标测距方法的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本申请的实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (12)
1.一种目标测距设备,其特征在于,所述设备包括:处理器、与所述处理器相连的存储器,所述处理器执行所述存储器中存储的指令;
所述处理器,用于:
选取图像中位于基准目标的前面或侧面的交通目标,所述图像是搭载在所述基准目标上的单目相机拍摄得到的;
读取所述单目相机的内参和外参;
从所述图像中检测出所述交通目标的类型,所述类型包括交通信号灯类、交通标志类、交通标线类和道路交通主体类;
从预设的标准中查找所述类型所对应的标准,所述标准用于规定属于所述类型的交通目标的尺寸;
从查找到的所述标准中读取所述交通目标的尺寸;
从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点,N为大于等于4的整数;
根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标,所述第二坐标系是基于所述交通目标建立的;
根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标,所述第一坐标系是基于所述基准目标建立的;
根据所述N个关键点的第一坐标确定所述交通目标与所述基准目标的距离。
2.根据权利要求1所述的设备,其特征在于,
所述处理器,还用于在所述图像中为所述交通目标添加包围框;
在所述从查找到的所述标准中读取所述交通目标的尺寸时,所述处理器,具体用于:从查找到的所述标准中读取所述交通目标的实际尺寸;根据所述实际尺寸计算所述包围框的尺寸;将所述包围框的尺寸作为所述交通目标的尺寸;
当N为4时,在所述从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点时,所述处理器,具体用于:将所述图像中显示的所述包围框的一个表面上的4个角点确定为所述关键点;
在所述根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标时,所述处理器,具体用于:根据所述交通目标的尺寸分别计算所述4个角点在所述第二坐标系下的所述第二坐标。
3.根据权利要求2所述的设备,其特征在于,所述外参包括第三坐标系与所述第一坐标系之间的旋转矩阵R1和平移向量T1,所述第三坐标系是基于所述单目相机建立的;在所述根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标时,所述处理器,具体用于:
根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标;
对于所述N个关键点中的每个关键点,将所述关键点的第三坐标减去所述平移向量T1,将得到的差值乘以所述旋转矩阵R1的逆矩阵,得到所述关键点的第一坐标。
4.根据权利要求3所述的设备,其特征在于,在所述根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标时,所述处理器,具体用于:
分别获取所述N个关键点在所述图像中的像素坐标;
根据所述内参、所述N个关键点的像素坐标和所述N个关键点的第二坐标,计算所述第二坐标系和所述第三坐标系之间的旋转矩阵R2和平移向量T2;
对于所述N个关键点中的每个关键点,将所述旋转矩阵R2乘以所述关键点的第二坐标,将得到的乘积加上所述平移向量T2,得到所述关键点的第三坐标。
5.一种目标测距装置,其特征在于,所述装置包括:
选取单元,用于选取图像中位于基准目标的前面或侧面的交通目标,所述图像是搭载在所述基准目标上的单目相机拍摄得到的;
读取单元,用于读取所述单目相机的内参和外参;从所述图像中检测出所述交通目标的类型,所述类型包括交通信号灯类、交通标志类、交通标线类和道路交通主体类;从预设的标准中查找所述类型所对应的标准,所述标准用于规定属于所述类型的交通目标的尺寸;从查找到的所述标准中读取所述交通目标的尺寸;
计算单元,用于从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点,N为大于等于4的整数;根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标,所述第二坐标系是基于所述交通目标建立的;根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标,所述第一坐标系是基于所述基准目标建立的;根据所述N个关键点的第一坐标确定所述交通目标与所述基准目标的距离。
6.根据权利要求5所述的装置,其特征在于,
所述装置还包括:添加单元,用于在所述图像中为所述交通目标添加包围框;
在所述从查找到的所述标准中读取所述交通目标的尺寸时,所述读取单元,具体用于:从查找到的所述标准中读取所述交通目标的实际尺寸;根据所述实际尺寸计算所述包围框的尺寸;将所述包围框的尺寸作为所述交通目标的尺寸;
当N为4时,在所述从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点时,所述计算单元,具体用于:将所述图像中显示的所述包围框的一个表面上的4个角点确定为所述关键点;
在所述根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标时,所述计算单元,具体用于:根据所述交通目标的尺寸分别计算所述4个角点在所述第二坐标系下的所述第二坐标。
7.根据权利要求6所述的装置,其特征在于,所述外参包括第三坐标系与所述第一坐标系之间的旋转矩阵R1和平移向量T1,所述第三坐标系是基于所述单目相机建立的;在所述根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标时,所述计算单元,具体用于:
根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标;
对于所述N个关键点中的每个关键点,将所述关键点的第三坐标减去所述平移向量T1,将得到的差值乘以所述旋转矩阵R1的逆矩阵,得到所述关键点的第一坐标。
8.根据权利要求7所述的装置,其特征在于,在所述根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标时,所述计算单元,具体用于:
分别获取所述N个关键点在所述图像中的像素坐标;
根据所述内参、所述N个关键点的像素坐标和所述N个关键点的第二坐标,计算所述第二坐标系和所述第三坐标系之间的旋转矩阵R2和平移向量T2;
对于所述N个关键点中的每个关键点,将所述旋转矩阵R2乘以所述关键点的第二坐标,将得到的乘积加上所述平移向量T2,得到所述关键点的第三坐标。
9.一种目标测距方法,其特征在于,所述方法包括:
选取图像中位于基准目标的前面或侧面的交通目标,所述图像是搭载在所述基准目标上的单目相机拍摄得到的;
读取所述单目相机的内参和外参;
从所述图像中检测出所述交通目标的类型,所述类型包括交通信号灯类、交通标志类、交通标线类和道路交通主体类;
从预设的标准中查找所述类型所对应的标准,所述标准用于规定属于所述类型的交通目标的尺寸;
从查找到的所述标准中读取所述交通目标的尺寸;
从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点,N为大于等于4的整数;
根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标,所述第二坐标系是基于所述交通目标建立的;
根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标,所述第一坐标系是基于所述基准目标建立的;
根据所述N个关键点的第一坐标确定所述交通目标与所述基准目标的距离。
10.根据权利要求9所述的方法,其特征在于,
所述方法还包括:在所述图像中为所述交通目标添加包围框;
所述从查找到的所述标准中读取所述交通目标的尺寸,包括:从查找到的所述标准中读取所述交通目标的实际尺寸;根据所述实际尺寸计算所述包围框的尺寸;将所述包围框的尺寸作为所述交通目标的尺寸;
当N为4时,所述从所述图像中显示的所述交通目标的一个表面上选取N个不共线的关键点,包括:将所述图像中显示的所述包围框的一个表面上的4个角点确定为所述关键点;
所述根据所述交通目标的尺寸分别计算所述N个关键点在第二坐标系下的第二坐标,包括:根据所述交通目标的尺寸分别计算所述4个角点在所述第二坐标系下的所述第二坐标。
11.根据权利要求10所述的方法,其特征在于,所述外参包括第三坐标系与所述第一坐标系之间的旋转矩阵R1和平移向量T1,所述第三坐标系是基于所述单目相机建立的;所述根据所述内参和所述外参,分别将所述N个关键点的第二坐标转换为在第一坐标系下的第一坐标,包括:
根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标;
对于所述N个关键点中的每个关键点,将所述关键点的第三坐标减去所述平移向量T1,将得到的差值乘以所述旋转矩阵R1的逆矩阵,得到所述关键点的第一坐标。
12.根据权利要求11所述的方法,其特征在于,所述根据所述内参,分别将所述N个关键点的第二坐标转换为在所述第三坐标系下的第三坐标,包括:
分别获取所述N个关键点在所述图像中的像素坐标;
根据所述内参、所述N个关键点的像素坐标和所述N个关键点的第二坐标,计算所述第二坐标系和所述第三坐标系之间的旋转矩阵R2和平移向量T2;
对于所述N个关键点中的每个关键点,将所述旋转矩阵R2乘以所述关键点的第二坐标,将得到的乘积加上所述平移向量T2,得到所述关键点的第三坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710867746.6A CN109544633B (zh) | 2017-09-22 | 2017-09-22 | 目标测距方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710867746.6A CN109544633B (zh) | 2017-09-22 | 2017-09-22 | 目标测距方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544633A CN109544633A (zh) | 2019-03-29 |
CN109544633B true CN109544633B (zh) | 2021-08-27 |
Family
ID=65830767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710867746.6A Active CN109544633B (zh) | 2017-09-22 | 2017-09-22 | 目标测距方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109544633B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110287828B (zh) * | 2019-06-11 | 2022-04-01 | 北京三快在线科技有限公司 | 信号灯的检测方法、装置及电子设备 |
CN110517349A (zh) * | 2019-07-26 | 2019-11-29 | 电子科技大学 | 一种基于单目视觉和几何约束的3d车辆目标检测方法 |
CN110310489A (zh) * | 2019-08-15 | 2019-10-08 | 四川长虹电器股份有限公司 | 一种非机动车道提醒系统及提醒方法 |
CN111521117B (zh) * | 2019-08-21 | 2022-01-28 | 毫末智行科技有限公司 | 单目视觉测距方法、存储介质及单目摄像头 |
CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其系统、车辆、介质 |
CN111241224B (zh) * | 2020-01-10 | 2021-05-11 | 福瑞泰克智能系统有限公司 | 目标距离估计的方法、系统、计算机设备和存储介质 |
CN111536984A (zh) * | 2020-05-11 | 2020-08-14 | 北京百度网讯科技有限公司 | 定位方法和装置、车端设备、车辆、电子设备和定位系统 |
CN112509054B (zh) * | 2020-07-20 | 2024-05-17 | 重庆兰德适普信息科技有限公司 | 一种相机外参动态标定方法 |
CN114078247A (zh) * | 2020-08-12 | 2022-02-22 | 华为技术有限公司 | 目标检测方法及装置 |
CN113312979B (zh) * | 2021-04-30 | 2024-04-16 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备、路侧设备及云控平台 |
CN114564014A (zh) * | 2022-02-23 | 2022-05-31 | 杭州萤石软件有限公司 | 物体信息确定方法、移动机器人系统及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
CN103578109A (zh) * | 2013-11-08 | 2014-02-12 | 中安消技术有限公司 | 一种监控摄像机测距方法及装置 |
CN105488454A (zh) * | 2015-11-17 | 2016-04-13 | 天津工业大学 | 基于单目视觉的前方车辆检测与测距 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070237424A1 (en) * | 2006-03-29 | 2007-10-11 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus instrumenting a camera to: measure, model and insert target objects at their right size into pictures |
CN103075998B (zh) * | 2012-12-31 | 2015-08-26 | 华中科技大学 | 一种单目空间目标测距测角方法 |
CN104537661A (zh) * | 2014-12-26 | 2015-04-22 | 张长隆 | 一种单目摄像头测量面积的方法和系统 |
CN106595700A (zh) * | 2015-10-15 | 2017-04-26 | 南京理工大学 | 基于三点坐标测量的靶道空间基准标定方法 |
CN105303580A (zh) * | 2015-11-16 | 2016-02-03 | 张璐 | 一种全景环视多相机标定棒的识别系统和方法 |
CN105678783B (zh) * | 2016-01-25 | 2018-10-19 | 西安科技大学 | 折反射全景相机与激光雷达数据融合标定方法 |
-
2017
- 2017-09-22 CN CN201710867746.6A patent/CN109544633B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
CN103578109A (zh) * | 2013-11-08 | 2014-02-12 | 中安消技术有限公司 | 一种监控摄像机测距方法及装置 |
CN105488454A (zh) * | 2015-11-17 | 2016-04-13 | 天津工业大学 | 基于单目视觉的前方车辆检测与测距 |
Non-Patent Citations (3)
Title |
---|
胡占义 等.关于P4P问题的一点讨论.《自动化学报》.2011,第27卷(第6期),770-776. * |
雷美琳.基于单目视觉的前方车辆检测及测距技术的研究.《万方数据 天津工业大学硕士学位论文》.2010,1-66. * |
韩延祥 等.用于目标测距的单目视觉测量方法.《光学精密工程》.2011,第19卷(第5期),1110-1117. * |
Also Published As
Publication number | Publication date |
---|---|
CN109544633A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544633B (zh) | 目标测距方法、装置及设备 | |
EP3620823B1 (en) | Method and device for detecting precision of internal parameter of laser radar | |
CN110136273B (zh) | 一种用于机器学习中的样本数据标注方法及装置 | |
EP4016457A1 (en) | Positioning method and apparatus | |
US12026960B2 (en) | Dynamic driving metric output generation using computer vision methods | |
US20230215187A1 (en) | Target detection method based on monocular image | |
CN113673282A (zh) | 目标检测方法和装置 | |
CN112902874B (zh) | 图像采集装置及方法、图像处理方法及装置、图像处理系统 | |
CN105551020A (zh) | 一种检测目标物尺寸的方法及装置 | |
CN111967360A (zh) | 基于车轮的目标车辆姿态检测方法 | |
CN110796118B (zh) | 获取运输设备的姿态调整参数方法、运输设备及存储介质 | |
CN115164918B (zh) | 语义点云地图构建方法、装置及电子设备 | |
JP5104397B2 (ja) | 画像処理装置、画像処理方法 | |
CN110023953A (zh) | 信息处理设备、成像设备、装置控制系统、移动体、信息处理方法以及计算机程序产品 | |
EP4198901A1 (en) | Camera extrinsic parameter calibration method and apparatus | |
CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
CN112639822B (zh) | 一种数据处理方法及装置 | |
CN103424077A (zh) | 运动检测装置、检测方法和电子设备 | |
CN110415299B (zh) | 一种运动约束下基于设定路牌的车辆位置估计方法 | |
Wang et al. | A rough vehicle distance measurement method using monocular vision and license plate | |
CN113435224A (zh) | 用于获取车辆3d信息的方法和装置 | |
CN111008557A (zh) | 一种基于几何约束的车辆细粒度识别方法 | |
CN107886036A (zh) | 车辆控制方法、装置及车辆 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
Tummala et al. | SmartDashCam: automatic live calibration for DashCams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |