CN115578438A - 基于多相机的尺寸估计方法、装置、设备及存储介质 - Google Patents
基于多相机的尺寸估计方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115578438A CN115578438A CN202211159517.6A CN202211159517A CN115578438A CN 115578438 A CN115578438 A CN 115578438A CN 202211159517 A CN202211159517 A CN 202211159517A CN 115578438 A CN115578438 A CN 115578438A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- points
- point
- ray
- fitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004888 barrier function Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于多相机的尺寸估计方法、装置、设备及存储介质。其中,尺寸估计方法包括:对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,多个观测点用于标识出障碍物的侧面底边所在的位置;根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线,并将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点;从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。通过采用本申请所提供的尺寸估计方法能够改善现有技术中障碍物的尺寸估计准确度不高的问题。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于多相机的尺寸估计方法、装置、设备及存储介质。
背景技术
障碍物感知是自动驾驶技术中一个很重要的技术分支,自动驾驶汽车需要对周围环境中的汽车等障碍物进行识别和检测,以实现更加智能和安全的自动驾驶过程。在对障碍物进行检测时,如果能准确检测出障碍物的尺寸等信息,能帮助自动驾驶系统作出更加合理有效的路径规划。
目前,可以利用三维包围框对单相机拍摄得到的图像上的障碍物的位置进行标注,并根据该伪三维包围框来估计障碍物的尺寸。但是该方法在准确度上还有待提升,这是因为单个伪三维包围框提供的观测点有限,尤其是在障碍物被图像截断的情况下,很难输出障碍物的准确的长度。因此现有技术还存在着障碍物的尺寸估计准确度不高的问题。
发明内容
基于此,本申请提供一种基于多相机的尺寸估计方法、装置、设备及存储介质,改善现有技术中障碍物的尺寸估计准确度不高的问题。
第一方面,本申请提供了一种基于多相机的尺寸估计方法,该尺寸估计方法包括:对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,多个观测点用于标识出障碍物的侧面底边所在的位置;根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线,并将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点;从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。
结合第一方面,在第一方面的第一种可实施方式中,上述根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线的步骤,包括:根据多个观测点的像素坐标,分别转换得到各观测点的世界坐标;根据置信度规则确定各观测点对应的置信度,其中,观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,轮胎接地点的置信度大于伪三维包围框的侧面底边的端点的置信度;根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
结合第一方面的第一种可实施方式,在第一方面的第二种可实施方式中,上述根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线的步骤,包括:根据多个观测点分别对应的世界坐标和置信度,计算对多个观测点进行拟合的总误差,以及各观测点分别对应的误差;在总误差小于或等于误差阈值的情况下,根据多个观测点分别对应的世界坐标和置信度,对多个观测点进行拟合得到拟合线;在总误差大于误差阈值的情况下,根据各观测点分别对应的误差对多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于误差阈值,并根据筛选后的多个观测点分别对应的世界坐标和置信度,对筛选后的多个观测点进行拟合得到拟合线。
结合第一方面,在第一方面的第三种可实施方式中,上述从多个交点中确定出障碍物的侧面底边的两个端点的步骤,包括:根据各交点的像素坐标转换得到各交点的世界坐标;根据各交点的世界坐标计算各交点在拟合线上的偏移量;将多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点。
结合第一方面,在第一方面的第四种可实施方式中,上述从多个交点中确定出障碍物的侧面底边的两个端点的步骤之后,方法还包括:将两个端点中的其中一个端点作为基点,并基于基点在世界坐标系中构建第一射线和第二射线,其中,第一射线和第二射线分别用于指向障碍物的高和宽的方向;将第一射线和第二射线分别投影到至少一张图像上,使得第一射线和第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点。
结合第一方面的第四种可实施方式,在第一方面的第五种可实施方式中,上述基于基点在世界坐标系中构建第一射线和第二射线的步骤包括:根据两个端点的连线确定障碍物的航向;根据基点的像素坐标转换得到基点的世界坐标;以基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射线且指向障碍物的侧面。
结合第一方面的第四种可实施方式,在第一方面的第六种可实施方式中,上述根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点的步骤,包括:根据各图像上的基点和第一交点,确定出障碍物的高度集合,其中,高度集合包括障碍物的至少一个高度;根据各图像上的基点和第二交点,确定出障碍物的宽度集合,其中,宽度集合包括障碍物的至少一个宽度;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的中心点集合,其中,中心点集合包括障碍物的至少一个中心点;分别对高度集合、宽度集合和中心点集合取平均值,得到障碍物的高度、宽度和中心点。
第二方面,本申请提供了一种尺寸估计装置,该尺寸估计装置包括:检测单元,用于对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,多个观测点用于标识出障碍物的侧面底边所在的位置;拟合单元,用于根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线;投影单元,用于将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点;确定单元,用于从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。
结合第二方面,在第二方面的第一种可实施方式中,上述拟合单元具体用于:根据多个观测点的像素坐标,分别转换得到各观测点的世界坐标;根据置信度规则确定各观测点对应的置信度,其中,观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,轮胎接地点的置信度大于伪三维包围框的侧面底边的端点的置信度;根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
结合第二方面的第一种可实施方式,在第二方面的第二种可实施方式中,上述拟合单元还用于:根据多个观测点分别对应的世界坐标和置信度,计算对多个观测点进行拟合的总误差,以及各观测点分别对应的误差;在总误差小于或等于误差阈值的情况下,根据多个观测点分别对应的世界坐标和置信度,对多个观测点进行拟合得到拟合线;在总误差大于误差阈值的情况下,根据各观测点分别对应的误差对多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于误差阈值,并根据筛选后的多个观测点分别对应的世界坐标和置信度,对筛选后的多个观测点进行拟合得到拟合线。
结合第二方面,在第二方面的第三种可实施方式中,上述确定单元具体用于:根据各交点的像素坐标转换得到各交点的世界坐标;根据各交点的世界坐标计算各交点在拟合线上的偏移量;将多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点。
结合第二方面,在第二方面的第四种可实施方式中,上述尺寸估计装置还包括构建单元,构建单元用于将两个端点中的其中一个端点作为基点,并基于基点在世界坐标系中构建第一射线和第二射线,其中,第一射线和第二射线分别用于指向障碍物的高和宽的方向;投影单元,还用于将第一射线和第二射线分别投影到至少一张图像上,使得第一射线和第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;确定单元,还用于根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点。
结合第二方面的第四种可实施方式,在第二方面的第五种可实施方式中,上述构建单元具体用于:根据两个端点的连线确定障碍物的航向;根据基点的像素坐标转换得到基点的世界坐标;以基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射线且指向障碍物的侧面。
结合第二方面的第四种可实施方式,在第二方面的第六种可实施方式中,上述确定单元具体用于:根据各图像上的基点和第一交点,确定出障碍物的高度集合,其中,高度集合包括障碍物的至少一个高度;根据各图像上的基点和第二交点,确定出障碍物的宽度集合,其中,宽度集合包括障碍物的至少一个宽度;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的中心点集合,其中,中心点集合包括障碍物的至少一个中心点;分别对高度集合、宽度集合和中心点集合取平均值,得到障碍物的高度、宽度和中心点。
第三方面,本申请还提供了一种尺寸估计设备,该尺寸估计设备包括处理器和存储器,处理器和存储器通过总线连接;处理器,用于执行多条指令;存储器,用于存储多条指令,指令适于由处理器加载并执行如第一方面或第一方面的任意一项实施方式的尺寸估计方法。
第四方面,本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有多条指令,指令适于由处理器加载并执行如第一方面或第一方面的任意一项实施方式的尺寸估计方法。
综上,本申请提供了一种基于多相机的尺寸估计方法、装置、设备及存储介质,其中,尺寸估计方法包括:尺寸估计设备对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,并根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线,再将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点,并从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。可见,本申请利用多相机采集的至少一张图像来获取障碍物的多个观测点,并根据该多个观测点恢复出了障碍物的真实长度,从而打破了现有技术中观测点不足以及图像可能被截断的限制,改善了障碍物的尺寸估计准确度不高的问题。
附图说明
图1为一个实施例中包括障碍物的伪三维包围框的图像的示意图;
图2为一个实施例中障碍物的头部被图像截断的情况的示意图;
图3为一个实施例中障碍物的尾部被图像截断的情况的示意图;
图4为一个实施例中拟合的步骤的示意图;
图5为一个实施例中拟合线的投影与底边垂线的多个交点的示意图;
图6为一个实施例中构建第一射线和第二射线的步骤的示意图;
图7为一个实施例中确定第一交点和第二交点的步骤的示意图;
图8为一个实施例中确定障碍物的高度的步骤的示意图;
图9为一个实施例中构建障碍物的三维包围框的步骤的示意图;
图10为一个实施例中尺寸估计方法的流程示意图;
图11为本申请提供的一种尺寸估计装置的示意性框图;
图12为本申请提供的一种尺寸估计设备的结构性框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
由于本申请实施例涉及相对较多的专业术语,为了便于理解,下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
1、二维(2Dimensions,2D)包围框
二维包围框也称为矩形框标注,二维包围框包括正矩形框和斜矩形框,本申请中的伪三维包围框指的是正矩形框,例如图7所示,该二维包围框为IJKL。
2、伪三维(3Dimensions,3D)包围框
伪三维包围框也称为2.5D包围框,伪三维包围框是对图像中的障碍物以“伪立方体形”处理的包围框。一般来说,伪三维包围框包括正侧2视角立方体和正侧俯3视角立方体等,本申请中的伪三维包围框指的是正侧2视角立方体。正侧2视角立方体包括用于表示障碍物的侧面的二维包围框,和/或用于表示障碍物的正面(背面)的二维包围框。例如图1所示,障碍物的伪三维包围框包括用于表示障碍物的侧面的二维包围框ABCD,以及用于表示障碍物的背面的二维包围框ADEF,该伪三维包围框包括侧面底边(线段AB)。
3、三维(3Dimensions,3D)包围框
三维包围框指的是用于标识出障碍物的真实三维边界的六面立方体,该三维包围框显示在图像上时如图9中的用于框出汽车所在空间的六面立方体。
需要说明的是,本申请接下来涉及到的尺寸估计设备和尺寸估计装置可以包括但不限于专用的尺寸估计设备、终端设备、计算机、处理器等,可以是集成在汽车上的一个设备,也可以是汽车上的可拆卸的独立设备。尺寸估计设备和尺寸估计装置可以与汽车上的相机进行数据交互,例如获取相机拍摄的包括障碍物的图像等。处理器可以包括但不限于中央处理器(central processing unit,CPU),通用处理器,协处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integratedcircuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以实现本申请的所描述的方法,例如对包括障碍物的伪三维包围框和二维包围框的图像进行检测等,本申请对此不再赘述。
还需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”、“纵向”、“横向”、“水平”、“内”、“外”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,亦仅为了便于简化叙述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
由于基于单个伪三维包围框的尺寸估计方法的准确度不高,因此本申请提出了一种基于多相机的尺寸估计方法。接下来,本申请将以尺寸估计设备为执行主体,对本申请的尺寸估计方法进行举例说明。具体的:
首先,尺寸估计设备获取多相机拍摄的至少一张图像,该至少一张图像中包括障碍物以及用于标识出该障碍物所在位置的伪三维包围框,包括障碍物的伪三维包围框的图像如图1所示,ABCDEF为障碍物的伪三维包围框,线段AB是该伪三维包围框的侧面底边;在获取到障碍物的至少一张图像之后,对该至少一张图像进行检测,得到多个观测点,观测点可以包括如图1中所示的侧面底边AB的端点A和端点B,以及轮胎接地点H和点G。需要说明的是,多相机包括多个相机,使得多相机的各相机可以同一时间在不同方位对障碍物进行拍摄得到包括障碍物的至少一张图像,对于不包括障碍物的图像进行舍弃,因此多相机拍摄得到的包括障碍物的图像的张数小于或等于相机的个数,大于或等于一张。还需要说明的是,该多个观测点可以是来自于不同的图像,例如在图2中的障碍物的头部被图像截断的情况下,获取该障碍物的尾部处的点A和点G作为观测点,再例如在图3中的障碍物的尾部被图像截断的情况下,获取该障碍物的头部处的点B和点H作为观测点。
其次,在得到多个观测点之后,尺寸估计设备将点A、点G、点H和点B分别投影到世界坐标系中。由于观测点A、点B、点G和点H都是障碍物所在地面上的一点,因此认为该几个观测点投影到世界坐标系中时处于同一平面,观测点A、点B、点G和点H在世界坐标系下对应的点可以简单表示为如图4所示的点a、点b、点g和点h。尺寸估计设备根据置信度规则确定点A、点B、点G和点H分别对应的置信度,该置信度规则中记录了各观测点分别对应的置信度,例如轮胎接地点的置信度为预设的第一置信度,伪三维包围框的侧面底边的端点的置信度为预设的第二置信度,第一置信度大于第二置信度。
再次,在确定置信度之后,尺寸估计设备根据点a、点b、点g和点h分别对应的世界坐标和置信度进行拟合,并计算对该四个点进行拟合的总误差,若总误差大于误差阈值,则筛选掉误差最大的点,并再次拟合且计算拟合的总误差,若总误差仍然大于误差阈值,则继续筛选掉剩下的点中误差最大的点,直到拟合的总误差小于或等于误差阈值。假设对点a、点b、点g和点h进行拟合的总误差小于或等于误差阈值,则将根据点a、点b、点g和点h拟合得到的拟合线作为障碍物的侧面底边,该拟合线所指向的方向即障碍物的航向,其中,拟合的方法包括但不限于戴明回归算法。在得到拟合线之后,尺寸估计设备将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点,该多个交点可以来自于不同的图像。如图5所示,点P是拟合线的投影与底边垂线CB之间的交点,点Q是拟合线的投影与底边垂线AD之间的交点。
最后,尺寸估计设备将上述多个交点转换到世界坐标系下,以确定各交点在拟合线上的偏移量,并将该多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。例如图5所示,假设点P和点Q是分别是多个交点中偏移量最大的点和偏移量最小的点,则将点P和点Q作为障碍物的侧面底边上的两个端点,并利用勾股定理计算点P和点Q在世界坐标系下的距离,以得到障碍物的长度。
综上,针对现有技术中基于单个伪三维包围框的尺寸估计方法的准确度不高的问题,本申请的尺寸估计设备先通过多相机采集的至少一张图像来获取障碍物的多个观测点,然后将该多个观测点投影到世界坐标系下来拟合得到障碍物的侧面底边,最后基于该侧面底边确定障碍物的真实的长度。可见,本申请打破了现有技术中观测点不足以及图像可能被截断的限制,改善了障碍物的尺寸估计准确度不高的问题。
在一种实施例中,如图10所示,本申请提供了一种基于多相机的尺寸估计方法。接下来,本申请将以尺寸估计设备为执行主体,对本实施例所提供的方法进行说明。具体的:
1001:对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点。
其中,多个观测点用于标识出障碍物的侧面底边所在的位置,观测点可以包括如图1中所示的侧面底边AB的端点A和端点B,以及轮胎接地点H和点G。
1002:根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线。
其中,尺寸估计设备先根据该多个观测点的像素坐标分别转换得到对应的世界坐标,并利用戴明回归算法对该多个观测点的世界坐标进行拟合,以得到拟合线。观测点A、点B、点G和点H在世界坐标系中可以表示为如图4所示的点a、点b、点g和点h,点a、点b、点g和点h的中间的直线即拟合线。
1003:将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点。
其中,尺寸估计设备将拟合线分别投影到上述至少一张图像中的各图像上,使得拟合线与各图像上的伪三维包围框的底边垂线交于多个交点。如图5所示,点P是拟合线的投影与底边垂线CB之间的交点,点Q是拟合线的投影与底边垂线AD之间的交点。
1004:从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。
其中,尺寸估计设备将上述多个交点中处于拟合线上最边缘的两个点作为障碍物的侧面底边上的两个端点,并根据该两个端点的像素坐标转换得到对应的世界坐标,并计算该两个端点的世界坐标之间距离,以得到障碍物的长度。例如图5,假设将上述多个交点投影到世界坐标系中后,确定上述多个交点中的交点P和交点Q是拟合线的两头上最边缘的点,则将交点P和加点Q作为障碍物的侧面底边的两个端点,并计算交点P的世界坐标和交点Q的世界坐标之间的距离,得到障碍物的长度,例如图6所示的线段qp即障碍物的长度。
在一种可实施的方式中,上述根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线的步骤,包括:根据多个观测点的像素坐标,分别转换得到各观测点的世界坐标;根据置信度规则确定各观测点对应的置信度,其中,观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,轮胎接地点的置信度大于伪三维包围框的侧面底边的端点的置信度;根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
其中,为了拟合出可以更加准确表示障碍物的侧面底边的拟合线,本申请还可以通过对观测点设置不同的置信度来提高拟合线的准确度。这是因为不同的观测点能不同程度的表达出障碍物的侧面底边,例如汽车的轮胎接地点比伪三维包围框能更贴近于汽车的侧面底边。对此,本实施方式在执行拟合的步骤时,尺寸估计设备先根据各观测点在对应的图像上的位置,确定各观测点在对应的图像上的像素坐标,并根据像素坐标转换得到对应的世界坐标,另外,尺寸估计设备还根据置信度规则确定各观测点的置信度,不同类型的观测点对应的置信度不同,例如轮胎接地点的置信度为第一置信度,伪三维包围框的侧面底边的端点的置信度为第二置信度,第一置信度大于第二置信度。在确定各观测点的世界坐标和置信度的情况下,尺寸估计设备利用戴明回归算法确定该多个观测点之间的回归直线,使得该多个观测点到回归直线的加权距离的总和最小,并将该回归直线作为该多个观测点的拟合线,其中,各观测点分别对应的权重即各观测点的置信度。
在一种可实施的方式中,上述根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线的步骤,包括:根据多个观测点分别对应的世界坐标和置信度,计算对多个观测点进行拟合的总误差,以及各观测点分别对应的误差;在总误差小于或等于误差阈值的情况下,根据多个观测点分别对应的世界坐标和置信度,对多个观测点进行拟合得到拟合线;在总误差大于误差阈值的情况下,根据各观测点分别对应的误差对多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于误差阈值,并根据筛选后的多个观测点分别对应的世界坐标和置信度,对筛选后的多个观测点进行拟合得到拟合线。
其中,为进一步拟合出能够更加准确表示障碍物的侧面底边的拟合线,本申请还可以通过对观测点进行筛选来提高拟合线的准确度。具体的,假设尺寸估计设备在上述至少一张图像中获取得到W个观测点,先对该W个观测点进行拟合并计算拟合的总误差,若总误差大于误差阈值,则舍弃该W个观测点中误差最大的观测点,得到(W-1)个观测点。然后对该(W-1)个观测点进行拟合并计算拟合的总误差,若总误差小于或等于误差阈值,则将该(W-1)个观测点对应的回归直线作为拟合线,若总误差大于误差阈值,则重复前述筛选的流程,直到筛选到(W-Z)个观测点时,对该(W-Z)个观测点进行拟合的总误差小于等于误差阈值,将该(W-Z)个观测点对应的回归直线作为拟合线。其中,W和Z为正整数且W大于Z,误差阈值为预设的常数值。
在一种可实施的方式中,上述从多个交点中确定出障碍物的侧面底边的两个端点的步骤,包括:根据各交点的像素坐标转换得到各交点的世界坐标;根据各交点的世界坐标计算各交点在拟合线上的偏移量;将多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点。
其中,本可实施方式通过确定各交点在拟合线上的偏移量,来从上述多个交点中快速确定出障碍物的侧面底边的端点。具体的,尺寸估计设备通过将该各交点分别对应的像素坐标转换为世界坐标,来将各交点投影到拟合线上,将拟合线上位于所有交点的一侧的任意一点作为原点,计算各交点的世界坐标到该原点的距离,将该距离作为各交点对应的偏移量。由于障碍物的侧面底边的端点为所有交点中最边缘的点,因此将上述多个交点中偏移量最大和最小的点作为障碍物的侧面底边的端点,并根据该两个端点确定障碍物的航向,且利用勾股定理计算该两个端点的世界坐标之间的距离,以得到障碍物的长度。
在一种可实施的方式中,上述从多个交点中确定出障碍物的侧面底边的两个端点的步骤之后,尺寸估计设备还可以:将两个端点中的其中一个端点作为基点,并基于基点在世界坐标系中构建第一射线和第二射线,其中,第一射线和第二射线分别用于指向障碍物的高和宽的方向;将第一射线和第二射线分别投影到至少一张图像上,使得第一射线和第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点。
其中,尺寸估计设备在确定障碍物的侧面底边的两个端点之后,将其中一个端点作为基点,例如图6中的障碍物的侧面底边为线段PQ,侧面底边的两个端点为点P和点Q,将点Q作为基点。然后尺寸估计设备将该基点转换到世界坐标系中,并以基点的世界坐标为起点建立指向障碍物的高的方向的第一射线,以及指向障碍物的宽的第二射线,例如图6所示,基点Q在世界坐标系下对应的点为点q,β为第一射线,γ为第二射线。再然后,尺寸估计设备将第一射线和第二射线投影到各图像上,使得第一射线的投影与各图像上的二维包围框的顶边交于第二交点,使得第二射线的投影与各图像上的二维包围框的侧边交于第二交点,例如图7中的第一射线β在图像上的投影是β',第二射线γ在图像上的投影是γ',第一射线的投影β'和第二射线的投影γ'分别与二维包围框IJKL的顶边JK和侧边KL相交于第一交点M和第二交点N。最后,由于上述两个端点、第一交点和第二交点可以描述障碍物的三维包围框的四个顶点,因此尺寸估计设备可以根据两个端点、第一交点和第二交点的像素坐标,分别转换得到两个端点、第一交点和第二交点的世界坐标,并根据两个端点、第一交点和第二交点的世界坐标确定障碍物的尺寸信息,尺寸信息包括宽度、高度和/或中心点中的至少一个。举例来说,如图7所示,尺寸估计设备先根据点P、点Q、点M和点N在图像上的像素坐标,分别转换得到点P、点Q、点M和点N在世界坐标系下的世界坐标,然后根据勾股定理分别计算点Q和点M的世界坐标之间的距离,得到障碍物的高度,计算点Q和点N的世界坐标之间的距离,得到障碍物的宽度,取点P、点Q、点M和点N的世界坐标的中点,得到障碍物的中心点。
在一种可实施的方式中,上述基于基点在世界坐标系中构建第一射线和第二射线的步骤包括:根据两个端点的连线确定障碍物的航向;根据基点的像素坐标转换得到基点的世界坐标;以基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射线且指向障碍物的侧面。
其中,尺寸估计设备先将基点和另一个端点投影到世界坐标系中,并连接基点和另一个端点在世界坐标系中对应的点,以得到障碍物的航向。然后,尺寸估计设备以该基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射向且指向障碍物的侧面。例如图6所示,尺寸估计设备先根据侧面底边上的基点Q在图像上的像素坐标(r1,c1)转换得到基点Q在世界坐标系下的世界坐标(x1,y1,z1),也即是点q,并根据另一个端点P在图像上的像素坐标(r2,c2)转换得到点P在世界坐标系下的世界坐标(x2,y2,z2),也即是点p,然后以点q为起点,建立指向点q的目标向量,并将该目标向量作为障碍物的航向α。再然后,以点q为起点建立垂直于地面且指向障碍物的顶部的第一射线β,并建立垂直于第一射线β和障碍物的航向α且指向障碍物的侧面的第二射线γ。
在一种可实施的方式中,根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点的步骤,包括:根据各图像上的基点和第一交点,确定出障碍物的高度集合,其中,高度集合包括障碍物的至少一个高度;根据各图像上的基点和第二交点,确定出障碍物的宽度集合,其中,宽度集合包括障碍物的至少一个宽度;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的中心点集合,其中,中心点集合包括障碍物的至少一个中心点;分别对高度集合、宽度集合和中心点集合取平均值,得到障碍物的高度、宽度和中心点。
其中,由于第一射线和第二射线投影到各图像上之后,会与各图像上的二维包围框相交,因此在每个图像上都会有对应的第一交点和/或第二交点,例如图1所示的障碍物完整显示的图像中会有第一交点和第二交点,再例如图2所示的障碍物部分显示的图像中会有第一交点和第二交点,再例如图3所示的障碍物部分显示的图像中会有第一交点。因此,基于任意一个包括两个端点、第一交点和第二交点的图像,尺寸估计设备都可以根据该图像上的两个端点、第一交点和第二交点,确定障碍物的尺寸信息。但是本实施方式为了进一步提高准确度,尺寸估计设备先分别根据至少一张图像得到障碍物的高度、宽度和中心点,从而得到包括至少一个高度的高度集合,包括至少一个宽度的宽度集合以及包括至少一个中心点的中心点集合,然后尺寸估计设备取高度集合中所有高度的平均值作为障碍物的高度,取宽度集合中所有宽度的平均值作为障碍物的宽度,取中心点集合中所有中心点的坐标的平均值作为障碍物的中心点。
在一种可实施的方式中,上述根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的高度的步骤包括:根据基点的像素坐标、基点的世界坐标、第一交点的像素坐标、第一射线的单位向量确定障碍物的高度,其中,根据基点的像素坐标、基点的世界坐标、第一交点的像素坐标、第一射线的单位向量确定障碍物的高度的步骤的数学表达为:
其中,L为障碍物的高度,(r1,c1)为基点的像素坐标,(x1,y1,z1)为基点的世界坐标,(r3,c3)为第一交点的像素坐标,(ux,uy,uz)为第一射线的单位向量,fx和fy为相机内参焦距参数。需要说明的是,本实施方式提供了一种简便的计算方式,在将第一射线映射到图像中并得到第一交点之后,直接利用第一交点的像素坐标来计算障碍物的高度,而不需要先根据第一交点的像素坐标转换得到第一交点的世界坐标之后,在再利用第一交点的世界坐标来计算障碍物的高度,从而进一步降低了计算的复杂度,提高了尺寸估计的效率。
举例来说,如图8所示,基点Q的像素坐标(r1,c1)、基点Q的世界坐标(x1,y1,z1),第一交点M的像素坐标(r3,c3),第一射线的单位向量(ux,uy,uz),相机内参焦距参数fx和fy都是已知的,尺寸估计设备可以将该几个已知的参数直接带入到上述数学表达式中得到障碍物的高度,即线段QM的长度。类似的,障碍物的宽度也可以按照上述计算方式,根据基点的像素坐标、基点的世界坐标、第二交点的像素坐标、第二射线的单位向量确定障碍物的宽度,具体的数学表达式可以参考上述计算障碍物的长度时的数学表达式,在此不再赘述。其中,第一射线的单位向量可以是(0,0,1)。
在一种可实施的方式中,尺寸估计设备还可以根据前述步骤中得到的障碍物的尺寸信息来构建一个三维包围框,来反映障碍物的真实三维边界。具体的,在检测到伪三维包围框的侧面底边的情况下,根据两个端点、第一交点和第二交点,确定出障碍物的尺寸信息的步骤之后,还包括:连接基点与另一个端点,得到用于表示障碍物的长的第一线段;连接基点与第一交点,得到用于表示障碍物的高的第二线段;连接基点与第二交点,得到用于表示障碍物的宽的第三线段;根据第一线段、第二线段、第三线段恢复出障碍物的三维包围框。
其中,尺寸估计设备根据第一线段、第二线段和第三线段恢复出用于表示障碍物的真实三维边界的六面立方体。例如图9所示,尺寸估计设备先分别连接基点Q与另一个端点P得到第一线段QP,连接基点Q与第一交点M得到第二线段QM,连接基点Q与第二交点N得到第三线段QN,然后根据线段QP、QM和QN恢复出三维包围框的另外几线段,从而恢复出障碍物的三维包围框。
综上,本申请可以能够基于障碍物的至少一张图像,恢复出障碍物的真实的长度,改善了现有技术中障碍物的尺寸估计准确度不高的问题。
在一个实施例中,本发明实施还提供了一种尺寸估计装置,参见图11。本发明实施例可以根据上述方法示例对设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本发明实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。如图11所示,该障碍物检测装置包括检测单元1110、拟合单元1120、投影单元1130以及确定单元1140,具体的:检测单元1110,用于对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,多个观测点用于标识出障碍物的侧面底边所在的位置;拟合单元1120,用于根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线;投影单元1130,用于将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点;确定单元1140,用于从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。
在一种可实施的方式中,上述拟合单元1120具体用于:根据多个观测点的像素坐标,分别转换得到各观测点的世界坐标;根据置信度规则确定各观测点对应的置信度,其中,观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,轮胎接地点的置信度大于伪三维包围框的侧面底边的端点的置信度;根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
在一种可实施的方式中,上述拟合单元1120还用于:根据多个观测点分别对应的世界坐标和置信度,计算对多个观测点进行拟合的总误差,以及各观测点分别对应的误差;在总误差小于或等于误差阈值的情况下,根据多个观测点分别对应的世界坐标和置信度,对多个观测点进行拟合得到拟合线;在总误差大于误差阈值的情况下,根据各观测点分别对应的误差对多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于误差阈值,并根据筛选后的多个观测点分别对应的世界坐标和置信度,对筛选后的多个观测点进行拟合得到拟合线。
在一种可实施的方式中,上述确定单元1140具体用于:根据各交点的像素坐标转换得到各交点的世界坐标;根据各交点的世界坐标计算各交点在拟合线上的偏移量;将多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点。
在一种可实施的方式中,上述尺寸估计装置还包括构建单元1150,构建单元1150用于将两个端点中的其中一个端点作为基点,并基于基点在世界坐标系中构建第一射线和第二射线,其中,第一射线和第二射线分别用于指向障碍物的高和宽的方向;投影单元1130,还用于将第一射线和第二射线分别投影到至少一张图像上,使得第一射线和第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;确定单元1140,还用于根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点。
在一种可实施的方式中,上述构建单元1150具体用于:根据两个端点的连线确定障碍物的航向;根据基点的像素坐标转换得到基点的世界坐标;以基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射线且指向障碍物的侧面。
在一种可实施的方式中,上述确定单元1140具体用于:根据各图像上的基点和第一交点,确定出障碍物的高度集合,其中,高度集合包括障碍物的至少一个高度;根据各图像上的基点和第二交点,确定出障碍物的宽度集合,其中,宽度集合包括障碍物的至少一个宽度;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的中心点集合,其中,中心点集合包括障碍物的至少一个中心点;分别对高度集合、宽度集合和中心点集合取平均值,得到障碍物的高度、宽度和中心点。
在一个实施例中,本申请还提供了一种尺寸估计设备,参见图12。该尺寸估计设备可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和服务器,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。如图所示的本实施例中的尺寸估计设备可以包括:处理器1210和存储器1220。上述处理器1210和存储器1220通过总1230连接。处理器1210,用于执行多条指令;存储器1220,用于存储多条指令,该指令适于由处理器1210加载并执行如上述实施例中的尺寸估计方法。
其中,处理器1210可以是电子调整单元(Electronic Control Unit,ECU)、中央处理器(central processing unit,CPU),通用处理器,协处理器,数字信号处理器(digitalsignal processor,DSP),专用集成电路(application-specific integrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。该处理器1210也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。在本实施例中,处理器1210可采用单片机,通过对单片机进行编程可以实现各种控制功能,比如在本实施例中,实现电芯的容量以及累计充电总量的采集、处理和解调功能,处理器具有计算能力强大,处理快速的优点。具体的:处理器1210用于执行检测单元1110的功能,用于对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,多个观测点用于标识出障碍物的侧面底边所在的位置;还用于执行拟合单元1120的功能,用于根据多个观测点,在世界坐标系中拟合得到用于表示障碍物的侧面底边的拟合线;还用于执行投影单元1130的功能,用于将拟合线分别投影到各图像中,使得拟合线的投影与各图像中的伪三维包围框的底边垂线交于多个交点;还用于执行确定单元1140的功能,用于从多个交点中确定出障碍物的侧面底边的两个端点,并根据两个端点确定障碍物的长度。
在一种可实施的方式中,上述处理器1210具体用于:根据多个观测点的像素坐标,分别转换得到各观测点的世界坐标;根据置信度规则确定各观测点对应的置信度,其中,观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,轮胎接地点的置信度大于伪三维包围框的侧面底边的端点的置信度;根据多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
在一种可实施的方式中,上述处理器1210还用于:根据多个观测点分别对应的世界坐标和置信度,计算对多个观测点进行拟合的总误差,以及各观测点分别对应的误差;在总误差小于或等于误差阈值的情况下,根据多个观测点分别对应的世界坐标和置信度,对多个观测点进行拟合得到拟合线;在总误差大于误差阈值的情况下,根据各观测点分别对应的误差对多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于误差阈值,并根据筛选后的多个观测点分别对应的世界坐标和置信度,对筛选后的多个观测点进行拟合得到拟合线。
在一种可实施的方式中,上述处理器1210具体用于:根据各交点的像素坐标转换得到各交点的世界坐标;根据各交点的世界坐标计算各交点在拟合线上的偏移量;将多个交点中偏移量最大的交点,以及偏移量最小的交点,作为障碍物的侧面底边的两个端点。
在一种可实施的方式中,上述处理器1210还用于执行构建单元1150的功能,用于将两个端点中的其中一个端点作为基点,并基于基点在世界坐标系中构建第一射线和第二射线,其中,第一射线和第二射线分别用于指向障碍物的高和宽的方向;还用于将第一射线和第二射线分别投影到至少一张图像上,使得第一射线和第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;还用于根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的宽度、高度和/或中心点。
在一种可实施的方式中,上述处理器1210具体用于:根据两个端点的连线确定障碍物的航向;根据基点的像素坐标转换得到基点的世界坐标;以基点的世界坐标为起点,构建第一射线和第二射线,其中,第一射线垂直于障碍物所在的地面且指向障碍物的顶部,第二射线垂直于航向和第一射线且指向障碍物的侧面。
在一种可实施的方式中,上述处理器1210具体用于:根据各图像上的基点和第一交点,确定出障碍物的高度集合,其中,高度集合包括障碍物的至少一个高度;根据各图像上的基点和第二交点,确定出障碍物的宽度集合,其中,宽度集合包括障碍物的至少一个宽度;根据各图像上的两个端点、第一交点和第二交点,确定出障碍物的中心点集合,其中,中心点集合包括障碍物的至少一个中心点;分别对高度集合、宽度集合和中心点集合取平均值,得到障碍物的高度、宽度和中心点。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多相机的尺寸估计方法,其特征在于,包括:
对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,所述多个观测点用于标识出所述障碍物的侧面底边所在的位置;
根据所述多个观测点,在世界坐标系中拟合得到用于表示所述障碍物的侧面底边的拟合线;
将所述拟合线分别投影到各图像中,使得所述拟合线的投影与所述各图像中的伪三维包围框的底边垂线交于多个交点;
从所述多个交点中确定出所述障碍物的侧面底边的两个端点,并根据所述两个端点确定所述障碍物的长度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述多个观测点,在世界坐标系中拟合得到用于表示所述障碍物的侧面底边的拟合线的步骤,包括:
根据所述多个观测点的像素坐标,分别转换得到各观测点的世界坐标;
根据置信度规则确定各观测点对应的置信度,其中,所述观测点包括轮胎接地点以及伪三维包围框的侧面底边的端点,所述轮胎接地点的置信度大于所述伪三维包围框的侧面底边的端点的置信度;
根据所述多个观测点分别对应的世界坐标和置信度,拟合得到拟合线。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个观测点分别对应的世界坐标和置信度,拟合得到拟合线的步骤,包括:
根据所述多个观测点分别对应的世界坐标和置信度,计算对所述多个观测点进行拟合的总误差,以及各观测点分别对应的误差;
在所述总误差小于或等于误差阈值的情况下,根据所述多个观测点分别对应的世界坐标和置信度,对所述多个观测点进行拟合得到拟合线;
在所述总误差大于所述误差阈值的情况下,根据所述各观测点分别对应的误差对所述多个观测点进行筛选,使得对筛选后的多个观测点进行拟合的总误差小于或等于所述误差阈值,并根据所述筛选后的多个观测点分别对应的世界坐标和置信度,对所述筛选后的多个观测点进行拟合得到拟合线。
4.根据权利要求1所述的方法,其特征在于,所述从所述多个交点中确定出所述障碍物的侧面底边的两个端点的步骤,包括:
根据各交点的像素坐标转换得到所述各交点的世界坐标;
根据所述各交点的世界坐标计算所述各交点在所述拟合线上的偏移量;
将所述多个交点中偏移量最大的交点,以及偏移量最小的交点,作为所述障碍物的侧面底边的两个端点。
5.根据权利要求1所述的方法,其特征在于,所述从所述多个交点中确定出所述障碍物的侧面底边的两个端点的步骤之后,所述方法还包括:
将所述两个端点中的其中一个端点作为基点,并基于所述基点在世界坐标系中构建第一射线和第二射线,其中,所述第一射线和所述第二射线分别用于指向所述障碍物的高和宽的方向;
将所述第一射线和所述第二射线分别投影到所述至少一张图像上,使得所述第一射线和所述第二射线的投影分别与各图像上的二维包围框的顶边和侧边交于第一交点和第二交点;
根据所述各图像上的所述两个端点、所述第一交点和所述第二交点,确定出所述障碍物的宽度、高度和/或中心点。
6.根据权利要求5所述的方法,其特征在于,所述基于所述基点在世界坐标系中构建第一射线和第二射线的步骤,包括:
根据所述两个端点的连线确定所述障碍物的航向;
根据所述基点的像素坐标转换得到所述基点的世界坐标;
以所述基点的世界坐标为起点,构建第一射线和第二射线,其中,所述第一射线垂直于所述障碍物所在的地面且指向所述障碍物的顶部,所述第二射线垂直于所述航向和所述第一射线且指向所述障碍物的侧面。
7.根据权利要求5所述的方法,其特征在于,所述根据所述各图像上的所述两个端点、所述第一交点和所述第二交点,确定出所述障碍物的宽度、高度和/或中心点的步骤,包括:
根据所述各图像上的基点和第一交点,确定出所述障碍物的高度集合,其中,所述高度集合包括所述障碍物的至少一个高度;
根据所述各图像上的基点和第二交点,确定出所述障碍物的宽度集合,其中,所述宽度集合包括所述障碍物的至少一个宽度;
根据所述各图像上的两个端点、第一交点和第二交点,确定出所述障碍物的中心点集合,其中,所述中心点集合包括所述障碍物的至少一个中心点;
分别对所述高度集合、宽度集合和中心点集合取平均值,得到所述障碍物的高度、宽度和中心点。
8.一种尺寸估计装置,其特征在于,包括:
检测单元,用于对包括障碍物的伪三维包围框的至少一张图像进行检测,得到多个观测点,其中,所述多个观测点用于标识出所述障碍物的侧面底边所在的位置;
拟合单元,用于根据所述多个观测点,在世界坐标系中拟合得到用于表示所述障碍物的侧面底边的拟合线;
投影单元,用于将所述拟合线分别投影到各图像中,使得所述拟合线的投影与所述各图像中的伪三维包围框的底边垂线交于多个交点;
确定单元,用于从所述多个交点中确定出所述障碍物的侧面底边的两个端点,并根据所述两个端点确定所述障碍物的长度。
9.一种尺寸估计设备,其特征在于,所述设备包括处理器和存储器,所述处理器和存储器通过总线连接;所述处理器,用于执行多条指令;所述存储介质,用于存储所述多条指令,所述指令适于由所述处理器加载并执行如权利要求1-7中任一项所述的尺寸估计方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的尺寸估计方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211159517.6A CN115578438A (zh) | 2022-09-22 | 2022-09-22 | 基于多相机的尺寸估计方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211159517.6A CN115578438A (zh) | 2022-09-22 | 2022-09-22 | 基于多相机的尺寸估计方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115578438A true CN115578438A (zh) | 2023-01-06 |
Family
ID=84581029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211159517.6A Pending CN115578438A (zh) | 2022-09-22 | 2022-09-22 | 基于多相机的尺寸估计方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115578438A (zh) |
-
2022
- 2022-09-22 CN CN202211159517.6A patent/CN115578438A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763568B2 (en) | Ground plane estimation in a computer vision system | |
US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
CN109446886B (zh) | 基于无人车的障碍物检测方法、装置、设备以及存储介质 | |
JP4341564B2 (ja) | 対象物判定装置 | |
CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
CN111142514B (zh) | 一种机器人及其避障方法和装置 | |
US20230065774A1 (en) | Computer Vision Systems and Methods for Modeling Three-Dimensional Structures Using Two-Dimensional Segments Detected in Digital Aerial Images | |
CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
WO2024016524A1 (zh) | 基于独立非均匀增量采样的网联车位置估计方法及装置 | |
CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
CN115511944A (zh) | 基于单相机的尺寸估计方法、装置、设备及存储介质 | |
CN115578438A (zh) | 基于多相机的尺寸估计方法、装置、设备及存储介质 | |
US9378555B2 (en) | Enhanced outlier removal for 8 point algorithm used in camera motion estimation | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN115965712A (zh) | 一种建筑物二维矢量图构建方法、系统、设备及存储介质 | |
CN115546216A (zh) | 一种托盘检测方法、装置、设备及存储介质 | |
JP2023021087A (ja) | 両眼画像マッチング方法、装置、デバイス、及び記憶媒体 | |
CN114943954A (zh) | 一种车位检测方法、装置和系统 | |
KR20240024778A (ko) | 지면 포인트 클라우드 세그먼트화 방법 및 장치 및 자율 주행 차량 | |
CN114241011A (zh) | 目标检测方法、装置、设备及存储介质 | |
WO2024142571A1 (ja) | 画像処理装置 | |
CN113763560B (zh) | 点云数据的生成方法、系统、设备及计算机可读存储介质 | |
CN117635875B (zh) | 一种三维重建方法、装置及终端 | |
JP2024092436A (ja) | 画像処理装置 | |
CN116563477A (zh) | 道路标识点云的生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |