CN113284120B - 限高高度测量方法及装置 - Google Patents
限高高度测量方法及装置 Download PDFInfo
- Publication number
- CN113284120B CN113284120B CN202110601823.XA CN202110601823A CN113284120B CN 113284120 B CN113284120 B CN 113284120B CN 202110601823 A CN202110601823 A CN 202110601823A CN 113284120 B CN113284120 B CN 113284120B
- Authority
- CN
- China
- Prior art keywords
- image
- height
- limiting
- key point
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
本申请公开一种限高高度测量方法及装置。该方法包括:获得双目相机针对限高目标物生成的第一图像和第二图像;将第一图像和所述第二图像输入预先完成训练的识别模型,得到识别模型输出的限高目标物中关键点在第一图像和第二图像中的位置信息,关键点为限高目标物中决定限高高度的点;根据关键点在第一图像和第二图像中的位置信息,确定关键点在世界坐标系下的高度值;根据关键点在世界坐标系下的高度值确定出限高目标物的限高高度。本申请公开的方案,能够准确测量限高物的限高高度,以便驾驶员更准确地判断车辆是否能够安全通过限高区域,减少事故的发生。
Description
技术领域
本申请属于智能驾驶技术领域,尤其涉及一种限高高度测量方法及装置。
背景技术
车辆在通过无限高高度指示信息的限高区域时,驾驶员无法判断车辆是否能够安全通行,会造成驾驶员恐慌。更进一步的,如果驾驶员对限高高度出现误判,强行通过限高区域,会造成车顶刮碰等事故。
因此,如何确定限高物的限高高度,以便驾驶员准确判断车辆是否能够安全通过限高区域,是亟待解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种限高高度测量方法及装置,能够准确测量限高物的限高高度,以便驾驶员更准确地判断车辆是否能够安全通过限高区域,减少事故的发生。
为实现上述目的,本申请提供如下技术方案:
本申请提供一种限高高度测量方法,应用于车辆中的处理器,所述方法包括:
获得双目相机针对限高目标物生成的第一图像和第二图像;
将所述第一图像和所述第二图像输入预先完成训练的识别模型,得到所述识别模型输出的所述限高目标物中关键点在所述第一图像和所述第二图像中的位置信息,所述关键点为所述限高目标物中决定所述限高目标物的限高高度的点;
根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值;
根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度。
可选的,所述根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值,包括:
根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值;
根据所述关键点在所述第一图像或所述第二图像中的位置信息、所述视差值、以及预先确定的所述双目相机的变换矩阵确定所述关键点在世界坐标系下的高度值。
可选的,所述限高目标物中关键点的数量为至少两个。
可选的,所述根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值,包括:
针对所述限高目标物中的每个关键点,根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述关键点对应的初级视差值;
计算确定出的所有初级视差值的平均值,将所述平均值确定为所述第一图像和所述第二图像之间的视差值。
可选的,所述根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度,包括:
确定出所有关键点在所述世界坐标系下的高度值中的最小值,将所述最小值确定为所述限高目标物的限高高度。
可选的,所述识别模型的训练过程包括:
获得多个样本数据,所述样本数据具有标注信息,其中,所述样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,所述标注信息包括所述限高物样本的类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中位置信息;
利用预先构建的学习模型对所述样本数据进行预测,获得预测结果,所述预测结果包括所述限高物样本的预测类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中的预测位置信息;
根据所述预测结果和所述标注信息调整所述学习模型,直至调整后的学习模型满足预设收敛条件,将满足所述预设收敛条件的学习模型确定为所述识别模型。
可选的,在上述方法的基础上还包括:
计算所述限高目标物的限高高度减去车辆高度后得到的高度差值;
在所述高度差值小于预设高度差阈值时,输出预警信息。
本申请还提供一种限高高度测量装置,应用于车辆中的处理器,所述装置包括:
图像获取单元,用于获得双目相机针对限高目标物生成的第一图像和第二图像;
关键点识别单元,用于将所述第一图像和所述第二图像输入预先完成训练的识别模型,得到所述识别模型输出的所述限高目标物中关键点在所述第一图像和所述第二图像中的位置信息,所述关键点为所述限高目标物中决定所述限高目标物的限高高度的点;
关键点高度值确定单元,用于根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值;
限高高度确定单元,用于根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度。
可选的,所述关键点高度确定单元具体用于:
根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值;根据所述关键点在所述第一图像或所述第二图像中的位置信息、所述视差值、以及预先确定的所述双目相机的变换矩阵确定所述关键点在世界坐标系下的高度值。
可选的,在上述装置的基础上进一步设置:
模型训练单元,用于获得多个样本数据,所述样本数据具有标注信息,其中,所述样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,所述标注信息包括所述限高物样本的类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中位置信息;利用预先构建的学习模型对所述样本数据进行预测,获得预测结果,所述预测结果包括所述限高物样本的预测类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中的预测位置信息;根据所述预测结果和所述标注信息调整所述学习模型,直至调整后的学习模型满足预设收敛条件,将满足所述预设收敛条件的学习模型确定为所述识别模型。
由此可见,本申请的有益效果为:
本申请公开的限高高度测量方法及装置,获取双目相机针对限高目标物生成的第一图像和第二图像,将第一图像和第二图像输入预先完成训练的识别模型,得到限高目标物中的关键点在第一图像和第二图像中的位置信息,其中,限高目标物中的关键点决定了限高目标物的限高高度,之后根据限高目标物中的关键点在第一图像和第二图像中的位置信息,就可以确定关键点在世界坐标系下的高度值,进而根据关键点在世界坐标系下的高度值确定出限高目标物的限高高度。本申请公开的方案,利用完成训练的识别模型能够准确地在图像中确定出限高目标物中的关键点,从而根据限高目标物中的关键点在图像中的位置信息得到准确的限高高度,以便驾驶员更准确地判断车辆是否能够安全通过限高区域,减少事故的发生。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请公开的一种限高高度测量方法的流程图;
图2为本申请公开的双目相机在车辆上的安装位置示意图;
图3-1和图3-2为本申请公开的双目测距的原理示意图;
图4为本申请公开的确定关键点在世界坐标下的高度值的一种方法的流程图;
图5为本申请公开的训练识别模型的方法的流程图;
图6为本申请公开的一种限高高度测量装置的结构示意图。
具体实施方式
本申请提供一种限高高度测量方法及装置,能够准确测量限高物的限高高度,以便驾驶员更准确地判断车辆是否能够安全通过限高区域,减少事故的发生。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,图1为本申请公开的一种限高高度测量方法的流程图。该方法由车辆的处理器执行,包括以下步骤:
S101:获得双目相机针对限高目标物生成的第一图像和第二图像。
双目相机包括两个图像采集模块,这两个图像采集模块的性能参数(例如焦距f)相同,但安装位置不同。例如,在车辆的前挡风玻璃的左右两侧各安装一个图像采集模块,这两个图像采集模块的安装高度是已知的,通常将这两个图像采集模块称为左侧相机和右侧相机,如图2中所示。通常图像采集模块的安装俯仰角度在30°~45°之间,可以根据安装高度以及图像显示情况设定。在实施中,两个图像采集模块的安装角度可能是不同的,也就是说,两个图像采集模块可能是共面的,也可能是不同面的,两个图像采集模块共面是指两个图像采集模块的光轴平行。
双目相机在开启状态下,实时地对车辆的行车环境进行拍摄,生成图像。实施中,可以对双目相机生成的图像进行初步识别,以确定生成的图像中是否包含限高物,如果生成的图像中包含限高物,则执行步骤S101。或者,当接收到用户指示时,执行步骤S101。例如,当车辆前方出现限高物时,用户输入启动限高高度测量的指示,处理器响应该指示,执行步骤S101。
其中,限高物是指会对车辆的通行高度构成限制的物体,包括但不限于:限高杆、桥洞、隧道、车库入口。
S102:将第一图像和第二图像输入预先完成训练的识别模型,得到识别模型输出的限高目标物中关键点在第一图像和第二图像中的位置信息。
需要说明的是,限高物中的关键点为:限高物中决定限高物的限高高度的点。本申请中,将第一图像和第二图像中包含的限高物称为限高目标物,是进行限高高度测量的对象。限高目标物中的关键点为:限高目标物中决定限高目标物的限高高度的点。
识别模型是经过大量的样本数据训练得到的,每条样本数据包括双目相机针对限高物样本生成的第一样本图像和第二样本图像,并且,限高物样本的类别、以及限高物样本的关键点在第一样本图像和第二样本图像中的位置信息是已知的。识别模型具备将限高目标物的预测类别趋于限高目标物的实际类别、以及将限高目标物中关键点的预测位置信息趋于实际位置信息的能力。
S103:根据关键点在第一图像和第二图像中的位置信息,确定关键点在世界坐标系下的高度值。
需要说明的是,假如第一图像由双目相机中的左侧相机生成、第二图像由双目相机中的右侧相机生成,那么关键点在第一图像中的位置信息是:该关键点在左侧相机的成像点在左侧相机的图像坐标系中的坐标值;关键点在第二图像中的位置信息是:该关键点在右侧相机的成像点在右侧相机的图像坐标系中的坐标值。
其中,图像坐标系定义为:图像坐标系的坐标原点为相机的成像面的中心,图像坐标系的X轴与成像面的水平边平行,在成像面内将图像坐标系的X轴旋转90°为图像坐标系的Y轴。
左侧相机的相机坐标系与图像坐标系的关系是已知的,左侧相机的相机坐标系与世界坐标系的关系也是已知的。同样的,右侧相机的相机坐标系与图像坐标系的关系是已知的,右侧相机的相机坐标系与世界坐标系的关系也是已知的。当确定出限高目标物的关键点在第一图像和第二图像中的位置信息后,就可以确定出限高目标物的关键点在相机坐标系下的位置信息,进而确定出限高目标物的关键点在世界坐标系下的位置信息,而限高目标物的关键点在世界坐标系下的位置信息包含关键点在世界坐标系下的高度值。
参见图3-1和图3-2所示的双目测距原理图。
其中,P(X,Y,Z)为关键点,Pl(xl,yl)为关键点P在左侧相机上的成像点;Pr(xr,yr)为关键点P在右侧相机上的成像点;Ol为左侧相机的镜头光心;Or为右侧相机的镜头光心;POl为左极线;POr为右极线;POlOr为极平面;(Cx1,Cy1)为左侧相机的光轴与左侧相机的成像面的交叉点的坐标;(Cx2,Cy2)为右侧相机的光轴与右侧相机的成像面的交叉点的坐标;B为两个相机的镜头光心之间的距离;f为两个相机的焦距。
根据三角形相似定理可得:
ΔCx1PlOl~ΔBOlP,ΔCx2PrOr~ΔBOrP。
由此可得:
进而可得:
其中,X为关键点在左侧相机的相机坐标系下的X轴坐标值,Y为关键点在左侧相机的相机坐标系下的Y轴坐标值,Z为关键点在左侧相机的相机坐标系下的Z轴坐标值。
实施中,在确定出关键点在第一图像和第二图像中的位置信息后,结合两个相机的镜头光心之间的距离B、以及两个相机的焦距f就可以确定出关键点在相机坐标系下的位置信息,之后根据相机坐标系与世界坐标系的关系,确定出关键点在世界坐标系下的位置信息,进而确定出关键点在世界坐标系下的高度值。
S104:根据关键点在世界坐标系下的高度值确定限高目标物的限高高度。
需要说明的是,限高目标物中关键点的数量可以为一个,也可以为多个。
例如,限高目标物为限高杆的情况下,限高杆中的关键点可以为限高杆底部的一个或者多个点;限高目标物为桥洞或隧道的情况下,假如桥洞或隧道的横截面为矩形,那么桥洞或隧道中的关键点可以为桥洞顶或隧道顶的底部的一个或者多个点,假如桥洞或隧道的横截面为矩形加拱形,那么桥洞或隧道中的关键点可以为矩形和拱形的两个连接处;限高目标物为车库入口的情况下,车库入口中的关键点可以为车库入口顶的底部的一个或者多个点。
在限高目标物中的关键点为一个的情况下,将该关键点在世界坐标系下的高度值确定为限高目标物的限高高度。
在限高目标物的关键点为多个(至少两个)的情况下,确定出所有关键点在世界坐标系下的高度值中的最小值,将该最小值确定为限高目标物的限高高度。
本申请公开的限高高度测量方法,获取双目相机针对限高目标物生成的第一图像和第二图像,将第一图像和第二图像输入预先完成训练的识别模型,得到限高目标物中的关键点在第一图像和第二图像中的位置信息,其中,限高目标物中的关键点决定了限高目标物的限高高度,之后根据限高目标物中的关键点在第一图像和第二图像中的位置信息,就可以确定关键点在世界坐标系下的高度值,进而根据关键点在世界坐标系下的高度值确定出限高目标物的限高高度。可以看到,本申请公开的限高高度测量方法,利用完成训练的识别模型能够准确地在图像中确定出限高目标物中的关键点,从而根据限高目标物中的关键点在图像中的位置信息得到准确的限高高度,以便驾驶员更准确地判断车辆是否能够安全通过限高区域,减少事故的发生。
在第一图像和第二图像不共面的情况下,为了提高测量精度,根据关键点在第一图像和第二图像中的位置信息,确定关键点在世界坐标系下的高度值,采用如图4所示的方案,包括:
S401:根据关键点在第一图像和第二图像中的位置信息确定第一图像和第二图像之间的视差值。
在限高目标物中的关键点为一个的情况下,根据该关键点在第一图像和第二图像中的位置信息确定第一图像和第二图像之间的视差值。
实施中,将关键点在第一图像的位置信息记为(xl,yl),将该关键点在第二图像中的位置信息记为(xr,yr),那么以左侧相机为基准的话,第一图像和第二图像之间的视差值d为xl减去xr的差值。
在限高目标物中的关键点为多个(即至少两个)的情况下,根据关键点在第一图像和第二图像中的位置信息确定第一图像和第二图像之间的视差值,采用如下方案:
针对限高目标物中的每个关键点,根据关键点在第一图像和第二图像中的位置信息确定该关键点对应的初级视差值;计算确定出的所有初级视差值的平均值,将该平均值确定为第一图像和第二图像之间的视差值。
这里举例进行说明。
限高目标物中的关键点为两个,分别记为第一关键点和第二关键点。将第一关键点在第一图像的位置信息记为(xl1,yl1),将第一关键点在第二图像中的位置信息记为(xr1,yr1),将第二关键点在第一图像中的位置信息记为(xl2,yl2),将第二关键点在第二图像中的位置信息记为(xr2,yr2)。
针对第一关键点,根据第一关键点在第一图像和第二图像中的位置信息确定第一关键点对应的初级视差值d1,具体的,d1为xl1减去xr1的差值。针对第二关键点,根据第二关键点在第一图像和第二图像中的位置信息确定第二关键点对应的初级视差值d2,具体的,d2为xl2减去xr2的差值;之后计算两个初级视差值d1和d2的平均值,将该平均值确定为第一图像和第二图像之间的视差值。
S402:根据关键点在第一图像或第二图像中的位置信息、视差值、以及预先确定的双目相机的变换矩阵确定关键点在世界坐标系下的高度值。
可选的,首先根据关键点在第一图像中的位置信息、视差值、以及预先确定的双目相机的变换矩阵确定关键点在对应图像采集模块(即产生第一图像的图像采集模块)的相机坐标系下的位置信息,之后将该关键点在相机坐标系下的位置信息转换为在世界坐标系下的位置信息。
可选的,首先根据关键点在第二图像中的位置信息、视差值、以及预先确定的双目相机的变换矩阵确定关键点在对应图像采集模块(即产生第二图像的图像采集模块)的相机坐标系下的位置信息,之后将该关键点在相机坐标系下的位置信息转换为在世界坐标系下的位置信息。
需要说明的是,关键点在世界坐标系下的位置信息包括关键点在世界坐标系下的高度值。
这里以一个关键点为例,对确定关键点在相机坐标系下的位置信息的过程进行说明。
按照公式(1)确定关键点在相机坐标系下的位置信息。
其中:
Tm为双目相机的变换矩阵,f为双目相机的焦距,T为双目相机的平移矩阵;
xl为关键点在图像坐标系下的X轴坐标值;
yl为关键点在图像坐标系下的Y轴坐标值;
d为第一图像和第二图像的视差值;
X为关键点在相机坐标系下的X轴坐标值;
Y为关键点在相机坐标系下的Y轴坐标值;
Z为关键点在相机坐标系下的Z轴坐标值;
这里对确定双目相机的平移矩阵的过程进行说明。
首先求解出左侧相机的相机坐标系相对于标定坐标系的旋转矩阵Rl和平移矩阵Tl,求解出右侧相机的相机坐标系相对于标定坐标系的旋转矩阵Rr和平移矩阵Tr,之后根据旋转矩阵Rl、平移矩阵Tl、旋转矩阵Rr和平移矩阵Tr求解出左侧相机的相机坐标系和右侧相机的相机坐标系之间的旋转矩阵R和平移矩阵T。
其中,标定坐标系可以选用世界坐标系。
实施中,可以将左侧相机的相机坐标系作为主坐标系,由公式(2)可以得到公式(3)。
可选的,在确定出限高目标物的限高高度后,进一步设置以下步骤:计算限高目标物的限高高度减去车辆高度后得到的高度差值,如果该高度差值小于预设高度差阈值,则输出预警信息,以提示驾驶员小心通行。其中,该预设高度差阈值为经验值,例如设置为20厘米至30厘米之间的数值。
下面对本申请所使用识别模型的训练过程进行说明。
参见图5,图5为本申请公开的训练识别模型的方法的流程图。该方法包括:
S501:获得多个样本数据。
样本数据具有标注信息。其中,样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,标注信息包括限高物样本的类别、以及限高物样本的关键点在第一样本图像和第二样本图像中位置信息。
S502:利用预先构建的学习模型对样本数据进行预测,获得预测结果。
其中,预测结果包括限高物样本的预测类别、以及限高物样本的关键点在第一样本图像和第二样本图像中的预测位置信息。
S503:根据预测结果和标注信息调整学习模型,直至调整后的学习模型满足预设收敛条件,将满足预设收敛条件的学习模型确定为识别模型。
预先构建的学习模型的初始模型参数均为自定义数值,训练学习模型的过程就是优化模型参数,以使得学习模型逐渐收敛,且预测结果的准确率逐渐提高的过程。当学习模型满足预设收敛条件时,将当前的学习模型确定为识别模型。
在一种可能的实现方式中,预设收敛条件为:预设损失函数的值小于预设的阈值。其中,预设损失函数表征限高物样本的预测类别和标注的类别之间的误差、限高物样本的关键点在第一样本图像中的预测位置信息和标注的位置信息之间的误差、以及限高物样本的关键点在第二样本图像中的预测位置信息和标注的位置信息之间的误差。其中,预设的阈值为经验值。
实施中,识别模型可以采用encoder-decoder模型,encoder网络层用于进行特征提取,decoder网络层用于特征解码融合。当然,识别模型也可以采用其他神经网络,本申请中不进行具体限定。
本申请上述公开了限高高度测量方法,相应的,本申请还公开限高高度测量装置。说明书中关于两者的描述可以相互参考。
参见图6,图6为本申请公开的一种限高高度测量装置的结构示意图。该装置包括图像获取单元601、关键点识别单元602、关键点高度值确定单元603和限高高度确定单元604。
其中:
图像获取单元601,用于获得双目相机针对限高目标物生成的第一图像和第二图像。
关键点识别单元602,用于将第一图像和第二图像输入预先完成训练的识别模型,得到识别模型输出的限高目标物中关键点在第一图像和第二图像中的位置信息。其中,关键点为限高目标物中决定限高目标物的限高高度的点。
关键点高度值确定单元603,用于根据关键点在第一图像和第二图像中的位置信息,确定关键点在世界坐标系下的高度值。
限高高度确定单元604,用于根据关键点在世界坐标系下的高度值确定限高目标物的限高高度。
可选的,关键点高度确定单元603具体用于:在第一图像和第二图像共面的情况下,根据关键点在第一图像和第二图像中的位置信息、双目相机中两个相机的镜头光心之间的距离、以及双目相机中两个相机的焦距确定关键点在相机坐标系下的位置信息,之后根据相机坐标系和世界坐标系的关系,确定出关键点在世界坐标系下的高度值。
可选的,关键点高度确定单元603具体用于:根据关键点在第一图像和第二图像中的位置信息确定第一图像和所述第二图像之间的视差值;根据关键点在第一图像或第二图像中的位置信息、该视差值、以及预先确定的双目相机的变换矩阵确定关键点在世界坐标系下的高度值。
可选的,限高目标物中关键点的数量为至少两个。
关键点高度确定单元603根据关键点在第一图像和第二图像中的位置信息确定第一图像和所述第二图像之间的视差值,具体为:在限高目标物中关键点的数量为至少两个的情况下,针对限高目标物中的每个关键点,根据关键点在第一图像和第二图像中的位置信息确定关键点对应的初级视差值;计算确定出的所有初级视差值的平均值,将该平均值确定为第一图像和第二图像之间的视差值。
可选的,限高高度确定单元604根据关键点在世界坐标系下的高度值确定限高目标物的限高高度,具体为:在限高目标物中的关键点为一个的情况下,将该关键点在世界坐标系下的高度值确定为限高目标物的限高高度。
可选的,限高高度确定单元604根据关键点在世界坐标系下的高度值确定限高目标物的限高高度,具体为:在限高目标物中的关键点为至少两个的情况下,确定出所有关键点在世界坐标系下的高度值中的最小值,将该最小值确定为限高目标物的限高高度。
在本申请图6所示限高高度测量装置的基础上,可以进一步设置模型训练单元。该模型训练单元用于:
获得多个样本数据,样本数据具有标注信息,其中,样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,标注信息包括限高物样本的类别、以及限高物样本的关键点在第一样本图像和第二样本图像中位置信息;利用预先构建的学习模型对样本数据进行预测,获得预测结果,预测结果包括限高物样本的预测类别、以及限高物样本的关键点在第一样本图像和第二样本图像中的预测位置信息;根据预测结果和标注信息调整学习模型,直至调整后的学习模型满足预设收敛条件,将满足预设收敛条件的学习模型确定为识别模型。
在本申请上述公开的各个限高高度测量装置的基础上,可以进一步设置预警单元。该预警单元用于:计算限高目标物的限高高度减去车辆高度后得到的高度差值;在该高度差值小于预设高度差阈值时,输出预警信息。
本申请还公开一种电子设备可执行的存储介质,该存储介质中存储有程序,该程序由电子设备的处理器加载并执行时,使得电子设备实现本申请上述公开的任意一种限高高度测量方法。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种限高高度测量方法,其特征在于,应用于车辆中的处理器,所述方法包括:
获得双目相机针对限高目标物生成的第一图像和第二图像;
将所述第一图像和所述第二图像输入预先完成训练的识别模型,得到所述识别模型输出的所述限高目标物中关键点在所述第一图像和所述第二图像中的位置信息,所述关键点为所述限高目标物中决定所述限高目标物的限高高度的点;
根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值;
根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度;
所述根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值,包括:
根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值;
根据所述关键点在所述第一图像或所述第二图像中的位置信息、所述视差值、以及预先确定的所述双目相机的变换矩阵确定所述关键点在世界坐标系下的高度值;
所述识别模型的训练过程包括:
获得多个样本数据,所述样本数据具有标注信息,其中,所述样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,所述标注信息包括所述限高物样本的类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中位置信息;
利用预先构建的学习模型对所述样本数据进行预测,获得预测结果,所述预测结果包括所述限高物样本的预测类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中的预测位置信息;
根据所述预测结果和所述标注信息调整所述学习模型,直至调整后的学习模型满足预设收敛条件,将满足所述预设收敛条件的学习模型确定为所述识别模型。
2.根据权利要求1所述的方法,其特征在于,所述限高目标物中关键点的数量为至少两个。
3.根据权利要求2所述的方法,其特征在于,所述根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值,包括:
针对所述限高目标物中的每个关键点,根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述关键点对应的初级视差值;
计算确定出的所有初级视差值的平均值,将所述平均值确定为所述第一图像和所述第二图像之间的视差值。
4.根据权利要求2所述的方法,其特征在于,所述根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度,包括:
确定出所有关键点在所述世界坐标系下的高度值中的最小值,将所述最小值确定为所述限高目标物的限高高度。
5.根据权利要求1所述的方法,其特征在于,还包括:
计算所述限高目标物的限高高度减去车辆高度后得到的高度差值;
在所述高度差值小于预设高度差阈值时,输出预警信息。
6.一种限高高度测量装置,其特征在于,应用于车辆中的处理器,所述装置包括:
图像获取单元,用于获得双目相机针对限高目标物生成的第一图像和第二图像;
关键点识别单元,用于将所述第一图像和所述第二图像输入预先完成训练的识别模型,得到所述识别模型输出的所述限高目标物中关键点在所述第一图像和所述第二图像中的位置信息,所述关键点为所述限高目标物中决定所述限高目标物的限高高度的点;
关键点高度值确定单元,用于根据所述关键点在所述第一图像和所述第二图像中的位置信息,确定所述关键点在世界坐标系下的高度值;
限高高度确定单元,用于根据所述关键点在所述世界坐标系下的高度值确定所述限高目标物的限高高度;
所述关键点高度确定单元具体用于:
根据所述关键点在所述第一图像和所述第二图像中的位置信息确定所述第一图像和所述第二图像之间的视差值;根据所述关键点在所述第一图像或所述第二图像中的位置信息、所述视差值、以及预先确定的所述双目相机的变换矩阵确定所述关键点在世界坐标系下的高度值;
还包括:
模型训练单元,用于获得多个样本数据,所述样本数据具有标注信息,其中,所述样本数据为双目相机针对限高物样本生成的第一样本图像和第二样本图像,所述标注信息包括所述限高物样本的类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中位置信息;利用预先构建的学习模型对所述样本数据进行预测,获得预测结果,所述预测结果包括所述限高物样本的预测类别、以及所述限高物样本的关键点在所述第一样本图像和所述第二样本图像中的预测位置信息;根据所述预测结果和所述标注信息调整所述学习模型,直至调整后的学习模型满足预设收敛条件,将满足所述预设收敛条件的学习模型确定为所述识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601823.XA CN113284120B (zh) | 2021-05-31 | 2021-05-31 | 限高高度测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110601823.XA CN113284120B (zh) | 2021-05-31 | 2021-05-31 | 限高高度测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113284120A CN113284120A (zh) | 2021-08-20 |
CN113284120B true CN113284120B (zh) | 2024-03-08 |
Family
ID=77282698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110601823.XA Active CN113284120B (zh) | 2021-05-31 | 2021-05-31 | 限高高度测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113284120B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114429620A (zh) * | 2022-04-07 | 2022-05-03 | 北京中科慧眼科技有限公司 | 限高装置下边缘位置检测模型训练方法和系统 |
CN114463388A (zh) * | 2022-04-13 | 2022-05-10 | 北京中科慧眼科技有限公司 | 基于双目相机的限高装置检测方法、系统和智能终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018177159A1 (zh) * | 2017-04-01 | 2018-10-04 | 上海蔚来汽车有限公司 | 运动物体的位置确定方法及系统 |
CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
CN112009383A (zh) * | 2020-09-28 | 2020-12-01 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 道路拥堵预判装置、系统及方法 |
-
2021
- 2021-05-31 CN CN202110601823.XA patent/CN113284120B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018177159A1 (zh) * | 2017-04-01 | 2018-10-04 | 上海蔚来汽车有限公司 | 运动物体的位置确定方法及系统 |
CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
CN112009383A (zh) * | 2020-09-28 | 2020-12-01 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 道路拥堵预判装置、系统及方法 |
Non-Patent Citations (1)
Title |
---|
基于双目立体视觉的目标物定位研究;张曙;华云松;;软件导刊(02);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113284120A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284120B (zh) | 限高高度测量方法及装置 | |
US10015394B2 (en) | Camera-based speed estimation and system calibration therefor | |
CN111856963B (zh) | 一种基于车载环视系统的泊车仿真方法及装置 | |
EP3641298B1 (en) | Method and device for capturing target object and video monitoring device | |
CN111462249B (zh) | 一种交通摄像头标定方法及装置 | |
CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN112257538A (zh) | 基于双目深度信息的活体检测方法、设备及存储介质 | |
CN110111018B (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
CN111105465B (zh) | 一种摄像装置校准方法、装置、系统电子设备及存储介质 | |
CN110864920B (zh) | 一种基于视觉的角度关系自动测定方法及其系统 | |
CN112833889B (zh) | 一种车辆的定位方法及装置 | |
CN112669382A (zh) | 一种基于图像的距离确定方法及装置 | |
CN112699748A (zh) | 基于yolo及rgb图像的人车距离估计方法 | |
CN111256651B (zh) | 一种基于单目车载摄像头的周车测距方法和装置 | |
CN109960990B (zh) | 障碍物侦测可信度评估方法 | |
CN111862146A (zh) | 一种目标对象的定位方法及装置 | |
CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
TWI645997B (zh) | Obstacle detection credibility evaluation method | |
CN112200856A (zh) | 一种基于事件相机的视觉测距方法 | |
CN110836656B (zh) | 用于单目adas的防抖测距方法、装置和电子设备 | |
CN112364793A (zh) | 基于长短焦多相机车辆环境下的目标检测和融合方法 | |
CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 | |
CN115388880B (zh) | 一种低成本记忆泊车建图与定位方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |