CN114495041A - 车辆与目标物之间距离的测量方法、装置、设备及介质 - Google Patents
车辆与目标物之间距离的测量方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114495041A CN114495041A CN202210101230.1A CN202210101230A CN114495041A CN 114495041 A CN114495041 A CN 114495041A CN 202210101230 A CN202210101230 A CN 202210101230A CN 114495041 A CN114495041 A CN 114495041A
- Authority
- CN
- China
- Prior art keywords
- target object
- vehicle
- distance
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本申请涉及一种车辆与目标物之间距离的测量方法、装置、设备及介质,涉及测距的技术领域,其包括接收摄像头拍摄的视频,在所述视频中筛选出帧图像;其中,所述摄像头安装于第一车辆上;将所述帧图像输入至训练好的PP‑YOLO模型中,识别出帧图像中的目标物,获取所述目标物的预测框的坐标;其中,所述目标物为第二车辆和/或飞行器;根据所述坐标,求取第一车辆与所述目标物之间的距离。本申请具有准确地获取车辆与目标物之间的距离的效果。
Description
技术领域
本申请涉及测距的技术领域,尤其是涉及一种车辆与目标物之间距离的测量方法、装置、设备及介质。
背景技术
测量机场内车辆与目标物之间的距离可以应用到很多场景,例如,机场内车辆与飞行器定位和车辆行驶避障等。尤其是在机场安全方面,距离是很重要的参考指标;其中,目标物可以为其他车辆,也可以是飞行器。
目前,有很多方法来实现车辆与目标物之间的距离测量。例如,使用雷达等特殊设备进行测距,这种方式成本较高;基于传统的图像处理方法或者基于RCNN、SSD的方法,这类测距方法资源消耗大,运行速度和精度较低。
因此,目前亟需一种车辆与目标物之间距离的测量方法,用低成本的方式,准确地获取车辆与目标物之间的距离。
发明内容
为了准确地获取车辆与目标物之间的距离,本申请提供一种车辆与目标物之间距离的测量方法、装置、设备及介质。
第一方面,本申请提供一种车辆与目标物之间距离的测量方法,采用如下的技术方案:
一种车辆与目标物之间距离的测量方法,包括:
接收摄像头拍摄的视频,在所述视频中筛选出帧图像;其中,所述摄像头安装于第一车辆上;
将所述帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取所述目标物的预测框的坐标;其中,所述目标物为第二车辆和/或飞行器;
根据所述坐标,求取第一车辆与所述目标物之间的距离。
通过采用上述技术方案,以速度更快、精度更高、基于深度学习的端到端目标检测模型PP-YOLO为基础来实现目标检测,从而提高测距的速度和精度。
优选的,所述摄像头为双目摄像头,所述视频包括第一视频和第二视频,所述帧图像包括第一图像和第二图像;所述接收摄像头拍摄的视频,在所述视频中筛选出帧图像,包括:
每间隔预设帧,在所述第一视频中筛选出第一图像,在所述第二视频中筛选出第二图像。
优选的,所述PP-YOLO模型训练,包括:
采用CIOU损失函数,对所述PP-YOLO模型进行优化;
获取训练样本,将所述训练样本输入至优化后的PP-YOLO模型中进行训练,得到训练好的PP-YOLO模型。
通过采用上述技术方案,基于CIOU损失函数,能够解决边界框不重合问题,提高目标检测的鲁棒性。
优选的,在所述获取训练样本,将所述训练样本输入至优化后的PP-YOLO模型中进行训练,得到训练好的PP-YOLO模型之后,还包括:
对训练好的PP-YOLO模型进行加速处理。
优选的,所述获取训练样本,包括:
采集目标物图像,将所述目标物图像输入至对抗生成网络模型中,生成新的目标物图像;
将所述目标物图像和新的目标物图像合并为图像数据集,对所述图像数据集进行预处理,得到所述训练样本。
通过采用上述技术方案,使用对抗生成网络模型来生成新的目标物图像来增加图像数据集中的图像数量,同时利用机场环境下车辆和飞行器的特殊性对图像数据集做针对性的预处理,来提高PP-YOLO模型检测的精度和鲁棒性。
优选的,所述对训练好的PP-YOLO模型进行加速处理,包括:
采用TensorRT对对训练好的PP-YOLO模型进行加速处理。
通过采用上述技术方案,使用TensorRT对PP-YOLO模型进行加速处理,进一步提高运算速度,同时减少运算所消耗的资源,让算法运行在算力较小的边缘设备上。
优选的,所述根据所述坐标,求取第一车辆与所述目标物之间的距离,包括:
获取所述双目摄像头与车头外边缘的第一距离;
采用双目测距基本原理,根据所述坐标,计算得到所述双目摄像头与目标物之间的第二距离;
根据所述第一距离和第二距离,获取所述距离。
第二方面,本申请提供一种车辆与目标物之间距离的测量装置,采用如下的技术方案:
一种车辆与目标物之间距离的测量装置,其特征在于,包括,
筛选模块,用于接收摄像头拍摄的视频,在所述视频中筛选出帧图像;其中,所述摄像头安装于第一车辆上;
识别模块,用于将所述帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取所述目标物的预测框的坐标;其中,所述目标物为第二车辆和/或飞行器;以及,
求取模块,用于根据所述坐标,求取第一车辆与所述目标物之间的距离。
第三方面,本申请提供一种计算机设备,采用如下的技术方案:
一种计算机设备,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的车辆与目标物之间距离的测量方法的计算机程序。
第四方面,本申请提供一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,存储有能够被处理器加载并执行第一方面任一项所述的车辆与目标物之间距离的测量方法的计算机程序。
附图说明
图1是本申请实施例提供的车辆与目标物之间距离的测量方法的流程示意图。
图2是本申请实施例提供的展示双目摄像头与车头外边缘之间的第一距离的情景示意图。
图3是本申请实施例提供的车辆与目标物之间距离的测量装置的结构框图。
图4是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本实施例提供一种车辆与目标物之间距离的测量方法,如图1所示,该方法的主要流程描述如下(步骤S101~S103):
步骤S101:接收摄像头拍摄的视频,在视频中筛选出帧图像;其中,摄像头安装于第一车辆上。
其中,摄像头为双目摄像头,视频包括第一视频和第二视频,帧图像包括第一图像和第二图像。值得注意的是,双目摄像头同时开始拍摄,也同时停止拍摄,因此,在双目摄像头实时拍摄时,第一视频和第二视频的当前帧数保持相同。
每间隔预设帧,在第一视频中筛选出第一图像,在第二视频中筛选出第二图像。
例如,预设帧为30,第一视频和第二视频的当前帧数均为31帧时,则将第一视频中的第31帧作为第一图像,将第二视频中的第31帧作为第二图像;第一视频和第二视频的当前帧数均为62帧时,则将第一视频中的第62帧作为第一图像,将第二视频中的第62帧作为第二图像;第一视频和第二视频的当前帧数均为93帧时,则将第一视频中的第93帧作为第一图像,将第二视频中的第93帧作为第二图像;以此类推,第一视频和第二视频的当前帧数均为(31×N)帧时,则将第一视频中的第(31×N)帧作为第一图像,将第二视频中的第(31×N)帧作为第二图像。
步骤S102:将帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取目标物的预测框的坐标;其中,目标物为第二车辆和/或飞行器。
本实施中,在将帧图像输入至PP-YOLO模型中之前,采用CIOU损失函数,对PP-YOLO模型进行优化。计算CIOU损失函数的表达式如下:
其中,LCIOU表示CIOU损失函数;IoU表示边界框的交并比;b表示预测框的中心点;bgt表示真实框的中心点;ρ表示预测框的中心点和真实框的中心点之间的欧式距离;c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离;α表示权重;v表示度量长宽比的相似性。
上述中,计算度量长宽比的相似性的表达式如下:
其中,wgt表示真实框的宽;hgt表示真实框的高;w表示预测框的宽;h表示预测框的高。
获取训练样本,将训练样本输入至优化后的PP-YOLO模型中进行训练,得到训练好的PP-YOLO模型。
其中,获取训练样本的方法具体包括采集、生成和预处理,详情如下:
采集:在机场中,采集车辆和飞行器的图像,还通过大数据在互联网上采集类似的车辆和飞行器的图像,将通过这两种途径采集的图像进行合并,生成初始数据集,初始数据集中的每一张图像均定义为目标物图像;注意此时的目标物图像还未做标注。注意,由于环境不同,在机场内采集的图像中的目标物的类型和角度与在其它环境下采集的图像中的目标物的类型和角度有很大的不同,如果差异较大会影响模型训练效率,甚至影响精度,因此,在互联网上采集的目标物的图像需要和在机场内采集的图像类似。
生成:将目标物图像输入至对抗生成网络模型中,通过对抗生成网络模型生成新的目标物图像,将目标物图像和新的目标物图像合并为图像数据集;其中,新的目标物图像为抗生成网络模型输出的预测图像。
预处理:首先框选出图像数据集中每一张图像中的车辆和/或飞行器,然后统一标注出车辆和/或飞行器的类别;最后分别使用颜色变化、Mosaic、缩放、剪切和翻转处理对每一张图像进行增强。
其中,由于飞行器目标较大,在距离较近时,双目摄像头在可视范围内一般只能拍摄到飞行器的一部分,所以增加对数据预处理中缩放和剪切的比重,具体的,在传统的缩放和剪切中,并不是对图像数据集中所有的图像都进行缩放和剪切,而只是一小部分,本申请中,增加参与缩放和剪切处理的图像数量,甚至对图像数据集中所有的图像都进行缩放和剪切,已达到良好的数据增强的效果。
进一步地,还对训练好的PP-YOLO模型进行加速处理。
具体的,PP-YOLO模型训练完成后,将输出的PP-YOLO模型导出为ONNX格式的模型,将ONNX格式的模型转换为半精度浮点数类型的TensorRT引擎文件,从而完成对PP-YOLO模型的加速处理。
将第一图像和第二图像分别输入至加速处理好的PP-YOLO模型中,识别出第一图像和第二图像中所有的目标物,获取每个目标物的预测框的坐标。其中,坐标为预测框的中心点坐标。
在上述过程中,PP-YOLO模型被部署到边缘计算设备上,以减少运算所消耗的资源。
步骤S103:根据坐标,求取第一车辆与目标物之间的距离。
本实施例中,获取双目摄像头与车头外边缘的第一距离。参照图2,双目摄像头安装于车头内部的中间位置,通过人工测量或自动测量等方式得到双目摄像头与车头外边缘的第一距离,图2中的d表示第一距离。
计算得到双目摄像头与目标物之间的第二距离;其中,第二距离的计算公式如下:
其中,D表示第二距离,B表示双目摄像头中两个摄像头的中心距离;XL-XR表示目标物在两个相机间的视差;XL表示第一图像中目标物的预测框的中心点坐标;XR表示第二图像中目标物的预测框的中心点坐标;f表示双目摄像头的焦距。
根据第一距离和第二距离,获取距离;其中,距离的计算公式如下:
D’=D-d;
其中,D’表示距离。
值得注意的是,本申请既可以只测量第一车辆与第二车辆之间的距离,也可以只测量第一车辆与飞行器之间的距离,还可以既测量第一车辆与第二车辆之间的距离,又同时测量第一车辆与飞行器之间的距离。
为了更好地实施以上方法,本申请实施例还提供了一种车辆与目标物之间距离的测量装置,该装置具体可以集成在计算机设备中,例如终端或服务器等设备中,该终端可以包括但不限于手机、平板电脑或台式电脑等设备。
图3为本申请实施例提供的一种车辆与目标物之间距离的测量装置的结构框图,如图3所示,该装置主要包括:
筛选模块201,用于接收摄像头拍摄的视频,在视频中筛选出帧图像;其中,摄像头安装于第一车辆上;
识别模块202,用于将帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取目标物的预测框的坐标;其中,目标物为第二车辆和/或飞行器;以及,
求取模块203,用于根据坐标,求取第一车辆与目标物之间的距离。
上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的车辆与目标物之间距离的测量装置,通过前述对车辆与目标物之间距离的测量方法的详细描述,本领域技术人员可以清楚的知道本实施例中的车辆与目标物之间距离的测量装置的实施方法,为了说明书的简洁,在此不再详述。
为了更好地执行上述方法的程序,本申请实施例还提供一种计算机设备,如图4所示,计算机设备300包括存储器301和处理器302。
计算机设备300可以以各种形式来实施,包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。
其中,存储器301可用于存储指令、程序、代码、代码集或指令集。存储器301可以包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如接收摄像头拍摄的视频和获取目标物的预测框的坐标等)以及用于实现上述实施例提供的车辆与目标物之间距离的测量方法的指令等;存储数据区可存储上述实施例提供的车辆与目标物之间距离的测量方法中涉及到的数据等。
处理器302可以包括一个或者多个处理核心。处理器302通过运行或执行存储在存储器301内的指令、程序、代码集或指令集,调用存储在存储器301内的数据,执行本申请的各种功能和处理数据。处理器302可以为特定用途集成电路(Application SpecificIntegrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器302功能的电子器件还可以为其它,本申请实施例不作具体限定。
本申请实施例提供一种计算机可读存储介质,例如包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的车辆与目标物之间距离的测量方法的计算机程序。
本申请具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
Claims (10)
1.一种车辆与目标物之间距离的测量方法,其特征在于,包括:
接收摄像头拍摄的视频,在所述视频中筛选出帧图像;其中,所述摄像头安装于第一车辆上;
将所述帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取所述目标物的预测框的坐标;其中,所述目标物为第二车辆和/或飞行器;
根据所述坐标,求取第一车辆与所述目标物之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述摄像头为双目摄像头,所述视频包括第一视频和第二视频,所述帧图像包括第一图像和第二图像;所述接收摄像头拍摄的视频,在所述视频中筛选出帧图像,包括:
每间隔预设帧,在所述第一视频中筛选出第一图像,在所述第二视频中筛选出第二图像。
3.根据权利要求1所述的方法,其特征在于,所述PP-YOLO模型训练,包括:
采用CIOU损失函数,对所述PP-YOLO模型进行优化;
获取训练样本,将所述训练样本输入至优化后的PP-YOLO模型中进行训练,得到训练好的PP-YOLO模型。
4.根据权利要求3所述的方法,其特征在于,在所述获取训练样本,将所述训练样本输入至优化后的PP-YOLO模型中进行训练,得到训练好的PP-YOLO模型之后,还包括:
对训练好的PP-YOLO模型进行加速处理。
5.根据权利要求3所述的方法,其特征在于,所述获取训练样本,包括:
采集目标物图像,将所述目标物图像输入至对抗生成网络模型中,生成新的目标物图像;
将所述目标物图像和新的目标物图像合并为图像数据集,对所述图像数据集进行预处理,得到所述训练样本。
6.根据权利要求4所述的方法,其特征在于,所述对训练好的PP-YOLO模型进行加速处理,包括:
采用TensorRT对对训练好的PP-YOLO模型进行加速处理。
7.根据权利要求2所述的方法,其特征在于,所述根据所述坐标,求取第一车辆与所述目标物之间的距离,包括:
获取所述双目摄像头与车头外边缘的第一距离;
采用双目测距基本原理,根据所述坐标,计算得到所述双目摄像头与目标物之间的第二距离;
根据所述第一距离和第二距离,获取所述距离。
8.一种车辆与目标物之间距离的测量装置,其特征在于,包括,
筛选模块,用于接收摄像头拍摄的视频,在所述视频中筛选出帧图像;其中,所述摄像头安装于第一车辆上;
识别模块,用于将所述帧图像输入至训练好的PP-YOLO模型中,识别出帧图像中的目标物,获取所述目标物的预测框的坐标;其中,所述目标物为第二车辆和/或飞行器;以及,
求取模块,用于根据所述坐标,求取第一车辆与所述目标物之间的距离。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器上存储有能够被所述处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210101230.1A CN114495041A (zh) | 2022-01-27 | 2022-01-27 | 车辆与目标物之间距离的测量方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210101230.1A CN114495041A (zh) | 2022-01-27 | 2022-01-27 | 车辆与目标物之间距离的测量方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114495041A true CN114495041A (zh) | 2022-05-13 |
Family
ID=81475685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210101230.1A Pending CN114495041A (zh) | 2022-01-27 | 2022-01-27 | 车辆与目标物之间距离的测量方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114495041A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116295356A (zh) * | 2023-03-31 | 2023-06-23 | 国广顺能(上海)能源科技有限公司 | 一种单目检测与测距方法、电子设备和存储介质 |
CN117315028A (zh) * | 2023-10-12 | 2023-12-29 | 北京多维视通技术有限公司 | 室外火场起火点定位方法、装置、设备及介质 |
-
2022
- 2022-01-27 CN CN202210101230.1A patent/CN114495041A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116295356A (zh) * | 2023-03-31 | 2023-06-23 | 国广顺能(上海)能源科技有限公司 | 一种单目检测与测距方法、电子设备和存储介质 |
CN117315028A (zh) * | 2023-10-12 | 2023-12-29 | 北京多维视通技术有限公司 | 室外火场起火点定位方法、装置、设备及介质 |
CN117315028B (zh) * | 2023-10-12 | 2024-04-30 | 北京多维视通技术有限公司 | 室外火场起火点定位方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304835B (zh) | 文字检测方法和装置 | |
CN111222395B (zh) | 目标检测方法、装置与电子设备 | |
US11024037B2 (en) | Foreground-background-aware atrous multiscale network for disparity estimation | |
CN111080645B (zh) | 基于生成式对抗网络的遥感图像半监督语义分割方法 | |
US10762389B2 (en) | Methods and systems of segmentation of a document | |
CN110378278B (zh) | 神经网络的训练方法、对象搜索方法、装置以及电子设备 | |
CN114495041A (zh) | 车辆与目标物之间距离的测量方法、装置、设备及介质 | |
US20210124928A1 (en) | Object tracking methods and apparatuses, electronic devices and storage media | |
CN111950543A (zh) | 一种目标检测方法和装置 | |
CN113313703A (zh) | 基于深度学习图像识别的无人机输电线巡检方法 | |
WO2023124133A1 (zh) | 交通行为检测方法及装置、电子设备、存储介质和计算机程序产品 | |
CN112364843A (zh) | 插拔式航拍图像目标定位检测方法、系统、设备 | |
CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
CN113762003A (zh) | 一种目标对象的检测方法、装置、设备和存储介质 | |
CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN115953434B (zh) | 轨迹匹配方法、装置、电子设备和存储介质 | |
EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
Shi et al. | Anchor Free remote sensing detector based on solving discrete polar coordinate equation | |
CN115937520A (zh) | 基于语义信息引导的点云运动目标分割方法 | |
CN114821596A (zh) | 文本识别方法、装置、电子设备和介质 | |
CN115375742A (zh) | 生成深度图像的方法及系统 | |
CN112380970B (zh) | 基于局部区域搜索的视频目标检测方法 | |
CN115331151A (zh) | 一种视频测速方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |