CN112200856A - 一种基于事件相机的视觉测距方法 - Google Patents

一种基于事件相机的视觉测距方法 Download PDF

Info

Publication number
CN112200856A
CN112200856A CN202011108189.8A CN202011108189A CN112200856A CN 112200856 A CN112200856 A CN 112200856A CN 202011108189 A CN202011108189 A CN 202011108189A CN 112200856 A CN112200856 A CN 112200856A
Authority
CN
China
Prior art keywords
target
camera
image
event camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011108189.8A
Other languages
English (en)
Inventor
赵江
曾逸文
蔡志浩
王英勋
陈文军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011108189.8A priority Critical patent/CN112200856A/zh
Publication of CN112200856A publication Critical patent/CN112200856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于事件相机的视觉测距方法，包括以下步骤：S1：使用tiny yolov3算法进行目标检测，得到目标的类别以及在图像上的位置；S2：通过Kernel Correlation Filter(KCF)算法对检测到的目标进行目标跟踪；S3：利用相似三角形算法计算目标与相机间的距离。该方法能够具有很高的精度，使用基于深度学习的目标检测算法，能够提高检测的精度，进而提升测距精度。

Description

一种基于事件相机的视觉测距方法
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于事件相机的视觉测距方法。
背景技术
视觉测距是利用相机获取的图像信息计算目标和相机之间的距离。视觉测距可以应用于很多领域，比如自动驾驶车辆的防撞系统可以利用视觉测距测量行人和车的距离、工厂机械手臂可以用视觉测距来计算需要抓取的目标和机械手臂的而距离、无人机可以利用视觉测距来测量要打击的目标和自身的距离。
当前的视觉测距使用双目相机或者RGBD相机来获取目标的距离信息，这些方法计算量较大，实时性较差，且传感器的成本更高。
发明内容
为了解决现有的视觉测距方法计算量大、实时性差、传感器成本高的问题，本发明提出了一种基于事件相机的视觉测距方法，具体包括以下步骤：
S1：使用tiny yolov3算法进行目标检测，得到目标的类别以及在图像上的位置；
S2：通过Kernel Correlation Filter(KCF)算法对检测到的目标进行目标跟踪；
S3：利用相似三角形算法计算目标与相机间的距离。
进一步地，所述步骤S1包括以下步骤：
S11:制作数据集；
采集目标的图片，标出目标的类别以及在图像中的位置，然后将标记好的图片分为3类，分别为训练集、测试集和验证集。训练集和验证集分别占整个数据集的25％，测试集占50％；
S12:训练神经网络；
利用制作好的数据集对神经网络进行训练，训练得到神经网络的权重文件；
S13:进行目标检测；
载入权重文件，打开事件相机，对相机拍摄到的画面进行目标检测，得到目标的类别以及在图像坐标系中的位置。
进一步地，所述步骤S2包括以下步骤：
S21:首先初始化目标，由目标状态，采集图像块样本，选取形状HOG特征进行特征提取表达。
S22:把检测到目标的第一帧图像作为基础样本，把基础样本经过循环移位构造出大量的训练样本，用这些训练样本训练岭回归分类器，得到滤波器模型；
S23:在检测环节，将输入的图像块样本和滤波器模型进行核相关处理，计算样本的响应值，滤波器响应最大的位置就是最佳的跟踪目标位置；
S24:检测出最佳跟踪目标位置后，由式
Figure BDA0002727672190000021
和式
Figure BDA0002727672190000022
更新跟踪目标的模板模型。
其中，η是学习因子，
Figure BDA0002727672190000023
和
Figure BDA0002727672190000024
是上一图像序列帧和当前图像帧的目标模型，
Figure BDA0002727672190000025
和
Figure BDA0002727672190000026
为其对应的系数；
S25:模型更新后，跟踪器在下一帧图像序列中继续寻找目标的最佳位置，回到步骤S23，重复检测与更新环节，直到程序停止运行。
进一步地，所述步骤S3包括以下步骤：
S31:相机标定；
对事件相机进行标定，得到相机的内参，并测量目标实际的高度；
S32：计算目标在像素坐标系下的高度；
由S2得到跟踪目标的位置，根据跟踪目标的四个顶点的位置计算目标在像素坐标系下的高度；
S33:求解距离；
根据目标实际的高度，目标在像素坐标系下的高度，以及事件相机的焦距计算目标的距离，计算的公式如下：
Figure BDA0002727672190000031
其中d为目标和事件相机之间的距离，w是目标实际的高度，f是相机的焦距，p是目标在像素坐标系下的高度；
目标在x和y方向的偏移量dx和dy的计算公式如下：
dx＝(d×px)/f
dy＝(d×py)/f
其中dx和dy为目标在x和y方向的偏移量；px和py分别为目标中心在像素坐标系下在x方向和y方向偏离像素中心的大小。
与现有技术相比，本发明具有以下有益效果：
1.本发明的基于事件相机的视觉测距方法具有很高的精度，使用基于深度学习的目标检测算法，能够提高检测的精度，进而提升测距精度。
2.本发明的基于事件相机的视觉测距方法具有良好的实时性，在目标检测之后加入运算非常快的kcf跟踪算法，可以在计算资源有限的条件下也能够实现实时的框出目标的位置。
附图说明
图1是本发明基于事件相机的视觉测距方法的示意图；
图2是目标与相机距离实际为10m时的测距效果，测量距离为10.0722m；
图3是目标与相机距离实际为20m时的测距效果，测量距离为20.1445m。
具体实施方式
下面结合附图对本发明的具体实施方法进行详细说明。
一种基于事件相机的视觉测距方法，具体包括以下步骤：
S1：使用tiny yolov3算法进行目标检测，得到目标的类别以及在图像上的位置,具体方法如下：
S11:制作数据集；
采集目标的图片，这里的目标为行人，标出目标的类别以及在图像中的位置，然后将标记好的图片分为3类，分别为训练集、测试集和验证集。训练集和验证集分别占整个数据集的25％，测试集占50％；
S12:训练神经网络；
利用制作好的数据集对神经网络进行训练，训练得到神经网络的权重文件；
S13:进行目标检测；
载入权重文件，打开事件相机，对相机拍摄到的画面进行目标检测，得到目标的类别以及在图像坐标系中的位置。
S2：通过Kernel Correlation Filter(KCF)算法对检测到的目标进行目标跟踪，具体方法如下：
S21:首先初始化目标，由目标状态，采集图像块样本，选取形状HOG特征进行特征提取表达。
S22:把检测到目标的第一帧图像作为基础样本，把基础样本经过循环移位构造出大量的训练样本，用这些训练样本训练岭回归分类器，得到滤波器模型；
S23:在检测环节，将输入的图像块样本和滤波器模型进行核相关处理，计算样本的响应值，滤波器响应最大的位置就是最佳的跟踪目标位置；
S24:检测出最佳跟踪目标位置后，由式
Figure BDA0002727672190000041
和式
Figure BDA0002727672190000042
更新跟踪目标的模板模型。
其中，η是学习因子，
Figure BDA0002727672190000043
和
Figure BDA0002727672190000044
是上一图像序列帧和当前图像帧的目标模型，
Figure BDA0002727672190000045
和
Figure BDA0002727672190000046
为其对应的系数；
S25:模型更新后，跟踪器在下一帧图像序列中继续寻找目标的最佳位置，回到步骤S23，重复检测与更新环节，直到程序停止运行。
S3：利用相似三角形算法计算目标与相机间的距离，具体方法如下：
S31:相机标定；
对事件相机进行标定，得到相机的内参，并测量目标实际的高度；
S32：计算目标在像素坐标系下的高度；
由S2得到跟踪目标的位置，根据跟踪目标的四个顶点的位置计算目标在像素坐标系下的高度；
S33:求解距离；
在图2和图3的情形中，事件相机和行人的实际距离分别为10m和20m。根据行人实际的高度，行人在像素坐标系下的高度，以及事件相机的焦距计算事件相机和行人的距离，如图2所示，当事件相机和行人实际距离为10m时，测量的距离为10.0722m。如图3所示，当事件相机和行人实际距离为20m时，测量的距离为20.1445m。距离计算的公式如下：
Figure BDA0002727672190000051
其中d为行人和事件相机之间的距离，w是行人实际的高度，f是相机的焦距，p是行人在像素坐标系下的高度；
行人在x和y方向的偏移量dx和dy的计算公式如下：
dx＝(d×px)/f
dy＝(d×py)/f
其中dx和dy为行人在x和y方向的偏移量；px和py分别为行人中心在像素坐标系下在x方向和y方向偏离像素中心的大小。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (4)

1.一种基于事件相机的视觉测距方法，具体包括以下步骤：
S1：使用tiny yolov3算法进行目标检测，得到目标的类别以及在图像上的位置；
S2：通过Kernel Correlation Filter(KCF)算法对检测到的目标进行目标跟踪；
S3：利用相似三角形算法计算目标与相机间的距离。
2.根据权利要求1所述的基于事件相机的视觉测距方法，其特征在于，
所述步骤S1包括以下步骤：
S11:制作数据集；
采集目标的图片，标出目标的类别以及在图像中的位置，然后将标记好的图片分为3类，分别为训练集、测试集和验证集，训练集和验证集分别占整个数据集的25％，测试集占50％；
S12:训练神经网络；
利用制作好的数据集对神经网络进行训练，训练得到神经网络的权重文件；
S13:进行目标检测；
载入权重文件，打开事件相机，对相机拍摄到的画面进行目标检测，得到目标的类别以及在图像坐标系中的位置。
3.根据权利要求1所述的基于事件相机的视觉测距方法，其特征在于，
所述步骤S2包括以下步骤：
S21:首先初始化目标，由目标状态，采集图像块样本，选取形状HOG特征进行特征提取表达；
S22:把检测到目标的第一帧图像作为基础样本，把基础样本经过循环移位构造出大量的训练样本，用这些训练样本训练岭回归分类器，得到滤波器模型；
S23:在检测环节，将输入的图像块样本和滤波器模型进行核相关处理，计算样本的响应值，滤波器响应最大的位置就是最佳的跟踪目标位置；
S24:检测出最佳跟踪目标位置后，由式
Figure FDA0002727672180000011
和式
Figure FDA0002727672180000012
更新跟踪目标的模板模型；
其中，η是学习因子，
Figure FDA0002727672180000013
和
Figure FDA0002727672180000014
是上一图像序列帧和当前图像帧的目标模型，
Figure FDA0002727672180000021
和
Figure FDA0002727672180000022
为其对应的系数；
S25:模型更新后，跟踪器在下一帧图像序列中继续寻找目标的最佳位置，回到步骤S23，重复检测与更新环节，直到程序停止运行。
4.根据权利要求1所述的基于事件相机的视觉测距方法，其特征在于，
所述步骤S3包括以下步骤：
S31:相机标定；
对事件相机进行标定，得到相机的内参，并测量目标实际的高度；
S32：计算目标在像素坐标系下的高度；
由S2得到跟踪目标的位置，根据跟踪目标的四个顶点的位置计算目标在像素坐标系下的高度；
S33:求解距离；
根据目标实际的高度，目标在像素坐标系下的高度，以及事件相机的焦距计算目标的距离，计算的公式如下：
Figure FDA0002727672180000023
其中d为目标和事件相机之间的距离，w是目标实际的高度，f是相机的焦距，p是目标在像素坐标系下的高度；
目标在x和y方向的偏移量dx和dy的计算公式如下：
dx＝(d×px)/f
dy＝(d×py)/f
其中dx和dy为目标在x和y方向的偏移量；px和py分别为目标中心在像素坐标系下在x方向和y方向偏离像素中心的大小。
CN202011108189.8A 2020-10-16 2020-10-16 一种基于事件相机的视觉测距方法 Pending CN112200856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011108189.8A CN112200856A (zh) 2020-10-16 2020-10-16 一种基于事件相机的视觉测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011108189.8A CN112200856A (zh) 2020-10-16 2020-10-16 一种基于事件相机的视觉测距方法

Publications (1)

Publication Number Publication Date
CN112200856A true CN112200856A (zh) 2021-01-08

Family

ID=74009187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011108189.8A Pending CN112200856A (zh) 2020-10-16 2020-10-16 一种基于事件相机的视觉测距方法

Country Status (1)

Country Link
CN (1) CN112200856A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109613934A (zh) * 2019-01-09 2019-04-12 天津大学 一种无人机捕捉黑飞无人机的方法
CN110702111A (zh) * 2018-07-09 2020-01-17 三星电子株式会社 使用双事件相机的同时定位与地图创建（slam）
CN111417983A (zh) * 2017-11-14 2020-07-14 苹果公司 基于事件相机的可变形对象跟踪
US20200249017A1 (en) * 2019-02-05 2020-08-06 Leica Geosystems Ag Surveying apparatus comprising event-based camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111417983A (zh) * 2017-11-14 2020-07-14 苹果公司 基于事件相机的可变形对象跟踪
CN110702111A (zh) * 2018-07-09 2020-01-17 三星电子株式会社 使用双事件相机的同时定位与地图创建（slam）
CN109613934A (zh) * 2019-01-09 2019-04-12 天津大学 一种无人机捕捉黑飞无人机的方法
US20200249017A1 (en) * 2019-02-05 2020-08-06 Leica Geosystems Ag Surveying apparatus comprising event-based camera
CN111521161A (zh) * 2019-02-05 2020-08-11 莱卡地球系统公开股份有限公司 包括事件相机的勘测装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B. RAMESH 等: "Boosted Kernelized Correlation Filters for Event-based Face Detection", 《2020 IEEE WINTER APPLICATIONS OF COMPUTER VISION WORKSHOPS (WACVW)》 *
ZHUANGYI JIANG 等: "Mixed Frame-/Event-Driven Fast Pedestrian Detection", 《2019 INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
刘军 等: "基于增强Tiny YOLOV3算法的车辆实时检测与跟踪", 《农业工程学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法

Similar Documents

Publication Publication Date Title
US11823429B2 (en) Method, system and device for difference automatic calibration in cross modal target detection
CN108564065B (zh) 一种基于ssd的电缆隧道明火识别方法
CN111476827B (zh) 目标跟踪方法、系统、电子装置及存储介质
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN102788572B (zh) 一种工程机械吊钩姿态的测量方法、装置及系统
CN105335955A (zh) 对象检测方法和对象检测装置
CN105654507A (zh) 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN114089330B (zh) 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN111582270A (zh) 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法
CN113284120B (zh) 限高高度测量方法及装置
CN112200856A (zh) 一种基于事件相机的视觉测距方法
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN113947714A (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN109063543B (zh) 一种考虑局部形变的视频车辆重识别方法、系统及装置
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN115375774A (zh) 确定相机外参的方法、装置、设备及存储介质
CN113673105A (zh) 真值对比策略的设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108