CN115601437A - 一种基于目标识别的动态会聚型双目立体视觉系统 - Google Patents

一种基于目标识别的动态会聚型双目立体视觉系统 Download PDF

Info

Publication number
CN115601437A
CN115601437A CN202110848197.4A CN202110848197A CN115601437A CN 115601437 A CN115601437 A CN 115601437A CN 202110848197 A CN202110848197 A CN 202110848197A CN 115601437 A CN115601437 A CN 115601437A
Authority
CN
China
Prior art keywords
target
image
steering engine
engine control
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110848197.4A
Other languages
English (en)
Inventor
羊箭锋
谢海成
周怡
严荣慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xinghang Comprehensive Survey Technology Co ltd
Suzhou University
Original Assignee
Suzhou Xinghang Comprehensive Survey Technology Co ltd
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xinghang Comprehensive Survey Technology Co ltd, Suzhou University filed Critical Suzhou Xinghang Comprehensive Survey Technology Co ltd
Priority to CN202110848197.4A priority Critical patent/CN115601437A/zh
Publication of CN115601437A publication Critical patent/CN115601437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明属于目标识别领域，尤其是一种基于目标识别的动态会聚型双目立体视觉系统，针对现有的问题，现提出如下方案，其包括图像、右图像、目标检测、舵机控制和距离测量，左图像和右图像均与目标检测相连接，所述目标检测与舵机控制相连接，所述舵机控制与距离测量相连接，左图像和右图像利用RTSP协议和多线程队列读取实时视频，目标检测采用YOLOV5目标检测算法来进行识别目标和定位。本发明的基于目标识别的动态会聚型双目立体视觉系统可实现目标快速识别和定位，同时有利于简化目标匹配复杂度，相似目标的匹配率高，且便于更准确定位目标位置，计算出真实可靠目标距离。

Description

一种基于目标识别的动态会聚型双目立体视觉系统
技术领域
本发明涉及目标识别技术领域，尤其涉及一种基于目标识别的动态会聚型双目立体视觉系统。
背景技术
双目视觉则一般由两个成像设备从不同的角度同时获取同一场景的两幅图像，并基于视差原理恢复出物体的三维坐标信息，基于双目立体视觉可以开发出三维重构、测距、机械抓取等系统，由于其成本低廉、适应性强、易于实现等优点，适用于各种应用场景，其传统摄像机成像模型一般分为两种，主要包括线性模型和非线性模型，其中小孔成像模型是最简单的、常用且有效的线性模型，它描述的是一种理想状态下的摄像机成像模型，如附图1所示，实际中的非线性成像模型要考虑的因素很多，如摄像机镜头上存在透镜，以及摄像机的构造、工艺等原因，摄像机成像的过程中会存在畸变，还有光线的传播受摄像机结构影响，目标的实际成像位置较理想成像位置发生偏移，实际相机模型如附图2所示，传统的双目立体视觉模型为光轴平行模型如附图3所示；
目前的传统双目视觉技术中一般是将两个摄像头置于固定位置并且保持相对位置不变，其测距的过程如下：
分别在左右画面中进行特征检测和特征提取；
匹配两个画面中相似的图像特征；
根据视差解算像素点在三维世界中的坐标，完成测距；
传统的双目视觉测距系统存在以下问题：
对整幅中所有的像素进行特征计算与匹配，消耗大量的计算资源，时间复杂度较高；
当存在多个相同目标时，无法通过特征匹配的方式解决左右画面中目标匹配的问题；
由于相机的镜头由多个透镜组成，导致图像的边缘区域发生畸变，当目标处于边缘区域时，其特征发生显著变化，将导致左右图像特征匹配失败，并且存在定位误差；
针对以上问题，本申请提出了一种基于目标识别的动态会聚型双目立体视觉模型，通过模仿人类的左右眼的视觉习惯，解决快速目标识别、相似目标匹配、抗畸变的问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于目标识别的动态会聚型双目立体视觉系统。
为了实现上述目的，本发明采用了如下技术方案：
一种基于目标识别的动态会聚型双目立体视觉系统，包括左图像、右图像、目标检测、舵机控制和距离测量，左图像和右图像均与目标检测相连接，所述目标检测与舵机控制相连接，所述舵机控制与距离测量相连接。
具体的，所述左图像和右图像利用RTSP协议和多线程队列读取实时视频。
具体的，所述目标检测采用YOLOV5目标检测算法来进行识别目标和定位，解决快速目标识别的问题。
具体的，所述舵机控制通过转动实现两个摄像机光轴会聚于目标物体的目的，解决摄像机成像过程中目标畸变、定位误差的问题。
具体的，所述距离测量根据视觉重叠性原理，通过欧式距离来实现目标匹配，解决图像特征匹配准确率低的问题。
与现有技术相比，本发明的有益效果在于：
(1)本发明的一种基于目标识别的动态会聚型双目立体视觉系统，通过YOLOV5目标识别算法对双目视觉中的左右相机图像进行目标识别，实现目标快速识别和定位，同时有利于简化目标匹配复杂度。
(2)本发明的一种基于目标识别的动态会聚型双目立体视觉系统，通过空间位置匹配方式代替特征的匹配方式，解决相似目标的匹配率低的问题。
(3)本发明的一种基于目标识别的动态会聚型双目立体视觉系统，设计会聚型双目视觉结构，通过转动左右摄像机的角度，使得目标分别呈现在左右画面中的中央位置，消除畸变影响，便于更准确定位目标位置，计算出真实可靠目标距离。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整。
图1为现有技术中小孔成像模型的示意图；
图2为现有技术中实际相机模型的示意图；
图3为现有技术中双目光轴平行模型示意图；
图4为本发明提出的一种基于目标识别的动态会聚型双目立体视觉系统的原理框图；
图5为本发明提出的双目视觉左右重叠图；
图6为本发明提出的两个目标的两种匹配方式示意图；
图7为本发明提出的摄像头转动效果示意图；
图8为本发明提出的实际摄像头转动平面示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图4-8，一种基于目标识别的动态会聚型双目立体视觉系统，包括左图像、右图像、目标检测、舵机控制和距离测量，左图像和右图像均与目标检测相连接，所述目标检测与舵机控制相连接，所述舵机控制与距离测量相连接；
其中左图像和右图像利用RTSP协议和多线程队列读取实时视频；
目标检测采用YOLOV5目标检测算法来进行识别目标和定位，解决快速目标识别的问题，OLOV5相比YOLOV3和YOLOV4具有更快目标检测速度，占用更小的内存空间和更高的准确率，本申请将双目摄像头获得的图像通过YOLOV5进行目标识别处理，并以图像右上角为二维坐标原点，以水平轴为x轴，以垂直轴为y轴，以像素为单位建立图像坐标系，通过YOLOV5目标识别算法可以得到双目视觉系统中左右图像中目标类型和位置等数据，通过目标识别技术可以实现目标快速识别和定位，简化后期双目画面中的目标匹配复杂度；
舵机控制通过转动实现两个摄像机光轴会聚于目标物体的目的，解决摄像机成像过程中目标畸变、定位误差的问题，本申请为避免特征匹配效率低以及无法解决相似目标匹配等缺点，根据人类双目视觉目标匹配习惯，提出基于空间位置的目标匹配机制，如图5所示，双目视觉的左右图像时具有显著的叠加特性，在真实世界中两个相同的红色方块目标，在双目视觉的左右画面中均呈现，本申请通过目标识别在左右两个画面中进行目标识别和定位，并标注A1、A2；
距离测量根据视觉重叠性原理，通过欧式距离来实现目标匹配，解决图像特征匹配准确率低的问题，为避免目标图像特征匹配率低的问题，本申请采用欧氏距离判定的方式，实现左右图像中多个相似目标的匹配，如图5所示，由于左右两幅图像的分辨率是相同的，且具有重叠性，本文将两幅图像重叠，将四个目标矩形框放在同一个图像坐标系中去考虑，如将右图的目标框映射到左图的画面中相同位置，并标注为A1’和A2’，图6表示的是两组目标可能的匹配方式，其中一种是A1对应A1’，A2对应A2’，另一种是A1对应A2’，A2对应A1’，且当目标都位于同一个坐标系中之后，就可以直接计算相对应的两个矩形框中心坐标之间的欧式距离，在本场景中分别计算出两种情况的欧氏距离后进行比较，欧氏距离比较小的就是最佳匹配，如A1对应A1’，A2对应A2’是欧式距离最短的选择，即最佳的匹配。
本实施例中，摄像机拍摄的图像边缘区域中是存在畸变的，且中央位置是几乎不存在畸变的，为了准确标定左右画面中同一目标的中心位置，本申请通过转动摄像头将目标物体成像移至图像中央的方法来消除畸变的影响，舵机转动效果图如图7所示，实线为相机初始位置，虚线为舵机控制并锁定目标的位置。
本实施例中，舵机的控制转轴旋转使目标物体成像位置在图像的中心，通过舵机控制，使得目标物体和两个舵机的转轴中心三点构成了一个三角形，如图8所示，且根据解三角形原理，由公式
Figure BDA0003181483330000061
可知，
Figure BDA0003181483330000062
而两个舵机转轴中心的距离b是已知的，两个舵机的角度α和β可以即为摄像机转动角度，已知三角形的三个条件可以通过解三角形的方法求得距离。
根据以下式子：
Figure BDA0003181483330000063
可以求得目标物体到左舵机转轴中心的距离d＝a*sin(α)。
本发明相对现有技术获得的技术进步是：本发明实现了一种基于目标识别的动态会聚型双目立体视觉系统，通过YOLOV5目标识别算法、欧式距离匹配、动态目标会聚等方法，解决快速目标识别、相似目标匹配、抗畸变等问题，实现了准确的目标识别、定位、测距等功能，特别是在存在多个相似目标的情况下，传统的双目视觉测距系统容易混淆目标，导致错误匹配无法实现目标测距功能，但本系统目标匹配和测距准确率达到了92.4％的准确率，远远超过了传统的双目视觉测距系统。

Claims (5)

1.一种基于目标识别的动态会聚型双目立体视觉系统，其特征在于，包括左图像、右图像、目标检测、舵机控制和距离测量，左图像和右图像均与目标检测相连接，所述目标检测与舵机控制相连接，所述舵机控制与距离测量相连接。
2.根据权利要求1所述的一种基于目标识别的动态会聚型双目立体视觉系统，其特征在于，所述左图像和右图像利用RTSP协议和多线程队列读取实时视频。
3.根据权利要求1所述的一种基于目标识别的动态会聚型双目立体视觉系统，其特征在于，所述目标检测采用YOLOV5目标检测算法来进行识别目标和定位，解决快速目标识别的问题。
4.根据权利要求1所述的一种基于目标识别的动态会聚型双目立体视觉系统，其特征在于，所述舵机控制通过转动实现两个摄像机光轴会聚于目标物体的目的，解决摄像机成像过程中目标畸变、定位误差的问题。
5.根据权利要求1所述的一种基于目标识别的动态会聚型双目立体视觉系统，其特征在于，所述距离测量根据视觉重叠性原理，通过欧式距离来实现目标匹配，解决图像特征匹配准确率低的问题。
CN202110848197.4A 2021-07-27 2021-07-27 一种基于目标识别的动态会聚型双目立体视觉系统 Pending CN115601437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848197.4A CN115601437A (zh) 2021-07-27 2021-07-27 一种基于目标识别的动态会聚型双目立体视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848197.4A CN115601437A (zh) 2021-07-27 2021-07-27 一种基于目标识别的动态会聚型双目立体视觉系统

Publications (1)

Publication Number Publication Date
CN115601437A true CN115601437A (zh) 2023-01-13

Family

ID=84841742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848197.4A Pending CN115601437A (zh) 2021-07-27 2021-07-27 一种基于目标识别的动态会聚型双目立体视觉系统

Country Status (1)

Country Link
CN (1) CN115601437A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740334A (zh) * 2023-06-23 2023-09-12 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法
CN117268404A (zh) * 2023-11-22 2023-12-22 盐城云际智能科技有限公司 一种利用多传感器融合的无人机室内外自主导航方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740334A (zh) * 2023-06-23 2023-09-12 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法
CN116740334B (zh) * 2023-06-23 2024-02-06 河北大学 一种基于双目视觉和改进yolo的无人机入侵检测定位方法
CN117268404A (zh) * 2023-11-22 2023-12-22 盐城云际智能科技有限公司 一种利用多传感器融合的无人机室内外自主导航方法
CN117268404B (zh) * 2023-11-22 2024-02-06 盐城云际智能科技有限公司 一种利用多传感器融合的无人机室内外自主导航方法

Similar Documents

Publication Publication Date Title
CN104835117B (zh) 基于重叠方式的球面全景图生成方法
CN105118055B (zh) 摄影机定位修正标定方法及系统
CN109348119B (zh) 一种全景监控系统
US10084962B2 (en) Spherical video stabilization based on accelerometer data
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN110782394A (zh) 全景视频快速拼接方法及系统
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
CN104506761B (zh) 一种360度全景立体摄像机
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
CN107154014A (zh) 一种实时彩色及深度全景图像拼接方法
CN107358577B (zh) 一种立方体全景图的快速拼接方法
CN115601437A (zh) 一种基于目标识别的动态会聚型双目立体视觉系统
CN206460516U (zh) 一种多路鱼眼相机双目标定装置
CN206563985U (zh) 三维成像系统
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN206460515U (zh) 一种基于立体标定靶的多路鱼眼相机标定装置
CN106127115B (zh) 一种基于全景和常规视觉的混合视觉目标定位方法
CN103295231A (zh) 一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
Popovic et al. Real-time implementation of Gaussian image blending in a spherical light field camera
CN102692806A (zh) 自由视点四维空间视频序列的采集与形成方法
CN111064945B (zh) 一种裸眼3d图像采集及生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination