CN116402871B - 一种基于场景平行要素的单目测距方法、系统及电子设备 - Google Patents
一种基于场景平行要素的单目测距方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116402871B CN116402871B CN202310314574.5A CN202310314574A CN116402871B CN 116402871 B CN116402871 B CN 116402871B CN 202310314574 A CN202310314574 A CN 202310314574A CN 116402871 B CN116402871 B CN 116402871B
- Authority
- CN
- China
- Prior art keywords
- line segment
- point
- scene
- depth
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000003708 edge detection Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 6
- 206010034701 Peroneal nerve palsy Diseases 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于场景平行要素的单目测距方法、系统及电子设备，方法包括：步骤S1：获取具有场景平行要素的场地的初始图像；步骤S2：对所述初始图像进行预处理；步骤S3：对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；步骤S4：根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；步骤S5：分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度。本发明的目标测距方法的计算成本较低且准确性较高。
Description
技术领域
本发明涉及目标测距技术领域，尤其是指一种基于场景平行要素的单目测距方法、系统及电子设备。
背景技术
在自动驾驶等前沿领域中，目标测距功能作为重要的研究内容，可以通过距离分析来判断障碍物的危险等级。随着计算机视觉技术的发展，图像深度估计的应用潜力巨大，其中单目测距方法由于处理过程简单、硬件成本低等优势，被广泛使用。
传统单目测距方法通常是通过图像匹配准确地识别目标，然后通过图像中所识别目标的显示大小来估计距离。由于相机成像会导致空间信息的丢失，因此需要提前知道物体的实际大小，以补充信息维度。
目前，单目测距相关技术主要聚焦于实际目标，结合了目标检测、跟踪、投影视角等方法。Huang等人将YOLOV3算法结合起来，通过多次改进边界框和筛选子图像来获得行人检测帧。该算法建立了俯仰角和偏航角的数学模型，充分考虑了相机姿态角对测量精度的影响，安装要求低，实用性强。Xu等人使用卡尔曼滤波来跟踪和识别车辆，并基于相似三角形理论和投影模型获得被跟踪车辆的距离，这可以降低错误检测率和漏检率。Chen等人设计了一种基于投影宽度的AGV车辆测距算法。该算法不需要复杂的数学推导模型，并且避免了俯仰角的影响。Shen等人训练了用于车辆检测和测距的端到端卷积神经网络框架，以减少由复杂驾驶环境(如照明不足和遮挡)引起的测距误差。
目前比较常用的目标测距多基于雷达、超声波等传感器，但这些方法造价高、易受干扰，且不易与摄像机图像进行目标融合。在视觉测距中，双目测距方法取决于不同视角的配准效果，因此不同光照的影响会直接降低测距的准确性，同时其计算成本高，不利于在实时系统中的应用。而传统单目测距方法需要特定样本数据库的支撑，无法判断非标准障碍物，且对目标识别效果敏感，准确度相对较低。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中目标测距的计算成本过高且准确性较低的问题。
为解决上述技术问题，本发明提供了一种基于场景平行要素的单目测距方法，包括：
步骤S1：获取具有场景平行要素的场地的初始图像；
步骤S2：对所述初始图像进行预处理；
步骤S3：对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
步骤S4：根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
步骤S5：分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度。
在本发明的一个实施例中，所述步骤S2的方法为：对所述初始图像进行灰度化处理，得到灰度图像，再基于全局直方图均衡化方法对所述灰度图像进行均衡化处理。
在本发明的一个实施例中，所述步骤S2的方法为：对所述初始图像进行灰度化处理，得到灰度图像，再基于全局直方图均衡化方法对所述灰度图像进行均衡化处理。
在本发明的一个实施例中，所述步骤S5中分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度，方法包括：
在所述第一线段上标注两个关键点P1和P3，得到线段l13，在所述第二线段上标注两个关键点P2和P4，得到线段l24；
根据所述第一线段和第二线段具有平行关系，构建所述线段l13和线段l24的第一方程组；
以所述线段l24上的关键点P2为基准，向所述线段l13作垂线，得到垂足P0，构建所述垂足P0的坐标p0及像素坐标的第二方程组；
构建所述关键点P2到线段l13距离的第三方程组；
根据相机成像原理构建关于焦距fx的第四方程组；
根据所述第一方程组、第二方程组、第三方程组和第四方程组计算所述关键点P1、P2、P3和P4各自对应的深度。
在本发明的一个实施例中，所述第一方程组为：
l13＝λl24
其中，l13＝z3α3-z1α1，l24＝z4α4-z2α2，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，λ表示非零实数。
在本发明的一个实施例中，所述第二方程组为：
p0＝p1+tl13＝z1α1+t(z3α3-z1α1)
其中，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，t表示线段l10在线段l13上的占比系数且垂足P0的深度z0＝z1+t(z3-z1)，/>表示垂足P0的像素坐标，K表示相机内参。
在本发明的一个实施例中，所述第三方程组为：
其中，dis表示点P2到线段l13距离，l12表示关键点P1到P2的距离，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度。
在本发明的一个实施例中，所述第四方程组为：
其中，fx表示相机焦距，z表示l02上的点到相机的近似深度值，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，表示垂足P0的像素坐标，/>表示点P2的像素坐标，dis表示点P2到线段l13距离，K表示相机内参，t表示线段l10在线段l13上的占比系数且/>
为解决上述技术问题，本发明提供了一种基于场景平行要素的单目测距系统，包括：
获取模块：用于获取具有场景平行要素的场地的初始图像；
预处理模块：用于对所述初始图像进行预处理；
检测模块：用于对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
划分模块：用于根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
求解模块：用于分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度。
为解决上述技术问题，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于场景平行要素的单目测距方法的步骤。
为解决上述技术问题，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述基于场景平行要素的单目测距方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明针对单目测距需要依靠目标识别的先验约束问题，提出一种基于场景平行要素的单目测距方法，该方法通过已知间距的平行线关系，可以在检测对象大小未知的情况下，实现2D图像平行线上任一点的测距，以准确地估计场景中其他未知对象的深度信息，并且该方法主要涉及空间关系方程组的建立与推导，实际计算成本低，且在任何具有平行关系的场景中均适用，具有较好的实时性和可拓展性；
本发明的目标测距方法的计算成本较低且准确性较高，易于在实际中推广，例如轨道交通等场景中。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的方法流程图；
图2是本发明实施例中对灰度图像进行全局直方图均衡化方法前后的对比示意图；
图3是本发明实施例中边缘检测结果示意图；
图4(a)是本发明实施例中选取感兴趣区域示意图；
图4(b)是本发明实施例中对感兴趣区域内的边缘线采用形态学操作的结果示意图；
图5是本发明实施例中在两条平行线段中选取关键点示意图；
图6是本发明实施例中针对具体目标在两条平行线段中选取关键点示意图；
图7是本发明实施例中实际检测结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明涉及一种基于场景平行要素的单目测距方法，包括：
步骤S1：获取具有场景平行要素的场地的初始图像；
步骤S2：对所述初始图像进行预处理；
步骤S3：对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
步骤S4：根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
步骤S5：分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度。
本发明针对单目测距需要依靠目标识别的先验约束问题，提出一种基于场景平行关系的单目测距方法，该方法通过已知间距的平行线关系，可以在检测对象大小未知的情况下，实现2D图像平行线上任一点的测距，以准确地估计场景中其他未知对象的深度信息，并且该方法主要涉及空间关系方程组的建立与推导，实际计算成本低，且在任何具有平行关系的场景中均适用，具有较好的实时性和可拓展性。
以下对本实施例进行详细介绍：
步骤S1：本实施例以轨道交通为研究对象，可以将铁轨作为场景平行要素，通过摄像机抓取视频流，获得初始图像V；
步骤S2：对初始图像V进行灰度化处理，再基于全局直方图均衡化方法改善灰度图G的显示效果，结果如图2所示，(a)为均衡化前的图像，(b)为均衡化后的图像；
步骤S3：利用Sobel算子对灰度图G进行边缘检测，提取出图像中轨道线的基本轮廓，对噪声具有一定平滑作用，结果如图3所示；
步骤S4：根据轨行区分布划分梯形的感兴趣区域(ROI)，详见图4(a)，并对感兴趣区域内的边缘线采用形态学膨胀连接和腐蚀细化，在图像中得到2条轨道线的连续线段，结果如图4(b)所示；
步骤S5：在图像中2条轨道线段上各取2个关键点，共计4个关键点，如图5所示(图5(a)表示关键点选取侧视图，图5(b)表示关键点选取俯视图)，使其满足相机坐标系原点到关键点的直线不垂直于平行轨道。通过相机内参、空间关系、轨间距及成像原理信息，建立联立方程组，求解关键点对应的深度；
具体地，步骤S5在相机坐标系下的平行关系示意图如图5所示，根据像素坐标系与相机坐标系转换公式，可以定义任一点Pi存在αi＝pi/zi。其中，pi和zi分别表示Pi在相机坐标系中的坐标和深度，前者pi为3×1向量，后者zi包含在pi中且为标量(即pi包含zi)，是未知量。整体求解过程包括：
步骤5-1：用相机拍摄多组棋盘格图像，通过张正友标定法求出相机内参K；
步骤5-2：根据向量平行条件可知，平行向量存在唯一非零实数λ使得l13＝λl24，即：
z3α3-z1α1＝λ(z4α4-z2α2) (1)
上式表示3×1的向量相等，因此式中包含3个独立的约束关系。
步骤5-3：过点P2向直线l13上作垂线，记垂足为P0，在相机坐标系下，定义t为P1P0在P1P3上的占比系数(即线段l10在线段l13上的占比系数)，可将垂足P0的坐标p0表示为：
p0＝p1+tl13＝z1α1+t(z3α3-z1α1) (2)
其中，t可利用l13和l12之间的余弦定理进行表示，得到：
进一步地，P0的深度z0＝z1+t(z3-z1)。可知垂足P0的像素坐标有：
步骤5-4：通过点到三维直线的距离公式，计算点P2到直线l13距离为：
步骤5-5：根据相机成像原理可知，x定义为物体在图像中的像素宽度；w为物体的实际宽度，则焦距fx满足：
其中，z表示l02上的点到相机的近似深度值。
步骤5-6：上述公式(2)(3)(4)目的是推出公式(6)，然后联立上述公式(1)、(3)、(5)、(6)，其中已知的有相机内参K、焦距fx、轨间距dis，根据4关键点像素坐标可反推α1,α2,α3,α4。最终，方程组z1,z2,z3,z4有和λ共5个未知数，5个约束条件，可以求解关键点对应的深度。
请参阅图6，针对具体目标(该目标位于两条平行线之间)，沿目标底部作水平线，将水平线与左轨道线的交点设为P1，其他3点按照上述步骤进行选取，便可以估算出目标距离相机的深度z1。
实验结果具体如下：
为了测试本发明测距结果的准确性，本实施例将其计算得到的关键点深度与真实距离进行对比，获得各点的测距精确度，并求平均得到当前图像的平均精确度。选取多帧不同轨道场景，经过多次实验结果表明，本实施例估算出的深度平均精确度达到98.10％，实验结果如图7所示。
实施例二
本实施例提供一种基于场景平行要素的单目测距系统，包括：
获取模块：用于获取具有场景平行要素的场地的初始图像；
预处理模块：用于对所述初始图像进行预处理；
检测模块：用于对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
划分模块：用于根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
求解模块：用于分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度。
实施例三
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述基于场景平行要素的单目测距方法的步骤。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述基于场景平行要素的单目测距方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (5)
1.一种基于场景平行要素的单目测距方法，其特征在于：包括：
步骤S1：获取具有场景平行要素的场地的初始图像；
步骤S2：对所述初始图像进行预处理；
步骤S3：对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
步骤S4：根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
步骤S5：分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度；
所述步骤S5中分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度，方法包括：
在所述第一线段上标注两个关键点P1和P3，得到线段l13，在所述第二线段上标注两个关键点P2和P4，得到线段l24；
根据所述第一线段和第二线段具有平行关系，构建所述线段l13和线段l24的第一方程组；
以所述线段l24上的关键点P2为基准，向所述线段l13作垂线，得到垂足P0，构建所述垂足P0的坐标p0及像素坐标的第二方程组；
构建所述关键点P2到线段l13距离的第三方程组；
根据相机成像原理构建关于焦距fx的第四方程组；
根据所述第一方程组、第二方程组、第三方程组和第四方程组计算所述关键点P1、P2、P3和P4各自对应的深度；
所述第一方程组为：
l13＝λl24
其中，l13＝z3α3-z1α1，l24＝z4α4-z2α2，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，λ表示非零实数；
所述第二方程组为：
p0＝p1+tl13＝z1α1+t(z3α3-z1α1)
其中，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，t表示线段l10在线段l13上的占比系数且垂足P0的深度z0＝z1+t(z3-z1)，/>表示垂足P0的像素坐标，K表示相机内参；
所述第三方程组为：
其中，dis表示点P2到线段l13距离，l12表示关键点P1到P2的距离，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度；
所述第四方程组为：
其中，fx表示相机焦距，z表示l02上的点到相机的近似深度值，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，表示垂足P0的像素坐标，/>表示点P2的像素坐标，dis表示点P2到线段l13距离，K表示相机内参，t表示线段l10在线段l13上的占比系数且/>
2.根据权利要求1所述的基于场景平行要素的单目测距方法，其特征在于：所述步骤S2的方法为：对所述初始图像进行灰度化处理，得到灰度图像，再基于全局直方图均衡化方法对所述灰度图像进行均衡化处理。
3.一种基于场景平行要素的单目测距系统，其特征在于：包括：
获取模块：用于获取具有场景平行要素的场地的初始图像；
预处理模块：用于对所述初始图像进行预处理；
检测模块：用于对预处理后的初始图像进行边缘检测，提取边缘检测后图像中场景平行要素的轮廓；
划分模块：用于根据所述场景平行要素的轮廓划分出感兴趣区域，在所述感兴趣区域内提取在场景中具有平行关系的第一线段和第二线段，其中，所述场景具有平行关系的第一线段和第二线段为场景平行要素；
求解模块：用于分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度；
所述求解模块中分别在所述第一线段和第二线段上标注若干关键点，基于若干所述关键点建立方程组，根据所述方程组求出关键点对应的深度，方法包括：
在所述第一线段上标注两个关键点P1和P3，得到线段l13，在所述第二线段上标注两个关键点P2和P4，得到线段l24；
根据所述第一线段和第二线段具有平行关系，构建所述线段l13和线段l24的第一方程组；
以所述线段l24上的关键点P2为基准，向所述线段l13作垂线，得到垂足P0，构建所述垂足P0的坐标p0及像素坐标的第二方程组；
构建所述关键点P2到线段l13距离的第三方程组；
根据相机成像原理构建关于焦距fx的第四方程组；
根据所述第一方程组、第二方程组、第三方程组和第四方程组计算所述关键点P1、P2、P3和P4各自对应的深度；
所述第一方程组为：
l13＝λl24
其中，l13＝z3α3-z1α1，l24＝z4α4-z2α2，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，λ表示非零实数；
所述第二方程组为：
p0＝p1+tl13＝z1α1+t(z3α3-z1α1)
其中，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，t表示线段l10在线段l13上的占比系数且垂足P0的深度z0＝z1+t(z3-z1)，/>表示垂足P0的像素坐标，K表示相机内参；
所述第三方程组为：
其中，dis表示点P2到线段l13距离，l12表示关键点P1到P2的距离，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度；
所述第四方程组为：
其中，fx表示相机焦距，z表示l02上的点到相机的近似深度值，αi表示点Pi深度归一化后的相机坐标且αi＝pi/zi，pi和zi分别表示点Pi在相机坐标系中的坐标和深度，表示垂足P0的像素坐标，p2 P表示点P2的像素坐标，dis表示点P2到线段l13距离，K表示相机内参，t表示线段l10在线段l13上的占比系数且/>
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述基于场景平行要素的单目测距方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至2中任一项所述基于场景平行要素的单目测距方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310314574.5A CN116402871B (zh) | 2023-03-28 | 2023-03-28 | 一种基于场景平行要素的单目测距方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310314574.5A CN116402871B (zh) | 2023-03-28 | 2023-03-28 | 一种基于场景平行要素的单目测距方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402871A CN116402871A (zh) | 2023-07-07 |
| CN116402871B true CN116402871B (zh) | 2024-05-10 |
Family
ID=87015427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310314574.5A Active CN116402871B (zh) | 2023-03-28 | 2023-03-28 | 一种基于场景平行要素的单目测距方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402871B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
| CN103075998A (zh) * | 2012-12-31 | 2013-05-01 | 华中科技大学 | 一种单目空间目标测距测角方法 |
| CN103185567A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种电子设备及测量距离的方法 |
| CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
| CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
| WO2019181284A1 (ja) * | 2018-03-23 | 2019-09-26 | ソニー株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
| CN110297232A (zh) * | 2019-05-24 | 2019-10-01 | 合刃科技（深圳）有限公司 | 基于计算机视觉的单目测距方法、装置及电子设备 |
| CN111047633A (zh) * | 2018-10-12 | 2020-04-21 | 富华科精密工业（深圳）有限公司 | 单目测距装置 |
| CN112950725A (zh) * | 2021-03-22 | 2021-06-11 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种监控相机参数标定方法及装置 |
| CN113096183A (zh) * | 2021-03-18 | 2021-07-09 | 武汉科技大学 | 一种基于激光雷达与单目相机的障碍物检测与测量方法 |
| EP3905195A1 (en) * | 2020-04-28 | 2021-11-03 | Nextvpu (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
| CN114494169A (zh) * | 2022-01-18 | 2022-05-13 | 南京邮电大学 | 基于机器视觉的工业柔性物体检测方法 |
| CN114510018A (zh) * | 2020-10-25 | 2022-05-17 | 动态Ad有限责任公司 | 用于子系统性能评价的度量反向传播 |
| CN114647522A (zh) * | 2020-12-18 | 2022-06-21 | 动态Ad有限责任公司 | 计算机实现的方法、运载工具和存储介质 |
| CN114814826A (zh) * | 2022-04-08 | 2022-07-29 | 苏州大学 | 一种基于目标网格的雷达轨行区环境感知方法 |
| CN114838702A (zh) * | 2022-03-21 | 2022-08-02 | 浙江大华技术股份有限公司 | 距离测量方法、电子设备及存储介质 |
| CN114998422A (zh) * | 2022-05-26 | 2022-09-02 | 燕山大学 | 一种基于误差补偿模型的高精快速三维定位系统 |
| CN115507752A (zh) * | 2022-09-29 | 2022-12-23 | 苏州大学 | 基于平行环境元素的单目视觉测距方法和系统 |
-
2023
- 2023-03-28 CN CN202310314574.5A patent/CN116402871B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103185567A (zh) * | 2011-12-27 | 2013-07-03 | 联想(北京)有限公司 | 一种电子设备及测量距离的方法 |
| CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
| CN103075998A (zh) * | 2012-12-31 | 2013-05-01 | 华中科技大学 | 一种单目空间目标测距测角方法 |
| WO2019181284A1 (ja) * | 2018-03-23 | 2019-09-26 | ソニー株式会社 | 情報処理装置、移動装置、および方法、並びにプログラム |
| CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
| CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
| CN111047633A (zh) * | 2018-10-12 | 2020-04-21 | 富华科精密工业（深圳）有限公司 | 单目测距装置 |
| CN110297232A (zh) * | 2019-05-24 | 2019-10-01 | 合刃科技（深圳）有限公司 | 基于计算机视觉的单目测距方法、装置及电子设备 |
| EP3905195A1 (en) * | 2020-04-28 | 2021-11-03 | Nextvpu (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
| CN114510018A (zh) * | 2020-10-25 | 2022-05-17 | 动态Ad有限责任公司 | 用于子系统性能评价的度量反向传播 |
| CN114647522A (zh) * | 2020-12-18 | 2022-06-21 | 动态Ad有限责任公司 | 计算机实现的方法、运载工具和存储介质 |
| CN113096183A (zh) * | 2021-03-18 | 2021-07-09 | 武汉科技大学 | 一种基于激光雷达与单目相机的障碍物检测与测量方法 |
| CN112950725A (zh) * | 2021-03-22 | 2021-06-11 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种监控相机参数标定方法及装置 |
| CN114494169A (zh) * | 2022-01-18 | 2022-05-13 | 南京邮电大学 | 基于机器视觉的工业柔性物体检测方法 |
| CN114838702A (zh) * | 2022-03-21 | 2022-08-02 | 浙江大华技术股份有限公司 | 距离测量方法、电子设备及存储介质 |
| CN114814826A (zh) * | 2022-04-08 | 2022-07-29 | 苏州大学 | 一种基于目标网格的雷达轨行区环境感知方法 |
| CN114998422A (zh) * | 2022-05-26 | 2022-09-02 | 燕山大学 | 一种基于误差补偿模型的高精快速三维定位系统 |
| CN115507752A (zh) * | 2022-09-29 | 2022-12-23 | 苏州大学 | 基于平行环境元素的单目视觉测距方法和系统 |
Non-Patent Citations (8)
| Title |
|---|
| Depth from Monocular Images using a Semi-Parallel Deep Neural Network (SPDNN) Hybrid Architecture;S. Bazrafkan;《arXiv》;20180418;全文 * |
| Monocular Vision Ranging and Camera Focal Length Calibration;Lixia Xue;《Scientific Programming》;20210701;全文 * |
| OpenCV单目平面测距;Shey_Chen;《https://blog.csdn.net/a361251388leaning/article/details/48113429》;20150830;全文 * |
| 动态船舶行驶场景下的实时单目测距算法研究;夏红杰;《计算机技术与发展》;20220228;全文 * |
| 双目视觉测距在自动泊车系统中的应用;甘向昕;边蓓蓓;李德胜;;现代信息科技;20200110(第01期);全文 * |
| 给列车一双"智慧眼" 苏大学子助力城轨智能驾驶;扬子晚报;《https://baijiahao.baidu.com/s?id=1731259859603502273&wfr=spider&for=pc》;20220427;全文 * |
| 车辆信息识别下的测距模型建立方法研究;赵栓峰;许倩;丁志兵;黄涛;;现代电子技术;20200925(第19期);全文 * |
| 面向驾驶辅助系统的单目测距及测速算法研究;赵洪祥;《中国优秀硕士论文全文数据库》;20230115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402871A (zh) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
| EP3735675B1 (en) | Image annotation | |
| US20200041284A1 (en) | Map road marking and road quality collecting apparatus and method based on adas system | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
| JP4919036B2 (ja) | 移動物体認識装置 | |
| US8872925B2 (en) | Method and device for camera calibration | |
| CN111141311B (zh) | 一种高精度地图定位模块的评估方法及系统 | |
| CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
| US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
| CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112950725A (zh) | 一种监控相机参数标定方法及装置 | |
| CN111723778B (zh) | 基于MobileNet-SSD的车辆测距系统及方法 | |
| CN110909620A (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
| Guo et al. | Visibility detection approach to road scene foggy images | |
| CN114719873A (zh) | 一种低成本精细地图自动生成方法、装置及可读介质 | |
| US20200191577A1 (en) | Method and system for road image reconstruction and vehicle positioning | |
| CN109492454B (zh) | 对象识别方法及装置 | |
| Leu et al. | High speed stereo vision based automotive collision warning system | |
| CN116402871B (zh) | 一种基于场景平行要素的单目测距方法、系统及电子设备 | |
| EP3389015A1 (en) | Roll angle calibration method and roll angle calibration device | |
| Shen | Complex Lane Line Detection Under Autonomous Driving | |
| CN114428259A (zh) | 一种基于地图车采集的地库激光点云中车辆自动提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |