CN114463388A - 基于双目相机的限高装置检测方法、系统和智能终端 - Google Patents

基于双目相机的限高装置检测方法、系统和智能终端 Download PDF

Info

Publication number
CN114463388A
CN114463388A CN202210383529.0A CN202210383529A CN114463388A CN 114463388 A CN114463388 A CN 114463388A CN 202210383529 A CN202210383529 A CN 202210383529A CN 114463388 A CN114463388 A CN 114463388A
Authority
CN
China
Prior art keywords
limiting device
height
lower edge
height limiting
edge position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210383529.0A
Other languages
English (en)
Inventor
孙旭生
杨超
苏文秀
冯凯
肖志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202210383529.0A priority Critical patent/CN114463388A/zh
Publication of CN114463388A publication Critical patent/CN114463388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目相机的限高装置检测方法和系统，所述方法包括：获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；根据所述下边缘位置和所述视差图，获取下边缘位置视差值；基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。该方案使得有高度方向碰撞风险的大型车辆司机提前获得预警，避免碰撞事故的发生，且提高了限高装置的检测及时性和准确性，从而保证了行车安全。

Description

基于双目相机的限高装置检测方法、系统和智能终端
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于双目相机的限高装置检测方法、系统和智能终端。
背景技术
随着汽车技术的不断发展，大型客车、大型货车以及房车等车身高度比较高的车型数量持续增长。然而，由于大型车辆驾驶员的疏忽或无法准确估计限高装置位置等原因，车辆与限高装置发生碰撞而造成人员伤亡以及财产损失的事故频繁发生。
事故发生的主要原因如下：1）驾驶员驾驶疏忽，未发现或错误估计限高装置的高度。2）部分限高装置无标识牌注明限高装置的实际高度或限高标识牌注明的高度与实际限高装置的高度不符。3）现有的检测与测高方案不够精确，计算误差较大。
基于此，提供一种基于双目相机的限高装置检测方法、系统和智能终端，以提高限高装置的检测及时性和准确性，从而保证行车安全，就成为本领域技术人员亟待解决的问题。
发明内容
为此，本发明实施例提供一种基于双目相机的限高装置检测方法、系统和智能终端，以提高限高装置的检测及时性和准确性，从而保证行车安全。
为了实现上述目的，本发明实施例提供如下技术方案：
一种基于双目相机的限高装置检测方法，所述方法包括：
获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；
根据所述下边缘位置和所述视差图，获取下边缘位置视差值；
基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
进一步地，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度，之后还包括：
根据所述下边缘位置计算所述目标限高装置的最低通过高度；
当所述最低通过高度小于当前车辆的车身高度时，则将所述当前距离与预存的报警距离阈值相比较，以得到距离比较结果；
根据所述距离比较结果输出不同等级的报警信息。
进一步地，根据所述距离比较结果输出不同等级的报警信息，具体包括：
若所述当前距离大于或等于所述报警距离阈值，则发出一级报警信息；
若所述当前距离小于所述报警距离阈值，则发出二级报警信息。
进一步地，基于所述下边缘位置视差值，利用以下公式计算所述目标限高装置与当前车辆之间的当前距离distance：
Figure 561863DEST_PATH_IMAGE001
其中：
distance目标限高装置与当前车辆之间的当前距离；
b为双目相机的基线；
f为双目相机的焦距；
disparity为下边缘位置视差值。
进一步地，基于所述下边缘位置视差值，利用以下公式计算所述目标限高装置的最低高度height：
Figure 127974DEST_PATH_IMAGE002
其中：
height为最低高度；
V为目标像素点的坐标；
V0为相机光心坐标；
disparity为下边缘位置视差值。
进一步地，计算所述目标限高装置的最低高度，之后还包括：
基于卡尔曼滤波运动方程和观测方程对所述目标限高装置进行跟踪。
进一步地，所述卡尔曼滤波方程为：
Figure 429642DEST_PATH_IMAGE003
其中，A为状态转移矩阵，B为控制矩阵，
Figure 462320DEST_PATH_IMAGE004
为过程噪声，x为状态转移参数。
本发明还提供一种基于双目相机的限高装置检测系统，所述系统包括：
图像获取单元，用于获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
下边缘位置计算单元，用于基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；
下边缘视差值计算单元，用于根据所述下边缘位置和所述视差图，获取下边缘位置视差值；
距离和高度计算单元，用于基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明所提供的基于双目相机的限高装置检测方法和系统，通过获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；并基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；而后根据所述下边缘位置和所述视差图，获取下边缘位置视差值，进而基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
这样，该限高装置检测方法基于单双目融合，利用单目相机所成图像，准确的检测出限高装置在图像中的位置；同时，利用双目相机所成的视差图，准确的计算限高装置的最低通过高度和限高装置与当前车辆的距离。并结合最低通过高度和距离与当前车身高度产生报警信号。该方法可以使得有高度方向碰撞风险的大型车辆司机提前获得预警，避免碰撞事故的发生，且提高了限高装置的检测及时性和准确性，从而保证了行车安全。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于双目相机的限高装置检测方法一种具体实施方式的流程图；
图2为图1所示方法中深度学习模型在检测限高装置下边缘时的流程图；
图3为图1所示方法中视差提取示意图；
图4为本发明所提供的基于双目相机的限高装置检测方法另一种具体实施方式的流程图；
图5为本发明所提供的基于双目相机的限高装置检测方法再一种具体实施方式的流程图；
图6为本发明所提供的基于双目相机的限高装置检一种系统具体实施方式的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中限高检测结果不准确，司机无法及时得到限高预警的问题，本发明提供了一种基于双目相机的限高装置检测方法和系统。该方案利用单目方案使用双目相机的左相机所成图像，准确的检测出限高装置在图像中的位置，利用双目方案使用双目相机所成的视差图，准确的计算限高装置的最低通过高度和限高装置与当前车辆的距离，并且结合最低通过高度和距离与当前车身高度产生报警信号。该方案可以使得有高度方向碰撞风险的大型车辆司机可以提前获得预警，避免碰撞事故的发生。
请参考图1，图1为本发明所提供的基于双目相机的限高装置检测方法一种具体实施方式的流程图。
在一种具体实施方式中，如图1所示，本发明所提供的基于双目相机的限高装置检测方法包括以下步骤：
S110：获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
S120：基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的。
在该实施例中，可通过选用任意方式表达限高装置的下边缘，如直线、折线、或关键点等。此外，也可选用任意可以精确检出限高装置下边缘的深度神经网络作为限高装置下边缘检测网络，使用双目相机得左相机采集图像（即左目原始图像）作为输入，训练得到深度学习模型。如图2所示，训练收敛的深度学习模型在接受同分布数据输入后，可精确检测出限高装置下边缘在图像中的位置。
S130：根据所述下边缘位置和所述视差图，获取下边缘位置视差值。由于视差图与相机左图位置呈对应关系，因此，在经过深度学习模型检测，得到限高装置下边缘在左图图像中的位置后，可在视差图的对应位置获得限高装置下边缘的视差值。为了保证计算结果的准确性，可在视差图对应的限高装置下边缘位置向上额外提取1~5个像素的视差值用于计算。如图3所示。将提取到的视差值的零值与异常值进行去除，剩下的视差值作为有效视差值，并对有效视差值进行滤波。常见的滤波方法，可以使用均值滤波、中值滤波、计算众数等方法，所得计算结果即为限高装置下边缘的视差值。
S140：基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
具体地，在视差图计算得到下边缘视差值之后，基于所述下边缘位置视差值，可利用以下公式（1）计算所述目标限高装置与当前车辆之间的当前距离distance：
Figure 849439DEST_PATH_IMAGE005
其中：
distance目标限高装置与当前车辆之间的当前距离；
b为双目相机的基线；
f为双目相机的焦距；
disparity为下边缘位置视差值。
进一步地，基于所述下边缘位置视差值，可以利用以下公式（2），计算所述目标限高装置的最低高度height：
Figure 219241DEST_PATH_IMAGE006
其中：
height为最低高度；
V为目标像素点的坐标；
V0为相机光心坐标；
disparity为下边缘位置视差值。
为了解决现有技术缺乏报警机制的问题，在上述具体实施方式的基础上，还可以进行进一步地改进。
在上述具体实施方式的基础上，如图4所示，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度，之后还包括以下步骤：
S410：根据所述下边缘位置计算所述目标限高装置的最低通过高度；
S420：当所述最低通过高度小于当前车辆的车身高度时，则将所述当前距离与预存的报警距离阈值相比较，以得到距离比较结果；
S430：根据所述距离比较结果输出不同等级的报警信息。
其中，根据所述距离比较结果输出不同等级的报警信息，具体包括：
若所述当前距离大于或等于所述报警距离阈值，则发出一级报警信息；
若所述当前距离小于所述报警距离阈值，则发出二级报警信息。
具体来讲，由于不同车型的车辆车身高度不同，可针对不同高度的车辆设置与其对应的报警策略。首先设定车身高度，并可根据当前车速与限高装置的距离计算出碰撞时间，并根据碰撞时间设定报警距离阈值。在车辆行驶过程中，实时检测限高装置的下边缘位置，并以此计算限高装置的最低通过高度，以及限高装置与当前车辆的当前距离。如图5所示，在实际使用场景中，当获得限高装置高度和当前距离后，首先判断最低通过高度是否小于车身高度，若最低通过高度大于车身高度，则说明限高装置不会对当前车辆的行驶产生影响，此时不报警；若最低通过高度小于车身高度，则说明限高装置会对当前车辆的行驶产生影响，此时需要进一步判断当前距离是否小于报警距离阈值。若当前距离不小于报警距离阈值则不报警，则产生二级报警，若当前距离小于报警距离阈值则不报警，则产生一级报警。
进一步地，在上述具体实施方式的基础上，如图5所示，计算所述目标限高装置的最低高度，之后还包括以下步骤：
S510：基于卡尔曼滤波运动方程和观测方程对所述目标限高装置进行跟踪。
具体地，由于距离较远或因为左右图误匹配导致视差图精度较差，以此视差值计算出的高度会有较大误差。因此需要使用卡尔曼滤波对检测到的限高装置进行跟踪。可使用定速模型，使其输出的距离与高度更加平滑、可信度较高。
其中，卡尔曼滤波运动方程如公式（3）所示，观测方程如公式（4）所示。
Figure 109837DEST_PATH_IMAGE007
其中，A代表状态转移矩阵，B代表控制矩阵，
Figure 703629DEST_PATH_IMAGE008
代表过程噪声，x表示状态转移参数。
Figure 312465DEST_PATH_IMAGE009
其中，H为观测矩阵，
Figure 485957DEST_PATH_IMAGE010
为观测噪声。具体地，在汽车定速模型中，对距离进行跟踪时，状态转移参数：
Figure 496638DEST_PATH_IMAGE011
观测矩阵：
Figure 120387DEST_PATH_IMAGE012
在对高度进行跟踪时，状态转移参数：
Figure 216519DEST_PATH_IMAGE013
观测矩阵：
Figure 928123DEST_PATH_IMAGE014
在上述具体实施方式中，本发明所提供的基于双目相机的限高装置检测方法和系统，通过获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；并基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；而后根据所述下边缘位置和所述视差图，获取下边缘位置视差值，进而基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
这样，该限高装置检测方法基于单双目融合，利用单目相机所成图像，准确的检测出限高装置在图像中的位置；同时，利用双目相机所成的视差图，准确的计算限高装置的最低通过高度和限高装置与当前车辆的距离。并结合最低通过高度和距离与当前车身高度产生报警信号。该方法可以使得有高度方向碰撞风险的大型车辆司机提前获得预警，避免碰撞事故的发生，且提高了限高装置的检测及时性和准确性，从而保证了行车安全。
除了上述方法，本发明还提供一种基于双目相机的限高装置检测系统，如图6所示，所述系统包括：
图像获取单元100，用于获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
下边缘位置计算单元200，用于基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；
下边缘视差值计算单元300，用于根据所述下边缘位置和所述视差图，获取下边缘位置视差值；
距离和高度计算单元400，用于基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
在上述具体实施方式中，本发明所提供的基于双目相机的限高装置检测系统，通过获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；并基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；而后根据所述下边缘位置和所述视差图，获取下边缘位置视差值，进而基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
这样，该限高装置检测系统基于单双目融合，利用单目相机所成图像，准确的检测出限高装置在图像中的位置；同时，利用双目相机所成的视差图，准确的计算限高装置的最低通过高度和限高装置与当前车辆的距离。并结合最低通过高度和距离与当前车身高度产生报警信号。该系统可以使得有高度方向碰撞风险的大型车辆司机提前获得预警，避免碰撞事故的发生，且提高了限高装置的检测及时性和准确性，从而保证了行车安全。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific工ntegrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于双目相机的限高装置检测方法，其特征在于，所述方法包括：
获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
基于所述左目原始图像和预存的深度学习模型，得到目标限高装置的下边缘位置；其中，所述深度学习模型是通过左目原始图像训练得到的；
根据所述下边缘位置和所述视差图，获取下边缘位置视差值；
基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
2.根据权利要求1所述的限高装置检测方法，其特征在于，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度，之后还包括：
根据所述下边缘位置计算所述目标限高装置的最低通过高度；
当所述最低通过高度小于当前车辆的车身高度时，则将所述当前距离与预存的报警距离阈值相比较，以得到距离比较结果；
根据所述距离比较结果输出不同等级的报警信息。
3.根据权利要求2所述的限高装置检测方法，其特征在于，根据所述距离比较结果输出不同等级的报警信息，具体包括：
若所述当前距离大于或等于所述报警距离阈值，则发出一级报警信息；
若所述当前距离小于所述报警距离阈值，则发出二级报警信息。
4.根据权利要求1所述的限高装置检测方法，其特征在于，基于所述下边缘位置视差值，利用以下公式计算所述目标限高装置与当前车辆之间的当前距离distance：
Figure 369994DEST_PATH_IMAGE001
其中：
distance目标限高装置与当前车辆之间的当前距离；
b为双目相机的基线；
f为双目相机的焦距；
disparity为下边缘位置视差值。
5.根据权利要求1所述的限高装置检测方法，其特征在于，基于所述下边缘位置视差值，利用以下公式计算所述目标限高装置的最低高度height：
Figure 397993DEST_PATH_IMAGE002
其中：
height为最低高度；
V为目标像素点的坐标；
V0为相机光心坐标；
disparity为下边缘位置视差值。
6.根据权利要求1所述的限高装置检测方法，其特征在于，计算所述目标限高装置的最低高度，之后还包括：
基于卡尔曼滤波运动方程和观测方程对所述目标限高装置进行跟踪。
7.根据权利要求6所述的限高装置检测方法，其特征在于，所述卡尔曼滤波方程为：
Figure 251680DEST_PATH_IMAGE003
其中，A为状态转移矩阵，B为控制矩阵，
Figure 441353DEST_PATH_IMAGE004
为过程噪声，x为状态转移参数。
8.一种基于双目相机的限高装置检测系统，其特征在于，所述系统包括：
图像获取单元，用于获取双目相机采集的左目原始图像和右目原始图像，并计算视差图；
下边缘位置计算单元，用于基于所述左目原始图像和预存的深度学习模型，计算目标限高装置的下边缘位置；
下边缘视差值计算单元，用于根据所述下边缘位置和所述视差图，获取下边缘位置视差值；
距离和高度计算单元，用于基于所述下边缘位置视差值，计算所述目标限高装置与当前车辆之间的当前距离和所述目标限高装置的最低高度。
9.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-7任一项所述的方法。
CN202210383529.0A 2022-04-13 2022-04-13 基于双目相机的限高装置检测方法、系统和智能终端 Pending CN114463388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210383529.0A CN114463388A (zh) 2022-04-13 2022-04-13 基于双目相机的限高装置检测方法、系统和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210383529.0A CN114463388A (zh) 2022-04-13 2022-04-13 基于双目相机的限高装置检测方法、系统和智能终端

Publications (1)

Publication Number Publication Date
CN114463388A true CN114463388A (zh) 2022-05-10

Family

ID=81418421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210383529.0A Pending CN114463388A (zh) 2022-04-13 2022-04-13 基于双目相机的限高装置检测方法、系统和智能终端

Country Status (1)

Country Link
CN (1) CN114463388A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115534801A (zh) * 2022-08-29 2022-12-30 深圳市欧冶半导体有限公司 车灯自适应调光方法、装置、智能终端及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189521A1 (en) * 1999-03-05 2004-09-30 Smith Alexander E. Method and apparatus for accurate aircraft and vehicle tracking
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN109239703A (zh) * 2018-09-27 2019-01-18 中国科学院电子学研究所 运动目标实时跟踪方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
CN111339956A (zh) * 2020-02-28 2020-06-26 北京中科慧眼科技有限公司 基于双目相机的限高预警方法、装置、系统和存储介质
CN111754574A (zh) * 2020-05-28 2020-10-09 北京中科慧眼科技有限公司 基于双目相机的距离测试方法、装置、系统和存储介质
CN113284120A (zh) * 2021-05-31 2021-08-20 北京经纬恒润科技股份有限公司 限高高度测量方法及装置
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端
CN113781543A (zh) * 2021-11-10 2021-12-10 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、系统和智能终端
CN114170274A (zh) * 2022-02-11 2022-03-11 北京宏景智驾科技有限公司 目标跟踪方法和装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189521A1 (en) * 1999-03-05 2004-09-30 Smith Alexander E. Method and apparatus for accurate aircraft and vehicle tracking
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN109239703A (zh) * 2018-09-27 2019-01-18 中国科学院电子学研究所 运动目标实时跟踪方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法
CN111339956A (zh) * 2020-02-28 2020-06-26 北京中科慧眼科技有限公司 基于双目相机的限高预警方法、装置、系统和存储介质
CN111754574A (zh) * 2020-05-28 2020-10-09 北京中科慧眼科技有限公司 基于双目相机的距离测试方法、装置、系统和存储介质
CN113284120A (zh) * 2021-05-31 2021-08-20 北京经纬恒润科技股份有限公司 限高高度测量方法及装置
CN113378805A (zh) * 2021-08-13 2021-09-10 北京中科慧眼科技有限公司 基于深度学习的限高装置检测方法、系统和智能终端
CN113781543A (zh) * 2021-11-10 2021-12-10 北京中科慧眼科技有限公司 基于双目相机的限高装置检测方法、系统和智能终端
CN114170274A (zh) * 2022-02-11 2022-03-11 北京宏景智驾科技有限公司 目标跟踪方法和装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115534801A (zh) * 2022-08-29 2022-12-30 深圳市欧冶半导体有限公司 车灯自适应调光方法、装置、智能终端及存储介质
CN115534801B (zh) * 2022-08-29 2023-07-21 深圳市欧冶半导体有限公司 车灯自适应调光方法、装置、智能终端及存储介质

Similar Documents

Publication Publication Date Title
US10783657B2 (en) Method and apparatus for vehicle position detection
US20220373353A1 (en) Map Updating Method and Apparatus, and Device
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
CN112906449A (zh) 基于稠密视差图的路面坑洼检测方法、系统和设备
US20220277470A1 (en) Method and system for detecting long-distance target through binocular camera, and intelligent terminal
JP4753765B2 (ja) 障害物認識方法
US11762957B2 (en) RGB-D fusion information-based obstacle target classification method and system, and intelligent terminal
CN112172775B (zh) 基于双目立体相机的车辆制动预警方法、系统和装置
CN110341621B (zh) 一种障碍物检测方法及装置
CN113781543B (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN111339956A (zh) 基于双目相机的限高预警方法、装置、系统和存储介质
CN111723723A (zh) 一种图像检测方法及装置
CN114495043A (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN114463388A (zh) 基于双目相机的限高装置检测方法、系统和智能终端
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN111191538B (zh) 基于双目相机的障碍物跟踪方法、装置、系统和存储介质
CN111754574A (zh) 基于双目相机的距离测试方法、装置、系统和存储介质
CN116148821A (zh) 激光雷达的外参修正方法和装置、电子设备和存储介质
CN113674275B (zh) 基于稠密视差图的路面不平度检测方法、系统和智能终端
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
CN114202574A (zh) 定位可靠性检测方法及相关设备
US20240127694A1 (en) Method for collision warning, electronic device, and storage medium
US20230186638A1 (en) Device for determining a topography of a vehicle environment, vehicle and method
CN116052121B (zh) 一种基于距离预估的多传感目标检测融合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220510