CN113077476A - 一种高度测量方法、终端设备以及计算机存储介质 - Google Patents
一种高度测量方法、终端设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN113077476A CN113077476A CN202110287712.6A CN202110287712A CN113077476A CN 113077476 A CN113077476 A CN 113077476A CN 202110287712 A CN202110287712 A CN 202110287712A CN 113077476 A CN113077476 A CN 113077476A
- Authority
- CN
- China
- Prior art keywords
- map
- acquiring
- example segmentation
- target
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000691 measurement method Methods 0.000 title abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000005457 optimization Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种高度测量方法、终端设备以及计算机存储介质，该高度测量方法包括：获取双目图像，其中，双目图像包括左目图像和右目图像；将双目图像输入预设网络模型，获取视差图以及实例分割图，其中，视差图为左目图像和右目图像中相同点位置的像素级差距；利用视差图以及实例分割图确定地面区域和目标区域，以及利用视差图和相机参数获取深度图；通过深度图获取目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标；基于所述目标点的三维坐标和所述平面坐标获取目标的高度。通过上述方法，本申请通过拟合地面区域的平面坐标，不需要手动选取地面点，使得高度测量方法智能快速，提高高度测量效率。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种高度测量方法、终端设备以及计算机存储介质。
背景技术
双目立体视觉在各个计算机视觉技术领域中均有着广泛的应用，它是计算机视觉中一种重要的形式，是基于视差原理并利用成像设备从不同的位置获取被测目标的两幅图像，并通过计算图像对应点之间的位置偏差，来获取目标三维几何信息的方法。基于双目视觉的测量方法，具备效率高、精度合适、系统结构简单以及成本较低等优点。相比于单目视觉而言，双目视觉方法在获取场景的几何信息时表现的更加稳定。
在感知目标特征时，高度是很重要的一个特性，在很多实际任务中都发挥着重要作用，如身高测量、变化检测等。在实际应用中，测量目标高度时，需要设定一些基准点，即一些已知高度的点。随后通过双目视觉方法计算得出该目标与该基准点的相对高度，从而得到其实际绝对高度。在选择基准点的时候，一般选择的是地面，不会受其它因素发生变化，且目标与其相对高度即目标本身的实际高度。
然而，由于手动选择的点较多，导致在高度测量过程中产生的人工误差较大，且选择过程繁琐导致高度测量的效率较低，准确度也有一定的影响。
发明内容
本申请提供一种高度测量方法、终端设备以及计算机存储介质。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种高度测量方法，所述高度测量方法包括：
获取双目图像，其中，所述双目图像包括左目图像和右目图像；
将所述双目图像输入预设网络模型，获取视差图以及实例分割图，其中，所述视差图为所述左目图像和所述右目图像中相同点位置的像素级差距；
利用所述视差图以及所述实例分割图确定地面区域和目标区域，以及利用所述视差图和相机参数获取深度图；
通过所述深度图获取所述目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标；
基于所述目标点的三维坐标和所述平面坐标获取所述目标的高度。
其中，所述将所述双目图像输入预设网络模型，获取视差图以及实例分割图之后，包括：
通过视差图优化函数对所述视差图进行优化，通过实例分割优化函数对所述实例分割图进行优化；
利用前后向实例一致性优化函数和所述视差图进一步对所述实例分割图进行优化；
利用视差平滑优化函数和所述实例分割图进一步对所述视差图进行优化。
其中，所述利用前后向实例一致性优化函数和所述视差图进一步对所述实例分割图进行优化，包括：
获取所述左目图像的实例分割图，以及所述右目图像的实例分割图；
以所述左目图像的视角为参考视角，将所述左目图像的实例分割图变换到所述右目图像的视角的实例分割图；
获取所述右目图像的实例分割图与变换后所述左目图像的实例分割图的平均交并比，以及利用所述平均交并比对所述实例分割图进行优化。
其中，所述利用视差平滑优化函数和所述实例分割图进一步对所述视差图进行优化，包括：
获取优化区域中的有效像素，其中，所述优化区域包括所述地面区域和/或目标区域；
获取所述视差图中优化区域在水平方向和竖直方向上的视差梯度图；
获取所述实例分割图中优化区域在水平方向和竖直方向上的实例分割梯度图；
利用所述优化区域中有效像素的数量、视差梯度图以及实例分割梯度图对所述视差图进行优化。
其中，所述获取所述地面区域的平面坐标，包括：
基于所述地面区域的实例分割结果获取基准平面；
获取所述深度图中对应所述地面区域的地面像素点的三维坐标；
利用所述地面像素点的三维坐标以对所述基准平面进行平面拟合，得到拟合后的平面坐标。
其中，所述获取所述深度图中对应所述地面区域的地面像素点的三维坐标，包括：
获取所述深度图中对应所述地面区域的所有地面像素点；
筛选出所述所有地面像素点中靠近中心位置的地面像素点；
将所述靠近中心位置的地面像素点的三维坐标用于平面拟合。
其中，所述利用所述视差图和相机参数获取深度图，包括：
利用所述相机参数获取左右相机之间的基线距离以及相机焦距；
利用所述视差图获取所述目标点在所述左目图像和所述右目图像中横坐标之差；
通过所述基线距离、所述相机焦距以及所述目标点的横坐标之差计算深度图。
其中，所述基于所述目标点的三维坐标和所述平面坐标获取所述目标的高度，包括：
获取所述目标区域中所有目标点的三维坐标，以及计算所述所有目标点的三维坐标与所述地面坐标的差值；
将差值最大的目标点作为目标顶点，以及将所述目标顶点的三维坐标与所述地面坐标的差值作为目标的高度值。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种终端设备，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述高度测量方法的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机存储介质，其中，计算机存储介质存储有计算机程序，计算机程序被执行时实现上述高度测量方法的步骤。
区别于现有技术，本申请的有益效果在于：终端设备获取双目图像，其中，双目图像包括左目图像和右目图像；将双目图像输入预设网络模型，获取视差图以及实例分割图，其中，视差图为左目图像和右目图像中相同点位置的像素级差距；利用视差图以及实例分割图确定地面区域和目标区域，以及利用视差图和相机参数获取深度图；通过深度图获取目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标；基于所述目标点的三维坐标和所述平面坐标获取目标的高度。通过上述方法，本申请通过拟合地面区域的平面坐标，不需要手动选取地面点，使得高度测量方法智能快速，提高高度测量效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的高度测量方法一实施例的流程示意图；
图2是本申请提供的视差图一实施例的示意图；
图3是本申请提供的实例分割图一实施例的示意图；
图4是本申请提供的多任务学习网络模型一实施例的结构示意图；
图5是图1所示高度测量方法S102子步骤的流程示意图；
图6是图1所示高度测量方法S104子步骤的流程示意图；
图7是本申请提供的平面拟合结果一实施例的示意图；
图8是本申请提供的高度测量结果一实施例的示意图；
图9是本申请提供的终端设备一实施例的结构示意图；
图10是本申请提供的终端设备另一实施例的结构示意图；
图11是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体请参阅图1，图1是本申请提供的高度测量方法一实施例的流程示意图。本申请的高度测量方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为移动设备，还可以为由服务器和移动设备相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于移动设备中，还可以分别设置于服务器和移动设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
具体地，在本申请实施例中，终端设备可以为一种具有计算能力的双目相机，或者其他具有计算能力的图像采集终端，在此不再赘述。
如图1所示，本实施例的高度测量方法具体包括以下步骤：
S101：获取双目图像，其中，双目图像包括左目图像和右目图像。
其中，本申请实施例采用双目相机采集双目图像，包括左目图像和右目图像。双目相机可以采用斜装的方式，即安装位置高于目标所在区域，且双目相机的摄像头斜向朝下，对前方场景进行拍摄，即可拍摄到场景中目标的顶部区域。然后，通过双目立体标定以及矫正得到可用于立体匹配的立体图像，即双目图像。
终端设备获取双目图像后，需要对双目图像进行一定的预处理，具体可以包括但不限于畸变校正和极线矫正等图像处理。其中，畸变校正能够解决由于双目相机精度不足导致的失真情况，极线矫正能够使得左目图像和右目图像的极线对齐，即使得同一个三维目标点在左目图像和右目图像中的投影处于同一行，使得后续的立体匹配更可靠，计算更可信。
在其他实施例中，图像预处理还可以包括图像灰度化、图像几何变换、图像增强等处理方式，在此不再赘述。
S102：将双目图像输入预设网络模型，获取视差图以及实例分割图，其中，视差图为左目图像和右目图像中相同点位置的像素级差距。
在现有技术的工作中，计算双目图像视差的方法一般都使用的是SGBM(Semi-Global Block Matching)，GC(Graph cuts)等传统算法，这是因为基于深度学习的立体匹配单任务模型的鲁棒性较差，尤其是地面区域的视差，比较不平滑，生成的三维点云地面凹凸不平，无法作为基准面使用。然而使用SGBM，GC等传统立体匹配算法，在地面区域存在大量的空洞，影响基准面拟合效果。
针对上述问题，本申请实施例设计了一种针对视差估计及实例分割的多任务学习网络模型，这是一种端到端可学习的神经网络模型，其输入是经过标定的双目相机捕获的双目图像，输出为视差图以及参考帧视角的实例分割。视差图与实例分割图之间具有较强的关联性，对于较小的目标，其视差值一般而言是相近的。而对于地面比较广阔的区域，其视差分布通常是连续且平滑的。
该网络模型可以将双目立体匹配任务与实例分割任务结合起来，使得网络模型能够在分别学习视差估计任务与实例分割任务的同时，也能够将视差估计任务与实例分割任务之间的关联性进行学习，并使用这种关联性约束互相提升彼此的效果。
终端设备将上述双目图像输入预设的多任务学习网络模型，得到如图2所示的视差图，以及如图3所示的处于参考视角的实例分割图。其中，参考视角可以为左目图像的拍摄视角或者右目图像的拍摄视角，可以通过人工设置所需要的参考视角。在本申请实施例中，多任务学习网络模型输出的实例分割图主要以左目图像的拍摄视角作为参考视角。
其中，视差图是在左目图像和右目图像中匹配相应的像素点，计算得出其视差，得到三维场景中某一点在左目图像和右目图像中对应点位置的像素级差距。实例分割图是在像素级别上的分类，即将属于同一目标的像素归为同一类，并将同一类像素转换为具有突出显示的感兴趣区域的掩模。
请继续参阅图4，图4是本申请提供的多任务学习网络模型一实施例的结构示意图。图4中的多任务学习网络模型主要分为四个模块，分别是特征提取模型(FeatureExtraction)、实例分割分支模块(Semantic Branch)、视差估计分支模块(DisparityBranch)以及交叉优化模块(CrossRefine Module)。
其中，本申请实施例还可以对多任务学习网络模型进行训练，具体训练过程如下：首先使用双目相机采集了不同测高场景下的RGB图像2000组，并对左图进行人工标注，重点标注目标及地面区域，用不同的编号来进行分类。在训练过程中，随机抽取百分之二十的数据作为验证集，另外百分之八十的数据作为训练集。在数据载入阶段，使用随机裁剪、左右翻转等方式对数据进行增广，以提升模型的泛化能力。本提案模型使用Adam优化器引导模型迭代优化。学习率衰减策略使用阶段式下降策略，即前100轮学习率设置为0.001，后续每200轮学习率衰减为原先的一半，一共训练1000轮。网络模型收敛后，将验证集上效果最优的模型保存下来，用于进行视差图及实例分割图的预测。
具体地，终端设备分别将左目图像(imgL)和右目图像(imgR)输入特征提取模型，特征提取模型分别将双目图像的语义特征输入实例分割分支模块，将左目图像和右目图像的视差特征输入视差估计分支模块。实例分割分支模块将初始化实例分割图输入交叉优化模块，视差估计分支模块将初始化视差图输入交叉优化模块，交叉优化模块利用初始化实例分割图和初始化视差图之间的关联性进行优化，输出最终的实例分割图和视差图。
其中，特征提取模块使用的是经典的立体匹配网络PSMNet中的特征提取网络；实例分割模块使用的是DeepLabV3中的多尺度空洞卷积金字塔模块；视差估计模块使用的是Stacked HourGlass视差回归模块；最后的交叉优化模块将实例分割图与视差图之间的关联性作为约束，使得实例分割图与视差图之间能够互补。
具体地，交叉优化模块对实例分割图与视差图的优化过程请继续参阅图5，图5是图1所示高度测量方法S102子步骤的流程示意图。
如图5所示，S102具体可以包括以下子步骤：
S201：通过视差图优化函数对视差图进行优化，通过实例分割优化函数对实例分割图进行优化。
其中，本申请实施例的优化函数分为三部分，分别是视差图优化函数(smooth_l1loss)、实例分割优化函数(cross entropy loss)、前后向实例一致性优化函数以及基于实例分割的视差平滑优化函数。
终端设备首先通过视差图优化函数对视差图进行优化，通过实例分割优化函数对实例分割图进行优化。
S202：利用前后向实例一致性优化函数和视差图进一步对实例分割图进行优化。
其中，终端设备获取优化后的实例分割图，包括左目图像的实例分割图和右目图像的实例分割图。以左目图像的视角为参考视角，通过视差图提供的像素差距将左目图像的实例分割图变换到右目图像视角的实例分割图。在这个变换过程中，可以有效加强视差图与实例分割图的关联性，提升优化效果。
然后，终端设备计算右目图像的实例分割图以及变换后左目图像的实例分割图的平均交并比，以及利用该平均交并比对实例分割图进行优化。具体地，前后向实例一致性优化函数如下述公式所示：
L＝miou(S2，S′1)
其中，miou是求解两张实例分割图的平均交并比，S2为右目图像的实例分割图，S′1是变换后左目图像的实例分割图。使用前后向实例一致性优化函数，可以引导视差结果和实例分割结果往更加平滑准确的方向进行迭代，从而对实例分割图进行进一步的优化。
S203：利用视差平滑优化函数和实例分割图进一步对视差图进行优化。
其中，基于实例分割的视差平滑优化函数如下述公式所示：
其中，D是视差图，S是实例分割图，
是梯度函数，N是优化区域中有效像素的数量。需要说明的是，当该优化过程针对地面区域进行优化时，则N为地面区域中有效像素的数量；当该优化过程针对目标区域进行优化时，则N为目标区域中有效像素的数量。其中，优化区域包括但不限于地面区域和目标区域，基于实例分割的视差平滑优化函数同样可以对其他区域起到优化作用。
基于实例分割的视差平滑优化函数的主要优化思想为：终端设备分别得到视差图以及实例分割图在水平方向和竖直方向上的梯度图，将视差图的梯度图和实例分割图的梯度图之间的幂次点乘结果用来作为优化函数，引导视差结果在同一类优化区域中往更加平滑的方向进行迭代。
S103：利用视差图以及实例分割图确定地面区域和目标区域，以及利用视差图和相机参数获取深度图。
其中，通过上述步骤获取的视差图以及实例分割图，终端设备可以进行场景三维信息恢复以及基准平面拟合。根据相似三角形原理，终端设备可以利用视差图计算出深度图，深度图中每个像素点的值代表了三维坐标系中目标点到相机成像中的距离。具体地，深度图的计算公式如下：
其中，Z是深度信息，b是左目相机和右目相机之间的基线距离，f是相机焦距，d是左目图像和右目图像中目标点的横坐标之差，即视差。
另外，终端设备根据实例分割结果，可以获得地面区域以及目标区域的掩膜。不同类型的掩膜区域具有不同的数值，例如地面区域的掩膜可以设置为2，目标区域的掩膜可以设置为1，无效区域，即既不是地面也不是需要测量高度的目标的掩膜可以设置为0。
S104：通过深度图获取目标区域中目标点的三维坐标，以及获取地面区域的平面坐标。
其中，终端设备可以根据深度图以及相机参数计算目标区域中目标点的三维坐标。具体地，由图像坐标系的像素坐标计算其在三维世界坐标系下的三维坐标的公式如下：
其中，(x，y，z)是目标点在相机坐标系下的坐标，(x′，y′)是目标点在图像坐标系下的坐标，Z是深度值，f是相机焦距。需要说明的是，本申请实施例的图像坐标系是以图像中心为坐标原点。
地面区域的平面坐标同样可以通过上述公式计算其三维坐标，另外，终端设备也可以采用点云拟合的方式获取高精度的地面区域的平面坐标，具体请参阅图6，图6是图1所示高度测量方法S104子步骤的流程示意图。
如图6所示，S104具体可以包括以下子步骤：
S401：基于地面区域的实例分割结果获取基准平面。
终端设备基于地面区域的实例分割结果得到基准平面的掩膜。
S402：获取深度图中对应地面区域的地面像素点的三维坐标。
其中，为了使得拟合出的基准平面更为精确，本申请实施例在选择地面像素点进行地面点云重建时进行了筛选，筛选标准是选择靠近中心位置的像素点。这是由于虽然已经在前述步骤中对双目图像进行畸变校正处理去畸变，但靠近图像边缘的像素点依然会因为图像畸变的原因导致视差值估计得不准确，导致基准平面的重建效果不佳，影响后续的高度估计。
S403：利用地面像素点的三维坐标以对基准平面进行平面拟合，得到拟合后的平面坐标。
其中，在筛选完地面区域的有效像素点后，终端设备利用这些有效像素点重建地面区域的点云，并对这些地面的点云进行平面拟合，得到基准平面的方程Ax+By+Cz+D＝0。在本申请实施例中，采用RANSAC(Random Sample Consensus，随机采样一致性算法)的方法来进行空间平面方程拟合，设定迭代次数为200次，内点判定阈值为10cm，当拟合的平面满足内点比例高于百分之九十之后，停止RANSAC迭代，计算得到最终的平面方程。另外，其他合适的方法也可用于本申请的空间平面方程拟合，在此不再赘述。
RANSAC算法是从一组含有外点的数据中正确估计数学模型参数的迭代算法，可以有效的避免异常点对于拟合过程中的影响。拟合结果可见图7，其中地面区域为拟合的平面，可以看出拟合的平面较为平整，效果较好。
S105：基于目标点的三维坐标和平面坐标获取目标的高度。
其中，在拟合基准平面的方程之后，终端设备可以轻易获取任意目标点对应的高度值。
具体地，在现有技术中，目标的顶部点是通过特征检测算法来获取，或者是通过人工选点的操作来获取，这些方法都存在着一定的误差，导致高度测量的结果不准。
在本申请实施例中，实例分割结果中的目标掩膜，可以有效将属于目标的像素点单独划分出来，并将其映射到三维点云坐标下，取该类的三维坐标点中距离基准平面最远的有效三维坐标点作为目标的顶部点即可，该三维坐标点的高度值即为目标的高度值。另外，对于多目标场景而言，终端设备分别取各个目标实例的点云即可得到计算出对应目标实例的高度，在此不一一描述计算过程。
如图8所述，终端设备基于相机参数计算出相机高度为1.84m，目标高度为1.77m，差距小于0.05m，符合实际测量高度。另外，本申请的高度测量方法同样支持手动选点计算高度，在使用者认为算法算出的高度不可信时，可以通过手动选择顶点的方式进行确认。如图8所示，手动选择目标头部，得到高度为1.77m，与算法自动计算得到的结果一致。点击其他位置的目标点，可以看出其高度范围和变化趋势正常。手动点击地面，可以看到地面的高度基本为0左右，且上下浮动较小，说明拟合的基准平面较为平整，效果较好。本申请实施例的高度测量方法简单有效，全自动获取高度结果，不需要进行人工干预，适合各种测高场景。
在本申请实施例中，终端设备获取双目图像，其中，双目图像包括左目图像和右目图像；将双目图像输入预设网络模型，获取视差图以及实例分割图，其中，视差图为左目图像和右目图像中相同点位置的像素级差距；利用视差图以及实例分割图确定地面区域和目标区域，以及利用视差图和相机参数获取深度图；通过深度图获取目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标；基于所述目标点的三维坐标和所述平面坐标获取目标的高度。通过上述方法，本申请通过拟合地面区域的平面坐标，不需要手动选取地面点，使得高度测量方法智能快速，提高高度测量效率。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为了实现上述实施例的高度测量方法，本申请还提供了一种终端设备，具体请参阅图9，图9是本申请提供的终端设备一实施例的结构示意图。
如图9所示，本实施例的终端设备400包括图像获取模块41、网络训练模块42、区域确定模块43、坐标获取模块44以及高度测量模块45；其中，
图像获取模块41，用于获取双目图像，其中，所述双目图像包括左目图像和右目图像。
网络训练模块42，用于将所述双目图像输入预设网络模型，获取视差图以及实例分割图，其中，所述视差图为所述左目图像和所述右目图像中相同点位置的像素级差距。
区域确定模块43，用于利用所述视差图以及所述实例分割图确定地面区域和目标区域，以及利用所述视差图和相机参数获取深度图。
坐标获取模块44，用于通过所述深度图获取所述目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标。
高度测量模块45，用于基于所述目标点的三维坐标和所述平面坐标获取所述目标的高度。
为了实现上述实施例的高度测量方法，本申请还提供了另一种终端设备，具体请参阅图10，图10是本申请提供的终端设备另一实施例的结构示意图。
如图10所示，本实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有计算机程序，处理器51用于执行计算机程序以实现上述实施例的高度测量方法。
在本实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器51还可以是GPU(Graphics Processing Unit，图形处理器)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。GPU的用途是将计算机系统所需要的显示信息进行转换驱动，并向显示器提供行扫描信号，控制显示器的正确显示，是连接显示器和个人电脑主板的重要元件，也是“人机对话”的重要设备之一。显卡作为电脑主机里的一个重要组成部分，承担输出显示图形的任务，对于从事专业图形设计的人来说显卡非常重要。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图11所示，计算机存储介质600用于存储计算机程序61，计算机程序61在被处理器执行时，用以实现如本申请高度测量方法实施例中所述的方法。
本申请高度测量方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在设备中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种高度测量方法，其特征在于，所述高度测量方法包括：
获取双目图像，其中，所述双目图像包括左目图像和右目图像；
将所述双目图像输入预设网络模型，获取视差图以及实例分割图，其中，所述视差图为所述左目图像和所述右目图像中相同点位置的像素级差距；
利用所述视差图以及所述实例分割图确定地面区域和目标区域，以及利用所述视差图和相机参数获取深度图；
通过所述深度图获取所述目标区域中目标点的三维坐标，以及获取所述地面区域的平面坐标；
基于所述目标点的三维坐标和所述平面坐标获取所述目标的高度。
2.根据权利要求1所述的高度测量方法，其特征在于，
所述将所述双目图像输入预设网络模型，获取视差图以及实例分割图之后，包括：
通过视差图优化函数对所述视差图进行优化，通过实例分割优化函数对所述实例分割图进行优化；
利用前后向实例一致性优化函数和所述视差图进一步对所述实例分割图进行优化；
利用视差平滑优化函数和所述实例分割图进一步对所述视差图进行优化。
3.根据权利要求2所述的高度测量方法，其特征在于，
所述利用前后向实例一致性优化函数和所述视差图进一步对所述实例分割图进行优化，包括：
获取所述左目图像的实例分割图，以及所述右目图像的实例分割图；
以所述左目图像的视角为参考视角，将所述左目图像的实例分割图变换到所述右目图像的视角的实例分割图；
获取所述右目图像的实例分割图与变换后所述左目图像的实例分割图的平均交并比，以及利用所述平均交并比对所述实例分割图进行优化。
4.根据权利要求2所述的高度测量方法，其特征在于，
所述利用视差平滑优化函数和所述实例分割图进一步对所述视差图进行优化，包括：
获取优化区域中的有效像素，其中，所述优化区域包括所述地面区域和/或目标区域；
获取所述视差图中优化区域在水平方向和竖直方向上的视差梯度图；
获取所述实例分割图中优化区域在水平方向和竖直方向上的实例分割梯度图；
利用所述优化区域中有效像素的数量、视差梯度图以及实例分割梯度图对所述视差图进行优化。
5.根据权利要求1所述的高度测量方法，其特征在于，
所述获取所述地面区域的平面坐标，包括：
基于所述地面区域的实例分割结果获取基准平面；
获取所述深度图中对应所述地面区域的地面像素点的三维坐标；
利用所述地面像素点的三维坐标以对所述基准平面进行平面拟合，得到拟合后的平面坐标。
6.根据权利要求5所述的高度测量方法，其特征在于，
所述获取所述深度图中对应所述地面区域的地面像素点的三维坐标，包括：
获取所述深度图中对应所述地面区域的所有地面像素点；
筛选出所述所有地面像素点中靠近中心位置的地面像素点；
将所述靠近中心位置的地面像素点的三维坐标用于平面拟合。
7.根据权利要求1所述的高度测量方法，其特征在于，
所述利用所述视差图和相机参数获取深度图，包括：
利用所述相机参数获取左右相机之间的基线距离以及相机焦距；
利用所述视差图获取所述目标点在所述左目图像和所述右目图像中横坐标之差；
通过所述基线距离、所述相机焦距以及所述目标点的横坐标之差计算深度图。
8.根据权利要求1所述的高度测量方法，其特征在于，
所述基于所述目标点的三维坐标和所述平面坐标获取所述目标的高度，包括：
获取所述目标区域中所有目标点的三维坐标，以及计算所述所有目标点的三维坐标与所述地面坐标的差值；
将差值最大的目标点作为目标顶点，以及将所述目标顶点的三维坐标与所述地面坐标的差值作为目标的高度值。
9.根据权利要求1所述的高度测量方法，其特征在于，
所述获取双目图像之后，包括：
对所述双目图像进行预处理，其中，所述预处理包括畸变校正和极线矫正。
10.一种终端设备，其特征在于，所述终端设备包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1～9中任一项所述高度测量方法的步骤。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1～9中任一项所述高度测量方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287712.6A CN113077476B (zh) | 2021-03-17 | 2021-03-17 | 一种高度测量方法、终端设备以及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110287712.6A CN113077476B (zh) | 2021-03-17 | 2021-03-17 | 一种高度测量方法、终端设备以及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077476A true CN113077476A (zh) | 2021-07-06 |
| CN113077476B CN113077476B (zh) | 2023-04-18 |
Family
ID=76612772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110287712.6A Active CN113077476B (zh) | 2021-03-17 | 2021-03-17 | 一种高度测量方法、终端设备以及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077476B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049980A (zh) * | 2022-06-16 | 2022-09-13 | 威海经济技术开发区天智创新技术研究院 | 基于图像的目标对象确定方法、装置及电子设备 |
| CN115183876A (zh) * | 2022-09-09 | 2022-10-14 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115861439A (zh) * | 2022-12-08 | 2023-03-28 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN116071353A (zh) * | 2023-03-06 | 2023-05-05 | 成都盛锴科技有限公司 | 一种螺栓装配检测方法及系统 |
| CN116912320A (zh) * | 2023-09-13 | 2023-10-20 | 齐鲁空天信息研究院 | 对象高程坐标的定位方法、装置、电子设备及介质 |
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994018797A1 (de) * | 1993-02-09 | 1994-08-18 | Siemens Aktiengesellschaft | Verfahren zur objektorientierten segmentierung von stereoskopischen bildern oder bildsequenzen |
| US20090041337A1 (en) * | 2007-08-07 | 2009-02-12 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| CN109544613A (zh) * | 2018-11-23 | 2019-03-29 | 南昌航空大学 | 一种基于稠密网络深度学习的双目立体匹配方法及系统 |
| CN110287964A (zh) * | 2019-06-13 | 2019-09-27 | 浙江大华技术股份有限公司 | 一种立体匹配方法及装置 |
| CN112200771A (zh) * | 2020-09-14 | 2021-01-08 | 浙江大华技术股份有限公司 | 一种高度测量方法、装置、设备和介质 |
-
2021
- 2021-03-17 CN CN202110287712.6A patent/CN113077476B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994018797A1 (de) * | 1993-02-09 | 1994-08-18 | Siemens Aktiengesellschaft | Verfahren zur objektorientierten segmentierung von stereoskopischen bildern oder bildsequenzen |
| US20090041337A1 (en) * | 2007-08-07 | 2009-02-12 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
| CN109544613A (zh) * | 2018-11-23 | 2019-03-29 | 南昌航空大学 | 一种基于稠密网络深度学习的双目立体匹配方法及系统 |
| CN110287964A (zh) * | 2019-06-13 | 2019-09-27 | 浙江大华技术股份有限公司 | 一种立体匹配方法及装置 |
| CN112200771A (zh) * | 2020-09-14 | 2021-01-08 | 浙江大华技术股份有限公司 | 一种高度测量方法、装置、设备和介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049980A (zh) * | 2022-06-16 | 2022-09-13 | 威海经济技术开发区天智创新技术研究院 | 基于图像的目标对象确定方法、装置及电子设备 |
| CN115183876A (zh) * | 2022-09-09 | 2022-10-14 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115183876B (zh) * | 2022-09-09 | 2022-12-09 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115861439A (zh) * | 2022-12-08 | 2023-03-28 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN115861439B (zh) * | 2022-12-08 | 2023-09-29 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN116071353A (zh) * | 2023-03-06 | 2023-05-05 | 成都盛锴科技有限公司 | 一种螺栓装配检测方法及系统 |
| CN116071353B (zh) * | 2023-03-06 | 2023-09-05 | 成都盛锴科技有限公司 | 一种螺栓装配检测方法及系统 |
| CN116912320A (zh) * | 2023-09-13 | 2023-10-20 | 齐鲁空天信息研究院 | 对象高程坐标的定位方法、装置、电子设备及介质 |
| CN116912320B (zh) * | 2023-09-13 | 2023-12-22 | 齐鲁空天信息研究院 | 对象高程坐标的定位方法、装置、电子设备及介质 |
| CN116958265A (zh) * | 2023-09-19 | 2023-10-27 | 交通运输部天津水运工程科学研究所 | 一种基于双目视觉的船舶位姿测量方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077476B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077476B (zh) | 一种高度测量方法、终端设备以及计算机存储介质 | |
| US8199977B2 (en) | System and method for extraction of features from a 3-D point cloud | |
| US8903161B2 (en) | Apparatus for estimating robot position and method thereof | |
| CN111723721A (zh) | 基于rgb-d的三维目标检测方法、系统及装置 | |
| US9240048B2 (en) | Depth estimation using three-dimensional epipolar data structures | |
| CN104820991B (zh) | 一种基于代价矩阵的多重软约束立体匹配方法 | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN111476242A (zh) | 一种激光点云语义分割方法及装置 | |
| CN113989758A (zh) | 一种用于自动驾驶的锚引导3d目标检测方法及装置 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN113093216A (zh) | 一种激光雷达和相机融合的不规则物体测量方法 | |
| CN114998328A (zh) | 一种基于机器视觉的工件喷涂缺陷检测方法、系统及可读存储介质 | |
| CN108010002B (zh) | 一种基于自适应隐式移动最小二乘的结构化点云去噪方法 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN117132630A (zh) | 一种基于二阶空间兼容性度量的点云配准方法 | |
| CN113838069A (zh) | 基于平面度约束的点云分割方法和系统 | |
| CN110942102B (zh) | 一种概率松弛核线匹配方法及系统 | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| CN116051540B (zh) | 基于点云模型的互感器接线端子定位位姿获取方法及系统 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| CN114331919B (zh) | 深度恢复方法、电子设备及存储介质 | |
| CN113723380B (zh) | 基于雷达技术的人脸识别方法、装置、设备和存储介质 | |
| CN112991525B (zh) | 像方和物方混合匹配基元的数字表面模型生成方法 | |
| CN113932712A (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
| CN116188497B (zh) | 立体遥感影像对生成dsm优化方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |