CN115257767B - 一种基于平面靶标的路面障碍物测高方法和系统 - Google Patents

一种基于平面靶标的路面障碍物测高方法和系统 Download PDF

Info

Publication number
CN115257767B
CN115257767B CN202211171832.0A CN202211171832A CN115257767B CN 115257767 B CN115257767 B CN 115257767B CN 202211171832 A CN202211171832 A CN 202211171832A CN 115257767 B CN115257767 B CN 115257767B
Authority
CN
China
Prior art keywords
target
value
parallax
image
lower edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211171832.0A
Other languages
English (en)
Other versions
CN115257767A (zh
Inventor
王欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Huiyan (Tianjin) Electronics Co.,Ltd.
Original Assignee
Zhongke Huiyan Tianjin Research And Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Huiyan Tianjin Research And Development Co ltd filed Critical Zhongke Huiyan Tianjin Research And Development Co ltd
Priority to CN202211171832.0A priority Critical patent/CN115257767B/zh
Publication of CN115257767A publication Critical patent/CN115257767A/zh
Application granted granted Critical
Publication of CN115257767B publication Critical patent/CN115257767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于平面靶标的路面障碍物测高方法和系统，方法包括：提取图像内目标待测物的位置信息；基于预存的查找表和位置信息，确定下边缘的目标视差值，并基于视差图和位置信息，确定上边缘的实际视差值和下边缘的实际视差值；其中，查找表是利用预先制备的平面靶标、获取的平面靶标范围内所有地面点的目标视差值构成的；根据下边缘的目标视差值和下边缘的实际视差值，计算视差差异值；基于视差差异值和上边缘的实际视差值，得到修正视差值；根据修正视差值计算上边缘的高度值；基于上边缘的高度值和下边缘的高度值，计算目标待测物的高度值。解决了现有技术中高度测量准确性差的问题。

Description

一种基于平面靶标的路面障碍物测高方法和系统
技术领域
本发明涉及辅助驾驶技术领域，具体涉及一种基于平面靶标的路面障碍物测高方法和系统。
背景技术
在自动驾驶和辅助驾驶领域，为了保证行车安全和舒适性，需要对路面障碍物进行高度测量。
在进行障碍物高度测量时，利用双目相机仿照人眼的成像方法，可以估计视野内物体的空间位置及物理信息。其原理是基于两个镜头获取得到的左右图像进行匹配，获得视差图，视差图又可以根据以下公式转换为空间三维点云：
Figure 700967DEST_PATH_IMAGE001
其中X、Y、Z分别表示视差图中某一点在三维空间中的坐标值；
Figure 123858DEST_PATH_IMAGE002
和
Figure 245397DEST_PATH_IMAGE003
分别表示该点在视差图中的x和y的坐标值；
Figure 615199DEST_PATH_IMAGE004
表示该点的视差值；
Figure 850002DEST_PATH_IMAGE005
和
Figure 647057DEST_PATH_IMAGE006
表示相机内参中的光心坐标；Baseline表示相机外参的基线长度，focus表示相机的焦距。
现有测高方法中，获取视差图后，即可以获取物体的高度，宽度以及距离信息。但是在实际应用中，由于相机的安装存在误差，因此俯仰角很难达到0°；同时视差值的计算也存在一定的误差，因此，根据视差图直接获得的高度信息并不准确。
发明内容
为此，本发明实施例提供一种基于平面靶标的路面障碍物测高方法和系统，以解决现有技术中高度测量准确性差的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
本发明提供一种基于平面靶标的路面障碍物测高方法，所述方法包括：
获取预设目标区域内的图像和视差图；
提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
根据所述修正视差值计算所述上边缘的高度值；
基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
在一些实施例中，预先制备平面靶标，具体包括：
获取矩形靶标的靶标图像；
提取所述靶标图像中每个棋盘格的四个顶点的图像坐标
Figure 255893DEST_PATH_IMAGE007
，并确定目标靶标中每个棋盘格的四个顶点的图像坐标
Figure 163806DEST_PATH_IMAGE008
；
基于图像坐标
Figure 502383DEST_PATH_IMAGE007
和所述图像坐标
Figure 470339DEST_PATH_IMAGE008
，利用矩阵变换算法，确定所述目标靶标的图案比例；
根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
在一些实施例中，基于图像坐标
Figure 566471DEST_PATH_IMAGE007
和所述图像坐标
Figure 746917DEST_PATH_IMAGE008
，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：
将所述图像坐标
Figure 877684DEST_PATH_IMAGE007
和所述图像坐标
Figure 16541DEST_PATH_IMAGE008
的坐标点带入透视变换矩阵的变换公式，所述变换公式为：
Figure 334390DEST_PATH_IMAGE009
其中，i =1,2,3,4，
Figure 928314DEST_PATH_IMAGE010
和
Figure 913587DEST_PATH_IMAGE011
表示
Figure 223346DEST_PATH_IMAGE007
的四个角点坐标；m表示透视变换矩阵；
Figure 28491DEST_PATH_IMAGE012
表示经过m矩阵变换得到的三维空间点，其中，
Figure 675373DEST_PATH_IMAGE012
与图像坐标
Figure 515153DEST_PATH_IMAGE008
的关系为：
Figure 995813DEST_PATH_IMAGE013
其中，
Figure 553833DEST_PATH_IMAGE014
表示图像坐标
Figure 348614DEST_PATH_IMAGE008
的四个角点，m矩阵为：
Figure 308479DEST_PATH_IMAGE015
其中，
Figure 960041DEST_PATH_IMAGE016
，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；
基于m矩阵确定所述目标靶标的图案比例。
在一些实施例中，构建所述查找表，具体包括：
提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；
遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
在一些实施例中，利用以下公式，计算所述下边缘的高度值：
Figure 739778DEST_PATH_IMAGE017
其中，
Figure 479195DEST_PATH_IMAGE018
为下边缘的纵坐标值，
Figure 293567DEST_PATH_IMAGE019
为下边缘的目标视差值。
在一些实施例中，利用以下公式，计算所述上边缘的高度值：
Figure 116030DEST_PATH_IMAGE020
其中，
Figure 710959DEST_PATH_IMAGE021
为上边缘的纵坐标值，
Figure 909859DEST_PATH_IMAGE022
为修正视差值。
本发明还提供一种基于平面靶标的路面障碍物测高系统，所述系统包括：
原始图像获取单元，用于获取预设目标区域内的图像和视差图；
位置信息提取单元，用于提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
视差值计算单元，用于基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
差异值计算单元，用于根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
视差修正单元，用于基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
高度值计算单元，用于根据所述修正视差值计算所述上边缘的高度值；
结果输出单元，用于基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
本发明所提供的基于平面靶标的路面障碍物测高方法和系统，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之一；
图2为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之二；
图3为放置于地面的普通靶标成像效果图；
图4为理想棋盘格成像效果图；
图5为重新设计的目标靶标的效果图；
图6为目标靶标的成像效果图
图7为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之三；
图8为一个使用场景中限高杆的图像；
图9为本发明所提供的基于平面靶标的路面障碍物测高系统的结构框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中，直接通过视差图获取障碍物高度值而导致的测高准确性较差的问题，本发明提供了一种基于平面靶标的路面障碍物测高方法和系统，通过对平面靶标的重新构造，以及对测高结果进行修正的方式，有效提高了路面障碍物的测高准确性。
请参考图1，图1为本发明所提供的基于平面靶标的路面障碍物测高方法的流程示意图之一。
在一种具体实施方式中，本发明提供的基于平面靶标的路面障碍物测高方法包括以下步骤：
S101：获取预设目标区域内的图像和视差图；
S102：提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
S103：基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；获得所有地面点的目标视差值后，将结果存成查找表形式便于计算，查找表的索引为图像的坐标值，这样在后续检测过程中，输入一个坐标值，就可以获得对应的目标视差值。
S104：根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
S105：基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
S106：根据所述修正视差值计算所述上边缘的高度值；
S107：基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
具体地，在进行高度测量时，首先会获取到待测目标在图像中的位置，绝大多数情况下，待测物的下边缘为接地点。根据待测目标的下边缘在图像中的坐标值
Figure 578738DEST_PATH_IMAGE023
，再结合查找表就可以获得下边缘的目标视差值
Figure 572102DEST_PATH_IMAGE024
。同时，根据
Figure 795273DEST_PATH_IMAGE023
并结合视差图可以获取下边缘的实际视差值
Figure 797864DEST_PATH_IMAGE025
，记录实际视差值与目标视差值的差异
Figure 321249DEST_PATH_IMAGE026
。一般情况下待测目标下边缘由多个点组成，此时
Figure 485514DEST_PATH_IMAGE027
取值为所有差异的均值。
而后根据待测目标上边缘在图像中的坐标值
Figure 802838DEST_PATH_IMAGE028
，结合视差图可以获取上边缘的实际视差值
Figure 343541DEST_PATH_IMAGE029
，利用现有技术中的测高公式，可以分别计算待测目标上下边缘的高度值，其中下边缘计算公式（1）为：
Figure 721433DEST_PATH_IMAGE030
其中，
Figure 322178DEST_PATH_IMAGE031
为下边缘的纵坐标值，
Figure 113417DEST_PATH_IMAGE032
为目标视差值。
待测目标上边缘计算公式（2）为：
Figure 457811DEST_PATH_IMAGE033
其中，
Figure 690209DEST_PATH_IMAGE034
为上边缘的纵坐标值，
Figure 461856DEST_PATH_IMAGE035
为修正后的视差值。
最终待测目标的高度为上边缘高度减去下边缘高度，计算公式（3）如下：
Figure 881336DEST_PATH_IMAGE036
在一些实施例中，如图2所示，预先制备平面靶标具体包括以下步骤：
S201：获取矩形靶标的靶标图像；
S202：提取所述靶标图像中每个棋盘格的四个顶点的图像坐标
Figure 763841DEST_PATH_IMAGE037
，并确定目标靶标中每个棋盘格的四个顶点的图像坐标
Figure 116325DEST_PATH_IMAGE038
；
S203：基于图像坐标
Figure 137502DEST_PATH_IMAGE037
和所述图像坐标
Figure 575436DEST_PATH_IMAGE038
，利用矩阵变换算法，确定所述目标靶标的图案比例；
S204：根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
其中，基于图像坐标
Figure 261633DEST_PATH_IMAGE037
和所述图像坐标
Figure 468623DEST_PATH_IMAGE038
，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：
将所述图像坐标
Figure 50914DEST_PATH_IMAGE037
和所述图像坐标
Figure 976145DEST_PATH_IMAGE038
的坐标点带入透视变换矩阵的变换公式，所述变换公式为：
Figure 200453DEST_PATH_IMAGE039
其中，i =1,2,3,4，
Figure 527529DEST_PATH_IMAGE040
和
Figure 874197DEST_PATH_IMAGE041
表示
Figure 286723DEST_PATH_IMAGE037
的四个角点坐标；m表示透视变换矩阵；
Figure 314722DEST_PATH_IMAGE042
表示经过m矩阵变换得到的三维空间点，其中，
Figure 496305DEST_PATH_IMAGE042
与图像坐标
Figure 295765DEST_PATH_IMAGE038
的关系为：
Figure 930008DEST_PATH_IMAGE043
其中
Figure 496119DEST_PATH_IMAGE044
表示图像坐标
Figure 797787DEST_PATH_IMAGE038
的四个角点，m矩阵为：
Figure 627203DEST_PATH_IMAGE045
其中，
Figure 748743DEST_PATH_IMAGE046
，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；
基于m矩阵确定所述目标靶标的图案比例。
在一个具体使用场景中，为了提高测高准确性，首先需要对地面靶标进行重新设计。在进行标定时需要在地面放置棋盘格靶标辅助标定，常用棋盘格放置于地面时，由于透视投影关系，在图像中成像变形严重，图案的正方形黑白格已经变为梯形，如图3所示。
如果基于该图像进行角点提取将会非常困难，因此需要重新设计靶标。首先手动提取图3中棋盘格靶标四个顶点的图像坐标
Figure 118544DEST_PATH_IMAGE037
，再根据棋盘格靶标的真实比例获取图4理想棋盘格四个顶点的图像坐标
Figure 274719DEST_PATH_IMAGE038
。将
Figure 399670DEST_PATH_IMAGE037
和
Figure 8506DEST_PATH_IMAGE038
的坐标点带入透视变换矩阵的变换公式，如公式（4）：
Figure 916419DEST_PATH_IMAGE047
其中，i=1,2,3,4，
Figure 271308DEST_PATH_IMAGE040
和
Figure 239264DEST_PATH_IMAGE041
表示P1的四个角点坐标；m表示透视变换矩阵；
Figure 335396DEST_PATH_IMAGE048
表示经过m矩阵变换得到的三维空间点，因为图像在二维平面，因此
Figure 47000DEST_PATH_IMAGE048
与图像点P2的关系为如公式（5）：
Figure 115450DEST_PATH_IMAGE049
其中
Figure 254308DEST_PATH_IMAGE050
表示P2的四个角点。m矩阵有9个参数组成，如公式（6）：
Figure 837736DEST_PATH_IMAGE051
其中，
Figure 353031DEST_PATH_IMAGE052
。因此m矩阵有8个未知量，可由4个点对组成的8个方程进行求解。
获得m矩阵后，将该m矩阵应用于图4所示的棋盘格，可以获得该方案需要的棋盘格图案比例，根据比例绘制出来本专利需要的地面标定靶标如图5所示。
该靶标平放于地面时，其成像效果如图6所示，由于图6的成像效果克服了图像采集时的形变，接近于普通棋盘格靶标，因此基于图6进行角点提取，将会更加准确。
在一些实施例中，如图7所示，构建所述查找表，具体包括以下步骤：
S701：提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；
S702：遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
具体地，在步骤S701中获取得到靶标区域的角点坐标后，需要进一步获得对应点的目标视差值。根据现有技术中空间坐标Y的计算方式，可以获得视差值d的计算公式：
Figure 666200DEST_PATH_IMAGE053
其中，
Figure 975959DEST_PATH_IMAGE054
表示该点的纵坐标值，
Figure 46683DEST_PATH_IMAGE055
表示相机内参中的光心纵坐标，Baseline表示相机外参的基线长度，均为已知量。由于所求点都是地面点，因此，该式中Y表示相机距离地面的高度，也即相机的安装高度，可以直接测量获得。
将获取得到的坐标点带入公式（7），就可以获取对应点的目标视差值。
重复上述步骤S701，可以获取靶标放置位置所有棋盘格角点的目标视差值，这些目标视差值是离散的，想要实现任意位置的标定，需要获取整个靶标所在位置所有点的目标视差值。
步骤S701中获取的角点规律性较强，非常适用于双线性插值方法，根据四个点的坐标值和目标视差值，即可获得这四个点围成区域所有点的目标视差值。这样利用每四个相邻坐标点就可以获取这一小片区域的目标视差值，进而获取整个靶标位置的目标视差值。靶标放置区域完成标定后，再将靶标挪动到下一个不重叠的位置，就可以实现视野内所有地面点的标定。
为了验证本发明所提供的方法的效果，使用不同位置及不同高度的待测目标进行测试。测试步骤为，首先进行标定并获取地面目标视差的查找表；接着在不同距离拍摄待测物（本专利选择有明显高度标识的限高杆作为待测物，如图8所示）；然后通过标注的方法获取限高杆不同高度位置的坐标值；其次分别用真实视差值和标定修正后的视差值计算待测位置的高度；最后统计平均误差。
多次测量最终误差统计如下表：
Figure 193367DEST_PATH_IMAGE056
从误差结果上来分析，经过地面标定，并进行视差修正后，测高结果的误差明显降低，证明了该方案测高修正的有效性。
在上述具体实施方式中本发明所提供的基于平面靶标的路面障碍物测高方法，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
除了上述方法，本发明还提供一种基于平面靶标的路面障碍物测高系统，如图9所示，所述系统包括：
原始图像获取单元901，用于获取预设目标区域内的图像和视差图；
位置信息提取单元902，用于提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
视差值计算单元903，用于基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
差异值计算单元904，用于根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
视差修正单元905，用于基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
高度值计算单元906，用于根据所述修正视差值计算所述上边缘的高度值；
结果输出单元907，用于基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。
在一些实施例中，预先制备平面靶标，具体包括：
获取矩形靶标的靶标图像；
提取所述靶标图像中每个棋盘格的四个顶点的图像坐标
Figure 33147DEST_PATH_IMAGE057
，并确定目标靶标中每个棋盘格的四个顶点的图像坐标
Figure 513807DEST_PATH_IMAGE058
；
基于图像坐标
Figure 71827DEST_PATH_IMAGE057
和所述图像坐标
Figure 132187DEST_PATH_IMAGE058
，利用矩阵变换算法，确定所述目标靶标的图案比例；
根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
在一些实施例中，基于图像坐标
Figure 826473DEST_PATH_IMAGE057
和所述图像坐标
Figure 743614DEST_PATH_IMAGE058
，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：
将所述图像坐标
Figure 523351DEST_PATH_IMAGE057
和所述图像坐标
Figure 246456DEST_PATH_IMAGE058
的坐标点带入透视变换矩阵的变换公式，所述变换公式为：
Figure 60829DEST_PATH_IMAGE059
其中，i =1,2,3,4，
Figure 883291DEST_PATH_IMAGE060
和
Figure 150324DEST_PATH_IMAGE061
表示
Figure 818066DEST_PATH_IMAGE057
的四个角点坐标；m表示透视变换矩阵；
Figure 486945DEST_PATH_IMAGE062
表示经过m矩阵变换得到的三维空间点，其中，
Figure 480309DEST_PATH_IMAGE062
与图像坐标
Figure 234638DEST_PATH_IMAGE058
的关系为：
Figure 50278DEST_PATH_IMAGE063
其中
Figure 573664DEST_PATH_IMAGE064
表示图像坐标
Figure 3508DEST_PATH_IMAGE058
的四个角点，m矩阵为：
Figure 573030DEST_PATH_IMAGE065
其中，
Figure 848153DEST_PATH_IMAGE066
，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；
基于m矩阵确定所述目标靶标的图案比例。
在一些实施例中，构建所述查找表，具体包括：
提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；
遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
在一些实施例中，利用以下公式，计算所述下边缘的高度值：
Figure 491624DEST_PATH_IMAGE067
其中，
Figure 826790DEST_PATH_IMAGE068
为下边缘的纵坐标值，
Figure 572024DEST_PATH_IMAGE069
为下边缘的目标视差值。
在一些实施例中，利用以下公式，计算所述上边缘的高度值：
Figure 119680DEST_PATH_IMAGE070
其中，
Figure 617657DEST_PATH_IMAGE071
为上边缘的纵坐标值，
Figure 389304DEST_PATH_IMAGE072
为修正视差值。
在上述具体实施方式中，本发明所提供的基于平面靶标的路面障碍物测高系统，通过获取预设目标区域内的图像和视差图；提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；根据所述修正视差值计算所述上边缘的高度值；基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值。这样，通过对视差值的修正，以及采用预先制备的平面靶标作为构建查找表的基础，显著提高了高度测量的准确性，解决了现有技术中高度测量准确性差的问题。
本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。
与上述实施例相对应的，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data Rate SDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Sync link DRAM，简称SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机可读存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (8)

1.一种基于平面靶标的路面障碍物测高方法，其特征在于，所述方法包括：
获取预设目标区域内的图像和视差图；
提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
根据所述修正视差值计算所述上边缘的高度值；
基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值；
其中，预先制备平面靶标，具体包括：
获取矩形靶标的靶标图像；
提取所述靶标图像中每个棋盘格的四个顶点的图像坐标
Figure 159133DEST_PATH_IMAGE001
，并确定目标靶标中每个棋盘格的四个顶点的图像坐标
Figure 515028DEST_PATH_IMAGE002
；
基于图像坐标
Figure 696611DEST_PATH_IMAGE001
和所述图像坐标
Figure 886284DEST_PATH_IMAGE002
，利用矩阵变换算法，确定所述目标靶标的图案比例；
根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
2.根据权利要求1所述的基于平面靶标的路面障碍物测高方法，其特征在于，基于图像坐标
Figure 881047DEST_PATH_IMAGE001
和所述图像坐标
Figure 447157DEST_PATH_IMAGE002
，利用矩阵变换算法，确定所述目标靶标的图案比例，具体包括：
将所述图像坐标
Figure 748826DEST_PATH_IMAGE001
和所述图像坐标
Figure 109400DEST_PATH_IMAGE002
的坐标点带入透视变换矩阵的变换公式，所述变换公式为：
Figure 699781DEST_PATH_IMAGE003
其中，i =1,2,3,4，
Figure 69583DEST_PATH_IMAGE004
和
Figure 960178DEST_PATH_IMAGE005
表示
Figure 757233DEST_PATH_IMAGE001
的四个角点坐标；m表示透视变换矩阵；
Figure 959544DEST_PATH_IMAGE006
表示经过m矩阵变换得到的三维空间点，其中，
Figure 133037DEST_PATH_IMAGE006
与图像坐标
Figure 143718DEST_PATH_IMAGE002
的关系为：
Figure 439570DEST_PATH_IMAGE007
其中
Figure 535702DEST_PATH_IMAGE008
表示图像坐标
Figure 247306DEST_PATH_IMAGE002
的四个角点，m矩阵为：
Figure 112494DEST_PATH_IMAGE009
其中，
Figure 720193DEST_PATH_IMAGE010
，m矩阵有8个未知量，由4个点对组成的8个方程进行求解；
基于m矩阵确定所述目标靶标的图案比例。
3.根据权利要求2所述的基于平面靶标的路面障碍物测高方法，其特征在于，构建所述查找表，具体包括：
提取预先制备的平面靶标中棋盘格角点的角点坐标，并计算所述棋盘格角点的目标视差值；
遍历所述平面靶标范围的所有地面点，并提取所述平面靶标范围内所有地面点的目标视差值，以构成所述查找表。
4.根据权利要求1所述的基于平面靶标的路面障碍物测高方法，其特征在于，利用以下公式，计算所述下边缘的高度值：
Figure 303621DEST_PATH_IMAGE011
其中，
Figure 553337DEST_PATH_IMAGE012
为上边缘高度值，
Figure 538610DEST_PATH_IMAGE013
为下边缘的纵坐标值，
Figure 176265DEST_PATH_IMAGE014
为相机内参中的光心纵坐标；Baseline表示相机外参的基线长度，
Figure 246989DEST_PATH_IMAGE015
为下边缘的目标视差值。
5.根据权利要求1所述的基于平面靶标的路面障碍物测高方法，其特征在于，利用以下公式，计算所述上边缘的高度值：
Figure 300396DEST_PATH_IMAGE016
其中，Baseline表示相机外参的基线长度，
Figure 140176DEST_PATH_IMAGE014
为相机内参中的光心纵坐标，
Figure 89677DEST_PATH_IMAGE017
为上边缘高度值，
Figure 382118DEST_PATH_IMAGE018
为上边缘的纵坐标值，
Figure 239216DEST_PATH_IMAGE019
为修正视差值。
6.一种基于平面靶标的路面障碍物测高系统，其特征在于，所述系统包括：
原始图像获取单元，用于获取预设目标区域内的图像和视差图；
位置信息提取单元，用于提取所述图像内目标待测物的位置信息，所述位置信息至少包括所述目标待测物的上边缘在所述图像中的坐标值和所述目标待测物的下边缘在所述图像中的坐标值；
视差值计算单元，用于基于预存的查找表和所述位置信息，确定所述下边缘的目标视差值，并基于所述视差图和所述位置信息，确定所述上边缘的实际视差值和所述下边缘的实际视差值；其中，所述查找表是利用预先制备的平面靶标、获取的所述平面靶标范围内所有地面点的目标视差值构成的；
差异值计算单元，用于根据所述下边缘的目标视差值和所述下边缘的实际视差值，计算视差差异值；
视差修正单元，用于基于所述视差差异值和所述上边缘的实际视差值，得到修正视差值；
高度值计算单元，用于根据所述修正视差值计算所述上边缘的高度值；
结果输出单元，用于基于所述上边缘的高度值和所述下边缘的高度值，计算所述目标待测物的高度值；
其中，预先制备平面靶标，具体包括：
获取矩形靶标的靶标图像；
提取所述靶标图像中每个棋盘格的四个顶点的图像坐标
Figure 933502DEST_PATH_IMAGE020
，并确定目标靶标中每个棋盘格的四个顶点的图像坐标
Figure 411495DEST_PATH_IMAGE021
；
基于图像坐标
Figure 456811DEST_PATH_IMAGE020
和所述图像坐标
Figure 852021DEST_PATH_IMAGE021
，利用矩阵变换算法，确定所述目标靶标的图案比例；
根据所述图案比例绘制得到所述目标靶标，以完成所述平面靶标的预先制备。
7.一种智能终端，其特征在于，所述智能终端包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
CN202211171832.0A 2022-09-26 2022-09-26 一种基于平面靶标的路面障碍物测高方法和系统 Active CN115257767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211171832.0A CN115257767B (zh) 2022-09-26 2022-09-26 一种基于平面靶标的路面障碍物测高方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211171832.0A CN115257767B (zh) 2022-09-26 2022-09-26 一种基于平面靶标的路面障碍物测高方法和系统

Publications (2)

Publication Number Publication Date
CN115257767A CN115257767A (zh) 2022-11-01
CN115257767B true CN115257767B (zh) 2023-02-17

Family

ID=83757055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211171832.0A Active CN115257767B (zh) 2022-09-26 2022-09-26 一种基于平面靶标的路面障碍物测高方法和系统

Country Status (1)

Country Link
CN (1) CN115257767B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477260B1 (en) * 1998-11-02 2002-11-05 Nissan Motor Co., Ltd. Position measuring apparatus using a pair of electronic cameras
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN114897864A (zh) * 2022-05-27 2022-08-12 中国科学院重庆绿色智能技术研究院 基于数模信息的工件检测及缺陷判断方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092596A (ja) * 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477260B1 (en) * 1998-11-02 2002-11-05 Nissan Motor Co., Ltd. Position measuring apparatus using a pair of electronic cameras
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN114897864A (zh) * 2022-05-27 2022-08-12 中国科学院重庆绿色智能技术研究院 基于数模信息的工件检测及缺陷判断方法

Also Published As

Publication number Publication date
CN115257767A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
US11985293B2 (en) System and methods for calibration of an array camera
CN110322513B (zh) 一种相机外参标定方法、装置及电子设备
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN111583663B (zh) 基于稀疏点云的单目感知修正方法、装置及存储介质
CN109211264B (zh) 测量系统的标定方法、装置、电子设备及可读存储介质
CN111179356A (zh) 基于Aruco码的双目相机标定方法、装置、系统和标定板
US20220284630A1 (en) Calibration board and calibration method and system
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN112907681A (zh) 基于毫米波雷达与双目相机的联合标定方法和系统
CN111382591B (zh) 一种双目相机测距校正方法及车载设备
US20210152803A1 (en) Binocular camera depth calibration method, device and system, and storage medium
CN112465831A (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN113465573A (zh) 单目测距方法、装置及智能装置
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、系统和智能终端
CN115100621A (zh) 基于深度学习网络的地面场景检测方法和系统
CN112102387A (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
CN115257767B (zh) 一种基于平面靶标的路面障碍物测高方法和系统
CN113140002B (zh) 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113643427A (zh) 一种双目测距及三维重建方法
CN110736426B (zh) 物体尺寸获取方法、装置、计算机设备以及存储介质
CN111627067B (zh) 一种双目相机的标定方法及车载设备
CN111754574A (zh) 基于双目相机的距离测试方法、装置、系统和存储介质
CN113596423B (zh) 一种亮度校正方法、装置、电子设备及可读存储介质
CN112734857B (zh) 相机内参和相机相对激光雷达外参的标定方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231103

Address after: Building B7-1, Saida International Industrial City, Xiqing Economic and Technological Development Zone, Xiqing District, Tianjin, 300385

Patentee after: Zhongke Huiyan (Tianjin) Electronics Co.,Ltd.

Address before: 300385 Building B7-1-1, Saida International Industrial City, Xiqing Economic and Technological Development Zone, Xiqing District, Tianjin

Patentee before: Zhongke Huiyan (Tianjin) Research and Development Co.,Ltd.