CN112348875B - 一种标志杆的结构化参数表示确定方法及装置 - Google Patents

一种标志杆的结构化参数表示确定方法及装置 Download PDF

Info

Publication number
CN112348875B
CN112348875B CN201910731509.6A CN201910731509A CN112348875B CN 112348875 B CN112348875 B CN 112348875B CN 201910731509 A CN201910731509 A CN 201910731509A CN 112348875 B CN112348875 B CN 112348875B
Authority
CN
China
Prior art keywords
reference point
determining
frame image
parameter representation
structural parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910731509.6A
Other languages
English (en)
Other versions
CN112348875A (zh
Inventor
杨帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201910731509.6A priority Critical patent/CN112348875B/zh
Publication of CN112348875A publication Critical patent/CN112348875A/zh
Application granted granted Critical
Publication of CN112348875B publication Critical patent/CN112348875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种标志杆的结构化参数表示确定方法及装置，包括：在当前帧图像中确定目标标志杆，并在所述目标标志杆中获取第一参考点，根据所述第一参考点确定第一参考点空间坐标；根据所述第一参考点空间坐标确定所述目标标志杆的第一结构化参数表示；获取当前帧图像的后续帧图像对应的相机位姿；通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标；根据所述优化的第一参考点空间坐标确定所述目标标志杆的第二结构化参数表示；当前帧图像、后续帧图像及相应的相机位姿均可以在普通相机的拍摄过程中得到，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。

Description

一种标志杆的结构化参数表示确定方法及装置
技术领域
本公开涉及图像分析技术领域，尤其涉及一种标志杆的结构化参数表示确定方法及装置。
背景技术
不同于传统地图仅仅通过二维图像体现地貌、建筑、道路等要素，高精地图作为辅助驾驶/自动驾驶技术的重要组成部分，其更加注重“空间性”。在高精地图当中，许多要素都需要以三维模型或空间中的模型函数，即所谓的结构化参数表示的形式体现。例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素，均可通过结构化参数表示来表达。
现有技术中观测获取标志杆的信息，往往通过激光雷达扫描，取得对应标志杆的点云图。进而基于点云图建立标志杆在三维模型或空间中的结构化参数表示。但是因为一般路旁的标志杆数量较多，而且激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种标志杆的结构化参数表示确定方法及装置，基于当前帧图像确定目标标志杆的第一结构化参数表示，并基于后续帧图像优化所述第一结构化参数表示，以确定第二结构化参数表示。
根据本公开的第一个方面，提供了一种标志杆的结构化参数表示确定方法，包括：
在当前帧图像中确定目标标志杆，并在所述目标标志杆中获取第一参考点，根据所述第一参考点确定第一参考点空间坐标；
根据所述第一参考点空间坐标确定所述目标标志杆的第一结构化参数表示；
获取当前帧图像的后续帧图像对应的相机位姿；
通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标；
根据所述优化的第一参考点空间坐标确定所述目标标志杆的第二结构化参数表示。
根据本公开的第二个方面，提供了一种标志杆的结构化参数表示确定装置，包括：
第一空间坐标确定模块，用于在当前帧图像中确定目标标志杆，并在所述目标标志杆中获取第一参考点，根据所述第一参考点确定第一参考点空间坐标；
第一参数表示确定模块，用于根据所述第一参考点空间坐标确定所述目标标志杆的第一结构化参数表示；
相机位姿获取模块，用于获取当前帧图像的后续帧图像对应的相机位姿；
第二空间坐标确定模块，用于通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标；
第二参数表示确定模块，用于根据所述优化的第一参考点空间坐标确定所述目标标志杆的第二结构化参数表示。
根据本公开的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中所述的标志杆的结构化参数表示确定方法。
根据本公开的第四方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现上述第一方面中所述的标志杆的结构化参数表示确定方法。
与现有技术相比，采用根据本公开提供的标志杆的结构化参数表示确定方法及装置，通过当前帧图像、后续帧图像及相应的相机位姿，确定目标标志杆的结构化参数表示，并进一步的迭代优化以保证结构化参数表示的准确性；由于当前帧图像、后续帧图像及相应的相机位姿均可以在普通相机的拍摄过程中得到，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图；
图2为本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图；
图3为本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图；
图4为本公开一示例性实施例提供的标志杆的结构化参数表示确定装置的结构示意图；
图5为本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第一空间坐标确定模块的结构示意图；
图6为本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第一参考点像素坐标确定单元的结构示意图；
图7为本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第二空间坐标确定模块的结构示意图；
图8为本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中空间坐标确定单元的结构示意图；
图9为本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
申请概述
前述已知，在高精地图当中，例如道路、道路中的车道线、道路两旁的标志杆、标志牌等表示道路信息的要素，均可通过结构化参数表示来表达。现有技术在以结构化参数表示体现标志杆时，往往通过激光雷达扫描，取得对应标志杆的点云图。进而基于点云图建立标志杆在三维模型或空间中的结构化参数表示。但是因为一般路旁的标志杆数量较多，而且激光雷达价格昂贵，所以大范围使用激光雷达扫描，将造成高精地图的绘制成本极其高昂。
在本公开中，将通过多帧图像及图像相应的相机位姿，确定目标标志杆的结构化参数表示，并迭代优化以保证结构化参数表示的准确性。同时，采用的多帧图像仅为通过普通相机拍摄取得，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。
示例性方法
图1是本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图。本实施例可应用在电子设备上，如图1所示，本实施例包括如下步骤：
步骤101、在当前帧图像中确定目标标志杆，并在目标标志杆中获取第一参考点，根据第一参考点确定第一参考点空间坐标。
当前帧图像，可以认为是由安装在当前可移动设备的图像采集装置采集的连续多帧的拍摄特定路面的图像中当前时刻的帧的图像，其中可移动设备包括汽车、物流小车、扫地机器人等。拍摄特定路面的图像，通常是制作高精地图过程中，用于确定各种路面信息的重要图像数据，特定路面的图像中包括了路面上的标志杆。
本实施例在连续多帧图像中确定当前帧图像，并且从当前帧图像包括的标志杆中确定目标标志杆。目标标志杆即本实施例中要确定结构化参数表示的目标。另外，在确定目标标志杆后，可以为目标标志杆标记一个特定的身份标识，以便在后续步骤中从其他图像中发现目标标志杆并完成相应处理。
在目标标志杆中获取第一参考点，可以是在目标标志杆在当前帧图像呈现的轮廓当中，选取若干个像素点以作为第一参考点，也可是在目标标志杆的中心点连线上选择。优选的可以是选择标志杆的轮廓上的两个端点像素点(例如最高点的像素点和最低点的像素点)作为第一参考点。
需要说明的是，由于通常通过单一的一帧图像难以反映出标志杆在三维空间上的“深度”，即缺失了空间坐标中的一个维度，所以很难仅通过一帧图像确定第一参考点空间坐标。本实施例中将借助当前帧图像相对的先前帧图像，以及先前帧图像与当前帧图像二者的相机相对位姿进行三角化运算，实现第一参考点空间坐标的确定。
步骤102、根据第一参考点空间坐标确定目标标志杆的第一结构化参数表示。
根据若干第一参考点的第一参考点空间坐标可建立一个曲线函数，该曲线函数在空间坐标系中的轨迹，就代表了目标标志杆在空间坐标系中的轮廓。也就是说，该曲线函数即目标标志杆的第一结构化参数表示。本实施例中，曲线函数具体可以是贝塞尔曲线，此外也可以用其他曲线函数表示，本公开对于结构化参数表示的具体形式不做任何限制。
需要说明的是，目标标志杆的第一结构化参数表示虽然可以代表目标标志杆在空间坐标系中的轮廓，但是由于第一结构化参数表示仅仅是基于单独一帧当前帧图像而确定，仅仅一帧图像有可能存在较大误差，并且，相机的参数也可能随时发生变化，因此，仅凭当前帧确定结构化参数，准确性依然较低。所以还需要结合其他帧图像对其进行迭代优化。
步骤103、获取当前帧图像的后续帧图像对应的相机位姿。
后续帧图像，同样是连续多帧的拍摄特定路面的图像中的某一帧图像，并且通常来说，后续帧图像在时序上处于当前帧图像之后，即当前时刻后的某个时刻对应的帧的图像。
需要说明的是，在拍摄连续多帧图像时，相机会处在保持移动的状态，并且，由于可移动设备的颠簸，相机的俯仰角由于振动也会出现轻微的变化。而后续帧图像对应的相机位姿，指的是在拍摄后续帧图像的时刻，相机所处的位置和角度。
步骤104、通过第一结构化参数表示和相机位姿，确定优化的第一参考点空间坐标。
后续帧图像中同样包括了目标标志杆。通过前述的为目标标志杆标记的身份标识，即可在后续帧图像中追踪发现目标标志杆，并确定目标标志杆在后续帧图像上的轮廓。
而在确定了第一结构化参数表示之后，即可根据目标标志杆的第一结构化参数表示选取若干第二参考点。然后根据后续帧图像的相机位姿，将选取的若干第二参考点，投影到后续帧图像上。可以理解的是，将特定点从三维空间向二维平面进行投影的计算过程属于现有技术，在此不做赘述。
理论上，如果第一结构化参数表示是足够精确的，那么第一结构化参数按照特定相机位姿投影后的轮廓(或轮廓上的点)，应该与相应图像中实际拍摄到轮廓重合。也就是说，所有的第二参考点投影到后续帧图像上之后，应该全部落在目标标志杆在后续帧图像上的轮廓范围内。但实际上，此时第一结构化参数表示可能并不足够精确，所以第二参考点投影后往往会偏离目标标志杆在后续帧图像上的轮廓。
本步骤中将针对这种情况对第一结构化参数表示进行优化。优化的方式具体可以是，调整前述的第一参考点空间坐标，以调整第一结构化参数表示。可以理解的是，调整第一结构化参数表示之后，目标标志杆在空间坐标系中的轮廓将随之改变；进而第二参考点在空间坐标系中的位置，以及第二参考点投影到后续帧图像上的位置均会一起发生改变。所以通过调整第一参考点空间坐标，就可以改变第二参考点投影到后续帧图像上的位置，使其最大程度靠近或者落在目标标志杆在后续帧图像上的轮廓上。由此实现对于第一结构化参数表示的优化。
而调整后确定的第一参考点空间坐标，即优化的第一参考点空间坐标。
步骤105、根据优化的第一参考点空间坐标确定目标标志杆的第二结构化参数表示。
同理于步骤102中，本步骤中亦可以根据优化的第一参考点空间坐标建立一个曲线函数，即目标标志杆的第二结构化参数表示。第二结构化参数表示为第一结构化参数表示迭代优化后的结果，并且其代替第一结构化参数表示，代表了目标标志杆在空间坐标系中的轮廓。同样，第二结构化参数表示对应的曲线函数具体可以是贝塞尔曲线。
需要说明的是，本实施例中，步骤103～步骤105可以多次循环执行。即根据多个后续帧图像反复对目标标志杆的结构化参数表示进行迭代优化。直到迭代次数达到预设的次数条件，或者第二参考点投影后的偏离距离小于预设的偏离条件，则停止迭代。
通过以上技术方案可知，本实施例存在的有益效果是：通过当前帧图像、后续帧图像及相应的相机位姿，确定目标标志杆的结构化参数表示，并进一步的迭代优化以保证结构化参数表示的准确性；由于当前帧图像、后续帧图像及相应的相机位姿均可以在普通相机的拍摄过程中得到，成本相对低廉。无需采用点云图，也无需借助价格昂贵的激光雷达，降低了高精地图绘制的成本。
如图1所示仅为本公开方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到方法的其他优选实施例。
如图2所示，是本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中，将在图2所示实施例的基础上，详细的公开了对于第一参考点空间坐标的确定过程。具体的，本实施例中将结合当前帧图像与先前帧图像，通过极线约束计算来确定第一参考点空间坐标。如图2所示，本实施例包括如下步骤：
步骤201、在当前帧图像中确定目标标志杆。
步骤202、在先前帧图像中确定目标标志杆，并在目标标志杆中获取第三参考点，确定第三参考点在先前帧图像中的第三参考点像素坐标。
先前帧图像，同样是连续多帧的拍摄特定路面的图像中的某一帧图像，并且通常来说，先前帧图像在时序上处于当前帧图像之前，即当前时刻前的某个时刻对应的帧的图像。先前帧图像中同样包括目标标志杆。可在先前帧图像中发现目标标志杆，为该目标标志杆标记身份标识，并在当前帧图像上追踪该标志杆。
然后，进一步的在目标标志杆中选取第三参考点，并将第三参考点在先前帧图像平面上的像素坐标作为第三参考点像素坐标。
步骤203、获取先前帧图像与当前帧图像之间的相机相对位姿。
相机位姿指的是在拍摄图像的时刻，相机所处的位置和角度。相机的位姿可以根据GPS、IMU等传感设备获取。相机位姿在数学上可以通过旋转矩阵和平移向量两部分表达。
而此处先前帧图像与当前帧图像之间的相机相对位姿，即是在拍摄先前帧图像时和拍摄当前帧图像时，相机所处的位置和角度的相对位置和角度关系。相机相对位姿可以通过先前帧图像与当前帧图像各自的相机位姿计算确定。
步骤204、根据先前帧图像中的第三参考点像素坐标及相机相对位姿，确定第三参考点在当前帧图像中的极线。
由于平面图像相比三维空间缺少一个维度，即缺少“深度”。所以实际上在先前帧图像中，位于第三参考点像素坐标的“像素点”，对应着空间上不同深度的无数个点。这些“不同深度的点”从拍摄先前帧图像的相机位姿上来看是重叠的。并且如果将“不同深度的点”投影在其他以不同相机位姿拍摄的帧图像上，则可拟合成一条线，即极线。
本步骤中，就是将这些“不同深度的点”投影到当前帧图像所在的平面上，即确定第三参考点在当前帧图像中的极线。而在已知相机相对位姿的情况下，将这些“不同深度的点”投影到当前帧图像所在的平面的计算过程，属于一个常规的数学计算过程，在此不做赘述。
步骤205、将当前帧图像中的极线与当前帧图像的标志杆结构化参数表示中的交点确定为第一参考点。
当前帧图像的标志杆结构化参数表示，可以认为是目标标志杆在当前帧图像上的观测方程。当前帧图像的标志杆结构化参数表示本质上是一个曲线函数，可以通过在当前帧图像中取得目标标志杆的采样点的像素坐标，并根据采样点的像素坐标拟合计算确定，其函数轨迹即意味着目标标志杆在当前帧图像中的轮廓。
根据极线约束计算的原理，本步骤中认为当前帧图像中的极线与当前帧图像的标志杆结构化参数表示中的交点，即是第三参考点在当前帧图像上的投影，也就是第一参考点。
步骤206、将第一参考点在当前帧图像中的像素坐标确定为第一参考点像素坐标。
步骤207、根据第一参考点像素坐标和第三参考点像素坐标，确定第一参考点空间坐标。
第一参考点像素坐标和第三参考点像素坐标，意味着空间中的同一个点，在不同的两帧图像(即先前帧图像和当前帧图像)上的像素坐标。并且在已知两帧图像各自的相机位姿的情况下，可以进行三角化运算，确定该点的空间坐标，即第一参考点空间坐标。
另外在一些对于精确度需求相对较低的情况下，也可不进行极线约束计算，直接将目标标志杆的最高点(或最低点)作为参考点。进而在先前帧图像和当前帧图像中，分别取目标标志杆的最高点(或最低点)的像素坐标进行三角化运算，确定第一参考点空间坐标。
在确定了第一参考点空间坐标之后，本实施例中后续步骤可以同图1所示实施例一致，在此不重复叙述。
通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：详细公开了第一参考点空间坐标的确定过程，使第一参考点空间坐标更加准确，为后续步骤提供了更好的执行基础。
如图3所示，是本公开一示例性实施例提供的标志杆的结构化参数表示确定方法的流程示意图。本实施例可应用在电子设备上。本实施例中，将在图3所示实施例的基础上，详细的公开了对于结构化参数表示的迭代优化过程。如图3所示，本实施例包括如下步骤：
步骤301、在当前帧图像中确定目标标志杆，并在目标标志杆中获取第一参考点，根据第一参考点确定第一参考点空间坐标。
本实施例中，将在目标标志杆中获取2个第一参考点，分别表示为目标标示杆的最高点ps和目标标志杆的最低点pe。并且相应的将2个第一参考点空间坐标表示为PS、PE。
步骤302、根据第一参考点空间坐标确定目标标志杆的第一结构化参数表示。
本实施例中，第一结构化参数表示具体可以是贝塞尔曲线。其表达式如下：
B(t)＝(1-t)*PS+t*PE；其中PS、PE为第一参考点空间坐标，t为控制量，取值在0～1之间。
步骤303、获取当前帧图像的后续帧图像对应的相机位姿。
后续帧图像对应的相机位姿表示为Twc＝[R1,t1]；其中R1代表后续帧图像对应的相机的旋转矩阵，t1代表后续帧图像对应的相机的平移向量。
步骤304、在后续帧图像中，确定目标标志杆在后续帧图像中的第三结构化参数表示。
第三结构化参数表示本质上同样是一个曲线函数，可以通过在后续帧图像中取得目标标志杆的采样点的像素坐标，并根据采样点的像素坐标拟合计算确定。第三结构化参数表示体现的含义是目标标志杆在后续帧图像中的轮廓。本实施例中第三结构化参数表示是一个向量叉乘函数，表示为：l＝PS1.cross(PE1)；其中PS1为目标标志杆的最高点在后续帧图像的像素坐标，PE1为目标标志杆的最低点在后续帧图像的像素坐标。
步骤305、从第一结构化参数表示中选取第二参考点，通过相机位姿将第二参考点投影到后续帧图像中，确定第二参考点像素坐标。
第二参考点可以是在第一结构化参数表示的轨迹上选取的任意点，数量优选的为多个，可以是与第一参考点相同的点，也可以不同。本步骤需要将第二参考点投影到后续帧图像中，用来分析投影后的第二参考点与第三结构化参数表示(即目标标志杆在后续帧图像上的轮廓)的偏离程度，并以此优化第一结构化参数表示。
假设一个第二参考点p4，根据第一结构化参数表示确定第二参考点p4在空间坐标系中坐标为B(t4)＝(1-t4)*PS+t4*PE，其中t4表示任一控制量。
则第二参考点p4投影到后续帧图像上的第二参考点像素坐标计算方式如下：
p4’＝K*Tcw*B(t4)；其中，p4’表示第二参考点像素坐标，K表示相机内参矩阵，是可以根据相机性能确定的已知量，Tcw为前述后续帧图像对应的相机位姿表示为Twc＝[R1,t1]的逆矩阵，B(t4)为前述已求得的第二参考点空间坐标。
步骤306、确定第二参考点像素坐标到第三结构化参数表示的距离。
前述以确定第二参考点像素坐标p4’＝K*Tcw*B(t4)，和第三结构化参数表示l＝PS1.cross(PE1)，即可基于后续帧图像的平面坐标系计算得到第二参考点像素坐标到第三结构化参数表示的距离。这一距离计算涉及平面上一个点到一个曲线的距离计算，在此不做赘述。
步骤307、根据第二参考点到第三结构化参数表示的距离，确定优化的第一参考点空间坐标。
结合图1所示实施例中的描述可知，理论上，如果第一结构化参数表示是足够精确的，那么所有的第二参考点投影到后续帧图像上之后，应该全部落在第三结构化参数表示之上。即第二参考点像素坐标到第三结构化参数表示的距离为0。但实际上，此时第一结构化参数表示可能并不足够精确，所以第二参考点像素坐标到第三结构化参数表示的距离往往并不为0。而此距离越大，说明第一结构化参数表示的越不准确，相反距离越小，说明说明第一结构化参数表示的越准确。所以本步骤中，将基于这一距离对第一参考点空间坐标进行优化，进而对第一结构化参数表示进行优化。本实施例中可根据最小二乘法实现优化。
具体来说，获取目标函数，目标函数为第二参考点像素坐标与第三结构化参数表示之间的所有距离之和。目标函数表达形式并不唯一，本实施例中对此不做限定，凡是能够实现相同或类似功能的函数均可结合在本实施例整体技术方案中。
然后调整第一参考点空间坐标，以调整第一结构化参数表示。调整第一结构化参数表示之后，目标标志杆在空间坐标系中的轮廓将随之改变；进而第二参考点在空间坐标系中的位置，以及第二参考点像素坐标均会一起发生改变。相应的，第二参考点像素坐标与第三结构化参数表示之间的所有距离，即目标函数也会相应改变。所以本实施例中可以调整第一参考点空间坐标，以调整目标函数。
通过对于第一参考点空间坐标不断的调整，直到目标函数满足预设条件，即第二参考点像素坐标与第三结构化参数表示之间的所有距离之和最小时，将此时调整后的第一参考点空间坐标确定为优化的第一参考点空间坐标。本实施例中，将优化的第一参考点空间坐标表示为PS’、PE’。
步骤308、根据优化的第一参考点空间坐标确定目标标志杆的第二结构化参数表示。
经过上述步骤对于第一参考点空间坐标的调整，第二参考点像素坐标到第三结构化参数表示的距离变小，说明优化的第一参考点空间坐标相比优化之前更加准确。则根据优化的第一参考点空间坐标确定目标标志杆的第二结构化参数表示，由此完成对于目标标志杆的第一结构化参数表示的迭代优化，提高了标志杆的结构化参数表示的准确性。
本实施例中第二结构化参数表示同样为贝塞尔曲线，其表达式如下：
B(t)＝(1-t)*PS’+t*PE’；其中PS’、PE’为优化的第一参考点空间坐标，t为控制量，取值在0～1之间。
通过以上技术方案可知，本实施例在图1所示实施例的基础上，进一步存在的有益效果是：详细公开了对标志杆的结构化参数表示迭代优化的计算过程，并实例性的描述了计算过程中涉及的数学表达，通过目标函数计算并调整第二参考点像素坐标到第三结构化参数表示的距离之和，实现对于第一参考点空间坐标和第一结构化参数表示的优化，使得本实施例对于第一结构化参数表示的优化更加准确。
示例性装置
图4是本公开一示例性实施例提供的标志杆的结构化参数表示确定装置的结构示意图。本实施例装置，即用于执行图1～图3方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中装置包括：
第一空间坐标确定模块401，用于在当前帧图像中确定目标标志杆，并在目标标志杆中获取第一参考点，根据第一参考点确定第一参考点空间坐标。
第一参数表示确定模块402，用于根据第一参考点空间坐标确定目标标志杆的第一结构化参数表示。
相机位姿获取模块403，用于获取当前帧图像的后续帧图像对应的相机位姿。
第二空间坐标确定模块404，用于通过第一结构化参数表示和相机位姿，确定优化的第一参考点空间坐标。
第二参数表示确定模块405，用于根据优化的第一参考点空间坐标确定目标标志杆的第二结构化参数表示。
图5是本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第一空间坐标确定模块401的结构示意图。如图5所示，在示例性实施例中，第一空间坐标确定模块401包括：
第三参考点确定单元511，用于在先前帧图像中确定目标标志杆，并在目标标志杆中获取第三参考点，确定第三参考点在先前帧图像中的第三参考点像素坐标。
第一参考点像素坐标确定单元512，用于根据先前帧图像中的第三参考点像素坐标，确定当前帧图像中的目标标志杆的第一参考点像素坐标。
第一参考点空间坐标确定单元513，用于根据第一参考点像素坐标和第三参考点像素坐标，确定第一参考点空间坐标。
图6是本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第一参考点像素坐标确定单元512的结构示意图。如图6所示，在示例性实施例中，第一参考点像素坐标确定单元512包括：
相机相对位姿获取子单元621，用于获取先前帧图像与当前帧图像之间的相机相对位姿。
极线确定子单元622，用于根据先前帧图像中的第三参考点像素坐标及相机相对位姿，确定第三参考点在当前帧图像中的极线。
第一参考点确定子单元623，用于将当前帧图像中的极线与当前帧图像的标志杆结构化参数表示中的交点确定为第一参考点。
第一参考点像素坐标确定子单元624，用于将第一参考点在当前帧图像中的像素坐标确定为第一参考点像素坐标。
图7是本公开一示例性实施例提供的标志杆的结构化参数表示确定装置中第二空间坐标确定模块404的结构示意图。如图7所示，在示例性实施例中，第二空间坐标确定模块404包括：
参数表示确定单元711，用于在后续帧图像中，确定目标标志杆在后续帧图像中的第三结构化参数表示。
像素坐标确定单元712，用于从第一结构化参数表示中选取第二参考点，通过相机位姿将第二参考点投影到后续帧图像中，确定第二参考点像素坐标。
空间坐标确定单元713，用于根据第三结构化参数表示和第二参考点像素坐标，确定优化的第一参考点空间坐标。
图8是本公开另一示例性实施例提供的标志杆的结构化参数表示确定装置中空间坐标确定单元713的结构示意图。如图8所示，在示例性实施例中，空间坐标确定单元713包括：
距离确定子单元821，用于确定第二参考点像素坐标到第三结构化参数表示的距离。
目标函数确定子单元822，用于获取目标函数，目标函数为第二参考点像素坐标与第三结构化参数表示之间的所有距离之和。
目标函数调整子单元823，用于调整第一参考点空间坐标，以调整目标函数。
空间坐标确定子单元824，用于确定目标函数满足预设条件时的第一参考点空间坐标为优化的第一参考点空间坐标。
示例性电子设备
下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备100和第二设备200中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图9图示了根据本公开实施例的电子设备的框图。
如图9所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的标志杆的结构化参数表示确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图9中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志杆的结构化参数表示确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的标志杆的结构化参数表示确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种标志杆的结构化参数表示确定方法，包括：
在当前帧图像中确定目标标志杆，并在所述目标标志杆中获取第一参考点，根据所述第一参考点确定第一参考点空间坐标；
根据所述第一参考点空间坐标确定所述目标标志杆的第一结构化参数表示；
获取当前帧图像的后续帧图像对应的相机位姿；
通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标；
根据所述优化的第一参考点空间坐标确定所述目标标志杆的第二结构化参数表示；
其中，所述第一结构化参数表示和所述第二结构化参数表示均为所述目标标志杆在空间坐标系中的轮廓对应的曲线函数，所述第二结构化参数表示为所述第一结构化参数表示优化后的结果。
2.根据权利要求1所述方法，所述通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标包括：
在所述后续帧图像中，确定所述目标标志杆在所述后续帧图像中的第三结构化参数表示，所述第三结构化参数表示为所述目标标志杆在后续帧图像中的轮廓对应的曲线函数；
从第一结构化参数表示中选取第二参考点，通过所述相机位姿将所述第二参考点投影到所述后续帧图像中，确定所述第二参考点像素坐标；
根据所述第三结构化参数表示和所述第二参考点像素坐标，确定优化的第一参考点空间坐标。
3.根据权利要求2所述方法，所述根据所述第三结构化参数表示和所述第二参考点像素坐标，确定优化的第一参考点空间坐标包括：
确定所述第二参考点像素坐标到所述第三结构化参数表示的距离；
根据所述第二参考点到所述第三结构化参数表示的距离，确定所述优化的第一参考点空间坐标。
4.根据权利要求3所述方法，所述根据所述第二参考点像素坐标到所述第三结构化参数表示的距离，确定所述优化的第一参考点空间坐标包括：
获取目标函数，所述目标函数为所述第二参考点像素坐标与所述第三结构化参数表示之间的所有距离之和；
调整所述第一参考点空间坐标，以调整所述目标函数；
确定所述目标函数满足预设条件时的第一参考点空间坐标为所述优化的第一参考点空间坐标。
5.根据权利要求1～4任意一项所述方法，所述根据所述第一参考点确定第一参考点空间坐标包括：
在先前帧图像中确定目标标志杆，并在所述目标标志杆中获取第三参考点，确定所述第三参考点在所述先前帧图像中的第三参考点像素坐标；
根据所述先前帧图像中的第三参考点像素坐标，确定所述当前帧图像中的目标标志杆的第一参考点像素坐标；
根据所述第一参考点像素坐标和所述第三参考点像素坐标，确定所述第一参考点空间坐标。
6.根据权利要求5所述方法，所述根据所述先前帧图像中的第三参考点像素坐标，确定所述当前帧图像中的目标标志杆的第一参考点像素坐标包括：
获取所述先前帧图像与当前帧图像之间的相机相对位姿；
根据所述先前帧图像中的第三参考点像素坐标及所述相机相对位姿，确定所述第三参考点在所述当前帧图像中的极线；
将所述当前帧图像中的极线与所述当前帧图像的标志杆结构化参数表示中的交点确定为所述第一参考点；
将所述第一参考点在所述当前帧图像中的像素坐标确定为所述第一参考点像素坐标。
7.一种标志杆的结构化参数表示确定装置，包括：
第一空间坐标确定模块，用于在当前帧图像中确定目标标志杆，并在所述目标标志杆中获取第一参考点，根据所述第一参考点确定第一参考点空间坐标；
第一参数表示确定模块，用于根据所述第一参考点空间坐标确定所述目标标志杆的第一结构化参数表示；
相机位姿获取模块，用于获取当前帧图像的后续帧图像对应的相机位姿；
第二空间坐标确定模块，用于通过所述第一结构化参数表示和所述相机位姿，确定优化的第一参考点空间坐标；
第二参数表示确定模块，用于根据所述优化的第一参考点空间坐标确定所述目标标志杆的第二结构化参数表示；
其中，所述第一结构化参数表示和所述第二结构化参数表示均为所述目标标志杆在空间坐标系中的轮廓对应的曲线函数，所述第二结构化参数表示为所述第一结构化参数表示优化后的结果。
8.根据权利要求7所述装置，所述第二空间坐标确定模块包括：
参数表示确定单元，用于在所述后续帧图像中，确定所述目标标志杆在所述后续帧图像中的第三结构化参数表示，所述第三结构化参数表示为所述目标标志杆在后续帧图像中的轮廓对应的曲线函数；
像素坐标确定单元，用于从第一结构化参数表示中选取第二参考点，通过所述相机位姿将所述第二参考点投影到所述后续帧图像中，确定所述第二参考点像素坐标；
空间坐标确定单元，用于根据所述第三结构化参数表示和所述第二参考点像素坐标，确定优化的第一参考点空间坐标。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6任一所述的标志杆的结构化参数表示确定方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6任一所述的标志杆的结构化参数表示确定方法。
CN201910731509.6A 2019-08-08 2019-08-08 一种标志杆的结构化参数表示确定方法及装置 Active CN112348875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910731509.6A CN112348875B (zh) 2019-08-08 2019-08-08 一种标志杆的结构化参数表示确定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910731509.6A CN112348875B (zh) 2019-08-08 2019-08-08 一种标志杆的结构化参数表示确定方法及装置

Publications (2)

Publication Number Publication Date
CN112348875A CN112348875A (zh) 2021-02-09
CN112348875B true CN112348875B (zh) 2024-04-16

Family

ID=74366839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910731509.6A Active CN112348875B (zh) 2019-08-08 2019-08-08 一种标志杆的结构化参数表示确定方法及装置

Country Status (1)

Country Link
CN (1) CN112348875B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064946A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
JP2018169947A (ja) * 2017-03-30 2018-11-01 株式会社日立情報通信エンジニアリング レーン線認識装置およびレーン線認識プログラム
CN109186616A (zh) * 2018-09-20 2019-01-11 禾多科技（北京）有限公司 基于高精度地图和场景检索的车道线辅助定位方法
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109948470A (zh) * 2019-03-01 2019-06-28 武汉光庭科技有限公司 基于霍夫变换的停车线距离检测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11022982B2 (en) * 2014-03-18 2021-06-01 Transforation Ip Holdings, Llc Optical route examination system and method
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
US10373002B2 (en) * 2017-03-31 2019-08-06 Here Global B.V. Method, apparatus, and system for a parametric representation of lane lines

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090064946A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
JP2018169947A (ja) * 2017-03-30 2018-11-01 株式会社日立情報通信エンジニアリング レーン線認識装置およびレーン線認識プログラム
CN109300159A (zh) * 2018-09-07 2019-02-01 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN109186616A (zh) * 2018-09-20 2019-01-11 禾多科技（北京）有限公司 基于高精度地图和场景检索的车道线辅助定位方法
CN109948470A (zh) * 2019-03-01 2019-06-28 武汉光庭科技有限公司 基于霍夫变换的停车线距离检测方法及系统

Also Published As

Publication number Publication date
CN112348875A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN109993780B (zh) 一种三维高精度地图生成方法及装置
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
CN110009718B (zh) 一种三维高精度地图生成方法及装置
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN113269840B (zh) 一种用于相机和多激光雷达的联合标定方法及电子设备
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
CN112700486B (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN110068824B (zh) 一种传感器位姿确定方法和装置
CN110231832B (zh) 用于无人机的避障方法和避障装置
KR20230003803A (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
WO2022048493A1 (zh) 摄像头外参标定的方法与装置
CN116193108A (zh) 一种摄像头在线自校准方法、装置、设备及介质
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair
CN112348874B (zh) 一种车道线的结构化参数表示确定方法及装置
CN112150529B (zh) 一种图像特征点的深度信息确定方法及装置
CN117495975A (zh) 一种变焦镜头的标定方法、装置及电子设备
CN112348875B (zh) 一种标志杆的结构化参数表示确定方法及装置
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN112668596A (zh) 三维物体识别方法及装置、识别模型训练方法及装置
CN115855026A (zh) 一种大型场景图元地图切换方法、系统、装置及存储介质
CN112308905B (zh) 一种平面标志物的坐标确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant