CN113034671A - 一种基于双目视觉的交通标志牌三维重建方法 - Google Patents

一种基于双目视觉的交通标志牌三维重建方法 Download PDF

Info

Publication number
CN113034671A
CN113034671A CN202110308082.6A CN202110308082A CN113034671A CN 113034671 A CN113034671 A CN 113034671A CN 202110308082 A CN202110308082 A CN 202110308082A CN 113034671 A CN113034671 A CN 113034671A
Authority
CN
China
Prior art keywords
traffic sign
dimensional
frame
plane equation
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110308082.6A
Other languages
English (en)
Other versions
CN113034671B (zh
Inventor
杨长鸿
邓建华
漆静
徐凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aeronautic Polytechnic
Original Assignee
Chengdu Aeronautic Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aeronautic Polytechnic filed Critical Chengdu Aeronautic Polytechnic
Priority to CN202110308082.6A priority Critical patent/CN113034671B/zh
Publication of CN113034671A publication Critical patent/CN113034671A/zh
Application granted granted Critical
Publication of CN113034671B publication Critical patent/CN113034671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目视觉的交通标志牌三维重建方法，包括S1、交通标志牌识别与轮廓提取；S2、交通标志在连续帧中的跟踪；S3、连续帧跟踪后的图像中确定Host帧和Target帧；S4、在Target帧中构建交通标志牌边缘距离图；S5、基于双目视差，计算Host帧观测到的平面方程参数作为初值；S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。

Description

一种基于双目视觉的交通标志牌三维重建方法
技术领域
本发明属于图像识别的技术领域，具体涉及一种基于双目视觉的交通标志牌三维重建方法。
背景技术
现有的交通标志牌三维重建技术主要包括以下三种：
1、基于特征点的三维重建；其原理是基于特征点的多视图重建。
2、基于双目视差的三维重建；其原理是基于双目视差重建稠密三维点云。
3、基于片假设的多视图重建技术(Patch-based Multi-view Stereo)。其原理是假设空间由连续的三维小片(Patch)构成，通过优化每个小片的朝向进而完成空间的三维重建。
上述方法都不能很好的解决交通标志牌的三维重建问题。
第一种方法在重建交通标志牌时，只能重建出一些离散的空间三维点，无法获取交通标志牌的几何尺寸和朝向；
第二种方法能够较完整的重建出交通标志牌的形状，但是重建出的三维点云相互独立，缺少约束。且由于双目视差较小，重建出的误差较大，其获取到的朝向信息精度较低；
第三种方法虽然有空间平面假设，但是它并没有把交通标志牌看出一个整体来做优化，其重建出的交通标志牌必然存在多个平面，这不满足实际情况，无法获取交通标志牌的朝向和尺寸信息。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于双目视觉的交通标志牌三维重建方法，以解决或改善上述的问题。
为达到上述目的，本发明采取的技术方案是：
一种基于双目视觉的交通标志牌三维重建方法，其包括：
S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；
S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；
S3、在连续帧图像中确定Host帧和Target帧；
S4、基于Target帧中的交通标志牌构建边缘距离图；
S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；
S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；
S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。
优选地，S3在连续帧图像中确定Host帧和Target帧，包括：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧。
优选地，S4中基于Target帧构建边缘距离图，包括：
计算图像中每一个非零点像素与其最近的零点像素之间的距离，保存每一个非边缘像素点与最近边缘点的距离信息。
优选地，S5中基于双目视差，计算Host帧观测到的平面方程为：
Ax+By+Cz+D＝0
其中，参数A，B，C，D是描述平面空间特征的系数，参数(A，B，C)构成的矢量表示平面的法向。
优选地，S6中根据边缘距离图，重投影构建误差函数，包括：
利用Host帧上的边缘点，作射线与平面方程相交，交点构成三维点，将三维点再重投影回Target帧，根据边缘距离图和重投影点与边缘的误差，构建误差函数：
Figure BDA0002988686630000031
其中，f(A，B，C，D)表示误差函数是参数A，B，C，D的函数，下标i为Target帧的编号，Target共N-1帧；下标j表示投影点的序号，Mi表示第i帧的投影个数；dij(A，B，C，D)表示在第i帧的第j个投影点距离，投影距离是参数A，B，C，D的函数。
优选地，S6中平面方程的求解，包括：
S6.1、提取Host帧的交通标志牌边缘；
S6.2、基于S6.1中的边缘点在相机坐标系下作射线；
S6.3、射线与初值平面方程相交，得到空间三维点；
S6.4、将所得三维点通过相机投影到Target帧，得到投影点；
S6.5、改变平面方程得到不同的投影位置；
S6.6、得到三维点的投影与Target帧提取边缘重合。
优选地，S6.3中射线与初值平面方程相交，得到空间三维点，联立平面方程和相机逆投影公式，求出投影点坐标：
Figure BDA0002988686630000032
其中，(Xc，Yc，Zc)为当前坐标系下的三维点坐标，f为镜头焦距，Fx、fy为x、y方向的焦距，cx、cy为主点，图像的中心；(u，v)为像素位置；
在已知像素位置(u,v)和平面方程时，通过像素点做射线与平面方程相交，可得空间交点(Xc,Yc,Zc)，当改变空间平面方程，空间三维点也将改变。
优选地，相机逆投影公式为：
Figure BDA0002988686630000041
优选地，像素位置(u,v)为：
Figure BDA0002988686630000042
优选地，S7中调整平面方程的值，改变重投影点位置，优化求解误差函数，包括：
调整参数A、B、C、D，当误差函数f达到极小值时，所得的参数A、B、C、D即是目标值。
本发明提供的基于双目视觉的交通标志牌三维重建方法，具有以下有益效果：
本发明将重建三维标志牌的一个目标，转换为求解由4个自变量组成的空间三维平面方程，基于该三维平面方程，构建出基于交通标志牌边缘的误差函数；利用优化算法，最小化误差函数，得到优化解；最后利用图像中，交通标志牌的边缘点作射线与空间平面方程相交，由此重建出交通标志牌三维信息。相对于现有技术，本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息，重建过程利用了多个位置的图像信息，大大增加了重建视差，从而提高了重建精度，将交通标志牌假设为一个平面方程，该假设即符合实际情况，又简化重建过程。
附图说明
图1为平面方程优化求解示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图1，本方案的基于双目视觉的交通标志牌三维重建方法，包括：
S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；
S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；
S3、在连续帧图像中确定Host帧和Target帧；
S4、基于Target帧中的交通标志牌构建边缘距离图；
S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；
S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；
S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。
本发明通过图像识别技术，从图像中识别出交通标志牌，并利用计算机视觉技术从图像中提取出交通标志牌的边缘，在重建交通标志牌时，假设交通标志牌在一个三维平面上，该假设符合实际情况。
根据本申请的一个实施例，以下将对上述步骤进行详细描述；
S1、获取交通标志牌的单帧图像，并基于双目视差图提取图像中交通标志牌的轮廓。
S2、连续帧交通标志牌的提取，按照步骤S1的方式提取三维空间中同一个交通标志牌在图像中的轮廓。
S3、在连续帧图像中确定Host帧和Target帧，用于后续优化误差函数，其方法为：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧，Host帧的选择原则是：交通标志牌轮廓清晰，交通标志牌完整。
S4、基于Target帧构建边缘距离图，用于计算图像中每一个非零点像素与其最近的零点像素之间的距离，输出的是保存每一个非边缘像素点与最近边缘点的距离信息。
S5、计算平面方程初值；基于双目视差，计算Host帧观测到的平面方程，该方程值作为后续优化的处置。
平面方程公式：
Ax+By+Cz+D＝0
公式(1)表示的是三维平面的表达式，其中参数A，B，C，D是描述平面空间特征的系数，也是本实施例要求解的内容，其中，由参数(A，B，C)构成的矢量表示平面的法向。
S6、根据边缘距离图，重投影构建误差函数，其具体包括：
利用Host帧上的边缘点，作射线与平面方程相交，交点构成三维点，该三维点再重投影回Target帧，期望重投影点应该重投影在边缘上，但由于各种误差，投影点的不会恰巧在边缘上，通过S4的距离图，构建出误差函数：
Figure BDA0002988686630000071
其中，f(A，B，C，D)表示误差函数是参数A，B，C，D的函数，通过调整参数A、B、C、D，当误差函数f达到极小值时，所得的参数A、B、C、D即是目标值；下标i为Target帧的编号，Target共N-1帧；下标j表示投影点的序号，Mi表示第i帧的投影个数；dij(A，B，C，D)表示在第i帧的第j个投影点距离，投影距离是参数A，B，C，D的函数。
S6中平面方程的求解，包括：
S6.1、提取Host帧的交通标志牌边缘；
S6.2、基于S6.1中的边缘点在相机坐标系下作射线；
S6.3、射线与初值平面方程相交，得到空间三维点；
S6.4、将所得三维点通过相机投影到Target帧，得到投影点；
S6.5、改变平面方程得到不同的投影位置；
S6.6、得到三维点的投影与Target帧提取边缘重合。
在S6.3中射线与初值平面方程相交，得到空间三维点，联立平面方程和相机逆投影公式，求出投影点坐标：
Figure BDA0002988686630000072
其中，(Xc，Yc，Zc)为当前坐标系下的三维点坐标，f为镜头焦距，Fx、fy为x、y方向的焦距，cx、cy为主点，图像的中心；(u，v)为像素位置。
在已知像素位置(u，v)和平面方程时，通过像素点做射线与平面方程相交，可得空间交点(Xc，Yc，Zc)，当改变空间平面方程，空间三维点也将改变。
相机逆投影公式为：
Figure BDA0002988686630000081
像素位置(u,v)为：
Figure BDA0002988686630000082
S7、优化求解；通过调整平面方程的值，就能够改变重投影点的位置，在该过程中，通过多次迭代，使得误差函数值最小。当误差函数公式达到最小时，完成优化，对应的参数(A,B,C,D)就是。
S8、三维重建，通过三维平面方程，获得交通标志牌的朝向信息，(A,B,C)构成的矢量，就是平面的发现方向，且将Host帧的边缘点，作射线与三维平面方程相交，就能够得到交通标志牌三维点云图。
相对于现有技术，本发明重建出的交通标志牌具有完整的几何尺寸和朝向信息，且在重建过程中利用了多个位置的图像信息，大大增加了重建视差，从而提高了重建精度；并将交通标志牌假设为一个平面方程，该假设即符合实际情况，且简化重建过程。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (10)

1.一种基于双目视觉的交通标志牌三维重建方法，其特征在于，包括：
S1、获取交通标志牌的图像，并基于双目视差图提取图像中交通标志牌的轮廓；
S2、获取交通标志牌的连续帧图像，并基于双目视差图提取三维空间中同一个交通标志牌在图像中的轮廓；
S3、在连续帧图像中确定Host帧和Target帧；
S4、基于Target帧中的交通标志牌构建边缘距离图；
S5、基于双目视差，计算Host帧观测到的平面方程，作为初值；
S6、将Host帧的交通标志牌边缘点作射线与S5中的平面方程相交，构建三维点，将三维点重投影到Target帧上的边缘距离图，重投影构建误差函数；
S7、调整平面方程的值，改变重投影点位置，优化求解误差函数；
S8、基于三维平面方程，获得交通标志牌的朝向信息，并将Host帧的边缘点，作射线与平面方程相交，得到交通标志牌三维点云图。
2.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S3在连续帧图像中确定Host帧和Target帧，包括：从连续帧图像中选择1帧作为Host帧，其余帧作为Target帧。
3.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S4中基于Target帧构建边缘距离图，包括：
计算图像中每一个非零点像素与其最近的零点像素之间的距离，保存每一个非边缘像素点与最近边缘点的距离信息。
4.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S5中基于双目视差，计算Host帧观测到的平面方程为：
Ax+By+Cz+D＝0
其中，参数A，B，C，D是描述平面空间特征的系数，参数(A，B，C)构成的矢量表示平面的法向。
5.根据权利要求1所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S6中根据边缘距离图，重投影构建误差函数，包括：
利用Host帧上的边缘点，作射线与平面方程相交，交点构成三维点，将三维点再重投影回Target帧，根据边缘距离图和重投影点与边缘的误差，构建误差函数：
Figure FDA0002988686620000021
其中，f(A，B，C，D)表示误差函数是参数A，B，C，D的函数，下标i为Target帧的编号，Target共N-1帧；下标j表示投影点的序号，Mi表示第i帧的投影个数；dij(A，B，C，D)表示在第i帧的第j个投影点距离，投影距离是参数A，B，C，D的函数。
6.根据权利要求5所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S6中平面方程的求解，包括：
S6.1、提取Host帧的交通标志牌边缘；
S6.2、基于S6.1中的边缘点在相机坐标系下作射线；
S6.3、射线与初值平面方程相交，得到空间三维点；
S6.4、将所得三维点通过相机投影到Target帧，得到投影点；
S6.5、改变平面方程得到不同的投影位置；
S6.6、得到三维点的投影与Target帧提取边缘重合。
7.根据权利要求6所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S6.3中射线与初值平面方程相交，得到空间三维点，联立平面方程和相机逆投影公式，求出投影点坐标：
Figure FDA0002988686620000031
其中，(Xc，Yc，Zc)为当前坐标系下的三维点坐标，f为镜头焦距，fx、fy为x、y方向的焦距，cx、cy为主点，图像的中心；(u，v)为像素位置；
在已知像素位置(u，v)和平面方程时，通过像素点做射线与平面方程相交，可得空间交点(Xc，Yc，Zc)，当改变空间平面方程，空间三维点也将改变。
8.根据权利要求7所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述相机逆投影公式为：
Figure FDA0002988686620000032
9.根据权利要求7所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述像素位置(u，v)为：
Figure FDA0002988686620000033
10.根据权利要求5所述的基于双目视觉的交通标志牌三维重建方法，其特征在于，所述S7中调整平面方程的值，改变重投影点位置，优化求解误差函数，包括：
调整参数A、B、C、D，当误差函数f达到极小值时，所得的参数A、B、C、D即是目标值。
CN202110308082.6A 2021-03-23 2021-03-23 一种基于双目视觉的交通标志牌三维重建方法 Active CN113034671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110308082.6A CN113034671B (zh) 2021-03-23 2021-03-23 一种基于双目视觉的交通标志牌三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110308082.6A CN113034671B (zh) 2021-03-23 2021-03-23 一种基于双目视觉的交通标志牌三维重建方法

Publications (2)

Publication Number Publication Date
CN113034671A true CN113034671A (zh) 2021-06-25
CN113034671B CN113034671B (zh) 2024-01-09

Family

ID=76472811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308082.6A Active CN113034671B (zh) 2021-03-23 2021-03-23 一种基于双目视觉的交通标志牌三维重建方法

Country Status (1)

Country Link
CN (1) CN113034671B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2950791A1 (en) * 2013-08-19 2015-02-26 State Grid Corporation Of China Binocular visual navigation system and method based on power robot
CN111899345A (zh) * 2020-08-03 2020-11-06 成都圭目机器人有限公司 一种基于2d视觉图像的三维重建方法
CN111914715A (zh) * 2020-07-24 2020-11-10 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN112348876A (zh) * 2019-08-08 2021-02-09 北京地平线机器人技术研发有限公司 一种标志牌的空间坐标获取方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2950791A1 (en) * 2013-08-19 2015-02-26 State Grid Corporation Of China Binocular visual navigation system and method based on power robot
CN112348876A (zh) * 2019-08-08 2021-02-09 北京地平线机器人技术研发有限公司 一种标志牌的空间坐标获取方法及装置
CN111914715A (zh) * 2020-07-24 2020-11-10 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN111899345A (zh) * 2020-08-03 2020-11-06 成都圭目机器人有限公司 一种基于2d视觉图像的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
倪章松;顾艺;柳庆林;陈然;李中伟;: "大视场双目立体视觉柔性标定", 光学精密工程, no. 07 *

Also Published As

Publication number Publication date
CN113034671B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN103971408B (zh) 三维人脸模型生成系统及方法
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
CN104966316A (zh) 一种3d人脸重建方法、装置及服务器
CN111476242B (zh) 一种激光点云语义分割方法及装置
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
US9147279B1 (en) Systems and methods for merging textures
CN104077808A (zh) 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN111508030A (zh) 一种计算机视觉的立体匹配方法
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN113313832A (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN114332125A (zh) 点云重建方法、装置、电子设备和存储介质
Cheng et al. GaussianPro: 3D Gaussian Splatting with Progressive Propagation
Hung et al. Multipass hierarchical stereo matching for generation of digital terrain models from aerial images
CN104796624A (zh) 一种光场编辑传播方法
CN112489097B (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
CN115359193B (zh) 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN113034671B (zh) 一种基于双目视觉的交通标志牌三维重建方法
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant