CN103996220A - 一种智能交通中的三维重建方法及系统 - Google Patents

一种智能交通中的三维重建方法及系统 Download PDF

Info

Publication number
CN103996220A
CN103996220A CN201410226631.5A CN201410226631A CN103996220A CN 103996220 A CN103996220 A CN 103996220A CN 201410226631 A CN201410226631 A CN 201410226631A CN 103996220 A CN103996220 A CN 103996220A
Authority
CN
China
Prior art keywords
point
video
image
unique point
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410226631.5A
Other languages
English (en)
Inventor
宋雪桦
王维
万根顺
于宗洁
顾金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201410226631.5A priority Critical patent/CN103996220A/zh
Publication of CN103996220A publication Critical patent/CN103996220A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种智能交通中的三维重建方法及系统,包括:获取检测场景的信息,实现检测场景中目标特征点的提取和动态跟踪,特征点自动补全,分布重建算法对目标进行三维重建,所述三维重建方法及系统执行以下步骤:S101、摄像机标定;S102、同步获取带有场景深度信息的原始视频图像;S103、跟踪视频场景中目标的特征点;S104、选取视频关键帧;S105、对选取的帧进行重建;S106、对子集进行打包处理;S107、得到最终三维模型。本发明采用改进的KLT跟踪算法、优化了特征点模型,提高了跟踪效率,同时运用先提取关键帧作为子集,对子集进行重建,最后在合并子集的方法,解决了所得视频帧较短、场景中特征点跟踪丢失、错误等影响图像信息深度获取的问题。

Description

一种智能交通中的三维重建方法及系统
技术领域
本发明涉及数字图像处理技术领域,尤其涉及一种智能交通中的三维重建方法及系统。
背景技术
近几年来,三维重建一直是计算机视觉领域中一个重要的研究方向,它在虚拟现实、物体识别和可视化等方面有着广泛的应用。如何在计算机中对场景进行快速、有效的重建,向来都是计算机视觉研究领域的热点和难点。
三维重建(也称为“多视图几何”)是在一个静态场景下的一系列的图像(如建筑、街道、车辆等)来估计场景的三维结构。同时估计多视图几何可能不一样复杂的对象识别,它需要许多任务;一些例子包括获得致密重建、创建详细的3D模型或犯罪现场、测量距离的图像、机器人技术、建立一个内部三维模型从图像导航、渲染视频特效等。此外,通过多视图系统获得的信息可以用作更高水平的输入、识别或其他系统。
三维技术开始应用于智能交通领域以来,已得到了广泛应用。但长期以来,由于缺乏必要的技术,对车辆检测、路况分析等智能交通应用领域多局限于进行简单的定性分析。随着计算机视觉技术和图像处理技术的发展,使利用摄影图像对智能交通领域进行定量分析成为可能。近年来,国内外对立体视觉技术在智能交通领域再现中的应用进行了广泛的研究,研究范围主要集中于以下三个方面:
(1)利用立体视觉技术事故现场;
(2)利用立体视觉技术车辆变形;
(3)利用立体视觉技术进行智能识别。
由于立体视觉技术能够迅速而完整地记录交通场景中的各种信息,若能利用摄影图像来定量测量交通场景,则可提高场景的勘测速度,减少占道时间,提高道路通行能力。因此,国内外对利用摄影图像测量交通场景的研究较多。
发明内容
本发明的目的是提供一种智能交通中的三维重建方法及系统,采用改进的KLT跟踪算法、优化了特征点模型,提高了跟踪效率,同时运用先提取关键帧作为子集,对子集进行重建,最后再合并子集的方法,解决了所得视频较短、场景中特征点跟踪丢失、错误等影响图像信息深度获取的问题。
本发明所述一种智能交通中的三维重建方法,是利用改进的KLT算法实现检测场景中目标特征点的提取和动态跟踪以及特征点自动补全,分布重建算法对目标进行三维重建,具体包括以下步骤:
S101、摄像机标定:获取摄像机的内在和外在的参数、校准相机并测定深度;
S102、同步获取带有场景深度信息的原始视频图像;为了保证所录入的视频或拍摄的图像有足够的信息深度,可以通过一个或多个设备(如果是多个设备需考虑同步问题)在不同视角对目标场景进行信息采集;
S103、跟踪视频场景中目标的特征点;通过改进的KLT算法,先确定合适的特征点来进行跟踪,然后在整个视频序列中跟踪这些特征块;
S104、选取视频关键帧:通过阈值法和分布处理的方法,选取一组关键帧;
S105、对选取的帧进行重建:采用三点六帧发重建模型,并用流光法平差优化模型;
S106、对子集进行打包处理;
S107、得到最终三维模型。
所述步骤S101具体包括:可以通过计算机利用Matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正,并得到校正后内外参数,然后进行线性高通滤波。
所述步骤S103包括:特征点自动补全机制:在首帧中找到合适的目标特征点后,从下一帧开始定位到前一帧所有目标特征点的2D坐标;如果有些特征点在跟踪过程中消失了,那么在消失的这一帧中找寻新的特征点来顶替上,保证特征点数量不变,从而保证重建的深度信息充足;
其中,步骤S103中所述采用改进的KLT算法包括下列步骤:
S201、输入第一幅图像;
S202、选择特征点;
S203、保存特征点;
S204、输入第二幅图像;
S205、追踪特征点;
S206、删除丢失特征点;
S207、保存跟踪点;
S208、用第二幅图代替第一幅图;
S209、用下一幅图代替第一幅图;
S210、选择特征点代替丢失特征点;
S211、保存特征点,并回到步骤S205。
所述步骤S202选择特征点,具体为:
S601、在图像I(中计算出每个像素点中的矩阵G以及最小特征值λm;其中,定义I为第一帧图像,J为第二帧图像;
S602、在整个图像序列中得到λm中的最大值λmax
S603、保留那些满足λm大于阈值的图像像素点;
S604、保留区域内的最大像素;
S605、保持这些像素的子集,这样任何一对像素之间的最小距离大于给定阈值的距离;
所述步骤S601中像素点的矩阵G定义为:
G = Σ x = p x - w x p x + w x Σ y = p y - w y p y + w y I x 2 I x I y I x I y I y 2
式中,p=[px py]T为点向量;wx,wy分别为集成窗口函数的大小参数,集成窗口的大小为(2wx+1)×(2wy+1)
其中,所述步骤S205追踪特征点,具体包括:
跟踪更新的形式方程Zd=e,表明的任何部分Z是一个糟糕的位置跟踪。
式中,Z=∫∫Wg(x)gT(x)w(x)dx;
e=∫∫W[I(x)-J(x)]g(x)w(x)dx
很明显如果等式是无解,那么跟踪点将无法更新,跟踪点也会因此丢失。从线性代数角度,可以解决的线性系统的状态值接近1。状态值是最大特征值与最小特征值的比率。另外,如果任何特征值接近为零,那么系统将无法工作。例如,在一片黑色的区域有一个像素方块,它的状态值趋于0,但这两个特征值将接近于零。在实际运用中,将会有一个“功能优良”得分,
min(λ12),得到的是Z矩阵的最小特征值。
选用了KLT算子来选取图像中的特征点。KLT算子首先计算每点的σ矩阵的特征值,λ1λ2如果min(λ1λ2)>H(阈值)则该点为有效特征点。σ矩阵定义为:
I x I x I x I x I y I x I y I y                       ?
Ix为一阶x方向导数,Iy为一阶y方向导数。
要在图像中找到一个好的特征点,第一步,得到该图像的数学形式。第二步,对于每一个像素计算出矩阵Z的两个特征值(λ12)和对应得分min(λ12),如果该得分大于阈值,那么就存储该像素点的坐标。最后,图像中那些特征点距离太近的(通常在10~15个像素单位)都将会被过滤掉。
然而实际问题可能要更加复杂,以上涉及到的KLT跟踪算法更多的只是适合小像素位移,如果构建一个金子塔模型由上而下搜索,那么该问题就能得到较好的解决。
设I0=I为第0层等级的图像,那么金字塔就可以使用迭代形式表示:
I0→I1→I2→I3→IL...(L:2~4)
在图像I中得到一个点u,对应特征点的位置应该是v=u+d。那么特征点u(u0)在金字塔模型下与图像IL的特征点uL的关系就是:
u L = u 2 L
因此金字塔跟踪算法的总体流程就是:
S701、计算出金字塔第Lm级的dLm
S702、以Lm-1为初始值计算出金字塔模型第dLm-1级的;
S703、以相同的方法计算到第0级
g L = g x L g y L T 为第L级图像的一个初始值,剩余像素位移矢量 d L = d x L d y L T 用于最小化新图像的匹配误差函数εL
ϵ L ( d L ) = ϵ L ( d x L , d y L ) = Σ x = u x L - w x u x L + w x Σ y = u y L - w y u y L + w y ( I L ( x , y ) - J L ( x + g x L + d x L , y + g y L + d y L ) ) 2
上式中的窗口大小(2wx+1)×(2wy+1)是一个固定值。gL用于提前为第二幅图像J打补丁,而dL比较小,因此很容易使用之前提到的KLT算法计算出来。
假设dL已经得到,那么在第L-1级图像中新的初始值gL-1就可以求出:
gL-1=2(gL+dL)
对于最深层次的Lm的初始值就为:
gLm=[0 0]T
最后使用光流法解得d
d = Σ L = 0 Lm 2 L d L .
所述步骤S104具体为:先设置一个参考阈值,默认值为500,在对整个视频的特征点跟踪轨迹中,统计视频帧中的特征点能维持到最后一帧的数量N,如果满足N>500的条件,那么该帧就可以作为关键帧保留;对于那些N<500的视频帧会按从高到底的数量进行保留;然后使用分布处理的方法,将视频图像分成大小相同的若干个图像块进行处理,并且每一个小块中的值会被记录下来;这些值指的是那些包含超过8个轨迹点的值;当一个新的关键帧识别,值将会被覆盖存储;每个后续的处理中,只使用跟踪幸存的最后一个关键帧,然后与之前的数据相比,即前一个关键帧;如果前后值的比率低于60%,然后选择它作为一种新的关键帧。
所述步骤S105具体为:
S501、从全部跟踪点中随机选取6个特征点的子集进行操作;
S502、使用3视角6点算法处理6个点的子集;
S503、通过评估3视角6点的投影重建并且比较其他数据与重建的匹配度来给这6个点子集评分;
S504、重复步骤1和2,记住到目前为止最好分数,直到一套好的点被发现;
S505、光速法平差优化重建的子集。
本发明还公开了一种智能交通中的三维重建系统,包括图像获取模块,特征点跟踪模块以及三维模型输出模块,其中,
所述图像获取模块,用于摄像机标定以及采集带有场景深度信息的视频图像;
所述特征点跟踪模块,用于第一帧图像中选取特征点,并在视频流中跟踪这些特征点;
所述三维模型输出模块,用于选取视频关键帧,并重建子集,合并后输出三维模型。
更具体地,所述图像获取模块,具体还包括:图像校正模块,用于摄像机标定以及获取图像校正,即步骤S101、S102;
所述特征点跟踪模块,具体采用改进的KLT算法,确定合适的特征点,并在视频中跟踪这些特征点以及在发现特征点丢失时补充特征点,即步骤S201至S211;
所述特征点跟踪模块,还具体包括:构建一个金字塔模型从上往下搜索,采用递归法计算知道第0级,即步骤S701、S702和S703;
所述三维输出模块,具体用于从图像的全部跟踪点中随机选取6个特征点的子集进行重建,并通过阈值法优化特征点,即步骤S401至S408;
所述三维输出模块,具体还包括采用光速平差对子集结果进行优化,最后合并输出三维模型,即步骤S501至S505。
本发明的有益效果主要体现在以下三个大的方面:
1、实现检测场景中目标特征点的提取和动态跟踪。对场景中目标的三维重建归根到底是对目标特征点的重建,因此提取目标特征点是首要问题。然而实际交通中车辆目标较大且往往处于运动状态,所以不仅要能提取出目标的特征点更要能稳定的跟踪这些特征点。因此本文采用改进的KLT跟踪算法、优化了特征点模型,提高了跟踪效率,从而达到最佳效果。
2、特征点自动补全机制。在复杂的实际场景中可能会遇到类似于噪音干扰、目标遮挡等原因导致特征点丢失,从而影响了整个重建系统的鲁棒性。本发明采用特征点自动补全算法,如果有些特征点在跟踪过程中丢失了,那么在丢失的这一帧中找寻新的特征点来顶替上,保证特征点数量不变。
3、采用分布重建算法对目标进行三维重建。场景中图像信息深度直接决定了三维场景恢复的程度,对于参与重建的相邻视频帧信息深度不足的问题,本发明采用先提取视频中的关键帧作为子集,对子集先进行重建,最后再合并打包子集,保证最终系统重建的稳定性。
附图说明
图1为本发明智能交通中三维重建方法及系统的流程示意图。
图2为本发明改进的KLT跟踪算法的实现流程图。
图3为本发明改进后的三维场景恢复流程图。
图4为本发明子集三维重建的流程图。
图5为本发明选择最优特征点的流程图。
图6为本发明改进KLT跟踪算法金字塔模型的算法流程。
图7为本发明智能交通中三维重建系统的结构图。
具体实施方式
以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示,本发明的智能交通中三维重建方法具体包括:
S101、摄像机标定;
S102、同步获取带有场景深度信息的原始视频图像;
S103、跟踪视频场景中目标的特征点;本发明采用改进的KLT特征点跟踪算法(流程图参图2所示),具体包括:选择并跟踪特征点、替换丢失的特征点、加速过程、存储所有的特征点在一个结构或者文件中并能够读取、特征点的一致性检查;如在实施过程中,如果所选的特征点突然超出了指定的区域、计算故障、噪声干扰等等。如果希望保证能对一定数量的特征点进行跟踪(假设这次仿真中的100特征点),这就需要找到图像中的所有特征点并对这些特征点进行排名。当有k个特征点丢失了,那么将会在剩余的特征点中找到最好的k个特征点去顶替;特征点在一帧到下一帧的跟踪过程中错误会被累加。
S104、选取视频关键帧;具体包括两个标准,第一:以测试框架参考系与一个阈值(本文默认是500)进行比较来计算跟踪点的数量。跟踪如果低于这个阈值从参考系生存测试框架,然后测试框架被接受作为一种新的关键帧。第二:使用分布处理的方法,将视频图像分成大小相同的若干个图像块进行处理。本文中视频图像会被分为4×4块,并且每一个小块中的值会被记录下来。这些值指的是那些包含超过8个轨迹点的值。当一个新的关键帧识别,值将会被覆盖存储。每个后续的处理中,只使用跟踪幸存的最后一个关键帧,然后与之前的数据相比,即前一个关键帧。如果前后值的比率低于60%,然后选择它作为一种新的关键帧。
此处关键帧选取中涉及的阈值500、参数60%都不是固定的,是本文设置的一个参考值,因为在处理过程中对于小于500和60%的数据虽然不是最优的,但也会被保存,重建过程需要有足够的输入信息,当最优输入不够时,小于500和60%的数据将会作为顶替数据。
S105、对选取的帧进行重建;本发明采用的三点六帧重建,具体包括:从全部跟踪点中随机选取6个特征点的子集进行操作,使用3视角6点算法处理6个点的子集,通过评估3视角6点的投影重建并且比较其他数据与重建的匹配度来给这6个点子集评分,重复步骤,记住到目前为止最好分数,直到一套好的点被发现。
S106、对子集进行打包处理;
S107、得到最终三维模型
如图2所示,所述采用改进的KLT算法包括下列步骤:
S201、输入第一幅图像
S202、选择特征点
S203、保存特征点
S204、输入第二幅图像
S205、追踪特征点
S206、删除丢失特征点
S207、保存跟踪点
S208、用第二幅图代替第一幅图
S209、用下一幅图代替第一幅图
S210、选择特征点代替丢失特征点
S211、保存特征点,并回到步骤S205;
如图3所示,所述改进后的三维场景恢复流程图包括下列步骤:
S401、含跟踪特征点的视频序列;
S402、判断是否为关键帧,如果是继续步骤S403,如果否,继续步骤S404;
S403、选为关键帧;
S404、存储但不参与重建;
S405、对关键帧‘隔三取一’分为三个子集;
S406、对子集进行打包合并;
S407、对子集进行重建;
S408、采用光速平差对子集结果进行优化;
其中所述步骤S407对子集进行三维重建包括以下步骤,如图4所示:
S501、从图像的全部跟踪点中随机选取6个特征点的子集进行操作;
S502、使用3视角6点算法处理6个点的子集;
S503、评估3视角6点的投影重建并且比较其他数据域重建的匹配度来给这6个子集评分;
S504、通过阈值法判断是否是最优特征点,如果不是返回S501,如果是继续S505;
S505、光速法平差优化重建的子集;
其中所述步骤S504最优特征点的判断,包括以下步骤如图5所示:
S601、在图像中计算出每个像素点中的矩阵以及最小特征值;
S602、在整个图像序列中得到最大序列值
S603、保留那些满足大于阈值的图像像素点;
S604、保留区域内的最大像素,假设其大与相邻像素区域
S605、保持这些像素的子集,这样任何一对像素之间的最小距离大于给定阈值的距离
如图6所示,所述为金字塔跟踪算,其具体步骤包括:
S701、计算出金字塔第Lm级的dLm
S702、以Lm-1为初始值计算出金字塔模型第dLm-1级的;
S703、以相同的方法计算到第0级
本发明还提供了一种智能交通中三维重建的系统,如图7所示,所述系统包括:图像获取模块S801,特征点跟踪模块S802以及三维模型输出模块S803;
其中,所述图像获取模块S801,用于带有场景深度信息的原始视频图像;所述特征点跟踪模块S802,用于选取图像中选取特征点,并在视频流中跟踪这些特征点;所述三维模型输出模块S803,用于选取视频关键帧,并重建子集,合并后输出三维模型;
其中,所述图像获取模块S801,具体还包括:图像校正模块,用于摄像机标定以及获取图像校正;
其中,所述特征点跟踪模块S802,具体采用改进的KLT算法,确定合适的特征点,并在视频中跟踪这些特征点以及在发现特征点丢失时补充特征点;
进一步的,所述特征点跟踪模块S802,还具体包括:构建一个金字塔模型从上往下搜索,采用递归法计算知道第0级;
其中,所述三维输出模块S803,具体用于从图像的全部跟踪点中随机选取6个特征点的子集进行重建,并通过阈值法优化特征点,采用光速平差对子集结果进行优化,最后合并输出三维模型。
由上述实施方式可以看出,本发明克服了所得视频帧较短、场景中特征点跟踪丢失、错误等影响图像信息深度获取的问题,采用改进的KLT跟踪算法、优化了特征点模型,提高了跟踪效率,同时运用先提取关键帧作为子集,对子集进行重建,最后在合并子集的方法。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围。

Claims (9)

1.一种智能交通中的三维重建方法,包括:获取检测场景的信息,利用改进的KLT算法实现检测场景中目标特征点的提取和动态跟踪,以及特征点自动补全,分布重建算法对目标进行三维重建,所述方法具体执行以下步骤: 
S101、摄像机标定; 
S102、同步获取带有场景深度信息的原始视频图像;可以通过一个或多个设备在不同视角对目标场景进行信息采集; 
S103、跟踪视频场景中目标的特征点;通过改进的KLT算法,先确定合适的特征点来进行跟踪,然后在整个视频序列中跟踪这些特征块; 
S104、选取视频关键帧; 
S105、对选取的帧进行重建; 
S106、对子集进行打包处理; 
S107、得到最终三维模型。 
2.根据权利要求1所述的方法,其特征在于,所述步骤S101具体包括: 
获取摄像机的内在和外在的参数、相机校准、以及深度测定; 
具体的,可以通过计算机利用Matlab摄像机标定工具箱及摄像机的内外参数对摄像机拍摄的图片用立体图像对校正指令进行校正,并得到校正后内外参数,然后进行线性高通滤波。 
3.根据权利要求1所述的方法,其特征在于,所述步骤S103包括: 
特征点自动补全机制:在首帧中找到合适的目标特征点后,从下一帧开始定位到前一帧所有目标特征点的2D坐标;如果有些特征点在跟踪过程中消失了,那么在消失的这一帧中找寻新的特征点来顶替上,保证特征点数量不变,从而保证重建的深度信息充足; 
其中,所述采用改进的KLT算法包括下列步骤: 
S201、输入第一幅图像; 
S202、选择特征点; 
S203、保存特征点; 
S204、输入第二幅图像; 
S205、追踪特征点; 
S206、删除丢失特征点; 
S207、保存跟踪点; 
S208、用第二幅图代替第一幅图; 
S209、用下一幅图代替第一幅图; 
S210、选择特征点代替丢失特征点; 
S211、保存特征点,并回到步骤S205。 
4.根据权利要求1所述的方法,其特征在于,所述步骤S104具体为: 
先设置一个参考阈值,默认值为500,在对整个视频的特征点跟踪轨迹中,统计视频帧中的特征点能维持到最后一帧的数量N,如果满足N>500的条件,那么该帧就可以作为关键帧保留;对于那些N<500的视频帧会按从高到底的数量进行保留;然后使用分布处理的方法,将视频图像分成大小相同的若干个图像块进行处理,并且每一个小块中的值会被记录下来;这些值指的是那些包含超过8个轨迹点的值;当一个新的关键帧识别,值将会被覆盖存储;每个后续的处理中,只使用跟踪幸存的最后一个关键帧,然后与之前的数据相比,即前一个关键帧;如果前后值的比率低于60%,然后选择它作为一种新的关键帧。 
5.根据权利要求1所述的方法,其特征在于,所述步骤S105具体为: 
S501、从全部跟踪点中随机选取6个特征点的子集进行操作; 
S502、使用3视角6点算法处理6个点的子集; 
S503、通过评估3视角6点的投影重建并且比较其他数据与重建的匹配度来给这6个点子集评分; 
S504、重复步骤1和2,记住到目前为止最好分数,直到一套好的点被发现; 
S505、光速法平差优化重建的子集。 
6.根据权利要求3所述的方法,其特征在于,所述步骤S202选择特征点,具体为: 
S601、在图像I(中计算出每个像素点中的矩阵G以及最小特征值λm;其中,定义I为第一帧图像,J为第二帧图像; 
S602、在整个图像序列中得到λm中的最大值λmax; 
S603、保留那些满足λm大于阈值的图像像素点; 
S604、保留区域内的最大像素; 
S605、保持这些像素的子集,这样任何一对像素之间的最小距离大于给定阈值的距离; 
所述步骤S601中像素点的矩阵G定义为: 
式中,p=[px py]T为点向量;wx,wy分别为集成窗口函数的大小参数,集成窗口的大 小为(2wx+1)×(2wy+1) 。
7.一种智能交通中的三维重建系统,包括图像获取模块,特征点跟踪模块以及三维模型输出模块,其中, 
所述图像获取模块,用于摄像机标定以及采集带有场景深度信息的视频图像; 
所述特征点跟踪模块,用于第一帧图像中选取特征点,并在视频流中跟踪这些特征点; 
所述三维模型输出模块,用于选取视频关键帧,并重建子集,合并后输出三维模型。 
8.根据权利要求7所述的系统,其特征在于,所述特征点跟踪模块,具体采用改进的KLT算法,确定合适的特征点,并在视频中跟踪这些特征点以及在发现特征点丢失时补充特征点。 
9.根据权利要求7所述的系统,其特征在于,所述三维输出模块,具体用于从图像的全部跟踪点中随机选取6个特征点的子集进行重建,并通过阈值法优化特征点,采用光速平差对子集结果进行优化,最后合并输出三维模型。 
CN201410226631.5A 2014-05-26 2014-05-26 一种智能交通中的三维重建方法及系统 Pending CN103996220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410226631.5A CN103996220A (zh) 2014-05-26 2014-05-26 一种智能交通中的三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410226631.5A CN103996220A (zh) 2014-05-26 2014-05-26 一种智能交通中的三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN103996220A true CN103996220A (zh) 2014-08-20

Family

ID=51310372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410226631.5A Pending CN103996220A (zh) 2014-05-26 2014-05-26 一种智能交通中的三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN103996220A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658036A (zh) * 2015-01-30 2015-05-27 郑州大学 一种快速建立智能交通三维场的方法
CN106652020A (zh) * 2016-12-05 2017-05-10 成都通甲优博科技有限责任公司 一种基于模型的塔杆三维重建方法
CN106683113A (zh) * 2016-10-27 2017-05-17 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及系统
CN107968918A (zh) * 2016-10-20 2018-04-27 现代自动车株式会社 用于控制多视角摄像机的曝光的设备及其系统和方法
CN108364343A (zh) * 2018-01-11 2018-08-03 东南大学 一种近景摄影的快速布控方法
CN109087344A (zh) * 2018-07-18 2018-12-25 四川华雁信息产业股份有限公司 三维重建中的图像选择方法及装置
CN109377503A (zh) * 2018-10-19 2019-02-22 珠海金山网络游戏科技有限公司 图像更新方法和装置、计算设备及存储介质
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN109712231A (zh) * 2018-12-24 2019-05-03 成都四方伟业软件股份有限公司 道路特效设置方法及装置
WO2019101061A1 (en) * 2017-11-22 2019-05-31 Huawei Technologies Co., Ltd. Three-dimensional (3d) reconstructions of dynamic scenes using reconfigurable hybrid imaging system
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN112668410A (zh) * 2020-12-15 2021-04-16 浙江大华技术股份有限公司 分拣行为检测方法、系统、电子装置和存储介质
CN113129348A (zh) * 2021-03-31 2021-07-16 中国地质大学(武汉) 一种基于单目视觉的道路场景中车辆目标的三维重建方法
CN113283373A (zh) * 2021-06-09 2021-08-20 重庆大学 一种用于增强深度相机检测肢体运动参数的方法
CN113793413A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质
CN115294187A (zh) * 2022-10-08 2022-11-04 合肥的卢深视科技有限公司 深度相机的图像处理方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551907A (zh) * 2009-04-28 2009-10-07 浙江大学 一种多照相机自动化高精度标定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551907A (zh) * 2009-04-28 2009-10-07 浙江大学 一种多照相机自动化高精度标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LONG QUAN: "Invariants of 6 Points from 3 Uncalibrated Images", 《LECTURE NOTES IN COMPUTER SCIENCE》 *
THORSTEN THORMAHLEN ET AL: "Keyframe Selection for Camera Motion and Structure Estimation from Multiple Views", 《ECCV 2004》 *
TIMO ZINSSER: "Efficient and Robust Algorithms for Sparse 3D Reconstruction from Image Sequences", 《THESIS OF UNIVERSITY OF ERLANGEN-NÜRNBERG》 *
TOMAS SVOBODA ET AL: "A Convenient Multi-Camera Self-Calibration for Virtual Environments", 《PRESENCE: TELEOPERATORS AND VIRTUAL ENVIRONMENTS》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658036B (zh) * 2015-01-30 2018-06-15 郑州大学 一种快速建立智能交通三维场的方法
CN104658036A (zh) * 2015-01-30 2015-05-27 郑州大学 一种快速建立智能交通三维场的方法
CN107968918A (zh) * 2016-10-20 2018-04-27 现代自动车株式会社 用于控制多视角摄像机的曝光的设备及其系统和方法
CN106683113A (zh) * 2016-10-27 2017-05-17 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN106683113B (zh) * 2016-10-27 2020-02-04 纳恩博(北京)科技有限公司 特征点跟踪方法和装置
CN106652020A (zh) * 2016-12-05 2017-05-10 成都通甲优博科技有限责任公司 一种基于模型的塔杆三维重建方法
CN106652020B (zh) * 2016-12-05 2019-12-24 成都通甲优博科技有限责任公司 一种基于模型的塔杆三维重建方法
CN107134008A (zh) * 2017-05-10 2017-09-05 广东技术师范学院 一种基于三维重建下的动态物体识别的方法及系统
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
WO2019101061A1 (en) * 2017-11-22 2019-05-31 Huawei Technologies Co., Ltd. Three-dimensional (3d) reconstructions of dynamic scenes using reconfigurable hybrid imaging system
CN110047104A (zh) * 2017-12-26 2019-07-23 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN110047104B (zh) * 2017-12-26 2023-12-08 精工爱普生株式会社 对象检测和跟踪方法、头戴式显示装置和存储介质
CN108364343A (zh) * 2018-01-11 2018-08-03 东南大学 一种近景摄影的快速布控方法
CN108364343B (zh) * 2018-01-11 2021-07-09 东南大学 一种近景摄影的快速布控方法
CN109087344A (zh) * 2018-07-18 2018-12-25 四川华雁信息产业股份有限公司 三维重建中的图像选择方法及装置
CN109410316A (zh) * 2018-09-21 2019-03-01 深圳前海达闼云端智能科技有限公司 物体的三维重建的方法、跟踪方法、相关装置及存储介质
CN109377503A (zh) * 2018-10-19 2019-02-22 珠海金山网络游戏科技有限公司 图像更新方法和装置、计算设备及存储介质
CN109712231A (zh) * 2018-12-24 2019-05-03 成都四方伟业软件股份有限公司 道路特效设置方法及装置
CN112668410A (zh) * 2020-12-15 2021-04-16 浙江大华技术股份有限公司 分拣行为检测方法、系统、电子装置和存储介质
CN112668410B (zh) * 2020-12-15 2024-03-29 浙江大华技术股份有限公司 分拣行为检测方法、系统、电子装置和存储介质
CN113129348A (zh) * 2021-03-31 2021-07-16 中国地质大学(武汉) 一种基于单目视觉的道路场景中车辆目标的三维重建方法
CN113283373A (zh) * 2021-06-09 2021-08-20 重庆大学 一种用于增强深度相机检测肢体运动参数的方法
CN113283373B (zh) * 2021-06-09 2023-05-05 重庆大学 一种用于增强深度相机检测肢体运动参数的方法
CN113793413A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质
CN115294187A (zh) * 2022-10-08 2022-11-04 合肥的卢深视科技有限公司 深度相机的图像处理方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN103996220A (zh) 一种智能交通中的三维重建方法及系统
Du et al. Car detection for autonomous vehicle: LIDAR and vision fusion approach through deep learning framework
CN105160702B (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN104331901A (zh) 一种基于tld的多视角目标跟踪装置及方法
CN104156957B (zh) 一种稳定高效的高分辨率立体匹配方法
CN103268631A (zh) 点云骨架提取方法及装置
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN103810744A (zh) 在点云中回填点
CN103413322A (zh) 序列视频关键帧提取方法
CN104867135A (zh) 一种基于指导图像引导的高精度立体匹配方法
Yang et al. Bevheight: A robust framework for vision-based roadside 3d object detection
CN103438834B (zh) 基于结构光投影的层级式快速三维测量装置及测量方法
CN103606151A (zh) 基于影像点云的大范围虚拟地理场景自动构建方法
CN103971366A (zh) 一种基于双权重聚合的立体匹配方法
CN105719352A (zh) 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN102982334A (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN102521842A (zh) 一种实现快速移动检测的方法和装置
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析系统
CN107464258A (zh) 一种从图像中提取三维平面的方法
Yang et al. Bevheight++: Toward robust visual centric 3d object detection
CN114511846A (zh) 一种基于点云跨视图特征转换的实时三维目标检测方法
CN105352482B (zh) 基于仿生复眼微透镜技术的3‑3‑2维目标检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820

WD01 Invention patent application deemed withdrawn after publication