CN109708655A - 导航方法、装置、车辆及计算机可读存储介质 - Google Patents
导航方法、装置、车辆及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109708655A CN109708655A CN201811642913.8A CN201811642913A CN109708655A CN 109708655 A CN109708655 A CN 109708655A CN 201811642913 A CN201811642913 A CN 201811642913A CN 109708655 A CN109708655 A CN 109708655A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- depth map
- vehicle
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明实施例提供一种导航方法、装置、车辆及计算机可读存储介质。该方法应用于车辆,车辆的头部安装有双目摄像头,双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;该方法包括:调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像;获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图;根据第一深度图和第二深度图,进行图像视觉导航。与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提高。
Description
技术领域
本发明实施例涉及车辆工程技术领域,尤其涉及一种导航方法、装置、车辆及计算机可读存储介质。
背景技术
随着车辆工程技术领域的迅速发展,车辆的使用越来越普遍,车辆已经成为了人们日常生活中的重要交通工具之一。目前,自动驾驶技术在车辆中的应用非常广泛,在使用自动驾驶技术时,车辆可以基于自身头部设置的摄像头进行导航,但是,现有技术中的导航效果一般较差,严重时甚至影响到行车安全性。
发明内容
本发明实施例提供一种导航方法、装置、车辆及计算机可读存储介质,以解决现有技术中,基于车辆头部设置的摄像头进行导航时,导航效果差的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供一种导航方法,应用于车辆,所述车辆的头部安装有双目摄像头,所述双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;所述方法包括:
调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像;
获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图;
根据所述第一深度图和所述第二深度图,进行图像视觉导航。
第二方面,本发明实施例提供一种导航装置,应用于车辆,所述车辆的头部安装有双目摄像头,所述双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;所述装置包括:
第一获得模块,用于调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像;
第二获得模块,用于获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图;
导航模块,用于根据所述第一深度图和所述第二深度图,进行图像视觉导航。
第三方面,本发明实施例提供一种车辆,其特征在于,包括处理器,存储器,存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的导航方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的导航方法的步骤。
本发明实施例中,双目摄像头中的两个摄像头是上下设置的,上下设置的两个摄像头的垂直距离可以大于预设距离,该垂直距离可以大于现有技术中左右设置的两个摄像头的距离,例如为50厘米至1米,这样,与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获取其他的附图。
图1是第一摄像头和第二摄像头的相对位置示意图;
图2是本发明实施例提供的导航方法的流程图之一;
图3是本发明实施例提供的导航方法的流程图之二;
图4是图像1中的像素点a1与图像2中的像素点a2的关系示意图;
图5是本发明实施例提供的导航装置的结构框图;
图6是本发明实施例提供的车辆的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
下面首先对本发明实施例提供的导航方法进行说明。
需要说明的是,本发明实施例提供的导航方法应用于车辆(例如智能汽车),车辆的头部安装有双目摄像头,双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离。
由于双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离,那么,第一摄像头和第二摄像头到地面的距离是不同的,这样,可以认为第一摄像头和第二摄像头沿着上下方向进行分布。实际安装时,第一摄像头和第二摄像头可以均设置于车辆的前挡风玻璃内侧;或者,第一摄像头可以设置于车辆的前挡风玻璃外侧,第二摄像头可以设置于车辆的车前牌照。举例而言,第一摄像头可以用图1中的圆圈101表示,第二摄像头可以用图1中的圆圈102表示,第一摄像头和第二摄像头在车辆上的相对位置可以如图1中所示的情况。
参见图2,图中示出了本发明实施例提供的导航方法的流程图之一。如图2所示,该方法包括如下步骤:
步骤201,调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像。
在步骤201中,车辆可以调用第一摄像头和第二摄像头同时针对同一场景拍摄视频。接下来,车辆可以从调用第一摄像头拍摄的视频中提取连续的若干张图像,并从调用第二摄像头拍摄的视频中提取连续的若干张图像。之后,车辆可以利用视频时间戳对齐从两个视频中提取的图像,以获得同一时刻对应的两张图像,这两张图像即可作为第一图像和第二图像。当然,在步骤201中,车辆也可以在同一时刻,直接调用第一摄像头拍摄第一图像,并调用第二摄像头拍摄第二图像。
步骤202,获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图。
在步骤202中,车辆可以从第一图像和第二图像中分别提取特征点,例如提取尺度不变特征变换(Scale-invariant feature transform,sfit)特征点。接下来,车辆可以对从两张图像中提取的特征点进行匹配,并根据匹配结果,获得第一图像对应的第一深度图,以及第二图像对应的第二深度图。可以理解的是,深度图可以作为一种三维场景信息表达方式,深度图中的每个像素点的灰度能够用于表征三维场景中某一点距离摄像头的远近。
步骤203,根据第一深度图和第二深度图,进行图像视觉导航。
这里,图像视觉导航可以是一种采用摄像头拍摄路面的图像信息,进行信息处理,运用机器视觉理论知识识别路面情况,以实现车辆自主导航的方法。
需要说明的是,现有技术中已经存在一些车辆基于双目摄像头进行图像视觉导航的方案,但是,现有技术中,双目摄像头中的两个摄像头是左右设置的,左右设置的两个摄像头的距离较小,一般仅为10厘米至15厘米,这样,两个摄像头的视差较小,计算远处场景时的深度误差较大,进行图像视觉导航时的导航效果较差。而本发明实施例中,双目摄像头中的两个摄像头是上下设置的,上下设置的两个摄像头的垂直距离可以大于预设距离,该垂直距离可以大于现有技术中左右设置的两个摄像头的距离,例如,该垂直距离可以为50厘米至1米,这样,与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提升。
参见图3,图中示出了本发明实施例提供的导航方法的流程图之二。图3所示实施例与图3所示实施例的主要区别在于:提供了获得第一深度图和第二深度图的具体方式。如图3所示,该方法包括如下步骤:
步骤301,在行车过程中,获得M个图像组;其中,M为大于或等于2的整数;每个图像组中包括调用第一摄像头获得的第三图像和调用第二摄像头获得的第四图像,每个图像组中的第三图像和第四图像的拍摄时刻相同,不同图像组中的第三图像的拍摄时刻不同。
这里,M可以为10、20或者30,当然,M的取值并不局限于此,具体可以根据实际情况来确定,本发明实施例对此不做任何限定。
步骤302,根据M个图像组,进行三维重建,以得到三维模型。
可以理解的是,M个图像组中包括第一摄像头拍摄的M张图像和第二摄像头拍摄的M张图像,车辆可以依据第一摄像头拍摄的M张图像和第二摄像头拍摄的M张图像,进行三维重建,以得到三维模型,下面对进行三维重建的过程进行介绍。
一般而言,在采用摄像头进行图像拍摄时,世界坐标系中的点A(X,Y,Z,1)可以投影到图像坐标系中的点a(x,y,1),在不考虑畸变的情况下,这两个点之间的关系可以用下述的公式(1)进行表示。
a=K[R|t]A (1)
其中,K属于摄像头的内参,其具体为摄像头的内参矩阵,主要表示焦距;R和t属于摄像头的外参,R表示当前图像相对于参考图像的旋转矩阵,t表示当前图像相对于参考图像的平移矩阵。
这样,由下述的公式(2)可知,从世界坐标系投影到图像坐标系的过程可以用投影矩阵P来进行表示。
P=K[R|t] (2)
对于同一摄像头先后拍摄到的两张图像而言,其可以包括对应世界坐标系中的同一点的像素点。例如,如图4所示,图像1(即image1)和图像2(即image2)可以均由第一摄像头拍摄,且图像1中的像素点a1和图像2中的像素点a2均对应世界坐标系中的点A,结合上述的公式(2),可以得到下述的公式(3)和公式(4)。
其中,F为基础矩阵(具体为3×3的矩阵),K2为图像2对应的内参矩阵,R2为图像2对应的旋转矩阵,K1为图像1对应的内参矩阵,t2为图像2对应的平移矩阵。
需要指出的是,由于图像1和图像2使用同一摄像头拍摄得到,可以认为K1等于K2,此时,K1和K2均为K;由于图像1和图像2的拍摄位置不同,所以图像1和图像2对应不同的外参,即R1和R2不相等,t1和t2不相等。只要计算出基础矩阵F,就可以通过分解F的方法得到图像1和图像2分别对应的K、R和t,即得到K、R1、t1、R2和t2。
具体地,为了计算出F,首先可以提取图像1和图像2中的特征点(例如sfit特征点),并对特征点进行匹配,以得到若干特征点对(例如上千个特征点对);其中,每个特征点对中包括图像1中的一个特征点和图像2中的一个特征点,每个特征点对中的两个特征点对应世界坐标系中的同一个点。接下来,根据若干特征点对和上述的公式(3),可以得到一组由若干个等式组成的方程组。在等式数量远大于所求未知数个数的情况下,使用随机最小二乘法可以求出组成F的9个元素,这时,通过计算成功得到了F。
在得到F之后,即可得到K、R1、t1、R2和t2。对于图像1而言,其所对应的摄像头视线方向可以用R1(3,:)T来进行表示,其所对应的摄像头中心位置s1可以用-R1 Tt1来进行表示;其中,R1(3,:)T是指R1这个3×3的矩阵的第三列的转置。类似地,对于图像2而言,其所对应的摄像头视线方向可以用R2(3,:)T来进行表示,其所对应的摄像头中心位置s2可以用-R2 Tt2来进行表示;其中,R2(3,:)T是指R2这个3×3的矩阵的第三列的转置。结合图3,计算线段s1a1所在直线和线段s2a2所在直线的交点即可得到三维坐标系中的点A。
需要说明的是,上述过程仅是以第一摄像头拍摄的图像1和图像2为例进行说明的,针对第二摄像头拍摄的图像的计算过程参照上述说明即可,在此不再赘述。由于第一摄像头拍摄的所有图像有相同的内参,第二摄像头拍摄的所有图像有相同的内参,同时,第一摄像头和第二摄像头同时采集到的图像的相对位置保持不变,即第一摄像头和第二摄像头相互之间的旋转和平移理论上是保持不变的,这样,通过计算,车辆最终能够得到由第一摄像头的内参、第二摄像头的内参、用于表征第一摄像头和第二摄像头的相对位置的外参,以及三维坐标系中的多个点共同组成的三维模型。可以看出,在进行三维重建得到三维模型的过程中,摄像头的标定可以一并实现。
步骤303,调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像。
其中,步骤303的具体实施过程参照对步骤201的说明即可,在此不再赘述。
步骤304,根据三维模型,获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图。
具体地,三维模型中包括第一摄像头的内参、第二摄像头的内参,以及用于表征第一摄像头和第二摄像头的相对位置的外参;
步骤304,包括:
获得第一图像中的第一特征点集合和第二图像中的第二特征点集合;其中,第一特征点集合和第二特征点集合对应三维模型中的同一三维点集合;
根据第一摄像头的内参、第二摄像头的内参,以及外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离;
根据同一三维点集合中的每个三维点到第一摄像头的中心的距离,生成第一深度图,并根据同一三维点集合中的每个三维点到第二摄像头的中心的距离,生成第二深度图。
需要说明的是,车辆可以从第一图像和第二图像中分别提取特征点,并对从两张图像中提取的特征点进行匹配,以得到若干特征点对(例如上千个特征点对);其中,每个特征点对中包括第一图像中的一个特征点和第二图像中的一个特征点,每个特征点对中的两个特征点对应世界坐标系中的同一个点。这样,若干特征点对中位于第一图像中的所有特征点可以组成第一特征点集合,若干特征点对中位于第二图像中的所有特征点可以组成第二特征点集合。
针对第一特征点集合和第二特征点集合所对应的三维模型中的同一三维点集合中的每个三维点,车辆可以根据第一摄像头的内参、第二摄像头的内参、外参以及随机最小二乘法,计算该三维点对应的三维点坐标。由于摄像头中心位置可以用R(3,:)T来进行表示,车辆能够得到第一摄像头的中心的坐标和第二摄像头的中心的坐标,之后,车辆即可据此计算出该三维点到第一摄像头的中心的距离和到第二摄像头的中心的距离。通过上述方式,车辆能够得到第一图像中的若干二维特征点对应的深度值,并据此得到第一图像对应的第一深度图(该深度图具体为稀疏深度图);类似地,车辆能够得到第二图像对应的第二深度图。
步骤305,根据第一深度图和第二深度图,进行图像视觉导航。
其中,步骤305的具体实施过程参照对步骤203的说明即可,在此不再赘述。
本发明实施例中,车辆可以在行车过程中,获得M个图像组,并根据M个图像组,进行三维重建,以得到三维模型。接下来,车辆可以调用上下设置的第一摄像头和第二摄像头分别进行图像采集,以便于执行后续的图像视觉导航操作。这样,本发明实施例中,利用三维重建过程即可自动标定摄像头,标定过程无需利用标定板,那么,第一摄像头和第二摄像头均可以采用横向视场角较广的鱼眼摄像头,标定效率也能够得到提升。另外,本发明实施例中,双目摄像头中的两个摄像头是上下设置的,上下设置的两个摄像头的垂直距离可以大于预设距离,该垂直距离可以大于现有技术中左右设置的两个摄像头的距离,例如,该垂直距离可以为50厘米至1米,这样,与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提升。
可选地,三维模型中包括M个外参,M个外参与M个图像组一一对应;
根据第一摄像头的内参、第二摄像头的内参,以及外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离,包括:
从M个外参中选择所对应重投影误差最小的外参;
根据第一摄像头的内参、第二摄像头的内参,以及所选择的外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离。
需要说明的是,在进行三维重建的过程中,针对每个图像组均能够得到一个用于表征第一摄像头和第二摄像头的相对位置的外参,那么,车辆总共能够得到M个外参。车辆可以分别计算M个外参中的每个外参对应的重投影误差,以得到M个重投影误差。之后,车辆可以从M个重投影误差选择最小的重投影误差,后续计算三维点与相应摄像头的中心的距离时,车辆使用的可以是所对应重投影误差最小的外参,这样能够有效地保证计算出的距离的准确度。
需要指出的是,本发明实施例中的车辆除了可以用于需要进行自动驾驶的场景之外,还可以用于自动泊车、valet parking(代客泊车)等场景。
综上,本发明实施例中,由于双目摄像头的两个摄像头的垂直距离大于预设距离,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,进行图像视觉导航时的导航效果能够得到改善。另外,利用三维重建能够自动实现摄像头的标定,提高标定效率,鱼眼摄像头的使用能够扩大横向视场角。
下面对本发明实施例提供的导航装置进行说明。
参见图5,图中示出了本发明实施例提供的导航装置500的结构框图。如图5所示,导航装置500应用于车辆,车辆的头部安装有双目摄像头,双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;导航装置500包括:
第一获得模块501,用于调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像;
第二获得模块502,用于获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图;
导航模块503,用于根据第一深度图和第二深度图,进行图像视觉导航。
可选地,第一摄像头和第二摄像头均设置于车辆的前挡风玻璃内侧;
或者,
第一摄像头设置于车辆的前挡风玻璃外侧,第二摄像头设置于车辆的车前牌照。
可选地,导航装置500还包括:
第三获得模块,用于在调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像之前,在行车过程中,获得M个图像组;其中,M为大于或等于2的整数;每个图像组中包括调用第一摄像头获得的第三图像和调用第二摄像头获得的第四图像,每个图像组中的第三图像和第四图像的拍摄时刻相同,不同图像组中的第三图像的拍摄时刻不同;
第四获得模块,用于根据M个图像组,进行三维重建,以得到三维模型;
第二获得模块502,具体用于:
根据三维模型,获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图。
可选地,三维模型中包括第一摄像头的内参、第二摄像头的内参,以及用于表征第一摄像头和第二摄像头的相对位置的外参;
第二获得模块502,包括:
获得子模块,用于获得第一图像中的第一特征点集合和第二图像中的第二特征点集合;其中,第一特征点集合和第二特征点集合对应三维模型中的同一三维点集合;
计算子模块,用于根据第一摄像头的内参、第二摄像头的内参,以及外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离;
生成子模块,用于根据同一三维点集合中的每个三维点到第一摄像头的中心的距离,生成第一深度图,并根据同一三维点集合中的每个三维点到第二摄像头的中心的距离,生成第二深度图。
可选地,三维模型中包括M个外参,M个外参与M个图像组一一对应;
计算子模块,包括:
选择单元,用于从M个外参中选择所对应重投影误差最小的外参;
计算单元,用于根据第一摄像头的内参、第二摄像头的内参,以及所选择的外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离。
本发明实施例中,双目摄像头中的两个摄像头是上下设置的,上下设置的两个摄像头的垂直距离可以大于预设距离,该垂直距离可以大于现有技术中左右设置的两个摄像头的距离,例如,该垂直距离可以为50厘米至1米,这样,与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提升。
下面对本发明实施例提供的车辆进行说明。
参见图6,图中示出了本发明实施例提供的车辆600的结构示意图。如图6所示,车辆600包括:处理器601、存储器603、用户接口604和总线接口。
车辆600的头部安装有双目摄像头,双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;处理器601,用于读取存储器603中的程序,执行下列过程:
调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像;
获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图;
根据第一深度图和第二深度图,进行图像视觉导航。
在图6中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器601代表的一个或多个处理器和存储器603代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。针对不同的用户设备,用户接口604还可以是能够外接内接需要设备的接口,连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器601负责管理总线架构和通常的处理,存储器603可以存储处理器601在执行操作时所使用的数据。
可选地,第一摄像头和第二摄像头均设置于车辆的前挡风玻璃内侧;
或者,
第一摄像头设置于车辆的前挡风玻璃外侧,第二摄像头设置于车辆的车前牌照。
可选地,处理器601,还用于:
调用第一摄像头获得第一图像,并调用第二摄像头获得第二图像之前,在行车过程中,获得M个图像组;其中,M为大于或等于2的整数;每个图像组中包括调用第一摄像头获得的第三图像和调用第二摄像头获得的第四图像,每个图像组中的第三图像和第四图像的拍摄时刻相同,不同图像组中的第三图像的拍摄时刻不同;
根据M个图像组,进行三维重建,以得到三维模型;
处理器601,具体用于:
根据三维模型,获得第一图像对应的第一深度图,并获得第二图像对应的第二深度图。
可选地,三维模型中包括第一摄像头的内参、第二摄像头的内参,以及用于表征第一摄像头和第二摄像头的相对位置的外参;
处理器601,具体用于:
获得第一图像中的第一特征点集合和第二图像中的第二特征点集合;其中,第一特征点集合和第二特征点集合对应三维模型中的同一三维点集合;
根据第一摄像头的内参、第二摄像头的内参,以及外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离;
根据同一三维点集合中的每个三维点到第一摄像头的中心的距离,生成第一深度图,并根据同一三维点集合中的每个三维点到第二摄像头的中心的距离,生成第二深度图。
可选地,三维模型中包括M个外参,M个外参与M个图像组一一对应;
处理器601,具体用于:
从M个外参中选择所对应重投影误差最小的外参;
根据第一摄像头的内参、第二摄像头的内参,以及所选择的外参,计算同一三维点集合中的每个三维点分别到第一摄像头的中心和第二摄像头的中心的距离。
本发明实施例中,双目摄像头中的两个摄像头是上下设置的,上下设置的两个摄像头的垂直距离可以大于预设距离,该垂直距离可以大于现有技术中左右设置的两个摄像头的距离,例如,该垂直距离可以为50厘米至1米,这样,与现有技术相比,本发明实施例中,双目摄像头的视差能够增加,计算远处场景时的深度误差能够得到减小,相应地,进行图像视觉导航时的导航效果能够得到改善,行车安全性能够得到提升。
本发明实施例还提供一种车辆,包括处理器601,存储器603,存储在存储器603上并可在所述处理器601上运行的计算机程序,该计算机程序被处理器601执行时实现上述导航方法实施例中的各个过程且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器601执行时实现上述导航方法实施例中的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (12)
1.一种导航方法,其特征在于,应用于车辆,所述车辆的头部安装有双目摄像头,所述双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;所述方法包括:
调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像;
获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图;
根据所述第一深度图和所述第二深度图,进行图像视觉导航。
2.根据权利要求1所述的方法,其特征在于,
所述第一摄像头和所述第二摄像头均设置于所述车辆的前挡风玻璃内侧;
或者,
所述第一摄像头设置于所述车辆的前挡风玻璃外侧,所述第二摄像头设置于所述车辆的车前牌照。
3.根据权利要求1所述的方法,其特征在于,所述调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像之前,所述方法还包括:
在行车过程中,获得M个图像组;其中,M为大于或等于2的整数;每个图像组中包括调用所述第一摄像头获得的第三图像和调用所述第二摄像头获得的第四图像,每个图像组中的第三图像和第四图像的拍摄时刻相同,不同图像组中的第三图像的拍摄时刻不同;
根据所述M个图像组,进行三维重建,以得到三维模型;
所述获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图,包括:
根据所述三维模型,获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图。
4.根据权利要求3所述的方法,其特征在于,所述三维模型中包括所述第一摄像头的内参、所述第二摄像头的内参,以及用于表征所述第一摄像头和所述第二摄像头的相对位置的外参;
所述根据所述三维模型,获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图,包括:
获得所述第一图像中的第一特征点集合和所述第二图像中的第二特征点集合;其中,所述第一特征点集合和所述第二特征点集合对应所述三维模型中的同一三维点集合;
根据所述第一摄像头的内参、所述第二摄像头的内参,以及所述外参,计算所述同一三维点集合中的每个三维点分别到所述第一摄像头的中心和所述第二摄像头的中心的距离;
根据所述同一三维点集合中的每个三维点到所述第一摄像头的中心的距离,生成第一深度图,并根据所述同一三维点集合中的每个三维点到所述第二摄像头的中心的距离,生成第二深度图。
5.根据权利要求4所述的方法,其特征在于,所述三维模型中包括M个外参,所述M个外参与所述M个图像组一一对应;
所述根据所述第一摄像头的内参、所述第二摄像头的内参,以及所述外参,计算所述同一三维点集合中的每个三维点分别到所述第一摄像头的中心和所述第二摄像头的中心的距离,包括:
从所述M个外参中选择所对应重投影误差最小的外参;
根据所述第一摄像头的内参、所述第二摄像头的内参,以及所选择的外参,计算所述同一三维点集合中的每个三维点分别到所述第一摄像头的中心和所述第二摄像头的中心的距离。
6.一种导航装置,其特征在于,应用于车辆,所述车辆的头部安装有双目摄像头,所述双目摄像头中的第一摄像头和第二摄像头的垂直距离大于预设距离;所述装置包括:
第一获得模块,用于调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像;
第二获得模块,用于获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图;
导航模块,用于根据所述第一深度图和所述第二深度图,进行图像视觉导航。
7.根据权利要求6所述的装置,其特征在于,
所述第一摄像头和所述第二摄像头均设置于所述车辆的前挡风玻璃内侧;
或者,
所述第一摄像头设置于所述车辆的前挡风玻璃外侧,所述第二摄像头设置于所述车辆的车前牌照。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三获得模块,用于在调用所述第一摄像头获得第一图像,并调用所述第二摄像头获得第二图像之前,在行车过程中,获得M个图像组;其中,M为大于或等于2的整数;每个图像组中包括调用所述第一摄像头获得的第三图像和调用所述第二摄像头获得的第四图像,每个图像组中的第三图像和第四图像的拍摄时刻相同,不同图像组中的第三图像的拍摄时刻不同;
第四获得模块,用于根据所述M个图像组,进行三维重建,以得到三维模型;
所述第二获得模块,具体用于:
根据所述三维模型,获得所述第一图像对应的第一深度图,并获得所述第二图像对应的第二深度图。
9.根据权利要求8所述的装置,其特征在于,所述三维模型中包括所述第一摄像头的内参、所述第二摄像头的内参,以及用于表征所述第一摄像头和所述第二摄像头的相对位置的外参;
所述第二获得模块,包括:
获得子模块,用于获得所述第一图像中的第一特征点集合和所述第二图像中的第二特征点集合;其中,所述第一特征点集合和所述第二特征点集合对应所述三维模型中的同一三维点集合;
计算子模块,用于根据所述第一摄像头的内参、所述第二摄像头的内参,以及所述外参,计算所述同一三维点集合中的每个三维点分别到所述第一摄像头的中心和所述第二摄像头的中心的距离;
生成子模块,用于根据所述同一三维点集合中的每个三维点到所述第一摄像头的中心的距离,生成第一深度图,并根据所述同一三维点集合中的每个三维点到所述第二摄像头的中心的距离,生成第二深度图。
10.根据权利要求9所述的装置,其特征在于,所述三维模型中包括M个外参,所述M个外参与所述M个图像组一一对应;
所述计算子模块,包括:
选择单元,用于从所述M个外参中选择所对应重投影误差最小的外参;
计算单元,用于根据所述第一摄像头的内参、所述第二摄像头的内参,以及所选择的外参,计算所述同一三维点集合中的每个三维点分别到所述第一摄像头的中心和所述第二摄像头的中心的距离。
11.一种车辆,其特征在于,包括处理器,存储器,存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的导航方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的导航方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811642913.8A CN109708655A (zh) | 2018-12-29 | 2018-12-29 | 导航方法、装置、车辆及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811642913.8A CN109708655A (zh) | 2018-12-29 | 2018-12-29 | 导航方法、装置、车辆及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109708655A true CN109708655A (zh) | 2019-05-03 |
Family
ID=66260396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811642913.8A Pending CN109708655A (zh) | 2018-12-29 | 2018-12-29 | 导航方法、装置、车辆及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109708655A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112866629A (zh) * | 2019-11-27 | 2021-05-28 | 深圳市大富科技股份有限公司 | 双目视觉应用的控制方法以及终端 |
CN114467299A (zh) * | 2019-10-07 | 2022-05-10 | 金泰克斯公司 | 用于摄像头监测系统的3d显示系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531826A (zh) * | 2001-02-09 | 2004-09-22 | 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法 | |
CN101309412A (zh) * | 2008-07-07 | 2008-11-19 | 浙江大学 | 基于深度图像渲染的多通道视频流编码器和解码器 |
US20120039525A1 (en) * | 2010-08-12 | 2012-02-16 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
CN105654547A (zh) * | 2015-12-23 | 2016-06-08 | 中国科学院自动化研究所 | 三维重建方法 |
CN107600067A (zh) * | 2017-09-08 | 2018-01-19 | 中山大学 | 一种基于多视觉惯导融合的自主泊车系统及方法 |
CN107784672A (zh) * | 2016-08-26 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于获取车载相机的外部参数的方法和装置 |
CN107980150A (zh) * | 2015-05-27 | 2018-05-01 | 帝国科技及医学学院 | 对三维空间建模 |
CN108335353A (zh) * | 2018-02-23 | 2018-07-27 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法、装置和系统、服务器、介质 |
CN108873914A (zh) * | 2018-09-21 | 2018-11-23 | 长安大学 | 一种基于深度图像数据的机器人自主导航系统及方法 |
CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
-
2018
- 2018-12-29 CN CN201811642913.8A patent/CN109708655A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1531826A (zh) * | 2001-02-09 | 2004-09-22 | 带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法 | |
CN101309412A (zh) * | 2008-07-07 | 2008-11-19 | 浙江大学 | 基于深度图像渲染的多通道视频流编码器和解码器 |
US20120039525A1 (en) * | 2010-08-12 | 2012-02-16 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
CN107980150A (zh) * | 2015-05-27 | 2018-05-01 | 帝国科技及医学学院 | 对三维空间建模 |
CN105654547A (zh) * | 2015-12-23 | 2016-06-08 | 中国科学院自动化研究所 | 三维重建方法 |
CN107784672A (zh) * | 2016-08-26 | 2018-03-09 | 百度在线网络技术(北京)有限公司 | 用于获取车载相机的外部参数的方法和装置 |
CN107600067A (zh) * | 2017-09-08 | 2018-01-19 | 中山大学 | 一种基于多视觉惯导融合的自主泊车系统及方法 |
CN108335353A (zh) * | 2018-02-23 | 2018-07-27 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法、装置和系统、服务器、介质 |
CN109035320A (zh) * | 2018-08-12 | 2018-12-18 | 浙江农林大学 | 基于单目视觉的深度提取方法 |
CN108873914A (zh) * | 2018-09-21 | 2018-11-23 | 长安大学 | 一种基于深度图像数据的机器人自主导航系统及方法 |
Non-Patent Citations (4)
Title |
---|
徐海祥著: "《船舶动力定位系统原理》", 31 October 2016, 国防工业出版社 * |
李维勇主编: "《Android项目驱动教程》", 31 August 2014, 北京航空航天大学出版社 * |
王化祥,张淑英编著: "《传感器原理及应用》", 30 September 2014, 天津大学出版社 * |
聂增丽等: "《无线传感网技术》", 31 August 2016, 西南交通大学出版社 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114467299A (zh) * | 2019-10-07 | 2022-05-10 | 金泰克斯公司 | 用于摄像头监测系统的3d显示系统 |
CN114467299B (zh) * | 2019-10-07 | 2024-01-23 | 金泰克斯公司 | 用于摄像头监测系统的3d显示系统 |
CN112866629A (zh) * | 2019-11-27 | 2021-05-28 | 深圳市大富科技股份有限公司 | 双目视觉应用的控制方法以及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106952311B (zh) | 基于全景拼接数据映射表的辅助泊车系统及方法 | |
CN109166077B (zh) | 图像对齐方法、装置、可读存储介质及计算机设备 | |
CN106101689B (zh) | 利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法 | |
CN103854335B (zh) | 一种行车记录仪全景视频生成方法 | |
CN106886979A (zh) | 一种图像拼接装置及图像拼接方法 | |
CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
CN105488766B (zh) | 鱼眼镜头图像校正方法及装置 | |
CN110070598A (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
CN108765333B (zh) | 一种基于深度卷积神经网络的深度图完善方法 | |
CN110517306A (zh) | 一种基于深度学习的双目深度视觉估计的方法和系统 | |
TW303443B (zh) | ||
CN109708655A (zh) | 导航方法、装置、车辆及计算机可读存储介质 | |
CN110443245A (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
CN113763569A (zh) | 一种在三维仿真中使用的图像标注方法及装置、电子设备 | |
CN107016707A (zh) | 一种集成成像超大三维场景拍摄图像校正方法 | |
CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
CN106846243A (zh) | 在设备移动过程中获得三维俯视全景图的方法及装置 | |
CN107256569A (zh) | 基于双目视角的三维测量双摄像机标定方法 | |
CN110428361A (zh) | 一种基于人工智能的多路图像采集方法 | |
CN109760688A (zh) | 路段信息确定方法、装置、车辆及计算机可读存储介质 | |
CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
CN114202472A (zh) | 一种高精度水下成像方法和装置 | |
CN111652937A (zh) | 车载相机标定方法和装置 | |
CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
CN106803874A (zh) | 一种全景摄像头 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |