CN110148205A - 一种基于众包影像的三维重建的方法和装置 - Google Patents

Abstract

本申请公开了一种基于众包影像的三维重建的方法及装置，该方法包括：获取携带有目标物体信息的众包影像，确定每个目标物体信息所对应的众包影像集，提取众包影像集内每张众包影像的特征，据此确定每两张众包影像中目标物体内的第一同名点和第二同名点，根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。通过上述方法，能够通过根据特征，确定第一同名点和第二同名点，提供丰富的同名点信息，生成良好的影像间几何约束关系，避免道路场景下纹理信息欠缺导致匹配失败。

Description

一种基于众包影像的三维重建的方法和装置

技术领域

本申请涉及高精度地图领域，尤其涉及一种基于众包影像的三维重建方法及装置。

背景技术

目前，高精度地图作为智能汽车的大脑，提供车道、坡度、曲率、航向等方面的信息，提前对道路和周边环境进行预判，是自动驾驶过程中必不可少的一环。

进一步的，在对高精度地图的更新过程中，通常采用行车记录仪、网络信息、用户上报信息、卫星航片等众包信息，经过数据的处理、分析和挖掘来更新高精度地图。

但是，现有技术中，众包影像数据来源广泛，影像质量参差不齐，大量纹理弱的道路不易形成特征，即使影像间有大量重叠也很难找到正确匹配点，从而导致匹配失败，进而无法准确的更新高精度地图。

发明内容

有鉴于此，本申请实施例提供一种基于众包影像的三维重建的方法及装置，相比于现有的通过众包影像的地图更新方式，能够通过每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点，提供丰富的同名点信息，有助于影像间良好几何约束关系的生成，克服了道路场景下纹理信息欠缺导致匹配失败的问题。

为解决上述技术问题，本申请实施例公开一种基于众包影像的三维重建的方法，该方法包括：

获取携带有目标物体信息以及影像采集位置信息的众包影像；

根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集；

针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征；

根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点；

根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。

为了实现上述基于众包影像的三维重建的方法，本申请实施例公开一种基于众包影像的三维重建的装置，该装置包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现基于众包影像的三维重建方法。

另外，本申请实施例公开一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现基于众包影像的三维重建方法。

本申请实施例公开一种基于众包影像的三维重建的方法及装置，该方法能够产生以下有益效果：

相比于现有的通过众包影像的地图更新方式，能够通过根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点，提供丰富的同名点信息，有助于影像间良好几何约束关系的生成，克服了道路场景下纹理信息欠缺导致匹配失败的问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的基于众包影像的三维重建的过程；

图2为本申请实施例提供的众包影像分类过程；

图3为本申请实施例提供的评定三维重建出的目标物体的模型的精度的实施方式；

图4为本申请实施例提供的基于众包影像的三维重建的装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的基于众包影像的三维重建的过程，具体包括以下步骤：

S101：获取携带有目标物体信息以及影像采集位置信息的众包影像。

在实际应用中，由于众包影像是通过行驶车辆自动采集并上传的，而想要基于众包影像对目标物体进行三维重建，首先需要确定哪些众包影像里包含了目标物体，因此，在本申请中，在车辆自动采集并上传的众包影像中确定哪些众包影像包含了目标物体信息，具体是通过图像识别算法在上传的众包影像中确定哪些众包影像包含了目标物体信息。

在此需要说明的是，目标物体不同，通过图像识别算法识别出的目标物体信息各不相同，也就是说，通过图像识别算法识别出的目标物体信息取决于目标物体的类型，以目标物体为交通标志牌为例，通过图像识别算法识别出的交通标志牌信息包括标牌区域多边形点串坐标(单位：像素)、标牌主成分颜色以及标牌中的文字内容。

进一步的，当通过图像识别算法识别出携带有目标物体信息的众包影像后，由于本申请在基于众包影像的三维重建对目标物体进行三维重建时所使用的就是携带有目标物体信息的众包影像，因此，在本申请中，首先需要获取携带有目标物体信息的众包影像。

S102：根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集。

进一步的，在获取到携带有目标物体信息的众包影像后，需要对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集，也就是说，将携带有的目标物体信息相同的众包影像分类到一起，这样每个不同的目标物体均对应一个众包影像集。

进一步的，本申请提供了一种根据目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集的实施方式，具体如下：

根据众包影像的影像采集位置信息，确定众包影像对应的轨迹，根据众包影像对应的轨迹与电子地图中的道路进行匹配，确定所述轨迹对应的道路，根据众包影像中包含的影像采集位置信息，确定众包影像中的目标物体的位置，确定目标物体的位置在道路方向上前后左右预设范围的区域中所包含的所有众包影像为目标物体对应的众包影像集，根据目标物体信息中的语义信息，对众包影像集内的所有众包影像进行筛选。

在此需要说明的是，确定众包影像中的目标物体的位置还可以根据众包上传的数据中包含的车辆与标牌之间的距离，通过坐标换算出标牌的精确位置，以该位置为中心，选取其前后左右一段区域内所有轨迹点对应的影像作为场景。

在此还需要说明的是，由于该实施方式需要基于影像采集位置信息，因此，在本申请的步骤S101中，所获取的众包影像中除了携带有目标物体信息，还携带有影像采集位置信息，该影像采集位置信息指的是众包影像拍摄时刻拍摄中心的影像采集位置信息，如，全球卫星导航系统的定位信息。另外，在本申请中，该众包影像的语义信息可以根据实际目标物体的种类而定，假设实际目标物体为交通标志牌，则目标物体信息中的语义信息为交通标志牌颜色信息以及交通标志牌中的文字内容，另外，目标物体信息中的语义信息也可以是同一位置的标牌个数以及标牌左右关系。

S103：针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征。

进一步的，在对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集后，每个众包影像集就均包含了同一个目标物体信息，后续，需要根据众包影像集中包含的目标物体信息进行三维重建。

而根据众包影像集中包含的目标物体信息进行三维重建首先需要针对每个目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征。

在此需要说明的是，在本申请中，具体是通过特征检测算法，提取该众包影像集内每张众包影像的特征，如，采用Shi-Tomasi算法提取每张众包影像的特征作为跟踪点，Shi-Tomasi算法是Harris算法的改进，提取的特征稳定性好。

在此还需要说明的是，由于角点特征更易被精确提取，后续执行步骤S104确定每两张众包影像中目标物体内的第一同名点和第二同名点更加精确，因此，在本申请中，可以通过特征检测算法，提取该众包影像集内每张众包影像的角点特征，如，采用Shi-Tomasi算法提取每张众包影像的角点特征。

S104：根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点。

进一步的，在提取该众包影像集内每张众包影像的特征后，需要将每两张众包影像中的特征匹配对应起来，以此确定每两张众包影像中目标物体内的第一同名点和第二同名点。

进一步的，本申请具体给出了一种根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点实施方式，具体如下：

选取任意一张众包影像的影像，截取影像内携带有目标物体的区域，根据所截取携带有目标物体的区域，制作形状匹配模板，根据所述形状匹配模板，对剩余的每张众包影像进行匹配，建立任意两张众包影像之间的单一对应关系，针对任意两张众包影像，根据该两张众包影像的单一对应关系，确定该两张众包影像中目标物体内的第一同名点，并根据所确定出的该两张众包影像中目标物体内的第一同名点，通过该两张众包影像的单一对应关系，确定该两张众包影像中目标物体内的第二同名点。

在此需要说明的是，在本申请中，针对任意两张众包影像，根据该两张众包影像的单一对应关系，确定该两张众包影像中目标物体内的第一同名点，并根据所确定出的该两张众包影像中目标物体内的第一同名点具体可以是，针对任意两张众包影像，根据该两张众包影像的单一对应关系，通过归一化积相关算法，将该两张众包影像内的特征进行匹配，形成特征之间的匹配集合，采用对极几何关系，以基础矩阵为几何约束，通过随机抽样一致算法，对所形成特征之间的匹配集合进行优化匹配，确定该两张众包影像中目标物体内的第一同名点。

另外，在本申请中，第一同名点实际上指的是所提取的特征，也就是说这些特征统一定义为第一同名点，不仅仅只包含一个点，而是包含多个点。另外，本申请在对目标物体进行三维重建时需要更多的同名点，因此，在本申请中，还需要确定第二同名点，第二同名点指的不是特征，而是众包影像中除了特征以外的其他点，是根据所确定出的该两张众包影像中目标物体内的第一同名点，通过该两张众包影像的单一对应关系确定出的，在本申请中，还可以称第二同名点为加密点，用于后续对目标物体进行三维重建。

在此还需要说明的是，根据所截取携带有目标物体的区域，制作形状匹配模板具体是对所截取携带有目标物体的区域做高斯平滑，使用canny算子提取边缘，建立可旋转、缩放、局部变形，从而制作成形状匹配模板。所形成的特征之间的匹配集合里包含都是匹配成对的特征，该成对的特征就是本申请中第一同名点，另外，由于在实际应用中，所形成的特征之间的匹配集合中会出现成对的特征匹配错误的情况，因此，在本申请中，还需要采用对极几何关系，以基础矩阵为几何约束，通过随机抽样一致算法，对所形成特征之间的匹配集合进行优化匹配，剔除匹配错误的第一同名点。

进一步的，以目标物体为交通标志牌为例，对该实施方式进行说明，具体如下：

选取一张含有交通标牌的影像，使用识别程序识别的位置，将标牌所在区域分割出来，对所选取区域做高斯平滑，使用canny算子提取边缘，建立可旋转、缩放、局部变形的形状匹配模板，对剩余的影像进行形状匹配，找出与之相同的交通牌，据形状匹配结果，建立影像间的单应关系，记为H，特征之间以H做几何约束，采用归一化积相关算法(NCC)匹配，得到一个比较良好的匹配集合Q，采用影像间的对极几何关系，以基础矩阵F为几何约束，采用Ransac方式，对Q集做优化匹配获取准确的同名点集合J，同名集合J以H为对应关系，在交通牌内部生产大量密集同名点，记为I(加密点)，用于后面生成标牌密集点云。

在此需要说明的是，匹配集合Q指的是该实施方式中的所形成的特征之间的匹配集合，同名点集合J指的是该实施方式中的第一同名点，I(加密点)指的该实施方式中的第二同名点。

S105：根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。

进一步的，在本申请中，当确定出每张众包影像中目标物体内的第一同名点和第二同名点后，需要根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。

进一步的，本申请给出了一种根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建的实施方式，如下：

根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数，根据每张众包影像的初始位置姿态参数，通过前方交会确定众包影像中目标物体内第一同名点的初始物方坐标，根据所确定出的第二同名点、每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，对目标物体进行三维重建。

针对根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数在此需要说明的是，由于在本申请中，想要对目标物体进行三维重建，需要知道目标物体上点的物方坐标，也就是，目标物体的实际空间坐标，而想要知道目标物体上点的物方坐标，则需要知道每张众包影像的初始位置姿态参数，因此，在本申请中，在确定出每两张众包影像中目标物体内的第一同名点和第二同名点后，需要通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数。

进一步的，由于第一同名点相对于第二同名点而言是精确的，因此，可根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数。

进一步的，本申请给出了一种根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数的实施方式，具体如下：根据所确定的每两张众包影像中目标物体内的第一同名点，确定众包影像集中的每两张众包影像之间的相对位置关系，并根据每两个众包影像之间的相对位置关系建立单元模型，通过单元模型链接对单元模型中的众包影像之间的相对位置关系进行归一化处理，确定众包影像集内每张众包影像在同一坐标系下的初始位置姿态参数，也就是说，在得到每两张众包影像中目标物体内的第一同名点后，首先，在两两众包影像之间进行相对定向，建立单元模型，然后，通过单元模型之间的连接，构建比例可伸缩的自由网模型。

针对于在两两众包影像之间进行相对定向，建立单元模型在此需要说明的是，相对定向的目的是恢复摄影时相邻两影像摄影光束的相互关系，从而使同名光线对对相交，建立单元模型。假如有3张影像image0、image1、image2，则可以构建的单元模型有3个：image0-image1、image0-image2、image1-image2。多张影像的单元模型以此类推。影像之间的相对定向以其中一张影像的像空间坐标系为基准，相对定向元素包括B_Y、B_Z、ω、κ(即，确定两张像片相对位置关系的两个线元素和三个角元素)。设进行相对定向的一个像片对的投影中心为S、S′，对某物面点A的同名射线分别为SA、S′A。则SA、S′A与基线SS′的共面条件方程式为：

将上式按照多元函数泰勒级数展开成一次项线性式为：

其中，F₀是F的近似初始值，B_Y、B_Z、ω、κ为相对定向元素。根据上式列出误差方程式得：

其中，V_F是F的改正数。利用6对以上同名像点，列出误差方程式，其矩阵形式为：

V＝AX-L

V为改正数向量；X为相对定向元素的改正数向量，A为相应的系数矩阵；L为观测值向量

根据最小二乘原理，相应的法方程为：

A^TPAX＝A^TPL

P为观测值的权矩阵，它反映了观测值的量测精度。

最后可求出未知数的解为：

X＝(A^TPA)^-1A^TPL

这样就确定了单元模型中两张影像之间的相对位置关系。

针对通过单元模型之间的连接，构建比例可伸缩的自由网模型在此需要说明的是，单元模型相对定向后，模型比例尺不一致，须利用模型连接对单元模型比例尺进行归一化，将各单元模型拼接成自由网。

每个单元模型的相对位置关系可以用矩阵R_ij、T_ij来描述，影像的位置姿态参数用R_i、T_i、R_j、T_j描述。通常用以下公式来描述：

R_j＝R_ijR_i

λ_ijT_ij＝T_i-T_j

构建自由网模型的过程就是从已知的R_ij、T_ij出发，经矩阵解算，得到未知的R_i、T_i、R_j、T_j。这样，我们就得到了一个统一的坐标基准下影像的初始位置姿态参数。

针对根据所确定出的第二同名点、每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，对目标物体进行三维重建在此需要说明的是，在本申请中，由于初始位置姿态参数的精度较差，因此，会使得第一同名点的初始物方坐标精度不高，因此，在本申请中，可根据所确定出的每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，通过光束平差法，确定每张众包影像的最终位置姿态参数和众包影像内第一同名点的精确物方坐标(即，最终物方坐标)，以提高三维重建的精度，与此同时，可以确定精确的位置姿态参数，后续根据所确定的每张众包影像的最终位置姿态参数、众包影像内第一同名点的最终物方坐标以及所确定出的第二同名点，对目标物体进行重建。

具体的，获取众包影像中目标物体内第一同名点的像点坐标观测值以及相机参数，根据所获取的众包影像中目标物体内第一同名点的像点坐标观测值以及相机参数，通过附加参数模型，确定众包影像中目标物体内第一同名点的像点坐标改正数，根据所确定的众包影像中目标物体内第一同名点的像点坐标改正数，所获取的众包影像中目标物体内第一同名点的像点坐标观测值，每张众包影像的初始位置姿态参数，以及所确定的众包影像中目标物体内第一同名点的物方坐标，建立误差方程，通过联合平差方程解算所述误差方程，确定每张众包影像的最终位置姿态参数和众包影像内第一同名点的最终物方坐标，根据所确定的每张众包影像的最终位置姿态参数、众包影像内第一同名点的最终物方坐标以及所确定出的第二同名点，对目标物体进行重建。

针对通过附加参数模型，确定众包影像中目标物体内第一同名点的像点坐标改正数在此需要说明的是，采用8参数相机畸变模型，主要包括两部分：内方位元素(主距f、像主点偏移)，镜头光学畸变差(径向畸变、切向畸变)。据此，附加参数模型构建如下：

其中，Δx和Δy为像点坐标的系统误差改正数；和为像主点偏移；r为像点坐标到像主点的距离；K₁、K₂、K₃为径向畸变系数；P₁、P₂为切向畸变系数。另外，像点坐标指的第一同名点的像点坐标。

针对根据所确定的众包影像中目标物体内第一同名点的像点坐标改正数，所获取的众包影像中目标物体内第一同名点的像点坐标观测值，每张众包影像的初始位置姿态参数，以及所确定的众包影像中目标物体内第一同名点的物方坐标，建立误差方程，在此需要说明的是，基本共线条件方程式如下：

其中，x，y为像点的像平面坐标；x₀、y₀、f为影像的内方位元素；X_S、Y_S、Z_S为影像摄站点的物方空间坐标；X_A、Y_A、Z_A为连接点的物方空间坐标；a_i，b_i，c_i(i＝1,2,3)为影像的3个外方位元素角元素组成的9个方向余弦；

将像点坐标视为观测值，物方坐标、影像位姿和附加参数(相机内参数和镜头畸变参数)视为未知数，则像点坐标观测值误差方程如下：

v_x、v_y为改正数；l_x、l_y为观测值；ΔX_A、ΔY_A、ΔZ_A、ΔX_S、ΔY_S、ΔZ_S、Δω、Δκ、Δx₀、Δy₀、Δf、ΔK₁、ΔK₂、ΔK₃、ΔP₁、ΔP₂为待求参数相应的改正数。

若第i个物方点在第j张像片上成像，则像点坐标观测值误差方程式用矩阵形式可表示为：

V_ij＝A_ijX_i+B_ijY_j+C_ijZ-L_ijP_ij

式中，X_i为物方坐标的改正数向量，A_ij为相应的系数矩阵；Y_j为像片位置姿态参数的改正数向量，B_ij为相应的系数矩阵；Z为附加参数向量，C_ij为相应的系数矩阵；V_ij为改正数向量；L_ij为观测值向量；P_ij为权矩阵。

在平差过程中，将影像自带的GPS信息作为带权观测值，作为影像摄站中心的未知参数初始值。

针对通过联合平差方程解算所述误差方程，确定每张众包影像的最终位置姿态参数和众包影像内第一同名点的最终物方坐标，在此需要说明的是，根据像点坐标观测值误差方程，建立平差观测值误差方程。设对n个物方点拍摄m张像片，每个物方点在所有像片上均成像，则相应的法方程系数矩阵的阶为3n+6m+8，如下所示：

式中，A_i＝[A_i1 A_i2 … A_im]^T；B_i＝diag(B_i1,B_i2,…,B_im)；C_i＝[C_i1 C_i2 … C_im]^T；Y＝[Y₁ Y₂ … Y_m]^T；P_i＝diag(P_i1,P_i2,…,P_im)；L_i＝[L_i1 L_i2 … L_im]^T；

采用最小二乘平差方法进行平差解算，解算影像精确的位置和姿态。

在本申请中，针对根据所确定的每张众包影像的最终位置姿态参数、众包影像内第一同名点的最终物方坐标以及所确定出的第二同名点，对目标物体进行重建，在此需要说明的是，根据所确定的每张众包影像的最终位置姿态参数，通过前方交会确定众包影像中目标物体内第二同名点的最终物方坐标，根据众包影像内第一同名点的最终物方坐标和第二同名点的最终物方坐标，对目标物体进行三维重建。其中，众包影像内第一同名点的最终物方坐标和第二同名点的最终物方坐标共同组成了点云数据，根据点云数据对目标物体进行三维重建。

在此还需要说明的是，本申请可以对高精度地图中没有的目标物体进行三维重建，也可以对已经存在高精度地图中的目标物体进行三维重建。

通过上述方法，相比于现有的通过众包影像的地图更新方式，能够通过根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点，提供丰富的同名点信息，有助于影像间良好几何约束关系的生成，克服了道路场景下纹理信息欠缺导致匹配失败的问题。另外，由于通过引入众包影像目标物体识别结果，能够将众包影像高效、准确地划分到相应的目标物体应用场景下，为后续三维重建提供良好的数据源。

进一步的，在实际应用中，有可能会出现对三维重建出的目标物体的模型进行评定的情况，也就是说，评定三维重建出的目标物体的模型的精度是否达到预期，如果未达到则直接调整数据源的种类和数量等，如果能达到则直接继续使用该方法进行三维重建。

进一步的，在本申请中，评定三维重建出的目标物体的模型的精度是否达到预期具体的步骤和上述三维重建方法唯一不同的地方就是只对高精度地图中存在的目标物体(如，交通标志牌)进行三维重建，后续，将三维重建后的目标物体与高精度地图中的目标物体进行坐标比对，以此来确定三维重建方法的精度。

从中也可以看出，评定三维重建出的目标物体的模型的精度是否达到预期也是需要对地图中已经存在的高精度地图中的目标物体进行重建，因此，本申请在评定三维重建出的目标物体的模型的精度的过程中，也是经过步骤S101～步骤S105来对地图中已经存在的高精度地图中的目标物体进行重建，其中，步骤S102中的根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集具体是，根据众包影像的影像采集位置信息，确定众包影像对应的轨迹；根据众包影像对应的轨迹与电子地图中的道路进行匹配，确定所述轨迹对应的道路，在电子地图中，确定所确定出的道路上的所有目标物体，确定每个目标物体在道路方向上前后左右预设范围的区域中所包含的所有众包影像为目标物体对应的众包影像集，根据该目标物体的语义信息，对众包影像集内的所有影像进行筛选。

进一步的，假设以目标物体为交通标志牌为例，本申请给出了一种评定三维重建出的目标物体的模型的精度的过程中，根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集的实施方式，具体如图2所示，其中，标牌间前后距、左右距分场景指的是以标牌为中心，前后多少米、左右多少米内的标牌将它们划分在同一场景，影像集合M指的是众包影像中拍摄有交通标牌的影像，标牌簇集合P指的是高精度地图中的交通标牌信息，场景集合Q指的是高精度地图中每个交通标牌对应的众包影像。

后续，在根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建后，获取目标物体的标准模型，根据所获取的目标物体标准模型，对三维重建后的目标物体模型进行精度评定。

进一步的，本申请给出了一个评定三维重建出的目标物体的模型的精度的实施方式，如图3所示。

以上为本申请实施例提供的基于众包影像的三维重建的方法，基于同样的思路，本申请实施例还提供一种基于众包影像的三维重建的装置，如图4所示。

图4为本申请实施例提供的一种基于众包影像的三维重建的装置结构示意图，包括:

存储设备401，用于存储程序数据；

处理器402，用于执行所述存储设备401中的程序数据以实现基于众包影像的三维重建方法。

另外，本申请实施例公开一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现基于众包影像的三维重建方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于众包影像的三维重建方法，其特征在于，包括：

获取携带有目标物体信息以及影像采集位置信息的众包影像；

根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集；

针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征；

根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点；

根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。

2.如权利要求1所述的方法，其特征在于，根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建，具体包括：

根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数；

根据每张众包影像的初始位置姿态参数，通过前方交会确定众包影像中目标物体内第一同名点的初始物方坐标；

根据所确定出的第二同名点、每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，对目标物体进行三维重建。

3.如权利要求1所述的方法，其特征在于，根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集，具体包括：

根据众包影像的影像采集位置信息，确定众包影像对应的轨迹；

根据众包影像对应的轨迹与电子地图中的道路进行匹配，确定所述轨迹对应的道路；

根据众包影像中包含的影像采集位置信息，确定众包影像中的目标物体的位置；

确定目标物体的位置在道路方向上前后左右预设范围的区域中所包含的所有众包影像为目标物体对应的众包影像集；

根据目标物体信息中的语义信息，对众包影像集内的所有众包影像进行筛选。

4.如权利要求1所述的方法，其特征在于，提取该众包影像集内每张众包影像的特征，具体包括：

通过特征检测算法，提取该众包影像集内每张众包影像的角点特征。

5.如权利要求1所述的方法，其特征在于，根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点，具体包括：

选取任意一张众包影像的影像，截取影像内携带有目标物体的区域；

根据所截取携带有目标物体的区域，制作形状匹配模板；

根据所述形状匹配模板，对剩余的每张众包影像进行匹配，建立任意两张众包影像之间的单一对应关系；

针对任意两张众包影像，根据该两张众包影像的单一对应关系，确定该两张众包影像中目标物体内的第一同名点，并根据所确定出的该两张众包影像中目标物体内的第一同名点，通过该两张众包影像的单一对应关系，确定该两张众包影像中目标物体内的第二同名点。

6.如权利要求2所述的方法，其特征在于，根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数，具体包括：

根据所确定的每两张众包影像中目标物体内的第一同名点，确定众包影像集中的每两张众包影像之间的相对位置关系，并根据每两个众包影像之间的相对位置关系建立单元模型；

通过单元模型链接对单元模型中的众包影像之间的相对位置关系进行归一化处理，确定众包影像集内每张众包影像在同一坐标系下的初始位置姿态参数。

7.如权利要求2所述的方法，其特征在于，根据所确定出的第二同名点、每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，对目标物体进行三维重建，具体包括：

根据所确定出的每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，通过光束平差法，确定每张众包影像的最终位置姿态参数和众包影像内第一同名点的最终物方坐标；

根据所确定的每张众包影像的最终位置姿态参数、众包影像内第一同名点的最终物方坐标以及所确定出的第二同名点，对目标物体进行重建。

8.如权利要求7所述的方法，其特征在于，根据所确定的每张众包影像的最终位置姿态参数、众包影像内第一同名点的最终物方坐标以及所确定出的第二同名点，对目标物体进行重建，具体包括：

根据所确定的每张众包影像的最终位置姿态参数，通过前方交会确定众包影像中目标物体内第二同名点的最终物方坐标；

根据众包影像内第一同名点的最终物方坐标和第二同名点的最终物方坐标，对目标物体进行三维重建。

9.一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现权利要求1-8中任一项所述的基于众包影像的三维重建方法。

10.一种基于众包影像的三维重建装置，其特征在于，包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现权利要求1-8中任一项所述的基于众包影像的三维重建方法。