CN113870405A - 用于三维场景重建的纹理贴图选择方法以及相关装置 - Google Patents
用于三维场景重建的纹理贴图选择方法以及相关装置 Download PDFInfo
- Publication number
- CN113870405A CN113870405A CN202111125711.8A CN202111125711A CN113870405A CN 113870405 A CN113870405 A CN 113870405A CN 202111125711 A CN202111125711 A CN 202111125711A CN 113870405 A CN113870405 A CN 113870405A
- Authority
- CN
- China
- Prior art keywords
- road
- vehicle
- target
- dimensional scene
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种用于三维场景重建的纹理贴图选择方法以及相关装置。该方法包括获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。本申请解决了三维场景重建受到运动车辆干扰无法有效去除的技术问题。通过本申请，提高了三维场景重建中的呈现效果，排除了干扰。
Description
技术领域
本申请涉及三维场景重建领域，具体而言，涉及一种用于三维场景重建的纹理贴图选择方法以及相关装置。
背景技术
三维场景重建，能够根据相机拍摄到的图像对场景进行地图重建。
发明人发现，如果拟进行三维场景的道路中经常出现正在运动的车辆，将会对重建效果造成较大影响，进一步可能导致一个残缺的车辆被重建出来，影响整个三维重建的效果。
针对相关技术中三维场景重建受到运动车辆干扰无法有效去除的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于三维场景重建的纹理贴图选择方法以及装置、存储介质、电子装置，以解决三维场景重建受到运动车辆干扰无法有效去除的问题，目前尚未提出有效的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于三维场景重建的纹理贴图选择方法。
根据本申请的用于三维场景重建的纹理贴图选择方法包括：获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。
进一步地，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，还包括：通过所述道路进行三维场景重建的过程中，根据所述车道中车道线位置确定道路中正在运动的所述目标车辆的第一位置；根据所述目标车辆的第一位置，确定多个待选的所述目标区域，其中所述目标区域至少包括如下之一：包含道路元素、包含车辆元素、既包含道路元素又包含车辆元素；在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，用以排除运动车辆干扰。
进一步地，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：通过纹理映射以及所述在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，得到所述道路的三维模型中面片的纹理贴图。
进一步地，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：通过纹理映射以及所述在多个待选的所述目标区域中筛选出所述既包含道路元素又包含车辆元素的目标区域，得到所述道路的三维模型中面片对应的纹理贴图。
进一步地，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，之前还包括：在所述在多个待选的所述目标区域中筛选出所述包含车辆元素的非目标区域，并将所述包含车辆元素的非目标区域去除。
进一步地，所述预设语义识别模型，包括：基于CNN或者FCNN神经网络模型训练所述多组图像数据，得到所述预设语义识别模型；基于所述预设语义识别模型对图像数据中各个像素道路、车辆标注结果，分别生成道路的包围盒与车辆的包围框，所述目标车辆包围框在道路包围框内部用以作为在所述道路内的车辆。
进一步地，所述获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签，包括：通过无人机航拍影响获取多张连续的航拍图像，并通过预设语义识别模型中的车辆标签、道路标签，分别识别出航拍过程中出现的正在运动的所述目标车辆以及待三维场景重建的所述道路。
为了实现上述目的，根据本申请的另一方面，提供了一种用于三维场景重建的纹理贴图选择装置。
根据本申请的用于三维场景重建的纹理贴图选择装置包括：语义分割模块，用于获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；选择模块，用于通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图为了实现上述目的，根据本申请的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述方法。
为了实现上述目的，根据本申请的再一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。
在本申请实施例中用于三维场景重建的纹理贴图选择方法以及装置、存储介质、电子装置，采用获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路的方式，通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，达到了在三维场景重建的过程中去除运动车辆干扰的目的，从而实现了提高三维场景重建呈现效果的技术效果，进而解决了三维场景重建受到运动车辆干扰无法有效去除的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于三维场景重建的纹理贴图选择方法的系统结构示意图；
图2是根据本申请实施例的用于三维场景重建的纹理贴图选择方法流程示意图；
图3是根据本申请实施例的用于三维场景重建的纹理贴图选择装置结构示意图；
图4是根据本申请实施例的用于三维场景重建的纹理贴图选择方法的语义分割实现原理示意图；
图5是根据本申请实施例的用于三维场景重建的纹理贴图选择方法的纹理贴图选择策略实现原理示意图；
图6是根据本申请实施例的用于三维场景重建的纹理贴图选择装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，本申请实施例中的系统结构包括：道路300、(正在运动中、停止、停留)车辆200、无人机100。所述无人机100用于航拍待重建的区域、所述道路300即属于待重建的一部分区域。所述车辆200是指正行驶在所述道路300中的所有车辆。所述无人机100拍摄获得的原始图像会回传至后端进行处理，经过处理之后能够去除车辆干扰之后进行三维场景重建。
如图2所示，该方法包括如下的步骤S201步骤S202：
步骤S201，获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；
步骤S202，通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中用于三维场景重建的纹理贴图选择方法以及装置、存储介质、电子装置，采用获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路的方式，通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，达到了在三维场景重建的过程中去除运动车辆干扰的目的，从而实现了提高三维场景重建呈现效果的技术效果，进而解决了三维场景重建受到运动车辆干扰无法有效去除的技术问题。
上述步骤S201中通过无人机航拍获取多张连续的图像。之后，根据所述预设语义识别模型分别识别出目标车辆以及道路。由于需要确定出正在行驶的车辆，所以需要获取多张在时间顺序上连续的图像帧。
作为一种可选的实施方式，所述目标车辆正位于所述道路上，是指正在处于行驶状态的车辆。此外，如果对于停滞车辆或者停止车辆并不是本申请中主要关注的，本领域技术人员可以通过现有技术进行停滞车辆或者停止车辆的去除。
作为一种优选的实施方式，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签。所述预设语义识别模型用于实现语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为目标区域的类别。
上述步骤S202中所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域是指，包含车道的位置区域但是不包含目标车辆的区域。也就是说在所述车道的位置区域中去除掉包含目标车辆的区域。
作为一种可选的实施方式，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。基于纹理贴图(texture mapping)，当把纹理按照特定的方式映射到物体表面上的时候能使物体看上去更加真实。
作为一种优选的实施方式，纹理映射能够实现对三角形赋予图象数据的技术，从而对所述道路的三维模型中面片的纹理贴图进行确定。
作为本实施例中的优选，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，还包括：通过所述道路进行三维场景重建的过程中，根据所述车道中车道线位置确定道路中正在运动的所述目标车辆的第一位置；根据所述目标车辆的第一位置，确定多个待选的所述目标区域，其中所述目标区域至少包括如下之一：包含道路元素、包含车辆元素、既包含道路元素又包含车辆元素；在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，用以排除运动车辆干扰。
具体实施时，需要通过所述道路进行三维场景重建的过程中，根据所述车道中的车道线位置确定出道路中正在运动的所述目标车辆的第一位置。所述目标车辆由于是来自多张连续的图像，所以正在运动状态的。进一步，根据所述目标车辆的第一位置，确定多个待选的所述目标区域。根据多个待选的目标区域，在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，用以排除运动车辆干扰。可以理解，目标区域中可能包括了道路元素、车辆元素以及两种元素均包括的情况，所以需要筛选出仅包含所述道路元素的目标区域，从而排除了运动车辆的干扰。
可选地，所述目标区域至少包括如下之一：包含道路元素、包含车辆元素、既包含道路元素又包含车辆元素。
作为本实施例中的优选，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：通过纹理映射以及所述在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，得到所述道路的三维模型中面片的纹理贴图。
具体实施时，需要通过纹理映射以及所述在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，得到所述道路的三维模型中面片的纹理贴图。即将近仅包含所述道路元素的目标区域作为所述道路的三维模型中面片的纹理贴图的选择项。纹理贴图用于表示物体表面细节的一幅或几幅二维图形，当把纹理按照特定的方式映射到物体表面上的时候能使物体看上去更加真实。
作为本实施例中的优选，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：通过纹理映射以及所述在多个待选的所述目标区域中筛选出所述既包含道路元素又包含车辆元素的目标区域，得到所述道路的三维模型中面片对应的纹理贴图。
具体实施时，当存在既包含道路元素又包含车辆元素的目标区域的情况下，根据相关技术中的解决方案能够得到所述道路的三维模型中面片对应的纹理贴图。以此，作为本申请针对运动车辆去除方案的补充。
作为本实施例中的优选，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，之前还包括：在所述在多个待选的所述目标区域中筛选出所述包含车辆元素的非目标区域，并将所述包含车辆元素的非目标区域去除。
具体实施时，对于不符合条件的干扰元素，在所述在多个待选的所述目标区域中筛选出所述包含车辆元素的非目标区域，并将所述包含车辆元素的非目标区域去除。
作为本实施例中的优选，所述预设语义识别模型，包括：基于CNN或者FCNN神经网络模型训练所述多组图像数据，得到所述预设语义识别模型；基于所述预设语义识别模型对图像数据中各个像素道路、车辆标注结果，分别生成道路的包围盒与车辆的包围框，所述目标车辆包围框在道路包围框内部用以作为在所述道路内的车辆。
具体实施时，采用基于CNN神经网络模型，训练所述多组图像数据，得到所述预设语义识别模型。也可以基于FCNN神经网络模型训练所述多组图像数据，同样可能得到所述预设语义识别模型。在本申请的实施例中并不进行具体限定。
基于所述预设语义识别模型对图像数据中各个像素道路、车辆标注结果，分别生成道路的包围盒与车辆的包围框，所述目标车辆包围框在道路包围框内部用以作为在所述道路内的车辆。
作为本实施例中的优选，所述获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签，包括：通过无人机航拍影响获取多张连续的航拍图像，并通过预设语义识别模型中的车辆标签、道路标签，分别识别出航拍过程中出现的正在运动的所述目标车辆以及待三维场景重建的所述道路。
具体实施时，通过无人机航拍影响获取多张连续的航拍图像并通过预设语义识别模型分别识别出目标车辆以及道路，由于预设语义识别模型中的车辆标签、道路标签，能够分别识别出航拍过程中出现的正在运动的所述目标车辆以及待三维场景重建所需的所述道路。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的用于三维场景重建的纹理贴图选择装置，如图3所示，该装置包括：
语义分割模块301，用于获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；
选择模块302，用于通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。
本申请实施例的语义分割模块301中通过无人机航拍获取多张连续的图像。之后，根据所述预设语义识别模型分别识别出目标车辆以及道路。由于需要确定出正在行驶的车辆，所以需要获取多张在时间顺序上连续的图像帧。
作为一种可选的实施方式，所述目标车辆正位于所述道路上，是指正在处于行驶状态的车辆。此外，如果对于停滞车辆或者停止车辆并不是本申请中主要关注的，本领域技术人员可以通过现有技术进行停滞车辆或者停止车辆的去除。
作为一种优选的实施方式，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签。所述预设语义识别模型用于实现语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为目标区域的类别。
本申请实施例的选择模块302中所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域是指，包含车道的位置区域但是不包含目标车辆的区域。也就是说在所述车道的位置区域中去除掉包含目标车辆的区域。
作为一种可选的实施方式，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。基于纹理贴图(texture mapping)，当把纹理按照特定的方式映射到物体表面上的时候能使物体看上去更加真实。
作为一种优选的实施方式，纹理映射能够实现对三角形赋予图象数据的技术，从而对所述道路的三维模型中面片的纹理贴图进行确定。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述用于三维场景重建的纹理贴图选择方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本申请实施例中的用于三维场景重建的纹理贴图选择方法，能够去除在道路中正在运动汽车对重建效果的影响，从而优选出纹理贴图的三维重建模型中的三角形区域。
如图4所示，是本申请实施例中用于三维场景重建的纹理贴图选择方法的流程示意图，实现的具体过程包括如下步骤：
S1获取视屏流数据。
针对三维重建的原始照片，纹理选择道路车辆去除。
S2输入预设语义识别模型。
预设语义识别模型通过语义分割道路、正在运动中的车辆：基于深度学习的语义分割算法，可以对每个像素进行预测，标记每个像素的所属类别，即道路和车辆。
S3根据语义识别模型，得到语义分割后的结果。
道路中车辆选择识别,基于语义分割对各个像素道路、车辆标注结果，分别生成道路的包围盒与车辆的包围盒，车辆包围盒在道路包围盒内部的，认为其为在道路中的车辆。S4模型重建纹理选择复合决策。
如图5所示，是根据本申请实施例的用于三维场景重建的纹理贴图选择方法的纹理贴图选择策略实现原理示意图，附图中的三角形对应三维模型的一个Face(面片)，B1、B2、B3分别是三张原始图片，Face对应的纹理贴图可以选择三张图片中任一一张的三角形区域，通过语义分割和车辆识别的两个过程，已经明确道路与车辆的所在区域，因此在最终纹理选择可以直接选择或者侧重选择B3图像中的紫色三角形区域，因为其排除了运动汽车的干扰。
图6为本申请实施例中用于三维场景重建的纹理贴图选择装置的结构示意图。请参考图6，在硬件层面，该交互系统包括处理器、存储器，可选地还包括网络接口。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该交互系统还包括其他业务所需要的硬件，如显示器，同屏显示地图和辅助驾驶信息。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成路况信息交互装置。处理器，执行存储器所存放的程序实现如上文描述的路况信息交互方法。
上述如本申请图1所示实施例揭示的用于三维场景重建的纹理贴图选择方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述路况信息交互方法的步骤。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的交互系统执行时，能够实现图1所示的用于三维场景重建的纹理贴图选择方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于三维场景重建的纹理贴图选择方法，其特征在于，包括：
获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；
通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。
2.根据权利要求1所述的方法，其特征在于，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，还包括：
通过所述道路进行三维场景重建的过程中，根据所述车道中车道线位置确定道路中正在运动的所述目标车辆的第一位置；
根据所述目标车辆的第一位置，确定多个待选的所述目标区域，其中所述目标区域至少包括如下之一：包含道路元素、包含车辆元素、既包含道路元素又包含车辆元素；
在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，用以排除运动车辆干扰。
3.根据权利要求2所述的方法，其特征在于，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：
通过纹理映射以及所述在多个待选的所述目标区域中筛选出仅包含所述道路元素的目标区域，得到所述道路的三维模型中面片的纹理贴图。
4.根据权利要求2所述的方法，其特征在于，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，包括：
通过纹理映射以及所述在多个待选的所述目标区域中筛选出所述既包含道路元素又包含车辆元素的目标区域，得到所述道路的三维模型中面片对应的纹理贴图。
5.根据权利要求2所述的方法，其特征在于，所述通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图，之前还包括：
在所述在多个待选的所述目标区域中筛选出所述包含车辆元素的非目标区域，并将所述包含车辆元素的非目标区域去除。
6.根据权利要求1所述的方法，其特征在于，所述预设语义识别模型，包括：
基于CNN或者FCNN神经网络模型训练所述多组图像数据，得到所述预设语义识别模型；
基于所述预设语义识别模型对图像数据中各个像素道路、车辆标注结果，分别生成道路的包围盒与车辆的包围框，所述目标车辆包围框在道路包围框内部用以作为在所述道路内的车辆。
7.根据权利要求1所述的方法，其特征在于，所述获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签，包括：
通过无人机航拍影响获取多张连续的航拍图像，并通过预设语义识别模型中的车辆标签、道路标签，分别识别出航拍过程中出现的正在运动的所述目标车辆以及待三维场景重建的所述道路。
8.一种用于三维场景重建的纹理贴图选择装置，其特征在于，包括：
语义分割模块，用于获取多张连续的图像，并通过预设语义识别模型分别识别出目标车辆以及道路，其中所述目标车辆正位于所述道路上，所述预设语义识别模型述为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像中各像素的车辆标签、道路标签；
选择模块，用于通过所述道路进行三维场景重建的过程中根据所述车道的位置区域中不存在所述目标车辆的目标区域，选择待重建的三维场景中所述道路的三维模型中面片的纹理贴图。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111125711.8A CN113870405B (zh) | 2021-09-24 | 2021-09-24 | 用于三维场景重建的纹理贴图选择方法以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111125711.8A CN113870405B (zh) | 2021-09-24 | 2021-09-24 | 用于三维场景重建的纹理贴图选择方法以及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113870405A true CN113870405A (zh) | 2021-12-31 |
| CN113870405B CN113870405B (zh) | 2022-11-08 |
Family
ID=78994139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111125711.8A Active CN113870405B (zh) | 2021-09-24 | 2021-09-24 | 用于三维场景重建的纹理贴图选择方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113870405B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330984A (zh) * | 2022-07-25 | 2022-11-11 | 埃洛克航空科技（北京）有限公司 | 用于悬浮物剔除的数据处理方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205584A (ja) * | 2008-02-29 | 2009-09-10 | Mitsubishi Precision Co Ltd | 三次元道路データの生成方法及びその装置 |
| CN102436678A (zh) * | 2010-09-29 | 2012-05-02 | 比亚迪股份有限公司 | 一种三维道路模型生成方法及系统 |
| CN104658039A (zh) * | 2015-02-12 | 2015-05-27 | 南京市测绘勘察研究院有限公司 | 一种城市数字地图三维建模制作方法 |
| CN106971040A (zh) * | 2017-03-29 | 2017-07-21 | 北京晶众智慧交通科技股份有限公司 | 一种基于平纵横设计的三维道路快速建模方法 |
| CN111476890A (zh) * | 2020-04-28 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于影像的三维场景重建中移动车辆的修复方法 |
| CN112348972A (zh) * | 2020-09-22 | 2021-02-09 | 陕西土豆数据科技有限公司 | 一种基于大规模场景三维模型精细语义标注方法 |
-
2021
- 2021-09-24 CN CN202111125711.8A patent/CN113870405B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205584A (ja) * | 2008-02-29 | 2009-09-10 | Mitsubishi Precision Co Ltd | 三次元道路データの生成方法及びその装置 |
| CN102436678A (zh) * | 2010-09-29 | 2012-05-02 | 比亚迪股份有限公司 | 一种三维道路模型生成方法及系统 |
| CN104658039A (zh) * | 2015-02-12 | 2015-05-27 | 南京市测绘勘察研究院有限公司 | 一种城市数字地图三维建模制作方法 |
| CN106971040A (zh) * | 2017-03-29 | 2017-07-21 | 北京晶众智慧交通科技股份有限公司 | 一种基于平纵横设计的三维道路快速建模方法 |
| CN111476890A (zh) * | 2020-04-28 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于影像的三维场景重建中移动车辆的修复方法 |
| CN112348972A (zh) * | 2020-09-22 | 2021-02-09 | 陕西土豆数据科技有限公司 | 一种基于大规模场景三维模型精细语义标注方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115330984A (zh) * | 2022-07-25 | 2022-11-11 | 埃洛克航空科技（北京）有限公司 | 用于悬浮物剔除的数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113870405B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Neumann et al. | Nightowls: A pedestrians at night dataset | |
| Porzi et al. | Seamless scene segmentation | |
| Mani et al. | Monolayout: Amodal scene layout from a single image | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| JP2020071862A (ja) | コンピュータビジョンシステム及び方法 | |
| CN110390314B (zh) | 一种视觉感知方法及设备 | |
| CN110807740A (zh) | 一种面向监控场景车窗图像的图像增强方法与系统 | |
| CN108830319B (zh) | 一种图像分类方法和装置 | |
| Temel et al. | Challenging environments for traffic sign detection: Reliability assessment under inclement conditions | |
| KR102311796B1 (ko) | 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치 | |
| CN111754531A (zh) | 图像实例分割方法和装置 | |
| CN115119045B (zh) | 基于车载多摄像头的视频生成方法、装置及车载设备 | |
| CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| DE102019131971A1 (de) | Ein Bildverarbeitungsmodul | |
| CN115439637A (zh) | 车载增强现实的渲染方法、系统、车辆及存储介质 | |
| CN114511832B (zh) | 车道线分析方法、装置、电子设备及存储介质 | |
| EP3721382A1 (en) | Method and system of annotation densification for semantic segmentation | |
| CN113870405B (zh) | 用于三维场景重建的纹理贴图选择方法以及相关装置 | |
| DE102017108255A1 (de) | Parallele detektion von primitiven in einer szene unter verwendung eines rundum-kamerasystems | |
| CN117036895A (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 | |
| CN111680580A (zh) | 一种闯红灯的识别方法、装置、电子设备及存储介质 | |
| CN117455762A (zh) | 基于全景行车记录仪的记录画面分辨率提升方法及系统 | |
| CN115588188A (zh) | 一种机车、车载终端和驾驶员行为识别方法 | |
| CN116386023B (zh) | 基于时空扩散的高位相机车牌识别方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |