CN112802083A - 一种通过三维模型标记点获取对应二维图像的方法 - Google Patents

Abstract

本发明公开了一种通过三维模型标记点获取对应二维图像的方法，根据对应三维模型和生成该三维模型的源文件进行处理，所述源文件包括多个三维点云帧，所述三维点云帧均对应一副二维图像；用户通过在三维模型中选取任一点后，匹配与该点形成最大相关性的三维点云帧，根据该三维点云帧找到对应的二维图像后将该二维图像在交互界面进行展示。通过本发明的方法能够在三维模型中快速匹配到较为精准的二维图像，从而便于提供更加清晰的细节展示。

Description

一种通过三维模型标记点获取对应二维图像的方法

技术领域

本发明属于三维建模技术领域，具体涉及一种通过三维模型标记点获取对应二维图像的方法。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建（类似人的双目定位）相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系。然后利用多个二维图像中的信息重建出三维信息。物体三维重建是计算机辅助几何设计、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。在计算机内生成物体三维表示主要有两类方法，一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型，另一类是通过一定的手段获取真实物体的几何形状。后者一般称为三维重建过程，三维重建是指利用二维投影恢复物体三维信息（形状等）的数学过程和计算机技术，包括数据获取、预处理、点云拼接和特征分析等步骤。

现有的三维重建方式是通过激光扫描仪获取到目标物体的外部轮廓信息，其包括编码的激光反射信息和拍摄的多帧二维图像，通过SFM或MVS算法得到点云，在根据点云和二维图像来进行曲面快速重建和纹理映射，从而形成该目标物体的外部三维模型。但该技术构建出的三维模型的细节表现程度尚无法达到高清图片的效果。所以在细节的观察上还需要图片进行补充。目前市面上的三维软件均是通过，人手工找对应的图片来观察。有的是有一个类似视频播放器的拉动条，可以拉动来浏览扫描过程，来找对应图片。有的是直接给出一系列图片用户自己观察找寻需要的图片，无法自动进行图片适配。且在扫描的过程中每秒会产生几张或几十张图片，如果使用者需要找到对应的图片进行观察则必须手动的逐个观察图片来确定哪些图片更能便于观察，其工作量较大，效率很低。

发明内容

为了解决现有技术存在的问题，本发明提供一种方法，旨在通过多步骤的计算过程，利用生成三维模型的源文件将二维高清图像与三维模型的点云关联，从而在确定三维模型上任一点位置均能够关联到单帧或多帧二维图像。

本发明所采用的技术方案为：

一种通过三维模型标记点获取对应二维图像的方法，根据对应三维模型和生成该三维模型的源文件进行处理，所述源文件包括多个三维点云帧，所述三维点云帧均对应一副二维图像；

用户通过在三维模型中选取任一点后，匹配与该点形成最大相关性的三维点云帧，根据该三维点云帧找到对应的二维图像后将该二维图像在交互界面进行展示。

值得说明的是，源文件是指用于构成该三维模块的原始文件，即通过设备直接对目标物体进行进行扫描获取到的最初数据内容。其中的二维图像则是通过扫描设备在扫描过程中不断的拍摄所获取的具有较高清晰度的图片。

所谓三维点云帧是指有独立的摄像头获取到该视角下的所有最小像素点的三维坐标数据，通过算法将多张三维点云帧合成构成该对象的点云数据，也就是三维点坐标数据集。

在拍摄第一张图像时，就会确定一个坐标系，或是设定的参考坐标系，亦或是直接采用世界坐标系；在之后拍摄的三维点云帧帧数据均包含有以该坐标系作为参照的像素点坐标信息，然后通过算法将多个三维点云帧帧数据合成得到该三维模型的数据。

实际过程中，也可以通过其他设备补充获取高清的二维图像，并将其一并作为源文件进行匹配。

本发明是为了便于在三维模型中直接指定任一点即可匹配到相关的二维图像，将原本分辨率或准确率较低的三维局部视图通过更加真实清晰的二维图像进行展现，从而提供更加精确的信息反馈。而三维模型中可选取的点可直接定义为点云中的点，或选取后通过算法确定最近的存在于点云中的目标点。

进一步的，所述相关性的指标包括点坐标的空间距离，最大相关性则为与选取点之间具有最小空间距离的三维点云帧。

进一步的，所述空间距离由三维点云帧的中心点与选取点之间进行计算获得。

进一步的，计算空间距离的步骤如下：

先获取选取点坐标数据并设定目标阈值A；

然后在三维点云帧所包含的像素点坐标数据中确定中心像素点，将中心像素点与目标点之间的平均空间距离D小于目标阈值A的三维点云帧确定为目标域；

将属于目标域内的三维点云帧在预处理后确定与选取点具有最大相关性，并将对应的二维图像进行展示。

所谓的目标阈值A，即是根据实际需求确定的精选范围，将空间距离该目标点最近的几个点所在的三维点云帧筛选出来，从而将每组三维点云帧对应的二维图像也筛选出来。经过预处理后过滤掉不清楚、角度偏差较大的图片，匹配出的二维图像则能够真实的反映该位置的图像信息。

进一步的，设定目标阈值B，所述预处理的过程中包括通过图像清晰度算法剔除清晰度低于目标阈值B且属于目标域中的三维点云帧剔除。

进一步的，所述预处理的过程中包括根据目标域中三维点云帧的像素点坐标数据的深度波动系数进行图像剔除的过程；

具体将三维点云帧根据深度波动系数依次进行正视图赋分，将高赋分的三维点云帧进行保留。

所谓的深度波动系数，是指根据三维点云帧中像素点的深度均值、深度均方差或其他与深度值相关且能够量化代替该二维图像角度偏差的数据，一旦深度波动系数偏大，则说明该三维点云帧对应的二维图像并不是该点的正视图，表明其偏差角度较大，无法直观的反应该点的细节。则通过控制该深度波动系数，进一步地缩小采样范围。

而所谓的赋分，是指对筛选后的二维图像确定可量化的指标，并可用于其他筛选步骤中的进一步筛分指标。分数的高低代表该二维图像的接近正视图的程度，分数最高意味着是最接近或即为该点的正视图。

根据深度系数赋分后，将前几名的图像进行保留，则剔除赋值分较低的意思是指取赋分值较高的前几幅三维点云帧。

进一步的，还设有目标阈值C，所述预处理包括：

对目标域中的每组三维点云帧确定特征像素点，并两两比较，其特征像素点的空间间距小于目标阈值C的多帧三维点云帧任选其中一帧进行保留。

值得说明的是，该特征像素点是能够反映该三维点云帧部分特征的像素点。也就是说，所谓的特征像素点包括但不限于帧的中心点、帧的边角点等具有某种特征的点，使用者可根据实际需求进行预设。

也就是说，首先对目标域中的多组三维点云帧确定对应的特征像素点，然后将其两两对比计算特征像素点之间的空间间距，若空间间距小于目标阈值C，则说明上述两组三维点云帧对应的二维图像具有一定相似度，则需要进行筛除，避免造成过多重复信息匹配。

进一步的，还设定目标阈值B和目标阈值C，所述预处理包括以下步骤：

将目标域中清晰度低于目标阈值B的三维点云帧剔除；

再将目标域中确定的特征像素点的空间间距小于目标阈值C的多组三维点云帧中正视图赋分最高的一组进行保留；

同时根据目标域中三维点云帧的像素点坐标数据的深度波动系数依次进行正视图赋分，将低赋分的三维点云帧剔除。

值得说明的是，由于在拍摄时每秒会产生大概30帧数据，所以满足阈值C的可能会有多张图片，我们会根据中心点距离选择，正视图赋分等选择出一张数据，也就是数据去重的过程。

进一步的，还包括目标阈值E；

预处理过程还包括：将同时满足中心点的空间间距小于目标阈值C而视线夹角大于目标阈值E的多帧三维点云帧保留其中任一组。

进一步的，还包括目标阈值E；

预处理过程还包括：将通过预处理后的目标域中中心点与视点之间的间距最小的、中心点到视点距离最大的和除上述两种且视线夹角大于设置的目标阈值E的三维点云帧进行保留。

本发明的有益效果为：

（1）本发明通过以三维点云帧作为中间计算值，能够通过算法快速匹配具有较高精准度的二维图像，使得用户能够在三维模型上直接点击任一点获取该点最直观的实际二维图像，从而较普通的三维模型能够展示更多局部细节；

（2）本发明的方法能找到与指定的点相关度最高的照片，也能够选择到与指定点观察角度最好的照片；同时能够选到与指定点相关并剔除相似度过高无意义的重复照片，并能确保对不同角度的观察效果均有照片。还能自动剔除清晰度不高的照片，同时找到细节最清晰的照片及场景覆盖最广的照片，及不同夹角照片。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例1：

现有通过对目标物进行扫描并重建得到的三维模型清晰度较差，若需要对其局部位置进行查看，则无法直接获取到精确的图像信息。为了解决该技术问题，通过将高清二维图像与三维模型进行匹配，在点击或放大对应区域内的三维模型后，便可弹出对应位置的二维图像，通过查看单帧或多帧二维图像来获取该局部的细部信息。

但由于现有技术中并未提供自动匹配的方法，而采用人工手段效率较慢。则本实施例提供一种方法，能够根据三维模型中目标点的对应元数据，与二维图像库中每帧二维图像的元数据进行匹配，从而自动获取较为合适的二维图像。

具体如下：

首先，获取到三维模型，且该三维模型是由激光扫描仪器扫描对应实体物品而生成的文件。然后获取到生成该三维模型的源文件，既包括点云数据和二维图像数据。

点云数据是由多个密集且覆盖在实体物品表面的激光反射点数据组成，在本实施例中以三维点云帧进行指代，具体包括每个点的空间坐标，该坐标系则是固定的坐标系，可直接采用世界坐标系，或以固定点为原点建立坐标系，

而二维图像数据是通过激光扫描仪器在扫描时拍摄的多帧图像，具有较高的清晰度。并且在拍摄二维图像时，同时会产生一组三维点云帧，三维点云帧是指处在该视角下由拍摄主体记录二维图片中出现的像素点的坐标信息，由多帧三维点云帧通过算法合成该对象的三维模型据集。理论上，越多的三维点云帧能够建立更加精确清晰的三维模型。

然后对所有三维点云帧取中心像素点或取一个中心区域范围，从而构成三维点云帧的中心像素点集合。

再任选三维模型上的点作为目标点，获取该目标点的坐标信息，将计算所有三维点云帧的中心像素点与该目标点的空间间距，并将每帧三维点云帧的中心像素点相较于目标点的空间距离取均值，从而获得该三维点云帧与该目标点的空间间距C。

在本实施例中设定一个目标阈值A，将C小于目标阈值A的三维点云帧筛选出来，作为该目标点的目标域，再经过清晰度等其他的过滤算法将不能够清楚表示该点附近的细节所对应的二维图像筛除，从而得到该目标点的三维点云帧对应的二维图像。

实施例2：

本实施例公开一种通过三维模型标记点获取对应二维图像的方法，根据对应三维模型和生成该三维模型的源文件进行处理，其中的源文件包括三维点云帧和对应的二维图像；先获取三维模型上任一点在点云中的对应的目标点的坐标数据，并设定目标阈值A；然后在每帧三维点云帧的像素点坐标数据中确定中心像素点集合，将中心像素点集合与三维点云帧中的目标点之间的平均空间距离D小于目标阈值A的三维点云帧确定为目标域；将属于目标域内的三维点云帧所对应的二维图像在预处理后确定为该目标点的对应二维图像。

相较于实施例1，本实施例还设定有目标阈值B和目标阈值C，其中预处理包括通过图像清晰度算法剔除清晰度低于目标阈值B且属于目标域中的二维图像。

预处理还包括将目标域中像素点坐标数据深度波动系数大于目标阈值C的二维图像剔除，并对不大于目标阈值C的三维点云帧根据深度波动系数依次进行正视图赋分。

深度波动系数是指根据该三维点云帧中像素点的深度均值、深度均方差或其他与深度值相关且能够量化代替该三维点云帧角度偏差的数据，一旦深度波动系数偏大，则说明该三维点云帧所对应的二维图像并不是该点的正视图，则意味着其偏差角度较大，无法直观的反应该点的细节。

则通过控制该深度波动系数，进一步地缩小采样范围。而赋分是指在满足目标阈值C的前提下对筛选后的三维点云帧确定可量化的指标，并可用于其他筛选步骤中的进一步筛分指标。分数的高低代表该二维图像的接近正视图的程度，分数最高意味着是最接近或即为该点的正视图。

实施例3：

本实施例公开一种通过三维模型标记点获取对应二维图像的方法，具体步骤如下：

首先获取到三维模型数据，且该三维模型是由激光扫描仪生成的数据模型，将其点云和扫描时获得的三维点云帧和对应的二维图像一并提出进行处理。

获取到所有三维点云帧中心像素点，若无法直接获取，则获取至少四个距离理论中心点最近的像素点构成每帧三维点云帧的中心像素点集合。

再任选点云上的点作为目标点，获取该目标点的坐标信息，将计算所有三维点云帧的中心像素点与该目标点的空间间距，并将每帧三维点云帧的中心像素点相较于目标点的空间距离取均值，从而获得该三维点云帧与该目标点的空间间距C。

在本实施例中设定一个目标阈值A，将C小于目标阈值A的三维点云帧筛选出来，作为该目标点的目标域。

本实施例还设有目标阈值C，所述预处理包括：对目标域中的三维点云帧确定的特征像素点，并两两比较，其特征像素点的空间间距小于目标阈值C的多帧三维点云帧任选其中一帧进行保留。该特征像素点是除中心像素集合中的其他能够反映该二维图像部分特征的像素点。

首先对目标域中的多帧三维点云帧确定对应的特征像素点，然后将其两两对比计算特征像素点之间的空间间距，若空间间距小于目标阈值C，则说明该两帧三维点云帧具有一定相似度，则需要进行筛除，避免造成过多重复信息匹配。

实施例4：

如图1所示，本实施例一种通过三维模型标记点获取对应二维图像的方法，具体步骤如下：

首先获取到三维模型数据，且该三维模型是由激光扫描仪生成的数据模型，将其点云和扫描时获得的三维点云帧及对应的二维图像一并提出进行处理。

获取到所有三维点云帧中心像素点，若无法直接获取，则获取至少四个距离理论中心点最近的像素点构成每帧三维点云帧的中心像素点集合。

再任选点云上的点作为目标点，获取该目标点的坐标信息，将计算所有三维点云帧的中心像素点与该目标点的空间间距，并将每帧三维点云帧的中心像素点相较于目标点的空间距离取均值，从而获得该三维点云帧与该目标点的空间间距C。

在本实施例中设定一个目标阈值A，将C小于目标阈值A的三维点云帧筛选出来，作为该目标点的目标域。

本实施例中还设定目标阈值B、目标阈值C和目标阈值C，所述预处理包括以下步骤：

将目标域中像素点坐标数据深度波动系数大于目标阈值C的三维点云帧剔除，同时将目标域中像素点坐标数据深度波动系数大于目标阈值C的三维点云帧剔除；再将目标域中确定的特征像素点的空间间距小于目标阈值C的多帧三维点云帧中正视图赋分最高的一帧进行保留。

本实施例中，阈值C包括C₁和C₂，同时还包括目标阈值D，而特征像素点包括三维点云帧的中心点和视点；其中，将同时满足中心点的空间间距小于目标阈值C₁、视点的空间间距小于目标阈值C₂和视线夹角大于目标阈值C3的多帧三维点云帧保留其中任一帧。

中心像素点集合包括至少两个相邻像素点，先获取中心像素点集合的平均坐标数据，并根据该平均坐标数据与目标点的坐标数据计算空间间距值，在空间间距值小于目标阈值A的三维点云帧集合形成目标域。将通过预处理后的目标域中中心点与视点之间的间距最小的、中心点到视点距离最大的和除上述两种且视线夹角大于设置的目标阈值E的三维点云帧和其对应的二维图像进行保留。

实施例5：

本实施例公开一种通过三维模型标记点获取对应二维图像的方法，构造帧的元数据，元数据与彩色的二维图像通过编号方式一一对应，同时每张二维图像均对应有一组三维点云帧。获取三维模型的点云中的任意一点，能通过与元数据的计算得到这个点与帧的位置关系，从而进行图片选择。

1、计算目标点与三维点云帧中心点的距离，认为距离近的帧有价值。

即计算目标点与三维点云帧的中心点的三维空间距离，找出距离低于目标门槛的一组三维点云帧A。

2、对彩图进行筛查，滤掉模糊的图片。

采用常用的图像清晰度算法均可，我们这边选用拉普拉斯算子，计算三维点云帧的边沿模糊度。通过算法，剔除在A中边沿不清晰的图像，得到一组三维点云帧B。

3、计算出正视图系数

由于正视图比斜视图更利于观察物品的细节，所以需要计算正视图的系数。物品的正视图对比斜视图来说其点云深度的均方差值更小。所以通过使用均方差的计算来替代正视图。算法也可以用类似的算法替代，其基本思路是计算点云深度的波动系数，波动越小则越靠近正视图。利用该算法可以对三维点云帧B中的每一个帧三维点云帧进行正视图打分。

4、合并过于相似的帧，中心点非常接近，且视点接近，且扫描夹角很小。

由于扫描设备每秒扫描的帧数非常多，扫描仪每秒20帧以上，故存在大量的相似的图片，参考意义较小，则需要对相似的图片进行滤除。

该算法的基本判断标准为：

（1）两帧的中心点极为接近

通过计算两帧中心点的距离来确定。

（2）两帧的视点非常接近

通过计算两帧视点的距离来确定。

（3）两帧视线的夹角比较小

通过构建从视点到帧中心点的向量F，计算不同帧之间的向量F的夹角差，如果低于目标阈值则认为两帧的两帧视线非常接近。

（4）综合上述3点，同时满足上述3点的帧我们认为相似帧。相似帧只会保留其中一帧数据，其余的均会被删除。而保留正视图系数更低的帧（分越低正视图可能性越高），其余帧会删除，从而得到一组帧数据C。

5、保留最近视角，最远视角，不同夹角，最有价值的X张图片

最近视角图片：需要同时考虑，正视图系数尽量小，三维点云帧中心点到视点的距离尽量小的一张图片。

最远视角图片：需要同时考虑，正视图系数尽量小，三维点云帧中心点到视点的距离尽量大的一张图片。

不同夹角图片：与最近视角图片，最远视角图片，及已经选入的不同夹角图片，其视线的夹角均大于指定门槛的图片（这个图片不一定是正视图），选出上述三类图片X张呈现给用户。

其中值得说明的是，每帧二维图像的元数据由多个像素点坐标数据组成，例如如下五行组成：

0.009374 0.032631 1.361000

0.006887 0.023976 0.000000

-1.183569 -0.950413 2.814000

0.450447 0.399967 1.037000

1.399788 0.164998 1.361000

其中第1行位图像中心点的xyz坐标数据；

而第2行为当前视点xyz坐标数据；

第3行为图像左上点的xyz坐标数据；

第4行为图像右下点的xyz坐标数据；

第5行为图像点云深度均值、图像点云深度均方差和图像中心点到视点的距离（深度）。

上述所有坐标，均为世界坐标系下的坐标信息。

其转换公式为：当前图像坐标系下坐标值xyz×仿射变换矩阵。

仿射变换矩阵为图像拼接时产生的图像缩放、旋转、移动矩阵的乘积。

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种通过三维模型标记点获取对应二维图像的方法，根据对应三维模型和生成该三维模型的源文件进行处理，其特征在于：

所述源文件包括多个三维点云帧，所述三维点云帧均对应一副二维图像；

用户通过在三维模型中选取任一点后，匹配与该点形成最大相关性的三维点云帧，根据该三维点云帧找到对应的二维图像后将该二维图像在交互界面进行展示。

2.根据权利要求1所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：所述相关性的指标包括点坐标的空间距离，最大相关性则为与选取点之间具有最小空间距离的三维点云帧。

3.根据权利要求2所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：所述空间距离由三维点云帧的中心点与选取点之间进行计算获得。

4.根据权利要求2或3所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：计算空间距离的步骤如下：

先获取选取点坐标数据并设定目标阈值A；

然后在三维点云帧所包含的像素点坐标数据中确定中心像素点，将中心像素点与目标点之间的平均空间距离D小于目标阈值A的三维点云帧确定为目标域；

将属于目标域内的三维点云帧在预处理后确定与选取点具有最大相关性，并将对应的二维图像进行展示。

5.根据权利要求4所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：设定目标阈值B，所述预处理的过程中包括通过图像清晰度算法剔除清晰度低于目标阈值B且属于目标域中的三维点云帧剔除。

6.根据权利要求4所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：所述预处理的过程中包括根据目标域中三维点云帧的像素点坐标数据的深度波动系数进行图像剔除的过程；

具体将三维点云帧根据深度波动系数依次进行正视图赋分，将高赋分的三维点云帧进行保留。

7.根据权利要求4所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：还设有目标阈值C，所述预处理包括：

对目标域中的每组三维点云帧确定特征像素点，并两两比较，其特征像素点的空间间距小于目标阈值C的多帧三维点云帧任选其中一帧进行保留。

8.根据权利要求4所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：

还设定目标阈值B和目标阈值C，所述预处理包括以下步骤：

将目标域中清晰度低于目标阈值B的三维点云帧剔除；

再将目标域中确定的特征像素点的空间间距小于目标阈值C的多组三维点云帧中正视图赋分最高的一组进行保留；

同时根据目标域中三维点云帧的像素点坐标数据的深度波动系数依次进行正视图赋分，将低赋分的三维点云帧剔除。

9.根据权利要求7或8所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：

还包括目标阈值E；

预处理过程还包括：将同时满足中心点的空间间距小于目标阈值C而视线夹角大于目标阈值E的多帧三维点云帧保留其中任一组。

10.根据权利要求7或8所述的一种通过三维模型标记点获取对应二维图像的方法，其特征在于：

还包括目标阈值E；

预处理过程还包括：将通过预处理后的目标域中中心点与视点之间的间距最小的、中心点到视点距离最大的和除上述两种且视线夹角大于设置的目标阈值E的三维点云帧进行保留。

Images