CN116206069B - 三维扫描中的图像数据处理方法、装置和三维扫描仪 - Google Patents

Abstract

本申请涉及一种三维扫描中的图像数据处理方法、装置和三维扫描仪，其中，该三维扫描中的图像数据处理方法包括：获取被扫描物体的原始标记点图像，对所述原始标记点图像进行计算，得到标记点库；获取所述被扫描物体的原始二维表面图像，确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对所述候选二维表面图像进行计算，得到待重建图像数据；根据所述标记点库和所述待重建图像数据，得到所述被扫描物体的三维表面数据。通过本申请，在保证被扫描物体的三维表面数据的重建精度的基础上，大大提升了扫描仪的扫描速度。解决了现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题。

Description

三维扫描中的图像数据处理方法、装置和三维扫描仪

技术领域

本申请涉及三维扫描领域，特别是涉及一种三维扫描中的图像数据处理方法、装置和三维扫描仪。

背景技术

三维扫描仪通常包括至少两个相机和至少一支激光器。其中，相机像素越高，图像越清晰同时图像数据越大。扫描仪采用的相机像素对后续三维模型质量有很大影响，为了得到高质量且高清晰的图像，需要采用高像素相机。但是图像数据过大会导致扫描仪的扫描速度过低，所以常规扫描仪的相机像素往往在100万左右。扫描帧率又是扫描仪的另一个重要参数，扫描仪的帧率越高，其采图越快扫描越快。但是由于数据传输速度的限制，通常扫描帧率在50帧左右。

目前扫描仪相机在进行工作时，在整个扫描过程中，通常的图像数据处理方式是处理器对全尺寸图像进行计算。示例性的，当扫描仪采用500w像素的相机时，则处理器直接对500w像素的图像进行计算。虽然对全尺寸图像进行计算处理，可以得到高质量的三维重建图像，但是由于图像计算量巨大，因此导致扫描仪的扫描帧率过低，进而使其扫描速度过低。

针对现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题，目前还没有提出有效的解决方案。

发明内容

在本发明中提供了一种三维扫描中的图像数据处理方法、装置和三维扫描仪，以解决现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题。

第一个方面，在本发明中提供了一种三维扫描中的图像数据处理方法，所述方法包括：

获取被扫描物体的原始标记点图像，对所述原始标记点图像进行计算，得到标记点库；

获取所述被扫描物体的原始二维表面图像，确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对所述候选二维表面图像进行计算，得到待重建图像数据；

根据所述标记点库和所述待重建图像数据，得到所述被扫描物体的三维表面数据。

在其中的一些实施例中，所述对所述原始标记点图像进行计算，得到标记点库包括：

分别对若干帧所述原始标记点图像中的标记点进行识别，得到每帧所述原始标记点图像的标记点集合；

对若干个所述标记点集合进行联合位姿优化，得到所述标记点库。

在其中的一些实施例中，所述对所述候选二维表面图像进行计算，得到待重建图像数据包括：

对若干帧所述候选二维表面图像中的标记点和激光线进行识别，得到标记点数据和激光线数据；

所述根据所述标记点库和所述待重建图像数据，得到所述被扫描物体的三维表面数据包括：

将识别到的标记点数据与所述标记点库中的标记点数据进行匹配，以更新识别到的标记点数据，结合更新后的标记点数据和所述激光线数据进行三维重建，得到所述三维表面数据。

在其中的一些实施例中，所述确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对所述候选二维表面图像进行计算，得到待重建图像数据包括：

按照当前的剪裁比例确定所述原始二维表面图像的被关注区域，得到候选二维表面图像；

实时获取所述候选二维表面图像的计算资源占用率；

实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算资源占用率处于预设范围。

在其中的一些实施例中，所述实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算占用率处于预设范围包括：

若当前的所述计算资源占用率高于所述预设范围的上限阈值，则提高当前的所述剪裁比例；

若当前的所述计算资源占用率低于所述预设范围的下限阈值，则降低当前的所述剪裁比例。

在其中的一些实施例中，所述实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算占用率处于预设范围包括：

在所述预设范围中确定预设阈值；

若当前的所述计算资源占用率高于所述预设阈值，则提高当前的所述剪裁比例；

若当前的所述计算资源占用率低于所述预设阈值，则降低当前的所述剪裁比例。

在其中的一些实施例中，所述实时根据所述计算资源占用率调整所述剪裁比例包括：

根据当前的所述计算资源占用率，按照固定调整比例对当前的所述剪裁比例进行调整。

在其中的一些实施例中，所述实时根据所述计算资源占用率调整所述剪裁比例包括：

在所述预设范围中确定预设阈值；

根据当前的所述计算资源占用率与所述预设阈值之间的差值确定当前的调整比例；

按照当前的所述调整比例对当前的所述剪裁比例进行调整。

在其中的一些实施例中，所述预设范围根据扫描仪的最大扫描帧率确定。

在其中的一些实施例中，所述获取被扫描物体的原始标记点图像包括：

采用摄影测量模式对所述被扫描物体进行扫描，以获取所述原始标记点数据；

所述获取所述被扫描物体的原始二维表面图像：

采用三维扫描模式对所述被扫描物体进行扫描，以获取所述原始二维表面图像。

第二个方面，在本发明中提供了一种三维扫描中的图像数据处理装置，所述装置包括：

第一处理模块，用于获取被扫描物体的原始标记点图像，对所述原始标记点图像进行计算，得到标记点库；

第二处理模块，用于获取所述被扫描物体的原始二维表面图像，确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对所述候选二维表面图像进行计算，得到待重建图像数据；

三维重建模块，用于根据所述标记点库和所述待重建图像数据，得到所述被扫描物体的三维表面数据。

第三个方面，在本发明中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的三维扫描中的图像数据处理方法。

第四个方面，在本发明中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的三维扫描中的图像数据处理方法。

第五个方面，在本发明中提供了一种三维扫描仪，包括处理器，所述处理器在所述扫描仪进行扫描时，执行上述第一个方面所述的三维扫描中的图像数据处理方法。

与相关技术相比，在本发明中提供的三维扫描中的图像数据处理方法、装置和三维扫描仪，在保证被扫描物体的三维表面数据的重建精度的基础上，大大提升了扫描仪的扫描速度。利用本申请提供的方案，可以较为快速地完成三维扫描，并且获得高精度的被扫描物体的三维表面数据。解决了现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是执行本发明提供的三维扫描中的图像数据处理方法的终端的硬件结构框图；

图2是本发明实施例一提供的三维扫描中的图像数据处理方法的流程图；

图3是本发明实施例二提供的三维扫描中的图像数据处理方法的流程图；

图4是本发明实施例三提供的三维扫描中的图像数据处理方法的流程图；

图5是本发明实施例四提供的三维扫描中的图像数据处理装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是执行本发明的三维扫描中的图像数据处理方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本发明中的三维扫描中的图像数据处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本发明中提供了一种三维扫描中的图像数据处理方法，图2是本发明实施例一提供的三维扫描中的图像数据处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，获取被扫描物体的原始标记点图像，对原始标记点图像进行计算，得到标记点库。

本步骤中，获取被扫描物体的原始标记点图像，其中的原始标记点图像可以为通过相机直接拍摄得到未经过任何处理的标记点图像。比如，利用500w像素的相机拍摄得到的原始标记点图像，其图像尺寸则为500w像素。通常在三维扫描流程中，被扫描物体表面设置有标记点，标记点图像则是包含有标记点的物体表面图像。通过对标记点图像进行计算，可以识别出图像中的标记点数据，标记点数据则包含了标记点的位置信息。当对所有的原始标记点图像进行计算后，则可以得到包含被扫描物体表面所有标记点数据的标记点库。

进一步地，每一帧原始标记点图像中仅包含被扫描物体表面的部分标记点，因此需要利用不同帧原始标记点图像间的共有标记点，将不同帧原始标记点图像中的标记点拼接成整体，可以优化全局精度。其中，标记点数据所覆盖被扫描物体视野越大，扫描仪拍摄到的视野范围越大，测量出被测物体的全局精度更好。因此，本步骤中直接对被扫描物体的原始标记点图像进行计算实现标记点拼接，原始标记点图像保留了标记点图像的最大尺寸，也就是当前扫描过程中所采用相机的全尺寸图像。比如在当前扫描过程中，采用了800w像素的相机，本步骤则是直接对800w像素的原始标记点图像进行计算实现标记点拼接，从而最小化标记点数据的拼接误差，得到当前硬件设备下精度最高的标记点数据。

作为一种可实施方式，在本步骤中，可以分别对若干帧原始标记点图像中的标记点进行识别，得到每帧原始标记点图像的标记点集合，然后对若干个标记点集合进行联合位姿优化，得到标记点库。也就是先识别出每帧原始标记点图像中的所有标记点，记为一个标记点集合，并通过不同标记点集合之间的共有标记点实现标记点集合得两两拼接，得到标记点库。其中，可以采用最优化对齐的拼接算法，减少标记点集合得两两拼接误差。在标记点拼接完成后，还可以对每个标记点集合进行联合位姿优化，也就是从全局角度优化调整标记点数据，使得标记点库的累计拼接误差达到最小。

需要说明的是，在扫描物体获取标记点图像的过程中，补光灯可以使用红外波段，以方便有更大的视野范围，使得单帧标记点图像中包含更多的标记点，从而减少全局的累积误差。

步骤S220，获取被扫描物体的原始二维表面图像，确定原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对候选二维表面图像进行计算，得到待重建图像数据。

本步骤中，获取被扫描物体的原始二维表面图像，其中原始二维表面图像可以是通过相机直接拍摄得到未经过任何处理的二维表面图像。二维表面图像通常是通过激光扫描得到。也就是在扫描过程中，扫描仪将特定波长的激光发射至物体表面，同时通过相机对物体表面进行拍摄获取其二维表面图像。在获取到二维表面图像后，需要对其进行计算。具体计算过程则包括：对若干帧候选二维表面图像中的标记点和激光线进行识别，得到标记点数据和激光线数据。识别出的标记点数据和激光线数据构成了待重建图像数据。其中，二维表面图像的尺寸越大，其计算量越大，进而会导致处理器的图像处理帧率较低，也就降低了扫描仪的扫描速度。因此本步骤中，并非直接对原始二维表面图像进行计算，而是确定原始二维表面图像的被关注区域，也就是在原始二维表面图像中剪裁掉不被关注区域，保留被关注区域，从而得到候选二维表面图像，候选二维表面图像保留有原始二维表面图像的被关注区域，且尺寸小于原始二维表面图像。本步骤对候选二维表面图像进行计算，进而大大降低了二维表面图像的计算量，从而提高了扫描仪的扫描速度。

步骤S230，根据标记点库和待重建图像数据，得到被扫描物体的三维表面数据。

本步骤中，在得到标记点库和待重建图像数据之后，则重建被扫描物体的三维表面数据。其中，标记点库中包含了被扫描物体表面所有标记点数据，在重建过程中其主要起到全局定位的作用，保证待重建图像数据的拼接精度。而待重建图像数据则包括了每帧候选二维表面图像中的标记点数据和激光线数据。因此本步骤具体是将识别到的标记点数据与标记点库中的标记点数据进行匹配，以更新识别到的标记点数据，结合更新后的标记点数据和激光线数据进行三维重建，得到三维表面数据。其中，匹配过程则是在标记点库中找到与候选二维表面图像中标记点数据对应的标记点数据。由于标记点库中的标记点数据是高精度的，因此通过其更新候选二维表面数据中的标记点数据，可以提升候选二维表面数据中的标记点数据的精度，从而提升三维重建过程中的数据拼接精度。也就是说，数据点库在三维重建过程中起到了全局定位的作用，能够精准地定位每帧候选二维图像中的标记点，从而降低不同帧待重建图像数据之间的拼接误差。

综上，在整个三维扫描流程中，本实施例先是获取物体的标记点图像来建立标记点库，然后获取物体的二维表面图像得到待重建图像数据，最后利用标记点库的全局定位作用，对待重建图像数据进行三维重建，得到物体的三维表面数据。其中，在建立标记点库的过程中，是直接对相机获取的原始标记点图像进行计算，以识别原始标记点图像中的标记点数据，进而可以得到高精度的标记点库。同时，在得到待重建图像数据过程中，是先确定原始二维表面图像的被关注区域，从而得到尺寸更小的候选二维表面图像，再对候选二维表面图像进行计算，以识别候选二维表面图像中的标记点数据和激光线数据。该过程中，由于是对尺寸更小的候选二维表面图像进行计算，因此每帧图像的计算量更小，进而图像计算帧率更高，使得三维扫描速度更快。最后，在通过标记点库对待重建图像数据进行三维重建的过程中，由于标记点库中的标记点数据是高精度的，通过其对待重建图像数据中的标记点数据进行更新定位，进而待重建图像数据中更新定位后的标记点数据也是高精度的，从而可以降低不同帧待重建图像数据之间的拼接误差，最终可以获得高精度的被扫描物体的三维表面数据。

需要说明的是，在三维扫描过程，标记点数据主要用于保障扫描重建精度，激光线数据主要表征物体表面信息。因此，通过本发明中的方法，在保证被扫描物体的三维表面数据的重建精度的基础上，大大提升了扫描仪的扫描速度。也就是可以较为快速地完成三维扫描，并且获得高精度的被扫描物体的三维表面数据。解决了现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题。本发明中的数据处理方法适用于不同的扫描场景或扫描仪。特别适用于具有高像素相机的扫描仪，应用于高像素相机的扫描仪时，本发明中的扫描加速效果更加明显。

在一些实施例中，本发明涉及的三维扫描方法适用于扫描设备至少具有摄影测量和三维扫描两种工作模式。因此，可以采用摄影测量模式对被扫描物体进行扫描，以获取原始标记点数据，以及采用三维扫描模式对被扫描物体进行扫描，以获取原始二维表面图像。

具体的，在采用摄影测量模式进行扫描时，扫描设备的补光灯可以使用红外波段，以方便有更大的视野范围，从而消除全局累积误差。在扫描过程中，计算机屏幕中显示当前标记点的拼接状态以及扫描状态。比如，可以将当前被扫描的标记点显示为A颜色，系统判定标记点观察的角度已经足够时，可以将标记点在屏幕中显示为B颜色。在采用三维扫描模式进行扫描时，扫描设备通过激光发射器向可以物体发射蓝光（也可以是其他波长的激光），并且扫描设备通过相机采集物体表面数据，同时还可以开启蓝色补光灯。

需要进一步说明的是，对于同时具有摄影测量和三维扫描两种工作模式的扫描仪，可以直接采用该扫描仪获取被扫描物体的标记点图像和二维表面图像。当然也可以采用单独的摄影测量设备获取被扫描物体的标记点图像，再采用扫描仪获取被扫描物体的二维表面图像。

图3是本发明实施例二提供的三维扫描中的图像数据处理方法的流程图。参照图3，在上述实施例一的基础上，实施例二中，步骤S220，确定原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对候选二维表面图像进行计算，得到待重建图像数据包括：

步骤S221，按照当前的剪裁比例确定原始二维表面图像的被关注区域，得到候选二维表面图像；步骤S222，实时获取候选二维表面图像的计算资源占用率；步骤S223，实时根据计算资源占用率调整剪裁比例，以使计算资源占用率处于预设范围。

具体的，本实施例中，通过对原始二维表面图像的不被关注区域进行剪裁，以保留被关注区域得到候选二维表面图像。其中，剪裁比例则为被剪裁的不被关注区域在原始二维表面图像中的占比。因此，剪裁比例越高，保留的被关注区域越少，也就意味着候选二维表面图像的尺寸越小；剪裁比例越低，保留的被关注区域越多，也就意味着候选二维表面图像的尺寸越大。在本实施例中，不是采用固定的剪裁比例对原始二维表面图像进行剪裁，而是根据候选二维表面图像的计算情况实时调整剪裁比例的，以使候选二维表面图像的计算资源占用率处于合理的预设范围，最终使得扫描仪保持具有合理的扫描速度。通常情况下，候选二维表面图像尺寸越大，其计算资源占用率越高，图像计算帧率越低，进而使得扫描速度越低；反之，候选二维表面图像尺寸越小，其计算资源占用率越低，图像计算帧率越高，进而使得扫描速度越高。本实施例中，可以实时根据计算资源占用率调节剪裁比例。

进一步地，本发明提供了以下两种可以实时根据计算资源占用率调节剪裁比例的实现方案：

方案一：实时根据计算资源占用率调节剪裁比例的调节过程为：若当前的计算资源占用率高于预设范围的上限阈值，则提高当前的剪裁比例；若当前的计算资源占用率低于预设范围的下限阈值，则降低当前的剪裁比例。

具体的，当前时刻的计算资源占用率高于预设范围的上限阈值时，说明当前时刻被计算的候选二维表面图像的尺寸偏大，因此要实时提高剪裁比例，便于后一时刻获得尺寸更小的候选二维表面图像。当前时刻的计算资源占用率低于预设范围的下限阈值时，说明当前时刻被计算的候选二维表面图像的尺寸偏小，因此要实时提高剪裁比例，便于获得尺寸更大的候选二维表面图像。从整个剪裁过程来看，当计算资源占用率高于预设范围的上限阈值时，则逐渐提高剪裁比例，直至计算资源占用率达到预设范围的上限阈值；当计算资源占用率低于预设范围的下限阈值时，则逐渐降低剪裁比例，直至计算资源占用率达到预设范围的下限阈值。

方案二：实时根据计算资源占用率调节剪裁比例的调节过程为：在预设范围中确定预设阈值；若当前的计算资源占用率高于预设阈值，则提高当前的剪裁比例；若当前的计算资源占用率低于预设阈值，则降低当前的剪裁比例。

具体的，方案二与方案一不同的是，先在预设范围中确定预设阈值，以预设阈值作为反馈参照实时调节计算资源占用率。可选的，预设阈值可以是预设范围的中间值。从整个剪裁过程来看，当计算资源占用率高于预设阈值时，则逐渐提高剪裁比例，直至计算资源占用率达到预设阈值；当计算资源占用率低于预设阈值时，则逐渐降低剪裁比例，直至计算资源占用率达到预设阈值。与方案一相比，方案二的优势在于可以更加精准地调整剪裁比例，以使计算资源占用率稳定在预设阈值。

通过上述两个具体实现方案可知，剪裁比例可以实时根据计算资源占用率调整。也就是当前的计算资源占用率未处于预设范围或是未达到预设阈值时，则实时调整一次剪裁比例。进一步地，剪裁比例可以有两种调整方式。一是按照固定调整比例进行调整，也就是剪裁比例每次的调整幅度是相同的；二是按照动态调整比例进行调整，也就是剪裁比例每次的调整幅度可能是不同的。

因此，在一个具体实施例中，实时根据计算资源占用率调整剪裁比例是指根据当前的计算资源占用率，按照固定调整比例对当前的剪裁比例进行调整。

而在另一个具体实施例中，实时根据计算资源占用率调整剪裁比例包括：在预设范围中确定预设阈值；根据当前的计算资源占用率与预设阈值之间的差值确定当前的调整比例；按照当前的调整比例对当前的剪裁比例进行调整。具体地，当前的计算资源占用率与预设阈值相差越大，则剪裁比例的调整幅度越大；当前的计算资源占用率与预设阈值相差越小，则剪裁比例的调整幅度越小。通过上述方法，可以快速且准确地将计算资源占用率稳定在预设阈值。

在一个较为优选的实施例中，预设范围根据扫描仪的最大扫描帧率确定。具体地，如上述实施例介绍的，计算资源占用率与扫描仪的扫描速度存在关联。通常情况下，计算资源占用率越高，图像计算帧率越低，进而使得扫描速度越慢；反之，计算资源占用率越低，图像计算帧率越高，进而使得扫描速度越快。但是受限于数据传输速度，扫描仪存在最大扫描帧率，也就意味着图像计算帧率具有上限。因此当计算资源占用率过低时，并不能相应提高扫描仪的扫描速度。因此，可以根据扫描仪的最大扫描帧率设置合理的预设范围或是预设阈值，使得计算资源占用率处于该预设范围内或是稳定在该预设阈值时，图像计算帧率可以接近其上限，或是刚好处于其上限。

下面通过一个完整的具体实施例对本发明中的技术方案进行说明。

本实施例涉及的扫描仪包括：处理器，可以是电脑或者是嵌入式处理器，如FPGA等；图像采集模块，至少两个相机，相机为高像素相机，如500万像素；图案投射模块，至少两个激光器，包括红外、蓝光、红光等；补光模块，与至少两个相机配合使用。扫描仪的扫描模式可以有红外扫描模式、摄影测量模式、蓝光扫描模式（也可以包括红光扫描模式）。本实施例中涉及的三维扫描方法至少包括两种工作模式，比如摄影测量模式和三维扫描模式，由于相机是高像素相机，在摄影测量模式下，可以使用单目或双目拍摄标记点数据。

图4是本发明实施例三提供的三维扫描中的图像数据处理方法的流程图。参照图4，该三维扫描中的图像数据处理方法包括如下步骤：

步骤S410，通过摄影测量模式获取被扫描物体的标记点图像。

可以使用扫描仪的摄影测量模式扫描标记点（开启补光灯，关闭激光）。具体采用全尺寸进行标记点扫描，补光灯可以使用红外波段，以方便有更大的视野范围，从而减少全局累积误差。在扫描过程中，计算机屏幕中显示当前标记点的拼接状态以及扫描状态，当前标记点显示为A颜色。当认为标记点观察的角度已足够时，将标记点在屏幕中显示为B颜色。最终通过该步骤可以得到较为准确且拼接误差小的标记点数据，用于保证全局精度。相应地，也可以使用单独的摄影测量设备获取高精度的标记点数据。

步骤S420，通过标记点集合进行联合位姿优化生成高精度的标记点库。

对上个步骤中获取的每个单帧的标记点集合进行联合位姿优化，形成一份经过优化后的更高精度的标记点集合，记为标记点库，用于后续的全局定位的拼接过程。

步骤S430，通过三维扫描模式获取被扫描物体的二维表面图像。

处理器控制图案投射装置向被测物体表面投射蓝色激光（也可以是其他波段的激光，本实施例采用蓝光），图像采集模块利用高像素相机采集物体表面数据，同时开启蓝色补光灯。此步骤可以获取物体的多组二维表面图像。

步骤S440，对二维表面图像进行动态剪裁。

处理器获取到多组二维表面图像后，根据预设策略进行对二维表面图像进行裁剪。其中，预设策略具体如下：

实时监测处理器当前计算资源的占用率，即图像处理帧率情况。若占用率小于预设阈值，则说明ROI裁剪器对多组二维表面图像中的每张二维表面图像裁剪较多，此时可以调整ROI裁剪器，按照一定比例逐次减少对二维表面图像非感兴趣区域的裁剪，直至计算资源占用率维持在预设阈值；反之，若占用率大于预设阈值，则说明ROI裁剪器对多组二维表面图像中的每张二维表面图像裁剪较少，图片中留有较多的非感兴趣区域，按照一定比例逐次增加对二维表面图像的裁剪，以维持平衡，比如维持在300W像素。

步骤S450，根据标记点库和剪裁后的二维表面图像进行三维重建。

在剪裁后的二维表面图像中进行激光线以及标记点的识别，从而获取快速的二维图像处理，提升扫描速度。将识别到的左右图标记点以及激光线数据进行三维重建，扫描得到的标记点数据与标记点库中的标记点数据进行匹配，提升标记点数据精度，从而又提升扫描精度。

通过上述具体实施例可知，本发明中的方法，在标记点扫描过程中，采用全尺寸图像保证精度；在物体表面扫描过程中，对图像进行剪裁保证帧率。

在本发明中还提供了一种三维扫描中的图像数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是本发明实施例四提供的三维扫描中的图像数据处理装置的结构框图，如图5所示，该装置包括：

第一处理模块510，用于获取被扫描物体的原始标记点图像，对原始标记点图像进行计算，得到标记点库；

第二处理模块520，用于获取被扫描物体的原始二维表面图像，确定原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对候选二维表面图像进行计算，得到待重建图像数据；

三维重建模块530，用于根据标记点库和待重建图像数据，得到被扫描物体的三维表面数据。

通过上述模块，在整个三维扫描流程中，先是获取物体的标记点图像来建立标记点库，然后获取物体的二维表面图像得到待重建图像数据，最后利用标记点库的全局定位作用，对待重建图像数据进行三维重建，得到物体的三维表面数据。其中，在建立标记点库的过程中，是直接对相机获取的原始标记点图像进行计算，以识别原始标记点图像中的标记点数据，进而可以得到高精度的标记点库。同时，在得到待重建图像数据过程中，是先确定原始二维表面图像的被关注区域，从而得到尺寸更小的候选二维表面图像，再对候选二维表面图像进行计算，以识别候选二维表面图像中的标记点数据和激光线数据。该过程中，由于是对尺寸更小的候选二维表面图像进行计算，因此每帧图像的计算量更小，进而图像计算帧率更高，使得三维扫描速度更快。最后，在通过标记点库对待重建图像数据进行三维重建的过程中，由于标记点库中的标记点数据是高精度的，通过其对待重建图像数据中的标记点数据进行更新定位，进而待重建图像数据中更新定位后的标记点数据也是高精度的，从而可以降低不同帧待重建图像数据之间的拼接误差，最终可以获得高精度的被扫描物体的三维表面数据。

需要说明的是，在三维扫描过程，标记点数据主要用于保障扫描重建精度，激光线数据主要表征物体表面信息。因此，通过上述装置，在保证被扫描物体的三维表面数据的重建精度的基础上，大大提升了扫描仪的扫描速度。也就是可以较为快速地完成三维扫描，并且获得高精度的被扫描物体的三维表面数据。解决了现有三维扫描中的图像数据处理方式会导致扫描仪的扫描速度过低的问题。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本发明中还提供了一种三维扫描仪，包括处理器，处理器在扫描仪进行扫描时，用于执行本发明中的三维扫描中的图像数据处理方法。

在本发明中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取被扫描物体的原始标记点图像，对原始标记点图像进行计算，得到标记点库。

S2，获取被扫描物体的原始二维表面图像，确定原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对候选二维表面图像进行计算，得到待重建图像数据。

S3，根据标记点库和待重建图像数据，得到被扫描物体的三维表面数据。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的三维扫描中的图像数据处理方法，在本发明中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种三维扫描中的图像数据处理方法。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种三维扫描中的图像数据处理方法，其特征在于，所述方法包括：

获取被扫描物体的原始标记点图像，对所述原始标记点图像进行计算，得到标记点库；其中，所述原始标记点图像为当前扫描过程中所采用相机的全尺寸图像，所述标记点库在重建过程中用于实现全局定位；

获取所述被扫描物体的原始二维表面图像，确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对若干帧所述候选二维表面图像中的标记点和激光线进行识别，得到标记点数据和激光线数据；其中，所述候选二维表面图像的尺寸小于所述原始二维表面图像的尺寸；

将识别到的标记点数据与所述标记点库中的标记点数据进行匹配，以更新识别到的标记点数据，结合更新后的标记点数据和所述激光线数据进行三维重建，得到所述三维表面数据。

2.根据权利要求1所述的三维扫描中的图像数据处理方法，其特征在于，所述对所述原始标记点图像进行计算，得到标记点库包括：

分别对若干帧所述原始标记点图像中的标记点进行识别，得到每帧所述原始标记点图像的标记点集合；

对若干个所述标记点集合进行联合位姿优化，得到所述标记点库。

3.根据权利要求1所述的三维扫描中的图像数据处理方法，其特征在于，所述确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对所述候选二维表面图像进行计算，得到待重建图像数据包括：

按照当前的剪裁比例确定所述原始二维表面图像的被关注区域，得到候选二维表面图像；

实时获取所述候选二维表面图像的计算资源占用率；

实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算资源占用率处于预设范围。

4.根据权利要求3所述的三维扫描中的图像数据处理方法，其特征在于，所述实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算占用率处于预设范围包括：

若当前的所述计算资源占用率高于所述预设范围的上限阈值，则提高当前的所述剪裁比例；

若当前的所述计算资源占用率低于所述预设范围的下限阈值，则降低当前的所述剪裁比例。

5.根据权利要求3所述的三维扫描中的图像数据处理方法，其特征在于，所述实时根据所述计算资源占用率调整所述剪裁比例，以使所述计算占用率处于预设范围包括：

在所述预设范围中确定预设阈值；

若当前的所述计算资源占用率高于所述预设阈值，则提高当前的所述剪裁比例；

若当前的所述计算资源占用率低于所述预设阈值，则降低当前的所述剪裁比例。

6.根据权利要求3所述的三维扫描中的图像数据处理方法，其特征在于，所述实时根据所述计算资源占用率调整所述剪裁比例包括：

根据当前的所述计算资源占用率，按照固定调整比例对当前的所述剪裁比例进行调整。

7.根据权利要求3所述的三维扫描中的图像数据处理方法，其特征在于，所述实时根据所述计算资源占用率调整所述剪裁比例包括：

在所述预设范围中确定预设阈值；

根据当前的所述计算资源占用率与所述预设阈值之间的差值确定当前的调整比例；

按照当前的所述调整比例对当前的所述剪裁比例进行调整。

8.根据权利要求3所述的三维扫描中的图像数据处理方法，其特征在于，所述预设范围根据扫描仪的最大扫描帧率确定。

9.根据权利要求1至权利要求8中任一项所述的三维扫描中的图像数据处理方法，其特征在于，所述获取被扫描物体的原始标记点图像包括：

采用摄影测量模式对所述被扫描物体进行扫描，以获取所述原始标记点数据；

所述获取所述被扫描物体的原始二维表面图像：

采用三维扫描模式对所述被扫描物体进行扫描，以获取所述原始二维表面图像。

10.一种三维扫描中的图像数据处理装置，其特征在于，所述装置包括：

第一处理模块，用于获取被扫描物体的原始标记点图像，对所述原始标记点图像进行计算，得到标记点库；其中，所述原始标记点图像为当前扫描过程中所采用相机的全尺寸图像，所述标记点库在重建过程中用于实现全局定位；

第二处理模块，用于获取所述被扫描物体的原始二维表面图像，确定所述原始二维表面图像的被关注区域，得到候选二维表面图像，并实时对若干帧所述候选二维表面图像中的标记点和激光线进行识别，得到标记点数据和激光线数据；其中，所述候选二维表面图像的尺寸小于所述原始二维表面图像的尺寸；

三维重建模块，用于将识别到的标记点数据与所述标记点库中的标记点数据进行匹配，以更新识别到的标记点数据，结合更新后的标记点数据和所述激光线数据进行三维重建，得到所述三维表面数据。

11.一种三维扫描仪，包括处理器，其特征在于，所述处理器在所述扫描仪进行扫描时，执行权利要求1至权利要求9中任一项所述的三维扫描中的图像数据处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至权利要求9中任一项所述的三维扫描中的图像数据处理方法的步骤。