CN117414110B - 三维扫描设备的控制方法、装置、终端设备及系统 - Google Patents

Abstract

本公开实施例提供一种三维扫描设备的控制方法、装置、终端设备及系统。可以基于三维扫描设备采集的图像自动判定三维扫描设备当前的扫描环境类型，然后将三维扫描设备的工作模式自动切换至与该扫描环境类型适配的目标工作模式，或者提示用户将三维扫描设备的工作模式切换至与该扫描环境类型适配的目标工作模式，从而可以避免用户忘记设置工作模式，导致最终重建的三维模型效果差，需要重新三维重建或重新扫描的问题。

Description

三维扫描设备的控制方法、装置、终端设备及系统

技术领域

本公开涉及三维扫描技术领域，尤其涉及一种三维扫描设备的控制方法、装置、终端设备及系统。

背景技术

随着三维扫描技术的发展，三维扫描技术被广泛应用于医疗、工业、考古等各个领域，以实现对目标对象进行三维重建。在用户使用三维扫描设备对目标对象进行扫描时，为了得到理想的重建效果，通常，针对不同类型的扫描环境，后续在利用三维设备采集的图像进行三维重建时，对图像的处理方式也存在差异。目前，在对三维扫描设备进行工作模式切换时，主要通过用户手动控制，容易出现用户因忘记切换工作模式而造成当前扫描环境下对图像的处理方式不合适，造成三维重建效果较差，需要重新进行三维重进或重新扫描的问题。

发明内容

本公开提供一种三维扫描设备的控制方法、装置、终端设备及系统。

根据本公开实施例的第一方面，提供一种三维扫描设备的控制方法，所述方法包括：

获取三维扫描设备采集的目标图像；

基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式；

其中，所述三维扫描设备被配置有至少两种工作模式，每种工作模式对应一种扫描环境类型，

所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集的图像对目标对象进行三维重建的过程中，对所述图像进行处理的处理方式不同，和/或，在利用所述三维扫描设备采集图像的过程中，所述三维扫描设备中各器件的运行方式不同。

根据本公开实施例的第二方面，提供一种三维扫描设备的控制装置，所述控制装置包括：

获取模块，用于获取三维扫描设备采集的目标图像；

扫描环境类型确定模块，用于基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

处理模块，用于将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式；

其中，所述三维扫描设备被配置有至少两种工作模式，每种工作模式对应一种扫描环境类型，所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集的图像对目标对象进行三维重建的过程中，对所述图像进行处理的处理方式不同，和/或，在利用所述三维扫描设备采集图像的过程中，所述三维扫描设备中各器件的运行方式不同。

根据本公开实施例的第三方面，提供一种终端设备，所述终端设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面提及的方法。

根据本公开实施例的第四方面，提供一种三维扫描设备的控制系统，所述控制系统中包括上述第一方面提及的终端设备，以及与所述终端设备通信连接的三维扫描设备，所述三维扫描设备采集待扫描区域的图像，并将所述图像发送给所述终端设备。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面提及的方法。

本公开实施例中，可以基于三维扫描设备采集的图像自动判定三维扫描设备当前的扫描环境类型，然后将三维扫描设备的工作模式自动切换至与该扫描环境类型适配的目标工作模式，或者提示用户将三维扫描设备的工作模式切换至与该扫描环境类型适配的目标工作模式，从而可以避免用户忘记设置工作模式，导致最终重建的三维模型效果差，需要重新三维重建或重新扫描的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本公开实施例的一种应用场景示意图。

图2是本公开实施例的一种为三维扫描设备配置多种工作模式的示意图。

图3是本公开实施例的一种三维扫描设备控制方法的流程图。

图4是本公开实施例的一种口内工作模式和口外工作模式处理方式的差异的示意图。

图5是本公开实施例的一种基于目标图像得到扫描环境类型的检测结果的示意图。

图6是本公开实施例的一种三维扫描设备的控制装置的逻辑结构示意图。

图7是本公开实施例的一种终端设备的逻辑结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

随着三维扫描技术的发展，三维扫描技术被广泛应用于医疗、工业、考古等各个领域，以实现对目标对象进行三维重建。在用户使用三维扫描设备对目标对象进行扫描时，为了得到理想的重建效果，通常，针对不同类型的扫描环境，在利用三维扫描设备采集图像时，三维扫描设备上的器件的运行方式不同。或者后续在利用三维设备采集的图像进行三维重建时，对图像的处理方式也存在差异。

比如，为了适配不同的扫描环境，可以为三维扫描设备设置多种工作模式，不同工作模式下三维扫描设备在采集图像时，可以为三维扫描设备中的各类器件设置合适的运行方式。或者利用三维设备采集的图像进行三维重建时，可以选用合适的处理方式，以便可以达到最佳的三维重建效果。

目前，在对三维扫描设备进行工作模式切换时，主要通过用户手动控制，比如，可以在三维扫描设备上设置模式切换按钮，用户在扫描之前可以基于当前的扫描环境所属的类型，通过上述模式切换按钮将三维扫描设备的工作模式切换至合适的工作模式。然而，很多场景下，用户可能会忘记执行工作模式设置的操作，或者设置的工作模式不准确，导致最终重建的目标对象效果较差，又需要重新三维重建甚至是重新扫描，严重影响扫描效率和用户体验。

举个例子，以三维扫描设备应用于口腔扫描场景为例，用户在重建牙齿模型时，可能需要对口腔内的真实牙齿进行扫描，也可能需要对口腔外的牙齿模型进行扫描，由于口内环境和口外环境存在较大差异，比如，口内环境下存在牙龈、舌头、颊侧软组织等干扰物，而口外环境不存在上述问题，或者相比于口外环境，口内环境下亮度较低等等。从而，针对两种扫描环境，后续在利用图像重建牙齿时，对图像的处理方式存在差异。因而，需要针对上述两种使用场景设置不同的工作模式，并为每种工作模式配置合适的处理方式，然而用户在使用时，通常会忘记工作模式的切换，导致最终重建的牙齿三维模型效果较差，需要重新进行三维重建或重新扫描。

基于此，本申请实施例提供了一种三维扫描设备的控制方法，可以基于三维扫描设备采集的图像自动判定三维扫描设备当前的扫描环境类型，然后将三维扫描设备的工作模式自动切换至与该扫描环境类型适配的目标工作模式，或者提示用户将三维扫描设备的工作模式切换至与该扫描环境类型适配的目标工作模式，从而可以避免用户忘记设置工作模式，导致最终重建的三维模型效果差，需要重新三维重建或重新扫描的问题。

本申请实施例提供的三维扫描设备的控制方法可以由三维扫描设备执行，也可以由与三维扫描设备通过无线或有线方式连接的终端设备执行，该终端设备可以是平板、笔记本电脑等，或者某些步骤由三维扫描设备执行，某些步骤由该终端设备执行。

比如，在一些场景，如果三维扫描设备自身的算力较好，其可以采集图像，并利用采集的图像进行三维重建，得到三维重建模型。因此，可以由三维扫描设备基于扫描环境类型切换自身中的器件的运行方式，以及切换对图像进行三维重建时的处理方式。

在一些场景，如果三维扫描设备自身的算力较差，因而需要借助终端设备实现三维重建。比如，终端设备可以安装扫描软件，由该扫描软件基于三维扫描设备采集的图像实时三维重建，并将重建结果展示给用户。则可以由三维扫描设备基于扫描环境类型切换自身中的器件的运行方式，由该扫描软件切换对图像进行三维重建时的处理方式。

比如，如图1所示，为本申请实施例的一种应用场景示意图，考虑到三维扫描设备的计算能力较弱，通常会将三维扫描设备采集的图像发送给与之通信连接的处理性能更好的终端设备，终端设备可以安装扫描软件，由该扫描软件基于采集的图像实时三维重建，并将重建结果展示给用户。同时，该扫描软件可以基于采集的图像进行扫描环境类型的检测，并基于检测结果向三维扫描设备发送模式切换指令，以控制三维扫描设备进行模式切换。比如，控制三维扫描设备切换各器件的运行方式，同时三维扫描软件可以切换自身对图像进行三维重建时的处理方式。

为了适配不同类型的扫描环境，如图2所示，可以基于三维扫描设备实际的使用场景为其配置多种工作模式，其中，每一种工作模式对应一种扫描环境类型。针对不同的工作模式，可以预先设置好该工作模式下在利用三维扫描设备采集图像时，三维扫描设备中各器件的运行方式，和/或在利用三维扫描设备采集的图像进行三维重建时，对图像进行处理的处理方式。在一个实施例中，三维扫描设备的工作模式可以包括三维扫描设备中各器件的运行方式以及与三维扫描设备匹配的三维扫描软件的处理方式。

比如，针对不同的扫描环境，为了得到最佳的重建效果，在利三维重建过程中，其所适用的图像处理方式。其中，处理方式包括对图像进行处理所包括的处理步骤、采用的处理算法、处理时所用到的处理参数等等。不同工作模式下的处理方式可以预先配置好，在切换至某种工作模式时，后续则可以自动调取该工作模式对应的处理方式对图像进行处理，以完成三维重建。

再比如，针对不同的扫描环境，在采集图像时，为了得到质量更好的图像，三维扫描设备上的器件的运行方式也不同。器件的运行方式可以是三维扫描设备中的各类的器件的运行参数或状态，比如，三维扫描设备中的补光灯的开启状态，或者补光灯的亮度参数，或者是防雾模组的开启状态、或者是投射的结构光的强度等等。

三维扫描设备上可以设置模式切换按钮，如图2所示，用于实现不同的工作模式的切换，或者用户也可以通过扫描软件对三维扫描设备的工作模式进行切换。

此外，三维扫描设备或终端设备等器件也可以设置工作模式指示灯，用于指示当前三维扫描设备所处的工作模式。

如图3所示，为该三维扫描设备的控制方法的流程图，具体可以包括以下步骤：

S302、获取三维扫描设备采集的目标图像；

在步骤S302中，可以获取三维扫描设备采集的目标图像，其中，目标图像用于对三维扫描设备当前的扫描环境类型进行检测。为了提高检测结果的准确性，目标图像可以是从三维扫描设备采集的图像中筛选出来的一帧或多帧适合用于进行扫描环境检测的图像。

其中，三维扫描设备可以为口腔扫描仪、面部扫描仪、工业扫描仪、专业扫描仪，可用于对牙齿、人脸、人身、工业产品、工业设备、文物、艺术品、假肢、医疗器具、建筑等物品的三维重建。

S304、基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

在步骤S304中，可以根据目标图像确定三维扫描设备当前的扫描环境类型，比如，可以用神经网络模型或深度神经网络模型对目标图像进行检测。比如，可以预先训练用于进行扫描环境类型检测的模型，然后利用该训练好的模型进行扫描环境类型的检测，或者，也可以采用其他的方式对目标图像进行检测，以确定三维扫描设备当前的扫描环境类型。

S306、将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式。

在步骤S306中，在确定三维扫描设备当前的扫描环境类型后，可以自动将三维扫描设备当前的工作模式切换至与该扫描环境类型相匹配的目标工作模式。比如，扫描环境类型和工作模式的对应关系已预先配置好，因而可以直接基于该对应关系确定目标工作模式，并控制三维扫描设备切换至该目标工作模式。比如，扫描软件可以向三维扫描设备发送一个模式切换指令，控制三维扫描设备自动切换至该目标模式。在一些场景，在确定与当前扫描环境类型相匹配的目标工作模式后，也可以向用户发出提示信息，提示用户将三维扫描设备当前的工作模式切换至该目标工作模式。比如，可以通过语音提示、文字提示、弹窗提示、铃声提示、振动提示等方式提示用户将当前的工作模式切换至该目标工作模式。

在将三维扫描设备切换至目标工作模式后，三维扫描设备中的各器件可以按照该目标工作模式对应的运行方式运行，和/或在利用三维扫描设备采集的图像进行三维重建时，可以利用与该目标工作模式对应的处理方式对图像进行处理，以重建得到目标对象的三维模型。

通过本申请实施例提供的方案，可以自动检测三维扫描设备的扫描环境类型，并自动确定与当前扫描环境类型匹配的工作模式，然后提示用户切换至该工作模式，或者自动切换至该工作模式，从而可以避免由于用户忘记设置工作模式，导致工作模式和扫描环境类型不匹配，重建的三维模型效果较差的问题。

在对目标对象进行扫描以对其进行三维重建时，存在两种场景：一种场景是目标对象周围存在较少的干扰对象，在扫描过程中采集的图像中杂质较少，主要为目标对象，这种场景下，可以直接利用采集的图像进行三维重建。另一场景则是目标对象周围存在较多的干扰对象，在扫描过程中采集的图像中杂质较多，如果直接利用采集的图像进行后续的三维重建，由于杂质的干扰，会导致重建的三维模型精度较低、效果较差。因此，这种场景下，在三维重建过程中，可以先识别图像中的与目标对象的三维重建无关的数据，然后将这部分标识出来，后续在进行三维重建时，这部分数据无需参与三维重建，以便提高重建的三维模型的精度。因此，在一些实施例中，处理方式不同可以是指对图像进行处理的处理步骤中是否包括目标步骤，其中，该目标步骤用于确定图像中与待重建的目标对象无关的数据，以便在后续生成该目标对象的三维重建模型时不使用这些无关的数据进行三维重建。

比如，在一些实施例中，该三维扫描设备为口腔三维扫描设备，口腔三维扫描设备在对牙齿进行扫描，以重建牙齿的三维模型时，存在以下两种场景：一种是在口腔内对用户的真实牙齿进行扫描，这种情况下，由于用户口腔内包括舌头、颊侧软组织、牙龈等众多在牙齿周围的干扰物，从而采集的图像包括较多的杂质。另一种是在口腔外对牙齿模型进行扫描，比如，对石蜡、金属、树脂等制成的牙齿模型进行扫描，这种情况下，由于牙齿周围不包括干扰，从而采集的图像中杂质较少。因此，如图4所示，可以将扫描环境类型划分为口内环境和口外环境，工作模式则可以包括与口内环境对应的口内工作模式，以及与口外环境对应的口外工作模式，在工作模式为口内工作模式时，在三维重建过程中，对三维扫描设备采集的图像的处理步骤中包括上述目标步骤。在工作模式为口外工作模式时，则处理步骤中不包括上述目标步骤。其中，与目标对象三维重建无关的数据可以是指图像中舌头、颊侧软组织、部分牙龈等区域，可以先将图像中这些区域对应的图像数据删除后，再进行后续的三维重建处理流程，可以避免这些数据对三维重建的干扰。

在一些实施例中，对三维扫描设备采集的图像进行处理的处理方式不同可以是指对这些图像进行处理时的处理参数不同，其中，处理参数可以包括以下一项或多项：对图像进行亮度增强时的亮度增强幅度、对图像进行拼接时所允许的最大拼接误差。比如，在利用三维扫描设备采集的图像进行三维重建的过程中，考虑到有些场景的环境亮度较暗，因而可以对图像的亮度进行增强，以提高重建的三维模型的展示效果。而针对不同的场景，扫描环境的亮度也不一样，因而，在对图像的亮度进行增强时，可以针对不同的扫描环境类型设置不同的亮度增强幅度，以将图像亮度调整至合适的亮度。

此外，在利用三维扫描设备采集的图像进行三维重建的过程中，需要将三维扫描设备连续采集的多帧图像进行拼接，以得到完整的目标对象。针对不同的扫描环境，为了实现图像的成功拼接，对图像进行拼接时所允许的最大拼接误差也存在一定差异，比如，有些场景下，目标对象为刚性物体，扫描过程中其形状、位置不会发生任何变化，这种情况下，为了保证准确拼接，拼接误差可以设置得小一些。而有些场景下，目标对象并非刚性物体，扫描过程中，可能目标对象的形状、位置会发生轻微的变化，这种情况下，为了确保相同区域能够成功拼接上，拼接误差可以设置得大一些。因此，可以针对不同的扫描环境类型中被扫描目标对象的特性，设置不同的最大拼接误差。

在一些实施例中，如图4所示，该三维扫描设备为口腔三维扫描设备，扫描环境类型包括口内环境和口外环境，工作模式包括与口内环境对应的口内工作模式，以及与口外环境对应的口外工作模式。考虑到在口内扫描的场景，由于环境亮度往往较低，因而在对图像的亮度进行增强时，其增强幅度应当设置得大一些，而在口外扫描的场景，由于环境亮度较高，因而在对图像的亮度进行增强时，其增强幅度应当设置得小一些。因此，在工作模式为口内工作模式时，该亮度增强幅度可以设置为第一幅度，在工作模式为口外工作模式时，该亮度增强幅度可以设置为第二幅度，其中，第一幅度大于第二幅度。通过针对不同扫描环境类型设置不同的亮度增强幅度，从而可以确保处理后的图像的亮度调整为合适的数值，保证处理后的图像的显示效果。

此外，考虑到在口内扫描的场景，由于存在牙龈、颊侧等非刚性的物体，即牙齿的形状、位置可能会发生轻微变化，从而会影响图像在拼接过程中的流畅性和精度。而口外扫描的场景，则不存在上述问题，因此，在口内扫描的场景，可以将图像拼接时所允许的最大拼接误差设置的大一些，以确保图像可以成功拼接。而在口外扫描的场景，可以将图像拼接时所允许的最大拼接误差设置的小一些，以保证拼接精度。因此，如图4所示，在一些实施例中，在工作模式为口内工作模式时，该最大拼接误差可以设置为第一拼接误差，在工作模式为口外工作模式时，该最大拼接误差可以设置为第二拼接误差，其中，第一拼接误差大于第二拼接误差。通过针对不同扫描环境类型设置不同的拼接误差，从而可以确保在不同扫描场景下，图像均可以成功准确的拼接。

再者，三维扫描设备不同的工作模式可以是三维扫描设备中各器件的运行方式不同，如，当三维扫描设备的三维扫描仪器为口腔扫描仪时，各器件的运行方式不同包括，补光模组是否运行、防雾模组是否开启，例如：在工作模式为口内工作模式时，开启防雾模组以及补光模组，在工作模式为口外工作模式时，关闭防雾模组以及补光模组。其中，防雾模组可以是包括加热元件，用于防止三维扫描设备的镜片起雾。补光模组可以包括补光灯，用于对三维扫描设备的采集范围进行补光。

当三维扫描设备为手持扫描仪时，各器件的运行方式不同包括：激光散斑模组是否运行、线激光模组是否运行、条纹光模组是否运行、或相移条纹模组是否运行、可见光模组是否运行、不可见光模组是否运行。例如：在工作模式为人物工作模式时，关闭可见光模组，开启不可见光模组，在工作模式为工业产品工作模式时，开启可见光模组，关闭不可见光模组。

例如：考虑到即便是在口内扫描的场景，其也存在差异。比如，有些患者年纪较大，其大部分牙齿都已脱落，而有些患者的牙齿还保持完成，针对牙齿脱落情况不同的场景，在对图像进行处理以实现三维重建的过程中，对图像的处理方式也可以适应性调整，以便得到更加准确的三维重建结果。因此，在一些实施例中，可以进一步将口内工作模式细分为至少两种子模式，其中，不同子模式下被扫描的口腔中牙齿的脱落情况不同，不同子模式下对图像进行处理的处理方式不同。比如，可以将口内工作模式细分为无牙颌模式和有牙颌模式，针对这两种模式可以分别适应性的调整处理方式。

具体地，无牙颌模式和有牙颌模式中，在确定与待重建的目标对象（即牙齿）的三维重建无关的数据时，其判定标准会有所调整，例如对于颊舌侧数据，有牙颌模式中会将颊舌侧数据全部作为上述无关数据，无牙颌模式会将舌侧数据以及更靠外的颊侧数据作为上述无关数据，但会将一部分靠内的颊侧数据以及更多的牙弓数据和牙龈数据作为三维重建相关数据，用于后续三维重建。并且，若无牙颌模式针对全口义齿的医疗场景时，可以选择保留更多部分的颊侧或牙龈数据，用于后续三维重建。

同理，针对口外扫描场景也是类似，由于口外扫描场景主要是对牙齿模型进行扫描，而牙齿模型往往包括多种材质，比如，石膏、蜡堤、金属、树脂等等。在对不同材质的牙齿模型进行三维重建时，也可以对图像的处理方式进行适应性调整，以便得到更加准确的三维重建结果。因此，在一些实施例中，可以进一步将口外工作模式细分为多种子模式，不同子模式中下被扫描的牙齿模型的材质不同，不同子模式下对图像进行处理的处理方式不同。比如，以金属材质的牙齿模型为例，三维扫描设备投射的结构光的亮度可以增强一些，后续在三维重建时，可以保留更多细小区块的数据，使得重建的三维模型更加完整。

在一些实施例中，为了保证三维扫描设备当前的扫描环境类型的检测结果的准确性，该目标图像可以是多帧图像，可以分别对多帧目标图像中的每帧目标图像进行检测，确定三维扫描设备当前的扫描环境类型，得到该帧目标图像对应的检测结果。如果这多帧目标图像的检测结果都一致，则将这多帧目标图像的检测结果作为三维扫描设备当前的扫描环境类型。比如，如图5，可以设置一个检测次数阈值，假设为4次，然后可以分别从三维扫描设备采集的图像中获取4帧目标图像，并基于每帧目标图像确定当前的扫描环境类型，如果连续4次的检测结果都一致，比如，都是口内环境，则可以将当前检测结果（口内环境）作为三维扫描设备当前的扫描环境类型。通过基于多帧图像的检测结果确定最终的检测结果，可以提高检测结果的准确性。

在一些实施例中，考虑到三维扫描设备连续采集的图像可能都是扫描环境中的同一区域的图像，即图像内容大致相同，如果多帧目标图像对应同一区域，那么基于这多帧目标图像去判定三维扫描设备当前的扫描环境类型的检测结果必然也是一致的，对提高检测结果的准确性没有帮助。因此，在获取目标图像时，可以每间隔预设时长采集一帧，从而保证相邻两帧目标图像之间的采集时间间隔较长，即相邻两帧目标图像对应的是扫描环境中不同的区域，如此，基于这多帧目标图像确定的检测结果的准确性更高。

在一些实施例中，在对三维扫描设备当前的扫描环境类型进行检测时，考虑到三维扫描设备采集的图像并非都适合用于进行扫描环境类型的检测，比如，以对患者口腔进行扫描的场景为例，用户点击“开始扫描”的按钮后，可能没有及时将口腔三维扫描设备放入患者口腔内进行扫描，即此时三维扫描设备采集的图像并非是真实扫描场景的图像，即无效图像，进而利用这类图像对扫描环境类型进行检测的结果也不可靠。因此，为了提高检测效率，上述用于进行扫描环境类型检测的目标图像可以是从三维扫描设备采集的图像中筛选的有效图像，有效图像即是三维重建过程中，可以与其他图像成功拼接，以重建目标对象的三维模型的图像。在一些实施例中，为了提高有效图像的筛选效率，可以在利用三维扫描设备采集的图像进行三维重建的过程中，一旦确定有成功与上一帧图像完成拼接且成功实现三维重建的图像，则记录该图像的采集时间，然后将采集时间在该图像之后且成功实现三维重建的图像均确定为有效图像。

在一些实施例中，在基于目标图像对三维扫描设备当前的扫描环境类型进行检测的时机可以是在检测到用户触发指定交互组件的情况下，其中，该指定交互组件被触发后，三维扫描设备采集的图像开始被用于三维重建。比如，通常用户在开始扫描目标对象时，可以点击扫描软件上的“开始扫描”按钮，此时扫描软件开始获取三维扫描设备采集的图像，并开始执行三维重建的流程。因此，可以在检测到用户点击该按钮时，对当前的扫描环境类型进行检测。

在一些实施例中，在基于目标图像对三维扫描设备当前的扫描环境类型进行检测的时机可以是在检测到三维扫描设备前后采集的两帧图像差异较大的情况下。考虑到用户在扫描过程中可能会存在扫描环境发生切换的情况，比如，用户点击扫描软件上的“开始扫描”按钮后，先对患者的口腔进行扫描，扫描完成后，再将三维扫描设备移出患者口腔，对口腔外的牙齿模型进行扫描，为了可以判定扫描环境是否发生变化，是否需要重新进行扫描环境类型检测的步骤，可以持续对三维扫描设备连续采集的两帧图像进行比对，在判定连续两帧图像的画面内容的差异超过预设差异阈值时，则执行基于目标图像确定三维扫描设备当前的扫描环境类型的步骤。

在一些实施例中，在提示用户将三维扫描设备当前的工作模式切换至与扫描环境类型相匹配的目标工作模式之前，可以先判定三维扫描设备当前的工作模式与该目标工作模式是否一致。如果不一致，则提示用户将三维扫描设备当前的工作模式切换至与扫描环境类型相匹配的目标工作模式。

在一些实施例中，该方法可以由与该三维扫描设备通信连接的终端设备执行，该三维扫描设备用于将采集的图像发送给终端设备，以便终端设备基于接收到的图像对目标对象进行三维重建，其中，该终端设备包括显示界面，用于显示实时重建的三维模型。在提示用户将三维扫描设备当前的工作模式切换至与当前扫描环境类型相匹配的目标工作模式时，可以通过显示界面显示提示信息，以提示用户将三维扫描设备当前的工作模式切换至该目标工作模式。比如，终端设备可以安装扫描软件，扫描软件通常会将实时重建的三维模型通过交互界面展示给用户，以便用户了解当前的扫描情况。因此，可以在该交互界面中通过文字、图案、文字图案相结合等方式对用户进行提示，以提示用户将当前工作模式切换至该目标工作模式。

在一些实施例中，该三维扫描设备可以是口腔三维扫描设备，扫描环境类型包括口内环境和口外环境，在确定当前的扫描环境类型时，可以将目标图像输入至预先训练的扫描环境检测模型中，由扫描环境检测模型预测当前的扫描环境类型。其中，扫描环境检测模型可以通过大量标注有扫描环境类型的样本图像训练得到。

在一些实施例中，考虑到口外环境通常多种多样，比如，在口外对牙齿模型进行扫描的场景，由于牙齿模型的材质通常包括很多类别，比如，有金属、树脂、石蜡等等，而样本图像很难覆盖所有口外环境的场景，因而，利用样本图像训练的检测模型很难对一些样本图像没有覆盖的场景进行准确的预测，导致预先训练的扫描环境检测模型的检测结果的准确度欠佳。为了提高扫描环境检测模型的性能，在一些实施例中，在训练上述模型时，可以引入对比学习的机制，即在确定模型的损失时，可以引入对比损失。通过引入对比损失，可以对模型进行约束，使得模型在对图像进行特征提取时，针对同类别的图像（即扫描环境类型相同的图像），其提取的特征尽量的拉近，反之，针对不同类别的图像，其提取的特征尽量拉远。

比如，在一些实施例中，在训练扫描环境检测模型时，可以获取至少两帧样本图像，该至少两帧样本图像对应的扫描环境类型相同，然后利用预设的初始模型分别对该至少两帧样本图像进行特征提取，得到至少两帧样本图像各自的特征；然后可以基于该至少两帧样本图像中两两样本图像的特征的相似度与预设相似度阈值的差异，确定目标损失，然后基于该目标损失调整初始模型的模型参数，以对该初始模型进行训练，得到上述扫描环境检测模型。通常，如果两帧样本图像对应的扫描环境类型相同，则这两帧样本图像的特征也应当相近，因此，可以预先设置一个相似度阈值，如果两帧样本图像的扫描环境类型相同，则两帧样本图像的特征的相似度应当与该相似度阈值很接近，因此，可以基于两者的接近程度去确定目标损失，以对初始模型进行训练，使得训练后的模型在对图像进行特征提取时，对于扫描环境类型相同的图像，其提取到的特征也更接近。

在一些实施例中，在训练上述扫描环境检测模型时，也可以获取样本图像三元组，每组样本图像三元组中包括第一样本图像、扫描环境类型与该第一样本图像的扫描环境类型相同的第二样本图像、以及扫描环境类型与该第一样本图像的扫描环境类型不同的第三样本图像。然后可以利用预设的初始模型分别对该第一样本图像、第二样本图像、以及第三样本图像进行特征提取，得到各自的特征，然后可以基于第二样本图像的特征与第一样本图像的特征的相似度、以及第三样本图像的特征与第一样本图像的特征的相似度，确定目标损失，并基于目标损失调整初始模型的网络参数，以对初始模型进行训练。其中，对于扫描环境类型相同的两帧样本图像，两者的特征的相似度应当高于扫描环境类型不同的两帧样本图像的特征的相似度，基于这一原则确定目标损失，以调整初始模型的模型参数，可以使得训练得到扫描环境检测模型对图像的特征提取更准确，进而检测结果也更准确。

在一些实施例中，考虑到口内环境往往较为相似，其差异不大，因而对于口内环境采集的图像，其图像特征往往较为相似，即图像的特征向量会分布在特征空间内的某个大致的范围内。因此，针对口内环境的检测，也可以预先获取大量口腔三维扫描设备在口内环境采集的样本图像，然后对样本图像进行特征提取，得到这些样本图像的特征，并确定样本图像的特征的聚类中心。比如，可以得到表征样本图像的特征的特征向量，确定这些特征向量的聚类中心。后续在基于目标图像确定口腔三维扫描设备当前的扫描环境类型时，可以对目标图像进行特征提取，得到各帧目标图像的特征，然后根据各目标图像的特征与该特征聚类中心的接近程度，判定口腔三维扫描设备当前的扫描环境类型是否为口内环境。比如，如果目标图像的特征和该特征聚类中心很接近，则说明目标图像对应的扫描环境类型为口内环境，其中，接近程度可以通过两者之间的距离表示，比如，可以通过欧式距离、曼哈顿距离等表示，如果两者距离小于预设距离阈值，则认为两者接近，即判定目标图像对应的扫描环境类型为口内环境。

不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以自由组合，得到新的方案，鉴于篇幅原因，本公开实施例中不一一例举。

相应的，本公开实施例还提供了一种三维扫描设备的控制装置，如图6所示，该控制装置包括：

获取模块61，用于获取三维扫描设备采集的目标图像；

扫描环境类型确定模块62，用于基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

处理模块63，用于将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式；

其中，所述三维扫描设备被配置有至少两种工作模式，每种工作模式对应一种扫描环境类型，所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集的图像对目标对象进行三维重建的过程中，对所述图像进行处理的处理方式不同；和/或在利用所述三维扫描设备采集图像的过程中，所述三维扫描设备中各器件的运行方式不同。

其中，上述控制装置执行三维扫描设备的控制方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。

进一步的，本公开实施例还提供一种终端设备，如图7所示，所述终端设备包括处理器71、存储器72、存储于所述存储器72可供所述处理器71执行的计算机指令，所述处理器71执行所述计算机指令时实现上述实施例中任一项所述的方法。

其中，上述终端设备执行三维扫描设备的控制方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。

进一步的，本公开实施例还提供一种三维扫描设备的控制系统，所述控制系统中包括上述实施例中提及的终端设备，以及与所述终端设备通信连接的三维扫描设备，所述三维扫描设备采集待扫描区域的图像，并将所述图像发送给所述终端设备。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本公开实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本公开实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开实施例的保护范围。

Claims (15)

1.一种三维扫描设备的控制方法，其特征在于，所述方法包括：

获取三维扫描设备采集的目标图像；

基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式；

其中，所述三维扫描设备被配置有至少两种工作模式，每种工作模式对应一种扫描环境类型，所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集的图像对目标对象进行三维重建的过程中，对所述图像进行处理的处理方式不同，其中，若所述三维扫描设备为口腔三维扫描设备，所述扫描环境类型包括口内环境和口外环境，所述工作模式包括与所述口内环境对应的口内工作模式，以及与所述口外环境对应的口外工作模式；所述处理方式不同包括：对所述图像进行处理时的处理参数不同；

所述处理参数包括对所述图像进行亮度增强时的增强幅度；在所述工作模式为所述口内工作模式时，所述增强幅度为第一幅度，在所述工作模式为口外工作模式时，所述增强幅度为第二幅度，所述第一幅度大于所述第二幅度；

和/或

所述处理参数包括对所述图像进行拼接时所允许的最大拼接误差；在所述工作模式为所述口内工作模式时，所述最大拼接误差为第一拼接误差；在所述工作模式为口外工作模式时，所述最大拼接误差为第二拼接误差，所述第一拼接误差大于所述第二拼接误差。

2.根据权利要求1所述的方法，其特征在于，所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集图像的过程中，所述三维扫描设备中各器件的运行方式不同。

3.根据权利要求1所述的方法，其特征在于，所述处理方式不同包括：对所述图像进行处理的处理步骤中是否包括目标步骤；其中，所述目标步骤用于确定所述图像中与待重建的目标对象的三维重建无关的数据，以便在生成所述目标对象的三维模型时忽略所述数据。

4.根据权利要求3所述的方法，其特征在于，若所述三维扫描设备为口腔三维扫描设备，所述扫描环境类型包括口内环境和口外环境，所述工作模式包括与所述口内环境对应的口内工作模式，以及与所述口外环境对应的口外工作模式；

在所述工作模式为所述口内工作模式时，对所述图像进行处理的处理步骤包括所述目标步骤；

在所述工作模式为口外工作模式时，对所述图像进行处理的处理步骤不包括所述目标步骤。

5.根据权利要求1或4所述的方法，其特征在于，所述口内工作模式包括至少两种子模式，不同子模式下被扫描的口腔中牙齿的脱落情况不同，不同子模式下对所述图像进行处理的处理方式不同；和/或

所述口外工作模式包括多种子模式，不同子模式中下被扫描的牙齿模型的材质不同，不同子模式下对所述图像进行处理的处理方式不同。

6.根据权利要求1所述的方法，其特征在于，所述目标图像为多帧目标图像，所述多帧目标图像中相邻两帧目标图像之间的采集时间间隔超过预设时长，所述基于所述目标图像确定所述三维扫描设备当前的扫描环境类型，包括：

分别基于多帧目标图像中的每帧目标图像对所述三维扫描设备当前的扫描环境类型进行检测，得到检测结果；若所述多帧目标图像对应的检测结果一致，则将当前检测结果作为所述三维扫描设备当前的扫描环境类型；和/或

所述目标图像为从所述三维扫描设备采集的图像中筛选的有效图像，所述有效图像基于以下方式得到：在利用所述三维扫描设备采集的图像成功实现三维重建后，若当前帧图像与所述当前帧图像的前一帧图像拼接成功，则记录当前帧图像的采集时间；将采集时间在所述当前帧图像的采集时间之后并成功实现三维重建的图像确定为有效图像。

7.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像确定所述三维扫描设备当前的扫描环境类型，包括：

在检测到用户触发指定交互组件的情况下，基于所述目标图像确定所述三维扫描设备当前的扫描环境类型，其中，所述指定交互组件被触发后，所述三维扫描设备采集的图像开始被用于三维重建；或

在判定所述三维扫描设备连续采集的两帧图像的画面内容的差异超过预设差异阈值时，基于所述目标图像确定所述三维扫描设备当前的扫描环境类型。

8.根据权利要求1所述的方法，其特征在于，所述提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，包括：

判定所述三维扫描设备当前的工作模式与所述目标工作模式是否一致；

如果不一致，则提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式。

9.根据权利要求8所述的方法，其特征在于，所述方法由与所述三维扫描设备通信连接的终端设备执行，所述三维扫描设备用于将采集的图像发送给所述终端设备，以便所述终端设备基于接收到的图像对目标对象进行三维重建；所述终端设备包括显示界面，用于显示实时重建的三维模型；

所述提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，包括：

通过所述显示界面显示提示信息，以提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式。

10.根据权利要求1所述的方法，其特征在于，所述三维扫描设备包括口腔三维扫描设备，所述扫描环境类型包括口内环境和口外环境，所述扫描环境类型通过预先训练的扫描环境检测模型对所述目标图像进行检测确定，所述扫描环境检测模型通过以下方式训练得到：

获取至少两帧样本图像，所述至少两帧样本图像对应的扫描环境类型相同；利用预设的初始模型分别对所述至少两帧样本图像进行特征提取，得到所述至少两帧样本图像各自的特征；基于所述至少两帧样本图像中两两样本图像的特征的相似度与预设相似度阈值的差异，确定目标损失，并基于所述目标损失调整所述初始模型的模型参数，以训练得到所述扫描环境检测模型；或

获取样本图像三元组，每组样本图像三元组中包括第一样本图像、扫描环境类型与所述第一样本图像的扫描环境类型相同的第二样本图像、以及扫描环境类型与所述第一样本图像的扫描环境类型不同的第三样本图像；利用预设的初始模型分别对所述第一样本图像、所述第二样本图像以及所述第三样本图像进行特征提取，得到各自的特征；基于所述第二样本图像的特征与所述第一样本图像的特征的相似度、以及所述第三样本图像的特征与所述第一样本图像的特征的相似度，确定目标损失，并基于所述目标损失调整所述初始模型的模型参数，以训练得到扫描环境检测模型。

11.根据权利要求1所述的方法，其特征在于，所述三维扫描设备包括口腔三维扫描设备，所述扫描环境类型包括口内环境和口外环境，所述基于所述目标图像确定所述三维扫描设备当前的扫描环境类型，包括：

对所述目标图像进行特征提取，得到所述目标图像的特征；

根据所述目标图像的特征与预设的特征聚类中心的接近程度，判定所述口腔三维扫描设备当前的扫描环境类型是否为口内环境；其中，所述特征聚类中心为多帧样本图像的特征的聚类中心，所述样本图像为口腔三维扫描设备在口内环境中采集的图像。

12.一种三维扫描设备的控制装置，其特征在于，所述控制装置包括：

获取模块，用于获取三维扫描设备采集的目标图像；

扫描环境类型确定模块，用于基于所述目标图像确定所述三维扫描设备当前的扫描环境类型；

处理模块，用于将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式，或提示用户将所述三维扫描设备当前的工作模式切换至与所述扫描环境类型相匹配的目标工作模式；

其中，所述三维扫描设备被配置有至少两种工作模式，每种工作模式对应一种扫描环境类型，所述三维扫描设备处于不同的工作模式时，在利用所述三维扫描设备采集的图像对目标对象进行三维重建的过程中，对所述图像进行处理的处理方式不同，其中，若所述三维扫描设备为口腔三维扫描设备，所述扫描环境类型包括口内环境和口外环境，所述工作模式包括与所述口内环境对应的口内工作模式，以及与所述口外环境对应的口外工作模式；所述处理方式不同包括：对所述图像进行处理时的处理参数不同；

所述处理参数包括对所述图像进行亮度增强时的增强幅度；在所述工作模式为所述口内工作模式时，所述增强幅度为第一幅度，在所述工作模式为口外工作模式时，所述增强幅度为第二幅度，所述第一幅度大于所述第二幅度；

和/或

所述处理参数包括对所述图像进行拼接时所允许的最大拼接误差；在所述工作模式为所述口内工作模式时，所述最大拼接误差为第一拼接误差；在所述工作模式为口外工作模式时，所述最大拼接误差为第二拼接误差，所述第一拼接误差大于所述第二拼接误差。

13.一种终端设备，其特征在于，所述终端设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时实现如要求1-11任一项所述的方法。

14.一种三维扫描设备的控制系统，其特征在于，所述控制系统中包括如权利要求13所述的终端设备，以及与所述终端设备通信连接的三维扫描设备，所述三维扫描设备采集待扫描区域的图像，并将所述图像发送给所述终端设备。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的方法。