CN111383332B - 一种三维扫描和重建系统、计算机设备和可读存储介质 - Google Patents

Abstract

本申请实施例属于三维扫描重建技术领域，涉及一种三维扫描和重建系统、计算机设备和可读存储介质，系统包括：手持式三维扫描装置和上位机；所述手持式三维扫描装置包括投射模块、光学传感模块、控制模块、陀螺仪以及至少两个加速度传感器，所述投射模块用于将参考图像投射到待扫描物体上，所述光学传感模块用于采集所述待扫描物体反射的图像信息，所述陀螺仪用于检测空间转动信息，所述加速度传感器用于检测位移信息并计算装置的空间转动信息，所述控制模块用于控制所述投射模块投射图像并存储和传输所述光学传感模块采集到的图像信息以及所述空间转动信息和位移信息到所述上位机；所述上位机用于对所述图像信息进行校正和三维重建。

Description

一种三维扫描和重建系统、计算机设备和可读存储介质

技术领域

本发明涉及三维扫描重建技术领域，尤其涉及一种三维扫描和重建系统、计算机设备和可读存储介质。

背景技术

三维扫描重建技术自发展以来就成为计算机视觉和计算机图形学等领域的研究热点与难点，在计算机辅助几何涉及(CAGD)、计算机动画、医学影像、数字媒体、文物修复、人机交互、军事应用、三维绘图等领域都发挥着越来越大的作用。

目前，手持式三维扫描技术作为口腔医学成像、文物修复等领域的关键技术，在国内目前尚未有成熟的产品、技术，国外推出较为成熟的产品中，较为主流的方法是利用多幅参考图作为单帧点云重建的基础，该技术在快速、实时扫描的场景存在局限性，快速的位移会对实时重建的结果产生较大的误差，甚至导致扫描结果的分层问题，从而影响了三维重建的精度。

发明内容

本申请实施例的目的在于提出一种三维扫描和重建系统，以提高快速、实时扫描场景下三维扫描和重建的精度。

为了解决上述技术问题，本申请实施例提供一种三维扫描和重建系统，采用了如下所述的技术方案：

所述三维扫描和重建系统包括：

手持式三维扫描装置和上位机；所述手持式三维扫描装置包括投射模块、光学传感模块、控制模块、陀螺仪以及至少两个加速度传感器，所述投射模块用于将参考图像投射到待扫描物体上，所述光学传感模块用于采集所述待扫描物体反射的图像信息，所述陀螺仪用于检测所述扫描装置在扫描过程中的空间转动信息，所述加速度传感器用于检测所述扫描装置在扫描过程中端点的位移信息并计算装置的空间转动信息，所述控制模块用于控制所述投射模块投射图像并存储和传输所述光学传感模块采集到的图像信息以及所述陀螺仪和所述加速度传感器检测到的空间转动信息和位移信息到所述上位机；所述上位机用于对所述图像信息进行校正和三维重建。

进一步的，所述投射模块包括投射器和光学投射结构，所述光学投射结构包括投射镜头和棱镜。

进一步的，所述光学传感模块包括光学传感器、成像镜头和棱镜。

进一步的，所述陀螺仪设置在所述扫描装置的质心，所述两个加速度传感器分别设置在所述扫描装置的两端。

进一步的，所述控制模块包括存储及控制单元、指令输入单元和数据传输单元。

进一步的，所述投射模块和所述光学传感模块的轴线之间设置固定的夹角。

进一步的，所述手持式三维扫描装置和所述上位机电连接或无线连接。

进一步的，所述上位机通过以下步骤对所述图像信息进行校正和三维重建：

S1、根据当前时刻图像采集过程中陀螺仪检测的过程数据，以及上一时刻陀螺仪累计的角速度，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移，同时更新当前扫描装置的旋转角速度；

S2、根据当前时刻图像采集过程中加速度传感器检测的过程数据，所述扫描装置校正过程建立的加速度传感器三维结构，以及上一时刻所述扫描装置的运动状态，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移、位移偏移，同时更新当前扫描装置的位移速度；

S3、根据所述陀螺仪的计算结果和所述加速度传感器的计算结果，计算出最终的角度偏移量，以及结果的可信度；

S4、根据所述计算结果的可信度判断是否对所述n幅图像进行修正，若修正，则按照所述角度偏移、位移偏移，将所述n幅图像都修正到同一幅图的采集状态下；若不进行修正，则降低当前n幅图像生成的重建数据的可信度；

S5、利用修正后的n幅图像重建所述待扫描物体的三维模型。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

所述计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例中所述的图像信息校正和三维重建的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中所述的图像信息校正和三维重建的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：提供一种手持式三维扫描装置和上位机；所述手持式三维扫描装置包括投射模块、光学传感模块、控制模块、陀螺仪以及至少两个加速度传感器，所述投射模块用于将参考图像投射到待扫描物体上，所述光学传感模块用于采集所述待扫描物体反射的图像信息，所述陀螺仪用于检测所述扫描装置在扫描过程中的空间转动信息，所述加速度传感器用于检测所述扫描装置在扫描过程中端点的位移信息并计算装置的空间转动信息，所述控制模块用于控制所述投射模块投射图像并存储和传输所述光学传感模块采集到的图像信息以及所述陀螺仪和所述加速度传感器检测到的空间转动信息和位移信息到所述上位机；所述上位机用于对所述图像信息进行校正和三维重建。通过手持式三维扫描装置的投射模块将参考图像投射到待扫描物体上进行反射，并通过光学传感模块采集反射的图像信息，然后使用陀螺仪和加速度传感器检测扫描装置的空间转动信息和位移信息并上传到上位机上进行实时校正和三维重建，可以提高快速、实时扫描场景下三维扫描和重建的精度。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本申请的三维扫描和重建系统的一个实施例的结构示意图；

图2示出了根据本申请实施例的三维扫描和重建系统的陀螺仪和加速度传感器的设置示意图；

图3示出了根据本申请实施例的三维扫描和重建的原理图；

图4示出了根据本申请的实施例提供的计算机设备基本结构框图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1、2所示，图1示出了根据本申请的三维扫描和重建系统的一个实施例的结构示意图，图2是上述三维扫描和重建系统的陀螺仪和加速度传感器的设置示意图，该三维扫描和重建系统100包括：手持式三维扫描装置和上位机。

其中，手持式三维扫描装置包括投射模块101、光学传感模块102、控制模块103、陀螺仪104以及至少两个加速度传感器105，投射模块101用于将参考图像投射到待扫描物体上，光学传感模块102用于采集所述待扫描物体反射的图像信息，陀螺仪104用于检测所述扫描装置在扫描过程中的空间转动信息，加速度传感器105用于检测所述扫描装置在扫描过程中端点的位移信息并计算装置的空间转动信息，控制模块103用于控制投射模块101投射图像并存储和传输光学传感模块102采集到的图像信息以及陀螺仪104和加速度传感器105检测到的空间转动信息和位移信息到上位机106；上位机106用于对图像信息进行校正和三维重建。

具体地，上述投射模块101包括投射器1011和光学投射结构1012，投射器1011可以使用包括激光、可见光等不同的投射设备，光学投射结构1012由投射镜头和棱镜组成。上述光学传感模块102包括光学传感器1021、成像镜头和棱镜1022，光学传感器1021可以采用包括红外传感器、可见光传感器等。

上述投射模块101和光学传感模块102的轴线之间设置固定的夹角，如在5°到30°范围内，进一步的可以选取投射模块101的光学投射结构1012的光轴和光学传感模块102的光学传感器1021是光轴中的某一个作为上述三维扫描装置的中轴，另一个光轴与三维扫描装置的中轴同水平线或同垂直线，并形成上述固定夹角，从而便于快速通过上述投射模块101和光学传感模块102的配合采集到待测物体的表面图像数据；

进一步的，上述陀螺仪104可以包含一个或多个，一般设置在上述手持式三维扫描装置的质心或两端；上述加速度传感器105至少包含两个以上，分别设置在上述手持式三维扫描装置的两端或者分布在中轴线上，如图2所示。

更进一步的，所述控制模块103包括存储及控制单元1031、指令输入单元1032和数据传输单元1033。其中，存储及控制单元1031由FPGA或专用芯片组成，用于存储投射模块101投射的多幅标准图像(即参考图像)，同时控制投射器1011按照设置的时序投射出标准图像，以及控制光学传感器1021采集完整的顺序经过投射模块101、待扫描物体表面、光学传感器模块102的反射图像；指令输入单元1032由按键、开关组成，包括上述手持式三维扫描装置的开机、运行、校正等功能的控制指令的输入；数据输出单元1033用于按照设定的数据传输协议(包括现有的FTP、USB协议以及自定义的协议等)，将指令输入单元1032的指令传输到存储及控制单元1031，以及将三维扫描装置的状态数据包括采集的图像信息、陀螺仪和加速度传感器的数据(包括空间转动和位移数据)传输到上述上位机106上。上述手持式三维扫描装置和上位机106之间电连接，如USB线、网线、RS485等线路，提高数据传输的可靠性和稳定性，还可以采用WIFI、蓝牙等无线连接以便增加数据传输的距离。

值得一提的是，在整个三维扫描和重建系统开始工作前，可以通过上述指令输入单元1032输入到存储及控制单元的控制指令控制上述三维扫描装置进行开机及自校正，自校正的过程通过开机初始化，也可以通过指令输入单元1032上单独的具有校正功能的按键来控制自校正；校正通过记录陀螺仪及多个加速度传感器的初始状态，然后建立修正系统的三维结构。

其中，上位机106可以使用个人电脑PC、带显示功能的电子设备(如计算机设备、服务器)等，对上述三维扫描装置采集的图像信息进行校正和三维模型的重建，校正和重建的步骤包括：

S1、根据当前时刻图像采集过程中陀螺仪检测的过程数据(空间转动信息)，以及上一时刻陀螺仪累计的角速度，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移，同时更新当前扫描装置的旋转角速度；

S2、根据当前时刻图像采集过程中加速度传感器检测的过程数据(空间转动信息和位移信息)，所述扫描装置校正过程建立的加速度传感器三维结构，以及上一时刻所述扫描装置的运动状态，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移、位移偏移，同时更新当前扫描装置的位移速度；

S3、根据所述陀螺仪的计算结果和所述加速度传感器的计算结果，计算出最终的角度偏移量，以及结果的置信度；

S4、根据所述计算结果的置信度判断是否对所述n幅图像进行修正，若修正，则按照所述角度偏移、位移偏移，将所述n幅图像都修正到同一幅图的采集状态下；若不进行修正，则降低当前n幅图像生成的重建数据的置信度；

S5、利用修正后的n幅图像重建所述待扫描物体的三维模型。

上述三维扫描和重建的原理为：根据投射器1011与光学传感器1021之间的固定夹角以及光程，被扫描物体的轮廓信息会体现在采集图像与标准图像的偏移上，如图3所示，若投射器1011的光轴与光学传感器1021的光轴仅存在绕y轴的夹角，投射器1011上同一个数据点A受被测物体不同深度表面B和表面C的反射，在光学传感器1021中会产生不同的水平偏移，根据这一原理以及采集的n幅图像，可以得到当前视角下被扫描物体的表面数据，以及不同表面数据点的置信度，然后根据该置信度对图像进行校正，从而提高模型重建的精度。

综上所述，通过手持式三维扫描装置的投射模块将参考图像投射到待扫描物体上进行反射，并通过光学传感模块采集反射的图像信息，然后使用陀螺仪和加速度传感器检测扫描装置的空间转动信息和位移信息并上传到上位机上进行实时校正和三维重建，可以提高快速、实时扫描场景下三维扫描和重建的精度。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备16上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如图像信息校正和三维重建的步骤代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行图像信息校正和三维重建程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有图像信息校正和三维重建程序，所述图像信息校正和三维重建程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图像信息校正和三维重建的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

应该理解的是，虽然附图的结构示意图中的各个子系统按照箭头的指示依次显示，但是这些子系统并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些子系统的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的结构示意图中的至少一部分子系统在执行时可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (9)

1.一种三维扫描和重建系统，其特征在于，包括：手持式三维扫描装置和上位机；所述手持式三维扫描装置包括投射模块、光学传感模块、控制模块、陀螺仪以及至少两个加速度传感器，所述投射模块用于将参考图像投射到待扫描物体上，所述光学传感模块用于采集所述待扫描物体反射的图像信息，所述陀螺仪用于检测所述扫描装置在扫描过程中的空间转动信息，所述加速度传感器用于检测所述扫描装置在扫描过程中端点的位移信息并计算装置的空间转动信息，所述控制模块用于控制所述投射模块投射图像并存储和传输所述光学传感模块采集到的图像信息以及所述陀螺仪和所述加速度传感器检测到的空间转动信息和位移信息到所述上位机；所述上位机用于对所述图像信息进行校正和三维重建；

所述上位机通过以下步骤对所述图像信息进行校正和三维重建：

S1、根据当前时刻图像采集过程中陀螺仪检测的过程数据，以及上一时

刻陀螺仪累计的角速度，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移，同时更新当前扫描装置的旋转角速度；

S2、根据当前时刻图像采集过程中加速度传感器检测的过程数据，所述扫描装置校正过程建立的加速度传感器三维结构，以及上一时刻所述扫描装置的运动状态，计算当前时刻n幅图像采集瞬间所述扫描装置的角度偏移、位移偏移，同时更新当前扫描装置的位移速度；

S3、根据所述陀螺仪的计算结果和所述加速度传感器的计算结果，计算出最终的角度偏移量，以及当前时刻 n 幅图像所获取的待测物体的表面数据的可信度；

S4、根据所述可信度判断是否对所述n幅图像进行修正，若修正，则按照所述角度偏移、位移偏移，将所述n幅图像都修正到同一幅图的采集状态下；若不进行修正，则降低当前n幅图像生成的重建数据的可信度；

S5、利用修正后的n幅图像重建所述待扫描物体的三维模型。

2.如权利要求1所述的三维扫描和重建系统，其特征在于，所述投射模块包括投射器和光学投射结构，所述光学投射结构包括投射镜头和棱镜。

3.如权利要求2所述的三维扫描和重建系统，其特征在于，所述光学传感模块包括光学传感器、成像镜头和棱镜。

4.如权利要求3所述的三维扫描和重建系统，其特征在于，所述陀螺仪设置在所述扫描装置的质心，所述两个加速度传感器分别设置在所述扫描装置的两端。

5.如权利要求4所述的三维扫描和重建系统，其特征在于，所述控制模块包括存储及控制单元、指令输入单元和数据传输单元。

6.如权利要求5所述的三维扫描和重建系统，其特征在于，所述投射模块和所述光学传感模块的轴线之间设置固定的夹角。

7.如权利要求6所述的三维扫描和重建系统，其特征在于，所述手持式三维扫描装置和所述上位机电连接或无线连接。

8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的图像信息校正和三维重建的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的图像信息校正和三维重建的步骤。