CN106898022A - 一种手持式快速三维扫描系统及方法 - Google Patents
一种手持式快速三维扫描系统及方法 Download PDFInfo
- Publication number
- CN106898022A CN106898022A CN201710036258.0A CN201710036258A CN106898022A CN 106898022 A CN106898022 A CN 106898022A CN 201710036258 A CN201710036258 A CN 201710036258A CN 106898022 A CN106898022 A CN 106898022A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- attitude
- data
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种手持式快速三维扫描系统及方法。该系统包括手持主体、按设定距离设置在手持主体上的深度相机和色彩相机、获取手持主体实时姿态数据的姿态获取模块、以及融合模块;深度相机用于采集被测物体的实时深度图像数据;色彩相机用于采集被测物体的实时色彩图像数据;融合模块与深度相机、色彩相机和姿态获取模块连接,用于融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。本发明融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据,不需要对事先对物体进行标记粘贴的预处理工作,具有可实现快速、且带色彩还原的三维建模效果的优点。
Description
技术领域
本发明涉及三维建模领域,尤其涉及一种手持式快速三维扫描系统及方法。
背景技术
三维模型是物体的三维多边形表示方式,通常有可以用电脑或影片展示的电子版和用于直观展示实物大小、触感的实物两种。生成三维模型的方法有许多种,大体分为手动和自动两大类型。手动建模有精度高,自由度高的特点,但是由于建模软件的复杂性与耗时大的缺点,适用的场景局限。而自动建模则通过摄像头、超声波等方式大量采集物体的三维信息,并经过一系列算法后自动生成三维模型。该方法由于完全不需要人为介入,所以大量地应用在机器人上,比如SLAM(即时定位与地图构建)。随着三维模型越来越广泛地应用在自动驾驶、无人机避障、人机交互、虚拟现实等领域,通过扫描并采集物体/场景图像从而建模的这一算法流程也越来越重要。
采集物体三维坐标点的方法主要有两种:接触式与非接触式,而后者有可分为主动扫描与被动扫描两种。前者大量应用于早期工业快速反求工程中,但由于接触式扫描会在一定程度上对原物体造成损坏,因此并不适用与贵重物体或脆弱物体的扫描。另外相对与别的方式,接触式方法要求扫描周期更长。
非接触被动式扫描,并不投射额外能量到物体上,取而代之的是通过采集被测物体表面反射的自然光的方法已达到测量的目的。实际采集过程中,手持摄像机缓慢地环绕物体进行拍摄,通过特征点、多视图几何或者镜头姿态解算等方法对实际物体进行建模。现有技术中,通过提取清晰轮廓的方法来解决单目环绕扫描时会出现的环缺失问题(Loopclosure problem)和累计误差,从而得到精度较高、质量较好的三维模型。由于整个算法都是基于累计误差较小的前提下,也就是说摄像头移动范围小,速度慢的限制条件,所以该算法也只使用于较小物体的扫描。
而立体视觉法也是非接触式被动扫描方法中研究的重要内容之一,其方式是通过双目系统采集多幅图像,并根据同一时间拍摄的两帧图像中同一物体的位置差计算出深度图从而进行三维重构。该方法由于只用到两个摄像头,结构模型也相对简单而成本也低,所以立体算法是在视觉算法中最被常用的方法。但是由于其原理是在左右画面中寻找同一特征点的位置差,因此在纹理简单或者物体遮挡区域完全失效。
现有的双目扫描方案通常使用额外再被扫描物体上粘贴用于辅助识别的标记点或者向被扫描物体上投射线激光等方式来提高扫描精度和降低算法复杂度。
另外由于激光条纹对于双目采集图像的影响,该方法也无法准确还原出物体的色彩。该方法较之主动式扫描方法精度差,但由于其受自然光照影响较小的原因,更适用于自然光照条件下高纹理的户外环境建模。
发明内容
本发明要解决的技术问题在于,提供一种可实现快速、无粘贴标记且带色彩还原的三维建模效果的手持式快速三维扫描系统及方法。
本发明解决其技术问题所采用的技术方案是:本发明提供一种手持式快速三维扫描系统,包括手持主体、按设定距离设置在所述手持主体上的深度相机和色彩相机、获取所述手持主体实时姿态数据的姿态获取模块、以及融合模块;
所述深度相机用于采集被测物体的实时深度图像数据;所述色彩相机用于采集被测物体的实时色彩图像数据;
所述融合模块与所述深度相机、色彩相机和姿态获取模块连接,用于融合同一时刻的所述实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。
优选的,所述手持主体包括上部空腔、以及连接支撑所述上部空腔的手柄;
所述深度相机和色彩相机并排紧邻设置在所述上部空腔中,以基本消除所述深度相机和色彩相机采集的图像视差。
优选的,所述姿态获取模块包括设置在所述手柄中的第一感测单元、和/或设置在所述上部空腔中的第二感测单元;所述第一感测单元和/或第二感测单元包括陀螺仪、加速度传感器、地磁仪中的一个或多个;或者
所述姿态获取模块包括姿态运算单元,用于计算相邻帧图像的移动以获取所述实时姿态数据。
优选的,所述融合模块包括超像素还原单元,用于将所述实时深度图像数据与所述实时色彩图像数据建立关联,为所述实时色彩图像数据的每个像素赋予对应的所述实时深度图像数据,以得到三维色彩点云。
优选的,所述融合模块还包括姿态解算单元,用于计算光流场,并结合所述实时姿态数据进行姿态解算,以得到每一时刻的图像对应的实时姿态数据和相邻帧图像之间的变换矩阵。
优选的,所述姿态解算单元包括光流场传感器,用于实时计算光流场;或者,
所述姿态解算单元根据所述色彩相机得到的实时色彩图像数据来实时计算光流场。
优选的,所述融合模块还包括与所述超像素还原单元、姿态解算单元连接的点云注册单元,用于根据所述变换矩阵,将每一时刻的三维色彩点云融合为全局三维点云。
本发明还提供一种手持式快速三维扫描方法,包括:
S1:采集实时深度图像数据;
S2:采集实时色彩图像数据;
S3:获取手持主体的实时姿态数据;
S4:融合同一时刻的所述实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。
优选的,在所述步骤S1、S2中,通过并排紧邻设置的深度相机和色彩相机分别采集所述实时深度图像数据和所述实时色彩图像数据;
在所述步骤S3中,通过设置在所述手持主体上的姿态获取模块,获取所述实时姿态数据;或者,通过姿态运算单元计算相邻帧图像的移动,以获取所述实时姿态数据。
优选的,在所述步骤S4中,包括:
S4-1:将同一时刻的所述实时深度图像数据与所述实时色彩图像数据建立关联,为所述实时色彩图像数据的每个像素赋予对应的所述实时深度图像数据,以得到三维色彩点云;
S4-2:计算光流场,并结合所述实时姿态数据进行姿态解算,以得到每一时刻的图像对应的姿态和相邻帧图像之间的变换矩阵;
S4-3:根据所述变换矩阵,将每一时刻的三维色彩点云融合为全局三维点云。
实施本发明的技术方案,通过利用深度相机和色彩相机采集实时深度图像数据和实时色彩图像数据,姿态获取模块获取手持主体的实时姿态数据,再融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据,不需要对事先对物体进行标记粘贴的预处理工作,具有可实现快速、且带色彩还原的三维建模效果的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明手持式快速三维扫描系统的一个实施例的示意图。
图2是本发明手持式快速三维扫描系统的一个实施例的示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1、2所示,为本发明手持式快速三维扫描系统的示意图,包括手持主体10、深度相机20、色彩相机30、姿态获取模块40、融合模块50等,通过利用深度相机20和色彩相机30采集实时深度图像数据和实时色彩图像数据,姿态获取模块40获取手持主体10的实时姿态数据,再融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据,不需要对事先对物体进行标记粘贴的预处理工作,可实现快速、且带色彩还原的三维建模效果。
在本实施例中,该手持主体10大致呈手枪形状,包括上部空腔11、以及连接支撑上部空腔11的手柄12。当然,手持主体10的整体形状,上部空腔11、手柄12等的形状可以根据需要进行设计。进一步的,在手柄12上还可以设置开关按钮,用于控制安装于手持主体10上的深度相机20、色彩相机30、姿态获取模块40等的工作。例如,长按开关按钮为开机、长按开始扫描、松开停止扫描等,当然,其工作模式也可以根据需要进行设计调整。
如图所示,该深度相机20和色彩相机30并排紧邻设置在上部空腔11中,以基本消除深度相机20和色彩相机30采集的图像视差。在本实施例中,该深度相机20为ToF深度相机,用来采集实时的深度图,以得到实时深度图像数据。例如,深度相机20通过配置可以采集分辨率为320*240帧率为30fps的视频数据。
该色彩相机30则用来采集实时高分辨率色彩图像,以得到实时色彩图像数据,例如,色彩相机30经配置可以采集分辨率为1280*960帧率为30fps的视频数据。
当然,深度相机20和色彩相机30的分辨率、帧率都可以根据需要进行调整、选用。
该姿态获取模块40用于获取手持主体10实时姿态数据,传输至融合模块50,以供后续使用。在本实施例中,该姿态获取模块40包括设置在手柄12中的第一感测单元、和/或设置在上部空腔11中的第二感测单元;第一感测单元和/或第二感测单元包括陀螺仪、加速度传感器、地磁仪中的一个或多个。例如,在手柄12主体的上部空腔11的突出位置和手柄12下面分别有一个六自由度的高精度陀螺仪传感器,用于获取整个手持主体10的实时姿态数据。其中,陀螺仪为六自由度高精度陀螺仪,也就是内部集成了三轴陀螺仪、三轴加速度计以及数据运动处理器等,通过配置数据运动处理器可以实时输出用于姿态解算的四元数,即实时姿态数据。当然,第一感测单元、第二感测单元的传感器也可以采用其他的组合形式,只要能运算得到实时姿态数据即可。
在其他实施例中,该姿态获取模块40还可以为姿态运算单元,例如角点标记运算芯片,通过在色彩相机30获取的相邻帧图像中添加一个角点,来计算相邻帧图像的移动,并对移动数据进行计算,从而获得手持主体10的实时姿态数据。
融合模块50与深度相机20、色彩相机30和姿态获取模块40连接,用于融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。在本实施例中,该融合模块50包括超像素还原单元51、姿态解算单元52、点云注册单元53等。
该超像素还原单元51,用于将实时深度图像数据与实时色彩图像数据建立关联,为实时色彩图像数据的每个像素赋予对应的实时深度图像数据,以得到三维色彩点云。在本实施例中,由于深度相机20和色彩相机30的距离足够近,以至于采集到的图像几乎没有视差,可以认为在同一时刻采集到的实时深度图像数据和实时色彩图像数据是一一对应的,从而深度相机20获得的深度数据可以与色彩相机30的对应样本点建立联系,以提高深度相机20获得的深度图像的分辨率。
例如,该深度相机20为TOF(Time of Flight)深度相机20,其图像分辨率较低,例如320*240;而色彩相机30的图像分辨率为1280*960。通过将深度相机20获得的深度数据与色彩相机30的对应样本点建立联系,实现将TOF深度图的分辨率从210*240提高到1280*960。实际上,该过程等同于为色彩图上的每个像素赋值一个对应的深度图上的数据,在经过这个步骤后我们得到了一个分辨率为1280*960的色彩三维点云,也就是说得到1280*960三维信息点,且每个点还有其对应的色彩值(RGB值)。当然,深度相机20、色彩相机30的分辨率可以根据实际需要来选择。
该姿态解算单元52,用于计算光流场,并结合实时姿态数据进行姿态解算,以得到每一时刻的图像对应的姿态和相邻帧图像之间的变换矩阵。在本实施例中,该姿态解算单元52根据色彩相机30得到的实时色彩图像数据来实时计算光流场。
本实施例采用的六自由度传感器包含三轴陀螺仪和三轴加速度,分布用于测量角速度和静态加速度。通过陀螺仪能够快速且简便地获取手持主体10的移动数据,但是其含有零点漂移、白噪声、温度噪声和积分误差等误差。在本实施例中,在手持主体10上安装了两个同样型号的传感器,通过差分的方式来消除上述前三种噪声。而积分误差则是由于传感器获得的数据在计算二次积分时造成的,为了消除这一误差,本实施例通过使用实时色彩图像数据来计算光流场从而辅助姿态解算的准确性。为了保证算法的实时性,在使用色彩图进行光流场计算前,先对实时色彩图像数据进行亚采样从而得到一个比原始分辨率小得多的色彩图从而有效地减少了算法的计算量。光流是表示像素在连续两帧之间的位移关联。本实施例通过查找当前帧中每一个像素相对于上一帧的位移来表示物体或摄像头的运动状态。这样得到的是稠密光流,即将图像中的每个像素都与速度关联。然而计算稠密光流难度大,计算量高,且不符合摄像机普遍大而不连贯的运动状态。而通过在图像金字塔(将原图像通过亚采样的方式等比例缩小成不同的尺寸)最高层计算光流,并用得到的运动估计结果作为下一层金字塔的初始点,重复这个过程直至金字塔最底层的方式能够实现更快更准确的运动跟踪。
可以理解的,在其他实施例中,该姿态解算单元52还可以包括光流场传感器,用于实时计算光流场。
该点云注册单元53用于根据变换矩阵将每一时刻的三维色彩点云融合为全局三维点云。具体的,在深度相机20和色彩相机30采集被测物体的实时深度图像数据和色彩图像数据的过程中,记录了每个时刻对应的手持主体10的实时姿态数据,并通过姿态解算单元52求得每一时刻的图像对应的实时姿态数据和相邻帧图像之间的变换矩阵,在本实施例中,该变换矩阵为齐次变换矩阵。再将当前三维色彩点云进行矩阵变换的处理,从而保证了三维色彩点云与全局三维模型是正好匹配的。具体如下:
x′=m11x+m12y+m13z+m14
y′=m21x+m22y+m23z+m24
z′=m31x+m32y+m33z+m34
P'为经过变换后的点坐标值,P为变化前的点坐标值,M为齐次变换矩阵。通过这样一个齐次变换矩阵可以将每帧图片得到的三维色彩点云变换成与全局三维模型匹配的坐标。
本实施例的齐次变换矩阵是通过姿态解算得到的六个参数根据透视及变换规则得到的。通过姿态解算可以得到T和R分别各三个参数,分别对于在当前帧相对前一帧的空间坐标位移距离以及沿着三个轴向的旋转角度。
其中,位移又分为平行于成像平面的位移以及垂直于成像平面的位移两种,平行于成像平面的位移仅导致了图像在左右或上下方向的偏移,可以用以下矩阵来表示:
而垂直于成像平面的位移会导致物体的缩放,可以用以下矩阵来表示:
旋转相对简单,三个旋转参数分别表示了沿着Z、X、Y轴旋转的角度,可以用以下矩阵表示:
需要注意的是虽然在上式中使用的θ是相同的,实际上它们代表的是不同的角度值。
为了进一步缩短运算的时间,由于姿态导致的变换并无优先顺序关系,可以使用公式P′=Mry...M8MtP将以上所有姿态变化造成的参数生成的矩阵相乘起来再一并计算可以大大地减少运算量。
本发明还提供一种手持快速三维扫描方法,该方法可以采用上述系统完成,包括:
步骤S101:采集实时深度图像数据、采集实时色彩图像数据。在本实施例中,通过并排紧邻设置的深度相机和色彩相机分别采集实时深度图像数据和实时色彩图像数据。例如,该深度相机为ToF深度相机,用来采集实时的深度图,以得到实时深度图像数据。例如,深度相机通过配置可以采集分辨率为320*240帧率为30fps的视频数据;色彩相机经配置可以采集分辨率为1280*960帧率为30fps的视频数据。当然,深度相机和色彩相机的分辨率、帧率都可以根据需要进行调整、选用。
步骤S102:获取手持主体的实时姿态数据。在本实施例中,通过设置在手持主体上的姿态获取模块,获取实时姿态数据。该姿态获取模块包括设置在手柄中的第一感测单元、和/或设置在上部空腔中的第二感测单元;第一感测单元和/或第二感测单元包括陀螺仪、加速度传感器、地磁仪中的一个或多个。例如,在手柄主体的上部空腔的突出位置和手柄下面分别有一个六自由度的高精度陀螺仪传感器,用于获取整个手持主体的实时姿态数据。其中,陀螺仪为六自由度高精度陀螺仪,也就是内部集成了三轴陀螺仪、三轴加速度计以及数据运动处理器等,通过配置数据运动处理器可以实时输出用于姿态解算的四元数,即实时姿态数据。当然,第一感测单元、第二感测单元的传感器也可以采用其他的组合形式,只要能运算得到实时姿态数据即可。
在其他实施例中,该姿态获取模块还可以为姿态运算单元,例如角点标记运算芯片,通过在色彩相机获取的相邻帧图像中添加一个角点,来计算相邻帧图像的移动,并对移动数据进行计算,从而获得手持主体的实时姿态数据。
步骤S103:融合同一时刻的实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。
在本实施例中,将同一时刻的实时深度图像数据与实时色彩图像数据建立关联,为实时色彩图像数据的每个像素赋予对应的实时深度图像数据,以得到三维色彩点云。由于深度相机和色彩相机的距离足够近,以至于采集到的图像几乎没有视差,可以认为在同一时刻采集到的实时深度图像数据和实时色彩图像数据是一一对应的,从而深度相机获得的深度数据可以与色彩相机的对应样本点建立联系,以提高深度相机获得的深度图像的分辨率。
例如,该深度相机为TOF(Time of Flight)深度相机,其图像分辨率较低,例如320*240;而色彩相机的图像分辨率为1280*960。通过将深度相机获得的深度数据与色彩相机的对应样本点建立联系,实现将TOF深度图的分辨率从210*240提高到1280*960。实际上,该过程等同于为色彩图上的每个像素赋值一个对应的深度图上的数据,在经过这个步骤后我们得到了一个分辨率为1280*960的色彩三维点云,也就是说得到1280*960三维信息点,且每个点还有其对应的色彩值(RGB值)。当然,深度相机、色彩相机的分辨率可以根据实际需要来选择。
计算光流场,并结合实时姿态数据进行姿态解算,以得到每一时刻的图像对应的姿态和相邻帧图像之间的变换矩阵。在本实施例中,该姿态解算单元根据色彩相机得到的实时色彩图像数据来实时计算光流场。
本实施例采用的六自由度传感器包含三轴陀螺仪和三轴加速度,分布用于测量角速度和静态加速度。通过陀螺仪能够快速且简便地获取手持主体的移动数据,但是其含有零点漂移、白噪声、温度噪声和积分误差等误差。在本实施例中,在手持主体上安装了两个同样型号的传感器,通过差分的方式来消除上述前三种噪声。而积分误差则是由于传感器获得的数据在计算二次积分时造成的,为了消除这一误差,本实施例通过使用实时色彩图像数据来计算光流场从而辅助姿态解算的准确性。为了保证算法的实时性,在使用色彩图进行光流场计算前,先对实时色彩图像数据进行亚采样从而得到一个比原始分辨率小得多的色彩图从而有效地减少了算法的计算量。光流是表示像素在连续两帧之间的位移关联。本实施例通过查找当前帧中每一个像素相对于上一帧的位移来表示物体或摄像头的运动状态。这样得到的是稠密光流,即将图像中的每个像素都与速度关联。然而计算稠密光流难度大,计算量高,且不符合摄像机普遍大而不连贯的运动状态。而通过在图像金字塔(将原图像通过亚采样的方式等比例缩小成不同的尺寸)最高层计算光流,并用得到的运动估计结果作为下一层金字塔的初始点,重复这个过程直至金字塔最底层的方式能够实现更快更准确的运动跟踪。
可以理解的,在其他实施例中,该姿态解算单元还可以包括光流场传感器,用于实时计算光流场。
根据变换矩阵,将每一时刻的三维色彩点云融合为全局三维点云。
具体的,在深度相机和色彩相机采集被测物体的实时深度图像数据和色彩图像数据的过程中,记录了每个时刻对应的手持主体的实时姿态数据,并通过姿态解算单元求得每一时刻的图像对应的实时姿态数据和相邻帧图像之间的变换矩阵,在本实施例中,该变换矩阵为齐次变换矩阵。再将当前三维色彩点云进行矩阵变换的处理,从而保证了三维色彩点云与全局三维模型是正好匹配的。具体如下:
x′=m11x+m12y+m13z+m14
y′=m21x+m22y+m23z+m24
z′=m31x+m32y+m33z+m34
P'为经过变换后的点坐标值,P为变化前的点坐标值,M为齐次变换矩阵。通过这样一个齐次变换矩阵可以将每帧图片得到的三维色彩点云变换成与全局三维模型匹配的坐标。
本实施例的齐次变换矩阵是通过姿态解算得到的六个参数根据透视及变换规则得到的。通过姿态解算可以得到T和R分别各三个参数,分别对于在当前帧相对前一帧的空间坐标位移距离以及沿着三个轴向的旋转角度。
其中,位移又分为平行于成像平面的位移以及垂直于成像平面的位移两种,平行于成像平面的位移仅导致了图像在左右或上下方向的偏移,可以用以下矩阵来表示:
而垂直于成像平面的位移会导致物体的缩放,可以用以下矩阵来表示:
旋转相对简单,三个旋转参数分别表示了沿着Z、X、Y轴旋转的角度,可以用以下矩阵表示:
需要注意的是虽然在上式中使用的θ是相同的,实际上它们代表的是不同的角度值。
为了进一步缩短运算的时间,由于姿态导致的变换并无优先顺序关系,可以使用公式P′=Mry...MsMtP将以上所有姿态变化造成的参数生成的矩阵相乘起来再一并计算可以大大地减少运算量。
上述实施例公开的方法和系统,可以在较低成本的硬件基础上实现快速、无需粘贴标记且带有色彩还原的三维建模效果,且不需要对事先对物体进行标记粘贴的预处理工作。系统输出的色彩点云匹配标准数据格式,能够直接用于机器人室内导航、人机交互、物体/场景建模等多个应用领域。
本发明实施例的方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例的装置中的模块或单元或子单元可以根据实际需要进行合并、划分和删减。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本发明的较佳实施例而已,当然不能以此来限定本发明的权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。
Claims (10)
1.一种手持式快速三维扫描系统,其特征在于,包括手持主体、按设定距离设置在所述手持主体上的深度相机和色彩相机、获取所述手持主体实时姿态数据的姿态获取模块、以及融合模块;
所述深度相机用于采集被测物体的实时深度图像数据;所述色彩相机用于采集被测物体的实时色彩图像数据;
所述融合模块与所述深度相机、色彩相机和姿态获取模块连接,用于融合同一时刻的所述实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。
2.根据权利要求1所述的手持式快速三维扫描系统,其特征在于,所述手持主体包括上部空腔、以及连接支撑所述上部空腔的手柄;
所述深度相机和色彩相机并排紧邻设置在所述上部空腔中,以基本消除所述深度相机和色彩相机采集的图像视差。
3.根据权利要求2所述的手持式快速三维扫描系统,其特征在于,所述姿态获取模块包括设置在所述手柄中的第一感测单元、和/或设置在所述上部空腔中的第二感测单元;所述第一感测单元和/或第二感测单元包括陀螺仪、加速度传感器、地磁仪中的一个或多个;或者
所述姿态获取模块包括姿态运算单元,用于计算相邻帧图像的移动以获取所述实时姿态数据。
4.根据权利要求1-3任一项所述的手持式快速三维扫描系统,其特征在于,所述融合模块包括超像素还原单元,用于将所述实时深度图像数据与所述实时色彩图像数据建立关联,为所述实时色彩图像数据的每个像素赋予对应的所述实时深度图像数据,以得到三维色彩点云。
5.根据权利要求4所述的手持式快速三维扫描系统,其特征在于,所述融合模块还包括姿态解算单元,用于计算光流场,并结合所述实时姿态数据进行姿态解算,以得到每一时刻的图像对应的实时姿态数据和相邻帧图像之间的变换矩阵。
6.根据权利要求5所述的手持式快速三维扫描系统,其特征在于,所述姿态解算单元包括光流场传感器,用于实时计算光流场;或者,
所述姿态解算单元根据所述色彩相机得到的实时色彩图像数据来实时计算光流场。
7.根据权利要求5所述的手持式快速三维扫描系统,其特征在于,所述融合模块还包括与所述超像素还原单元、姿态解算单元连接的点云注册单元,用于根据所述变换矩阵,将每一时刻的三维色彩点云融合为全局三维点云。
8.一种手持式快速三维扫描方法,其特征在于,包括:
S1:采集实时深度图像数据;
S2:采集实时色彩图像数据;
S3:获取手持主体的实时姿态数据;
S4:融合同一时刻的所述实时深度图像数据、实时色彩图像数据和实时姿态数据,以得到三维图像数据。
9.根据权利要求8所述的手持式快速三维扫描方法,其特征在于,在所述步骤S1、S2中,通过并排紧邻设置的深度相机和色彩相机分别采集所述实时深度图像数据和所述实时色彩图像数据;
在所述步骤S3中,通过设置在所述手持主体上的姿态获取模块,获取所述实时姿态数据;或者,通过姿态运算单元计算相邻帧图像的移动,以获取所述实时姿态数据。
10.根据权利要求8或9所述的手持式快速三维扫描方法,其特征在于,在所述步骤S4中,包括:
S4-1:将同一时刻的所述实时深度图像数据与所述实时色彩图像数据建立关联,为所述实时色彩图像数据的每个像素赋予对应的所述实时深度图像数据,以得到三维色彩点云;
S4-2:计算光流场,并结合所述实时姿态数据进行姿态解算,以得到每一时刻的图像对应的姿态和相邻帧图像之间的变换矩阵;
S4-3:根据所述变换矩阵,将每一时刻的三维色彩点云融合为全局三维点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710036258.0A CN106898022A (zh) | 2017-01-17 | 2017-01-17 | 一种手持式快速三维扫描系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710036258.0A CN106898022A (zh) | 2017-01-17 | 2017-01-17 | 一种手持式快速三维扫描系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106898022A true CN106898022A (zh) | 2017-06-27 |
Family
ID=59198916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710036258.0A Pending CN106898022A (zh) | 2017-01-17 | 2017-01-17 | 一种手持式快速三维扫描系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106898022A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107464283A (zh) * | 2017-07-13 | 2017-12-12 | 广西我的科技有限公司 | 一种三维空间信息采集分析处理的方法及装置 |
CN107864372A (zh) * | 2017-09-22 | 2018-03-30 | 捷开通讯(深圳)有限公司 | 立体拍照方法、装置及终端 |
CN108665499A (zh) * | 2018-05-04 | 2018-10-16 | 北京航空航天大学 | 一种基于视差法的近距飞机位姿测量方法 |
CN109495641A (zh) * | 2018-10-24 | 2019-03-19 | 维沃移动通信有限公司 | 一种提醒方法及移动终端 |
CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
CN109916302A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种载货箱体的体积测量方法和系统 |
CN109916301A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种体积测量方法和深度相机模组 |
CN109993785A (zh) * | 2019-03-27 | 2019-07-09 | 青岛小鸟看看科技有限公司 | 一种货箱体积测量方法和深度相机模组 |
CN109995987A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 目标扫描方法、设备及可读存储介质 |
CN110243307A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量系统 |
CN110487206A (zh) * | 2019-08-07 | 2019-11-22 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
CN110619617A (zh) * | 2019-09-27 | 2019-12-27 | 中国科学院长春光学精密机械与物理研究所 | 三维成像方法、装置、设备及计算机可读存储介质 |
CN110794422A (zh) * | 2019-10-08 | 2020-02-14 | 歌尔股份有限公司 | 一种含有tof成像模组的机器人数据采集系统及方法 |
CN110956664A (zh) * | 2019-12-17 | 2020-04-03 | 武汉易维晟医疗科技有限公司 | 一种手持式三维扫描系统的相机位置实时重定位方法 |
CN111885333A (zh) * | 2020-06-15 | 2020-11-03 | 东方通信股份有限公司 | 一种采集三维音视频及运动姿态的装置及方法 |
CN112325793A (zh) * | 2020-09-30 | 2021-02-05 | 张成林 | 防伪检测方法、装置及多目相机 |
CN113119099A (zh) * | 2019-12-30 | 2021-07-16 | 深圳富泰宏精密工业有限公司 | 计算机装置、控制机械手臂夹取和放置物件的方法 |
WO2021203883A1 (zh) * | 2020-04-10 | 2021-10-14 | 杭州思看科技有限公司 | 三维扫描方法、三维扫描系统和计算机可读存储介质 |
CN113689539A (zh) * | 2021-07-06 | 2021-11-23 | 清华大学 | 基于隐式光流场的动态场景实时三维重建方法与装置 |
CN114239624A (zh) * | 2021-12-17 | 2022-03-25 | 深圳迎凯生物科技有限公司 | 测试方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609941A (zh) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | 基于ToF深度相机的三维注册方法 |
CN102692236A (zh) * | 2012-05-16 | 2012-09-26 | 浙江大学 | 基于rgb-d相机的视觉里程计方法 |
CN103955963A (zh) * | 2014-04-30 | 2014-07-30 | 崔岩 | 一种基于 Kinect设备的数字化人体三维重建方法及系统 |
CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
CN105103542A (zh) * | 2012-10-17 | 2015-11-25 | 点积公司 | 手持型便携式光学扫描仪和使用的方法 |
CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
CN105261060A (zh) * | 2015-07-23 | 2016-01-20 | 东华大学 | 基于点云压缩和惯性导航的移动场景实时三维重构方法 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
-
2017
- 2017-01-17 CN CN201710036258.0A patent/CN106898022A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609941A (zh) * | 2012-01-31 | 2012-07-25 | 北京航空航天大学 | 基于ToF深度相机的三维注册方法 |
CN102692236A (zh) * | 2012-05-16 | 2012-09-26 | 浙江大学 | 基于rgb-d相机的视觉里程计方法 |
CN105103542A (zh) * | 2012-10-17 | 2015-11-25 | 点积公司 | 手持型便携式光学扫描仪和使用的方法 |
CN103955963A (zh) * | 2014-04-30 | 2014-07-30 | 崔岩 | 一种基于 Kinect设备的数字化人体三维重建方法及系统 |
CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
CN105261060A (zh) * | 2015-07-23 | 2016-01-20 | 东华大学 | 基于点云压缩和惯性导航的移动场景实时三维重构方法 |
CN105225269A (zh) * | 2015-09-22 | 2016-01-06 | 浙江大学 | 基于运动机构的三维物体建模系统 |
CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
Non-Patent Citations (3)
Title |
---|
丁明跃 等: "《物联网识别技术》", 31 July 2012, 中国铁道出版社 * |
李兴东: ""基于TOF相机的四足机器人地形感知及静步态规划研究"", 《中国博士学位论文全文数据库 信息科技辑》 * |
石广升: ""基于Kinect的物体三维模型构建和姿态估计方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107464283A (zh) * | 2017-07-13 | 2017-12-12 | 广西我的科技有限公司 | 一种三维空间信息采集分析处理的方法及装置 |
CN107864372A (zh) * | 2017-09-22 | 2018-03-30 | 捷开通讯(深圳)有限公司 | 立体拍照方法、装置及终端 |
CN107864372B (zh) * | 2017-09-22 | 2021-02-26 | 捷开通讯(深圳)有限公司 | 立体拍照方法、装置及终端 |
CN109995987A (zh) * | 2017-12-29 | 2019-07-09 | 深圳市优必选科技有限公司 | 目标扫描方法、设备及可读存储介质 |
CN108665499A (zh) * | 2018-05-04 | 2018-10-16 | 北京航空航天大学 | 一种基于视差法的近距飞机位姿测量方法 |
CN108665499B (zh) * | 2018-05-04 | 2021-08-10 | 北京航空航天大学 | 一种基于视差法的近距飞机位姿测量方法 |
CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
CN109495641A (zh) * | 2018-10-24 | 2019-03-19 | 维沃移动通信有限公司 | 一种提醒方法及移动终端 |
CN109993785B (zh) * | 2019-03-27 | 2020-11-17 | 青岛小鸟看看科技有限公司 | 一种货箱内装载货物体积的测量方法和深度相机模组 |
CN109916301A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种体积测量方法和深度相机模组 |
CN109916302A (zh) * | 2019-03-27 | 2019-06-21 | 青岛小鸟看看科技有限公司 | 一种载货箱体的体积测量方法和系统 |
CN109993785A (zh) * | 2019-03-27 | 2019-07-09 | 青岛小鸟看看科技有限公司 | 一种货箱体积测量方法和深度相机模组 |
CN110243307A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量系统 |
CN110487206A (zh) * | 2019-08-07 | 2019-11-22 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
CN110487206B (zh) * | 2019-08-07 | 2024-04-26 | 无锡弋宸智图科技有限公司 | 一种测量孔探仪、数据处理方法及装置 |
CN110619617A (zh) * | 2019-09-27 | 2019-12-27 | 中国科学院长春光学精密机械与物理研究所 | 三维成像方法、装置、设备及计算机可读存储介质 |
CN110619617B (zh) * | 2019-09-27 | 2022-05-27 | 中国科学院长春光学精密机械与物理研究所 | 三维成像方法、装置、设备及计算机可读存储介质 |
CN110794422A (zh) * | 2019-10-08 | 2020-02-14 | 歌尔股份有限公司 | 一种含有tof成像模组的机器人数据采集系统及方法 |
CN110956664A (zh) * | 2019-12-17 | 2020-04-03 | 武汉易维晟医疗科技有限公司 | 一种手持式三维扫描系统的相机位置实时重定位方法 |
CN110956664B (zh) * | 2019-12-17 | 2023-06-16 | 武汉易维晟医疗科技有限公司 | 一种手持式三维扫描系统的相机位置实时重定位方法 |
CN113119099A (zh) * | 2019-12-30 | 2021-07-16 | 深圳富泰宏精密工业有限公司 | 计算机装置、控制机械手臂夹取和放置物件的方法 |
WO2021203883A1 (zh) * | 2020-04-10 | 2021-10-14 | 杭州思看科技有限公司 | 三维扫描方法、三维扫描系统和计算机可读存储介质 |
CN111885333A (zh) * | 2020-06-15 | 2020-11-03 | 东方通信股份有限公司 | 一种采集三维音视频及运动姿态的装置及方法 |
CN112325793A (zh) * | 2020-09-30 | 2021-02-05 | 张成林 | 防伪检测方法、装置及多目相机 |
CN113689539A (zh) * | 2021-07-06 | 2021-11-23 | 清华大学 | 基于隐式光流场的动态场景实时三维重建方法与装置 |
CN113689539B (zh) * | 2021-07-06 | 2024-04-19 | 清华大学 | 基于隐式光流场的动态场景实时三维重建方法 |
CN114239624A (zh) * | 2021-12-17 | 2022-03-25 | 深圳迎凯生物科技有限公司 | 测试方法 |
CN114239624B (zh) * | 2021-12-17 | 2024-04-30 | 深圳迎凯生物科技有限公司 | 测试方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106898022A (zh) | 一种手持式快速三维扫描系统及方法 | |
CN106875493B (zh) | Ar眼镜中虚拟目标物的叠加方法 | |
US20220122323A1 (en) | Method for rendering 2d and 3d data within a 3d virtual environment | |
JP6974873B2 (ja) | シーンから深度情報を取得するための装置および方法 | |
CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
US9322646B2 (en) | Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning | |
CN105157566B (zh) | 三维立体彩色点云扫描的方法 | |
KR100380819B1 (ko) | 3-d 가상 이미지를 만들기 위한 상대적 카메라오리엔테이션 위치를 결정하기 위한 방법 | |
US7271377B2 (en) | Calibration ring for developing and aligning view dependent image maps with 3-D surface data | |
CN110223379A (zh) | 基于激光雷达的三维点云重建方法 | |
CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
CA2568617C (en) | Digital 3d/360 degree camera system | |
US7098435B2 (en) | Method and apparatus for scanning three-dimensional objects | |
CN102679959B (zh) | 基于主动全景视觉传感器的全方位三维建模系统 | |
CN103971404A (zh) | 一种高性价比的3d实景复制装置 | |
US20020113865A1 (en) | Image processing method and apparatus | |
CN103729883A (zh) | 一种三维环境信息采集与重构系统及方法 | |
CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
CN110243307A (zh) | 一种自动化三维彩色成像与测量系统 | |
CN114543787B (zh) | 基于条纹投影轮廓术的毫米级室内建图定位方法 | |
CN111811462A (zh) | 极端环境下大构件便携式视觉测距系统及方法 | |
Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
CN109064550A (zh) | 一种人体扫描建模方法 | |
Wong et al. | 3D object model reconstruction from image sequence based on photometric consistency in volume space | |
KR20010087493A (ko) | 암반절취면의 형상을 측량하는 장치(영상측량기) 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170627 |
|
WD01 | Invention patent application deemed withdrawn after publication |