CN107202554B - 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 - Google Patents

同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 Download PDF

Info

Publication number
CN107202554B
CN107202554B CN201710546383.6A CN201710546383A CN107202554B CN 107202554 B CN107202554 B CN 107202554B CN 201710546383 A CN201710546383 A CN 201710546383A CN 107202554 B CN107202554 B CN 107202554B
Authority
CN
China
Prior art keywords
photogrammetric
camera
scanning
module
wave band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710546383.6A
Other languages
English (en)
Other versions
CN107202554A (zh
Inventor
郑俊
陈尚俭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scantech Hangzhou Co Ltd
Original Assignee
Hangzhou Sikan Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Sikan Science & Technology Co Ltd filed Critical Hangzhou Sikan Science & Technology Co Ltd
Priority to CN201710546383.6A priority Critical patent/CN107202554B/zh
Publication of CN107202554A publication Critical patent/CN107202554A/zh
Priority to KR1020207003444A priority patent/KR102209255B1/ko
Priority to US16/628,967 priority patent/US10914576B2/en
Priority to EP18827623.2A priority patent/EP3650807B1/en
Priority to PCT/CN2018/089863 priority patent/WO2019007180A1/zh
Application granted granted Critical
Publication of CN107202554B publication Critical patent/CN107202554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,包括两个位置固定的摄像头、至少一个图案投影器、摄影测量模块和三维扫描模块,所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头;所述摄影测量模块用于使用所述复用摄像头对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标;所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息,使用所述两个摄像头和一个图案投影器对被测物体进行三维扫描并得到物体表面的三维轮廓数据。本发明兼有全局摄影测量和三维扫描功能、硬件集成度高、操作使用简便、性价比高。

Description

同时具备摄影测量和三维扫描功能的手持式大尺度三维测量 扫描仪系统
技术领域
本发明属于三维测量扫描设备,尤其涉及一种手持式三维测量扫描仪系统。
背景技术
近年来随着计算机硬件性能的不断增加,以及通讯速度的不断提升,使得三维扫描技术也随之不断的迭代更新,从接触式,到固定拍照式再到手持式。手持三维扫描技术主要是从固定式扫描技术的基础上发展而来,手持式三维扫描仪区别于固定式三维扫描的主要特点是扫描仪和被扫描物体之间相对位置可以动态任意变化,即扫描仪需要实时知道自己与被扫描物体的相对空间位置,同时再利用立体视觉原理主动或被动的获得被测物体表面的三维轮廓数据。
目前市面上的手持三维扫描仪主要分为面向消费领域的手持白光式三维扫描仪和面向工业邻域的手持式激光三维扫描仪两大类,前者是利用记录和匹配物体表面的几何特征或者纹理特征来获得扫描仪和被扫描物体的相对空间位置(如专利200880119267.5《组合式目标捕获系统和显示设备以及相关方法》中所描述的系统);后者是通过识别匹配贴附在扫描物体表面的标记点的拓扑来获得扫描仪和被扫描物体的相对空间位置。在专利US7912673《Auto-referenced system and apparatus for three-dimensionalscanning》中提出了一种基于标记点拼接定位的双摄像头三维扫描系统就是一种手持式激光三维扫描仪的实现方法。该类方法利用实时拍摄获得的若干标记点信息与之前获得的标记点集合进行匹配、拼接、累积更新来实现在扫描仪和被测物体的位置变化后其获得的被测物体三维轮廓数据转换到原始的物体坐标系,从而实现手持方式的连续的三维扫描。从理论上而言,该方法可以扫描无限大的物体,但由于新获得的标记点在拼接时会产生误差导致在扫描的面积不断的增加时该误差被不断的累积。一般而言,这种手持三维扫描仪的每米的累积误差在0.1~0.3mm左右,因此在扫描的面积大于10m2的时候(比如汽车乃至飞机大小的物体),累积的误差可能就到达毫米级别。在另一个专利201410794661.6《一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备》中提出的一种基于标记点跟踪定位的单摄像头三维扫描系统也是一种形式的手持式激光三维扫描仪的实现方法,该专利提出了利用单个摄像头视野中跟踪已知的标记点来定位仪器与被测物体的空间位置关系,再识别获得未知标记点的三维坐标,并加入标记点库。该方法巧妙的实现了单相机的手持三维扫描,相比专利200680014069.3《三维扫描自动参考系统》的方法提高了系统的运行效率,降低了硬件的性能要求,但对于测量误差的累积却依旧没有改善——在新的标记点加入时误差也随即被引入了。这些基于扫描时标记点累积来定位仪器和被扫描物体的手持三维扫描仪在扫描大型物体时,必须要另外的手段来控制其的累积误差。
目前比较有效的方法是用全局摄影测量系统配合手持三维扫描仪来进行大尺度物体的三维扫描。在三维扫描前,利用全局摄影测量系统来获得物体表面所有标记点的三维坐标,再将该标记点集合导入到手持三维扫描仪的软件中。在扫描时扫描仪获得的标记点直接与该事先导入的标记点集合进行匹配,得到当时扫描仪与被扫描物体的空间位置关系,最后通过识别投影到物体表面的结构化光线来获得物体轮廓的三维数据。在上述过程中,被扫描物体的表面标记点库不是通过手持式扫描仪在扫描过程中不断的边识别拼接边添加,而是事先通过全局摄影测量而得到的,因此消除了通过持续的匹配拼接而导致的累积误差。
发明内容
为了克服已有三维扫描方式的全局摄影测量和三维扫描分离、测量过程繁杂的不足,本发明提供了一种兼有全局摄影测量和三维扫描功能、硬件集成度高、操作使用简便、高性价比的手持式大尺度三维测量扫描仪系统,实现大型工件的摄影测量和三维扫描的连贯进行,并最终获得既能保证精度又能实现大面幅三维轮廓数据。
本发明解决其技术问题所采用的技术方案是:
一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,所述系统包括两个位置固定的摄像头、至少一个图案投影器、摄影测量模块和三维扫描模块,所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头;所述摄影测量模块用于使用所述复用摄像头对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标;所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息,使用所述两个摄像头和一个图案投影器对被测物体进行三维扫描并得到物体表面的三维轮廓数据。
进一步,所述的两个摄像头中,一个摄像头为复用摄像头,另一个摄像头为仅用于三维扫描的单用摄像头。这是常用的选择方案,当然,如有必要,两个摄像头也可以都采用复用摄像头。
更进一步,所述摄影测量模块和三维扫描模块使用两种不同波段的补光光源对被测物体表面进行补光,用于照亮放置或者粘贴在物体表面的标记点;所述的摄影测量模块采用波段1的补光光源对被测物体进行补光,而所述的三维扫描模块采用波段2的补光光源对被测物体进行补光;所述的复用摄像头采用双波段滤光片滤除波段1和波段2之外的其他光线,所述的单用摄像头采用单通滤光片滤除波段2之外的其他光线;所述的图案投影器以波段2在被测物体表面投射出图案。
优选的,所述波段1为红外波段,所述波段2为红光波段。所述摄影测量模块采用红外波段,即复用摄像头相应的波段1补光光源和复用摄像头采用的双波段滤光片的波段1为红外波段;三维扫描模块采用红光波段,即复用摄像头相应的波段2补光光源和复用摄像头采用的双波段滤光片的波段2以及单用摄像头的补光光源和滤光片为红光波段。当然,也可以选择其他不同的波段。
再进一步,在所述摄影测量模块工作时,所述的复用摄像头采用相对较高的默认分辨率;在所述三维扫描模块工作时,所述复用摄像头采用与所述单用摄像头相同或相近的相对较低的分辨率。
优选的,所述复用摄像头通过像素合并的方式或感兴趣区域ROI的方式来对其分辨率进行调节。当然,也可以采用其他方式。
所述的摄影测量模块的工作步骤是:1)在被测物体的表面放置含有编码信息的编码标记点、不含编码信息的非编码标记点以及两端为编码标记点的已知长度的标尺;2)利用所述的复用摄像头从不同的位置和角度对被测物体进行拍摄获得一组原始图片;3)将原始图片输入至第一2D图像提取器,获得每幅图像中的编码标记点和非编码标记点的图像二维坐标;4)通过第一3D重构器对编码标记点及标尺信息进行三维重建,得到每个编码标记点的在统一的世界坐标系下的空间三维坐标以及每幅图像的外方位;5)利用第一2D图像提取器所获得的非编码标记点的图像二维坐标和该图像的外方位,通过第二3D重构器计算获得非编码标记点在所述世界坐标系下的三维坐标。
所述三维扫描模块的工作步骤是:1)将两个摄像头同时获得的二维图像输入至第二2D图像提取器,获得每幅图像中的非编码标记点的图像二维坐标以及图案投影器所投射到被测物体表面的特征点的图像二维坐标;2)将两幅同步获得的图像中的非编码标记点的图像二维坐标及已知的两个相机的位置关系输入至第三3D重构器以获得当前仪器坐标系下的当前非编码标记点的三维坐标;3)将上一步获得的仪器坐标系下的当前非编码标记点的三维坐标输入至标记点匹配器,所述标记点匹配器将输入的仪器坐标系下的标记点三维坐标拓扑特征与所述摄影测量模块获得的非编码标记点库进行匹配,从而得到所述世界坐标系下的当前非编码标记点的三维坐标,进一步获得当前仪器坐标系转换到世界坐标系RT转换矩阵;4)第二2D图像提取器所获得的图案投影器所投射到被测物体表面的特征点的图像二维坐标输入至第四3D重构器,计算获得被测物体表面在仪器坐标系下的三维点云坐标数据;5)利用步骤3得到的RT转换矩阵通过坐标转换器将上一步骤输出的三维点云从仪器坐标系转换到世界坐标系。
所述的三维扫描模块既可以利用所述的摄影测量模块所获得的物体表面标记点的三维坐标表信息作为已知的被测物体标记点库,在三维扫描时对拍摄获得的物体表面的标记点与标记点库进行匹配而获得扫描仪和被测物体的空间位置定位,再对图案投影器投射到被测物体表面的图案进行识别而获得被测物体表面的三维轮廓数据;三维扫描模块也可以使用两个摄像头通过不断的识别、拼接并添加标记点方式来实时动态构建标记点库,并同时将当前获得的标记点与标记点库进行匹配而获得扫描仪和被测物体的空间位置定位,再对图案投影器投射到被测物体表面的图案进行识别和坐标变换从而获得被测物体表面的三维轮廓数据。
本发明的技术构思为:最大程度的复用硬件资源,实现大型工件的摄影测量和三维扫描的连贯进行,并最终获得既能保证精度又能实现大面幅三维轮廓数据。最直接的方法是系统采用三个摄像头,其中两个用于三维扫描,另一个专门用于摄影测量,但这样会导致无论是在摄影测量阶段和三维扫描阶段,都会有摄像头空闲,整个系统的重量会因此变得不适合手持操作,也会增加整体的硬件成本。为采用更少的硬件来实现摄影测量和手持三维扫描的融合,两个摄像头是比价性价比很高的可行方案,但摄影测量和三维扫描对摄像头的要求并不十分一致。
由于摄影测量需要在每幅拍摄的图片中包含越多的编码标记点、每个标记点的分辨率越高就会有更好的整体精度,因此需要的很高分辨率的摄像头作为复用摄像头,一般需要300万像素以上会比较适合。但复用摄像头在三维扫描时却并不用如此高的分辨率,其原因一是因为手持扫描时离被测的距离较摄影测量近,二是现阶段数据传输和处理的硬件性能还很难达到两路均为较高的分辨率的要求,目前市面上的双摄像头的手持扫描仪的摄像头分辨率在200万以下。为实现摄影测量和三维扫描复用摄像头,可以利用复用摄像头在三维扫描的时候用像素合并的功能,即高分辨率的复用摄像头的分辨率调整成与单用摄像头相同或者相近的分辨率;而在摄影测量时使用其默认的高分辨率进行测量。
由于摄影测量通常需要离被测物体更远的距离以获得更大的拍摄面幅,一般在1.5m到4.5m之间;而手持三维扫描时却需要离被测物体相对近一些以获得更好的扫描细节,一般在0.2m到0.5m之间。也就是说复用摄像头在三维扫描时的对焦距离要小于摄影测量时的对焦距离,这对于扫描仪的摄像头必须在出厂前将其镜头对焦距离和光圈等参数都已经调节固定并标定出内参而言是很难通过机械、硬件或者软件的方式来实现在扫描测量时根据用途进行修改。为达到这个目的,一个很有效的方法是根据同一个镜头在定焦定光圈的前提下波长越长对焦的距离也越远的原理(当然,目前的镜头的制作工艺一定程度上消除了不同波段光线的偏移,但对于红外波段而言,补偿程度会小些),利用两种不同波段来实现两种拍摄对焦距离,从而实现摄像头的复用。由于摄影测量通常需要更远的距离,在本实例中采用850nm的红外波段来进行拍摄,由850nm波段的LED对被扫描物体进行补光,而复用摄像头通过可以穿透850nm波段的滤光片来获得现场图片;而三维扫描时却需要离被测物体相对较近,因而本实例中采用660nm的红色激光器来作为图案投影器的光源,由660nm的LED对被扫描物体进行补光,而两个摄像头通过可以穿透660nm波段的滤光片来获得现场图片。由于复用摄像头既用于摄影测量,又用于三维扫描,因此其配置的滤光片需要是850nm和660nm双波段的双通滤光片,以及该两种波段的LED进行补光。
本发明的有益效果主要表现在兼有全局摄影测量的大尺寸精度保证和三维扫描的细节特征高还原度、简化测量扫描过程、硬件集成度高。
附图说明
图1是同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统的实现方式示意图。
图2是手持式大尺度三维测量扫描仪系统的功能模块框图。
图3是手持式大尺度三维测量扫描仪系统的工作时序图,其中,(A)是摄影测量时序;(B)是三维扫描时序。
图4是标记点匹配示意图,其中,(A)是仪器坐标系下的当前帧标记点集合;(B)是世界坐标系下的标记点库。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图4,一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,所述系统包括两个位置固定的摄像头、至少一个图案投影器104、摄影测量模块和三维扫描模块,所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头101;所述系统具备既可以单独工作又可以关联工作的两个功能模块;所述摄影测量模块用于使用所述复用摄像头101对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标;所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息,使用所述两个摄像头和一个图案投影器104对被测物体进行三维扫描并得到物体表面的三维轮廓数据。
进一步,所述的两个摄像头中,一个摄像头为复用摄像头101,另一个摄像头为仅用于三维扫描的单用摄像头102。这是常用的选择方案,当然,如有必要,两个摄像头也可以都采用复用摄像头。
更进一步,所述摄影测量模块和三维扫描模块使用两种不同波段的补光光源对被测物体表面进行补光,用于照亮放置或者粘贴在物体表面的标记点;所述的摄影测量模块采用波段1的补光光源对被测物体进行补光,而所述的三维扫描模块采用波段2的补光光源对被测物体进行补光;所述的复用摄像头采用双波段滤光片滤除波段1和波段2之外的其他光线,所述的单用摄像头采用单通滤光片滤除波段2之外的其他光线;所述的图案投影器以波段2在被测物体表面投射出图案。
优选的,所述波段1为红外波段,所述波段2为红光波段。所述摄影测量模块采用红外波段,即复用摄像头相应的波段1补光光源和复用摄像头采用的双波段滤光片的波段1为红外波段;三维扫描模块采用红光波段,即复用摄像头相应的波段2补光光源和复用摄像头采用的双波段滤光片的波段2以及单用摄像头的补光光源和滤光片为红光波段。当然,也可以选择其他不同的波段。
再进一步,在所述摄影测量模块工作时,所述的复用摄像头采用相对较高的默认分辨率;在所述三维扫描模块工作时,所述复用摄像头采用与所述单用摄像头相同或相近的相对较低的分辨率。
优选的,所述复用摄像头通过像素合并的方式或感兴趣区域ROI的方式来对其分辨率进行调节。当然,也可以采用其他方式。
固定两个摄像头以及图案投影器的骨架结构件103用于保证两个摄像头和图案投影器的相对位置固定不变;图案投影器104可以是工作在波段2上的单线或者多线的线状激光,多线激光可以在每一帧产生更多的轮廓条纹从而提高扫描的效率,但必须需要特定的校验机制来识别激光线的序号(关于手持激光三维扫描系统用于校验多条激光的方法在专利文献201610824489.3《三维传感器系统及三维数据获取方法》中有详细描述);补光光源106为中心波段为波段2的LED,补光光源105为中心波段为波段1的LED,在摄影测量模块工作时仅启动复用摄像头的上的波段1的LED对现场进行补光操作,在三维扫描模块工作时,复用摄像头和单用摄像头上的波段2的LED同时对被测物体进行补光;107为波段1和波段2的双通滤光片,108为中心波段为波段2的单通滤光片。通过补光LED和滤光片以及图案投影器的配合,可以实现系统在全局摄影测量时工作在波段1,而在三维扫描时工作在波段2。
如图2所示,系统的摄影测量模块是通过如下步骤获得被测物体表面的非编码标记点的三维坐标:1)在被测物体的表面放置含有编码信息的编码标记点、不含编码信息的非编码标记点以及两端为编码标记点的已知长度的标尺;2)利用所述的复用摄像头从不同的位置和角度对被测物体进行拍摄获得一组原始图片201;3)将原始图片201输入至第一2D图像提取器,获得每幅图像中的编码标记点和非编码标记点的图像二维坐标211;4)通过第一3D重构器对编码标记点及标尺信息进行三维重建,得到每个编码标记点的在统一的世界坐标系下的空间三维坐标以及每幅图像的外方位213;5)利用第一2D图像提取器所获得的非编码标记点的图像二维坐标212和该图像的外方位213,通过第二3D重构器计算获得非编码标记点在所述世界坐标系下的三维坐标204。
如图2所示,三维扫描模块是通过如下步骤获得被测物体表面三维轮廓数据:1)将两个摄像头同时获得的二维图像202和203输入至第二2D图像提取器,获得每幅图像中的非编码标记点的图像二维坐标以及图案投影器所投射到被测物体表面的特征点的图像二维坐标221;2)将两幅同步获得的图像中的非编码标记点的图像二维坐标221及已知的两个相机的位置关系输入至第三3D重构器以获得当前仪器坐标系下的当前非编码标记点的三维坐标222;3)将上一步获得的仪器坐标系下的当前非编码标记点的三维坐标222输入至标记点匹配器,所述标记点匹配器将输入的仪器坐标系下的标记点三维坐标222的拓扑特征与所述摄影测量模块获得的非编码标记点库204(或者三维扫描模块在扫描时不断的识别、拼接并添加标记点方式来实时动态构建标记点库)进行匹配,从而得到所述世界坐标系下的当前非编码标记点的三维坐标,进一步获得当前仪器坐标系转换到世界坐标系RT转换矩阵223;4)第二2D图像提取器所获得的图案投影器所投射到被测物体表面的特征点的图像二维坐标输入224至第四3D重构器,计算获得被测物体表面在仪器坐标系下的三维点云坐标数据225;5)利用步骤3得到的RT转换矩阵223通过坐标转换器将上一步骤输出的三维点云225从仪器坐标系转换到世界坐标系。
如图3所示,摄影测量时由用户手动按一次按钮后触发复用摄像头抓取一帧图片,同时触发波段1的LED对被测物体进行闪烁补光,完成一次摄影测量的拍摄。三维扫描的工作时序是一个循环过程:首先系统根据设定的频率对两个摄像头进行同步触发,并同时触发波段2的LED对被测物体表面的非编码标记点进行补光以及触发图案投影器对被测物体表面投射纹理图案。
第一及第二图像提取器的一种实现方式是提取二维图像上的高光连通区域,再通过图像匹配算法对识别出编码标记点、非编码标记点、图案投影器所投射的轮廓线等特征,再获得图像上的标记点的中心坐标和轮廓线的中心线的坐标集合。这在很多文献可以找到详细的论述,比如专利申请号201610824489.3《三维传感器系统及三维数据获取方法》、利用专利号ZL201410794661.6《一种基于标记点轨迹跟踪的手持式激光三维道门方法及设备》都提到了相关的算法。
如图4所示,标记点匹配器中的标记点匹配算法的一种实现方式是将第三3D重构器所输入的在仪器坐标系下的每个标记点到周边一定距离范围内的相邻标记点的有向线段L1~Ln的关联参数(该实例中为距离一个参数)统计到一个数据结构中{D1,D2..Dn},该数据结构的每个元素是按照其值的大小进行排列存储。将该数据结构与之前摄影测量获得的世界坐标系下的标记点集合{W1,W2..WM}的各个标记点的关联参数按期值的大小进行排序的所有有序关联参数集合的集合{{D11,D12..D1n},{D21,D22..D2n}..{Dm1,Dm2..Dmn}}的每个子集进行比对(由于是标量比较,所以可以在两个坐标系下进行对比),找到一个相关性最大的标记点k作为匹配标记点。评估相关性的方法可以简单寻找最小的关联参数差值的统计值:最小的统计值说明这两个不同坐标系下的标记点与周围标记点的拓扑形态最为相近。当然,需要设置一个关联参数统计值的一个上限值H,如果则说明两者拓扑有明显差异,则判断为不关联。如果在摄影测量所获得的标记点集合{W1,W2..WM}中无法找到任何的关联标记点,则判断当前帧无法匹配。在得到的可能的关联标记点后再对其周围的标记点进行同样的评估,获得其邻域关联标记点集合中的关联标记点的个数来校验该标记点是否确定为匹配标记点。为了提高匹配的准确性,关联参数也可以将标记点自身的向量或者与周围点的有向线段的角度也加入评估,但这样会增加实时扫描时的计算资源的消耗。
全局摄影测量是十分成熟技术,比如德国专利DE19925462《Meβ-und Prüfsystemsowie Meβ-und Prüfverfahren für einen dreidimensionalenin Zusammenhangmit dessen Fertigung》、中国专利200710195582.3《目标点全局自动定位方法》等都对其或其的改进形式有详细的描述。其主要的原理是利用相机从不同角度拍摄多幅照片,再对获得的照片中识别出编码标记点进行重构,获得拍摄对应的这张照片时的相机外方位,系统中的第一3D重构器就是对应完成该该项功能;在得到相机的外方位后就可以对该幅照片中的非编码标记点进行重建和匹配,系统中的第二3D重构器就是对应完成该功能。

Claims (6)

1.一种同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:所述系统包括两个位置固定的摄像头、至少一个图案投影器、摄影测量模块和三维扫描模块,所述的两个摄像头中的至少一个摄像头为既用于摄影测量也用于三维扫描的复用摄像头;所述摄影测量模块用于使用所述复用摄像头对被测物件进行全局摄影测量并得到物体表面的标记点的三维坐标;所述三维扫描模块用于利用得到的标记点作为被测物体的全局定位信息,使用所述两个摄像头和一个图案投影器对被测物体进行三维扫描并得到物体表面的三维轮廓数据。
2.如权利要求1所述的同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:所述的两个摄像头中,一个摄像头为复用摄像头,另一个摄像头为仅用于三维扫描的单用摄像头。
3.如权利要求2所述的同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:所述摄影测量模块和三维扫描模块使用两种不同波段的补光光源对被测物体表面进行补光,用于照亮放置或者粘贴在物体表面的标记点;所述的摄影测量模块采用波段1的补光光源对被测物体进行补光,而所述的三维扫描模块采用波段2的补光光源对被测物体进行补光;所述的复用摄像头采用双波段滤光片滤除波段1和波段2之外的其他光线,所述的单用摄像头采用单通滤光片滤除波段2之外的其他光线;所述的图案投影器以波段2在被测物体表面投射出图案。
4.如权利要求3所述的同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:所述波段1为红外波段,所述波段2为红光波段。
5.如权利要求2~4之一所述的同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:在所述摄影测量模块工作时,所述的复用摄像头采用相对较高的默认分辨率;在所述三维扫描模块工作时,所述复用摄像头采用与所述单用摄像头相同或相近的相对较低的分辨率。
6.如权利要求5所述的同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统,其特征在于:所述复用摄像头通过像素合并的方式或感兴趣区域ROI的方式来对其分辨率进行调节。
CN201710546383.6A 2017-07-06 2017-07-06 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 Active CN107202554B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710546383.6A CN107202554B (zh) 2017-07-06 2017-07-06 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
KR1020207003444A KR102209255B1 (ko) 2017-07-06 2018-06-05 사진 측량 및 3 차원 스캔 기능을 동시에 갖는 핸드헬드 대형 3 차원 측정 스캐너 시스템
US16/628,967 US10914576B2 (en) 2017-07-06 2018-06-05 Handheld large-scale three-dimensional measurement scanner system simultaneously having photogrammetric and three-dimensional scanning functions
EP18827623.2A EP3650807B1 (en) 2017-07-06 2018-06-05 Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions
PCT/CN2018/089863 WO2019007180A1 (zh) 2017-07-06 2018-06-05 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710546383.6A CN107202554B (zh) 2017-07-06 2017-07-06 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统

Publications (2)

Publication Number Publication Date
CN107202554A CN107202554A (zh) 2017-09-26
CN107202554B true CN107202554B (zh) 2018-07-06

Family

ID=59910800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710546383.6A Active CN107202554B (zh) 2017-07-06 2017-07-06 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统

Country Status (5)

Country Link
US (1) US10914576B2 (zh)
EP (1) EP3650807B1 (zh)
KR (1) KR102209255B1 (zh)
CN (1) CN107202554B (zh)
WO (1) WO2019007180A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107202554B (zh) 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN107976157A (zh) * 2017-12-26 2018-05-01 天远三维(天津)科技有限公司 一种于获取物体表面三维形貌的无线手持式三维扫描设备
JP6880512B2 (ja) 2018-02-14 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及び3次元測定プログラム
CN108827245A (zh) * 2018-05-17 2018-11-16 北京林业大学 一种双镜头便携式林业调查设备
CN110608669A (zh) * 2018-06-15 2019-12-24 上海弼智仿生高科技有限公司 三维扫描方法、装置和系统
CN109031872B (zh) * 2018-07-30 2024-02-13 深圳阜时科技有限公司 一种光学投影模组及光学投影方法
CN111770281A (zh) 2018-07-30 2020-10-13 华为技术有限公司 时分复用补光成像装置和方法
CN109584352B (zh) * 2018-08-21 2021-01-12 先临三维科技股份有限公司 三维扫描的图像获取、处理方法、装置以及三维扫描设备
CN109900221A (zh) * 2019-04-12 2019-06-18 杭州思看科技有限公司 一种手持式三维扫描系统
KR102217215B1 (ko) * 2019-08-12 2021-02-18 한다희 스케일바를 이용한 3차원 모델 제작 서버 및 방법
CN110533009A (zh) * 2019-09-24 2019-12-03 广州魁科机电科技有限公司 大型工件三维扫描标识点智能识别方法及处理装置
CN111174728A (zh) * 2020-01-09 2020-05-19 武汉博雅弘拓科技有限公司 Rgb三维摄影扫描仪
CN111277811B (zh) * 2020-01-22 2021-11-09 上海爱德赞医疗科技有限公司 一种三维空间相机及其拍照方法
CN111524238B (zh) * 2020-04-23 2022-02-01 南京航空航天大学 一种基于编码点驱动的三维点云变形方法
EP3910287A1 (de) * 2020-05-14 2021-11-17 Fill Gesellschaft m.b.H. Verfahren und vorrichtung zur vermessung eines physischen objekts
CN111811431A (zh) * 2020-06-12 2020-10-23 北京天远三维科技股份有限公司 一种三维扫描仪、三维扫描系统及方法
ES2890302B2 (es) * 2020-07-02 2023-03-07 Ideko S Coop Sistema y proceso para el control de la incertidumbre de un medidor fotogrametrico
CN111982061B (zh) * 2020-07-15 2022-08-23 杭州晨安科技股份有限公司 一种基于不同焦距双目定焦摄像机的测距方法
CN112002010B (zh) * 2020-08-12 2023-07-21 中国人民解放军总医院 基于线激光扫描的损伤皮肤重建方法及重建系统
US11908162B2 (en) * 2020-12-23 2024-02-20 Faro Technologies, Inc. Line scanner having target-tracking and geometry-tracking modes
CN113063370B (zh) * 2021-03-10 2023-01-31 思看科技(杭州)股份有限公司 多波段扫描仪的标定方法、系统、电子装置和存储介质
CN113225447B (zh) * 2021-04-14 2024-03-26 思看科技(杭州)股份有限公司 三维扫描系统、数据处理方法、装置和计算机设备
KR102489494B1 (ko) 2021-04-26 2023-01-18 정내권 블록체인 기반의 탄소배출 부담금의 지불, 기여, 투자, 수익상환 산정플랫폼 및 산정방법
CN113310427B (zh) * 2021-05-18 2023-03-07 思看科技(杭州)股份有限公司 三维扫描系统和三维扫描方法
CN114111624B (zh) * 2021-10-28 2024-06-21 武汉中观自动化科技有限公司 一种带标记点投射装置的手持三维扫描方法、设备及介质
WO2023198283A1 (de) * 2022-04-13 2023-10-19 Carl Zeiss GOM Metrology GmbH Verfahren und vorrichtung zur photogrammetrischen vermessung
CN115435754B (zh) * 2022-08-03 2023-10-13 思看科技(杭州)股份有限公司 摄影测量方法、装置、三维扫描方法和三维扫描系统
CN115325959B (zh) * 2022-10-13 2023-03-07 思看科技(杭州)股份有限公司 一种三维扫描系统及方法
CN117372511B (zh) * 2023-12-05 2024-02-23 尚特杰电力科技有限公司 光伏组串定位方法、装置、系统及电子设备

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4702605A (en) * 1986-02-03 1987-10-27 Robotic Vision Systems, Inc. Rocker arm sensor
US4957369A (en) * 1989-01-23 1990-09-18 California Institute Of Technology Apparatus for measuring three-dimensional surface geometries
JP3414624B2 (ja) * 1997-09-16 2003-06-09 松下電器産業株式会社 実時間レンジファインダ
DE19925462C1 (de) 1999-06-02 2001-02-15 Daimler Chrysler Ag Meß- und Prüfsystem sowie Meß- und Prüfverfahren für einen dreidimensionalen Körper in Zusammenhang mit dessen Fertigung
WO2002010720A2 (en) * 2000-07-31 2002-02-07 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
KR100502560B1 (ko) 2002-07-25 2005-07-20 주식회사 솔루션닉스 광학식 마커를 이용한 3차원 측정 데이터 자동 정렬장치및 그 방법
JP2004110804A (ja) * 2002-08-28 2004-04-08 Fuji Xerox Co Ltd 3次元画像撮影装置及び方法
JP2004239886A (ja) * 2002-12-11 2004-08-26 Fuji Xerox Co Ltd 三次元画像撮像装置および方法
JP2005215917A (ja) * 2004-01-29 2005-08-11 Hitachi Plant Eng & Constr Co Ltd 施工図作成支援方法およびリプレースモデル作成方法
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
CA2600926C (en) 2005-03-11 2009-06-09 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US8082120B2 (en) * 2005-03-11 2011-12-20 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
CN100343625C (zh) * 2005-12-05 2007-10-17 天津大学 基于拼接靶的大型三维形体形貌测量拼接方法和装置
US9170097B2 (en) * 2008-04-01 2015-10-27 Perceptron, Inc. Hybrid system
JP5322206B2 (ja) * 2008-05-07 2013-10-23 国立大学法人 香川大学 3次元形状の計測方法および装置
CN102112845B (zh) * 2008-08-06 2013-09-11 形创有限公司 用于表面特征自适应性三维扫描的系统
US8582824B2 (en) * 2009-06-25 2013-11-12 Twin Coast Metrology Cell feature extraction and labeling thereof
CN102062588B (zh) * 2009-11-11 2012-07-04 中国科学院沈阳自动化研究所 一种计算机双目视觉义齿扫描装置及其三维重建方法
CN101706262B (zh) * 2009-11-19 2011-05-25 天津大学 面向超大型空间复杂曲面的无干扰精密测量方法
CA2686904C (en) * 2009-12-02 2012-04-24 Creaform Inc. Hand-held self-referenced apparatus for three-dimensional scanning
CN101853528B (zh) * 2010-05-10 2011-12-07 沈阳雅克科技有限公司 一种手持式三维型面信息提取方法及其提取仪
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
DE102011011360A1 (de) * 2011-02-16 2012-08-16 Steinbichler Optotechnik Gmbh Vorrichtung und Verfahren zur Bestimmung der 3-D-Koordinaten eines Objekts und zum Kalibrieren eines Industrieroboters
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9482529B2 (en) * 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
EP2527784A1 (de) * 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
WO2013096704A1 (en) * 2011-12-20 2013-06-27 Sadar 3D, Inc. Systems, apparatus, and methods for acquisition and use of image data
US9200899B2 (en) * 2012-03-22 2015-12-01 Virtek Vision International, Inc. Laser projection system and method
DE102012112321B4 (de) * 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102012112322B4 (de) * 2012-12-14 2015-11-05 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
DE202012104890U1 (de) * 2012-12-14 2013-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US20150070468A1 (en) * 2013-09-10 2015-03-12 Faro Technologies, Inc. Use of a three-dimensional imager's point cloud data to set the scale for photogrammetry
US10089415B2 (en) * 2013-12-19 2018-10-02 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
DE102013114707A1 (de) * 2013-12-20 2015-06-25 EXTEND3D GmbH Verfahren zur Durchführung und Kontrolle eines Bearbeitungsschritts an einem Werkstück
EP3149428A1 (en) * 2014-05-29 2017-04-05 Northwestern University Motion contrast depth scanning
CN104165600B (zh) * 2014-07-03 2016-10-05 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统
US9602811B2 (en) * 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US9693040B2 (en) * 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
WO2016040271A1 (en) * 2014-09-10 2016-03-17 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
DE102014013677B4 (de) * 2014-09-10 2017-06-22 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
US9671221B2 (en) * 2014-09-10 2017-06-06 Faro Technologies, Inc. Portable device for optically measuring three-dimensional coordinates
DE102014013678B3 (de) * 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
CN104501740B (zh) * 2014-12-18 2017-05-10 杭州鼎热科技有限公司 一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备
EP3179205B1 (en) * 2015-05-29 2018-09-05 Nippon Steel & Sumitomo Metal Corporation Metal body shape inspection apparatus and metal body shape inspection method
CN104964656A (zh) * 2015-06-26 2015-10-07 天津大学 基于惯性导航的自定位流动式快速扫描测量装置及方法
US10455216B2 (en) * 2015-08-19 2019-10-22 Faro Technologies, Inc. Three-dimensional imager
US20170094251A1 (en) * 2015-09-30 2017-03-30 Faro Technologies, Inc. Three-dimensional imager that includes a dichroic camera
FR3044429B1 (fr) * 2015-11-26 2018-01-05 Ak Optique Procede de fabrication d'une monture de lunettes sur mesure
CN105547189B (zh) * 2015-12-14 2018-01-23 南京航空航天大学 基于变尺度的高精度光学三维测量方法
US10834377B2 (en) * 2016-08-29 2020-11-10 Faro Technologies, Inc. Forensic three-dimensional measurement device
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
US10458783B2 (en) * 2017-10-13 2019-10-29 Faro Technologies, Inc. Three-dimensional scanner having pixel memory
USD875573S1 (en) * 2018-09-26 2020-02-18 Hexagon Metrology, Inc. Scanning device

Also Published As

Publication number Publication date
US20200225030A1 (en) 2020-07-16
US10914576B2 (en) 2021-02-09
EP3650807A1 (en) 2020-05-13
CN107202554A (zh) 2017-09-26
WO2019007180A1 (zh) 2019-01-10
EP3650807B1 (en) 2023-02-22
KR20200016994A (ko) 2020-02-17
EP3650807A4 (en) 2021-04-28
KR102209255B1 (ko) 2021-01-29

Similar Documents

Publication Publication Date Title
CN107202554B (zh) 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
CN206905709U (zh) 手持式大尺度三维测量扫描仪
CN108151671B (zh) 一种三维数字成像传感器、三维扫描系统及其扫描方法
KR102096806B1 (ko) 3차원 센서 시스템 및 3차원 데이터 획득방법
CN106500628B (zh) 一种含有多个不同波长激光器的三维扫描方法及扫描仪
CN106500627B (zh) 含有多个不同波长激光器的三维扫描方法及扫描仪
CN108267097B (zh) 基于双目三维扫描系统的三维重构方法和装置
CN111623725B (zh) 一种跟踪式三维扫描系统
EP2870428B1 (en) System and method for 3d measurement of the surface geometry of an object
CN104197861B (zh) 基于结构光灰度向量的三维数字成像方法
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
WO2016037486A1 (zh) 人体三维成像方法及系统
CN109000582A (zh) 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN109900221A (zh) 一种手持式三维扫描系统
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
CN107783353A (zh) 用于捕捉立体影像的装置及系统
CN110084243A (zh) 一种基于二维码和单目相机的档案识别与定位方法
CN105844633A (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN106068646A (zh) 深度图生成方法、装置和非短暂性计算机可读介质
CN105844701A (zh) 序列图像三维建模方法
CN111811431A (zh) 一种三维扫描仪、三维扫描系统及方法
Wenzel et al. High-resolution surface reconstruction from imagery for close range cultural Heritage applications
Beltran et al. A comparison between active and passive 3d vision sensors: Bumblebeexb3 and Microsoft Kinect
CN117073579A (zh) 基于条纹投影结构光双目三维测量系统与方法
CN116433573A (zh) 光场散斑成像的飞机表面积冰检测方法、重建系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 102, Unit 1, Building 12, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Patentee after: Sikan Technology (Hangzhou) Co.,Ltd.

Address before: Room 607, Building 4, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311121

Patentee before: HANGZHOU SCANTECH Co.

CP03 Change of name, title or address