CN112254679B - 一种多位置组合式3d采集系统及方法 - Google Patents
一种多位置组合式3d采集系统及方法 Download PDFInfo
- Publication number
- CN112254679B CN112254679B CN202011106003.5A CN202011106003A CN112254679B CN 112254679 B CN112254679 B CN 112254679B CN 202011106003 A CN202011106003 A CN 202011106003A CN 112254679 B CN112254679 B CN 112254679B
- Authority
- CN
- China
- Prior art keywords
- acquisition
- image
- type
- target object
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000015572 biosynthetic process Effects 0.000 claims description 25
- 238000003786 synthesis reaction Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 102000027426 receptor tyrosine kinases Human genes 0.000 description 1
- 108091008598 receptor tyrosine kinases Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供了一种多位置组合式3D采集系统及方法,包括多个3D采集设备,在所述多个3D采集设备中,每个3D采集设备在目标物上的采集范围都至少分别与其他两个3D采集设备在目标物上的采集范围有重叠;所述3D采集设备包括图像采集装置、旋转装置;其中图像采集装置的采集方向为背离旋转中心方向。首次提出在多个位置设置单个自转式3D采集设备,从而共同构成一套完整的多位置组合式3D采集系统。实现对于复杂表面的内部空间或大范围目标物的采集。
Description
技术领域
本发明涉及形貌测量技术领域,特别涉及3D形貌测量技术领域。
背景技术
在进行3D测量时,需要首先采集3D信息。目前常用的方法包括使用机器视觉的方式和结构光、激光测距、激光雷达的方式。
结构光、激光测距、激光雷达的方式均需要主动光源发射到目标物上,在某些情况下会对目标物造成影响,且光源成本较高。并且光源结构比较精密,易于损坏。
而机器视觉的方式是采集物体不同角度的图片,并将这些图片匹配拼接形成3D模型,成本低、易使用。其在采集不同角度图片时,可以待测物不同角度设置多个相机,也可以通过单个或多个相机旋转从不同角度采集图片。但无论这两种方式哪一种,都需要将相机的采集位置围绕目标物设置(简称环绕式),但这种方式需要较大空间为图像采集装置设置采集位置。
而且,除了单一目标物3D构建外,通常还有目标物内部空间3D模型构建需求和周边较大视场范围内的3D模型构建的需求,这是传统环绕式3D采集设备所很难做到的。特别是在内部空间或大视场范围内目标物表面较为复杂(体现在表面凹凸不平且凹凸较深),此时在单一位置进行采集难以覆盖表面凹坑或凸起的每个部分,从而导致最终合成时难以获得完整3D模型,甚至合成失败,或合成时间延长。
在现有技术中,也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置,从而兼顾合成速度和效果。然而在实际应用中发现这在环绕式3D采集中是可行的,可以事先测量目标物尺寸。但在开放式的空间中则难以事先测量目标物,例如需要采集获得街道、交通路口、楼群、隧道、车流等的3D信息(不限于此)。这使得这种方法难以奏效。即使是固定的较小的目标物,例如家具、人身体部分等虽然可以事先测量其尺寸,但这种方法依然受到较大限制:目标物尺寸难以准确确定,特别是某些应用场合目标物需要频繁更换,每次测量带来大量额外工作量,并且需要专业设备才能准确测量不规则目标物。测量的误差导致相机位置设定误差,从而会影响采集合成速度和效果;准确度和速度还需要进一步提高。
现有技术虽然也有对于环绕式采集设备优化的方法,但当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时,现有技术就没有更佳的优化方法。
因此,急需一种能够精确、高效、方便采集周边或内部空间复杂的3D信息的装置。
发明内容
鉴于上述问题,提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的一种多位置组合式3D采集系统及方法。
本发明实施例提供了一种多位置组合式3D采集系统及方法,包括多个3D采集设备,
在所述多个3D采集设备中,每个3D采集设备在目标物上的采集范围都至少分别与其他两个3D采集设备在目标物上的采集范围有重叠;
所述3D采集设备包括图像采集装置、旋转装置;其中图像采集装置的采集方向为背离旋转中心方向。
在可选的实施例中,所述多个3D采集设备包括第一类3D采集设备和第二类3D采集设备。
在可选的实施例中,第一类3D采集设备采集范围之和能够覆盖目标物,第二类3D采集设备采集范围之和能够覆盖目标物的特定区域。
在可选的实施例中,所述多个3D采集设备包括第一类3D采集设备和第二类3D采集设备,第一类3D采集设备采集范围之和大于第二类3D采集设备采集范围之和。
在可选的实施例中,对于目标物的特定区域,采用第一类3D采集设备和第二类3D采集设备共同扫描采集。
在可选的实施例中,上述特定区域为用户指定区域。
在可选的实施例中,上述特定区域为前次合成失败区域。
在可选的实施例中,上述特定区域为轮廓凹凸变化较大区域。
在可选的实施例中,图像采集装置在相邻的两个采集位置的光轴的夹角α满足如下条件:
其中,R为旋转中心到目标物表面的距离,T为采集时物距与像距的和,d为图像采集装置的感光元件的长度或宽度,F为图像采集装置的镜头焦距,u为经验系数。
在可选的实施例中,u<0.498,或u<0.41,或u<0.359,或u<0.281,或u<0.169,或u<0.041,或u<0.028。
本发明实施例另一方面还提供了一种3D合成/识别装置及方法,包括上述任一权利要求所述的系统及方法。
本发明实施例的另一方面还提供了一种物体制造/展示装置及方法,包括上述任一权利要求所述的系统及方法。
发明点及技术效果
1、首次提出利用自转式智能视觉3D采集设备采集目标物内部空间的3D信息,适用于更开阔的空间和更细小的空间。
2、首次提出通过测量旋转中心与目标物距离、图像传感元件与目标物距离的方式优化相机采集位置,从而兼顾3D构建的速度和效果。
3、首次提出在多个位置设置单个自转式3D采集设备,从而共同构成一套完整的多位置组合式3D采集系统。实现对于复杂表面的内部空间或大范围目标物的采集。
4、首次提出对于凹凸变化较大区域,进行多位置重复扫描,保证合成率。即通过两类采集设备的设置,对于特定区域进行特定扫描采集,从而实现对于复杂物体的准确、高效采集。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的3D信息采集设备的结构示意图;
图2示出了本发明实施例提供的多位置组合式3D采集系统的示意图;
图3示出了本发明实施例提供的多位置组合式3D采集系统对于特定区域的采集示意图。
附图中的附图标记与各部件的对应关系如下:
1图像采集装置;
2旋转装置;
3承载装置。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
3D信息采集设备结构
为解决上述技术问题,本发明的一实施例提供了一种多位置组合式3D采集系统,包括3D信息采集设备,如图1所示,包括图像采集装置1、旋转装置2、承载装置3。
其中图像采集装置1与旋转装置2的旋转轴连接,由旋转装置2带动其转动。图像采集装置1的采集方向为背离旋转中心方向。即采集方向为指向相对于旋转中心向外。图像采集装置1的光轴可以与旋转平面平行,也可以与旋转平面成一定夹角,例如在以旋转平面为基准-90°-90°的范围内均是可以的。通常旋转轴或其延长线(即旋转中心线)通过图像采集装置,即图像采集装置仍然以自转方式转动。这与传统的图像采集装置围绕某一目标物进行旋转的采集方式(环绕式)本质不同,即与环绕目标物转动的环绕式完全不同。图像采集装置的光学采集口(例如镜头)均背向旋转轴方向,也就是说图像采集装置的采集区与旋转中心线无交集。同时由于图像采集装置的光轴与水平面具有夹角,因此这种方式与一般的自转式也有较大差别,特别是能够采集表面与水平面不垂直的目标物。
当然,旋转装置的旋转轴也可以通过减速装置与图像采集装置连接,例如通过齿轮组等。当图像采集装置在水平面进行360°的旋转时,其在特定位置拍摄对应目标物的图像(具体拍摄位置后续将详细描述)。这种拍摄可以是与旋转动作同步进行,或是在拍摄位置停止旋转后进行拍摄,拍摄完毕后继续旋转,以此类推。上述旋转装置可以为电机、马达、步进电机、伺服电机、微型马达等。旋转装置(例如各类电机)可以在控制器的控制下按照规定速度转动,并且可以转动规定角度,从而实现采集位置的优化,具体采集位置下面将详细说明。当然也可以使用现有设备中的旋转装置,将图像采集装置安装其上即可。
承载装置3用来承载整个设备的重量,旋转装置2与承载装置3连接。承载装置可以为三脚架、带有支撑装置的底座等。通常情况下,旋转装置位于承载装置的中心部分,以保证平衡。但在一些特殊场合中,也可以位于承载装置任意位置。而且承载装置并不是必须的。旋转装置可以直接安装于应用设备中,例如可以安装于车辆顶部。
还包括测距装置,测距装置与图像采集装置固定连接,且测距装置指向方向与图像采集装置光轴方向相同。当然测距装置也可以固定连接于旋转装置上,只要可以随图像采集装置同步转动即可。优选的,可以设置安装平台,图像采集装置和测距装置均位于平台上,平台安装于旋转装置旋转轴上,由旋转装置驱动转动。测距装置可以使用激光测距仪、超声测距仪、电磁波测距仪等多种方式,也可以使用传统的机械量具测距装置。当然,在某些应用场合中,3D采集设备位于特定位置,其与目标物的距离已经标定,无需额外测量。
还可以包括光源,光源可以设置于图像采集装置周边、旋转装置上以及安装平台上。当然光源也可以单独设置,例如使用独立光源照射目标物。甚至在光照条件较好的时候不使用光源。光源可以为LED光源,也可以为智能光源,即根据目标物及环境光的情况自动调整光源参数。通常情况下,光源位于图像采集装置的镜头周边分散式分布,例如光源为在镜头周边的环形LED灯。由于在一些应用中需要控制光源强度。特别是可以在光源的光路上设置柔光装置,例如为柔光外壳。或者直接采用LED面光源,不仅光线比较柔和,而且发光更为均匀。更佳地,可以采用OLED光源,体积更小,光线更加柔和,并且具有柔性特性,可以贴附于弯曲的表面。
为了方便目标物的实际尺寸测量,可在目标物位置设置多个标记点。并且这些标记点的坐标已知。通过采集标记点,并结合其坐标,获得3D合成模型的绝对尺寸。这些标记点可以为事先设置的点,也可以是激光光点。确定这些点的坐标的方法可以包括:①使用激光测距:使用标定装置向着目标物发射激光,形成多个标定点光斑,通过标定装置中激光测距单元的已知位置关系获得标定点坐标。使用标定装置向着目标物发射激光,使得标定装置中的激光测距单元发射的光束落在目标物上形成光斑。由于激光测距单元发射的激光束相互平行,且各个单元之间的位置关系已知。那么在目标物上形成的多个光斑的在发射平面的二维坐标就可以得到。通过激光测距单元发射的激光束进行测量,可以获得每个激光测距单元与对应光斑之间的距离,即相当于在目标物上形成的多个光斑的深度信息可以获得。即垂直于发射平面的深度坐标就可以得到。由此,可以获得每个光斑的三维坐标。②使用测距与测角结合:分别测量多个标记点的距离以及相互之间的夹角,从而算出各自坐标。③使用其它坐标测量工具:例如RTK、全球坐标定位系统、星敏定位系统、位置和位姿传感器等。
多位置组合式3D采集系统
如图2所示,采集系统包括多个上述3D信息采集设备a、b、c…,它们分别位于不同的空间位置。其中采集设备a的采集范围包括A区域,采集设备b的采集范围包括B区域,采集设备c的采集范围包括C区域…以此类推。它们的采集区域至少满足两两采集区域之间交集不为空。特别的,所述不为空的交集应当位于目标物上。即每个采集设备都至少分别与其他两个采集设备的采集范围有重叠,特别是每个采集设备在目标物上的采集范围都至少分别与其他两个采集设备在目标物上的采集范围有重叠。
无论是内部空间还是大范围视场中的目标物,它们均可能具有表面较为复杂的区域,称之为特定区域。这些区域或是有向内凹陷的深孔/深坑,或是具有向外突出的较高的凸起,或是两者兼具,从而构成了表面凹凸不平程度较大。这给在一个方向采集的采集设备带来了挑战。由于凹陷和凸起的原因,导致设备无论设置在哪个位置,通过旋转扫描也只能从单一方向采集目标物该特定区域,从而导致该特定区域的信息大量丢失。
因此可以设置多个位置的采集设备均扫描采集该特定区域,从而使得从不同角度获得该区域的信息。例如A区域和B区域的交集包括该特定区域;A区域、B区域、C区域的共同交集包括该特定区域;A区域和B区域的交集以及C区域和D区域的交集均包括该特定区域等等。也就是说,该特定区域被重复扫描,又可以称为重复扫描区,即该特定区域被多个采集设备扫描采集。以上情况包括两个及两个以上的采集设备的采集区域的交集包括该特定区域;两个及两个以上的采集设备的采集区域的交集,和,其他的两个及两个以上的采集设备的采集区域的交集,均包括该特定区域。
上述特定区域可以根据前次3D合成情况分析得到,例如前次3D合成失败或失败率较高的区域;也可以根据操作人员的经验事先划定,例如凹凸起伏变化较大的区域,或凹凸程度较大的区域等,即具有凹凸起伏变化的区域,或凹凸起伏变化度大于预设阈值的区域。
3D信息采集流程
1、根据目标物尺寸、位置选择第一类3D信息采集设备的数量,并为每个3D信息采集设备安排位置。
(1)根据目标物采集要求,设定3D信息采集设备能够放置的位置,确定3D信息采集设备与目标物之间的距离。
(2)根据目标物尺寸、上述距离和多个3D信息采集设备a、b、c…的采集范围A、B、C…选择3D信息采集设备数量,使得3D信息采集设备的采集范围之和能够覆盖目标物。但通常情况下,不仅要求3D信息采集设备的采集范围之和能够覆盖目标物尺寸,而且在相邻3D信息采集设备的采集范围有交叠的情况下,它们的采集范围之和依然能够覆盖目标物尺寸。例如,交叠范围占采集范围10%以上。
(3)将选择的多个3D信息采集设备a、b、c…相对均匀布置在距目标物上述距离的位置,从而保证多个3D信息采集设备a、b、c…的采集区域能够覆盖目标物。
2、根据目标物特定区域的尺寸、数量、位置设置第二类3D信息采集设备的数量,并为每个3D信息采集设备安排位置。
(1)确定目标物特定区域的数量、位置。确定的方式包括根据预先的资料,或根据目视的结果,或根据前次采集中未合成的区域分布。
(2)根据目标物特定区域的尺寸,为每个特定区域安排一个或多个第二类3D信息采集设备,使得它们的采集范围能够覆盖该特定区域。
(3)根据目标物特定区域的数量、位置以及每个特定区域所需要的第二类3D信息采集设备数量,确定第二类3D信息采集设备的数量,并为每个3D信息采集设备安排位置。如图3所示,通常情况下,一个或多个第二类3D信息采集设备是插入上述第一类3D信息采集设备之间,从而形成对第一类3D信息采集设备采集范围薄弱的区域进行重复采集,即对特定区域进行重复采集,形成重复扫描区。也可以将第二类3D信息采集设备设置于其他位置(例如靠目标物更近或更远),保证重复扫描区能够获得足够不同角度图片。
3、在第一类、第二类3D信息采集设备均布置完毕后,开始控制每个3D信息采集设备旋转扫描目标物,所述旋转满足对于3D信息采集设备的图像采集装置的优化条件。也就是说,可以通过控制器,按照上述条件控制每个3D信息采集设备的图像采集装置旋转。
4、将多个3D信息采集设备扫描采集获得的图片发送至处理器中,处理器利用上述多个图片进行目标物3D模型的合成建模。同样,上述多张图片还可以通过通讯装置送入远程平台、云平台、服务器、上位机和/或移动终端中,利用3D模型合成方法进行目标物的3D合成。
在另一种实施例中,除了上述描述的使用多个3D采集设备进行组合式采集外,可以理解,可以使用一个3D采集设备或有限个3D采集设备分别依次分时在上述设置的位置进行采集。也就是说,并不同时进行采集,而是分时在不同位置进行采集,并收集不同时间采集的图像,进行3D合成。这里所述的不同位置与上述为不同采集设备安排的位置相同。
相机位置的优化
为了保证设备能够兼顾3D合成的效果和效率,除了常规的优化合成算法的方法外,还可以通过优化相机采集位置的方法。特别是当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时,对于这种设备现有技术未提到如何进行相机位置的更佳的优化。即使存在的一些优化方法,其也是在不同实验下得到的不同的经验条件。特别是,现有的一些位置优化方法需要获得目标物的尺寸,这在环绕式3D采集中是可行的,可以事先测量完毕。但在开放式的空间中则难以事先测量得到。因此需要提出一种能够适用于当3D采集合成设备的相机的采集方向与其旋转轴方向相互背离的情况时进行相机位置优化的方法。这正是本发明所要解决的问题,和做出的技术贡献。
为此,本发明进行了大量实验,总结出在进行采集时相机采集的间隔优选满足的经验条件如下。
在进行3D采集时,图像采集装置在相邻的两个位置时其光轴的夹角α满足如下条件:
其中,
R为旋转中心到目标物表面的距离,
T为采集时物距与像距的和,也就是图像采集装置的感光单元与目标物的距离。
d为图像采集装置的感光元件(CCD)的长度或宽度,当上述两个位置是沿感光元件长度方向时,d取矩形长度;当上述两个位置是沿感光元件宽度方向时,d取矩形宽度。
F为图像采集装置的镜头焦距。
u为经验系数。
通常情况下,在采集设备上配置有测距装置,例如激光测距仪。将其光轴与图像采集装置的光轴调节平行,则其可以测量采集设备到目标物表面的距离,利用测量得到的距离,根据测距装置与采集设备各部件的已知位置关系,即可获得R和T。
图像采集装置在两个位置中的任何一个位置时,感光元件沿着光轴到目标物表面的距离作为T。除了这种方法外,也可以使用多次平均法或其他方法,其原则是T的值应当与采集时像距物距和不背离。
同样道理,图像采集装置在两个位置中的任何一个位置时,旋转中心沿着光轴到目标物表面的距离作为R。除了这种方法外,也可以使用多次平均法或其他方法,其原则是R的值应当与采集时旋转半径不背离。
通常情况下,现有技术中均采用物体尺寸作为推算相机位置的方式。由于物体尺寸会随着测量物体的变化而改变。例如,在进行一个大物体3D信息采集后,再进行小物体采集时,就需要重新测量尺寸,重新推算。上述不方便的测量以及多次重新测量都会带来测量的误差,从而导致相机位置推算错误。而本方案根据大量实验数据,给出了相机位置需要满足的经验条件,不需要直接测量物体大小尺寸。经验条件中d、F均为相机固定参数,在购买相机、镜头时,厂家即会给出相应参数,无需测量。而R、T仅为一个直线距离,用传统测量方法,例如直尺、激光测距仪均可以很便捷的测量得到。同时,由于本发明的设备中,图像采集装置(例如相机)的采集方向与其旋转轴方向相互背离,也就是说,镜头朝向与旋转中心大体相反。此时控制图像采集装置两次位置的光轴夹角α就更加容易,只需要控制旋转驱动电机的转角即可。因此,使用α来定义最优位置是更为合理的。因此,本发明的经验公式使得准备过程变得方便快捷,同时也提高了相机位置的排布准确度,使得相机能够设置在优化的位置中,从而在同时兼顾了3D合成精度和速度。
根据大量实验,为保证合成的速度和效果,u应当小于0.498,为了更佳的合成效果,优选u<0.411,特别是优选u<0.359,在一些应用场合下u<0.281,或u<0.169,或u<0.041,或u<0.028。
利用本发明装置,进行实验,部分实验数据如下所示,单位mm。(以下数据仅为有限举例)
以上数据仅为验证该公式条件所做实验得到的,并不对发明构成限定。即使没有这些数据,也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验,得到其他数据也是符合该公式条件的。
3D模型合成方法
图像采集装置采集获得的多个图像送入处理单元中,利用下述算法构建3D模型。所述处理单元可以位于采集设备中,也可以位于远程,例如云平台、服务器、上位机等。
具体算法主要包括如下步骤:
步骤1:对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。
式中:g(x,y)为原始影像在(x,y)处灰度值,f(x,y)为经过Wallis滤波器增强后该处的灰度值,mg为原始影像局部灰度均值,sg为原始影像局部灰度标准偏差,mf为变换后的影像局部灰度目标值,sf为变换后影像局部灰度标准偏差目标值。c∈(0,1)为影像方差的扩展常数,b∈(0,1)为影像亮度系数常数。
该滤波器可以大大增强影像中不同尺度的影像纹理模式,所以在提取影像的点特征时可以提高特征点的数量和精度,在照片特征匹配中则提高了匹配结果可靠性和精度。
步骤2:对输入的所有照片进行特征点提取,并进行特征点匹配,获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程,特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点,用箱式滤波器(Box Filters)来代替二阶高斯滤波,用积分图像来加速卷积以提高计算速度,并减少了局部影像特征描述符的维数,来加快匹配速度。主要步骤包括①构建Hessian矩阵,生成所有的兴趣点,用于特征提取,构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点);②构建尺度空间特征点定位,将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的特征点;③特征点主方向的确定,采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内,统计60度扇形内所有点的水平、垂直harr小波特征总和,然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后,最后将值最大的那个扇形的方向作为该特征点的主方向;④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块,但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向,把这4个值作为每个子块区域的特征向量,所以一共有4*4*4=64维向量作为Surf特征的描述子;⑤特征点匹配,通过计算两个特征点间的欧式距离来确定匹配度,欧氏距离越短,代表两个特征点的匹配度越好。
步骤3:输入匹配的特征点坐标,利用光束法平差,解算稀疏的目标物三维点云和拍照相机的位置和姿态数据,即获得了稀疏目标物模型三维点云和位置的模型坐标值;以稀疏特征点为初值,进行多视照片稠密匹配,获取得到密集点云数据。该过程主要有四个步骤:立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像,我们选择一张参考影像形成一个立体像对,用于计算深度图。因此我们可以得到所有影像的粗略的深度图,这些深度图可能包含噪声和错误,我们利用它的邻域深度图进行一致性检查,来优化每一张影像的深度图。最后进行深度图融合,得到整个场景的三维点云。
步骤4:利用密集点云进行目标物曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系,根据积分关系获得点云的向量场,计算指示函数梯度场的逼近,构成泊松方程。根据泊松方程使用矩阵迭代求出近似解,采用移动方体算法提取等值面,对所测点云重构出被测物体的模型。
步骤5:目标物模型的全自动纹理贴图。表面模型构建完成后,进行纹理贴图。主要过程包括:①纹理数据获取通过图像重建目标的表面三角面格网;②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像;③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系,将三角面聚类生成为若干参考图像纹理贴片;④纹理贴片自动排序生成纹理图像。对生成的纹理贴片,按照其大小关系进行排序,生成包围面积最小的纹理图像,得到每个三角面的纹理映射坐标。
应当注意,上述算法是本发明使用的算法,本算法与图像采集条件相互配合,使用该算法兼顾了合成的时间和质量。但可以理解,同样可以使用现有技术中常规3D合成算法也可以与本发明的方案进行配合使用。
应用实例
为了构建某一展览馆内部3D模型,可以将3D采集设备放置在屋内底板上,通过旋转采集建筑物多张图像,再移动采集设备至多个屋内位置多次旋转采集,根据合成算法进行3D模型合成,从而构建屋内的3D模型,便于后续装修、展示。
上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体,也可以为多个物体组成物。。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维,但实际上只包括二维信息,特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集装置1(例如相机)能够拍摄的范围。本发明中的图像采集装置1可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (13)
2.如权利要求1所述的系统,其特征在于:所述多个3D采集设备包括第一类3D采集设备和第二类3D采集设备。
3.如权利要求2所述的系统,其特征在于:第一类3D采集设备采集范围之和能够覆盖目标物,第二类3D采集设备采集范围之和能够覆盖目标物的特定区域。
4.如权利要求2所述的系统,其特征在于:所述多个3D采集设备包括第一类3D采集设备和第二类3D采集设备,第一类3D采集设备采集范围之和大于第二类3D采集设备采集范围之和。
5.如权利要求2所述的系统,其特征在于:对于目标物的特定区域,采用第一类3D采集设备和第二类3D采集设备共同扫描采集。
6.如权利要求5所述的系统,其特征在于:所述特定区域为用户指定区域。
7.如权利要求5所述的系统,其特征在于:所述特定区域为前次合成失败区域。
8.如权利要求5所述的系统,其特征在于:所述特定区域为轮廓凹凸变化较大区域。
9.如权利要求1所述的系统,其特征在于:u<0.498,或u<0.41,或u<0.359,或u<0.281,或u<0.169,或u<0.041,或u<0.028。
10.一种3D合成或识别装置,包括权利要求1-9任一所述的系统。
11.一种3D合成或识别方法,包括权利要求1-9任一所述的系统。
12.一种物体制造或展示装置,包括权利要求1-9任一所述的系统。
13.一种物体制造或展示方法,包括权利要求1-9任一所述的系统。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011106003.5A CN112254679B (zh) | 2020-10-15 | 2020-10-15 | 一种多位置组合式3d采集系统及方法 |
PCT/CN2021/123762 WO2022078433A1 (zh) | 2020-10-15 | 2021-10-14 | 一种多点组合式3d采集系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011106003.5A CN112254679B (zh) | 2020-10-15 | 2020-10-15 | 一种多位置组合式3d采集系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112254679A CN112254679A (zh) | 2021-01-22 |
CN112254679B true CN112254679B (zh) | 2023-04-28 |
Family
ID=74243688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011106003.5A Active CN112254679B (zh) | 2020-10-15 | 2020-10-15 | 一种多位置组合式3d采集系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112254679B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022078433A1 (zh) * | 2020-10-15 | 2022-04-21 | 左忠斌 | 一种多点组合式3d采集系统及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
CN110906880A (zh) * | 2019-12-12 | 2020-03-24 | 中国科学院长春光学精密机械与物理研究所 | 一种物体自动化三维激光扫描系统和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2644114Y (zh) * | 2003-08-22 | 2004-09-29 | 湖南大学 | 仿人多自由度立体双目视觉装置 |
CN102523472B (zh) * | 2011-12-14 | 2014-04-02 | 天津大学 | 自转支架式会聚式多视点三维数据采集系统及其方法 |
CN106296643A (zh) * | 2015-06-10 | 2017-01-04 | 西安蒜泥电子科技有限责任公司 | 用于多视图几何三维重建的特征点补充系统 |
CN108038901B (zh) * | 2017-12-06 | 2021-12-07 | 上海桐融实业有限公司 | 实物空间三维成像数据生成系统 |
CN110778870B (zh) * | 2019-11-15 | 2021-06-15 | 合肥工业大学 | 一种可拓展的便携式多自由度多目相机支架 |
-
2020
- 2020-10-15 CN CN202011106003.5A patent/CN112254679B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
CN110906880A (zh) * | 2019-12-12 | 2020-03-24 | 中国科学院长春光学精密机械与物理研究所 | 一种物体自动化三维激光扫描系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112254679A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465960B (zh) | 一种三维模型的尺寸标定装置及方法 | |
CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
CN112492292B (zh) | 一种自由姿态的智能视觉3d信息采集设备 | |
CN112361962B (zh) | 一种多俯仰角度的智能视觉3d信息采集设备 | |
CN112254680B (zh) | 一种多自由度的智能视觉3d信息采集设备 | |
CN112257537B (zh) | 一种智能多点三维信息采集设备 | |
CN112254675B (zh) | 一种包含运动物体的空间占用率采集判断设备及方法 | |
WO2022078418A1 (zh) | 一种转动稳定的智能三维信息采集设备 | |
CN112254638B (zh) | 一种可俯仰调节的智能视觉3d信息采集设备 | |
CN112253913B (zh) | 一种与旋转中心偏离的智能视觉3d信息采集设备 | |
CN112082486B (zh) | 一种手持式智能3d信息采集设备 | |
CN112254676B (zh) | 一种便携式智能3d信息采集设备 | |
CN112254679B (zh) | 一种多位置组合式3d采集系统及方法 | |
CN112254671B (zh) | 一种多次组合式3d采集系统及方法 | |
CN112254677B (zh) | 一种基于手持设备的多位置组合式3d采集系统及方法 | |
CN112254673B (zh) | 一种自转式智能视觉3d信息采集设备 | |
CN112484663B (zh) | 一种多翻滚角度的智能视觉3d信息采集设备 | |
WO2022078433A1 (zh) | 一种多点组合式3d采集系统及方法 | |
CN112254669B (zh) | 一种多偏置角度的智能视觉3d信息采集设备 | |
CN112254678B (zh) | 一种室内3d信息采集设备及方法 | |
CN112672134A (zh) | 基于移动终端三维信息采集控制设备及方法 | |
CN112257535A (zh) | 一种躲避物体的三维匹配的设备及方法 | |
CN112254674B (zh) | 一种近距离智能视觉3d信息采集设备 | |
CN112254672B (zh) | 一种高度可调的智能3d信息采集设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |