CN115112017A - 应用于移动终端的超薄型三维采集模组 - Google Patents

应用于移动终端的超薄型三维采集模组 Download PDF

Info

Publication number
CN115112017A
CN115112017A CN202210740371.8A CN202210740371A CN115112017A CN 115112017 A CN115112017 A CN 115112017A CN 202210740371 A CN202210740371 A CN 202210740371A CN 115112017 A CN115112017 A CN 115112017A
Authority
CN
China
Prior art keywords
image acquisition
acquisition device
mobile terminal
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210740371.8A
Other languages
English (en)
Inventor
左忠斌
左达宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianmu Aishi Beijing Technology Co Ltd
Original Assignee
Tianmu Aishi Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianmu Aishi Beijing Technology Co Ltd filed Critical Tianmu Aishi Beijing Technology Co Ltd
Priority to CN202210740371.8A priority Critical patent/CN115112017A/zh
Publication of CN115112017A publication Critical patent/CN115112017A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种应用于移动终端的超薄型三维采集的模组,包括数据接口、运动驱动装置、运动装置和图像采集装置;其中图像采集装置设置在运动装置上,图像采集装置在图像采集过程中相对移动终端运动;运动驱动装置与运动装置连接;运动驱动装置通过数据接口与移动终端电连接;图像采集装置通过数据接口与移动终端电连接;图像采集装置的光轴与图像采集装置的运动平面具有夹角γ。通过图像采集装置的移动降低相机的使用数量。能够实现移动终端的外接,方便在现有手机上增加新的3D采集功能。整个设备可以移动,方便户外使用。采用外置连接方式,无需改造目前已有手机,通用性更强,成本更低。

Description

应用于移动终端的超薄型三维采集模组
技术领域
本发明涉及物体采集技术领域,特别涉及在移动终端中利用相机进行目标物三维采集技术领域。
背景技术
目前常见的3D采集方法包括结构光法、激光扫描法,但这些方法都需要设置光源及光束整形系统,成本较高,耗电量大,且占用空间较大。
而目前手机通常具有1-3个摄像头,从而实现一些特殊的拍摄效果,例如背景虚化等。但是目前还没有能够用于在手机上进行3D采集的摄像头系统。如果仅使用目前摄像头系统,由于拍摄角度有限,难以进行3D拼接,无法得到3D图像。如果要增加拍摄角度,提高拍摄图像的冗余度,需要设置多个摄像头。例如南加州大学的Digital Emily项目,采用球型支架,在支架上不同位置不同角度固定了上百个相机。这种常规的采用图像采集设备进行3D采集的系统难以用于手机等小体积的移动终端设备上。
同时,目前也有通过移动手机来直接利用手机上的摄像头拍摄目标物多个角度图像再进行拼接的。然而,这种移动要么需要将手机安装在额外轨道上,要么就是无轨道的自由移动。前者限制了使用场景,而后者导致采集质量下降。
目前也有手机上设置可以转动的摄像头,通常采用手动或电动方式驱动,但其目的是为了拍摄相应角度图片,而并不是为了实现扫描,也更无法合成3D模型。
并且,目前用手机进行三维采集通常仅限于人脸,但是随着手机应用的普遍,对于其他物体,特别是较远物体的三维采集并没有相应方法解决。目前采用手机进行3D采集通常需要手机绕目标物转动(有轨道或无轨道),或是相机绕目标物转动。但显然这对于较远的物体并不适用。而设置在外壳内的转动部件也增大了模组的体积,不利于设备的小型化。而对于某些应用场合下,并不需要目标物360°的三维模型,而只需要视线可及范围内的三维模型,例如只需要公园景观一个正面和部分侧面的三维模型。该问题并没有合适的解决方案。
在现有技术中,也曾提出使用包括旋转角度、目标物尺寸、物距的经验公式限定相机位置,从而兼顾合成速度和效果。然而在实际应用中发现:除非有精确量角装置,否则用户对角度并不敏感,难以准确确定角度;目标物尺寸难以准确确定,特别是某些应用场合目标物需要频繁更换,每次测量带来大量额外工作量,并且需要专业设备才能准确测量不规则目标物。例如对于一个建筑而言,要知道它的长度有时并不容易,需要专业设备。测量的误差导致相机位置设定误差,从而会影响采集合成速度和效果。
在现有技术中,移动终端通常具有摄像头,但这些摄像头在拍摄过程中并不移动。通常都是在开启前和结束后摄像头通过运动而隐藏。由于它们在拍摄过程中相对于目标物并不运动,它们只能拍摄2D图像,且拍摄的图像也无法合成3D。因此,本领域急需能够应用于移动终端的高质量、低成本、小体积3D采集装置。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的应用于移动终端的超薄型三维采集的模组。
本发明提供了一种应用于移动终端的超薄型三维采集的模组,包括数据接口、运动驱动装置、运动装置和图像采集装置;
其中图像采集装置设置在运动装置上,图像采集装置在图像采集过程中相对移动终端运动;
运动驱动装置与运动装置连接;
运动驱动装置通过数据接口与移动终端电连接;
图像采集装置通过数据接口与移动终端电连接;
图像采集装置的光轴与图像采集装置的运动平面具有夹角γ;
图像采集装置的采集位置为:图像采集装置相邻两个采集位置满足如下条件:
Figure BDA0003717680940000021
μ<0.482
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件CCD的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
可选的,γ=90°或0<γ<90°或180°>γ>90°。
可选的,图像采集装置在不同位置时,光轴相对于图像采集装置的运动平面的垂线会聚或发散。
可选的,所述模组和移动终端相互独立或内嵌入移动终端。
可选的,图像采集装置为多个。
可选的,所述图像采集装置包括可见光图像采集装置和/或红外图像采集装置。
可选的,图像采集装置伸出所述模组外壳。
可选的,所述图像采集装置运动的区域还包括透光外壳部。
可选的,所述运动装置为转盘、转台、曲线导轨、直线导轨。
可选的,图像采集装置的采集位置为:图像采集装置相邻两个采集位置满足如下条件:
Figure BDA0003717680940000031
μ<0.482
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件(CCD)的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
本发明还提供了一种应用于移动终端的三维采集方法,图像采集装置设置在移动终端中,
图像采集装置采集过程中相对移动终端运动,从而在不同位置拍摄目标物的图像;
图像采集装置的光轴与图像采集装置的运动平面具有夹角γ,0<γ<180°;
图像采集装置的采集位置为:图像采集装置相邻两个采集位置满足如下条件:
Figure BDA0003717680940000032
μ<0.482
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件CCD的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
发明点及技术效果
1、首次提出在移动终端中能够应用图像拼接原理进行3D采集的装置结构。
2、通过图像采集装置的移动降低相机的使用数量。
3、能够实现移动终端的外接,方便在现有手机上增加新的3D采集功能。
4、整个设备可以移动,方便户外使用。
5、采用外置连接方式,无需改造目前已有手机,通用性更强,成本更低。
6、采用光轴与转动平面呈一定夹角的方式采集,体积更小、更适用于较远目标物。
7、优化相机位置,同时提高检测精度和速度。且优化位置时,无需测量角度,无需测量目标尺寸,适用性更强。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例中三维采集模组的一种实施方式结构示意图;
图2为本发明实施例中三维采集模组的另一种实施方式结构示意图;
图3为本发明实施例中三维采集模组的第三种实施方式结构示意图;
图4为本发明实施例中三维采集模组的第四种实施方式结构示意图;
图5为本发明实施例中三维采集模组的第五种实施方式结构示意图;
图6为本发明实施例中三维采集模组的第六种实施方式结构示意图;
图7为本发明实施例中三维采集模组的第七种实施方式结构示意图;
1数据接口,2运动驱动装置,3运动装置,4图像采集装置,5角度调整装置。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
移动终端模组结构——平移转动式
为解决上述技术问题,本发明的一实施例提供了一种应用于移动终端的三维采集模组。如图1-图7所示,具体包括:数据接口1、运动驱动装置2、运动装置3和图像采集装置4。
其中图像采集装置4设置在运动装置3上。运动装置3可以为滑台和圆形轨道,图像采集装置4安装在滑台上,或者图像采集装置4的外壳本身作为滑台直接安装在导轨上,或者图像采集装置4的外壳与模组外壳相互形成滑动配合,实现图像采集装置4在导轨上平移。运动驱动装置2与运动装置3连接,可以驱动滑台,或者直接驱动图像采集装置4的外壳移动。对于丝杠或齿啮合导轨,也可以驱动相应结构,从而使得图像采集装置4平移。也就是说或,图像采集装置4并不是依靠手动移动的,而是根据采集目的进行驱动移动的,并且对采集位置具有一定的要求,需要符合经验公式设定(具体下面详述),这样可以保证3D采集信息的准确。如果仅依靠客户手动移动,会导致图像信息采集不均匀,不完备,甚至难以匹配拼接成3D图像。同时,也不是依靠移动整个手机来实现图像采集,因为这种移动要么需要将手机安装在额外轨道上,要么就是无轨道的自由移动。前者限制了使用场景,而后者导致采集质量下降。
所述导轨为曲线型,例如为圆弧,如图4、5,使得图像采集装置4在其上运动时,运动轨迹为弧形。但图像采集装置4的光轴方向不变,即导轨为平行出光面设置,使得图像采集旋转面与目标物表面近似平行。例如在用手机拍摄对面大楼的3D模型时,图像采集装置4转动面与大楼的高度方向平行,而不是与大楼的横截面平行。
所述导轨为直线型,如图6,使得图像采集装置4在其上运动时,运动轨迹为直线,从而实现对目标物的扫描。此时图像采集装置4的光轴方向同样不变,仅仅是光轴方向的平移而已。特别是,此时导轨为两条,每条均设置有图像采集装置4,分别沿对应导轨平移。
图像采集装置4可以为多个,每个图像采集装置4沿单一导轨运动,运动轨迹类似上述。例如可以设置两个图像采集装置4,分别沿上下导轨运动,这样可以扩大采集范围,同时也可以在单位时间内采集更多的图片,效率更高。当然,为了特殊需要,两个图像采集装置4可以分别为不同波段的相机,例如红外波段和可见光波段。同时,也可以一个导轨运行多个图像采集装置4。例如在单一导轨上运行并排的两个图像采集装置,同样可以提高效率。
在一种情况下,图像采集装置4暴露于采集模组外壳之外,即采集模组的外壳具有相应的凹槽,图像采集装置4从凹槽伸出,如图2、3。当然,也可以进一步设计,图像采集装置4可以在需要时伸出凹槽,而在不工作时收回外壳中。并且凹槽具有盖,能够在图像采集装置4收回时封闭凹槽,避免灰尘。
在一种情况下,如图1,在图像采集装置4的运动轨迹上,与图像采集装置相对的采集模组的外壳为透明材料制成。这样,图像采集装置4无需伸出外壳,即可直接进行运动采集。这样有利于防水、防尘。
由于运动驱动装置2驱动与运动装置3连接,驱动图像采集装置4按照3D采集的预定要求进行平移,因此运动驱动装置2需要具有数据接口1,接收相应的运动指令,即运动驱动装置2通过数据接口1与移动终端电连接。
还包括处理器,也称处理单元,用以根据图像采集装置采集的多个图像,根据3D合成算法,合成目标物3D模型,得到目标物3D信息。
移动终端模组结构——固定式
模组包括外壳,外壳内分布有多个图像采集装置4,图像采集装置4的间隔距离由下述经验条件所限定。图像采集装置的镜头暴露于模组外壳外,或位于模组外壳内。
在图像采集装置4的镜头暴露于模组外壳外时,设置相应的保护机构保护镜头。例如设置透明的罩。在图像采集装置4的镜头位于模组外壳内时,与图像采集装置4相对的采集模组的外壳为透明材料制成。
图像采集装置的光轴方向
图像采集装置4的光轴与移动终端外壳具有夹角γ。通常情况下,γ=90°。在上述图像采集装置4移动的方案中,光轴与移动平面的夹角就是与终端外壳的夹角,通常也为90°。在固定式的方案中,图像采集装置4的光轴与移动终端外壳夹角通常也为90°。
在某些情况下,γ<90°,即图像采集装置4在不同位置时,光轴朝向相对于移动平面或外壳的垂直方向会聚。
在某些情况下,γ>90°,即图像采集装置4在不同位置时,光轴朝向相对于移动平面或外壳的垂直方向发散。
无论哪种方式,0<γ<180°。
上述γ不等于90°的情况可以通过如下方式实现:如图7所示,①图像采集装置4以γ角度固定在运动装置3上;②图像采集装置4设置于角度调整装置5,可以根据其运动位置变化,改变γ;③图像采集装置4固定在模组上或外壳上。上述角度调整装置5可以为转台。
模组与移动终端的连接
在一种实施例中整个模组为外置式,此时数据接口可以为与Type-c接口、MicroUSB接口、USB接口、Lightning接口、wifi接口、蓝牙接口、蜂窝网络接口相配合的接口,从而通过有线或者无线方式与移动终端连接。
在另一种实施例中整个模组为内置式,此时数据接口1可直接在内部与移动终端的处理器连接。
在另一种实施例中,模组的结构为手机的一部分,即虽然本发明用模组去描述,但实际上这些结构已经属于手机的一部分,在生产、制造手机时就已经完成。
为缩小整个模组的体积及耗电量,图像采集装置4通过数据接口1与移动终端电连接,从而将采集到的图像传输至移动终端进行存储和后续3D处理。
无论是外置式还是内置式,模组与移动终端都存在机械连接。例如在外置式中,模组通过耳机插头插入移动终端的耳机插孔中。由于模组和移动终端之间要相互传递控制信号和图像数据,因此除了机械连接两者之间还存在电学连接,特别是信号连接。
在外置式时,所述机械连接与电学连接通过同一结构实现。手机模组通过机械连接件/电学连接件与手机连接,并且使得手机模组与手机相对刚性连接,从而使得两者成为一体。例如上述描述的耳机插头插入移动终端的耳机插孔中,同时实现了机械连接和电学连接。既可以把模组与手机相互刚性固定起来,又可以相互之间传递信号。机械连接也可以利用额外的机械连接方式。例如在模组和手机之间设置额外的插头和插孔、凸起和卡槽等方式实现模组和手机之间的刚性固定连接。当然,也可以使用手机现有的插口,例如模组上具有耳机插头、microUSB插头、TepyC插头、Lightning插头,对应插入手机的相应上述插孔中,但这种插入仅用作机械连接,而不进行信号传递,信号由其他方式连接。通过这样的机械连接,模组与手机成为一体,用户手持手机固定不动时模组能够相对目标物固定,通过图像采集装置4的移动来拍摄不同角度图片。
为了方便图像采集装置4的平移或转动,运动装置3可以包括磁浮装置,使得移动过程更加顺畅,提高用户体验。
图像采集装置4在模组的外壳内运动,其运动区域涉及的外壳部分为透明材料制成,例如为透明树脂材料。
图像采集装置4可以为可见光相机/摄像头模组,也可以为红外相机/摄像头模组。在夜间进行采集时,由于光线限制,可见光相机将无法完整采集图像。此时可以使用红外相机进行采集,并在后续处理时,将可见光相机和红外相机采集的图像相互匹配融合,实现3D信息采集。当然,也可以只依靠可见光相机或红外相机中的一种。并且图像采集装置4也可以为多个。
在具有红外相机的方案中,红外相机和可见光相机可以并排在轨道中。也可以设置两个轨道,分别安装红外相机和可见光相机。并且也可以使用光谱感应范围更广的单相机,同时兼顾可见光相机和红外相机。
模组的外壳具有光源,光源为LED灯珠,但也可以设置智能光源,例如可以根据需要选择不同的光源亮度、亮灭等。光源用来照亮目标物,防止目标物过暗影响采集效果和精度。但同时也要防止光源过亮,导致目标物纹理信息损失。光源也可以使用移动终端自带光源,以照亮待扫描部分为准。
为了提高用户体验,可以将模组采集到的图像传输至移动终端的显示模块中进行显示,以方便用户观察自己采集过程。特别是对于采集模组对于目标物距离过远或者过近,都可以通过显示模块显示出来,并且可以通过语音模块进行提醒。可以理解,模组采集到的图像可以不在移动终端的显示模块中显示,但其与目标物距离过远或者过近的信息可以通过移动终端语音播报,以提示用户进行移动。模组与移动终端的语音或显示模块连接也通过模组的数据接口1实现。
图像采集装置采集位置
在进行3D采集时,图像采集装置在不同采集位置光轴方向相对于目标物不发生变化,通常大致垂直于目标物表面(也可呈一定角度),此时相邻两个图像采集装置的位置,或图像采集装置相邻两个采集位置满足如下条件:
Figure BDA0003717680940000081
μ<0.482
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件(CCD)的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
当上述两个位置是沿图像采集装置感光元件长度方向时,d取矩形长度;当上述两个位置是沿图像采集装置感光元件宽度方向时,d取矩形宽度。
图像采集装置在上述两个位置中的任何一个位置时,感光元件沿着光轴到目标物表面的距离作为M。
如上所述,L应当为两个图像采集装置光心的直线距离,但由于图像采集装置光心位置在某些情况下并不容易确定,因此在某些情况下也可以使用图像采集装置的感光元件中心、图像采集装置的几何中心、图像采集装置与云台(或平台、支架)连接的轴中心、镜头近端或远端表面的中心替代,经过试验发现由此带来的误差是在可接受的范围内的,因此上述范围也在本发明的保护范围之内。
采用市售手机摄像头模组,利用本发明装置,进行实验,得到了如下实验结果。
Figure BDA0003717680940000091
从上述实验结果及大量实验经验可以得出,μ的值应当满足μ<0.482,此时已经能够合成部分3D模型,虽然有一部分无法自动合成,但是在要求不高的情况下也是可以接受的,并且可以通过手动或者更换算法的方式弥补无法合成的部分。特别是的值满足μ<0.403时,能够最佳地兼顾合成效果和合成时间的平衡;为了获得更好的合成效果可以选择μ<0.326,此时合成时间会上升,但合成质量更好。而当μ>0.485时,已经无法合成。但这里应当注意,以上范围仅仅是最佳实施例,并不构成对保护范围的限定。
以上数据仅为验证该公式条件所做实验得到的,并不对发明构成限定。即使没有这些数据,也不影响该公式的客观性。本领域技术人员可以根据需要调整设备参数和步骤细节进行实验,得到其他数据也是符合该公式条件的。
本发明所述的相邻采集位置是指,在图像采集装置相对目标物移动时,移动轨迹上的发生采集动作的两个相邻位置。这通常对于图像采集装置运动容易理解。但对于目标物发生移动导致两者相对移动时,此时应当根据运动的相对性,将目标物的运动转化为目标物不动,而图像采集装置运动。此时再衡量图像采集装置在转化后的移动轨迹中发生采集动作的两个相邻位置。
3D合成方法
利用上述采集到的图片进行3D合成时,可以采用现有算法实现,也可以采用本发明提出的优化的算法,主要包括如下步骤:
步骤1:对所有输入照片进行图像增强处理。采用下述滤波器增强原始照片的反差和同时压制噪声。
Figure BDA0003717680940000101
式中:g(x,y)为原始影像在(x,y)处灰度值,f(x,y)为经过Wallis滤波器增强后该处的灰度值,mg为原始影像局部灰度均值,sg为原始影像局部灰度标准偏差,mf为变换后的影像局部灰度目标值,sf为变换后影像局部灰度标准偏差目标值。c∈(0,1)为影像方差的扩展常数,b∈(0,1)为影像亮度系数常数。
该滤波器可以大大增强影像中不同尺度的影像纹理模式,所以在提取影像的点特征时可以提高特征点的数量和精度,在照片特征匹配中则提高了匹配结果可靠性和精度。
步骤2:对输入的所有照片进行特征点提取,并进行特征点匹配,获取稀疏特征点。采用SURF算子对照片进行特征点提取与匹配。SURF特征匹配方法主要包含三个过程,特征点检测、特征点描述和特征点匹配。该方法使用Hessian矩阵来检测特征点,用箱式滤波器(Box Filters)来代替二阶高斯滤波,用积分图像来加速卷积以提高计算速度,并减少了局部影像特征描述符的维数,来加快匹配速度。主要步骤包括①构建Hessian矩阵,生成所有的兴趣点,用于特征提取,构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点);②构建尺度空间特征点定位,将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较,初步定位出关键点,再经过滤除能量比较弱的关键点以及错误定位的关键点,筛选出最终的稳定的特征点;③特征点主方向的确定,采用的是统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内,统计60度扇形内所有点的水平、垂直harr小波特征总和,然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后,最后将值最大的那个扇形的方向作为该特征点的主方向;④生成64维特征点描述向量,特征点周围取一个4*4的矩形区域块,但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征,这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之后、垂直方向值之后、水平方向绝对值之后以及垂直方向绝对值之和4个方向,把这4个值作为每个子块区域的特征向量,所以一共有4*4*4=64维向量作为Surf特征的描述子;⑤特征点匹配,通过计算两个特征点间的欧式距离来确定匹配度,欧氏距离越短,代表两个特征点的匹配度越好。
步骤3:输入匹配的特征点坐标,利用光束法平差,解算稀疏的人脸三维点云和拍照相机的位置和姿态数据,即获得了稀疏人脸模型三维点云和位置的模型坐标值;以稀疏特征点为初值,进行多视照片稠密匹配,获取得到密集点云数据。该过程主要有四个步骤:立体像对选择、深度图计算、深度图优化、深度图融合。针对输入数据集里的每一张影像,我们选择一张参考影像形成一个立体像对,用于计算深度图。因此我们可以得到所有影像的粗略的深度图,这些深度图可能包含噪声和错误,我们利用它的邻域深度图进行一致性检查,来优化每一张影像的深度图。最后进行深度图融合,得到整个场景的三维点云。
步骤4:利用密集点云进行人脸曲面重建。包括定义八叉树、设置函数空间、创建向量场、求解泊松方程、提取等值面几个过程。由梯度关系得到采样点和指示函数的积分关系,根据积分关系获得点云的向量场,计算指示函数梯度场的逼近,构成泊松方程。根据泊松方程使用矩阵迭代求出近似解,采用移动方体算法提取等值面,对所测点云重构出被测物体的模型。
步骤5:人脸模型的全自动纹理贴图。表面模型构建完成后,进行纹理贴图。主要过程包括:①纹理数据获取通过图像重建目标的表面三角面格网;②重建模型三角面的可见性分析。利用图像的标定信息计算每个三角面的可见图像集以及最优参考图像;③三角面聚类生成纹理贴片。根据三角面的可见图像集、最优参考图像以及三角面的邻域拓扑关系,将三角面聚类生成为若干参考图像纹理贴片;④纹理贴片自动排序生成纹理图像。对生成的纹理贴片,按照其大小关系进行排序,生成包围面积最小的纹理图像,得到每个三角面的纹理映射坐标。
应当注意,上述算法是本发明的优化算法,本算法与图像采集条件相互配合,使用该算法兼顾了合成的时间和质量,是本发明的发明点之一。当然,使用现有技术中常规3D合成算法也可以实现,只是合成效果和速度会受到一定影响。
上述目标物体、目标物、及物体皆表示预获取三维信息的对象。可以为一实体物体,也可以为多个物体组成物。例如可以为车辆、大型雕塑等。所述目标物的三维信息包括三维图像、三维点云、三维网格、局部三维特征、三维尺寸及一切带有目标物三维特征的参数。本发明里所谓的三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息具有本质区别。也与一些称为三维、全景、全息、三维,但实际上只包括二维信息,特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
以上实施例获得的目标物多个区域的3D信息可以用于进行比对,例如用于身份的识别。首先利用本发明的方案获取人体面部和虹膜的3D信息,并将其存储在服务器中,作为标准数据。当使用时,例如需要进行身份认证进行支付、开门等操作时,可以用3D获取装置再次采集并获取人体面部和虹膜的3D信息,将其与标准数据进行比对,比对成功则允许进行下一步动作。可以理解,这种比对也可以用于古董、艺术品等固定财产的鉴别,即先获取古董、艺术品多个区域的3D信息作为标准数据,在需要鉴定时,再次获取多个区域的3D信息,并与标准数据进行比对,鉴别真伪。以上实施例获得的目标物多个区域的三维信息可以用于为该目标物设计、生产、制造配套物。例如,获得人体口腔、牙齿三维数据,可以为人体设计、制造更为合适的假牙。以上实施例获得的目标物的三维信息也可以用于对该目标物的几何尺寸、外形轮廓进行测量。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种应用于移动终端的超薄型三维采集模组,其特征在于:包括数据接口、运动驱动装置、运动装置和图像采集装置;
其中图像采集装置设置在运动装置上,图像采集装置在图像采集过程中相对移动终端运动;
运动驱动装置与运动装置连接;
运动驱动装置通过数据接口与移动终端电连接;
图像采集装置通过数据接口与移动终端电连接;
图像采集装置的光轴与图像采集装置的运动平面具有夹角γ;图像采集装置的采集位置为:图像采集装置相邻两个采集位置满足如下条件:
Figure FDA0003717680930000011
μ<0.482或μ<0.326
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
2.如权利要求1所述的模组,其特征在于:γ=90°或0<γ<90°或180°>γ>90°。
3.如权利要求1所述的模组,其特征在于:图像采集装置在不同位置时,光轴相对于图像采集装置的运动平面的垂线会聚或发散。
4.如权利要求1所述的模组,其特征在于:所述模组和移动终端相互独立或内嵌入移动终端。
5.如权利要求1所述的模组,其特征在于:图像采集装置为多个。
6.如权利要求1所述的模组,其特征在于:所述图像采集装置包括可见光图像采集装置和/或红外图像采集装置。
7.如权利要求1所述的模组,其特征在于:图像采集装置伸出所述模组外壳。
8.如权利要求1所述的模组,其特征在于:所述图像采集装置运动的区域还包括透光外壳部。
9.如权利要求1所述的模组,其特征在于:所述运动装置为转盘、转台、曲线导轨、直线导轨。
10.一种应用于移动终端的三维采集方法,其特征在于:图像采集装置设置在移动终端中,
图像采集装置采集过程中相对移动终端运动,从而在不同位置拍摄目标物的图像;
图像采集装置的光轴与图像采集装置的运动平面具有夹角γ,0<γ<180°;
图像采集装置的采集位置为:图像采集装置相邻两个采集位置满足如下条件:
Figure FDA0003717680930000021
μ<0.482或μ<0.326
其中L为相邻两个采集位置图像采集装置光心的直线距离;f为图像采集装置的焦距;d为图像采集装置感光元件的矩形长度;M为图像采集装置感光元件沿着光轴到目标物表面的距离;μ为经验系数。
CN202210740371.8A 2019-12-12 2019-12-12 应用于移动终端的超薄型三维采集模组 Pending CN115112017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210740371.8A CN115112017A (zh) 2019-12-12 2019-12-12 应用于移动终端的超薄型三维采集模组

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210740371.8A CN115112017A (zh) 2019-12-12 2019-12-12 应用于移动终端的超薄型三维采集模组
CN201911277069.8A CN111060009A (zh) 2019-12-12 2019-12-12 用于移动终端的超薄型三维采集的模组

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911277069.8A Division CN111060009A (zh) 2019-12-12 2019-12-12 用于移动终端的超薄型三维采集的模组

Publications (1)

Publication Number Publication Date
CN115112017A true CN115112017A (zh) 2022-09-27

Family

ID=70300929

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210740371.8A Pending CN115112017A (zh) 2019-12-12 2019-12-12 应用于移动终端的超薄型三维采集模组
CN201911277069.8A Pending CN111060009A (zh) 2019-12-12 2019-12-12 用于移动终端的超薄型三维采集的模组

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911277069.8A Pending CN111060009A (zh) 2019-12-12 2019-12-12 用于移动终端的超薄型三维采集的模组

Country Status (2)

Country Link
CN (2) CN115112017A (zh)
WO (1) WO2021115296A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115112017A (zh) * 2019-12-12 2022-09-27 天目爱视(北京)科技有限公司 应用于移动终端的超薄型三维采集模组

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050014527A1 (en) * 2003-07-18 2005-01-20 Agere Systems Incorporated Retractable rotatable camera module for mobile communication device and method of operation thereof
CN101840146A (zh) * 2010-04-20 2010-09-22 夏佳梁 自动矫正视差的立体图像拍摄方法及装置
CN106998411A (zh) * 2016-01-26 2017-08-01 西安中兴新软件有限责任公司 一种终端及控制方法
CN205921673U (zh) * 2016-08-29 2017-02-01 赵罗强 一种带有立体拍摄功能的移动终端
CN108696734B (zh) * 2017-03-01 2021-10-12 中兴通讯股份有限公司 一种拍摄装置及其工作方法
CN207968575U (zh) * 2018-02-09 2018-10-12 广东欧珀移动通信有限公司 移动终端
CN108492254B (zh) * 2018-03-27 2022-09-27 西安优艾智合机器人科技有限公司 图像采集系统及方法
CN209279885U (zh) * 2018-09-05 2019-08-20 天目爱视(北京)科技有限公司 图像采集设备、3d信息比对及配套物生成装置
CN115112017A (zh) * 2019-12-12 2022-09-27 天目爱视(北京)科技有限公司 应用于移动终端的超薄型三维采集模组
CN211178346U (zh) * 2019-12-12 2020-08-04 天目爱视(北京)科技有限公司 用于移动终端的三维采集的模组

Also Published As

Publication number Publication date
CN111060009A (zh) 2020-04-24
WO2021115296A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111060023B (zh) 一种高精度3d信息采集的设备及方法
CN111292364B (zh) 一种三维模型构建过程中图像快速匹配的方法
CN104424662B (zh) 立体扫描装置
CN111292239B (zh) 一种三维模型拼接设备及方法
CN111050154B (zh) 一种具有升降式旋转3d采集装置的移动终端
CN111076674B (zh) 一种近距离目标物3d采集设备
CN111060008B (zh) 一种3d智能视觉设备
CN111442721B (zh) 一种基于多激光测距和测角的标定设备及方法
CN111429523B (zh) 一种在3d建模中远距离标定方法
KR20170005009A (ko) 3d 라돈 이미지의 생성 및 사용
WO2009120073A2 (en) A dynamically calibrated self referenced three dimensional structured light scanner
CN111445529B (zh) 一种基于多激光测距的标定设备及方法
CN211178345U (zh) 一种三维采集设备
CN110986769B (zh) 一种超高超长物体三维采集装置
CN112304222A (zh) 一种背景板同步旋转的3d信息采集设备
CN111064949B (zh) 用于移动终端的智能3d采集模组
CN111445528B (zh) 一种在3d建模中多相机共同标定方法
CN111208138B (zh) 一种智能木料识别装置
CN111340959A (zh) 一种基于直方图匹配的三维模型无缝纹理贴图方法
WO2021115295A1 (zh) 一种智能3d采集模组、具有3d采集装置的移动终端
WO2021115296A1 (zh) 用于移动终端的超薄型三维采集的模组
CN211178346U (zh) 用于移动终端的三维采集的模组
CN111126145B (zh) 一种避免光源像影响的虹膜3d信息获取系统
CN111325780B (zh) 一种基于图像筛选的3d模型快速构建方法
CN210609483U (zh) 用于移动终端的三维采集的模组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination