CN117523112B - 三维模型建立方法及其系统、控制设备及存储介质 - Google Patents
三维模型建立方法及其系统、控制设备及存储介质 Download PDFInfo
- Publication number
- CN117523112B CN117523112B CN202410015351.3A CN202410015351A CN117523112B CN 117523112 B CN117523112 B CN 117523112B CN 202410015351 A CN202410015351 A CN 202410015351A CN 117523112 B CN117523112 B CN 117523112B
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- preset pattern
- preset
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000010287 polarization Effects 0.000 claims abstract description 365
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000712 assembly Effects 0.000 claims 1
- 238000000429 assembly Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 230000010363 phase shift Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000002858 crystal cell Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种三维模型建立方法及其系统、控制设备及存储介质。所述三维模型建立方法应用于控制设备。该控制设备与投影设备、图像采集设备及第一偏振模块连接,第一偏振模块位于投影设备的投影路径中。所述方法包括以下步骤:控制投影设备投影预设图案,以使预设图案经过第一偏振模块投影至目标对象;控制图像采集设备采集经过第一偏振模块投影在目标对象上的预设图案的图像;根据预设图案的图像确定预设图案对应的偏振信息;至少基于预设图案对应的偏振信息以及预设图案的图像建立目标对象的三维模型。本申请提供的三维模型建立方法,能够抑制图像采集过程中的散射效应,降低散射效应造成的影响,从而提高建立的三维模型的精度。
Description
技术领域
本申请涉及三维测量设备领域,尤其涉及一种三维模型建立方法及其系统、控制设备及存储介质。
背景技术
条纹结构光三维成像技术是一种利用结构光照明物体并获取物体三维图像的技术,具体为通过投影设备投影载频条纹到物体表面,并通过成像设备采集受物体高度调制的变形条纹图像,再对采集到的变形条纹图像进行解调,进而重建得到物体的三维图像。
然而,目前条纹结构光三维成像过程中受散射效应的影响,采集到的变形条纹图像噪声较大,使得解调重建出的三维图像精度较差。
发明内容
为解决上述技术问题,本申请提供一种三维模型建立方法及其系统、控制设备及存储介质,能够抑制图像采集过程中的散射效应,降低散射效应造成的影响,从而提高建立的三维模型的精度。
本申请第一方面提供一种三维模型建立方法,该方法应用于控制设备。所述控制设备分别与投影设备、图像采集设备以及第一偏振模块连接,所述第一偏振模块位于所述投影设备的投影路径中。所述三维模型建立方法包括以下步骤:步骤A:控制所述投影设备投影预设图案,以使所述预设图案经过所述第一偏振模块投影至目标对象;步骤B:控制所述图像采集设备采集经过所述第一偏振模块投影在所述目标对象上的所述预设图案的图像;步骤C:根据所述预设图案的图像确定所述预设图案对应的偏振信息;步骤D:至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型。
本申请第二方面提供一种控制设备,所述控制设备分别与投影设备、图像采集设备及第一偏振模块连接,所述控制设备包括处理器及存储器,所述存储器存储有指令,所述指令用于供所述处理器调用后执行,以实现前述的三维模型建立方法。
本申请第三方面提供一种三维模型建立系统,所述三维模型建立系统包括投影设备、图像采集设备、第一偏振模块以及前述的控制设备。
本申请第四方面提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序用于供处理器调用后执行,以实现前述的三维模型建立方法。
本申请提供的三维模型建立方法及其系统、控制设备及存储介质,通过在所述投影设备的投影路径上设置所述第一偏振模块,使得所述投影设备投射的预设图案经过所述第一偏振模块后投影至所述目标对象的表面,以及通过采集所述预设图案的图像并确定偏振信息,根据所述偏振信息以及采集到的所述预设图案的图像建立三维模型,可抑制图像采集过程中的散射效应,降低散射效应对成像造成的影响,从而提高所述三维模型的精度。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的三维模型建立方法的流程图。
图2为本申请一实施例提供的投影设备、第一偏振模块、图像采集设备及控制设备的工作示意图。
图3为本申请另一实施例提供的三维模型建立方法的流程图。
图4为图3中步骤S203的子流程图。
图5为图4中步骤S2032的子流程图。
图6为图3中步骤S204的流程图。
图7为本申请一实施例提供的第一偏振模块与所述控制设备的连接关系示意图。
图8为本申请再一实施例提供的三维模型建立方法的流程图。
图9为图8中步骤S301的子流程图。
图10为本申请第一实施例提供的偏振片组件的偏振方向的示意图。
图11为本申请第二实施例提供的偏振片组件的偏振方向的示意图。
图12为本申请第三实施例提供的偏振片组件的偏振方向的示意图。
图13为本申请第四实施例提供的偏振片组件的偏振方向的示意图。
图14为本申请一实施例提供的控制设备的结构框图。
图15为本申请一实施例提供的三维模型建立系统的结构框图。
附图标记说明:
10-投影设备;20-第一偏振模块;30-图像采集设备;40-控制设备;50-目标对象;21-偏振片组件;211-偏振片;22-偏振驱动模块;60-第二偏振模块;41-处理器;42-存储器;100-三维模型建立系统。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的描述中,术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象,而不是用于描述特定顺序,术语“上”、“下”、“内”等指示的方位或者位置关系,仅是为了便于描述本申请和简化描述,而不是指示或者暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
本申请的描述中,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,也可以是两个元件内部的连通;可以是通讯连接;可以是电连接。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
请参阅图1,为本申请一实施例提供的三维模型建立方法的流程图。所述三维模型建立方法应用于控制设备,所述控制设备分别与投影设备、图像采集设备以及第一偏振模块连接。所述第一偏振模块位于所述投影设备的投影路径中,即所述第一偏振模块位于所述投影设备与目标对象之间,所述投影设备发出的光线经过所述第一偏振模块后照射至所述目标对象的表面,所述目标对象即为被成像物体。如图1所示,所述三维模型建立方法包括以下步骤:
S101:控制所述投影设备投影预设图案,以使所述预设图案经过所述第一偏振模块投影至目标对象。
S102:控制所述图像采集设备采集经过所述第一偏振模块投影在所述目标对象上的所述预设图案的图像。
S103:根据所述预设图案的图像确定所述预设图案对应的偏振信息。
S104:至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型。
本申请实施例提供的三维模型建立方法,通过在所述投影设备的投影路径上设置所述第一偏振模块,使得所述投影设备投射的预设图案经过所述第一偏振模块后投影至所述目标对象的表面,以及通过采集所述预设图案的图像并确定偏振信息,根据所述偏振信息以及采集到的所述预设图案的图像建立三维模型,可抑制图像采集过程中的散射效应,降低散射效应对成像造成的影响,从而提高所述三维模型的精度。
其中,所述目标对象可为任意物体。在一些实施例中,所述目标对象为皮肤,例如人脸。
其中,所述预设图案可为编码图案,例如二进制编码图案、格雷码编码图案、相移编码图案等。
其中,所述第一偏振模块可将所述投影设备的全向光源发出的光线调制为只有一个偏振方向的光线。
请参阅图2,为本申请一实施例提供的投影设备10、第一偏振模块20、图像采集设备30及控制设备40的工作示意图。如图2所示,所述投影设备10投影的预设图案经过所述第一偏振模块20后投影在所述目标对象50上,所述图像采集设备30对覆盖在所述目标对象50上的预设图案进行拍摄,得到所述预设图案的图像,并将所述预设图案的图像发送至所述控制设备40。所述控制设备40在接收到所述图像时,根据所述图像确定对应的偏振信息,并至少基于所述图像及所述偏振信息建立所述目标对象的三维模型。
其中,所述投影设备10及所述图像采集设备30可与所述控制设备40通过有线或者无线的方式连接。
其中,所述投影设备10投影的预设图案完全覆盖所述目标对象,例如所述目标对象为人脸时,所述预设图案完全覆盖人脸。所述图像采集设备30可采集到完整的所述预设图案的图像。在所述投影设备10投影所述预设图案及所述图像采集设备30采集所述预设图案的图像的过程中,所述目标对象与所述投影设备10及所述图像采集设备30保持相对静止,即所述目标对象保持不动。
在一些实施例中,所述投影设备10的光源为红外光源,即所述投影设备10发出的光线为红外光。所述图像采集设备30可为红外相机。在一些实施例中,所述图像采集设备30可包括红外带通滤光片,或者,所述图像采集设备30可包括普通的消费级摄像头模组,该消费级摄像头模组去除了红外截止滤光片,以使所述图像采集设备可采集红外波段的光线。
通过设置所述投影设备10的光源为红外光源,可减小对皮肤的伤害,避免因使用蓝光光源损害皮肤。
在所述目标对象50为皮肤时,皮肤对入射光线存在较为明显的散射效应,且不同组织层的散射效应不同,使得所述图像采集设备30采集的图像为叠加了各组织层的散射效应后的图像,导致采集到的图像噪声较大,进而导致建立的三维模型的精度较差。并且,皮肤的散射效应对于红外光更为严重,导致采集到的图像噪声更大,建立的三维模型的精度更差。本申请实施例中,通过在所述投影设备10的光路上设置所述第一偏振模块20,使得所述投影设备10发出的光线经过所述第一偏振模块20后形成偏振光并入射至所述目标对象50的表面。而以偏振光入射至所述目标对象50表面,相较于以全向光入射至所述目标对象50表面,可明显降低所述目标对象50对入射光的散射效应,从而显著提高采集到的图像的信噪比,使得采集到的图像的清晰度和对比度提高,进而可显著提高基于所述图像建立的三维模型的精度。
另一些实施例中,所述投影设备10的光源可为其它光源,例如可见光光源等。
在一些实施例中,所述第一偏振模块20的偏振方向可调。所述第一偏振模块20可与所述控制设备40通过有线或者无线的方式连接。所述控制设备40可控制所述第一偏振模块20调整偏振方向。
在一些实施例中,前述的控制所述投影设备10投影预设图案,以使所述预设图案经过所述第一偏振模块投影至目标对象,包括:在所述投影设备10投影所述预设图案时,控制调整所述第一偏振模块20的偏振方向为至少两个不同的偏振方向,并使所述预设图案经过处于不同偏振方向时的所述第一偏振模块20投影至所述目标对象50。
前述的控制所述图像采集设备30采集投影在所述目标对象上的所述预设图案的图像,包括:在所述第一偏振模块20调整至任一偏振方向时,控制所述图像采集设备30采集投影在所述目标对象上的所述预设图案的图像,以得到所述预设图案的至少两个图像。
前述的根据所述预设图案的图像确定所述预设图案对应的偏振信息,包括:根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息。
即,在所述投影设备10投影所述预设图案的过程中,所述第一偏振模块20的偏振方向会发生变化,在所述第一偏振模块20每调整至一偏振方向时,所述图像采集设备30采集投影至所述目标对象上的预设图案的图像,从而可采集到所述预设图案的至少两个图像。
例如,所述至少两个偏振方向包括第一偏振方向、第二偏振方向、第三偏振方向及第四偏振方向,在所述投影设备10投影所述预设图案时,控制所述第一偏振模块20处于所述第一偏振方向,以使所述投影设备10投影的预设图案经过处于所述第一偏振方向的第一偏振模块20后投影在所述目标对象上,并控制所述图像采集设备30采集投影在所述目标对象上的预设图案的图像;然后,调整所述第一偏振模块20至其处于所述第二偏振方向,以使所述投影设备10投影的预设图案经过处于所述第二偏振方向的第一偏振模块20后投影在所述目标对象上,并控制所述图像采集设备30采集投影在所述目标对象上的预设图案的图像;重复上述步骤,直至采集到在四个偏振方向下投影在所述目标对象上的预设图案的图像。在其它实施例中,所述至少两个偏振方向包括的偏振方向数量值可为其它值。
示例性地,请参阅图3,为本申请另一实施例提供的三维模型建立方法的流程图。如图3所示,所述三维模型建立方法包括以下步骤:
S201:控制所述投影设备投影预设图案,并在所述投影设备10投影所述预设图案时,控制调整所述第一偏振模块20的偏振方向为至少两个不同的偏振方向,以使所述预设图案经过处于不同偏振方向时的所述第一偏振模块20投影至所述目标对象。
S202:在所述第一偏振模块20调整至任一偏振方向时,控制所述图像采集设备30采集投影在所述目标对象上的所述预设图案的图像,以得到所述预设图案的至少两个图像。
S203:根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息。
S204:至少基于所述预设图案对应的偏振信息以及所述预设图案的至少两个图像中的至少一个建立所述目标对象的三维模型。
通过调整所述第一偏振模块20的偏振方向,并在每调整至一偏振方向时均采集所述预设图案的图像,并基于多个偏振方向下采集到的图像确定所述偏振信息,可使得确定出的所述偏振信息更加准确,从而可建立得到精度更高的三维模型,所述三维模型能够呈现出所述目标对象50更多的细节和特征。
在一些实施例中,所述至少两个图像的像素排布方式及像素数量相同。例如,所述至少两个图像均包括第一数量个像素行及第二数量个像素列,每一像素行包括第二数量个像素,每一像素列包括第一数量个像素,每个图像中的像素阵列排布。从而,所述至少两个图像中位于相同位置的像素具有相同的像素坐标。
请参阅图4,为图3中步骤S203的子流程图。如图4所示,前述的根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息,包括:
S2031:确定每一图像中每个像素的光强度值。
S2032:根据所述至少两个图像中位于相同位置的像素的光强度值,确定各个位置的像素的偏振信息,以得到所有位置的像素的偏振信息。即根据所述至少两个图像中位于相同位置的像素的光强度值,确定该位置的像素的偏振信息,而确定图像中各个位置的像素的偏振信息,从而得到所述预设图案对应的所述偏振信息。
前述的至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型,包括:至少基于所述所有位置的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型。
所述预设图案的每个图像中每个像素具有一坐标,所述至少两个图像中位于相同位置的像素即为具有相同坐标的像素。前述的根据所述至少两个图像中位于相同位置的像素的光强度值,确定该位置的像素的偏振信息,即为根据所述至少两个图像中坐标相同的像素的光强度值计算该坐标的像素的偏振信息。
示例性地,所述预设图案的每个图像的像素阵列为480270,即每个图像包括270行像素,480列像素,每行像素的数量为480个,每列像素的数量为270个。以像素行为横坐标,像素列为纵坐标,建立像素坐标系,每个图像的每一像素具有一坐标,例如位于第10行及第20列的像素的坐标为(10, 20)。根据所述至少两个图像中坐标均为(1, 1)的像素的光强度值计算得到坐标(1, 1)的像素的偏振信息;根据所述至少两个图像中坐标均为(480,270)的像素的光强度值计算得到坐标(480, 270)的像素的偏振信息;如此重复,直至计算得到所有坐标的像素的偏振信息。前述的至少基于所述所有位置的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型,即为至少基于所有坐标的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型。
在一些实施例中,所述偏振信息包括偏振度(DoLP,Degree of Linear Polarization)和/或偏振角(AoP,Angle of Polarization)。
请参阅图5,为图4中步骤S2032的子流程图。前述的根据所述至少两个图像中位于相同位置的像素的光强度值,确定各个位置的像素的偏振信息,包括:
S20321:根据所述至少两个图像中位于相同位置的像素的光强度值,计算得到各个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个。
S20322:根据每个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个计算得到所述位置的像素的偏振度和/或偏振角,而得到各个位置的像素的偏振度和/或偏振角。
通过确定所述偏振度和/或偏振角,并基于所述偏振度和/或偏振角建立所述三维模型,可使得所述三维模型呈现出更多的细节信息。
前述的计算得到各个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值,即为计算得到各个坐标的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值。前述的根据每个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个计算得到所述位置的像素的偏振度和/或偏振角,而得到各个位置的像素的偏振度和/或偏振角,即为根据每个坐标的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个计算得到该坐标的像素的偏振度和/或偏振角,而得到各个坐标的像素的偏振度和/或偏振角。
在一些实施例中,所述至少两个偏振方向包括0°、45°、90°及135°中的至少两个。所述控制调整所述第一偏振模块20的偏振方向为至少两个不同的偏振方向,包括:控制调整所述第一偏振模块20的偏振方向为0°、45°、90°及135°中的至少两个。
通过调整所述偏振方向为上述四个角度,并采集每个角度下所述预设图案对应的图像,使得根据上述四个角度下对应的图像确定出的每个位置的像素的偏振信息更全面,也即确定出的各个位置的像素的偏振信息更加准确。
在一些实施例中,所述至少两个偏振方向包括0°、45°、90°及135°。所述预设图案的至少两个图像包括四个图像,分别为与0°、45°、90°及135°对应的第一图像、第二图像、第三图像及第四图像。所述总光强度值以I表示,所述水平方向极化光强度值以Q表示,所述垂直方向极化光强度值以U表示,所述偏振度以DoLP表示,所述偏振角以AoP表示。
对每个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值进行计算,具体的,I=I_0°+I_45°+I_90°+I_135°,Q=I_0°-I_90°,U=I_45°-I_135°,其中,I_0°为第一图像的像素的光强度值,I_45°为第二图像的像素的光强度值,I_90°为第三图像的像素的光强度值,I_135°为第四图像的像素的光强度值。对每个位置的像素的偏振度和/或偏振角进行计算,具体的,DoLP=sqrt(Q^2 + U^2)/I,AoP=1/2arctan(U/Q)。
例如,根据上述四个图像中坐标均为(x, y)的像素的光强度值计算得到坐标为(x, y)的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值,具体的,I_(x, y)=I_0°_(x, y)+I_45°_(x, y)+I_90°_(x, y)+I_135°_(x, y),Q_(x, y)=I_0°_(x,y)-I_90°_(x, y),U_(x, y)=I_45°_(x, y)-I_135°_(x, y),其中,I_(x, y)为坐标是(x,y)的像素的总光强度值,Q_(x, y)为坐标是(x, y)的像素的水平方向极化光强度值,U_(x,y)为坐标是(x, y)的像素的垂直方向极化光强度值,I_0°_(x, y)为第一图像中坐标为(x,y)的像素的光强度值,I_45°_(x, y)为第二图像中坐标为(x, y)的像素的光强度值,I_90°_(x, y)为第三图像中坐标为(x, y)的像素的光强度值,I_135°_(x, y)为第四图像中坐标为(x, y)的像素的光强度值。
计算坐标为(x, y)的像素的偏振度和偏振角,具体的,DoLP_(x, y)=sqrt(Q_(x,y)^2 + U_(x, y)^2)/I,AoP_(x, y)=1/2arctan(U_(x, y)/Q_(x, y)),其中,DoLP_(x,y)为坐标是(x, y)的像素的偏振度,AoP_(x, y)为坐标是(x, y)的像素的偏振角。从而计算得到所有位置的像素的偏振度和偏振角,进而至少基于所有位置的像素的偏振度和偏振角以及上述四个图像中的至少一个,建立所述目标对象50的三维模型。
在一些实施例中,所述至少两个偏振方向包括0°、45°及90°。I=I_0°+I_90°,Q=I_0°-I_90°,U=2I_45°-I_0°-I_90°。DoLP=sqrt(Q^2 + U^2)/I,AoP=1/2arctan(U/Q)。
在另一些实施例中,所述至少两个偏振方向包括0°及90°。
请参阅图6,为图3中步骤S204的流程图。在一些实施例中,如图6所示,所述至少基于所述所有位置的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型,包括:
S2041:从所述至少两个图像中选取一目标图像。
S2042:将每一位置的像素的偏振信息与所述目标图像中对应的像素融合得到所述预设图案的融合图像。
S2043:至少基于所述预设图案的融合图像建立所述目标对象的三维模型。
其中,可从所述至少两个图像中选取清晰度最高的图像作为所述目标图像。从而可提高融合得到的所述预设图案的图像质量,进而可进一步提高建立的所述三维模型的精度。
步骤S2042中,所述将每一位置的像素的偏振信息与所述目标图像中对应的像素融合得到所述预设图案的融合图像,可包括:将每一位置的像素的偏振信息与所述目标图像中相同位置的像素融合得到所述预设图案的融合图像。即将每一坐标的像素的偏振信息与所述目标图像中具有相同坐标的像素融合得到所述预设图案的融合图像。例如,将计算得到的坐标为(1, 1)的像素的偏振信息与所述目标图像中坐标为(1, 1)的像素进行融合,以得到所述融合图像。
其中,所述将每一位置的像素的偏振信息与所述目标图像中对应的像素融合得到所述预设图案的融合图像,可包括:将每一位置的像素的偏振度映射至饱和度通道并将所述位置的像素的偏振角映射至色调通道;将所述目标图像中相同位置的像素的饱和度通道与所述偏振度映射至的饱和度通道进行加权叠加,并将该相同位置的像素的色调通道与所述偏振角映射至的色调通道进行加权叠加,从而实现融合而得到所述融合图像。所述融合图像包含了像素的偏振信息,使得所述融合图像的清晰度及对比度更高。
通过将所述偏振信息与所述目标图像融合,可明显提高融合后的所述融合图像的清晰度和对比度,且所述融合图像会呈现出更多的细节和特征,从而建立的所述三维模型可呈现出更多的细节和特征,例如,能够呈现出所述目标对象50的表面粗糙度、纹理走向、理化特性等。
其中,在得到所述预设图案的融合图像之后,可对所述融合图像进行解相位并重建得到所述三维模型,具体包括:对所述融合图像进行坐标转换,以将每个像素的像素坐标转换为世界坐标,进而建立所述三维模型。
在一些实施例中,所述目标图像为所述图像采集设备30在所述第一偏振模块20的偏振方向为0°时采集到的所述预设图案的图像。
当所述第一偏振模块20的偏振方向为0°时,所述投影设备10发出的光线经过所述第一偏振模块20后,强度损失较小,采集得到的所述预设图案的图像会更清晰、更明亮,从而可提高融合得到的所述融合图像的清晰度,进而有利于提高所述三维模型的精度。
在其它实施例中,所述目标图像可为所述图像采集设备30在其它偏振方向时采集到的所述预设图案的图像,例如45°、90°、135°等。还可为将所述第一偏振模块20从所述投影设备10的投影路径中移除后采集得到的所述预设图案的图像。
请参阅图7,为本申请一实施例提供的第一偏振模块20与所述控制设备40的连接关系示意图。在一些实施例中,如图7所示,所述第一偏振模块20包括偏振片组件21以及偏振驱动模块22,所述偏振片组件21包括至少一个偏振片211。所述偏振驱动模块22与所述控制设备40连接,所述控制设备40可控制所述偏振驱动模块22驱动所述偏振片211移动,以调整所述偏振片组件21的位置,进而调整所述偏振片组件21的偏振方向,即调整所述第一偏振模块20的偏振方向。
在前述的控制所述投影设备10投影预设图案之前,所述三维模型建立方法还包括步骤:对所述偏振片组件21的至少两个偏振方向进行标定,以记录得到所述至少两个偏振方向对应的所述偏振片组件21的目标位置,其中,每一偏振方向与偏振片组件21的一目标位置对应。
例如,所述至少两个偏振方向包括第一偏振方向、第二偏振方向、第三偏振方向及第四偏振方向,对所述偏振片组件21的四个偏振方向一一进行标定,以记录得到每一偏振方向对应的所述偏振片组件21的目标位置,即得到所述偏振片组件21的四个目标位置。
前述的控制调整所述第一偏振模块20的偏振方向为至少两个不同的偏振方向,包括:根据记录的所述至少两个偏振方向对应的所述偏振片组件21的目标位置,控制所述偏振片组件21处于所述至少两个偏振方向对应的目标位置。
例如,在需要将所述偏振片组件21调整至处于所述第一偏振方向时,控制所述偏振驱动模块22驱动所述偏振片组件21移动至所述第一偏振方向对应的目标位置,使得所述偏振片组件21的偏振方向为所述第一偏振方向。
示例性地,请参阅图8,为本申请再一实施例提供的三维模型建立方法的流程图。如图8所示,所述三维模型建立方法包括:
S301:对所述偏振片组件21的至少两个偏振方向进行标定,以记录得到所述至少两个偏振方向对应的所述偏振片组件21的目标位置,其中,每一偏振方向与偏振片组件21的一目标位置对应。
S302:控制所述投影设备投影预设图案,并在所述投影设备10投影所述预设图案时,根据记录的所述至少两个偏振方向对应的所述偏振片组件21的目标位置,控制所述偏振片组件21分别处于所述至少两个偏振方向对应的目标位置,以使所述预设图案经过处于不同偏振方向时的所述第一偏振模块20投影至所述目标对象。
S303:在所述偏振片组件21调整至任一偏振方向时,控制所述图像采集设备30采集投影在所述目标对象上的所述预设图案的图像,以得到所述预设图案的至少两个图像。
S304:根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息。
S305:至少基于所述预设图案对应的偏振信息以及所述预设图案的至少两个图像中的至少一个建立所述目标对象的三维模型。
通过对所述偏振片组件21的偏振方向进行标定,可使得确定出的偏振信息更加准确。
请参阅图9,为图8中步骤S301的子流程图。在一些实施例中,如图9所示,前述的对所述偏振片组件21的至少两个偏振方向进行标定,包括:
S3011:控制所述投影设备10投影标定图案,以使所述标定图案经过所述偏振片组件21投影至标定件。其中,所述标定图案与前述的预设图案可相同或不同。
S3012:控制所述图像采集设备30采集投影在所述标定件上的所述标定图案的图像。
S3013:将采集到的标定图案的图像与待标定的偏振方向对应的预设图像对比。
S3014:在对比结果满足预设条件时,记录所述偏振片组件21当前的位置为所述待标定的偏振方向对应的目标位置。
S3015:在对比结果不满足所述预设条件时,控制调整所述偏振片组件21的位置并控制重复采集投影在所述标定件上的所述标定图案的图像,直至再次采集到的标定图案的图像与所述预设图像的对比结果满足所述预设条件,并记录所述偏振片组件21调整后的位置为所述待标定的偏振方向对应的目标位置。
其中,所述标定件可为具有棋盘格图案的标定板。每一待标定的偏振方向对应一预设图像,不同的待标定的偏振方向对应的预设图像可相同或不同,所述预设图像可通过实验测试得到。每一待标定的偏振方向对应所述偏振片组件21的一预设位置。在投影所述标定图案之前,可调节所述偏振片组件21处于所述待标定的偏振方向对应的预设位置,然后执行步骤S3011至S3015,在所述对比结果不满足所述预设条件时,调整所述偏振片组件21的位置可理解为对处于所述预设位置的所述偏振片组件21进行微调。
其中,在一些实施例中,所述标定件可相对所述偏振片组件21旋转,所述标定件的位置与待标定的偏振方向对应,每一待标定的偏振方向对应标定件的一位置。在对某一偏振方向进行标定时,将所述偏振片组件21调节至与该偏振方向对应的预设位置,并将所述标定件调节至与该偏振方向对应的位置,再执行步骤S3011;然后,对另一偏振方向进行标定时,将所述偏振片组件21调节至与该另一偏振方向对应的预设位置,并将所述标定件调节至与该另一偏振方向对应的位置,再执行步骤S3011。
所述预设条件可包括:采集到的所述标定图案的图像的对比度与所述预设图像的对比度的差值在第一预设差值范围内,和/或采集到的所述标定图案的图像的清晰度与所述预设图像的清晰度的差值在第二预设差值范围内。
示例性地,待标定的偏振方向包括0°,0°对应预设图像a及预设位置b。调节所述偏振片组件21处于所述预设位置b,并执行步骤S3011至S3012,以及将采集到的图像与所述预设图像a进行对比,并判断对比结果是否满足所述预设条件,在所述对比结果满足所述预设条件时,记录所述预设位置b为0°对应的目标位置,在所述对比结果不满足所述预设条件时,控制调整所述偏振片组件21的位置,直到采集到的图像与所述预设图像a的对比结果满足所述预设条件,并记录此时所述偏振片组件21的位置为0°对应的目标位置。
请参阅图10至图13,图10为本申请第一实施例提供的偏振片组件21的偏振方向的示意图,图11为本申请第二实施例提供的偏振片组件21的偏振方向的示意图,图12为本申请第三实施例提供的偏振片组件21的偏振方向的示意图,图13为本申请第四实施例提供的偏振片组件21的偏振方向的示意图。在一些实施例中,如图10至图13所示,所述偏振片组件21包括两个偏振片211,所述偏振片组件21的偏振方向为所述两个偏振片211的透振方向的夹角。如图10所示,所述两个偏振片211的透振方向的夹角为0°,即所述偏振片组件21的偏振方向为0°。如图11所示,所述两个偏振片211的透振方向的夹角为45°,即所述偏振片组件21的偏振方向为45°。如图12所示,所述两个偏振片211的透振方向的夹角为90°,即所述偏振片组件21的偏振方向为90°。如图13所示,所述两个偏振片211的透振方向的夹角为135°,即所述偏振片组件21的偏振方向为135°。前述的预设位置可根据经验设定,例如,根据上一次的标定结果设定;或者根据所述两个偏振片211的透振方向的夹角设定,例如,待标定的偏振方向为45°,将所述两个偏振片211的透振方向的夹角为45°对应的所述两个偏振片211的位置作为所述预设位置。
在一些实施例中,前述的记录得到所述至少两个偏振方向对应的所述偏振片组件21的目标位置,包括:记录得到每一偏振方向对应的所述两个偏振片211的目标位置。
前述的根据记录的所述至少两个偏振方向对应的所述偏振片组件21的目标位置,控制所述偏振片组件21处于所述至少两个偏振方向对应的目标位置,包括:根据记录的每一偏振方向对应的所述两个偏振片211的目标位置,控制所述两个偏振片211处于所述偏振方向对应的目标位置。
其中,在一些实施例中,所述两个偏振片211均可移动,记录的所述两个偏振片211的目标位置可包括第一目标位置及第二目标位置。在调整所述偏振片组件21的偏振方向时,可根据需要调整至的偏振方向将所述两个偏振片211分别移动至对应的第一目标位置及第二目标位置。
在另一些实施例中,所述两个偏振片211中一个固定,另一个可移动。记录的所述两个偏振片211的目标位置为可移动的偏振片211的目标位置。在调整所述偏振片组件21的偏振方向时,可根据需要调整至的偏振方向将可移动的偏振片211移动至对应的目标位置。
前述的步骤S3015中,可移动所述两个偏振片211,或者移动其中一个偏振片211,以调整所述偏振片组件21的位置,即可对所述两个偏振片211的位置均进行调整,或者只调整其中一个偏振片211的位置,来调整偏振方向,以使得对比结果满足所述预设条件。
前述的步骤S201中,可移动所述两个偏振片211,或者移动其中一个偏振片211,以调整所述第一偏振模块20处于不同的偏振方向。
在一些实施例中,所述两个偏振片211包括第一偏振片及第二偏振片,所述第一偏振片固定,所述第二偏振片可移动。在对待标定偏振方向进行标定以及执行所述步骤S201时,可通过移动所述第二偏振片而调整所述第二偏振片与所述第一偏振片的夹角,而调整所述偏振片组件21的位置,从而调整所述偏振方向。
在一些实施例中,所述偏振片组件21可包括一个偏振片211。所述偏振方向可为所述偏振片211的透振方向与水平方向的夹角。在调整所述偏振片组件21的偏振方向时,可沿水平方向旋转所述偏振片211,以调整所述偏振片211的透振方向与水平方向的夹角,而调整所述偏振片组件21的偏振方向。
在其它一些实施例中,所述第一偏振模块20可包括液晶单元,通过对所述液晶单元施加外加电场,可使所液晶单元中的液晶分子发生偏转,以调整所述液晶单元的偏振方向。其中,可通过控制施加的电场的强度,调整所述液晶分子的偏转角度,从而调整所述液晶单元的偏振方向。
在一些实施例中,所述预设图案为至少两个,对于每一预设图案均执行前述的步骤S101至所述步骤S104,或者,均执行前述的步骤S201至S204,或者均执行前述的步骤S301至S305。
从而,可计算得到每一预设图案对应的偏振信息。
前述的至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型,包括:基于所有预设图案对应的偏振信息以及所有预设图案的图像,建立所述目标对象的三维模型。
其中,所述基于所有预设图案对应的偏振信息以及所有预设图案的图像,建立所述目标对象的三维模型,可包括:将每一预设图案对应的偏振信息及该预设图案的图像融合得到该预设图案的融合图像,而得到所有预设图案的融合图像;基于所有预设图案的融合图像建立所述目标对象的三维模型。
在一些实施例中,所述预设图案为9个,分别为3个格雷码编码图案、4个相移编码图案、1个黑色编码图案及1个白色编码图案。该3个格雷码编码图案分别为格雷码编码图案A1、格雷码编码图案A2及格雷码编码图案A3,该4个相移编码图案分别为相移编码图案B1、相移编码图案B2、相移编码图案B3及相移编码图案B4,该1个黑色编码图案为黑色编码图案C,该1个白色编码图案为白色编码图案D。
分别采集该9个预设图案在不同偏振方向下的图像,例如,采集该9个预设图案在0°、45°、90°及135°下的图像P,如表1所示:
表1
并根据每个预设图案在不同偏振方向下采集到的图像,确定所述预设图案对应的偏振信息。例如,根据格雷码编码图案A1在上述四个偏振方向下采集到的图像,即P_A1_0°、P_A1_45°、P_A1_90°及P_A1_135°,确定格雷码编码图案A1对应的偏振信息,从而,得到所有预设图案各自对应的偏振信息。并将每个预设图案对应的偏振信息与该预设图案在0°下对应的图像进行融合得到该预设图案的融合图像。例如,将格雷码编码图案A1对应的偏振信息与P_A1_0°进行融合得到格雷码编码图案A1的融合图像,从而,得到所有预设图案各自的融合图像。再基于所有预设图案各自的融合图像建立所述三维模型。
在一些实施例中,步骤S2031中,所述确定每一图像中每个像素的光强度值可包括:对于黑色编码图案以及白色编码图案,提取对应的图像中每一像素的灰度值并根据所述灰度值确定所述像素的光强度值;对于格雷码编码图案以及相移编码图案,可根据每个像素的R值、G值及B值计算得到所述像素的光强度值,其中,所述光强度值等于所述R值、G值及B值之和的三分之一。
在另一些实施例中,前述的至少两个预设图案包括的格雷码编码图案、相移编码图案、黑色编码图案、白色编码图案的数量可为其它值。或者,所述至少两个预设图案可包括其它类型的编码图案。
在一些实施例中,如图2所示,所述图像采集设备30的光路上设有第二偏振模块60,所述第二偏振模块60位于所述图像采集设备30及所述目标对象50之间,所述目标对象50反射的光线经过所述第二偏振模块60入射至所述图像采集设备30,在所述图像采集设备30采集所述预设图案的图像时,所述第二偏振模块60的偏振方向不变。
通过在所述图像采集设备30的光路上设置所述第二偏振模块60,可提高采集的图像的清晰度及对比度,从而获得更多的细节信息和特征。
在一些实施例中,在所述图像采集设备30采集所述预设图案的图像时,所述第二偏振模块60的偏振方向为0°。
在一些实施例中,所述第二偏振模块60包括两个偏振片,所述第二偏振模块60的偏振方向指的是所述两个偏振片的透振方向的夹角。所述两个偏振片的透振方向的夹角为0°时所述第二偏振模块60的偏振方向为0°。
在另一些实施例中,所述第二偏振模块60包括一个偏振片,所述第二偏振模块60的偏振方向可为该偏振片的透振方向与水平方向的夹角。
通过设置所述第二偏振模块60的偏振方向为0°,可使得经过所述第二偏振模块60入射至所述图像采集设备30的光线损失较少,从而可进一步提高所述图像采集设备30采集的图像的清晰度及明亮度,进而有利于提高所述三维模型的精度。
在其它实施例中,所述第二偏振模块60的偏振方向可为其它偏振方向,例如45°、90°、135°等。
在一些实施例中,在控制所述投影设备10投影所述预设图案之前,所述三维模型建立方法还包括步骤:对所述图像采集设备30的内参进行标定,以得到所述图像采集设备30的内部参数,所述内部参数包括焦距、主点坐标及畸变参数中的至少一个;对所述图像采集设备30的外参进行标定,以得到所述图像采集设备30的外部参数,所述外部参数包括所述图像采集设备30的位置和/或姿态。
其中,对所述图像采集设备30的内参进行标定,具体可包括:提供标定板,例如具有棋盘格图案的标定板,所述标定板上的图案包括多个角点;将所述标定板置于所述图像采集设备30的视野范围内,确保所述图像采集设备30可采集到所述标定板完整的图像;控制所述投影设备10投影已知图案至所述标定板上;控制所述图像采集设备30采集投影在所述标定板上的所述已知图案的图像;对采集到的图像进行图像处理,以提取得到图像中所述角点的像素坐标;基于提取到的图像中每个角点的像素坐标以及所述标定板上每个角点的世界坐标,使用标定算法计算得到所述图像采集设备30的内部参数。
其中,所述已知图案可与所述预设图案相同或不同。在一些实施例中,所述已知图案可为棋盘格图案。可使用角点检测算法提取出图像中每个角点的像素坐标。所述标定算法可为张正友标定算法,还可为其它的用于相机内参标定的算法,例如Tsai's方法。
对所述图像采集设备30的外参进行标定,具体可包括:根据所述图像采集设备30的内部参数以及所述标定板的实际尺寸,计算得到所述图像采集设备30的外部参数。
其中,可调整所述标定板的位置和/或投影不同的已知图案,并再次对所述图像采集设备30的内参和外参进行标定,以得到多组内部参数和多组外部参数,再使用非线性优化算法对所述多组内部参数和多组外部参数进行优化,得到最终的所述图像采集设备30的内部参数和外部参数。
根据所述内部参数及所述外部参数可建立所述图像采集设备30采集到的图像的像素坐标与世界坐标的对应关系,基于该对应关系及所述融合图像可建立所述三维模型。
请参阅图14,为本申请一实施例提供的控制设备40的结构框图。如前所述的,所述控制设备40与前述的投影设备10、图像采集设备30及第一偏振模块20连接。如图14所示,所述控制设备40包括处理器41及存储器42,所述存储器42存储有指令,所述指令用于供所述处理器41调用后执行,以实现前述的任一实施例所述的三维模型建立方法。其中,所述处理器41可包括CPU(Central Processing Unit,中央处理器)、MCU(Microcontroller Unit,单片机)、DSP(Digital Signal Process,数字信号处理器)等处理芯片。
请参阅图15,为本申请一实施例提供的三维模型建立系统100的结构框图。如图15所示,所述三维模型建立系统100包括前述的投影设备10、图像采集设备30、第一偏振模块20以及前述的控制设备40。
在一些实施例中,所述三维模型建立系统100还包括前述的第二偏振模块60。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序供处理器调用后执行,以实现前述的任一实施例所述的三维模型建立方法。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种任务执行控制方法的部分或全部步骤。
其中,所述三维模型建立系统100与前述的三维模型建立方法对应,更详细的描述可参见前述的三维模型建立方法的各个实施例的内容,所述三维模型建立系统100与前述的三维模型建立方法的内容也可相互参照。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
以上是本申请实施例的实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本申请的保护范围。
Claims (15)
1.一种三维模型建立方法,应用于控制设备,其特征在于,所述控制设备与投影设备、图像采集设备以及第一偏振模块连接,所述第一偏振模块位于所述投影设备的投影路径中;所述三维模型建立方法包括:
步骤A:控制所述投影设备投影预设图案,以使所述预设图案经过所述第一偏振模块投影至目标对象;
步骤B:控制所述图像采集设备采集经过所述第一偏振模块投影在所述目标对象上的所述预设图案的图像;
步骤C:根据所述预设图案的图像确定所述预设图案对应的偏振信息;
步骤D:至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型;
所述第一偏振模块的偏振方向可调;所述控制所述投影设备投影预设图案,以使所述预设图案经过所述第一偏振模块投影至目标对象,包括:
在所述投影设备投影所述预设图案时,控制调整所述第一偏振模块的偏振方向为至少两个不同的偏振方向,并使所述预设图案经过处于不同偏振方向时的所述第一偏振模块投影至所述目标对象;
所述控制所述图像采集设备采集投影在所述目标对象上的所述预设图案的图像,包括:
在所述第一偏振模块调整至任一偏振方向时,控制所述图像采集设备采集投影在所述目标对象上的所述预设图案的图像,以得到所述预设图案的至少两个图像;
所述根据所述预设图案的图像确定所述预设图案对应的偏振信息,包括:
根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息;
所述至少两个图像的像素排布方式及像素数量相同;所述根据所述预设图案的至少两个图像确定所述预设图案对应的所述偏振信息,包括:
确定每一图像中每个像素的光强度值;
根据所述至少两个图像中位于相同位置的像素的光强度值,确定各个位置的像素的偏振信息,以得到所有位置的像素的偏振信息;
所述至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型,包括:
至少基于所述所有位置的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型。
2.根据权利要求1所述的三维模型建立方法,其特征在于,所述偏振信息包括偏振度和/或偏振角;所述根据所述至少两个图像中位于相同位置的像素的光强度值,确定各个位置的像素的偏振信息,包括:
根据所述至少两个图像中位于相同位置的像素的光强度值,计算得到各个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个;
根据每个位置的像素的总光强度值、水平方向极化光强度值及垂直方向极化光强度值中的至少一个计算得到所述位置的像素的偏振度和/或偏振角。
3.根据权利要求1所述的三维模型建立方法,其特征在于,所述至少基于所述所有位置的像素的偏振信息以及所述至少两个图像中的至少一个,建立所述目标对象的三维模型,包括:
从所述至少两个图像中选取一目标图像;
将每一位置的像素的偏振信息与所述目标图像中对应的像素融合得到所述预设图案的融合图像;
至少基于所述预设图案的融合图像建立所述目标对象的三维模型。
4.根据权利要求3所述的三维模型建立方法,其特征在于,所述目标图像为所述图像采集设备在所述第一偏振模块的偏振方向为0°时采集到的所述预设图案的图像。
5.根据权利要求1所述的三维模型建立方法,其特征在于,所述至少两个偏振方向包括0°、45°、90°及135°中的至少两个;所述控制调整所述第一偏振模块的偏振方向为至少两个不同的偏振方向,包括:
控制调整所述第一偏振模块的偏振方向为0°、45°、90°及135°中的至少两个。
6.根据权利要求1所述的三维模型建立方法,其特征在于,所述第一偏振模块包括偏振片组件,所述偏振片组件包括至少一个偏振片;在所述控制所述投影设备投影预设图案之前,所述方法还包括:
对所述偏振片组件的至少两个偏振方向进行标定,以记录得到所述至少两个偏振方向对应的所述偏振片组件的目标位置,其中,每一偏振方向与偏振片组件的一目标位置对应;
所述控制调整所述第一偏振模块的偏振方向为至少两个不同的偏振方向,包括:
根据记录的所述至少两个偏振方向对应的所述偏振片组件的目标位置,控制所述偏振片组件处于所述至少两个偏振方向对应的目标位置。
7.根据权利要求6所述的三维模型建立方法,其特征在于,所述对所述偏振片组件的至少两个偏振方向进行标定,包括:
控制所述投影设备投影标定图案,以使所述标定图案经过所述偏振片组件投影至标定件;
控制所述图像采集设备采集投影在所述标定件上的所述标定图案的图像;
将采集到的标定图案的图像与待标定的偏振方向对应的预设图像对比;
在对比结果满足预设条件时,记录所述偏振片组件当前的位置为所述待标定的偏振方向对应的目标位置;
在对比结果不满足所述预设条件时,控制调整所述偏振片组件的位置并控制重复采集投影在所述标定件上的所述标定图案的图像,直至再次采集到的标定图案的图像与所述预设图像的对比结果满足所述预设条件,并记录所述偏振片组件调整后的位置为所述待标定的偏振方向对应的目标位置。
8.根据权利要求6所述的三维模型建立方法,其特征在于,所述偏振片组件包括两个偏振片,所述偏振方向为所述两个偏振片的透振方向的夹角;所述记录得到所述至少两个偏振方向对应的所述偏振片组件的目标位置,包括:
记录得到每一偏振方向对应的所述两个偏振片的目标位置;
所述根据记录的所述至少两个偏振方向对应的所述偏振片组件的目标位置,控制所述偏振片组件分别处于所述至少两个偏振方向对应的目标位置,包括:
根据记录的每一偏振方向对应的所述两个偏振片的目标位置,控制所述两个偏振片处于所述偏振方向对应的目标位置。
9.根据权利要求1所述的三维模型建立方法,其特征在于,所述预设图案为至少两个,对于每一预设图案均执行所述步骤A至所述步骤C;所述至少基于所述预设图案对应的偏振信息以及所述预设图案的图像建立所述目标对象的三维模型,包括:
基于所有预设图案对应的偏振信息以及所有预设图案的图像,建立所述目标对象的三维模型。
10.一种控制设备,其特征在于,所述控制设备与投影设备、图像采集设备及第一偏振模块连接,所述控制设备包括处理器及存储器,所述存储器存储有指令,所述指令用于供所述处理器调用后执行,以实现如权利要求1至9任一项所述的三维模型建立方法。
11.一种三维模型建立系统,其特征在于,所述三维模型建立系统包括投影设备、图像采集设备、第一偏振模块以及如权利要求10所述的控制设备。
12.根据权利要求11所述的三维模型建立系统,其特征在于,所述三维模型建立系统还包括第二偏振模块,位于所述图像采集设备及目标对象之间,所述目标对象反射的光线经过所述第二偏振模块入射至所述图像采集设备,在所述图像采集设备采集所述预设图案的图像时,所述第二偏振模块的偏振方向不变。
13.根据权利要求12所述的三维模型建立系统,其特征在于,在所述图像采集设备采集预设图案的图像时,所述第二偏振模块的偏振方向为0°。
14.根据权利要求11所述的三维模型建立系统,其特征在于,所述投影设备发出的光线为红外光。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序用于供处理器调用后执行,以实现如权利要求1-9任一项所述的三维模型建立方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410015351.3A CN117523112B (zh) | 2024-01-05 | 2024-01-05 | 三维模型建立方法及其系统、控制设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410015351.3A CN117523112B (zh) | 2024-01-05 | 2024-01-05 | 三维模型建立方法及其系统、控制设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117523112A CN117523112A (zh) | 2024-02-06 |
CN117523112B true CN117523112B (zh) | 2024-05-17 |
Family
ID=89744264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410015351.3A Active CN117523112B (zh) | 2024-01-05 | 2024-01-05 | 三维模型建立方法及其系统、控制设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117523112B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
WO2007057578A1 (fr) * | 2005-11-17 | 2007-05-24 | Universite De Bourgogne | Procede et systeme de reconstruction de surfaces d'objets par imagerie de polarisat! on |
CN108692677A (zh) * | 2018-04-11 | 2018-10-23 | 四川大学 | 基于反射光场偏振与空时编码的表面三维重建方法和系统 |
CN113108720A (zh) * | 2021-04-06 | 2021-07-13 | 北京工业大学 | 一种基于线偏振光和条纹反射的表面三维重建方法 |
CN113610962A (zh) * | 2021-08-09 | 2021-11-05 | 深圳市人工智能与机器人研究院 | 一种三维重建方法以及相关设备 |
JP2022060641A (ja) * | 2020-10-05 | 2022-04-15 | 日本放送協会 | 質感取得システム、質感取得装置および質感取得プログラム |
CN115876124A (zh) * | 2023-01-09 | 2023-03-31 | 中国科学院深圳先进技术研究院 | 基于偏振结构光相机的高反光表面三维重建方法及装置 |
CN116295113A (zh) * | 2023-03-01 | 2023-06-23 | 西安电子科技大学 | 一种融合条纹投影的偏振三维成像方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8760517B2 (en) * | 2010-09-27 | 2014-06-24 | Apple Inc. | Polarized images for security |
US10466036B2 (en) * | 2016-10-07 | 2019-11-05 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera |
US10692232B2 (en) * | 2016-12-30 | 2020-06-23 | Canon Kabushiki Kaisha | Shape reconstruction of specular and/or diffuse objects using multiple layers of movable sheets |
US11605172B2 (en) * | 2017-12-08 | 2023-03-14 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Digital fringe projection and multi-spectral polarization imaging for rapid 3D reconstruction |
-
2024
- 2024-01-05 CN CN202410015351.3A patent/CN117523112B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
WO2007057578A1 (fr) * | 2005-11-17 | 2007-05-24 | Universite De Bourgogne | Procede et systeme de reconstruction de surfaces d'objets par imagerie de polarisat! on |
CN108692677A (zh) * | 2018-04-11 | 2018-10-23 | 四川大学 | 基于反射光场偏振与空时编码的表面三维重建方法和系统 |
JP2022060641A (ja) * | 2020-10-05 | 2022-04-15 | 日本放送協会 | 質感取得システム、質感取得装置および質感取得プログラム |
CN113108720A (zh) * | 2021-04-06 | 2021-07-13 | 北京工业大学 | 一种基于线偏振光和条纹反射的表面三维重建方法 |
CN113610962A (zh) * | 2021-08-09 | 2021-11-05 | 深圳市人工智能与机器人研究院 | 一种三维重建方法以及相关设备 |
CN115876124A (zh) * | 2023-01-09 | 2023-03-31 | 中国科学院深圳先进技术研究院 | 基于偏振结构光相机的高反光表面三维重建方法及装置 |
CN116295113A (zh) * | 2023-03-01 | 2023-06-23 | 西安电子科技大学 | 一种融合条纹投影的偏振三维成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117523112A (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10958892B2 (en) | System and methods for calibration of an array camera | |
CN109510948B (zh) | 曝光调整方法、装置、计算机设备和存储介质 | |
US7499600B2 (en) | Method for characterizing a digital imaging system | |
US11606542B2 (en) | Projection image automatic correction method and system based on binocular vision | |
WO2010004677A1 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 | |
US8520081B2 (en) | Imaging device and method, and image processing method for imaging device | |
TWI484283B (zh) | 影像計算量測方法、影像計算量測裝置及影像檢查裝置 | |
US20100073547A1 (en) | Image capturing apparatus, image capturing method and program | |
CN106447733B (zh) | 颈椎活动度及活动轴线位置的确定方法、系统及装置 | |
WO2016204068A1 (ja) | 画像処理装置および画像処理方法、ならびにプロジェクションシステム | |
CN111627073B (zh) | 一种基于人机交互的标定方法、标定装置和存储介质 | |
JP2010087862A (ja) | 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム | |
CN117523112B (zh) | 三维模型建立方法及其系统、控制设备及存储介质 | |
CN109325912B (zh) | 基于偏振光光场的反光分离方法及标定拼合系统 | |
Masaoka et al. | Realtime measurement of ultrahigh-definition camera modulation transfer function | |
JP4260634B2 (ja) | 画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置 | |
CN111047651B (zh) | 畸变图像的矫正方法 | |
CN111105365B (zh) | 一种纹理影像的色彩校正方法、介质、终端和装置 | |
JP2010087859A (ja) | 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム | |
JP4583670B2 (ja) | 画像歪み補正装置及び方法 | |
CN117097872A (zh) | 一种投影设备自动梯形校正系统及方法 | |
KR20180121100A (ko) | 영상 투사 기기 정렬 장치 및 방법 | |
CN110230995A (zh) | 一种基于鬼成像的感兴趣区域成像装置 | |
CN111857623A (zh) | 校准设备、校准系统和显示设备校准方法 | |
CN115738089A (zh) | 一种基于双目视觉的主动紫外光皮肤治疗系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |