CN109341589A - 一种光栅图像投影方法、三维重建方法及三维重建系统 - Google Patents

一种光栅图像投影方法、三维重建方法及三维重建系统 Download PDF

Info

Publication number
CN109341589A
CN109341589A CN201811211140.8A CN201811211140A CN109341589A CN 109341589 A CN109341589 A CN 109341589A CN 201811211140 A CN201811211140 A CN 201811211140A CN 109341589 A CN109341589 A CN 109341589A
Authority
CN
China
Prior art keywords
image
raster image
period section
projection
fringe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811211140.8A
Other languages
English (en)
Other versions
CN109341589B (zh
Inventor
杨洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huahan Weiye Technology Co Ltd
Original Assignee
Shenzhen Huahan Weiye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huahan Weiye Technology Co Ltd filed Critical Shenzhen Huahan Weiye Technology Co Ltd
Priority to CN201811211140.8A priority Critical patent/CN109341589B/zh
Publication of CN109341589A publication Critical patent/CN109341589A/zh
Application granted granted Critical
Publication of CN109341589B publication Critical patent/CN109341589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种光栅图像投影方法、三维重建方法及三维重建系统。一方面,由于该光栅图像投影方法能够连续更新形成光栅条纹的条纹分布函数,使得光栅图像中各周期区间内的光栅条纹具备了相位移动的特性,利于光栅条纹根据投影光强而发生渐进变化,有助于形成高质量的投影效果;另一方面,由于生成的光栅图像保留了原有相移方法的优点,使得采用光栅图像投影时能够有效克服在物体表面发生的模糊、脏污和漫反射问题,对反光等场景的具有更强的适应性。此外,由于该三维重建方法利用了该光栅图像投影技术,使得三维重建系统能够取像得到物体的清晰表面轮廓,利于解相位计算各像素点的投影坐标,从而获得高精度的三维重建效果。

Description

一种光栅图像投影方法、三维重建方法及三维重建系统
技术领域
本发明涉及三维测量领域,具体涉及一种用于三维重建的光栅图像投影方法及其装置。
背景技术
三维重建是应用一定的手段和方法对被测物进行扫描以获取其表面空间坐标,从而建立适合计算机表示和处理的数学模型的过程。传统方法通常是利用三维坐标机对物体的三维轮廓进行提取,该类方法虽然具有测量精度高的益处,但也存在接触式测量周期长、不适用于柔软物体表面测量的缺点。当前,多采用光学手段提取三维轮廓来进行三维重建,这种方法不仅可以非接触地测量物体,而且具有测量效率高、测量速度快的特性,可适应于当代工业、计算机视觉等领域的性能要求。
由此可知,在采用光学手段进行三维重建时,往往会用到结构光三维重建方法,该方法的技术要点在于投射一系列光栅图像到被检测物体上,拍摄每个光栅图像在待测量物体表面形成的测量图像,最后通过拍摄的测量图像提取物体表面的轮廓特征,从而达到利用光栅投影测量物体轮廓的要求。这种结构光三维重建方法虽然可获得较多的测量信息量,但也受到结构光(光栅图像)质量的限制,会在待测量物体的表面形成高反光情形,此时,光栅图像中的黑色像素点在经过物体反射后可能变成白色像素点,从而使得拍摄的测量图像的质量大大下降,严重时将无法进行后续的三维重建工作。
发明内容
本发明主要解决的技术问题是如何提高现有三维重建中光栅图像的投影质量,以保证光栅图像投射到物体表面上的取像效果。
根据第一方面,一种实施例中提供一种光栅图像投影方法,包括以下步骤:
生成光栅图像并进行投影,所述光栅图像包括若干行的投影图像,每个投影图像包括多个并列分布的周期区间,每个周期区间包括根据预设的条纹分布函数在该周期区间内形成的光栅条纹;
更新所述光栅图像并重新进行投影,其中更新所述光栅图像包括:更新所述光栅图像中各个所述周期区间内光栅条纹的条纹分布函数,以对各个所述周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像。
根据第二方面,一种实施例中提供一种三维重建方法,包括以下步骤:
按照第一方面所述的光栅图像投影方法对待检测物体进行投影,直至达到预设的投影次数,获得每次生成的光栅图像在所述待检测物体上投影形成的测量图像;
获取每幅所述测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量;
根据每幅所述测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对所述待检测物体进行三维重建。
根据第三方面,一种实施例中提供一种三维重建系统,包括:
投影装置,用于第一方面所述的光栅图像投影方法对待检测物体进行投影,直至达到预设的投影次数;
图像采集装置,与所述投影装置连接,用于获得每次生成的光栅图像在所述待检测物体上投影形成的测量图像;
运算处理装置,与所述图像采集装置连接,用于获取每幅所述测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量,及用于根据各幅所述测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对所述待检测物体进行三维重建。
根据第四方面,一种实施例中提供一种计算机可读存储介质,包括程序,所述程序能够被处理器执行以实现上述第二方面所述的方法。
本申请的有益效果是:
依据上述实施例的一种光栅图像投影方法、三维重建方法及三维重建系统,第一方面,由于该光栅图像投影方法生成的光栅图像是由格雷码图像和相移图像结合而成,可有效避免格雷码图像和相移图像交替投影的情形,使得光栅投影的次数减少,利于保证投影精度的同时提高后期解相位计算的速度;第二方面,由于该光栅图像投影方法能够连续更新形成光栅条纹的条纹分布函数,使得光栅图像中各周期区间内的光栅条纹具备了相位移动的特性,利于光栅条纹根据投影光强而发生渐进变化,有助于形成高质量的投影效果;第三方面,由于生成的光栅图像保留了原有相移方法的优点,使得采用光栅图像投影时能够有效克服在物体表面发生的模糊、脏污和漫反射问题,对反光等场景的具有更强的适应性;第四方面,由于该三维重建方法利用了上述的光栅图像投影技术,使得结构光栅反射后传输过程可产生信号的低通滤波作用,可使得取像得到的测量图像的空间分辨率不受光栅条纹最小宽度的影响,测量图像对于模糊反射和漫反射具有更高的鲁棒性;第五方面,在发生高反光的投影情形时,反射物体的光强会增大,采用三维重建方法的三维重建系统能够随着投影序列的变化逐渐消除强烈反光,从而取像得到物体的清晰表面轮廓,利于解相位计算各像素点的投影坐标,从而获得高精度的三维重建效果。
附图说明
图1为光栅图像投影方法的流程图;
图2为生成光栅图像并进行投影的流程图;
图3为更新光栅图像并重新进行投影的流程图;
图4为一种实施例的更新光栅图像过程的逻辑图;
图5为一种实施例的光栅图像的示意图,其中图5(a)为投影序列中m=0的光栅图像,图5(b)为投影序列中m=1的光栅图像,图5(c)为投影序列中m=2的光栅图像;
图6为三维重建方法的流程图;
图7为一种实施例的三维重建系统的结构图;
图8为另一种实施例的三维重建系统的结构图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本申请相关的一些操作并没有在说明书中显示或者描述,这是为了避免本申请的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。而本申请所说“连接”、“联接”,如无特别说明,均包括直接和间接连接(联接)。
为准确地理解本申请的技术方案及发明构思,这里将对一些光栅投影技术进行简要说明。
(1)格雷码图像投影技术。由于格雷编码的相邻码值只有一位不同且无权重高低,因此其解码误差较小,但是,格雷码图像仅能对投射角空间进行离散的划分,以划分的最小投射角区域中线作为该区域,导致投射角单元内中线位置以外的采样点的投射角不能准确求取。如果某一点在第一幅编码图案中处于黑白交界处,那么该点在接下来的编码图案进行投影时中也必然处于黑白交界的地方,例如,当十进制数由“3”变为“4”时,采用二进制码,则其编码将由“011”变为“100”,此时,三位二进制状态都发生变化,虽然我们看到的是同时转变,但从硬件的角度来看,设备的每一位状态并不是同时发生改变的,如第一位先转变成1,则数字暂时成为111,虽然很快第二位和第三位就会变成0,但是111这个暂时的状态很有可能会造成控制系统的不稳定。也就是说,尽管最终的结果是从“3”变到“4”,但出现了错误的中间转换过程,若不采用其他措施禁止这些中间错误结果输出,则将使设备产生较大的误差。因此,十进制码值可能存在多位被误判的情形,若误判存在于高位则解码误差较大,这种情况下会大大增加计算机产生误判而导致解码错误的概率,为了解决这一问题以减少解码过程中可能出现的累计误差,可将格雷编码引入到时间编码方法中。若采用格雷码,就不会产生这种较大的误差,因为当十进制数由“3”变为“4”时,其对应的格雷码将从“010”变为“100”,只有一位二进制数发生改变,也就无中间暂态出现,如表1所示。因此,光栅图像采用格雷编码时将比传统的二进制编码更为可靠。
表1格雷编码和二进制编码对照表
可以理解,二值编码是将二进制编码图像投射到待检测物体表面上,码字为0和1,在投射m幅条纹图案将对应2m个码值,可见表2所示的三位二进制二值编码原理。例如,投影装置向被测物体依次投射表2中所示的三幅光栅条纹图案,相机拍摄并采集对应的三幅测量图像,对于物体表面上任一点Q,在最高位、第二位和最低位图案中分别是1、0和0,拍摄获得的对应图案也分别是1、0和0,从而实现对点Q的编码,依据码值与扫描角的关系求解获得点Q的三维坐标。这种编码方式大大减少了解码错误,可提高计算速度,减少工作量。但是,该方法要求每次投射编码的条纹图像时物体位置和投射空间位置要固定不变。
表2三位二进制编码
那么,可以在二值编码的基础上形成了格雷编码,格雷编码又叫循环码,其主要特点表现为任意两个相邻码值只有一位不同。格雷编码的码字由0和1组成,属于二灰度级编码中的一种特殊形式,假设用0代表黑色,1代表白色,那么时间顺序中投影条纹上的每一点都可以用一个三位二进制码表示,例如:000,001,011,010,110,111,101,100就是一组格雷码。格雷码值最多只有一位被误判,且任意位被误判引起的解码误差只有一位,是一种可靠性编码,准确度相对较高。格雷编码图像与二值编码图像相比较,具有较大的优势。
(2)相移编码图像投影技术。该技术是将计算机生成的已知相位的光栅图像投影到待检测物体的表面,并在投影方向和相机取像方向所形成一定角度的方向上进行观察,由于受到物体面形不同高度的调制,此时投影的条纹会发生变形(即相位分布变化),变形的条纹图像(即测量图像)携带了物体的三维形状的信息,通过特定的解相和相位展开等技术,可以得到相位分布信息,最后利用三角法建立的相位与物体空间坐标的关系求出物体的三维坐标。然而,这种技术同样有自己的局限性,在某些测量情况下也会无法准确地获得物体的三维坐标信息,会产生有较多的噪点。例如,对被测物表面的光学特征(如色彩、反射率)有相对严格的要求;若待检测物体存在深孔洞、遮挡结构或者跃变结构时,将导致面结构光投影不到或是相机取像不到的情形,则需要进行角度变换测量或者采用双目取像和拼合技术;若被测物体为透光材质,则需要借助喷显影剂等辅助手段;此时,将严重地影响取像质量和后期的图像处理效果。
相移法是通过对正弦光栅条纹图案进行移相得到N幅光栅条纹图案,经N幅投射光栅图像的调制,来获取被检测物体表面的相位,然后以三角法为基础的三维测量原理完成相位—高度之间的转换。相移法是一种高精度、高分辨率的三维测量技术,相邻点光强值不会影响到原理上某一点的相位值,从而使得物体表面不均匀引起的误差得到避免。而且,相移法可以获取绝对相位,并能有效解决物体三维测量中表面变化不均匀、分布不规则以及变化量微小等情况下的问题。相移法对噪声、背景和对比度的变化不敏感,理论上对相位测量的精度可以达到无限划分,计算得到的相位值是一个点测值,有利于实现物体自动的三维测量。例如,N步相移法是指投射N幅不同的相位图案,通常投影图案的N值越大,测量的准确度就越高,但也存在测量速度较慢的情形。相移法在相移的一个周期内相位值是唯一的,在各个不同的周期内相位值就不唯一,因此相移法的独立使用受到了限制;并且,相移法存在反正切函数的运算,使得测量速度受到了影响。
通过上面的说明,可以了解格雷编码图像投影技术和相移编码图像投影技术的各自优缺点,那么,可以根据它们各自的优点来构建新的光栅图像投影方法,具体发明构思是:采用格雷编码可对物体测量空间进行分级标识,划分的每一级对应一个离散值,即每一级内所有的测量点都具有相同的格雷码值;采用相移法对每一级条纹用相移编码图像分别进行相位测量,可以计算出每个被测点的相位,实现相位是连续唯一的效果,以此实现高精度的检测要求。由此可知,采样格雷编码与相移法结合的组合编码方法时,理论上精度能够达到无限划分,从而获得绝对相位。例如,若采用四步相移法,则投射的格雷编码图像和相移编码图像应当满足格雷编码图像的最小栅距应为相移编码图像的相移量的4倍,并且格雷编码周期与相移周期变化相一致,如此,就可有效地提高三维重建的效果。因此,本申请提出了一种新的光栅图像投影方法,该方法能够保留原有相移方法的优点,能对反光等场景的适应性更强;并且,该方法还能保留格雷编码方法的技术优势,达到高速、高精度的检测要求。
实施例一:
下面将通过实施例来说明本申请提出的光栅图像投影方法,请参考图1,一种光栅图像投影方法,其包括步骤S110-S120,下面分别说明。
步骤S110,生成光栅图像并进行投影。这里生成的光栅图像包括若干行的投影图像,每个投影图像包括多个并列分布的周期区间,每个周期区间包括根据预设的条纹分布函数在该周期区间内形成的光栅条纹。在一实施例中,见图2,步骤S110可包括步骤S111-S114,分别说明如下:
步骤S111,构建若干行投影图像,使得每个投影图像包括多个并列分布的周期区间,预设各个周期区间的编码码值g。在本实施例中,可构建K行投影图像,每行投影图像均包括等宽度的S个周期区间,在每个周期区间内来形成光栅条纹。
步骤S112,确定预设的条纹分布函数,可用公式(1-1)进行表示
其中,m为光栅图像的投影序号,k为光栅图像中投影图像的分布序号,s为投影图像中周期区间的分布序号,f为周期函数,S为任意投影图像中周期区间的总数目,X为任意投影图像的行像素点的总数目,a、b、c均为实数常量,x为列像素点的序号,δ均为相移步长值,gm,s为第m个光栅图像的任意投影图像中第s个周期区间所对应的编码码值,为x像素点的相位,I为灰度强度,Im,k,s(x)表示第m个光栅图像的第k个投影图像中第s个周期区间内x像素点的灰度强度。
在本实施例中,为保证相移的有效性,应当使得相移步长值满足其中,用A={0,1,…,N-1}表示编码字符集,N为编码的个数;优选地,采用或者
根据条纹分布函数(1-1)可知,第m个光栅图像的第k个投影图像中第s个周期区间内x像素点的相位是
步骤S113,根据条纹分布函数确定各个像素点的灰度强度,以使得各个周期区间内形成光栅条纹。由于条纹分布函数(1-1)表征了每个周期区间内每个像素点的灰度强度,那么,就可采用条纹分布函数(1-1)来设置各个像素点的灰度值,从而在各个周期区间内形成光栅条纹。
在本实施例中,将条纹分布函数(1-1)中的周期函数f设定为正弦函数sin或余弦函数cos,以使得各个周期区间内形成灰度强度按照正弦分布或余弦分布的光栅条纹。若假定f为正弦函数sin、实数常量b=c=0,且m=0、S=15,则条纹分布函数(1-1)可简化为:
那么,根据简化后的条纹分布函数生成图5(a)所示的光栅图像。
步骤S114,将步骤S113生成的光栅图像进行投影。
步骤S120,更新光栅图像并重新进行投影。其中,更新光栅图像包括:更新光栅图像中各个周期区间内光栅条纹的条纹分布函数,以对各个周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像。在一实施例中,见图2,该步骤S120可包括步骤S121-S124,分别说明如下:
步骤S121,在上一次投影之后,更新光栅图像中各个周期区间的编码码值g,使得每个周期区间的编码码值在每次更新之后与预设的编码形式相匹配。
预设的编码形式可包括格雷编码形式、二进制编码形式、伪随机编码形式或步进编码形式,甚至是其它编码形式;由于二进制码、伪随机码、步进码都是现有技术,因此这里不再对其编码形式进行详细说明。由前面的发明构思叙述可知,格雷编码较二进制编码更为可靠,因此,在本申请中优选地采用格雷编码的编码形式。
在本实施例,预设的格雷编码的编码形式包括:同周期区间的格雷码值在时间序列上构成格雷编码的一组码值序列,相邻的周期区间各自对应的码值序列中仅存在一位码值异同。例如,对于三进制的格雷码A={0,1,2,3},其码值分别用0、1、2或3表示,可形成多组码值序列,分别为000、001、002、003、013、012、011、010、020等,每组码值序列中包括三个格雷码值;若一投影图像上前8个周期区间的格雷码字分别为0、0、0、0、0、0、0、0,在下一次更新后,该些周期区间的格雷码值将分别变更为0、0、0、0、1、1、1、1,再下一次更新后,该些周期区间的格雷码值将分别变更为0、1、2、3、3、2、1、0;可发现,同一周期区间的格雷码值在时间序列上符合格雷编码的某一组码值序列,而相邻的周期区间的格雷码值在时间序列上符合格雷编码的下一组码值序列,使得相邻的两周期区间各自对应的一组码值序列中仅存在一位异同,而随着更新次数的增加同一周期区间的格雷码值也在变化。
步骤S122,对于任一周期区间,根据更新后的该周期区间的编码码值g和该周期区间所在的投影图像的分布序号k对该周期区间内光栅条纹的条纹分布函数进行更新,更新后的条纹分布函数为
需要说明的是,第m个光栅图像的第k个投影图像中第s个周期区间,公式(1-4)中的gm,s已相对公式(1-1)中的gm,s发生了改变。
步骤S123,根据更新后的条纹分布函数形成光栅条纹,以使得各个周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像。每次更新之后,由于条纹分布函数发生了变化,致使各像素点的相位也发生了变化,表现在每个周期区间内时,就是该周期区间内光栅条纹发生了相位移动;然而,若一周期区间内光栅条纹对应的条纹分布函数在更新前后未发生变化,那么该周期区间内的光栅条纹就不会发生相位移动,保持原来的形态。
步骤S124,将步骤S123中更新后的光栅图像进行投影。
为详细说明光栅图像的更新过程,下面将通过一具体实施例进行说明,请参考图4,该图示意了M个光栅图像的逻辑更新过程。
在图4所示的具体实施例中,采用了三进制格雷码A={0,1,2,3}对M个光栅图像(每个光栅图像中有K个投影图像)进行编码,采用条纹分布函数形成各个周期区间内的光栅条纹,并使得参数满足以下要求:k∈[0,1,…,K-1],x∈[0,1,…,X-1],s∈[0,1,…,S-1],m∈[0,1,…,M-1],S=16,N=4。而且,图4中采用x轴表示周期区间的分布方向(即图像灰度分布方向),采用与x轴垂直的y轴表示投影图像的分布方向(即光栅条纹的延伸方向)。
在该实施例中,为简化对M个光栅图像的格雷编码形态,现对每幅光栅图像中的各个投影图像进行统一编码,使得每幅光栅图像中各个投影图像的第k个周期区间对应相同的格雷码值,则有
第m=0光栅图像的格雷编码序列为:{0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0};
第m=1光栅图像的格雷编码序列为:{0,0,0,0,1,1,1,1,2,2,2,2,3,3,3,3};
第m=2光栅图像的格雷编码序列为:{0,1,2,3,3,2,1,0,0,1,2,3,3,2,1,0}。
如此,对于任一幅光栅图像,它的每个投影图像均按照该光栅图像的格雷编码序列对该投影图像的各个周期区间进行编码;并且,各幅光栅图像的格雷编码序列在列方向上共形成16组码值序列。
那么,在m=0的光栅图像中,k=0且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=0)π/2+(gm,s=0)π/2)=sin(2πSx/X)来形成光栅条纹,k=1且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=1)π/2+(gm,s=0)π/2)=sin(2πSx/X+π/2)来形成光栅条纹;如此类推,其它周期区间的光栅条纹也按照I(x)=sin(2πSx/X+kπ/2+gm,sπ/2)来形成,从而得到如图5(a)所示的光栅图像。
从而,在m=1的光栅图像中,k=0且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=0)π/2+(gm,s=0)π/2)=sin(2πSx/X)来形成光栅条纹,k=1且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=1+1)π/2+(gm,s=0)π/2)=sin(2πSx/X+π)来形成光栅条纹;如此类推,其它周期区间的光栅条纹在上一次条纹分布函数更新的基础上按照I(x)=sin(2πSx/X+kπ/2+gm,sπ/2)进行相位移动,从而形成新的光栅条纹,从而得到如图5(b)所示的光栅图像。
进而,在m=2的光栅图像中,k=0且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=0)π/2+(gm,s=0)π/2)=sin(2πSx/X)来形成光栅条纹,依照光栅条纹的生成方法,在k=1且s=0对应的周期区间内采用I(x)=sin(2πSx/X+(k=1+1+1)π/2+(gm,s=0)π/2)=sin(2πSx/X+3π/2)来形成光栅条纹;如此类推,其它周期区间的光栅条纹在上一次条纹分布函数更新的基础上按照I(x)=sin(2πSx/X+kπ/2+gm,sπ/2)继续进行相位移动,形成新的光栅条纹,从而得到如图5(c)所示的光栅图像。
其次,还需要生成其它的光栅图像,直至达到M个光栅图像并依次对这些光栅图像进行投影,这里不再对其它光栅图像进行一一说明。需要说明的是,光栅图像的数量M以一个相移周期内的相移次数为准,或者以光栅图像行像素的对数或图像列像素的对数为准。
需要说明的是,在图4中,可以将每个投影图像划分成4段,每段包括4个周期区间,由此可发现,在每一段的边缘处其灰度分布不连续,会发生灰度的较大变化。那么,可基于图5(a)、图5(b)、图5(c)中的光栅图像来投影待检测物体并获取待检测物体的三维信息。
实施例二:
这里将基于上述的光栅图像投影方法来介绍一种三维重建方法,具体请参考图6,该三维重建方法可包括步骤S210-S230,下面分别说明。
步骤S210,按照实施例一中的光栅图像投影方法对待检测物体进行投影,直至达到预设的投影次数,获得每次生成的光栅图像在待检测物体上投影形成的测量图像。
在本实施例中,投影次数可由光栅图像的数量M来进行限定,即生成多少幅光栅图像就分别对该些光栅图像进行一一投影。
步骤S220,获取每幅测量图像中各像素点的灰度强度,以构建每幅测量图像的灰度分布向量。
例如,对于条纹分布函数为的光栅图像,获得该光栅图像在待检测物体上投影形成的测量图像。由于测量图像反映了光栅图像在待检测物体表面发生的形变状态,因此测量图像中的各像素点的灰度强度即表征了待检测物体的轮廓信息。那么,测量图像中任一投影图像可用公式(2-1)来表示
由此可知,对于m=0的光栅图像投影得到的测量图像,由于对应的各个周期区间内的光栅条纹没有进行移动,所以该测量图像中的任一投影图像可用公式表示为
那么,投影形成的第m个测量图像的灰度分布向量可以用公式表示为
其中,Qm,k为第m个光栅图像的第k个投影图像在待检测物体上投影形成的灰度分布向量的分量,k∈[0,1,…,K-1],x∈[0,1,…,X-1],s∈[0,1,…,S-1],m∈[0,1,…,M-1];K为任意光栅图像中投影图像的总数目,X为任意投影图像的行像素点的总数目,S为任意投影图像中周期区间的总数目,M为所生成的光栅图像的总数目。
步骤S230,根据每幅测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对所述待检测物体进行三维重建。
在一实施例中,根据三角函数的和差角关系对公式(2-3)对应的光栅图像的灰度分布向量进行变换,得
这里的三角函数的和差角关系可用公式(2-5)来进行示意
请理解,公式(2-5)中的α、β为计算变量,不具有任何指代意义。
在这里,定义根据伪逆矩阵H+计算(在K=2,的情况下H将变为单位矩阵,此时,),得到光栅图像中各个周期区间在待检测物体上投影区域对应的投影坐标
其中,argmax为最大变量计算函数。
那么,根据各个周期区间在待检测物体上投影区域对应的投影坐标s′得到各个像素点的投影坐标x′,利用各个像素点的投影坐标x′对待检测物体进行三维重建。
实施例三:
相应地,这里根据实施例二中公开的三维重建方法公开了一种三维重建系统,请参考图7,该三维重建系统包括投影装置31、图像采集装置32和运算处理装置33,下面分别说明。
投影装置31用于按照实施例一中的光栅图像投影方法对待检测物体D1进行投影,直至达到预设的投影次数。投影装置31优选地采用可编码型光栅投影装置,并采用DMD模块或者LCOS模块进行投影,为适应不同的应用场景,投影装置11可以投射多种不同颜色的结构光,例如白色结构光、蓝色结构光和红色结构光,其中,蓝色结构光可为405nm的波长,红色结构光可为660nm的波长。
图像采集装置32与投影装置连接,用于获得每次生成的光栅图像在待检测物体上投影形成的测量图像。在一具体实施例中,投影装置31可在投影完成时对图像采集装置32发送触发信号,而图像采集装置32在收到触发信号时对待检测物体D1进行取像。此外,图像采集装置31可由相机和镜片组来构成,镜片组包括多个镜片以组合优化进光路径,相机位于镜片组的后端,利用自身的感光芯片来采集图像;相机可以采用CCD或者CMOS类型,优选地,本实施例中采用CCD相机来获取高分辨率图像。
运算处理装置33与图像采集装置32连接,用于获取每幅测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量,及用于根据各幅测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对待检测物体D1进行三维重建。进一步地,见图8,运算处理装置33可包括灰度分布计算单元331、解相位计算单元332、三维重建单元333;其中,灰度分布计算单元331用于获取每幅测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量,具体的逻辑计算功能可参考步骤S220,这里不再赘述;解相位计算单元332用于根据每幅测量图像的灰度分布向量解相位计算各像素点的投影坐标,而三维重建单元333用于通过各像素点的投影坐标对所述待检测物体进行三维重建,解相位计算单元332和三维重建单元333的具体逻辑计算功能可参考步骤S230,这里不再赘述。
进一步地,见图8,三维重建系统还可包括传感器控制装置34、存储器35、通信装置36、控制器37和显示装置38。其中,传感器控制装置34与投影装置31、图像采集装置32及运算处理装置33连接,用来控制投影装置31、图像采集装置32、运算处理装置33之间的时序工作过程。存储器35与运算处理装置33和传感器控制装置34连接,用于取像得到的测量图像、处理得到的待检测物体的三维信息、处理得到的待检测物体的三维重建模型进行存储。控制器37与运算处理装置33和传感器控制装置34连接,用于设置工作参数及获得待检测物体D1的三维信息或三维重建模型,以根据三维信息或三维重建模型对待检测物体D1进行三维测量。通信装置36与控制器37、存储器35以及传感器控制装置34连接,用于控制存储器35和控制器37之间的信息传输以及控制传感器控制装置34和控制器37之间的信息传输。显示装置38与控制器37连接,用于对三维信息、三维重建模型、三维测量信息等进行显示,优选地,采用触摸功能的显示器,方便用户和控制器37之间进行互动操作。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现,也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘、光盘、硬盘等,通过计算机执行该程序以实现上述功能。例如,将程序存储在设备的存储器中,当通过处理器执行存储器中程序,即可实现上述全部或部分功能。另外,当上述实施方式中全部或部分功能通过计算机程序的方式实现时,该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中,通过下载或复制保存到本地设备的存储器中,或对本地设备的系统进行版本更新,当通过处理器执行存储器中的程序时,即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种光栅图像投影方法,其特征在于,包括以下步骤:
生成光栅图像并进行投影,所述光栅图像包括若干行的投影图像,每个投影图像包括多个并列分布的周期区间,每个周期区间包括根据预设的条纹分布函数在该周期区间内形成的光栅条纹;
更新所述光栅图像并重新进行投影,其中更新所述光栅图像包括:更新所述光栅图像中各个所述周期区间内光栅条纹的条纹分布函数,以对各个所述周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像。
2.如权利要求1所述的光栅图像投影方法,其特征在于,所述根据预设的条纹分布函数在每个所述周期区间内形成光栅条纹,包括:
预设各个所述周期区间的编码码值g;
确定预设的条纹分布函数
其中,m为光栅图像的投影序号,k为光栅图像中投影图像的分布序号,s为投影图像中周期区间的分布序号,f为周期函数,S为任意投影图像中周期区间的总数目,X为任意投影图像的行像素点的总数目,a、b、c均为实数常量,x为列像素点的序号,δ均为相移步长值,gm,s为第m个光栅图像的任意投影图像中第s个周期区间所对应的编码码值,为x像素点的相位,I为灰度强度,Im,k,s(x)表示第m个光栅图像的第k个投影图像中第s个周期区间内x像素点的灰度强度;
根据所述条纹分布函数确定各个像素点的灰度强度,以使得各个周期区间内形成光栅条纹。
3.如权利要求2所述的光栅图像投影方法,其特征在于,将所述条纹分布函数中的周期函数f设定为正弦函数sin或余弦函数cos,以使得各个所述周期区间内形成灰度强度按照正弦分布或余弦分布的光栅条纹。
4.如权利要求3所述的光栅图像投影方法,其特征在于,所述更新各个所述周期区间内光栅条纹的条纹分布函数,以对各个所述周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像,包括:
更新各个所述周期区间的编码码值g,使得每个周期区间的编码码值在每次更新之后与预设的编码形式相匹配,所述编码形式包括格雷编码形式、二进制编码形式、伪随机编码形式或步进编码形式;
对于任一周期区间,根据更新后的该周期区间的编码码值g和该周期区间所在的投影图像的分布序号k对该周期区间内光栅条纹的条纹分布函数进行更新,更新后的条纹分布函数为
根据更新后的条纹分布函数形成光栅条纹,以使得各个所述周期区间内的光栅条纹进行相位移动,以得到更新后的光栅图像。
5.如权利要求4所述的光栅图像投影方法,其特征在于,若所述编码形式为格雷编码形式,则所述格雷编码形式包括:
同周期区间的格雷码值在时间序列上构成格雷编码的一组码值序列,相邻的周期区间各自对应的码值序列中仅存在一位码值异同。
6.一种三维重建方法,其特征在于,包括以下步骤:
按照权利要求1-5任一项所述的光栅图像投影方法对待检测物体进行投影,直至达到预设的投影次数,获得每次生成的光栅图像在所述待检测物体上投影形成的测量图像;
获取每幅所述测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量;
根据每幅所述测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对所述待检测物体进行三维重建。
7.如权利要求6所述的三维重建方法,其特征在于,所述获取每幅所述测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量,包括:
对于条纹分布函数为的光栅图像,获得该光栅图像在待检测物体上投影形成的测量图像,投影形成的测量图像的灰度分布向量为
其中,Qm,k为第m个光栅图像的第k个投影图像在待检测物体上投影形成的灰度分布向量的分量,k∈[0,1,…,K-1],x∈[0,1,…,X-1],s∈[0,1,…,S-1],m∈[0,1,…,M-1],K为任意光栅图像中投影图像的总数目,X为任意投影图像的行像素点的总数目,S为任意投影图像中周期区间的总数目,M为所生成的光栅图像的总数目。
8.如权利要求7所述的三维重建方法,其特征在于,所述根据每幅所述测量图像的灰度分布向量解相位计算各像素点的投影坐标,包括:
根据三角函数的和差角关系对所述光栅图像的灰度分布向量进行变换,得
定义根据伪逆矩阵H+计算得到所述光栅图像中各个周期区间在待检测物体上投影区域对应的投影坐标
其中,argmax为最大变量计算函数;
根据各个所述周期区间在待检测物体上投影区域对应的投影坐标s′得到各个像素点的投影坐标x′。
9.一种三维重建系统,其特征在于,包括:
投影装置,用于按照权利要求1-5任一项所述的光栅图像投影方法对待检测物体进行投影,直至达到预设的投影次数;
图像采集装置,与所述投影装置连接,用于获得每次生成的光栅图像在所述待检测物体上投影形成的测量图像;
运算处理装置,与所述图像采集装置连接,用于获取每幅所述测量图像中各像素点的灰度强度,以构建每幅所述测量图像的灰度分布向量,及用于根据各幅所述测量图像的灰度分布向量解相位计算各像素点的投影坐标,通过各像素点的投影坐标对所述待检测物体进行三维重建。
10.一种计算机可读存储介质,其特征在于,包括程序,所述程序能够被处理器执行以实现如权利要求6-8中任一项所述的方法。
CN201811211140.8A 2018-10-17 2018-10-17 一种光栅图像投影方法、三维重建方法及三维重建系统 Active CN109341589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811211140.8A CN109341589B (zh) 2018-10-17 2018-10-17 一种光栅图像投影方法、三维重建方法及三维重建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811211140.8A CN109341589B (zh) 2018-10-17 2018-10-17 一种光栅图像投影方法、三维重建方法及三维重建系统

Publications (2)

Publication Number Publication Date
CN109341589A true CN109341589A (zh) 2019-02-15
CN109341589B CN109341589B (zh) 2020-08-04

Family

ID=65309944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811211140.8A Active CN109341589B (zh) 2018-10-17 2018-10-17 一种光栅图像投影方法、三维重建方法及三维重建系统

Country Status (1)

Country Link
CN (1) CN109341589B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109974625A (zh) * 2019-04-08 2019-07-05 四川大学 一种基于色相优化灰度的彩色物体结构光三维测量方法
CN111189417A (zh) * 2020-01-15 2020-05-22 浙江大学 基于高频图案干涉的二进制光栅图像投影反光抑制方法
CN111288929A (zh) * 2020-03-16 2020-06-16 苏州依诺维视智能科技有限公司 大曲率表面工件的三维高精度视觉测量方法
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质
CN111833292A (zh) * 2019-05-28 2020-10-27 北京伟景智能科技有限公司 一种基于结构光的钢筋计数方法
CN111951377A (zh) * 2020-07-31 2020-11-17 中国科学院深圳先进技术研究院 三维对象重建方法及终端设备
CN112082508A (zh) * 2020-08-10 2020-12-15 中国科学院深圳先进技术研究院 反光物体的三维测量方法、装置及终端设备
CN112509138A (zh) * 2020-12-11 2021-03-16 电子科技大学 一种基于lcos的室内抹灰机器人高精度三维重建系统
CN114076576A (zh) * 2020-08-21 2022-02-22 深圳市万普拉斯科技有限公司 光发射器、摄像模组、电子设备及图像三维信息采集方法
CN114594588A (zh) * 2022-01-20 2022-06-07 西安电子科技大学 基于光栅投影和slm相移的结构光照明显微装置及方法
CN114995082A (zh) * 2022-07-08 2022-09-02 华夏城视网络电视股份有限公司 一种基于光反射虚拟投影成像的方法
WO2023082816A1 (zh) * 2021-11-15 2023-05-19 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统
CN116909117A (zh) * 2023-09-11 2023-10-20 成都理工大学工程技术学院 一种可变距光镊立体成像装置及成像方法
WO2024077644A1 (zh) * 2022-10-12 2024-04-18 上海联耀医疗技术有限公司 一种基于结构光的三维扫描投影线的投影方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1243893A1 (en) * 2001-03-20 2002-09-25 Ford Global Technologies, Inc. A crystal based fringe generator system
CN1928492A (zh) * 2006-09-15 2007-03-14 东南大学 三维扫描系统中基于格雷码的相位展开方法
CN101236066A (zh) * 2008-03-04 2008-08-06 东南大学 投影光栅的自校正方法
CN101881605A (zh) * 2010-06-02 2010-11-10 南京航空航天大学 基于相位编码技术的光学三维测量方法
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
CN103234482A (zh) * 2013-04-07 2013-08-07 哈尔滨工程大学 一种基于正弦光栅的结构光测量系统标定方法
CN104783824A (zh) * 2014-01-20 2015-07-22 上海联影医疗科技有限公司 X射线成像系统的校正方法
JP2016109580A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 計測装置および計測方法
CN106595523A (zh) * 2016-12-23 2017-04-26 四川大学 一种基于智能手机的便携式三维形貌测量系统及方法
CN106595522A (zh) * 2016-12-15 2017-04-26 东南大学 一种光栅投影三维测量系统的误差校正方法
CN107490348A (zh) * 2017-07-26 2017-12-19 爱佩仪中测(成都)精密仪器有限公司 编码结构光三维测量中的编码光栅投影方法
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1243893A1 (en) * 2001-03-20 2002-09-25 Ford Global Technologies, Inc. A crystal based fringe generator system
CN1928492A (zh) * 2006-09-15 2007-03-14 东南大学 三维扫描系统中基于格雷码的相位展开方法
CN101236066A (zh) * 2008-03-04 2008-08-06 东南大学 投影光栅的自校正方法
CN101881605A (zh) * 2010-06-02 2010-11-10 南京航空航天大学 基于相位编码技术的光学三维测量方法
CN102175179A (zh) * 2011-02-23 2011-09-07 东南大学 一种人体表面轮廓三维重建的方法与装置
CN103234482A (zh) * 2013-04-07 2013-08-07 哈尔滨工程大学 一种基于正弦光栅的结构光测量系统标定方法
CN104783824A (zh) * 2014-01-20 2015-07-22 上海联影医疗科技有限公司 X射线成像系统的校正方法
JP2016109580A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 計測装置および計測方法
CN106595522A (zh) * 2016-12-15 2017-04-26 东南大学 一种光栅投影三维测量系统的误差校正方法
CN106595523A (zh) * 2016-12-23 2017-04-26 四川大学 一种基于智能手机的便携式三维形貌测量系统及方法
CN107490348A (zh) * 2017-07-26 2017-12-19 爱佩仪中测(成都)精密仪器有限公司 编码结构光三维测量中的编码光栅投影方法
CN107607060A (zh) * 2017-08-24 2018-01-19 东南大学 一种应用于光栅三维投影测量中的相位误差补偿方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨丽霞: "光栅投影三维形貌测量系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109974625A (zh) * 2019-04-08 2019-07-05 四川大学 一种基于色相优化灰度的彩色物体结构光三维测量方法
CN111833292A (zh) * 2019-05-28 2020-10-27 北京伟景智能科技有限公司 一种基于结构光的钢筋计数方法
CN111189417A (zh) * 2020-01-15 2020-05-22 浙江大学 基于高频图案干涉的二进制光栅图像投影反光抑制方法
CN111288929A (zh) * 2020-03-16 2020-06-16 苏州依诺维视智能科技有限公司 大曲率表面工件的三维高精度视觉测量方法
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质
CN111951377A (zh) * 2020-07-31 2020-11-17 中国科学院深圳先进技术研究院 三维对象重建方法及终端设备
CN112082508A (zh) * 2020-08-10 2020-12-15 中国科学院深圳先进技术研究院 反光物体的三维测量方法、装置及终端设备
CN114076576A (zh) * 2020-08-21 2022-02-22 深圳市万普拉斯科技有限公司 光发射器、摄像模组、电子设备及图像三维信息采集方法
CN114076576B (zh) * 2020-08-21 2023-11-21 深圳市万普拉斯科技有限公司 光发射器、摄像模组、电子设备及图像三维信息采集方法
CN112509138A (zh) * 2020-12-11 2021-03-16 电子科技大学 一种基于lcos的室内抹灰机器人高精度三维重建系统
WO2023082816A1 (zh) * 2021-11-15 2023-05-19 资阳联耀医疗器械有限责任公司 一种用于三维信息重建的结构光编码方法及系统
CN114594588A (zh) * 2022-01-20 2022-06-07 西安电子科技大学 基于光栅投影和slm相移的结构光照明显微装置及方法
CN114995082A (zh) * 2022-07-08 2022-09-02 华夏城视网络电视股份有限公司 一种基于光反射虚拟投影成像的方法
WO2024077644A1 (zh) * 2022-10-12 2024-04-18 上海联耀医疗技术有限公司 一种基于结构光的三维扫描投影线的投影方法和系统
CN116909117A (zh) * 2023-09-11 2023-10-20 成都理工大学工程技术学院 一种可变距光镊立体成像装置及成像方法
CN116909117B (zh) * 2023-09-11 2023-11-24 成都理工大学工程技术学院 一种可变距光镊立体成像装置及成像方法

Also Published As

Publication number Publication date
CN109341589B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN109341589A (zh) 一种光栅图像投影方法、三维重建方法及三维重建系统
Van der Jeught et al. Real-time structured light profilometry: a review
Fechteler et al. Adaptive colour classification for structured light systems
CN111536904B (zh) 一种基于结构照明的三维测量方法及系统、存储介质
CN101504277B (zh) 一种光学三维传感获取物体三维图像的方法
US10584963B2 (en) System and methods for shape measurement using dual frequency fringe pattern
Rocchini et al. A low cost 3D scanner based on structured light
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
CN107036556B (zh) 基于分段量化相位编码的结构光三维测量方法
CN208887565U (zh) 一种非接触式高精度的三维测量系统
CN104197861A (zh) 基于结构光灰度向量的三维数字成像方法
CN106643562B (zh) 基于时域空域混合编码的结构光条纹投射方法
CN103033147A (zh) 一种结构光三维测量装置及其测量方法
CN108955571A (zh) 双频外差与相移编码相结合的三维测量方法
CN101482398B (zh) 一种快速三维形貌测量的方法及装置
CN111951376A (zh) 融合结构光和光度学的三维对象重建方法及终端设备
Gupta et al. A geometric perspective on structured light coding
Feng et al. Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns
CN109579742A (zh) 一种s型分段相位编码结构光三维测量方法
JP2008292432A (ja) 空間符号化法による3次元計測方法および装置
CN113345039B (zh) 三维重建量化结构光相位图像编码方法
Van Der Jeught et al. Optimized loss function in deep learning profilometry for improved prediction performance
Song et al. Super-resolution phase retrieval network for single-pattern structured light 3D imaging
US10801834B2 (en) Fringe projection for determining topography of a body
Ravi et al. CF3DNet: A learning-based approach for single-shot 3D reconstruction from circular fringes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Raster Image Projection Method, 3D Reconstruction Method, and 3D Reconstruction System

Effective date of registration: 20230908

Granted publication date: 20200804

Pledgee: Shenzhen hi tech investment small loan Co.,Ltd.

Pledgor: SHENZHEN HUAHAN WEIYE TECHNOLOGY Co.,Ltd.

Registration number: Y2023980055927