CN110108235A - 多目测量装置和多目测量方法 - Google Patents

多目测量装置和多目测量方法 Download PDF

Info

Publication number
CN110108235A
CN110108235A CN201910530359.2A CN201910530359A CN110108235A CN 110108235 A CN110108235 A CN 110108235A CN 201910530359 A CN201910530359 A CN 201910530359A CN 110108235 A CN110108235 A CN 110108235A
Authority
CN
China
Prior art keywords
camera
light
coordinate
measured
reflecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910530359.2A
Other languages
English (en)
Other versions
CN110108235B (zh
Inventor
刘迪金
曹杰
莫志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Welican Machinery Group Co ltd
Original Assignee
286 Visual Science And Technology (foshan) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 286 Visual Science And Technology (foshan) Co Ltd filed Critical 286 Visual Science And Technology (foshan) Co Ltd
Priority to CN201910530359.2A priority Critical patent/CN110108235B/zh
Priority claimed from CN201910530359.2A external-priority patent/CN110108235B/zh
Publication of CN110108235A publication Critical patent/CN110108235A/zh
Application granted granted Critical
Publication of CN110108235B publication Critical patent/CN110108235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes

Abstract

本发明涉及一种多目测量装置,包括相机组件和光学元件。相机组件包括第一相机和第二相机。光学元件包括第一分光部和反射部。第一分光部设置在第一相机的光路上,并用于将待测目标反射和/或发出的光线分成第一光线和第二光线,第一光线入射至第一相机;第一相机用于接收第一光线并成像。第一反射部设置在第二相机的光路上并与第一分光部相对设置,以使第一相机的光心与第二相机的光心同轴,第二光线在被第一反射部反射后入射至第二相机;第二相机用于接收被第一反射部反射后的第二光线并成像。相较于现有的单目视觉三维测量装置,本发明无需移动任意一个相机,就可以同时对待测目标拍照,测量精度更高,测量速度更快,可靠性更高。

Description

多目测量装置和多目测量方法
技术领域
本发明涉及机器视觉领域,特别是涉及一种多目测量装置和多目测量方法。
背景技术
单目视觉是机器视觉领域常用的方法,都是利用立体视觉和光学原理的非接触式三维测量技术。
单目视觉具有设备小、原理简单、计算速度快、可靠性高等优点,单目视觉做三维测量的方法,有以下几种:单图像单目视觉测量方法、单目视觉移动测量方法和单目视觉变焦测量方法。单图像单目视觉测量方法,原理最简单,然而,其可靠性和精度很差,适用于定性的或要求精度不高的领域。单目视觉移动测量方法和单目视觉变焦测量方法,原理一样,需要对物体做两次或多次成像,再经过一定的数学模型计算,实现高精度的三维测量。然而,这两种方法,两次成像的时间是有间隔的,两次成像之间相机的移动、焦距的变化,都需要一定时间,如果在两次成像之间,物体发生了位移,三维测量的结果就受到影响,可靠性低。
发明内容
基于此,有必要针对现有的单目视觉三维测量技术存在测量精度低、可靠性低问题,提供一种多目测量装置和多目测量方法。
一种多目测量装置,包括相机组件和光学元件。
所述相机组件包括第一相机和第二相机。光学元件包括第一分光部和反射部;所述第一分光部设置在所述第一相机的光路上,并用于将待测目标反射和/或发出的光线分成第一光线和第二光线,所述第一光线入射至所述第一相机;所述第一相机用于接收所述第一光线并成像。所述第一反射部设置在所述第二相机的光路上并与所述第一分光部相对设置,以使所述第一相机的光心与所述第二相机的光心同轴,所述第二光线在被所述第一反射部反射后入射至所述第二相机;所述第二相机用于接收被所述第一反射部反射后的所述第二光线并成像。
上述的多目测量装置中,光学元件的第一分光部设置在第一相机的光路上,以将待测目标反射和/或发出的光线分成第一光线和第二光线,第一相机直接接收第一光线以成像;同时第一反射部设置在第二相机的光路上并与第一分光部相对,以使第一相机的光心与第二相机的光心同轴,此外,第二光线在被第一反射部反射后入射至第二相机,第二相机接收被第一反射部反射后的第二光线以成像。相较于现有的单目视觉三维测量装置,本发明无需移动任意一个相机,就可以同时对待测目标进行拍照,而且成像过程中之间没有对任一相机做物理的变化,测量精度更高,测量速度更快,可靠性更高,应用面更广。
一种多目测量方法,应用于任一实施例所述的多目测量装置,包括:
获取所述第一相机在接收所述第一光线后形成的第一图像;
获取所述第二相机在接收所述第二光线后形成的第二图像;
根据成像原理,将所述第一图像的像素坐标映射为所述标定平面的世界坐标系中的第一坐标,并将所述第二图像的像素坐标映射为所述标定平面的世界坐标系中的第二坐标;
根据所述待测目标与所述标定平面之间的位置关系、所述第一坐标及所述第二坐标,获取所述待测目标的三维信息。
上述的多目测量方法中,通过第一相机和第二相机拍摄同一个待测目标,形成第一图像和第二图像,并分别转换成标定平面的世界坐标系中的第一坐标和第二坐标,根据待测目标与标定平面之间的位置关系、第一坐标及第二坐标,获取待测目标的三维信息,相较于现有的单目视觉三维测量方法,本发明无需移动任意一个相机,就可以同时对待测目标拍摄以形成第一图像和第二图像,而且每幅成像之间没有对相机做物理的变化,测量精度更高,测量速度更快,可靠性更高,应用面更广。此外,由于第一相机和第二相机的光心同轴,第一相机和第二相机能够同轴成像,第一坐标和第二坐标的计算方式简单,最终确定待测目标的三维信息的原理简单。相较于现有的多目测量方法中,在各个相机图像需进行对应点配对之前,必须先做图像的极线校正,极线校正原理复杂,原理复杂,计算效率低,本发明的多目测量方法无需做复杂繁琐的极线校正、原理简单、计算速度快、可靠性更高。
附图说明
图1为本发明的多目测量装置在某一实施例中的结构示意图;
图2为本发明的多目测量装置在另一实施例中的结构示意图;
图3至图5为本发明的多目测量装置在又一实施例中的结构示意图;
图6为本发明的多目测量方法在某一实施例中的流程示意图;
图7为本发明的多目测量方法的原理示意图;
图8为本发明的多目测量方法在又一实施例中的流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明白,以下通过实施例,并结合附图,对本发明进行进一步详细说明。
本发明提供一种多目测量装置100,用于对待测目标200拍照以进行三维测量。其中,待测目标200可以为工件、人体、建筑、桥梁等不发光物体,外界提供光源(如自然光、电灯等),不发光物体进行漫反射,以便对其拍照;待测目标200也可以为电灯、激光器等发光物体,外界可不提供光源也可对其进行拍照。需要说明的是,多目测量装置100对待测目标200进行拍照时,采集到光线不限于待测目标200反射和/或发出的光线,还包括外界光线,本实施例以待测目标200反射和/或发出的光线为有效光线,对多目测量装置100的成像光路进行说明。待测目标200的三维信息可以为待测目标200整体的长度、宽度和高度,也可以为待测待目标200上各点的坐标(如测量点E的坐标(X,Y,Z))。例如通过获取工件的三维信息,可判断该工件的尺寸是否符合预设的尺寸、各个工件的圆心是否同轴等,再例如获取人体完整的三维信息,则可对人体进行建模。本发明以待测目标200为工件为例,进行说明。
图1为本发明的多目测量装置在某一实施例中的结构示意图,如图1所示,本发明的多目测量装置100包括相机组件10和光学元件20。
相机组件10用于对待测目标200成像。具体的,相机组件10包括第一相机11和第二相机12。
第一相机11可以采用互补金属氧化物半导体(CMOS,Complementary MetalOxideSemiconductor)相机或者电荷耦合元件(CCD,Charge-coupled Device)相机。第二相机12也可以采用互补金属氧化物半导体(CMOS,ComplementaryMetal Oxide Semiconductor)相机或者电荷耦合元件(CCD,Charge-coupledDevice)相机。其中,对于第一相机11的参数和第二相机12的参数(如焦距、光圈、快门等),除了焦距不同,其他参数可以相同,也可以不同。
光学元件20用于改变相机组件10的成像光路。具体的,光学元件20包括第一分光部21和第一反射部22。
第一分光部21设置在第一相机11的光路上,并用于将待测目标200和/或发出的光线分成第一光线L1和第二光线L2,第一光线L1为入射至第一相机11,第一相机11接收第一光线L1并成像。具体的,第一分光部21既能透射一部分光线,也能反射一部分光线。当第一分光部21设置在第一相机11的光路上时,待测目标200(以图1中的测量点E为例)反射和/或发出的光线被第一分光部21分成第一光线L1和第二光线L2,第一光线L1为透过第一分光部21的光线,第二光线L2为被第一分光部21反射的光线。第一相机11直接接收第一光线L1,并形成第一图像。
第一反射部22设置在第二相机12的光路上并与第一分光部21相对设置,以使第一相机11的光心与第二相机12的光心同轴,第二光线L2在被第一反射部22反射后入射至第二相机12,第二相机12接收被第一反射部22反射后的第二光线L2并成像。具体以图1为例,第一反射部22能够将入射至第一反射部22上的光线进行反射。当第一反射部22设置在第二相机12的光路上,且与第一分光部21相对时,第二光线L2继续被第一反射部22反射,并入射至第二相机12,从而使得第一相机11的光心点O与为第二相机12的光心点P均位于第一相机11的光轴Q1上。第二相机12接收被第一反射部22反射后的第二光线L2并形成第二图像。
由于第一相机11和第二相机12上设置有光学元件10,光学元件10改变第二相机12的成像光路,使得第一相机11和第二相机12能够同时对待测目标200拍照。此外,由于第一相机11与第二相机12具有位置差,因此待测目标200形成在第一图像和第二图像上的像素也存在位置差。基于此,第一图像和第二图像可用于确定待测目标200的三维信息。
上述的多目测量装置100中,光学元件20的第一分光部21设置在第一相机11的光路上,以将待测目标200反射和/或发出的光线分成第一光线L1和第二光线L2,第一相机11直接接收第一光线L1以成像;同时第一反射部22设置在第二相机12的光路上并与第一分光部21相对,以使第一相机11的光心与第二相机12的光心同轴,此外,第二光线L2在被第一反射部22反射后入射至第二相机12,第二相机12接收被第一反射部22反射后的第二光线L2以成像。相较于现有的单目视觉三维测量装置,本发明无需移动任意一个相机,就可以同时对待测目标200进行拍照,而且成像过程中之间没有对任一相机做物理的变化,测量精度更高,测量速度更快,可靠性更高,应用面更广。
如图1所示,在其中一个实施例中,第一相机11的第一光轴Q1与第二相机12的第二光轴Q2平行,第一分光部21与第一反射部22平行。
由于第一相机11的第一光轴Q1与第二相机12的第二光轴Q2平行,且多目测量装置100设置有第一分光部21和第一反射部22,则第一相机11的光心点O和第二相机12的光心点P均位于第一相机11的第一光轴Q1上,实现第一相机11和第二相机12同轴成像。同时,现有技术中的多目视觉相机需倾斜设置,以拍摄待测目标200多个角度的图像,而本发明的多目测量装置100无需倾斜设置,就能确定不同的第一图像和第二图像,而无需考虑安装角度,尺寸可以做得比较小,方便安装调试。
在其中一个实施例中,第一分光部21与第一相机11的光路Q1之间的夹角范围以及第一反射部22与第二相机12的光路Q2之间的夹角范围均为0度至90度,不包括0度和90度。因为第一分光部21与第一反射部22平行,则第一分光部21与第一相机11的光路之间的夹角,与第一反射部22与第二相机12的光路之间的夹角相等。例如,如图1所示,第一分光部21与第一相机11的光路之间的夹角为45度,第一反射部22与第二相机12的光路之间的夹角为45度。再例如,第一分光部21与第一相机11的光路之间的夹角为30度,第一反射部22与第二相机12的光路之间的夹角也为30度。又例如,第一分光部21与第一相机11的光路之间的夹角为60度,第一反射部22与第二相机12的光路之间的夹角也为60度。根据第一相机11和第二相机12具体的参数,可以调整第一分光部21与第一相机11的光路之间的夹角以及第一反射部22与第二相机12的光路之间的夹角,以使第一相机11的光心与第二相机12的光心同轴,调整的角度在此不做限制。
在其中一个实施例中,第一相机11的焦距与第二相机12的焦距不同。如此,当第一相机11的光心与第二相机12的光心同轴时,第一相机11的光心会与第二相机12的光心错开,并且第一相机11形成的第一图像中的待测目标200的大小和位置分别与第二相机12形成的第二图像中的待测目标200的大小和位置不同,根据待测目标200上同一测量点(如测量点E)的位置差,则可以计算出待测目标200的三维信息。相较于单目视觉三维测量装置中的变焦装置,本发明的多目测量装置100通过设置焦距不同的第一相机11和第二相机12,无需改变任一相机的焦距,也能实现变焦测量的功能,进一步提高了多目测量装置100的测量精度。
在其中一个实施例中,第一分光部21的透射率为1/2,第一分光部21的反射率为1/2。第一反射部22的反射率为1。
待测目标200反射和/或发出的光线被第一分光部21大致分成光量相等的第一光线L1和第二光线L2,第二光线L2几乎全部被第一反射部22反射至第二相机12。如此,第一相机11的感光量和第二相机12的感光量基本一致,保证了第一相机11和第二相机12的图像处理稳定可靠,提高了鲁棒性。
请继续参阅图1,在其中一个实施例中,光学元件20包括分光棱镜23和反射棱镜24。分光棱镜23设置在第一相机11的光路上,第一分光部21为分光棱镜23上的分光面。反射棱镜24设置在第二相机12的光路上,第一反射部22为反射棱镜24上的反射面。
在分光棱镜23的基板(例如玻璃基板)上镀上反射以及透射光的材料,从而形成分光面,如此,分光面既能透射一部分光线,也能反射一部分光线。在反射棱镜24的基板(例如玻璃基板)上镀上反射的材料,从而形成反射面,如此反射面能够将反射光线。在本实施例中,第一分光部21为分光棱镜23上的分光面,第一反射部22为反射棱镜24上的反射面。
图2为本发明的多目测量装置在又一实施例中的结构示意图。请参阅图2,在其中一个实施例中,多目测量装置100还包括外壳30,相机组件10和光学元件20均容纳在外壳30内。
相机组件10和光学元件20集成在一个外壳30内,便于多目测量装置100的安装。在使用时,将多目测量装置100安装在待测目标200的上方即可。其中,第一相机11和第二相机12可通过胶粘、焊接等方式安装在外壳30内。
多目测量装置100还包括安装支架40,安装支架40设置在外壳30的内表面,安装支架40用于设置第一反射部21并使第一反射部21相对第二相机12倾斜设置。
安装支架40用于固定第一反射部21在第二相机12的光路上。其中,第一反射部21相对于第二相机12倾斜,即第一反射部21与第二相机12的镜头端面(如图2所示的S1)之间的夹角范围为0度至90度,不包括0度和90度,以便更好地将第二光线L2反射至第二相机12。
在其中一个实施例中,安装支架40自外壳30的内表面向外壳30的中心延伸,安装支架40包括安装面41,安装面41用于设置第一反射部22,安装面41倾斜于第二相机12的镜头端面,以使第一反射部22相对第二相机12倾斜设置。
具体的,当安装面41倾斜于第二相机12的镜头端面时,安装面41与第二相机12的镜头端面之间的夹角范围为0度至90度,不包括0度和90度,如此,第一反射部22也是相对第二相机12倾斜设置,以便更好地将第二光线L2反射至第二相机12。同理,在其他实施例中,外壳30的内表面也可以形成用于安装第一分光部21的安装支架,如此,以同时固定第一分光部21和第一反射部22,使第一相机11和第二相机12稳定成像。
在其他实施例中,安装支架40还可以为“L”状,安装支架40的一臂与外壳30的内表面固定连接,另一臂与第一反射部22固定连接。
请继续参阅图3,在其中一个实施例中,多目测量装置100还包括中空的分光支架50,分光支架50容纳在外壳30内并套设在第一相机11的镜头端,分光支架50用于设置第一分光部21,并使第一分光部21相对第一相机11倾斜设置。
分光支架50为中空的结构(如筒状结构),并套设在第一相机11的镜头端,如此,一方面,分光支架50可以固定第一分光部21,另一方面,第一分光部21分出的第一光线L1在穿过分光支架50后也可以被第一相机11接收,而不遮挡第一分光部21分出的第一光线L1。
在其中一个实施例中,分光支架50包括第一端面51和第二端面52,第一端面51固定在第一相机11的镜头端,第二端面52用于固定第一分光部21,第二端面52倾斜于第一相机11的镜头端面,以使第一分光部21相对第一相机11倾斜设置。如此,第二端面52与第一相机11的成像平面之间的夹角范围为0度至90度,不包括0度和90度,即第一分光部21相对第一相机11倾斜设置,第一分光部21分出的第二光线不会被分光支架50遮挡。
同理,在其他实施例中,多目测量装置100还可以包括中空的反射支架,反射支架容纳在外壳内,反射支架包括相背的第一端面和第二端面,第一端面固定在第二相机12的镜头端,第二端面用于固定第一反射部22,以使第一分光部21相对第一相机11倾斜设置,当然,反射支架还需开设通光孔,以供第二光线L2入射至第一反射部22上。
在其中一个实施例中,第一端面51和第二端面52为相背的两个端面。在其他实施例中,第一端面51和第二端面52也可以为不相背的两个端面,例如分光支架50为“L”状,第一端面51和第二端面52为相互垂直的两个端面。
在又一个实施例中,可以省去外壳30,而直接设置上述实施例中的分光支架和反射支架。
在其中一个实施例中,外壳30和分光支架50均采用不透光的材料制成,有利于排除的外界光线(非待测目标200反射和/或发出的光线)对相机组件10成像的干扰。
请参阅图3,在其中一个实施例中,光学元件20为棱镜25,第一分光部21为棱镜25上的分光面,第一反射部为棱镜25上的反射面。
在棱镜25的基板(例如玻璃棱镜)的一面上镀上反射以及透射光的材料,从而形成分光面,在基板相对的另一面上镀上反射的材料,从而形成反射面,如此,棱镜25的分光面既能透射一部分光线,也能反射一部分光线,且反射面能够将反射光线。在本实施例中,第一分光部21为棱镜25上的分光面,第一反射部为棱镜25上的反射面。具体的,当测量点E反射和/或发出的光线射入至该分光面上,被分光面分成第一光线L1和第二光线L2,第一光线L1入射至第一相机11中,第一相机11据此形成第一图像;第一光线L2入射至该反射面,被反射至第二相机12中,第二相机12据此形成第二图像。
请参阅图4,在其中一个实施例中,相机组件10还包括第三相机13,光学元件20还包括第二分光部26和第二反射部27。第二分光部26设置在第一相机11的光路上,第二分光部27用于将第一分光部21分成的第一光线L1分成第三光线L3和第四光线L4,第三光线L3入射至第一相机11,第一相机11接收第三光线L3并成像。第二反射部27设置在第三相机13的光路上并与第二分光部26相对设置,以使第三相机13的光心与第一相机11的光心同轴,第四光线L4入射至第三相机13,第三相机13接收被第二反射部22反射后的第四光线L5并成像。
由于第一相机11、第二相机12和第三相机13均具有位置差,因此第一相机11、第二相机12和第三相机13分别拍摄待测目标200而形成的图像均存在位置差,基于此,根据第一相机11、第二相机12和第三相机13分别形成的图像,则可以获得更加精确的待测目标200的三维信息。
第三相机13的部分参数可以与第一相机11的部分参数或第二相机12的部分参数相同,也可以不同,例如第三相机13的光圈和快门分别与第一相机11的光圈和快门、以及第二相机12的光圈和快门相同,或者第三相机13的光圈与第一相机11的光圈以及第二相机12的光圈相同,而快门不同。在其中一个实施例中,第一相机11、第二相机12和第三相机13的焦距均不同,如此,当第一相机11、第二相机12与第三相机13的光心同轴时,第一相机11、第二相机12与第三相机13的光心均错开,并且形成的各个图像中待测目标200的大小和位置均不同,根据待测目标200上同一测量点(如测量点E)的位置差,则可以计算出待测目标200的三维信息。相较于单目视觉三维测量装置中的单目变焦三维测量装置,本发明的多目测量装置100通过设置焦距不同的第一相机11、第二相机12和第三相机13,无需改变任一相机的焦距,也能实现变焦测量的功能,进一步提高了多目测量装置100的测量精度。
在其中一个实施例中,第一分光部21的透射率为2/3,第一分光部21的反射率为1/3。第二分光部26的透射率为1/2,第二分光部26的反射率为1/2。第一反射部22的反射率和第二反射部27的反射率均为1。
待测目标200反射和/或发出的光线被第一分光部21大致分成为总光量的2/3的第一光线L1和总光量的1/3第二光线L2,第二光线L2几乎全部被第一反射部22反射至第二相机12;然后,第一光线L1再被第二分光部26大致分成光量相等的第三光线L3和第四光线L4,第四光线L4几乎全部被第二反射部27反射至第三相机13。如此,第一相机11的感光量、第二相机12的感光量和第三相机13的感光量基本一致,保证了第一相机11、第二相机12和第三相机13的图像处理稳定可靠,进一步提高了鲁棒性。
请参阅图5,在其中一个实施例中,相机组件10还包括N个相机,N大于等于1,第一相机11、第二相机12和N个相机依次排列成总数为M的相机序列。光学元件20还包括N个分光部和N个反射部;第一分光部21和N个分光部依次排列成总数为M-1的分光部序列,第一反射部22和N个反射部依次排列成总数为M-1的反射部序列。第i个分光部设置在第i个相机的光路上,第i个反射部设置在第i+1个相机的光路上,第i个分光部与第i个反射部相对设置,以使M个相机的光心同轴;其中,i=1,2,3,4,…,M-1,M。
当相机组件10仅包括第一相机11和第二相机12时,本发明的多目测量装置100为双目测量装置。当相机组件10共包括大于等于3个相机时,即相机组件10除了包括第一相机11和第二相机12,还包括N个相机。第一相机11、第二相机12和N个相机依次排列成总数为M的相机序列,并对该相机序列进行标号,分别为:U1、U2、U3、……、U(M-1)、U(M),其中,M=N+2,M大于等于3。则本发明的多目测量装置100还可以为三目测量装置、四目测量装置或者五目测量装置等N目测量装置。在其中一个实施例中,三个或者三个以上的相机可以依直线排列,或者依次围绕成一圈,M个相机以(360/M)度的间隔排列。在其中一个实施例中,M个相机的光轴相互平行,M个相机同轴成像。
光学元件20还包括N个分光部和N个反射部。第一分光部21和N个分光部依次排列成总数为M-1的分光部序列,并对该分光部序列进行标号,分别为:T1、T2、T3、……、T(M-2)、T(M-1),其中,T=M-1=N+1,T大于等于2。
第一反射部22和N个反射部依次排列成总数为M-1的反射部序列,并对该分光部序列进行标号,分别为:R1、R2、R3、……、R(M-2)、R(M-1),其中,R=M-1=N+1,R大于等于2。
具体的,光学元件20的分光部和反射部配套设置。第i个分光部设置在第i个相机的光路上,第i个反射部设置在第i+1个相机的光路上,第i个分光部与第i个反射部相对设置,以使M个相机的光心同轴。具体以图5为例,T1(可为第一分光部21)设置在U1(可为第一相机11)的光路上,R1(可为第一反射部22)设置在U2(可为第二相机12)的光路上;T2设置在U2的光路上,R2设置在U3的光路上;T3设置在U3的光路上,R3设置在U4的光路上;……;T(M-1)设置在U(M-1)的光路上,R(M-2)设置在U(M-1)的光路上;R(M-1)设置在U(M)的光路上,M大于等于3。
待测目标200反射和/或者发出的光线被T1分成两束光线,其中一束光线直接被U1接收,并形成第一图像;另外一束光线被R1反射至T2,并被T2分成两束光线,其中一束光线直接被U2接收,并形成第二图像,另外一束光线被R2反射至T3;……同理,直至U(M)接收被R(M-1)反射的光线,并形成第M图像。需要说明的是,当M个相机同时感光时,M个相机同时成像,当然,若成像存在时间差异,具体的时间差异与相机的参数有关。
基于M个相机形成的M幅图像,可以确定更加精确的待测目标200的三维信息。
其中,M个相机可以均容纳在外壳30内,也可以省去外壳30而单独安装。M-1个分光部可通过上述实施例中的安装支架或者分光支架固定,M-1个反射部可通过上述实施例中的安装支架或者反射支架固定。
在其中一个实施例中,第i个分光部的透射率为1/(M-i+1),第i个分光部的反射率为(M-i)/(M-i+1)。第i个反射部的反射率为1。
例如,对于M-1个分光部,第一个分光部是透射率为1/M、反射率为(M-1)/M的分光部。第二个分光部是透射率为1/(M-1)、反射率为(M-2)/(M-1)的分光部。第三个分光部是透射率为1/(M-2)、反射率为(M-3)/(M-2)的分光部,依此类推。
对于M-1个反射部,每个反射部的反射率均为1,即第一个反射部、第二个反射部、第三个反射部……第M-1个反射部的反射率均为1。
如此,M个相机的感光量基本一致,保证了M个相机的图像处理稳定可靠,提高了鲁棒性。
在其中一个实施例中,第一相机11、第二相机12和N个相机的焦距均不同。如此,当第一相机11、第二相机12与N个相机的光心同轴时,第一相机11、第二相机12和N个相机的光心均错开,并且形成的各个图像中待测目标200的大小和位置均不同,根据待测目标200上同一测量点(如测量点E)的位置差,则可以计算出待测目标200的三维信息。
在另外一个实施例中,N个相机可在第一相机11的两侧依次排列成,即以第一相机11为中心,依次往第一相机11的两侧排列设置其他的相机。M-1个分光部和M-1个反射部则对应设置在相机的光路上,以使M个相机的光心同轴。如图4,当N为1时,第三个相机和第二相机12分别设置在第一相机11的两侧。
本发明还提供一种多目测量方法,其应用于上述任意一个实施例中的多目测量装置100。图6为本发明的多目测量方法在某一实施例中的流程示意图,如图6所示,多目测量方法包括以下步骤:
步骤102,获取第一相机11在接收第一光线后形成的第一图像。
步骤104,获取第二相机12在接收第二光线后形成的第二图像。
其中,步骤102和步骤104可同时进行,以确保测量的准确性。
步骤106,根据成像原理,将第一图像的像素坐标映射为标定平面的世界坐标系中的第一坐标,并将第二图像的像素坐标映射为标定平面的世界坐标系中的第二坐标。
请结合图7,ABCD平面为统一的标定平面,第一相机11和第二相机12都需要相对标定平面进行标定。在其中一个实施例中,待测目标200放置在标定平面上,多目测量装置100安装在待测目标200的上方,并对待测目标200进行三维测量。其中,在第一相机11和第二相机12安装固定好并做标定之后,每个相机与标定平面之间的相对距离是固定不变的,并且可人为调成固定值。
在第一相机11形成第一图像,第二相机12形成第二图像后,根据成像原理,需要将第一图像的像素坐标系、第二图像的像素坐标系转换成标定平面的世界坐标系,也即是说,需要建立第一图像上每一个像素点的像素坐标对应到标定平面上的坐标的对应关系,以及建立第二图像上每一个像素点的像素坐标对应到标定平面上的坐标的对应关系。其中,成像原理为像素坐标系中的像素坐标与标定平面的世界坐标系中的坐标成线性关系。
具体以图7(a)和(b)为例,O点为第一相机11的光心,P点为第二相机12的光心。由于多目测量装置100设置有第一分光部21和第一反射部22,因此,O点和P点均位于第一相机11的第一光轴Q1上。第一相机11的第一光轴Q1垂直于标定平面。其中,光心O点与第一相机11之间的距离OD'为f1(相当于第一相机11的焦距)。光心P点与第二相机12之间的距离PD'为f2(相当于第二相机12的焦距)。
设定标定平面的D点为世界坐标系的原点(0,0,0),测量点E的位置坐标为(X,Y,Z),其中Z=CE,X=CD。第一相机11的光心O点与标定平面之间的距离为H1,第二相机12的光心P点与标定平面之间的距离为H2,即:H1=OD,H2=PD。设定第一相机11与标定平面之间的距离为D1,第二相机12与标定平面之间的距离为D2,即:D1=DD'=OD+OD'=H1+f1,D2=DD'=PD+PD'=H2+f2。相机安装固定后,H1、H2、D1、D2为已知常数。
由于像素坐标为二维坐标(X方向和Y方向),下面先只考虑计算X轴方向的坐标,来确定测量点E的测量高度,Y轴方向原理一样。请结合图7(b),测量点E在第一相机11所形成的第一图像的原点为D',设定D'B'所在的方向为X轴方向,测量点E在第一图像上为像素点B'(u1,v1)。像素点B'映射至标定平面的位置为B点(X1,Y1,Z1),其中X1=BD,Z1=0。由于三角形ODB相似于三角形OD'B',则其中,OD=D1-f1,因此,将第一图像的像素坐标映射为标定平面的世界坐标系中的第一坐标如下:
其中,D1在标定时测量的第一相机11与标定平面之间的距离,f1为第一相机11的焦距,u1为像素点B'的X轴像素坐标。
同理,测量点E在第二相机12所形成的第二图像的原点为D',测量点E在第二图像上为像素点A'(u2,v2)。像素点A'映射至标定平面的位置为A点(X2,Y2,Z2),其中X2=AD,Z2=0。由于三角形ODA相似于三角形OD'A',则其中,PD=D2-f2,因此,将第二图像的像素坐标映射为标定平面的世界坐标系中的第二坐标如下:
其中,D2在标定时测量的第二相机12与标定平面之间的距离,f2为第二相机12的焦距,u2为像素点A'的X轴像素坐标。
由于第一相机11和第二相机12同轴成像,第一坐标和第二坐标的计算方式简单。
步骤108,根据待测目标200与标定平面之间的位置关系、第一坐标及第二坐标,获取待测目标200的三维信息。
在确定第一坐标及第二坐标后,继续获取待测目标200与标定平面之间的位置关系。
请参阅图8,在其中一个实施例中,步骤108中根据待测目标200与标定平面之间的位置关系、第一坐标及第二坐标,获取待测目标200的三维信息,包括以下步骤:
步骤1082,确定第一坐标与待测目标的几何关系、第二坐标与待测目标的几何关系、第一相机11的光心与第一坐标的几何关系、以及第二相机12的光心与第二坐标的几何关系。
在标定平面的世界坐标系中,依次连接第一坐标与待测目标(如测量点E)、第二坐标与待测目标、第一相机11的光心与第一坐标、第二相机12的光心与第二坐标,第一相机11的光心连接原点D,第二相机12的光心连接原点D,并E点到标定平面的垂点C点,从而分别确定上述的几何关系为:三角形OBD相似于三角形EBC,且三角形PAD相似于三角形EAC。
步骤1084,根据第一坐标与待测目标200的几何关系、第二坐标与待测目200标的几何关系、第一相机11的光心与第一坐标的几何关系、以及第二相机12的光心与第二坐标的几何关系,确定待测目标200在标定平面的世界坐标系中的世界坐标。
步骤1086,根据待测目标200在标定平面的世界坐标系中的世界坐标、第一坐标及第二坐标,获取待测目标200的三维信息。
请继续结合图7,设定测量点E(X,Y,Z),B点(X1,Y1,Z1),A点(X2,Y2,Z2),像素点B'(u1,v1),像素点A'(u2,v2)。
对第一相机11,由于三角形OBD相似于三角形EBC,则有:
同上述X轴的原理,可得Y轴坐标下的关系:
对第二相机12,由于三角形PAD相似于三角形EAC,则有:
同上述X轴的原理,可得Y轴坐标下的关系:
对于X轴方向,可以计算出测量点E的X、Z:
进一步地,由于则:
其中,D1在标定时测量的第一相机11与标定平面之间的距离;H1为第一相机11的光心点O与标定平面之间的距离;f1为第一相机11的焦距;u1为像素点B'的X轴像素坐标;D2在标定时测量的第二相机12与标定平面之间的距离;H2为第二相机12的光心点P与标定平面之间的距离;f2为第二相机12的焦距,u2为像素点A'的X轴像素坐标。
对于Y轴方向,计算出测量点E的Y、Z:
其中,D1在标定时测量的第一相机11与标定平面之间的距离;H1为第一相机11的光心点O与标定平面之间的距离;f1为第一相机11的焦距;v1为像素点B'的Y轴像素坐标;D2在标定时测量的第二相机12与标定平面之间的距离;H2为第二相机12的光心点P与标定平面之间的距离;f2为第二相机12的焦距,v2为像素点A'的Y轴像素坐标。
在其中一个实施例中,将X轴方向和Y轴方向求得的Z取平均值,作为测量点E相对标定平面的高度,以提高测量精度。在其他实施例中,当相机组件10还包括N个相机时,N大于等于1,基于上述多目测量方法,可求得多个X轴方向和Y轴方向上的测量点E相对标定平面的高度Z,并对多个高度Z取平均值,获得最终结果更加精确。
当待测目标200的其他测量点均进行如上步骤102、104、106及108,则可以确定待测目标200多个测量点相对标定平面的高度,从而获得朝向多目测量装置100的表面的三维信息。
因此,基于上述测量方法,可以待测目标200的三维信息,计算原理简单,计算效率高。
在其中一个实施例中,利用相机组件10拍摄待测目标200不同角度的图像(如对待测目标200进行移动或者翻转),并根据不同角度的图像确定待测目标200的多个三维信息,最后通过合成待测目标200整体的三维信息,以实现待测目标200的立体建模。
在其中一个实施例中,第一相机11将形成的第一图像和第二相机12将形成的第二图像用于输出至终端,终端用于处理第一图像和第二图像,并转换成第一坐标和第二坐标,终端根据上述测量方法获得待测目标200的三维信息。其中,终端可以为计算机、手机、平板等,在此不做限制。
上述的多目测量方法中,通过第一相机11和第二相机12拍摄同一个待测目标200,形成第一图像和第二图像,并分别转换成标定平面的世界坐标系中的第一坐标和第二坐标,根据待测目标200与标定平面之间的位置关系、第一坐标及第二坐标,获取待测目标200的三维信息,相较于现有的单目视觉三维测量方法,本发明无需移动任意一个相机,就可以同时对待测目标200拍摄以形成第一图像和第二图像,而且成像过程没有对任一相机做物理的变化,测量精度更高,测量速度更快,可靠性更高,应用面更广。
此外,由于第一相机11和第二相机12的光心同轴,第一相机11和第二相机12能够同轴成像,第一坐标和第二坐标的计算方式简单,最终获得待测目标200的三维信息的原理简单。相较于现有的多目测量方法中,在各个相机图像需进行对应点配对之前,必须先做图像的极线校正,极线校正原理复杂,原理复杂,计算效率低,本发明的多目测量方法无需做复杂繁琐的极线校正、原理简单、计算速度快、可靠性更高。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目测量装置,其特征在于,包括:
相机组件,包括第一相机和第二相机;和
光学元件,包括第一分光部和第一反射部;
所述第一分光部设置在所述第一相机的光路上,并用于将待测目标反射和/或发出的光线分成第一光线和第二光线,所述第一光线入射至所述第一相机;所述第一相机用于接收所述第一光线并成像;
所述第一反射部设置在所述第二相机的光路上并与所述第一分光部相对设置,以使所述第一相机的光心与所述第二相机的光心同轴,所述第二光线在被所述第一反射部反射后入射至所述第二相机;所述第二相机用于接收被所述第一反射部反射后的所述第二光线并成像。
2.根据权利要求1所述的多目测量装置,其特征在于,所述光学元件包括分光棱镜和反射棱镜,所述分光棱镜设置在所述第一相机的光路上,所述第一分光部为所述分光棱镜上的分光面;所述反射棱镜设置在所述第二相机的光路上,所述第一反射部为所述反射棱镜上的反射面。
3.根据权利要求2所述的多目测量装置,其特征在于,所述多目测量装置还包括外壳,所述相机组件和所述光学元件均容纳在所述外壳内;
所述多目测量装置还包括安装支架,所述安装支架设置在所述外壳的内表面,所述安装支架用于设置所述第一反射部并使所述第一反射部相对第二相机倾斜设置;
所述多目测量装置还包括中空的分光支架,所述分光支架容纳在所述外壳内并套设在所述第一相机的镜头端,所述分光支架用于设置所述第一分光部,并使所述第一分光部相对所述第一相机倾斜设置。
4.根据权利要求1所述的多目测量装置,其特征在于,所述光学元件为棱镜,所述第一分光部为所述棱镜上的分光面,所述第一反射部为所述棱镜上的反射面。
5.根据权利要求2或4所述的多目测量装置,其特征在于,所述相机组件还包括第三相机;所述光学元件还包括第二分光部和第二反射部;
所述第二分光部设置在所述第一相机的光路上,所述第二分光部用于将所述第一分光部分成的第一光线分成第三光线和第四光线,所述第三光线入射至所述第一相机,所述第一相机接收所述第三光线并成像;
所述第二反射部设置在所述第三相机的光路上并与所述第二分光部相对设置,以使所述第三相机的光心与所述第一相机的光心同轴,所述第四光线在被所述第二反射部反射后入射至所述第三相机,所述第三相机接收被所述第二反射部反射后的所述第四光线并成像。
6.根据权利要求5所述的多目测量装置,其特征在于,
所述第一分光部的透射率为2/3,所述第一分光部的反射率为1/3;
所述第二分光部的透射率为1/2,所述第二分光部的反射率为1/2;
所述第一反射部的反射率和所述第二反射部的反射率均为1;
所述第一相机、第二相机和所述第三相机的焦距均不同。
7.根据权利要求2或4所述的多目测量装置,其特征在于,
所述相机组件还包括N个相机,N大于等于1,所述第一相机、第二相机和所述N个相机依次排列成总数为M的相机序列;
所述光学元件还包括N个分光部和N个反射部,所述第一分光部和所述N个分光部依次排列成总数为M-1的分光部序列,所述第一反射部和所述N个反射部依次排列成总数为M-1的反射部序列;
第i个分光部设置在第i个相机的光路上,第i个反射部设置在第i+1个相机的光路上,所述第i个分光部与所述第i个反射部相对设置,以使M个相机的光心同轴;其中,i=1,2,3,4,…,M-1,M。
8.根据权利要求7所述的多目测量装置,其特征在于,所述第i个分光部的透射率为1/(M-i+1),所述第i个分光部的反射率为(M-i)/(M-i+1);
所述第i个反射部的反射率为1。
9.一种多目测量方法,其特征在于,应用于权利要求1-8任一项所述的多目测量装置,包括:
获取所述第一相机在接收所述第一光线后形成的第一图像;
获取所述第二相机在接收所述第二光线后形成的第二图像;
根据成像原理,将所述第一图像的像素坐标映射为标定平面的世界坐标系中的第一坐标,并将所述第二图像的像素坐标映射为所述标定平面的世界坐标系中的第二坐标;
根据所述待测目标与所述标定平面之间的位置关系、所述第一坐标及所述第二坐标,获取所述待测目标的三维信息。
10.根据权利要求9所述的多目测量方法,其特征在于,所述根据所述待测目标与所述标定平面之间的位置关系、所述第一坐标及所述第二坐标,获取所述待测目标的三维信息的步骤,包括:
确定所述第一坐标与所述待测目标的几何关系、所述第二坐标与所述待测目标的几何关系、所述第一相机的光心与所述第一坐标的几何关系、以及所述第二相机的光心与所述第二坐标的几何关系;
根据所述第一坐标与所述待测目标的几何关系、所述第二坐标与所述待测目标的几何关系、所述第一相机的光心与所述第一坐标的几何关系、以及所述第二相机的光心与所述第二坐标的几何关系,确定所述待测目标在所述标定平面的世界坐标系中的世界坐标;
根据所述待测目标在所述标定平面的世界坐标系中的世界坐标、所述第一坐标及所述第二坐标,获取所述待测目标的三维信息。
CN201910530359.2A 2019-06-19 多目测量装置和多目测量方法 Active CN110108235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910530359.2A CN110108235B (zh) 2019-06-19 多目测量装置和多目测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910530359.2A CN110108235B (zh) 2019-06-19 多目测量装置和多目测量方法

Publications (2)

Publication Number Publication Date
CN110108235A true CN110108235A (zh) 2019-08-09
CN110108235B CN110108235B (zh) 2024-05-10

Family

ID=

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005189785A (ja) * 2003-12-24 2005-07-14 Tatsushi Nishioka 双眼観察装置
KR100612933B1 (ko) * 2005-12-14 2006-08-14 주식회사 고영테크놀러지 3차원 형상 측정장치 및 방법
JP2008039750A (ja) * 2006-08-03 2008-02-21 Kaneyuki Kubodera 高さ測定装置
CN101865654A (zh) * 2010-05-21 2010-10-20 沈阳工业大学 一种三维场中空间位置分光测量方法及装置
US20100265490A1 (en) * 2009-04-16 2010-10-21 Kamakura Koki Co., Ltd Range binoculars
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
CN104359461A (zh) * 2014-11-06 2015-02-18 中国人民解放军装备学院 一种可变结构的双目视觉测量系统及参数确定方法
KR20150049855A (ko) * 2013-10-31 2015-05-08 주식회사 휴비츠 양안용 시각 모의 실험 장치
KR101712004B1 (ko) * 2015-12-24 2017-03-03 한국과학기술연구원 양안 초점 조절반응 측정장치
CN106713897A (zh) * 2017-02-27 2017-05-24 驭势科技(北京)有限公司 双目相机以及用于双目相机的自校准方法
WO2017143696A1 (zh) * 2016-02-23 2017-08-31 京东方科技集团股份有限公司 测距模组、三维扫描系统以及测距方法
EP3388780A1 (de) * 2017-04-13 2018-10-17 Carl Zeiss Vision International GmbH Verfahren und vorrichtung für das referenzieren der lage wenigstens eines punkts auf oder in einem transparenten gegenstand
JP2019075385A (ja) * 2019-01-25 2019-05-16 オムロン株式会社 光源装置およびこれを備えた測距センサ
CN209894134U (zh) * 2019-06-19 2020-01-03 二八六视觉科技(佛山)有限责任公司 多目测量装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005189785A (ja) * 2003-12-24 2005-07-14 Tatsushi Nishioka 双眼観察装置
KR100612933B1 (ko) * 2005-12-14 2006-08-14 주식회사 고영테크놀러지 3차원 형상 측정장치 및 방법
JP2008039750A (ja) * 2006-08-03 2008-02-21 Kaneyuki Kubodera 高さ測定装置
US20100265490A1 (en) * 2009-04-16 2010-10-21 Kamakura Koki Co., Ltd Range binoculars
CN101865654A (zh) * 2010-05-21 2010-10-20 沈阳工业大学 一种三维场中空间位置分光测量方法及装置
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
KR20150049855A (ko) * 2013-10-31 2015-05-08 주식회사 휴비츠 양안용 시각 모의 실험 장치
CN104359461A (zh) * 2014-11-06 2015-02-18 中国人民解放军装备学院 一种可变结构的双目视觉测量系统及参数确定方法
KR101712004B1 (ko) * 2015-12-24 2017-03-03 한국과학기술연구원 양안 초점 조절반응 측정장치
WO2017143696A1 (zh) * 2016-02-23 2017-08-31 京东方科技集团股份有限公司 测距模组、三维扫描系统以及测距方法
CN106713897A (zh) * 2017-02-27 2017-05-24 驭势科技(北京)有限公司 双目相机以及用于双目相机的自校准方法
EP3388780A1 (de) * 2017-04-13 2018-10-17 Carl Zeiss Vision International GmbH Verfahren und vorrichtung für das referenzieren der lage wenigstens eines punkts auf oder in einem transparenten gegenstand
JP2019075385A (ja) * 2019-01-25 2019-05-16 オムロン株式会社 光源装置およびこれを備えた測距センサ
CN209894134U (zh) * 2019-06-19 2020-01-03 二八六视觉科技(佛山)有限责任公司 多目测量装置

Similar Documents

Publication Publication Date Title
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
CN102494609B (zh) 一种基于激光探针阵列的三维摄影方法及装置
CN104613930B (zh) 一种测距的方法、装置及移动终端
US10715711B2 (en) Adaptive three-dimensional imaging system and methods and uses thereof
CN107356236A (zh) 一种动态位姿实时测量装置及方法
CN106643547A (zh) 提供改进测量质量的光线上的光强度补偿
WO2015051606A1 (zh) 定位方法及定位系统
KR20090107536A (ko) 정량적 3-d 이미징을 위한 방법
CN108627121B (zh) 一种镜面面形检测装置及其检测方法
WO2022088596A1 (zh) 一种偏折测量中实现屏幕和工件同时对焦的装置和方法
CN109655837A (zh) 一种激光测距方法及激光测距仪
CN112204941A (zh) 摄像机装置
CN109974659A (zh) 一种基于双目机器视觉的嵌入式测距系统
CN103676487A (zh) 一种工件高度测量装置及其校正方法
JP2006220603A (ja) 撮像装置
CN109186495A (zh) 测试结构光投影仪倾斜方法、装置、设备及存储介质
CN109141368A (zh) 一种高定位精度星载成像系统及方法
CN106370397B (zh) 凹面镜成像测量长焦镜头调制传递函数的方法及装置
CN110108235A (zh) 多目测量装置和多目测量方法
TW565736B (en) Method for determining the optical parameters of a camera
CN114111626B (zh) 一种基于同轴投影的光场相机三维测量装置及系统
CN103528569B (zh) 标志点正交分光成像位姿测试方法及传感器
CN102998093B (zh) 一种快速自动测焦装置及测量方法
CN110044928A (zh) 一种空间编码光场对曲面玻璃表面缺陷的检测装置
CN110108235B (zh) 多目测量装置和多目测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240412

Address after: No. 16 Ronggui Chengye Road, Shunde District, Foshan City, Guangdong Province, 528300

Applicant after: WELICAN MACHINERY GROUP CO.,LTD.

Country or region after: China

Address before: Room 301, 3rd Floor, Building A, No. 39 Chengye Road, Ronggui Desheng Neighborhood Committee, Shunde District, Foshan City, Guangdong Province, 528300

Applicant before: 286 Visual Science and Technology (Foshan) Co.,Ltd.

Country or region before: China

GR01 Patent grant