CN109218702B - 一种相机自转式3d测量及信息获取装置 - Google Patents
一种相机自转式3d测量及信息获取装置 Download PDFInfo
- Publication number
- CN109218702B CN109218702B CN201811031444.6A CN201811031444A CN109218702B CN 109218702 B CN109218702 B CN 109218702B CN 201811031444 A CN201811031444 A CN 201811031444A CN 109218702 B CN109218702 B CN 109218702B
- Authority
- CN
- China
- Prior art keywords
- target object
- image acquisition
- image
- information
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明属于3D测量技术领域,提供一种3D信息测量装置,包括:图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;所述采集区域移动装置采用如下两种方案之一:①所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动;②所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动。发明采用单目相机和结构更加精简,占用空间更小的采集区域移动装置。实现了采集区域和目标物的相对位置的快速变换,加快了图像获取效率,减少了移动相机产生的干扰。
Description
技术领域
本发明涉及3D尺寸测量技术领域,特别涉及利用图片进行目标物3D采集从而进行尺寸长度测量的技术领域。
背景技术
目前随着诸如医疗、安防、生物、零件制造等技术的对被测物的3D采集和测量技术的要求不断提高,视觉测量在3D采集中具有实时性好等诸多优势。目前很多3D采集和测量设备主要针对人或人的某个部位、物体或物体某个部位进行采集,例如现有3D设备用来进行脸部3D信息采集,或进行虹膜3D信息采集,或进行手部3D信息采集。我们所熟知的视觉测量技术包括单目测量和多目测量,相比于多目测量,单目测量具有成本低和测量不确定度低等优势,随着三维位姿求解的算法不断发展,单目测量得到了更广泛的应用。
但现有基于单目相机的3D图像采集方式中存在结构过于复杂,占用空间大,使用效率低等不足,特别是针对小范围、小深度目标物3D图像采集,现有产品中不存在快捷的采集设备和测量装置。例如现有技术中存在利用单个相机进行3D拍摄的装置,但其需要同时使用旋转装置、轨道(平移装置),特别是需要直线(圆弧曲线)运动的承载平台、轨道等占用空间较大的机械结构,需要将相机设置在空间中较远的两个位置实现图像采集和测量,使得整个装置结构复杂。还有一些使用机器臂承载相机,实现立体空间内的任意角度、任意位置的拍摄。这种设备虽然可采集、测量的范围比较广,但机器臂结构复杂,控制难度较大。而结构和方法的复杂意味着可靠性会在一定程度上降低。并且由于存在直线(曲线)运动装置或机械臂,该装置的控制和移动带来的采集和测量不准确性也是固有的问题。
而尺寸较小且深度较小的目标物通常要求采集/测量设备体积小、可靠性高、采集速度快,特别是其对采集范围要求较低。目前并没有任何现有技术意识到该类型目标物采集的特殊要求,即没有任何提出该问题的动机,更没有任何针对小范围、小深度3D点云、图像的特定的采集/测量设备和方法。
另外,现有技术中还存在一种全景图像采集技术,但这种技术是为了扩大相机采集范围而提出的,本质依然是普通图像,并不是3D信息的采集。由于其领域与本发明不同,且目的与本发明目的相悖(扩大采集范围而不是限定采集范围),因此其对本领域技术人员不具有任何动机。
发明内容
鉴于上述问题,提出了本发明提供一种克服上述问题或者至少部分地解决上述问题的高效率的相机自转式3D信息获取装置、测量装置,比对装置,获取方法,以及对应的目标物的配套物生成装置。
其中,本发明提供的一种3D信息获取装置,包括
图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;
采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;
所述采集区域移动装置采用如下两种方案之一:
①所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动;
②所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动。
优选地,在方案①中,所述中心轴与图像采集装置相交。
优选地,在方案①中,所述转轴装置包括旋转轴、旋转驱动装置。
优选地,旋转轴直接与图像采集装置连接。
优选地,旋转轴通过传动装置与图像采集装置连接。
优选地,在方案②中,所述光学扫描装置包括光线偏转单元。
优选地,所述光线偏转单元能够被驱动使得不同方向的光线进入图像采集装置。
优选的,所述相对运动过程中,图像采集装置采集图像时的相邻两个位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<0.8
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为相邻两个位置图像采集装置光轴夹角,m为系数。
优选的,所述相对运动过程中,图像采集装置采集图像时的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
本发明还提供一种3D信息测量装置,包括前述的3D信息获取装置。
本发明还提供一种3D信息比对装置,包括前述的3D信息获取装置。
本发明还提供一种目标物的配套物生成装置,其利用前述的装置获得的目标物的至少一个区域的3D信息生成与目标物相应区域相配合的配套物。
本发明还提供一种3D信息获取方法,其包括如下步骤:
在图像采集装置的采集区域与目标物相对运动过程中,图像采集装置采集目标物一组图像;
采集区域移动装置通过如下两种方案之一驱动图像采集装置的采集区域与目标物产生相对运动:
①所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动;
②所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动。
本发明还提供了一种3D信息获取方法,使用上述任意一项装置获取目标物的3D信息。
发明点及技术效果
1、首次关注并提出对小范围、小深度目标物进行3D采集特点,提出仅使用轴旋转的方式驱动相机自转实现小范围采集,提高采集精度、缩短采集时间、减小设备体积和复杂度,增加可靠性。
2、单相机的结构,采用的部件减少,节约成本,缩小体积,使用方便,标定简易,时间同步性高,便于操作。针对小范围目标物3D特点,设计了结构更加精简,占用空间更小的采集区域移动装置。通过快速转换相机空间位置或光路,实现采集区域与目标物产生相对运动,实现快速的图像获取,节约了空间结构。
3、首次关注并提出对小范围、小深度目标物进行3D采集特点,提出使用光学扫描的方式实现采集区域的移动,实现小范围采集,提高采集精度、缩短采集时间、减小设备体积和复杂度,增加可靠性,降低移动相机带来的干扰,同时提高采集速度。
4、克服了3D拍摄必须移动(绕目标物运动)相机的技术偏见,通过相机的简单自转,并且不需要绕目标物进行公转实现了3D信息采集,极大地简化了结构、缩小了体积。
5、利用3D信息获取装置,快速实现配套物的生成,便于工业实施,特别是在医疗、安防、生物、零件制造等领域具备广泛应用。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一实施例的3D信息获取装置的示意图;
图2示出了根据本发明一实施例的区域移动装置为转轴装置的示意图;
图3示出了根据本发明另一实施例3D信息获取装置的示意图;
图4示出了根据本发明另一实施例的区域移动装置为光学扫描装置的示意图;
附图标记说明:
1 图像采集装置,
2 采集区域移动装置,
3 目标物,
4 控制终端,
201 旋转轴,
202 转轴驱动装置,
203 升降装置,
204 升降驱动装置,
211 光线偏转单元,
212 光线偏转驱动单元。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例1
小范围、小深度目标物3为横向尺寸与相机采集范围相比较小,且沿相机景深方向尺寸较小,即目标物3在深度方向信息较少。在这种应用场合下,虽然通过轨道、机械臂等方式大范围移动的单相机系统同样可以采集目标物3多角度图像从而合成3D点云或图像,但这些设备较为复杂,从而使得可靠性降低。并且大幅度的移动导致采集时间延长。并且由于体积较大,无法适用于很多场合(例如门禁系统)。
而小范围、小深度目标物3具有自己特有的特点,其要求采集/测量设备体积小、可靠性高、采集速度快,特别是其对采集范围要求较低(大深度的目标物3则需要较大范围的采集,特别是需要相机处于不同位置才能够采集全部信息)。申请人首次提出该应用对象和场合,并针对其特点用最简洁的旋转装置即实现了目标物3的3D点云和图像采集,充分利用了该目标物3对采集范围要求小的特点。
参见图1、图2,3D信息获取装置包括:图像采集装置1,用于通过图像采集装置1的采集区域与目标物3相对运动采集目标物3一组图像;采集区域移动装置2,用于驱动图像采集装置1的采集区域与目标物3产生相对运动;采集区域移动装置2为转轴装置,使得图像采集装置1沿一中心轴转动;
图像采集装置1为一相机,相机通过固定安装在旋动座上的相机固定架上,旋动座下连接有旋转轴201,旋转轴201由转轴驱动装置202控制转动,转轴驱动装置202和相机均连接控制终端4,控制终端4用于控制转轴驱动装置202实施驱动和相机拍摄。此外,旋转轴201也可以直接与图像采集装置1固定连接,带动相机旋转。
由于与传统的3D采集不同,本申请的实施目标物3属于小范围的3D物体。因此,无需对目标进行大范围复现,但需对其表面主要特征进行高精度的获取,测量和比对,即测量精度要求高。相机转动角度不需要过大,但需要保证转动角度的精确控制。发明通过在驱动旋转轴201和/或旋动座上设置角度获取装置,转轴驱动装置202驱动旋转轴201、相机按照设定的度数转动,角度获取装置测量转动度数并将测量结果反馈给控制终端4,与设定的度数进行比对,保证转动精度。转轴驱动装置202驱动旋转轴201转过两个或多个角度,相机在旋动座的带动下绕着中心轴沿着周向转动并完成不同角度的拍摄,将不同角度的拍摄的图像发送至控制终端4,终端对数据进行处理,并生成最终的三维图像。也可以发送至处理单元,实现3D的合成(具体合成方法参见下文图像拼接方法),处理单元可以为独立装置,也可以为与其它带有处理功能的装置,也可以为远程设备。其中,相机也可连接图像预处理单元,对图像进行预处理。参见图1,目标物3为人脸,相机转动过程中保证目标物3在拍摄的采集区域内。
控制终端4可选为处理器、计算机、远程控制中心等。
图像采集装置1可以替换为摄像机,CCD,红外相机等其他图像采集器件。同时,图像采集装置1可以整体安装在支架上,例如三脚架,固定平台等。
转轴驱动装置202可选为无刷电机,高精密步进电机,角编码器,旋转电机等。
参见图2,图2A所示的旋转轴201的位于图像采集装置1下方,旋转轴201与图像采集装置1直接连接,此时中心轴与图像采集装置1相交;图2B所示的中心轴位于图像采集装置1的相机的镜头一侧,此时,相机绕中心轴旋转并进行拍摄,旋转轴201与旋动座之间设置了旋转连接臂;图2C所示的中心轴位于图像采集装置1的相机的镜头反向的一侧,此时,相机绕中心轴旋转并进行拍摄,旋转轴201与旋动座之间设置了旋转连接臂,且可以根据需要将连接臂设置为具有向上或向下弯曲的结构;图2D所示中心轴位于图像采集装置1的相机的镜头反向的一侧,且中心轴为水平设置,该设置使得相机可以在垂直方向进行角度变换,可适应于垂直方向具有特定特征的目标物3拍摄,其中转轴驱动装置202驱动旋转轴201转动,带动摆动连接臂上下运动;图2E所示的转轴驱动装置202还包括升降装置203和用于控制升降装置203运动的升降驱动装置204,升降驱动装置204与控制终端4连接,增加了3D信息获取装置的拍摄区域范围。
该3D信息获取装置占用空间小,拍摄效率较需要大范围移动相机的系统明显提高,特别适用于小范围、小深度目标高精度3D信息获取的应用场景。
实施例2
参见图3-4,3D信息获取装置包括:图像采集装置1,用于通过图像采集装置1的采集区域与目标物3相对运动采集目标物3一组图像;采集区域移动装置2,用于驱动图像采集装置1的采集区域与目标物3产生相对运动;采集区域移动装置2为光学扫描装置,使得图像采集装置1不移动或转动的情况下,图像采集装置1的采集区域与目标物3产生相对运动。
参见图3,采集区域移动装置2还包括光线偏转单元211,可选地,光线偏转单元211由光线偏转驱动单元212驱动,图像采集装置1为一相机,相机固定安装,其物理位置不发生变化,即不移动也不转动,通过光线偏转单元211使得相机的采集区域发生一定的变化,以实现目标物3与采集区域发生变化,该过程中,光线偏转单元211能够被光线偏转驱动单元212驱动使得不同方向的光线进入图像采集装置1。光线偏转驱动单元212可以为控制光线偏转单元211直线运动或转动的驱动装置。光线偏转驱动单元212和相机均连接控制终端4,控制终端4用于控制转轴驱动装置202实施驱动和相机拍摄。
同样可以理解的是,由于与传统的3D采集技术不同,本申请的实施目标物3属于小范围的3D物体。因此,无需对目标进行大范围复现,但需对其表面主要特征进行高精度的获取,测量和比对,即测量精度要求高。因此本发明光线偏转单元211的位移量或转动量无需过大,但需要保证精度和目标物3在拍摄范围内的要求。发明通过在光线偏转单元211上设置角度获取装置和/或位移获取装置,当光线偏转驱动单元212驱动光线偏转单元211运动时,角度获取装置和/或位移获取装置测量转动度数和/或直线位移量并将测量结果反馈给控制终端4,与预先设定的参数进行比对,保证精度。当光线偏转驱动单元212驱动光线偏转单元211发生旋转和/或位移时,相机对应于光线偏转单元211的不同位置状态完成两个或多个拍摄,将两个或多个拍摄的图像发送至控制终端4,终端对数据进行处理,并生成最终的三维图像。其中,相机也可连接图像预处理单元,对图像进行预处理。
控制终端4可选为处理器、计算机、远程控制中心等。
图像采集装置1可以替换为摄像机,CCD,红外相机等其他图像采集器件。同时,图像采集装置1固定在安装平台上,位置固定不发生变化。
光线偏转驱动单元212可选为无刷电机,高精密步进电机,角编码器,旋转电机等。
参见图4,图4A所示的光线偏转单元211为反射镜,可以理解的是,根据测量需要可以设置一个或多个反射镜,光线偏转驱动单元212可以相应地设置一个或多个,并控制平面镜角度发生变化使得不同方向的光线进入图像采集装置1;图4B所示的光线偏转单元211为透镜组,透镜组中的透镜可设置为一个或多个,光线偏转驱动单元212可以相应地设置一个或多个,并控制透镜角度发生变化使得不同方向的光线进入图像采集装置1;图4C所示光线偏转单元211包括多面转镜。
另外,光线偏转单元211可以为DMD,即利用电信号可以控制DMD反射镜的偏转方向,从而使得不同方向的光线进入图像采集装置1。而且由于DMD尺寸非常小,因此能够显著地缩小整个设备的尺寸,并且由于DMD可以高速转动,因此极大地提高了测量和采集速度。这也是本发明的发明点之一。
可以理解,虽然上述两个实施例分开撰写,但是同时实现相机转动和光线偏转也是可以的。
无论是相机转动还是光线偏转拍摄,都是为了构建采集图像的虚拟矩阵。
上述相对运动过程中的的采集位置由采集目标物图像时图像采集装置1的位置决定的,所述相邻两个位置至少满足如下条件:
H*(1-cosb)=2L*sin2b*cosb;
a=m*b;
0<m<1.5
其中L为图像采集装置1到目标物的距离,通常为图像采集装置1在第一位置时距离所采集的目标物正对区域的距离,m为系数。
H为采集到的图像中目标物实际尺寸,所述图像通常为图像采集装置1在第一位置时拍摄的图片,该图片中的目标物具有真实的几何尺寸(不是图片中的尺寸),测量该尺寸时沿着第一位置到第二位置的方向测量。例如第一位置和第二位置是水平移动的关系,那么该尺寸沿着目标物的水平横向测量。例如图片中能够显示出的目标物最左端为A,最右端为B,则测量目标物上A到B的直线距离,为H。所述测量方法可以根据图片中A、B距离,结合相机镜头焦距进行实际距离计算,也可以在目标物上标识出A、B,利用其它测量手段直接测量AB直线距离。
a为相邻两个位置图像采集装置光轴夹角。
m为系数
由于物体大小、凹凸情况各异,无法用严格公式限定a的取值,需要根据经验进行限定。根据大量实验,m的取值在1.5以内即可,但优选可以为0.8以内。具体实验数据参见如下表格:
目标物 | m值 | 合成效果 | 合成率 |
人体头部 | 0.1、0.2、0.3、0.4 | 非常好 | >90% |
人体头部 | 0.5、0.6 | 好 | >85% |
人体头部 | 0.7、0.8 | 比较好 | >80% |
人体头部 | 0.9、1.0 | 一般 | >70% |
人体头部 | 1.0、1.1、1.2 | 一般 | >60% |
人体头部 | 1.2、1.3、1.4、1.5 | 勉强合成 | >50% |
人体头部 | 1.6、1.7 | 难以合成 | <40% |
在目标物及图像采集装置1确定后,根据上述经验公式可以计算出a的值,根据a值即可确定虚拟矩阵的参数,即矩阵点之间的位置关系。
在通常情况下,虚拟矩阵为一维矩阵,例如沿着水平方向排布多个矩阵点(采集位置)。但有些目标物体较大时,需要二维矩阵,那么在垂直方向上相邻的两个位置同样满足上述a值条件。
一些情况下,即使根据上述经验公式,有些场合下也不易确定a值,此时需要根据实验调整矩阵参数,实验方法如下:根据上述公式计算预测矩阵参数a,并按照矩阵参数控制相机移动至相应的矩阵点,例如相机在位置W1拍摄图片P1,移动至位置W2后拍摄图片P2,此时比较图片P1和图片P2中是否有表示目标物同一区域的部分,即P1∩P2非空(例如同时包含人眼角部分,但照片拍摄角度不同),如果没有则重新调整a值,重新移动至位置W2’,重复上述比较步骤。如果P1∩P2非空,则根据a值(调整或未调整的)继续移动相机至W3位置,拍摄图片P3,再次比较图片P1、图片P2和图片P3中是否有表示目标物同一区域的部分,即P1∩P2∩P3非空。再利用多张图片合成3D,测试3D合成效果,符合3D信息采集和测量要求即可。也就是说,矩阵的结构是由采集多个图像时图像采集装置1的位置决定的,相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
现有技术对于合成效果的提升主要通过硬件升级和严格标定,现有技术中没有任何启示能够通过化相机拍照时的角度位置来保证3D合成的效果和稳定性,更没有具体优化的条件。本发明首次提出了优化相机拍照时的角度位置来保证3D合成的效果和稳定性,并且通过反复试验,提出了相机位置需要满足的最佳经验条件(如上),大大提高了3D合成的效果和合成图像稳定性。这也是本发明的发明点之一。
包括3D信息获取装置的3D信息测量装置,其中3D信息获取装置获取3D信息,将信息发送至控制终端4,控制终端4对获取的信息进行计算分析得出目标物3上全部特征点的空间坐标。其中包括,3D信息图像拼接模块,3D信息预处理模块,3D信息算法选择模块,3D信息计算模块,空间坐标点3D信息重建模块。上述模块用于对3D信息获取装置获取的数据进行计算处理并生成测量结果,其中测量结果可以为3D点云图像。测量包括长度、轮廓、面积、体积等几何参数。
包括3D信息获取装置的3D信息比对装置,其中3D信息获取装置获取3D信息,将信息发送至控制终端4,控制终端4对获取的信息进行计算分析得出目标物3上全部特征点的空间坐标,并与预设值进行比对,判断被测目标的状态。除前述3D信息测量装置中的模块外,3D信息比对装置还包括预设3D信息提取模块,信息比对模块,比对结果输出模块和提示模块。比对装置可以对被测目标物3的测量结果与预设值进行比对,以便于生产结果审查及再次加工。对于比对结果中发现被测目标物3与预设值存在偏差明显大于阈值的情况,发出警告提示。
目标物3的配套物生成装置,其可以实现3D信息获取装置获得的目标物3的至少一个区域的3D信息生成与目标物3相应区域相配合的配套物。具体为,本发明应用于运动器械或医疗辅助器械生产,人体结构存在个体差异,因此,统一的配套物无法满足每个人的需求,本发明3D信息获取装置获取某人肘部图像,将其三维结构输入配套物生成装置,用于生产便于其肘部恢复康复的肘部支撑套。配套物生成装置可以为工业塑型机、3D打印机或其他所有本领域那些技术人员可以理解生产设备。其配置本申请的3D信息获取装置以实现快速定制化生产。
虽然本发明给出了上述多种应用(测量、比对、生成),但可以理解,本发明可以独立作为3D信息采集设备。
一种3D信息获取方法,包括:
S1.在图像采集装置1的采集区域与目标物3相对运动过程中,图像采集装置1采集目标物3一组图像;
S2采集区域移动装置2通过如下两种方案之一驱动图像采集装置1的采集区域与目标物3产生相对运动:
S21.采集区域移动装置2为转轴装置,使得图像采集装置1沿一中心轴转动;
S22.采集区域移动装置2为光学扫描装置,使得图像采集装置1不移动或转动的情况下,图像采集装置1的采集区域与目标物3产生相对运动。
利用相机拍摄的多个角度的多个图像合成3D点云或图像可以使用根据相邻图像特征点进行图像拼接的方法,也可以使用其它方法。
图像拼接的方法包括:
(1)对多个图像301进行处理,提取各自的特征点;多个图像中各自的特征点的特征可以采用SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)特征描述子来描述。SIFT特征描述子具有128个特征描述向量,可以在方向和尺度上描述任何特征点的128个方面的特征,显著提高对特征描述的精度,同时特征描述子具有空间上的独立性。
(2)基于提取的多个图像的特征点,分别生成人脸特征的特征点云数据和虹膜特征的特征点云数据。具体包括:
(2-1)根据提取的多个图像中每幅图像各自的特征点的特征,进行多张图像的特征点的匹配,建立匹配的脸部特征点数据集;根据提取的多个图像中每幅图像各自的特征点的特征,进行多张图像的特征点的匹配,建立匹配的虹膜特征点数据集;
(2-2)根据相机的光学信息、获取多个图像时的相机的不同位置,计算各个位置相机相对于特征点在空间上的相对位置,并根据相对位置计算出多个图像中的特征点的空间深度信息。同理,可以计算出多个图像中的特征点的空间深度信息。计算可采用光束平差法。
计算特征点的空间深度信息可以包括:空间位置信息和颜色信息,即,可以是特征点在空间位置的X轴坐标、特征点在空间位置的Y轴坐标、特征点在空间位置的Z轴坐标、特征点的颜色信息的R通道的值、特征点的颜色信息的G通道的值、特征点的颜色信息的B通道的值、特征点的颜色信息的Alpha通道的值等等。这样,生成的特征点云数据中包含了特征点的空间位置信息和颜色信息,特征点云数据的格式可以如下所示:
X1 Y1 Z1 R1 G1 B1 A1
X2 Y2 Z2 R2 G2 B2 A2
……
Xn Yn Zn Rn Gn Bn An
其中,Xn表示特征点在空间位置的X轴坐标;Yn表示特征点在空间位置的Y轴坐标;Zn表示特征点在空间位置的Z轴坐标;Rn表示特征点的颜色信息的R通道的值;Gn表示特征点的颜色信息的G通道的值;Bn表示特征点的颜色信息的B通道的值;An表示特征点的颜色信息的Alpha通道的值。
(2-3)根据多个图像匹配的特征点数据集和特征点的空间深度信息,生成目标物3特征的特征点云数据。
(2-4)根据特征点云数据构建目标物3D模型,以实现目标物3点云数据的采集。
(2-5)将采集到的目标物3颜色、纹理附加在点云数据上,形成目标物3D图像。
其中,可以利用一组图像中的所有图像合成3D图像,也可以从其中选择质量较高的图像进行合成。
上述拼接方法只是有限举例,并不限于此,所有根据多幅多角度二维图像生成三维图像的方法均可以使用。
本发明中所述目标物可以为一实体物体,也可以为多个物体组成物。
所述目标物的3D信息包括3D图像、3D点云、3D网格、局部3D特征、3D尺寸及一切带有目标物3D特征的参数。
本发明里所谓的3D、三维是指具有XYZ三个方向信息,特别是具有深度信息,与只有二维平面信息具有本质区别。也与一些称为3D、全景、全息、三维,但实际上只包括二维信息,特别是不包括深度信息的定义有本质区别。
本发明所说的采集区域是指图像采集装置(例如相机)能够拍摄的范围。
本发明中的图像采集装置可以为CCD、CMOS、相机、摄像机、工业相机、监视器、摄像头、手机、平板、笔记本、移动终端、可穿戴设备、智能眼镜、智能手表、智能手环以及带有图像采集功能所有设备。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (26)
1.一种相机自转式3D测量装置,其特征在于:包括
图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;
采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;
所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动,所述中心轴与图像采集装置相交;
处理单元,用于根据所述一组图像得到目标物的3D信息;
测量单元,用于根据目标物的3D信息测量其几何尺寸;
所述相对运动过程中,图像采集装置采集图像时的相邻两个位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<0.8;
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为相邻两个位置图像采集装置光轴夹角,m为系数。
2.如权利要求1所述的相机自转式3D测量装置,其特征在于:所述转轴装置包括旋转轴、旋转驱动装置。
3.如权利要求2所述的相机自转式3D测量装置,其特征在于:旋转轴直接与图像采集装置连接。
4.如权利要求2所述的相机自转式3D测量装置,其特征在于:旋转轴通过传动装置与图像采集装置连接。
5.如权利要求1所述的相机自转式3D测量装置,其特征在于:所述相对运动过程中,图像采集装置采集图像时的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
6.一种3D信息比对装置,其特征在于:包括上述权利要求1-5任意一项所述的相机自转式3D测量装置。
7.一种目标物的配套物生成装置,其特征在于:利用权利要求1-5任意一项所述的相机自转式3D测量装置获得的目标物的3D信息生成与目标物相应区域相配合的配套物。
8.一种3D信息获取方法,其特征在于,使用如权利要求1-5任意一项装置获取目标物的3D信息。
9.一种相机自转式3D测量装置,其特征在于:包括
图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;
采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;
所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动;采集区域移动装置还包括光线偏转单元,所述相对运动过程中,图像采集装置采集图像时的相邻两个图像位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<0.8;
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为光线偏转单元相邻两个位置的光轴夹角,m为系数;
处理单元,用于根据所述一组图像得到目标物的3D信息;
测量单元,用于根据目标物的3D信息测量其几何尺寸。
10.如权利要求9所述的相机自转式3D测量装置,其特征在于:所述光线偏转单元能够被驱动使得不同方向的光线进入图像采集装置。
11.如权利要求9所述的相机自转式3D测量装置,其特征在于:所述相对运动过程中,图像采集装置采集图像时相邻三个图像位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
12.一种3D信息比对装置,其特征在于:包括上述权利要求9-11任意一项所述的相机自转式3D测量装置。
13.一种目标物的配套物生成装置,其特征在于:利用权利要求9-11任意一项所述的相机自转式3D测量装置获得的目标物的3D信息生成与目标物相应区域相配合的配套物。
14.一种3D信息获取方法,其特征在于,使用如权利要求9-11任意一项装置获取目标物的3D信息。
15.一种相机自转式3D信息获取装置,其特征在于:包括
图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;
采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;
所述采集区域移动装置为转轴装置,使得图像采集装置沿一中心轴转动,所述中心轴与图像采集装置相交;
所述相对运动过程中,图像采集装置采集图像时的相邻两个位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<0.8;
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为相邻两个位置图像采集装置光轴夹角,m为系数。
16.如权利要求15所述的3D信息获取装置,其特征在于:所述转轴装置包括旋转轴、旋转驱动装置。
17.如权利要求16所述的3D信息获取装置,其特征在于:旋转轴直接与图像采集装置连接。
18.如权利要求16所述的3D信息获取装置,其特征在于:旋转轴通过传动装置与图像采集装置连接。
19.如权利要求15所述的3D信息获取装置,其特征在于:所述相对运动过程中,图像采集装置采集图像时的相邻三个位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
20.一种3D信息比对装置,其特征在于:包括权利要求15-19任意一项所述的3D信息获取装置。
21.一种3D信息获取方法,其特征在于,使用权利要求15-19任意一项装置获取目标物的3D信息。
22.一种相机自转式3D信息获取装置,其特征在于:包括
图像采集装置,用于通过图像采集装置的采集区域与目标物相对运动采集目标物一组图像;
采集区域移动装置,用于驱动图像采集装置的采集区域与目标物产生相对运动;
所述采集区域移动装置为光学扫描装置,使得图像采集装置不移动或转动的情况下,图像采集装置的采集区域与目标物产生相对运动,采集区域移动装置还包括光线偏转单元,所述相对运动过程中,图像采集装置采集图像时的相邻两个图像位置至少满足如下条件:
H*(1-cosb)=L*sin2b;
a=m*b;
0<m<0.8;
其中L为图像采集装置到目标物的距离,H为采集到的图像中目标物实际尺寸,a为光线偏转单元相邻两个位置的光轴夹角,m为系数。
23.如权利要求22所述的3D信息获取装置,其特征在于:所述光线偏转单元能够被驱动使得不同方向的光线进入图像采集装置。
24.如权利要求22所述的相机自转式3D信息获取装置,其特征在于:所述相对运动过程中,图像采集装置采集图像时的相邻三个图像位置满足在对应位置上采集的三个图像至少均存在表示目标物同一区域的部分。
25.一种3D信息比对装置,其特征在于:包括权利要求22-24任意一项所述的3D信息获取装置。
26.一种3D信息获取方法,其特征在于,使用如权利要求22-24任意一项装置获取目标物的3D信息。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811031444.6A CN109218702B (zh) | 2018-09-05 | 2018-09-05 | 一种相机自转式3d测量及信息获取装置 |
CN201911310021.2A CN111060024B (zh) | 2018-09-05 | 2018-09-05 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811031444.6A CN109218702B (zh) | 2018-09-05 | 2018-09-05 | 一种相机自转式3d测量及信息获取装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310021.2A Division CN111060024B (zh) | 2018-09-05 | 2018-09-05 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109218702A CN109218702A (zh) | 2019-01-15 |
CN109218702B true CN109218702B (zh) | 2019-12-31 |
Family
ID=64986374
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310021.2A Active CN111060024B (zh) | 2018-09-05 | 2018-09-05 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
CN201811031444.6A Active CN109218702B (zh) | 2018-09-05 | 2018-09-05 | 一种相机自转式3d测量及信息获取装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310021.2A Active CN111060024B (zh) | 2018-09-05 | 2018-09-05 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN111060024B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111060024B (zh) * | 2018-09-05 | 2021-11-30 | 天目爱视(北京)科技有限公司 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112797897B (zh) * | 2019-04-15 | 2022-12-06 | Oppo广东移动通信有限公司 | 物体几何参数的测量方法、装置和终端 |
CN112304222B (zh) * | 2019-12-12 | 2022-04-08 | 天目爱视(北京)科技有限公司 | 一种背景板同步旋转的3d信息采集设备 |
CN113111788B (zh) * | 2020-02-17 | 2023-09-19 | 天目爱视(北京)科技有限公司 | 一种具有调整装置的虹膜3d信息获取设备 |
CN111462304B (zh) * | 2020-03-16 | 2021-06-15 | 天目爱视(北京)科技有限公司 | 一种用于太空领域的3d采集和尺寸测量方法 |
CN114092898A (zh) * | 2020-07-31 | 2022-02-25 | 华为技术有限公司 | 目标物的感知方法及装置 |
CN111913635B (zh) * | 2020-08-14 | 2022-12-13 | 广东申义实业投资有限公司 | 三维全景图片显示方法、装置、移动终端及存储介质 |
CN112254674B (zh) * | 2020-10-15 | 2022-02-15 | 天目爱视(北京)科技有限公司 | 一种近距离智能视觉3d信息采集设备 |
CN112303423B (zh) * | 2020-10-15 | 2022-10-25 | 天目爱视(北京)科技有限公司 | 一种转动稳定的智能三维信息采集设备 |
CN112257537B (zh) * | 2020-10-15 | 2022-02-15 | 天目爱视(北京)科技有限公司 | 一种智能多点三维信息采集设备 |
CN112254672B (zh) * | 2020-10-15 | 2022-02-15 | 天目爱视(北京)科技有限公司 | 一种高度可调的智能3d信息采集设备 |
CN112254669B (zh) * | 2020-10-15 | 2022-09-16 | 天目爱视(北京)科技有限公司 | 一种多偏置角度的智能视觉3d信息采集设备 |
CN112254678B (zh) * | 2020-10-15 | 2022-08-12 | 天目爱视(北京)科技有限公司 | 一种室内3d信息采集设备及方法 |
WO2022078417A1 (zh) * | 2020-10-15 | 2022-04-21 | 左忠斌 | 一种自转式智能视觉3d信息采集设备 |
CN112254676B (zh) * | 2020-10-15 | 2022-01-28 | 天目爱视(北京)科技有限公司 | 一种便携式智能3d信息采集设备 |
CN112254675B (zh) * | 2020-10-15 | 2023-04-11 | 天目爱视(北京)科技有限公司 | 一种包含运动物体的空间占用率采集判断设备及方法 |
CN112492292B (zh) * | 2020-11-27 | 2023-04-11 | 天目爱视(北京)科技有限公司 | 一种自由姿态的智能视觉3d信息采集设备 |
CN112672134B (zh) * | 2020-12-22 | 2021-08-24 | 天目爱视(北京)科技有限公司 | 基于移动终端三维信息采集控制设备及方法 |
CN112595245B (zh) * | 2021-03-08 | 2021-07-30 | 深圳中科飞测科技股份有限公司 | 检测方法、检测系统及非易失性计算机可读存储介质 |
CN114343848A (zh) * | 2022-01-06 | 2022-04-15 | 北京瑞医博科技有限公司 | 一种标记块的长度测量系统及手术机器人系统 |
CN116754609B (zh) * | 2023-08-21 | 2023-12-05 | 广东云下汇金科技有限公司 | 一种用于检测数据中心冷冻水管锈蚀检测方法及其装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2580087B1 (zh) * | 1985-04-03 | 1988-12-02 | Hispano Suiza Sa | |
CA2305229A1 (en) * | 1997-10-08 | 1999-04-15 | Interactive Pictures Corporation | Method and system for the creation and interactive viewing of totally immersive stereoscopic images |
CN201104239Y (zh) * | 2007-10-26 | 2008-08-20 | 东南大学 | 杠杆式微位移光学测定装置 |
JP2012509464A (ja) * | 2008-11-17 | 2012-04-19 | ファロ テクノロジーズ インコーポレーテッド | 六自由度計測装置及び方法 |
CN102478757A (zh) * | 2010-11-25 | 2012-05-30 | 英业达股份有限公司 | 立体影像产生装置及其方法 |
CN102073209A (zh) * | 2010-12-16 | 2011-05-25 | 哈尔滨工程大学 | 一种单摄像机立体图像拍摄装置 |
CN202432992U (zh) * | 2012-02-20 | 2012-09-12 | 郑州海意科技有限公司 | 滤棒/烟支测量定位机构及长度、圆周、圆度测量装置 |
CN203587962U (zh) * | 2012-10-18 | 2014-05-07 | 吴晓强 | 用于单镜头摄像或摄影设备拍摄立体图像的附加装置 |
CN105157601A (zh) * | 2015-06-10 | 2015-12-16 | 北京领邦仪器技术有限公司 | 单相机三维影像测量仪 |
CN106570932B (zh) * | 2016-10-24 | 2023-07-18 | 南京邮电大学 | 基于图像的人体头部三维数据采集系统及其方法 |
CN107454375A (zh) * | 2017-01-24 | 2017-12-08 | 江苏思特威电子科技有限公司 | 3d全景成像装置和方法 |
CN108120396A (zh) * | 2017-12-21 | 2018-06-05 | 苏州临点三维科技有限公司 | 三维扫描设备 |
CN208795174U (zh) * | 2018-09-05 | 2019-04-26 | 天目爱视(北京)科技有限公司 | 相机自转式图像采集设备、比对装置、配套物生成装置 |
CN111060024B (zh) * | 2018-09-05 | 2021-11-30 | 天目爱视(北京)科技有限公司 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
-
2018
- 2018-09-05 CN CN201911310021.2A patent/CN111060024B/zh active Active
- 2018-09-05 CN CN201811031444.6A patent/CN109218702B/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111060024B (zh) * | 2018-09-05 | 2021-11-30 | 天目爱视(北京)科技有限公司 | 旋转中心轴与图像采集装置相交的3d测量及获取装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111060024B (zh) | 2021-11-30 |
CN109218702A (zh) | 2019-01-15 |
CN111060024A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109218702B (zh) | 一种相机自转式3d测量及信息获取装置 | |
CN110567371B (zh) | 用于3d信息采集的光照控制系统 | |
CN109146961B (zh) | 一种基于虚拟矩阵的3d测量及获取装置 | |
CN110567370B (zh) | 一种可变焦自适应的3d信息采集方法 | |
CN110543871B (zh) | 基于点云的3d比对测量方法 | |
CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
CN109394168B (zh) | 一种基于光照控制的虹膜信息测量系统 | |
WO2019049331A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
CN110580732A (zh) | 一种足部3d信息获取装置 | |
CN110827196A (zh) | 一种能够对目标物多区域同时进行3d信息采集的装置 | |
CN209279885U (zh) | 图像采集设备、3d信息比对及配套物生成装置 | |
CN208795174U (zh) | 相机自转式图像采集设备、比对装置、配套物生成装置 | |
CN208653401U (zh) | 自适应图像采集设备、3d信息比对装置、配套物生成装置 | |
WO2007041690A2 (en) | Device for generating three dimensional surface models of moving objects | |
CN111076674B (zh) | 一种近距离目标物3d采集设备 | |
CN112304222B (zh) | 一种背景板同步旋转的3d信息采集设备 | |
CN109146949B (zh) | 一种基于视频数据的3d测量及信息获取装置 | |
CN111006586A (zh) | 一种用于3d信息采集的智能控制方法 | |
JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
CN211178345U (zh) | 一种三维采集设备 | |
CN104374374B (zh) | 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法 | |
CN109394170B (zh) | 一种无反光的虹膜信息测量系统 | |
CN209103318U (zh) | 一种基于光照的虹膜形貌测量系统 | |
CN208795167U (zh) | 用于3d信息采集系统的光照系统 | |
CN213072921U (zh) | 多区域图像采集设备、3d信息比对、配套物生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |