CN108491760A - 基于光场相机的3d四维虹膜数据采集方法及系统 - Google Patents
基于光场相机的3d四维虹膜数据采集方法及系统 Download PDFInfo
- Publication number
- CN108491760A CN108491760A CN201810152227.6A CN201810152227A CN108491760A CN 108491760 A CN108491760 A CN 108491760A CN 201810152227 A CN201810152227 A CN 201810152227A CN 108491760 A CN108491760 A CN 108491760A
- Authority
- CN
- China
- Prior art keywords
- data
- iris
- image data
- light
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 46
- 241001269238 Data Species 0.000 claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 15
- 238000011946 reduction process Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 210000000554 iris Anatomy 0.000 description 109
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005290 field theory Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 241000385223 Villosa iris Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种基于光场相机的3D四维虹膜数据采集方法及系统。系统包括：支撑结构和设置在支撑结构上的弧形承载结构，布置在弧形承载结构上的一台或多台光场相机，以及与光场相机连接的数据处理单元；光场相机用于采集人体的虹膜的信息，包括采集虹膜的影像数据和记录采集虹膜信息的时间数据；数据处理单元用于对影像数据和时间数据进行处理。采集方法包括：通过多台光场相机获取虹膜的影像数据；对多台光场相机获取的虹膜的影像数据进行处理和计算，生成采集对象的3D四维虹膜数据。本发明采用多台光场相机控制技术进行虹膜特征信息的采集，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。
Description
技术领域
本发明涉及生物特征采集技术领域，特别是一种基于光场相机的3D四维虹膜数据采集方法及系统。
背景技术
虹膜作为生物特征即生物固有的生理或行为特征之一，具有一定的唯一性和稳定性，即任何两生物的某种虹膜特征之间的差异比较大，且虹膜特征一般不会随着时间发生很大的变化，这就使得虹膜特征很适合应用在身份认证或识别系统中的认证信息等场景中。
目前大多使用单一定焦相机采集虹膜特征数据，单一定焦相机只能采集某个特定的角度，或者需要调整相机位置来采集不同角度的虹膜特征，实际使用起来不便捷，较为繁琐，采集时间长，效率低，因此亟待解决这一技术问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于光场相机的3D四维虹膜数据采集方法及系统。
本发明实施例提供了一种基于光场相机的3D四维虹膜数据采集系统，其包括：支撑结构，设置在所述支撑结构上的弧形承载结构，布置在所述弧形承载结构上的一台或多台光场相机，以及与所述光场相机连接的数据处理单元；
所述光场相机用于采集人体的虹膜的信息，包括采集所述虹膜的影像数据和记录采集虹膜信息的时间数据，并将所述影像数据和时间数据传输至所述数据处理单元；
所述数据处理单元，用于对所述影像数据和时间数据进行处理。
进一步的，所述数据处理单元包括：
数据接收模块，用于接收光场相机当前对虹膜进行采集得到的影像数据和时间数据；
格式转换模块，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；
预处理模块，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；
数据融合模块，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；
点云生成模块，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；
距离标定模块，用于从所述点云数据中提取所述虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；
3D数据获取模块，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述虹膜的3D模型数据，根据所述虹膜3D模型数据和所述时间数据，生成具有时间维度的虹膜3D模型数据。
进一步的，所述数据处理单元还包括：
定位识别模块，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。
进一步的，所述数据处理单元还包括：移动控制模块，用于在所述定位识别模块确定所述人体的虹膜不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块重新接收所述光场相机当前对所述虹膜采集到的影像数据。
进一步的，所述格式转换模块还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。
进一步的，所述距离标定模块按照以下方式进行距离标定：
对从所述点云数据进行预处理，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；
从预处理后的所述点云数据中提取所述虹膜的特征点云信息；
根据所述特征点云信息，标定特征点的距离，得到所述虹膜的3D模型的基础尺寸。
本发明还提供一种基于光场相机的3D四维虹膜数据采集方法，包括：
步骤1，接收光场相机当前对虹膜进行采集得到的信息，所述信息包括所述虹膜的影像数据和记录采集所述虹膜影像数据的时间数据；
步骤2，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；
步骤3，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；
步骤4，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据；
步骤5，从所述点云数据中提取所述虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；
步骤6，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述虹膜的3D模型数据，根据所述虹膜3D模型数据和所述时间数据，生成具有时间维度的虹膜3D模型数据。
进一步的，在步骤2之前，所述方法还包括：对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。
进一步的，在确定所述人体的虹膜不在预定的位置的情况下，所述方法还包括：
根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的承载设备需要移动的方向；
向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤1。
进一步的，确定所述人体的虹膜在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的虹膜轮廓是否完整，如果完整，则确定所述人体的虹膜在预定的位置。
进一步的，在对所述影像数据进行解码时，所述方法还包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。
进一步的，所述步骤5包括：对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；
从预处理后的所述点云数据中提取所述虹膜的特征点云信息；
根据所述特征点云信息，标定特征点的距离，得到所述虹膜的3D模型的基础尺寸。
进一步的，在步骤6之后，所述方法还包括：对所述3D模型数据进行渲染，将渲染后的所述3D模型数据发送至显示屏显示。
本发明能够达到如下有益效果：本发明实施例提供了一种基于光场相机的3D数据采集系统和方法，光场相机通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线的功能，利用光场相机采集数据；基于光场理论，光线在自由空间中的传播是可以用两个平面、四个坐标(四维量，学术上称为光场)来唯一表示，成像过程是对这个四维光场进行了一个二维积分，从而得到了二维图像，用光场相机拍照，相机直接记录了四维光场，不同焦深的图像只需做不同情况下的二维积分便可获取，相对只有一个焦平面的传统相机既获得了不同焦深的数据，又不需要考虑对焦问题，减少了数据采集时间和后期计算的数据量，降低操作复杂度，提升速度和精度。采用光场相机对虹膜进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对虹膜进行3D数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示意了根据本发明一实施例的基于光场相机的3D四维虹膜数据采集系统的结构图；
图2示意了图1所示的采集系统的内部模块及其连接的示意图；
图3示意了图1所示的采集系统的内部模块及其连接的另一实施例的示意图；
图4示意了根据本发明一实施例的基于光场相机的3D四维虹膜数据采集系统的架构图；
图5示意了根据本发明一实施例的基于光场相机的3D四维虹膜数据采集系统的模块结构图；
图6示意了根据本发明一实施例的基于光场相机的3D四维虹膜数据采集系统的工作流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决上述技术问题，本发明实施例提供了一种基于光场相机的3D四维虹膜数据采集系统。
本发明中的3D四维虹膜数据是指三维空间数据结合时间维度数据所形成的数据，三维空间结合时间维度是指：多张相同时间间隔或不同时间间隔、不同角度、不同方位或不同的虹膜状态等情况的图像或影像形成的3D数据集合。
图1示出了根据本发明一实施例的基于光场相机的3D四维虹膜数据采集系统的结构图，在图1中，基于光场相机的3D四维虹膜数据采集系统1具体可以包括：支撑结构110，设置在支撑结构110上的弧形承载结构120，布置在弧形承载结构120上的一台或多台光场相机130，以及与光场相机130连接的数据处理单元8；
光场相机130，用于对虹膜特征信息进行采集，得到虹膜的影像数据，并将虹膜的影像数据传输至数据处理单元8；
数据处理单元8，用于对虹膜的影像数据进行处理。
本发明实施例采用多台光场相机控制技术进行虹膜特征信息的采集，可以显著提高虹膜特征信息的采集效率。当然，采用一台光场相机在弧形承载结构120移动对虹膜进行多角度的拍摄，也可以实现对虹膜特征信息的采集，但采集效率低、操作难度大，无法快速准确的采集虹膜的瞬间状态信息。
在本发明的可选实施例中，如图2所示，上文图1展示的数据处理单元8具体可以包括：数据接收模块800、格式转换模块802、预处理模块804、数据融合模块806、点云生成模块808、距离标定模块810和3D数据获取模块812。数据接收模块800，用于接收光场相机当前对虹膜进行采集得到的影像数据；格式转换模块802，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；预处理模块804，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；数据融合模块806，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；点云生成模块808，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；距离标定模块810，用于从所述点云数据中提取所述虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；3D数据获取模块812，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述虹膜的3D模型数据。
可选地，如图3所示，数据处理单元8还可以包括：定位识别模块814，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。
可选地，如图3所示，数据处理单元8还包括：移动控制模块816，用于在所述定位识别确定所述人体的虹膜不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的虹膜的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块800重新接收所述光场相机当前对所述虹膜采集到的影像数据。
可选地，确定所述人体的虹膜在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的虹膜的轮廓是否完整，如果完整，则确定所述人体的虹膜在预定的位置。
可选地，所述格式转换模块802还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。
可选地，所述距离标定模块810按照以下方式进行距离标定：对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；从预处理后的所述点云数据中提取所述虹膜的特征点云信息；根据所述特征点云信息，标定特征点的距离，得到所述虹膜的3D模型的基础尺寸。
可选地，如图3所示，数据处理单元8还包括：渲染模块818，用于对所述3D模型数据进行渲染；显示控制模块820，用于将渲染后的所述3D模型数据发送至显示屏显示。
图4示出了根据本发明一实施例提供的一种基于光场相机的3D四维虹膜数据采集系统的架构示意图，图5示出了据本发明一实施例提供的一种基于光场相机的3D四维虹膜数据采集系统的模块结构示意图。如图4和5所示，该系统主要包括：底座21、座椅22、支撑结构23、中央控制模块24、环形承载结构25、补光灯控制模块26、补光灯27、光场相机控制部分28以及引导显示屏29。其中，座椅22与底座21连接，支撑结构23连接底座21与环形承载结构25，中央控制模块24位于环形承载结构25外侧与环形承载结构25和支撑结构23连接。补光灯控制模块26与补光灯27、光场相机控制部分28、引导显示屏29位于环形承载结构25内侧。
其中，如图5所示，中央控制模块24包括：中央控制通信模块241、座椅控制模块242、中央控制数据传输模块243、图像数据格式转换模块244、虹膜定位识别模块245、多焦点图像数据融合模块246、3D模型定标模块248、3D模型点云生成模块247、3D模型合成模块249和3D模型显示模块250。其中，中央控制通信模块241与光场相机控制部分280连接；座椅控制模块242与座椅22连接；中央控制数据传输模块243的输入端与光场相机控制部分28连接，中央控制数据传输模块443的输出端与图像数据格式转换模块244连接；图像数据格式转换模块244的输入端与中央控制数据传输模块243连接，图像数据格式转换模块244的输出端分别与虹膜定位识别模块245和引导显示屏29模块还有多焦点图像数据融合模块246连接；虹膜定位识别模块245的输入端与图像数据格式转换模块244连接，虹膜定位识别模块245的输出端与座椅控制模块242连接；多焦点图像数据融合模块246的输入端与图像数据格式转换模块244连接，多焦点图像数据融合模块246的输出端与3D模型点云生成模块247连接；3D模型点云生成模块247输入端与多焦点图像数据融合模块246连接，3D模型点云生成模块247的输出端与3D模型定标模块248连接；3D模型定标模块248的输入端与3D模型点云生成模块247连接，3D模型定标模块248的输出端与3D模型合成模块249连接；3D模型合成模块249的输入端与3D模型定标模块248连接，3D模型合成模块249的输出端与3D模型显示模块240连接；3D模型显示模块240输入端与3D模型合成模块249连接，3D模型显示模块240的输出端与中央控制显示屏200连接；中央控制显示屏200输入端与3D模型显示模块250连接。
如图5所示，光场相机控制部分28可以包括：相机通信模块281和相机数据传输模块282。其中，相机通信模块281分别与补灯光控制模块26和中央控制模块24中的中央控制通信模块241连接；相机数据传输模块282的输出端与中央控制模块24中的中央控制数据传输模块243连接。座椅22包括：PLC模块222和电机模块221；PLC模块222与中央控制模块24中的座椅控制模块242连接；电机模块221与PLC模块222连接；
上述系统的工作流程如图6所示，主要包括以下步骤S401至步骤S414。
步骤S401，参数设置。启动设备，设置相机参数，中央控制通信模块241与相机通信模块281连接，设置相机参数，并接收反馈信息。
在具体应用中，设置参数包括但不限于：曝光时间(1/8-1/2000)、感光度(ISO100-ISO6400)、白平衡参数Rgain Bgain手动设定、色彩饱和度(0-100)、对比度(0-100)。
步骤S402，数据采集。控制光场相机拍照，采集数据。中央控制通信模块241与相机通信模块281连接，控制光场相机拍照，并接收反馈信息。
步骤S403，数据传输。中央控制数据传输模块243与光场相机控制部分28中相机数据传输模块282连接，传输光场相机采集的影像数据。
步骤S404，数据格式转换。图像数据格式转换模块244的输入端与中央控制数据传输模块243连接，接收影像数据，并进行解码，生成JPG格式数据和视频格式数据。
步骤S405，引导显示。图像数据格式转换模块244的一个输出端与引导显示屏29连接，传输视频信号到引导显示屏29并显示。
步骤S406，虹膜定位识别。虹膜定位识别模块245的输入端与图像数据格式转换模块244连接，对数据进行虹膜定位识别，判断虹膜位置是否合适，如果是，则执行步骤S409，否则，执行步骤S407。
步骤S407，虹膜定位识别模块245通过座椅控制模块242向座椅22发送控制命令。
步骤S408，座椅控制。座椅22中PLC模块222与中央控制模块24座椅控制模块242连接接收控制命令，通过电机模块221控制座椅22升降，返回步骤S402。
步骤S409，多焦点图像数据转换。图像数据格式转换模块244对光场数据进行多焦点采样并转换为JPG数据格式。
步骤S410，图像数据融合。多焦点图像数据融合模块246的输入端与图像数据格式转换模块244连接，对多张JPG数据进行处理，融合成一张JPG格式数据。
在步骤S410中，多焦点图像融合包括但不限于：基于空域的梯度差分法、分块法、逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法；以及基于频域的拉普拉斯金字塔法、小波变换法、金字塔图像融合法、进行图像融合。
步骤S411，生成点云。3D模型点云生成模块247与多焦点图像数据融合模块246连接，对多张JPG数据进行处理，生成点云数据。
步骤S412，点云标定。3D模型定标模块248与3D模型点云生成模块247连接，对点云信息进行处理，生成尺寸数据。
步骤S413，3D模型合成。3D模型合成模块249与3D模型定标模块248连接，对标定后的点云数据进行处理，生成3D模型。
步骤S414，3D模型显示。3D模型显示模块450与3D模型合成模块449连接，对3D模型数据渲染，中央控制显示屏200与3D模型显示模块450连接，显示3D模型显示模块450输出的渲染后的3D模型；
根据上述任意一个可选实施例或多个可选实施例的组合，本发明实施例能够达到如下有益效果：
本发明实施例提供了一种基于光场相机的3D数据采集系统，光场相机通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线的功能，利用光场相机采集数据；基于光场理论，光线在自由空间中的传播是可以用两个平面、四个坐标(四维量，学术上称为光场)来唯一表示，成像过程是对这个四维光场进行了一个二维积分，从而得到了二维图像，用光场相机拍照，相机直接记录了四维光场，不同焦深的图像只需做不同情况下的二维积分便可获取，相对只有一个焦平面的传统相机既获得了不同焦深的数据，又不需要考虑对焦问题，减少了数据采集时间和后期计算的数据量，降低操作复杂度，提升速度和精度。采用光场相机对虹膜进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对虹膜进行3D数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。
本发明实施例还提供了一种基于光场相机的3D四维虹膜数据采集方法。光场相机通过在普通相机镜头(主镜头)焦距处加微透镜阵列实现记录光线，再通过后期算法(傅里叶切片定理，光场成像算法)实现变焦。
传统相机拍照只有一个焦平面，焦平面前后数据模糊，距离焦平面越远画面越模糊，因此拍摄前要先对焦，但即使对焦清晰对于具有一定景深的物体也无法拍到前后景深都清晰的图像，在3D数据合成中无法提取到模糊数据的特征点，导致合成效果差甚至合成失败。
光场相机先拍照后对焦，可以获取不同景深的清晰数据。再通过图像融合算法可以合成一张具有超景深的图像，在3D数据合成中可提取更多特征点，提高合精度和成功率。
根据本发明一实施例的基于光场相机的3D四维虹膜数据采集方法，该方法可以包括以下步骤S102至步骤S112。
步骤S102，接收光场相机当前对虹膜进行采集得到的信息，所述信息包括所述虹膜的影像数据和记录采集所述虹膜影像数据的时间数据。
在具体使用过程中，在步骤S102之前，人体坐或站立在承载设备上，启动系统的各个设备，设置光场相机的各项参数，并控制光场相机拍照，获取光场相机当前对人体的虹膜进行拍照得到的影像数据。
步骤S104，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据。
在具体应用中，预定图片格式可以为JPG格式，即在步骤S104中，将影像数据的数据格式转换为JPG格式。当然，并不限于此，在具体应用中，也可以将影像数据转换为其它图片格式，例如，BMP格式等，具体本发明实施例不作限定。
步骤S106，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理。
通过去除背景处理，可以将图像数据中的背景数据去除，减少后续处理的数据量，提高效率。
另外，对图像数据进行降噪处理，可以去除图像数据中的噪声，提高3D数据采集的准确性。
而细节增强处理，使得特征点更加突出，可以方便后续对特征点的提取。
步骤S108，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据。
在本发明的一个可选实施方式中，步骤S108中将多焦点图像进行融合的方法可以包括：基于空域的梯度差分法、分块法、逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法；以及基于频域的拉普拉斯金字塔法、小波变换法、金字塔图像融合法、进行图像融合等。
其中，点云数据中可以包含特征点的空间位置信息和颜色信息，点云数据的格式可以如下所示：
X1 Y1 Z1 R1 G1 B1 A1
X2 Y2 Z2 R2 G2 B2 A2
……
Xn Yn Zn Rn Gn Bn An
其中，Xn表示特征点在空间位置的X轴坐标；Yn表示特征点在空间位置的Y轴坐标；Zn表示特征点在空间位置的Z轴坐标；Rn表示特征点的颜色信息的R通道的值；Gn表示特征点的颜色信息的G通道的值；Bn表示特征点的颜色信息的B通道的值；An表示特征点的颜色信息的Alpha通道的值。
步骤S110，从所述点云数据中提取所述人体的虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定。
在本发明的一个可选实施例中，步骤S110可以包括：
对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；
从预处理后的所述点云数据中提取所述人体的虹膜的特征点云信息；
根据所述特征点云信息，标定特征点的距离，得到所述人体的虹膜的3D模型的基础尺寸。
步骤S112，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述人体的虹膜的3D模型数据，根据所述虹膜3D模型数据和所述时间数据，生成具有时间维度的虹膜3D模型数据。
在本发明的一个可选实施例中，在步骤S112之后，该方法还可以包括：对所述3D模型数据进行渲染，将渲染后的所述3D模型数据发送到显示屏显示。在该可选实施例中，对3D模型数据进行渲染，提高了显示的3D模型数据的真实度。
本发明实施例提供了一种基于光场相机的3D数据采集方法和系统，采用光场相机对人体的虹膜进行数据采集，以光场相机成像原理为基础，结合数字图像处理技术，对人体的虹膜进行3D数据的采集。由于光场相机基于光场理论，在一个焦距对物体拍照后可以计算出其他焦距的成像情况，无需对焦，也不需要在不同焦距多次拍照，因此，减少了数据采集时间和后期计算的数据量，同时降低操作复杂度。
采集过程中，由于各个人体可能具有不同的高度，因此，在具体应用中，可能存在人体的虹膜的位置不合适，光场相机不能采集到完整的人体的虹膜。因此，在本发明的一个可选实施方式中，在步骤S104之前，该方法还可以包括：对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。在该可选实施方式中，预定的位置可以根据人体的虹膜是否采集完整确定。
在上述可选实施方式中，可选地，在确定所述人体的虹膜不在预定的位置的情况下，该方法还可以包括：根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的虹膜的承载设备需要移动的方向；向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤S102。通过该可选实施方式中，在人体的虹膜不在预定的位置的情况下，可以控制承载人体的承载设备进行移动，然后采集新位置的人体的虹膜的图像，再判断人体的虹膜是否在预定的位置，直至确认人体的虹膜在预定的位置为止。
在上述可选实施方式中，预定的位置可以根据人体的虹膜是否采集完整确定。因此，可选地，确定所述人体的虹膜在预定的位置，包括可以对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的虹膜的轮廓是否完整，如果完整，则确定所述人体的虹膜在预定的位置。
在本发明的一个可选实施方式中，为了引导用户确定移动的方向，可选地，在对所述影像数据进行解码时，该方法还可以包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。用户可以通过引导显示屏上显示的图像确定如何进行移动，提高移动的准确性。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于光场相机的3D四维虹膜数据采集方法及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (10)
1.一种基于光场相机的3D四维虹膜数据采集系统，其特征在于，包括：支撑结构，设置在所述支撑结构上的弧形承载结构，布置在所述弧形承载结构上的一台或多台光场相机，以及与所述光场相机连接的数据处理单元；
所述光场相机用于采集人体的虹膜的信息，包括采集所述虹膜的影像数据和记录采集虹膜信息的时间数据，并将所述影像数据和时间数据传输至所述数据处理单元；
所述数据处理单元，用于对所述影像数据和时间数据进行处理。
2.根据权利要求1所述的系统，其特征在于，所述数据处理单元包括：
数据接收模块，用于接收光场相机当前对虹膜进行采集得到的影像数据和时间数据；
格式转换模块，用于对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；
预处理模块，用于将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；
数据融合模块，用于将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据；
点云生成模块，用于对所述一张预定图片格式的图像数据进行处理，得到点云数据；
距离标定模块，用于从所述点云数据中提取所述虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；
3D数据获取模块，用于基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述虹膜的3D模型数据，根据所述虹膜3D模型数据和所述时间数据，生成具有时间维度的虹膜3D模型数据。
3.根据权利要求2所述的系统，其特征在于，所述数据处理单元还包括：
定位识别模块，用于对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。
4.根据权利要求2所述的系统，其特征在于，所述数据处理单元还包括：移动控制模块，用于在所述定位识别模块确定所述人体的虹膜不在预定的位置的情况下，根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的承载设备需要移动的方向，并向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，然后触发所述数据接收模块重新接收所述光场相机当前对所述虹膜采集到的影像数据。
5.根据权利要求2所述的系统，其特征在于，所述格式转换模块还用于在对所述影像数据进行解码时，对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示。
6.根据权利要求2至5任一项所述的系统，其特征在于，所述距离标定模块按照以下方式进行距离标定：
对从所述点云数据进行预处理，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；
从预处理后的所述点云数据中提取所述虹膜的特征点云信息；
根据所述特征点云信息，标定特征点的距离，得到所述虹膜的3D模型的基础尺寸。
7.一种基于光场相机的3D四维虹膜数据采集方法，包括：
步骤1，接收光场相机当前对虹膜进行采集得到的信息，所述信息包括所述虹膜的影像数据和记录采集所述虹膜影像数据的时间数据；
步骤2，对所述影像数据进行多焦点采样并转换为多张预定图片格式的图像数据；
步骤3，将所述多张预定图片格式的图像数据进行预处理，其中，所述预处理包括以下至少之一：去除背景处理、降噪处理和细节增强处理；
步骤4，将预处理后的所述多张预定图片格式的图像数据融合成一张预定图片格式的图像数据，并对该张预定图片格式的图像数据进行处理，得到点云数据；
步骤5，从所述点云数据中提取所述虹膜的特征点云信息，并根据提取的所述特征点云信息，进行特征点距离标定；
步骤6，基于所述特征点距离标定得到的标定距离，对所述点云数据进行合成，得到所述虹膜的3D模型数据，根据所述虹膜3D模型数据和所述时间数据，生成具有时间维度的虹膜3D模型数据。
8.根据权利要求7所述的方法，其特征在于，在步骤2之前，所述方法还包括：
对所述影像数据进行解码，生成预定图片格式的图像数据，对所述预定图片格式的图像数据进行定位识别，确定所述人体的虹膜在预定的位置。
9.根据权利要求8所述的方法，其特征在于，在确定所述人体的虹膜不在预定的位置的情况下，所述方法还包括：
根据对所述预定图片格式的图像数据进行定位识别的结果，确定承载所述人体的承载设备需要移动的方向；
向所述承载设备发送控制指令，指示所述承载设备向所述需要移动的方向移动，返回步骤1。
10.根据权利要求8所述的方法，其特征在于，确定所述人体的虹膜在预定的位置，包括：对所述预定图片格式的图像数据进行定位识别，判断所述预定图片格式的图像数据中的人体的虹膜轮廓是否完整，如果完整，则确定所述人体的虹膜在预定的位置；优选地，在对所述影像数据进行解码时，所述方法还包括：对所述影像数据进行解码处理，得到视频信号数据，将所述视频信号数据发送到引导显示屏显示；
优选地，所述步骤5包括：
对从所述点云数据进行预处理，其中，所述预处理包括以下至少之一：降噪处理、平滑处理、和可视化处理；
从预处理后的所述点云数据中提取所述虹膜的特征点云信息；
根据所述特征点云信息，标定特征点的距离，得到所述虹膜的3D模型的基础尺寸；
优选地，在步骤6之后，所述方法还包括：
对所述3D模型数据进行渲染，将渲染后的所述3D模型数据发送至显示屏显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810152227.6A CN108491760A (zh) | 2018-02-14 | 2018-02-14 | 基于光场相机的3d四维虹膜数据采集方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810152227.6A CN108491760A (zh) | 2018-02-14 | 2018-02-14 | 基于光场相机的3d四维虹膜数据采集方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108491760A true CN108491760A (zh) | 2018-09-04 |
Family
ID=63340819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810152227.6A Withdrawn CN108491760A (zh) | 2018-02-14 | 2018-02-14 | 基于光场相机的3d四维虹膜数据采集方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491760A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109443199A (zh) * | 2018-10-18 | 2019-03-08 | 天目爱视（北京）科技有限公司 | 基于智能光源的3d信息测量系统 |
| CN110580732A (zh) * | 2018-09-10 | 2019-12-17 | 天目爱视（北京）科技有限公司 | 一种足部3d信息获取装置 |
| CN114170567A (zh) * | 2021-12-01 | 2022-03-11 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105067023A (zh) * | 2015-08-31 | 2015-11-18 | 中国科学院沈阳自动化研究所 | 一种全景三维激光传感器数据校准方法和装置 |
| CN105138996A (zh) * | 2015-09-01 | 2015-12-09 | 北京上古视觉科技有限公司 | 一种具有活体检测功能的虹膜识别系统 |
| CN105791881A (zh) * | 2016-03-15 | 2016-07-20 | 深圳市望尘科技有限公司 | 一种基于光场摄像机的三维场景录播的实现方法 |
| CN105975926A (zh) * | 2016-04-29 | 2016-09-28 | 中山大学 | 基于光场相机的人脸活体检测方法 |
-
2018
- 2018-02-14 CN CN201810152227.6A patent/CN108491760A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105067023A (zh) * | 2015-08-31 | 2015-11-18 | 中国科学院沈阳自动化研究所 | 一种全景三维激光传感器数据校准方法和装置 |
| CN105138996A (zh) * | 2015-09-01 | 2015-12-09 | 北京上古视觉科技有限公司 | 一种具有活体检测功能的虹膜识别系统 |
| CN105791881A (zh) * | 2016-03-15 | 2016-07-20 | 深圳市望尘科技有限公司 | 一种基于光场摄像机的三维场景录播的实现方法 |
| CN105975926A (zh) * | 2016-04-29 | 2016-09-28 | 中山大学 | 基于光场相机的人脸活体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAYONG PENG: "LF-Fusion: Dense and Accurate 3D Reconstruction from Light Field Images", 《VCIP 2017》 * |
| 贾琦: "基于光场相机的子孔径图像提取和人脸检测应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580732A (zh) * | 2018-09-10 | 2019-12-17 | 天目爱视（北京）科技有限公司 | 一种足部3d信息获取装置 |
| CN110580732B (zh) * | 2018-09-10 | 2023-06-23 | 天目爱视（北京）科技有限公司 | 一种3d信息获取装置 |
| CN109443199A (zh) * | 2018-10-18 | 2019-03-08 | 天目爱视（北京）科技有限公司 | 基于智能光源的3d信息测量系统 |
| CN109443199B (zh) * | 2018-10-18 | 2019-10-22 | 天目爱视（北京）科技有限公司 | 基于智能光源的3d信息测量系统 |
| CN114170567A (zh) * | 2021-12-01 | 2022-03-11 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
| CN114170567B (zh) * | 2021-12-01 | 2022-07-12 | 北京拙河科技有限公司 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10154246B2 (en) | Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras | |
| EP3134850B1 (en) | Method for controlling a camera based on processing an image captured by other camera | |
| CN108470149A (zh) | 一种基于光场相机的3d四维数据采集方法及装置 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN102984448A (zh) | 利用颜色数字图像对动作如锐度修改进行控制的方法 | |
| CN107113415A (zh) | 用于多技术深度图获取和融合的方法和设备 | |
| KR20170005009A (ko) | ３ｄ 라돈 이미지의 생성 및 사용 | |
| CN106462956A (zh) | 局部自适应直方图均衡 | |
| CN108154514A (zh) | 图像处理方法、装置及设备 | |
| WO2020017134A1 (ja) | ファイルの生成装置およびファイルに基づく映像の生成装置 | |
| CN109118581A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108491760A (zh) | 基于光场相机的3d四维虹膜数据采集方法及系统 | |
| JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| JP6214233B2 (ja) | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN109190533B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN106296789B (zh) | 一种虚拟植入物体在实景中穿梭的方法及终端 | |
| EP2990757A1 (en) | Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program | |
| CN108492357A (zh) | 一种基于激光的3d四维数据采集方法及装置 | |
| CN108156369A (zh) | 图像处理方法和装置 | |
| CN107872631A (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
| CN108319939A (zh) | 一种3d四维头部面部数据识别设备 | |
| CN108470152A (zh) | 基于红外的3d四维虹膜数据采集方法及系统 | |
| CN109889709A (zh) | 一种摄像头模组控制系统、方法及移动终端 | |
| KR100915039B1 (ko) | 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180904 |
|
| WW01 | Invention patent application withdrawn after publication |