CN107861252A - 一种成像装置及方法 - Google Patents
一种成像装置及方法 Download PDFInfo
- Publication number
- CN107861252A CN107861252A CN201711222556.5A CN201711222556A CN107861252A CN 107861252 A CN107861252 A CN 107861252A CN 201711222556 A CN201711222556 A CN 201711222556A CN 107861252 A CN107861252 A CN 107861252A
- Authority
- CN
- China
- Prior art keywords
- light
- processing unit
- data processing
- signal
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims description 31
- 238000007493 shaping process Methods 0.000 claims description 25
- 238000012876 topography Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 239000004065 semiconductor Substances 0.000 claims description 5
- 230000005622 photoelectricity Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0938—Using specific optical elements
- G02B27/0977—Reflective elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
- G02B27/0916—Adapting the beam shape of a semiconductor light source such as a laser diode or an LED, e.g. for efficiently coupling into optical fibers
Abstract
本发明公开了一种成像装置及方法,该装置包括移动载体和位于移动载体上的结构光源、光调制单元、光接收单元、数据处理单元,以及与光调制单元和数据处理单元连接的控制单元,结构光源产生结构光束并经过光调制单元产生所需能量分布的光斑后投射到检测目标上,检测目标的反射光通过光接收单元接收并传递给数据处理单元,数据处理单元同步接收控制单元和光接收单元的数据并进行关联运算并得到成像结果,光调制单元包括若干反射镜,若干反射镜排列形成与结构光束的光斑形状一致的微镜反射阵列。本发明通过结构光处理方式,实现光束的降维或简单化调制,提高光束能量密度和回波信号的信噪比,提高了关联运算速度以及成像距离和成像质量。
Description
技术领域
本发明涉及目标检测识别与成像领域,具体涉及一种成像装置及方法。
背景技术
关联成像(correlated imaging),也称鬼成像(ghost imaging),是一种基于光场涨落的量子或者经典关联特性,通过参考光场与目标探测光场之间的强度关联运算,可以非定域地获取目标图像信息的新型成像技术。然而传统的关联成像存在采样次数较多,成像时间长,系统结构复杂的问题,并不适用于在水体这种复杂多变的环境中成像。压缩感知(Compressive Sensing)技术是近年来出现的一种全新的信号采样技术,不同于传统的奈奎斯特采样定理,该技术将信号的压缩过程与采样过程同步完成,即将高维的原始信号通过观测矩阵投影到低维的空间上,以少量的投影参数通过求解优化问题高概率的重构原始信号。该技术可以有效的提高信号采样效率,降低信号处理时间和计算成本。
基于压缩感知的关联成像技术可以有效的克服传统关联成像技术关于探测时间、系统复杂度的问题,进一步的提高了系统运行效率和稳定性。针对陆上恶劣天气或水下环境应用时,由于该技术仍然采用单点探测器作为接收核心器件,其光电转换效率高,增益高,响应速度快,非常适合于弱光环境下的检测。由于光电探测器接收的不再是具有空间分辨率的信号,而是视场范围内调制光斑照明区域的总光强值,不容易受到雾霾、水中湍流、波动、杂质的干扰。另外,由于参考臂采用具有调制功能的器件代替,大幅度的降低了系统复杂度和体积度,使得系统的环境适应能力和稳定性得到了大幅度的提高。然而在陆上恶劣天气或水下环境应用基于压缩感知的关联成像技术过程中,依然存在以下几方面的问题:
一、由于空气杂质以及水对光的吸收和散射造成了光能量的衰减十分剧烈,呈指数衰减,即回光信号相比照明光的输出功率,相差巨大,回光信号弱;
二、空气杂质以及水对光的后向散射为成像系统的主要噪声,大大降低了信噪比;
三、在压缩感知的方法中,需要对同一目标进行多次采样测量,测量次数通常达到几千到几万次,成像时间长,特别是在水环境下,载具难以维持自身的相对静止,因此整个系统很难做到实时、稳定的成像。
发明内容
本发明提供了一种成像装置及方法,以解决现有技术在恶劣天气条件或者水中存在的回光信号弱、信噪比低、成像时间长以及输出光能量密度低的问题。
为了解决上述技术问题,本发明的技术方案是:一种成像装置,包括移动载体和位于所述移动载体上的结构光源、光调制单元、光接收单元、数据处理单元,以及与所述光调制单元和数据处理单元连接的控制单元,所述结构光源产生结构光束并经过所述光调制单元产生所需能量分布的光斑后投射到检测目标上,所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,所述数据处理单元同步接收所述控制单元和光接收单元的数据并进行关联运算并得到成像结果,所述光调制单元包括若干反射镜,若干所述反射镜排列形成与所述结构光束的光斑形状一致的微镜反射阵列。
进一步的,所述结构光源包括光源和整形器件,所述光源发出的光束经过所述整形器件后形成线型光斑或弧形光斑或环形光斑。
进一步的,所述光源为连续光源或脉冲光源,包括固体激光器、半导体激光器、LED、气体放电光源中的一种或多种。
进一步的,所述光源为脉冲光源,所述脉冲光源连接至所述数据处理单元,将控制出光的电同步信号传递给所述数据处理单元,标记每一个脉冲的出光时刻。
进一步的,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器采用单点光强探测器且与所述光接收单元连接,所述中央处理器与所述控制单元和脉冲光源连接。
进一步的,所述光源为脉冲光源,所述光调制单元沿光路后方还设有分光装置和与所述分光装置连接的第二光电探测器,所述第二光电探测器连接至所述数据处理单元,将第二光电探测器接收到的光脉冲信号标记为每一个脉冲的出光时刻。
进一步的,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器为单点光强探测器且与所述光接收单元连接,所述中央处理器与所述控制单元和第一光电探测器连接。
进一步的,所述整形器件为柱透镜组或微透镜阵列或衍射光学元件,所述激光束经过所述整形器件后产生线型光斑或弧形光斑。
进一步的,所述整形器件为涡旋相位板,所述光束经过所述整形器件后产生弧形光斑或环形光斑。
进一步的,还包括沿光路位于所述光调制单元后方的投射系统,所述投射系统将光调制单元的像投射至所述检测目标上。
进一步的,所述光接收单元为望远镜或成像镜头。
进一步的,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器采用单点光强探测器且与所述光接收单元连接,所述中央处理器还与所述控制单元连接。
本发明还提供了一种成像装置的成像方法,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束,投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述控制单元和接收单元的数据,并对所述光接收单元的信号进行滤波提取有用信号,针对该提取的有用信号和控制单元的控制信号进行关联运算得到局部图像,将得到的局部图像进行存储;
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4,待扫描完成之后将得到局部图像拼接形成完整的图像。
本发明还提供一种成像装置的成像方法,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束,投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述控制单元和接收单元的数据,并对所述光接收单元的信号进行滤波提取有用信号,将该提取的有用信号和控制单元的控制信号进行存储;
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4;
S6:重复步骤S5,直到检测目标全部扫描完成后,数据处理单元针对接收的所有数据进行整合关联运算,得到成像结果。
本发明还提供一种成像装置的成像方法,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述脉冲光源、控制单元以及光接收单元的数据,对光接收单元的上传的数据进行滤波提取有用信号,,将计算得到的局部图像按照距离信息进行分组存储;
S5:移动载体沿指定方向移动,并重复上述步骤S1~S4,待扫描完成之后将得到局部图像拼接形成完整的图像。
本发明还提供一种成像装置的成像方法,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元、控制单元、分光装置和第二光电探测器对应安装于所述移动载体上;
S2:所述结构光源产生结构光束并投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并通过分光装置进行分束,其中一束光投射至所述检测目标上,另一束光投射至所述第二光电探测器上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述第二光电探测器、控制单元以及光接收单元的数据,对光接收单元上传的数据进行滤波提取有用信号,。
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4;
S6:重复步骤S5,直到检测目标全部扫描完成后,数据处理单元针对存储的数据进行关联计算,得到成像结果。
本发明提供的成像装置及方法,相比现有技术存在以下优势:
(1)通过结构光源产生所需的结构光束,能量更加集中,增大了可传播的距离,以实现远距离成像;
(2)通过调整结构光源使结构光束在某一个维度变窄,压缩了照明范围和视场范围,减少散射噪声的产生和接收量,提高了回波信号的信噪比;
(3)使光调制单元中的若干反射镜排列形成与结构光的光斑形状一致的微镜反射阵列,降低光束调制维度的同时,也减少了微反射镜阵列使用数量,即降低了光调制单元的工艺难度同时提高了装置的稳定性和环境适应能力;
(4)降低光束调制维度的同时也降低了数据量,从而大大降低了压缩的计算时间,只要提高光调制单元或脉冲光源的重复频率,即可大大降低感知的时间,提高了工作效率;
(5)可以通过设计结构光源的光斑形状,从而满足一些特殊目标的测能力,比如管道、狭长的海沟等,提高了装置的功能和适应性。
附图说明
图1是本发明实施例1中成像装置的结构框图;
图2是本发明实施例1中成像装置一具体结构示意图;
图3是本发明实施例2中成像装置的结构框图;
图4是本发明实施例3中成像装置的结构框图;
图5a-5b是本发明实施例4中两种光斑的示意图;
图6是本发明实施例5中成像装置的一种结构示意图;
图7是本发明实施例5中光调制单元的一种结构示意图。
图中所示:10、移动载体;20、结构光源;210、光源;220、整形器件;30、光调制单元;310、反射镜;40、光接收单元;50、数据处理单元;510、第一光电探测器;520、中央处理器;521、信号处理单元;522、计算单元;523、存储单元;530、显示器;60、控制单元;70、检测目标;80、投射系统;910、分光装置;920、第二光电探测器。
具体实施方式
下面结合附图对本发明作详细描述。
实施例1
如图1所示,本发明提供了一种成像装置,包括移动载体10和位于所述移动载体10上的结构光源20、光调制单元30、光接收单元40、数据处理单元50,以及与所述光调制单元30和数据处理单元50连接的控制单元60,所述结构光源20产生结构光束并经过所述光调制单元30产生所需能量分布的光斑后投射到检测目标70上,所述检测目标70的反射光通过所述光接收单元40接收并传递给所述数据处理单元50,所述数据处理单元50同步接收所述控制单元60和光接收单元40的数据并进行关联运算并得到成像结果,所述光调制单元30包括若干反射镜310,若干所述反射镜310排列形成与所述结构光束的光斑形状一致的微镜反射阵列。需要说明的是,移动载体10可以是具有驱动机构的移动平台,可带动上方的结构光源20、光调制单元30、光接收单元40、数据处理单元50等沿指定方向移动,并在移动后也可以保持自身的平衡稳定。
优选的,所述结构光源20包括光源210和整形器件220,所述光源210发出的光束经过所述整形器件220后形成线型光斑或弧形光斑,本实施例中,该线型光斑经过光调制单元30调制形成一维分布的光斑。优选的,所述光源210可以为连续光源,包括固体激光器、半导体激光器、LED、气体放电光源中的一种或多种,其产生的光束波段可以是任意波段,如紫外光、可见光或者红外光,可以是单色光或者混合波段的光束的或其他形式的光束,此处不做限制。当然也可以采用准连续光源,此处的准连续光源通常指重复频率大于100Hz的光源。优选的,所述整形器件220为柱透镜组,所述激光束经过所述柱透镜组后产生线型光斑,如图2所示,本实施例中,为了得到的线型结构光,光源210使用半导体激光器,因为半导体激光器输出光束的不对称性最容易得到线型结构光,整形器件220采用为柱透镜组,此时光调制单元30中的反射镜310排列形成一维的阵列。通过使光束在某一个维度变窄,压缩了照明范围,配合合适的视场范围,减少散射噪声的接收量,提高了回波信号的信噪比;通过降低结构光束的维度降低了数据量,从而大大降低了压缩的计算时间,只要提高光调制单元30或脉冲光源的频率,即可大大降低感知的时间,提高了工作效率。
优选的,将光调制单元30中的若干反射镜310排列形成与结构光的光斑形状一致的微镜反射阵列,降低了反射镜310的排列难度,且在降低结构光束维度的同时也降低了反射镜310的数量,大大降低了光调制单元30的制作难度,同时提高了装置的稳定性和环境适应能力。本实施例中,反射镜310优选尺寸较小的微反射镜。
优选的,所述成像装置还包括沿光路位于所述光调制单元30后方的投射系统80,所述投射系统80将所述光调制单元30的像投射至所述检测目标70上。具体的,投射系统80可以采用投影镜头,或者任意其他镜头,只要能实现该功能即可,此处不做限制。
优选的,所述光接收单元40为望远镜或成像镜头或任意可用于光能量收集的光学器件,其视场范围与投射的光束发散角匹配。用于接收检测目标70反射的光线并传递给数据处理单元50,当然也可以使用其他器件,只要能接收从检测目标70上反射的光即可。
优选的,所述数据处理单元50包括依次连接的第一光电探测器510、中央处理器520和显示器530,所述第一光电探测器510为单点光强探测器且与所述光接收单元40连接,对光接收单元40传递来的光线进行探测,并将探测到的信息上传至中央处理器520进行处理。该单点光强探测器可以是APD(雪崩光电二极管)、PMT(光电倍增管)、PIN光电二极管,也可以是CCD相机、CMOS相机,计算的时候使用单帧图像所有像素的和。所述中央处理器520还与所述控制单元60连接,用于同步接收控制单元60的控制信息。该中央处理器520内设有信号处理单元521、计算单元522和存储单元523,信号处理单元521对单点光强探测器上传的信息进行滤波并提取有用的信息,即滤掉或抑制环境、系统等产生的噪声,得到检测目标70对应的信息,存储单元523用于对处理后的有用信息进行存储,计算单元522用于对控制单元60和信号处理单元521提取的有用信息进行关联计算,该关联计算的方法与公开号为CN103777206A的关联计算方法相同,此处不予赘述。
本实施例中还提供一种如上所述的成像装置的成像方法,包括以下步骤:
S1:将所述结构光源20、光调制单元30、光接收单元40、数据处理单元50和控制单元60对应安装于所述移动载体10上;其中结构光源20、光调制单元30、光接收单元40、数据处理单元50和控制单元60的位置根据光路和检测目标70的位置进行合理布置。
S2:所述结构光源20产生结构光束,投射至所述光调制单元30中,所述控制单元60发出控制信号控制所述光调制单元30进行调制,得到所需能量分布的光斑,并投射至所述检测目标70上;具体的,本实施例中,为了得到线型结构光,结构光源20中的光源210使用半导体激光器,因为半导体激光器最容易得到直线的结构光,整形器件220采用为柱透镜组,当然也可以增加其他器件使得光斑形状更完美,此时光调制单元30中的反射镜310排列形成一维的阵列,如图3所示。此处控制单元60也同时控制整个装置中各个器件融入光源210、第一光电探测器510、控制单元60等的电源开关。
S3:所述检测目标70的反射光通过所述光接收单元40接收并传递给所述数据处理单元50;所述第一光电探测器510为单点光强探测器且与所述光接收单元40连接,对光接收单元40传递来的光线进行探测,并将探测到的信息上传至中央处理器520进行处理。该单点光强探测器可以是APD(雪崩光电二极管)、PMT(光电倍增管)、PIN光电二极管,也可以是CCD相机、CMOS相机,计算的时候使用所有像素的和。
S4:所述数据处理单元50同步接收所述控制单元60和光接收单元40的数据,并对所述光接收单元40的信号进行滤波提取有用信号,并将该有用信号和控制单元60的控制信号进行存储,同时所述控制单元60发送对应的控制信号至所述数据处理单元50;具体的,该中央处理器520内的信号处理单元521对单点光强探测器上传的信息进行滤波并提取有用的信息,即滤掉或抑制环境、系统等产生的噪声,得到检测目标70对应的信息,存储单元523用于对处理后的有用信息进行存储。
S5:沿指定方向移动移动载体10,并重复上述步骤S1~S4;由于本实施例中光源210产生线型结构光经过光调制单元30调制后成为一维分布的光斑,一次只能扫描探测目标70的一部分区域,而每次扫描均需要进行多次(几百到几万次)采样,并将得到的采样数据进行叠加、滤波提取有用信号,如图1中所示为一次扫描的情形,因此须多次移动载体10,对探测目标70的不同区域进行扫描,直至全部区域都扫描完成,本实施例中,移动载体10采用上下移动的方式,移动的距离和次数可根据光源产生的线型结构光的扫描宽度和探测目标70的高度进行确定。
S6:重复步骤S5,直到检测目标70全部扫描完成后,数据处理单元50针对接收的数据进行关联计算,得到成像结果,具体的,通过中央处理器520中的计算单元522对控制单元60上传的信号和信号处理单元521提取的有用信息进行关联计算,需要说明的是,在上述步骤中,可以在每次扫描时同步进行关联运算得到局部图像,在扫描完成之后拼成一幅完整的图像,采用该方法可以在数据处理单元50进行关联运算的同时移动移动载体10进行扫描工作,进一步节约了时间,提高了工作效率;也可以在扫描完成之后将数据整合进行关联运算,直接得到完整图像。该关联运算的方法与公开号为CN 103777206A的关联计算方法相同,此处不予赘述。
实施例2
如图3所示,与实施例1不同的是,本实施例中,所述光源210为脉冲光源,所述脉冲光源连接至所述数据处理单元50,将控制出光的电同步信号传递给所述数据处理单元50,标记每一个脉冲的出光时刻。所述数据处理单元50包括依次连接的第一光电探测器510、中央处理器520和显示器530,所述第一光电探测器510采用单点光强探测器且与所述光接收单元40连接,所述中央处理器520与所述控制单元60和脉冲光源连接。具体的,采用连续光源时,回波信号不包含距离信息,只能对视场范围内调制光斑照射到的范围成像。而采用脉冲光源时,回波信号可提取距离信息,可以对视场范围内,不同距离处被调制光斑照射到的范围成像,并可以将一个采集过程中得到的不同距离的图像组合成3D图像。因此两者的成像方法不同。因此当光源210为脉冲光源时,其发出一系列光脉冲,此时需发送光脉冲的参数信息至信号处理单元50中的中央处理器520,包括出光时间、光持续时间等,以确保中央处理器520对光接收单元40和光源210的光脉冲进行同步接收,便于之后进行关联计算和目标距离计算。本实施例中,光源210采用脉冲光源,相比连续光源,能量更强,且可以获得目标距离信息,在增加选通功能后,可进一步提高信噪比。
本实施例中还提供一种如上所述的成像装置的成像方法,包括以下步骤:
S1:将所述结构光源20、光调制单元30、光接收单元40、数据处理单元50和控制单元60对应安装于所述移动载体10上;其中结构光源20、光调制单元30、光接收单元40、数据处理单元50和控制单元60的位置根据光路和检测目标70的位置进行合理布置。
S2:所述结构光源20产生结构光束,投射至所述光调制单元30中,所述控制单元60发出控制信号控制所述光调制单元30进行调制,得到所需能量分布的光斑,并投射至所述检测目标70上;具体的,本实施例中,结构光源20中的光源210为脉冲光源,按照一定周期发出一系列光脉冲,该脉冲光经过整形器件220后得到线型的结构光,整形器件220采用为柱透镜组,当然也可以增加其他器件使得光斑形状更完美,此时光调制单元30中的反射镜310排列形成一维的阵列。此处控制单元60也同时控制整个装置中各个器件融入光源210、第一光电探测器510、控制单元60等的电源开关。
S3:所述检测目标70的反射光通过所述光接收单元40接收并传递给所述数据处理单元50,同时所述控制单元60发送对应的控制信号至所述数据处理单元50;所述第一光电探测器510为单点光强探测器且与所述光接收单元40连接,对光接收单元40传递来的光线进行探测,并将探测到的信息上传至中央处理器520进行处理。该单点光强探测器可以是APD(雪崩光电二极管)、PMT(光电倍增管)、PIN光电二极管。
S4:所述数据处理单元50同步接收所述脉冲光源、控制单元60以及光接收单元40的数据,对光接收单元40的上传的数据进行滤波提取有用信号,所述有用信号包括光强信号和与其对应的距离信号,所述光强信号与控制单元60的控制信号进行关联运算得到对应距离的局部图像,该图像数量根据一个采集周期的距离信号数量而定,并将计算得到的局部图像按照距离信息进行分组存储;具体的,该中央处理器520内的信号处理单元521对单点光强探测器上传的信息进行滤波并提取有用的信息,即滤掉或抑制环境、系统等产生的噪声,得到检测目标70对应的信息,存储单元523用于对处理后的有用信息进行存储。此处,脉冲光源发送光脉冲的参数信息至信号处理单元50中的中央处理器520,包括出光时间、光持续时间等,以确保中央处理器520对光源210和光接收单元40的光脉冲进行同步接收,便于之后进行关联计算和目标距离计算。
S5:沿指定方向移动移动载体10,并重复上述步骤S1~S4,待扫描完成之后将得到局部图像拼接形成完整的图像,并可制作成3D图像。由于本实施例中光源210产生的线型结构光经过光调制单元30后成为一维分布的光斑,一次只能扫描探测目标70的一部分区域,而每次扫描均需要进行多次(几百到几万次)采样,并将得到的采样数据进行叠加、滤波提取有用信号。因此须多次移动载体10,对探测目标70的不同区域进行扫描,直至全部区域都扫描完成,本实施例中,移动载体10采用上下移动的方式,移动的距离和次数可根据光源产生的线型结构光的扫描宽度和探测目标70的高度进行确定。
实施例3
如图4所示,与实施例1-2不同的是,本实施例中,所述光源210为脉冲光源,所述光调制单元30沿光路后方还设有分光装置910和与所述分光装置910连接的第二光电探测器920,所述第二光电探测器920连接至所述数据处理单元50,将第二光电探测器920接收到的光脉冲信号标记为每一个脉冲的出光时刻。在图4中,分光装置910位于投射系统80后方,当然也可以位于光调制单元30和投射系统80之间,相比实施例2,可以更好的避免光延时,以保证中央处理器520更好地同步接收脉冲光源和检测目标70的信号。优选的,所述数据处理单元50包括依次连接的第一光电探测器510、中央处理器520和显示器530,所述第一光电探测器510采用单点光强探测器且与所述光接收单元40连接,所述中央处理器520与所述控制单元60和第二光电探测器920连接。第二光电探测器920也可是PIN管或其他光电探测器件,用于探测脉冲光源的出光时间、光持续时间等参数信息,并将上述参数上传至所述中央处理器520。本实施例中,光源210采用脉冲光源,相比连续光源,能量更强,且可以获得目标距离信息,在增加选通功能后,可进一步提高信噪比。
本实施例中还提供一种如上所述的成像装置的成像方法,包括以下步骤:
S1:将所述结构光源20、光调制单元30、光接收单元40、数据处理单元50和控制单元60、分光装置910和第二光电探测器920对应安装于所述移动载体10上;其中结构光源20、光调制单元30、光接收单元40、数据处理单元50、控制单元60、分光装置910和第二光电探测器920的位置根据光路和检测目标70的位置进行合理布置。
S2:所述结构光源20产生结构光束并投射至所述光调制单元30中,所述控制单元60控制所述光调制单元30进行调制,得到所需能量分布的光斑,并通过分光装置910进行分束,其中一束光投射至所述检测目标70上,另一束光投射至所述第二光电探测器920上;具体的,本实施例中,结构光源20中的光源210为脉冲光源,按照一定周期发出一系列光脉冲,该脉冲光经过整形器件220后得到直线的结构光,整形器件220采用为柱透镜组,当然也可以增加其他器件使得光斑形状更完美,此时光调制单元30中的反射镜310排列形成一维的阵列。此处控制单元60也同时控制整个装置中各个器件融入光源210、第一光电探测器510、控制单元60等的电源开关。
S3:所述检测目标70的反射光通过所述光接收单元40接收并传递给所述数据处理单元50;所述第一光电探测器510为单点光强探测器且与所述光接收单元40连接,对光接收单元40传递来的光线进行探测,并将探测到的信息上传至中央处理器520进行处理。该单点光强探测器可以是APD(雪崩光电二极管)、PMT(光电倍增管)、PIN光电二极管。
S4:所述数据处理单元50同步接收所述第二光电探测器920、控制单元60以及光接收单元40的数据,对光接收单元40上传的数据进行滤波提取有用信号,将该提取的有用信号、第二光电探测器920上传的信号以及控制单元60的控制信号进行存储。此处,第二光电探测器920发送光脉冲的参数信息至信号处理单元50中的中央处理器520,包括出光时间、光持续时间等,以确保中央处理器520对光源210和光接收单元40的光脉冲进行同步接收,便于之后进行关联计算。
S5:沿指定方向移动移动载体10,并重复上述步骤S1~S4;由于本实施例中光源210产生线型结构光,一次只能扫描探测目标70的一部分区域,而每次扫描均需要进行多次(几百到几万次)采样,并将得到的采样数据进行叠加、滤波提取有用信号。因此须多次移动载体10,对探测目标70的不同区域进行扫描,直至全部区域都扫描完成,本实施例中,移动载体10采用上下移动的方式,移动的距离和次数可根据光源产生的一维分布的线型结构光的扫描宽度和探测目标70的高度进行确定。
S6:重复步骤S5,直到检测目标70全部扫描完成后,数据处理单元50针对存储的数据进行整合关联计算,即将相同距离下的光强信号与对应的控制信号进行整合并进行关联计算,得到该距离下的完整的成像结果,并可制作成3D图像。
实施例4
与实施例1-3不同的是,本实施例中,所述光源210发出的光束经过所述整形器件220后产生的线型光斑经过光调制单元30调制后形成部分二维分布的光斑,如图5a所示。该光调制单元30只有上方的三排微镜进行调制工作,即只有上方的三排为二维阵列,形成一个部分二维阵列,在计算时,将该部分二维阵列转化成一维阵列,并以上述实施例1-3的方法进行计算。而在图5b是其中的一个特例,即微透镜阵列上所有行的微镜都用上了,只是同一列的微镜的状态是相同的,此时可以得到一个一维的变化的矩阵,此时可直接采用实施例1-3的方法进行计算。
实施例5
如图6所示,与实施例1-4不同的是,本实施例中,所述光源210发出的光束经过所述整形器件220后形成弧形光斑或环形光斑。优选的,所述整形器件220为微透镜阵列或涡旋相位板,当然也可以采用别的部件,图6中为涡旋相位板,所述光束经过所述整形器件220后产生涡旋光束,由于对光子的轨道角动量分布的调制,在目标处得到环形光斑。具体的,如图7所示为对应的光调制单元30的结构示意图,由若干反射镜310(图中仅示出低分辨率状态下的镜片数量和分布)依次排列围城一个环形的微镜反射阵列,其中黑色和白色表示两种倾斜方向的反射镜310,白色代表工作状态,即向内倾斜,如图6中所示的两个反射镜310即处于工作状态;黑色代表关闭状态,即向外倾斜,倾斜的方向根据所需形成的光斑的形状进行设计。本实施例中,涡旋相位板产生环形光,环形光向下照射到环形排布的微镜反射阵列上,微镜反射阵列反射后向上传播,照亮前方的环形区域,光接收单元40接收圆形范围内的总光强,需要说明的是,由于此处探测不能做到环形视场,所以只能全部接收,最终的信号处理过程需要减去背景光的部分。上述方式可以用于有水的管道侧壁或者较远的前方侧壁的检测,提高了装置的功能和适应性。
综上所述,本发明提供的成像装置及方法,相比现有技术存在以下优势:
(1)通过结构光源20产生所需的结构光束,能量更加集中,增大了可传播的距离,以实现远距离成像;
(2)通过调整结构光源20使结构光束在某一个维度变窄,压缩了照明范围,搭配适合的视场范围,减少散射噪声的产生和接收量,提高了回波信号的信噪比;
(3)使光调制单元30中的若干反射镜310排列形成与结构光束的光斑形状一致的微镜反射阵列,降低光束调制维度的同时,也减少了微反射镜阵列使用数量,即降低了光调制单元30的工艺难度同时提高了装置的稳定性和环境适应能力;
(4)降低光束调制维度的同时也降低了数据量,从而大大降低了压缩的计算时间,只要提高光调制单元30和或脉冲光源的重复频率,即可大大降低感知的时间,提高了工作效率;
(5)可以通过设计结构光源20的光斑形状,从而满足一些特殊目标的测能力,比如管道、狭长的海沟等,提高了装置的功能和适应性。
虽然说明书中对本发明的实施方式进行了说明,但这些实施方式只是作为提示,不应限定本发明的保护范围。在不脱离本发明宗旨的范围内进行各种省略、置换和变更均应包含在本发明的保护范围内。
Claims (15)
1.一种成像装置,其特征在于,包括移动载体和位于所述移动载体上的结构光源、光调制单元、光接收单元、数据处理单元,以及与所述光调制单元和数据处理单元连接的控制单元,所述结构光源产生结构光束并经过所述光调制单元产生所需能量分布的光斑后投射到检测目标上,所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,所述数据处理单元同步接收所述控制单元和光接收单元的数据并进行关联运算并得到成像结果,所述光调制单元包括若干反射镜,若干所述反射镜排列形成与所述结构光束的光斑形状一致的微镜反射阵列。
2.根据权利要求1所述的成像装置,其特征在于,所述结构光源包括光源和整形器件,所述光源发出的光束经过所述整形器件后形成线型光斑或弧形光斑或环形光斑。
3.根据权利要求2所述的成像装置,其特征在于,所述光源为连续光源或脉冲光源,包括固体激光器、半导体激光器、LED、气体放电光源中的一种或多种。
4.根据权利要求3所述的成像装置,其特征在于,所述光源为脉冲光源,所述脉冲光源连接至所述数据处理单元,将控制出光的电同步信号传递给所述数据处理单元,标记每一个脉冲的出光时刻。
5.根据权利要求4所述的成像装置,其特征在于,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器采用单点光强探测器且与所述光接收单元连接,所述中央处理器与所述控制单元和脉冲光源连接。
6.根据权利要求3所述的成像装置,其特征在于,所述光源为脉冲光源,所述光调制单元沿光路后方还设有分光装置和与所述分光装置连接的第二光电探测器,所述第二光电探测器连接至所述数据处理单元,将第二光电探测器接收到的光脉冲信号标记为每一个脉冲的出光时刻。
7.根据权利要求6所述的成像装置,其特征在于,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器为单点光强探测器且与所述光接收单元连接,所述中央处理器与所述控制单元和第一光电探测器连接。
8.根据权利要求2所述的成像装置,其特征在于,所述整形器件为柱透镜组或微透镜阵列或衍射光学元件,所述光束经过所述整形器件后产生线型光斑或弧形光斑。
9.根据权利要求2所述的成像装置,其特征在于,所述整形器件为微透镜阵列或涡旋相位板,所述光束经过所述整形器件后产生弧形光斑或环形光斑。
10.根据权利要求1所述的成像装置,其特征在于,还包括沿光路位于所述光调制单元后方的投射系统,所述投射系统将光调制单元的像投射至所述检测目标上。
11.根据权利要求1所述的成像装置,其特征在于,所述数据处理单元包括依次连接的第一光电探测器、中央处理器和显示器,所述第一光电探测器采用单点光强探测器且与所述光接收单元连接,所述中央处理器还与所述控制单元连接。
12.一种如权利要求1所述的成像装置的成像方法,其特征在于,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束,投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述控制单元和接收单元的数据,并对所述光接收单元的信号进行滤波提取有用信号,针对该提取的有用信号和控制单元的控制信号进行关联运算得到局部图像,将得到的局部图像进行存储;
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4,待扫描完成之后将得到局部图像拼接形成完整的图像。
13.一种如权利要求1所述的成像装置的成像方法,其特征在于,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束,投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述控制单元和接收单元的数据,并对所述光接收单元的信号进行滤波提取有用信号,将该提取的有用信号和控制单元的控制信号进行存储;
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4;
S6:重复步骤S5,直到检测目标全部扫描完成后,数据处理单元针对接收的所有数据进行整合关联运算,得到成像结果。
14.一种如权利要求4所述的成像装置的成像方法,其特征在于,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元和控制单元对应安装于所述移动载体上;
S2:所述结构光源产生结构光束投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并投射至所述检测目标上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述脉冲光源、控制单元以及光接收单元的数据,对光接收单元的上传的数据进行滤波提取有用信号,所述有用信号包括光强信号和与其对应的距离信号,所述光强信号与控制单元的控制信号进行关联运算得到对应距离的局部图像,将计算得到的局部图像按照距离信息进行分组存储;
S5:移动载体沿指定方向移动,并重复上述步骤S1~S4,待扫描完成之后将得到局部图像拼接形成完整的图像。
15.一种如权利要求6所述的成像装置的成像方法,其特征在于,包括以下步骤:
S1:将所述结构光源、光调制单元、光接收单元、数据处理单元、控制单元、分光装置和第二光电探测器对应安装于所述移动载体上;
S2:所述结构光源产生结构光束并投射至所述光调制单元中,所述控制单元发出控制信号控制所述光调制单元进行调制,得到所需能量分布的光斑,并通过分光装置进行分束,其中一束光投射至所述检测目标上,另一束光投射至所述第二光电探测器上;
S3:所述检测目标的反射光通过所述光接收单元接收并传递给所述数据处理单元,同时所述控制单元发送对应的控制信号至所述数据处理单元;
S4:所述数据处理单元同步接收所述第二光电探测器、控制单元以及光接收单元的数据,对光接收单元上传的数据进行滤波提取有用信号,所述有用信号包括光强信号和与其对应的距离信号,所述光强信号和控制单元的控制信号按照对应的距离信号进行分别存储。
S5:沿指定方向移动移动载体,并重复上述步骤S1~S4;
S6:重复步骤S5,直到检测目标全部扫描完成后,数据处理单元针对存储的数据进行关联计算,将相同距离下的光强信号与对应的控制信号进行整合并进行关联计算,得到该距离下的完整的成像结果,并可制作成3D图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711222556.5A CN107861252A (zh) | 2017-11-29 | 2017-11-29 | 一种成像装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711222556.5A CN107861252A (zh) | 2017-11-29 | 2017-11-29 | 一种成像装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107861252A true CN107861252A (zh) | 2018-03-30 |
Family
ID=61704242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711222556.5A Pending CN107861252A (zh) | 2017-11-29 | 2017-11-29 | 一种成像装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107861252A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109211855A (zh) * | 2018-08-10 | 2019-01-15 | 国家纳米科学中心 | 多光束多光子显微成像装置 |
CN109540298A (zh) * | 2018-11-29 | 2019-03-29 | 北京航天控制仪器研究所 | 基于空间光调制器的双波段集成化相机系统及成像方法 |
CN110416872A (zh) * | 2019-07-31 | 2019-11-05 | 天津大学 | 弧度和宽度可调谐的弧形光束发射系统 |
CN111948670A (zh) * | 2020-08-19 | 2020-11-17 | 深圳元戎启行科技有限公司 | 光感知装置、成像装置和关联成像方法 |
CN115327771A (zh) * | 2022-08-15 | 2022-11-11 | 华侨大学 | 一种涡旋光信息压缩感知的装置与方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105988123A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院理化技术研究所 | 一种线扫描成像装置 |
CN106656466A (zh) * | 2016-12-20 | 2017-05-10 | 中国科学院理化技术研究所 | 一种水下光学图像的关联加密传输装置及方法 |
CN207457620U (zh) * | 2017-11-29 | 2018-06-05 | 苏州蛟视智能科技有限公司 | 一种成像装置 |
-
2017
- 2017-11-29 CN CN201711222556.5A patent/CN107861252A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105988123A (zh) * | 2015-02-13 | 2016-10-05 | 中国科学院理化技术研究所 | 一种线扫描成像装置 |
CN106656466A (zh) * | 2016-12-20 | 2017-05-10 | 中国科学院理化技术研究所 | 一种水下光学图像的关联加密传输装置及方法 |
CN207457620U (zh) * | 2017-11-29 | 2018-06-05 | 苏州蛟视智能科技有限公司 | 一种成像装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109211855A (zh) * | 2018-08-10 | 2019-01-15 | 国家纳米科学中心 | 多光束多光子显微成像装置 |
CN109211855B (zh) * | 2018-08-10 | 2021-11-16 | 国家纳米科学中心 | 多光束多光子显微成像装置 |
CN109540298A (zh) * | 2018-11-29 | 2019-03-29 | 北京航天控制仪器研究所 | 基于空间光调制器的双波段集成化相机系统及成像方法 |
CN110416872A (zh) * | 2019-07-31 | 2019-11-05 | 天津大学 | 弧度和宽度可调谐的弧形光束发射系统 |
CN111948670A (zh) * | 2020-08-19 | 2020-11-17 | 深圳元戎启行科技有限公司 | 光感知装置、成像装置和关联成像方法 |
CN111948670B (zh) * | 2020-08-19 | 2023-10-17 | 深圳元戎启行科技有限公司 | 光感知装置、成像装置和关联成像方法 |
CN115327771A (zh) * | 2022-08-15 | 2022-11-11 | 华侨大学 | 一种涡旋光信息压缩感知的装置与方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107861252A (zh) | 一种成像装置及方法 | |
CN106772430B (zh) | 基于多分辨率小波逼近的单像素光子计数三维成像系统及方法 | |
CN110579775A (zh) | 超远程单光子三维激光雷达扫描成像系统 | |
CN104483676B (zh) | 一种3d/2d非扫描激光雷达复合成像装置 | |
US7800736B2 (en) | System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data | |
US10571574B1 (en) | Hybrid LADAR with co-planar scanning and imaging field-of-view | |
CN103471718B (zh) | 一种基于稀疏孔径压缩计算关联的高光谱成像系统及方法 | |
CN101832912B (zh) | 太赫兹波快速成像扫描装置 | |
CN109375237A (zh) | 一种全固态面阵三维成像激光雷达系统 | |
CN108152830A (zh) | 一种激光雷达扫描成像系统及其测量方法 | |
CN104854427A (zh) | 用于光学扫描和测量环境的装置 | |
CN106546513A (zh) | 一种基于正交双视场的三维降水粒子测量与重构装置及方法 | |
US10436907B1 (en) | Active christiansen effect LIDAR system and method | |
CN109613556A (zh) | 基于稀疏表征的光子计数激光三维探测成像方法 | |
Ye et al. | Adaptive target profile acquiring method for photon counting 3-D imaging lidar | |
CN112213737A (zh) | 远距离光子计数三维激光雷达成像系统及其方法 | |
CN109375191B (zh) | 共照射源3d激光雷达和2d探测器超空间分辨率信息获取方法及装置 | |
CN110187356A (zh) | 远距离超分辨单光子成像重构方法 | |
CN109211879A (zh) | 一种气体遥测装置及方法 | |
CN107436194A (zh) | 一种高光通量实时光谱成像装置 | |
CN106772426B (zh) | 实现远距离激光高灵敏单光子成像的系统 | |
CN207457620U (zh) | 一种成像装置 | |
Choudhury et al. | Simultaneous enhancement of scanning area and imaging speed for a MEMS mirror based high resolution LiDAR | |
RU2544305C1 (ru) | Лазерная локационная система | |
Hua et al. | Fast photon-counting imaging with low acquisition time method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180330 |