CN104055489B - 一种血管成像装置 - Google Patents

一种血管成像装置 Download PDF

Info

Publication number
CN104055489B
CN104055489B CN201410310433.7A CN201410310433A CN104055489B CN 104055489 B CN104055489 B CN 104055489B CN 201410310433 A CN201410310433 A CN 201410310433A CN 104055489 B CN104055489 B CN 104055489B
Authority
CN
China
Prior art keywords
light
blood vessel
optical signal
modulation
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410310433.7A
Other languages
English (en)
Other versions
CN104055489A (zh
Inventor
武迪
李栋
李吉顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410310433.7A priority Critical patent/CN104055489B/zh
Publication of CN104055489A publication Critical patent/CN104055489A/zh
Application granted granted Critical
Publication of CN104055489B publication Critical patent/CN104055489B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种血管成像装置,应用于医学成像显示技术领域,包括多个光源,各个光源按照预设光谱范围在对应不同的方向上向被测血管部位分时发射光信号;光调制及传感单元,用于调制并采集被测血管部位反射和/或散射的不同方向的光信号,以获取其中包含的表征血管的多维度信息并发送;成像单元,与所述光调制及传感单元相连,用于接收所述光调制及传感单元发送的血管的多维度信息,并基于该信息进行三维成像;控制单元,用于控制多个光源、光调制及传感单元和成像单元正常工作。本发明实现了皮下血管结构的深度成像,进而实现了血管结构的三维立体成像;同时进一步在光信号传输过程中加入光信号调制过程,提高了成像的清晰度。

Description

一种血管成像装置
技术领域
本发明涉及成像显示技术领域,具体地说,涉及一种透过皮肤、肌肉等身体组织对血管进行成像的装置。
背景技术
生物组织对可见光及红外光的吸收作用较弱,而血管中的血红蛋白对可见光和红外光的吸收作用较强。所以,人们采用可见光和红外光照射血管部位,利用不同组织对不同光谱吸收能力的差异来进行成像。
由于人体血管埋藏于皮肤或者其他组织之下,其埋藏深度可能从毫米到厘米不等,现有技术中,通过体表的投影或显示技术并不能把血管在人体中的实际位置体现出来。同时,由于光在照射人体部位时,光与人体的皮肤、组织液等物质发生严重的散射作用,使得待观察的血管信息在采集到的图像信息中被散射光干扰,大大降低了血管的清晰度。
基于上述情况,亟需一种既能将血管深度显示出来进而实现血管三维成像、并能增加成像清晰度的装置。
发明内容
为解决上述问题,本发明提供了一种既能将血管深度显示出来实现血管三维成像、并能增加成像清晰度的成像装置。
根据本发明的一个实施例,其提供了一种血管成像装置,包括:
多个光源,各个光源按照预设光谱范围在对应不同的方向上向被测血管部位分时发射光信号;
光调制及传感单元,用于调制并采集被测血管部位反射和/或散射的不同方向的光信号,以获取其中包含的表征血管的多维度信息并发送;
成像单元,与所述光调制及传感单元相连,用于接收所述光调制及传感单元发送的血管的多维度信息,并基于该信息进行三维成像;
控制单元,用于控制所述多个光源、所述光调制及传感单元和所述成像单元正常工作。
根据本发明的一个实施例,所述光调制及传感单元设有第一光信号调制单元,该调制单元包括微透镜阵列,用于对光信号进行重聚焦和形成三维视角。
根据本发明的一个实施例,所述光调制及传感单元设有第二光信号调制单元,该调制单元包括圆台曲面镜面,用于扩展观察视野并实现光信号的三维重建。
根据本发明的一个实施例,所述光调制及传感单元包括所述第一光信号调制单元和所述第二光信号调制单元,其中第二光信号调制单元位于所述第一光信号调制单元前端。
根据本发明的一个实施例,所述光调制及传感单元中设有光分解单元,该分解单元设置于所述光调制及传感单元中的调制部分与传感部分之间,该光分解单元包括小孔掩膜阵列,通过小孔掩膜阵列将直接光和散射光分解并滤除散射光。
根据本发明的一个实施例,所述多个光源为多个LED光源,光谱范围为400~1100μm。
根据本发明的一个实施例,所述多个LED光源围绕被测部位全方位排列,用于多角度照射被测血管部位。
根据本发明的一个实施例,所述多个LED光源紧密设置在一起形成一组光簇照射被测部位,用于增加该方向的光照强度。
根据本发明的一个实施例,所述多个LED光源分时照射被测血管部位,用于提高被测部位各个角度成像的清晰度,并减少其他角度的光照干扰。
根据本发明的一个实施例,在所述成像单元中设置高动态成像处理过程。
本发明带来了以下有益效果:
本发明通过设置一种新的光源结构发射光信号照射被测血管部位,实现皮下血管的深度成像,进而实现血管结构的三维立体成像;同时进一步在光信号传输过程中加入光信号调制过程和光分解过程,在成像过程中加入高动态成像处理过程,通过几种处理过程的组合可以实现光信号的重聚焦和三维成像并能提高成像的清晰度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图做简单的介绍:
图1是根据本发明的一个实施例的结构框图;
图2是根据本发明的一个实施例的多个光源排列图;
图3a是根据本发明的一个实施例的光场显微镜结构示意图;
图3b是图3a所述光场显微镜的不同聚焦深度的成像效果图;
图3c是图3a所述光场显微镜的不同角度的成像效果图;
图4a是根据本发明的一个实施例的圆台曲面镜面成像示意图;
图4b是图4a所述圆台曲面镜面成像效果图;
图5a是根据本发明的一个实施例的采用小孔掩膜阵列的成像示意图;
图5b是不采用图5a所述小孔掩膜阵列的普通成像效果图;
图5c是图5a所述采用小孔掩膜阵列后的直接光成像效果图;
图5d是图5a所述采用小孔掩膜阵列后的散射光成像效果图;
图6a是同一画面不同曝光程度的多幅图像;
图6b是图6a得到的曝光值与像素值的响应曲线估计图;
图6c是图6a经过处理之后得到的画面的高动态图像。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
本发明围绕血管成像,在血管成像过程的不同阶段引入光信号处理过程,使得在血管成像过程中能够增加皮下血管显示的深度进而实现血管结构的三维成像,并能提高成像的清晰度。
如图1所示为本发明的一个实施例的装置结构图,包括多光谱LED光源、光调制及传感单元、成像单元以及控制单元。光调制及传感单元置于多光谱LED光源和成像单元之间,控制单元用于控制多光谱LED光源、光调制及传感单元和成像单元正常工作。
由于生物组织对可见光及红外光的吸收作用较弱,而血管中的血红蛋白对可见光和红外光的吸收作用较强。针对两者不同的吸收特性,本发明中光源采用多光谱光源,包括可见光段与红外光段,波长范围为400~1100μm。
基于LED光源方向性好的特性,本发明采用多个LED光源围绕被测部位全方位排列、多角度照射被测血管部位。如图2所示,在本发明的一个实施例中,多个LED光源环形排列。多个LED光源中不同的数字标号代表各个LED光源发射光信号的时间排列顺序。此处通过设置控制单元实现多个LED光源在发光顺序、发光时间和光照持续时间发生变化,并能控制部分LED光源组合发光。此处多个LED光源沿不同方向、分时照射被测血管部位,使不同深度的血管产生不同的阴影,从而产生不同的反射和/或散射光信号,有利于定位、计算该处血管的结构和深度。
在本发明的一个实施例中,多个LED光源紧密设置在一起组成一簇光源,沿相同方向照射被测血管部位,用以增大该部位的光照强度,提高该部位反射和/或散射光线的强度,有利于采集较多的光信号提高成像的清晰度。
光调制及传感单元中的调制部分用于将传输过程中的光信号进行调制处理。由于光信号具有七维结构信息,包括三维空间信息,二维角度信息,一维光谱信息,一维时间信息。这七维结构的光信号能够反映场景的多维度信息。但现有传感器只能采集二维图像,无法对其他维度信息进行有效采集。因此,需要进行光路调制,使得目标的多维度信息能够被低维度采样空间所采集,从而计算重构出所需的场景信息。光路调制原理是通过将无法直接采集的角度、光谱等维度信息,通过牺牲成像空间分辨率,例如,将空间上同一点发射出的不同角度的光线在二维图像的不同像素进行记录。也就是将高维度信息通过某种特殊设计的变换(也即)光路调制,在低维度采样空间进行有效采集,从而能够通过计算重构出高维度信息。根据不同的光调制方法,可以有不同的三维成像计算重构方法。
光调制及传感单元中的传感部分用于采集被测血管部位反射和/或散射的不同方向的光信号并转换为电信号,以获取其中包含的表征血管结构的多维度信息,并将该多维度信息发送到与其连接的成像单元。
成像单元接收光调制及传感单元发送的包含血管结构的多维度信息,基于该信息得到目标场景信息并进行三维成像。
控制单元用于向多光谱光源、光调制及传感单元和成像单元发送控制信号,使得各个部分相互配合正常工作。
由于被测血管部位产生的包含血管多维度信息的反射和/或散射的光信号与被测血管部位的场景发生复杂的相互作用,使得光信号中含有除血管多维度信息之外的周围场景信息。所以在一个实施例中,在光调制及传感单元中设置了第一光信号调制单元来对包含血管多维信息的光信号进行场景信息去除。
第一光信号调制单元采用微透镜阵列来实现光场成像。该微透镜阵列设置在光调制及传感单元中的传感部分前端,微透镜阵列获取场景上同一点发出的不同角度的光线,得到该点不同角度、不同聚焦深度的场景成像结果。
微透镜阵列还可以与显微镜结合组成光场显微镜,如图3a所示,左边为普通显微镜成像示意图,右边为将微透镜阵列置于显微镜的中继面上构成的光场显微镜示意图。该光场显微镜体积小,能对人体内部的细小结构进行成像。如图3b所示左侧图为光场显微镜获得的人体某部位的光场数据,右侧图上部为采用数字重聚焦方法获得的该部位某点不同深度的显微图像,右侧图下部为对应上部图像聚焦于不同深度的显微图像。如图3c为该部位三维重建之后不同角度的显微图像。
针对人体内部某些结构空间狭小,在本发明的一个实施例中,采用采用圆台曲面形状的镜面作为反射-折射曲面镜作为第二光信号调制单元来扩大成像的视角范围。如图4a所示,左边为一红外相机,右边为设置于该红外相机镜头前部的圆台曲面形状镜面的结构放大图。光线通过圆台底面的大口进入圆台曲面内部,可以采集大视角范围的光信号。圆台内部曲面将光信号折射汇聚到圆台内部的某一位置,在该位置设有一个反射镜面将光信号反射到镜头中,就可以解决镜头视角有限的问题。圆台内部镜面的不同位置采集某一点的不同角度成像结果,就可以得到该点光信号的扩展观察视角的三维重建结果。如图4b所示上部为进入圆台底面的光信号成像结果,下部为经过三维重建的光信号成像结果。
第一光信号调制单元和第二光信号调制单元可以组合使用,将第二光信号预处理单元设置于第一光信号预处理单元前端,可以实现成像效果既能扩大视野范围并能去除场景信息。
由于光源照射被测血管部位产生的光信号中既包含直射光也包括散射光,使得成像结果与只有直射光照射的结果不同。如图5a所示为采用小孔掩膜阵列的红外成像装置结构图,相机聚焦于小孔掩膜阵列平面,红外光线照射手指之后通过小孔掩膜阵列成像。图5b是普通成像方法得到的含有直射光和散射光的红外成像,图5c为直接光和散射光分解后的直接光红外成像,图5d为直接光和散射光分解后的散射光红外成像。对比图5b、图5c和图5d可以得知散射光影响成像的清晰度,所以需要滤除光信号中的散射光。在一个实施例中,采用以上所述的小孔掩膜阵列成像方法,设置光信号分解单元来分解光信号。将直接光与散射光按照一定的规律调制到空间的不同位置,进而通过计算可以将直接光与散射光进行分离。例如有些位置只有散射光,有些位置是直接光与散射光的组合,那么通过计算插值,可以估计出混合区域的散射光强度,从而可以得到混合区域的直接光。
含血管多维度信息的光信号经光调制及传感单元后转换为电信号并发送到成像单元。由于不同组织的反射率不同,被测血管部位成像时不同部分的明暗程度相差较大,在常规显示装置上不能将明暗不同的细节显现出来。所以在一个实施例中,成像单元中采用增大图像动态显示范围的高动态成像处理技术对目标信息进行重构。通过采集同一图像不同曝光程度的多幅图像,建立曝光量与像素值的响应曲线,通过响应曲线构建高动态范围图像,将明暗程度相差较大的图像细节显示出来。如图6a所示为同一画面不同曝光程度的多幅图像采集,由于该画面内不同部位明暗程度差别较大,一幅图像不能将所有的细节显示出来。图6b为由图6a得到的曝光值与像素值的响应曲线估计。图6c为经过处理之后得到的高动态图像。
根据不同的成像需要,可以分别选择以上的各种成像要素并进行组合。现主要从阴道成像及静脉注射定位这两个应用进行说明。
在一个实施例中,阴道镜成像系统可以采用如下的组合要素。
光源采用LED多光谱光源。多个LED光源沿环形阵列排列。以被测部位为中心,多个LED光源多角度照射被测部位。该照射方式有利于被测部位的各个角度成像。
针对阴道内部空间狭小,观察视角很窄,在光调制及传感单元中的调制部分采用可以扩展观察视角的圆台曲面形状镜面。通过在圆台曲面形状镜面的不同位置采集阴道内部被测血管部位的某一点的不同角度成像结果,并基于该信息得到该点的三维重建结果。
经圆台曲面形状镜面三维重建之后的光信号中包含被测血管部位的反射光和/或散射光,为得到较为清晰的成像,在调制部分采用小孔掩膜阵列技术滤除其中的散射光。之后光信号经光调制及传感单元中的传感部分转换为电信号发送到成像单元,利用其中包含的血管多维度信息,进行动态三维成像,并结合血管计算模型,进行变换,得到该部位的血流量变化信息。
在一个实施例中,静脉注射定位成像系统可以采用如下的组合要素。
由于血管位于体表下的不同深度并且血管之间交错排列,所以采用多光谱光源、多个LED光源沿环形阵列排列的方式,从不同方向多角度分时照射被测部位,使不同深度的血管产生不同的阴影,从而有助于定位、计算血管的结构和深度。
针对体表下的血管特征及体表周围环境复杂性,在光调制及传感单元的调制部分利用光场成像技术实现被测血管部位的重聚焦及三维视角。该调制部分通过微透镜阵列实现,将被测血管部位反射和/或散射的光信号通过微透镜阵列实现重聚焦,计算得到不同聚焦深度、不同角度对该部位的成像结果,实现血管多维度信息的重构,并能去除场景信息。
经调制处理实现重聚焦和三维视角重建之后的光信号包含被测血管部位的反射光和/或散射光。为得到较为清晰的成像,该调制部分设置小孔掩膜阵列技术滤除其中的散射光。之后包含血管多维信息的光信号经传感部分转换为电信号发送到成像单元。此时得到的图像不同部位明暗程度相差较大,为使不同部分的明暗细节显示出来,在成像单元通过构建高动态范围图像,将明暗程度相差较大的图像细节显示出来。将该图像进行投影显示即能得到该部位血管多维信息时空分析图,既能确定血管在体表的位置,也能确定血管在皮下的深度,有利于静脉注射。
虽然本发明所公布的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公布的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种血管成像装置,包括:
多个光源,各个光源按照预设光谱范围在对应不同的方向上向被测血管部位分时发射光信号;
光调制及传感单元,用于调制并采集被测血管部位反射和/或散射的不同方向的光信号,以获取其中包含的表征血管的多维度信息并发送;
成像单元,与所述光调制及传感单元相连,用于接收所述光调制及传感单元发送的血管的多维度信息,并基于该信息进行三维成像;
控制单元,用于控制所述多个光源、所述光调制及传感单元和所述成像单元正常工作,其中,
所述光调制及传感单元设有第一光信号调制单元,该调制单元包括微透镜阵列,用于对光信号进行重聚焦和形成三维视角,所述光调制及传感单元还设有第二光信号调制单元,该调制单元包括圆台曲面镜面,用于扩展观察视野并实现光信号的三维重建。
2.如权利要求1所述的血管成像装置,其特征在于,所述第二光信号调制单元位于所述第一光信号调制单元前端。
3.如权利要求1所述的血管成像装置,其特征在于,所述光调制及传感单元中设有光分解单元,该分解单元设置于所述光调制及传感单元中的调制部分与传感部分之间,该光分解单元包括小孔掩膜阵列,通过小孔掩膜阵列将直接光和散射光分解并滤除散射光。
4.如权利要求1所述的血管成像装置,其特征在于,所述多个光源为多个LED光源,光谱范围为400~1100μm。
5.如权利要求4所述的血管成像装置,其特征在于,所述多个LED光源围绕被测部位全方位排列,用于多角度照射被测血管部位。
6.如权利要求5所述的血管成像装置,其特征在于,所述多个LED光源紧密设置在一起形成一组光簇照射被测部位,用于增加该方向的光照强度。
7.如权利要求5所述的血管成像装置,其特征在于,所述多个LED光源分时照射被测血管部位,用于提高被测部位各个角度成像的清晰度,并减少其他角度的光照干扰。
8.如权利要求1所述的血管成像装置,其特征在于,在所述成像单元中设置高动态成像处理过程。
CN201410310433.7A 2014-07-01 2014-07-01 一种血管成像装置 Expired - Fee Related CN104055489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410310433.7A CN104055489B (zh) 2014-07-01 2014-07-01 一种血管成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410310433.7A CN104055489B (zh) 2014-07-01 2014-07-01 一种血管成像装置

Publications (2)

Publication Number Publication Date
CN104055489A CN104055489A (zh) 2014-09-24
CN104055489B true CN104055489B (zh) 2016-05-04

Family

ID=51543629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410310433.7A Expired - Fee Related CN104055489B (zh) 2014-07-01 2014-07-01 一种血管成像装置

Country Status (1)

Country Link
CN (1) CN104055489B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144664B1 (en) * 2015-09-15 2021-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System and method for determining characteristics of an object or a sample
CN107392088A (zh) * 2017-06-01 2017-11-24 燕南国创科技(北京)有限公司 三维静脉识别装置和方法、开关、移动终端
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618108B (zh) * 2019-01-07 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239909B2 (en) * 2000-01-19 2007-07-03 Luminetx Technologies Corp. Imaging system using diffuse infrared light
JP4385284B2 (ja) * 2003-12-24 2009-12-16 ソニー株式会社 撮像装置及び撮像方法
US20070038118A1 (en) * 2005-08-10 2007-02-15 Depue Marshall Thomas Subcutaneous tissue imager
JP4640295B2 (ja) * 2006-09-07 2011-03-02 株式会社日立製作所 個人認証装置及び方法
US8463001B2 (en) * 2007-07-30 2013-06-11 Sony Corporation Image pickup apparatus
CN102274004B (zh) * 2011-05-17 2013-08-28 易定容 血管找寻器
CN102894960A (zh) * 2012-08-29 2013-01-30 北京理工大学 透射式手背静脉三维红外成像仪
CN203138450U (zh) * 2012-11-06 2013-08-21 中国计量学院 一种手背静脉显像仪
CN103584836B (zh) * 2013-10-25 2015-09-02 浙江大学 一种实时静脉定位显示装置和方法

Also Published As

Publication number Publication date
CN104055489A (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
CN104055489B (zh) 一种血管成像装置
CN103337071B (zh) 基于结构重建的皮下静脉三维可视化装置及方法
CN103857335B (zh) 激光散斑图像的各向异性处理
US9736402B2 (en) System for hyperspectral imaging in visible light, method for recording a hyperspectral image and displaying the hyperspectral image in visible light
JP2018514748A (ja) 光学撮像システムおよびその方法
CN105848566B (zh) 用于预定生物结构的无创检测的设备
CN104008568A (zh) 医用图像处理装置以及医用图像处理方法
US10420534B2 (en) Ultrasonic diagnostic device, image processing device, and image processing method
CN107049254A (zh) 便携式多光谱摄像和投影装置及方法
CN108169173A (zh) 一种大视场高分辨三维衍射层析显微成像方法
CN102894960A (zh) 透射式手背静脉三维红外成像仪
CN102813504A (zh) 一种多光谱三维静脉图像显示装置
Huang et al. Continuous-wave terahertz multi-plane in-line digital holography
US20140073925A1 (en) Apparatus and method for generating ultrasonic image
CN104783767A (zh) 一种利用正交偏振光谱成像探测人体微循环的装置及方法
CN107077756A (zh) 用于使三维对象可视化的方法、可视化装置和计算机程序产品
CN105433906A (zh) 一种扫描暗场激光散斑血流成像方法及装置
Alexander et al. Color Cherenkov imaging of clinical radiation therapy
CN109924949A (zh) 一种基于卷积神经网络的近红外光谱断层成像重建方法
CN104090476B (zh) 用于全息显示的三维场景信息的获取方法
KR20140041012A (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
CN110176047A (zh) 一种提高ct图像质量的方法和系统
CN105996997A (zh) 光声成像装置及方法
CN101404925A (zh) 用于混浊介质成像的设备
Tran et al. Near-infrared transillumination imaging of veins using low-cost camera and scattering suppression-validation of practicality of developed system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504