CN110325104B - 利用红外摄像机的影像眼震颤检查装置及方法 - Google Patents
利用红外摄像机的影像眼震颤检查装置及方法 Download PDFInfo
- Publication number
- CN110325104B CN110325104B CN201880009670.6A CN201880009670A CN110325104B CN 110325104 B CN110325104 B CN 110325104B CN 201880009670 A CN201880009670 A CN 201880009670A CN 110325104 B CN110325104 B CN 110325104B
- Authority
- CN
- China
- Prior art keywords
- image
- pupil
- infrared
- unit
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010029864 nystagmus Diseases 0.000 title claims description 64
- 238000007689 inspection Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 title abstract description 21
- 206010044565 Tremor Diseases 0.000 claims abstract description 41
- 210000001747 pupil Anatomy 0.000 claims description 116
- 210000001508 eye Anatomy 0.000 claims description 92
- 238000001514 detection method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 230000004397 blinking Effects 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000001720 vestibular Effects 0.000 abstract description 7
- 210000000056 organ Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000004424 eye movement Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 12
- 230000000638 stimulation Effects 0.000 description 11
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 210000003786 sclera Anatomy 0.000 description 3
- 208000012886 Vertigo Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 231100000889 vertigo Toxicity 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002569 electronystagmography Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000036647 reaction Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4863—Measuring or inducing nystagmus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种影像眼震颤检查装置及方法,更详细地,涉及一种利用红外摄像机的影像眼震颤检查装置及方法,其使患者左右转动而对患者的前庭器官给予影响,并根据上述患者的转动条件分析由红外摄像机所拍摄的红外眼影像,由此执行眼震颤检查。
Description
技术领域
本发明涉及一种影像眼震颤检查装置及方法,更详细地,涉及一种利用红外摄像机的影像眼震颤检查装置及方法,其使患者左右转动而对患者的前庭器官给予影响,并根据上述患者的转动条件分析由红外摄像机所拍摄的红外眼影像,由此执行眼震颤检查。
背景技术
眩晕症是一种非常常见的症状,据统计在五名成人中就会有一名在一年中经历过一次以上。
通常,眩晕症是在耳(末梢性)、脑(中枢性)、心脏、眼等部位有异常时发生。
作为人的能力之一,包括在头部摇摆时,随着头部的摇摆视野也能随之发生变化。我们的身体为了防止视野随着头部的摇摆而发生变化的情况,会发生前庭眼反射(Vestibular-Ocular Reflex:VOR)。
前庭眼反射可向头部转动的反方向移动眼睛,由此帮助眼睛的固定。
补偿眼动(Compensatory Eye Movement)是由于半规管的前庭系统感知角加速度而被诱导,其叫做眼震。
前庭功能障碍,即眼震颤症是目标脱离中心而导致视野的晃动的障碍,这种障碍是在前庭眼反射有异常时发生。
一直以来,为了检测用于诊断这种眼震颤症的眼球运动信号,可利用眼震电图描记法(Electro-nystagmography:ENG)、巩膜搜索线圈系统(Sclera Search Coil System:SSCS)等。
眼震电图描记法通过以下方式实现:即将电极附着在眼周围皮肤后,将眼运动时所发生的去极化以电信号的形式放大,由此将眼运动的振幅值按照每时间段来进行图形化。
但是,由于眼震电图描记法不是采用直接捕捉从眼外肌发出的信号的方式,因此无法视为能提供关于准确的眼球位置的信息,并且测量垂直眼运动时,由于上/下睑提肌发出的电信号与上/下直肌发出的电信号互相重叠,因此,存在无法区分两种眼运动的问题。
并且,眼震电图描记法存在以下问题:该方法对随着患者活动时的电极附着状态的变化以及由于汗液等导致的皮肤阻抗变化非常敏感,因此,经常会出现需要校正机器的问题;并且,由于要将多条电极附着在脸上,因此,对于小儿或合作困难的患者会存在检查困难的问题。
另外,巩膜搜索线圈系统是使内藏电线的隐形眼镜形态的器件与巩膜接触后,将眼运动时所发生的肌肉磁场强度变化以三维的方式进行图形化的方式。
巩膜搜索线圈系统具有相对于眼震电图描记法可以接收更为准确的信号,以及对于眼球的微小的动作也可进行捕捉的优点。
但是,巩膜搜索线圈系统需要使用类似隐形眼镜的器件,且具有相对更大的创伤性,因此存在对于合作困难的小儿很难使用的问题。
发明内容
发明所要解决的问题
因此,本发明的目的在于,涉及一种利用红外摄像机的影像眼震颤检查装置及方法,其使患者左右转动而对患者的前庭器官给予影响,并根据上述患者的转动条件分析由红外摄像机所拍摄的红外眼影像,由此执行眼震颤检查。
用于解决问题的方案
为了实现如上所述的目的,根据本发明的利用红外摄像机的影像眼震颤检查装置,其特征在于,包括:转椅,其构成为患者可以坐的椅子形态,且上述转椅能被控制为左、右转动;红外影像拍摄部,其通过红外线拍摄包括上述患者两眼中的至少一个的眼区域,并输出红外眼影像;以及眼震颤检查部,其以如下方式执行眼震颤检查,并输出结果,其中,上述眼震颤检查方式为根据为了检查眼震颤而预先设定的转动控制信息控制上述转椅的转动,且对上述红外眼影像进行二值化来检测瞳孔后检测瞳孔运动特性,并根据上述转动控制信息分析检测出的瞳孔运动特性,从而执行眼震颤检查。
上述眼震颤检查部的特征在于,包括:转动控制部,其根据为了检查眼震颤而预先设定的控制信息来控制上述转椅的转动;红外影像获取部,其控制并驱动上述红外影像拍摄部后,通过上述红外影像拍摄部获取上述红外眼影像并进行输出;影像处理部,其对获取的上述红外眼影像进行二值化后检测瞳孔,并输出检测出的瞳孔的影像数据;瞳孔运动检测部,其接收并分析上述影像数据,并输出对应于瞳孔运动的瞳孔运动特征信息;以及眼震颤判断部,其根据上述转动控制信息分析检测出的瞳孔运动特征信息而进行眼震颤检查,并判断是否患有眼震颤症。
上述影像处理部的特征在于,包括:关注区域指定部,其从上述红外眼影像输出仅包括前眼部部分的红外前眼部影像;影像变换部,其对上述红外前眼部影像进行二值化,并输出二值化前眼部影像;外廓线检测部,其从上述二值化前眼部影像检测前眼部外廓线,并输出前眼部外廓线影像;以及圆检测部,其从上述前眼部外廓线影像中检测瞳孔,并检测瞳孔的中心点,且上述圆检测部输出根据检测出的中心点的运动的瞳孔的影像数据。
上述影像变换部的特征在于,包括:第一影像变换部,其将上述红外前眼部影像变换成灰色通道的灰色前眼部影像并进行输出;以及第二影像变换部,其对上述灰色前眼部影像以预先设定的基准值为基准进行二值化,并输出上述二值化前眼部影像。
上述影像处理部的特征在于,还包括:滤波部,其对上述影像变换部输出的上述二值化前眼部影像执行形态学(Morphology)运算,并适用腐蚀和膨胀来消除噪音。
上述圆检测部的特征在于,包括:最佳圆检测部,其从外廓线检测部接收对于根据变更的相互不同的多个基准值进行变换的至少两个以上的二值化前眼部影像的前眼部外廓线影像,并从各个前眼部外廓线影像检测圆,且上述最佳圆检测部选择检测出的圆与瞳孔相一致的前眼部外廓线影像并进行输出;以及影像校准部,其计算对应于上述选择的前眼部外廓线影像的圆的中心点,基于该计算出的中心点并考虑瞳孔的三维结构及曲线,以像素单位推定瞳孔实际移动的距离、角度来输出瞳孔的影像数据。
上述瞳孔运动检测部的特征在于,包括:第一插补部,其接收上述影像数据并适用线性样条算法,从而插补因眨眼而遗漏的信号而输出第一插补影像信号;微分器,其从上述第一插补影像信号求出斜率,并输出对斜率进行平方的微分影像信号;快相位去除部,其在上述第一插补影像信号上适用上述微分影像信号,从而能够输出从第一插补影像信号中去除快相位信号的慢相位信号;第二插补部,其对上述慢相位信号适用线性样条算法进行插补后进行输出;滤波部,其对插补的上述慢相位信号进行滤波并进行输出;以及特性提取部,其从上述慢相位信号中提取增益特性、非对称特性及相位特性,从而输出上述瞳孔运动特征信息。
为了实现相同的目的的、根据本发明的利用红外摄像机的影像眼震颤检查方法,其特征在于,包括:转动控制步骤,为根据为了检查眼震颤而预先设定的转动控制信息控制转椅的转动;红外影像获取步骤,控制并驱动红外影像拍摄部后,通过上述红外影像拍摄部获取红外眼影像并进行输出;影像处理步骤,对获取的上述红外眼影像进行二值化后检测瞳孔,并输出检测出的瞳孔的影像数据;瞳孔运动检测步骤,接收并分析上述影像数据,从而输出对应于瞳孔运动的瞳孔运动特征信息;眼震颤判断步骤,根据上述转动控制信息分析检测出的瞳孔运动特征信息而进行眼震颤检查,并判断是否患有眼震颤症。
上述影像处理步骤的特征在于,包括:关注区域指定步骤,从上述红外眼影像输出仅包括前眼部部分的红外前眼部影像;影像变换步骤,对上述红外前眼部影像进行二值化,并输出二值化前眼部影像;外廓线检测步骤,从上述二值化前眼部影像检测前眼部外廓线,并输出前眼部外廓线影像;以及圆检测步骤,从上述前眼部外廓线影像中检测瞳孔,并检测瞳孔的中心点,且输出根据检测出的中心点的运动的瞳孔的影像数据。
上述影像变换步骤的特征在于,包括:第一影像变换步骤,将上述红外前眼部影像变换成灰色通道的灰色前眼部影像并进行输出;以及第二影像变换步骤,将上述灰色前眼部影像以预先设定的基准值为基准进行二值化,并输出上述二值化前眼部影像。
上述影像处理步骤的特征在于,还包括:滤波步骤,对上述影像变换部输出的上述二值化前眼部影像执行形态学(Morphology)运算,并适用腐蚀和膨胀来消除噪音。
上述圆检测步骤的特征在于,包括:最佳圆检测步骤,从外廓线检测部接收对于根据变更的相互不同的多个基准值进行变换的至少两个以上的二值化前眼部影像的前眼部外廓线影像,并从各个前眼部外廓线影像检测圆,且选择检测出的圆与瞳孔相一致的前眼部外廓线影像并进行输出;以及影像校准步骤,计算对应于上述选择的前眼部外廓线影像的圆的中心点,基于该计算出的中心点并考虑瞳孔的三维结构及曲线,以像素单位推定瞳孔实际移动的距离、角度来输出瞳孔的影像数据。
上述瞳孔运动检测的特征在于,包括:第一插补步骤,接收上述影像数据并适用线性样条算法,从而插补因眨眼而遗漏的信号而输出第一插补影像信号;微分步骤,从上述第一插补影像信号求出斜率,且输出对斜率进行平方的微分影像信号;快相位删除步骤,在上述第一插补影像信号上适用上述微分影像信号,从而能够输出从第一插补影像信号中去除快相位信号的慢相位信号;第二插补步骤,对上述慢相位信号适用线性样条算法进行插补后进行输出;滤波步骤,对插补的上述慢相位信号进行滤波并进行输出;以及特性提取步骤,从上述慢相位信号中提取增益特性、非对称特性及相位特性,从而输出上述瞳孔运动特征信息。
发明效果
本发明通过照射红外线拍摄瞳孔的运动,并在拍摄的图像帧中利用瞳孔和虹膜的明暗对比而分离出瞳孔区域,利用边缘检测和瞳孔的椭圆体近似化来设置瞳孔的中心坐标,从而可根据每时间段进行显示,因此本发明具有能够实时将眼的三维运动(水平、垂直、回旋(Rotation))按每时间段进行记录的效果。
另外,由于本发明可实时将眼的运动按每时间段进行详细记录,因此,具有可执行更准确地眼震颤检查的效果。
附图说明
图1是图示根据本发明的利用红外摄像机的影像眼震颤检查装置的结构的图。
图2是图示根据本发明影像眼震颤检查装置的眼震颤检查部的详细结构的图。
图3是图示根据本发明眼震颤检查部的影像处理部的详细结构的图。
图4是图示根据本发明影像处理部所处理的各步骤的眼影像的图。
图5是图示根据本发明而适用影像二值化时的根据互相不同的基准值的二值化影像及圆检测影像的图。
图6是图示根据本发明眼震颤检查部的瞳孔运动检测部的详细结构的图。
图7是图示对于根据本发明一实施例的水平瞳孔数据的水平瞳孔信号的图。
图8是图示根据本发明瞳孔运动检测部中的各个影像处理步骤的信号波形的图。
图9是用于说明根据本发明的瞳孔运动检测部中的慢相位信号的信号处理过程的图。
图10是图示根据本发明的转动刺激频率的增益曲线的图。
图11是图示根据本发明的转动刺激频率的相位曲线的图。
图12是表示根据本发明的、利用红外摄像机的影像眼震颤检查方法的流程图。
图13是表示根据本发明的影像眼震颤检查方法中的影像处理方法的流程图。
图14是表示根据本发明的影像眼震颤检查方法中的瞳孔运动特性检测方法的流程图。
具体实施方式
以下,参照附图对根据本发明的利用红外摄像机的眼震颤检查装置的结构及动作进行说明,且对上述装置眼震颤检查方法进行说明。
图1是图示根据本发明的利用红外摄像机的影像眼震颤检查装置的结构的图。
参照图1,本发明的利用红外摄像机的影像眼震颤检查装置包括:显示部100、红外影像拍摄部200、转椅300及眼震颤检查部400,并且根据实施例还可包括输入部500。
显示部100受控于眼震颤检查部400,可将眼震颤检查过程中所发生的信息、检查后的眼震颤检查结果等以文本、图形、静止影像、视频的方式进行显示。
红外影像拍摄部200可包括:红外线LED(未图示),其可照射红外线;以及红外摄像机(未图示),其在通过上述红外线LED照射红外线的状态下,拍摄眼震颤检查对象患者两眼中的至少一个以上的眼部区域,并进行输出红外眼影像。
上述红外影像拍摄部200以能设置在患者眼前的方式以摄像机的形态构成,或者以能够穿戴在患者头部的方式以结合于显示部100的虚拟现实(VirtualReality:VR)眼镜的形态构成。
另外,如果以穿戴在头部的形态构成时,上述红外影像拍摄部200还可以包括:加速度传感器(未图示),其可对根据患者及患者头部中的至少一者的左右转动的加速度进行测量并进行输出。
转椅300以患者可以坐的椅子的形态构成,且根据眼震颤检查部400控制来调整方向及速度,从而使椅子转动。
为了检查眼震颤,眼震颤检查部400根据预先设定的转动控制信息来控制转椅300的转动,对从上述红外影像拍摄部200输入的红外眼影像进行二值化来检测瞳孔,并检测出瞳孔的运动特性,且根据上述转动控制信息分析检测出的瞳孔运动特性,从而执行眼震颤检查并进行输出结果。
输入部500可包括用于控制眼震颤检查装置的动作的至少一个以上的按键、按钮或开关,可将对应于按键、按钮或开关的操作的输入信号输出到眼震颤检查部400。
上述输入部500可为键盘、鼠标、触控板等,根据本发明能够由管理者(或者“诊疗者”)直接输入或选择影像的二值化的临界值。
图2是图示根据本发明影像眼震颤检查装置的眼震颤检查部的详细结构的图。
参照图2,眼震颤检查部400包括:转动控制部410、红外影像获取部420、影像处理部430、瞳孔运动检测部440及眼震颤判断部450。
转动控制部410根据为检查眼震颤而预先设定的转动控制信息来控制上述转椅300的转动方向及转动速度。
转动控制部410依次或随机地从0.01、0.02、0.04、0.08、0.16、0.32和0.64Hz频率中的一个、或者上述频率中的两个以上进行选择作为正玄波速度,并由此控制转椅300的转动速度。
另外,转动控制部410将对于现在控制中的方向及速度的信息提供到眼震颤判断部450。
红外影像获取部420驱动红外影像拍摄部200,从而通过影像拍摄部200获取红外眼影像并进行输出到眼震颤检查部400。
影像处理部430对于通过上述红外影像获取部420获取的红外眼影像进行二值化后检测瞳孔,并将检测出的瞳孔的影像数据输出到瞳孔运动检测部440。
眼震颤判断部450从转动控制部410接收上述转动控制信息,根据上述转动控制信息分析检测出的瞳孔运动特征信息,从而执行眼震颤检查,并判断是否患有眼震颤症,通过显示部100进行显示。
图3是图示根据本发明眼震颤检查部的影像处理部的详细结构的图;图4是图示根据本发明影像处理部所处理的各步骤的眼影像的图;图5是图示了根据本发明而适用影像二值化时的根据互相不同的基准值的二值化影像及圆检测影像的图。以下,参照图3至图5,对影像处理部430的详细结构及动作进行说明。
影像处理部430包括:关注区域指定部431、影像变换部432、滤波部435、外廓线检测部436及圆检测部437。
关注区域指定部431将从红外影像获取部420接收的图4的红外眼影像501中仅提取出前眼部部分的红外前眼部影像502输出到影像变换部432。上述前眼部部分可通过输入部500由管理者进行选择,或也可构成为基于眼图案检测而自动进行检测。
影像变换部432对通过上述关注区域指定部431获取的红外前眼部影像进行二值化,并进行输出二值化前眼部影像503。
上述影像变换部432包括:第一影像变换部433,将上述红外前眼部影像变换成灰色通道(Channel)的灰色前眼部影像并进行输出;第二影像变换434,将上述灰色前眼部影像以预先设定的基准值为基准进行二值化,并输出上述二值化前眼部影像503。
上述二值化以以下方式实现,即以预先设定的基准值为基准而将超过的变换为灰色通道的灰色前眼部影像的像素值变换为255,并将以下的值变换为0。上述预先设定的基准值可以是一个,也可以是两个以上,如果是两个以上时,第二影像变换部434会进行对应每个基准值的二值化并输出对于各个基准值的二值化前眼部影像504。
滤波(filtering)部435将去除从上述第二影像变换部434接收的二值化前眼部影像503中所包含的噪音(noise)的二值化前眼部影像504传送至外廓线检测部436。
滤波部435通过形态学(Morphology)运算适用腐蚀(Erode)和膨胀(Dilate)而消除杂音。腐蚀是将相邻像素中最小像素值代替为目前像素值的方式,因此可以消除小的噪音(小块)对象。另外,膨胀是将相邻像素中最大像素值代替为目前像素值的方式,起到消除对象内部的小孔的作用。即通过腐蚀运算消除噪音,通过膨胀运算消除对象内的空的空间,并恢复缩小的对象的大小。
外廓线检测部436从上述滤波部435进行滤波的二值化前眼部影像504中检测前眼部的外廓线,并将前眼部外廓线影像505传送至圆检测部437。
圆检测部437将从外廓线检测部436接收的前眼部外廓线影像505中检测对应于瞳孔的圆,并输出检测出的圆,即输出根据瞳孔的运动的瞳孔的影像数据。
上述第二影像变换部434输出对于多个基准值的二值化前眼部影像504时,圆检测部包括:最佳圆检测部438,从外廓线检测部436接收对于至少两个以上的二值化前眼部影像503(根据变更的相互不同的多个基准值进行变换)的前眼部外廓线影像505,从各个前眼部外廓线影像505中检测圆506,选择检测的圆506与瞳孔相一致的前眼部外廓线影像505并进行输出;影像校准(calibration)部439,计算对于上述被选择的前眼部外廓线影像的圆的中心点,基于该计算出的中心点并考虑瞳孔的三维结构及曲线,以像素单位推定瞳孔实际移动的距离、角度来输出瞳孔的影像数据。
即如图5所示,最佳圆检测部438获取适用相互不同的基准值进行二值化的多个前眼部外廓线影像(505-1、505-2、505-3、505-4),并从获取的多个前眼部外廓线影像中检测出圆506,则可检测出如图5的511-1至511-4所示的圆。在图5中,505-1是作为基准值适用262的情况;505-2是作为基准值适用270的情况;505-3是作为基准值适用275的情况;以及505-4是作为基准值适用285的情况。
因此,最佳圆检测部438将选择对应于在511-1至511-4中检测的圆与瞳孔相一致的511-3的前眼部外廓线影像505-3,并进行输出。
之后,影像校准部439为了获取水平眼球运动的速度,需要每个像素值的角度,因此,在影像中要将眼运动单位变换成角度。优选地,上述角度适用每个像素0.49度。
图6是图示根据本发明眼震颤检查部的瞳孔运动检测部的详细结构的图;图7是图示对于根据本发明一实施例的水平瞳孔数据的水平瞳孔信号的图。图8是图示根据本发明瞳孔运动检测部的各个影像处理步骤的信号波形的图。图9是用于说明根据本发明的瞳孔运动检测部中的慢相位信号的信号处理过程的图。图10是图示根据本发明的转动刺激频率的增益曲线的图。图11是图示根据本发明的转动刺激频率的相位曲线的图。以下,将参照图6至图11进行说明。
第一插补部441从影像处理部430接收影像数据并适用线性样条算法(Linearspline algorithm)插补由于眨眼而遗漏的信号,并输出第一插补影像信号。
以图7为例,影像数据的对于水平瞳孔移动数据的水平瞳孔信号中,由于眨眼未能检测出瞳孔的帧(frame)设置为负数值。
第一插补部441为了补偿设置为负数值的帧而适用线性样条算法。
另外,第一插补部441利用作为插补法的三次样条算法(Cubic Splinealgorithm)将不规律的采样速度(27-29帧/秒)变换成30Hz的信号。
微分器442对如图8的801的插补的上述第一插补影像信号进行微分求出斜率,从而输出如图8的802的信号,并对上述斜率平方而输出如图8的803的微分影像信号。
快相位去除部443在上述第一插补影像信号适用上述微分影像信号,从而能够输出从图8的801所示的第一插补影像信号中去除对应于图8的804所示的虚线四角形的快相位信号的如图9的901的慢相位信号。
第二插补部444在上述慢相位信号适用线性样条算法进行插补后,输出如图9的902的慢相位信号。
滤波部445对上述插补的慢相位信号进行滤波(filtering),并输出如图9的903的慢相位信号。优选地,作为上述滤波部445可适用低通滤波器(Lowpass Filter)。优选地,低通滤波器(Lowpass Filter)的截止(Cutoff)频率通过下述数学式1来进行设置。
[数学式1]
其中,k表示规定的常数,n表示各自的周期。
特性提取部446从上述慢相位信号中提取增益、非对称及相位特性,并输出上述述瞳孔运动特征信息。
增益(Gain)是眼球运动的振幅相对头部刺激的振幅的比率。这个比率可以是通过将慢相位眼运动的最大速度以头部(椅子)的最大速度相除的方式计算。其可以通过数学式2体现。
[数学式2]
例如,两侧前庭较弱的患者在低频率的转动中增益值会减小。
如图10所示,增益(Gain)能够以根据转动刺激频率的理论性对数增益曲线进行表示,可知:在小于0.05Hz时,随着转动频率的增加,其以线性正比的方式增加,约从1到100Hz的范围,保持一定,而在其以上的转动频率,随着频率的增加而发生减小。增益的减小可在所有频率的刺激上都可以出现,也可在规定刺激频率中才会出现。部分前庭功能低下时,增益大致在低频率(<0.1Hz)中表现出非正常减小,在高频率(>0.1Hz)中表现为正常,固定转动频率给予最大速度时,在低的速度刺激下表现为正常,但是在高的速度刺激下会出现减小。
非对称(Symmetry/Asymmrtry)是针对各个频率进行左右转动时,通过比较左侧和右侧的同等的慢相位因素而表示的。非对称可由下述数学式3进行计算。
[数学式3]
其中,b1和b2分别表示向左侧和右侧转动时的慢相位眼球运动的最大速度。
一般而言,正常的对称范围是15~20%。
相位(Phase)是头部运动的开始和反射性的眼球反应之间的时间关系。如果,头部和眼睛确实以相同速度向反方向移动时,认为相位是180度。头部的运动引起眼反应反射时出现相位超前(Lead);发生补正眼球运动时出现相位滞后(Lag);非正常的长的超前(Lead)和短的超前(Lead)可分别视为是周围病变及小脑病变。
作为相位角的θ可通过下述数学式4进行计算。
[数学式4]
θ=360°×f×Δt
其中,f表示眼球运动信号频率,Δt表示慢相位眼球运动的最大速度和头部(椅子)运动之间的时间差。
如图11所示,相位可以以根据转动刺激频率的相位曲线来进行表示。出现完美的前庭眼反射时相位为0度。
图12是表示根据本发明的、利用红外摄像机的影像眼震颤检查方法的流程图。
参照图12,在眼震颤检查开始事件发生时,眼震颤检查部400根据预先设定的转动控制信息来控制转椅300的转动方向及速度(S111)。眼震颤检查开始事件可在通过输入部输入与眼震颤检查开始命令相对应的输入信号时发生。上述转动控制信息可包括转动转椅的方向、速度、时间等信息。
如果执行对转椅300的控制,那么眼震颤检查部400驱动红外影像拍摄部200拍摄患者的眼并开始获取红外眼影像(S113)。
如果开始获取红外眼影像,则眼震颤检查部400将执行对输入的红外眼影像进行二值化来检测瞳孔的影像处理,并生成包括瞳孔的运动信息的影像数据(S115)。
如果生成影像数据,则眼震颤检查部400从影像数据中推定瞳孔运动信息(S117),并根据转动控制信息对瞳孔运动信息进行分析并判断眼震颤症(S119)。
图13是表示根据本发明的影像眼震颤检查方法中的影像处理方法的流程图。
通过参照图13对影像处理方法进行说明,上述影像处理部430从红外眼影像中只检测作为关注区域的前眼部部分,并输出仅包括检测出的前眼部部分的红外前眼部影像(S211)。
影像处理部430将上述红外前眼部影像变换成灰色前眼部影像(其为灰色通道的影像)。
如果变换成灰色前眼部影像,则影像处理部430进行二值化变换过程,并输出二值化前眼部影像,其中,二值化变换方式为:将上述灰色前眼部影像与预先设定的基准值进行比较,从而将比基准值大的像素值变换成255,二比基准值小的像素值变换成0。
如果生成二值化前眼部影像,影像处理部430对上述二值化前眼部影像进行滤波并进行输出(S217)。从上述进行滤波的二值化前眼部影像中检测前眼部外廓线,并输出前眼部外廓线影像(S219)。
如果检测出外廓线,影像处理部430从上述前眼部外廓线影像中检测对应于瞳孔的圆并检测圆的中心点(S221),生成基于检测出的中心点的运动的瞳孔的影像数据,并进行输出(S223)。
图14是表示根据本发明的影像眼震颤检查方法中的瞳孔运动特性检测方法的流程图。
参照图14,上述瞳孔运动检测部440接收从影像处理部430输出的上述影像数据,并适用线性样条算法插补由于眨眼而遗漏的信号,从而输出第一插补影像信号(S311)。
如果执行第一插补,瞳孔运动检测部440从上述第一插补影像信号中求出斜率,并输出对斜率平方的微分影像信号(S313)。
如果生成微分影像信号,瞳孔运动检测部440通过在上述第一插补影像信号中适用上述微分影像信号,能从上述第一插补影像信号中去除快相位信号,并输出作为去除快相位信号的第一插补影像信号的慢相位信号(S315)。
如果输入插补的上述慢相位信号,则瞳孔运动检测部440应用线性样条算法进行二次插补后进行输出(S317)。
对二次插补的慢相位信号通过低通滤波器进行滤波(S319),从执行低通滤波的慢相位信号中提取包括增益、非对称及相位信息的运动特征信息,并输出至眼震颤判断部450。
另一方面,本发明不局限于前述的典型的优选实施例,本领域技术人员可轻易理解在不超出本发明的主旨的范围内,可进行多种修改、变形、代替或者附加。根据这种改良、变形、代替或者附加的实施方式如果属于所附的权利要求书的范畴内,则该技术思想也应视为属于本发明。
附图标记说明:
100:显示部; 200:影像拍摄部;
300:转椅; 400:眼震颤检查部;
410:转动控制部; 420:红外影像获取部;
430:影像处理部; 431:关注区域指定部;
432:影像变换部; 433:第一影像变换部;
434:第二影像变换部; 435:滤波部;
436:外廓线检测部; 437:圆检测部;
438:最佳圆检测部; 439:影像校准部;
440:瞳孔运动检测部; 441:第一插补部;
442:微分器; 443:快相位控制部;
444:第二插补部; 445:滤波部;
446:特性提取部;
450:眼震颤判断部。
Claims (4)
1.一种利用红外摄像机的影像眼震颤检查装置,其特征在于,包括:
转椅,其构成为患者可以坐的椅子形态,且所述转椅能被控制为左、右转动;
红外影像拍摄部,其通过红外线拍摄包括所述患者两眼中的至少一个的眼区域,并输出红外眼影像;以及
眼震颤检查部,其以如下方式执行眼震颤检查,并输出结果,
其中,所述眼震颤检查方式为根据为了检查眼震颤而预先设定的转动控制信息控制所述转椅的转动,且对所述红外眼影像进行二值化来检测瞳孔后检测瞳孔运动特性,并根据所述转动控制信息分析检测出的瞳孔运动特性,从而执行眼震颤检查,
其中,所述眼震颤检查部包括:
转动控制部,其根据为了检查眼震颤而预先设定的控制信息来控制所述转椅的转动;
红外影像获取部,其控制并驱动所述红外影像拍摄部后,通过所述红外影像拍摄部获取所述红外眼影像并进行输出;
影像处理部,其对获取的所述红外眼影像进行二值化后检测瞳孔,并输出检测出的瞳孔的影像数据;
瞳孔运动检测部,其接收并分析所述影像数据,并输出对应于瞳孔运动的瞳孔运动特征信息;以及
眼震颤判断部,其根据所述转动控制信息分析检测出的瞳孔运动特征信息而进行眼震颤检查,并判断是否患有眼震颤症,
其中,所述瞳孔运动检测部包括:
第一插补部,其接收所述影像数据并适用线性样条算法,从而插补因眨眼而遗漏的信号而输出第一插补影像信号;
微分器,其从所述第一插补影像信号求出斜率,并输出对斜率进行平方的微分影像信号;
快相位去除部,其在所述第一插补影像信号上适用所述微分影像信号,从而能够输出从第一插补影像信号中去除快相位信号的慢相位信号;
第二插补部,其对所述慢相位信号适用线性样条算法进行插补后进行输出;
滤波部,其对插补的所述慢相位信号进行滤波并进行输出;以及
特性提取部,其从所述慢相位信号中提取增益特性、非对称特性及相位特性,从而输出所述瞳孔运动特征信息。
2.一种利用红外摄像机的影像眼震颤检查装置,其特征在于,包括:
转椅,其构成为患者可以坐的椅子形态,且所述转椅能被控制为左、右转动;
红外影像拍摄部,其通过红外线拍摄包括所述患者两眼中的至少一个的眼区域,并输出红外眼影像;以及
眼震颤检查部,其以如下方式执行眼震颤检查,并输出结果,
其中,所述眼震颤检查方式为根据为了检查眼震颤而预先设定的转动控制信息控制所述转椅的转动,且对所述红外眼影像进行二值化来检测瞳孔后检测瞳孔运动特性,并根据所述转动控制信息分析检测出的瞳孔运动特性,从而执行眼震颤检查,
其中,所述眼震颤检查部包括:
转动控制部,其根据为了检查眼震颤而预先设定的控制信息来控制所述转椅的转动;
红外影像获取部,其控制并驱动所述红外影像拍摄部后,通过所述红外影像拍摄部获取所述红外眼影像并进行输出;
影像处理部,其对获取的所述红外眼影像进行二值化后检测瞳孔,并输出检测出的瞳孔的影像数据;
瞳孔运动检测部,其接收并分析所述影像数据,并输出对应于瞳孔运动的瞳孔运动特征信息;以及
眼震颤判断部,其根据所述转动控制信息分析检测出的瞳孔运动特征信息而进行眼震颤检查,并判断是否患有眼震颤症,
其中,所述影像处理部包括:
关注区域指定部,其从所述红外眼影像输出仅包括前眼部部分的红外前眼部影像;
影像变换部,其对所述红外前眼部影像进行二值化,并输出二值化前眼部影像;
外廓线检测部,其从所述二值化前眼部影像检测前眼部外廓线,并输出前眼部外廓线影像;以及
圆检测部,其从所述前眼部外廓线影像中检测瞳孔,并检测瞳孔的中心点,且所述圆检测部输出根据检测出的中心点的运动的瞳孔的影像数据,
其中,所述圆检测部包括:
最佳圆检测部,其从外廓线检测部接收对于根据变更的相互不同的多个基准值进行变换的至少两个以上的二值化前眼部影像的前眼部外廓线影像,并从各个前眼部外廓线影像检测圆,且所述最佳圆检测部选择检测出的圆与瞳孔相一致的前眼部外廓线影像并进行输出;以及
影像校准部,其计算对应于所述选择的前眼部外廓线影像的圆的中心点,基于该计算出的中心点并考虑瞳孔的三维结构及曲线,以像素单位推定瞳孔实际移动的距离、角度来输出瞳孔的影像数据。
3.根据权利要求2所述的利用红外摄像机的影像眼震颤检查装置,其特征在于,所述影像变换部包括:
第一影像变换部,其将所述红外前眼部影像变换成灰色通道的灰色前眼部影像并进行输出;以及
第二影像变换部,其对所述灰色前眼部影像以预先设定的基准值为基准进行二值化,并输出所述二值化前眼部影像。
4.根据权利要 求2所述的利用红外摄像机的影像眼震颤检查装置,其特征在于,所述影像处理部还包括:
滤波部,其对所述影像变换部输出的所述二值化前眼部影像执行形态学运算,并适用腐蚀和膨胀来消除噪音。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170028235A KR101905716B1 (ko) | 2017-03-06 | 2017-03-06 | 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 |
KR10-2017-0028235 | 2017-03-06 | ||
PCT/KR2018/000114 WO2018164361A1 (ko) | 2017-03-06 | 2018-01-03 | 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110325104A CN110325104A (zh) | 2019-10-11 |
CN110325104B true CN110325104B (zh) | 2022-06-03 |
Family
ID=63448273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880009670.6A Active CN110325104B (zh) | 2017-03-06 | 2018-01-03 | 利用红外摄像机的影像眼震颤检查装置及方法 |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101905716B1 (zh) |
CN (1) | CN110325104B (zh) |
WO (1) | WO2018164361A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102198356B1 (ko) * | 2018-11-28 | 2021-01-04 | 연세대학교 원주산학협력단 | 휴대용 안진기 및 이의 캘리브레이션 방법 |
KR102293430B1 (ko) * | 2019-09-23 | 2021-08-27 | 고려대학교 산학협력단 | 가상현실 및 생체신호 센서 기반의 전정-안반사 기능 평가 장치 |
US20220354413A1 (en) * | 2019-06-25 | 2022-11-10 | Korea University Research And Business Foundation | Virtual reality game- and biosignal sensor-based vestibulo-ocular reflex assessment and rehabilitation apparatus |
KR102305387B1 (ko) * | 2019-07-05 | 2021-09-27 | 순천향대학교 산학협력단 | 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법 |
KR102349805B1 (ko) * | 2019-12-20 | 2022-01-11 | 순천향대학교 산학협력단 | 뇌졸중 진단 시스템 및 방법 |
CN113065398B (zh) * | 2021-03-04 | 2022-10-11 | 武汉大学 | 一种眼球震颤监测方法及系统 |
CN114617529B (zh) * | 2022-05-12 | 2022-08-26 | 上海志听医疗科技有限公司 | 一种用于眼罩设备的眼球眩晕数据识别方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100336176B1 (ko) * | 1999-08-21 | 2002-05-10 | 김윤종 | 전정기관이상 검사 및 자극 기기 |
KR20040107677A (ko) * | 2003-06-09 | 2004-12-23 | 김덕원 | 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템 |
EP1811890A1 (en) * | 2004-11-01 | 2007-08-01 | Eye Diagnostics Pty Ltd | Device and method for investigating changes in the eye |
CN102824160A (zh) * | 2011-06-17 | 2012-12-19 | 北京爱生科贸有限公司 | 眼球运动监测方法及其设备 |
CN103324908A (zh) * | 2012-03-23 | 2013-09-25 | 桂林电子科技大学 | 用于虹膜识别的快速虹膜采集判断控制方法 |
WO2014123241A1 (ja) * | 2013-02-08 | 2014-08-14 | スカラ株式会社 | 眼球撮像装置 |
KR101501165B1 (ko) * | 2013-12-02 | 2015-03-11 | 한국산업기술대학교산학협력단 | 눈동자 추적을 이용한 안구 마우스 |
CN105095840A (zh) * | 2014-05-22 | 2015-11-25 | 兰州大学 | 基于眼震影像的多方向上眼震信号提取方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040100677A (ko) | 2003-05-23 | 2004-12-02 | 두산중공업 주식회사 | 스팀 터빈에서의 스팀 배관 클리닝 방법 |
KR100756047B1 (ko) * | 2006-01-25 | 2007-09-07 | 한국인식산업(주) | 생체 얼굴 인식 장치 및 그 방법 |
WO2008091759A1 (en) | 2007-01-26 | 2008-07-31 | University Of Florida Research Foundation, Inc. | Apparatus and methods for assessment of vestibulo-ocular reflexes |
US9693725B2 (en) | 2012-02-28 | 2017-07-04 | Ana Maria Soza | Methods, apparatuses and systems for diagnosis and treatment of mood disorders |
-
2017
- 2017-03-06 KR KR1020170028235A patent/KR101905716B1/ko active IP Right Grant
-
2018
- 2018-01-03 WO PCT/KR2018/000114 patent/WO2018164361A1/ko active Application Filing
- 2018-01-03 CN CN201880009670.6A patent/CN110325104B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100336176B1 (ko) * | 1999-08-21 | 2002-05-10 | 김윤종 | 전정기관이상 검사 및 자극 기기 |
KR20040107677A (ko) * | 2003-06-09 | 2004-12-23 | 김덕원 | 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템 |
EP1811890A1 (en) * | 2004-11-01 | 2007-08-01 | Eye Diagnostics Pty Ltd | Device and method for investigating changes in the eye |
CN102824160A (zh) * | 2011-06-17 | 2012-12-19 | 北京爱生科贸有限公司 | 眼球运动监测方法及其设备 |
CN103324908A (zh) * | 2012-03-23 | 2013-09-25 | 桂林电子科技大学 | 用于虹膜识别的快速虹膜采集判断控制方法 |
WO2014123241A1 (ja) * | 2013-02-08 | 2014-08-14 | スカラ株式会社 | 眼球撮像装置 |
KR101501165B1 (ko) * | 2013-12-02 | 2015-03-11 | 한국산업기술대학교산학협력단 | 눈동자 추적을 이용한 안구 마우스 |
CN105095840A (zh) * | 2014-05-22 | 2015-11-25 | 兰州大学 | 基于眼震影像的多方向上眼震信号提取方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101905716B1 (ko) | 2018-10-11 |
KR20180101816A (ko) | 2018-09-14 |
CN110325104A (zh) | 2019-10-11 |
WO2018164361A1 (ko) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325104B (zh) | 利用红外摄像机的影像眼震颤检查装置及方法 | |
CN109310314B (zh) | 用于眼位偏斜测量的移动装置应用 | |
US9808154B2 (en) | Biometric identification via retina scanning with liveness detection | |
US11544359B2 (en) | Unique patterns extracted from involuntary eye motions to identify individuals | |
WO2012112901A2 (en) | Photorefraction ocular screening device and methods | |
KR102349805B1 (ko) | 뇌졸중 진단 시스템 및 방법 | |
CN111248890A (zh) | 一种基于面部视频的非接触式新生儿心率监测方法及系统 | |
KR20140057868A (ko) | 열화상을 이용한 심박수 측정 시스템 | |
CN103919557A (zh) | 应用于诊断良性阵发性位置性眩晕的眼震参数特征获取方法和装置 | |
CN110916608B (zh) | 一种屈光度检测装置 | |
JP2022549561A (ja) | 眼科診断デバイスのための測定の患者誘導トリガ | |
JP7569835B2 (ja) | アイトラッキング固視モニタリングシステム及び方法 | |
US10888241B2 (en) | Device and method to determine objectively visual memory of images | |
CN115590462A (zh) | 一种基于摄像头的视力检测方法和装置 | |
Park et al. | A low-cost video-oculography system for vestibular function testing | |
CN115670370B (zh) | 一种去除眼底图像玻璃体混浊斑的视网膜成像方法和装置 | |
JP7564190B2 (ja) | アイトラッキング固視モニタリングシステム及び方法 | |
KR102305387B1 (ko) | 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법 | |
Xiong et al. | Objective evaluation of driver fatigue by using spontaneous pupillary fluctuation | |
CN110123318B (zh) | 一种基于眼电信号监测眼球位置坐标的方法 | |
JP7107725B2 (ja) | 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム | |
KR20220053209A (ko) | 사시 진단의 지원을 위한 사시각의 측정 장치 및 방법 | |
Jansen et al. | A torsional eye movement calculation algorithm for low contrast images in video-oculography | |
CN112700400B (zh) | 用于在视网膜跟踪中拒绝完全和部分眨眼的系统和方法 | |
JPH04279143A (ja) | 眼球運動検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |