JP2017514609A - 耳鏡及びスペクトル解析に基づく耳鏡検査方法 - Google Patents
耳鏡及びスペクトル解析に基づく耳鏡検査方法 Download PDFInfo
- Publication number
- JP2017514609A JP2017514609A JP2016566601A JP2016566601A JP2017514609A JP 2017514609 A JP2017514609 A JP 2017514609A JP 2016566601 A JP2016566601 A JP 2016566601A JP 2016566601 A JP2016566601 A JP 2016566601A JP 2017514609 A JP2017514609 A JP 2017514609A
- Authority
- JP
- Japan
- Prior art keywords
- eardrum
- spectral
- radiation
- image
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000002578 otoscopy Methods 0.000 title description 9
- 238000010183 spectrum analysis Methods 0.000 title description 9
- 230000003595 spectral effect Effects 0.000 claims abstract description 215
- 210000003454 tympanic membrane Anatomy 0.000 claims abstract description 192
- 230000005855 radiation Effects 0.000 claims abstract description 168
- 210000000613 ear canal Anatomy 0.000 claims abstract description 55
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims abstract description 30
- 210000000883 ear external Anatomy 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims description 54
- 238000001228 spectrum Methods 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 9
- 210000001519 tissue Anatomy 0.000 description 35
- 238000005286 illumination Methods 0.000 description 18
- 206010061218 Inflammation Diseases 0.000 description 16
- 230000004054 inflammatory process Effects 0.000 description 16
- 206010033078 Otitis media Diseases 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 210000002808 connective tissue Anatomy 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000000959 ear middle Anatomy 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 206010050337 Cerumen impaction Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000002939 cerumen Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000002211 ultraviolet spectrum Methods 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010045210 Tympanic Membrane Perforation Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003038 endothelium Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 210000000987 immune system Anatomy 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 206010033072 otitis externa Diseases 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 208000025301 tympanitis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
- A61B1/127—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements with means for preventing fogging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
- A61B5/6817—Ear canal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6865—Access ports
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Otolaryngology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
訓練を受けた専門家によって使用される耳鏡では、光の強度は、典型的に、暗い強度と特定の最大強度との間で調整され得る。したがって、照明の強度は標準化されない。反射光の知覚されるスペクトル組成は、選択された強度によって影響を受け得る。例えば、白色光源を用いて低照明レベルで半透明の鼓膜を観察したとき、鼓膜は、黒色から青みがかった色に見え得る。照明の強度を上げると、中耳腔を覆う鼓膜の後方の粘膜壁から反射される赤色光に起因して、鼓膜は赤みがかって見えることがある。
1. コアの膠質性結合組織;
2. 外皮の重層扁平上皮(SSE);
3. 内皮の中耳腔に面する単層立方上皮(SCE)。
特に、これら層は弛緩部及び槌骨柄の領域を除いて全て血管を殆ど又は全く含まないので、鼓膜を同定、特性評価、及び/又は位置特定するために、スペクトル解析によって、これら各層を同定し得ることが見出された。
(S1) 特に被験体の外耳の耳道に電子撮像ユニットを導入することによって、電子撮像ユニットを提供する工程と;
(S2) 特に少なくとも1つの放射線源によって放出される放射線の反射放射線に基づいて、電子撮像ユニットを用いて、患者の外耳、特に鼓膜の少なくとも1枚の画像を捕捉する工程と;
(S3) 物体のうちの少なくとも1つ、特に前記鼓膜を自動的に同定するために、スペクトル情報を決定して、前記少なくとも1枚の画像に示されている物体を電子的及び/又は光学的手段、特に論理演算ユニットによって同定する工程と;
(S4) 前記画像の又は前記物体から反射された放射線の特定の量の青色成分及び/又は紫外成分に依存して、特に、特定の最小量の特定のスペクトル成分、特に、特定の最小量の青色スペクトル成分又は550nmよりも短い、好ましくは480nmよりも短い波長を有するスペクトル成分を示すスペクトル組成に依存して、前記物体のうちの少なくとも1つ、特に前記鼓膜を同定する工程とを含む方法によっても実現される。かかる方法は、耳鏡装置に関して記載する利点のうちの少なくとも幾つかをもたらす。物体の同定及び/又は位置特定は、少なくとも1枚の画像、又は前記画像の画素若しくは画素領域のスペクトル組成に基づいて/依存して実施してよい。
(S1a) 少なくとも1つの放射線源を耳道に導入する工程と;
(S1b) 青色光を放出するようになっている少なくとも1つの放射線源、特にLEDを用いて、及び/又は紫外線を放出するようになっている放射線源を用いて、好ましくは青色光のスペクトルにスペクトル極大を有する放射線を前記耳道に放射する工程とを更に含む。特に特定のスペクトル組成を有する放射線を耳道に放射することによって、スペクトル情報を容易に評価することができるようになる。
(S3) 鼓膜を自動的に同定するために、前記被験体の耳の耳道内で反射された放射線のスペクトル情報を決定する工程と;
(S4) 前記反射された放射線において検出される特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程とを含む方法によって達成される。すなわち、スペクトル情報の決定を、画像解析の態様/方法に関係なく、反射放射線について直接行ってよい。
(S2) 特に少なくとも1つの放射線源によって放出される放射線の反射放射線に基づいて、電子撮像ユニット(40)を用いて鼓膜の少なくとも1枚の画像を捕捉する工程と;
(S3) 電子的及び/又は光学的手段(44)、特に論理演算ユニットによって、前記少なくとも1枚の画像に示されている前記鼓膜を自動的に同定するために、スペクトル情報を決定する工程と;
(S4) 前記画像の又は前記鼓膜から反射された放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程と;
(S5a) 特定の最小量の青色スペクトル成分、即ち、550nmよりも短い波長、好ましくは480nmよりも短い波長を有するスペクトル成分を示すスペクトル組成に依存して、前記鼓膜を健常鼓膜であると判定する工程とを含む方法によって達成される。かかる方法によって、診断、又は少なくとも予診を自動的に行うことができるようになる。具体的には、前記方法によって、リスク指数をユーザに提供することができるようになる。更に、医師による、より進んだ診断又は最終診断を受けてよい。
(S2) 特に少なくとも1つの放射線源によって放出される放射線の反射放射線に基づいて、電子撮像ユニット(40)を用いて鼓膜の少なくとも1枚の画像を捕捉する工程と;
(S3) 電子的及び/又は光学的手段(44)、特に論理演算ユニットによって、前記少なくとも1枚の画像に示されている前記鼓膜を自動的に同定するために、スペクトル情報を決定する工程と;
(S4) 前記画像の又は前記鼓膜から反射された放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程と;
(S5b) 特定の最小量の赤色スペクトル成分、即ち、550nmよりも長い波長を有するスペクトル成分、及び/又は特定の最大量の青色スペクトル成分、即ち、550nmよりも短い波長、好ましくは480nmよりも短い波長を有するスペクトル成分を有するスペクトル組成に依存して、前記鼓膜を炎症を起こした鼓膜であると判定する工程とを含む方法によって達成される。かかる方法によって、診断、又は少なくとも予診を自動的に行うことができるようになる。具体的には、前記方法によって、リスク指数をユーザに提供することができるようになる。更に、医師による、より進んだ診断又は最終診断を受けてよい。
任意の参照番号が各図に明確に記載されていない場合には、他の図を参照する。言い換えれば、類似の参照番号は、様々な図に亘って装置の同じ部品又は同じ種類若しくは群を指す。
12 ハンドル部分
14 ヘッド部分
14.3 くぼみ
18 遠位端
24 運動機構
24.1 駆動軸
24.2 ギア
26 モータ
26a ブラシレスモータ
28 軸受
30 支持構造
35 遠位先端
40 電子撮像ユニット
40.1 カメラ
41 視野
42 放射線源、特に、光源
44 電子的及び/又は光学的手段、特に、論理演算ユニット
140 赤外線センサユニット
A 長手方向軸
C 耳道
C1 軟部組織
C2 硬骨
C3 移行領域
C4 湾曲
ED 鼓膜
IP 複数の画素で構成される取得画像
L2 特定の長さ
P 画素
P1 鼓膜とは異なる物体又は耳道の部分を特徴付ける画素
P2 鼓膜を特徴付ける画素
P2a 鼓膜の炎症を起こした部分を特徴付ける画素
P2b 鼓膜の炎症を起こしていない部分を特徴付ける画素
r1 径方向オフセット
X 視軸、特に、光軸
β 傾斜角
S1 電子撮像ユニットを提供する工程
S1a 少なくとも1つの放射線源を導入する工程
S1b 耳道に放射する工程
S2 少なくとも1枚の画像を捕捉する工程
S3 物体を同定するためにスペクトル情報を決定する工程
S3a 波長の比に基づいてスペクトル情報を決定する工程
S3b 放射線の強度又は輝度に基づいてスペクトル情報を決定する工程
S3c 特定の画像部分に関するスペクトル情報を決定する工程
S4 物体のうちの少なくとも1つを同定及び/又は位置特定する工程
S4a 鼓膜が同定された及び/又は耳鏡が耳道内に正確に配置/導入されたことを示す情報をユーザに提供する工程
S5 少なくとも1つの物体の状態、特に医学的状態を判定する工程
S5a スペクトル組成が特定の最小量の青色スペクトル成分を有する場合、健常鼓膜であると判定する工程
S5b スペクトル組成が特定の最小量の赤色スペクトル成分を有する場合、健常でない鼓膜であると判定する工程
S6 少なくとも1枚の捕捉画像のスペクトル組成に依存して、ユーザに指数を提供する工程
Claims (23)
- 特に適用中にユーザによって操作されるようになっている耳鏡装置であって、
− 患者の外耳の耳道に導入されるようになっている部分;
− 前記患者の外耳、特に鼓膜の少なくとも1枚の画像を捕捉するようになっている電子撮像ユニット(40)
を含み、
スペクトル情報を決定するようになっており、前記画像の又は物体から反射される放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記少なくとも1枚の画像に示されている物体、特に鼓膜を同定及び/又は位置特定するようになっている電子的及び/又は光学的手段を更に含むことを特徴とする耳鏡装置。 - 前記電子的及び/又は光学的手段が、480nm又は500nmよりも長い波長と比べて、特に500nm又は480nmよりも短い波長に関して、空間的に分解されたスペクトル情報を決定するようになっており、且つ好ましくは、480nm又は500nmよりも長い波長を有するスペクトル成分の量に関して、青色スペクトル成分及び/又は紫外スペクトル成分、特に特定の強度又は比の青色スペクトル成分及び/又は紫外スペクトル成分に依存して、前記少なくとも1枚の画像に示されている物体、特に鼓膜を同定及び/又は位置特定するようになっている請求項1に記載の耳鏡装置。
- 前記電子的及び/又は光学的手段が、特に500nm〜480nmよりも短い波長に関して、反射放射線のスペクトル情報を決定するようになっており、且つ特に青色光及び/又は紫外線のスペクトル内の反射放射線の特定の強度に基づいて、480nm〜500nm未満スペクトルの放射線の480nm〜500nm超のスペクトルの放射線に対する比を決定するようになっている請求項1に記載の耳鏡装置。
- 耳道に放射するようになっている少なくとも1つの放射線源を更に含む請求項1から3のいずれかに記載の耳鏡装置。
- 前記少なくとも1つの放射線源が、特に550nm〜10nmの範囲、好ましくは480nm未満の青色光及び/又は紫外線を放射するようになっている請求項4に記載の耳鏡装置。
- 前記電子的及び/又は光学的手段が、特に550nm未満、好ましくは480nm未満の特定の波長に関して、具体的には、380nm〜500nm、特に420nm〜480nmのスペクトル内のスペクトル極大に関して、前記少なくとも1つの放射線源によって放出される放射線のスペクトル組成を調整するようになっている請求項4から5のいずれかに記載の耳鏡装置。
- 前記電子的及び/又は光学的手段が、前記少なくとも1つの放射線源によって放出される放射線のスペクトル組成を較正するようになっており、且つ決定された反射放射線のスペクトル組成を較正された放出放射線のスペクトル組成と比較するようになっている請求項4から6のいずれかに記載の耳鏡装置。
- 前記電子的及び/又は光学的手段が、前記少なくとも1つの放射線源の放射線の強度を調整するようになっており、特に、前記少なくとも1枚の画像が、550nmよりも長い波長を有するスペクトル成分、特に赤色スペクトル成分の特定の最大量を超えるスペクトル組成を示す場合、前記放射線の強度を低減するようになっている請求項1から7のいずれかに記載の耳鏡装置。
- 耳道内で反射された放射線のスペクトル情報を決定するようになっており、前記反射された放射線において検出される特定の量の青色成分及び/又は紫外成分に依存して、鼓膜を同定するようになっている電子的及び/又は光学的手段を含むことを特徴とする耳鏡装置。
- 特に請求項1から9のいずれかに記載の耳鏡装置を用いて、被験体の耳内の物体を同定及び/又は位置特定する方法であって、
(S1) 特に被験体の外耳の耳道に電子撮像ユニット(40)を導入することによって、電子撮像ユニット(40)を提供する工程と;
(S2) 前記電子撮像ユニット(40)を用いて、前記患者の外耳、特に鼓膜の前記少なくとも1枚の画像を捕捉する工程と;
(S3) 物体のうちの少なくとも1つ、特に鼓膜を自動的に同定するために、電子的及び/又は光学的手段(44)によって少なくとも1枚の画像に示されている物体を同定するためのスペクトル情報を決定する工程と;
(S4) 前記画像の又は物体から反射される放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記物体のうちの少なくとも1つ、特に鼓膜を同定及び/又は位置特定する工程と
を含むことを特徴とする方法。 - 前記電子的及び/又は光学的手段が、請求項2から3のいずれかに定義された通りである請求項10に記載の方法。
- (S1a) 少なくとも1つの放射線源を前記耳道に導入する工程と;
(S1b) 少なくとも1つの放射線源、特に青色光を放出するようになっているLED及び/又は紫外線を放出するようになっている放射線源を用いて前記耳道に放射する工程と;
を更に含む請求項10から11のいずれかに記載の方法。 - スペクトル情報が、550nm又は480nm未満の波長の550nm又は600nm超の波長に対する比に基づいて決定され、前記比が評価され、高い比が、鼓膜、特に健常鼓膜の指標として評価され、特に放出された及び/又は反射された放射線の特定の放射線強度に依存して、スペクトル情報が、好ましくは、前記少なくとも1枚の画像又は前記画像の画素若しくは画素領域の輝度に基づいて決定される請求項10から12のいずれかに記載の方法。
- 前記耳道に放射することを含み、放射線の強度が、前記少なくとも1枚の画像を取得するための最小強度に調整され、好ましくは、特に青色スペクトル成分の赤色スペクトル成分に対する特定の比に依存して、前記少なくとも1枚の画像が特定の最大量の赤色スペクトル成分を超える場合に前記放射線の強度を低減する請求項10から13のいずれかに記載の方法。
- 前記スペクトル情報の決定が、青色スペクトル成分の解析を含み、前記少なくとも1つの物体の同定が、鼓膜の同定を含み、特に赤色スペクトル成分の量に対する青色スペクトル成分の量に依存して実施される請求項10から14のいずれかに記載の方法。
- 前記スペクトル情報の決定は、画素毎の赤色スペクトル成分の減算を含む請求項10から15のいずれかに記載の方法。
- 特定の最小量又は最大量の特定のスペクトル成分、特に特定の最小量の青色スペクトル成分を有するスペクトル組成に依存して、前記少なくとも1つの物体の状態、特に医学的状態を判定する工程(S5)を更に含む請求項10から16のいずれかに記載の方法。
- 前記鼓膜が同定され、前記状態の判定が、前記スペクトル組成が特定の最小量の青色スペクトル成分を示す場合、健常鼓膜であると判定することを含む、又は、前記状態の判定が、前記スペクトル組成が特定の最大量の青色スペクトル成分を示す場合、特に特定の最小量の赤色スペクトル成分に依存して、健常でない鼓膜であると判定することを含む請求項10から17のいずれかに記載の方法。
- 前記鼓膜が、レイリー散乱に関して決定されるスペクトル情報に基づいて同定される請求項10から18のいずれかに記載の方法。
- 被験体の耳内の鼓膜を同定する方法であって、
(S3) 鼓膜を自動的に同定するために、前記被験体の耳の耳道内で反射された放射線のスペクトル情報を決定する工程と;
(S4) 前記反射された放射線において検出される特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程と
を含むことを特徴とする方法。 - 被験体の耳内の健常鼓膜を同定する方法であって、
(S2) 電子撮像ユニット(40)を用いて鼓膜の少なくとも1枚の画像を捕捉する工程と;
(S3) 電子的及び/又は光学的手段(44)によって、前記少なくとも1枚の画像に示されている前記鼓膜を自動的に同定するために、スペクトル情報を決定する工程と;
(S4) 前記画像の又は前記鼓膜から反射された放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程と;
(S5a) 特定の最小量の青色スペクトル成分、即ち、550nmよりも短い波長、好ましくは480nmよりも短い波長を有するスペクトル成分を示すスペクトル組成に依存して、前記鼓膜を健常鼓膜であると判定する工程と
を含むことを特徴とする方法。 - 被験体の耳内の炎症を起こした鼓膜を同定する方法であって、
(S2) 電子撮像ユニット(40)を用いて鼓膜の少なくとも1枚の画像を捕捉する工程と;
(S3) 電子的及び/又は光学的手段(44)によって、前記少なくとも1枚の画像に示されている前記鼓膜を自動的に同定するために、スペクトル情報を決定する工程と;
(S4) 前記画像の又は前記鼓膜から反射された放射線の特定の量の青色成分及び/又は紫外成分に依存して、前記鼓膜を同定する工程と;
(S5b) 特定の最小量の赤色スペクトル成分、即ち、550nmよりも長い波長を有するスペクトル成分、及び/又は特定の最大量の青色スペクトル成分、即ち、550nmよりも短い波長、好ましくは480nmよりも短い波長を有するスペクトル成分を有するスペクトル組成に依存して、前記鼓膜を炎症を起こした鼓膜であると判定する工程と
を含むことを特徴とする方法。 - 前記電子的及び/又は光学的手段が、請求項2から3のいずれかに定義された通りである請求項21から22のいずれかに記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EPPCT/EP2014/001195 | 2014-05-05 | ||
EP2014001195 | 2014-05-05 | ||
PCT/EP2015/000915 WO2015169436A1 (en) | 2014-05-05 | 2015-05-05 | Otoscope and otoscopic method based on spectral analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017514609A true JP2017514609A (ja) | 2017-06-08 |
JP6731856B2 JP6731856B2 (ja) | 2020-07-29 |
Family
ID=53055001
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566601A Expired - Fee Related JP6731856B2 (ja) | 2014-05-05 | 2015-05-05 | 耳鏡及びスペクトル解析に基づく耳鏡検査方法 |
JP2016566604A Expired - Fee Related JP6731857B2 (ja) | 2014-05-05 | 2015-05-05 | 耳鏡及びスペクトル解析に基づく耳鏡検査方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566604A Expired - Fee Related JP6731857B2 (ja) | 2014-05-05 | 2015-05-05 | 耳鏡及びスペクトル解析に基づく耳鏡検査方法 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10307048B2 (ja) |
EP (2) | EP3139813A1 (ja) |
JP (2) | JP6731856B2 (ja) |
KR (2) | KR20160146740A (ja) |
CN (2) | CN106455987B (ja) |
AU (2) | AU2015258114B2 (ja) |
CA (2) | CA2946342A1 (ja) |
MX (2) | MX2016014174A (ja) |
SG (4) | SG11201608738SA (ja) |
WO (2) | WO2015169436A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016203608A1 (de) * | 2016-03-04 | 2017-09-07 | Technische Universität Dresden | Vorrichtung und System zur Doppler optischen Kohärenztomografie (OCT) am humanen Mittelohr |
US10568515B2 (en) * | 2016-06-21 | 2020-02-25 | Otonexus Medical Technologies, Inc. | Optical coherence tomography device for otitis media |
US10357161B1 (en) * | 2017-05-31 | 2019-07-23 | Otonexus Medical Technologies, Inc. | Infrared otoscope for characterization of effusion |
US10806334B2 (en) | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
JP6543013B2 (ja) | 2017-06-13 | 2019-07-10 | オリンパス株式会社 | 内視鏡装置 |
KR102055185B1 (ko) | 2017-11-16 | 2019-12-16 | 주식회사 쉐어 | 귓속 질병 진단 시스템 |
CN108376395B (zh) * | 2017-11-23 | 2019-01-18 | 六安同辉智能科技有限公司 | 基于图像识别的动态图显示平台 |
US20210196111A1 (en) * | 2018-05-22 | 2021-07-01 | The Regents Of The University Of California | Light-emitting diode based diffuse optical spectroscopy tool |
CN108742490A (zh) * | 2018-05-30 | 2018-11-06 | 广州众健医疗科技有限公司 | 一种胃癌诊断胃镜的光谱检测系统 |
DE102019217541A1 (de) * | 2019-11-13 | 2021-05-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Medizinische Bildgebungseinrichtung, Verfahren und Verwendung |
KR102648059B1 (ko) | 2021-04-16 | 2024-03-18 | 재단법인 대구경북과학기술원 | 모바일 오토스코프 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006084425A (ja) * | 2004-09-17 | 2006-03-30 | Tokyo Institute Of Technology | マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法 |
WO2007049562A1 (ja) * | 2005-10-24 | 2007-05-03 | Matsushita Electric Industrial Co., Ltd. | 生体成分濃度測定装置 |
WO2009157825A1 (en) * | 2008-06-24 | 2009-12-30 | Atos Medical Ab | A method and device for diagnosing ear conditions |
JP2014505494A (ja) * | 2010-11-04 | 2014-03-06 | ザ クリーブランド クリニック ファウンデーション | 中耳流動体の存在の有無を決定するための装置および方法 |
WO2014117954A2 (en) * | 2013-02-04 | 2014-08-07 | Helen Of Troy Limited | Method for identifying objects in a subject's ear |
JP2015530886A (ja) * | 2012-06-27 | 2015-10-29 | バウチャー、ライアン | 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5078150A (en) * | 1988-05-02 | 1992-01-07 | Olympus Optical Co., Ltd. | Spectral diagnosing apparatus with endoscope |
US6110106A (en) * | 1998-06-24 | 2000-08-29 | Biomax Technologies, Inc. | Endoscopes and methods relating to direct viewing of a target tissue |
KR20040067836A (ko) * | 2000-11-16 | 2004-07-30 | 에이.비.와이. 샤하르 이니셜 다이어그노시스 리미티드 | 귀의 진단 시스템 |
DK1392154T3 (da) * | 2001-05-17 | 2010-10-25 | Oticon As | Fremgangsmåde og anordning til lokalisering af fremmede objekter i øregangen |
SE526735C2 (sv) * | 2003-06-13 | 2005-11-01 | Atos Medical Ab | Anordning för mätning av fysiska egenskaper hos trumhinnan |
US7544163B2 (en) * | 2003-09-26 | 2009-06-09 | Tidal Photonics, Inc. | Apparatus and methods relating to expanded dynamic range imaging endoscope systems |
US20070255108A1 (en) * | 2006-05-01 | 2007-11-01 | Schmitz James D | Water resistant l.e.d. pocket otoscope |
US8115934B2 (en) * | 2008-01-18 | 2012-02-14 | The Board Of Trustees Of The University Of Illinois | Device and method for imaging the ear using optical coherence tomography |
PT104131B (pt) | 2008-07-14 | 2010-10-20 | Univ Do Porto | Dispositivo para a medição e análise da cor do ouvido externo e canal auditivo |
US7995214B2 (en) | 2009-07-28 | 2011-08-09 | Siemens Medical Instruments Pte. Ltd. | Apparatus and method for recording the shape of an ear section |
DE102009034993A1 (de) * | 2009-07-28 | 2011-02-10 | Siemens Medical Instruments Pte. Ltd. | Vorrichtung und Verfahren zum Erfassen der Gestalt eines Ohrabschnitts |
EP3403568B1 (en) * | 2010-03-30 | 2023-11-01 | 3Shape A/S | Scanning of cavities with restricted accessibility |
KR101223283B1 (ko) * | 2011-03-08 | 2013-01-21 | 경북대학교 산학협력단 | 진단 및 디스플레이 일체형 광 단층 촬영 검이경 |
US11510600B2 (en) * | 2012-01-04 | 2022-11-29 | The Trustees Of Dartmouth College | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance |
WO2013116316A1 (en) * | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
WO2014021994A1 (en) * | 2012-08-03 | 2014-02-06 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Method and apparatus for aiding in the diagnosis of otitis media by classifying tympanic membrane images |
US9565996B2 (en) * | 2013-01-18 | 2017-02-14 | Ricoh Company, Ltd. | Plenoptic otoscope |
US10327627B2 (en) * | 2013-01-18 | 2019-06-25 | Ricoh Company, Ltd. | Use of plenoptic otoscope data for aiding medical diagnosis |
JP2016510236A (ja) * | 2013-02-04 | 2016-04-07 | ヘレン オブ トロイ リミテッド | 耳検査装置及び被験体の耳の状態を決定する方法 |
US9392933B2 (en) * | 2014-03-06 | 2016-07-19 | Ricoh Company, Ltd. | Otoscope illumination |
JP6204314B2 (ja) * | 2014-09-03 | 2017-09-27 | Hoya株式会社 | 電子内視鏡システム |
-
2015
- 2015-05-05 AU AU2015258114A patent/AU2015258114B2/en not_active Ceased
- 2015-05-05 CN CN201580022876.9A patent/CN106455987B/zh not_active Expired - Fee Related
- 2015-05-05 CA CA2946342A patent/CA2946342A1/en not_active Abandoned
- 2015-05-05 WO PCT/EP2015/000915 patent/WO2015169436A1/en active Application Filing
- 2015-05-05 WO PCT/EP2015/000914 patent/WO2015169435A1/en active Application Filing
- 2015-05-05 JP JP2016566601A patent/JP6731856B2/ja not_active Expired - Fee Related
- 2015-05-05 EP EP15722444.5A patent/EP3139813A1/en not_active Withdrawn
- 2015-05-05 SG SG11201608738SA patent/SG11201608738SA/en unknown
- 2015-05-05 KR KR1020167029822A patent/KR20160146740A/ko not_active Application Discontinuation
- 2015-05-05 JP JP2016566604A patent/JP6731857B2/ja not_active Expired - Fee Related
- 2015-05-05 SG SG10201809832YA patent/SG10201809832YA/en unknown
- 2015-05-05 KR KR1020167030743A patent/KR102378345B1/ko active IP Right Grant
- 2015-05-05 US US15/307,781 patent/US10307048B2/en active Active
- 2015-05-05 CN CN201580022872.0A patent/CN106455964B/zh not_active Expired - Fee Related
- 2015-05-05 EP EP15720912.3A patent/EP3139809A1/en not_active Withdrawn
- 2015-05-05 SG SG10201809839SA patent/SG10201809839SA/en unknown
- 2015-05-05 US US15/307,778 patent/US11147440B2/en active Active
- 2015-05-05 SG SG11201608736PA patent/SG11201608736PA/en unknown
- 2015-05-05 MX MX2016014174A patent/MX2016014174A/es unknown
- 2015-05-05 CA CA2946340A patent/CA2946340A1/en not_active Abandoned
- 2015-05-05 AU AU2015258115A patent/AU2015258115B2/en not_active Ceased
- 2015-05-05 MX MX2016014177A patent/MX2016014177A/es unknown
-
2018
- 2018-12-31 US US16/236,781 patent/US20190269311A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006084425A (ja) * | 2004-09-17 | 2006-03-30 | Tokyo Institute Of Technology | マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法 |
WO2007049562A1 (ja) * | 2005-10-24 | 2007-05-03 | Matsushita Electric Industrial Co., Ltd. | 生体成分濃度測定装置 |
WO2009157825A1 (en) * | 2008-06-24 | 2009-12-30 | Atos Medical Ab | A method and device for diagnosing ear conditions |
JP2014505494A (ja) * | 2010-11-04 | 2014-03-06 | ザ クリーブランド クリニック ファウンデーション | 中耳流動体の存在の有無を決定するための装置および方法 |
JP2015530886A (ja) * | 2012-06-27 | 2015-10-29 | バウチャー、ライアン | 医療診断情報を取得するための装置、方法、およびシステム、ならびに遠隔医療サービスの提供 |
WO2014117954A2 (en) * | 2013-02-04 | 2014-08-07 | Helen Of Troy Limited | Method for identifying objects in a subject's ear |
Also Published As
Publication number | Publication date |
---|---|
US10307048B2 (en) | 2019-06-04 |
AU2015258115A1 (en) | 2016-11-10 |
AU2015258115B2 (en) | 2019-11-21 |
SG10201809832YA (en) | 2018-12-28 |
CN106455964A (zh) | 2017-02-22 |
CA2946342A1 (en) | 2015-11-12 |
CN106455987B (zh) | 2021-06-22 |
KR20160146740A (ko) | 2016-12-21 |
EP3139813A1 (en) | 2017-03-15 |
MX2016014174A (es) | 2017-02-13 |
US11147440B2 (en) | 2021-10-19 |
JP6731856B2 (ja) | 2020-07-29 |
CN106455987A (zh) | 2017-02-22 |
US20170049310A1 (en) | 2017-02-23 |
JP6731857B2 (ja) | 2020-07-29 |
MX2016014177A (es) | 2017-05-01 |
JP2017514610A (ja) | 2017-06-08 |
AU2015258114B2 (en) | 2019-11-21 |
AU2015258114A1 (en) | 2016-11-10 |
EP3139809A1 (en) | 2017-03-15 |
US20170049309A1 (en) | 2017-02-23 |
SG11201608738SA (en) | 2016-11-29 |
KR20160149206A (ko) | 2016-12-27 |
SG11201608736PA (en) | 2016-11-29 |
CA2946340A1 (en) | 2015-11-12 |
SG10201809839SA (en) | 2018-12-28 |
WO2015169436A1 (en) | 2015-11-12 |
US20190269311A1 (en) | 2019-09-05 |
KR102378345B1 (ko) | 2022-03-23 |
WO2015169435A1 (en) | 2015-11-12 |
CN106455964B (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6731856B2 (ja) | 耳鏡及びスペクトル解析に基づく耳鏡検査方法 | |
US11058286B2 (en) | Ear inspection device and method of determining a condition of a subject's ear | |
JP6489652B2 (ja) | 耳鏡装置 | |
JP6493921B2 (ja) | 耳鏡装置 | |
JP2005519666A (ja) | 複合耳鏡 | |
JP2019115679A (ja) | 耳鏡装置の作動方法 | |
Cavalcanti et al. | Smartphone‐based spectral imaging otoscope: System development and preliminary study for evaluation of its potential as a mobile diagnostic tool | |
US20210196111A1 (en) | Light-emitting diode based diffuse optical spectroscopy tool | |
US20240138665A1 (en) | Dental imaging system and image analysis | |
WO2019158916A1 (en) | Imaging device and method of imaging a subject's eye |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6731856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |