JP2019534723A - 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 - Google Patents
耳病理を診断するための耳鏡検査画像分析のシステム及び方法 Download PDFInfo
- Publication number
- JP2019534723A JP2019534723A JP2019512207A JP2019512207A JP2019534723A JP 2019534723 A JP2019534723 A JP 2019534723A JP 2019512207 A JP2019512207 A JP 2019512207A JP 2019512207 A JP2019512207 A JP 2019512207A JP 2019534723 A JP2019534723 A JP 2019534723A
- Authority
- JP
- Japan
- Prior art keywords
- images
- pathology
- tympanic
- eardrum
- classifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000002578 otoscopy Methods 0.000 title description 5
- 238000010191 image analysis Methods 0.000 title description 3
- 210000003454 tympanic membrane Anatomy 0.000 claims abstract description 86
- 230000005856 abnormality Effects 0.000 claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000007170 pathology Effects 0.000 claims description 49
- 230000004313 glare Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 24
- 206010033078 Otitis media Diseases 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000013135 deep learning Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 15
- 230000004438 eyesight Effects 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 208000022760 infectious otitis media Diseases 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000000295 complement effect Effects 0.000 claims description 7
- 210000000624 ear auricle Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 239000012530 fluid Substances 0.000 claims description 5
- 206010011732 Cyst Diseases 0.000 claims description 4
- 206010045210 Tympanic Membrane Perforation Diseases 0.000 claims description 4
- 208000031513 cyst Diseases 0.000 claims description 4
- 230000001066 destructive effect Effects 0.000 claims description 4
- 239000012528 membrane Substances 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims 3
- 238000001514 detection method Methods 0.000 description 17
- 238000013459 approach Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 206010050337 Cerumen impaction Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 210000002939 cerumen Anatomy 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 208000005923 otitis media with effusion Diseases 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 208000005141 Otitis Diseases 0.000 description 2
- 208000034189 Sclerosis Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000019258 ear infection Diseases 0.000 description 2
- 210000000959 ear middle Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 102000004405 Collectins Human genes 0.000 description 1
- 108090000909 Collectins Proteins 0.000 description 1
- 235000002779 Morchella esculenta Nutrition 0.000 description 1
- 240000002769 Morchella esculenta Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000032625 disorder of ear Diseases 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
Abstract
Description
本出願は、2016年9月2日に出願された米国仮特許出願第62/382,914号に対する優先権及び利益を主張し、同出願は、参照により完全に組み込まれ、本明細書の一部をなす。
分類性能は、専門的な耳鼻咽喉科医によって生成された「グラウンドトルース」に基づいて評価される。実験では、n=20で、n倍の交差検証技術を使用した。結果を感度、特異性、及び精度メトリック[10]に関して評価した。
記載されたシステム及び方法の予備結果の混同行列を表1に示す。図10A〜10Cは、正確に分類された異常な鼓膜の画像を示す。図11A〜11Cは、異常として分類された17個の正常な鼓膜のうちの3つを含む。同様に、3つの誤って分類された異常な鼓膜を図12A〜12Cに示す。
1.Mironica,I.,C.Vertan,and D.C.Gheorghe.Automatic pediatric otitis detection by classification of global image features.2011.IEEE。
Claims (42)
- 画像から鼓膜病理を分類する方法であって、
画像撮像デバイスを使用して、鼓膜の1つ以上の画像を撮像することと、
前記撮像された1つ以上の画像に対して前処理を実施することと、
前記撮像された1つ以上の画像を使用して、前記鼓膜の病理を分類することと、を含む、方法。 - 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、前記1つ以上の画像からコンピュータビジョン特徴部(CVF)を抽出することと、前記1つ以上の画像から臨床的に有意義な鼓膜特徴部(CMEF)を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる2層積層一般化アルゴリズムによって融合されたCVF及びCMEF情報を使用して前記鼓膜の病理を分類することと、を含む、請求項1に記載の方法。
- 前記前処理工程が、センサーベースの問題を低減することと、前記1つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減された前記1つ以上の画像のコピーを作成することと、のうちの1つ以上を含む、請求項2に記載の方法。
- 前記1つ以上の画像から前記CVFを抽出することが、前記1つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的MPEG−7記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの1つ以上を使用することを含む、請求項2又は3に記載の方法。
- 前記CMEFが、前記1つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項2〜4のいずれか一項に記載の方法。
- CMEFが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項2〜5のいずれか一項に記載の方法。
- 前記2層積層一般化アルゴリズムが、ファジースタック一般化(FSG)分類子を使用することを含む、請求項2〜6のいずれか一項に記載の方法。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動化された異常の識別のために深層学習を使用することを含む、請求項1に記載の方法。
- 前記深層学習が、Inception V3又はResNetを含む深層学習ネットワークを含む、請求項8に記載の方法。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索(CBIR)を使用して前記1つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項1に記載の方法。
- 前記異常が、急性中耳炎(AOM)、滲出性中耳炎(非感染流体)、真珠腫性中耳炎(耳内の一般的な破壊的皮膚嚢胞)、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの1つ以上を含む、請求項8〜10のいずれか一項に記載の方法。
- 前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項1〜11のいずれか一項に記載の方法。
- 前記画像撮像デバイスが、前記鼓膜の1つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項1〜12のいずれか一項に記載の方法。
- 前記画像撮像デバイスが高解像度耳鏡を含む、請求項13に記載の方法。
- 鼓膜病理を画像から分類するためのシステムであって、
画像撮像デバイスであって、前記画像撮像デバイスが、鼓膜の1つ以上の画像を撮像する、画像撮像デバイスと、
前記撮像された1つ以上の画像が記憶されているメモリと、
前記メモリと連通するプロセッサであって、前記プロセッサは、前記プロセッサに、
前記撮像された1つ以上の画像に対して前処理を実施させ、
前記撮像された1つ以上の画像を使用して鼓膜の病理を分類させる、前記メモリに記憶されたコンピュータ可読命令を実行する、システム。 - 前記プロセッサが、前記1つ以上の画像からコンピュータビジョン特徴部(CVF)を抽出することと、前記1つ以上の画像から臨床的に有意義な鼓膜特徴部(CMEF)を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる2層積層一般化アルゴリズムによって融合されたCVF及びCMEF情報を使用して前記鼓膜の病理を分類することと、によって前記鼓膜の病理を分類するコンピュータ可読命令を実行する、請求項15に記載のシステム。
- 前記前処理工程が、センサーベースの問題を低減することと、前記1つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記1つ以上の画像のコピーを作成することと、のうちの1つ以上を含む、請求項16に記載のシステム。
- 前記1つ以上の画像から前記CVFを抽出することが、前記1つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的MPEG−7記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの1つ以上を使用することを含む、請求項16又は17のいずれかに記載のシステム。
- 前記CMEFが、前記1つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項16〜18のいずれか一項に記載のシステム。
- CMEFが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項16〜19のいずれか一項に記載のシステム。
- 前記2層積層一般化アルゴリズムが、ファジースタック一般化(FSG)分類子を使用することを含む、請求項16〜20のいずれか一項に記載のシステム。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動化された異常の識別のために深層学習を使用することを含む、請求項15に記載のシステム。
- 前記深層学習が、Inception V3又はResNetを含む深層学習ネットワークを含む、請求項22に記載のシステム。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索(CBIR)を使用して前記1つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項15に記載のシステム。
- 前記異常が、急性中耳炎(AOM)、滲出性中耳炎(非感染流体)、真珠腫性中耳炎(耳内の一般的な破壊的皮膚嚢胞)、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの1つ以上を含む、請求項22〜24のいずれか一項に記載のシステム。
- 前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項15〜25のいずれか一項に記載のシステム。
- 前記画像撮像デバイスが、前記鼓膜の1つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項15〜26のいずれか一項に記載のシステム。
- 前記画像撮像デバイスが高解像度耳鏡を含む、請求項27に記載のシステム。
- コンピュータ可読媒体上に記憶されたコンピュータ実行可能コードセクションを備えた非一時的コンピュータプログラム製品であって、前記コンピュータ実行可能コードセクションが、画像から鼓膜病理を分類する方法を実施するために、
鼓膜の1つ以上の画像に対して前処理を実施することと、
前記1つ以上の画像を使用して前記鼓膜の病理を分類することと、を含む、非一時的コンピュータプログラム製品。 - 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、前記1つ以上の画像からコンピュータビジョン特徴部(CVF)を抽出することと、前記1つ以上の画像から臨床的に有意義な鼓膜特徴部(CMEF)を抽出することと、強い特徴の代わりに相補的特徴に焦点を当てる2層積層一般化アルゴリズムによって融合されたCVF及びCMEF情報を使用して前記鼓膜の病理を分類することと、を含む、請求項29に記載のコンピュータプログラム製品。
- 前記前処理工程が、センサーベースの問題を低減することと、前記1つ以上の画像内の関心領域を選択することと、光反射を検出することと、これらのグレア効果が低減される前記1つ以上の画像のコピーを作成することと、のうちの1つ以上を含む、請求項30に記載のコンピュータプログラム製品。
- 前記1つ以上の画像から前記CVFを抽出することが、前記1つ以上の画像から色、質感、及び形状情報を抽出するために、視覚的MPEG−7記述子、勾配のヒストグラム、及びグリッドカラーモーメント特徴のうちの1つ以上を使用することを含む、請求項30又は31に記載のコンピュータプログラム製品。
- 前記CMEFが、前記1つ以上の画像から異常及び正常に関する手がかりのいくつかを識別する、請求項30〜32のいずれか一項に記載のコンピュータプログラム製品。
- CMEFが、光円錐の位置、槌骨の視認性、膜の突出、グロメット管の存在、又は耳あかの存在を含む、請求項30〜33のいずれか一項に記載のコンピュータプログラム製品。
- 前記2層積層一般化アルゴリズムが、ファジースタック一般化(FSG)分類子を使用することを含む、請求項30〜34のいずれか一項に記載のコンピュータプログラム製品。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、前記自動化された異常の識別のために深層学習を使用することを含む、請求項29に記載のコンピュータプログラム製品。
- 前記深層学習が、Inception V3又はResNetを含む深層学習ネットワークを含む、請求項36に記載のコンピュータプログラム製品。
- 前記撮像された1つ以上の画像を使用して前記鼓膜の病理を分類することが、コンテンツベースの画像検索(CBIR)を使用して前記1つ以上の画像を画像のライブラリと比較して異常を識別することを含む、請求項29に記載のコンピュータプログラム製品。
- 前記異常が、急性中耳炎(AOM)、滲出性中耳炎(非感染流体)、真珠腫性中耳炎(耳内の一般的な破壊的皮膚嚢胞)、鼓膜穿孔、及び正常と比較しての鼓膜の引っ込みのうちの1つ以上を含む、請求項36〜38のいずれか一項に記載のコンピュータプログラム製品。
- 前処理が、合成画像を生成することを含み、ぼやけ、耳あか、グレア、及び毛髪が前記合成画像から除去される、請求項29〜39のいずれか一項に記載のコンピュータプログラム製品。
- 前記1つ以上の画像が画像撮像デバイスを使用して撮像され、前記画像撮像デバイスが、前記鼓膜の1つ以上の静止画像を撮像するか、又は前記鼓膜のビデオを撮像する、請求項29〜40のいずれか一項に記載のコンピュータプログラム製品。
- 前記画像撮像デバイスが高解像度耳鏡を含む、請求項41に記載のコンピュータプログラム製品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023149250A JP2023182612A (ja) | 2016-09-02 | 2023-09-14 | 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662382914P | 2016-09-02 | 2016-09-02 | |
US62/382,914 | 2016-09-02 | ||
PCT/US2017/049822 WO2018045269A1 (en) | 2016-09-02 | 2017-09-01 | System and method of otoscopy image analysis to diagnose ear pathology |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023149250A Division JP2023182612A (ja) | 2016-09-02 | 2023-09-14 | 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019534723A true JP2019534723A (ja) | 2019-12-05 |
JP2019534723A5 JP2019534723A5 (ja) | 2020-10-01 |
Family
ID=61301689
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019512207A Pending JP2019534723A (ja) | 2016-09-02 | 2017-09-01 | 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 |
JP2023149250A Pending JP2023182612A (ja) | 2016-09-02 | 2023-09-14 | 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023149250A Pending JP2023182612A (ja) | 2016-09-02 | 2023-09-14 | 耳病理を診断するための耳鏡検査画像分析のシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10932662B2 (ja) |
EP (1) | EP3507743B1 (ja) |
JP (2) | JP2019534723A (ja) |
CN (2) | CN117058418A (ja) |
AU (2) | AU2017318691B2 (ja) |
CA (1) | CA3035763A1 (ja) |
WO (1) | WO2018045269A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021141048A1 (ja) * | 2020-01-07 | 2021-07-15 | ||
KR20210121119A (ko) * | 2019-01-25 | 2021-10-07 | 오토넥서스 메디컬 테크놀러지 인코퍼레이티드 | 중이염 진단을 위한 기계 학습 |
KR102595646B1 (ko) * | 2023-03-16 | 2023-10-30 | (주)해우기술 | 심층신경망과 몬테카를로 드롭아웃을 이용한 고막 질병 예측 모델 시스템 |
KR102595647B1 (ko) * | 2023-03-16 | 2023-10-30 | (주)해우기술 | 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10963757B2 (en) | 2018-12-14 | 2021-03-30 | Industrial Technology Research Institute | Neural network model fusion method and electronic device using the same |
FI20197064A1 (fi) * | 2019-04-10 | 2020-10-11 | Otometri Oy | Välikorvatulehduksen multimodaalinen mittaus ja seuranta tekoälyn avulla |
CN110705440B (zh) * | 2019-09-27 | 2022-11-01 | 贵州大学 | 一种基于神经网络特征融合的胶囊内镜图像识别模型 |
DE102019217541A1 (de) | 2019-11-13 | 2021-05-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Medizinische Bildgebungseinrichtung, Verfahren und Verwendung |
CN110910377B (zh) * | 2019-11-28 | 2023-01-03 | 哈尔滨工程大学 | 一种基于神经网络的脑梗死mri图像识别方法 |
USD991279S1 (en) * | 2019-12-09 | 2023-07-04 | Ankon Technologies Co., Ltd | Display screen or portion thereof with transitional graphical user interface |
CN111191684B (zh) * | 2019-12-12 | 2023-04-07 | 中山大学孙逸仙纪念医院 | 一种基于深度学习的具有智能图像分类诊断功能的可视耳内镜 |
CN111079683B (zh) * | 2019-12-24 | 2023-12-12 | 天津大学 | 基于卷积神经网络的遥感图像云雪检测方法 |
US11449717B2 (en) * | 2020-03-12 | 2022-09-20 | Fujifilm Business Innovation Corp. | System and method for identification and localization of images using triplet loss and predicted regions |
US11950847B1 (en) | 2020-03-24 | 2024-04-09 | Al Optics Inc. | Portable medical diagnostics device with integrated artificial intelligence capabilities |
KR102330806B1 (ko) * | 2020-03-26 | 2021-11-24 | 사회복지법인 삼성생명공익재단 | 인공신경망을 이용한 내이기관 내림프수종 비율 측정 방법 및 그 장치 |
US20230172427A1 (en) * | 2020-04-09 | 2023-06-08 | The Johns Hopkins University | Methods and related aspects for ear pathology detection |
US11998167B2 (en) * | 2020-10-06 | 2024-06-04 | Cohi Group Llc | Remote medical examination |
WO2022139943A2 (en) * | 2020-10-23 | 2022-06-30 | Remmie, Inc. | Machine learning for ear disease diagnosis assistance |
CA3207781A1 (en) * | 2021-02-08 | 2022-08-11 | Metin Gurcan | System and method of using right and left eardrum otoscopy images for automated otoscopy image analysis to diagnose ear pathology |
EP4291089A1 (en) | 2021-02-12 | 2023-12-20 | Ohio State Innovation Foundation | System and method of using visually-descriptive words to diagnose ear pathology |
CN113011503B (zh) * | 2021-03-17 | 2021-11-23 | 彭黎文 | 一种电子设备的数据取证方法、存储介质及终端 |
CN113139944B (zh) * | 2021-04-25 | 2023-05-12 | 山东大学齐鲁医院 | 一种基于深度学习的阴道镜图像分类计算机辅助诊断系统和方法 |
KR20230030799A (ko) * | 2021-08-26 | 2023-03-07 | 재단법인 아산사회복지재단 | 중이염 고막 영상에 기계 학습 모델을 이용하여 정상 고막 영상을 생성하기 위한 고막 영상 처리 장치 및 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005349205A (ja) * | 2004-06-09 | 2005-12-22 | Siemens Ag | 検査対象の平らな断層の表示最適化方法および断層撮影装置 |
JP2012176094A (ja) * | 2011-02-25 | 2012-09-13 | Canon Inc | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム |
US20150065803A1 (en) * | 2013-09-05 | 2015-03-05 | Erik Scott DOUGLAS | Apparatuses and methods for mobile imaging and analysis |
US20150305609A1 (en) * | 2012-08-03 | 2015-10-29 | Carnegie Mellon University | Method and apparatus for aiding in the diagnosis of otitis media by classifying tympanic membrane images |
JP2016510235A (ja) * | 2013-02-04 | 2016-04-07 | ヘレン オブ トロイ リミテッド | 被験体の耳内の物体を同定する方法 |
WO2016110993A1 (ja) * | 2015-01-09 | 2016-07-14 | オリンパス株式会社 | 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961736B1 (en) * | 2002-05-31 | 2005-11-01 | Adobe Systems Incorporated | Compact color feature vector representation |
US8503747B2 (en) * | 2010-05-03 | 2013-08-06 | Sti Medical Systems, Llc | Image analysis for cervical neoplasia detection and diagnosis |
ITPI20110054A1 (it) * | 2011-05-16 | 2012-11-17 | Echolight S R L | Apparato ad ultrasuoni per valutare lo stato della struttura ossea di un paziente |
KR101286054B1 (ko) * | 2011-11-02 | 2013-07-23 | 연세대학교 산학협력단 | 테라헤르츠파를 이용한 중이염 진단용 프로브, 중이염 진단 시스템 및 방법 |
US20150363660A1 (en) * | 2014-06-12 | 2015-12-17 | Asap54.Com Ltd | System for automated segmentation of images through layout classification |
TWI582717B (zh) * | 2016-05-05 | 2017-05-11 | Univ Nat Central | 中耳炎資料庫建立的方法、系統及其影像分析應用 |
CA3207781A1 (en) * | 2021-02-08 | 2022-08-11 | Metin Gurcan | System and method of using right and left eardrum otoscopy images for automated otoscopy image analysis to diagnose ear pathology |
-
2017
- 2017-09-01 CN CN202311035914.7A patent/CN117058418A/zh active Pending
- 2017-09-01 CA CA3035763A patent/CA3035763A1/en active Pending
- 2017-09-01 WO PCT/US2017/049822 patent/WO2018045269A1/en unknown
- 2017-09-01 CN CN201780067908.6A patent/CN109997147B/zh active Active
- 2017-09-01 US US16/329,903 patent/US10932662B2/en active Active
- 2017-09-01 EP EP17847614.9A patent/EP3507743B1/en active Active
- 2017-09-01 AU AU2017318691A patent/AU2017318691B2/en active Active
- 2017-09-01 JP JP2019512207A patent/JP2019534723A/ja active Pending
-
2021
- 2021-03-01 US US17/188,681 patent/US11612311B2/en active Active
-
2022
- 2022-08-26 AU AU2022221521A patent/AU2022221521A1/en active Pending
-
2023
- 2023-09-14 JP JP2023149250A patent/JP2023182612A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005349205A (ja) * | 2004-06-09 | 2005-12-22 | Siemens Ag | 検査対象の平らな断層の表示最適化方法および断層撮影装置 |
JP2012176094A (ja) * | 2011-02-25 | 2012-09-13 | Canon Inc | 画像処理装置、画像処理方法、画像処理システム、slo装置、およびプログラム |
US20150305609A1 (en) * | 2012-08-03 | 2015-10-29 | Carnegie Mellon University | Method and apparatus for aiding in the diagnosis of otitis media by classifying tympanic membrane images |
JP2016510235A (ja) * | 2013-02-04 | 2016-04-07 | ヘレン オブ トロイ リミテッド | 被験体の耳内の物体を同定する方法 |
US20150065803A1 (en) * | 2013-09-05 | 2015-03-05 | Erik Scott DOUGLAS | Apparatuses and methods for mobile imaging and analysis |
WO2016110993A1 (ja) * | 2015-01-09 | 2016-07-14 | オリンパス株式会社 | 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210121119A (ko) * | 2019-01-25 | 2021-10-07 | 오토넥서스 메디컬 테크놀러지 인코퍼레이티드 | 중이염 진단을 위한 기계 학습 |
KR102650078B1 (ko) | 2019-01-25 | 2024-03-25 | 오토넥서스 메디컬 테크놀러지 인코퍼레이티드 | 중이염 진단을 위한 기계 학습 |
JPWO2021141048A1 (ja) * | 2020-01-07 | 2021-07-15 | ||
KR102595646B1 (ko) * | 2023-03-16 | 2023-10-30 | (주)해우기술 | 심층신경망과 몬테카를로 드롭아웃을 이용한 고막 질병 예측 모델 시스템 |
KR102595647B1 (ko) * | 2023-03-16 | 2023-10-30 | (주)해우기술 | 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20190216308A1 (en) | 2019-07-18 |
AU2017318691A1 (en) | 2019-04-11 |
CN117058418A (zh) | 2023-11-14 |
CN109997147B (zh) | 2023-09-05 |
US10932662B2 (en) | 2021-03-02 |
EP3507743A4 (en) | 2020-03-11 |
AU2022221521A1 (en) | 2022-10-06 |
CN109997147A (zh) | 2019-07-09 |
US20210228071A1 (en) | 2021-07-29 |
EP3507743B1 (en) | 2023-11-22 |
AU2017318691B2 (en) | 2022-05-26 |
WO2018045269A1 (en) | 2018-03-08 |
JP2023182612A (ja) | 2023-12-26 |
CA3035763A1 (en) | 2018-03-08 |
EP3507743A1 (en) | 2019-07-10 |
US11612311B2 (en) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11612311B2 (en) | System and method of otoscopy image analysis to diagnose ear pathology | |
Pires et al. | Assessing the need for referral in automatic diabetic retinopathy detection | |
Camalan et al. | OtoMatch: Content-based eardrum image retrieval using deep learning | |
JP2024045234A (ja) | 腸の病理学のための画像スコアリング | |
Vocaturo et al. | Dangerousness of dysplastic nevi: A multiple instance learning solution for early diagnosis | |
Yousef et al. | A deep learning approach for quantifying vocal fold dynamics during connected speech using laryngeal high-speed videoendoscopy | |
US20220261987A1 (en) | System and method of using right and left eardrum otoscopy images for automated otoscopy image analysis to diagnose ear pathology | |
Du et al. | Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning | |
Tashk et al. | An innovative polyp detection method from colon capsule endoscopy images based on a novel combination of RCNN and DRLSE | |
Nandy et al. | An incremental feature extraction framework for referable diabetic retinopathy detection | |
Binol et al. | OtoXNet—Automated identification of eardrum diseases from otoscope videos: A deep learning study for video-representing images | |
Naeem et al. | DVFNet: A deep feature fusion-based model for the multiclassification of skin cancer utilizing dermoscopy images | |
Afriyie et al. | Exploring optimised capsule network on complex images for medical diagnosis | |
Jere et al. | Deep learning-based architecture for social anxiety diagnosis | |
Jani et al. | Computer aided diagnosis system for ulcer detection in capsule endoscopy using optimized feature set | |
US11998318B2 (en) | System and method of using visually-descriptive words to diagnose ear pathology | |
de Belen et al. | Using visual attention estimation on videos for automated prediction of autism spectrum disorder and symptom severity in preschool children | |
Shengbin et al. | Alzheimer’s disease classification algorithm based on fusion of channel attention and densely connected networks | |
Eimen et al. | Towards improved 3D reconstruction of cystoscopies through real-time feedback for frame reacquisition | |
Manjunath et al. | Deep Learning Architectures for Abnormality Detection in Endoscopy Videos. | |
Sharmila Joseph et al. | Earlier laryngeal cancer detection using hybrid M-RCNN technique | |
Yuan et al. | Learning from large dataset: segmentation of capsule endoscopy videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200820 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220520 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230914 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231004 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231215 |