JP2018526711A - ブレインコンピュータインタフェースによる画像の分類 - Google Patents
ブレインコンピュータインタフェースによる画像の分類 Download PDFInfo
- Publication number
- JP2018526711A JP2018526711A JP2017563112A JP2017563112A JP2018526711A JP 2018526711 A JP2018526711 A JP 2018526711A JP 2017563112 A JP2017563112 A JP 2017563112A JP 2017563112 A JP2017563112 A JP 2017563112A JP 2018526711 A JP2018526711 A JP 2018526711A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neurophysiological
- classifying
- observer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 51
- 230000001537 neural effect Effects 0.000 claims abstract description 328
- 238000000034 method Methods 0.000 claims abstract description 305
- 238000001514 detection method Methods 0.000 claims abstract description 146
- 230000004438 eyesight Effects 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims description 63
- 230000004044 response Effects 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 56
- 230000002123 temporal effect Effects 0.000 claims description 35
- 210000003205 muscle Anatomy 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004397 blinking Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000004751 neurological system process Effects 0.000 claims 2
- 238000000537 electroencephalography Methods 0.000 description 55
- 239000011159 matrix material Substances 0.000 description 41
- 239000013598 vector Substances 0.000 description 32
- 238000012549 training Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 238000000513 principal component analysis Methods 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 15
- 238000009826 distribution Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005315 distribution function Methods 0.000 description 10
- 206010016256 fatigue Diseases 0.000 description 10
- 238000007477 logistic regression Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 230000036403 neuro physiology Effects 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 230000007177 brain activity Effects 0.000 description 5
- 238000012880 independent component analysis Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 208000019914 Mental Fatigue Diseases 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000004962 physiological condition Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000001595 mastoid Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003923 mental ability Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
- A61B5/378—Visual stimuli
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Psychology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
Abstract
【選択図】図18
Description
以下の実施例を参照する。これらの実施例は、上の説明と合わせて、本発明のいくつかの実施形態を説明する(ただし本発明はこれらの実施例によって制限されない)。
プロトタイプのシステム
コンピュータビジョンが大きく進歩したにもかかわらず、人間の視知覚系の能力は、特に、柔軟性、学習能力、および変化する観察条件に対する安定性に関する限り、最高の人工知能システムさえも依然として上回っている。しかしながら、大量の画像(手荷物検査のX線画像や医用画像、監視カメラからの被疑者の画像、あるいは衛星航空画像など)を仕分けすることに関しては、人間はほぼ正確であるが、遅すぎる。そのボトルネックは、主として知覚過程に起因するのではなく(知覚過程はかなり速い)、決定を記録する(言葉で記録する、または書いて記録する、またはボタンを押すことによって記録する)のに要する時間に起因する。この障害条件を克服するため、観察者が自分の決定を明示的に報告する必要性から解放することができ、その一方で、画像が極めて高速で提示されるときに、コンピュータ化アルゴリズムによって観察者の単一試行脳反応(single trial brain responses)のパターンを仕分けする。
コンピュータビジョンモジュールは、オプションとして好ましくは、最初に入力画像をふるい分けし、目標物または目的の対象物を含む可能性のある領域、および/または、目標物または目的の対象物を確実に含まない領域、を識別するために使用される。合計検査時間を短縮するため、目標物の確率が、事前に選択される調整可能なしきい値より小さい画像または画像の一部は、人間の観察者に提示されない。オプションとして好ましくは、目標物の確率がしきい値より大きい画像を小さいタイルに分割し、タイルのサイズは、人間の視覚認識用に適合させる(例えば最適化する)。オプションとして好ましくは、人間の観察者が関心領域をより速く検出および検査するのを支援するため、この分割は、検出される関心領域が含まれるように行う。
このアルゴリズムは、非特許文献1に基づくことができる。オプションとして好ましくは、画像は、ビジュアルワードの「バッグ」(例えば特定の記述子によって記述されているパッチ)として表される。
特徴抽出モジュールを訓練する目的で、オートエンコーダによる教師なし特徴学習用に画像を使用する。画像から、オプションとして好ましくはランダムに、小さいn×nパッチを抽出し、各パッチを連結して、n2個の要素を有する列ベクトル
人間の観察者に提示する画像は、以下の少なくとも1つに基づいて配置する。
(a)コンピュータビジョンモジュールによって事前に選択された画像。
(b)分類スコアが中程度であり、画像に目標物が含まれているか否かを確定的に決定できない分類スコアを有する画像であって、オプションとして好ましくは観察者にもう一度提示して、新しいスコアを前の利用可能なスコアと組み合わせる画像。
(c)前処理モジュールによって、再提示するように戻された画像(例えば、瞬目している間、またはEEGアーチファクトが発生している間に提示された画像)。
(d)セッション全体を通じて精度レベル、疲労、および注意力を測定できるようにする目的で観察者に表示される、事前に分類された画像(以下を参照)。
神経生理学的データ(EEGデータなど、ただしこれに限定されない)を、多数のチャンネルから、オプションとして好ましくは同時に、オプションとして好ましくは高い時間分解能で、収集する。EEGデータは、市販されているEEG取得システムを使用して得ることができる。そのようなシステムの1つは、64個の焼結Ag/AgCl電極を使用するActive 2システム(オランダのBioSemi社)とすることができる。次の位置、すなわち、乳様突起における2つ、左目および右目の外眼角に配置される2つの水平EOGチャンネル(それぞれHEOGLおよびHEOGR)、2つの垂直EOGチャンネル(右目の下に1つ(眼窩下、VEOGI)および上に1つ(眼窩上、VEOGS))、および鼻の先端におけるチャンネル、のうちの1つまたは複数、オプションとして好ましくはすべてに、追加の電極を配置することができる。さらなるシステムは、64個の電極セットを備えた、Electrical Geodesics社のGES400システムとすることができる。
前処理の利点として、単一試行において課題に関連する脳の反応を識別し、それらを関連する脳状態に類別することによって、柔軟なリアルタイムフィードバックまたは対話が可能になる。
(a)フィルタリング。スロードリフトおよび高周波数干渉を除去するため、データを、例えば0.1〜30Hzの範囲内(ただし別の周波数帯域も意図されている)の帯域通過フィルタに通す。
(b)ノイズ除去。分類が成功する確率を高めるため、オプションとして好ましくは、脳の反応のデータから、ウェーブレット解析または他の方法を使用してさらにノイズ除去する。
(c)瞬目の検出および除去
(d)アーチファクトの除去
(e)データのセグメント化。データをセグメント化して、各画像の提示の開始より例えば100ms前から始まり例えば900ms後に終わる1秒間の事象関連セグメントにする。セグメント化の別のタイミングも意図されている。
(f)ベースライン補正。例えば、各試行および各チャンネルで独立して、刺激開始の前の100msについて平均活動を計算する。平均化の別の期間も意図されている。
脳波をリアルタイムで分類できるようにする目的で、オプションとして好ましくは、本システムを使用者ごとに個別に訓練し、脳の反応を学習させる。訓練は、事前に分類された画像を使用者に提示し、これらの画像に対する脳の反応を、EEG電極を使用して記録し、記録された脳の活動を使用してEEG分類器を訓練することによって、実行することができる。画像訓練セットは、オプションとして好ましくは、目標物画像および非目標物画像の両方を含む。
分類モジュールは、時空間EEGデータを受信し、次の方法、すなわち、SWFP(空間的に重み付けされたFLD−PCA)(Spatially Weighted FLD-PCA)分類器、深層畳み込みネット(Deep convolutional net)分類器、および複数の分類器、のうちの1つまたは複数に基づいて、脳の反応を分類する。
段階I:
a)時間点を独立して分類し、判別重みの時空間行列(U)を計算する。これを実施するため、入力行列Xnの各列ベクトルxn,tをとる。各列は、時刻tにおけるEEG信号の空間分布を表しており、分析のこのステップでは、すべての時間点を独立して扱う。訓練セット内のn=1...Nの試行すべてに基づいて、各時間点t=1...Tに対する個別のFLD分類器を訓練し、各時間点tの空間重みベクトルwtを得る。これらの重みベクトルを、時空間重み付け行列Uの列として設定する。Uの次元はXの次元と同じである。
b)この重み付け行列Uを使用して、時空間点それぞれにおける判別重みによって元の時空間データ行列(Xn)を展開し、空間的に重み付けされた行列Xwnを生成する。この展開を実施するため、試行入力行列Xnと重み付け行列Uのアダマール積を、2つの行列の要素ごとの乗算によって計算する。
a)行列^Xnの行を連結して特徴表現ベクトルznを生成し、このベクトルznは、単一試行nの、時間的に近似され空間的に重み付けされた活動を表す。
これらの実施形態では、分類器を深層畳み込みニューラルネットワークとして設計する。分類器は、次元Nchan×Nt(NchanはEEGチャンネルの数、Ntは時間点の数)の行列としてEEG信号を受信し、提示された刺激が目標物であった確率の推定値であるスコア(0≦p≦1)を生成する。ロジスティック回帰のコスト関数が最小になるように、確率的勾配降下法(SGD)を使用してネットワークを訓練することができる。
1.好ましくはドロップアウト比0.2のドロップアウト層
2.好ましくはサイズNchan×1の96個の畳み込みカーネル(これらのカーネルは各時間点に対して空間フィルタリングを実行する)を有する畳み込み層(Conv1)
3.ReLU非線形性層(入力を関数f(x)=max(x,0)に通す)
4.好ましくはプーリングカーネルサイズ1×3およびストライド2を有するマックスプーリング層(Pool1)
5.好ましくはサイズ1×6の128個のカーネルを有する第2の畳み込み層(Conv2)(時間フィルタリング)
6.第2のReLU非線形性層
7.好ましくはプーリングカーネルサイズ1×3およびストライド2を有する第2のマックスプーリング層(Pool2)
8.好ましくはサイズ1×6の128個のカーネルを有する第3の畳み込み層(Conv3)
9.第3のReLU非線形性層
10.好ましくは2048個の出力を有する完全に結合された層(FC1)(この層への入力は列ベクトル
11.第4のReLU非線形性層
12.好ましくはドロップアウト比0.5の第2のドロップアウト層
13.好ましくは4096個の出力を有する第2の完全に結合された層(FC2)
14.第5のReLU非線形性層
15.好ましくはドロップアウト比0.5の第3のドロップアウト層
16.例えば以下(ただしこれに限定されない)のロジスティック回帰関数に従ってpを計算するロジスティック回帰層
SWFP分類器と深層畳み込みネット分類器の両方の利点を生かすため、画像の総スコアを、オプションとして好ましくは、両方の分類器から受信するスコアの組合せとすることができる。SWFPアルゴリズムでは、分類にFLD(フィッシャーの線形判別)を採用し、したがってこのアルゴリズムによって生成されるスコアの大きさは特定の訓練データに依存するのに対して、深層ネット分類器ではロジスティック回帰を使用し、したがってつねに領域[0,1]内のスコアが生成される。スコアを比較できるようにするため、オプションとして好ましくは、SWFPスコア(以下ではxFLDと表す)を再スケーリングする。例えば、訓練データからのガウス関数を使用して、条件付き確率(Pr(xFLD|y=n)をフィットさせることができ、ここでyは画像のラベルであり、nは、非目標物画像の場合には0、目標物画像の場合には1である。
画像の総スコアは、
分析モジュールは、分析の方法を実行する。図6は、本発明のいくつかの実施形態による分析モジュールによって実行される方法のブロック図を示している。分析モジュールは、EEG分類モジュールからの画像分類スコアと、コンピュータビジョンモジュールからの画像分類スコアとを受信し、以下の動作のうちの1つまたは複数を実行する。
本発明のさまざまな例示的な実施形態においては、訓練手順にニューロフィードバックモジュールを組み込む。分類器の最初の訓練に続いて、その後の分類結果を、各刺激の後に、正しく分類された場合の正のフィードバック(検出)および間違って分類された場合の負のフィードバック(誤検出)[2値フィードバック]として、または分類器のスコアのフィードバック[非2値フィードバック]として、使用者にフィードバックする。その結果として、使用者は、正のフィードバックの量を増やし負のフィードバックの量を減らすように目指すことによって、分類器の性能を改善することに関して、刺激に対する自分の脳の反応を変化させる方法を学習する。学習過程は、暗黙的とする(使用者は自身が受け取るフィードバックを改善するために自分が何をしているかを明確に説明することができない)、または明示的とする(フィードバックを改善する認識的な方策または感情的な方策を使用者に適用させることによる)ことができる。使用者が分類器の結果の改善に成功した時点で、このプロセスを繰り返し、すなわち、新しい分類パラメータを学習させ、再び使用者にフィードバックを送る。この閉ループプロセスは、分類器の精度と、使用者の脳の反応と分類器が学習した想定の一致性とを繰り返し改善することによって、分類器の精度を向上させることを目的とする。さらに、システムの分類を改善するために使用者の脳の反応を適合させることによって、使用者の画像解釈能力も向上し、なぜなら使用者は、システムが何を目標物とみなし何を非目標物とみなすかを暗黙的に学習するためである。
本発明の実施形態のシステムは、結果を2つ以上の方法で提示することができる。以下では2つの例を説明する。
大量の個々の画像(例えば手荷物のX線画像や医用画像)を分類するため、本発明の実施形態のシステムは、画像をアルバムに配置することができる(図7の代表的なスクリーンショットを参照)。各画像に、EEG分類器によってスコアを与える。本発明の実施形態では、画像をそれぞれのスコアによって仕分けする。本発明のいくつかの実施形態においては、スコアが特定のしきい値Tを超える画像のみを画面に提示し、目標物として分類する。しきい値Tは、使用者によってリアルタイムで調整することができる。
地図、衛星画像、または空撮画像などの大きな画像の場合、本発明の実施形態のシステムを使用してヒートマップを生成することが有利である(図8の代表的なスクリーンショットを参照)。これらの実施形態では、画像をタイルに分割し、このときx方向およびy方向の両方において隣り合うタイルが重なる。重なりは、オプションとして好ましくは、タイルの小部分pが隣接するタイルと共有される領域であり、この場合、小部分pは、何らかの小部分しきい値より大きい(例えばp>0.5、ただし小部分しきい値の別の値も意図されている)。各タイルを、n=(1−p)−2個の部分に分割することができ、したがって各部分は、n−1個の別の異なるタイル内にも現れる。例えば50%の重なりの場合、p=0.5であり、各タイルを四つ切りに分割することができ、四つ切りは他の3つのタイルにも現れる。次に、行列の各要素qijがn番目のタイルに対応するように、ヒートマップを行列Qとして具体化する。
X線/CT画像
手荷物や貨物のX線/CT画像、および医用X線/CT画像を、本発明の実施形態のシステムを使用して検査することができる。実施例1において説明したプロトタイプシステムを使用して、空港の手荷物検査場の手荷物のX線画像を分類して危険物(銃器、鋭利な物)を含む画像を検出することに成功した。以下は実験の結果である。
図9Aは、EEG電極(Pz)の1つにおける、目標物および非目標物に対する平均的な脳の反応(ERP)を示している。図9Bは、画像を提示してから400〜800ミリ秒後の頭部における電位の分布を示している。赤みを帯びた色は、分類に有用である高いエネルギを示している。
各画像に分類スコアを割り当てた。図11は、試験段階のデータセットのスコア分布を実例で示している。危険物を含むカバンでは、危険物を含まないカバンよりも全体的に高い分類スコアが生成された。
分類スコアのしきい値を選択することによって、危険物と分類される画像と、危険物ではないと分類される画像とが決まる。与えられた動作シナリオに基づいて、検出と誤検出との間の最適なトレードオフが達成されるように、または、例えば0%の見落としまたは0%の誤検出が確保されるように、しきい値を設定することができる。
空撮画像
本発明の実施形態のシステムを使用して、空撮画像を解釈して目標物または目的の対象物を検出することができる。実施例1において説明したプロトタイプシステムは、100平方キロメートルの空撮画像内で建物を検出するテストに成功した。下の表は、この課題における検出/誤検出/d’の割合をまとめたものであり、この場合、1人の被験者に対して5Hzの速度(2回のセッション)および10Hzの速度(4回のセッション)で、画像を提示した。
顔検出
実施例1において説明したプロトタイプシステムは、特定の人の顔の画像を別の顔の画像の中で検出するテストに成功した。
Claims (104)
- 画像を分類する方法であって、
前記画像にコンピュータビジョン手順を適用して、目標物によって占有されていると疑われる候補画像領域を前記画像内で検出するステップと、
各候補画像領域を視覚刺激として観察者に提示する一方、前記観察者の脳から神経生理学的信号を収集するステップと、
前記神経生理学的信号を処理して、前記観察者による前記目標物の検出を示す神経生理学的事象を識別するステップと、
少なくとも部分的に前記神経生理学的事象の前記識別に基づいて、前記画像内の前記目標物の存在を判定するステップと、
を含む、
画像を分類する方法。 - 少なくとも1つのタイルが候補画像領域を包含するように、前記画像を複数の画像タイルにタイル分割するステップをさらに含み、
前記少なくとも1つのタイルを提示して各候補画像領域を提示する、
請求項1に記載の画像を分類する方法。 - 前記画像に神経生理学的検出スコアを割り当てるステップをさらに含み、
少なくとも部分的に前記神経生理学的検出スコアに基づいて、前記画像内の前記目標物の前記存在を判定する、
請求項1または2に記載の画像を分類する方法。 - 前記コンピュータビジョン手順を使用して前記画像にコンピュータ検出スコアを割り当てるステップをさらに含み、
前記コンピュータ検出スコアおよび前記神経生理学的検出スコアに基づいて、前記画像内の前記目標物の前記存在を判定する、
請求項3に記載の画像を分類する方法。 - 少なくとも1つの画像領域または画像領域のグループについて、前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較するステップと、
前記比較に基づいて、前記少なくとも1つの画像領域または画像領域のグループを前記観察者に再提示するステップと、
をさらに含む、
請求項4に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
画像領域または画像領域のグループを前に提示している間に前記瞬目が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示するステップと、
をさらに含む、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
画像領域または画像領域のグループを前に提示している間に前記瞬目が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示するステップと、
をさらに含む、
請求項2〜5のいずれか一項に記載の画像を分類する方法。 - 少なくとも1つの画像領域について前記提示および前記神経生理学的事象の前記識別を繰り返すステップと、
前記少なくとも1つの画像領域の前記識別を前の識別と比較するステップと、
前記比較に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項1に記載の画像を分類する方法。 - 少なくとも1つの画像領域について前記提示および前記神経生理学的事象の前記識別を繰り返すステップと、
前記少なくとも1つの画像領域の前記識別を前の識別と比較するステップと、
前記比較に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項2〜7のいずれか一項に記載の画像を分類する方法。 - 前記目標物を含むデータベース画像領域を前記観察者に提示するステップと、
前記神経生理学的信号を処理して、前記観察者による前記データベース画像領域内の前記目標物の検出を示す神経生理学的事象を識別するステップと、
前記識別に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項1に記載の画像を分類する方法。 - 前記目標物を含むデータベース画像領域を前記観察者に提示するステップと、
前記神経生理学的信号を処理して、前記観察者による前記データベース画像領域内の前記目標物の検出を示す神経生理学的事象を識別するステップと、
前記識別に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項2〜9のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して筋緊張を識別するステップと、
画像領域または画像領域のグループを前に提示している間に前記筋緊張が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示するステップと、
をさらに含む、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して筋緊張を識別するステップと、
画像領域または画像領域のグループを前に提示している間に前記筋緊張が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示するステップと、
をさらに含む、
請求項2〜11のいずれか一項に記載の画像を分類する方法。 - 画像を分類する方法であって、
前記画像にコンピュータビジョン手順を適用して前記画像内で目標物を検出し、前記コンピュータビジョン手順を使用して前記画像にコンピュータ検出スコアを割り当てるステップと、
前記画像を視覚刺激として観察者に提示する一方、前記観察者の脳から神経生理学的信号を収集するステップと、
前記神経生理学的信号を処理して、前記観察者による前記目標物の検出を示す神経生理学的事象を識別し、前記識別に基づいて前記画像に神経生理学的検出スコアを割り当てるステップと、
前記コンピュータ検出スコアおよび前記神経生理学的検出スコアに基づいて前記画像内の前記目標物の存在を判定するステップと、
を含む、
画像を分類する方法。 - 前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較するステップと、
前記比較に基づいて前記観察者に前記画像を再提示するステップと、
をさらに含む、
請求項14に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
前記画像を前に提示している間に瞬目が識別されたことに応じて、前記画像を前記観察者に再提示するステップと、
をさらに含む、
請求項14または15に記載の画像を分類する方法。 - 前記提示および前記神経生理学的事象の前記識別を繰り返すステップと、
前記画像の前記識別を前の識別と比較するステップと、
前記比較に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項14〜16のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号がEEG信号を含み、
速波EEGに対する遅波EEGの比率を計算するステップと、
前記比率に基づいて前記観察者の神経生理学的状態を判定するステップと、
を含む、
請求項14〜17のいずれか一項に記載の画像を分類する方法。 - 前記目標物を含むデータベース画像を前記観察者に提示するステップと、
前記神経生理学的信号を処理して、前記観察者による前記データベース画像内の前記目標物の検出を示す神経生理学的事象を識別するステップと、
前記識別に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項14〜18のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して筋緊張を識別するステップと、
前記画像を前に提示している間に前記筋緊張が識別されたことに応じて、前記画像を前記観察者に再提示するステップと、
をさらに含む、
請求項14〜19のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号がEEG信号を含み、
速波EEGに対する遅波EEGの比率を計算するステップと、
前記比率に基づいて前記観察者の神経生理学的状態を判定するステップと、
を含む、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号がEEG信号を含み、
速波EEGに対する遅波EEGの比率を計算するステップと、
前記比率に基づいて前記観察者の神経生理学的状態を判定するステップと、
を含む、
請求項2〜20のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
前記瞬目の時間的パターンを評価するステップと、
前記時間的パターンに基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項1に記載の方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
前記瞬目の時間的パターンを評価するステップと、
前記時間的パターンに基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項2〜22のいずれか一項に記載の画像を分類する方法。 - 前記コンピュータビジョン手順が、クラスタリングを採用する、
請求項1に記載の画像を分類する方法。 - 前記コンピュータビジョン手順が、クラスタリングを採用する、
請求項2〜24のいずれか一項に記載の画像を分類する方法。 - 前記コンピュータビジョン手順が、ニューラルネットワークを採用する、
請求項1に記載の画像を分類する方法。 - 前記コンピュータビジョン手順が、ニューラルネットワークを採用する、
請求項2〜26のいずれか一項に記載の画像を分類する方法。 - 少なくとも150Hzのサンプリングレートで前記神経生理学的信号を収集する、
請求項1に記載の画像を分類する方法。 - 少なくとも150Hzのサンプリングレートで前記神経生理学的信号を収集する、
請求項2〜28のいずれか一項に記載の画像を分類する方法。 - 収集された前記神経生理学的信号に低域通過フィルタを適用するステップをさらに含む、
請求項1に記載の画像を分類する方法。 - 収集された前記神経生理学的信号に低域通過フィルタを適用するステップをさらに含む、
請求項2〜30のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号に対して、空間的に重み付けされたフィッシャー線形判別(SWFLD)分類器を適用し、前記神経生理学的信号を処理する、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号に対して、空間的に重み付けされたフィッシャー線形判別(SWFLD)分類器を適用し、前記神経生理学的信号を処理する、
請求項2〜32のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号に対して、畳み込みニューラルネットワーク(CNN)分類器を適用し、前記神経生理学的信号を処理する、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号に対して、畳み込みニューラルネットワーク(CNN)分類器を適用し、前記神経生理学的信号を処理する、
請求項2〜34のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理する前記ステップが、
空間的に重み付けされたフィッシャー線形判別(SWFLD)分類器を適用するステップと、
前記SWFLD分類器に基づいてSWFLD分類スコアを計算するステップと、
前記神経生理学的信号に対して、畳み込みニューラルネットワーク(CNN)分類器を適用するステップと、
前記CNN分類器に基づいてCNN分類スコアを計算するステップと、
前記SWFLDスコアと前記CNNスコアとを組み合わせるステップと、
を含む、
請求項1に記載の画像を分類する方法。 - 前記神経生理学的信号を処理する前記ステップが、
空間的に重み付けされたフィッシャー線形判別(SWFLD)分類器を適用するステップと、
前記SWFLD分類器に基づいてSWFLD分類スコアを計算するステップと、
前記神経生理学的信号に対して、畳み込みニューラルネットワーク(CNN)分類器を適用するステップと、
前記CNN分類器に基づいてCNN分類スコアを計算するステップと、
前記SWFLDスコアと前記CNNスコアを組み合わせるステップと、
を含む、
請求項2〜32のいずれか一項に記載の画像を分類する方法。 - 前記CNNは、
前記神経生理学的信号を特徴付ける複数の時間点それぞれに対して空間フィルタリングを適用する第1の畳み込み層と、
前記第1の畳み込み層によって提供される出力に時間フィルタリングを適用する第2の畳み込み層と、
前記第2の畳み込み層によって提供される出力に時間フィルタリングを適用する第3の畳み込み層と、
を備える、
請求項35に記載の画像を分類する方法。 - 前記CNNは、
前記神経生理学的信号を特徴付ける複数の時間点それぞれに対して空間フィルタリングを適用する第1の畳み込み層と、
前記第1の畳み込み層によって提供される出力に時間フィルタリングを適用する第2の畳み込み層と、
前記第2の畳み込み層によって提供される出力に時間フィルタリングを適用する第3の畳み込み層と、
を備える、
請求項36〜38のいずれか一項に記載の画像を分類する方法。 - 前記観察者に対して、前記神経生理学的事象の前記識別に関するフィードバックを提示するステップをさらに含む、
請求項1に記載の画像を分類する方法。 - 前記観察者に対して、前記神経生理学的事象の前記識別に関するフィードバックを提示するステップをさらに含む、
請求項2〜40のいずれか一項に記載の画像を分類する方法。 - 前記フィードバックが2値である、
請求項41に記載の画像を分類する方法。 - 前記フィードバックが非2値である、
請求項41に記載の画像を分類する方法。 - 仮想現実システムにおいて使用される、
請求項1に記載の画像を分類する方法。 - 仮想現実システムにおいて使用される、
請求項2〜44のいずれか一項に記載の画像を分類する方法。 - 拡張現実システムにおいて使用される、
請求項1に記載の画像を分類する方法。 - 拡張現実システムにおいて使用される、
請求項2〜44のいずれか一項に記載の画像を分類する方法。 - 前記目標物の存在の判定結果に応じて、前記仮想現実システムまたは前記拡張現実システムによって提供される視野を変化させるステップをさらに含む、
請求項45に記載の画像を分類する方法。 - 前記目標物の存在の判定結果に応じて、前記仮想現実システムまたは前記拡張現実システムによって提供される視野を変化させるステップをさらに含む、
請求項46〜48のいずれか一項に記載の画像を分類する方法。 - 画像を分類するシステムであって、
前記画像にコンピュータビジョン手順を適用して、目標物によって占有されていると疑われる画像領域を前記画像内で検出することによって、候補画像領域のセットを提供するデータプロセッサと、
前記データプロセッサと通信し、各候補画像領域を視覚刺激として観察者に提示するディスプレイと、
前記データプロセッサと通信し、前記提示時に前記観察者の脳から神経生理学的信号を収集して、前記神経生理学的信号を前記データプロセッサに送信する神経生理学的信号収集システムと、
を備え、
前記データプロセッサが、前記神経生理学的信号を処理して、前記観察者による前記目標物の検出を示す神経生理学的事象を識別し、少なくとも部分的に前記神経生理学的事象の前記識別に基づいて、前記画像内の前記目標物の存在を判定する、
画像を分類するシステム。 - 前記データプロセッサが、前記画像を複数の画像タイルにタイル分割し、
少なくとも1つのタイルが候補画像領域を包含し、
前記少なくとも1つのタイルを提示して各候補画像領域を提示する、
請求項51に記載の画像を分類するシステム。 - 前記データプロセッサが、前記画像に神経生理学的検出スコアを割り当て、少なくとも部分的に前記神経生理学的検出スコアに基づいて前記画像内の前記目標物の存在を判定する、
請求項51または52に記載の画像を分類するシステム。 - 前記データプロセッサが、前記コンピュータビジョン手順を使用して前記画像にコンピュータ検出スコアを割り当て、前記コンピュータ検出スコアおよび前記神経生理学的検出スコアに基づいて前記画像内の前記目標物の存在を判定する、
請求項53に記載の画像を分類するシステム。 - 前記データプロセッサが、前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較し、前記比較に基づいて、少なくとも1つの画像領域または画像領域のグループを前記観察者に再提示する、
請求項54に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して瞬目を識別し、画像領域または画像領域のグループを前に提示している間に瞬目が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示する、
請求項51〜54のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、少なくとも1つの画像領域について前記提示および前記神経生理学的事象の前記識別を繰り返し、前記少なくとも1つの画像領域の前記識別を前の識別と比較し、前記比較に基づいて前記観察者の神経生理学的状態を判定する、
請求項51〜56のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記目標物を含むデータベース画像領域を前記観察者に提示し、前記神経生理学的信号を処理して前記観察者による前記データベース画像領域内の前記目標物の検出を示す神経生理学的事象を識別し、前記識別に基づいて前記観察者の神経生理学的状態を判定する、
請求項51〜57のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して筋緊張を識別し、画像領域または画像領域のグループを前に提示している間に筋緊張が識別されたことに応じて、前記画像領域または画像領域のグループを前記観察者に再提示する、
請求項51〜58のいずれか一項に記載の画像を分類するシステム。 - 画像を分類するシステムであって、
前記画像にコンピュータビジョン手順を適用して前記画像内で目標物を検出し、前記コンピュータビジョン手順を使用して前記画像にコンピュータ検出スコアを割り当てるデータプロセッサと、
前記データプロセッサと通信し、前記画像を視覚刺激として観察者に提示するディスプレイと、
前記データプロセッサと通信し、前記提示時に前記観察者の脳から神経生理学的信号を収集して、前記神経生理学的信号を前記データプロセッサに送信する神経生理学的信号収集システムと、
を備え、
前記データプロセッサが、前記神経生理学的信号を処理して、前記観察者による前記目標物の検出を示す神経生理学的事象を識別し、前記識別に基づいて前記画像に神経生理学的検出スコアを割り当て、前記コンピュータ検出スコアおよび前記神経生理学的検出スコアに基づいて前記画像内の前記目標物の存在を判定する、
画像を分類するシステム。 - 前記データプロセッサが、前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較し、前記比較に基づいて前記観察者に前記画像を再提示する、
請求項60に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して瞬目を識別し、前記画像を前に提示している間に瞬目が識別されたことに応じて、前記観察者に前記画像を再提示する、
請求項60または61に記載の画像を分類するシステム。 - 前記データプロセッサが、前記提示および前記神経生理学的事象の識別を繰り返し、前記画像の識別を前の識別と比較し、前記比較に基づいて前記観察者の神経生理学的状態を判定する、
請求項60〜62のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記目標物を含むデータベース画像を前記観察者に提示し、前記神経生理学的信号を処理して前記観察者による前記データベース画像内の前記目標物の検出を示す神経生理学的事象を識別し、前記識別に基づいて前記観察者の神経生理学的状態を判定する、ように構成されている、
請求項60〜63のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して筋緊張を識別し、前記画像を前に提示している間に前記筋緊張が識別されたことに応じて、前記観察者に前記画像を再提示する、
請求項60〜64のいずれか一項に記載の画像を分類するシステム。 - 前記神経生理学的信号がEEG信号を含み、
前記データプロセッサが、速波EEGに対する遅波EEGの比率を計算し、前記比率に基づいて前記観察者の神経生理学的状態を判定する、
請求項51〜59のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して瞬目を識別し、前記瞬目の時間的パターンを評価し、前記時間的パターンに基づいて前記観察者の神経生理学的状態を判定する、
請求項51〜66のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的事象の前記識別に関するフィードバックを前記観察者に提示する、
請求項51〜67のいずれか一項に記載の画像を分類するシステム。 - 前記フィードバックが2値である、
請求項68に記載の画像を分類するシステム。 - 前記フィードバックが非2値である、
請求項68に記載の画像を分類するシステム。 - 仮想現実システムである、
請求項51〜70のいずれか一項に記載の画像を分類するシステム。 - 拡張現実システムである、
請求項51〜70のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記目標物の存在の判定結果に応じて、前記仮想現実システムまたは前記拡張現実システムによって提供される視野を変化させる、
請求項71または72に記載の画像を分類するシステム。 - 画像を分類する方法であって、
前記画像を視覚刺激として観察者に提示する一方、前記観察者の脳から神経生理学的信号を収集するステップと、
前記神経生理学的信号をデジタル化して神経生理学的データを生成するステップと、
畳み込みニューラルネットワーク(CNN)を使用して前記画像および前記神経生理学的データを同時に処理して、前記画像内の目標物のコンピュータビジョン検出と、前記観察者による前記目標物の検出を示す神経生理学的事象との間の相互関係を識別するステップと、
前記識別された相互関係に基づいて前記画像内の前記目標物の存在を判定するステップと、
を含み、
前記CNNが、前記神経生理学的データを受信して処理するように構成されている第1の畳み込みニューラルサブネットワーク(CNS)と、前記画像を受信して処理するように構成されている第2の畳み込みニューラルサブネットワーク(CNS)と、前記第1のCNSおよび前記第2のCNSの両方からの出力を受信して組み合わせるニューラルネットワーク層を有する共有サブネットワークと、
を備える、
画像を分類する方法。 - 少なくとも前記第1のCNSを使用して前記画像に神経生理学的検出スコアを割り当てるステップと、
少なくとも前記第2のCNSを使用して前記画像にコンピュータ検出スコアを割り当てるステップと、
前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較するステップと、
前記比較に基づいて、前記観察者に前記画像を再提示するステップと、
をさらに含む、
請求項74に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
前記画像を前に提示している間に瞬目が識別されたことに応じて、前記観察者に前記画像を再提示するステップと、
をさらに含む、
請求項74または75に記載の画像を分類する方法。 - 前記提示および前記同時の処理を繰り返すステップと、
前記画像の識別を前の識別と比較するステップと、
前記比較に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項74〜76のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号がEEG信号を含み、
速波EEGに対する遅波EEGの比率を計算するステップと、
前記比率に基づいて前記観察者の神経生理学的状態を判定するステップと、
を含む、
請求項74〜77のいずれか一項に記載の画像を分類する方法。 - 前記目標物を含むデータベース画像を前記観察者に提示するステップと、
前記神経生理学的信号を処理して、前記観察者による前記データベース画像内の前記目標物の検出を示す神経生理学的事象を識別するステップと、
前記識別に基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項74〜78のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して筋緊張を識別するステップと、
前記画像を前に提示している間に前記筋緊張が識別されたことに応じて、前記観察者に前記画像を再提示するステップと、
をさらに含む、
請求項74〜79のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号がEEG信号を含み、
速波EEGに対する遅波EEGの比率を計算するステップと、
前記比率に基づいて前記観察者の神経生理学的状態を判定するステップと、
を含む、
請求項74〜80のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的信号を処理して瞬目を識別するステップと、
前記瞬目の時間的パターンを評価するステップと、
前記時間的パターンに基づいて前記観察者の神経生理学的状態を判定するステップと、
をさらに含む、
請求項74〜81のいずれか一項に記載の画像を分類する方法。 - 少なくとも150Hzのサンプリングレートで前記神経生理学的信号を収集する、
請求項74〜82のいずれか一項に記載の画像を分類する方法。 - 収集された前記神経生理学的信号に低域通過フィルタを適用するステップをさらに含む、
請求項74〜83のいずれか一項に記載の画像を分類する方法。 - 前記神経生理学的事象の前記識別に関するフィードバックを前記観察者に提示するステップをさらに含む、
請求項74〜84のいずれか一項に記載の画像を分類する方法。 - 前記フィードバックが2値である、
請求項85に記載の画像を分類する方法。 - 前記フィードバックが非2値である、
請求項85に記載の画像を分類する方法。 - 仮想現実システムにおいて使用される、
請求項74〜87のいずれか一項に記載の画像を分類する方法。 - 拡張現実システムにおいて使用される、
請求項74〜87のいずれか一項に記載の画像を分類する方法。 - 前記目標物の存在の判定結果に応じて、前記仮想現実システムまたは前記拡張現実システムによって提供される視野を変化させるステップをさらに含む、
請求項88または89に記載の画像を分類する方法。 - 画像を分類するシステムであって、
前記画像を受信するデータプロセッサと、
前記データプロセッサと通信し、前記画像を視覚刺激として観察者に提示するディスプレイと、
前記データプロセッサと通信し、前記提示時に前記観察者の脳から神経生理学的信号を収集して、前記神経生理学的信号を前記データプロセッサに送信する神経生理学的信号収集システムと、
を備え、
前記データプロセッサが、
前記神経生理学的信号をデジタル化して神経生理学的データを生成し、
畳み込みニューラルネットワーク(CNN)を使用して前記画像および前記神経生理学的データを同時に処理して、前記画像内の目標物のコンピュータビジョン検出と、前記観察者による前記目標物の検出を示す神経生理学的事象との間の相互関係を識別し、
前記識別された相互関係に基づいて前記画像内の前記目標物の存在を判定し、
前記CNNが、前記神経生理学的データを受信して処理する第1の畳み込みニューラルサブネットワーク(CNS)と、前記画像データを受信して処理する第2の畳み込みニューラルサブネットワーク(CNS)と、前記第1のCNSおよび前記第2のCNSの両方からの出力を受信して組み合わせるニューラルネットワーク層を有する共有サブネットワークと、を備えている、
画像を分類するシステム。 - 前記データプロセッサが、
少なくとも前記第1のCNSを使用して前記画像に神経生理学的検出スコアを割り当て、
少なくとも前記第2のCNSを使用して前記画像にコンピュータ検出スコアを割り当て、
前記コンピュータ検出スコアを前記神経生理学的検出スコアと比較し、
前記比較に基づいて、前記画像を前記観察者に再提示する、
請求項91に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して瞬目を識別し、前記画像を前に提示している間に瞬目が識別されたことに応じて、前記観察者に前記画像を再提示する、
請求項91または92に記載の画像を分類するシステム。 - 前記データプロセッサが、前記提示および前記同時の処理を繰り返し、前記画像の識別を前の識別と比較し、前記比較に基づいて前記観察者の神経生理学的状態を判定する、
請求項91〜93のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記目標物を含むデータベース画像を前記観察者に提示し、前記神経生理学的信号を処理して前記観察者による前記データベース画像内の前記目標物の検出を示す神経生理学的事象を識別し、前記識別に基づいて前記観察者の神経生理学的状態を判定する、
請求項91〜94のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して筋緊張を識別し、前記画像を前に提示している間に前記筋緊張が識別されたことに応じて、前記観察者に前記画像を再提示する、
請求項91〜95のいずれか一項に記載の画像を分類するシステム。 - 前記神経生理学的信号がEEG信号を含み、
前記データプロセッサが、速波EEGに対する遅波EEGの比率を計算し、前記比率に基づいて前記観察者の神経生理学的状態を判定する、
請求項91〜96のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的信号を処理して瞬目を識別し、前記瞬目の時間的パターンを評価し、前記時間的パターンに基づいて前記観察者の神経生理学的状態を判定する、
請求項91〜97のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記神経生理学的事象の前記識別に関するフィードバックを前記観察者に提示する、
請求項91〜98のいずれか一項に記載の画像を分類するシステム。 - 前記フィードバックが2値である、
請求項99に記載の画像を分類するシステム。 - 前記フィードバックが非2値である、
請求項99に記載の画像を分類するシステム。 - 仮想現実システムである、
請求項91〜101のいずれか一項に記載の画像を分類するシステム。 - 拡張現実システムである、
請求項91〜101のいずれか一項に記載の画像を分類するシステム。 - 前記データプロセッサが、前記目標物の存在の判定結果に応じて、前記仮想現実システムまたは前記拡張現実システムによって提供される視野を変化させる、
請求項102または103に記載の画像を分類するシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020170242A JP6959419B2 (ja) | 2015-06-03 | 2020-10-08 | ブレインコンピュータインタフェースによる画像の分類 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL239191A IL239191A0 (en) | 2015-06-03 | 2015-06-03 | Image sorting system |
IL239191 | 2015-06-03 | ||
PCT/IL2016/050569 WO2016193979A1 (en) | 2015-06-03 | 2016-06-02 | Image classification by brain computer interface |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020170242A Division JP6959419B2 (ja) | 2015-06-03 | 2020-10-08 | ブレインコンピュータインタフェースによる画像の分類 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018526711A true JP2018526711A (ja) | 2018-09-13 |
JP2018526711A5 JP2018526711A5 (ja) | 2019-07-04 |
JP6789493B2 JP6789493B2 (ja) | 2020-11-25 |
Family
ID=55022872
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017563112A Active JP6789493B2 (ja) | 2015-06-03 | 2016-06-02 | ブレインコンピュータインタフェースによる画像の分類 |
JP2020170242A Active JP6959419B2 (ja) | 2015-06-03 | 2020-10-08 | ブレインコンピュータインタフェースによる画像の分類 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020170242A Active JP6959419B2 (ja) | 2015-06-03 | 2020-10-08 | ブレインコンピュータインタフェースによる画像の分類 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10303971B2 (ja) |
EP (1) | EP3304255A4 (ja) |
JP (2) | JP6789493B2 (ja) |
CN (2) | CN115690507A (ja) |
CA (1) | CA2986204A1 (ja) |
IL (2) | IL239191A0 (ja) |
WO (1) | WO2016193979A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021005653A1 (ja) * | 2019-07-05 | 2021-01-14 | 日本電気株式会社 | 学習装置、学習方法及び記憶媒体 |
WO2021241261A1 (ja) * | 2020-05-27 | 2021-12-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、学習方法 |
JP7439564B2 (ja) | 2019-03-14 | 2024-02-28 | 富士フイルムビジネスイノベーション株式会社 | 非テキスト入力による感覚媒体間の関連付けを学習するためのシステム、プログラム及び方法 |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL239191A0 (en) | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
US10566850B2 (en) * | 2016-06-10 | 2020-02-18 | Witricity Corporation | Apparatus and methods for reducing magnetic field emissions between wireless power transmitters |
US11392625B2 (en) | 2016-06-27 | 2022-07-19 | Omniearth, Inc. | Systems and methods for utilizing property features from images |
KR101944536B1 (ko) | 2016-12-11 | 2019-02-01 | 주식회사 딥바이오 | 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 그 방법 |
WO2018116248A1 (en) | 2016-12-21 | 2018-06-28 | Innereye Ltd. | System and method for iterative classification using neurophysiological signals |
US20180260735A1 (en) * | 2017-03-08 | 2018-09-13 | International Business Machines Corporation | Training a hidden markov model |
US11817203B2 (en) | 2017-03-28 | 2023-11-14 | Koninklijke Philips N.V. | Ultrasound clinical feature detection and associated devices, systems, and methods |
SG11201907998PA (en) * | 2017-03-31 | 2019-09-27 | Agency Science Tech & Res | System and method for detecting eye activity |
US10984315B2 (en) * | 2017-04-28 | 2021-04-20 | Microsoft Technology Licensing, Llc | Learning-based noise reduction in data produced by a network of sensors, such as one incorporated into loose-fitting clothing worn by a person |
JP7393947B2 (ja) * | 2017-05-22 | 2023-12-07 | ジェネテシス エルエルシー | 生体電磁界における異常の機械識別 |
US10832391B2 (en) * | 2017-05-22 | 2020-11-10 | L-3 Security & Detection Systems, Inc. | Systems and methods for image processing |
JP2020532031A (ja) | 2017-08-23 | 2020-11-05 | ニューラブル インコーポレイテッド | 高速視標追跡機能を有する脳−コンピュータインタフェース |
WO2019046599A1 (en) | 2017-08-31 | 2019-03-07 | Omniearth, Inc. | SYSTEMS AND METHODS FOR AUTOMATIC ESTIMATING OF OBJECT CHARACTERISTICS FROM DIGITAL IMAGES |
TWI670047B (zh) * | 2017-09-18 | 2019-09-01 | Southern Taiwan University Of Science And Technology | 頭皮檢測設備 |
US10824452B2 (en) * | 2017-10-18 | 2020-11-03 | Bank Of America Corporation | Computer architecture for emulating adjustable correlithm object cores in a correlithm object processing system |
US10810026B2 (en) * | 2017-10-18 | 2020-10-20 | Bank Of America Corporation | Computer architecture for emulating drift-away string correlithm objects in a correlithm object processing system |
US10789081B2 (en) * | 2017-10-18 | 2020-09-29 | Bank Of America Corporation | Computer architecture for emulating drift-between string correlithm objects in a correlithm object processing system |
US10915337B2 (en) * | 2017-10-18 | 2021-02-09 | Bank Of America Corporation | Computer architecture for emulating correlithm object cores in a correlithm object processing system |
US10810028B2 (en) * | 2017-10-18 | 2020-10-20 | Bank Of America Corporation | Computer architecture for detecting members of correlithm object cores in a correlithm object processing system |
JP7496776B2 (ja) | 2017-11-13 | 2024-06-07 | ニューラブル インコーポレイテッド | 高速、正確及び直観的なユーザ対話のための適合を有する脳-コンピュータインターフェース |
CN109815971B (zh) * | 2017-11-20 | 2023-03-10 | 富士通株式会社 | 信息处理方法和信息处理装置 |
US10853107B2 (en) * | 2017-11-28 | 2020-12-01 | Bank Of America Corporation | Computer architecture for emulating parallel processing in a correlithm object processing system |
US10853106B2 (en) * | 2017-11-28 | 2020-12-01 | Bank Of America Corporation | Computer architecture for emulating digital delay nodes in a correlithm object processing system |
WO2019144019A1 (en) * | 2018-01-18 | 2019-07-25 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
US11154251B2 (en) * | 2018-02-10 | 2021-10-26 | The Governing Council Of The University Of Toronto | System and method for classifying time series data for state identification |
CN110221681B (zh) * | 2018-03-02 | 2021-09-21 | 华为技术有限公司 | 图像识别方法、图像呈现时间的调整方法及设备 |
US10915339B2 (en) * | 2018-03-26 | 2021-02-09 | Bank Of America Corporation | Computer architecture for emulating a correlithm object processing system that places portions of a mapping table in a distributed node network |
US10860349B2 (en) * | 2018-03-26 | 2020-12-08 | Bank Of America Corporation | Computer architecture for emulating a correlithm object processing system that uses portions of correlithm objects and portions of a mapping table in a distributed node network |
US10915338B2 (en) * | 2018-03-26 | 2021-02-09 | Bank Of America Corporation | Computer architecture for emulating a correlithm object processing system that places portions of correlithm objects in a distributed node network |
US10915340B2 (en) * | 2018-03-26 | 2021-02-09 | Bank Of America Corporation | Computer architecture for emulating a correlithm object processing system that places multiple correlithm objects in a distributed node network |
US10915341B2 (en) * | 2018-03-28 | 2021-02-09 | Bank Of America Corporation | Computer architecture for processing correlithm objects using a selective context input |
US11096585B2 (en) | 2018-05-04 | 2021-08-24 | Hi Llc | Non-invasive optical measurement system and method for neural decoding |
US10340408B1 (en) | 2018-05-17 | 2019-07-02 | Hi Llc | Non-invasive wearable brain interface systems including a headgear and a plurality of self-contained photodetector units configured to removably attach to the headgear |
WO2019236974A1 (en) * | 2018-06-08 | 2019-12-12 | Massachusetts Institute Of Technology | Systems, devices, and methods for gas sensing |
US10420498B1 (en) | 2018-06-20 | 2019-09-24 | Hi Llc | Spatial and temporal-based diffusive correlation spectroscopy systems and methods |
CN108881254B (zh) * | 2018-06-29 | 2021-08-06 | 中国科学技术大学苏州研究院 | 基于神经网络的入侵检测系统 |
US11213206B2 (en) | 2018-07-17 | 2022-01-04 | Hi Llc | Non-invasive measurement systems with single-photon counting camera |
CN109116988B (zh) * | 2018-08-14 | 2020-03-31 | 西安交通大学 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
KR102130211B1 (ko) * | 2018-08-31 | 2020-07-03 | 한국과학기술원 | 인간 의사결정 전략 및 이에 기반한 행동 패턴 추정 bci 시스템 및 그 방법 |
CN109344889B (zh) * | 2018-09-19 | 2021-01-29 | 深圳大学 | 脑疾病分类装置、用户终端和计算机可读存储介质 |
CN109285118B (zh) * | 2018-09-26 | 2023-03-07 | 电子科技大学 | 一种添加附件层的红外热图像拼接方法 |
DE102018008864A1 (de) * | 2018-11-10 | 2020-05-14 | Diehl Defence Gmbh & Co. Kg | Verfahren zum Auffassen eines Ziels |
CN109766942B (zh) * | 2019-01-07 | 2020-08-04 | 西南交通大学 | 一种基于注意力神经网络的小样本学习图像识别方法 |
CN109919078A (zh) * | 2019-03-05 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 一种视频序列选择的方法、模型训练的方法及装置 |
US20220157047A1 (en) * | 2019-03-15 | 2022-05-19 | Retinai Medical Ag | Feature Point Detection |
CN109993132B (zh) * | 2019-04-04 | 2021-07-13 | 北京理工大学 | 一种基于脑电信号的图形识别生成方法及系统 |
WO2020209856A1 (en) * | 2019-04-11 | 2020-10-15 | Hewlett-Packard Development Company, L.P. | Identifying differences between physiologically-identified and machine-identified significant portions |
CN110097094B (zh) * | 2019-04-15 | 2023-06-13 | 天津大学 | 一种面向人物交互的多重语义融合少样本分类方法 |
AU2020268718A1 (en) | 2019-05-06 | 2021-11-25 | Hi Llc | Photodetector architectures for time-correlated single photon counting |
US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
CA3137921A1 (en) | 2019-06-06 | 2020-12-10 | Hi Llc | Photodetector systems with low-power time-to-digital converter architectures |
AU2020287611A1 (en) * | 2019-06-07 | 2021-12-23 | Pictometry International Corp. | Systems and methods for automated detection of changes in extent of structures using imagery |
CN110559007A (zh) * | 2019-07-23 | 2019-12-13 | 北京赛迈特锐医疗科技有限公司 | 头颅ct平扫影像智能诊断系统及其诊断方法 |
CN110458058B (zh) * | 2019-07-30 | 2022-04-19 | 北京航空航天大学 | 表情的识别方法和装置 |
US11443137B2 (en) | 2019-07-31 | 2022-09-13 | Rohde & Schwarz Gmbh & Co. Kg | Method and apparatus for detecting signal features |
CN112331304A (zh) * | 2019-08-05 | 2021-02-05 | 王东承 | 一种基于eeg技术的儿童注意力训练系统 |
EP4009870A4 (en) * | 2019-08-06 | 2024-01-24 | Neuroenhancement Lab Llc | SYSTEM AND METHOD FOR COMMUNICATING BRAIN ACTIVITY TO AN IMAGING DEVICE |
CN110728183B (zh) * | 2019-09-09 | 2023-09-22 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
CA3149080A1 (en) | 2019-09-20 | 2021-03-25 | Shadrian Strong | Roof condition assessment using machine learning |
WO2021062152A1 (en) | 2019-09-25 | 2021-04-01 | Pictometry International Corp. | Systems and methods for creating automated faux-manual markings on digital images imitating manual inspection results |
CN110781751A (zh) * | 2019-09-27 | 2020-02-11 | 杭州电子科技大学 | 基于跨连型卷积神经网络的情感脑电信号分类方法 |
US11694354B2 (en) | 2019-10-18 | 2023-07-04 | Pictometry International Corp. | Geospatial object geometry extraction from imagery |
CN110910991B (zh) * | 2019-11-21 | 2020-09-01 | 张军 | 一种医用自动图像处理系统 |
WO2021167893A1 (en) | 2020-02-21 | 2021-08-26 | Hi Llc | Integrated detector assemblies for a wearable module of an optical measurement system |
US11883181B2 (en) | 2020-02-21 | 2024-01-30 | Hi Llc | Multimodal wearable measurement systems and methods |
US11969259B2 (en) | 2020-02-21 | 2024-04-30 | Hi Llc | Detector assemblies for a wearable module of an optical measurement system and including spring-loaded light-receiving members |
US11950879B2 (en) | 2020-02-21 | 2024-04-09 | Hi Llc | Estimation of source-detector separation in an optical measurement system |
US11630310B2 (en) | 2020-02-21 | 2023-04-18 | Hi Llc | Wearable devices and wearable assemblies with adjustable positioning for use in an optical measurement system |
US11515014B2 (en) | 2020-02-21 | 2022-11-29 | Hi Llc | Methods and systems for initiating and conducting a customized computer-enabled brain research study |
US11864867B2 (en) | 2020-03-20 | 2024-01-09 | Hi Llc | Control circuit for a light source in an optical measurement system by applying voltage with a first polarity to start an emission of a light pulse and applying voltage with a second polarity to stop the emission of the light pulse |
US11819311B2 (en) | 2020-03-20 | 2023-11-21 | Hi Llc | Maintaining consistent photodetector sensitivity in an optical measurement system |
US11245404B2 (en) | 2020-03-20 | 2022-02-08 | Hi Llc | Phase lock loop circuit based signal generation in an optical measurement system |
US11645483B2 (en) | 2020-03-20 | 2023-05-09 | Hi Llc | Phase lock loop circuit based adjustment of a measurement time window in an optical measurement system |
US11857348B2 (en) | 2020-03-20 | 2024-01-02 | Hi Llc | Techniques for determining a timing uncertainty of a component of an optical measurement system |
US11607132B2 (en) | 2020-03-20 | 2023-03-21 | Hi Llc | Temporal resolution control for temporal point spread function generation in an optical measurement system |
WO2021188496A1 (en) | 2020-03-20 | 2021-09-23 | Hi Llc | Photodetector calibration of an optical measurement system |
US11877825B2 (en) | 2020-03-20 | 2024-01-23 | Hi Llc | Device enumeration in an optical measurement system |
WO2021188489A1 (en) | 2020-03-20 | 2021-09-23 | Hi Llc | High density optical measurement systems with minimal number of light sources |
US11694319B2 (en) | 2020-04-10 | 2023-07-04 | Samsung Display Co., Ltd. | Image-based defects identification and semi-supervised localization |
CN111582082B (zh) * | 2020-04-24 | 2022-04-01 | 燕山大学 | 基于可解释聚类模型的二分类运动想象脑电信号识别方法 |
CN113554145B (zh) * | 2020-04-26 | 2024-03-29 | 伊姆西Ip控股有限责任公司 | 确定神经网络的输出的方法、电子设备和计算机程序产品 |
CA3192636A1 (en) * | 2020-08-25 | 2022-03-03 | Innereye Ltd. | Method and system for quantifying attention |
CN112202696B (zh) * | 2020-10-12 | 2022-03-29 | 青岛科技大学 | 基于模糊自编码器的水声信号自动调制识别方法 |
CN112508848B (zh) * | 2020-11-06 | 2024-03-26 | 上海亨临光电科技有限公司 | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 |
CN112975982B (zh) * | 2021-03-16 | 2021-11-09 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人系统 |
CN113139579B (zh) * | 2021-03-23 | 2024-02-02 | 广东省科学院智能制造研究所 | 一种基于图像特征自适应卷积网络的图像分类方法和系统 |
CN113128398B (zh) * | 2021-04-19 | 2023-07-07 | 华南师范大学 | 一种基于眼电信号的远程拍照系统 |
CN113762349B (zh) * | 2021-08-11 | 2024-03-29 | 同济大学 | 一种面向海洋生物的轻量化混叠稠密网络分类方法和系统 |
CN114533083B (zh) * | 2022-01-24 | 2023-12-01 | 江苏省人民医院(南京医科大学第一附属医院) | 基于多融合式卷积神经网络的运动想象状态识别方法 |
CN117315376B (zh) * | 2023-11-28 | 2024-02-13 | 聊城莱柯智能机器人有限公司 | 基于机器学习的机械零件工业质检方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058298A (ja) * | 2001-08-20 | 2003-02-28 | Fuji Xerox Co Ltd | 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体 |
US20090137924A1 (en) * | 2007-08-27 | 2009-05-28 | Microsoft Corporation | Method and system for meshing human and computer competencies for object categorization |
US20120172743A1 (en) * | 2007-12-27 | 2012-07-05 | Teledyne Licensing, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
JP2014115913A (ja) * | 2012-12-11 | 2014-06-26 | Advanced Telecommunication Research Institute International | 脳情報処理装置、脳情報処理方法、およびプログラム |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596242B2 (en) * | 1995-06-07 | 2009-09-29 | Automotive Technologies International, Inc. | Image processing for vehicular applications |
GB2381586A (en) * | 2001-11-01 | 2003-05-07 | Oxford Biosignals Ltd | Electro-Oculographic Sleep Monitoring |
US8014847B2 (en) | 2001-12-13 | 2011-09-06 | Musc Foundation For Research Development | Systems and methods for detecting deception by measuring brain activity |
AU2003228850A1 (en) | 2002-05-03 | 2003-11-17 | Sarnoff Corporation | Single trial detection in encephalography |
US9153074B2 (en) * | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
DK1677668T3 (da) * | 2003-10-13 | 2010-10-25 | Novo Nordisk As | Apparat og fremgangsmåde til bestemmelse af en fysiologisk tilstand |
US20060111644A1 (en) * | 2004-05-27 | 2006-05-25 | Children's Medical Center Corporation | Patient-specific seizure onset detection system |
JP2007000280A (ja) * | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | 覚醒度低下判定装置 |
US8374687B2 (en) | 2006-01-21 | 2013-02-12 | Honeywell International Inc. | Rapid serial visual presentation triage prioritization based on user state assessment |
US20070173699A1 (en) | 2006-01-21 | 2007-07-26 | Honeywell International Inc. | Method and system for user sensitive pacing during rapid serial visual presentation |
US7835581B2 (en) | 2006-08-30 | 2010-11-16 | Honeywell International Inc. | Neurophysiologically driven high speed image triage system and method |
US8214309B1 (en) | 2008-12-16 | 2012-07-03 | Hrl Laboratories, Llc | Cognitive-neural method for image analysis |
US8699767B1 (en) | 2006-10-06 | 2014-04-15 | Hrl Laboratories, Llc | System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals |
US8094874B2 (en) * | 2007-05-29 | 2012-01-10 | Lockheed Martin Corporation | Material context analysis |
EP2045690A1 (en) | 2007-10-04 | 2009-04-08 | Koninklijke Philips Electronics N.V. | Improvements relating to brain computer interfaces |
US8271074B2 (en) | 2007-11-29 | 2012-09-18 | Honeywell International Inc. | Dynamic calibration of physiologically driven image triage systems |
US8059136B2 (en) * | 2007-12-11 | 2011-11-15 | Honeywell International Inc. | Hierarchichal rapid serial visual presentation for robust target identification |
US8265743B2 (en) * | 2007-12-27 | 2012-09-11 | Teledyne Scientific & Imaging, Llc | Fixation-locked measurement of brain responses to stimuli |
JP2009189398A (ja) * | 2008-02-12 | 2009-08-27 | Tottori Univ | マッサージ機及びマッサージ方法 |
US7991195B2 (en) | 2008-02-25 | 2011-08-02 | Honeywell International Inc. | Target specific image scaling for effective rapid serial visual presentation |
US8311268B2 (en) * | 2008-03-17 | 2012-11-13 | Analogic Corporation | Image object separation |
DE112008004057T5 (de) * | 2008-10-30 | 2012-05-03 | Analogic Corp. | Erkennen verborgener Bedrohungen |
US8335751B1 (en) | 2008-12-16 | 2012-12-18 | Hrl Laboratories, Llc | System for intelligent goal-directed search in large volume imagery and video using a cognitive-neural subsystem |
US9149719B2 (en) * | 2008-12-19 | 2015-10-06 | Agency For Science, Technology And Research | Device and method for generating a representation of a subject's attention level |
US8671069B2 (en) * | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
US8254634B2 (en) | 2009-02-27 | 2012-08-28 | Honeywell International Inc. | Intelligent image segmentation system and method for accurate target detection |
JP5284863B2 (ja) * | 2009-04-30 | 2013-09-11 | 独立行政法人理化学研究所 | 画像処理装置、画像処理方法およびプログラム |
JP2011137917A (ja) * | 2009-12-28 | 2011-07-14 | Technos Japan:Kk | 脳波のバイオフィードバックにより制御される脳トレーニング装置 |
US9204836B2 (en) * | 2010-06-07 | 2015-12-08 | Affectiva, Inc. | Sporadic collection of mobile affect data |
JP5544620B2 (ja) * | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
WO2013049248A2 (en) * | 2011-09-26 | 2013-04-04 | Osterhout Group, Inc. | Video display modification based on sensor input for a see-through near-to-eye display |
US8467607B1 (en) * | 2011-11-21 | 2013-06-18 | Google Inc. | Segmentation-based feature pooling for object models |
US9390256B2 (en) * | 2012-03-06 | 2016-07-12 | Paypal, Inc. | System and methods for secure entry of a personal identification number (PIN) |
WO2013142051A1 (en) * | 2012-03-19 | 2013-09-26 | University Of Florida Research Foundation, Inc. | Methods and systems for brain function analysis |
US20130300939A1 (en) * | 2012-05-11 | 2013-11-14 | Cisco Technology, Inc. | System and method for joint speaker and scene recognition in a video/audio processing environment |
JP6260536B2 (ja) * | 2012-09-12 | 2018-01-17 | ソニー株式会社 | 画像表示装置 |
EP2895970B1 (en) * | 2012-09-14 | 2018-11-07 | InteraXon Inc. | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data |
CN103019383B (zh) * | 2012-12-18 | 2016-01-13 | 北京大学 | 一种稳态视觉诱发电位脑—机接口信号识别方法 |
WO2014142962A1 (en) * | 2013-03-15 | 2014-09-18 | Intel Corporation | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals |
CA2909017C (en) * | 2013-04-14 | 2022-10-18 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Classifying eeg signals in response to visual stimulus |
US10074006B2 (en) * | 2014-03-17 | 2018-09-11 | Carnegie Mellon University | Methods and systems for disease classification |
US9436279B2 (en) * | 2014-03-31 | 2016-09-06 | Rovi Guides, Inc. | Systems and methods for controlling user devices based on brain activity |
CA2946604A1 (en) * | 2014-05-30 | 2015-12-03 | The Regents Of The University Of Michigan | Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes |
US10120413B2 (en) * | 2014-09-11 | 2018-11-06 | Interaxon Inc. | System and method for enhanced training using a virtual reality environment and bio-signal data |
IL239191A0 (en) | 2015-06-03 | 2015-11-30 | Amir B Geva | Image sorting system |
-
2015
- 2015-06-03 IL IL239191A patent/IL239191A0/en unknown
-
2016
- 2016-06-02 CN CN202211392042.5A patent/CN115690507A/zh active Pending
- 2016-06-02 EP EP16802693.8A patent/EP3304255A4/en active Pending
- 2016-06-02 WO PCT/IL2016/050569 patent/WO2016193979A1/en active Application Filing
- 2016-06-02 US US15/579,226 patent/US10303971B2/en active Active
- 2016-06-02 CA CA2986204A patent/CA2986204A1/en active Pending
- 2016-06-02 CN CN201680043634.2A patent/CN107924472B/zh active Active
- 2016-06-02 JP JP2017563112A patent/JP6789493B2/ja active Active
-
2017
- 2017-12-03 IL IL256068A patent/IL256068B/en active IP Right Grant
-
2019
- 2019-05-16 US US16/413,651 patent/US10948990B2/en active Active
-
2020
- 2020-10-08 JP JP2020170242A patent/JP6959419B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058298A (ja) * | 2001-08-20 | 2003-02-28 | Fuji Xerox Co Ltd | 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体 |
US20090137924A1 (en) * | 2007-08-27 | 2009-05-28 | Microsoft Corporation | Method and system for meshing human and computer competencies for object categorization |
US20120172743A1 (en) * | 2007-12-27 | 2012-07-05 | Teledyne Licensing, Llc | Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli |
JP2014115913A (ja) * | 2012-12-11 | 2014-06-26 | Advanced Telecommunication Research Institute International | 脳情報処理装置、脳情報処理方法、およびプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7439564B2 (ja) | 2019-03-14 | 2024-02-28 | 富士フイルムビジネスイノベーション株式会社 | 非テキスト入力による感覚媒体間の関連付けを学習するためのシステム、プログラム及び方法 |
WO2021005653A1 (ja) * | 2019-07-05 | 2021-01-14 | 日本電気株式会社 | 学習装置、学習方法及び記憶媒体 |
JPWO2021005653A1 (ja) * | 2019-07-05 | 2021-01-14 | ||
JP7184195B2 (ja) | 2019-07-05 | 2022-12-06 | 日本電気株式会社 | 学習装置、学習方法及びプログラム |
US12008074B2 (en) | 2019-07-05 | 2024-06-11 | Nec Corporation | Learning device, learning method and storage medium |
WO2021241261A1 (ja) * | 2020-05-27 | 2021-12-02 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、学習方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3304255A4 (en) | 2019-06-12 |
IL256068B (en) | 2018-07-31 |
CN107924472A (zh) | 2018-04-17 |
JP6789493B2 (ja) | 2020-11-25 |
CA2986204A1 (en) | 2016-12-08 |
IL239191A0 (en) | 2015-11-30 |
US20180089531A1 (en) | 2018-03-29 |
IL256068A (en) | 2018-01-31 |
US20190294915A1 (en) | 2019-09-26 |
CN107924472B (zh) | 2022-11-25 |
JP2021043979A (ja) | 2021-03-18 |
WO2016193979A1 (en) | 2016-12-08 |
JP6959419B2 (ja) | 2021-11-02 |
EP3304255A1 (en) | 2018-04-11 |
CN115690507A (zh) | 2023-02-03 |
US10303971B2 (en) | 2019-05-28 |
US10948990B2 (en) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6959419B2 (ja) | ブレインコンピュータインタフェースによる画像の分類 | |
US12001607B2 (en) | System and method for iterative classification using neurophysiological signals | |
US10928472B2 (en) | System and method for brain state classification | |
Baskar et al. | Hybrid fuzzy based spearman rank correlation for cranial nerve palsy detection in MIoT environment | |
US20230371872A1 (en) | Method and system for quantifying attention | |
Sarmento et al. | An IoT platform for the analysis of brain CT images based on Parzen analysis | |
Izzuddin et al. | Mental imagery classification using one-dimensional convolutional neural network for target selection in single-channel BCI-controlled mobile robot | |
Singh et al. | A deep neural network approach for P300 detection-based BCI using single-channel EEG scalogram images | |
CN115439920A (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
Rudas et al. | On activity identification pipelines for a low-accuracy EEG device | |
Farizal et al. | Investigation of Human Brain Waves (EEG) to Recognize Familiar and Unfamiliar Objects Based on Power Spectral Density Features | |
Karaduman et al. | Determining the Demands of Disabled People by Artificial Intelligence Methods | |
Sarwar et al. | Enhanced Accuracy for Motor Imagery Detection Using Deep Learning for BCI. | |
Tuib et al. | Using convolutional neural network to recognize emotions from scalp electroencephalography plot images | |
Rauf et al. | Towards Improved Classification of Perceived Stress using Time Domain Features | |
Krishnamoorthy | Detection and Prediction of Microsleeps from EEG via Deep Learning | |
Jayadurga et al. | Leveraging Ensemble Techniques for Enhanced Eye State Classification with EEG Data | |
Wu | Emotion Recognition Based On Electroencephalogram Signals Using Deep Learning Network | |
Gunasheelan et al. | Brain Wave Analyzer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180129 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190530 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190807 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |