JP2017196523A - 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置 - Google Patents

脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置 Download PDF

Info

Publication number
JP2017196523A
JP2017196523A JP2017154662A JP2017154662A JP2017196523A JP 2017196523 A JP2017196523 A JP 2017196523A JP 2017154662 A JP2017154662 A JP 2017154662A JP 2017154662 A JP2017154662 A JP 2017154662A JP 2017196523 A JP2017196523 A JP 2017196523A
Authority
JP
Japan
Prior art keywords
discriminator
union
brain activity
attribute information
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017154662A
Other languages
English (en)
Other versions
JP2017196523A5 (ja
JP6903518B2 (ja
Inventor
ジュゼッペ リシ
Lisi Giuseppe
ジュゼッペ リシ
森本 淳
Jun Morimoto
淳 森本
光男 川人
Mitsuo Kawato
光男 川人
憲明 八幡
Noriaki Yahata
憲明 八幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Publication of JP2017196523A publication Critical patent/JP2017196523A/ja
Publication of JP2017196523A5 publication Critical patent/JP2017196523A5/ja
Application granted granted Critical
Publication of JP6903518B2 publication Critical patent/JP6903518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/4806Functional imaging of brain activation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】神経・精神疾患に対して、脳機能画像法によるバイオマーカーを実現するための脳活動解析方法を提供する。【解決手段】健常群、患者群において測定された安静時機能結合的MRIのデータから、所定の脳領域間の活動度の相関行列を導出する。被験者の診断ラベルを含む被験者の属性と相関行列とについて正則化正準相関解析(SCCA)により、診断ラベルのみに対応する正準変数と接続する相関行例の要素を抽出する。正則化正準相関解析の特徴抽出により得られた相関行列の要素の第1の和集合に対して、1個抜き交差検証によるスパースロジスティク回帰(SLR)で、相関行列の要素の第2の和集合を抽出する。第2の和集合に対して、スパースロジスティク回帰による判別分析により判別器が生成される。【選択図】図5

Description

この発明は、脳機能画像法を用いた脳活動解析装置、脳活動解析方法およびバイオマーカー装置に関する。
(バイオマーカー)
生体内の生物学的変化を定量的に把握するため、生体情報を数値化・定量化した指標のことを「バイオマーカー」と呼ぶ。
FDA(米国食品医薬品局)はバイオマーカーの位置づけを、「正常なプロセスや病的プロセス、又は治療に対する薬理学的な反応の指標として客観的に測定・評価される項目」としている。また疾患の状態や変化、治癒の程度を特徴づけるバイオマーカーは、新薬の臨床試験での有効性を確認するためのサロゲートマーカー(代用マーカー)として使われる。血糖値及びコレステロール値等は、生活習慣病の指標として代表的なバイオマーカーである。尿や血液中に含まれる生体由来の物質だけでなく、心電図、血圧、PET画像、骨密度、肺機能等も含まれる。またゲノム解析及びプロテオーム解析が進んできたことによって、DNAやRNA、生体蛋白等に関連したさまざまなバイオマーカーが見出されている。
バイオマーカーは、疾患にかかった後の治療効果の測定だけでなく、疾患を未然に防ぐための日常的な指標として疾患の予防に、さらに副作用を回避した有効な治療法を選択する個別化医療への応用が期待されている。
ただし、神経・精神疾患の場合、生化学的もしくは分子遺伝学的観点から客観的な指標として利用可能な分子マーカー等も研究されているものの、検討段階というべき状況である。
一方で、NIRS(Near-InfraRed Spectroscopy)技術を用いて、生体光計測により計測されたヘモグロビン信号から特徴量に応じて、統合失調症、うつ病等の精神疾患について分類を行う疾患判定システム等も報告がある(特許文献1)。
(リアルタイムニューロフィードバック)
例えば、従来、神経症の一型である強迫性障害(Obsessive-Compulsive Disorder: OCD)に対しては、その治療法として、薬物療法や行動療法が知られている。薬物療法としては、例えば、選択的セロトニン再取り込阻害薬が用いられ、行動療法としては、曝露法と反応妨害法を組み合わせた曝露反応妨害法等が知られている。
一方で、神経・精神疾患の場合の治療法の可能性として、リアルタイムニューロフィードバック法が検討されている。
核磁気共鳴画像法(MRI:Magnetic Resonance Imaging)を利用して、ヒトの脳の活動に関連した血流動態反応を視覚化する方法である機能的磁気共鳴画像法(fMRI:functinal Magnetic Resonance Imaging)を始めとする脳機能画像法は、感覚刺激や認知課題遂行による脳活動と安静時や対照課題遂行による脳活動の違いを検出して、関心のある脳機能の構成要素に対応する脳賦活領域を特定すること、すなわち脳の機能局在を明らかにすることに用いられてきた。
近年、機能的磁気共鳴画像法(fMRI)等の脳機能画像法を用いたリアルタイムニューロフィードバック技術についての報告がある(非特許文献1)。リアルタイムニューロフィードバック技術は、神経疾患、精神疾患の治療方法として注目され始めている。
ニューロフィードバックは、バイオフィードバックの一種であり、被験者が自身の脳活動に関するフィードバックを受けることで、脳活動を操作する方法を学ぶというものである。
例えば、前部帯状回の活動をfMRIで計測し、それをリアルタイムで炎の大きさとして、患者にフィードバックして、炎を小さくするように努力させると、中枢性の慢性疼痛が実時間でも、また、長期的にも改善したとの報告がある(非特許文献2を参照)。
(安静時fMRI)
また、最近の研究では、安静時の脳も活発に活動していることがわかってきた。つまり、アクティブな活動中には鎮静化しており、休息時には活発に興奮する神経細胞群が脳内に存在する。解剖学的には左右の大脳が合わさった内側面が主な部位で、前頭葉内側面、後部帯状回、楔前部、頭頂連合野の後半部、中側頭回等である。この安静時の脳活動のベースラインを示す領域はデフォルトモードネットワーク(Default Mode Network;DMN)と名付けられ、ひとつのネットワークとして同期しながら活動する(非特許文献3を参照)。
例えば、健常者と精神疾患の患者で脳活動が異なるという例として、デフォルトモードネットワークにおける脳活動が挙げられる。デフォルトモードネットワークとは、安静状態において、目標指向的な課題を実行中よりも活発な脳活動がみられる部位のことを指す。統合失調症、アルツハイマー病等の疾患の患者は、健常者と比較したときに、このデフォルトモードネットワークに異常がみられることが報告されている。例えば、統合失調症の患者は、安静状態において、デフォルトモードネットワークに属する後帯状皮質と、頭頂外側部、前頭前野内側部、小脳皮質の活動の相関が下がっている等の報告がある。
ただし、このようなデフォルトモードネットワークが、認知機能とどのようにかかわっているのか、及び、このような脳領域間の機能的結合の相関と上述したニューロフィードバックとの関連等は、必ずしも明らかとはなっていない状況である。
一方で、複数の脳領域間において課題等の違いによる活動の相関関係の変化をみることにより、それら脳領域間の機能的結合(functional connectivity)が評価されている。とくに、安静時のfMRIによる機能的結合の評価は安静時機能結合的MRI(rs-fcMRI:resting-state functional connectivity MRI)とも呼ばれ、様々な神経・精神疾患を対象とした臨床研究も行われるようになりつつある。ただし、従来のrs-fcMRI法は、上述したようなデフォルトモードネットワークといったような大域的神経ネットワークの活動をみるものであって、より詳細な機能的結合について、十分な検討がされているとはいえない状況である。
(核磁気共鳴画像法)
このような核磁気共鳴画像法について、簡単に説明すると、以下のとおりである。
すなわち、従来、生体の脳や全身の断面を画像する方法として、生体中の原子、特に、水素原子の原子核に対する核磁気共鳴現象を利用した核磁気共鳴映像法が、人間の臨床画像診断等に使用されている。
核磁気共鳴映像法は、人体に適用される場合、同様の人体内断層画像法である「X線CT」に比較して、例えば、以下のような特徴がある。
(1)水素原子の分布と、その信号緩和時間(原子の結合の強さを反映)に対応した濃度の画像が得られる。このため、組織の性質の差異に応じた濃淡を呈し、組織の違いを観察しやすい。
(2)磁場は、骨による吸収がない。このため、骨に囲まれた部位(頭蓋内、脊髄等)を観察しやすい。
(3)X線のように人体に害になるということがないので、広範囲に活用できる。
このような核磁気共鳴影像法は、人体の各細胞に最も多く含まれ、かつ最も大きな磁性を有している水素原子核(陽子)の磁気性を利用する。水素原子核の磁性を担うスピン角運動量の磁場内での運動は、古典的には、コマの歳差運動にたとえられる。
以下、本発明の背景の説明のために、この直感的な古典的モデルで、簡単に核磁気共鳴の原理をまとめておく。
上述したような水素原子核のスピン角運動量の方向(コマの自転軸の方向)は、磁場のない環境では、ランダムな方向を向いているものの、静磁場を印加すると、磁力線の方向を向く。
この状態で、さらに振動磁界を重畳すると、この振動磁界の周波数が、静磁界の強さで決まる共鳴周波数f0=γB0/2π(γ:物質に固有の係数)であると、共鳴により原子核側にエネルギーが移動し、磁化ベクトルの方向が変わる(歳差運動が大きくなる)。この状態で、振動磁界を切ると、歳差運動は、傾き角度を戻しながら、静磁界における方向に復帰していく。この過程を外部からアンテナコイルにより検知することで、NMR信号を得ることができる。「NMR」は核磁気共鳴現象(Nuclear Magnetic Resonance)の略である。
このような共鳴周波数f0は、静磁界の強度がB0(T)であるとき、水素原子では、42.6×B0(MHz)となる。
さらに、核磁気共鳴映像法では、血流量の変化に応じて、検出される信号に変化が現れることを用いて、外部刺激等に対する脳の活動部位を視覚化することも可能である。このような核磁気共鳴映像法を、特に、fMRI(functional MRI)と呼ぶ。
fMRIでは、装置としては通常のMRI装置に、さらに、fMRI計測に必要なハードウェアおよびソフトウェアを装備したものが使用される。
ここで、血流量の変化がNMR信号強度に変化をもたらすのは、血液中の酸素化及び脱酸素化ヘモグロビンは磁気的な性質が異なることを利用している。酸素化ヘモグロビンは反磁性体の性質があり、周りに存在する水の水素原子の緩和時間に影響を与えないのに対し、脱酸素化ヘモグロビンは常磁性体であり、周囲の磁場を変化させる。したがって、脳が刺激を受け、局部血流が増大し、酸素化ヘモグロビンが増加すると、その変化分をMRI信号として検出できる。被験者への刺激は、例えば、視覚による刺激又は聴覚による刺激、若しくは所定の課題(タスク)の実行等が用いられる(例えば、特許文献2)。
ここで、脳機能研究においては、微小静脈及び毛細血管における赤血球中の脱酸素化ヘモグロビンの濃度が減少する現象(BOLD効果)に対応した水素原子の核磁気共鳴信号(MRI信号)の上昇を測定することによって脳の活動の測定が行われている。
特に、人の運動機能に関する研究では、被験者に何らかの運動を行わせつつ、上記MRI装置によって脳の活動を測定することが行われている。
ところで、ヒトの場合、非侵襲的な脳活動の計測が必要であり、この場合、fMRIデータから、より詳細な情報を抽出できるデコーディング技術が発達してきている(例えば、非特許文献4)。特に、fMRIが脳におけるボクセル単位(volumetric pixel:voxel)で脳活動を解析することで、脳活動の空間的パターンから、刺激入力や認識状態を推定することが可能となっている。
さらに、このようなデコーディング技術を発展させた技術として、特許文献3には、神経・精神疾患に対して、脳機能画像法によるバイオマーカーを実現するための脳活動解析方法が開示されている。この方法では、健常群及び患者群において測定された安静時機能結合的MRIのデータから、それぞれの被験者について、所定の脳領域間の活動度の相関行列を導出する。被験者の疾患/健常ラベルを含む被験者の属性と相関行列とについて正則化正準相関解析により特徴抽出が行われる。正則化正準相関解析の結果に基づいて、スパースロジスティック回帰(Sparse Logistic Regression: SLR)による判別分析によりバイオマーカーとして機能する判別器が生成される。このような機械学習の技術により、安静時のfMRIデータから導き出される脳領野間の結合にもとづいて神経疾患の診断結果を予測可能であることが示された。しかも、その予測性能の検証は一つの施設において計測された脳活動のみではなく、他の施設で計測された脳活動に対しても、ある程度の汎化が可能であることが示された。
再表2006−132313号公報 特開2011−000184号公報 特開2015−62817号公報
Nikolaus Weiskopf ,"Real-time fMRI and its application to neurofeedback",NeuroImage 62 (2012) 682-692 deCharms RC, Maeda F, Glover GH et al, "Control over brain activation and pain learned by using real-time functional MRI",Proc Natl Acad Sci USA 102(51), 18626-18631, 2005 Raichle ME, Macleod AM, Snyder AZ. et. al. "A default mode of brain function",Proc Natl Acad Sci USA 98(2),676-682,2001 Kamitani Y, Tong F. Decoding the visual and subjective contents of the human brain. Nat Neurosci. 2005; 8: 679-85.
以上のように、機能的磁気共鳴画像法等の脳機能画像法による脳活動の解析の神経・精神疾患の治療への応用を考えた場合、例えば、上述したようなバイオマーカーとして、脳機能画像法による脳活動の解析は、非侵襲的な機能マーカーとして、診断法の開発、根本治療を実現するための創薬に向けた標的分子の探索・同定等への応用も期待される。
例えば、これまで、自閉症等の精神疾患に対しては、遺伝子を用いた実用的なバイオマーカーの完成には至っておらず、それゆえに、薬物の効果判定等が困難であるため、治療薬の開発も困難であった。
脳活動の計測データに基づいて、機械学習により判別器を生成し、これをバイオマーカーとして実用化させるためには、一つの施設において計測された脳活動に対して機械学習により生成されたバイオマーカーの予測精度の向上が必要である。また、このようにして生成されたバイオマーカーが、他の施設において計測された脳活動に対しても、汎化可能であることが必要である。
すなわち、脳活動の計測データに基づく、機械学習により判別器を構築する際には、主な2つの課題が存在する。
第1の課題は、小標本サイズの問題である。
被験者の人数であるデータ量Nが、計測された脳活動計測データの次元Mよりはるかに小さいので、判別器のパラメータは、容易に訓練データに過剰適合する。
この過剰適合のために、構築された判別器は、新しくサンプリングされたテストデータについては、非常に貧弱なパフォーマンスを示す。これは、これらのテストデータは判別器を訓練するのに使用されていないものだからである。
したがって、判別器の望ましい汎化に対して本質的な特徴量だけを識別し利用するために正則化を適切に導入する必要がある。
第2の課題は、構築された判別器が、訓練データが集められたサイトとは異なる撮像サイトで走査されたMRIデータに対しても、よいパフォーマンスを維持する場合のみ、判別器が臨床的に有用で、科学的に信頼できるということである。
これは複数の撮像サイトにわたる、いわゆる汎化能力である。
しかしながら、臨床応用では、異なるサイトで走査されたデータに、特定のサイトで取得したデータを使用して訓練された判別器を汎化することができないことはしばしば観測されている。
この発明は、上記のような問題点を解決するためになされたものであって、その目的は、脳の活動状態に対して、健常または疾患の状態を客観的に判断するためのデータを提供することが可能な脳活動解析装置および脳活動解析方法を実現することである。
この発明の他の目的は、神経・精神疾患に対しての診断を支援するための脳機能画像法による判別処理を実現するための脳活動解析装置および脳活動解析方法を提供することである。
この発明の他の目的は、脳機能画像法によるバイオマーカーを実現するための脳活動解析装置、脳活動解析方法およびバイオマーカー装置を提供することである。
この発明の1つの局面に従うと、脳活動解析装置であって、複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から判別器を生成するための判別器生成手段を備え、各被験者には、複数の属性情報が関連付けられており、判別器生成手段は、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出する相関行列算出手段と、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する相関行例の要素を抽出する第1特徴量抽出手段と、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得する第1和集合抽出手段と、iv)第1和集合の要素のうちから特定の属性情報を推定するための判別器を生成するための判別器算出手段と、を含み、算出された判別器を特定するための情報を記憶するための記憶手段と、記憶手段に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別手段とをさらに備える。
好ましくは、判別器算出手段は、第1和集合から特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する。
好ましくは、判別器生成手段は、複数の被験者のうちM個の部分集合を除く残りの被験者をテスト集合とし、テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、複数の被験者からN個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、第1和集合に基づいて、特定の属性情報を推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴いテスト判別器の説明変数となる相関行例の要素を抽出する第2特徴量抽出手段と、N個のグループのうちから1つのグループを順次選択しつつ、第2特徴量抽出手段による特徴抽出を繰り返して、テスト判別器の説明変数として抽出された相関行例の要素の和集合である第2和集合を取得する第2和集合抽出手段とをさらに含み、判別器算出手段は、第2和集合から特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する。
好ましくは、判別器生成手段は、N個のグループのうちから除かれる1つのグループを順次選択しつつ、第2特徴量抽出手段により算出されたテスト判別器により、除かれたグループをテストサンプルとして判別結果を算出することにより交差検証を行う交差検証手段をさらに含む。
好ましくは、特定の属性情報は、被験者の診断ラベルである。
この発明の他の局面に従うと、複数の被験者について脳活動を計測するための脳活動検知装置からの情報に基づいて、演算装置および記憶装置を有するコンピュータに脳活動の解析を実行させるためのプログラムであって、各被験者には、複数の属性情報が関連付けられており、プログラムは、演算装置が、脳活動検知装置により測定された、複数の被験者の各々の脳内の複数の所定領域における脳活動を時系列で予め測定した情報から判別器を生成するステップをコンピュータに実行させ、判別器を生成するステップは、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出するステップと、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する相関行例の要素を抽出するステップと、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得するステップと、iv)第1和集合の要素のうちから特定の属性情報を推定するための判別器を算出するステップと、を含み、算出された判別器を特定するための情報を記憶装置に記憶するステップと、記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行うステップとを、コンピュータに実行させる。
好ましくは、判別器を算出するステップは、第1和集合から特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出するステップを含む。
好ましくは、判別器を生成するステップは、複数の被験者のうちM個の部分集合を除く残りの被験者をテスト集合とし、テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、複数の被験者からN個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、第1和集合に基づいて、特定の属性情報を推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴いテスト判別器の説明変数となる相関行例の要素を抽出するステップと、N個のグループのうちから1つのグループを順次選択しつつ、要素を抽出するステップによる特徴抽出を繰り返して、テスト判別器の説明変数として抽出された相関行例の要素の和集合である第2和集合を取得するステップとをさらに含み、判別器を算出するステップは、第2和集合から特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する。
好ましくは、判別器を生成するステップは、N個のグループのうちから除かれる1つのグループを順次選択しつつ、要素を抽出するステップにより算出されたテスト判別器により、除かれたグループをテストサンプルとして判別結果を算出することにより交差検証を行うステップをさらに含む。
好ましくは、特定の属性情報は、被験者の診断ラベルである。
本発明のさらに他の局面に係る脳活動解析装置は、複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知装置により時系列で予め測定した信号から判別器を生成するための判別器生成装置を含む。各被験者には、複数の属性情報が関連付けられている。判別器は、被験者の特定の属性情報を推定するための判別器である。脳活動解析装置はさらに、判別器生成装置に接続され、判別器生成装置により算出された判別器を特定するための情報を記憶するための記憶装置と、記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別装置とを含む。判別器生成装置はプロセッサを含む。当該プロセッサは、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出し、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する相関行例の要素を抽出し、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得し、iv)第1和集合の要素のうちから特定の属性情報を推定するための判別器を生成するようにプログラムされている。
この発明のさらに他の局面に従うと、複数の被験者について脳活動を計測するための脳活動検知装置からの情報に基づいて、演算装置および記憶装置を有するコンピュータに脳活動の解析を実行させるための脳活動解析方法であって、各被験者には、複数の属性情報が関連付けられており、演算装置が、脳活動検知装置により測定された、複数の被験者の各々の脳内の複数の所定領域における脳活動を時系列で予め測定した情報から判別器を生成するステップを備え、判別器を生成するステップは、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出するステップと、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する相関行例の要素を抽出するステップと、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得するステップと、iv)第1和集合の要素のうちから特定の属性情報を推定するための判別器を算出するステップと、を含み、算出された判別器を特定するための情報を記憶装置に記憶するステップと、記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行うステップとをさらに備える。
この発明のさらに他の局面にしたがうと、バイオマーカ装置であって、複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から、判別器生成手段によって生成された判別器を特定する情報を記憶するための記憶装置と、記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別手段とを備え、各被験者には、複数の属性情報が関連付けられており、判別器生成手段は、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出する相関行列算出手段と、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの被験者の診断ラベルのみに対応する正準変数と接続する相関行例の要素を抽出する第1特徴量抽出手段と、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得する第1和集合抽出手段と、iv)第1和集合の要素のうちから被験者の診断ラベルを推定するための判別器を生成するための判別器算出手段と、を含む。
好ましくは、判別器算出手段は、第1和集合から被験者の診断ラベルを推定するための判別器をスパースロジスティック回帰により算出する。
好ましくは、判別器生成手段は、複数の被験者のうちM個の部分集合を除く残りの被験者をテスト集合とし、テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、複数の被験者からN個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、第1和集合に基づいて、被験者の診断ラベルを推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴いテスト判別器の説明変数となる相関行例の要素を抽出する第2特徴量抽出手段と、N個のグループのうちから1つのグループを順次選択しつつ、第2特徴量抽出手段による特徴抽出を繰り返して、テスト判別器の説明変数として抽出された相関行例の要素の和集合である第2和集合を取得する第2和集合抽出手段とをさらに含み、判別器算出手段は、第2和集合から被験者の診断ラベルを推定するための判別器をスパースロジスティック回帰により算出する。
さらに他の局面に係るバイオマーカ装置は、複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から、判別器生成装置によって生成された判別器を特定する情報を記憶するための記憶装置と、記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別装置とを備える。各被験者には、複数の属性情報が関連付けられている。判別器は、入力データに基づいて、被験者の診断ラベルを推定するためのものである。判別器生成手段は、i)測定された信号から複数の所定領域間の脳活動の相関行列を被験者ごとに算出し、ii)複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(M−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の属性情報のうちの被験者の診断ラベルのみに対応する正準変数と接続する相関行例の要素を抽出し、iii)順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得し、iv)第1和集合の要素のうちから被験者の診断ラベルを推定するための判別器を生成するようにプログラムされたプロセッサを含む。
本発明のさらに他の局面に係るコンピュータプログラムは、上記したバイオマーカ装置のいずれかの各機能をコンピュータに実行させる。
本発明のさらに他の局面に係る記憶媒体は、上記したいずれかのプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
この発明によれば、脳の活動状態に対して、健常または疾患の状態を客観的に判断するためのデータを提供することが可能な脳活動解析装置および脳活動解析方法を実現できる。
又は、この発明によれば、神経・精神疾患に対して、脳機能画像法によりバイオマーカー装置、バイオマーカー装置のプログラムを実現することが可能となる。
MRI装置10の全体構成を示す模式図である。 データ処理部32のハードウェアブロック図である。 本実施の形態のrs-fcMRI法により撮像される脳の関心領域(ROI:Region of Interest)を示す図である。 ROIについて、安静時の機能結合の相関を示す相関行列を抽出する手続きを示す概念図である。 相関行列から、バイオマーカーとなる判別器を生成する過程を説明する概念図である。 図5で説明したような判別器の生成処理および生成された判別器による判別処理を行うための機能ブロック図である。 バイオマーカーとなる判別器を生成するためにデータ処理部32が行う処理を説明するためのフローチャートである。 内ループ特徴選択を説明するための概念図である。 内ループ特徴選択処理の概念を説明するための図である。 一例として、内ループ特徴選択を行った際の反復処理のうち、特定のハイパーパラメータλ1およびλ2に対する結果を示す図である。 内ループ特徴選択の処理を、より詳しく説明するためのフローチャートである。 外ループ特徴選択を説明するための概念図である。 外ループ特徴選択の処理を、より詳しく説明するためのフローチャートである。 ステップS108での判別器の生成処理の概念を示す図である。 日本人の181人の被験者(ASD患者群74人、定型発達群107人)に対して、最終的に選択された機能結合の相関行列の要素を示す図である。 9730個の全ての機能的結合の相関行列の要素(FC)を図15に対応する側からそれぞれ見た図である。 48個の非ゼロのci kの大きさの分布を示す図である。 生成されたバイオマーカーの検証手続きを示す概念図である。 サイトA〜Cの被験者の属性のデータを示す図である。 バイマーカーの汎化性能を示す図である。 米国での被験者の属性を示す図である。 データ収集、推定処理および対象者の脳活動計測を、分散して処理する場合の一例を示す機能ブロック図である。
以下、本発明の実施の形態のMRIシステムの構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
[実施の形態1]
図1は、MRI装置10の全体構成を示す模式図である。
図1に示すように、MRI装置10は、被験者2のROIに制御された磁場を付与してRF(Radio Frequency)波を照射する磁場印加機構11と、この被験者2からの応答波(NMR信号)を受信してアナログ信号を出力する受信コイル20と、この被験者2に付与される磁場を制御するとともにRF波の送受信を制御する駆動部21と、この駆動部21の制御シーケンスを設定するとともに各種データ信号を処理して画像を生成するデータ処理部32とを備える。
なお、ここで、被験者2が載置される円筒形状のボアの中心軸をZ軸にとりZ軸と直交する水平方向にX軸及び鉛直方向にY軸を定義する。
MRI装置10は、このような構成であるので、磁場印加機構11により印加される静磁場により、被験者2を構成する原子核の核スピンは、磁場方向(Z軸)に配向するとともに、この原子核に固有のラーモア周波数でこの磁場方向を軸とする歳差運動を行う。
そして、このラーモア周波数と同じRFパルスを照射すると、原子は共鳴しエネルギーを吸収して励起され、核磁気共鳴現象(NMR現象)が生じる。この共鳴の後に、RFパルス照射を停止すると、原子はエネルギーを放出して元の定常状態に戻る緩和過程で、ラーモア周波数と同じ周波数の電磁波(NMR信号)を出力する。
この出力されたNMR信号を被験者2からの応答波として受信コイル20で受信し、データ処理部32において、被験者2のROIが画像化される。
磁場印加機構11は、静磁場発生コイル12と、傾斜磁場発生コイル14と、RF照射部16と、被験者2をボア中に載置する寝台18とを備える。
被験者2は、寝台18に、例えば、仰臥する。被験者2は、特に限定されないが、例えば、プリズムメガネ4により、Z軸に対して垂直に設置されたディスプレイ6に表示される画面を見ることができる。このディスプレイ6の画像により、被験者2に視覚刺激が与えられる。なお、被験者2への視覚刺激は、被験者2の目前にプロジェクタにより画像が投影される構成であってもよい。
このような視覚刺激は、上述したニューロフィードバックでは、フィードバック情報の提示に相当する。
駆動部21は、静磁場電源22と、傾斜磁場電源24と、信号送信部26と、信号受信部28と、寝台18をZ軸方向の任意位置に移動させる寝台駆動部30とを備える。
データ処理部32は、操作者(図示略)から各種操作や情報入力を受け付ける入力部40と、被験者2のROIに関する各種画像及び各種情報を画面表示する表示部38と、表示部38を制御する表示制御部34と、各種処理を実行させるプログラム・制御パラメータ・画像データ(構造画像等)及びその他の電子データを記憶する記憶部36と、駆動部21を駆動させる制御シーケンスを発生させる等の各機能部の動作を制御する制御部42と、駆動部21との間で各種信号の送受信を実行するインタフェース部44と、ROIに由来する一群のNMR信号からなるデータを収集するデータ収集部46と、このNMR信号のデータに基づいて画像を形成する画像処理部48と、ネットワークとの間で通信を実行するためのネットワークインタフェース50を備える。
データ処理部32は、専用コンピュータでもよいし、各機能部を動作させる機能を実行する汎用コンピュータであって、記憶部36にインストールされたプログラムに基づいて、指定された演算やデータ処理や制御シーケンスを発生させるものであってもよい。以下では、データ処理部32は、汎用コンピュータであるものとして説明する。
静磁場発生コイル12は、Z軸周りに巻回される螺旋コイルに静磁場電源22から供給される電流を流して誘導磁場を発生させ、ボアにZ軸方向の静磁場を発生させるものである。このボアに形成される静磁場の均一性の高い領域に被験者2のROIを設定することになる。ここで、静磁場発生コイル12は、より詳しくは、例えば、4個の空芯コイルから構成され、その組み合わせで内部に均一な磁界を作り、被験者2の体内の所定の原子核、より特定的には水素原子核のスピンに配向性を与える。
傾斜磁場発生コイル14は、Xコイル、Yコイル及びZコイル(図示省略)から構成され、円筒形状を示す静磁場発生コイル12の内周面に設けられる。
これらXコイル、Yコイル及びZコイルは、それぞれX軸方向、Y軸方向及びZ軸方向を順番に切り替えながら、ボア内の均一磁場に対し傾斜磁場を重畳させ、静磁場に強度勾配を付与する。Zコイルは励起時に、磁界強度をZ方向に傾斜させて共鳴面を限定し、Yコイルは、Z方向の磁界印加の直後に短時間の傾斜を加えて検出信号にY座標に比例した位相変調を加え(位相エンコーディング)、Xコイルは、続いてデータ採取時に傾斜を加えて、検出信号にX座標に比例した周波数変調を与える(周波数エンコーディング)。
この重畳される傾斜磁場の切り替えは、制御シーケンスに従って、Xコイル、Yコイル及びZコイルにそれぞれ異なるパルス信号が傾斜磁場電源24から出力されることにより実現される。これにより、NMR現象が発現する被験者2の位置を特定することができ、被験者2の画像を形成するのに必要な三次元座標上の位置情報が与えられる。
ここで、上述のように、3組の直交する傾斜磁場を用いて、それぞれにスライス方向、位相エンコード方向、および周波数エンコード方向を割り当ててその組み合わせにより様々な角度から撮影を行える。例えば、X線CT装置で撮像されるものと同じ方向のトランスバーススライスに加えて、それと直交するサジタルスライスやコロナルスライス、更には面と垂直な方向が3組の直交する傾斜磁場の軸と平行でないオブリークスライス等について撮像できる。
RF照射部16は、制御シーケンスに従って信号送信部26から送信される高周波信号に基づいて、被験者2のROIにRFパルスを照射するものである。
なお、RF照射部16は、図1において、磁場印加機構11に内蔵されているが、寝台18に設けられたり、又は、受信コイル20と一体化されていてもよい。
受信コイル20は、被験者2からの応答波(NMR信号)を検出するものであって、このNMR信号を高感度で検出するために、被験者2に近接して配置されている。
ここで、受信コイル20には、NMR信号の電磁波がそのコイル素線を切ると電磁誘導に基づき微弱電流が生じる。この微弱電流は、信号受信部28において増幅され、さらにアナログ信号からデジタル信号に変換されデータ処理部32に送られる。
すなわち、静磁界にZ軸傾斜磁界を加えた状態にある被験者2に、共鳴周波数の高周波電磁界を、RF照射部16を通じて印加すると、磁界の強さが共鳴条件になっている部分の所定の原子核、例えば、水素原子核が、選択的に励起されて共鳴し始める。共鳴条件に合致した部分(例えば、被験者2の所定の厚さの断層)にある所定の原子核が励起され、スピンがいっせいに回転する。励起パルスを止めると、受信コイル20には、今度は、回転しているスピンが放射する電磁波が信号を誘起し、しばらくの間、この信号が検出される。この信号によって、被験者2の体内の、所定の原子を含んだ組織を観察する。そして、信号の発信位置を知るために、XとYの傾斜磁界を加えて信号を検知する、という構成になっている。
画像処理部48は、記憶部36に構築されているデータに基づき、励起信号を繰り返し与えつつ検出信号を測定し、1回目のフーリエ変換計算により、共鳴の周波数をX座標に還元し、2回目のフーリエ変換でY座標を復元して画像を得て、表示部38に対応する画像を表示する。
例えば、このようなMRIシステムにより、上述したBOLD効果に対応したNMR信号をリアルタイムで撮像し、制御部42により、時系列に撮像される画像について、後に説明するような解析処理を行うことで、安静時機能結合的MRI(rs-fcMRI)の撮像を行うことが可能となる。
図2は、データ処理部32のハードウェアブロック図である。
データ処理部32のハードウェアとしては、上述のとおり、特に限定されないが、汎用コンピュータを使用することが可能である。
図2において、データ処理部32のコンピュータ本体2010は、メモリドライブ2020、ディスクドライブ2030に加えて、演算装置(CPU)2040と、ディスクドライブ2030及びメモリドライブ2020に接続されたバス2050と、ブートアッププログラム等のプログラムを記憶するためのROM2060とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM2070と、アプリケーションプログラム、システムプログラム、およびデータを記憶するための不揮発性記憶装置2080と、通信インタフェース2090とを含む。通信インタフェース2090は、駆動部21等と信号の授受を行うためのインタフェース部44および図示しないネットワークを介して他のコンピュータと通信するためのネットワークインタフェース50に相当する。なお、不揮発性記憶装置2080としては、ハードディスク又はソリッドステートドライブ等を使用することが可能である。不揮発性記憶装置2080が、図1に示す記憶部36に相当する。
CPU2040が、プログラムに基づいて実行する演算処理により、データ処理部32の各機能、例えば、制御部42、データ収集部46、画像処理部48の各機能が実現される。
データ処理部32に、上述した実施の形態の機能を実行させるプログラムは、CD−ROM2200、またはメモリ媒体2210に記憶されて、ディスクドライブ2030またはメモリドライブ2020に挿入され、さらに不揮発性記憶装置2080に転送されても良い。プログラムは実行の際にRAM2070にロードされる。
データ処理部32は、さらに、入力装置としてのキーボード2100およびマウス2110と、出力装置としてのディスプレイ2120とを備える。キーボード2100およびマウス2110が入力部40に相当し、ディスプレイ2120が表示部38に相当する。
上述したようなデータ処理部32として機能するためのプログラムは、コンピュータ本体2010に、情報処理装置等の機能を実行させるオペレーティングシステム(OS)は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。データ処理部32がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、分散処理を行ってもよい。
図3は、本実施の形態のrs-fcMRI法により撮像される脳のROIを示す。
ここでは、自閉症スペクトラム(Autistic Spectrum Disorder: ASD)に対するバイオマーカーを例にとることとし、ROIとして140の領域を採用する。
このようなROIとしては、例えば、以下のような領域である。
背内側前頭前皮質(DMPFC)
前頭前野腹内側部(VMPFC)
前帯状皮質(ACC)
小脳虫部、
左視床、
右下頭頂葉、
右尾状核、
右中後頭葉、
右中帯状皮質
ただし、採用する脳の領野は、このような領域に限定されるものではない。
例えば、対象とする神経・精神疾患に応じて、選択する領域を変更してもよい。
図4は、図3に示すようなROIについて、安静時の機能結合の相関を示す相関行列を抽出する手続きを示す概念図である。
図4に示すように、リアルタイムで測定した安静時のfMRIのn個(n:自然数)の時刻分のfMRIデータから、各ROIの平均的な「活動度」を算出し、脳領域間(ROI間)の活動度の相関値を算出する。
ここで、ROIとしては、上述したように140領域を考えているので、相関行列における独立な非対角成分は、対称性を考慮すると、
(140×140−140)/2=9730(個)
ということになる。なお、図4では、図の上では、相関は34×34のみを示している。
このような相関行列の要素の算出については、特に限定されないが、例えば、以下のように実行することが可能である。
安静時脳活動データから、各被験者について、異なるROI間の機能的結合(Functional connectivity, FC)を計算する。FCは安静時脳活動解析において一般的に利用される特徴量であり、異なるROIの時系列信号間のピアソンの相関係数により定義される。
まず、各ROIに含まれる全ボクセルの平均信号の時系列を抽出する。
次に信号値からのノイズ除去のため、バンドパスフィルタをかけ、その後、9つの説明変数(全脳,白質,脳脊,髄液の平均信号及び6つの体動補正パラメータ)による回帰を行う。
回帰後の残差系列を機能的結合と関連する時系列信号値と考え、異なるROIの時系列間でピアソンの相関係数を計算する。
ROIについては、Brain Sulci Atlas(BAL)に含まれる137のROIに加え、Automated Anatomical Labeling Atlasの小脳(左右)及び虫部のROIを用いる。これら合計140のROI間の機能的結合FCを特徴量として用いる。
ここで、Brain Sulci Atlas(BAL)およびAutomated Anatomical Labeling Atlasについては、以下に開示がある。
文献:Perrot et al., Med Image Anal, 15(4), 2011
文献:Tzourio-Mazoyer et al., Neuroimage, 15(1), 2002
図5は、図4で説明したような相関行列から、バイオマーカーとなる判別器を生成する過程を説明する概念図である。
図5に示すように、健常群、患者群において測定された安静時機能結合的MRIのデータから、それぞれの被験者について後に説明するような手続により、データ処理部32が、脳領域間(ROI間)の活動度の相関行列を導出する。
続いて、データ処理部32により、被験者の疾患/健常ラベルを含む被験者の属性と相関行列とについて正則化正準相関解析により特徴抽出が行われる。「正則化」とは、一般に、機械学習及び統計学において、誤差関数に、ハイパーパラメータにより重み付けされた正則化項を追加して、モデルの複雑度・自由度に抑制を加え、過学習を防ぐ方法である。なお、正則化正準相関解析の結果、説明変数についてスパース化も併せて実現される場合は、特に、スパース正準相関解析(Sparse Canonical Correlation Analysis:SCCA)と呼ぶ。以下では、具体例としては、スパース正準相関解析を行うものとして説明する。
そして、このようなスパース正準相関解析において、後述するように、ハイパーパラメータの値の調節により「診断ラベル」とのみ結合する正準変数が存在するようにしたときに、これに対応する正準変数に接続する機能的結合FCを抽出する。所定範囲でハイパーパラメータを変化させるとき、このような条件を満たす正準変数が存在する範囲で抽出される機能的結合FCの和集合を「第1和集合」と呼ぶ。
さらに、データ処理部32により、スパース正則化正準相関解析の結果得られた「第1和集合」を説明変数とし、例えば、1個抜き交差検証(Leave-One-Out Cross Validation:LOOCV)を行いながら、各交差検証のステップでスパースロジスティック回帰による判別分析を行い、すべての交差検証にわたって、説明変数として抽出された機能的結合FCの和集合を「第2和集合」と呼ぶ。
最後に、全ての被験者のデータに対して、「第2和集合」を説明変数として、目的変数である「診断ラベル」に対して、スパースロジスティック回帰による判別分析を行って、判別器が生成される。
なお、後に説明するように、健常群および患者群のデータは、MRI装置10自身で測定される場合に限られず、他のMRI装置において測定されたデータをも統合して、判別器の生成が行われてもよい。また、より一般には、データ処理部32は、MRI装置の制御を実行するためのコンピュータである必要は必ずしもなく、複数のMRI装置からの測定データを受け取って、判別器の生成処理および生成された判別器により、判別処理を行うことに特化したコンピュータであってもよい。
図6は、図5で説明したような判別器の生成処理および生成された判別器による判別処理を行うための機能ブロック図である。
まず、不揮発性記憶装置2080には、複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号をMRI装置により時系列で予め測定した信号の情報であるMRI測定データ3102と、MRI測定データを計測した各被験者に関連づけられた、複数の人属性情報3104とが格納されている。
ここで、「人属性情報」とは、被験者個人を特定するための「人特性情報」と、各被験者に対する測定条件を特定するための「測定条件情報」とを含む。
「人特性情報」とは、被験者に対する診断ラベル、年齢、性別、投薬履歴等の情報を意味する。
「測定条件情報」とは、被験者を測定した測定サイト情報(測定した施設及び/又は測定した装置を特定する情報を含む)、並びに、測定中に、開眼/閉眼のいずれで計測したか、及び測定磁場強度等の測定条件を特定する条件である。
演算装置2040は、MRI測定データ3102及び対応する人属性情報3104に基づいて、診断ラベルに対する判別器を生成する処理を行う。
相関行列算出部3002は、MRI測定データ3102から複数の所定領域間の脳活動の機能的結合の相関行列を被験者ごとに算出する。算出された機能的結合の相関行列のデータは、被験者ごとに、不揮発性記憶装置2080に、機能結合の相関行列のデータ3106として格納される。
第1特徴選択部3004は、複数の被験者から抽出されたK個(K:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された部分集合を除く(K−1)個の部分集合に対して、複数の属性情報と相関行例の要素とに対するスパース正準相関分析により、複数の人属性情報のうちの特定の属性情報、例えば、診断ラベルのみに対応する正準変数と接続する相関行例の要素を抽出する。さらに、第1特徴選択部3004は、順次選択される部分集合にわたって、抽出された相関行例の要素の和集合である第1和集合を取得し、不揮発性記憶装置2080に、第1の機能結合和集合データ3108として格納する。なお、「第1の機能結合和集合データ」は、機能結合の相関行列のデータ3106のうち、第1の和集合に対応する要素を特定するためのインデックスであってもよい。
第2特徴選択部3006は、複数の被験者のうち上記K個の部分集合を除く残りの被験者をテスト集合とし、テスト集合を異なるN個のグループに分けるとき、複数の被験者からN個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、第1和集合に基づいて、上記特定の属性情報(例えば、診断ラベル)を推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴いテスト判別器の説明変数となる相関行例の要素を抽出する。第2特徴選択部3006は、さらに、N個のグループのうちから1つのグループを順次選択しつつ、特徴抽出を繰り返して、テスト判別器の説明変数として抽出された相関行例の要素の和集合である第2和集合を取得して、不揮発性記憶装置2080に、第2の機能結合和集合データ3110として格納する。なお、「第2の機能結合和集合データ」も、機能結合の相関行列のデータ3106のうち、第2の和集合に対応する要素を特定するためのインデックスであってもよい。
なお、N個グループの各々の要素の個数は1個であってもよい。
判別器生成部3008は、第2和集合を説明変数として、特定の属性情報(例えば、診断ラベル)を推定するための判別器をスパースロジスティック回帰により算出する。判別器生成部3008は、生成された判別器を特定するための情報を、不揮発性記憶装置2080に、判別器データ3112として格納する。
判別処理部3010は、判別器データ3112により特定される判別器に基づいて、入力データに対して判別処理を行う。
なお、上記の説明では、判別器生成部3008は、第2和集合を説明変数として、判別器を生成するものとして説明したが、例えば、判別器生成部3008は、直接、第1和集合を説明変数として、判別器を生成してもよい。ただし、後に説明するように、次元の低減、及び汎化性能の観点からは、第2和集合を説明変数とすることが、望ましい。
なお、判別器の生成にあたっては、正則化法(例えば、L1正則化又はL2正則化)を用いたロジスティック回帰である正則化ロジスティック回帰を用いることができ、より具体的には、例えば、上述した「スパースロジスティック回帰」を使用することもできる。また、判別器の生成には、サポートベクトルマシン、又はLDA(Linear discriminant analysis)等を使用してもよい。以下では、スパースロジスティック回帰を例にとって説明することにする。
後に説明するように、第2特徴選択部3006による特徴選択処理と並行して、N個のグループのうちから除かれる1つのグループを順次選択しつつ、第2特徴選択部3006により算出されたテスト判別器により、除かれたグループをテストサンプルとして判別結果を算出することにより交差検証を行ってもよい。
このように説明変数の次元の縮小を、入れ子構造となった特徴選択手続きにより行うことにより、第2特徴選択部3006の行う処理において、ほとんどの被験者のデータを使用する一方、時間的に効率的な次元の数の縮小を実行できる。
さらに、第2特徴選択部3006の処理におけるテスト集合を、次元の数を縮小するために使用されるデータ・セットとは、独立となるようにしておくことにより、極端に楽観的な結果が得られることを回避できる。
図7は、バイオマーカーとなる判別器を生成するためにデータ処理部32が行う処理を説明するためのフローチャートである。
以下、図5で説明した処理を、図7を参照しながら、より詳しく説明する。
安静時のfMRIデータから導き出される脳領野間の結合と被験者の疾患の判別ラベル(診断ラベル)に基づいてバイオマーカーを作成する場合の最大の問題点は、データ数に比べてデータの次元が圧倒的に多いことである。そのため、正則化を行うことなしに、このデータセットを用いて診断ラベル(ここでは、被験者が疾患であるか健常であるかを示すラベルを「診断ラベル」と呼ぶ)の予測のための判別器の学習を行うと、判別器がオーバーフィット(過剰適合)し、未知のデータに対する予測性能が著しく低下する。
ここで、一般に、機械学習において、観測データをより少ない数の説明変数で説明するように行われる処理のことを「特徴選択(または特徴抽出)」と呼ぶ。本実施の形態では、「脳領域間(ROI間)の活動度の複数個の相関値(複数個の結合)」のうち、対象となる診断ラベルの予測のための判別器の機械学習において、より少ない相関値により判別器を構成できるように特徴選択(特徴抽出)をすること、すなわち、説明変数として、より重要な相関値を選択することを「縮約表現を抽出する」と呼ぶことにする。
そして、本実施の形態では、特徴抽出法として、正則化法を用いる。このように、正準相関分析において、正則化とともにスパース化を実行し、説明変数としてより重要なものを残すように処理するという意味で、このような処理を「スパース正準相関分析」と呼ぶ。より具体的には、例えば、スパース化を併せて実現するための正則化法としては、以下に説明するような「L1正則化」という正準相関分析のパラメータの絶対値の大きさにペナルティーを課す手法を用いることが可能である。
すなわち、図7を参照して、データ処理部32は、判別器生成の処理が開始されると(S100)、記憶部36から各被験者についてのMRI測定データを読み出し(S102)、スパース正準相関分析により第1の特徴抽出の処理を行う(S104)。
以下では、ステップS104の処理を「内ループ特徴選択」と呼ぶ。
ここで、ステップS104での内ループ特徴選択の処理を説明するために、「スパース正準相関分析」と、「内ループ特徴選択」について、以下、それぞれ説明する。
(スパース正準相関分析)
以下では、スパース正準相関分析として、L1正則化正準相関分析について説明する。このL1正則化正準相関分析については、以下の文献に開示がある。
文献:Witten DM, Tibshirani R, and T Hastie. A penalized matrix decomposition, with applications to sparse principal components and canonical correlation analysis. Biostatistics, Vol. 10, No. 3, pp. 515-534, 2009.
まず、一般の正準相関分析(Canonical Correlation Analysis: CCA)では、変数対x1およびx2を考える際に、それぞれの変数x1およびx2は、平均0、標準偏差1を持つように標準化される。
一般的に言えば、正準相関分析の使用によって、ペアになった観測量の間の潜在している関係を識別できる。
具体的には、正準相関分析では、対となる射影された変数(正準変数)に最大の相関があるように、投影ベクトルを見つけ出す。
これに対して、正準相関分析にL1正則化を導入した場合、すなわち、L1ノルム正規化によるスパースCCA、すなわち、L1−SCCAを使用する場合は、以下のような最適化問題を解くことになる。
以下のような変数の組を考える。
Figure 2017196523
ここでも、行列X1およびX2を構成する列については、それぞれ平均が0で分散が1となるように正規化されているものとする。
そうすると、L1−SCCAは、以下の式(1)のように定式化できる。
Figure 2017196523
ここで、ハイパーパラメータλ1およびλ2が、重みパラメータw1およびw2の(w1およびw2により対応する変数がスパース化されることから「スパース投影ベクトル」と呼ぶ)スパース化の度合いをそれぞれ示す。
具体的に、本実施の形態の例としては、人属性情報および機能的な結合FCの潜在している関係を識別するために、上記の変数に相当する2つのデータ行列を構築するものとする。
以下では、被験者は、自閉症の患者群(診断ラベルを「ASD(Autism Spectrum Disorder)」で表す)と定型発達群(診断ラベルを「TD(Typically Developing)」で表す)を含むものとする。第1のデータ行列X1の行は、1人の被験者の人属性情報(人特性情報および測定条件情報)を表しており、例えば、この特性情報や測定条件情報は、以下のものを含む:
i)診断ラベル(ASD又はTD),
ii)サイト情報(被験者の脳活動がどこで計測されたか、サイトA,B,C)
iii)年齢
iv)性別
v)撮像条件(開眼又は閉眼)
vi)薬剤投与の状態1(抗精神病薬)
vii)薬剤投与の状態2(抗鬱薬)
viii)薬剤投与の状態3(精神安定剤)
具体的には、人属性情報データ行列X1の列数は、10であり、つまりp1=10である。
最初の列は、1(=ASD)又は0(=TD)を含んでいる。
次の3つの列は、脳活動の計測された施設(場所)を示しており、この場合は、3つの異なるサイトで計測が行われたことに相当して、[100](サイトA)、[010](サイトB)又は[001](サイトC)のいずれかを含んでいる。
第5列は、被験者の年齢の値を含んでおり、第6列は、被験者の性別の情報であって、1(男性)又は0(女性)のいずれかの値を含んでおり、第7列は、測定条件のうち、測定中に被験者が、目を開いていたか、又は、目を閉じていたかを示し、1(開眼)又は0(閉眼)の値を含んでいる。また、最後の3つの列は、3つの薬剤の投薬履歴に関するステータス情報を含んでおり、それぞれの列は、1(薬物治療あり)あるい0(薬物治療履歴無し)の値を含んでいる。
なお、人特性情報および測定条件情報は、上記のようなものに限定されず、例えば、被験者の他の薬剤の投薬履歴の情報等の他の特性や、他の測定条件、例えば、MRI装置の印加磁場の大きさ等の条件の情報を含んでいてもよい。
第2のデータ行列X2は、被験者の機能的結合の相関(FC)を表わす相関行列の非対角の下三角の部分の要素を行ベクトル形式で表現したものであるとする。
そして、L1−SCCAが、行列のペアX1およびX2に適用され、それから、スパース投影ベクトルw1およびw2が導き出される。
そして、上述のとおり、ハイパーパラメータλ1およびλ2を所定の値に設定したときに、スパース化により第1のデータ行列X1が、スパース投影ベクトルw1により、特定の人属性情報、この場合は、「診断ラベル」のみとなる正準変数に投影される条件が満たされるようにする。この場合に、対応する第2のデータ行列X2において、診断ラベルにのみ関連する機能的結合の相関行列要素を特定するためのインデックス(要素)を特定するために、スパース投影ベクトルw2を使用する。
すなわち、内ループ特徴選択では、L1−SCCAのハイパーパラメータλ1およびλ2は、例えば、0.1の大きさのステップで、0.1と0.9の間で独立して変更される。
ただし、ハイパーパラメータλ1およびλ2を可変とする範囲および変化させるステップの大きさは、このような例に限定されるものではない。
L1−SCCAの処理に対して、「診断」ラベルにのみ接続した正準変数が存在するようなハイパーパラメータλ1およびλ2の範囲を見つけ出す。
後に説明する実験条件では、平均では、この拘束条件を満足するλの組合せの量は、上述した例では、全体として45の可能な組合せの17.6±5.0%であった。
導出されたスパース投影ベクトルw2のゼロでない要素によって規定される部分空間へ元の相関行列要素を投影することを以下のようにして表現する。
ここで、スパース投影ベクトルw2のk番目のゼロでない要素のインデックスを示すために変数ikを定義する。ここで、1≦k≦mであり、mはゼロでないエレメントの数を示す。
そして、以下のような部分空間への投影マトリックスEを考える。
Figure 2017196523
最後に、元の相関行列要素ベクトルx2を以下のように投影することにより部分空間z∈Rmへのベクトルが導かれる。
Figure 2017196523
結果として、診断ラベル(ASD/TD)に関連する特定の数だけの特徴量(相関行列要素)を選択できる。
診断のラベルとのみ関係のある正準変数に相当する相関行列要素を選ぶことによって、分類に本質的な相関行列要素が選択される。
(内ループ特徴抽出)
図8は、内ループ特徴選択を説明するための概念図である。
図7のステップS104の内ループ特徴選択では、図8に説明するようにして、被験者の集合をK個(K:2以上の自然数)に分割して、(K−1)個の部分集合のうち、1つの集合を除いた残りの部分集合について、上述したL1−SCCAを実行することを、(K−1)回繰り返す。
すなわち、図8(a)に示すように、被験者の集合のうちの(K−1)/K(例えば、K=9であれば8/9)に相当する部分集合(これを、以下「内ループ訓練データ」と呼ぶ)が、このような内ループ特徴選択に使用される。K個の部分集合のうちの残りの1つは、後に説明する外ループ特徴選択において、訓練対象となるテストデータを含む「テストプール」として使用されるため、内ループ特徴選択では使用されない。
図8(b)に示すように、(K−1)個の部分集合のうち、1つの集合(図8(b)で斜線で示す)を除いた残りの部分集合について、ハイパーパラメータλ1およびλ2を所定の範囲で、所定ステップずつ変化させ、L1−SCCAを実行する。特定のハイパーパラメータλ1およびλ2の範囲で、「診断」ラベルとのみ関連がある正準変数に関係している機能的結合要素FCを特徴量として抽出する。
このような抽出処理を、(K−1)個の部分集合のうち、除くことになる1つの集合を順次変えた部分集合について、反復する。
各反復において、抽出された機能的結合の相関行列の要素FCの和集合を「内ループで選択された機能的結合要素FCの和集合」(第1の和集合)とする。
このような処理を行うことで、攪乱変数NVに相当する、異なる撮像サイトでの人属性情報や異なる撮像サイトでの撮像条件の相違によって引き起こされた不適当な影響は縮小されることになる。
この手続きは、後に説明するように、例えば、日本国内の複数の撮像サイトからのMRI計測データに基づいて生成した判別器を、外国、例えば、米国にまで汎化するロバストに構築するのに役立つことになる。
再び、図7に戻って、続いて、データ処理部32は、内ループ特徴選択の結果に基づいて、スパースロジスティック回帰を用いて、第2の特徴抽出の処理を実行する(S106)。
以下では、ステップS106の処理を「外ループ特徴選択」と呼ぶ。
ここで、ステップS106での外ループ特徴選択の処理を説明するために、「スパースロジスティック回帰」と、「外ループ特徴選択」について、以下、それぞれ説明する。
(スパースロジスティック回帰)
スパースロジスティック回帰は、ロジスティック回帰分析をベイズ推定の枠組みに拡張した手法であり、特徴ベクトルの次元圧縮を判別のための重み推定と同時に行う手法である。データの特徴ベクトルの次元数が非常に高く、不要な特徴量が多く含まれている場合に有用である。不要な特徴量に対しては線形判別分析における重みパラメータをゼロにし(すなわち、特徴選択を行い)、判別に関連するごく少数の特徴量だけを取り出す(スパース性)。
スパースロジスティック回帰では得られた特徴データに対して、分類するクラスへの所属する確率pをクラス毎に求め、最大値を出力したクラスに割り当てる。pはロジスティック回帰式によって出力される。重みの推定はARD(Automatic Relevance determination)によって行われ、クラス判別への貢献が少ない特徴量は、重みが0に近づくことで計算から除外される。
すなわち、上述のL1正則化CCAを用いて抽出された特徴量の第1の和集合を入力として、次の階層ベイズ推定にもとづく判別器を用いて、診断ラベルの予測を行う。
ここで、上述した式(2)で抽出された特徴入力z(選択されたFC)から診断のラベルが疾患(ここでは、自閉症との診断)となる確率を予測するために、判別器としてロジスティック回帰を使用する。
Figure 2017196523
ここで、yは、診断クラス・ラベルを表わし、つまり、y=1はASDクラスを、y=0はTDクラスをそれぞれ示す。
また、以下のzハット(文字の頭部に^が付けられたものを、「ハット」と呼ぶ)は、拡張入力を備えた特徴ベクトルである。
Figure 2017196523
ここで、特徴ベクトルzは、1人の被験者の安静時MRIサンプルの結合相関行列から式(2)に従って、抽出される。
拡張入力“1”を使用することは、判別器に対する一定の(バイアス)入力を導入するための、標準的なアプローチである。
以下のようなθは、ロジスティック関数のパラメータベクトルである。
Figure 2017196523
この際のパラメータθの分布を以下のような正規分布に設定する。
Figure 2017196523
さらに、パラメータwの分布のハイパーパラメータαの分布を以下のように設定することにより、階層ベイズ推定を行うことによりそれぞれのパラメータの分布を推定する。
Figure 2017196523
ここで、a0, b0はハイパーパラメータのガンマ分布を決定するパラメータである。αはベクトルθの正規分布の分散を表現するパラメータベクトルで、そのベクトルのi番目の要素がαiである。
なお、このようなスパースロジスティック回帰については、以下の文献に開示がある。
文献:Okito Yamashita, Masa aki Sato, Taku Yoshioka, Frank Tong, and Yukiyasu Kamitani. “Sparse Estimation automatically selects voxels relevant for the decoding of fMRI activity patterns.” NeuroImage, Vol. 42, No. 4, pp. 1414-1429, 2008.
(外ループ特徴選択)
図12は、外ループ特徴選択を説明するための概念図である。
図7のステップS106の外ループ特徴選択では、図12に説明するようにして、内ループ特徴選択の際に、被験者の集合をK個(K:2以上の自然数)に分割したうち、内ループ特徴選択に使用した(K−1)個の部分集合を除く残りの1つの部分集合を、訓練対象となるテストデータを含む「テストプール」として使用する。
すなわち、図12に示すように、例えば、このテストプールをL個のグループに分割し、このL個のグループから順次1つのグループ(図12の点線四角内で、斜線で示す)を選択し、被験者の集合この選択されたグループを除く被験者について、第1の和集合である機能的結合の相関行列の要素FCを説明変数として、診断ラベルを予測する判別器をスパースロジスティック回帰により生成する。このときに、スパースロジスティック回帰により「機能的結合の相関行列の要素FC」が、さらに選択される。これを「外ループで選択された機能的結合の相関行列の要素FC」と呼ぶ。
このようにして、L個のグループから順次1つのグループを選択して、このような処理をL回反復することで、抽出された機能的結合の相関行列の要素FCの和集合を「外ループで選択された機能的結合要素FCの和集合」(第2の和集合)とする。
このように、外ループ特徴抽出において使用されるテスト集合は、内ループ特徴抽出において次元数を縮小するために使用されたデータ・セットから常に独立している。
なお、ここでは、一例として、特に、L個のグループの各々は、1人の被験者を含むものとする。この場合は、上記反復処理において、除かれた1人の被験者について、生成された判別器で予測処理を行い、その除かれた1人の被験者についての診断ラベルと予測結果との誤差を累積処理することは、いわゆる1個抜き交差検証(Leave-One-Out Cross Validation:LOOCV)を行うことに相当する。したがって、図12の処理において、各反復処理で、上述の誤差を算出し、これを累積してL回について平均することで、生成された判別器の交差検証、言い換えると、汎化能力の評価を行うことも可能である。
(判別器の生成)
再び図7に戻って、続いて、データ処理部32は、外ループ特徴選択の結果(第2の和集合)に基づいて、スパースロジスティック回帰により、判別器の生成処理を実行する(S108)。
図14は、ステップS108での判別器の生成処理の概念を示す図である。
図14に示すように、ステップS108では、第1の和集合から外ループ特徴選択により抽出された第2の和集合を説明変数として、全ての被験者についてのスパースロジスティック回帰により、判別器が生成される。
生成された判別器を特定するための判別器データ(関数形およびパラメータに関するデータ)3112は、不揮発性記憶装置2080に格納され、後に、以上のような訓練に使用されたのとは異なるMRI測定データ(テストデータ)が入力された際に、テストデータに対する診断ラベルの推定を実行する際の判別処理に使用される。
すなわち、事前の医師の診断に基づいて、健常群、患者群に分けられた被験者の脳領域間(ROI間)の活動度の相関(結合)を測定し、測定結果に対する機械学習により、これらとは異なる新たな被験者についてのテストデータが疾患または健常のいずれに相当するかを判別するように生成された判別器が、精神疾患のバイオマーカーとして機能する。
このとき、バイオマーカーの出力である「診断ラベル」としては、判別器がロジスティック回帰により生成されることから、疾患である確率(または健常である確率)を含んでもよい。例えば、「疾患である確率は、○○%」といような表示として出力する。このような確率を、「診断マーカー」として使用することが可能である。
また、判別器の出力となる属性については、必ずしも、疾患の判別に限られず、他の属性についての出力であってもよい。この場合も、その属性について、いずれのクラスに属するかという離散的な判別結果を出力してもよいし、その属性について、あるクラスに属する連続的な値、例えば確率を出力してもよい。
すなわち、バイオマーカーの学習(作成)においては、精神疾患のバイオマーカー作成のため,安静時機能的結合MRI(rs-fcMRI) データを入力として,上述の内ループ特徴選択および外ループ特徴選択により特徴抽出を行い、抽出された特徴量を説明変数として生成された判別器により疾患・健常ラベル判別を行う。
(内ループ特徴選択での処理)
図9は、内ループ特徴選択処理の概念を説明するための図である。
図10は、一例として、内ループ特徴選択を行った際の反復処理のうち、特定のハイパーパラメータλ1およびλ2に対する結果を示す図である。
図9を参照して、入れ子構造になっている特徴選択において、L1−SCCAの反復のうちの1つを表わし、ここでは、正準変数が「診断ラベル」にのみ接続されている。
図9では、正準変数が「診断ラベル」にのみ接続されていることを、診断ラベルがただ1つの正準変数w1 Tx1と、実線で接続されることで表している。
また、正準変数w1 Tx1と正準変数w2 Tx2とを接続する点線の上の記号cjは、それぞれの正準変数間の相関係数を表す。
正準変数w1 Tx1が「診断ラベル」にのみ接続されているときに、対応する正準変数w2 Tx2と接続する機能結合の相関行列の非対角の下三角行列の要素が、特徴量として選択される。
図10では、例として、最初の外ループの中で、各人属性情報につき少なくとも1つの正準相関を生成する最も小さなハイパーパラメータの組合せ(ここでは、λ1=0.4,λ2=0.2)を示す。
正準変数は、丸によって表わされる。
左の列の丸は人特性情報と測定条件に由来する、正準変数w1 Tx1を示す。一方で、右の列の丸は、機能的結合(FC)に由来する正準変数w2 Tx2を示す。
上述のとおり、正準変数を接続する点線の上の数字は、正準変数w1 Tx1とw2 Tx2の間の相関係数を表わす。
人属性情報のラベルおよび正準変数w2 Tx2の間の接続は実線または点線で表わされる。
この例で、それぞれ「診断」ラベル、また「性別」および「開眼/閉眼条件」を表す、1番目と6番目の正準変数の間のオーバーラップに注目してみる。
第1番の正準変数に関連した機能結合の相関行列の要素の数は745個であり、第6番の正準変数に関連したものは、659個であり、機能結合の相関行列の要素のオーバーラップの数は141であった。
さらに、外ループ特徴選択によって選択され、6番目の正準変数に対してオーバーラップする機能結合の相関行列の要素の数の数は、1個のみになっていた。
また、正準変数が「診断」ラベルへのただ1つの接続を有するようなラムダの組合せは、組合せの全体の平均17.6±5.0%であった。
平均として、「診断」ラベルの正準変数に関連した機能結合の相関行列の要素の数は、925±798であった。
(内ループ特徴選択での処理)
図11は、内ループ特徴選択の処理を、より詳しく説明するためのフローチャートである。
内ループ特徴選択にあたっては、被験者の集合は、図8(a)に示したように、K個の部分集合に分けられ、このうちの特定の1個の部分集合を除く(K−1)個の部分集合が、使用される。
図11を参照して、内ループ特徴選択の処理が開始されると、演算処理装置(CPU)2040は、ハイパーパラメータλ1およびλ2を初期値である(λ1,λ2)=(0.1,0.1)に設定する(S200)。
続いて、変数iの値が1に設定され(S202)、CPU2040は、iの値が、内ループ特徴選択の反復回数(K−1)を超えない場合(S204でN)は、内ループ訓練データのうち、i番目のデータブロックを除き、不揮発性記憶装置2080中に格納された、被験者の人属性情報3104および機能結合の相関行列データ3106に基づいて、スパース正準相関分析を実行する(S206)。
現在の(λ1,λ2)の値に組について、診断ラベルとのみ結合する正準変数が存在する場合(S208でY)、CPU2040は、診断ラベルとのみ結合する正準変数に対応する機能的結合の相関行列の要素(FC)を抽出し、不揮発性記憶装置2080に、記憶する(S210)。ステップS210の処理の後、または、現在の(λ1,λ2)の値に組について、診断ラベルとのみ結合する正準変数が存在しない場合(S208でN)は、iの値を1だけインクリメントして、処理は、ステップS204に復帰する。
したがって、CPU2040は、(K−1)回にわたって、ステップS206〜S212の処理を繰り返す。
ステップS204において、iの値が、内ループ特徴選択の反復回数(K−1)を超えた場合(S204でY)は、CPU2040は、(λ1,λ2)について、所定のルールにしがたい、λ1およびλ2のいずれか一方を所定のステップ量だけ変化させる(S214)。ステップS216において、(λ1,λ2)の値が可変範囲内であるときは(S216でY)、CPU2040は、処理をステップS202に復帰させる。
(λ1,λ2)の可能な全ての値の組について処理が終了すると(S216でN)、CPU2040は、これまでの処理で抽出された機能的結合の相関行列の要素(FC)の和集合を求め、不揮発性記憶装置2080に、第1の機能結合和集合データ3108として格納することで処理が終了する。
(外ループ特徴選択での処理)
図13は、外ループ特徴選択の処理を、より詳しく説明するためのフローチャートである。
外ループ特徴選択にあたっては、被験者の集合は、図12で示したように、K個の部分集合に分けられ、このうちの内ループ特徴選択では使用されなかった1個の部分集合がテストプールとして使用される。このテストプールに含まれる被験者の人数をNT人とする。
また、以下では、一例として、1個抜き交差検証(LOOCV)処理を行うものとして説明する。
図13を参照して、外ループ特徴選択の処理が開始されると、演算処理装置(CPU)2040は、変数iの値を1に設定し(S300)、CPU2040は、iの値が、外ループ特徴選択の反復回数NTを超えない場合(S302でN)は、テストプールのうち、i番目のデータを除き、不揮発性記憶装置2080中に格納された、被験者の人属性情報3104および機能結合の相関行列データ3106に基づいて、スパースロジスティック回帰(SLR)を実行して、テスト判別器を生成する(S304)。
続いて、CPU2040は、生成されたテスト判別器により、除かれたi番目のデータに対するSLRによる予測値を算出する(S306)。
さらに、CPU2040は、テスト判別器を生成する際のスパース化により抽出された機能的結合FCを、選択された特徴量として不揮発性記憶装置2080に格納し、変数iの値を1だけインクリメントする(S310)。
S304〜S308の処理がNT回繰り返された後、変数iの値がNTを超えると(S302でY)、CPU2040は、LOOCVとしての2乗誤差見積の算出する(S312)。
続いて、CPU2040は、NT回の繰り返し処理により、抽出された機能的結合FCの和集合(第2の和集合)を求め、第2の機能結合和集合データ3110として、不揮発性記憶装置2080に格納して処理が終了する。
(判別器の生成処理)
図14は、最終的に判別器を生成する手続きを説明するための概念図である。
図14に示すように、判別器生成処理では、内ループ特徴選択処理および外ループ特徴選択処理により、最終的に抽出された第2の機能結合和集合データ3110を説明変数とし、被験者全員について、スパースロジスティック回帰によって、判別器を生成する。
(最終的に選択された機能結合の相関行列の要素)
図15は、日本人の181人の被験者(ASD患者群74人、定型発達群107人)に対して、最終的に選択された機能結合の相関行列の要素を示す図である。
上記の例においては、ASD/TD判別器のために、16個の機能的結合の相関行列の要素(FC)が選択された。
図15(a)は、頭頂部側から見た図であり、図15(b)は、後頭部側から見た図であり、また、図15(c)は、左側頭部側から見たときの図である。
また、図16は、9730個の全ての機能的結合の相関行列の要素(FC)を図15に対応する側からそれぞれ見た図である。
図15においては、16個のFCによって接続している29個の末端領域には、以下のように番号が付けられている:
前頭葉では、上前頭回(1)、中前頭回(2)、下前頭回(3 左 および; 4−7、右)、および直回(8);
側頭葉では、上側頭回(9)、中側頭回(10)、下側頭回(11)、海馬傍回(12)および紡錘状回(13);
頭頂葉では、上頭頂小葉(14)および中心後回(15);
後頭葉では、中後頭回(16)、後頭葉楔部(17、左; 18、右)および鳥距裂(19);
大脳辺縁系では、前帯状回(20)、中帯状回(21−22)、後帯状回(23)および扁桃体(24);
基底核では、尾状核(25 左;26 右)、淡蒼球(27)、視床(28) および
小脳(29)
(LOOCVの中で選択された最終16個のFCの重要性)
自閉症を対象として説明した例では、最終的に判別器に組み入れられた16個の機能的結合FCは、内ループおよび外ループの特徴選択によって縮小されたFCの部分集合を説明変数として、181人の日本人のデータ・セットを使用してスパースロジスティック回帰によって選択された。
最後に選択された16個の機能的結合FCは、はたして、外ループの手続きの全体にわたって、大きな重みで、頻繁に選択されたかものかどうかについて、以下、検討する。これは、最後に選択された16個の機能的結合FCの安定性およびロバスト性に関して重要である。
このような検討のために、以下の式(4)でk番目のFC(k=1,2,…,9730)のための累積的な絶対的な重みを定義する。
Figure 2017196523
ここで、N=181がLOOCV回数(つまり被験者の数)であり、wi kは、i番目のLOOCVのk番目の機能的結合FCに関連した重みである。
累積的な重みci kがより大きな値であることは、LOOCVの全体にわたって、ASDとTDへの分類に対してk番目の機能的結合FCが、より重要な貢献をすることを意味する。
図17は、48個の非ゼロのci kの大きさの分布を示す図である。
それらを大きさによってソートしてみると、選択された16個の機能的結合FC(黒色)は、LOOCV中で少なくとも1回選択された48個の機能的結合FC(灰色)のうちの重要な部分集合を表わすことがわかる。
したがって、最後に選択された16個のFCが、181人のLOOCVの部分集合に関して安定していてロバストであり、信頼できる、と結論できる。
累積的な絶対的な重みがより大きいことは、判別器にその機能的結合FCによる、より大きな貢献があることを表わす。
(バイオマーカーの検証)
図18は、以上のようにして生成されたバイオマーカーの検証手続きを示す概念図である。
日本国内のサイトA〜サイトCで得られたTD群107人とASD患者群74人のデータに基づいて、学習によって抽出された機能的結合FCと判別のためのパラメータを用いて、そのパラメータ学習のために用いていないデータに対しての疾患・健常ラベルの予測を行い、実際の疾患の判別ラベルとの整合性を評価する。
図19は、上記のようなサイトA〜Cの被験者の属性のデータを示す図である。
サイトAとサイトBでは、TD群とASD患者群との双方に対して、サイトCでは、TD群についての計測が実施された。
ここで、「利き手」については、指標で表す。このような指標については、以下の文献に開示がある。
Oldfield, R.C. (1971). The assessment and analysis of handedness: the Edinburgh inventory. Neuropsychologia 9, 97-113.
これは、利き手、つまり、ASDと左右の脳の優位との関連性を見るためのデータである。
IQは、知能指数を示す。
図20は、以上説明したようなバイマーカーの汎化性能を示す図である。
以上説明したようなバイオマーカーの生成法を用いると、82%の判別性能を日本国内の異なる3サイトのデータに対して示した。また、同じパラメータを用いたバイオマーカーで米国の7サイトにおいて計測されたrs-fcMRIデータを入力として用いた場合に、判別性能が75%以上を示した。
図20において、米国サイトへの汎化は、人種や国別の診断基準を超えているという意味において、限られた被験者データからの学習によって得られたバイオマーカーの性能の高さを示すものである。
図21は、このような米国での被験者の属性を示す図である。
図中で、サイトIDは、それぞれ、以下を示す。
CAL:カリフォルニア工科大学;
CMA:カーネギーメロン大学;
NYU:ニューヨーク大学;
OLN:Institute of Living at Hartford Hospital;
PIT:ピッツバーグ大学医学部;
TTY:Trinity Centre for Health Sciences
USM:ユタ大学医学部。
(多疾患バイオマーカー)
なお、以上の説明では、SCCAでの基準変数において、診断ラベルは、1つの疾患に関するものであった。
しかし、rs-fcMRIデータを説明変数とする際に、疾病ラベルとして、複数の疾病のラベルを用いることとすれば、多疾患バイオマーカーとして利用することも可能である。
すなわち、この場合、疾病ラベルは、複数の疾病の各々について、疾患と健常を区別するためのラベルを含んでいる。
例えば、上述した診断ラベルとしては、「自閉症」の診断ラベル、「統合失調症」の診断ラベル、「うつ病」の診断ラベル、「強迫性障害」の診断ラベル等を含む。
このような診断ラベルは、仮想的な例示に過ぎないが、これまで、異なる病名でよばれていた疾患や、それぞれの疾患に対して処方されてきた薬物等の影響も脳活動との関係を、上述したrs-fcMRIデータに対する(SCCA+SLR)法により検討することにより、それぞれの相互関係を抽出できる。
投薬履歴ラベルとしては、「向精神薬1」「向精神薬2」のように、薬物の種類の他、各薬物についての用量や投与期間等の情報を含んでいる。
測定条件としては、上述したようなfMRI撮像装置の性能(例:印加磁場強度)の他、開眼または閉眼状態のいずれで測定を行ったのか、というような情報を含む。
さらに、被験者の特性情報としては、性別や年齢等の情報を含む。
[実施の形態2]
実施の形態1では、脳活動計測装置(fMRI装置)で、複数の測定場所で計測された脳活動データを計測し、この脳活動データに基づいて、バイオマーカーの生成およびバイオマーカーによる診断ラベルの推定(予測)を、同一のコンピュータによる処理または分散処理により行う構成を説明した。
ただし、i)バイオマーカーを機械学習により訓練するための脳活動データの計測(データ収集)、ii)バイオマーカーの機械学習による生成処理および特定の被験者についてのバイオマーカーによる診断ラベルの推定(予測)の処理(推定処理)、iii)上記特定の被験者についての脳活動データの計測(対象者の脳活動計測)を、それぞれ、異なる施設で分散して実行する構成とすることも可能である。
図22は、データ収集、推定処理および対象者の脳活動計測を、分散して処理する場合の一例を示す機能ブロック図である。
図22を参照して、サイト100.1〜100.Nは、患者群、健常者群のデータを脳活動計測装置により計測する施設であり、管理サーバ200は、サイト100.1〜100.Nからの計測データを管理する。
コンピュータ300は、サーバ200に格納されたデータから判別器を生成する。
MRI装置410は、コンピュータ300上の判別器の結果を利用する別サイトに設けられており、特定の被験者について脳活動のデータを計測する。
コンピュータ400は、MRI装置410が設けられる別サイトに設置され、MRI装置410の測定データから特定被験者の脳の機能結合の相関データを算出し、機能結合の相関データをコンピュータ300に送信して、返信されてくる判別器の結果を利用する。
サーバ200は、サイト100.1〜100.Nから送信されてくる患者群および健常者群のMRI測定データ3102と、MRI測定データ3102に関連付けられた被験者の人属性情報3104とを格納し、コンピュータ300からのアクセスに従って、これらのデータをコンピュータ300に送信する。
コンピュータ300は、通信インタフェース2090を介して、サーバ200からのMRI測定データ3102および被験者の人属性情報3104を受信する。
なお、サーバ200、コンピュータ300、コンピュータ400のハードウェアの構成は、基本的に、図2で説明した「データ処理部32」の構成と同様であるので、その説明は繰り返さない。
図22に戻って、相関行列算出部3002、第1特徴選択部3004、第2特徴選択部3006、判別器生成部3008および判別処理部3010、ならびに、機能結合の相関行列のデータ3106、第1の機能結合和集合データ3108、第2の機能結合和集合データ3110および判別器データ3112については、実施の形態1で説明したのと同様であるので、その説明は、繰り返さない。
MRI装置410は、診断ラベルの推定対象となる被験者の脳活動データを計測し、コンピュータ400の処理装置4040は、計測されたMRI測定データ4102を不揮発性記憶装置4100に格納する。
さらに、コンピュータ400の処理装置4040は、MRI測定データ4102とMRI装置410の計測対象の被験者の人属性情報とに基づいて、相関行列算出部3002と同様にして、機能結合の相関行列のデータ4106を算出し、不揮発性記憶装置4100に格納する。
コンピュータ400のユーザから診断の対象となる疾患が指定され、当該ユーザの送信の指示に従い、コンピュータ400が、機能結合の相関行列のデータ4106をコンピュータ300に送信する。これに応じて、判別処理部3010は、指定された診断ラベルについての判別結果を算出し、コンピュータ300は、通信インタフェース2090を介して、コンピュータ400に送信する。
コンピュータ400では、図示しない表示装置等を介して、ユーザに対して、判別結果を知らせる。
このような構成とすることで、より多くの被験者について収集したデータに基づいて、より多くのユーザに対して、判別器による診断ラベルの推定結果を提供することが可能となる。
また、サーバ200とコンピュータ300とを別個の管理者が管理する形態とすることも可能で、その場合、サーバ200にアクセスできるコンピュータを制限することで、サーバ200に格納される被験者の情報のセキュリティを向上させることも可能となる。
さらに、コンピュータ300の運営主体からみると、「判別器による判別のサービスを受ける側(コンピュータ400)」に対して、判別器についての情報は、一切提供しなくても、「判別結果を提供するサービス」を行うことが可能となる。
なお、以上の実施の形態1および実施の形態2の説明では、脳機能画像法により脳活動を時系列に計測するための脳活動検出装置としては、リアルタイムfMRIを用いるものとして説明した。ただし、脳活動検出装置として、上述したfMRI、脳磁計、近赤外光計測装置(NIRS)、脳波計、またはこれらの組み合わせを使用できる。例えば、これらの組合せを用いる場合、fMRIとNIRSとは、脳内の血流変化に関連する信号を検出するものであり、高空間分解能である。一方で、脳磁計や脳波計は、脳活動に伴う電磁場の変化を検出するための高時間分解能であるという特徴をもつ。したがって、例えば、fMRIと脳磁計とを組み合わせれば、空間的にも時間的にも高分解能で脳活動を計測できる。又は、NIRSと脳波計とを組み合わせても、同様に空間的にも時間的にも高分解能で脳活動を計測するシステムを小型で携帯可能な大きさで構成することも可能である。
以上のような構成により、神経・精神疾患に対して、脳機能画像法によるバイオマーカーとして機能する脳活動解析装置および脳活動解析方法を実現することが可能となる。
また、以上の説明では、被験者の属性として「診断ラベル」を含んだ場合について、機械学習による判別器の生成により、当該判別器をバイオマーカーとして機能させる例について説明したが、本発明は、必ずしもこのような場合に限定されず、事前に機械学習の対象となる測定結果を得る対象の被験者群が、客観的な方法により、複数のクラスに分けられており、被験者の脳領域間(ROI間)の活動度の相関(結合)を測定し、測定結果に対する機械学習により、クラスに対する判別器が生成できるものであれば、他の判別のために使用されるものであってもよい。
また、上述のとおり、このような判別は、ある属性に属する可能性を確率として表示するものであってもよい。
したがって、例えば、ある「訓練」や「行動パターン」をとることが、被験者にとっての健康増進に役立つかを客観的に評価できる。また、実際には、疾患に至っていない状態(「未病」)であっても、ある「食物」「飲料」等のような摂取物や、ある活動等が、より健康状態に近づくために効果があるのか、ということを客観的に評価することも可能である。
また、未病の状態においても、上述したように、例えば、「健常である確率は、○○%」といような表示が出力されれば、ユーザに対して、健康状態について客観的な数値としての表示を行うことができる。このとき、出力されるのは、必ずしも確率でなくとも、「健康度合いの連続値、例えば、健常である確率」をスコアに変換したものを表示することとしてもよい。このような表示を行うことで、本実施の形態の装置を、診断の支援以外にも、ユーザの健康管理のための装置として使用することも可能である。
なお、図22では、コンピュータ400からコンピュータ300へは、機能結合の相関行列のデータ4106のみを送信するものとして説明した。ただし、必ずしも、このような構成に限定されるものではなく、例えば、コンピュータ400からコンピュータ300へは、匿名化された状態のMRI測定データ4102および被験者の人属性情報が送信される構成であってもよい。そして、コンピュータ300において、機能結合の相関行列のデータ3106が算出されて、これに基づいて、判別処理部3010は、指定された診断ラベルについての判別結果を算出し、コンピュータ300は、通信インタフェース2090を介して、コンピュータ400に判別結果を送信する構成としてもよい。
このとき、コンピュータ400から送信された匿名化された状態のMRI測定データ4102および被験者の人属性情報は、コンピュータ300からサーバ200に転送されて、サーバ200に格納されてもよい。コンピュータ300では、このようにして蓄積されていくサーバ200内のデータに基づいて、機械学習を実行し、判別処理部3010の判別器を更新することも可能である。
このような構成でも、より多くの被験者について収集したデータに基づいて、より多くのユーザに対して、判別器による診断ラベルの推定結果を提供することが可能となる。
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
以上のように本発明は、脳の活動状態に対して、健常または疾患の状態を客観的に判断するためのデータを得るための装置に適用できる。また、神経・精神疾患に対する脳機能画像法によるバイオマーカー装置に適用できる。
2 被験者、6 ディスプレイ、10 MRI装置、11 磁場印加機構、12 静磁場発生コイル、14 傾斜磁場発生コイル、16 RF照射部、18 寝台、20 受信コイル、21 駆動部、22 静磁場電源、24 傾斜磁場電源、26 信号送信部、28 信号受信部、30寝台駆動部、32 データ処理部、34 表示制御部、36 記憶部、38 表示部、40 入力部、42 制御部、44 インタフェース部、46 データ収集部、48 画像処理部、50 ネットワークインタフェース。

Claims (18)

  1. 複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から判別器を生成するための判別器生成手段を備え、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記判別器生成手段は、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出する相関行列算出手段と、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する前記相関行例の要素を抽出する第1特徴量抽出手段と、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得する第1和集合抽出手段と、
    iv)前記第1和集合の要素のうちから前記特定の属性情報を推定するための判別器を生成するための判別器算出手段と、を含み、
    算出された前記判別器を特定するための情報を記憶するための記憶手段と、
    前記記憶手段に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別手段とをさらに備える、脳活動解析装置。
  2. 前記判別器算出手段は、前記第1和集合から前記特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する、請求項1記載の脳活動解析装置。
  3. 前記判別器生成手段は、
    前記複数の被験者のうち前記M個の部分集合を除く残りの被験者をテスト集合とし、前記テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、
    前記複数の被験者から前記N個のグループうちの選択された1つのグループを除く被験者の集合を対象として、前記第1和集合に基づいて、前記特定の属性情報を推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴い前記テスト判別器の説明変数となる前記相関行例の要素を抽出する第2特徴量抽出手段と、
    前記N個のグループうちから1つのグループを順次選択しつつ、前記第2特徴量抽出手段による特徴抽出を繰り返して、前記テスト判別器の説明変数として抽出された前記相関行例の要素の和集合である第2和集合を取得する第2和集合抽出手段とをさらに含み、
    前記判別器算出手段は、前記第2和集合から前記特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する、請求項1記載の脳活動解析装置。
  4. 前記判別器生成手段は、
    前記N個のグループのうちから除かれる1つのグループを順次選択しつつ、前記第2特徴量抽出手段により算出された前記テスト判別器により、前記除かれたグループをテストサンプルとして判別結果を算出することにより交差検証を行う交差検証手段をさらに含む、請求項3記載の脳活動解析装置。
  5. 前記特定の属性情報は、被験者の診断ラベルである、請求項1〜4のいずれか1項に記載の脳活動解析装置。
  6. 複数の被験者について脳活動を計測するための脳活動検知装置からの情報に基づいて、演算装置および記憶装置を有するコンピュータに脳活動の解析を実行させるためのプログラムであって、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記プログラムは、
    前記演算装置が、前記脳活動検知装置により測定された、複数の被験者の各々の脳内の複数の所定領域における脳活動を時系列で予め測定した情報から判別器を生成するステップをコンピュータに実行させ、
    前記判別器を生成するステップは、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出するステップと、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する前記相関行例の要素を抽出するステップと、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得するステップと、
    iv)前記第1和集合の要素のうちから前記特定の属性情報を推定するための判別器を算出するステップと、を含み、
    算出された前記判別器を特定するための情報を前記記憶装置に記憶するステップと、
    前記記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行うステップとを、コンピュータに実行させる、プログラム。
  7. 前記判別器を算出するステップは、前記第1和集合から前記特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出するステップを含む、請求項6記載のプログラム。
  8. 前記判別器を生成するステップは、
    前記複数の被験者のうち前記M個の部分集合を除く残りの被験者をテスト集合とし、前記テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、
    前記複数の被験者から前記N個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、前記第1和集合に基づいて、前記特定の属性情報を推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴い前記テスト判別器の説明変数となる前記相関行例の要素を抽出するステップと、
    前記N個のグループのうちから1つのグループを順次選択しつつ、前記要素を抽出するステップによる特徴抽出を繰り返して、前記テスト判別器の説明変数として抽出された前記相関行例の要素の和集合である第2和集合を取得するステップとをさらに含み、
    前記判別器を算出するステップは、前記第2和集合から前記特定の属性情報を推定するための判別器をスパースロジスティック回帰により算出する、請求項6記載のプログラム。
  9. 前記判別器を生成するステップは、
    前記N個のグループのうちから除かれる1つのグループを順次選択しつつ、前記要素を抽出するステップにより算出された前記テスト判別器により、前記除かれたグループをテストサンプルとして判別結果を算出することにより交差検証を行うステップをさらに含む、請求項8記載のプログラム。
  10. 前記特定の属性情報は、被験者の診断ラベルである、請求項6〜9のいずれか1項に記載のプログラム。
  11. 複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知装置により時系列で予め測定した信号から判別器を生成するための判別器生成装置を含む脳活動解析装置であって、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記判別器は、被験者の特定の属性情報を推定するための判別器であり、
    前記脳活動解析装置はさらに、
    前記判別器生成装置に接続され、前記判別器生成装置により算出された前記判別器を特定するための情報を記憶するための記憶装置と、
    前記記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別装置とを含み、
    前記判別器生成装置はプロセッサを含み、
    当該プロセッサは、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出し、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する前記相関行例の要素を抽出し、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得し、
    iv)前記第1和集合の要素のうちから前記特定の属性情報を推定するための判別器を生成するようにプログラムされている、脳活動解析装置。
  12. 複数の被験者について脳活動を計測するための脳活動検知装置からの情報に基づいて、演算装置および記憶装置を有するコンピュータに脳活動の解析を実行させるための脳活動解析方法であって、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記演算装置が、前記脳活動検知装置により測定された、複数の被験者の各々の脳内の複数の所定領域における脳活動を時系列で予め測定した情報から判別器を生成するステップを備え、
    前記判別器を生成するステップは、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出するステップと、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの特定の属性情報のみに対応する正準変数と接続する前記相関行例の要素を抽出するステップと、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得するステップと、
    iv)前記第1和集合の要素のうちから前記特定の属性情報を推定するための判別器を算出するステップと、を含み、
    算出された前記判別器を特定するための情報を前記記憶装置に記憶するステップと、
    前記記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行うステップとをさらに備える、脳活動解析方法。
  13. 複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から、判別器生成手段によって生成された判別器を特定する情報を記憶するための記憶装置と、
    前記記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別手段とを備え、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記判別器生成手段は、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出する相関行列算出手段と、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの被験者の診断ラベルのみに対応する正準変数と接続する前記相関行例の要素を抽出する第1特徴量抽出手段と、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得する第1和集合抽出手段と、
    iv)前記第1和集合の要素のうちから前記被験者の診断ラベルを推定するための判別器を生成するための判別器算出手段と、を含む、バイオマーカ装置。
  14. 前記判別器算出手段は、前記第1和集合から前記被験者の診断ラベルを推定するための判別器をスパースロジスティック回帰により算出する、請求項13記載のバイオマーカ装置。
  15. 前記判別器生成手段は、
    前記複数の被験者のうち前記M個の部分集合を除く残りの被験者をテスト集合とし、前記テスト集合を異なるN個(N:2以上の自然数)のグループに分けるとき、
    前記複数の被験者から前記N個のグループのうちの選択された1つのグループを除く被験者の集合を対象として、前記第1和集合に基づいて、前記被験者の診断ラベルを推定するためのテスト判別器をスパースロジスティック回帰により算出し、スパース化に伴い前記テスト判別器の説明変数となる前記相関行例の要素を抽出する第2特徴量抽出手段と、
    前記N個のグループのうちから1つのグループを順次選択しつつ、前記第2特徴量抽出手段による特徴抽出を繰り返して、前記テスト判別器の説明変数として抽出された前記相関行例の要素の和集合である第2和集合を取得する第2和集合抽出手段とをさらに含み、
    前記判別器算出手段は、前記第2和集合から前記被験者の診断ラベルを推定するための判別器をスパースロジスティック回帰により算出する、請求項13記載のバイオマーカ装置。
  16. 複数の被験者の各々の脳内の複数の所定領域における脳活動を示す信号を脳活動検知手段により時系列で予め測定した信号から、判別器生成装置によって生成された判別器を特定する情報を記憶するための記憶装置と、
    前記記憶装置に記憶された情報により特定される判別器に基づいて、入力データに対して判別処理を行う判別装置とを備え、
    各前記被験者には、複数の属性情報が関連付けられており、
    前記判別器は、前記入力データに基づいて、被験者の診断ラベルを推定するための判別器であって、
    前記判別器生成手段は、
    i)前記測定された信号から前記複数の所定領域間の脳活動の相関行列を前記被験者ごとに算出し、
    ii)前記複数の被験者から抽出されたM個(M:2以上の自然数)の異なる部分集合に対して、順次1つの部分集合を選択し、選択された前記部分集合を除く(M−1)個の部分集合に対して、前記複数の属性情報と前記相関行例の要素とに対するスパース正準相関分析により、前記複数の属性情報のうちの被験者の診断ラベルのみに対応する正準変数と接続する前記相関行例の要素を抽出し、
    iii)順次選択される前記部分集合にわたって、抽出された前記相関行例の要素の和集合である第1和集合を取得し、
    iv)前記第1和集合の要素のうちから前記被験者の診断ラベルを推定するための判別器を生成するようにプログラムされたプロセッサを含む、バイオマーカ装置。
  17. 請求項13〜16のいずれか1項に記載のバイオマーカ装置の各機能をコンピュータに実行させるためのプログラム。
  18. 請求項6〜請求項10及び請求項17のいずれかに記載のプログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
JP2017154662A 2015-11-24 2017-08-09 脳活動解析システム、脳活動解析装置、及び脳活動解析プログラム Active JP6903518B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015228970 2015-11-24
JP2015228970 2015-11-24
JP2017522218A JP6195329B1 (ja) 2015-11-24 2016-11-22 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017522218A Division JP6195329B1 (ja) 2015-11-24 2016-11-22 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置

Publications (3)

Publication Number Publication Date
JP2017196523A true JP2017196523A (ja) 2017-11-02
JP2017196523A5 JP2017196523A5 (ja) 2020-01-09
JP6903518B2 JP6903518B2 (ja) 2021-07-14

Family

ID=58764304

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017522218A Active JP6195329B1 (ja) 2015-11-24 2016-11-22 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置
JP2017154662A Active JP6903518B2 (ja) 2015-11-24 2017-08-09 脳活動解析システム、脳活動解析装置、及び脳活動解析プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017522218A Active JP6195329B1 (ja) 2015-11-24 2016-11-22 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置

Country Status (5)

Country Link
US (1) US11382556B2 (ja)
EP (1) EP3381361B1 (ja)
JP (2) JP6195329B1 (ja)
CN (1) CN108366752B (ja)
WO (1) WO2017090590A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075737A1 (ja) 2018-10-11 2020-04-16 株式会社国際電気通信基礎技術研究所 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、及び脳活動バイオマーカシステム
JP2022505339A (ja) * 2019-01-17 2022-01-14 三菱電機株式会社 ブレインコンピュータインターフェースシステム、脳活動解析システム、及び解析方法
JP2022507861A (ja) * 2018-11-20 2022-01-18 センター フォー エクセレンス イン ブレイン サイエンス アンド インテリジェンス テクノロジー,チャイニーズ アカデミー オブ サイエンシーズ 脳機能地図のサル-ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム
US12020427B2 (en) 2017-10-03 2024-06-25 Advanced Telecommunications Research Institute International Differentiation device, differentiation method for depression symptoms, determination method for level of depression symptoms, stratification method for depression patients, determination method for effects of treatment of depression symptoms, and brain activity training device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052987A1 (en) * 2016-09-13 2018-03-22 Ohio State Innovation Foundation Systems and methods for modeling neural architecture
WO2019069955A1 (ja) 2017-10-03 2019-04-11 株式会社国際電気通信基礎技術研究所 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
JP7057995B2 (ja) * 2017-10-03 2022-04-21 株式会社国際電気通信基礎技術研究所 哺乳動物におけるうつ病の病態プロファイルを検出するバイオマーカーとその利用
JP6722845B2 (ja) * 2017-10-03 2020-07-15 株式会社国際電気通信基礎技術研究所 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
US20200410890A1 (en) 2018-03-09 2020-12-31 Advanced Telecommunications Research Institute International Brain activity training apparatus, brain activity training method and brain activity training program
KR102226850B1 (ko) * 2018-09-28 2021-03-11 경북대학교 산학협력단 딥러닝을 위한 뇌파 신호 데이터 증강 방법, 장치 및 상기 방법을 수행하기 위한 기록 매체
JP6812022B2 (ja) * 2018-10-11 2021-01-13 株式会社国際電気通信基礎技術研究所 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、および脳活動バイオマーカシステム
WO2020097320A1 (en) * 2018-11-08 2020-05-14 Neurolign Usa, Llc Rehabilitation of subjects with pharmacologically induced neuroplasticity
US20210170180A1 (en) 2019-12-09 2021-06-10 Washington University Systems and methods of precision functional mapping-guided personalized neuromodulation
EP4134884A4 (en) * 2020-04-06 2024-05-01 Advanced Telecommunications Res Institute International BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUES GROUPING DEVICE, BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUES GROUPING SYSTEM, BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUES GROUPING METHOD, BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUES GROUPING METHOD, BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUE, SYSTEM BRAIN ACTIVITY MARKER CLASSIFICATION AND CLUSTERING CLASSIFICATION MODEL FOR BRAIN FUNCTIONAL CONNECTIVITY CORRELATION VALUES
CN111543949B (zh) * 2020-05-13 2021-09-10 北京航空航天大学 一种基于脑磁图与脑电图的儿童asd诊断装置
US20220334205A1 (en) * 2021-04-16 2022-10-20 Luis Andre Dutra e Silva Detection of Bio-Markers in Functional MRI Scans
WO2022229671A1 (en) * 2021-04-27 2022-11-03 Silva Luis Andre Dutra E Detection of bio-markers in functional mri scans
CN113349795B (zh) * 2021-06-15 2022-04-08 杭州电子科技大学 基于稀疏低秩张量分解的抑郁症脑电分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080091118A1 (en) * 2006-07-06 2008-04-17 Apostolos Georgopoulos Analysis of brain patterns using temporal measures
US20130211229A1 (en) * 2012-02-02 2013-08-15 University Of Central Florida Method and system for modeling and processing fmri image data using a bag-of-words approach
WO2014178322A1 (ja) * 2013-05-01 2014-11-06 株式会社国際電気通信基礎技術研究所 脳活動訓練装置および脳活動訓練システム
JP2015062817A (ja) * 2013-05-01 2015-04-09 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法およびバイオマーカー装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1107693A4 (en) * 1998-08-24 2003-03-19 Univ Emory METHOD AND APPARATUS FOR PREDICTING THE APPEARANCE OF CRISES BASED ON CHARACTERISTICS DERIVED FROM SIGNALS INDICATING BRAIN ACTIVITY
JP3986866B2 (ja) * 2002-03-29 2007-10-03 松下電器産業株式会社 画像処理装置及び超音波診断装置
JP2004041670A (ja) * 2002-05-17 2004-02-12 Hamano Life Science Research Foundation 生体機能情報の分別抽出方法およびその装置
JP4062737B2 (ja) * 2004-07-22 2008-03-19 株式会社日立メディコ 医用画像診断支援システム
WO2006132313A1 (ja) 2005-06-09 2006-12-14 Hitachi Medical Corporation 疾患判定支援システム
JP5531237B2 (ja) * 2009-02-24 2014-06-25 本田技研工業株式会社 脳情報出力装置、ロボット、および脳情報出力方法
JP5569714B2 (ja) 2009-06-16 2014-08-13 株式会社国際電気通信基礎技術研究所 磁気共鳴画像化装置および磁気共鳴画像化方法
WO2012165602A1 (ja) * 2011-05-31 2012-12-06 国立大学法人名古屋工業大学 認知機能障害判別装置、認知機能障害判別システム、およびプログラム
WO2014059234A1 (en) * 2012-10-11 2014-04-17 The Research Foundation Of The City University Of New York Predicting response to stimulus
JP5200311B1 (ja) * 2012-10-19 2013-06-05 株式会社神島組 破砕方法
CN103169470B (zh) * 2013-02-25 2016-04-20 北京师范大学 群体神经反馈训练方法及群体神经反馈训练系统
JP5538597B2 (ja) 2013-06-19 2014-07-02 株式会社日立製作所 異常検知方法及び異常検知システム
CN103345633A (zh) * 2013-06-27 2013-10-09 山东大学 一种用于阿尔兹海默病早期发现的结构性核磁共振影像处理方法
CN104605853B (zh) * 2015-01-21 2018-10-09 北京师范大学 一种基于脑功能特征的实时神经解码系统
WO2019069955A1 (ja) * 2017-10-03 2019-04-11 株式会社国際電気通信基礎技術研究所 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080091118A1 (en) * 2006-07-06 2008-04-17 Apostolos Georgopoulos Analysis of brain patterns using temporal measures
JP2009542351A (ja) * 2006-07-06 2009-12-03 リージェンツ オブ ザ ユニバーシティ オブ ミネソタ 時間的尺度を使用した脳パターンの解析
US20130211229A1 (en) * 2012-02-02 2013-08-15 University Of Central Florida Method and system for modeling and processing fmri image data using a bag-of-words approach
WO2014178322A1 (ja) * 2013-05-01 2014-11-06 株式会社国際電気通信基礎技術研究所 脳活動訓練装置および脳活動訓練システム
JP2015062817A (ja) * 2013-05-01 2015-04-09 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法およびバイオマーカー装置
US20150294074A1 (en) * 2013-05-01 2015-10-15 Advanced Telecommunications Research Institute International Brain activity training apparatus and brain activity training system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKITO YAMASHITA: "Sparse estimation automatically selects voxels relevant for the decoding of fMRI activity patterns", NEUROIMAGES, vol. 42, no. 4, JPN6020042321, 1 October 2008 (2008-10-01), pages 1414 - 1429, ISSN: 0004380633 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12020427B2 (en) 2017-10-03 2024-06-25 Advanced Telecommunications Research Institute International Differentiation device, differentiation method for depression symptoms, determination method for level of depression symptoms, stratification method for depression patients, determination method for effects of treatment of depression symptoms, and brain activity training device
WO2020075737A1 (ja) 2018-10-11 2020-04-16 株式会社国際電気通信基礎技術研究所 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、及び脳活動バイオマーカシステム
JP2022507861A (ja) * 2018-11-20 2022-01-18 センター フォー エクセレンス イン ブレイン サイエンス アンド インテリジェンス テクノロジー,チャイニーズ アカデミー オブ サイエンシーズ 脳機能地図のサル-ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム
JP7276915B2 (ja) 2018-11-20 2023-05-18 センター フォー エクセレンス イン ブレイン サイエンス アンド インテリジェンス テクノロジー,チャイニーズ アカデミー オブ サイエンシーズ 脳機能地図のサル-ヒト種間移行に基づいて精神疾患の個別的予測を行う方法およびシステム
JP2022505339A (ja) * 2019-01-17 2022-01-14 三菱電機株式会社 ブレインコンピュータインターフェースシステム、脳活動解析システム、及び解析方法
JP7144906B2 (ja) 2019-01-17 2022-09-30 三菱電機株式会社 ブレインコンピュータインターフェースシステム、脳活動解析システム、及び解析方法

Also Published As

Publication number Publication date
JP6195329B1 (ja) 2017-09-13
CN108366752A (zh) 2018-08-03
WO2017090590A1 (ja) 2017-06-01
JPWO2017090590A1 (ja) 2017-11-24
EP3381361B1 (en) 2023-12-27
US20200163609A1 (en) 2020-05-28
EP3381361A4 (en) 2019-12-04
CN108366752B (zh) 2021-11-23
EP3381361A1 (en) 2018-10-03
JP6903518B2 (ja) 2021-07-14
US11382556B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
JP6195329B1 (ja) 脳活動解析装置、脳活動解析方法、プログラムおよびバイオマーカー装置
JP6497687B2 (ja) 脳活動解析システム及び方法
JP5641531B1 (ja) 脳活動訓練装置および脳活動訓練システム
JP6722845B2 (ja) 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
JP7247159B2 (ja) 脳活動分類器のハーモナイズシステム、及び脳活動分類器プログラム
WO2020075737A1 (ja) 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、及び脳活動バイオマーカシステム
EP3763288B1 (en) Brain activity training device, brain activity training method, and brain activity training program
WO2019069955A1 (ja) 判別装置、うつ症状の判別方法、うつ症状のレベルの判定方法、うつ病患者の層別化方法、うつ症状の治療効果の判定方法及び脳活動訓練装置
US12020427B2 (en) Differentiation device, differentiation method for depression symptoms, determination method for level of depression symptoms, stratification method for depression patients, determination method for effects of treatment of depression symptoms, and brain activity training device
JP2024003782A (ja) 統合失調スペクトラム障害に関する情報を提供するための診断支援システム、診断支援装置、診断支援方法、及び支援プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210623

R150 Certificate of patent or registration of utility model

Ref document number: 6903518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250