JP2023044669A - グラフモデルに基づく脳機能レジストレーション方法 - Google Patents
グラフモデルに基づく脳機能レジストレーション方法 Download PDFInfo
- Publication number
- JP2023044669A JP2023044669A JP2022147022A JP2022147022A JP2023044669A JP 2023044669 A JP2023044669 A JP 2023044669A JP 2022147022 A JP2022147022 A JP 2022147022A JP 2022147022 A JP2022147022 A JP 2022147022A JP 2023044669 A JP2023044669 A JP 2023044669A
- Authority
- JP
- Japan
- Prior art keywords
- brain
- graph
- function
- model
- brain function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003925 brain function Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000004556 brain Anatomy 0.000 claims abstract description 175
- 230000004913 activation Effects 0.000 claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 27
- 230000003920 cognitive function Effects 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 238000010197 meta-analysis Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 87
- 230000001149 cognitive effect Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000002610 neuroimaging Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000006998 cognitive state Effects 0.000 claims description 9
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000011160 research Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000007177 brain activity Effects 0.000 claims description 4
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 210000003710 cerebral cortex Anatomy 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims description 3
- 238000000528 statistical test Methods 0.000 claims description 3
- 238000007920 subcutaneous administration Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 230000009131 signaling function Effects 0.000 claims description 2
- 238000012731 temporal analysis Methods 0.000 claims description 2
- 238000000700 time series analysis Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000007619 statistical method Methods 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 238000007621 cluster analysis Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- RZZPDXZPRHQOCG-OJAKKHQRSA-O CDP-choline(1+) Chemical compound O[C@@H]1[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OCC[N+](C)(C)C)O[C@H]1N1C(=O)N=C(N)C=C1 RZZPDXZPRHQOCG-OJAKKHQRSA-O 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Neurology (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Fuzzy Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Neurosurgery (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
Abstract
【課題】個体間の正確な脳機能アライメントを実現する、グラフモデルに基づく脳機能レジストレーション方法を提供する。【解決手段】方法は、試験対象の特定認知機能状態での脳機能活動信号を入力とし、脳グラフモデルを基として、高次元の脳機能画像データを２次元時系列行列にマッピングし、グラフ畳み込みニューラルネットワークモデルを構築して異なる認知機能状態の区別に供するとともに、メタ分析方法を利用して脳活性化事前マップを生成し、各試験対象の特異的脳機能活性化パターンの予測を支援し、これらの両方を組み合わせることにより、各試験対象の脳機能画像データを大規模なグループに適用できる共有表現空間にマッピングする。【選択図】図１
Description
本発明は２０２１年９月１７日に中国国家知識産権局に提出された出願番号が２０２１１１０９０２０８．３、発明の名称が「グラフモデルに基づく脳機能レジストレーション方法」である中国特許出願の優先権を主張しており、その全内容は引用により本願に組み込まれている。
本発明は、医用画像分野及び深層学習分野に関し、特にタスク脳機能画像の自動レジストレーション及び試験対象間の機能的なアライメント方法に関する。
磁気共鳴機能画像法（ＦＭＲＩ）の研究では、複数の試験対象の脳機能画像データを用いたクラスター分析がますます多くなる。一方、複数の試験対象に基づくクラスター分析は研究結果のさまざまな試験対象での汎用性及び有効性を効果的に検証できるとともに、脳機能画像分析における統計分析の効果量を増加できる［１］。他方、解剖構造及び機能領域の位置決めが試験対象によって異なるので、異なる試験対象の脳機能画像データのレジストレーションが必要であり、例えば全ての試験対象を同一の標準空間の画像テンプレート上にレジストレーションし、さらに異なる試験対象の脳機能画像を分析して比較し、統計分析モデルを作成し、これにより、特定の認知機能状態での脳機能活性化パターンに関する統計分析結果を取得する。
既存の脳機能画像レジストレーション方法は、主に、機能画像情報に基づくレジストレーション（例えばＥＰＩｎｏｒｍ）と構造形態学に基づくレジストレーション（例えばＴ１ｎｏｒｍ）との２種類がある［２］。機能画像情報に基づくレジストレーション方法、例えばエコープラナーイメージングシーケンスのレジストレーション（ＥＰＩｎｏｒｍ、Ｅｃｈｏ Ｐｌａｎａｒ Ｉｍａｇｉｎｇ）では、線形変換及び非線形変換によって試験対象の機能画像を標準空間の機能画像テンプレート（即ちＥＰＩテンプレート）上に直接レジストレーションする。しかしながら、ＥＰＩ画像は磁界のばらつきなどにより幾何学的歪みが生じて、脳解剖構造との対応性を確保するために幾何学的補正を必要とする。また、脳機能画像データには、空間解像度が低く、組織コントラストが低いなどの問題がよくあり、明らかな脳解剖構造詳細情報がなく、その結果、レジストレーション過程において過度の校正が発生しやすく、非関連脳領域、ひいては白質領域の信号が欠如した脳機能領域の信号を埋めると、最終的なレジストレーション精度が低下する。
構造形態学に基づくレジストレーション方法は、構造的磁気共鳴画像（Ｔ１ｗ）を利用して試験対象間の脳機能画像レジストレーションを間接的に行うものであり、一般的には、剛体変換又はアフィン変換によって試験対象の脳機能画像データを現在の試験対象の脳構造画像が位置する空間にレジストレーションするステップ１）と、非線形変換によって試験対象の脳構造画像を標準空間の脳構造画像テンプレートにレジストレーションし、各試験対象の画像空間から標準空間へのレジストレーションパラメータを保存するステップ２）と、ステップ２）で得られたレジストレーションパラメータを試験対象の脳機能画像データに適用し、最終的に、全ての試験対象の脳機能画像データを個体空間から標準空間へレジストレーションするステップ３）とを含む。該方法は、高解像度の構造的磁気共鳴画像法によってレジストレーションを行うことで、上記ＥＰＩｎｏｒｍよりも高いレジストレーション精度が得られる。しかしながら、脳機能画像の幾何学的歪みや灰白質組織のコントラストの違いなどにより、脳機能画像の脳構造画像へのクロスモーダルレジストレーションは大きな課題に直面している［２］。また、脳機能領域の解剖位置、大きさ、形状が試験対象によって異なる可能性があるので、脳解剖構造と脳機能領域とが完璧に対応しなく、その結果、レジストレーション後の脳機能領域が全て試験対象において完全に一致しなく［３］、このような脳解剖構造と脳機能領域との違いが多くの研究では実証されている［４］。したがって、構造形態学に基づくレジストレーション方法により取得されるレジストレーション後の脳機能画像データは、脳解剖構造上、試験対象間の正確な対応関係が得られるが、脳機能表現（例えば特定の認知機能状態に対応する脳機能領域や脳活性化パターンなど）においては偏差が生じる可能性があり、このため、試験対象間の本格的な機能的なアライメントが実現できず、これにより、統計分析の効果量が影響を受け、特に言語、作業記憶などのような個体差が大きな高度認知機能では、脳画像データの機能的なアライメントが解剖的なアライメントよりも重要である。
脳機能的なレジストレーションは、個体間の脳機能の違いによりよく対応するために、全ての試験対象の脳解剖位置又は構造形態学的情報が完全に対応するだけでなく、同一の認知機能状態での脳機能活動（例えば、代表的には、脳機能領域や脳機能活性化グラフなど）が全ての試験対象において１対１で対応することが必要である。脳機能的なレジストレーションの優位性は、クラスター分析における統計分析の効果量を増加し、脳活性化領域の検出感度を強化するだけでなく、各試験対象の脳機能活動状態及び行動指標の正確な予測にも使用されることにある。
[1]Chen et al. A reduced-dimension fMRI shared response model. inAdvances in Neural Information Processing Systems 28(eds. Cortes, C., Lawrence, N.D., Lee, D.D., Sugiyama, M. & Garnett, R.) 460‐468, 2015.
[2]Vince D. Calhoun et al. The impact of T1 versus EPI spatial normalization templates for fMRI data analyses.Hum. Brain. Mapp.38, 5331‐5342, 2017.
[3]H. Xu et al. Regularized hyperalignment of multi-set fMRI data. In Proc. Statistical Signal Processing Workshop, pages 229‐232. IEEE, 2012.
[4]J.D.G. Watson et al. Area V5 of the human brain: evidence from a combined study using positron emission tomography and magnetic resonance imaging. Cereb. Cortex, 3:79‐94, 1993.
[1]Chen et al. A reduced-dimension fMRI shared response model. inAdvances in Neural Information Processing Systems 28(eds. Cortes, C., Lawrence, N.D., Lee, D.D., Sugiyama, M. & Garnett, R.) 460‐468, 2015.
[2]Vince D. Calhoun et al. The impact of T1 versus EPI spatial normalization templates for fMRI data analyses.Hum. Brain. Mapp.38, 5331‐5342, 2017.
[3]H. Xu et al. Regularized hyperalignment of multi-set fMRI data. In Proc. Statistical Signal Processing Workshop, pages 229‐232. IEEE, 2012.
[4]J.D.G. Watson et al. Area V5 of the human brain: evidence from a combined study using positron emission tomography and magnetic resonance imaging. Cereb. Cortex, 3:79‐94, 1993.
従来方法の上記の問題に対して、本発明は、脳構造形態学レジストレーションを完了する上に、異なる認知機能状態での脳機能活動信号をガイドとして、人工知能アルゴリズム及び教師あり学習を利用して全ての試験対象の同一の認知機能状態での脳機能画像データを同一の表現空間にマッピングすることで、異なる試験対象間の脳機能活性化パターンの良好な対応性を確保するグラフモデルに基づく脳機能レジストレーション方法を提案している。
本発明が採用する技術的解決手段は以下の通りである。グラフモデルに基づく脳機能レジストレーション方法であって、試験対象の特定認知機能状態での脳機能活動信号を入力とし、脳グラフ（ｂｒａｉｎ ｇｒａｐｈ）モデルを基として、高次元の脳機能画像データを２次元時系列行列（ｔｉｍｅ－ｓｅｒｉｅｓ ｍａｔｒｉｘ）にマッピングし、グラフ畳み込みニューラルネットワーク（ｇｒａｐｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ）モデルを構築して異なる認知機能状態の区別に供し、なお、メタ分析（ｍｅｔａ ａｎａｌｙｓｉｓ）方法を利用して脳活性化事前マップを取得し、各試験対象の脳機能活性化（ｂｒａｉｎ ａｃｔｉｖａｔｉｏｎ）パターンの予測に供し、これによって、各試験対象の脳機能画像データを大規模なグループに適用できる共有表現空間にマッピングし、最終的に個体間の正確な脳機能アライメントを実現する。該方法は、
認知実験パラダイムデザインに従って、脳機能画像データセット内の各時間フレームにおける認知機能状態を記録するステップ（１）と、
構造形態学的情報に基づいて、全ての試験対象の脳機能画像データを同一の標準空間の画像テンプレート上にレジストレーションし、試験対象間の脳解剖構造上の対応性を確保するステップ（２）と、
脳アトラス及び脳コネクトーム情報を利用して、標準空間で統一された脳グラフモデルを作成するステップ（３）と、
ステップ（３）の脳グラフモデルを利用して、元の高次元脳機能画像特徴を、第１次元が異なる脳領域を表し、第２次元が異なる時間フレームを表す２次元時系列行列に変換し、時系列行列をグラフ信号として脳グラフモデルに追加し、各脳領域での脳機能活動信号の表現に供するステップ（４）と、
脳グラフモデルのグラフラプラシアン行列を計算し、グラフラプラシアン行列のスペクトル分解によってその特徴値及び特徴ベクトルを取得し、グラフフーリエ変換によってステップ（４）のグラフ信号を画像空間ドメインから脳グラフモデルにより定義されたスペクトルドメインに変換し、脳機能活動信号のスペクトルドメイン分析及びグラフ畳み込み演算を行い、グラフ畳み込みニューラルネットワークモデルを作成し、グラフ表現学習を実現するステップ（５）と、
研究される認知実験パラダイムについて、メタ分析方法を利用して、発表された関連研究から認知機能の脳機能活性化パターンの事前知識を取得し、脳活性化事前マップを生成するステップ（６）と、
ステップ（６）の事前知識と組み合わせて、グラフ畳み込みニューラルネットワークモデルの目的関数に、各脳領域の活性化の度合いと脳活性化事前マップとの一致性を表現するための損失関数を追加するステップ（７）と、
グラフ畳み込みニューラルネットワークモデルを訓練し、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、該グラフ表現情報によって異なる試験対象の脳機能画像データを同一の表現空間にマッピングして、試験対象間の脳機能アライメントを実現し、試験対象の脳機能活性化グラフを生成するステップ（８）と、を含む。
認知実験パラダイムデザインに従って、脳機能画像データセット内の各時間フレームにおける認知機能状態を記録するステップ（１）と、
構造形態学的情報に基づいて、全ての試験対象の脳機能画像データを同一の標準空間の画像テンプレート上にレジストレーションし、試験対象間の脳解剖構造上の対応性を確保するステップ（２）と、
脳アトラス及び脳コネクトーム情報を利用して、標準空間で統一された脳グラフモデルを作成するステップ（３）と、
ステップ（３）の脳グラフモデルを利用して、元の高次元脳機能画像特徴を、第１次元が異なる脳領域を表し、第２次元が異なる時間フレームを表す２次元時系列行列に変換し、時系列行列をグラフ信号として脳グラフモデルに追加し、各脳領域での脳機能活動信号の表現に供するステップ（４）と、
脳グラフモデルのグラフラプラシアン行列を計算し、グラフラプラシアン行列のスペクトル分解によってその特徴値及び特徴ベクトルを取得し、グラフフーリエ変換によってステップ（４）のグラフ信号を画像空間ドメインから脳グラフモデルにより定義されたスペクトルドメインに変換し、脳機能活動信号のスペクトルドメイン分析及びグラフ畳み込み演算を行い、グラフ畳み込みニューラルネットワークモデルを作成し、グラフ表現学習を実現するステップ（５）と、
研究される認知実験パラダイムについて、メタ分析方法を利用して、発表された関連研究から認知機能の脳機能活性化パターンの事前知識を取得し、脳活性化事前マップを生成するステップ（６）と、
ステップ（６）の事前知識と組み合わせて、グラフ畳み込みニューラルネットワークモデルの目的関数に、各脳領域の活性化の度合いと脳活性化事前マップとの一致性を表現するための損失関数を追加するステップ（７）と、
グラフ畳み込みニューラルネットワークモデルを訓練し、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、該グラフ表現情報によって異なる試験対象の脳機能画像データを同一の表現空間にマッピングして、試験対象間の脳機能アライメントを実現し、試験対象の脳機能活性化グラフを生成するステップ（８）と、を含む。
さらに、ステップ（２）では、構造形態学的情報に基づくレジストレーション操作は、具体的には、
剛体変換又はアフィン変換によって各試験対象の脳機能画像データを該試験対象の脳構造画像が位置する空間にレジストレーションし、同一の試験対象のクロスモーダルレジストレーションを実現し、非線形変換によって試験対象の構造画像を標準空間の構造画像テンプレート上にレジストレーションし、各試験対象の標準空間へのレジストレーションパラメータを保存し、試験対象の脳機能画像にレジストレーションパラメータを適用することで、個体空間から標準空間へのレジストレーションを実現することである。
剛体変換又はアフィン変換によって各試験対象の脳機能画像データを該試験対象の脳構造画像が位置する空間にレジストレーションし、同一の試験対象のクロスモーダルレジストレーションを実現し、非線形変換によって試験対象の構造画像を標準空間の構造画像テンプレート上にレジストレーションし、各試験対象の標準空間へのレジストレーションパラメータを保存し、試験対象の脳機能画像にレジストレーションパラメータを適用することで、個体空間から標準空間へのレジストレーションを実現することである。
さらに、前記脳グラフモデルの構築は、具体的には、既存の脳アトラスを利用して、大脳皮質全体及び皮下のサブ構造を空間的に分離している複数の脳領域に分割し、拡散磁気共鳴画像法又は機能的な磁気共鳴画像法を利用して、異なる脳領域間の接続パターンを計算し、ノードセットＶが脳アトラスから抽出される脳領域で構成され、エッジセットＥが算出された脳接続で構成される脳グラフモデルを構築することである。
さらに、前記脳アトラスは脳解剖アトラス、脳機能アトラス及びマルチモーダル脳画像アトラスを含み、前記接続パターンは拡散磁気共鳴に基づく脳解剖接続、静止状態機能的磁気共鳴に基づく脳機能接続、構造的磁気共鳴と形態学的特徴共変動に基づく脳構造接続を含む。
さらに、前記グラフ信号の計算方式は、認知機能状態での各脳領域内の脳機能活動信号の平均値と分散、平均時系列、主成分分析を計算することである。
さらに、前記脳機能活動信号のスペクトルドメイン分析は、具体的には、
さらに、前記脳活性化事前マップの計算方法は、
メタ分析ソフトウェアを利用して、既存の認知科学研究データベースから、研究される認知実験パラダイム下で明らかに活性化された脳領域の中心点座標を抽出し、各中心点でガウスカーネルを利用して、より平滑な新しい脳活性化分布マップを生成し、最後に、統計検定方法によって脳活性化事前マップを生成することである。
メタ分析ソフトウェアを利用して、既存の認知科学研究データベースから、研究される認知実験パラダイム下で明らかに活性化された脳領域の中心点座標を抽出し、各中心点でガウスカーネルを利用して、より平滑な新しい脳活性化分布マップを生成し、最後に、統計検定方法によって脳活性化事前マップを生成することである。
さらに、前記グラフ畳み込みニューラルネットワークモデルの目的関数は、脳機能状態を予測するための交差エントロピー損失関数である第１項と、重要な脳領域で脳機能活性化事前知識をできる限りフィッティングするようにグラフ表現情報を制約するためのマスク（ｍａｓｋ）付きの平均二乗誤差損失関数である第２項との２つの項からなる。両方からなる最終的な目的損失関数Ｌｏｓｓは、具体的には、
さらに、ステップ（８）では、グラフ畳み込みニューラルネットワークモデルの訓練は、具体的には、
試験対象を単位としてデータセットを訓練セット、検証セット及びテストセットにランダムに分け、ステップ（３）で取得された脳グラフモデルと、ステップ（４）で取得された脳機能活動信号をグラフ畳み込みニューラルネットワークモデルの入力とし、各時間フレームに対応する認知機能状態をラベルとしてグラフ畳み込みニューラルネットワークモデルの出力とし、逆伝播技術によってモデル訓練を行い、訓練セットはモデルパラメータを学習するためのものであり、モデルが収束するか、予め設定された訓練回数に達するまで、訓練が終了するたびに検証セットでテストを受け、最後に、検証セットで予測効果が最も良好なモデルを保存し、テストセットでモデルの一般化能力を検定し、最後に保存したグラフ畳み込みニューラルネットワークモデルから、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、試験対象の対応する認知状態での脳機能活性化グラフを生成することである。
試験対象を単位としてデータセットを訓練セット、検証セット及びテストセットにランダムに分け、ステップ（３）で取得された脳グラフモデルと、ステップ（４）で取得された脳機能活動信号をグラフ畳み込みニューラルネットワークモデルの入力とし、各時間フレームに対応する認知機能状態をラベルとしてグラフ畳み込みニューラルネットワークモデルの出力とし、逆伝播技術によってモデル訓練を行い、訓練セットはモデルパラメータを学習するためのものであり、モデルが収束するか、予め設定された訓練回数に達するまで、訓練が終了するたびに検証セットでテストを受け、最後に、検証セットで予測効果が最も良好なモデルを保存し、テストセットでモデルの一般化能力を検定し、最後に保存したグラフ畳み込みニューラルネットワークモデルから、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、試験対象の対応する認知状態での脳機能活性化グラフを生成することである。
背景技術に比べて、本発明は以下の有益な効果を持つ。
１．本発明では、脳グラフモデルを用いて、試験対象の高次元脳機能画像データを２次元時系列行列にマッピングすることによって、画像データの特徴次元を大幅に削減させ、モデル訓練過程に必要な計算リソースやグラフィックカードメモリ等を低減させる一方、次元削減過程には既存の研究における成熟した脳アトラス、例えば解剖接続パターンに基づくブレインネトームアトラス（Ｂｒａｉｎｎｅｔｏｍｅ Ａｔｌａｓ）、機能組織パターンに基づく脳機能ネットワークアトラス（Ｙｅｏ Ａｔｌａｓ）、マルチモーダルイメージングに基づく脳アトラス（Ｇｌａｓｓｅｒ Ａｔｌａｓ）などが使用され、脳グラフモデルの機能単位が生物学的意義のある脳領域で定義されることにより、次元を削減するとともに脳領域内部の機能活動信号の一致性が最大限に確保され、次元削減過程による脳機能活動情報のロスなどの問題を減らし、空間的なダウンサンプリング技術を直接使用する場合に比べて、この次元削減方式は、異なる認知機能状態の区別などの後続の分析用に、有効特徴情報をより効果的に保存することができる。
２．脳グラフモデルを基にして、グラフ畳み込みニューラルネットワークを利用して、階層化、モジュール化された人脳組織パターンをシミュレーションすることで、高速且つ効率的な脳機能復号アルゴリズムを実現し、同一の脳ネットワーク又は機能サブモジュールの内部での情報交換を考慮するに加えて、高次グラフ畳み込み演算子を定義し、多層グラフ畳み込みニューラルネットワークを使用することで、複数の機能ネットワーク間の情報融合を実現することができ、このように、該モデルは高度に局所化した脳機能（例えば指の動き）に適用するだけでなく、マルチタスクを統合した高度認知機能（例えば作業記憶など）にも良好な予測効果がある。
３．脳機能復号を基とし、脳機能活性化パターンの事前知識を導入することにより、脳機能状態の予測効果を確保しながら、モデルで生成された脳機能活動のグラフ表現情報を制約し、経験的な脳機能活性化パターンを再現できるようにし、これにより、生物学的意義のあるグラフ表現情報を取得することができ、該情報は後続の実験タスク、例えば試験対象の脳機能活性化グラフの生成や個体の脳機能領域の正確な予測などに使用される。
１．本発明では、脳グラフモデルを用いて、試験対象の高次元脳機能画像データを２次元時系列行列にマッピングすることによって、画像データの特徴次元を大幅に削減させ、モデル訓練過程に必要な計算リソースやグラフィックカードメモリ等を低減させる一方、次元削減過程には既存の研究における成熟した脳アトラス、例えば解剖接続パターンに基づくブレインネトームアトラス（Ｂｒａｉｎｎｅｔｏｍｅ Ａｔｌａｓ）、機能組織パターンに基づく脳機能ネットワークアトラス（Ｙｅｏ Ａｔｌａｓ）、マルチモーダルイメージングに基づく脳アトラス（Ｇｌａｓｓｅｒ Ａｔｌａｓ）などが使用され、脳グラフモデルの機能単位が生物学的意義のある脳領域で定義されることにより、次元を削減するとともに脳領域内部の機能活動信号の一致性が最大限に確保され、次元削減過程による脳機能活動情報のロスなどの問題を減らし、空間的なダウンサンプリング技術を直接使用する場合に比べて、この次元削減方式は、異なる認知機能状態の区別などの後続の分析用に、有効特徴情報をより効果的に保存することができる。
２．脳グラフモデルを基にして、グラフ畳み込みニューラルネットワークを利用して、階層化、モジュール化された人脳組織パターンをシミュレーションすることで、高速且つ効率的な脳機能復号アルゴリズムを実現し、同一の脳ネットワーク又は機能サブモジュールの内部での情報交換を考慮するに加えて、高次グラフ畳み込み演算子を定義し、多層グラフ畳み込みニューラルネットワークを使用することで、複数の機能ネットワーク間の情報融合を実現することができ、このように、該モデルは高度に局所化した脳機能（例えば指の動き）に適用するだけでなく、マルチタスクを統合した高度認知機能（例えば作業記憶など）にも良好な予測効果がある。
３．脳機能復号を基とし、脳機能活性化パターンの事前知識を導入することにより、脳機能状態の予測効果を確保しながら、モデルで生成された脳機能活動のグラフ表現情報を制約し、経験的な脳機能活性化パターンを再現できるようにし、これにより、生物学的意義のあるグラフ表現情報を取得することができ、該情報は後続の実験タスク、例えば試験対象の脳機能活性化グラフの生成や個体の脳機能領域の正確な予測などに使用される。
本発明の技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明する。明らかに、以下の説明における図面は本願に記載の特定の実施例に過ぎず、本発明の特許範囲を限定するものではない。当業者であれば、創造的な努力を必要とせずに、本発明の下記実施例及びその図面に基づいて他のいくつかの実施例及び図面を取得することができる。
グラフモデルに基づく脳機能レジストレーション方法の流れの概略図である。
脳グラフモデルの構築の概略図である。
グラフ畳み込みニューラルネットワークモデルの構造概略図である。
当業者が本願の技術的解決手段をよりよく理解できるように、以下、本発明について、さらに図面を参照しながら説明する。ただし、これらは本願の実施例の一部に過ぎず、全ての実施例ではない。当業者が本願の前記実施例に基づいて創造的な努力を必要とせずに取得する他の実施例は全て本発明の思想の範囲に属する。
以下、図面を参照して本発明の好適な実施例を説明する。
要するに、本発明は、脳構造形態学のレジストレーションを実現する上に、異なる認知機能状態での脳機能活動信号をガイドとして、人工知能アルゴリズム及び教師あり学習を利用して全ての試験対象の同一の認知機能状態での脳機能画像データを同一の表現空間にマッピングすることで、異なる試験対象間の脳機能活性化パターンの良好な対応性を確保する、グラフモデルに基づく脳機能レジストレーション方法を提案する。本方法の流れは、全体として、図１に示すように、各試験対象の特定認知機能状態での脳機能画像データを入力として、脳グラフモデルを構築し、このモデルに基づいて各脳領域の脳機能活動信号をグラフ信号として抽出し、グラフ畳み込みニューラルネットワークモデルに入力するとともに、メタ分析方法を利用して認知機能に対応する脳機能活性化パターンの事前知識を取得し、脳活性化事前マップを生成することによって、異なる認知機能状態を区別するとともに、各試験対象の脳機能活性化パターンを予測し、これによって、各試験対象の脳機能画像データを大規模なグループに適用できる共有表現空間にマッピングし、最終的に、個体間の正確な脳機能アライメントを実現する。
本方法では、試験対象間の機能対応性を増強することによって、クラスター分析に際しては、統計検定の効果量を増加し、科学研究に必要な試験対象のサンプル数を減らし、研究コストを節約し、同時に、共有表現空間におけるグラフ表現情報は各試験対象の脳機能状態及び行動指標の正確予測にも使用されることができる。
本方法の実施過程は、具体的には、以下のステップを含む。
（１）約１２００名の健常試験対象を含むヒトコネクトームプロジェクト（Human Connectome Project, HCP,リンクアトレス:https://db.humanconnectome.org/data/projects/HCP_1200）からのタスク機能磁気共鳴データセット（ｔａｓｋ ｆＭＲＩ）を収集し、さまざまな認知実験パラダイムを完成する。本実施手段で使用される脳機能画像データセットの大きさ及び各認知実験パラダイムにおける分布状況を以下の表に示し、ここで、画像総数とは、３次元脳機能画像データのフレーム総数を指し、１フレーム（タイムウィンドウは１ ＴＲ）に基づく脳機能状態予測に使用されるデータ量を表し、認知実験総数とは、単一の認知実験を単位として、脳機能状態予測を行う場合に使用されるデータセットの大きさを表し、認知実験時間は、複数の認知実験パラダイムのうち最短の認知実験の持続時間を表し、秒で計算され、認知状態のカテゴリー数は、複数の認知実験パラダイムの脳機能状態ごとに予測されるターゲットカテゴリー数を表す。具体的に実施する際には、認知実験パラダイムごとに、独立した脳機能状態予測モデルを作成し、例えば作業記憶パラダイムの場合、モデル訓練によって２５秒ごとの脳機能信号に対応する認知機能状態（合計８種類の異なる認知機能状態があり、人顔、シーン、物体、ツールなどの４種類の画像認識タスクと０ｂａｃｋ及び２ｂａｃｋの２種類の記憶タスクとの組み合わせからなる構成される）を予測し、データ総量は１７,３６０個のサンプルに達し、一方、１フレームの脳機能画像データについて予測を行う場合は、データ総量は８７８,８５０サンプルに達できる。
（２）構造形態学的情報に基づいて、全ての試験対象の脳機能画像データを同一の標準空間の画像テンプレート上にレジストレーションし、試験対象間の脳解剖構造上の対応性を確保する。具体的には、その操作は以下のとおりである。まず、剛体変換又はアフィン変換によって各試験対象の脳機能画像データを該試験対象の脳構造画像が位置する空間にレジストレーションし、同一の試験対象におけるクロスモーダルレジストレーションを実現し、次に、非線形変換によって試験対象の構造画像を標準空間の構造画像テンプレート上にレジストレーションし、各試験対象の標準空間へのレジストレーションパラメータを保存し、最後に、試験対象の脳機能画像に得られたレジストレーションパラメータを適用し、個体空間から標準空間へのレジストレーションを実現し、全ての試験対象の脳解剖構造上の対応性を確保する。
（３）脳アトラス及び脳コネクトーム情報を利用して、標準空間で統一された脳グラフモデルを作成し、具体的には、脳グラフモデルの構築過程は、図２に示すように、以下の通りであり、まず、脳解剖アトラス、脳機能アトラス及びマルチモーダル脳画像アトラスなどを含む既存の脳アトラスを利用して、大脳皮質全体及び皮下のサブ構造を空間的に分離している複数の脳領域に分割し、次に、拡散磁気共鳴に基づく脳解剖接続、静止状態機能的磁気共鳴に基づく脳機能接続、構造的磁気共鳴及び形態学的特徴共変動に基づく脳構造接続などを含む、異なる脳領域間の接続パターンを計算し、最後に、ノードセットＶが脳アトラスから抽出された脳領域で構成され、エッジセットＥが算出された脳接続で構成される脳グラフモデルを構築し、好ましくは、ブレインネトームアトラス（Ｂｒａｉｎｎｅｔｏｍｅ Ａｔｌａｓ）を用いて脳グラフモデルのノードを作成し、試験対象の脳機能接続を計算して脳グラフモデルのエッジとする。
（４）脳機能信号の抽出
図２の「脳機能信号抽出」に示すように、ステップ（３）で取得された脳グラフモデルを利用して、元の高次元脳機能画像特徴（例えば４次元磁気共鳴機能画像法データ、最初の３次元は空間ドメインの座標ｘｙｚ、４番目の次元は時間ドメインであり、各時間点での脳機能活動パターンを表現する）を２次元時系列行列（第１次元は各脳領域、第２次元は異なる時間フレームを表す）に変換する。次に、生成された時系列行列をグラフ信号として脳グラフモデルに追加し、各脳領域での脳機能活動信号の表現に供する。ここでは、グラフ信号に対する計算にはさまざまな方式があり、比較的簡単な方式は、対応する認知機能状態での各脳領域内の脳機能活動信号の平均値と分散、平均時系列、主成分分析の計算を含む。好ましくは、平均時系列を脳領域毎の代表的な脳機能活動信号として使用する。
図２の「脳機能信号抽出」に示すように、ステップ（３）で取得された脳グラフモデルを利用して、元の高次元脳機能画像特徴（例えば４次元磁気共鳴機能画像法データ、最初の３次元は空間ドメインの座標ｘｙｚ、４番目の次元は時間ドメインであり、各時間点での脳機能活動パターンを表現する）を２次元時系列行列（第１次元は各脳領域、第２次元は異なる時間フレームを表す）に変換する。次に、生成された時系列行列をグラフ信号として脳グラフモデルに追加し、各脳領域での脳機能活動信号の表現に供する。ここでは、グラフ信号に対する計算にはさまざまな方式があり、比較的簡単な方式は、対応する認知機能状態での各脳領域内の脳機能活動信号の平均値と分散、平均時系列、主成分分析の計算を含む。好ましくは、平均時系列を脳領域毎の代表的な脳機能活動信号として使用する。
（６）研究される認知実験パラダイムについて、メタ分析（ｍｅｔａ ａｎａｌｙｓｉｓ）方法を利用して、発表された関連研究から認知機能の脳機能活性化パターンの事前知識を取得し、脳活性化事前マップを生成し、具体的なステップは以下の通りであり、よく使用されているメタ分析ソフトウェア、例えばｂｒａｉｎｍａｐデータベース（ｂｒａｉｎｍａｐ．ｏｒｇ）を利用して、研究される認知実験パラダイム下で明らかに活性化された脳領域の中心点座標（ｐｅａｋ点）を従来研究から抽出し、各中心点でガウスカーネルを利用してより平滑な脳活性化分布マップ（ＡＬＥ ｍａｐ）を生成し、最後に、統計検定方法によって、最終的な脳活性化事前マップを生成し、例えば、作業記憶パラダイムについては、ｂｒａｉｎｍａｐデータベースを検索して合計３０９件の発表済みの関連研究を取得し、これらには４７２８名の試験対象の６９１２個の中心点座標が含まれており、ＡＬＥアルゴリズムを利用して脳活性化事前マップを生成し、ｚ≧３．０など、明らかな活性化の度合いの閾値を設定することによって、作業記憶パラダイムの明らかな活性化脳領域のマスク（ｍａｓｋ）を取得して後続の分析に供する。
（７）ステップ（６）の事前知識と組み合わせて、脳機能状態予測用の元のグラフ畳み込みニューラルネットワークモデルの目的関数（交差エントロピー損失関数）に、各脳領域の活性化の度合いと脳活性化事前マップとの一致性を表現するための１項の損失関数（平均二乗誤差損失関数）を追加し、これにより、脳機能状態を予測するとともに、重要な脳領域で脳機能活性化の事前知識をできるだけフィッティングするように、グラフ表現情報を制約し、このようなフレームワークの下、脳機能活性化事前制約付きのグラフ畳み込みニューラルネットワークモデルの目的関数Ｌｏｓｓは、
（８）グラフ畳み込みニューラルネットワークモデルを訓練し、図３に示すように、異なる試験対象の脳機能活動信号を同一の共有表現空間にマッピングし、試験対象間の脳機能アライメントを実現し、試験対象の脳機能活性化パターンを予測し、試験対象を単位としてデータセットを訓練セット（７０％）、検証セット（１０％）及びテストセット（２０％）にランダムに分け、ステップ（３）で取得された脳グラフモデルと、ステップ（４）で取得された脳機能活動信号をグラフ畳み込みニューラルネットワークモデルの入力とし、各時間フレームに対応する認知機能状態をラベルとして、グラフ畳み込みニューラルネットワークモデルの出力とし、逆伝播技術によってグラフ畳み込みニューラルネットワークモデル訓練を行う。ここで、訓練セットはモデルパラメータを学習するためのものであり、モデルが収束するか、予め設定された訓練回数（例えば予め設定された訓練回数は２００回）に達するまで、訓練が完了するたびに検証セットでテストを受け、最後に、検証セットで予測効果が最も良好なモデル（予測正確率は最も高く、かつ事前と一致）を保存し、テストセットでモデルの一般化能力を検定する。最後に保存したグラフ畳み込みニューラルネットワークモデルから、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、これによって、高次元の脳機能画像データ空間から低次元の表現空間へのマッピングを実現しつつ、試験対象の脳機能活性化パターンを表し、試験対象の対応する認知状態での脳機能活性化グラフを生成する。
以上は本願の好適な実施形態に過ぎない。本願は本明細書に記載のこれらの特定の実施例に限定されるものではなく、本明細書で開示された原理や新規性と一致する最も広範な範囲をカバーすることができる。
Claims (10)
- グラフモデルに基づく脳機能レジストレーション方法であって、
認知実験パラダイムデザインに従って、脳機能画像データセット内の各時間フレームにおける認知機能状態を記録するステップ（１）と、
構造形態学的情報に基づいて、全ての試験対象の脳機能画像データを同一の標準空間の画像テンプレート上にレジストレーションし、全ての試験対象の脳解剖構造上の対応性を確保するステップ（２）と、
脳アトラス及び脳コネクトーム情報を利用して、標準空間で統一された脳グラフモデルを作成するステップ（３）と、
ステップ（３）の脳グラフモデルを利用して、元の高次元脳機能画像特徴を、第１次元が異なる脳領域を表し、第２次元が異なる時間フレームを表す２次元時系列行列に変換し、生成した時系列行列をグラフ信号として脳グラフモデルに追加し、各脳領域での脳機能活動信号の表現に供するステップ（４）と、
脳グラフモデルのグラフラプラシアン行列を計算し、グラフラプラシアン行列のスペクトル分解によってその特徴値及び特徴ベクトルを取得し、グラフフーリエ変換によってステップ（４）のグラフ信号を画像空間ドメインから脳グラフモデルにより定義されたスペクトルドメインに変換し、脳機能活動信号のスペクトルドメイン分析及びグラフ畳み込み演算を行い、グラフ畳み込みニューラルネットワークモデルを作成し、グラフ表現学習を実現するステップ（５）と、
研究される認知実験パラダイムについて、メタ分析方法を利用して、発表された関連研究から認知機能の脳機能活性化パターンの事前知識を取得し、脳活性化事前マップを生成するステップ（６）と、
ステップ（６）の事前知識と組み合わせて、グラフ畳み込みニューラルネットワークモデルの目的関数に、各脳領域の活性化の度合いと脳活性化事前マップとの一致性を表現するための損失関数を追加するステップ（７）と、
グラフ畳み込みニューラルネットワークモデルを訓練し、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、該グラフ表現情報によって異なる試験対象の脳機能画像データを同一の表現空間にマッピングして、試験対象間の脳機能アライメントを実現し、試験対象の脳機能活性化グラフを生成するステップ（８）と、を含む、ことを特徴とするグラフモデルに基づく脳機能レジストレーション方法。 - ステップ（２）では、構造形態学的情報に基づくレジストレーション操作は、具体的には、剛体変換又はアフィン変換によって各試験対象の脳機能画像データを該試験対象の脳構造画像が位置する空間にレジストレーションし、同一の試験対象のクロスモーダルレジストレーションを実現し、非線形変換によって試験対象の構造画像を標準空間の構造画像テンプレート上にレジストレーションし、各試験対象の標準空間へのレジストレーションパラメータを保存し、試験対象の脳機能画像にレジストレーションパラメータを適用することで、個体空間から標準空間へのレジストレーションを実現することである、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
- ステップ（３）では、前記脳グラフモデルの構築過程は、具体的には、既存の脳アトラスを利用して、大脳皮質全体及び皮下のサブ構造を空間的に分離している複数の脳領域に分割し、拡散磁気共鳴画像法又は機能磁気共鳴画像法を利用して、異なる脳領域間の接続パターンを計算し、ノードセットＶが脳アトラスから抽出される脳領域で構成され、エッジセットＥが算出された脳接続で構成される脳グラフモデルを構築することである、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
- 前記脳アトラスは脳解剖アトラス、脳機能アトラス及びマルチモーダル脳画像アトラスを含み、前記接続パターンは拡散磁気共鳴に基づく脳解剖接続、静止状態機能的磁気共鳴に基づく脳機能接続、構造的磁気共鳴及び形態学的特徴共変動に基づく脳構造接続を含む、ことを特徴とする請求項３に記載のグラフモデルに基づく脳機能レジストレーション方法。
- 前記グラフ信号の計算方式は、対応する認知機能状態での各脳領域内の脳機能活動信号の平均値と分散、平均時系列、主成分分析を計算することである、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
-
- ステップ（６）では、脳活性化事前マップの計算方法は、メタ分析ソフトウェアを利用して、既存の認知科学研究データベースから、研究される認知実験パラダイム下で明らかに活性化された脳領域の中心点座標を抽出し、各中心点でガウスカーネルを利用してより平滑な脳活性化分布マップを生成し、統計検定方法によって脳活性化事前マップを生成することを含む、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
- ステップ（７）では、グラフ畳み込みニューラルネットワークモデルの目的関数は、脳機能状態を予測するための交差エントロピー損失関数である第１項と、重要な脳領域で脳機能活性化事前知識をできる限りフィッティングするようにグラフ表現情報を制約するマスク付きの平均二乗誤差損失関数である第２項との２つの項からなる、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
- 前記グラフ畳み込みニューラルネットワークモデルの目的関数Ｌｏｓｓは、具体的には、
- ステップ（８）では、グラフ畳み込みニューラルネットワークモデルの訓練は、具体的には、試験対象を単位としてデータセットを訓練セット、検証セット及びテストセットにランダムに分け、ステップ（３）で取得された脳グラフモデルと、ステップ（４）で取得された脳機能活動信号をグラフ畳み込みニューラルネットワークモデルの入力とし、各時間フレームに対応する認知機能状態をラベルとしてグラフ畳み込みニューラルネットワークモデルの出力とし、逆伝播技術によってモデル訓練を行い、訓練セットはモデルパラメータを学習するためのものであり、モデルが収束するか、予め設定された訓練回数に達するまで、訓練が終了するたびに検証セットでテストを受け、最後に、検証セットで予測効果が最も良好なモデルを保存し、テストセットでモデルの一般化能力を検定し、最後に保存したグラフ畳み込みニューラルネットワークモデルから、最後の畳み込み層の特徴情報を脳機能活動信号のグラフ表現情報として抽出し、試験対象の対応する認知状態での脳機能活性化グラフを生成することである、ことを特徴とする請求項１に記載のグラフモデルに基づく脳機能レジストレーション方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111090208.3 | 2021-09-17 | ||
| CN202111090208.3A CN113539435B (zh) | 2021-09-17 | 2021-09-17 | 一种基于图模型的脑功能配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023044669A true JP2023044669A (ja) | 2023-03-30 |
| JP7373042B2 JP7373042B2 (ja) | 2023-11-01 |
Family
ID=78093388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022147022A Active JP7373042B2 (ja) | 2021-09-17 | 2022-09-15 | グラフモデルに基づく脳機能レジストレーション方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230225649A1 (ja) |
| JP (1) | JP7373042B2 (ja) |
| CN (1) | CN113539435B (ja) |
| WO (1) | WO2023040588A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023143663A (ja) * | 2022-03-24 | 2023-10-06 | 之江実験室 | 磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム |
| JP7492640B1 (ja) | 2023-04-03 | 2024-05-29 | 之江実験室 | 脳ネットワークデータ特徴抽出方法および装置 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113539435B (zh) * | 2021-09-17 | 2021-12-14 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
| CN114419015A (zh) * | 2022-01-24 | 2022-04-29 | 东北大学 | 一种基于多模态配准的脑功能融合分析方法 |
| CN114403812B (zh) * | 2022-03-30 | 2022-07-08 | 慧创科仪(北京)科技有限公司 | 脑损伤状况的辅助分析方法、装置、系统及存储介质 |
| CN115359045B (zh) * | 2022-10-19 | 2023-03-17 | 之江实验室 | 基于多模态磁共振成像的图卷积神经网络疾病预测系统 |
| CN116740221B (zh) * | 2023-08-16 | 2023-10-20 | 之江实验室 | 实时脑功能激活图生成方法、装置、计算机设备和介质 |
| CN117033638B (zh) * | 2023-08-23 | 2024-04-02 | 南京信息工程大学 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
| CN116972505A (zh) * | 2023-09-22 | 2023-10-31 | 上海懿尚生物科技有限公司 | 一种动物实验室用的空气净化控制方法及系统 |
| CN117058514B (zh) * | 2023-10-12 | 2024-04-02 | 之江实验室 | 基于图神经网络的多模态脑影像数据融合解码方法和装置 |
| CN117130490B (zh) * | 2023-10-26 | 2024-01-26 | 天津大学 | 一种脑机接口控制系统及其控制方法和实现方法 |
| CN117783886B (zh) * | 2024-02-23 | 2024-05-31 | 武汉船用电力推进装置研究所(中国船舶集团有限公司第七一二研究所) | 动力电池异常状态识别方法、装置、电子设备及存储介质 |
| CN117909868B (zh) * | 2024-03-19 | 2024-07-05 | 华南理工大学 | 基于神经影像学先验的动态图卷积的脑电认知负荷分析方法及系统 |
| CN118628496B (zh) * | 2024-08-13 | 2024-10-01 | 聊城大学 | 一种模块性脑网络估计与分类的端到端学习方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111863244A (zh) * | 2020-07-28 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 |
| WO2021072485A1 (en) * | 2019-10-18 | 2021-04-22 | Omniscient Neurotechnology Pty Limited | Brain image processing |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040092809A1 (en) * | 2002-07-26 | 2004-05-13 | Neurion Inc. | Methods for measurement and analysis of brain activity |
| CN103034778B (zh) * | 2012-09-28 | 2016-01-20 | 中国科学院自动化研究所 | 适合多被试脑功能数据分析的个体脑功能网络提取方法 |
| CN106447707B (zh) * | 2016-09-08 | 2018-11-16 | 华中科技大学 | 一种图像实时配准方法及系统 |
| CN106600621B (zh) * | 2016-12-08 | 2019-07-19 | 温州医科大学 | 基于婴幼儿脑瘤多模态mri图的时空协同分割方法 |
| CN108197661B (zh) * | 2018-01-19 | 2022-03-01 | 上海海事大学 | 基于体素水平脑功能信息的认知活动状态分类系统和方法 |
| CN109376751B (zh) * | 2018-08-21 | 2022-03-22 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
| CN110399857B (zh) * | 2019-08-01 | 2023-05-23 | 西安邮电大学 | 一种基于图卷积神经网络的脑电情感识别方法 |
| CN113539435B (zh) * | 2021-09-17 | 2021-12-14 | 之江实验室 | 一种基于图模型的脑功能配准方法 |
-
2021
- 2021-09-17 CN CN202111090208.3A patent/CN113539435B/zh active Active
-
2022
- 2022-08-22 WO PCT/CN2022/113906 patent/WO2023040588A1/zh active Application Filing
- 2022-09-15 JP JP2022147022A patent/JP7373042B2/ja active Active
-
2023
- 2023-03-23 US US18/125,645 patent/US20230225649A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021072485A1 (en) * | 2019-10-18 | 2021-04-22 | Omniscient Neurotechnology Pty Limited | Brain image processing |
| CN111863244A (zh) * | 2020-07-28 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| HAO XU ET AL.: "Regularized hyperalignment of multi-set fMRI data", 2012 IEEE STATISTICAL SIGNAL PROCESSING WORKSHOP (SSP), JPN6023038683, 8 August 2012 (2012-08-08), ISSN: 0005159271 * |
| JANICE CHEN ET AL.: "A Reduced-Dimension fMRI Shared Response Model", [ONLINE], JPN6023038681, 31 December 2015 (2015-12-31), ISSN: 0005159269 * |
| VINCE D. CALHOUN ET AL.: "The Impact of T1 Versus EPI Spatial Normalization Templates for fMRI Data Analyses", [ONLINE], JPN6023038682, 31 December 2017 (2017-12-31), ISSN: 0005159270 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023143663A (ja) * | 2022-03-24 | 2023-10-06 | 之江実験室 | 磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム |
| JP7524279B2 (ja) | 2022-03-24 | 2024-07-29 | 之江実験室 | 磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム |
| JP7492640B1 (ja) | 2023-04-03 | 2024-05-29 | 之江実験室 | 脳ネットワークデータ特徴抽出方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113539435B (zh) | 2021-12-14 |
| JP7373042B2 (ja) | 2023-11-01 |
| CN113539435A (zh) | 2021-10-22 |
| US20230225649A1 (en) | 2023-07-20 |
| WO2023040588A1 (zh) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7373042B2 (ja) | グラフモデルに基づく脳機能レジストレーション方法 | |
| Ma et al. | Multiple sclerosis lesion analysis in brain magnetic resonance images: techniques and clinical applications | |
| CN112365980A (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| Divyamary et al. | Brain tumor detection from MRI images using Naive classifier | |
| Pei et al. | Multi-scale attention-based pseudo-3D convolution neural network for Alzheimer’s disease diagnosis using structural MRI | |
| CN114241240A (zh) | 脑部图像的分类方法、装置、电子设备及存储介质 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN114795178B (zh) | 一种基于多注意力神经网络的大脑状态解码方法 | |
| Qiang et al. | Learning brain representation using recurrent Wasserstein generative adversarial net | |
| Saxena et al. | An intelligent system for segmenting an abdominal image in multi core architecture | |
| Zhong et al. | PMFSNet: Polarized Multi-scale Feature Self-attention Network For Lightweight Medical Image Segmentation | |
| Mansour et al. | Kidney segmentations using cnn models | |
| CN115909016B (zh) | 基于GCN分析fMRI图像的系统、方法、电子设备及介质 | |
| Fan et al. | Graph Reasoning Module for Alzheimer’s Disease Diagnosis: A Plug-and-Play Method | |
| Fournel et al. | Group analysis of self-organizing maps based on functional MRI using restricted Frechet means | |
| CN116665896A (zh) | 预测乳腺癌腋窝淋巴结转移的模型建立方法 | |
| CN113077483B (zh) | 基于脑组织和深度回归的感应电场分布预测方法及系统 | |
| CN111583281B (zh) | 多模态连接模式的脑区划分方法 | |
| CN113902672A (zh) | 基于空间转换优化元学习的罕见皮肤病变分类系统 | |
| Al-Eiadeh | Automatic lung field segmentation using robust deep learning criteria | |
| Pandey et al. | Detection of Alzheimer’s disease using CNN architectures | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| Ma et al. | Multi-scale anatomical awareness improves the accuracy of the real-time electric field estimation | |
| Cao et al. | Mental disease feature extraction with MRI by 3D convolutional neural network with multi-channel input | |
| Nasef et al. | An efficient segmentation technique for skeletal scintigraphy image based on sharpness index and salp swarm algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231020 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7373042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |