JP2022502231A - ディープニューラルネットワークに基づく精神行動属性の認識のための電子装置 - Google Patents

Abstract

ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動的属性、情動属性、感情属性、精神状態属性、精神衛生属性又は気分に基づく属性の認識を取り扱う電子装置が、被験者に関連するＥＥＧ信号セット及び生体信号セットを記憶する。電子装置は、異なる訓練被験者に関連するＥＥＧ信号訓練セット及び生体信号訓練セットに基づいて複数の第１の認識モデルを訓練する。電子装置は、複数の第１の認識モデルの出力層からの特徴ベクトルに基づいて第２の認識モデルを訓練する。電子装置は、ＥＥＧ信号及び生体信号セットに訓練された複数の第１の認識モデルを適用することによって複数の依存性又は関係性データを推定する。電子装置は、複数の信号及びその関係性データに訓練された第２の認識モデルを適用することによって被験者の精神行動属性を識別する。【選択図】 なし

Description

〔関連出願との相互参照／引用による組み入れ〕
なし。

本開示の様々な実施形態は、人間の脳の神経生理学的活動に対するディープラーニング技術に関する。具体的には、本開示の様々な実施形態は、ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動属性、情動属性又は精神状態属性（ｍｅｎｔａｌ ｂｅｈａｖｉｏｒａｌ， ａｆｆｅｃｔ ｏｒ ｍｅｎｔａｌ ｓｔａｔｅ ａｔｔｒｉｂｕｔｅｓ）の認識のための電子装置に関する。

近年の生体信号処理分野の進歩は、ユーザが体験する異なる精神状態、健康状態及び感情を、例えば脳波（ＥＥＧ）信号を通じた脳波などの異なる生体信号の信号分析に基づいて検出し、さらに識別するための様々な方法及び技術を発展させた。異なる精神状態の例としては、ストレス状態、リラックス状態及び幸福状態などを挙げることができる。従来の解決法では、従来の装置を、生体信号から学習を行う教師あり機械学習プラットフォームの実装に基づいて異なる精神状態、健康状態及び感情を検出して識別するように構成することができる。このような実装では、機械学習モデルを訓練し、個々のユーザの性別又は利き手を原因とし得る脳機能の側性化によって引き起こされる識別の偏りを避けるために、従来の装置が手作りの特徴（ｈａｎｄ ｃｒａｆｔｅｄ ｆｅａｔｕｒｅｓ）の入力を必要とし得る。また、このようなモデルは、限られた入力セットから単純な特徴を識別することができ、このため異なる脳領域における異なる機能間の複雑な特徴、関係性又は依存性を識別するのにさらに不向きなものとなっている。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。

少なくとも１つの図に関連して説明し、特許請求の範囲にさらに完全に示すような、ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動属性の認識のための電子装置について説明する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、ディープニューラルネットワーク（ＤＮＮ）に基づく被験者の精神行動属性の認識を支援する例示的な環境を示すブロック図である。 本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための例示的な電子装置を示すブロック図である。 本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための図２の電子装置を実装する第１の例示的なシナリオを示す図である。 本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための図２の電子装置を実装する第２の例示的なシナリオを示す図である。 本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための例示的な方法を示すフローチャートを示す図である。 本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための例示的な方法を示すフローチャートを示す図である。

本開示の様々な実施形態は、ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動属性又は精神状態属性の認識を取り扱う方法及び電子装置において見出すことができる。本開示は、異なるタイプの生体信号（例えば、脳波（ＥＥＧ）信号、光電式指尖容積脈波（ＰＰＧ）信号）、ウェアラブル、及び／又は神経生理学的センサからの感情、情動、精神状態又は精神衛生の認識及び追跡に基づいて被験者の異なる精神行動属性を識別するためのロバストな解決法を提供する。電子装置は、異なる訓練被験者からの生体信号の異なる単純な及び複雑な特徴に基づいて訓練を行うマルチレベルＤＮＮモデルを利用する。マルチレベルＤＮＮモデルの訓練は、訓練されたマルチレベル認識モデルの出力が被験者の感情状態、性別、及び左利き又は右利きの側性化の影響などの異なる要因に対して不変であり得ることを確実にすることができる。このマルチレベルＤＮＮモデルを利用して、被験者の異なる精神行動属性を示すことができる異なる脳領域と他の身体部分との間の単純な及び複雑な関係性、依存性又は機能的結合性を識別することができる。各関連するセンサ群からの信号を第１の認識モデルが最初に処理した後に、低水準認識モデルからの結果を最適に組み合わせてセンサと脳領域との間の関係性及び依存性を利用することができる。識別及び領域情報を抽出し、様々な脳及び身体領域からのデータを組み合わせて利用する全ての認識モデルは、以前に収集されたデータから構築され学習される。

ある実施形態によれば、開示する方法及び電子装置は、肯定的感情価対否定的感情価（ｐｏｓｉｔｉｖｅ ｖｅｒｓｕｓ ｎｅｇａｔｉｖｅ ｖａｌｅｎｃｅ）、肯定的感情対否定的感情、高集中又は熱中状態対中立的又は否定的状態、或いは高覚醒状態対リラックス状態を体験することなどの感情及び情動状態（ｅｍｏｔｉｏｎｓ ａｎｄ ａｆｆｅｃｔｉｖｅ ｓｔａｔｅｓ）を処理する際に、側方及び半球脳機能に基づいて精神衛生、健康度、精神状態、感情、気分又は情動状態を効果的かつ正確に認識する。開示する電子装置は、各脳半球又は領域と特定の種類の精神又は感情状態又は状況との相対的に高い関連性を採用する。従って、左利き、右利き、女性及び男性の被験者の脳機能の相違と情動処理の側性化とを効果的かつ自動的に利用することにより、精神状態又は情動処理の多様性の取り扱いが大幅に改善されるとともに認識精度が高くなる。さらに、開示する電子装置は、一定期間にわたって診断、予後及び予測が変化した時に診断、予後及び予測レポートを生成する精神行動属性モニタ、精神健康度又は情動知性プロセッサとして機能する。また、開示する電子装置は、情動状態の変化を追跡して、例えば健康（ｗｅｌｌｂｅｉｎｇ）、生産性を改善し、集中力又は熱中力を高め、覚醒を高め、肯定的感情又は感情価又は情動を高めてより良好な精神衛生及び健康度、改善された生活の質、生産性又は改善された能力を達成する活動又は実践の推奨などの様々な形態のフィードバック及びアドバイスを提供する。

図１は、本開示の実施形態による、マルチレベルディープニューラルネットワーク（ＤＮＮ）に基づく被験者の精神行動属性の認識を支援する例示的な環境を示すブロック図である。図１には、電子装置１０２と、通信ネットワーク１０４と、データサーバ１０６とを含むネットワーク環境１００を示す。電子装置１０２は、複数の異なるタイプのセンサ１１０及び複数の脳波（ＥＥＧ）電極１０８に通信可能に接続することができる。

電子装置１０２は、異なる時点における被験者１１４（すなわち、電子装置１０２のユーザ）の異なる精神行動属性（例えば、情動状態、感情状態、気分、精神状態、心理状況など）を識別するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。電子装置１０２は、２つの異なる段階、すなわち訓練段階及び展開段階で動作するように構成することができる。訓練段階では、電子装置１０２を、訓練被験者群１１２からのＥＥＧ信号及び生体信号などの異なるタイプの信号に基づいて（ＤＮＮに基づく）マルチレベル認識モデル１１６を生成し、構築し、訓練するように構成することができる。展開段階では、電子装置１０２が、訓練されたマルチレベル認識モデル１１６を利用して、被験者１１４に特有の、例えば精神衛生状態、現在の精神状態、現在の感情状態及び現在の情動状態などの異なるタイプの情報又は精神属性を生成することができる。電子装置１０２の実装例としては、以下に限定するわけではないが、感情認識及び感情反応型娯楽システム、ゲーム用ヘッドセット、（スマートウォッチ、スマートバンド、スマートネックレス、スマートイヤホン、スマート衣類又はヘッドホンなどの）双方向ウェアラブル、ゲーム機、非ウェアラブル装置、仮想／拡張／複合現実（ＶＲ／ＡＲ／ＭＲ）装置、メインフレームコンピュータ、ハンドヘルド装置、セルラー／携帯電話機、スマートテレビ、及び様々な形態の精神的、心理的及び身体的健康、健康度、並びにフィットネス測定及びモニタリング装置を挙げることができる。

通信ネットワーク１０４は、電子装置１０２がサーバ１０６と通信できるようにする媒体を含むことができる。通信ネットワーク１０４の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話回線（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０４に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信プロトコル、無線アクセスポイント（ＡＰ）プロトコル、装置間通信プロトコル、セルラー通信プロトコル又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコル、或いはこれらの組み合わせを挙げることができる。

サーバ１０６は、電子装置１０２の一部又は全部の機能を取り扱うことができる中央コンピューティングサーバとして動作するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。例えば、サーバ１０６は、マルチレベル認識モデル１１６を構築し、訓練し、利用して、被験者１１４などの異なる被験者の精神行動属性に関連する異なるタイプの情報を出力するように構成することができる。このような例では、サーバ１０６を、異なる訓練被験者からのＥＥＧ信号及び生体信号に基づいてこのようなタイプの情報を出力するように構成することができる。サーバ１０６は、通信ネットワーク１０４を介して電子装置１０２と通信するように構成することができる。サーバ１０６の例としては、以下に限定するわけではないが、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、ゲームサーバ、メインフレームサーバ、又はこれらの組み合わせを挙げることができる。

複数のＥＥＧ電極１０８は、訓練被験者群１１２及び（ビュー１１４Ａに示すような）被験者１１４の脳の大脳皮質を取り囲む前頭部、顔面又は頭皮の異なる領域の周囲に配置できる特殊な非侵襲的又は侵襲的電極とすることができる。複数のＥＥＧ電極１０８は、訓練被験者群１１２及び被験者１１４からのＥＥＧ信号セットの受信機及びキャリアとして機能することができる。複数のＥＥＧ電極１０８の例としては、以下に限定するわけではないが、ＥＥＧ電極キャップ、ＥＥＧ電極バンド、再利用可能なディスクベース電極、粘着ゲル電極、及び皮下針ベース電極を挙げることができる。１つの例では、複数のＥＥＧ電極１０８を、仮想現実（ＶＲ）ヘッドセット又はメガネ、拡張現実（ＡＲ）ヘッドセット又はメガネ、複合現実ヘッドセット又はメガネ、ゲーム用ヘッドセット、ゲーム用メガネ、或いは精神的又は感情的相互作用ヘッドセット又はキャップ（ｍｅｎｔａｌｌｙ ｏｒ ｅｍｏｔｉｏｎａｌｌｙ ｉｎｔｅｒａｃｔｉｖｅ ｈｅａｄｓｅｔ ｏｒ ｃａｐ）の内部に実装することができる。

複数の異なるタイプのセンサ１１０は、被験者１１４及び訓練被験者群１１２から異なるタイプの生体信号セットを取り込むように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。異なるタイプの生体信号セットの例としては、以下に限定するわけではないが、ＥＣＧ又はＥＫＧ信号、汗分析信号、電気皮膚反応（ＧＳＲ）信号、呼吸信号（ｒｅｓｐｉｒａｔｉｏｎ ｏｒ ｂｒｅａｔｈｉｎｇ ｓｉｇｎａｌ）、光電式指尖容積脈波（ＰＰＧ）信号、筋音図（ＭＭＧ）信号、近赤外分光信号、及び脳磁気図（ＭＥＧ）信号を挙げることができる。複数の異なるタイプのセンサ１１０は、神経生理学的センサの組、バイオセンサの組、又はウェアラブルセンサの組を含むことができる。複数の異なるタイプのセンサ１１０の例としては、以下に限定するわけではないが、電気化学バイオセンサ、電流測定バイオセンサ、血糖バイオセンサ、電位差測定バイオセンサ、圧電バイオセンサ、汗分析バイオセンサ、及び温度測定バイオセンサを挙げることができる。複数の異なるタイプのセンサ１１０の実装例としては、以下に限定するわけではないが、スマートウォッチ、スマートバンド、ＥＣＧセンサ、磁気共鳴断層撮影（ＭＲＩ）スキャナ、ＰＰＧセンサ、微小電気機械システム（ＭＥＭＳ）センサ、及び陽電子放出断層撮影（ＰＥＴ）スキャナを挙げることができる。

電子装置１０２は、動作時に、少なくとも訓練段階及び展開段階を含むことができる１又は２以上の動作段階で動作するように構成することができる。訓練段階は、電子装置１０２の要件又は好適な使用法に基づいてオンライン訓練段階又はオフライン訓練段階とすることができる。オンライン段階では、電子装置１０２を、（ＤＮＮに基づく）マルチレベル認識モデル１１６を訓練データの利用可能性に基づいて１ステップずつ訓練するように構成することができる。訓練データは、訓練被験者群１１２からのＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットを含むことができる。このような場合、訓練データは、マルチレベル認識モデル１１６の異なる学習パラメータ（例えば、重みパラメータ）が依然として訓練データに適合している間にサーバ１０６からマルチレベル認識モデル１１６に継続的に供給することができる。同様に、オフライン段階では、電子装置１０２を、マルチレベル認識モデル１１６を訓練データバッチで同時に訓練するように構成することができる。訓練データバッチに基づいて学習パラメータを調整した後には、電子装置１０２を、訓練されたマルチレベル認識モデル１１６を発展段階で利用して被験者１１４の異なる結果をもたらすように構成することができる。

訓練段階では、電子装置１０２を、訓練被験者群１１２の各訓練被験者に関連するＥＥＧ信号セット及び生体信号セットを記憶するように構成することができる。ある実施形態によれば、ＥＥＧ信号セット及び異なるタイプの生体信号セットを含むことができる訓練データは、異なる時点にアップデートとしてサーバ１０６から取り出すことができる。別の実施形態によれば、電子装置１０２に組み込まれたマルチレベル認識モデル１１６を訓練するために、電子装置１０２を、訓練被験者群１１２からＥＥＧ信号セット及び異なるタイプの生体信号セットをリアルタイムで取り込むように構成することができる。いくつかの実施形態では、ＥＥＧ信号セット及び異なるタイプの生体信号セットがアナログ信号として取り込まれ、サンプリングされ（例えば、２００Ｈｚで２０秒間サンプリングされた信号フレーム）、デジタル化されて電子装置１０２に記憶される。ＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の脳の大脳皮質の左側部分からの第１のＥＥＧ信号セットと、右側部分からの第２のＥＥＧ信号セットとを含むことができる。第１のＥＥＧ信号セット及び第２のＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の頭皮又は前頭部に配置された複数のＥＥＧ電極１０８を通じて取り込むことができる。

異なるタイプの生体信号セットは、訓練被験者群１１２の各被験者に関連する複数の異なるタイプのセンサ１１０によって取り込むことができる。異なるタイプの生体信号セットの例としては、以下に限定するわけではないが、心電図信号、汗分析信号、筋電図信号、電気皮膚反応信号、及び脳磁気図記録信号を挙げることができる。複数の異なるタイプのセンサ１１０は、複数の訓練被験者の各々の異なる身体部分の（手首、指、大腿部、臀部、頸部、顔面又は頭部などの）左側又は右側に配置することができる。訓練被験者群１１２から特定の時間間隔で取り込まれた異なるタイプの生体信号セットは、訓練被験者群１１２の各々の精神状態、生理学的状態又は神経生理学的状態を示すことができる。

１つの例では、感情状態、情動状態、左利き又は右利きに関連する訓練データを取り込むために、電子装置１０２を、複数のＥＥＧ電極１０８のうちの第１のＥＥＧ電極セット１１０Ａを使用して第１のＥＥＧ信号セットを取り込むように構成することができる。第１のＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の前頭前皮質の左側部分から取り込まれた左前頭前皮質ＥＥＧ信号を含むことができる。第１のＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の前頭皮質の左側部分から取り込まれた左前頭皮質ＥＥＧ信号をさらに含むことができる。別の例では、電子装置１０２を、複数のＥＥＧ電極１０８のうちの第２のＥＥＧ電極セット１１０Ｂを使用して第２のＥＥＧ信号セットを取り込むように構成することができる。第２のＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の前頭前皮質の右側部分から取り込まれた右前頭前皮質ＥＥＧ信号を含むことができる。第２のＥＥＧ信号セットは、訓練被験者群１１２の各訓練被験者の前頭皮質の右側部分から取り込まれた右前頭皮質ＥＥＧ信号をさらに含むことができる。第１のＥＥＧ信号セット及び第２のＥＥＧ信号セットは、訓練被験者群１１２から第１のＥＥＧ信号セット及び第２のＥＥＧ信号セットを取り込むことができる特定の時間間隔における複数の訓練被験者の各々の脳機能を示すことができる。

電子装置１０２は、訓練被験者群１１２に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて複数の第１の認識モデル１１８を訓練するようにさらに構成することができる。複数の第１の認識モデル１１８は、並列アーキテクチャで配置された第１の複数のディープニューラルネットワーク（ＤＮＮ）に対応することができる。並列アーキテクチャでは、電子装置１０２が並列処理スキームに従って全てのＤＮＮを訓練することができ、単一のＤＮＮが、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットから１又は２以上の信号を入力として受け取ることができる。複数の第１の認識モデル１１８の各々は、第１の複数のＤＮＮのうちの同じ又は異なるＤＮＮに基づいて、教師あり学習モデル、教師なし学習モデル又は強化学習モデルのうちの１つの一部として実装することができる。第１の複数のＤＮＮは、被験者１１４の異なる精神行動属性の認識のための（例えば、特徴マップ及び／又は特徴ベクトルにおける）異なる特徴を抽出する、マルチレベルＤＮＮの１又は２以上の認識層に対応することができる。第１の複数のＤＮＮの例としては、以下に限定するわけではないが、回帰型ニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長短期記憶（ＬＳＴＭ）ベースのＲＮＮ、ゲート付き回帰型ユニット（ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ：ＧＲＵ）ベースのＲＮＮ、全結合ニューラルネットワーク、Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ （ＣＴＣ）ベースのＲＮＮ、ディープベイジアン（ｄｅｅｐ Ｂａｙｅｓｉａｎ）ニューラルネットワーク、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ：ＧＡＮ）、又はこれらのネットワークの組み合わせを挙げることができる。

ある実施形態によれば、複数の第１の認識モデル１１８の各認識モデルは、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットからの特定のタイプの信号に基づいて個別に訓練することができる。ある実施形態によれば、複数の第１の認識モデル１１８の各々は、訓練被験者群１１２の各々の脳の異なる半球内の異なる脳機能に基づいて個別に訓練することができる。換言すれば、複数の第１の認識モデル１１８の各々は、訓練被験者群１１２の各被験者の側方又は半球の脳機能に基づいて個別に訓練することができる。

第１のＥＥＧ信号セットは、複数の訓練被験者１１２の各々の脳の（左半球などの）第１の領域又は第１の半球における異なる活性脳機能を示すことができる。第２のＥＥＧ信号セットは、訓練被験者群１１２の各々の脳の（右半球などの）第２の領域又は第２の半球における異なる脳機能を示すことができる。電子装置１０２は、複数の第１の認識モデル１１８の出力層から出力された特徴ベクトルに基づいて第２の認識モデル１２０を訓練するようにさらに構成することができる。第２の認識モデル１２０は、第２の複数のＤＮＮに対応することができる。第２の複数のＤＮＮは、第１の複数のＤＮＮから抽出された特徴に基づいて被験者１１４の異なる精神行動属性を認識する、マルチレベルＤＮＮの１又は２以上の認識層に対応することができる。第２の複数のＤＮＮの例としては、以下に限定するわけではないが、ＲＮＮ、ＣＮＮ、ＬＳＴＭベースのＲＮＮ、ＣＴＣベースのＲＮＮ、及びＧＡＮを挙げることができる。

ある実施形態によれば、電子装置１０２は、複数の第１の認識モデル及び第２の認識モデル１２０に関連する複数の重みパラメータを調整するように構成することができる。複数の重みパラメータは、複数の重みパラメータに最適化スキームを反復適用することによって調整することができる。複数の重みパラメータの調整は、複数の第１の認識モデル１１８及び第２の認識モデル１２０の訓練に対応することができる。最適化スキームの例としては、以下に限定するわけではないが、勾配降下法、確率的勾配降下法（ＳＧＤ）、ミニバッチ勾配降下法、Ａｄａｇｒａｄ、Ａｄａｄｅｌｔａ、及び適応モーメント推定法（ＡＤＡＭ）を挙げることができる。

複数の第１の認識モデル１１８及び第２の認識モデル１２０の訓練は、訓練されたマルチレベル認識モデル１１６が異なる脳機能からの異なる精神行動属性を検出するできるほど十分にロバストであることを確実にするように適合させることができる。ＥＥＧ信号セット及び異なるタイプの生体信号セットの信号パターン（又はフィンガープリント）は、脳機能を暗黙的に示すことができる。具体的には、マルチレベル認識モデル１１６を訓練すると、訓練されたマルチレベル認識モデル１１６の出力が被験者１１４の情動状態、性別、及び左利き又は右利きの側性化の影響などの異なる要因に対して不変であり得ることを確実にすることができる。

展開段階では、電子装置１０２を、電子装置１０２の１人のユーザ（又はユーザグループの一部）とすることができる被験者１１４に関連付けることができる。例えば、展開段階では、電子装置１０２を、被験者１１４がＶＲゲームをプレイしている間に装着できるＶＲ対応ゲーム機のＶＲハンドセット（又はＶＲハンドセットの一部）とすることができる。このような場合、電子装置１０２は、異なる生体信号の記録及び利用を行ってゲームプレイ中の異なる時点における感情状態などの異なる結果を生成することができるＶＲヘッドセット内のＥＥＧキャップ／ヘッドバンドを含む。

電子装置１０２は、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデル１１８を適用することによって複数の関係性又は依存性データを推定するように構成することができる。複数の関係性データは、被験者１１４の（ビュー１１４Ａに示すような）異なる脳又は身体領域間の機能的結合性又は依存性を示すことができる。一例として、関係性データは、被験者１１４の左手がゲームプレイに没頭している時に、感情又は情動処理に関与する脳の左前頭葉内の領域が右前頭葉内の領域との機能的結合性を有し得ることを示すことができる。複数の関係性データは、上位のディープニューラルネットワークが特定の時間間隔で精神行動属性を検出又は推定するのに適することができる、異なる脳領域及びその他の身体部分からの粒状属性（ｇｒａｎｕｌａｒ ａｔｔｒｉｂｕｔｅｓ）を示すことができる。別の例として、複数の関係性又は依存性データは、第２のＥＥＧ信号セット又は第１の入力生体信号セットのうちの１つの変化に対して第１のＥＥＧ信号セットのうちの１つが変化できる割合を示すことができる。

ある実施形態によれば、マルチレベル認識モデル１１６のオフライン訓練を行う代わりに、電子装置１０２を、電子装置１０２のユーザ（例えば、新規被験者、新規ユーザ、又は被験者１１４）が使用する予め訓練されたマルチレベル認識モデル１１６を記憶するように構成することができる。このような例では、予め訓練されたモデルを、ユーザ（又は被験者１１４）の新たな（又は認識されていない）精神行動属性を認識するように異なる時点でさらにアップデートすることができる。電子装置１０２は、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて予め訓練された複数の第１の認識モデル１１８に、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットを入力するように構成することができる。その後、電子装置１０２は、ユーザ（すなわち、新規ユーザ又は被験者１１４）に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに複数の第１の認識モデル１１８を適用することによって、被験者１１４の異なる脳領域間の機能的結合性又は依存性を示すことができる複数の関係性データを推定するように構成することができる。

電子装置１０２は、推定された複数の関係性データに訓練された第２の認識モデル１２０を適用することによって、精神行動属性セットから被験者１１４の精神行動属性を識別するようにさらに構成することができる。精神行動属性の識別は、複数の第１の認識モデル１１８及び第２の認識モデル１２０内のＤＮＮの各層において定期的に調整される重みパラメータに基づく自動特徴抽出及び選択に基づいて教師なしとすることができる。精神行動属性セットとしては、以下に限定するわけではないが、情動状態セット、感情状態セット、精神衛生状態セット、精神状態セット、及び気分に基づく属性セットを挙げることができる。いくつかの実施形態では、訓練された第２の認識モデル１２０の出力層が、精神行動属性セットのうちの最大尤度を有する精神行動属性を識別する分類器としてさらに機能することができる。この分類器は、ランダムフォレストベースの分類器、サポートベクトルマシン（ＳＶＭ）ベースの分類器、ロジスティック回帰ベースの分類器、線形回帰ベースの分類器、ソフトマックス分類器、ベイズ推定ネットワーク分類器、及びディープニューラルネットワーク分類器などのうちの１つとすることができる。

一例として、精神行動属性は、電子装置１０２に関連する被験者１１４（又はユーザ）の情動状態、経験又は表現／非表現感情、精神衛生状態の識別子、又は一般的健康度を示すことができる。精神行動属性は、被験者１１４の肯定的感情価対否定的感情価、肯定的感情対否定的感情、及び高覚醒状態対リラックス状態を区別することができる。

ある実施形態によれば、電子装置１０２は、例えばＶＲヘッドセット上でのゲームプレイに関連する期間などの一定期間にわたる被験者１１４の異なる精神行動属性の変化を追跡するように構成することができる。その後、電子装置１０２は、追跡された異なる精神行動属性の変化に基づいて、被験者１１４の診断レポート、予後レポート及び予測レポートを生成するように構成することができる。このようなレポートの生成は、マルチレベル認識モデル１１６と共に組み込まれるフィードバックスキームの一部とすることができる。診断レポート、予後レポート及び予測レポートの生成は、被験者１１４に関連する１又は２以上のユーザパラメータにさらに基づくことができる。電子装置１０２は、被験者１１４に関連する複数のユーザパラメータを記憶するように構成することができる。複数のユーザパラメータは、被験者１１４の年齢、性別、利き手、知能指数（ＩＱ）及び性的指向を含むことができる。

診断レポートは、一定期間にわたって識別された異なる精神行動属性に関連する情報を含むことができる。予後レポートは、被験者１１４の精神衛生に対するこのような属性の影響を一定程度抑える可能のある推奨の情報を含むことができる。予測レポートは、被験者１１４の精神衛生、健康度又は一般的健康に対する考えられる影響を軽減するために被験者１１４が行うことができる１又は２以上の行動指針に関連する情報を含むことができる。例えば、予測レポートは、被験者１１４の精神衛生、健康度、能力及び生活の質を改善するために推奨される方法に関連する情報を含むことができる。

本明細書では、いくつかの例示的なシナリオについて説明する。ある例示的なシナリオでは、被験者１１４がＶＲゲーム機などのゲーム機でビデオゲームのプレイに熱中しているものとすることができる。ＶＲゲーム機（すなわち、電子装置１０２）は、識別された被験者１１４の精神状態に基づいてビデオゲームの難易度を設定するように構成することができる。例えば、識別された精神状態がリラックスした精神状態である場合には、ＶＲゲーム機を、ビデオゲームの難易度を高めるように構成することができる。識別された精神状態がストレスの掛かった精神状態である場合には、ＶＲゲーム機を、ビデオゲームの難易度を下げるように構成することができる。

別の例示的なシナリオでは、被験者１１４が日常の投薬の一部として抗うつ剤又は鎮痛剤を摂取したものとすることができる。電子装置１０２（例えば、ヘッドバンド及びスマートウォッチ）は、識別された精神状態に基づいて投薬の効能値を測定するように構成することができる。例えば、識別された被験者１１４の精神状態が沈んだ精神状態又は痛みを伴う精神状態である場合には、電子装置１０２を、摂取した抗うつ剤又は鎮痛剤が被験者１１４にとって効果のないものとして識別するように構成することができる。そうでない場合には、電子装置１０２を、摂取した抗うつ剤又は鎮痛剤が被験者１１４にとって有効であると識別するように構成することができる。

さらに別のシナリオでは、被験者１１４が車を運転しているものとすることができる。このようなシナリオでは、電子装置１０２を、被験者１１４の精神状態を識別して被験者１１４に警告を与えるかどうかを判定するように構成することができる。識別された被験者１１４の最初の精神状態が眠くなった又は意識がぼやけた精神状態である場合には、電子装置１０２を、被験者１１４に警告を発するように構成することができる。

図２は、本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、電子装置１０２は、プロセッサ２０４と、認識モデル生成器２０６と、情動状態検出器２０８とを含むことができるニューラル回路２０２を含むことができる。図示してはいないが、いくつかの実施形態では、ニューラル回路２０２が、人工知能（ＡＩ）アクセラレータチップと共に実装できるＤＮＮ固有の異なる回路を含むことができる。ＡＩアクセラレータチップは、マルチレベル認識モデル１１６の損失関数（すなわち、誤差関数）の学習率又は最適化率を加速させるように構成することができる。電子装置１０２は、メモリ２１０と、ネットワークインターフェイス２１２と、入力／出力部（Ｉ／Ｏ装置）２１４とをさらに含むことができる。

プロセッサ２０４は、メモリ２１０に記憶された命令セットを実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０４は、複数のＥＥＧ電極１０８及び複数の異なるタイプのセンサ１１０を使用して、ニューラル回路によって取り込まれたＥＥＧ信号セット及び異なるタイプの生体信号セットを処理するように構成することができる。プロセッサ２０４は、第１のＥＥＧ信号セットと、第２のＥＥＧ信号セットと、異なるタイプの生体信号セットとの間の複数の関係性データを推定するように構成することができる。プロセッサ２０４の例としては、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、及び／又はその他のハードウェアプロセッサを挙げることができる。

認識モデル生成器２０６は、ＥＥＧ信号セット及び異なるタイプの生体信号セットに基づいて複数の第１の認識モデル１１８を生成して訓練するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。認識モデル生成器２０６の実装例は、ｘ８６ベースのプロセッサ、ＧＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、マイクロコントローラ、ＣＰＵ、及び／又はその他の制御回路とすることができる。

情動状態検出器２０８は、複数の第１の認識モデル１１８から抽出された異なる特徴ベクトルに第２の認識モデル１２０を適用することによって被験者１１４の異なる精神行動属性を識別するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。情動状態検出器２０８の実装例は、ｘ８６ベースのプロセッサ、ＧＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、マイクロコントローラ、ＣＰＵ、及び／又はその他の制御回路とすることができる。

メモリ２１０は、プロセッサ２０４、認識モデル生成器２０６及び情動状態検出器２０８などのニューラル回路２０２が実行できる命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２１０は、被験者１１４に関連するマルチレベル認識モデル１１６、ＥＥＧ信号セット、異なるタイプの生体信号セット及び複数のユーザパラメータに関連する命令セット又はプログラムコードを記憶するように構成することができる。いくつかの実施形態では、メモリ２１０が、訓練被験者群１１２のための同様のデータを記憶することもできる。メモリ２１０の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。

ネットワークインターフェイス２１２は、通信ネットワーク１０４を介した電子装置１０２とサーバ１０６との間の通信を可能にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２１２は、通信ネットワーク１０４との有線又は無線通信をサポートする既知の技術を実装することができる。ネットワークインターフェイス２１２は、以下に限定するわけではないが、アンテナ、周波数変調（ＦＭ）トランシーバ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。

ネットワークインターフェイス２１２は、インターネット、イントラネット、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、ロングタームエボリューション（ＬＴＥ）、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ワイヤレスフィディリティー（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、プロトコル及び技術のうちのいずれかを使用することができる。

Ｉ／Ｏ装置２１４は、ユーザから複数の入力を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２１４は、電子装置１０２及びサーバ１０６と通信するように構成できる様々な入力及び出力装置を含むことができる。入力装置のとして例は、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、ジェスチャコントローラ、及び／又はイメージセンサを挙げることができる。出力装置の例としては、以下に限定するわけではないが、ディスプレイ画面（液晶ディスプレイ（ＬＣＤ）又は発光ダイオード（ＬＥＤ）ディスプレイ）及び／又はスピーカを挙げることができる。電子装置１０２の動作の詳細については、例えば図３及び図４においてさらに詳細に説明する。

図３に、本開示の実施形態による、ＤＮＮに基づく被験者１１４の精神行動属性の認識のための図２の電子装置を実装する第１の例示的なシナリオを示す。図３の説明は、図１及び図２の要素に関連して行う。図３には、電子装置１０２を実装する第１の例示的なシナリオ３００を示す。

第１の例示的なシナリオ３００には、メモリ２１０に記憶されたマルチレベル認識モデル３０２を示す。マルチレベル認識モデル３０２は、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて訓練することができる。ＥＥＧ信号訓練セットは、訓練被験者群１１２のうちの異なる訓練被験者の異なる脳領域から取得することができる。いくつかの実施形態では、個々の訓練セットの代わりに、ニューラル回路２０２を、異なる脳領域及びその他の身体部分からの特定のタイプの信号（例えば、ＥＥＧ、ＰＰＧ、その他）のための訓練セットの異なるミニバッチをそれぞれ作成するように構成することができる。同様に、訓練被験者群１１２に関連する異なるタイプの生体信号セットは、複数の異なるタイプのセンサ１１０によって取り込むことができる。複数の異なるタイプのセンサ１１０は、訓練被験者群１１２の各被験者の異なる身体部分に配置することができる。複数の異なるタイプのセンサ１１０の例としては、以下に限定するわけではないが、神経生理学的センサの組、バイオセンサの組及びウェアラブルセンサの組を挙げることができる。

マルチレベル認識モデル３０２は、複数の第１の認識モデル３０４と、被験者１１４の異なる精神行動属性の認識の最終段階として機能する第２の認識モデル３０６とを含むことができる。複数の第１の認識モデル３０４は、ＥＥＧ信号セット及び異なるタイプの生体信号セットを訓練及びテストデータとして受け取るように並列に配置された第１のＤＮＮセットとして実装することができる。複数の第１の認識モデル３０４は、第１のＤＮＮ３０４Ａ、第２のＤＮＮ３０４Ｂ、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄを含むことができる。第１のＤＮＮ３０４Ａ、第２のＤＮＮ３０４Ｂ、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄは、マルチレベル認識モデル３０２の初期入力レベルに対応することができる。ある実施形態によれば、第１のＤＮＮ３０４Ａは、第１のＥＥＧ電極セット３０８Ａを介して脳の左前頭皮質領域から受け取られたＥＥＧ信号に基づいて訓練することができる。第２のＤＮＮ３０４Ｂは、第１のＥＥＧ電極セット３０８Ａを介して脳の左前頭前皮質領域から受け取られたＥＥＧ信号に基づいて訓練することができる。第３のＤＮＮ３０４Ｃは、第２のＥＥＧ電極セット３０８Ｂを介して脳の右前頭皮質領域から受け取られたＥＥＧ信号に基づいて訓練することができる。第４のＤＮＮ３０４Ｄは、第２のＥＥＧ電極セット３０８Ｂを介して脳の右前頭前皮質領域から受け取られたＥＥＧ信号に基づいて訓練することができる。ある実施形態によれば、第１のＤＮＮ３０４Ａ、第２のＤＮＮ３０４Ｂ、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄは、ＥＥＧ信号セット及び異なるタイプの生体信号セットの組み合わせに基づいて訓練することができる。図示してはいないが、第１のＤＮＮ３０４Ａ、第２のＤＮＮ３０４Ｂ、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄは、少なくともＥＥＧ信号、１つのタイプの生体信号又はこれらの組み合わせを入力として受け取る２又は３以上の入力部を有することができる。

第１のＤＮＮ３０４Ａ、第２のＤＮＮ３０４Ｂ、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄの各々は、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットからの特定のタイプの信号を使用して個別に訓練することができる。例えば、第１のＤＮＮ３０４Ａ及び第２のＤＮＮ３０４Ｂは、例えば左前頭前皮質などの脳の左半球に発生する機能的活動に基づいて訓練することができる。同様に、第３のＤＮＮ３０４Ｃ及び第４のＤＮＮ３０４Ｄは、例えば右前頭皮質などの脳の右半球に基づいて訓練することができる。左前頭前皮質及び左前頭皮質からのＥＥＧ信号は、訓練被験者群１１２の各被験者及び被験者１１４の左半球の脳機能に関連することができる。右前頭前皮質からのＥＥＧ信号及び右前頭皮質信号は、訓練被験者群１１２の各被験者及び被験者１１４の右半球の脳機能に関連することができる。

ニューラル回路２０２は、被験者１１４の複数の精神行動属性の認識のために第２の認識モデル３０６を訓練するように構成することができる。ニューラル回路２０２は、複数の第１の認識モデルの出力層から出力された特徴ベクトルに基づいて第２の認識モデル３０６を訓練するように構成することができる。特徴ベクトルは、訓練被験者群１１２の各訓練被験者の異なる脳領域間の複数の関係性又は依存性データの推定値を表すことができる。いくつかの実施形態では、第２の認識モデル３０６を、複数のユーザパラメータ、及び／又は訓練された複数の第１の認識モデルの出力特徴ベクトルの組み合わせに基づいてさらに訓練することができる。

いくつかのシナリオでは、精神行動属性セットが、第１の精神行動属性セット及び第２の精神行動属性セットを含むことができる。１つの例では、第１の精神行動属性セットを肯定的精神行動属性とすることができ、第２の精神状態を否定的精神行動属性とすることができる。肯定的精神行動属性は、肯定的感情状態（例えば、肯定的心情、愛情）、肯定的情動状態、肯定的感情価、上機嫌、又は被験者１１４の精神衛生状態を改善する又はその改善を示す要因に対応することができる。例えば、肯定的精神行動属性は、以下に限定するわけではないが、幸福状態、興奮状態、満足状態、高揚状態、覚醒状態及びリラックス状態などの感情状態、感情の強さ、並びに楽しい行動、楽しい顔の表情、心拍パターン又は機能的脳活動に基づく情動状態を含むことができる。同様に、否定的精神行動属性は、否定的感情状態（例えば、否定的心情）、否定的情動状態、否定的感情価、不機嫌、又は被験者１１４の精神衛生状態を低下させる又はその低下を示す要因に対応することができる。例えば、肯定的精神行動属性は、以下に限定するわけではないが、悲しい状態、緊張状態、ストレス状態、動揺状態、意気消沈状態及び退屈状態などの感情状態、感情の強さ、並びに不愉快な行動、不愉快な顔の表情、心拍パターン又は機能的脳活動に基づく情動状態を含むことができる。

ニューラル回路２０２は、第１の精神行動属性セットの各々と第１の精神行動属性セットとの間の相互結合性パラメータ及び依存性パラメータを計算するように構成することができる。第２の認識モデル３０６は、精神行動属性セットのうちの第１の精神行動属性セットと精神行動属性セットのうちの第２の精神行動属性セットとの間の相互結合性パラメータ及び依存性パラメータに基づいてさらに訓練することができる。相互結合性パラメータは、脳が２又は３以上の精神行動属性について機能した状態を保っている間の被験者１１４の異なる脳領域間の機能的結合性を示すことができる。例えば、ＥＥＧ信号の一部は、被験者１１４の悲しい感情状態とゲーム機に置かれた左手の動きとの間の相互結合性を示すことができる。このような相互結合性は、左前頭葉前部内の悲しい感情状態のための活動を右前頭葉内の左手の動きのための特定の領域に対応付けることができる相互結合性パラメータによって表すことができる。同様に、依存性パラメータは、一定期間にわたって測定される複数の精神行動属性のタイムラインにおいて１つの精神行動属性が別の精神行動属性にどのように影響するかを示すことができる。例えば、依存性パラメータは、被験者１１４がゲームプレイに熱中していた特定の期間に体験した異なる感情間の一連の関係性を示すことができる。

ニューラル回路２０２は、第２の認識モデル３０６（すなわち、複数の第１の認識モデル３０４の各々よりも上位の認識モデル）を、複数の第１の認識モデル３０４からの（単複の）出力特徴ベクトルを最適に組み合わせるように訓練することができる。ニューラル回路２０２は、訓練された第２の認識モデル３０６を利用して被験者１１４の異なる精神行動属性間の相互結合性及び依存性に関連する情報を抽出するように構成することができる。

第２の認識モデル３０６は、第５のＤＮＮ３０６Ａ、第６のＤＮＮ３０６Ｂ及び第７のＤＮＮ３０６Ｃを含むことができる。第５のＤＮＮ３０６Ａ、第６のＤＮＮ３０６Ｂ及び第７のＤＮＮ３０６Ｃは、マルチレベル認識モデル３０２の１又は２以上の上位層に対応することができる。ニューラル回路２０２は、第１のＤＮＮ３０４Ａの第１の出力及び第２のＤＮＮ３０４Ｂの第２の出力に基づいて第５のＤＮＮ３０６Ａを訓練するように構成することができる。第５のＤＮＮ３０６Ａは、第１の出力及び第２の出力を最適に組み合わせるように訓練することができる。ニューラル回路２０２は、第３のＤＮＮ３０４Ｃの第３の出力及び第４のＤＮＮ３０４Ｄの第４の出力に基づいて第６のＤＮＮ３０６Ｂを訓練するようにさらに構成することができる。ニューラル回路２０２は、第５のＤＮＮ３０６Ａの第５の出力及び第６のＤＮＮ３０６Ｂの第６の出力に基づいて第７のＤＮＮ３０６Ｃを訓練するようにさらに構成することができる。第７のＤＮＮ３０６Ｃは、第５の出力及び第６の出力を最適に組み合わせるように訓練することができる。第２の認識モデル３０６の出力層は、精神行動属性セットのうちの最大尤度を有する精神行動属性を識別する分類器として機能することができる。この分類器は、ランダムフォレストベースの分類器、サポートベクトルマシン（ＳＶＭ）ベースの分類器、ロジスティック回帰ベースの分類器、線形回帰ベースの分類器、ソフトマックス分類器、ベイズ推定ネットワーク分類器、ディープニューラルネットワーク分類器のうちの１つとすることができる。

ニューラル回路２０２は、ランダムに選択された訓練、検証及びテストデータサブセットを使用することによって、或いはＥＥＧ信号訓練セット及び生体信号訓練セットの１又は２以上のレベルのｋ−分割交差検証（ｋ−ｆｏｌｄ ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）を適用することによって、訓練された複数の第１の認識モデル３０４及び訓練された第２の認識モデル３０６を評価して最適化するようにさらに構成することができる。ｋ−分割交差検証におけるｋは、訓練された複数の第１の認識モデル３０４及び訓練された第２の認識モデル３０６の交差検証に必要な分割数を表す。

展開段階では、ニューラル回路２０２を、訓練された複数の第１の認識モデル３０４に基づいて複数の関係性データを推定するように構成することができる。関係性データは、被験者１１４の異なる脳領域間の機能的結合性又は依存性を示すことができる。複数の依存性又は関係性データは、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデル３０４を適用した後に生成できる出力特徴ベクトルによって示すことができる。ＥＥＧ信号セット又は異なるタイプの生体信号セットからの異なるＥＥＧ信号又は生体信号の相互結合性又は依存性は、被験者１１４の脳が認知的又は神経生理学的活動を体験している間の脳の異なる機能的領域の依存性を示すことができる。例えば、脳の左半球の活動によって示される悲しい感情状態は、肉体的苦痛を処理する脳領域への依存性をさらに示すことができる。従って、肉体的苦痛及び悲しい感情状態は、複数の第１の認識モデル３０４からの出力特徴としての依存性を有することができる。複数の依存性又は関係性データは、各ユーザの複数のユーザパラメータの各々とそれぞれのユーザの脳の各半球の脳機能との関連性を示すこともできる。

ある実施形態によれば、ニューラル回路２０２は、推定された複数の依存性又は関係性データに訓練された第２の認識モデルを適用することによって、精神行動属性セットから被験者１１４の精神行動属性を識別するようにさらに構成することができる。精神行動属性セットは、情動状態セット、感情状態セット、精神衛生状態セット、精神状態セット、及び気分に基づく属性セットを含むことができる。いくつかの実施形態では、第２の認識モデル３０６の中間層又は出力層の分析に基づいて被験者１１４の現在の精神行動属性を識別することができる。

被験者１１４の複数の精神行動属性は、推定された複数の依存性又は関係性データにさらに基づいて一定期間にわたって識別することができる。換言すれば、それぞれの被験者１１４の精神行動属性と脳の各半球の対応する脳機能との関連性に基づいて複数の精神行動属性を識別することができる。ある実施形態によれば、ニューラル回路２０２は、訓練された複数の第１の認識モデル３０４の出力特徴ベクトルと、訓練された第２の認識モデル３０６の出力特徴ベクトルとを受け取るようにさらに構成することができる。この受け取られた訓練された複数の第１の認識モデル及び訓練された第２の認識モデルの出力特徴ベクトルに基づいて、被験者１１４の精神行動属性を識別することができる。

ニューラル回路２０２は、被験者１１４の複数の精神行動属性を、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルに一定期間にわたって対応付けるようにさらに構成することができる。複数の精神行動属性の例としては、以下に限定するわけではないが、幸福状態、悲しい状態、用心深い状態、苦痛状態、ストレス状態、及びリラックス状態を挙げることができる。ニューラル回路２０２は、複数の青写真データ点（ｂｌｕｅｐｒｉｎｔ ｄａｔａ ｐｏｉｎｔｓ）を生成するようにさらに構成することができる。複数の青写真データ点は、被験者１１４の複数の精神行動属性の各々と、ＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルとの間の対応を示すことができる。生成された複数の青写真データ点の各々は、精神行動属性セットのうちの異なる精神行動属性に対応することができる。

ニューラル回路２０２は、複数の青写真データ点の各々と複数の青写真データ点の他の青写真データ点とを比較するようにさらに構成することができる。被験者１１４の精神行動属性は、この比較にさらに基づいて識別することができる。被験者１１４の特定の精神状態の青写真データ点は、特定の精神行動属性に対応し得る（ＥＥＧ信号セット及び／又は異なるタイプの生体信号セット内の）１又は２以上の信号パターンに関連する情報を含むことができる。ニューラル回路２０２は、特定のユーザから取り込まれた複数の入力信号の１又は２以上の信号パターンを識別した場合、特定の被験者１１４が特定の精神行動属性を示すことを予測することができる。

図４に、本開示の実施形態による、ＤＮＮに基づく被験者の精神行動属性の認識のための図２の電子装置を実装する第２の例示的なシナリオを示す。図４の説明は、図１、図２及び図３の要素に関連して行う。ニューラル回路２０２は、複数の訓練被験者の各訓練被験者からＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットを受け取るように構成することができる。ＥＥＧ信号訓練セットは、訓練被験者群からの各被験者の脳の大脳皮質の左側部分からの第１のＥＥＧ信号訓練セットと、右側部分からの第２のＥＥＧ信号訓練セットとを含むことができる。

４０２において、図１及び図３で説明したように、第１のＥＥＧ信号訓練セット、第２のＥＥＧ信号訓練セット及び異なるタイプの生体信号セットに基づいて複数の第１の認識モデル３０４を訓練することができる。認識モデル生成器２０６は、第１のＥＥＧ信号セット、第２のＥＥＧ信号セット及び異なるタイプの生体信号セットに基づいて複数の第１の認識モデル３０４を訓練するように構成することができる。図１及び図３で説明したように、ニューラル回路２０２は、第１のＥＥＧ信号セットと、第２のＥＥＧ信号セットと、異なるタイプの生体信号セットとの間の複数の関係性データを推定するように構成することができる。図１及び図３で説明したように、ニューラル回路２０２は、被験者の複数の精神行動属性の認識のために第２の認識モデル３０６を訓練するように構成することができる。

４０４において、第１の時間間隔内に、ＥＥＧ電極セット４０８を介して第１のユーザ４０６からＥＥＧ信号セットを取り込むことができる。（複数の異なるタイプのセンサ１１０のうちの少なくとも１つに対応する）第１のウェアラブルセンサ４１０は、第１のユーザ４０６から少なくとも１つのタイプの生体信号を取り込むように構成することができる。情動状態検出器２０８は、ＥＥＧ信号セット及び生体信号タイプにマルチレベル認識モデル３０２を適用することに基づいて第１のユーザ４０６の第１の精神行動属性を識別又は推定するように構成することができる。いくつかのシナリオでは、第１のユーザ４０６が、（仮想現実（ＶＲ）ヘッドセット４１２などの）ディスプレイ装置上でメディアコンテンツを見ているものとすることができる。このようなシナリオでは、ニューラル回路２０２を、第１のユーザ４０６の識別された第１の精神行動属性に基づいてメディアコンテンツの表示を修正するように構成することができる。

例えば、ＶＲヘッドマウント装置（ＨＭＤ）上で特定のＶＲゲームをプレイしている最中のゲームプレーヤ（すなわち、第１のユーザ４０６）からＥＥＧ信号セットを取り込むことができる。ＨＭＤ装置は、特定のゲームプレイ時間（例えば、３０分）にわたってゲームプレーヤの左及び右前頭葉からのＥＥＧ信号セットを記録できるＥＥＧキャップを含むことができる。ＨＭＤ装置は、ゲームプレイ中に、予め訓練されたマルチレベルＤＮＮモデルをＨＭＤ装置のメモリにロードすることができる。予め訓練されるモデルは、ゲームプレーヤが興奮、スリル、痛み、悲しみ及び幸福な感情状態などの異なる精神行動属性を体験している間の異なる脳領域間の異なる特徴、関係性及び依存性を識別するように訓練することができる。また、予め訓練されるモデルは、（異なる脳領域によって示される）いくつかの特徴又は関係性が、ゲームプレーヤの精神衛生状態に影響する可能性がある問題（例えば、意気消沈又は強烈な怒り）を引き起こす恐れがあるかどうかを識別するように訓練することもできる。従って、ＨＭＤ装置は、潜在的健康状態についてゲームプレーヤに警告する機能、又は潜在的健康状態を治療するための医療従事者及び／又は治療薬又は治療計画を推奨する機能を有することができる。

図５Ａ及び図５Ｂに、本開示の実施形態による、ＤＮＮに基づく被験者１１４の精神行動属性の認識のための例示的な方法を示すフローチャートを集合的に示す。図５Ａ及び図５Ｂにはフローチャート５００を示す。フローチャート５００の説明は、図１、図２、図３及び図４の要素に関連して行う。方法は、５０２から開始して５０４に進む。

５０４において、訓練被験者群１１２の各訓練被験者の頭皮上に配置された複数のＥＥＧ電極１０８を通じてＥＥＧ信号訓練セットを取り込むことができる。ニューラル回路２０２は、訓練被験者群１１２の各訓練被験者の頭皮上に配置された複数のＥＥＧ電極１０８を通じてＥＥＧ信号訓練セットを取り込むように構成することができる。

５０６において、訓練被験者群１１２の各訓練被験者に関連する異なるタイプの生体信号訓練セットを取り込むことができる。複数の異なるタイプのセンサ１１０は、訓練被験者群１１２の各訓練被験者に関連する異なるタイプの生体信号訓練セットを取り込むように構成することができる。

５０８において、訓練被験者群１１２に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて、第１の複数のＤＮＮに対応する複数の第１の認識モデル１１８を訓練することができる。ニューラル回路２０２は、訓練被験者群１１２に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて第１の複数のＤＮＮに対応する複数の第１の認識モデル１１８を訓練するように構成することができる。

５１０において、複数の第１の認識モデル１１８の出力層から出力された特徴ベクトルに基づいて第２の複数のＤＮＮに対応する第２の認識モデル１２０を訓練することができる。ニューラル回路２０２は、複数の第１の認識モデル１１８の出力層から出力された特徴ベクトルに基づいて第２の複数のＤＮＮに対応する第２の認識モデル１２０を訓練するように構成することができる。

５１２において、複数の第１の認識モデル１１８及び第２の認識モデル１２０に関連する複数の重みパラメータに最適化スキームを反復適用することによって複数の重みパラメータを調整することができる。ニューラル回路２０２は、複数の第１の認識モデル１１８及び第２の認識モデル１２０に関連する複数の重みパラメータに最適化スキームを反復適用することによって複数の重みパラメータを調整するように構成することができる。

５１４において、ランダムに選択された訓練、検証及びテストデータサブセットを使用することによって、或いはＥＥＧ信号訓練セット及び／又は異なるタイプの生体信号訓練セットの１又は２以上のレベルのｋ−分割交差検証を適用することによって、訓練された複数の第１の認識モデル１１８及び訓練された第２の認識モデル１２０を評価して最適化することができる。ニューラル回路２０２は、ＥＥＧ信号訓練セット及び生体信号訓練セットのｋ−分割交差検証を適用することによって、訓練された複数の第１の認識モデル１１８及び訓練された第２の認識モデル１２０を評価するようにさらに構成することができる。

５１６において、被験者１１４の頭皮上に配置された複数のＥＥＧ電極１０８を通じてＥＥＧ信号セットを取り込むことができる。ニューラル回路２０２は、被験者１１４の頭皮上に配置された複数のＥＥＧ電極１０８を通じてＥＥＧ信号セットを取り込むように構成することができる。

５１８において、被験者１１４に関連する異なるタイプの生体信号セットを取り込むことができる。複数の異なるタイプのセンサ１１０は、被験者１１４に関連する異なるタイプの生体信号訓練セットを取り込むように構成することができる。

５２０において、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデル１１８を適用することによって、被験者１１４の異なる脳領域間の機能的結合性又は依存性を示すことができる複数の関係性データを推定することができる。ニューラル回路２０２は、被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデル１１８を適用することによって、被験者１１４の異なる脳領域間の機能的結合性又は依存性を示すことができる複数の関係性データを推定するように構成することができる。

５２２において、推定された複数の関係性データに訓練された第２の認識モデル１２０を適用することによって、精神行動属性セットから被験者１１４の精神行動属性を識別することができる。精神属性の識別は、被験者１１４のＥＥＧ信号及び生体信号の特定の部分について、識別された精神属性の存在可能性が精神行動属性セット内の残りの全ての属性から最大であることを示すことができる。ニューラル回路２０２は、推定された複数の関係性データに訓練された第２の認識モデル１２０を適用することによって、精神行動属性セットから被験者１１４の精神行動属性を識別するように構成することができる。

５２４において、被験者１１４の複数の精神行動属性を被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルに一定期間にわたって対応付けることができる。ニューラル回路２０２は、被験者１１４の複数の精神行動属性を被験者１１４に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルに一定期間にわたって対応付けるように構成することができる。

５２６において、被験者１１４の複数の精神行動属性の各々と、ＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルとの間の対応を示すことができる複数の青写真データを生成することができる。ニューラル回路２０２は、被験者１１４の複数の精神行動属性の各々と、ＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルとの間の対応を示すことができる複数の青写真データを生成するように構成することができる。

５２８において、被験者１１４の異なる精神行動属性の変化を一定期間にわたって追跡することができる。ニューラル回路２０２は、被験者１１４の異なる精神行動属性の変化を一定期間にわたって追跡するように構成することができる。

５３０において、追跡された変化に基づいて、被験者１１４の少なくとも診断レポート、予後レポート及び予測レポートを生成することができる。ニューラル回路２０２は、追跡された変化に基づいて、被験者１１４の少なくとも診断レポート、予後レポート及び予測レポートを生成するように構成することができる。制御は終了に進む。

本開示の様々な実施形態は、ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動属性の認識を取り扱う方法及び電子装置（例えば、電子装置１０２）において見出すことができる。電子装置は、メモリ（例えば、メモリ２１０）及びニューラル回路（例えば、ニューラル回路２０２）を含むことができる。メモリは、被験者に関連する脳波（ＥＥＧ）信号セット、異なるタイプの生体信号セット、及び複数のユーザパラメータを記憶するように構成することができる。ニューラル回路は、訓練被験者群に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて複数の第１の認識モデルを訓練するように構成することができる。複数の第１の認識モデルは、第１の複数のＤＮＮに対応する。ニューラル回路は、複数の第１の認識モデルの出力層からの特徴ベクトルに基づいて、第２の複数のディープニューラルネットワークＤＮＮに対応する第２の認識モデルを訓練するようにさらに構成することができる。その後、ニューラル回路２０２は、被験者に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデルを適用することによって、複数の関係性データを推定するように構成することができる。複数の関係性データは、被験者の異なる脳領域間の機能的結合性又は依存性を示すことができる。ニューラル回路２０２は、推定された複数の関係性データに訓練された第２の認識モデルを適用することによって精神行動属性セットから被験者の精神行動属性を識別するようにさらに構成することができる。ある実施形態によれば、精神行動属性の識別は、ＥＥＧ信号セット及び異なるタイプの生体信号セットに対する被験者の情動状態、性別、及び左利き又は右利きの側性化の影響に対して不変である。

ある実施形態によれば、ＥＥＧ信号セットは、被験者の脳の大脳皮質の左側部分からの第１のＥＥＧ信号セットと、右側部分からの第２のＥＥＧ信号セットとを含むことができる。ニューラル回路は、被験者の頭皮上に配置された複数のＥＥＧ電極を通じて、被験者の脳の大脳皮質の左側部分からの第１のＥＥＧ信号セットと、右側部分からの第２のＥＥＧ信号セットとを取り込むように構成することができる。ニューラル回路は、複数の異なるタイプのセンサを通じて被験者に関連する異なるタイプの生体信号セットを取り込むようにさらに構成することができる。複数の異なるタイプのセンサは、被験者の異なる身体部分に配置することができる。複数の異なるタイプのセンサは、以下に限定するわけではないが、神経生理学的センサの組、バイオセンサの組、及びウェアラブルセンサの組を含むことができる。

ある実施形態によれば、ＥＥＧ信号訓練セットは、訓練被験者群からの各被験者の脳の大脳皮質の左側部分からの第１のＥＥＧ信号訓練セットと、右側部分からの第２のＥＥＧ信号訓練セットとを含むことができる。ニューラル回路は、複数の第１の認識モデル及び第２の認識モデルに関連する複数の重みパラメータに最適化スキームを反復適用することによって複数の重みパラメータを調整するようにさらに構成することができる。複数の重みパラメータの調整は、複数の第１の認識モデル及び第２の認識モデルの訓練に対応することができる。ある実施形態によれば、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットからの特定のタイプの信号に基づいて、複数の第１の認識モデルの各認識モデルを個別に訓練することができる。ニューラル回路は、訓練された複数の第１の認識モデルの出力特徴ベクトルと、訓練された第２の認識モデルの出力特徴ベクトルとを受け取るように構成することができる。訓練された複数の第１の認識モデル及び訓練された第２の認識モデルの受け取られた出力特徴ベクトルに基づいて、被験者の精神行動属性を識別することができる。

ある実施形態によれば、精神行動属性セットのうちの第１の精神行動属性セットと精神行動属性セットのうちの第２の精神行動属性セットとの間の相互結合性パラメータ及び依存性パラメータにさらに基づいて第２の認識モデルを訓練することができる。精神行動属性セットは、以下に限定するわけではないが、情動状態セット、感情状態セット、精神衛生状態セット、精神状態セット、及び気分に基づく属性セットを含むことができる。

ある実施形態によれば、ニューラル回路は、被験者に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルに被験者の複数の精神行動属性を一定期間にわたって対応付けるようにさらに構成することができる。ニューラル回路は、被験者の複数の精神行動属性の各々とＥＥＧ信号セット及び異なるタイプの生体信号セットの複数の信号サンプルとの間の対応を示すことができる複数の青写真データ点を生成するようにさらに構成することができる。生成された複数の青写真データ点の各々は、精神行動属性セットの異なる精神行動属性に対応することができる。ニューラル回路は、複数の青写真データ点の各々を複数の青写真データ点の他の青写真データ点と比較するようにさらに構成することができる。被験者の精神行動属性は、この比較にさらに基づいて識別することができる。

ある実施形態によれば、第２の認識モデルの出力層は、精神行動属性セットのうちの最大尤度を有する精神行動属性を識別する分類器として機能することができる。この分類器は、ランダムフォレストベースの分類器、サポートベクトルマシン（ＳＶＭ）ベースの分類器、ロジスティック回帰ベースの分類器、線形回帰ベースの分類器、ソフトマックス分類器、ベイズ推定ネットワーク分類器、及びディープニューラルネットワーク分類器のうちの１つとすることができる。

ある実施形態によれば、ニューラル回路は、訓練された複数の認識モデル及び訓練された第２のモデルを評価して最適化するようにさらに構成することができる。訓練された複数の認識モデル及び訓練された第２のモデルは、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットのｋ−分割交差検証を適用することによって評価することができる。

ある実施形態によれば、ニューラル回路は、被験者の異なる精神行動属性の変化を一定期間にわたって追跡するようにさらに構成することができる。その後、ニューラル回路は、追跡された変化に基づいて被験者の少なくとも診断レポート、予後レポート及び予測レポートを生成するように構成することができる。

本開示の様々な実施形態は、ディープニューラルネットワーク（ＤＮＮ）に基づく精神行動属性の認識を取り扱う方法及び電子装置（例えば、電子装置１０２）において見出すことができる。電子装置は、メモリ（例えば、メモリ２１０）及びニューラル回路（例えば、ニューラル回路２０２）を含むことができる。メモリは、被験者に関連する脳波（ＥＥＧ）信号セット、異なるタイプの生体信号セット、及び複数のユーザパラメータを記憶するように構成することができる。ニューラル回路は、ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて予め訓練された複数の第１の認識モデルに、被験者に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットを入力するように構成することができる。ニューラル回路２０２は、被験者に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデルを適用することによって複数の関係性データを推定するように構成することができる。複数の関係性データは、被験者の異なる脳領域間の機能的結合性又は依存性を示すことができる。ニューラル回路２０２は、推定された複数の関係性データに訓練された第２の認識モデルを適用することによって精神行動属性セットから被験者の精神行動属性を識別するようにさらに構成することができる。ある実施形態によれば、精神行動属性の識別は、ＥＥＧ信号セット及び異なるタイプの生体信号セットに対する被験者の情動状態、性別、及び左利き又は右利きの側性化の影響に対して不変である。

本開示の様々な実施形態は、電子装置１０２などの機械及び／又はコンピュータが実行できる機械コード及び／又は命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。電子装置内の命令セットは、被験者に関連する脳波（ＥＥＧ）信号セット、異なるタイプの生体信号セット及び複数のユーザパラメータの記憶を含む動作を機械及び／又はコンピュータに実行させることができる。訓練被験者群に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて、複数の第１の認識モデルを訓練することができる。複数の第１の認識モデルは、第１の複数のＤＮＮに対応することができる。複数の第１の認識モデルの出力層からの特徴ベクトルに基づいて、第２の複数のディープニューラルネットワークＤＮＮに対応する第２の認識モデルを訓練することができる。その後、被験者に関連するＥＥＧ信号セット及び異なるタイプの生体信号セットに訓練された複数の第１の認識モデルを適用することによって複数の関係性データを推定することができる。複数の関係性データは、被験者の異なる脳領域間の機能的結合性又は依存性を示すことができる。推定された複数の関係性データに訓練された第２の認識モデルを適用することによって、精神行動属性セットから被験者の精神行動属性を識別することができる。ある実施形態によれば、精神行動属性の識別は、ＥＥＧ信号セット及び生体信号セットへの被験者の感情状態、性別、及び左利き又は右利きの側性化の影響に対して不変である。

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

Claims (21)

1. 電子装置であって、
   被験者に関連する脳波（ＥＥＧ）信号セット、異なるタイプの生体信号セット、及び複数のユーザパラメータを記憶するように構成されたメモリと、
   少なくとも１つのプロセッサと、
   を備え、前記少なくとも１つのプロセッサは、
   訓練被験者群に関連するＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて、第１の複数のディープニューラルネットワーク（ＤＮＮ）に対応する複数の第１の認識モデルを訓練し、
   前記複数の第１の認識モデルの出力層からの特徴ベクトルに基づいて、第２の複数のディープニューラルネットワーク（ＤＮＮ）に対応する第２の認識モデルを訓練し、
   前記被験者に関連する前記ＥＥＧ信号セット及び前記生体信号セットに前記訓練された複数の第１の認識モデルを適用することによって、前記被験者の異なる脳及び身体領域間の機能的結合性又は依存性を示す複数の関係性データを推定し、
   前記推定された複数の測定信号及びその関係性データに前記訓練された第２の認識モデルを適用することによって、精神行動属性セットから前記被験者の精神行動属性を識別する、
   ように構成される、
   ことを特徴とする電子装置。
2. 前記ＥＥＧ信号セットは、前記被験者の前記脳の大脳皮質の左側部分からの第１のＥＥＧ信号セットと、右側部分からの第２のＥＥＧ信号セットとを含む、
   請求項１に記載の電子装置。
3. 前記少なくとも１つのプロセッサは、前記被験者の頭皮上に配置された複数のＥＥＧ電極を通じて、前記脳の前記大脳皮質の前記左側部分からの前記第１のＥＥＧ信号セットと、前記右側部分からの前記第２のＥＥＧ信号セットとを取り込むようにさらに構成される、
   請求項２に記載の電子装置。
4. 前記少なくとも１つのプロセッサは、複数の異なるタイプのセンサを通じて前記被験者に関連する前記異なるタイプの生体信号セットを取り込むようにさらに構成される、
   請求項１に記載の電子装置。
5. 前記複数の異なるタイプのセンサは、前記被験者の異なる身体部分に配置される、
   請求項４に記載の電子装置。
6. 前記複数の異なるタイプのセンサは、神経生理学的センサの組、バイオセンサの組及びウェアラブルセンサの組を含む、
   請求項５に記載の電子装置。
7. 前記ＥＥＧ信号訓練セットは、前記訓練被験者群からの各被験者の前記脳の大脳皮質の左側部分からの第１のＥＥＧ信号訓練セットと、右側部分からの第２のＥＥＧ信号訓練セットとを含む、
   請求項１に記載の電子装置。
8. 前記少なくとも１つのプロセッサは、前記複数の第１の認識モデル及び前記第２の認識モデルに関連する複数の重みパラメータに最適化スキームを反復適用することによって前記複数の重みパラメータを調整するようにさらに構成され、前記複数の重みパラメータの前記調整は、前記複数の第１の認識モデル及び前記第２の認識モデルの訓練に対応する、
   請求項１に記載の電子装置。
9. 前記複数の第１の認識モデルの各認識モデルは、前記ＥＥＧ信号訓練セット及び前記生体信号訓練セットからの特定のタイプの信号に基づいて個別に訓練される、
   請求項１に記載の電子装置。
10. 前記少なくとも１つのプロセッサは、前記訓練された複数の第１の認識モデルの前記出力特徴ベクトルと、前記訓練された第２の認識モデルの出力特徴ベクトルとを受け取るようにさらに構成され、前記被験者の前記精神行動属性は、前記訓練された複数の第１の認識モデル及び前記訓練された第２の認識モデルの前記受け取られた出力特徴ベクトルに基づいて識別される、
    請求項１に記載の電子装置。
11. 前記第２の認識モデルは、前記精神行動属性セットのうちの第１の精神行動属性セットと前記精神行動属性セットのうちの第２の精神行動属性セットとの間の相互結合性パラメータ及び依存性パラメータに基づいてさらに訓練される、
    請求項１に記載の電子装置。
12. 前記精神行動属性セットは、情動状態セット、感情状態セット、精神衛生状態セット、精神状態又は状況セット、心理学的状態又は状況セット、及び気分に基づく属性セットを含む、
    請求項１に記載の電子装置。
13. 前記精神行動属性の前記識別は、前記ＥＥＧ信号セット及び前記生体信号セットに対する前記被験者の感情状態、性別、及び左利き又は右利きの側性化の影響に対して不変である、
    請求項１に記載の電子装置。
14. 前記少なくとも１つのプロセッサは、前記被験者に関連する前記ＥＥＧ信号セット及び前記異なるタイプの生体信号セットの複数の信号サンプルに前記被験者の複数の精神行動属性を一定期間にわたって対応付けるようにさらに構成される、
    請求項１に記載の電子装置。
15. 前記少なくとも１つのプロセッサは、前記被験者の前記複数の精神行動属性の各々と、前記ＥＥＧ信号セット及び前記生体信号セットの前記複数の信号サンプルとの間の対応を示す複数の青写真データ点を生成するようにさらに構成される、
    請求項１４に記載の電子装置。
16. 前記生成された複数の青写真データ点の各々は、前記精神行動属性セットの異なる精神行動属性に対応し、前記プロセッサは、前記複数の青写真データ点の各々を前記複数の青写真データ点の他の青写真データ点と比較するようにさらに構成され、前記被験者の前記精神行動属性は、前記比較に基づいてさらに識別される、
    請求項１５に記載の電子装置。
17. 前記第２の認識モデルの出力層は、前記精神行動属性セットのうちの最大尤度を有する前記精神行動属性を識別する分類器として機能し、前記分類器は、ランダムフォレストベースの分類器、サポートベクトルマシン（ＳＶＭ）ベースの分類器、ロジスティック回帰ベースの分類器、線形回帰ベースの分類器、ソフトマックス分類器、ベイズ推定ネットワーク分類器、ディープニューラルネットワーク分類器のうちの１つである、
    請求項１に記載の電子装置。
18. 前記少なくとも１つのプロセッサは、ランダムに選択された訓練、検証及びテストデータサブセットを使用することによって、又は前記ＥＥＧ信号訓練セット及び前記生体信号訓練セットに１又は２以上のレベルのｋ−分割交差検証を適用することによって、前記訓練された複数の認識モデル及び前記訓練された第２のモデルを評価して最適化するようにさらに構成される、
    請求項１に記載の電子装置。
19. 前記少なくとも１つのプロセッサは、
    前記被験者の異なる精神行動属性の変化を一定期間にわたって追跡し、
    前記追跡された変化に基づいて、前記被験者の少なくとも診断レポート、予後レポート及び予測レポートを生成する、
    ように構成される、請求項１に記載の電子装置。
20. 電子装置であって、
    被験者に関連する脳波（ＥＥＧ）信号セット、生体信号セット、及び複数のユーザパラメータを記憶するように構成されたメモリと、
    少なくとも１つのプロセッサと、
    を備え、前記少なくとも１つのプロセッサは、
    ＥＥＧ信号訓練セット及び異なるタイプの生体信号訓練セットに基づいて予め訓練された複数の第１の認識モデルに前記被験者に関連する前記ＥＥＧ信号セット及び前記生体信号セットを入力し、
    前記被験者に関連する前記ＥＥＧ信号セット及び前記生体信号セットに前記複数の第１の認識モデルを適用することによって、前記被験者の異なる脳及び身体領域間の機能的結合性又は依存性を示す複数の関係性データを推定し、
    前記推定された複数の入力信号及びその関係性データに第２の認識モデルを適用することによって、精神行動属性セットから前記被験者の精神行動属性を識別する、
    ように構成される、
    ことを特徴とする電子装置。
21. メモリ及び少なくとも１つのプロセッサを備えた電子装置において、
    前記メモリが、被験者に関連する脳波（ＥＥＧ）信号セット、生体信号セット及び複数のユーザパラメータを記憶するステップと、
    前記少なくとも１つのプロセッサが、訓練被験者群に関連するＥＥＧ信号訓練セット及び生体信号訓練セットに基づいて、第１の複数のディープニューラルネットワーク（ＤＮＮ）に対応する複数の第１の認識モデルを訓練するステップと、
    前記少なくとも１つのプロセッサが、前記複数の第１の認識モデルの出力層からの特徴ベクトルに基づいて、第２の複数のディープニューラルネットワーク（ＤＮＮ）に対応する第２の認識モデルを訓練するステップと、
    前記少なくとも１つのプロセッサが、前記被験者に関連する前記ＥＥＧ信号セット及び前記生体信号セットに前記訓練された複数の第１の認識モデルを適用することによって、前記被験者の異なる脳及び身体領域間の機能的結合性又は依存性を示す複数の関係性データを推定するステップと、
    前記少なくとも１つのプロセッサが、前記推定された複数の信号及びその関係性データに前記訓練された第２の認識モデルを適用することによって、精神行動属性セットから前記被験者の精神行動属性を識別するステップと、
    を含むことを特徴とする方法。

Images