JP2020203051A - コンピュータプログラム、情報処理装置、情報処理方法、学習済みモデルの生成方法及び学習済みモデル - Google Patents

Abstract

【課題】生体の睡眠状態を適切に出力することができるコンピュータプログラム等を提供する。【解決手段】コンピュータプログラムは、コンピュータに、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得し、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルに、取得した前記周波数データを入力し、前記学習済みモデルから睡眠状態を取得する処理を実行させる。【選択図】図１

Description

本発明は、コンピュータプログラム、情報処理装置、情報処理方法、学習済みモデルの生成方法及び学習済みモデルに関する。

生体から検出した脳波を周波数分析して、δ波、θ波、α波、σ波、β波などの各周波数成分を抽出し、抽出した各周波数成分の含有量及び含有率に基づいて、所定の時間ブロックごとに睡眠状態を判定する睡眠状態判定手段を備える睡眠計が知られている（例えば、特許文献１）

特許文献１の睡眠計が備える睡眠状態判定手段は、抽出したδ波、α波、σ波、β波の含有量又は含有率と、予め定められた判定条件との比較により、睡眠状態を判定する。

特表２００９−１１２４０２号公報

しかし、特許文献１の睡眠計が備える睡眠状態判定手段は、コンピュータが睡眠状態を判定するためのルール（判定条件）、すなわち判定ロジックを、より適切な閾値を試行錯誤の末に決定するなど、労力をかけて人手で作成する必要があった。また、δ波、α波、σ波、β波などの各周波数成分の含有量又は含有率は脳波に含まれる情報のあくまで一部であり、労力をかけて判定ロジックをより複雑なものにしても、判定精度の更なる向上が望まれる。

本発明は斯かる事情に鑑みてなされたものであり、生体の睡眠状態を適切に出力することができるコンピュータプログラム等を提供することを目的とする。

本開示の一態様に係るコンピュータプログラムは、コンピュータに、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得し、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルに、取得した前記周波数データを入力し、前記学習済みモデルから睡眠状態を取得する処理を実行させる。

本開示の一態様に係る情報処理装置は、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得する周波数データ取得部と、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルと、取得した前記周波数データを前記学習済みモデルに入力し、前記学習済みモデルから睡眠状態を取得する睡眠状態取得部とを備える。

本開示の一態様に係る情報処理方法は、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得し、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルに、取得した前記周波数データを入力し、前記学習済みモデルから睡眠状態を取得する処理をコンピュータに実行させる。

本開示の一態様に係る学習済みモデルの生成方法は、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データに対し、睡眠状態を示す情報が対応付けられた教師データを取得し、前記教師データに基づく学習を行い、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力する学習済みモデルを生成する処理をコンピュータに実行させる。

本開示の一態様に係る学習済みモデルは、生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データの入力を受け付ける入力層と、前記分割単位時間における生体の睡眠状態を出力する出力層と、前記周波数データに含まれる前記要素時間毎の各周波数の強度値に関する特徴量を抽出する中間層とを備え、前記周波数データが前記入力層に入力された場合に前記中間層で演算を行い、前記出力層から前記睡眠状態を出力するようにコンピュータに機能させる。

本発明によれば、生体の睡眠状態を適切に出力するコンピュータプログラム等を提供することが可能となる。

実施形態１に係る睡眠状態判定システムの構成例を示す模式図である。 情報処理装置の構成例を示すブロック図である。 検出した波形データのサンプルに関する説明図である。 周波数データのサンプル（ＥＥＧ＋ＥＯＧ）に関する説明図である。 学習済みモデルの生成処理に関する説明図である。 情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 情報処理装置の制御部による学習済みモデルの生成処理に関する処理手順の一例を示すフローチャートである。 実施形態２（前後エポック含む）に係る周波数データに関する説明図である。 周波数データのサンプルに関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態３（多数決）に係る周波数データに関する説明図である。 情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態４（複数）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る睡眠状態判定システムＳの構成例を示す模式図である。睡眠状態判定システムＳは、生体波形検出装置１及び、当該生体波形検出装置１と通信可能に接続される情報処理装置２を含む。

生体波形検出装置１は、２つの脳波電極１１及び２つの眼筋電極１２等の生体Ｕが発する波形データを検出する波形データ検出用電極、検出した波形データを情報処理装置２に送信する通信ユニット１３を含み、脳波電極１１及び眼筋電極１２と、通信ユニット１３とは電極ケーブル１４にて通信可能に接続されている。生体Ｕは、図１に示すごとく人間であるが、波形データの検出対象となる生体Ｕは人間に限定されず、マウス等の哺乳類であってもよい。

図１に示すごとく、２つの脳波電極１１及び２つの眼筋電極１２は生体Ｕの顔の夫々の位置に貼付されており、脳波電極１１は当該生体Ｕの脳波を検出し、眼筋電極１２は生体Ｕの眼筋運動データを検出する。生体Ｕが発する波形データを検出する波形データ検出用電極は、脳波電極１１及び眼筋電極１２に限定されず、例えば、生体Ｕの呼吸による波形データ、心拍による波形データ（心電図）又は脚部の筋運動による波形データを検出する呼吸センサ（空気圧センサ）、指装着型センサ（光センサ）、圧電センサ、超音波センサ又は磁気センサ等であってもよい。

脳波電極１１及び眼筋電極１２により検出された波形データは、通信ユニット１３を介して情報処理装置２に送信される。通信ユニット１３と情報処理装置２との通信は、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信、又は４Ｇ、ＬＴＥ等の広域無線通信によって行われる。又は、通信ユニット１３と情報処理装置２との通信は、ＵＳＢ（Universal Serial Bus／登録商標）ケーブル等の通信ケーブルを用いた有線通信であってもよい。

情報処理装置２は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバ装置、パーソナルコンピュータ又は、スマートホン等の携帯端末である。情報処理装置２には、ディスプレイ等の表示部３及び、キーボード等の入力部４が接続されており、当該情報処理装置２の操作者により入力部４から入力された操作内容に基づき情報処理を行い、処理の結果を出力して表示部３にて情報処理結果を表示する。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。

情報処理装置２には、後述するプログラムＰ、学習済みモデル２０１等のソフトウェアモジュールが実装されており、通信ユニット１３を介して取得した脳波等の波形データをＦＦＴ（fast Fourier transform）により周波数データに変換し、当該周波数データに基づき生体Ｕの睡眠状態を判定する。情報処理装置２は、判定した睡眠状態に関する情報を表示部３に出力し、当該情報を表示部３に表示させる。

情報処理装置２と表示部３とは直接的に接続されている場合に限定されず、例えば、情報処理装置２であるクラウドサーバはインターネット上に接続されており、表示部３はスマートホン等の携帯端末であってもよい。検出された波形データに基づき学習済みモデル２０１にて睡眠状態を判定する処理は、インターネット上に接続されるクラウドサーバ等のリモート環境で行われ、当該クラウドサーバ等は睡眠状態の該判定結果を携帯端末に送信することにより、当該睡眠状態の判定結果の表示は、波形データの検出対象である生体Ｕに最寄りの携帯端末にて行われるものであってもよい。

図２は、情報処理装置２の構成例を示すブロック図である。情報処理装置２は、制御部２２、通信部２１、記憶部２３及び入出力Ｉ／Ｆ２４を含む。

制御部２２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部２３に記憶されたプログラムＰを読み出して実行することにより、情報処理装置２に係る種々の情報処理、制御処理等を行う。

記憶部２３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部２３には、プログラムＰ及び処理時に参照するデータがあらかじめ記憶してある。記憶部２３に記憶されたプログラムＰは、情報処理装置２が読み取り可能な記録媒体２３１から読み出されたプログラムＰを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰをダウンロードし、記憶部２３に記憶させたものであってもよい。記憶部２３には、学習済みモデル２０１を構成する実体ファイルが保存されている。これら実体ファイルは、プログラムＰの一部位として構成されるものであってもよい。

通信部２１は、有線又は無線により生体波形検出装置１と通信するための通信モジュール又は通信インターフェイスである。

入出力Ｉ／Ｆ２４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ２４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ２４には、例えばディプレイ等の表示部３、キーボード等の入力部４が接続されており（図１参照）、制御部２２は、入力部４から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部３に出力する。

生体波形検出装置１は、上述のごとく通信ユニット１３、脳波電極１１及び眼筋電極１２等の波形データ検出用電極を含む。

通信ユニット１３は、信号変換部１３１及び通信部１３２を含む。信号変換部１３１と、脳波電極１１及び眼筋電極１２とは電極ケーブル１４により通信可能に接続されている。

信号変換部１３１は、例えば、脳波電極１１及び眼筋電極１２が検出したアナログ値である波形データを増幅し、増幅した波形データからノイズを除去するフィルタを含み、ノイズを除去した波形データをアナログ変調して通信部２１に出力する。

通信部１３２は、信号変換部１３１から出力されたデータを無線又は有線により、情報処理装置２に送信する通信モジュール又は通信インターフェイスである。通信ユニット１３には信号変換部１３１及び通信部１３２が含まれるとしたが、これに限定されない。通信ユニット１３は信号変換部１３１を含まず、脳波電極１１及び眼筋電極１２が検出したアナログ値である波形データを通信部１３２が取得し、情報処理装置２に送信する構成であってもよい。

図３は、検出した波形データのサンプルに関する説明図である。図３の波形データは、生体Ｕから検出した脳波による波形データ（脳波：ＥＥＧ）である。横軸は、生体Ｕから検出する際の経過時間を示し、縦軸は脳波の振幅（μＶ）を示す。

生体Ｕの睡眠状態に応じて、脳波が変化することが知られており、例えば覚醒段階（ステージＷａｋｅ）においては、８から１２Ｈｚのα波が多く観測される。入眠段階（ステージＮ１）（ＮはＮｏｎＲＥＭの意）においては、α波が消失し、高周波低振幅の波が観測され、その後の浅い睡眠段階（ステージＮ２）においては、Spindle波、K-Comlex波などの特徴的な波が出現する。深い睡眠段階（ステージＮ３）においては、１から４Ｈｚのδ波が多く観測される。ＲＥＭ睡眠段階（ステージＲＥＭ）においては、ステージＮ１と類似した高周波低振幅の波が観測されると同時に、下記の眼球運動データ（ＥＯＧ）に高速眼球運動（Rapid Eye Movements＝ＲＥＭｓ）が観測される。脳波に基づく睡眠状態の判定は、所定期間を一区間とした間に観測された脳波の特徴に基づいて行われる。当該一区間は、例えば３０秒の期間に設定され、エポックと称される。すなわち、脳波の検出が１時間に亘って行われた場合、検出されるエポックの個数は、１２０個となる。

生体Ｕから検出した波形データは脳波に限定されず、眼筋運動データ（ＥＯＧ）を含むものであってもよい。図１に示すごとく、生体波形検出装置１は、脳波電極１１及び眼筋電極１２による２チャンネルにて二種類の波形データ（ＥＥＧ及びＥＯＧ）を同時に検出することができる。従って、同じ時間軸（エポック単位）にて、脳波（ＥＥＧ）及び眼筋運動データ（ＥＯＧ）を検出することができる。

図４は、周波数データのサンプル（ＥＥＧ＋ＥＯＧ）に関する説明図である。図４は、当該周波数データ（データセット）を二次元のマトリックス状に模式的に示す一例であり、横軸はＦＦＴにより周波数分析した周波数夫々（１Ｈｚ単位）を示す。縦軸は、波形データの検出における経過時間（各検出時点）を、要素時間単位（１秒単位）にて示す。マトリックスにおける各セル内の値は、各時点（要素時間単位）における周波数夫々の強度値（含有量）を示す。

情報処理装置２の制御部２２はプログラムＰを実行することにより、図３に示すような波形データを生体波形検出装置１から取得した波形データを、ＦＦＴを用いて、例えば１秒毎となる要素時間毎に周波数分析し、周波数夫々における強度値（パワー）を算出する。ＦＦＴを用いた周波数分析は、要素時間（例えば１秒）の単位で波形データをサンプリングしリアルタイムに周波数夫々における強度値を算出する、又は所定期間にて波形データを記憶（バッファリング）した後、当該記憶した波形データを要素時間単位にて周波数分析し周波数夫々における強度値を算出するものであってもよい。周波数の強度値とは当該周波数の含有量を示し、含有量はＦＦＴによるパワースペクトルに相当し、単位系は電圧の二乗（μV^2）となる。ＦＦＴにおける周波数バンド幅（周波数分解能Δf）は１Ｈｚ単位としており、脳波（ＥＥＧ）は０Ｈｚから３９Ｈｚまでの４０チャネル、眼球運動データ（ＥＯＧ）は０Ｈｚから９Ｈｚまでの１０チャネルとしている。

上述のとおり、周波数の強度値（含有量）は、要素時間毎（１秒毎）に算出しており、一つのエポック（３０秒単位）において、３０秒分（３０セット）の周波数夫々における強度値（含有量）が含まれるものとなる。このエポックにより定められる時間（期間：３０秒）を分割単位時間として、情報処理装置２の制御部２２は、ＦＦＴにより周波数分析した周波数夫々の強度値（含有量）による周波数データ（データセット）を生成し、記憶部２３に記憶する。

周波数夫々においては、脳波（ＥＥＧ）及び眼球運動データ（ＥＯＧ）を含み、これら脳波及び眼球運動データにおける同じ検出時点（検出時間毎）のデータが横並びとなるように、脳波及び眼球運動データのデータが連結されている。記憶部２３に記憶されている周波数データ（データセット）は、配列化されたものであってもよい。すなわち、要素時間及び周波数を配列における次元とし、要素時間及び周波数を各次元として含む少なくとも２次元以上の多次元配列（テンソル）として、当該データセットを記憶部２３に記憶するものであってもよい。

図４においては、周波数のチャネルは５０個（４０[ＥＥＧ]＋１０[ＥＯＧ]）であり、エポック（３０秒単位）における要素時間（１秒）の個数は３０個であるため、周波数データ（データセット）は、１５００個（５０×３０）の要素数を有するものである。各要素の値は、周波数及び検出時点に基づき配列の値として特定される周波数の強度値（含有量）である。このようにエポック（分割単位時間）毎の周波数及び検出時点における各周波数の強度値（含有量）を配列化して、多次元配列（テンソル）による周波数データ（データセット）を生成することにより、当該周波数データを後述する畳み込み層を含むニューラルネットワーク（ＣＮＮ／Convolutional Neural Network）への入力データとして用いることができる。

図５は、学習済みモデル２０１の生成処理に関する説明図である。情報処理装置２は、分割単位時間（エポック）毎の周波数データに含まれる要素時間毎の各周波数の強度値（含有量）に関する特徴量を学習することで、周波数データを入力とし、当該周波数データを検出した期間（エポック）における生体Ｕの睡眠状態を出力とするニューラルネットワークを構築（生成）する。

教師データを用いて学習されたニューラルネットワーク（学習済みモデル２０１）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習済みモデル２０１は、上述のごとく制御部２２（ＣＰＵ等）及び記憶部２３を備える情報処理装置２にて用いられるものであり、このように演算処理能力を有する情報処理装置２にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置２の制御部２２が、記憶部２３に記憶された学習済みモデル２０１からの指令に従って、入力層に入力された周波数データに含まれる各周波数の強度値を展開し、展開した強度値に基づきの特徴量を抽出する演算を行い、出力層から睡眠状態を出力するように動作する。

ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network）であり、周波数データの入力を受け付ける入力層と、睡眠状態を出力する出力層と、周波数データに含まれる要素時間毎の各周波数の強度値（含有量）に関する特徴量を抽出する中間層とを有する。ＣＮＮである学習済みモデル２０１は、当該特徴量を抽出するにあたり、入力された周波数データに含まれる要素時間及び周波数をテンソルにおける各次元として取り扱い、各周波数の強度値をテンソルの各要素の値として畳み込み処理を行う。

入力層は、周波数データにおけるテンソルの各要素の値である各周波数の強度値の入力を受け付ける複数のニューロンを有し、入力された強度値を中間層に受け渡す。中間層は、周波数データにおける強度値に関する特徴量を抽出する複数のニューロンを有し、抽出した強度値に関する特徴量を出力層に受け渡す。ＣＮＮである学習済みモデル２０１は、入力層から入力された各周波数の強度値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ強度値をマッピング（圧縮）するプーリング層とが交互に連結された構成を有し、周波数データにおける各周波数の強度値の情報を圧縮しながら最終的に強度値に関する特徴量を抽出する。出力層は、睡眠状態を判定した判定結果を出力する一又は複数のニューロンを有し、中間層から出力された強度値に関する特徴量に基づいて、周波数データを検出した期間（エポック）における生体Ｕの睡眠状態を出力する。

なお、本実施の形態では学習済みモデル２０１がＣＮＮであるものとして説明するが、学習済みモデル２０１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデル２０１であってよい。

情報処理装置２は、周波数データ（問題データ）と、当該周波数データにおける生体Ｕの睡眠状態を示す情報（回答データ）とが、対応付けられた（関連付けられた）教師データを用いて学習を行う。周波数データは、例えばエポックの期間に相当する分割単位時間毎に生成されているため、エポック単位で生体Ｕの睡眠状態が対応付けられるものとなる。睡眠状態を示す情報とは、標準的には、覚醒段階（ステージＷａｋｅ）、入眠段階（ステージＮ１）、浅い睡眠段階（ステージＮ２）、深い睡眠段階（ステージＮ３）、ＲＥＭ睡眠段階（ステージＲＥＭ）の５段階からなるが、必ずしもこの５段階の分類には限定されず、例えば、ステージＮ１とステージＮ２を合わせて浅い睡眠段階（Ｌｉｇｈｔ）、ステージＮ３を深い睡眠段階（Ｄｅｅｐ）として、覚醒段階（Ｗａｋｅ）、浅い睡眠段階（Ｌｉｇｈｔ）、深い睡眠段階（Ｄｅｅｐ）、ＲＥＭ睡眠段階（ＲＥＭ）の４段階の分類とするものであってもよい。

脳波（ＥＥＧ）及び眼球運動データ（ＥＯＧ）等の波形データと、これら波形データに基づき生体の睡眠状態を示す情報との対応付けは医師等の医療従事者により行われるものであり、このように対応付けられたデータは、医療機関等において大量に保有されている。すなわち周波数データは、生体から検出した波形データに基づきＦＦＴ等により生成されるところ、当該波形データには、被検者である生体の睡眠状態に関するデータが付与されている。従って、このように睡眠状態に関するデータが付与されている波形データに基づき、ＦＦＴ等により生成した周波数データと、当該波形データに付与されている睡眠状態に関するデータとを組み合わせることにより、相関関係を有する周波数データ（問題データ）及び睡眠状態を示す情報（回答データ）を含む教師データを大量に生成することができる。

情報処理装置２は、教師データに含まれる周波数データを入力層に入力し、中間層での演算処理を経て、出力層から出力された睡眠状態を取得する。出力層から出力される睡眠状態は、いずれかの睡眠状態を示す値であってもよく、または候補となる複数の睡眠状態夫々における確率値であってもよい。

情報処理装置２は、出力層から出力された睡眠状態を、教師データにおいて周波数データ（問題データ）に対しラベル付けされた情報（睡眠状態）、すなわち正解値（回答データ）と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置２は、誤差逆伝播法を用いて各種パラメータの最適化を行う。情報処理装置２は、教師データに含まれる周波数データについて上記の処理を行い、学習済みモデル２０１を生成する。

図６は、情報処理装置２の制御部２２に含まれる機能部を例示する機能ブロック図である。情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、生体波形検出装置１から取得した波形データをＦＦＴにより周波数分析し、エポック単位（３０秒単位）となる分割単位時間毎に配列化した周波数データ（図４参照）を生成する周波数データ生成部２２１として機能する。波形データが脳波（ＥＥＧ）及び、当該脳波と当時に検出した眼筋運動データ（ＥＯＧ）を含む場合、周波数データ生成部２２１は、脳波を配列化したデータ及び眼筋運動データを配列化したデータを連結して周波数データを生成するものであってもよい。周波数データは、脳波及び眼筋運動データを連結したものに限定されず、脳波のみ又は眼筋運動データのみを配列化したデータであってもよい。又は、周波数データは、脳波及び眼筋運動データと、更に心電図又は呼吸データ等、一つ又は複数の他の波形データと連結したデータであってもよい。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、周波数データ生成部２２１が生成した周波数データを取得し、取得した周波数データを学習済みモデル２０１に入力する周波数データ取得部２２２として機能する。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、又は学習済みモデル２０１を構成する実体ファイルを読み出すことにより、学習済みモデル２０１として機能する。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、学習済みモデル２０１が出力した睡眠状態の判定結果を取得し、取得した睡眠状態を例えばディスプライ等の表示部３に出力する睡眠状態取得部２２３として機能する。睡眠状態取得部２２３は、睡眠状態を表示部３に出力するにあたり、当該睡眠状態と周波数データとを連関させた表示用画像を生成し、当該表示用画像を出力して、表示部３に表示させるものであってもよい。

上述のごとく、制御部２２はプログラムＰを実行等することにより、周波数データ生成部２２１、周波数データ取得部２２２、学習済みモデル２０１及び睡眠状態取得部２２３として機能するものであり、図６においては、これら部位を機能部として示している。

本実施形態において、周波数データ生成部２２１、周波数データ取得部２２２、学習済みモデル２０１及び睡眠状態取得部２２３は、単一の情報処理装置２の制御部２２における機能部として説明してあるが、これに限定されない。これら機能部は複数の情報処理装置２にて分散して設けられ、当該複数の情報処理装置２が協働することにより、これら機能部による一連の処理が行われるものであってもよい。例えば、学習済みモデル２０１として機能する情報処理装置２をインターネット上に接続されるクラウドサーバとし、ＦＦＴ処理を行う周波数データ生成部２２１及び学習済みモデル２０１に対する入出力処理を行う周波数データ取得部２２２と睡眠状態取得部２２３とを、被検者である生体Ｕに最寄りの携帯端末とし、当該クラウドサーバと携帯端末とが相互通信を行い協働することにより、これら機能部による一連の処理が行われるものであってもよい。

ＦＦＴ処理を行う周波数データ生成部２２１を生体波形検出装置１に装置に含まれる信号変換部１３１に含ませ（実装させ）、生体波形検出装置１は、波形データに換えて、周波数データを情報処理装置２に送信するものであってもよい。又は、生体波形検出装置１は、情報処理装置２の機能を備えるものであってもよい。すなわち生体波形検出装置１が、情報処理装置２の制御部２２及び記憶部２３と同様の演算処理等を有する制御部（図示せず）を記憶部（図示せず）備え、生体波形検出装置１の記憶部（図示せず）に記憶されている学習済みモデル２０１を用いて睡眠状態を判定するものであってもよい。更に、生体波形検出装置１は、表示部３の機能を備えるものであてもよい。すなわち生体波形検出装置１は、判定した睡眠状態に関する情報を表示部３に出力し、当該睡眠状態に関する情報を表示部３に表示させるものであってもよい。

図７は、情報処理装置２の制御部２２による処理手順の一例を示すフローチャートである。制御部２２は、例えば情報処理装置２に接続されている入力部４からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置２の制御部２２は、波形データを取得する（Ｓ１０）。制御部２２は、生体波形検出装置１から送信された波形データを、通信部２１を介して取得する。制御部２２は、取得した波形データを記憶部２３に記憶（バッファリング）する。

情報処理装置２の制御部２２は、周波数データを取得する（Ｓ１１）。制御部２２は、取得した波形データをＦＦＴにより周波数分析し、例えばエポック（３０秒）単位となる分割単位時間毎に配列化した周波数データを生成することにより、当該周波数データを取得する。制御部２２は、周波数データを生成した順番に基づき、当該周波数データに連番を付与して記憶部２３に記憶し、時系列に生成及び取得した周波数データの生成順位（取得順位）を管理するものであってもよい。

情報処理装置２の制御部２２は、周波数データを学習済みモデル２０１に入力し、睡眠状態の判定結果を取得する（Ｓ１２）。制御部２２は、取得した周波数データを学習済みモデル２０１に入力し、学習済みモデル２０１が出力した睡眠状態の判定結果を取得する。

情報処理装置２の制御部２２は、睡眠状態の判定結果を出力する（Ｓ１３）。制御部２２は、学習済みモデル２０１から取得した睡眠状態の判定結果をディスプレイ等の表示部３に表示する。又は、制御部２２は、学習済みモデル２０１から取得した睡眠状態の判定結果を、通信部２１を介して所定の携帯端末等に送信すべく、当該通信部２１に出力するものであってもよい。制御部２２は、睡眠状態の判定結果に加え、周波数データ又は当該周波数データの元データに相当する波形データの部位を併せて、出力するものであってもよい。

情報処理装置２の制御部２２は、Ｓ１３の処理を実行後、本フローによる処理を終了する。又は、制御部２２は、Ｓ１３の処理を実行後、再度Ｓ１０の処理を実行すべくループ処理を行うものであってもよい。

図８は、情報処理装置２の制御部２２による学習済みモデル２０１の生成処理に関する処理手順の一例を示すフローチャートである。

情報処理装置２の制御部２２は、教師データを取得する（Ｓ１１０）。教師データは、特定対象の分割単位時間にて周波数分析した周波数データに対し、当該分割単位時間における生体の睡眠状態をラベル付けしたデータである。制御部２２は、生体波形検出装置１から取得した波形データをＦＦＴにより要素時間毎に周波数分析し、周波数分析したデータを、特定対象の分割単位時間毎に配列化した周波数データに睡眠状態をラベル付けすることにより、教師データを生成し取得する。周波数データにラベル付けする睡眠状態は、医師等の医療従事者により行われる又は、当該周波数データの元データである波形データに対し医師等により行われており、このような波形データを利用することにより教師データを大量に生成することができる。

情報処理装置２の制御部２２は、学習済みモデル２０１を生成する（Ｓ１１１）。制御部２２は、取得した教師データを用いて、周波数データを入力した場合、周波数データの分割単位時間における睡眠状態を出力する学習済みモデル２０１を生成する。具体的には、制御部２２は、教師データに含まれる周波数データをニューラルネットワークの入力層に入力し、中間層にて抽出される周波数の強度値の特長量に基づき出力層から出力される睡眠状態を取得する。制御部２２は、取得した睡眠状態と、教師データに含まれる正解値（周波数データにレベル付けされた睡眠状態）とを比較し、出力層から出力される睡眠状態（判定結果）が、正解値に近づくように、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部２２は、生成した学習済みモデル２０１を記憶部２３に記憶し、一連の処理を終了する。

本実施形態によれば、脳波等の生体Ｕから検出した波形データを要素時間毎に周波数分析し、分割単位時間毎に配列化した周波数データを学習済みモデル２０１に入力し、当該学習済みモデル２０１から睡眠状態を取得するため、予め定められたアルゴリズムであるルールベースによる処理を不要とし、精度よく睡眠状態を取得することができる。

本実施形態によれば、脳波及び脳波と同時に検出した眼球運動データ等の複数の波形データを検出した時間軸を合わせて連結し、周波数データを生成及び取得するため、当該周波数データが入力された学習済みモデル２０１による睡眠状態の判定精度を向上させることができる。

本実施形態によれば、学習済みモデル２０１は、畳み込み層を含むニューラルネットワークであり、周波数データに含まれる要素時間及び周波数をテンソル（多次配列）における各次元として取り扱い、要素時間及び周波数により決定される周波数の強度値を当該テンソルの各要素の値として畳み込み処理を行う。従って、周波数データを、例えば画像データと同様に畳み込み処理及びプーリング処理を行うことが可能となり、効率的に周波数の強度値による特徴量を抽出し、抽出した特徴量に基づき精度よく睡眠状態を判定することができる。

（実施形態２）
図９は、実施形態２（前後エポック含む）に係る周波数データに関する説明図である。図１０は、周波数データのサンプルに関する説明図である。図９における横軸は、実施形態１と同様にＦＦＴにより周波数分析した周波数夫々（１Ｈｚ単位）を示す。図９における横軸は、実施形態１と同様に波形データの検出における経過時間（各検出時点）を、要素時間単位（１秒単位）にて示す。図９においては、５つの分割単位時間（エポック）が時系列に従って連結された状態における周波数分析の結果データを示す。実施形態２の情報処理装置２は、睡眠状態を特定する特定対象の分割単位時間（エポック）、及び当該特定対象の分割単位時間の前後に位置する分割単位時間夫々における波形データを周波数分析した周波数データを用いる点で、実施形態１と異なる。

上述のごとく、生体Ｕから検出した波形データは、当該検出時間に応じて時間軸における長さが長くなる。例えば、検出時間を１時間とした場合、エポック（３０秒）単位による分割単位時間毎に生成された周波数データの個数は６０個となり、実施形態１における単一の周波数データは、１つの分割単位時間（エポック）にて周波数分析したものとしている。これに対し、実施形態２における単一の周波数データは、図９に示すごとく、睡眠状態を特定する特定対象の分割単位時間（エポック）と、当該特定対象の分割単位時間の前後に２つずつ位置する４つの分割単位時間（エポック）とによる、５つの分割単位時間（エポック）にて周波数分析したものである。すなわち、図９においてエポック３を、睡眠状態を特定する特定対象の分割単位時間（エポック）とした場合、学習済みモデル２０１に入力する周波数データは、エポック３と、当該エポック３の直前及び直後に位置するエポック２及びエポック４と、エポック３の２つ前及び２つ後に位置するエポック１及びエポック５における波形データを周波数分析したもの（各エポックによる周波数データ夫々を連結したもの）である。同様にエポック４を、睡眠状態を特定する特定対象の分割単位時間（エポック）とした場合、周波数データは、エポック２からエポック６における波形データを周波数分析したもの（各エポックによる周波数データ夫々を連結したもの）である。

睡眠状態を特定する特定対象の分割単位時間（特定対象エポック）と、当該特定対象の分割単位時間の前後に２つずつ位置する４つの分割単位時間（エポック）とによる、５つの分割単位時間（５つのエポックによるデータ連結）にて周波数分析した周波数データ（連結された周波数データ）は、図１０に示すように要素時間の行数が１５０個（３０×５）となる。

このように、情報処理装置２は、睡眠状態を特定する特定対象の分割単位時間（エポック）の前後に位置する複数の分割単位時間（エポック）を含む波形データを周波数分析して周波数データを生成する。当該周波数データにより、特定対象の分割単位時間における周波数の強度値の特徴量に加え、当該特定対象の分割単位時間の前後に位置する複数の分割単位時間における周波数の強度値の特徴量を加味して、当該特定対象の分割単位時間における睡眠状態を判定し、当該判定の精度を向上させることができる。

学習済みモデル２０１は、特定対象の分割単位時間を含む５つの分割単位時間にて周波数分析した周波数データが入力された場合、当該特定対象の分割単位時間における睡眠状態を判定し、出力するように学習されている。教師データは、特定対象の分割単位時間を含む５つの分割単位時間周波数分析した周波数データに対し、当該特定対象の分割単位時間における睡眠状態が対応付けられて生成されている。

図１１は、情報処理装置２の制御部２２による処理手順の一例を示すフローチャートである。情報処理装置２の制御部２２は、波形データを取得する（Ｓ２０）。制御部２２は、実施形態１の処理Ｓ１０と同様に波形データを取得する。制御部２２は、取得した波形データにおいて、分割単位時間毎に配列化したデータを生成し、特定対象の分割単位時間を決定する。制御部２２は、例えば３番目に位置する分割単位時間（エポック３／図９参照）を、特定対象の分割単位時間として決定した場合、当該エポック３の前後に位置するエポック（エポック１，２，４，５）に対し、フローチャートにおける下記処理を行う。又は、制御部２２は、波形データを時系列に取得するにあたり、特定対象の分割単位時間を決定するものであってもよい。すなわち、波形データは生体波形検出装置１から連続的に送信されるところ、所定期間にて取得した波形データを記憶部２３に記憶（バッファリング）し、特定対象の分割単位時間を決定、すなわち波形データにおける当該分割単位時間の時点（期間）を決定するものであってもよい。特定対象の分割単位時間を決定することにより、後処理における特定対象の分割単位時間の前後における分割単位時間が、決定されるものとなる。

情報処理装置２の制御部２２は、特定対象の分割単位時間の前に位置する分割単位時間による周波数データを取得する（Ｓ２１）。制御部２２は、例えばＳ２０の処理にて決定された特定対象の分割単位時間の前に位置する分割単位時間による周波数データをＦＦＴ処理にて生成し、取得する。制御部２２は、特定対象の分割単位時間の前に位置する２つの分割単位時間による周波数データをＦＦＴ処理にて生成し、取得するものであってもよい。

情報処理装置２の制御部２２は、特定対象の分割単位時間の前に位置する分割単位時間による周波数データに含まれる周波数の強度値に補正係数を乗算する（Ｓ２２）。制御部２２は、Ｓ２１の処理にて取得した特定対象の分割単位時間の前に位置する分割単位時間による周波数データに含まれる周波数の強度値に１よりも小さい補正係数を乗算し、補正係数が乗算された補正強度値を周波数データにおける配列の要素の値として、記憶部２３に記憶する。

情報処理装置２の制御部２２は、特定対象の分割単位時間による周波数データを取得する（Ｓ２３）。制御部２２は、例えばＳ２０の処理にて決定された特定対象の分割単位時間による周波数データをＦＦＴ処理にて生成し、取得する。

情報処理装置２の制御部２２は、特定対象の分割単位時間の後に位置する分割単位時間による周波数データを取得する（Ｓ２４）。制御部２２は、例えばＳ２０の処理にて決定された特定対象の分割単位時間の後に位置する分割単位時間による周波数データをＦＦＴ処理にて生成し、取得する。制御部２２は、特定対象の分割単位時間の後に位置する２つの分割単位時間による周波数データをＦＦＴ処理にて生成し、取得するものであってもよい。

情報処理装置２の制御部２２は、特定対象の分割単位時間の後に位置する分割単位時間による周波数データに含まれる周波数の強度値に補正係数を乗算する（Ｓ２５）。制御部２２は、Ｓ２４の処理にて取得した特定対象の分割単位時間の後に位置する分割単位時間による周波数データに含まれる周波数の強度値に１よりも小さい補正係数を乗算し、補正係数が乗算された補正強度値を周波数データにおける配列の要素の値として、記憶部２３に記憶する。

情報処理装置２の制御部２２は、複数の周波数データを連結し、連結された周波数データを取得する（Ｓ２６）。制御部２２は、Ｓ２３で取得した特定対象の分割単位時間による周波数データ、及びＳ２２及びＳ２５にて補正係数を乗算した特定対象の分割単位時間の前後に位置する周波数データを連結し、連結された周波数データを取得する。これにより、特定対象の分割単位時間による周波数データを含む複数の周波数データが連結された周波数データを取得することができる。

情報処理装置２の制御部２２は、連結された周波数データを学習済みモデル２０１に入力し、睡眠状態の判定結果を取得する（Ｓ２７）。制御部２２は、実施形態１の処理Ｓ１２と同様に、Ｓ２６にて取得した周波数データ（連結された周波数データ）を学習済みモデル２０１に入力し、睡眠状態の判定結果を取得する。実施形態２の学習済みモデル２０１は、連結された周波数データが入力されることにより、連結された周波数データに含まれる特定対象の分割単位時間の睡眠状態を出力するように学習されている。制御部２２は、学習済みモデル２０１から特定対象の分割単位時間の睡眠状態の判定結果を取得する。

情報処理装置２の制御部２２は、睡眠状態の判定結果を出力する（Ｓ２８）。制御部２２は、実施形態１のＳ１３と同様に、学習済みモデル２０１から取得した睡眠状態の判定結果をディスプレイ等の表示部３に出力し、表示部３に当該睡眠状態を表示される。

本実施形態において、情報処理装置２の制御部２２は、波形データを取得するにあたり特定対象の分割時間単位を決定するものとしたが、これに限定されない。制御部２２は、所定期間にて取得した波形データに基づき、複数の分割時間単位による複数の周波数データを生成し、生成した周波数データに対し、生成した時点に対応する連番等、すなわち分割時間単位夫々における時間軸での生成順位を示す管理番号を付与して記憶部２３に記憶する。そして、制御部２２は、当該管理番号に基づき、特定対象の分割時間単位及び、当該特定対象の分割時間単位の前後に位置する抽出し、これら抽出した複数の分割時間単位毎の周波数データを連結し、当該連結された周波数データを生成し取得するものであってもよい。

周波数データは、５つの分割単位時間にて周波数分析したものとしたが、これに限定されない。周波数データは、睡眠状態を特定する特定対象の分割単位時間（エポック）の前後に位置する２つの分割単位時間（エポック）による３つの分割単位時間にて周波数分析したものであってもよい。

本実施形態によれば、睡眠状態を特定する特定対象の分割単位時間及び、当該特定対象の分割単位時間の前後に位置する複数の分割単位時間による周波数データを学習済みモデル２０１に入力して、特定対象の分割単位時間の睡眠状態を判定するため、睡眠状態の判定精度を向上させることができる。

特定対象の分割単位時間の前後に位置する分割単位時間に含まれる各周波数の強度値は、例えば１よりも小さい補正係数を乗算した算出した補正強度値であってもよい。このような補正係数を乗算して算出した補正強度値を用いることにより、特定対象の分割単位時間に含まれる各周波数の強度値と、前後に位置する分割単位時間に含まれる各周波数の強度値（補正強度値）との間に差異（バイアス値）を設定することができる。当該差異を設定することにより、特定対象の分割単位時間に含まれる各周波数の強度値による特徴量を、前後に位置する分割単位時間に含まれる各周波数の強度値（補正強度値）による特徴量よりも、学習済みモデル２０１による睡眠状態の判定処理における影響度を高め、判定精度を向上させることができる。

（実施形態３）
図１２は、実施形態３（多数決）に係る周波数データに関する説明図である。実施形態３の情報処理装置２は、同一の特定対象の分割単位時間に対し、３種類の周波数データ（第１周波数データ、第２周波数データ、第３周波数データ）を生成する。そして、実施形態３の情報処理装置２は、これら周波数データ夫々を対応する学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３に入力し、夫々のモデルから取得した睡眠状態夫々に基づき、当該特定対象の分割単位時間の睡眠状態を決定する点で、実施形態１と異なる。

図１２に示すように、特定対象の分割単位時間（特定対象エポック）のみにより周波数分析した周波数データを第１周波数データとする。特定対象の分割単位時間（特定対象エポック）及び、特定対象の分割単位時間の前後に位置する２つの分割単位時間を含む、３つの分割単位時間により周波数分析した周波数データを第２周波数データとする。特定対象の分割単位時間（特定対象エポック）及び、当該特定対象の分割単位時間の前後に２つずつ位置する４つの分割単位時間を含む、５つの分割単位時間より周波数分析した周波数データを第３周波数データとする。第２周波数データ及び第３周波数データは、実施形態２にて説明している複数の分割単位時間により周波数分析した周波数データと同義である。情報処理装置２は、取得した波形データに基づき、同一の特定対象の分割単位時間に対し複数の周波数データを生成することにより、これら周波数データを取得する。

図１３は、情報処理装置２の制御部２２に含まれる機能部を例示する機能ブロック図である。情報処理装置２の記憶部２３には、更に第２学習済みモデル２０２及び第３学習済みモデル２０３を構成する実体ファイルが保存されている。これら実体ファイルは、プログラムＰの一部位として構成されるものであってもよい。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、又は第２学習済みモデル２０２を構成する実体ファイルを読み出すことにより、第２学習済みモデル２０２として機能する。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、又は第３学習済みモデル２０３を構成する実体ファイルを読み出すことにより、第３学習済みモデル２０３として機能する。

第２学習済みモデル２０２は、第２周波数データを入力することにより、第２周波数データに含まれる特定対象の分割単位時間における第２睡眠状態を判定し出力するように学習されている。第３学習済みモデル２０３は、第３周波数データを入力することにより、第３周波数データに含まれる特定対象の分割単位時間における第３睡眠状態を判定し出力するように学習されている。

情報処理装置２の制御部２２は、記憶部２３に記憶してあるプログラムＰを実行することにより、睡眠状態決定部２２４として機能する。睡眠状態決定部２２４は、睡眠状態取得部２２３を介して学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３から取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態に基づき、特定対象の分割単位時間における睡眠状態を決定し、決定した睡眠状態を表示部３等に出力する。

周波数データ生成部２２１は、取得した波形データをＦＦＴにより周波数分析し、第１周波数データ、第２周波数データ及び第３周波数データを生成し、夫々のデータを対応する周波数データ取得部２２２に出力する。上述のとおり、第１周波数データ、第２周波数データ及び第３周波数データにおける睡眠状態を特定する特定対象の分割単位時間は、同じ分割単位時間（同じエポック）である。

図１３に示すように学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３は、互いに並列に接続される。これら学習済みモデル２０１等の前後には、実施形態１と同様に周波数データ取得部２２２及び睡眠状態取得部２２３が設けられている。周波数データ生成部２２１から出力された３種類の周波数データが並列に流れ、これら周波数データを並列に接続された学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３が処理するデータフロートポロジーが形成される。このように並列に接続された学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３を情報処理装置２に実装することにより、ニューラルネットワークシステムが構成される。

睡眠状態決定部２２４は、学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３に対応する（接続されている）睡眠状態取得部２２３が出力した第１睡眠状態、第２睡眠状態及び第３睡眠状態を取得する。睡眠状態決定部２２４は、取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態に基づき、特定対象の分割単位時間における睡眠状態を決定する。当該決定は、例えば多数決方式により決定するものであってもよい。すなわち、第１睡眠状態がＲＥＭ、第２睡眠状態がＲＥＭ、第３睡眠状態がＷａｋｅである場合、睡眠状態決定部２２４は、特定対象の分割単位時間における睡眠状態は、ＲＥＭ状態であると決定する。

本実施形態において、情報処理装置２は、学習済みモデル２０１とは別個に第２学習済みモデル２０２、第３学習済みモデル２０３を備えるものとして記載したが、これに限定されなない。学習済みモデル２０１が、更に第２周波数データ及び第３周波数データを入力されることにより第２睡眠状態及び第３睡眠状態を出力するように学習されており、当該学習済みモデル２０１のみを用いて、睡眠状態、第２睡眠状態及び第３睡眠状態を取得するものであってもよい。

図１４は、情報処理装置２の制御部２２による処理手順の一例を示すフローチャートである。情報処理装置２の制御部２２は、実施形態１と同様に例えば情報処理装置２に接続されている入力部４からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置２の制御部２２は、波形データを取得する（Ｓ３０）。制御部２２は、実施形態１の処理Ｓ１０と同様に生体波形検出装置１から送信された波形データを、通信部２１を介して取得する。

情報処理装置２の制御部２２は、周波数データ（第１周波数データ）を取得する（Ｓ３１）。制御部２２は、実施形態１と同様に波形データをＦＦＴにより周波数分析し、例えばエポック（３０秒）単位となる分割単位時間にて配列化した周波数データを生成することにより、当該周波数データを取得する。上述のとおり、当該分割単位時間が、睡眠状態を特定する特定対象の分割単位時間に相当する。

情報処理装置２の制御部２２は、周波数データを学習済みモデル２０１に入力し、第１睡眠状態の判定結果を取得する（Ｓ３２）。

情報処理装置２の制御部２２は、第２周波数データを取得する（Ｓ３３）。制御部２２は、上述のとおり、第２周波数データは、Ｓ３１の処理における睡眠状態を特定する特定対象の分割単位時間、及び当該特定対象の分割単位時間の前後に位置する２つの分割単位時間による３つの分割単位時間により生成される。

情報処理装置２の制御部２２は、第２周波数データを第２学習済みモデル２０２に入力し、第２睡眠状態の判定結果を取得する（Ｓ３４）。

情報処理装置２の制御部２２は、第３周波数データを取得する（Ｓ３５）。制御部２２は、上述のとおり、第３周波数データは、Ｓ３１の処理における睡眠状態を特定する特定対象の分割単位時間、及び当該特定対象の分割単位時間の前後に２つずつ位置する４つの分割単位時間による５つの分割単位時間により生成される。

情報処理装置２の制御部２２は、第３周波数データを第３学習済みモデル２０３に入力し、第３睡眠状態の判定結果を取得する（Ｓ３６）。

情報処理装置２の制御部２２は、これら学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３に対する３つの処理を行うにあたり、サブプロセスを生成させて並行処理にて行うものであってもよい。すなわち、周波数データ（第１周波数データ）、第２周波数データ及び第３周波数データを生成するための３つのＦＦＴ処理、及び、学習済みモデル２０１、第２学習済みモデル２０２及び第３学習済みモデル２０３による３つの判定処理を並列化して行うことにより、これら処理を行うための所要時間（エラップスタイム）を低減させ、睡眠状態判定システムＳのレスポンスを向上させることができる。この様な並行処理を行う場合、制御部２２を構成するＣＰＵ等は、マルチＣＰＵ又はマルチコアのアーキテクチャであることが望ましい。

情報処理装置２の制御部２２は、取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態に基づき睡眠状態を決定する（Ｓ３７）。制御部２２は、取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態に基づき、例えば多数決方式により睡眠状態を決定する。すなわち、第１睡眠状態がＲＥＭ（第１周波数データにより学習済みモデル２０１がＲＥＭと判定）、第２睡眠状態がＲＥＭ（第２周波数データにより第２学習済みモデル２０２がＲＥＭと判定）、第３睡眠状態がＷａｋｅ（第３周波数データにより第３学習済みモデル２０３がＷａｋｅと判定）である場合、制御部２２は、特定対象の分割単位時間における生体Ｕ（被検者）の睡眠状態は、ＲＥＭであると決定する。又は、制御部２２は、取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態において、最も確率が高いものを睡眠状態として決定するものであってもよい。

情報処理装置２の記憶部２３には、第１睡眠状態、第２睡眠状態及び第３睡眠状態としてなり得る睡眠様態の種類による組合せを予め記憶しておき、当該組合せに応じて特定対象の分割単位時間における睡眠状態を決定するものであってもよい。上述のとおり、睡眠様態の種類を覚醒段階（ステージＷａｋｅ）、入眠段階（ステージＮ１）、浅い睡眠段階（ステージＮ２）、深い睡眠段階（ステージＮ３）、ＲＥＭ睡眠段階（ステージＲＥＭ）の５段階とした場合、第１睡眠状態、第２睡眠状態及び第３睡眠状態による睡眠様態の種類の組合せは、１２５種類（５の３乗）となる。これら１２５種類の夫々の組合せにおいて、特定対象の分割単位時間における睡眠状態を決定したデータを例えばテーブル形式にて、情報処理装置２（制御部２２）は、予め記憶部２３にて記憶しておく。制御部２２は、取得した第１睡眠状態、第２睡眠状態及び第３睡眠状態に基づきテーブルを参照して、特定対象の分割単位時間における睡眠状態を導出するものであってもよい。

情報処理装置２の制御部２２は、決定した睡眠状態を出力する（Ｓ３８）。制御部２２は、Ｓ３７の処理にて決定した睡眠状態を、例えばディスプレイの表示部３に出力する。または、制御部２２は、決定した睡眠状態を、例えば通信部２１を介して所定の携帯端末等の外部機器に出力するものであってもよい。制御部２２は、決定した睡眠状態のみを出力することに限定されず、当該決定した睡眠状態に併せて、第１睡眠状態、第２睡眠状態及び第３睡眠状態を参考情報として出力するものであってもよい。

本実施形態によれば、同一の特定対象の分割単位時間に対し、複数種類の周波数データ（本実施例では３種類）を生成及び取得し、これら周波数データ夫々に対応する学習済みモデル夫々（２０１，２０２，２０３）に入力して複数の睡眠状態の判定結果を取得することができる。そして、当該複数の睡眠状態の判定結果に基づき、当該特定対象の分割単位時間における生体Ｕの睡眠状態を決定するため、睡眠状態を精度よく導出することができる。

（実施形態４）
図１５は、実施形態４（複数）に係る情報処理装置２の制御部２２に含まれる機能部を例示する機能ブロック図である。実施形態４の情報処理装置２は、学習済みモデル２０１及び第２学習済みモデル２０２の２つのモデルにより、データフロートポロジーが形成される点で、実施形態３と異なる。

実施形態４の情報処理装置２は、実施形態３と同様に同一の特定対象の分割単位時間に対し、２種類の周波数データ（第１周波数データ、第２周波数データ）を生成する。更に実施形態４の情報処理装置２は、実施形態３と同様にこれら周波数データ夫々を対応する学習済みモデル２０１、第２学習済みモデル２０２に入力し、夫々のモデルから取得した睡眠状態夫々に基づき、当該特定対象の分割単位時間の睡眠状態を決定する。

本実施形態においては、情報処理装置２の制御部２２は、特定対象の分割単位時間を含む２つの周波数データ（複数の周波数データ）を生成し、生成した周波数データ夫々を対応する学習済みモデル２０１及び第２学習済みモデル２０２に入力し、第１睡眠状態及び第２睡眠状態を取得する。学習済みモデル２０１に入力される周波数データは、特定対象の分割単位時間のみによる周波数データ（１つのエポック）である。第２学習済みモデル２０２に入力される周波数データは、特定対象の分割単位時間及び、当該分割単位時間の前後の分割単位時間を含む周波数データ（３つのエポック）である。

情報処理装置２の記憶部２３には、第１睡眠状態及び第２睡眠状態がとり得る睡眠状態の全ての組合せ及び、組合せ夫々にて決定される睡眠状態が、例えばテーブル形式で記憶されている。上述のごとく、睡眠状態は５つの状態を取り得るため、特定対象の分割単位時間を含む周波数データが２つの場合、組合せは２５種類（５の２乗）となる。情報処理装置２の制御部２２は、取得した第１睡眠状態及び第２睡眠状態に基づき、記憶部２３に記憶されている組合せを参照し、特定対象の分割単位時間の睡眠状態を決定する。

当該周波数データの個数が２つ等の偶数である場合であっても、周波数データの個数（ｎ）又は取得する睡眠状態の個数によって、決定される組合せの数（５のｎ乗）に応じた睡眠状態を、例えばテーブル形式で記憶することにより、効率的に睡眠状態を決定することができる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

Ｓ 睡眠状態判定システム
１ 生体波形検出装置
１１ 脳波電極
１２ 眼筋電極
１３ 通信ユニット
１３１ 信号変換部
１３２ 通信部
１４ 電極ケーブル
２ 情報処理装置
２１ 通信部
２２ 制御部
２２１ 周波数データ生成部
２２２ 周波数データ取得部
２２３ 睡眠状態取得部
２２４ 睡眠状態決定部
２３ 記憶部
２３１ 記録媒体
Ｐ プログラム
２４ 入出力Ｉ／Ｆ
２０１ 学習済みモデル
２０２ 第２学習済みモデル
２０３ 第３学習済みモデル
３ 表示部
４ 入力部
Ｕ 生体

Claims (13)

1. コンピュータに、
   生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得し、
   前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルに、取得した前記周波数データを入力し、
   前記学習済みモデルから睡眠状態を取得する
   処理を実行させるコンピュータプログラム。
2. 前記生体から検出した波形データは、脳波である
   請求項１に記載のコンピュータプログラム。
3. 前記生体から検出した波形データは、同時に検出した脳波及び前記脳波以外の生体信号データであり、
   前記周波数データは、前記脳波を前記要素時間毎に周波数分析し分割単位時間毎に配列化したデータと、前記脳波以外の生体信号データを前記要素時間毎に周波数分析し分割単位時間毎に配列化したデータとを連結したデータである
   請求項１に記載のコンピュータプログラム。
4. 前記脳波以外の生体信号データは、眼球運動データである
   請求項３に記載のコンピュータプログラム。
5. 前記周波数データは、前記要素時間毎の周波数夫々の強度値を含み、
   前記学習済みモデルは、畳み込み層を含むニューラルネットワークであり、少なくとも前記要素時間及び前記周波数をテンソルにおける各次元として取り扱い、前記強度値夫々を前記テンソルの各要素の値として、畳み込み処理を行う
   請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
6. 前記周波数データは、睡眠状態を特定する特定対象の分割単位時間の周波数データと、前記特定対象の分割単位時間の前後となる分割単位時間夫々の周波数データ夫々とを連結したものであり、
   前記学習済みモデルは、連結された前記周波数データを入力した場合に前記特定対象の分割単位時間の睡眠状態を出力するように学習済みであり、
   前記学習済みモデルに前記周波数データを入力し、
   前記学習済みモデルから前記特定対象の分割単位時間における睡眠状態を取得する
   請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
7. 前記周波数データは、前記分割単位時間における要素時間毎の周波数夫々の強度値を含み、
   前記周波数データに含まれる前記前後の分割単位時間夫々の強度値には、１よりも小さい値の補正係数が乗算されている
   請求項６に記載のコンピュータプログラム。
8. 前記学習済みモデルに、
   睡眠状態を特定する特定対象の分割単位時間を含む複数の周波数データを入力することにより、複数の睡眠状態を取得し、
   前記取得した複数の睡眠状態に基づいて、前記特定対象の分割単位時間の睡眠状態を決定する
   請求項１から請求項７のいずれか１項に記載のコンピュータプログラム。
9. 前記学習済みモデルに、
   睡眠状態を特定する特定対象の分割単位時間による周波数データを入力することにより睡眠状態を取得し、
   前記特定対象の分割単位時間及び前記特定対象の分割単位時間の前後に位置する２つ以上の分割単位時間による第２周波数データを入力することにより第２睡眠状態を取得し、
   前記第２周波数データとは異なる個数の複数の分割単位時間による第３周波数データを入力することにより第３睡眠状態を取得し、
   前記取得した睡眠状態、第２睡眠状態及び第３睡眠状態に基づいて、前記特定対象の分割単位時間の睡眠状態を決定する
   請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
10. 生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得する周波数データ取得部と、
    前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルと、
    取得した前記周波数データを前記学習済みモデルに入力し、前記学習済みモデルから睡眠状態を取得する睡眠状態取得部と
    を備える情報処理装置。
11. 生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データを取得し、
    前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力するように学習済みの学習済みモデルに、取得した前記周波数データを入力し、
    前記学習済みモデルから睡眠状態を取得する
    処理をコンピュータに実行させる情報処理方法。
12. 生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データに対し、睡眠状態を示す情報が対応付けられた教師データを取得し、
    前記教師データに基づく学習を行い、前記周波数データを入力した場合に前記分割単位時間における前記生体の睡眠状態を出力する学習済みモデルを生成する
    処理をコンピュータに実行させる学習済みモデルの生成方法。
13. 生体から検出した波形データを、要素時間毎に周波数分析し、周波数分析した前記要素時間毎のデータを分割単位時間毎に配列化した周波数データの入力を受け付ける入力層と、
    前記分割単位時間における生体の睡眠状態を出力する出力層と、
    前記周波数データに含まれる前記要素時間毎の各周波数の強度値に関する特徴量を抽出する中間層とを備え、
    前記周波数データが前記入力層に入力された場合に前記中間層で演算を行い、前記出力層から前記睡眠状態を出力するようにコンピュータに機能させる
    学習済みモデル。