JP2022157156A - モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法 - Google Patents

Abstract

【課題】モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法の提供。【解決手段】脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、圧電素子の出力に基づき、被検者の生体データを取得し、取得した生体データと、第１学習モデルから取得した被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、被検者の感性情報を出力する第２学習モデルを生成する処理をコンピュータにより実行する。【選択図】図１０

Description

本発明は、モデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法に関する。

近年、ヘリカルキラル高分子を含む圧電素子を、センサ、アクチュエータ等の圧電デバイスへ応用をすることが検討されている（例えば、特許文献１－４を参照）。

特許第４９３４２３５号公報 国際公開第２０１０／１０４１９６号 特開平１０－１３２６６９号公報 国際公開第２０１４／０５８０７７号

しかしながら、上述した圧電素子の出力に基づき、ユーザの感性情報を出力する技術は現在のところ存在していない。

本発明は、圧電素子の出力からユーザの感性情報が得られるモデル生成方法、コンピュータプログラム、情報処理装置、情報処理システム、情報処理方法、及び訓練データの生成方法を提供することを目的とする。

本発明の一態様に係るモデル生成方法は、脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、圧電素子の出力に基づき、前記被検者の生体データを取得し、取得した生体データと、前記第１学習モデルから取得した前記被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、前記被検者の感性情報を出力する第２学習モデルを生成する処理をコンピュータにより実行する。

本発明の一態様に係るモデル生成方法は、前記訓練データは、他のセンサより得られるセンサデータを更に含み、前記第２学習モデルは、前記生体データ及び前記センサデータを入力した場合、前記感性情報を出力するよう学習される。

本発明の一態様に係るモデル生成方法は、前記生体データは、前記被検者の呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。

本発明の一態様に係るモデル生成方法は、前記センサデータは、環境温度、前記被検者の体温、及び血圧値の少なくとも１つの時系列データである。

本発明の一態様に係るモデル生成方法は、前記感性情報は、前記被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを含む。

本発明の一態様に係るモデル生成方法は、前記圧電素子は、非焦電性の有機圧電材料により形成されるライン状又はフィルム状の圧電素子である。

本発明の一態様に係るモデル生成方法は、前記被検者の頭部に装着された脳波計から脳波データを取得しつつ、前記被検者の肌に接触しない状態で配置された圧電素子から生体データを取得する。

本発明の一態様に係るコンピュータプログラムは、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様に係るコンピュータプログラムは、前記学習モデルは、被検者の脳波データに基づき別の学習モデルを用いて推定される前記被検者の感性情報と、前記圧電素子の出力に基づく前記被検者の生体データとを含むデータセットを訓練データに用いて学習してある。

本発明の一態様に係るコンピュータプログラムは、前記学習モデルは、他のセンサより得られるセンサデータを更に含むデータセットを訓練データに用いて学習してある。

本発明の一態様に係るコンピュータプログラムは、前記生体データは、前記ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。

本発明の一態様に係るコンピュータプログラムは、前記センサデータは、環境温度、前記ユーザの体温、及び血圧値の少なくとも１つの時系列データである。

本発明の一態様に係るコンピュータプログラムは、ユーザの属性情報を取得し、取得したユーザの属性情報に基づき、ユーザの属性に応じて用意された複数の学習モデルから一の学習モデルを選択し、選択した一の学習モデルに前記ユーザの生体データを入力して、前記ユーザの感性情報を取得する処理を前記コンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様に係るコンピュータプログラムは、前記ユーザから感性情報の修正を受付け、修正された感性情報と、前記ユーザについて計測された生体データとをデータセットに含む訓練データを用いて、前記学習モデルを再学習する処理を前記コンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様に係るコンピュータプログラムは、第１環境下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、第２環境下で前記圧電素子により計測されるユーザの第２生体データを前記学習モデルに入力して、第２感性情報を取得し、前記第１環境の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２環境の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する処理を前記コンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様に係るコンピュータプログラムは、第１提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、第２提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第２生体データを、前記学習モデルに入力して第２感性情報を取得し、前記第１提供物の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２提供物の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する処理を前記コンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様に係る情報処理装置は、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、取得した感性情報に基づく情報を出力する出力部とを備える。

本発明の一態様に係る情報処理システムは、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子、及び前記圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、取得した感性情報に基づく情報を出力する出力部とを備える情報処理装置を含む。

本発明の一態様に係る情報処理方法は、ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータにより実行する。

本発明の一態様に係る訓練データの生成方法は、脳波計の出力に基づき、被検者の脳波データを取得し、脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、被検者の肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記被検者の生体データを取得し、取得した前記感性情報と前記生体データとを含むデータセットを、ユーザの生体データを入力した場合、前記ユーザの感性情報を出力するよう学習される第２学習モデルの学習に用いられる訓練データとして生成する処理をコンピュータに実行させる。

本願によれば、圧電素子の出力からユーザの感性情報を取得できる。

実施の形態１に係る情報処理装置の構成を説明するブロック図である。 圧電素子の実装例を示す模式図である。 生体情報推定モデルの構成例を示す模式図である。 感性情報推定モデルの構成例を示す模式図である。 感性情報推定モデルの変形例を示す模式図である。 推定時に情報処理装置が実行する処理の手順を説明するフローチャートである。 感性情報の表示例を示す模式図である。 実施の形態２に係る学習装置の構成を説明するブロック図である。 脳波モデルの構成例を示す模式図である。 訓練データの生成手順を説明するフローチャートである。 確認画面の一例を示す模式図である。 学習装置が実行する再学習手順を示すフローチャートである。 実施の形態４に係る情報処理装置が実行する処理の手順を説明するフローチャートである。 実施の形態４における出力例を示す模式図である。 実施の形態５に係る情報処理装置が実行する処理の手順を説明するフローチャートである。 実施の形態５における出力例を示す模式図である。 実施の形態６で用意される学習モデルを説明する説明図である。 実施の形態６に係る情報処理装置が実行する処理の手順を説明するフローチャートである。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は実施の形態１に係る情報処理装置の構成を説明するブロック図である。情報処理装置１は、専用又は汎用のコンピュータであり、制御部１１、記憶部１２、入力部１３、通信部１４、操作部１５、表示部１６などを備える。情報処理装置１は、圧電素子Ｓ１の出力に基づきユーザの生体データを取得し、取得した生体データに基づいてユーザの感性情報を取得する。情報処理装置１は、取得した感性情報に基づく情報を例えば表示部１６に出力する。

制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、情報処理装置１が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部１２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本発明に係る情報処理装置として機能させる。制御部１１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。

実施の形態において、制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えてもよい。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）などのストレージを備える。記憶部１２には、制御部１１によって実行される各種のコンピュータプログラムや制御部１１によって利用される各種のデータが記憶される。

記憶部１２に記憶されるコンピュータプログラムには、圧電素子Ｓ１の出力に基づきユーザの生体データを取得し、取得した生体データに基づきユーザの感性情報を取得し、取得した感性情報に基づく情報を出力する処理をコンピュータに実行させるための推定処理プログラムＰＧ１が含まれる。推定処理プログラムＰＧ１は、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、推定処理プログラムＰＧ１は、既存のライブラリを部分的に用いるものであってもよい。

記憶部１２に記憶される推定処理プログラムＰＧ１等のコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ１により提供される。記録媒体Ｍ１は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１１は、図に示していない読取装置を用いて、記録媒体Ｍ１から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部１２に記憶させる。また、記憶部１２に記憶されるコンピュータプログラムは、通信部１４を介した通信により提供されてもよい。この場合、制御部１１は、通信部１４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部１２に記憶させればよい。

記憶部１２は、圧電素子Ｓ１から出力される信号が入力された場合、ユーザの生体データを出力するよう学習された学習モデルＬＭ１（以下、生体情報推定モデルＬＭ１ともいう）と、ユーザの生体データが入力された場合、ユーザの感性情報を出力するよう学習された学習モデルＬＭ２（以下、感性情報推定モデルＬＭ２ともいう）とを備える。記憶部１２には、学習モデルＬＭ１，ＬＭ２を定義する情報として、各学習モデルＬＭ１，ＬＭ２が備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＬＭ１，ＬＭ２の具体的な構成については後に詳述する。

入力部１３は、各種センサを接続するためのインタフェースを備える。入力部１３に接続されるセンサは圧電素子Ｓ１を含む。圧電素子Ｓ１には、例えば、中心導体、圧電材料層、外側導体、及び外被を中心から外側に向って同軸状に配置して形成されるライン状の圧電素子が用いられる。代替的に、下部電極層、圧電材料層、及び上部電極層がこの順に積層されたフィルム状の圧電素子を用いてもよい。圧電素子Ｓ１の圧電材料には、温度変化の影響を低減するために、非焦電性の圧電材料が用いられるとよい。圧電素子Ｓ１は、有線により入力部１３に接続されてもよく、無線により入力部１３に接続されてもよい。

図２は圧電素子Ｓ１の実装例を示す模式図である。圧電素子Ｓ１は、ユーザの肌に接触しない状態で配置される。圧電素子Ｓ１は、例えばユーザが着座する椅子Ｃの座面部分に内蔵されるとよい。圧電素子Ｓ１は、ユーザが着座している状態において荷重の変化を時系列的に検知し、検知結果を示す信号（電圧信号）を情報処理装置１へ出力する。情報処理装置１の制御部１１は、入力部１３を通じて、圧電素子Ｓ１の出力に基づく時系列データ（以下、圧電データという）を取得する。このとき、圧電素子Ｓ１の出力である電圧信号は、情報処理装置１の内部において処理しやすいデータに変換されるとよい。

なお、圧電素子Ｓ１は、椅子Ｃの座面部分に限らず、背もたれ部分や肘掛け部分に内蔵されてもよい。また、圧電素子Ｓ１は、ユーザが着用している制服や作業着に内蔵されてもよく、靴の中敷きやベッドのマットレスに内蔵されてもよい。更に、圧電素子Ｓ１は、スマートフォン、タブレット、マウスなどユーザが操作するデバイスに内蔵されてもよい。

入力部１３には、圧電素子Ｓ１の他に、温度計Ｓ２、体温計Ｓ３、及び血圧計Ｓ４の少なくとも１つが接続されてもよい。温度計Ｓ２は、ユーザの付近の温度（環境温度）を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。体温計Ｓ３は、ユーザの体温を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。血圧計Ｓ４は、ユーザの血圧を時系列的に計測し、計測結果を示す信号を情報処理装置１へ出力する。情報処理装置１の制御部１１は、入力部１３を通じて、環境温度の時系列データ（環境温度データ）、ユーザの体温の時系列データ（体温データ）、及びユーザの血圧の時系列データ（血圧データ）の少なくとも１つを取得する。なお、以下の説明において、環境温度データ、体温データ、及び血圧データを区別して説明する必要がない場合、センサデータとも記載する。

入力部１３には、更に、ユーザの血中酸素飽和濃度を計測するセンサ、室内の湿度を計測するセンサ、照度を計測するセンサ、騒音レベルを計測するセンサなどの各種センサが接続されてもよい。

通信部１４は、各種データを送受信する通信インタフェースを備える。通信部１４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部１４は、送信すべきデータが制御部１１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部１４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１１へ出力する。

操作部１５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、ユーザによる各種の操作及び設定を受付ける。制御部１１は、操作部１５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。

表示部１６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部１１からの指示に応じてユーザ等に報知すべき情報を表示する。

本実施の形態では、情報処理装置１が学習モデルＬＭ１，ＬＭ２を備える構成としたが、学習モデルＬＭ１，ＬＭ２は、情報処理装置１からアクセス可能な外部装置に記憶されてもよい。この場合、情報処理装置１は、学習モデルＬＭ１，ＬＭ２による演算を外部装置に実行させるべく、演算に必要なデータを外部装置へ送出し、学習モデルＬＭ１，ＬＭ２による演算結果を外部装置から取得すればよい。

なお、情報処理装置１は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。また、情報処理装置１は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。

図３は生体情報推定モデルＬＭ１の構成例を示す模式図である。実施の形態１における生体情報推定モデルＬＭ１は、圧電素子Ｓ１の出力に基づく圧電データを入力した場合、ユーザの生体データを出力するよう学習された学習済みの学習モデルである。生体情報推定モデルＬＭ１に入力する圧電データは、圧電素子Ｓ１から出力される信号（電圧信号）に基づく時系列データである。また、生体情報推定モデルＬＭ１が出力する生体データは、ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである。

生体情報推定モデルＬＭ１は、深層学習を含む機械学習の学習モデルであり、例えばニューラルネットワークにより構成される。生体情報推定モデルＬＭ１を構成するニューラルネットワークとして、例えばＲＮＮ（Recurrent Neural Network）を用いることができる。生体情報推定モデルＬＭ１は、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｘ₁ ，Ｘ₂ ，…，Ｘ_T ）が入力されるＴ個のノードを備える。ここで、Ｘ₁ ，Ｘ₂ ，…，Ｘ_T は、例えば圧電素子Ｓ１より出力される各時刻の電圧値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（Ｙ_T ）を出力する。出力層が出力する数値Ｙ_T は、時刻Ｔにおける呼吸数、心拍数、及び体動値の少なくとも１つの値を表す。制御部１１は、生体情報推定モデルＬＭ１に入力する時系列データを順次ずらしていくことにより、呼吸数、心拍数、及び体動値の少なくとも１つの時系列データを学習モデルＬＭ１から取得することができる。

なお、生体情報推定モデルＬＭ１の生成方法については、例えば特開２０２０－４８６７４号公報などに開示された方法を用いればよい。すなわち、圧電素子Ｓ１より得られる圧電データと、呼吸数、心拍数、及び体動値の少なくとも１つを含む実測データ（正解データ）とを含むデータセットを訓練データに用いて、所定の学習アルゴリズムで学習することにより、生体情報推定モデルＬＭ１を生成することができる。

図３の生体情報推定モデルＬＭ１は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。生体情報推定モデルＬＭ１は、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolutional Neural Networks）、Ｒ－ＣＮＮ（Region-based CNN）などにより構成される学習モデルであってもよい。生体情報推定モデルＬＭ１に入力するデータは、生体情報推定モデルＬＭ１を構成するニューラルネットワークに応じて用意されるとよい。例えば、生体情報推定モデルＬＭ１をＣＮＮ又はＲ－ＣＮＮにより構成した場合、時系列データに代えて、横軸を時間、縦軸を圧電素子Ｓ１の電圧値としてプロットしたグラフの画像データを入力層への入力として用いてもよい。

図４は感性情報推定モデルＬＭ２の構成例を示す模式図である。実施の形態１における感性情報推定モデルＬＭ２は、ユーザの生体データを入力した場合、ユーザの感性情報を出力するよう学習された学習済みの学習モデルである。感性情報推定モデルＬＭ２に入力する生体データは、生体情報推定モデルＬＭ１から出力される時系列の生体データである。また、感性情報推定モデルＬＭ２が出力する感性情報は、ユーザの平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを数値化して得られる時系列データである。

感性情報推定モデルＬＭ２は、例えばＲＮＮにより構成されており、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｙ₁ ，Ｙ₂ ，…，Ｙ_T ）が入力されるＴ個のノードを備える。ここで、Ｙ₁ ，Ｙ₂ ，…，Ｙ_T は、例えば生体データに含まれる呼吸数、心拍数、体動値などの各時刻の値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（Ｚ_T ）を出力する。出力層が出力する数値Ｚ_T は、時刻Ｔにおける感性情報を表す数値である。制御部１１は、感性情報推定モデルＬＭ２に入力する時系列データを順次ずらしていくことにより、感性情報の時系列データを感性情報推定モデルＬＭ２から取得することができる。

なお、感性情報推定モデルＬＭ２の生成方法については、実施の形態２で詳細に説明することとするが、生体情報推定モデルＬＭ１から得られる生体データと、感性情報（正解データ）とを含むデータセットを訓練データに用いて、所定の学習アルゴリズムで学習することにより、感性情報推定モデルＬＭ２を生成することができる。

図４の感性情報推定モデルＬＭ２は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。感性情報推定モデルＬＭ２は、ＬＳＴＭ（Long Short-Term Memory）、ＣＮＮ（Convolutional Neural Networks）、Ｒ－ＣＮＮ（Region-based CNN）などにより構成される学習モデルであってもよい。感性情報推定モデルＬＭ２に入力するデータは、感性情報推定モデルＬＭ２を構成するニューラルネットワークに応じて用意されるとよい。例えば、感性情報推定モデルＬＭ２をＣＮＮ又はＲ－ＣＮＮで構成した場合、時系列データに代えて、横軸を時間、縦軸を呼吸数、心拍数、及び体動値の少なくとも１種類をプロットしたグラフの画像データを入力層への入力として用いてもよい。

図５は感性情報推定モデルＬＭ２の変形例を示す模式図である。図５に変形例として示す感性情報推定モデルＬＭ２は、ユーザの生体データとセンサデータとを入力した場合、ユーザの感性情報を出力するよう学習された学習済みの学習モデルである。センサデータは、圧電素子Ｓ１を用いた計測が行われている環境下において、温度計Ｓ２、体温計Ｓ３、血圧計Ｓ４により得られる環境温度データ、ユーザの体温データ、及びユーザの血圧データの少なくとも１つを含む。また、センサデータは、ユーザの血中酸素飽和濃度、室内の湿度、照度、騒音レベルの少なくとも１つを含んでもよい。なお、図５に変形例として示す感性情報推定モデルＬＭ２の構成は、図４に示すものと同様であるので、その詳細な説明を省略する。

以下、情報処理装置１の動作について説明する。
図６は推定時に情報処理装置１が実行する処理の手順を説明するフローチャートである。ユーザは圧電素子Ｓ１が座面部分に内蔵された椅子Ｃに着座し、椅子Ｃに内蔵された圧電素子Ｓ１は情報処理装置１の入力部１３に接続される。圧電素子Ｓ１による計測を開始した状態にて、情報処理装置１は以下の処理を実行する。情報処理装置１の制御部１１は、入力部１３を通じて、圧電素子Ｓ１の出力に基づく圧電データを取得する（ステップＳ１０１）。このとき、制御部１１は、入力部１３を通じてセンサデータを取得してもよい。

制御部１１は、取得した圧電データを生体情報推定モデルＬＭ１に入力し、生体情報推定モデルＬＭ１による演算を実行する（ステップＳ１０２）。すなわち、制御部１１は、生体情報推定モデルＬＭ１の入力層が備える各ノードに時系列データとして与えられる圧電データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。生体情報推定モデルＬＭ１が圧電データ及びセンサデータの入力に応じて生体データを出力するよう学習されている場合、取得した圧電データ及びセンサデータを入力して、生体情報推定モデルＬＭ１の出力を求めてもよい。

制御部１１は、ステップＳ１０１で取得する時系列の圧電データに基づき、ステップＳ１０２の演算を繰り返し実行することによって、生体情報推定モデルＬＭ１の出力層から時系列の生体データを取得する（ステップＳ１０３）。

制御部１１は、取得した生体データを感性情報推定モデルＬＭ２に入力し、感性情報推定モデルＬＭ２による演算を実行する（ステップＳ１０４）。すなわち、制御部１１は、感性情報推定モデルＬＭ２の入力層が備える各ノードに時系列データとして与えられる生体データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。

制御部１１は、ステップＳ１０３で取得する時系列の圧電データに基づき、ステップＳ１０４の演算を順次実行することによって、感性情報推定モデルＬＭ２の出力層から時系列の感性情報を取得する（ステップＳ１０５）。

制御部１１は、取得した感性情報を表示部１６に表示する（ステップＳ１０６）。図７は感性情報の表示例を示す模式図である。図７は、平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満を数値化し、時系列のグラフとして表示した例を示している。代替的に、制御部１１は、平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満を示す数値を適宜の指標に基づいて規格化し、規格化した数値の高低に基づきユーザにとって支配的な感性を特定し、特定した感性の情報を表示部１６に表示してもよい。また、制御部１１は、表示部１６に感性情報を表示する構成に代えて、通信部１４より外部装置（例えば、ユーザが形態する端末装置）に感性情報を通知してもよい。

以上のように、実施の形態１では、圧電素子Ｓ１の計測結果を基に、ユーザの感性情報を出力することができる。

（実施の形態２）
実施の形態２では、感性情報推定モデルＬＭ２の生成方法について説明する。

図８は実施の形態２に係る学習装置の構成を説明するブロック図である。学習装置２は、例えば、情報処理装置１に通信可能に接続されるサーバ装置であり、制御部２１、記憶部２２、入力部２３、通信部２４、操作部２５、表示部２６などを備える。学習装置２は、入力部２３より入力されるデータに基づき、感性情報推定モデルＬＭ２を生成する。学習装置２により生成された学習済みの感性情報推定モデルＬＭ２は、情報処理装置１によってダウンロードされ、情報処理装置１の記憶部１２にインストールされる。

制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２１が備えるＲＯＭには、学習装置２が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部２１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部２２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本発明に係るモデル生成方法を実現する装置として機能させる。制御部２１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。

制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

記憶部２２は、ＨＤＤ、ＳＳＤなどのストレージを備える。記憶部２２には、制御部２１によって実行される各種のコンピュータプログラムや制御部２１によって利用される各種のデータが記憶される。

記憶部２２に記憶されるコンピュータプログラムには、後述する手法にて感性情報推定モデルＬＭ２を生成する処理を実行させるためのモデル生成プログラムＰＧ２が含まれる。モデル生成プログラムＰＧ２は、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、モデル生成プログラムＰＧ２は、既存のライブラリを部分的に用いるものであってもよい。

記憶部２２に記憶されるモデル生成プログラムＰＧ２等のコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ２により提供される。記録媒体Ｍ２は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部２１は、図に示していない読取装置を用いて、記録媒体Ｍ２から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部２２に記憶させる。また、記憶部２２に記憶されるコンピュータプログラムは、通信部２４を介した通信により提供されてもよい。この場合、制御部２１は、通信部２４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部２２に記憶させればよい。

記憶部２２は、脳波計Ｓ０の出力に基づく脳波データが入力された場合、被検者の感性情報を出力するよう学習された学習済みの学習モデルＬＭ０（以下、脳波モデルＬＭ０ともいう）と、圧電素子Ｓ１から出力される信号が入力された場合、被検者の生体データを出力するよう学習された学習済みの学習モデルＬＭ１（生体情報推定モデルＬＭ１）と、被検者の生体データが入力された場合、被検者の感性情報を出力するよう学習される学習対象の学習モデルＬＭ２（感性情報推定モデルＬＭ２）とを備える。記憶部２２には、学習モデルＬＭ０，ＬＭ１，ＬＭ２を定義する情報として、各学習モデルＬＭ０，ＬＭ１，ＬＭ２が備える層の構成情報、各層に含まれるノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＬＭ０の具体的な構成については後に詳述する。学習モデルＬＭ１，ＬＭ２の構成は、実施の形態１において説明したものと同様である。なお、学習モデルＬＭ２を生成する前の段階において、この学習モデルＬＭ２を特徴付けるパラメータ（ノード間の重み付けやバイアスなど）には初期値が設定される。

入力部２３は、各種センサを接続するためのインタフェースを備える。入力部２３に接続されるセンサは、前述の圧電素子Ｓ１、温度計Ｓ２、体温計Ｓ３、血圧計Ｓ４に加え、脳波計Ｓ０を含む。脳波計Ｓ０は、被検者の脳波を時系列的に検知し、検知結果を示す信号（脳波信号）を学習装置２へ出力する。学習装置２の制御部２１は、入力部２３を通じて、圧電素子Ｓ１の出力に基づく時系列データ（以下、脳波データという）を取得する。制御部２１が取得する脳波データは、脳波計Ｓ０から得られる生の信号であってもよく、脳波信号を加工して得られるデータであってもよい。例えば、制御部２１は、入力部２３を通じて入力される脳波信号を、α波、β波、γ波、δ波、θ波に分解する処理を行い、これらの波形データを脳波データとして用いてもよい。また、制御部２１は、入力部２３を通じて入力される脳波信号から何らかの特徴量を抽出する処理を行い、得られた特徴量の時系列データを脳波データとして用いてもよい。以下では、脳波計Ｓ０から得られる生の信号（脳波信号）と、処理後に得られるデータとを区別せずに脳波データと称する。

入力部２３には、更に、被検者の血中酸素飽和濃度を計測するセンサ、室内の湿度を計測するセンサ、照度を計測するセンサ、騒音レベルを計測するセンサなどの各種センサが接続されてもよい。

通信部２４は、各種データを送受信する通信インタフェースを備える。通信部２４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部２４は、送信すべきデータが制御部２１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部２４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部２１へ出力する。通信部２４に通信可能に接続される外部装置の一例は、被検者によって操作されるタブレット端末３である。通信部２４に接続される外部装置の他の例は、実施の形態１において説明した情報処理装置１である。

操作部２５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、管理者や被検者による各種の操作及び設定を受付ける。制御部２１は、操作部２５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部２２に記憶させる。

表示部２６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部２１からの指示に応じて管理者や被検者に報知すべき情報を表示する。

図９は脳波モデルＬＭ０の構成例を示す模式図である。実施の形態２における脳波モデルＬＭ０は、被検者の脳波データを入力した場合、被検者の感性情報を出力するよう学習された学習済みの学習モデルである。脳波モデルＬＭ０に入力する脳波データは、脳波計Ｓ０の出力に基づく時系列の脳波データである。また、感性情報推定モデルＬＭ２が出力する感性情報は、被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを数値化して得られる時系列データである。

脳波モデルＬＭ０は、例えばＲＮＮにより構成されており、入力層、中間層（隠れ層）、及び出力層を備える。入力層は、長さＴの時系列データ（Ｂ₁ ，Ｂ₂ ，…，Ｂ_T ）が入力されるＴ個のノードを備える。ここで、Ｂ₁ ，Ｂ₂ ，…，Ｂ_T は、例えば脳波データに含まれる各時刻の値である。中間層は、入力層のノードから与えられる数値に対し、設定されたパラメータ（重み及びバイアス）を用いた演算を実行する複数のノードを備える。出力層が備えるノードは、中間層のノードから与えられる数値に適宜の変換処理を行うことで得られる数値（Ｚ_T ）を出力する。出力層が出力する数値Ｚ_T は、時刻Ｔにおける感性情報を表す数値である。制御部２１は、脳波モデルＬＭ０に入力する時系列データを順次ずらしていくことにより、感性情報の時系列データを脳波モデルＬＭ０から取得することができる。

脳波モデルＬＭ０の生成方法については、既存の生成方法を用いればよい。すなわち、脳波計Ｓ０より得られる脳波データと、感性情報（正解データ）とを含むデータセットを教師データに用いて、所定の学習アルゴリズムで学習することにより、脳波モデルＬＭ０を生成することができる。なお、学習時の感性情報（正解データ）は、タブレット端末３を用いて被検者自身が与えるとよい。

図９の脳波モデルＬＭ０は、中間層が２つの層を備える構成を示しているが、中間層が備える層の数は２つに限定されるものではなく、適宜設計することが可能である。脳波モデルＬＭ０は、ＬＳＴＭ、ＣＮＮ、Ｒ－ＣＮＮなどにより構成される学習モデルであってもよい。脳波モデルＬＭ０に入力するデータは、脳波モデルＬＭ０を構成するニューラルネットワークに応じて用意されるとよい。例えば、脳波モデルＬＭ０をＣＮＮ又はＲ－ＣＮＮで構成した場合、時系列データに代えて、横軸を時間、縦軸を波高の少なくとも１種類をプロットしたグラフ、各時刻において得られる特徴量を脳波の測定箇所に対応させてプロットしたコンターマップなどの画像データを入力層への入力として用いてもよい。

以下、学習装置２の動作について説明する。
図１０は訓練データの生成手順を説明するフローチャートである。被検者は圧電素子Ｓ１が座面部分に内蔵された椅子Ｃに着座し、被検者の頭部には脳波計Ｓ０が装着される。脳波計Ｓ０及び圧電素子Ｓ１が学習装置２の入力部２３に接続され、脳波計Ｓ０及び圧電素子Ｓ１の計測が開始された状態にて、学習装置２は以下の処理を実行する。

学習装置２の制御部２１は、入力部２３を通じて、脳波計Ｓ０の出力に基づく脳波データを取得する（ステップＳ２０１）。

制御部２１は、取得した脳波データを脳波モデルＬＭ０に入力し、脳波モデルＬＭ０による演算を実行する（ステップＳ２０２）。すなわち、制御部２１は、脳波モデルＬＭ０の入力層が備える各ノードに時系列データとして与えられる脳波データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。

制御部２１は、ステップＳ２０１で取得する時系列の脳波データに基づき、ステップＳ２０２の演算を繰り返し実行することによって、脳波モデルＬＭ０の出力層から時系列の感性情報を取得する（ステップＳ２０３）。

制御部２１は、入力部２３を通じて、圧電素子Ｓ１の出力に基づく圧電データを取得する（ステップＳ２０４）。このとき、制御部２１は、入力部２３を通じてセンサデータを取得してもよい。

制御部２１は、取得した圧電データを生体情報推定モデルＬＭ１に入力し、生体情報推定モデルＬＭ１による演算を実行する（ステップＳ２０５）。すなわち、制御部２１は、生体情報推定モデルＬＭ１の入力層が備える各ノードに時系列データとして与えられる圧電データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。生体情報推定モデルＬＭ１が圧電データ及びセンサデータの入力に応じて生体データを出力するよう学習されている場合、取得した圧電データ及びセンサデータを入力して、生体情報推定モデルＬＭ１の出力を求めてもよい。

制御部２１は、ステップＳ２０４で取得する時系列の圧電データに基づき、ステップＳ２０５の演算を繰り返し実行することによって、生体情報推定モデルＬＭ１の出力層から時系列の生体データを取得する（ステップＳ２０６）。

制御部２１は、ステップＳ２０３で得られる時系列の感性情報と、ステップＳ２０６で得られる時系列の生体データとのデータセットを訓練データとして生成する（ステップＳ２０７）。

制御部２１は、取得した生体データを感性情報推定モデルＬＭ２に入力して、感性情報推定モデルＬＭ２による演算を実行する（ステップＳ２０８）。学習開始前の初期段階では、感性情報推定モデルＬＭ２のパラメータ（重み及びバイアス）には初期値が設定されているものとする。制御部２１は、感性情報推定モデルＬＭ２の入力層が備える各ノードに時系列データとして与えられる生体データの各値を入力し、ノード間の重み及びバイアスを含む活性化関数を用いた演算を中間層において実行し、中間層より得られる値を適宜の関数を用いて変換することにより最終の値を求める。

制御部２１は、ステップＳ２０６で取得する時系列の生体データに基づき、ステップＳ２０８の演算を繰り返し実行することによって、感性情報推定モデルＬＭ２の出力層から時系列の感性情報を取得する（ステップＳ２０９）。

説明の都合上、図１０のフローチャートでは、脳波モデルＬＭ０による演算、生体情報推定モデルＬＭ１による演算、感性情報推定モデルＬＭ２による演算をこの順に実行する手順として記載したが、これらの演算は同時並行的に実施される。

制御部２１は、ステップＳ２０７で生成した訓練データに含まれる感性情報と、ステップＳ２０９で取得した感性情報とを用いて、演算結果を評価し（ステップＳ２１０）、学習が完了したか否かを判断する（ステップＳ２１１）。すなわち、制御部２１は、訓練データに含まれる感性情報（脳波データから得られる感性情報）を正解データとして、感性情報推定モデルＬＭ２による感性情報（圧電データを基に推定される感性情報）を評価すればよい。具体的には、制御部２１は、正解データとステップＳ２０８で得られた演算結果とに基づく誤差関数（目的関数、損失関数、コスト関数ともいう）を用いて、演算結果を評価することができる。制御部２１は、最急降下法などの勾配降下法により誤差関数を最適化（最小化又は最大化）する過程で、誤差関数が閾値以下（又は閾値以上）となった場合、学習が完了したと判断する。なお、過学習の問題を避けるために、交差検定、早期打ち切りなどの手法を取り入れ、適切なタイミングにて学習を終了させてもよい。

学習が完了していないと判断した場合（Ｓ２１１：ＮＯ）、制御部２１は、感性情報推定モデルＬＭ２のパラメータ（ノード間の重み及びバイアス）を更新して（ステップＳ２１２）、処理をステップＳ２０１へ戻し、学習を継続する。制御部２１は、感性情報推定モデルＬＭ２の出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、学習を進めることができる。

学習が完了したと判断した場合（Ｓ２１１：ＹＥＳ）、制御部２１は、学習済みの学習モデルとして記憶部２２に感性情報推定モデルＬＭ２を記憶させ（ステップＳ２１３）、本フローチャートによる処理を終了する。生成した学習済みの感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。

なお、本実施の形態では、脳波モデルＬＭ０から得られる感性情報を正解データとして用いたが、タブレット端末３を用いて被検者自身が与える感性情報（正解データ）を併用してもよい。例えば、学習開始後の初期段階では、タブレット端末３を用いて被検者自身が与える感性情報を正解データに用いて学習を行い、学習が進んだ段階で、脳波モデルＬＭ０から得られる感性情報を正解データとして学習を継続してもよい。

以上のように、実施の形態２では、脳波計Ｓ０より得られる脳波データを用いて推定した被検者の感性情報を正解データに用いて学習を行うことにより、感性情報推定モデルＬＭ２を生成することができる。

（実施の形態３）
実施の形態３では、感性情報推定モデルＬＭ２の再学習処理について説明する。

学習装置２は、学習済みの感性情報推定モデルＬＭ２を用いることにより、ユーザの感性を推定することができる。推定手順は実施の形態１と同様である。学習装置２は、感性情報推定モデルＬＭ２から取得した感性情報に基づき、ユーザにとって支配的な感性を特定し、特定した感性の情報を表示部２６に表示して、その感性情報が正しいか否かをユーザに確認する。

図１１は確認画面の一例を示す模式図である。図１１はユーザにより操作されるタブレット端末３における確認画面を示している。確認画面には、感性情報推定モデルＬＭ２による推定結果、その推定結果が正しいか否かをユーザに問い合わせる文面と共に、推定結果が正しい場合に選択される選択ボタン３１、推定結果が正しくない場合に選択される項目ボタン群３２、選択結果を送信する際に操作される送信ボタン３３が配置されている。感性情報推定モデルＬＭ２による推定結果が正しい場合、ユーザは、選択ボタン３１を選択し、送信ボタン３３を押下操作することによって、情報処理装置１への回答を行う。また、感性情報推定モデルＬＭ２による推定結果が正しくない場合、ユーザは、項目ボタン群３２の何れかのボタンを選択し、送信ボタン３３を押下操作することによって、情報処理装置１への回答を行う。選択結果は、タブレット端末３から学習装置２へ送信される。

図１２は学習装置２が実行する再学習手順を示すフローチャートである。学習装置２の制御部２１は、実施の形態１と同様の手順を実行することにより、ユーザの感性情報を取得する（ステップＳ３０１～３０５）。制御部２１は、取得した感性情報に基づき、推定結果が正しいか否かをユーザに問い合わせる確認画面を表示部２６に表示する（ステップＳ３０６）。

制御部２１は、タブレット端末３から送信される回答（選択結果）に基づき、感性情報が修正されたか否かを判断する（ステップＳ３０７）。感性情報が修正されていない場合（Ｓ３０７：ＮＯ）、制御部２１は、本フローチャートによる処理を終了する。

感性情報が修正されたと判断した場合（Ｓ３０７：ＹＥＳ）、制御部２１は、制御部２１は、ユーザにより修正された感性情報と、Ｓ３０５で得られる感性情報とを用いて、感性情報推定モデルＬＭ２による演算結果を評価し（ステップＳ３０８）、学習が完了したか否かを判断する（ステップＳ３０９）。

学習が完了していないと判断した場合（Ｓ３０９：ＮＯ）、制御部２１は、感性情報推定モデルＬＭ２のパラメータ（ノード間の重み及びバイアス）を更新して（ステップＳ３１０）、処理をステップＳ３０１へ戻し、被検者により修正された感性情報を正解データとして、圧電素子Ｓ１の出力に基づき推定される被検者の感性情報を評価することにより学習を継続する。制御部２１は、感性情報推定モデルＬＭ２の出力層から入力層に向かって、ノード間の重み及びバイアスを順次更新する誤差逆伝搬法を用いて、学習を進めることができる。

学習が完了したと判断した場合（Ｓ３０９：ＹＥＳ）、制御部２１は、再学習済みの学習モデルとして記憶部２２に感性情報推定モデルＬＭ２を記憶させ（ステップＳ３１１）、本フローチャートによる処理を終了する。生成した再学習済みの感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。

以上のように、実施の形態３では、ユーザから感性情報の修正を受付けることにより、感性情報推定モデルＬＭ２を再学習することができるので、より推定精度が高い感性情報推定モデルＬＭ２を生成することができる。

（実施の形態４）
実施の形態４では、オフィス空間、自宅、通勤車両内など様々な環境下でユーザの感性情報を推定することにより、各環境を評価する構成について説明する。

図１３は実施の形態４に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、第１環境情報を取得する（ステップＳ４０１）。環境情報は、例えばユーザが存在する場所の情報を表す。環境情報は、更に、天候、気温、湿度、照度、騒音レベル、時間帯などの情報を含んでもよい。

制御部１１は、第１環境下において、ユーザの感性情報を取得する（ステップＳ４０２）。すなわち、制御部１１は、第１環境下において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。

次いで、制御部１１は、操作部１５を通じて、第１環境情報とは異なる第２環境情報を取得する（ステップＳ４０３）。ここでは、ユーザが第１環境から第２環境に移動した場合、移動後の環境情報を取得すればよい。

制御部１１は、第２環境下において、ユーザの感性情報を取得する（ステップＳ４０４）。すなわち、制御部１１は、第２環境下において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。

制御部１１は、第１環境情報と、第１環境下で得られた感性情報とを関連付けて出力すると共に、第２環境情報と、第２環境下で得られた感性情報とを関連付けて出力する（ステップＳ４０５）。制御部１１は、これらの情報を表示部１６に表示することによって出力すればよい。

図１４は実施の形態４における出力例を示す模式図である。図１４の例は、ユーザの環境が第１オフィス（第１環境）から第２オフィス（第２環境）に変わった場合の感性の変化を示している。図１４の例は、第１オフィスから第２オフィスに移動したことに伴い、ユーザの感性が平常状態から緊張状態に変化していることを示しているので、情報処理装置１は、第２オフィスの環境改善を提案してもよい。

以上のように、実施の形態４では、環境の変化に伴うユーザの感性の変化を情報として提供できる。

なお、実施の形態４に係る情報処理装置１は、環境の変化に伴うユーザの感性情報の変化を表示部１６に表示する構成としたが、特定したユーザの感性情報に応じて、空気調和機（エアコン）、ブラインド装置、照明装置、音響機器など様々な機器の制御を行ってもよい。これらの機器の制御は、情報処理装置１の通信部１４から制御信号を各機器に送信することにより行えばよい。例えば、ユーザの眠気が高まっていると推定される場合、情報処理装置１は、室温を下げるよう指示する制御信号を空気調和機へ送信したり、照度を上げるよう指示する制御信号を照明装置へ送信したりすればよい。また、ユーザの集中度合いが低下していると推定される場合、情報処理装置１は、ブラインドを下ろすよう指示する制御信号をブラインド装置へ送信してもよい。更に、ユーザの緊張や苛立ちが高まっていると推定される場合、情報処理装置１は、緊張や苛立ちを和らげるような音楽を再生するよう音響機器へ制御信号を送信してもよい。このように、情報処理装置１は、ユーザの感性情報に応じて各種の機器を制御することが可能である。

情報処理装置１は、同じ環境下にいる複数のユーザのそれぞれについて感性情報を特定し、複数ユーザの平均の感性情報を導出してもよい。また、情報処理装置１は、導出した平均の感性情報をグループリーダや管理者の端末に通知してもよい。

情報処理装置１は、通信部１５を通じて業務成果を取得し、取得した業務成果と業務を行ったときのユーザの感性情報とを関連付けて記録し出力してもよい。

情報処理装置１は、ウェブ会議アプリを用いてウェブ会議が行われている場合や、プレゼンテーションアプリを用いて講演やセミナーが行われている場合に、参加者の感性情報を特定し、特定した感性情報をアプリの画面に表示してもよい。情報処理装置１は、ウェブ会議が行われている際に、発言者に会議相手の感性情報を提供することにより、より円滑な会議の場を適用することができる。また、情報処理装置１は、プレゼンテーションが行われている際に、登壇者に聴衆の感性情報を提供することにより、プレゼンテーションの質の改善に寄与することができる。

情報処理装置１は、学校や学習塾などにおいて授業が行われている場合に、生徒の感性情報を取得し、取得した感性情報を教師や講師が使用している端末に通知してもよい。情報処理装置１は、授業中に生徒の感性情報を取得し、取得した感性情報を教師や講師に提供することにより、授業の質の改善に寄与することができる。

情報処理装置１は、オフィスにいるユーザに限らず、自動車、電車、飛行機などの操縦者の感性情報を取得してもよい。また、情報処理装置１は、ゲームやｅスポーツなどのプレーヤの感性情報を取得してもよい。更に、情報処理装置１は、スポーツ観戦、ゲーム観戦、演劇、観劇、映画などの観覧者の感性情報を取得してもよい。

（実施の形態５）
実施の形態５では、香水、アロマなど様々な提供物を提供した状態でユーザの感性情報を推定することにより、各提供物を評価する構成について説明する。

図１５は実施の形態５に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、第１提供物の情報を取得する（ステップＳ５０１）。提供物は、香水やアロマなどの無体物を含む。

制御部１１は、第１提供物が提供された状態において、ユーザの感性情報を取得する（ステップＳ５０２）。すなわち、制御部１１は、第１提供物が提供された状態において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。

次いで、制御部１１は、操作部１５を通じて、第１提供物とは異なる第２提供物の情報を取得する（ステップＳ５０３）。ここでは、ユーザに提供される提供物が第１提供物から第２提供物に変更された場合、変更後の提供物の情報を取得すればよい。

制御部１１は、第２提供物が提供された状態において、ユーザの感性情報を取得する（ステップＳ５０４）。すなわち、制御部１１は、第２提供物が提供された状態において、図６のフローチャートに示す手順を実行することにより、感性情報推定モデルＬＭ２からユーザの感性情報を取得することができる。取得した感性情報は、記憶部１２に記憶される。

制御部１１は、第１提供物の情報と、第１提供物が提供された状態で得られた感性情報とを関連付けて出力すると共に、第２提供物の情報と、第２提供物が提供された状態で得られた感性情報とを関連付けて出力する（ステップＳ５０５）。制御部１１は、これらの情報を表示部１６に表示することによって出力すればよい。

図１６は実施の形態５における出力例を示す模式図である。図１６の例は、ユーザに提供される提供物が香水Ａ（第１提供物）から香水Ｂ（第２提供物）に変わった場合の感性の変化を示している。図１６の例は、香水Ａを香水Ｂに変更したことに伴い、ユーザの感性が苛立ちから嗜好に変化していることを示しているので、情報処理装置１は、そのユーザにとっては香水Ｂの方が好みであると評価できる。

以上のように、実施の形態５では、提供物の変化に伴うユーザの感性の変化を情報として提供できる。

提供物は、香水やアロマに限らず、化粧品や医薬品であってもよい。また、食品や飲料などが提供される前後において、情報処理装置１は、味覚に基づくユーザの感性情報を取得してもよい。更に、絵画や写真などが提供される前後において、情報処理装置１は、視覚に基づくユーザの感性情報を取得してもよい。更に、触感や肌触りに特徴がある物品が提供される前後において、情報処理装置１は、触覚に基づくユーザの感性情報を取得してもよい。更に、音楽が提供される前後において、情報処理装置１は、聴覚に基づくユーザの感性情報を取得してもよい。このように、本実施の形態に係る情報処理装置１は、、有体物又は無体物に限らず、様々な提供物が提供された際のユーザの感性情報を取得することができる。

更に、提供物が提供された際の感性をアンケートの回答として受付ける際、情報処理装置１は、ユーザによる入力に代えて、感性情報推定モデルＬＭ２により特定されるユーザの感性情報を回答として取得してもよい。

（実施の形態６）
実施の形態６では、ユーザの属性に応じて感性情報推定モデルＬＭ２を選択する構成について説明する。

図１７は実施の形態６で用意される学習モデルを説明する説明図である。実施の形態６では、ユーザの属性に応じて感性情報推定モデルＬＭ２が用意される。ここで、ユーザの属性とは、年齢（年代）、性別、居住地域、学歴、職歴、家族構成などユーザを特徴付ける情報である。学習装置２は、属性が異なる様々な被検者について脳波計Ｓ０による計測や圧電素子Ｓ１による計測を行うことによって、属性毎の感性情報推定モデルＬＭ２を生成する。学習装置２によって生成された属性毎の感性情報推定モデルＬＭ２は、情報処理装置１に送信され、情報処理装置１の記憶部１２に記憶される。

図１７の例では、属性毎の感性情報推定モデルＬＭ２として、属性ａ（１０代～２０代）に対する感性情報推定モデルＬＭ２ａ、属性ｂ（３０代～４０代）に対する感性情報推定モデルＬＭ２ｂ、属性ｃ（５０代～６０代）に対する感性情報推定モデルＬＭ２ｃ、属性ｄ（７０代以上）に対する感性情報推定モデルＬＭ２ｄが用意されていることを示している。

図１８は実施の形態６に係る情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、操作部１５を通じて、ユーザの属性情報を受付ける（ステップＳ６０１）。制御部１１は、受付けた属性情報に基づき、対応する感性情報推定モデルＬＭ２を選択する（ステップＳ６０２）。制御部１１は、属性情報として、属性ａ（１０代～２０代）を受付けた場合、記憶部１２に記憶されている感性情報推定モデルＬＭ２ａを選択すればよい。他の属性情報を受付けた場合も同様である。

制御部１１は、選択した感性情報推定モデルＬＭ２を用いて、ユーザの感性情報を取得する（ステップＳ６０３）。すなわち、制御部１１は、図６のフローチャートに示す手順を実行することにより、選択された感性情報推定モデルＬＭ２からユーザの感性情報を取得すればよい。制御部１１は、取得したユーザの感性情報を表示部１６に表示する（ステップＳ６０４）。

以上のように、実施の形態６では、ユーザの属性情報に応じて選択した感性情報推定モデルＬＭ２を用いて、ユーザの感性を推定するので、推定精度を高めることができる。

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１ 情報処理装置
２ 学習装置
１１ 制御部
１２ 記憶部
１３ 入力部
１４ 通信部
１５ 操作部
１６ 表示部
２１ 制御部
２２ 記憶部
２３ 入力部
２４ 通信部
２５ 操作部
２６ 表示部
ＬＭ０，ＬＭ１，ＬＭ２ 学習モデル
ＰＧ１ 推定処理プログラム
ＰＧ２ モデル生成プログラム
Ｓ０ 脳波計
Ｓ１ 圧電素子
Ｓ２ 温度計
Ｓ３ 体温計
Ｓ４ 血圧計

Claims (20)

1. 脳波計の出力に基づき、被検者の脳波データを取得し、
   脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、
   圧電素子の出力に基づき、前記被検者の生体データを取得し、
   取得した生体データと、前記第１学習モデルから取得した前記被検者の感性情報とを含むデータセットを訓練データに用いて、圧電素子により計測される被検者の生体データを入力した場合、前記被検者の感性情報を出力する第２学習モデルを生成する
   処理をコンピュータにより実行するモデル生成方法。
2. 前記訓練データは、他のセンサより得られるセンサデータを更に含み、
   前記第２学習モデルは、前記生体データ及び前記センサデータを入力した場合、前記感性情報を出力するよう学習される
   請求項１に記載のモデル生成方法。
3. 前記生体データは、前記被検者の呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである
   請求項１又は請求項２に記載のモデル生成方法。
4. 前記センサデータは、環境温度、前記被検者の体温、及び血圧値の少なくとも１つの時系列データである
   請求項２に記載のモデル生成方法。
5. 前記感性情報は、前記被検者の平常心、眠気、集中度合い、嗜好、関心、緊張、苛立ち、快適感、満足度、及び不満の少なくとも１つを含む
   請求項１から請求項４の何れか１つに記載のモデル生成方法。
6. 前記圧電素子は、非焦電性の有機圧電材料により形成されるライン状又はフィルム状の圧電素子である
   請求項１から請求項５の何れか１つに記載のモデル生成方法。
7. 前記被検者の頭部に装着された脳波計から脳波データを取得しつつ、前記被検者の肌に接触しない状態で配置された圧電素子から生体データを取得する
   請求項１から請求項６の何れか１つに記載のモデル生成方法。
8. ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、
   取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、
   取得した感性情報に基づく情報を出力する
   処理をコンピュータに実行させるためのコンピュータプログラム。
9. 前記学習モデルは、被検者の脳波データに基づき別の学習モデルを用いて推定される前記被検者の感性情報と、前記圧電素子の出力に基づく前記被検者の生体データとを含むデータセットを訓練データに用いて学習してある
   請求項８に記載のコンピュータプログラム。
10. 前記学習モデルは、他のセンサより得られるセンサデータを更に含むデータセットを訓練データに用いて学習してある
    請求項９に記載のコンピュータプログラム。
11. 前記生体データは、前記ユーザの呼吸数、心拍数、及び体動値の少なくとも１つの時系列データである
    請求項８から請求項１０の何れか１つに記載のコンピュータプログラム。
12. 前記センサデータは、環境温度、前記ユーザの体温、及び血圧値の少なくとも１つの時系列データである
    請求項１０に記載のコンピュータプログラム。
13. ユーザの属性情報を取得し、
    取得したユーザの属性情報に基づき、ユーザの属性に応じて用意された複数の学習モデルから一の学習モデルを選択し、
    選択した一の学習モデルに前記ユーザの生体データを入力して、前記ユーザの感性情報を取得する
    処理を前記コンピュータに実行させるための請求項８から請求項１２の何れか１つに記載のコンピュータプログラム。
14. 前記ユーザから感性情報の修正を受付け、
    修正された感性情報と、前記ユーザについて計測された生体データとをデータセットに含む訓練データを用いて、前記学習モデルを再学習する
    処理を前記コンピュータに実行させるための請求項８から請求項１３の何れか１つに記載のコンピュータプログラム。
15. 第１環境下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、
    第２環境下で前記圧電素子により計測されるユーザの第２生体データを前記学習モデルに入力して、第２感性情報を取得し、
    前記第１環境の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２環境の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する
    処理を前記コンピュータに実行させるための請求項８から請求項１４の何れか１つに記載のコンピュータプログラム。
16. 第１提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第１生体データを前記学習モデルに入力して、第１感性情報を取得し、
    第２提供物をユーザに提供した状況下で前記圧電素子により計測されるユーザの第２生体データを、前記学習モデルに入力して第２感性情報を取得し、
    前記第１提供物の情報と前記学習モデルから取得した前記第１感性情報とを関連付けて出力すると共に、前記第２提供物の情報と前記学習モデルから取得した前記第２感性情報とを関連付けて出力する
    処理を前記コンピュータに実行させるための請求項８から請求項１４の何れか１つに記載のコンピュータプログラム。
17. ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、
    取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、
    取得した感性情報に基づく情報を出力する出力部と
    を備える情報処理装置。
18. ユーザの肌に接触しない状態で配置される非焦電性の圧電素子、及び
    前記圧電素子の出力に基づき、前記ユーザの生体データを取得する生体データ取得部と、
    取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得する感性情報取得部と、
    取得した感性情報に基づく情報を出力する出力部と
    を備える情報処理装置
    を含む情報処理システム。
19. ユーザの肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記ユーザの生体データを取得し、
    取得した前記ユーザの生体データを、生体データの入力に応じて感性情報を出力するよう学習された学習モデルに入力して、前記ユーザの感性情報を取得し、
    取得した感性情報に基づく情報を出力する
    処理をコンピュータにより実行する情報処理方法。
20. 脳波計の出力に基づき、被検者の脳波データを取得し、
    脳波データの入力に応じて感性情報を出力するよう学習された第１学習モデルに、取得した脳波データを入力して前記被検者の感性情報を取得し、
    被検者の肌に接触しない状態で配置される非焦電性の圧電素子の出力に基づき、前記被検者の生体データを取得し、
    取得した前記感性情報と前記生体データとを含むデータセットを、ユーザの生体データを入力した場合、前記ユーザの感性情報を出力するよう学習される第２学習モデルの学習に用いられる訓練データとして生成する
    処理をコンピュータに実行させる訓練データの生成方法。

Images