JP2023183278A - 電子機器、電子機器の制御方法及び制御プログラム - Google Patents

Abstract

【課題】対象者の内部状態の推定精度を向上できる電子機器、状態推定方法及び状態推定プログラムを提供する。【解決手段】電子機器１は、第１期間及び第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて対象者の内部状態を推定する制御部１０を備える。制御部１０は、第１期間における、対象者の仮の内部状態に対応する仮定情報を生成し、対象者の仮の内部状態と第１期間における対象者の生体情報の測定結果とに基づいて第２期間における対象者の生体情報を予測し、予測した生体情報と第２期間における対象者の生体情報の測定結果との差異に基づいて生体情報に対応する内部状態を推定する。【選択図】図１

Description

本開示は、電子機器、電子機器の制御方法及び制御プログラムに関する。

近年、対象者の集中度又は感情等の内部状態の推定を試みる研究が行われている。例えば、講義中に、教師の発話、学習者の生体情報、及び学習者の動画を記録し、講義後に学習者が各シーンにおける自身の感情を内観報告することによって、学習者の心的状態を推定する試みが報告されている（非特許文献１参照）。

松居 辰則、宇野 達朗、田和辻 可昌、「心的状態の時間遅れと持続モデルを考慮した生体情報からの学習者の心的状態推定の試み」、２０１８年度人工知能学会全国大会（第３２回）、一般社団法人 人工知能学会

ある時点において対象者の内部状態と生体情報とが相関し得る。つまり、ある時点における対象者の内部状態は、その時点における対象者の生体情報に反映され得る。一方で、対象者の内部状態は、対象者の生体情報の経時的な変化にも反映され得る。生体情報の経時的な変化を考慮することによって内部状態の推定精度の向上が期待される。

本開示は、対象者の内部状態の推定精度を向上できる電子機器、状態推定方法及び状態推定プログラムを提供することを目的とする。

本開示の一実施形態に係る電子機器は、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する制御部を備える。前記制御部は、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成する。前記制御部は、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測する。前記制御部は、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。

本開示の一実施形態に係る電子機器の制御方法は、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器によって実行される。前記電子機器の制御方法において、前記電子機器が、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成する。前記電子機器の制御方法において、前記電子機器が、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成する。前記電子機器の制御方法において、前記電子機器が、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測する。前記電子機器の制御方法において、前記電子機器が、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。

本開示の一実施形態に係る電子機器の制御プログラムは、第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器によって実行される。前記電子機器の制御プログラムは、前記電子機器に、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成させる。前記電子機器の制御プログラムは、前記電子機器に、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成させる。前記電子機器の制御プログラムは、前記電子機器に、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測させる。前記電子機器の制御プログラムは、前記電子機器に、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定させる。

本開示に係る電子機器、電子機器の制御方法及び制御プログラムによれば、対象者の内部状態の推定精度が高められ得る。

一実施形態に係る電子機器の概略構成を示すブロック図である。 電子機器によるエンコードの例を説明する概念図である。 電子機器によるデコードの例を説明する概念図である。 電子機器における自己符号化器の動作を説明する概念図である。 一実施形態に係る予測モデルの構成例を示す図である。 対象者の生体情報の信号波形の一例を示す図である。 予測モデル生成方法の手順例を示すフローチャートである。 内部状態推定方法の手順例を示すフローチャートである。 内部状態の推定結果の確信度を考慮する内部状態推定方法の手順例を示すフローチャートである。

以下、図面を参照して、本開示を適用した電子機器１（図１参照）の実施形態が説明される。以下の説明は、本開示を適用した電子機器１の制御方法及び制御プログラムの実施形態の説明を兼ね得る。

本開示において、「電子機器１」とは、電力により駆動する機器であってよい。一実施形態に係る電子機器１は、例えば対象者の感情又は集中度等の、対象者の内部状態を推定する。ここで、「対象者」は、一実施形態に係る電子機器１によって内部状態が推定される対象となる者（典型的には人間）であってよい。また、本開示において、「ユーザ」は、一実施形態に係る電子機器１を使用する者（典型的には人間）であってよい。「ユーザ」は、「対象者」と同じ者であってよいし、異なる者であってもよい。また、「ユーザ」及び「対象者」は、人間であってもよいし、人間以外の動物であってもよい。

一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器１は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器１は、例えば携帯電話又はスマートフォンのように、他の機器と通信を行う機能を有してもよい。ここで、上述の「他の機器」は、例えば携帯電話又はスマートフォンのような機器であってもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器であってもよい。また、本開示における「他の機器」は、電力によって駆動される機器又は装置等であってよい。一実施形態に係る電子機器１は、他の機器と有線及び／又は無線によって通信可能に構成されてよい。

以下、電子機器１がオンライン会議に接続するサーバ又は端末等の機器である場合の実施形態の一例が説明される。この場合、電子機器１は、オンライン会議の参加者の所定の内部状態（例えば、所定の心理状態、感情又は集中度等）を推定してよい。電子機器１は、オンライン会議の主催者若しくはファシリテータ、又は、参加者自身に対して、参加者の内部状態の推定結果を通知したり参加者の内部状態の推定結果に基づく警報を出力したりしてよい。

（電子機器１の構成例）
図１に示されるように、一実施形態に係る電子機器１は、制御部１０、生体情報取得部２０、記憶部３０、及び報知部４０を含んで構成されてよい。また、制御部１０は、図１に示されるように、抽出部１２、予測部１４、及び判定部１６を含んで構成されてよい。一実施形態に係る電子機器１は、図１に示される全ての機能部を含んでもよいし、図１に示される機能部の少なくとも一部を含まなくてもよい。例えば、一実施形態に係る電子機器１は、図１に示される制御部１０のみを備えてもよい。この場合、一実施形態に係る電子機器１は、外部機器として用意される、生体情報取得部２０、記憶部３０、及び報知部４０などに接続されるようにしてもよい。また、以下に説明するエンコーダＥＮＮ及びデコーダＤＮＮの機能は、制御部１０、予測部１４、及び記憶部３０の少なくともいずれか１つの機能により実現される。入力した情報又はデータは、例えば、抽出部１２、エンコーダＥＮＮ、デコーダＤＮＮ、判定部１６の順に送信されるとしてよい。また、エンコーダＥＮＮから、以下に説明する潜在変数Ｚが出力されてもよい。この場合、出力された潜在変数Ｚは、デコーダＤＮＮに入力されてもよい。本開示の生体情報取得部20は、静止が及び動画の少なくとも一方を取得する撮像部、対象者の心拍、心音、体温、視線、動きなどの特徴量を取得する取得部などであってもよい。

制御部１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。制御部１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。制御部１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

制御部１０は、１以上のプロセッサ及びメモリを含んでもよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部１０は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってもよい。制御部１０は、電子機器１の各構成要素の動作を制御する。

制御部１０は、例えば、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、制御部１０は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。制御部１０に含まれる抽出部１２、予測部１４、及び判定部１６の少なくともいずれかは、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、抽出部１２、予測部１４、及び判定部１６の少なくともいずれかは、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。

抽出部１２は、生体情報取得部２０によって取得された対象者の心拍データから、対象者の心拍の特徴を抽出する。予測部１４は、例えば対象者の集中度、理解度、エンゲージメント等の内部状態を推定するとともに、対象者の生体情報の変化を予測する。判定部１６は、予測部１４によって推定された対象者の内部状態が所定の条件を満たすか否か判定する。判定部１６は、対象者の内部状態が所定の条件を満たす場合（例えば対象者の集中度が所定以下に低下した場合など）、所定の警報信号を報知部４０に出力する。また、判定部１６は、予測部１４によって予測された対象者の生体情報と実際の生体情報との差を判定する。なお、本開示の生体情報取得部２０は、対象者から心拍データを取得し、心拍の特徴量を抽出するように構成されてもよい。

本開示において、対象者の視線がデータとして抽出される視線のデータは、注視点の座標値（ｘ，ｙ）として扱ってよい。また、本開示において、視線のデータは、対象者の注視点の座標のみならず、例えば瞳孔径及び／又は眼球の回転情報などを視線の特徴量として用いてもよい。また、対象者の生体情報が心拍である場合、抽出する特徴量は、心拍から算出されるＲＲ間隔の時間的な特徴量を含んでもよいし、周波数空間の特徴量を含んでもよいし、ポアンカレプロット等の非線形的な特徴量を含んでもよい。

制御部１０の動作、並びに、制御部１０に含まれる抽出部１２、予測部１４、及び判定部１６の動作についての説明は、さらに後述される。

生体情報取得部２０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。生体情報取得部２０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、生体情報取得部２０は、撮像した画像に基づく信号を、制御部１０などに供給してよい。このため、図１に示すように、生体情報取得部２０は、制御部１０に有線及び／又は無線で接続されてよい。生体情報取得部２０は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、生体情報取得部２０は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び／又は、光を吸収する特徴の差異などを、画像として撮像することができる。また、生体情報取得部２０は、心拍データを取得できるようなＥＣＧ（Electrocardiogram）センサを含んでもよい。また、生体情報取得部２０は、心音を取得できるような非接触なセンサを含んでもよい。

生体情報取得部２０は、対象者の画像を撮像する。以下、対象者の例としてオンライン会議の参加者が想定される。すなわち、一実施形態において、生体情報取得部２０は、オンライン会議に接続する端末を利用する参加者を対象者として撮像する。一実施形態において、生体情報取得部２０は、例えば対象者を所定時間ごと（例えば秒間３０フレーム）の静止画として撮像してもよい。また、一実施形態において、生体情報取得部２０は、例えば対象者を連続した動画として撮像してもよい。生体情報取得部２０は、ＲＧＢデータ、及び／又は、赤外線データなどの各種のデータ形態で対象者の画像を撮像するものとしてよい。

生体情報取得部２０は、オンライン会議の参加者を撮像するために、例えば端末のインカメラとして構成されてよい。生体情報取得部２０は、端末に接続されるカメラとして構成されてもよい。生体情報取得部２０によって撮像された参加者の画像は、制御部１０に供給される。後述のように、制御部１０において、抽出部１２は、参加者の画像から、参加者の視線を含む生体情報を抽出する。このため、生体情報取得部２０は、参加者の視線を含む画像を撮像するのに適した箇所に設置されてよい。

記憶部３０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部３０は、例えば制御部１０において実行されるプログラム、及び、制御部１０において実行された処理の結果などを記憶してよい。また、記憶部３０は、制御部１０のワークメモリとして機能してよい。このため、図１に示すように、記憶部３０は、制御部１０に有線及び／又は無線で接続されてよい。記憶部３０は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）の少なくとも一方を含んでもよい。記憶部３０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部３０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部３０は、制御部１０として用いられるＣＰＵの内部メモリであってもよいし、制御部１０に別体として接続されるものとしてもよい。

記憶部３０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むものとしてよい。また、機械学習は、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものであってよい。より具体的に、機械学習は、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術を含んでよい。本明細書において、ＡＩの技術は、少なくとも一部に機械学習の技術を含んでよい。本明細書において、機械学習は、正解データをもとに入力データの特徴又はルールを学習する教師あり学習を含んでよい。また、機械学習は、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習を含んでもよい。さらに、機械学習は、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習等を含んでもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせて構成されてよい。

本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含んでよい。本実施形態において、所定の推論（推定）結果を出力するアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、又はデータを所定の方法で変形する正則化等の種々のアルゴリズムが用いられ得る。本実施形態において、ニューラルネットワークの一種であるディープニューラルネットワークが利用されてよい。ディープニューラルネットワークは、ニューラルネットワークの一種であり、一般にネットワークの中間層が１層以上の深い構造のものを意味する。ディープラーニングは、ＡＩを構成するアルゴリズムとして多用されている。

一実施形態において、記憶部３０に記憶される情報は、例えば工場出荷時などまでに予め記憶された情報としてもよいし、制御部１０などが適宜取得する情報としてもよい。一実施形態において、記憶部３０は、制御部１０又は電子機器１などに接続された通信部（通信インタフェース）から受信する情報を記憶してもよい。この場合、通信部は、例えば外部の電子機器又は基地局などと無線又は有線の少なくとも一方で通信することにより、各種の情報を受信してよい。また、一実施形態において、記憶部３０は、制御部１０又は電子機器１に接続された入力部（入力インタフェース）などに入力された情報を記憶してもよい。この場合、電子機器１のユーザ又はその他の者は、入力部を操作することにより、各種の情報を入力してよい。

報知部４０は、制御部１０から出力される所定の信号（例えば警報信号など）に基づいて、電子機器１のユーザなどに注意を促すための所定の警報を出力してよい。このため、図１に示すように、報知部４０は、制御部１０に有線及び／又は無線で接続されてよい。報知部４０は、所定の警報として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、及び触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部４０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかを含んで構成されてよい。このように、報知部４０は、制御部１０から出力される所定の信号に基づいて、所定の警報を出力してよい。一実施形態において、報知部４０は、所定の警報を、人間などの生物の聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として出力してもよい。

一実施形態において、報知部４０は、例えば対象者の内部状態として対象者自身の集中度が所定の閾値以下に低下していると推定された場合に、対象者自身の集中度が低下していることに対応する警報を出力してよい。例えば、一実施形態において、視覚情報を出力する報知部４０は、対象者の集中度が低下していることを発光又は所定の表示等によって対象者自身に報知してよい。また、一実施形態において、聴覚情報を出力する報知部４０は、対象者の集中度が低下していることを所定の音又は音声等によって対象者自身に報知してよい。また、一実施形態において、触覚情報を出力する報知部４０は、対象者の集中度が低下していることを所定の振動等によって対象者自身に報知してよい。このようにして、対象者自身は、例えばオンライン会議に対する集中度が低下している旨を知ることができる。

報知部４０は、対象者としてのオンライン会議の参加者の集中度が所定の閾値以下に低下したと推定された場合に、オンライン会議の主催者若しくはファシリテータ、又は、他の参加者に対して、集中度が低下している参加者が存在することを報知してよい。報知部４０は、種々の態様で、集中度が低下している参加者が存在することを報知してよい。

（内部状態の推定動作例）
一実施形態に係る電子機器１による対象者の内部状態の推定動作の一例が以下説明される。

電子機器１は、自己符号化器（auto encoder）を用いて、対象者としてオンライン会議の参加者の画像等に基づく機械学習を行うことによって、参加者の集中度等のような内部状態を推定する。自己符号化器は、ニューラルネットワークのアーキテクチャの１つである。自己符号化器は、エンコーダ（以下、符号ＥＮＮを対応させることがある）及びデコーダ（以下、符号ＤＮＮを対応させることがある）を含むニューラルネットワークであってよい。一実施形態に係る電子機器１において、制御部１０は、自己符号化器としての機能を含んでよい。すなわち、一実施形態に係る電子機器１の制御部１０は、エンコーダＥＮＮ及びデコーダＤＮＮとしての機能を備えてよい。

図２及び図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークを概念的に示す図である。図２は、エンコーダを概念的に示す図である。すなわち、図２は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのエンコーダＥＮＮを概念的に示す図である。図３は、デコーダを概念的に示す図であり、一実施形態に係る電子機器１が対象者（運転者）の画像に基づいて対象者の集中度のような内部状態を推定する原理を説明する。すなわち、図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのデコーダＤＮＮを概念的に示す図である。

一実施形態に係る電子機器１によって対象者の内部状態を推定するに際し、図３に示されるように、対象者の第２生体情報Ｘ’は、内部状態を示す情報Ｙと、未知の値Ｚと、属性情報Ｄが原因となって生じる、という生成プロセスが仮定される。ここで、対象者の第２生体情報Ｘ’は、対象者（例えば運転者）の視線の画像を含む情報であってよい。内部状態を示す情報Ｙは、対象者の例えば集中度のような内部状態を示す情報を含んでよい。未知の値Ｚは、観測できない潜在変数を含んでよい。属性情報Ｄは、例えば、対象者の性別、年齢、又は年齢の区分（２０代若しくは３０代等）の少なくともいずれかを表す情報を含んでよい。属性情報Ｄは、対象者のオンライン会議における役割を表す情報を含んでよい。属性情報Ｄは、対象者の立場（所属、職位、又は、権限若しくは職責）を表す情報を含んでよい。属性情報Ｄは、記憶部３０にあらかじめ格納されていてもよいし、必要に応じて対象者等に入力させることによって取得されてもよいし、必要に応じて外部機器等から通信によって取得されてもよい。また、本開示において、内部状態を示す情報Ｙは、例えば対象者のオンライン会議における理解度又はエンゲージメント等を含んでもよい。

一実施形態に係る電子機器１による機械学習時において、図２に示されるように、ニューラルネットワークのエンコーダＥＮＮを用いて、対象者の第１生体情報Ｘと、内部状態を示す情報Ｙと、属性情報Ｄとから、未知の値Ｚが推論される。ここで、対象者の第１生体情報Ｘは、対象者（例えばオンライン会議の参加者）の視線の画像を含む情報を含んでよい。第１生体情報Ｘに含まれる対象者の視線の画像は、生体情報取得部２０によって撮像される対象者の画像から、抽出部１２によって抽出された画像であってよい。内部状態を示す情報Ｙは、例えば対象者の集中度、理解度、エンゲージメント等の内部状態を示す情報を含んでよい。属性情報Ｄは、例えば対象者の年齢及び／又は性別等の属性を示す情報を含んでよい。未知の値Ｚは、観測できない潜在変数を含んでよい。以下、対象者の内部状態を推定するための学習を行うフェーズが単に「学習フェーズ」とも称される。

図２に例示されるように未知の値Ｚが推論された場合、図３に示されるニューラルネットワークのデコーダＤＮＮを用いて、推論された未知の値Ｚと、内部状態を示す情報Ｙと、属性情報Ｄとから、対象者の第２生体情報Ｘ’が生成され得る。ここで、対象者の第２生体情報Ｘ’は、対象者の第１生体情報Ｘを再構成した情報である。一実施形態に係る電子機器１において、第２生体情報Ｘ’が元の第１生体情報Ｘから変化した度合いを損失関数として、誤差逆伝搬によってニューラルネットワークの重みパラメータが更新されてよい。損失関数は、未知の値Ｚの確率分布が所定の確率分布から逸脱している度合いを表す正則化項を含んでもよい。所定の確率分布として、例えば正規分布が用いられてよい。未知の値Ｚの確率分布の、所定の確率分布からの逸脱の度合いを表す項として、カルバック・ライブラダイバージェンスが用いられてもよい。

図４は、一実施形態に係る電子機器１における自己符号化器による実装を概念的に示す図である。まず、一実施形態に係る電子機器１による学習フェーズの動作が説明される。

図４に示されるように、一実施形態に係る電子機器１において、最下段に示す第１生体情報Ｘが与えられ、さらに内部状態を示す情報Ｙ及び属性情報Ｄが与えられた場合に、図４の中段に示される未知の値Ｚが推論される。そして、一実施形態に係る電子機器１において、未知の値Ｚが推論され、さらに内部状態を示す情報Ｙ及び属性情報Ｄが与えられた場合に、最上段に示される第２生体情報Ｘ’が得られる。

一実施形態に係る電子機器１において、自己符号化器は、第１生体情報Ｘ及び属性情報Ｄのみが与えられた場合に、内部状態を示す情報Ｙ及び未知の値Ｚを推定するように構成されてもよい。また、例えば対象者の年齢及び／又は性別等の属性を示す情報を含む属性情報Ｄは、あらかじめ記憶部３０に格納されたり、入力部から入力されたり、通信部によって受信されたりしてよい。また、属性情報Ｄは、生体情報取得部２０によって撮像される対象者の画像に基づいて制御部１０等によって推定された情報を含んでよい。

図４に示されるように、一実施形態に係る電子機器１において、自己符号化器は、対象者の第１生体情報Ｘ、内部状態を示す情報Ｙ、及び属性情報Ｄから、未知の値Ｚを介して、対象者の第２生体情報Ｘ’を再現する。すなわち、一実施形態に係る電子機器１において、自己符号化器は、対象者の視線の画像及び視線の特徴量（第１生体情報Ｘ）の少なくとも一方に基づいて、対象者の視線の画像及び視線の特徴量（第２生体情報Ｘ’）の少なくとも一方を再構成する機能を備える。

本開示において、自己符号化器は、視線以外の生体情報、例えば心拍などに基づいて、対象者の視線の画像及び視線の特徴量（第２生体情報Ｘ’）の少なくとも一方を再構成する機能を備えるように構成されてもよい。

本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方には、注視点の座標値（ｘ，ｙ）を含んでよい。本開示において、対象者の視線の画像及び視線の特徴量は、注視点の座標だけでなく、例えば瞳孔径若しくは眼球の回転情報、又はこれらの組み合わせなどの視線の特徴量を含んでもよい。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を抽出することは、単に「視線を抽出する」又は「視線を取得する」等とも称される。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を推定することは、単に「視線を推定する」又は「視線を算出する」等とも称される。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方は、眼球領域を含む画像を含んでよい。以下の説明において、ニューラルネットワークに入力される情報は、生体情報であるため、上記眼球領域を含む画像を有する視線情報と定義されてもよい。

また、以下の説明において、ニューラルネットワークに入力される情報は、心拍などの視線画像以外の生体情報を含んでもよい。

一実施形態に係る電子機器１において、内部状態を示す情報Ｙを推定するために、例えば内部状態としての集中度が種々の状態になっている場合について、対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）を再構成してよい。

電子機器１の制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容のみに完全に集中している状態を意図的に生成してよい。また、制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態を意図的に生成してもよい。

オンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態は、参加者がオンライン会議以外のタスクに注意を奪われている状態であるとしてよい。例えば、参加者がオンライン会議以外のタスクとして所定の暗算等のオンライン会議と無関係な作業を同時に行う状態が生成されてよい。作業の複雑さを調整することによって、参加者がオンライン会議の内容に集中できていない状態の度合いが調整されてもよい。作業の複雑さは、例えば暗算の問題の難易度によって調整され得る。例えば、オンライン会議の参加者がオンライン会議中に非常に簡単な暗算を同時に行う状態は、参加者が完全にはオンライン会議の内容に集中していないものの参加者の集中度が比較的高い状態であるとされてよい。また、参加者がオンライン会議中に相当複雑な暗算を同時に行う状態は、参加者の集中度が比較的低い状態であるとされてよい。

制御部１０は、意図的に生成した各状態に対応するオンライン会議の参加者の内部状態を示す情報Ｙに対応する参加者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）を、一実施形態に係る電子機器１の自己符号化器によって再構成してよい。

上述してきたように、一実施形態に係る電子機器１において、情報Ｙによって示される対象者の内部状態が種々の状態である場合について、対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）が再構成されてよい。内部状態を示す情報Ｙは、例えば、集中している状態においてＹ＝０となり、集中していない状態においてＹ＝１となるように設定されてよい。

電子機器１の制御部１０は、種々の内部状態を示す情報Ｙに基づいて再構成される対象者の視線の画像（第２生体情報Ｘ’）が、元の対象者の視線の画像（第１生体情報Ｘ）を再現した度合いに応じて、内部状態を示す情報Ｙの妥当性を判断してよい。例えば、ある内部状態を示す情報Ｙ１に基づいて再構成された対象者の視線の画像（第２生体情報Ｘ’）が、元の対象者の視線の画像又は視線の特徴量（第１生体情報Ｘ）を再現する度合いが高い場合、内部状態を示す情報Ｙ１の妥当性は高い（すなわち正解に近い）と判断してよい。一方、ある内部状態を示す情報Ｙ２に基づいて再構成された対象者の視線の画像又は視線の特徴量（第２生体情報Ｘ’）が、元の対象者の視線の画像又は視線の特徴量（第１生体情報Ｘ）を再現する度合いが低い場合、内部状態を示す情報Ｙ２の妥当性は低い（すなわち正解から遠い）と判断してよい。

このようにして、一実施形態に係る電子機器１は、第２生体情報Ｘ’による第１生体情報Ｘの再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。また、この再現度に加えて、エンコーダＥＮＮによって推定された未知の値Ｚの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。この場合、所定の確率分布は、正規分布であってもよい。また、前述の場合、分布逸脱度はカルバック・ライブラダイバージェンスであってもよい。

（生体情報の予測動作）
上述してきたように、一実施形態に係る電子機器１の制御部１０は、図４を参照して説明された自己符号化器に第１生体情報Ｘを入力することによって、自己符号化器から出力される第２生体情報Ｘ’を生体情報の推定結果として取得する。つまり、制御部１０は、第１生体情報Ｘ等に基づいて第２生体情報Ｘ’を再構成する。

＜生体情報の予測モデル８０＞
対象者の内部状態は、ある時点における生体情報だけでなく、生体情報の経時的な変化として現れ得る。そこで、制御部１０は、生体情報の経時的な変化に関する情報を取得するために、第２生体情報Ｘ’として、第１生体情報Ｘを取得した期間よりも後の期間における生体情報を、予測部１４によって予測してもよい。この場合、自己符号化器は、ある期間における対象者の生体情報を入力したときに、その期間よりも後の期間における対象者の生体情報を予測した結果を出力するように構成されてよい。対象者の生体情報の予測結果を出力する自己符号化器は、図５に例示される予測モデル８０として実現され得る。予測モデル８０は、図６に例示される、対象者の生体情報を測定した信号波形のうち、Ｐ１で表される第１期間の生体情報が入力されたときに、Ｐ２で表される第２期間の生体情報の予測結果を出力するように構成される。図６の信号波形のグラフにおいて、横軸は時刻を表し、縦軸は信号強度を表す。

予測モデル８０は、ニューラルネットワークを構成する複数の層を含んで構成されてよい。予測モデル８０は、入力層８１と出力層８２とを備える。予測モデル８０は、入力層８１に第１期間の生体情報が入力されたときに、出力層８２から第２期間の生体情報の予測結果を出力する。予測モデル８０は、未知の値を表す層８３及び８４を更に備えてよい。予測モデル８０は、入力層８１から未知の値を表す層８３及び８４までの間に中間層８５及び８６を更に備えてよい。予測モデル８０は、未知の値を表す層８３及び８４から出力層８２までの間に中間層８７及び８８を更に備えてよい。予測モデル８０が備える層の数は、図５に例示される７層に限られず、６層以下であってもよいし、８層以上であってもよい。

予測モデル８０は、入力層８１から未知の値を表す層８３及び８４までの各層で情報を処理することによって、対象者の第１期間の生体情報に基づいて対象者に関する未知の値Ｚを推定する。未知の値を表す層８３及び８４は、対象者に関する未知の値Ｚの推定結果を出力する。予測モデル８０のうち入力層８１から未知の値を表す層８３及び８４までの部分は、エンコーダＥＮＮに対応する。予測モデル８０は、エンコーダＥＮＮにおいて、対象者の内部状態を示す情報Ｙが入力されるように構成される。この場合、対象者に関する未知の値Ｚは、対象者の第１期間の生体情報と対象者の内部状態を示す情報Ｙとに基づいて推定される。予測モデル８０は、エンコーダＥＮＮにおいて、対象者の属性情報Ｄが更に入力されるように構成されてよい。この場合、対象者に関する未知の値Ｚは、対象者の第１期間の生体情報と対象者の内部状態を示す情報Ｙと対象者の属性情報Ｄとに基づいて推定される。

予測モデル８０は、未知の値を表す層８３及び８４から出力層８２までの各層で情報を処理することによって、対象者に関する未知の値Ｚの推定結果に基づいて対象者の第２期間の生体情報を予測する。出力層８２は、対象者の第２期間の生体情報の予測結果を出力する。予測モデル８０のうち未知の値を表す層８３及び８４から出力層８２までの部分は、デコーダＤＮＮに対応する。予測モデル８０は、デコーダＤＮＮにおいて、対象者の内部状態を示す情報Ｙが入力されるように構成される。この場合、対象者の第２期間の生体情報は、対象者に関する未知の値Ｚと対象者の内部状態を示す情報Ｙとに基づいて推定される。予測モデル８０は、デコーダＤＮＮにおいて、対象者の属性情報Ｄが更に入力されるように構成されてよい。この場合、対象者の第２期間の生体情報は、対象者に関する未知の値Ｚと対象者の内部状態を示す情報Ｙと対象者の属性情報Ｄとに基づいて推定される。

予測モデル８０は、学習済みモデルとして構成されてよい。予測モデル８０は、第１期間の生体情報と第２期間の生体情報と対象者の内部状態を示す情報Ｙとを教師データとして学習することによって生成されてよい。予測モデル８０は、対象者の属性情報Ｄを更に教師データに加えて学習することによって生成されてよい。

制御部１０は、予測モデル８０を生成してもよい。以下、予測モデル８０の生成手順の一例が説明される。

制御部１０は、第１期間及び第２期間それぞれの生体情報の測定結果を取得する。制御部１０は、ある期間の生体情報を取得し、その期間の前半と後半とで生体情報を分割してよい。制御部１０は、前半の生体情報を第１期間の生体情報とし、後半の生体情報を第２期間の生体情報としてよい。

制御部１０は、第１期間及び第２期間それぞれの生体情報の特徴量を抽出する。生体情報が対象者の視線である場合、制御部１０は、視線の特徴量として対象者が注視している点の座標、又は、その座標の移動量を算出してよい。また、生体情報が対象者の心拍である場合、制御部１０は、心拍の特徴量として、心拍から算出される時間的な特徴量、周波数的な特徴量、非線形な特徴量を算出してよい。

制御部１０は、第１期間の生体情報の測定結果を予測モデル８０に入力し、予測モデル８０から第２期間の生体情報の予測結果を取得する。制御部１０は、第２期間の生体情報の予測結果と、実際に取得した第２期間の生体情報の測定結果とに基づいて、予測誤差を算出する。制御部１０は、生体情報の特徴量に基づいて予測誤差を算出してよい。例えば生体情報が対象者の視線である場合、制御部１０は、対象者の注視点の座標の移動量の差を予測誤差として数値化してよい。

制御部１０は、予測誤差が小さくなるように、予測モデル８０の各層のパラメータを調整する。制御部１０は、予測誤差が判定閾値未満になるように予測モデル８０の各層のパラメータを調整してよい。制御部１０は、予測誤差が判定閾値未満になるようにパラメータを調整した予測モデル８０を、第１期間の生体情報に基づく第２期間の生体情報の予測に用いてよい。

制御部１０は、生体情報の測定結果の取得から予測誤差の算出までの手順を、予測誤差が収束するまで繰り返してよい。制御部１０は、予測誤差が判定閾値未満になった場合に予測誤差が収束したと判定してよい。制御部１０は、予測誤差が収束したときの予測モデル８０を、第１期間の生体情報に基づく第２期間の生体情報の予測に用いてよい。

制御部１０は、対象者の内部状態を示す情報Ｙを更に取得してよい。制御部１０は、対象者の内部状態を示す情報Ｙを入力した予測モデル８０に第１期間の生体情報の測定結果を入力することによって第２期間の生体情報の予測結果を取得し、予測誤差を算出してよい。制御部１０は、対象者の内部状態を示す情報Ｙを入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。

制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容のみに完全に集中している状態を意図的に生成し、その状態における第１期間及び第２期間の生体情報の測定結果を取得してよい。制御部１０は、対象者の内部状態がオンライン会議の内容に完全に集中している状態であることを示す情報を入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。

制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態を意図的に生成し、その状態における第１期間及び第２期間の生体情報の測定結果を取得してよい。制御部１０は、対象者の内部状態がオンライン会議の内容に完全には集中できていない状態であることを示す情報を入力した予測モデル８０において、予測誤差が判定閾値未満になるように、各層のパラメータを調整してよい。

対象者がオンライン会議の内容のみに完全に集中している状態において、対象者の内部状態を示す情報Ｙは、例えばＹ＝０となるように設定されてよい。対象者がオンライン会議の内容に完全には集中していない状態において、対象者の内部状態を示す情報Ｙは、例えばＹ＝１となるように設定されてよい。対象者の内部状態を示す情報Ｙは、対象者がオンライン会議の内容に集中している度合いに応じて、０から１までの間の任意の値に設定されてよい。対象者がオンライン会議の内容に集中している度合いは、集中度とも称される。

上述してきたように、制御部１０は、第２期間の生体情報の予測誤差を小さくするように予測モデル８０のパラメータを調整してよい。言い換えれば、制御部１０は、第１期間の生体情報に基づく第２期間の生体情報の予測結果による実際の第２期間の生体情報の測定結果の再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。制御部１０は、再現度に加えて、エンコーダＥＮＮによって推定された未知の値Ｚの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。この場合、所定の確率分布は、正規分布であってもよい。また、前述の場合、分布逸脱度はカルバック・ライブラダイバージェンスであってもよい。

＜生体情報の予測に基づく内部情報の推定＞
制御部１０は、予測モデル８０を用いて対象者の生体情報の予測結果を取得する。制御部１０は、対象者の生体情報の予測結果と測定結果との比較に基づいて、対象者の内部状態を推定する。以下、具体的な推定動作の一例が説明される。

制御部１０は、対象者の内部状態を仮定し、仮定した内部状態を示す情報を生成する。仮定した内部状態、つまり対象者の仮の内部状態を示す情報は、仮定情報とも称される。制御部１０は、仮定情報を、対象者の内部状態を示す情報Ｙの代わりに、予測モデル８０のエンコーダＥＮＮ及びデコーダＤＮＮに入力する。

制御部１０は、仮定情報が入力された予測モデル８０の入力層８１に第１期間の生体情報の測定結果を入力する。仮定情報が入力された予測モデル８０は、出力層８２から、対象者の内部状態が仮定情報で示される内部状態である場合における、対象者の第２期間の生体情報の予測結果を出力する。仮定情報が入力された予測モデル８０から出力された予測結果は、仮定情報に対応づけられる。

制御部１０は、対象者の第２期間の生体情報の測定結果と、仮定情報に対応づけられる予測結果とを比較する。測定結果と予測結果との差が小さいほど、その予測結果に対応づけられる仮定情報で示される内部状態と実際の内部状態との差が小さい。言い換えれば、制御部１０は、第１期間の生体情報と種々の内部状態を示す情報Ｙとに基づいて予測される第２期間の生体情報が、実際の第２期間の生体情報を再現した度合いに応じて、内部状態を示す情報Ｙの妥当性を判断できる。

例えば、ある内部状態を示す情報Ｙ１に基づいて予測された第２期間の生体情報が実際の第２期間の生体情報を高い度合いで再現しているとする。この場合、制御部１０は、内部状態を示す情報Ｙ１の妥当性が高い（すなわち正解に近い）と判断してよい。

一方、ある内部状態を示す情報Ｙ２に基づいて予測された第２期間の生体情報が実際の第２期間の生体情報を低い度合いでしか再現できていないとする。この場合、制御部１０は、内部状態を示す情報Ｙ２の妥当性が低い（すなわち正解から遠い）と判断してよい。

制御部１０は、対象者の内部状態として複数の内部状態を仮定する。制御部１０は、仮定した複数の内部状態それぞれについて、仮定情報を予測モデル８０に入力する。制御部１０は、仮定した複数の内部状態それぞれを示す仮定情報が入力された予測モデル８０について、入力層８１に第１期間の生体情報の測定結果を入力し、出力層８２から、第２期間の生体情報の予測結果を取得する。制御部１０が取得した予測結果は、複数の仮定情報それぞれに対応づけられる。

制御部１０は、対象者の第２期間の生体情報の測定結果と、複数の仮定情報それぞれに対応づけられる予測結果とを比較する。制御部１０は、測定結果との差が所定範囲内に収まる予測結果を抽出し、抽出した予測結果に対応づけられる仮定情報で示される内部状態を、対象者の内部状態として推定してよい。制御部１０は、測定結果との差が最も小さくなる予測結果を決定し、決定した予測結果に対応づけられる仮定情報で示される内部状態を、対象者の内部状態として推定してよい。

制御部１０は、対象者の内部状態を示す情報Ｙとして対象者の集中度を用いる場合、集中度の値を複数の値に仮定してよい。集中度の値を仮定した値は、仮定値とも称される。制御部１０は、複数の仮定値のそれぞれが入力された予測モデル８０について、第２期間の生体情報の予測誤差を算出してよい。制御部１０は、予測誤差が判定閾値未満となる場合の予測モデル８０に入力されていた仮定値を、対象者の集中度の値として推定してよい。制御部１０は、予測誤差が最小となる場合の予測モデル８０に入力されていた仮定値を、対象者の集中度の値として推定してよい。

対象者の内部状態は、対象者の感情を含んでよい。対象者の感情は、対象者の集中度を含んでよい。対象者の感情は、集中度に限られず、例えば喜怒哀楽、理解度、会議へのエンゲージメント等で示されてよい。対象者の感情は、例えば、喜怒哀楽のそれぞれの度合いを組み合わせた指標によって示されてもよい。対象者の感情は、快感若しくは不快感の度合い、又は、安心感若しくは不安感の度合い等によって示されてもよい。対象者の感情を示す情報は、感情ラベルとも称される。

制御部１０は、仮定情報を、対象者の集中度又は感情等の複数のパラメータの組み合わせとして生成してよい。制御部１０は、各パラメータについて想定される全ての値を総当たりで組み合わせた仮定情報を予測モデル８０に適用してよい。制御部１０は、各パラメータについて想定される値の数を適宜設定し、各パラメータで設定した数の仮定値を組み合わせた仮定情報を予測モデル８０に適用してよい。制御部１０は、各パラメータの値の組み合わせを何パターンかに絞って生成し、生成した各組み合わせの仮定情報を予測モデル８０に適用してよい。制御部１０は、予測モデル８０に適用した仮定情報それぞれについて対象者の生体情報を予測し、予測結果に基づいて対象者の内部状態の推定結果を示す仮定情報を決定してよい。

制御部１０は、対象者の内部状態の推定結果に基づいて、対象者又はユーザ等に対して警報を出力してよい。制御部１０は、対象者の内部状態の推定結果が警報条件を満たした場合に警報を出力してよい。警報条件は、例えば対象者の集中度が判定閾値以上になっていることを含んでよい。警報条件は、例えば対象者の感情ラベルの値が判定範囲外になっていることを含んでよい。制御部１０は、例えば対象者の集中度が低下していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の集中度を高めるための施策を促す警報を出力してよい。制御部１０は、例えば対象者の感情が悪化していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の感情を改善するための施策を促す警報を出力してよい。制御部１０は、報知部４０によって警報を出力してよい。

＜予測モデル生成方法の手順例＞
電子機器１の制御部１０は、図７に例示されるフローチャートの手順を含む予測モデル生成方法を実行してもよい。予測モデル生成方法は、電子機器１の制御方法に含まれてよい。予測モデル生成方法は、制御部１０を構成するプロセッサに実行させる予測モデル生成プログラムとして実現されてもよい。予測モデル生成プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。予測モデル生成プログラムは、電子機器１の制御プログラムに含まれてよい。

制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果を取得する（ステップＳ１）。制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果から特徴量を抽出する（ステップＳ２）。

制御部１０は、第１期間の生体情報の測定結果を、学習中の予測モデル８０に入力する（ステップＳ３）。制御部１０は、学習中の予測モデル８０から、第２期間の生体情報の予測結果を取得する（ステップＳ４）。

制御部１０は、第２期間の生体情報の予測結果とステップＳ１の手順で取得した測定結果との差を、予測誤差として算出する（ステップＳ５）。制御部１０は、予測誤差に基づいて学習中の予測モデル８０のパラメータを調整する（ステップＳ６）。

制御部１０は、ステップＳ６の手順の実行後に、図７のフローチャートの実行を終了してよいし、ステップＳ１の手順に戻って予測モデル８０の学習を繰り返してもよい。制御部１０は、ステップＳ６の手順の実行後に、予測誤差が判定閾値未満になったか判定する手順を実行してもよい。制御部１０は、ステップＳ６の手順の実行後に、予測誤差が収束したか判定する手順を実行してもよい。

＜内部状態推定方法の手順例＞
電子機器１の制御部１０は、図８に例示されるフローチャートの手順を含む内部状態推定方法を実行してもよい。内部状態推定方法は、電子機器１の制御方法に含まれてよい。内部状態推定方法は、制御部１０を構成するプロセッサに実行させる内部状態推定プログラムとして実現されてもよい。内部状態推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。内部状態推定プログラムは、電子機器１の制御プログラムに含まれてよい。

図８に例示される内部状態推定方法において、対象者の内部状態を示す情報Ｙとして、感情ラベルが推定されるとする。

制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果を取得する（ステップＳ１１）。制御部１０は、第１期間及び第２期間それぞれの対象者の生体情報の測定結果から特徴量を抽出する（ステップＳ１２）。

制御部１０は、予測モデル８０に対象者の内部状態の仮定情報として感情ラベルの仮定値を適用し、感情ラベルの各仮定値を適用した予測モデル８０に、第１期間の生体情報の測定結果を入力する（ステップＳ１３）。制御部１０は、感情ラベルの各仮定値を適用した予測モデル８０から、第２期間の生体情報の予測結果を取得する（ステップＳ１４）。

制御部１０は、感情ラベルの各仮定値に対応する第２期間の生体情報の予測結果と第２期間の生体情報の測定結果との差を算出する（ステップＳ１５）。制御部１０は、差が最小となる場合に仮定されていた感情ラベルの値を、感情ラベルの推定結果として生成する（ステップＳ１６）。

制御部１０は、感情ラベルの推定結果が警報条件を満たすか判定する（ステップＳ１７）。制御部１０は、警報条件が満たされない場合（ステップＳ１７：ＮＯ）、図８のフローチャートの手順の実行を終了する。制御部１０は、警報条件が満たされる場合（ステップＳ１７：ＹＥＳ）、報知部４０によって警報を出力する（ステップＳ１８）。制御部１０は、ステップＳ１８の手順の実行後、図８のフローチャートの手順の実行を終了する。

＜小括＞
以上述べてきたように、対象者の内部状態は、ある時点における生体情報だけでなく、生体情報の経時的な変化として現れ得る。本実施形態に係る電子機器１の制御部１０は、対象者の生体情報を予測し、予測誤差に基づいて対象者の内部状態を推定できる。このようにすることで、対象者の内部状態が生体情報の経時的な変化を考慮して推定され得る。その結果、生体情報の経時的な変化を考慮しない場合と比べて、内部状態の推定精度が向上され得る。

制御部１０は、第１期間及び第２期間の長さを変化させた複数の予測モデル８０を用いて対象者の内部状態を推定してよい。制御部１０は、第１期間の終了から第２期間の開始までの時間を変化させた複数の予測モデル８０を用いて対象者の内部状態を推定してよい。生体情報の経時的な変化として種々のパターンが考慮されることによって、内部状態の推定精度が向上され得る。また、制御部１０は、第１期間の生体情報を再現する自己符号化器を用いて得られた内部状態の推定結果を考慮して対象者の内部状態を推定してもよい。生体情報の経時的な変化とあわせて生体情報の再現度が考慮されることによって、内部状態の推定精度が向上され得る。

また、一般的に、人間の視線及び／又は注意行動、心拍等は、大きい個体差を含み得る。例えば、高齢者の視線の可動域が若年者の視線の可動域よりも狭い等の例が挙げられる。したがって、対象者の内部状態を推定する際に、例えば上述のような個体差を適切に考慮することによって、推定精度が高められ得る。また、対象者の内部状態を推定する際に、推定結果がどのようなモデルに基づくものなのか、ユーザに客観的に説明可能とされることによって、ユーザが推定結果に対して納得しやすくなる。

対象者を撮像した画像から、対象者の集中度のような内部状態を推定する場合、比較例として、両者の因果関係とは逆に、すなわち対象者の視線等の生体反応データから内部状態を推定するように学習を行うと仮定する。比較例において、因果関係が逆のモデル構造であるがゆえにそのモデル内部のデータ構造がブラックボックス化されてしまう。したげって、比較例において、要因を特定できずに誤った構造を学習したモデルが生成されるおそれがある。また、因果関係がブラックボックス化されることによって、因果関係のモデルをユーザに客観的に説明することが困難になる。

一方で、一実施形態に係る電子機器１において対象者の内部状態を推定するアルゴリズムは、一般の認識モデル又は回帰モデルとは異なる生成モデルに基づくものである。電子機器１における生成モデルは、対象者の内部状態及び対象者の属性（年齢又は性別等）を原因として、対象者の視線が生成されるという過程を、データから学習する。このため、一実施形態に係る電子機器１によれば、対象者の個体の属性を考慮して推定精度が向上され得る。また、一実施形態に係る電子機器１によれば、データ生成過程を踏まえたメカニズムがユーザに対して客観的に説明され得る。一実施形態によれば、対象者の集中度のような内部状態がデータ生成過程に基づいて合理的に推定され得る。

（他の実施形態）
以下、他の実施形態が説明される。

＜内部状態の推定結果の確信度＞
予測モデル８０は、生体情報の予測結果として確率分布で表した結果を出力するように構成されてよい。確率分布は、例えば正規分布等であってよい。生体情報の予測結果は、正規分布で表される場合、平均値及び標準偏差によって表される。

制御部１０は、確率分布として表される生体情報の予測結果を実際の測定結果と比較してよい。制御部１０は、生体情報の予測結果の確率分布の平均値と実際の生体情報の測定結果との差を、予測誤差として算出してよい。制御部１０は、判定閾値未満の予測誤差が得られた予測モデル８０に適用されていた仮定情報で示される内部状態を、対象者の内部状態として推定してよい。制御部１０は、最小の予測誤差が得られた予測モデル８０に適用されていた仮定情報で示される内部状態を、対象者の内部状態として推定してよい。

制御部１０は、対象者の内部状態の推定結果の確からしさ（尤もらしさ）を確認するための指標を算出してよい。対象者の内部状態の推定結果の確からしさ（尤もらしさ）を確認するための指標は、確信度とも称される。

制御部１０は、例えば、生体情報の予測結果の確率分布に基づいて実際の測定結果が現れる確率を算出し、算出した確率を対象者の内部状態の推定結果の確信度とみなしてよい。この場合、内部状態の推定結果が確からしいほど、確信度の値が大きくなる。制御部１０は、確信度が判定閾値以上である場合に内部状態の推定結果を出力し、確信度が判定閾値未満である場合に内部状態の推定をやり直してよい。

制御部１０は、例えば、生体情報の予測結果の平均値μ、実際の測定結果ｘ、及び、生体情報の予測結果の標準偏差σを用いた次の式（１）を、対象者の内部状態の推定結果の確信度とみなしてよい。

つまり、制御部１０は、生体情報の予測結果の平均値と実際の測定結果との差を、生体情報の予測結果の標準偏差で割った値を二乗し、ｅを取った正規分布の式を、対象者の内部状態推定の確信度とみなしてよい。この場合、内部状態の推定結果が確からしいほど、確信度の値も大きくなる。

また、確信度は、上述した式に限られず、１／σ又は１／σ^２で表されてもよい。制御部１０は、確信度が判定閾値未満である場合に内部状態の推定結果を出力し、確信度が判定閾値以上である場合に内部状態の推定をやり直してよい。

以上述べてきたように、制御部１０は、対象者の内部状態の推定結果の確信度を算出し、確信度に基づいて対象者の内部状態の推定結果を出力するか、対象者の内部状態の推定をやり直すかを決定してよい。このようにすることで、推定精度が高められ得る。

＜確信度を考慮した生体情報推定方法の手順例＞
電子機器１の制御部１０は、図９に例示されるフローチャートの手順を含む生体情報推定方法を実行してもよい。生体情報推定方法は、電子機器１の制御方法に含まれてよい。生体情報推定方法は、制御部１０を構成するプロセッサに実行させる生体情報推定プログラムとして実現されてもよい。生体情報推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。生体情報推定プログラムは、電子機器１の制御プログラムに含まれてよい。

図９に例示される生体情報推定方法において、対象者の内部状態を示す情報Ｙとして、感情ラベルが用いられるとする。

制御部１０は、図８に例示されるフローチャートのステップＳ１１からＳ１６までの手順を実行することによって、対象者の感情ラベルを推定する（ステップＳ２１）。制御部１０は、感情ラベルの推定結果の確信度を算出し、確信度が判定閾値（確信度閾値）以上であるか判定する（ステップＳ２２）。制御部１０は、確信度が判定閾値以上でない場合（ステップＳ２２：ＮＯ）、すなわち確信度が判定閾値未満である場合、ステップＳ２１の手順に戻って対象者の感情ラベルの推定をやり直す。制御部１０は、確信度が判定閾値以上である場合（ステップＳ２２：ＹＥＳ）、感情ラベルの推定結果を出力する（ステップＳ２３）。制御部１０は、ステップＳ２３の手順の実行後、図９のフローチャートの手順の実行を終了する。

＜内部状態推定の実行主体の例＞
上述してきたように、本開示の一実施形態に係る電子機器１は、オンライン会議に参加するための端末として構成される。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末によって実行される。

ここで、オンライン会議は、ネットワーク等を経由して接続されるサーバ装置又はクラウドシステムによって開催され得る。本開示の一実施形態に係る電子機器１は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムとして構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムによって実行されてよい。

言い換えれば、本開示の一実施形態に係る電子機器１は、オンライン会議のホストとなる機器として構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、オンライン会議のホストとなる機器によって実行されてもよい。

オンライン会議を提供するサーバ装置、クラウドシステム、又は、ホスト機器は、内部状態の推定結果を端末に出力してもよいし、内部状態の推定結果に基づく警報を端末に出力してもよい。

本開示の内容は、当業者であれば本開示に基づき種々の変形及び改変を行うことができる。したがって、これらの変形及び改変は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

本開示の一実施形態に係る電子機器１は、例えば、移動体に搭載されてもよい。移動体は、例えば車両、船舶、又は航空機等を含んでよい。本開示の一実施形態に係る電子機器１は、移動体に搭載される場合、乗用車のような移動体に搭乗している者（運転者又は同乗者）の所定の内部状態（例えば所定の心理状態、感情又は集中度等）を推定できる。電子機器１は、移動体を運転する運転者の内部状態として、運転者の運転時の感情又は集中度等の内部状態を推定してよい。電子機器１は、移動体に搭載される端末と通信可能に接続されるサーバ装置又はクラウドシステムとして構成されてもよい。

車両は、例えば自動車、産業車両、鉄道車両、生活車両、又は滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、又はトロリーバス等を含んでよい。産業車両は、例えば農業又は建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト又はゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、又は芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、又はロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット(personal watercraft(PWC))、ボート、又はタンカー等を含んでよい。航空機は、例えば固定翼機又は回転翼機等を含んでよい。また、本開示の「ユーザ」及び「対象者」は、車両又は航空機等の移動体を運転している者であってよいし、移動体を運転していない同乗者であってもよい。

一実施形態において、（１）電子機器は、
第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する制御部を備え、
前記制御部は、
前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。

（２）上記（１）の電子機器において、前記制御部は、前記対象者の内部状態の推定結果の確信度を算出し、前記確信度に基づいて前記対象者の内部状態の推定結果を出力するか前記対象者の内部状態の推定をやり直すかを決定してよい。

（３）上記（１）又は（２）の電子機器において、前記制御部は、前記対象者の属性情報に更に基づいて前記対象者の内部状態を推定してよい。

一実施形態において、（４）電子機器の制御方法は、
第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器が、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成し、
前記電子機器が、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
前記電子機器が、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
前記電子機器が、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する。

一実施形態において、（５）電子機器の制御プログラムは、
第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器に、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成させ、
前記電子機器に、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成させ、
前記電子機器に、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測させ、
前記電子機器に、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定させる。

１ 電子機器（１０：制御部、１２：抽出部、１４：予測部、１６：判定部、１８：視線予測部、２０：生体情報取得部、２１：第１生体情報取得部、２２：第２生体情報取得部、３０：記憶部、４０：報知部）
８０ 予測モデル（８１：入力層、８２：出力層、８３、８４：未知の値を表す層、８５、８６、８７、８８：中間層）
ＥＮＮ エンコーダ
ＤＮＮ デコーダ

Claims (5)

1. 第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する制御部を備え、
   前記制御部は、
   前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
   前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
   予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する、
   電子機器。
2. 前記制御部は、前記対象者の内部状態の推定結果の確信度を算出し、前記確信度に基づいて前記対象者の内部状態の推定結果を出力するか前記対象者の内部状態の推定をやり直すかを決定する、請求項１に記載の電子機器。
3. 前記制御部は、前記対象者の属性情報に更に基づいて前記対象者の内部状態を推定する、請求項１又は２に記載の電子機器。
4. 第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器が、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成し、
   前記電子機器が、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成し、
   前記電子機器が、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測し、
   前記電子機器が、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定する、
   電子機器の制御方法。
5. 第１期間及び前記第１期間より後の第２期間それぞれにおける対象者の生体情報の測定結果に基づいて前記対象者の内部状態を推定する電子機器に、前記対象者の内部状態を仮定した複数の状態それぞれを示す仮定情報を生成させ、
   前記電子機器に、前記第１期間における、前記対象者の仮の内部状態に対応する仮定情報を生成させ、
   前記電子機器に、前記対象者の仮の内部状態と前記第１期間における前記対象者の生体情報の測定結果とに基づいて前記第２期間における対象者の生体情報を予測させ、
   前記電子機器に、予測した前記生体情報と前記第２期間における対象者の生体情報の測定結果との差異に基づいて、前記生体情報に対応する内部状態を推定させる、
   電子機器の制御プログラム。
   

Images