JP2022169359A - 電子機器、電子機器の制御方法、及びプログラム - Google Patents

Abstract

【課題】対象者の集中度のような内部状態を合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供する。【解決手段】電子機器は、エンコーダ及びデコーダを備える。エンコーダは、対象者の画像から抽出される対象者の視線を含む第１生体情報、対象者の環境情報、及び対象者の内部状態を示す情報に基づいて、未知の値を推定する。デコーダは、未知の値、対象者の環境情報、及び対象者の内部状態を示す情報に基づいて、対象者の視線を含む第２生体情報を推定する。電子機器は、第２生体情報による第１生体情報の再現度に基づいて、エンコーダ及びデコーダのパラメータを調整する。【選択図】図１

Description

本発明は、電子機器、電子機器の制御方法、及びプログラムに関する。

移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行ったりすることが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている（特許文献１参照）。

また、近年、対象者の集中度又は感情などの内部状態の推定を試みる研究が行われている。例えば、講義中に、教師の発話、学習者の生体情報、及び学習者の動画を記録し、講義後に学習者が各シーンにおける自身の感情を内観報告することにより、学習者の心的状態を推定する試みが報告されている（非特許文献１参照）。さらに、例えば、Ｘ線写真を診る読影士の視線データ及び診断結果のデータを収集して、深層学習によって胸部Ｘ線写真を診断する試みも報告されている（非特許文献２参照）。

国際公開第２００８／０２９８０２号

松居 辰則、宇野 達朗、田和辻 可昌、「心的状態の時間遅れと持続モデルを考慮した生体情報からの学習者の心的状態推定の試み」、２０１８年度人工知能学会全国大会（第３２回）、一般社団法人 人工知能学会 井上 大輝、木村 仁星、中山 浩太郎、作花 健也、Rahman Abdul、中島 愛、Patrick Radkohl、岩井 聡、河添 悦昌、大江 和彦、「視線データを活用した深層学習による胸部Ｘ線写真の診断的分類」、２０１９年度人工知能学会全国大会（第３３回）、一般社団法人 人工知能学会

特許文献１においては、累積視認度を算出するために、毎時における視認度を、テーブルを用いて算出している。しかしながら、実環境の多様な運転状況に対して適切なテーブルは異なっており、多様な運転状況において、運転者の注意力を正確に観察することは困難であった。

非特許文献１においては、対象者の生体情報と内部状態（感情など）との因果関係は、単純な識別モデルによっては合理的なモデル化が困難になることが懸念される。すなわち、本来、感情など心的状態が原因となって生体反応が生起されるのが合理的な情報処理の流れと考えられる。しかしながら、単純な識別モデルの学習では、逆に、生体情報から心的状態を推論する流れになっている。このため、モデルの構造が真実とは異なり、モデルの学習がうまく進まないことが想定される。また、対象者の生体情報に基づいて内部状態を推定するモデルのふるまいを使用者に説明することが必要な場面もある。このような観点からも、対象者の生体情報に基づいて内部状態を推定するモデルの因果関係について、合理性の更なる検証が望まれる。非特許文献２においても、非特許文献１と同様に、対象者の生体情報（視線データなど）と内部状態（疾患判断など）との因果関係も同様に、単純な識別モデルによっては合理的なモデル化が困難になることが懸念される。また、非特許文献２においても、対象者の生体情報に基づいて内部状態を推定するモデルの因果関係については、合理性の更なる検証が望まれる。以上のように、対象者の生体情報から対象者の集中度又は感情などの内部状態を良好な精度で推定するためには、データ生成の因果関係に関する合理的なモデル化が望ましい。

本開示の目的は、対象者の集中度のような内部状態をデータの生成過程に基づいて合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供することにある。

一実施形態に係る電子機器は、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコーダと、
を備える。
前記電子機器は、前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する。

また、一実施形態に係る電子機器は、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコーダと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコーダと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定する推定部と、
を備える。

一実施形態に係る電子機器の制御方法は、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を含む。

一実施形態に係る電子機器の制御方法は、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を含む。

一実施形態に係るプログラムは、
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
を実行させる。

一実施形態に係るプログラムは、
電子機器に、
対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
を実行させる。

一実施形態によれば、対象者の集中度のような内部状態を合理的に推定する電子機器、電子機器の制御方法、及びプログラムを提供することができる。

一実施形態に係る電子機器の概略構成を示すブロック図である。 一実施形態に係る電子機器によるエンコードの例を説明する概念図である。 一実施形態に係る電子機器によるデコードの例を説明する概念図である。 一実施形態に係る電子機器における自己符号化器の動作を説明する概念図である。 一実施形態に係る電子機器が学習フェーズにおいて行う動作を説明するフローチャートである。 一実施形態に係る電子機器が推定フェーズにおいて行う動作を説明するフローチャートである。 他の実施形態に係る電子機器の概略構成を示すブロック図である。 他の実施形態に係る電子機器の概略構成を示すブロック図である。

以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。以下の説明は、本開示を適用した、電子機器の制御方法、及びプログラムの説明を兼ねてもよい。

本開示において、「電子機器」とは、電力により駆動する機器としてよい。一実施形態に係る電子機器は、対象者の例えば集中度のような内部状態を推定する。ここで、「対象者」とは、一実施形態に係る電子機器によって内部状態が推定される対象となる者（典型的には人間）としてよい。また、本開示において、「ユーザ」とは、一実施形態に係る電子機器を使用する者（典型的には人間）としてよい。「ユーザ」は、「対象者」と同じ者としてもよいし、異なる者としてもよい。また、「ユーザ」及び「対象者」は、人間としてもよいし、人間以外の動物としてもよい。

本開示の一実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、及び航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット(personal watercraft(PWC))、ボート、及びタンカー等を含んでよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。また、本開示の「ユーザ」及び「対象者」は、車両などの移動体を運転している者でもよいし、車両なの移動体を運転していない車両の同乗者でもよい。

一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器は、例えば携帯電話又はスマートフォンのように、他の電子機器と通信を行う機能を有してもよい。ここで、上述の「他の電子機器」とは、例えば携帯電話又はスマートフォンのような電子機器としてもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器としてもよい。また、本開示における「他の電子機器」も、電力によって駆動される機器又は装置などとしてよい。一実施形態に係る電子機器が、他の電子機器と通信を行う際には、有線及び／又は無線による通信を行うものとしてよい。

以下、一例として、一実施形態に係る電子機器１は、例えば乗用車のような移動体に設けられるものとして説明する。この場合、一実施形態に係る電子機器１は、乗用車のような移動体に搭乗している者（運転者又は非運転者）の所定の内部状態（例えば所定の心理状態）を推定することができる。以下、一実施形態に係る電子機器１が、乗用車のような移動体を運転する運転者の内部状態として、運転者の運転時の集中度を推定する例について説明する。この場合、一実施形態に係る電子機器１は、例えば運転中に撮像された運転者の画像及び風景画像などに基づいて、運転者の運転時の集中度を推定することができる。

図１は、一実施形態に係る電子機器の機能的な概略構成を示すブロック図である。

図１に示すように、一実施形態に係る電子機器１は、制御部１０、第１撮像部２１、第２撮像部２２、記憶部３０、及び報知部４０を含んで構成されてよい。また、制御部１０、図１に示すように、抽出部１２、推定部１４、及び判定部１６を含んで構成されてよい。一実施形態に係る電子機器１は、図１に示す全ての機能部を含んでもよいし、図１に示す機能部の少なくとも一部を含まなくてもよい。例えば、一実施形態に係る電子機器１は、図１に示す制御部１０のみを備えてもよい。この場合、一実施形態に係る電子機器１は、外部機器として用意される、第１撮像部２１、第２撮像部２２、記憶部３０、及び報知部４０などに接続されるようにしてもよい。また、以下に説明するエンコーダＥＮＮ及びデコーダＤＮＮの機能は、制御部１０、推定部１４、及び記憶部３０の少なくともいずれか１つの機能により実現される。入力した情報やデータは、例えば、抽出部１２、エンコーダＥＮＮ、デコーダＤＮＮ、判定部１６の順に送信されるとしてよい。また、エンコーダＥＮＮから、以下に説明する潜在変数Ｚが出力されてもよい。この場合、出力された潜在変数Ｚは、デコーダＤＮＮに入力されてもよい。

制御部１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。制御部１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。制御部１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

制御部１０は、１以上のプロセッサ及びメモリを含んでもよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１０は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、及びＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１０は、電子機器１の各構成要素の動作を制御する。

制御部１０は、例えば、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、制御部１０は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。制御部１０に含まれる抽出部１２、推定部１４、及び判定部１６の少なくともいずれかは、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、抽出部１２、推定部１４、及び判定部１６の少なくともいずれかは、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。

抽出部１２は、第１撮像部２１によって撮像された対象者の画像から、対象者の視線を抽出する。推定部１４は、例えば対象者の集中度のような内部状態を推定する。判定部１６は、推定部１４によって推定された対象者の内部状態が所定の条件を満たすか否か判定する。判定部１６は、対象者の内部状態が所定の条件を満たす場合（例えば対象者の集中度が所定以下に低下した場合など）、所定の警報信号を報知部４０に出力する。本開示において、対象者の視線がデータとして抽出される視線のデータは、注視点の座標値（ｘ，ｙ）として扱ってよい。また、本開示において、視線のデータは、対象者の注視点の座標のみならず、例えば瞳孔径及び／又は眼球の回転情報などを視線の特徴量として用いてもよい。

制御部１０の動作、並びに、制御部１０に含まれる抽出部１２、推定部１４、及び判定部１６の動作については、さらに後述する。

第１撮像部２１は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。第１撮像部２１は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、第１撮像部２１は、撮像した画像に基づく信号を、制御部１０などに供給してよい。このため、図１に示すように、第１撮像部２１は、制御部１０に有線及び／又は無線で接続されてよい。第１撮像部２１は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、第１撮像部２１は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び／又は、光を吸収する特徴の差異などを、画像として撮像することができる。

第１撮像部２１は、対象者の画像を撮像する。以下、対象者の例として、乗用車のような移動体を運転する運転者を想定して説明する。すなわち、一実施形態において、第１撮像部２１は、乗用車のような移動体を運転する運転者を撮像する。一実施形態において、第１撮像部２１は、例えば対象者を所定時間ごと（例えば秒間３０フレーム）の静止画として撮像してもよい。また、一実施形態において、第１撮像部２１は、例えば対象者を連続した動画として撮像してもよい。撮像部２０は、ＲＧＢデータ、及び／又は、赤外線データなどの各種のデータ形態で対象者の画像を撮像するものとしてよい。

第１撮像部２１は、運転者を撮像するために、例えば乗用車のような移動体の内部前方において、運転者に向けて設置されてよい。第１撮像部２１によって撮像された対象者の画像は、制御部１０に供給される。後述のように、制御部１０において、抽出部１２は、対象者の画像から、対象者の視線を含む生体情報を抽出する。このため、第１撮像部２１は、運転者の眼球領域を含む画像を撮像するのに適した箇所に設置されてよい。また、以下の説明において、ニューラルネットワークに入力される情報は、画像を処理した後に得られる生体情報であるため、視線情報と定義することもできる。

また、第１撮像部２１は、例えばアイトラッカーのような視線検知部を含んで構成されてもよい。アイトラッカーは、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられてよい。この場合、アイトラッカーは、例えば、接触型のアイトラッカー及び非接触型のアイトラッカーのいずれかとしてもよい。アイトラッカーは、光景に対する対象者の視線を検知することができれば、任意のものとしてよい。

第２撮像部２２は、第１撮像部２１と同様に、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。すなわち、第２撮像部２２は、ＣＣＤ又はＣＭＯＳセンサ等のように、光電変換を行う撮像素子を含んで構成されてよい。例えば、第２撮像部２２は、撮像した画像に基づく信号を、制御部１０などに供給してよい。このため、図１に示すように、第２撮像部２２は、制御部１０に有線及び／又は無線で接続されてよい。第２撮像部２２は、対象者の画像を撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意の撮像デバイスとしてよい。例えば、第２撮像部２２は、近赤外線カメラを採用することで、光を反射する特徴の差異、及び／又は、光を吸収する特徴の差異などを、画像として撮像することができる。

第２撮像部２２は、主として対象者の前方の風景画像を撮像する。より具体的には、第２撮像部２２は、対象者の視線が向く方向を含む画像を撮像してよい。以下、対象者の例として、乗用車のような移動体を運転する運転者を想定して説明する。すなわち、一実施形態において、第２撮像部２２は、乗用車のような移動体を運転する運転者の視線が向かう方向の景色を撮像する。一般的に、移動体の運転者は、移動体の進行方向に視線を向けていることが多い。したがって、第２撮像部２２は、主として対象者の前方の風景画像を撮像してよい。また、状況によっては、移動体の運転者は、移動体の進行方向の左又は右などに視線を向けることもある。この場合、第２撮像部２２は、例えば対象者の左側又は右側の風景画像を撮像してもよい。一実施形態において、第２撮像部２２は、例えば対象者を所定時間ごと（例えば秒間３０フレーム）の静止画として撮像してもよい。また、一実施形態において、第２撮像部２２は、例えば風景を連続した動画として撮像してもよい。

第２撮像部２２は、運転者の前方の風景を撮像するために、例えば乗用車のような移動体の内部前方において、移動体の前方に向けて設置されてよい。第２撮像部２２によって撮像された対象者の画像は、制御部１０に供給される。後述のように、制御部１０において、第２撮像部２２によって撮像された画像は、第１撮像部２１によって撮像された対象者の視線の向く位置と対応付けられる。このため、第１撮像部２１は、運転者の視線が向く方向を含む画像を撮像するのに適した箇所に設置されてよい。

記憶部３０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部３０は、例えば制御部１０において実行されるプログラム、及び、制御部１０において実行された処理の結果などを記憶してよい。また、記憶部３０は、制御部１０のワークメモリとして機能してよい。このため、図１に示すように、記憶部３０は、制御部１０に有線及び／又は無線で接続されてよい。記憶部３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の少なくとも一方を含んでもよい。記憶部３０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部３０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部３０は、制御部１０として用いられるＣＰＵの内部メモリであってもよいし、制御部１０に別体として接続されるものとしてもよい。

記憶部３０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。機械学習データは、機械学習によって生成されるパラメータを含むものとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測及び／又はデータ生成などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてもよい。本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。

本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープニューラルネットワークを利用するとしてよい。ディープニューラルネットワークは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープニューラルネットワークと呼ばれている。ディープニューラルネットワークを用いた機械学習のアルゴリズムがディープラーニングと呼ばれている。ディープラーニングは、ＡＩを構成するアルゴリズムとして多用されている。

一実施形態において、記憶部３０に記憶される情報は、例えば工場出荷時などまでに予め記憶された情報としてもよいし、制御部１０などが適宜取得する情報としてもよい。一実施形態において、記憶部３０は、制御部１０又は電子機器１などに接続された通信部（通信インタフェース）から受信する情報を記憶してもよい。この場合、通信部は、例えば外部の電子機器又は基地局などと無線又は有線の少なくとも一方で通信することにより、各種の情報を受信してよい。また、一実施形態において、記憶部３０は、制御部１０又は電子機器１に接続された入力部（入力インタフェース）などに入力された情報を記憶してもよい。この場合、電子機器１のユーザ又はその他の者は、入力部を操作することにより、各種の情報を入力してよい。

報知部４０は、制御部１０から出力される所定の信号（例えば警報信号など）に基づいて、電子機器１のユーザなどに注意を促すための所定の警報を出力してよい。このため、図１に示すように、報知部４０は、制御部１０に有線及び／又は無線で接続されてよい。報知部４０は、所定の警報として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、及び触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部４０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかを含んで構成されてよい。このように、報知部４０は、制御部１０から出力される所定の信号に基づいて、所定の警報を出力してよい。一実施形態において、報知部４０は、所定の警報を、人間などの生物の聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として出力してもよい。

一実施形態において、報知部４０は、例えば対象者の内部状態として当該対象者の集中度が所定の閾値以下に低下と推定されると、対象者の集中力が低下した旨の警報を出力してよい。例えば、一実施形態において、視覚情報を出力する報知部４０は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を発光又は所定の表示などによって運転者及び／又は他のユーザなどに報知してよい。また、一実施形態において、聴覚情報を出力する報知部４０は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を所定の音又は音声などによって運転者及び／又は他のユーザなどに報知してよい。また、一実施形態において、触覚情報を出力する報知部４０は、例えば運転者の集中度が所定の閾値以下に低下と推定されると、その旨を所定の振動などによって運転者及び／又は他のユーザなどに報知してよい。このようにして、運転者及び／又は他のユーザなどは、例えば運転者の集中度が低下している旨を知ることができる。

次に、一実施形態に係る電子機器１による、対象者の内部情報の推定について説明する。

一実施形態に係る電子機器１は、自己符号化器（auto encoder）を用いて、運転者の運転中の画像などに基づく機械学習を行うことにより、運転者の集中度などのような内部状態を推定する。自己符号化器は、ニューラルネットワークのアーキテクチャの１つである。自己符号化器は、エンコーダ（以下、符号ＥＮＮを対応させることがある）及びデコーダ（以下、符号ＤＮＮを対応させることがある）を含むニューラルネットワークである。一実施形態に係る電子機器１において、制御部１０は、自己符号化器としての機能を含んでよい。すなわち、一実施形態に係る電子機器１の制御部１０は、エンコーダＥＮＮ及びデコーダＤＮＮとしての機能を備える。

図２及び図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークを概念的に示す図である。図２は、エンコーダを概念的に示す図である。すなわち、図２は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのエンコーダＥＮＮを概念的に示す図である。また、図３は、デコーダを概念的に示す図である。すなわち、図３は、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークのデコーダＤＮＮを概念的に示す図である。まず、一実施形態に係る電子機器１が対象者（運転者）の画像及び風景画像に基づいて、対象者の集中度のような内部状態を推定する原理について説明する。

一実施形態に係る電子機器１によって対象者の内部状態を推定するに際し、図３に示すように、対象者の画像に関連する第２生体情報Ｘ’は、内部状態を示す情報Ｙと、未知の値Ｚと、環境情報Ｓとが原因となって生じる、という生成過程を仮定する。ここで、対象者の画像に関連する第２生体情報Ｘ’は、対象者（例えば運転者）の視線など、対象者の眼球領域の画像の情報を含むものとしてよい。また、内部状態を示す情報Ｙは、対象者の例えば集中度のような内部状態を示す情報を含むものとしてよい。また、未知の値Ｚは、観測できない潜在変数を含むものとしてよい。さらに、環境情報Ｓは、対象者の視線が向く方向を含んで撮像された画像（風景画像）の情報を含むものとしてよい。本開示の環境情報Ｓは、例えば、時間帯、曜日、気温、天気、風速、道路の幅、車線数、直線道路及びカーブなどの道路の構造、高速道路か一般道路かなどの道路の種別、道路の混雑具合、対象者が車などの乗り物に登場している際の同乗者の数、家族、知り合い、客などの同乗者の種別、道路における信号機の数などの設置物の種類及び／又は数、道路における歩行者の数、歩行者の混雑の程度、歩行者が老人又は幼児であるなどのその種別等のうちから任意のものを少なくとも一つを含むとしてよい。

一実施形態に係る電子機器１による機械学習時においては、まず、図２に示すように、ニューラルネットワークのエンコーダＥＮＮを用いて、対象者の画像に関連する第１生体情報Ｘと、内部状態を示す情報Ｙと、環境情報Ｓとから、未知の値Ｚを推論する。ここで、対象者の画像に関連する第１生体情報Ｘは、対象者（例えば運転者）の視線など、対象者の眼球領域の画像の情報を含むものとしてよい。この第１生体情報Ｘに含まれる対象者の視線などの情報は、第１撮像部２１によって撮像される対象者の画像から、抽出部１２によって抽出されるものとしてよい。また、内部状態を示す情報Ｙは、上述のように、対象者の例えば集中度のような内部状態を示す情報を含むものとしてよい。また、環境情報Ｓは、上述のように、対象者の視線が向く方向を含んで撮像された画像（風景画像）の情報を含むものとしてよい。さらに、未知の値Ｚは、上述のように、観測できない潜在変数を含むものとしてよい。以下、対象者の内部状態を推定するための学習を行うフェーズを、単に「学習フェーズ」と記すことがある。

上述のように未知の値Ｚが推論されると、図３に示すニューラルネットワークのデコーダＤＮＮを用いて、推論された未知の値Ｚと、内部状態を示す情報Ｙと、環境情報Ｓとから、対象者の画像に関連する第２生体情報Ｘ’を生成することができる。ここで、対象者の画像に関連する第２生体情報Ｘ’は、対象者の画像に関連する第１生体情報Ｘを再構成したものとなる。一実施形態に係る電子機器１において、この第２生体情報Ｘ’が、元の第１生体情報Ｘから変化した度合いを損失関数とし、誤差逆伝搬によってニューラルネットワークの重みパラメータを更新してよい。また、この損失関数に、未知の値Ｚの従う確率分布が所定の確率分布からどの程度逸脱したかを表す正則化項を含んでもよい。この所定の確率分布は、例えば正規分布であってもよい。この所定の確率分布と未知の値Ｚが従う分布との逸脱度合いを表す項として、カルバック・ライブラダイバージェンスを用いてもよい。

図４は、一実施形態に係る電子機器１における自己符号化器による実装を概念的に示す図である。まず、一実施形態に係る電子機器１による学習フェーズについて説明する。

図４に示すように、一実施形態に係る電子機器１において、最下段に示す第１生体情報Ｘが与えられ、さらに内部状態を示す情報Ｙ及び環境情報Ｓが与えられると、図４の中段に示す未知の値Ｚが推論される。そして、一実施形態に係る電子機器１において、未知の値Ｚが推論され、さらに内部状態を示す情報Ｙ及び環境情報Ｓが与えられると、最上段に示す第２生体情報Ｘ’が得られる。

一実施形態に係る電子機器１において、第１生体情報Ｘ及び環境情報Ｓのみが与えられることにより、内部状態を示す情報Ｙ及び未知の値Ｚが推定されるようにしてもよい。ここで、第１生体情報Ｘは、第１撮像部２１によって撮像される対象者の画像から抽出される対象者の視線を含む情報としてよい。また、環境情報Ｓは、第２撮像部２２によって撮像される風景画像の情報を含むものとしてよい。

図４に示すように、一実施形態に係る電子機器１において、自己符号化器は、対象者の画像に関連する第１生体情報Ｘ、内部状態を示す情報Ｙ、及び環境情報Ｓから、未知の値Ｚを介して、対象者の画像に関連する第２生体情報Ｘ’を再現する。すなわち、一実施形態に係る電子機器１において、自己符号化器は、対象者の視線の画像（第１生体情報Ｘ）に基づいて、対象者の視線の画像（第２生体情報Ｘ’）を再構成する機能を備える。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方には、注視点の座標値（ｘ，ｙ）を含むとしてよい。また、本開示において、対象者の視線の画像及び視線の特徴量には、注視点の座標だけでなく、例えば瞳孔径若しくは眼球の回転情報、又はこれらの組み合わせなどの視線の特徴量が含まれるとしてもよい。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を抽出することを、単に「視線を抽出する」又は「視線を取得する」等と表記することがある。本開示において、対象者の視線の画像及び視線の特徴量の少なくとも一方を推定することを、単に「視線を推定する」又は「視線を算出する」等と表記することもある。

一実施形態に係る電子機器１において、第１生体情報Ｘの観測時に対応する内部状態を示す情報Ｙを入力して、対象者の第２生体情報Ｘ’を再構成してよい。一実施形態において、例えば集中度とする内部状態の種々の場合について、対象者の視線を含む情報（第２生体情報Ｘ’）を観測した際の内部状態を示す情報Ｙを用いて、対象者の第２生体情報Ｘ’を再構成してよい。例えば、一実施形態において、対象者が移動体の運転のみに完全に集中している状態を意図的に作り出してもよい。この場合、一実施形態に係る電子機器１の自己符号化器は、その時に観測された対象者の視線を含む情報（第１生体情報Ｘ）と、その時の内部状態を示す情報Ｙから、対応する対象者の視線を含む情報（第２生体情報Ｘ’）を再構成してよい。また、例えば、対象者が移動体の運転に完全には集中していない状態を意図的に作り出し、その時の内部状態を示す情報Ｙに対応する対象者の視線を含む情報（第２生体情報Ｘ’）を、一実施形態に係る電子機器１の自己符号化器によって再構成してよい。ここで、対象者が移動体の運転に完全には集中していない状態とは、例えば、運転者が移動体の運転中に所定の暗算などを同時に行う状態としてもよい。そして、所定の暗算のレベル（比較的簡単な暗算又は比較的複雑な暗算など）に応じて、対象者が移動体の運転に完全には集中していない状態の度合いを段階的に調節してもよい。例えば、運転者が移動体の運転中に非常に簡単な暗算を同時に行う状態は、対象者が移動体の運転に完全には集中していないが比較的集中している状態としてもよい。また、運転者が移動体の運転中に相当複雑な暗算を同時に行う状態は、対象者が移動体の運転に比較的集中していない状態としてもよい。本開示では、学習フェーズでは、視線Ｘに対応する集中度Ｙは、既知のものとしてよい。このため、学習フェーズでは、複数のＹを仮定する必要はない。例えば、本開示では、上記暗算タスクによって視線観測時に対応する集中度を定義するとしてもよい。

上述のようにして、一実施形態に係る電子機器１において、対応する内部状態を示す情報Ｙを用いて、対象者の視線を含む情報（第２生体情報Ｘ’）を再構成してよい。内部状態を示す情報Ｙは、例えば集中している状態においてＹ＝０とし、例えば集中していない状態においてＹ＝１などとしてよい。そして、対応する内部状態を示す情報Ｙに基づいて再構成される対象者の視線を含む情報（第２生体情報Ｘ’）が、元の対象者の視線を含む情報（第１生体情報Ｘ）を再現した度合いをより大きくするように、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。このようにして、一実施形態に係る電子機器１は、第２生体情報Ｘ’による第１生体情報Ｘの再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。

図５は、一実施形態に係る電子機器１による学習フェーズを説明するフローチャートである。以下、図５を参照して、一実施形態に係る電子機器１による学習フェーズを説明する。

図５に示す学習フェーズの動作が開始するに際し、対象者（運転者）は移動体を運転しているものとする。ここで、対象者は、乗用車のような移動体を現実に運転していてもよいし、例えばドライブシミュレータを用いて仮想的に移動体を運転していてもよい。また、図５に示す動作が開始するに際し、第１撮像部２１は対象者の画像を撮像しているものとする。ここで、第１撮像部２１は、対象者の画像から対象者の視線が抽出できるように、対象者の眼球領域を含む画像を撮像するものとしてよい。さらに、図５に示す動作が開始するに際し、第２撮像部２２は、対象者の視線が向く方向を含む画像（風景画像）を撮像しているものとする。上記対象者の視線には、対象者の視線の特徴量を含むとしてもよい。

図５に示す動作が開始すると、一実施形態に係る電子機器１の制御部１０は、第１撮像部２１によって撮像された対象者の画像を取得する（ステップＳ１１）。ステップＳ１１において取得される対象者の画像とは、上述のように、対象者の視線が抽出できるように、対象者の眼球領域を含む画像としてよい。

ステップＳ１１において対象者の画像を取得したら、制御部１０の抽出部１２は、対象者の画像から対象者の視線を抽出する（ステップＳ１２）。ステップＳ１２において、対象者の画像から対象者の視線を抽出する技術は、例えば画像認識などの任意の技術を採用してよい。例えば、抽出部１２の機能に代えて、第１撮像部２１は、上述のように、例えばアイトラッカーのような視線検知部を含んで構成されてもよい。このようにして、一実施形態に係る電子機器１の制御部１０は、ステップＳ１２において、対象者の画像から抽出される対象者の視線を含む第１生体情報Ｘを取得する。

ステップＳ１２において対象者の視線が抽出されたら、制御部１０は、対象者の所定の環境情報を取得する（ステップＳ１３）。ステップＳ１３において、制御部１０は、対象者の所定の環境情報として、例えば第２撮像部２２によって撮像される風景画像を、第２撮像部２２から取得してよい。また、ステップＳ１３において、例えば第２撮像部２２によって撮像される風景画像が記憶部３０に記憶される場合、当該風景画像を記憶部３０から取得してもよい。このようにして、一実施形態に係る電子機器１の制御部１０は、ステップＳ１３において、対象者の環境情報Ｓを取得する。

ステップＳ１３において対象者の属性情報を取得したら、制御部１０の推定部１４は、未知の値を推定する（ステップＳ１４）。ステップＳ１４において、推定部１４は、自己符号化器のエンコーダＥＮＮによって、対象者の視線を含む第１生体情報Ｘ、対象者の環境情報Ｓ、及び対象者の内部状態を示す情報Ｙに基づいて、未知の値Ｚを推定してよい（図２参照）。ここで、対象者の内部状態を示す情報Ｙは、上述のように、意図的に作り出した対象者の集中度に対応する値としてよい。

ステップＳ１４において未知の値が推定されたら、制御部１０の推定部１４は、対象者の視線を含む第２生体情報を推定する（ステップＳ１５）。ステップＳ１４において、推定部１４は、自己符号化器のデコーダＤＮＮによって、対象者の内部状態を示す情報Ｙ、未知の値Ｚ、及び対象者の環境情報Ｓに基づいて、対象者の視線を含む第２生体情報Ｘ’を推定してよい（図３参照）。

ステップＳ１５において第２生体情報Ｘ’が推定されたら、制御部１０は、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整する（ステップＳ１６）。ステップＳ１６において、制御部１０は、対象者の視線を含む第２生体情報Ｘ’によって、対象者の視線を含む第１生体情報Ｘが再現される度合いに基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。また、前述のように、この再現の度合いに加えて、エンコーダＥＮＮによって推論された未知の値Ｚの従う確率分布が所定の確率分布からどのくらい逸脱しているかを表す分布逸脱度も含めた損失関数に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してよい。以上のような学習フェーズにおける動作によって、一実施形態に係る電子機器１は学習を行うことができる。

このように、一実施形態に係る電子機器１において、制御部１０のエンコーダＥＮＮは、対象者の画像から抽出される対象者の視線を含む第１生体情報Ｘ、対象者の環境情報Ｓ、及び対象者の内部状態を示す情報Ｙに基づいて、未知の値Ｚを推定する。また、一実施形態に係る電子機器１において、制御部１０のデコーダＤＮＮは、未知の値Ｚ、対象者の環境情報Ｓ、及び対象者の内部状態を示す情報Ｙに基づいて、対象者の視線を含む第２生体情報Ｘ’を推定する。そして、一実施形態に係る電子機器１は、第２生体情報Ｘ’による第１生体情報Ｘの再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整する。

一実施形態において、対象者の内部状態を示す情報Ｙは、対象者の集中度を示す情報を含んでもよい。特に、一実施形態において、対象者の内部状態を示す情報Ｙは、対象者が乗り物を運転している最中の集中度を示す情報を含んでもよい。

また、一実施形態において、対象者の環境情報Ｓは、対象者の前方の風景画像の情報を含んでもよい。また、一実施形態において、対象者の環境情報Ｓは、対象者の視線が向く方向を含んで撮像された画像の情報を含んでもよい。

上述のステップＳ１２において、制御部１０の抽出部１２は、対象者の画像から対象者の視線を抽出するものとして説明した。一方、ステップＳ１２において、制御部１０の抽出部１２は、対象者の画像から、対象者の視線が向く先を示す座標を抽出してもよい。また、この場合、ステップＳ１５において、制御部１０の推定部１４は、対象者の視線を含む第２生体情報として、対象者の視線が向く先を示す座標を推定してもよい。このようにすれば、第１生体情報Ｘ及び第２生体情報Ｘ’に含まれる対象者の視線が向く先を、ステップＳ１３において取得された対象者の環境情報Ｓ（風景画像）における位置と容易に対応させることができる。このように、一実施形態に係る電子機器１において、第１生体情報Ｘ及び第２生体情報Ｘ’の少なくとも一方は、対象者の視線の座標を含んでもよい。

一実施形態に係る電子機器１において、制御部１０は、自己符号化器のエンコーダＥＮＮによって、潜在変数である未知の値Ｚを推論することができる。また、一実施形態に係る電子機器１において、制御部１０は、自己符号化器のデコーダＤＮＮによって、未知の値Ｚに基づいて、第１生体情報Ｘの再構成として第２生体情報Ｘ’を推定することができる。上述のように、一実施形態に係る電子機器１は、第２生体情報Ｘ’による第１生体情報Ｘの再現度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整することができる。

一実施形態に係る電子機器１において、制御部１０は、第１生体情報Ｘと第２生体情報Ｘ’との差異として、例えば平均二乗誤差又は差の絶対値などのような、両者の差を計算してもよい。また、制御部１０は、第２生体情報Ｘ’を確率分布として出力することにより、その確率分布における第１生体情報Ｘの確率又は確率の対数を計算してもよい。一実施形態において、制御部１０は、未知の値Ｚについて事前確率の分布を定義してもよい。この場合、制御部１０は、推定した未知の値Ｚの事前確率を算出して、第１生体情報Ｘの確率とともに用いてもよい。すなわち、制御部１０は、未知の値Ｚが例えば正規分布のような所定の確率分布から乖離している度合いに基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してもよい。また、一実施形態において、制御部１０は、自己符号化器のエンコーダによって、未知の値Ｚを近似的な事後確率の分布として出力してもよい。この場合、未知の値Ｚが所定の確率分布から乖離している度合いは、未知の値Ｚの事前分布と事後分布の乖離の指標としてよく、例えば乖離の指標としてカルバック・ライブラダイバージェンスを用いてもよい。この場合、制御部１０は、複数の未知の値Ｚをサンプリングして、複数の第２生体情報Ｘ’を求めてもよい。このように、一実施形態に係る電子機器１は、未知の値Ｚが所定の確率分布から乖離している程度に基づいて、エンコーダＥＮＮ及びデコーダＤＮＮのパラメータを調整してもよい。

上述のようにして、一実施形態に係る電子機器１は、学習フェーズを実行することにより、対象者の内部状態を推定するのに適したパラメータを得ることができる。以下、対象者の内部状態を推定するフェーズを、単に「推定フェーズ」と記すことがある。

図６は、一実施形態に係る電子機器１による推定フェーズを説明するフローチャートである。以下、図６を参照して、一実施形態に係る電子機器１による推定フェーズを説明する。

図６に示す推定フェーズの動作が開始するに際し、対象者（運転者）は移動体を運転しているものとする。ここで、対象者は、乗用車のような移動体を現実に運転しているものとする。また、検証実験のようなテストにおいては、対象者は、例えばドライブシミュレータを用いて仮想的に移動体を運転していてもよい。また、図６に示す動作が開始するに際し、第１撮像部２１は対象者の画像を撮像しているものとする。ここで、第１撮像部２１は、対象者の画像から対象者の視線が抽出できるように、対象者の眼球領域を含む画像を撮像するものとしてよい。さらに、図６に示す動作が開始するに際し、第２撮像部２２は、対象者の視線が向く方向を含む画像（風景画像）を撮像しているものとする。このようにして、一実施形態に係る電子機器１の制御部１０は、対象者の環境情報Ｓを取得することができる。

図６に示す動作が開始すると、一実施形態に係る電子機器１の制御部１０は、第１撮像部２１によって撮像された対象者の画像を取得する（ステップＳ２１）。ステップＳ２１において取得される対象者の画像とは、上述のように、対象者の視線が抽出できるように、対象者の眼球領域を含む画像としてよい。ステップＳ２１の動作は、図５に示したステップＳ１１の動作と同様に行ってよい。

ステップＳ２１において対象者の画像を取得したら、制御部１０の抽出部１２は、対象者の画像から対象者の視線を抽出する（ステップＳ２２）。ステップＳ２２の動作は、図５に示したステップＳ１２の動作と同様に行ってよい。このようにして、一実施形態に係る電子機器１の制御部１０は、ステップＳ２２において、対象者の画像から抽出される対象者の視線を含む第１生体情報Ｘを取得する。

ステップＳ２２において対象者の視線が抽出されたら、制御部１０の推定部１４は、対象者の内部状態を示す情報Ｙを推定する（ステップＳ２３）。ステップＳ２３において推定される対象者の内部状態を示す情報Ｙは、例えば対象者の集中度を示す情報としてよい。特に、一実施形態において、対象者の内部状態を示す情報Ｙは、例えば対象者が乗用車のような乗り物（移動体）を運転している最中の集中度を示す情報を含んでよい。

ステップＳ２３において、一実施形態に係る電子機器１は、例えば以下のようにして、対象者の内部状態を示す情報Ｙを推定してよい。すなわち、例えば、一実施形態に係る電子機器１の制御部１０は、例えば集中している状態における内部状態を示す情報Ｙを０とし、例えば集中していない状態における内部状態を示す情報Ｙを１とするなどとして、複数の内部状態を示す情報Ｙを仮定する。同様に、一実施形態において、制御部１０は、例えば内部状態を示す情報Ｙを０から１の間で複数仮定してもよい。

そして、制御部１０は、このように仮定した複数の内部状態を示す情報Ｙのそれぞれについて、再構成された対象者の視線を含む情報（第２生体情報Ｘ’）が、元の対象者の視線を含む情報（第１生体情報Ｘ）を再現する度合いを検証する。そして、推定部１４は、再構成された対象者の視線を含む情報（第２生体情報Ｘ’）が、元の対象者の視線を含む情報（第１生体情報Ｘ）を再現する度合い（再現度）を最も高くする内部状態を示す情報Ｙを、その時の対象者の内部状態（集中度）と推定する。例えば、対象者の内部状態を示す情報Ｙが０の時に、上述の再現度が最も高くなる場合、推定部１４は、対象者が集中している状態と推定してよい。一方、例えば、対象者の内部状態を示す情報Ｙが１の時に、上述の再現度が最も高くなる場合、推定部１４は、対象者が集中していない状態と推定してよい。また、例えば、対象者の内部状態を示す情報Ｙが０から１の間の値の時に、上述の再現度が最も高くなる場合、推定部１４は、対象者が当該値に対応する集中度である状態と推定してよい。一実施形態において、制御部１０は、未知の値Ｚについて事前確率の分布を定義してもよい。この場合、制御部１０は、推定した未知の値Ｚの事前確率及び／又は事前確率の対数を算出して、上述の再現度とともに用いてもよい。また、一実施形態において、制御部１０は、自己符号化器のエンコーダによって、未知の値Ｚを近似的な事後確率の分布として出力してもよい。この場合、制御部１０は、複数の未知の値Ｚをサンプリングして、複数の第２生体情報Ｘ’を求めてもよい。またこの場合、制御部１０は、推定した未知の値Ｚの近似的な事後確率及び／又は近似的な事後確率の対数を算出して用いてもよい。制御部１０部は、エンコーダＥＮＮが推定した未知の値Ｚが所定の確率分布から生成され易い度合いを表す確率又は対数確率に基づいて推定を行ってもよい。上記対象者の視線の画像には、対象者の視線の座標、及び瞳孔径又は眼球の回転情報など視線の特徴量のうち少なくとも一方が含まれるものとしてよい。

ステップＳ２３において対象者の内部状態を示す情報Ｙが推定されたら、判定部１６は、推定された集中度が所定の閾値以下であるか否かを判定する（ステップＳ２４）。ステップＳ２４の処理を行うに際し、対象者の集中度について警報を出す基準となる所定の閾値を予め設定しておいてよい。このようにして設定された所定の閾値は、例えば記憶部３０に記憶してもよい。ステップＳ２４において、判定部１６は、推定された集中度が所定の閾値以下であるか否かのように、推定された集中度が所定の条件を満たすか否かを判定してよい。

ステップＳ２４において集中度が所定の閾値以下である（集中度が低下した）場合、判定部１６は、所定の警報を報知部４０から出力して（ステップＳ２５）、図６に示す動作を終了してよい。一方、ステップＳ２４において集中度が所定の閾値以下でない（集中度が低下していない）場合、判定部１６は、図６に示す動作を終了してよい。図６に示す動作が終了すると、制御部１０は、適宜、図６に示す処理を再び開始してもよい。

このように、一実施形態に係る電子機器１において、制御部１０のエンコーダＥＮＮは、対象者の画像から抽出される対象者の視線を含む第１生体情報Ｘ、対象者の環境情報Ｓ、及び対象者の内部状態を示す情報Ｙとして仮定される値に基づいて、未知の値Ｚを推定する。また、一実施形態に係る電子機器１において、制御部１０のデコーダＤＮＮは、未知の値Ｚ、対象者の環境情報Ｓ、及び対象者の内部状態を示す情報Ｙとして仮定される値に基づいて、対象者の視線を含む第２生体情報Ｘ’を推定する。そして、一実施形態に係る電子機器１は、対象者の内部状態を示す情報Ｙとして複数の値を仮定して、その複数の値のうち第２生体情報Ｘ’による第１生体情報Ｘの再現度が最も高くなる値を、対象者の内部状態を示す情報Ｙと推定する。また、電子機器１は、エンコーダＥＮＮが推定した未知の値Ｚの従う確率分布が所定の確率分布からどれくらい逸脱しているかを表す分布逸脱度を用いて対象者の内部状態を推定してもよい。当該所定の確率分布は正規分布であってもよい。当該分野逸脱度はカルバック・ライブラダイバージェンスを用いてもよい。

一実施形態に係る電子機器１は、対象者の内部状態を示す情報Ｙとして仮定される複数の値のうち第２生体情報Ｘ’による第１生体情報Ｘの再現度が最も高くなる値が所定の条件を満たす場合、所定の警報を出力してもよい。

上述した学習フェーズ及び／又は推定フェーズにおいて、各種情報の取得及び推定は、所定期間に取得された時系列の情報に基づいて行ってもよい。すなわち、一実施形態に係る電子機器１における自己符号化器のエンコーダＥＮＮ及びデコーダＤＮＮは、例えば対象者の環境情報Ｓを、所定期間に取得された時系列の情報として処理してよい。また、一実施形態に係る電子機器１における自己符号化器のエンコーダＥＮＮ及びデコーダＤＮＮは、例えば第１生体情報Ｘ及び／又は第２生体情報Ｘ’を、所定期間に取得された時系列の情報として処理してよい。

このように、一実施形態に係る電子機器１において、対象者の環境情報Ｓ、第１生体情報Ｘ、及び第２生体情報Ｘ’の少なくともいずれかは、所定期間に取得された時系列の情報としてもよい。一実施形態に係る電子機器１において、自己符号化器のエンコーダＥＮＮ及びデコーダＤＮＮによって時系列の情報を処理することで、対象者の内部状態を示す情報Ｙの推定精度の向上が期待され得る。

以上のように、一実施形態に係る電子機器１は、対象者の内部状態を原因として、対象者の視線を含む生体情報が生成されるというモデルに基づいて、対象者の内部状態を推定することができる。したがって、一実施形態に係る電子機器１は、データの生成過程に基づく自然な因果関係によって、対象者の集中度のような内部状態を合理的に推定することができる。また、一実施形態に係る電子機器１は、例えば移動体を運転中の対象者の集中度が低下したら、所定の警報を出力することができる。したがって、一実施形態に係る電子機器１によれば、例えば移動体を運転中の対象者の安全性を高めることができる。一実施形態によれば、対象者の集中度のような内部状態をデータ生成過程に基づいて合理的に推定することができる。

一般的に、人間の視線及び／又は注意行動などは、周囲の風景のような環境に影響される傾向にある。したがって、対象者の内部状態を推定する際には、例えば上述のような対象者の環境を適切に考慮しないと、良好な精度の結果が得られないことが懸念される。また、対象者の内部状態を推定する際には、推定結果がどのようなモデルに基づくものなのか、ユーザに客観的に説明可能であることが望ましい。

例えば、対象者を撮像した画像から、対象者の集中度のような内部状態を推定する場合、従来の機械学習のように、両者の因果関係とは逆に、すなわち対象者の視線など生体反応データから内部状態を推定するように学習を行うことも想定される。しかしながら、このような場合、因果関係が逆のモデル構造であるがゆえにそのモデル内部のデータ構造がブラックボックス化されてしまうため、要因を特定できずに誤った構造を学習してしまうおそれがある。また、因果関係がブラックボックス化されるため、因果関係のモデルをユーザに客観的に説明することは困難になる。

一実施形態に係る電子機器１において対象者の内部状態を推定するアルゴリズムは、一般の認識モデル又は回帰モデルとは異なる生成モデルに基づくものである。電子機器１における生成モデルは、対象者の内部状態及び対象者の環境（周囲の風景など）を原因として、対象者の視線の画像が生成されるという過程を、データから学習する。このため、一実施形態に係る電子機器１によれば、対象者の環境を考慮して推定精度を向上させることが期待できる。また、一実施形態に係る電子機器１によれば、データ生成過程を踏まえたメカニズムをユーザに客観的に説明することができる。

次に、他の実施形態について説明する。

図７は、他の実施形態に係る電子機器の機能的な概略構成を示すブロック図である。

図７に示すように、他の実施形態に係る電子機器２は、図１に示した電子機器１と異なり、第２撮像部２２によって撮像された画像のデータは、制御部１０において、画像処理部１８によって適宜画像処理されてから、推定部１４に供給される。画像処理部１８は、入力された画像データに、種々の画像処理を施すことができる。画像処理部１８は、ソフトウェア及び／又はハードウェアによって構成されてよい。

画像処理部１８は、第２撮像部２２によって撮像された風景画像から、より抽象的な情報を抽出してもよい。例えば、画像処理部１８は、第２撮像部２２によって撮像された風景画像に基づいて、対象者の視線を予測する情報を抽出してもよい。また、画像処理部１８は、対象者の視線が予測された情報を、視線予測マップとして推定部１４などに供給してもよい。画像処理部１８は、対象者が見得る風景の画像において、対象者の視線を予測してよい。一実施形態において、画像処理部１８は、対象者の視線の先の風景を含む画像（例えば周辺画像）から、対象者の視線が向けられると予測されるマップ（視線予測マップ）を推定するものとしてよい。対象者が見得る風景の画像に基づいて視線予測マップを生成する技術は、既存の任意の技術を採用してよい。視線予測マップを用いる場合、対象者の集中度ごと、及び／又は、集中度を低下させる要因別の予測マップ（群）を用いてもよい。

また、画像処理部１８は、第２撮像部２２によって撮像された風景画像に基づいて、セマンティックセグメンテーション画像を生成して出力してもよい。シミュレーション環境下で行う運転訓練などの応用においては、セマンティックセグメンテーション画像は、画像処理部１８を介さずに、シミュレータから直接出力されるようにしてもよい。

図７に示す一実施形態に係る電子機器２において、推定部１４は、対象者の内部状態を推定するに際し、学習フェーズ及び／又は推定フェーズにおいて、上述の動作に視線予測マップのデータ及び／又はセマンティックセグメンテーション画像を加味してよい。具体的には、例えば、上述した対使用者の環境情報Ｓに、視線予測マップのデータ及び／又はセマンティックセグメンテーション画像のデータを含ませてもよい。

このように、一実施形態に係る電子機器２において、対象者の環境情報Ｓは、第２撮像部２２によって撮像される画像から画像処理部１８によって抽出される情報を含んでもよい。また、一実施形態に係る電子機器２において、対象者の環境情報Ｓは、第２撮像部２２によって撮像される画像において対象者の視線を予測する情報を含んでもよい。一実施形態に係る電子機器２において、適宜画像処理により抽出された対象者の環境情報Ｓを用いることにより、対象者の内部状態を示す情報Ｙの推定精度の向上が期待され得る。

次に、さらに他の実施形態について説明する。

図８は、さらに他の実施形態に係る電子機器の機能的な概略構成を示すブロック図である。

図８に示すように、さらに他の実施形態に係る電子機器３は、図１に示した電子機器１と異なり、生体指標取得部５０及び環境情報取得部６０を備えている。生体指標取得部５０は、対象者の瞳孔半径及び／又は発汗量などのような生体指標を取得する。環境情報取得部６０は、対象者の環境の明るさ及び／又は温度及び／又は湿度などのような環境情報を取得する。環境情報取得部６０は、対象者の環境の明るさ及び／又は温度及び／又は湿度などのような環境情報を取得可能なものであれば、任意の測定又は検出デバイスなどを採用してよい。

生体指標取得部５０は、対象者の瞳孔半径を取得する機能を備える場合、例えば対象者の瞳孔を撮像する撮像デバイスを含んで構成されてもよい。この場合、例えば対象者の視線を含む画像を撮像する第１撮像部２１が、生体指標取得部５０の機能を兼ねるものとしてもよい。生体指標取得部５０は、対象者の瞳孔のサイズを計測又は推定などできるものであれば、任意の部材としてよい。また、生体指標取得部５０は、対象者の発汗量を取得する機能を備える場合、例えば対象者の肌に貼り付ける皮膚コンダクタンスなどのようなデバイスを含んで構成されてもよい。生体指標取得部５０は、対象者の発汗量を計測又は推定などできるものであれば、任意の部材としてよい。生体指標取得部５０が取得した対使用者の生体指標の情報は、制御部１０の例えば推定部１４に供給されてよい。

図８に示す電子機器３において、制御部１０は、対象者の瞳孔半径を示す時系列の情報に基づいて、対象者の集中度を推定してよい。一般的に、人間の瞳孔半径は、集中度の影響のみならず、環境光の明るさの影響も受けることが知られている。そこで、図８に示す電子機器３において、制御部１０は、例えば環境情報取得部６０によって取得された環境の明るさの時系列の条件のもとで、瞳孔半径の時系列の情報を加味して、対象者の内部状態を示す情報Ｙを推定してよい。また、一実施形態において、環境の明るさを第２撮像部２２が兼ねるものとして、撮像された風景画像に基づく環境の明るさを用いてもよい。

また、図８に示す電子機器３は、対象者の発汗量を示す時系列の情報に基づいて、対象者の緊張度を推定してもよい。一般的に、人間の発汗量は、緊張している度合いに影響を受けるのみならず、環境の温度及び／又は湿度などの影響も受けることが知られている。そこで、図８に示す電子機器３において、環境情報取得部は、例えば温度計及び／又は湿度計を含んでよい。この場合、制御部１０は、温度及び／又は湿度の時系列の条件のもとで、対象者の発汗量の情報を加味して、対象者の内部状態を示す情報Ｙを推定してよい。この場合、制御部１０は、対象者の内部状態を示す情報Ｙに基づいて、対象者の緊張の度合いを推定してもよい。

このように、一実施形態に係る電子機器において、対象者の第１生体情報及び／又は第２生体情報は、対象者の瞳孔半径を示す情報を含んでもよい。この場合、環境情報Ｓとして、環境の明るさの情報を含んでもよい。また、一実施形態に係る電子機器において、対象者の第１生体情報及び／又は第２生体情報は、対象者の発汗量を示す情報を含んでもよい。この場合、環境情報ととして、環境の温度及び／又は湿度及びを含んでもよい。一実施形態に係る電子機器３において、対象者の生体情報に影響を及ぼす内部状態以外の情報を環境情報として用いることにより、対象者の内部状態を示す情報Ｙの推定精度の向上が期待され得る。すなわち、瞳孔、発汗量は、生体情報である。そして、瞳孔には明るさ、発汗量には温度及び湿度が関係する。このため、これらを環境情報として考慮することにより、一実施形態に係る電子機器は、精度よく内部状態を推定することができる。この関係は、前述の視線と前景の関係と同じであるとしてよい。

本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

例えば、上述した実施形態においては、第２撮像部２２は、第１撮像部２１とは別の部材として示した。しかしながら、例えば、３６０°撮像可能なドライブレコーダのように１つの撮像部によって撮像された画像から、第１撮像部２１及び第２撮像部２２がそれぞれ使用する画像のデータを抽出してもよい。

１，２，３ 電子機器
１０ 制御部
１２ 抽出部
１４ 推定部
１６ 判定部
１８ 画像処理部
２１ 第１撮像部
２２ 第２撮像部
３０ 記憶部
４０ 報知部
５０ 生体指標取得部
６０ 環境情報取得部
ＥＮＮ エンコーダ
ＤＮＮ デコーダ

Claims (21)

1. 対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコーダと、
   前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコーダと、
   を備え、
   前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する、電子機器。
2. 前記未知の値が所定の確率分布から乖離している程度に基づいて、前記エンコーダ及び前記デコーダのパラメータを調整する、請求項１に記載の電子機器。
3. 対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコーダと、
   前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコーダと、
   前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定する推定部と、
   を備える電子機器。
4. 前記複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値が所定の条件を満たす場合、所定の警報を出力する、請求項３に記載の電子機器。
5. 前記推定部は、前記エンコーダが推定した前記未知の値が所定の確率分布から生成され易い度合いを表す確率又は対数確率に基づいて推定を行う、請求項３又は４に記載の電子機器。
6. 前記対象者の内部状態を示す情報は、前記対象者の集中度を示す情報を含む、請求項１から５のいずれかに記載の電子機器。
7. 前記対象者の内部状態を示す情報は、前記対象者が乗り物を運転している最中の集中度を示す情報を含む、請求項６に記載の電子機器。
8. 前記第１生体情報及び前記第２生体情報の少なくとも一方は、前記対象者の視線の座標を含む、請求項１から７のいずれかに記載の電子機器。
9. 前記対象者の環境情報は、前記対象者の前方の風景画像の情報を含む、請求項１から８のいずれかに記載の電子機器。
10. 前記対象者の環境情報は、前記対象者の視線が向く方向を含んで撮像された画像の情報を含む、請求項１から９のいずれかに記載の電子機器。
11. 前記対象者の環境情報は、前記画像から抽出される情報を含む、請求項９又は１０に記載の電子機器。
12. 前記対象者の環境情報は、前記画像において前記対象者の視線を予測する情報を含む、請求項１１に記載の電子機器。
13. 前記対象者の第１生体情報及び第２生体情報の少なくとも一方は、前記対象者の瞳孔半径を示す情報を含む、請求項１から１２のいずれかに記載の電子機器。
14. 前記対象者の環境情報は、前記対象者の環境の明るさを含む、請求項１３に記載の電子機器。
15. 前記対象者の第１生体情報及び第２生体情報の少なくとも一方は、前記対象者の発汗量を示す情報を含む、請求項１から１４のいずれかに記載の電子機器。
16. 前記対象者の環境情報は、前記対象者の環境の温度及び湿度の少なくとも一方を含む、請求項１５に記載の電子機器。
17. 前記対象者の環境情報、前記第１生体情報、及び前記第２生体情報の少なくともいずれかは、所定期間に取得された時系列の情報である、請求項１から１６のいずれかに記載の電子機器。
18. 対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
    前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
    前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
    を含む、電子機器の制御方法。
19. 対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
    前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
    前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
    を含む、電子機器の制御方法。
20. 電子機器に、
    対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、未知の値を推定するエンコードステップと、
    前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
    前記第２生体情報による前記第１生体情報の再現度に基づいて、前記エンコードステップ及び前記デコードステップにおけるパラメータを調整するステップと、
    を実行させる、プログラム。
21. 電子機器に、
    対象者の画像から抽出される前記対象者の視線を含む第１生体情報、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、未知の値を推定するエンコードステップと、
    前記未知の値、前記対象者の環境情報、及び前記対象者の内部状態を示す情報として仮定される値に基づいて、前記対象者の視線を含む第２生体情報を推定するデコードステップと、
    前記対象者の内部状態を示す情報として複数の値を仮定して、当該複数の値のうち前記第２生体情報による前記第１生体情報の再現度が最も高くなる値を、前記対象者の内部状態を示す情報と推定するステップと、
    を実行させる、プログラム。
    

Images