JP2022160769A - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP2022160769A
JP2022160769A JP2021065169A JP2021065169A JP2022160769A JP 2022160769 A JP2022160769 A JP 2022160769A JP 2021065169 A JP2021065169 A JP 2021065169A JP 2021065169 A JP2021065169 A JP 2021065169A JP 2022160769 A JP2022160769 A JP 2022160769A
Authority
JP
Japan
Prior art keywords
information
machine learning
processing system
feature amount
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021065169A
Other languages
English (en)
Inventor
靖英 兵動
Yasuhide Hyodo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021065169A priority Critical patent/JP2022160769A/ja
Priority to PCT/JP2022/002932 priority patent/WO2022215322A1/ja
Priority to US18/551,681 priority patent/US20240164676A1/en
Publication of JP2022160769A publication Critical patent/JP2022160769A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】精度良く覚醒度を推定することの可能な情報処理システムを提供する。【解決手段】本開示の一側面に係る情報処理システムは、入力情報生成部と、判定部とを備えている。入力情報生成部は、センサを用いて取得された対象生体の生体情報に対して所定の前処理を行うことにより、複数の機械学習モデルの各々に対する入力情報を生成する。判定部は、入力情報を各機械学習モデルに入力することにより各機械学習モデルから得られた推定結果に基づいて、対象生体の覚醒度を判定する。【選択図】図１

Description

本開示は、情報処理システムに関する。
人の情動が変化すると、脳波・心拍・発汗などの生理反応が体表に表出する。これらの生理反応をセンサデバイスによって生体信号として読み取ることで、人の情動を推定することが可能である。例えば、読み取った生体信号に対して所定の信号処理を行うことにより得られる、情動反応に寄与する生理指標などの特徴量を、機械学習で求めたモデル式に入力することにより、人の情動を推定することができる（例えば、特許文献１，２参照）。
国際公開ＷＯ２０１２／０５６５４６ 特開２０１６－１０６６８９号公報
ところで、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインとは必ずしも一致する訳ではない。そのため、精度良く覚醒度を推定することができないという問題があった。従って、精度良く覚醒度を推定することの可能な情報処理システムを提供することが望ましい。
本開示の一側面に係る情報処理システムは、入力情報生成部と、判定部とを備えている。入力情報生成部は、センサを用いて取得された対象生体の生体情報に対して所定の前処理を行うことにより、複数の機械学習モデルの各々に対する入力情報を生成する。判定部は、入力情報を各機械学習モデルに入力することにより各機械学習モデルから得られた推定結果に基づいて、対象生体の覚醒度を判定する。
本開示の一側面に係る情報処理システムでは、センサを用いて取得された対象生体の生体情報に対応する入力情報が、複数の機械学習モデルの各々に対して生成される。これにより、各機械学習モデルにおける各種パラメータのレンジを考慮した入力情報が生成され得る。この情報処理システムでは、機械学習モデルごとに生成された複数の入力情報が、対応する機械学習モデルに入力され、それによって各機械学習モデルから得られた推定結果に基づいて、対象生体の覚醒度が判定される。これにより、例えば、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果を取得することが可能となる。
本開示の第１の実施の形態に係る情報処理システムの概略構成の一例を表す図である。 図１の基準モデルの学習に使う教示情報（規格化前）の一例を表す図である。 規格化された教示情報の一例を表す図である。 基準モデルの学習の一例を表す図である。 基準モデルの学習の一例を表す図である。 基準モデルの学習の一例を表す図である。 正規化情報の取得手順の一例を表す図である。 正規化係数の変換手順の一例を表す図である。 本開示の第２の実施の形態に係る情報処理システムの概略構成の一例を表す図である。 標準化された教示データの一例を表す図である。 基準モデルの学習の一例を表す図である。 基準モデルの学習の一例を表す図である。 基準モデルの学習の一例を表す図である。 標準化情報の取得手順の一例を表す図である。 標準化係数の変換手順の一例を表す図である。 図１の情報処理システムの概略構成の一変形例を表す図である。 図９の情報処理システムの概略構成の一変形例を表す図である。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。
＜１．覚醒度について＞
人の覚醒度は、人の集中力に大きく関係している。人は、集中しているとき、集中の対象に対して高い興味・関心を有している。そのため、人の覚醒度を知ることで、人の客観的な興味・関心の度合い（情動）を推定することが可能である。人の覚醒度は、例えば、オフィス環境下で仕事をしていたり、ヨガをしていたりする人（以下、「対象生体」と称する。）から得られた生体情報に基づいて導出することが可能である。対象生体の覚醒度を導出可能な生体情報としては、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、もしくは唾液に含まれる特定成分についての情報が挙げられる。以下に、生体情報を用いて情動推定を行う情報処理システムの実施形態について説明する。
＜２．第１の実施の形態＞
[構成]
本開示の第１の実施の形態に係る情報処理システム１について説明する。図１は、情報処理システム１の概略構成例を表したものである。情報処理システム１は、対象生体から得られた生体情報に基づいて対象生体の情動を推定するシステムである。本実施の形態では、対象生体は人である。なお、情報処理システム１において、対象生体は人に限られるものではない。
情報処理システム１は、単体の電子機器によって実現されていてもよいし、通信ネットワークを介して互いにデータを受送信することの可能な複数の電子機器によって実現されていてもよい。情報処理システム１は、例えば、センサ部１０、アプリ規範取得部２０、正規化部３０、覚醒度推定部４０および判定部５０を備えている。覚醒度推定部４０は、覚醒度ベースラインが互いに異なる複数の機械学習モデル（例えば、３つの基準モデル４１，４２，４３）を有している。機械学習モデルは、例えば、回帰モデル、または、識別モデルを含む。つまり、情報処理システム１は、覚醒度推定部４０に設けられた複数の機械学習モデルを用いて、対象生体の覚醒度を推定する。
覚醒度ベースラインとは、各機械学習モデルの学習に用いる教示情報の正規化前の情報の平均値を指している。例えば、基準モデル４１の覚醒度ベースラインは、基準モデル４２，４３の覚醒度ベースラインよりも低くなっており、基準モデル４２の覚醒度ベースラインは、基準モデル４３の覚醒度ベースラインよりも低くなっている。
「各機械学習モデルの学習に用いる教示情報の正規化前の情報」とは、例えば、センサ部１０等で得られた生体情報の時系列データに基づいて生成された特徴量（正規化されていない特徴量）を指している。この特徴量には、覚醒度レベルの互いに異なる複数のクラスが含まれ得る。これは、例えば、対象生体がある環境下で所定の覚醒度レベルにある中で、時と場合によって、覚醒度レベルの変移があることを意味している。なお、教示情報を生成する際の対象生体は、情報処理システム１で情動推定がなされる対象生体とは、通常、異なっている。
例えば、図２（Ａ）に示したように、対象生体の覚醒度レベルが相対的に低いときに得られた特徴量Ｘ＿ｌｏｗには、覚醒度レベルの互いに異なる２つのクラスＰｒｌ＿ｌｏｗ，Ｐｒｌ＿ｈｉｇｈが含まれている。なお、図２（Ａ）には、２つのクラスＰｒｌ＿ｌｏｗ，Ｐｒｌ＿ｈｉｇｈからなるデータがＰｒｌと表現されている。また、例えば、図２（Ｃ）に示したように、対象生体の覚醒度レベルが相対的に高いときに得られた特徴量Ｘ＿ｈｉｇｈには、覚醒度レベルの互いに異なる２つのクラスＰｒｈ＿ｌｏｗ，Ｐｒｈ＿ｈｉｇｈが含まれている。なお、図２（Ｃ）には、２つのクラスＰｒｈ＿ｌｏｗ，Ｐｒｈ＿ｈｉｇｈからなるデータがＰｒｈと表現されている。また、例えば、図２（Ｂ）に示したように、対象生体の覚醒度レベルが図２（Ａ）のときの覚醒度レベルと図２（Ｃ）のときの覚醒度レベルとの間の大きさとなっているときに得られた特徴量Ｘ＿ｍｉｄには、覚醒度レベルの互いに異なる２つのクラスＰｒｍ＿ｌｏｗ，Ｐｒｍ＿ｈｉｇｈが含まれている。なお、図２（Ｂ）には、２つのクラスＰｒｍ＿ｌｏｗ，Ｐｒｍ＿ｈｉｇｈからなるデータがＰｒｍと表現されている。
図３（Ａ）には、図２（Ａ）に示したデータＰｒｌを正規化することにより得られるデータＰｒｌ’（正規化情報）が例示されている。図３（Ａ）において、横軸は、（Ｐｒｌ（ｉ）－Ｐｒｌ（ｍｉｎ））／（Ｐｒｌ（ｍａｘ）－Ｐｒｌ（ｍｉｎ））である。Ｐｒｌ（ｍｉｎ）は、Ｐｒｌの特徴量の最小値である。Ｐｒｌ（ｍａｘ）は、Ｐｒｌの特徴量の最大値である。ｉは、０≦ｉ≦１の範囲内の値を取り得る変数である。図３（Ａ）において、Ｐｒｌ_ｌｏｗ’は、データＰｒｌの正規化により得られた、Ｐｒｌ_ｌｏｗに対応するデータ（正規化情報）である。図３（Ａ）において、Ｐｒｌ_ｈｉｇｈ’は、データＰｒｌの正規化により得られた、Ｐｒｌ_ｈｉｇｈに対応するデータ（正規化情報）である。
図３（Ｂ）には、図２（Ｂ）に示したデータＰｒｍを正規化することにより得られるデータＰｒｍ’（正規化情報）が例示されている。図３（Ｂ）において、横軸は、（Ｐｒｍ（ｉ）－Ｐｒｍ（ｍｉｎ））／（Ｐｒｍ（ｍａｘ）－Ｐｒｍ（ｍｉｎ））である。Ｐｒｍ（ｍｉｎ）は、Ｐｒｍの特徴量の最小値である。Ｐｒｍ（ｍａｘ）は、Ｐｒｍの特徴量の最大値である。図３（Ｂ）において、Ｐｒｍ_ｌｏｗ’は、データＰｒｍの正規化により得られた、Ｐｒｍ_ｌｏｗに対応するデータ（正規化情報）である。図３（Ｂ）において、Ｐｒｍ_ｈｉｇｈ’は、データＰｒｍの正規化により得られた、Ｐｒｍ_ｈｉｇｈに対応するデータ（正規化情報）である。
図３（Ｃ）には、図２（Ｃ）に示したデータＰｒｈを正規化することにより得られるデータＰｒｈ’（正規化情報）が例示されている。図３（Ｃ）において、横軸は、（Ｐｒｈ（ｉ）－Ｐｒｈ（ｍｉｎ））／（Ｐｒｈ（ｍａｘ）－Ｐｒｈ（ｍｉｎ））である。Ｐｒｈ（ｍｉｎ）は、Ｐｒｈの特徴量の最小値である。Ｐｒｈ（ｍａｘ）は、Ｐｒｈの特徴量の最大値である。図３（Ｃ）において、Ｐｒｈ_ｌｏｗ’は、データＰｒｈの正規化により得られた、Ｐｒｈ_ｌｏｗに対応するデータ（正規化情報）である。図３（Ｃ）において、Ｐｒｈ_ｈｉｇｈ’は、データＰｒｈの正規化により得られた、Ｐｒｈ_ｈｉｇｈに対応するデータ（正規化情報）である。
基準モデル４１，４２，４３は、覚醒度レベルの互いに異なる環境下で取得されたデータをそれぞれ用いて生成されたモデルである。基準モデル４１は、相対的に低い覚醒度ベースラインにおいて得られたデータＰｒｌの特徴量の正規化情報と、覚醒度情報Ｒａとを用いて生成されたモデルである（図４参照）。この学習によって得られたモデルパラメータＰａが覚醒度推定部４０に格納される。基準モデル４３は、相対的に高い覚醒度ベースラインにおいて得られたデータＰｒｈの特徴量の正規化情報と、覚醒度情報Ｒｃとを用いて生成されたモデルである（図６参照）。この学習によって得られたモデルパラメータＰｃが覚醒度推定部４０に格納される。基準モデル４２は、基準モデル４１の覚醒度ベースラインと基準モデル４３の覚醒度ベースラインとの間の覚醒度ベースラインにおいて得られたデータＰｒｍの特徴量の正規化情報と、覚醒度情報Ｒｂとを用いて生成されたモデルである（図５参照）。この学習によって得られたモデルパラメータＰｂが覚醒度推定部４０に格納される。
センサ部１０は、例えば、対象生体に接触するタイプのセンサであってもよいし、対象生体に非接触のセンサであってもよい。センサ部１０は、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、および唾液に含まれる特定成分のうち、少なくとも１つについての情報（生体情報）を取得するセンサである。センサ部１０は、取得した生体情報を、アプリ規範取得部２０および正規化部３０に出力する。
アプリ規範取得部２０は、対象生体の動作状態に応じて、正規化の条件を最適化する。アプリ規範取得部２０は、正規化情報取得部２１と、正規化係数変換部２２とを有している。
正規化情報取得部２１は、正規化部３０から覚醒度推定部４０に対して入力される情報の生成に用いられる生体情報（以下、「生体情報１０Ｂ」）の時系列データを取得する前にセンサ部１０を用いて取得した生体情報（以下、「生体情報１０Ａ」）の時系列データに基づいて特徴量Ｘ_ｔｅｓｔを取得する（図７、ステップＳ１０１）。正規化情報取得部２１は、取得した特徴量Ｘ_ｔｅｓｔを、Ｘ_ｔｅｓｔ（ｍａｘ），Ｘ_ｔｅｓｔ（ｍｉｎ）で正規化する（図７、ステップＳ１０２）。Ｘ_ｔｅｓｔ（ｍａｘ）は、取得した特徴量Ｘ_ｔｅｓｔの最大値である。Ｘ_ｔｅｓｔ（ｍｉｎ）は、取得した特徴量Ｘ_ｔｅｓｔの最小値である。正規化情報取得部２１は、正規化により得られた特徴量Ｘ_ｔｅｓｔ’において、覚醒度レベルの互いに異なる複数のクラスを識別することにより、複数のクラスの特徴量を取得する。正規化情報取得部２１は、例えば、正規化により得られた特徴量Ｘ_ｔｅｓｔ’において、覚醒度レベルの互いに異なる２つのクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’を識別する（図７、ステップＳ１０３）。正規化情報取得部２１は、例えば、識別の結果、得られたクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’に対応する正規化前のクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈを取得する（図７、ステップＳ１０４）。正規化情報取得部２１は、取得した複数のクラスからなるデータの特徴量（例えば、２つのクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈからなるデータＰｒの特徴量）を正規化係数変換部２２に出力する。
正規化係数変換部２２は、覚醒度推定部４０に含まる複数の機械学習モデルのうち、一の機械学習モデルを選択する（図８、ステップＳ２０１）。正規化係数変換部２２は、例えば、基準モデル４１を選択する。正規化係数変換部２２は、例えば、覚醒度推定部４０に含まる複数の機械学習モデルのうち、生体情報１０Ａに基づいて得られる特徴量Ｘ_ｔｅｓｔの覚醒度ベースラインに最も近い覚醒度ベースラインを持つ機械学習モデルを選択する。これは、後述の写像を精度よく行うためである。
正規化係数変換部２２は、正規化情報取得部２１から入力された特徴量と、選択した機械学習モデルの学習の際に用いた特徴量とに基づいて、この機械学習モデルの正規化係数を変換する。正規化係数変換部２２は、例えば、選択した機械学習モデルの学習の際に用いた特徴量から、正規化情報取得部２１から入力された特徴量への写像を行う変換ゲインを導出する（図８、ステップＳ２０２）。正規化係数変換部２２は、例えば、選択した基準モデル４１の学習の際に用いたデータＰｒｌの特徴量から、正規化情報取得部２１から入力されたデータＰｒの特徴量への写像を行う変換ゲインｇ１を導出する。
正規化係数変換部２２は、各機械学習モデルの正規化係数を変換する（図８、ステップＳ２０３）正規化係数変換部２２は、例えば、選択した基準モデル４１の正規化係数Ｐｒｌ（ｍａｘ），Ｐｒｌ（ｍｉｎ）を、変換ゲインｇ１を用いて正規化係数Ｐｒｌ’（ｍａｘ），Ｐｒｌ’（ｍｉｎ）に変換する。
基準モデル４１の学習の際に用いたデータＰｒｌの特徴量と、基準モデル４２の学習の際に用いたデータＰｒｍの特徴量との相関関係を規定した関数αが正規化係数変換部２２に格納されているとする。また、基準モデル４２の学習の際に用いたデータＰｒｍの特徴量と、基準モデル４３の学習の際に用いたデータＰｒｈの特徴量との相関関係を規定した関数βが正規化係数変換部２２に格納されているとする。
正規化係数変換部２２は、例えば、変換ゲインｇ１と、関数αとを用いて、正規化係数Ｐｒｍ（ｍａｘ），Ｐｒｍ（ｍｉｎ）を、正規化係数Ｐｒｍ’（ｍａｘ），Ｐｒｍ’（ｍｉｎ）に変換する。なお、図８には、変換ゲインｇ１および関数αが、変換ゲインｇ２と表現されている。正規化係数変換部２２は、さらに、例えば、変換ゲインｇ１と、関数α，βとを用いて、正規化係数Ｐｒｈ（ｍａｘ），Ｐｒｈ（ｍｉｎ）を、正規化係数Ｐｒｈ’（ｍａｘ），Ｐｒｈ’（ｍｉｎ）に変換する。なお、図８には、変換ゲインｇ１および関数α，βが、変換ゲインｇ３と表現されている。
正規化係数変換部２２は、導出した変換ゲインｇ１，ｇ２，ｇ３を正規化部３０に出力する。
正規化部３０は、覚醒度推定部４０に含まれる機械学習モデル（例えば、基準モデル４１，４２，４３）ごとに１つずつ設けられた複数の正規化部（例えば、３つの正規化部３１，３２，３３）を有している。正規化部３１は、基準モデル４１に対応して設けられている。正規化部３２は、基準モデル４２に対応して設けられている。正規化部３３は、基準モデル４３に対応して設けられている。
正規化部３０は、センサ部１０を用いて得られた生体情報１０Ｂに基づいて特徴量Ｘ_ｔｅｓｔを取得する。正規化部３０は、取得した特徴量Ｘ_ｔｅｓｔを、Ｘ_ｔｅｓｔ（ｍａｘ），Ｘ_ｔｅｓｔ（ｍｉｎ）で正規化する。正規化部３０は、正規化した特徴量Ｘ_ｔｅｓｔ’において、覚醒度レベルの互いに異なる２つのクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’を識別する。正規化部３０は、識別の結果、得られたクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’に対応する正規化前のクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈを取得する。正規化部３０は、２つのクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈからなるデータＰｒの特徴量を正規化部３１，３２，３３に入力する。正規化部３１，３２，３３は、入力されたデータＰｒの特徴量に対して所定の正規化を行う。
正規化部３１は、正規化係数変換部２２から入力された変換ゲインｇ１を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒａの特徴量を取得する。正規化部３１は、取得したデータＰｒａの特徴量を、Ｐｒａ（ｍａｘ），Ｐｒａ（ｍｉｎ）で正規化し、それにより得られたデータＰｒａ’を、基準モデル４１に出力する。Ｐｒａ（ｍａｘ）は、Ｐｒａの特徴量の最大値である。Ｐｒａ（ｍｉｎ）は、Ｐｒａの特徴量の最小値である。
正規化部３２は、正規化係数変換部２２から入力された変換ゲインｇ２を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒｂの特徴量を取得する。正規化部３２は、取得したデータＰｒｂの特徴量を、Ｐｒｂ（ｍａｘ），Ｐｒｂ（ｍｉｎ）で正規化し、それにより得られたデータＰｒｂ’を、基準モデル４２に出力する。Ｐｒｂ（ｍａｘ）は、Ｐｒｂの特徴量の最大値である。Ｐｒｂ（ｍｉｎ）は、Ｐｒｂの特徴量の最小値である。
正規化部３３は、正規化係数変換部２２から入力された変換ゲインｇ３を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒｃの特徴量を取得する。正規化部３３は、取得したデータＰｒｃの特徴量を、Ｐｒｃ（ｍａｘ），Ｐｒｃ（ｍｉｎ）で正規化し、それにより得られたデータＰｒｃ’を、基準モデル４３に出力する。Ｐｒｃ（ｍａｘ）は、Ｐｒｃの特徴量の最大値である。Ｐｒｃ（ｍｉｎ）は、Ｐｒｃの特徴量の最小値である。
基準モデル４１は、正規化部３１から正規化されたデータ（データＰｒａ’）が入力されると、入力されたデータＰｒａ’の特徴量に応じた覚醒度情報４１Ａを出力する。基準モデル４２は、正規化部３２から正規化されたデータ（データＰｒｂ’）が入力されると、入力されたデータＰｒｂ’の特徴量に応じた覚醒度情報４２Ａを出力する。基準モデル４３は、正規化部３３から正規化されたデータ（データＰｒｃ’）が入力されると、入力されたデータＰｒｃ’の特徴量に応じた覚醒度情報４３Ａを出力する。
判定部５０は、覚醒度推定部４０から入力された推定結果（覚醒度情報４１Ａ，４２Ａ，４３Ａ）に基づいて、対象生体の覚醒度を判定する。判定部５０は、例えば、推定結果（覚醒度情報４１Ａ，４２Ａ，４３Ａ）に基づく多数決で、対象生体の覚醒度を判定する。例えば、覚醒度情報４１Ａが、覚醒度が高いことを意味する情報となっており、覚醒度情報４２Ａが、覚醒度が低いことを意味する情報となっており、覚醒度情報４３Ａが、覚醒度が低いことを意味する情報となっていたとする。このとき、判定部５０は、覚醒度＝低が２票、覚醒度＝高が１票であることから、多数決で、覚醒度が低いことを意味する判定結果を生成する。判定部５０は、さらに、例えば、生成した判定結果に基づいて、対象生体の情動を推定してもよい。なお、判定部５０は、多数決以外の方法を用いて、対象生体の覚醒度を判定してもよい。
[効果]
本実施の形態に係る情報処理システム１では、センサ部１０によって得られた対象生体の生体情報１０Ｂに対応する入力情報が、覚醒度ベースラインが互いに異なる複数の機械学習モデルの各々に対して生成される。例えば、入力情報として、データＰｒａ’の特徴量が基準モデル４１に対して生成される。また、例えば、入力情報として、データＰｒｂ’の特徴量が基準モデル４２に対して生成される。また、例えば、入力情報として、データＰｒｃ’の特徴量が基準モデル４３に対して生成される。これにより、各機械学習モデルにおける各種パラメータのレンジを考慮した入力情報が生成され得る。この情報処理システム１では、機械学習モデルごとに生成された複数の入力情報が、対応する機械学習モデルに入力され、それによって各機械学習モデルから得られた推定結果に基づいて、対象生体の情動が判定される。これにより、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果が得られる。その結果、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム１では、入力情報の生成に用いられる生体情報１０Ｂを取得する前にセンサ部１０を用いて取得した対象生体の生体情報１０Ａに基づいて特徴量が取得される。この情報処理システム１では、さらに、取得した特徴量と、複数の機械学習モデルにおける一の基準モデル（第１の機械学習モデル）の学習の際に用いた特徴量とに基づいて、第１の機械学習モデルの正規化係数が変換される。これにより、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果が得られる。その結果、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム１では、複数の機械学習モデルにおける一の機械学習モデル（第１の機械学習モデル）の学習の際に用いた特徴量から、生体情報１０Ａに基づいて取得された特徴量への写像を行う変換ゲイン（第１の変換ゲイン）が導出される。そして、導出した変換ゲインを用いて、第１の機械学習モデルの正規化係数が変換される。これにより、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム１では、第１の機械学習モデルの学習の際に用いた特徴量と、複数の機械学習モデルにおける、第１の機械学習モデルとは異なる第２の機械学習モデルの学習の際に用いた特徴量との相関関係を記述した第２の変換ゲインと、第１の変換ゲインとを用いて、第２の機械学習モデルの正規化係数が変換される。これにより、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
＜３．第２の実施の形態＞
[構成]
次に、本開示の第２の実施の形態に係る情報処理システム２について説明する。図９は、情報処理システム２の概略構成例を表したものである。情報処理システム２は、対象生体から得られた生体情報に基づいて対象生体の情動を推定するシステムである。本実施の形態では、対象生体は人である。なお、情報処理システム２において、対象生体は人に限られるものではない。
情報処理システム２は、単体の電子機器によって実現されていてもよいし、通信ネットワークを介して互いにデータを受送信することの可能な複数の電子機器によって実現されていてもよい。情報処理システム２は、例えば、センサ部１０、アプリ規範取得部６０、標準化部７０、覚醒度推定部８０および判定部５０を備えている。覚醒度推定部８０は、覚醒度ベースラインが互いに異なる複数の機械学習モデル（例えば、３つの基準モデル８１，８２，８３）を有している。機械学習モデルは、例えば、回帰モデル、または、識別モデルを含む。つまり、情報処理システム２は、覚醒度推定部８０に設けられた複数の機械学習モデルを用いて、対象生体の覚醒度を推定する。
覚醒度ベースラインとは、各機械学習モデルの学習に用いる教示情報の標準化前の情報の平均値を指している。例えば、基準モデル８１の覚醒度ベースラインは、基準モデル８２，８３の覚醒度ベースラインよりも低くなっており、基準モデル８２の覚醒度ベースラインは、基準モデル８３の覚醒度ベースラインよりも低くなっている。
図１０（Ａ）には、図２（Ａ）に示したデータＰｒｌを標準化することにより得られるデータＰｒｌ’（標準化情報）が例示されている。図１０（Ａ）において、横軸は、（Ｐｒｌ（ｊ）－Ｐｒｌ＿ａｖｇ）／Ｐｒｌ＿ＳＤである。Ｐｒｌ＿ａｖｇは、データＰｒｌの特徴量の平均値である。Ｐｒｌ＿ＳＤは、データＰｒｌの特徴量の分散である。図１０（Ａ）において、Ｐｒｌ_ｌｏｗ’は、データＰｒｌの標準化により得られた、Ｐｒｌ_ｌｏｗに対応するデータ（標準化情報）である。図１０（Ａ）において、Ｐｒｌ_ｈｉｇｈ’は、データＰｒｌの標準化により得られた、Ｐｒｌ_ｈｉｇｈに対応するデータ（標準化情報）である。
図１０（Ｂ）には、図２（Ｂ）に示したデータＰｒｍを標準化することにより得られるデータＰｒｍ’（標準化情報）が例示されている。図１０（Ｂ）において、横軸は、（Ｐｒｍ（ｊ）＿ａｖｇ）／Ｐｒｍ＿ＳＤである。Ｐｒｍ＿ａｖｇは、データＰｒｍの特徴量の平均値である。Ｐｒｍ＿ＳＤは、データＰｒｍの特徴量の分散である。図１０（Ｂ）において、Ｐｒｍ_ｌｏｗ’は、データＰｒｍの標準化により得られた、Ｐｒｍ_ｌｏｗに対応するデータ（標準化情報）である。図１０（Ｂ）において、Ｐｒｍ_ｈｉｇｈ’は、データＰｒｍの標準化により得られた、Ｐｒｍ_ｈｉｇｈに対応するデータ（標準化情報）である。
図１０（Ｃ）には、図２（Ｃ）に示したデータＰｒｈを標準化することにより得られるデータＰｒｈ’（標準化情報）が例示されている。図１０（Ｃ）において、横軸は、（Ｐｒｈ（ｊ）－Ｐｒｈ＿ａｖｇ）／Ｐｒｈ＿ＳＤである。Ｐｒｈ＿ａｖｇは、データＰｒｈの特徴量の平均値である。Ｐｒｈ＿ＳＤは、データＰｒｈの特徴量の分散である。図１０（Ｃ）において、Ｐｒｈ_ｌｏｗ’は、データＰｒｈの標準化により得られた、Ｐｒｈ_ｌｏｗに対応するデータ（標準化情報）である。図１０（Ｃ）において、Ｐｒｈ_ｈｉｇｈ’は、データＰｒｈの標準化により得られた、Ｐｒｈ_ｈｉｇｈに対応するデータ（標準化情報）である。
基準モデル１，８２，８３は、覚醒度レベルの互いに異なる環境下で取得されたデータをそれぞれ用いて生成されたモデルである。基準モデル８１は、相対的に低い覚醒度ベースラインにおいて得られたデータＰｒｌの特徴量の標準化情報と、覚醒度情報Ｒａとを教示情報として学習したモデルである（図１１参照）。この学習によって得られたモデルパラメータＰａが覚醒度推定部８０に格納される。基準モデル８３は、相対的に高い覚醒度ベースラインにおいて得られたデータＰｒｈの特徴量の標準化情報と、覚醒度情報Ｒｃとを教示情報として学習したモデルである（図１２参照）。この学習によって得られたモデルパラメータＰｃが覚醒度推定部８０に格納される。基準モデル８２は、基準モデル８１の覚醒度ベースラインと基準モデル８３の覚醒度ベースラインとの間の覚醒度ベースラインにおいて得られたデータＰｒｍの特徴量の標準化情報と、覚醒度情報Ｒｂとを教示情報として学習したモデルである（図１３参照）。この学習によって得られたモデルパラメータＰｂが覚醒度推定部８０に格納される。
センサ部１０は、例えば、対象生体に接触するタイプのセンサであってもよいし、対象生体に非接触のセンサであってもよい。センサ部１０は、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、および唾液に含まれる特定成分のうち、少なくとも１つについての情報（生体情報）を取得するセンサである。センサ部１０は、取得した生体情報を、アプリ規範取得部８０および標準化部７０に出力する。
アプリ規範取得部８０は、対象生体の動作状態に応じて、標準化の条件を最適化する。アプリ規範取得部８０は、標準化情報取得部６１と、標準化係数変換部６２とを有している。
標準化情報取得部６１は、標準化部７０から覚醒度推定部８０に対して入力される情報の生成に用いられる生体情報（以下、「生体情報１０Ｂ」）を取得する前にセンサ部１０を用いて取得した生体情報（以下、「生体情報１０Ａ」）に基づいて特徴量Ｘ_ｔｅｓｔを取得する（図１４、ステップＳ３０１）。標準化情報取得部６１は、取得した特徴量Ｘ_ｔｅｓｔを、Ｘ_ｔｅｓｔ＿ａｖｇ，Ｘ_ｔｅｓｔ＿ＳＤで標準化する（図１４、ステップＳ３０２）。Ｘ_ｔｅｓｔ＿ａｖｇは、Ｘ_ｔｅｓｔの平均値である。Ｘ_ｔｅｓｔ＿ＳＤは、Ｘ_ｔｅｓｔの分散である。標準化情報取得部６１は、取得した特徴量Ｘ_ｔｅｓｔにおいて、覚醒度レベルの互いに異なる複数のクラスを識別することにより、複数のクラスの特徴量を取得する。標準化情報取得部６１は、例えば、標準化した特徴量Ｘ_ｔｅｓｔにおいて、覚醒度レベルの互いに異なる２つのクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’を識別する（図１４、ステップＳ３０３）。標準化情報取得部６１は、例えば、識別の結果、得られたクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’ごとに、標準化前のクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈを取得する（図１４、ステップＳ３０４）。標準化情報取得部６１は、取得した複数のクラスからなるデータの特徴量（例えば、２つのクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈからなるデータＰｒの特徴量）を標準化係数変換部６２に出力する。
標準化係数変換部６２は、覚醒度推定部８０に含まる複数の機械学習モデルのうち、一の機械学習モデルを選択する（図１５、ステップＳ４０１）。標準化係数変換部６２は、例えば、基準モデル８１を選択する。標準化係数変換部６２は、例えば、覚醒度推定部８０に含まる複数の機械学習モデルのうち、生体情報１０Ａに基づいて得られる特徴量Ｘ_ｔｅｓｔの覚醒度ベースラインに最も近い覚醒度ベースラインを持つ機械学習モデルを選択する。これは、後述の写像を精度よく行うためである。
標準化係数変換部６２は、標準化情報取得部６１から入力された特徴量と、選択した機械学習モデルの学習の際に用いた特徴量とに基づいて、この機械学習モデルの標準化係数を変換する。標準化係数変換部６２は、例えば、選択した機械学習モデルの学習の際に用いた特徴量から、標準化情報取得部６１から入力された特徴量への写像を行う変換ゲインを導出する（図１５、ステップＳ４０２）。標準化係数変換部６２は、例えば、選択した基準モデル８１の学習の際に用いたデータＰｒｌの特徴量から、標準化情報取得部６１から入力されたデータＰｒの特徴量への写像を行う変換ゲインｇ１を導出する。
標準化係数変換部６２は、各機械学習モデルの標準化係数を変換する（図１５、ステップＳ４０３）標準化係数変換部６２は、例えば、選択した基準モデル８１の標準化係数Ｐｒｌ＿ａｖｇ，Ｐｒｌ＿ＳＤを、変換ゲインｇ１を用いて標準化係数Ｐｒｌ＿ａｖｇ’，Ｐｒｌ＿ＳＤ’に変換する。
基準モデル８１の学習の際に用いたデータＰｒｌの特徴量と、基準モデル８２の学習の際に用いたデータＰｒｍの特徴量との相関関係を規定した関数αが標準化係数変換部６２に格納されているとする。また、基準モデル８２の学習の際に用いたデータＰｒｍの特徴量と、基準モデル８３の学習の際に用いたデータＰｒｈの特徴量との相関関係を規定した関数βが標準化係数変換部６２に格納されているとする。
標準化係数変換部６２は、例えば、変換ゲインｇ１と、関数αとを用いて、標準化係数Ｐｒｍ＿ａｖｇ，Ｐｒｍ＿ＳＤを、標準化係数Ｐｒｍ＿ａｖｇ’，Ｐｒｍ＿ＳＤ’に変換する。なお、図１５には、変換ゲインｇ１および関数αが、変換ゲインｇ２と表現されている。標準化係数変換部６２は、さらに、例えば、変換ゲインｇ１と、関数α，βとを用いて、標準化係数Ｐｒｈ＿ａｖｇ，Ｐｒｈ＿ＳＤを、標準化係数Ｐｒｈ＿ａｖｇ’，Ｐｒｈ＿ＳＤ’に変換する。なお、図１５には、変換ゲインｇ１および関数α，βが、変換ゲインｇ３と表現されている。
標準化係数変換部６２は、導出した変換ゲインｇ１，ｇ２，ｇ３を標準化部７０に出力する。
標準化部７０は、覚醒度推定部８０に含まれる機械学習モデル（例えば、基準モデル８１，８２，８３）ごとに１つずつ設けられた複数の標準化部（例えば、３つの標準化部７１，７２，７３）を有している。標準化部７１は、基準モデル８１に対応して設けられている。標準化部７２は、基準モデル８２に対応して設けられている。標準化部７３は、基準モデル８３に対応して設けられている。
標準化部７０は、センサ部１０を用いて得られた生体情報１０Ｂに基づいて特徴量Ｘ_ｔｅｓｔを取得する。標準化部７０は、取得した特徴量Ｘ_ｔｅｓｔを、Ｘ_ｔｅｓｔ＿ａｖｇ、Ｘ_ｔｅｓｔ＿ＳＤで標準化する。標準化部７０は、標準化した特徴量Ｘ_ｔｅｓｔ’において、覚醒度レベルの互いに異なる２つのクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’を識別する。標準化部７０は、識別の結果、得られたクラスＰｒ＿ｌｏｗ’，Ｐｒ＿ｈｉｇｈ’ごとに、標準化前のクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈを取得する。標準化部７０は、２つのクラスＰｒ＿ｌｏｗ，Ｐｒ＿ｈｉｇｈからなるデータＰｒの特徴量を標準化部７１，７２，７３に入力する。標準化部７１，７２，７３は、入力されたデータＰｒの特徴量に対して所定の標準化を行う。
標準化部７１は、標準化係数変換部６２から入力された変換ゲインｇ１を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒａの特徴量を取得する。標準化部７１は、取得したデータＰｒａの特徴量を、Ｐｒａ＿ａｖｇ、Ｐｒａ＿ＳＤで標準化し、それにより得られたデータＰｒａ’を、基準モデル８１に出力する。Ｐｒａ＿ａｖｇは、データＰｒａの特徴量の平均値である。Ｐｒａ＿ＳＤは、データＰｒａの特徴量の分散である。
標準化部７２は、標準化係数変換部６２から入力された変換ゲインｇ２を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒｂの特徴量を取得する。標準化部７２は、取得したデータＰｒｂの特徴量を、Ｐｒｂ＿ａｖｇ，Ｐｒｂ＿ＳＤで標準化し、それにより得られたデータＰｒｂ’の特徴量を、基準モデル８２に出力する。Ｐｒｂ＿ａｖｇは、データＰｒｂの特徴量の平均値である。Ｐｒｂ＿ＳＤは、データＰｒｂの特徴量の分散である。
標準化部７３は、標準化係数変換部６２から入力された変換ゲインｇ３を用いて、生体情報１０Ｂを用いて得られたデータＰｒの特徴量を変換することにより、データＰｒｃの特徴量を取得する。標準化部７３は、取得したデータＰｒｃの特徴量を、Ｐｒｃ＿ａｖｇ，Ｐｒｃ＿ＳＤで標準化し、それにより得られたデータＰｒｃ’の特徴量を、基準モデル８２に出力する。Ｐｒｃ＿ａｖｇは、データＰｒｃの平均値である。Ｐｒｃ＿ＳＤは、データＰｒｃの特徴量の分散である。
基準モデル８１は、標準化部７１から正規化されたデータ（データＰｒａ’）が入力されると、入力されたデータＰｒａ’の特徴量に応じた覚醒度情報８１Ａを出力する。基準モデル８２は、標準化部７２から正規化されたデータ（データＰｒｂ’）が入力されると、入力されたデータＰｒｂ’の特徴量に応じた覚醒度情報８２Ａを出力する。基準モデル８３は、標準化部７３から正規化されたデータ（データＰｒｃ’）が入力されると、入力されたデータＰｒｃ’の特徴量に応じた覚醒度情報８３Ａを出力する。
判定部５０は、覚醒度推定部８０から入力された推定結果（覚醒度情報８１Ａ，８２Ａ，８３Ａ）に基づいて、対象生体の覚醒度を判定する。判定部５０は、例えば、推定結果（覚醒度情報８１Ａ，８２Ａ，８３Ａ）に基づく多数決で、対象生体の覚醒度を判定する。例えば、覚醒度情報８１Ａが、覚醒度が高いことを意味する情報となっており、覚醒度情報８２Ａが、覚醒度が低いことを意味する情報となっており、覚醒度情報８３Ａが、覚醒度が低いことを意味する情報となっていたとする。このとき、判定部５０は、覚醒度＝低が２票、覚醒度＝高が１票であることから、多数決で、覚醒度が低いことを意味する判定結果を生成する。判定部５０は、さらに、例えば、生成した判定結果に基づいて、対象生体の情動を推定してもよい。なお、判定部５０は、多数決以外の方法を用いて、対象生体の覚醒度を判定してもよい。
[効果]
本実施の形態に係る情報処理システム２では、センサ部１０を用いて得られた対象生体の生体情報１０Ｂに対応する入力情報が、覚醒度ベースラインが互いに異なる複数の機械学習モデルの各々に対して生成される。例えば、入力情報として、データＰｒａ’の特徴量が基準モデル８１に対して生成される。また、例えば、入力情報として、データＰｒｂ’の特徴量が基準モデル８２に対して生成される。また、例えば、入力情報として、データＰｒｃ’の特徴量が基準モデル８３に対して生成される。これにより、各機械学習モデルにおける各種パラメータのレンジを考慮した入力情報が生成され得る。この情報処理システム２では、機械学習モデルごとに生成された複数の入力情報が、対応する機械学習モデルに入力され、それによって各機械学習モデルから得られた推定結果に基づいて、対象生体の情動が判定される。これにより、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果が得られる。その結果、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム２では、入力情報の生成に用いられる生体情報１０Ｂを取得する前にセンサ部１０を用いて取得した対象生体の生体情報１０Ａに基づいて特徴量が取得される。そして、取得された特徴量において、覚醒度レベルの互いに異なる複数のクラスを識別することにより、複数のクラスの特徴量が取得される。この情報処理システム２では、さらに、取得した複数のクラスの特徴量と、複数の機械学習モデルにおける一の基準モデル（第１の機械学習モデル）の学習の際に用いた、複数のクラスの特徴量とに基づいて、第１の機械学習モデルの標準化係数が変換される。これにより、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果が得られる。その結果、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム２では、複数の機械学習モデルにおける一の機械学習モデル（第１の機械学習モデル）の学習の際に用いた複数のクラスの特徴量から、生体情報１０Ａに基づいて取得された複数のクラスの特徴量への写像を行う変換ゲイン（第１の変換ゲイン）が導出される。そして、導出した変換ゲインを用いて、第１の機械学習モデルの標準化係数が変換される。これにより、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
また、本実施の形態に係る情報処理システム２では、第１の機械学習モデルの学習の際に用いた、複数のクラスの特徴量と、複数の機械学習モデルにおける、第１の機械学習モデルとは異なる第２の機械学習モデルの学習の際に用いた、複数のクラスの特徴量との相関関係を記述した第２の変換ゲインと、第１の変換ゲインとを用いて、第２の機械学習モデルの標準化係数が変換される。これにより、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の情動を精度よく判定することが可能である。
＜４．変形例＞
上記各実施の形態において、情報処理システム１，２は、例えば、図１６、図１７に示したように、選択情報取得部９０を更に備えていてもよい。選択情報取得部９０は、対象生体の生体情報もしくは動作情報を取得する。正規化係数変換部２２および標準化係数変換部６２は、選択情報取得部９０で取得された生体情報もしくは行動情報に基づいて、複数の機械学習モデルの中から、生体情報１０Ａに基づいて得られる特徴量Ｘ_ｔｅｓｔの覚醒度ベースラインに最も近い覚醒度ベースラインを持つ機械学習モデルを選択する。
選択情報取得部９０は、例えば、生体情報として、例えば、脳波、発汗、脈波、心電図、血流、皮膚温度、表情筋電位、眼電、もしくは唾液に含まれる特定成分についての情報を取得するデバイスで構成されている。選択情報取得部９０は、例えば、動作情報として、例えば、対象生体の顔の表情、音声、瞬き、呼吸、もしくは行動の反応時間についての情報を取得するデバイスで構成されている。
本変形例では、選択情報取得部９０を用いて、複数の機械学習モデルの中から、生体情報１０Ａに基づいて得られる特徴量Ｘ_ｔｅｓｔの覚醒度ベースラインに最も近い覚醒度ベースラインを持つ機械学習モデルが選択される。これにより、写像を精度よく行うことができるので、対象生体の情動を精度よく判定することが可能である。
また、例えば、本開示は以下のような構成を取ることができる。
（１）
センサを用いて取得された対象生体の生体情報に対して所定の前処理を行うことにより、複数の機械学習モデルの各々に対する入力情報を生成する入力情報生成部と、
前記機械学習モデルごとに生成された複数の前記入力情報を、対応する前記学習モデルに入力することにより各前記学習モデルから得られた推定結果に基づいて、前記対象生体の覚醒度を判定する判定部と
を備えた
情報処理システム。
（２）
前記複数の機械学習モデルでは、覚醒度ベースラインが互いに異なる
（１）に記載の情報処理システム。
（３）
前記複数の機械学習モデルは、覚醒度レベルの互いに異なる環境下で取得されたデータをそれぞれ用いて生成された
（１）または（２）に記載の情報処理システム。
（４）
前記入力情報生成部は、前記対象生体の動作状態に応じて、前記前処理の条件を最適化する
（１）ないし（３）のいずれか１つに記載の情報処理システム。
（５）
前記前処理は、正規化もしくは標準化である
（１）ないし（４）のいずれか１つに記載の情報処理システム。
（６）
前記機械学習モデルは、回帰モデル、または、識別モデルを含む
（１）ないし（５）のいずれか１つに記載の情報処理システム。
（７）
前記複数の機械学習モデルを更に備えた
（１）ないし（６）のいずれか１つに記載の情報処理システム。
（８）
各前記機械学習モデルは、所定の前記覚醒度ベースラインにおいて得られた特徴量の正規化情報もしくは標準化情報と、覚醒度情報とを用いて生成されたモデルである
（７）に記載の情報処理システム。
（９）
前記入力情報の生成に用いられる前記生体情報を取得する前に前記センサから取得した前記対象生体の生体情報に基づいて特徴量を取得する取得部と、
前記取得部で取得した前記特徴量と、前記複数の機械学習モデルにおける一の前記機械学習モデルである第１の機械学習モデルの学習の際に用いた前記特徴量とに基づいて、前記第１の機械学習モデルの正規化係数もしくは標準化係数を変換する変換部と
を更に備え、
前記入力情報生成部は、前記変換部で得られた、前記第１の機械学習モデルの正規化係数もしくは標準化係数を用いて、前記第１の機械学習モデルに対する前記入力情報を生成する
（８）に記載の情報処理システム。
（１０）
前記変換部は、前記複数の機械学習モデルにおける一の前記機械学習モデルである第１の機械学習モデルの学習の際に用いた前記特徴量から、前記取得部で取得した前記特徴量への写像を行う第１の変換ゲインを導出し、導出した前記第１の変換ゲインを用いて、前記第１の機械学習モデルの正規化係数もしくは標準化係数を変換する
（９）に記載の情報処理システム。
（１１）
前記変換部は、第１の機械学習モデルの学習の際に用いた前記特徴量と、前記複数の機械学習モデルにおける、前記第１の機械学習モデルとは異なる第２の機械学習モデルの学習の際に用いた前記特徴量との相関関係を記述した第２の変換ゲインと、前記第１の変換ゲインとを用いて、前記第２の機械学習モデルの正規化係数もしくは標準化係数を変換し、
前記入力情報生成部は、前記変換部で得られた、前記第２の機械学習モデルの正規化係数もしくは標準化係数を用いて、前記第２の機械学習モデルに対する前記入力情報を生成する
（１０）記載の情報処理システム。
（１２）
前記対象生体の生体情報もしくは動作情報を取得する情報取得部を更に備え、
前記変換部は、前記情報取得部で取得した、前記対象生体の前記生体情報もしくは前記行動情報に基づいて、前記複数の機械学習モデルの中から、前記第１の機械学習モデルを選択する
（１）ないし（１１）のいずれか１つに記載の情報処理システム。
本開示の一側面に係る情報処理システムでは、センサを用いて取得された対象生体の生体情報に対応する入力情報が、複数の機械学習モデルの各々に対して生成される。これにより、各機械学習モデルにおける各種パラメータのレンジを考慮した入力情報が生成され得る。この情報処理システムでは、機械学習モデルごとに生成された複数の入力情報が、対応する機械学習モデルに入力され、それによって各機械学習モデルから得られた推定結果に基づいて、対象生体の覚醒度が判定される。これにより、例えば、各機械学習モデルからは、各機械学習モデルの覚醒度ベースラインと、ユーザの覚醒度ベースラインとの相違の内容・程度に応じた推定結果を取得することが可能となる。従って、モデル学習時に想定される覚醒度ベースラインが、ユーザの覚醒度ベースラインと一致していない場合であっても、対象生体の覚醒度を精度よく判定することが可能である。
１…情報処理システム、１０…センサ部、２０，６０…アプリ規範取得部、２１…正規化情報取得部、２２…正規化係数変換部、３０，３１，３２，３３…正規化部、３１Ａ，３２Ａ，３３Ａ，８１Ａ，８２Ａ，８３Ａ…覚醒度情報、４０，８０…情動推定部、４１，４２，４３，８１，８２，８３…基準モデル、５０…判定部、６１…標準化情報取得部、６２…標準化係数変換部、７０，７１，７２，７３…標準化部、９０…選択情報取得部。

Claims (12)

  1. センサを用いて取得された対象生体の生体情報に対して所定の前処理を行うことにより、複数の機械学習モデルの各々に対する入力情報を生成する入力情報生成部と、
    前記機械学習モデルごとに生成された複数の前記入力情報を、対応する前記学習モデルに入力することにより各前記学習モデルから得られた推定結果に基づいて、前記対象生体の覚醒度を判定する判定部と
    を備えた
    情報処理システム。
  2. 前記複数の機械学習モデルでは、覚醒度ベースラインが互いに異なる
    請求項１記載の情報処理システム。
  3. 前記複数の機械学習モデルは、覚醒度レベルの互いに異なる環境下で取得されたデータをそれぞれ用いて生成された
    請求項１記載の情報処理システム。
  4. 前記入力情報生成部は、前記対象生体の動作状態に応じて、前記前処理の条件を最適化する
    請求項１記載の情報処理システム。
  5. 前記前処理は、正規化もしくは標準化である
    請求項１記載の情報処理システム。
  6. 前記機械学習モデルは、回帰モデル、または、識別モデルを含む
    請求項１記載の情報処理システム。
  7. 前記複数の機械学習モデルを更に備えた
    請求項５記載の情報処理システム。
  8. 各前記機械学習モデルは、所定の覚醒度ベースラインにおいて得られた特徴量の正規化情報もしくは標準化情報と、覚醒度情報とを用いて生成されたモデルである
    請求項７記載の情報処理システム。
  9. 前記入力情報の生成に用いられる前記生体情報を取得する前に前記センサから取得した前記対象生体の生体情報に基づいて特徴量を取得する取得部と、
    前記取得部で取得した前記特徴量と、前記複数の機械学習モデルにおける一の前記機械学習モデルである第１の機械学習モデルの学習の際に用いた前記特徴量とに基づいて、前記第１の機械学習モデルの正規化係数もしくは標準化係数を変換する変換部と
    を更に備え、
    前記入力情報生成部は、前記変換部で得られた、前記第１の機械学習モデルの正規化係数もしくは標準化係数を用いて、前記第１の機械学習モデルに対する前記入力情報を生成する
    請求項８記載の情報処理システム。
  10. 前記変換部は、前記複数の機械学習モデルにおける一の前記機械学習モデルである第１の機械学習モデルの学習の際に用いた前記特徴量から、前記取得部で取得した前記特徴量への写像を行う第１の変換ゲインを導出し、導出した前記第１の変換ゲインを用いて、前記第１の機械学習モデルの正規化係数もしくは標準化係数を変換する
    請求項９記載の情報処理システム。
  11. 前記変換部は、第１の機械学習モデルの学習の際に用いた前記特徴量と、前記複数の機械学習モデルにおける、前記第１の機械学習モデルとは異なる第２の機械学習モデルの学習の際に用いた前記特徴量との相関関係を記述した第２の変換ゲインと、前記第１の変換ゲインとを用いて、前記第２の機械学習モデルの正規化係数もしくは標準化係数を変換し、
    前記入力情報生成部は、前記変換部で得られた、前記第２の機械学習モデルの正規化係数もしくは標準化係数を用いて、前記第２の機械学習モデルに対する前記入力情報を生成する
    請求項１０記載の情報処理システム。
  12. 前記対象生体の生体情報もしくは動作情報を取得する情報取得部を更に備え、
    前記変換部は、前記情報取得部で取得した、前記対象生体の前記生体情報もしくは前記行動情報に基づいて、前記複数の機械学習モデルの中から、前記第１の機械学習モデルを選択する
    請求項１に記載の情報処理システム。
JP2021065169A 2021-04-07 2021-04-07 情報処理システム Pending JP2022160769A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021065169A JP2022160769A (ja) 2021-04-07 2021-04-07 情報処理システム
PCT/JP2022/002932 WO2022215322A1 (ja) 2021-04-07 2022-01-26 情報処理システム
US18/551,681 US20240164676A1 (en) 2021-04-07 2022-01-26 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021065169A JP2022160769A (ja) 2021-04-07 2021-04-07 情報処理システム

Publications (1)

Publication Number Publication Date
JP2022160769A true JP2022160769A (ja) 2022-10-20

Family

ID=83546280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021065169A Pending JP2022160769A (ja) 2021-04-07 2021-04-07 情報処理システム

Country Status (3)

Country Link
US (1) US20240164676A1 (ja)
JP (1) JP2022160769A (ja)
WO (1) WO2022215322A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5045492B2 (ja) * 2008-02-27 2012-10-10 トヨタ自動車株式会社 覚醒度推定装置
JP5241598B2 (ja) * 2009-05-14 2013-07-17 パナソニック株式会社 心理状態評価装置
JP6291922B2 (ja) * 2014-03-11 2018-03-14 アイシン精機株式会社 睡眠深度判定装置
WO2018179292A1 (ja) * 2017-03-30 2018-10-04 日本電気株式会社 情報処理装置と方法とプログラム
JP7067389B2 (ja) * 2018-09-24 2022-05-16 トヨタ自動車株式会社 生体状態推定装置
JP7205433B2 (ja) * 2019-09-24 2023-01-17 カシオ計算機株式会社 状態推定装置、状態推定方法及びプログラム

Also Published As

Publication number Publication date
US20240164676A1 (en) 2024-05-23
WO2022215322A1 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
Kaur et al. Age and gender classification using brain–computer interface
US11562222B2 (en) Systems and methods of identity analysis of electrocardiograms
Shan et al. Supervised machine learning of thermal comfort under different indoor temperatures using EEG measurements
Kolodyazhniy et al. An affective computing approach to physiological emotion specificity: Toward subject‐independent and stimulus‐independent classification of film‐induced emotions
Ali et al. A globally generalized emotion recognition system involving different physiological signals
US20100153470A1 (en) Identifying and Generating Biometric Cohorts Based on Biometric Sensor Input
Krupa et al. Recognition of emotions in autistic children using physiological signals
WO2007030869A1 (en) Method and system for detecting and classifying mental states
KR20030034424A (ko) 생리신호를 이용한 감성평가시스템 및 그 방법
CN101331490A (zh) 心理状态的检测和使用心理状态的互动
van den Broek et al. Unobtrusive sensing of emotions (USE)
US7363226B2 (en) Psychosomatic diagnosis system
JP2023089729A (ja) 計算機システム及び情動推定方法
JP7466914B2 (ja) 健康度ポジショニングマップおよび健康関数を作成する方法、システム、およびプログラム、ならびにそれらの使用方法
WO2022215322A1 (ja) 情報処理システム
JP7408132B2 (ja) 認知症判定プログラム及び認知症判定装置
JP5911840B2 (ja) 診断データ生成装置および診断装置
CN115034266A (zh) 一种采集脑电信号去噪方法、系统、装置及介质
Yahyaei Fast EEG based biometrics via mean curve length
EP4250311A1 (en) Ultrasound system with customization unit
JP2008306586A (ja) 情況推定方法、情況推定プログラム及びネットワークシステム
JP7408103B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Tavakkoli et al. A spherical phase space partitioning based symbolic time series analysis (SPSP—STSA) for emotion recognition using EEG signals
WO2023053324A1 (ja) 情報処理装置、生体情報推定装置、情報処理方法、及び、記録媒体
JP7454163B2 (ja) 対象の脳波の強度を推定するシステム、方法、およびプログラム