JP2022072024A - 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム - Google Patents

認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム Download PDF

Info

Publication number
JP2022072024A
JP2022072024A JP2020181215A JP2020181215A JP2022072024A JP 2022072024 A JP2022072024 A JP 2022072024A JP 2020181215 A JP2020181215 A JP 2020181215A JP 2020181215 A JP2020181215 A JP 2020181215A JP 2022072024 A JP2022072024 A JP 2022072024A
Authority
JP
Japan
Prior art keywords
facial expression
cognitive function
period
information
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020181215A
Other languages
English (en)
Inventor
健 森藤
Takeshi Morifuji
豊 北野
Yutaka Kitano
信孝 服部
Nobutaka Hattori
彦光 大山
Genko Oyama
真裕子 小川
Mayuko OGAWA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Juntendo University
Original Assignee
Glory Ltd
Juntendo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd, Juntendo University filed Critical Glory Ltd
Priority to JP2020181215A priority Critical patent/JP2022072024A/ja
Priority to PCT/JP2021/034721 priority patent/WO2022091642A1/ja
Publication of JP2022072024A publication Critical patent/JP2022072024A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】認知機能の判定対象の人物に関して実際には医学的検査を行わずとも、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能な技術を提供する。【解決手段】複数の被検者のそれぞれの表情スコアに関する情報と当該複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを生成する。表情スコアは、特定表情(笑顔等)の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値である。複数の被検者のそれぞれの所定の医学的認知機能評価尺度(MMSE検査値等)は、複数の被検者のそれぞれに対する所定の医学的検査によって取得される値である。そして、当該学習モデルを利用して、認知機能に関する判定対象人物の表情スコアに関する情報に基づき、当該判定対象人物の所定の医学的認知機能評価尺度に相当する値が推定される。【選択図】図15

Description

本発明は、認知機能判定装置およびそれに関連する技術に関する。
認知症の診療等においては、MMSE(Mini-Mental State Examination:ミニメンタルステート検査)などの医学的な検査が行われ、当該医学的な検査による検査値が、認知機能の程度(認知機能の低下程度等)を示す客観的な数値として利用されている。たとえば、MMSEは、十数項目にわたる質問等に被検者が答える形で診察が行われ、当該被検者の検査値が30点満点の値で得られる。なお、当該医学的な検査による当該検査値(認知機能を評価した値)は、医学的認知機能評価尺度などとも称される。
一方、被検者の画像を解析することにより、認知症などの診断に有用な情報を提供する技術も提案されている(特許文献1参照)。
特開2018-7792号公報
上記特許文献1の技術においては、複数の被検者の顔の各部位のベクトル情報および時間情報等に基づいて学習された学習モデルに基づき、ユーザが健常者グループと軽度認知障害者グループとのいずれに属するかを判定することが記載されている。
しかしながら、出力結果は、ユーザが健常者グループと軽度認知障害者グループとのいずれに属するかに関する判定結果ではあるものの、認知機能の程度を示すものではない。また、当該出力結果は、独自の指標であり、診療等において行われている医学的な検査による検査値(認知機能の程度を示す医学的検査値)ではない。特に、当該独自の指標値と所定の医学的検査値(医学的認知機能評価尺度)との具体的な関係性は必ずしも明確ではない。
したがって、当該独自の指標を所定の医学的認知機能評価尺度との対応関係を把握しつつ評価すること、端的に言えば、当該独自の指標を所定の医学的認知機能評価尺度と直接的に(同じレベルで)比較することは、困難である。
また、MMSE等の医学的な検査は、医師等が被検者に対して直接的に質問する形で行われるとともに、質問項目数も一定程度有るので、必ずしも簡易に行えるものではない。また、患者が病院に行って診察を受けることを考慮すると、患者から見た負担感も存在する。
特に、今後、高齢化の進展に伴って高齢者が増大し認知症患者も増大する可能性が高いこと等を考慮すると、認知機能に関する医学的評価がより簡易に得られることが好ましい。
そこで、この発明は、認知機能の判定対象の人物に関して実際には医学的検査を行わずとも、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能な技術を提供することを課題とする。
上記課題を解決すべく、本発明に係る認知機能判定装置は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定する制御部、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
前記特定表情は、笑顔であり、前記表情スコアは、笑顔の度合いを示す値であってもよい。
前記撮影画像データは、時系列の複数の画像を有し、前記表情スコアに関する情報は、前記複数の画像からそれぞれ取得された複数の表情スコアに関する情報を含んでもよい。
前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの最大値の情報を含んでもよい。
前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの平均値の情報を含んでもよい。
前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの標準偏差の情報を含んでもよい。
前記制御部は、前記特定表情を所定期間に亘って継続して表出させるための指示を撮影対象者に対して付与し、前記表情スコアに関する情報は、前記撮影画像データにおける前記特定表情の持続時間であって前記指示に応じて実際に所定スコア以上の前記表情スコアが持続した持続時間の情報を含んでもよい。
前記制御部は、前記特定表情を所定期間に亘って継続して表出させるための指示を撮影対象者に対して付与し、前記表情スコアに関する情報は、前記特定表情の持続時間の情報を含み、前記持続時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の2次微分曲線が前記指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第1時点から、前記第1時点よりも後に前記2次微分曲線が所定値以上の極大値に再び到達した第2時点までの時間長さとして算出されてもよい。
前記制御部は、撮影対象者に対して前記特定表情の表出開始を指示し、前記表情スコアに関する情報は、前記表出開始が指示された時点から前記表情スコアが極大値に到達する時点までの時間長さの情報を含んでもよい。
前記制御部は、撮影対象者に対して前記特定表情の表出開始を指示し、前記表情スコアに関する情報は、前記特定表情の立ち上がり時間の情報を含み、前記立ち上がり時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の2次微分曲線が前記表出開始の指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第1時点から、前記第1時点よりも後に前記2次微分曲線が最初に極小値に到達した第2時点までの時間長さとして算出されてもよい。
前記制御部は、前記特定表情を第1期間にて継続して表出させるための第1指示を撮影対象者に対して付与するとともに、前記第1期間の終了直後の第1休止期間の後に、前記特定表情を第2期間にて継続して表出させるための第2指示を前記撮影対象者に対して付与し、前記表情スコアに関する情報は、前記第1期間に取得された2以上の表情スコアの平均値の情報と、前記第2期間に取得された2以上の表情スコアの平均値の情報と、前記第1期間と前記第2期間とに取得された2以上の表情スコアの平均値の情報と、前記第1期間と前記第1休止期間とに取得された2以上の表情スコアの標準偏差の情報と、前記第2期間と前記第2期間後の第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、前記第1期間と前記第1休止期間と前記第2期間と前記第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、前記第1期間と前記第2期間とに取得された2以上の表情スコアの最大値の情報と、前記第1指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第1持続期間の期間長の情報と、前記第2指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第2持続期間の期間長の情報と、前記第1持続期間に取得された2以上の表情スコアの平均値の情報と、前記第2持続期間に取得された2以上の表情スコアの平均値の情報と、前記第1持続期間に取得された2以上の表情スコアの最大値の情報と、前記第2持続期間に取得された2以上の表情スコアの最大値の情報と、のうちの少なくとも1つを含んでもよい。
前記制御部は、前記特定表情を第1期間にて継続して表出させるための第1指示を撮影対象者に対して付与するとともに、前記第1期間の終了直後の第1休止期間の後に、前記特定表情を第2期間にて継続して表出させるための第2指示を前記撮影対象者に対して付与し、前記表情スコアに関する情報は、前記第1期間に取得された2以上の表情スコアの平均値の情報と、前記第2期間に取得された2以上の表情スコアの平均値の情報と、前記第1期間と前記第1休止期間とに取得された2以上の表情スコアの標準偏差の情報と、前記第1期間と前記第1休止期間と前記第2期間と前記第2期間後の第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、前記第1期間に関する前記特定表情の持続時間の情報と、を含んでもよい。
前記制御部は、撮影対象者に対して前記特定表情の表出を指示し、前記特定表情の前記表情スコアは、前記特定表情の表出指示に応じて表出された前記特定表情に関するスコアを含んでもよい。
前記制御部は、前記特定表情の前記表出指示に際して、前記特定表情に関する基準顔画像を所定の表示部に表示させてもよい。
前記基準顔画像は、前記特定表情を有する複数の人物の複数の顔画像を平均化して得られた平均顔画像であってもよい。
上記課題を解決すべく、本発明に係る認知機能判定システムは、上記いずれかの特徴を有する認知機能判定装置と、前記人物の前記撮影画像データを前記認知機能判定装置に送信する端末装置と、を備えることを特徴とする。
上記課題を解決すべく、本発明に係る学習モデル生成装置は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成する制御部、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
上記課題を解決すべく、本発明に係る認知機能判定方法は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
上記課題を解決すべく、本発明に係る学習モデル製造方法は、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、を備え、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
上記課題を解決すべく、本発明に係る学習済みモデルは、上記いずれかの特徴を有する製造方法を用いて製造された学習済みモデルであることを特徴とする。
上記課題を解決すべく、本発明に係るプログラムは、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、をコンピュータに実行させるためのプログラムであって、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
上記課題を解決すべく、本発明に係るプログラムは、複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、をコンピュータに実行させるためのプログラムであって、前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする。
本発明によれば、認知機能の判定対象の人物に関して実際には医学的検査を行わずとも、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能である。
認知機能判定システムを示す概略図である。 認知機能判定装置の機能ブロックを示す図である。 端末装置の機能ブロックを示す図である。 学習段階の処理を示す概念図である。 推論段階の処理を示す概念図である。 学習段階の処理を示すフローチャートである。 推論段階の処理を示すフローチャートである。 1回目の笑顔表出期間の直前における表示画面を示す図である。 1回目の笑顔表出指示等に関する表示画面を示す図である。 1回目の笑顔表出期間における表示画面を示す図である。 1回目の笑顔表出期間直後の第1休止期間における表示画面を示す図である。 2回目の笑顔表出期間の直前における表示画面を示す図である。 2回目の笑顔表出指示等に関する表示画面を示す図である。 2回目の笑顔表出期間直後の第2休止期間における表示画面を示す図である。 推論結果の表示画面を示す図である。 或る人物に関する表情スコアの時間変化を示す図である。 或る学習結果等の概要を示す図である。 実際のMMSEの検査値と学習済みモデルを利用して推定されたMMSE相当値(認知度合スコア)との関係等を示す図である。 複数のパラメータのそれぞれとMMSE検査値との相関を示す表(上段)と、これらのパラメータのうち実際に図17の評価試験で利用されたパラメータ(下段)とを示す図である。 表情スコアの経時変化曲線およびその微分曲線等を示す図である。
以下、本発明の実施形態を図面に基づいて説明する。
<1.システム概要>
図1は、認知機能判定システム1を示す概略図である。図1に示されるように、認知機能判定システム1は、認知機能の程度を判定する認知機能判定装置30と、複数の端末装置70とを備えている(図2および図3も参照)。なお、図2は認知機能判定装置30の機能ブロックを示す図であり、図3は端末装置70の機能ブロックを示す図である。
認知機能判定装置30と各端末装置70とはネットワーク(インターネット等を含む)を介して互いに通信可能である。認知機能判定装置30はサーバ装置(クラウドサーバ等)として構築されており、端末装置70はクライアント装置として構築されている。すなわち、認知機能判定システム1は、クライアントサーバシステムとして構築されている。
認知機能判定装置30は、学習モデル410(図2参照)を備えている。機械学習によって学習された後の学習モデル410は、学習済みモデル420とも称される。具体的には、学習モデル410(学習器)の学習パラメータが所定の機械学習手法を用いて調整され、学習済みの学習モデル410(学習済みモデル420)が生成される(図2参照)。
学習モデル410としては、たとえば、複数の層で構成されるニューラルネットワークモデルが用いられる。そして、所定の機械学習手法によって、ニューラルネットワークモデルにおける複数の層(入力層、(1又は複数の)中間層、出力層)の層間における重み付け係数(学習パラメータ)等が調整される。あるいは、学習モデル410として重回帰モデル(回帰分析モデル)が用いられ、一の機械学習手法として重回帰に関する最小二乗法等が用いられて重回帰モデルの重み付け係数が調整されてもよい。
このように、認知機能判定装置30は、機械学習における学習段階の処理を実行する。なお、図4は、当該学習段階の処理を示す概念図である。
具体的には、学習モデル410は、複数の被検者のそれぞれの表情スコアに関する情報と、複数の被検者のそれぞれの認知機能の程度(低下程度等)に関する評価結果を示す所定の医学的認知機能評価尺度との関係を学習するモデル(回帰モデル)である。詳細には、学習モデル410は、表情スコアに関する情報(複数のパラメータ)を入力とし且つ所定の医学的認知機能評価尺度に相当する値を出力とするモデルである。
所定の医学的認知機能評価尺度は、被検者に対する所定の医学的検査(医師の問診に対する被検者の回答等を含む)によって取得される医学的な評価尺度(認知機能の程度を示す評価値)である。複数の被検者のそれぞれの所定の医学的認知機能評価尺度は、複数の被検者のそれぞれに対する所定の医学的検査によって取得される。学習モデル410の機械学習では、当該各被検者の所定の医学的認知機能評価尺度がラベル(正解データ)として用いられる。詳細には、各被検者の表情スコアに関する情報と当該各被検者の所定の医学的認知機能評価尺度との組合せ(データセット)が、学習モデル410の機械学習における教師データ(ラベル付きデータ)として用いられる。
ここでは、所定の医学的認知機能評価尺度として、MMSE(Mini-Mental State Examination:ミニメンタルステート検査)を例示する。MMSEの検査値(MMSE検査値とも称する)は、30点を満点としており、MMSE検査値(点数)が低くなるにつれて認知機能が低下していることを示している。
また、表情スコアは、特定表情の度合いを示す値(スコア)であり、対象者を撮影した撮影画像データ110(図1参照)に基づいて取得される値である。より詳細には、表情スコアは、撮影画像データ110内の対象者の顔画像を解析することによって、特定表情の度合いを数値化した値(たとえば、「0」~「100」の値)として取得される。ここでは、特定表情として笑顔を例示するとともに、表情スコアとして、笑顔の度合いを数値化した笑顔スコアを例示する。ただし、これに限定されない。たとえば、特定表情は、驚き、怒り、悲しみ、嫌悪などであってもよく、表情スコアは、驚きスコア、怒りスコア、悲しみスコア、嫌悪スコアなどであってもよい。
撮影画像データ110は、時系列の複数の画像(たとえば、動画像データ内の複数のフレーム画像)を有する。そして、当該複数の画像からそれぞれ抽出された複数の顔画像のそれぞれに対して表情スコアが算出される。このようにして、或る人物に関する複数の画像に基づいて、当該人物に関する複数の表情スコアが取得される。なお、撮影画像データ110は、動画像データ内の複数のフレーム画像を備えて構成されるものに限定されず、時系列の複数の静止画像を備えて構成されるもの等であってもよい。
当該人物に関する当該複数の表情スコアに基づいて、当該人物に関する表情スコアに関する情報120が生成される。後に詳述するように、当該情報120は、たとえば、撮影画像データ110の特定期間にて取得された2以上の表情スコアの平均値および/または最大値の情報等を含む。また、複数の人物のそれぞれの表情スコアに関する情報は、当該複数の人物のそれぞれの撮影画像データ110に基づいて取得される。
各人物に関する表情スコア等は、特定表情の表出指示に応じて取得される。具体的には、認知機能判定装置30は、特定表情(ここでは笑顔)の表出指示を撮影対象者(被検者等)に付与し、当該撮影対象者は、当該表出指示に応じて当該特定表情(笑顔等)を表出(作出)する。たとえば、笑顔を一定期間(15秒)に亘って表出し続けるべき旨の指示に応じて、当該撮影対象者は、自らの顔の表情筋等を動かして笑顔を表出(作出)するように試みる。そして、撮影対象者の撮影画像データ110(ここでは動画像データ)が端末装置70によって撮影され、端末装置70から認知機能判定装置30へと送信される。認知機能判定装置30は、認知機能判定装置30から受信した撮影画像データ110を解析し、当該撮影画像データ110内の特定期間における複数の表情スコアの平均値、最大値および標準偏差を取得する。認知機能判定装置30は、当該撮影画像データ110に対する解析処理によって、特定表情持続時間(笑顔持続時間)、および特定表情までの立ち上がり(起ち上がり)時間等をも取得する。
ここにおいて、認知機能が低下すると、笑顔(特に、無表情状態とは大きく異なるしっかりとした笑顔)を表出することが難しくなる。それ故、高い笑顔スコア(たとえば最大値「100」になるべく近い値)を出すことが困難になる。その結果、笑顔の表出指示に基づく一定期間における笑顔スコアの平均値および最大値等は低くなる傾向が存在する。また、笑顔持続時間は短くなる傾向が存在し、笑顔までの立ち上がり時間は長くなる傾向が存在する。
このような知見等に基づき、本願においては、表情スコアに関する情報120に基づき、認知機能の程度を判定する。具体的には、学習モデル410において、表情スコアに関する情報120と認知機能の程度との関係を学習させる。詳細には、学習モデル410において、表情スコアに関する情報120と所定の医学的認知機能評価尺度との関係を学習させ、学習済みモデル420を生成する。
より詳細には、複数の被検者のそれぞれの表情スコアに関する情報120を入力とし、当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度(MMSE等)に相当する値(以下、認知度合スコアDとも称する)を出力とする学習モデル410が構築される。そして、学習モデル410において、各被検者に関する出力(認知度合スコアD)(推定値)と各被検者の実際のMMSEのスコア(実際にMMSEを実施して得られた検査値)(正解値)との誤差を小さくするように機械学習が行われる。換言すれば、実際のMMSEのスコア(実際にMMSEを実施して得られた検査値)が正解データとして用いられて、機械学習が行われる。このように、学習モデル410において、複数の被検者のそれぞれの表情スコアに関する情報120と当該複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度(MMSE検査値等)との関係が機械学習される。
また、認知機能判定装置30は、機械学習における推論段階の処理を実行する。認知機能判定装置30は、学習済みモデル420を利用して、判定対象人物(学習に利用された複数の被検者とは異なる人物(MMSEの未検者)等)の表情スコアに関する情報120に基づき、当該判定対象人物に関する認知度合スコアDを推定する。なお、図5は、当該推論段階の処理を示す概念図である。
具体的には、認知機能判定システム1は、認知機能の判定対象人物を撮影した撮影画像に基づき、当該判定対象人物の認知機能を判定する。具体的には、当該撮影画像が端末装置70のカメラによって撮影され、ネットワーク(インターネット等を含む)を介して端末装置70から認知機能判定装置30へと送信される。認知機能判定装置30は、当該撮影画像を解析し、当該撮影画像内の人物に関して特定表情(たとえば笑顔)の度合いを表す値である表情スコア(たとえば笑顔スコア)を求める。次に、表情スコアに関する情報120(詳細には、撮影画像内の時系列の複数の画像からそれぞれ取得された複数の表情スコアに関する情報)が認知機能判定装置30内の学習済みモデル420に入力される。そして、所定の医学的検査値(MMSE)に相当する値(認知度合スコアD)が当該学習済みモデル420から出力される。換言すれば、認知機能判定装置30は、学習済みモデル420を利用して、判定対象人物の表情スコアに関する情報に基づき、当該判定対象人物に関する「認知度合スコア」(MMSEによる医学的認知機能評価尺度に相当する値)を推定する。
ここにおいて、当該認知度合スコアDは、複数の被検者のそれぞれの表情スコアに関する情報と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係を学習した学習済みモデル420を利用して求められる値である。認知度合スコアDは、所定の医学的認知機能評価尺度(たとえばMMSE検査値)との間に高い相関を有する値であり、所定の医学的認知機能評価尺度に相当する値である、とも表現される。
<2.認知機能判定装置30>
図2に示されるように、認知機能判定装置30は、コントローラ31(制御部とも称される)と記憶部32と通信部34と操作部35とを備える。
コントローラ31は、認知機能判定装置30に内蔵され、認知機能判定装置30の動作を制御する制御装置である。
コントローラ31は、1又は複数のハードウェアプロセッサ(例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit))等を備えるコンピュータシステムとして構成される。コントローラ31は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて認知機能判定装置30にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて認知機能判定装置30にインストールされるようにしてもよい。
コントローラ31は、機械学習の学習段階に関する処理を実行する。
具体的には、コントローラ31は、まず教師データの取得処理を実行する。具体的には、コントローラ31は、複数の被検者のそれぞれの表情スコアに関する情報120を取得するとともに、当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度(MMSEの検査値)を示すデータをも取得する。すなわち、各被検者の表情スコアに関する情報120と当該各被検者の医学的認知機能評価尺度との組合せが教師データとして取得される。
次に、コントローラ31は、当該教師データに基づいて、学習器(学習モデル410)に関する学習パラメータを最適化する処理を実行し、学習済みモデル420を生成する。より詳細には、複数の被検者のそれぞれの表情スコアに関する情報120と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度(MMSEの検査値)との既知の関係を示すデータを教師データとして機械学習が行われ、学習パラメータが最適化される。これにより、学習済みモデル420が生成される。
さらに、コントローラ31は、機械学習の推論段階に関する処理を実行する。具体的には、学習パラメータが調整された学習モデル410(学習済みモデル420)を用いて、判定対象人物に関して取得された表情スコアに関する情報120に基づいて、推論処理が実行される。詳細には、認知度合スコアD(MMSEの検査値に相当する値)を推定する推定処理(推論処理)が実行される。また、コントローラ31は、推論結果を出力する処理(認知度合スコアDの表示処理等)をも実行する。
記憶部32は、ハードディスクドライブ(HDD)および/またはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、学習モデル410(学習モデルに関する学習パラメータおよびプログラムを含む)(ひいては学習済みモデル420)等を記憶する。また、認知機能判定装置30に対する認証処理に用いられる登録データベース450をも記憶する。登録データベース450には、登録ユーザに関する各種の情報(ユーザID、氏名、顔画像情報等)が予め登録される。
通信部34は、ネットワークを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、認知機能判定装置30は、所望の相手先(たとえば、端末装置70)との間で各種のデータを授受することが可能である。
操作部35は、認知機能判定装置30に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。操作入力部35aとしてはマウスおよびキーボード等が用いられ、表示部35bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部35aの一部としても機能し且つ表示部35bの一部としても機能するタッチパネルが設けられてもよい。
なお、この認知機能判定装置30は、学習モデル410に関する学習段階の処理(学習モデル410の生成処理)をも実行するので、学習モデル生成装置などとも称される。
<3.端末装置70>
各端末装置70は、認知機能判定装置30との間でのネットワーク通信が可能な情報入出力端末装置(情報処理装置)である。各端末装置70は、スマートフォン、タブレット型端末、あるいはパーソナルコンピュータ(固定式(据置型)あるいは携帯式の何れでもよい)などとして構成される。図1では、タブレット型端末として構築された端末装置70が例示されている。
端末装置70は、認知機能判定装置30との間で各種の情報を授受する。端末装置70は、端末装置70の近傍に存在する人物を撮影した撮影画像データ110を生成し、当該撮影画像データ110を認知機能判定装置30に送信する。また、端末装置70は、認知機能判定装置30からの情報を受信して当該情報をその表示部75b等に表示する。
図3は、端末装置70の概略構成を示す機能ブロック図である。
端末装置70は、図3の機能ブロック図に示すように、コントローラ71、記憶部72、通信部74、操作部75、および撮影部76等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
コントローラ(制御部)71は、端末装置70を制御する制御装置である。
コントローラ71は、コントローラ31と同様のハードウエア構成を有している。また、コントローラ71は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)72内に格納されている所定のソフトウエアプログラムを実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて端末装置70にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて端末装置70にインストールされるようにしてもよい。
コントローラ71は、当該プログラムを実行し、次のような各種の処理を実行する。
具体的には、コントローラ71は、学習モデル410の学習段階において、各被検者に関する顔画像等の撮影処理等を実行するとともに、各被検者に関する撮影画像データ110およびMMSEの検査値等を認知機能判定装置30に送信する処理を実行する。
また、コントローラ71は、学習モデル410(詳細には学習済みモデル420)を用いた推論段階において、認知機能の判定対象人物に関する顔画像を撮影した撮影画像データ110を生成する。また、コントローラ71は、各被検者に関する撮影画像データ110を認知機能判定装置30に送信する。さらに、コントローラ71は、学習済みモデル420を用いた認知機能判定装置30によるMMSEの推定結果を認知機能判定装置30から取得し、MMSEの当該推定結果(所定の医学的認知機能評価尺度に相当する値)を表示部75bに表示する。
記憶部72は、記憶部32と同様のハードウエア構成を有している。
通信部74は、通信部34と同様のハードウエア構成を有している。通信部74によるネットワーク通信を利用することによって、端末装置70は、所望の相手先(たとえば、認知機能判定装置30)との間で各種のデータを授受することが可能である。
操作部75は、端末装置70に対する操作入力を受け付ける操作入力部75aと、各種情報の表示出力を行う表示部75bと、音声を出力する音声出力部75eとを備えている。操作入力部75aとしてはマウス、キーボード等が用いられ、表示部75bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部75aの一部としても機能し且つ表示部75bの一部としても機能するタッチパネル75cが設けられてもよい。音声出力部75eは、スピーカー等を備えて構成される。
撮影部76は、カメラ76c等を備えて構成される。撮影部76は、カメラ76cによる撮影画像データ110(詳細には、動画像データ)を生成することが可能である。具体的には、カメラ76cは、可視光画像(カラー画像等)を撮像するRGB画像センサ等を有しており、カラー動画像を撮影することが可能である。
<4.学習段階の処理>
以下、学習モデル410の学習段階、および学習モデル410(学習済みモデル420)を用いた推論段階の各処理について順に説明する。
まず、学習段階の処理について説明する。
図6は、学習段階の処理を示すフローチャートである。図6に示される処理は、コントローラ31等によって実行される。
また、図6は、学習済みモデルの生成方法を示す図でもある。本願においては、学習済みモデル420を生成することは、学習済みモデル420を製造(生産)することを意味するとともに、「学習済みモデルの生成方法」は「学習済みモデルの製造方法」を意味する。
図6の学習段階の処理は、教師データの準備段階の処理(ステップS11,S12)、および当該教師データを利用した学習モデル410の機械学習処理(ステップS13,S14)に大別される。
まず、ステップS11の処理について説明する。ステップS11では、コントローラ31は、各被検者(撮影対象者)の撮影画像データ110を取得するとともに、当該各被検者の表情スコアに関する情報120を当該撮影画像データ110に基づき取得する。
具体的には、端末装置70によって被検者の撮影画像データ110が取得される。被検者は自宅(あるいは病院)等にて自身の顔を含む撮影画像を端末装置70によって撮影させる。
より詳細には、被検者は、端末装置70で実行されるアプリケーションソフトウエアプログラム(以下、単にアプリケーションとも称する)を用いて、認知機能判定装置30にログインする。たとえば、端末装置70の操作部75を用いて入力されたユーザ情報(ログインIDおよびパスワード)が端末装置70から認知機能判定装置30に送信される。そして、入力された(送信されてきた)ユーザ情報と予め登録されていたユーザ情報とが認知機能判定装置30において照合されることによって、ログイン処理(ユーザ認証処理)が行われる。なお、これに限定されず、たとえば、ログイン処理として、顔認証処理が行われてもよい。具体的には、被検者の現在の顔画像(ログイン時の顔画像(静止画像))を端末装置70によって撮影し、予め登録された顔画像(当該被検者の顔画像(正規データ))と当該現在の顔画像とを照合することによって顔認証処理が行われてもよい。そして、当該顔認証処理の結果に応じてログインの許否が決定されてもよい。
ログイン後において、端末装置70からの表示出力および/または音声出力によって、「笑顔」の表出指示が被検者に対して付与される。当該表出指示を付与する処理は、端末装置70内にて実行されるアプリケーションによって実行されればよい。ただし、これに限定されない。当該表出指示を付与する処理は、たとえば、認知機能判定装置30からの指令(ウェブサーバ(認知機能判定装置30)あるいはウエブブラウザ(端末装置70)で実行されるスクリプト等)に従って端末装置70にて実行されてもよい。なお、特定表情(笑顔等)の停止指示(後述)等についても同様である。
ここでは、合計2回の特定表情の表出指示が付与される。より具体的には、まず、特定表情(ここでは笑顔)を第1期間L1にて(ここでは15秒間に亘って)継続して表出させるための第1指示が、被検者に対して付与される。さらに、当該第1期間L1の終了直後の第1休止期間R1(ここでは15秒間)の後に、特定表情(笑顔)を第2期間L2にて(再び15秒間に亘って)継続して表出させるための第2指示が被検者に対して付与される。さらに、第2期間L2後の第2休止期間R2(ここでは15秒間)が終了すると、全ての処理が終了した旨が被検者に報知される。そして、これらの全期間(第1期間L1と第1休止期間R1と第2期間L2と第2休止期間R2との全期間)、具体的には、合計60秒(=15秒+15秒+15秒+15秒)を含む期間において被検者の撮影画像が撮影される。なお、各期間L1,L2は、特定表情表出期間(笑顔表出期間等)とも称される。
具体的には、ログイン直後における不図示の画面にて、笑顔トレーニングの概略(15秒間の休憩を挟んで2回に分けて15秒ずつ笑顔を表出してもらうこと等)の説明が表示される。被検者は、当該概略の説明を理解した後に、笑顔トレーニングのスタートボタン(画面内に表示される)を押下する。
当該スタートボタンの押下に応じて、図8のような画面210(211)が端末装置70(詳細には表示部75b)に表示される。画面210(211)は、撮影画像の表示領域221と基準顔画像の表示領域223とを有している。表示領域221には、被検者自身の撮影画像がリアルタイムで随時更新されて表示される。一方、表示領域223には、基準となる笑顔の顔画像(基準顔画像とも称する)が表示される。ここでは、基準顔画像として「平均顔画像」が表示されるものとする。平均顔画像は、特定表情(ここでは笑顔)を有する複数の人物の複数の顔画像を平均化して予め得られた顔画像である。当該平均顔画像は、たとえば、複数の人物に関する複数の顔画像(笑顔の顔画像)の大きさを正規化するとともに、当該顔画像内の特徴点の位置(目、鼻、口等における更に詳細な特徴点の位置)を平均化すること等によって求められる。
図8の画面211内の表示領域221の上側には、「スタート!の合図にあわせて、15秒間、1回目の笑顔トレーニングをします!!右の基準顔画像(平均顔)のように笑ってください。」との文言が表示される。また、当該文言を読み上げる音声が端末装置70にて出力される。また、画面211内の表示領域221の上側には、笑顔の表出開始時までの残り時間(図8では「30秒前」)が表示される。なお、図8~図11は、1回目の笑顔表出期間L1等に関する表示画面を示す図であり、図12~図14は、2回目の笑顔表出期間L2等に関する表示画面を示す図である。また、図15は、推論結果(後述)の表示画面を示す図である。これらのうち図8は、1回目の笑顔表出期間L1の直前(撮影開始前等)における表示画面を示している。また、図9は1回目の笑顔表出指示の付与等を行うための表示画面を示しており、図10は1回目の笑顔指示期間L1内における表示画面を示しており、図11は1回目の笑顔表出期間L1の直後の第1休止期間R1内における表示画面を示している。
その後(図8の画面211が表示された後)、適宜のタイミングで(たとえば、表出開始の5秒前に)図9のような画面210(212)が端末装置70に表示される。画面212においては、「それでは、もうすぐ、15秒間、1回目の笑顔トレーニングをします!!」と表示され、残り時間がさらにカウントダウンされていく。そして、開始タイミングが到来すると、笑顔の表出指示(詳細には表出開始指示)が付与される。具体的には、「はい、スタート!」の文字が画面212に表示されるとともに、「はい、スタート!」の音声が出力される。
このようにして、1回目の表出開始指示P1(特定表情の表出を開始すべき旨の指示)(図16も参照)が付与される。当該1回目の表出開始指示P1は、特定表情(ここでは笑顔)を第1期間L1にて継続して表出させるための第1指示であるとも表現される。なお、笑顔の表出開始指示P1は、笑顔開始指示P1とも称される。
端末装置70は、笑顔開始指示P1の数秒前(あるいは数十秒前)から被検者の撮影(撮影画像データ110の撮影処理)を開始する。ただし、これに限定されず、笑顔開始指示P1に応じて被検者の撮影が開始されてもよい。ここでは、笑顔開始指示P1の10秒前から撮影が開始されるものとする(図16参照)。なお、図16は、或る撮影対象者に関する撮影画像データ110に基づいて取得された笑顔スコアの経時変化等を示す図である。
被検者は、当該表出指示(笑顔開始指示P1)に応じて、笑顔の表出(作出)を開始する。この際、表示部75bの画面213の表示領域223には、笑顔の基準顔画像(平均顔画像)が表示(提示)されており、被検者は、画面213に表示された基準顔画像(平均顔画像)を参考にして、当該基準顔画像に近い笑顔を表出(作出)するように試みる。
第1期間L1においては、図10のような画面210(213)が表示される。画面213においては、残り時間(図10では「残り3秒」)がカウントダウン表示される。なお、第1期間L1は、笑顔の表出が指示された期間(区間)であることから、笑顔指示期間(笑顔指示区間)L1とも称される。
第1期間L1が終了すると、図11のような画面210(214)が表示される。画面214においては「1回目、終了です。」との文言が表示される。また同時に、「1回目、終了です。」の音声が出力される。このようにして、1回目の笑顔停止指示Q1(笑顔の表出を停止(終了)すべき旨の指示(表出終了指示))(図16参照)が付与される。
また、画面214においては、「15秒休憩した後、もう1回行います。」との文言がさらに表示されるとともに、2回目スタートまでの時間(図11では、「12秒前」)がカウントダウン表示される。
その後、適宜のタイミングで(たとえば、第2回目の表出開始の10秒前に)図12のような画面210(215)が端末装置70に表示される。画面215においては、「スタート!の合図に合わせて、15秒間、2回目の笑顔トレーニングをします!!」と表示され、残り時間がカウントダウンされていく。その後、さらに図13の画面216が表示され、残り時間がさらにカウントダウンされていく。そして、開始タイミングが到来すると、笑顔の表出指示(詳細には表出開始指示)が付与される。具体的には、図13に示されるように「はい、スタート!」の文字が表示されるとともに、「はいスタート!」の音声が出力される。なお、図12~図14は、上述のように、2回目の笑顔表出期間L2等に関する表示画面を示している。詳細には、図12は2回目の笑顔表出指示に関する表示画面(笑顔表出指示直前の表示画面)を示しており、図13は2回目の笑顔表出指示の付与等を行うための表示画面を示しており、図14は2回目の笑顔表出期間L2直後の第2休止期間R2における表示画面を示している。
このようにして、2回目の笑顔開始指示P2(図16参照)が付与される。当該2回目の笑顔開始指示P2は、笑顔を第2期間L2(図16参照)にて継続して表出させるための第2指示であるとも表現される。
被検者は、当該表出指示(笑顔開始指示P2)に応じて、笑顔の表出(作出)を開始する。この際、被検者は、第1期間L1と同様に、表示領域223に表示された基準顔画像(平均顔画像)を参考にして、当該基準顔画像に近い笑顔を表出(作出)するように試みる。
第2期間L2においても、第1期間L1と同様に、図10の画面213と同様の画面が表示される。なお、第2期間L2は、笑顔の表出が指示された期間(区間)であることから、笑顔指示期間(笑顔指示区間)L2とも称される。
第2期間L2が終了すると、図14のような画面210(217)が表示される。画面217においては「2回目も終了しました。このまま15秒休憩してください。」との文言が表示される。また同時に、同内容の音声が出力される。このようにして、2回目の笑顔停止指示Q2(笑顔の表出を停止(終了)すべき旨の指示)(図16参照)が付与される。
そして、2回目の笑顔停止指示Q2から15秒が経過すると、撮影が終了する。また、表示部75bには「お疲れ様でした。全て終了しました。」の文言を含む画面(不図示)が表示され、撮影終了(笑顔トレーニング終了)の旨が被検者に通知される。また、端末装置70による撮影も終了する。
このような撮影によって、期間L1,R1,L2,R2(合計60秒間)を含む撮影画像データ110が生成される。ここでは、笑顔開始指示P1の10秒前の時点から撮影終了指示Q3の時点(第2休止期間R2の終了時点)(図16参照)までの70秒間に亘る撮影画像データ110が生成される。すなわち、期間L1,R1,L2,R2の60秒間と笑顔開始指示P1の直前の期間(10秒間)とを含む期間に亘る撮影画像データ110が生成される。
また、端末装置70は、生成された撮影画像データ110を認知機能判定装置30に送信する。認知機能判定装置30は、端末装置70から受信した撮影画像データ110を記憶部32(図2)に記憶する。
このようにして、認知機能判定装置30(コントローラ31等)は、各被検者(撮影対象者)の撮影画像データ110を取得する。
なお、図15(後述)は、学習モデル410の学習段階では表示されず、学習モデル410(学習済みモデル420)を利用した推論段階(後述、図7参照)で表示される。
次に、認知機能判定装置30のコントローラ31は、当該撮影画像データ110に対する解析処理を実行し、表情スコアに関する情報120を抽出する。具体的には、まず、撮影画像データ110(合計60秒間)に含まれる時系列の全てのフレーム画像に対して表情スコアの算出処理が施され、全フレーム画像に対して各表情スコアが算出される(図16参照)。なお、図16は、或る被検者に関する表情スコアの時間変化を示す図である。図16においては、第1期間L1の開始時点(笑顔開始指示P1の付与時点)から撮影終了指示Q3の付与時点までを含む期間における、表情スコアの時間変化等が示されている。
(1)表情スコアに関する情報(以下、表情スコア情報とも称する)120は、たとえば、撮影画像データ110の特定期間にて取得された2以上の表情スコアの平均値および/または最大値の情報、を含む。
詳細には、表情スコア情報120は、たとえば、撮影画像データ110の第1期間L1(図16参照)にて取得された2以上の表情スコア(第1期間L1内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等)の平均値および/または最大値の情報を含む。具体的には、表情スコア情報120は、30フレーム/秒で第1期間L1の15秒間に取得された450枚の顔画像に対する450個の笑顔スコアの平均値および/または最大値(450個の笑顔スコアのうちの最大の値)の情報を含む。
ただし、これに限定されず、表情スコア情報120は、たとえば、撮影画像データ110の第2期間L2にて取得された2以上の表情スコア(第2期間L2内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等)の平均値および/または最大値の情報を含んでもよい。
また、表情スコア情報120は、たとえば、撮影画像データ110の第1期間L1と第2期間L2との双方(全指示期間とも称する)にて取得された2以上の表情スコアの平均値および/または最大値の情報を含んでもよい。換言すれば、表情スコア情報120は、全指示期間内の異なるタイミングで取得された複数の顔画像に関する複数の笑顔スコア等の平均値(および/または最大値)の情報を含んでもよい。具体的には、第1期間L1の15秒間と第2期間L2の15秒との合計30秒の間に30フレーム/秒で取得された900枚の顔画像に対する900個の笑顔スコアの平均値および/または最大値(900個の笑顔スコアのうちの最大の値)の情報を含んでもよい。
なお、第1期間L1と第2期間L2との双方(1回目の笑顔指示期間L1と2回目の指示期間L2との双方)を合わせた期間は、笑顔の表出が指示された全ての期間であることから、全指示期間(全指示区間あるいは全笑顔指示期間等)とも称される。また、撮影画像データ110の特定期間は、期間L1,L2に限定されず、実際に笑顔(所定スコア以上の笑顔等)が表出されている期間M1,M2(笑顔期間あるいは笑顔区間とも称する)(図16参照)であってもよい。たとえば、表情スコア情報120は、撮影画像データ110の期間M1(および/またはM2)にて取得された2以上の表情スコアの平均値および/または最大値の情報を含んでもよい。
認知機能が低下すると、特定表情(笑顔等)を意図的に表出(作出)することが難しくなる。たとえば、「良い」笑顔を作ること(大きな値の笑顔スコアの笑顔を表出すること)、および「良い」笑顔を表出し続けること等が難しくなる。したがって、たとえば、撮影画像データ110の特定期間における表情スコアの平均値および/または最大値は、認知機能の程度との間に相関を有する。
また、認知機能の低下に伴い、2回続けて(第1期間L1と第2期間L2との双方(および期間M1と期間M2との双方)において)特定表情(笑顔等)を意図的に表出(作出)することも難しくなる。したがって、1回目の特定表情表出期間等(期間L1等)のみならず2回目の特定表情表出期間等(期間L2等)における表情スコアの平均値、最大値もが考慮されることが好ましい。
(2)また、表情スコア情報120は、撮影画像データ110の特定期間にて取得された2以上の表情スコアの標準偏差の情報、を含んでもよい。
詳細には、表情スコア情報120は、撮影画像データ110の第1期間L1および第1休止期間R1にて取得された2以上の表情スコアの標準偏差の情報を含んでもよい。具体的には、表情スコア情報120は、30フレーム/秒で第1期間L1の15秒間と第1休止期間R1の15秒との合計30秒において取得された900枚の顔画像に対する900個の笑顔スコアの標準偏差の情報を含んでもよい。
また、表情スコア情報120は、撮影画像データ110の第2期間L2および第2休止期間R2にて取得された2以上の表情スコアの標準偏差の情報を含んでもよい。
また、表情スコア情報120は、撮影画像データ110の第1期間L1、第1休止期間R1、第2期間L2および第2休止期間R2にて取得された2以上の表情スコアの標準偏差の情報を含んでもよい。具体的には、30フレーム/秒で期間L1,R1,L2,R2の合計60秒の間に取得された1800枚の顔画像に対する1800個の笑顔スコアの標準偏差の情報を含んでもよい。
なお、第1期間L1と第1休止期間R1とを合わせた期間(L1+R1)は、笑顔の表出の是非が指定された期間であることから、(1回目の)指定期間(指定区間)とも称される。同様に、第2期間L2と第2休止期間R2とを合わせた期間(L2+R2)は、笑顔の表出の是非が指定された期間であることから、(2回目の)指定期間(指定区間)とも称される。また、第1期間L1と第1休止期間R1と第2期間L2と第2休止期間R2とを合わせた期間は、笑顔の表出の是非が指定された全ての期間であることから、全指定期間(全指定区間)とも称される。
上述のように、認知機能が低下すると、特定表情(笑顔等)を意図的に表出(作出)することが難しくなる。たとえば、撮影画像データ110の特定期間(特定表情の表出期間と当該特定表情の停止期間との双方を含む指定期間)における表情スコアの標準偏差も、認知機能の程度との間に相関を有する。ここにおいて、第1期間L1と第1休止期間R1との合計期間(1回目の指定期間)における表情スコアの標準偏差は、第1期間L1(笑顔の表出期間)における表情スコアと第1休止期間R1(笑顔の停止期間)における表情スコアとの差異を表す指標とも言える。当該標準偏差は、認知機能の程度との間に相関を有する。
また、認知機能の低下に伴い、2回続けて(第1期間L1と第2期間L2との双方において)特定表情(笑顔等)を意図的に表出(作出)することも難しくなる。したがって、1回目の指定期間(期間L1,R1の合計期間等)のみならず2回目の指定期間(期間L2,R2の合計期間等)における表情スコアの標準偏差もが考慮されることが好ましい。
(3)また、表情スコア情報120は、撮影画像データ110における特定表情(笑顔等)の持続時間の情報を含んでもよい。
当該持続時間は、たとえば、特定表情の表出指示に応じて実際に所定スコアTh1(図16参照)以上の表情スコアが持続した持続時間として算出される。
詳細には、撮影画像データ110の第1期間L1にて実際に所定スコアTh1(たとえば、「35」)以上の表情スコア(笑顔スコア)が持続した時間(たとえば、14秒)が、第1期間L1に関する特定表情(笑顔)の持続時間として算出される。第1期間L1に関する特定表情(笑顔)の持続時間は、1回目の笑顔期間M1(図16参照)の期間長であるとも表現される。同様に、撮影画像データ110の第2期間L2にて実際に所定スコア(たとえば、「35」)以上の表情スコア(笑顔スコア)が持続した時間(たとえば、9秒)が、第2期間L2に関する特定表情(笑顔)の持続時間として算出されてもよい。当該持続時間は、2回目の笑顔期間M2の期間長であるとも表現される。また、笑顔期間M1,M2は、それぞれ、笑顔(特定表情)が持続している期間(笑顔持続期間(特定表情持続期間)であるとも表現される。
上述のように、認知機能が低下すると、特定表情(笑顔等)を意図的に作出することが難しくなる。たとえば、15秒間の期間L1に亘って笑い続けることが難しくなり、15秒間の期間L1等の途中で力尽きて笑顔が消えてしまうことがある。したがって、笑顔の持続時間は、認知機能の程度(低下程度)との間に相関を有する。また、1回目の特定表情持続時間(笑顔持続時間等)のみならず、2回目の特定表情持続時間もが考慮されることが好ましい。
(4)また、表情スコア情報120は、特定表情の表出開始が指示された時点から表情スコアが極大値に到達する時点までの時間長さB(立ち上がりに要する期間長)の情報を含んでもよい。
詳細には、撮影画像データ110の第1期間L1にて、笑顔開始指示P1の時点から表情スコア(笑顔スコア等)が極大値(たとえば「62」)に到達する時点までの時間B1(たとえば、2.5秒)(図16参照)の情報を含んでもよい。同様に、撮影画像データ110の第2期間L2にて、笑顔開始指示P2の時点から表情スコア(笑顔スコア等)が極大値(たとえば「60」)に到達する時点までの時間B2(たとえば、3秒)の情報を含んでもよい。
上述のように、認知機能が低下すると、特定表情(笑顔等)を意図的に表出(作出)することが難しくなる。特に、特定表情を俊敏に表出することが難しくなり、表情の表出までに比較的長い時間を要するようになる。それ故、特定表情の表出に関する立ち上がり時間は、認知機能の程度との間に相関を有する。また、1回目の特定表情への立ち上がり時間のみならず、2回目の特定表情への立ち上がり時間もが考慮されることが好ましい。
ここにおいて、表情スコア情報120は、上述の各種の指標(表情スコアの平均値、最大値、標準偏差、持続時間、立ち上がり時間等)のうちの複数の指標を含むことが好ましい。換言すれば、学習モデル410の学習には、所定の医学的認知機能評価尺度との間に相関を有する複数の指標(入力パラメータ)が使用されることが好ましい。
また、表情スコア情報120は、1枚の静止画像に基づく単独の表情スコア(笑顔スコア)のみでは必ずしも十分ではなく、一定程度の長さを有する期間内での複数のタイミングで取得される複数の表情スコアに関する情報を含むことが好ましい。また、表情スコアの取得対象期間(L1,L2等)の各期間長は、一定程度以上長いことが好ましい。具体的には、当該各期間長は、たとえば1秒程度以下では必ずしも十分ではなく、認知症の人(あるいは認知機能が低下しつつある人)が笑顔を継続することが困難になる程度の長さ(たとえば、10秒程度以上)であることが好ましい。
以上のようにして一の被検者に関する表情スコア情報120が取得される。当該表情スコア情報120の取得処理は、複数の被検者のそれぞれに対して実行される。これにより、複数の被検者のそれぞれに関する表情スコア情報120が取得される(ステップS11)。なお、各被検者の撮影画像データ110は、当該各被検者の端末装置70によって取得されればよい。ただし、これに限定されず、たとえば、MMSEの実施場所(病院等)に設置された端末装置70(医師が所持する端末装置70等)を利用して、各被検者の撮影画像データ110が取得されてもよい。
次のステップS12においては、複数の被検者のそれぞれの所定の医学的認知機能評価尺度(ここではMMSE)の取得処理が実行される。ここでは、当該複数の被検者のそれぞれに対して医師の問診等を含む所定の医学的検査が予め実施されており、当該所定の医学的検査に応じた所定の医学的認知機能評価尺度が得られているものとする。そして、当該複数の被検者のそれぞれに対する所定の医学的認知機能評価尺度(MMSEの検査値)が記憶部32に予め格納(登録)されているものとする。各被検者の医学的認知機能評価尺度は、所定のデータ形式を有するデータとして、医師等の端末装置70から認知機能判定装置30に送信され認知機能判定装置30内の記憶部32に(自動的に)登録されればよい。あるいは、各被検者の医学的認知機能評価尺度は、医師等から電子メール等によって或るオペレータ宛に送付され、当該オペレータによって記憶部32に(手動で)登録されてもよい。
このステップS12においては、記憶部32に予め登録されている複数の被検者の医学的認知機能評価尺度がコントローラ31によって取得される。
次のステップS13においては、コントローラ31は、複数の被検者のそれぞれの表情スコアに関する情報120と当該複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習(機械学習)する。
具体的には、複数の被検者のそれぞれの表情スコア情報120を入力とし、当該複数の被検者のそれぞれの認知度合スコアD(所定の医学的認知機能評価尺度(MMSE等)に相当する値)を出力とする学習モデル410に関する機械学習が行われる。詳細には、学習モデル410において、各被検者に関する出力(認知度合スコアD)と各被検者の実際のMMSEのスコア(実際にMMSEを実施して得られた検査値)(正解値)との誤差を小さくするように機械学習が行われる。なお、ここでは、各被検者にはID(識別子)が割り当てられており、割り当てられているIDによって各被検者が識別されるものとする。同じIDの人物に関する表情スコア情報120とMMSE検査値との組合せが1つの教師データ(ラベル付きデータ)として利用される。
このようにして、複数の被検者のそれぞれの表情スコアに関する情報120と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係が機械学習されることによって、学習済みの学習モデル410(学習済みモデル420)が生成される(ステップS14)。
これによれば、次述するように、学習済みモデル420を利用して、判定対象人物(複数の被検者とは異なる人物等)の表情スコアに関する情報120に基づき、人物の所定の医学的認知機能評価尺度に相当する値を推定することが可能である。ひいては、認知機能の判定対象の人物に関して実際には医学的検査を行うことなく、当該医学的検査に基づく医学的認知機能評価尺度と同等の値を得ることが可能である。
<5.推論段階の処理>
つぎに、学習済みモデル420を利用した推論段階の処理(MMSE検査値の推定段階)について説明する。
図7は、推論段階の処理を示すフローチャートである。図7に示される処理は、コントローラ31等によって実行される。
図7は、当該推論段階の処理を示すフローチャートである。図7に示される処理は、コントローラ31等によって実行される。当該推論段階の処理によって、判定対象人物に関する表情スコア情報120に基づき、当該判定対象人物に関するMMSE検査値(詳細には、MMSE検査値に相当する値(具体的には、認知度合スコアD))が推定される。すなわち、所定の医学的認知機能評価尺度に相当する値が推定される。
なお、判定対象人物は、たとえば、学習段階でそのデータが利用された被検者以外の人物である。ただし、これに限定されず、学習段階で所定の医学的検査のデータが利用された人物(被検者)であっても当該所定の医学的検査から一定程度時間が経過した時点での認知機能の程度が不明な人物が、判定対象人物であってもよい。当該人物に関して、当該時点での所定の医学的認知機能評価尺度を推定する用途で、学習済みモデル420に基づく推論処理が利用されてもよい。
まず、ステップS31において、判定対象人物の表情スコア情報120が取得される。ステップS31においては、当該判定対象人物に関して、ステップS11の処理と同様の処理が行われる(図8~図14も参照)。具体的には、判定対象人物の端末装置70によって当該判定対象人物(撮影対象者)に関する撮影画像データ110が撮影され、当該撮影画像データ110に基づき当該判定対象人物に関する表情スコア情報120が取得される。表情スコア情報120としては、ステップS11で取得された指標と同じ種類の指標(複数の指標)が取得される。
次のステップS32において、判定対象人物に関する表情スコア情報120(学習段階と同じ種類の指標の値)が学習済みモデル420に入力されると、学習済みモデル420からの出力、すなわち学習済みモデル420による推定結果が得られる。具体的には、認知度合スコアD(MMSE相当値とも称する)が、学習済みモデル420による推定結果として出力される。
ステップS33においては、推論結果が表示される。たとえば、図14の画面217の後に、図15の画面210(218)が表示される。画面218においては、たとえば、「あなたの認知度合スコア(MMSE相当スコア)は、29です。」などのように、MMSE相当値(認知度合スコアD)が表示される。また、コントローラ31は、当該出力結果に係る認知度合スコアDを当該判定対象人物の情報として記憶部32に記憶する。
<6.実験例(学習結果の一例)>
次に、少数サンプル(20名のサンプルデータ)に基づく学習モデル410の学習結果の一例、および当該学習後の学習モデル410(学習済みモデル420)の評価について説明する。
ただし、ここでは、非常に少数の教師データ(合計で20名のデータ)に基づき、統計的手法(重回帰解析)を用いて、目的変数と複数の説明変数との関係(学習モデル410の一種とも表現される)を求めている。統計的手法(重回帰解析)を用いて複数の説明変数(表情スコア情報120内の複数の変数)と目的変数(MMSE相当値)との関係を求めることは、学習済みモデル420を求めることと実質的に等価である。また、ここでは、当該統計的手法によって得られた目的変数(出力)と複数の説明変数(入力)との関係に基づき新たな入力に対する出力値が求められ、当該出力値が学習済みモデル420による推定結果として求められる。
具体的には、複数の説明変数として、表情スコア情報120内の複数の指標(変数)のうち、図19の下側に示す5つの指標(変数)を用いている。詳細には、
・第1期間L1に関する特定表情の持続時間(「1回目の笑顔持続時間(特定表情持続時間)」とも称する)の情報と、
・第1期間L1に取得された2以上の表情スコア(ここでは笑顔スコア)の平均値(「1回目の指示期間L1における平均値」とも称する)の情報と、
・第2期間L2に取得された2以上の表情スコアの平均値(「2回目の指示期間L2における平均値」とも称する)の情報と、
・第1期間L1と第1休止期間R1とに取得された2以上の表情スコアの標準偏差(「1回目の指定期間(指示期間L1および停止期間R1)に関する標準偏差」とも称する)の情報と、
・第1期間L1と第1休止期間R1と第2期間L2と第2休止期間R2とに取得された2以上の表情スコアの標準偏差(「全指定期間に関する標準偏差」とも称する)の情報と、
が採用される。各情報は、0~10の値として正規化されて利用される。たとえば、各期間の表情スコアの平均値「0」~「100」が、「0」~「10」に対応するように正規化される。また、各期間の表情スコアの持続時間(笑顔持続時間)の値「0」~「15」(秒)が「0」~「10」に対応するように正規化される。
なお、ここでは、第1期間L1に関する特定表情の持続時間として、表情スコアの経時変化曲線W0(図20)の2次微分曲線W2等に基づき算出された持続時間(後述)が用いられている。ただし、これに限定されず、第1期間L1のうち、所定値以上の大きさを有する2以上の表情スコアが持続的に取得される持続時間等が、第1期間L1に関する特定表情の持続時間として用いられてもよい。また、ここでは、上記の5つの指標を用いる場合を例示するが、これに限定されない。たとえば、上記の5つの指標のうち、「1回目の笑顔持続時間(特定表情持続時間)」と「1回目の指定期間(指示期間L1および停止期間R1)に関する標準偏差」とに代えて、
・第2期間L2に関する特定表情の持続時間(「2回目の笑顔持続時間(特定表情持続時間)」とも称する)の情報と、
・第2期間L2と第2休止期間R2とに取得された2以上の表情スコアの標準偏差(「2回目の指定期間(指示期間L2および停止期間R2)に関する標準偏差」とも称する)の情報と、
が(残りの3つの指標とともに)用いられてもよい。第2期間L2に関する特定表情の持続時間は、2次微分曲線W2等に基づき算出された持続時間(後述)であってもよく、第2期間L2のうち、所定値以上の大きさを有する2以上の表情スコアが持続的に取得される持続時間等であってもよい。
また目的変数として、MMSE検査値が採用されている。MMSE検査値は、MMSE検査値「19」を「0」としMMSE検査値の最大値「30」を「10」とするようにスケール変換(アフィン変換)されている。ここでは、19点未満の人物が存在しないことに基づき、19点を0とするようにスケール変換している。なお、上述したように、MMSE検査値は30点を満点としており、MMSE検査値(点数)が低くなるにつれて認知機能が低下していることを示している。
このような重回帰解析の結果として得られる関数(多変数関数)に対して、判定対象人物に関する各変数の値を入力して得られる出力値Eが得られる。当該出力値Eは、学習済みモデル420の出力値Eと等価である。そして、当該出力値Eを逆スケール変換(スケールを元に戻すように変換)した値が、認知度合スコアDとして求められる。具体的には、D=E×(30-19)/10+19、の式に基づいて、認知度合スコアDが算出される。当該認知度合スコアDは、MMSE検査値と同じスケールで表現された値として算出される。
なお、これに限定されず、当該認知度合スコアDは、所定の医学的認知機能評価尺度に対する一定のスケール変換がなされた状態の値で(たとえば値Eのまま)出力されてもよい。当該スケール変換がなされた値であっても、所定の医学的認知機能評価尺度と高い相関を有し、所定のスケール変換(逆スケール変換)によって所定の医学的認知機能評価尺度へと容易に換算することが可能である。このように、所定の医学的認知機能評価尺度に相当する値は、スケール変換がなされた値であってもよい。
さて、ここでは、20名の被検者に関して、実際にMMSEが実行され当該MMSEの検査結果が予め取得されている。また、当該20名の被検者に関して、表情スコア情報120も取得されている。
学習モデル410に基づく学習結果を評価するため、ここでは、当該20名の被検者U1~U20を10名ずつの2つのグループ(第1グループおよび第2グループ)に分ける。
そして、図17の上段に示されるように、第1グループの10名の被検者U1~U10に関するデータ(教師データ)に基づき学習モデル410が学習され、第1の学習済みモデル420(重回帰分析結果)が得られる。次に、第2グループの10名(U11~U20)をそれぞれ判定対象人物とし、当該第1の学習済みモデル420を利用して、当該判定対象人物の表情スコア情報120に基づき当該判定対象人物の認知度合スコアD(MMSE相当値)が推定される。図18においては、人物U11~U20に関して第1の学習済みモデル420を用いて推定されたMMSE相当値(認知度合スコアD)と当該人物U11~U20に関する実際のMMSEの検査値との対応関係を示す複数の点(黒丸で示す)がプロットされている。
また、図17の下段に示されるような処理(ただし今度はグループを入れ替えた処理)も実行される。具体的には、第2グループの10名の被検者U11~U20に関するデータ(教師データ)に基づき学習モデル410が学習され、第2の学習済みモデル420(重回帰分析結果)が得られる。次に、第1グループの10名(U1~U10)をそれぞれ判定対象人物とし、当該第2の学習済みモデル420を利用して、当該判定対象人物の表情スコア情報120に基づき当該判定対象人物の認知度合スコアD(MMSE相当値)が推定される。図18においては、人物U1~U10に関して第2の学習済みモデル420を用いて推定されたMMSE相当値(認知度合スコアD)と当該人物U1~U10に関する実際のMMSEの検査値との対応関係を示す複数の点(黒四角で示す)がプロットされている。
図18のグラフは、実際のMMSEの検査値と、学習済みモデル420を利用して推定されたMMSE相当値(認知度合スコアD)との関係を示す図である。図18のグラフの横軸は実際のMMSEの検査値を示しており、図18のグラフの縦軸は、学習済みモデル420を利用して推定されたMMSE相当値(認知度合スコアD)を示している。図18においては、第1の学習済みモデル420に基づく推定結果(認知度合スコアD)と実際のMMSEとの関係を示すデータが黒丸で示されている。一方、第2の学習済みモデル420に基づく推定結果(認知度合スコアD)と実際のMMSEとの関係を示すデータは黒四角で示されている。
黒丸で示される10個のデータ(図では一部重複している)と黒四角で示される10個のデータ(図では一部重複している)との合計20個のデータを用いて相関係数rを算出すると、相関係数rとして「0.72」が得られた。相関係数(相関値とも称される)rは、第1あるいは第2の学習済みモデル420を用いて推定されたMMSE相当値(認知度合スコアD)と実際のMMSEの検査値との両者の相関の程度を示す値である。当該相関係数rは、次の式(1)に基づいて算出される。
Figure 2022072024000002
ここで、添え字(iあるいはj)付きのxは、各人物の実際のMMSEの検査値(診断結果)であり、上側バー付きのxは、実際のMMSEの検査値(診断結果)に関する(10名の)平均値である。また、添え字(iあるいはk)付きのyは、各人物の認知度合スコアDであり、上側バー付きのyは、認知度合スコアDに関する(10名の)平均値である。また、nは、データ数である。
2つの変数間の相関係数rの絶対値が大きいほど(1に近いほど)、2つの変数間の相関が強い。一般に、2つの変数間の相関係数が0.4より大きい場合、2つの変数間に或る程度相関が存在する(やや強い相関がある)とみなせる。また、当該相関係数が0.7より大きい場合、2つの変数間に高い相関(強い相関)が存在するとみなせる。ここにおいて、認知度合スコアDとMMSE検査値との2つの変数間の相関係数rの値「0.72」は、0.7より大きな値である。すなわち、当該2つの変数(認知度合スコアDおよびMMSE検査値)が高い相関(強い相関)を有することが示されている。
このように、認知度合スコアDは、MMSE検査値(医学的検査に基づく医学的認知機能評価尺度)との間に一定程度以上の高い相関を有する値である。したがって、認知度合スコアDは、(MMSE検査値と同一の値であるとまでは言えないものの、)MMSE検査値と同等の値であると評価できる値である。換言すれば、上述のような5つの入力パラメータと1つの出力パラメータとを使用した機械学習(回帰)によれば、MMSE検査値と同等の値を出力可能な学習済みモデル420を良好に生成(製造)することが可能である。また、当該学習済みモデル420を利用することによって、所定の医学的認知機能評価尺度と同等の値を高い精度で得ることが可能である。
なお、ここでは、非常に少数のデータ(20個)に基づき、統計的手法(重回帰解析)を用いて、複数の説明変数(表情スコア情報120内の複数の変数)と目的変数(MMSE相当値)との関係を求めている。上述のように、当該関係を求めることは、学習済みモデル420を求めることと実質的に等価である。また、より多数のデータ(教師データ)を用いて学習モデル410を学習して学習済みモデル420を得ることによれば、当該学習済みモデル420による出力結果(認知度合スコアD)とMMSEの検査値との間には更に高い相関が得られることが期待できる。
また、図19は、複数(ここでは13個)の変数(複数の入力パラメータ)のそれぞれとMMSE検査値との間の相関係数r(r’とも称する)を示す図である。当該13個の変数は、(それぞれ1回目および2回目の)各笑顔期間(M1,M2)の平均値、各笑顔期間(M1,M2)の最大値、各指示期間(L1,L2)の平均値、各指定期間((L1+R1),(L2+R2))の標準偏差、および各笑顔持続時間(M1期間長、M2期間長)の合計10個の変数を含む。また、当該13個の変数は、全指示期間(L1+L2)の最大値、全指示期間(L1+L2)の平均値、および全指定期間(L1+R1+L2+R2)の標準偏差の合計3個の変数をも含む。
相関係数r’は、上述の式(1)の右辺における添え字(iあるいはk)付きのyとして、各人物の認知度合スコアDに代えて、各人物の或る変数(入力パラメータ)の値が用いられることによって算出される。たとえば、上述の式(1)の右辺における添え字(iあるいはk)付きのyとして、10名の人物のそれぞれの1回目の笑顔持続時間が用いられると、変数「1回目の笑顔持続時間」とMMSE検査値との間の相関係数r’が算出される。なお、相関係数r’の絶対値が大きいほど(1に近いほど)相関が強い。また、2つの変数に関する相関係数r’の値が正の場合には2つの変数の相互間に正の相関が存在し、逆に当該相関係数r’の値が負の場合には2つの変数の相互間に負の相関が存在する。
たとえば、1回目の笑顔持続時間とMMSE検査値との間の相関係数は、0.74であることが示されている(図19の表の右上欄)。同様に、1回目の指示期間L1における平均値とMMSE検査値との間の相関係数は0.49であり、2回目の指示期間L2における平均値とMMSE検査値との間の相関係数は、0.48であることが示されている。また、全指定期間に関する標準偏差とMMSE検査値との間の相関係数は、0.67であることが示されている。図19の表におけるその他の各値は、その他の各指標(パラメータ)とMMSE検査値との間の相関係数を示している。
この実験例では、このような各変数とMMSE検査値との相関係数等を考慮し、学習モデル410等において多数の種類の変数(パラメータ)のうち上述の5つの変数(入力パラメータ)(図19上段の黒太枠欄参照)を使用している。なお、これに限定されず、他の変数(入力パラメータ)、たとえば、全指示期間(L1+L2)における表情スコアの最大値等が使用されてもよい。また、図19の上段に記載された13個の変数のうちのいずれか1つ以上(単一の変数もしくは複数の変数の組合せ)が、表情スコアに関する情報として使用されてもよい。
<7.実施形態の効果>
上記実施形態によれば、複数の被検者のそれぞれの表情スコアに関する情報120と当該複数の被検者のそれぞれの所定の医学的認知機能評価尺度との関係を機械学習して学習モデル410(学習済みモデル420)が生成される。
そして、学習モデル410(詳細には学習済みモデル420)を利用して、判定対象人物の表情スコアに関する情報120に基づき、当該判定対象人物の所定の医学的認知機能評価尺度(ここではMMSE)に相当する値(認知度合スコアD)が推定される。当該認知度合スコアDは、MMSE検査値を使用して学習された学習済みモデル420からの出力に基づく値であり、MMSE検査値と高い相関を有する値である。それ故、認知度合スコアDは、MMSE検査値と同等の値であると評価できる。
したがって、認知機能の判定対象の人物に関して実際には医学的検査を行うことなく、当該医学的検査に基づく所定の医学的認知機能評価尺度と同等の値を得ることが可能である。医師による問診等を伴う医学的検査を行うことを要しないので、所定の医学的認知機能評価尺度と同等の値を比較的簡易に得ることが可能である。
また、所定の医学的認知機能評価尺度と同等の値を得るための実質的な検査時間は、判定対象人物に関する比較的短時間の撮影画像を撮影するための比較的短い時間(1分~2分程度)である。すなわち、実質的な検査時間は、医学的検査に要する時間(たとえば30分)に比べて短時間で済む。
さらに、判定対象人物を撮影した撮影画像データ110が端末装置70によって生成され、当該撮影画像データ110が端末装置70から認知機能判定装置30にネットワークを介して送信される。そして、認知機能判定装置30によって認知機能の程度が判定される。詳細には、所定の医学的認知機能評価尺度と同等の値(MMSE相当値)が推定される。したがって、判定対象人物は、自宅等に居たまま(病院等に出向くことを要さずに)、所定の医学的認知機能評価尺度と同等の値(MMSE相当値)を知得することが可能である。
また、上記実施形態においては、認知機能判定装置30が撮影対象者に対して特定表情の表出指示を付与し、当該撮影対象者が当該表出指示に応じて特定表情を表出している。特に、認知機能が低下すると特定表情(笑顔等)を意図的に表出(作出)することが難しくなるとの特性等を考慮して、当該表出指示に応じて表出された特定表情に関するスコアが特定表情の表情スコアとして利用されている。このようなスコアを使用して学習モデル410が構築されることによれば、MMSE検査値との間に高い相関を有する認知度合スコアDを得ることが可能である。
また、上記実施形態においては、学習段階および推論段階の双方において、特定表情の表出指示に際して画面210(図10等参照)内に特定表情(笑顔等)の基準顔画像が表示されている。したがって、撮影対象者は、自らが表出すべき表情(どのような表情を表出すればよいか)を容易に理解することが可能である。
<8.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
<8-1.特定表情の持続時間および立ち上がり時間等>
たとえば、上記実施形態等においては、特定表情の持続時間(笑顔持続時間等)として、所定スコアTh1(図16参照)以上の表情スコアが持続した持続時間が例示されているが、これに限定されない。
具体的には、撮影画像データ110から抽出された表情スコアの経時変化曲線W0の2次微分曲線W2(図20参照)の極大点等に基づいて、当該持続時間(の長さ)等が判断されてもよい。
なお、図20の最上段には、1回目の指示期間L1に関する表情スコア(笑顔スコア等)の経時変化曲線W0が示されており、中段には、表情スコアの経時変化曲線W0の1次微分曲線W1が示されており、最下段には、表情スコアの経時変化曲線W0の2次微分曲線W2が示されている。経時変化曲線W0は、撮影画像データ110から抽出された連続的な時系列の複数の表情スコア(ノイズ除去後の複数の表情スコア)をつないで(連結して)形成される曲線である。経時変化曲線W0は、連続する複数の表情スコアの連結線を(平滑化フィルタ等によって)平滑化して求められる。以下では、1回目の指示期間L1に関する表情スコアについて主に例示するが、2回目の指示期間L2に関する表情スコア等についても同様である。
詳細には、図20に示されるように、時点C1が特定表情の継続期間(持続期間)の始期(開始時点)であると判断される。時点C1は、2次微分曲線W2が特定表情(たとえば笑顔)の表出開始指示P1の付与時点付近にて所定値TH11以上の極大値に到達した時点である。また、時点C9が特定表情の継続期間の終期(終了時点)であると判断される。時点C9は、時点C1よりも後に2次微分曲線W2が所定値TH11以上の極大値に再び到達した時点である。そして、時点C1から時点C9までの期間(およびその長さ)が、特定表情(笑顔等)の持続期間(およびその持続期間)として算出される。
2次微分曲線W2は、時点C1で閾値TH11以上の極大値に到達した直後に、今度は閾値TH12以下の極小値に到達する(時点C3)。その後、特定表情が安定して表出される期間(安定表出期間)においては、2次微分曲線W2の極値(極小値および極大値)は、閾値TH12より大きく且つ閾値TH11より小さい値である。2つの時点C3,C7(次述)の間においては所定値未満の大きさ(絶対値)の極大値および極小値を有する。そして、(表出終了指示Q1に応じて或いは表出終了指示Q1前に)特定表情(笑顔)が終了する際には、2次微分曲線W2が、閾値TH12よりも小さな極小値に到達し(時点C7)、その直後に今度は閾値TH11よりも大きな極大値に到達する(時点C9)。2次微分曲線W2のこのような変動を考慮して、上述のように、時点C1から時点C9までの期間長が特定表情(笑顔等)の持続期間であるとみなされてもよい。
このような態様によれば、2次微分曲線W2の値が所定範囲内(閾値TH11と閾値TH12との間)に収まっている期間等が、特定表情の安定持続期間(特定表情が安定的に持続している期間)である、と判定される。また、当該安定持続期間の直前の極大値に対応する時点C1が特定表情の持続期間の開始時点であり且つ当該安定持続期間の直後の極大値に対応する時点C9が特定表情の持続期間の終了時点である、と判定される。したがって、特定表情の持続期間を、各人物の表情スコアの大きさ自体等に依らずに(各人物の表情スコアと閾値Th1との大小関係等に依らずに)検出することが可能である。
また、上記実施形態等においては、特定表情の立ち上がり時間として、表出開始が指示された時点から表情スコアが極大値に到達する時点までの時間長さ(期間長)が例示されているが、これに限定されない。
詳細には、図20に示されるように、時点C1から時点C3までの期間の長さが、特定表情(笑顔等)の立ち上がり時間として算出される。ここで、時点C3は、時点C1よりも後に2次微分曲線W2が最初に極小値(特に所定値TH12以下の極小値)に到達した時点である。
このようにして、特定表情の立ち上がり時間が求められてもよい。
また、本来的には、特定表情の表出は、(表出開始指示P1に応じて)表出開始指示P1よりも後に開始される。図20に示されるように、本来的には、表出開始指示P1は時点C1よりも前の時点である。しかしながら、特定表情の表出が表出開始指示P1よりも若干早く開始されることがある。たとえば、撮影対象者(被検者等)が開始タイミングを予期(察知)して、本来の開始時点よりも若干早めに特定表情を開始しようとすることもある。このような場合、図20の括弧内のP1(P1’とも表記する)に示されるように、表出開始指示P1の時間軸上の位置が時点C1よりも後(右側)になることがある。
このような状況をも考慮する場合には、表出開始指示P1(P1’)よりも前の時点(C1)が、「特定表情の持続時間」および「特定表情の立ち上がり時間」の開始時点であると判定されてもよい。具体的には、表出開始指示P1’の付与時点の近傍期間(表出開始指示P1’の数秒前から表出開始指示P1’の数秒後までの期間)内にて、2次微分曲線W2が所定値以上の極大値に到達した時点が、時点C1であると判定されてもよい。なお、このようにして算出された「特定表情の持続時間」等が理論上の最大値(第1期間L1の値(15秒)等)を超える場合、当該最大値を超える値は当該最大値に変更されてもよい。すなわち「特定表情の持続時間」等に上限が設けられてもよい。たとえば、特定表情の持続時間が「18秒」であると算出される場合には、「18秒」が「15秒」に変更されればよい。
<8-2.その他>
また、上記実施形態等においては、認知機能判定装置30が学習処理と推論処理との双方を実行しているが、これに限定されず、学習処理と推論処理とが別々の装置(30A,30B)によって実現されてもよい。この場合、推論処理を実行する装置30Bは、たとえば、学習処理を実行した装置30Aによって生成された学習済みモデル420に関する情報(学習済みの学習パラメータ等)を当該装置30Aから取得し、当該学習済みモデル420を利用すればよい。
また、上記実施形態等においては、所定の医学的認知機能評価尺度として、MMSE(Mini-Mental State Examination:ミニメンタルステート検査)が例示されているが、これに限定されない。所定の医学的認知機能評価尺度としては、UPDRS(Unified Prkinson's Disease Rating Scale:統一パーキンソン病評価尺度)等に関する他の評価尺度が利用されてもよい。たとえば、UPDRSのうちの認知機能に関する評価値(評価尺度)が用いられ得る。具体的には、UPDRSのうち認知機能の程度を示す、0点~4点の5段階の評価値(点数が高くなるにつれて認知機能が低下していることを示している)が、所定の医学的認知機能評価尺度として用いられてもよい。
また、上記実施形態等においては、端末装置70からの表示出力と音声出力との双方を用いて、笑顔等の表出指示および休止指示が付与されているが、これに限定されない。たとえば、端末装置70からの表示出力と音声出力とのいずれか一方のみを用いて、笑顔等の表出指示および休止指示が付与されてもよい。
また、上記実施形態等においては、端末装置70によって被検者等が撮影されているが、これに限定されない。たとえば、認知機能判定装置30が被検者等を撮影して撮影画像データ110を生成してもよい。この場合等において、画面210(撮影画像の表示領域221、および基準顔画像の表示領域223等を含む)は、認知機能判定装置30の表示部35bに表示されてもよい。換言すれば、笑顔指示の表出指示、撮影画像および基準顔画像等は、認知機能判定装置30の表示部35bに表示されてもよい。同様に、認知機能判定装置30の音声出力部(不図示)から音声(笑顔指示の表出指示等)が出力されてもよい。
1 認知機能判定システム
30 認知機能判定装置
70 端末装置
75c タッチパネル
76c カメラ
110 撮影画像データ
120 表情スコア情報
410 学習モデル
420 学習済みモデル
450 登録データベース
D 認知度合スコア
E 出力値
L1,L2 笑顔指示期間
P1,P2 笑顔開始指示(表出開始指示)
Q1,Q2 笑顔停止指示
Q3 撮影終了指示
R1,R2 休止期間
r 相関係数

Claims (22)

  1. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定する制御部、
    を備え、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする認知機能判定装置。
  2. 前記特定表情は、笑顔であり、
    前記表情スコアは、笑顔の度合いを示す値であることを特徴とする、請求項1に記載の認知機能判定装置。
  3. 前記撮影画像データは、時系列の複数の画像を有し、
    前記表情スコアに関する情報は、前記複数の画像からそれぞれ取得された複数の表情スコアに関する情報を含むことを特徴とする、請求項1または請求項2に記載の認知機能判定装置。
  4. 前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの最大値の情報を含むことを特徴とする、請求項3に記載の認知機能判定装置。
  5. 前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの平均値の情報を含むことを特徴とする、請求項3または請求項4に記載の認知機能判定装置。
  6. 前記表情スコアに関する情報は、前記撮影画像データの特定期間にて取得された2以上の表情スコアの標準偏差の情報を含むことを特徴とする、請求項3から請求項5のいずれかに記載の認知機能判定装置。
  7. 前記制御部は、前記特定表情を所定期間に亘って継続して表出させるための指示を撮影対象者に対して付与し、
    前記表情スコアに関する情報は、前記撮影画像データにおける前記特定表情の持続時間であって前記指示に応じて実際に所定スコア以上の前記表情スコアが持続した持続時間の情報を含むことを特徴とする、請求項3から請求項6のいずれかに記載の認知機能判定装置。
  8. 前記制御部は、前記特定表情を所定期間に亘って継続して表出させるための指示を撮影対象者に対して付与し、
    前記表情スコアに関する情報は、前記特定表情の持続時間の情報を含み、
    前記持続時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の2次微分曲線が前記指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第1時点から、前記第1時点よりも後に前記2次微分曲線が所定値以上の極大値に再び到達した第2時点までの時間長さとして算出されることを特徴とする、請求項3から請求項6のいずれかに記載の認知機能判定装置。
  9. 前記制御部は、撮影対象者に対して前記特定表情の表出開始を指示し、
    前記表情スコアに関する情報は、前記表出開始が指示された時点から前記表情スコアが極大値に到達する時点までの時間長さの情報を含むことを特徴とする、請求項3から請求項8のいずれかに記載の認知機能判定装置。
  10. 前記制御部は、撮影対象者に対して前記特定表情の表出開始を指示し、
    前記表情スコアに関する情報は、前記特定表情の立ち上がり時間の情報を含み、
    前記立ち上がり時間は、前記撮影画像データから抽出された前記表情スコアの経時変化曲線の2次微分曲線が前記表出開始の指示の付与時点の近傍期間内にて所定値以上の極大値に到達した第1時点から、前記第1時点よりも後に前記2次微分曲線が最初に極小値に到達した第2時点までの時間長さとして算出されることを特徴とする、請求項3から請求項8のいずれかに記載の認知機能判定装置。
  11. 前記制御部は、前記特定表情を第1期間にて継続して表出させるための第1指示を撮影対象者に対して付与するとともに、前記第1期間の終了直後の第1休止期間の後に、前記特定表情を第2期間にて継続して表出させるための第2指示を前記撮影対象者に対して付与し、
    前記表情スコアに関する情報は、
    前記第1期間に取得された2以上の表情スコアの平均値の情報と、
    前記第2期間に取得された2以上の表情スコアの平均値の情報と、
    前記第1期間と前記第2期間とに取得された2以上の表情スコアの平均値の情報と、
    前記第1期間と前記第1休止期間とに取得された2以上の表情スコアの標準偏差の情報と、
    前記第2期間と前記第2期間後の第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、
    前記第1期間と前記第1休止期間と前記第2期間と前記第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、
    前記第1期間と前記第2期間とに取得された2以上の表情スコアの最大値の情報と、
    前記第1指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第1持続期間の期間長の情報と、
    前記第2指示の付与時点あるいは当該付与時点近傍から前記特定表情が持続した期間である第2持続期間の期間長の情報と、
    前記第1持続期間に取得された2以上の表情スコアの平均値の情報と、
    前記第2持続期間に取得された2以上の表情スコアの平均値の情報と、
    前記第1持続期間に取得された2以上の表情スコアの最大値の情報と、
    前記第2持続期間に取得された2以上の表情スコアの最大値の情報と、
    のうちの少なくとも1つを含むことを特徴とする、請求項3に記載の認知機能判定装置。
  12. 前記制御部は、前記特定表情を第1期間にて継続して表出させるための第1指示を撮影対象者に対して付与するとともに、前記第1期間の終了直後の第1休止期間の後に、前記特定表情を第2期間にて継続して表出させるための第2指示を前記撮影対象者に対して付与し、
    前記表情スコアに関する情報は、
    前記第1期間に取得された2以上の表情スコアの平均値の情報と、
    前記第2期間に取得された2以上の表情スコアの平均値の情報と、
    前記第1期間と前記第1休止期間とに取得された2以上の表情スコアの標準偏差の情報と、
    前記第1期間と前記第1休止期間と前記第2期間と前記第2期間後の第2休止期間とに取得された2以上の表情スコアの標準偏差の情報と、
    前記第1期間に関する前記特定表情の持続時間の情報と、
    を含むことを特徴とする、請求項3に記載の認知機能判定装置。
  13. 前記制御部は、撮影対象者に対して前記特定表情の表出を指示し、
    前記特定表情の前記表情スコアは、前記特定表情の表出指示に応じて表出された前記特定表情に関するスコアを含むことを特徴とする、請求項1から請求項12のいずれかに記載の認知機能判定装置。
  14. 前記制御部は、前記特定表情の前記表出指示に際して、前記特定表情に関する基準顔画像を所定の表示部に表示させることを特徴とする、請求項13に記載の認知機能判定装置。
  15. 前記基準顔画像は、前記特定表情を有する複数の人物の複数の顔画像を平均化して得られた平均顔画像であることを特徴とする、請求項14に記載の認知機能判定装置。
  16. 請求項1から請求項15のいずれかに記載の認知機能判定装置と、
    前記人物の前記撮影画像データを前記認知機能判定装置に送信する端末装置と、
    を備えることを特徴とする認知機能判定システム。
  17. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成する制御部、
    を備え、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする学習モデル生成装置。
  18. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、
    を備え、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする認知機能判定方法。
  19. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、
    を備え、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とする学習モデル製造方法。
  20. 請求項19に記載の学習モデル製造方法を用いて製造された、学習済みモデル。
  21. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を学習した学習モデルを利用して、認知機能に関する判定対象の人物の前記表情スコアに関する情報に基づき、前記人物の前記所定の医学的認知機能評価尺度に相当する値を推定するステップ、
    をコンピュータに実行させるためのプログラムであって、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とするプログラム。
  22. 複数の被検者のそれぞれの表情スコアに関する情報と前記複数の被検者のそれぞれの認知機能の評価結果を示す所定の医学的認知機能評価尺度との関係を機械学習して学習モデルを生成するステップ、
    をコンピュータに実行させるためのプログラムであって、
    前記表情スコアは、特定表情の度合いを示す値であって対象者を撮影した撮影画像データに基づいて取得される値であり、
    前記複数の被検者のそれぞれの前記所定の医学的認知機能評価尺度は、前記複数の被検者のそれぞれに対する所定の医学的検査によって取得される値であることを特徴とするプログラム。
JP2020181215A 2020-10-29 2020-10-29 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム Pending JP2022072024A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020181215A JP2022072024A (ja) 2020-10-29 2020-10-29 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム
PCT/JP2021/034721 WO2022091642A1 (ja) 2020-10-29 2021-09-22 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020181215A JP2022072024A (ja) 2020-10-29 2020-10-29 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム

Publications (1)

Publication Number Publication Date
JP2022072024A true JP2022072024A (ja) 2022-05-17

Family

ID=81382338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020181215A Pending JP2022072024A (ja) 2020-10-29 2020-10-29 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム

Country Status (2)

Country Link
JP (1) JP2022072024A (ja)
WO (1) WO2022091642A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7372716B1 (ja) * 2023-03-27 2023-11-01 株式会社パルプランニング 運転適性検査プログラム、運転適性検査システム
WO2024024064A1 (ja) * 2022-07-28 2024-02-01 富士通株式会社 推定プログラム、推定方法および推定装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023144244A (ja) * 2022-03-28 2023-10-11 地方独立行政法人東京都健康長寿医療センター 疾患該当性判定プログラム及び疾患該当性判定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6254562B2 (ja) * 2014-09-30 2017-12-27 株式会社プローバホールディングス 認知症介護支援システム、認知症介護支援サーバおよび認知症介護支援プログラム
JP6467966B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 健康管理補助装置及び健康管理補助方法
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
JP2018007792A (ja) * 2016-07-12 2018-01-18 株式会社コンフォートビジョン研究所 表情認知診断支援装置
JP7123539B2 (ja) * 2017-09-21 2022-08-23 日清オイリオグループ株式会社 診断支援情報提供装置
JP6733891B2 (ja) * 2018-09-12 2020-08-05 株式会社Fronteo 認知症予測装置、予測モデル生成装置および認知症予測用プログラム
US11848079B2 (en) * 2019-02-06 2023-12-19 Aic Innovations Group, Inc. Biomarker identification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024024064A1 (ja) * 2022-07-28 2024-02-01 富士通株式会社 推定プログラム、推定方法および推定装置
JP7372716B1 (ja) * 2023-03-27 2023-11-01 株式会社パルプランニング 運転適性検査プログラム、運転適性検査システム

Also Published As

Publication number Publication date
WO2022091642A1 (ja) 2022-05-05

Similar Documents

Publication Publication Date Title
WO2022091642A1 (ja) 認知機能判定装置、認知機能判定システム、学習モデル生成装置、認知機能判定方法、学習モデル製造方法、学習済みモデル、およびプログラム
Rudovic et al. CultureNet: a deep learning approach for engagement intensity estimation from face images of children with autism
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
JP4401079B2 (ja) 被験者の行動解析
US10610109B2 (en) Emotion representative image to derive health rating
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
CN109805944B (zh) 一种儿童共情能力分析系统
US20190139428A1 (en) Emotional Artificial Intelligence Training
JP6649461B1 (ja) プログラム、情報処理装置及び情報処理方法
JP2001043345A (ja) 表情認識装置、およびそれを用いた投薬制御システム、覚醒レベル評価システム、回復評価システム
CN110060753A (zh) 认知障碍患者干预效果评价系统及方法
CN114305418B (zh) 一种用于抑郁状态智能评估的数据采集系统及方法
Jimison et al. Remote health coaching for interactive exercise with older adults in a home environment
CN117438048A (zh) 一种精神科患者用心理障碍测评方法及系统
JP2023060172A (ja) 血圧測定装置、モデル設定装置、および血圧測定方法
KR20220106029A (ko) 인공지능을 활용한 심리 상담 방법 및 장치
WO2023189309A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
Vartanov et al. Remote identification of psychophysiological parameters for a cognitive-emotional conflict
US20230290505A1 (en) Context Aware Assessment
Jáuregui et al. Toward automatic detection of acute stress: Relevant nonverbal behaviors and impact of personality traits
CN116312970B (zh) 一种用于心理测评的智能交互方法和装置
Kim et al. Mediating individual affective experience through the emotional photo frame
WO2023171162A1 (ja) 心理状態推定装置および心理状態推定方法
WO2023190391A1 (ja) 疾患該当性判定プログラム及び疾患該当性判定装置
WO2023090103A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230919