JP2018036996A - 理解度算出装置及び理解度算出方法 - Google Patents

理解度算出装置及び理解度算出方法 Download PDF

Info

Publication number
JP2018036996A
JP2018036996A JP2016171732A JP2016171732A JP2018036996A JP 2018036996 A JP2018036996 A JP 2018036996A JP 2016171732 A JP2016171732 A JP 2016171732A JP 2016171732 A JP2016171732 A JP 2016171732A JP 2018036996 A JP2018036996 A JP 2018036996A
Authority
JP
Japan
Prior art keywords
understanding level
understanding
time series
similarity
biological information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016171732A
Other languages
English (en)
Other versions
JP6635899B2 (ja
Inventor
ミャオメイ レイ
Miaomei Lei
ミャオメイ レイ
利昇 三好
Toshinori Miyoshi
利昇 三好
芳樹 丹羽
Yoshiki Niwa
芳樹 丹羽
佐藤　大樹
Daiki Sato
大樹 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016171732A priority Critical patent/JP6635899B2/ja
Priority to US16/328,667 priority patent/US20190180636A1/en
Priority to CN201780048638.4A priority patent/CN109564563A/zh
Priority to PCT/JP2017/006834 priority patent/WO2018042709A1/ja
Publication of JP2018036996A publication Critical patent/JP2018036996A/ja
Application granted granted Critical
Publication of JP6635899B2 publication Critical patent/JP6635899B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computational Linguistics (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】音声言語に対するユーザの理解度を、高精度に算出する。【解決手段】音声言語に対するユーザの理解度を算出する理解度算出装置は、該音声言語が該ユーザに提示されている間の、該ユーザの複数の部位の生体情報それぞれの時系列を保持し、該時系列のペアそれぞれについて時系列の類似度を算出し、該算出した類似度に基づいて理解度を算出し、理解度の算出において、該算出した類似度が高いほど、理解度を高い値に決定する。【選択図】図１Ａ

Description

本発明は、理解度算出装置及び理解度算出方法に関する。
近年、脳を可視化する技術の発展につれて、脳に対する生理学的な知見が充実しただけでなく、脳計測信号から人間の状態を推測することが行われている。脳活動を非侵襲的に計測する手法としては、脳波（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）の計測や、機能的核磁気共鳴画像法（ｆＭＲＩ：ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）や、脳磁図法（Ｍａｇｎｅｔｏｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）、近赤外光計測法（ＮＩＲＳ：Ｎｅａｒ−ＩｎｆｒａＲｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ）等がある。
本技術分野の背景技術として、特開２００４−１７０９５８号公報（特許文献１）がある。この公報には、「被験者Ｐの脳の所定測定部位Ｓにおける血液量又は／及び血液成分量を測定する測定部１と、前記測定部１で測定した血液量又は／及び血液成分量を時系列的に取得し、その時間変化を示すデータである時間変化データを生成する時間変化データ生成部２と、被験者Ｐのワークに対する習得度を判定すべく、前記被験者Ｐに所定のワークを複数回反復して行わせた場合の、各ワーク中における時間変化データの波形を比較可能に出力する波形出力部３とを備えた習得度測定装置４を設けた。」と記載されている（要約参照）。
特開２００４−１７０９５８号公報
特許文献１に記載の技術は、所定測定部位における血液量及び／又は血液成分量を時間変化データの波形から、ユーザの課題に対する理解度を算出している。しかし、被験者が課題を理解しようとする際には、ユーザの複数の部位（例えば、脳の複数の部位）が連動して活動するため、１つの部位の生体情報の波形の変化からは、必ずしも理解度を正確に算出することはできない。そこで、本発明の一態様は、音声言語に対するユーザの理解度を、高精度に算出することを目的とする。
上記課題を解決するため、本発明の一態様は以下の構成を採用する。音声言語に対するユーザの理解度を算出する理解度算出装置であって、プロセッサと記憶装置とを含み、前記記憶装置は、前記音声言語が前記ユーザに提示されている間の、前記ユーザの複数の部位の生体情報それぞれの時系列を保持し、前記プロセッサは、前記時系列のペアそれぞれについて、時系列の類似度を算出し、前記算出した類似度に基づいて、前記理解度を算出し、前記理解度の算出において、前記算出した類似度が高いほど、前記理解度を高い値に決定する、理解度算出装置。
本発明の一態様によれば、音声言語に対するユーザの理解度を、高精度に算出することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における対話システムの構成例を示すブロック図である。 実施例１におけるテキストデータの一例である。 実施例１における音声データの一例である。 実施例１における画像データの一例である。 実施例１における情報提示処理の一例を示すフローチャートである。 実施例１におけるコンテンツ選択画面の一例である。 実施例１におけるコンテンツ提示方法の一例である。 実施例１におけるヘモグロビン濃度データの一例である。 実施例１における計測チャンネルの一例を示す説明図である。 実施例１における脳内コネクション算出処理の一例を示すフローチャートである。 実施例１における平均波形の一例である。 実施例１におけるコネクション結果出力の選択画面の一例である。 実施例１におけるコネクションマップの一例である。 実施例１におけるコネクションネットワークの一例である。 実施例１における時系列コネクションマップの一例である。 実施例１における理解度判定処理の一例を示すフローチャートである。 実施例１における理解度判定結果の一例である。 実施例２における対話システムの構成例を示すブロック図である。 実施例２における提示情報制御処理の一例を示すフローチャートである。 実施例２における情報提示方法選択画面の一例である。
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
本実施形態は、理解度算出システムの一例である対話システムを説明する。対話システムは、ユーザに音声言語を提示し、音声言語を提示された間のユーザの生体情報の時系列を取得する。対話システムは、取得した生体情報の時系列それぞれの類似度（脳内コネクション）を算出し、算出した類似度に基づいて、当該ユーザの当該音声言語に対する理解度を算出する。これにより、対話システムは、音声言語に対するユーザの理解度を高精度に算出することができる。なお、以下、特に断らない限り、本実施形態において、ユーザとは、生体情報計測器１０４によって生体情報が計測される、理解度判定の被験者である人物を指す。
図１Ａは、対話システムの構成例を示すブロック図である。対話システム１０１は、例えば、対話装置１０２、タッチパネル１０３、及び生体情報計測器１０４を含む。対話装置１０２は、例えば、プロセッサ（ＣＰＵ）１２１、記憶装置である補助記憶装置１０５及びメモリ１０６、入出力インタフェース１２２、並びに通信インタフェース１２３を含む計算機によって構成される。対話装置１０２は、理解度算出装置の一例である。
プロセッサ１２１は、メモリ１０６に格納されたプログラムを実行する。メモリ１０６は、不揮発性の記憶素子であるＲＯＭ及び揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
補助記憶装置１０５は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１２１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。なお、補助記憶装置１０５に格納されているデータの一部又は全部がメモリ１０６に格納されていてもよいし、メモリ１０６に格納されているデータの一部又は全部が補助記憶装置１０５に格納されていてもよい。
入出力インタフェース１２２は、タッチパネル１０３などが接続され、オペレータ等からの入力を受け、プログラムの実行結果をオペレータ等が視認可能な形式で出力するインタフェースである。タッチパネル１０３は、ユーザからの文字入力及び音声入力を受け付け、文字情報及び音声情報を出力する。入出力インタフェース１２２には、キーボード、マウス、及びマイク等の入力装置、並びにディスプレイ装置、プリンタ、及びスピーカ等の出力装置が接続されてもよい。
通信インタフェース１２３は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインタフェース装置である。また、通信インタフェース１２３は、例えば、ＵＳＢ等のシリアルインタフェースを含む。通信インタフェース１２３には、例えば生体情報計測器１０４が接続される。
本実施形態において、生体情報計測器１０４は、ユーザの複数の脳部位それぞれにおける生体情報を計測する。なお、生体情報計測器１０４は、脳以外の部位の生体情報を計測してもよい。近赤外分光法により脳機能の一例である脳血液量変化を計測する機器、は生体情報計測器１０４の一例である。また、生体情報計測器１０４は、例えば、磁場計測等の別の計測法により脳機能情報を取得してもよい。また、生体情報計測器１０４は、カメラやアイトラッキングシステムであってもよく、この場合、表情や視線等の生体情報を取得する。
プロセッサ１２１が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して対話装置１０２に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０５に格納されてもよい。このため、対話装置１０２は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
対話装置１０２は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
補助記憶装置１０５は、例えば、コンテンツのテキスト形式のデータを保持するテキストデータ１０７、コンテンツの音声形式のデータを保持する音声データ１０８、及び当該コンテンツの画像形式のデータを保持する画像データ１０９を格納する。コンテンツは、例えば、英語能力試験、小学校、中学校、及び高校の英語の教科書及び参考書等、並びに英語のニュース記事等を含む。また、コンテンツは英語以外の言語で作成されていてもよい。
テキストデータ１０７は、各コンテンツに対応するテキストを保持する。英語能力試験のリスニング問題の英文や問題文、英語の教科書又は参考書の英文等は、テキストの一例である。
音声データ１０８は、各コンテンツに対応する音声を含む。例えば、音声データ１０８は、テキストデータ１０７に含まれるテキストを読み上げた音声を含む。音声データに含まれる音声それぞれは、例えば、速度及び訛りを調整可能なパラメータが設定された合成音声である。
画像データ１０９は、各コンテンツに対応する画像を含む。例えば、画像データ１０９は、テキストデータ１０７及び音声データ１０８に含まれる英文それぞれを理解するための補助的な画像を含む。例えば、「Ｈｅ ｄｏｅｓ ｈｉｓ ｈｏｍｅｗｏｒｋ ｅｖｅｒｙ ｄａｙ」という英文がテキストデータ１０７及び音声データ１０８に含まれる場合、少年が机に向かって宿題をしている状況を表す画像は、画像データ１０９に含まれる画像の一例である。また、対話装置１０２は、例えば、対話装置１０２の管理者等からの入力に従って、テキストデータ１０７、音声データ１０８、及び画像データ１０９を、新規追加、削除、及び編集する機能を備えていてもよい。
メモリ１０６は、それぞれプログラムである、情報提示部１１０、生体情報取得部１１１、脳内コネクション算出部１１２、理解度判定部１１３、及び情報制御部１１４を含む。
プログラムはプロセッサ１２１によって実行されることで、定められた処理を記憶装置及び通信ポート（通信デバイス）を用いながら行う。従って、本実施形態においてプログラムを主語とする説明は、プロセッサ１２１を主語とした説明でもよい。若しくは、プログラムが実行する処理は、そのプログラムが動作する計算機及び計算機システムが行う処理である。
プロセッサ１２１は、プログラムに従って動作することによって、所定の機能を実現する機能部（手段）として動作する。例えば、プロセッサ１２１は、プログラムである情報提示部１１０に従って動作することで情報提示部（情報提示手段）として機能する。他のプログラムについても同様である。さらに、プロセッサ１２１は、各プログラムが実行する複数の処理のそれぞれを実現する機能部（手段）としても動作する。計算機及び計算機システムは、これらの機能部（手段）を含む装置及びシステムである。
情報提示部１１０は、例えば、ユーザからの指示に従って選択したコンテンツを提示情報としてタッチパネル１０３に出力する。情報提示部１１０は、選択したコンテンツに対応する、テキストデータ１０７のテキスト、音声データ１０８の音声、及び画像データ１０９の少なくとも１つを、出力する。
生体情報取得部１１１は、情報提示部１１０が出力した提示情報に対するユーザの理解活動時において生体情報計測器１０４が計測した、ユーザの複数の脳部位の生体情報の時系列を取得する。生体情報取得部１１１は、複数の脳部位の生体情報を示す信号それぞれを、１チャンネルの信号として取得する。
ユーザの理解活動とは、ユーザが提示情報を五感のいずれかで理解する活動を示す。例えば、ユーザがテキスト形式の提示情報を読むこと、及びユーザが音声形式の提示情報を聞くことはユーザの理解活動の一例である。なお、本実施形態における生体情報の時系列とは、２時点以上における生体情報の測定値である。また、生体情報の時系列それぞれは、例えば、各チャンネルの信号からなる。また、脳活動信号は生体情報の一例である。
脳内コネクション算出部１１２は、異なるチャンネルにおける生体情報の類似度（相関）を算出する。生体情報の類似度が高い（相関が高い）チャンネルに対応する脳部位同士は結びつきが強く、生体情報の類似性が低い（相関がゼロに近い）チャンネルに対応する脳部位同士は結びつきが弱いと考えられる。また生体情報が逆方向の変動（負の相関がある）をしているチャンネルに対応する脳部位同士は互いを抑制する（一方が活動すれば、一方の活動は抑えられる）関係にあると考えられる。
また、脳内コネクション算出部１１２は、算出した類似度に基づき、コネクションマップや理解度指標を算出する。コネクションマップ及び理解度指標については後述する。理解度判定部１１３は、脳内コネクション算出部１１２が算出したコネクションマップや理解度指標に基づき、ユーザのコンテンツに対する理解度を判定する。
図１Ｂは、テキストデータ１０７の一例である。テキストデータ１０７は、例えば、コンテンツ番号、コンテンツの言語、コンテンツの種別、コンテンツのバージョン、及びコンテンツのテキストを示す情報を格納する。コンテンツ番号は、コンテンツを識別する情報である。コンテンツの種別とは、コンテンツの概要を示す情報であり、例えば、「教科書」、「試験過去問」、及び「ニュース記事」等のコンテンツ形式、「経済」、及び「科学」等のコンテンツにおける話題、又はコンテンツ内のキーワード等を含む。
コンテンツのバージョンは、例えば、「初級」、「中級」、及び「上級」等の難易度を示す情報を含む。コンテンツ番号が同一でバージョンが違うコンテンツのテキストは異なるが、これらのコンテンツの意味内容は同等である。
図１Ｃは、音声データ１０８の一例である。音声データ１０８は、例えば、コンテンツ番号、コンテンツの言語、コンテンツの種別、コンテンツのバージョン、及びコンテンツの音声ファイル、音声の速度パラメータ、及び音声の訛りパラメータを示す情報を格納する。音声ファイルは、テキストデータ１０７の同一のコンテンツ番号を有するテキストを読み上げた音声を格納したファイルである。速度パラメータは、音声ファイルの音声の速度を決定するためのパラメータである。訛りパラメータは、音声ファイルの音声の訛りを決定するためのパラメータである。
図１Ｄは、画像データ１０９の一例である。画像データ１０９は、例えば、コンテンツ番号、言語、種別、バージョン、画像ファイル、及び表示時間を格納する。画像ファイルは、テキストデータ１０７及び音声データ１０８の同一のコンテンツ番号を有するコンテンツを理解するための補助的な画像を格納したファイルである。表示時間は、コンテンツが再生された場合、対応する画像が表示される開始時間及び終了時間を示す。なお、表示時間は、音声の速度パラメータに従って可変であってもよい。
図２は、情報提示部１１０による情報提示処理の一例を示すフローチャートである。情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、コンテンツを特定する（Ｓ２０１）。具体的には、情報提示部１１０は、例えば、コンテンツの種別及びバージョンの入力を受け付ける。情報提示部１１０は、入力された種別及びバージョンを有するコンテンツを特定する。
なお、入力された種別を有する複数のコンテンツが存在する場合、情報提示部１１０は、当該複数のコンテンツからランダムに１つのコンテンツを選択してもよいし、例えば、当該複数のコンテンツそれぞれに対応するテキストや音声等をユーザに提示し、ユーザからの入力に従ってコンテンツを特定してもよい。
情報提示部１１０は、タッチパネル１０３を介したユーザからの入力に従って、ステップＳ２０１で特定したコンテンツの提示形式を選択する（Ｓ２０２）。テキスト及び音声を提示する形式、画像及び音声を提示する形式、並びにテキスト、音声、及び画像を提示する形式、はいずれもコンテンツの提示形式の一例である。以下、本実施例においては、情報提示部１１０が画像及び音声のコンテンツを提示する場合の処理の例を説明するが、他の提示形式によってコンテンツを提示する場合においても、後述する処理と同様の処理が実行される。
続いて、情報提示部１１０は、ステップＳ２０１で特定したコンテンツを、ステップＳ２０２で選択した提示形式に従って、テキストデータ１０７、音声データ１０８、画像データ１０９から選択し、タッチパネル１０３に出力することにより、ユーザに提示する（Ｓ２０３）。なお、ステップＳ２０１及びステップＳ２０２において、情報提示部１１０は、ユーザから入力を受け付けずに、コンテンツ及び提示形式を、例えばランダムに選択してもよい。
図３は、ユーザがコンテンツ選択するためのユーザインタフェースであるコンテンツ選択画面の一例を示す。コンテンツ選択画面３００は、例えば、コンテンツ種別選択セクション３０１、バージョン選択セクション３０２、及び提示形式選択セクション３０３を含む。
コンテンツ種別選択セクション３０１は、コンテンツの言語、種別の入力を受け付けるためのセクションである。図３の例では、ユーザは、コンテンツ種別選択セクション３０１中の、「形式」、及び「話題選択」からコンテンツの種別を選択することができる。また、コンテンツ種別選択セクション３０１は、キーワードの入力を受け付けることによりコンテンツの種別の入力を受け付けてもよい。情報提示部１１０は、例えば、コンテンツ種別選択セクション３０１の「形式」、「話題選択」、及び「キーワード入力」で指定された種別を有するコンテンツを、テキストデータ１０７、音声データ１０８、又は画像データ１０９から特定する。
バージョン選択セクション３０２はバージョンの入力を受け付けるためのセクションである。図３の例では、ユーザは初級、中級、及び上級からバージョンを選択することができる。提示形式選択セクション３０３は、提示形式の選択の入力を受け付けるためのセクションである。
図３は、種別が試験過去問及び英語能力試験であり、言語が英語であり、かつ中級バージョンのコンテンツに対応するコンテンツが特定され、特定されたコンテンツの音声が音声データ１０８から、特定されたコンテンツの画像が画像データ１０９から選択された例を示す。
なお、例えば、コンテンツの各種別について、関連するコンテンツ種別を特定する情報が補助記憶装置１０５に格納されていてもよい。情報提示部１１０は、ユーザが過去に選択したコンテンツの種別に当該情報において関連する種別を、ユーザが興味を持つと思われるコンテンツの種別として、コンテンツ種別選択セクション３０１内の「おすすめ」に表示してもよい。
図４は、本実施例におけるコンテンツの提示方法の一例である。図４では、コンテンツが英語能力試験のリスニング問題であり、提示形式が音声及び画像である例を説明する。図４の例では、対話システム１０１は、ユーザに１５問の英語能力試験のリスニング問題を提示する。図中のＥそれぞれは１つの言語ブロックを示す。
図４の例では、１つの言語ブロックにおいて、１つのリスニング問題が提示される。各リスニング問題は、例えば、１８秒の問題提示期間、３秒以内の応答期間、及び１５秒から１８秒の安静期間からなる。なお、各期間の前述の長さは一例である。生体情報取得部１１１は、生体情報計測器１０４が計測した生体情報を、各言語ブロックにおける時系列として取得する。
問題提示期間内では、例えば、１枚の画像が表示され、当該画像の内容を適切に表現す一つの英文を含む計四つの英文の音声が選択肢として流れる。この問題提示期間の１８秒以内に、ユーザは問題に対する理解活動を行う。図４の例では、ユーザは、理解活動として、四つの選択肢のうち、表示された画像を最も適切に表現する英文がどれであるかを考える。
問題提示期間の終了後、３秒間以内の応答期間が開始する。応答期間において、例えば、ユーザはタッチパネル１０３を介して、四つの選択肢から解答を選択する。なお、タッチパネル１０３の代わりに解答入力専用のキーボードなどが入出力インタフェース１２２に接続されていてもよい。
応答期間の終了後、安静期間が開始する。安静期間では、例えば、問題提示期間及び応答期間において表示されていた画像が消え、画面中央に十字が表示される。安静期間内では、例えば、ユーザは画面の中央の十字を見て、安静状態になる。以下、本実施形態では図４のコンテンツがユーザに提示された場合における理解度算出処理について説明する。
図５は、ヘモグロビン濃度データの例である。ヘモグロビン濃度データは、生体情報取得部１１１が取得する生体情報の一例である。図５のヘモグロビン濃度データは、理解活動を行うユーザの酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の時系列を示す。
図５において、計測開始時と同時に上昇を開始している値が酸化ヘモグロビン濃度の値であり、計測開始時から減少を開始している値が還元ヘモグロビン濃度の値である。例えば、生体情報計測器１０４は、近赤外分光法利用して、ユーザの脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び／又は還元ヘモグロビン濃度の時系列を測定する。なお、ヘモグロビン濃度の測定には、例えば、生体情報計測器１０４の一例である近赤外光計測装置が用いられる。
生体情報計測器１０４は、例えば、全脳におけるヘモグロビン濃度を計測してもよいし、言語を理解する言語野や認知活動を行う前頭葉のみおけるヘモグロビン濃度を計測してもよい。生体情報計測器１０４は、例えば、近赤外光を生体に照射する。照射した光が生体内に入射し、生体内に散乱及び吸収され、生体情報計測器１０４は伝播して出てきた光を検出する。
なお、生体情報計測器１０４は、例えば、ユーザが理解活動を行う時の内部状態から脳内血流変化を得ることによりヘモグロビン濃度の計測を行う。生体情報取得部１１１は、生体情報計測器１０４が計測したヘモグロビン濃度であって、ユーザが理解活動を行うときのヘモグロビン濃度、を取得する。
図６は、本実施例における計測チャンネルの一例を示す説明図である。黒い四角は計測チャンネルの位置を示す。計測チャンネルは、例えば、鼻根点、耳介前点、及び外後頭隆起点を結ぶ直線に平行な１以上の直線上、に配置される。本実施例における計測対象の脳領域は側頭葉である。側頭葉は、聴覚野と、ブローカ野及びウェルニッケ野を含む言語野と、を含む。図６において、左右それぞれ２２個（合計４４個）の計測チャンネルが左右対称の位置に配置されている。
図７は、脳内コネクション算出処理の一例を示すフローチャートである。脳内コネクション算出部１１２は、生体情報取得部１１１が取得した言語ブロックにおける生体情報の時系列を取得する。本実施例では生体情報がヘモグロビン濃度である例を説明する。
近赤外光計測装置は、光を用いた非侵襲な頭部血行動態計測手法を用いてヘモグロビン濃度を計測する。従って、近赤外光計測装置が取得した信号には脳活動に関連した信号と心拍数変動などによる全身性の血行動態に関連した情報が含まれるため、雑音を除去するための前処理が必要である。
脳内コネクション算出部１１２は、前処理を実行する（Ｓ７０２）。脳内コネクション算出部１１２は、例えば、周波数バンドパスフィルタ、多項式ベースライン補正、主成分分析、及び独立成分分析などを前処理として実行する。
具体的には、例えば、脳内コネクション算出部１１２は、言語ブロックごとに信号を分離する。即ち、脳内コネクション算出部１１２は、信号を、問題提示期間、反応期間、及び安静期間からなる期間ごとに分離する。脳内コネクション算出部１１２は、分離後の各言語ブロックの信号に対して、ノイズ除去及びベースライン補正を行う。
なお、例えば、テキストデータ１０７において、各問題の正答が格納されていてもよい。脳内コネクション算出部１１２は、当該正答を参照して、ユーザがタッチパネル１０３を介して選択した解答が誤答である言語ブロックの信号、を分析対象から除外してもよい。
また、脳内コネクション算出部１１２は、生体情報の時系列を示す信号として、酸化ヘモグロビン信号のみを使用したてもよいし、還元ヘモグロビン信号のみを使用してもよいし、酸化ヘモグロビン信号と還元ヘモグロビン信号の総和（総ヘモグロビン信号）を使用してもよい。
続いて、脳内コネクション算出部１１２は、例えば、各チャンネルについて、全言語ブロック（図４の例では、１５個の言語ブロック）のヘモグロビン信号の平均、の時系列を、平均波形として計算する（Ｓ７０３）。なお、脳内コネクション算出部１１２は、例えば、以下の数式（１）を用いて、平均波形を算出する。
Figure 2018036996
ｔは言語ブロック内の時刻を示す。本実施例では、ｔの定義域は、０≦ｔ≦Ｔ（Ｔは１言語ブロックの時間の長さ）である。図４の例において、問題提示期間が１８秒、反応時間３秒以内、安静期間が１５〜１８秒であるため、Ｔは３３秒以上３９秒以下の値である。なお、本実施形態では、全ての言語ブロックの時間の長さが同じである例を説明している。ｎは総言語ブロック数であり、図４の例において、ｎは１５である。図８は、各チャンネルの平均波形の一例である。
続いて、脳内コネクション算出部１１２は、複数のチャンネル間の時系列平均信号（本実施形態におけるヘモグロビン信号の平均波形）の類似度を、脳領域間のコネクションとして計算する（Ｓ７０４）。本実施形態では、ステップＳ７０４において、脳内コネクション算出部１１２は、チャンネルのペア（同一チャンネルからなるペアも含む）それぞれについて、類似度を算出する。脳内コネクション算出部１１２は、例えば、以下の数式（２）を用いて、２つのチャンネルにおける時系列平均信号の類似度を算出する。
Figure 2018036996
ここで、Ｘ、Ｙはそれぞれ、チャンネルｘ、チャンネルｙの時系列の平均波形（本実施形態においてはＨｂ（ｔ））である。ｘｔ、ｙｔはそれぞれ、チャンネルｘ、チャンネルｙの時系列の時刻ｔにおける値である。上線付きのｘ、上線付きのｙはそれぞれ、チャンネルｘ、チャンネルｙの時系列の時間平均値である。
なお、時系列の時間平均値は、例えば、当該時系列の所定時間おきの値の平均値で定義される。また、脳内コネクション算出部１１２は、例えば、数式（２）内のΣの算出において、はｔ＝０からＴ（Ｔは１言語ブロックの時間の長さ）までの所定時間おきのΣ内の値の和を算出する。
なお、例えば、脳内コネクション算出部１１２は、２つのチャンネルにおける時系列平均信号の差の積分値の絶対値を、当該２つのチャンネルにおける類似度として算出してもよい。また、脳内コネクション算出部１１２は、ヘモグロビン信号の平均波形に対する類似度を算出したが、平均波形を算出せず、各言語ブロックについて、ヘモグロビン信号の類似度を算出し、各言語ブロックに対する後述する理解度が算出されてもよい。
図６の例では、左右合計４４個のチャンネルがあるため、脳内コネクション算出部１１２は、４４×４４個の類似度（相関係数）を算出し、算出した類似度を要素とする４４次の相関行列を決定する。
なお、任意のチャンネルの時系列の平均波形Ｘ、Ｙについて類似度（Ｘ，Ｙ）＝類似度（Ｙ，Ｘ）であるため、脳内コネクション算出部１１２は、相関行列の決定において、類似度（Ｘ，Ｙ）又は類似度（Ｙ，Ｘ）の一方のみを算出してもよい。また、任意のチャンネルの時系列の平均波形Ｘについて類似度（Ｘ，Ｘ）＝１であり、相関行列の対角成分の算出に数式（２）を用いることなく、全ての対角成分の値を１に決定してもよい。
続いて、脳内コネクション算出部１１２は、ステップＳ７０４の計算結果に基づく、コネクション結果を出力する（Ｓ７０５）。
図９は、コネクション結果出力の選択画面の一例である。選択画面９００は、例えば、コネクション結果を出力するためのラジオボタン９０１〜９０４を含む。ラジオボタン９０１〜９０５はそれぞれ、コネクション結果の一例である、コネクションマップ、コネクションネットワーク、時系列コネクションマップ、理解度指標、及び試験の点数への変換結果を、出力するためのラジオボタンである。
図１０は、コネクションマップの一例である。コネクションマップとはステップＳ７０４で算出した相関行列が可視化されたヒートマップである。図中の数字は、各チャネルの識別子である。図中の識別子１〜２２はユーザの左脳を計測する（即ち左側頭部に設置された）２２個のチャネルの識別子、識別子２３〜４４はユーザの右脳を計測する（即ち右側頭部に設置された）２２個のチャネルの識別子である。２つのチャンネルにおける類似度が所定値以上である場合、コネクションマップにおいて当該２つのチャンネルに対応する箇所が黒く塗られており、２つのチャンネルにおける類似度が所定値未満である場合、コネクションマップにおいて当該２つのチャンネルに対応するマス目が白く塗られている。
ユーザは、コネクションマップを参照することにより、チャンネル間のコネクションの有無を容易に判別することができる。なお、図１０のコネクションマップの例は、２つのチャンネルにおける類似度を、所定値を基準にして白と黒の２値のみで表しているが、例えば、複数の閾値を基準として、類似度の高低を色の濃淡等で表現してもよい。
図１０の例では、コネクションマップの左上の２２×２２個のマス目は左脳の２２個のチャンネルにおける脳内コネクションを表し、右下の２２×２２個のマス目は右脳の２２個のチャンネルにおける脳内コネクションを表している。また、コネクションマップの右上の２２×２２個のマス目と左下の２２×２２個のマス目は、それぞれ左脳２２個のチャンネルと右脳２２個のチャンネルの脳内コネクションを表している。なお、当該右上の２２×２２個のマス目に対応する類似度の行列は、左下の２２×２２個の類似度の行列の対象行列である。
図１１はコネクションネットワークの一例である。コネクションネットワークとは、例えば、各チャンネルをノードとし、類似度が所定値（例えば０．７）以上のチャネルがエッジで結ばれたグラフである。脳内コネクション算出部１１２は、例えば、Ｆｏｒｃｅ−Ｄｉｒｅｃｔｅｄ Ａｌｇｏｒｉｔｈｍを用いてコネクションネットワークを作成する。なお、コネクションネットワークにおいては、自己相関（即ち、同一チャンネルにおける類似度）を示すエッジは表示されない。
図１２は、時系列コネクションマップの一例である。時系列コネクションマップは、複数の時刻それぞれを基準時刻とした類似度に対応するコネクションマップを、時系列順に表示したものである。
以下、時系列コネクションマップの作成方法の例を説明する。脳内コネクション算出部１１２は、ステップＳ７０４において、例えば、基準時刻ｔｓ（０≦ｔｓ≦Ｔ）に対応するコネクションマップを作成する。具体的には、前述の数式（２）におけるΣの範囲を、ｔｓ−ｋから（ｔｓ−ｋ＜０である場合は、０から）ｔｓ＋ｋまで（ｔｓ＋ｋ＞Ｔである場合は、Ｔまで）、に変化させた数式を用いて、基準時刻ｔｓに対応するコネクションマップを作成する（ｋは正の定数であり、例えば５である）。
脳内コネクション算出部１１２は、当該方法によって、複数の基準時刻に対応するコネクションマップを作成し、例えば、当該複数の基準時刻が早い順に並べて出力する。図１２は、基準時刻ｔｓがｔ０、ｔ１、ｔ２、・・・である場合における時系列コネクションマップである。
脳内コネクション算出部１１２が、コネクションマップやコネクションネットワークや時系列コネクションマップを出力することにより、管理者及びユーザは複数の生体情報の関わり合いを容易に把握することができる。また、脳内コネクション算出部１１２が、時系列コネクションマップを出力することにより、管理者及びユーザは複数の生体情報の関わり合いの時間変化を容易に把握することができる。
以下、理解度指標について説明する。理解度指標とは、提示されたコンテンツに対するユーザの理解度の一例である。脳内コネクション算出部１１２は、例えば、コネクションマップ又はコネクションネットワークを用いて、理解度指標を算出する。
コネクションマップを用いた理解度指標の算出方法の一例を説明する。理解度判定部１１３は、例えば、各チャンネルについて、類似度の平均値を算出する。理解度判定部１１３は、例えば、各チャンネルに対して予め定められた重みを用いて、算出した平均値の重みづけ和を、理解度指標として算出する。
なお、各チャンネルに対する重みは、各チャンネルに対応する計測部位の解剖学的機能に基づいて定められていることが望ましい。例えば、ユーザが外国語を理解するとき、音を処理する聴覚は重要ではないと考えられるため、聴覚野の計測チャンネルに対する重みは小さな値であることが望ましい。また、ウェルニッケ野は音声言語を理解するときにおける重要な脳部位として考えられるため、ウェルニッケ野に対応するチャンネルに対する重みは大きな値であることが望ましい。
また、例えば、脳のある１つの部位（例えば前頭葉）を計測しているチャンネル数が多い場合には、理解度判定部１１３は、当該チャンネルをまとめて１つのチャンネルとして扱い、類似度の平均値を算出してもよい。具体的には、例えば、理解度判定部１１３は、当該チャンネルから１つのチャンネルをランダムに選択し、選択したチャンネルの類似度の平均値を算出してもよいし、当該チャンネルに対応する全ての類似度の平均値を算出してもよい。なお、この場合、例えば、当該まとめられた１つのチャンネルに対して重みが定められている。
以下、コネクションネットワークを用いた理解度指標の算出方法の一例を説明する。例えば、各チャネルに対して予め重みが定められている。当該重みは前述したように、各チャンネルに対応する計測部位の解剖学的機能に基づいて定められていることが望ましい。理解度判定部１１３は、例えば、コネクションネットワーク上において各チャンネルを示すノードから発生しているエッジの本数の、前述した重みによる重みづけ和を、理解度として算出する。つまり、当該重みづけ和は、各チャンネルそれぞれにおける、当該チャンネルに対応する類似度のうち所定値以上の類似度の個数、の重みづけ和である。
また、理解度判定部１１３は、例えば、各チャンネルを示すノード間のコネクションネットワーク上の距離の、所定の重みによる重みづけ和を、理解度指標として算出してもよい。なお、当該所定の重みは、例えば、チャンネルの全てのペアに対して予め定められている。
図９のラジオボタン９０５が選択されると、理解度判定部１１３は、例えば、ステップＳ７０４で算出された相関行列、又は相関行列から算出された理解度指標を予め定められた変換式に代入することにより、図４の英語能力試験の点数を算出する。当該変換式は、例えば、複数の人間（例えば１００人）が当該英語能力試験を実施した際における相関行列又は理解度指標の事前に用意されたサンプルと、試験の実際の点数のサンプルと、の比較結果に従って、予め定められている。
図１３は、理解度判定処理の概要の一例を示すフローチャートである。理解度判定部１１３は、脳内コネクション算出部１１２が計算したコネクション結果（例えば、相関行列、コネクションマップ、コネクションネットワーク、又は理解度指標等）に基づき、理解度判定を行う。
まず、理解度判定部１１３は、脳内コネクション算出部１１２によって算出されたコネクション結果を取得する（Ｓ１３０１）。続いて、理解度判定部１１３は、取得したコネクション結果に基づいて、ユーザの理解度判定を実施する（Ｓ１３０２）。ステップＳ１３０２の詳細については後述する。理解度判定部１１３は、例えば、タッチパネル１０３を介して、理解度判定結果を出力する（Ｓ１３０３）。
図１４は、理解程度判定結果の一例である。例えば、左脳内部のコネクション、右脳内部のコネクション、左右脳のコネクション、聴覚野とブローカ野のコネクション、及び聴覚野とウェルニッケ野のコネクションそれぞれが、強いほど音声言語をより理解していると考えられる。
図１４の例では、これらのコネクションが強いか否かを示す情報が表示されている。なお、理解度判定部１１３は、例えば、左脳を計測するチャンネル間の類似度に基づいて、左脳内部のコネクションが強いか否かを判定する。
具体的には、例えば、理解度判定部１１３は、ステップＳ１３０２において、左脳を計測する所定のチャンネル間の類似度が、所定の閾値以上である場合、左脳内部のコネクションが強いと判定し、当該所定の閾値未満である場合、左脳内部のコネクションが弱いと判定する。理解度判定部１１３は、例えば、右脳内部のコネクションが強いか否かについても同様の方法で判定する。
また、理解度判定部１１３は、例えば、ステップＳ１３０２において、左脳を計測する所定のチャンネルと、右脳を計測する所定のチャンネルと、の間の類似度が、所定の閾値以上である場合、左右脳のコネクションが強いと判定し、当該所定の閾値未満である場合、左右脳のコネクションが弱いと判定する。理解度判定部１１３は、例えば、聴覚野とブローカ野のコネクション、及び聴覚野とウェルニッケ野のコネクションが強いか否かについても同様の方法で判定する。
また、ユーザに言語刺激が与えられた初期段階において聴覚野に関するコネクションが強く、かつその後、右脳に関するコネクションが広がっていく場合、理解度が高いと考えられる。このような広がりがあるか否かを判定する様々な方法があるが、理解度判定部１１３は、例えば、右脳に関する類似度又は聴覚野に関する類似度に対してフィッシャーのＺ変換を施したＺ値を算出し、総和が徐々に高くなる場合、当該広がりがあると判定する。具体的に、まず、理解度判定部１１３は、例えば、比較対象の２時点を決め、当該２時点間のＺ値の差分を比較する。なお、当該複数の時点は、ユーザによって設定されてもよい。
図１２の例における、時点ｔ０は理解活動開始前、時点ｔ１は理解活動開始から所定時間経過後（理解活動中）、時点ｔ２は理解活動終了時点である。図１２の例における、時点ｔ０では理解活動が開始しておらず、脳が賦活していない。従って、理解活動を開始していない時点を比較対象時点に設定するのは避けることが望ましい。課題が提示されてから脳活動が変化するまでの遅延を考慮し、理解度判定部１１３は、例えば、理解活動開始から所定時間経過後の時点ｔ１と理解活動終了時ｔ２のＺ値の総和の差分が所定の閾値を超えた場合、当該広がりがあると判断する。
図１４は、理解度判定部１１３によって、「左脳内部のコネクション」及び「聴覚野とブローカ野のコネクション」が強いと判定され、「右脳内部のコネクション」、「左右脳のコネクション」、及び「聴覚野とウェルニッケ野のコネクション」が強くないと判定され、かつ「時間の遷移による広がり」がないと判定された場合の例である。また、図１４における理解度は、コネクションの強さの有無を示す５つのセルと時間遷移による広がりの有無を示す１つのセルからなる計６つのセルのうち、「○」が記載されているセルの割合によって定義されている。
また、図１４におけるコメントは、例えば、「○」が記載されているセル、及び理解度の値等に従って予め定められたコメントが理解度判定部１１３によって選択、及び出力されたものである。
以上、本実施例の対話システム１０１は、ユーザの理解活動時における生体情報を用いて、客観的にユーザの理解度を提供することができ、ひいてはユーザが意図的に理解度を隠すことを防止することができる。また、対話システム１０１は、ユーザがコンテンツを理解していると理解していないという単なる二値判定ではなく、より詳細な理解度や、理解の過程も可視化することができる。
また、本実施例の対話システム１０１は、ユーザがコンテンツを１回提示された間の生体情報の時系列から理解度を算出することができる。つまり、ユーザは反復してコンテンツを聴いたり読んだりする必要はなく、ユーザに対する負担を低減することができる。
図１５は、本実施例の対話システム１０１の構成例を示すブロック図である。本実施例の対話装置１０２のメモリ１０６は、プログラムである情報制御部１１４をさらに含む。対話システム１０１における他の構成については、実施例１と同様であるため説明を省略する。情報制御部１１４は、理解度判定部１１３が判定した理解度に基づき、ユーザに次に提示する情報の制御を行う。
図１６は、情報制御部１１４による提示情報制御処理の一例を示す。情報制御部１１４は、理解度判定部１１３が決定した理解度を含む理解度結果を取得する（Ｓ１６０１）。情報制御部１１４は、取得した理解度に従って、ユーザがコンテンツを理解しているか否かを判定する（Ｓ１６０２）。情報制御部１１４は、ステップＳ１６０２において、例えば、取得した理解度が所定値以上である場合、ユーザがコンテンツを理解していると判定し、所定値未満である場合、ユーザがコンテンツを理解していないと判定する。なお、ステップＳ１６０２において、理解度に代えて又は加えて理解度指標が用いられてもよい。
情報制御部１１４は、ユーザがコンテンツを理解していないと判定した場合（Ｓ１６０２：ＮＯ）、理解度結果に従って、提示する情報を決定し（Ｓ１６０３）、次の情報を提示する（Ｓ１６０４）。ステップＳ１６０３を経由した場合、例えば、情報制御部１１４は、提示していたコンテンツの難易度を下げたコンテンツを提示する。情報制御部１１４は、ユーザがコンテンツを理解したと判定した場合（Ｓ１６０２：ＹＥＳ）、次の情報、例えば別のコンテンツ等、を提示する（Ｓ１６０４）。
図１７は、提示する情報を、ステップＳ１６０３において決定するための情報提示方法選択画面の一例である。情報提示方法選択画面１７００は、例えば、ユーザが理解を助けるための選択肢、例えば、コンテンツのテキストを提示するためのラジオボタン１７０１、コンテンツの音声の再生スピードを低下させるためのラジオボタン１７０２、解答を提示するためのラジオボタン１７０３を含む。
例えば、情報制御部１１４は、取得した理解度が所定値以下（例えば５０％以下）である場合、情報提示方法選択画面１７００をタッチパネル１０３に出力する。情報制御部１１４は、ユーザが情報提示方法選択画面１７００を介して選択した情報を提示する。以上、本実施例の対話システム１０１は、ユーザの理解度に応じたコンテンツを提示することができる。
また、メモリ１０６は音声による言語認識を行うプログラムである音声認識部を含んでもよく、例えば、音声認識部がユーザから受け付けた音声言語による入力をテキストに変換し、情報提示部１１０及び情報制御部１１４に送信する。これにより対話システム１０１は、音声言語を用いた、人間との対話が可能となる。
実施例１及び実施例２では、生体情報計測器１０４は、近赤外分光法を用いて脳機能を計測しているが、本実施例の生体情報計測器１０４は、脳波を計測してもよいし、機能的磁気共鳴画像法等を用いて脳機能を計測してもよい。
また、生体情報計測器１０４は、アイトラッキング機器やカメラなどをさらに含んでもよく、さらにユーザの視線や表情を観察してもよい。このとき生体情報取得部１１１は、生体情報計測器１０４が取得した視線情報や表情情報の時系列をさらに取得し、チャンネルに加える。対話装置１０２は、ユーザの視線情報や表情情報を用いることにより、理解度をより高精度に算出することができる。
１０２ 対話装置、１０３ タッチパネル、１０４ 生体情報計測器、１０５ 補助記憶装置、１０６ メモリ、１０７ テキストデータ、１０８ 音声データ、１０９ 画像データ、１１０ 情報提示部、１１１ 生体情報取得部、１１２ 脳内コネクション算出部、１１３ 理解度判定部、１１４ 情報制御部

Claims (14)

  1. 音声言語に対するユーザの理解度を算出する理解度算出装置であって、
    プロセッサと記憶装置とを含み、
    前記記憶装置は、前記音声言語が前記ユーザに提示されている間の、前記ユーザの複数の部位の生体情報それぞれの時系列を保持し、
    前記プロセッサは、
    前記時系列のペアそれぞれについて、時系列の類似度を算出し、
    前記算出した類似度に基づいて、前記理解度を算出し、
    前記理解度の算出において、前記算出した類似度が高いほど、前記理解度を高い値に決定する、理解度算出装置。
  2. 請求項１に記載の理解度算出装置であって、
    前記プロセッサは、
    前記複数の部位の生体情報それぞれについて、当該生体情報の時系列を含む前記ペアに対応する類似度の平均値を算出し、
    前記複数の部位の生体情報それぞれに対して予め定められた重みを用いて、前記算出した平均値の重みづけ和を算出し、
    前記算出した重みづけ和に基づいて、前記理解度を算出する、理解度算出装置。
  3. 請求項１に記載の理解度算出装置であって、
    前記プロセッサは、
    前記複数の部位の生体情報それぞれについて、当該生体情報の時系列を含む前記ペアに対応する類似度のうち、所定値以上の類似度の個数を特定し、
    前記複数の部位の生体情報それぞれに対して予め定められた重みを用いて、前記特定した個数の重みづけ和を算出し、
    前記算出した重みづけ和に基づいて、前記理解度を算出する、理解度算出装置。
  4. 請求項１に記載の理解度算出装置であって、
    前記複数の生体情報それぞれをノードで表し、前記算出した類似度が所定値以上である時系列のペアに対応するノードがエッジで結ばれたグラフを、Ｆｏｒｃｅ−ｄｉｒｅｃｔｅｄ Ａｌｇｏｒｉｔｈｍを用いて生成し、
    前記生成したグラフのノード間の距離の所定の重みによる重みづけ和に基づいて、前記理解度を算出する、理解度算出装置。
  5. 請求項４に記載の理解度算出装置であって、
    表示装置を含み、
    前記プロセッサは、前記生成したグラフを前記表示装置に出力する、理解度算出装置。
  6. 請求項１に記載の理解度算出装置であって、
    表示装置を含み、
    前記プロセッサは、
    前記算出した類似度を要素とする相関行列に対応するヒートマップを作成し、
    前記作成したヒートマップを前記表示装置に出力する、理解度算出装置。
  7. 請求項１に記載の理解度算出装置であって、
    表示装置を含み、
    前記プロセッサは、
    複数の基準時刻それぞれついて、
    前記複数の部位の生体情報の時系列それぞれから、当該基準時刻を含む所定長の期間の時系列を取得し、
    前記取得した時系列のペアそれぞれについて、時系列の類似度を算出し、
    当該算出した類似度を要素とする相関行列に対応するヒートマップを作成し、
    前記複数の基準時刻それぞれに対応するヒートマップを前記表示装置に出力する、理解度算出装置。
  8. 請求項１に記載の理解度算出装置であって、
    前記プロセッサは、
    複数の基準時刻それぞれついて、
    前記複数の時系列それぞれから、当該基準時刻を含む所定長の期間の時系列を取得し、
    前記取得した時系列のペアそれぞれについて、時系列の類似度を算出し、
    前記算出した類似度の時系列的な遷移に基づいて、前記理解度を算出する、理解度算出装置。
  9. 請求項８に記載の理解度算出装置であって、
    前記複数の部位は、聴覚野と、右脳の第１部位と、右脳の第２部位と、を含み、
    前記プロセッサは、
    前記複数の基準時刻に含まれる第１時刻における、前記聴覚野の生体情報の時系列を含むペアに対応する類似度が、所定の条件と比較して高く、
    前記第１時刻における、前記第１部位の第１生体情報の時系列と前記第２部位の第２生体情報の時系列の類似度が、所定の条件と比較して低く、かつ
    前記複数の基準時刻に含まれ、かつ前記第１時刻より後の第２時刻における、前記第１生体情報の時系列と前記第２生体情報の時系列の類似度が、所定の条件として比較して高い、と判定した場合、前記理解度を所定の条件に従って高くする、理解度算出装置。
  10. 請求項１に記載の理解度算出装置であって、
    前記複数の部位は、左脳の第１部位及び左脳の第２部位からなる組み合わせ、右脳の第３部位及び右脳の第４部位からなる組み合わせ、左脳の第５部位及び右脳の第６部位からなる組み合わせ、聴覚野及びブローカ野からなる組み合わせ、並びに聴覚野及びウェルニッケ野からなる組み合わせ、の少なくとも１つを含み、
    前記プロセッサは、
    前記少なくとも１つに対応する生体情報の類似度が、所定の条件と比較して高いと判定した場合、前記理解度を所定の条件に従って高くする、理解度算出装置。
  11. 請求項１に記載の理解度算出装置であって、
    前記記憶装置が保持する時系列は、前記音声言語と同一内容のテキスト、及び前記音声言語の内容を示す画像の少なくとも一方と、前記音声言語と、が前記ユーザに提示されている間の、前記ユーザの複数の部位の生体情報それぞれの時系列である、理解度算出装置。
  12. 請求項１に記載の理解度算出装置であって、
    出力装置を含み、
    前記記憶装置は、前記音声言語の理解を助けるコンテンツを保持し、
    前記プロセッサは、
    前記算出した理解度が所定値以下であると判定した場合、前記コンテンツを前記出力装置に出力する、理解度算出装置。
  13. 請求項１に記載の理解度算出装置であって、
    前記複数の部位の生体情報は、視線情報及び表情情報の少なくとも一方を含む、理解度算出装置。
  14. 理解度算出装置が、音声言語に対するユーザの理解度を算出する方法であって、
    前記理解度算出装置は、前記音声言語が前記ユーザに提示されている間の、前記ユーザの複数の部位の生体情報それぞれの時系列を保持し、
    前記方法は、
    前記理解度算出装置が、
    前記時系列のペアそれぞれについて、時系列の類似度を算出し、
    前記算出した時系列に基づいて、前記理解度を算出し、
    前記理解度の算出において、前記算出した類似度が高いほど、前記理解度を高い値に決定する、方法。
JP2016171732A 2016-09-02 2016-09-02 理解度算出装置及び理解度算出方法 Expired - Fee Related JP6635899B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016171732A JP6635899B2 (ja) 2016-09-02 2016-09-02 理解度算出装置及び理解度算出方法
US16/328,667 US20190180636A1 (en) 2016-09-02 2017-02-23 Comprehension-level calculation device and comprehension-level calculation method
CN201780048638.4A CN109564563A (zh) 2016-09-02 2017-02-23 理解度计算装置及理解度计算方法
PCT/JP2017/006834 WO2018042709A1 (ja) 2016-09-02 2017-02-23 理解度算出装置及び理解度算出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016171732A JP6635899B2 (ja) 2016-09-02 2016-09-02 理解度算出装置及び理解度算出方法

Publications (2)

Publication Number Publication Date
JP2018036996A true JP2018036996A (ja) 2018-03-08
JP6635899B2 JP6635899B2 (ja) 2020-01-29

Family

ID=61300425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016171732A Expired - Fee Related JP6635899B2 (ja) 2016-09-02 2016-09-02 理解度算出装置及び理解度算出方法

Country Status (4)

Country Link
US (1) US20190180636A1 (ja)
JP (1) JP6635899B2 (ja)
CN (1) CN109564563A (ja)
WO (1) WO2018042709A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137514A1 (ja) * 2018-12-25 2020-07-02 日本電信電話株式会社 成分濃度測定装置
JP2020109689A (ja) * 2018-11-06 2020-07-16 データ・サイエンティスト株式会社 検索ニーズ評価装置、検索ニーズ評価システム、及び検索ニーズ評価方法
JP2022536420A (ja) * 2019-06-10 2022-08-16 ベクトル メディカル インコーポレイテッド 心臓グラフィックディスプレイシステム
US11638546B2 (en) 2019-06-10 2023-05-02 Vektor Medical, Inc. Heart graphic display system
US11806080B2 (en) 2018-04-26 2023-11-07 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
JP7380599B2 (ja) 2019-02-08 2023-11-15 株式会社島津製作所 脳機能計測装置
US11896432B2 (en) 2021-08-09 2024-02-13 Vektor Medical, Inc. Machine learning for identifying characteristics of a reentrant circuit

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3512415A4 (en) 2016-09-13 2020-08-19 Ohio State Innovation Foundation NEURAL ARCHITECTURE MODELING SYSTEMS AND METHODS
US11529104B2 (en) * 2017-11-13 2022-12-20 Ai Care Corporation Method of blood pressure estimation using trend analysis
JP7224032B2 (ja) * 2019-03-20 2023-02-17 株式会社国際電気通信基礎技術研究所 推定装置、推定プログラムおよび推定方法
US11741945B1 (en) * 2019-09-30 2023-08-29 Amazon Technologies, Inc. Adaptive virtual assistant attributes
JP7327368B2 (ja) * 2020-12-02 2023-08-16 横河電機株式会社 装置、方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078743A (ja) * 1996-09-05 1998-03-24 Omron Corp 学習制御装置、学習制御方法及び学習制御プログラム記憶媒体
JPH10207615A (ja) * 1997-01-22 1998-08-07 Tec Corp ネットワークシステム
JP4441345B2 (ja) * 2004-07-08 2010-03-31 パナソニック株式会社 理解度判定装置および方法
JP4590555B2 (ja) * 2004-09-02 2010-12-01 国立大学法人長岡技術科学大学 感性状態判別方法及び装置
US20080287821A1 (en) * 2007-03-30 2008-11-20 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
GB201209975D0 (en) * 2012-06-06 2012-07-18 Univ Exeter Assessing susceptibility to epilepsy and epileptic seizures
JP6154728B2 (ja) * 2013-10-28 2017-06-28 日本放送協会 視聴状態推定装置およびそのプログラム
WO2016064314A1 (en) * 2014-10-24 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Customization of help information based on eeg data
US20170311803A1 (en) * 2014-11-04 2017-11-02 Yale University Methods, computer-readable media, and systems for measuring brain activity

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11806080B2 (en) 2018-04-26 2023-11-07 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
JP2020109689A (ja) * 2018-11-06 2020-07-16 データ・サイエンティスト株式会社 検索ニーズ評価装置、検索ニーズ評価システム、及び検索ニーズ評価方法
WO2020137514A1 (ja) * 2018-12-25 2020-07-02 日本電信電話株式会社 成分濃度測定装置
JP2020099571A (ja) * 2018-12-25 2020-07-02 日本電信電話株式会社 成分濃度測定装置
JP7067460B2 (ja) 2018-12-25 2022-05-16 日本電信電話株式会社 成分濃度測定装置
JP7380599B2 (ja) 2019-02-08 2023-11-15 株式会社島津製作所 脳機能計測装置
JP2022536420A (ja) * 2019-06-10 2022-08-16 ベクトル メディカル インコーポレイテッド 心臓グラフィックディスプレイシステム
US11638546B2 (en) 2019-06-10 2023-05-02 Vektor Medical, Inc. Heart graphic display system
US11957471B2 (en) 2019-06-10 2024-04-16 Vektor Medical, Inc. Heart graphic display system
US11896432B2 (en) 2021-08-09 2024-02-13 Vektor Medical, Inc. Machine learning for identifying characteristics of a reentrant circuit

Also Published As

Publication number Publication date
WO2018042709A1 (ja) 2018-03-08
CN109564563A (zh) 2019-04-02
JP6635899B2 (ja) 2020-01-29
US20190180636A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6635899B2 (ja) 理解度算出装置及び理解度算出方法
US8602789B2 (en) Cognitive and linguistic assessment using eye tracking
JP6234563B2 (ja) 訓練システム
Hisagi et al. Perception of a Japanese vowel length contrast by Japanese and American English listeners: Behavioral and electrophysiological measures
US20120100514A1 (en) Method and system for training of perceptual skills using neurofeedback
Roy et al. Exploring the clinical utility of relative fundamental frequency as an objective measure of vocal hyperfunction
Harrison The Emotiv mind: Investigating the accuracy of the Emotiv EPOC in identifying emotions and its use in an Intelligent Tutoring System
Brown et al. Effects of long-term musical training on cortical auditory evoked potentials
DeDe Reading and listening in people with aphasia: Effects of syntactic complexity
Astheimer et al. Differential allocation of attention during speech perception in monolingual and bilingual listeners
Bieber et al. Adaptation to novel foreign-accented speech and retention of benefit following training: Influence of aging and hearing loss
Choi Cantonese advantage on English stress perception: Constraints and neural underpinnings
CN110652294B (zh) 基于脑电信号的创造力人格特质测量方法及装置
Roberts et al. Asymmetric processing of durational differences–Electrophysiological investigations in Bengali
Klimovich-Gray et al. Increased top-down semantic processing in natural speech linked to better reading in dyslexia
Hisagi et al. Neural measures of a Japanese consonant length discrimination by Japanese and American English listeners: Effects of attention
US10699057B2 (en) System and method for controlling information presented to user referring to contents
Boos et al. Tracking lexical access and code switching in multilingual participants with different degrees of simultaneous interpretation expertise
Kershenbaum et al. The Effect of Prosodic Timing Structure on Unison Production in People With Aphasia
RU2671869C1 (ru) Способ и система для определения потенциала развития высших психических функций и навыков человека посредством нейрометрии
Puritat et al. Using a Screening Risk of Dyslexia Game to Evaluate Students with Learning Disabilities Through the Use of Language-Independent Content and Machine Learning
Lu et al. Development of a Chinese Depressed Speech Corpus Based on The Disturbed Effect of Self-Processing
Hoover Neighborhood density and syntactic class effects on spoken word recognition: Specific language impairment and typical development
Madoule Clinical translation of an acoustic measure of vocal strain: a mixed methods study
Wolfe Repeat Recall Test Literature Review

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191217

R150 Certificate of patent or registration of utility model

Ref document number: 6635899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees