JP2019159707A - 情報提示装置、情報提示方法及び情報提示プログラム - Google Patents

情報提示装置、情報提示方法及び情報提示プログラム Download PDF

Info

Publication number
JP2019159707A
JP2019159707A JP2018044552A JP2018044552A JP2019159707A JP 2019159707 A JP2019159707 A JP 2019159707A JP 2018044552 A JP2018044552 A JP 2018044552A JP 2018044552 A JP2018044552 A JP 2018044552A JP 2019159707 A JP2019159707 A JP 2019159707A
Authority
JP
Japan
Prior art keywords
conversation
situation
information
determined
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018044552A
Other languages
English (en)
Inventor
樹一郎 有川
Kiichiro Arikawa
樹一郎 有川
大輔 安岡
Daisuke Yasuoka
大輔 安岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2018044552A priority Critical patent/JP2019159707A/ja
Priority to US16/121,289 priority patent/US10580434B2/en
Publication of JP2019159707A publication Critical patent/JP2019159707A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】会話を個人のスキルに頼る場合と比較して、会話中の個人の負担を軽減できる情報提示装置、情報提示方法及び情報提示プログラムを提供する。【解決手段】情報提示装置10は、特定のテーマについて会話中の複数の人からなる集団の人の活動に関する活動情報を取得する取得部101と、取得部101により取得した活動情報から定まる会話の状況に応じて、会話の進行に関するアドバイスを提示する提示部104と、を有する。【選択図】図4

Description

本発明の技術は、情報提示装置、情報提示方法及び情報提示プログラムに関する。
特許文献1には、ループ化された複数の情報端末から、課題に対する賛否を示す意見種別を含む意見データを収集し、グループ毎に前記意見データを記憶部に格納し、前記記憶部を参照し、前記グループを代表する代表意見データに含まれる意見種別と、前記グループ内における前記代表意見データ以外の意見データの意見種別と、を比較し、比較した結果に基づき、前記代表意見データを送信した情報端末に関連付けられた参加者に対するポイントを算出する、処理をコンピュータに実行させるためのディスカッション支援プログラムが開示されている。
特許第6142626号公報
特定のテーマについて、複数の人からなる集団で会話する場面がある。例えば、学校の授業、授業におけるグループワーク(グループディスカッション)、及び講習会でのワークショップ等である。このように集団で会話する場面においては、学習効果等の成果を得るためには、会話の質を高める必要がある。会話の質を高めるには、会話の進行を管理する必要がある。
しかし、会話の進行の管理にはスキルが必要であり、会話の進行を個人に任せるのでは、任された個人の負担が大きい。
本発明は、会話の進行を容易にできる情報提示装置、情報提示方法及び情報提示プログラムを提供することを目的とする。
請求項1記載の発明は、特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得部と、前記取得部により取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部と、を有する情報提示装置である。
請求項2記載の発明においては、前記活動情報は、前記複数の人の各々が発した音声の情報、及び前記複数の人の各々の生体に関する生体情報の少なくとも一方である。
請求項3記載の発明は、前記取得部により前記音声の情報及び前記生体情報のうちの音声の情報が取得される場合、前記音声の情報から特定される発話時間及び発話人数の少なくとも一方から前記会話の状況を定め、前記取得部により前記音声の情報及び前記生体情報のうちの生体情報が取得される場合、前記生体情報として取得される脳波、脈波及び前記生体情報から特定される前記人の感情の少なくとも一つの情報から前記会話の状況を定め、前記取得部により前記音声の情報及び前記生体情報の両方が取得される場合、前記音声の情報から特定される発話時間及び発話人数、並びに前記生体情報として取得される脳波、脈波及び前記生体情報から特定される前記人の感情の少なくとも一つの情報から前記会話の状況を定める、状況特定部をさらに有する。
請求項4記載の発明においては、前記状況特定部は、
脳波、脈波及び前記人の感情の少なくとも一つの情報から、前記人が会話に集中している度合いを示す集中レベルを判定し、前記音声の情報から、前記会話において前記人が発話している度合いを示す発話レベルを判定し、前記音声の情報から、前記会話において発話している前記人の人数を示す発話人数を判定し、判定結果から、前記会話の状況を定める。
請求項5記載の発明においては、前記状況特定部は、第1の時間の間、前記人からの発話がなく、判定した前記集中レベルが第1の閾値以下である場合、前記会話の状況が、前記人が会話に集中していない状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、会話の内容を変更することを提示する。
請求項6記載の発明においては、前記状況特定部は、判定した前記発話レベルが第2の閾値より低い状況が第2の時間以上継続した場合に、前記会話の状況が、緊張のため会話が少ない状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、複数の前記人に順に発話の機会を与えることを提示する。
請求項7記載の発明においては、前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、判定した前記集中レベルが前記第1の閾値より大きく、判定した前記発話人数が、第1の人数以下で、会話の時間が第3の時間以上である場合、前記会話の状況が、発言者数が偏っている状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、発言していない前記人の発言を促すことを提示する。
請求項8記載の発明においては、前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、かつ判定した前記集中レベルが前記第1の閾値以下である状況が第4の時間以上継続した場合で、会話が雑談であると判断される場合、前記会話の状況が、会話の内容と会話のテーマとの関連が低く、人が集中していない状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、前記会話の目的を再確認することを提示する。
請求項9記載の発明においては、前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、かつ前記集中レベルが前記第1の閾値以下である状況が第4の時間以上継続した場合で、会話が雑談でないと判断される場合、前記会話の状況が、発言の多さに対して集中レベルが低い状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、休息をいれることを提示する。
請求項10記載の発明においては、前記状況特定部は、前記脳波及び前記人の感情のそれぞれから、前記人が会話に集中している度合いを示す集中レベルを判定し、さらに、前記人の感情から、前記人が会話に肯定的か否定的かを判定し、前記脳波により判定した前記集中レベルが第3の閾値以上で、前記人の感情により判定した前記集中レベルが、第4の閾値以上で、かつ前記人が会話に肯定的である場合に、前記会話の状況が、前記人の発言を、他の前記人が集中して聞いていない状況であると特定し、前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、発言した前記人に再度発言を促すことを提示する。
請求項11記載の発明においては、前記提示部は、前記アドバイスを表示可能な表示部に、前記活動情報から定まる前記会話の状況と、前記会話の状況に応じたアドバイスとを表示させる。
請求項12記載の発明においては、前記提示部は、前記集団が複数ある場合、複数の前記集団の各々の前記会話の状況を前記表示部に表示させる。
請求項13記載の発明においては、前記提示部は、複数の前記集団の各々の前記会話の状況を表す指標を求め、前記指標が閾値よりも小さいグループが他の集団と区別されるように、前記表示部に表示させる。
請求項14記載の発明は、特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得ステップと、前記取得ステップにおいて取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部ステップと、有する情報提示方法である。
請求項15記載の発明は、特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得ステップと、前記取得ステップにおいて取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部ステップと、をコンピュータに実行させる情報提示プログラムである。
請求項1記載の発明によれば、会話の進行を容易にできる。
請求項2記載の発明によれば、会話の状況を人の音声及び生体情報の少なくとも一方から定められる。
請求項3記載の発明によれば、人の音声及び人の生体情報のそれぞれから会話の状況を定め、又は人の音声及び人の生体情報の組み合わせから会話の状況を定められる。
請求項4記載の発明によれば、具体的なレベル又は人数を判定して、会話の状況を定めうる。
請求項5記載の発明によれば、会話に集中していない状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項6記載の発明によれば、緊張のため会話が少ない状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項7記載の発明によれば、発言者数が偏っている状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項8記載の発明によれば、会話の内容と会話のテーマとの関連が低く、人が集中していない状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項9記載の発明によれば、発言の多さに対して集中レベルが低い状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項10記載の発明によれば、前記人の発言を、他の前記人が集中して聞いていない状況を特定し、当該状況に合ったアドバイスを提示できる。
請求項11記載の発明によれば、アドバイスだけでなく会話の状況も提示できる。
請求項12記載の発明によれば、複数の集団の会話の進行を管理できる。
請求項13記載の発明によれば、会話の状況が指標よりも悪い集団を明示できる。
請求項14記載の発明によれば、会話の進行を容易にできる。
請求項15記載の発明によれば、会話の進行を容易にできる。
本発明の技術の実施形態に係る情報提示システムの概要を示す図である。 学校での授業の様子の一例を示す図である。 情報提示装置のハードウェア構成を示すブロック図である。 情報提示装置の機能構成の例を示すブロック図である。 情報取得装置の機能構成の例を示すブロック図である。 教師が用いる端末の機能構成の例を示すブロック図である。 発話レベルの判定基準を表す図である。 集中レベルの判定基準を表す図である。 人の感情を表す円環モデルの例を示す図である。 集中レベルの別の判定基準を示す図である。 情報提示装置による情報提示の流れを示すフローチャートである。 アドバイスを決定する処理の流れを示すフローチャートである。 会話の状況と、会話の状況に応じたアドバイスの内容とを示す図である。 雑談を判定する処理の流れを示す工程図である。 端末に表示される画面の一例を示す図である。 アドバイスを決定する処理の流れを示すフローチャートである。 人の感情を表す円環モデルに二つの領域を設けた例を示す図である。
以下、本発明の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1は、本発明の技術の実施形態に係る情報提示システムの概要を示す図である。なお、本実施形態では、複数の人からなる集団で会話する場面として、学校で複数の生徒が会話する場面を想定して説明する。しかし、本発明は、学校に限らず、あらゆる会話の場面に適用できる。学校での会話は、あくまで例示である。
本実施形態の情報提示システム1は、複数の学校(例えば、学校X〜学校Z)での授業において、会話中の生徒の活動に関する活動情報を収集し、過去事例等に基づいて、会話の進行に関するアドバイスを教師に提示する。活動情報は、例えば、会話中の生徒の発話及び会話中の生徒の生体に関する生体情報である。図1に示すように、各学校X〜Zには、情報提示装置10が設置されている。情報提示装置10は、教師が授業で利用する情報取得装置20及び端末30と相互に通信可能である。さらに、情報提示装置10は、情報取得装置20により収集した情報及び教師が端末30に入力した情報などの授業に関する各種情報を、授業の支援のためのサービスを提供するクラウドサーバ40に集約し、学校間で情報を共有できるようにする。情報取得装置20は、クラウドサーバ40において集約された情報に基づき、会話中の生徒の活動情報から定まる会話の状況に応じて、会話の進行に関するアドバイスを提示する。
図2は、学校での授業の様子の一例を示す図である。
図2に示す例では、複数の生徒からなる集団が複数ある。各集団のテーブル50には情報取得装置20が設置されている。設置される複数の情報取得装置20は、情報提示装置10に接続されている。情報提示装置10は、教師が有する端末30と相互に通信が可能であり、授業において必要な情報の送受信を行う。
情報取得装置20は、特定のテーマについて会話中の生徒の活動情報を取得し、情報提示装置10に送信する。情報提示装置10は、取得した活動情報から、各テーブル50の生徒の会話の状況を特定し、会話の状況に応じて、会話の進行に関するアドバイスを、教師の端末30を介して、教師に提示する。端末30は、据え置き型、携帯型のいかなるコンピュータであってよく、例えば、タブレットである。
以下、情報提示装置10、情報取得装置20及び端末30について説明する。
(情報提示装置10)
図3は、情報提示装置のハードウェア構成を示すブロック図である。
図3に示すように、情報提示装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、及び通信インタフェース15の各構成を有する。各構成は、バス19を介して相互に通信可能に接続されている。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、会話の進行に関するアドバイスを提示する情報提示プログラムが格納されている。
ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
通信インタフェース15は、情報取得装置20、端末30及びクラウドサーバ40等の他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi−Fi(登録商標)等の規格が用いられる。
図4は、情報提示装置の機能構成の例を示すブロック図である。各機能構成は、CPU11がROM12またはストレージ14に記憶された情報提示プログラムを読み出して実行することにより実現される。
図4に示すように、情報提示装置10は、取得部101、状況特定部102、アドバイス決定部103、提示部104及びフィードバック処理部105を有する。
取得部101は、特定のテーマについて会話中の複数の人からなる集団の人の活動に関する活動情報を取得する。すなわち、取得部101は、情報取得装置20が取得した生徒の活動情報を、情報取得装置20から取得する。活動情報は、会話中の人が発した音声の情報、及び会話中の人の生体に関する生体情報である。本実施形態では、生体情報として、生徒の脳波の情報及び生徒の顔の画像の情報が情報取得装置20により取得される。
状況特定部102は、取得部101により取得した活動情報から、集団の会話の状況を特定する。会話の状況を判定するために、状況特定部102は、発話レベル判定部110、発話人数判定部111及び集中レベル判定部112を含む。
発話レベル判定部110は、会話中の音声の情報から、会話において人が発話している度合いを示す発話レベルを判定する。発話人数判定部111は、会話中の音声の情報から、会話において発話している人数を示す発話人数を判定する。集中レベル判定部112は、生徒の脳波及び生徒の顔の画像に基づいて、会話に生徒が集中している度合いを示す集中レベルを判定する。発話レベルの判定、発話人数の判定、及び集中レベルの判定について、詳細は後述する。
アドバイス決定部103は、取得部101により取得した活動情報から定まる会話の状況、すなわち、状況特定部102により判定された発話レベル、発話人数及び集中レベルから定まる会話の状況に応じたアドバイスを決定する。アドバイスの決定について、詳細は後述する。
提示部104は、アドバイス決定部103により決定されたアドバイスを教師(ユーザ)に提示する。提示部104は、端末30にアドバイスを表示又はアナウンスさせることによって、アドバイスを提示する。あるいは、提示部104は、各テーブルに設置された情報取得装置20に表示又はアナウンスさせても良い。
フィードバック処理部105は、提示部104により提示したアドバイスについて、教師からのフィードバックを受け付ける。受け付けたフィードバックは、今後のアドバイスの精度の向上のため、クラウドサーバ40に共有される。
(情報取得装置20)
図5は、情報取得装置の機能構成の例を示すブロック図である。
情報取得装置20は、音声取得部201、生体情報取得部202、及び提示部203を有する。
音声取得部201は、マイクロフォン等により実現され、特定のテーマについての複数の生徒の会話の音声を取得する。
生体情報取得部202は、生徒の生体に関する生体情報を取得する。取得する生体情報の種類に応じて、情報取得装置20は専用のハードウェア構成を必要とする。例えば、生体情報として、生徒の脳波を取得する場合、生徒の頭部に接触させる複数の電極を備えた脳波測定装置が必要である。また、生徒の脈波を取得する場合、脈動による皮膚の動きを検知するセンサ、又は赤外線等を照射して非接触で脈波を検知するセンサを備えた脈波祖測定装置が必要である。また、生徒の顔の画像(表情)を取得する場合、生徒の顔を撮像する撮像素子を備えた撮像装置が必要である。
提示部203は、生徒に情報を提示する。提示部203は、例えば、ディスプレイ又はスピーカー等により実現され、会話の進行に関するアドバイスを表示し、又はアナウンスする。
(端末30)
図6は、教師が用いる端末の機能構成の例を示すブロック図である。
端末30は、入力部301及び表示部302を有する。
入力部301は、教師(ユーザ)による必要な入力を受け付ける。入力部301は、例えば、タッチパネル方式を採用したディスプレイとして、ユーザからのタッチ入力を受け付ける。
表示部302は、提示部104によって提示されるアドバイス等の教師が必要な情報を表示する。
次に、上記の情報提示装置10における発話レベルの判定、発話人数の判定、及び集中レベルの判定について詳細に説明する。
(発話レベルの判定)
図7は、発話レベルの判定基準を表す図である。
上述のように、情報提示装置10は、発話レベル判定部110として、会話中の音声の情報から、会話において人が発話している度合いを示す発話レベルを判定する。発話している度合いは、例えば、生徒の集団による会話において、所定の時間(例えば、60秒)の間で発話があった時間により判定される。発話があったかどうかは、音声があったか否かで判定できる。集団において誰か一人が発話していれば、その瞬間は、集団として発話があったと判定される。
発話レベル判定部110は、例えば、所定の時間としての60秒間のうち発話があった時間の割合を百分率により求める。ただし、百分率により求めず、割合として求めても良いし、発話時間だけを計測して、以下の発話レベルを判定してもよい。以下では、発話の時間の割合が百分率で求められ、発話レベルが判定される場合について説明する。
図7に示すように、発話レベル判定部110は、発話時間の割合が0%以上20%未満の場合、ほとんど議論がされていない状態として、レベル1と判定する。発話レベル判定部110は、発話時間の割合が20%以上40%未満の場合、発言が少ない状態として、レベル2と判定する。発話レベル判定部110は、発話時間の割合が40%以上60%未満の場合、議論はされているがやや発言が少ない状態として、レベル3と判定する。発話レベル判定部110は、発話時間の割合が60%以上80%未満の場合、活発に議論がされている状態として、レベル4と判定する。発話レベル判定部110は、発話時間の割合が80%以上100%以下の場合、非常に活発に議論がされている状態として、レベル5と判定する。
このように、発話レベル判定部110は、集団の会話の状態を特定するための一つの要素として、発話レベルを判定する。発話レベルを用いて、どのように集団の会話の状態を特定するかについての説明は後述する。
(発話人数の判定)
上述のように、情報提示装置10は、発話人数判定部111として、会話中の音声の情報から、会話において発話している人数を示す発話人数を判定する。
具体的には、発話人数判定部111は、例えば、取得部101により取得した会話中の音声(発話)の情報を、登録された生徒の声の情報と比較することにより、発話者を特定する。生徒の声は、集団での会話が始まる前に、個別に情報取得装置20の音声取得部201等により取得され、取得部101を介して情報提示装置10のストレージ14等に保存されている。
発話人数判定部111は、集団の会話が始まると、所定の時間(例えば、60秒)毎に、発話人数をカウントする。所定の時間は、上述の発話レベルの判定における所定の時間と同じにすることが好ましい。発話人数判定部111は、ある生徒の発話を特定し、その生徒を発話人数の一人とカウントすれば、同じ所定の時間内で同じ人が発話しても発話人数のカウントを増やさない。
このように、発話人数判定部111は、集団の会話の状態を特定するための一つの要素として、発話人数を判定する。発話人数を用いて、どのように集団の会話の状態を特定するかについての説明は後述する。
(集中レベルの判定)
図8は、集中レベルの判定基準を表す図である。図9は、人の感情を表す円環モデルの例を示す図である。図10は、集中レベルの別の判定基準を示す図である。
上述のように、情報提示装置10は、集中レベル判定部112として、生徒の脳波に基づいて、会話に生徒が集中している度合いを示す集中レベルを判定する。会話に生徒が集中している度合いは、例えば、会話中の各生徒の脳波に含まれるα波(7.5Hz〜11.75Hz)とβ波(13Hz〜30Hz)のパワースペクトル比により判定される。α波とβ波のパワースペクトル比は、α波及びβ波をそれぞれ高速フーリエ変換して得られたパワースペクトルを対比して得られる比であり、例えば、α波のパワースペクトルに対するβ波のパワースペクトルの比である。集中レベル判定部112は、各生徒の集中の度合いを、パワースペクトル比により求め、集団の中の全生徒の平均を求めることにより平均パワースペクトル比を求める。集中レベル判定部112は、求めた平均パワースペクトル比から集中レベルを判定する。
図8に示すように、集中レベル判定部112は、平均パワースペクトル比が0.7未満の場合、リラックスしている状態で思考の働きは低い状態として、レベル1と判定する。集中レベル判定部112は、平均パワースペクトル比が0.7以上0.9未満の場合、レベル1とレベル3の中間の状態として、レベル2と判定する。集中レベル判定部112は、平均パワースペクトル比が0.9以上1.1未満の場合、リラックスしている状態で、思考の働きは良好だが、認知レベルを高めるほどではない状態として、レベル3と判定する。集中レベル判定部112は、平均パワースペクトル比が1.1以上1.3未満の場合、レベル3とレベル5の中間の状態として、レベル4と判定する。集中レベル判定部112は、平均パワースペクトル比が1.3以上の場合、思考が高いレベルで働いており、認知レベルを高めるのに理想的な状態として、レベル5と判定する。
また、集中レベル判定部112は、上記の集中レベルの判定とは別の基準により、集中レベルを判定することもできる。この場合、情報提示装置10は、集中レベル判定部112として、生徒の顔の画像に基づいて、会話に生徒が集中している度合いを示す集中レベルを判定する。情報取得装置20により取得された生徒の顔の画像を、ラッセルの感情円環モデル上に分類することによって、感情を特定する。
なお、生徒の顔の画像は、例えば、所定の時間(例えば、60秒)の間に、生体情報取得部202により集団の中の生徒の顔が所定の回数(例えば、6回)撮像されることにより取得される。例えば、図2のように、一つのテーブル50に6人の生徒が座る集団に対して、60秒の間に、生徒の顔が6回ずつ撮像されれば、36枚の顔の画像が得られる。この場合、生体情報取得部202は、テーブル50において撮像素子を60秒の間に6回転させ、6人の生徒の顔をそれぞれ6回ずつスキャンして、顔の画像を取得する。得られた顔の画像から既知の方法により感情を特定し、ラッセルの円環モデルにプロットすると、図9に示すような分布が得られる。図9に示す円環モデルにおいて、灰色に示すエリアAは、集中の度合いが高いエリアを示す。したがって、エリアAにプロットの点が多い程、集団として、会話への集中の度合いが高いことになる。
図10に示すように、集中レベル判定部112は、全プロットのうちエリアAにある点の数が0%以上20%未満の場合、思考の働きが低くなり、学習に不向きな状態として、集中レベルがレベル1と判定する。集中レベル判定部112は、全プロットのうちエリアAにある点の数が20%以上40%未満の場合、ややレベル1寄りの状態として、レベル2と判定する。集中レベル判定部112は、全プロットのうちエリアAにある点の数が20%以上40%未満の場合、レベル1よりも高くややレベル1寄りの状態として、レベル2と判定する。集中レベル判定部112は、全プロットのうちエリアAにある点の数が40%以上60%未満の場合、平均的なレベルを表す中間の状態として、レベル3と判定する。集中レベル判定部112は、全プロットのうちエリアAにある点の数が60%以上80%未満の場合、レベル3よりも高くややレベル5寄りの状態として、レベル4と判定する。集中レベル判定部112は、全プロットのうちエリアAにある点の数が80%以上100%以下の場合、ポジティブな状態であり、高い学習効果が期待できる状態として、レベル5と判定する。
このように、集中レベル判定部112は、集団の会話の状態を特定するための一つ又は二つの要素として、集中レベルを判定する。集中レベルを用いて、どのように集団の会話の状態を特定するかについての説明は後述する。なお、上記例では、脳波及び顔の画像から集中レベルを判定している。しかし、例えば、脈波から、副交感神経(不安)等を検知し、集中レベルを判定しても良い。
次に、情報提示装置の作用について説明する。
図11は、情報提示装置による情報提示の流れを示すフローチャートである。CPU11がROM12またはストレージ14から情報提示プログラムを読み出して実行することにより、情報提示処理が行われる。なお、以下の情報提示処理は、特定のテーマについて会話する集団が複数ある場合は、集団ごとに並行して行われる。
CPU11は、音声取得部201として、活動情報(音声の情報及び生体情報)を取得する(ステップS101)。CPU11は、取得した活動情報から、発話レベルを判定し(ステップS102)、発話人数を判定し(ステップS103)、集中レベルを判定する(ステップS104)。発話レベル、発話人数及び集中レベルの判定の方法は、上述の通りである。また、ステップS102〜ステップS104の処理は、その順に処理される必要はなく、順序が逆転したり、あるいは並列に処理されたりしてもよい。
CPU11は、判定した発話レベル、発話人数及び集中レベルから定まる会話の状況に応じて、会話の進行に関するアドバイスを決定する(ステップS105)。アドバイスの決定について、詳細な説明は後述する。CPU11は、提示部104として、ステップS105で決定したアドバイスを提示する(ステップS106)。ここで、CPU11は、アドバイスと共に、会話の状況も提示する。
CPU11は、会話が終了したか否か判断する(ステップS107)。会話が終了したか否かは、例えば、教師が端末30に会話終了の指示を入力し、情報提示装置10が受け付けることによって判断されうる。あるいは、情報提示装置10に予め会話時間又は授業時間が入力されており、タイマーにより会話終了が判断されてもよい。
会話が終了していない場合(ステップS107:NO)、CPU11は、ステップS101からの処理を繰り返す。会話が終了した場合(ステップS107:YES)、CPU11は、情報提示処理を終了する。
次に、ステップS105のアドバイスを決定する処理について、詳細に説明する。
図12は、アドバイスを決定する処理の流れを示すフローチャートである。図13は、会話の状況と、会話の状況に応じたアドバイスの内容とを示す図である。
CPU11は、所定の時間(第1の時間)内で発言があった否か判断する(ステップS201)。所定の時間は、例えば、60秒である。所定の時間は、上述の集中レベルの判定における所定の時間と同じであることが好ましい。
所定の時間内で発言がない場合(ステップS201:NO)、CPU11は、ステップS104で判定した集中レベルが2(第1の閾値)以下か否か判断する(ステップS202)。集中レベルが2以下の場合(ステップS202:YES)、CPU11は、会話の状況に応じたアドバイスを、「チェンジ」に決定する(ステップS203)。すなわち、所定の時間内で発言がなく、集中レベルが2以下の場合、会話の状況は、「生徒の合計の集中レベルが低下してきている状況」又は「もともと集中レベルが低下している状況」と特定される。このような状況に適したアドバイスは、図13に示すように、「チェンジ」である。「チェンジ」は、具体的には、例えば、「現在実施している講義内容から、生徒が興味がありそうな別の内容に変更する」といった内容である。そして、CPU11は、図11の処理に戻る。
ステップS202の説明に戻って、集中レベルが2以下ではない場合、すなわち、集中レベルが3以上の場合(ステップS202:NO)、CPU11は、現段階で特定できる会話の状況がなく、対応するアドバイスもないので、そのまま図11の処理に戻る。
ステップS201の説明に戻って、所定時間内での発言がある場合(ステップS201:YES)、CPU11は、ステップS102で判定した発話レベルが4(第2の閾値)以上か否か判断する(ステップS204)。発話レベルが4以上でない場合、すなわち、発話レベルが3以下の場合(ステップS204:NO)、CPU11は、所定時間内で発言があって、発話レベルが3以下の状況が5分(第2の時間)以上継続したか否か判断する(ステップS205)。5分以上継続している場合(ステップS205:YES)、CPU11は、会話の状況に応じたアドバイスを、「ラウンドロビン」に決定する(ステップS206)。すなわち、所定時間内で発言があって、発話レベルが3以下の状況が5分以上継続している場合、会話の状況は、「発言がスタートして一定時間経過しても会話レベルが少ない状況」と特定される。このような状況に適したアドバイスは、図13に示すように、「ラウンドロビン」である。「ラウンドロビン」は、具体的には、例えば、「緊張を解くために一人ずつ順番に発言させるように促す」といった内容である。CPU11は、図11の処理に戻る。
ステップS205の説明に戻って、所定時間内で発言があって、発話レベルが3以下の状況が5分以上継続していない場合(ステップS205:NO)、CPU11は、現段階で特定できる会話の状況がなく、対応するアドバイスもないので、そのまま図11の処理に戻る。
ステップS204の説明に戻って、発話レベルが4以上である場合(ステップS204:YES)、CPU11は、ステップS104において判定した集中レベルが2(第1の閾値)以下であるか否かを判断する(ステップS207)。集中レベルが2以下でない場合、すなわち、集中レベルが3以上である場合(ステップS207:NO)、CPU11は、ステップS103で判定した発話人数が2名(第1の人数)以下か否か判断する(ステップS208)。発話人数が2名以下でない場合、すなわち、発話人数が3名以上の場合(ステップS208:NO)、CPU11は、そのまま図11の処理に戻る。
発話人数が2名以下である場合(ステップS208:YES)、CPU11は、会話開始から10分(第3の時間)経過しているか否か判断する(ステップS209)。10分経過していない場合(ステップS209:NO)、CPU11は、図11の処理に戻る。10分経過している場合(ステップS209:YES)、CPU11は、会話の状況に応じたアドバイスを、「スプレッド」に決定する(ステップS210)。すなわち、所定時間内で発言があって、発話レベルが4以上、集中レベルが3以上、発言者が2名以下、かつ会話開始から10分経過している場合、会話の状況は、「会話がスタートして一定期間を経過したとき、発話レベルが高いにも関わらず発話人数が少ない状況」と特定される。このような状況に適したアドバイスは、図13に示すように、「スプレッド」である。「スプレッド」は、具体的には、例えば、「発言していない人の発言を促し、その内容に対する意見を述べるように促す」といった内容である。CPU11は、図11の処理に戻る。
ステップS207の説明に戻って、集中レベルが2以下である場合(ステップ207:YES)、CPU11は、所定時間内で発言があって、発話レベルが4以上、かつ集中レベルが2以下の場合が5分以上(第4の時間)継続したか否か判断する(ステップS211)。5分以上継続していない場合(ステップS211:NO)、CPU11は、図11の処理に戻る。
5分以上継続している場合(ステップS211:YES)、CPU11は、会話の内容が雑談か否か判断する(ステップS212)。雑談か否かの判定方法についての説明は後述する。
会話の内容が雑談である場合(ステップS212:YES)、CPU11は、会話の状況に応じたアドバイスを、「フォーカス」に決定する。すなわち、所定時間内で発言があって、発話レベルが4以上、集中レベルが2以下である状況が5分以上継続し、会話の内容が雑談である場合、会話の状況は、「会話内容の意味理解から、会話のテーマとの関連が薄く、さらに集中レベルが低い状況」と特定される。このような状況に適したアドバイスは、図13に示すように、「フォーカス」である。「フォーカス」は、具体的には、例えば、「軌道修正すべく会話のテーマとゴールについて再提示し、可能であれば例を提示するなどして誘導する」といった内容である。CPU11は、図11の処理に戻る。
会話の内容が雑談でない場合(ステップS212:NO)、CPU11は、会話の状況に応じたアドバイスを、「レスト」に決定する。すなわち、所定時間内で発言があって、発話レベルが4以上、集中レベルが2以下である状況が5分以上継続し、会話の内容が雑談でない場合、会話の状況は、「会話レベルは高いが、集中レベルが一定期間より前に比べ大きな低下がみられる状況」と特定される。このような状況に適したアドバイスは、図13に示すように、「レスト」である。「レスト」は、具体的には、例えば、「話題を会話テーマから反れたものに変える、生徒が興味ありそうな話を投げかける、又は休憩をいれる」といった内容である。CPU11は、図11の処理に戻る。
以上のように、情報提示装置10は、発話レベル、発話人数及び集中レベルの組合せから、会話の状況を判断し、予め会話の状況に応じて定められたアドバイスを決定する。
なお、ステップS202およびステップS207で用いる集中レベルは、上述の脳波により判定する集中レベル、及び顔の画像より判定する集中レベルのいずれでも良い。また、第1の閾値、第2の閾値、第1の時間、第2の時間、第3の時間、第4の時間及び第1の人数が、会話の状況を特定するための閾値として用いられた。上記説明では具体的な数値を例示して説明しているが、これに限定されない。会話の状況の特定に応じて、適宜閾値は変更できる。
次に、ステップS212の雑談を判定する処理について説明する。
図14は、雑談を判定する処理の流れを示す工程図である。ステップS301〜ステップS302は、情報提示装置10により実行され、ステップS304〜ステップS306は、情報取得装置20により実行され、ステップS303、ステップS307、及びステップS308は、クラウドサーバ40により実行される。
情報提示装置10は、予め、授業設計シートが入力され、ストレージ14等に記憶されている(ステップS301)。授業設計シートは、例えば、シラバスなどの授業の課題、目的、構成、及び到達目標等の説明が記載されたシートである。情報提示装置10は、授業設計シート中の文章を、自然言語処理し、意味のある単語を抽出する(ステップS302)。
クラウドサーバ40は、ステップS302において抽出された単語を情報提示装置10から受信し、受信した単語に関連する単語を、別(他校)の情報提示装置10及び外部のデータベース41から検索する(ステップS303)。抽出した単語に関連する単語とは、例えば、別の情報提示装置10に記憶されている授業設計シート及び授業で提出されたレポート等に含まれる単語である。ステップS302において抽出した単語を検索キーとして、別の情報提示装置10及び外部のデータベース41を検索して得られる単語を関連する単語とすることにより、クラウドサーバ40内において、ステップS301で入力された授業設計シートに関連する単語のリストが構築される。
情報取得装置20は、特定のテーマについて会話中の生徒の音声のデータを取得する(ステップS304)。そして、情報取得装置20は、取得した音声データを、所定時間(例えば、5分間分)ずつテキストデータに変換する(ステップS305)。情報取得装置20は、テキストデータのテキストを、自然言語処理し、意味のある単語を抽出する(ステップS306)。これにより、生徒の会話に登場する単語が抽出される。
クラウドサーバ40は、ステップS306で抽出された単語を受信し、受信した単語のうち、ステップS303の検索処理で構築された単語のリストを検索する(ステップS307)。つまり、ステップS303の検索処理で構築された単語のリストに、ステップS306で抽出された会話中の単語が含まれるか検索する。そして、クラウドサーバ40は、雑談判定処理として、会話に登場する単語が、所定数以上、ステップS302及びステップS303で得られた単語と一致するか否かを判定する(ステップS308)。所定数は例えば10である。所定数は、適宜変更してもよい。一致する単語が10未満の場合、情報提示装置10は、雑談と判定する。会話から抽出された単語が、ほぼ授業設計に関係のない単語であるからである。一方、一致する単語が10以上の場合、雑談ではないと判断する。
なお、クラウドサーバ40によりステップS303、ステップS307、及びステップS308を実行するのは、クラウドサーバ40が、いずれの情報提示装置10にもアクセスできるからである。クラウドサーバ40は、各校の情報提示装置10にアクセスすることにより、他の学校における授業設計シート及びレポートの情報等を活用する。
次に、ステップS106において、教師等のユーザにアドバイスが提示される形態を例示する。
図15は、端末に表示される画面の一例を示す図である。なお、端末に表示される画面は、情報提示装置10により送信される情報に基づく。つまり、情報提示装置10が、端末30に必要な表示をさせる。
図15に示すように、例えば、端末30には、グループ分けされた集団のレイアウトが表示される。グループごとにテーブルが示され、また、集団を表す記号が示される。図示の例では、アルファベットG1〜G8のグループがあることが分かる。
画面には、発話レベル、発話人数又は集中レベルを選択できるメニュー500が設けられる。メニュー500は、例えば、プルダウン方式により、ユーザに任意の項目を選択させる。教師が、メニュー500から、発話レベル、発話人数又は集中レベルのいずれか一つの項目を選択することにより、選択した項目のパラメータが各集団に対応して表示される。例えば、図示するように、プルダウンメニューにおいて、「集中レベル」が選択された場合、各集団G1〜G8のテーブル上に、集団の会話に対する集中レベルの数値が表示される。したがって、教師は、特定の項目について、全グループの会話の状況が確認可能となる。
また、画面には、特定のグループを選択するためのメニュー501が設けられる。図示のように、グループG8が選択される場合、グループG8の、発話レベル、発話人数及び集中レベルが表示される。したがって、教師は、特定のグループについて、発話レベル、発話人数及び集中レベルの全ての項目について、会話の状況が確認可能となる。メニュー501で選択されたグループは、他のグループと区別されるように、色が変更されて表示されてもよい。
さらに、画面には、会話を進行するためのアドバイスを表示する表示ウィンドウ502が設けられる。表示ウィンドウ502には、上述の会話の状況に応じたアドバイスが表示される。メニュー503において、特定のグループ、または、全てのグループを含む全体が選択可能である。特定のグループが選択された場合、当該グループに対するアドバイスが表示される。全体が選択された場合、前記グループの会話の状況を踏まえて、アドバイスが表示される。
なお、上記のように任意のグループを選択して、会話の状況を確認することに加え、会話の状況が悪いグループを明示しても良い。例えば、レイアウトの表示において、発話レベル、発話人数及び集中レベルの少なくとも一つまたは全部が、特定の指標、例えば、中央値以下となったグループを、他のグループとは別の色で表示したり、点滅して表示したりしても良い。
また、教師が実際の会話の状況を確認した上で、図15の画面において提示されたアドバイスが適切ではない、又は別のアドバイスの方が好ましいと考える場合、情報提示装置10は、フィードバック処理部105として、フィードバックを受け付けてもよい。この場合、教師は、端末30の所定の欄に、フィードバックを入力したり、あるいは、所定のボタンを押下することによってアドバイスの適否を入力したりできる。フィードバックは、端末30から情報提示装置10に送信される。情報提示装置10は、さらにフィードバックを、クラウドサーバ40に送信し、フィードバックが集約されるようにする。
以上、情報提示システム1に説明してきたが、本発明は、上記実施形態に限定されない。発明の技術的思想の範囲内において、適宜改良又は改変が可能である。以下、変形例について説明する。
(変形例1)
上記実施形態においては、図11のステップS105のアドバイスを決定する処理において、具体的に図12の処理を用いる場合について説明した。変形例では、図12の処理に代えて、あるいは図12の処理と並行して、図16の処理を実行する。
図16は、アドバイスを決定する処理の流れを示すフローチャートである。図17は、人の感情を表す円環モデルに二つの領域を設けた例を示す図である。図16の処理は、図11及び図12と同様に、情報提示装置10のCPU11がROM12またはストレージ14から情報提示プログラムを読み出して実行することにより行われる。
図16に示すように、CPU11は、特定のテーマについて会話中の生徒が発言したか否かを判断する(ステップS401)。生徒の発言がない場合(ステップS401:NO)、CPU11は、図11の処理に戻る。
生徒の発言があると(ステップS401:YES)、CPU11は、脳波に基づく集中レベルが2以上か否か判断する(ステップS402)。脳波に基づく集中レベルは、上述の通り、生徒の脳波のα波及びβ波から、図8に示す判定基準を用いて判定される。脳波に基づく集中レベルが4以上でない場合、すなわち、集中レベルが3以下の場合(ステップS402:NO)、CPU11は、図11の処理に戻る。
脳波に基づく集中レベルが4以上である場合(ステップS402:YES)、CPU11は、画像に基づく集中レベルが4以上か否か判断する(ステップS403)。画像に基づく集中レベルは、上述の通り、生徒の顔の画像から、図10に示す判定基準を用いて判定される。集団に含まれる全ての生徒の顔の画像を少なくとも1回は取得する必要があるため、画像に基づく集中レベルの判定の方が、脳波に基づく集中レベルの判定よりも、時間がかかる。画像に基づく集中レベルが4以上でない場合、すなわち、集中レベルが3以下の場合(ステップS403:NO)、CPU11は、図11の処理に戻る。
画像に基づく集中レベルが4以上である場合(ステップS403:YES)、CPU11は、画像に基づいてラッセルの感情円環モデルにプロットした分布結果を参照し、プロットの数がエリアCの方がエリアBよりも多いか否か判断する(ステップS404)。本実施形態において、図17に示すように、エリアBは、円環モデルの右上の領域であり、エリアCは、円環モデルの左上の領域である。エリアB及びエリアCは、いずれも円環モデルの上側のエリアであり、生徒が覚醒しているときにプロットされる領域である。エリアBは、覚醒しつつ、興奮していたり、喜びを感じていたり、快いと感じていたり、感情的には、生徒がポジティブなときにプロットされる領域である。一方で、エリアCは、覚醒しつつ、心配に感じたり、イライラを感じたり、不快と感じていたり、感情的には、生徒がネガティブなときにプロットされる領域である。
プロットがエリアCの方が多くない場合、すなわち、エリアBの方が多い場合(ステップS404:NO)、CPU11は、図11の処理に戻る。プロットがエリアCの方が多い場合(ステップS404:YES)、CPU11は、ステップS402〜ステップS404でいずれもYESと判定される状態が1分以上継続しているか否か判断する(ステップS405)。1分以上継続していない場合(ステップS405:NO)、CPU11は、図11の処理に戻る。1分以上継続している場合(ステップS405:YES)、CPU11は、会話の状況に応じたアドバイスを、「アゲイン」に決定する(ステップS406)。すなわち、ステップS402〜ステップS404でいずれもYESと判定される状態が1分以上継続している場合、会話の状況は、「生徒が会話に集中しているものの、不快と感じている状況」と特定される。このような状況は、例えば、ある生徒の発言を他の生徒が集中して聞いているのに、発言の意図が分からず、不快と感じている場合に起こりうる。したがって、このような会話の状況に適したアドバイスは、発言の理解促進をサポートするためのものである。「アゲイン」は、具体的には、「発言した生徒にもう一度、表現を代えて発言を促す」といった内容である。CPU11は、図11の処理に戻る。
以上のように、変形例によれば、異なる生体情報(脳波、及び顔の表情に基づく感情)から判定される集中レベルを組み合わせて、会話の状況が判定されうる。なお、ステップS402において脳波に基づく集中レベルを、ステップS403の画像に基づく集中レベルよりも先に判定するのは、脳波に基づく集中レベルの方が判定に要する時間が短いからである。ステップS402においてNOに進めば、判定に時間がかかるステップS403の処理を実行する必要がなく、アドバイス決定の全体の処理速度の向上に寄与する。
(変形例2)
上記実施形態では、教師の端末30において、アドバイスを提示する形態について説明した。しかし、集団の会話の進行をコントロールするのは必ずしも教師だけではない。例えば、集団の中に、進行役の生徒を設定し、当該生徒が会話の進行をコントロールする場合がある。あるいは、特に進行役がなくても、集団でアドバイスを参考にして、会話の進行を決定することも考えうる。このような場合、テーブル50におかれた、情報取得装置20により、生徒に直接アドバイスを提示してもよい。この場合、例えば、図15に示すような画面が、情報取得装置20の提示部203に表示される。あるいは、情報取得装置20に設けられたスピーカーから、音声によりアドバイスを提示しても良い。
また、上記実施形態では、学校において集団で会話する状況を例に説明した。しかし、既に述べているように、本発明は、学校の授業における集団の会話だけでなく、いかなる会話にも適用できる。例えば、本発明は、社会人の研修において、集団で議論する際にも適用できる。あるいは、本発明は、会議において特定のテーマについて議論する際にも適用できる。すなわち、ファシリテーターのように、議論の進行を円滑にする人が活躍できる状況であれば、ファシリテーターの一助又はファシリテーターの代替として、本発明を適用できる。
なお、以上の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
また、情報提示装置10を動作させる情報提示プログラムは、USB(Universal Serial Bus)メモリ、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリまたはストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、情報提示装置10の一機能としてその各装置のソフトウェアに組み込んでもよい。
1 情報提示システム
10 情報提示装置
11 CPU
12 ROM
13 RAM
14 ストレージ
15 通信インタフェース
19 バス
20 情報取得装置
30 端末
40 クラウドサーバ
41 データベース
50 テーブル
101 取得部
102 状況特定部
103 アドバイス決定部
104 提示部
105 フィードバック処理部
110 発話レベル判定部
111 発話人数判定部
112 集中レベル判定部
201 音声取得部
202 生体情報取得部
203 提示部
301 入力部
302 表示部
500、501、503 メニュー
502 表示ウィンドウ
A、B、C エリア
X、Y、Z 学校

Claims (15)

  1. 特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得部と、
    前記取得部により取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部と、
    を有する情報提示装置。
  2. 前記活動情報は、前記複数の人の各々が発した音声の情報、及び前記複数の人の各々の生体に関する生体情報の少なくとも一方である請求項1に記載の情報提示装置。
  3. 前記取得部により前記音声の情報及び前記生体情報のうちの音声の情報が取得される場合、前記音声の情報から特定される発話時間及び発話人数の少なくとも一方から前記会話の状況を定め、
    前記取得部により前記音声の情報及び前記生体情報のうちの生体情報が取得される場合、前記生体情報として取得される脳波、脈波及び前記生体情報から特定される前記人の感情の少なくとも一つの情報から前記会話の状況を定め、
    前記取得部により前記音声の情報及び前記生体情報の両方が取得される場合、前記音声の情報から特定される発話時間及び発話人数、並びに前記生体情報として取得される脳波、脈波及び前記生体情報から特定される前記人の感情の少なくとも一つの情報から前記会話の状況を定める、状況特定部をさらに有する請求項2に記載の情報提示装置。
  4. 前記状況特定部は、
    脳波、脈波及び前記人の感情の少なくとも一つの情報から、前記人が会話に集中している度合いを示す集中レベルを判定し、
    前記音声の情報から、前記会話において前記人が発話している度合いを示す発話レベルを判定し、
    前記音声の情報から、前記会話において発話している前記人の人数を示す発話人数を判定し、
    判定結果から、前記会話の状況を定める請求項3に記載の情報提示装置。
  5. 前記状況特定部は、第1の時間の間、前記人からの発話がなく、判定した前記集中レベルが第1の閾値以下である場合、前記会話の状況が、前記人が会話に集中していない状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、会話の内容を変更することを提示する請求項4に記載の情報提示装置。
  6. 前記状況特定部は、判定した前記発話レベルが第2の閾値より低い状況が第2の時間以上継続した場合に、前記会話の状況が、緊張のため会話が少ない状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、複数の前記人に順に発話の機会を与えることを提示する請求項5に記載の情報提示装置。
  7. 前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、判定した前記集中レベルが前記第1の閾値より大きく、判定した前記発話人数が、第1の人数以下で、会話の時間が第3の時間以上である場合、前記会話の状況が、発言者数が偏っている状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、発言していない前記人の発言を促すことを提示する請求項6に記載の情報提示装置。
  8. 前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、かつ判定した前記集中レベルが前記第1の閾値以下である状況が第4の時間以上継続した場合で、会話が雑談であると判断される場合、前記会話の状況が、会話の内容と会話のテーマとの関連が低く、人が集中していない状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、前記会話の目的を再確認することを提示する請求項7に記載の情報提示装置。
  9. 前記状況特定部は、判定した前記発話レベルが前記第2の閾値以上で、かつ前記集中レベルが前記第1の閾値以下である状況が第4の時間以上継続した場合で、会話が雑談でないと判断される場合、前記会話の状況が、発言の多さに対して集中レベルが低い状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、休息をいれることを提示する請求項8に記載の情報提示装置。
  10. 前記状況特定部は、
    前記脳波及び前記人の感情のそれぞれから、前記人が会話に集中している度合いを示す集中レベルを判定し、さらに、前記人の感情から、前記人が会話に肯定的か否定的かを判定し、
    前記脳波により判定した前記集中レベルが第3の閾値以上で、前記人の感情により判定した前記集中レベルが、第4の閾値以上で、かつ前記人が会話に肯定的である場合に、前記会話の状況が、前記人の発言を、他の前記人が集中して聞いていない状況であると特定し、
    前記提示部は、前記状況特定部が特定した状況に対する前記アドバイスとして、発言した前記人に再度発言を促すことを提示する請求項3〜9のいずれか一項に記載の情報提示装置。
  11. 前記提示部は、前記アドバイスを表示可能な表示部に、前記活動情報から定まる前記会話の状況と、前記会話の状況に応じたアドバイスとを表示させる請求項1〜10のいずれか一項に記載の情報提示装置。
  12. 前記提示部は、前記集団が複数ある場合、複数の前記集団の各々の前記会話の状況を前記表示部に表示させる請求項11に記載の情報提示装置。
  13. 前記提示部は、複数の前記集団の各々の前記会話の状況を表す指標を求め、前記指標が閾値よりも小さいグループが他の集団と区別されるように、前記表示部に表示させる請求項12に記載の情報提示装置。
  14. 特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得ステップと、
    前記取得ステップにおいて取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部ステップと、
    を有する情報提示方法。
  15. 特定のテーマについて会話中の複数の人からなる集団の前記人の活動に関する活動情報を取得する取得ステップと、
    前記取得ステップにおいて取得した前記活動情報から定まる会話の状況に応じて、前記会話の進行に関するアドバイスを提示する提示部ステップと、
    をコンピュータに実行させる情報提示プログラム。
JP2018044552A 2018-03-12 2018-03-12 情報提示装置、情報提示方法及び情報提示プログラム Pending JP2019159707A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018044552A JP2019159707A (ja) 2018-03-12 2018-03-12 情報提示装置、情報提示方法及び情報提示プログラム
US16/121,289 US10580434B2 (en) 2018-03-12 2018-09-04 Information presentation apparatus, information presentation method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018044552A JP2019159707A (ja) 2018-03-12 2018-03-12 情報提示装置、情報提示方法及び情報提示プログラム

Publications (1)

Publication Number Publication Date
JP2019159707A true JP2019159707A (ja) 2019-09-19

Family

ID=67843398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018044552A Pending JP2019159707A (ja) 2018-03-12 2018-03-12 情報提示装置、情報提示方法及び情報提示プログラム

Country Status (2)

Country Link
US (1) US10580434B2 (ja)
JP (1) JP2019159707A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175929A1 (ja) * 2022-03-18 2023-09-21 日本電気株式会社 指導支援装置、指導支援方法及びコンピュータ読み取り可能な記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159707A (ja) * 2018-03-12 2019-09-19 富士ゼロックス株式会社 情報提示装置、情報提示方法及び情報提示プログラム
US11354507B2 (en) * 2018-09-13 2022-06-07 International Business Machines Corporation Compared sentiment queues
CN112598557B (zh) * 2021-03-02 2021-06-25 广东财经大学 一种基于大数据的学生学习行为数据分析系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
JP2011081504A (ja) * 2009-10-05 2011-04-21 Hitachi Ltd 会議支援システムおよびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6427137B2 (en) * 1999-08-31 2002-07-30 Accenture Llp System, method and article of manufacture for a voice analysis system that detects nervousness for preventing fraud
US7590538B2 (en) * 1999-08-31 2009-09-15 Accenture Llp Voice recognition system for navigating on the internet
US6353810B1 (en) * 1999-08-31 2002-03-05 Accenture Llp System, method and article of manufacture for an emotion detection system improving emotion recognition
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
US6697457B2 (en) * 1999-08-31 2004-02-24 Accenture Llp Voice messaging system that organizes voice messages based on detected emotion
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
US6275806B1 (en) * 1999-08-31 2001-08-14 Andersen Consulting, Llp System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
US6463415B2 (en) * 1999-08-31 2002-10-08 Accenture Llp 69voice authentication system and method for regulating border crossing
JP2004237022A (ja) * 2002-12-11 2004-08-26 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US9300790B2 (en) * 2005-06-24 2016-03-29 Securus Technologies, Inc. Multi-party conversation analyzer and logger
JP2007114702A (ja) 2005-10-24 2007-05-10 Sanseido Co Ltd 学習指導・評価資料
US20080240379A1 (en) * 2006-08-03 2008-10-02 Pudding Ltd. Automatic retrieval and presentation of information relevant to the context of a user's conversation
US20100041958A1 (en) * 2008-04-24 2010-02-18 Searete Llc Computational system and method for memory modification
JP5772051B2 (ja) 2011-02-22 2015-09-02 富士通株式会社 情報処理装置、指導案評価プログラム及び指導案評価方法
JP6142616B2 (ja) 2013-03-27 2017-06-07 富士通株式会社 ディスカッション支援プログラム、ディスカッション支援方法、及び情報処理装置
KR101549908B1 (ko) * 2014-07-02 2015-09-08 전우성 스트레스 완화 및 집중력 향상을 위한 백색소음 발생 헤드셋 및 그를 이용한 백색소음 발생 방법
JP2019159707A (ja) * 2018-03-12 2019-09-19 富士ゼロックス株式会社 情報提示装置、情報提示方法及び情報提示プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272019A (ja) * 2007-04-25 2008-11-13 Oki Electric Ind Co Ltd 集団感情認識支援システム
JP2011081504A (ja) * 2009-10-05 2011-04-21 Hitachi Ltd 会議支援システムおよびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175929A1 (ja) * 2022-03-18 2023-09-21 日本電気株式会社 指導支援装置、指導支援方法及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
US10580434B2 (en) 2020-03-03
US20190279656A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
US9953650B1 (en) Systems, apparatus and methods for using biofeedback for altering speech
US11455985B2 (en) Information processing apparatus
Boyd et al. SayWAT: Augmenting face-to-face conversations for adults with autism
Morett When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language
JP2019159707A (ja) 情報提示装置、情報提示方法及び情報提示プログラム
CN110767290A (zh) 一种交互型情绪疏导及心理辅导机器人
JP6419924B1 (ja) 学習支援システムおよび学習支援方法
Tanaka et al. Teaching social communication skills through human-agent interaction
Niebuhr et al. Virtual reality as a digital learning tool in entrepreneurship: How virtual environments help entrepreneurs give more charismatic investor pitches
Siegert et al. How do we speak with Alexa: Subjective and objective assessments of changes in speaking style between HC and HH conversations
Wynn et al. Rhythm perception, speaking rate entrainment, and conversational quality: A mediated model
Laban et al. Building long-term human–robot relationships: Examining disclosure, perception and well-being across time
McNaney et al. StammerApp: Designing a Mobile Application to Support Self-Reflection and Goal Setting for People Who Stammer
JP2007030050A (ja) ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法
Kölln et al. Identifying User Experience Aspects for Voice User Interfaces with Intensive Users.
Tanaka et al. Nocoa+: Multimodal computer-based training for social and communication skills
Chu et al. Encoding and decoding hidden meanings in face-to-face communication: Understanding the role of verbal and nonverbal behaviors in indirect replies.
Allison et al. ‘Verbal Strategies’ Used by Occupational Therapists in Direct Client Encounters
WO2019198299A1 (ja) 情報処理装置及び情報処理方法
Lerner et al. In search of the role’s footprints in client-therapist dialogues
Dubus Interpreters' self-perceptions of their use of self when interpreting in health and behavioral health settings
Hird et al. Facilitating use of speech recognition software for people with disabilities: A comparison of three treatments
van Zaalen et al. Clinical success using the audio-visual feedback training for cluttering
JP2020173415A (ja) 教材提示システム及び教材提示方法
Cohen Training and application of correct information unit analysis to structured and Unstructured discourse

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220621