JP2010086356A - 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム - Google Patents

意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム Download PDF

Info

Publication number
JP2010086356A
JP2010086356A JP2008255821A JP2008255821A JP2010086356A JP 2010086356 A JP2010086356 A JP 2010086356A JP 2008255821 A JP2008255821 A JP 2008255821A JP 2008255821 A JP2008255821 A JP 2008255821A JP 2010086356 A JP2010086356 A JP 2010086356A
Authority
JP
Japan
Prior art keywords
information
degree
behavior
consciousness
target person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008255821A
Other languages
English (en)
Inventor
Yosuke Sakao
要祐 坂尾
Shinichi Doi
伸一 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008255821A priority Critical patent/JP2010086356A/ja
Publication of JP2010086356A publication Critical patent/JP2010086356A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】情報受信対象者の受信情報に関連する有益な行動の発生を、情報送信者や他の情報受信対象者に伝達する。
【解決手段】情報発信者の発信情報を検出する発信情報検出部1と、情報受信対象者の行動を表す情報を検出する行動検出部2と、情報受信対象者の行動の意味を表す情報を抽出する行動解釈部3と、発信情報と情報受信対象者の行動の意味を表す情報との関連する度合いを判定する行動関連度判定部43と、行動関連度に基づいて情報受信対象者が発信情報に関与する度合いである意識関与度を判定する意識関与度判定部44と、情報受信対象者の行動の意味を表す情報が、所定の基準に照らして発信情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定部45と、を備える。
【選択図】図6

Description

本発明は、会議や講演などにおける談話を聞く場合や、舞台、テレビ、PCなどの媒体を通してコンテンツを視聴する場合などの情報の発信と受信が発生する場合において、情報発信者や情報受信対象者を支援する技術に関する。より詳しくは、発信情報が情報受信の対象者に受信されているか否かの判定に基づき情報発信者や情報受信対象者を支援する情報を提供する技術に関する。
会議や講演、会話などの情報の発信と受信が発生する場合において、情報受信の対象者が情報をきちんと受け取ったか否かを確認するのは、正しく情報伝達を行うために重要な課題である。特に近年は、ネットワーク環境を利用したテレビ電話や遠隔会議などの、簡単には情報受信対象者の状態を確認できない状況でのコミュニケーションが盛んになってきており、情報受信対象者が情報をきちんと受け取ったか否かを確認する技術の重要性が高まっている。そのような、情報の発信と受信が発生する場合において、発信情報が情報受信対象者に受信されているか否かを判定する技術が存在する。
第1の関連する技術は、情報受信対象者が会議や講演などにそもそも出席しているか、情報受信対象者のテレビやPC(パーソナルコンピュータ)などの情報受信装置が情報を受信しているか否かなどの情報受信対象者のプレゼンスを判定するというものである。
第2の関連する技術は、情報受信対象者が眠っていないか、うつ伏せになっていないか、脳が活性化しているか否かなどの、情報受信対象者が情報受信可能な程度に意識が覚醒しているか、集中しているかを判定するというものである。
第3の関連する技術は、情報受信対象者が会議や講演などにおける話者や、テレビ、コンピュータなどの媒体を通して視聴しているコンテンツの方を目視しているか否かなどの、情報受信対象者が発信された情報に対して直接的に注目しているかを判定するというものである。
第4の関連する技術は、情報受信対象者が発信された情報を受け取った際に、情報送信者が想定したような行動を行っているか否かを判定するというものである。これは例えば、コンピュータネットワークで配信されたコンテンツの入力フォームに入力を行っているか、語学の遠隔学習において課題文の復唱を行っているか、テレビ視聴時にEPG(番組表)を確認しているかなどの判定などが挙げられる。
第2の関連する技術の例として、特許文献1に記載されている集中度取得装置が上げられる。特許文献1の技術は、TV番組の視聴者の脈拍や皮膚温度といった生体情報を測定することで視聴者の集中度を測定するものである。
第3の関連する技術の例として、特許文献2に記載されている視聴質測定方法が挙げられる。特許文献2の技術は、アイカメラの画像から視聴者の視線を測定し、視聴者がテレビの方を向いているか否かで視聴者の番組に対する集中度を測定する技術である。
第3の関連する技術の別の例として、特許文献3に記載されている講演者支援装置が挙げられる。特許文献3の技術は、カメラの画像から聴講者の顔の向きと表情、マイクロフォンの音声から聴講者の静聴度を測定し、センサから脈拍と体温を計測することで聴講者の注目度を測定する技術である。
第4の関連する技術の例として、特許文献4に記載の情報処理装置が挙げられる。特許文献4に記載の技術は、TV視聴において、視聴者がTVの周囲にいたかどうかの判定、視聴者のTVに対する番組表確認やチャンネル変更等の操作内容などの情報から視聴者のTV番組の視聴の質を測定するものである。
第4の関連する技術の別の例として、特許文献5に記載の学習時状況判断プログラムが挙げられる。特許文献5に記載の技術は、遠隔学習において、脳内の血流量測定、カメラ画像を用いた学習者の顔の向きの測定、マイクロフォンと音声認識を用いた学習者の発話内容が学習内容に沿っているか否かの判定、および学習者が学習端末に対し行った操作が学習コンテンツ内で行われたものか否かの判定などの情報から学習者の学習状況を判断するものである。
その他、類似するテキストを分類する技術として、未分類の複数テキストの中から、既存のデータベースに格納されている複数テキストと同じまたは類似する傾向を有するテキストを分類することが、特許文献6に記載されている。
特開2003−111106号公報 特開2006−254145号公報 特開2007−213282号公報 特開2005−303452号公報 特開2004−229948号公報 特開2004−005025号公報
第1の関連する技術の、情報受信対象者のプレゼンスにより情報受信対象者が情報を受信したか否かを判定する方法では、講演の聴講者が出席していても眠っている場合や、TVの視聴者がTVのスイッチを入れていてもTVのそばにいない場合などでも、情報受信対象者が情報を受信していると判定してしまう。それは、第1の関連する技術は、情報受信対象者が情報受信可能な状態にあるか否かを判定する機能を持たないからである。
第2の関連する技術の、情報受信対象者が情報受信可能な程度に意識が覚醒している度合いや集中している度合いを判定することで、情報受信対象者が情報を受信したか否かを判定する方法は、講演の聴講者が講演者の談話以外のもの(外の風景など)に集中している場合などの、情報受信対象者が発信された情報以外のものに集中している場合であっても、情報受信対象者が情報を受信していると判定してしまう。それは、第2の関連する技術は、情報受信対象者が発信された情報に注目しているか否かを判定する機能を持たないからである。
第3の関連する技術の、情報受信対象者が発信された情報に直接的に注目しているかを判定することで情報受信対象者が情報を受信したか否かを判定する方法は、情報受信対象者が語学の遠隔学習において課題文の復唱などの、情報発信者が想定した発信された情報に関する行動を、発信された情報に直接注目せずに行っている場合であっても情報受信対象者は情報を受信していないと判定してしまう。それは、第3の関連する技術は、情報受信対象者が発信された情報に注目せずに行っている行動が、情報発信者が想定した発信された情報に関する行動か否かを判定する機能を持たないからである。
第4の関連する技術の、情報受信対象者が発信された情報を受け取った際に、情報発信者が想定したような行動を行っているか否かを判定することで、情報受信対象者が情報を受信したか否かを判定する方法は、情報受信対象者が視聴しているTV番組について他の視聴者と会話する場合などの、発信された情報に関する情報発信者が想定していない行動を行っている場合であっても情報受信対象者は情報を受信していないと判定してしまう。それは、第4の関連する技術は、情報発信者が想定していない行動で情報受信対象者が行っている行動が、発信された情報に関するか否かを判定する機能を持たないからである。
また、上記第1〜第4の関連する技術は、情報受信対象者同士の発信された情報に関連する会話や、情報受信対象者が手元のコンピュータなどで行う発信された情報に関連する情報の調査などの、情報受信対象者の発信された情報に関連する行動内容が有益であった場合でも、その情報受信対象者の行動の情報を公開するよう促したり、有益な行動の発生を情報発信者や他の情報受信対象者に伝達したりすることができない。それは、第1〜第4の技術は、情報受信対象者の発信された情報に関連する行動内容が、情報発信者や他の情報受信対象者に有益であるか否かを判定する機能を持たないからである。
本発明の目的は、情報受信対象者同士の発信された情報に関連する会話や、情報受信対象者が手元のコンピュータなどで行う発信された情報に関連する情報の調査などの、情報受信対象者の発信された情報に関連する行動内容が有益であった場合には、その情報受信対象者の行動の情報を公開するよう促したり、有益な行動の発生を情報発信者や他の情報受信対象者に伝達したりすることができる意識関与度判定装置を提供することにある。
本発明の第1の観点に係る意識関与度測定装置は、
情報発信者が発信する情報を検出する発信情報検出手段と、
前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出手段と、
前記行動検出手段で検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈手段と、
前記発信情報検出手段で検出した前記情報発信者の発信する情報と、前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いである行動関連度を判定する行動関連度判定手段と、
前記行動関連度判定手段で判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定手段と、
前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定手段と、
を備えることを特徴とする。
本発明の第2の観点に係る意識関与度測定方法は、
情報発信者が発信する情報を検出する発信情報検出ステップと、
前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出ステップと、
前記行動検出ステップで検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈ステップと、
前記発信情報検出ステップで検出した前記情報発信者の発信する情報と、前記行動解釈ステップで抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いである行動関連度を判定する行動関連度判定ステップと、
前記行動関連度判定ステップで判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定ステップと、
前記行動解釈ステップで抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定ステップと、
を備えることを特徴とする。
本発明の第3の観点に係る意識関与度測定プログラムは、コンピュータを、
情報発信者が情報を発信していることを検出する情報発信検出手段と、
前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出手段と、
前記行動検出手段で検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈手段と、
前記情報発信者検出手段で検出した情報発信と、前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いである行動関連度を判定する行動関連度判定手段と、
前記行動関連度判定手段で判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定手段と、
前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定手段
として機能させることを特徴とする。
本発明によれば、有益な行動の発生を情報発信者や他の情報受信対象者に伝達したり、情報受信対象者に有益な行動内容を開示するよう催促したりすることができる。その理由は、本発明の意識関与度判定装置は、覚醒度、情報注目度、行動関連度の3つの指標および、行動検出手段から送られた情報受信対象者の行動情報、行動解釈手段から送られた情報受信対象者の行動意味情報、意識関与度判定手段により求められた情報受信対象者の意識関与度などの情報から、情報受信対象者の行動内容が情報発信者や他の情報受信対象者に有益である度合いである行動有益度を判定する行動有益度判定手段を備えるためである。
(実施の形態1)
図1は、実施の形態1に係る意識関与度測定装置の構成例を示すブロック図である。意識関与度測定装置100は、発信情報検出部1と、行動検出部2と、行動解釈部3と、意識判定部4と、発信者支援情報提示部5とから構成される。さらに、意識判定部4は、覚醒度判定部41、情報注目度判定部42、行動関連度判定部43、意識関与度判定部44から構成される。
発信情報検出部1は、情報発信者が発信する発信情報を検出し、意識判定部4に送る。行動検出部2は、情報受信対象者の画像、音声、機器の操作および生体情報の少なくとも1つを情報受信対象者の行動を表す行動情報として検出し、行動解釈部3と意識判定部4に送る。行動検出部2は、例えば情報受信対象者の画像を撮影するカメラ、情報受信対象者の音声を収録するマイクロフォン、情報受信対象者の機器操作情報を取得する手段、情報受信対象者の生体情報を取得するセンサなどから構成される。
行動解釈部3は、行動検出部2から送られた情報受信対象者の行動情報から、情報受信対象者の行動の意味を表す行動意味情報を抽出し、意識判定部4に送る。行動解釈部3は、例えば情報受信対象者の画像から情報受信対象者の注視先を検出する手段、情報受信対象者の画像や加速度情報から情報受信対象者の動作を検出する手段、情報受信対象者の音声をテキスト化する音声認識手段、情報受信対象者の音声テキストや機器への入力テキストからキーワード検出や疑問文判定を行う手段、操作情報の内容を分析する手段、生体情報を分析する手段などを備える。
覚醒度判定部41は、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の意識の覚醒の度合いである覚醒度を判定して意識関与度判定部44に送る。
情報注目度判定部42は、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者が発信情報に直接注目している度合いである情報注目度を判定して意識関与度判定部44に送る。
行動関連度判定部43は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の行動が発信情報に関連する度合いである行動関連度を判定して意識関与度判定部44に送る。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と情報注目度判定部42から送られた情報注目度と行動関連度判定部43から送られた行動関連度から情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して発信者支援情報提示部5に送る。
発信者支援情報提示部5は、意識判定部4から送られた意識関与度の情報を基に情報発信者を支援する情報を情報発信者に対して提示する。
以下に、図1の構成図および図2と図3のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。図2は図1の発信情報検出部1、行動検出部2および行動解釈部3の動作(情報検出および行動解釈)の一例を示すフローチャートである。
発信情報検出部1は、情報発信者が発信する発信情報を検出し、意識判定部4に送る(図2のステップA1)。
行動検出部2は、情報受信対象者の画像、音声、機器の操作および生体情報の少なくとも1つを情報受信対象者の行動を表す行動情報として検出し、行動解釈部3と意識判定部4に送る(ステップA2)。ステップA2の次に、行動解釈部3は、行動検出部2から送られた情報受信対象者の行動情報から、情報受信対象者の行動の意味を表す行動意味情報を抽出し、意識判定部4に送る(ステップA3)。
発信情報検出部1、行動検出部2および行動解釈部3は、以上の動作を繰り返す。なお、ステップA1と、ステップA2ないしA3はそれぞれ独立しており、並列して進めることが可能である。
図3は図1の意識判定部4と発信者支援情報提示部5の動作(情報発信者支援1)の一例を表すフローチャートである。
覚醒度判定部41は行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の意識の覚醒の度合いである覚醒度を判定する。覚醒度判定部41は、判定した覚醒度を意識関与度判定部44に送る(図3のステップB1)。
情報注目度判定部42は行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者が発信された情報に直接注目している度合いである情報注目度を判定する。情報注目度判定部42は、判定した情報注目度を意識関与度判定部44に送る(ステップB2)。
また、行動関連度判定部43は発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の行動が発信情報に関連する度合いである行動関連度を判定する。行動関連度判定部43は、判定した行動関連度を意識関与度判定部44に送る(ステップB3)。
意識関与度判定部44は、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度から、情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定する。そして、判定した意識関与度を発信者支援情報提示部5に送る(ステップB4)。
発信者支援情報提示部5は、意識判定部4から送られた情報受信対象者の意識関与度の情報を基に情報発信者を支援する情報を情報発信者に対して提示する(ステップB5)。
なお、ステップB1、ステップB2、ステップB3はそれぞれ独立しており、並列して進めることが可能である。
以上説明したように、本実施の形態の意識関与度測定装置100によれば、行動関連度判定部43が情報受信対象者の行動内容と発信された情報の関連する度合いである行動関連度を判定し、意識関与度判定部44が情報受信対象者の意識の覚醒度を表す度合いである覚醒度と情報受信対象者の発信された情報に対する直接的な注目の度合いである情報注目度に加えて前記行動関連度を用いて情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定する。そのため、情報受信対象者が情報に直接注目せずに、情報発信者が想定していない発信した情報に関連する行動を行っている場合でも、情報受信対象者の意識は発信された情報に関与していると判定する。その結果、情報受信対象者の意識関与度を正しく判定することができる。そして、その判定を基に情報発信者を支援する情報を提示することができる。
(実施の形態2)
図4は、実施の形態2に係る意識関与度測定装置100の構成例を示すブロック図である。実施の形態2では、発信された情報に対する意識関与度が低い受信対象者に対して、警告を発する。図4を参照すると、実施の形態2に係る意識関与度測定装置100は、図1の実施の形態1の構成と比べて、発信者支援情報提示部5の代わりに受信対象者警告部6を備える点で異なる。受信対象者警告部6は、意識判定部4から送られた意識関与度の情報を基に意識関与度の低い情報受信対象者に対して警告を発する。
なお、本実施の形態は実施の形態1の発信者支援情報提示部5を追加で備えていてもよい。
以下に、図4の構成図および図2と図5のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。図4の発信情報検出部1、行動検出部2および行動解釈部3の動作は、図2に示す実施の形態1の発信情報検出部1、行動検出部2および行動解釈部3の動作と同様である。
図5は図4の意識判定部4と受信対象者警告部6の動作(情報受信対象者支援1)の一例を表すフローチャートである。図5のステップB1〜B3は、図3に示す実施の形態1の意識判定部4の動作のステップB1〜B3と同様である。
意識関与度判定部44は、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度から、情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定する。そして、判定した意識関与度を受信対象者警告部6に送る(ステップB4)。
受信対象者警告部6は、意識関与度判定部44から送られた情報受信対象者の意識関与度の情報を基に意識関与度の低い情報受信対象者に対して警告を発する(ステップB6)。
以上説明したように、本実施の形態2の意識関与度測定装置100では、行動関連度判定部43が情報受信対象者の行動内容と発信された情報の関連度する度合いである行動関連度を判定し、意識関与度判定部44は、情報受信対象者の意識の覚醒度を表す度合いである覚醒度と、情報受信対象者の発信された情報に対する直接的な注目の度合いである情報注目度に加えて、行動関連度を用いて情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定する。そのため、情報受信対象者が情報に直接注目せずに、情報発信者が想定していない発信情報に関連する行動を行っている場合でも、情報受信対象者の意識は発信された情報に関与していると判定する。その結果、情報受信対象者の意識関与度を正しく判定することができる。そして、その判定を基に意識関与度の低い情報受信対象者に対し警告を発することができる。
(実施の形態3)
図6は、本発明の実施の形態3に係る意識関与度測定装置100の構成例を示すブロック図である。実施の形態3では、受信対象者が行っている有益な行動を判定する。図6を参照すると、実施の形態3の意識関与度測定装置100は、図1の実施の形態1の構成と比較して、意識判定部4が行動有益度判定部45を備え、発信者支援情報提示部5を備えず、さらに有益行動情報対発信者提示部7を備える点で異なる。
なお、本実施の形態は実施の形態1の発信者支援情報提示部5や実施の形態2の受信対象者警告部6を追加で備えていてもよい。
行動有益度判定部45は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報と、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度と、意識関与度判定部44から送られた情報受信対象者の意識関与度とから、情報受信対象者が行っている行動が情報発信者や他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する。行動有益度判定部45は、判定した行動有益度を有益行動情報対発信者提示部7に送る。
有益行動情報対発信者提示部7は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、情報受信対象者による有益な行動の発生を情報発信者に対して提示する。
行動有益度判定部45は、例えば、以下のような場合に、情報受信対象者の行動が情報発信者や他の情報受信対象者に対して有益であると判定する。
例えば、情報受信対象者が発信する情報に、情報発信者が発信する情報のキーワードが含まれ、あるキーワードについて疑問を呈しているような場合である。疑問は、「...は何か?」というように発信情報の中の用語、概念が不明である場合や、反証になるような事柄を挙げるような場合が含まれる。情報受信対象者の中に、発信情報に対する疑問を感じる人が存在することが、情報発信者または他の情報受信対象者にとって有益であり得るので、その行動を有益行動と判断する。
このような疑問は、例えば、情報受信対象者が情報端末に入力した文字列を分析して、キーワードと疑問形式を抽出することによって、検出することができる。情報端末の入力は、例えば、携帯電話によるメール、無線LANを経由したチャットなどがある。また、情報受信対象者の発する音声を入力して音声認識し、認識した文字列からキーワードと疑問形式を抽出することによって、検出することも可能である。
ある情報受信対象者が、上述の疑問に対して解説する情報などを発信している場合も、有益行動と判断することができる。この場合も、その情報受信対象者が情報端末に入力した文字列や発話した内容などからキーワードを抽出し、情報受信対象者同士の関係などから疑問に対する回答であることを検出することによって、判断できる。
また例えば、情報受信対象者が情報端末などを用いて、発信情報に含まれるキーワードに関連する情報検索を行っている場合が挙げられる。情報検索しているということは、その情報受信対象者が疑問を持っていることを暗示し、また、検索した内容が情報発信者や他の情報受信対象者にとって有益であり得る。情報検索は、例えば、携帯電話または無線LANなどを経由して、インターネットの検索エンジンにアクセスしていることによって検出できる。または、情報端末で電子辞書などを検索していることを検出してもよい。
有益行動情報対発信者提示部7は、例えば、発信情報のあるキーワードについて疑問が表出されたこと、その疑問について解説がなされたこと、または発信情報に関連して情報検索がなされたことやその検索結果などを、情報発信者に対して提示する。情報発信者に対する提示は、例えば、そばに備えられた情報端末の画面に表示したり、イヤホンなどを経由して音声などで通知することによって行う。
図7は、実施の形態3の情報発信者支援の動作の一例を示すフローチャートである。図6の発信情報検出部1、行動検出部2および行動解釈部3の動作は、図2に示す発信情報検出部1、行動検出部2および行動解釈部3の動作と同様である。
覚醒度判定部41は、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の意識の覚醒の度合いである覚醒度を判定する。覚醒度判定部41は、判定した覚醒度を意識関与度判定部44と行動有益度判定部45に送る(図7のステップC1)。
情報注目度判定部42は、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者が他者の話などの発信された情報に直接注目している度合いである情報注目度を判定する。情報注目度判定部42は、判定した情報注目度を意識関与度判定部44と行動有益度判定部45に送る(ステップC2)。
行動関連度判定部43は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報から、情報受信対象者の行動が発信された情報に関連する度合いである行動関連度を判定する。行動関連度判定部43は、判定した行動関連度を意識関与度判定部44と行動有益度判定部45に送る(ステップC3)。
意識関与度判定部44は、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度から、情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定する。意識関与度判定部44は、判定した意識関与度を行動有益度判定部45に送る(ステップC4)。
行動有益度判定部45は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報と、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度と、意識関与度判定部44から送られた情報受信対象者の意識関与度とから、情報受信対象者が行っている行動が情報発信者や他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する。行動有益度判定部45は、判定した行動有益度を有益行動情報対発信者提示部7に送る(ステップC5)。
有益行動情報対発信者提示部7は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、上述のように発信情報のあるキーワードについて疑問が表出されたこと、その疑問について解説がなされたこと、または発信情報に関連して情報検索がなされたことやその検索結果などの、情報受信対象者による有益な行動の発生を情報発信者に対して提示する(ステップC6)。
なお、ステップC1、ステップC2、ステップC3はそれぞれ独立しており、並列して進めることが可能である。
以上説明したように、本実施の形態3の意識関与度測定装置100では、行動有益度判定部45が、覚醒度、情報注目度、行動関連度の3つの指標および、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報、意識関与度判定部44により求められた情報受信対象者の意識関与度などの情報から、情報受信対象者の行動内容が情報発信者や他の情報受信対象者に有益である度合いである行動有益度を判定する。そのため、情報受信対象者による有益な行動の発生を情報発信者に伝達することができる。
(実施の形態4)
図8は、本発明の実施の形態4に係る意識関与度測定装置100の構成例を示すブロック図である。実施の形態4では、情報受信対象者が行っている有益な行動の発生を、情報受信対象者に提示する。図8を参照すると、実施の形態4の意識関与度測定装置100は、図6の構成と比べて、有益行動情報対発信者提示部7の代わりに有益行動情報対受信対象者提示部8を備える点で異なる。
有益行動情報対受信対象者提示部8は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、情報受信対象者による有益な行動の発生を情報受信対象者に対して提示する。情報受信対象者に有益な行動は、実施の形態3で説明したものと同様である。
なお、本実施の形態は実施の形態1の発信者支援情報提示部5や実施の形態2の受信対象者警告部6、第3の形態の有益行動情報対発信者提示部7を追加で備えていてもよい。
以下に、図8の構成図および図2と図9のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。本形態の図8の発信情報検出部1、行動検出部2および行動解釈部3の動作は、図2に示す第1の形態の発信情報検出部1、行動検出部2および行動解釈部3の動作と同様である。
図9は図8の意識判定部4と有益行動情報対受信対象者提示部8の動作(情報受信対象者支援2)を表すフローチャートである。図9のステップC1〜C4は図7に示す実施の形態3の意識判定部4の動作のステップC1〜C4と同様である。
行動有益度判定部45は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報と、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度と、意識関与度判定部44から送られた情報受信対象者の意識関与度とから、情報受信対象者が行っている行動が情報発信者や他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する。行動有益度判定部45は、判定した行動有益度を有益行動情報対受信対象者提示部8に送る(ステップC5)。
有益行動情報対受信対象者提示部8は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、情報受信対象者による有益な行動の発生を他の情報受信対象者に対して提示する(ステップC7)。
以上説明したように、本実施の形態4の意識関与度測定装置100では、行動有益度判定部45が、覚醒度、情報注目度、行動関連度の3つの指標および、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報、意識関与度判定部44により求められた情報受信対象者の意識関与度などの情報から、情報受信対象者の行動内容が情報発信者や他の情報受信対象者に有益である度合いである行動有益度を判定する。そのため、情報受信対象者による有益な行動の発生を他の情報受信対象者に伝達することができる。
(実施の形態5)
図10は、本発明の実施の形態5に係る意識関与度測定装置100の構成例を示すブロック図である。実施の形態5では、情報受信対象者が行っている有益な行動を公開するよう促す情報を、情報受信対象者に対して提示する。図10を参照すると、実施の形態5の意識関与度測定装置100は、図6の構成と比べて、有益行動情報対発信者提示部7の代わりに有益行動情報公開催促部9を備える点で異なる。
有益行動情報公開催促部9は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、有益な行動を発生させた情報受信対象者に対して、その有益な行動の内容を情報発信者や他の情報受信対象者に公開することを促す情報を表示する。
なお、本実施の形態は実施の形態1の発信者支援情報提示部5や実施の形態2の受信対象者警告部6、実施の形態3の有益行動情報対発信者提示部7、または実施の形態4の有益行動情報対受信対象者提示部8を追加で備えていてもよい。
以下に、図10の構成図および図2と図11のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。図10の発信情報検出部1、行動検出部2および行動解釈部3の動作は、図2に示す第1の形態の発信情報検出部1、行動検出部2および行動解釈部3の動作と同様である。
図11は図10の意識判定部と有益行動情報公開催促部9の動作(情報受信対象者支援3)の一例を表すフローチャートである。図11ステップC1〜C4は図7に示す第3の形態の意識判定部4の動作のステップC1〜C4と同様である。
行動有益度判定部45は、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報と、覚醒度判定部41から送られた情報受信対象者の覚醒度と、情報注目度判定部42から送られた情報受信対象者の情報注目度と、行動関連度判定部43から送られた情報受信対象者の行動関連度と、意識関与度判定部44から送られた情報受信対象者の意識関与度とから、情報受信対象者が行っている行動が情報発信者や他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する。行動有益度の判定は、実施の形態3で説明したものと同様である。行動有益度判定部45は、判定した行動有益度を有益行動情報公開催促部9に送る(ステップC5)。
有益行動情報公開催促部9は、行動有益度判定部45から送られた情報受信対象者の行動有益度の情報を基に、有益な行動を発生させた情報受信対象者に対して、その有益な行動の情報を情報発信者や他の情報受信対象者に公開するよう催促する(ステップC8)。
以上説明したように、本実施の形態5の意識関与度測定装置100では、行動有益度判定部45が、覚醒度、情報注目度、行動関連度の3つの指標および、発信情報検出部1から送られた情報発信者が発信した発信情報と、行動検出部2から送られた情報受信対象者の行動情報と、行動解釈部3から送られた情報受信対象者の行動意味情報、意識関与度判定部44により求められた情報受信対象者の意識関与度などの情報から、情報受信対象者の行動内容が情報発信者や他の情報受信対象者に有益である度合いを表す行動有益度を判定する。そのため、有益な行動を発生させた情報受信対象者に対し、その有益な行動の情報を情報発信者や他の情報受信対象者に公開するよう催促することができる。
(具体例1)
以下に、具体的な例を用いて本発明の実施の形態の動作を説明する。図12は具体例1の使用状況を示す図である。具体例1は本発明の実施の形態1を講演会場で使用した場合の具体的な動作例である。具体例1においては、情報発信者は講演を行っている講演者であり、情報受信対象者は講演を聴いている聴講者である。
具体例1において、図1の発信情報検出部1は講演者の発生する音声を収録するマイクロフォンA、およびそれを音声認識してテキスト化しキーワードを抽出する手段である。図1の行動検出部2は聴講者の画像を収録するカメラ、聴講者が発生する音声を収録するマイクロフォンB、聴講者の生体情報として聴講者の脈拍と体温を取得するセンサおよび聴講者が操作するノートパソコンの操作を逐次取得するプログラムである。図1の行動解釈部3は聴講者の画像から聴講者の注視先を認識する手段、および聴講者の音声を認識してテキスト化しそこからキーワードを抽出する手段である。発信者支援情報提示部5は講演者に向けて準備されている画面であるとする。
図1の覚醒度判定部41は、例えば、聴講者の脈拍と体温の値が一定以上であるか否かで聴講者の覚醒度を判定する。
図1の情報注目度判定部42は、例えば、聴講者の視線が講演者の方を向いているか否かで聴講者の情報注目度を判定する。
図1の行動関連度判定部43は、例えば、聴講者がノートパソコンで行った操作により開かれたファイル中のテキストに含まれる講演内容のキーワードの量と聴講者の発話に含まれる講演内容のキーワードの量から聴講者の行動関連度を判定する。
図1の意識関与度判定部44は覚醒度と情報注目度と行動関連度の総和から聴講者の意識関与度を判定する。
なお、具体例1においては、行動検出部2および行動解釈部3は各聴講者に対して用意されている。
具体例1において、発信情報検出部1は聴講者の発生する音声をマイクロフォンAから取得し、キーワードを検出して意識判定部4に送る(図2のステップA1)。
行動検出部2はカメラから聴講者の画像を、マイクロフォンBから聴講者の発生する音声を、センサから聴講者の脈拍と体温を、ノートパソコンから聴講者の操作情報をそれぞれ取得し、聴講者の行動情報として行動解釈部3と意識判定部4へ送る(ステップA2)。
行動解釈部3は、行動検出部2から送られた聴講者の行動情報を受け取り、聴講者の画像から聴講者の注視先を、聴講者の発生する音声からキーワードをそれぞれ検出して聴講者の行動意味情報として意識判定部4へ送る(ステップA3)。
なお、本具体例においてもステップA1、ステップA2〜A3はそれぞれ独立しており、並列して進めることが可能である。
覚醒度判定部41は行動検出部2から送られた聴講者の行動情報と、行動解釈部3から送られた聴講者の行動意味情報とを受け取り、聴講者の脈拍と体温の値が一定以上であるか否かで情報受信対象者の意識の覚醒の度合いである聴講者の覚醒度を判定して意識関与度判定部44に送る(図3のステップB1)。
情報注目度判定部42は行動検出部2から送られた聴講者の行動情報と、行動解釈部3から送られた聴講者の行動意味情報とを受け取り、聴講者の視線が講演者の方を向いているか否かで聴講者が発信された情報に直接注目している度合いである情報注目度を判定して意識関与度判定部44に送る(ステップB2)。
行動関連度判定部43は発信情報検出部1から送られた講演者が発信した発信情報と、行動検出部2から送られた聴講者の行動情報と、行動解釈部3から送られた聴講者の行動意味情報とを受け取り、聴講者がノートパソコンで行った操作により開かれたファイル中のテキストに含まれる講演内容のキーワードの量と聴講者の発話に含まれる講演内容のキーワードの量から情報受信対象者の行動が発信された情報に関連する度合いである行動関連度を判定して意識関与度判定部44に送る(ステップB3)。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と、情報注目度判定部42から送られた情報注目度と、行動関連度判定部43から送られた行動関連度を受け取り、覚醒度と情報注目度と行動関連度の総和から聴講者の意識が講演に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して発信者支援情報提示部5に送る(ステップB4)。
発信者支援情報提示部5は、意識判定部4から送られた聴講者の意識関与度の情報を基に講演者を支援する情報を講演者に対して提示する(ステップB5)。
図13は具体例1の発信者支援情報提示部5である画面の表示例を示したものである。ここでは、発信者支援情報として意識関与度が低下した聴講者を、カメラで撮影した画像を用いて表示している。
なお、具体例1においても、ステップB1、ステップB2、ステップB3はそれぞれ独立しており、並列して進めることが可能である。
本具体例では、聴講者がノートパソコンで行った操作により開かれたファイル中のテキストに含まれる講演内容のキーワードの量と、聴講者の発話に含まれる講演内容のキーワードの量から、聴講者の行動が講演内容に関連する度合いである行動関連度を判定し、意識関与度判定部が覚醒度と情報注目度に加えて前記行動関連度を用いて聴講者の意識が講演内容に関与しているかどうかを総合的に判断する度合いである意識関与度を判定するように構成されている。そのため、聴講者が講演者に直接注目せずに講演内容に関連する会話やノートパソコンを用いた講演内容に関する情報の調査などの、講演内容に関連していても講演者が想定していない行動を行っている場合でも、聴講者の意識は発信された情報に関与していると判定し、その判定を基に講演者を支援する情報を提示することができる。
本具体例における行動情報検出部2が生体情報を取得するためのセンサとしては、以下のような情報を取得するセンサを用いてもよい。
- 呼吸、心電、筋電、脳波、血流、脈拍、瞳孔、体温、姿勢(画像、加速度センサ、圧力センサ等で取得)
本具体例における覚醒度判定部41は、以下のような基準で覚醒度の判定を行ってもよい。
- 眠っていないか:呼吸、心電、筋電、瞳孔、脳波、脈拍、体温等の情報を基に判定
- うつ伏せになっていないか:注視先や姿勢等の情報を基に判定
- 頭は働いているか:脳波等の情報を基に判定
本具体例における情報注目度判定部42は、以下のような基準で情報注目度の判定を行ってもよい。
- 話者やスライドを注視しているか:注視先、操作情報(遠隔講演の場合)等の情報を基に判定
- 話をしていないか(静聴しているか):発話等の情報を基に判定
- 生体情報が話者の話のリズムと同調しているか:呼吸、筋電等の情報を基に判定
- 配布資料(会議のために準備されたコンテンツ)を見ているか:注視先、操作情報等の情報を基に判定
本具体例における行動関連度判定部43は、以下のような基準で行動関連度の判定を行ってもよい。
- 注視先の情報受信対象者の意識関与度が高い:注視先等の情報を基に判定
- 発話内容に講演の話題との関連キーワードが頻出:発話等の情報を基に判定
キーワードはオフラインであらかじめ決めたものでもリアルタイムの講演内容から取得したものを用いてもよい。
- 発話の形態が質問かどうか:発話等の情報を基に判定
- 発話内容に会議の主要参加者のプロフィールとの関連キーワードが頻出:発話等の情報を基に判定
- 講演との関連度が高いアプリケーションの使用:操作情報等の情報を基に判定
アプリケーションの関連度はオフラインであらかじめ決めておく。
- 講演との関連度が高いファイルの使用:操作情報等の情報を基に判定
ファイルの関連度の例としてはオフラインで決められたファイルにあらかじめ関連度を振る、ファイルに含まれる講演内容のキーワード量を用いる、などが挙げられる。
- 会議参加者のキーボードによる入力語彙:操作情報等の情報を基に判定
会議のメモをとっている場合などが挙げられる。
本具体例における意識関与度判定部44は以下のような基準に基づき意識関与度の判定を行ってもよい。
- 覚醒度が低い場合はそもそも頭が働いていないので意識関与度は低く判定する
- 覚醒度が充分高くても情報注目度、行動関連度が共に低い場合は意識が講演以外のことに向いているので意識関与度は低く判定する
- 覚醒度が充分高く、情報注目度も高い場合は講演者やスライドに意識が向いているので意識関与度は高く判定する
- 覚醒度が充分高くて情報注目度が低いが、行動関連度が高い場合は、講演者・スライドに注目しておらずとも講演と関係ある行動を行っているので意識関与度は高く判定する
- 覚醒度が充分高くて情報注目度が低いが、行動関連度が高い状態が長く続く場合は、講演と関係ある行動を行っていても講演に対する意識が徐々に低下していっているとも考えられるので、意識関与度が徐々に低下していったように判定する。
本具体例における発信者支援情報提示部5は、以下のような情報の提示を行ってもよい。
- 各聴講者の覚醒度、情報注目度、行動関連度、意識関与度
それらの各パラメータ表示形式の例として、数字表示や各種グラフ表示(折れ線グラフ、棒グラフ等)などが挙げられる。
表示は全聴講者について行ってもよいし、講演者が指定した特定の聴講者やこれらのパラメータが特定のパターンを示す聴講者(特定のパラメータが著しく低下している者等)に絞って行ってもよい。
- 休憩を入れる、話題を変える等の具体的な講演者に対する行動指示
講演者の各パラメータを過去の講演時のものと照合するなどし、最適と思われる行動を勧める等を行う。
- 聴講者の多数の意識関与度が低下した際に講演者に簡単な警告を表示
本具体例における発信者支援情報提示部5は、以下のような手段で情報の提示を行ってもよい。
- スピーカー等による音声による提示
- 画面による画像やテキストを用いた提示
- サイレン、ベル、ビープ音、ランプ等による警告的な表示
(具体例2)
具体例2は本発明の実施の形態2を遠隔学習で使用した場合の具体的な動作例である。具体例2においては、情報発信者は遠隔学習の教師であり、情報受信対象者は遠隔学習の学習者である。
具体例2において、図4の発信情報検出部1は、教師の発生する音声を収録するマイクロフォンA、教師の音声および教師が教師用端末により学習者へと発信する学習用資料からキーワードを検出する手段から構成されるとする。
図4の行動検出部2は、学習者の様子を収めているカメラ、学習者が発生する音声を収録するマイクロフォンB、学習者が操作する学習端末の操作を逐次取得するプログラム、学習者の生体情報として学習者の脳波を取得するセンサから構成されるとする。
図4の行動解釈部3は、学習者の画像から学習者の注視先を認識する手段、学習者の音声からキーワードを検出する手段、学習者の操作情報から学習者の操作内容が学習コンテンツ内で行われているか否かの判定を行う手段から構成されるとする。
図4の受信対象者警告部6は学習者が使用している学習端末であるとする。
また、図4の覚醒度判定部41は、学習者の脳波が一定以上に活発か否かで学習者の覚醒度を判定する。
図4の情報注目度判定部42は、学習者の視線が学習端末の方を向いているか否かおよび一定以上の音声を発していないかで学習者の情報注目度を判定する。
図4の行動関連度判定部43は、学習者が学習端末で行った操作により入力されたテキストに含まれる学習内容のキーワードの量から学習者の行動関連度を判定する。
図4の意識関与度判定部44は覚醒度と情報注目度と行動関連度の総和から聴講者の意識関与度を判定する。
受信対象者警告部6は意識関与度の低下している学習者に対し、もっと集中して学習するよう警告メッセージを表示する。
なお、具体例2においては、行動検出部2および行動解釈部3および受信対象者警告部6は各学習者に対して用意されている。
図14は具体例2の使用状況を示す図である。具体例2において、発信情報検出部1は、マイクロフォンBから教師の発話内容を、教師用端末から学習用資料をそれぞれ取得して、それぞれから学習内容のキーワードを取得し意識判定部4に送る(図2のステップA1)。
行動検出部2は、カメラから学習者の画像を、マイクロフォンBから学習者の発生する音声を、学習端末から学習者による捜査の情報を、センサから学習者の脳波をそれぞれ取得し、行動情報として行動解釈部3と意識判定部4に送る(ステップA2)。
行動解釈部3は、学習者の画像から学習者の注視先を、学習者の音声からキーワードを、学習者の操作情報から学習者の操作内容が学習コンテンツ内で行われているか否かの判定結果をそれぞれ取得し、行動意味情報として行動解釈部4と意識判定部4に送る(ステップA3)。
なお、具体例2においてもステップA1、ステップA2〜A3はそれぞれ独立しており、並列して進めることが可能である。
覚醒度判定部41は行動検出部2から送られた学習者の行動情報と、行動解釈部3から送られた学習者の行動意味情報とを受け取り、学習者の脳波が一定以上に活発か否かで意識の覚醒の度合いである学習者の覚醒度を判定して意識関与度判定部4に送る(図5のステップB1)。
情報注目度判定部42は行動検出部2から送られた学習者の行動情報と、行動解釈部3から送られた学習者の行動意味情報とを受け取り、学習者の視線が学習端末の方を向いているか否かおよび一定以上の音声を発していないかで学習者が発信された情報に直接注目している度合いである情報注目度を判定して意識関与度判定部4に送る(ステップB2)。
行動関連度判定部43は発信情報検出部1から送られた教師が発信した発信情報と、行動検出部2から送られた学習者の行動情報と、行動解釈部3から送られた学習者の行動意味情報とを受け取り、学習者が学習端末で行った操作により入力されたテキストに含まれる学習内容のキーワードの量から情報受信対象者の行動が発信された情報に関連する度合いである行動関連度を判定して意識関与度判定部44に送る(ステップB3)。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と情報注目度判定部42から送られた情報注目度と行動関連度判定部43から送られた行動関連度を受け取り、覚醒度と情報注目度と行動関連度の総和から情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して受信対象者警告部6に送る(ステップB4)。
受信対象者警告部6は意識判定部4から送られた意識関与度の情報を基に、意識関与度の低下している学習者に対し、もっと集中して学習するよう警告メッセージを表示する(ステップB6)。
なお、具体例2においても、ステップB1、ステップB2、ステップB3はそれぞれ独立しており、並列して進めることが可能である。
具体例2の行動検出部1、行動解釈部2、覚醒度判定部41、情報注目度判定部42、行動関連度判定部43、意識関与度判定部44としては、具体例1の説明で列挙したようなバリエーションを考慮してもよい。
本具体例における受信対象者警告部6は、以下のような情報の提示をもって情報受信対象者に警告を行ってもよい。
- 学習内容に集中するような単純な警告
- 情報受信対象者自身の覚醒度、情報注目度、行動関連度、意識関与度の各パラメータ
表示形式の例として、数字表示や各種グラフ表示(折れ線グラフ、棒グラフ等)などが挙げられる。
- 休憩を入れる、学習課題を変える等の具体的な学習者に対する行動指示
学習者の各パラメータを過去の学習時のものと照合するなどし、最適と思われる行動を勧める等が挙げられる。
本具体例における受信対象者警告部6は、以下のような手段で情報受信対象者に警告を行ってもよい。
- スピーカー等による音声による提示
- 画面による画像やテキストを用いた提示
- サイレン、ベル、ビープ音、ランプ等による警告的な表示
(具体例3)
具体例3は本発明の実施の形態3をTVによる番組視聴で使用した場合の具体的な動作例である。具体例3においては、情報発信者は番組製作者であり、情報受信対象者は番組の視聴者である。
具体例3において、図6の発信情報検出部1は、番組の音声を認識してキーワードを検出する手段および番組制作者が手動で番組のキーワードを入力する手段から構成されるとする。
図6の行動検出部2は、視聴者の様子を収めているカメラ、視聴者が発生する音声を収録するマイクロフォン、視聴者が操作するリモコンの操作を逐次取得するプログラム、視聴者の生体情報として視聴者の心拍と視聴位置を取得するセンサから構成されるとする。
図6の行動解釈部3は、視聴者の画像から視聴者の注視先を検出する手段、視聴者の発生する音声を認識しキーワードおよび「好き」「良い」「悪い」などの番組内容を評価する語の検出を行う手段、視聴者の視聴位置がTVから近いか否か判定する手段から構成されるとする。
有益行動情報対発信者提示部7は番組制作者向けの情報表示画面であるとする。
図6の覚醒度判定部41は、視聴者の心拍が一定以上に活発か否かおよび視聴者のテレビからの距離が一定以内であるか否かで学習者の覚醒度を判定する。
図6の情報注目度判定部42は、視聴者の視線がテレビの方を向いているか否かで視聴者の情報注目度を判定する。
図6の行動関連度判定部43は、視聴者の発話テキストに含まれる番組内容のキーワードの量から視聴者の行動関連度を判定する。
図6の意識関与度判定部44は覚醒度と情報注目度と行動関連度の総和から視聴者の意識関与度を判定する。
図6の行動有益度判定部45は、視聴者の意識関与度と行動関連度および、視聴者の発話テキストに「好き」「良い」「悪い」などの番組内容を評価する語が出現するか否かで視聴者の行動有益度を判定する。
図6の有益行動情報対発信者提示部7は、番組制作者に行動有益度が高いと判定された視聴者とその視聴者が発した番組評価の発言を提示する。
なお、具体例3においても、行動検出部2および行動解釈部3は各視聴者に対して用意されている。
図15は具体例3の使用状況を示す図である。具体例3において、発信情報検出部1は、番組の音声認識結果および番組制作者による手動入力から番組内容のキーワードを取得し、意識判定部4に送る(図2のステップA1)。
行動検出部2は、カメラから視聴者の画像、マイクロフォンから視聴者が発生する音声、リモコンから視聴者が操作情報、センサから視聴者の生体情報として視聴者の心拍と視聴位置をそれぞれ取得して視聴者の行動情報として行動解釈部3および意識判定部4に送る(ステップA2)。
行動解釈部3は、視聴者の画像から視聴者の注視先を、視聴者の発生する音声を認識しキーワードおよび「好き」「良い」「悪い」などの番組内容を評価する語を、視聴者の視聴位置がTVから近いか否か判定結果をそれぞれ取得して視聴者の行動意味情報として意識判定部4に送る(ステップA3)。
なお、具体例3においてもステップA1、ステップA2〜A3はそれぞれ独立しており、並列して進めることが可能である。
覚醒度判定部41は行動検出部2から送られた視聴者の行動情報と、行動解釈部3から送られた視聴者の行動意味情報とを受け取り、視聴者の心拍が一定以上に活発か否かおよび視聴者のテレビからの距離が一定以内であるか否かで意識の覚醒の度合いである学習者の覚醒度を判定して意識関与度判定部44と行動有益度判定部45に送る(図7のステップC1)。
情報注目度判定部42は行動検出部2から送られた視聴者の行動情報と、行動解釈部3から送られた視聴者の行動意味情報とを受け取り、視聴者の視線がテレビの方を向いているか否かで視聴者が発信された情報に直接注目している度合いである情報注目度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC2)。
行動関連度判定部43は発信情報検出部1から送られた番組製作者が発信した発信情報と、行動検出部2から送られた視聴者の行動情報と、行動解釈部3から送られた視聴者の行動意味情報とを受け取り、視聴者の発話テキストに含まれる番組内容のキーワードの量から情報受信対象者の行動が発信された情報に関連する度合いである行動関連度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC3)。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と情報注目度判定部42から送られた情報注目度と行動関連度判定部43から送られた行動関連度を受け取り、覚醒度と情報注目度と行動関連度の総和から情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して行動有益度判定部45に送る(ステップC4)。
行動有益度判定部45は、視聴者の意識関与度と行動関連度および、視聴者の発話テキストに「好き」「良い」「悪い」などの番組内容を評価する語が出現するか否かで視聴者の行動有益度を判定し有益行動情報対発信者提示部7に送る(ステップC5)。
有益行動情報対発信者提示部7は、番組制作者に行動有益度が高いと判定された視聴者とその視聴者が発した番組評価の発言を提示する(ステップC6)。
図16は具体例3における有益行動情報対発信者提示部7である情報表示画面の表示例である。ここでは、有益行動情報対発信者提示部7は有益行動を行った視聴者のリストをカメラで撮影した画像を用いて表示し、その下に視聴者が発した発言中のキーワードと番組内容を評価する語を表示している。
なお、具体例3においても、ステップC1、ステップC2、ステップC3はそれぞれ独立しており、並列して進めることが可能である。
なお、本具体例の行動検出部2、覚醒度判定部41、情報注目度判定部42、行動関連度判定部43、意識関与度判定部44としては、具体例1および具体例2の説明で列挙したようなバリエーションを考慮してもよい。
本具体例の行動有益度判定部45は以下のような基準で行動有益度の判定を行ってもよい。
- 関連行動の長時間の継続
(情報注目度は低くとも)行動関連度の高い状態が長時間続いた場合、またはPC(パーソナルコンピュータ)などでの関連話題の調査や会議参加者同士のローカルな討議などが長引いた場合
- 新規トピックの出現
会話や操作で、発信された情報に未だ現れていないトピックが新規に出現した場合
- 新たな質問
視聴者同士や視聴者が視聴者場所で行っている質疑の情報が発生した場合
有益行動情報対発信者提示部7は、情報発信者に以下のような情報を提示してもよい。
- 行動有益度が高い情報の内容
画像や音声、テキストで行動有益度が高い情報を提示してもよいし、行動全体を提示してもよいし新規出現部分などの特に行動有益度が高い部分のみを提示してもよい。
- 行動有益度が高い情報の発生
上記のように内容を伝達せずとも、メッセージやランプ、ビープ音などで有益度の高い行動が発生したことだけを伝達してもよい(どの視聴者が発声させたかも伝達してもしなくてもよい)。
(具体例4)
具体例4は本発明の実施の形態4を遠隔会議で使用した場合の具体的な動作例である。具体例4においては、情報発信者は発言を行っている会議参加者であり、情報受信対象者は他の会議参加者である。
具体例4において、図8の発信情報検出部1は発言者の発生する音声を収録するマイクロフォンAおよび発言者の音声を認識してキーワードを検出する手段と発言者の遠隔会議端末への入力テキストからキーワードを検出する手段から構成されるとする。
図8の行動検出部2は会議参加者の様子を収めているカメラ、会議参加者が発生する音声を収録するマイクロフォンB、会議参加者が操作する遠隔会議端末の操作を逐次取得するプログラム、会議参加者の生体情報として会議参加者の脈拍を取得するセンサから構成されるとする。
図8の行動解釈部3は会議参加者の画像から会議参加者の注視先を検出する手段、会議参加者の発生する音声からキーワードを検出する手段、会議参加者の遠隔会議端末への入力テキストからキーワードを検出する手段、会議参加者の音声および遠隔会議端末への入力テキストに新規質問事項が含まれるか否か判定する手段から構成されるとする。
有益行動情報対受信対象者提示部8は会議参加者が使用している遠隔会議端末の画面であるとする。
また、図8の覚醒度判定部41は、会議参加者の脈拍が一定以上に活発か否かで会議参加者の覚醒度を判定する。
図8の情報注目度判定部42は、会議参加者の視線が遠隔会議端末の画面中の発言者の画像の方を向いているか否かで会議参加者の情報注目度を判定する。
図8の行動関連度判定部43は、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに含まれる会議内容のキーワードの量から会議参加者の行動関連度を判定する。
図8の意識関与度判定部44は覚醒度と情報注目度と行動関連度の総和から会議参加者の意識関与度を判定する。
図8の行動有益度判定部45は、会議参加者の意識関与度と行動関連度および、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに会議に関する新規質問事項が含まれるか否かで視聴者の行動有益度を判定する。
図8の有益行動情報対受信対象者提示部8は、会議参加者全員に行動有益度が高いと判定された会議参加者とその会議参加者が発した新規質問事項の内容を提示する。
なお、本具体例においては、行動検出部2および行動解釈部3と有益行動情報対受信対象者提示部8は各会議参加者に対して用意されている。
図17は具体例4の使用状況を示す図である。具体例4において、発信情報検出部1は、発言者の音声と遠隔会議端末への入力テキストからキーワードを検出し意識判定部4に送る(図2のステップA1)。
行動検出部2はカメラから会議参加者の画像を、マイクロフォンBから会議参加者が発生する音声を、遠隔会議端末から会議参加者が操作情報を、センサから生体情報として会議参加者の脈拍をそれぞれ取得し会議参加者の行動情報として行動解釈部3と意識判定部4に送る(ステップA2)。
行動解釈部3は、会議参加者の画像から会議参加者の注視先を、会議参加者の発生する音声および会議参加者の遠隔会議端末への入力テキストからキーワードを、会議参加者の音声および遠隔会議端末への入力テキストから新規質問事項が含まれるか否かの判定結果をそれぞれ検出し、会議参加者の行動意味情報として意識判定部4に送る(ステップA3)
なお、具体例4においてもステップA1、ステップA2〜A3、はそれぞれ独立しており、並列して進めることが可能である。
覚醒度判定部41は行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の心拍が一定以上に活発か否かで意識の覚醒の度合いである会議参加者の覚醒度を判定して、意識関与度判定部44と行動有益度判定部45に送る。(図9のステップC1)。
情報注目度判定部42は行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の視線が遠隔会議端末の画面中の発言者の画像の方を向いているか否かで会議参加者が発信された情報に直接注目している度合いである情報注目度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC2)。
行動関連度判定部43は発信情報検出部1から送られた発言者が発信した発信情報と、行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに含まれる会議内容のキーワードの量から会議参加者の行動が発信された情報に関連する度合いである行動関連度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC3)。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と情報注目度判定部42から送られた情報注目度と行動関連度判定部43から送られた行動関連度を受け取り、覚醒度と情報注目度と行動関連度の総和から情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して行動有益度判定部45に送る(ステップC4)。
行動有益度判定部45は、会議参加者の意識関与度と行動関連度および、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに会議に関する新規質問事項が含まれるか否かで視聴者の行動有益度を判定し有益行動対受信対象者提示部8に送る。(ステップC5)。
有益行動情報対受信対象者提示部8は、会議参加者全員に行動有益度が高いと判定された会議参加者とその会議参加者が発した新規質問事項の内容を提示する(ステップC7)。
図18は具体例4における有益行動情報対受信対象者提示部8である遠隔会議端末の画面の表示例である。ここでは、有益行動情報対受信対象者提示部8は有益行動を行った会議参加者のリストをカメラで撮影した画像を用いて表示し、その下に会議参加者が発した新規質問事項を表示している。
なお、具体例4においても、ステップC1、ステップC2、ステップC3はそれぞれ独立しており、並列して進めることが可能である。
なお、本具体例の行動検出部2、覚醒度判定部41、情報注目度判定部42、行動関連度判定部43、意識関与度判定部44としては、具体例1ないし具体例3の説明で列挙したようなバリエーションを考慮してもよい。
本具体例の行動有益度判定部45は具体例3のようなバリエーションを考慮してもよい。有益行動情報対受信対象者提示部8は、具体例3の有益行動情報対発信者提示部7のようなバリエーションを考慮してもよい。
(具体例5)
具体例5は本発明の実施の形態5を遠隔会議で使用した場合の具体的な動作例である。具体例5においては、情報発信者は発言を行っている会議参加者であり、情報受信対象者は他の会議参加者である。
具体例5において、図10の発信情報検出部1は発言者の発生する音声を収録するマイクロフォンAおよび発言者の音声を認識してキーワードを検出する手段と発言者の遠隔会議端末への入力テキストからキーワードを検出する手段から構成されるとする。
図10の行動検出部2は会議参加者の様子を収めているカメラ、会議参加者が発生する音声を収録するマイクロフォンB、会議参加者が操作する遠隔会議端末の操作を逐次取得するプログラム、会議参加者の生体情報として会議参加者の脈拍を取得するセンサから構成されるとする。
図10の行動解釈部3は会議参加者の画像から会議参加者の注視先を検出する手段、会議参加者の発生する音声からキーワードを検出する手段、会議参加者の遠隔会議端末への入力テキストからキーワードを検出する手段、会議参加者の音声および遠隔会議端末への入力テキストに新規質問事項が含まれるか否か判定する手段から構成されるとする。
具体例5において、図10の有益行動情報公開催促部9は会議参加者が使用している遠隔会議端末の画面であるとする。
また、図10の覚醒度判定部41は、会議参加者の脈拍が一定以上に活発か否かで会議参加者の覚醒度を判定する。
図10の情報注目度判定部42は、会議参加者の視線が遠隔会議端末の画面中の発言者の画像の方を向いているか否かで会議参加者の情報注目度を判定する。
図10の行動関連度判定部43は、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに含まれる会議内容のキーワードの量から会議参加者の行動関連度を判定する。
図10の意識関与度判定部44は覚醒度と情報注目度と行動関連度の総和から視聴者の意識関与度を判定する。
図10の行動有益度判定部45は、会議参加者の意識関与度と行動関連度および、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに会議に関する新規質問事項が含まれるか否かで視聴者の行動有益度を判定する。
図10の有益行動情報公開催促部9は、行動有益度が高いと判定された会議参加者に、その会議参加者が行った新規質問事項を遠隔会議場で公開するよう催促するメッセージを提示する。
なお、具体例5においても、この行動検出部2および行動解釈部3および有益行動情報公開催促部9は各会議参加者に対して用意されている。
具体例5の使用状況を示す図は、具体例4と同様に図17である。具体例5において、発信情報検出部1は、発言者の音声と遠隔会議端末への入力テキストからキーワードを検出し意識判定部4に送る(図2のステップA1)。
行動検出部2はカメラから会議参加者の画像を、マイクロフォンBから会議参加者が発生する音声を、遠隔会議端末から会議参加者が操作情報を、センサから生体情報として会議参加者の脈拍をそれぞれ取得し会議参加者の行動情報として行動解釈部3と意識判定部4に送る(ステップA2)。
行動解釈部3は、会議参加者の画像から会議参加者の注視先を、会議参加者の発生する音声および会議参加者の遠隔会議端末への入力テキストからキーワードを、会議参加者の音声および遠隔会議端末への入力テキストから新規質問事項が含まれるか否かの判定結果をそれぞれ検出し、会議参加者の行動意味情報として意識判定部4に送る(ステップA3)。
なお、具体例5においてもステップA1、ステップA2〜A3、はそれぞれ独立しており、並列して進めることが可能である。
覚醒度判定部41は行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の心拍が一定以上に活発か否かで意識の覚醒の度合いである学習者の覚醒度を判定して、意識関与度判定部44と行動有益度判定部45に送る(図11のステップC1)。
情報注目度判定部42は行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の視線が遠隔会議端末の画面中の発言者の画像の方を向いているか否かで会議参加者が発信された情報に直接注目している度合いである情報注目度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC2)。
また、行動関連度判定部43は発信情報検出部1から送られた発言者が発信した発信情報と、行動検出部2から送られた会議参加者の行動情報と、行動解釈部3から送られた会議参加者の行動意味情報とを受け取り、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに含まれる会議内容のキーワードの量から会議参加者の行動が発信された情報に関連する度合いである行動関連度を判定して意識関与度判定部44と行動有益度判定部45に送る(ステップC3)。
意識関与度判定部44は、覚醒度判定部41から送られた覚醒度と情報注目度判定部42から送られた情報注目度と行動関連度判定部43から送られた行動関連度を受け取り、覚醒度と情報注目度と行動関連度の総和から情報受信対象者の意識が発信された情報に関与しているかどうかを総合的に判断する度合いである意識関与度を判定して行動有益度判定部45に送る(ステップC4)。
行動有益度判定部45は、会議参加者の意識関与度と行動関連度および、会議参加者の発話テキストおよび遠隔会議端末への入力テキストに会議に関する新規質問事項が含まれるか否かで視聴者の行動有益度を判定し、有益行動情報公開催促部9へ送る(ステップC5)。
有益行動情報公開催促部9は、行動有益度が高いと判定された会議参加者に、その会議参加者が行った新規質問事項を遠隔会議場で公開するよう催促するメッセージを提示する(ステップC8)。
なお、具体例5においても、ステップC1、ステップC2、ステップC3はそれぞれ独立しており、並列して進めることが可能である。
具体例5の行動検出部2、覚醒度判定部41、情報注目度判定部42、行動関連度判定部43、意識関与度判定部44としては、具体例1ないし具体例4の説明で列挙したようなバリエーションを考慮してもよい。また、具体例5の行動有益度判定部45は第3、4の具体例のようなバリエーションを考慮してもよい。
本具体例における有益行動情報公開催促部9は、以下のような情報の提示をもって情報受信対象者に催促を行ってもよい。
- 単純に行動情報公開催促するような単純な警告
- 情報受信対象者自身の覚醒度、情報注目度、行動関連度、意識関与度の各パラメータ
表示形式の例として、数字表示や各種グラフ表示(折れ線グラフ、棒グラフ等)などが挙げられる。
- 端末操作、電話等の具体的な情報受信対象者に対する情報公開方法指示
本具体例における有益行動情報公開催促部9は、以下のような部で情報受信対象者に警告を行ってもよい。
- スピーカー等による音声による提示
- 画面による画像やテキストを用いた提示
- サイレン、ベル、ビープ音、ランプ等による警告的な表示
図19は、図1、図4、図6、図8または図10に示す意識関与度測定装置100のハードウェア構成の一例を示すブロック図である。意識関与度測定装置100は、図19に示すように、制御部31、主記憶部32、外部記憶部33、入力部34、表示部35および送受信部36を備える。主記憶部32、外部記憶部33、入力部34、表示部35および送受信部36はいずれも内部バス30を介して制御部31に接続されている。
制御部31はCPU(Central Processing Unit)等から構成され、外部記憶部33に記憶されている意識関与度測定用プログラム500に従って、前述の意識関与度測定装置100の処理を実行する。
主記憶部32はRAM(Random-Access Memory)等から構成され、外部記憶部33に記憶されている意識関与度測定用プログラム500をロードし、制御部31の作業領域として用いられる。
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成され、前記の処理を制御部31に行わせるための意識関与度測定用プログラム500を予め記憶し、また、制御部31の指示に従って、このプログラムが記憶するデータを制御部31に供給し、制御部31から供給されたデータを記憶する。
入力部34は、呼吸、心電、筋電、脳波、血流、脈拍、瞳孔、体温、姿勢(画像、加速度センサ、圧力センサ等で取得)などの生体情報を取得するセンサ、またはカメラなどを接続して、それらの信号を入力する。制御部31は、入力部34に接続するそれらのセンサなどの信号を用いて、情報受信対象者の生体情報を取得する。入力部34はまた、マイクロフォンに接続し、アンプおよびA−D変換器を備える。入力部34は、マイクロフォンの音声信号をA−D変換し、数値演算しやすいデータにして制御部31に供給する。さらに、入力部34は、カメラに接続し、カメラの画像信号を制御部31に供給する。
表示部35は、ランプ、LED、または、CRT(Cathode Ray Tube)もしくはLCD(Liquid Crystal Display)などの画像表示部を駆動する回路を備え、それらを用いて、情報発信者または情報受信対象者への支援情報を出力する。表示部35はまた、例えば、音信号源とアンプを備える。ブザー、スピーカなどの音響出力装置を接続して、音響または音声によって情報発信者または情報受信対象者への支援情報を出力してもよい。
送受信部36は、無線送受信機、無線モデム又は網終端装置、およびそれらと接続するシリアルインタフェース又はLAN(Local Area Network)インタフェースから構成されている。送受信部36を介して、情報発信者または情報受信対象者の情報端末から操作情報を取得し、また、それらの情報端末に支援情報を表示する。
図1、図4、図6、図8または図10に示す意識関与度測定装置100の各部の処理は、意識関与度測定用プログラム500が、制御部31、主記憶部32、外部記憶部33、入力部34、表示部35および送受信部36などを資源として用いて実行する。
その他、本発明の好適な変形として、以下の構成が含まれる。
本発明の第1の観点に係る意識関与度測定装置について、
好ましくは、前記行動検出部が検出した行動情報および前記行動解釈手段が検出した行動意味情報から、前記情報受信対象者の覚醒している度合いである覚醒度を検出する覚醒度判定手段と、
前記行動検出手段が検出した行動情報および前記行動解釈手段が検出した行動意味情報から、前記情報受信対象者が前記情報発信者の発信する情報に注目している度合いである情報注目度を検出する情報注目度判定手段と、
を備え、
前記意識関与度判定手段は、前記行動関連度に加えて前記覚醒度および前記情報注目度とに基づいて、前記意識関与度を判定する、
ことを特徴とする。
好ましくは、前記意識関与度判定手段が判定した前記意識関与度に基づいて、前記情報受信対象者に関する情報を前記情報発信者に対して提示する発信者支援情報提示手段を備えることを特徴とする。
好ましくは、前記意識関与度判定手段で判定した前記意識関与度が、所定の基準より小さい前記情報受信対象者に対して、警告を表示する受信対象者警告手段を備えることを特徴とする。
好ましくは、前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報発信者に対して提示する有益行動情報対発信者提示手段を備えることを特徴とする。
好ましくは、前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報受信対象者に対して提示する有益行動情報対受信対象者提示手段を備えることを特徴とする。
好ましくは、前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動を公開するよう促す情報を、該情報受信対象者に対して表示する有益行動公開催促手段を備えることを特徴とする。
本発明の第2の観点に係る意識関与度測定方法について、
好ましくは、前記行動検出ステップで検出した行動情報および前記行動解釈ステップで検出した行動意味情報から、前記情報受信対象者の覚醒している度合いである覚醒度を検出する覚醒度判定ステップと、
前記行動検出手段が検出した行動情報および前記行動解釈ステップで検出した行動意味情報から、前記情報受信対象者が前記情報発信者の発信する情報に注目している度合いである情報注目度を検出する情報注目度判定ステップと、
を備え、
前記意識関与度判定ステップは、前記行動関連度に加えて前記覚醒度および前記情報注目度とに基づいて、前記意識関与度を判定する、
ことを特徴とする。
好ましくは、前記意識関与度判定ステップで判定した前記意識関与度に基づいて、前記情報受信対象者に関する情報を前記情報発信者に対して提示する発信者支援情報提示ステップを備えることを特徴とする。
好ましくは、前記意識関与度判定ステップで判定した前記意識関与度が、所定の基準より小さい前記情報受信対象者に対して、警告を表示する受信対象者警告ステップを備えることを特徴とする。
好ましくは、前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報発信者に対して提示する有益行動情報対発信者提示ステップを備えることを特徴とする。
好ましくは、前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報受信対象者に対して提示する有益行動情報対受信対象者提示ステップを備えることを特徴とする。
好ましくは、前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動を公開するよう促す情報を、該情報受信対象者に対して表示する有益行動公開催促ステップを備えることを特徴とする。
本発明によれば、会議への参加、講演の聴講、舞台・テレビ・PCなどによるコンテンツ視聴などの情報の発信と受信が発生する場合などに、情報の発信者と受信対象者を支援する、特に、情報受信対象者の状態を取得し、発信された情報への意識関与度を推定して、情報発信者、情報受信対象者に情報を提供するといった用途、特に情報発信者や他の情報受信対象者に有益な情報受信対象者による行動の情報を提供する用途に適用できる。
本発明の実施の形態1に係る意識関与度測定装置の構成例を示すブロック図である。 本発明の実施の形態1ないし実施の形態5の発信情報検出部と行動検出部と行動解釈部の動作を示すフローチャートである。 実施の形態1の情報発信者支援の動作の一例を示すフローチャートである。 本発明の実施の形態2に係る意識関与度測定装置の構成例を示すブロック図である。 実施の形態2の情報受信対象者支援の動作の一例を示すフローチャートである。 本発明の実施の形態3に係る意識関与度測定装置の構成例を示すブロック図である。 実施の形態3の情報発信者支援の動作の一例を示すフローチャートである。 本発明の実施の形態4に係る意識関与度測定装置の構成例を示すブロック図である。 実施の形態4の情報受信対象者支援の動作の一例を示すフローチャートである。 本発明の実施の形態5に係る意識関与度測定装置の構成例を示すブロック図である。 実施の形態5の情報受信対象者支援の動作の一例を示すフローチャートである。 本発明の具体例1の使用状況を示す図である。 具体例1の発信者支援情報提示部の表示例を示す図である。 本発明の具体例2の使用状況を示す図である。 本発明の具体例3の使用状況を示す図である。 具体例3の有益行動情報対発信者提示部の表示例を示す図である。 本発明の具体例4および具体例5の使用状況を示す図である。 具体例4の有益行動情報対受信対象者提示部の表示例を示す図である。 本発明の実施の形態に係る意識関与度測定装置のハードウェア構成の一例を示すブロック図である。
符号の説明
1 発信情報検出部
2 行動検出部
3 行動解釈部
4 意識判定部
5 発信者支援情報提示部
6 受信対象者警告部
7 有益行動情報対発信者提示部
8 有益行動情報対受信対象者提示部
9 有益行動情報公開催促部
31 制御部
32 主記憶部
33 外部記憶部
34 入力部
35 表示部
36 送受信部
41 覚醒度判定部
42 情報注目度判定部
43 行動関連度判定部
44 意識関与度判定部
45 行動有益度判定部
100 意識関与度測定装置
500 意識関与度測定用プログラム

Claims (15)

  1. 情報発信者が発信する情報を検出する発信情報検出手段と、
    前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出手段と、
    前記行動検出手段で検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈手段と、
    前記発信情報検出手段で検出した前記情報発信者の発信する情報と、前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いを判定する行動関連度判定手段と、
    前記行動関連度判定手段で判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定手段と、
    前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定手段と、
    を備えることを特徴とする意識関与度測定装置。
  2. 前記行動検出手段が検出した行動を表す情報から、前記情報受信対象者の覚醒している度合いである覚醒度を検出する覚醒度判定手段と、
    前記行動検出手段が検出した行動を表す情報から、前記情報受信対象者が前記情報発信者の発信する情報に注目している度合いである情報注目度を検出する情報注目度判定手段と、
    を備え、
    前記意識関与度判定手段は、前記行動関連度に加えて前記覚醒度および前記情報注目度とに基づいて、前記意識関与度を判定する、
    ことを特徴とする請求項1に記載の意識関与度測定装置。
  3. 前記意識関与度判定手段が判定した前記意識関与度に基づいて、前記情報受信対象者に関する情報を前記情報発信者に対して提示する発信者支援情報提示手段を備えることを特徴とする請求項1または2に記載の意識関与度測定装置。
  4. 前記意識関与度判定手段で判定した前記意識関与度が、所定の基準より小さい前記情報受信対象者に対して、警告を表示する受信対象者警告手段を備えることを特徴とする請求項1ないし3のいずれか1項に記載の意識関与度測定装置。
  5. 前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報発信者に対して提示する有益行動情報対発信者提示手段を備えることを特徴とする請求項1ないし4のいずれか1項に記載の意識関与度測定装置。
  6. 前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報受信対象者に対して提示する有益行動情報対受信対象者提示手段を備えることを特徴とする請求項5に記載の意識関与度測定装置。
  7. 前記行動有益度判定手段で判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動を公開するよう促す情報を、該情報受信対象者に対して表示する有益行動公開催促手段を備えることを特徴とする請求項5または6に記載の意識関与度測定装置。
  8. 情報発信者が発信する情報を検出する発信情報検出ステップと、
    前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出ステップと、
    前記行動検出ステップで検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈ステップと、
    前記発信情報検出ステップで検出した前記情報発信者の発信する情報と、前記行動解釈ステップで抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いを判定する行動関連度判定ステップと、
    前記行動関連度判定ステップで判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定ステップと、
    前記行動解釈ステップで抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定ステップと、
    を備えることを特徴とする意識関与度測定方法。
  9. 前記行動検出ステップで検出した行動を表す情報から、前記情報受信対象者の覚醒している度合いである覚醒度を検出する覚醒度判定ステップと、
    前記行動検出手段が検出した行動を表す情報から、前記情報受信対象者が前記情報発信者の発信する情報に注目している度合いである情報注目度を検出する情報注目度判定ステップと、
    を備え、
    前記意識関与度判定ステップは、前記行動関連度に加えて前記覚醒度および前記情報注目度とに基づいて、前記意識関与度を判定する、
    ことを特徴とする請求項8に記載の意識関与度測定方法。
  10. 前記意識関与度判定ステップで判定した前記意識関与度に基づいて、前記情報受信対象者に関する情報を前記情報発信者に対して提示する発信者支援情報提示ステップを備えることを特徴とする請求項8または9に記載の意識関与度測定方法。
  11. 前記意識関与度判定ステップで判定した前記意識関与度が、所定の基準より小さい前記情報受信対象者に対して、警告を表示する受信対象者警告ステップを備えることを特徴とする請求項8ないし10のいずれか1項に記載の意識関与度測定方法。
  12. 前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報発信者に対して提示する有益行動情報対発信者提示ステップを備えることを特徴とする請求項8ないし11のいずれか1項に記載の意識関与度測定方法。
  13. 前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動の発生を、前記情報受信対象者に対して提示する有益行動情報対受信対象者提示ステップを備えることを特徴とする請求項12に記載の意識関与度測定方法。
  14. 前記行動有益度判定ステップで判定した行動有益度が所定の範囲にある場合に、その行動有益度が判定された前記情報受信対象者による行動を公開するよう促す情報を、該情報受信対象者に対して表示する有益行動公開催促ステップを備えることを特徴とする請求項12または13に記載の意識関与度測定方法。
  15. コンピュータを、
    情報発信者が情報を発信していることを検出する情報発信検出手段と、
    前記情報発信者の発信する情報を受信しうる者である情報受信対象者の行動を表す情報を、前記情報受信対象者の画像、音声、機器の操作および生体情報のうちの少なくとも1つを含む情報を用いて検出する行動検出手段と、
    前記行動検出手段で検出した情報受信対象者の行動の意味を表す情報を抽出する行動解釈手段と、
    前記情報発信者検出手段で検出した情報発信と、前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報との関連する度合いを判定する行動関連度判定手段と、
    前記行動関連度判定手段で判定した行動関連度に基づいて、前記情報受信対象者が前記情報発信者の発信する情報を受信する度合いである意識関与度を判定する意識関与度判定手段と、
    前記行動解釈手段で抽出した前記情報受信対象者の行動の意味を表す情報が、所定の基準に照らして前記情報発信者が発信する情報に貢献する度合い、または他の情報受信対象者に対して有益である度合いを表す行動有益度を判定する行動有益度判定手段
    として機能させることを特徴とする意識関与度測定プログラム。
JP2008255821A 2008-09-30 2008-09-30 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム Pending JP2010086356A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008255821A JP2010086356A (ja) 2008-09-30 2008-09-30 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008255821A JP2010086356A (ja) 2008-09-30 2008-09-30 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム

Publications (1)

Publication Number Publication Date
JP2010086356A true JP2010086356A (ja) 2010-04-15

Family

ID=42250241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008255821A Pending JP2010086356A (ja) 2008-09-30 2008-09-30 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム

Country Status (1)

Country Link
JP (1) JP2010086356A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182431A (ja) * 2012-03-01 2013-09-12 Ricoh Co Ltd 情報処理システム、情報処理装置及びプログラム
JP2015518680A (ja) * 2012-04-04 2015-07-02 マイクロソフト コーポレーション 受動的に検知された聴衆反応に基づくメディア・プログラムの提示制御
US9788032B2 (en) 2012-05-04 2017-10-10 Microsoft Technology Licensing, Llc Determining a future portion of a currently presented media program
JP2019144636A (ja) * 2018-02-16 2019-08-29 Necソリューションイノベータ株式会社 ユーザへの適した通知情報の通知装置、通知方法、およびプログラム
US10798438B2 (en) 2011-12-09 2020-10-06 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10798438B2 (en) 2011-12-09 2020-10-06 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
JP2013182431A (ja) * 2012-03-01 2013-09-12 Ricoh Co Ltd 情報処理システム、情報処理装置及びプログラム
JP2015518680A (ja) * 2012-04-04 2015-07-02 マイクロソフト コーポレーション 受動的に検知された聴衆反応に基づくメディア・プログラムの提示制御
US9788032B2 (en) 2012-05-04 2017-10-10 Microsoft Technology Licensing, Llc Determining a future portion of a currently presented media program
JP2019144636A (ja) * 2018-02-16 2019-08-29 Necソリューションイノベータ株式会社 ユーザへの適した通知情報の通知装置、通知方法、およびプログラム
JP7031927B2 (ja) 2018-02-16 2022-03-08 Necソリューションイノベータ株式会社 ユーザへの適した通知情報の通知装置、通知方法、およびプログラム

Similar Documents

Publication Publication Date Title
US9293133B2 (en) Improving voice communication over a network
US11335322B2 (en) Learning device, learning method, voice synthesis device, and voice synthesis method
US9053096B2 (en) Language translation based on speaker-related information
WO2016178329A1 (ja) 情報処理システム、制御方法、および記憶媒体
Goetze et al. Acoustic user interfaces for ambient-assisted living technologies
Dhanjal et al. Tools and techniques of assistive technology for hearing impaired people
CN113287175A (zh) 互动式健康状态评估方法及其系统
CN115700878A (zh) 通过动态响应打断内容改进会话ai的双工通信
JP2010086356A (ja) 意識関与度測定装置、意識関与度測定方法および意識関与度測定プログラム
Alkhalifa et al. Enssat: wearable technology application for the deaf and hard of hearing
JP2024123237A (ja) 会話ベースの精神障害選別方法及びその装置
KR101719974B1 (ko) 네트워크를 이용한 감성 코칭 장치 및 방법
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
WO2022180860A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2018108284A1 (en) Audio recording device for presenting audio speech missed due to user not paying attention and method thereof
TW202022891A (zh) 互動式健康狀態評估系統及其方法
US20240094980A1 (en) Information processing apparatus, information processing system, non-transitory computer readable medium, and information processing method
WO2022180862A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180859A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180858A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180856A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180861A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180852A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180857A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP7231301B2 (ja) オンライン会議サポートシステムおよびオンライン会議サポートプログラム