JP2005124160A - 会議支援システム、情報表示装置、プログラム、及び制御方法 - Google Patents

Abstract

【課題】 本発明によれば、会議の参加者に対して、会議で話し合われていることを容易に理解させることにより、会議の進行を支援する。
【解決手段】 会議の進行を支援する会議支援システムであって、会議の発言者の視線方向を検出する発言者視線方向検出手段と、発言者が視線方向に視認する対象を撮像した画像を取得する画像取得手段と、画像取得手段により取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示手段とを備える会議支援システムを提供する。
【選択図】図１

Description

本発明は、会議支援システム、情報表示装置、プログラム、及び制御方法に関する。特に、本発明は、会議の状況を撮像した画像に基づいて会議の進行を支援する会議支援システム、情報表示装置、プログラム、及び制御方法に関する。

近年、パーソナルコンピュータ及び液晶プロジェクターの普及に伴い、発表内容をスクリーンに投影して参加者に参照させるプレゼンテーションが一般的になってきている。これにより、参加者は、発表内容を容易に理解することができる。
現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。

しかしながら、上記方法は、発表者及び発表内容が予め定められているため、複数の発言者が互いに発言し合う方式の会議には適していない。このような形式の会議であっても、発言者の発表内容を表示できれば、理解が容易になり利便である。

そこで本発明は、上記の課題を解決することのできる会議支援システム、情報表示装置、プログラム、及び制御方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、会議の進行を支援する会議支援システムであって、会議の発言者の視線方向を検出する発言者視線方向検出手段と、発言者が視線方向に視認する対象を撮像した画像を取得する画像取得手段と、画像取得手段により取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示手段とを備える会議支援システムを提供する。
また、発言者が視線方向に視認する対象を識別する対象識別情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段を更に備えてもよい。

また、発言者が視線方向に視認する対象を撮像した画像を解析することにより、発言者が視線方向に視認する会議資料を識別する資料識別情報及び会議資料のうち発言者が視認している箇所を示す資料参照箇所情報を検出する視認対象検出手段を更に備え、表示手段は、視認対象検出手段により検出された資料識別情報及び資料参照箇所情報を表示してもよい。
また、発言者の発言内容を取得する発言内容取得手段を更に備え、視認対象検出手段は、更に発言内容に含まれる単語により会議資料中の文章データを検索することにより、会議資料のうち発言者が視認している箇所を検出してもよい。
また、会議に出席している少なくとも１人の出席者の視線方向を検出する出席者視線方向検出手段と、少なくとも１人の出席者の視線方向に基づいて、会議の出席者の中から発言者を検出する発言者検出手段とを更に備えてもよい。

また、発言者が視線方向に視認する他の出席者の表情を解析することにより、当該他の出席者が発言者の発言内容に同意しているか否かを判断する同意判断手段と、当該他の出席者が発言内容に同意しているか否かを示す情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段とを更に備えてもよい。
また、同意判断手段は、更に、他の出席者の動作を解析することにより、当該他の出席者が発言者の発言内容に同意しているか否かを判断してもよい。
また、発言者の発言内容を取得する発言内容取得手段と、発言内容が、発言者から他の出席者への問いかけを示す場合に、画像取得部により取得された画像を解析することにより、発言者の視線方向の出席者が発言内容に同意したか否かを判断する同意判断手段と、当該出席者が発言内容に同意したか否かを示す情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段とを更に備えてもよい。

また、本発明の第２の形態によると、閲覧者に情報を表示する表示手段と、表示手段により表示された情報を閲覧する閲覧者の視線方向を検出する閲覧者視線方向検出手段と、表示手段により表示された情報のうち閲覧者が閲覧している閲覧部分を、視線方向に基づいて検出する閲覧部分検出手段と、閲覧部分検出手段により検出された閲覧部分を記録する記録手段とを備える情報表示装置を提供する。
また、閲覧者が閲覧を停止する場合に、記録手段は、閲覧者が閲覧を停止した時点における閲覧部分を示すしおり情報を記録し、閲覧者が閲覧を再開する場合に、表示手段は、しおり情報が示す部分から順に閲覧者に情報を表示してもよい。

また、表示手段により表示される情報は、１つのページの中に、他のページの格納位置を示すハイパーリンクを含むハイパーテキストであり、表示手段は、閲覧者が視線方向に視認する対象がハイパーリンクである場合に、当該ハイパーリンクが示す他のページを表示してもよい。
また、本発明の第３の形態によると、会議の進行を支援する会議支援システムを制御するプログラムであって、コンピュータを、会議の発言者の視線方向を検出する発言者視線方向検出手段と、発言者が視線方向に視認する対象を撮像した画像を取得する画像取得手段と、画像取得手段により取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示手段として機能させるプログラムを提供する。

また、本発明の第４の形態によると、会議の進行を支援する会議支援システムを制御する制御方法であって、会議の発言者の視線方向を検出する発言者視線方向検出段階と、発言者が視線方向に視認する対象を撮像した画像を取得する画像取得段階と、画像取得段階において取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示段階とを備える制御方法を提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、会議の参加者に対して、会議で話し合われていることを容易に理解させることにより、会議の進行を支援することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、会議支援システム１０の概略を示す。会議支援システム１０は、会議支援装置２０と、会議の会場を撮像する撮像装置３０ａ〜ｆと、会議の出席者のそれぞれに対応して設けられた表示装置４０ａ〜ｃと、発言者の音声を取得するマイク４５と、会議資料５０と、ホワイトボード５５とを備える。会議支援システム１０は、撮像装置３０ａ〜ｆにより撮像された画像に基づいて会議における発言者を検出し、発言者が視認している対象を表示装置４０ａ〜ｃに表示すると共に、議事録として記録する。これにより、出席者が会議の内容を理解することを補助すると共に、会議を円滑に進行させることを目的とする。

会議支援装置２０は、出席者視線方向検出手段２００と、発言者検出手段２１０と、発言者視線方向検出手段２２０と、画像取得手段２３０と、発言内容取得手段２４０と、視認対象検出手段２５０と、会議資料データベース２５５と、表示手段２６０と、同意判断手段２７０と、議事録作成手段２８０と、議事録データベース２９０とを有する。

出席者視線方向検出手段２００は、撮像装置３０ａ〜ｆのそれぞれが撮像した画像に基づいて、会議に出席している少なくとも１人の出席者の視線方向を検出して発言者検出手段２１０に送る。発言者検出手段２１０は、少なくとも１人の出席者の視線方向に基づいて、会議の出席者の中から発言者を検出して、検出結果を発言者視線方向検出手段２２０に送る。なお、本図において、発言者検出手段２１０により検出された発言者を、「発言者」の説明を付して示し、発言者として検出された以外の出席者を「出席者」の説明を付して示すが、発言者は予め定められているものではなく、発言者検出手段２１０により検出された者が発言者である。

発言者視線方向検出手段２２０は、発言者検出手段２１０から受け取った発言者の検出結果に基づいて、当該発言者を撮像している撮像装置３０ａ及び撮像装置３０ｂを選択する。そして、発言者視線方向検出手段２２０は、撮像装置３０ａ及び撮像装置３０ｂから、当該発言者を撮像した画像を取得する。発言者視線方向検出手段２２０は、取得した当該画像に基づいて、会議の発言者の視線方向を検出し、検出結果を画像取得手段２３０に送る。また、発言者視線方向検出手段２２０は、発言者を撮像した画像を議事録作成手段２８０に送る。

画像取得手段２３０は、発言者が視線方向に視認する対象を撮像した視認対象画像を、撮像装置３０ａ〜ｆの少なくとも１つから取得し、視認対象検出手段２５０、表示手段２６０、及び同意判断手段２７０に送る。例えば、発言者の視線方向が会議資料５０である場合には、画像取得手段２３０は、撮像装置３０ａから会議資料５０の画像を取得する。また、発言者の視線方向が会議資料５０でなく何れかの出席者である場合には、画像取得手段２３０は、その出席者を撮像した画像を、３６０度撮影可能な撮像装置３０ｆ等から取得してもよい。

発言内容取得手段２４０は、発言者の発言内容をマイク４５から取得して視認対象検出手段２５０に送る。視認対象検出手段２５０は、発言者が視線方向に視認する対象を撮像した視認対象画像を画像取得手段２３０から取得し、発言者の発言内容を発言内容取得手段２４０から取得する。視認対象検出手段２５０は、視認対象画像を解析することにより、発言者が視線方向に視認する対象を識別する対象識別情報を検出し、表示手段２６０及び議事録作成手段２８０に送る。

例えば、発言者が会議資料５０を視認している場合には、視認対象検出手段２５０は、発言者が視線方向に視認する会議資料５０を識別する資料識別情報及び会議資料５０のうち発言者が視認している箇所を示す資料参照箇所情報を、対象識別情報として検出する。また、発言者がホワイトボード５５を視認している場合には、視認対象検出手段２５０は、発言者の対象識別情報がホワイトボードである旨を検出してもよい。

処理の一例として、視認対象検出手段２５０は、発言内容取得手段２４０から取得した発言内容に含まれる単語により会議資料５０中の文章データを検索することにより、資料識別情報及び資料参照箇所情報を検出してもよい。また、視認対象検出手段２５０は、発言者が視認する会議資料５０のページ表記及び行番号を解析することにより、発言者が会議資料の何ページの何行目を視認しているかを資料参照箇所情報として検出してもよい。また、会議資料データベース２５５が予め会議資料５０を格納している場合には、視認対象検出手段２５０は、会議資料５０の見出し、タイトル、及び文章・図面の配置を解析して、会議資料データベース２５５から取得した会議資料と比較することにより、発言者が視認している会議資料の資料識別情報を検出してもよい。

表示手段２６０は、画像取得手段２３０により取得された画像、視認対象検出手段２５０から受け取った資料識別情報、視認対象検出手段２５０から受け取った資料参照箇所情報を、表示装置４０ａ〜ｃのそれぞれに表示する。同意判断手段２７０は、発言内容取得手段２４０から取得した発言内容が発言者から他の出席者への問いかけを示す場合に、画像取得手段２３０により取得された画像を解析することにより、出席者が当該発言内容に同意したか否かを示す同意状況を判断して、判断結果を議事録作成手段２８０に送る。

図２は、議事録作成手段２８０が議事録データベース２９０に格納する議事録の一例を示す。議事録作成手段２８０は、会議の進行状況の一例である時刻に、当該時刻における発言者を撮像した画像と、当該発言者が視線方向に視認していた対象を識別する対象識別情報と、当該発言者からの問いかけに対して出席者が同意したか否かを示す同意状況とを格納する。また、議事録作成手段２８０は、発言者を撮像した画像に基づいて、発言者が識別できた場合には、当該発明者の氏名を更に格納してもよい。

具体的には、議事録作成手段２８０は、１５：１０から１５：３０の時間帯において、発言者であるＸＸさんが、「議題Ａ会議資料」における１０ページの３行目から５行目を参照して発言している旨を格納している。そして、議事録作成手段２８０は、更に、このＸＸさんの発言に対して出席者が同意していた旨を格納している。

本図の例に加えて、議事録作成手段２８０は、発言内容取得手段２４０が取得した発言者の発言内容を会議の進行状況に対応付けて更に格納してもよい。また、会議の進行状況を示す情報とは、時刻又は時間帯に限定されるものではなく、予め入力された会議の進行予定を示す情報であってもよい。

図３は、会議支援システム１０が会議の進行を支援する動作フローを示す。出席者視線方向検出手段２００は、会議に出席している少なくとも１人の出席者の視線方向を検出する（Ｓ３００）。一例として、出席者視線方向検出手段２００は、撮像された画像における出席者の顔の向き又は出席者の顔面における黒目の位置等に基づいて、出席者の視線方向を検出してもよい。

発言者検出手段２１０は、少なくとも１人の出席者の視線方向に基づいて、会議の出席者の中から発言者を検出する（Ｓ３１０）。例えば、発言者検出手段２１０は、２人の出席者の視線方向が互いに交差する位置の出席者を発言者として検出してもよい。また、発言者検出手段２１０は、出席者全体のうち所定の割合以上が当該視線方向に視認する出席者を発言者として検出してもよい。この場合、発言者検出手段２１０は、同一の出席者を視認している出席者が所定の割合に満たない場合には、発言者がいない旨を検出してもよい。

発言者視線方向検出手段２２０は、発言者検出手段２１０から受け取った発言者の検出結果に基づいて、当該発言者を撮像している撮像装置、例えば、撮像装置３０ａ及び撮像装置３０ｂから、当該発言者を撮像した画像を取得する。そして、発言者視線方向検出手段２２０は、取得した当該画像に基づいて、会議の発言者の視線方向を検出する（Ｓ３２０）。具体的には、出席者の視線方向を検出する場合と同様、発言者視線方向検出手段２２０は、発言者の顔の向き又は発言者の顔面における黒目の位置等に基づいて、発言者の視線方向を検出してもよい。

画像取得手段２３０は、発言者が視線方向に視認する対象を撮像した視認対象画像を、撮像装置３０ａ〜ｆ等から取得する（Ｓ３３０）。発言内容取得手段２４０は、発言者の発言内容を、例えば発言者の音声を音声認識技術により解析することにより取得する（Ｓ３４０）。

視認対象検出手段２５０は、視認対象画像を解析することにより、発言者が視線方向に視認する対象を識別する対象識別情報を検出する（Ｓ３５０）。表示手段２６０は、画像取得手段２３０により取得された画像と、視認対象検出手段２５０により検出された対象識別情報とを、会議の出席者のそれぞれに対応付けて設けられた表示装置４０ａ〜ｃのそれぞれに表示する（Ｓ３６０）。

同意判断手段２７０は、発言内容取得手段２４０が取得した発言者の発言内容が、発言者から他の出席者への問いかけを示す場合に（Ｓ３７０：ＹＥＳ）、画像取得手段２３０により取得された画像を解析することにより、発言者の視線方向の出席者が当該発言内容に同意したか否かを示す同意状況を判断する（Ｓ３８０）。

例えば、同意判断手段２７０は、発言者が視線方向に視認する他の出席者の表情を解析することにより、他の出席者が当該発言内容に同意しているか否かを判断してもよい。例えば一般的に、人の表情は、その人の感情等に応じて様々に変化する。そして、人が怒る場合の表情の変化や、笑う場合の表情の変化には規則性があることが知られている。具体的には、人の口の端点と口の中央との位置関係、顔全体に対して歯の部分が現れる面積の割合、眉毛の上下の位置、及び、眉毛の間の距離は、その人の感情に応じて規則的に変化することが知られている。

そこで、まず、同意判断手段２７０は、人の感情に応じた表情変化の規則に基づいて、当該他の出席者の感情を判断する。そして、同意判断手段２７０は、その感情が例えば喜びや楽しみである場合には、当該他の出席者が発言内容に同意していると判断し、その感情が例えば怒りや悲しみである場合には、当該他の出席者が発言内容に同意していないと判断してもよい。

感情変化の判断精度を高めるべく、好ましくは、同意判断手段２７０は、会議の各出席者の表情を予め長期間（例えば１日間）撮像し、その出席者の平均的な表情を判断する。そしてこの場合、同意判断手段２７０は、出席者の平均的な表情を基準とした表情変化に基づいてその出席者の感情を判断する。このように、その出席者の表情の偏り等の個性に応じて、表情の判断基準を変更することが好ましい。

また、他の例として、同意判断手段２７０は、会議の出席者毎にその出席者が意見に同意する場合の表情の画像又は表情変化の特徴量と、同意しない場合の表情の画像又は表情変化の特徴量とをデータベースとして保持していてもよい。そして、同意判断手段２７０は、当該他の出席者の現在の表情が、データベースに保持された同意及び非同意の何れの表情に近いかを判断してもよいし、当該他の出席者の現在の表情変化の特徴量が、データベースに保持された同意及び非同意の何れの表情変化の特徴量に近いかを判断してもよい。

また、同意判断手段２７０は、当該他の出席者の動作を解析することにより、当該他の出席者が例えば頷き又は相槌等の動作を行っているのであれば、当該他の出席者が発言内容に同意していると判断してもよい。より具体的には、同意判断手段２７０は、当該他の出席者の首の動きを示す縦方向のベクトルが、横方向のベクトルと比較して大きい場合に、当該他の出席者が発言内容に同意していると判断してもよい。これに代えて、同意判断手段２７０は、当該他の出席者が予め定められた頷き動作している場合に、当該他の出席者が発言内容に同意していると判断してもよい。また、発言者から他の出席者に対する問いかけが、賛成者の挙手を求める内容の場合には、同意判断手段２７０は、当該他の出席者が挙手動作をしている場合に、当該他の出席者が発言内容に同意していると判断してもよい。そして、議事録作成手段２８０は、同意状況情報、資料識別情報、及び資料参照箇所情報を、会議の進行状況を示す情報に対応付けて、会議の議事録として議事録データベース２９０に格納する（Ｓ３９０）。

以上、本実施例で示すように、会議支援システム１０は、発言者を撮像した画像を解析することにより、発言者の視線方向を検出し、発言者が視認している対象を認識する。そして、会議支援システム１０は、発言者が視認している対象を他の出席者に対して表示するとともに、議事録に記録する。これにより、会議の出席者は、撮像装置の切替又は設定等の作業をすることなく、発言者が参照している会議資料等及び会議資料等の参照箇所を表示させ、的確に把握することができる。更に、長時間にわたる会議、出席者の多い会議、又は出席者が初対面である場合等、手作業で議事録を作成するのが困難な場合であっても、適切に議事録を作成することができる。

図４は、本発明に係る情報表示装置の一例である電子ブック６０の概略を示す。電子ブック６０は、表示手段６００と、文章データベース６０５と、表示画面６１０と、閲覧者視線方向検出手段６２０と、撮像装置６２５と、閲覧部分検出手段６３０と、記録手段６４０とを備える。表示手段６００は、文章データベース６０５から情報を順次取得して表示画面６１０に表示する。また、表示手段６００は、文章データベース６０５から取得した情報のうち表示画面６１０に表示している部分を示す情報を、閲覧部分検出手段６３０に送る。

例えば、表示手段６００は、新聞及び雑誌等の書籍の内容を表示する。そして、表示手段６００は、表示している部分を示す情報として、当該書籍のうち表示しているページ番号及び行番号等を記録手段６４０に送る。一例として、表示手段６００は、雑誌「ＸＸマガジン○月号」の、１３６及び１３７ページを表示しており、その旨を示す情報を閲覧部分検出手段６３０に送る。

また、表示手段６００が表示する情報は、１つのページの中に、他のページの格納位置を示すハイパーリンクを含むハイパーテキストであってもよい。例えば、表示手段６００が表示している１３７ページの５行目は、１３７ページの記事の詳細を説明している他のページの格納位置を示すハイパーリンクであってもよい。

閲覧者視線方向検出手段６２０は、撮像装置６２５により撮像された画像に基づいて、表示画面６１０に表示された情報を閲覧する閲覧者の視線方向を検出し、検出結果を閲覧部分検出手段６３０に送る。閲覧部分検出手段６３０は、表示手段６００により表示された情報のうち閲覧者が閲覧している閲覧部分を検出し、検出結果を記録手段６４０に送る。例えば、閲覧部分検出手段６３０は、閲覧者の視線方向が表示画面６１０の上半面内であり、かつ表示手段６００が表示画面６１０の上半面に雑誌「ＸＸマガジン○月号」の１３６ページを表示している場合には、雑誌「ＸＸマガジン○月号」の１３６ページを閲覧者の閲覧部分として検出する。

記録手段６４０は、閲覧部分検出手段６３０により検出された閲覧部分を文章データベース６０５に記録する。例えば、閲覧者が閲覧を停止する場合に、記録手段６４０は、閲覧部分検出手段６３０により検出された閲覧部分を、閲覧を停止した時点における閲覧部分を示すしおり情報として文章データベース６０５内に記録してもよい。この場合、表示手段６００は、文章データベース６０５に格納されたしおり情報を表示してもよい。

図５は、電子ブック６０の動作フローを示す。表示手段６００は、文章データベース６０５から文章データを順次取得して表示画面６１０に表示する（Ｓ５００）。閲覧者視線方向検出手段６２０は、表示画面６１０に表示された情報を閲覧する閲覧者の視線方向を検出する（Ｓ５１０）。閲覧者が視線方向に視認する対象がハイパーリンクである場合に（Ｓ５２０：ＹＥＳ）、表示手段６００は、当該ハイパーリンクが示す他のページを表示する（Ｓ５３０）。より具体的には、閲覧者視線方向検出手段６２０は、閲覧者が所定期間１つのハイパーリンクを視認している場合や、所定期間内に当該ハイパーリンクを所定回数以上視認した場合に、当該ハイパーリンクが示す他のページを表示してもよい。

閲覧者が閲覧を停止していない場合に（Ｓ５４０：ＮＯ）、電子ブック６０は、Ｓ５００に処理を戻して情報を順次表示する。一方、閲覧者が閲覧を停止した場合に（Ｓ５４０：ＹＥＳ）、記録手段６４０は、閲覧を停止した時点における閲覧部分を示すしおり情報を記録する（Ｓ５５０）。

例えば、電子ブック６０は、電源スイッチが投入されたか否かを判断することにより、閲覧者が閲覧を停止したか否かを判断する。これに代えて、電子ブック６０は、閲覧対象が他の書籍に変更された場合に、変更前に表示していた書籍の閲覧が停止されたと判断してもよい。続いて、閲覧者が情報の閲覧を再開した場合に（Ｓ５６０：ＹＥＳ）、表示手段６００は、しおり情報が示す部分から順に情報の表示を再開する（Ｓ５７０）。

このように、本実施例によれば、電子ブック６０は、閲覧者に煩雑な操作をさせることなく、表示されている情報のうち閲覧者が閲覧している部分を適切に検出することができる。これにより、利用者は、スイッチ又はボタンの押下等の煩雑な作業をすることなく、視線により電子ブック６０を操作することができる。例えば、ハイパーリンクを辿って他のページを表示させたり、読みかけた情報にしおりを付したりする操作を行うことができる。

図６は、会議支援装置２０又は電子ブック６０として機能するコンピュータ５００のハードウェア構成図を示す。コンピュータ５００は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、グラフィックコントローラ１０７５、及び表示装置１０８０を有するＣＰＵ周辺部と、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する入出力部と、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスクドライブ１０５０、及び入出力チップ１０７０を有するレガシー入出力部とを備える。なお、ハードディスクドライブ１０４０は必須の構成ではなく、コンピュータ５００は、ハードディスクドライブ１０４０に代えて不揮発性のフラッシュメモリを備えてもよい。

ホストコントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１０００及びグラフィックコントローラ１０７５とを接続する。ＣＰＵ１０００は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。

入出力コントローラ１０８４は、ホストコントローラ１０８２と、比較的高速な入出力装置である通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェイス１０３０は、ファイバチャネル等のネットワークを介して外部の装置と通信する。ハードディスクドライブ１０４０は、コンピュータ５００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０を介して入出力チップ１０７０に提供する。

また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスクドライブ１０５０や入出力チップ１０７０等の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、コンピュータ５００の起動時にＣＰＵ１０００が実行するブートプログラムや、コンピュータ５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、ＲＡＭ１０２０を介して入出力チップ１０７０に提供する。入出力チップ１０７０は、フレキシブルディスク１０９０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。

コンピュータ５００に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、入出力チップ１０７０及び／又は入出力コントローラ１０８４を介して、記録媒体から読み出されコンピュータ５００にインストールされて実行される。

コンピュータ５００にインストールされて実行されコンピュータ５００を会議支援装置２０として機能させるプログラムは、出席者視線方向検出モジュールと、発言者検出モジュールと、発言者視線方向検出モジュールと、画像取得モジュールと、発言内容取得モジュールと、視認対象検出モジュールと、表示モジュールと、同意判断モジュールと、議事録作成モジュールとを含む。また、コンピュータ５００を電子ブック６０として機能させるプログラムは、表示モジュールと、閲覧者視線方向検出モジュールと、閲覧部分検出モジュールと、記録モジュールとを含む。

また、これらのプログラムは、ハードディスクドライブ１０４０を、会議資料データベース２５５、議事録データベース２９０、又は文章データベース６０５として用いてもよい。各モジュールがコンピュータ５００に働きかけて行わせる動作は、図１から図５において説明した会議支援装置２０又は電子ブック６０における、対応する部材の動作と同一であるから、説明を省略する。

以上に示したプログラム又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

図１は、会議支援システム１０の概略を示す。（実施例１） 図２は、議事録作成手段２８０が議事録データベース２９０に格納する議事録の一例を示す。（実施例１） 図３は、会議支援システム１０が会議の進行を支援する動作フローを示す。（実施例１） 図４は、本発明に係る情報表示装置の一例である電子ブック６０の概略を示す。（実施例２） 図５は、電子ブック６０の動作フローを示す。（実施例２） 図６は、会議支援装置２０又は電子ブック６０として機能するコンピュータ５００のハードウェア構成図を示す。

符号の説明

１０ 会議支援システム
２０ 会議支援装置
３０ 撮像装置
４０ 表示装置
４５ マイク
５０ 会議資料
５５ ホワイトボード
６０ 電子ブック
２００ 出席者視線方向検出手段
２１０ 発言者検出手段
２２０ 発言者視線方向検出手段
２３０ 画像取得手段
２４０ 発言内容取得手段
２５０ 視認対象検出手段
２５５ 会議資料データベース
２６０ 表示手段
２７０ 同意判断手段
２８０ 議事録作成手段
２９０ 議事録データベース
５００ コンピュータ
６００ 表示手段
６０５ 文章データベース
６１０ 表示画面
６２０ 閲覧者視線方向検出手段
６２５ 撮像装置
６３０ 閲覧部分検出手段
６４０ 記録手段

Claims (13)

1. 会議の進行を支援する会議支援システムであって、
   会議の発言者の視線方向を検出する発言者視線方向検出手段と、
   前記発言者が前記視線方向に視認する対象を撮像した画像を取得する画像取得手段と、
   前記画像取得手段により取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示手段と
   を備える会議支援システム。
2. 前記発言者が前記視線方向に視認する対象を識別する対象識別情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段
   を更に備える請求項１記載の会議支援システム。
3. 前記発言者が前記視線方向に視認する対象を撮像した画像を解析することにより、前記発言者が前記視線方向に視認する会議資料を識別する資料識別情報及び前記会議資料のうち前記発言者が視認している箇所を示す資料参照箇所情報を検出する視認対象検出手段を更に備え、
   前記表示手段は、前記視認対象検出手段により検出された前記資料識別情報及び前記資料参照箇所情報を表示する
   請求項１記載の会議支援システム。
4. 前記発言者の発言内容を取得する発言内容取得手段を更に備え、
   前記視認対象検出手段は、更に前記発言内容に含まれる単語により前記会議資料中の文章データを検索することにより、前記会議資料のうち前記発言者が視認している箇所を検出する
   請求項３記載の会議支援システム。
5. 会議に出席している少なくとも１人の出席者の視線方向を検出する出席者視線方向検出手段と、
   少なくとも１人の前記出席者の前記視線方向に基づいて、会議の出席者の中から発言者を検出する発言者検出手段と
   を更に備える請求項１記載の会議支援システム。
6. 前記発言者が前記視線方向に視認する他の出席者の表情を解析することにより、当該他の出席者が前記発言者の発言内容に同意しているか否かを判断する同意判断手段と、
   当該他の出席者が前記発言内容に同意しているか否かを示す情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段と
   を更に備える請求項１記載の会議支援システム。
7. 前記同意判断手段は、更に、前記他の出席者の動作を解析することにより、当該他の出席者が前記発言者の発言内容に同意しているか否かを判断する
   請求項６記載の会議支援システム。
8. 前記発言者の発言内容を取得する発言内容取得手段と、
   前記発言内容が、前記発言者から他の出席者への問いかけを示す場合に、前記画像取得手段により取得された画像を解析することにより、前記発言者の前記視線方向の出席者が前記発言内容に同意したか否かを判断する同意判断手段と、
   当該出席者が前記発言内容に同意したか否かを示す情報を、会議の進行状況を示す情報に対応付けて記録する議事録作成手段と
   を更に備える請求項１記載の会議支援システム。
9. 閲覧者に情報を表示する表示手段と、
   前記表示手段により表示された情報を閲覧する閲覧者の視線方向を検出する閲覧者視線方向検出手段と、
   前記表示手段により表示された情報のうち前記閲覧者が閲覧している閲覧部分を、前記視線方向に基づいて検出する閲覧部分検出手段と、
   前記閲覧部分検出手段により検出された閲覧部分を記録する記録手段と
   を備える情報表示装置。
10. 前記閲覧者が閲覧を停止する場合に、前記記録手段は、前記閲覧者が閲覧を停止した時点における閲覧部分を示すしおり情報を記録し、
    前記閲覧者が閲覧を再開する場合に、前記表示手段は、前記しおり情報が示す部分から順に前記閲覧者に情報を表示する
    請求項９記載の情報表示装置。
11. 前記表示手段により表示される情報は、１つのページの中に、他のページの格納位置を示すハイパーリンクを含むハイパーテキストであり、
    前記表示手段は、前記閲覧者が前記視線方向に視認する対象が前記ハイパーリンクである場合に、当該ハイパーリンクが示す前記他のページを表示する
    請求項９記載の情報表示装置。
12. 会議の進行を支援する会議支援システムを制御するプログラムであって、
    コンピュータを、
    会議の発言者の視線方向を検出する発言者視線方向検出手段と、
    前記発言者が前記視線方向に視認する対象を撮像した画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示手段と
    して機能させるプログラム。
13. 会議の進行を支援する会議支援システムを制御する制御方法であって、
    会議の発言者の視線方向を検出する発言者視線方向検出段階と、
    前記発言者が前記視線方向に視認する対象を撮像した画像を取得する画像取得段階と、
    前記画像取得段階において取得された画像を、会議の出席者のそれぞれに対応して設けられた表示装置に表示する表示段階と
    を備える制御方法。

Images