JP2008003968A - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 視聴者に対して説明者が説明する複数の資料の振り返りを支援できる情報処理装置を提供する。
【解決手段】 情報記録配信装置２０は、視聴者に対して複数の資料を説明する説明者及び前記視聴者のうちの少なくも一方の前記資料の説明時の特徴情報を抽出する特徴情報抽出部２２と、特徴情報抽出部２２が検出した特徴情報に基づいて各資料の重要度を決定する重要度決定部２６と、重要度決定部２６が決定した各資料の重要度に基づいて複数の資料についての要約データを作成する要約作成部２７とを備える。特徴情報抽出部２２は、発表者の意図に関する情報や視聴者の対応に関する情報を上記特徴情報として抽出する。このとき、要約作成部２７は、資料の重要度に応じて資料を掲載する領域を変更して要約を作成する。
【選択図】 図２

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

一般に、会議やプレゼンテーションなどでは、発表者が視聴者に対して複数の資料やスライドなどを使いながら発表することにより行われる。この会議等に参加することが出来なかった者や会議等に参加したが後で会議を振り返りたい者は、配布された会議スライドや会議スライドの電子データを見ることにより会議等の内容を振り返ることができる。

また、複数の画像に対して視認性を向上させるため、複数枚の画像から特定の画像を抽出し合成して要約画像であるステンドグラスサマリを生成する技術が提案されている（特許文献２〜４、非特許文献１参照）。また、ビデオの各々のショットの重要度を決定し、この重要度に基づいてビデオ要約を生成し、さらに重要度に基づいて代表フレームのサイズを変更する技術が提案されている（特許文献１参照）。

特開２０００−３０８００８号公報 特開２００３-１７９８４９号公報 特開２００５-２９３５７６号公報 特開２００５-２９３５７７号公報 "Stained-Glass Visualization for Highly Condensed Video Summaries・Proceedings of 2004 IEEE International Conference on Multimediaand Expo (ICME 2004).

しかしながら、ステンドグラスサマリを会議スライドに適用して画像要約を作成した場合、画像特徴のみを利用してサマライズ画像を合成するため、発表者の意図、参加者の反応や資料作成者の意図が反映されない。このため、サマライズ画像を見る者は要約画像のどの部分が重要なのかが分からず、後で発表を振り返る者に対して振り返りを適切に支援することができていなかった。また、上記特許文献１記載の技術を用いても、発表者の意図、参加者の反応や資料作成者の意図を反映してビデオ要約を作成することはできない。

そこで、本発明は、上記問題点に鑑みなされたものであり、発表者の意図、視聴者の反応又は資料作成者の反応を把握しながら効率良く発表内容を振り返ることができる情報処理システム、情報処理方法及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理システムは、視聴者に対して資料を用いて発表する発表者及び前記視聴者のうちの少なくとも一方をキャプチャした情報に基づいて、前記資料を用いた発表時における前記発表者及び前記視聴者のうちの少なくも一方の特徴情報を抽出する抽出手段と、前記抽出手段が抽出した特徴情報に基づいて前記資料の重要度を決定する決定手段と、前記決定手段が決定した各資料の重要度に基づいて前記資料のデータを処理する処理手段とを備える。

本発明によれば、資料のうち重要な資料の発表のときには、発表者の発表の仕方が変わり、視聴者が重要であると考える資料の発表のときには、視聴者の反応が他の資料の発表のときに比べて変わる。そこで、発表者の意図や視聴者の反応を発表者や視聴者の特徴情報として抽出し、この特徴情報を用いて資料の重要度を決める。このため、例えば、発表者が重要であると判断した資料については重要度が高くなり、反対に発表者が重要でないと判断した資料については重要度が低くなる。また、視聴者の反応が良い資料については重要度が高くなり、反対に視聴者の反応が悪い資料については重要度が低くなる。そして、発表者や視聴者が重要であると判断している資料と発表者や視聴者が重要で無いと判断した資料とに分けて資料データの処理を行う。これにより、発表者の意図や視聴者の反応を把握しながら効率良く発表内容を振り返ることができる。

また、本発明の情報処理システムは、前記資料のデータに基づいて前記資料の内容を解析する解析手段をさらに備え、前記決定手段は、前記抽出手段が抽出した特徴情報及び前記解析手段が解析した資料の内容に基づいて前記各資料の重要度を決定する。本発明によれば、発表者の意図や視聴者の反応だけでなく、資料作成者の意図に応じて資料の重要度を決定することにより、資料作成者の意図を把握しながら効率良く発表内容を振り返ることができる。

前記決定手段は、前記資料が複数の要素を含む場合、前記複数の要素毎に重要度を決定し、前記処理手段は、前記決定手段が決定した要素の重要度に基づいて、前記要素のデータを処理する。本発明によれば、重要度に応じて加工されたデータを閲覧することにより、発表者の意図、視聴者の反応、資料作成者の意図を容易に知ることができる。ここで、複数の要素を含む資料は、例えば単純に複数の資料を含むものが該当する。また、パワーポイントのように一つのファイルの中に複数のフライドが含まれている場合にはこれらの各スライドがそれぞれ要素となる。パワーポイントのファイルが複数の要素を含む資料となる。

前記処理手段は、前記決定手段が決定した要素の重要度に基づいて、前記要素を合成したデータを作成する。本発明によれば、重要度に応じて合成された要約を閲覧することにより、発表者の意図、視聴者の反応、資料作成者の意図を容易に知ることができる。ここで、要素を合成することは、複数の要素を要約することととらえてもよい。

前記処理手段は、前記要素の重要度に応じて前記要素を掲載する領域を変更して前記要素を合成する。ここで領域を変更するには、領域の大きさを変更する場合、領域の位置を変更する場合などが含まれる。本発明によれば、要素が掲載される領域の大きさの違いを把握することで、発表者の意図、視聴者の反応、資料作成者の意図を一目で把握することができる。

前記抽出手段は、前記発表者の意図に関する情報を前記特徴情報として抽出する。例えば、前記発表者の意図に関する情報は、前記発表者の資料に対する発表時間、前記発表者の属性、前記発表者の人数、前記発表者の資料に対する説明回数、前記発表者が発話したキーワード及び前記発表者が前記資料中の注目領域を指す動作のうちの少なくとも一つを含む。

前記抽出手段は、前記視聴者の反応に関する情報を前記特徴情報として抽出する。例えば、前記視聴者の反応に関する情報は、前記視聴者の前記資料の参照回数及び前記視聴者の資料の視聴率のうちの少なくとも一方を含む。

また、前記解析手段は、前記資料のデータに含まれるキーワード、音声データ及び画像データのうちの少なくとも一つに基づいて前記資料の内容を解析する。前記決定手段は、前記抽出手段が抽出した特徴情報に基づいて前記資料を分類し、該分類結果に応じて前記資料の重要度を決定する。前記処理手段は、前記決定手段が決定した資料の重要度に基づいて前記資料のデータを配信する処理を行う。前記処理手段は、前記資料の分類結果に基づいて、処理する資料を選択する。例えば、あるスライドを用いて発表された場合、発表者又は視聴者の特徴情報に基づいてそのスライドを例えば、“見出し語”、“閲覧”、“傾聴”又は“精読”などに分類し、その分類結果に基づいて処理する資料を選択することができる。前記資料は、電子的な資料及び紙資料の少なくとも一方である。

本発明の情報処理方法は、視聴者に対して資料を用いて発表する発表者及び前記視聴者の少なくとも一方をキャプチャした情報に基づいて、前記資料を用いた発表時における前記発表者及び前記視聴者のうちの少なくとも一方の特徴情報を抽出する抽出ステップと、前記抽出ステップで抽出した特徴情報に基づいて前記資料の重要度を決定する決定ステップと、前記決定ステップで決定した各資料の重要度に基づいて前記資料のデータを処理する処理ステップとを有する。

本発明の情報処理方法は、前記資料のデータに基づいて前記資料の内容を解析する解析ステップをさらに有し、前記決定ステップは、前記抽出ステップで抽出した特徴情報及び前記解析ステップで解析した資料の内容に基づいて前記各資料の重要度を決定する。本発明によれば、発表者の意図や視聴者の反応だけでなく、資料作成者の意図に応じて資料の重要度を決定することにより、資料作成者の意図を把握しながら効率良く発表内容を振り返ることができる。

前記決定ステップは、前記資料が複数の要素を含む場合、前記複数の要素毎に重要度を決定し、前記処理ステップは、前記決定ステップで決定した要素の重要度に基づいて、前記要素のデータを処理する。本発明によれば、重要度に応じて加工されたデータを閲覧することにより、発表者の意図、視聴者の反応、資料作成者の意図を容易に知ることができる。前記処理ステップは、前記決定ステップで決定した要素の重要度に基づいて、前記要素を合成したデータを作成する。本発明によれば、重要度に応じて作成された要約を閲覧することにより、発表者の意図、視聴者の反応、資料作成者の意図を容易に知ることができる。本発明のコンピュータプログラムは、上記情報処理方法をコンピュータに実行させるためのものである。

本発明によれば、発表者の意図、視聴者の反応又は資料作成者の反応を把握しながら効率良く発表内容を振り返ることができる情報処理システム、情報処理方法及びプログラムを提供できる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態に係る情報処理システムの全体構成図である。情報処理システム１は、プレゼンテーションシステム１０、情報記録配信装置２０及びユーザー端末３０等を備えている。プレゼンテーションシステム１０は、会議室のテーブル１１の上に置かれたパーソナルコンピュータ（ＰＣ）１２、プロジェクタ１３及びスクリーン１４を備える。プレゼンテーションシステム１０及びユーザー端末３０は、無線アクセスポイント４０、４１によりネットワーク５０へ接続されている。このネットワーク５０は非公衆回線網または社内ＬＡＮからなる。ネットワーク５０は、有線、無線、またはそれらの混在する通信回線から構成されてもよい。プレゼンテーションシステム１０及びユーザー端末３０は、有線接続によりネットワーク５０へ接続されていてもよい。

プレゼンテーションシステム１０は、ビデオカメラ及びマイクを備え、視聴者に対して複数の資料を用いて発表する発表者及び視聴者をキャプチャし、キャプチャしたデータを含む会議データを情報記録装置２０へ送る。ここでは、ビデオカメラによって発表者及び視聴者を撮像したデータがキャプチャしたデータとなる。また、マイクによって発表者及び視聴者から集音したデータがキャプチャしたデータとなる。このキャプチャしたデータはＰＣ１２を介して情報記録装置２０へ送られる。ここでの会議では、発表者が複数の視聴者に対して複数のスライド（資料）を用いながら内容を発表している場合の例である。また一つのスライドデータファイルは複数頁のスライドの要素から構成されている。なお、図ではプレゼンテーションシステム１０を一つだけ示しているが、会議室が複数ある場合には複数の会議室のそれぞれに設置される。

発表者は、ＰＣ１２を操作してプロジェクタ１３によって資料となるパワーポイントのデータを投影する。パワーポイントのデータは、ＰＣ１２を介して情報記録装置２０へ送られる。情報記録装置２０側では資料のデータを取得することができる。なお、プロジェクタ１３によって投影されているスライドをビデオカメラによって撮像してその撮像したデータを資料のデータとして、情報記録装置２０に蓄積するようにしてもよい。

情報記録配信装置２０は、プレゼンテーションシステム１０から送られてくる会議データを蓄積し、蓄積された会議データに対して加工を施したデータをユーザー端末３０へ配信する処理を行う。ユーザー端末３０は、情報記録配信装置２０から送られてくる配信データを受信し、表示する機能を有する。このユーザー端末３０は、例えばノートパソコンや携帯電話等の携帯型端末により構成されている。図１では、一つのユーザー端末だけが情報記録配信装置２０との間でデータをやりとりするように示されているが、実際には複数のユーザー端末が情報記録配信装置２０との間でデータのやり取りが可能である。

図２は、情報記録配信装置２０の構成を示す図である。図２に示すように、情報記録配信装置２０は、コンテンツＤＢ２１、抽出手段としての特徴情報抽出部２２、蓄積部２３、検索部２４、解析手段としての資料内容解析部２５、決定手段としての重要度決定部２６、処理手段としての要約作成部２７及び送信部２８を備えている。コンテンツＤＢ２１は、プレゼンテーションシステム１０がキャプチャした会議データ及び発表者や視聴者の特徴情報を格納する。

特徴情報抽出部２２は、発表者又は視聴者をキャプチャした会議データに基づいてスライドの発表時における発表者又は視聴者の特徴情報を抽出する。また、特徴情報抽出部２２は、上記特徴情報を抽出するときに、画像処理技術又は音声認識技術等を用いる。ここで、特徴情報抽出部２２は、発表者の意図に関する情報を発表者の特徴情報として抽出する。特徴情報抽出部２２は、コンピュータが所定のプログラムを実行することにより機能を実現する。例えば、特徴情報抽出部２２は、発表者のスライドに対する発表時間、発表者の属性、発表者の人数、発表者のスライドに対する説明回数、発表者が発話したキーワード又は発表者が指し示すスライド中の注目領域などの特徴情報を発表者の意図に関する情報として抽出する。

特徴情報抽出部２２は、スライドを発表する発表者の発話データを音声信号処理することにより発表者のスライドに対する発表時間を特定することができる。
また、特徴抽出部２２は、予め決められている発表予定者リストに記載されている役職のデータを参照することにより発表者の属性を特定することができる。
特徴抽出部２２は、音声信号処理により発表者の発話を音声認識し、この音声認識結果を利用して、例えば同じキーワードや文章を何度も繰り返し説明していることを検出することにより発表者のスライドに対する説明回数を特定する。
特徴情報抽出部２２は、画像処理技術を用いてスライド中の発話者がスライドを指し示す位置を特定することにより発表者が指し示すスライド中の注目領域を特定する。

例えばあるスライドに対する発表時間が長い場合、そのスライドは重要であるという発表者の意図が読み取れる。反対にあるスライドに対する発表時間が短い場合、そのスライドは重要でないという発表者の意図が読み取れる。また、発表者の属性が例えば、企業の役員等の場合にはそのスライドは重要であるという発表者の意図が読み取れる。また、発表者の人数が多ければそのスライドは重要であるという発表者の意図が読み取れる。

また、特徴情報抽出部２２は、視聴者の反応に関する情報を視聴者の特徴情報として抽出する。例えば、特徴情報抽出部２２は、視聴者のスライドの参照回数又は視聴者のスライドの視聴率を視聴者の特徴情報として抽出する。例えば、特徴情報抽出部２２は、画像処理技術を用いて視聴者の視線の方向を検出することにより視聴者のスライドの参照回数を特定することができる。また、特徴情報抽出部２２は、視聴者のスライドの参照時間を発表者のスライドの説明時間で割ることにより視聴者のスライドの視聴率を求めることができる。ある視聴者のあるスライドに対する参照回数が多い場合、その視聴者はそのスライドに興味があることが分かる。反対にある視聴者のあるスライドに対する参照回数が少ない場合、その視聴者はそのスライドに興味がない事が分かる。さらに、特徴情報抽出部２２は、発表者又は視聴者をキャプチャした会議データに基づいてスライド投影開始時刻、スライド投影終了時刻、スライドに含まれているテキスト文字列、単語出現座標、文字のポイント数、発話区間等などを特徴情報として抽出するようにしてもよい。例えば、文字のポイント数によってスライド作成者のそのスライドに対する意図を伝えることができる。

発表者がスライド中の注目領域を指し示す位置は、会議中に発表者によって指し示されたポインタ位置とスライドの対応位置によって決定される。ここでは、特徴情報抽出部２２は、特徴情報をコンテンツＤＢ２１に格納された会議データから自動的に抽出する例について説明するが、特徴情報を、利用者がキーボードやマウス等の入力手段を用いてコンテンツＤＢ２１に入力するようにしてもよい。蓄積部２３は、特徴情報抽出部２２が抽出した特徴情報をコンテンツＤＢ２１の会議データに関連付けて格納する。

検索部２４は、コンテンツＤＢ２１に格納された会議コンテンツデータを検索するものである。検索部２４は、ユーザー端末３０から与えられる検索問い合わせから検索式を作成し、この検索式に基づいてコンテンツＤＢ２１に対して問い合わせを実行し、検索結果を得る。ここで、検索問い合わせは、キーワード、文書、音声、画像またはそれらの組み合わせなどで与えられる。資料内容解析部２５は、画像処理技術又は音声認識技術などを用いて、スライドデータに含まれるキーワード、音声又は画像に基づいてスライドの内容を解析する。

重要度決定部２６は、特徴情報抽出部２２が抽出した特徴情報及び資料内容解析部２５が解析したスライド内容に基づいて各スライドの重要度を決定する。また、重要度決定部２６は、資料内容解析部２５によってスライド内容が解析されていない場合は、特徴情報抽出部２２が抽出した特徴情報だけに基づいて各スライドの重要度を決定することもできる。重要度決定部２６は、決定した各スライドの重要度を会議データに対応付けてコンテンツＤＢ２１に格納する。

要約作成部２７は、重要度決定部２６が決定した各スライドの重要度に基づいて複数のスライドデータを処理するものである。具体的には、要約作成部２７は、各スライドの重要度に基づいて複数のスライドを合成したデータを作成する。例えば、要約作成部２７は、各スライドの重要度に基づいて複数のスライドを合成したデータを作成する。この時、要約作成部２７は、スライドの重要度に応じてスライドを掲載する領域を変更して合成を作成する。要約作成部２７は、要約を作成する際にステンドグラス要約画像を作成する。

具体的には、要約作成部２７は、検索部２４の検索結果で得られたスライド画像の特徴を用い自動的にRegion Of Interest (ＲＯＩ：注目領域)を抽出する。ＲＯＩの抽出方法は、スライド画像中の密度の高い部分を含む矩形をＲＯＩとして抽出した後、スライド画像データに対応した重要度を利用してＲＯＩの面積を変化させるなどの画像処理演算を行って自動的に抽出する。これにより、ＲＯＩはスライド内容を反映させたものを抽出することができる。次に、要約作成部２７は、複数枚のスライド画像からそれぞれ抽出されたＲＯＩを一枚の画像に配置してステンドグラス画像を合成する。ここで合成画像サイズ、採用するスライド枚数、レイアウトは、ユーザー端末３０の表示部の画面サイズに応じて変更しても良い。送信部２８は、要約作成部２７が作成した要約データをユーザー端末３０へ送信する。ユーザー端末３０の表示部により、合成された一枚のステンドグラス要約画像を結果として利用者に表示される。

図３は、スライド分類に応じた要約作成テーブルの例を示す図である。図４は、図３に示すテーブルを用いてステンドグラス要約画像を作成する手順を示すフローチャートである。図３に示す要約作成テーブル６０はコンテンツＤＢ２１に格納されている。資料内容解析部２５は、スライドデータに含まれるキーワード、音声又は画像に基づいてスライドの内容を解析し、その解析結果に応じてスライドを“見出し語”、“閲覧”、“傾聴”又は“精読”に分類する。

重要度決定部２６は、コンテンツＤＢ２１に格納された要約作成テーブル６０を参照して、“見出し語”、“閲覧”、“傾聴”、“精読”のスライド分類に基づいてスライドの重要度を決定する（ステップＳ１）。図３に示す例では、重要度決定部２６は、“見出し語”に分類されたスライドの重要度を“低”、“閲覧”に分類されたスライドの重要度を“低”、“傾聴”に分類されたスライドの重要度を“高”、“精読”に分類されたスライドの重要度を“高”と決定する。ここで“低”はスライドの重要度が低いことを示し、“高”はスライドの重要度が高いことを示す。

要約作成部２７は、スライドの重要度の高低によりスライド画像のＲＯＩの大きさを決定する（ステップＳ２）。要約作成部２７は、重要度が“低”のスライドに対してＲＯＩの大きさを“小”、重要度が“高”のスライドに対してＲＯＩの大きさを“大”と決定する。そして、要約作成部２７は、決定されたＲＯＩの大きさに基づいて、ステンドグラス要約画像を作成する（ステップＳ３）。

図５はスライドの説明時間に応じた要約作成テーブルの例を示す図である。図６は、図５に示した要約作成テーブルを用いてステンドグラス要約画像を作成する手順を示すフローチャートである。図５に示す要約作成テーブル６１は、コンテンツＤＢ２１に格納されている。重要度決定部２６は、スライドの説明時間（秒）の長さに基づいてスライド画像の重要度を決定する（ステップＳ１１）。具体的には、重要度決定部２６は、全体の説明時間と各スライドの説明時間から各スライドの偏差値を計算する。次に、重要度決定部２６は、閾値を参照して各スライドの偏差値からスライドの重要度を決定する。ここでは、重要度決定部２６は、偏差値が５０以下のスライドを重要度“小”、偏差値が５０以上のスライドを重要度“大”と決定する。

要約作成部２７は、スライドの重要度の高低によりスライド画像のＲＯＩの大きさ決定する（ステップＳ１２）。ここでは、要約作成部２７は、重要度が“低”のスライドに対してＲＯＩの大きさを“小”、重要度が“高”のスライドに対してＲＯＩの大きさを“大”と決定する。要約作成部２７は、決定されたＲＯＩの大きさに基づいて、ステンドグラス要約画像を作成する（ステップＳ１３）。

図７（ａ）は、重要度が決定されたスライドを示す図、同図（ｂ）はステンドグラス要約画像を示す図である。図７（ｂ）に示すように、要約作成部２７は、スライドの重要度の高低に基づいてスライド画像のＲＯＩの大きさを決定する。要約作成部２７は、重要度が“低”のスライドＳ１及びＳ３に対してＲＯＩの大きさを“小”とし、重要度が“高”のスライドＳ２、Ｓ４及びＳ５に対してＲＯＩの大きさを“大”と決定する。そして、要約作成部２７は、決定されたＲＯＩの大きさに基づいてステンドグラス要約画像を作成する。図７（ｂ）に示すように、スライドＳ１及びＳ３は、重要度が低いため狭い領域が割り当てられている。一方、スライドＳ２、Ｓ４及びＳ５は、重要度が高いため広い領域が割り当てられている。

図８は、要約画像の生成フローチャートである。検索部２４は、検索条件に合致するデータをコンテンツＤＢ２１へ問い合わせる（ステップＳ２１）。検索部２４は、画像と索引データの組からなるリストを生成する（ステップＳ２２）。検索部２４は、リストから１項目をフェッチする（ステップＳ２３）。

要約作成部２７は、フェッチ項目がある場合（ステップＳ２４で「Ｎ」）、画像中に注目部分が存在するかどうかを判断し、画像中に注目部分が存在する場合（ステップＳ２６で「Ｙ」）、注目部分を初期ＲＯＩとして設定する（ステップＳ２７）。要約作成部２７は、画像中に注目部分が存在しない場合（ステップＳ２６で「Ｎ」）、画像の特徴から初期ＲＯＩを抽出する（ステップＳ２８）。重要度決定部２６は、索引データから重要度スコアを計算する（ステップＳ２９）。要約作成部２７は、初期ＲＯＩを中心に重要度スコアに対応した大きさのＲＯＩを切り出し（ステップＳ２１０）、ステップＳ２３に戻る。要約作成部２７は、フェッチ項目が無い場合（ステップＳ２４で「Ｙ」）、切り出されたＲＯＩから要約画像の生成する（ステップＳ２５）。

図９は、会議中の注目点を反映した要約の例を示す図である。図１０は、図９の要約画像の作成手順を示すフローチャートである。図９において参照符号８０はスクリーン１４中の会議発表者が指し示した注目領域を示す。特徴情報抽出部２２は、会議データに基づいて、会議中に発表者により電子的なポインタにより指し示されたスライド中のポイントされた点の座標を抽出する（ステップＳ３１）。特徴情報抽出部２２は、スライドとポイント座標を対応させ、スライド中の注目領域を抽出する（ステップＳ３２）。要約作成部２７は、ステンドグラス要約画像を生成する際に、注目領域からＲＯＩを計算する（ステップＳ３３）。要約作成部２７は、計算されたＲＯＩを使ってステンドグラス要約画像を作成する（ステップＳ３４）。

図１１は、内容に基づいた要約の検索結果への適用例を説明するための図である。図１２は、図１１の要約画像の作成手順を示すフローチャートである。ユーザー端末３０の表示部に表示されている画像要約画面７２から検索の元となるスライドＳ６が指定されると（ステップＳ４１）、検索部２４は、指定されたスライドデータに含まれるキーワード、テキスト、音声又は画像などの情報をコンテンツＤＢ２１から抽出し、問い合わせ検索式を作成する（ステップＳ４２）。検索部２４は、コンテンツＤＢ２１に問い合わせを行い、関連度の高いスライドを検索結果として得る（ステップＳ４３）。要約作成部２７は、検索結果のスライド群からステンドグラス要約画像７３を生成する（ステップＳ４４）。

その際、要約作成部２７は、各スライドの重要度の高低をＲＯＩの大小に反映させる。これにより、ユーザーはステップＳ４１で指定したスライドに関連するスライドについての検索結果を得ることができる。図１１では、スタイドＳ６＞Ｓ６’＞Ｓ６’’＞Ｓ５の順で関連度が高い場合に要約画像を生成した場合の例である。これによりステンドグラス要約画像７３では、関連度が一番高いスライドＳ６の領域が大きくなり、関連度が一番低いスライドＳ５の領域が狭くなる。

図１３（ａ）は、分類が決定されたスライドを示す図、同図（ｂ）はステンドグラス要約画像を示す図である。資料内容解析部２５は、スライドデータに含まれるキーワード、音声又は画像に基づいてスライドの内容を解析し、その解析結果に応じてスライドを“見出し語”、“閲覧”、“傾聴”又は“精読”に分類する。図１３（ａ）に示す例では、資料内容解析部２５は、スライドＳ１〜Ｓ３を“閲覧”、スライドＳ４を“傾聴”、スライドＳ５を“精読”に分類している。そして、同図（ｂ）に示すように、要約作成部２７は、スライドに分類に応じてアイコンを加えて表示する。ここで、要約作成部２７は、ステンドグラス要約画像７４のうち“傾聴”と分類されたスライドＳ４の領域の箇所に傾聴のアイコン７４ａを加え、“精読”と分類されたスライドＳ５の領域の箇所に精読のアイコン７４ｂを加えて要約を作成している。

これにより、ユーザーは、ステンドグラス要約画像７４を見たときに、傾聴のアイコン７４ａが表示されている場合、この傾聴のアイコンをマウスでクリックすることにより、スライドを発表時の音声を再生し、耳を傾けることによりスライドの内容を把握することができる。また、ユーザーは、ステンドグラス要約画像７４を見たときに、精読のアイコン７４ｂが表示されている場合、この精読のアイコンをマウスでクリックすることにより、スライドを拡大し、スライドＳ５に記載された文章を精読することにより、このスライドＳ５の内容を把握することができる。

次に、スライド分類に基づいた重要度を反映したステンドグラス要約のニュースペーパーサマリへの適用した場合の例について説明する。図１４は、スライド分類別のステンドグラス作成時に合成するスライド最大枚数設定用のテーブルを示す図である。図１５は、ニュースサマリ７５をステンドグラス要約画像を含めて表示した場合の例を示す図である。図１４に示したスライド最大枚数設定用のテーブル６２は、コンテンツＤＢ２１に予め格納されている。ニュースペーパーサマリとは、インターネットなどを介して定期的に配信されるニュースで、従来、ユーザーは、このニュースペーパーサマリをサムネイルの形式で受け取っていた。

資料内容解析部２５は、スライドデータに含まれるキーワード、音声又は画像に基づいてスライドの内容を解析し、その解析結果に応じてスライドを“見出し語”、“閲覧”、“傾聴”又は“精読”に分類する。要約作成部２７は、スライド最大枚数設定用のテーブル６２を参照し、“見出し語”に分類されたスライドについては、内容把握が容易なため最大５枚のスライドをステンドグラス要約画像に含め、“閲覧”に分類されたスライドについては、内容把握がやや難しくなるため最大４枚のスライドをステンドグラス要約画像に含め、“傾聴”と“精読”に分類されたスライドは、内容把握が難しくなるため最大３枚のスライドをステンドグラス要約画像に含めて、ニュースペーパーサマリ７５を作成する。図１５では、傾聴”と“精読”に分類されたスライドを対象にしているため、３枚のスライドＳ１〜Ｓ３がステンドグラス要約画像に埋め込まれている。送信部２８は、要約作成部２７が作成したニュースペーパーサマリをユーザー端末３０に送信する。ユーザー端末３０は、図１５に示すニュースペーパーサマリ７５をユーザーに提示する。内容分類に応じてニュースを一目で把握することができる。

図１６は、スライド画像Ｓ１〜Ｓ７からマンガ要約画像を生成する場合の例を示す図である。要約作成部２７は、スライド分類又は注目部分を利用してＲＯＩを抽出する。同図（ａ）において網掛け部分は要約作成部２７がＲＯＩとして抽出した箇所である。そして、要約作成部２７は、スライドの切替り点をショットの切替り点と捉え、セグメント化し、同図（ｂ）に示すように、スライドのＲＯＩを中心にマンガ要約の形式にパックする。これにより、ユーザーはユーザー端末３０を介してスライド画像のＲＯＩを中心にした要約画像を見ることができる。

図１７は、スライドと発表者、参加者画像からマンガ要約を生成する場合の例を示す図である。同図（ａ）はスライド画像Ｓ１−1〜Ｓ７−１、同図（ｂ）は各スライドＳ１−１〜Ｓ７−１を発表時に発表者を撮影した画像Ｓ１−２〜Ｓ７−２、同図（ｃ）は各スライドＳ１−１〜Ｓ７−１を発表時に参加者を撮影した画像Ｓ１−３〜Ｓ７−３、同図（ｄ）はマンガ要約をそれぞれ示す図である。検索部２４は、発表者、参加者の動画像データが有る場合は、発話の有無、動きなどから適当な代表フレーム画像を選択する。そして、重要度決定部２６は、発表者、参加者画像の重要度スコアを、それぞれの発話時間の有無、長短のメタデータを元に計算する。重要度決定部２６により画像カテゴリー別に重みを変更し重要度スコアを計算することでスライドを主体的に、人物の画像は補足的に使用できる。

図１８は、ビデオ・コラージュテンプレートを用いた要約の例を示す図である。同図（ａ）はスライド画像Ｓ１〜Ｓ７と抽出されたＲＯＩを示す図、（ｂ）はコラージュテンプレートとコラージュ領域優先度を示す図、（ｃ）はスライド画像のＲＯＩを中心にコラージュテンプレートを使った要約を合成した場合の例である。なお、同図において網掛け部分がＲＯＩである。コラージュテンプレート８０の切り抜かれた各コラージュ領域（１）〜（５）は、予め大きさや配置から割り当て優先順位を決めておく。重要度決定部２６が計算する画像の重要度スコアの高い順に、スライド画像Ｓ１〜Ｓ５に対して優先度の高いコラージュ領域を割り当てる。

図１９は、情報記録配信装置のハードウエア構成を示す図である。図１９に示すように、情報記録配信装置２０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤ（Hard Disk）１０４などにより構成されている。ＣＰＵ１０１は、ＲＡＭ１０３を作業メモリとし、ＲＯＭ１０２やＨＤ１０４に格納されたプログラムを実行することにより、図２に示す各機能が実現される。なお、本発明による情報処理方法は、情報処理システム１によって実現される。

上記実施形態によれば、会議での発表者の意図、参加者の反応、発表内容や視聴者フィードバックなど画像特徴以外のメタデータを利用して注目部分であるＲＯＩ領域を抽出することにより、内容に基づいた抽出ができる。これにより、発表者、参加者の意図および視聴者興味度合いを反映した要約の作成を行うことができる。また、抽出したＲＯＩからステンドグラス要約画像を合成することにより、利用者が会議のポイントを発見しやすくしたり、会議全体の内容を把握する時間を短縮したり、探している部分の発見を容易にすることができる。後で資料を振り返る者に対して、発表者の意図や視聴者の反応を伝えることができ、資料の振り返りを支援できる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。上記実施形態では資料の例としてスライド画像等の電子的な資料を例にとって説明したが、本発明はこれに限定されることなく、会議中に配布される紙資料についても適用できる。また、上記実施形態においては索引データに基づいて要約を作成する例について説明したが、本発明ではこれに限定されることなく、複数の資料を加工するような資料の作成方法についても本発明を適用することができる。また、資料の加工をするだけでなく、索引データに基づいてスライド画像を並び替えるような処理を行うようにしてもよい。

また、上記では、重要度決定部２６が、資料としてのスライドが複数の要素を含む場合、複数の要素毎に重要度を決定し、要約作成部２７が、重要度決定部２６が決定した要素の重要度に基づいて、要素のデータを処理する場合の例について説明した。本発明では、この例に限定されることなく、資料が複数の要素を含まない場合であっても適用することができる。また、上述したように資料を合成して要約を作成する場合だけでなく、例えば送信部２８が、重要度決定部２６が決定した資料の重要度に基づいて資料のデータを配信する処理を行うようにしてもよい。このとき、資料に対する重要度は、閲覧する利用者によって変更することができる。例えば、ある利用者は、“見出し語”、“閲覧”、“傾聴”、“精読”の順に重要であると予め設定しておくことができる。この場合、送信部２８は、このような利用者の設定に従って資料のデータを利用者に配信する。

また、送信部２８は、スライドの要素の分類結果に基づいて、処理する資料を選択することもできる。例えば、ある利用者は、“見出し語”、“閲覧”のスライドを送信するように設定し、“傾聴”又は“精読”のスライドについては送信しないように設定した場合、送信部２８は、これらの設定とスライドの要素の分類結果に基づいて、配信するスライドの要素を選択する。これにより、利両者は、自分の希望する資料を得ることができる。また、送信部２８は、配信を受ける側の興味の観点で重み付けするようにしてもよい。例えば、重要度決定部２６は、概要が分かればよいものに対しては、見出し語の分類の重要度が高くなるように、精読の分類が低くなるようにする。このようにして重要度決定部２６が分類したものに対して重要度を変更することで、送信部２８は利用者に対して適切に資料を配信することができる。

本発明の実施形態に係るシステムの全体構成図である。 配信システムの構成を示す図である。 スライド分類に応じた要約作成テーブルの例を示す図である。 図３に示したテーブルを用いてステンドグラス要約画像を作成する手順を示すフローチャートである。 スライドの説明時間に応じた要約作成テーブルの例を示す図である。 図５に示した要約作成テーブルを用いてステンドグラス要約画像を作成する手順を示すフローチャートである。 （ａ）は、重要度が決定されたスライドを示す図、（ｂ）はステンドグラス要約画像を示す図である。 要約画像の生成フローチャートである。 会議中の注目点を反映した要約の例を示す図である。 図９の要約画像の作成手順を示すフローチャートである。 内容に基づいた要約の検索結果への適用例を説明するための図である。 図１１の要約画像の作成手順を示すフローチャートである。 （ａ）は、分類が決定されたスライドを示す図、（ｂ）はステンドグラス要約画像を示す図である。 スライド分類別のステンドグラス作成時に合成するスライド最大枚数設定用のテーブルを示す図である。 ニュースサマリをステンドグラス要約画像で表示した場合の例を示す図である。 スライド画像からマンガ要約画像を生成する場合の例を示す図である。 スライドと発表者、参加者画像からマンガ要約を生成する場合の例を示す図である。 ビデオ・コラージュテンプレートを用いた要約の例を示す図である。 情報記録配信装置のハードウエア構成を示す図である。

符号の説明

１ 情報処理システム
１０ プレゼンテーションシステム
２０ 情報記録配信装置
２１ コンテンツＤＢ
２２ 特徴情報抽出部
２３ 蓄積部
２４ 検索部
２５ 資料内容解析部
２６ 重要度決定部
２７ 要約作成部
２８ 送信部
３０ ユーザー端末

Claims (19)

1. 視聴者に対して資料を用いて発表する発表者及び前記視聴者のうちの少なくとも一方をキャプチャした情報に基づいて、前記資料を用いた発表時における前記発表者及び前記視聴者のうちの少なくも一方の特徴情報を抽出する抽出手段と、
   前記抽出手段が抽出した特徴情報に基づいて前記資料の重要度を決定する決定手段と、
   前記決定手段が決定した資料の重要度に基づいて前記資料のデータを処理する処理手段と
   を備えることを特徴とする情報処理システム。
2. 前記資料のデータに基づいて前記資料の内容を解析する解析手段をさらに備え、
   前記決定手段は、前記抽出手段が抽出した特徴情報及び前記解析手段が解析した資料の内容に基づいて前記各資料の重要度を決定することを特徴とする請求項１に記載の情報処理システム。
3. 前記決定手段は、前記資料が複数の要素を含む場合、前記複数の要素毎に重要度を決定し、
   前記処理手段は、前記決定手段が決定した要素の重要度に基づいて、前記要素のデータを処理することを特徴とする請求項１又は請求項２に記載の情報処理システム。
4. 前記処理手段は、前記決定手段が決定した要素の重要度に基づいて、前記要素を合成したデータを作成することを特徴とする請求項３に記載の情報処理システム。
5. 前記処理手段は、前記要素の重要度に応じて前記要素を掲載する領域を変更して前記要素を合成することを特徴とする請求項４に記載の情報処理システム。
6. 前記抽出手段は、前記発表者の意図に関する情報を前記特徴情報として抽出することを特徴とする請求項１から請求項５のいずれかに記載の情報処理システム。
7. 前記発表者の意図に関する情報は、前記発表者の資料に対する発表時間、前記発表者の属性、前記発表者の人数、前記発表者の資料に対する説明回数、前記発表者が発話したキーワード及び前記発表者が前記資料中の注目領域を指す動作のうちの少なくとも一つを含むことを特徴とする請求項６に記載の情報処理システム。
8. 前記抽出手段は、前記視聴者の反応に関する情報を前記特徴情報として抽出することを特徴とする請求項１から請求項５のいずれかに記載の情報処理システム。
9. 前記視聴者の反応に関する情報は、前記視聴者の前記資料の参照回数及び前記視聴者の資料の視聴率のうちの少なくとも一方を含むことを特徴とする請求項８に記載の情報処理システム。
10. 前記解析手段は、前記資料のデータに含まれるキーワード、音声データ及び画像データのうちの少なくとも一つに基づいて前記資料の内容を解析することを特徴とする請求項２に記載の情報処理システム。
11. 前記決定手段は、前記抽出手段が抽出した特徴情報に基づいて前記資料を分類し、該分類結果に応じて前記資料の重要度を決定することを特徴とする請求項１から請求項１０のいずれかに記載の情報処理システム。
12. 前記処理手段は、前記決定手段が決定した資料の重要度に基づいて前記資料のデータを配信する処理を行うことを特徴とする請求項１１に記載の情報処理システム。
13. 前記処理手段は、前記資料の分類結果に基づいて、処理する資料を選択することを特徴とする請求項１２に記載の情報処理システム。
14. 前記資料は、電子的な資料及び紙資料の少なくとも一方であることを特徴とする請求項１から請求項１３のいずれか記載の情報処理システム。
15. 視聴者に対して資料を用いて発表する発表者及び前記視聴者の少なくとも一方をキャプチャした情報に基づいて、前記資料を用いた発表時における前記発表者及び前記視聴者のうちの少なくとも一方の特徴情報を抽出する抽出ステップと、
    前記抽出ステップで抽出した特徴情報に基づいて前記資料の重要度を決定する決定ステップと、
    前記決定ステップで決定した資料の重要度に基づいて前記資料のデータを処理する処理ステップと
    を有することを特徴とする情報処理方法。
16. 前記資料のデータに基づいて前記資料の内容を解析する解析ステップをさらに有し、
    前記決定ステップは、前記抽出ステップで抽出した特徴情報及び前記解析ステップで解析した資料の内容に基づいて前記資料の重要度を決定することを特徴とする請求項１５に記載の情報処理方法。
17. 前記決定ステップは、前記資料が複数の要素を含む場合、前記複数の要素毎に重要度を決定し、
    前記処理ステップは、前記決定ステップで決定した要素の重要度に基づいて、前記要素のデータを処理することを特徴とする請求項１５又は請求項１６に記載の情報処理方法。
18. 前記処理ステップは、前記決定ステップで決定した要素の重要度に基づいて、前記要素を合成したデータを作成することを特徴とする請求項１７に記載の情報処理方法。
19. 請求項１５から請求項１８のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images