JP2009294984A - 資料データ編集システム及び資料データ編集方法 - Google Patents

Abstract

【課題】資料データのうち、ユーザの説明のポイントやユーザが重要と考えている箇所を、特別な操作をすることなく、手間なく簡便に特定し、編集することのできる資料データ編集システム及び資料データ編集方法を提供する。
【解決手段】資料データに基づく資料を表示するスクリーン６と、スクリーン６に表示される資料のうちユーザの指示動作により特定される指示箇所の位置情報を取得する指示箇所情報取得部１３と、指示箇所情報取得部１３により位置情報が取得された指示箇所について、指示動作の動作態様に基づいて注目度合いを算出する注目度合い算出部１５と、注目度合い算出部１５により算出された注目度合いに応じて指示箇所に対応する資料データを編集し該編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集部１６と、を備えている。
【選択図】図５

Description

本発明は、資料データ編集システム及び資料データ編集方法に関する。

従来、プレゼンテーション等に用いられる資料について要約や会議録等を作成する際には、膨大な資料を読み直し、その重要箇所を抽出してまとめる作業が必要であった。しかし、近年、プレゼンテーション等に用いられる資料は電子化されており、電子化された資料データの中から重要箇所を自動的に抽出する技術が開発されている。

例えば、特許文献１には、動画入力手段、静止画入力手段、音声入力手段、ペン入力手段、ポインティング手段等を備え、これらの入力手段から入力されるマルチメディア情報からキーワードを抽出し、このキーワードの抽出頻度、発話者、文字認識処理が可能な手書き文字の書き込み頻度、「決定」「課題」等の定型語の頻度等から重要項目であるか否かを決定して重要場面の検索用ファイルを作成する会議録作成支援装置が提案されている。このような構成とすることにより、重要な項目が入った場面を短時間で検索編集することができ、会議録を簡便に編集作成することができる。

また、例えば、特許文献２には、撮影映像や資料情報、ホワイトボードに書き込まれた画像等を会議情報としてクライアントに配信し、その視聴率に基づいて会議情報を選択・記録することにより、編集者を要することなく、適切に会議情報を作成することのできる会議記録方法が提案されている。
特開平７−１８２３６５号公報 特開２００４−１１２６３８号公報

しかしながら、特許文献１に記載された技術によれば、動画情報、音声情報等、各メディア入力情報の認識処理等の特別な処理を行うことが必要であり、従来のプレゼンテーション装置をそのまま使用することができない。また、キーワードの微妙な表現方法の違いが精度に影響することも考えられ、資料の重要箇所を抽出するのに簡便な方法であるとはいいがたい。
また、特許文献２に記載された技術によれば、クライアント（受け手）側のアクションに基づいて会議情報を選択するため、必ずしもユーザ（説明者）側の意図や行動に沿った記録を行うことができないとの問題がある。

そこで、本発明は以上のような事情に鑑みてなされたものであり、資料データのうち、ユーザの説明のポイントやユーザが重要と考えている箇所を、特別な操作を必要とせず、手間なく簡便に特定し、編集することのできる資料データ編集システム及び資料データ編集方法を提供することを目的とするものである。

前記課題を解決するために、請求項１に記載の発明は、資料データ編集システムにおいて、
資料データに基づく資料を表示する資料表示手段と、
前記資料表示手段に表示される前記資料のうちユーザの指示動作により特定される指示箇所の位置情報を取得する指示箇所情報取得手段と、
前記指示箇所情報取得手段により位置情報が取得された前記指示箇所について、前記指示動作の動作態様に基づいて注目度合いを算出する注目度合い算出手段と、
前記注目度合い算出手段により算出された前記注目度合いに応じて前記指示箇所に対応する資料データを編集し該編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集手段と、を備えていることを特徴としている。

請求項２に記載の発明は、請求項１に記載の資料データ編集システムにおいて、
前記指示箇所情報取得手段は、前記指示箇所を特定するポインタの位置情報を時系列的に取得することにより前記指示箇所の位置情報を取得するポインタ位置情報取得手段であり、
前記注目度合い算出手段は、前記ポインタ位置情報取得手段により取得されたポインタ位置情報に基づいて前記注目度合いを算出するものであることを特徴としている。

請求項３に記載の発明は、請求項１又は請求項２に記載の資料データ編集システムにおいて、
前記注目度合い算出手段は、前記指示箇所の表示時間に基づいて前記注目度合いを算出するものであることを特徴としている。

請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の資料データ編集システムにおいて、
前記資料表示手段に一度に表示される領域単位で前記資料データ編集手段による編集対象となりうる編集候補領域を設定する編集候補領域設定手段をさらに備えていることを特徴としている。

請求項５に記載の発明は、請求項１から請求項３のいずれか一項に記載の資料データ編集システムにおいて、
前記資料表示手段に一度に表示される領域内において当該領域を細分化して前記資料データ編集手段による編集対象となりうる編集候補領域を設定する編集候補領域設定手段をさらに備えていることを特徴としている。

請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の資料データ編集システムにおいて、
前記指示箇所及び当該指示箇所の注目度合いに関する情報を、対応する資料データと関連付けて保存する指示箇所情報保存手段をさらに備えていることを特徴としている。

請求項７に記載の発明は、請求項４から請求項６のいずれか一項に記載の資料データ編集システムにおいて、
前記編集候補領域に関する情報を、対応する資料データと関連付けて保存する編集候補領域情報保存手段をさらに備えていることを特徴としている。

請求項８に記載の発明は、請求項１から請求項７のいずれか一項に記載の資料データ編集システムにおいて、
前記資料データ編集手段は、前記注目度合いに応じて段階的に前記資料データの編集方法を変えるものであることを特徴としている。

請求項９に記載の発明は、請求項１から請求項８のいずれか一項に記載の資料データ編集システムにおいて、
前記資料データ編集手段は、前記資料データにおける編集箇所の表示体裁情報を抽出し、当該編集箇所についてこの抽出結果とは異なる表示体裁で表示を行うように前記資料データを編集するものであることを特徴としている。

請求項１０に記載の発明は、資料データ編集方法であって、
資料データに基づく資料を表示する資料表示工程と、
前記資料表示工程において表示される前記資料のうちユーザの指示動作により特定される指示箇所の位置情報を取得する指示箇所情報取得工程と、
前記指示箇所情報取得工程において位置情報が取得された前記指示箇所について、前記指示動作の動作態様に基づいて注目度合いを算出する注目度合い算出工程と、
前記注目度合い算出工程において算出された前記注目度合いに応じて前記指示箇所に対応する資料データを編集し該編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集工程と、
を含んでいることを特徴としている。

請求項１１に記載の発明は、請求項１０に記載の資料データ編集方法において、
前記指示箇所情報取得工程は、前記指示箇所を特定するポインタの位置情報を時系列的に取得することにより前記指示箇所の位置情報を取得するポインタ位置情報取得工程であり、
前記注目度合い算出工程は、前記ポインタ位置情報取得工程において取得されたポインタ位置情報に基づいて前記注目度合いを算出するものであることを特徴としている。

請求項１２に記載の発明は、請求項１０又は請求項１１に記載の資料データ編集方法において、
前記注目度合い算出工程は、前記注目領域の表示時間に基づいて前記注目度合いを算出するものであることを特徴としている。

請求項１３に記載の発明は、請求項１０から請求項１２のいずれか一項に記載の資料データ編集方法において、
前記資料表示工程において一度に表示される領域単位で前記資料データ編集工程における編集対象となりうる編集候補領域を設定する編集候補領域設定工程をさらに備えていることを特徴としている。

請求項１４に記載の発明は、請求項１０から請求項１２のいずれか一項に記載の資料データ編集方法において、
前記資料表示工程において一度に表示される領域内において当該領域を細分化して前記資料データ編集工程における編集対象となりうる編集候補領域を設定する編集候補領域設定工程をさらに備えていることを特徴としている。

請求項１５に記載の発明は、請求項１０から請求項１４のいずれか一項に記載の資料データ編集方法において、
前記指示箇所及び当該指示箇所の注目度合いに関する情報を、対応する資料データと関連付けて保存する指示箇所情報保存工程をさらに含んでいることを特徴としている。

請求項１６に記載の発明は、請求項１３から請求項１５のいずれか一項に記載の資料データ編集方法において、
前記編集候補領域に関する情報を、対応する資料データと関連付けて保存する編集候補領域情報保存工程をさらに含んでいることを特徴としている。

請求項１７に記載の発明は、請求項１０から請求項１６のいずれか一項に記載の資料データ編集方法において、
前記資料データ編集工程は、前記注目度合いに応じて段階的に前記資料データの編集方法を変えるものであることを特徴としている。

請求項１８に記載の発明は、請求項１０から請求項１７のいずれか一項に記載の資料データ編集方法において、
前記資料データ編集工程は、前記資料データにおける編集箇所の表示体裁情報を抽出し、当該編集箇所についてこの抽出結果とは異なる表示体裁で表示を行うように前記資料データを編集するものであることを特徴としている。

請求項１及び請求項１０に記載の発明によれば、ユーザの指示動作によって指示箇所を特定し、指示動作の動作態様に基づいて当該指示箇所の注目度合いを算出して資料データを編集するので、ユーザが重要と考えている箇所に強調等の編集処理を加えることができる。これにより、特別な操作をすることなく、手間なく簡便にユーザの意図や行為に沿った資料の編集を行うことができる。また、資料を見る側（受け手側）にユーザの意図を簡易な手法で分かりやすく伝えることが可能となるとの効果を奏する。

請求項２及び請求項１１に記載の発明によれば、特別な操作や所作を必要とせず、プレゼンテーション等におけるポインティング動作を行うことにより、資料内の指示箇所を特定することができる。このため、プレゼンテーション等に用いられる従来の装置をそのまま用いて指示箇所の抽出・編集等を行うことができる。また、ある場所に対して強調するような動作態様でポインティングが行われた場合に、それを検出して、注目度合い値にそれなりの重みを加えることができるとの効果を奏する。

請求項３及び請求項１２に記載の発明によれば、特別な操作や所作を必要とせず、資料の説明を行う者等が注目すべき・重要と考える資料中の箇所・ページを特定することができる。このため、プレゼンテーション等に用いられる従来の装置をそのまま用いて指示箇所の抽出・編集等を行うことができるとの効果を奏する。

請求項４及び請求項１３に記載の発明によれば、資料の説明を行う者等が注目すべき・重要と考える資料中の箇所・ページを抽出したり、説明を受ける相手方に提示することができるとの効果を奏する。

請求項５及び請求項１４に記載の発明によれば、資料の１ページ内において、資料の説明等を行う者が注目すべき・重要と考える箇所を抽出したり、説明を受ける相手方に提示することができるとの効果を奏する。

請求項６及び請求項１５に記載の発明によれば、資料の説明を行う者（ユーザ）や資料の読み手等が注目すべき・重要と考えた箇所がどこであるか、ユーザや資料の読み手の意図を保存することができる。そして、保存した情報を用いて、ユーザや資料の読み手の意図を他の閲覧者に伝えることができる。また、保存した情報は、資料の概要や議事録等をまとめる際の材料として用いることができ、簡易に資料の概要や議事録等を作成できるとの効果を奏する。

請求項７及び請求項１６に記載の発明によれば、編集候補領域に関する情報を資料データと関連付けて保存するので、資料の説明を行う者や資料の読み手等が注目すべき・重要と考えた箇所がどこであるか、その意図をより詳細に残すことができ、保存した情報を用いて簡易に資料の概要や議事録等を作成できるとの効果を奏する。

請求項８及び請求項１７に記載の発明によれば、注目度合いの程度に応じて段階的に資料データの編集方法を変えるので、資料の説明を行う者や資料の読み手等が注目すべき・重要と考えた箇所がどこであるか、その意図を、相手方により視覚的、説得的に伝えることができるとの効果を奏する。

請求項９及び請求項１８に記載の発明によれば、強調したい部分については、元の資料データに基づく資料とは異なる表示体裁で表示させるので、資料の説明を行う者や資料の読み手等が注目すべき・重要と考えた箇所がどこであるか、その意図を、相手方により視覚的、説得的に伝えることができるとの効果を奏する。

以下、図面を参照しながら本発明を実施するための最良の形態について説明する。ただし、本発明の範囲は以下の実施形態及び図示例に限定されるものではない。

図１から図２０を参照しつつ、資料データ編集システムの一実施形態について説明する。
図１は、本実施形態における資料データ編集システム１００の概略構成を示した図である。資料データ編集システム１００は、例えばユーザである会議の報告者が会議資料等を表示手段に表示させて、複数人に説明を行う場合や、報告者の説明のポイントを後日議事録等にまとめる場合、報告者の説明のポイント部分を後から確認する場合、同じ資料について複数人が情報を共有する場合が想定されるシステムである。

図１に示すように、資料データ編集システム１００は、複数の資料データ編集装置１ａ，１ｂ，１ｃ、資料サーバ３を備えて構成されており、これらは、例えば図示しないスイッチングハブ等を介してＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワーク（以下単に「ネットワーク」と称する。）５により接続されている。また、資料データ編集システム１００は、資料データに基づく資料を表示可能な資料表示手段として図示しないプロジェクタ及び画像を投影するスクリーン６（図１２参照）を備えている。プロジェクタは、例えばＵＳＢ等により資料データ編集装置１ａ，１ｂ，１ｃと接続されており、スクリーンに投影すべきデータが資料データ編集装置１ａ，１ｂ，１ｃから送られるようになっている。
なお、本実施形態では、３台の資料データ編集装置１ａ，１ｂ，１ｃを備える場合を例示しているが、資料データ編集装置の台数は特に限定されない。例えばさらに多くの資料データ編集装置がネットワーク５に接続されていてもよいし、１台の資料データ編集装置のみがネットワーク５に接続されている構成としてもよい。
また、各資料データ編集装置１ａ，１ｂ，１ｃは、常時ネットワーク５に接続されていなくてもよい。例えば、資料データ編集装置１ａ，１ｂ，１ｃをネットワーク５に接続して資料サーバ３から資料データ等を取得した後に、ネットワーク５との接続を解除して、オフラインの状態で資料データの編集作業を行うようにしてもよい。

資料サーバ３は、各種のデジタル形式の資料データが保存されているデータサーバである。資料サーバ３は、資料データ（元の資料のデータ）とその関連情報データとを分離処理可能に保持しており、関連情報データは資料データと関連付けられて記憶されている。
なお、このように、資料データと関連情報データとは、分離処理が可能であり、かつ相互に関連付けられていればよく、その保存形態は、元の資料の資料データと同じファイル上に関連情報データが保存されていてもよいし、両者が異なるファイルとして保存されていてもよい。

図２に資料サーバ３に記憶されている資料データ、関連情報データの例を示す。図２では、資料データとして「会議資料」、「報告資料」、「発表資料」、「講義資料」のデータが記憶されており、このうち、「会議資料」の資料データに関連情報データとして編集候補領域情報データ、指示箇所情報データ及び注目度合いデータが関連付けられて保存されている場合を例示している。本実施形態において、資料サーバ３は、編集候補領域情報データ（編集候補領域に関する情報）を、対応する資料データと関連付けて保存する編集候補領域情報保存手段であり、注目度合いデータ（指示箇所及び当該指示箇所の注目度合いに関する情報）を、対応する資料データと関連付けて保存する指示箇所情報保存手段である。

本実施形態において、資料データとは、例えば、会議における説明資料等の会議資料、各種報告会における報告資料、技術発表会における発表資料、講義資料のような各種のプレゼンテーション資料等、多くの場合“１対多”の関係で、ユーザである文書作成者や報告者により、口頭で説明される文書であり、広くは、講義に使用される講義資料や教科書も含むものである。

また、編集候補領域情報データとは、資料データにおける文章のセンテンス、文章や語句の塊、オブジェクト（図表含む）、新たに付加されたマーキングやアノテーション、といったある一定のまとまりごとに設定される編集候補領域に関する情報である。編集候補領域は、後述する資料データ編集部１６による編集の対象となりうる領域であり、後述するように、この編集候補領域のうち、注目度合い算出部１５による算出結果から注目度が高いと判断された領域について資料データ編集部１６による編集が行われる。
編集候補領域の設定は、後述するように、編集候補領域設定部により自動的に行われる。なお、編集候補領域の設定は、ユーザ等が編集候補領域としたい箇所に任意に行うようにしてもよい。また、編集候補領域設定部により自動的に設定された編集候補領域に対してユーザ等が事後的に適宜追加・削除・変更等を行うことができるようにしてもよい。

図３に、編集候補領域情報データの一例を示す。
本実施形態では、図３に示すように、編集候補領域情報データは、元データ（本実施形態では「会議資料.doc」）と関連付けられており、編集候補領域が設定されているページのページ番号、各編集候補領域を識別するための領域ＩＤ、領域位置情報、領域サイズ情報、編集候補領域内のコンテンツ情報から構成されている。

このうち、領域位置情報は、資料中のどこに編集候補領域が設定されているかに関する位置情報であり、例えば当該編集候補領域の基点となる１点をｘ，ｙ座標で特定することができる数値である。
本実施形態において、領域位置情報は、資料の１ページ内において左上隅を基準とし、編集候補領域の左上隅を編集候補領域の基点としたときに、当該基点が資料の１ページ（資料表示手段に一度に表示される領域内）のどこに位置するかを、ｘ，ｙ座標に換算可能なページ全体に対する比率で表したものである。例えば、ページ全体が、横（ｘ）方向が６００ピクセル、縦（ｙ）方向が４００ピクセルのサイズである場合に、領域位置情報がｘ＝０．７５、ｙ＝０．４である場合、当該ページ上における実際のｘ，ｙ座標値に換算すると、ｘ方向は４５０、ｙ方向は１６０に該当する。
なお、編集候補領域の基点は、左上隅である場合に限定されない。また、領域位置情報はここに例示したものに限定されず、例えば編集候補領域の基点を示すｘ，ｙ座標そのものを領域位置情報として保存しておいてもよい。

また、領域サイズ情報は、領域位置情報として記憶されている編集候補領域の基点からの横（ｘ軸）方向における距離及び縦（ｙ軸）方向における距離を表わすものである。コンテンツ情報は、当該領域に位置するコンテンツに関する情報等であり、例えばコンテンツの内容、コンテンツを構成する文字等の色、フォント、フォントサイズ、背景（背景の色）、コンテンツの種別（文字情報、図形情報、表情報、手書き情報等、コンテンツの種類）である。

例えば、ページ番号１のページには、識別記号ＩＤ１−１からＩＤ１−７の編集候補領域が設定されており、このうち、識別記号ＩＤ１−１の編集候補領域は、編集候補領域の左上隅の位置をｘ，ｙ座標に換算可能なページ全体に対する比率で表した場合に（ｘ，ｙ）＝（０．０５，０．０５）であり、領域サイズは、横（ｘ軸）方向が左上隅の位置から０．３、縦（ｙ軸）方向が左上隅の位置から０．０５である（なお、ここに示したサイズは、編集候補領域のサイズをページ全体に対する比率で表したものであり、これを、上記の例で示したように、ページ全体が、横（ｘ）方向が６００ピクセル、縦（ｙ）方向が４００ピクセルのサイズである場合のサイズに換算すると、横（ｘ）方向のサイズが１８０、縦（ｙ）方向のサイズが２０に相当する。）。また、当該領域内のコンテンツは、「タイトル」であり、文字の色は「青」、フォントは「ＭＳゴシック」、フォントサイズは「３２ｐｔ」、背景は「透明」、コンテンツ種別は「文字」となっている。
なお、編集候補領域情報データは、ここに挙げたものに限定されず、ここに例示したもの以外の情報を含んでいてもよいし、ここに挙げたものの一部のみを備えるものでもよい。

指示箇所情報データとは、表示スクリーンに表示される資料のうちユーザ（報告者等）の指示動作により特定される指示箇所に関する情報である。指示箇所とは、資料表示部上に表示される資料中、ユーザがポインタ等で指示することにより特定された箇所である。指示箇所情報データは、ポインタ等の位置情報を時系列的に並べたものであり、後述するように、指示箇所情報取得部により取得される。

図４に、指示箇所情報データの一例を示す。
図４に示すように、指示箇所情報データは、編集候補領域情報データと同じく元データと関連付けられており、例えば、指示箇所が位置しているページのページ番号、指示箇所の位置を表す座標情報、当該指示箇所に対してポインタ等による指示が行われた時刻を表す時刻情報等を含んでいる。
座標情報は、前述の領域位置情報と同様に、ポインタ等による指示動作があった箇所をｘ，ｙ座標で特定することができる数値であり、ページの左上隅を基点としたときに、ポインタ等で指示された指示箇所が資料の１ページ（資料表示手段に一度に表示される領域内）のどこに位置するかを、ｘ，ｙ座標に換算可能なページ全体に対する比率で表したものである。
また、時刻情報は、当該箇所の座標が取得された取得時刻の情報である。
なお、指示箇所情報データは、ここに挙げたものに限定されず、ここに例示したもの以外の情報を含んでいてもよいし、ここに挙げたものの一部のみを備えるものでもよい。

注目度合いデータ（図示せず）は、後述する注目度合い算出部により各種重み付け処理を行って算出された結果のデータであり、元データと関連付けられており、重み付け処理の結果が各編集候補領域の領域ＩＤと対応付けられて記憶されている。
後日ユーザはこの注目度合いデータに基づいて資料データの編集を行うことができ、注目度合いデータを反映させた資料データに基づく資料を各種表示装置に表示・閲覧することができる。

資料表示手段は、資料の報告者等が、資料の説明時に資料データに基づく資料を表示する手段である。資料表示手段は、例えば、各種ディスプレイ（例えばプラズマディスプレイ等の大画面ディスプレイやパーソナルコンピュータ等に設けられているディスプレイ）、デジタルホワイトボード等、デジタルデータを直接表示可能なものの他、スクリーンを用いた投影型のものでもよい。なお、投影型の資料表示手段としては、資料データを液晶プロジェクタを用いてそのままスクリーンに投影する場合、ＯＨＰ（overhead projector）を用いる場合等、いずれの手法を用いるものでもよい。ＯＨＰを用いる場合には、例えばＯＨＰシート１枚で資料の１ページ分を表示するようにし、資料データとのパターンマッチングを行うことにより、指示箇所の資料データ上の位置を特定する。なお、資料表示手段はここに例示したものに限定されない。
なお、本実施形態においては、資料データに基づく資料を表示可能なスクリーン６（図１２等参照）及び資料データ編集装置１ａ，１ｂ，１ｃの表示部２２が資料表示手段として機能する場合を例として説明する。

資料データ編集装置１ａ，１ｂ，１ｃは、資料サーバ３に格納されている資料データに基づく資料等を閲覧、編集することができるコンピュータであり、図５に示すように、制御部１０、ＲＯＭ（Read Only Memory）１８、ＲＡＭ（Random Access Memory）１９、情報記憶部２０、入力部２１、表示部２２、通信部２３等を備えて構成されており、各部はバス２５を介して接続されている。

入力部２１は、例えばカーソルキー、数字入力キー、及び各種機能キー等を備えたキーボード、マウス等のポインティングデバイス、手書き入力用のタブレット及びスタイラスペン等（いずれも図示せず）を備えて構成されており、キーボードに対するキー操作やマウス操作、スタイラスペンによる操作等により入力された指示信号を制御部１０に出力するものである。
本実施形態において、資料データ編集装置１ａ，１ｂ，１ｃの表示部２２が資料表示手段として機能する場合には、入力部２１は、ユーザが指示箇所を特定する指示動作を行う手段として機能する。すなわち、この場合には、表示部２２上に表示された資料画面に対して入力部２１においてキーボード操作、マウス操作、スタイラスペン操作等によってポインティング、マーキング等を行うことにより指示箇所の指示を行うことができる。この場合、後述する指示箇所情報取得部は、このキーボード操作、マウス操作、スタイラスペン操作を検出することにより、指示箇所の情報を取得する。

表示部２２は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）、有機ＥＬパネル、プラズマディスプレイ等、公知のモニタにより構成されており、制御部１０から入力される表示信号の指示に従って、各種情報や入力画面等を表示するものである。
本実施形態において表示部２２は、資料データに基づく資料を表示する資料表示手段として機能することができ、資料の報告者、発表者等のユーザが、この表示部２２に表示された資料をマウス操作やスタイラスペン操作等によりポインティング、マーキング等を行うことによって、指示箇所の特定を行うことができる。また、編集候補領域の設定の追加・削除・変更等をこの表示部２２上で行うこともできる。

なお、前記表示部２２の表示画面上に、透明電極を格子状に配置した感圧式（抵抗膜圧式）のタッチパネル（図示せず）を形成し、表示部２２に表示される画面と入力部２１とが一体に構成されるタッチスクリーンとし、これを付加情報入力手段として機能させてもよい。また、表示部２２は、タブレット用のパネルでもよい。この場合、タッチパネルやタブレット用のパネルは、手指やスタイラスペン等で押下された力点のＸＹ座標を電圧値で検出し、検出された位置信号が操作信号として制御部１０に出力されるように構成される。なお、タッチパネルの構成は、感圧式のものに限定されず、例えば電磁誘導方式等、他の方式によるものでもよい。

通信部２３は、ＬＡＮアダプタ、モデム、ＴＡ（Terminal Adapter）等を備え、ＬＡＮ（Local Area Network）等のネットワーク５に接続された各装置との間でデータの送受信を行うものである。なお、通信部２３は他の装置と各種データの送受信が可能なものであればよく、上記のようなネットワーク５を介して各装置と接続されるものに限定されない。

ＲＯＭ１８は、例えば半導体の不揮発性メモリ等により構成されており、資料データ編集装置１に対応するシステムプログラム、該システムプログラム上で実行可能な制御処理プログラム等の各種プログラムを記憶している。本実施形態において、ＲＯＭ１８には、資料データについて指示箇所を抽出し、その指示箇所の注目度合いを算出して、当該指示箇所に対応する資料データを編集する資料データ編集プログラム等が格納されている。各種プログラムは、コンピュータ読み取り可能なプログラムコードの形態でＲＯＭ１８に格納されており、制御部１０は、当該プログラムコードに従った動作を逐次実行する。

ＲＡＭ１９は、制御部１０により実行制御される各種処理において、ＲＯＭ１８から読み出された各種プログラム、入力若しくは出力データ、及び後述するパラメータ記憶部２０ｂに記憶されているパラメータ等を一時的に格納する一時記憶領域及びこれらを展開する作業領域を有している。

また、情報記憶部２０は、データ記憶部２０ａとパラメータ記憶部２０ｂとを備えている。
データ記憶部２０ａは、各種データを記憶するものである。データ記憶部２０ａには、例えば、指示箇所情報取得部１３によって取得された指示箇所の位置情報（図４参照）等が一時保存される。

パラメータ記憶部２０ｂは、上記プログラムの実行に必要な各種パラメータ等のデータを記憶しているものである。
本実施形態では、パラメータ記憶部２０ｂには、例えばポインタ７により指示箇所を特定するユーザの動作態様から注目度合いを算出するための各種重み付けパラメータや、指示箇所の注目度合いと資料データの編集手法とを対応付けたパラメータ等が記憶されている。

重み付けパラメータとしては、例えば、（ａ）ポインタ７の滞在時間、（ｂ）ポインタ７の移動の軌跡形状、（ｃ）説明時にアノテーションやマーキング等が付加されたか否か等がある。また、ページ単位で注目領域を判断する場合の重み付けパラメータとしては、（ｄ）当該ページが表示されていた時間、（ｅ）当該ページが表示された回数等がある。
ポインタ７の滞在時間が長い箇所は、その分ユーザが説明等に時間を要したことを意味し、注目度合いが高いといえる。そこで、（ａ）のパラメータは、ポインタ７が指示箇所にとどまっていた時間が長いほど重み付けが強くなるようになっている。また、ユーザが説明中に書き込みを行った箇所は注目度合いが高いといえるため、（ｃ）のパラメータは、説明時にアノテーション等が付加された場合には所定の重み付けを行うようになっている。また、ページ単位で見た場合には、表示されていた時間が長いページや繰り返し表示されているページは注目度合いが高いといえるため、（ｄ）のパラメータは、ページが表示されていた時間が長いほど重み付けが強くなり、（ｅ）のパラメータは、ページが表示された回数が多いほど重み付けが強くなるようになっている。また、（ｂ）のパラメータは、ポインタ７の移動の軌跡形状に応じて重み付けの強弱が対応付けられている。

ここで、ポインタ７の移動の軌跡の例を図６から図９を参照しつつ説明する。
ポインタ７の移動の軌跡のパターンとしては、例えば、図６に示すように、同じ文字列を円で１回囲む場合、図７に示すように、四角の枠で１回囲む場合、図８に示すように、円で複数回囲む場合、図９に示すように、文字列の下に複数回往復して下線を引く場合等が考えられる。
この場合、重み付けパラメータとしては、例えば、文字列が円（図６参照）又は四角（図７参照）で１回でも囲まれていれば注目度合いが高いものとしてポインタ７の滞在時間に応じた重み付けに対して定数倍の重み付けを行うようにパラメータが設定されている。また、ある文字列に沿って複数回ポインタ７が往復移動している場合（図８及び図９参照）には、その移動回数に応じて重み付けを行う。例えば、図９に示すように、文字列に沿ってポインタ７が往復移動している場合には、その往復回数に応じて重み付けを行う。また、図８に示すように、文字列を複数回囲んでいる場合には、文字列を１回囲んだ場合の重み付けに加えて、ポインタ７の往復回数でさらに重み付けを行うようにパラメータが設定されている。

なお、重み付けパラメータはこれに限定されない。例えば資料をスクリーンに投影して説明等を行う場合、ポインタ７で指示箇所を叩きながら指示した場合に重み付けが強くなるようにパラメータを設定してもよい。また、表示部２２を資料表示手段として用いる場合に、表示部２２に圧力センサ等を設け、指示箇所をユーザが指示した際により強い圧力がかかるほど、重み付けが強くなるようにパラメータを設定してもよい。

制御部１０は、例えば、図示しないＣＰＵ（Central Processing Unit）等を備えて構成されており、本体制御部１１、編集候補領域設定部１２、指示箇所情報取得部１３、注目領域抽出部１４、注目度合い算出部１５、資料データ編集部１６、表示制御部１７等を含んでいる。制御部１０は、ＲＯＭ１８等に記憶されている各種プログラムを読み出してＲＡＭ１９の作業領域に展開し、展開されたプログラムに従って後述する制御処理を実行して、資料データに対して編集処理を行うとともに資料データに基づく資料等を適宜表示部２２等に表示させるものである。

本体制御部１１は、資料データ編集装置１を構成する各構成要素・各機能部の動作を制御する機能部である。本体制御部１１は、例えば、通信部２３による各種データの送受信や、各種制御信号の入出力等を制御する。

編集候補領域設定部１２は、資料データ編集部１６による編集対象となりうる領域である編集候補領域の設定を行う編集候補領域設定手段である。編集候補領域設定部１２は、例えば、行頭文字の有無や改行等の情報、図形や表と文章の領域判別、文書作成時のオブジェクト管理情報等に基づいて資料データに適宜編集候補領域を設定する。なお、編集候補領域の設定についてはここに例示したもののほか、公知の手法を用いることができる。

図１０及び図１１に、編集候補領域の設定例を示す。図１０は、主として文字データのみで構成されたページ（図１０（ａ））について編集候補領域を設定する場合（図１０（ｂ））の一例を示したものであり、図１１は、文字データと図表データとが混在するページ（図１１（ａ））について編集候補領域を設定する場合（図１１（ｂ））の一例を示したものである。
図１０では、ＩＤａ−１からＩＤａ−７まで７つの編集候補領域が設定されており、図１１では、ＩＤｂ−１からＩＤｂ−９まで９つの編集候補領域が設定されている。

なお、必ずしも資料データの全域がいずれかの編集候補領域に属している必要はなく、例えば情報の存在しない領域や背景だけの部分等、編集候補領域とする必要のない部分についてはいずれの編集候補領域にも属さないとしてもよい。また、位置的に近い編集候補領域同士が部分的に重複することや、複数の編集候補領域が同じ部分を包含してもよい（例えば、図１０における領域ＩＤａ−１と領域ＩＤａ−２、領域ＩＤａ−６と領域ＩＤａ−７、図１１における領域ＩＤｂ−８と領域ＩＤａ−９等）。編集候補領域設定部１２は、編集候補領域を、実際のオブジェクトの存在する領域に対して大きめに設定してもよい。編集候補領域は、例えば表示部２２上でマウス等を操作することにより、その大きさや形状を任意に変更できることが好ましい。
図３で説明したように、編集候補領域設定部１２により設定された編集候補領域の情報は、各領域ごとに、元データ名（ファイル名）、領域ＩＤ、ページ番号、領域位置情報、領域サイズ情報、領域内の各種情報が１つのセットとして関連付けられ、編集候補領域情報データとして資料サーバ３に保存される。
なお、領域位置情報、領域大きさ情報は、絶対値、相対値どちらであってもよい。

指示箇所情報取得部１３は、情報表示手段（本実施形態においては、スクリーン６又は表示部２２）に表示される資料のうちユーザの指示動作により特定された指示箇所の位置情報を取得する指示箇所情報取得手段である。指示箇所情報取得部１３は、指示箇所の位置情報を取得すると、取得した時刻と関連付けてデータ記憶部２０ａに記憶させる。

指示箇所情報取得部１３は、指示箇所の位置情報を取得する手法に応じて、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた可視光カメラ（２眼以上も含む）等の映像撮影デバイスや、キーボード、マウス、タブレット、タッチパネル等の入力部２１による操作状況を検出するデバイス等により構成される。

指示箇所情報取得部１３が指示箇所の位置情報を取得する手法は、情報表示手段の種別やユーザが指示動作を行う手法等に応じて、以下のようなものが考えられる。

例えば、情報表示手段が表示部２２の表示画面であり、ユーザが手指の指先やスタイラスペンで資料を指し示すことにより指示箇所を特定する指示動作を行う場合には、手指やスタイラスペン等でタッチパネルやタブレット用のパネルを押下した力点のｘ，ｙ座標を電圧値として検出して、当該検出時の時刻情報と位置情報を取得する。
なお、指先の位置やペン先の位置を計測する手法はこれに限定されず、例えば指示箇所情報取得部１３として２眼以上のカメラシステムを備え、このカメラシステムによってタブレット上の指先の位置やペン先の位置を三次元計測してもよい。また、例えば指示箇所情報取得部１３として超音波や赤外線等を使用したセンサデバイスを備え、このセンサデバイスによりタブレット上の指先の位置やペン先の位置を計測し、当該検出時の時刻情報と位置情報を取得するようにしてもよい。

また、例えば、ユーザが表示部２２の表示画面上におけるポインタ７やカーソルで指示箇所を指示する場合には、ポインタ７やカーソルの位置情報を検出することにより指示箇所を特定する。この場合、指示箇所情報取得部１３は、定期的にポインタ７やカーソルの位置を検出して、当該検出時の時刻情報と位置情報を取得する。

また、例えば、情報表示手段が液晶プロジェクタやＯＨＰ等により資料データをスクリーン等に投影するものであり、スクリーンに投影・表示された資料をユーザがポインタ（指し棒・レーザポインタ等）や手で指示しながら説明を行っている場合に、そのポインタ等の位置を検出して指示箇所を特定する場合には、ポインタ等の動きを直接デジタルデータとして取得することができない。このため、このような場合には、スクリーンを撮影するための撮影装置（図示せず）を備え、指示箇所情報取得部１３は、撮影装置によって得られたスクリーン及びポインタ等の撮影画像のデジタルデータを取得して、このデジタルデータに基づいて指示箇所情報を取得する。この場合には、指示箇所情報取得部１３は、指示箇所を特定するポインタの位置情報を時系列的に取得するポインタ位置情報取得手段となっている。

本実施形態では、図１２に示すように、情報表示手段としてスクリーン６を用い、スクリーン６に表示された資料をユーザがポインタ７で指示することにより指示箇所の特定を行う場合を例として以下説明する。

指示箇所情報を所得するにあたっては、例えば、図１３に示すように、スクリーン６及びスクリーン６上を指示するポインタ７を図示しないデジタルカメラの撮影フレーム内に収めて撮影し、図１４に示すように、撮影画像の中からスクリーン６及びスクリーン６上を指示するポインタ７の部分を抽出してポインタ７の先端位置を検出する。撮影には、例えばＣＣＤ、ＣＭＯＳ等のデジタル動画カメラを使用することができる。指し棒や指でポインティングしている場合に、その位置を検出するためには、撮影画像から物体先端部の動きを解析・認識し抽出する。この場合には複眼以上のカメラで撮影し、ステレオビジョンの原理を用いて検出する。なお、レーザーポインタのように、資料表示手段の表示面にポインタがある場合は、カメラは複眼である必要はない。また、資料表示手段の表示面にポインタがある場合以外でも、ポインタがスクリーンに接しているか否か等の、奥行きに関する情報を必要としない場合には、複眼のカメラである必要はない。

なお、図１３に示すように、撮影の際に、スクリーン６の角度がずれている場合には、スクリーン６が水平になるように適宜角度補正を行う。そして、ポインタ７の先端が縦Ｈ、横Ｗであるスクリーン６の中のどの位置にあるか、その縦ｈ、横ｗの位置をｘ，ｙ座標として取得する。ポインタ７の位置を表す座標は、ユーザの指示動作に従って時間の経過とともに移動していき、指示箇所情報取得部１３は、これを複数時点において時系列的に取得する。これにより、前記図４に示すような指示箇所情報データを取得することができる。なお、図４中、ページ情報は、例えば、（ａ）撮影画像ともとの資料データとのパターンマッチングを行い、撮影されたものと最も合致するページを選択する、（ｂ）当該文書を開いているアプリケーションソフトの表示状況（表示しているページ番号）を解析する等の手法により行う。

注目場所抽出部１４は、資料中の指示箇所や指示箇所を含む指示領域のうち、ユーザが特に注目したと判断される注目箇所又は注目領域を抽出する機能部である。ここで、指示箇所とは、前述のように、ユーザがポインタ７等により指示した箇所であり、指示領域とは、編集候補領域設定部１２により設定された編集候補領域のうち、ユーザが指示した指示箇所を含む領域である。
注目場所抽出部１４は、指示箇所又は指示領域のうち、ポインタが一定時間滞在した場所をユーザが特に注目したと判断し、注目箇所又は注目領域として抽出する。なお、滞在時間がどの程度以上であれば注目箇所又は注目領域と判断するかについては、例えば、パラメータ記憶部２０ｂ等に予め閾値を記憶させておき、この閾値を超えるか否かで判断する。
なお、編集候補領域設定部１２が、１ページ単位（資料表示手段であるスクリーン６に一度に表示される領域単位）で資料における編集候補領域を設定する場合には、指示箇所を含むページが指示領域であり、注目場所抽出部１４は、このうち、総表示時間の長いページを注目領域として抽出する。

注目場所抽出部１４による注目箇所又は注目領域の抽出は、例えば以下のように行われる。
図１２のように、ユーザが「検討すべき課題として…」という文字列中の「問題Ｃ」近傍をポインタ７で指示している場合には、「問題Ｃ」が指示箇所であり、指示箇所を含む指示領域を抽出する場合には、注目場所抽出部１４は、当該文章列がいずれかの編集候補領域に属しているかを判断する。本実施形態では、図６（ｂ）に示すように、当該文字列は編集候補領域「ＩＤａ−３」に属しているため、注目場所抽出部１４は、編集候補領域「ＩＤａ−３」を指示領域として抽出する。
なお、編集候補領域単位ではなく、ユーザが指示したある単語等、編集候補領域単位の一部のみを選択して注目領域として抽出することができてもよい。この場合には、当該注目領域の位置情報等を指示箇所情報取得部１３によって取得された情報に基づいて取得する。

さらに、注目場所抽出部１４は、指示箇所情報取得部１３によって取得された情報に基づいてポインタ７がどの位置にどの程度滞在していたかを抽出する。同じ箇所又は領域にポインタ７が複数回数入退出している場合は、その各回の滞在時間の総計を算出する。

具体的には、注目場所抽出部１４は、まず、指示箇所情報取得部１３によって取得された指示箇所の座標情報及び当該座標の取得された取得時間情報や、編集候補領域設定部１２によって設定された編集候補領域の位置情報から、各指示箇所又は各注目領域内にポインタ７が滞在していた時間総計を算出する。ここで、指示箇所における時間総計とは、各指示箇所にポインタ７が滞在した時間の総計であり、指示領域における時間総計とは、ポインタ７が指示領域内のいずれかの位置に滞在していた時間の総計である。注目場所抽出部１４による時間総計の算出結果は、時間総計データとしてデータ記憶部２０ａに記憶される。

図１５に、注目領域についての注目場所抽出部１４による時間総計データの一例を示す。
図１５に示すように、時間総計データは、元データと関連付けられており、編集候補領域ごとに、当該領域が設定されているページのページ番号、領域ＩＤ、領域位置情報、領域サイズ情報、及び当該編集候補領域にユーザが注目していた時間に関するデータから構成されている。編集候補領域にユーザが注目していた時間に関するデータは、当該領域内にポインタ７が進入した時間、領域内からポインタ７が退出した時間、及びポインタ７が当該領域に進入してから退出するまでの時間総計からなる。

例えば、データ名「会議資料.doc」のページ番号１の編集候補領域ＩＤ１−１からＩＤ１−７のうち、編集候補領域ＩＤ１−１は、領域の左上隅の位置が資料の１ページ内のどこに位置するかを、ｘ，ｙ座標に換算可能なページ全体に対する比率で表した値が０．０５，０．０５であり、領域サイズが、上記左上隅の位置からｘ方向に０．３、ｙ方向に０．０５であって、この領域にポインタ７が進入した時刻が３：１２：２５：１０、退出時刻３：１２：２６：５０であり、領域内にポインタ７が滞在していた時間の総計は１．４である。なお、同じ編集候補領域についてポインタ７が進入・退出を複数回繰り返した場合には、それぞれ進入時間、退出時間が記憶され、各回のポインタ滞在時間をすべて加算したものが時間総計となる。例えば図５の編集候補領域ＩＤ１−７には、ポインタ７が３：１２：２３：００に進入し、３：１２：２３：５０に一旦退出した後、３：１２：３５：２０に再度ポインタ７が進入し、３：１２：３５：５０に退出している。そのため、編集候補領域ＩＤ１−７にポインタ７が滞在していた時間の総計は０．８となる。
これら時間の総計が一定の閾値以上であれば、注目場所抽出部１４は、当該指示箇所又は指示領域を注目箇所又は注目領域として抽出する。

なお、編集候補領域の位置とサイズ（範囲）を特定する手法は、図１５に示す手法に限定されない。例えば、図１６に示すように、領域の基点となる左上隅の位置が資料の１ページ内のどこに位置するかをｘ，ｙ座標に換算可能なページ全体に対する比率で表した値と、領域の終点となる右下隅の位置が資料の１ページ内のどこに位置するかをｘ，ｙ座標に換算可能なページ全体に対する比率で表した値とにより注目領域の位置とサイズ（範囲）を特定してもよい。

また、編集候補領域設定部１２が、１ページ単位（資料表示手段であるスクリーン６に一度に表示される領域単位）で資料における編集候補領域を設定する場合には、注目場所抽出部１４は、図１７に示すように、各ページが表示されていた総表示時間の値を算出し、その総表示時間の長いものを注目領域とする。

なお、ポインタ７がどの領域にも進入していない場合（ポインタ７が文字等の存在しない背景部分に位置している場合）は、その間の滞在時間はカウントしない。また、ポインタ７が検出されていない場合も、その時間はカウントしない。また、注目場所抽出部１４は、単位時間内におけるポインタ７の総移動距離を算出し、予め設定されている閾値と比較する。この閾値はパラメータ記憶部２０ｂ等に格納されている。そして、総移動距離が閾値以内である場合は、ポインタ７は不使用とみなされる。

注目度合い算出部１５は、注目場所抽出部１４により抽出された注目箇所又は注目領域について、パラメータ記憶部２０ｂに記憶されている重み付けパラメータを参照して、所定の重み付け処理を行い、その注目度合いを算出する注目度合い算出手段である。注目度合い算出部は、各注目箇所又は各注目領域ごとに算出された注目度合いの算出結果は資料データと関連付けられて資料サーバ３に記憶される。なお、ページ単位で注目度合いを算出された場合には、ページごとの注目度合いが資料データと関連付けられて資料サーバに記憶される。
注目度合いを算出する際に用いるパラメータとしては、各種のものがありうるが、本実施形態では、まず、ポインタ７が注目箇所又は注目領域内に滞在していた滞在時間に応じて重み付けを行い、さらに、これにポインタ７の移動軌跡形状に基づく重み付けを加味することによって、その注目度合いを算出する場合を例として説明する。

ここで、ポインタ７の移動の軌跡の例を図９から図１２を参照しつつ説明する。
ポインタ７の移動の軌跡のパターンとしては、例えば、図９に示すように、同じ文字列を円で１回囲む場合、図１０に示すように、四角の枠で１回囲む場合、図１１に示すように、円で複数回囲む場合、図１２に示すように、文字列の下に複数回往復して下線を引く場合等が考えられる。

この場合、重み付けパラメータとしては、例えば、単に文字列に沿ってポインタ７が１回移動したのみであれば重み係数を１として、ポインタ７の滞在時間に応じた重み付けのみを行い、文字列が円（図６参照）又は四角（図７参照）で１回でも囲まれていれば注目度合いが高いものとしてポインタ７の滞在時間に応じた重み付けに対して定数倍の重み付けを行うようにパラメータが設定されている。また、ある文字列に沿って複数回ポインタ７が往復移動している場合（図８及び図９参照）には、その移動回数に応じて重み付けを行うようにパラメータが設定されている。
例えば、図９に示すように、文字列に沿ってポインタ７が往復移動している場合には、その往復回数に応じて重み付けを行う。また、図８に示すように、文字列を複数回囲んでいる場合には、文字列を１回囲んだ場合の重み付けに加えて、ポインタ７の往復回数でさらに重み付けを行う。

ポインタ７の往復回数は、ポインタ７が滞在している注目領域内におけるポインタ７の位置座標の時系列変化から検出することができる。
例えば、図９に示すようにポインタ７が文字列に沿って往復移動している場合、ポインタ７の移動方向（横（ｘ）方向）の上流側と下流側の極値を検出し、極値から極値への座標の変化が２回あると一往復と判断する。図９の場合、ｘ方向において往復（極値から極値への座標の変化×２）が２回分存在するため、その移動回数が２往復であるとカウントすることができる。
また、図８の場合のように文字列を囲むようにポインタ７が移動している場合には、横（ｘ）方向の上流側と下流側だけでなく、縦方向（ｙ）の極値をも検出し、それぞれ極値から極値への座標の変化が２回あると一往復と判断することにより、ポインタ７が文字列の周囲を何周したかの移動回数をカウントすることができる。
なお、移動軌跡の解析は、その領域にポインタ７がある間（当該領域内で移動を継続している場合）は行うことができないので、注目度合い算出部１５は、ポインタ７が一旦ある領域内に進入し、当該領域内から退出したときに解析を開始する。
なお、ポインタ７の移動軌跡の形状や移動距離を注目度合いの重み付けとして考慮する場合は、ノイズを低減するために、移動軌跡のサンプリング点を間引いた上で処理してもよい。

注目場所抽出部１４において抽出され、注目度合い算出部１５で重み付けがされた部分は資料データ編集部１６による編集の対象（編集領域）となる。
なお、資料データの編集の対象となる編集領域数を限定し、特に注目度合いの高い部分のみについて資料データ編集部による編集を行うにしてもよい。この場合には、注目度合い算出部１５は、注目場所抽出部１４において抽出された部分のうち、図１５及び図１６の時間総計値、又は、図１７の総表示時間の値に基づいて、特に注目度合いの高い注目箇所、注目領域又はこれらを含むページを抽出して注目度合いの算出を行い、資料データの編集対象となる編集領域として資料サーバ３に記憶させる。
資料データの編集の対象となる編集領域数を限定する手法としては、（ａ）注目箇所又は注目領域単位、ページ単位で、注目度合いの閾値（例えばポインタ滞在時間や表示時間、重み付け後の注目度の大小に関する閾値）を別途設定し、その閾値以下の部分については資料データの編集の対象としない、（ｂ）編集対象とする箇所の個数を別途設定して、注目箇所又は注目領域単位、ページ単位で、注目度合いの高いもの（例えばポインタ滞在時間や表示時間の長いもの、重み付け後の注目度の大きいもの）から当該設定個数分を抽出する、（ｃ）資料の１ページ毎に編集対象とする箇所の個数を別途設定して、各ページごとに注目度合いの高いもの（例えばポインタ滞在時間や表示時間の長いもの、重み付け後の注目度の大きいもの）から当該設定個数分を抽出する、といった手法が考えられる。

資料データ編集部１６は、注目度合い算出部１５により算出された算出結果（注目度合い）に基づいて、注目箇所又は注目領域として抽出された部分（編集領域）に対応する資料データを編集し、資料の再現時に、この編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集手段である。
資料編集データは、例えば各資料データ編集装置１ａ，１ｂ，１ｃにおいて、編集結果を反映させて資料を閲覧したり、会議録等を作成したりする際に、資料サーバ３に記憶されている注目度合いデータに基づいて生成される。なお、資料編集データは、資料の閲覧等の際にその都度生成される場合に限定されず、一旦作成された資料編集データは、元データと関連付けられて資料サーバ３に記憶されるようにしてもよい。

まず、資料データ編集部１６は、注目度合い算出部１５による算出結果に基づいて資料データ内で編集する部分（編集領域）を決定する。そして、パラメータ記憶部２０ｂに記憶されているパラメータに従って、注目箇所及びこれを含む注目領域について注目度合いに応じた編集処理を施す。資料データ編集部１６によって編集された編集箇所（編集領域）の情報は、元の資料データと関連付けられて、資料サーバ３に記憶される。

資料データ編集部１６は、資料データにおける編集箇所（編集領域）のコンテンツ情報（図３参照）から当該部分の表示体裁情報を抽出し、当該編集箇所（編集領域）についてこの抽出結果とは異なる表示体裁で表示を行うように資料データを編集する。編集手法としては、例えば（ａ）文字の色を変える、（ｂ）文字の大きさ（フォント）を変える、（ｃ）「重要」「！」などのマーク、アイコンを傍らに付ける、（ｄ）点滅（ブリンキング）等の特殊効果をかける、（ｅ）ボールド・斜体にする、（ｆ）アニメーション化する（ぴょんぴょん動く、スライドして現れるなど）、（ｇ）バックグラウンドに色・網掛け・をつける等が考えられる。なお、編集手法はこれに限定されず、その他の各種特殊効果等を付加するものであってもよい。
例えば、編集手法（ａ）と（ｂ）とを組み合わせて資料データを編集する場合、資料データ編集部１６は、例えばコンテンツ情報として記憶されているもともとの表示体裁が、フォントサイズ「２４ｐｔ」の「ＭＳ明朝」で黒色文字である場合に、これをフォントサイズ「３６ｐｔ」の「ＭＳゴシック」で赤色文字に変更する編集を行う。

なお、本実施形態において、資料データ編集部１６は、注目度合いに応じて段階的に資料データの編集方法を変えるようになっている。例えば、最も注目度合いの高い領域は、上記（ｇ）の手法で処理し、その次は（ｂ）の手法で処理する等の手法による。また、１ページの中で、最も注目度合いの高いものから順にそれぞれ編集方法を変えるようにしてもよい。
また、編集対象となっている領域（編集領域）に元々編集処理がされている場合（例えば、「赤字」「斜体」「太字」等。）には、資料データ編集部１６は、元の表現を維持したまま、さらに目立たせるような処理を加える。例えば、上記手法のうち（ｃ）の手法ようにマーク／アイコンをつけたり、（ｈ）の手法ようにバックグラウンドに色や網掛けをかけたりすることが考えられる。また、「赤字」の編集処理が掛かっているものについては、文字の大きさを変えたり、アイコンを付ける等、元々の処理方法とは異なる方法で編集してもよい。なお、編集対象となっている領域に元々どのような編集処理がされているかについては、例えば、ドキュメントデータを解析することにより認識することができる。この場合、例えばマイクロソフト等が開示するドキュメントフォーマットに関する知識を用いることができる。

また、議事録等を作成する材料を提供するための編集を施す場合には、資料データ編集部１６は、編集箇所（編集領域）に含まれる資料データの情報を抽出して、ファイルにまとめたり、編集箇所（編集領域）の資料データが一覧表示されるようにデータを生成する。編集箇所（編集領域）の資料データを一覧表示する場合は、各編集箇所（編集領域）の資料データ情報に対して、それが含まれるページ等のリンク情報をはり、資料データ情報にポインタ７を重ねると資料データ中の該当する編集箇所（編集領域）を含むページが表示されるようにしてもよい。

なお、資料データ編集部１６による編集処理は、ユーザ（報告者）によるプレゼンテーション中に同時並行的に行われるようにしてもよい。すなわち、例えば、説明時にポインタ７で編集領域をポインティングすると、ポインタの滞在時間等に応じて当該領域の文字等が黒字から徐々に赤字に変化したり、文字の大きさが次第に大きくなる等、ダイナミックに変化するようにしてもよい。

また、ユーザ（報告者）によるプレゼンテーション中に、ポインタが編集領域をポイントしたときに、当該ポインタ自体の表示が変わるようにしてもよい。例えば、編集領域に入っている時間によって、ポインタが大きくなったり、色や形が変わるなど、状態が変わるようにする。このようにすることによって、元の資料データ自体については表示体裁等を編集することなく、そのままの表示でプレゼンテーションしながら、注目箇所や注目領域についてアピールすることができるとのメリットがある。

次に、図１８から図２０を参照しつつ、本実施形態における資料データ編集方法について説明する。なお、この資料データ編集方法における処理は制御部１０とＲＯＭ１８に格納されている資料データ編集プログラムとの協働によって実現されるものである。

図１８に示すように、まず、編集候補領域設定部１２により、資料データについて編集候補領域が自動的に設定される（ステップＳ１）。ユーザ（報告者）が、当該資料データに基づく資料をスクリーン６に表示させて、ポインタ７で適宜指示しながら説明（プレゼンテーション）を行うと、ユーザの指示動作により特定される指示箇所の位置情報等が指示箇所情報取得部１３により取得される（ステップＳ２）。指示箇所情報取得部１３は、適宜ポインタ７の位置情報及び当該位置情報を取得した取得時刻を時系列的に取得し、これを指示箇所情報データとして元データと関連付けて資料サーバに記憶（保存）させる（ステップＳ３）。

ここで、図１９を参照しつつ、指示箇所の位置情報等の取得処理について説明する。ユーザ（報告者）による説明（プレゼンテーション）が開始されると、指示箇所情報取得部１３は、ポインタ７の位置が検出可能かを判断し（ステップＳ２１）、位置を検出できないときは（ステップＳ２１：ＮＯ）、ポインタ７が不使用であると判断する（ステップＳ２２）。位置を検出できたときは（ステップＳ２１：ＹＥＳ）、ポインタ７のｘ，ｙ方向の位置（ｘ，ｙ座標を特定可能な情報）を検出し（ステップＳ２３）、これをデータ記憶部２０ａに記憶（保存）させる（ステップＳ２４）。
また、指示箇所情報取得部１３は、ポインタ７の位置を前回の位置と比較して移動距離を算出する（ステップＳ２５）。そして、移動距離が一定の閾値よりも小さいかを判断し（ステップＳ２６）、移動距離が一定の閾値よりも小さい場合（ステップＳ２６：ＹＥＳ）には、ポインタ７が不使用であると判断する（ステップＳ２２）。
他方、移動距離が一定の閾値よりも大きい場合（ステップＳ２６：ＮＯ）には、ポインタ７が使用中であると判断する（ステップＳ２７）。そして、ポインタ７が位置している領域を指示領域として検出し（ステップＳ２８）、ポインタ７が当該指示領域内に進入した時刻の時刻情報をデータ記憶部２０ａに記憶（保存）させる（ステップＳ２９）。ポインタ７が指示領域から退出したかを判断し（ステップＳ３０）、退出した場合には、ポインタ７が当該領域から退出した時刻の時刻情報をデータ記憶部２０ａに記憶（保存）させる（ステップＳ３１）。

図１８に戻って、指示箇所情報取得部１３により指示箇所情報データが取得されると、注目場所抽出部１４により、指示箇所又は指示領域のうちユーザが注目したと判断される注目箇所又は注目領域が抽出される（ステップＳ４）。そして、抽出された注目箇所又は注目領域について、注目度合い算出部１５により注目度合いの算出処理が行われる（ステップＳ５）。なお、編集対象とする編集領域数を限定する場合には、注目度合い算出部１５は、領域内にポインタ７が滞在した時間やページが表示されていた時間に基づいて編集領域を抽出する。

ここで、図２０を参照しつつ、注目度合い算出処理について説明する。注目度合い算出部１５は、例えば編集候補領域内におけるポインタ７の移動軌跡を検出し（ステップＳ４１）、その軌跡形状を解析する（ステップＳ４２）。そして、解析した軌跡形状に応じて注目度合いを重み付けする重み係数を計算する（ステップＳ４３）。計算の結果、重み係数が１に等しくないか否かを判断し（ステップＳ４４）、重み係数が１と等しくない場合（ステップＳ４４：ＹＥＳ）には、ポインタ滞在時間による重み付けに軌跡による重み付けを加算して（ステップＳ４５）、当該編集候補領域の重み付けを算出する（ステップＳ４６）。これに対して、重み係数が１と等しい場合（ステップＳ４４：ＮＯ）には、ポインタ滞在時間による重み付けのみを行って（ステップＳ４７）、当該編集候補領域の重み付けを算出する。

図１８に戻って、資料データ編集部１６は、注目度合い算出部１５によって算出された注目度合いに応じて資料データの編集を行う（ステップＳ５）。

以上のように、本実施形態によれば、当該資料を説明する者（ユーザ）による説明（プレゼンテーション）の資料について、ユーザの指示動作に応じて、資料内の注目箇所又は注目領域を目立たせる編集処理を加えることができる。これによって、説明を聞く者や資料の閲覧者に、ユーザが重要と考えている箇所を分かりやすく、的確に伝えることができる。

また、説明（プレゼンテーション）における指示動作（ポインティング）を行うだけで、その注目度合いを算出し、資料内の注目箇所又は注目領域を抽出することができる。また、ある場所に対して強調するような動作態様（例えば文字列を複数回囲む等）が行われた場合には、それを検出して、所定の重み付けを行い、注目度合いを算出することができる。このため、注目箇所又は注目領域の抽出や重み付けに特別な操作や所作を必要とせず、ユーザにとって便宜であるとともに、映像や音声を取得して解析する等の必要がなく、プレゼンテーションの従来の装置構成で実現することができる。

また、注目度合いが高いとされた箇所については、抽出し、一覧表示を行うこと等も可能であることから、資料内の重要なページ、注目すべきページを、容易に抽出して説明される側に提示することができる。
また、１ページ内でも特に重要な箇所、注目すべき箇所を抽出し一覧表示させて説明される側に提示することもできる。

資料を説明する者（ユーザ）の意図する注目箇所・注目領域に関するデータを資料サーバに記憶・保存させることができるので、記憶された情報を用いて、ユーザの意図をいつでも他の閲覧者に伝えることができる。

また、資料の注目箇所・注目領域を容易に抽出することができるので、資料の概要や議事録等をまとめる際の資料として利用することができる。

また、注目度合いの程度に応じて段階的に編集方法を変えることができるので、ユーザの意図をより的確に伝えることができる。

また、元の資料データ自体はそのまま保存しておき、指示箇所情報のデータや編集箇所のデータを元の資料データに関連付けて記憶させるので、元の資料はいつでももとの表示体裁のまま表示させることができ、必要に応じて強調したい部分を目立たせる編集を行うことができる。

なお、本実施形態では、資料の報告を行ったユーザ（報告者）の指示箇所のみを資料データに反映させるようにしたが、例えば複数のユーザが１つの資料の報告に関わった場合等においては、各ユーザの指示箇所を資料データに反映させるようにしてもよい。
例えば、ユーザＡ、ユーザＢ、ユーザＣという３人のユーザが、１つの会議資料に対してそれぞれ指示箇所の特定を行った場合には、図２１に示すように、各ユーザにより特定された指示箇所に関する指示箇所情報データが、各ユーザごとに１つのセットとして保存されている。この場合、各データには当該資料に対して指示箇所を特定する指示動作を行ったユーザに関するユーザ情報が対応付けられている。後日資料を閲覧・編集等する者は、例えばユーザＡの特定した指示箇所情報Ａのみを資料に反映させて、ユーザＡの注目したところだけが編集された状態で閲覧するというように、閲覧等の際に資料に反映させる指示箇所情報を任意に選択することができることが好ましい。この場合、注目度合いも各ユーザごとに算出され、各ユーザごとの注目度合いデータが記憶される。なお、複数のユーザが１つの資料の報告に関わった場合等においても、ユーザを区別せず、各ユーザによって指示箇所として特定された時間をすべて積算して１つの指示箇所情報データとされるようにしてもよい。

また、本実施形態においては、資料閲覧システム１００が、複数の資料データ編集装置１ａ，１ｂ，１ｃと資料サーバ３とから構成され、プロジェクタにより資料を表示させることのできる資料表示手段としてのスクリーンとを備える場合を例として説明したが、資料サーバをある資料データ編集装置の中に備え、１台の資料データ編集装置で資料閲覧システムが構成されていてもよい。この場合、ネットワークで接続された資料データ編集装置のうち資料サーバを内蔵していないものは、資料サーバを持つ資料データ編集装置にアクセスしてこの資料サーバから必要な資料データを取得するようにする。
また、本実施形態においては、資料データ編集装置１ａ，１ｂ，１ｃが入力部２１を備えている構成としたが、入力部が、資料データ編集装置１ａ，１ｂ，１ｃとは別個に設けられている構成としてもよい。
また、本実施形態では、資料表示手段として、プロジェクタにより資料を表示させるスクリーンと表示部２２とを備えている構成としたが、資料表示手段としていずれか一方しか備えない構成としてもよい。

また、ポインタ７により、資料中の指示箇所を円で囲んだり、マーキングやアノテーションが書き込まれたりした場合には、当該形状等を資料サーバ３やデータ記憶部２０ａ等に記憶させておき、次に資料を再現する際に、当該書き込み等についても資料上に再現するようにしてもよい。

その他、本発明が上記実施形態に限らず適宜変更可能であるのは勿論である。

本実施形態における資料データ編集システムの概略構成を示すブロック図である。 図１に示す資料サーバに格納されるデータの構成例を示す図である。 図２に示す編集候補領域情報データの一例を示す図である。 図２に示す指示箇所情報データの一例を示す図である。 図１に示す資料データ編集装置の概略構成を示すブロック図である。 編集候補領域中で文字列をポインタで１回円で囲んだ場合を説明する説明図である。 編集候補領域中で文字列をポインタで１回四角で囲んだ場合を説明する説明図である。 編集候補領域中で文字列をポインタで複数回囲んだ場合を説明する説明図である。 編集候補領域中で文字列をポインタで複数回辿った場合を説明する説明図である。 編集候補領域の設定例を示す説明図である。 編集候補領域の設定例を示す説明図である。 資料を投影したスクリーンと資料を指示するポインタとを示す説明図である。 図１２に示すスクリーン及びポインタをカメラのフレームに納めた様子を示す説明図である。 ポインタの座標を取得する手法を説明する説明図である。 時間総計データの一例を示す図である。 時間総計データの一変形例を示す図である。 ページの総表示時間データの一例を示す図である。 本実施形態における資料データ編集処理を示すフローチャートである。 図１８のステップ２に示す処理を示すフローチャートである。 図１８のステップ４に示す処理を示すフローチャートである。 図２に示す資料サーバに格納されるデータの一変形例を示す図である。

符号の説明

１ａ，１ｂ，１ｃ 資料データ編集装置
３ 資料サーバ（指示箇所情報保存手段、編集候補領域情報保存手段）
５ ネットワーク
６ スクリーン（資料表示手段）
７ ポインタ
１０ 制御部
１１ 本体制御部
１２ 編集候補領域設定部（編集候補領域設定手段）
１３ 指示箇所情報取得部（指示箇所情報取得手段）
１４ 注目場所抽出部（注目場所抽出手段）
１５ 注目度合い算出部（注目度合い算出手段）
１６ 資料データ編集部（資料データ編集手段）
１７ 表示制御部
１８ ＲＯＭ
１９ ＲＡＭ
２０ 情報記憶部
２０ａ データ記憶部
２０ｂ パラメータ記憶部
２１ 入力部
２２ 表示部（資料表示手段）
２３ 通信部
１００ 資料データ編集システム

Claims (18)

1. 資料データに基づく資料を表示する資料表示手段と、
   前記資料表示手段に表示される前記資料のうちユーザの指示動作により特定される指示箇所の位置情報を取得する指示箇所情報取得手段と、
   前記指示箇所情報取得手段により位置情報が取得された前記指示箇所について、前記指示動作の動作態様に基づいて注目度合いを算出する注目度合い算出手段と、
   前記注目度合い算出手段により算出された前記注目度合いに応じて前記指示箇所に対応する資料データを編集し該編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集手段と、を備えていることを特徴とする資料データ編集システム。
2. 前記指示箇所情報取得手段は、前記指示箇所を特定するポインタの位置情報を時系列的に取得することにより前記指示箇所の位置情報を取得するポインタ位置情報取得手段であり、
   前記注目度合い算出手段は、前記ポインタ位置情報取得手段により取得されたポインタ位置情報に基づいて前記注目度合いを算出するものであることを特徴とする請求項１に記載の資料データ編集システム。
3. 前記注目度合い算出手段は、前記指示箇所の表示時間に基づいて前記注目度合いを算出するものであることを特徴とする請求項１又は請求項２に記載の資料データ編集システム。
4. 前記資料表示手段に一度に表示される領域単位で前記資料データ編集手段による編集対象となりうる編集候補領域を設定する編集候補領域設定手段をさらに備えていることを特徴とする請求項１から請求項３のいずれか一項に記載の資料データ編集システム。
5. 前記資料表示手段に一度に表示される領域内において当該領域を細分化して前記資料データ編集手段による編集対象となりうる編集候補領域を設定する編集候補領域設定手段をさらに備えていることを特徴とする請求項１から請求項３のいずれか一項に記載の資料データ編集システム。
6. 前記指示箇所及び当該指示箇所の注目度合いに関する情報を、対応する資料データと関連付けて保存する指示箇所情報保存手段をさらに備えていることを特徴とする請求項１から請求項５のいずれか一項に記載の資料データ編集システム。
7. 前記編集候補領域に関する情報を、対応する資料データと関連付けて保存する編集候補領域情報保存手段をさらに備えていることを特徴とする請求項４から請求項６のいずれか一項に記載の資料データ編集システム。
8. 前記資料データ編集手段は、前記注目度合いに応じて段階的に前記資料データの編集方法を変えるものであることを特徴とする請求項１から請求項７のいずれか一項に記載の資料データ編集システム。
9. 前記資料データ編集手段は、前記資料データにおける編集箇所の表示体裁情報を抽出し、当該編集箇所についてこの抽出結果とは異なる表示体裁で表示を行うように前記資料データを編集するものであることを特徴とする請求項１から請求項８のいずれか一項に記載の資料データ編集システム。
10. 資料データに基づく資料を表示する資料表示工程と、
    前記資料表示工程において表示される前記資料のうちユーザの指示動作により特定される指示箇所の位置情報を取得する指示箇所情報取得工程と、
    前記指示箇所情報取得工程において位置情報が取得された前記指示箇所について、前記指示動作の動作態様に基づいて注目度合いを算出する注目度合い算出工程と、
    前記注目度合い算出工程において算出された前記注目度合いに応じて前記指示箇所に対応する資料データを編集し該編集結果を反映させた表示が可能な資料編集データを生成する資料データ編集工程と、
    を含んでいることを特徴とする資料データ編集方法。
11. 前記指示箇所情報取得工程は、前記指示箇所を特定するポインタの位置情報を時系列的に取得することにより前記指示箇所の位置情報を取得するポインタ位置情報取得工程であり、
    前記注目度合い算出工程は、前記ポインタ位置情報取得工程において取得されたポインタ位置情報に基づいて前記注目度合いを算出するものであることを特徴とする請求項１０に記載の資料データ編集方法。
12. 前記注目度合い算出工程は、前記注目領域の表示時間に基づいて前記注目度合いを算出するものであることを特徴とする請求項１０又は請求項１１に記載の資料データ編集方法。
13. 前記資料表示工程において一度に表示される領域単位で前記資料データ編集工程における編集対象となりうる編集候補領域を設定する編集候補領域設定工程をさらに備えていることを特徴とする請求項１０から請求項１２のいずれか一項に記載の資料データ編集方法。
14. 前記資料表示工程において一度に表示される領域内において当該領域を細分化して前記資料データ編集工程における編集対象となりうる編集候補領域を設定する編集候補領域設定工程をさらに備えていることを特徴とする請求項１０から請求項１２のいずれか一項に記載の資料データ編集方法。
15. 前記指示箇所及び当該指示箇所の注目度合いに関する情報を、対応する資料データと関連付けて保存する指示箇所情報保存工程をさらに含んでいることを特徴とする請求項１０から請求項１４のいずれか一項に記載の資料データ編集方法。
16. 前記編集候補領域に関する情報を、対応する資料データと関連付けて保存する編集候補領域情報保存工程をさらに含んでいることを特徴とする請求項１３から請求項１５のいずれか一項に記載の資料データ編集方法。
17. 前記資料データ編集工程は、前記注目度合いに応じて段階的に前記資料データの編集方法を変えるものであることを特徴とする請求項１０から請求項１６のいずれか一項に記載の資料データ編集方法。
18. 前記資料データ編集工程は、前記資料データにおける編集箇所の表示体裁情報を抽出し、当該編集箇所についてこの抽出結果とは異なる表示体裁で表示を行うように前記資料データを編集するものであることを特徴とする請求項１０から請求項１７のいずれか一項に記載の資料データ編集方法。

Images