以下、本発明の実施形態を図面に基づいて説明する。
<1.第1実施形態>
<1−1. システム構成>
図1は、プレゼンテーションシステム100の概要を示す概念図である。プレゼンテーションシステム100は、プレゼンテーション資料作成機能を有しており、プレゼンテーション資料を作成するプレゼンテーション資料作成システムであるとも表現される。
このプレゼンテーションシステム100は、会議管理装置10と表示装置30とコンピュータ50とマイク72とを備えている。
会議管理装置10と表示装置30とコンピュータ50とマイク72とは、互いにネットワークNWを介して接続されており、ネットワーク通信を行うことが可能である。ここにおいて、ネットワークNWは、LAN、WAN、インターネットなどによって構成される。各装置のネットワークNWへの接続形態は、有線接続であってもよく或いは無線接続であってもよい。
マイク72は、会議における音声を集音して音声信号を生成し、当該音声信号を会議管理装置10に送信する。会議管理装置10は、マイク72により録音された音声信号に基づいて音声データAD(図7参照)を生成し、格納部5に保存する。
表示装置30は、会議管理装置10から送信されてきた各種情報等を表示する装置である。表示装置30は、例えば大型液晶表示装置として構成され、当該表示装置30は、ネットワークNWを介して会議管理装置10に接続されている。なお、これに限定されず、表示装置30は、プロジェクタ装置(投影装置)等であってもよい。また、表示装置30は、コンピュータ50を介して会議管理装置に間接的に接続されるようにしてもよい。より詳細には、表示装置30は、コンピュータ50の映像信号出力部(詳細には外部出力端子)等を介して、会議管理装置10からの映像信号を表示出力するようにしてもよい。
会議の出席者は、表示装置30による表示画像によって、会議に関する各種の情報(資料データ等)を視認することができる。
また、この会議管理装置10は、プレゼンテーション資料PR(図5および図6参照)を作成することもできる。そのため、会議管理装置10は、プレゼンテーション資料作成装置であるとも表現される。プレゼンテーション資料作成動作については後に詳述する。
会議管理装置10は、この実施形態ではMFP(マルチ・ファンクション・ペリフェラル(Multi Function Peripheral))として構成されている。
図2は、MFP10の概略構成を示すブロック図である。
図2の機能ブロック図に示すように、MFP10は、画像読取部2、印刷出力部3、通信部4、格納部5、入出力部6およびコントローラ9等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。
画像読取部2は、MFP10の所定の位置に載置された原稿を光学的に読み取って、当該原稿の画像データ(原稿画像とも称する)を生成する処理部である。
印刷出力部3は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。
通信部4は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部4は、通信ネットワークNWを介したネットワーク通信が可能である。このネットワーク通信では、TCP/IP(Transmission Control Protocol / Internet Protocol)およびFTP(File Transfer Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、MFP10は、所望の相手先との間で各種のデータを授受することが可能である。
格納部5は、ハードディスクドライブ(HDD)等の格納装置で構成される。この格納部5には、画像読取部2等で生成された原稿画像(画像データ)が格納される。また、格納部5には、会議に関する複数の資料DMi、音声データADおよびプレゼンテーション資料PR等も格納される。
入出力部6は、MFP10に対する入力を受け付ける操作入力部6aと、各種情報の表示出力を行う表示部6bとを備えている。
コントローラ9は、MFP10に内蔵され、MFP10を統括的に制御する制御装置である。コントローラ9は、CPUおよび各種の半導体メモリ(RAMおよびROM等)等を備えるコンピュータシステムとして構成される。コントローラ9は、CPUにおいて、ROM(例えば、EEPROM等)内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理部を実現する。
具体的には、図2に示すように、コントローラ9は、ページ遷移情報取得部31、資料解析部32、音声情報解析部33、ポインタ情報解析部34、構成要素抽出部36、関連性判定部37、資料作成部38および表示制御部39等を備える。
ページ遷移情報取得部31は、予行プレゼンテーションPS0における複数の資料(詳細には、その電子ファイル)DMiの各ページの遷移順序に関するページ遷移情報PTを取得する処理部である。
資料解析部32は、複数の資料DMiのそれぞれを解析する処理部である。
音声情報解析部33は、発表者(プレゼンター)PAの音声情報(音声データAD)を解析する処理部である。
ポインタ情報解析部34は、発表者PAによって操作される指示ポインタ(マウスカーソル等)の軌跡情報等を解析する処理部である。
構成要素抽出部36は、複数の資料DMiに含まれる複数の構成要素ELi(後述)を抽出する処理部である。
関連性判定部37は、複数の構成要素ELiの相互間の関連性を判定する処理部である。関連性判定部37は、複数の構成要素ELiの表示順序(進行順序)をも判定する。
資料作成部38は、ページ遷移情報等に基づいて、複数の資料DMiを統合してプレゼンテーション資料PRを作成する処理部であり、プレゼンテーション資料作成部とも称される。
表示制御部39は、表示部6bにおける表示動作、コンピュータ50における表示動作、および表示装置30における表示動作等を制御する。
このMFP10は、サーバコンピュータ(以下、単にサーバとも称する)として機能する。
一方、コンピュータ50は、クライアントコンピュータ(以下、単にサーバとも称する)として機能する。コンピュータ50は、プレゼンテーション用のアプリケーションソフトウエアを実行することによって、発表者PAからの各種の操作入力を受け付けるとともに、当該操作入力情報をMFP(サーバ)10に送信する。また、コンピュータ50は、MFP10から送信されてきた各種の情報を当該コンピュータ50の表示部に表示する。
<1−2.動作>
<概要>
この実施形態においては、本番のプレゼンテーションPS1に先立って練習用のプレゼンテーション(予行プレゼンテーションとも称する)PS0が実行され、その後、当該予行プレゼンテーションPS0でのページ遷移情報(後述)等を用いてプレゼンテーション資料ファイルPRが作成される場合を例示する。具体的には、図3に示すように、(1)予行プレゼンテーション動作(ステップS1)、(2)プレゼンテーション資料ファイル作成動作(ステップS2)、および(3)本番のプレゼンテーション動作(ステップS3)の各動作が、この順序で実行される。
また、ここでは、図4に示すように、(1)予行プレゼンテーションPS0(ステップS1)において、4つの資料DM0,DM1,DM2,DM3が用いられるものとする。
資料DM0は、プレゼンテーションの基本説明資料である基本資料MBである。この基本資料MB(DM0)(より詳細には、基本資料MB内のハッチング部分)には、プレゼンテーションの説明用の文章が記載されている。そのため、この基本資料MBは、本文資料とも称される。また、他の3つのDM1,DM2,DM3は、それぞれ、基本資料MBに対する補足用の資料(補足資料とも称される)MRである。これらの補足資料MR(DM1,DM2,DM3)は、それぞれ、参照資料あるいは添付資料などとも称される。なお、ここでは、説明の簡単化のため、各資料DM0〜DM3が比較的少数のページで構成される場合、より詳細には、基本資料MBが2つのページBP1,BP2で構成され、各補足資料DM1,DM2,DM3がそれぞれ単一のページPa1,Pb1,Pc1で構成される場合を例示する。
また、(2)プレゼンテーション資料ファイル作成動作(ステップS2)においては、これらの4つの資料DM0,DM1,DM2,DM3とページ遷移情報PT(図10参照)とに基づいて、当該複数の資料DM0,DM1,DM2,DM3を統合してプレゼンテーション資料PRが作成される。ここで、ページ遷移情報PTは、複数の資料DM0,DM1,DM2,DM3の各ページの予行プレゼンテーションPS0における遷移順序(表示順序)に関する情報である。
そして、(3)本番のプレゼンテーションPS1(ステップS3)においては、ステップS2で作成されたプレゼンテーション資料PRを用いることによって、円滑な進行が実現される。
<予行プレゼンテーション動作>
まず、予行プレゼンテーションPS0(ステップS1)について説明する。ここでは、図4にて矢印で示す表示順序(図12も参照)に従って各資料DMiの各ページが表示され、予行プレゼンテーションPS0が実行される。
具体的には、予行プレゼンテーションPS0において、まず、基本資料MB(DM0)の第1ページBP1が最初の表示ページとして選択される。図5は、表示対象ページの選択用画面GA1を示す図である。選択用画面GA1は、コンピュータ50の表示画面に表示される画面であり、コンピュータ50の操作入力部(マウスおよびキーボード等)による操作入力に応じて、表示内容が更新される。
選択用画面GA1内の左側には、複数の資料の各ページの選択欄SLが設けられている。当該選択欄SLには、基本資料MB(DM0)の各ページの選択欄SL0と、補足資料MRa(DM1)の各ページの選択欄SL1と、補足資料MRb(DM2)の各ページの選択欄SL2と、補足資料MRc(DM3)の各ページの選択欄SL3とが設けられている。また、各選択欄SLiには、ページ指定用のボタンが表示されている。たとえば、選択欄SL0には、本文資料DM0の2つのページのいずれかを選択するための2つのボタン(「1」,「2」)が設けられている。また、欄SL1には、補足資料DM1の単一のページを選択するための1つのボタン「1」が設けられている。他の欄SL2,SL3についても同様である。
また、選択用画面GA1内の右側には、複数の資料DMiの各ページのうち表示対象として選択されたページ(表示対象ページ)が表示されるページ表示欄DPが設けられている。
画面GA1において選択欄SL0の第1ページに対応するボタン「1」の押下操作(選択操作)が発表者PAによって行われると、図5に示すように、選択されたページ(すなわち、基本資料MBの第1ページBP1)がページ表示欄DPに表示される。
そして、発表者(プレゼンター)PAは、ページBP1を参照しながら、ページBP1内の本文領域BD1に記載された内容について説明する。
つぎに、画面GA1において選択欄SL1の第1ページに対応するボタン「1」の押下操作(選択操作)が発表者PAによって行われると、図6に示すように、選択されたページ(すなわち、補足資料MRaの第1ページPa1)がページ表示欄DPに表示される。そして、発表者PAは、今度はページPa1を参照しながら、本文領域BD1に記載された内容をさらに詳細に説明する。例えば、ページPa1内に記載されたグラフ等を参照しながら、本文領域BD1に記載された内容をさらに詳細に説明する。
発表者PAは、再び、画面GA1において選択欄SL0の第1ページに対応するボタン「1」を押下する。この押下操作に応じて、図5に示すように、基本資料MBの第1ページBP1がページ表示欄DPに再び表示される。そして、発表者PAは、今度は、(ページBP1内の)本文領域BD2に記載された内容について、ページBP1を参照しながら説明する。
そして、発表者PAは、再び、画面GA1において選択欄SL1の第1ページに対応するボタン「1」を押下する。この押下操作に応じて、図6に示すように、補足資料MRaの第1ページPa1がページ表示欄DPに再び表示される。そして、発表者PAは、ページPa1を参照しながら、今度は本文領域BD2に記載された内容をさらに詳細に説明する。
その後、発表者PAは、再び、画面GA1において選択欄SL0の第1ページに対応するボタン「1」を押下する。この押下操作に応じて、図5に示すように、基本資料MBの第1ページBP1がページ表示欄DPに再び表示される。そして、発表者PAは、今度は、(ページBP1内の)本文領域BD3に記載された内容について、ページBP1を参照しながら説明する。
そして、発表者PAは、今度は、画面GA1において選択欄SL2の第1ページに対応するボタン「1」を押下する。この押下操作に応じて、図7に示すように、補足資料MRbの第1ページPb1がページ表示欄DPに表示される。そして、発表者PAは、ページPb1を参照しながら、今度は本文領域BD3に記載された内容をさらに詳細に説明する。
その後、発表者PAは、今度は、画面GA1において選択欄SL0の第2ページに対応するボタン「2」を押下する。この押下操作に応じて、図8に示すように、基本資料MBの第2ページBP2がページ表示欄DPに再び表示される。
そして、発表者PAは、今度は、(ページBP2内の)本文領域BD4に記載された内容について、ページBP2を参照しながら説明する。
また、発表者PAは、画面の切換操作を行うことなく、今度は、(ページBP2内の)本文領域BD5に記載された内容について、引き続きページBP2を参照しながら説明する。
そして、発表者PAは、今度は、画面GA1において選択欄SL3の第1ページに対応するボタン「1」を押下する。この押下操作に応じて、図9に示すように、補足資料MRcの第1ページPc1がページ表示欄DPに表示される。そして、発表者PAは、ページPc1を参照しながら、今度は本文領域BD5に記載された内容をさらに詳細に説明する。
以上のようにして、4つの資料DM0,DM1,DM2,DM3を用いた予行プレゼンテーションPS0が終了する。
ここにおいて、予行プレゼンテーションPS0期間中においては、選択用画面GA1に関する操作入力は、コンピュータ50からMFP10へも送信される。すなわち、複数の資料DM0,DM1,DM2,DM3の各ページの予行プレゼンテーションPS0における遷移順序(ページ遷移順序)に関するデータが、随時、コンピュータ50からMFP10へ送信される。MFP10は、当該データをページ遷移情報PTとして格納部5に蓄積する(図10参照)。
図10は、ページ遷移情報PTの一例を示す図である。図10のページ遷移情報PTにおいては、各ページの表示開始時刻と表示終了時刻とが順次に記録されている。たとえば、資料DM0(MB)の第1ページBP1は時刻T0(15:00:00」)から時刻T1(15:01:00」)までの期間において表示されたこと、が記録されている。また、資料DM1(MRa)の第1ページPa1は時刻T1(15:01:00」)から時刻T2(15:02:30」)までの期間において表示されたこと、が記録されている。換言すれば、時刻T1においてページBP1からページPa1へと遷移したこと、が記録されている。以降、同様に、時刻T2〜T8でのページ遷移動作等が記録されている。
また、予行プレゼンテーションPS0の期間中においては、発表者PAの音声は、マイク72で集音され音声信号に変換されてMFP10に送信される。これにより、発表者PAの音声は、音声データADとしてMFP10の格納部5に格納される。音声データADは、録音時刻と関連付けて格納される。
<プレゼンテーション資料ファイル作成動作>
つぎに、システム100によるプレゼンテーション資料(詳細には、プレゼンテーション資料の電子ファイル)PRの作成動作について詳細に説明する。
図11は、プレゼンテーション資料PRの作成動作(ステップS2)を詳細に示すフローチャートである。
図11に示すように、先ずステップS21において、MFP10のページ遷移情報取得部31は、ページ遷移情報PT(図10参照)を、格納部5から取り出して取得する(図12も参照)。これにより、予行プレゼンテーションPS0における複数の資料DMi内の各ページの遷移順序および遷移時刻等が取得される。なお、図12は、予行プレゼンテーションPS0におけるページ遷移を纏めて示す概念図である。
具体的には、
資料DM0(MB)の第1ページBP1(時刻T0〜時刻T1)、
資料DM1(MRa)の第1ページPa1(時刻T1〜時刻T2)、
資料DM0(MB)の第1ページBP1(時刻T2〜時刻T3)、
資料DM1(MRa)の第1ページPa1(時刻T3〜時刻T4)、
資料DM0(MB)の第1ページBP1(時刻T4〜時刻T5)、
資料DM2(MRb)の第1ページPb1(時刻T5〜時刻T6)、
資料DM0(MB)の第2ページBP2(時刻T6〜時刻T7)、
資料DM3(MRc)の第1ページPc1(時刻T7〜時刻T8)、
の各ページがこの順序で表示された旨が取得される。
つぎに、ステップS22において、複数の資料DMiに含まれる複数の構成要素ELiを抽出する抽出処理(構成要素抽出処理)が実行される。具体的には、MFP10の構成要素抽出部36が、資料解析部32等と協働して、当該抽出処理を実行する。
たとえば、構成要素抽出部36は、資料解析部32と協働して、基本資料MBの画像情報および文章情報を解析して、基本資料MB内の構成要素ELiを抽出する。詳細には、基本資料MBの文章の1つの段落(段落要素)が1つの構成要素として抽出される。より詳細には、空白行及び/又は文頭のインデント等が検出されることによって、文章内の段落が互いに区別されて抽出される。この結果、図4に示すように、基本資料MBの第1ページBP1からは、3つの段落BD1,BD2,BD3がそれぞれ構成要素ELiとして抽出される。また、基本資料MBの第2ページBP2からは、2つの段落BD4,BD5が、それぞれ構成要素ELiとして抽出される。
また、構成要素抽出部36は、資料解析部32と協働して、補足資料MRの画像情報を解析して補足資料MR内の構成要素ELiを抽出する。詳細には、補足資料MR内の各画像(グラフ等)が1つの構成要素ELiとして抽出される。より詳細には、画像の周囲の空白領域等を検出することによって、補足資料内の異なる画像が互いに区別されて抽出される。この結果、図4に示すように、補足資料MRaの第1ページPa1からは、1つの画像(折れ線グラフ)Ea1が、1つの構成要素ELiとして抽出される。また、補足資料MRbの第1ページPb1からは、1つの画像(円グラフ)Eb1が、1つの構成要素ELiとして抽出される。さらに、補足資料MRcの第1ページPc1からは、1つの画像(棒グラフ)Ec1が、1つの構成要素ELiとして抽出される。なお、ここでは示されていないが、補足資料MRの同一ページから2つ以上の画像要素が構成要素ELiとして検出されてもよい。
なお、ここでは、補足資料MRに対する画像解析処理を施した上で、補足資料MR内の各ページ画像(ページ全体に係る画像要素)を各構成要素ELiとして抽出する場合を例示しているが、これに限定されない。たとえば、補足資料内の1つのページには1つの画像のみが存在することを前提にして、画像解析処理を行うことなく補足資料MR内の各ページ画像を直ちにそれぞれ構成要素ELiとして抽出するようにしてもよい。
つぎに、ステップS23において、MFP10の関連性判定部37は、音声情報解析部33等と協働して、構成要素配列処理を実行する。構成要素配列処理は、複数の構成要素ELiに関する表示順序(進行順序)を判定し、複数の構成要素ELiを時系列に配列させる処理である。この構成要素配列処理により、図13にて概念的に示されるように、複数の構成要素ELiに関する表示順序が決定される。
プレゼンテーションにおいては、発表者PAが基本資料MB内の文字を音読しながら説明を行うことが多い。そこで、このような特質を利用して、関連性判定部37は、たとえば、ページ遷移情報PT(図10参照)と、音声データADに対する音声情報解析部33の解析結果とに基づいてプレゼンテーションにおける進行程度(進行段階)を認識することができる。
具体的には、音声情報解析部33が、ページBP1の最初の表示期間(T0〜T1)における音声情報に対して音声認識処理を施し、音声情報を文字データ化する。そして、関連性判定部37は、当該音声情報に係る文字データとページBP1内の構成要素BD1〜BD3に係る文字データとを比較して、プレゼンテーションにおける進行程度を認識する。より詳細には、ページBP1の表示期間において構成要素BD1内の文字データが読み上げられている旨が判定されると、当該構成要素BD1に対する説明が行われていることが判定される。
また、関連性判定部37は、ページ遷移情報PTに基づいて、構成要素BD1の説明完了直後の時刻T1に、表示対象ページがページBP1からページPa1に遷移したこと(変更されたこと)を判定する。その後、関連性判定部37は、時刻T2において、表示対象ページがページPa1からページBP1に遷移したことをも判定する。
さらに、音声情報解析部33は、ページBP1の2回目の表示期間(T2〜T3)における音声情報に対して音声認識処理を施し、音声情報を文字データ化する。そして、関連性判定部37は、当該音声情報に係る文字データとページBP1内の構成要素BD1〜BD3に係る文字データとを比較して、プレゼンテーションにおける進行程度を認識する。より詳細には、ページBP1の表示期間において構成要素BD2内の文字データが読み上げられると、当該構成要素BD2に対する説明が行われていることが判定される。
また、関連性判定部37は、ページ遷移情報PTに基づいて、構成要素BD2の説明完了直後の時刻T3に、表示対象ページがページBP1からページPa1に再び遷移したことを判定する。その後、関連性判定部37は、時刻T4において、表示対象ページがページPa1からページBP1に再び遷移したことをも判定する。
さらに、音声情報解析部33は、ページBP1の3回目の表示期間(T4〜T5)における音声情報に対して音声認識処理を施し、音声情報を文字データ化する。そして、関連性判定部37は、当該音声情報に係る文字データとページBP1内の構成要素BD1〜BD3に係る文字データとを比較して、プレゼンテーションにおける進行程度を認識する。より詳細には、ページBP1の表示期間において構成要素BD3内の文字データが読み上げられると、当該構成要素BD3に対する説明が行われていることが判定される。
また、関連性判定部37は、ページ遷移情報PTに基づいて、構成要素BD3の説明完了直後の時刻T5に、表示対象ページがページBP1からページPb1に遷移したことを判定する。
その後、関連性判定部37は、時刻T6において、表示対象ページが補足資料MRbの第1ページPb1から今度は基本資料MBの第2ページBP2に遷移したことをも判定する。
さらに、音声情報解析部33は、ページBP2の表示期間(T6〜T7)における音声情報に対して音声認識処理を施し、音声情報を文字データ化する。そして、関連性判定部37は、当該音声情報に係る文字データとページBP2内の構成要素BD4,BD5に係る文字データとを比較して、プレゼンテーションにおける進行程度を認識する。より詳細には、ページBP2の表示期間(T6〜T7)において構成要素BD4,BD5内の文字データが読み上げられると、当該構成要素BD4,BD5に対する説明が行われていることが判定される。
また、関連性判定部37は、ページ遷移情報PTに基づいて、構成要素BD5の説明完了直後の時刻T7に、表示対象ページがページBP2からページPc1に遷移したことを判定する。
以上のようにして、図13に示すように、複数の構成要素ELiに関する表示順序が決定される。
なお、ここでは、基本資料MBの文章情報が文字データとして基本資料MB内に予め埋め込まれていることを前提としているが、これに限定されない。たとえば、基本資料MBのスキャン画像に対して文字認識処理(OCR処理)を施すこと等によって、文字データが取得されるようにしてもよい。より詳細には、当該スキャン画像内の空白部分等で区切られた各段落を認識して構成要素ELiを抽出する(ステップS22)とともに、文字認識処理によって当該各段落(画像領域)から文字データを取得して関連性を判定する(ステップS23)ようにしてもよい。
つぎに、ステップS24において、MFP10の関連性判定部37は、複数の構成要素ELiの相互間の関連性を判定する関連性判定処理を実行する。この関連性判定処理では、複数の構成要素ELiが所定レベル以上の関連性を有するか否かが判定される。関連性判定部37は、各構成要素ELiの表示順序(詳細には、各構成要素ELiの連続性等)、および各構成要素ELiの各キーワード(文字情報)等に基づいて関連性を判定する。なお、各構成要素ELiの各キーワードは、各構成要素ELiの文章情報に対して品詞分解処理等を施すことなどによって取得されればよい。
たとえば、関連性判定部37は、基本資料MBの構成要素BD1の表示に引き続いて補足資料MRaの構成要素Ea1の表示が行われていることを考慮して、2つの構成要素BD1,Ea1の関連性が高いこと(「高」であること)を判定する(図13参照)。換言すれば、2つの構成要素BD1,Ea1は所定レベル以上の関連性を有する、と判定される。
同様に、関連性判定部37は、基本資料MBの構成要素BD2の表示に引き続いて補足資料MRaの構成要素Ea1の表示が行われていることなどを考慮して、2つの構成要素BD2,Ea1の関連性が「高」であることを判定する(図13参照)。
さらに、関連性判定部37は、連続する2つの構成要素BD1,BD2の相互間に重複するキーワードが所定数以上存在すること及び共通の構成要素Ea1が当該2つの構成要素BD1,BD2の説明に利用されていることなどを考慮して、3つの構成要素BD1,Ea1,BD2の関連性が「高」であることを判定する(図13参照)。
また、関連性判定部37は、基本資料MBの構成要素BD3の表示に引き続いて、補足資料MRbの構成要素Eb1の表示が行われていることを考慮して、2つの構成要素BD3,Eb1の関連性が「高」であることを判定する(図13参照)。なお、連続する構成要素BD2,BD3,BD4の相互間には重複するキーワードが存在しない(所定数未満である)ことを考慮して、これらの構成要素BD2,BD3,BD4の関連性は低い(「低」である)と判定される(図13参照)。換言すれば、これらの構成要素BD2,BD3,BD4の相互間の関連性は所定レベルより低い、と判定される。
また、連続する構成要素BD4,BD5の相互間には重複するキーワードが存在しない(所定数未満である)ことを考慮して、2つの構成要素BD4,BD5の関連性も「低」であると判定される(図13参照)。
さらに、関連性判定部37は、基本資料MBの構成要素BD5の表示に引き続いて、補足資料MRcの構成要素Ec1の表示が行われていることを考慮して、2つの構成要素BD5,Ec1の関連性が「高」であることを判定する(図13参照)。
以上のようにして、関連性判定処理(ステップS24)が実行される。図14は、関連性判定結果を示す概念図である。図14においては、所定レベル以上の関連性を有する構成要素が破線で囲われて示されている。
つぎに、ステップS25において、MFP10の資料作成部38は、関連性の判定結果に基づいて、プレゼンテーション資料PRを作成する。具体的には、資料作成部38は、所定レベル以上の関連性を有する2つ以上の構成要素をプレゼンテーション資料PR内の1つのページに集約する。この第1実施形態においては、所定レベル以上の関連性を有する2つ以上の構成要素がプレゼンテーション資料PRの1つのページ内(より詳細には、1つのページ内の同一レイヤ)に配置される場合について例示する。
まず、3つの構成要素BD1,Ea1,BD2の関連性が「高」であることに基づいて、図15に示すように、3つの構成要素BD1,Ea1,BD2がプレゼンテーション資料PRの第1ページPG1に集約される。詳細には、所定の配置ルールにしたがって、3つの構成要素BD1,Ea1,BD2が合成される。より詳細には、基本資料MBの構成要素が表示画面内の右下側に配置され、補足資料MRの構成要素が表示画面内の中央部から左上側に亘って配置される。この結果、図15のような第1ページPG1が作成される。なお、構成要素BD1,BD2は資料DM0(基本資料MB)に存在する要素であり、構成要素Ea1は資料DM1(補足資料MRa)に存在する要素である。すなわち、構成要素BD1,BD2と構成要素Ea1とは互いに異なる資料DMi内に存在する要素である。
また、2つの構成要素BD3,Eb1の関連性が「高」であることに基づいて、図16に示すように、2つの構成要素BD3,Eb1がプレゼンテーション資料PRの第2ページPG2に集約される。詳細には、上記と同様の配置ルールにしたがって、2つの構成要素BD3,Eb1が合成される。より詳細には、基本資料MBの構成要素BD3が表示画面内の右下側に配置され、補足資料MRの構成要素Eb1が表示画面内の中央部から左上側に亘って配置される。なお、構成要素BD3は資料DM0に存在する要素であり、構成要素Eb1は資料DM2に存在する要素である。すなわち、構成要素BD3と構成要素Eb1とは互いに異なる資料DMi内に存在する要素である。
また、2つの構成要素BD4には高い関連性を有する構成要素が存在しないことに基づいて、図17に示すように、単一の構成要素BD4がプレゼンテーション資料PRの第3ページPG3に配置される。
また、2つの構成要素BD5,Ec1の関連性が「高」であることに基づいて、図18に示すように、2つの構成要素BD5,Ec1がプレゼンテーション資料PRの第4ページPG4に集約される。詳細には、上記と同様の配置ルールにしたがって、2つの構成要素BD5,Ec1が合成される。より詳細には、基本資料MBの構成要素BD5が表示画面内の右下側に配置され、補足資料MRの構成要素Ec1が表示画面内の中央部から左上側に亘って配置される。なお、構成要素BD5と構成要素Ec1とは互いに異なる資料DMi内に存在する要素である。
以上のようにして、4つのページPG1〜PG4を有するプレゼンテーション資料PRが作成される。
<本番のプレゼンテーション動作>
その後、本番のプレゼンテーションPS1が、プレゼンテーション資料ファイルPRを用いて実行される。たとえば、MFP10の格納部5内に格納されたプレゼンテーション資料ファイルPRの各ページが、コンピュータ50の操作入力に応じて表示装置30に表示される。なお、これに限定されず、コンピュータ50の格納部(ハードディスク等)に格納されたプレゼンテーション資料ファイルPRが、コンピュータ50の操作入力に応じて表示装置30に表示されるようにしてもよい。
詳細には、プレゼンテーションPS1においては、次述するように、プレゼンテーション資料ファイルPRの4つのページPG1〜PG4(図15〜図18)が順次に表示され、予行プレゼンテーションPS0と同様の内容が同様の順序で説明される。
まず、発表者PAは、ページPG1の構成要素BD1,BD2,Ea1を参照しながら、構成要素BD1,BD2,Ea1に関する内容を予行プレゼンテーションPS0と同様の順序で説明する。次に、発表者PAは、ページPG2の構成要素BD3,Eb1を参照しながら、構成要素BD3,Eb1に関する内容を予行プレゼンテーションPS0と同様の順序で説明する。さらに、発表者PAは、ページPG3の構成要素BD4を参照しながら、構成要素BD4に関する内容を説明する。そして、発表者PAは、ページPG4の構成要素BD5,Pc1を参照しながら、ページPG4の構成要素BD5,Pc1に関する内容を予行プレゼンテーションPS0と同様の順序で説明する。
以上のような動作によれば、予行プレゼンテーションPS1における複数の資料DMiの各ページの遷移順序に関するページ遷移情報PTに基づいて、当該複数の資料DMiを統合してプレゼンテーション資料PRが作成される。そして、発表者PAは、複数の資料DMiの相互間での表示切換を伴うことを要さず、複数の資料DMiが纏められた1つのプレゼンテーション資料PRにおいてページを変更すること(特にページを順次に送ること)によって、プレゼンテーションPS1を実行することができる。すなわち、複数の資料DMiに関するプレゼンテーションPS1を簡易に実現することが可能である。
また、MFP10は、所定レベル以上の関連性を有する2つ以上の構成要素を1つのページに集約してプレゼンテーション資料PRを作成する。たとえば、プレゼンテーション資料PRの第1ページPG1には、互いに「高」レベルの関連性を有する構成要素BD1,BD2,Ea1が集約される。また、プレゼンテーション資料PRの第2ページPG2には、互いに「高」レベルの関連性を有する構成要素BD3,Eb1が集約される。同様に、プレゼンテーション資料PRの第4ページPG4には、互いに「高」レベルの関連性を有する構成要素BD5,Ec1が集約される。これによれば、関連性の高い2つ以上の構成要素が1つのページに自動的に集約される。そのため、操作者が手動で複数の構成要素(画像等)の配置等を決定して各ページを作成する場合に比べて、関連性の高い複数の構成要素が集約されたページを有するプレゼンテーション資料PRを非常に簡易に作成することができる。
特に、プレゼンテーション資料PRの同一ページに集約される2つ以上の構成要素は、互いに異なる資料DMiに存在していた少なくとも2つの構成要素を有する。たとえば、プレゼンテーション資料PRの第1ページPG1は、資料DM0に存在していた構成要素BD1(あるいはBD2)と、資料DM1に存在していた構成要素Ea1とに基づいて作成される。換言すれば、プレゼンテーション資料PRの第1ページPG1に集約される3つの構成要素BD1,BD2,Ea1は、互いに異なる資料DM0,DM1に存在していた少なくとも2つの構成要素(BD1,Ea1)を有する。また、第2ページPG2は、資料DM0に存在していた構成要素BD3と、資料DM2に存在していた構成要素Eb1とに基づいて作成される。換言すれば、第2ページに集約される2つの構成要素BD3,Eb1は、互いに異なる資料DM0,DM1に存在していた構成要素である。第4ページも同様である。そのため、互いに異なる資料DMiに存在していた少なくとも2つの構成要素が集約されたページを有するプレゼンテーション資料PRが、非常に簡易に作成され得る。
<2.第2実施形態>
上記第1実施形態においては、プレゼンテーション資料PRの1つのページ内(より詳細には、1つのページ内の同一レイヤ)に、所定レベル以上の関連性を有する2つ以上の構成要素が配置される場合を例示したが、本発明はこれに限定されない。たとえば、所定レベル以上の関連性を有する2つ以上の構成要素が、プレゼンテーション資料PRの1つのページ内の異なるレイヤに配置されるようにしてもよい。第2実施形態では、このような態様について説明する。
第2実施形態は、第1実施形態の変形例であり、以下では、第1実施形態との相違点を中心に説明する。
図11のステップS24までは上記第1実施形態と同様の処理が施される。そして、ステップS25のプレゼンテーション資料作成処理においては、次のような構成を有するプレゼンテーション資料PR(PR2とも称する)が作成される。
当該プレゼンテーション資料PR2においては、互いに高い関連性を有する4つの構成要素BD1,Ea1,BD2,Ea1が、第1ページPG1内の異なるレイヤに配置される(図19、図20〜図23参照)。具体的には、ページPG1の第1レイヤLA11には構成要素BD1が配置され、ページPG1の第2レイヤLA12には構成要素Ea1が配置される。また、ページPG1の第3レイヤLA13には構成要素BD2が配置され、ページPG1の第4レイヤLA14には構成要素Ea1が配置される。
このように、プレゼンテーション資料PR2におけるページPG1においては、所定レベル以上の関連性を有する2つ以上(具体的には4つ)の構成要素が、当該ページPG1内の異なるレイヤLA11〜LA14に配置される。端的に言えば、ページPG1においては、関連性「高」の2つ以上の構成要素が、互いに異なるレイヤに分離配置される。なお、各構成要素の各配置平面内(各レイヤ内)での位置は、第1実施形態と同様である。
また、プレゼンテーション資料PR2のページPG2においても、ページPG1と同様に、所定レベル以上の関連性を有する2つ以上(具体的には2つ)の構成要素BD3,Eb1が、当該ページPG2内の異なるレイヤに配置される。さらに、プレゼンテーション資料PR2の他のページPG4についても同様にして、所定レベル以上の関連性を有する2つ以上(具体的には、4つ)の構成要素BD5,Ec1が、当該ページPG4内の異なるレイヤに配置される。
その後、ステップS3(図3)のプレゼンテーションPS1においては、プレゼンテーション資料PR2の各ページ内の複数のレイヤは、アクティブレイヤの切換を伴って表示される。すなわち、複数のレイヤのうちのアクティブレイヤが順次に変更されることによって、各ページにおける表示態様が変化する。より詳細には、複数のレイヤのうちアクティブレイヤと非アクティブレイヤとが互いに異なる濃度で合成されて表示される。換言すれば、上記のステップS25においては、プレゼンテーション資料PR2の各ページは、複数のレイヤのうちアクティブレイヤと非アクティブレイヤとが異なる濃度で合成表示可能となるように、作成される。
たとえば、第1ページPG1内の複数のレイヤLA11〜LA14は、アクティブレイヤの切換を伴って、次述するように表示される。
図20〜図23は、プレゼンテーション資料PR2の第1ページPG1における4つのレイヤLA11〜LA14がそれぞれアクティブレイヤとして表示された状態を示す図である。各図に示すように、複数のレイヤLA11〜LA14のうち、アクティブレイヤは比較的高濃度(通常表示)を有し、非アクティブレイヤは比較的低濃度(淡色表示)を有する状態で、複数のレイヤが合成されて表示される。
プレゼンテーションPS1においては、まず、レイヤLA11がアクティブレイヤとして設定され、図20に示すように、レイヤLA11に配置された構成要素BD1が通常濃度で表示される。一方、非アクティブレイヤであるレイヤLA12,LA13,LA14に配置された構成要素Ea1,BD2,Ea1は、淡色表示される。このように、複数のレイヤLA11〜LA14のうち非アクティブレイヤに配置された構成要素が淡色表示された状態で、アクティブレイヤと非アクティブレイヤとが合成されてページPG1が表示される。発表者PAは、図20のような画面を用いて、構成要素BD1に関する説明を行う。
つぎに、発表者PAがプレゼンテーションの進行操作(レイヤ更新操作)を行うと、レイヤLA12がアクティブレイヤとして設定され、図21に示すように、4つのレイヤLA11〜LA14が合成表示される。具体的には、レイヤLA12に配置された構成要素Ea1が通常濃度で表示され、一方、非アクティブレイヤであるレイヤLA11,LA13,LA14に配置された構成要素BD1,BD2,Ea1は、淡色表示される。なお、レイヤLA14に配置された構成要素Ea1は、レイヤLA12に配置された構成要素Ea1と重複するため、視認されない。
発表者PAが、図21のような画面を用いて構成要素Ea1に関する説明を行った後に、レイヤ更新操作を行うと、今度はレイヤLA13がアクティブレイヤとして設定され、図22に示すように、4つのレイヤLA11〜LA14が合成表示される。具体的には、レイヤLA13に配置された構成要素BD2が通常濃度で表示され、一方、非アクティブレイヤであるレイヤLA11,LA12,LA14に配置された構成要素BD1,Ea1,Ea1は、淡色表示される。
また、更にレイヤ更新操作が行われると、レイヤLA14がアクティブレイヤとして設定され、図23に示すように、4つのレイヤLA11〜LA14が合成表示される。具体的には、レイヤLA14に配置された構成要素Ea1が通常濃度で表示され、一方、非アクティブレイヤであるレイヤLA11,LA12,LA13に配置された構成要素BD1,Ea1,BD2は、淡色表示される。
このように、複数のレイヤLA11〜LA14のうちのアクティブレイヤが順次に変更されることによって、ページPG1の表示態様が遷移していく。換言すれば、或るページPG1内の異なるレイヤの構成要素が順次にアクティブ状態にされて表示される。
その他のページPG2,PG4についても同様の表示動作が実行される。
以上の動作によれば、第1実施形態と同様の効果を得ることが可能である。また、或るページ内の異なるレイヤの構成要素が順次にアクティブ状態にされて表示されるため、聴講者は、注目箇所(注目すべき構成要素)を容易に把握することができる。
<3.第3実施形態>
第3実施形態においては、予行プレゼンテーションPS0における補足資料内の画像拡大操作にも基づいて補足資料内の構成要素が抽出される態様について説明する。
第3実施形態は、第1実施形態の変形例であり、以下では、第1実施形態との相違点を中心に説明する。
この第3実施形態においては、ステップS1(図3)の予行プレゼンテーションPS0において、資料DM2(MRb)の第1ページPb1のグラフの一部を拡大する画像拡大操作が行われる場合を想定する。
具体的には、ステップS1において、発表者PAは、図24に示すように、画面GA1(図7)内のページPb1のグラフの拡大対象領域RG1をマウス操作で指定した後に、右クリックメニュー(不図示)内の拡大コマンドを選択する。これに応じて、コンピュータ50は、拡大対象領域RG1に係る画像をページPb1から抽出して拡大することにより、図25のような拡大画像(拡大対象領域RG1に係る部分を拡大して示す画像)EGを生成して、表示装置30に表示させる。このように、予行プレゼンテーションPS0での画像拡大操作によって、補足資料MRbのページPb1の拡大画像(部分拡大画像とも称する)EGが表示される。そして、発表者PAは、予行プレゼンテーションPS0において拡大画像EGを用いて説明を行う。
このとき、拡大画像EGは、コンピュータ50からMFP10に転送される。MFP10(詳細には構成要素抽出部36)は、ページPb1から抽出された拡大画像EGをその表示期間とともに格納部5内のページ遷移情報PT内に格納する。なお、ここでは、コンピュータ50が拡大画像EGを作成する場合を例示しているが、これに限定されず、MFP10(詳細には構成要素抽出部36等)が、拡大対象領域RG1に係る画像をページPb1から抽出して拡大することにより、拡大画像EGを作成するようにしてもよい。
また、ここでは、拡大画像EG内の円グラフに関する複数のオブジェクトのうち、拡大対象領域RG1内において、所定割合(例えば70%)以上表示されているオブジェクトのみが、拡大画像(詳細には修正後の拡大画像)EGとして格納部5に格納されるものとする。換言すれば、当該複数のオブジェクトのうち、所定値(例えば70%)以上の表示割合(そのオブジェクトの全面積に対する表示対象面積の割合)を有するオブジェクトのみが、拡大画像EGとして格納部5に格納されるものとする。たとえば、円グラフの2番目のオブジェクトBJ2に関しては、領域RG1内において当該オブジェクトの全体(100%)が表示されているため、2番目のオブジェクトBJ2は拡大画像EGとして格納される。一方、領域RG1内において、円グラフの1番目のオブジェクトBJ1の表示対象面積は、当該オブジェクトBJ1の全面積の2〜3割程度の面積に過ぎないため、1番目のオブジェクトBJ1は拡大画像EGから除外される。同様に、領域RG1内において、円グラフの3番目のオブジェクトBJ3および4番目のオブジェクトBJ4に関しても、その表示対象面積の割合(各オブジェクトの全面積に対する各オブジェクトの表示対象面積の割合)は所定値(例えば70%)未満である。そのため、オブジェクトBJ3,BJ4も、拡大画像EGから除外される。
その後、ステップS21においてページ遷移情報PTが取得され、ステップS22において拡大画像EGが新たな構成要素として抽出される。ステップS22では、構成要素抽出部36は、第2の補足資料MRbの第1ページPb1から、1つの画像(円グラフ)Eb1とともに、その拡大画像EGをも構成要素ELiとして抽出する。詳細には、構成要素抽出部36は、拡大画像EGをページ遷移情報PTから取得する。なお、構成要素抽出部36のこの取得処理は、ページ遷移情報PTを介して、第2の補足資料MRbの第1ページPb1から拡大画像EGを抽出する処理であるとも表現される。
また、ステップS23の構成要素配列処理では、関連性判定部37は、拡大画像EGに係る構成要素を、各構成要素の表示順序に従って、構成要素Eb1の次に配置する(図26参照)。
さらに、ステップS24の関連性判定処理では、関連性判定部37は、構成要素Eb1の表示に引き続いて拡大画像EGの表示が行われていることを考慮して、2つの構成要素Eb1,EGの関連性が高いこと(「高」であること)をも判定する(図26参照)。
そして、ステップS25のプレゼンテーション資料作成処理では、プレゼンテーション資料PR3が作成される。プレゼンテーション資料PR3においては、3つの構成要素BD3,Eb1,EGの関連性が「高」であることに基づいて、3つの構成要素BD3,Eb1,EGがプレゼンテーション資料PRの第2ページPG2に集約される。ここでは、第2実施形態と同様に、互いに高い関連性を有する3つの構成要素BD3,Eb1,EGが、第2ページPG2内の異なるレイヤに配置される(図27〜図29参照)。詳細には、ページPG2の第1レイヤLA21には構成要素BD3が配置され、ページPG2の第2レイヤLA22には構成要素Eb1が配置され、ページPG2の第3レイヤLA23には構成要素EGが配置される。
そして、ステップS3において、プレゼンテーション資料PR3を用いて、プレゼンテーションPS1が行われる。このプレゼンテーションPS1においては、プレゼンテーション資料PRの第2ページPG2は、レイヤLA21,LA22,LA23の順序でアクティブレイヤの変更を伴いつつ表示される(図27〜図29)。
以上のように、この第3実施形態によれば、予行プレゼンテーションPS0における画像拡大操作に基づく補足資料の拡大画像が構成要素として抽出され、当該構成要素がプレゼンテーション資料PR3内に配置される(ステップS22)。そのため、発表者PAは、プレゼンテーションPS1実行時には画像拡大操作を伴うことなく、当該拡大画像を容易に表示させることが可能である。
<4.変形例等>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
たとえば、上記各実施形態においては、ステップS24の関連性判定処理において、連続する構成要素の相互間に重複するキーワードが所定数以上存在することなどが考慮されており、各構成要素BDiの各キーワードは、各基本資料DM0内の文章情報(文字情報)に基づいて取得される場合を例示したが、これに限定されない。
具体的には、関連性判定部37は、音声情報解析部33等と協働して、関連性判定処理を実行するようにしてもよい。より詳細には、音声情報解析部33が、ページBP1の1回目の表示期間(T0〜T1)における音声情報とページBP1の2回目の表示期間(T2〜T3)における音声情報とに対して、それぞれ、音声認識処理を施し音声情報を文字データ化しキーワードを抽出する。そして、両期間の相互間において重複して検出されたキーワードの数が閾値以上であるか否か等に基づいて、両期間の関連性、換言すれば構成要素BD1と構成要素BD2との関連性が所定レベル以上であるか否かが判定されるようにしてもよい。
あるいは、関連性判定部37は、ポインタ情報解析部34等と協働して、関連性判定処理を実行するようにしてもよい。詳細には、ポインタ情報解析部34が、予行プレゼンテーションPS0における、ページBP1の1回目の表示期間(T0〜T1)でのマウスカーソル(ポインタ)の軌跡情報とページBP1の2回目の表示期間(T2〜T3)でのマウスカーソル(ポインタ)の軌跡情報とに基づいて、それぞれ、キーワードを抽出する。より詳細には、ポインタ情報解析部34は、マウスカーソルで文字列を囲むような操作(あるいは下線を引くような操作)等を検出して、当該操作対象の文字列をキーワードとして抽出する。そして、両表示期間の相互間において重複して検出されたキーワードの数が閾値以上であるか否か等に基づいて、構成要素BD1と構成要素BD2との関連性が所定レベル以上であるか否かが判定されるようにしてもよい。このように、予行プレゼンテーションPS0における指示ポインタの軌跡情報にも基づいて、複数の構成要素の相互間の関連性が判定されるようにしてもよい。
また、上記各実施形態においては、ステップS23の構成要素配列処理において、音声データADに対する音声情報解析部33の解析結果等に基づいて、予行プレゼンテーションPS0における進行程度(進行段階)が認識される場合を例示したが、これに限定されない。たとえば、次述するように、予行プレゼンテーションPS0における各ページの表示期間でのマウスカーソル(ポインタ)の軌跡情報に基づいて、進行程度が認識されるようにしてもよい。詳細には、ページBP1の1回目の表示期間(T0〜T1)において、マウスカーソルによって構成要素BD1内の文字列を囲む動作が行われているときには、当該構成要素BD1に関する説明が行われていることが認識される。同様に、ページBP1の2回目の表示期間(T2〜T3)において、マウスカーソルによって構成要素BD2内の文字列を囲む動作が行われているときには、当該構成要素BD2に関する説明が行われていることが認識される。このように、マウスカーソル等の軌跡情報に基づいて、進行程度が認識されるようにしてもよい。