JP2009283020A - 記録装置、再生装置、及びプログラム - Google Patents

Abstract

【課題】複数の発言者により行われたプレゼンテーションを記録した際に、発言者毎に発言部分を効率よく探し出せるようにする。
【解決手段】プレゼンテーション記録再生装置１０は、表示された画像を指示する１又は複数のマウスＡ，Ｂ，Ｃの各々により指示された指示位置を取得し、マウス毎に利用者を対応付けて記憶し、利用者の音声を記録し、取得された各マウスによる指示位置に基づいて、マウスＡ，Ｂ，Ｃのうち有効なマウスを特定するとともに、当該特定されたマウスに対応づけて記憶された利用者を特定し、特定されたマウスが有効である期間に記録された音声と、特定された利用者とを関連づけて記憶する。
【選択図】図１

Description

本発明は、記録装置、再生装置、及びプログラムに関する。

コンピュータを用いて予め作成したスライド画像を順次映し出してプレゼンテーションをすることが一般的になってきている。そして、プレゼンテーションを記録し再生する技術としては、例えば下記の特許文献１や特許文献２に記載のものがある。

特許文献１には、利用者の操作情報を検出して、スライドの切り替え時間に合わせて記録した音声の再生を行う技術が開示されており、また、特許文献２には、表示されたスライド画像の変化を検出して、その検出された変化のタイミングに合わせて音声データを分割して記憶し、再生時にはスライド画像と音声とを同期して再生する技術が開示されている。
特開２００３−５８９０１号公報 特開２００６−１２７５１８号公報

ここでプレゼンテーションを記録し、後に記録したプレゼンテーションを再生する場合において、キースピーカー等の特定の発言者の発言部分のみを効率よく視聴したいという要望が考えられるが、従来の技術ではこうした要望に応える機能はなかった。

本発明は上記課題に鑑みてなされたものであって、本発明の目的の一つは、発言者毎に発言部分を効率良く探し出すことができる記録装置、再生装置、及びプログラムを提供することにある。

上記目的を達成するために、請求項１に記載の記録装置の発明は、表示された画像を指示する１又は複数の指示手段の各々により指示された指示位置を取得する指示位置取得手段と、前記指示手段毎に利用者を対応付けて記憶する利用者記憶手段と、前記利用者の音声を記録する記録手段と、前記指示位置取得手段により取得された指示位置に基づいて、前記１又は複数の指示手段のうち有効な指示手段を特定するとともに、当該特定された指示手段に対応づけて前記利用者記憶手段に記憶された利用者を特定する特定手段と、前記特定手段により特定された指示手段が有効である期間に前記記録手段により記録された音声と、前記特定手段により特定された利用者とを関連づけて記憶する記憶手段と、を含むことを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の記録装置において、前記記録手段は、前記利用者の音声とともに、前記表示された画像及び前記指示手段による指示位置を同期して記録し、前記記憶手段に、前記指示手段が有効である期間に前記記録された音声とともに、前記記録手段により同期して記録された前記表示された画像及び前記指示位置を、前記特定された利用者と関連づけて記憶する、ことを特徴とする。

また、請求項３に記載の発明は、請求項１又は２に記載の記録装置において、前記特定手段は、前記指示手段のうち前記指示位置取得手段により取得された指示位置の変化が最大の指示手段を有効な指示手段として特定する、ことを特徴とする。

また、請求項４に記載の発明は、請求項１乃至３のいずれかに記載の記録装置において、前記表示された画像に１又は複数の領域を設定する手段と、前記設定された領域毎に、当該領域に含まれる文字列を抽出する手段と、前記特定手段により有効と判断された指示手段による指示位置が前記１又は複数の領域のいずれに含まれるかを特定する領域特定手段と、をさらに含み、前記記憶手段に、前記特定手段により特定された指示手段が有効である期間に前記記録された音声と、前記特定された利用者と、前記領域特定手段により特定された領域について抽出された文字列とを関連づけて記憶する、ことを特徴とする。

また、請求項５に記載の再生装置の発明は、請求項１乃至４のいずれかに記載の記録装置に含まれる前記記憶手段から、入力された情報に基づいて特定された利用者に関連づけて記憶した情報を検索する手段と、前記検索された情報に基づいて少なくとも音声を再生する手段と、を含むことを特徴とする。

また、請求項６に記載のプログラムの発明は、表示された画像を指示する１又は複数の指示手段の各々により指示された指示位置を取得する指示位置取得手段と、前記指示手段毎に利用者を対応付けて記憶する利用者記憶手段と、前記利用者の音声を記録する記録手段と、前記指示位置取得手段により取得された情報に基づいて、前記１又は複数の指示手段のうち有効な指示手段を特定するとともに、当該特定された指示手段に対応づけて前記利用者記憶手段に記憶された利用者を特定する特定手段と、前記特定手段により特定された指示手段が有効である期間に前記記録された音声と、前記特定された利用者とを関連づけて記憶する記憶手段としてコンピュータを機能させることを特徴とする。

請求項１に記載の発明によれば、発言している利用者をその利用者に対応付けられたポインタ等の指示手段の指示位置により特定して記録することにより、利用者毎に発言した音声部分を対応付けて記録できる。

請求項２に記載の発明によれば、利用者毎に音声とスライド等の表示画像とポインタ等の指示手段の指示位置とを同期して記録することができる。

請求項３に記載の発明によれば、指示位置の変化が大きな指示手段に対応付けられた利用者を、記録した音声の発言者として特定することができる。

請求項４に記載の発明によれば、利用者と、利用者に対応付けられた指示手段が指示していた領域から抽出された文字列と、利用者の音声とを関連づけて記録することで、利用者と発話内容の両方を用いた検索を行うことができる。

請求項５に記載の発明によれば、記録された情報の中から指定された利用者について記録された情報を検索して、少なくとも当該指定された利用者の音声を再生することができる。

請求項６に記載の発明によれば、発言している利用者をその利用者に対応付けられたポインタ等の指示手段の指示位置により特定して記録することにより、利用者毎に発言した音声部分を対応付けて記録するようにコンピュータを機能させることができる。

以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。

図１には、本実施形態に係るプレゼンテーション記録再生装置１０の機能ブロック図を示す。図１に示されるように、プレゼンテーション記録再生装置１０は、記憶部１２、制御部１４、表示部１６、入力制御部１８、利用者情報記憶部２０、時間管理部２２、音声記録部２４、画像記録部２６、指示位置記録部２８、有効ポインタ決定部３０、画像処理部３２、索引データ生成部３４、記録データ再生部３６、及び検索部３８を備える。各部の機能は、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムが、図示しない媒体読取装置を用いてコンピュータシステムたるプレゼンテーション記録再生装置１０に読み込まれ、当該プレゼンテーション記録再生装置１０により実行されることで実現されるものとしてよい。なお、ここでは情報記憶媒体によってプログラムがプレゼンテーション記録再生装置１０に供給されることとしたが、インターネット等のデータ通信ネットワークを介して遠隔地からプログラムがプレゼンテーション記録再生装置１０にダウンロードされてもよい。

記憶部１２は、メモリやハードディスク等の記憶装置を含み構成され、データやプログラムが記憶される。記憶部１２にはプレゼンテーションに係るスライドデータをプレゼンテーション記録再生装置１０の利用者の操作に応じて表示部１６（液晶ディスプレイ等）に順次映し出すスライド表示プログラムが格納され、ＣＰＵを含み構成される制御部１４が当該格納されたスライド表示プログラム及びスライドデータに基づいてＶＲＡＭにグラフィックデータを書き込むとともに、当該ＶＲＡＭに書き込まれたグラフィックデータに基づいて表示部１６にスライド画像を表示する。

プレゼンテーション記録再生装置１０には、入力デバイスとして複数のマウスが接続されており、当該各マウスにより利用者の操作に応じて表示されたスライド画像中に位置を指示するポインタが表示される。各マウスからの操作信号は入力制御部１８に入力され、それぞれのマウスの操作信号がポインタの表示画面座標系における移動量へと変換されて処理される。各マウスにポインタを固定的に対応付けておくことで、各ポインタは利用者毎に独立して操作することができ、表示画面上には接続されたマウスの数に対応した数のポインタがそれぞれ識別可能な態様で表示される。

本実施形態においては、プレゼンテーションは、複数の利用者により行われることとし、各利用者は各々に対応付けられたマウスを操作して上記のスライド表示プログラムに従って表示部１６に映し出されたスライド画像をポインタにより指し示しながらスライド画像の内容に基づいてプレゼンテーション（説明）を行う。以下、プレゼンテーション記録再生装置１０が備える上記複数の利用者により行われるプレゼンテーションを記録する構成について説明する。

記憶部１２には利用者情報記憶部２０が設けられており、この利用者情報記憶部２０には、図２に示されるようにポインティングデバイス毎にそのポインティングデバイスを操作する利用者の名前が対応付けて記憶されている。本実施形態ではマウスＡ，Ｂ，ＣにはそれぞれユーザＡ，Ｂ，Ｃが対応付けられていることとする。なお上記の対応付け情報は、プレゼンテーションの記録を開始する前に予め登録されるデータである。

時間管理部２２は、クロックを含み、プレゼンテーションの記録開始からの記録時間や情報取得の際の時間間隔等を管理する。

音声記録部２４は、内蔵のマイクを含み、または外付けのマイクと接続され、プレゼンテーションを行う利用者の音声をマイクにより集音して音声データを取得し、取得した音声データを時間管理部２２において管理される記録開始時からの時間情報と関連づけて記憶部１２に記録する。

画像記録部２６は、表示部１６に表示されるスライド画像の画像データを取得し、取得した画像データを時間管理部２２において管理される記録開始時からの時間情報と関連づけて記憶部１２に記録する。画像記録部２６は、表示部１６に出力されるグラフィックイメージをキャプチャすることにより画像データを取得することとしてよい。取得される画像データの形式はビットマップデータとしてもよいし、ビットマップデータを圧縮した各種形式（ＪＰＥＧ等）に係る圧縮画像データとしてもよい。

指示位置記録部２８は、表示されたスライド画像の各一部を指し示すそれぞれのポインタの指示位置情報を、時間管理部２２により指定される所定の時間間隔で順次取得し記憶部１２に記録する。指示位置記録部２８は、プレゼンテーション記録再生装置１０に接続されるマウスの操作量に応じてポインタの表示画像中の座標位置を取得してもよいし、キャプチャされる画像を画像処理することによりポインタの表示画像中の座標位置を取得することとしてもよい。図３には、指示位置記録部２８により記録される指示位置データ（ポインタデータ）の一例を示す。

図３に示すように、指示位置記録部２８は、各マウスにより操作される各ポインタの指示位置を記録したポインタデータテーブルを生成する。各ポインタデータテーブルには、記録開始からの時間と、当該時間におけるポインタの指示位置（表示画面上の座標位置）とがそれぞれ対応づけて記録される。図３に示される例では、指示位置を記録する時間間隔は０．１秒おきとしているが、もちろんこの時間間隔は適宜変更することとしてよい。

有効ポインタ決定部３０は、指示位置記録部２８により記録された指示位置データ（ポインタデータ）に基づいて有効なポインタを決定する。ここで、「有効」とは、説明を行っている利用者により操作されている可能性が高いことを表し、本実施形態においてはポインタの移動速度の大きさに基づいて判断されるものである。ここで、有効なポインタを特定する際に本実施形態において用いる判断基準を、図４を用いて具体的に説明する。

図４には、右方向に時間の経過を表す座標軸をとり、時間の経過に対応付けて、各時間において記録されたスライド画像、音声データ、各ポインタの速度をそれぞれ示したものである。ここで示される各ポインタの速度は、記録された指示位置データ（ポインタデータ）からそれぞれ演算されるデータである。本実施形態では、利用者の説明開始時点とポインティングデバイス（マウス）の動作開始時点とが密接に関連することに注目して、速度が大きく変化したポインタを移動させるポインティングデバイス（マウス）に対応付けられた利用者がその間の説明を行っているものと判断することとしている。すなわち、図４に示された例では、時刻Ｔ１以降にポインタＡの大きな速度が記録されていることから、これ以降の期間はポインタＡに対応付けられたユーザＡが説明を行っているものと判断し、次に時刻Ｔ２でポインタＢに大きな速度が記録されるまでの期間［Ｔ１，Ｔ２］はユーザＡの発話と判断する。同様に、期間［Ｔ２，Ｔ３］ではユーザＢ、期間［Ｔ３，Ｔ４］ではユーザＡが説明を行っているものとそれぞれ判断する。なお、本実施形態では各ポインタの速度に基づいて有効なポインタを判断しているが、ポインタの速度に限られるものではなく、ポインタの加速度、移動距離、軌跡パターン、またはそれらの時間に対する推移パターン等の他の情報に基づいて判断することとしても構わない。

ここで、以上説明した本実施形態に係るプレゼンテーション記録再生装置１０により行われる有効なポインタの決定処理の流れを図５に示すフロー図を参照して説明する。

図５に示されるように、プレゼンテーション記録再生装置１０は、記録された各ポインタの指示位置データ（ポインタデータ）を読み込む（Ｓ１０１）。そして、所定のサンプリング時間間隔毎に各ポインタの速度を演算するとともに（Ｓ１０２）、サンプリング時間間隔を所定数含んでなるタイムウインドウ毎に各ポインタの速度の平均値を演算する（Ｓ１０３）。プレゼンテーション記録再生装置１０は、注目するタイムウインドウについて、上記算出されたいずれかのポインタの平均速度が閾値を上回るか否かを判断し（Ｓ１０４）、上回ると判断する場合には（Ｓ１０４：Ｙ）その最大速度のポインタを選択し、当該選択したポインタを「有効」と決定する（Ｓ１０５）。また、上記判断においていずれのポインタの平均速度も閾値を上回らないと判断される場合には（Ｓ１０４：Ｎ）現在設定されている「有効」のポインタデバイスを維持することとする（Ｓ１０６）。

画像処理部３２は、記録された画像データについて画像解析して、利用者の操作に応じてポインタが指示していた位置の記載内容に基づいて、スライド画像の領域毎にその内容を関連づけておくものである。上記処理を実現するにあたり、画像処理部３２は記録された画像データに対して、図６に示すようにレイアウト解析処理を行い、領域毎に当該領域から認識される文字列を対応付けて記憶する。

図６には、キャプチャされたスライド画像５０と、スライド画像５０についてのレイアウト解析により、タイトル領域Ｒ１、本文領域Ｒ２，Ｒ３、図Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９の各領域が設定される。そして、各領域から文字認識処理により、領域内に含まれる文字列を取得して、当該取得した文字列の少なくとも一部を領域に関連づけて記憶しておく。なお、Ｒ１〜Ｒ９に含まれない領域はバックグラウンド領域である。また、Ｒ５はＲ４に、Ｒ７はＲ６に、Ｒ９はＲ８に含まれる領域である。

図７には、画像処理部３２の上記処理により各スライド画像について生成されるテーブルデータの一例を示す。図７に示されるように、画像処理部３２により生成されるテーブルデータは、各スライド画像について、その領域ＩＤ、領域のタイプ、領域の座標、及び領域から抽出された文字列がそれぞれ対応付けて構成されるレコードが１又は複数格納されたテーブルデータである。なお、領域ＩＤがＲ１〜Ｒ９の領域は図６のＲ１〜Ｒ９に対応しており、backの領域はバックグラウンド領域であることを示している。また、Ｒ５はＲ４に、Ｒ７はＲ６に、Ｒ９はＲ８に含まれる領域であることも示している。

索引データ生成部３４は、スライド画像におけるポインタの指示位置に基づいて、当該ポインタの指示位置が属する領域を特定するとともに、当該特定した領域について対応付けられた文字列を索引キーワードとして決定する。索引データ生成部３４は、音声記録部２４により記録された音声データ、画像記録部２６により記録された画像データ、有効ポインタ決定部３０により決定されたポインタに対応付けられた利用者、そして、上記決定された索引キーワードに基づいて、記録したプレゼンテーションデータの索引として機能する索引データを生成する。索引データ生成部３４は、生成した索引データを記憶部１２に記憶する。図８には、索引データ生成部３４により生成される索引データの一例を示す。

図８に示されるように、本実施形態においては、索引データはテーブルデータ（索引データテーブル）として構成される。索引データテーブルは、時間と、当該時間において有効なポインタＩＤと、当該ポインタＩＤに対応付けられた利用者と、当該時間において表示されたスライド画像（サムネイル画像）を表す画像ファイルＩＤと、当該時間において記録された音声データを表す音声ファイルＩＤと、当該時間においてポインタにより指示された領域を表すポインティング領域ＩＤと、当該指示された領域について決定された索引キーワードからなるレコードを時間毎に順次格納したテーブル情報である。なお、ポインティング領域ＩＤがφの領域はバックグラウンド領域であることを示している。

以上が複数の利用者により行われたプレゼンテーションを記録する処理に関する説明であり、次にプレゼンテーション記録再生装置１０に記録されたプレゼンテーションを再生する処理について説明する。

記録データ再生部３６は、記憶部１２に記憶されたプレゼンテーションデータを読み込んで、当該読み込んだプレゼンテーションデータを再生する。プレゼンテーションデータの再生は、記録した音声、スライド画像、及びポインタの指示位置とをそれぞれ同期させた動画像を表示することにより行われる。図９には、記録データ再生部３６により再生され，表示部１６に表示される再生画面６０の一例を示す。

図９に示されるように、再生画面６０では、動画像表示領域６２と、サムネイル画像表示領域６４と、検索条件入力領域６６とが配置される。検索条件入力領域６６は、利用者により記録されたプレゼンテーションに関し、例えば視聴したい特定人物の特定の内容についての検索キーワードを入力する欄である。検索条件入力領域６６に入力された検索キーワードは、入力制御部１８を介して後述する検索部３８に入力される。

検索部３８は、上記入力された検索キーワードに基づいて検索クエリを生成するとともに、当該生成した検索クエリに基づいて索引データテーブルの中から該当するデータを検索し、その検索結果をリストとして記録データ再生部３６に出力する。例えば検索キーワードが、利用者の名前及び内容のそれぞれを指定したキーワードを含む場合には、当該各条件のＡＮＤからなる検索条件式を生成して、生成した検索条件式に基づいて索引データテーブルから指定した利用者が指定した内容について説明している箇所のデータを検索する。

記録データ再生部３６は、検索部３８による検索結果として入力を受けたリストに基づいて、当該リストのサムネイル画像の少なくとも一部をサムネイル画像表示領域６４に表示する。そして、利用者の操作に応じてサムネイル画像表示領域６４に表示されたサムネイル画像のいずれかが選択されると、当該選択されたサムネイル画像について関連づけられた時刻に関して記録されたスライド画像、音声データ、及びポインタデータとを同期して生成されるプレゼンテーションの動画像が動画像表示領域６２に表示される。

以上説明した本実施形態に係るプレゼンテーション記録再生装置１０によれば、プレゼンテーションにおいて発言している利用者をその利用者に対応付けられたポインタ等の指示手段の指示位置により特定して記録することにより、利用者毎に発言した音声部分を対応付けて記録することができる。こうして、記録したプレゼンテーションの中から特定の発言者による発言部分を効率良く探し出し再生することができる。また、発言時のポインタによる指示位置に基づいて発言内容を特定し音声データと発言内容のキーワードとをさらに関連づけて記憶しておくことにより、特定の発言者が特定の内容について発言している箇所を効率よく探し出して再生することができる。

もちろん本発明は上記の実施形態に限定されるものではない。例えば、上記の実施形態においてはポインタの位置はマウス等の入力デバイスにより操作され、マウスからの入力に基づいてポインタの位置を取得することとしているが、ポインタがレーザーポインタ等の外部装置により指示される位置として構成される場合には、表示されたスライド画像をキャプチャして得た画像についての画像処理によりポインタの位置を取得することとしても構わない。上記以外にも、本発明はこの分野の通常の知識を有する当業者によって多様な変更、変形又は置換が可能であることはもちろんである。

本実施形態に係るプレゼンテーション記録再生装置の機能ブロック図である。 ポインティングデバイス毎の利用者対応付け情報の一例を示す図である。 ポインタデータテーブルの一例を示す図である。 有効なポインタを特定する際に用いる判断基準を説明する図である。 有効なポインタの決定処理のフロー図である。 スライド画像のレイアウト解析結果の一例を示す図である。 各スライド画像について生成されるテーブルデータの一例を示す図である。 索引データの一例を示す図である。 記録したプレゼンテーションデータを再生する際の再生画面の一例を示す図である。

符号の説明

１０ プレゼンテーション記録再生装置、１２ 記憶部、１４ 制御部、１６ 表示部、１８ 入力制御部、２０ 利用者情報記憶部、２２ 時間管理部、２４ 音声記録部、２６ 画像記録部、２８ 指示位置記録部、３０ 有効ポインタ決定部、３２ 画像処理部、３４ 索引データ生成部、３６ 記録データ再生部、３８ 検索部、５０ スライド画像、Ｒ１ タイトル領域、Ｒ２，Ｒ３ 本文領域、Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８，Ｒ９ 図、６０ 再生画面、６２ 動画像表示領域、６４ サムネイル画像表示領域、６６ 検索条件入力領域。

Claims (6)

1. 表示された画像を指示する１又は複数の指示手段の各々により指示された指示位置を取得する指示位置取得手段と、
   前記指示手段毎に利用者を対応付けて記憶する利用者記憶手段と、
   前記利用者の音声を記録する記録手段と、
   前記指示位置取得手段により取得された指示位置に基づいて、前記１又は複数の指示手段のうち有効な指示手段を特定するとともに、当該特定された指示手段に対応づけて前記利用者記憶手段に記憶された利用者を特定する特定手段と、
   前記特定手段により特定された指示手段が有効である期間に前記記録手段により記録された音声と、前記特定手段により特定された利用者とを関連づけて記憶する記憶手段と、
   を含むことを特徴とする記録装置。
2. 前記記録手段は、前記利用者の音声とともに、前記表示された画像及び前記指示手段による指示位置を同期して記録し、
   前記記憶手段に、前記指示手段が有効である期間に前記記録された音声とともに、前記記録手段により同期して記録された前記表示された画像及び前記指示位置を、前記特定された利用者と関連づけて記憶する、
   ことを特徴とする請求項１に記載の記録装置。
3. 前記特定手段は、前記指示手段のうち前記指示位置取得手段により取得された指示位置の変化が最大の指示手段を有効な指示手段として特定する、
   ことを特徴とする請求項１又は２に記載の記録装置。
4. 前記表示された画像に１又は複数の領域を設定する手段と、
   前記設定された領域毎に、当該領域に含まれる文字列を抽出する手段と、
   前記特定手段により有効と判断された指示手段による指示位置が前記１又は複数の領域のいずれに含まれるかを特定する領域特定手段と、をさらに含み、
   前記記憶手段に、前記特定手段により特定された指示手段が有効である期間に前記記録された音声と、前記特定された利用者と、前記領域特定手段により特定された領域について抽出された文字列とを関連づけて記憶する、
   ことを特徴とする請求項１乃至３のいずれかに記載の記録装置。
5. 請求項１乃至４のいずれかに記載の記録装置に含まれる前記記憶手段から、入力された情報に基づいて特定された利用者に関連づけて記憶した情報を検索する手段と、
   前記検索された情報に基づいて少なくとも音声を再生する手段と、
   を含むことを特徴とする再生装置。
6. 表示された画像を指示する１又は複数の指示手段の各々により指示された指示位置を取得する指示位置取得手段と、
   前記指示手段毎に利用者を対応付けて記憶する利用者記憶手段と、
   前記利用者の音声を記録する記録手段と、
   前記指示位置取得手段により取得された情報に基づいて、前記１又は複数の指示手段のうち有効な指示手段を特定するとともに、当該特定された指示手段に対応づけて前記利用者記憶手段に記憶された利用者を特定する特定手段と、
   前記特定手段により特定された指示手段が有効である期間に前記記録された音声と、前記特定された利用者とを関連づけて記憶する記憶手段としてコンピュータを機能させることを特徴とするプログラム。

Images