JP2010154089A

JP2010154089A - 会議システム

Info

Publication number: JP2010154089A
Application number: JP2008328357A
Authority: JP
Inventors: Kazuhisa Ando; 和久安藤
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2008-12-24
Filing date: 2008-12-24
Publication date: 2010-07-08

Abstract

【課題】スクリーン投影等で発表時に参照される発表画像情報のみならず、板書用ボード及び配付用の紙文書に対する手書き書き込みも後で検索できるようにする。
【解決手段】板書用ボード５０上の各点には、当該各点の位置を示す位置符号コードが印刷されている。各会議参加者２５０の配付資料２００の各ページ上の各点には当該各点の位置を示す位置符号コードと当該ページの識別情報が印刷されている。マーカ６０に設けられた読取装置により筆記された点の位置符号コードを読み取って板書用ボード５０に対する筆跡を表すストローク情報を取得する。同様にデジタルペン８０により、配付資料２００の各ページに対する参加者の筆跡を表すストローク情報を取得する。これらストローク情報は、発表に用いられたスライド画像１０２と共にコンテンツ配信サーバ２０に蓄積される。コンテンツ配信サーバ２０は、それら蓄積した情報に対しユーザの指示に応じて検索を行う。
【選択図】図１

Description

本発明は、会議システムに関する。

特許文献１には、講義者と板書ボードとを視野に納めたカメラで撮影すると共に、板書ボード上でのペン先の位置を超音波や赤外線を用いた三角測量にて時系列的に記録し、前者のカメラで撮影した第１動画と、後者の記録から生成した第２動画とを、「最初の一筆」のタイミングで同期させて一画面に表示する装置が開示されている。

特許文献２に開示されたメディアシステムは、プレゼンテーションビデオを伝播するビデオ信号を受信する。メディアシステムは、そのビデオ信号を処理して、プレゼンテーションのスライド用画像を生成する。メディアシステムは、その後、画像からテキストを抽出して、画像を分類してそれをデータベースに保存するためにテキストとその他の特徴を用いる。さらに、システムは、プレゼンテーション視聴者によるプレゼンテーションへのフィードバックを可能にして、プレゼンテーションを補完するのに用いられる。

特許文献３に開示された装置は、与えられる記録指示に従って、画像処理部で生成されるプレゼン画像データを取得するともに音声入力部で生成されるプレゼン音声データを取得する。取得した前記プレゼン画像データを含むプレゼン画像データ・ファイルおよび前記プレゼン音声データを含むプレゼン音声データ・ファイルを生成するとともに、前記プレゼン画像データ・ファイルおよび前記プレゼン音声データ・ファイルの関連付けを記述した関連付けデータを生成する。生成した前記プレゼン画像データ・ファイル、前記プレゼン音声データ・ファイル、および、前記関連付けデータを、前記プレゼン・データとしてプレゼン・データ記憶部に記憶する。

特許文献４に開示された装置は、スクリーンに投影される投影用の画像データを撮影するドキュメントカメラであって投影される画像データの切り替えタイミングを検出する画像取得部と、発言者の音声を音声データとして取り込むマイクと、画像取得部の検出した切り替えタイミングに応じて音声データを分割する音声取得部と、投影用の画像データと、この画像データの投影中に入力した音声データとを関連付けて、記憶手段に格納する関連付け処理部とを有している。

特開２００３−２４１６３０号公報（特に段落００２３，００２６〜００２８）特開２００６−１２７５１８号公報特開２００５−２８４１９６号公報特開２００８−００５３５９号公報

本発明は、スクリーンに投影されるなどして発表時に参照される発表画像情報に加えて、板書用ボードに対する発表者の手書きの書き込み及び配付用の紙文書に対する会議参加者の手書きの書き込みをも後で検索できるようにするためのシステムを提供することを目的とする。

請求項１に係る発明は、板書用ボードに対する発表者の筆記動作時のペン先位置の時系列的な軌跡を示す発表者筆跡情報を生成する発表者筆跡情報生成手段と、会議参加者ごとに用意され、配布用の紙文書に対する当該会議参加者の筆記動作時のペン先位置の時系列的な軌跡を示す参加者筆跡情報を生成する参加者筆跡情報生成手段と、スクリーンに投影されるか又はコンピュータ装置の画面に表示され、表示が切り替わったときの発表文書の画像である発表画像情報を生成する発表画像情報生成手段と、前記発表者筆跡情報と、前記各会議参加者の参加者筆跡情報と、前記発表画像情報と、を蓄積する蓄積手段と、ユーザから入力された検索条件に合致する発表者筆跡情報、参加者筆跡情報又は発表画像情報を前記蓄積手段から検索し、この検索の結果を前記ユーザに提供する検索手段と、を備える会議システムである。

請求項２に係る発明は、請求項１に係る発明において、前記板書用ボードの表面には、当該表面の各点の位置を表す位置情報が表示されており、前記発表者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記板書用ボードの表面の前記位置情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記発表者筆跡情報として生成し、前記検索手段は、前記ユーザから前記板書用ボード上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記発表者筆跡情報が表す筆跡のうち前記発表者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、ことを特徴とする。

請求項３に係る発明は、請求項１に係る発明において、前記配布用の紙文書には、当該配布用の紙文書内の各点の位置を表す位置情報と、当該配布用の紙文書の識別情報と、が表示されており、前記参加者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記配布用紙文書上の前記位置情報及び前記識別情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記参加者筆跡情報として生成し、前記読取装置が読み取った前記識別情報と対応づけて前記蓄積手段に蓄積し、前記検索手段は、前記ユーザから前記配布用紙文書上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記参加者筆跡情報群のうち前記参加者筆跡情報生成手段の前記読取装置が読み取った識別情報に対応づけて蓄積された参加者筆跡情報の表す筆跡のうち、前記参加者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、ことを特徴とする。

請求項１に係る発明によれば、スクリーンに投影されるなどして発表時に参照される発表画像情報のみならず、板書用ボードに対する発表者の手書きの書き込み及び配付用の紙文書に対する会議参加者の手書きの書き込みをも後で検索できる。

請求項２に係る発明によれば、板書用ボード上の書き込みを検索条件として指定することができる。

請求項３に係る発明によれば、配布用の紙文書上の書き込みを検索条件として指定することができる。

まず、図１を参照して、本実施形態の会議システムの一例を説明する。このシステムは、ローカルエリアネットワークなどのデータ通信ネットワーク４０に接続されたＰＣ（パーソナルコンピュータ）１０、コンテンツ配信サーバ２０、プリンタ３０を備える。データ通信ネットワーク４０は、有線でも無線でもよく、それらを混合したものでもよい。

ＰＣ１０は、会議の発表者が操作するコンピュータである。ＰＣ１０にはマイク１２とプロジェクタ１４が接続されている。ＰＣ１０は、マイク１２が収集した音声を例えば数から数十マイクロ秒間隔でサンプリングして音声データ１０４を生成し、その音声データ１０４をネットワーク４０経由でコンテンツ配信サーバ２０に送信する。この送信は、リアルタイムのストリーミングにより実行してもよいし、１つのスライドを表示している期間、或いは会議全体の期間など、あらかじめ定めた単位分ずつファイルにまとめて送信してもよい。後者の場合、音声ファイルはＭＰ３などの圧縮ファイルとして送信してもよい。また、前者の場合でも、コンテンツ配信サーバ２０が、受信した音声データをあらかじめ定めた単位（例えば１つのスライド画像の表示期間分）ずつ圧縮し、圧縮ファイルとして保存してもよい。ＰＣ１０は、コンテンツ配信サーバ２０の時計と同期した時計を内蔵しており、送信される音声データ１０４の各部分はその時計が示す時刻と対応づけられている。なお、会議の時点でＰＣ１０とコンテンツ配信サーバ２０（或いは他のデバイス６０，７０）との時刻が同期していなくても、会議の際に収集したスライド画像、音声、板書筆記ストローク等の各種のデータをまとめて編集などする際に、それら各種データの時間軸を合わせてもよい。

プロジェクタ１４は、ＰＣ１０の画面に表示された発表（プレゼンテーション）資料の画像（すなわちスライド画像１０２）をスクリーンに拡大投影する。ＰＣ１０は、画面に表示したスライド画像（すなわちプロジェクタ１４が投影した画像）を監視し、表示されるスライド画像の切り替わりを検知するごとに、切り替わった新しい画像をコンテンツ配信サーバ２０に送信する。この監視は、例えば数秒などのあらかじめ定めた時間間隔で実行される。すなわち、ＰＣ１０は、監視タイミングが到来すると、今回のタイミングでの表示画像と前回のタイミングでの表示画像とを比較し、前者が後者から見て閾値割合以上変化した場合に、今回の表示画像をサンプリングし、サンプリング時刻（今回のタイミングの時刻）と対応づけてコンテンツ配信サーバ２０に送信する。

発表者は、例えばＰＣ１０画面に表示された発表資料の注目点をマウスのポインタで指し示しながら発表を行う。マウスポインタの画面上での位置情報は、数〜数十ミリ秒間隔でＰＣ１０にサンプリングされ、コンテンツ配信サーバ２０に送信され、蓄積される。

なお、ＰＣ１０は、マイク１２からの音声データ及びマウスポインタ位置の情報を蓄積し、スライド画像１０２を送信するときに、同時にそれまでに蓄積した音声データ及びマウスポインタ位置データを合わせて送信してもよい。

プリンタ３０は、ＰＣ１０又は発表者のオフィスにあるＰＣ９０から入力された配付資料２００を印刷する。各会議参加者２５０は、発表者の発表を聞いたり、議論したりしながら、配付資料２００を参照したり、配付資料２００に書き込みを行ったりする。

また、このシステムには、発表者が板書するための板書用ボード（いわゆるホワイトボード）５０が含まれる。この板書用ボード５０の表面には、その表面上の各点の２次元位置を符号化した位置符号パターンが印刷されている。位置符号パターンは、例えば、ボード５０表面に対する発表者の手書き筆記の筆跡ストローク（すなわちペン先の時系列的な軌跡）を取得するために用いられる。板書用のマーカ６０には、マーカ６０のペン先近傍の位置符号パターンを読み取るカメラと、そのカメラで読み取った画像に含まれる位置符号パターンを復号してペン先の位置座標を求める復号部と、時計と、復号結果と時計が示す時刻とを組み合わせることで、筆跡を表すストロークデータを生成するデータ処理部とを備える。このような位置符号パターンを用いた筆跡等の検出技術としては、従来、特表２００３−５０８８４３号公報に示される技術など、様々な技術が開発されており、この板書用ボード５０の位置符号パターンやマーカ６０での復号技術などにそれら従来技術を用いてよい。

なお、位置符号コードには、ボード５０表面上の各点ごとに異なる位置情報の他に、板書用ボード５０自体の識別情報を持たせる。この識別情報は、書き込まれた媒体を識別する情報であり、ボード５０表面上のどの点でも同じである。したがって、マーカ６０でボード５０表面のどの部分に書き込みを行っても、その書き込みの筆跡ストロークと共に、どの媒体に書き込まれたか（この場合は板書用ボード５０）を示す識別情報が検出される。

図２及び図３に、マーカ６０の構造の一例を模式的に示す。ペン先側から図２中矢印Ａで示す方向にマーカ６０を見た場合、インクがしみ込むペン先のフェルト部６２はドーナツ状の形状となっており、中央部分はフェルトが無く、穴になっている。その穴の部分に位置符号コードを読み取るための撮像素子６４と、照明のための光源６６とが配設されている。このマーカ６０のフェルト部６２を板書用ボード５０に当てて記入すると、撮像素子６４が光源６６で照明されたボード５０表面の位置符号コードを読み取る。これにより、マーカ６０で書き込まれた点の位置が認識される。

板書用ボード５０上の書き込みを消すためのイレイサー７０にも、同様の位置読取機構が組み込まれている。すなわち、図４に例示するように、ボード５０表面のインクを拭き取るパッド部７２は、マーカ６０のフェルト部６２と同様、中央に穴が空いたドーナツ状を呈しており、その穴の部分に撮像素子７４と照明用の光源７６が配設されている。イレイサー７０で板書を消去すると、その消去動作の各時点でのイレイサー７０の位置が位置符号コードの読取に基づき求められ、それら各時点での位置情報の系列と、パッド部７２の大きさの情報とから、板書が消されていく様子が再現される。

マーカ６０及びイレイサー７０が取得した筆記又は消去のストローク情報１０６は、コンテンツ配信サーバ２０へ送信される。この送信は、マーカ６０及びイレイサー７０に無線通信デバイスを組み込むなどにより、リアルタイムで実行してもよい。また、別の例として、マーカ６０及びイレイサー７０の内蔵メモリに、時々刻々収集したストローク情報を蓄積しておき、会議終了後などの適当なタイミングでその内蔵メモリ内の蓄積情報をＵＳＢケーブルなどの通信手段を介してＰＣ１０等に読み出し、コンテンツ配信サーバ２０へ送信してもよい。

マーカ６０及びイレイサー７０には、それぞれ固有の識別情報が割り当てられている。マーカ６０及びイレイサー７０からコンテンツ配信サーバ２０に送られるストローク情報には、それぞれ当該情報の作成者であるマーカ６０又はイレイサー７０の識別情報が含まれている。

会議参加者に配布される配付資料２００の各ページにも、板書用ボード５０と同様、位置符号コードが印刷されている。個々のページの位置符号コードには、各点ごとのページ内での位置座標に加え、当該ページに固有の識別情報が含まれている。プリンタ３０は、例えば、配付資料２００の元である文書データの各ページの画像に位置符号コードの画像を重畳して印刷する。別の例では、位置符号コードがあらかじめ印刷された用紙に対し、配付資料２００の文書データの画像を印刷する。いずれの場合も、元の文書データの各ページと、配付資料２００の各ページに印刷した識別情報との対応関係の情報が、コンテンツ配信サーバ２０に登録される。

会議参加者は、位置符号コードの読取機能を持つデジタルペン８０を用いて配付資料２００に書き込みを行う。デジタルペン８０は、従来技術のものを用いればよい。デジタルペン８０は、会議参加者の手書きの筆跡ストロークのデータを収集し、リアルタイムで、或いは一時的に蓄積した後、コンテンツ配信サーバ２０に送信する。

コンテンツ配信サーバ２０は、以上に説明した各装置（ＰＣ１０、マーカ６０、イレイサー７０、デジタルペン８０など）から受信した各種情報を、内蔵するコンテンツデータベースに蓄積する。図５に、コンテンツデータベース内に蓄積された会議情報の一例を模式的に示す。この例では、（ａ）ＰＣ１０の画面及びスクリーンに表示された画像（数秒ごとのサンプリング）、（ｂ）表示された画像の切り替わりタイミング（三角印で示す）、（ｃ）板書用ボード５０への手書き記入の筆跡ストローク、（ｄ）会議参加者ごとの配付資料２００への手書き記入の筆跡ストローク、（ｅ）マイク１２で収集した音声データ（数〜数十マイクロ秒ごとのサンプリング）、（ｆ）マウスポインタの位置のサンプリングデータ（数から数十ミリ秒ごとのサンプリング）、という各種の情報が、データベースに蓄積される。これら一組の情報は、当該会議の記録情報として管理される。

筆跡ストローク（ｃ）又は（ｄ）では、マーカ６０又はデジタルペン８０により記入が開始された時点Ｓから終了する時点Ｅまでのペン先位置の列を１つのストロークレコードとする。ここで、１文字や１つの文字列の記入の途中でペン先が一瞬ボード５０又は配付資料２００から離れることもあるが、マーカ６０又はデジタルペン８０は、そのような場合でもその文字或いは文字列を一連のもの（すなわち１つのストローク）と認識する。すなわち、例えば、マーカ６０又はデジタルペン８０は、ペン先位置を認識できなくなってもすぐには現在作成中のストロークレコードを閉じることはせず、その時点からあらかじめ定められた閾値時間（例えば数百ミリ秒〜数秒）以内にペン先位置を認識できるようになった場合、認識できるようになったペン先位置の情報をそのストロークレコードに追加する。ペン先を認識できない期間が閾値時間以上続いた場合は、現在開いているストロークレコードを閉じ（すなわち完成させ）る。そして、その後ペン先位置が認識できるようになると、新たなストロークレコードを作成し、時々刻々認識したペン先位置をそこに追加していく。

図５では省略したが、コンテンツ配信サーバ２０には、イレイサー７０のストロークレコードも、マーカ６０のストロークレコードと同様に、登録される。なお、イレイサー７０のストロークレコードは、イレイサー７０中の撮像素子７４の位置の時間的な変化を表すものであるが、この情報と、イレイサー７０のパッド部７２の形状及びサイズの情報（言い換えれば撮像素子７４に対するパッド部７２の各部分の相対的な位置やサイズの情報）とを組み合わせることで、コンテンツ配信サーバ２０は、イレイサー７０により消去される範囲を特定する。撮像素子７４により読み取られた位置符号コードのパターンの向きにより、板書用ボード５０の座標系に対するイレイサー７０の傾きが求められるので、この傾きの情報を利用することで、パッド部７２が図４に例示した方形のものであっても、粗のパッド部７２による消去の範囲が求められる。なお、パッド部７２を、撮像素子７４を中心とする円形のドーナツ形状としておけば、イレイサー７０による消去範囲を判定するのに、イレイサー７０の向きを考慮する必要はなくなる。

コンテンツ配信サーバ２０は、それら各情報を、各々に含まれる時刻情報に基づき同期させて出力（配信）する。図６及び図７に、コンテンツ配信サーバ２０のデータベースに蓄積される会議記録情報のデータ構造の一例を示す。

図６に示すように、データベースには、ＰＣ１０から送られてくるスライド画像（図中の「画像１」、「画像２」等）、そのスライド画像の表示期間の音声データ（図中の「音声１」、「音声２」等）、及びその期間のマウスポインタ位置の列を含んだファイルが、互いに対応づけて登録されている。図示例では、１つのスライド画像のデータには、表示開始時刻（すなわち当該画像のサンプリング時刻）と、当該画像から文字認識処理により抽出した文字列のリスト（文字列１, x11,y11,x12,y12），（文字列２, x21,y21,x22,y22），…が含まれる。文字列のリストには、個々の文字ごとに、当該文字列の内容を示す情報（すなわち文字コードの列）と、その文字列に外接する矩形の対角線上の２頂点(x1,y1),(x2,y2)の情報が含まれる。コンテンツ配信サーバ２０は、ＰＣ１０からスライド画像１０２を受信すると、その画像１０２にＯＣＲ（光学文字認識）処理を施し、文字列のリストを生成する。マウスポインタ位置ファイルは、サンプリング時刻ごとに、その時刻でのマウスポインタの位置(x1,y1)、形状、及び可視状態（可視か、不可視か）の組を含んでいる。

また、図７に示すように、データベースには、板書用ボード５０上へのマーカ６０及びイレイサー７０の書き込み筆跡を示すストロークレコード（「ボードのストロークレコード１」、「ボードのストロークレコード２」、…）が、例えばその書き込みの時刻順に登録されている。この例では、１つのストロークレコードには、ストロークの開始位置(x1,y1)及び開始時刻(t1)、終了位置(x2,y2)及び時刻(t2)、及びそのストロークを形成したマーカ６０又はイレイサー７０の識別情報（前者はPenID、後者はErsID）が含まれている。例えば色の異なる複数のマーカ６０が用いられる場合には、ストロークがどの色であるかをPenIDから識別することができる。図示は省略したが、ストロークレコードには、当該ストロークを構成する各サンプリング時刻でのペン先（又はイレイサー）の位置の情報が含まれている。なおこれはあくまで一例に過ぎず、また、この例では、ストロークレコードには、当該レコードが表す筆跡ストロークの文字認識結果の文字列データが含まれる。この文字列データは、スライド画像の文字認識結果の文字列リストと同様の情報を含む。

以上、板書用ボード５０についてのストロークレコードを説明したが、各会議参加者の配付資料２００への書き込みのストロークレコードも、同様のデータ構造でよい。ただし、配付資料２００についてのストロークレコードは、配付資料２００のどのページに対する書き込みかを識別するために、ページの識別情報（「紙ＩＤ」）を更に含んでいる。会議室内に複数の板書用ボードが存在する場合には、板書用ボードのストロークレコードにも、紙IDに相当する板書用ボードを識別するためのボードIDが追加される。この紙ＩＤは、配付資料２００の紙面に印刷された位置符号パターンからデジタルペン８０により認識される、当該紙面の識別情報である。また、デジタルペン８０の識別情報（PenID）も記録される。ユーザ個々人がそれぞれデジタルペン８０を所有している場合、このPenIDはユーザの識別情報として用いることができる。また、コンテンツ配信サーバ２０に、PenIDとユーザの識別情報との対応関係の情報を登録しておいてもよい。

コンテンツ配信サーバ２０は、このようなデータベースを用いて、例えば図８に示すような会議コンテンツ画面３００を生成し、ネットワーク４０上の各クライアントコンピュータ（図示省略）に提供する。会議コンテンツ画面３００は、例えばＷｅｂページとしてクライアントコンピュータに提供される。この提供は、会議中に例えばリアルタイムで行ってもよいし、会議終了後にオンデマンドで行ってもよい。なお、会議中は、コンテンツ配信サーバ２０が受信し、（文字認識などの）処理が完了したレコードまでが提供される。例えば、会議参加者の手元にあるノート型コンピュータにその会議コンテンツ画面３００を提供し、会議参加者が現時点までの会議の記録を見返すなどの目的で利用できるようにしてもよい。

図８に例示する会議コンテンツ画面３００は、メイン画面３１０，スライド画面領域３３０，ホワイトボード画面３３２及び参加者画面３３４を含んでいる。これらの画面には、スライド画像や、ホワイトボード及び配付資料への記入筆跡が動画表示される。動画表示に同期して、マイク１２で収集された音声データが再生される。

各画面３１０，３３０，３３２及び３３４には、同一時刻の画像が表示される。メイン画面３１０の下方にあるスライドバー３２０は、それら画面３１０，３３０，３３２及び３３４に表示している画面の、会議開始時点からの経過時間を示している。スライドバー３２０上のカーソル３２２は、現在表示している画面の会議開始時点を基準とする時刻（表示時刻と呼ぶ）を表しているが、視聴者がこのカーソル３２２をマウス等のポインティングデバイスを用いて移動させることで、それら画面に表示させる画像の頭出し（表示時刻の変更）をすることができる。また、例えばメイン画面３１０のクリックなどのあらかじめ定められた操作に応じて、それら各画面の動画を一時停止させたり、一時停止を解除したりできるようにしてもよい。

メイン画面３１０は、画面３００上の最大の画面であり、スライド画面、ホワイトボード画面、参加者画面のうち、視聴者が選択した画面を表示する。メイン画面３１０の下方にある小さなスライド画面３３０には、スライド画像とマウスポインタが表示される。スライド画像は、スライドの切り替わりまで変化がないが、マウスポインタの位置や形状及び可視・不可視状態は時間に応じて変化するので、その様子がマウスポインタ位置ファイルに基づき動画再生される。ホワイトボード画面３３２は、板書用ボード５０へのマーカ６０による書き込みの筆跡、及びイレイサー７０による消去の軌跡を動画表示する。これら筆跡、消去の軌跡の動画は、ストロークレコードに基づき生成される。参加者画面３３４には、会議参加者のうち視聴者が選択した１人の、配付資料２００への記入の筆跡が動画表示される。この動画表示は、当該参加者のストロークレコードから生成される。例えば、時間が進むごとに画面のうち当該参加者のストロークレコードにおけるペン先位置に該当する部分がPenIDに対応する色で塗られることで、時々刻々の当該参加者の書き込みの状態が再現される。また、ストロークレコード中の紙ＩＤに対応する配付資料画像が、書き込みの背景に表示される。また、例えば、参加者画面３３４上にマウスポインタを載せて右クリックするなどのあらかじめ定められた操作により、参加者画面３３４にどの会議参加者の書き込み筆跡を表示するかを選択するユーザインタフェース画面が提供され、この画面を通して視聴者は選択を行う。

また、会議コンテンツ画面３００には、検索条件の入力のための領域として、文字列検索領域３５０とストローク検索領域３６０とが設けられている。視聴者は、各領域３５０，３６０のタイトル「文字列検索」及び「ストローク検索」の左隣にあるラジオボタンをマウス等でクリックして選択することで、検索方式を選ぶことができる。選択は排他的としてもよいし、両方を選べるようにしてもよい。

文字列検索方式は、一般的なキーワード検索であり、単一のキーワード、又は複数のキーワードからなる論理式を検索条件として検索を行う方式である。文字列検索方式では、検索キーワードをキーボード等から入力する方式と、メイン画面３１０上でマウス等を用いて検索キーワードの領域を選択する方式が選択可能となっている。領域選択の場合、コンテンツ配信サーバ２０は、選択された領域内にある文字列をデータベース内のスライド画像レコード、板書用ボード及び各会議参加者のストロークレコードから検索する。なお、領域内の文字列は、データベース内の、メイン画面３１０に表示中の画面（スライド画面、ホワイトボード画面又は各参加者画面）の各レコードの文字列の位置と、その領域の位置との比較により求めればよい。文字列検索方式は、スライド画面、ホワイトボード画面及び各参加者画面のいずれにも適用可能である。

文字列検索アルゴリズムとしては、従来のキーワード検索のためのアルゴリズムを用いればよい、そして、この検索でヒットしたレコードの画像に対応する画像を、例えば検索アルゴリズムが求めた関連度スコアの高い順に左から、サムネイル画面リスト３４０の各画面３４２に表示する。なお、図示例では、画面３００にはリスト３４０内の画像のうち５つしか表示されないが、左右のスクロールボタンをクリックするなどの操作により、リスト３４０中の他の画像も表示することができる。スライド画像がヒットした場合は、そのスライド画像が画面３４２に表示される。板書のストロークレコードがヒットした場合は会議開始時点から当該レコードが示すストロークまでの各ストロークを順に描画することで得られる画像を画面３４２に表示する。また、最高スコアの画像をメイン画面３１０に表示（一時停止状態でも、動画表示でもよい）する。

また、ストローク検索方式は、検索条件として指定された手書きストロークに画像として類似するストロークを検索する方式である。画像同士の類似度判定には従来のアルゴリズムを用いればよい。ストローク検索方式では、検索条件の手書きストロークの領域を選択する方式と、検索条件をマウス等のポインティングデバイスを用いて手書き入力する方式とが選択可能となっている。領域選択方式では、メイン画面３１０上でユーザがマウス等を操作して選択した領域内にあるストロークを検索条件として、これに類似するストロークを持つレコードを検索する。また、手書き入力方式では、ユーザがポインティングデバイスにより入力したストロークと類似するストロークを持つレコードを検索する。ストローク検索方式の場合も、文字列検索方式と同様、検索結果の各レコードに対応する画像が、サムネイル画面リスト３４０に類似度スコア順に左から表示される。なお、このような検索は、板書及び各参加者の手書き記入のストロークレコードに対して行われる。

またストローク検索方式では、上述のストローク類似度に基づく検索に加え、検索条件のストロークの文字認識結果をキーワードとして、スライド画面やストロークレコードに対するキーワード検索を行ってもよい。

また、図示は省略したが、検索範囲を特定のユーザ（発表者又は会議参加者。２人以上でもよい）に限定できるようにしてもよい。例えば、会議コンテンツ画面３００に、検索対象とするユーザを指定するユーザインタフェースを設け、このユーザインタフェースにて指定されたユーザのストロークレコード群を検索範囲として、その範囲内の中から検索条件に適合するものを検索するようにしてもよい。ユーザの指定は、例えばプルダウンメニューなどのメニューにより選択する方式、ユーザ名やユーザ識別情報をキーボード等から入力する方式など、既存のどの方式を用いてもよい。コンテンツ配信サーバ２０は、デジタルペン８０の識別情報とその所有者の名前や識別情報との対応関係の情報を管理しており、その情報に基づき、データベース内のストロークレコードのうちのどれが指定されたユーザに対応するのかを特定する。

以上、会議コンテンツ画面３００に検索条件を入力する方式での検索処理について例示したが、この実施形態では、更に、板書用ボード５０又は配付資料２００を用いて検索条件を指定し、検索を指示するための仕組みを備える。検索条件の指定は、マーカ６０又はデジタルペン８０を用いて行われる。例えば、マーカ６０には図９に示すように透明のキャップ６８が付属しており、このキャップ６８をペン先に嵌め込むことで、フェルト部６２が板書用ボード５０の表面に触れさせずに、撮像素子６４によりボード５０表面上の位置符号コードが読取可能となる。ユーザは、キャップ６８を嵌めたマーカ６０の先端をボード５０表面に接触させながら、その先端で所望の範囲を囲む運筆を行う。この運筆における各時点で撮像素子６４が読み取った位置情報、及び板書用ボード５０の識別情報が、例えばリアルタイムに無線で、或いはマーカ６０内に蓄積された後ＵＳＢ接続ケーブルなどの有線接続を介して、マーカ６０から発表者等のＰＣに伝送される。そのＰＣは、それら位置情報の時系列と板書用ボード５０の識別情報とを含む検索要求をコンテンツ配信サーバ２０に送信する。コンテンツ配信サーバ２０は、その検索要求中の識別情報が表す板書用ボード５０のストロークレコードの中から、その位置情報の時系列（すなわちストローク）で囲まれる範囲内にある筆跡ストロークを特定し、これを検索条件として認識する。

ここで、この検索条件指定のストロークを板書のストロークと区別するために、例えばこの指定のための動作を行う前に、コンテンツ配信サーバ２０に対しこれから入力するストロークが検索条件指定のものであることを示す通知を行うようにしてもよい。例えば、板書用ボード５０表面のいずれかの場所（典型的には左右いずれかの端部）に検索条件指定を示すマークを印字しておき、ユーザがマーカ６０の先端をこのマークに触れさせることで、この通知を行ってもよい。すなわち、このときマーカ６０はマークの位置を読み取ってコンテンツ配信サーバ２０に送信し、コンテンツ配信サーバ２０は受信した位置情報からユーザの指示が検索条件指定であることを認識する。また、別の例として、マーカ６０に検索条件指定を指示するボタンを設けておき、そのボタンが押下されるとコンテンツ配信サーバ２０に通知がなされるようにしてもよい。ここで、そのボタンを、キャップ６８をマーカ６０の先端に嵌め込むと、キャップ６８によりそのボタンが押下される位置に設けておいてもよい。

そして、この指示の後、ユーザが検索条件の範囲を囲む閉曲線をキャップ付きのマーカ６０で描くと、その閉曲線のストロークがＰＣを介してコンテンツ配信サーバ２０に伝達される。コンテンツ配信サーバ２０はホワイトボード画面の画像中からその閉曲線内の筆跡ストロークを抽出し、これを検索条件として上述のストローク検索方式で検索を行う。なお、範囲指定のためのストロークは、厳密に閉曲線となっていなくてもよい。例えばコンテンツ配信サーバ２０がそのストロークの端点同士を連結することで閉曲線を完成させればよい。以上、板書用ボード５０上での検索条件指定の仕方を例示したが、配布資料２００上での検索条件の指定も同様に行えばよい。

コンテンツ配信サーバ２０は、このようにして検索条件を認識すると自動的に検索を実行してもよいし、ユーザから検索実行の指示を待ってから検索を実行してもよい。検索実行の指示は、検索範囲指定の通知と同様、例えば板書用ボード５０にマークを印字しておき、マーカ６０がそのマークに触れるとそのマークの位置情報がコンテンツ配信サーバ２０に伝達され、サーバ２０が検索実行指示と認識するという方式を用いればよい。また、マーカ６０に検索実行指示のためのボタンを設けておいてもよい。

このようにして板書用ボード５０の書き込みを検索条件とする検索が行われると、検索結果を表示した会議コンテンツ画面３００が、マーカ６０の読取情報に基づきコンテンツ配信サーバ２０に検索要求を発したＰＣ１０に対して提供される。発表者は、例えば、その画面３００のサムネイル画面リスト３４０から所望の画面を選択し、メイン画面３１０に表示し、閲覧する。同様に、その検索結果を示すサムネイル画面リスト３４０を各会議参加者のＰＣに提供し、会議参加者が参照できるようにしてもよい。なお、このような板書用ボード５０を用いた検索は、会議終了後に行ってもよい。

以上、板書用ボード５０への書き込みを検索条件として指定する場合を説明したが、各会議参加者の配付資料２００上に印刷された内容や手書きの書き込みを、同様にデジタルペン８０を用いて検索条件として指定できるようにしてもよい。このとき、デジタルペン８０には、位置符号コード読み取り用の撮像素子の視野を遮らないような形状又は材質のキャップを嵌めておけば、配付資料２００を検索のために汚すことがない。デジタルペン８０は、範囲指定のための線（例えば閉曲線）を構成する各点の位置情報とともに、配付資料２００のどのページかを特定する識別情報を読み取る。読み取られた情報は、例えばリアルタイムに無線で、或いはデジタルペン８０内に蓄積された後ＵＳＢ接続ケーブルなどの有線接続を介して、デジタルペン８０からＰＣに伝送される。そのＰＣは、それら位置情報の時系列と配付資料２００のページの識別情報とを含む検索要求をコンテンツ配信サーバ２０に送信する。コンテンツ配信サーバ２０は、その検索要求中の識別情報が表す配付資料２００のページのストロークレコードの中から、その位置情報の時系列（すなわちストローク）で囲まれる範囲内にある筆跡ストロークを特定し、これを検索条件として検索を実行する。検索結果は、検索要求を発したＰＣに返される。これにより、そのＰＣには、検索された画像をサムネイル画面リスト３４０に表示した会議コンテンツ画面３００が表示される。なお、このような配付資料２００を用いた検索は、会議終了後に行ってもよい。

また、このようなデジタルペン８０を用いた検索では、デジタルペン８０の識別情報が読み取った位置情報と共にＰＣに伝えられるので、その識別情報を検索要求の１つのパラメータとしてコンテンツ配信サーバ２０に送信してもよい。コンテンツ配信サーバ２０は、そのデジタルペン８０の識別情報に基づき、検索結果として提供する範囲を限定してもよい。例えば、検索結果として提供する範囲を、スライド画像や板書用ボード５０に対する書き込みなどのいわば共有の情報と、当該識別情報に対応するデジタルペン８０による書き込みとに限定するなどである。もちろん、このような範囲限定はあくまで一例に過ぎない。このような限定を行わず、他の会議参加者すべての書き込みを検索できるようにしてもよい。

以上に例示したシステムにおけるＰＣ１０及びコンテンツ配信サーバ２０は、典型的には、汎用のコンピュータにて上述のＰＣ１０又はコンテンツ配信サーバ２０の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、例えば、ハードウエアとして、ＣＰＵ（中央演算装置）、メモリ（一次記憶）、各種Ｉ／Ｏインタフェース等がバスを介して接続された回路構成を有する。また、そのバスに対し、例えばＩ／Ｏインタフェース経由で、ハードディスクドライブやＣＤやＤＶＤ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体を読み取るためのディスクドライブが接続される。このようなドライブは、メモリに対する外部記憶装置として機能する。実施形態の処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがメモリに読み出されＣＰＵにより実行されることにより、実施形態の処理が実現される。

実施形態のシステム構成の一例を示す図である。板書用ボードに記入するためのマーカの一例の模式的な側面図である。図２に例示したマーカをペン先側から見た状態を模式的に示す図である。板書用ボード上の書き込みを消すためのイレイサーの構造を説明するための模式図である。コンテンツデータベース内に蓄積された会議情報の一例を模式的に示す図である。コンテンツ配信サーバ２０のデータベースに蓄積される会議記録情報のうち発表者のＰＣから送られてくるスライド画像、音声、マウスポインタ位置を記録するデータ構造の一例を示す。コンテンツ配信サーバのデータベースに蓄積される会議記録情報のうち発表者及び会議参加者の手書き筆跡のストローク情報のデータ構造の一例を示す図である。会議コンテンツ画面の表示例を示す図である。透明なキャップが装着された状態のマーカを模式的に示す側面図である。

符号の説明

１０ＰＣ、１２マイク、１４プロジェクタ、２０コンテンツ配信サーバ、３０プリンタ、４０データ通信ネットワーク、５０板書用ボード、６０マーカ、６２フェルト部、６４撮像素子、６６光源、６８キャップ、７０イレイサー、７２パッド部、７４撮像素子、７６光源、８０デジタルペン、１０２スライド画像、１０４音声データ、１０６ストローク情報。

Claims

板書用ボードに対する発表者の筆記動作時のペン先位置の時系列的な軌跡を示す発表者筆跡情報を生成する発表者筆跡情報生成手段と、
会議参加者ごとに用意され、配布用の紙文書に対する当該会議参加者の筆記動作時のペン先位置の時系列的な軌跡を示す参加者筆跡情報を生成する参加者筆跡情報生成手段と、
スクリーンに投影されるか又はコンピュータ装置の画面に表示され、表示が切り替わったときの発表文書の画像である発表画像情報を生成する発表画像情報生成手段と、
前記発表者筆跡情報と、前記各会議参加者の参加者筆跡情報と、前記発表画像情報と、を蓄積する蓄積手段と、
ユーザから入力された検索条件に合致する発表者筆跡情報、参加者筆跡情報又は発表画像情報を前記蓄積手段から検索し、この検索の結果を前記ユーザに提供する検索手段と、
を備える会議システム。
前記板書用ボードの表面には、当該表面の各点の位置を表す位置情報が表示されており、
前記発表者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記板書用ボードの表面の前記位置情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記発表者筆跡情報として生成し、
前記検索手段は、前記ユーザから前記板書用ボード上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記発表者筆跡情報が表す筆跡のうち前記発表者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、
ことを特徴とする請求項１記載の会議システム。
前記配布用の紙文書には、当該配布用の紙文書内の各点の位置を表す位置情報と、当該配布用の紙文書の識別情報と、が表示されており、
前記参加者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記配布用紙文書上の前記位置情報及び前記識別情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記参加者筆跡情報として生成し、前記読取装置が読み取った前記識別情報と対応づけて前記蓄積手段に蓄積し、
前記検索手段は、前記ユーザから前記配布用紙文書上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記参加者筆跡情報群のうち前記参加者筆跡情報生成手段の前記読取装置が読み取った識別情報に対応づけて蓄積された参加者筆跡情報の表す筆跡のうち、前記参加者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、
ことを特徴とする請求項１記載の会議システム。