JP2010154089A - 会議システム - Google Patents
会議システム Download PDFInfo
- Publication number
- JP2010154089A JP2010154089A JP2008328357A JP2008328357A JP2010154089A JP 2010154089 A JP2010154089 A JP 2010154089A JP 2008328357 A JP2008328357 A JP 2008328357A JP 2008328357 A JP2008328357 A JP 2008328357A JP 2010154089 A JP2010154089 A JP 2010154089A
- Authority
- JP
- Japan
- Prior art keywords
- information
- board
- search
- participant
- handwriting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
- Drawing Aids And Blackboards (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】スクリーン投影等で発表時に参照される発表画像情報のみならず、板書用ボード及び配付用の紙文書に対する手書き書き込みも後で検索できるようにする。
【解決手段】板書用ボード50上の各点には、当該各点の位置を示す位置符号コードが印刷されている。各会議参加者250の配付資料200の各ページ上の各点には当該各点の位置を示す位置符号コードと当該ページの識別情報が印刷されている。マーカ60に設けられた読取装置により筆記された点の位置符号コードを読み取って板書用ボード50に対する筆跡を表すストローク情報を取得する。同様にデジタルペン80により、配付資料200の各ページに対する参加者の筆跡を表すストローク情報を取得する。これらストローク情報は、発表に用いられたスライド画像102と共にコンテンツ配信サーバ20に蓄積される。コンテンツ配信サーバ20は、それら蓄積した情報に対しユーザの指示に応じて検索を行う。
【選択図】図1
【解決手段】板書用ボード50上の各点には、当該各点の位置を示す位置符号コードが印刷されている。各会議参加者250の配付資料200の各ページ上の各点には当該各点の位置を示す位置符号コードと当該ページの識別情報が印刷されている。マーカ60に設けられた読取装置により筆記された点の位置符号コードを読み取って板書用ボード50に対する筆跡を表すストローク情報を取得する。同様にデジタルペン80により、配付資料200の各ページに対する参加者の筆跡を表すストローク情報を取得する。これらストローク情報は、発表に用いられたスライド画像102と共にコンテンツ配信サーバ20に蓄積される。コンテンツ配信サーバ20は、それら蓄積した情報に対しユーザの指示に応じて検索を行う。
【選択図】図1
Description
本発明は、会議システムに関する。
特許文献1には、講義者と板書ボードとを視野に納めたカメラで撮影すると共に、板書ボード上でのペン先の位置を超音波や赤外線を用いた三角測量にて時系列的に記録し、前者のカメラで撮影した第1動画と、後者の記録から生成した第2動画とを、「最初の一筆」のタイミングで同期させて一画面に表示する装置が開示されている。
特許文献2に開示されたメディアシステムは、プレゼンテーションビデオを伝播するビデオ信号を受信する。メディアシステムは、そのビデオ信号を処理して、プレゼンテーションのスライド用画像を生成する。メディアシステムは、その後、画像からテキストを抽出して、画像を分類してそれをデータベースに保存するためにテキストとその他の特徴を用いる。さらに、システムは、プレゼンテーション視聴者によるプレゼンテーションへのフィードバックを可能にして、プレゼンテーションを補完するのに用いられる。
特許文献3に開示された装置は、与えられる記録指示に従って、画像処理部で生成されるプレゼン画像データを取得するともに音声入力部で生成されるプレゼン音声データを取得する。取得した前記プレゼン画像データを含むプレゼン画像データ・ファイルおよび前記プレゼン音声データを含むプレゼン音声データ・ファイルを生成するとともに、前記プレゼン画像データ・ファイルおよび前記プレゼン音声データ・ファイルの関連付けを記述した関連付けデータを生成する。生成した前記プレゼン画像データ・ファイル、前記プレゼン音声データ・ファイル、および、前記関連付けデータを、前記プレゼン・データとしてプレゼン・データ記憶部に記憶する。
特許文献4に開示された装置は、スクリーンに投影される投影用の画像データを撮影するドキュメントカメラであって投影される画像データの切り替えタイミングを検出する画像取得部と、発言者の音声を音声データとして取り込むマイクと、画像取得部の検出した切り替えタイミングに応じて音声データを分割する音声取得部と、投影用の画像データと、この画像データの投影中に入力した音声データとを関連付けて、記憶手段に格納する関連付け処理部とを有している。
本発明は、スクリーンに投影されるなどして発表時に参照される発表画像情報に加えて、板書用ボードに対する発表者の手書きの書き込み及び配付用の紙文書に対する会議参加者の手書きの書き込みをも後で検索できるようにするためのシステムを提供することを目的とする。
請求項1に係る発明は、板書用ボードに対する発表者の筆記動作時のペン先位置の時系列的な軌跡を示す発表者筆跡情報を生成する発表者筆跡情報生成手段と、会議参加者ごとに用意され、配布用の紙文書に対する当該会議参加者の筆記動作時のペン先位置の時系列的な軌跡を示す参加者筆跡情報を生成する参加者筆跡情報生成手段と、スクリーンに投影されるか又はコンピュータ装置の画面に表示され、表示が切り替わったときの発表文書の画像である発表画像情報を生成する発表画像情報生成手段と、前記発表者筆跡情報と、前記各会議参加者の参加者筆跡情報と、前記発表画像情報と、を蓄積する蓄積手段と、ユーザから入力された検索条件に合致する発表者筆跡情報、参加者筆跡情報又は発表画像情報を前記蓄積手段から検索し、この検索の結果を前記ユーザに提供する検索手段と、を備える会議システムである。
請求項2に係る発明は、請求項1に係る発明において、前記板書用ボードの表面には、当該表面の各点の位置を表す位置情報が表示されており、前記発表者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記板書用ボードの表面の前記位置情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記発表者筆跡情報として生成し、前記検索手段は、前記ユーザから前記板書用ボード上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記発表者筆跡情報が表す筆跡のうち前記発表者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、ことを特徴とする。
請求項3に係る発明は、請求項1に係る発明において、前記配布用の紙文書には、当該配布用の紙文書内の各点の位置を表す位置情報と、当該配布用の紙文書の識別情報と、が表示されており、前記参加者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記配布用紙文書上の前記位置情報及び前記識別情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記参加者筆跡情報として生成し、前記読取装置が読み取った前記識別情報と対応づけて前記蓄積手段に蓄積し、前記検索手段は、前記ユーザから前記配布用紙文書上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記参加者筆跡情報群のうち前記参加者筆跡情報生成手段の前記読取装置が読み取った識別情報に対応づけて蓄積された参加者筆跡情報の表す筆跡のうち、前記参加者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、ことを特徴とする。
請求項1に係る発明によれば、スクリーンに投影されるなどして発表時に参照される発表画像情報のみならず、板書用ボードに対する発表者の手書きの書き込み及び配付用の紙文書に対する会議参加者の手書きの書き込みをも後で検索できる。
請求項2に係る発明によれば、板書用ボード上の書き込みを検索条件として指定することができる。
請求項3に係る発明によれば、配布用の紙文書上の書き込みを検索条件として指定することができる。
まず、図1を参照して、本実施形態の会議システムの一例を説明する。このシステムは、ローカルエリアネットワークなどのデータ通信ネットワーク40に接続されたPC(パーソナルコンピュータ)10、コンテンツ配信サーバ20、プリンタ30を備える。データ通信ネットワーク40は、有線でも無線でもよく、それらを混合したものでもよい。
PC10は、会議の発表者が操作するコンピュータである。PC10にはマイク12とプロジェクタ14が接続されている。PC10は、マイク12が収集した音声を例えば数から数十マイクロ秒間隔でサンプリングして音声データ104を生成し、その音声データ104をネットワーク40経由でコンテンツ配信サーバ20に送信する。この送信は、リアルタイムのストリーミングにより実行してもよいし、1つのスライドを表示している期間、或いは会議全体の期間など、あらかじめ定めた単位分ずつファイルにまとめて送信してもよい。後者の場合、音声ファイルはMP3などの圧縮ファイルとして送信してもよい。また、前者の場合でも、コンテンツ配信サーバ20が、受信した音声データをあらかじめ定めた単位(例えば1つのスライド画像の表示期間分)ずつ圧縮し、圧縮ファイルとして保存してもよい。PC10は、コンテンツ配信サーバ20の時計と同期した時計を内蔵しており、送信される音声データ104の各部分はその時計が示す時刻と対応づけられている。なお、会議の時点でPC10とコンテンツ配信サーバ20(或いは他のデバイス60,70)との時刻が同期していなくても、会議の際に収集したスライド画像、音声、板書筆記ストローク等の各種のデータをまとめて編集などする際に、それら各種データの時間軸を合わせてもよい。
プロジェクタ14は、PC10の画面に表示された発表(プレゼンテーション)資料の画像(すなわちスライド画像102)をスクリーンに拡大投影する。PC10は、画面に表示したスライド画像(すなわちプロジェクタ14が投影した画像)を監視し、表示されるスライド画像の切り替わりを検知するごとに、切り替わった新しい画像をコンテンツ配信サーバ20に送信する。この監視は、例えば数秒などのあらかじめ定めた時間間隔で実行される。すなわち、PC10は、監視タイミングが到来すると、今回のタイミングでの表示画像と前回のタイミングでの表示画像とを比較し、前者が後者から見て閾値割合以上変化した場合に、今回の表示画像をサンプリングし、サンプリング時刻(今回のタイミングの時刻)と対応づけてコンテンツ配信サーバ20に送信する。
発表者は、例えばPC10画面に表示された発表資料の注目点をマウスのポインタで指し示しながら発表を行う。マウスポインタの画面上での位置情報は、数〜数十ミリ秒間隔でPC10にサンプリングされ、コンテンツ配信サーバ20に送信され、蓄積される。
なお、PC10は、マイク12からの音声データ及びマウスポインタ位置の情報を蓄積し、スライド画像102を送信するときに、同時にそれまでに蓄積した音声データ及びマウスポインタ位置データを合わせて送信してもよい。
プリンタ30は、PC10又は発表者のオフィスにあるPC90から入力された配付資料200を印刷する。各会議参加者250は、発表者の発表を聞いたり、議論したりしながら、配付資料200を参照したり、配付資料200に書き込みを行ったりする。
また、このシステムには、発表者が板書するための板書用ボード(いわゆるホワイトボード)50が含まれる。この板書用ボード50の表面には、その表面上の各点の2次元位置を符号化した位置符号パターンが印刷されている。位置符号パターンは、例えば、ボード50表面に対する発表者の手書き筆記の筆跡ストローク(すなわちペン先の時系列的な軌跡)を取得するために用いられる。板書用のマーカ60には、マーカ60のペン先近傍の位置符号パターンを読み取るカメラと、そのカメラで読み取った画像に含まれる位置符号パターンを復号してペン先の位置座標を求める復号部と、時計と、復号結果と時計が示す時刻とを組み合わせることで、筆跡を表すストロークデータを生成するデータ処理部とを備える。このような位置符号パターンを用いた筆跡等の検出技術としては、従来、特表2003−508843号公報に示される技術など、様々な技術が開発されており、この板書用ボード50の位置符号パターンやマーカ60での復号技術などにそれら従来技術を用いてよい。
なお、位置符号コードには、ボード50表面上の各点ごとに異なる位置情報の他に、板書用ボード50自体の識別情報を持たせる。この識別情報は、書き込まれた媒体を識別する情報であり、ボード50表面上のどの点でも同じである。したがって、マーカ60でボード50表面のどの部分に書き込みを行っても、その書き込みの筆跡ストロークと共に、どの媒体に書き込まれたか(この場合は板書用ボード50)を示す識別情報が検出される。
図2及び図3に、マーカ60の構造の一例を模式的に示す。ペン先側から図2中矢印Aで示す方向にマーカ60を見た場合、インクがしみ込むペン先のフェルト部62はドーナツ状の形状となっており、中央部分はフェルトが無く、穴になっている。その穴の部分に位置符号コードを読み取るための撮像素子64と、照明のための光源66とが配設されている。このマーカ60のフェルト部62を板書用ボード50に当てて記入すると、撮像素子64が光源66で照明されたボード50表面の位置符号コードを読み取る。これにより、マーカ60で書き込まれた点の位置が認識される。
板書用ボード50上の書き込みを消すためのイレイサー70にも、同様の位置読取機構が組み込まれている。すなわち、図4に例示するように、ボード50表面のインクを拭き取るパッド部72は、マーカ60のフェルト部62と同様、中央に穴が空いたドーナツ状を呈しており、その穴の部分に撮像素子74と照明用の光源76が配設されている。イレイサー70で板書を消去すると、その消去動作の各時点でのイレイサー70の位置が位置符号コードの読取に基づき求められ、それら各時点での位置情報の系列と、パッド部72の大きさの情報とから、板書が消されていく様子が再現される。
マーカ60及びイレイサー70が取得した筆記又は消去のストローク情報106は、コンテンツ配信サーバ20へ送信される。この送信は、マーカ60及びイレイサー70に無線通信デバイスを組み込むなどにより、リアルタイムで実行してもよい。また、別の例として、マーカ60及びイレイサー70の内蔵メモリに、時々刻々収集したストローク情報を蓄積しておき、会議終了後などの適当なタイミングでその内蔵メモリ内の蓄積情報をUSBケーブルなどの通信手段を介してPC10等に読み出し、コンテンツ配信サーバ20へ送信してもよい。
マーカ60及びイレイサー70には、それぞれ固有の識別情報が割り当てられている。マーカ60及びイレイサー70からコンテンツ配信サーバ20に送られるストローク情報には、それぞれ当該情報の作成者であるマーカ60又はイレイサー70の識別情報が含まれている。
会議参加者に配布される配付資料200の各ページにも、板書用ボード50と同様、位置符号コードが印刷されている。個々のページの位置符号コードには、各点ごとのページ内での位置座標に加え、当該ページに固有の識別情報が含まれている。プリンタ30は、例えば、配付資料200の元である文書データの各ページの画像に位置符号コードの画像を重畳して印刷する。別の例では、位置符号コードがあらかじめ印刷された用紙に対し、配付資料200の文書データの画像を印刷する。いずれの場合も、元の文書データの各ページと、配付資料200の各ページに印刷した識別情報との対応関係の情報が、コンテンツ配信サーバ20に登録される。
会議参加者は、位置符号コードの読取機能を持つデジタルペン80を用いて配付資料200に書き込みを行う。デジタルペン80は、従来技術のものを用いればよい。デジタルペン80は、会議参加者の手書きの筆跡ストロークのデータを収集し、リアルタイムで、或いは一時的に蓄積した後、コンテンツ配信サーバ20に送信する。
コンテンツ配信サーバ20は、以上に説明した各装置(PC10、マーカ60、イレイサー70、デジタルペン80など)から受信した各種情報を、内蔵するコンテンツデータベースに蓄積する。図5に、コンテンツデータベース内に蓄積された会議情報の一例を模式的に示す。この例では、(a)PC10の画面及びスクリーンに表示された画像(数秒ごとのサンプリング)、(b)表示された画像の切り替わりタイミング(三角印で示す)、(c)板書用ボード50への手書き記入の筆跡ストローク、(d)会議参加者ごとの配付資料200への手書き記入の筆跡ストローク、(e)マイク12で収集した音声データ(数〜数十マイクロ秒ごとのサンプリング)、(f)マウスポインタの位置のサンプリングデータ(数から数十ミリ秒ごとのサンプリング)、という各種の情報が、データベースに蓄積される。これら一組の情報は、当該会議の記録情報として管理される。
筆跡ストローク(c)又は(d)では、マーカ60又はデジタルペン80により記入が開始された時点Sから終了する時点Eまでのペン先位置の列を1つのストロークレコードとする。ここで、1文字や1つの文字列の記入の途中でペン先が一瞬ボード50又は配付資料200から離れることもあるが、マーカ60又はデジタルペン80は、そのような場合でもその文字或いは文字列を一連のもの(すなわち1つのストローク)と認識する。すなわち、例えば、マーカ60又はデジタルペン80は、ペン先位置を認識できなくなってもすぐには現在作成中のストロークレコードを閉じることはせず、その時点からあらかじめ定められた閾値時間(例えば数百ミリ秒〜数秒)以内にペン先位置を認識できるようになった場合、認識できるようになったペン先位置の情報をそのストロークレコードに追加する。ペン先を認識できない期間が閾値時間以上続いた場合は、現在開いているストロークレコードを閉じ(すなわち完成させ)る。そして、その後ペン先位置が認識できるようになると、新たなストロークレコードを作成し、時々刻々認識したペン先位置をそこに追加していく。
図5では省略したが、コンテンツ配信サーバ20には、イレイサー70のストロークレコードも、マーカ60のストロークレコードと同様に、登録される。なお、イレイサー70のストロークレコードは、イレイサー70中の撮像素子74の位置の時間的な変化を表すものであるが、この情報と、イレイサー70のパッド部72の形状及びサイズの情報(言い換えれば撮像素子74に対するパッド部72の各部分の相対的な位置やサイズの情報)とを組み合わせることで、コンテンツ配信サーバ20は、イレイサー70により消去される範囲を特定する。撮像素子74により読み取られた位置符号コードのパターンの向きにより、板書用ボード50の座標系に対するイレイサー70の傾きが求められるので、この傾きの情報を利用することで、パッド部72が図4に例示した方形のものであっても、粗のパッド部72による消去の範囲が求められる。なお、パッド部72を、撮像素子74を中心とする円形のドーナツ形状としておけば、イレイサー70による消去範囲を判定するのに、イレイサー70の向きを考慮する必要はなくなる。
コンテンツ配信サーバ20は、それら各情報を、各々に含まれる時刻情報に基づき同期させて出力(配信)する。図6及び図7に、コンテンツ配信サーバ20のデータベースに蓄積される会議記録情報のデータ構造の一例を示す。
図6に示すように、データベースには、PC10から送られてくるスライド画像(図中の「画像1」、「画像2」等)、そのスライド画像の表示期間の音声データ(図中の「音声1」、「音声2」等)、及びその期間のマウスポインタ位置の列を含んだファイルが、互いに対応づけて登録されている。図示例では、1つのスライド画像のデータには、表示開始時刻(すなわち当該画像のサンプリング時刻)と、当該画像から文字認識処理により抽出した文字列のリスト(文字列1, x11,y11,x12,y12),(文字列2, x21,y21,x22,y22),…が含まれる。文字列のリストには、個々の文字ごとに、当該文字列の内容を示す情報(すなわち文字コードの列)と、その文字列に外接する矩形の対角線上の2頂点(x1,y1),(x2,y2)の情報が含まれる。コンテンツ配信サーバ20は、PC10からスライド画像102を受信すると、その画像102にOCR(光学文字認識)処理を施し、文字列のリストを生成する。マウスポインタ位置ファイルは、サンプリング時刻ごとに、その時刻でのマウスポインタの位置(x1,y1)、形状、及び可視状態(可視か、不可視か)の組を含んでいる。
また、図7に示すように、データベースには、板書用ボード50上へのマーカ60及びイレイサー70の書き込み筆跡を示すストロークレコード(「ボードのストロークレコード1」、「ボードのストロークレコード2」、…)が、例えばその書き込みの時刻順に登録されている。この例では、1つのストロークレコードには、ストロークの開始位置(x1,y1)及び開始時刻(t1)、終了位置(x2,y2)及び時刻(t2)、及びそのストロークを形成したマーカ60又はイレイサー70の識別情報(前者はPenID、後者はErsID)が含まれている。例えば色の異なる複数のマーカ60が用いられる場合には、ストロークがどの色であるかをPenIDから識別することができる。図示は省略したが、ストロークレコードには、当該ストロークを構成する各サンプリング時刻でのペン先(又はイレイサー)の位置の情報が含まれている。なおこれはあくまで一例に過ぎず、また、この例では、ストロークレコードには、当該レコードが表す筆跡ストロークの文字認識結果の文字列データが含まれる。この文字列データは、スライド画像の文字認識結果の文字列リストと同様の情報を含む。
以上、板書用ボード50についてのストロークレコードを説明したが、各会議参加者の配付資料200への書き込みのストロークレコードも、同様のデータ構造でよい。ただし、配付資料200についてのストロークレコードは、配付資料200のどのページに対する書き込みかを識別するために、ページの識別情報(「紙ID」)を更に含んでいる。会議室内に複数の板書用ボードが存在する場合には、板書用ボードのストロークレコードにも、紙IDに相当する板書用ボードを識別するためのボードIDが追加される。この紙IDは、配付資料200の紙面に印刷された位置符号パターンからデジタルペン80により認識される、当該紙面の識別情報である。また、デジタルペン80の識別情報(PenID)も記録される。ユーザ個々人がそれぞれデジタルペン80を所有している場合、このPenIDはユーザの識別情報として用いることができる。また、コンテンツ配信サーバ20に、PenIDとユーザの識別情報との対応関係の情報を登録しておいてもよい。
コンテンツ配信サーバ20は、このようなデータベースを用いて、例えば図8に示すような会議コンテンツ画面300を生成し、ネットワーク40上の各クライアントコンピュータ(図示省略)に提供する。会議コンテンツ画面300は、例えばWebページとしてクライアントコンピュータに提供される。この提供は、会議中に例えばリアルタイムで行ってもよいし、会議終了後にオンデマンドで行ってもよい。なお、会議中は、コンテンツ配信サーバ20が受信し、(文字認識などの)処理が完了したレコードまでが提供される。例えば、会議参加者の手元にあるノート型コンピュータにその会議コンテンツ画面300を提供し、会議参加者が現時点までの会議の記録を見返すなどの目的で利用できるようにしてもよい。
図8に例示する会議コンテンツ画面300は、メイン画面310,スライド画面領域330,ホワイトボード画面332及び参加者画面334を含んでいる。これらの画面には、スライド画像や、ホワイトボード及び配付資料への記入筆跡が動画表示される。動画表示に同期して、マイク12で収集された音声データが再生される。
各画面310,330,332及び334には、同一時刻の画像が表示される。メイン画面310の下方にあるスライドバー320は、それら画面310,330,332及び334に表示している画面の、会議開始時点からの経過時間を示している。スライドバー320上のカーソル322は、現在表示している画面の会議開始時点を基準とする時刻(表示時刻と呼ぶ)を表しているが、視聴者がこのカーソル322をマウス等のポインティングデバイスを用いて移動させることで、それら画面に表示させる画像の頭出し(表示時刻の変更)をすることができる。また、例えばメイン画面310のクリックなどのあらかじめ定められた操作に応じて、それら各画面の動画を一時停止させたり、一時停止を解除したりできるようにしてもよい。
メイン画面310は、画面300上の最大の画面であり、スライド画面、ホワイトボード画面、参加者画面のうち、視聴者が選択した画面を表示する。メイン画面310の下方にある小さなスライド画面330には、スライド画像とマウスポインタが表示される。スライド画像は、スライドの切り替わりまで変化がないが、マウスポインタの位置や形状及び可視・不可視状態は時間に応じて変化するので、その様子がマウスポインタ位置ファイルに基づき動画再生される。ホワイトボード画面332は、板書用ボード50へのマーカ60による書き込みの筆跡、及びイレイサー70による消去の軌跡を動画表示する。これら筆跡、消去の軌跡の動画は、ストロークレコードに基づき生成される。参加者画面334には、会議参加者のうち視聴者が選択した1人の、配付資料200への記入の筆跡が動画表示される。この動画表示は、当該参加者のストロークレコードから生成される。例えば、時間が進むごとに画面のうち当該参加者のストロークレコードにおけるペン先位置に該当する部分がPenIDに対応する色で塗られることで、時々刻々の当該参加者の書き込みの状態が再現される。また、ストロークレコード中の紙IDに対応する配付資料画像が、書き込みの背景に表示される。また、例えば、参加者画面334上にマウスポインタを載せて右クリックするなどのあらかじめ定められた操作により、参加者画面334にどの会議参加者の書き込み筆跡を表示するかを選択するユーザインタフェース画面が提供され、この画面を通して視聴者は選択を行う。
また、会議コンテンツ画面300には、検索条件の入力のための領域として、文字列検索領域350とストローク検索領域360とが設けられている。視聴者は、各領域350,360のタイトル「文字列検索」及び「ストローク検索」の左隣にあるラジオボタンをマウス等でクリックして選択することで、検索方式を選ぶことができる。選択は排他的としてもよいし、両方を選べるようにしてもよい。
文字列検索方式は、一般的なキーワード検索であり、単一のキーワード、又は複数のキーワードからなる論理式を検索条件として検索を行う方式である。文字列検索方式では、検索キーワードをキーボード等から入力する方式と、メイン画面310上でマウス等を用いて検索キーワードの領域を選択する方式が選択可能となっている。領域選択の場合、コンテンツ配信サーバ20は、選択された領域内にある文字列をデータベース内のスライド画像レコード、板書用ボード及び各会議参加者のストロークレコードから検索する。なお、領域内の文字列は、データベース内の、メイン画面310に表示中の画面(スライド画面、ホワイトボード画面又は各参加者画面)の各レコードの文字列の位置と、その領域の位置との比較により求めればよい。文字列検索方式は、スライド画面、ホワイトボード画面及び各参加者画面のいずれにも適用可能である。
文字列検索アルゴリズムとしては、従来のキーワード検索のためのアルゴリズムを用いればよい、そして、この検索でヒットしたレコードの画像に対応する画像を、例えば検索アルゴリズムが求めた関連度スコアの高い順に左から、サムネイル画面リスト340の各画面342に表示する。なお、図示例では、画面300にはリスト340内の画像のうち5つしか表示されないが、左右のスクロールボタンをクリックするなどの操作により、リスト340中の他の画像も表示することができる。スライド画像がヒットした場合は、そのスライド画像が画面342に表示される。板書のストロークレコードがヒットした場合は会議開始時点から当該レコードが示すストロークまでの各ストロークを順に描画することで得られる画像を画面342に表示する。また、最高スコアの画像をメイン画面310に表示(一時停止状態でも、動画表示でもよい)する。
また、ストローク検索方式は、検索条件として指定された手書きストロークに画像として類似するストロークを検索する方式である。画像同士の類似度判定には従来のアルゴリズムを用いればよい。ストローク検索方式では、検索条件の手書きストロークの領域を選択する方式と、検索条件をマウス等のポインティングデバイスを用いて手書き入力する方式とが選択可能となっている。領域選択方式では、メイン画面310上でユーザがマウス等を操作して選択した領域内にあるストロークを検索条件として、これに類似するストロークを持つレコードを検索する。また、手書き入力方式では、ユーザがポインティングデバイスにより入力したストロークと類似するストロークを持つレコードを検索する。ストローク検索方式の場合も、文字列検索方式と同様、検索結果の各レコードに対応する画像が、サムネイル画面リスト340に類似度スコア順に左から表示される。なお、このような検索は、板書及び各参加者の手書き記入のストロークレコードに対して行われる。
またストローク検索方式では、上述のストローク類似度に基づく検索に加え、検索条件のストロークの文字認識結果をキーワードとして、スライド画面やストロークレコードに対するキーワード検索を行ってもよい。
また、図示は省略したが、検索範囲を特定のユーザ(発表者又は会議参加者。2人以上でもよい)に限定できるようにしてもよい。例えば、会議コンテンツ画面300に、検索対象とするユーザを指定するユーザインタフェースを設け、このユーザインタフェースにて指定されたユーザのストロークレコード群を検索範囲として、その範囲内の中から検索条件に適合するものを検索するようにしてもよい。ユーザの指定は、例えばプルダウンメニューなどのメニューにより選択する方式、ユーザ名やユーザ識別情報をキーボード等から入力する方式など、既存のどの方式を用いてもよい。コンテンツ配信サーバ20は、デジタルペン80の識別情報とその所有者の名前や識別情報との対応関係の情報を管理しており、その情報に基づき、データベース内のストロークレコードのうちのどれが指定されたユーザに対応するのかを特定する。
以上、会議コンテンツ画面300に検索条件を入力する方式での検索処理について例示したが、この実施形態では、更に、板書用ボード50又は配付資料200を用いて検索条件を指定し、検索を指示するための仕組みを備える。検索条件の指定は、マーカ60又はデジタルペン80を用いて行われる。例えば、マーカ60には図9に示すように透明のキャップ68が付属しており、このキャップ68をペン先に嵌め込むことで、フェルト部62が板書用ボード50の表面に触れさせずに、撮像素子64によりボード50表面上の位置符号コードが読取可能となる。ユーザは、キャップ68を嵌めたマーカ60の先端をボード50表面に接触させながら、その先端で所望の範囲を囲む運筆を行う。この運筆における各時点で撮像素子64が読み取った位置情報、及び板書用ボード50の識別情報が、例えばリアルタイムに無線で、或いはマーカ60内に蓄積された後USB接続ケーブルなどの有線接続を介して、マーカ60から発表者等のPCに伝送される。そのPCは、それら位置情報の時系列と板書用ボード50の識別情報とを含む検索要求をコンテンツ配信サーバ20に送信する。コンテンツ配信サーバ20は、その検索要求中の識別情報が表す板書用ボード50のストロークレコードの中から、その位置情報の時系列(すなわちストローク)で囲まれる範囲内にある筆跡ストロークを特定し、これを検索条件として認識する。
ここで、この検索条件指定のストロークを板書のストロークと区別するために、例えばこの指定のための動作を行う前に、コンテンツ配信サーバ20に対しこれから入力するストロークが検索条件指定のものであることを示す通知を行うようにしてもよい。例えば、板書用ボード50表面のいずれかの場所(典型的には左右いずれかの端部)に検索条件指定を示すマークを印字しておき、ユーザがマーカ60の先端をこのマークに触れさせることで、この通知を行ってもよい。すなわち、このときマーカ60はマークの位置を読み取ってコンテンツ配信サーバ20に送信し、コンテンツ配信サーバ20は受信した位置情報からユーザの指示が検索条件指定であることを認識する。また、別の例として、マーカ60に検索条件指定を指示するボタンを設けておき、そのボタンが押下されるとコンテンツ配信サーバ20に通知がなされるようにしてもよい。ここで、そのボタンを、キャップ68をマーカ60の先端に嵌め込むと、キャップ68によりそのボタンが押下される位置に設けておいてもよい。
そして、この指示の後、ユーザが検索条件の範囲を囲む閉曲線をキャップ付きのマーカ60で描くと、その閉曲線のストロークがPCを介してコンテンツ配信サーバ20に伝達される。コンテンツ配信サーバ20はホワイトボード画面の画像中からその閉曲線内の筆跡ストロークを抽出し、これを検索条件として上述のストローク検索方式で検索を行う。なお、範囲指定のためのストロークは、厳密に閉曲線となっていなくてもよい。例えばコンテンツ配信サーバ20がそのストロークの端点同士を連結することで閉曲線を完成させればよい。以上、板書用ボード50上での検索条件指定の仕方を例示したが、配布資料200上での検索条件の指定も同様に行えばよい。
コンテンツ配信サーバ20は、このようにして検索条件を認識すると自動的に検索を実行してもよいし、ユーザから検索実行の指示を待ってから検索を実行してもよい。検索実行の指示は、検索範囲指定の通知と同様、例えば板書用ボード50にマークを印字しておき、マーカ60がそのマークに触れるとそのマークの位置情報がコンテンツ配信サーバ20に伝達され、サーバ20が検索実行指示と認識するという方式を用いればよい。また、マーカ60に検索実行指示のためのボタンを設けておいてもよい。
このようにして板書用ボード50の書き込みを検索条件とする検索が行われると、検索結果を表示した会議コンテンツ画面300が、マーカ60の読取情報に基づきコンテンツ配信サーバ20に検索要求を発したPC10に対して提供される。発表者は、例えば、その画面300のサムネイル画面リスト340から所望の画面を選択し、メイン画面310に表示し、閲覧する。同様に、その検索結果を示すサムネイル画面リスト340を各会議参加者のPCに提供し、会議参加者が参照できるようにしてもよい。なお、このような板書用ボード50を用いた検索は、会議終了後に行ってもよい。
以上、板書用ボード50への書き込みを検索条件として指定する場合を説明したが、各会議参加者の配付資料200上に印刷された内容や手書きの書き込みを、同様にデジタルペン80を用いて検索条件として指定できるようにしてもよい。このとき、デジタルペン80には、位置符号コード読み取り用の撮像素子の視野を遮らないような形状又は材質のキャップを嵌めておけば、配付資料200を検索のために汚すことがない。デジタルペン80は、範囲指定のための線(例えば閉曲線)を構成する各点の位置情報とともに、配付資料200のどのページかを特定する識別情報を読み取る。読み取られた情報は、例えばリアルタイムに無線で、或いはデジタルペン80内に蓄積された後USB接続ケーブルなどの有線接続を介して、デジタルペン80からPCに伝送される。そのPCは、それら位置情報の時系列と配付資料200のページの識別情報とを含む検索要求をコンテンツ配信サーバ20に送信する。コンテンツ配信サーバ20は、その検索要求中の識別情報が表す配付資料200のページのストロークレコードの中から、その位置情報の時系列(すなわちストローク)で囲まれる範囲内にある筆跡ストロークを特定し、これを検索条件として検索を実行する。検索結果は、検索要求を発したPCに返される。これにより、そのPCには、検索された画像をサムネイル画面リスト340に表示した会議コンテンツ画面300が表示される。なお、このような配付資料200を用いた検索は、会議終了後に行ってもよい。
また、このようなデジタルペン80を用いた検索では、デジタルペン80の識別情報が読み取った位置情報と共にPCに伝えられるので、その識別情報を検索要求の1つのパラメータとしてコンテンツ配信サーバ20に送信してもよい。コンテンツ配信サーバ20は、そのデジタルペン80の識別情報に基づき、検索結果として提供する範囲を限定してもよい。例えば、検索結果として提供する範囲を、スライド画像や板書用ボード50に対する書き込みなどのいわば共有の情報と、当該識別情報に対応するデジタルペン80による書き込みとに限定するなどである。もちろん、このような範囲限定はあくまで一例に過ぎない。このような限定を行わず、他の会議参加者すべての書き込みを検索できるようにしてもよい。
以上に例示したシステムにおけるPC10及びコンテンツ配信サーバ20は、典型的には、汎用のコンピュータにて上述のPC10又はコンテンツ配信サーバ20の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、例えば、ハードウエアとして、CPU(中央演算装置)、メモリ(一次記憶)、各種I/Oインタフェース等がバスを介して接続された回路構成を有する。また、そのバスに対し、例えばI/Oインタフェース経由で、ハードディスクドライブやCDやDVD、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体を読み取るためのディスクドライブが接続される。このようなドライブは、メモリに対する外部記憶装置として機能する。実施形態の処理内容が記述されたプログラムがCDやDVD等の記録媒体を経由して、又はネットワーク経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがメモリに読み出されCPUにより実行されることにより、実施形態の処理が実現される。
10 PC、12 マイク、14 プロジェクタ、20 コンテンツ配信サーバ、30 プリンタ、40 データ通信ネットワーク、50 板書用ボード、60 マーカ、62 フェルト部、64 撮像素子、66 光源、68 キャップ、70 イレイサー、72 パッド部、74 撮像素子、76 光源、80 デジタルペン、102 スライド画像、104 音声データ、106 ストローク情報。
Claims (3)
- 板書用ボードに対する発表者の筆記動作時のペン先位置の時系列的な軌跡を示す発表者筆跡情報を生成する発表者筆跡情報生成手段と、
会議参加者ごとに用意され、配布用の紙文書に対する当該会議参加者の筆記動作時のペン先位置の時系列的な軌跡を示す参加者筆跡情報を生成する参加者筆跡情報生成手段と、
スクリーンに投影されるか又はコンピュータ装置の画面に表示され、表示が切り替わったときの発表文書の画像である発表画像情報を生成する発表画像情報生成手段と、
前記発表者筆跡情報と、前記各会議参加者の参加者筆跡情報と、前記発表画像情報と、を蓄積する蓄積手段と、
ユーザから入力された検索条件に合致する発表者筆跡情報、参加者筆跡情報又は発表画像情報を前記蓄積手段から検索し、この検索の結果を前記ユーザに提供する検索手段と、
を備える会議システム。 - 前記板書用ボードの表面には、当該表面の各点の位置を表す位置情報が表示されており、
前記発表者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記板書用ボードの表面の前記位置情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記発表者筆跡情報として生成し、
前記検索手段は、前記ユーザから前記板書用ボード上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記発表者筆跡情報が表す筆跡のうち前記発表者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、
ことを特徴とする請求項1記載の会議システム。 - 前記配布用の紙文書には、当該配布用の紙文書内の各点の位置を表す位置情報と、当該配布用の紙文書の識別情報と、が表示されており、
前記参加者筆跡情報生成手段は、ペンと、当該ペンのペン先近傍にある前記配布用紙文書上の前記位置情報及び前記識別情報を読み取るための読取装置と、を備え、各時点で当該読取装置が読み取った前記位置情報の時系列を前記参加者筆跡情報として生成し、前記読取装置が読み取った前記識別情報と対応づけて前記蓄積手段に蓄積し、
前記検索手段は、前記ユーザから前記配布用紙文書上で検索条件を指定する旨の指示を受けた場合に、前記蓄積手段に蓄積された前記参加者筆跡情報群のうち前記参加者筆跡情報生成手段の前記読取装置が読み取った識別情報に対応づけて蓄積された参加者筆跡情報の表す筆跡のうち、前記参加者筆跡情報生成手段により取得されたペン先位置の時系列的な軌跡によって特定される範囲内に位置する部分を検索条件として検索を実行する、
ことを特徴とする請求項1記載の会議システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008328357A JP2010154089A (ja) | 2008-12-24 | 2008-12-24 | 会議システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008328357A JP2010154089A (ja) | 2008-12-24 | 2008-12-24 | 会議システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010154089A true JP2010154089A (ja) | 2010-07-08 |
Family
ID=42572682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008328357A Pending JP2010154089A (ja) | 2008-12-24 | 2008-12-24 | 会議システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010154089A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118859A (ja) * | 2010-12-02 | 2012-06-21 | Hitachi Solutions Ltd | 会議録システム及びプログラム |
CN103390011A (zh) * | 2012-05-11 | 2013-11-13 | 株式会社东芝 | 电子装置和手写文档检索方法 |
WO2015137713A1 (ko) * | 2014-03-11 | 2015-09-17 | 이명환 | 정보 처리 시스템 및 그의 정보 처리 방법 |
KR20200107532A (ko) * | 2019-03-08 | 2020-09-16 | (주) 이즈커뮤니케이션즈 | 콘텐츠 데이터 기반의 컬래버레이션 방법 |
US10936116B2 (en) | 2014-10-07 | 2021-03-02 | Samsung Electronics Co., Ltd. | Electronic conference apparatus for generating handwriting information based on sensed touch point, method for controlling same, and digital pen |
-
2008
- 2008-12-24 JP JP2008328357A patent/JP2010154089A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118859A (ja) * | 2010-12-02 | 2012-06-21 | Hitachi Solutions Ltd | 会議録システム及びプログラム |
CN103390011A (zh) * | 2012-05-11 | 2013-11-13 | 株式会社东芝 | 电子装置和手写文档检索方法 |
US8938123B2 (en) | 2012-05-11 | 2015-01-20 | Kabushiki Kaisha Toshiba | Electronic device and handwritten document search method |
WO2015137713A1 (ko) * | 2014-03-11 | 2015-09-17 | 이명환 | 정보 처리 시스템 및 그의 정보 처리 방법 |
KR20150106262A (ko) * | 2014-03-11 | 2015-09-21 | 이명환 | 정보 처리 시스템 및 그의 정보 처리 방법 |
KR101596885B1 (ko) * | 2014-03-11 | 2016-02-25 | 이명환 | 정보 처리 시스템 및 그의 정보 처리 방법 |
US10936116B2 (en) | 2014-10-07 | 2021-03-02 | Samsung Electronics Co., Ltd. | Electronic conference apparatus for generating handwriting information based on sensed touch point, method for controlling same, and digital pen |
KR20200107532A (ko) * | 2019-03-08 | 2020-09-16 | (주) 이즈커뮤니케이션즈 | 콘텐츠 데이터 기반의 컬래버레이션 방법 |
KR102162914B1 (ko) * | 2019-03-08 | 2020-10-20 | (주)이즈커뮤니케이션즈 | 콘텐츠 데이터 기반의 컬래버레이션 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5489118B2 (ja) | 入出力装置、情報入出力システム | |
CN101930779B (zh) | 一种视频批注方法及视频播放器 | |
US8427344B2 (en) | System and method for recalling media | |
RU2536667C2 (ru) | Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации, и лист, обеспечивающий ввод информации | |
JP5543055B2 (ja) | 表示制御方法、表示制御装置、および、プログラム | |
US20060092178A1 (en) | Method and system for communicating through shared media | |
JP5394555B2 (ja) | 会議要旨生成装置、プログラム及びコンピュータ読み取り可能な記録媒体 | |
US20170255253A1 (en) | Projector and image drawing method | |
JP2002057981A (ja) | データストリームにアクセスするインタフェース、データストリームへのアクセス用検索の形成方法、データストリームアクセス方法及びノートからビデオにアクセスするためのデバイス | |
JP5149552B2 (ja) | 表示制御装置および表示制御方法 | |
CN107077245B (zh) | 电子笔,链接到电子笔的电子设备,以及用于控制电子设备的方法 | |
JP2022020703A (ja) | 手書き装置および音声・手書き通信システム | |
JP2008123265A (ja) | アイデア抽出支援システム及び方法 | |
JP2010154089A (ja) | 会議システム | |
US20240053882A1 (en) | Electronic device, method for driving electronic device, and method for controlling data recording application | |
Cabral et al. | A creation-tool for contemporary dance using multimodal video annotation | |
KR20230149797A (ko) | 전자 기기 및 전자기기의 구동 방법 | |
JP2009294984A (ja) | 資料データ編集システム及び資料データ編集方法 | |
JP6056263B2 (ja) | 端末装置、電子ペンシステム及びプログラム | |
JP5915118B2 (ja) | アーカイブシステム、第一の端末及びプログラム | |
JP6019716B2 (ja) | コンピュータ装置、プログラム及び情報処理システム | |
JP2012022418A (ja) | ストリームドットを用いた手書き入力シートおよび手書き入出力システム | |
CN117608465A (zh) | 信息处理装置、显示方法以及存储介质和计算机装置 | |
JP2024025003A (ja) | 記録情報作成システム、情報処理システム、プログラム | |
JP2024006703A (ja) | 情報処理システム、検索方法、プログラム |