JP2009302952A - 再生処理装置、再生処理方法及びプログラム - Google Patents
再生処理装置、再生処理方法及びプログラム Download PDFInfo
- Publication number
- JP2009302952A JP2009302952A JP2008155729A JP2008155729A JP2009302952A JP 2009302952 A JP2009302952 A JP 2009302952A JP 2008155729 A JP2008155729 A JP 2008155729A JP 2008155729 A JP2008155729 A JP 2008155729A JP 2009302952 A JP2009302952 A JP 2009302952A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- control unit
- reproduction processing
- display information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【解決手段】表示装置に対する操作に係る操作情報を再生する再生処理装置であって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成手段と、前記操作情報及び前記表示情報生成手段で生成された前記表示情報を再生する再生処理手段とを有することを特徴とする。
【選択図】図2
Description
一方、会議に参加している場合、会議の参加者は発表者がポインティングデバイス等を用いて描画操作をするところを直接見ることで、会議に対する理解がより深まる。しかしながら、従来の電子会議システムにおける再生では、描画操作に関連するデータまでは再生することができない。したがって、会議の内容を後から把握しようとする者は、例えば、現在どの部分を強調して説明しているのか、発表者がこれからどの領域に書き込もうとしているか等を理解することができないという問題がある。
本発明は、表示装置に対する操作に係る操作情報を再生する再生処理装置における再生処理方法であって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップとを有することを特徴とする再生処理方法。
本発明は、表示装置に対する操作に係る操作情報を再生する再生処理装置を制御させるためのプログラムであって、前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップとをコンピュータに実行させるためのプログラムである。
(第1の実施形態)
図1は、本実施形態に係る再生処理システム(以下、会議システムという)の構成の一例を示す図である。
図1に示す会議システム10は、表示装置101と検出装置102、103と入力装置107と情報処理装置108とを含んで構成されている。表示装置101と情報処理装置108とは、例えば画像信号ケーブル105や通信ケーブル106等により接続されている。ここで、情報処理装置108は、再生処理装置の一例である。
情報処理装置108は、パーソナルコンピュータであり、ネットワークケーブル109を介してネットワークと接続されている。情報処理装置108は、操作情報等を他の情報処理装置との間で送受信することができる。また、情報処理装置108には、キーボードやマウス等の後述する入力装置が接続されている。
図2に示す会議システム10は、情報処理装置108と、入力装置107、221と、表示装置101と、検出装置102、103とを含んで構成されている。会議システム10には、入力装置107により表示装置101の表示面に直接描画操作を行うことができるホワイトボード機能を備えている。ここで、ホワイトボード機能は、例えば検出装置102、103が入力装置107の位置を検出した情報を表示装置101に送信し、表示装置101が受信した情報に基づいて表示部231に表示する機能である。
入力部201は、キーボードやマウス等の入力装置221や表示装置101の出力部233から、座標入力やコマンド入力を受け取る。
制御部202は、CPUやMPU等からなり、情報処理装置108の各内部構成の制御を行う。
映像出力部205は、表示装置101に対して再生画面出力等の映像出力を行う。
ネットワークインタフェース部208は、ネットワークケーブル109を介して外部との通信を行う。ネットワークインタフェース部208は、入力部201から入力された操作情報、記憶部204に記憶された操作情報、強調表示情報(表示情報)等を、ネットワークケーブル109を介して他の情報処理装置へ送信する。また、ネットワークインタフェース部208は、他の情報処理装置から受け取った操作情報を制御部202、記憶部204及び映像出力部205等に受け渡す。
入力装置221は、情報処理装置108へ入力を行うためのマウスやキーボードである。
情報処理装置108は、描画操作制御部251と、強調表示情報生成部252と、再生処理部253とを含んで構成されている。
描画操作制御部251は、入力装置107、221から入力され入力部201を介して取得した情報から自由曲線や図形等の描画オブジェクトの生成、編集、削除、ホワイトボード機能の操作、表示制御等、操作に関する処理を行う。
強調表示情報生成部252は、一連の操作情報に基づいて、操作情報に追加して表示する強調表示情報の生成を行う。強調表示情報生成部252において強調表示情報を生成する生成条件や生成する情報については後述する。
再生処理部253は、記憶部204に記憶した操作情報又はネットワークインタフェース部208を介して他の情報処理装置108より取得した操作情報及び強調表示情報生成部252で生成された強調表示情報に基づいて会議データ等の再生制御を行う。
図4に示すように、表示装置101は画面301を有している。ここで、画面301は、表示装置101の入力部232を兼ねている。例えば、ユーザが入力装置107等で画面301に座標入力することで、上述したホワイトボード機能によりオブジェクトを描画することができる。図4に示す画面301には、ユーザによって操作されて表示された複数のオブジェクトが表示されている。より具体的に説明すると、表示画面301には、手書きのストローク311と、手書きのストローク312と、矩形313と、貼付した図形314とが表示されている。
図5に示す描画操作情報テーブル11の項目には、「操作開始時刻」、「操作終了時刻」、「操作種別1」、「操作種別2」、「オブジェクトID」、「パスID」及び「ユーザID」が含まれている。ここで「操作開始時刻」は、操作を開始した時刻である。「操作終了時刻」は、操作を終了した時刻である。「操作種別1」は、ユーザ又はシステムにより「描画」又は描画以外の「操作」の何れかが行われたかを示すものである。「操作種別2」は、「操作種別1」より細かい操作内容及び描画内容を示すものである。
「パスID」は、ユーザによるペンの軌道情報としてのパス情報を特定するIDを示すものである。この「パスID」は、後述する図7に示すペン軌道情報テーブル13の「パスID」と関連付けられている。したがって、制御部202は、対応する図7に示すペン軌道情報テーブル13の「パス情報」を参照することで、実際のパス情報を取得できる。
「ユーザID」は、操作者のIDを示すものである。なお、会議システム10によって生成されたオブジェクトについては、制御部202は、「ユーザID」を設定しない。
図6に示すオブジェクト形状情報テーブル12の項目には、「オブジェクトID」毎に「画像情報」、「初期配置情報」が含まれている。ここで、「画像情報」は、画像の形状を示すものであり、画像の形状が保存されているファイルへのリンク情報又は画像情報そのものが記憶されている。ここで、画像情報としては、ラスタ情報やベクタ情報の何れであってもよい。ベクタ情報の場合、その表示は矩形(rect)、円(circle)、直線(line)や、自由曲線(path)等である。
なお、操作を再生するとき、画像情報にベクタ情報が埋め込まれている場合、制御部202は、初期配置情報に相当する情報はベクタ情報にも含まれるため画像情報だけを利用して再生を行うことができる。一方、画像情報にその他の情報が入っている場合、制御部202は、画像情報だけでは描画領域を特定できないため、初期配置情報内に内接するようにして画像情報から生成される画像データを拡縮し、初期配置情報に示された領域に配置する。
まず、ステップS701において、制御部202は、会議データを再生するために必要な描画操作情報テーブル11、オブジェクト形状情報テーブル12、ペン軌道情報テーブル13を記憶部204から読み出す。また、制御部202は、再生する会議の再生時刻制御に用いる進行タイマ等の初期化を行う。
なお、ステップS702において、次の再生データがない場合、ステップ708に処理を進め、ステップS708において、制御部202は、再生を終了するか否かの判定でNOに進んだ後、ステップS709に処理を進める。ステップS709において、制御部202は、再生時刻タイマを進めた後、再度ステップS702に戻る。
なお、制御部202は、画面への表示リクエストに基づいて、表示リクエストをタイムライン上に並べ、再生時間と同期させて先頭から画面へ出力する処理を平行して行う。
この処理により、複数の再生データが平行して再生される場合であっても、意図した通りに画面上に再生結果を表示することができる。また、ステップS705で生成された強調表示情報により本来の再生データの表示順序が入れ替わる場合や強調表示情報が本来の再生データよりも先行して表示される場合等であっても意図した通りに画面上に再生結果を表示することができる。
上述したステップS705における強調表示情報の生成については、様々な形態がある。したがって、強調表示情報の生成の形態について、図13〜図27を参照して、後述する。
まず、会議が開始される直前に表示される画面の一例を図9に示す。開始前に予め会議資料を登録しておくことで、制御部202は、図9に示すように画面に画像314を表示する。制御部202は、画像314が予め登録された情報を図5に示す描画操作情報テーブル11及び図6に示すオブジェクト形状情報テーブル12の各NO.1に記録する。
ここで、制御部202は、ストロークが行われた操作情報を図5に示す描画操作情報テーブル11のNO.2に記録する。また、制御部202は、ストロークにより生成されたオブジェクトの画像情報と初期配置情報とを図6に示すオブジェクト形状情報テーブル12のNO.2に記録する。また、制御部202は、ユーザが実際にペンをストロークした軌道のパス情報を図7に示すペン軌道情報テーブル13のNO.1に記録する。また、制御部202は、ストロークに関する情報をオブジェクトID及びパスIDにより関連付けて記録する。なお、ここではペンの軌道情報と生成されたオブジェクトのパス情報とは完全に一致する。したがって、図6に示すオブジェクト形状情報テーブル12のNO.2の「画像情報」と、図7に示すペン軌道情報テーブル13のNO.1の「パス情報」とには、全く同じパス情報が記憶される。
ここで、制御部202は、移動の操作が行われた記録を図5に示す描画操作情報テーブル11のNO.3に記録する。ここで、操作対象のオブジェクトは、図5に示す描画操作情報テーブル11のNO.1のオブジェクトと同一なので、制御部202は、「オブジェクトID」を「0001」として記録する。また、制御部202は、移動の操作の際にペンを動かした軌道のパス情報を図7に示すペン軌道情報テーブル13のNO.2に記録する。また、制御部202は、パス情報をペンIDにより関連付けて記憶している。なお、オブジェクトを移動する操作ではオブジェクトを新規に生成していないため、制御部202は、図6に示すオブジェクト形状情報テーブル12に画像情報等を記録しない。
制御部202は、矩形313を入力した記録を図5に示す描画操作情報テーブル11のNO.4に記録し、矩形の形状及び位置を図6に示すオブジェクト形状情報テーブル12のNO.3に記録する。また、制御部202は、矩形に関する情報を「オブジェクトID」により関連付けて記憶している。なお、矩形の入力の場合、ペン操作の始点と終点とからペンの軌道が推測できるため、制御部202は、図7に示すペン軌道情報テーブル13にはパス情報を記録しない。
以上が、制御部202が、会議時に操作情報を記録する手順である。
一方、会議の記録をそのまま再生して会議内容を把握しようとする者は、ペン107を含め発表者の動きを見ることができないため、会議の参加者よりも会議の内容を把握し難くなる。そこで、本実施形態ではこの問題を解決する各種操作情報再生処理について以下に説明する。
図13に示す処理動作について説明すると、ステップS1201〜S1203では、制御部202が、再生データの始点位置を示すアイコン図形とそのアニメーションを設定する。ステップS1204〜S1205では、制御部202が、アイコン図形の表示タイミングを再生データの表示タイミングの直前に設定する。
ステップS1202において、制御部202は、操作開始位置を指し示すポインタとしてのアイコン図形を生成する(ポインタ生成)。制御部202は、アイコン図形の図形データをその場で生成してもよく、会議システムで用いられているポインタ用アイコン等を参照してもよく、図形データをファイルに保存しておき、読み出してもよい。制御部202は、アイコン図形の指し示す位置が操作開始位置になるようにアイコン図形の表示位置を設定する。
ステップS1203において、制御部202は、アイコン図形を強調して表示するため、ここではアイコン図形を所定時間、例えば1秒間、点滅表示させた後、消滅させるアニメーションを設定する。
ステップS1204において、制御部202は、図5に示す描画操作情報テーブル11を参照して、再生データの操作開始時刻を取得する。
ステップS1205において、制御部202は、アイコン図形のアニメーションの開始時刻を、再生データの操作開始時刻よりも所定時間前、例えば1秒前に設定する。
ステップS1206において、制御部202は、ステップS1201〜S1205において各種パラメータを設定したアイコン図形を強調表示情報として出力する。
その後、図8に示すフローチャートの再生処理動作に戻り、制御部202は、アイコン図形のアニメーションを表示した直後に再生データを表示する。
ここで、ストローク311の操作情報は、図5に示す描画操作情報テーブル11のNO.2に記録されて、「パスID」には「0001」が設定されている。「パスID」に基づいて図7に示すペン軌道情報テーブル13を検索すると、NO.1の「パス情報」には、ユーザによるペンの軌道が「path1(具体的な座標は省略する)」として記録されている。したがって、S1201では、制御部202は、「path1」の先頭座標を取得する。次に、S1202では、制御部202は、会議システムが用意しているペンのポインタをアイコン図形として取得する。S1203では、制御部202は、アイコン図形を「path1」から取得した先頭座標に設定し、1秒間の点滅表示させた後、消滅させるアニメーションを設定する。ステップS1204では、制御部202が、図5に示す描画操作情報テーブル11から、ストローク311の描画開始時刻「11:59:58」を取得する。ステップS1205では、制御部202は、ステップS1202におけるアイコン図形の再生開始時刻を1秒前である「11:59:57」に設定する。最後に、ステップS1206において、制御部202は、アイコン図形を強調表示情報として出力する。上述した処理動作により図8に示す強調表示情報生成のステップS705が終了する。
図15に示す処理動作について説明すると、ステップS1401〜S1408では、制御部202は、再生データを表示する軌道又は領域を指し示すアイコン図形とアニメーションとを設定する。また、ステップS1409〜S1410では、制御部202は、再生データの表示とアイコン図形のアニメーションとの同期を行う。
一方、ステップS1402において、パス情報が記録されていない場合、制御部202は、ステップS1404に処理を進める。ステップS1404において、制御部202は、再生データが始点及び終点が記憶された自由曲線であるか否かを判定する。自由曲線の場合、ステップS1405に処理を進め、制御部202は、自由曲線のパス情報を取得して、ステップS1408に処理を進める。
また、ステップS1404において、自由曲線でない場合、制御部202は、ステップS1406に処理を進め、再生データが始点及び終点が記録されたオブジェクトであるか否かを判定する。始点及び終点が記録されたオブジェクトの場合、ステップS1407に処理を進め、制御部202は、画像情報に基づいて始点及び終点を結ぶ直線をパス情報として生成し、ステップS1408に処理を進める。なお、ステップS1406において、始点及び終点が記録されたオブジェクトではない場合、ステップS1412に処理を進め、制御部202は、他の強調表示情報を生成する方法を選択する。次に、ステップS1413において、制御部202は、選択した方法により強調表示情報を生成する。
その後、図8に示すフローチャートの再生処理動作に戻り、制御部202は、擬似表示としてアイコン図形のアニメーションを再生データの表示と同期させて表示する。したがって、表示画面では、アイコン図形が再生データを実際に描画したり操作したりするような視覚効果を得ることができる。
まず、ステップS1401では、制御部202は、ストローク311の再生データを強調表示するため、会議システムが用意している強調表示用のポインタのアイコン図形を取得する。次に、ステップS1402において、ストローク311の再生データにはパス情報が記録されていることから、制御部202は、ステップS1403に処理を進める。ステップS1403では、制御部202は、ストローク311を描画するときのペンのパス情報を図7に示すペン軌道情報テーブル13のNO.1の「path1」から取得する。
制御部202は、ステップS1402、ステップS1404及びステップS1406を経てステップS1407に処理を進める。ステップS1407において、制御部202は、始点と終点とを結ぶ直線をパス情報とする。すなわち、図6に示すオブジェクト形状情報テーブル12のNO.3には、矩形313の開始座標(x3、y3)と、幅及び高さ(h3、w3)とが記録されている。したがって、制御部202は、この情報から、アイコン図形のアニメーションの始点(x3、y3)と終点(x3+w3、y3+h3)と結んだ直線をパス情報として生成する。
図18に示す処理動作について説明すると、ステップS1701〜S1703では、制御部202は、再生データの領域位置を明示する矩形領域の点滅アニメーションを設定する。また、ステップS1704〜S1705では、制御部202は、矩形の点滅タイミングを再生データの表示タイミングの直前に設定する。
ステップS1702において、制御部202は、取得した表示領域を覆う矩形領域を生成する(領域生成)。表示領域は座標により示されるため、制御部202は、表示領域を覆う矩形領域の形状を特定することができる。なお、制御部202は、矩形領域に対して色、透明度、輪郭線の太さ、表示領域からのはみ出し量等、設定された様々なパラメータに基づいて生成することができるが、詳細な説明は省略する。
ステップS1703において、制御部202は、矩形領域を強調して表示するため、ここでは矩形領域を所定時間、例えば1秒間の点滅表示させた後、消滅させるアニメーションを設定する。
以下、ステップS1704〜ステップS1706は、上述した図13に示す第一の操作情報再生処理を示すフローチャートのステップS1204〜S1206と同様であり説明を省略する。
ここで、ストローク311の画像情報は、図5に示す描画操作情報テーブル11のNO.2に記録され、「オブジェクトID」には、「0002」が設定されている。制御部202は、「オブジェクトID」から図6に示すオブジェクト形状情報テーブル12を参照することで、初期配置情報を取得することができる。したがって、ステップS1701では、制御部202は、ストローク311の表示領域(x2、y2、h2、w2)を取得する。次に、ステップS1702では、制御部202は、取得した表示領域に基づいて、同じ表示位置及び同じサイズの矩形領域を生成する。ステップS1703では、制御部202は、生成した矩形領域を1秒間、点滅表示させた後、消滅させるアニメーションを設定する。次に、ステップS1704及びステップS1705では、制御部202は、上述したステップS1204及びステップS1205と同様の処理を行い、最後にステップS1706において、制御部202は、矩形領域を強調表示情報として出力する。
図20に示す処理動作について説明すると、ステップS1901〜S1903では、制御部202は、再生データの表示位置及び表示内容を明示する自由曲線の点滅アニメーションを生成する。また、ステップS1904〜S1905では、制御部202は、自由曲線の点滅タイミングを再生データの表示タイミングの直前に設定する。
ステップS1902において、制御部202は、取得したペンのパス情報、又は取得したストロークの形状及び表示位置の情報からストロークに重なる自由曲線(軌道)を生成する(ストローク軌道生成)。
ステップS1903〜S1906は、上述した図18に示す第三の操作情報再生処理を示すフローチャートのステップS1703〜S1706と同様であり、説明は省略する。
ステップS1901では、制御部202は、図7に示すペン軌道情報テーブル13の「パスID」の「0001」に関連付けられている「パス情報」の「path1」を取得する。ステップS1902では、制御部202は、「path1」に基づいて自由曲線を生成する。なお、ここでは、制御部202は、自由曲線の線種を点線にする。次に、ステップS1903〜S1905では、制御部202は、上述したステップS1703〜S1705と同様の処理を行う。そして最後にステップS1906において、制御部202は、自由曲線を強調表示情報として出力する。
図22に示す処理動作について説明すると、ステップS2101〜S2103では、制御部202は、再生データの表示対象を明示する対象画像の点滅アニメーションを設定する。また、ステップS2104〜S2105では、制御部202は、対象画像の点滅タイミングを再生の実行タイミングの直前に設定する。
ステップS2102において、制御部202は、操作対象のオブジェクト上に表示する全く同じオブジェクトの画像情報を生成する(オブジェクト生成)。
ステップS2103において、制御部202は、新たに生成したオブジェクトを強調して表示するため、所定時間、例えば1秒間、点滅表示させた後、消滅させるアニメーションを設定する。
以下、ステップS2104〜ステップS2106は、上述した図20に示す第四の描画操作情報の再生処理を示すフローチャートのステップS1904〜S1906と同様であり、説明は省略する。
図24に示す処理動作について説明すると、ステップS2301〜S2306で、制御部202は、再生データを表示したときに強調表示する追加アニメーションを生成する。なお、制御部202は、生成した追加アニメーションを上述した図8に示すステップS706にて、再生データと合成する。
ステップS2302において、制御部202は、再生データを表示するときに、例えば表示時に線幅を太く表示させる効果(変化情報)をアニメーション効果に設定する。
ステップS2303において、制御部202は、再生データを表示した後に、例えば一定時間後に線幅を次第に細くして、オリジナルの線幅に戻す効果(変化情報)をアニメーション効果に設定する。
ステップS2306において、制御部202は、ステップS2302とステップS2303において、設定されたアニメーション効果を強調表示情報として出力する。
図25(a)の画面は、制御部202が、ストローク311を表示している状態の画面である。再生直後、制御部202は、ストローク311を記憶されている線幅の情報よりも太い線幅で表示する。その後、制御部202は、ストローク311の線幅を徐々に記憶された線幅の情報に変化させる。次に、図25(b)の画面は、制御部202が、オブジェクト314を移動した状態及び矩形313を描画している状態の画面である。制御部202は、オブジェクト314を移動している間、オブジェクト314の線幅を太くして表示する。また、制御部202は、矩形313を描画した直後、線幅を太くして表示する。その後、制御部202は、オブジェクト314及び矩形313の線幅を、徐々に記憶された線幅の情報に変化させる。次に、図25(c)の画面は、制御部202が、ストローク312を再生している状態の画面である。制御部202は、再生直後、ストローク312を記憶されている線幅の情報よりも太い線幅で表示する。次に、図25(d)の画面は、制御部202が、ストローク312を表示している状態の画面である。図25(d)では、ストローク312の再生時間が長いため、制御部202は、再生が終わる前に再生タイミングが早かった部分から、順にストローク312の線幅を細くなるアニメーションを表示する。図25(d)では、制御部202は、ストローク312を太い線幅部分と細くなりつつある線幅部分とオリジナルの線幅部分とからなる自由曲線として表示している。なお、一定時間後、制御部202は、自由曲線をすべて記録された線幅の情報に戻す。
図26に示す処理動作について説明すると、ステップS2501〜S2506で、制御部202は、再生データを再生から一定時間後に薄い色にする追加アニメーションを生成する。すなわち、制御部202は、時間の経過により色の変化情報を含ませるようにアニメーションを生成する。なお、制御部202は、生成した追加アニメーションを上述した図8に示すステップS706にて、再生データと合成する。
ステップS2503において、制御部202は、再生データを表示するときに、例えば、一定時間後に一定時間で線色を次第に薄く変化させる効果(変化情報)をアニメーション効果に設定する。
ステップS2506において、制御部202は、ステップS2503で設定されたアニメーション効果を強調表示情報として出力する。
図27(a)の画面は、再生開始直後、制御部202が、オブジェクト314を薄い色に変化させている画面である。また、制御部202は、最初ストローク311を記憶されている線色の情報で再生している。次に、図27(b)の画面は、制御部202が、ストローク311を薄い色に変化させている画面である。また、制御部202は、最初、移動させて表示したオブジェクト314及び矩形313を記憶されている線色の情報で再生している。次に、図27(c)の画面は、制御部202が、オブジェクト314及び矩形313を薄い色に変化させている画面である。また、制御部202は、最初ストローク312を記憶されている線色の情報で再生している。次に、図27(d)では、ストローク312の再生時間が長いため、制御部202は、再生が終わる前に再生タイミングが早かった部分から、順にストローク312の線色を薄い色にするアニメーションを表示している。図27(d)では、制御部202は、ストローク312をオリジナルの線色と薄い色の線色とからなる自由曲線として表示している。なお、一定時間後、制御部202は、自由曲線をすべて薄い色の線色にする。
このように、第1の実施形態によれば、操作情報を用いた会議等の再生において、発表者がその場にいないことによる情報の不足を補うことで、発表内容を把握することができる。
本実施形態に係る会議システムは、第1の実施形態に係る会議システムと同様な構成であるが、手書文字認識を行うことができるように構成されている。
図28は、本実施形態に係る会議中に表示された画面の一例を示す図である。
図28に示すように、制御部202は、ユーザによりペンで入力された複数のストロークから構成されるストローク群2701を表示している。ストローク群2701は、グループ化されたオブジェクトであり、ユーザが入力した「きやの」と「えだ」とのストローク群からなる。また、制御部202は、ストローク群2701を「きやの」と「えだ」とによって構成される文字であることを認識している。また、制御部202は、後述するストローク群2702を表示している。ストローク群2702は、ユーザがストローク群2701のうち「えだ」をコピーしたオブジェクトである。制御部202は、会議の発表者がストローク群2701を入力する操作を会議データとして記録する。この記録する処理は、第1の実施形態と同様である。
図29は、検索が行われた結果の画面の一例を示す図である。図29に示すように、制御部202は、領域2801に検索により検出したファイルのファイル名をリストアップする。ここで、例えば、ユーザがリストアップされたファイル名を選択することで、制御部202は、各ファイルの内容を表示する。また、このとき制御部202は、領域2801を閉じる処理を行う。制御部202は、ユーザが検索する操作や検索結果等を会議データとして記録する。
まず、ステップS2900において、制御部202は、再生する対象が、検索キーワードのストローク群であるか否かを判定する(検索元判定)。検索キーワードにしたストローク群である場合、制御部202は、ステップS2901に処理を進める。検索キーワードにしたストロークでない場合、制御部202は、強調表示情報生成の処理を終了する。
ステップS2901において、制御部202は、検索のキーワードとしたストローク群を囲う領域を取得する。
ステップS2902において、制御部202は、取得した領域を識別する識別表示をするために、その領域を覆うオブジェクトを生成する。
ステップS2903において、制御部202は、検索結果を表示した領域の位置を取得する。
ステップS2904において、制御部202は、ステップS2902で生成したオブジェクトとステップS2903で取得した検索結果の領域とをつなぐ矢印を生成する。このとき、制御部202は、検索を実行した旨を明示する情報も生成する。
ステップS2905において、制御部202は、ステップS2902及びステップS2904で生成したオブジェクトと矢印とを合成して一つの合成オブジェクトにする。
ステップS2906において、制御部202は、合成オブジェクトの表示の深さをキーワードのストローク群の表示より下に設定する。したがって、制御部202が、再生データを再生したとき、合成オブジェクトによりストローク群が隠れないように表示する。
ステップS2907において、制御部202は、検索実行操作時刻の所定時間前から検索結果が表示された所定時間後まで、合成オブジェクトを表示するアニメーションを設定する。ここでは、例えば検索実行操作の1秒前から検索結果が表示された1秒後まで、合成オブジェクトを表示するアニメーションを設定するものとする。
ステップS2908において、制御部202は、生成した合成オブジェクトを強調表示情報として出力する。
まず、ステップS2901では、制御部202は、図31に示すようにストローク群2701のうち、検索キーワードとして利用した「きやの」に相当するストローク群のみを対象とし、そのストローク群を囲う領域を計算する。ステップS2902では、制御部202は、計算した領域を覆うオブジェクトとして図31に示す長円形3001を生成し、塗りつぶす。ステップS2903では、制御部202は、検索結果を示す領域2801を表示した位置を検出する。ステップS2904では、制御部202は、領域2801と長円形3001とをつなぐ図31に示す矢印3002を生成する。ここで、制御部202は、長円形3001と領域2801とに重ならない位置に矢印3002を生成する。したがって、生成された矢印3002は、ストローク群2701のうち「きやの」のストローク群とも重ならない。また、制御部202は、矢印3002の中に検索を実行した旨の明示として、図31に示すように、例えば文字列として「検索実行」を生成する。ステップS2905では、制御部202は、長円形3001と矢印3002とを合成オブジェクトにして、表示を一度で実行できるようにする。ステップS2906では、制御部202は、合成オブジェクトの表示の深さを、「きやの」のストローク群よりも下に設定する。ステップS2907では、制御部202は、合成オブジェクトの表示時間を検索実行1秒前から検索結果表示1秒後までの間に設定して表示効果の設定を完了する。ステップS2908では、制御部202は、合成オブジェクトを強調表示情報として出力し、他の再生データと共に再生を行う。
まず、ステップS3000において、制御部202は、再生する対象が、コピーの操作により生成されたストローク群であるか否かを判定する(複製判定)。コピーにより生成されたストローク群であると判定した場合、制御部202は、ステップS3101に処理を進める。また、コピーにより生成されたオストローク群ではないと判定した場合、制御部202は、強調表示情報生成の処理を終了する。
ステップS3101において、制御部202は、コピー元(引用元)及びコピー先のストローク群に関する参照情報を取得する。ここで、参照情報にはストローク群が表示されている領域の情報が含まれる。
ステップS3102において、制御部202は、コピー元のストローク群に対する表示効果を生成する。
ステップS3103において、制御部202は、生成した表示効果に対して点滅のアニメーションを設定する。ここでは、例えばストローク群を点滅させるタイミングをコピー実行の1秒前からコピー実行の1秒後までとする。
ステップS3104において、制御部202は、コピー元及びコピー先のストローク群の領域をつなぐ矢印を生成する。このとき、制御部202は、コピーを実行した旨を明示する情報も生成する。
ステップS3105において、制御部202は、生成した矢印に対する表示効果を生成する。ここでは、制御部202は、コピー実行の0.5秒前からコピー実行の1秒後まで表示させる表示効果を設定する。
ステップS3108において、制御部202は、ステップS3102で生成した表示効果とステップS3104で生成した矢印を強調表示情報として出力する。
まず、ステップS3101では、制御部202は、ストローク群2701のうち「えだ」を構成するストローク群と、コピー先のストローク群2702の参照情報を取得する。ステップS3102では、制御部202は、「えだ」を構成するストローク群に対して表示効果を生成する。ステップS3103では、制御部202は、生成した表示効果に、コピー実行の1秒前からコピー実行の1秒後まで点滅表示を行うアニメーションを設定する。ステップS3104では、制御部202は、コピー元及びコピー先を表示した領域の情報に基づいて、両者の領域をつなぐ図33に示すような矢印3201を生成する。また、制御部202は、矢印3201にコピーを行ったことを明示する文字列である「コピー実行」を生成する。ステップS3105では、制御部202は、矢印3201に対しコピー実行の0.5秒前からコピー実行の1秒後まで表示させる表示効果を設定する。ステップS3108では、制御部202は、ステップS3102で生成した表示効果と矢印3201とを強調表示情報として出力する。ここで出力された表示効果は上述した図8に示すフローチャートのステップS706において、制御部202が、ストローク群2701のうち「えだ」を構成するストローク群と合成して、再生方法を変化させた上で、他の再生データと共に再生を行う。
図34は、本実施形態に係る会議システムの構成の一例を示す図である。
本実施形態に係る会議システムは、入力装置としてのペン3301、3302が複数、設けられている。ペン3301、3302には、それぞれ一意に識別されるペンIDが割り当てられている。ペン3301、3302が発信する情報には、全てペンIDが付加されている。例えば、制御部202が、検出装置102、103を介して、ペン3301、3302から発信されるペンIDを取得することにより、現在操作しているペンを識別することができる。また、制御部202は、ペンIDを取得することにより同時に複数のペンが操作されたときにどちらのペンによってどのような操作が行われたかを識別することができる。ここで、ペンIDは、ユーザを識別した結果として、図5に示す描画操作情報テーブル11のペンの操作者である「ユーザID」と関連付けられて記録される。
ここで、例えば、ユーザ1が、図35(a)及び図35(b)に示すようにペン3301を用いてストロークを行う。制御部202は、「ペンID」として「Pen1」を認識すると共に、「ユーザID」として「user1」を対応付けているため、「user1」の操作として会議データに記録する。
また、ユーザ2が、図35(c)及び図35(d)に示すようにペン3302を用いてストロークを行う。制御部202は、「ペンID」として「Pen2」を認識すると共に、「user2」の操作として会議データに記録する。
ここで、このように記録された再生データを第1又は第2の実施形態における操作情報再生処理を用いて再生すると、視聴者は、上述したように強調表示情報により会議の内容をより把握することができる。しかしながら、視聴者は、複数のユーザのうち、誰が操作したのかを確認することができない。
まず、図37(a)の画面は、制御部202が、アイコン図形1301を、ユーザ1が描画したストロークの再生開始位置まで表示している状態の画面である。次に、図37(b)の画面は、制御部202が、ストロークの再生の進度に合わせてアイコン図形1301を移動するように表示している状態の画面である。次に、図37(c)の画面は、制御部202が、アイコン図形1301をユーザ2が描画したストロークの再生開始位置まで表示している状態の画面である。図37(d)の画面は、制御部202が、ユーザ1及びユーザ2が描画したストロークを再生した後の状態の画面である。図37では、2つのストロークがあったとしても、一つのアイコン図形1301で表示される。したがって、会議データの視聴者は、誰が描画したストロークであるか、又はそれぞれのストロークを描画したのが同一人物であるか異なる人物であるかを把握することができない。
本実施形態に係る会議システムでは、複数の会議システムが接続されて構成されている。上述した第1乃至第3の実施形態と同一の構成については同一符号を付してその説明を省略する。
図43は、本実施形態に係る第一の会議システムの構成の一例を示す図である。
図43に示す会議システムは、第1の実施形態に係る会議システム10がネットワークケーブル109、ネットワーク4201を介して互いに接続されて構成されている。このように構成された会議システムでは、操作情報等を一方側の情報処理装置108からネットワーク4201を介して他方側の情報処理装置108に送信することができる。したがって、例えば、発表者がいる一方側の会議システムの情報処理装置108が、会議データを他方側の会議システムの情報処理装置108に送信する。他方側の会議システムの情報処理装置108は、受信した会議データに対して、第1〜第3の実施形態の各種操作情報再生処理を行うことで、他方側の会議システムであっても、会議データの内容をより把握することができる。
図44に示す会議システムは、上述した図43に示す第一の会議システムの構成と同一である。図44は、一方側及び他方側の会議システム10の何れにも発表者がいる場合を想定している。このような場合でも、互いの情報処理装置108は、操作情報等を、ネットワーク4201を介して送受信することができる。したがって、それぞれの会議システムの情報処理装置108は、互いに受信した会議データに対して、第1〜第3の実施形態の各種操作情報再生処理を行うことで、何れの会議システムであっても、異なる会議システムの会議データの内容をより把握することができる。
図45に示す会議システムは、第1の実施形態に係る会議システム10(10a〜10c)がネットワーク4201を介して3つ接続されて構成されている。図45は、2つの会議システム10b、10cに発表者がいる場合を想定している。このような場合でも、発表者がいる2つの会議システム10b、10cの情報処理装置108は、操作情報を、ネットワーク4201を介して互いに送受信する。また、会議システム10b、10cの情報処理装置108は、発表者がいない会議システム10aに送信することができる。3つの会議システム10(10a〜10c)の情報処理装置108は、受信した会議データに対して、第1〜第3の実施形態の各種操作情報再生処理を行うことで、何れの会議システムでも、異なる会議システムの会議データの内容をより把握することができる。
101 表示装置
102 検出装置
103 検出装置
107 入力装置
108 情報処理装置
201 入力部
202 制御部
204 記憶部
205 映像出力部
208 ネットワークインタフェース部
231 表示部
232 入力部
233 出力部
251 描画操作制御部
252 強調表示情報生成部
253 再生処理部
Claims (16)
- 表示装置に対する操作に係る操作情報を再生する再生処理装置であって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成手段と、
前記操作情報及び前記表示情報生成手段で生成された前記表示情報を再生する再生処理手段と
を有することを特徴とする再生処理装置。 - 前記表示情報生成手段は、前記操作情報の位置を示すポインタを前記表示情報として生成するポインタ生成手段を有し、
前記再生処理手段は、前記ポインタ生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項1に記載の再生処理装置。 - 前記表示情報生成手段は、前記操作情報のパス情報に基づいて前記操作情報の位置を示すポインタの軌道を前記表示情報として生成する軌道生成手段を有し、
前記再生処理手段は、前記軌道生成手段で生成された前記表示情報及び前記操作情報を同期して再生することを特徴とする請求項1に記載の再生処理装置。 - 前記表示情報生成手段は、前記操作情報の範囲を示す領域を前記表示情報として生成する領域生成手段を有し、
前記再生処理手段は、前記領域生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項1に記載の再生処理装置。 - 前記操作情報のうちストロークに係る操作情報を再生するときに、
前記表示情報生成手段は、前記ストロークのパス情報に基づいて前記ストロークの軌道を前記表示情報として生成するストローク軌道生成手段を有し、
前記再生処理手段は、前記ストローク軌道生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項1に記載の再生処理装置。 - 前記表示情報生成手段は、オブジェクトの画像情報に基づいて前記オブジェクトと同じオブジェクトを前記表示情報として生成するオブジェクト生成手段を有し、
前記再生処理手段は、前記オブジェクト生成手段で生成された前記表示情報及び前記操作情報を順に再生することを特徴とする請求項1に記載の再生処理装置。 - 前記表示情報生成手段は、前記表示情報に点滅表示の情報を追加して生成することを特徴とする請求項2乃至6の何れか1項に記載の再生処理装置。
- 前記操作情報のうちストロークに係る操作情報を再生するときに、
前記ストロークが検索キーワードにしたストロークであるか否かを判定する検索元判定手段を更に有し、
前記検索元判定手段において、前記ストロークが検索キーワードにしたストロークであると判定された場合、
前記表示情報生成手段は、前記ストロークを示す識別表示を前記表示情報として生成することを特徴とする請求項1に記載の再生処理装置。 - 前記操作情報のうちオブジェクトに係る操作情報を再生するときに、
前記オブジェクトが複製されたオブジェクトであるか否かを判定する複製判定手段を更に有し、
前記複製判定手段において、前記オブジェクトが複製されたオブジェクトであると判定された場合、
前記表示情報生成手段は、前記複製されたオブジェクトの引用元のオブジェクトを示す識別表示を前記表示情報として生成することを特徴とする請求項1に記載の再生処理装置。 - 異なるユーザによる操作情報を複数、再生するときに、
前記表示情報生成手段は、前記ユーザに応じた識別表示を含むように表示情報を生成することを特徴とする請求項1に記載の再生処理装置。 - 前記表示情報生成手段は、前記ユーザに応じた異なる色情報を含むように表示情報を生成することを特徴とする請求項10に記載の再生処理装置。
- 前記表示情報生成手段は、時間の経過により色の変化情報を含むように表示情報を生成することを特徴とする請求項1又は5に記載の再生処理装置。
- 前記色の変化情報とは、時間の経過により色を薄くする情報であることを特徴とする請求項12に記載の再生処理装置。
- 前記色の変化情報とは、最初は濃い色で時間の経過により元の色に戻す情報であることを特徴とする請求項12に記載の再生処理装置。
- 表示装置に対する操作に係る操作情報を再生する再生処理装置における再生処理方法であって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、
前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップと
を有することを特徴とする再生処理方法。 - 表示装置に対する操作に係る操作情報を再生する再生処理装置を制御させるためのプログラムであって、
前記操作情報を再生するときに、前記操作情報に基づいて、前記操作情報に関連する表示情報を生成する表示情報生成ステップと、
前記操作情報及び前記表示情報生成ステップで生成された前記表示情報を再生する再生処理ステップと
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155729A JP2009302952A (ja) | 2008-06-13 | 2008-06-13 | 再生処理装置、再生処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155729A JP2009302952A (ja) | 2008-06-13 | 2008-06-13 | 再生処理装置、再生処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009302952A true JP2009302952A (ja) | 2009-12-24 |
Family
ID=41549379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008155729A Pending JP2009302952A (ja) | 2008-06-13 | 2008-06-13 | 再生処理装置、再生処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009302952A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011028501A (ja) * | 2009-07-24 | 2011-02-10 | Fujitsu Ltd | 操作内容送信プログラム |
WO2015189963A1 (ja) * | 2014-06-12 | 2015-12-17 | 株式会社 東芝 | ストロークデータを処理するためのシステムおよび方法 |
JP2022510178A (ja) * | 2018-11-29 | 2022-01-26 | 広州視源電子科技股▲分▼有限公司 | コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002333454A (ja) * | 2001-05-07 | 2002-11-22 | Keyence Corp | 波形表示装置および波形表示方法 |
JP2005244524A (ja) * | 2004-02-25 | 2005-09-08 | Pioneer Electronic Corp | 議事録ファイル生成方法、議事録ファイル管理方法、会議サーバおよびネットワーク会議システム |
JP3997256B1 (ja) * | 2007-02-28 | 2007-10-24 | Sky株式会社 | 再生装置と再生装置のためのプログラム |
JP2008102613A (ja) * | 2006-10-17 | 2008-05-01 | Canon Inc | 検索結果表示装置及び方法、並びプログラム |
-
2008
- 2008-06-13 JP JP2008155729A patent/JP2009302952A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002333454A (ja) * | 2001-05-07 | 2002-11-22 | Keyence Corp | 波形表示装置および波形表示方法 |
JP2005244524A (ja) * | 2004-02-25 | 2005-09-08 | Pioneer Electronic Corp | 議事録ファイル生成方法、議事録ファイル管理方法、会議サーバおよびネットワーク会議システム |
JP2008102613A (ja) * | 2006-10-17 | 2008-05-01 | Canon Inc | 検索結果表示装置及び方法、並びプログラム |
JP3997256B1 (ja) * | 2007-02-28 | 2007-10-24 | Sky株式会社 | 再生装置と再生装置のためのプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011028501A (ja) * | 2009-07-24 | 2011-02-10 | Fujitsu Ltd | 操作内容送信プログラム |
WO2015189963A1 (ja) * | 2014-06-12 | 2015-12-17 | 株式会社 東芝 | ストロークデータを処理するためのシステムおよび方法 |
JPWO2015189963A1 (ja) * | 2014-06-12 | 2017-04-20 | 株式会社東芝 | ストロークデータを処理するためのシステムおよび方法 |
JP2022510178A (ja) * | 2018-11-29 | 2022-01-26 | 広州視源電子科技股▲分▼有限公司 | コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体 |
JP7228695B2 (ja) | 2018-11-29 | 2023-02-24 | 広州視源電子科技股▲分▼有限公司 | コースウェア記録方法及び装置、コースウェア再生方法及び装置、インテリジェントインタラクティブタブレット、並びに記憶媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111176509B (zh) | 在图形消息传送用户界面中应用确认选项 | |
JP5543055B2 (ja) | 表示制御方法、表示制御装置、および、プログラム | |
CN110399061B (zh) | 在图形消息传送用户界面中应用确认选项 | |
CN106776514B (zh) | 一种批注方法及装置 | |
US20180204604A1 (en) | Persistent annotation of objects in a user interface | |
WO2016065567A1 (en) | Authoring tools for synthesizing hybrid slide-canvas presentations | |
US20070182741A1 (en) | Display apparatus, display method, and display program | |
KR20170066415A (ko) | 문맥적 데이터를 이용한 비디오 편집 및 클러스터를 이용한 컨텐트 검색 | |
JP5149552B2 (ja) | 表示制御装置および表示制御方法 | |
US20120107790A1 (en) | Apparatus and method for authoring experiential learning content | |
US20190156522A1 (en) | Image processing apparatus, image processing system, and program | |
US20210272353A1 (en) | 3d simulation of a 3d drawing in virtual reality | |
US20080270901A1 (en) | Display control apparatus and display control method | |
JP2009302952A (ja) | 再生処理装置、再生処理方法及びプログラム | |
Cabral et al. | Video editing with pen-based technology | |
JP2008250700A (ja) | 情報処理装置、ウインドウ再生方法及びプログラム | |
JP2010154089A (ja) | 会議システム | |
JP2008102613A (ja) | 検索結果表示装置及び方法、並びプログラム | |
JP6723749B2 (ja) | 画像表示装置、画像表示方法、およびプログラム | |
US20090024921A1 (en) | Methods for processing of multimedia information, systems therefore and methods of the assigned area definition. | |
JP2006099414A (ja) | 電子会議装置、電子会議装置制御プログラム | |
JP3137053B2 (ja) | 手書き入力表示装置及びプログラムを記録した機械読み取り可能な記録媒体 | |
JP7011363B1 (ja) | 絵コンテ制作装置、絵コンテ制作方法及び絵コンテ制作プログラム | |
KR20230101051A (ko) | 벡터선으로 그리는 자동 채우기 및 개체 편집 방법 | |
CN116962793A (zh) | 视频打点方法、装置、终端、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130418 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130611 |