JP2012058799A - Image display system, image display method, and program - Google Patents
Image display system, image display method, and program Download PDFInfo
- Publication number
- JP2012058799A JP2012058799A JP2010198541A JP2010198541A JP2012058799A JP 2012058799 A JP2012058799 A JP 2012058799A JP 2010198541 A JP2010198541 A JP 2010198541A JP 2010198541 A JP2010198541 A JP 2010198541A JP 2012058799 A JP2012058799 A JP 2012058799A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- metadata
- data
- shared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像表示技術に関し、より詳細には、効率的な画像再生のための画像表示システム、画像表示方法およびプログラムに関する。 The present invention relates to an image display technique, and more particularly to an image display system, an image display method, and a program for efficient image reproduction.
液晶やプラズマなどのフラットパネルは近年、大画面化・低価格化が進み、プロジェクタにより、４０インチ〜６０インチ程度のサイズのタッチパネルを搭載した、大型ディスプレイが、いわゆる電子情報ボードといった製品として市場において知られている。電子情報ボードは、典型的にはコンピュータを接続することによって、接続されたコンピュータの画面を拡大して表示することができ、会議、講義その他のプレゼンテーションなど、コンピュータの画面に表示するべき映像を共有させる用途に用いられている。 In recent years, flat panels such as liquid crystal and plasma have been increased in screen size and price, and large displays equipped with touch panels with a size of about 40 inches to 60 inches have been marketed as products such as so-called electronic information boards. Are known. An electronic information board can be connected to a computer, and the screen of the connected computer can be enlarged and displayed, and video to be displayed on the computer screen, such as meetings, lectures, and other presentations, can be shared. It is used for the purpose.
また、電子情報ボードは、その搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることも可能とされ、画面を表示しているパソコンに対してタッチパネルからの操作も可能とされている機種も知られている。さらに、接続したパソコン上で実行され、電子情報ボードとの間で各種制御を可能とするための電子黒板アプリケーションソフトウエアもこれらの機器と共に提供されている。 In addition, the electronic information board can be touched directly on the screen being displayed instead of using the mouse, using the touch panel function installed on the electronic information board. Some models are also known to be possible. Furthermore, electronic blackboard application software that is executed on a connected personal computer and enables various controls with the electronic information board is provided together with these devices.
電子黒板アプリケーションソフトウエアの代表的な機能としては、（１）黒板の役割をする画面を提供し、ボード上に手書きされる文字などをタッチパネルを介して取得し、イメージ変換する機能および（２）このアプリケーションを提供するパソコンの画面を取り込んでその上に手書きを重畳して描く機能などを挙げることができる。 Typical functions of the electronic blackboard application software are as follows: (1) A screen functioning as a blackboard is provided, characters handwritten on the board are acquired via a touch panel, and image conversion is performed. (2) A function that takes in the screen of a personal computer that provides this application and draws it by superimposing handwriting on it can be mentioned.
一方、電子情報ボードの表示内容を記録する方式としては、画面のスナップショットをキャプチャし、静止画として記録する方法、画面を動画として記録する方法、音声や操作履歴などを映像に同期させて記録する方法などがある。また、記録した映像の検索を効率的に行うための技術も知られており、例えば、特開平６−２０５１５１号公報（特許文献１）には、会議の議事内容が出現した経緯などを記録しておき、記録した情報と音声映像情報とを対応付けるインデックスを作成し、インデックス情報に基づいて音声映像情報を検索・再生する技術が知られている。 On the other hand, as a method of recording the display contents of the electronic information board, a screen snapshot is captured and recorded as a still image, a screen is recorded as a movie, and audio and operation history are recorded in synchronization with the video. There are ways to do it. In addition, a technique for efficiently retrieving recorded video is also known. For example, Japanese Patent Application Laid-Open No. 6-205151 (Patent Document 1) records the circumstances of the appearance of conference proceedings and the like. A technique is known in which an index that associates recorded information with audio-video information is created, and audio-video information is searched and reproduced based on the index information.
しかし、今までの画面のスナップショットをキャプチャし静止画として記録する方法を使用する場合、記録した静止画を用いて画面表示履歴を再現しようとすると、画面の再生処理に時間がかかるという問題があった。この様な問題は、例えば、会議などの集会終了後の議事録を作成しようとして集会の内容を再現する場合、再生のための処理オーバーヘッドが大きく、この結果、自分が見たい画面がどこにあるかを検索するのに手間がかかり、また探すのが難しいという問題点があった。 However, when using the method of capturing a snapshot of the screen and recording it as a still image, if you try to reproduce the screen display history using the recorded still image, the screen playback process takes time. there were. Such a problem is, for example, when reproducing the contents of a meeting to create the minutes after the meeting, such as a meeting, the processing overhead for playback is large, and as a result, where is the screen you want to see? It took a lot of time to search for and was difficult to find.
加えて、集会に参加しなかった人は、集会の重要な箇所の見当がつかず、検索しようにも特定のキーワードや内容を実際に判断しながら最初から画面を再生するしかない。また、会議に途中から参加した人が、すでに行われてしまった会議の内容をフォローアップするための再生して利用しようと思っても、データ再生に時間がかかるので、現在の内容のフォローアップは難しいという問題点もあった。 In addition, those who have not participated in the meeting have no idea of the important parts of the meeting, and can only search the screen from the beginning while actually judging specific keywords and contents for searching. In addition, even if a person who joined the meeting from the middle wants to play back and use the contents of the meeting that has already been held, it takes time to play back the data. There was also a problem that was difficult.
上述した各種の問題のため、従来の画面表示を再現する技術は、会議・ミーティングなどの集会の全体的な振り返りのために利用するのは難しかった。 Due to the various problems described above, it has been difficult to use the conventional technique for reproducing the screen display for the overall review of meetings such as conferences and meetings.
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、本発明は、画像表示システムは、電子情報ボードと、電子情報ボードに対して資料データを送付して資料データを共有させるためのフロントエンド端末として機能するコンピュータとを含んで構成されている。画像表示システムは、電子情報ボードに表示される資料データや手書されたイメージから集会後にレビューするための画像データを作成する。また、画像データが作成された時点で同期的にメタデータが生成され、生成されたメタデータは、画像データを参照可能に画像データとともにデータベースに登録される。 The present invention has been made in view of the above-described problems of the prior art, and the present invention relates to an electronic information board and an electronic information board. And a computer functioning as a front-end terminal. The image display system creates image data for review after the meeting from the material data displayed on the electronic information board and the handwritten image. Also, metadata is generated synchronously at the time when the image data is created, and the generated metadata is registered in the database together with the image data so that the image data can be referred to.
一方、フロントエンド端末は、特定の集会において記録された画像データを検索するための画像再生部を備えており、画像再生部は、フロントエンド端末のデスクトップ画面上に画像再生ウィザードを提供し、メタデータを検索条件として設定し、作成された画像データ全体の中からメタデータが検索条件に一致する画像のみを取得して、画像再生の目的に応じた効率的な集会のレビューを可能とする。 On the other hand, the front-end terminal has an image playback unit for searching for image data recorded at a specific meeting, and the image playback unit provides an image playback wizard on the desktop screen of the front-end terminal, Data is set as a search condition, and only images whose metadata matches the search condition are obtained from the entire created image data, thereby enabling efficient review of the assembly according to the purpose of image reproduction.
また、本発明では、画像表示システムは、電子情報ボードと複数のフロントエンド端末とをネットワークで接続して構成することもでき、議事録、画像データの共用性を高めながら、効率的な集会のレビューを可能とする。 Further, in the present invention, the image display system can be configured by connecting an electronic information board and a plurality of front-end terminals via a network. Enable review.
以下、本発明を実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本実施形態の画像表示システム１００を示す。画像表示システム１００は、いわゆる電子情報ボードとして参照される電子情報ボード１１０と、コンピュータ１４０とを含んで構成されている。電子情報ボード１１０は、コンピュータ１４０のデスクトップ画面上に表示される画像を、例えば、ＶＧＡ、ＸＧＡなどの画像再生フォーマットを使用し、ライン１０４を介して電子情報ボード１１０にビデオ信号として送信し、電子情報ボード１１０による表示を可能としている。電子情報ボード１１０は、液晶表示パネルといった大画面の表示要素１０２を含んで構成されていて、コンピュータ１４０から送付されたビデオ信号を拡大表示して複数の参加者に対して共有させている。 Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later. FIG. 1 shows an image display system 100 of the present embodiment. The image display system 100 includes an electronic information board 110 referred to as a so-called electronic information board and a computer 140. The electronic information board 110 transmits an image displayed on the desktop screen of the computer 140 as a video signal to the electronic information board 110 via the line 104 using an image reproduction format such as VGA or XGA, for example. Display by the information board 110 is enabled. The electronic information board 110 is configured to include a large screen display element 102 such as a liquid crystal display panel. The video signal sent from the computer 140 is enlarged and shared with a plurality of participants.
また、本実施形態では、電子情報ボード１１０が備える表示要素１０２は、タッチパネル機能を含んでいてもよく、電子情報ボード１１０に相対してプレゼンテーションを行っている参加者のタッチにしたがって画像を識別し、タッチ位置の移動を検出してその軌跡を、ＵＳＢなどの適切なライン１０６を使用してコンピュータ１４０に送付する。コンピュータ１４０は、ライン１０６から取得した軌跡を解析し、適切なスムージング処理などを施してビデオ信号として生成し、ライン１０４を介して逆に電子情報ボード１１０に送付し、表示を可能とさせている。 In this embodiment, the display element 102 included in the electronic information board 110 may include a touch panel function, and identifies an image according to the touch of a participant who is presenting relative to the electronic information board 110. Then, the movement of the touch position is detected, and the locus is sent to the computer 140 using an appropriate line 106 such as USB. The computer 140 analyzes the trajectory acquired from the line 106, performs an appropriate smoothing process or the like, generates a video signal, and sends it to the electronic information board 110 via the line 104 to enable display. .
また、表示要素１０２には、タッチパネル機能として、頁送り・頁戻し・手書きのコマンドを発生させるための領域に対応して、イメージ１０８が表示されている。電子情報ボード１１０は、参加者による画面のタッチにしたがって位置座標取得し、コンピュータ１４０へと取得した位置座標を送付することで、コンピュータ１４０に対して位置座標に対応するコマンド生成を可能とし、遠隔的にコンピュータ１４０を制御することができる構成とされている。 Further, the display element 102 displays an image 108 corresponding to a region for generating a page turning / page returning / handwriting command as a touch panel function. The electronic information board 110 acquires position coordinates in accordance with the touch of the screen by the participant, and sends the acquired position coordinates to the computer 140, thereby enabling the computer 140 to generate commands corresponding to the position coordinates and remotely. Thus, the computer 140 can be controlled.
コンピュータ１４０は、画像表示システム１００におけるフロントエンド端末として機能し、ユーザが資料を作成したり、スナップショットイメージなどを検索するためのフロントエンド端末として機能する。説明する実施形態では、コンピュータ１４０は、データベース１２０を含んでおり、電子情報ボード１１０に表示された画面に対し、画面を識別させるためのメタデータを生成し、画面に対応付けてデータベース１２０に登録している。データベース１２０に登録されるデータとしては、プレゼンテーションに利用するべき、適切なアプリケーションで作成された資料データ１２４、電子情報ボード１１０から送付された手書データ１２６、資料データに対して手書データなどが重畳される可能性があり、電子情報ボード１１０の表示要素上において共有されている画像全体を画像データとしたスナップショットデータを登録するスナップショットログ１３０、コンピュータ１４０を管理するユーザを識別するユーザ情報データ１２２、電子情報ボード１１０に直接手書されたデータを画像データとしたＷＢデータ１２８、および各データを固有に識別するためのメタデータ１３２を含むことができる。 The computer 140 functions as a front-end terminal in the image display system 100, and functions as a front-end terminal for a user to create a document or search for a snapshot image or the like. In the embodiment to be described, the computer 140 includes the database 120, generates metadata for identifying the screen displayed on the electronic information board 110, and registers the metadata in the database 120 in association with the screen. is doing. Data registered in the database 120 includes material data 124 created by an appropriate application to be used for the presentation, handwriting data 126 sent from the electronic information board 110, handwriting data for the material data, and the like. User information for identifying a user who manages the snapshot log 130 and the computer 140 for registering snapshot data in which the entire image shared on the display element of the electronic information board 110 may be superimposed as image data. Data 122, WB data 128 using image data as handwritten data directly on the electronic information board 110, and metadata 132 for uniquely identifying each data can be included.
コンピュータ１４０および電子情報ボード１１０の表示サイズの調整は、コンピュータ１４０の接続に同期してコンピュータ１４０が起動する電子情報ボード制御アプリケーションによって実行される。このため、電子情報ボード１１０上の描画位置が正確にコンピュータ１４０のデスクトップ画面上にマッピングされる。 Adjustment of the display size of the computer 140 and the electronic information board 110 is executed by an electronic information board control application that is activated by the computer 140 in synchronization with the connection of the computer 140. For this reason, the drawing position on the electronic information board 110 is accurately mapped on the desktop screen of the computer 140.
電子情報ボード１１０に相対しプレゼンテーションを行っている参加者は、プレゼンテーションの進行にしたがって、表示要素１０２上に表示された各種のイメージ１０８にタッチすることにより、例えば頁送り・頁戻し・手書きを指令することができる。電子情報ボード１１０は、画面上での静電容量などの変化を検出し、対応する表示要素上の位置座標に変換し、当該位置座標をライン１０６を介してコンピュータ１４０に送付し、コンピュータ１４０を遠隔制御することで、自己の予定するプレゼンテーションを進行させている。 Participants who are making presentations with respect to the electronic information board 110 touch various images 108 displayed on the display element 102 in accordance with the progress of the presentation, thereby instructing, for example, page turning, page returning, and handwriting. can do. The electronic information board 110 detects a change in capacitance on the screen, converts it into position coordinates on the corresponding display element, and sends the position coordinates to the computer 140 via the line 106. By remote control, the self-scheduled presentation is progressing.
図２は、本実施形態の画像表示システム１００の機能ブロック図である。まず電子情報ボード１１０の機能ブロックから説明する、電子情報ボード１１０は、画面表示部１１２と、ビデオ入力部１１４と、座標検知部１１６と、座標出力部１１８とを含んで構成されている。画面表示部１１２は、表示要素１０２に表示するための画面を制御する機能を提供する。また、ビデオ入力部１１４は、コンピュータ１４０から送付されるビデオ信号をＶＧＡ、ＸＧＡなどの適切なフォーマットにしたがって取得し、画面表示部１１２に送付することで、コンピュータ１４０が表示するべきイメージを、表示要素１０２上に表示させている。 FIG. 2 is a functional block diagram of the image display system 100 of the present embodiment. The electronic information board 110, which will be described first from the functional blocks of the electronic information board 110, includes a screen display unit 112, a video input unit 114, a coordinate detection unit 116, and a coordinate output unit 118. The screen display unit 112 provides a function of controlling a screen to be displayed on the display element 102. Further, the video input unit 114 acquires a video signal sent from the computer 140 in accordance with an appropriate format such as VGA or XGA, and sends it to the screen display unit 112, thereby displaying an image to be displayed by the computer 140. It is displayed on the element 102.
座標検知部１１６は、プレゼンテーションを行っている参加者が表示要素１０２上にタッチすることによる静電容量などの変化を検知して割り当てられた位置座標を検出する従来のタッチパネル制御部を含んで構成することができる。座標検知部１１６は、静電容量の変化を検出すると、当該位置を計算して表示要素中における位置座標に変換し、その値を座標出力部１１８に送付する。座標出力部１１８は、位置座標を取得すると、取得した位置座標の値をコンピュータ１４０に送付し、コンピュータ１４０においてイベント生成を判断するための電子情報ボード１１０での操作に関連する位置座標として利用可能とさせる。 The coordinate detection unit 116 includes a conventional touch panel control unit that detects a position coordinate assigned by detecting a change in capacitance or the like caused by a participant performing a presentation touching the display element 102. can do. When the coordinate detection unit 116 detects a change in capacitance, the coordinate detection unit 116 calculates the position, converts it to a position coordinate in the display element, and sends the value to the coordinate output unit 118. When the coordinate output unit 118 acquires the position coordinate, the coordinate output unit 118 sends the acquired position coordinate value to the computer 140 and can be used as the position coordinate related to the operation on the electronic information board 110 for determining the event generation in the computer 140. Let me.
コンピュータ１４０は、ビデオ出力部１４２と、座標入力部１４４とを含んでいる。ビデオ出力部１４２は、コンピュータ１４０がその表示のために生成したビデオ信号を、例えばＶＧＡコネクタから電子情報ボード１１０に送付して、表示させる。また、座標入力部１４４は、電子情報ボード１１０から送付された位置座標を取得して、各種の制御を可能とする。 The computer 140 includes a video output unit 142 and a coordinate input unit 144. The video output unit 142 sends a video signal generated for display by the computer 140 to the electronic information board 110 from a VGA connector, for example, and displays it. Further, the coordinate input unit 144 acquires the position coordinates sent from the electronic information board 110 and enables various controls.
コンピュータ１４０は、さらに、資料再生部１４６と、手書処理部１４８と、ＷＢ制御部１５０とを含んで構成されている。資料再生部１４６は、プレゼンテーションに使用するための資料データを作成したアプリケーションか、またはビュワーとして構成することができる。また、手書処理部１４８は、コンピュータ１４０のデスクトップ画面からの手書モードにおいて手書描画を受け付けたり、または電子情報ボード１１０からＷＢモードで入力された位置座標を取得してイメージを生成する処理を実行する。本実施形態において、画像表示システム１００の操作モードとしては、表示モード、手書モード、およびＷＢモードの３つのモードを採用することができる。なお、参加者の手書は、コンピュータ１４０のデスクトップ画面からでも、ＷＢモードでの電子情報ボード１１０への直接描画でも可能であるが、手書きモードとＷＢモードとは、同時に呼び出される機能ではない。 The computer 140 further includes a material reproduction unit 146, a handwriting processing unit 148, and a WB control unit 150. The material reproduction unit 146 can be configured as an application that creates material data for use in a presentation or as a viewer. Further, the handwriting processing unit 148 accepts handwriting drawing in the handwriting mode from the desktop screen of the computer 140, or acquires the position coordinates input from the electronic information board 110 in the WB mode to generate an image. Execute. In the present embodiment, as the operation mode of the image display system 100, three modes of a display mode, a handwriting mode, and a WB mode can be adopted. The handwriting of the participant can be drawn from the desktop screen of the computer 140 or directly drawn on the electronic information board 110 in the WB mode, but the handwriting mode and the WB mode are not functions that are called simultaneously.
表示モードは、表示先を電子情報ボード１１０にするか、コンピュータ１４０のデスクトップにローカライズさせるかの切り替え制御を行うモードである。手書モードは、コンピュータ１４０のデスクトップ画面上に表示された描画エリアからの手書イメージを資料データに重畳して表示させるモードである。さらに、ＷＢ(White Board)モードは、電子情報ボード１１０の表示要素に直接手書されたイメージを電子情報ボード１１０に表示させるモードである。 The display mode is a mode for performing switching control of whether the display destination is the electronic information board 110 or the desktop of the computer 140 is localized. The handwriting mode is a mode in which a handwriting image from a drawing area displayed on the desktop screen of the computer 140 is displayed superimposed on the document data. Furthermore, the WB (White Board) mode is a mode in which an image handwritten on the display element of the electronic information board 110 is displayed on the electronic information board 110.
なお、手書処理部１４８は、手書イメージを資料を表示させるレイヤとは別にレイヤを定義して、別々に処理を行うこともできるし、資料データに対して手書データをリンクさせたり、埋め込むようにして統合して保存できる形式とすることもできる。 Note that the handwriting processing unit 148 can define a layer separately from the layer for displaying the handwritten image, and can perform processing separately, link handwritten data to the material data, It can also be in a format that can be integrated and saved by embedding.
ＷＢ制御部１５０は、電子情報ボード１１０へのコンピュータ１４０のデスクトップ画面の表示を制御しており、表示先切り替え、画面サイズ調整、およびＷＢモードで取得した軌跡を、例えばベジェ曲線などを当てはめて画像データとして電子情報ボード１１０に表示させる処理を実行する。なお、手書により生成されるイメージは、コンピュータ１４０のデスクトップ画面および電子情報ボード１１０の表示要素への描画の２系統で行われ、それぞれ手書処理部１４８およびＷＢ制御部１５０がその処理を担当し、いずれも手書されたイメージをベクトルデータに変換し、スムージング処理を施すことにより、違和感のない画像を最小の時間遅延で表示可能とする。 The WB control unit 150 controls the display of the desktop screen of the computer 140 on the electronic information board 110. The trajectory acquired in the display destination switching, the screen size adjustment, and the WB mode is applied to, for example, a Bezier curve. A process of displaying the data on the electronic information board 110 as data is executed. The image generated by the handwriting is performed in two systems: drawing on the desktop screen of the computer 140 and the display element of the electronic information board 110, and the handwriting processing unit 148 and the WB control unit 150 are in charge of the processing, respectively. In either case, the handwritten image is converted into vector data, and smoothing processing is performed, so that an image without a sense of incongruity can be displayed with a minimum time delay.
コンピュータ１４０は、適切なイベント、例えば頁送り・頁戻し、または手書開始／終了などに関連する、画面タッチ、マウスクリックなどのマウスイベント、または「Ｅｎｔｅｒ」、「Ｃｒｔｌ＋Ｚ」などのキーボードイベントを検出するイベントハンドラ１６２を含んで構成されている。イベントハンドラ１６２は、コンピュータ１４０および電子情報ボード１１０の両方またはいずれか一方からのイベントを検出すると、当該イベントが所定のイベントであるか否かを判断し、その処理に対応する処理部を呼び出して制御を渡す処理を実行している。コンピュータ１４０は、さらにモード切替部１５２と、データ作成部１５４と、ユーザ情報取得部１５６とを含んでいる。 The computer 140 detects an appropriate event, for example, a mouse event such as a screen touch or a mouse click, or a keyboard event such as “Enter” or “Crtl + Z” related to page turning / page returning or handwriting start / end. It includes an event handler 162. When the event handler 162 detects an event from one or both of the computer 140 and the electronic information board 110, the event handler 162 determines whether the event is a predetermined event and calls a processing unit corresponding to the process. Processing to pass control is executed. The computer 140 further includes a mode switching unit 152, a data creation unit 154, and a user information acquisition unit 156.
モード切替部１５２は、資料データの表示先をコンピュータ１４０のデスクトップ画面にするか、電子情報ボード１１０にするか、またはその両方に表示するかという、表示モード、手書モード、またはＷＢモードであるか否かの判断および各処理部の呼び出し制御などを実行する。またモード切替部１５２は、適切なバッファメモリを備えていて、現在、電子情報ボード１１０がどのような操作モードまたは操作モードの組み合わせにあるかを、例えば後述するメタデータ作成部１５８からの要求に対応して、現在のモード情報をメタデータとして追加することを可能とさせている。 The mode switching unit 152 is a display mode, a handwriting mode, or a WB mode in which the display destination of the material data is displayed on the desktop screen of the computer 140, the electronic information board 110, or both. Whether or not each of the processing units is called up is executed. Further, the mode switching unit 152 has an appropriate buffer memory, and the operation mode or combination of operation modes of the electronic information board 110 is currently requested by, for example, a request from the metadata creation unit 158 described later. Correspondingly, the current mode information can be added as metadata.
データ作成部１５４は、電子情報ボード１１０の表示要素１０２上に表示された画面、手書データおよびＷＢデータそれぞれを、別々にデジタルイメージデータに変換し、適切なフォーマット、例えばＰＤＦ、ＧＩＦ、ＪＰＥＧ、ＴＩＦＦ、ＰＮＧなどの画像データとしてデータベース１２０に、手書データ１２６、ＷＢデータ１２８、および画面全体を統合したデータであるスナップショットデータを蓄積するスナップショットログ１３０として管理させている。 The data creation unit 154 converts each of the screen, handwriting data, and WB data displayed on the display element 102 of the electronic information board 110 into digital image data separately, and converts them into an appropriate format such as PDF, GIF, JPEG, The image data such as TIFF and PNG is managed in the database 120 as a snapshot log 130 that stores handwritten data 126, WB data 128, and snapshot data that is data obtained by integrating the entire screen.
ユーザ情報取得部１５６は、コンピュータ１４０を使用している参加者を固有に識別するためのユーザ情報を、データベース１２０のユーザ情報から取得し、メタデータとして追加する処理を実行する。図示する実施形態では、ユーザ情報は、データベース１２０と言ったローカルデータベースに登録されているものとして説明しているが、ユーザ情報をＬＤＡＰ(Lightweight Directory Access Protocol)を利用し、リモートに配置されたユーザ情報データベースにアクセスして取得することもできる。 The user information acquisition unit 156 acquires the user information for uniquely identifying the participant who is using the computer 140 from the user information in the database 120, and executes a process of adding it as metadata. In the illustrated embodiment, the user information is described as being registered in a local database such as the database 120. However, the user information is a user remotely located using LDAP (Lightweight Directory Access Protocol). It can also be obtained by accessing the information database.
メタデータ作成部１５８は、画像データを固有に識別するためのメタデータを生成し、画像データに対応付けて登録する。メタデータは特に限定するものではないが、ＸＭＬといった構造化文書として生成し、ＤＯＭ、ＳＡＸなどの検索機能により効率的な階層構造検索を可能とすることが好ましい。また、メタデータは、より汎用性を付与する目的でＲＤＦ(Resource Description Framework)のフォーマットにしたがって記述することもできる。 The metadata creation unit 158 generates metadata for uniquely identifying image data, and registers the metadata in association with the image data. Although the metadata is not particularly limited, it is preferable that the metadata is generated as a structured document such as XML, and an efficient hierarchical structure search is enabled by a search function such as DOM and SAX. The metadata can also be described according to the RDF (Resource Description Framework) format for the purpose of imparting more versatility.
さらにコンピュータ１４０は、画面再生部１６０を備えており、画面再生部１６０は、本実施形態にしたがい、メタデータにより特定された画像データを読み込んで、コンピュータ１４０のデスクトップ画面または電子情報ボード１１０の表示要素１０２上にスナップショットを表示させている。 Further, the computer 140 includes a screen playback unit 160. The screen playback unit 160 reads the image data specified by the metadata and displays the desktop screen of the computer 140 or the electronic information board 110 according to the present embodiment. A snapshot is displayed on the element 102.
図３は、本実施形態の画像表示システム１００が実行する処理の実施形態を示す。以下、コンピュータ１４０を図中に記述に対応付けるため、単にＰＣ１４０として参照する。図３の処理は、ステップＳ３００で、参加者またはＰＣ１４０のオペレータがコンピュータ１４０を操作して開始する、ステップＳ３０１でＰＣ１４０が所定のイベントを生成し、ステップＳ３０２で当該イベントを例えばイベントハンドラといったイベントハンドラが検出する。一方、電子情報ボード１１０もイベントを生成することができ、当該イベントは、本実施形態では、ステップＳ３１１において、プレゼンテーションを行っている参加者がタッチパネルにタッチすることにより開始され、ステップＳ３１２で、当該タッチに対応するイベントが生成される。 FIG. 3 shows an embodiment of processing executed by the image display system 100 of the present embodiment. Hereinafter, the computer 140 is simply referred to as the PC 140 in order to correspond to the description in the figure. The process of FIG. 3 is started in step S300 by a participant or an operator of the PC 140 operating the computer 140. In step S301, the PC 140 generates a predetermined event. In step S302, the event is an event handler such as an event handler. Will detect. On the other hand, the electronic information board 110 can also generate an event. In this embodiment, the event is started in step S311 when the participant who is presenting touches the touch panel, and in step S312, the event is performed. An event corresponding to the touch is generated.
生成されたイベントは、ＰＣ１４０のイベントハンドラ１６２に送付され、ステップＳ３０２でイベント受信として処理される。ＰＣ１４０のイベントハンドラは、ＰＣ１４０および電子情報ボード１１０からのイベントをいずれか一方または両方を統合して処理する。イベントの送付元により呼び出すべき機能処理部が異なるので、ＰＣ１４０は、ステップＳ３０３で、現在ＰＣ１４０が実行している操作モードを識別するためのモード情報を取得する。モード情報は、例えばＷＢ制御部１５０、手書処理部１４８、資料再生部１４６などが起動・終了したときにその状態を登録するフラグや識別値を、モード切替部１５２などの適切な機能処理部に管理させておき、ステップＳ３０３における参照に利用させることができる。 The generated event is sent to the event handler 162 of the PC 140, and is processed as event reception in step S302. The event handler of the PC 140 processes events from the PC 140 and the electronic information board 110 by integrating one or both of them. Since the function processing unit to be called differs depending on the event sender, the PC 140 acquires mode information for identifying the operation mode currently being executed by the PC 140 in step S303. The mode information includes, for example, a flag and an identification value for registering the state when the WB control unit 150, the handwriting processing unit 148, the material reproduction unit 146, etc. are activated and terminated, and an appropriate function processing unit such as the mode switching unit 152. Can be used for reference in step S303.
ステップＳ３０４で、取得したモード情報についてＰＣモード、手書モード、またはＷＢモードのいずれか、またはそれ以外かの判断を行う。ステップＳ３０４の判断でモード情報が、ＰＣ、手書、ＷＢモードのいずれでもない場合（ｎｏ）、処理をステップＳ３１３に進め、一連の処理を終了する。また、ステップＳ３０４で、ＰＣ、手書、ＷＢモードのいずれかと判断された場合（ｙｅｓ）、ステップＳ３０５でイベントが所定のイベントであるか否かを判断する。 In step S304, it is determined whether the acquired mode information is a PC mode, a handwriting mode, a WB mode, or any other mode. If it is determined in step S304 that the mode information is not PC, handwriting, or WB mode (no), the process proceeds to step S313, and the series of processes ends. If it is determined in step S304 that the PC, handwriting, or WB mode is selected (yes), it is determined in step S305 whether the event is a predetermined event.
所定のイベントとしては、上述したように一連の操作が終了したことを示す、「Ｃｌｉｃｋ」か、または「Ｅｎｔｅｒ」などを例示することができるが、これら以外にもアプリケーションで特定される終了動作、例えば「Ｃｒｔｌ＋Ｃ」などのキーイベントでもよい。ステップＳ３０５で、所定のイベントではない場合（ｎｏ）、制御をステップＳ３１３に渡し、処理を終了する。一方、ステップＳ３０５でイベントが所定のイベントである場合（ｙｅｓ）処理をステップＳ３０６およびステップＳ３０８に分岐させ、スナップショットの生成とメタデータの生成を並列的に実行する。 Examples of the predetermined event include “Click” or “Enter” indicating that a series of operations has been completed as described above, but in addition to these, an end operation specified by the application, For example, a key event such as “Crtl + C” may be used. If it is not a predetermined event in step S305 (no), control is passed to step S313, and the process ends. On the other hand, if the event is a predetermined event in step S305 (yes), the process is branched to step S306 and step S308, and snapshot generation and metadata generation are executed in parallel.
ステップＳ３０６では、電子情報ボード１１０に表示されている画面をＰＣ１４０が、資料データ、手書データ、および電子情報ボード１１０の表示要素上に置いて参加者全員に共有されているイメージを、それぞれ適切なフォーマットの画像データとし、ステップＳ３０７で固有の識別値を付してデータベースのスナップショットログに登録して保存する。これと並列的に、ステップＳ３０８では、ＰＣ１４０がユーザ情報を取得して、ステップＳ３０９でモード情報、イベント情報およびタイムスタンプなどの情報とともにメタデータを生成する。ステップＳ３０７で生成された画像データを固有に識別する識別値に紐付けしてステップＳ３１０でデータベース１２０にメタデータを登録し、ステップＳ３１３で処理を終了する。 In step S306, the screen displayed on the electronic information board 110 is placed on the display data of the document data, handwritten data, and electronic information board 110 by the PC 140, and the image shared by all the participants is appropriately displayed. In a step S307, the image data is registered in the snapshot log of the database and stored. In parallel with this, in step S308, the PC 140 obtains user information, and in step S309, metadata is generated together with information such as mode information, event information, and a time stamp. In step S310, the metadata is registered in the database 120 in association with the identification value that uniquely identifies the image data generated in step S307, and the process ends in step S313.
図４は、本実施形態のメタデータのデータ構造を示す。以下、説明の便宜の目的で電子情報ボード１１０を利用する特定の集会を会議とし、当該会議を特定するためのメタデータ４００の構造を用いて以下に説明する。メタデータ４００は、会議ごとに識別され、会議を特定するためのメタデータ４０２と、当該会議を記録した画像データを特定するための画像コンテナ４１６とを含んで構成される。メタデータ４０２は、会議を指定するための会議名、場所、日付、開始時、終了時、参加者、共有画像などをプロパティとして階層構造を形成しており、各プロパティ毎にそれぞれデータがＸＭＬなどの構造化言語により記述されて行く。プロパティはそれぞれ階層構造を記述するライン上に記載して示す。メタデータの内容としてはより詳細に、会議を固有に識別するための会議ＩＤ４０４、会議の催された場所を特定するための場所４０６、会議の日付４０８、開始時間４１０、終了時間４１２および参加者４１４を記述するデータを含んで記述される。 FIG. 4 shows the data structure of the metadata of this embodiment. Hereinafter, for the convenience of explanation, a specific meeting using the electronic information board 110 will be referred to as a meeting, and the structure of the metadata 400 for specifying the meeting will be described below. The metadata 400 is identified for each conference and includes metadata 402 for specifying the conference and an image container 416 for specifying the image data recording the conference. The metadata 402 forms a hierarchical structure with a meeting name, location, date, start time, end time, participant, shared image, and the like for specifying a meeting as properties, and data for each property is XML or the like. It is described by a structured language. Each property is shown on a line describing the hierarchical structure. More specifically, the content of the metadata is a conference ID 404 for uniquely identifying the conference, a location 406 for specifying the location where the conference was held, a conference date 408, a start time 410, an end time 412 and participants. 414 is described including data describing 414.
これらのメタデータは、会議の開始時に例えば、電子情報ボード１１０を制御するためのＷＢ制御部１５０を起動した時点でオペレータが入力することで生成することができる。会議を特定するメタデータ４０２は、会議自体を検索するなどの目的で利用することができ、本実施形態の画像表示システム１００の要旨ではないので、これ以上の説明は省略する。 These metadata can be generated when an operator inputs at the time of starting the WB control unit 150 for controlling the electronic information board 110 at the start of the conference, for example. The metadata 402 for identifying the conference can be used for the purpose of searching for the conference itself and is not the gist of the image display system 100 of the present embodiment, and thus further description thereof is omitted.
本実施形態の画像表示システム１００は、画像データを、コンテナなどの特定の属性を有するデータクラスとして分類し、検索の効率化を行っている。画像データは、会議の特定のシーン、例えば、頁送り、設定時間間隔などを単位とし、会議の進行に合わせて内容が変化する可能性のある画面を登録し、それに紐付けながら画像データを識別するための画像データ１といった識別子として構成されるメタデータ４１６ａ〜４１６ｎを、同期的に作成し、メタデータ４０２の画像データを指定するメタデータ階層に登録する。このため、会議が特定され次第、会議の内容を示す画像データを効率的に検索することが可能となる。 The image display system 100 according to the present embodiment classifies image data as a data class having a specific attribute such as a container to improve search efficiency. For image data, a specific scene of the conference, for example, page feed, set time interval, etc. is used as a unit, and a screen whose contents may change as the conference progresses is registered, and the image data is identified while being associated with it. Metadata 416a to 416n configured as identifiers such as image data 1 to be created are synchronously created and registered in a metadata hierarchy that designates image data of the metadata 402. For this reason, as soon as a meeting is specified, it is possible to efficiently search for image data indicating the contents of the meeting.
メタデータ４１６ａ〜４１６ｎには、さらにそれぞれにモード情報、イベント情報、タイムスタンプの他、画像データを固有に識別するための識別値が登録されていて、データベース１２０に格納された各画像データを参照可能としている。そして、例えば画像データ４１６ｂは、さらにファイル名４１６ｂ１、生成された時間４１６ｂ２、参加者４１６ｂ３および生成された時のモード４１６ｂ４といったメタデータが紐付けられていて、設定された条件に基づいた相互検索を可能としている。なお、説明の便宜上、画像データ４１６ｂ以外の説明は省略するが、上述した画像データ４１６ｂと同様の展開が可能である。 In the metadata 416a to 416n, in addition to mode information, event information, and time stamp, an identification value for uniquely identifying image data is registered, and each image data stored in the database 120 is referred to. It is possible. For example, the image data 416b is further linked with metadata such as a file name 416b1, a generated time 416b2, a participant 416b3, and a mode 416b4 when generated, and mutual search based on the set conditions is performed. It is possible. For convenience of explanation, explanations other than the image data 416b are omitted, but the same development as the image data 416b described above is possible.
図５は、本実施の画像表示システム１００が表示する画像再生ウィザードの実施形態を示す。図５に示す画像再生ウィザードは、ＰＣ１４０のデスクトップ画面上に、議事録作成や会議内容レビューのために提供される。図５に示す画像再生ウィザード６００には、画像を表示するための表示領域６０６が設けられていて、検索された画像データや指定されたスキームにしたがって抽出される画像データが表示領域６０６に順次表示される構成となっている。 FIG. 5 shows an embodiment of an image reproduction wizard displayed by the image display system 100 of the present embodiment. The image reproduction wizard shown in FIG. 5 is provided on the desktop screen of the PC 140 for creating minutes and reviewing the contents of the meeting. The image reproduction wizard 600 shown in FIG. 5 is provided with a display area 606 for displaying an image, and the retrieved image data and the image data extracted according to the specified scheme are sequentially displayed in the display area 606. It becomes the composition which is done.
画像データを表示させるためのスキームを指定するために、プルダウンリスト６０２およびプルダウンリスト６０４が設けられていて、オペレータは、プルダウンリスト６０２、６０４から検索・表示するデータ（画像データだけとは限らない）を特定するためのメタデータのキーワードを選択する。表示するスキームを選択する実施形態を表示画面６１０として示す。図５に示されるように、プルダウンリスト６１２をオペレータがクリックすることにより、検索して表示するべき操作モードを指定することができる。また、プルダウンリスト６１４をクリックすれば、会議に登録されているメタデータのうち、特定の参加者についてのデータが検索される。 In order to specify a scheme for displaying image data, a pull-down list 602 and a pull-down list 604 are provided, and the operator searches and displays data from the pull-down lists 602 and 604 (not only image data). Select metadata keywords to identify. An embodiment for selecting a scheme to display is shown as a display screen 610. As shown in FIG. 5, when the operator clicks on the pull-down list 612, an operation mode to be retrieved and displayed can be designated. In addition, if a pull-down list 614 is clicked, data on a specific participant is retrieved from metadata registered in the conference.
オペレータが指定を終了して、表示開始を指定するアイコン６１８をクリックすることで検索および抽出が開始される。検索は、メタデータを階層構造にしたがってＤＯＭ、ＳＡＸ、またはＳＰＡＲＱＬ（SPARQL Protocol and RDF Query Language）などに基づいて行うことができ、全メタデータを網羅的に都度検索する必要がないので、検索空間を削減でき、効率的な検索を可能とし、ひいては効率的な会議のレビューを可能とする。図５には、本実施形態により表示される画像シーケンス６２０を示す。画像シーケンス６２０には、説明のため、検索条件に関連するメタデータを並列的に記載している。画像シーケンス６２０は、参加者Ａに関連するプレゼンテーションのために行った行動、例えば試料データの頁送り、各種モードからの手書動作の各データが時間シーケンスにしたがってソーティングされて表示される。他の表示形式も可能であり、例えば表示領域６１６にサムネイルなどとして表示しておき、ユーザが注目する画像データのみを拡大して別ウィンドウに表示させることもできる。 When the operator finishes the designation and clicks the icon 618 for designating the display start, the search and extraction are started. The search can be performed based on the hierarchical structure of DOM, SAX, SPARQL (SPARQL Protocol and RDF Query Language), etc., and it is not necessary to search all metadata every time. , Enabling efficient searches and thus efficient review of meetings. FIG. 5 shows an image sequence 620 displayed according to the present embodiment. In the image sequence 620, metadata related to the search condition is described in parallel for explanation. In the image sequence 620, actions performed for a presentation related to the participant A, for example, page data of sample data, and handwritten actions from various modes are sorted and displayed according to a time sequence. Other display formats are possible. For example, the image can be displayed as a thumbnail or the like in the display area 616, and only the image data focused by the user can be enlarged and displayed in another window.
図６は、本実施形態の画像表示システム１００の画像表示の第２の実施形態を示す。図６に示した実施形態では、オペレータが、検索・表示させるべきデータを、ＰＣ１４０が再生表示した画像および参加者Ａがプレゼンテーションを行う際に電子情報ボード１１０に手書した画像を検索することを希望する場合の設定および画像シーケンス７２０を示す。オペレータは、表示ウィザード７００から、参加者Ａを指定し、プルダウンリスト７０２でＰＣ＋ＷＢのメタデータの論理積として検索されるデータを検索するようにＰＣ１４０に指令する。 FIG. 6 shows a second embodiment of image display of the image display system 100 of the present embodiment. In the embodiment shown in FIG. 6, the operator retrieves data to be retrieved and displayed by retrieving an image reproduced and displayed by the PC 140 and an image handwritten on the electronic information board 110 when the participant A makes a presentation. The desired settings and image sequence 720 are shown. The operator designates the participant A from the display wizard 700 and instructs the PC 140 to search for data to be searched as a logical product of metadata of PC + WB in the pull-down list 702.
ＰＣ１４０は、アイコン７０４から再生指令を受領すると、データベース１２０の検索を開始し、検索されたデータをタイムスタンプの古い方から順に表示領域７０６に表示させることで、画像シーケンス７２０が、表示領域７０６に表示される。なお画像シーケンス７２０は、タイムスタンプの古い順とすることはなく他の基準に従って表示させることもできるが、会議のレビューを行うことを目的とする場合には、タイムスタンプを基準としてシーケンスを生成することが好ましいということができる。 When the PC 140 receives a playback command from the icon 704, the PC 140 starts searching the database 120 and displays the searched data in the display area 706 in order from the oldest time stamp, so that the image sequence 720 is displayed in the display area 706. Is displayed. Note that the image sequence 720 may be displayed according to other criteria without being based on the oldest of the time stamps. However, when the purpose is to review the conference, the sequence is generated based on the time stamps. It can be said that it is preferable.
図７は、本実施形態における第２の実施形態の画像表示システム８００を示す。画像表示システム８００は、電子情報ボード８１０と、ＰＣ８２０とを含んで構成されている。電子情報ボード８１０は、図７の実施形態では、組み込みＣＰＵ（図示せず）を含んでいて、データベース８４０を管理することが可能とされており、データベース８４０には、スナップショットログ８４２およびメタデータ８４４が格納されている。 FIG. 7 shows an image display system 800 according to the second embodiment of the present embodiment. The image display system 800 is configured to include an electronic information board 810 and a PC 820. In the embodiment of FIG. 7, the electronic information board 810 includes an embedded CPU (not shown) and is capable of managing the database 840. The database 840 includes a snapshot log 842 and metadata. 844 is stored.
図７に示した実施形態では、スナップショットログが、電子情報ボード８１０により管理されているため、例えば会議の途中から参加したＰＣ８２０のオペレータ（以下、参加者Ｂとして参照する。）がそれまでの会議の内容をレビューすることが可能となる。 In the embodiment shown in FIG. 7, since the snapshot log is managed by the electronic information board 810, for example, an operator of the PC 820 who joined from the middle of the conference (hereinafter referred to as the participant B). The content of the meeting can be reviewed.
ＰＣ８２０は、データベース８３０を管理しており、データベース８３０は、途中から会議に参加した参加者Ｂがプレゼンテーションするための資料データ８３２と、ＰＣ８２０から手書入力した結果生成された手書データ８３４と、参加者Ｂのユーザ情報データ８３６と、電子情報ボード８１０から入力されたイメージでから生成される画像データであるＷＢデータ８３８を格納し、検索および新規追加などの管理を行っている。 The PC 820 manages a database 830. The database 830 includes material data 832 for presentation by a participant B who has joined the conference from the middle, handwriting data 834 generated as a result of handwriting input from the PC 820, Participant B's user information data 836 and WB data 838 which is image data generated from the image input from the electronic information board 810 are stored, and management such as search and new addition is performed.
また、ＰＣ８２０と電子情報ボード８１０とは、ＶＧＡなどのフォーマットで電子情報ボード８１０に対して画像を表示させるためのライン８２２と、電子情報ボード８１０とＰＣ８２０との間でデータ送受信を行うためのＵＳＢとなどのバスライン８２４により相互接続されている。ＰＣ８２０と、電子情報ボード８１０が管理するデータベース８４０との間のデータ転送は、各種の方式を利用して行うことができ、例えばＦＴＰなどのファイル転送プロトコルを使用することもできる。しかしながら、図７に示した実施形態では、電子情報ボード８１０の管理するデータベース８４０を登録するハードディスクドライブや着脱可能なＵＳＢメモリなどをＰＣ８２０の拡張ドライブとして認識させることで、ＰＣ８２０が含むメモリアクセスインタフェースをそのまま利用してアクセスすることでもよい。この際、データベース８４０は、複数の参加者に対して共有可能に設定されていることが必要である。 The PC 820 and the electronic information board 810 include a line 822 for displaying an image on the electronic information board 810 in a format such as VGA, and a USB for transmitting and receiving data between the electronic information board 810 and the PC 820. Are interconnected by a bus line 824. Data transfer between the PC 820 and the database 840 managed by the electronic information board 810 can be performed using various methods. For example, a file transfer protocol such as FTP can also be used. However, in the embodiment shown in FIG. 7, a hard disk drive that registers the database 840 managed by the electronic information board 810, a removable USB memory, and the like are recognized as an expansion drive of the PC 820, so that the memory access interface included in the PC 820 is included. It may be accessed as it is. At this time, the database 840 needs to be set so that it can be shared with a plurality of participants.
参加者Ｂは、会議に参加した時点で、電子情報ボード８１０にアクセスし、それまでの会議の進行に係る画像データを検索して、ＰＣ８２０のデスクトップ画面上に表示させる。画像データの検索は、例えば図５に示した表示ウィザードを開き、電子情報ボード８１０のアドレスを指定してデータベース８４０から検索することにより行われる、画像データの表示は、検索された画像データをＰＣ８２０が取得することにより行われる。 When the participant B joins the conference, the participant B accesses the electronic information board 810, searches for image data related to the progress of the conference so far, and displays the image data on the desktop screen of the PC 820. The image data search is performed by, for example, opening the display wizard shown in FIG. 5 and specifying the address of the electronic information board 810 to search the database 840. The image data display is performed by using the searched image data as the PC 820. Is done by acquiring.
図８は、図７に示した画像表示システム８００の機能ブロックを示す。図８に示した機能ブロックは、図２に示したと同様の機能を提供するものである。しかしながら、画像表示システム８００では、電子情報ボード８１０がスナップショットログ８４２およびメタデータを管理するため、モード情報取得部９１４、データ作成部９１６、ユーザ情報取得部９１８およびメタデータ作成部９２０が電子情報ボード８１０側に実装される。また、図２に示した座標出力部１１８および座標入力部１４４は、座標以外の入出力を行うことが必要になるため、データＩ／Ｏ部９２４、９３２としてそれぞれ記述されていて、例えば汎用のＵＳＢインタフェースに置換されている。説明する実施形態では、ＰＣ８２０がホストとして、電子情報ボード８１０がデバイスとして機能する。 FIG. 8 shows functional blocks of the image display system 800 shown in FIG. The functional block shown in FIG. 8 provides the same function as shown in FIG. However, in the image display system 800, since the electronic information board 810 manages the snapshot log 842 and metadata, the mode information acquisition unit 914, the data creation unit 916, the user information acquisition unit 918, and the metadata creation unit 920 include the electronic information. It is mounted on the board 810 side. Also, the coordinate output unit 118 and the coordinate input unit 144 shown in FIG. 2 are described as data I / O units 924 and 932, respectively, because it is necessary to perform input / output other than the coordinates. It has been replaced with a USB interface. In the embodiment to be described, the PC 820 functions as a host and the electronic information board 810 functions as a device.
電子情報ボード８１０は、図２で説明したと同様の機能を有するイベントハンドラ９２６を備えており、イベントハンドラ９２６は、ＰＣ８２０または電子情報ボード８１０からの特定のイベントが発生すると、当該イベントを認識し、画像データを生成し、メタデータ作成部９２０がメタデータを生成するための各種情報をＰＣ８２０および電子情報ボード８１０自体の適切な機能処理部から回収してメタデータを作成し、データベース８４０に画像データとともに格納する。 The electronic information board 810 includes an event handler 926 having the same function as that described with reference to FIG. 2. When the specific event from the PC 820 or the electronic information board 810 occurs, the event handler 926 recognizes the event. The image data is generated, and various information for the metadata generation unit 920 to generate the metadata is collected from the appropriate function processing unit of the PC 820 and the electronic information board 810 itself to generate the metadata, and the image is stored in the database 840. Store with data.
一方、ＰＣ８２０は、自己が表示させるべき資料データ、手書データおよびＷＢデータを分離して管理し、会議の進行に対応してＰＣ８２０から参加者が電子情報ボード８１０に提供して共有させたデータの一部を分離して管理する。 On the other hand, the PC 820 separates and manages the document data, handwritten data, and WB data to be displayed by itself, and the data provided by the participants from the PC 820 to the electronic information board 810 and shared in accordance with the progress of the conference. To manage a part of
図９は、画像表示システム８００が実行する画像表示方法のフローチャートを示す。図９の処理は、ステップＳ１０００で、電子情報ボード８１０を使用する参加者Ｂが電子情報ボード８１０を操作している状況から開始する。この理由は説明する実施形態では、ＰＣ８２０は、すでに始まっている会議に途中から参加するためである。ステップＳ１００１で電子情報ボード８１０が所定のイベントを生成し、ステップＳ１００２で当該イベントを例えばイベントハンドラといったイベントハンドラが検出する。一方、ＰＣ８２０も例えば他の参加者Ａによりイベントを生成することができ、当該イベントは、本実施形態では、ステップＳ１０１３において、参加者ＢがＰＣ８２０上で特定のイベント、例えばマウスクリックやタッチパネルに触れるなどのイベントを生成することにより開始され、ステップＳ１０１４で、当該タッチに対応するイベントが生成される。 FIG. 9 shows a flowchart of an image display method executed by the image display system 800. The process of FIG. 9 starts from a situation where the participant B who uses the electronic information board 810 is operating the electronic information board 810 in step S1000. This is because, in the described embodiment, the PC 820 participates in a meeting that has already started. In step S1001, the electronic information board 810 generates a predetermined event, and in step S1002, the event is detected by an event handler such as an event handler. On the other hand, the PC 820 can also generate an event, for example, by another participant A, and in this embodiment, the event touches a specific event such as a mouse click or a touch panel on the PC 820 in step S1013. The event corresponding to the touch is generated in step S1014.
生成されたイベントは、電子情報ボード８２０のイベントハンドラに送付され、ステップＳ１００２でイベント受信として処理される。電子情報ボード８１０のイベントハンドラは、第１の実施形態と同様に、ＰＣ８２０および電子情報ボード８１０からのイベントをその操作モード状態に応答していずれか一方または両方を統合して処理する。電子情報ボード８１０は、ステップＳ１００３で、現在ＰＣ８２０が実行している操作モードを識別するためのモード情報をＰＣ８２０に対して要求し、ＰＣ８２０は、ステップＳ１０１５で当該モード情報要求を受信し、現在のモード情報を、適切なランタイムデータを格納するメモリから取得し、ステップＳ１０１６で電子情報ボード８１０にモード情報通知として送信する。電子情報ボード８１０は、ステップＳ１００４でモード情報を取得する。 The generated event is sent to the event handler of the electronic information board 820, and is processed as event reception in step S1002. Similar to the first embodiment, the event handler of the electronic information board 810 processes events from the PC 820 and the electronic information board 810 by integrating either or both in response to the operation mode state. In step S1003, the electronic information board 810 requests mode information for identifying the operation mode currently being executed by the PC 820 to the PC 820. The PC 820 receives the mode information request in step S1015, and receives the current mode information request. The mode information is acquired from a memory storing appropriate runtime data, and is transmitted as a mode information notification to the electronic information board 810 in step S1016. The electronic information board 810 acquires mode information in step S1004.
ステップＳ１００５で、取得したモード情報についてＰＣモード、手書モード、またはＷＢモードのいずれか、またはそれ以外かの判断を行う。ステップＳ１００５の判断でモード情報が、ＰＣ、手書、ＷＢモードのいずれでもない場合（ｎｏ）、処理をステップＳ１０１９に進め、一連の処理を終了する。また、ステップＳ１００５で、ＰＣ、手書、ＷＢモードのいずれかと判断された場合（ｙｅｓ）、ステップＳ１００６でイベントが図３に関連して説明した所定のイベントであるか否かを判断する。 In step S1005, it is determined whether the acquired mode information is a PC mode, a handwriting mode, a WB mode, or any other mode. If it is determined in step S1005 that the mode information is not PC, handwriting, or WB mode (no), the process proceeds to step S1019, and the series of processes ends. If it is determined in step S1005 that the PC, handwriting, or WB mode is selected (yes), it is determined in step S1006 whether or not the event is the predetermined event described with reference to FIG.
ステップＳ１００６で、所定のイベントではない場合（ｎｏ）、制御をステップＳ１０１９に渡し、処理を終了する。一方、ステップＳ１００６でイベントが所定のイベントである場合（ｙｅｓ）処理をステップＳ１００７およびステップＳ１００９に分岐させ、スナップショットの生成とメタデータの生成を並列的に実行する。 If it is not a predetermined event in step S1006 (no), control is passed to step S1019, and the process ends. On the other hand, if the event is a predetermined event in step S1006 (yes), the process is branched to step S1007 and step S1009, and the generation of the snapshot and the generation of the metadata are executed in parallel.
ステップＳ１００７、ステップＳ１００８、ステップＳ１０１１、ステップ１０１２の処理は、処理主体がＰＣ１４０から電子情報ボード８１０に変わっただけで同様の処理が利用されるので、本実施形態では詳細な説明は省略する。電子情報ボード８１０は、ステップＳ１００９でＰＣ８２０に対して参加者Ｂのユーザ情報を要求し、ステップＳ１０１７でＰＣ８２０が当該ユーザ情報要求を受領して、ステップＳ１０１８では、ＰＣ８２０は、自己のユーザ情報を電子情報ボード８１０に送付する。ステップＳ１０１０で電子情報ボード８１０は、ＰＣ８２０のユーザ情報を取得し、ステップＳ１０１１におけるメタデータ生成のために利用することで、電子情報ボード８１０がメタデータを生成することが可能となる。 Since the processing of step S1007, step S1008, step S1011, and step 1012 is the same as the processing subject is changed from the PC 140 to the electronic information board 810, detailed description is omitted in this embodiment. The electronic information board 810 requests the user information of the participant B from the PC 820 in step S1009, and the PC 820 receives the user information request in step S1017. In step S1018, the PC 820 electronically transmits its user information. Send to information board 810. In step S1010, the electronic information board 810 obtains user information of the PC 820 and uses it for generating metadata in step S1011. Thus, the electronic information board 810 can generate metadata.
図１０は、本実施形態で、ＰＣ８２０のデスクトップ画面上に表示される表示ウィザード１１００および表示される画像シーケンス１１２０を示す。図１０に示した実施形態では、参加者Ｂは、表示ウィザード１１００をデスクトップ画面上に表示させ、プルダウンリスト１１０２、１１０４で、全スナップショットの表示を要求し、再生開始のアイコン１１１２をクリックすると、全部のイメージが電子情報ボード８１０およびＰＣ８２０から検索されて、表示領域１１１０に時間経過に対応して表示され、画像シーケンス１１２０として提供される。画像データなどを含むイメージの検索は、電子情報ボード８１０およびＰＣ８２０をその順に行うことができるが、この理由は、説明する実施形態ではより以前の会議に関連するデータは、電子情報ボード８１０が保有しているためである。 FIG. 10 shows a display wizard 1100 displayed on the desktop screen of the PC 820 and an image sequence 1120 displayed in the present embodiment. In the embodiment shown in FIG. 10, the participant B displays the display wizard 1100 on the desktop screen, requests display of all snapshots in the pull-down lists 1102 and 1104, and clicks the playback start icon 1112. All the images are retrieved from the electronic information board 810 and the PC 820, displayed in the display area 1110 corresponding to the passage of time, and provided as an image sequence 1120. Searching for an image including image data and the like can be performed in that order on the electronic information board 810 and the PC 820 because the electronic information board 810 retains data related to earlier meetings in the described embodiment. It is because it is doing.
さらに説明する実施形態では他の画像シーケンスを表示させることができる。図１１は、参加者を指定し、特定の参加者が会議において行った電子情報ボード８１０を利用したプレゼンテーションシーンを画像シーケンスとして表示させる実施形態である。図１１に示す表示ウィザード１２００では、プルダウンリスト１２０２でＷＢモードとしてメタデータに登録されたイメージが指定され、またプルダウンリスト１２０４では、参加者Ｂに関連するデータが指定されている。 In further described embodiments, other image sequences can be displayed. FIG. 11 shows an embodiment in which a participant is designated and a presentation scene using an electronic information board 810 performed by a specific participant in a meeting is displayed as an image sequence. In the display wizard 1200 shown in FIG. 11, an image registered as metadata in the WB mode is specified in the pull-down list 1202, and data related to the participant B is specified in the pull-down list 1204.
この指定を行った後、参加者Ｂがアイコン１２１２をクリックすると、参加者Ｂが行ったプレゼンテーションのシーンが表示領域１２１０にプレゼンテーションシーン１２２０として再生表示される。 After the designation, when the participant B clicks the icon 1212, the scene of the presentation performed by the participant B is reproduced and displayed as a presentation scene 1220 in the display area 1210.
図１２は、第３の実施形態の画像表示システム１３００を示す。図１２に示した実施形態は、スナップショットログおよび議事録の共用性をさらに高める目的で電子情報ボードをネットワーク接続し、複数のＰＣに対して電子情報ボード、スナップショットログ、議事録を共用させる実施形態である。図１２に示した画像表示システム１３００は、電子情報ボード１３１０と、複数のＰＣ１３５０ａ〜１３５０ｃと、議事録サーバ１３３０と、ユーザ情報サーバ１３６０とを含んで構成されており、これらの各ノードは、イーサネット（登録商標）などによりネットワーク１３８０を介して相互接続されている。 FIG. 12 shows an image display system 1300 of the third embodiment. In the embodiment shown in FIG. 12, the electronic information board is connected to the network for the purpose of further improving the sharability of the snapshot log and the minutes, and the electronic information board, the snapshot log, and the minutes are shared by a plurality of PCs. It is an embodiment. The image display system 1300 illustrated in FIG. 12 includes an electronic information board 1310, a plurality of PCs 1350a to 1350c, a minutes server 1330, and a user information server 1360. (Registered trademark) or the like via a network 1380.
図１２に示す実施形態では、ＰＣ１３５０ａ〜１３５０ｃは、それぞれの参加者がそのプレゼンテーションのために使用する資料データＡ〜Ｃのみを例えばハードディスクドライブや、ＵＳＢメモリなどの記憶装置に保管し、ユーザ情報は、ユーザ情報サーバ１３６０が管理するユーザ情報データベース１３７０に、電子情報ボード１３１０は、手書データ１３２２、スナップショットログ１３２４、ＷＢデータ１３２６、メタデータ１３２８をデータベース１３２０に登録し、議事録は、で議事録サーバ１３３０が管理するデータベース１３４０にそれぞれ登録されている。 In the embodiment shown in FIG. 12, the PCs 1350a to 1350c store only the material data A to C used by the participants for the presentation in a storage device such as a hard disk drive or a USB memory, and the user information is In the user information database 1370 managed by the user information server 1360, the electronic information board 1310 registers the handwritten data 1322, the snapshot log 1324, the WB data 1326, and the metadata 1328 in the database 1320. Each of them is registered in the database 1340 managed by the recording server 1330.
図１２に示した実施形態では、電子情報ボード１３１０がユーザを特定せず、電子情報ボード１３１０には、ユーザ情報データベース１３７０による認証を経た後にアクセスするアクセス認証プロセスが追加される。このアクセス認証プロセスは、ＰＣ１３５０ａ〜１３５０ｃに実装される画面共有部により行われる。なお、図１２に示した実施形態では、ＰＣ１３５０ａ〜１３５０ｃは、各サーバ１３３０、１３６０、および電子情報ボード１３１０のＩＰアドレスやドメインネームなどのネットワークデータを、例えば、議事録サーバ１３３０などに問い合わせて取得することができる。 In the embodiment shown in FIG. 12, the electronic information board 1310 does not specify a user, and an access authentication process is added to the electronic information board 1310 after accessing the user information database 1370. This access authentication process is performed by a screen sharing unit installed in the PCs 1350a to 1350c. In the embodiment shown in FIG. 12, the PCs 1350a to 1350c obtain the network data such as the IP addresses and domain names of the servers 1330 and 1360 and the electronic information board 1310 by inquiring the minutes server 1330, for example. can do.
さらに、図１２に示した画像表示システム１３００では、資料データＡなどの送付は、電子情報ボード１３１０に対してＦＴＰまたはＨＴＴＰなどのファイル転送プロトコルを利用してアップロードすることにより行うことができ、電子情報ボード１３１０は、資料データのアップロードに成功した場合、受領した資料データを、ＰＣ１３５０ａからの指令に応じて頁送り・頁戻し、または共有させるべき資料の頁の送信を実行させることで共有させることができる。 Further, in the image display system 1300 shown in FIG. 12, the document data A and the like can be sent to the electronic information board 1310 by uploading using a file transfer protocol such as FTP or HTTP. When the information board 1310 succeeds in uploading the document data, the information board 1310 is made to share the received document data by executing page feed, page return, or transmission of the page of the document to be shared in accordance with a command from the PC 1350a. Can do.
図１３は、図１２に示した画像表示システム１３００の機能ブロック図を、電子情報ボード１３１０および特定のＰＣ１３５０ａについて例示的に示す。他のＰＣ１３５０ｂ〜１３５０ｃも同様の構成が備えられている。図１３に示した実施形態では、図２および図７に示した各機能部のほとんどが、電子情報ボード１３１０側に集約されており、電子情報ボード１３１０とＰＣ１３５０ａとの間は、それぞれネットワークインタフェースカード（ＮＩＣ）といった通信部１４３０、１４４０により接続されている。電子情報ボード１３１０が含む機能は、図２および図７で説明したと同様の機能部から構成されているので、以下、ＰＣ１３５０ａの構成について説明する。 FIG. 13 exemplarily shows a functional block diagram of the image display system 1300 shown in FIG. 12 for the electronic information board 1310 and a specific PC 1350a. The other PCs 1350b to 1350c have the same configuration. In the embodiment shown in FIG. 13, most of the functional units shown in FIGS. 2 and 7 are concentrated on the electronic information board 1310 side, and a network interface card is provided between the electronic information board 1310 and the PC 1350a. (NIC) are connected by communication units 1430 and 1440. Since the functions included in the electronic information board 1310 are configured by the same functional units as described in FIGS. 2 and 7, the configuration of the PC 1350a will be described below.
ＰＣ１３５０ａは、通信部１４４０と、資料再生部１４５０と、画面共有部１４６０と、画面再生部１４７０とを含んで構成されており、さらに、ＰＣ１３５０ａを利用してプレゼンテーションを行うため、資料データＡが記憶装置１４８０に保管されている。資料再生部１４５０は、電子情報ボード１３１０に表示させるべき資料データＡを作成したアプリケーションまたは当該データにアクセスすることができる適切なビュワーとして構成することができ、市販のアプリケーションソフトウェアの他、フリーウェアやシェアウェアなどいかなるものでも利用することができる。 The PC 1350a includes a communication unit 1440, a material playback unit 1450, a screen sharing unit 1460, and a screen playback unit 1470. Further, since the presentation is performed using the PC 1350a, the material data A is stored. Stored in device 1480. The material reproduction unit 1450 can be configured as an application that created the material data A to be displayed on the electronic information board 1310 or an appropriate viewer that can access the data. Anything such as shareware can be used.
また、画面共有部１４６０は、ＷＢ制御部の機能の他、アクセス認証機能を備えており、ＰＣ１３５０ａのオペレータが、電子情報ボード１３１０にアクセスしようとする場合、ユーザ情報サーバ１３６０にアクセスしてユーザ情報のアクセス権限を検証し、ＰＣ１３５０ａによる電子情報ボード１３１０へのアクセスを制御する。その他の機能は、上述したようにすでに説明した第１の実施形態および第２の実施形態で説明したＷＢ制御部の機能を継承している。 The screen sharing unit 1460 has an access authentication function in addition to the function of the WB control unit. When the operator of the PC 1350a tries to access the electronic information board 1310, the screen sharing unit 1460 accesses the user information server 1360 to obtain user information. And the access to the electronic information board 1310 by the PC 1350a is controlled. Other functions are inherited from the functions of the WB control unit described in the first embodiment and the second embodiment as described above.
さらにＰＣ１３５０ａは、画面再生部１４７０を含んでいて、ネットワーク１３８０を介して検索条件を電子情報ボード１３１０に送付して、データベース１３２０を検索し、検索条件にマッチングした画像データを読み出して、デスクトップ画面上に表示させる。 Further, the PC 1350a includes a screen reproduction unit 1470, sends a search condition to the electronic information board 1310 via the network 1380, searches the database 1320, reads out image data matching the search condition, and displays it on the desktop screen. To display.
図１４は、本実施形態の画像表示システム１５００が実行する処理のフローチャートである。図１４の処理は、ステップＳ１５００で、参加者がＰＣ１３５０ａを操作してイベントを生成することから開始する。ステップＳ１５０１でタッチパネルからの所定のイベントを生成すると、ステップＳ１５０２で当該イベントを例えばイベントハンドラといったイベントハンドラが検出する。一方、ＰＣ１３５０ａもイベントを生成することができ、当該イベントは、本実施形態では、ステップＳ１５１４において、参加者ＡがＰＣ１３５０ａにおいてマウスイベントなどを生成することによって行われ、ステップＳ１５１５で所定のイベントが生成されると、イベントがステップＳ１５１２で画面共有部１４６０に送付される。画面共有部１４６０は、ステップＳ１５１３で、受領した当該イベントの内容を電子情報ボード１３１０に送付する。電子情報ボード１３１０は、ステップＳ１５０２でイベントを受信する。 FIG. 14 is a flowchart of processing executed by the image display system 1500 according to the present embodiment. The process in FIG. 14 starts when a participant operates the PC 1350a to generate an event in step S1500. When a predetermined event is generated from the touch panel in step S1501, an event handler such as an event handler detects the event in step S1502. On the other hand, the PC 1350a can also generate an event, and in this embodiment, the event is generated by the participant A generating a mouse event or the like in the PC 1350a in step S1514, and a predetermined event is generated in step S1515. Then, the event is sent to the screen sharing unit 1460 in step S1512. In step S1513, the screen sharing unit 1460 sends the received content of the event to the electronic information board 1310. The electronic information board 1310 receives the event in step S1502.
受信されたイベントは、電子情報ボード１３１０からのものかまたはＰＣ１３５０ａからのイベントかにかかわらず、電子情報ボード１３１０のイベントハンドラに送付され、受信イベントとして処理される。電子情報ボード１３１０のイベントハンドラは、ステップＳ１５０３でイベントを受領すると、ステップＳ１５０４で、取得したモード情報についてＰＣモード、手書モード、またはＷＢモードのいずれか、またはそれ以外かの判断を行う。ステップＳ１５０４の判断でモード情報が、ＰＣ、手書、ＷＢモードのいずれでもない場合（ｎｏ）、処理をステップＳ１５０８に進め、一連の処理を終了する。また、ステップＳ１５０４で、ＰＣ、手書、ＷＢモードのいずれかと判断された場合（ｙｅｓ）、ステップＳ１５０５でイベントが所定のイベントであるか否かを判断する。所定のイベントとしては、上述した実施形態と同様に、一連の操作が終了したことを示す、「Ｃｌｉｃｋ」か、または「Ｅｎｔｅｒ」などを割り当てておくことができる。 The received event is sent to the event handler of the electronic information board 1310 regardless of whether it is from the electronic information board 1310 or the PC 1350a, and is processed as a received event. When the event handler of the electronic information board 1310 receives the event in step S1503, in step S1504, the event handler determines whether the acquired mode information is the PC mode, the handwriting mode, the WB mode, or any other mode. If it is determined in step S1504 that the mode information is not PC, handwriting, or WB mode (no), the process proceeds to step S1508, and the series of processes ends. If it is determined in step S1504 that the PC, handwriting, or WB mode is selected (yes), it is determined in step S1505 whether the event is a predetermined event. As the predetermined event, as in the above-described embodiment, “Click” or “Enter” indicating that a series of operations has ended can be assigned.
ステップＳ１５０５で、所定のイベントではない場合（ｎｏ）、制御をステップＳ１５０８に渡し、処理を終了する。一方、ステップＳ１５０５でイベントが所定のイベントである場合（ｙｅｓ）、処理をステップＳ１５０６およびステップＳ１５０９に分岐させ、スナップショットの生成とメタデータの生成を並列的に実行し、以後、図３および図９で説明した処理によって、画像データおよびメタデータを生成し、スナップショットログおよびメタデータとして保存し、ステップＳ１５０８で一連の処理を終了する。 If it is not a predetermined event in step S1505 (no), control is passed to step S1508, and the process ends. On the other hand, if the event is a predetermined event in step S1505 (yes), the process branches to step S1506 and step S1509, and snapshot generation and metadata generation are executed in parallel. Image data and metadata are generated by the processing described in 9 and stored as a snapshot log and metadata, and a series of processing ends in step S1508.
図１５は、本実施形態の画像表示システム１３００のＰＣ１３５０ａが表示する表示ウィザード１６００および画像シーケンスの実施形態を示す。表示ウィザード１６００には、プルダウンリスト１６０２、１６０４、１６０６が形成されており、プルダウンリスト１６０２は、画像が生成されたモードを指定するものであり、図１５に示した実施形態ではすべてのモードが指定されている。また、プルダウンリスト１６０６は、参加者を指定するために設けられていて、図１５の実施形態では、全参加者を検索するように指定されている。また、プルダウンリスト１６０４には、モード情報と参加者とを検索する際の検索式を指定するための演算子が指定されており、説明する実施形態では、演算子として「ＡＮＤ」が指定されている。演算子は、この他、「ＯＲ」などを指定することができる。 FIG. 15 shows an embodiment of a display wizard 1600 and an image sequence displayed by the PC 1350a of the image display system 1300 of this embodiment. In the display wizard 1600, pull-down lists 1602, 1604, and 1606 are formed. The pull-down list 1602 specifies a mode in which an image is generated. In the embodiment shown in FIG. 15, all modes are specified. Has been. The pull-down list 1606 is provided for designating participants. In the embodiment of FIG. 15, the pull-down list 1606 is designated to search for all participants. In the pull-down list 1604, an operator for specifying a search expression for searching mode information and participants is specified. In the embodiment to be described, “AND” is specified as the operator. Yes. In addition, “OR” or the like can be specified as the operator.
プルダウンリスト１６０２〜１６０６までの指定が終了した後、アイコン１６１２をクリックすることで、検索が開始され、検索されたイメージがＰＣ１３５０ａにバッファリングされ、表示切り替え期間の間表示領域１６１０に表示され、画像のレビューが可能とされる。なお、イメージ再生を止めたい場合、アイコン１６１２を再度クリックすることで、任意の時間だけ表示されている画像をレビューすることができる。以上の処理によって画像シーケンス１６２０が順に表示領域１６１０に表示される。 After the designation from the pull-down list 1602 to 1606 is completed, the search is started by clicking the icon 1612. The searched image is buffered in the PC 1350a and displayed in the display area 1610 during the display switching period. Review is possible. When it is desired to stop the image reproduction, the image displayed for an arbitrary time can be reviewed by clicking the icon 1612 again. The image sequence 1620 is sequentially displayed in the display area 1610 by the above processing.
図１６は、本実施形態により形成される画像シーケンスの他の実施形態である。図１６に示した実施形態は、図１５に示した画像シーケンスから、参加者Ｂが関連している画像をすべて抽出するべく表示ウィザード１７００から検索条件を設定し、検索の結果表示領域１７１０に表示される。画像シーケンス１７２０は、検索条件に一致した画像を、時系列順に表示しており、参加者Ｂの会議における活動を追跡しやすくしているのがわかる。なお、画像シーケンス１７２０で途中で抜けている位置は、表示を行わないことを示しているわけではなく、検索されたかった画像が存在することを示すものであり、再生プロセス上では、画像シーケンス１７２０は、途切れる来なく再生されることになる。 FIG. 16 shows another embodiment of the image sequence formed according to this embodiment. In the embodiment shown in FIG. 16, search conditions are set from the display wizard 1700 to extract all the images related to the participant B from the image sequence shown in FIG. 15, and displayed in the search result display area 1710. Is done. The image sequence 1720 displays images that match the search conditions in chronological order, which makes it easier to track the activities of the participant B in the conference. Note that a missing position in the image sequence 1720 does not indicate that display is not performed, but indicates that there is an image that was desired to be searched. In the reproduction process, the image sequence 1720 Will be played without interruption.
以上、本実施形態によれば、電子上ボードを使用して行われた会議やミーティングのレビュー効率を改善することで、より、効率的な情報の共有化を可能とすることができる画像表示システム、画像表示方法およびプログラムが提供できる。 As described above, according to the present embodiment, an image display system that can share information more efficiently by improving the review efficiency of conferences and meetings held using an electronic board. An image display method and program can be provided.
本実施形態の上記機能は、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｂｅａｎｓ、Ｊａｖａ（登録商標）Ａｐｐｌｅｔ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、Ｐｅｒｌ、Ｒｕｂｙなどのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、プログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 The functions of this embodiment are described in an object-oriented programming language such as C ++, Java (registered trademark), Java (registered trademark) Beans, Java (registered trademark) Applet, Java (registered trademark) Script, Perl, and Ruby. The program can be realized by a program executable by the device, and the program can be stored and distributed in a device-readable recording medium such as a hard disk device, CD-ROM, MO, flexible disk, EEPROM, EPROM, or other device is possible. Can be transmitted over a network in various formats.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and other embodiments, additions, changes, deletions, and the like can be conceived by those skilled in the art. It can be changed, and any aspect is within the scope of the present invention as long as the effects and effects of the present invention are exhibited.
１００ 画像表示システム
１０２ 表示要素
１０４ ライン
１０６ ライン
１０８ イメージ
１１０ 電子情報ボード
１１２ 画面表示部
１１４ ビデオ入力部
１１６ 座標検知部
１１８ 座標出力部
１２０ データベース
１２２ ユーザ情報データ
１２４ 資料データ
１２６ 手書データ
１２８ ＷＢデータ
１３０ スナップショットログ
１３２ メタデータ
１４０ コンピュータ
１４２ ビデオ出力部
１４４ 座標入力部
１４６ 資料再生部
１４８ 手書処理部
１５０ ＷＢ制御部
１５２ モード切替部
１５４ データ作成部
１５６ ユーザ情報取得部
１５８ メタデータ作成部
１６０ 画面再生部
１６２ イベントハンドラ
４００ メタデータ
４０２ メタデータ
４０４ 会議ＩＤ
４０６ 場所
４０８ 日付
４１０ 開始時間
４１２ 終了時間
４１４ 参加者
４１６ 画像コンテナ
４１６ａ 画像データ１
DESCRIPTION OF SYMBOLS 100 Image display system 102 Display element 104 Line 106 Line 108 Image 110 Electronic information board 112 Screen display part 114 Video input part 116 Coordinate detection part 118 Coordinate output part 120 Database 122 User information data 124 Document data 126 Handwriting data 128 WB data 130 Snapshot log 132 Metadata 140 Computer 142 Video output unit 144 Coordinate input unit 146 Material playback unit 148 Handwriting processing unit 150 WB control unit 152 Mode switching unit 154 Data creation unit 156 User information acquisition unit 158 Metadata creation unit 160 Screen playback Section 162 Event handler 400 Metadata 402 Metadata 404 Meeting ID
406 Location 408 Date 410 Start time 412 End time 414 Participant 416 Image container 416a Image data 1
Claims (15)
前記表示要素を備え、表示する画像を共有可能に映像化する電子情報ボード手段と、
前記画像表示システムで発生した所定のイベントに同期して前記表示要素において共有されている画像を画像データとして作成するデータ作成手段と、
前記画像データの作成と並列して前記画像データを索引付ける情報を収集してメタデータを作成するメタデータ作成手段と、
前記メタデータと前記画像データとを検索可能に対応付けて登録するデータベース手段と、
前記画像データを検索するための検索条件を設定可能とし、前記検索条件に一致するメタデータに索引付けされた画像データを検索し、表示領域に再生表示する画面再生手段と
を含む、画像表示システム。 An image display system that displays an image to be shared and displays it on a display element as a shared image,
An electronic information board means comprising the display element and visualizing a displayed image in a shareable manner;
Data creation means for creating an image shared in the display element as image data in synchronization with a predetermined event generated in the image display system;
Metadata creation means for collecting information for indexing the image data in parallel with creation of the image data and creating metadata;
Database means for registering the metadata and the image data in association with each other so as to be searchable;
An image display system, comprising: a screen playback unit that can set a search condition for searching for the image data, searches for image data indexed to metadata that matches the search condition, and plays back and displays it in a display area .
共有するべき画像を外部から取得して共有可能に映像化するステップと、
前記画像表示システムで発生した所定のイベントに同期して前記表示要素において共有されている画像を画像データとして作成するステップと、
前記画像データの作成と並列して前記画像データを索引付ける情報を収集してメタデータを作成するステップと、
前記メタデータと前記画像データとを検索可能に対応付けてデータベースに登録するステップと、
前記画像データを検索するための検索条件を設定可能とし、前記検索条件に一致するメタデータに索引付けされた画像データを検索し、表示領域に再生表示するステップと
を含む、画像表示方法。 An image display method executed by an image display system for displaying an image to be shared from outside and displaying it on a display element as a shared image,
Acquiring an image to be shared from outside and converting it into a shareable image;
Creating, as image data, an image shared in the display element in synchronization with a predetermined event occurring in the image display system;
Collecting metadata for indexing the image data in parallel with the creation of the image data to create metadata;
Registering the metadata and the image data in a database in association with each other in a searchable manner;
A method for displaying image data, comprising: setting search conditions for searching for the image data; searching image data indexed to metadata matching the search conditions; and reproducing and displaying in the display area.
前記表示領域に再生表示するステップは、前記操作モードの識別情報および前記作成主体情報から生成される検索条件を使用して前記メタデータを検索するステップと、
前記検索されたメタデータに紐付けられた画像データを時系列的にソーティングして再生表示するステップと
を含む、請求項請求項９または１０のいずれか１項に記載の画像表示方法。 The metadata includes meeting information for designating a meeting in which the shared image is created, operation mode identification information for generating each image to be image data, time information, and a subject who created the image. Including authoring entity information to identify,
Replaying and displaying in the display area includes searching the metadata using a search condition generated from the identification information of the operation mode and the creation subject information;
The image display method according to claim 9, further comprising a step of sorting and reproducing and displaying the image data associated with the searched metadata in time series.
表示要素を備え、表示する画像を共有可能に映像化する電子情報ボード手段に表示する機能手段、
前記コンピュータまたは前記電子情報ボードで発生した所定のイベントに同期して前記表示要素において共有されている画像から作成された画像データを検索するための検索条件を設定する機能手段、
前記検索条件で、前記画像データの作成と並列して前記画像データを索引付ける情報を収集して作成され、データベースに前記画像データとを検索可能に対応付けて登録されたメタデータを検索する機能手段、
前記検索条件に一致するメタデータで索引付けされた画像データを検索し、前記コンピュータの表示領域に時系列的に並べて再生表示する機能手段
として機能させる、プログラム。 A computer-executable program for causing a computer to function as a front-end terminal for retrieving image data generated from a shared image, the program comprising:
Functional means for displaying on an electronic information board means that includes a display element and visualizes an image to be displayed in a shareable manner;
Functional means for setting a search condition for searching for image data created from an image shared in the display element in synchronization with a predetermined event generated in the computer or the electronic information board;
A function of searching for metadata that is created by collecting information for indexing the image data in parallel with the creation of the image data and registered in the database in association with the image data so as to be searchable under the search condition means,
A program that searches for image data indexed with metadata that matches the search condition, and that functions as functional means for reproducing and displaying the image data side by side in the display area of the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010198541A JP2012058799A (en) | 2010-09-06 | 2010-09-06 | Image display system, image display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010198541A JP2012058799A (en) | 2010-09-06 | 2010-09-06 | Image display system, image display method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012058799A true JP2012058799A (en) | 2012-03-22 |
Family
ID=46055877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010198541A Pending JP2012058799A (en) | 2010-09-06 | 2010-09-06 | Image display system, image display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012058799A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5270018B1 (en) * | 2012-05-11 | 2013-08-21 | 株式会社東芝 | System and handwritten document management method |
| JP2013210957A (en) * | 2012-03-30 | 2013-10-10 | Ricoh Co Ltd | Image processing device |
| CN103455483A (en) * | 2012-05-28 | 2013-12-18 | 深圳市腾讯计算机系统有限公司 | Collecting and processing method and system for on-site search data |
| JP2014044706A (en) * | 2012-08-01 | 2014-03-13 | Ricoh Co Ltd | Image processing apparatus, program, and image processing system |
| JP2014085998A (en) * | 2012-10-26 | 2014-05-12 | Univ Of Yamanashi | Electronic note creation support device and program for electronic note creation support device |
| JP2014194743A (en) * | 2013-03-01 | 2014-10-09 | Ricoh Co Ltd | Image processing apparatus, image processing system, image processing method, and program |
| JP2015069284A (en) * | 2013-09-27 | 2015-04-13 | 株式会社リコー | Image processing apparatus |
| WO2016024329A1 (en) * | 2014-08-12 | 2016-02-18 | 株式会社 東芝 | System and method for sharing handwriting information |
| JP2016192242A (en) * | 2013-03-01 | 2016-11-10 | 株式会社リコー | Electronic information board, image processing method, and program |
| EP3177008A1 (en) * | 2015-12-01 | 2017-06-07 | Ricoh Company, Ltd. | Communication terminal, communication system, communication control method, and carrier means |
| JP2017102968A (en) * | 2013-11-19 | 2017-06-08 | 株式会社ワコム | Method for sharing digital ink |
| EP2696261A3 (en) * | 2012-08-09 | 2017-06-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and computer program product |
| JP2019192229A (en) * | 2018-04-20 | 2019-10-31 | 株式会社リコー | Communication terminal, management system, display method, and program |
| US11416202B2 (en) | 2019-08-19 | 2022-08-16 | Ricoh Company, Ltd. | Communication terminal, communication system, method of sharing data, and recording medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165577A (en) * | 1998-11-30 | 2000-06-16 | Ricoh Co Ltd | Conference aid system |
| JP2004199408A (en) * | 2002-12-18 | 2004-07-15 | Fuji Xerox Co Ltd | Method for processing document, method for display processing of information, system for display processing of information, management server, client terminal, and program |
| JP2010165178A (en) * | 2009-01-15 | 2010-07-29 | Konica Minolta Holdings Inc | Information processing method and information processor |
-
2010
- 2010-09-06 JP JP2010198541A patent/JP2012058799A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165577A (en) * | 1998-11-30 | 2000-06-16 | Ricoh Co Ltd | Conference aid system |
| JP2004199408A (en) * | 2002-12-18 | 2004-07-15 | Fuji Xerox Co Ltd | Method for processing document, method for display processing of information, system for display processing of information, management server, client terminal, and program |
| JP2010165178A (en) * | 2009-01-15 | 2010-07-29 | Konica Minolta Holdings Inc | Information processing method and information processor |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013210957A (en) * | 2012-03-30 | 2013-10-10 | Ricoh Co Ltd | Image processing device |
| JP5270018B1 (en) * | 2012-05-11 | 2013-08-21 | 株式会社東芝 | System and handwritten document management method |
| CN103455483A (en) * | 2012-05-28 | 2013-12-18 | 深圳市腾讯计算机系统有限公司 | Collecting and processing method and system for on-site search data |
| JP2014044706A (en) * | 2012-08-01 | 2014-03-13 | Ricoh Co Ltd | Image processing apparatus, program, and image processing system |
| EP2696261A3 (en) * | 2012-08-09 | 2017-06-28 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image processing method, and computer program product |
| JP2014085998A (en) * | 2012-10-26 | 2014-05-12 | Univ Of Yamanashi | Electronic note creation support device and program for electronic note creation support device |
| JP2014194743A (en) * | 2013-03-01 | 2014-10-09 | Ricoh Co Ltd | Image processing apparatus, image processing system, image processing method, and program |
| JP2016192242A (en) * | 2013-03-01 | 2016-11-10 | 株式会社リコー | Electronic information board, image processing method, and program |
| JP2015069284A (en) * | 2013-09-27 | 2015-04-13 | 株式会社リコー | Image processing apparatus |
| US11023127B2 (en) | 2013-11-19 | 2021-06-01 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US11042292B2 (en) | 2013-11-19 | 2021-06-22 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| JP2017102968A (en) * | 2013-11-19 | 2017-06-08 | 株式会社ワコム | Method for sharing digital ink |
| US11747976B2 (en) | 2013-11-19 | 2023-09-05 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US11188223B2 (en) | 2013-11-19 | 2021-11-30 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10078445B2 (en) | 2013-11-19 | 2018-09-18 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10191653B2 (en) | 2013-11-19 | 2019-01-29 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10331338B2 (en) | 2013-11-19 | 2019-06-25 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10409484B2 (en) | 2013-11-19 | 2019-09-10 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US11169696B2 (en) | 2013-11-19 | 2021-11-09 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10534530B2 (en) | 2013-11-19 | 2020-01-14 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| US10768805B2 (en) | 2013-11-19 | 2020-09-08 | Wacom Co., Ltd. | Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication |
| WO2016024329A1 (en) * | 2014-08-12 | 2016-02-18 | 株式会社 東芝 | System and method for sharing handwriting information |
| JPWO2016024329A1 (en) * | 2014-08-12 | 2017-05-25 | 株式会社東芝 | System and method for sharing handwritten information |
| EP3177008A1 (en) * | 2015-12-01 | 2017-06-07 | Ricoh Company, Ltd. | Communication terminal, communication system, communication control method, and carrier means |
| US9959084B2 (en) | 2015-12-01 | 2018-05-01 | Ricoh Company, Ltd. | Communication terminal, communication system, communication control method, and recording medium |
| JP2019192229A (en) * | 2018-04-20 | 2019-10-31 | 株式会社リコー | Communication terminal, management system, display method, and program |
| JP7338214B2 (en) | 2018-04-20 | 2023-09-05 | 株式会社リコー | Communication terminal, management system, display method, and program |
| US11416202B2 (en) | 2019-08-19 | 2022-08-16 | Ricoh Company, Ltd. | Communication terminal, communication system, method of sharing data, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012058799A (en) | Image display system, image display method, and program | |
| US10671245B2 (en) | Collection and control of user activity set data and activity set user interface | |
| JP5542271B2 (en) | Synchronize media files available from multiple sources | |
| JP5005726B2 (en) | Managing media files from multiple sources | |
| US10467230B2 (en) | Collection and control of user activity information and activity user interface | |
| US20190050378A1 (en) | Serializable and serialized interaction representations | |
| US11580088B2 (en) | Creation, management, and transfer of interaction representation sets | |
| US20120109952A1 (en) | System, method, and computer program for remote management of digital content | |
| CN110476162B (en) | Controlling displayed activity information using navigation mnemonics | |
| US20120311538A1 (en) | Capturing Rich Actionable Feedback on Working Software | |
| KR20060051956A (en) | Content management system, content management method and computer program | |
| JP2004112372A (en) | Image processing system | |
| CN115826828B (en) | Network disk file operation method, device, terminal and storage medium | |
| JP4686990B2 (en) | Content processing system, content processing method, and computer program | |
| JP4904697B2 (en) | Information management system | |
| JP7254842B2 (en) | A method, system, and computer-readable recording medium for creating notes for audio files through interaction between an app and a website | |
| JP4326753B2 (en) | Video information indexing support system, program, and storage medium | |
| JP4116513B2 (en) | Video information indexing support apparatus, video information indexing support method, and program | |
| JP4107027B2 (en) | Content distribution system | |
| JP2005208781A (en) | Content management system, content management method and computer program | |
| JP4250662B2 (en) | Digital data editing device | |
| JP4549325B2 (en) | VIDEO INFORMATION INDEXING SUPPORT DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| JP2021026300A (en) | Information processing device and information processing method | |
| JP2010003197A (en) | Information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130813 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140610 |