JP2014120805A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2014120805A
JP2014120805A JP2012272474A JP2012272474A JP2014120805A JP 2014120805 A JP2014120805 A JP 2014120805A JP 2012272474 A JP2012272474 A JP 2012272474A JP 2012272474 A JP2012272474 A JP 2012272474A JP 2014120805 A JP2014120805 A JP 2014120805A
Authority
JP
Japan
Prior art keywords
sticky note
information
area
data
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012272474A
Other languages
English (en)
Inventor
Yusuke Murakami
裕介 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012272474A priority Critical patent/JP2014120805A/ja
Publication of JP2014120805A publication Critical patent/JP2014120805A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報が記載された紙付箋の画像を含む画面を介して情報共有を行うシステムにおいて、紙付箋に直接アクセスできないユーザが、紙付箋にて示された情報の更新ができるようにしたい。
【解決手段】投影装置に接続された情報処理装置であって、前記投影装置によって投影される画像の所定の領域に含まれる情報を取得する手段と、前記投影装置による前記領域の表示制御を行う制御手段と、前記投影装置によって前記領域が投影される位置に示されている情報を取得し、当該取得した情報と前記領域に含まれる情報とが等しいか否かを判定する判定手段と、前記領域に含まれる情報に対する更新を受け付ける手段と、を備え、前記制御手段は、前記領域が投影される位置に示されている情報と前記領域に含まれる情報とが等しく、かつ、受け付けた更新が情報の追加である場合、前記領域に追加された情報のみを前記投影装置にて投影させる。
【選択図】図18

Description

本発明は、スクリーン上に貼付された紙付箋を電子化した電子付箋データの表示を制御する情報処理装置、情報処理方法、およびプログラムに関する。
複数人で新しい知識を創出する方法として、ブレインストーミングと呼ばれる方法が知られている。ブレインストーミングでは、アイデアを1つずつカードに書き込み、それらを共有しながらアイデアを発散させていく。また、これらのアイデアを収束する方法として、KJ法と呼ばれる方法が知られている。KJ法では、アイデアの内容について、内容の近いもの同士を集めて分類するグループ化を繰り返し、グループ間の関係性を整理するという方法である。そして、この作業の中で、アイデアの本質の発見や新たなアイデアの創出が行われる。
ブレインストーミングやKJ法では、前述のカードとして糊付き付箋(ポスト・イット(登録商標)など)を用い、その糊付き付箋をホワイトボードなどに貼りつけて進める方法が良く用いられる。更に、プロジェクタを用いてプレゼンテーション資料などの画像をホワイトボードに投影しながら、そのホワイトボード上で付箋を貼付する場合もある。
特許文献1では、画像が投影されているホワイトボード上に書き込まれた手書きの情報や、ホワイトボード上に貼り付けられた付箋の情報を撮影する技術について開示している。特許文献1では、プロジェクタとデジタルカメラとを連携させ、付加情報(手書きの情報や付箋の情報)を撮影するタイミングで、プロジェクタからの投影画像を非表示にすることにより、付加情報のみが撮影された撮影画像を得ている。そして、撮影直前の投影画像と、当該撮影された撮影画像とを対応付けて記録しておくことで、後で再生を行う際にそれらを合成して表示できるようにしている。
また一方、特許文献2では、端末装置のタッチパネル上で書き込んだ電子データをサーバに送信し、サーバは受信した電子データをディスプレイ上の対応する位置に表示する会議支援システムが開示されている。
特開2006−184333号公報 特開2011−90486号公報
特許文献1では、ホワイトボードに貼り付けられた付箋を撮影して得られる電子データ(撮影画像)を投影画像と関連付けて記録しておくことで、後で記録結果を再生する際には、投影画像と撮影画像とを合成表示できるようにしている。すなわち、特許文献1では、ユーザが再生モードに切り替え、更に再生する投影画像を選択すれば、関連する撮影画像を投影画像に合成して表示させることができる。しかしながら、特許文献1では、撮影画像を再生したい場合、ユーザからの指示が必要であり、ユーザの手間がかかってしまう。これは、例えばブレインストーミングを行っている最中に電子データを再生するような用途には適していない。
また、特許文献2は、タッチパネルから入力された電子データをすぐにディスプレイに表示するものであり、付箋を撮影して得られる撮影画像を表示するようなことについては考慮されていない。
特許文献1および2を組み合わせた場合、付箋を撮影すると、その撮影画像をすぐにホワイトボードに投影することが考えられる。しかしながら、付箋を電子化し、電子データとして表示する事は出来るが、表示された電子データの内容を変更しても、その変更をホワイトボードに貼付中の紙付箋自体に反映する事はできない。従って、例えば遠隔からブレインストーミングに参加しているユーザが、付箋の記載内容を変更して情報共有することはできない。
上記課題を解決するために本願発明は以下の構成を有する。すなわち、投影装置に接続された情報処理装置であって、前記投影装置によって投影される画像の所定の領域に含まれる情報を取得する取得手段と、前記投影装置による前記領域の表示制御を行う制御手段と、前記投影装置によって前記領域が投影される位置に示されている情報を取得し、当該取得した情報と前記領域に含まれる情報とが等しいか否かを判定する判定手段と、前記領域に含まれる情報に対する更新を受け付ける受け付け手段と、を備え、前記制御手段は、前記領域が投影される位置に示されている情報と前記領域に含まれる情報とが等しく、かつ、前記受け付け手段により受け付けた更新が情報の追加である場合、前記領域に追加された情報のみを前記投影装置にて投影させる。
本発明によれば、画面を介して情報共有を行う場合に、貼り付けた付箋に直接アクセスできない例えば遠隔のユーザでも、付箋に対応する情報を更新し、情報共有を容易に行うことができる。
本実施形態における情報処理システムの構成例を示す図。 PC1011の構成を示す図。 タブレットPC1501の構成の一例を示す図。 紙付箋を電子化する処理のフローチャート。 ホワイトボード114での付箋の配置の一例を示す図。 付箋画像抽出処理(S404)の詳細手順を示す図。 電子付箋のデータ構造701を示す図。 紙付箋501の電子付箋データ801の構造を示す図。 タブレットPC151の表示部309にて電子付箋を生成または編集するフローチャート。 タブレットPC151の表示部309での付箋の配置の一例を示す図。 タブレットPC151の表示部309での付箋の配置の一例を示す図。 タブレットPC151の表示部309での付箋の配置の一例を示す図。 タブレットPC151の表示部309での付箋の配置の一例を示す図。 電子付箋1007の電子付箋データ1101の構造を示す図。 電子付箋1001の更新後の電子付箋データ1201の構造を示す図。 電子付箋1001の更新後の電子付箋データ1301の構造を示す図。 電子付箋501の更新後の電子付箋データ1401の構造を示す図。 実施例1に係る電子付箋を表示する処理のフローチャート。 実施例1に係る定義された上余白領域1601を示す図。 実施例1に係る定義された下余白領域1602を示す図。 実施例1に係る付箋を剥離する旨の警告を表示している状態を示す図。 サーバPC101における動作を示すフローチャート。 プロセス間での情報の授受のタイミングを示すシーケンス図。 実施例2に係る電子付箋を表示する処理のフローチャート。 実施例2に係る定義された付箋上領域を示す図。 実施例2に係る定義された付箋下領域を示す図。
<実施例1>
[システム構成]
図1は、本実施形態における情報処理システムの構成例を示す図である。サーバPC101は、ネットワーク102上に設置され、会議室110のPC111や、タブレットPC151と接続される。PC111は、サーバPC101とデータのやり取りを行う。これにより、サーバPC101を介して、タブレットPC151へデータを提供したり、逆に提供を受けたりする。またPC111は、表示装置115での表示を制御する。なお、図1の構成例では、サーバPC101をネットワーク102上に設けているが、これに限るものではなく、PC111がサーバとしての機能を兼用するように構成しても構わない。
会議室110には、表示制御装置としてのPC111、撮影装置としてのデジタルカメラ113、および表示装置115が配置される。表示装置115はさらにプロジェクタ112とホワイトボード114を備え、プロジェクタ112が投影した画像が、ホワイトボード114上に表示される。
タブレットPC151は、会議室110の外でも利用可能で、無線LANルータ152経由でネットワーク102につながっている。もちろん、有線LAN(不図示)でネットワークにつなげても構わない。
会議室110内の装置とタブレットPC151は、ネットワーク102で接続されているサーバPC101を経由して、表示データのやり取りを行う。なお、音声については、周知の技術を用いた既存の電話会議システム、TV会議システム、WEB会議システムなどを利用し、会議における音声のやり取りを行う。これらの音声の通信については、周知の技術を応用すればよく、本実施例では説明を省略する。
なお、本実施形態では、会議室110において糊付き付箋(ポスト・イット(登録商標)など)がホワイトボード114などのスクリーンに貼られた場合を用いて説明するが、本願発明は、糊付き付箋に限るものではない。例えば、文書やカードがテープ等を用いて貼られた場合や、マグネットなどの吸着手段によって貼られた場合も同様に適用することができる。また、付箋や文書やカードの素材は紙に限るものではなく、その他の素材(プラスチックや布など)の媒体であってもよい。
以下の実施形態では、ホワイトボード114(スクリーン)に貼られた付箋や文書を、その素材とは無関係に、紙付箋(または紙文書)と呼ぶこととする。また、その紙付箋に対して撮影やスキャン等を行うことにより電子化した付箋データを電子付箋(または電子文書)と呼んで区別することとする。
図2は、本実施形態におけるPC111の構成例を示す図である。PC111は、CPU201、RAM202、ROM203、キーボードI/F205、ディスプレイI/F206、外部メモリI/F207、および外部I/F208を備え、それらはシステムバス204で接続されている。キーボードI/F205を介して接続されているキーボード209は、ユーザからの各種操作を受け付ける。ディスプレイI/F206にはプロジェクタ112が接続され、PC111はプロジェクタ112を介してホワイトボード114に画像を投影する。ユーザは、プロジェクタ112が投影した画像上に紙付箋を貼り付けることができる。
外部I/F208にはデジタルカメラ113が接続され、PC111はデジタルカメラ113で撮影した紙付箋の画像を取りこんで、電子付箋(付箋データ)を作成することができる。また、本実施形態では、ユーザがキーボード209を用いて入力した電子データも紙付箋の画像から作成した電子付箋と同等に扱うこととし、それらを混在させてプロジェクタ112で表示させることができるものとする。
CPU(プロセッサ)201は、PC111全体の制御を行う。CPU201は、ROM203や外部メモリ210などに記憶された本発明を実現するプログラムを、RAM202に読み込み、各種処理を実行する。すなわち、PC111のCPU201は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部(処理手段)として機能する。ROM203は、CPU201を起動するためのプログラムを含む各種データを記憶している。RAM202は、ワークメモリとして用いられる。
尚、サーバPC101の構成もPC111と同様である。
図3はタブレットPC151の構成の一例を示す図である。タブレットPC151は、CPU301、RAM302、ROM303、ディスプレイI/F305、外部メモリI/F306、および外部I/F307を備え、それらはシステムバス304で接続されている。さらに、タブレットPC151は、内蔵のカメラである撮像部308を備える。さらに、タブレットPC151は、タッチパネル機能を有する表示部(内蔵ディスプレイ)309を備えている。
CPU301は、タブレットPC151全体の制御を行う。CPU301は、ROM303、RAM302、外部メモリI/F306に接続された外部メモリ(HDDなど)310に記憶された本発明を実現するプログラムを読み込み、各種処理を実行する。ROM303は、CPU301を起動するためのプログラムを含む各種データを記憶している。RAM302は、ワークメモリとして用いられる。
タブレットPC151は、タブレットPC151のディスプレイ(表示部309)を用い、サーバPC101に記憶される仮想の電子ホワイトボードを表示する。もちろん、ディスプレイI/F305を用い、プロジェクタや一般的なモニタにつなぎ、タブレットPC151が備えるディスプレイ以外で表示しても構わない。この仮想の電子ホワイトボードは、現実のホワイトボード114に示された電子付箋および紙付箋の画像およびタブレットPC151にて指示された電子付箋に基づいて作成される画面に相当する。
[PCに係る処理フロー]
次に、本システムの動作について説明する。図4は、本システムにおいて、会議室110のPC111が紙付箋を撮影することで得られる付箋の画像を用いて、電子付箋(付箋データ)を作成して登録したり変更したりする処理のフローチャートである。本フローチャートで示す手順は、そのプログラムがPC111のROM203、RAM202、外部メモリ(HDDなど)210のいずれかに格納され、CPU201により実行される。
ブレインストーミングでは、ユーザがアイデアを紙付箋に書き込み、それらをホワイトボード114に貼り付けて進める。ここでは、まず、図5(A)に、ホワイトボード114に紙付箋503が1枚貼られ、且つ電子付箋502が1枚投影された状態を示す。さらに、図5(A)の状態から新たに紙付箋501が貼付されることで、ホワイトボード114が図5(B)の状態になった想定で説明する。従って、処理が始まる前の段階で既にPC111の記憶装置(外部メモリもしくはRAM)には処理開始前に表示されていた付箋の電子データとして、電子付箋502の電子付箋データと、紙付箋503を電子化した電子付箋データが格納されているものとする。
まずユーザからの撮影要求を検知した際に、PC111のCPU201はS401にてプロジェクタ112に投影を一時的に消すよう指示を出す。これにより、S402での撮影内容に投影されている電子付箋の画像が含まれるのを防止する。続いてCPU201はS402でデジタルカメラ113を用い、ホワイトボード114の画像を撮影する。デジタルカメラ113で撮影されたデータは、PC111の外部I/F208を通して、撮影画像データとしてRAM202に格納される。その後、CPU201はS403でプロジェクタ112に投影を再開するよう指示を出す。
続いて、S404では、撮影画像から紙付箋に対応する付箋画像を抽出し、抽出した付箋画像から電子付箋データを生成する。付箋画像を含む電子付箋のデータ構造に関しては図7を用いて後述する。
図6は、付箋画像抽出処理(S404)の詳細手順を示す図である。PC111のCPU201がプログラムを実行することにより、図6の各処理部602〜606として機能する。なお、各処理部における処理方法は、特に限定するものではなく、一般的な方法を用いて構わない。
デジタルカメラ113で撮影されてPC111のRAM202に格納された撮影画像データ601に対して、CPU201は、まず輪郭抽出部602による輪郭抽出処理と、色判定部603による色判定処理とをそれぞれ行う。輪郭抽出処理では、公知のエッジ抽出や輪郭追跡処理などを行うことにより、撮影画像データ601の画像内に存在するオブジェクトの輪郭(紙付箋の輪郭や、紙付箋に書き込まれた文字画像の輪郭など)を抽出できる。また、色判定処理により、各オブジェクト(紙付箋や文字)の色を抽出できる。
次に、CPU201は付箋領域判定部604による付箋領域判定処理を行う。付箋領域判定処理では、予め想定される紙付箋のサイズ条件を満たす大きさの矩形状の輪郭のオブジェクトの領域を所定の付箋に対応する付箋領域として判定する。このとき、その矩形状の輪郭の内部に文字サイズの輪郭を含むかどうか判定するように構成すれば、より精度よく付箋領域を判定することが可能である。
そして、付箋領域切り出し部605において、CPU201は紙付箋の1枚1枚に対応した付箋領域の部分画像(付箋画像)を切り出す付箋領域切り出し処理を行う。続いて、CPU201はOCR処理部606において、抽出された付箋画像に対してOCR処理を行い付箋内部に記入された文字画像のテキストデータを求める。その後、CPU201は、付箋領域判定部604で得た付箋領域と、OCR処理部606で得たテキストデータとに基づいて、電子付箋データ607を生成する。
図7は、生成された電子付箋のデータ構造701を示す。それぞれの電子付箋が、ヘッダー部702とデータ部703を有する。ヘッダー部702は、ID、貼付時間、貼付状態ON/OFF、貼付場所、付箋領域、および文字画像領域の情報を含む。IDは、各電子付箋を識別するための一意の識別子である。貼付時間は、付箋が貼付された時刻を示す。貼付状態ON/OFFは、電子付箋に対応する紙付箋がある場合に、紙付箋がホワイトボードに貼付されたままの状態であるか剥がされた状態であるかを示す。貼付場所は、付箋の貼付場所を示す。付箋領域は、ホワイトボードにおける付箋領域の位置を示す。文字画像領域は、紙付箋における文字画像領域の付箋に対する相対的な位置を示す。
貼付場所には、紙付箋の取り込みにより作成された場合は紙付箋が貼付された会議室の名前が格納され、携帯端末等により電子付箋が直接作成された場合は携帯端末の名前が格納される。例えば会議室110のホワイトボード114に貼付された紙付箋から作成された電子付箋である場合、貼付場所には“会議室110”が格納される。一方、タブレットPC151を操作する事で作成された電子付箋である場合、貼付場所には“タブレットPC151”が格納される。
貼付状態は、紙付箋の取り込みにより作成された電子付箋で、且つ対応する紙付箋が貼付されている状態である場合は“ON”が格納され、貼付されていない(剥離された)状態である場合は“OFF”が格納される。また、対応する紙付箋が無い場合、即ち携帯端末等により直接作成された電子付箋である場合は“OFF”が格納される。
付箋領域は、ホワイトボード114の左下を原点とした座標系における、付箋の左上、右上、左下、右下それぞれの座標のセットからなる。文字画像領域は、対応する紙付箋において付箋領域の左下を原点とした座標系での、文字画像の左上、右上、左下、右下それぞれの座標のセットからなる。対応する紙付箋が無い場合、即ち携帯端末等により直接作成された電子付箋である場合、文字画像領域の値には全て“null”が格納される。なお、付箋領域の大きさは、予め定義されていてもよいし、入力される文字数に応じて変更されてもよい。また、ユーザが任意に設定できるようにしても構わない。
データ部703は、付箋画像データ、テキストデータ、およびOCRデータを含む。付箋画像データには、付箋領域切り出し部605にて切り出した付箋の画像が格納される。携帯端末等によって直接作成された電子付箋である場合、付箋画像データには“null”が格納される。携帯端末等への入力によって作成された電子付箋であれば、テキストデータは入力されたテキストデータである。一方、紙付箋を撮影する事によって作成した電子付箋であれば、テキストデータはデジタルカメラ113で撮影された画像にOCR処理を施す事によって得られたテキストデータである。OCRデータには、紙付箋を電子化する際、OCR処理部606にて付箋画像から求められたテキストデータが格納される。携帯端末等によって直接作成された電子付箋である場合はOCRデータには“null”が格納される。
電子付箋のデータ構造の具体例を図8に示す。図8は紙付箋501の電子付箋データ801の構造を示す。電子付箋データ801のヘッダー部802の内容は次の通りである。IDは“1”である。貼付時間は“10時0分0秒”である。対応する紙付箋501がホワイトボード114上に貼り付けられたままの状態であるので、貼付状態は“ON”である。貼付場所は“会議室110”である。付箋領域は、付箋の左上が(X1,Y2)、右上が(X2,Y2)、左下が(X1,Y1)、右下が(X2,Y1)である。文字画像領域は、左上が(X3,Y4)、右上が(X4,Y4)、左下が(X3,Y3)、右下が(X4,Y3)である。また、データ部803には、付箋画像データが“data1.jpg”というファイル名で格納されており、OCR処理部606で紙付箋501には「AB」と記載されていると判定された為、テキストデータ、OCRデータ共に「AB」が格納される。
図4のS405では、CPU201は特徴点比較等の公知の画像比較技術を用い、S404で生成した電子付箋それぞれを順に処理対象として、PC111の記憶装置(外部メモリもしくはRAM)に既に登録済みの電子付箋と比較する。そして、CPU201は、同じ付箋画像の電子付箋データが既に登録されているか否かを照合する。S405の照合結果に基づき、S404で抽出した付箋画像が、PC111の記憶装置に格納済みの処理開始前に表示されていた付箋画像と異なると判定した場合は、S406で新たな付箋が追加されたと判定して(S406にてYES)、S407に進む。S407では、CPU201は付箋画像の電子付箋データを、新たな電子付箋データとしてサーバPC101に登録する。
一方、S405の照合結果に基づき、付箋画像がPC111に登録済みの電子付箋データのいずれかと一致すると判定した場合、紙付箋のホワイトボード上の貼付位置が移動された(もしくは一旦剥離された紙付箋が再貼付された)と判定する(S406にてNO)。これによりCPU201は処理をS409に進める。なお、S406において、PC111は、一致すると判定した登録済み電子付箋データの貼付状態が“ON”であった場合、紙付箋のホワイトボード114上の貼付位置が移動されたものと判定する(S406にてNO)。またS406において、一致すると判定した登録済み電子付箋データの貼付状態が“OFF”であった場合、PC111更に、付箋領域を参照する。そして、S404で抽出した付箋の位置が電子付箋の投影位置と異なれば、PC111は一旦剥離された紙付箋が再貼付されたと判定する(S406にてNO)。
S409では、CPU201は、一致すると判定された、サーバPC101に登録済みの電子付箋データを更新する。ここでは、紙付箋が貼付されているホワイトボード114上の位置に基づいて、付箋領域の値が更新される。また、紙付箋の貼付位置が移動されたと判定した場合もしくは紙付箋が再貼付されたと判定した場合は、対応する電子付箋データの貼付状態を“ON”にする。
S408では、CPU201はS404で抽出したすべての付箋画像に対して処理を行ったか否かを判定する。未処理の他の付箋画像があると判定した場合は(S408にてYES)、S405に戻り、CPU201は他の付箋画像への処理を実行する。
S404で抽出した付箋画像全てに対して処理を行ったと判定した場合(S408にてNO)、S410に進み、CPU201は剥離された紙付箋があるか否か判定する。PC111の記憶装置に格納済みの処理開始前に表示されていた付箋のうち、貼付状態が“ON”であるにも関わらず、S405の照合でどの付箋にも一致しないと判定された電子附箋データに対応する紙付箋が、剥離された紙付箋であると判定する。
剥離された紙付箋があると判定された場合(S410にてYES)、S411に進み、CPU201は剥離された紙付箋に対応する登録済み電子付箋データの貼付状態の値を“OFF”に変更する。そして、本処理フローを終了する。
[タブレットPCに係る処理フロー]
次に、図9〜図13を用いて、携帯端末等から直接電子付箋を作成する、又は作成済みの電子付箋を編集する動作を説明する。本実施例において、携帯端末であるタブレットPC151では、ユーザのタッチパネル操作により電子付箋データを生成または編集し、サーバPC101に電子付箋データを送付する。
図9は、タブレットPC151の表示部309において、電子付箋を生成または編集するフローチャートである。図9のフローチャートで示す手順は、そのプログラムがタブレットPC151のROM303、RAM302、外部メモリ(HDDなど)310のいずれかに格納され、CPU301により実行される。
表示部309には、ホワイトボード114を模した画面(仮想の電子ホワイトボード)が表示される。先ず、S901にて、タブレットPC151のCPU301は表示画面上でユーザの位置指定を受け入れる。続いて、S902で、CPU301は、ユーザにより指定された位置の座標を取得する。次に、S903において、CPU301は、S902で取得した座標が、既に表示部309に表示された電子付箋の領域の内部に含まれるかを判定する。
ユーザによって指定された座標が表示中の電子付箋の領域に含まれないと判定された場合(S903にてNO)、CPU301は電子付箋を新規に作成する処理を開始する。まずS904にてCPU301は、画面上に付箋生成画面を表示する。ユーザによる新たな電子付箋の生成指示を受け付けるための付箋生成画面の詳細については図10、図11を用いて後述する。その後、CPU301はS905にて、付箋生成画面において新規付箋のテキストデータをユーザに入力させる。ユーザによるデータ入力が終了すると、S906にて、CPU301はS905で入力されたデータをテキストデータとして含む電子付箋データを作成する。その後S907にて、CPU301は作成した電子付箋データに対応する電子付箋を表示部309に表示する。さらにS908で、CPU301はサーバPC101に作成した電子付箋データを送付し、新規の電子付箋として登録する。そして、本処理フローを終了する。
一方、ユーザによって指定された座標が表示中の電子付箋の領域に含まれると判定された場合(S903にてYES)、CPU301は電子付箋を編集する処理を開始する。まずS909にてCPU301は、画面上に付箋編集画面を表示する。付箋編集画面の詳細については図12、図13を用いて説明する。その後、CPU301はS910にて、付箋編集画面においてユーザによる電子付箋のテキストデータの編集を受け入れる。続いて、CPU301はS911にて、電子付箋のテキストデータを、S910でユーザによって編集されたテキストデータで更新する。その後、S912にて、CPU301は更新した電子付箋データに対応する電子付箋を表示部309に表示する。さらにS913で、CPU301はサーバPC101に編集した電子付箋データを送付し、サーバPC101に登録された電子付箋データを更新する。そして、本処理フローを終了する。
なお、サーバPC101に電子付箋データを送付する以前に、S907またはS912において表示部309に電子付箋データを表示する例を説明したがこれに限るものではない。例えば、サーバPC101へデータを一旦送信した後、サーバから更新されたその他の電子付箋データと一緒にまとめて受信し、タブレットPC151の表示部309に表示するように構成しても良い。
また、ここではタブレットPC151を用いて説明したが、一般的なノートPCであっても、デスクトップPCであっても構わない。
携帯端末から電子付箋を新規に作成する具体例について説明する。ここでは、図10(A)のように表示部309に3枚の電子付箋1001、1002、1003が投影された状態から、S901において図10(B)に示す位置1004がユーザにより指定された想定で説明する。従って、処理が始まる段階で既にタブレットPC151には電子付箋1001〜1003の電子付箋データが格納されているものとする。尚、電子付箋1001及び1003は、それぞれ紙付箋501、503を図4に示した処理で電子化した電子付箋であるとする。
図10(B)に示すように、タブレットPCの表示部309の位置1004がユーザにより指定されると、CPU301は、S902にて指定された位置1004の座標を取得する。その後、CPU301は、S903にて、位置1004の座標が、既に表示部309に表示された電子付箋の領域の内部に含まれるかを判定する。位置1004の座標は表示中の電子付箋の領域の内部に含まれていない為、CPU301はS904にて、図11(A)に示すように、位置1004の近傍に付箋生成画面1005を表示する。ここでは、S905でユーザによって付箋生成画面1005の入力領域1006に、「CDEF」が入力されたとする。
その後、CPU301はS906で電子付箋データ1101を作成する。電子付箋データ1101のデータ構造は後述する。続いて、CPU301はS907で図11(B)に示すように、指定した位置1004を左上の座標とした電子付箋1007を表示する。その後、CPU301はS908にて、S906で作成した電子付箋データ1101をサーバPC101に送付する。
ここで作成した電子付箋のデータ構造の具体例を図14に示す。図14は電子付箋1007の電子付箋データ1101の構造を示す。電子付箋データ1101のヘッダー部1102の内容は次の通りである。IDは“2”である。貼付時間は“10時5分0秒”である。貼付状態は対応する紙付箋が無いため“OFF”である。貼付場所は“タブレットPC151”である。付箋領域は、付箋の左上が(X5,Y6)、右上が(X6,Y6)、左下が(X5,Y5)、右下が(X6,Y5)である。文字画像領域は、対応する紙付箋が無いため全て“null”である。
また、データ部1103の内容は、テキストデータは「CDEF」、付箋画像データとOCRデータは紙付箋の電子化によって作成された電子付箋データではないため“null”である。
携帯端末から既存の電子付箋を編集する具体例について説明する。ここでは、前述の電子付箋を新規に追加する具体例と同様、図10(A)のように表示部309に3つの電子付箋1001、1002、1003が投影された状態を処理の開始前の状態とする。そして、S901において図12(A)に示す位置1008がユーザにより指定された想定で説明する。
図12(A)に示すように、携帯端末であるタブレットPC151の表示部309の位置1008がユーザにより指定されると、CPU301は、S902にて指定された位置1008の座標を取得する。その後、CPU301は、S903にて、位置1008の座標が、既に表示部309に表示された電子付箋の領域の内部に含まれるかを判定する。
位置1008の座標は表示中の電子付箋1001の領域の内部に含まれている為、CPU301はS909で、図12(B)に示すように、電子付箋1001の近傍に付箋編集画面1009を表示する。尚、付箋編集画面1009は、入力領域1010に、電子付箋1001の電子付箋データ801のテキストデータが予め入力された状態で表示される。ここでは、S910でユーザによって付箋編集画面1009の入力領域1010で、テキストデータが「GHIABJK」に編集されたとする。
その後、CPU301はS911で電子付箋1001の電子付箋データ801を更新し、電子付箋データ1201を作成する。電子付箋データ1201のデータ構造は後述する。続いて、CPU301はS912で図13(A)に示すように、更新後の電子付箋1007を表示する。その後、CPU301はS913にて、S911で更新した電子付箋データ1201をサーバPC101に送付する。
ここで作成した電子付箋データのデータ構造の具体例を図15に示す。図15は、電子付箋1001の更新後の電子付箋データ1201の構造を示す。電子付箋データ1201のヘッダー部1202の内容は次の通りである。IDは“1”である。貼付時間は“10時0分0秒”である。貼付状態は、対応する紙付箋501がホワイトボード114上に貼付中であるため“ON”である。貼付場所は、“会議室110”である。付箋領域は、付箋の左上が(X1,Y2)、右上が(X2,Y2)、左下が(X1,Y1)、右下が(X2,Y1)である。文字画像領域は、対応する紙付箋501の文字画像領域、即ち左上が(X3,Y4)、右上が(X4,Y4)、左下が(X3,Y3)、右下が(X4,Y3)である。
また、データ部1203の内容は、付箋画像データには“data1.jpg”というファイル名で格納されている。テキストデータは「GHIABJK」であり、OCRデータは対応する紙付箋の文字画像に対するOCR処理の結果である「AB」である。
[表示処理フロー]
図18は、本実施例における電子付箋を表示する処理のフローチャートであり、タブレットPC151及びPC111(以下、この2つをPCと総称する)で実行される。図18のフローチャートで示す手順は、PC111で実行される場合はそのプログラムがPC111のROM203、RAM202、外部メモリ(HDDなど)210のいずれかに格納され、CPU201により実行される。また、タブレットPC151で実行される場合はそのプログラムがタブレットPC151のROM303、RAM302、外部メモリ(HDDなど)310のいずれかに格納され、CPU301により実行される。PC111のCPU201およびタブレットPC151のCPU301は以下CPUと総称する。
S1501において、CPUはサーバPC101から電子付箋データを受信する。S1502において、CPUは、受信した電子付箋データの1つを処理対象として、その電子付箋データのヘッダー部を解析する。
S1503において、CPUは、ヘッダー部に含まれる貼付状態が“ON”であり、且つ、貼付場所とPCが設置されている場所とが一致するか判定する。例えば、会議室110でホワイトボード114に貼付され、まだ剥離されていない付箋を電子化した電子付箋データは、貼付状態が“ON”、貼付場所が“会議室110”になる。この電子付箋データを会議室110に設置されたPC111が表示する場合、電子付箋データの貼付状態は“ON”、貼付場所はPC111が設置されている場所と一致するので、S1503の判定は“YES”になる。上記の例と同じ電子付箋データを会議室110以外に設置されたPCで表示する場合、貼付状態は“ON”であるが、貼付場所が異なる為、S1503の判定は“NO”になる。また、ホワイトボード114に貼付された後に剥離された紙付箋に対する電子付箋データ、又はタブレットPC151等の操作によって直接作成された電子付箋データは貼付状態が“OFF”になる。そのため、表示場所に関わらずS1503の判定は“NO”になる。
S1503で条件に合致しない、即ち貼付状態が“OFF”又は貼付場所が異なると判定された場合は(S1503にてNO)、CPUは処理をS1504に進める。S1504では、CPUは電子付箋データのデータ部に格納されているテキストデータを表示する。
S1503で条件に合致する、即ち貼付状態が“ON”、且つ、貼付場所とPCが設置されている場所とが一致すると判定された場合は(S1503にてYES)、CPUは処理をS1505に進める。S1505にて、CPUは電子付箋データのテキストデータとOCRデータとを比較し、それぞれの内容が一致しているかを判定する。内容が一致していると判定された場合(S1505にてYES)、S1506にてCPUは電子付箋データを非表示にする。その後、CPUは処理をS1524に進める。
S1505で内容が一致していないと判定された場合(S1505にてNO)、CPUはS1507で、再びテキストデータとOCRデータを比較し、OCRデータの内容がテキストデータに含まれるかを判定する。ここでのOCRデータの内容がテキストデータに含まれるとは、OCRデータの文字列が、テキストデータの文字列の一部に一致するか否かを意味する。OCRデータの内容がテキストデータに含まれる場合(S1507にてYES)、CPUはS1508にて、テキストデータにおいて、OCRデータの内容(文字列)よりも前に記載された内容(文字列)と、後に記載された内容(文字列)をそれぞれ取得する。これ以降、OCRデータの内容よりも前に記載された内容(文字列)を前追記データ、OCRデータの内容よりも後に記載された内容(文字列)を後追記データと呼称する。
S1509〜S1515は、前追記データを表示する処理である。CPUはS1509にて、S1508で取得した前追記データが空(null)であるかを判定する。空であると判定された場合(S1509にてYES)、CPUは処理をS1516に移す。空ではないと判定された場合(S1509にてNO)、CPUはS1510で、電子付箋データに対応する紙付箋の付箋領域において、文字画像の領域よりも上の、余白部分の領域の座標を定義する。これ以降、この余白部分の領域を「上余白領域」と呼称する。具体的には、付箋領域の左端、付箋領域の右端、付箋領域の上端、文字画像領域の上端で囲まれた領域を、上余白領域として定義する。上余白領域の具体的な例については、図19を用いて後述する。
次に、CPUはS1511にて、S1510で定義した上余白領域の面積を算出する。続いてCPUはS1512にて、S1508で取得した前追記データの文字数をカウントする。その後、CPUはS1513にて、S1511で算出した上余白領域の面積を、S1512でカウントした前追記データの文字数で割る事で、上余白領域に表示する前追記データの文字サイズを算出する。
続いて、S1514にて、CPUはS1513で算出した文字サイズが閾値より大きいかを判定する事で、上余白領域に前追記データを投影した場合に文字サイズがユーザにとって判読可能な大きさかを判定する。文字サイズが閾値以下であると判定された場合(S1514にてNO)、CPUは処理をS1523に移す。文字サイズが閾値より大きいと判定された場合(S1514にてYES)、CPUはS1515にて、S1513で算出した文字サイズを用い、上余白領域に前追記データを表示する。なお、ここで用いる閾値は予め定義され、PCの記憶部にて保持されているものとする。
以上、紙付箋に対応する電子付箋データが内容に追記する形で編集された場合に、紙付箋に書かれた内容よりも前に追記された内容(文字列)を、紙付箋に投影する事で、紙付箋の内容を最新の状態に保つ事が出来る。
S1516〜S1522は、後追記データを表示する処理である。CPUはS1516にて、S1508で取得した後追記データが空(null)であるかを判定する。空であると判定された場合(S1516にてYES)、CPUは処理をS1524に移す。空ではないと判定された場合(S1516にてNO)、CPUはS1517で、電子付箋データに対応する紙付箋の付箋領域において、文字画像の領域よりも下の、余白部分の領域の座標を定義する。これ以降、この領域を「下余白領域」と呼称する。具体的には、付箋領域の左端、付箋領域の右端、文字画像領域の下端、付箋領域の下端で囲まれた領域を、下余白領域として定義する。下余白領域の具体的な例については、図20を用いて後述する。
次に、CPUはS1518にて、S1517で定義した下余白領域の面積を算出する。続いてCPUはS1519にて、S1508で取得した後追記データの文字数をカウントする。その後、CPUはS1520にて、S1518で算出した下余白領域の面積を、S1519でカウントした後追記データの文字数で割る事で、下余白領域に表示する後追記データの文字サイズを算出する。
続いて、S1521にて、CPUはS1520で算出した文字サイズが閾値より大きいかを判定する事で、下余白領域に後追記データを投影した場合に文字サイズがユーザにとって判読可能な大きさかを判定する。S1521で文字サイズが閾値以下であると判定された場合(S1521にてNO)、CPUは処理をS1523に移す。文字サイズが閾値より大きいと判定された場合(S1521にてYES)、CPUはS1522にて、S1520で算出した文字サイズを用い、下余白領域に後追記データを表示し、処理をS1524に移す。なお、ここで用いる閾値は予め定義されPCの記憶部にて保持されているものとする。
以上、紙付箋に対応する電子付箋データが内容に追記する形で編集された場合に、紙付箋に書かれた内容よりも後に追記された内容を、紙付箋に投影する事で、紙付箋の内容を最新の状態に保つ事が出来る。
一方、OCRデータの内容がテキストデータに含まれないと判定された場合(S1507にてNO)、CPUはS1523で、紙付箋の付箋領域に、付箋の状態が最新では無いので、付箋を剥離する必要がある旨の警告を表示する。この処理により、紙付箋に対応する電子付箋データが、内容を上書きする形で編集された場合、紙付箋に書かれた内容が最新ではなく、また追加の投影で付箋の内容を最新に保つ事も出来ない為、紙付箋を剥離して電子付箋を投影させるようユーザに促す事ができる。S1523の後、CPUは処理をS1524に進める。
S1504、S1506、S1522、S1523のいずれかの処理の終了後、CPUはS1524で未処理の電子付箋データがあるか否か判定する。未処理の電子付箋データがあると判定した場合は(S1524にてYES)、S1502に戻って次の電子付箋データの解析を行う。未処理の電子付箋データがない場合は(S1524にてNO)、本処理フローを終了する。
会議室110のPC111における表示処理の具体例について説明する。まず、紙付箋に対応する電子付箋に追記された場合について説明する。ここでは付箋の表示が会議室110のホワイトボード114上では図5(B)の状態であり、タブレットPC151の表示部309では図10(A)に示す状態であるとし、互いに表示する情報が同期出来ているとする。そして、タブレットPC151側での操作で紙付箋501に対応する電子付箋1001が図13(A)のように編集された想定で説明する。編集後の電子付箋1001の電子付箋データ1201は図15に示す通りである。尚、図5(B)と図10(A)において、紙付箋501は電子付箋1001と、電子付箋502は電子付箋1002と、紙付箋503は電子付箋1003と互いに対応関係にあり、電子付箋データを共有している。
PC111のCPU201は、S1501にてサーバPC101から電子付箋データ1201を受信すると、電子付箋データ1201のヘッダー部1202を解析する。その解析の結果、貼付状態が“ON”であり、貼付場所が“会議室110”であることが判明する。PC111が設置されている場所は会議室110であり、かつ貼付状態が“ON”である為、CPU201はS1503の判定の結果、処理をS1505に移す。
S1505では、CPU201は電子付箋データ1201のデータ部1203におけるテキストデータとOCRデータが等しいかを判定する。電子付箋データ1201のテキストデータは「GHIABJK」、OCRデータは「AB」である為、CPU201はテキストデータとOCRデータは等しくないと判定し、処理をS1507に移す。S1507では、CPU201は電子付箋データ1201のデータ部1203におけるテキストデータがOCRデータを含むかを判定する。電子付箋データ1201のテキストデータ「GHIABJK」は、OCRデータ「AB」を含む為、CPU201は処理をS1508に移す。
続いて、CPU201はS1508にて、電子付箋データ1201のテキストデータ「GHIABJK」から、「AB」の前に書かれた文字列である「GHI」を前追記データ、後に書かれた文字列である「JK」を後追記データとしてそれぞれ取得する。
続いて、CPU201はS1509で前追記データが空(null)であるかを判定する。S1508で得た前追記データは「GHI」であり、空ではない為、CPU201は処理をS1510に移す。S1510では、CPU201は電子付箋データ1201の情報を基に、上余白領域を定義する。ホワイトボード114の左下を原点とした座標系において、図19(A)に示すように、付箋領域の左端はX1、右端はX2、上端はY2、下端はY1であり、文字画像領域の上端はY1+Y4となる。したがって、左上が(X1,Y2)、右上が(X2,Y2)、左下が(X1,Y1+Y4)、右下が(X2,Y1+Y4)である領域が上余白領域1601として定義される。
その後、CPU201はS1511で上余白領域1601の面積を算出する。ここでは、上余白領域1601の面積が“18”であったとする。続いて、CPU201はS1512で前追記データの文字数をカウントし、その情報を基にS1513で前追記データの表示に用いる文字サイズを算出する。S1508で取得した前追記データは「GHI」であり、CPU201はS1512で前追記データの文字数を“3”とカウントする。
S1513では、CPU201はS1511で算出した上余白領域1601の面積である“18”を、S1512でカウントした前追記データの文字数である“3”で割る事で、文字サイズを“6”と算出して決定する。その後、CPU201はS1514で、S1513で算出した文字サイズが閾値より大きいかを判定する。ここで閾値は“2”と設定されていたとすると、文字サイズは閾値より大きい為、S1514の判定の結果、CPU201は処理をS1515に移す。CPU201はS1515にて、ホワイトボード114での上余白領域1601に、前追記データ「GHI」を、文字サイズを“6”として投影する。ここで上余白領域に前追記データが投影された状態を図19(B)に示す。
続いて、CPU201はS1516で後追記データが空(null)であるかを判定する。S1508で得た後追記データは「JK」であり、空ではない為、CPU201は、処理をS1517に移す。S1517では、CPU201は電子付箋データ1201の情報を基に、下余白領域を定義する。ホワイトボード114の左下を原点とした座標系において、図20(A)に示すように、付箋領域の左端はX1、右端はX2、下端はY1、上端はYsであり、文字画像領域の下端はY1+Y3となる。したがって、左上が(X1,Y1+Y3)、右上が(X2,Y1+Y3)、左下が(X1,Y1)、右下が(X2,Y1)である領域が下余白領域1602として定義される。
その後、CPU201はS1518で下余白領域1602の面積を算出する。ここでは、下余白領域1602の面積が“18”であったとする。続いて、CPU201はS1519で後追記データの文字数をカウントし、その情報を基にS1520で後追記データの表示に用いる文字サイズを算出する。S1508で取得した後追記データは「JK」であり、CPU201はS1519で後追記データの文字数を“2”とカウントする。
S1520では、CPU201はS1518で算出した下余白領域1602の面積である“18”を、S1519でカウントした後追記データの文字数である“2”で割る事で、文字サイズを“9”と算出して決定する。その後、CPU201はS1521で、S1520で算出した文字サイズが閾値より大きいかを判定する。ここで閾値は“2”と設定されていたとすると、文字サイズは閾値より大きい為、CPU201は処理をS1522に移す。CPU201はS1522にて、ホワイトボード114での下余白領域1602に、後追記データ「JK」を、文字サイズを“9”として投影する。ここで下余白領域に後追記データが投影された状態を図20(B)に示す。
この結果、最終的に会議室110のホワイトボード114は図20(B)の状態の表示となる。また、タブレットPC151の表示部309は図13(A)の状態の表示となる。これにより、ホワイトボード114上の表示と、タブレットPC151の表示部309の表示との間で情報が同期されることとなり、電子付箋1001に追記を行った後でも付箋の内容を最新の状態で共有する事が出来る。
次に、紙付箋に対応する電子付箋が上書きされた場合について説明する。ここでは付箋の表示が会議室110のホワイトボード114では図5(B)の状態であり、タブレットPC151の表示部309では図10(A)の状態であるとし、互いに情報が同期出来ているとする。そして、タブレットPC151側での操作により紙付箋501に対応する電子付箋1001が図13(B)のように編集された想定で説明する。
編集後の電子付箋1001の電子付箋データ1301は図16に示す通りである。尚、図5(B)と図10(A)において、紙付箋501は電子付箋1001と、電子付箋502は電子付箋1002と、紙付箋503は電子付箋1003と、互いに対応関係にあり、電子付箋データを共有している。
PC111のCPU201は、S1501にてサーバPC101から電子付箋データ1301を受信すると、電子付箋データ1301のヘッダー部1302を解析する。その解析の結果、貼付状態が“ON”であり、貼付場所が“会議室110”であることが判明する。PC111が設置されている場所は会議室110であり、かつ貼付状態が“ON”である為、CPU201はS1503の判定の結果、処理をS1505に移す。
S1505では、CPU201は電子付箋データ1301のデータ部1303におけるテキストデータとOCRデータが等しいかを判定する。電子付箋データ1301のテキストデータは「LMN」であり、OCRデータは「AB」である為、CPU201はテキストデータとOCRデータは等しくないと判定し、処理をS1507に移す。S1507では、CPU201は電子付箋データ1301のテキストデータがOCRデータを含むかを判定する。電子付箋データ1301のテキストデータの文字列「LMN」は、OCRデータの文字列「AB」を含まない為、CPU201は処理をS1523に移す。
続いて、CPU201はS1523にて、電子付箋データ1301の付箋領域に対し、付箋の内容が最新ではないので剥離(除去)するようユーザに促す旨の警告をホワイトボード114上に投影する。警告が投影された状態を図21(A)に示す。
この状態から紙付箋501が剥離されると、図4に示した処理(S411)によってサーバPC101に登録されている紙付箋501の電子付箋データが変更される。ここでの処理による変更後の紙付箋501の電子付箋データ1401は図17に示す通りである。つまり、貼付状態の値が“OFF”に更新されることとなる。
PC111のCPU201は、S1501にてサーバPC101から電子付箋データ1401を受信すると、電子付箋データ1401のヘッダー部1402を解析する。その解析の結果、貼付状態が“OFF”であり、貼付場所が“会議室110”であることが判明する。貼付状態が“OFF”である為、CPU201はS1503の判定の結果、処理をS1504に移す。S1504では、CPU201は電子付箋データ1401の付箋領域に対し、プロジェクタ112を介して電子付箋データ1401のテキストデータを投影する。テキストデータが投影された状態を図21(B)に示す。
以上により、最終的に会議室110のホワイトボード114には図21(B)の表示状態となり、タブレットPC151の表示部309には図13(B)で示す表示状態となる。これにより、ホワイトボード114上の表示と、タブレットPC151の表示部309の表示との間で情報が同期されることとなり、電子付箋1001を上書きした後でも対応する紙付箋をユーザに剥離させる事で付箋の内容を最新の状態で共有できる。
[サーバPCにおける処理]
次に、本実施例におけるサーバPC101の動作を説明する。図22は、サーバPC101における電子付箋データの登録、配信処理を示すフローチャートである。図17のフローチャートで示す手順は、そのプログラムがサーバPC101のROM203、RAM202、外部メモリ(HDDなど)210のいずれかに格納され、CPU201により実行される。
前述したように、PC111やタブレットPC151は、付箋の追加、変更が行われると、図4のS407やS409、S412、及び図9のS908やS913において、サーバPC101へデータを登録したりサーバPC101のデータを更新したりする。すなわち、PC111やタブレットPC151は、サーバPC101に対し、新規登録用の電子付箋データを送信したり、更新用のデータを送信したりする。
サーバPC101は、S1701において、各装置からデータを受信する。S1702において、サーバPC101は、S1701にて受信したデータに基づいて、記憶装置に対し、電子付箋データの登録や更新を行う。その後、S1703において、サーバPC101は、接続されている全ての装置(PC111、タブレットPC151)に対して、追加登録された電子付箋データや、更新された電子付箋データを送信する。各装置は、図18を用いて前述したように、S1501でサーバPC101から送信されてきた電子付箋データに応じて電子付箋の付箋画像の表示/非表示を切り替える。
[装置間の処理シーケンス]
図23は、本システムにおける、プロセス間での情報の授受のタイミングを示すシーケンス図である。図23に示す参照番号は、図4、図9、図18、図22の各処理に対応している。PC111では図4に示した紙付箋からの電子付箋の登録/変更処理と、図18に示した電子付箋表示処理が並列して動作している。タブレットPC151では図9に示した電子付箋の登録/変更処理と、図18に示した電子付箋表示処理が並列して動作している。サーバPC101では図22に示したサーバPC101での登録/配信処理が動作している。
図23において、PC111がS407、S409、又はS412で、新規に登録する電子付箋データや更新する電子付箋データをサーバPC101へ送信すると、サーバPC101はS1701で電子付箋データを受信する。その後、S1703にてサーバPC101は受信した電子付箋データを、接続されている全ての装置(PC111、タブレットPC151)に送信する。これに応じて各装置はS1501で電子付箋データを受信し、電子付箋表示処理を開始する。
また同様に、タブレットPC151がS908又はS913で、新規に登録する電子付箋データや更新する電子付箋データをサーバPC101へ送信すると、サーバPC101はS1701で電子付箋データを受信する。その後、S1703にてサーバPC101は受信した電子付箋データを、接続されている全ての装置(PC111、タブレットPC151)に送信する。これに応じて、各装置はS1501で電子付箋データを受信し、電子付箋表示処理を開始する。
以上、本実施例によれば、電子付箋の内容を変更する事で、その変更を電子付箋に対応する紙付箋に反映する事ができる。これにより、画面を介して情報共有を行う場合に、貼り付けた紙付箋に直接アクセスできない例えば遠隔のユーザでも、紙付箋に対応する情報を更新し、情報共有を容易に行うことができる。
<実施例2>
実施例1では紙付箋に対応する電子付箋への追記があった場合、紙付箋内部の余白領域に追記した情報を投影する方法を説明した。実施例2では、紙付箋に対応する電子付箋への追記があった場合、紙付箋の近傍に追記した情報を投影する方法を説明する。
本システムの動作について説明する。図24は、本システムの処理の流れを示すフローチャートであり、タブレットPC151及びPC111(以下、この2つをPCと総称する)で実行される。図24のフローチャートで示す手順は、PC111で実行される場合はそのプログラムがPC111のROM203、RAM202、外部メモリ(HDDなど)210のいずれかに格納され、CPU201により実行される。
また、タブレットPC151で実行される場合はそのプログラムがタブレットPC151のROM303、RAM302、外部メモリ(HDDなど)310のいずれかに格納され、CPU301により実行される。PC111のCPU201、タブレットPC151のCPU301は以下CPUと総称する。尚、S1501〜S1509及びS1516、S1523〜S1524の処理は図18のフローチャートと同様の処理である為、説明は割愛する。
まず、前追記データを表示する方法を説明する。S1509にて、S1508で取得した前追記データが空(null)ではないと判定された場合(S1509にてNO)、CPUはS1801で、表示する画面上において、電子付箋データに対応する紙付箋の付箋領域の上に前追記データを投影する領域を定義する。これ以降、この領域を「付箋上領域」と呼称する。具体的には、付箋の上に隣接し、幅が付箋の幅、高さが予め定義された高さの領域を付箋上領域として定義する。付箋上領域の具体的な例については、図25を用いて後述する。
次に、CPUはS1802にて、S1801で定義した付箋上領域が他の付箋と重なっていないかを判定する。具体的には、付箋上領域が他の付箋の付箋領域の左上、右上、左下、右下のいずれかの座標を包含していないかを判定する事により、付箋上領域が他の付箋と重なっていないかを判定する。付箋上領域が他の付箋に重なっていると判定された場合(S1802にてNO)、CPUは処理をS1523に移す。
付箋上領域が他の付箋に重なっていないと判定された場合(S1802にてYES)、CPUはS1803にて、S1801で定義した付箋上領域の面積を算出する。続いてCPUはS1804にて、S1508で取得した前追記データの文字数をカウントする。その後、CPUはS1805にて、S1803で算出した付箋上領域の面積を、S1804でカウントした前追記データの文字数で割る事で、付箋上領域に表示する前追記データの文字サイズを算出する。続いて、CPUはS1806にて、S1805で算出した文字サイズを用い、付箋上領域に前追記データを表示する。
以上の処理によって、紙付箋に対応する電子付箋データに対し、内容に追記する形で編集された場合、紙付箋に書かれた内容(文字列)よりも前に追記された内容(文字列)を紙付箋の上に投影する事で、紙付箋の内容を最新の状態に保つ事が出来る。
次に、後追記データを表示する方法を説明する。S1508で取得した後追記データが空(null)ではないと判定された場合(S1516にてNO)、CPUはS1807で、表示する画面上において、電子付箋データに対応する紙付箋の付箋領域の下に後追記データを投影する領域を定義する。これ以降、この領域を「付箋下領域」と呼称する。具体的には、付箋の下に隣接し、幅が付箋の幅、高さが予め定義された高さの領域を付箋下領域として定義する。付箋下領域の具体的な例については、図26を用いて後述する。
次に、CPUはS1808にて、S1807で定義した付箋下領域が他の付箋と重なっていないかを判定する。具体的には、付箋下領域が他の付箋の付箋領域の左上、右上、左下、右下のいずれかの座標を包含していないかを判定する事により、付箋下領域が他の付箋と重なっていないかを判定する。付箋下領域が他の付箋に重なっていると判定された場合(S1808にてNO)、CPUは処理をS1523に移す。
付箋下領域が他の付箋に重なっていないと判定された場合(S1808にてYES)、CPUはS1809にて、S1807で定義した付箋下領域の面積を算出する。続いてCPUはS1810にて、S1508で取得した後追記データの文字数をカウントする。その後、CPUはS1811にて、S1809で算出した付箋下領域の面積を、S1810でカウントした後追記データの文字数で割る事で、付箋下領域に表示する後追記データの文字サイズを算出する。続いて、CPUはS1812にて、S1811で算出した文字サイズを用い、付箋下領域に後追記データを表示する。
以上の処理によって、紙付箋に対応する電子付箋データに対し、内容に追記する形で編集された場合、紙付箋に書かれた内容(文字列)よりも後に追記された内容(文字列)を紙付箋の下に投影する事で、紙付箋の内容を最新の状態に保つ事が出来る。
会議室110に位置するPC111における付箋表示処理の具体例について説明する。ここでは付箋の表示が会議室110のホワイトボード114では図5(B)の状態であり、タブレットPC151の表示部309では図10(A)の状態であるとし、互いに情報が同期出来ているとする。そして、タブレットPC151側での操作で紙付箋501に対応する電子付箋1001が図13(A)のように編集された想定で説明する。
編集後の電子付箋1001の電子付箋データ1201は図15に示す通りである。尚、図5(B)と図10(A)において、紙付箋501は電子付箋1001と、電子付箋502は電子付箋1002と、紙付箋503は電子付箋1003と、互いに対応関係にあり、電子付箋データを共有している。
PC111のCPU201は、S1501にてサーバPC101から電子付箋データ1201を受信すると、電子付箋データ1201のヘッダー部1202を解析する。その解析の結果、貼付状態が“ON”であり、貼付場所が“会議室110”であることが判明する。PC111が設置されている場所は会議室110であり、かつ貼付状態が“ON”である為、CPU201はS1503の判定の結果、処理をS1505に移す。
S1505では、CPU201は電子付箋データ1201のデータ部1203におけるテキストデータとOCRデータが等しいかを判定する。電子付箋データ1201のテキストデータは「GHIABJK」であり、OCRデータは「AB」である為、CPU201はテキストデータとOCRデータは等しくないと判定し、処理をS1507に移す。S1507では、CPU201は電子付箋データ1201におけるテキストデータの文字列がOCRデータの文字列を含むかを判定する。電子付箋データ1201のテキストデータ「GHIABJK」は、OCRデータ「AB」を含む為、CPU201は処理をS1508に移す。
続いて、CPU201はS1508にて、電子付箋データ1201のテキストデータ「GHIABJK」から、「AB」の前に書かれた文字列である「GHI」を前追記データとし、後に書かれた文字列である「JK」を後追記データとしてそれぞれ取得する。
続いて、CPU201はS1509で前追記データが空(null)であるかを判定する。S1508で得た前追記データは「GHI」であり、空ではない為、CPU201はS1509の判定の結果、処理をS1801に移す。S1801では、CPU201は電子付箋データ1201の情報を基に、付箋上領域を定義する。付箋領域の左端はX1、右端はX2、上端はY2であり、予め定義された付箋上領域の高さがY8であるとする。この場合、左上が(X1,Y1+Y8)、右上が(X2,Y1+Y8)、左下が(X1,Y2)、右下が(X2,Y2)である領域が付箋上領域として定義される。こうして定義された付箋上領域1901を図25(A)に示す。
次に、CPU201はS1802にて、付箋上領域1901が他の付箋と重なっていないかを判定する。付箋上領域1901は他の付箋の付箋領域の左上、右上、左下、右下のいずれの座標も包含していない為、CPUは付箋上領域1901が他の付箋と重なっていないと判定し、処理をS1803に移す。
S1803にて、CPU201は付箋上領域1901の面積を算出する。ここでは、付箋上領域の面積が“12”であったとする。続いて、CPU201はS1804で前追記データの文字数をカウントし、その情報を基にS1805で前追記データの表示に用いる文字サイズを算出する。S1508で取得した前追記データは「GHI」であるため、CPU201はS1804で前追記データの文字数を“3”とカウントする。S1805では、CPU201はS1803で算出した付箋上領域の面積である“12”を、S1804でカウントした前追記データの文字数である“3”で割る事で、文字サイズは“4”であると算出し、決定する。その後、CPU201はS1806にて、ホワイトボード114での付箋上領域1901に、前追記データ「GHI」を、文字サイズを“4”として投影する。こうして付箋上領域に前追記データが投影された状態を図25(B)に示す。
続いて、CPU201はS1516で後追記データが空(null)であるかを判定する。S1508で得た後追記データは「JK」であり、空ではない為、CPU201は処理をS1807に移す。S1807では、CPU201は電子付箋データ1201の情報を基に、付箋下領域を定義する。付箋領域の左端はX1、右端はX2、下端はY1であり、予め定義された付箋下領域の高さがY9であったとする。この場合、左上が(X1,Y1)、右上が(X2,Y1)、左下が(X1,Y1−Y9)、右下が(X2,Y1−Y9)である領域が付箋下領域として定義される。こうして定義された付箋下領域1902を図26(A)に示す。
次に、CPU201はS1808にて、付箋下領域1902が他の付箋と重なっていないかを判定する。付箋下領域1902は他の付箋の付箋領域の左上、右上、左下、右下のいずれの座標も包含していない為、CPUは付箋下領域1902が他の付箋と重なっていないと判定し、処理をS1809に移す。
S1809にて、CPU201は付箋下領域1902の面積を算出する。ここでは、付箋下領域の面積が“12”であるとする。続いて、CPU201はS1810で後追記データの文字数をカウントし、その情報を基にS1811で後追記データの表示に用いる文字サイズを算出する。S1508で取得した後追記データは「JK」であるため、CPU201はS1810で後追記データの文字数を“2”とカウントする。S1811では、CPU201はS1809で算出した付箋下領域の面積である“12”を、S1810でカウントした後追記データの文字数である“2”で割る事で、文字サイズは“6”であると算出する。その後、CPU201はS1812にて、ホワイトボード114での付箋下領域1902に、後追記データ「JK」を、文字サイズを“6”として投影する。こうして付箋下領域に後追記データが投影された状態を図26(B)に示す。
以上により、最終的に会議室110のホワイトボード114では図26(B)の状態となり、タブレットPC151の表示部309では図13(A)の状態となる。これによりホワイトボード114上の表示と、タブレットPC151の表示部309の表示との間で情報が同期されることとなり、電子付箋1001に追記を行った後でも付箋の内容を最新の状態で共有する事が出来る。
尚、紙付箋に対応する電子付箋が上書きされた場合については実施例1と同様の処理である為、説明は割愛する。
以上説明したように、本実施例によれば、紙付箋に対応する電子付箋への追記が有った場合、紙付箋の近傍に追記した情報を投影することで、その変更を電子付箋に対応する紙付箋に反映する事ができる。これによって、紙付箋の文字画像領域の抽出を行い、付箋内の余白領域を算出するといった複雑な処理を行うことなく、実施例1で得られる効果と同等の効果が得られる。
<その他の実施例>
また、上述した実施形態では、PC111のCPU(プロセッサ)がプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路(ハードウェア)で構成するようにしても構わない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現させるソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (13)

  1. 投影装置に接続された情報処理装置であって、
    前記投影装置によって投影される画像の所定の領域に含まれる情報を取得する取得手段と、
    前記投影装置による前記領域の表示制御を行う制御手段と、
    前記投影装置によって前記領域が投影される位置に示されている情報を取得し、当該取得した情報と前記領域に含まれる情報とが等しいか否かを判定する判定手段と、
    前記領域に含まれる情報に対する更新を受け付ける受け付け手段と、
    を備え、
    前記制御手段は、前記領域が投影される位置に示されている情報と前記領域に含まれる情報とが等しく、かつ、前記受け付け手段により受け付けた更新が情報の追加である場合、前記領域に追加された情報のみを前記投影装置にて投影させることを特徴とする情報処理装置。
  2. 前記制御手段は、前記投影装置に、前記領域に追加された情報を前記領域の余白部分に投影させることを特徴とする請求項1に記載の情報処理装置。
  3. 前記制御手段は、前記領域に追加された情報の文字数と、前記領域の余白部分の面積とに応じて、前記投影装置にて投影させる前記領域に追加された情報の文字の大きさを決定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記制御手段は、前記投影装置に、前記領域に追加された情報を前記領域に隣接する領域に投影させることを特徴とする請求項1に記載の情報処理装置。
  5. 前記制御手段は、前記領域に追加された情報の文字数と、前記領域に隣接する領域の予め定義された面積とに応じて、前記投影装置にて投影させる前記領域に追加された情報の文字の大きさを決定することを特徴とする請求項4に記載の情報処理装置。
  6. 前記制御手段は、前記領域が投影される位置に示された情報と前記領域に含まれる情報とが等しく、かつ、前記領域に含まれる情報に対する更新を受け付けていない場合、前記投影装置により前記領域に含まれる情報を投影させないことを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。
  7. 前記情報処理装置は、ネットワークを介して携帯端末に接続され、
    前記受け付け手段は、前記領域に含まれる情報に対する更新を、前記携帯端末を介して受け付けることを特徴とする請求項1乃至6のいずれか一項に記載の情報処理装置。
  8. 前記情報処理装置は撮影装置に更に接続され、
    前記判定手段は、前記領域が投影される位置に示されている情報を、前記撮影装置にて撮影された画像から抽出して取得することを特徴とする請求項1乃至7のいずれか一項に記載された情報処理装置。
  9. 前記領域が投影される位置において、文字列が記載された媒体により情報が示され、
    前記撮影装置は、前記媒体を含む画像を撮影することを特徴とする請求項8に記載の情報処理装置。
  10. 前記媒体は、付箋であることを特徴とする請求項9に記載の情報処理装置。
  11. 前記判定手段は更に、前記撮影装置によって前記領域が投影される位置に媒体が存在するか否かを判定し、
    前記制御手段は、前記受け付け手段により受け付けた更新が情報の上書きであり、かつ、前記判定手段により前記領域を投影する位置に媒体が存在していると判定された場合、前記投影装置により、前記媒体を除去する旨の警告を表示させることを特徴とする請求項9または10に記載の情報処理装置。
  12. 投影装置に接続された情報処理装置における情報処理方法であって、
    取得手段が、前記投影装置によって投影される画像の所定の領域に含まれる情報を取得する取得工程と、
    制御手段が、前記投影装置による前記領域の表示制御を行う制御工程と、
    判定手段が、前記投影装置によって前記領域が投影される位置に示されている情報を取得し、当該取得した情報と前記領域に含まれる情報とが等しいか否かを判定する判定工程と、
    受け付け手段が、前記領域に含まれる情報に対する更新を受け付ける受け付け工程と、
    を有し、
    前記制御工程において、前記領域が投影される位置に示されている情報と前記領域に含まれる情報とが等しく、かつ、前記受け付け工程にて受け付けた更新が情報の追加である場合、前記領域に追加された情報のみを前記投影装置にて投影させることを特徴とする情報処理方法。
  13. コンピュータを、
    投影装置によって投影される画像の所定の領域に含まれる情報を取得する取得手段、
    前記投影装置による前記領域の表示制御を行う制御手段、
    前記投影装置によって前記領域が投影される位置に示されている情報を取得し、当該取得した情報と前記領域に含まれる情報とが等しいか否かを判定する判定手段、
    前記領域に含まれる情報に対する更新を受け付ける受け付け手段、
    として機能させ、
    前記制御手段は、前記領域が投影される位置に示されている情報と前記領域に含まれる情報とが等しく、かつ、前記受け付け手段により受け付けた更新が情報の追加である場合、前記領域に追加された情報のみを前記投影装置にて投影させることを特徴とするプログラム。
JP2012272474A 2012-12-13 2012-12-13 情報処理装置、情報処理方法、およびプログラム Pending JP2014120805A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012272474A JP2014120805A (ja) 2012-12-13 2012-12-13 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012272474A JP2014120805A (ja) 2012-12-13 2012-12-13 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2014120805A true JP2014120805A (ja) 2014-06-30

Family

ID=51175329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012272474A Pending JP2014120805A (ja) 2012-12-13 2012-12-13 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2014120805A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016014977A (ja) * 2014-07-01 2016-01-28 コニカミノルタ株式会社 拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラム
JP2016173626A (ja) * 2015-03-16 2016-09-29 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2019036166A (ja) * 2017-08-17 2019-03-07 本田技研工業株式会社 発想支援用プログラム
JP2019040455A (ja) * 2017-08-25 2019-03-14 ぺんてる株式会社 情報整理プログラム、情報整理装置、情報整理方法及び付箋アセンブリ
JP2020177355A (ja) * 2019-04-16 2020-10-29 富士ゼロックス株式会社 情報処理装置およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016014977A (ja) * 2014-07-01 2016-01-28 コニカミノルタ株式会社 拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラム
JP2016173626A (ja) * 2015-03-16 2016-09-29 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2019036166A (ja) * 2017-08-17 2019-03-07 本田技研工業株式会社 発想支援用プログラム
JP2019040455A (ja) * 2017-08-25 2019-03-14 ぺんてる株式会社 情報整理プログラム、情報整理装置、情報整理方法及び付箋アセンブリ
JP2020177355A (ja) * 2019-04-16 2020-10-29 富士ゼロックス株式会社 情報処理装置およびプログラム
JP7318289B2 (ja) 2019-04-16 2023-08-01 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Similar Documents

Publication Publication Date Title
JP4692364B2 (ja) 電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置
CN104540027B (zh) 一种多屏幕环境下的多媒体展示交互控制系统
KR100805871B1 (ko) 전자 회의 제어 장치, 전자 회의 지원 방법, 기록 매체
US20150002435A1 (en) Projector, figure input/display apparatus, portable terminal, and program
EP3709570B1 (en) Conference information management system, information processing apparatus, control method and carrier means
JP2001175374A (ja) 情報入出力システム及び情報入出力方法
US20200341631A1 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
JP2014120805A (ja) 情報処理装置、情報処理方法、およびプログラム
US9959292B2 (en) Application program, smart device, information processing apparatus, information processing system, and information processing method
JP5950634B2 (ja) 情報処理装置、コンピュータプログラム、情報処理方法
CN107037939A (zh) 电子黑板和图像处理方法
CN109495669A (zh) 信息处理装置以及存储程序的计算机可读介质
CN110895440A (zh) 信息处理装置及记录介质
CN115858833A (zh) 图片显示方法、信息显示方法、装置及电子设备
US9654523B2 (en) Information processing system, and non-transitory computer readable medium for displaying electronic stickey notes transmitted from a participant device to a board of a shared device
CN101334990B (zh) 信息显示设备和信息显示方法
JP2008250700A (ja) 情報処理装置、ウインドウ再生方法及びプログラム
JP2015045945A (ja) 情報処理装置、プログラム及び情報処理システム
US10768802B1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
JP2014119811A (ja) 情報処理装置、システム、情報処理方法、及びプログラム
JP6780392B2 (ja) 情報処理装置及び情報処理プログラム
JP2013232124A (ja) 電子会議システム
JP6234223B2 (ja) 情報処理装置、情報処理装置の制御方法およびコンピュータプログラム
JP6261198B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20240192911A1 (en) Systems and methods for managing digital notes for collaboration