JP2013190868A - 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム - Google Patents

情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム Download PDF

Info

Publication number
JP2013190868A
JP2013190868A JP2012055001A JP2012055001A JP2013190868A JP 2013190868 A JP2013190868 A JP 2013190868A JP 2012055001 A JP2012055001 A JP 2012055001A JP 2012055001 A JP2012055001 A JP 2012055001A JP 2013190868 A JP2013190868 A JP 2013190868A
Authority
JP
Japan
Prior art keywords
information
comment
electronic
thread
handwritten
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012055001A
Other languages
English (en)
Other versions
JP5979918B2 (ja
JP2013190868A5 (ja
Inventor
Hirochika Sato
央周 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012055001A priority Critical patent/JP5979918B2/ja
Priority to US13/790,339 priority patent/US20130238731A1/en
Publication of JP2013190868A publication Critical patent/JP2013190868A/ja
Publication of JP2013190868A5 publication Critical patent/JP2013190868A5/ja
Application granted granted Critical
Publication of JP5979918B2 publication Critical patent/JP5979918B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/216Handling conversation history, e.g. grouping of messages in sessions or threads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】紙面に記載された手書き情報と情報端末から入力した電子情報とを容易に関連づけて管理、表示できる情報処理システムを提供する。
【解決手段】オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、画像オブジェクトとして取得する手書きコメント取得手段と、前記手書きコメント情報を、ユーザ指示に基づいて選択する選択手段と、前記選択手段によって選択された手書きコメント情報に対する電子コメント情報を取得する電子コメント取得手段と、前記選択手段で選択された手書きコメント情報と、前記電子コメント取得手段で取得された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像または前記オリジナル画像上に、スレッド表示する。
【選択図】図1

Description

本発明は、情報処理システム、情報処理システムの制御方法、情報処理装置、プログラムに関するものである。
多数のユーザによる情報の登録や読み出しを制御する電子掲示板システム(以下、単に電子掲示板と呼ぶ)がある。電子掲示板は各種の情報の伝達やユーザ間のコミュニケーションを広く行うために利用されている。このような電子掲示板では、ユーザが情報端末を介して電子掲示板に登録したい情報をネットワーク接続されたサーバに送信する。サーバで受信された情報は、サーバによって管理される電子掲示板に登録され、情報端末は登録された情報を読み出すことで情報端末の表示部に表示する。電子掲示板の中にはテキスト情報であるコメント文だけでなく写真等の画像も扱えるものもある(特許文献1)。
特開2001−101114
特許文献1の電子掲示板でユーザが紙資料に手書きした情報を電子掲示板に登録する場合には、ユーザは手書きした情報を含んだ紙資料を撮像し、撮像画像を電子掲示板に登録することになる。ここで、ユーザが手書き部分の情報(手書きコメント)に対してコメントを追加しようとして、情報端末を介して情報(電子コメント)を追加入力する場合、電子コメントは前述の撮像画像に対して追加される。そうすると、あとで電子コメントと撮像画像を参照した際に、追加入力された電子コメントは撮像画像中のどの部分に対するコメントであるのかが分かりにくい。つまり、ユーザが紙資料に手書きした部分の情報は1つのオブジェクトとして扱われていないため、入力された電子コメントを、撮像画像ではなく手書きした部分の情報(手書きコメント)に関連付けて管理することができない。その結果、あとでコメントを参照する際に、コメントどうしの関係がわかりづらいという課題がある。
本発明の情報処理システムは、オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、画像オブジェクトとして取得する手書きコメント取得手段と、前記手書きコメント情報を、ユーザ指示に基づいて選択する選択手段と、前記選択手段によって選択された手書きコメント情報に対する電子コメント情報を取得する電子コメント取得手段と、前記選択手段で選択された手書きコメント情報と、前記電子コメント取得手段で取得された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像または前記オリジナル画像上に、スレッド表示する表示手段と、を有することを特徴とする。
手書き入力による情報と情報端末からの入力による情報と関連付けて、一括で参照することができる。
情報処理システムの全体構成図 電子ペンの構成図 通信端末の構成図 サーバの構成図 情報端末の構成図 紙資料を説明する図 電子ペンにおける電子ペン軌跡情報の送信処理に関するフローチャート 通信端末における電子ペンの移動軌跡を示す座標の算出処理に関するフローチャート 通信端末における手書きコメント軌跡情報の取得処理に関するフローチャート 紙資料の説明図 電子掲示板の説明図 サーバにおける手書きコメント情報の取得処理に関するフローチャート 電子掲示板の説明図 電子掲示板の説明図 電子掲示板の説明図 電子掲示板の説明図 情報端末における電子入力フォームの入力処理に関するフローチャート スレッド情報の説明図 サーバにおけるスレッド管理処理に関するフローチャート 情報端末における重畳表示処理に関するフローチャート サーバにおける重畳表示処理に関するフローチャート 検索画面の説明図 検索結果画面の説明図 参照ファイルパス入力画面の説明図 スレッド表示の説明図
<第1の実施形態>
以下、本発明を実施するための最良の形態について図面を用いて説明する。
(システム構成)
図1は、本発明の第1の実施形態を示す情報処理システムの装置構成を示す図である。
図1において、オリジナルデータ(オリジナル画像)が印刷された紙資料(印刷物)10は複数ユーザへの配布物でもよいし、掲示版への掲示物でもよい。電子ペン100は無線通信により1対1で通信端末200と接続される。通信端末200とサーバ400と情報端末300はLANなどのネットワーク50を介して接続される。電子ペン100は紙資料10に対して文字や図形を手書き追記するデバイスであり、電子ペン100の軌跡情報(電子ペン軌跡情報)を通信端末200に送信する。
通信端末200は受信した電子ペン軌跡情報から、手書き追記している際の電子ペン100の軌跡情報(手書きコメント軌跡情報)を抽出してサーバ400に送信する。
サーバ400は受信した手書きコメント軌跡情報に基づいて手書きコメント情報を生成する。また、サーバ400は、情報端末300から電子コメント情報および参照ファイル情報を受信する。なお、本実施形態において、オリジナルデータ、手書きコメント情報、電子コメント情報、参照ファイル情報のことをまとめて電子掲示板情報と呼び、サーバ400で記憶され、管理されている。
情報端末300は、サーバ400の管理する電子掲示板情報を表示部に表示する。また、情報端末300は、表示部に表示された電子掲示板情報に対してユーザが入力した電子コメント情報や参照ファイル情報を、サーバ400に送信する。また、情報端末300はカメラなどの撮像部を備え、この撮像部で紙資料10を撮影して紙資料10の画像を表示部に表示する。なおこの際に情報端末300は、表示部の表示される撮像画像に電子掲示板情報を重畳表示することもできる。情報端末300が撮像部を備えていない場合は、USB(Universal Serial Bus)ケーブルなどで外部接続したカメラなどの撮像手段を利用する形態でもよい。
(電子ペン)
図2は本実施形態における電子ペン100の構成を説明するものである。
筆記部105はペンで実現され、インクカートリッジ内のインクを使って文字や図形を紙資料10に可視状態で筆記する。筆圧検知部104は筆圧センサで実現され、紙資料10に筆記する際のペンにかかる筆圧を検知する。電子ペンデータ送信部101は赤外線を発信する赤外線発信装置および超音波を発信する超音波発信装置で実現され、通信端末200に電子ペン軌跡情報を送信する。記憶部103はRAMやROMなどのメモリで実現され、制御部102が必要とする一時的なデータなどをメモリに記憶する。制御部102は電子ペン100を統括的に制御するものであり、記憶部103に記憶されたプログラムコードをCPUが実行することで実現する。制御部102は筆圧検知部104で加圧開始を検知すると電子ペンデータ送信部101に加圧開始を意味する加圧開始信号を赤外線発信するよう制御する。また、制御部102は筆圧検知部104で加圧終了を検知すると電子ペンデータ送信部101に加圧終了を意味する加圧終了信号を赤外線発信するよう制御する。また、制御部102は加圧開始から加圧終了までの時間内において一定周期で超音波発信するよう電子ペンデータ送信部101を制御する。電子ペンデータ送信部101の発信する超音波信号は、後述するように電子ペンの位置情報を表す信号である。
(通信端末)
図3は本実施形態における通信端末200の構成を説明するものである。
電子ペンデータ受信部204は1つの赤外線受信センサと2つの超音波受信センサを有するレシーバで実現される。電子ペンデータ受信部204は電子ペン100の電子ペンデータ送信部101から発信された赤外線信号と超音波信号から成る電子ペン軌跡情報を受信する。ネットワーク通信部201はLAN I/Fで実現され、ネットワーク50を介してサーバ400に手書きコメント軌跡情報を送信する。記憶部203はROMやRAM、HDD等のメモリで実現され、制御部202で利用する一時データや電子ペン軌跡情報、手書きコメント軌跡情報などを記憶する。制御部202は各部を統括的に制御するものであり、記憶部203に記憶されたプログラムコードをCPUが実行することで実現する。制御部202は電子ペンデータ受信部204で受信した電子ペン軌跡情報を記憶部203に記憶するよう制御する。制御部202は記憶部203から読み出した電子ペン軌跡情報から手書きコメント軌跡情報を抽出してサーバ400に送信するようネットワーク通信部201を制御する。
(サーバ)
図4はサーバ400の構成を説明するものである。
ネットワーク通信部401はLAN I/Fで実現され、ネットワーク50を介して通信端末200と情報端末300とで様々なデータを送受信する。記憶部403はRAMやROMやHDDなどのメモリで実現され、本実施形態における電子掲示板情報を記憶する。またネットワーク通信部401は、コメント情報を受信し、記憶部403に記憶する。電子掲示板情報には、紙面に印刷された画像の内容と同じ内容のオリジナルデータ、スレッド情報、一時的な保存データなどが含まれる。
制御部402は各部を統括的に制御するものであり、記憶部403に記憶されたプログラムコードをCPUが実行することで実現する。
さらに、制御部402はコメント種別判定部411と手書きコメント入力部412とスレッド管理部413と印刷レイアウト部414と特徴抽出部415から構成される。
コメント種別判定部411はネットワーク通信部401から受信したコメント情報が手書きコメント情報か電子コメント情報か参照ファイル情報のいずれの種別に属するものであるかを判定する。本実施例ではサーバ400と情報端末300、サーバ400と通信端末200はHTTPプロトコルで通信するものとし、コメント情報の送受信においてはコメント種別の識別子(コメント識別子)をあわせて送受信する。このコメント種別の識別子が参照されることで、受信されたコメント情報のコメント種別が判別される。
受信されたコメント情報が手書きコメント情報のコメント種別に属するものであるとコメント種別判定部411が判定した場合、受信されたコメント情報は手書きコメント軌跡情報である。そのため、手書きコメント入力部412は、手書きコメント軌跡情報をビットマップ(画像オブジェクト)化して手書きコメント情報を生成し、この手書きコメント情報を記憶部403に記憶する。生成された手書きコメント情報はスレッド管理部413で管理される。ここで、ネットワーク通信部401は、紙資料10に対して手書きで書きこまれた情報を通信端末200から受信する手段として機能する。また、手書きコメント入力部412は、紙資料10に対して手書きで書きこまれた情報を、画像オブジェクトとして取得する手段として機能する。
受信されたコメント情報が電子コメント情報もしくは参照ファイル情報のコメント種別に属するものであるとコメント種別判定部411が判定した場合、受信されたコメント情報は電子コメント情報もしくは参照ファイル情報である。これら電子コメント情報もしくは参照ファイル情報はスレッド管理部413によって管理される。
スレッド管理部413は手書きコメント情報および電子コメント情報および参照ファイル情報を関連づけたスレッド情報を生成し、記憶部403に記憶する。このスレッド情報とは、図18を用いて後述するように、手書きコメント情報、電子コメント情報、参照ファイル情報のそれぞれの情報の親子関係やそれぞれの情報が入力された際の位置関係を示すデータテーブルのことである。スレッド管理部413は手書きコメント情報もしくは電子コメント情報もしくは参照ファイル情報の追加に応じてスレッド情報の更新を行うことで、手書きコメント情報、電子コメント情報、参照ファイル情報の各情報をスレッド情報として関連付けて管理する。
印刷レイアウト部414は情報端末300から電子掲示板情報の印刷要求を受信した場合に電子掲示板情報の印刷レイアウトを生成する。本実施形態においては、印刷レイアウト部414は後述のオリジナルデータ700に記憶部403に記憶したスレッド情報を重ねて表示した電子掲示板表示結果(例えば図25(a))を印刷対象とする。印刷は情報端末300にインストールされたプリンタドライバを用いて、情報端末300に接続された不図示のプリンタに対して印刷指示をすることで実現する。すなわち、情報端末300は電子掲示板情報の印刷を指示する印刷指示手段を有し、この印刷指示手段によって電子掲示板情報が印刷されることになる。
特徴抽出部415はオリジナルデータ700からテキストパターン、図形パターンなどの特徴パターンを抽出する。本実施形態において特徴抽出部415は、オリジナルデータ700中のパターン710を抽出するものとする。
(情報端末)
図5は情報端末300の構成を説明するものである。
ネットワーク通信部301はLAN I/Fで実現され、ネットワーク50を介してサーバ400とで様々なデータを送受信する。記憶部303はRAMやROMやHDDなどのメモリで実現され、本実施形態において制御部302で利用する一時的な保存データなどを記憶する。
表示部304はディスプレイ(タッチパネルも含む)等に代表される表示装置で実現され、電子掲示板情報や撮像部306で撮像した画像などを表示する。入力部305はタッチパネルやマウス、キーボード等に代表される入力装置で実現され、ユーザからの入力操作を受け付ける。撮像部306はカメラなどに代表される撮像手段で実現され、紙資料の撮像画像を取得するものである。
制御部302は各部を統括的に制御するものであり、記憶部303に記憶されたプログラムコードをCPUが実行することで実現する。
さらに、制御部302は電子掲示板情報表示部311、電子コメント入力部312、参照ファイル入力部313、検索部314、重畳処理部315で構成される。
電子掲示板情報表示部311はサーバ400から取得した電子掲示板情報を表示部304に表示する。また、電子掲示板情報表示部311は、ユーザからの電子コメントの入力を受け付けるための電子入力フォームを表示する。
電子コメント入力部312は電子入力フォームに対してユーザが入力部305を用いて入力した文字列(電子コメント)を取得し、電子コメント情報としてサーバ400へ送信する。参照ファイル入力部313は電子入力フォームに対してユーザが入力部305を用いて入力した参照ファイルへのパス(参照ファイルパス)を取得し、参照ファイル情報としてサーバ400へ送信する。検索部314は、電子入力フォームに対してユーザが入力部305を用いて入力した検索キーに基づいて、検索処理を行う。
重畳処理部315は撮像部306によって撮像された紙資料の画像を表示部304に表示するとともに、電子掲示板情報を紙資料の画像に重畳表示する。
(手書きコメント入力)
図6は、本実施形態における紙資料10の紙面を説明するものである。紙資料10には、後述するスレッド情報の重畳表示処理を行うために用いられる特徴パターンがパターン110として印刷されている。ただし特徴パターンは、人間にとって可視のものでも不可視のものであってもよい。
本実施形態では紙面の座標系を(Xpaper,Ypaper)で表現し、紙資料10の上部中央に電子ペンデータ受信部204を実現するレシーバを配置して紙面原点260(0,0)としている。これは後述のオリジナルデータ700の上部中央を座標原点とした電子掲示板との整合性をとるためである。紙資料10は紙面の座標系において(−Xp, 0)、(Xp, 0)、(−Xp,Yp)、(Xp, Yp)の位置である。
ユーザは紙資料10上に電子ペン100で手書きコメントを筆記開始する際に手書きコメント開始領域251をチェックする。次に、手書きコメントである「ABC」を筆記する。
211から216は「ABC」における筆圧検知部104で検知する加圧開始ポイントに相当する。221から226は「ABC」における筆圧検知部104で検知する加圧終了ポイントに相当する。
ユーザは手書きコメントの筆記終了後に手書きコメント終了領域252をチェックするものとする。
図7は、電子ペン100が通信端末200に一連の電子ペン軌跡情報を送信するフローを説明するものである。
S1001において、電子ペン100の制御部102は筆圧検知部104で加圧開始を検知したか判定する。加圧開始を検知した場合はS1002に進み、制御部102は電子ペンデータ送信部101から赤外線で加圧開始信号を送信するよう制御する。次に制御部102はS1003で超音波信号を送信する。そして、S1004にて制御部102は筆圧検知部104で加圧終了を検知するまで一定周期で超音波信号を送信し続ける。制御部102は加圧終了を検知するとS1005にて、電子ペンデータ送信部101から赤外線で加圧終了信号を送信するよう制御する。加圧開始信号を送信してから加圧終了信号を送信するまでの超音波信号が一連の電子ペン軌跡情報である。
図8は、通信端末200が電子ペン100から一連の電子ペン軌跡情報を受信し、電子ペンの移動軌跡を示す座標(紙面座標)を算出するフローを説明するものである。
S2001において、制御部202は電子ペンデータ受信部204で赤外線の加圧開始信号を受信したかどうかを判定する。加圧開始信号を受信した場合は、S2002に進む。
次に、S2002において、制御部202は電子ペンデータ受信部204で超音波信号を受信したかどうかを判定する。超音波信号が受信されていないと判定された場合、処理はS2004へ進む。
超音波信号が受信されたと判定された場合は、S2003にて、制御部202は2つの超音波受信センサで受信した超音波信号の受信時間の差および2つの超音波センサ間の距離から電子ペンの紙面座標を算出する。なお紙面座標については図10を用いて後述する。
次に、制御部202はS2004において、電子ペンデータ受信部204で赤外線の加圧終了信号を受信したかどうかを判定する。加圧終了信号が受信されていないと判定された場合は、処理はS2002に戻る。加圧終了信号が受信されたと判定された場合は、加圧開始から加圧終了までの一連のペン軌跡情報の取得を終了する。すなわち、制御部202は、図8に示される処理フローを実行することによって、連続的に受信される電子ペン軌跡情報から、電子ペンの移動軌跡を示す紙面座標の情報を順次算出する。なお、以下においては、S2003にて算出された電子ペンの移動軌跡を示す紙面座標の情報のことも含めて、電子ペン軌跡情報と呼ぶ。
図9は、通信端末200において、図6の手書きコメント「ABC」を1つの手書きコメント軌跡情報とするフローを説明するものである。すなわち、図9の処理フローを制御部202が実行することで、制御部202は一連の電子ペン軌跡情報から手書きコメント軌跡情報を抽出する。
S2011にて、制御部202は図8の処理フローで算出された電子ペンの紙面座標の情報を含む、電子ペン軌跡情報を取得する。
次に、S2012にて制御部202は手書きコメント開始フラグがONであるかを判定する。手書きコメント開始フラグは記憶部203で記憶されており、初期値はOFFである。
S2012にて、手書きコメント開始フラグがOFFの場合は、S2013で、制御部202はペン軌跡情報の示す電子ペンの紙面座標が手書きコメント開始領域251内であるかどうかを判定する。電子ペンの紙面座標が手書きコメント開始領域251内ではない場合は、S2011に戻る。電子ペンの紙面座標が手書きコメント開始領域251内である場合は、制御部202はS2014にて手書きコメント開始フラグをONにしてS2011に戻る。
S2012にて、手書きコメント開始フラグがONであった場合は、S2015にて制御部202は電子ペン軌跡情報の示す電子ペンの紙面座標が手書きコメント終了領域252内であるかどうかを判定する。電子ペンの紙面情報が手書きコメント終了領域252内ではない場合は、S2016にて制御部202は電子ペン軌跡情報を手書きコメント軌跡情報の一部として記憶部203に記憶し、S2011に戻る。電子ペンの紙面情報が手書きコメント終了領域252内である場合は、S2017にて制御部202は手書きコメント開始フラグをOFFにする。S2018にて、制御部202は、S2016において記憶部203で記憶した、手書きコメント開始から終了までの一連の電子ペン軌跡情報群を1つの手書きコメント軌跡情報(例えば「ABC」)としてサーバ400に送信する。またこの送信の際には、制御部202は手書きコメント軌跡情報に、手書きコメント軌跡情報が手書きコメント情報に属する種別の情報であることを示す手書きコメント識別子を含めて送信する。
図10は図6で説明した紙面座標計算の結果である手書きコメント軌跡情報を説明する図である。231や232などの座標は紙面座標計算の結果得られる座標の例である。そして、紙面座標計算を211から216の各加圧開始ポイントと対応する221から226の各加圧終了ポイントに対して順に行った結果得られた一連の手書きコメント軌跡情報240が手書きコメント軌跡情報「ABC」である。
図11は、本実施形態における紙資料10に対応するオリジナルデータ700を説明するものである。記憶部403はオリジナルデータ700を記憶している。なお、本実施形態において、オリジナルデータ700とは、紙資料10に印刷された画像の元データであり、オリジナルデータ700に印刷処理が施されることで紙資料10が印刷される。
本実施形態では電子掲示板の座標系を(Xbbs, Ybbs)で表現し、オリジナルデータ700の上部中央を電子掲示板原点701(0, 0)としている。オリジナルデータ700における電子掲示板原点701は、紙資料10における紙面原点260と対応している。オリジナルデータ700は電子掲示板座標系において(−Xo, 0)、(Xo, 0)、(−Xo,Yo)、(Xo, Yo)の4点で構成される矩形領域で表現される。
図12は、サーバ400の手書きコメント入力部412で手書きコメント軌跡情報をビットマップ化して手書きコメント情報を取得するフローを説明するものである。図12において、図6の手書きコメント軌跡情報240「ABC」を例に説明する。
記憶部403はオリジナルデータ700を記憶している。
手書きコメント入力部412では、S4001において、S2018で通信端末200が送信した手書きコメント軌跡情報240および手書きコメント識別子を受信する。この手書きコメント軌跡情報240は、紙面座標系(Xpaper, Ypaper)で表現された手書きコメントの座標情報を含む。
次に、S4002にて、手書きコメント入力部412は、受信した手書きコメント軌跡情報240に含まれる紙面座標系で表現された手書きコメントの座標情報を、電子掲示板の座標系(Xbbs, Ybbs)に変換する。変換処理は、紙資料10のサイズとオリジナルデータ700のサイズを元に予め変換係数を決定しておくことで実現する。
図13は手書きコメント軌跡情報240を電子掲示板の座標系(Xbbs, Ybbs)に変換した結果を示す例であり、711や712に代表される座標を得る。
次に、S4003にて、手書きコメント入力部412は、座標変換された手書きコメント軌跡情報の座標群を包含する矩形の最小の矩形サイズ720を算出し、この最小の矩形の左上の座標(−Xw1, Yw1)と、最小の矩形の右下の座標(Xw2, Yw2)を得る。
次に、S4004において、手書きコメント入力部412は、座標変換された手書きコメント軌跡情報の座標での画像データに色を付けてビットマップとして描画する。そして、手書きコメント入力部412は、手書きコメントをビットマップ化した矩形サイズ720の手書きコメント721を生成して、記憶部403に記憶する。そして、手書きコメント入力部412は、記憶部403に記憶されたビットマップ(手書きコメント721)へのファイルパスとビットマップの左上座標(−Xw1, Yw1)とS4001で受信された手書きコメント識別子を手書きコメント情報としてスレッド管理部413に送信する。
(電子入力フォーム)
図14は、電子入力フォームを説明するものである。
図14は、サーバ400の記憶部403に記憶されている電子掲示板情報を、情報端末300がサーバ400から受信して、電子掲示板情報表示部311によって電子掲示板情報を表示した一例を示す。
ここで、ユーザが入力部305を介して表示部304に表示された電子掲示板情報が表示されている領域内の座標を選択指示すると、電子掲示板情報表示部311は電子入力フォーム730を表示する。図14は、手書きコメント(ビットマップ)721の領域内の座標が選択指示されたことを示す。この場合、電子掲示板情報表示部311は手書きコメント721の座標(手書きコメントの表示位置)から(Δx1、Δy1)だけずらしたオフセット位置(−Xw1+Δx1, Yw1+Δy1)に電子入力フォーム730を表示する。ユーザが入力部305を介して手書きコメント721の領域外の座標を選択指示した場合、電子掲示板情報表示部311は、選択指示された座標に応じた位置に電子入力フォーム730を表示する。
電子入力フォーム730は、文字列入力領域731と電子コメント追加ボタン732とキーワード検索ボタン733と画像検索ボタン734と動画検索ボタン735と参照ファイル添付ボタン736を含む。つまり後述するように電子入力フォーム730は、少なくとも電子コメントとする文字列の入力を受け付ける文字列入力領域と、参照ファイルの添付の入力を受け付ける参照ファイル入力領域とを有する。
図17は、電子入力フォームで電子コメントあるいは参照ファイルを入力するフローを説明するものである。
S3011にて、電子掲示板情報表示部311は、ユーザが入力部305を介して表示部304に表示されている領域の座標が選択指示されたかどうかを検知し、その選択指示された座標が電子掲示板情報の領域内であるか否かを判定する。S3012において電子掲示板情報表示部311は、電子掲示板情報の領域内の座標が選択指示されたと判定した場合、電子入力フォーム730をオフセット位置に表示する。また電子掲示板情報表示部311は、電子掲示板情報の領域外の座標が選択指示されたと判定した場合、電子入力フォーム730を選択指示された座標に応じた位置に表示する。このときに電子コメント入力部312は、電子入力フォーム730を表示した位置の座標を、記憶部303に記憶する。
次に、S3013にて、電子コメント入力部312は、ユーザが入力部305を介して文字列入力領域731に文字入力したか否かを判定する。文字入力されたと判定した場合、電子コメント入力部312は、入力された文字列を記憶部303に記憶する。
S3014で電子コメント入力部312は、電子コメント追加ボタン732が押下されたか否かを判定する。
S3014で、電子コメント追加ボタン732が押下されたと判定した場合、S3015にて、電子コメント入力部312は次の処理を行う。電子コメント入力部312は、記憶部303に記憶された電子入力フォーム730の座標および文字列入力領域731に入力された文字列を、電子コメント情報としてサーバ400に送信する。またこの電子コメント情報の送信の際に、電子コメント入力部312は電子コメント情報に、送信するコメント情報が電子コメント情報に属する種別の情報であることを示す電子コメント識別子を含めて送信する。つまりサーバ400は、手書きコメントに対する電子コメントを取得する手段を有している。
S3014にて、電子コメント追加ボタン732が押下されていないと判定した場合は、S3016にてキーワード検索ボタン733もしくは画像検索ボタン734、動画検索ボタン735がユーザ指示に基づいて押下されたか否かを判定する。
押下されたと判定した場合は、S3017にて、検索部314がそれぞれのタイプの検索に割り当てられたWeb検索エンジンを用いて、文字列入力領域731に入力された文字列を検索する。この文字列の検索については公知の検索技術を用いるため詳細な説明は割愛する。
この時、電子掲示板情報表示部311はユーザがボタン選択によって選択した検索エンジンを用いた、入力文字列の検索結果を表示部304に表示する。この際に、検索部314はS3018にて、S3017の検索処理の検索結果を記憶部303に記憶する。電子掲示板情報表示部311は検索エンジン画面において非表示ボタンの押下により検索エンジン画面を非表示にできる。
S3013にて、文字列入力領域731に文字入力されたと判定された場合は、電子掲示板情報表示部311は、S3019で参照ファイル添付ボタン736がユーザ指示によって押下されたか否かを判定する。参照ファイル添付ボタン736が押下されたと判定された場合は、S3020にて、電子掲示板情報表示部311は、参照ファイルパス入力画面(図24参照)を表示する。そして、参照ファイルパス入力画面で入力された参照ファイルパスを参照ファイル入力部313が記憶部303に記憶する。参照ファイルには画像ファイル、動画ファイル、文書ファイル、音声ファイル、検索部314が記憶した検索結果などに代表される電子ファイルが含まれる。
また、参照ファイル入力部313は、参照ファイルを参照するための参照ファイルアクセスボタンを表示すべき位置の座標(参照ファイルアクセスボタンの座標)を、電子入力フォームが表示された位置の座標に基づいて算出する。本実施形態において具体的に算出される座標は、電子入力フォームの座標を(Δx2, 0)ずらした位置の座標である。
そして参照ファイル入力部313は、参照ファイルパスと参照ファイルアクセスボタンの座標の情報を、サーバ400に参照ファイル情報として送信する。この送信の際に、参照ファイル入力部313は参照ファイル情報に、送信するファイル情報が参照ファイル情報に属する種別の情報であることを示す参照ファイル識別子を含めて送信する。ここまでがS3020の処理である。なお、前述した参照ファイルアクセスボタンは、参照ファイルを参照するためにユーザ指示によって選択される画像オブジェクトである。
S3021では、電子掲示板情報表示部311が電子入力フォーム730を非表示にする。
次に、S3022にて電子掲示板情報表示部311は、電子入力フォーム730を表示した座標に入力結果を表示する。ここで、手書きコメント721がユーザ指示によって選択されて電子入力フォーム730が表示された場合に、電子入力フォームへの入力内容が電子コメントであれば電子コメント741が表示される。例えば、図15の手書きコメント721が選択された場合に電子コメント741(文字列「DEF」)は電子入力フォーム730の座標と同座標の(−Xw1+Δx1, Yw1+Δy1)に表示される。またさらに手書きコメント721がユーザ指示によって選択されて電子入力フォーム730が表示された場合に、電子入力フォームへの入力内容が添付ファイルであれば、参照ファイルアクセスボタン742が表示される。例えば、図15の手書きコメント721がさらに選択された場合に、図16のように参照ファイルアクセスボタン742は電子入力フォーム730が表示された座標から所定の位置ずらされた座標(−Xw1+Δx1+Δx2, Yw1+Δy1)に表示される。
図22は、検索エンジン画面751を説明するものである。
検索エンジン画面751は文字列入力領域731で入力された文字列がキーワード欄752で表示される。そして、検索結果は検索結果欄753に表示される。次へボタン754は次ページの検索結果を表示するためのものである。非表示ボタン755は検索エンジン画面を閉じるものである。
図23は、検索結果欄753を説明するものである。
753(a)はキーワード検索結果例である。753(b)は画像検索結果例をである。754(c)動画検索結果例である。
図24は、参照ファイルパス入力画面761を説明するものである。
参照ファイルパス入力欄762は添付したい参照ファイルを入力するものである。決定ボタン763は参照ファイルパス入力欄762で入力された参照ファイルを添付するよう決定するものである。キャンセルボタン764は参照ファイルパス入力画面を閉じるものである。
なお、本実施形態において、参照ファイルパスは情報端末300の記憶部303に記憶されているファイルへのパスとする。しかし、参照ファイルパスの送信とともにファイルを情報端末300からサーバ400にアップロード(送信)するような実施形態では以下のような構成をとってもよい。すなわち、サーバ400へ参照ファイルパスが送信される際に、参照ファイル入力部313はサーバ400の記憶部403にアップロードし、参照ファイルパスを参照ファイルのアップロード先のパスへと変換して送信する。これにより参照ファイルがサーバ400へアップロードされてそのファイルへのパスが記憶されるので、参照ファイルがどの情報端末300からも参照することが可能となる。
(スレッド情報)
図18は、サーバ400におけるスレッド管理部413で管理するスレッド情報を説明するものである。
スレッド管理部413は複数のスレッド情報を管理する。1つのスレッド情報は1つのスレッドヘッダと1つ以上のコメント情報もしくは0以上の参照ファイル情報から構成される木構造で表現される。
スレッドヘッダ801は以下の情報を含む。
スレッドID:スレッドIDはスレッドを一意に特定するための情報である。
先頭コメントID:先頭コメントIDは当該スレッドの先頭となるコメント情報のコメントIDを示す。
スレッド座標(Xthread):スレッド座標(Xthread)は電子掲示板座標系(Xbbs、Ybbs)において表示される当該スレッド情報のXthread座標を示す。
スレッド座標(Ythread):スレッド座標(Ythread)は電子掲示板座標系において表示される当該スレッド情報のYthread座標を示す。
スレッドサイズ(XSIZEthread):スレッドサイズ(XSIZEthread)は電子掲示板座標系において表示される当該スレッドのXbbs軸方向のサイズを示す。
スレッドサイズ(YSIZEthread):スレッドサイズ(YSIZEthread)は電子掲示板座標系において表示される当該スレッドのYbbs軸方向のサイズを示す。
コメント情報802は以下の情報を含む。
コメントID:コメントIDはコメントを一意に特定するための情報である。
親コメントID:親コメントIDは当該コメントの親ノードであるコメント情報のコメントIDである。当該コメントが先頭コメントである場合は親ノードは無い。
子コメントID:子コメントIDは当該コメントの子ノードであるコメント情報のコメントIDである。親コメント情報は複数の子コメント情報を持つことができる。なお、コメント情報が含む親コメントIDおよび子コメントIDの情報は、コメント情報の親子関係を示すコメント親子情報とも呼ばれる。
参照ファイルID:参照ファイルIDは当該コメント情報に関連する参照ファイルの参照ファイルIDである。コメント情報は複数の参照ファイル情報を持つことができる。
タイプ:タイプは当該コメント情報の種別が手書きコメントであるビットマップか電子コメントである文字列かを示すコメント識別子である。
データ:データは手書きコメント情報であればビットマップファイル名であり、電子コメント情報であれば文字列データである。
コメント座標(Xcom):コメント座標(Xcom)は電子掲示板座標系において表示される当該コメント情報のXbbs座標を示す。
コメント座標(Ycom):コメント座標(Ycom)は電子掲示板座標系において表示される当該コメント情報のYbbs座標を示す。
コメントサイズ(XSIZEcom):コメントサイズ(XSIZEcom)は電子掲示板座標系において表示される当該コメントのXbbs軸方向のサイズを示す。
コメントサイズ(YSIZEcom):コメントサイズ(YSIZEcom)は電子掲示板座標系に表示する当該コメントのYbbs軸方向のサイズを示す。コメントサイズ(XSIZEこm)とコメントサイズ(YSIZEcom)はコメント情報のタイプがビットマップの場合に使用される。タイプが文字列の場合は、サーバ400側で定義した文字サイズから文字列サイズが算出される。
重畳対象:重畳対象は、当該コメント情報を重畳表示の対象とするか否かを示す。予めサーバ側設定で常に重畳表示対象としてもよいし、先頭コメントIDから最大N個まで重畳表示対象とするような設定でも構わない。この最大数Nはユーザ指示に基づいて入力される数値で設定される構成であってもよい。後述の図18のコメント情報805(b)ではN=3としている。
参照ファイル情報803は以下の情報を含む。
参照ファイルID:参照ファイルIDは参照ファイル情報を一意に特定するための情報。
親コメントID:親コメントIDは当該参照ファイル情報の親ノードであるコメント情報のコメントIDである。
タイプ:タイプは当該参照ファイル情報の種別を示すものである。種別には例えば、動画や音声、文書、図面、URL、ショートカットなどが挙げられる。種別に対応したアプリケーションで再生できる。
データ:データは参照ファイル情報の参照ファイルパスを示す。
アクセスボタン座標(Xacc):アクセスボタン座標(Xacc)は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのXbbs座標を示す。
アクセスボタン座標(Yacc):アクセスボタン座標(Yacc)は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのYbbs座標を示す。
アクセスボタンサイズ(XSIZEacc):アクセスボタンサイズ(XSIZEacc)は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのXbbs軸方向のサイズを示す。
アクセスボタンサイズ(YSIZEacc):アクセスボタンサイズ(YSIZEacc)は電子掲示板座標系において表示される当該参照ファイル情報のアクセスボタンのYbbs軸方向のサイズを示す。
スレッド804はスレッド情報の木構造を表した例である。スレッド804は1つのスレッドヘッダと5個のコメント情報と3個の参照ファイル情報に基づいて構成される。コメントID=3のコメント情報はコメントID=4とコメントID=5の2つの子コメント情報を有する。コメントID=4のコメント情報は参照ファイルID=2と参照ファイルID=3の2つの参照ファイル情報を有している。
805(a)はスレッド804のスレッドヘッダを表した例である。805(b)はスレッド804のコメント情報のリストを表した例である。805(c)はスレッド804の参照ファイル情報のリストを表した例である。ここで、親コメントID=0は親コメント情報を持たない先頭コメント情報であることを意味する。子コメントID=0は子コメント情報を持たない末端のコメント情報であることを意味する。参照ファイルID=0は参照ファイル情報を持たないことを意味する。重畳対象=1は重畳対象とすることを意味する。重畳対象=0は重畳対象としないことを意味する。
(スレッド管理)
図19はサーバ400におけるスレッド管理処理を説明するものである。
スレッド管理部413は、S4011にてコメントの追加が発生したか否かを判定する。具体的にはスレッド管理部413がコメント情報(手書きコメント情報および電子コメント情報)あるいは参照ファイル情報を受信した場合、コメントの追加が発生したと判定する。
コメントの追加が発生したと判定した場合は、S4012にて、スレッド管理部413は新規スレッドを生成する必要があるか否かを判定する。具体的にはコメント情報に含まれる座標情報が、スレッド情報内の各コメント情報802の表示領域内もしくは各参照ファイル情報803の参照ファイルアクセスボタンの領域内を示す情報でない場合、スレッド管理部413は新規スレッドの生成が必要と判定する。コメント情報に含まれる座標情報が、記憶部303に記憶されているスレッド情報内の各コメント情報の表示領域内もしくは参照ファイルアクセスボタンの領域内を示す情報である場合、新規スレッドの生成は不要と判定される。
新規スレッドの生成が必要と判定された場合は、スレッド管理部413はS4013にて、新規のスレッドヘッダ801を生成することで新規スレッドを生成する。なお、以降のスレッド管理部413の実行する処理は生成した新規スレッドの情報に関しての処理となる。新規スレッドの生成が必要と判定されない場合は、以降のスレッド管理部413の実行する処理は該当する既存スレッドの情報に関しての処理となる。
次にスレッド管理部413はS4014にて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。具体的にはコメント種別判定部411は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が手書きコメント情報であるか否かを判定し、判定結果をスレッド管理部413に送信する。そしてスレッド管理部413は受信した判定結果に基づいて、入力されたコメント情報が手書きコメント情報であるか否かを判定する。入力されたコメント情報が手書きコメント情報であった場合は、スレッド管理部413はS4015で、入力されたコメント情報を、手書きコメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。
S4014にて手書きコメント情報でなかった場合は、S4016にて入力されたコメント情報が電子コメント情報であるか否かを判定する。具体的にはコメント種別判定部411は入力されたコメント情報に含まれるコメント識別子を参照することでコメント情報が電子コメント情報であるか否かを判定し、判定結果をスレッド管理部413に送信する。そしてスレッド管理部413は受信した判定結果に基づいて、入力されたコメント情報が電子コメント情報であるか否かを判定する。
入力されたコメント情報が電子コメント情報であった場合は、スレッド管理部413はS4017で、入力されたコメント情報を、電子コメント情報としてスレッド表示できるようにスレッド情報のフォーマットに変換する。
S4016にて、電子コメント情報でなかった場合は入力されたのは参照ファイル情報であるから、S4018にてスレッド管理部413は参照ファイル情報を、スレッド表示できるようにスレッド情報のフォーマットに変換する。
スレッド管理部413はS4019にて、スレッド情報のフォーマット(図18の符号802、803参照)に変換されたコメント情報もしくは参照ファイル情報をスレッド情報に追加する。そしてスレッド管理部413は、スレッドヘッダを更新して、スレッド情報を記憶部403に記憶する。
なお、スレッド管理部413によって管理されるスレッド情報は、情報端末300によってサーバ400の記憶部403から読み出される場合がある。また、記憶部403に記憶されるオリジナルデータも情報端末300によって読み出され、スレッド情報が付加されて表示部304に表示される場合がある。この場合、サーバ400は記憶部403に記憶するスレッド情報ならびにオリジナルデータ700を情報端末300へ送信する。そして情報端末300の制御部302はオリジナルデータ700を電子掲示板座標系において表示し、そのオリジナルデータ700上にスレッド情報を重ねて表示する。
具体的には、制御部302は、スレッド情報のスレッドヘッダによって1スレッドを表示するために用いられるコメント情報ならびに参照ファイル情報を取得する。そして制御部302は、取得したコメント情報および参照ファイルのデータとタイプに基づいて、ビットマップあるいは文字列あるいは参照ファイルアクセスボタンの画像オブジェクトを生成する。また制御部302は、コメント情報および参照ファイル情報それぞれの座標情報(コメント座標、アクセスボタン座標)およびサイズ情報(コメントサイズ、アクセスボタンサイズ)を取得する。そして制御部302は、取得した座標情報およびサイズ情報に基づいて、生成した画像オブジェクトをオリジナルデータ700上に重畳表示すべく、オリジナルデータ700上に画像オブジェクトを合成した画像を生成する。そして制御部302は、合成された画像を表示部304に表示する。合成されて得られる画像データは、スレッド情報(コメント情報および参照ファイル情報)の各情報が入力された際の各情報の入力あるいは表示の位置関係が保たれた画像であり、1つのスレッドとしてスレッド状に表示される。このような表示をスレッド表示と呼ぶ。
図18のスレッド情報(スレッドヘッダ805(a)、コメント情報805(b)、参照ファイル情報805(c))がオリジナルデータ700にスレッド表示される場合、表示される画像は図25(a)に示されるような画像となる。つまり情報端末300がオリジナルデータ700とともにスレッド情報を読みだしてスレッド表示する場合、表示される画面の大きさには制限がないため、全てのスレッド情報をオリジナルデータ700に重ね合わせてスレッド表示する。このような場合、重畳処理部315は、スレッド情報の全てに対してコメント情報の「重畳対象」の情報を「重畳対象=1」としてスレッド表示する。スレッド情報の全てを表示するのか、一部を表示するのか(例えば先頭コメントからN個)をユーザ指示に基づいて切り替える構成をとってもよい。
(重畳表示)
本実施形態の電子掲示板システムにおいて、紙資料10に入力された手書きコメントは、ビットマップによって電子化される。そして、ビットマップ化された手書きコメントはオリジナルデータ700とともに情報端末300の表示部304に表示される。そして、手書きコメントに対して手書きコメントを追記したユーザあるいは他のユーザは情報端末300を介して電子コメントを追加することができる。
このような電子掲示板システムにおいて、紙資料10に手書き追記したユーザは、その手書きコメントに対する他のユーザからのコメントを見たい場合がある。または、手書きコメントが追加される前の紙資料10を配布されたユーザは、他のユーザによって既に追加されている手書きコメントあるいは電子コメントをすぐに見たい場合がある。このようなユースケースに応えるべく、紙資料10を情報端末300の撮像部306で撮像すると、撮像画像に手書きコメントや電子コメントなどが重畳された画像が、リアルタイムで表示部304に表示される処理について図20、21、25を用いて説明する。
図20は、重畳表示に関する情報端末300の処理を説明する図である。この処理により情報端末300は、撮像部306で撮像して表示部304に表示した紙資料10の画像に対し、記憶部303に記憶しているスレッド情報を、紙資料10の画像上の特徴パターンの位置に基づいて、重ね合わせて表示することができる。
S3051にて、撮像部306は紙資料10を撮像し、撮像画像(図25の符号3001)を制御部302の重畳処理部315へ送信する。そして制御部302の重畳処理部315は、撮像画像3001から特徴パターン(図25のパターン110)を探し、特徴パターンを検出したかを判定する。なお特徴パターンとは、パターンを検出した際に紙面座標系と電子掲示板座標系との対応関係をとることが可能となるパターンである。これにより、電子掲示板座標系で管理されているコメント情報のビットマップおよび文字列や参照ファイルアクセスボタンなどの画像オブジェクトを、撮像画像3001内の適切な位置に重畳して表示することができる。本実施形態における特徴パターンは図25の符号110に示されるようなパターンであるが、特徴パターンは人間にとって可視のものでも不可視のものであってもよい。なお撮像画像3001から特定の特徴パターンを検出するために、本実施形態では一例として拡張現実技術を利用する。
重畳処理部315が特徴パターンを検出した場合は、S3052にて、重畳処理部315は該特徴パターンの情報(特徴パターン情報)を含むスレッド情報取得要求を、サーバ400に対して送信する。
そしてS3053において重畳処理部315は、S3052での該特徴パターン情報の送信の応答としての情報をサーバ400から受信する。
次に、S3054にて、重畳処理部315は、S3053で受信した情報にスレッド情報が含まれているかどうかを判定する。すなわち、重畳処理部315はスレッド情報を受信したかを判定する。
スレッド情報を受信したと判定した場合は、S3055にて重畳処理部315は、受信したスレッド情報のコメント情報802毎に、コメント情報802に含まれる「重畳対象」の情報に基づいて重畳表示の対象となるコメント情報の画像オブジェクトを生成する。なお重畳処理部315は、コメント情報の画像オブジェクトを生成する際に、重畳表示の対象となるコメント情報のコメントIDを親コメントIDとして持つ参照ファイル情報について、参照ファイルアクセスボタンの画像オブジェクトを生成する。また重畳処理部315は、重畳表示の対象とならないコメント情報のコメントIDを親コメントIDとして持つ参照ファイル情報については、参照ファイルアクセスボタンの画像オブジェクトを生成せず、重畳対象とはしない。以上で生成される画像オブジェクトは、スレッド情報中の各座標情報に基づき、コメント情報およびファイル情報の互いの位置関係が保たれる位置に表示されるように生成されている。すなわち、図25(b)に示されるように手書きコメント721と電子コメント741、743、参照ファイルアクセスボタン742がスレッド状に並ぶことになる。
そして、S3056で重畳処理部315は生成した画像オブジェクトを、撮像部306で撮像した画像上の該特徴パターンの検知位置に基づく位置に重畳して、スレッド表示する。例えば、重畳処理部315は生成した画像オブジェクトを、特徴パターンの検知位置の座標に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。また例えば、重畳処理部315は生成した画像オブジェクトを、特徴パターンの検知位置の座標から所定の距離オフセットさせた座標位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。あるいは、重畳処理部315は、生成した画像オブジェクトを、画像オブジェクトの電子掲示板座標系における座標位置と検知位置特徴パターンの検知位置とに基づいて算出される位置に、画像オブジェクトの先頭コメントが表示されるようにスレッド表示をする。
S3054でスレッド情報を受信していないと判定した場合は、重畳処理部315は重畳すべき画像オブジェクトを生成しない。
図21は、重畳表示に関するサーバ400の処理を説明する図である。
S4051にて、制御部402は情報端末300からS3052のスレッド情報取得要求を受信したか否かを判定する。スレッド情報取得要求には重畳処理部315が検知した特徴パターンの情報を含む。
スレッド情報取得要求を受信した場合は、S4052にて、制御部402の特徴抽出部415は、オリジナルデータ700から、該受信した特徴パターン情報(パターン110)に対応するオリジナルデータ700内の領域を抽出する。特徴パターン情報(パターン110)に対応するオリジナルデータ700内の領域とは、パターン110の元となるオリジナルデータ700内の特徴パターンであるパターン710の座標位置の画像領域のことである。
次に、S4053にて制御部402は、スレッドヘッダのスレッド座標に基づいて、S4052で抽出した領域の電子掲示板座標系における座標位置から最も近い距離にあるスレッド情報を、スレッド管理部413の管理する複数のスレッド情報の中から検索する。
次に、S4054にて制御部402は、最近傍のスレッド情報の領域が特徴パターン(パターン710)の領域に対して予め定めた距離内に存在するか否かを判定する。具体的には、制御部402は、最近傍のスレッド情報に含まれるスレッドヘッダのスレッド座標と、S4052で抽出した領域の電子掲示板座標系における座標との距離が所定の閾値以内であるかを判定する。
S4054にて、「存在する」と判定された場合はS4055で制御部402は、S4053での検索結果であるスレッド情報を、S4051で受信したスレッド情報取得要求の応答として情報に含めると決定する。S4054にて、「存在しない」と判定された場合は、S4066にて制御部402は、S4051で受信したスレッド情報取得要求の応答としての情報にスレッド情報を含めないと決定する。
そして、S4057にて制御部402は、S4055あるいはS4056で決定されたように、スレッド情報取得要求の応答としての情報を情報端末300に送信する。
以上で説明した図20および図21の処理が実行されることにより、図25(b)のように撮像部306で撮像した撮像画像3001に対して手書きコメント、電子コメント、参照ファイルアクセスボタンをスレッド表示することができる。これによって、ユーザは、紙資料10を撮像するだけで、手書きコメントに対して追加された電子コメントを簡単に取得でき、また、スレッド表示されているのでコメント間の関係性をユーザは把握しやすくなる。
なお、上述した図20、21の処理フローは、情報端末300が撮像部306による撮像画像に対してスレッド情報を重畳表示させる場合の処理フローであって、図25(b)のような画像が表示部304に表示される。ここで、情報端末300は、前述した図25(a)のようにオリジナルデータ700に対してスレッド情報を重畳して表示させる表示モードと、図25(b)のように撮像画像3001に対してスレッド情報を重畳して表示させる表示モードとを選択するモード選択手段を有していてもよい。
<その他の実施形態>
以上の実施形態において、手書きコメント情報を入力する方法は超音波を発する電子ペン100を用いた座標計算によるものであったが別手法によるものであってもよい。すなわち、予め決まったドットパターンが印刷された特別な用紙に電子ペンで筆記し、電子ペンに付属された撮影部で軌跡に応じたドットパターンを読み取る。サーバは該特別な用紙のドットパターン情報を記憶しており、電子ペンから送信された軌跡情報を元に電子掲示板座標系で手書きコメントのビットマップを生成する。以上の方法であってもよい。
また、本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (11)

  1. オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、画像オブジェクトとして取得する手書きコメント取得手段と、
    前記手書きコメント情報を、ユーザ指示に基づいて選択する選択手段と、
    前記選択手段によって選択された手書きコメント情報に対する電子コメント情報を取得する電子コメント取得手段と、
    前記選択手段で選択された手書きコメント情報と、前記電子コメント取得手段で取得された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、
    前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像または前記オリジナル画像に、スレッド表示する表示手段と、
    を有する情報処理システム。
  2. 前記手書きコメント取得手段は、
    前記手書きコメント情報を、前記手書きコメント情報の座標情報と共に取得し、
    前記表示手段は、
    前記手書きコメント情報の座標情報に基づく位置に前記手書きコメント情報を表示し、前記表示された手書きコメント情報が前記選択手段によって選択されると、前記電子コメント情報を取得するための電子入力フォームを、前記選択された手書きコメント情報の表示位置に基づく位置に表示し、
    前記電子コメント取得手段は、
    前記電子入力フォームの表示位置を前記電子コメント情報の座標情報として、前記電子コメント情報の座標情報と共に前記電子入力フォームを介して入力される電子コメント情報を取得し、
    前記表示手段は、
    前記手書きコメント情報および前記電子コメント情報の座標情報に基づいて、前記スレッド情報をスレッド表示することを特徴とする請求項1に記載の情報処理システム。
  3. 前記表示手段は、
    前記表示された手書きコメント情報が前記選択手段によって選択された場合、前記電子入力フォームを、前記選択された手書きコメント情報の表示位置から所定の距離オフセットさせた位置に表示することで、前記手書きコメント情報の表示領域と前記電子入力フォームの表示領域とが重ならない位置に電子入力フォームを表示することを特徴とする請求項2に記載の情報処理システム。
  4. 前記電子入力フォームは、電子コメント情報とする文字列の入力を受け付ける文字列入力領域と、参照ファイル情報とする参照ファイルの添付の入力を受け付ける参照ファイル入力領域とを有することを特徴とする請求項2または3に記載の情報処理システム。
  5. 前記選択手段は、
    前記表示手段で表示された画像のうち、手書きコメント情報の表示領域をユーザ指示に基づいて選択することで手書きコメント情報を選択し、電子コメント情報の表示領域をユーザ指示に基づいて選択することで電子コメント情報を選択し、
    前記選択手段が、前記表示手段で表示された手書きコメント情報および電子コメント情報の表示領域のいずれも含まない表示領域をユーザ指示に基づいて選択した場合、
    前記表示手段は、電子入力フォームを表示し、
    前記電子コメント取得手段は、前記電子入力フォームを介して入力される電子コメント情報を取得し、
    前記スレッド管理手段は、スレッド情報を新規に生成し、前記取得された電子コメント情報を、前記生成された新規のスレッド情報に追加して管理し、
    前記選択手段が、前記表示手段で表示された手書きコメント情報または電子コメント情報の表示領域のいずれかを含む表示領域をユーザ指示に基づいて選択した場合、
    前記表示手段は、前記電子入力フォームを表示し、
    前記電子コメント取得手段は、前記電子入力フォームを介して入力される電子コメント情報を取得し、
    前記スレッド管理手段は、スレッド情報を新規に生成せずに、前記取得された電子コメント情報を、前記選択手段によって選択された表示領域に対応する手書きコメント情報または電子コメント情報が管理されているスレッド情報に追加して管理することを特徴とする請求項1記載の情報処理システム。
  6. 前記スレッド情報は、
    前記手書きコメント情報および前記電子コメント情報について、コメントの親子関係を示すコメント親子情報と、コメントを表示するコメント座標と、を有することを特徴とする請求項1記載の情報処理システム。
  7. 前記表示手段は、
    前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像上にスレッド表示する場合、前記スレッド情報に含まれる一部の手書きコメント情報または電子コメント情報を表示し、
    前記スレッド管理手段で管理されるスレッド情報を、前記オリジナル画像にスレッド表示する場合、前記スレッド情報に含まれる全ての手書きコメント情報または電子コメント情報を表示することを特徴とする請求項1記載の情報処理システム。
  8. 前記表示手段は、
    前記印刷物を撮像することによって得られる画像から特徴パターンを検出し、検出した特徴パターンに対応する領域のスレッド情報を、前記画像に重畳して表示することを特徴とする請求項1記載の情報処理システム。
  9. 情報処理システムを制御する制御方法であって、
    手書きコメント取得手段が、オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を、画像オブジェクトとして取得する手書きコメント取得工程と、
    選択手段が、前記手書きコメント情報を、ユーザ指示に基づいて選択する選択工程と、
    電子コメント取得手段が、前記選択工程によって選択された手書きコメント情報に対する電子コメント情報を取得する電子コメント取得工程と、
    スレッド管理手段が前記選択工程で選択された手書きコメント情報と、前記電子コメント取得工程で取得された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理工程と、
    表示手段が、前記スレッド管理工程で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像または前記オリジナル画像に、スレッド表示する表示工程と、
    を有する情報処理システムの制御方法。
  10. 請求項1乃至8の何れか1項に記載の各手段として、少なくとも1つ以上のコンピュータを機能させることを特徴とするコンピュータプログラム。
  11. オリジナル画像を印刷することで得られる印刷物に対しての手書きコメント情報を受信する受信手段と、
    前記受信手段で受信した手書きコメント情報を、画像オブジェクトに変換して取得する手書きコメント取得手段と、
    ユーザ指示に基づいて選択された手書きコメント情報に対する電子コメント情報を受信することで、前記電子コメント情報を取得する電子コメント取得手段と、
    前記手書きコメント取得手段で取得された手書きコメント情報と、前記電子コメント取得手段で取得された電子コメント情報とを、スレッド情報として関連付けて管理するスレッド管理手段と、
    前記スレッド管理手段で管理されるスレッド情報を、前記印刷物を撮像することによって得られる画像または前記オリジナル画像に前記スレッド情報をスレッド表示する表示手段に対して送信する送信手段と、
    を有する情報処理装置。
JP2012055001A 2012-03-12 2012-03-12 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム Expired - Fee Related JP5979918B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012055001A JP5979918B2 (ja) 2012-03-12 2012-03-12 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム
US13/790,339 US20130238731A1 (en) 2012-03-12 2013-03-08 Information processing system, method for controlling the same, information processing apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012055001A JP5979918B2 (ja) 2012-03-12 2012-03-12 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2013190868A true JP2013190868A (ja) 2013-09-26
JP2013190868A5 JP2013190868A5 (ja) 2015-04-30
JP5979918B2 JP5979918B2 (ja) 2016-08-31

Family

ID=49115072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012055001A Expired - Fee Related JP5979918B2 (ja) 2012-03-12 2012-03-12 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム

Country Status (2)

Country Link
US (1) US20130238731A1 (ja)
JP (1) JP5979918B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773231B2 (en) 2013-05-29 2017-09-26 Evernote Corporation Content associations and sharing for scheduled events
WO2015020730A1 (en) * 2013-08-06 2015-02-12 Evernote Corporation Calendar with automatic display of related and meeting notes
US10545638B2 (en) 2013-09-16 2020-01-28 Evernote Corporation Automatic generation of preferred views for personal content collections
DE102016010528A1 (de) * 2016-08-25 2018-03-01 Staedtler Mars Gmbh & Co. Kg Eingabesystem
CN107729894B (zh) * 2017-10-23 2021-08-03 青岛罗博数码科技有限公司 智能页码检测方法及检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101114A (ja) * 1999-09-29 2001-04-13 Casio Comput Co Ltd 電子掲示板システム、情報処理装置および記録媒体
JP2005202596A (ja) * 2004-01-14 2005-07-28 Fuji Xerox Co Ltd 電子付箋管理装置
JP2005228262A (ja) * 2004-02-16 2005-08-25 Fuji Xerox Co Ltd アノテーション管理プログラム、アノテーション管理装置
JP2005293239A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd 情報共有装置及び情報共有方法
JP2011043895A (ja) * 2009-08-19 2011-03-03 Fuji Xerox Co Ltd 文書処理装置、及び文書処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7111230B2 (en) * 2003-12-22 2006-09-19 Pitney Bowes Inc. System and method for annotating documents
US20070009184A1 (en) * 2005-07-05 2007-01-11 Bhogal Kulvir S Associating attributes to captured input within a digital pen

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101114A (ja) * 1999-09-29 2001-04-13 Casio Comput Co Ltd 電子掲示板システム、情報処理装置および記録媒体
JP2005202596A (ja) * 2004-01-14 2005-07-28 Fuji Xerox Co Ltd 電子付箋管理装置
JP2005228262A (ja) * 2004-02-16 2005-08-25 Fuji Xerox Co Ltd アノテーション管理プログラム、アノテーション管理装置
JP2005293239A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd 情報共有装置及び情報共有方法
JP2011043895A (ja) * 2009-08-19 2011-03-03 Fuji Xerox Co Ltd 文書処理装置、及び文書処理プログラム

Also Published As

Publication number Publication date
JP5979918B2 (ja) 2016-08-31
US20130238731A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP5979918B2 (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、コンピュータプログラム
US11243670B2 (en) Information processing system, information processing apparatus, information processing method and non-transitory computer readable medium
JP2012027908A (ja) 視覚処理装置、視覚処理方法、および、視覚処理システム
JP4542050B2 (ja) ディジタルペン入力システム
US8804204B2 (en) Password generating system and method, and non-transitory computer readable medium
US9442576B2 (en) Method and system for combining paper-driven and software-driven design processes
JP6066706B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP4741363B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2014119923A (ja) 電子掲示板システム及び電子掲示板の制御方法
JP2014238663A (ja) 情報処理システムおよびその制御方法、並びにプログラム
JP2006119713A (ja) 編集端末装置、プログラム及び電子ペン用帳票
JP2009296163A (ja) 情報処理装置、情報処理方法及びプログラム
JP2016192060A (ja) サーバプログラム、情報管理方法、及びサーバ装置
JP5906608B2 (ja) 情報処理装置及びプログラム
JP2014142883A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2014127008A (ja) 情報処理装置及び情報処理システム
JP5440054B2 (ja) 操作シート作成システム、及びそのプログラム
JP5673128B2 (ja) 可変印刷検査装置及び可変印刷検査プログラム
JP4990704B2 (ja) 文書位置情報処理システム及び文書位置情報処理方法
JP2009282700A (ja) 情報処理装置、情報処理システム、及びプログラム
JP2024033315A (ja) 情報処理装置及び情報処理プログラム
JP2007188159A (ja) 処理装置、プログラム及び電子ペン用帳票
JP5251252B2 (ja) 情報処理装置、文書管理システム、及びプログラム
JP2010231662A (ja) 情報処理システムおよびプログラム
JP2016014978A (ja) エアタグ登録管理システム、エアタグ登録管理方法、エアタグ登録プログラム、エアタグ管理プログラム、エアタグ提供装置、エアタグ提供方法及びエアタグ提供プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160726

R151 Written notification of patent or utility model registration

Ref document number: 5979918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees