JP2015069284A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2015069284A
JP2015069284A JP2013201034A JP2013201034A JP2015069284A JP 2015069284 A JP2015069284 A JP 2015069284A JP 2013201034 A JP2013201034 A JP 2013201034A JP 2013201034 A JP2013201034 A JP 2013201034A JP 2015069284 A JP2015069284 A JP 2015069284A
Authority
JP
Japan
Prior art keywords
image
stroke
unit
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013201034A
Other languages
English (en)
Other versions
JP2015069284A5 (ja
Inventor
基倫 江森
Mototsugu Emori
基倫 江森
友介 佃
Yusuke Tsukuda
友介 佃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013201034A priority Critical patent/JP2015069284A/ja
Priority to US14/480,955 priority patent/US9754559B2/en
Publication of JP2015069284A publication Critical patent/JP2015069284A/ja
Publication of JP2015069284A5 publication Critical patent/JP2015069284A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G1/00Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data
    • G09G1/06Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data using single beam tubes, e.g. three-dimensional or perspective representation, rotation or translation of display pattern, hidden lines, shadows
    • G09G1/07Control arrangements or circuits, of interest only in connection with cathode-ray tube indicators; General aspects or details, e.g. selection emphasis on particular characters, dashed line or dotted line generation; Preprocessing of data using single beam tubes, e.g. three-dimensional or perspective representation, rotation or translation of display pattern, hidden lines, shadows with combined raster scan and calligraphic display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Abstract

【課題】ストロークを再編集することができる電子情報ボードシステムを提供する。
【解決手段】 ファイル変換部43により、背景画像(D)及びストローク画像(B)のそれぞれの画像データとともにストロークデータが電子ファイルに記録される。電子ファイルは、電子黒板内のファイル管理部、電子黒板に接続されるUSBメモリ5等に保存される。また、電子メール等により他のパーソナルコンピュータ等に送信することもできる。保存された電子ファイルはファイル入力部42a等により読み取られ、ストロークデータが抽出される。従って、そのストロークデータを用いて先にユーザが電子ペン等を用いて入力操作することで描画したストロークを再現し、さらにそのストロークデータを入力操作により編集することでストロークを加工することが可能となる。
【選択図】図10

Description

本発明は、背景画像をディスプレイに表示するとともに、ユーザの入力操作により描画されるストローク画像を前記背景画像の上に重ねて前記ディスプレイに表示する画像処理装置に関する。
企業、教育機関、行政機関等において、大型ディスプレイに背景画像を表示し、その上にユーザが描く文字、図形、記号等のストローク画像を重ねて表示する画像処理装置(いわゆる電子黒板)が利用されている。
電子黒板の一例として、特許文献1には、画像を表示する表示装置とその表示装置を制御するコンピュータ装置とから構成される電子情報ボードシステムが採用されている。表示装置(の画面)にはタッチパネルが設けられている。この電子情報ボードシステムでは、コンピュータ装置が、表示装置に背景画像を表示し、その背景画像に重ねてユーザが表示装置上で描くストロークをタッチパネルにより検出し、そのストロークを画像(ストローク画像)として再生して背景画像の上に重ねて表示装置に表示する。表示装置に表示された背景画像とストローク画像は、1つの画像(合成画像)に合成されて、BMPフォーマット等の画像フォーマットによりUSBメモリ等の記録媒体に保存することができる。
しかし、従来の電子情報ボードシステムでは、記録媒体に保存した合成画像を加工、編集、印刷する等、2次利用することはできるが、背景画像と合成されたストローク画像に対してストロークの加筆、削除、変更する等、ストローク画像を再編集することができなかった。
本発明は上述した課題を解決するものであり、先に作成したストローク画像を再編集することのできる電子情報ボードシステム(画像処理装置)を提供することを目的とする。
本発明は、背景画像を表示装置に表示するとともに、ユーザの入力操作により描画されるストロークを再現するストローク画像を前記背景画像の上に重ねて前記表示装置に表示する画像処理装置であって、前記背景画像の画像データと、前記入力操作により入力されるストロークに関するストロークデータと、を電子文書に記録する記録手段と、前記電子文書を読み取る読み取り手段と、前記背景画像の画像データを用いて前記背景画像を前記表示装置に表示するとともに、前記ストロークデータを用いて前記ストローク画像を再生し、前記背景画像の上に重ねて前記表示装置に表示する表示手段と、前記入力操作に従って前記ストロークデータを編集する編集手段と、を備える画像処理装置である。
本発明の画像処理装置は、上記構成を採用することにより、そのストロークデータを用いて先にユーザの入力操作により描かれたストロークを再現して表示装置に表示し、さらに、そのストロークデータを入力操作により編集することでストロークを加工することが可能となるという効果を奏する。
本実施形態の画像処理システムの全体構成図である。 電子黒板のハードウェア構成図である。 電子黒板の機能ブロック図である。 画像レイヤの構成図である。 ページデータを示す概念図である。 ストロークデータを示す概念図である。 座標配列データを示す概念図である。 メディアデータを示す概念図である。 遠隔ライセンス管理テーブルを示す概念図である。 ファイル処理部の機能ブロック図である。 PDFファイルにより再生される画像のレイヤ構成の一例を示す概念図である。 PDFファイルにより再生される背景画像のレイアウトの一例を示す概念図である。 一時保存ファイルの管理テーブルを示す概念図である。 一時保存ファイルの保存状態を示す概念図である。 一時保存ファイルを検索し、読み出す手順を示すフローチャートである。 アドレス帳管理テーブルを示す概念図である。 バックアップデータを示す概念図である。 接続先管理テーブルを示す概念図である。 参加拠点管理テーブルを示す概念図である。 サーバ部及び送信制御部の機能ブロック図である。 操作データを示す概念図である。 遠隔共有処理の開始及び参加処理のフローを示すシーケンス図である。 遠隔共有処理における画像データの共有処理のフローを示すシーケンス図である。 遠隔共有処理における操作データの共有処理のフローを示すシーケンス図である。 遠隔共有処理への参加を終了する処理のフローを示すシーケンス図である。
以下、本発明の一実施形態を、図1〜図25を用いて説明する。
画像処理システム1の概要について説明する。
図1に、本実施形態の画像処理システム1の構成を示す。画像処理システム1は、通信ネットワーク9を介して相互に通信可能に接続された複数(図1の例では2つ)の電子黒板2a,2bとパーソナルコンピュータ(PC)8とから構成される。なお、2に限らず3以上の電子黒板を含んで画像処理システム1を構成してもよい。
電子黒板2a(2b)は、ディスプレイ3a(3b)を有する。なお、ディスプレイ3a(3b)には、電子ペン4a(4b)、USBメモリ5a(5b)等が付随する。電子黒板2a(2b)には、ノートPC6a(6b)、テレビ(ビデオ)会議端末7a(7b)等が接続されている。
ディスプレイ3a(3b)は、層状に配設された複数の表示パネル(レイヤ)を有するマルチレイヤーディスプレイであり、複数のレイヤのそれぞれに異なる画像を表示することでそれら複数の画像が重畳してなる1つの画像をユーザに向けて表示する(図4参照)。また、ディスプレイ3a(3b)は、その画面上での電子ペン4a(4b)のペン先又はペン尻による接触(タッチ)等のイベントを検出し、そのイベントにより描画される画像を画面上に表示することができる。ディスプレイ3a(3b)は、ユーザの手Ha(Hb)等によるフリック、ピンチといったジェスチャを検出し、画面上に表示されている画像を拡大、縮小、及びページめくり(変更)することもできる。
ディスプレイ3a(3b)には、USBメモリ5a(5b)を接続することができる。電子黒板2a(2b)は、ディスプレイ3a(3b)に接続されたUSBメモリ5a(5b)からPDFファイル等の電子ファイルを読み出すこと、USBメモリ5a(5b)に電子ファイルを書き込むことができる。
ノートPC6a(6b)は、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)、VGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1(10b1)を介して、電子黒板2a(2b)に接続されている。これにより、ディスプレイ3a(3b)により検出されたイベント情報(イベントの検出結果)を、ノートPC6a(6b)に送信することができる。また、テレビ(ビデオ)会議端末7a(7b)も、同様の規格による通信が可能なケーブル10a2(10b2)を介して、電子黒板2a(2b)に接続されている。なお、ノートPC6a(6b)及びテレビ会議端末7a(7b)は、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信を介して電子黒板2a(3b)に接続してもよい。
上述の構成の画像処理システム1において、2つの電子黒板2a,2bは通信ネットワーク9を介して相互に通信することで、例えば、電子黒板2aのディスプレイ3a上で描画された画像を電子黒板2bのディスプレイ3b上に表示することができる。また、電子黒板2bのディスプレイ3b上で描画された画像を電子黒板2aのディスプレイ3a上に表示することもできる。このように、画像処理システム1では、遠く離れた2つの電子黒板2a,2bの間で同じ画像を共有する遠隔共有処理を行うことができる。
なお、以下の説明では、複数の電子黒板のうちの任意の電子黒板を示す場合、単に「電子黒板2」と記す。同様に、「ディスプレイ3」、「電子ペン4」、「USBメモリ5」、「ノートPC6」、「テレビ会議端末7」、「手H」、及び「ケーブル10」と記す。
電子黒板2のハードウェア構成について説明する。
図2に、電子黒板2のハードウェア構成を示す。電子黒板2は、その全体の動作を制御するCPU101、CPU101の駆動に用いられるIPL等のプログラムを記憶するROM102、CPU101のワークエリアとして使用されるRAM103、プログラム等の各種データを記憶するSSD104、通信ネットワーク9(図1参照)を介した他の電子黒板等との通信を制御するネットワークコントローラ105、ディスプレイ3に接続されるUSBメモリ5との通信を制御する外部記憶コントローラ106、ノートPC6のディスプレイ上に映像情報を静止画又は動画として表示するキャプチャデバイス111、グラフィクスに必要な画像データ処理を行うGPU(Graphics Processing Unit)112、GPU112からの出力画像をディスプレイ3、テレビ会議端末7等に表示するために画面表示の制御及び管理を行うディスプレイコントローラ113、ディスプレイ3上への電子ペン4、ユーザの手H等の接触(タッチ)を検知する接触センサ115、接触センサ115を制御するセンサコントローラ114、及び電子ペン4と通信してそのディスプレイ3上へのタッチを検知する電子ペンコントローラ116を備える。
上記の構成各部のうち、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116は、電気的に接続するためのアドレスバス、データバス等のバスライン120に接続されている。
接触センサ115は、赤外線走査方式(赤外線遮断検出方式とも呼ぶ)により、電子ペン4等によるディスプレイ3上での入力操作及びその位置座標を検出する。赤外線遮断検出方式では、例えば、ディスプレイ3の上側両端部に配置された2つ受発光装置(不図示)が、画面に平行に複数の赤外線を放射し、画面の周囲に配置された反射部材によって反射される光を受光する。ここで、電子ペン4等が画面に接触すると2つ受発光装置が放射する各1つの赤外線の光路が遮られ、それら赤外線の遮断が2つの受発光装置によりそれぞれ検知される。接触センサ115は、遮断された赤外線を特定し、そのID(Identification)をセンサコントローラ114に出力する。センサコントローラ114は、受信したIDを用いて、画面上での電子ペン4等の接触(すなわち入力操作)及びその位置座標を特定する。
なお、接触センサ115の検出方式として、赤外線遮断検出方式に限らず、静電容量の変化を検知することにより入力操作及びその位置座標を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化を検知する抵抗膜方式のタッチパネル、専用の電子ペンと画面との間で生じる電磁誘導を検知する電磁誘導方式のタッチパネル等、種々の検出方式を採用してもよい。
なお、電子ペンコントローラ116は、電子ペン4のペン先及びペン尻によるディスプレイ3上へのタッチの有無を検知することとするが、これに限らず、握持部、その他の部分によるタッチの有無も検知することとしてもよい。
なお、SSD104に記録したプログラム等の各種データは、CD−ROM等の記録媒体に記録することとしてもよい。
電子黒板2の機能構成について説明する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」になるとともに、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなる。
図3に、電子黒板2の全体的な機能構成を示す。電子黒板2の機能は、クライアント部20及びサーバ部90に大別される。これらの機能は、先述のハードウェア構成における構成各部及びプログラム(図2参照)の集合によって構成される。ここで、サーバ部90は、遠隔共有処理における必要な情報等のサービスをネットワークを介してクライアント部20に提供することでその遠隔共有処理を主催する。一方、クライアント部20は、サーバ部90から遠隔共有処理に係るサービスを受けることでその遠隔共有処理に参加する。
なお、本実施形態の電子黒板2は、クライアント部20及びサーバ部90の両機能を備える。従って、画像処理システム1を構成する電子黒板2a,2bのいずれもが、参加装置になるとともに主催装置になることができる。ただし、主催装置になる電子黒板2ではクライアント部20及びサーバ部90の両機能が起動するのに対して、参加装置となる電子黒板2ではクライアント部20のみが起動する。従って、例えば電子黒板2aが主催装置、電子黒板2bが参加装置の場合、遠隔共有処理において、電子黒板2a内のサーバ部90が処理に係るサービスを提供し、電子黒板2a内のクライアント部20は同じ電子黒板2aのサーバ部90を介して電子黒板2bのクライアント部20と通信し、電子黒板2bのクライアント部20は電子黒板2aのサーバ部90を介して電子黒板2aのクライアント部20と通信する。
クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
映像取得部21は、ケーブル10を介して電子黒板2に接続されたノートPC6等の映像出力機器からの出力映像(画像信号)を取得する。また、取得した画像信号を解析して、映像出力機器の表示画像(画像フレーム)の解像度、更新頻度等の画像情報を抽出する。取得された画像信号及び画像情報は、画像処理部30(画像取得部31)に出力される。
座標検知部22は、ユーザにより生成されるイベント(ディスプレイ3上での電子ペン4のペン先又はペン尻によるタッチ等)の位置座標を検出する。また、座標検知部22は、タッチされたディスプレイ3上のエリアの面積を検出する。これらの検出結果は、イベント振分部25に出力される。
自動調整部23は、電子黒板2の起動時に起動され、座標検知部22がタッチ等のイベントの位置座標を十分な分解能で検出できるように、接触センサ115の赤外線走査方式における信号処理等の各種パラメータを調整する。
接触検知部24は、ユーザにより生成されるイベント(ディスプレイ3上での電子ペン4のペン先又はペン尻によるタッチ等)を検出する。その検出結果は、イベント振分部25に出力される。
イベント振分部25は、座標検知部22によって検出されたイベントの位置座標に基づいて、接触検知部24によって検出されたイベントをストローク描画、UI操作、及びジェスチャ操作のいずれかに振り分けて判別し、それぞれ画像処理部30(ストローク処理部32)、操作処理部26、及びジェスチャ処理部27に出力する。
ここで、ストローク描画は、ディスプレイ3に後述するストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、その状態で電子ペン4をディスプレイ3上で滑らせ、最後にディスプレイ3上から電子ペン4を離すことで、ディスプレイ3上にストローク(線画)を描画するイベントである。なお、ストローク描画には、ストロークを描画するだけでなく、既に描画されたストロークを削除するイベント、描画されたストロークを編集するイベント等も含まれる。
UI操作は、ディスプレイ3に後述するUI画像(A)が表示されている場合に、ユーザが電子ペン4、手H等により所定の位置を押下するイベントである。UI操作により、例えば、電子ペン4により描画される線の色、幅等が設定される。
ジェスチャ操作は、ディスプレイ3上に後述するストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上にタッチし、スライドすることでフリック、ピンチといったジェスチャをするイベントである。ジェスチャ操作により、例えば、画像の拡大(若しくは縮小)、表示領域の変更、又はページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判別されたイベントを受信し、そのイベントが生じたUIの要素に従って上述の各種操作を実行する。UIの要素として、例えば、ボタン、リスト、チェックボックス、テキストボックス等がある。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判別されたイベントを受信し、それに対応する操作(画像の拡大若しくは縮小、表示領域の変更、又はページ切り換え等)を実行する。
映像重畳部28は、後述する画像処理部30(表示重畳部36)で重畳(レイアウト)された画像をディスプレイ3に表示する。また、映像重畳部28は、例えば、映像出力機器(ノートPC6等)から画像処理部30を介して送られる映像をディスプレイ3の全体に表示するとともに、他の映像出力機器(テレビ会議端末7等)から送られる映像をディスプレイ3の一部に別表示する(ピクチャ・イン・ピクチャと呼ぶ)。また、そのピクチャ・イン・ピクチャされた表示をディスプレイ3の全体に表示する表示の切り換えを行う。
画像処理部30は、画像(画像レイヤ)の重畳処理等を行う。画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、及び一時保存データ記憶部38、並びにページデータ記憶部300、遠隔ライセンス管理テーブル310、及びファイル管理部320を有する。
画像取得部31は、映像取得部21により取得された出力映像からそれに含まれるフレームのそれぞれを画像として取得し、表示重畳部36に出力する。なお、この画像は、図4に示す映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
ストローク処理部32は、イベント振分部25によってストローク描画(電子ペン4、手H等を用いてのストロークの描画)と判別されたイベントを受信し、そのストロークを再現する画像(ストローク画像)を生成、削除、及び編集して、その画像データ及びストロークデータを表示重畳部36及びページ処理部37に出力する。このストロークにより描画される画像は、図4に示すストローク画像(B)に相当する。なお、ストローク処理部32は、ページ処理部37等を介してストロークデータを読み取り、そのストロークデータを用いて再度ストローク画像を生成、削除、及び編集することもできる。また、ストローク画像の生成、削除、及び編集の各結果は、操作データ記憶部840に操作データとして記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成し、表示重畳部36に出力する。なお、このUI画像は、図4に示すUI画像(A)に相当する。
背景生成部34は、ディスプレイ3上に表示される背景画像を生成し、表示重畳部36及びページ処理部37に出力する。また、後述するように、ページ処理部37がページデータ記憶部300から読み出すページデータに含まれる背景画像(メディアデータ)を受信する。なお、この背景画像は、図4に示す背景画像(D)に相当する。背景画像のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、画像取得部31及びストローク処理部32から出力される出力画像(C)及びストローク画像(B)をUI画像生成部33及び背景生成部34から出力されるUI画像(A)及び背景画像(D)に対してどうレイアウトするか(どの位置に表示するか)又は非表示にするかを指示するレイアウトに関する情報(レイアウト情報)を管理する。そのレイアウト情報は、表示重畳部36に出力される。
表示重畳部36は、レイアウト管理部35から出力されるレイアウト情報に従って、UI画像生成部33から出力されるUI画像(A)、ストローク処理部32から出力されるストローク画像(B)、画像取得部31から出力される出力画像(C)、及び背景生成部34から出力される背景画像(D)をレイアウトし、順にディスプレイ3の手前(ユーザ側)から1つめ〜4つめの表示パネル(レイヤ)にそれぞれ表示する。それにより、4つの画像は、図4に示すように、ユーザ側からUI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の順に重なって表示される。
なお、表示重畳部36は、出力画像(C)と背景画像(D)とのそれぞれを、レイアウト管理部35から出力されるレイアウト情報に従って適宜非表示にすることもできる。例えば、映像出力機器(ノートPC6等)の接続が切れた場合、出力画像(C)を非表示にし、UI画像(A)、ストローク画像(B)、及び背景画像(D)をディスプレイ3の手前(ユーザ側)から1つめ、2つめ、及び4つめの表示パネル(レイヤ)にそれぞれ表示する。それにより、3つの画像は、ユーザ側からUI画像(A)、ストローク画像(B)、及び背景画像(D)の順に重なって表示される。また、表示重畳部36は、画像の表示領域の拡大、縮小、及び移動の各処理も行う。
ページ処理部37は、ストローク処理部32から出力されるストローク画像(B)(の画像データ及びストロークデータ)と背景生成部34から出力される背景画像(D)とをページ単位で1つのページデータにまとめてページデータ記憶部300に記憶する。また、ページ処理部37は、一旦記憶したページデータを読み出し、それに含まれるストローク画像(B)(のストロークデータ)を再編集するためにストローク処理部32に出力し、背景画像(D)をディスプレイ3に再表示するために背景生成部34に出力する。また、ページ処理部37は、記録したページデータを削除及び複製する。
図5に、ページデータの一例を示す。ページデータは、ディスプレイ3に表示される1ページ分のデータ、すなわち後述するストローク画像(B)をディスプレイ3に表示するためのストローク配列データ(各ストロークデータ)及び後述する背景画像(D)をディスプレイ3に表示するためのメディアデータである。ページデータは、ページを識別するページデータID、そのページの表示を開始した時刻(開示時刻)、ストローク、ジェスチャ等によりページデータの更新が終了した時刻(終了時刻)、電子ペン4、手H等を用いてのストロークによって生成されるストローク配列データを識別するストローク配列データID、及びメディアデータを識別するメディアデータIDを含む。
図6に、ストローク配列データの一例を示す。1つのストローク配列データは、複数のストロークデータから構成される。ストロークデータは、電子ペン4を用いて描かれるストローク毎に生成される。従って、アルファベット「S」を描く場合、1ストロークを要するため、1つのストロークデータよりそのストロークが再現される。また、アルファベット「T」を描く場合、2ストロークを要するため、2つのストロークデータよりそのストロークが再現される。
各ストロークデータは、そのストロークデータを識別するストロークデータID、そのストロークの書き始めの時刻(開始時刻)及び書き終わりの時刻(終了時刻)、ストロークの色、幅、及び通過点に関する情報を含む座標配列データを識別する座標配列データIDから構成される。
図7に、座標配列データの一例を示す。座標配列データは、1つのストロークに対応して、その開始から終了までの一定時間毎にそのストロークが通過した複数の通過点に関する情報を含む。座標配列データは、ディスプレイ3上の位置座標(X座標値及びY座標値)、その位置座標上の点をストロークが通過した時刻(ストロークの開示時刻に対する差分時刻)、及び電子ペン4の筆圧から構成される。
図8に、メディアデータの一例を示す。メディアデータは、ページデータを記録する際にディスプレイ3に表示されていた画像(ストローク画像(B)及び背景画像(D))に関するデータであり、データの種類、記録時刻、レイアウトに関するデータ(レイアウトデータと呼ぶ)、及び画像データを含む。ここで、レイアウトデータは、ディスプレイ3上の表示位置(X,Y)及び画像のサイズ(幅、高さ)を含む。なお、表示位置(X,Y)は、ディスプレイ3の左上端(0,0)を基準にして画像の左上端の表示位置を与える。また、ストローク画像(B)の画像データは例えばISF(Ink Serialized Format)形式のデータであり、背景画像(D)の画像データは例えばJPGフォーマットである。なお、例えば、ディスプレイ3上に背景画像(D)は表示されず、ストローク画像(B)のみが表示されている場合には、そのストローク画像(B)のデータのみがメディアデータに含まれ、ディスプレイ3上に背景画像(D)とストローク画像(B)との両方が表示されている場合にはそれらの両方のデータがメディアデータに含まれる。
ファイル処理部40(後述するファイル変換部43)は、ページデータ記憶部300にページ単位で記憶されているページデータ(図5参照)を読み出し、それに含まれるストローク配列データと、ストローク画像(B)及び背景画像(D)の画像データと、レイアウトデータ(図8参照)と、これらの画像を重ね表示するためのレイヤ構造に関する情報(レイヤ情報)と、をPDFフォーマットにおいて1つの電子ファイル(PDFファイルと呼ぶ)に変換する。ここで、ストローク配列データは、ZIPフォーマット等により圧縮して、PDFファイルのページに取り込まれる(埋め込まれる)。また、ストローク配列データから座標配列データを抽出し、そのデータに基づいてストロークの通過点を結ぶ直線(パス)をPDFファイルのページ上に描画することで、ストロークを再現する。なお、ページデータ記憶部300に複数のページデータが記憶されている場合、それぞれ個別に(すなわちページ単位で)複数のPDFファイルに又はまとめて1つのPDFファイルに変換される。変換されたPDFファイルは、一時保存データ記憶部38及び後述するバックアップ処理部46に出力される。
なお、PDFファイルにおいては、ストロークは直線の集合(マルチライン)又はベジエ曲線として再現されるため、ストローク配列データ(に含まれる座標配列データ(図7参照))からより多くの座標配列データを抽出することとしてもよい。例えば、ファイル変換部43は、座標配列データの座標値に所定の倍率(例えば6倍)をかけ、その倍率倍された座標配列データを補間してストロークの通過点の座標値を抽出し、その抽出された座標値を1/6倍することで、より多くの座標配列データを取得することができる。
PDFファイルは、汎用のPDFビューア(ビューイングソフト)により、記憶された画像を再生することができる。図11に、画像の再生の一例を示す。PDFビューアは、レイヤ情報に従って、ストローク画像(B)の画像データを用いてストローク画像(B)を上層(手前)に配置し、背景画像(D)の画像データを用いて背景画像(D)を下層(奥)に配置し、レイアウトデータ(位置(X座標値、Y座標値)、幅、高さ)に従ってストローク画像(B)と背景画像(D)をレイアウトして、再生する。ここで、背景画像(D)は、図12に示すように、例えばサイズ1920×1080ピクセルの表示画面に対して、そのページ中央に配置され、アスペクト比を保存して表示画面にフィットするよう最大限拡大してレイアウトされる。図12(A)の例では背景画像の高さが、図12(B)の例では背景画像の幅が、表示画面にフィットするよう拡大されている。
なお、図11の例では、PDFファイルに1ピクセルのBMP形式の背景色画像がさらに記憶され、その背景色画像が拡大して最下層(背景画像(D)の下)に再生される。また、PDFファイルに埋め込まれたストローク配列データ(ストロークデータ)はPDFビューアにより再生されることはない。
一時保存データ記憶部38は、ファイル処理部40(後述するファイル変換部43)及び後述するファイル入力部42aからPDFファイルを受信し、ファイル管理部320に一時的に保存する。このとき、ユーザが電子ペン4等を用いて指定する識別コード又は予め定められた識別コードがPDFファイルに付与される。
図13に、ファイル管理部320に一時的に保存されるPDFファイル(一時保存ファイル)の管理テーブルの一例を示す。管理テーブルには、一時保存ファイルの識別コード、保存期間、保存日時、ファイルに記録されているページ数、ファイルサイズ、ファイルパス等が記録される。ここで、識別コードは、それぞれの一時保存ファイルに紐付けて付与されるコードであり、本実施形態では4桁の数字により与えられる。なお、4桁の数字は、ファイルを保存する月日、ユーザの社員番号等、任意に選択することができる。識別コードは、一時保存ファイルをダウンロードする際にも使用される。保存期間は一時保存ファイルを保存する期間であり、この期間を過ぎると、セキュリティのため、一時保存ファイルは一時保存データ記憶部38により消去される。ファイルパスは、電子黒板2を構成するハードディスク(不図示)内で一時保存ファイルが保存された場所を示す。
本実施形態では、識別コードに従って、一時保存ファイルの保存場所が決められる。具体的には、図14に示すように、所定のパス(C:\Users\cbsuser\AppData\…\IWB\IWBMeetingFiles\)下に設けられた識別コードと同じ名前のフォルダ(8930, 1092, 9892)内に、一時保存ファイル(iwb-20130713-102110.pdf等)が保存される。
なお、1つのフォルダ内に保存される一時保存ファイルは1つに限らず、複数でもよい。例えば、ファイルを保存する日付を用いて識別コードを与える場合、電子黒板2を使用する日毎に保存用のフォルダが生成され、同日内に作成されたPDFファイルが全て同じフォルダ内に保存されることになる。この場合、電子黒板2の使用日をキーにして一時保存ファイルを検索することができる。或いは、電子黒板2を使用するユーザの社員番号を用いて識別コードを与える場合、ユーザ毎に保存用のフォルダが生成され、そのユーザにより作成されたPDFファイルは全て同じフォルダ内に保存されることになる。この場合、ユーザの社員番号をキーにして一時保存ファイルを検索することができる。このように、識別コードを用いることで、一時保存ファイルを容易に検索することができる。
ファイル管理部320にPDFファイルが保存されると、UI画像生成部33によりそれぞれのファイルを示すUI画像(アイコン)が生成され、表示重畳部36及び映像重畳部28を介してディスプレイ3に表示される。ユーザは、電子ペン4等を用いてディスプレイ3上で入力操作して、アイコン(PDFファイル)を選択する。PDFファイルが選択されると、後述するようにそのファイルが読み出される(ダウンロードされる)。
また、識別コードを用いて目的のPDFファイルを検索することもできる。図15のフローチャートに、一時保存ファイルを検索し、読み出す手順を示す。ユーザが電子黒板2上で検索ツールを起動し、電子黒板2に割り当てられているURL(通常IPアドレス)を電子ペン4等を用いて入力することで、手順が開始する。ステップS101では、電子黒板2(一時保存データ記憶部38)がディスプレイ3に検索画面を表示する。ユーザは、その検索画面において電子ペン4等を用いて識別コードを入力する。ステップ103では、一時保存データ記憶部38は、入力された識別コードが正しいか、例えば所定の書式(4桁の数字)に従っているか判断する。正しいと判断された場合、ステップ104に進む。正しくないと判断された場合、ステップ105に進み、一時保存データ記憶部38は検索画面にエラーメッセージを表示して、手順を終了する。ステップ104では、一時保存データ記憶部38は、一時保存ファイルの管理テーブル(図13参照)を参照して、識別コードに紐付く一時保存ファイル(PDFファイル)が存在するか確認する。一時保存ファイルが存在する場合、ステップ106に進む。一時保存ファイルが存在しない場合、ステップ105に進み、一時保存データ記憶部38は検索画面にエラーメッセージを表示して、手順を終了する。ステップ106では、一時保存データ記憶部38は、管理テーブルにおいて管理されている一時保存ファイルのうち識別コードに紐付くファイルの一覧を検索画面に表示する。ここで、共通の識別コードが複数の一時保存ファイルに付与されている場合、それらの一覧が表示されることとなる。ユーザは、その一覧から目的のPDFファイルを電子ペン4等を用いて選択する。ステップ107では、一時保存データ記憶部38は、検索画面を終了し、後述するように選択されたPDFファイルを読み出す(ダウンロードする)。読み出しが完了すると手順が終了する。
一時保存データ記憶部38は、ユーザの入力操作によりアイコン(PDFファイル)が選択されると、又は検索ツールを用いてPDFファイルが選択されると、ファイル管理部320からそのPDFファイルを読み込み(ダウンロードし)、ページ単位で記憶されたストロークデータを解凍してストローク処理部32に、及び背景画像(D)の画像データを背景生成部34に、出力する。これにより、ストローク処理部32は、そのストロークデータを用いてストローク画像を再現(再度、生成)、削除、及び編集する。ストローク処理部32により再現されたストローク画像(B)は、表示重畳部36により、UI画像(A)、出力画像(C)、及び一時保存データ記憶部38によりPDFファイルから読み取られた背景画像(D)とレイアウトデータに従ってレイアウトされ、映像重畳部28を介してディスプレイ3に表示される。このように、ストローク画像がページ単位で再現(再度、生成)され、再編集することが可能となる。
なお、ファイル変換部43がPDFファイルを作成する際に、ストロークデータ等に加えて、電子黒板2のバージョン情報等を含む書誌情報をPDFファイルに記録することとしてもよい。係る場合、一時保存データ記憶部38は、PDFファイルを読み込む際に書誌情報から記憶されたストロークデータがストローク処理部32により処理可能な形式であるか否か(すなわち、ストロークデータが再編集可能か否か)判別し、処理不能な形式と判断した場合、ストロークデータは取り込まず、PDFファイルの各ページを画像化して、背景画像として背景生成部34に出力する。背景画像(D)は表示重畳部36によりUI画像(A)及び出力画像(C)とレイアウトされ、映像重畳部28を介してディスプレイ3に表示される。このように、バージョン情報に従って電子黒板2の表示機能に適した表示方法に切り換えて、ストローク画像(B)をディスプレイ3に表示することができる。
また、一時保存データ記憶部38は、PDFファイルの読み込みに失敗した場合にも、上と同様に、ストロークデータを取り込まず、PDFファイルの各ページを画像化して、背景画像として背景生成部34に出力する。背景画像(D)は表示重畳部36により出力画像(C)としてレイアウトされ、映像重畳部28を介してディスプレイ3に表示される。このように、PDFファイルの読み取りに失敗した場合でも、表示方法を切り換えて、ストローク画像(B)をディスプレイ3に表示することができる。
遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。図9に、遠隔ライセンス管理テーブルの一例を示す。遠隔ライセンス管理テーブルは、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限から構成される。
ファイル処理部40の機能構成について説明する。
図10に、ファイル処理部40の機能構成を示す。ファイル処理部40は、リカバリ処理部41、ファイル変換部43、ファイル入力部42a、ファイル出力部42b、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル出力部49b、設定ファイル入力部49a、及びアドレス帳入力部50を有する。ファイル処理部40は、さらに、各種データを保存、管理するアドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有する。
リカバリ処理部41は、電子黒板2が電源のダウン等により異常終了した場合、その異常終了を検知して未保存のページデータを復旧する。電子黒板2が異常終了した場合であっても、ページデータはページデータ記憶部300に記憶されて残っている。そこで、リカバリ処理部41は、電源がオンになった際に、ページデータ記憶部300から読み出すことでページデータを復旧する。
ファイル変換部43は、先述の通り、ページデータ記憶部300にページ単位で記憶されているページデータ(図5参照)を読み出し、PDFファイルに変換する。PDFファイルは、一時保存データ記憶部38及びバックアップ処理部46に出力される。
ファイル入力部42aは、USBメモリ5からPDFファイルを読み込み、一時保存データ記憶部38に出力する、又はページ単位で記憶されたストローク配列データ並びにストローク画像(B)及び背景画像(D)のそれぞれの画像データ及びレイアウトデータ(図8参照)をページデータとして取り込み(変換し)、ページデータ記憶部300に記憶する。USBメモリ5に複数のPDFファイルが記憶されている場合、それらのすべてについてページデータが取り込まれる。
ページデータ記憶部300に記録されたページデータはページ処理部37により読み取られ、ストロークデータが解凍されてストローク処理部32に送られる。ストローク処理部32は、そのストロークデータを用いてストローク画像を再現(再度、生成)、削除、及び編集する。ストローク処理部32により再現されたストローク画像(B)は、表示重畳部36により、UI画像(A)、出力画像(C)、及びページ処理部37によりページデータから読み取られた背景画像(D)とレイアウトデータに従ってレイアウトされ、映像重畳部28を介してディスプレイ3に表示される。このように、ストローク画像等がページ単位で再現される。
ファイル出力部42bは、ファイル変換部43から出力されるPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43から出力されるPDFファイルを電子メールに添付して送信する。ここで、電子メールの送信先(電子メールアドレス)は、アドレス帳管理テーブル410において管理されている。図16に、アドレス帳管理テーブル410の一例を示す。アドレス帳管理テーブル410には、宛先の名前と電子メールアドレスとが関連付けてまとめられている。アドレス帳管理テーブル410の内容が表示重畳部36によりディスプレイ3上に表示され、その表示を見てユーザがタッチパネル等を用いて入力操作することで送信先の電子メールアドレスを選択する。また、ユーザがタッチパネル等を用いて入力操作することで送信先の電子メールアドレスを入力することもできる。ファイル送信部44は、選択又は入力された電子メールアドレスを送信先として決定する。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧であるアドレス帳(例えばCSV形式の電子ファイル)を読み込み、その内容をアドレス帳管理テーブル410に記録する。
バックアップ処理部46は、ファイル変換部43からPDFファイルを受信し、バックアップデータ記憶部420に記憶することでバックアップする。図17に、バックアップデータの一例を示す。バックアップデータは、PDF形式のファイル(PDFファイル)として記憶される。なお、このバックアップ処理は、ユーザによりバックアップ設定されている場合に行われ、設定されていない場合には行われない。
バックアップ出力部47は、バックアップデータ記憶部420に記憶されたPDFファイルをUSBメモリ5に記憶する。なお、記憶する際、セキュリティのため、ユーザに対してタッチパネル等を用いてパスワードの入力が求められる。また、USBメモリ5に記憶されたPDFファイルは、先述のファイル入力部42aにより読み取ることができる。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。電子黒板2の設定情報として、例えば、ネットワーク設定、日付及び時刻の設定、地域及び言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップの設定に関する情報等がある。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、DNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、上記の電子黒板2の各種設定情報を設定ファイルとしてUSBメモリ5に記録する。なお、セキュリティにより、ユーザは設定ファイルの内容を見ることができない。
設定ファイル入力部49aは、USBメモリ5から設定ファイルを読み込み、その内容を設定管理部48に出力する。それにより、各種設定情報が電子黒板2の各種設定に反映される。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧である接続先リスト(例えばCVS形式の電子ファイル)を読み込み、接続先管理テーブル440に記録する。接続先管理テーブル440は、電子黒板2が参加装置(既に開始されている遠隔共有処理に後から参加する電子黒板2)である場合にユーザが主催装置(遠隔共有処理を開始した電子黒板2)のIPアドレスを入力する手間を省くために、前もって電子黒板2のIPアドレスが記録されたテーブルである。
図18に、接続先管理テーブル440の一例を示す。接続先管理テーブル440には、主催装置として機能する電子黒板2の名称(この例では電子黒板2が設置された場所を用いて与えられている)とIPアドレスとが関連付けてまとめられている。
なお、接続先管理テーブル440を使用することに代えて、参加装置のユーザが、逐一、タッチパネル等の入力装置を用いて主催装置のIPアドレスを入力することとしてもよい。この場合、参加装置のユーザは、主催装置のユーザから電話、電子メール等によってそのIPアドレスを知る必要がある。
通信制御部60の機能構成について説明する。
図20に、通信制御部60の機能構成を示す。通信制御部60は、通信ネットワーク9を介して行われる他の電子黒板2との通信を制御する。通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有する。
遠隔開始処理部61は、後述するサーバ部90に新たに遠隔共有処理を開始することを要求し、その要求の結果をサーバ部90から受信する。要求に先立って、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照して、ライセンス情報(電子黒板2のプロダクトID、ライセンスID、及びライセンスの有効期限)が管理されているかを確認する。遠隔開始処理部61は、ライセンス情報が管理されている場合にのみ遠隔共有処理の開始を要求し、管理されていない場合には要求しない。
遠隔参加処理部62は、通信ネットワーク9を介して、主催装置(遠隔共有処理を開始した電子黒板2)のサーバ部90(遠隔接続要求受信部71)に遠隔共有処理への参加を要求し、その要求の結果をサーバ部90から受信する。要求に先立って、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62は、接続先管理テーブル440を参照して、主催装置のIPアドレスを取得する。なお、遠隔参加処理部62が接続先管理テーブル440を参照することに代えて、ユーザが、逐一タッチパネル等の入力装置を操作して、主催装置のIPアドレスを入力することとしてもよい。
遠隔画像送信部63は、画像取得部31を介して映像取得部21(図3参照)から送られる出力画像(C)をサーバ部90(遠隔画像受信部73)に送信する。
遠隔画像受信部64は、サーバ部90(遠隔画像送信部74)から、他の電子黒板2に接続された映像出力機器からの出力画像(画像信号)を受信し、表示重畳部36に出力する。これにより、遠隔共有処理が可能になる。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90(遠隔操作受信部75)に送信する。操作データとして、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。
遠隔操作受信部66は、サーバ部90(遠隔操作送信部76)から他の電子黒板2において入力された操作データを受信し、画像処理部30に出力する。これにより、遠隔共有処理が行われる。
参加拠点管理テーブル610は、電子黒板が主催装置である場合に、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するためのテーブルである。図19に、参加拠点管理テーブル610の一例を示す。参加拠点管理テーブル610には、参加装置である電子黒板2の名称(この例では電子黒板2が設置された場所を用いて与えられている)とIPアドレスとが関連付けてまとめられている。
サーバ部90の機能構成について説明する。本実施形態では、いずれの電子黒板2にもサーバ部90が設けられ、いずれの電子黒板2もサーバ部90の機能を発揮する。図20に、(通信制御部60の機能構成とあわせて)サーバ部90の機能構成を示している。サーバ部90は、大別して、通信制御部70及びデータ管理部80を有する。
通信制御部70の機能構成について説明する。通信制御部70は、同じ電子黒板2のクライアント部20内の通信制御部60との通信と、他の電子黒板2のクライアント部20内の通信制御部60との通信ネットワーク9を介しての通信と、を制御する。通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有する。
遠隔接続要求受信部71は、遠隔開始処理部61から遠隔共有処理の開始要求を受信し、他の電子黒板2の遠隔参加処理部62から遠隔共有処理への参加要求を通信ネットワーク9を介して受信する。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求に対する結果を送信し、他の電子黒板2の遠隔参加処理部62へ遠隔共有処理への参加要求に対する結果を通信ネットワーク9を介して送信する。
遠隔画像受信部73は、遠隔画像送信部63から画像データ(出力画像(C))を受信し、後述する遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に送信する。
遠隔操作受信部75は、遠隔操作送信部65から操作データ(ストローク画像(B)等のデータ)を受信し、後述する遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に送信する。
データ管理部80の機能構成について説明する。データ管理部80は、操作データや画像データ等を管理する。データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有する。サーバ部90は、さらに、各種データを保存、管理するパスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有する。
遠隔接続処理部81は、遠隔共有処理の開始及び終了を行う。遠隔共有処理の開始に際し、遠隔接続処理部81は、他の電子黒板2の遠隔共有処理への参加を許可するか否かを判断する。ここで、遠隔接続処理部81は、遠隔接続要求受信部71が遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報を受信し、ライセンスの有無及びライセンスの有効無効を確認する。また、遠隔接続処理部81は、他の電子黒板2からの参加要求が予め定められた参加可能数を超えないか確認する。遠隔接続処理部81は、有効なライセンスを有していない場合、また参加要求が参加可能数を超える場合、遠隔共有処理への参加を拒否する。
また、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理への参加要求とともに送られるパスコードが、パスコード管理部810で管理されているパスコードに一致するか否か判断(認証)し、一致する(一致しない)場合に遠隔共有処理への参加を許可(拒否)する。
パスコードは、新たに遠隔共有処理が開始される際に遠隔接続処理部81によって発行され、パスコード管理部810で管理される。遠隔共有処理に参加する参加装置のユーザは、主催装置のユーザから電話、電子メール等によりパスコードを取得する。参加装置のユーザは、取得したパスコードを参加装置に入力することで、遠隔共有処理への参加を要求することができる。なお、セキュリティよりもユーザの使い勝手を優先して、ライセンス状況のみ確認し、パスコードの確認を省略してもよい。
遠隔共有処理の開始に際し、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られる参加要求に含まれる参加拠点情報を、参加拠点管理テーブル820に記憶する。また、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔拠点情報は、遠隔開始処理部61に送信され、参加拠点管理テーブル610に記憶される。これにより、主催装置では、クライアント部20及びサーバ部90の両方で同じ内容の参加拠点管理情報が管理されることになる。
遠隔画像処理部82は、遠隔共有処理に加わっている電子黒板2(主催装置と参加装置との両方を含む)のクライアント部20に接続された映像出力機器(ノートPC6等(図3参照))からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶するとともに、受信した時刻(時間順)に従って遠隔共有処理する画像データの表示順を決定する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に加わっている全ての電子黒板2(主催装置と参加装置との両方を含む)のクライアント部20に、通信制御部70(遠隔画像送信部74)を介して、決定した表示順に従って画像データを送信する。
遠隔操作処理部83は、遠隔共有処理に加わっている電子黒板2(主催装置と参加装置との両方を含む)のクライアント部20で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、受信した時刻(時間順)に従って画像の表示順を決定する。なお、各種操作データは、先述の各種操作データと同じである。また、遠隔操作処理部83は参加拠点管理テーブル820を参照し、遠隔共有処理に加わっている全ての電子黒板2(主催装置と参加装置との両方を含む)のクライアント部20に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、合成された操作データを操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。遠隔操作処理部83に戻された操作データは、遠隔操作送信部76を介して、主催装置及び参加装置のクライアント部20にそれぞれ送信される。これにより、各電子黒板2において、操作データに係る同じ画像が表示される。
図21に、操作データの一例を示す。操作データには、SEQ(Sequence)、操作名、送信元の電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、送信先の電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、操作種類、操作対象、並びに操作の内容に係るデータが関連付けてまとめられている。例えば、操作データSEQ1には、主催装置である電子黒板(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)でストロークが描画され、操作種類「STROKE」及び操作対象「(ページデータID)p005」のストロークデータが、同じ主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)に送られたことが示されている。また、操作データSEQ2には、主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)から参加装置である他の電子黒板(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)にストロークデータが送られたことが示されている。
なお、操作合成処理部84は、入力された順に操作データを合成するため、通信ネットワーク9が混雑していなければ、各電子黒板2においてユーザによるストロークの順に遠隔共有処理に加わっている全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、図5乃至図7に示したページデータをページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30内のページデータ記憶部300と同じ内容であるため、その説明を省略する。
本実施形態の画像処理システム1を構成する電子黒板間での遠隔共有処理における各電子黒板の動作について説明する。
ここでは、一例として、画像処理システム1は電子黒板2a,2b,2cから構成され、電子黒板2aが遠隔共有処理を主催する主催装置(主催装置2aと呼ぶ)、電子黒板2b,2cが主催装置2aが開始した遠隔共有処理に参加する参加装置(参加装置2b,2cと呼ぶ)とする。電子黒板2aのサーバ部90及びクライアント部20並びに電子黒板2b,2cのクライアント部20の動作に注目する。また、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更にそれぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
まず、遠隔共有処理の開始及び参加処理について説明する。図22のシーケンス図に、遠隔共有処理の開始及び参加処理のフローを示す。
電子黒板2a,2b,2cのそれぞれはユーザにより電源が入れられ、それによりクライアント部20が起動しているものとする。
ステップS21では、主催装置2aのユーザがタッチパネル等の入力装置を用いて遠隔共有処理の開始を指示することにより、クライアント部20の遠隔開始処理部61からサーバ部90の遠隔接続要求受信部71にサーバ部90の起動を指示する信号を出力する。これにより、主催装置2aでは、クライアント部20に加えてサーバ部90が起動する。主催装置2a(サーバ部90)は、遠隔共有処理(参加装置2b,2cの遠隔共有処理への参加処理を受け付けるための前処理)を開始する。
ステップS22では、主催装置2aのクライアント部20内のUI画像生成部33が主催装置2aとの接続を確立するための接続情報を表示するUI画像を生成し、表示重畳部36を介して映像重畳部28に出力する。映像重畳部28は、そのUI画像をディスプレイ3aに表示する。ここで、接続情報には、主催装置のIPアドレス及び今回の遠隔共有処理に対して遠隔接続処理部81により発行されるパスコードが含まれる。パスコードは、遠隔接続処理部81によってパスコード管理部810から読み出され、順に遠隔接続結果送信部72及び遠隔開始処理部61(通信制御部60)を介して、UI画像生成部33(画像処理部30)に送信される(図20及び図3参照)。
主催装置2aのユーザは、ディスプレイ3aに表示された接続情報を見て、その内容を電話、電子メール等により参加装置2b,2cのユーザに伝える。なお、接続先管理テーブル440に記録されている接続先リストにおいて主催装置2aのIPアドレスが管理されている場合、接続情報にはパスコードのみ含まれていればよい。参加装置2b,2cのユーザは、伝えられた接続情報をそれぞれの参加装置2b,2cにタッチパネル等の入力装置を用いて入力する。
参加装置2b,2cが接続情報の入力を受けると、それぞれステップS23,S24において、それぞれのクライアント部20内の遠隔参加処理部62が、接続情報に含まれるIPアドレスを用いて、通信ネットワーク9を介して、主催装置2aのサーバ部90内の通信制御部70にパスコードを送信する。これにより、主催装置2aが開始した遠隔共有処理への参加要求が行われる。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
主催装置2aがパスコードを受信すると、ステップS25において、そのサーバ部90内の遠隔接続処理部81が、パスコード管理部810で管理されているパスコードを用いて受信したパスコードを認証する。その認証結果は、遠隔接続結果送信部72により、それぞれステップS26において参加装置2b,2cのクライアント部20に通知される。これにより、主催装置2aと参加装置2b,2cとの間での遠隔共有処理の通信が確立し、遠隔共有処理の開始及び参加処理が完了する。
次に、遠隔共有処理における画像データの共有処理について説明する。図23のシーケンス図に、画像データの共有処理のフローを示す。
ステップS30では、参加装置2bのクライアント部20内の画像取得部31が、ノートPC6bの出力映像を用いて画像データ(出力画像(C))を生成する。生成された画像データ(出力画像(C))は、表示重畳部36を介して映像重畳部28に出力され、参加装置2bのディスプレイ3bに表示される(図3参照)。
ステップS31では、参加装置2bのクライアント部20内の遠隔画像送信部63(通信制御部60)が、画像データ(出力画像(C))を、画像取得部31(画像処理部30)から受信し、通信ネットワーク9を介して、主催装置2aのサーバ部90内の通信制御部70(遠隔画像受信部73)に送信する。画像データ(出力画像(C))は、遠隔画像受信部73を介して遠隔画像処理部82に送信され、画像データ記憶部830に記憶される(図20参照)。
ステップS32では、主催装置2aのクライアント部20内の映像重畳部28が、参加装置2bから受信した画像データ(出力画像(C))をディスプレイ3a上に表示する。ただし、ステップ31においてサーバ部90内の遠隔画像受信部73により受信された出力画像(C)は、順に、サーバ部90内の遠隔画像処理部82及び遠隔画像送信部74並びにクライアント部20内の遠隔画像受信部64及び表示重畳部36を介して、クライアント部20内の映像重畳部28に送られる。
ステップS33では、主催装置2aのサーバ部90内の遠隔画像送信部74(通信制御部70)が、(ステップ32において)同じ主催装置2aのクライアント部20内の遠隔画像受信部64に画像データ(出力画像(C))を送信するとともに、通信ネットワーク9を介して、その画像データを送信した参加装置2b以外の参加装置2cのクライアント部20内の通信制御部60(遠隔画像受信部64)に画像データ(出力画像(C))を送信する。
なお、参加装置2c内では、クライアント部20内の遠隔画像受信部64により受信された出力画像(C)は、表示重畳部36を介して、映像重畳部28に送られる。
ステップS34では、参加装置2cのクライアント部20内の映像重畳部28が、参加装置2bから主催装置2a(サーバ部90)を介して送られた画像データ(出力画像(C))をディスプレイ3c上に表示する。ただし、ステップ33においてクライアント部20内の遠隔画像受信部64により受信された出力画像(C)は、表示重畳部36を介して映像重畳部28に送られる。これにより、遠隔共有処理における画像データの共有処理が完了する。
なお、出力画像(C)の画像データだけでなく、UI画像(A)及びストローク画像(B)のそれぞれの画像データが表示重畳部36に入力されている場合には、表示重畳部36は重畳画像(A,B,C)を生成し、映像重畳部28に出力する。映像重畳部28は、重畳画像(A,B,C)をディスプレイ3cに表示する。また、テレビ会議端末7から映像重畳部28にテレビ会議用の映像(E)の画像データが送られている場合には、映像重畳部28は、重畳画像(A,B,C)にテレビ会議用の映像(E)の画像データをピクチャ・イン・ピクチャにより重畳して、ディスプレイ3cに表示する。
次に、遠隔共有処理における操作データの共有処理について説明する。図24のシーケンス図に、操作データの共有処理のフローを示す。
ステップS41では、参加装置2bは、ユーザが電子ペン4bを用いて電子黒板2b上に描くストローク画像(B)を描画し、ディスプレイ3bに表示する。
ステップS42では、参加装置2bのクライアント部20内の表示重畳部36が、図4に示すように、UI画像(A)、出力画像(C)、及び背景画像(D)に対してストローク画像(B)を重畳し、映像重畳部28が重畳された重畳画像(A,B,C,D)を電子黒板2bのディスプレイ3bに表示する。ただし、ストローク処理部32が、座標検知部22及び接触検知部24からイベント振分部25を介してストローク画像(B)の操作データを受信し、表示重畳部36に送信する(図3参照)。
ステップS43では、参加装置2bのクライアント部20内の遠隔操作送信部65が、ストローク処理部32(画像処理部30)から、ストローク画像(B)のデータ(操作データ)を受信し、通信ネットワーク9を介して、主催装置2aの通信制御部70(遠隔操作受信部75)に送信する(図20参照)。
主催装置2a内では、サーバ部90内の遠隔操作受信部75により受信されたストローク画像(B)のデータ(操作データ)は、遠隔操作処理部83を介して、操作合成処理部84に送られる。
なお、ストローク画像(B)のデータは、ストロークデータID毎に示されるデータである(図6参照)。例えば、先述の通り、ユーザが電子ペン4を用いてアルファベット「T」を描いた場合、2つのストロークデータIDがそれぞれ示すストローク画像(B)のデータが順次送信されることとなる。
ステップS44では、主催装置2aは、参加装置2bから送られたストローク画像(B)のデータが含まれた重畳画像(A,B,C)をディスプレイ3aに表示する。ここで、主催装置2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られる複数のストローク画像(B)のデータを合成して操作データ記憶部840に記憶するとともに、遠隔操作処理部83に戻す。合成後のストローク画像(B)のデータは、主催装置2aのサーバ部90内の遠隔操作送信部76及びクライアント部20内の遠隔操作受信部66を介して、表示重畳部36に送信される。表示重畳部36は、UI画像(A)、出力画像(C)、及び背景画像(D)に合成後のストローク画像(B)を重畳し、その重畳画像(A,B,C,D)を映像重畳部28に出力する。映像重畳部28は、重畳画像(A,B,C,D)を主催装置2aのディスプレイ3a上に表示する。
ステップS45では、主催装置2aのサーバ部90内の遠隔操作送信部76(通信制御部70)が、(ステップ44において)遠隔操作処理部83から合成後のストローク画像(B)のデータを受信して同じ主催装置2aのクライアント部20内の遠隔操作受信部66に送信するとともに、ストローク画像(B)のデータを送信した参加装置2b以外の参加装置2cのクライアント部20内の通信制御部60(遠隔操作受信部66)に通信ネットワーク9を介して送信する。
ステップS46では、参加装置2cが重畳画像(A,B,C)をディスプレイ3cに表示する。ここで、電子黒板2cの遠隔操作受信部66は、ステップS45において受信した合成後のストローク画像(B)のデータを画像処理部30(表示重畳部36)に出力する。表示重畳部36は、ステップS44と同様に、UI画像(A)、出力画像(C)、及び背景画像(D)に合成後のストローク画像(B)を重畳し、その重畳画像(A,B,C,D)を映像重畳部28に出力する。映像重畳部28は、重畳画像(A,B,C,D)をディスプレイ3cに表示する。これにより、遠隔共有処理における操作データの共有処理が完了する。
なお、上述の処理では出力画像(C)と背景画像(D)との両方をディスプレイ3cに表示することとしたが、これに代えて、出力画像(C)と背景画像(D)との一方をUI画像(A)及び合成後のストローク画像(B)と重畳してディスプレイ3に表示することとしてもよい。
最後に、参加装置2cを例にして、遠隔共有処理への参加を終了する処理について説明する。図25のシーケンス図に、参加の終了処理のフローを示す。
ステップS47では、参加装置2cのユーザがタッチパネル等の入力装置を用いて遠隔共有処理への参加の終了を要求すると、参加装置2cのクライアント部20内の遠隔参加処理部62が主催装置2aのサーバ部90内の通信制御部70(遠隔接続要求受信部71)に参加の終了を要求する。主催装置2aの遠隔接続要求受信部71は、電子黒板2cから参加の終了要求を受信し、電子黒板2cのIPアドレスとともに遠隔接続処理部81に送信する。遠隔接続処理部81は、参加装置2cの参加拠点情報(電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称)を参加拠点管理テーブル820から削除し、遠隔接続結果送信部72に電子黒板2cのIPアドレス及び削除した旨の通知を送信する。
ステップS48では、遠隔接続結果送信部72(通信制御部70)が、通信ネットワーク9を介して、参加装置2cのクライアント部20内の通信制御部60(遠隔参加処理部62)に参加の終了を通知する。
ステップS49では、参加装置2cのクライアント部20内の遠隔参加処理部62が、遠隔共有処理の通信を切断する。これにより、遠隔共有処理における参加の終了処理が完了する。
以上詳細に説明したように、本実施形態に係る電子黒板2によると、ファイル変換部43により、背景画像(D)及びストローク画像(B)のそれぞれの画像データとともにストロークデータが電子ファイルに記録される。その電子ファイルは、電子黒板2内のファイル管理部320、電子黒板2(ディスプレイ3)に接続されるUSBメモリ5等に保存することができる。また、電子メール等により他のパーソナルコンピュータ等に送信することができる。保存された電子ファイルはファイル入力部42a等により読み取られ、ストロークデータが抽出される。従って、ストローク処理部32により、そのストロークデータを用いて先にユーザが電子ペン4等を用いて入力操作することで描かれたストロークが再現され、さらにそのストロークデータを入力操作により編集することでストロークを加工することが可能となる。
また、本実施形態に係る電子黒板2では、ストロークデータ等を記録する電子ファイルとしてPDFフォーマットを採用することで、その電子ファイルを電子黒板2外のパーソナルコンピュータ等に転送し汎用のPDFビューア(ビューイングソフト)により生成することができる等、汎用性が向上する。ただし、PDFフォーマットに限らず任意のフォーマットを採用してもよい。
また、本実施形態に係る電子黒板2では、ファイル管理部320に電子ファイルを保存する際にそのファイルに紐付く識別コードを付与し、その識別コードを用いて保存したファイルを管理する。それにより、識別コードを用いてファイル管理部320に保存された電子ファイルの中から目的のファイルを容易に検索し、読み出すことができる。
なお、本実施形態では、画像処理装置の一例として電子黒板を採用したが、これに限らず、電子看板(デジタルサイネージ)、スポーツ、天気予報等で利用されるテレストレータ、遠隔画像(映像)診断装置等を採用することもできる。また、情報処理端末の一例としてノートPCを採用したが、これに限らず、デスクトップ型PC、タブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末を採用することもできる。また、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、記録媒体の一例としてUSBメモリを採用したが、これに限らず、SDカード等の各種記録メディアを採用することもできる。
1…画像処理システム、2…電子黒板(画像処理装置の一例)、3…ディスプレイ(表示手段の一例)、4…電子ペン、5…USBメモリ、6…ノートPC(情報処理端末の一例)、7…テレビ会議端末、8…PC、9…通信ネットワーク、10…ケーブル、20…クライアント部、21…映像取得部、22…座標検知部、23…自動調整部、24…接触検知部、25…イベント振分部、26…操作処理部、27…ジェスチャ処理部、28…映像重畳部、30…画像処理部、31…画像取得部、32…ストローク処理部、33…UI画像生成部、34…背景生成部、35…レイアウト管理部、36…表示重畳部、37…ページ処理部、38…一時保存データ記憶部、40…ファイル処理部、41…リカバリ処理部、42a…ファイル入力部、42b…ファイル出力部、43…ファイル変換部、44…ファイル送信部、45…アドレス帳入力部、46…バックアップ処理部、47…バックアップ出力部、48…設定管理部、49a…設定ファイル入力部、49b…設定ファイル出力部、50…アドレス帳入力部、60…通信制御部、61…遠隔開始処理部、62…遠隔参加処理部、63…遠隔画像送信部、64…遠隔画像受信部、65…遠隔操作送信部、66…遠隔操作受信部、70…通信制御部、71…遠隔接続要求受信部、72…遠隔接続結果送信部、73…遠隔画像受信部、74…遠隔画像送信部、75…遠隔操作受信部、76…遠隔操作送信部、80…データ管理部、81…遠隔接続処理部、82…遠隔画像処理部、83…遠隔操作処理部、84…操作合成処理部、85…ページ処理部、90…サーバ部、101…CPU、102…ROM、103…RAM、104…SSD、105…ネットワークコントローラ、106…外部記憶コントローラ、111…キャプチャデバイス、112…GPU、113…ディスプレイコントローラ、114…センサコントローラ、115…接触センサ、116…電子ペンコントローラ、120…バスライン、300…ページデータ記憶部、310…遠隔ライセンス管理テーブル、320…ファイル管理部、410…アドレス帳管理テーブル、420…バックアップデータ記憶部、430…設定ファイル記憶部、440…接続先管理テーブル、610…参加拠点管理テーブル、810…パスコード管理部、820…参加拠点管理テーブル、830…画像データ記憶部、840…操作データ記憶部、850…ページデータ記憶部。
特開2008−97371号公報

Claims (10)

  1. 背景画像を表示装置に表示するとともに、ユーザの入力操作により描画されるストロークを再現するストローク画像を前記背景画像の上に重ねて前記表示装置に表示する画像処理装置であって、
    前記背景画像の画像データと、前記入力操作により入力されるストロークに関するストロークデータと、を電子文書に記録する記録手段と、
    前記電子文書を読み取る読み取り手段と、
    前記背景画像の画像データを用いて前記背景画像を前記表示装置に表示するとともに、前記ストロークデータを用いて前記ストローク画像を再生し、前記背景画像の上に重ねて前記表示装置に表示する表示手段と、
    前記入力操作に従って前記ストロークデータを編集する編集手段と、
    を備える画像処理装置。
  2. 前記記録手段は、前記電子文書を記憶部に記憶し、
    前記読み取り手段は、前記記憶部から前記電子文書を読み取る、請求項1に記載の画像処理装置。
  3. 前記記録手段は、前記記憶部に前記電子文書を記憶する際に該電子文書に識別コードを付与し、
    前記読み取り手段は、前記識別コードを用いて前記記憶部に記憶された前記電子文書を検索する、請求項2に記載の画像処理装置。
  4. 前記記録手段は、前記ストロークデータを圧縮形式で前記電子文書に記録する、請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記記録手段は、さらに、前記入力操作により入力されるストロークに関する別のストロークデータを電子文書に記録し、
    前記電子文書は、前記背景画像の画像データを用いて前記背景画像を再生し、該背景画像の上に重ねて前記別のストロークデータを用いて再現されるストローク画像を再生することができる、請求項1〜4のいずれか一項に記載の画像処理装置。
  6. 前記電子文書は、PDF形式の文書である、請求項1〜5のいずれか一項に記載の画像処理装置。
  7. 前記記録手段は、前記背景画像及び前記ストローク画像のそれぞれの画像データと、前記ストロークデータと、を、前記表示装置に表示するページ単位で前記電子文書に記録する、請求項1〜6のいずれか一項に記載の画像処理装置。
  8. 前記記録手段は、前記ストロークデータを補間して詳細なデータに変換する、請求項1〜7のいずれか一項に記載の画像処理装置。
  9. 前記記録手段は、さらに、前記画像処理装置のバージョン情報と前記ストローク画像の画像データとを前記電子文書に記録し、
    前記表示手段は、さらに、前記バージョン情報に従って表示方法を切り換えて、前記背景画像の画像データを用いて前記背景画像を前記表示装置に表示するとともに、前記ストローク画像の画像データを用いて前記ストローク画像を前記背景画像の上に重ねて前記表示装置に表示する、請求項1〜8のいずれか一項に記載の画像処理装置。
  10. 前記記録手段は、さらに、前記ストローク画像の画像データを前記電子文書に記録し、
    前記表示手段は、さらに、前記読み取り手段が前記電子文書の読み取りに失敗した場合に表示方法を切り換えて、前記背景画像の画像データを用いて前記背景画像を前記表示装置に表示するとともに、前記ストローク画像の画像データを用いて前記ストローク画像を前記背景画像の上に重ねて前記表示装置に表示する、請求項1〜9のいずれか一項に記載の画像処理装置。
JP2013201034A 2013-09-27 2013-09-27 画像処理装置 Pending JP2015069284A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013201034A JP2015069284A (ja) 2013-09-27 2013-09-27 画像処理装置
US14/480,955 US9754559B2 (en) 2013-09-27 2014-09-09 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013201034A JP2015069284A (ja) 2013-09-27 2013-09-27 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016240025A Division JP2017091559A (ja) 2016-12-12 2016-12-12 装置及び方法

Publications (2)

Publication Number Publication Date
JP2015069284A true JP2015069284A (ja) 2015-04-13
JP2015069284A5 JP2015069284A5 (ja) 2016-05-12

Family

ID=52739717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013201034A Pending JP2015069284A (ja) 2013-09-27 2013-09-27 画像処理装置

Country Status (2)

Country Link
US (1) US9754559B2 (ja)
JP (1) JP2015069284A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156895A1 (en) 2015-10-14 2017-04-19 Ricoh Company, Ltd. Image processing apparatus and image processing system
US10489049B2 (en) 2016-02-12 2019-11-26 Ricoh Company, Ltd. Image processing apparatus, image processing system, and image processing method
US10521500B2 (en) 2014-12-01 2019-12-31 Ricoh Company, Ltd. Image processing device and image processing method for creating a PDF file including stroke data in a text format
JP2020021199A (ja) * 2018-07-31 2020-02-06 株式会社リコー 共有端末、通信システム、表示方法、及びプログラム
US11762617B2 (en) 2021-09-13 2023-09-19 Ricoh Company, Ltd. Display apparatus, display method, and display system
JP7472638B2 (ja) 2020-05-11 2024-04-23 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148708B2 (en) 2014-11-26 2018-12-04 Ricoh Company, Ltd. Electronic information terminal, image processing apparatus, and information processing method
TWI574542B (zh) * 2014-12-10 2017-03-11 圓展科技股份有限公司 視訊會議裝置及其控制方法
JP6540116B2 (ja) * 2015-03-13 2019-07-10 日本電気株式会社 電子ホワイトボードシステム、電子ホワイトボード検索結果表示方法およびそのプログラム
US10915288B2 (en) * 2015-03-27 2021-02-09 Inkerz Pty Ltd. Systems and methods for sharing physical writing actions
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
JP6720513B2 (ja) * 2015-12-01 2020-07-08 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
WO2017110505A1 (ja) * 2015-12-25 2017-06-29 株式会社リコー 画像処理装置、画像表示方法、プログラム
US10049289B2 (en) * 2016-02-12 2018-08-14 Wacom Co., Ltd. Method and system for generating and selectively outputting two types of ink vector data
US10860985B2 (en) 2016-10-11 2020-12-08 Ricoh Company, Ltd. Post-meeting processing using artificial intelligence
US10572858B2 (en) 2016-10-11 2020-02-25 Ricoh Company, Ltd. Managing electronic meetings using artificial intelligence and meeting rules templates
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
JP7163921B2 (ja) * 2017-08-01 2022-11-01 株式会社ニコン 画像信号出力装置及び方法、画像データ変換装置及び方法、およびプログラム
US10552546B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances in multi-language electronic meetings
US10553208B2 (en) 2017-10-09 2020-02-04 Ricoh Company, Ltd. Speech-to-text conversion for interactive whiteboard appliances using multiple services
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
JP2019079513A (ja) * 2017-10-19 2019-05-23 中強光電股▲ふん▼有限公司 書き込み装置及びタッチシステム
US10757148B2 (en) * 2018-03-02 2020-08-25 Ricoh Company, Ltd. Conducting electronic meetings over computer networks using interactive whiteboard appliances and mobile devices
CN108449360B (zh) * 2018-04-17 2021-06-18 广州视源电子科技股份有限公司 智能交互一体机
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11720741B2 (en) 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11080466B2 (en) 2019-03-15 2021-08-03 Ricoh Company, Ltd. Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11669347B2 (en) * 2021-03-09 2023-06-06 Oracle International Corporation Generating video sequences from user interactions with graphical interfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991081A (ja) * 1995-09-22 1997-04-04 Canon Inc 座標入力装置
JP2000231449A (ja) * 1999-01-29 2000-08-22 Internatl Business Mach Corp <Ibm> 手書き記録装置でページ情報を表示するためのシステムおよび方法
JP2004500635A (ja) * 1999-12-07 2004-01-08 マイクロソフト コーポレイション 電子文書に対しコンテンツに無関係に注釈を付けるためのシステムおよび方法
JP2006091033A (ja) * 2004-09-15 2006-04-06 Ricoh Co Ltd 電子会議システム
JP2012018470A (ja) * 2010-07-06 2012-01-26 Univ Kanagawa 電子黒板
JP2012058799A (ja) * 2010-09-06 2012-03-22 Ricoh Co Ltd 画像表示システム、画像表示方法およびプログラム

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486459B2 (ja) * 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
US6278445B1 (en) 1995-08-31 2001-08-21 Canon Kabushiki Kaisha Coordinate input device and method having first and second sampling devices which sample input data at staggered intervals
JPH09106321A (ja) 1995-10-11 1997-04-22 Canon Inc 座標入力方法及びその装置
JPH09326958A (ja) * 1996-06-05 1997-12-16 Sony Corp 画像処理装置および処理方法
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
JP4098880B2 (ja) * 1997-06-06 2008-06-11 松下電器産業株式会社 情報検索装置
US6388654B1 (en) * 1997-10-03 2002-05-14 Tegrity, Inc. Method and apparatus for processing, displaying and communicating images
JP4037128B2 (ja) * 2001-03-02 2008-01-23 株式会社リコー 投影型表示装置、及びプログラム
JP4250884B2 (ja) * 2001-09-05 2009-04-08 パナソニック株式会社 電子黒板システム
US20030077561A1 (en) * 2001-10-18 2003-04-24 Abraham Alsop Web server for printable whiteboards
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7171056B2 (en) * 2003-02-22 2007-01-30 Microsoft Corp. System and method for converting whiteboard content into an electronic document
JP2004280602A (ja) 2003-03-17 2004-10-07 Ricoh Co Ltd 手書き文書処理システム、手書き文書処理方法
JP4134874B2 (ja) * 2003-09-30 2008-08-20 カシオ計算機株式会社 撮影画像投影システムに用いられるカメラ、撮影画像投影システムに用いられるコンピュータ、撮影画像投影システムに用いられるプロジェクタ、画像処理方法及びプログラム
JP2005149097A (ja) 2003-11-14 2005-06-09 Canon Inc 画像処理システム及び画像処理方法
US7991774B2 (en) 2005-03-09 2011-08-02 Ricoh Company, Ltd. Notification processor that notifies information and position information manager
JP4897376B2 (ja) 2005-09-14 2012-03-14 株式会社リコー 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム、及び記録媒体
JP2007109208A (ja) 2005-09-14 2007-04-26 Ricoh Co Ltd 出力要求装置、出力要求方法、および出力要求プログラム
JP4439462B2 (ja) * 2005-11-29 2010-03-24 株式会社東芝 情報提示方法、情報提示装置及び情報提示プログラム
JP2007249941A (ja) 2006-02-20 2007-09-27 Ricoh Co Ltd 出力依頼装置、位置管理サーバ装置および出力依頼プログラム
US7792927B2 (en) 2006-02-20 2010-09-07 Ricoh Company, Ltd. Output requesting apparatus via a network for user-position and apparatus-position information
US7747951B2 (en) * 2006-02-28 2010-06-29 Eastman Kodak Company System and method for processing version content
US7880719B2 (en) * 2006-03-23 2011-02-01 International Business Machines Corporation Recognition and capture of whiteboard markups in relation to a projected image
JP5022804B2 (ja) 2006-09-19 2012-09-12 株式会社リコー 経路検索サーバ、経路検索システム、経路検索方法及び経路検索プログラム
JP2008097371A (ja) 2006-10-12 2008-04-24 Canon Inc 表示システム、座標処理方法、及びプログラム
US8707176B2 (en) * 2007-04-25 2014-04-22 Canon Kabushiki Kaisha Display control apparatus and display control method
JP4977643B2 (ja) 2008-03-10 2012-07-18 株式会社リコー 印刷項目設定システム、サーバ装置および印刷項目設定方法
US8275197B2 (en) * 2008-06-14 2012-09-25 Microsoft Corporation Techniques to manage a whiteboard for multimedia conference events
JP5359530B2 (ja) 2008-06-19 2013-12-04 株式会社リコー 印刷サービス提供方法、印刷サービス提供システム、呼制御サーバ及びプログラム
JP5713551B2 (ja) * 2009-10-01 2015-05-07 キヤノン株式会社 情報処理システム、情報処理装置、及びそれらの制御方法
JP5143148B2 (ja) * 2010-01-18 2013-02-13 シャープ株式会社 情報処理装置及び通信会議システム
JP2012003711A (ja) 2010-06-21 2012-01-05 Konica Minolta Business Technologies Inc データ提供システム、データ提供方法、およびコンピュータプログラム
CN102156609B (zh) * 2010-12-10 2012-12-19 上海合合信息科技发展有限公司 一种重叠书写的手写输入方法
US20120206471A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for managing layers of graphical object data
WO2012149176A2 (en) * 2011-04-26 2012-11-01 Infocus Corporation Interactive and collaborative computing device
US8874657B2 (en) * 2012-04-27 2014-10-28 Seiko Epson Corporation Method for securely distributing meeting data from interactive whiteboard projector
WO2013104053A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Method of displaying input during a collaboration session and interactive board employing same
JP5787843B2 (ja) * 2012-08-10 2015-09-30 株式会社東芝 手書き描画装置、方法及びプログラム
US9372622B2 (en) * 2013-02-07 2016-06-21 Asustek Computer Inc. Method for recording a track and electronic device using the same
US9536279B2 (en) * 2013-03-11 2017-01-03 Google Technology Holdings LLC Method and apparatus for creating a graphics data representation and scaling a graphic represented thereby
US9489114B2 (en) * 2013-06-24 2016-11-08 Microsoft Technology Licensing, Llc Showing interactions as they occur on a whiteboard
KR20150007577A (ko) * 2013-07-11 2015-01-21 삼성전자주식회사 데이터 병합을 제어하는 휴대 단말 및 방법
US9881224B2 (en) * 2013-12-17 2018-01-30 Microsoft Technology Licensing, Llc User interface for overlapping handwritten text input

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991081A (ja) * 1995-09-22 1997-04-04 Canon Inc 座標入力装置
JP2000231449A (ja) * 1999-01-29 2000-08-22 Internatl Business Mach Corp <Ibm> 手書き記録装置でページ情報を表示するためのシステムおよび方法
JP2004500635A (ja) * 1999-12-07 2004-01-08 マイクロソフト コーポレイション 電子文書に対しコンテンツに無関係に注釈を付けるためのシステムおよび方法
JP2006091033A (ja) * 2004-09-15 2006-04-06 Ricoh Co Ltd 電子会議システム
JP2012018470A (ja) * 2010-07-06 2012-01-26 Univ Kanagawa 電子黒板
JP2012058799A (ja) * 2010-09-06 2012-03-22 Ricoh Co Ltd 画像表示システム、画像表示方法およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521500B2 (en) 2014-12-01 2019-12-31 Ricoh Company, Ltd. Image processing device and image processing method for creating a PDF file including stroke data in a text format
EP3156895A1 (en) 2015-10-14 2017-04-19 Ricoh Company, Ltd. Image processing apparatus and image processing system
US10754606B2 (en) 2015-10-14 2020-08-25 Ricoh Company, Ltd. Image processing apparatus and image processing system
US10489049B2 (en) 2016-02-12 2019-11-26 Ricoh Company, Ltd. Image processing apparatus, image processing system, and image processing method
JP2020021199A (ja) * 2018-07-31 2020-02-06 株式会社リコー 共有端末、通信システム、表示方法、及びプログラム
JP7147334B2 (ja) 2018-07-31 2022-10-05 株式会社リコー 共有端末、通信システム、表示方法、及びプログラム
JP7472638B2 (ja) 2020-05-11 2024-04-23 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム
US11762617B2 (en) 2021-09-13 2023-09-19 Ricoh Company, Ltd. Display apparatus, display method, and display system

Also Published As

Publication number Publication date
US9754559B2 (en) 2017-09-05
US20150091940A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP2015069284A (ja) 画像処理装置
JP6447066B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6724358B2 (ja) 電子黒板、プログラム、データ表示方法、画像処理システム
JP6583432B2 (ja) 画像処理装置、画像表示方法、プログラム
JP6620494B2 (ja) 通信システム、情報処理装置、通信方法、プログラム
JP6402826B2 (ja) 情報処理装置、画像表示方法、プログラム
JP2016134014A (ja) 電子情報ボード装置、情報処理方法およびプログラム
JP6459545B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6020397B2 (ja) 画像処理装置および画像処理システム
JP6143100B2 (ja) 画像処理装置及び画像処理システム
JP6885416B2 (ja) 電子黒板、電子黒板の画像処理方法、及びプログラム
JP2016139322A (ja) 画像処理装置及びそれを備えた電子黒板
JP2017076207A (ja) 画像処理装置及び画像処理システム
JP2017091559A (ja) 装置及び方法
JP6631643B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
EP3893496A1 (en) Output apparatus, output system, method of changing format information, and carrier means
JP6036621B2 (ja) システム、情報処理装置
JP6589621B2 (ja) 表示装置、カメラ位置制御方法、およびプログラム
JP7298224B2 (ja) 表示装置、及び表示方法
JP7363064B2 (ja) 画像処理装置、方法、およびプログラム
JP2021086576A (ja) 表示装置、表示方法
JP2015056038A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160315

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160913