JP2016208394A - 情報処理装置、画像表示方法 - Google Patents
情報処理装置、画像表示方法 Download PDFInfo
- Publication number
- JP2016208394A JP2016208394A JP2015090237A JP2015090237A JP2016208394A JP 2016208394 A JP2016208394 A JP 2016208394A JP 2015090237 A JP2015090237 A JP 2015090237A JP 2015090237 A JP2015090237 A JP 2015090237A JP 2016208394 A JP2016208394 A JP 2016208394A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- electronic blackboard
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Digital Computer Display Output (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】外部から画像が入力されて複数の画像が共存する、あるいは手書き文字等を重畳して表示した場合であっても、ディスプレイの視認性低下を抑制できる情報処理装置を提供する。
【解決手段】表示装置3(ディスプレイ)に画像を表示する情報処理装置(電子黒板)2であって、表示中の第一画像とは異なる第二画像の表示要求を検出する表示要求検出手段101と、外部から第二画像の画像信号を取得する画像取得手段113と、表示要求検出手段が表示要求を検出した場合、画像信号を用いて形成された第二画像を第一画像に重畳して表示する重畳表示手段と、第二画像が重畳して表示される場合、少なくとも第一画像の色やコントラスト等の表示態様を変更する表示態様変更手段とを有する。
【選択図】図2
【解決手段】表示装置3(ディスプレイ)に画像を表示する情報処理装置(電子黒板)2であって、表示中の第一画像とは異なる第二画像の表示要求を検出する表示要求検出手段101と、外部から第二画像の画像信号を取得する画像取得手段113と、表示要求検出手段が表示要求を検出した場合、画像信号を用いて形成された第二画像を第一画像に重畳して表示する重畳表示手段と、第二画像が重畳して表示される場合、少なくとも第一画像の色やコントラスト等の表示態様を変更する表示態様変更手段とを有する。
【選択図】図2
Description
本発明は、情報処理装置及び画像表示方法に関する。
ディスプレイの表示面に手書きされた手書き情報を取り込みディスプレイに表示する機能を備えた電子黒板が知られている。ユーザが電子黒板の表示面に手書きした内容は座標データとして蓄積され、電子黒板が座標を連結したストロークとしてディスプレイに描画する。したがって、ユーザは従来のホワイトボードと同様に文字や図形などを描画でき、さらに手書きした情報を保存したり、ネットワークを介して接続された他の電子黒板に送信したりすることが可能である。
ところで、電子黒板が備えるディスプレイも一般的なディスプレイと同様に、コントラスト及び色温度等の映像設定を見やすい状態にユーザが調整することが可能である。しかしながら、例えばユーザが設定したコントラストなどの映像設定が適切であるとは限らない。ユーザによる適切でない調整を防ぐため、映像設定の初期値をディスプレイが予め記憶しておき、ユーザ操作に応じて映像設定を初期値に戻す技術が考案されている(例えば、特許文献1参照。)。特許文献1には、キーの長押し操作が検出された場合にコントラストの設定を初期値に戻すコントラスト調整装置が開示されている。
しかしながら、特許文献1のコントラスト調整装置は、ユーザが意図しない見え方の変化に対応できないという問題がある。以下、この問題について説明する。
まず、電子黒板が画像入力用のインタフェースを備えている場合がある。電子黒板に接続された画像入力装置が電子黒板に入力した映像を電子黒板はディスプレイに表示する。しかしながら、電子黒板のメモリに画像入力装置の映像も記憶されることになるため、このメモリの容量が圧迫されてしまう。この場合、電子黒板は限られたメモリの容量で、手書き情報及び画像入力装置が入力した映像を表示するために、ディスプレイの色空間を変更する。例えば、色空間をYUV444からYUV422に変更することで、1ピクセルの描画に必要なデータを低減でき、限られたメモリの容量で手書き情報及び画像入力装置が入力した映像をディスプレイに表示できる。
しかしながら、色空間が変更されると、ユーザが映像設定を変更しなくても、ユーザから見るとコントラスト(最大の輝度/最小の輝度)の設定が変更されたかのような変化がディスプレイに生じる。この結果、ユーザが意図しないのに薄い色で描画されたグリッド線や小さい点が見えにくくなるという問題が生じる。
本発明は、上記課題に鑑み、外部から画像が入力されてもディスプレイの視認性の低下を抑制できる情報処理装置を提供することを目的とする。
上記課題に鑑み、本発明は、表示装置に画像を表示する情報処理装置であって、前記表示装置に対する前記画像とは異なる第二画像の表示要求を検出する表示要求検出手段と、外部から前記第二画像の画像信号を取得する画像取得手段と、前記表示要求検出手段が前記表示要求を検出した場合、前記画像信号を用いて形成された前記第二画像を前記画像に重畳して重畳表示手段と、前記画像に前記第二画像が重畳して表示される場合、少なくとも前記画像の表示態様を変更する表示態様変更手段と、を有する。
外部から画像が入力されてもディスプレイの視認性の低下を抑制できる情報処理装置を提供することができる。
以下、図面を用いて、本発明の一実施形態を説明する。
<システムの概要>
図1は、本実施形態の画像処理システムの全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板や電子ペン等を利用してもよい。
図1は、本実施形態の画像処理システムの全体構成図である。なお、図1では、説明を簡略化するために、2台の電子黒板2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の電子黒板や電子ペン等を利用してもよい。
図1に示されているように、画像処理システム1は、複数の電子黒板2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、電子黒板2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の電子黒板2a,2bには、それぞれディスプレイ3a,3b(液晶、有機EL、プロジェクタ、プラズマテレビなどの表示装置)が設けられている。
また、電子黒板2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)により描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
また、電子黒板2aには、USBメモリ5aが接続可能であり、電子黒板2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、電子黒板2aはUSBメモリ5aに電子ファイルを記録することができる。また、電子黒板2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、電子黒板2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、電子黒板2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、電子黒板2aと通信してもよい。
一方、電子黒板2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた電子黒板2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。
これにより、一の拠点で電子黒板2aのディスプレイ3a上に描画された画像は、他の拠点で電子黒板2bのディスプレイ3b上にも表示され、逆に他の拠点で電子黒板2bのディスプレイ3b上に描画された画像は、一の拠点で電子黒板2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。
なお、以下では、複数の電子黒板のうち任意の電子黒板を示す場合には「電子黒板2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。
また、本実施形態では、画像処理装置の一例として、電子黒板を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。
<電子黒板のハードウェア構成>
続いて、図2を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
続いて、図2を用いて、本実施形態の電子黒板のハードウェア構成を説明する。なお、図2は、電子黒板のハードウェア構成図である。
図2に示されているように、電子黒板2は、電子黒板2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、電子黒板2用のプログラム等の各種データを記憶するSSD104、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。したがって、電子黒板2は情報処理装置としての構成を有する。
また、電子黒板2は、ノートPC6のディスプレイに対して映像情報を静止画または動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。
更に、電子黒板2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3の表示面に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行な複数の赤外線を放射する。ディスプレイ3の周囲に設けられた反射部材によって反射された赤外線は、放射した光の光路と同一の光路上を戻って来るので、受光素子がそれを受光する。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。
また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。
また、電子黒板2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
更に、電子黒板2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図2に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。
なお、電子黒板2用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
<電子黒板の機能構成>
続いて、図3乃至図16を用いて、電子黒板の機能構成について説明する。まず、図3を用いて、電子黒板2の全体的な機能構成について説明する。図3は、電子黒板2の機能ブロック図である。
続いて、図3乃至図16を用いて、電子黒板の機能構成について説明する。まず、図3を用いて、電子黒板2の全体的な機能構成について説明する。図3は、電子黒板2の機能ブロック図である。
電子黒板2は、図2に示されているハードウェア構成及びプログラムによって、図3に示されている各機能構成を有する。電子黒板2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、電子黒板2は、大きく分けて、クライアント部20及びサーバ部90を有している。クライアント部20及びサーバ部90は、電子黒板2の1台の筐体内で実現される機能である。そして、電子黒板2が主催装置となる場合には、この電子黒板2では、クライアント部20とサーバ部90が実現される。また、電子黒板2が参加装置となる場合には、この電子黒板2では、クライアント部20は実現されるが、サーバ部90は実現されない。すなわち、図1において、電子黒板2aが主催装置で、電子黒板2bが参加装置となる場合、電子黒板2aのクライアント部20は、同じ電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2bのクライアント部20と通信を行う。一方、電子黒板2bのクライアント部20は、他の電子黒板2a内に実現されたサーバ部90を介して、他の電子黒板2aのクライアント部と通信を行う。
〔クライアント部20の機能構成〕
続いて、主に図3乃至図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
続いて、主に図3乃至図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
このうち、映像取得部21は、ケーブル10に接続されたノートPC6等の映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。
座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。
自動調整部23は、電子黒板2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。
接触検知部24は、ユーザが電子ペン4を操作することで生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。
イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。
ここで、「ストローク描画」は、図16に示されている後述のストローク画像(B)がディスプレイ3に表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集するイベントも含まれる。
「UI操作」は、図16に示されている後述のUI画像(A)がディスプレイ3に表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。
「ジェスチャ操作」は、ディスプレイ3上に図16に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動させるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。
操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素に従って、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。
画像処理部30は、図16に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。
このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図16に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。
ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、手Hや電子ペン4などの接触位置を連結してストローク画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図16に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、後述の操作データ記憶部840に記憶される。
UI画像生成部33は、電子黒板2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図16に示されているUI画像(A)に相当する。
背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図16に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。
レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。
表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。
ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図6に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図6に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。
また、ページ処理部37は、一旦、記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製することもできる。
すなわち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。
表示重畳部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトに従って重畳する。これにより、図16に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。
また、表示重畳部36は、図16に示されている出力画像(C)と背景画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、電子黒板2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、出力画像(C)を重畳対象から外し、背景画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。
遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、図10に示されているように、電子黒板2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。
<<ページデータ>>
ページデータ記憶部300は、図6に示されているようなページデータを記憶する。図6は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図6乃至9に分けて、ページデータの内容を説明する。
ページデータ記憶部300は、図6に示されているようなページデータを記憶する。図6は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図6乃至9に分けて、ページデータの内容を説明する。
ページデータは、図6に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開示時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。なお、ページデータはファイル単位で管理されている。ストローク配列データは、後述の図16に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の16に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。
このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。
また、ストローク配列データは、図7に示されているように詳細な情報を示している。図7は、ストローク配列データを示す概念図である。図7に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。
更に、この座標配列データは、図8に示されているように詳細な情報を示している。図8は、座標配列データを示す概念図である。図8に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開示時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図8に示されている1点の集まりが、図7に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。
また、図6に示されているページデータのうちのメディアデータは、図9に示されているように詳細な情報を示している。図9は、メディアデータを示す概念図である。図9に示されているように、メディアデータは、図6に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。
(ファイル処理部40の機能構成)
続いて、図4を用いて、図3に示されているファイル処理部40の機能構成を説明する。なお、図4は、ファイル処理部40の機能ブロック図である。ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
続いて、図4を用いて、図3に示されているファイル処理部40の機能構成を説明する。なお、図4は、ファイル処理部40の機能ブロック図である。ファイル処理部40は、リカバリ処理部41、ファイル入力部42a、ファイル出力部42b、ファイル変換部43、ファイル送信部44、アドレス帳入力部45、バックアップ処理部46、バックアップ出力部47、設定管理部48、設定ファイル入力部49a、及び設定ファイル出力部49bを有している。更に、ファイル処理部40は、アドレス帳管理テーブル410、バックアップデータ記憶部420、設定ファイル記憶部430、及び接続先管理テーブル440を有している。
このうち、リカバリ処理部41は、電子黒板2が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがPDFファイルとしてファイル処理部40を介してUSB5に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部300に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部41は、ページデータ記憶部300からページデータを読み出すことで復旧させる。
ファイル入力部42aは、USBメモリ5から、PDFファイルを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。
ファイル変換部43は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換する。
ファイル出力部42bは、ファイル変換部43によって出力されたPDFファイルをUSBメモリ5に記録する。
ファイル送信部44は、ファイル変換部43によって生成されたPDFファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部36によってディスプレイ3上にアドレス帳管理テーブル410の内容を表示し、ファイル送信部44がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル410には、図11に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部44が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。
アドレス帳入力部45は、USBメモリ5から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル410に管理する。
バックアップ処理部46は、ファイル出力部42bによって出力されたファイルや、ファイル送信部44によって送信されたファイルを、バックアップデータ記憶部420に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図12に示されているように、PDF形式で記憶される。
バックアップ出力部47は、バックアップされたファイルをUSBメモリ5に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。
設定管理部48は、電子黒板2の各種設定情報を設定ファイル記憶部430に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールサーバの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、電子黒板2のIPアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はDNS(Domain Name System)の設定等である。
設定ファイル出力部49bは、電子黒板2の各種設定情報を、設定ファイルとしてUSBメモリ5に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。
設定ファイル入力部49aは、USBメモリ5に記憶されている設定ファイルを読み込み、各種設定情報を電子黒板の各種設定に反映させる。
アドレス帳入力部50は、USBメモリ5から遠隔共有処理の接続先IPアドレスの一覧ファイルを読み込み、接続先管理テーブル440に管理する。なお、図13に示されているように、接続先管理テーブル440は、電子黒板2が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす電子黒板のIPアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル440では、参加されることが可能な主催装置としての電子黒板2が設置されている拠点の名称、及び主催装置としての電子黒板2のIPアドレスが関連付けて管理されている。
なお、接続先管理テーブル440は、無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理を開始するために、タッチパネル等の入力装置によって、主催装置のIPアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のIPアドレスを知得する。
(通信制御部60の機能構成)
次に、図5を用いて、通信制御部60の機能構成について説明する。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
次に、図5を用いて、通信制御部60の機能構成について説明する。通信制御部60は、通信ネットワーク9を介して、他の電子黒板2と行う通信や、サーバ部90における後述の通信制御部70と行う通信を制御する。そのため、通信制御部60は、遠隔開始処理部61、遠隔参加処理部62、遠隔画像送信部63、遠隔画像受信部64、遠隔操作送信部65、遠隔操作受信部66、及び参加拠点管理テーブル610を有している。
このうち、遠隔開始処理部61は、同じ電子黒板2のサーバ部90に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部90から要求の結果を受信する。この場合、遠隔開始処理部61は、遠隔ライセンス管理テーブル310を参照し、ライセンス情報(プロダクトID、ライセンスID、及び有効期限)が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。
参加拠点管理テーブル610は、電子黒板が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての電子黒板を管理するテーブルである。この参加拠点管理テーブル610では、図14に示されているように、参加中の電子黒板2が設置されている拠点の名称及び当該電子黒板2のIPアドレスが関連付けて管理されている。
遠隔参加処理部62は、通信ネットワーク9を介して、既に遠隔共有処理を開始している主催装置としての電子黒板2のサーバ部90における遠隔接続要求受信部71に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部62は、遠隔ライセンス管理テーブル310を参照する。また、遠隔参加処理部62が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル440を参照して、参加先の電子黒板2のIPアドレスを取得する。なお、遠隔参加処理部62によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の電子黒板2のIPアドレスが入力されてもよい。
遠隔画像送信部63は、映像取得部21から画像取得部31を介して送られて来た出力画像(C)を、サーバ部90に送信する。
遠隔画像受信部64は、サーバ部90から、他の電子黒板2に接続された映像出力機器からの画像データを受信し、表示重畳部36に出力することで、遠隔共有処理を可能にする。
遠隔操作送信部65は、遠隔共有処理に必要な各種操作データをサーバ部90に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集(拡大、縮小、移動)、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部66は、サーバ部90から、他の電子黒板2で入力された操作データを受信し、画像処理部30に出力することで、遠隔共有処理を行う。
〔サーバ部の機能構成〕
続いて、図5を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部90としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
続いて、図5を用いて、サーバ部90の機能構成について説明する。サーバ部90は、各電子黒板2に設けられており、いずれの電子黒板2であっても、サーバ部90としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
(通信制御部70の機能構成)
次に、図5を用いて、通信制御部70の機能構成について説明する。
次に、図5を用いて、通信制御部70の機能構成について説明する。
通信制御部70は、同じ電子黒板2内のクライアント部20における通信制御部60、及び通信ネットワーク9を介して他の電子黒板2内のクライアント部20における通信制御部60との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。
更に詳細に説明すると、通信制御部70は、遠隔接続要求受信部71、遠隔接続結果送信部72、遠隔画像受信部73、遠隔画像送信部74、遠隔操作受信部75、及び遠隔操作送信部76を有している。
このうち、遠隔接続要求受信部71は、遠隔開始処理部61からの遠隔共有処理の開始要求を受信したり、通信ネットワーク9を介して他の電子黒板2の遠隔参加処理部62からの遠隔共有処理に対する参加要求を受信したりする。遠隔接続結果送信部72は、遠隔開始処理部61へ遠隔共有処理の開始要求の結果を送信したり、通信ネットワーク9を介して他の電子黒板2の遠隔参加処理部62へ遠隔共有処理に対する参加要求の結果を送信する。
遠隔画像受信部73は、遠隔画像送信部63からの画像データ(出力画像(C)のデータ)を受信し、後述の遠隔画像処理部82に送信する。遠隔画像送信部74は、遠隔画像処理部82から画像データを受信し、遠隔画像受信部64に対して、この画像データを送信する。
遠隔操作受信部75は、遠隔操作送信部65からの操作データ(ストローク画像(B)等のデータ)を受信し、後述の遠隔操作処理部83に送信する。遠隔操作送信部76は、遠隔操作処理部83から操作データを受信し、遠隔操作受信部66に対して、この操作データを送信する。
(データ管理部の機能構成)
次に、図5を用いて、データ管理部80の機能構成について説明する。
次に、図5を用いて、データ管理部80の機能構成について説明する。
データ管理部80は、遠隔接続処理部81、遠隔画像処理部82、遠隔操作処理部83、操作合成処理部84、及びページ処理部85を有している。更に、サーバ部90は、パスコード管理部810、参加拠点管理テーブル820、画像データ記憶部830、操作データ記憶部840、及びページデータ記憶部850を有している。
このうち、遠隔接続処理部81は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部81は、遠隔接続要求受信部71が、遠隔開始処理部61から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部62から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部81は、クライアント部20としての他の電子黒板2からの参加要求が予め定められた参加可能数を超えていないかを確認する。
更に、遠隔接続処理部81は、他の電子黒板2から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部810で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部81によって発行され、遠隔共有処理に参加しようとする参加装置としての電子黒板2のユーザが、主催装置としての電子黒板2のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。
また、電子黒板2が主催装置の場合、遠隔接続処理部81は、参加装置の遠隔参加処理部62から通信ネットワーク9を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部90の参加拠点管理テーブル820に記憶する。そして、遠隔接続処理部81は、参加拠点管理テーブル820に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部72に送信する。遠隔接続結果送信部72は、同じ主催装置のクライアント部20における遠隔開始処理部61に遠隔拠点情報を送信する。遠隔開始処理部61は、参加拠点管理テーブルに610に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部20及びサーバ部90の両方で、遠隔拠点情報を管理することになる。
遠隔画像処理部82は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板のクライアント部を含む)に接続された映像出力機器(ノートPC6等)からの画像データ(出力画像(C))を受信して画像データ記憶部830に記憶すると共に、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像データの表示順を判定する。また、遠隔画像処理部82は、参加拠点管理テーブル820を参照し、遠隔共有処理に参加中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に、通信制御部70(遠隔画像送信部74)を介して、上記判定した順番で画像データを送信する。
遠隔操作処理部83は、遠隔共有処理中の各電子黒板2のクライアント部(主催装置である自己の電子黒板のクライアント部を含む)で描画されたストローク画像等の各種操作データ(ストローク画像(B)等)を受信し、主催装置である自己の電子黒板2のサーバ部90に届いた時間順で遠隔共有処理すべき画像の表示順を判定する。なお、各種操作データは、上述の各種操作データと同じである。また、遠隔操作処理部83は、参加拠点管理テーブル820を参照し、遠隔共有処理中の全ての電子黒板2のクライアント部20(主催装置である自己の電子黒板のクライアント部を含む)に操作データを送信する。
操作合成処理部84は、遠隔操作処理部83から出力された各電子黒板2の操作データを合成し、この合成結果としての操作データを、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。この操作データは、遠隔操作送信部76から、主催装置である電子黒板のクライアント部、及び参加装置である電子黒板のクライアント部のそれぞれに送信されることで、各電子黒板2で同じ操作データに係る画像が表示される。そのために、操作データは、図15に示されているように、SEQ(Sequence)、操作データの操作名、操作データの送信元である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No.、操作データの送信先である電子黒板2のIPアドレス及びクライアント部(サーバ部)のPort No,、操作データの操作種類、操作データの操作対象、並びに操作データの内容を示すデータが関連付けられて示されている。例えば、SEQ1では、主催装置である電子黒板(IPアドレス:192.0.0.1)のクライアント部(Port No.:50001)でストロークが描画されると、同じ主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)に操作データが送られたことが示されている。この場合の操作種類は「STROKE」、操作対象はページデータID「p005」、及び、操作データの内容を示すデータはストロークを示すデータである。また、SEQ2では、主催装置である電子黒板(IPアドレス:192.0.0.1)のサーバ部(Port No.:50000)から、参加装置である他の電子黒板(IPアドレス:192.0.0.2)のクライアント部(Port No.:50001)に、操作データが送られたことが示されている。
なお、操作合成処理部84は、この操作合成処理部84に操作データが入力された順に合成を行うため、通信ネットワーク9が混雑していなければ、各電子黒板2のユーザによるストローク順に、遠隔共有処理中の全ての電子黒板2のディスプレイ3にストローク画像(B)が表示される。
ページ処理部85は、クライアント部20の画像処理部30におけるページ処理部37と同様の機能を有し、サーバ部90でも、図6乃至図8に示されているページデータを、ページデータ記憶部850に記憶する。なお、ページデータ記憶部850は、画像処理部30におけるページデータ記憶部300と同じ内容であるため、その説明を省略する。
<実施形態の処理又は動作>
続いて、図17及び図18を用いて、本実施形態の処理又は動作について説明する。なお、図17及び図18は、各電子黒板の処理を示したシーケンス図である。
続いて、図17及び図18を用いて、本実施形態の処理又は動作について説明する。なお、図17及び図18は、各電子黒板の処理を示したシーケンス図である。
図17及び図18に示す実施形態では、電子黒板2aが遠隔共有処理を主催する主催装置(サーバ部及びクライアント部)としての役割を果たしており、電子黒板2b,2cが遠隔共有処理に参加する参加装置(クライアント部)としての役割を果たす場合について説明する。また、ここでは、電子黒板2a,2b,2cには、それぞれディスプレイ3a,3b,3cが接続され、更に、それぞれノートPC6a,6b,6cが接続されている。また、電子黒板2a,2b,2cでは、それぞれ電子ペン4a,4b,4cが使用される。
(参加の処理)
まず、図17を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
まず、図17を用いて、電子黒板2b,2cが遠隔共有処理に参加するための処理について説明する。
ユーザが電子黒板2aの電源スイッチをオンにすると、電子黒板2aのクライアント部20が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部90を起動させる操作をすると、クライアント部20の遠隔開始処理部61から同じ電子黒板2aのサーバ部90における遠隔接続要求受信部71に、サーバ部90の処理を開始させる指示を出力する。これにより、電子黒板2aでは、クライアント部20だけでなくサーバ部90も各種処理を開始可能となる(ステップS21)。
次に、電子黒板2aのクライアント部20におけるUI画像生成部33が電子黒板2aとの接続を確立するための接続情報を生成し、映像重畳部28が、UI画像生成部33から表示重畳部36を介して得た接続情報をディスプレイ3aに表示させる(ステップS22)。
この接続情報には、主催装置のIPアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部810に記憶されているパスコードは、図5に示されている遠隔接続処理部81によって読み出され、遠隔接続結果送信部72、遠隔開始処理部61の順に送信される。更に、パスコードは、遠隔開始処理部61を含む通信制御部60から、図3に示されている画像処理部30に送信され、最終的にUI画像生成部33に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、電子黒板2aのユーザによって、電話や電子メールにより、電子黒板2b,2cのユーザに伝えられる。なお、接続先管理テーブル440があれば、接続情報には、主催装置のIPアドレスが含まれていなくても、参加装置は参加要求を行うことができる。
次に、電子黒板2b,2cでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各電子黒板2a,2bのクライアント部20における遠隔参加処理部62が、接続情報のIPアドレスに基づき、通信ネットワーク9を介して、電子黒板2aのサーバ部90における通信制御部70に対してパスコードを送信して参加要求を行う(ステップS23,S24)。これにより、通信制御部70の遠隔接続要求受信部71は、各電子黒板2b,2cから、参加要求(パスコードを含む)を受信し、このパスコードを遠隔接続処理部81に出力する。
次に、遠隔接続処理部81は、各電子黒板2b,2cから受信したパスコードに対し、パスコード管理部810で管理されているパスコードを用いて認証する(ステップS25)。そして、遠隔接続結果送信部72が、各電子黒板2b,2cのクライアント部20に認証結果を通知する(ステップS26,S27)。ステップS25の認証により、各電子黒板2b,2cが正当な電子黒板であると判断されていた場合には、主催装置である電子黒板2aと、参加装置である電子黒板2b,2cとの遠隔共有処理の通信が確立され、各電子黒板2b,2cのクライアント部20における遠隔参加処理部62が、それぞれ他の電子黒板との間の遠隔共有処理の開始を可能にする(ステップS28,S29)。
(出力画像の表示)
続いて、図17を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
続いて、図17を用いて、遠隔共有処理における出力画像(C)が表示される処理について説明する。
まず、電子黒板2bは、ディスプレイ3bに出力画像(C)を表示する(ステップS30)。具体的には、電子黒板2bの画像取得部31が、ノートPC6bから映像取得部21を介して、ノートPC6bで表示されている出力画像(C)のデータを受信し、表示重畳部36及び映像重畳部28を介してディスプレイ3bに送信することで、ディスプレイ3bは出力画像(C)を表示する。
次に、電子黒板2bの画像取得部31を含む画像処理部30が、遠隔画像送信部63に出力画像(C)のデータを送信することで、遠隔画像送信部63を含む通信制御部60が通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70に出力画像(C)のデータを送信する(ステップS31)。これにより、電子黒板2aの遠隔画像受信部73は、出力画像(C)のデータを受信し、遠隔画像処理部82に出力することで、遠隔画像処理部82が画像データ記憶部830に出力画像(C)のデータを記憶する。
次に、主催装置である電子黒板2aは、ディスプレイ3aに出力画像(C)を表示する(ステップS32)。具体的には、電子黒板2aの遠隔画像処理部82は、遠隔画像受信部73から受信した出力画像(C)のデータを、遠隔画像送信部74に出力する。遠隔画像送信部74は、同じ主催装置である電子黒板2aのクライアント部20における遠隔画像受信部64に、出力画像(C)のデータを出力する。遠隔画像受信部64は、表示重畳部36に出力画像(C)のデータを出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3aに出力画像(C)のデータを出力する。これにより、ディスプレイ3aは、出力画像(C)を表示する。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔画像送信部74を含む通信制御部70は、通信ネットワーク9を介して、出力画像(C)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に出力画像(C)のデータを送信する(ステップS33)。これにより、参加装置である電子黒板2cの遠隔画像受信部64は、出力画像(C)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに出力画像(C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔画像受信部64が、上記ステップS33によって受信された出力画像(C)のデータを、電子黒板2cの表示重畳部36に出力する。表示重畳部36は、映像重畳部28に出力画像(C)のデータを出力する。映像重畳部28はディスプレイ3cに出力画像(C)のデータを出力する。これにより、ディスプレイ3cは、出力画像(C)を表示する。
なお、出力画像(C)のデータだけでなく、UI画像(A)、及びストローク画像(B)の各データが、映像重畳部28に入力されている場合には、表示重畳部36により、重畳画像(A,B,C)が生成され、映像重畳部28はディスプレイ3cに重畳画像(A,B,C)のデータを出力する。また、テレビ会議端末7から映像重畳部28に、テレビ会議用の映像(E)のデータが送られて来ている場合には、映像重畳部28は、重畳画像(A,B,C)にピクチャ・イン・ピクチャによりテレビ会議用の映像(E)のデータを重畳して、ディスプレイ3cに出力する。
(重畳画像の表示)
続いて、図18を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
続いて、図18を用いて、遠隔共有処理における重畳画像が表示される処理について説明する。
まず、電子黒板2bは、ユーザが電子ペン4bを用いて電子黒板2bにストローク画像(B)を描画する(ステップS41)。
次に、電子黒板2bの表示重畳部36は、図16に示されているように、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳し、映像重畳部28が電子黒板2bのディスプレイ3b上に、重畳された重畳画像(A,B,C)を表示させる(ステップS42)。具体的には、電子黒板2bのストローク処理部32が座標検知部22及び接触検知部24からイベント振分部25を介して、操作データとしてのストローク画像(B)のデータを受信し、表示重畳部36に送信する。これにより、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、ストローク画像(B)を重畳することができ、映像重畳部28が電子黒板2bのディスプレイ3b上に重畳画像(A,B,C)を表示させることができる。
次に、電子黒板2bのストローク処理部32を含む画像処理部30が、遠隔操作送信部65にストローク画像(B)のデータを送信することで、電子黒板2bの遠隔操作送信部65は、通信ネットワーク9を介して、主催装置である電子黒板2aの通信制御部70にストローク画像(B)のデータを送信する(ステップS43)。これにより、電子黒板2aの遠隔操作受信部75は、ストローク画像(B)のデータを受信し、遠隔操作処理部83に出力することで、遠隔操作処理部83が操作合成処理部84にストローク画像(B)のデータを出力する。このようにして、電子黒板2bで描画されたストローク画像(B)のデータは、描画される度に、主催装置である電子黒板2aの遠隔操作処理部83に順次送信される。このストローク画像(B)のデータは、図7に示されているストロークデータID毎に示されるデータである。よって、例えば、上述したように、ユーザが電子ペン4によってアルファベット「T」を描く場合は二筆書きとなるため、2つのストロークデータIDのそれぞれで示されるストローク画像(B)のデータが順次送信される。
次に、主催装置である電子黒板2aは、ディスプレイ3aに、電子黒板2bから送られて来たストローク画像(B)のデータが含まれた重畳画像(A,B,C)を表示する(ステップS44)。具体的には、電子黒板2aの操作合成処理部84は、遠隔操作処理部83を介して順次送られて来た複数のストローク画像(B)のデータを合成して、操作データ記憶部840に記憶するとともに遠隔操作処理部83に戻す。これにより、遠隔操作処理部83は、操作合成処理部84から受信した、合成後のストローク画像(B)のデータを、遠隔操作送信部76に出力する。遠隔操作送信部76は、同じ主催装置である電子黒板2aのクライアント部20における遠隔操作受信部66に、合成後のストローク画像(B)のデータを出力する。遠隔操作受信部66は、画像処理部30における表示重畳部36に、合成後のストローク画像(B)のデータを出力する。よって、表示重畳部36は、UI画像(A)、及び出力画像(C)に対して、合成後のストローク画像(B)を重畳する。最後に、映像重畳部28が、表示重畳部36によって重畳された重畳画像(A,B,C)をディスプレイ3a上に表示させる。
次に、主催装置としての電子黒板2aのサーバ部90における遠隔操作送信部76を含む通信制御部70は、通信ネットワーク9を介して、ストローク画像(B)のデータの送信元である電子黒板2b以外の電子黒板2cの通信制御部60に、合成後のストローク画像(B)のデータを送信する(ステップS45)。これにより、参加装置である電子黒板2cの遠隔操作受信部66は、合成後のストローク画像(B)のデータを受信する。
次に、電子黒板2cは、ディスプレイ3cに重畳画像(A,B,C)を表示する(ステップS34)。具体的には、電子黒板2cの遠隔操作受信部66が、上記ステップS45によって受信された合成後のストローク画像(B)のデータを、電子黒板2cの画像処理部30に出力する。画像処理部30の表示重畳部36は、UI画像(A)、及び出力画像(C)の各データと、合成後のストローク画像(B)のデータを重畳し、映像重畳部28に重畳画像(A,B,C)のデータを出力する。映像重畳部28は、ディスプレイ3cに重畳画像(A,B,C)のデータを出力する。これにより、ディスプレイ3cは、重畳画像(A,B,C)を表示する。
なお、上記処理では、ディスプレイ3上に出力画像(C)が表示されているが、この出力画像(C)に代えて、背景画像(D)を表示してもよい。また、出力画像(C)と背景画像(D)との排他的な関係をやめて、出力画像(C)と背景画像(D)との両方を同時にディスプレイ3上に表示させてもよい。
(参加の終了)
続いて、図18を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図18に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
続いて、図18を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図18に示す実施形態では、電子黒板2cが参加を終了する処理が示されている。
まず、電子黒板2cでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部62は、主催装置としての電子黒板2aのサーバ部90における通信制御部70に、参加の終了要求を行う(ステップS47)。これにより、通信制御部70の遠隔接続要求受信部71は、電子黒板2cから、参加の終了要求を受信し、遠隔接続処理部81に、電子黒板2cのIPアドレスとともに参加の終了要求を出力する。そして、電子黒板2aの遠隔接続処理部81は、遠隔接続要求受信部71から送られて来たIPアドレスに基づいて、参加拠点管理テーブル820から、参加の終了要求を行った電子黒板2cのIPアドレス及び電子黒板2cが設置されている拠点の名称を削除し、遠隔接続結果送信部72に、電子黒板2cのIPアドレス及び削除した旨の通知を出力する。
次に、遠隔接続結果送信部72を含んだ通信制御部70が、通信ネットワーク9を介して、電子黒板2cのクライアント部20における通信制御部60に、参加の終了を指示する(ステップS48)。これにより、電子黒板2cにおける通信制御部60の遠隔参加処理部62が、遠隔共有処理の通信を切断することで参加の終了処理を行い、参加が終了する(ステップS49)。
<サブウィンドウの表示について>
続いて、図19を用いてサブウィンドウ401(第二画像の一例)について説明する。図19はディスプレイ3に表示されるサブウィンドウ401を説明する図の一例である。図19(a)はディスプレイ3と接続されたテレビ会議端末7を示す。図19(b)はディスプレイ3の側面403に配置されたモニターボタン402を示す。モニターボタン402はユーザが電子黒板2にサブウィンドウ401の表示要求を通知するための操作受付部である。
続いて、図19を用いてサブウィンドウ401(第二画像の一例)について説明する。図19はディスプレイ3に表示されるサブウィンドウ401を説明する図の一例である。図19(a)はディスプレイ3と接続されたテレビ会議端末7を示す。図19(b)はディスプレイ3の側面403に配置されたモニターボタン402を示す。モニターボタン402はユーザが電子黒板2にサブウィンドウ401の表示要求を通知するための操作受付部である。
図19(b)のモニターボタン402が押下されることで、テレビ会議端末7が表示する画像の画像信号を映像重畳部28が取得してディスプレイ3のサブウィンドウ401に表示する。もう一度、ユーザがモニターボタン402を押下すると、サブウィンドウ401は非表示にされる。なお、ユーザがモニターボタン402を押下しなくても、ケーブル10a2の接続を例えば映像重畳部28が検出してディスプレイ3にサブウィンドウ401を表示してもよい。この場合、画像信号が検出されることが表示要求となる。
図20を用いて、テレビ会議端末7により表示される画像の一例を説明する。図20では、通信管理システム500を介してテレビ会議端末7aとテレビ会議端末7bが接続されている。通信管理システム500はテレビ会議端末7a、7bに対する呼制御を行う呼制御サーバであり、テレビ会議端末7aとテレビ会議端末7bとの通信接続を行う。テレビ会議端末7aにはディスプレイ130aaが接続され、テレビ会議端末7bにはディスプレイ130dbが接続されている。
テレビ会議端末7bはユーザdbなどのテレビ会議端末7bの周囲を撮影し、撮影した画像データをテレビ会議端末7aに送信する。テレビ会議端末7aもユーザaaなどのテレビ会議端末7aの周囲を撮影し、撮影した画像データをテレビ会議端末7bに送信する。また、テレビ会議端末7aは自機が撮影した画像と、テレビ会議端末7bから受信した画像を合成して1つの画像を作成し、ディスプレイ130aaに表示する。テレビ会議端末7bも同様である。この画像は主に動画であるが静止画でもよい。また、音声についても、テレビ会議端末7aとテレビ会議端末7bとの間で送受信されている。
このようにして、遠隔地のユーザaaとユーザdbは互いに相手の状況を確認しながらテレビ会議を行うことができる。なお、以下では、ディスプレイ130aa、130dbを区別しない場合、「ディスプレイ130」と記載し、テレビ会議端末7aと7bを区別しない場合、「テレビ会議端末7」と記載する。
ディスプレイ130に表示される画像が、電子黒板2のサブウィンドウ401に表示される画像である。テレビ会議端末7が電子黒板2に接続されている場合、映像重畳部28はテレビ会議端末7がディスプレイ130に表示している画像をサブウィンドウ401に表示する。ユーザはディスプレイ3を見ることで遠隔地の会議相手の状況を確認できる。なお、テレビ会議端末7をディスプレイ130と電子黒板2の両方に同時にユーザが接続できるかどうかはテレビ会議端末7の仕様によるものである。しかし、テレビ会議端末7が両方に接続されていても、ユーザはディスプレイ130を見る場合よりも少ない視線移動でディスプレイ3を見て遠隔地の会議相手の状況を確認できる。
なお、電子黒板2にケーブル10a2を介して接続されるものは、テレビ会議端末7に限らない。例えば、ノートPC6など画像を表示する外部の装置を接続することも可能であり、ケーブル10a2を介して画像を出力する装置が接続されれば、電子黒板2はサブウィンドウ401に画像を表示できる。
<<サブウィンドウ表示時の不都合>>
しかしながら、電子黒板2がディスプレイ3にサブウィンドウ401を表示する場合、ディスプレイコントローラ113はGPU112が有するビデオメモリから読み出した画像データとテレビ会議端末7から受信した画像データを共にディスプレイコントローラ113のメモリに保持しなければならない。ディスプレイコントローラ113は、モニターボタン402が押下されたことをCPU101などから通知されると、予め定められたメモリの領域をテレビ会議端末7に割り当てる。この結果、表示重畳部36が生成するUI画像(A)、ストローク画像(B)及び出力画像(C)が重畳された画像データ(又は、UI画像(A)、ストローク画像(B)及び背景画像(D)が重畳された画像データ)を記憶するためのメモリ領域が低減される。少ないメモリ領域で画像データをディスプレイ3に表示するためディスプレイコントローラ113は自動的に色空間をYUV444からYUV422に変換する。
しかしながら、電子黒板2がディスプレイ3にサブウィンドウ401を表示する場合、ディスプレイコントローラ113はGPU112が有するビデオメモリから読み出した画像データとテレビ会議端末7から受信した画像データを共にディスプレイコントローラ113のメモリに保持しなければならない。ディスプレイコントローラ113は、モニターボタン402が押下されたことをCPU101などから通知されると、予め定められたメモリの領域をテレビ会議端末7に割り当てる。この結果、表示重畳部36が生成するUI画像(A)、ストローク画像(B)及び出力画像(C)が重畳された画像データ(又は、UI画像(A)、ストローク画像(B)及び背景画像(D)が重畳された画像データ)を記憶するためのメモリ領域が低減される。少ないメモリ領域で画像データをディスプレイ3に表示するためディスプレイコントローラ113は自動的に色空間をYUV444からYUV422に変換する。
YUVのYは輝度を、UとVは色差を表す。そして、YUV444は1ピクセルのYUVをそれぞれ8ビットの合計24ビットで表すのに対し、YUV422は1ピクセルのYを8ビット、2ピクセルのUとVをそれぞれ8ビットで表す(1ピクセルを表示するのに必要な平均のビット数は16ビット)。このため、YUV422が表示可能な階調がYUV444よりも少なくなり、ユーザの目にはコントラストが低下したように見える。コントラストが低下するため、薄い色で描画されたガイド線、グリッド線、短い線分又は小さい点等が見えにくくなる(表示内容に情報欠落が生じる)。
なお、ガイド線やグリッド線は文字などを手書きする際にユーザが水平や垂直方向の目安とする線(手書き位置を把握するための線)である。以下では、ガイド線、グリッド線、短い線分又は小さい点等が見えにくくなることを視認性が低下すると称する場合がある。
また、本実施形態では、薄い色で描画されたガイド線、グリッド線、短い線分又は小さい点を、ユーザが見えにくくなる例に挙げているに過ぎず、視認性が低下する内容(手書きオブジェクト)はこれらに限られない。
<<サブウィンドウの表示時の処理>>
そこで、本実施例では、ディスプレイ3の色空間が変更された場合に、以下のようにコントラストを変更することで、視認性が低下することを抑制する。コントラストを変更することは、表示態様の変更の一例である。
そこで、本実施例では、ディスプレイ3の色空間が変更された場合に、以下のようにコントラストを変更することで、視認性が低下することを抑制する。コントラストを変更することは、表示態様の変更の一例である。
まず、図3に示したように、背景生成部34はコントラスト値記憶部34aを有している。コントラスト値記憶部34aには、以下のようなコントラストテーブルが記憶されている。
サブウィンドウありに対応づけられているコントラスト値Bは、薄い色で描画されたガイド線、グリッド線、短い線分又は小さい点等がYUV422の色空間で明瞭に表示されるコントラスト値である(第二コントラスト値)。コントラスト値Bは電子黒板2の出荷時に予め設定されている。しかし、出荷後にユーザやサービスマンが調整可能でもよい。
コントラスト値は大きいほど最大の輝度/最小の輝度の比が大きいことを意味するので画面が明るく見える。一方、コントラストが高いと、薄い濃度のピクセルが周りの光にかき消され見えにくくなる。したがって、薄い濃度のピクセルを見やすくするには、コントラストを下げればよい。このため、コントラスト値Bはコントラスト値Aよりも小さい値になる場合が多い。しかしながら、コントラスト値Aをユーザが小さく設定することも可能であるし、コントラスト値Bは調整値なので、必ず、「コントラスト値B<コントラスト値A」となるとは限らない。
電子黒板2にサブウィンドウ401が表示された場合に(階調が少ない色空間で表示された場合)、背景生成部34がコントラスト値Bに切り替えることで、サブウィンドウ401が表示された場合でも、視認性が低下することを抑制できる。
<コントラスト値の切り替えの動作手順>
図21は、コントラスト値の切り替え手順を示すフローチャート図の一例である。図21の手順は、モニターボタン402の押下により又は電子黒板の起動時にスタートする。
図21は、コントラスト値の切り替え手順を示すフローチャート図の一例である。図21の手順は、モニターボタン402の押下により又は電子黒板の起動時にスタートする。
まず、図21の制御に使用される変数について説明する。ディスプレイ3にユーザが設定可能なコントラスト値の範囲には制限があることが一般的である。例えば、コントラスト値が0から100の範囲を取る場合、-100から+100の範囲を取る場合、又は、-50から+50を取る場合などがある。本実施例ではコントラスト値が取り得る値とそうでない値を変数に設定してコントラスト値を制御する。この変数(以下、設定コントラスト値という)は、モニターボタン402が押下された時に、サブウィンドウ401が表示されていたかどうかの状態を示す。
次に、本実施例のディスプレイ3は「0から100」の範囲のコントラスト値の設定が可能であるものとする。すなわち、ディスプレイ3は負値のコントラスト値を取らない。また、電子黒板2の起動時に設定コントラスト値は初期化され、例えば−1が設定される。負値であれば−1でなくてもよい。これは、図21にて説明するように、サブウィンドウ401が表示された状態で電子黒板2の再起動が行われても、サブウィンドウなしのコントラスト値Aで画像をディスプレイ3に表示するためである。また、起動時は、コントラスト値Aがディスプレイコントローラ113に設定される。
図21の手順を説明する。以下では、グリッドなどの背景画像(D)を生成する背景生成部34が制御するものとするが、画像処理部30のいずれかの機能が制御してもよいし、映像重畳部28が制御してもよい。
まず、背景生成部34は設定コントラスト値が0以上か否かを判定する(S10)。まず、設定コントラスト値が−1であると仮定して説明する。設定コントラスト値が−1であることは、現在、ディスプレイ3にサブウィンドウ401が表示されていないことを意味する。
ステップS10でNoと判定されると、背景生成部34はモニターボタン402がONされたか又はONされていないかを判定する(S20)。
ONされていないと判定された場合(S20のNo)、サブウィンドウ401が表示されないので、処理はステップS10に戻る。
ONされたと判定された場合(S20のYes)、ユーザがサブウィンドウ401を表示するための操作を行ったので、背景生成部34はディスプレイコントローラ113から現在のコントラスト値を取得する(S30)。そして、背景生成部34は取得したコントラスト値をコントラストテーブルのコントラスト値Aとして待避しておく。
次に、背景生成部34はコントラストテーブルからコントラスト値Bを読み出し、ディスプレイコントローラ113に設定する(S40)。これにより、サブウィンドウ401がディスプレイ3に表示されても視認性が低下することを抑制できる。
また、制御のため、背景生成部34はステップS30で取得したコントラスト値を設定コントラスト値に設定する(S50)。本実施例の場合、設定コントラスト値は必ず正値になる。したがって、設定コントラスト値に設定されるのはステップS30で取得したコントラスト値でなくても、正値であればよい。
処理はステップS10に戻るので、再度、ステップS10から説明する。設定コントラスト値に正値が設定されると、ステップS10ではYesと判定される。
次に、背景生成部34はモニターボタン402がOFFされたか又はOFFされていないかを判定する(S60)。
OFFされていないと判定された場合(S60のNo)、サブウィンドウ401が表示されたまま、処理はステップS10に戻る。すなわち、引き続きコントラスト値Bでサブウィンドウ401が表示される。
OFFされたと判定された場合(S60のYes)、ユーザがサブウィンドウ401を非表示にするための操作を行ったので、背景生成部34はコントラストテーブルからコントラスト値Aを読み出し、ディスプレイコントローラ113に設定する(S70)。これにより、ユーザが設定したコントラスト値Aでディスプレイ3が表示される。
次に、制御のため、背景生成部34は設定コントラスト値に−1を設定する(S80)。この後、処理はステップS10に戻り、設定コントラスト値が負値なので、ステップS10〜S50が実行される。以降はこの繰り返しである。
このように、本実施例の電子黒板は、サブウィンドウ401が表示されるか否かに応じてコントラスト値を切り替えることで、ガイド線、グリッド線、短い線分又は小さい点等が見えにくくなることを抑制できる。
なお、本実施例では、コントラスト値Bが予めコントラストテーブルに設定されていると説明したが、背景生成部34がコントラスト値Bを算出してもよい。例えば、コントラスト値Aよりも小さい値に設定する。コントラスト値AのM%の値を算出することで、コントラストを低下させることができる。Mは例えば90〜80などであるが、適切な値は定められているものとする。あるいは、輝度値に応じて背景生成部34がMを変更してもよい。輝度値が高いほどサブウィンドウ401の表示時にグリッド線などが見にくくなるおそれがあるので、背景生成部34は輝度値が高いほど小さいMを用いてコントラスト値Bを算出する。
なお、本実施例では、主に背景画像(D)の視認性について説明したが、色空間が変わった場合にディスプレイ3のコントラストが変更されるので、UI画像(A)、ストローク画像(B)、及び、出力画像(C)の視認性の低下も抑制される。したがって、UI画像(A)、ストローク画像(B)、及び、出力画像(C)に、仮にガイド線、グリッド線、短い線分又は小さい点等が表示されてもユーザが見やすい状態で表示できる。
本実施例では、背景画像(D)の濃度を濃くすることでサブウィンドウ401が表示される際の視認性の低下を抑制する電子黒板2について説明する。線や点の濃度を濃くすることは表示態様の変更の一例である。
図22は、本実施例の電子黒板の機能ブロック図の一例である。なお、本明細書において、同一の符号を付した構成要素については、同様の機能を果たすので、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。
本実施例の電子黒板は、背景生成部34が濃度値記憶部34bを有している。濃度値記憶部34bには、以下のような濃度テーブルが記憶されている。
濃度値Bは、YUV422の色空間において薄い色で描画されたグリッド線や小さい点を見やすい状態で表示するための濃度値である。例えば、背景画像(D)のグリッド線が灰色である場合を例にして説明する。濃度値AがRGB(128,128,128)であるとすると、濃度値BはRGB(100,100,100)などの値を有する。すなわち、灰色のまま灰色が濃くなる。
電子黒板2にサブウィンドウ401が表示された場合に(YUV422の色空間で表示された場合)、背景生成部34が濃度値Bに切り替えることで、サブウィンドウ401が表示された場合でも、視認性が低下することを抑制できる。
<濃度値の切り替えの動作手順>
図23は、濃度値の切り替え手順を示すフローチャート図の一例である。図23においては図21と異なるステップについて主に説明する。本実施例では、設定濃度値を変数とする。設定濃度値に−1又は正値が設定される点は実施例1と同様である。
図23は、濃度値の切り替え手順を示すフローチャート図の一例である。図23においては図21と異なるステップについて主に説明する。本実施例では、設定濃度値を変数とする。設定濃度値に−1又は正値が設定される点は実施例1と同様である。
まず、背景生成部34は設定濃度値が0以上か否かを判定する(S10)。設定濃度値が−1であると仮定して説明する。
ステップS10でNoと判定されると、背景生成部34はモニターボタン402がONされたか又はONされていないかを判定する(S20)。
ONされたと判定された場合(S20のYes)、背景生成部34は濃度値テーブルから濃度値Bを読み出し、背景画像(D)を生成する(S40)。これにより、サブウィンドウ401がディスプレイ3に表示されても薄い色で描画されたグリッド線や小さい点を濃く表示することができる。
また、制御のため、背景生成部34は設定濃度値に正値を設定する(S50)。濃度値Aを設定してもよい。
処理はステップS10に戻るので、再度、ステップS10から説明する。設定濃度値に正値が設定されると、ステップS10ではYesと判定される。
次に、背景生成部34はモニターボタン402がOFFされたか又はOFFされていないかを判定する(S60)。
OFFされていないと判定された場合(S60のNo)、サブウィンドウ401が表示されたまま、処理はステップS10に戻る。すなわち、引き続き背景画像(D)は濃度値Bで描画され、サブウィンドウ401が表示される。
OFFされたと判定された場合(S60のYes)、背景生成部34は濃度値テーブルから濃度値Aを読み出し、背景画像(D)を生成する(S70)。
次に、制御のため、背景生成部34は設定濃度値に−1を設定する(S80)。この後、処理はステップS10に戻り、設定濃度値が負値なので、ステップS10〜S50が実行される。以降はこの繰り返しである。
このように、本実施例の電子黒板は、サブウィンドウ401が表示されるか否かに応じて背景画像(D)の濃度値を切り替えることで、ガイド線、グリッド線、短い線分又は小さい点等が見えにくくなることを抑制できる。
なお、本実施例では、背景画像(D)の視認性について説明したが、UI画像生成部33が生成するUI画像(A)についても薄い色で描画されるメニューなどを濃く表示すればよい。ストローク画像(B)については、視認性が十分な色かつ太さの線でストロークが描画されるため、サブウィンドウ401が表示される際に視認性が低下するおそれは少ない。仮に、視認性が低下する場合、ストローク処理部32がストロークの色を濃くすることができる。出力画像(C)については例えばノートPC6が送信するので、ノートPC6に対し濃度の増加を要求する(コントラストの低下を要求してもよい)。これにより、出力画像(C)にガイド線、グリッド線、短い線分又は小さい点等が存在しても、見やすい状態で表示することができる。
また、本実施例では、サブウィンドウ401が表示される場合に、同じ灰色のまま濃くしたが、背景生成部34は背景画像(D)の色を変えてもよい。例えば、背景画像(D)において白地に灰色でグリッド線等が描画されている場合、R(赤)やB(青)の値を大きくすることで、グリッド線等が見やすくなる。したがって、RGBの比率を変えて色を変更することも有効である。UI画像(A)、ストローク画像(B)出力画像(C)についても同様に処理できる。
また、背景生成部34は背景画像(D)に描画される線などを太くしてもよい。同じ濃度又は色でも線が太くなることでグリッド線等が見やすくなる。UI画像(A)、ストローク画像(B)出力画像(C)についても同様に処理できる。
また、サブウィンドウ401が表示される場合に、背景画像(D)の濃さ、色及び太さの1つ以上を組み合わせて変更してもよい。また、実施例1で説明したコントラストの変更と組み合わせて、濃さ、色及び太さの1つ以上を変更してもよい。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
本実施形態では、ディスプレイコントローラ113のメモリ容量の低下により色空間が変更されると説明したが、ディスプレイコントローラ113以外のメモリ容量の低下により色空間が変更される場合にも本実施形態を適用できる。また、ディスプレイコントローラ113はLCDコントローラなどと呼ばれていてもよく、呼称は問われない。
また、本実施形態では、ディスプレイ3の色空間としてYUV444とYUV422を例にして説明したが、ディスプレイ3の色空間はこれらに限られない。例えば、YUV444からYUV420又はYUV411へ変更されてもよい。また、YUV422からYUV420又はYUV411へ変更されてもよい。すなわち、YUV444、YUV422、YUV420又はYUV411のうち、相対的に画像の情報欠落が生じる2つの色空間に対し適用できる。
また、ディスプレイの色空間としてYUVでなく、YCbCrが採用されていてもよい。また、映像重畳部28がRGBをYUVに変換することなく、RGB信号をディスプレイ3に送信する場合、RGB系の色空間が用いられてよい。
1 画像処理システム
2 電子黒板
3 ディスプレイ
4 電子ペン
6 ノートPC
7 テレビ会議端末
9 通信ネットワーク
28 映像重畳部
30 画像処理部
32 ストローク処理部
33 UI画像生成部
34 背景生成部
34a コントラスト値記憶部
34b 濃度値記憶部
401 サブウィンドウ
402 モニターボタン
2 電子黒板
3 ディスプレイ
4 電子ペン
6 ノートPC
7 テレビ会議端末
9 通信ネットワーク
28 映像重畳部
30 画像処理部
32 ストローク処理部
33 UI画像生成部
34 背景生成部
34a コントラスト値記憶部
34b 濃度値記憶部
401 サブウィンドウ
402 モニターボタン
Claims (10)
- 表示装置に画像を表示する情報処理装置であって、
前記表示装置に対する前記画像とは異なる第二画像の表示要求を検出する表示要求検出手段と、
外部から前記第二画像の画像信号を取得する画像取得手段と、
前記表示要求検出手段が前記表示要求を検出した場合、前記画像信号を用いて形成された前記第二画像を前記画像に重畳して表示させる重畳表示手段と、
前記画像に前記第二画像が重畳して表示される場合、少なくとも前記画像の表示態様を変更する表示態様変更手段と、を有する情報処理装置。 - 前記表示態様変更手段は、前記画像に前記第二画像が重畳して表示されることで前記画像に生じる情報欠落を抑制する前記表示態様に変更し、
前記重畳表示手段は変更された前記表示態様で前記画像を表示する請求項1に記載の情報処理装置。 - 前記表示態様変更手段は、前記表示装置の色空間の変更により生じる前記情報欠落を抑制する前記表示態様に変更し、
前記重畳表示手段は変更された前記表示態様で前記画像を表示する請求項2に記載の情報処理装置。 - 前記表示態様変更手段は、前記画像に前記第二画像が重畳して表示される場合、前記画像のみが前記表示装置に表示されていた場合の第一コントラスト値と異なる第二コントラスト値を前記表示装置に設定し、
前記重畳表示手段は、前記第二コントラスト値が設定された前記表示装置において前記画像に前記第二画像を重畳して表示させる請求項1〜3いずれか1項に記載の情報処理装置。 - 前記表示態様変更手段は、前記画像に前記第二画像が重畳して表示される場合、前記画像の濃度、太さ、及び、色の少なくとも1つを前記画像のみが前記表示装置に表示されていた場合の第一値とは異なる第二値に設定し、
前記重畳表示手段は、前記第二値で生成された前記画像に前記第二画像を重畳して前記表示装置に表示させる請求項1〜4いずれか1項に記載の情報処理装置。 - 前記表示態様変更手段は、前記表示要求検出手段が前記表示要求を検出した場合、変数が保持する値に応じて、前記画像のみが前記表示装置に表示されていた際の前記表示態様で前記画像を表示するか、又は、前記画像に前記第二画像が重畳して表示される際の前記表示態様で前記画像を表示するかを切り替える請求項1〜5いずれか1項に記載の情報処理装置。
- 前記表示態様変更手段は、前記画像に前記第二画像が重畳して表示される前記表示態様に切り替える場合、前記画像のみが前記表示装置に表示されていた際の前記表示態様を待避しておき、
前記画像のみが前記表示装置に表示されている前記表示態様に切り替える場合、待避しておいた前記表示態様を取得し、
前記重畳表示手段は、取得した前記表示態様で前記画像を前記表示装置に表示させる請求項6に記載の情報処理装置。 - 前記表示要求検出手段は、前記情報処理装置に配置された操作受付部への操作に基づき前記表示装置への前記第二画像の前記表示要求を検出する請求項1〜7いずれか1項に記載の情報処理装置。
- 前記表示装置の表示面に対する手書き位置を検出し、前記手書き位置を連結して生成されたストローク画像を生成するストローク画像生成手段を有し、
前記画像は、前記手書き位置の目安とされる線又は点が描画されたものであり、
前記表示態様変更手段は、前記画像に前記第二画像が重畳して表示される場合、前記線又は前記点の視認性の低下を抑制する前記表示態様に変更する請求項1〜8いずれか1項に記載の情報処理装置。 - 表示装置に画像を表示する情報処理装置が行う画像表示方法であって、
表示要求検出手段が、前記表示装置に対する前記画像とは異なる第二画像の表示要求を検出するステップと、
画像取得手段が、外部から前記第二画像の画像信号を取得するステップと、
重畳表示手段が、前記表示要求検出手段が前記表示要求を検出した場合、前記画像信号を用いて形成された前記第二画像を前記画像に重畳して表示させるステップと、
表示態様変更手段が、前記画像に前記第二画像が重畳して表示される場合、少なくとも前記画像の表示態様を変更するステップと、
を有する画像表示方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090237A JP2016208394A (ja) | 2015-04-27 | 2015-04-27 | 情報処理装置、画像表示方法 |
EP16786124.4A EP3289769A4 (en) | 2015-04-27 | 2016-04-15 | Information processing apparatus, and image displaying method |
US15/564,222 US10397638B2 (en) | 2015-04-27 | 2016-04-15 | Information processing apparatus, and image displaying method |
PCT/JP2016/002066 WO2016174845A1 (en) | 2015-04-27 | 2016-04-15 | Information processing apparatus, and image displaying method |
CN201680021709.7A CN107431840A (zh) | 2015-04-27 | 2016-04-15 | 信息处理设备以及图像显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015090237A JP2016208394A (ja) | 2015-04-27 | 2015-04-27 | 情報処理装置、画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016208394A true JP2016208394A (ja) | 2016-12-08 |
Family
ID=57199147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015090237A Pending JP2016208394A (ja) | 2015-04-27 | 2015-04-27 | 情報処理装置、画像表示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10397638B2 (ja) |
EP (1) | EP3289769A4 (ja) |
JP (1) | JP2016208394A (ja) |
CN (1) | CN107431840A (ja) |
WO (1) | WO2016174845A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10834231B2 (en) * | 2016-10-11 | 2020-11-10 | Synergex Group | Methods, systems, and media for pairing devices to complete a task using an application request |
CN117311543A (zh) * | 2017-09-01 | 2023-12-29 | 平蛙实验室股份公司 | 触摸感测设备 |
CN107610243A (zh) * | 2017-09-29 | 2018-01-19 | 广州视睿电子科技有限公司 | 立体图形的调节控制器生成、调节控制方法及相应装置 |
US11061641B2 (en) * | 2019-02-28 | 2021-07-13 | Ricoh Company, Ltd. | Screen sharing system, and information processing apparatus |
US11551480B2 (en) | 2019-04-11 | 2023-01-10 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, program, and input system |
US11132122B2 (en) | 2019-04-11 | 2021-09-28 | Ricoh Company, Ltd. | Handwriting input apparatus, handwriting input method, and non-transitory recording medium |
CN110471607B (zh) * | 2019-08-02 | 2020-06-09 | 掌阅科技股份有限公司 | 手写笔迹显示方法、手写阅读设备及计算机存储介质 |
US11733830B2 (en) | 2019-11-20 | 2023-08-22 | Ricoh Company, Ltd. | Display apparatus for displaying handwritten data with displayed operation menu |
JP2023512682A (ja) | 2020-02-10 | 2023-03-28 | フラットフロッグ ラボラトリーズ アーベー | 改良型タッチ検知装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3334535B2 (ja) | 1997-01-29 | 2002-10-15 | 株式会社日立製作所 | 画像表示装置及び画像表示方法 |
TWI249630B (en) * | 1999-05-10 | 2006-02-21 | Matsushita Electric Ind Co Ltd | Image display device and method for displaying image |
JP4036059B2 (ja) | 2002-08-28 | 2008-01-23 | セイコーエプソン株式会社 | Dvdプレーヤを内蔵した表示装置 |
NZ525956A (en) * | 2003-05-16 | 2005-10-28 | Deep Video Imaging Ltd | Display control system for use with multi-layer displays |
JP2006154064A (ja) * | 2004-11-26 | 2006-06-15 | Matsushita Electric Ind Co Ltd | 表示方法及び表示装置 |
WO2007147081A1 (en) * | 2006-06-14 | 2007-12-21 | Nik Software, Inc. | Graphical user interface and related method |
JP2008287198A (ja) | 2007-05-15 | 2008-11-27 | Tadano Ltd | デイスプレイのコントラスト調整装置 |
JP2011090038A (ja) | 2009-10-20 | 2011-05-06 | Sanyo Electric Co Ltd | 投写型映像表示装置 |
JP5796380B2 (ja) * | 2011-07-11 | 2015-10-21 | セイコーエプソン株式会社 | 画像処理方法、画像処理装置及び画像表示システム |
US8982177B2 (en) * | 2013-07-08 | 2015-03-17 | Avaya Inc. | System and method for whiteboard collaboration |
JP6036621B2 (ja) | 2013-09-17 | 2016-11-30 | 株式会社リコー | システム、情報処理装置 |
-
2015
- 2015-04-27 JP JP2015090237A patent/JP2016208394A/ja active Pending
-
2016
- 2016-04-15 CN CN201680021709.7A patent/CN107431840A/zh active Pending
- 2016-04-15 EP EP16786124.4A patent/EP3289769A4/en not_active Withdrawn
- 2016-04-15 US US15/564,222 patent/US10397638B2/en not_active Expired - Fee Related
- 2016-04-15 WO PCT/JP2016/002066 patent/WO2016174845A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP3289769A1 (en) | 2018-03-07 |
CN107431840A (zh) | 2017-12-01 |
WO2016174845A1 (en) | 2016-11-03 |
US10397638B2 (en) | 2019-08-27 |
US20180131991A1 (en) | 2018-05-10 |
EP3289769A4 (en) | 2018-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016208394A (ja) | 情報処理装置、画像表示方法 | |
JP6583432B2 (ja) | 画像処理装置、画像表示方法、プログラム | |
US10389975B2 (en) | Communication terminal, communication system, moving-image outputting method, and recording medium storing program | |
US11294495B2 (en) | Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard | |
JP6493546B2 (ja) | 電子黒板、記憶媒体、及び情報表示方法 | |
US20180082663A1 (en) | Information processing apparatus, image displaying method, and non-transitory computer readable medium | |
JP6020397B2 (ja) | 画像処理装置および画像処理システム | |
US10297058B2 (en) | Apparatus, system, and method of controlling display of image, and recording medium for changing an order or image layers based on detected user activity | |
WO2017138233A1 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
US11610560B2 (en) | Output apparatus, output system, and method of changing format information | |
US10356361B2 (en) | Communication terminal, communication system, and display method | |
JP6589621B2 (ja) | 表示装置、カメラ位置制御方法、およびプログラム | |
JP2020154660A (ja) | 表示装置、及び表示方法 | |
JP7494539B2 (ja) | 表示装置、負荷制御方法、プログラム | |
JP7306190B2 (ja) | 表示装置、表示方法、プログラム | |
JP7512655B2 (ja) | 出力装置、出力システム、フォーマット情報変更方法、プログラム、コントローラー | |
JP2020149634A (ja) | 画像処理装置、方法、およびプログラム | |
JP2021086576A (ja) | 表示装置、表示方法 |