JP2016212844A - 表示装置、及び表示システム - Google Patents

表示装置、及び表示システム Download PDF

Info

Publication number
JP2016212844A
JP2016212844A JP2016079799A JP2016079799A JP2016212844A JP 2016212844 A JP2016212844 A JP 2016212844A JP 2016079799 A JP2016079799 A JP 2016079799A JP 2016079799 A JP2016079799 A JP 2016079799A JP 2016212844 A JP2016212844 A JP 2016212844A
Authority
JP
Japan
Prior art keywords
image
distribution
electronic blackboard
communication terminal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016079799A
Other languages
English (en)
Inventor
太郎 奥山
Taro Okuyama
太郎 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201680026230.2A priority Critical patent/CN107533770A/zh
Priority to EP16792366.3A priority patent/EP3295429A4/en
Priority to PCT/JP2016/002243 priority patent/WO2016181637A1/en
Publication of JP2016212844A publication Critical patent/JP2016212844A/ja
Priority to US15/786,635 priority patent/US20180041564A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/127Updating a frame memory using a transfer of data from a source area to a destination area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】配信を望まない特定の画像を除外した配信画像を生成して、容易かつ的確に通信端末が閲覧可能になることにある。【解決手段】予め定めた操作パネル70を表示する操作パネル表示レイヤ81と、操作パネル70以外の画像を表示する1又は複数の手書き画像レイヤ82、83…とを重畳して形成した表示画像、及び操作パネル表示レイヤ81が除外されて形成され表示画像と異なる配信画像を生成する画像生成部140と、表示画像を表示する画像表示装置50と、を備え、配信画像をネットワーク経由で通信端末20に配信する映像配信サービス200とを備え、表示画像を電子黒板10の画像表示装置50に表示し、配信画像を通信端末20に表示する。【選択図】図3

Description

本発明は表示装置、及び表示システムに関する。
近年、表示装置として、電子ホワイトボード(インタラクティブホワイトボード:Interactive White board(IWB))等の電子黒板が広く使用されている。この電子黒板は、液晶パネル等のフラットパネルを用いた画像表示装置と、画像表示装置の表示面における入力用の物体、例えば入力ペンあるいは指が接触した位置の座標を検知するタッチパネルなどの座標検知装置と、座標検知装置から出力された座標データに基づいて画像表示装置の表示面に書き込まれた各種画像、文字、数字、又は図形を含む画像を表示させる制御装置とを組み合わせた構成を備える。この電子黒板では、会議資料等を拡大表示できる他、入力ペン又は指で表示面に書き込みを行える。
また、表示システムとして、社内LAN等のネットワークにより上述した電子黒板と、パーソナルコンピュータ(PC)やタブレットコンピュータ等の通信端末(クライアント端末)とを接続した電子黒板システムがある。この電子黒板システムでは、電子黒板上に表示される画像又は描画された書き込み映像を通信端末に圧縮して配信し、通信端末から電子黒板の画像を閲覧することができる。
特許文献1には、電子黒板で生成されたコンテンツの画像データを通信端末に送信する技術として、画像データの一部を切り出し、切り出された画像データを送信するためのデータに変換し、変換されたデータを通信端末に送信することが記載されている。
しかし、従来の電子黒板システムでは、電子黒板が生成した画像を全て配信することを前提としているため、画像上に配信したくない領域が含まれていたとしても、そのまま通信端末に画像が配信されてしまう。また、配信を望まない画像の領域を除外するために、画像をトリミングして配信するとこともできるが、除外したい領域が透過している場合には、除外した領域の下に表示された画像も失われた状態で配信されてしまう。更に、除外したい領域が表示装置の状態に応じて動的に変わり得る場合には、領域の指定が困難である。
特許文献1に記載の技術は、画像データの一部を切り出すものであり、生成された画像が失われるという問題、及び除外領域が可変の場合に領域指定が難しいという問題は解消されていない。
本発明は、上記に鑑みてなされたもので、その目的は、配信を望まない特定の画像を除外した配信画像を生成して、容易かつ的確に通信端末が閲覧可能になることにある。
上記課題を解決するため、請求項1記載の発明は、通信端末が閲覧可能な画像を生成する表示装置であって、特定画像を表示する特定レイヤと前記特定画像以外の画像を表示する1又は複数の他レイヤとを重畳して形成した表示画像、及び前記特定レイヤを除外して形成した他レイヤのみから成る配信画像を生成する画像生成手段を備えることを特徴とする。
本発明によれば、配信を望まない特定の画像を除外した配信画像を生成して、容易かつ的確に通信端末が閲覧可能になることができる。
本発明の第1実施形態及び第2実施形態に係る電子黒板システムの構成を示すブロック図である。 本発明の第1実施形態に係る電子黒板システムに使用する電子黒板のハードウエア構成を示す構成図である。 電子黒板システムに使用する電子黒板の機能ブロック図である。 電子黒板における表示画面を示す図である。 電子黒板における表示画面のレイヤを示す図である。 電子黒板システムに使用する通信端末の機能ブロック図である。 電子黒板システムにおける配信画像の生成及び配信の手順を示す図である。 第1実施形態の変形例の通信端末における表示画面を示す図である。 第2実施形態に係る電子黒板システムに使用する電子黒板の機能ブロック図である。 第2実施形態における電子黒板の表示画面示す図である。 第2実施形態における電子黒板の表示画面と通信端末の表示画面を示す図である。 電子黒板システムにおける一時配信画像の選択を示す図である。 電子黒板システムにおける一時配信画像の配信を行ったときの電子黒板と通信端末の表示画面を示す図である。 電子黒板システムにおける一時配信画像の配信手順を示す図である。 電子黒板のフレーム出力部が配信画像を取得する手順を示すフローチャートである。
以下、本発明を図面に示した実施形態により詳細に説明する。本発明は、配信を望まない特定の画像を除外した所望の画像を容易かつ的確に通信端末に配信するため以下の構成を備える。なお、以下に説明する実施形態において、表示装置として電子黒板を、表示システムとして電子黒板と通信端末とを通信ネットワークで接続した電子黒板システムを例として説明する。
<第1実施形態>
まず、本発明の第1実施形態に係る電子黒板について説明する。
図1は本発明の第1実施形態に係る電子黒板システムの構成を示すブロック図である。本実施形態に係る電子黒板システム1は、電子黒板10と、この電子黒板10に無線LAN(local area network)で接続された複数の通信端末20(20−1、20−2、…、20−n)とで構成される。無線LANは、例えば社内ネットワークにおいて使用される。なお、電子黒板10と、通信端末20との接続は無線LANに限らず、有線LAN、インターネット等、有線、無線を問わず各種の通信ネットワークを使用できる。
電子黒板10は、アプリケーション100と、映像配信サービス200と、画像表示装置50とを備える。
通信端末20は、ノート型パーソナルコンピュータ、タブレット型コンピュータ等であり、各種のOS(Operating System)、例えば、iOS、Android(登録商標)、window(登録商標)、macOS(登録商標)に基づいて動作する。通信端末20はそれぞれ画像表示部を備える。
図2は本発明の第1実施形態に係る電子黒板システムに使用する電子黒板のハードウエア構成を示す構成図である。
電子黒板10は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、HDD(Hard Disc Drive)504、HDC(Hard Disk Controller)505、メディアドライブ507、画像表示インターフェース(I/F)装置508、インターフェース(I/F)509、キーボード511、マウス512、マイク513、スピーカ514、GPU(Graphics Processing Unit)515、タッチパネル519を拡張バスライン520で接続して構成される。
CPU501は、電子黒板10全体の動作を制御する。R0M502は、IPL(Initial Program Loader)等のCPU501の駆動に用いられるプログラムを記憶している。ROM503は、CPU501のワークエリアとして使用される。HDD504は、プログラム等の各種データを記憶している。HDC505は、CPU501の制御にしたがってHDD504に対する各種データの読み出し又は書き込みを制御する。メディアドライブ507は、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御する。画像表示インターフェース508は、各種情報を表示する画像表示装置50への接続を行う。I/F509は、通信ネットワークを介してデータの送信や、ドングルの接続を行う。GPU515には、GPU515の駆動に用いられるプログラムを記憶したROM516、GPU515のワークエリアとして使用されるRAM517が接続されている。拡張バスライン520は、各構成要素を電気的に接続するためのアドレスバス又はデータバス等を備える。また、タッチパネル519は、入力ペン又は指の画像表示装置50における接触位置の座標を検出する。
このような構成を備える電子黒板10は、CPU501で所定の画像配信ソフトウエアを実行して、アプリケーション100とアプリケーション100で生成された複数の画像を映像として配信する映像配信サービス200を実現する。
アプリケーション100は、画像表示装置50への入力ペン又は指によるストロークの書き込みや、ページの操作であるタッチパネル519で検出し、タッチパネル519で検出された操作イベントに基づいて画像表示装置50にストローク等を描画する。そして、アプリケーション100は、通信端末20に配信する画像(配信画像)と、画像表示装置50に表示する画像(表示画像)を出力し、配信画像を映像配信サービス200に配信する(ステップS1)。映像配信サービス200は、アプリケーション100の描画結果である複数の画像を圧縮し、通信端末20に配信する(ステップS2)。この例では、1台の電子黒板10から複数(n台)の通信端末20−1、20−2、…、20−nに同時に配信がなされる。
一方、各通信端末20は、電子黒板10から取得した画像を表示部に表示する。また、通信端末20は、表示部に表示された画像に対してタッチ操作又はマウス操作を行い、映像への描画を行える。このタッチ操作又はマウス操作等の操作情報は電子黒板10の映像配信サービス200に送信され(ステップS3)、更に、映像配信サービス200から操作情報がアプリケーション100に送信される(ステップS4)。
次に電子黒板システム1における電子黒板10の機能構成について説明する。
図3は電子黒板システムに使用する電子黒板の機能ブロック図である。電子黒板10は、アプリケーション100と、映像配信サービス200とを備える。
アプリケーション100は、映像配信サービス200と連携してユーザーに機能を提供するものである。アプリケーション100は、機能実行部110と、アプリケーション入出力部120と、フレーム出力部130と、画像生成手段である画像生成部140と、操作受付部150と、表示制御部160とを備える。
機能実行部110は、電子黒板固有の機能を実行するモジュールである。アプリケーション入出力部120は、配信サービス入出力部210が出力したデータ、例えば操作イベントを受信する。また、機能実行部110は、受信したデータを機能実行部110が処理できる形式に変換して配信する。更に、機能実行部110は、配信サービス入出力部210へサービス開始、停止等のデータを送信する。
フレーム出力部130は、映像として通信端末20に配信する画像を出力する。例えばRGBビットマップである画像を、H.264/AVC形式で圧縮した映像として出力する。
画像生成部140は、画像表示装置50に表示される表示画像と、通信端末20に配信される配信画像とを生成する。
操作受付部150は、タッチパネル519で検出された入力ペン又は指の座標に基づいて書き込み等の操作を受け付ける。
表示制御部160は、画像生成部140で生成された表示画像を画像表示装置50に表示する。これにより、画像表示装置50には、操作パネルの画像と電子黒板の画像とが重畳して表示される。
画像生成部140で生成された画像は、配信画像としてフレーム出力部130に出力される。フレーム出力部130に出力された映像配信サービス200の画像はキャプチャ部270によってキャプチャされ、通信端末20に配信される。
また、通信端末20から操作を受け付ける場合は、通信端末20からの操作情報が映像配信サービス200の配信サービス入出力部210を経由してアプリケーション入出力部120に入力され、機能実行部110に伝送されて同様に処理される。
映像配信サービス200は、電子黒板1における電子黒板10側のモジュールの総称である。映像配信サービス200は、図3に示すように、配信サービス入出力部210と、配信制御部220と、配信情報管理部230と、通信制御部240と、映像エンコーダー部250とを備える。配信制御部220、配信情報管理部230及び通信制御部240は、配信モジュール280を構成し、映像エンコーダー部250はコーデックモジュール290を構成する。
配信サービス入出力部210は、アプリケーション入出力部120から出力されるデータ(例えば、サービスの開始、停止データ等)を受信する。また、配信サービス入出力部210は、アプリケーション入出力部120に操作イベント等のデータを送信する。配信情報管理部230は、画像の配信に関する映像エンコードの設定、接続中の通信端末20の情報を管理する。通信制御部240は、通信手段として機能し、画像の配信に関する全体の制御、コーデックモジュール290の起動又は終了の指示を行う。
映像エンコーダー部250は、キャプチャ部270から画像を取得し、圧縮処理を行うことで圧縮データを生成する。キャプチャ部270は、アプリケーション100のフレーム出力部130から出力されるフレーム画像を取得する。
次に画像生成部140で生成される表示画像と配信画像とについて説明する。
図4は電子黒板における表示画面を示した図である。電子黒板10の画像表示装置50には、取得した画像又は手書き画像60の他に、画像の横に操作パネル70が表示されている。手書き画像60には、ストローク画像61及び「Whiteboard Application」の文字62が描かれている。また、操作パネル70は複数のアイコンで構成されており、操作受付部150が入力ペンによるペンアイコン71の選択を検知することによって機能実行部110で書き込み時の色が変更される。
このような状態で、手書き画像60と操作パネル70とを含む画像を通信端末20に配信して表示すると、通信端末20の利用者は、表示された操作パネル70によって手書き画像60を操作できるものと誤認してしまう。
本実施形態にあっては、電子黒板10は、操作パネル70を除外した画像を生成し、手書き画像60のみ通信端末20に配信する。なお、操作パネル70の他、画像表示装置50の下部に表示されるサムネイル等も除外対象とすることができる。この除外対象は、通信端末20の仕様等により定めることができる。
図5は電子黒板における表示画面のレイヤを示す図である。
図5に示すように、操作パネル70は、操作パネル表示レイヤ81に表示され、ストローク画像61及び文字62はそれぞれ手書き画像レイヤ82、83に表示されている。なお、手書き画像レイヤは、この二つのレイヤに限られず所望のものを選択して重畳できる。ここで画像表示装置50に表示される操作パネル70は特定画像であり、操作パネル表示レイヤ81は特定レイヤである。また、ストローク画像61及び文字62は特定画像以外の画像であり、手書き画像レイヤ82、83は他レイヤである。
そして、表示画像は、画像生成部140が、操作パネル表示レイヤ81と、手書き画像レイヤ82、83とを重畳して形成する。また、配信画像は、画像生成部140が、手書き画像レイヤ82、83を重畳して形成する。即ち、配信画像は、表示画像から操作パネル表示レイヤ81を除外した画像である。
なお、手書き画像レイヤが複数あるときは、画像生成部140は、指定された所望の手書き画像レイヤを重ね合わせて形成することができる。
各レイヤには、レイヤを区別するIDや、メタデータを付しておくことで、配信画像の対象とするかどうかを判別することができる。
次に通信端末20について説明する。
図6は画像処理システムに使用する電子処理端末の機能ブロック図である。通信端末20は、GUI部310と、通信情報管理部320と、全体制御部330と、通信制御部340と、再生制御部350と、映像デコーダー部360と、画像表示部370とを備える。
GUI部310は、通信端末20の画像表示部370にユーザーインターフェース(UI)を表示する。全体制御部330は通信の開始、切断指示などの全体の制御を行う。通信情報管理部320は、配信に関する情報、例えば、映像エンコードの設定を保持する。通信制御部340は、電子黒板10との通信制御、電子黒板10の映像配信サービス200とデータの送受信を行う。再生制御部350は、圧縮データを映像デコーダー部360に投入する。映像デコーダー部360は、圧縮データをデコードして画像表示部370に画像を表示する。画像表示部370は、液晶画像表示パネルで構成され、GUI部310から出力される画像に基づいてGUIを表示すると共に、映像デコーダー部360からの画像に基づいて配信画像を表示する。
以下電子黒板システム1における処理の流れについて説明する。図7は電子黒板システムにおける配信画像の生成及び配信の手順を示す図である。
アプリケーション100の画像生成部140は、電子黒板10の画像表示装置50に表示するための操作パネル表示レイヤ81を含む全てのレイヤを重畳して表示画像を生成して、表示制御部160に送信する(ステップS11)。
また、画像生成部140は同時に操作パネル表示レイヤ81を含まない配信画像を生成し、フレーム出力部130に出力する(ステップS12)。
映像配信サービス200のキャプチャ部270は、フレーム出力部130に出力された画像をキャプチャして取得する(ステップS13)。キャプチャした画像をコーデックモジュール290に送信する(ステップS14)。コーデックモジュール290は映像エンコーダー部250で画像を圧縮して圧縮データを生成し、配信モジュール280に送信する(ステップS15)。
配信モジュール280は、圧縮データを通信端末20に送信し(ステップS16)、これを通信端末20は映像デコーダー部360でデコードし、GUI部310に操作パネルが除外された配信画像を表示する。
以上の処理により、通信端末20には、操作パネル表示レイヤ81を除外した、手書き画像レイヤ82、83から形成された配信画像が表示される。
なお、配信画像は、複数の手書き画像レイヤ82、83…から所望のものを選択して配信することができる。
これにより、通信端末20に配信される配信画像から操作パネルを除外して、通信端末20の利用者が操作パネルから電子黒板を操作できると勘違いすることを防止できる。
次に第1実施形態の変形例について説明する。
図8は第1実施形態の変形例に係る電子黒板システムにおける通信端末の表示画面を示す図である。
通信端末20が閲覧だけを可能とするものであれば、通信端末20の画像表示部370に表示されるのは操作パネルのない手書き画像だけでよい。しかし、通信端末によっては手書きの色を変更する、拡大表示する等、いくつかの機能を使用できることが望まれる。
そこで、本例では、通信端末20に独自の操作パネル30を表示できるものとする。操作パネル30は例えば、ペン書きアイコン31、拡大表示アイコン32、テキスト入力アイコン33を含むことができる。
このように通信端末20に独自の操作パネル30を表示することにより、通信端末20の種類によって最適な操作パネルを設置することが可能となる。例えば通信端末20が、キーボード付の通信端末であるときには、テキスト入力アイコン33を指定することにより表示部へのテキスト入力が容易にできる。
<第2実施形態>
次に本発明の第2実施形態に係る電子黒板システムについて説明する。
第2実施形態に係る電子黒板システム1Aは、図1に示すように、電子黒板10Aと、通信端末20とで構成される。
本実施形態に係る電子黒板システム1Aにおいて、電子黒板10Aは、通信端末20に送信される画像として、手書き画像の他、外部からの指示、例えば電子黒板10Aの操作者の指示に基づいて、予め定めた画像を選択して配信画像として通信端末20に配信することができる。
図1に示すように、電子黒板システム1Aは、電子黒板10Aと、この電子黒板10Aに無線LANで接続された複数の通信端末20(20−1、20−2、…、20−n)とで構成される。無線LANは例えば社内ネットワークにおいて使用される。
また、電子黒板10Aは、アプリケーション100Aと、映像配信サービス200と、画像表示装置50とを備える。通信端末20は第1実施形態のものと同じである。更に、電子黒板10Aは、第1実施形態に係る電子黒板10と同様に図2に示すハードウエア構成を備える。
図9は第2実施形態に係る電子黒板システムに使用する電子黒板の機能ブロック図である。電子黒板10Aは、アプリケーション100Aと、映像配信サービス200とを備える。
アプリケーション100Aは、画像格納手段として不揮発性記憶部170を備える他、第1実施形態のアプリケーション100と同じ構成である。即ち、アプリケーション100Aは、不揮発性記憶部170の他、機能実行部110、アプリケーション入出力部120、フレーム出力部130、画像生成部140、操作受付部150、表示制御部160を備える。不揮発性記憶部170は、他レイヤとして選択できる1又は複数の配信レイヤを予め格納している。
電子黒板システム1Aで使用される通信端末20は、第1実施形態に係る電子黒板システム1で使用されるものと同じ構成を備える(図6参照)。
図10は第2実施形態における電子黒板の表示画面を示す図である。電子黒板システム1の画像表示装置50には、ストローク画像61、文字62等を表示する手書き画像60と、操作パネル70Aとが表示されている。手書き画像60の構成は第1実施形態のものと同じである。
操作パネル70Aは複数の機能アイコンを備える。本実施形態では、操作パネル70Aには、不揮発性記憶部170に格納されているメッセージを表示する1又は複数の配信レイヤから一つのレイヤを指定して配信画像として配信するためのメッセージ配信アイコン72を備える。
図11は第2実施形態における電子黒板の表示画面と通信端末の表示画面とを示す図である。図11において、電子黒板10Aの画像表示装置50には、手書き画像60と操作パネル70Aとが表示されている。また、通信端末20(20−1〜20−4)には、手書き画像60が配信画像として配信され、画像表示部に手書き画像60が表示されている。この状態は、第1実施形態の表示と同じであり、この手書き画像60の配信手順は、図7に示した第1実施形態の場合と同じである。
次に、通信端末20に配信画像として不揮発性記憶部170に格納された画像を配信する場合について説明する。
電子黒板システム1Aを教育分野で使用する場合を想定する。教師は、電子黒板10Aを用いて資料の提示又は書き込みを実施して説明をする。生徒は、タブレット端末等の通信端末20を使用しており、通信端末20の画面上で電子黒板の画像を閲覧し、必要に応じて通信端末20から手書き情報を入力する。
このとき、生徒は通信端末20の画面で手書き画像60を閲覧できるため、通信端末20に注目している。ここで教師が生徒に前を向いて注目させたいとき、電子黒板10Aの画像表示装置50に表示された画像を変えることなく通信端末20に所望のメッセージ又はや画像を表示できるようできることが望まれる。
本実施形態では、電子黒板10Aの操作パネル70Aにおいて、メッセージ配信アイコン72を指定することにより、不揮発性記憶部170に格納された画像から必要な画像を選択して通信端末20に送信できる。
図12は電子黒板システムにおける一時配信画像の選択を示す図、図13は電子黒板システムにおける一時配信画像の配信を行ったときの電子黒板と通信端末との表示画面を示す図である。
これらは通信端末20への表示画面の一例である。メッセージ配信アイコン72を選択すると、図12に示すように、通信端末20に配信することができる一時配信画像の一覧90が表示される。
この例では「Look Forward!」を表示する画像91、「注目!」を表示する画像92、「作業中」を表示する画像93、「休憩〜16:00」を表示する画像94、からなる4種類の画像が選択可能に表示され、この4つの一時配信画像の中から1つを選択する。これらの一時配信画像は、不揮発性記憶部170にそれぞれ一時配信レイヤとして保存される。これら一時配信レイヤから、機能実行部110を選択手段として、任意のレイヤを選択して画像生成部140で配信画像として通信端末20に配信する。
一時配信画像を配信すると、図13に示すように、全ての通信端末20(20−1〜20−4)には手書き画像60に代えて選択した一時配信画像(この例では「Look Forward!」の画像91)が表示される。なお、不揮発性記憶部170には、電子黒板上から自由に一時画像を追加できるようにする。
このような一時配信画像が表示されることにより、各生徒を、通信端末20ではなく、電子黒板10Aに注目させることができる。この状態を一時配信画の配信中とすると、一時配信画像の配信中においては通信端末からの操作を禁止することができる。なお、電子黒板10Aの操作パネル70Aのメッセージアイコンを再び選択することにより、一時配信画像の配信中の状態を終了し、通信端末20には、手書き画像60が再び配信される。
次にこの一時配信画像の配信手順について説明する。
図14は電子黒板システムにおける一時配信画像の配信手順を示す図である。アプリケーション100Aの画像生成部140は、電子黒板10Aの画像表示装置50に表示するための表示画像を生成し表示制御部160に送信する(ステップS21)。フレーム出力部130は不揮発性記憶部170から選択された一時配信画像を取得する(ステップS22)。次いで、配信情報管理部230は、キャプチャ部270に一時配信画像を送り(ステップS23)、キャプチャ部270は、コーデックモジュール290に一時配信画像を送信する(ステップS24)。コーデックモジュール290は一時配信画像を圧縮して一時圧縮データを配信モジュール280に送信する(ステップS25)。配信モジュール280は、通信端末20に一時圧縮データを配信し(ステップS26)、一時圧縮データを映像配信サービス200の映像デコーダー部360でデコードし、画像表示部370に一時表示画像を表示する。
次に、電子黒板10Aのフレーム出力部130が配信画像及び一時配信画像を取得する手順について説明する。図15は電子黒板のフレーム出力部が配信画像を取得する手順を示すフローチャートである。
フレーム出力部130は、一時配信画像を配信しているかを判断する(ステップS31)。一時配信画像を配信しない通常時(ステップS31のNo)には画像生成部140から手書き画像60を配信画像として取得し(ステップS32)フレーム出力部130に送出する。
一方、一時配信画像を配信中のとき(ステップS31のYes)は不揮発性記憶部170から選択された一時配信画像を取得する(ステップS33)。
以上のように、第2実施形態に係る電子黒板システム1Aによれば、必要に応じて、一時配信画像を通信端末20に配信できる。
なお、電子黒板10、10Aにウェブサーバ部を備えることができる。これにより、通信端末20においては、ウェブブラウザーを使用してフレーム出力部130からの画像を閲覧できる。
<本発明の実施態様例の構成、作用、効果>
<第1態様>
本態様の電子黒板10は、通信端末20が閲覧可能な画像を生成する電子黒板10であって、操作パネル70を表示する操作パネル表示レイヤ81と、操作パネル70以外の画像を表示する1又は複数の手書き画像レイヤ82、83…とを重畳して形成した表示画像、及び操作パネル表示レイヤ81を除外して形成した他レイヤのみから成る配信画像を生成する画像生成部140を備えることを特徴とする。
本形態によれば、画像生成部140は、操作パネル表示レイヤ81、手書き画像レイヤ82、83…から生成した表示画像と、手書き画像レイヤ82、83…から生成した配信画像を生成する。このため、配信を望まない特定の画像を除外した配信画像を生成して、容易かつ的確に通信端末20が閲覧可能になることができる。
<第2態様>
本態様は、電子黒板10の画像生成部140は、手書き画像レイヤ82、83…のうち所望の他レイヤを重畳して配信画像を形成することを特徴とする。
本形態によれば、画像生成部140は、操作パネル表示レイヤ81、手書き画像レイヤ82、83…から表示画像を生成する。このため、配信を望まない特定の画像を除外した配信画像を生成し、容易かつ的確に通信端末20が閲覧可能になることができる。
<第3態様>
本態様は、他レイヤとして選択できる1又は複数の一時配信レイヤを予め格納した不揮発性記憶部170と、操作パネル70Aのメッセージ配信アイコン72からの指示に基づいて不揮発性記憶部170に格納された配信レイヤのうち任意の配信レイヤを他レイヤとして選択する選択手段と、を備えることを特徴とする。
本形態によれば、画像生成部140は外部からの指示により、不揮発性記憶部170に格納された一時配信レイヤから任意のものを選択して配信画像とする。このため、電子黒板10Aは、任意のタイミングで通信端末20に一時配信画像を配信できる。
<第4態様>
本態様は、電子黒板10、10Aは、配信画像を通信端末20に配信する映像配信サービス200を備えることを特徴とする。
本形態によれば、映像配信サービス200は、電子黒板10、10Aから配信画像を通信端末20に配信できる。このため、通信端末20では、電子黒板10、10Aからの配信画像を表示できる。
<第5態様>
本態様は、電子黒板10は、配信画像を公開するウェブサーバ部を備えることを特徴とする。
本形態によれば、通信端末20はウェブブラウザーを使用して電子黒板10の配信画像をウェブサーバ部から取得できる。このため、通信端末20は容易に配信画像を表示できる。
<第6態様>
本態様は、不揮発性記憶部170に任意の画像を配信レイヤとして登録する登録手段を備えることを特徴とする。
本形態によれば、電子黒板10Aは任意の画像を不揮発性記憶部170に登録できる。このため、さまざまな画像を通信端末20に一時配信画像として配信できる。
<第7態様>
本態様は、電子黒板10、10Aと、電子黒板10、10Aにネットワークを介して接続され、配信画像が配信され、表示される通信端末20と、を備えることを特徴とする電子黒板システム1、1Aである。
本形態によれば、電子黒板10、10Aは、画像生成部140において、操作パネル表示レイヤ81、手書き画像レイヤ82、83…から生成した表示画像と、手書き画像レイヤ82、83…から生成された配信画像を通信端末20に配信する。このため、配信を望まない操作パネル70の画像を除外した配信画像を生成し、容易かつ的確に通信端末20が閲覧可能になることができる。
1,1A…電子黒板システム、10,10A…電子黒板、20…通信端末、100、100A…アプリケーション、110…機能実行部、120…アプリケーション入出力部、130…フレーム出力部、140…画像生成部、150…操作受付部、160…表示制御部、170…不揮発性記憶部、200…映像配信サービス
特開2014−199650公報

Claims (7)

  1. 通信端末が閲覧可能な画像を生成する表示装置であって、
    特定画像を表示する特定レイヤと前記特定画像以外の画像を表示する1又は複数の他レイヤとを重畳して形成した表示画像、及び前記特定レイヤを除外して形成した他レイヤのみから成る配信画像を生成する画像生成手段を備えることを特徴とする表示装置。
  2. 前記画像生成手段は、前記他レイヤのうち所望の他レイヤを重畳して前記配信画像を形成することを特徴とする請求項1に記載の表示装置。
  3. 前記他レイヤとして選択できる1又は複数の配信レイヤを予め格納した画像格納手段と、
    外部からの指示に基づいて前記画像格納手段が格納した前記配信レイヤのうち任意の配信レイヤを前記他レイヤとして選択する選択手段と、を備えることを特徴とする請求項1に記載の表示装置。
  4. 前記配信画像を前記通信端末に配信する配信手段を備えることを特徴とする請求項1乃至3の何れか一項に記載の表示装置。
  5. 前記配信画像を公開するウェブサーバ部を備えることを特徴とする請求項1乃至3の何れか一項に記載の表示装置。
  6. 前記画像格納手段に任意の画像を前記配信レイヤとして登録する登録手段を備えることを特徴とする請求項3に記載の表示装置。
  7. 請求項1乃至6の何れか一項に記載の表示装置と、
    前記表示装置にネットワークを介して接続され、前記配信画像を受信して表示する通信端末と、
    を備えることを特徴とする表示システム。
JP2016079799A 2015-05-08 2016-04-12 表示装置、及び表示システム Pending JP2016212844A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680026230.2A CN107533770A (zh) 2015-05-08 2016-04-28 显示设备以及显示系统
EP16792366.3A EP3295429A4 (en) 2015-05-08 2016-04-28 Display apparatus and display system
PCT/JP2016/002243 WO2016181637A1 (en) 2015-05-08 2016-04-28 Display apparatus and display system
US15/786,635 US20180041564A1 (en) 2015-05-08 2017-10-18 Electronic blackboard system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015095597 2015-05-08
JP2015095597 2015-05-08

Publications (1)

Publication Number Publication Date
JP2016212844A true JP2016212844A (ja) 2016-12-15

Family

ID=57551842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016079799A Pending JP2016212844A (ja) 2015-05-08 2016-04-12 表示装置、及び表示システム

Country Status (4)

Country Link
US (1) US20180041564A1 (ja)
EP (1) EP3295429A4 (ja)
JP (1) JP2016212844A (ja)
CN (1) CN107533770A (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043149A (ja) * 2013-08-26 2015-03-05 株式会社リコー 操作端末、プログラム及び情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8342854B2 (en) * 1996-09-25 2013-01-01 Educate Online Technology, Llc Language-based computer generated instructional material
US6968362B2 (en) * 2001-12-28 2005-11-22 Bellsouth Intellectual Property Corp. Systems and methods for remote access to a display-based bulletin board in a shared user environment
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
US20060154227A1 (en) * 2005-01-07 2006-07-13 Rossi Deborah W Electronic classroom
US20070020604A1 (en) * 2005-07-19 2007-01-25 Pranaya Chulet A Rich Media System and Method For Learning And Entertainment
US20090035733A1 (en) * 2007-08-01 2009-02-05 Shmuel Meitar Device, system, and method of adaptive teaching and learning
JP2009140018A (ja) * 2007-12-03 2009-06-25 Canon Inc 情報処理システム及びその処理方法、装置及びプログラム
US20110093805A1 (en) * 2009-10-20 2011-04-21 Johan Hampus Ekhager Digital canvas system
JP5884287B2 (ja) * 2011-03-31 2016-03-15 カシオ計算機株式会社 生徒端末、電子黒板、サーバ及びプログラム
US20130290855A1 (en) * 2012-04-29 2013-10-31 Britt C. Ashcraft Virtual shared office bulletin board
US9571443B2 (en) * 2012-10-12 2017-02-14 International Business Machines Corporation Mobile device message enabled on-line community bulletin board
KR102047499B1 (ko) * 2013-09-27 2019-11-21 삼성전자주식회사 콘텐트를 공유하는 방법 및 그 장치
US10200333B1 (en) * 2015-12-14 2019-02-05 Amazon Technologies, Inc. Virtual bulletin board system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043149A (ja) * 2013-08-26 2015-03-05 株式会社リコー 操作端末、プログラム及び情報処理システム

Also Published As

Publication number Publication date
EP3295429A1 (en) 2018-03-21
EP3295429A4 (en) 2018-04-25
CN107533770A (zh) 2018-01-02
US20180041564A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
US9519451B2 (en) Communication system and information processing device
US20100231556A1 (en) Device, system, and computer-readable medium for an interactive whiteboard system
US20150142884A1 (en) Image Sharing for Online Collaborations
JP2006209747A (ja) コラボレーションセッションの出席者のスクリーン解像度を収集して報告するためのシステムおよび方法
WO2013099641A1 (ja) 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法
JP6471614B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
WO2017138223A1 (ja) 画像処理装置、画像処理システム及び画像処理方法
US10511700B2 (en) Communication terminal with first application displaying status of second application
JP2017102635A (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP2018026185A (ja) 電子情報ボード、画像処理方法及びプログラム
JP6540367B2 (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
JP6458581B2 (ja) 情報処理システム、表示位置決定方法、端末装置、情報処理装置及びプログラム
JP2016110253A (ja) 情報処理システム、情報処理装置、情報提供方法及びプログラム
WO2021042910A1 (zh) 一种用户交互方法及电子设备
JP2017062645A (ja) 画像配信システム、画像配信方法及びプログラム
EP3893496A1 (en) Output apparatus, output system, method of changing format information, and carrier means
CN115118918A (zh) 视频会议的标记方法、系统、终端、服务器及存储介质
JP2016212844A (ja) 表示装置、及び表示システム
JP2014149579A (ja) データ制御装置、データ共有システムおよびプログラム
JP6773145B2 (ja) 電子黒板、通信システム、通信制御方法、及びプログラム
JP2014146233A (ja) 資料共有プログラム、端末装置、資料共有方法
WO2016181637A1 (en) Display apparatus and display system
JP7512655B2 (ja) 出力装置、出力システム、フォーマット情報変更方法、プログラム、コントローラー
JP7494539B2 (ja) 表示装置、負荷制御方法、プログラム
JP2013187589A (ja) 映像表示装置、表示システム、携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200811